A/B 테스트

그 나눔이 실제로 걸러 내는 것

A/B 테스트의 밑바탕에 있는 직관은 어느 쪽이 더 나은지 알아내는 것이지만, 나눔이 하는 일은 그것과 조금 다릅니다. 화요일에 새 페이지를 올리고 그 뒤 2주를 앞의 2주와 견주는 것도 비교이기는 합니다. 다만 거기에는 출시 자체와 뉴스레터, 공휴일, 경쟁사의 발표, 검색 순위 변동이 전부 섞여 있습니다. 무작위 나눔은 그것들을 걷어 내기 위해 있습니다. 두 버전은 같은 기간에, 같은 종류의 트래픽 앞에서 돌아가고, 두 집단 사이에서 다른 것은 당신이 바꾼 그 하나뿐이 됩니다.

같은 이유로, 시작하기 전에 주요 지표를 하나로 정해 두는 일이 도구 선택보다 중요합니다. 어떤 숫자를 볼지 나중에 정한다면 거의 어떤 데이터에서도 승자를 찾아낼 수 있습니다. 지표가 충분히 늘어서 있으면 그중 하나는 늘 올라가 있기 때문입니다. 미리 고르는 것이 이 작업을 좋은 소식 찾기가 아니라 테스트로 바꿔 줍니다.

테스트가 무언가를 말해 주려면 필요한 네 가지

이 중 하나라도 빠진 테스트는 더 약한 답을 주지 않습니다. 자신만만하면서 마침 틀린 답을 줍니다. 그쪽이 더 나쁩니다. 당신이 그것을 근거로 움직일 것이기 때문입니다.

• 미리 정해 둔 주요 지표 하나 — 이를테면 가입 수이지, 가입 수와 클릭과 체류 시간 가운데 마침 움직인 것이 아닙니다.
• 각 갈래에 충분한 전환 수 — 수십이 아니라 수백입니다. 제약은 방문자가 아니라 전환 수이므로, 트래픽이 넉넉해도 전환율이 얇은 페이지는 여전히 데이터가 모자랍니다.
• 먼저 적어 둔 중단 규칙 — 날짜든 전환 수든. 매일 들여다보다가 좋아 보이는 순간에 멈추는 것은 잡음을 발견으로 승격시키는 방법입니다.
• 숫자를 움직일 만큼 큰 변경 — 쫓는 효과가 작을수록 필요한 표본은 커집니다. 작은 사이트에서 버튼 색을 바꾸는 일은 트래픽이 낼 수 없는 해상도를 요구하는 것과 같습니다.

두 번째 항목 뒤에 있는 산수가 대부분의 계획에 막을 내립니다. 대략 3퍼센트에서 대략 4퍼센트로의 개선 — 실재하고 충분히 값어치 있는 개선입니다 — 을 잡아내려면 결과가 동전 던지기를 벗어날 때까지 갈래마다 수천 명의 방문자가 필요합니다. 쫓는 효과의 크기를 절반으로 줄이면 필요한 표본은 대략 네 배가 됩니다.

우리 자신의 퍼널이 이 문제에 대해 말해 주는 것

여기서는 우리 숫자를 쓰겠습니다. 예외가 아니라 흔한 쪽의 숫자이기 때문입니다. 최근 어느 한 주에 로그인한 대시보드까지 도달한 사람이 251명, 그중 요금제 페이지를 연 사람이 39명, 결제까지 넘어간 사람은 한 자릿수였습니다. 초기 단계의 실재하는 제품이 다루는 규모가 이 정도이고, 특별히 나쁜 숫자도 아닙니다.

그 요금제 페이지를 반으로 가르면 각 버전에는 한 주에 네댓 명이 옵니다. 거기서 보이는 차이는 개인의 결정 한두 건만큼의 차이일 뿐이고, 그 주에 마침 누가 들렀는지와 구별되지 않습니다. 결판을 기다린다는 것은 몇 달을 기다린다는 뜻이고, 그 몇 달 동안 제품도 가격도 트래픽 구성도 테스트 아래에서 바뀝니다. 그러니 끝내 재고 있는 것은 애초에 재려던 것이 아니게 됩니다.

그래서 우리는 그런 결정을 판단으로 내리고, 판단으로 내렸다고 밝힙니다. 가입 선택 화면에 붙인 "추천" 배지는 분할 테스트가 아니라 모두에게 같은 선택지를 보여 주겠다는 의도적인 결정이었습니다. 우리 규모에서는 나누어 보아야 믿을 수 없는 숫자만 나왔을 것이기 때문입니다. 그렇게 말하는 쪽이 정직한 판본입니다. 시험해 보지 않은 변경을 데이터에 기반한 것처럼 말하는 쪽이 정직하지 못한 판본이고, 그런 경우가 흔해서 당신이 읽는 주장 대부분은 그쪽이라고 가정해도 될 정도입니다.

트래픽이 늘 때까지 대신 쓸 것

대안들은 덜 후련하고, 이 규모에서는 훨씬 쓸모 있습니다. 한 번에 하나만 바꾸고 무엇을 바꿨는지 날짜와 함께 기록해 두십시오. 그래야 전후 비교에 최소한 경계선이 생깁니다. 사람들이 실제로 무엇을 하는지 보십시오. 세션 녹화와 제품 분석은 입력란이 버려지는 장면이나 버튼에 아예 닿지 못하는 장면을 보여 주고, 둘 다 믿는 데 통계적 검정력이 필요하지 않습니다. 그리고 도중에 떠난 사람과 이야기해 보십시오. 같은 페이지를 두고 검정력이 모자란 테스트를 돌리는 것보다 다섯 번의 대화가 더 남습니다. 게다가 어느 쪽인지가 아니라 왜인지를 알려 줍니다.

힘은 취향보다 결함에 쓰십시오. 아무도 찾지 못하는 결제, 20초 동안 아무것도 보여 주지 않는 페이지, 입력한 내용을 조용히 버리는 양식. 이런 것들은 어느 버전을 더 좋아하느냐는 질문이 아니고, 그것을 테스트에 거는 일은 범주의 착오입니다. 고친 다음, 규모가 버텨 줄 때 테스트로 돌아오면 됩니다. 이 모든 것이 들어앉는 더 큰 고리가 전환율 최적화이고, 트래픽이 갖춰졌을 때의 오픈소스 도구는 GrowthBook 같은 모습입니다.