코호트 분석

코호트란 실제로 무엇인가

코호트는 이미 일어났고 결코 바뀌지 않는 사실로 정의된 집단입니다. 가입한 주, 데려온 캠페인, 처음 고른 요금제. 그 고정성이 바로 핵심입니다. 고객은 요금제도 국가도 바꿀 수 있지만, 가입한 주를 바꾸는 사람은 없습니다. 묶는 기준이 안정적이기 때문에 1월에 온 집단의 3개월 차와 6월에 온 집단의 3개월 차를 나란히 놓아도 같은 여정의 같은 단계를 비교하고 있다고 확신할 수 있습니다.

이 기법이 존재하는 이유는 섞인 평균이 완전히 다른 두 가지 이유로 움직이기 때문입니다. 행동이 바뀌었거나, 구성이 바뀌었거나. 숫자 하나로는 어느 쪽인지 알 수 없습니다. 빠르게 성장하는 회사는 늘 신규 고객이 다수이므로, 제품이 전혀 나아지지 않아도 섞인 리텐션은 위로 흘러갑니다. 성장이 멈춘 회사는 같은 숫자가 같은 산술적 이유로 떨어집니다. 코호트로 나누는 일이 제품의 이야기와 성장률의 이야기를 갈라냅니다.

코호트가 보여주고 합계가 감추는 것

데이터를 나누고 나면 그전에는 답할 수 없던 질문 네 가지가 답할 수 있게 됩니다.

• 제품이 나아졌는가. 연속된 가입 코호트끼리 같은 경과 주차를 비교하세요. 비교의 양쪽이 같은 나이이므로, 성장률이 변해도 살아남는 유일한 형태의 "우리 변경이 통했는가"입니다.
• 어떤 채널이 남을 사람을 데려오는가. 날짜만이 아니라 획득 출처로도 나누세요. 고객 획득 비용이 동일한 두 채널이 3개월 차에 완전히 다른 곡선을 그리는 일은 흔하고, 더 싼 쪽이 더 나쁜 쪽인 경우도 많습니다. 섞인 비용 수치로는 구조적으로 보여줄 수 없는 차이입니다.
• 리텐션에 바닥이 있는가. 평평해지는 곡선은 어떤 집단이 지속되는 가치를 찾았다는 뜻이고, 평평해진 높이가 실제 사업의 크기입니다. 0을 향해 계속 떨어지는 곡선에는 바닥이 없고, 성장은 양동이를 만드는 게 아니라 계속 채우고 있는 것입니다.
• 고친 것이 효과가 있었는가. 온보딩과 활성화 변경 대부분은 이후에 도착하는 사람에게만 닿기 때문에, 섞인 숫자에서는 몇 달 동안 보이지 않을 만큼 희석됩니다. 코호트 관점에서는 그 개선이 정확히 한 줄에서 즉시 드러납니다.

코호트 표가 거짓말하는 두 가지 경로

첫 번째 실패는 우리가 직접 겪은 것입니다. 만료되는 데이터 소스 위에 만든 코호트 표는 언제나 오래된 코호트를 실제보다 나쁘게 보이게 합니다. 우리는 실제로 자기 에이전트와 대화를 나눈 고객이 몇 명인지 세고 있었는데, 그 숫자의 첫 판본은 대략 3분의 1 수준으로 낮았습니다. 고객이 조용해서가 아니라, 주기적으로 비워지는 저장소를 세고 있었기 때문입니다. 코호트가 오래됐을수록 그 활동은 이미 더 많이 지워져 있었습니다. 행동 곡선처럼 보이던 것은 그 옷을 입은 데이터 보존 기간 곡선이었고, 집계 대상을 영속하는 저장소로 옮기고 나서야 정직한 값이 되었습니다. 어떤 코호트 차트를 읽기 전에든, 바탕이 되는 기록이 얼마나 오래 남는지, 그리고 그 기간이 차트의 가장 오래된 열보다 긴지 확인하세요.

두 번째 실패는 반대입니다. 결코 사라지지 않는 행입니다. 우리 구독 기록을 감사해 보니 체험 계정 수가 약 3분의 1만큼 부풀려져 있었습니다. 이미 삭제된 계정의 행이 한 번도 제거되지 않았기 때문입니다. 누적 합계에서는 알아채지 못할 가벼운 부풀림이지만, 코호트 표에서는 더 나쁩니다. 그 행들은 절대 이탈하지 않는 집단을 이루어, 자기가 놓인 모든 달의 리텐션을 조용히 떠받치기 때문입니다. 그래서 두 번째 질문은 고객이 떠났을 때 그 행에 무슨 일이 일어나는가입니다. 답이 "아무 일도 없다"라면 그 차트는 고객이 아니라 데이터베이스를 재고 있는 것입니다.

숫자가 작을 때 쓰는 법

코호트 분석은 보통 한 줄에 수천 명이 들어가는 히트맵으로 소개되지만, 대부분의 창업자가 놓인 상황은 그렇지 않습니다. 작은 규모에서 그 히트맵은 대체로 잡음이고, 거기서 백분율을 읽는 것은 네 사람이 마음을 바꾼 사실에서 확신에 찬 결론을 끌어내자는 초대입니다. 초기에 통하는 판본은 일부러 투박합니다. 제품이 제 몫을 했다는 뜻이 되는 행동 하나를 고르고, 가입 주로 묶고, 처음 3~4주만 보세요. 읽는 것은 백분율이 아니라, 최근 줄이 예전 줄과 달라 보이는가입니다.

작은 숫자 판본을 믿을 만하게 만드는 규율이 둘 있습니다. 데이터를 보기 전에 행동의 정의를 적어두세요. 그러지 않으면 "활성"은 차트가 고무적으로 보일 때까지 조용히 다시 정의됩니다. 대부분의 마케팅 대시보드를 쓸모없게 만드는 바로 그 실패이며 마케팅이 효과가 있는지 측정하는 법에서 다룹니다. 그리고 처음부터 모든 행에 획득 출처를 붙여두세요. 리텐션으로 채널을 비교하고 싶어지는 날은 언제나, 누가 어디서 왔는지 마지막으로 기록한 날의 다음 날이기 때문입니다.