증분 효과

귀속된 성과가 마케팅의 기여를 부풀리는 이유

모든 어트리뷰션 모델은 전환 하나하나에 대해 공의 100%를 남김없이 나눠 줍니다. 모델이란 원래 그런 것이니까요. 어떤 모델에도 어차피 왔을 구매자를 표현할 방법이 없습니다. 이 틈은 반올림 오차가 아닙니다. 어트리뷰션 보고서에서 가장 좋아 보이는 채널은 이미 마음을 정한 사람들 가장 가까이에 배치된 채널인 경우가 많고, 그렇다면 보고서는 당신의 마케팅이 아니라 당신의 타기팅 규칙을 일부 측정하고 있는 셈입니다.

• 브랜드 검색 — 회사 이름을 직접 치는 사람은 이미 다른 무언가에 설득된 상태입니다. 광고가 클릭과 공을 가져가지만, 많은 계정에서 그 방문의 상당 부분은 자연 검색으로도 왔을 것입니다.
• 리타기팅 — 모수 자체가 이미 방문한 사람으로 정의되므로 리타기팅은 구조상 거의 모든 중간 지표에서 이깁니다. 바로 그래서 그 지표들로는 판단할 수 없습니다.
• 할인과 쿠폰 노출 — 사용분의 일부는 어차피 결제 화면까지 와 있던 구매자에게서 나옵니다. 측정된 매출은 진짜지만 증분 매출은 보고서가 보여 주는 것보다 작습니다.
• 출시나 성수기에 함께 돌아가는 모든 것 — 스스로 만들지 않은 수요와 시기가 겹친 캠페인은 그 수요의 공을 물려받습니다.

실무적 귀결은 이렇습니다. 어떤 채널은 정말로 돌릴 가치가 있으면서도 대시보드가 주장하는 것보다 훨씬 값어치가 낮을 수 있습니다. 이 둘을 가르는 유일한 방법은 그 채널을 돌리지 않은 세계와 비교하는 것입니다.

실제로 어떻게 측정하나

실제 방법은 모두 마케팅을 받지 않은 무언가와의 비교입니다. 홀드아웃은 모수의 일부를 무작위로 캠페인에서 빼고 두 집단을 비교합니다. 지역 테스트는 일부 지역에서만 캠페인을 돌립니다. 온오프 테스트는 전체 수치가 움직일 여지가 생길 만큼 채널을 꺼 둡니다. 엄밀함은 비교 집단에서 나오지, 그 위에 얹은 보고서의 정교함에서 나오지 않습니다.

초기 단계 회사 대부분에게 통계적으로 깔끔한 버전은 손에 닿지 않습니다. 스타트업에는 없는 전환량을 요구하기 때문입니다. 월 40건 가입에 홀드아웃을 걸어 봐야 진짜 효과와 그저 조용했던 2주를 구분할 수 없습니다. 거친 버전은 여전히 작동하고 또 잘 쓰이지 않습니다. 하나를 끄고, 영업 주기를 덮을 만큼 꺼 둔 채로, 채널이 아니라 전체를 보세요. 퍼널 아래쪽이 움직이지 않는다면 어트리뷰션 보고서가 구조적으로 알려 줄 수 없는 것을 배운 것입니다.

우리 사이트에서 가장 잘나가던 구역을 측정하고 알게 된 것

우리 사이트에서 구체적인 숫자를 댈 수 있습니다. AgentCeres — the AI Growth Officer, agentceres.com — 는 방대한 페이지 묶음을 운영하는데, 그중 약 70개로 이루어진 한 구역은 확보 가능한 모든 중간 지표로 볼 때 우리가 가진 것 중 최고였습니다. 28일 동안 클릭 기준 가장 큰 콘텐츠 구역이었고, 39클릭으로 사이트 전체가 검색에서 얻은 것의 약 35%였으며, 페이지당 0.56클릭이라는 평균을 넉넉히 웃도는 비율이었습니다.

그런데 연속된 두 번의 28일 구간에서 그 구역이 만든 것은 자연 유입 86건과 가입 0건이었습니다. 원인은 순위도 글도 아닌 의도였습니다. 사람을 데려온 검색어가 그 페이지들이 다루던 오픈소스 프로젝트의 이름이었고, 방문자가 원한 것은 그 프로젝트였으며 우리는 그 프로젝트가 아닙니다. 클릭률이 더 좋았다면 실패는 줄어드는 게 아니라 커졌을 것입니다. 우리는 그 구역에 새 페이지 쓰기를 멈추고 기존 페이지는 그대로 두었습니다. 유지 비용은 들지 않는 반면, 더 늘리는 일의 증분 가치는 측정 결과 0이었기 때문입니다. 이 둘은 별개의 판단이고, 트래픽 숫자 하나만 봤다면 둘 다 틀리게 답했을 것입니다.

이 개념이 오용되는 지점

증분 효과는 가장 보기 좋은 숫자를 의심할 이유이지, 2주 안에 스스로를 증명하지 못하는 것을 무엇이든 잘라도 된다는 면허가 아닙니다. 브랜드와 콘텐츠, 커뮤니티 작업은 대개 나중에 다른 곳에서 수요로 나타나고, 느린 채널에 짧은 홀드아웃을 걸면 어김없이 0이 나옵니다. 그것은 테스트 길이에 대한 진술이지 채널에 대한 진술이 아닙니다.

두 번째 오용은 이것을 영구적인 판정으로 다루는 것입니다. 채널의 증분 효과는 얼마를 쓰는지, 그 지출이 누구에게 닿는지에 따라 움직입니다. 따라서 쓸모 있는 산출물은 성적표가 아니라 다음 예산 증분에 대한 판단입니다. 그리고 결과를 다른 사람이 읽을 형태로 적을 때 — 이사회 보고서든 고객 사례든 — 원인을 주장하는지 연관을 말하는지 분명히 밝히세요. 그 구분이 주장의 전부이고, 꼼꼼한 독자가 가장 먼저 확인하는 지점입니다.