インクリメンタリティ

帰属された成果がマーケティングの寄与を過大に見せる理由

あらゆるアトリビューションモデルは、すべてのコンバージョンについて功績の 100% を配り切ります。モデルとはそういうものだからです。どのモデルにも、いずれにせよ辿り着いていた買い手を表現する手立てがありません。この隙間は丸め誤差ではありません。アトリビューションのレポートで最も見栄えのする経路は、すでに決めていた人々の最も近くに配置されたものであることが多く、つまりレポートはあなたのマーケティングではなく、あなた自身のターゲティング規則を部分的に測っているのです。

• 指名検索 — 会社名を打ち込む人は、すでに別の何かによって説得されています。広告がクリックと功績を持ち去りますが、多くのアカウントではその訪問の相当部分が自然検索で届いていたはずです。
• リターゲティング — 対象がすでに訪問した人と定義されているため、リターゲティングは構造上ほぼすべての中間指標で勝ちます。だからこそ、その指標では判断できません。
• 割引とクーポンの配置 — 利用の一部は、そもそも決済画面まで来ていた買い手によるものです。計測された売上は本物ですが、増分の売上はレポートが示すより小さくなります。
• ローンチや繁忙期に走っているもの全般 — 自分が作ったのではない需要と時期が重なった施策は、その需要の功績を引き継いでしまいます。

実務上の帰結として、ある経路は本当に走らせる価値がありながら、そのダッシュボードが主張する額よりずっと価値が低い、ということが起こりえます。この二つを見分ける唯一の方法は、それを走らせなかった世界と比べることです。

実際にどう測るのか

現実の手法はすべて、マーケティングを受け取らなかった何かとの比較です。ホールドアウトは対象の一部を無作為に施策から外し、二群を比べます。地域テストは一部の地域でだけ施策を走らせます。オンオフテストは、全体が動く余地が生まれるだけの期間、経路を止めます。厳密さは比較群から来るのであって、その上に載せたレポートの精緻さから来るのではありません。

初期段階の企業のほとんどにとって、統計的にきれいな版は手が届きません。スタートアップにはない規模のコンバージョン数を必要とするからです。月に 40 件の登録でホールドアウトを組んでも、実在の効果とただ静かだった二週間を区別できません。粗い版はいまも有効で、しかも使われていません。一つ止め、販売サイクルを覆うだけの期間そのままにし、経路ではなく全体を見る。ファネルの下端が動かないなら、アトリビューションのレポートが構造上けっして教えられないことを学んだことになります。

自社で最も成績の良い区画を測って分かったこと

自社サイトから具体的な数字を出せます。AgentCeres — the AI Growth Officer, agentceres.com — は大きなページ群を公開しており、そのうち約 70 ページからなる一区画は、手に入るあらゆる中間指標で見て手持ちの中で最良のものでした。28 日間でクリック数が最大のコンテンツ区画であり、39 クリック、サイト全体が検索から得た総数のおよそ 35%、1 ページあたり 0.56 クリックという平均を大きく上回る比率でした。

ところが連続する二つの 28 日間で、その同じ区画が生んだのは 86 件の自然流入と 0 件の登録でした。原因は順位でも文章でもなく、意図でした。人を連れてくる検索語は、それらのページが解説していたオープンソースプロジェクトの名前であり、訪問者が求めていたのはそのプロジェクトで、私たちはそのプロジェクトではありません。クリック率が上がっていれば、失敗は縮むどころか大きくなっていたはずです。私たちはその区画に新しいページを書くのをやめ、既存のページは公開したままにしました。維持費はかからない一方で、追加することの増分価値は測定した結果ゼロだったからです。これは別々の二つの判断であり、単一のトラフィック数値であれば両方とも取り違えていたはずです。

この考え方が誤用される場面

インクリメンタリティは、最も見栄えのする数字を疑うための理由であって、二週間で自らを証明できないものを何でも切ってよいという免許ではありません。ブランド、コンテンツ、コミュニティの仕事は、たいてい後から別の場所で需要として表れます。遅い経路に短いホールドアウトをかければ確実にゼロが返りますが、それはテストの長さについての言明であって、経路についての言明ではありません。

二つ目の誤用は、これを恒久的な判定として扱うことです。経路のインクリメンタリティは、いくら使うか、その支出が誰に届くかによって動きます。したがって有用な出力は、成績表ではなく次の予算増分についての判断です。そして結果を他人が読む形で書き留めるとき — 取締役会向けの報告でも、導入事例でも — 原因を主張しているのか相関を述べているのかを明言してください。その区別こそが主張の全体であり、注意深い読者が最初に検める点です。