コホート分析

コホートとは実際に何か

コホートとは、すでに起きて二度と変わらない事実で定義されたグループです。登録した週、連れてきたキャンペーン、最初に選んだプラン。この不変性こそが要点です。顧客はプランも国も変えられますが、登録した週を変えることは誰にもできません。まとめ方が安定しているので、一月に来た人の三か月目と六月に来た人の三か月目を並べても、同じ道のりの同じ段階を比べていると確信できます。

この手法が存在するのは、ならした平均がまったく別の二つの理由で動くからです。行動が変わったのか、構成が変わったのか。ひとつの数字ではどちらか判別できません。急成長中の会社は常に新しい顧客が多数派なので、プロダクトが何も良くなっていなくても、ならした継続率は上向きに漂います。成長が止まった会社では同じ数字が同じ算術的理由で下がります。コホートで分けることが、プロダクトの物語と成長率の物語を切り分けます。

コホートが見せ、合計が隠すもの

データを分けて初めて答えられるようになる問いが四つあります。

• プロダクトが良くなったか。連続する登録コホート間で、同じ経過週を比べます。比較の両側が同じ齢なので、成長率が変動しても生き残る唯一の「変更は効いたのか」の形です。
• どのチャネルが残る人を連れてくるか。日付だけでなく獲得元でも分けます。顧客獲得コストが同一の二つのチャネルが、三か月目にまったく違う曲線を描くことは珍しくなく、安いほうが悪いほうであることも多い。ならしたコスト値では構造的に見えない差です。
• 継続率に下限があるか。平らになる曲線は、あるグループが持続する価値を見つけたことを意味し、平らになった高さが本当の事業規模です。ゼロに向かって落ち続ける曲線には下限がなく、成長はバケツを作っているのではなく注ぎ足しているだけです。
• 修正が効いたのか。オンボーディングや活性化の変更のほとんどは後から来る人にしか触れないので、ならした数字では何か月も見えないほど薄まります。コホートで見れば、改善はただ一行の中に即座に現れます。

コホート表が嘘をつく二つの経路

一つ目は私たち自身が踏んだものです。期限付きで消えるデータソースの上に作られたコホート表は、必ず古いコホートを実際より悪く見せます。私たちは実際にエージェントと会話した顧客の数を数えていましたが、その最初の版はおよそ三分の一に過ぎませんでした。顧客が静かだったからではなく、定期的に消去される保存先を数えていたからです。古いコホートほど、その活動はすでに多く削除されていました。行動の曲線に見えたものは、その衣装を着たデータ保持期間の曲線でした。数える対象を永続する保存先に移して初めて正直な数字になりました。どんなコホート図を読む前にも、その裏のレコードがどれだけ生きるのか、そしてそれが図の最も古い列より長いのかを確かめてください。

二つ目は逆の失敗で、決して去らない行です。自社のサブスクリプション記録を監査したところ、トライアルアカウント数がおよそ三分の一だけ多く出ていました。すでに削除されたアカウントの行が消されずに残っていたためです。累計の合計値なら気づかないかもしれない軽い水増しですが、コホート表ではより悪い。その行は決して離脱しないグループを形成し、居座っているすべての月の継続率を静かに底上げするからです。つまり二つ目の問いは、顧客が去ったとき行はどうなるのか、です。答えが「何も起きない」なら、その図は顧客ではなくデータベースを測っています。

数が小さいときの使い方

コホート分析はたいてい一行あたり数千ユーザーのヒートマップとして紹介されますが、ほとんどの創業者が置かれた状況ではありません。小さな規模ではそのヒートマップはほぼノイズで、そこから百分率を読むのは、四人が気を変えただけの事実から自信満々の結論を引き出す誘いです。初期に機能する版は意図的に粗いものです。プロダクトが役目を果たしたと言える行動をひとつ選び、登録週でまとめ、最初の三、四週だけを見る。読んでいるのは百分率ではなく、最近の行が古い行と違って見えるかどうかです。

小さな数の版を信頼できるものにする規律が二つあります。データを見る前に行動の定義を書き出すこと。そうしないと「アクティブ」は図が心強く見えるまで静かに再定義されます。ほとんどのマーケティングダッシュボードを無用にするのと同じ失敗で、マーケティングが効いているかの測り方で扱っています。もうひとつは、最初から各行に獲得元を紐づけておくこと。継続率でチャネルを比べたくなる日は、いつも、誰がどこから来たかを最後に記録した日の翌日だからです。