A/B テスト

その振り分けが実際に取り除いているもの

A/B テストの背後にある直感は「どちらが良いか知りたい」ですが、振り分けがしていることはそれとは少し違います。火曜日に新しいページを公開して、その後の 2 週間を前の 2 週間と比べるのも比較ではあります。ただしそこには、公開そのもの、ニュースレター、祝日、競合の発表、検索順位の変動が全部混ざっています。無作為の振り分けはそれらを取り除くために存在します。2 つのバージョンは同じ期間に、同じ種類のトラフィックの前で走り、2 つの群のあいだで違うのは、あなたが変えた 1 点だけになります。

同じ理由で、始める前に主要指標を 1 つに決めておくことは、道具選びより重要です。どの数字を見るかをあとから決めるなら、ほとんどどんなデータからでも勝者が見つかります。指標が十分に並んでいれば、そのうちどれかは必ず上がっているからです。先に選んでおくことが、この作業を良い知らせ探しではなくテストに変えます。

テストが何かを語れるようになるために必要な 4 つ

このうちどれか 1 つでも欠けたテストは、弱い答えをくれるのではありません。自信に満ちた、そしてたまたま間違っている答えをくれます。そのほうが悪い。あなたはそれを根拠に動いてしまうからです。

• 先に決めた主要指標を 1 つ — たとえば登録数であって、登録数・クリック・滞在時間のうち動いたやつ、ではありません。
• 各群に十分な転換数 — 数十ではなく数百です。制約は訪問者ではなく転換数のほうなので、トラフィックが多くても転換率が薄いページは依然としてデータ不足です。
• 先に書き出した停止規則 — 日付か、転換数か。毎日眺めて良く見えた瞬間に止めるのは、ノイズを発見に昇格させるやり方です。
• 数字を動かせるだけの大きさの変更 — 追う効果が小さいほど必要な標本は大きくなります。小さなサイトでのボタンの色変更は、トラフィックには出せない解像度を求めているのと同じです。

2 つ目の点の裏にある算数が、たいていの計画に幕を引きます。およそ 3 パーセントからおよそ 4 パーセントへの改善 — 本物で、十分に価値のある改善です — を検出するには、結果がコイン投げでなくなるまでに各群あたり数千人の訪問者が必要になります。追う効果の大きさを半分にすると、必要な標本はおよそ 4 倍になります。

自社のファネルがこの件について語っていること

ここでは自社の数字を使います。例外ではなく、ありふれた側の数字だからです。最近のある 1 週間で、ログイン後のダッシュボードに到達したのが 251 人、そのうち料金プランのページを開いたのが 39 人、決済まで進んだのは 1 桁の人数でした。初期段階の実在するプロダクトが扱っているのはこの規模で、これは特別に悪い数字でもありません。

その料金プランのページを半分に割れば、各バージョンに届くのは週に 4〜5 人です。そこで見える差は個人の判断 1〜2 件分の差であって、その週にたまたま誰が来たかと見分けがつきません。決着を待つとは何か月も待つということで、その数か月のあいだにプロダクトも価格もトラフィックの構成もテストの下で変わってしまいます。つまり最後に測っているものは、測ろうとして始めたものではありません。

ですから私たちはそうした判断を、判断として下し、そう下したと明言します。登録時の選択画面に出している「あなたにおすすめ」のバッジは、分割テストではなく、全員に同じ選択肢を見せるという意図的な決定でした。私たちの量では、分割しても信用できない数字しか出てこないからです。そう言うのが正直な版です。試していない変更をデータに基づくものとして語るのが不正直な版で、それは十分に横行しているので、目にする主張の多くはそちらだと想定しておいてよいくらいです。

トラフィックが増えるまでのあいだに使うもの

代わりの手立ては満足度が低く、この規模でははるかに役立ちます。一度に 1 つだけ変え、何を変えたかを日付とともに記録してください。少なくとも前後比較に境目ができます。人が実際に何をしているかを見てください。セッション記録やプロダクト分析は、入力欄が放棄される様子や、ボタンにそもそも到達していない様子を見せてくれます。どちらも信じるのに統計的な検出力は要りません。そして離脱した人に話を聞いてください。同じページについて検出力不足のテストを回すより、5 件の会話のほうが実りがあります。しかも、どちらかではなく、なぜかを教えてくれます。

労力は好みよりも不具合に使ってください。誰にも見つけられない決済、20 秒間なにも表示しないページ、入力された内容を黙って捨てるフォーム。これらは「どちらのバージョンが好まれるか」という問いではなく、テストにかけるのは分類の誤りです。直してから、量が支えられるようになった時点でテストに戻ればよいのです。これらすべてが収まる大きな輪がコンバージョン率最適化で、量が揃ったときのオープンソースの道具立ては GrowthBook のような形になります。