自分のサイトのトラフィックのうち、実際にどれくらいがボットですか

解析タグとサーバーログは、そもそも別のものを数えている

この問いが難しいのは、確認できる二つの場所が設計上食い違うからで、どちらも嘘をついてはいない。ページビュータグはブラウザで JavaScript が実行された後に発火するので、描画するクライアント、つまり実在の人間と、フルブラウザを操作する少数のボットを数える。サーバーや CDN のログはオリジンに届いたリクエストをすべて記録するので、取得回数を数える。サイトマップを取得して1分間に400ページを引き抜き、あなたのコードを一行も実行しなかったクローラーもそこに含まれる。同じサイトが同じ日に、解析上は200セッション、エッジでは1万2000リクエストと報告することが、どちらも正直なまま起こりうる

どちらの数字が正しいかは、何を決めようとしているかで決まる。自分の書いたものが人間に届いているかを知りたいなら、タグの方が真実に近く、ログはあなたを甘やかす。ホスティング費用が動いた理由、検索順位とトラフィックのグラフが噛み合わない理由、先週火曜の急増が本物だったかどうかを知りたいなら、証言できるのはログだけだ。誤りは二つのうち間違った方を選ぶことではなく、いま尋ねている対象を見ることができない計測器から数字を読み取ることにある

• ログにしか現れないもの — 単純なクローラー 検索クローラー、AI クローラー、フィードリーダー、死活監視、セキュリティスキャナー、そしてあなたの記事を転載するスクレイパーは、HTML を取得してそこで終わる。どれも解析タグを実行しないので、ダッシュボードから見ればどれも存在しない
• ログにしか現れないもの — ページ以外のすべて 画像、フォント、JSON エンドポイント、RSS、robots.txt、そして誰かが探りを入れたすべての404。異常なパターンが最初に姿を見せるのはたいていここだ。管理画面を探しているボットには、記事の中に紛れる理由がまったくない
• 両方に現れ、両方で誤るもの — ヘッドレスブラウザ 実ブラウザを操作するボットは解析タグを実行し、デバイス・地域・参照元を伴った普通のセッションとして到着する。平均値を静かに動かすのはこの種で、1行ずつ見ている限り不審な点は何もない
• 解析にしか現れないもの — ページ読み込み後に起きたこと スクロール、クリック、フォーム入力、登録。ログはページを配信したことは教えてくれるが、その訪問に価値があったかは決して教えてくれない。だから答えは乗り換えではなく、両方を読むことになる

そのセッションが人間ではない、という手がかり

「ボット」と書かれた行が出てくることはまずない。出てくるのは、人間の訪問者には作り出せない不自然さの集まりだ。自動化されたトラフィックは、人間らしい不揃いさを演じるのが下手なので、見た目より簡単に見分けられる。怪しいセグメントを取り出し、これを一人の人間の身体が生み出せたかと問えばいい

自分たちのトラフィックを監査して分かったこと

ここはドキュメントではなく、agentceres.com を運用して得た話だ。生のオリジンログを3時間分取り出したところ、558 の異なる URL にまたがる 1,438 リクエスト、URL あたり 2.58 リクエストで、そのおよそ4分の3が偽装または空のユーザーエージェントを名乗るデータセンター由来のクライアントだった。割合よりも形が重要だった。多数のページがそれぞれ2〜3回ずつ取得されるロングテールはクロールの姿であり、読者層はそれとはまったく似ていない。しかも目に見える代償があった。その大半は誰も求めていないページに対するキャッシュミスで、読者としてではなく、メモリと帯域としてホスティング費用に現れていた

ログではなく解析側を対象にした二度目の監査では、歪みが二つ見つかり、ボットはそのうち一つでしかなかった。自社チームが社内運用コンソールを閲覧していた分が、サイト全体のページビューの約35%を占めていた。私たち自身が最大の「読者」であり、社内ページもページに見えるので誰も気づいていなかった。次に、Direct に分類されたトラフィックのうち、およそ半分は精査に耐えなかった。1.7秒のあいだに4都市・4デバイスで記録された1人の訪問者、都市欄が空のまま単一のユーザーエージェントを共有するセッション群、そしてソフトウェアの購入地としてよりも巨大なデータセンターの所在地として知られるオレゴンの小さな町から届く、幅800ピクセルのビューポート。その週に並んだ5件の参照元のうち、本物の参照はちょうど1件だった

この修正で次にやるべきことが変わったわけではない。変わったのは、すでに分かっているつもりだったことの方で、その方が厄介だ。ほとんどは二つの手当てで片づき、どちらも費用はかからなかった。まず自社チームを除外する。最大の誤差であり、取り除くのが最も簡単だからだ。次に Direct をチャネルとして扱うのをやめ、まだ正体を特定できていない訪問の入れ物として扱う。一部は自動化されたものだが、残りの多くは ダークソーシャル、つまり参照元を伴わずに届く本物の口コミだ。両者は同じレポートの同じ行に同居していて、それを切り分けることが仕事のすべてになる