クロールバジェット

2 つの半分 — 能力と需要

能力とは、Google が自らに課す上限です。サーバーの応答速度とエラー頻度を見ており、サイトが遅くなると手を緩めます。狙いは、サイトを倒さずにクロールすることです。需要はもう半分で、そもそも Google がその URL をどれだけ欲しがっているかを表します。人気とコピーの古さで決まります。速いサーバーでも再取得する価値のある変化がなければクロールは軽いままです。制約は能力ではなかったからです。

• 能力を上げるもの — 一貫して速く、エラーのない応答。クロール速度はサーバーの健全性に追随するので、Core Web Vitals の改善や安価な事前レンダリングは二重に効きます。
• 能力を下げるもの — タイムアウト、5xx エラー、高負荷時の遅い応答。エラーを踏み始めたクローラーは速度を落とし、しばらく戻りません。
• 需要を上げるもの — トラフィックとリンクを集めるページ、そして実際に変化するコンテンツ。サイトマップと 内部リンク は URL の発見を助けますが、見つかることと欲しがられることは別です。
• 両方を浪費するもの — ファセット絞り込み、セッション ID、無限に続くカレンダーのような無限 URL 空間。加えてソフト 404、リダイレクトの連鎖、カノニカルタグ を付けるべきだった重複に近いページ。

本当に問題になる場合と、気にしなくてよい場合

誰が気にすべきかについて、Google 自身の説明は珍しく率直です。大規模サイト向けのクロールバジェット ガイドは 3 つの対象を挙げています。コンテンツが週 1 回程度更新される 100 万ページ超の一意な URL を持つサイト、コンテンツが毎日更新される 1 万ページ超の一意な URL を持つサイト、そして Search Console が URL の相当部分を「検出 — インデックス未登録」に分類しているサイトです。どれにも当てはまらないなら、サイトマップを最新に保ちページ インデックス登録レポートを見ておけば十分だ、というのが Google の言い分です。

3 つ目が有用なのは、それが規模ではなく症状だからです。またクロールとインデックスは分けて考えるべきです。Google は、クロールされたページがすべてインデックスされるわけではないと明言しています。「クロール済み — インデックス未登録」にとどまる URL はクロールバジェットが枯渇したのではなく、取得され、評価され、見送られたのです。これは帯域ではなくコンテンツと重複の問題です。ここを取り違えるのがこの用語の最もよくある誤用で、痩せたページを統合すべきときに robots.txt をいじり始める原因になります。

ロングテールなサイトのクロールトラフィックの実像

自社のログから数字を出せます。そして、その数字に驚きました。私たちのマーケティングサイトは 8 言語でおよそ 3,000 ページを事前レンダリングしており、まさに創業者が心配し始める規模です。オリジンへのリクエストを 3 時間分サンプリングしたところ、558 の異なる URL に対して合計 1,438 回の取得でした。1 URL あたり約 2.6 回で、そのほとんどにとってそれがその日唯一の訪問でした。

より重要だったのは 2 つ目の発見です。そのトラフィックのおよそ 4 分の 3 は検索エンジンですらなく、ユーザーエージェントを詐称または空にしたデータセンターのスクレイパーでした。名前のある AI クローラーは意図的にブロックしていません。読まれること自体が 生成エンジン最適化 の目的だからです。実務上の含意は 2 つ。クロール圧力に見えるものの大半は、最適化したい相手のクローラーではないこと。そして短い CDN キャッシュ有効期間はロングテールの資産にはほとんど効かないことです。各 URL のリクエストが少なすぎて、次の巡回時にはもう温まっていないからです。検索エンジン側の半分を自分のサイトで観測したいなら、CrawlSEO のようなセルフホスト型モニターが Search Console から直接読み取ってくれます。