AIクローラー

三つの仕事、三種類のボット

AIボットについての助言が食い違うのは、書き手それぞれが違う仕事を語りながら同じ言葉を使っているからです。整理に役立つ軸は、その取得が*何のため*かという点です。断ったときの代償を決めるのはそこだからです。

• 学習用クローラーは、まだ存在しないモデルの学習データに入るかもしれないテキストを集めます。よく名前が挙がるのはOpenAIのGPTBot、AnthropicのClaudeBot、Common CrawlプロジェクトのCCBotです。これらを追い返しても、今日引用されるかどうかは何も変わりません。
• 索引用クローラーは、回答エンジンが答えるその瞬間に検索する検索索引を構築します。OpenAIのOAI-SearchBotやPerplexityBotが最も分かりやすい例です。これが欠けるとAI引用を失う集団であり、そして人がうっかりブロックしてしまう集団でもあります。
• ユーザー起点の取得は、誰かがリンクを貼ったり質問したりしたために一枚だけページを取りに来ます。OpenAIが自社のものをChatGPT-Userと呼んでいるのはそのためです。実質的にはクロールというより人がリンクをクリックした状態に近く、一枚ずつやって来ます。
• 決して名乗らないもの。自動化されたトラフィックのかなりの割合が、ふつうのブラウザを装うか、識別情報をまったく送りません。robotsの記述はこれらに届きません。robotsの記述とは、名前に宛てたお願いだからです。

robots.txtが実際に決めること、決めないこと

robots.txtはユーザーエージェントごとのお願いの集まりで、読むことを選んだ相手が自発的に従うものです。支配できるのは取得だけです。すでに集められたテキストを取り戻すことはできず、無視するクライアントを縛ることもできません。そして長いものを書く前に思い出したいのは、これが公開ファイルだということです。誰にも読まれたくないパスの一覧そのものを、誰でも読めてしまいます。

最も誤解されている制御はGoogle-Extendedです。そもそもクローラーではないからです。Googleはこれを、Googlebotがすでに取得した内容を同社の生成AI製品の改善に使ってよいかを制御する識別子として文書化しており、検索への掲載には影響しないと明記しています。したがってAI Overviewsのスイッチでもありません。AI Overviewsは通常の検索索引から生成され、通常のスニペット制御に従います。Google-Extendedを追加してもほとんどの人が思うほどの効果はなく、望んだ効果を得ようとGooglebotに手を出せば、検索そのものから消えることになります。

同じ非対称がファイル全体を貫いています。書いたルールはどれも、正直に名乗り、従うことを選んだボットに向けられています。つまりトラフィックのお行儀のよい側であって、そもそもあなたがこの話を読み始めた理由になっているであろう側ではありません。

では、ブロックすべきか

この判断が厄介なのは、時間の上で非対称だからです。クローラーを許可する代償は、今日の午後サーバーに届くリクエストという、目に見えて即座のものです。ブロックする代償は目に見えず、数か月後に、他社を引用する回答という形でやって来ます。三つの場合がきれいに分かれます。

• アシスタントに質問する人たちに売っている場合。索引用クローラーを許可し、学習用は気にしないことです。取得されうることは生成エンジン最適化における他のすべての前提条件です。読まれないところから始まって引用される道筋は存在しません。
• コンテンツそのものが商品の場合、つまり有料アーカイブや講座、ライセンス提供するデータセットなどです。ここでは学習の可否が反射ではなく本物の商売上の判断になり、断ることには筋が通ります。ただし効くのは今後の分だけであること、索引用クローラーは別の判断であり違う答えを出してよいことは押さえておいてください。
• 本当の心配がサーバー負荷の場合。それなら名前のあるAIボットはおそらく原因ではなく、診断すべきはクロールバジェットとオリジンのログであって、robotsの記述ではありません。

小規模なスタートアップにとって正直な既定値は、名前のあるクローラーを許可し、浮いた午後を引用に値する中身づくりに使うことです。一つの問いに一つの抜き出せる段落で答える、事実に基づいた整った1ページのほうが、どんなrobotsの記述よりも引用にははるかに効きます。llms.txtはその上に足せる安価な一手であって、取得されうることの代わりにはなりません。

学んだこと — 決めるのは一覧、そしてその一覧は間違えうる

AgentCeres（agentceres.comのAI Growth Officer）は、自社のマーケティングサイトでこの刃に触れました。私たちのフレームワークは、クローラーとブラウザとでわずかに違うHTMLを返しており、その振り分けを決めているのは組み込みのクローラー用ユーザーエージェント一覧です。Googlebotは既定でその一覧に入っておらず、一方Search ConsoleのURL検査（ライブテスト）のエージェントは入っていました。そのため確認するたびにライブテストは完璧なページを描画し、実際のクロールはcanonicalとhreflangをヘッダーの閉じタグより後ろ、つまり効かない位置で受け取っていました。発見までに九十ほどのページが「ユーザー指定の正規URLがない重複」として記録されており、これほど長く生き延びたのは、検証に使っていたツールが、気にかけていたクローラーとは別の一覧に載っていたからです。

不具合そのものより、一般化のほうが価値があります。あるクローラーを別のクローラーと違う扱いにする仕組みはすべて、名前が一覧と一致することに依存しており、その両方が腐ります。ボットは改名され分割され、一覧は来年の名前を推測しながら人が書くものだからです。その下にもう一つ罠があります。私たちのCDNはユーザーエージェントではなくURLでキャッシュするため、最初にキャッシュされた版が、以後のすべての訪問者とすべてのボットに届きます。クローラーごとの挙動は、設定するより実際に届けるほうがずっと難しいのです。これは、誰に対しても同じ正直なページを返すサイトを支持するもう一つの論拠になります。