KI-Crawler

Drei Aufgaben, drei Sorten Bot

Die widersprüchlichen Ratschläge zu KI-Bots entstehen fast alle dadurch, dass Leute unterschiedliche Aufgaben beschreiben und für alle dasselbe Wort verwenden. Sinnvoll sortiert man sie danach, *wofür* der Abruf gedacht ist, denn das bestimmt, was es kostet, ihn abzuweisen.

• Trainings-Crawler sammeln Text, der in den Trainingsdaten eines Modells landen könnte, das es noch gar nicht gibt. Am häufigsten genannt werden GPTBot von OpenAI, ClaudeBot von Anthropic und CCBot aus dem Common-Crawl-Projekt. Sie abzuweisen ändert nichts daran, ob du heute zitiert wirst.
• Index-Crawler bauen den Suchindex auf, den eine Antwortmaschine in dem Moment durchsucht, in dem sie antwortet — OpenAIs OAI-SearchBot und PerplexityBot sind die klarsten Beispiele. Das ist die Gruppe, deren Fehlen dich KI-Zitate kostet, und es ist die Gruppe, die versehentlich blockiert wird.
• Nutzerausgelöste Abrufe holen eine einzelne Seite, weil jemand einen Link eingefügt oder danach gefragt hat — deshalb heißt OpenAIs Variante ChatGPT-User. Funktional ist das näher an einem Menschen, der auf einen Link klickt, als an einem Crawl, und es kommt Seite für Seite.
• Die, die nie etwas sagen. Ein großer Teil des automatisierten Traffics gibt sich als gewöhnlicher Browser aus oder sendet gar keine Kennung. Keine Robots-Regel erreicht diese, denn eine Robots-Regel ist eine Bitte, die an einen Namen adressiert ist.

Was robots.txt tatsächlich entscheidet — und was nicht

robots.txt ist eine Sammlung von Bitten je User-Agent, freiwillig befolgt von dem, der sie zu lesen beschließt. Sie regelt das Abrufen, und nur das. Sie holt keinen bereits gesammelten Text zurück, sie bindet keinen Client, der sie ignoriert, und — daran sollte man denken, bevor man eine lange Datei schreibt — sie ist öffentlich, sodass die Liste der Pfade, die niemand lesen soll, selbst von jedem gelesen werden kann.

Am häufigsten missverstanden wird Google-Extended, denn es ist überhaupt kein Crawler. Google dokumentiert es als Token, das steuert, ob bereits von Googlebot abgerufene Inhalte zur Verbesserung der generativen Produkte beitragen dürfen, und hält ausdrücklich fest, dass es die Aufnahme in die Suche nicht beeinflusst. Es ist damit auch nicht der Schalter für AI Overviews, die aus dem regulären Suchindex erzeugt werden und den regulären Snippet-Steuerungen folgen. Google-Extended bewirkt weniger, als die meisten annehmen — und wer stattdessen zu Googlebot greift, um den gewünschten Effekt zu erzielen, verschwindet komplett aus der Suche.

Dieselbe Asymmetrie zieht sich durch die ganze Datei. Jede Regel, die du schreibst, richtet sich an einen Bot, der sich ehrlich zu erkennen gibt und sich zu gehorchen entscheidet — also an das wohlerzogene Ende des Traffics und gerade nicht an jenes Ende, das vermutlich der Grund ist, warum du überhaupt angefangen hast, dich damit zu befassen.

Also blockieren oder nicht?

Unangenehm an dieser Entscheidung ist ihre zeitliche Asymmetrie. Einen Crawler zuzulassen kostet sichtbar und sofort: Requests, die heute Nachmittag auf deinem Server landen. Ihn zu blockieren kostet unsichtbar und erst Monate später, in Form von Antworten, die jemand anderen zitieren. Drei Fälle lassen sich sauber trennen:

• Du verkaufst an Menschen, die Assistenten Fragen stellen. Lass die Index-Crawler herein und hör auf, dir über die Trainings-Crawler Gedanken zu machen. Abrufbar zu sein ist die Voraussetzung für alles andere in der generativen Suchmaschinenoptimierung; es gibt keine Variante von Zitiertwerden, die damit beginnt, nicht gelesen zu werden.
• Dein Inhalt ist das Produkt — ein kostenpflichtiges Archiv, ein Kurs, ein Datensatz, den du lizenzierst. Dann ist die Trainingsfrage eine echte geschäftliche Entscheidung statt eines Reflexes, und ein Nein ist gut begründbar. Sei dir klar darüber, dass es nur nach vorn wirkt und dass die Index-Crawler eine eigene Entscheidung sind, die du anders beantworten darfst.
• Deine eigentliche Sorge ist die Serverlast. Dann sind die namentlich bekannten KI-Bots vermutlich nicht dein Problem, und die Diagnose gehört zum Crawl-Budget und in deine Origin-Logs, nicht in eine Robots-Regel.

Für die meisten kleinen Start-ups ist die ehrliche Voreinstellung: die benannten Crawler zulassen und den gesparten Nachmittag darauf verwenden, zitierwürdig zu sein. Eine saubere, faktische Seite, die eine Frage in einer herauslösbaren Passage beantwortet, bringt fürs Zitiertwerden weit mehr als jede Robots-Regel. Eine llms.txt ist eine günstige Ergänzung obendrauf, kein Ersatz dafür, abrufbar zu sein.

Was wir gelernt haben: Die Liste entscheidet, und die Liste kann falsch sein

AgentCeres — der AI Growth Officer von agentceres.com — ist auf der eigenen Marketing-Website in genau diese Klinge gelaufen. Unser Framework liefert Crawlern leicht anderes HTML aus als Browsern, und entschieden wird das von einer eingebauten Liste von Crawler-User-Agents. Googlebot stand standardmäßig nicht auf dieser Liste, der Agent hinter dem Live-URL-Test der Search Console dagegen schon. Der Live-Test zeigte also bei jeder Prüfung eine tadellose Seite, während echte Crawls die Canonical- und hreflang-Tags unterhalb des schließenden Head-Tags erhielten, wo sie nicht zählen. Rund neunzig Seiten waren als Duplikate ohne vom Nutzer ausgewählte kanonische Seite protokolliert, bevor wir es fanden, und überlebt hat der Fehler so lange, weil das Werkzeug, mit dem wir prüften, auf einer anderen Liste stand als der Crawler, auf den es uns ankam.

Die Verallgemeinerung ist mehr wert als der Bug. Jedes Verhalten, das einen Crawler anders behandelt als einen anderen, hängt daran, dass ein Name auf eine Liste passt — und beide Hälften verrotten: Bots werden umbenannt und aufgeteilt, und Listen werden von Menschen geschrieben, die die Namen des nächsten Jahres erraten. Darunter liegt eine zweite Falle: Unser CDN cacht nach URL und nicht nach User-Agent, sodass genau die Variante, die zuerst gecacht wird, bei allen späteren Besuchern und allen späteren Bots ankommt. Verhalten pro Crawler lässt sich erheblich leichter konfigurieren als tatsächlich ausliefern — ein weiteres Argument für eine Website, die allen dieselbe ehrliche Seite zeigt.