Crawl-Budget

Die zwei Hälften: Kapazität und Nachfrage

Kapazität ist eine Obergrenze, die Google sich selbst setzt. Es beobachtet, wie schnell dein Server antwortet und wie oft er Fehler liefert, und nimmt sich zurück, sobald die Site langsam wird; das Ziel ist, dich zu crawlen, ohne dich umzuwerfen. Nachfrage ist die andere Hälfte: wie sehr Google deine URLs überhaupt will, bestimmt von ihrer Beliebtheit und davon, wie veraltet die eigene Kopie ist. Ein schneller Server ohne etwas, das ein erneutes Abrufen lohnt, wird trotzdem nur leicht gecrawlt, weil die Kapazität nie die Grenze war.

• Erhöht die Kapazität — durchgehend schnelle, fehlerfreie Antworten. Die Crawl-Rate folgt der Server-Gesundheit, deshalb zahlt sich Arbeit an den Core Web Vitals und günstiges Prerendering doppelt aus.
• Senkt die Kapazität — Timeouts, 5xx-Fehler und langsame Antworten unter Last. Ein Crawler, der auf Fehler stößt, drosselt und bleibt eine Weile gedrosselt.
• Erhöht die Nachfrage — Seiten, die Traffic und Links verdienen, und Inhalte, die sich tatsächlich ändern. Sitemaps und interne Links helfen beim Finden von URLs, aber gefunden zu werden ist nicht dasselbe wie gewollt zu sein.
• Verschwendet beides — unendliche URL-Räume wie Facettenfilter, Session-IDs und endlose Kalender, dazu Soft-404s, Redirect-Ketten und Fast-Duplikate, die ein Canonical-Tag hätten tragen sollen.

Wann es ein echtes Problem ist und wann eine Ablenkung

Googles eigene Anleitung ist ungewöhnlich deutlich darin, wen das angeht. Der Leitfaden zum Crawl-Budget für große Websites nennt drei Zielgruppen: Sites mit mehr als einer Million eindeutiger Seiten, deren Inhalte sich etwa wöchentlich ändern, Sites mit mehr als zehntausend eindeutigen Seiten mit täglich wechselnden Inhalten, und Sites, bei denen die Search Console einen großen Anteil der URLs als *Gefunden — zurzeit nicht indexiert* einstuft. Wer in keine dieser Gruppen fällt, dem sagt Google, dass eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung genügen.

Die dritte Gruppe ist die nützliche, weil sie ein Symptom beschreibt und keine Größe. Ebenso lohnt es, Crawling und Indexierung zu trennen: Google sagt ausdrücklich, dass nicht jede gecrawlte Seite indexiert wird. Eine URL unter *Gecrawlt — zurzeit nicht indexiert* hatte nie zu wenig Crawl-Budget — sie wurde abgerufen, bewertet und übergangen, und das ist ein Inhalts- oder Duplikatsproblem, kein Bandbreitenproblem. Diese Verwechslung ist die häufigste Fehlanwendung des Begriffs und bringt Gründerinnen und Gründer dazu, an der robots.txt zu drehen, während sie dünne Seiten zusammenführen sollten.

Wie Crawl-Traffic auf einer Long-Tail-Site wirklich aussieht

Wir können das mit Zahlen aus unseren eigenen Logs belegen, und sie haben uns überrascht. Unsere Marketing-Site rendert rund dreitausend Seiten in acht Sprachen vor — genau in dem Bereich, in dem man anfängt, sich Sorgen zu machen. In einer Stichprobe von drei Stunden Origin-Anfragen zählten wir 1.438 Abrufe verteilt auf 558 verschiedene URLs: etwa 2,6 pro URL, und für die meisten war das der einzige Besuch an dem Tag.

Der zweite Befund wog schwerer. Rund drei Viertel dieses Traffics war gar keine Suchmaschine, sondern Rechenzentrums-Scraper mit gefälschten oder leeren User-Agents. Namentlich bekannte KI-Crawler lassen wir bewusst durch, denn gelesen zu werden ist der ganze Zweck von Generative Engine Optimization. Daraus folgen zwei praktische Dinge: Was nach Crawl-Druck aussieht, ist meist nicht der Crawler, für den du optimierst, und eine kurze CDN-Cache-Lebensdauer bringt einem Long-Tail-Bestand sehr wenig, weil jede URL zu selten angefragt wird, um beim nächsten Durchlauf noch warm zu sein. Wer die Suchmaschinen-Hälfte auf der eigenen Site beobachten will, liest sie mit einem selbst gehosteten Monitor wie CrawlSEO direkt aus der Search Console.