Wie viel meines Website-Traffics sind eigentlich Bots?
Mehr, als Ihre Analytics zeigt, denn für genau diese Frage ist Analytics das falsche Messgerät. Ein JavaScript-Tag zählt nur Besucher, die JavaScript ausführen — einfache Crawler und Scraper tauchen dort also gar nicht auf, während jene, die eine Seite tatsächlich rendern, unter Direkt einsortiert werden und wie Menschen aussehen. Server- oder CDN-Logs zählen dagegen jede Anfrage, und dort steckt das echte Verhältnis: In einer Stichprobe von drei Stunden unserer eigenen Origin-Logs kamen rund drei Viertel der Anfragen von Rechenzentrums-Clients mit gefälschtem oder leerem User-Agent. Messen Sie es einmal aus den Logs, bevor Sie das nächste Traffic-Diagramm lesen.
Ihr Analytics-Tag und Ihr Server-Log zählen zwei verschiedene Dinge
Die Frage ist schwierig, weil die beiden Orte, an denen Sie nachsehen könnten, konstruktionsbedingt auseinandergehen — und keiner von beiden lügt. Ein Seitenaufruf-Tag feuert im Browser, nachdem JavaScript gelaufen ist, zählt also rendernde Clients: echte Menschen plus die Minderheit an Bots, die einen vollen Browser steuern. Ein Server- oder CDN-Log hält jede Anfrage fest, die Ihren Origin erreicht hat, zählt also Abrufe — einschließlich des Crawlers, der Ihre Sitemap genommen und in einer Minute vierhundert Seiten gezogen hat, ohne eine einzige Zeile Ihres Codes auszuführen. Dieselbe Website kann am selben Tag ehrlich zweihundert Sitzungen in Analytics und zwölftausend Anfragen an der Edge melden.
Welche Zahl die richtige ist, hängt davon ab, was Sie entscheiden. Wollen Sie wissen, ob Ihre Texte Menschen erreichen, ist das Tag näher an der Wahrheit und das Log schmeichelt Ihnen. Wollen Sie wissen, warum Ihre Hosting-Rechnung gestiegen ist, warum Ihre Rankings von Ihrer Traffic-Kurve entkoppelt wirken oder ob der Ausschlag am Dienstag echt war, ist das Log der einzige Zeuge. Der Fehler liegt nicht darin, sich falsch zwischen beiden zu entscheiden, sondern darin, eine Zahl von dem Instrument abzulesen, das genau das nicht sehen kann, wonach Sie gerade fragen.
- Nur im Log sichtbar — einfache Crawler. Suchmaschinen-Crawler, KI-Crawler, Feed-Reader, Uptime-Checker, Sicherheitsscanner und die Scraper, die Ihre Inhalte weiterveröffentlichen, holen sich das HTML und hören dort auf. Keiner davon führt Ihr Analytics-Tag aus, also existiert für Ihr Dashboard keiner von ihnen.
- Nur im Log sichtbar — alles, was keine Seite ist. Bilder, Schriften, JSON-Endpunkte, RSS, robots.txt und jede 404, nach der jemand gestochert hat. Hier zeigt sich ein auffälliges Muster meist zuerst, denn ein Bot, der nach Admin-Oberflächen sucht, hat keinerlei Grund, sich zwischen Ihren Artikeln zu verstecken.
- In beidem sichtbar und in beidem falsch — Headless-Browser. Ein Bot, der einen echten Browser steuert, führt Ihr Tag aus und kommt als ganz normale Sitzung an, mit Gerät, Ort und Referrer. Genau diese verschieben Ihre Durchschnitte leise, weil an keiner einzelnen Zeile etwas ungewöhnlich wirkt.
- Nur in Analytics sichtbar — was nach dem Laden passiert ist. Scrollen, Klicken, ein Formular ausfüllen, sich registrieren. Ein Log kann sagen, dass eine Seite ausgeliefert wurde; es kann nie sagen, ob der Besuch etwas wert war. Deshalb lautet die Antwort, beides zu lesen, statt zu wechseln.
Die Anzeichen, dass eine Sitzung kein Mensch ist
Eine Zeile mit der Beschriftung Bot bekommen Sie so gut wie nie. Sie bekommen eine Sammlung von Unmöglichkeiten, die ein menschlicher Besucher nicht hätte erzeugen können, und die sind leichter zu erkennen, als es klingt: Automatisierter Traffic ist schlecht darin, auf menschliche Weise uneinheitlich zu sein. Nehmen Sie ein verdächtiges Segment und fragen Sie, ob ein einzelner menschlicher Körper das hätte produzieren können.
| Was Sie sehen | Was es meistens ist | Warum es so aussieht |
|---|---|---|
| Ein Besucher, innerhalb von Sekunden in mehreren Städten auf mehreren Geräten erfasst | Ein einzelner automatisierter Client, den ein rotierender Proxy-Pool in getrennte Sitzungen zerlegt | Scraper, die Residential-Proxys kaufen, wechseln pro Anfrage die IP-Adresse, und Analytics leitet Ort und Gerät aus jeder einzelnen unabhängig ab. |
| Eine Gruppe von Sitzungen ohne Stadt und Region, alle mit demselben User-Agent | Ein einziges Skript, das seinen Fingerabdruck nie variiert hat | Echte Browser unterscheiden sich voneinander; ein Standard-HTTP-Client schickt jedes Mal denselben Header, und Geodatenbanken halten für Adressbereiche von Rechenzentren oft nichts Brauchbares bereit. |
| Eine Viewport-Breite, die sich nie ändert, aus einer Kleinstadt, an die Sie nie etwas verkauft haben | Ein Headless-Browser in Standardfenstergröße, betrieben in einer Cloud-Region | Headless Chrome startet ohne Vorgabe in einer festen Größe, und Cloud-Regionen liegen in einer Handvoll kleiner Städte — der Ort ist also eine Aussage über Hosting, nicht über Ihr Publikum. |
| Jede Seite in unter zwei Sekunden verlassen, besucht in der Reihenfolge Ihrer Sitemap | Ein Crawl, der Ihren Links folgt | Das ist Lesen, nicht Surfen. Es gibt keine Verweildauer und kein Scrollen, und die Reihenfolge folgt Ihrer internen Verlinkung, nicht jemandes Neugier. |
Was wir beim Audit unseres eigenen Traffics gefunden haben
Dieser Teil stammt aus dem Betrieb von agentceres.com, nicht aus der Dokumentation. Wir haben drei Stunden rohe Origin-Logs gezogen und 1.438 Anfragen über 558 verschiedene URLs gezählt — 2,58 Anfragen pro URL — und rund drei Viertel davon kamen von Rechenzentrums-Clients mit gefälschtem oder leerem User-Agent. Die Form war wichtiger als der Anteil: Ein langer Schwanz von Seiten, die je zwei- oder dreimal abgerufen werden, sieht aus wie ein Crawl, und ein Publikum sieht überhaupt nicht so aus. Es hatte außerdem einen sichtbaren Preis, denn es waren überwiegend Cache-Misses auf Seiten, nach denen kein Mensch gefragt hatte, und sie tauchten als Arbeitsspeicher und Bandbreite auf der Hosting-Rechnung auf statt als Leser.
Ein zweites Audit, diesmal unserer Analytics statt der Logs, förderte zwei Verzerrungen zutage, und nur eine davon waren Bots. Unser eigenes Team, das durch die interne Betriebskonsole klickte, machte rund 35 % aller Seitenaufrufe der Website aus — wir waren mit Abstand unser größtes Publikum, und niemandem war es aufgefallen, weil interne Seiten eben wie Seiten aussehen. Danach hielt innerhalb des als Direkt einsortierten Traffics etwa die Hälfte einer Prüfung nicht stand: ein Besucher, der innerhalb von 1,7 Sekunden in vier Städten auf vier Geräten erfasst wurde, eine Gruppe von Sitzungen mit leerem Stadtfeld und einem gemeinsamen User-Agent sowie ein 800 Pixel breiter Viewport aus einer kleinen Stadt in Oregon, die eher für ein großes Rechenzentrum bekannt ist als für Softwarekäufe. Von fünf in jener Woche gelisteten Verweisquellen war genau eine ein echter Verweis.
Die Korrektur hat nicht verändert, was wir als Nächstes tun sollten; sie hat verändert, was wir zu wissen glaubten, und das ist schlimmer. Zwei Dinge haben das meiste behoben, und keines hat etwas gekostet. Schließen Sie zuerst Ihr eigenes Team aus, denn das ist der größte Fehler und der am leichtesten zu entfernende. Hören Sie danach auf, Direkt als Kanal zu behandeln, und behandeln Sie es als Behälter für Besuche, die Sie noch nicht identifiziert haben: Ein Teil davon ist automatisiert, und vieles vom Rest ist Dark Social — echte Mundpropaganda, die ohne Referrer ankommt. Beide wohnen in derselben Zeile desselben Berichts, und sie zu trennen ist die ganze Arbeit.
FAQ
- Ist Bot-Traffic schlecht für SEO?
- Meistens nein. Suchmaschinen-Crawler sind Bots, und die wollen Sie haben; gecrawlt zu werden ist überhaupt der einzige Weg, indexiert zu werden. Schaden kann Volumen ohne Wert: eine sehr große Website, auf der Crawler ihre Zeit in Parameter-URLs, Duplikaten und Sackgassen statt auf Ihren echten Seiten verbringen — das ist das Problem des Crawl-Budgets. Für eine kleine Website ist Bot-Traffic lange ein Kosten- und Messproblem, bevor er ein Ranking-Problem wird.
- Filtert Google Analytics Bots nicht automatisch?
- Es filtert bekannte Bots und Spider gegen eine veröffentlichte Liste, und diese Liste besteht per Definition aus Clients, die sich ehrlich zu erkennen geben. Was einen gewöhnlichen Browser-User-Agent von einem Cloud-Server schickt, steht nicht darauf und wird nie darauf stehen, weil es nichts zum Abgleichen gibt. Die automatische Filterung entfernt die höfliche Hälfte des Problems.
- Sollte ich KI-Crawler blockieren?
- Das ist eine strategische Entscheidung, keine Frage der Hygiene, und sie sollte bewusst statt aus Gewohnheit fallen. Blockieren senkt die Last und verhindert, dass Ihre Texte in ein Modell fließen; es nimmt Sie zugleich aus den Systemen heraus, die zunehmend die Fragen Ihrer Kunden beantworten. Die Abwägungen und welche Steuerung welches Verhalten betrifft, stehen in was ein KI-Crawler ist.
- Warum ist mein Direkt-Traffic plötzlich so hoch?
- Direkt ist keine Quelle, sondern die Abwesenheit einer Quelle, und wächst deshalb aus zwei völlig unabhängigen Gründen zugleich. Automatisierte Clients kommen ohne Referrer an, und echte Menschen, die einen Link in einer Nachricht, einem E-Mail-Programm oder einer geschlossenen Community anklicken, ebenso. Wenn Direkt steigt, teilen Sie es auf, bevor Sie es feiern oder abtun — die Hälfte, die eine gute Nachricht ist, behandelt Dark Social.
- Heißt das, meine Traffic-Zahlen sind falsch?
- Nein. Es heißt, dass eine Ihrer Zahlen eine andere Frage beantwortet als die, die Sie ihr stellen. Sitzungen aus einem JavaScript-Tag bleiben ein brauchbarer Näherungswert für Menschen, die Ihre Seiten lesen; Anfragen in einem Log bleiben die Wahrheit über Last und Crawling. Ärger beginnt erst, wenn eine Zahl aus dem einen für eine Entscheidung herangezogen wird, die zum anderen gehört — dasselbe Argument wie in wie messe ich, ob mein Marketing funktioniert.
Want this done for you?
AgentCeres is a managed AI marketing team — specialists draft the work, you approve what ships. 14-day free trial, from $39/month.