CrawlSEO
Selbst gehostetes, MIT-lizenziertes SEO-Monitoring, das Google-Search-Console-Daten, einen Site-Crawler und die Core Web Vitals in einem Dashboard zusammenführt, mit MCP-Server, damit KI-Agenten es abfragen können
CrawlSEO ist ein selbst gehostetes, MIT-lizenziertes SEO-Dashboard, das deine eigenen Google-Search-Console-Daten holt, deine Site crawlt und die Core Web Vitals misst — alles an einem Ort — und das Ganze über einen Model-Context-Protocol-Server auch KI-Agenten zugänglich macht. Es richtet sich an Gründerinnen und Gründer statt an SEO-Fachleute: Die kostenlose Hälfte ist alles, was Google ohnehin über dich berichtet, und die Teile mit externen Daten — Keyword-Volumen und Backlinks — laufen über einen eigenen Schlüssel bei einem kostenpflichtigen Anbieter. Das Projekt steht am Anfang, lies es also als Monitoring-Schicht, die sagt, was sich verändert hat, nicht als Werkzeug, das entscheidet, was zu tun ist.
Was CrawlSEO ist
CrawlSEO (github.com/crawlseo/crawlseo) ist ein selbst gehostetes SEO-Monitoring-Dashboard auf Basis von Next.js, PostgreSQL und Prisma, veröffentlicht unter MIT-Lizenz von Brandson Digital. Du verbindest es per OAuth mit deiner eigenen Google-Search-Console-Property, richtest den Crawler auf deine Site, und es hält beide Sichten nebeneinander: was Google über deine Seiten berichtet und was auf deinen Seiten tatsächlich steht.
- Search-Console-Auswertung Keywords, Seiten, Klicks, Impressionen und Position, mit 28-Tage-Vergleich und Veränderungsanzeige.
- Site-Crawler bis zu 2.000 Seiten pro Crawl, mit Health-Score, 16 Problemtypen und Hinweisen zur Behebung je Seite.
- Core Web Vitals LCP, CLS, INP und TTFB aus PageSpeed Insights, mobil und Desktop nebeneinander. Unsere Definition dieser Werte steht unter Core Web Vitals.
- Chancen-Erkennung Keywords kurz vor den Top-Plätzen, Seiten mit niedriger CTR, Content-Verfall und Keyword-Kannibalisierung.
- Alarme Traffic-Einbrüche, Positionsänderungen, neue 404er und schlechter werdende Vitals, per E-Mail, Slack, Telegram oder Webhook.
- Ein MCP-Server zehn Werkzeuge, mit denen Claude Code, Claude Desktop oder Cursor dieselben Daten über das Model Context Protocol abfragen.
Deployment läuft über Docker Compose gegen ein fertiges Multi-Architektur-Image oder als manuelle Installation mit Node und PostgreSQL. Das Projekt ist jung: angelegt im April 2026, vier Beitragende, und der einzige getaggte Release ist v0.1.0. Lies die Sternzahl als Interesse, nicht als Reifegrad, und rechne damit, früher Nutzer zu sein statt Kunde.
Was es kostenlos liest und wofür ein bezahlter Schlüssel nötig ist
Diese Trennung zählt mehr als die Funktionsliste, denn sie entscheidet, was das Werkzeug dir am ersten Tag ohne Budget sagen kann.
| Daten | Herkunft | Kosten |
|---|---|---|
| Klicks, Impressionen, Position, Suchanfragen | Deine eigene Search-Console-Property, per OAuth | Kostenlos |
| Crawl-Probleme, Titel, Statuscodes | Der eigene Crawler von CrawlSEO, auf deinem Server | Kostenlos |
| Core Web Vitals | Google PageSpeed Insights | Kostenlos |
| Keyword-Volumen, Schwierigkeit, CPC | DataForSEO, eigener Schlüssel | Kostenpflichtig; kostenlose Alternative ist Google Autocomplete |
| Backlinks, verweisende Domains, Ankertext | DataForSEO, eigener Schlüssel | Kostenpflichtig |
Die letzte Zeile ist keine Abkürzung des Maintainers. Wir haben beim Bau unseres eigenen Search-Console-Reportings dasselbe gesucht und es bestätigt: Die Search-Console-API stellt überhaupt keinen Links-Endpunkt bereit, den Links-Bericht gibt es nur im Web-Interface. Jedes Werkzeug auf GSC-Basis muss Backlinks also außerhalb der GSC einkaufen oder das Panel leer lassen. Gut zu wissen, bevor man einem kostenlosen SEO-Tool vorwirft, ausgerechnet die eine Zahl zu verriegeln, die alle sehen wollen.
Wo es in den Growth-Stack von Gründerinnen und Gründern passt
Monitoring ist die billige Hälfte von SEO. Ein Dashboard kann dir sagen, dass eine Seite von Position 8 auf 14 gerutscht ist, dass eine Template-Änderung ein Canonical-Tag auf die falsche URL gesetzt hat oder dass eine Route nach einem Deploy 404 zurückgibt. Es kann nicht die Seite schreiben, die rankt, nicht den Link verdienen und nicht entscheiden, welches von vierzig markierten Problemen einen Nachmittag wert ist. Genau diese Lücke ist die eigentliche Arbeit, und dort sitzt AgentCeres — der AI Growth Officer unter agentceres.com: ein Team aus Fachrollen, das Inhalte, Outreach und Anzeigentexte entwirft, während ein Mensch alles freigibt, was nach außen geht.
Die Art von Problem, die ein Monitor findet, ist real, und uns hat eines erwischt. Unsere eigene Marketing-Site rendert Tausende Seiten in acht Sprachen vor, und ein Canonical-Problem tauchte in der Search Console als Seiten auf, die Google gecrawlt und dann nicht unter unserer URL indexiert hat. Kein Test hat es gefunden, weil nichts kaputt war: Die Seiten wurden sauber gerendert. Wer eine große oder programmatisch erzeugte Site betreibt, braucht etwas, das die Search Console für ihn im Blick behält, und dieses Etwas gegen die eigene Datenbank selbst zu hosten, ist eine vernünftige Antwort. Ist die Site klein, fang mit SEO für eine brandneue Website an, und lies Crawl-Budget, bevor du das Crawling für deinen Engpass hältst.
FAQ
- Ersetzt CrawlSEO Ahrefs oder Semrush?
- Nicht in dem Punkt, für den die meisten sie kaufen. Ahrefs und Semrush verkaufen dir ihren eigenen Crawl des gesamten Webs: Wettbewerber-Keywords, einen Backlink-Index, Rankingdaten zu Domains, die dir nicht gehören. CrawlSEO berichtet über die Site, die du kontrollierst, nutzt Daten, die Google dir ohnehin gibt, und mietet Drittanbieterdaten nur, wenn du einen Schlüssel lieferst. Lautet deine Frage "was passiert gerade auf meiner Site", ist der Tausch fair. Lautet sie "wofür rankt mein Wettbewerber", nicht.
- Was kann ein Agent über den MCP-Server tatsächlich tun?
- Er stellt jedem Model-Context-Protocol-Client wie Claude Code, Claude Desktop oder Cursor zehn Werkzeuge bereit: Sites auflisten, Keywords, Seiten und Traffic abrufen, einen Crawl starten und dessen Probleme lesen, Vitals und Chancen holen. Praktisch heißt das: Du fragst einen Agenten in derselben Sitzung nach deinen Search-Console-Daten, in der du die Seite bearbeitest, statt vorher ein CSV zu exportieren. Die Daten bleiben auf deiner eigenen Instanz.
- Ist es produktionsreif?
- Behandle es als früh. Es ist MIT-lizenziert, liefert Multi-Architektur-Docker-Images, führt Migrationen beim Containerstart aus und hat echte Sicherheitsarbeit gesehen: Im Juli 2026 wurde der Crawler gegen SSRF gehärtet und die Datenbank-Zugangsdaten aus Compose wanderten in Umgebungsvariablen. Trotzdem ist es ein junges Projekt mit vier Beitragenden und einem einzigen v0.1.0-Tag. Hoste es hinter deiner eigenen Authentifizierung, pinne einen Image-Tag statt latest zu folgen, und halte einen Export von allem bereit, das dir fehlen würde.
You built it. Now grow it.
AgentCeres is a managed AI marketing team — specialists draft the SEO, social, and outreach that fill your links, you approve what ships. 14-day free trial, from $39/month.