CrawlSEO
Google Search Console 데이터와 사이트 크롤러, Core Web Vitals를 하나의 대시보드로 묶는 MIT 라이선스 셀프호스팅 SEO 모니터링. AI 에이전트가 조회할 수 있는 MCP 서버 포함
CrawlSEO는 내 Google Search Console 데이터를 가져오고, 사이트를 크롤링하고, Core Web Vitals를 한곳에서 측정한 뒤 그 전부를 Model Context Protocol 서버로 AI 에이전트에게도 열어주는 MIT 라이선스 셀프호스팅 SEO 대시보드입니다. 대상은 SEO 전문가가 아니라 창업자입니다. 무료인 절반은 Google이 이미 알려주는 내 데이터이고, 외부 데이터가 필요한 부분 — 키워드 볼륨과 백링크 — 은 유료 공급자에 대한 개인 키 방식입니다. 아직 초기 프로젝트이므로 무엇이 바뀌었는지 알려주는 모니터링 계층으로 읽고, 무엇을 할지 정해주는 도구로 읽지 마세요.
CrawlSEO란
CrawlSEO(github.com/crawlseo/crawlseo)는 Next.js와 PostgreSQL, Prisma로 만든 셀프호스팅 SEO 모니터링 대시보드로, Brandson Digital이 MIT 라이선스로 공개했습니다. OAuth로 내 Google Search Console 속성에 연결하고 크롤러를 내 사이트로 향하게 하면 두 관점이 나란히 놓입니다. Google이 내 페이지에 대해 보고하는 내용과, 그 페이지에 실제로 들어 있는 내용입니다.
- Search Console 분석 키워드, 페이지, 클릭, 노출, 순위를 28일 비교와 증감 표시와 함께 제공.
- 사이트 크롤러 크롤 1회당 최대 2,000페이지. 상태 점수, 16가지 문제 유형, 페이지별 수정 메모 포함.
- Core Web Vitals PageSpeed Insights에서 LCP, CLS, INP, TTFB를 가져와 모바일과 데스크톱을 나란히 비교. 지표 정의는 Core Web Vitals에 정리해 두었습니다.
- 기회 탐지 상위권 문턱에 있는 키워드, CTR이 낮은 페이지, 콘텐츠 노후화, 키워드 카니발라이제이션.
- 알림 트래픽 하락, 순위 변동, 새로운 404, vitals 악화를 이메일, Slack, Telegram, 웹훅으로 전달.
- MCP 서버 Claude Code, Claude Desktop, Cursor가 같은 데이터를 Model Context Protocol로 조회할 수 있는 도구 10개.
배포는 미리 빌드된 멀티아키텍처 이미지를 쓰는 Docker Compose이거나, Node와 PostgreSQL 수동 설치입니다. 프로젝트는 젊습니다. 2026년 4월에 생성되었고, 기여자는 4명이며, 태그가 붙은 릴리스는 v0.1.0 하나뿐입니다. 스타 수는 성숙도가 아니라 관심의 신호로 읽고, 고객이라기보다 얼리 유저가 될 각오로 도입하세요.
무료로 읽는 범위와 유료 키가 필요한 범위
기능 목록보다 이 구분이 더 중요합니다. 예산 없이 시작한 첫날 이 도구가 무엇을 알려줄 수 있는지를 결정하기 때문입니다.
| 데이터 | 출처 | 비용 |
|---|---|---|
| 클릭, 노출, 순위, 검색어 | OAuth로 연결한 내 Search Console 속성 | 무료 |
| 크롤 문제, 제목, 상태 코드 | 내 서버에서 도는 CrawlSEO 자체 크롤러 | 무료 |
| Core Web Vitals | Google PageSpeed Insights | 무료 |
| 키워드 볼륨, 난이도, CPC | DataForSEO, 개인 키 사용 | 유료. 무료 대안은 Google 자동완성 |
| 백링크, 참조 도메인, 앵커 텍스트 | DataForSEO, 개인 키 사용 | 유료 |
마지막 줄은 메인테이너가 대충 넘긴 부분이 아닙니다. 우리도 자체 Search Console 리포트를 만들면서 같은 것을 찾다가 확인했습니다. Search Console API에는 링크 관련 엔드포인트가 아예 없고, 링크 보고서는 웹 UI에만 존재합니다. 즉 GSC 데이터 위에 만든 도구는 백링크만 GSC 밖에서 가져오거나, 그 패널을 비워 두거나 둘 중 하나입니다. 무료 SEO 도구가 모두가 원하는 그 숫자 하나를 막아 두었다고 탓하기 전에 알아 둘 만합니다.
창업자의 성장 스택에서 어디에 들어가나
모니터링은 SEO에서 값싼 쪽 절반입니다. 대시보드는 어떤 페이지가 8위에서 14위로 밀렸다는 것, 템플릿 변경이 캐노니컬 태그를 엉뚱한 URL에 붙였다는 것, 배포 이후 어떤 경로가 404를 반환하기 시작했다는 것을 알려줍니다. 하지만 순위를 잡는 페이지를 써 주지도, 링크를 얻어 주지도, 표시된 40개 문제 중 어느 것이 반나절을 쓸 값어치가 있는지 정해 주지도 않습니다. 그 빈칸이 진짜 일이고, 거기에 AgentCeres — agentceres.com의 AI Growth Officer — 가 있습니다. 콘텐츠와 아웃리치, 광고 문구를 초안으로 써 내는 전문가 팀이며, 밖으로 나가는 것은 사람이 승인합니다.
모니터가 잡아내는 종류의 문제는 실제로 일어납니다. 우리도 겪었습니다. 우리 마케팅 사이트는 8개 언어로 수천 페이지를 사전 렌더링하는데, 캐노니컬 문제가 Search Console에 'Google이 크롤링했지만 우리 URL로는 색인하지 않기로 한 페이지'로 나타났습니다. 어떤 테스트도 잡지 못했습니다. 깨진 게 없었기 때문입니다. 페이지는 멀쩡히 렌더링되고 있었습니다. 규모가 큰 사이트나 프로그래매틱하게 생성한 사이트를 운영한다면 누군가는 대신 Search Console을 지켜봐야 하고, 그 무언가를 내 데이터베이스 위에 셀프호스팅하는 것은 합리적인 답입니다. 사이트가 작다면 새 웹사이트의 SEO부터 시작하고, 크롤링이 병목이라고 단정하기 전에 크롤 예산을 읽어 보세요.
FAQ
- CrawlSEO가 Ahrefs나 Semrush를 대체하나요?
- 사람들이 그 도구를 사는 이유 쪽에서는 대체하지 못합니다. Ahrefs와 Semrush가 파는 것은 웹 전체를 자기들이 크롤링한 결과입니다. 경쟁사 키워드, 백링크 인덱스, 내가 소유하지 않은 도메인의 순위 데이터가 거기에 해당합니다. CrawlSEO는 내가 통제하는 사이트에 대해, Google이 이미 주는 데이터로 보고하고, 서드파티 데이터는 키를 넣어야만 빌려 옵니다. 질문이 '내 사이트에 무슨 일이 벌어지고 있나'라면 합리적인 교환이고, '경쟁사가 무엇으로 상위에 있나'라면 아닙니다.
- MCP 서버는 에이전트에게 실제로 무엇을 하게 해 주나요?
- Claude Code, Claude Desktop, Cursor 같은 Model Context Protocol 클라이언트에 도구 10개를 노출합니다. 사이트 목록 조회, 키워드와 페이지와 트래픽 가져오기, 크롤 시작과 그 결과 문제 읽기, vitals와 기회 조회입니다. 실무에서는 CSV로 먼저 내보내는 대신, 페이지를 편집하는 바로 그 세션에서 에이전트에게 Search Console 데이터를 물어볼 수 있다는 뜻입니다. 데이터는 내 인스턴스에 남습니다.
- 프로덕션에 써도 되나요?
- 초기 단계로 다루세요. MIT 라이선스이고, 멀티아키텍처 Docker 이미지를 배포하며, 컨테이너 시작 시 마이그레이션을 실행하고, 실제 보안 작업도 들어갔습니다. 2026년 7월에 크롤러의 SSRF 방어를 강화하고 compose의 데이터베이스 자격 증명을 환경 변수로 옮겼습니다. 그래도 기여자 4명에 태그는 v0.1.0 하나뿐인 젊은 프로젝트입니다. 자체 인증 뒤에 셀프호스팅하고, latest를 따라가지 말고 이미지 태그를 고정하고, 잃으면 아쉬운 것은 내보내기를 받아 두세요.
You built it. Now grow it.
AgentCeres is a managed AI marketing team — specialists draft the SEO, social, and outreach that fill your links, you approve what ships. 14-day free trial, from $39/month.