내 웹사이트 트래픽 중 실제로 봇은 얼마나 될까

분석 태그와 서버 로그는 서로 다른 것을 세고 있다

이 질문이 어려운 이유는 확인할 수 있는 두 장소가 설계상 서로 어긋나기 때문이고, 둘 다 거짓말을 하고 있지는 않다. 페이지뷰 태그는 브라우저에서 자바스크립트가 실행된 뒤에 발화하므로 렌더링하는 클라이언트, 즉 실제 사람과 완전한 브라우저를 구동하는 소수의 봇을 센다. 서버나 CDN 로그는 오리진에 도달한 모든 요청을 기록하므로 가져간 횟수를 센다. 사이트맵을 받아 1분 만에 400페이지를 끌어가면서 당신의 코드는 한 줄도 실행하지 않은 크롤러까지 포함해서다. 같은 사이트가 같은 날 분석에서는 200세션, 엣지에서는 1만 2천 요청이라고 보고해도 양쪽 모두 정직할 수 있다

어느 숫자가 맞는지는 무엇을 결정하려는지에 달려 있다. 쓴 글이 사람에게 닿고 있는지 알고 싶다면 태그가 진실에 더 가깝고 로그는 당신을 치켜세울 것이다. 호스팅 비용이 왜 움직였는지, 검색 순위가 왜 트래픽 그래프와 따로 노는지, 지난 화요일의 급증이 진짜였는지 알고 싶다면 증언할 수 있는 것은 로그뿐이다. 잘못은 둘 중 틀린 쪽을 고르는 데 있지 않다. 지금 묻고 있는 대상을 볼 수 없는 계측기에서 숫자를 읽어 오는 데 있다

• 로그에만 보이는 것 — 단순한 크롤러 검색 크롤러, AI 크롤러, 피드 리더, 가동 확인 도구, 보안 스캐너, 그리고 당신의 글을 퍼가는 스크레이퍼는 HTML을 받고 거기서 끝난다. 어느 것도 분석 태그를 실행하지 않으므로, 대시보드 입장에서는 어느 것도 존재하지 않는다
• 로그에만 보이는 것 — 페이지가 아닌 모든 것 이미지, 폰트, JSON 엔드포인트, RSS, robots.txt, 그리고 누군가 찔러 본 모든 404. 이상한 패턴이 가장 먼저 드러나는 곳은 대개 여기다. 관리자 페이지를 찾는 봇에게는 당신의 글 사이에 숨을 이유가 전혀 없다
• 둘 다에 보이고 둘 다에서 틀리는 것 — 헤드리스 브라우저 실제 브라우저를 구동하는 봇은 당신의 태그를 실행하고, 기기와 위치와 참조 출처를 달고 평범한 세션으로 도착한다. 평균값을 조용히 움직이는 것이 바로 이쪽이며, 한 줄씩 떼어 보면 이상한 구석이 하나도 없다
• 분석에만 보이는 것 — 페이지가 뜬 뒤에 벌어진 일 스크롤, 클릭, 양식 작성, 가입. 로그는 페이지가 전달되었다는 사실은 알려주지만 그 방문에 값어치가 있었는지는 결코 알려주지 않는다. 그래서 답은 갈아타기가 아니라 둘 다 읽는 것이다

이 세션이 사람이 아니라는 단서

봇이라고 적힌 줄이 나오는 일은 거의 없다. 나오는 것은 사람 방문자라면 만들어 낼 수 없는 불가능함의 묶음이고, 생각보다 알아보기 쉽다. 자동화된 트래픽은 사람처럼 들쭉날쭉한 척을 잘 못하기 때문이다. 수상한 구간을 하나 집어 들고, 사람 몸 하나가 이걸 만들어 낼 수 있었을지 물어보면 된다

우리 트래픽을 직접 감사하며 알게 된 것

이 대목은 문서가 아니라 agentceres.com을 운영하며 얻은 이야기다. 원본 오리진 로그 세 시간분을 뽑아 세어 보니 서로 다른 558개 URL에 걸쳐 1,438건의 요청, URL당 2.58건이었고 그중 약 4분의 3이 위조되었거나 비어 있는 사용자 에이전트를 쓰는 데이터센터 클라이언트에서 왔다. 비율보다 모양이 더 중요했다. 수많은 페이지가 각각 두세 번씩 받아 가는 롱테일은 크롤의 생김새이고, 독자층은 그것과 조금도 닮지 않았다. 게다가 눈에 보이는 대가가 있었다. 대부분이 아무도 요청하지 않은 페이지에 대한 캐시 미스였고, 독자가 아니라 메모리와 대역폭으로 호스팅 청구서에 나타났다

로그가 아니라 분석 쪽을 들여다본 두 번째 감사에서는 왜곡이 두 가지 나왔고 그중 봇은 하나뿐이었다. 우리 팀이 내부 운영 콘솔을 돌아다닌 몫이 사이트 전체 페이지뷰의 약 35%였다. 우리 자신이 가장 큰 독자였던 셈인데, 내부 페이지도 페이지처럼 보이니 아무도 알아채지 못했다. 그다음 Direct로 분류된 트래픽 가운데 절반쯤은 들여다보자 살아남지 못했다. 1.7초 사이에 네 도시, 네 기기에서 기록된 방문자 하나, 도시 항목이 빈 채 하나의 사용자 에이전트를 공유하는 세션 무리, 그리고 소프트웨어를 사는 곳보다 큰 데이터센터가 있는 곳으로 더 알려진 오리건의 작은 도시에서 들어오는 너비 800픽셀짜리 뷰포트. 그 주에 올라온 다섯 개의 추천 출처 중 진짜 추천은 정확히 하나였다

이 수정으로 다음에 할 일이 바뀌지는 않았다. 바뀐 것은 이미 안다고 믿고 있던 쪽이고, 그편이 더 나쁘다. 두 가지 조치로 대부분이 정리되었고 둘 다 돈이 들지 않았다. 먼저 자기 팀을 제외한다. 가장 큰 오차이면서 걷어내기가 가장 쉽다. 그다음 Direct를 채널로 취급하기를 그만두고, 아직 정체를 밝히지 못한 방문을 담아 둔 통으로 취급한다. 일부는 자동화된 것이지만 나머지의 상당 부분은 다크 소셜, 즉 참조 출처 없이 도착한 진짜 입소문이다. 둘은 같은 보고서의 같은 줄에 함께 살고 있고, 그 둘을 갈라내는 일이 곧 이 작업의 전부다