Quanto do tráfego do meu site é realmente bot?
Mais do que a sua analytics mostra, porque a analytics é o instrumento errado para esta pergunta. Uma tag em JavaScript só conta visitantes que executam JavaScript, então crawlers e scrapers simples nunca aparecem ali, enquanto os que renderizam a página caem em Direto e passam por gente. Os logs do servidor ou do CDN contam todas as requisições, e é neles que mora a proporção real: numa amostra de três horas dos nossos próprios logs de origem, cerca de três quartos das requisições vieram de clientes em data centers com user agents falsificados ou vazios. Meça isso uma vez pelos logs antes de ler outro gráfico de tráfego.
Sua tag de analytics e seu log de servidor contam coisas diferentes
A pergunta é difícil porque os dois lugares onde você poderia olhar discordam por construção, e nenhum dos dois está mentindo. Uma tag de pageview dispara no navegador depois que o JavaScript roda, então conta clientes que renderizam: pessoas reais, mais a minoria de bots que dirige um navegador completo. Um log de servidor ou de CDN registra toda requisição que chegou à sua origem, então conta downloads, incluindo o crawler que pegou o seu sitemap e puxou quatrocentas páginas em um minuto sem executar uma única linha do seu código. O mesmo site pode, com toda honestidade, relatar duzentas sessões na analytics e doze mil requisições na borda no mesmo dia.
Qual número está certo depende do que você está decidindo. Se quer saber se o que você escreve está chegando a humanos, a tag está mais perto da verdade e o log vai te bajular. Se quer saber por que a conta de hospedagem subiu, por que o seu ranqueamento parece desconectado do gráfico de tráfego, ou se o pico da terça-feira foi real, o log é a única testemunha. O erro não é escolher errado entre os dois: é ler um número no instrumento que não consegue enxergar aquilo que você está perguntando.
- Visível só no log: os crawlers simples. Crawlers de busca, crawlers de IA, leitores de feed, verificadores de disponibilidade, scanners de segurança e os scrapers que republicam o seu conteúdo baixam o HTML e param por aí. Nenhum executa a sua tag de analytics, então, para o seu painel, nenhum existe.
- Visível só no log: tudo que não é uma página. Imagens, fontes, endpoints JSON, RSS, robots.txt e cada 404 que alguém foi tateando. É normalmente aqui que um padrão estranho aparece primeiro, porque um bot caçando painel de administração não tem motivo nenhum para se esconder entre os seus artigos.
- Visível nos dois, e errado nos dois: os navegadores headless. Um bot que dirige um navegador real executa a sua tag e chega como uma sessão normal, com dispositivo, localização e referenciador. São esses que mexem nas suas médias em silêncio, porque nenhuma linha isolada parece estranha.
- Visível só na analytics: o que aconteceu depois que a página carregou. Rolar, clicar, preencher um formulário, se cadastrar. Um log diz que uma página foi servida; nunca vai dizer se a visita valeu alguma coisa, e é por isso que a resposta é ler os dois, não trocar um pelo outro.
Os sinais de que uma sessão não é uma pessoa
Quase nunca aparece uma linha rotulada como bot. O que aparece é um conjunto de impossibilidades que um visitante humano não conseguiria produzir, e são mais fáceis de identificar do que parece, porque tráfego automatizado é ruim em ser inconsistente do jeito que as pessoas são. Pegue qualquer segmento suspeito e pergunte se um único corpo humano poderia ter gerado aquilo.
| O que você vê | O que costuma ser | Por que fica assim |
|---|---|---|
| Um visitante registrado em várias cidades e vários aparelhos em questão de segundos | Um único cliente automatizado, dividido em sessões separadas por um pool de proxies rotativo | Scrapers que compram proxies residenciais trocam de IP a cada requisição, e a analytics deduz a localização e o aparelho de cada uma de forma independente. |
| Um grupo de sessões sem cidade nem região, todas com o mesmo user agent | Um único script que nunca variou a própria impressão digital | Navegadores reais diferem entre si; um cliente HTTP padrão manda o mesmo cabeçalho sempre, e bases de geolocalização muitas vezes não têm nada de útil para faixas de endereço de data center. |
| Uma largura de janela que nunca muda, vinda de uma cidadezinha para a qual você nunca vendeu | Um navegador headless no tamanho de janela padrão, rodando numa região de nuvem | O Chrome headless abre num tamanho fixo se ninguém mandar o contrário, e regiões de nuvem ficam num punhado de cidades pequenas, então a localização é um fato de hospedagem e não de audiência. |
| Todas as páginas abandonadas em menos de dois segundos, visitadas na ordem do seu sitemap | Um rastreamento percorrendo os seus links | Ele está lendo, não navegando. Não há tempo de permanência nem rolagem, e a sequência segue o seu link building interno, não a curiosidade de ninguém. |
O que encontramos ao auditar o nosso próprio tráfego
Esta parte vem de operar o agentceres.com, não de documentação. Puxamos três horas de logs de origem crus e contamos 1.438 requisições espalhadas por 558 URLs distintas — 2,58 requisições por URL — e cerca de três quartos disso veio de clientes em data centers com user agents falsificados ou vazios. O formato importava mais que a proporção: uma cauda longa de páginas baixadas duas ou três vezes cada uma é a cara de um rastreamento, e uma audiência não se parece nada com isso. E teve um preço que a gente conseguia ver, porque eram, na maioria, falhas de cache em páginas que nenhuma pessoa tinha pedido, e apareceram como memória e banda na conta de hospedagem em vez de como leitores.
Uma segunda auditoria, agora da nossa analytics e não dos logs, achou duas distorções e só uma delas era bot. O nosso próprio time navegando no console interno de operações representava cerca de 35% de todos os pageviews do site: éramos com folga a nossa maior audiência, e ninguém tinha notado porque páginas internas parecem páginas. Depois, dentro do tráfego classificado como Direto, mais ou menos metade não sobreviveu à inspeção: um visitante registrado em quatro cidades e quatro aparelhos em 1,7 segundo, um grupo de sessões com o campo de cidade vazio compartilhando um único user agent, e uma janela de 800 pixels de largura reportando de uma cidadezinha do Oregon mais conhecida por abrigar um grande data center do que por comprar software. De cinco fontes de referência listadas naquela semana, exatamente uma era uma referência real.
A correção não mudou o que devíamos fazer em seguida; mudou o que achávamos que já sabíamos, o que é pior. Duas coisas resolveram quase tudo e nenhuma custou nada. Exclua o seu próprio time primeiro, porque é o maior erro e o mais fácil de tirar. Depois pare de tratar Direto como um canal e comece a tratar como uma caixa de visitas que você ainda não identificou: parte é automatizada, e boa parte do resto é dark social, boca a boca de verdade chegando sem referenciador. Os dois moram na mesma linha do mesmo relatório, e separar isso é o trabalho inteiro.
FAQ
- Tráfego de bot faz mal para o SEO?
- Em geral não. Crawlers de busca são bots e você quer eles; ser rastreado é a única forma de ser indexado. O que pode atrapalhar é volume sem valor: um site muito grande onde os crawlers gastam tempo em URLs com parâmetros, duplicatas e becos sem saída em vez das suas páginas de verdade, que é o problema do orçamento de rastreamento. Num site pequeno, tráfego de bot é um custo e um problema de medição muito antes de ser um problema de ranqueamento.
- O Google Analytics não filtra bots sozinho?
- Ele filtra bots e spiders conhecidos contra uma lista publicada, e essa lista é feita, por definição, de clientes que se identificam com honestidade. Qualquer coisa que mande um user agent de navegador comum a partir de um servidor em nuvem não está nela e nunca vai estar, porque não há com o que casar. A filtragem automática elimina a metade educada do problema.
- Devo bloquear crawlers de IA?
- Isso é decisão de estratégia, não de higiene, e vale tomar de propósito e não por inércia. Bloquear reduz carga e impede que o seu texto alimente um modelo; também te tira dos sistemas que cada vez mais respondem às perguntas que os seus clientes fazem. Os prós e contras, e qual controle governa qual comportamento, estão em o que é um crawler de IA.
- Por que o meu tráfego Direto está tão alto de repente?
- Direto não é uma fonte, é a ausência de uma, então ele cresce por dois motivos que não têm relação entre si. Clientes automatizados chegam sem referenciador, e pessoas reais clicando num link em uma mensagem, num cliente de e-mail ou numa comunidade fechada também. Se Direto está subindo, separe antes de comemorar ou descartar: veja dark social para a metade que é boa notícia.
- Isso quer dizer que os meus números de tráfego são falsos?
- Não. Quer dizer que um dos seus números está respondendo a uma pergunta diferente da que você está fazendo. Sessões de uma tag em JavaScript continuam sendo uma aproximação decente de humanos lendo as suas páginas; requisições num log continuam sendo a verdade sobre carga e rastreamento. O problema só começa quando um número de um é usado para uma decisão que pertence ao outro, que é também o argumento de como eu meço se o meu marketing está funcionando.
Want this done for you?
AgentCeres is a managed AI marketing team — specialists draft the work, you approve what ships. 14-day free trial, from $39/month.