Rastreador de IA

Três trabalhos, três tipos de bot

Quase todo conselho contraditório sobre bots de IA vem de gente descrevendo trabalhos diferentes com a mesma palavra para todos. O jeito útil de separá-los é pelo *para que serve* a busca, porque é isso que define o custo de recusá-la.

• Rastreadores de treinamento coletam texto que pode acabar nos dados de treinamento de um modelo que ainda não existe. O GPTBot da OpenAI, o ClaudeBot da Anthropic e o CCBot do projeto Common Crawl são os mais citados. Barrá-los não muda nada quanto a você ser citado hoje.
• Rastreadores de índice montam o índice de recuperação que um motor de respostas consulta no instante em que responde: o OAI-SearchBot da OpenAI e o PerplexityBot são os exemplos mais claros. É o grupo cuja ausência custa citações em IA, e é o grupo que as pessoas bloqueiam sem querer.
• Buscadores acionados pelo usuário puxam uma única página porque alguém colou um link ou perguntou sobre ela, e por isso a OpenAI chama o seu de ChatGPT-User. Na prática, são mais parecidos com alguém clicando num link do que com um rastreamento, e chegam uma página por vez.
• Os que nunca se identificam. Boa parte do tráfego automatizado se apresenta como um navegador comum, ou não manda identificação nenhuma. Nenhuma regra de robots os alcança, porque uma regra de robots é um pedido endereçado a um nome.

O que o robots.txt decide de fato e o que não decide

O robots.txt é um conjunto de pedidos por agente de usuário, atendidos voluntariamente por quem resolve lê-los. Ele governa a busca, e apenas a busca. Não retira texto já coletado, não obriga um cliente que o ignora e —vale lembrar antes de escrever um bem longo— é um arquivo público, então a lista de caminhos que você preferiria que ninguém lesse pode ser lida por qualquer um.

O controle mais mal interpretado é o Google-Extended, porque ele não é um rastreador. O Google o documenta como um identificador que governa se o conteúdo já rastreado pelo Googlebot pode ajudar a melhorar seus produtos generativos, e afirma que ele não afeta a inclusão na Busca. Portanto, não é o interruptor das Visões Gerais de IA, que são geradas a partir do índice normal da Busca e regidas pelos controles normais de trecho. Adicionar o Google-Extended faz menos do que quase todo mundo imagina, e recorrer ao Googlebot para obter o efeito desejado tiraria a pessoa da Busca por inteiro.

A mesma assimetria atravessa o arquivo todo. Cada regra que você escreve mira um bot que se identifica com honestidade e escolhe obedecer: ou seja, a ponta bem-comportada do tráfego, e não a ponta que provavelmente é o motivo pelo qual você começou a ler sobre isso.

Então dá para bloquear?

O desconfortável dessa decisão é que ela é assimétrica no tempo. Permitir um rastreador tem um custo visível e imediato: requisições batendo no seu servidor hoje à tarde. Bloquear tem um custo invisível que chega meses depois, na forma de respostas que citam outra pessoa. Três casos se separam com clareza:

• Você vende para gente que faz perguntas a assistentes. Libere os rastreadores de índice e pare de se preocupar com os de treinamento. Ser recuperável é a condição prévia de tudo o mais na otimização para motores generativos; não existe versão de ser citado que comece por não ser lido.
• Seu conteúdo é o produto: um acervo pago, um curso, um conjunto de dados que você licencia. Aí a questão do treinamento é uma decisão comercial de verdade, e não um reflexo, e recusar é defensável. Tenha claro que ela só olha para a frente, e que os rastreadores de índice são uma decisão à parte, que você pode responder de outro jeito.
• O que te preocupa mesmo é a carga do servidor. Então os bots de IA com nome provavelmente não são o seu problema, e o diagnóstico cabe ao orçamento de rastreamento e aos logs do seu servidor, não a uma regra de robots.

Para a maioria das startups pequenas, o padrão honesto é liberar os rastreadores com nome e gastar a tarde poupada em merecer a citação: uma página limpa e factual que responda uma pergunta num trecho destacável faz muito mais pela citação do que qualquer regra de robots. Um arquivo llms.txt é um acréscimo barato por cima, não um substituto para ser acessível.

O que aprendemos: quem manda é a lista, e a lista pode estar errada

A AgentCeres —a AI Growth Officer de agentceres.com— esbarrou no fio dessa navalha no próprio site de marketing. Nosso framework serve um HTML um pouco diferente para rastreadores e para navegadores, e quem decide é uma lista embutida de agentes de usuário de rastreadores. O Googlebot não estava nessa lista por padrão, enquanto o agente do teste de URL ao vivo do Search Console estava. Então o teste ao vivo renderizava uma página impecável toda vez que olhávamos, e os rastreamentos reais recebiam as tags canonical e hreflang abaixo do fechamento do cabeçalho, onde elas não contam. Cerca de noventa páginas foram registradas como duplicadas sem canônica escolhida pelo usuário antes de acharmos o problema, e ele sobreviveu tanto tempo porque a ferramenta com que verificávamos estava numa lista diferente da do rastreador que nos importava.

A generalização vale mais que o bug. Qualquer comportamento que trate um rastreador diferente de outro depende de um nome bater com uma lista, e as duas metades apodrecem: bots são renomeados e divididos, e as listas são escritas por pessoas adivinhando os nomes do ano que vem. Embaixo disso há uma segunda armadilha: nossa CDN faz cache por URL e não por agente de usuário, então a variante de página que for cacheada primeiro é a que todos os visitantes e todos os bots seguintes recebem. Comportamento por rastreador é bem mais fácil de configurar do que de entregar de fato, o que é mais um argumento a favor de um site que sirva a mesma página honesta para todo mundo.