Robot d'IA

Trois métiers, trois sortes de robots

Les conseils contradictoires sur les robots d'IA viennent presque tous de gens qui décrivent des métiers différents en employant le même mot pour tous. La bonne façon de les trier est de regarder *à quoi sert* la récupération, car c'est cela qui détermine le prix d'un refus.

• Les robots d'entraînement collectent du texte qui pourra se retrouver dans les données d'entraînement d'un modèle qui n'existe pas encore. Les plus souvent cités sont GPTBot d'OpenAI, ClaudeBot d'Anthropic et CCBot du projet Common Crawl. Les refuser ne change rien au fait d'être cité aujourd'hui.
• Les robots d'indexation construisent l'index de recherche qu'un moteur de réponse interroge au moment même où il répond : OAI-SearchBot d'OpenAI et PerplexityBot en sont les exemples les plus nets. C'est le groupe dont l'absence vous coûte des citations par l'IA, et c'est celui qu'on bloque par mégarde.
• Les récupérations déclenchées par un utilisateur ne prennent qu'une seule page, parce que quelqu'un a collé un lien ou posé une question à son sujet : d'où le nom ChatGPT-User chez OpenAI. Fonctionnellement, cela ressemble davantage à un humain qui clique sur un lien qu'à un crawl, et cela arrive page par page.
• Ceux qui ne se nomment jamais. Une large part du trafic automatisé se présente comme un navigateur ordinaire, ou n'envoie aucune identification. Aucune règle robots ne les atteint, car une règle robots est une demande adressée à un nom.

Ce que robots.txt décide vraiment, et ce qu'il ne décide pas

robots.txt est un ensemble de demandes par user-agent, respectées volontairement par qui choisit de les lire. Il régit la récupération, et rien d'autre. Il ne rattrape pas un texte déjà collecté, il ne lie pas un client qui l'ignore et — bon à savoir avant d'en écrire un très long — c'est un fichier public : la liste des chemins que vous préféreriez que personne ne lise est elle-même lisible par tout le monde.

Le réglage le plus mal lu est Google-Extended, car ce n'est pas un robot du tout. Google le documente comme un jeton qui détermine si un contenu déjà récupéré par Googlebot peut contribuer à améliorer ses produits génératifs, et précise qu'il n'affecte pas l'inclusion dans la Recherche. Ce n'est donc pas l'interrupteur des AI Overviews, générés à partir de l'index de recherche habituel et régis par les contrôles d'extraits habituels. Ajouter Google-Extended fait moins que la plupart ne l'imaginent, et se rabattre sur Googlebot pour obtenir l'effet espéré ferait disparaître le site de la Recherche tout entière.

La même asymétrie traverse tout le fichier. Chaque règle que vous écrivez vise un robot qui se nomme honnêtement et choisit d'obéir : autrement dit l'extrémité bien élevée du trafic, et non celle qui est probablement la raison pour laquelle vous vous êtes mis à lire sur le sujet.

Faut-il donc les bloquer ?

Ce qui rend cette décision inconfortable, c'est qu'elle est asymétrique dans le temps. Autoriser un robot coûte de façon visible et immédiate : des requêtes qui frappent votre serveur cet après-midi. Le bloquer coûte de façon invisible, des mois plus tard, sous la forme de réponses qui citent quelqu'un d'autre. Trois cas se distinguent nettement :

• Vous vendez à des gens qui posent des questions à des assistants. Autorisez les robots d'indexation et cessez de vous soucier de ceux d'entraînement. Être récupérable est la condition préalable de tout le reste en optimisation pour moteurs génératifs : il n'existe aucune version d'être cité qui commence par ne pas être lu.
• Votre contenu est le produit — archive payante, formation, jeu de données que vous licenciez. La question de l'entraînement devient alors une vraie décision commerciale plutôt qu'un réflexe, et refuser se défend. Gardez en tête que cela ne vaut que pour l'avenir, et que les robots d'indexation sont une décision distincte à laquelle vous pouvez répondre autrement.
• Votre vraie inquiétude est la charge serveur. Alors les robots d'IA identifiés ne sont probablement pas le problème, et le diagnostic relève du budget de crawl et de vos logs d'origine, pas d'une règle robots.

Pour la plupart des petites structures, la position honnête par défaut consiste à autoriser les robots identifiés et à consacrer l'après-midi économisé à mériter d'être cité : une page propre et factuelle qui répond à une question dans un passage extractible fait bien davantage pour la citation que n'importe quelle règle robots. Un fichier llms.txt est un ajout peu coûteux par-dessus, pas un substitut au fait d'être récupérable.

Ce que nous avons appris : c'est la liste qui décide, et la liste peut se tromper

AgentCeres — l'AI Growth Officer d'agentceres.com — s'est coupé sur ce tranchant-là, sur son propre site marketing. Notre framework sert aux robots un HTML légèrement différent de celui servi aux navigateurs, et l'arbitrage revient à une liste intégrée d'user-agents de robots. Googlebot n'y figurait pas par défaut, alors que l'agent du test d'URL en direct de la Search Console, lui, y figurait. Le test en direct affichait donc une page impeccable à chaque vérification, tandis que les vrais crawls recevaient les balises canonical et hreflang sous la fermeture de l'en-tête, là où elles ne comptent pas. Quelque quatre-vingt-dix pages avaient été enregistrées comme dupliquées sans URL canonique sélectionnée par l'utilisateur avant que nous ne le découvrions, et si le problème a survécu si longtemps, c'est que l'outil de vérification figurait sur une liste différente de celle du robot qui nous importait.

La généralisation vaut mieux que le bug. Tout comportement qui traite un robot différemment d'un autre repose sur la correspondance entre un nom et une liste, et les deux moitiés pourrissent : les robots sont renommés et scindés, et les listes sont écrites par des humains qui devinent les noms de l'an prochain. Un second piège se cache dessous : notre CDN met en cache par URL et non par user-agent, si bien que la variante mise en cache en premier est celle que reçoivent tous les visiteurs et tous les robots suivants. Un comportement par robot est nettement plus facile à configurer qu'à livrer réellement, ce qui plaide une fois de plus pour un site qui sert à tous la même page honnête.