Hallucination (IA)

Pourquoi une mauvaise réponse sonne exactement comme une bonne

Un modèle de langage ne cherche pas un fait avant de l'écrire. Il écrit, en choisissant ce qui a le plus de chances de venir ensuite compte tenu de tout ce qui figure dans son contexte. Quand le contexte contient la réponse, ce processus produit une phrase juste. Quand il ne la contient pas, le processus produit une phrase quand même, car produire des phrases est la seule chose que le modèle fasse. Rien dans la sortie n'indique lequel des deux cas vient de se produire.

Autrement dit, "le modèle avait l'air sûr de lui" ne renseigne sur rien, et les hallucinations se concentrent à des endroits prévisibles : partout où l'on réclame un détail précis que le modèle n'a jamais reçu. Demandez-lui de résumer un document qu'il a sous les yeux et vous n'en verrez presque jamais. Réclamez une statistique, l'URL d'une source, le prix d'un concurrent ou le résultat d'une action qu'il ne peut pas observer, et vous avez réuni exactement les conditions. Le signal fiable n'est pas le ton, c'est l'absence d'une source que vous pouvez ouvrir — d'où le fait qu'une chaîne de preuves vaut mieux que n'importe quel indice de confiance.

Ce que les outils marketing IA inventent vraiment

En marketing, les inventions n'ont rien d'exotique. Elles se rangent dans une poignée de formes, et connaître ces formes constitue l'essentiel de la parade :

• Chiffres et études — un pourcentage attribué à un cabinet qui ne l'a jamais publié. Cela sonne comme une autorité, ce qui est précisément pourquoi on le colle sur une page d'atterrissage avant qu'un client ne vous le cite en retour.
• Liens et références — des adresses qui renvoient un 404, ou qui s'ouvrent mais disent tout autre chose. Un modèle sait fabriquer une URL d'apparence crédible pour une page qu'il n'a jamais vue.
• Témoignages et preuve sociale — avis, notes et résultats d'études de cas derrière lesquels il n'y a personne. Une preuve sociale inventée compte parmi les choses les plus faciles à démentir et les plus coûteuses quand quelqu'un le fait.
• Ses propres actions — celle que presque tout le monde manque. Un agent qui a rédigé un post et un agent qui l'a publié décrivent leur travail avec les mêmes mots, et un seul des deux dit vrai.

Deux hallucinations dans notre propre produit

Nous exploitons une équipe marketing IA infogérée, donc la version honnête de cette section est notre propre journal d'incidents plutôt qu'une enquête sur ceux des autres. Le premier cas portait sur des liens d'images. Notre Growth Officer a délégué une tâche d'image à une spécialiste et a rédigé le message de livraison destiné au client dans le même tour, avant que la spécialiste n'ait rien renvoyé, en assemblant les adresses d'images à partir d'identifiants qui traînaient dans son contexte. Sur les 151 liens produits, 57 pointaient vers des fichiers inexistants. Tous étaient parfaitement bien formés.

La cause n'était pas une négligence du modèle, c'était notre propre consigne. Le prompt enseignait la syntaxe markdown d'une image sans jamais dire d'où vient l'adresse, ce qui se lit comme un gabarit à compléter. Devant un blanc à remplir et sans règle l'interdisant, le modèle l'a rempli. Nous avons réécrit la consigne, mais la consigne n'a jamais été le vrai correctif.

Le second cas était un rapport de recherche. Une nouvelle inscription a saisi un nom d'entreprise, une description d'un seul mot et une adresse web qui ne se résolvait pas. La première passe l'a dit honnêtement : le site était injoignable. Une seconde passe a tourné une minute plus tard sur le même profil et a produit une analyse concurrentielle, concurrents nommés et positionnement compris, pour une entreprise qui n'existe pas. Rien n'avait planté et aucune règle n'avait été enfreinte. La seconde passe avait simplement moins de matière, et un nom qui sonnait crédible a suffi à combler le vide.

Les contrôles qui tiennent, et celui qui ne tient pas

Le réflexe est d'écrire une consigne plus ferme. Il ne tient pas, parce que ce sur quoi vous comptez pour respecter la règle est précisément ce qui n'est pas fiable. Les contrôles qui survivent au contact d'un modèle sont ceux où le modèle n'a pas voix au chapitre :

• Vérifiez l'existence, pas le format. L'enseignement le plus tranchant : ce qu'un agent invente, c'est l'identifiant, pas la forme autour. Tout contrôle que le modèle peut déduire, il peut aussi le satisfaire tout en inventant la réponse — nos liens médias sont donc vérifiés contre le fichier réel, jamais contre un motif.
• Mettez une barrière sur l'irréversible. Un brouillon faux ne coûte rien. Un e-mail parti ne se rattrape pas. Faites passer l'irréversible par une barrière d'approbation et gardez un humain dans la boucle sur tout ce qui sort.
• Laissez l'agent lire son propre résultat. Un agent qui n'apprend jamais si une action a réussi décrira la version qu'il attendait. Lui renvoyer le résultat réel est ce qui empêche un post en échec d'être annoncé au client comme publié.
• Exigez une source par affirmation. Chaque chiffre, chaque citation et chaque lien devrait mener à quelque chose que vous pouvez ouvrir. Une affirmation sans source n'est pas fausse d'office, mais c'est la seule que vous n'avez aucun moyen de vérifier.