Alucinação (IA)

Por que uma resposta errada soa igual a uma certa

Um modelo de linguagem não consulta um dado para depois escrevê-lo. Ele escreve, escolhendo o que mais plausivelmente vem a seguir diante de tudo o que está no seu contexto. Quando o contexto contém a resposta, esse processo produz uma frase correta. Quando não contém, o processo produz uma frase do mesmo jeito, porque produzir frases é a única coisa que o modelo faz. Nada na saída marca qual das duas acabou de acontecer.

Ou seja, "o modelo pareceu seguro" não carrega informação nenhuma, e as alucinações se concentram em lugares previsíveis: onde se pede um detalhe específico que o modelo nunca recebeu. Peça um resumo de um documento que está na frente dele e você raramente verá uma. Peça uma estatística, a URL de uma fonte, o preço de um concorrente ou o resultado de uma ação que ele não consegue observar, e você montou exatamente as condições. O sinal confiável não é o tom, é a ausência de uma fonte que você possa abrir — e é por isso que uma cadeia de evidências vale mais do que qualquer indicador de confiança.

O que as ferramentas de marketing com IA realmente inventam

No marketing as invenções não são exóticas. Elas aparecem em um punhado de formatos, e conhecer os formatos já é boa parte da defesa:

• Números e estudos — uma porcentagem atribuída a uma consultoria que nunca publicou aquilo. Soam a autoridade, que é justamente por que acabam colados numa landing page e depois citados de volta por um cliente.
• Links e citações — endereços que dão 404, ou que abrem e dizem outra coisa. Um modelo consegue construir uma URL verossímil para uma página que nunca viu.
• Depoimentos e prova social — avaliações, notas e resultados de cases sem ninguém por trás. Prova social inventada está entre as coisas mais fáceis de desmentir e mais caras quando alguém desmente.
• As próprias ações — a que quase todo mundo deixa passar. Um agente que redigiu um post e um agente que publicou um descrevem o trabalho com as mesmas palavras, e só um dos dois está dizendo a verdade.

Duas alucinações do nosso próprio produto

Operamos um time de marketing com IA gerenciado, então a versão honesta desta seção é o nosso próprio registro de incidentes, não um levantamento sobre os dos outros. O primeiro caso foram links de imagem. Nosso Growth Officer delegou uma tarefa de imagem a um especialista e escreveu a mensagem de entrega para o cliente no mesmo turno, antes de o especialista ter devolvido qualquer coisa, montando os endereços de imagem a partir de identificadores que por acaso estavam no seu contexto. Dos 151 links que produziu, 57 apontavam para arquivos que não existiam. Todos eles estavam bem formados.

A causa não foi descuido do modelo, foi a nossa própria instrução. O prompt ensinava a sintaxe markdown de uma imagem sem nunca dizer de onde vem o endereço, o que se lê como um modelo a preencher. Diante de uma lacuna para completar e de nenhuma regra que proibisse completá-la, o modelo completou. Reescrevemos a instrução, mas a instrução nunca foi a correção de verdade.

O segundo caso foi um relatório de pesquisa. Um novo cadastro digitou o nome de uma empresa, uma descrição de uma palavra e um endereço web que não resolvia. A primeira passagem disse isso com honestidade: o site estava inacessível. Uma segunda passagem rodou um minuto depois sobre o mesmo perfil e produziu uma análise de concorrentes, com rivais nomeados e posicionamento, de um negócio que não existe. Nada tinha quebrado e nenhuma regra tinha sido violada. A segunda passagem simplesmente tinha menos com o que trabalhar, e um nome que soava plausível bastou para preencher a lacuna.

Checagens que se sustentam, e a que não

A correção instintiva é escrever uma instrução mais firme. Ela não se sustenta, porque aquilo em que você confia para cumprir a regra é a mesma coisa que é pouco confiável. As checagens que sobrevivem ao contato com um modelo são as que não dão voto a ele:

• Verifique a existência, não o formato. O aprendizado mais afiado: o que um agente inventa é o identificador, não a forma em volta dele. Qualquer checagem que o modelo consiga deduzir ele também consegue satisfazer enquanto inventa a resposta, então nossos links de mídia agora são conferidos contra o arquivo real, nunca contra um padrão.
• Coloque um portão no que não dá para desfazer. Um rascunho errado não custa nada. Um e-mail enviado não volta. Encaminhe o irreversível por um portão de aprovação e mantenha uma pessoa no circuito em tudo que sai para fora.
• Deixe o agente ler o próprio resultado. Um agente que nunca fica sabendo se a ação deu certo vai descrever a versão que esperava. Devolver o resultado real é o que impede um post que falhou de ser relatado ao cliente como publicado.
• Exija uma fonte por afirmação. Cada número, citação e link deveria levar a algo que você possa abrir. Uma afirmação sem fonte não é automaticamente falsa, mas é a única que você não tem como conferir.