Alucinación (IA)

Por qué una respuesta falsa suena igual que una verdadera

Un modelo de lenguaje no consulta un dato y luego lo escribe. Escribe, eligiendo qué es lo más plausible que venga a continuación dado todo lo que tiene en su contexto. Cuando el contexto contiene la respuesta, ese proceso produce una frase correcta. Cuando no la contiene, el proceso produce una frase igualmente, porque producir frases es lo único que el modelo hace. Nada en la salida indica cuál de las dos cosas acaba de ocurrir.

Así que "el modelo sonaba seguro" no aporta ninguna información, y las alucinaciones se concentran en lugares predecibles: allí donde se pide un dato concreto que el modelo nunca recibió. Pídele que resuma un documento que tiene delante y rara vez verás una. Pídele una estadística, la URL de una fuente, el precio de un competidor o el resultado de una acción que no puede observar, y habrás construido las condiciones exactas. La señal fiable no es el tono, es la ausencia de una fuente que puedas abrir: por eso una cadena de evidencia vale más que cualquier indicador de confianza.

Qué se inventan de verdad las herramientas de marketing con IA

En marketing las invenciones no son exóticas. Aparecen en un puñado de formas, y conocer esas formas es la mayor parte de la defensa:

• Cifras y estudios — un porcentaje atribuido a una consultora que nunca lo publicó. Suenan a autoridad, que es justo la razón por la que acaban pegados en una landing y luego te los cita un cliente.
• Enlaces y citas — direcciones que dan 404, o que cargan pero dicen otra cosa. Un modelo puede construir una URL verosímil de una página que jamás ha visto.
• Testimonios y prueba social — reseñas, valoraciones y resultados de casos de éxito sin nadie detrás. Una prueba social inventada está entre lo más fácil de desmentir y lo más caro cuando alguien lo hace.
• Sus propias acciones — la que casi todo el mundo pasa por alto. Un agente que redactó una publicación y otro que la publicó describen su trabajo con las mismas palabras, y solo uno de los dos dice la verdad.

Dos alucinaciones de nuestro propio producto

Operamos un equipo de marketing con IA gestionado, así que la versión honesta de esta sección es nuestro propio registro de incidentes y no una encuesta sobre los de otros. El primer caso fueron los enlaces de imagen. Nuestro Growth Officer delegó una tarea de imagen en un especialista y escribió el mensaje de entrega para el cliente en el mismo turno, antes de que el especialista hubiera devuelto nada, montando las direcciones de imagen a partir de identificadores que estaban por ahí en su contexto. De los 151 enlaces que produjo, 57 apuntaban a archivos que no existían. Todos y cada uno estaban bien formados.

La causa no fue un descuido del modelo, fue nuestra propia instrucción. El prompt enseñaba la sintaxis markdown de una imagen sin decir nunca de dónde sale la dirección, lo cual se lee como una plantilla que hay que rellenar. Dado un hueco que completar y ninguna regla que lo prohibiera, el modelo lo completó. Reescribimos la instrucción, pero la instrucción nunca fue el arreglo real.

El segundo caso fue un informe de investigación. Un registro nuevo escribió el nombre de una empresa, una descripción de una palabra y una dirección web que no resolvía. La primera pasada lo dijo con honestidad: no se podía acceder al sitio. Una segunda pasada se ejecutó un minuto después sobre el mismo perfil y produjo un análisis de competidores, con rivales concretos y posicionamiento incluidos, de un negocio que no existe. Nada se había roto y ninguna regla se había incumplido. La segunda pasada simplemente tenía menos con lo que trabajar, y un nombre que sonaba plausible bastó para rellenar el hueco.

Controles que aguantan, y el que no

El arreglo instintivo es escribir una instrucción más firme. No aguanta, porque aquello en lo que confías para cumplir la regla es exactamente lo que no es fiable. Los controles que sobreviven al contacto con un modelo son aquellos en los que el modelo no tiene voto:

• Verifica la existencia, no el formato. Lo más afilado que aprendimos: lo que un agente inventa es el identificador, no la forma que lo rodea. Cualquier comprobación que el modelo pueda deducir también puede satisfacerla mientras se inventa la respuesta, así que nuestros enlaces de medios ahora se comprueban contra el archivo real, nunca contra un patrón.
• Pon una compuerta a lo irreversible. Un borrador equivocado no cuesta nada. Un correo enviado no se puede recuperar. Enruta lo irreversible por una compuerta de aprobación y mantén a una persona en el circuito en todo lo que salga al exterior.
• Deja que el agente lea su propio resultado. Un agente que nunca se entera de si una acción salió bien describirá la versión que esperaba. Devolverle el resultado real es lo que evita que una publicación fallida se le cuente al cliente como publicada.
• Exige una fuente por afirmación. Cada cifra, cita y enlace debería remitir a algo que puedas abrir. Una afirmación sin fuente no es falsa por definición, pero es la que no tienes forma de comprobar.