Halluzination (KI)

Warum eine falsche Antwort genau wie eine richtige klingt

Ein Sprachmodell schlägt keine Tatsache nach und schreibt sie dann auf. Es schreibt und wählt dabei, was angesichts von allem in seinem Kontext am plausibelsten als Nächstes kommt. Enthält der Kontext die Antwort, erzeugt dieser Vorgang einen richtigen Satz. Enthält er sie nicht, erzeugt der Vorgang trotzdem einen Satz, denn Sätze erzeugen ist das Einzige, was das Modell tut. Nichts in der Ausgabe zeigt an, welcher der beiden Fälle gerade eingetreten ist.

"Das Modell klang sicher" trägt damit keinerlei Information, und Halluzinationen häufen sich an vorhersagbaren Stellen: überall dort, wo eine konkrete Angabe verlangt wurde, die das Modell nie erhalten hat. Bitten Sie es, ein Dokument zusammenzufassen, das ihm vorliegt, und Sie werden selten eine sehen. Verlangen Sie eine Statistik, eine Quellen-URL, den Preis eines Wettbewerbers oder das Ergebnis einer Aktion, die es nicht beobachten kann, und Sie haben genau die Bedingungen geschaffen. Das verlässliche Anzeichen ist nicht der Ton, sondern das Fehlen einer Quelle, die Sie öffnen können — weshalb eine Evidenzkette mehr wert ist als jeder Sicherheitswert.

Was KI-Marketingwerkzeuge tatsächlich erfinden

Im Marketing sind die Erfindungen nicht exotisch. Sie treten in einer Handvoll Formen auf, und die Formen zu kennen ist der größte Teil der Abwehr:

• Zahlen und Studien — ein Prozentwert, zugeschrieben einem Institut, das ihn nie veröffentlicht hat. Das klingt nach Autorität, und genau deshalb landet es auf einer Landingpage und wird Ihnen später von einer Kundin zitiert.
• Links und Quellenangaben — Adressen, die einen 404 liefern, oder die zwar laden, aber etwas ganz anderes sagen. Ein Modell kann eine plausibel aussehende URL für eine Seite bauen, die es nie gesehen hat.
• Zitate und Social Proof — Testimonials, Bewertungen und Fallstudienergebnisse, hinter denen niemand steht. Erfundener Social Proof gehört zum am leichtesten Widerlegbaren und zum Teuersten, wenn es jemand tut.
• Die eigenen Handlungen — der Punkt, den die meisten übersehen. Ein Agent, der einen Beitrag entworfen hat, und einer, der ihn veröffentlicht hat, beschreiben ihre Arbeit mit denselben Worten, und nur einer von beiden sagt die Wahrheit.

Zwei Halluzinationen aus unserem eigenen Produkt

Wir betreiben ein gemanagtes KI-Marketingteam, deshalb ist die ehrliche Fassung dieses Abschnitts unser eigenes Störungsprotokoll und keine Umfrage über die Fehler anderer. Der erste Fall waren Bildlinks. Unser Growth Officer übergab eine Bildaufgabe an eine Spezialistin und schrieb die Übergabenachricht an die Kundschaft im selben Zug, bevor die Spezialistin überhaupt etwas zurückgegeben hatte, und setzte die Bildadressen aus Kennungen zusammen, die zufällig in seinem Kontext herumlagen. Von den 151 erzeugten Links zeigten 57 auf Dateien, die es nicht gab. Jeder einzelne war formal korrekt aufgebaut.

Die Ursache war keine Unachtsamkeit des Modells, sondern unsere eigene Anweisung. Der Prompt brachte die Markdown-Syntax für ein Bild bei, ohne je zu sagen, woher die Adresse kommt, und das liest sich wie eine Vorlage zum Ausfüllen. Wo eine Lücke zum Ausfüllen steht und keine Regel dagegen, füllt das Modell sie. Wir haben die Anweisung neu geschrieben, aber die Anweisung war nie die eigentliche Lösung.

Der zweite Fall war ein Recherchebericht. Eine neue Anmeldung tippte einen Firmennamen, eine Beschreibung aus einem Wort und eine Webadresse, die sich nicht auflösen ließ. Der erste Durchlauf sagte das ehrlich: Die Website war nicht erreichbar. Ein zweiter Durchlauf lief eine Minute später über dasselbe Profil und lieferte eine Wettbewerbsanalyse — mit namentlich genannten Konkurrenten und Positionierung — für ein Unternehmen, das es nicht gibt. Nichts war abgestürzt, keine Regel gebrochen. Der zweite Durchlauf hatte schlicht weniger, womit er arbeiten konnte, und ein plausibel klingender Name reichte, um die Lücke zu füllen.

Prüfungen, die halten, und die eine, die es nicht tut

Der instinktive Reflex ist, eine strengere Anweisung zu schreiben. Sie hält nicht, denn dasjenige, auf das Sie sich beim Befolgen der Regel verlassen, ist genau dasjenige, das unzuverlässig ist. Die Prüfungen, die den Kontakt mit einem Modell überstehen, sind die, bei denen das Modell nichts mitzureden hat:

• Prüfen Sie die Existenz, nicht das Format. Die schärfste Erkenntnis: Ein Agent erfindet die Kennung, nicht die Form drumherum. Jede Prüfung, die das Modell selbst herleiten kann, kann es auch erfüllen, während es die Antwort erfindet — unsere Medienlinks werden deshalb gegen die tatsächliche Datei geprüft, nie gegen ein Muster.
• Sichern Sie ab, was sich nicht zurücknehmen lässt. Ein falscher Entwurf kostet nichts. Eine gesendete E-Mail lässt sich nicht zurückholen. Führen Sie Unumkehrbares über ein Freigabe-Gate und halten Sie bei allem Ausgehenden einen Menschen in der Schleife.
• Lassen Sie den Agenten sein eigenes Ergebnis lesen. Ein Agent, der nie erfährt, ob eine Aktion geklappt hat, beschreibt die Fassung, die er erwartet hat. Das echte Ergebnis zurückzuspielen ist das, was verhindert, dass ein fehlgeschlagener Beitrag der Kundschaft als veröffentlicht gemeldet wird.
• Verlangen Sie eine Quelle je Aussage. Jede Zahl, jedes Zitat und jeder Link sollte zu etwas führen, das Sie öffnen können. Eine Aussage ohne Quelle ist nicht automatisch falsch, aber sie ist die eine, die Sie nicht nachprüfen können.