ハルシネーション（AI）

誤った答えが正しい答えとまったく同じに聞こえる理由

言語モデルは事実を調べてから書くわけではありません。コンテキストにあるすべてを踏まえ、次に来る可能性がもっとも高いものを選びながら書いていきます。コンテキストに答えが含まれていれば、この過程は正しい文を生みます。含まれていなくても、過程は文を生み続けます。文を生むことがモデルの唯一の仕事だからです。そして出力そのものには、いま起きたのがどちらなのかを示す印は一切ありません。

つまり「モデルは自信たっぷりだった」という観察には情報がまったくありません。ハルシネーションは予測可能な場所に集中します。モデルが一度も与えられていない具体的な情報を求められた箇所です。目の前にある文書の要約を頼めば、まず起きません。統計、出典のURL、競合の価格、あるいは自分では観測できない操作の結果を求めれば、条件はそろいます。信頼できる手がかりは口調ではなく、自分で開ける出典が存在しないことです。エビデンスチェーンがどんな確信度の指標よりも価値を持つのは、このためです。

AIマーケティングツールが実際にでっち上げるもの

マーケティングの現場で起きるでっち上げは、それほど奇抜なものではありません。いくつかの型に収まるので、その型を知ることが対策の大半を占めます。

• 数字と調査 — その調査会社が一度も発表していない数値が、権威ある出典として添えられます。権威に聞こえるからこそランディングページに貼られ、あとで顧客から引用し返されることになります。
• リンクと引用 — 404になるアドレス、あるいは開けるけれど中身がまったく別のもの。モデルは一度も見たことのないページについて、それらしいURLを組み立てられます。
• 推薦文と社会的証明 — 背後に誰もいないレビュー、評価スコア、導入事例の成果。でっち上げの社会的証明は、もっとも簡単に暴かれる部類であり、暴かれたときの代償がもっとも大きい部類でもあります。
• 自分自身の行動 — ほとんどの人が見落とすものです。投稿を下書きしただけのエージェントと、実際に公開したエージェントは、まったく同じ言葉で自分の仕事を説明します。そして本当のことを言っているのは一方だけです。

自社プロダクトで起きた二つのハルシネーション

私たちはマネージド型のAIマーケティングチームを運用しているので、このセクションの正直な中身は他社の調査ではなく自分たちのインシデント記録です。ひとつ目は画像リンクでした。Growth Officerが画像タスクを専門エージェントに委任し、その専門エージェントが何も返す前の同じターンのうちに顧客向けの納品メッセージを書き、たまたまコンテキストに残っていた識別子から画像アドレスを組み立ててしまったのです。生成された151本のリンクのうち57本が、存在しないファイルを指していました。しかもそのすべてが形式としては正しく整っていました。

原因はモデルの不注意ではなく、私たち自身の指示でした。プロンプトは画像のmarkdown記法を教えていながら、そのアドレスがどこから来るのかを一度も述べていなかったのです。それは埋めるべきテンプレートとして読まれます。埋める空欄があり、埋めるなという規則がなければ、モデルは埋めます。指示は書き直しましたが、指示そのものが本当の解決策だったことは一度もありません。

ふたつ目はリサーチレポートでした。新規登録者が会社名と一語だけの説明、そして名前解決できないウェブアドレスを入力しました。1回目の処理は正直にこう述べました。サイトに到達できません、と。ところが1分後、同じプロフィールに対して走った2回目の処理は、実在しない事業について、具体的な競合名とポジショニングまで含んだ競合分析を書き上げました。何も壊れていませんし、規則も破られていません。2回目は単に手がかりが少なかっただけで、もっともらしく響く社名だけで空白を埋めるには十分だったのです。

通用するチェックと、通用しないチェック

反射的な対処は、もっと強い指示を書くことです。しかしそれは通用しません。規則を守る役として頼っている当のものが、信頼できない当のものだからです。モデルとの接触に耐えるチェックは、モデルに発言権のないチェックです。

• 形式ではなく実在を検証する。 もっとも鋭い学びでした。エージェントがでっち上げるのは識別子であって、その周囲の形ではありません。モデルが導き出せるチェックは、答えをでっち上げながら同時に満たすこともできます。だから私たちのメディアリンクは、パターンではなく実際のファイルに対して照合されます。
• 取り消せないものにゲートを設ける。 誤った下書きに費用はかかりません。送信済みのメールは取り戻せません。取り消せない処理は承認ゲートを通し、外部に出るものには人間を介在させ続けてください。
• エージェント自身に結果を読ませる。 操作が成功したかどうかを決して知らされないエージェントは、自分が期待したほうの筋書きを語ります。実際の結果を返してやることが、失敗した投稿を顧客に「公開済み」と報告させないための仕組みです。
• 主張ごとに出典を要求する。 数字も引用もリンクも、開いて確かめられる何かに行き着くべきです。出典のない主張が自動的に嘘というわけではありませんが、確かめる手立てがないのはその主張だけです。