환각(할루시네이션)

틀린 답이 맞는 답과 똑같이 들리는 이유

언어 모델은 사실을 찾아본 뒤에 쓰지 않습니다. 맥락에 있는 모든 것을 고려해 다음에 올 가능성이 가장 높은 것을 고르며 써 내려갑니다. 맥락에 답이 들어 있으면 이 과정은 올바른 문장을 만듭니다. 들어 있지 않아도 과정은 여전히 문장을 만듭니다. 문장을 만드는 것이 모델이 하는 유일한 일이기 때문입니다. 그리고 출력 안에는 방금 둘 중 어느 쪽이 일어났는지 알려주는 표시가 전혀 없습니다.

따라서 "모델이 확신에 차 보였다"는 관찰에는 아무 정보도 없습니다. 환각은 예측 가능한 자리에 몰립니다. 모델이 한 번도 받은 적 없는 구체적인 정보를 요구한 지점입니다. 눈앞에 있는 문서를 요약해 달라고 하면 거의 나오지 않습니다. 통계, 출처 URL, 경쟁사 가격, 또는 스스로 관찰할 수 없는 작업의 결과를 요구하면 조건이 갖춰집니다. 믿을 만한 신호는 어조가 아니라 열어볼 수 있는 출처가 없다는 사실입니다. 증거 사슬이 어떤 확신도 지표보다 값진 이유가 여기에 있습니다.

AI 마케팅 도구가 실제로 지어내는 것들

마케팅에서 벌어지는 날조는 그리 특이하지 않습니다. 몇 가지 유형으로 정리되며, 그 유형을 아는 것이 방어의 대부분입니다.

• 숫자와 조사 — 해당 조사 기관이 발표한 적 없는 수치가 권위 있는 출처와 함께 붙습니다. 권위처럼 들리기 때문에 랜딩 페이지에 그대로 복사되고, 나중에 고객이 그 숫자를 되짚어 인용합니다.
• 링크와 인용 — 404가 나는 주소, 또는 열리기는 하지만 전혀 다른 내용인 주소. 모델은 한 번도 본 적 없는 페이지의 그럴듯한 URL을 조립할 수 있습니다.
• 후기와 사회적 증거 — 뒤에 아무도 없는 리뷰, 평점, 사례 성과. 지어낸 사회적 증거는 반박하기 가장 쉬운 축에 들면서, 누군가 반박했을 때 가장 비싼 대가를 치르는 축이기도 합니다.
• 자기 자신의 행동 — 대부분이 놓치는 항목입니다. 게시물을 초안만 쓴 에이전트와 실제로 게시한 에이전트는 자기 작업을 똑같은 말로 설명합니다. 그리고 진실을 말하는 쪽은 둘 중 하나뿐입니다.

우리 제품에서 나온 두 건의 환각

우리는 매니지드 AI 마케팅 팀을 운영하므로, 이 절의 정직한 내용은 남의 사례 조사가 아니라 우리 자신의 장애 기록입니다. 첫 번째는 이미지 링크였습니다. Growth Officer가 이미지 작업을 전문 에이전트에게 위임하고는, 그 에이전트가 아무것도 반환하기 전인 같은 턴 안에서 고객에게 보낼 전달 메시지를 작성하면서, 마침 맥락에 남아 있던 식별자들로 이미지 주소를 조립했습니다. 만들어진 링크 151개 가운데 57개가 존재하지 않는 파일을 가리켰습니다. 그리고 그 전부가 형식상으로는 흠 없이 올바랐습니다.

원인은 모델의 부주의가 아니라 우리 자신의 지시였습니다. 프롬프트는 이미지의 markdown 문법을 가르치면서 그 주소가 어디서 오는지는 한 번도 말하지 않았습니다. 그것은 채워 넣어야 할 템플릿처럼 읽힙니다. 채울 빈칸이 있고 채우지 말라는 규칙이 없으면 모델은 채웁니다. 지시는 다시 썼지만, 지시가 진짜 해결책이었던 적은 없습니다.

두 번째는 리서치 보고서였습니다. 신규 가입자가 회사명과 한 단어짜리 설명, 그리고 이름이 해석되지 않는 웹 주소를 입력했습니다. 1차 처리는 정직하게 말했습니다. 사이트에 접속할 수 없다고요. 그런데 1분 뒤 같은 프로필로 실행된 2차 처리는 존재하지 않는 사업체에 대해 경쟁사 이름과 포지셔닝까지 갖춘 경쟁 분석을 만들어냈습니다. 무엇도 고장 나지 않았고 어떤 규칙도 어기지 않았습니다. 2차 처리는 단지 재료가 적었을 뿐이며, 그럴듯하게 들리는 이름 하나면 빈칸을 채우기에 충분했습니다.

버티는 점검과 버티지 못하는 점검

본능적인 해법은 더 단호한 지시를 쓰는 것입니다. 그것은 버티지 못합니다. 규칙을 지키라고 믿고 맡긴 대상이 바로 믿을 수 없는 그 대상이기 때문입니다. 모델과 부딪혀도 살아남는 점검은 모델에게 발언권이 없는 점검입니다.

• 형식이 아니라 실재를 확인하세요. 우리가 얻은 가장 날카로운 교훈입니다. 에이전트가 지어내는 것은 식별자이지 그 주변의 형식이 아닙니다. 모델이 유도할 수 있는 점검이라면 답을 지어내면서 동시에 통과시킬 수도 있습니다. 그래서 우리 미디어 링크는 패턴이 아니라 실제 파일을 대상으로 확인합니다.
• 되돌릴 수 없는 것에 관문을 두세요. 잘못된 초안은 비용이 들지 않습니다. 발송된 이메일은 되돌릴 수 없습니다. 되돌릴 수 없는 작업은 승인 게이트를 거치게 하고, 외부로 나가는 모든 것에는 사람을 개입시키세요.
• 에이전트가 자기 결과를 읽게 하세요. 작업이 성공했는지 끝내 알지 못하는 에이전트는 자기가 기대한 쪽을 이야기합니다. 실제 결과를 되돌려 주는 것이 실패한 게시물을 고객에게 게시 완료로 보고하지 않게 만드는 장치입니다.
• 주장마다 출처를 요구하세요. 모든 숫자와 인용과 링크는 열어볼 수 있는 무언가로 이어져야 합니다. 출처 없는 주장이 자동으로 거짓인 것은 아니지만, 확인할 방법이 없는 것은 그 주장뿐입니다.