ハルシネーションとは

ハルシネーションの種類

ハルシネーションは、「Intrinsic Hallucinations」と「Extrinsic Hallucinations」の大きく2つに分類できます。前者は学習に用いたデータとは異なる事実の出力をするケースで、後者は学習に用いたデータには存在しない事を出力するケースです。
例えば、学習に用いたデータに「旭川市の旭山動物園では、シロクマを飼育しています」という情報が含まれているにもかかわらず、AIが「札幌市の旭山動物園では、シロクマを飼育しています」という回答を出力するようなケースが、「Intrinsic Hallucinations」に該当します。
一方、「旭川市の旭山動物園では、シロクマの親子が園内を散歩するパレードを行っています」という回答を出力したケースは、「Extrinsic Hallucinations」に該当します。学習に用いたデータには、園内のパレードについての情報は存在しないため、事実かどうかの検証ができないからです。

ハルシネーションの原因と対応策

ハルシネーションが発生する原因としては、「学習データの問題」や「AIモデルのアーキテクチャや学習プロセスの問題」などが挙げられます。
例えば言語モデルの場合、インターネットなどから収集した大量のデータでモデルを学習するため、そのデータ内に偏りや誤った情報が含まれてしまい、結果としてハルシネーションが発生してしまうことがあります。また、言語モデルはある単語に対し次に続く確率が高い単語を予測するものであり、正しい情報を出力することを目的として訓練されるわけではありません。そのため、文脈には合っていても、真実ではない情報を出力してしまうことがあります。
このような原因に対し、ハルシネーションの発生を抑制するため、いくつかの対応策が取り組まれています。1つ目が「学習データの質の向上」です。学習用のデータから真実ではない情報や、偏りがある情報を極力除去することで、ハルシネーションの発生を抑制することが期待されます。ただし、大量のデータに対してその質を上げることは非常に労力がかかることであり、完璧な対策を取ることはとても困難であると言えます。
2つ目は「出力結果にフィルターをかける」ことで、誤った情報や偏見を含む情報を出力しないように制限をかけることです。ただし、何が誤った情報で、何が偏見なのかを厳密に判断することは難しく、こちらも完璧を期すことは難しいと言えます。
3つ目は、「人間からのフィードバックをもとに強化学習を行う手法（RLHF：Reinforcement Learning from Human Feedback）」です。OpenAIのInstructGPTでは、RLHFの手法を取り入れることで、同社の大規模言語モデルGPT-3と比較して、ハルシネーションの発生を抑制することに成功しました^※1。この手法は、ChatGPTのベースとなる大規模言語モデルGPT-3.5やGPT-4でも取り入れられています。

これ以外にも様々なハルシネーション抑制のための研究がされていますが、現時点ではハルシネーションを完全に抑制することは難しく、複数の手段を組み合わせることで緩和する取り組みが進められています。

• ^※1  

  https://openai.com/research/instruction-following

ハルシネーションの事例

①Meta（Facebook）の科学用大規模言語モデル「Galactica」における事例

Metaは、2022年11月15日に、論文、教科書、百科事典など4800万件以上のデータを使い学習させた科学用言語モデル「Galactica」のデモを一般公開しましたが、2日後に公開を取りやめました。Galacticaは、ユーザーが質問をすると、その質問に関連する論文の要約を回答したり、入力されたプログラムや数式についてその意味を説明していました。しかし、入力される質問が明らかに非科学的な内容であるにもかかわらず、でたらめな回答を生成するケースがユーザーから数多く報告されました。
科学的な質問に対して回答するときにまず求められることは、その回答が真実であるかどうかです。Galacticaのハルシネーションは、その基本要件を満たせなかったため大きな問題となり、短期間でデモの一般公開が中止になってしまいました。ただし、研究者向けには、この言語モデルを公開しています。

②Googleの会話型AIサービス「Bard」における事例

Googleは、2023年2月6日に会話型AIサービス「Bard」の発表を行いました。Bardは、同社が開発した大規模言語モデルLaMDA（Language Model for Dialogue Applications）をベースにしたもので、先行するOpenAIのChatGPTに対抗するサービスとして、大きな注目を集めていました。しかし、Bardを紹介するデモ動画の中に、ハルシネーションに該当する現象が発生していました。
具体的には、「ジェームズ・ウェッブ宇宙望遠鏡の新発見について、9歳の子どもに教えてあげられる事は？」という質問に対するいくつかの回答の中に、「太陽系の外の惑星の写真を初めて撮影した」という回答がされていました。実際は、ヨーロッパ南天天文台が、2004年にチリの超大型望遠鏡で撮影していたことが分かり、Bardの回答の正確性にネガティブな印象を与える結果になってしまいました。

関連記事

「ハルシネーション」に関して動画でお伝えしています

このページを見ている人はこんな用語解説ページも見ています

ChatGPT

大規模言語モデル

生成AI

---

「ハルシネーション」に関してこんなページも見られています

レポート

ChatGPTがもたらすパラダイムシフト
－仕事、企業、社会はどう変わるか－

OpenAI が 2022年11月に公開した対話型のAIサービス「ChatGPT」が大きな話題となっている。日進月歩で進化を続け、ChatGPT、あるいは生成AIというワードを聞かない日はないほどだ。本稿では、蒸気機関や内燃機関、コンピューターやインターネットに匹敵するほどの汎用技術ともいわれるChatGPTの現状と課題、そのインパクトについて論考する。

刊行物

大規模言語モデルの金融業界へのインパクト
～ChatGPTの今後の展望と活用可能性～

金融機関においてもChatGPTを始めとする大規模言語モデルの実証実験・活用検討が進み始めている。大規模言語モデルの適用可能性は非常に広く、既存の業務プロセスを大きく変革するポテンシャルを持つ。AIと人間の役割の明確化が今後より重要な課題となっていくだろう。