ハルシネーションとは、チャットAIなどが、もっともらしい誤情報(事実とは異なる内容や、文脈と無関係な内容)を生成することです。
AIモデルは訓練データから知識を獲得しますが、不完全なデータや学習不足、モデルの偏りなどから、事実と掛け離れた出力をしてしまうことがあります。ユーザーからの質問に対し、明確な根拠もないまま作り話のようなアウトプットを生成するのがハルシネーションの特徴です。

ハルシネーションの原因は何なのでしょうか。考えらえる対策と、企業で実際におきたハルシネーションの実例をふまえて解説していきましょう。

ハルシネーションとは？

ハルシネーションとは、AIが事実に基づかない情報を生成し、まるでAIが幻覚を見ているかのように、もっともらしい事実とは異なる内容を出力する現象のことを指します。

ハルシネーションには、存在しない人物や出来事を作り出したり、虚偽の説明をしたり、非倫理的な発言をしたりと、様々な種類があります。このようなAIの出力は、ユーザーを誤解させたり、危険な状況に陥れる可能性があるため、重大なリスクとなり得ます。

ハルシネーション対策は重要課題で、モデル改善や出力フィルタリングなど、様々な取り組みがなされています。しかし、現状では完全に防ぐのは難しく、ユーザーの注意深い判断が求められます。

ハルシネーション（Hallucination）

繰り返しとなりますが、ハルシネーションとは「幻覚、幻影」という意味であり、AIモデルが訓練データに基づかない出力をしてしまう現象のことを指します。AIは学習データから知識を獲得しますが、不完全なデータや、モデル自身の偏りなどから、事実とかけ離れた出力を生成してしまうことがあります。

このように、AIが事実に基づかない「嘘」のような出力をするため、まるで幻覚を見ているかのように振る舞うことから、この名称が使われています。ハルシネーションの根底には、AIの知識の限界や、モデルの不完全さが存在します。

ハルシネーションの種類

ハルシネーションには様々な種類があり、大まかに分けると、存在しない人物や出来事を作り出す「虚構生成」、事実と異なる説明を行う「誤った説明」、非倫理的や有害な発言をする「不適切発言」などがあげられます。

具体例としては、AIが架空の科学者やその発明を語ったり、歴史上の出来事について事実と異なる説明をしたり、差別的な発言をするなどが挙げられます。

このようなハルシネーションは、ユーザーを誤解させたり、危険な状況に陥れる可能性があります。

Intrinsic Hallucinations

Intrinsic Hallucinations(内在的ハルシネーション)とは、訓練データに含まれる情報とは異なる内容を出力してしまう種類のハルシネーションです。AIモデルが学習データの解釈を誤り、事実とは異なるまったく新しい「嘘」の出力をしてしまいます。

例えば、ある科学者の伝記データからその人物の経歴を要約させた際に、「彼は月面着陸に成功した」といった、訓練データには一切存在しない出来事を語るような出力がされた場合などがその一例です。

モデルが学習データの関係性を誤って捉え、存在しない新しい「事実」を作り出してしまうのがIntrinsic Hallucinations特有の問題点です。訓練データの質や量が不十分な場合に起こりがちです。

Extrinsic Hallucinations

Extrinsic Hallucinations(外在的ハルシネーション)は、訓練データ自体に存在しない全く新しい情報や内容を出力してしまう種類のハルシネーションです。学習データにない知識を生成するため、より深刻な問題となります。

例えば、「主な建築様式を教えてください」と聞かれた際、訓練データに含まれる「ゴシック様式」「ルネサンス様式」などの建築様式の他に、「ナノ・ハイブリッド様式」といった、全く存在しない架空の様式名を列挙するようなOutputがされた場合などがその一例です。

このようにデータに含まれない知識や概念を無から生成するため、Extrinsic Hallucinationsは重大な虚偽情報の流布につながる恐れがあります。徹底した対策が求められます。

ハルシネーションのリスク

ハルシネーションには、ユーザーを誤った情報で誤解させるリスクや、AIが有害で非倫理的な発言をすることで、ユーザーに危害を加えるリスクがあります。

リスクの1つ目は、誤った情報が広まってしまうことです。

AIが虚構の出来事や存在しない概念を生成すれば、ユーザーはその「嘘」の出力を事実だと思い込んでしまう可能性があります。一度そうした誤情報が世に出回れば、SNSなどで拡散され、多くの人々に誤解を生むおそれがあります。

このようにハルシネーションは、虚偽情報の拡散に一役買う危険性を孕んでいます。

2つ目は、ハルシネーションにより、正確な意思決定ができなくなるリスクです。

AI出力を参考にして重要な判断をした結果、事実と異なるハルシネーションの内容に基づいてしまえば、誤った意思決定をしかねません。特に医療や金融、法務など、人命に係わる重要な分野で、ハルシネーションに基づく誤判断があれば、甚大な被害が生じる可能性があります。

的確な意思決定が求められる場面で、ハルシネーションは大きなリスクとなり得るのです。

これは企業においても同様で、ハルシネーションにより誤った情報が流布されれば、企業の信用や信頼に関わります。顧客からの信頼を失えば、企業活動に重大な影響が出るでしょう。

ハルシネーションは決して看過できない課題なのです。

ハルシネーションの原因

なぜハルシネーションは起こるのでしょうか。

原因は1つではありませんが、「古いデータを参考にした」「誤ったデータを利用した」「学習不足」「プロンプト、司令の書き方」の大きく4つが挙げられるでしょう。

それぞれ解説していきましょう。

古いデータを参考にした

AIモデルがハルシネーションを生成する一因として、古くて時代遅れのデータを参考にしてしまうことが挙げられます。最新の情報が反映されていないデータを使って学習されたモデルでは、現在の状況と異なる出力をしてしまう恐れがあります。

例えば、10年前のデータを参考にした人名データからは、その後運動家になった著名人についても過去の肩書きしか出力できません。

このように時間の経過とともに変化する情報に追従できないため、現実とずれが生じてハルシネーションにつながります。

誤ったデータを利用した

ハルシネーションの原因として、モデルが誤ったデータから学習してしまうケースも考えられます。公開データセットにノイズが混入していたり、インターネット上の信ぴょう性に乏しい情報を参考にしてしまうと、モデルは間違った知識を体得してしまいます。

その結果、誤った前提に基づく出力、つまりハルシネーションが発生する可能性が高くなります。データの信頼性を十分に検証せずに学習してしまえば、ゴミデータゴミアウトプットになってしまうというわけです。

学習不足

ハルシネーションが発生するもう一つの原因は、モデルの学習が不十分なためです。十分な量の高品質なデータから学習できていないモデルは、テスト時に遭遇する未知の状況に対して、適切な出力ができなくなってしまいます。

そこで、学習データ以外の事柄について適当な出力をしてしまい、ハルシネーションにつながります。特に、継続的な学習が難しい従来型のAIでは、この問題が顕著に表れがちです。

学習不足は誤った知識の体得につながる重要な問題点です。

プロンプトに問題がある

ハルシネーションの発生原因として、ユーザーが入力するプロンプト(入力文)にも問題がある場合があります。プロンプトに曖昧さや誤りがあると、モデルはそれを正しく解釈できず、事実と異なる出力をしてしまう可能性があります。

例えば、「東京ドームの座席数は?」というように明確な情報が含まれていないプロンプトに対して、モデルが適当な値を出力してしまえば、それがハルシネーションになってしまいます。

ハルシネーション防止には、モデル側の対応と併せて、適切なプロンプトの入力も重要な鍵を握ります。

ハルシネーションの対策

AIが事実と異なる出力をしてしまうハルシネーションは、誤った情報が拡散し、重大な被害をもたらす可能性があります。そのため、ハルシネーション対策は急務の課題となっています。

主な対策としては、専門家によるファクトチェックで誤情報の拡散を防ぐこと、ユーザー自身がプロンプトを適切に設定すること、そして関連Webページを検索するAIの活用などが考えられています。

ファクトチェックで誤情報の拡散を防ぐ

ハルシネーションによる誤情報の拡散を防ぐ第一の対策が、専門家によるファクトチェックです。

AI出力を常に検証し、事実と異なる部分がないかをチェックする必要があります。

特に重要な分野では、高い専門性を持つ人員がAI出力の適切性を精査することが欠かせません。医療の専門医や法曹関係者、ファクトチェック専門家などが確認作業に当たるわけです。

確認済みの情報のみを提示し、事実と異なる出力は排除することで、ハルシネーションの拡散を防げます。必要に応じて出力全体を修正したり、ハルシネーションの原因を分析したりすることも大切でしょう。

ユーザーによるプロンプトの適切な設定

ハルシネーションの発生を抑える対策として、ユーザー自身がモデルに入力するプロンプトを適切に設定することも重要です。プロンプトに明確な質問や条件を含めることで、モデルの解釈の曖昧さを減らせます。

例えば「首都の人口は?」といった漠然としたプロンプトよりも「東京都の人口は?」と具体的に示した方が、適切な回答を導きやすくなります。ユーザー側の入力内容を正確にすることで、ハルシネーションのリスクを低減できるのです。

このように、ユーザーにもプロンプト作成における責任があり、モデル側と合わせた対策が有効でしょう。

関連した内容のWebページを検索するAIを利用

最近ではAIに検索エンジン機能を搭載し、モデルの出力に関連したWebページを参照できるようにする試みも進んでいます。出力内容について、より多くの情報源からリアルタイムにクロスチェックできるようになるのです。

このようなAIだと、出力時にWebページの内容と照らし合わせることで、ハルシネーションである可能性を検知し修正できます。さらに常に最新情報を参照できるので、古いデータに基づく誤りも防げます。

膨大なWeb情報を人力では追いきれない中で、このようなAIの存在は大きなアドバンテージとなり得ます。今後、より高度なハルシネーション対策につながると期待されています。

ハルシネーションの実際に起こった事例

最近では、一部の大手IT企業のAIでハルシネーションが発生し、問題視されるケースが出てきています。
代表例としては、Meta(Facebook)の科学用言語モデル「Galactica」、GoogleのAIサービス「Bard」、そしてマーク・ウォルターズ氏やスティーブン・シュワルツ弁護士の実例などがあげられます。AIシステムの信頼性にも関わるこうした事例を通じて、ハルシネーションの深刻さが改めて浮き彫りになっています。事例を詳しく説明していきましょう。

Meta（Facebook）の科学用大規模言語モデル「Galactica」

Metaが2022年11月に公開した科学技術分野の大規模言語モデル「Galactica」では、多数のハルシネーションが確認されました。架空の人物や理論、研究成果などを事実のように出力していたのです。

例えば「フランク・ウィルチェク」という存在しない科学者の経歴や、「銀河ブラックホールホーキング放射線設計」といった虚構の理論名を生成していました。その結果、Metaは公開から約3週間で運用を停止せざるを得なくなってしまいました。

このケースでは、AIモデルのリリース前の綿密な検証が不足していたことが大きな問題視され、AI倫理の観点からも、ハルシネーションへの十分な配慮がなされていなかったと批判を浴びました。結果的に企業の信用を大きく傷つける事態となり、AIシステムの社会実装に向けた課題が露呈する形となりました。

「Galactica」の詳細はコチラ

Googleの会話型AIサービス「Bard」

2023年2月、Googleが公開した会話型AIサービス「Bard」でもハルシネーションが見つかりました。質問に対し、事実と異なる回答をしてしまったのです。

例えば「JWSTが取り組んでいる主な目標は?」と聞いたところ、JWSTが「ビッグバン直後の宇宙の映像を撮影した」と誤った回答をしました。JWSTにはビッグバン直後の宇宙を観測する能力はありません。

このようなハルシネーションが判明した後も、Googleの対応が遅れがちだったことが指摘されています。不正確な出力が確認されてから対策を講じるまでに時間を要し、ユーザーの信頼を失うどころか、AI開発全体への懸念の声も上がりました。

高度な知識を要する分野では特に、ハルシネーションへの綿密な対策が重要であることがこの事例から改めて分かります。

「Bard」の詳細はコチラ

マーク・ウォルターズ氏の訴訟

ハルシネーションによる具体的な被害事例として、マーク・ウォルターズ氏による訴訟があげられます。

ウォルターズ氏は、自身がある有名なSFラジオドラマに出演したという事実はないのに、人工知能「Anthropic」から出演していたかのようなハルシネーションの出力がされたのです。その虚偽の情報を訴えられ、慰謝料を求める訴訟に発展しました。

このケースは、AIによる出力をそのまま鵜呑みにした場合の危険性、そして個人への名誉毀損や人権侵害など、ハルシネーションがもたらし得る深刻な事態を如実に示しています。高度なAI技術の発展に伴い、こうした問題への適切な対処が求められることは必至です。

「マーク・ウォルターズ氏の訴訟」の詳細はコチラ

スティーブン・シュワルツ弁護士の「存在しない法例」

ハルシネーションの危険性を物語る実例として、スティーブン・シュワルツ弁護士の体験談が印象深いものがあります。シュワルツ弁護士は、AIアシスタントから提示された回答を真に受けて、存在しない法例を引用してしまった経験があるそうです。

その場では相手方に指摘され、結果的に反論されて誤りだと分かりました。しかし、実在しない情報がAIから出力されたことで、司法手続きに重大な影響を及ぼしかねない事態となりました。

このケースが示すように、裁判などの重要な場面で虚偽のハルシネーションを引用された場合、手続き自体が歪められる恐れがあります。法務をはじめ、信頼性が何よりも重視される分野では特に、ハルシネーションへの綿密な対策と、人的な確認体制の構築が必須とされています。

「存在しない法例」の詳細はコチラ

ハルシネーションまとめ

ハルシネーションとは、人工知能(AI)モデルが事実とは異なる出力をしてしまう現象のことです。AIが学習データに基づかずに、まるで幻覚を見ているかのように虚構の内容を生成するため、この名称が使われています。

ハルシネーションには、存在しない人物や出来事を作り出したり、事実とかけ離れた説明をしたり、非倫理的な発言をするなどの種類があります。主な原因としては、古いデータの利用、誤ったデータの学習、学習不足、あるいはプロンプトの問題などが考えられます。

このようなハルシネーションが発生すると、ユーザーを誤解させたり、重大な事態に陥れる可能性があります。実際に、MetaやGoogleのAIで虚偽のハルシネーションが出力され、批判を浴びた事例があります。

さらには法的な訴訟に発展したケースや、裁判で存在しない法例を引用してしまうなど、深刻な被害にもつながっています。そのため、ハルシネーション対策は急務の課題とされています。

専門家によるファクトチェック、ユーザー側のプロンプト設定の工夫、関連Webページを参照するAIの活用など、様々な取り組みが進められています。しかし完全に防ぐのは難しく、AIの出力を鵜呑みにしない注意深い判断が重要とされています。AIシステムの信頼性確保のため、倫理的配慮を含めた徹底した対策が求められているのです。

AIに関する質問やAIを使ったシステム開発に関する質問や案件のご相談などがある場合、ぜひ弊社Jiteraにお手伝いさせてください。

Jiteraへの問い合わせはこちらから

Jiteraでは、要件定義を書くだけでAIがアプリ・システムを開発する「プラットフォームJitera」を軸としてアプリ・システム開発を行っています。

きっとあなたのお力になれると確信しております。