ハルシネーション｜LLMO用語集

AIは、入力された言葉に対して、過去のデータから最も自然に続く言葉を計算によって選んで文章を作っています。
検索エンジンがウェブページをそのまま表示する仕組みとは異なります。
そのため、学習データにないことを聞かれたときに、「わからない」と答える代わりに、計算上もっともらしい言葉をつなぎ合わせて間違った回答を作ってしまうことがあります。
これがハルシネーションです。
文章自体は自然な日本語で書かれているため、人間が読んでも間違いに気づきにくいという特徴があります。

現時点の技術では、発生をゼロにすることはできません。
確率に基づく文章生成という仕組みである以上、誤った単語の組み合わせが出現する可能性は常に残ります。
ただし、特定の知識を参照させる技術を組み合わせることで、発生確率を下げることは可能です。
利用者はAIの出力結果が常に正しいとは限らないという前提に立ち、システムを設計する必要があります。

最新のニュースや、専門的な知識を尋ねたときに発生しやすくなります。
学習データに含まれていない出来事や、情報量が少ない事柄については、正しい情報を予測するためのデータが足りないからです。
また、存在しない人物や架空の事件を前提とした質問を入力した場合も、AIはそれに合わせて架空の事実を作り出して回答する傾向があります。
誤出力を減らすには、前提条件を明確にした具体的な質問文を入力することが有効です。