マスク予測モデルを用いた軽量なハルシネーションのスパン検出手法

大規模言語モデル（LLM）は、生成タスクにおける高い汎用性によって急速に普及した。一方で、事実に基づかない情報を生成するhallucination問題は依然として深刻な課題である[1]。LLMの回答は流暢であるため、ユーザーがその真偽を判別することは困難であり、誤情報を信じて拡散してしまう危険性が高い。そのため、hallucinationを含む情報を見逃さずに検出することが重要であり、特に誤情報の流通を防ぐ観点からは再現率の高い検出が求められる。既存のhallucination検出手法の多くは、判断対象のテキストにhallucinationが含まれているか否かの二値分類手法がほとんどである[2,3]。しかし、判断対象のテキストが長い場合、テキスト単位の二値分類では文章の事実性を計測するのには不十分である[4]。そのため、より詳細な事実性の評価を行うために、本研究ではテキスト中のhallucinationが含まれるスパンを特定する手法を提案する。hallucinationのスパン検出にはパラメータ数の大きいLLMが用いられることが多い[5,6,7]。しかし、hallucinationのスパン検出をより広く実用化するためには、高速な計算が可能な軽量なモデルで検出を行うことが望ましい。そのため、本研究では軽量なエンコーダモデルのマスク予測を用いてhallucinationのスパン検出を行う手法を提案する。本研究では、LLMによる条件付き言語生成を対象とし、hallucinationを入力に基づかない、または入力と反する情報を出力したスパンと定義する[6]。本研究では「入力文章に基づいて生成された内容であれば、その一部を隠しても入力文章から再構成できる」という性質を利用する。具体的には、出力文章中の各チャンクをマスクし、入力文章に照合することでマスクスパンを予測させ、hallucinationのスパン検出を行う手法を提案する。予測されたスパンが元のチャンクと異なる場合、入力文章から推論できる内容と出力文章に記述されている内容が食い違っていることになるため、そのチャンクはhallucinationを含むと判断する。実験の結果、使用したモデルは軽量なものであったが、hallucinationのスパン検出において再現率を向上し、有効性が示された。本研究の実験に用いたコードは以下のレポジトリにて公開している。(https://github.com/miyu-y/nlp2026_spandetect)