マスク予測モデルを用いた軽量なハルシネーションのスパン検出手法

大規模言語モデル(LLM)の生成におけるhalluci-nationが問題となっている。既存研究の多くは、テキスト全体にhallucinationが含まれるか否かの二値分類を行っているが、長いテキストに対してはより詳細な判断が必要である。しかし、hallucinationの箇所検出には大規模なLLMを用いる手法が多く、軽量なモデルによる検出が求められている。本研究では、詳細なhallucination検出を軽量なモデルで可能にするために、マスク予測モデルを用いたスパン検出手法を提案する。検出にはhallucinationが入力文章から推論できない情報であることを利用する。出力文章をチャンクに分割し、各チャンクをマスクして入力文章と照合してマスク予測を行うことでhallucinationのスパン検出を行う。実験ではﬁne-tuningによってhallucinationスパンの検出性能を通常のトークン分類よりも向上させ、高い再現率を達成できることが示された。