LLMの生成テキストの真偽検証のための日本語言説分解データセットの構築と評価

大規模言語モデル（LargeLanguageModel;LLM）が社会において広く利用され始めているが，LLMの生成テキストにはハルシネーション（hallucination）と呼ばれる，もっともらしく見える誤情報が含まれることがある[1]．こうした背景から，LLMの生成するテキストに対して，情報の真偽を検証するシステム（真偽検証システム）の研究・開発が進んでいる[2,3,4,5,6]．我々の研究グループでもLLMの生成テキストに対する日本語真偽検証システムの開発に取り組んでいる[7,8]．これらにより，LLMの信頼性が高まることが期待される．現在主流の真偽検証システムの概要を図1に示す．まず，(1)言説分解(claimdecomposition)では，入力テキスト（LLMの生成テキスト）を，一つの物事に関する性質や関係を表す独立した最小粒度の情報単位である言説(claim)に分解する．次に，(2)根拠検索(evidenceretrieval)では，言説をクエリとして検索を行い，関連する根拠テキストを取得する．最ドナルド・トランプは民主党所属である。共和党から出馬したトランプ氏は…否定ドナルド・トランプは民主党所属のアメリカ合衆国大統領である。手順手順手順1言説分解