LLMの生成テキストの真偽検証のための日本語真偽判定データセットの構築

LLMの生成テキスト中の情報の真偽を検証するシステムの開発が進められている．真偽検証システムの真偽判定ステップでは，検索によって取得した根拠テキストによって生成テキストの情報が支持されるかを判定する．本研究では，厳密な真偽判定のみでは捉えきれない言説と根拠テキストの関係を扱うため，真偽判定ラベルセットを拡張して実用的な日本語真偽判定データセットの構築に取り組む．構築したデータセットに基づき，プロンプトベースの真偽判定手法の性能を評価した結果，推論の流れを指示するプロンプトを用いることで性能が改善することが明らかになった．