大規模言語モデルの手順型応答を対象としたファクトチェックフレームワークの構築

大規模言語モデル(LargeLanguageModel;LLM)は，多岐にわたるタスクで顕著な性能を示している．質問応答は典型的なタスクの1つであり，多くのユーザがLLMに対する質問を通じて，LLMを情報源として活用している．LLMの進展が注目される一方で，LLMが不正確な応答を生成するハルシネーション(hallucination)の問題が残されている．人手によってLLMの応答の事実性を検証するのは，時間と労力を要する作業であるため，ファクトチェックを自動で行うフレームワークが研究されている[1,2,3,4,5,6]．また，そのようなフレームワークを評価するためのベンチマークの研究も行われている[7,8,9,10]．ユーザがLLMに対して行う質問の例として，手順に関するものが挙げられる．LLMの応答を基に，ユーザが手順を実行するという状況は，ごく一般的なものである．そのため，手順に関するLLMの応答に対しても，自動ファクトチェックのフレームワーク，およびベンチマークが構築される必要がある．しかし，手順に関する応答を対象とした研究は，現時点で確認できていない．本論文では，手順に関するLLMの応答に特化した新たなファクトチェックフレームワークであるProcedureFCを提案する．また，ProcedureFCの性能を評価するためのベンチマークを構築する．このベンチマークは，手順に関するLLMの応答と，事実性のラベルから構成する．実験では，既存のファクトチェックフレームワーク[1]をベースラインとして比較を行った．その結果，手順に関するハルシネーションの検出において，提案手法が有効であることが示された．