大規模言語モデルの手順型応答を対象としたファクトチェックフレームワークの構築

大規模言語モデル(LLM)は，広範なタスクで優れた性能を示しているものの，依然としてハルシネーションの問題が残されている．この問題の解決策の1つとして，自動でLLMの応答をファクトチェックするフレームワークが構築されている．LLMに何らかの手順を尋ねる状況は一般的なものであり，手順型の応答に対しても，ファクトチェックの自動化が必要である．しかし，手順型の応答を対象としたフレームワークはこれまでに存在しない．本研究では，LLMの手順型応答を対象としたファクトチェックフレームワークProcedureFCを構築する．また，LLMの手順型応答と事実性のラベルによってベンチマークを構築し，提案フレームワークの性能を評価する．