大規模言語モデル(LLM)は，広範なタスクで優れた性能を示しているものの，依然としてハルシネーションの問題が残されている．この問題の解決策の1つとして，自動でLLMの応答をファクトチェックするフレームワークが構築されている．LLMに何らかの手順を尋ねる状況は一般的なものであり，手順型の応答に対しても，ファクトチェックの自動化が必要である．しかし，手順型の応答を対象としたフレームワークはこれまでに存在しない．本研究では，LLMの手順型応答を対象としたファクトチェックフレームワークProcedureFCを構築する．また，LLMの手順型応答と事実性のラベルによってベンチマークを構築し，提案フレームワークの性能を評価する．

大規模言語モデル(LargeLanguageModel;LLM)は，多岐にわたるタスクで顕著な性能を示している．質問応答は典型的なタスクの1つであり，多くのユーザがLLMに対する質問を通じて，LLMを情報源として活用している．LLMの進展が注目される一方で，LLMが不正確な応答を生成するハルシネーション(hallucination)の問題が残されている．人手によってLLMの応答の事実性を検証するのは，時間と労力を要する作業であるため，ファクトチェックを自動で行うフレームワークが研究されている[1,2,3,4,5,6]．また，そのようなフレームワークを評価するためのベンチマークの研究も行われている[7,8,9,10]．ユーザがLLMに対して行う質問の例として，手順に関するものが挙げられる．LLMの応答を基に，ユーザが手順を実行するという状況は，ごく一般的なものである．そのため，手順に関するLLMの応答に対しても，自動ファクトチェックのフレームワーク，およびベンチマークが構築される必要がある．しかし，手順に関する応答を対象とした研究は，現時点で確認できていない．本論文では，手順に関するLLMの応答に特化した新たなファクトチェックフレームワークであるProcedureFCを提案する．また，ProcedureFCの性能を評価するためのベンチマークを構築する．このベンチマークは，手順に関するLLMの応答と，事実性のラベルから構成する．実験では，既存のファクトチェックフレームワーク[1]をベースラインとして比較を行った．その結果，手順に関するハルシネーションの検出において，提案手法が有効であることが示された．