マルチホップQAデータセットの多様な観点からの自動分析とLLMの解答分析への応用

マルチホップ質問応答（QA）[1]は，複数の情報源を用いた複雑な推論を要求するタスクであり，様々なデータセットが提案されている．QAデータセットを言語モデルの評価に用いる際には，QAデータセット自体の特徴を分析し，理解した上で，LLMの解答結果を分析する必要がある．しかし，QAデータセットに含まれる質問や解答，参照文書のデータには，各QAに対して期待される具体的な推論過程は明記されていない．このような推論過程が明記されていない大規模なQAデータセットに対し，人手による網羅的な特徴の分析は容易ではない．また，分析の明確な指針がなく，人手では分析の再現性と一貫性に欠ける懸念がある．こうした背景から，QAデータセットや解答の自動分析の研究が進められている．Liuら[2]は，マルチホップQAデータセットの質問と解答を元に，正答分析解の推論過程をLLMを用いて事後的に生成することで，マルチホップQAデータセットの推論構造を明示した．また，Jiangら[3]は，LLMの解答の自動分析手法として，LLMに出力させた推論過程を木構造に変換し，木の深さや分岐の数などの構造を分析した．結果として，モデルやQAデータセットごとの特徴的な推論の構造を明らかにした．これらの手法は推論の構造のみを分析の対象としており，推論過程に含まれる，比較・橋渡しなどの異なる推論タイプや，異なる分野の知識，時間や因果関係などの意味的な推論など，様々な推論の特徴を考慮できていない．こうした推論の特徴を捉えるには，1つの推論過程に対して，構造のみでなく，推論タイプや知識の分野などの多様な観点からの分析が求められる．そこで本研究では，マルチホップQAデータセットの複数の観点からの多様な自動分析とそのLLMの解答結果の分析への応用を提案する．具体的に，データセットの自動分析では，質問から解答への推論過程を自動生成し，多様な観点から推論過程の分類の基準を自動生成し，生成した基準に基づいて推論過程を自動分類する．また，解答結果の分析では，各分類を特徴量とした決定木を用いて，分類の組み合わせとLLMの解答時の正答率を分析する．この分析を通じて，LLMにとって困難なQAの特徴Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).の明確な定義と判断基準を記述させる．分類基準の生成は各観点につき一回のみ行い，データセット全体で共通の基準を用いる．3.1.3推論過程の分類最後の推論過程の分類では，3.1.2節で構築された分類基準を用いて，個々の推論過程がどの分類項目に該当するかを判定する．ここでは，生成された推論過程と，前節で生成された分類基準(分類項目およびその定義)をLLMに入力し，推論過程を分析させる．分類は無作為に選定した5件の事例を入力したFew-shotで行う．分類はマルチラベル分類であり，一つの推論過程が複数の分類基準に該当する．LLMは，個々の推論過程に対して，定義に基づき分類する．また，分類基準が推論過程中の特定の推論ステップに対応する場合は，どの推論ステップに対応するかという具体的な判定根拠を生成させ，分類結果の解釈性を高める．3.2LLMの解答結果の分析本節では，3.1.3節で得られた推論過程の分類を元にした決定木を用いて，LLMの解答結果を分析する手法について述べる．結果の解釈が容易な決定木の性質を活かし，LLMが誤答に至る推論に含まれる特徴的な分類基準の組み合わせを可視化し，解答困難な問題の要因の特定を目指す．3.2.1正誤ラベルの付与分析の対象とするデータセットの各質問について，LLMが正答できる問題か否かの正誤ラベルを付与する．データセットの各質問を参照文書とともにLLMに与えて得た解答を，LLMを用いて正解と比較し，正誤ラベルを得る．3.2.2モデル構築と分析手法3.1.3節で各推論過程に対して付与された分類ラベル（該当する分類項目）の出現頻度を特徴量とし，正誤ラベルを目的変数とした決定木を学習する．得られた決定木の構造に基づき，分類ラベルの組み合わせとしてLLMにとって困難な推論を特定し，分析を行う．本手法では，得られた決定木の構造を