マルチホップQAデータセットの多様な観点からの自動分析とLLMの解答分析への応用

近年，大規模言語モデル(LargeLanguageModels;LLM)の推論能力向上に伴い，マルチホップ質問応答(QA)が注目され，様々なデータセットが提案されている．既存研究では，データセットやLLMの推論過程の構造に対する分析は行われているものの，推論タイプや知識分野といった多様な観点からの分析は十分とは言えない．本研究では，LLMを用いたデータセットの自動分析と，LLMの解答結果の分析への応用を提案する．データセットの自動分析では，質問から正解への推論過程と，多様な観点に基づく分類基準を自動生成し，生成した基準に基づいて推論過程を自動分類する．解答結果の分析では分類結果を用いた決定木分析を行う．実験により，LLMにとって解答困難な問題の特徴をLLMによって部分的に明らかにできることを示した．