大規模言語モデルの推論過程誤り分析に基づく推論能力の向上

大規模言語モデル(LLM)は多様なタスクにおいて高い性能を示しており，実応用が進んでいる．特に，LLMの推論能力は，科学計算，ソフトウェア検証，教育支援などの実応用に直結する重要な要素である．推論能力の一例として，複数の条件をすべて満たす結論を導く能力や，複雑な問題をいくつかの簡単な問題に分け，順番に解いていく能力が挙げられる．数学的推論は厳密な論理的一貫性と計算過程の正確性を要求する課題であるため，LLMの推論能力の評価には，数学領域のベンチマークが用いられてきた[1,2]．しかし，既存の多くのモデルは，数学領域において，問題構造や推論の複雑さが増すにつれて性能が大きく低下し，複数段階の推論を要する問題では，出力中の推論過程に誤りを生じやすいことが報告されている[1,2,3]．LLMの出力を改善する手法として，推論過程で自身の出力を見直し，修正させる枠組みである自己修正が注目されている[4,5,6,7]．一方で，LLMの自己修正能力の低さは，推論誤りの修正能力の不足というよりも，推論誤りを発見する能力の欠如に起因することが指摘されている[8]．しかし，既存研究の多くは，各サンプルの最終解が正しいか否かに基づいて議論されており，LLMがなぜ誤答に至ったのかという観点から推論過程における誤り(以下，推論誤りと呼ぶ)を詳細に分析する試みは十分に行われていない．そこで本研究は，LLMの数学データセットにおける推論誤りの傾向を明らかにすることで，LLMの推論能力を改善することを目標とする．具体的には，MATHベンチマーク[2]のテストセット5,000問のうち，Llama-3.3-70B-Instructモデル1）[9]が正解に至らなかった583問に対して推論誤りを収集し，人手により21種類の誤りクラスを定義し，推論誤りを分類した．分類の結果，推論方略に関する誤り，問題文の条件や設定の文脈理解に関する誤り，計算・代数操作の誤りが頻発することが明らかとなった．また，推論誤りをLLM自らに発見させる代わりに，得られた頻出の推論誤り分類を明示的に考慮したプロンプトを設計し，その有効性を検証する．実験の結果，推論誤り分類を考慮して設計したプロンプトは数学データセットにおける性能を向上させることを確認した．さらに，本研究での推論誤りは同規模のLLMに共通する課題であると示唆された．