大規模言語モデルの推論過程誤り分析に基づく推論能力の向上

大規模言語モデル(LLM)の推論能力は実用性に関わる重要な要素であり，LLMの推論過程にどのような誤りが生じるのかを明らかにすることは，推論能力を改善するうえで重要である．本研究では，LLMが数学データセットにおいて推論過程で示す誤りの傾向を明らかにする．具体的には，LLMが正解に至らなかった問題を対象として，出力された推論過程に含まれる誤りの性質を人手で分析し，21種類の誤りクラスを定義し分類した．さらに，得られた誤り分類のうち9種に特に注意を向けるプロンプトを設計し，それが推論性能の向上に有効であることを示した．また，本研究で対象とした誤りは同規模のLLMで共通することが示唆された．