大規模言語モデル(LLM)の多段推論能力を測るタスクとして、算術推論や演繹推論タスクがある.一般にこれらのタスクは必要な推論ステップ数が長い問題ほど解答が難しいとされている.本研究では推論ステップ数だけでなく、LLMの多段推論間の依存関係に着目し、複雑な依存構造がLLMの最終解答精度にどのように影響するかを分析する.結果として、問題の提示順序や推論の依存関係の深さ、完全な対称性が正答率に影響を与えることがわかった.

LLMのテキスト生成能力の向上につれ、その推論能力を測る様々なタスクが提案されている[1,2,3].特に算術推論や演繹推論タスクは途中計算や、いくつかの前提を利用して結論を出す必要があるなど、最終解答を得るために複数回の推論を要する.算術推論タスクの例として、GSM8K[1]やMATH[2]が存在する.GSM8Kの問題例を図1に示す.これはJamesが1年間に書く手紙のページ数を求める問題である.この問題における推論の途中結果を木構造で表現したものを図2に示す.624pagesが最終解答で、それ以下のノードは最終解答を求めるための途中結果である.1年間に書くページ数を求める前に1週間あたりのページ数を求める必要があるなど、推論には依存関係が存在する.一般に、途中過程で必要となる計算ステップ数(図2の非葉ノード数)が増加すると問題が難しくなる傾向がある[4,5].GSM8Kの問題の解答精度を高めるために、より多様で難易度の高いデータセットをLLMによって生成し、事後学習に用いることがある[4,6,7].その他に、GSM8Kの計算過程を木構造に変換し、木をJameswritesa3-pageletterto2diﬀerentfriendstwiceaweek.Howmanypagesdoeshewriteayear?624pages12pages52weeks6pagestwice3pages