大規模言語モデルにおける多段推論の依存構造と推論能力の関係検証

LLMのテキスト生成能力の向上につれ、その推論能力を測る様々なタスクが提案されている[1,2,3].特に算術推論や演繹推論タスクは途中計算や、いくつかの前提を利用して結論を出す必要があるなど、最終解答を得るために複数回の推論を要する.算術推論タスクの例として、GSM8K[1]やMATH[2]が存在する.GSM8Kの問題例を図1に示す.これはJamesが1年間に書く手紙のページ数を求める問題である.この問題における推論の途中結果を木構造で表現したものを図2に示す.624pagesが最終解答で、それ以下のノードは最終解答を求めるための途中結果である.1年間に書くページ数を求める前に1週間あたりのページ数を求める必要があるなど、推論には依存関係が存在する.一般に、途中過程で必要となる計算ステップ数(図2の非葉ノード数)が増加すると問題が難しくなる傾向がある[4,5].GSM8Kの問題の解答精度を高めるために、より多様で難易度の高いデータセットをLLMによって生成し、事後学習に用いることがある[4,6,7].その他に、GSM8Kの計算過程を木構造に変換し、木をJameswritesa3-pageletterto2diﬀerentfriendstwiceaweek.Howmanypagesdoeshewriteayear?624pages12pages52weeks6pagestwice3pages