言語モデルの思考連鎖的推論における探索戦略の動的変化

大規模言語モデルは探索が必要な複雑な推論問題においても一定の性能を示している．例えば推論過程を出力させる思考連鎖指示を用いることで，与えられた前提やゴールに対し，方向感のある推論が可能である．本研究では，大規模言語モデルの一連の推論において，探索に用いる手がかりが動的に変化していることを明らかにする．具体的には，思考連鎖的な推論の初期段階で，モデルは文の位置や質問文との類似度などの表層的な手がかりを用いた探索を行い，推論が進むにつれて最短経路を暗に計算する効率的な探索を行うことが分かった.