多段算術推論タスクにおける思考の連鎖の忠実性

本研究では，言語モデルが思考の連鎖の結果として出力する最終解答が，その思考の連鎖に対して忠実であるかを評価する．特に，算術推論タスクを用いた実験を通して，(i)言語モデル内部ではいつ途中結果/最終解答が導出されるのか，(ii)思考の連鎖からの情報が最終解答に対してどの程度強い因果的影響があるのか，に焦点を当て調査する．実験の結果，言語モデルは入力が与えられた時点では内部的にも解答を導出しておらず，思考の連鎖の過程で(内部的に)解答を導出していることが明らかとなった．この結果は，思考の連鎖はモデルの内部計算を忠実に反映したものであることを示唆している．