多段算術推論タスクにおける思考の連鎖の忠実性

言語モデルは利用者からの入力を与えられると，典型的には最終解答だけでなくその解答に至るまでの推論過程も生成する．このような推論過程は思考の連鎖/ChainofThought(以下CoT)[1]と呼ばれ，しばしばモデル自身の推論プロセスの説明とみなされる[2,3]．このような説明に対する懸念は，CoTによる説明が，最終解答に対してどの程度忠実であるか，すなわちCoTと最終解答の間の因果関係である．例えば，CoT生成前の問題文の読み込み中にすでに最終解答に到達しており，その後，その解答に対する説明を後付け的に生成する場合が考えられる．この場合，最終解答は厳密にはCoTの説明に忠実であるとは言えない．本研究では言語モデルの内部分析の観点から，このCoTによる説明とモデルの最終解答との間の忠実性を分析する．この問いを，モデルはCoTによる推論中にいつ解答を思いつくのか，そしてそれらが内部的にどのように参照されているのか，という2つの問いに分解し調査する．本研究では，初めに線形プローブ[4]を用いて，記号的な算術推論問題データセット上でモデルが内A=6A=6A=?A=6CoT前に解答に到達.........A=6A=?A=?A=?CoT中に解答に到達.........A=1+B,B=2+3,A=?A=1+B,B=2+3,B=5,A=1+B,A=6入力:CoT:言語モデルはCoTの過程のどの時点で各変数の値を内部的に予測しているかを調査する．部的にいつ（どの層，どの位置で）解答を導出するのかを分析する（図1）．各位置でのプローブの正解率を比較することで，どの時点でモデルが内部的に(途中の)計算結果の情報を持ち始めるか（変数の値が線形分離可能な表現として隠れ状態に表現されるか）を確認できる．実験の結果，モデルは問題を最初に読んだ時点では内部的に解答を導出しておらず，CoTを生成しながら途中結果/最終解答に到達していることが明らかとなった．これは最終解答に対するCoTの忠実性を示唆している．さらに，モデルの内部表現と解答との間の因果関係を明らかにするために，因果介入分析を実施した（§4）．その結果，モデルの最終解答は，CoT開始後の内部表現への因果介入によって変化させることができるが，問題部分への介入では変化しないことがわかった．この結果はプロービングによる結果と整合していた．