算術推論問題における自己回帰型言語モデルの内部機序

大量のテキストによって学習された自己回帰型言語モデルが自然言語処理のタスクにおいて高い性能を達成している[2,3]．しかし，タスクを解く際のモデル内部における処理の種類や導出過程の詳細は未解明である．モデルの内部分析については，既存研究においても様々行なわれてきたものの[4,5,6,7]，とりわけ，自己回帰型言語モデルのような逐次的に単語を生成するモデルが「複合的な問題について，いつどのような部分問題を問いているか」という時間方向の解析については研究が途上である．本研究では，算術推論タスクを解いた時の自己回帰型の言語モデルの隠れ状態を入力として計算の途中結果を予測するように学習した回帰モデルの性能の違いから，計算の途中結果がモデル内部のどこに表現されているかを観察(プロービング)することで，言語モデルが推論を行う際の内部機序を明らかにする．まず，モデルの振る舞いがある程度予測可能な人工的設定かつ，事前訓練をしていないモデルを用いた実験を通して，今回用いる解釈方法により妥当な観察が得られることを確認した．次に，事前学習済みの言語モデルに対して提案法を適用し推論時のモデルの内部機序の分析を行った．結果として，事前学習済み言語モデルは思考の連鎖(ChainofThoughts)[1]による推論時，モデル内部で結論を得て後付け的に中間ステップを生成しているのではなく，推論過程を出力すると同時に途中の計算も行っていることなどが明らかになった．