自己回帰型言語モデルのような逐次的に単語を生成するモデルが「複合的な問題について，いつどのような部分問題を問いているか」という内部機序についての時間方向の解析は現状不十分である．そこで本研究では，人工的な算術推論タスクを解く際の言語モデル内部機序を分析する．本論文の前半では，モデルの内部機序の予測が立つ人工的な算術タスクのみで学習されたモデルに対し分析を行い，提案法の妥当性を示した．後半では，思考の連鎖[1]を用いて推論を行う事前学習済みの言語モデルに対して提案法を適用し分析を行ない，モデルは推論過程を出力すると同時に途中の計算も行っていることが明らかとなった．

大量のテキストによって学習された自己回帰型言語モデルが自然言語処理のタスクにおいて高い性能を達成している[2,3]．しかし，タスクを解く際のモデル内部における処理の種類や導出過程の詳細は未解明である．モデルの内部分析については，既存研究においても様々行なわれてきたものの[4,5,6,7]，とりわけ，自己回帰型言語モデルのような逐次的に単語を生成するモデルが「複合的な問題について，いつどのような部分問題を問いているか」という時間方向の解析については研究が途上である．本研究では，算術推論タスクを解いた時の自己回帰型の言語モデルの隠れ状態を入力として計算の途中結果を予測するように学習した回帰モデルの性能の違いから，計算の途中結果がモデル内部のどこに表現されているかを観察(プロービング)することで，言語モデルが推論を行う際の内部機序を明らかにする．まず，モデルの振る舞いがある程度予測可能な人工的設定かつ，事前訓練をしていないモデルを用いた実験を通して，今回用いる解釈方法により妥当な観察が得られることを確認した．次に，事前学習済みの言語モデルに対して提案法を適用し推論時のモデルの内部機序の分析を行った．結果として，事前学習済み言語モデルは思考の連鎖(ChainofThoughts)[1]による推論時，モデル内部で結論を得て後付け的に中間ステップを生成しているのではなく，推論過程を出力すると同時に途中の計算も行っていることなどが明らかになった．