言語モデルのより深い理解のためには、「モデル内部でどのような処理が行われているか」という観点も重要である。我々は単純な数式とその途中結果に着目することで、Transformerモデルが複数ステップに及ぶ処理を行っているかを検証する。途中結果の情報が符号化されている箇所を特定するTracingと、符号化されている箇所の状態を操作してモデルに対して因果的介入を行うManipulationの二つの実験を行なった結果、内部表現の特定の方向が線形に近い形で途中結果を符号化していること、そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す。www.github.com/cl-tohoku/trace-manipulate

近年の言語モデルは数量推論のような複雑な処理が必要だと思われる問題においてもある程度高い性能を出せることが知られている[1]。また、複数の先行研究では線形代数や初等数学のような数値計算のタスクを通じて言語モデルが持つ潜在的な能力を測っており[2,3]、現在のモデルによって解ける問題や解けない問題の性質が分かりつつある。一方で、モデルがこのような問題を解く際、その内部で何が行われているかについての研究はほとんど行われていない。しかし、モデルの能力をよりよく理解するためには、入出力の結果だけでなくその内部での処理を分析することも非常に重要だと考えられる。我々は過去にモデルが途中結果を介した複数ステップの推論を行なっているかを調べるために、四則演算を学習したTransformer[4]の隠れ層を分析し、四則演算の途中結果1）がモデル内部の特定の方向に保存(符号化)されていることを示した[5]。1）例えば、(154−38)−(290−67)という数式中の途中結果は154,290,116,223などである。本研究ではこの研究を拡張し、途中結果とモデル内部状態の相関関係だけでなく、因果関係も調査する。具体的には、四則演算を学習したTransformerの内部状態から主成分分析を用いて途中結果と相関の高い、すなわち途中結果を符号化しているような方向を抽出したのち、その部分のアクティベーションを操作してモデルの予測結果の変化を観察する。これによって、途中結果を符号化している部分がモデルの推論に与える因果的な影響を調査する。その結果、途中結果を符号化しているような方向の中には実際にモデルの推論時にも使用されているものがあることを確認できた。また、相関が高くてもモデルの推論には使用されていない方向も確認されたため、モデルの内部を分析する際に因果的な関係を調査することの重要性を示唆する結果となった。本論文の貢献は、Transformerモデルの内部でどのような処理が行われているのかを因果推論まで含めて詳細に分析できた点である。