ニューラル数式ソルバーにおける途中結果の追跡と操作

言語モデルのより深い理解のためには、「モデル内部でどのような処理が行われているか」という観点も重要である。我々は単純な数式とその途中結果に着目することで、Transformerモデルが複数ステップに及ぶ処理を行っているかを検証する。途中結果の情報が符号化されている箇所を特定するTracingと、符号化されている箇所の状態を操作してモデルに対して因果的介入を行うManipulationの二つの実験を行なった結果、内部表現の特定の方向が線形に近い形で途中結果を符号化していること、そしてそのような方向がモデルの推論結果に対して因果的にも関係していることを示す。www.github.com/cl-tohoku/trace-manipulate