言語モデルにおける統語的長距離依存関係の内部操作

本研究は,統語的長距離依存関係の構築における言語モデルの内部操作を,CausalIntervention手法の一種であるActivationPatchingを用いて分析することを目的とする.4つの異なる依存関係を対象とした実験の結果,小さい言語モデルでは全ての依存関係に共通の操作を用いるが,言語モデルのサイズが大きくなるにつれて,操作の分化が進むことが分かった.この結果は,言語モデルがサイズによって,異なる操作を内在化しており,依存関係タイプを内部操作によって区別していることを示唆する.