言語モデルの内部表現における文法情報の局所性について

言語モデルにおいて，注目する知識をエンコードするニューロンの特定は，モデルの解釈性向上や少数のニューロンの操作による出力の制御の実現に貢献し得る．本研究では，スパースプローブを用いて，隠れ状態における文法情報の局在性を調査した．結果，大部分の層において，隠れ状態の特定の1％のニューロンはその補集合からランダムにサンプリングされた6倍以上の数のニューロンに匹敵する文法情報を有することが明らかになり，各文法情報が隠れ状態に局在的にエンコードされることが示された．また，一部の文法では，学習したプローブが他の文法に汎化することが明らかになった．