言語モデルにおいて，注目する知識をエンコードするニューロンの特定は，モデルの解釈性向上や少数のニューロンの操作による出力の制御の実現に貢献し得る．本研究では，スパースプローブを用いて，隠れ状態における文法情報の局在性を調査した．結果，大部分の層において，隠れ状態の特定の1％のニューロンはその補集合からランダムにサンプリングされた6倍以上の数のニューロンに匹敵する文法情報を有することが明らかになり，各文法情報が隠れ状態に局在的にエンコードされることが示された．また，一部の文法では，学習したプローブが他の文法に汎化することが明らかになった．

言語モデル（LM）の内部表現内において，注目する知識をエンコードするニューロンの特定は，モデル解釈を容易にするだけでなく，少数ニューロンへの操作によるモデルの制御に寄与する．本研究では分析対象の知識として，文法に関する知識を扱う．TransformerベースのLMの文法に関する研究は盛んに行われてきた[1–6]．Clarkら[1]は特定の注意ヘッドが文法的概念に対応することを示した．Gurneeら[2]はMLP層で動詞の活用に反応するニューロンの存在を示した．Hennigenら[4]はBERT[7]の文脈化された単語埋め込みの少数のニューロンに，単語レベルの文法情報がエンコードされることを示した．Heら[5,6]は入力全体の文法情報が隠れ状態にエンコードされることを示した．本研究では，モデルの隠れ状態に対して文法性判定を行う疎なプローブを学習し，文全体の文法情報が隠れ状態の少数のニューロンにエンコードされるかを調査する．使用するニューロンの選択には，学習に基づくものとWelchのt検定に基づく手法の