言語モデルの内部表現における文法情報の局所性について

言語モデル（LM）の内部表現内において，注目する知識をエンコードするニューロンの特定は，モデル解釈を容易にするだけでなく，少数ニューロンへの操作によるモデルの制御に寄与する．本研究では分析対象の知識として，文法に関する知識を扱う．TransformerベースのLMの文法に関する研究は盛んに行われてきた[1–6]．Clarkら[1]は特定の注意ヘッドが文法的概念に対応することを示した．Gurneeら[2]はMLP層で動詞の活用に反応するニューロンの存在を示した．Hennigenら[4]はBERT[7]の文脈化された単語埋め込みの少数のニューロンに，単語レベルの文法情報がエンコードされることを示した．Heら[5,6]は入力全体の文法情報が隠れ状態にエンコードされることを示した．本研究では，モデルの隠れ状態に対して文法性判定を行う疎なプローブを学習し，文全体の文法情報が隠れ状態の少数のニューロンにエンコードされるかを調査する．使用するニューロンの選択には，学習に基づくものとWelchのt検定に基づく手法の