デコーダベースの事前学習済み言語モデルの多言語能力に関する分析：言語固有ニューロンの検出と制御

近年のデコーダベースの事前学習済み言語モデル（PLM）は，多言語能力の発現に成功している．しかし，モデル内部でそれぞれの言語がどのように扱われているかは明らかではない．我々は，多言語に対応したデコーダベースのPLM内における，言語ごとに独自に発火する言語固有のニューロンの内部挙動を解析した．具体的には，英語，ドイツ語，フランス語，スペイン語，中国語，日本語の6言語を分析し，言語固有のニューロンは言語間でわずかな重複（＜5％）があるものの言語固有であり，その多くはモデルの最初と最後の数層に分布していることを示した．この傾向は，言語やモデルを問わず一貫していることを確認した．また，推論時に言語固有ニューロンの発火値を改ざんすることで，テキスト生成において指定した対象の言語が生起する確率を顕著に変更できることを示した．