デコーダベースの事前学習済み言語モデルの多言語能力に関する分析：言語固有ニューロンの検出と制御

近年の研究では，Transformer構造を持つ事前学習済み言語モデル（Pre-trainedlanguagemodel:PLM）の優れた多言語能力が頻繁に報告されている．一部のPLMは，明示的に多言語コーパスを混合して事前学習を行っている[1,2]が，英語主体のテキストコーパスを使用して学習したモデルでも，多言語のテキストが低い割合で含まれていたために，意図せずに多言語能力を獲得する場合もある．例えば，Llama2[3]がその一例である．これらのモデルはどのように多言語能力を表現するのか．この問いに答えるため，先行研究は複数言語にわたって活性化する言語普遍的なニューロンの検出に焦点を当てており，主にエンコーダベースのPLMに注目している[4,5,6,7,8]．入力の抽象化を検証するにはエンコーダベースのモデルで十分かもしれないが，一方でデコーダベースのPLMは生成の後半部分で言語固有の情報を回復して言語化する必要があるため，これらのモデル内での言語固有の処理は，エンコーダベースのものよりも複雑で本質的な機能であるはずである．しかし，デコーダベースのPLMにおける言語固有のニューロンの存在と発火に焦点を当てた研究は限られている．本研究は，デコーダベースのPLMにおける言語固有のニューロンの挙動を調査する．具体的には，XGLM，BLOOM，およびLlama2を含む複数のデコーダベースのPLMを，6つの言語（英語，ドイツ語，フランス語，スペイン語，中国語，日本語）について分析する．言語固有のニューロンを調査するために，[9]によって提案されたアプローチを採用する．このアプローチは，あるグループの文（ポジティブ文）に対して活性化するが，他のグループ（ネガティブ文）に対しては活性化しないニューロンを特定する．対象とする言語のテキストをポジティブ，それ以外の言語のテキストをネガティブとして扱い，ポジティブな文に統計的に活性化する言語固有のニューロンを特定する．実験では，特定された言語固有のニューロンが主にモデルの最初の数層と最後の数層に分布し，この傾向は複数の言語とモデルの種類にわたって一貫していることを示す．また，検出したニューロンの効果を検証するために，推論時にモデル内の言語固有ニューロンに介入することで，生成テキストの対象言語の生起確率を制御することができることを示す．