言語処理学会 第30回年次大会 発表論文集（2024年3月）

デコーダベースの事前学習済み言語モデルの多言語能力に関する分析：言語固有ニューロンの検出と制御
小島武1

沖村樹1

岩澤 有祐 1 谷中 瞳 1
1 東京大学
t.kojima@weblab.t.u-tokyo.ac.jp

松尾豊1

でデコーダベースの PLM は生成の後半部分で言語固有の情報を回復して言語化する必要があるため，これらのモデル内での言語固有の処理は，エンコー近年のデコーダベースの事前学習済み言語モデルダベースのものよりも複雑で本質的な機能であるは（PLM）は，多言語能力の発現に成功している．しずである．しかし，デコーダベースの PLM におけかし，モデル内部でそれぞれの言語がどのように扱る言語固有のニューロンの存在と発火に焦点を当てわれているかは明らかではない．我々は，多言語にた研究は限られている．
対応したデコーダベースの PLM 内における，言語本研究は，デコーダベースの PLM における言語ごとに独自に発火する言語固有のニューロンの内部固有のニューロンの挙動を調査する．具体的には，挙動を解析した．具体的には，英語，ドイツ語，フXGLM，BLOOM，および Llama 2 を含む複数のデ
ランス語，スペイン語，中国語，日本語の 6 言語をコーダベースの PLM を，6 つの言語（英語，ドイツ分析し，言語固有のニューロンは言語間でわずかな語，フランス語，スペイン語，中国語，日本語）に重複（＜ 5 ％）があるものの言語固有であり，そのついて分析する．言語固有のニューロンを調査する
多くはモデルの最初と最後の数層に分布しているこ
ために，[9] によって提案されたアプローチを採用とを示した．この傾向は，言語やモデルを問わず一する．このアプローチは，あるグループの文（ポジ貫していることを確認した．また，推論時に言語固ティブ文）に対して活性化するが，他のグループ有ニューロンの発火値を改ざんすることで，テキス
ト生成において指定した対象の言語が生起する確率 （ネガティブ文）に対しては活性化しないニューロを顕著に変更できることを示した．
ンを特定する．対象とする言語のテキストをポジティブ，それ以外の言語のテキストをネガティブと1 はじめにして扱い，ポジティブな文に統計的に活性化する言語固有のニューロンを特定する．実験では，特定さ近年の研究では，Transformer 構造を持つ事前学習済み言語モデル（Pre-trained language model: PLM） れた言語固有のニューロンが主にモデルの最初の数層と最後の数層に分布し，この傾向は複数の言語の優れた多言語能力が頻繁に報告されている．一部の PLM は，明示的に多言語コーパスを混合して事とモデルの種類にわたって一貫していることを示す．また，検出したニューロンの効果を検証するた
前学習を行っている [1, 2] が，英語主体のテキストめに，推論時にモデル内の言語固有ニューロンに介コーパスを使用して学習したモデルでも，多言語の入することで，生成テキストの対象言語の生起確率テキストが低い割合で含まれていたために，意図せずに多言語能力を獲得する場合もある．例えば， を制御することができることを示す．
Llama 2 [3] がその一例である．これらのモデルはど2 提案手法のように多言語能力を表現するのか．この問いに答えるため，先行研究は複数言語にわたって活性化す
我々は，[9] のアプローチに基づき，各言語に固有る言語普遍的なニューロンの検出に焦点を当ててのニューロンを検出する．このアプローチは元々，おり，主にエンコーダベースの PLM に注目してい同音異義語や性別バイアスなど，特定の単語レベルる [4, 5, 6, 7, 8]．入力の抽象化を検証するにはエンの概念に反応するニューロンを見つけ出し制御する
コーダベースのモデルで十分かもしれないが，一方ために開発された．しかし，我々はより広範な文レ

概要― 2108 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ベルおよび言語固有の概念を把握するニューロンを見つけることを目指しているため，元のアプローチを我々の目的に合わせて修正する．
ま ず，|𝐿| 言 語 の 集 合 を 考 え，各 言 語 の テ キス ト を 準 備 す る．各 言 語 𝑙 ∈ 𝐿 に つ い て，𝑁𝑙 個の テ キ ス ト を 準 備 す る こ と で，全 言 語 で 合 計
𝑁 = 𝑁1 + ... + 𝑁𝑙 + ... + 𝑁 | 𝐿 | 個のテキストが得られる．
𝑁
全テキストの集合を 𝑥 = {𝑥𝑖 }𝑖=1とする．我々の目標は，対象とする言語 𝑙 𝑡 ∈ 𝐿 のテキストに対して活性化するが，他の言語 𝐿 \ 𝑙 𝑡 のテキストには活性化しないニューロンを検出することである．各テキスト

図 1: 提案手法の概要. 特定の言語に対して活性化す𝑥𝑖 ∈ 𝑥 に対して，そのテキストが対象言語である場る傾向がある言語固有ニューロンを検出する．推論合（すなわち，𝑙 = 𝑙 𝑡 ）はラベル 𝑏 𝑖 = 1 を割り当て，そうでない場合は 𝑏 𝑖 = 0 を割り当てる．𝑁𝑙+𝑡 を対象時に，検出したニューロンを強制的に活性化する介入を行い，対象の言語文の生起確率を操作する．

言語 𝑙 𝑡 のテキストから成るポジティブ文（すなわち，𝑏 𝑖 = 1），𝑁𝑙−𝑡 を他の言語のテキストから成るネガティブ文（すなわち，𝑏 𝑖 = 0）とすると，合計で𝑁 = 𝑁𝑙+𝑡 + 𝑁𝑙−𝑡 となる．例えば，対象言語 𝑙 𝑡 がフランス語である場合，フランス語のテキストにはラベル1 が割り当てられ，英語や中国語など他の言語のテキストにはラベル 0 が割り当てられる．
次に，入力テキストが与えられた際のモデル内の各ニューロンの活性化値を観察する．各ニューロンには一意のインデックス 𝑚 ∈ 𝑀 を割り当て る．|𝑀 | は モ デ ル 内 の ニ ュ ー ロ ン の 総 数 で ある．テキスト 𝑥𝑖 ∈ 𝑥 がモデルに入力されたときのニューロン 𝑚 の出力値を 𝑧 𝑚,𝑖 ∈ 𝑧 𝑚 とする．この値の計算方法について詳細を説明する．具体的には，テキスト 𝑥𝑖 は 𝑇 個のトークンのシーケンス
𝑥𝑖 = {𝑤 𝑖,1 , ..., 𝑤 𝑖,𝑡 , ..., 𝑤 𝑖,𝑇 } で構成される．したがって，入力テキストが与えられた場合，デコーダベー
スの Transformer モデル内には T 個のニューロン出
力値 {𝑧 𝑚,𝑖,1 , ..., 𝑧 𝑚,𝑖, 𝑗 , ...𝑧 𝑚,𝑖,𝑇 } が存在する．我々は文中の各トークンにおけるニューロン出力値の平均を取る: 𝑧 𝑚,𝑖 = 𝑓 (𝑧 𝑚,𝑖,1 , ..., 𝑧 𝑚,𝑖,𝑡 , ...𝑧 𝑚,𝑖,𝑇 ) ここで， 𝑓 は平均演算子としての集約関数である．元のアプロー
チ [9] では 𝑓 を最大プーリング演算子として定義しているが，我々のアプローチでは言語識別の目的でトークン間で一貫して活性化するニューロンを𝑁
を出力の正解，ニューロンの入力，ラベル {𝑏 𝑖 }𝑖=1

𝑁
出力値 {𝑧 𝑚,𝑖 }𝑖=1を正解の予測スコアとみなす．異なる予測閾値における PR 曲線下の面積である平均適合率（𝐴𝑃𝑚 = 𝐴𝑃(𝑧 𝑚 , 𝑏) ∈ [0, 1]）を用いて，タスクに対するニューロン 𝑚 の性能を測定する．全てのニューロンに対して 𝐴𝑃𝑚 を測定し，降順に並べる．
元のアプローチでは，降順で上位 𝑘 個のニューロンのみが対象のニューロンとして定義されている．しかし，これはラベルとの強い正の相関（すなわち，平均適合率が最も高い上位 𝑘 個のニューロン）のみを考慮しており，ラベルとの強い負の相関（すなわち，平均適合率が最も低い下位 𝑘 個のニューロン）は考慮していない．我々は，上位 𝑘 個のニューロンだけでなく，下位 𝑘 個のニューロンも特定の言語と強く関連していると仮定し，元のアプローチを拡張して，上位 𝑘 個と下位 𝑘 個のニューロンの両方を言語固有のニューロンと定義する．実験全体でデフォルト値として 𝑘 = 1000 を設定する．モデルの入力層（単語埋め込み）と出力層（投影層）のニューロンは，これらの層が言語固有のモジュール（言語固有の文字またはサブワード）で構成されていることが明らかであるため，検出対象から除外する．

3

実験

3.1

モデルとデータセット特定するために， 𝑓 を平均演算子として定義した．
[PAD] トークン位置の出力値はノイズとみなされるため，例外として集約から除外した．
最後に，言語固有のニューロンを検出する．デー𝑁
タセット {𝑥 𝑖 , 𝑏 𝑖 , 𝑧 𝑚,𝑖 }𝑖=1を予測タスクのサンプルと𝑁みなす．具体的には，テキスト {𝑥𝑖 }𝑖=1
をモデルの分析対象のモデルは XGLM（564M，1.7B，2.9B）[1]，BLOOM（560M，1.7B，3B）[2]，および Llama 2（7B，13B）[3] の 3 つとする．XGLM と BLOOM は，明示的に宣言された多言語モデルである．Llama 2― 2109 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1: 言語間で重複する言語固有ニューロンの数（XGLM-564M）．
deen

es

fr

jazh

de 2000

4174

39

4434

en
es

41 2000
3474
34 2000

4157

497740
22fr

39

4157

2000

2193

ja

44

4977

212000

27zh

34

40

2293

272000布している．これらの分布特性は言語，モデルのサイズ，種類を問わず同じであることが示された．
図 2: 平均適合率で高い順に並べたときの上位 1000個，中位 1000 個，下位 1000 個のニューロンの各層における分布．1 行目：XGLM-564M, de．2 行目：

さらに，ある言語で発火する言語固有のニューロンは，他の全ての言語との重複が少ないことが確認された．表 1 は，各言語間で重複するニューロンの数を集計した結果だが，言語間のニューロンの重複

BLOOM-1b7, fr．3 行目：Llama2-13b, zh．

はどの言語間でも 5 ％未満であることがわかる．
は大半が英語のテキストコーパスで訓練されたモデ

図 2 の所見と多言語モデルに関する先行研究 [12]ルあり，他の言語の含有は最小限である（付録 A）．に基づいて，デコーダベースの PLM の内部動作に分析対象の言語は英語（en），ドイツ語（de），フついて以下の解釈が可能である．PLM の最初の数

ランス語（fr），スペイン語（es），中国語（zh），日本

層は，各言語の語彙的または構文的表現を言語非依語（ja），の 6 言語とする．言語固有のテキストコー存の意味論的表現に変換する．モデルの中間層は主パスは，PAWS-X [10] と FLORES-200 [11] を混合しに言語非依存の意味理解と表現の変換処理である．て作成する．PAWS-X は，上記の言語を含む 7 言語における 2 つのテキスト間のパラフレーズ同定用のモデルの最後の数層は，主に意味論的表現を目標言語の構文と語彙情報に逆変換する．

データセットである．FLORES-200 は，200 以上の言語固有ニューロンの制御言語に対する機械翻訳タスクのためのデータセッ3.2.2

トである．これらのデータセットにおけるサンプル
文は品質が高く，テキストの種類も多様であり，実検出された言語固有のニューロンの有効性を示すために，言語固有のニューロンに介入することでモ験に必要な 6 言語をカバーしているため，これらをデルがテキスト生成において言語を制御できるかど混合して使用する．本実験では，各言語のテキストうかを調査する．我々は，推論中に上位 1000 個およコーパスを作成するために，2 つのデータセットかび下位 1000 個のニューロンの出力値を固定値で上らランダムに 1:1 の比率でテキストをサンプリング書きすることにより，テキスト生成を制御する．具する．各言語について 500 件のテキストを準備し，体的には，各ニューロン 𝑚 に対して，事前に以下の6 つの言語全体で 3000 件のテキストを構成する．

ように固定値を計算する: 𝑧¯𝑚 = 𝑀𝑒𝑑𝑖𝑎𝑛({𝑧 𝑚 |𝑏 = 1}).

3.2

これは，対象言語のテキストに対するニューロン出結果と考察力の中央値を意味する．推論中には，順伝播において上位 1000 個および下位 1000 個のニューロンの出

3.2.1

力をこの固定値で置き換えることにより介入し，モ言語固有ニューロンの検出

図 2 は，2 節の手法を用いて検出されたニューデルの対象言語のテキスト生成確率を観察する．

ロンの各層における分布を表したヒストグラムである．平均適合率順の上位 1000 個，下位 1000 個の本実験では，入力に [BOS] トークンのみをモデルに与え，テキストを生成させる．各モデルは，1 かニューロンの大部分がモデルの最初と最後の数層にら 100 までランダムシードを変更しながら，ランダ分布している．対照的に，平均適合率順で中間 1000

ムサンプリングデコーディングによりテキスト生成個のニューロン（中央値の周辺）は主に中間層に分を 100 回繰り返す．図 3 は，XGLM-564M モデルを

― 2110 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 2: 生成されたテキストにおける対象言語の生起確率．”-”行の値は 6 つの言語の平均値.
介入前

介入後
上位

下位両方

xglm

en

40.0

62.0

77.0

89.0

(564M)

de0.0

89.0

31.0

95.0
90.0

fr

0.0

86.0

7.0

es

2.0

71.0

5.0

78.0

zh

7.0

82.0

50.0

79.0

ja

7.0

92.0

61.0

-9.3

80.3

38.5

99.0
88.3

bloom

en

37.0

78.0

67.0

88.0(1b7)

de

0.0

60.0

0.0

86.0

fr

13.0

80.0

72.0

98.0

es

18.0

44.0

94.0

97.0

zh

6.0

1.0

89.0

90.0

ja

0.0

67.0

35.0

97.0

-

12.3

55.0

59.5

92.7

Llama-2 en

83.0

82.0

89.0

89.0

(7b)

de

0.0

2.0

6.0

23.0

fr

2.0

1.0

8.0

7.0

es

1.0

4.0

4.0

35.0

zh
ja

0.0
1.0

2.0
1.0

4.0
12.0

50.0
10.0

-

14.5

15.3

20.5

35.7

下位 1000 個のニューロンのみ，そして上位下位両方のニューロンに介入するという 3 種類の実験を行い，上位下位両方のニューロンへの介入が，どちら
図 3: XGLM-564M モデルで推論時に各言語固有ニューロンに介入して生成したテキストサンプル．

か片方への介入よりも所望の言語の生起確率が高くなることを確認した．これは上位下位両方のニューロンが言語の制御に関係があることを示唆してい用いて推論時に各言語固有ニューロンに介入して生る. 上位のニューロンは対象言語に対して正値の発成したテキスト文のサンプルである. 各言語固有の火，下位のニューロンは負値の発火をする傾向があニューロンに介入することにより，出力テキストのる（付録 B.1）. また介入するニューロンの数を変化言語が変更できることが定性的に示されている．

させて対象言語の生起確率と生成文の品質を測った

対象言語の生起確率を定量的に測定するために，生成されたテキストの対象言語を FastText の言語識
別分類器 [13, 14] によって推定する．分類スコアが結果，𝑘=1000〜10000 が最適であった（付録 B.2）．

おわりに4閾値 0.5 を超える場合，各テキストを対象言語に本研究は，PLM 内で各言語固有に発火するニュー分類することとする [15, 3]．表 2 は，各言語固有ロンの存在を検証した．実験により，検出された言ニューロンへの介入によるテキスト生成における対語固有ニューロンは言語やモデルの種類に関わら象言語の生起確率の変化を定量的に測定した結果ず，主に最初と最後の数層に存在することが示されである．介入によって，テキスト生成における対象た．また，推論時に言語固有ニューロン出力値を固定の活性値に置き換える介入実験を行った結果，対言語の生起確率が増加する傾向があることが示された．また我々は，上位 1000 個のニューロンのみ，象言語文の生起確率が増加することを確認した．

― 2111 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

guistics, Vol. 49, No. 2, pp. 261–299, 2023.

謝辞[9]Xavier Suau Cuadros, Luca Zappella, and Nicholas

本研究は，JST さきがけ JPMJPR21C8 の助成を受Apostoloﬀ.

Self-conditioning pre-trained language

けたものである．

models. In International Conference on Machine

参考文献

Learning, pp. 4455–4473. PMLR, 2022.

[10]Yinfei Yang, Yuan Zhang, Chris Tar, and Jason[1]Xi Victoria Lin, Todor Mihaylov, Mikel Artetxe,Baldridge.

PAWS-X: A cross-lingual adversarial

Tianlu Wang, Shuohui Chen, Daniel Simig, Myle

dataset for paraphrase identiﬁcation. In Proceedings

Ott, Naman Goyal, Shruti Bhosale, Jingfei Du, et al.

of the 2019 Conference on EMLNP and the 9thFew-shot learning with multilingual language models.

IJCNLP (EMNLP-IJCNLP), pp. 3687–3692, HongarXiv preprint arXiv:2112.10668, 2021.

Kong, China, November 2019.

[2]Teven Le Scao, Angela Fan, Christopher Akiki, El-[11]Marta R Costa-jussà, James Cross, Onur Çelebi,

lie Pavlick, Suzana Ilić, Daniel Hesslow, Roman

Maha Elbayad, Kenneth Heaﬁeld, Kevin Heﬀernan,

Castagné, Alexandra Sasha Luccioni, François Yvon,Matthias Gallé, et al. Bloom: A 176b-parameter open-Elahe Kalbassi, Janice Lam, Daniel Licht, JeanMaillard, et al. No language left behind: Scaling

access multilingual language model. arXiv preprint

human-centered machine translation. arXiv preprint

arXiv:2211.05100, 2022.

arXiv:2207.04672, 2022.

[3]Hugo Touvron, Louis Martin, Kevin Stone, Peter[12]Benjamin Muller, Yanai Elazar, Benoı̂t Sagot, andAlbert, Amjad Almahairi, Yasmine Babaei, Nikolay

Djamé Seddah. First align, then predict: Understand-Bashlykov, Soumya Batra, Prajjwal Bhargava, Shruti

ing the cross-lingual ability of multilingual BERT. InBhosale, et al. Llama 2: Open foundation and ﬁne-Proceedings of the 16th Conference of the EACL:

tuned chat models. arXiv preprint arXiv:2307.09288,

Main Volume, pp. 2214–2231, Online, April 2021.

[13]Armand Joulin, Edouard Grave, Piotr Bojanowski, and2023.
[4]Omer Antverg and Yonatan Belinkov. On the pitfalls

Tomas Mikolov. Bag of tricks for eﬃcient text classiﬁ-of analyzing individual neurons in language models.

cation. In Proceedings of the 15th Conference ofIn International Conference on Learning Repre-the EACL: Volume 2, Short Papers, pp. 427–431,sentations, 2022.

Valencia, Spain, April 2017.

[5]Karolina Stańczak, Edoardo Ponti, Lucas Torroba[14]Armand Joulin, Edouard Grave, Piotr Bojanowski,Hennigen, Ryan Cotterell, and Isabelle Augenstein.
Same neurons, diﬀerent languages: Probing mor-Matthijs Douze, Herve Jegou, and Tomas Mikolov.
Fasttext.zip: Compressing text classiﬁcation models,phosyntax in multilingual pre-trained models. arXiv

2017.

preprint arXiv:2205.02023, 2022.

[15]Guillaume Wenzek, Marie-Anne Lachaux, Alexis[6]Yuheng Chen, Pengfei Cao, Yubo Chen, Kang Liu, andConneau, Vishrav Chaudhary, Francisco Guzmán, Ar-Jun Zhao. Journey to the center of the knowledge neu-

mand Joulin, and Edouard Grave. CCNet: Extract-rons: Discoveries of language-independent knowledge

ing high quality monolingual datasets from web crawl

neurons and degenerate knowledge neurons. arXiv

data. In Proceedings of the Twelfth Language

preprint arXiv:2308.13198, 2023.

Resources and Evaluation Conference, pp. 4003–4012, Marseille, France, May 2020. European Lan-[7]Karolina Stańczak, Lucas Torroba Hennigen, Adina

guage Resources Association.

Williams, Ryan Cotterell, and Isabelle Augenstein. A
latent-variable model for intrinsic probing. In Pro-[16]Xiaozhi Wang, Kaiyue Wen, Zhengyan Zhang, Lei

ceedings of the AAAI Conference on Artiﬁcial In-Hou, Zhiyuan Liu, and Juanzi Li. Finding skill neurons

telligence, Vol. 37, pp. 13591–13599, 2023.

in pre-trained transformer-based language models. In[8]Andrea Gregor de Varda and Marco Marelli. Datadriven cross-lingual syntax: An agreement study withmassively multilingual models. Computational Lin-― 2112 ―Proceedings of the 2022 Conference on EMLNP,

pp. 11132–11152, Abu Dhabi, United Arab Emirates,
December 2022.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

モデル詳細A

表 3 は実験に使用されたモデルの詳細である．すべてのモデルは Huggingface からダウンロードした．
表 3: 実験に用いたモデル一覧．
Model# Params # Layers # Neurons

XGLM

BLOOM

Llama2564M

24221,184

1.7B

24442,368

2.9B

48884,736

560M

24221,184

1.7B

24442,368

3B

30691,200

7B

321,359,872

13B

402,129,920

表 4 は，各モデルの事前学習データセットにおけ図 4: 【上】平均適合率上位 1000 ニューロンにおける言語の分布である1）．
表 4: 各モデルの事前学習データ内の言語分布．

る対象言語（on）とその他言語（oﬀ）の活性値の分
布．【下】下位 1000 ニューロンの活性化値の分布．

enXGLM

defr

49.0 5.4

4.7- 12.90.1

BLOOM 30.0
Llama289.7 0.20.2

eszh

ja

5.3

8.1

4.0

10.8

16.2

-0.10.1

B

追加実験

B.1

言語固有ニューロンの活性値の傾向

原則として，平均適合率における上位 1000 個のニューロンは正の活性化値と相関している．対照的

図 5: テキスト生成時に介入するニューロン数の変更実験．x 軸：log10 ( 介入ニューロン数 𝑘)．に，下位 1000 個のニューロンは負の活性化値と相関している．図 4 はこの主張を検証した結果であストのみについて品質を評価した．具体的には，対る．活性値と正の相関があるニューロンだけでなく象言語として識別された生成テキストそれぞれに負の相関を持つニューロンも，言語固有ニューロンついて，そのテキストを仮説文とし，すべてのポジとして重要であることを示唆している [16]．

ティブ文を参照文として，BLEU スコアを算出し，B.2平均を取った．テキストを各モデルのトークナイ介入するニューロン数の変更

介入するニューロン数を変更するアブレーション実験を行い，対象言語の生起確率に対する効果を分析した．また，モデルによって生成されたテキス

ザーでトークン化した後に BLEU スコアを測定した．BLEU スコアの測定には NLTK ライブラリを使用した．図 5 に示されるように，介入するニューロンの数 𝑘 を約 1000〜10000（この図では 10 の対数でトの品質を BLEU-4 スコアを用いて検証した．言語3〜4）まで増やすと，一般的に対象言語の生起確率識別器によって対象言語であると識別されたテキが増加するが，それを超えて増加させるとテキスト

1） XGLM の 情 報 は https://huggingface.co/facebook/xglm-2.9B か ら 引 用 さ れ て い る．BLOOM の 情 報 はhttps://huggingface.co/bigscience/bloom#languages か ら引用されている．の品質が低下する．最終的には文が崩壊し，言語識別と品質が著しく低下した．

― 2113 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).