多言語モデルには言語非依存の処理系統が存在するか

言語学の第二言語習得論では，個別言語に依存しない言語能力であるCUP（CommonUnderlyingProﬁciency）の存在を仮定する相互依存仮説が提案されるなど，人間の言語能力の転移について長く議論されてきた[1].一方，言語処理の分野でも，言語モデルの多言語性や言語能力の転移について調べる動きは活発化しつつある．例えば文献[2,3]では，多言語モデル内の言語固有のニューロンを検出し，その多くは最初と最後の数層に位置していることを示している．文献[4,5]では，モデルがタスクを解いた時の各言語間のニューロンの重なりを観察している．言語能力の転移については，L1をいくつかの異なる言語，L2を英語に設定し，言語モデルの文法性判断ベンチマークにおけるL2の好転移を確認している例がある[6]．さらに文献[7]では，ある名詞を記憶している知識ニューロンが複数の言語に発火することを示している．このように，言語モデルにおいてCUPに当たるような能力の存在は示唆されているものの，これが具体的にどのような能力なのかは未だ明らかでない．文献[7]はこれに対する1つの実例を提示しているForsomereasonIfeelmorealiveatnight.(L1:en)Prec.Prec.RecallRecall→L1/L2共通ニューロン!私はなぜか夜の方が元気だ。(L2:ja)LLMPrec.Recall1)ニューロン活性値抽出2)対訳/非対訳文対分類タスクにおける性能測定実験では，対訳ペア（ラベル1）と非対訳ペア（ラベル0）の文対を入力し，L1/L2共通ニューロンの発火値をもとにPR曲線のAUCを計算することで，対応する文の意味のみに強い影響を持つL1/L2共通ニューロンを検出する.が，主に名詞を対象とした調査に留まる．さらに，先行実験（付録A）の結果，英語(L1)を学習させた言語モデルに別の言語(L2)を追加学習させることで，英語の文法性判断ベンチマークBLiMP[8]においてL2学習後に改善する項目があることが分かった．これは言語モデル内部にL1/L2で共通する処理が存在し，L2の学習に際して得られた能力をL1のタスクにおいて活かしている可能性を示唆する．そこで，本研究では個別言語に依存しない処理が行われ得る情報として文の意味に着目し，L2を獲得した言語モデルでは，L1/L2間で対応する文の意味に関して，共通の処理が行われるかについて調査する．L1/L2に対象言語を絞るのは，観察のしやすさのためである．実験では，まず内部表現を分析した後(§2)，より詳細な分析のため，対応する文の意味に特化して発火するL1/L2共通ニューロンを検出し，発火値を改ざんする介入実験をいくつか行う(§3)．本研究の貢献は次の通りである．•L1/L2共通に強く発火し，対応する文の意味にのみ強い影響をもつニューロンの存在を示す．•第二言語を獲得した言語モデルが，対応する文の意味（対訳文ペア）について個別言語に依存しない共通の処理をしていることを示唆する．.