多言語概念空間の訓練ダイナミクス

大規模言語モデル（LLM）は主に英語で訓練されているにもかかわらず[1,2]、創発的な言語間整合性を示し、他言語への能力転移を可能にする[3]。この行動は、英語と低資源言語間の性能格差を縮小する上で重要である[4,5]。したがって、言語間整合性がどのように、いつ生じるかを理解することは、高性能な多言語LLMを目的に応じて開発する上で不可欠である。近年の解釈可能性研究では、多言語LLMが多言語入力を処理する際、言語非依存的な多言語概念空間にマッピングし、その中でより複雑な処理を行った後、結果を出力言語へマッピングするという理論が提唱されている[1,7,8,9,10]。こうした空間の存在を因果的に実証するため、[6]は言語横断的活性化パッチング（CLAP）を提案している（図1）。本研究では、この手法をLLMの事前学習中における多EN:“soup”=≠ET:“supp”ターゲットSOURCETARGETEN:“home”Ø活性化パッチングソースES:“casa”FI:“talo”PL:“dom”JA:“家”時間多言語概念空間用いて、多言語の発展を分析する。同一概念の活性化が言語間で整合している場合にのみ、介入による翻訳が誘導される。言語概念空間の発展を分析するために再構成する。具体的には、ある言語対間（例：スペイン語→フィンランド語）である概念（例：home）を翻訳するプロンプトから潜在ベクトルを抽出し、このソース活性化パッチを別のターゲット言語対（例：エストニア語→英語）の異なる概念翻訳（例：soup）の推論中に適用する。この結果、ターゲット言語（ℓouttgt=英語）でソース概念（𝐶src=home）が生成されれば、概念は変化するが出力言語は変化しないため、共有概念表現の存在に対する因果的証拠となる。活性化パッチングは言語横断的に整合した概念空間の存在を示す証拠を提供するが[6]、そうした空間がどのように発展するかは未解明である。本研究では、多言語LLMの事前学習チェックポイント間で結果を比較するフレームワークを導入し、多言語概念空間の訓練ダイナミクスを調査する（2.2節）。EuroLLM[11]の中間チェックポイントにこのフレームワークを適用することで、事前学習中に多言語概念空間がどのように創発するかの高解像度な視点を得る（3節）。実験の結果、多言語概念空間は訓練の早期に出現し、各言語とこの空間との整合性は訓練Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).xx-enxx-zh1.00.8Accuracy0.60.40.20.044424405672962440567296112128144160200240280299112128144160200240280299Steps(103)Steps(103)1.00.8Accuracy0.60.40.20.0en-zhes-zh1.00.8Accuracy0.60.40.20.044424405672962440567296112128144160200240280299112128144160200240280299Steps(103)Steps(103)3実験結果3.1パッチング無しの翻訳まず、標準なパッチング無しの単語翻訳においてEuroLLMのチェックポイントを評価する。予想どおり、翻訳精度（図2）は訓練データの割合と相関することがわかる。モデルは、未学習言語（例：cy、sw）の単語翻訳にほぼ失敗している。例外のyueはおそらく訓練データに含まれていたzhとの類似性によるものである。翻訳精度は訓練のフェーズ2で改善し、その傾向はpl、fi、etなどの低資源言語において特に顕著である。フェーズ2で導入された多方向のパラレルデータがこれらの言語の整合を助け、翻訳品質を改善したものと考えられる[14,15]。en-enの曲線は、モデルが約4,000ステップの早InputLanguagescyenesetfifrplruswyuezhsrcsrcの平均単語翻訳精度（パッチング無し）。表示されている出力言語はℓoutsrc∈{en,zh,ru,fi}を含む。赤い点線はEuroLLMの訓練フェーズ1と2の境界。fr-enet-enpl-ensw-ensrc_unpatcheden_enseentgtunpatcheden-xx𝑙outtgtsrcの平均単語翻訳精度と95%信頼区間（パッチング有り、一部の言語対）。en-xxは、zhまたはruの上限精度を示す。xx-ruxx-fi4424405672962440567296240280299112128144160200240280299112128144160200240280299Steps(103)Steps(103)zh-rufi-ru4424405672962440567296240280299112128144160200240280299112128144160200240280299Steps(103)Steps(103)期間で入力単語のコピーに習熟することを示している。実際、モデルは訓練の初期段階では、翻訳よりもコピーを好むように見える。この挙動は、コピーが他のタスクより先に学習されることを示唆する最近の研究と一致する[16]。fr-enの手動検査により、初期のエラーの多くがこのコピー傾向に起因することが明らかになった。これには、「balustrade」(期待値:「rail」)のような言語間借用語をコピーする挙動に加え、「course」(期待値:「racing」)や「coin」(期待値:「corner」)のような誤った同形異義語も含まれる。3.2パッチング下での翻訳他言語からの概念表現（seen）がパッチなし翻訳（src_unpatched）より高精度を示すことを表していorg/licenses/by/4.0/).fi-enpl-zh1.00.8Proportion0.60.40.20.04424405672962440567296112128144160200240280299112128144160Steps(103)Labelる。この傾向はほとんどの言語対とチェックポイントで確認され、多言語概念空間が事前学習の早期に出現するという証拠を提供する。en-enは当初、最も高性能なパッチング設定を提供する。しかし、他の言語を使用したseenパッチングとの差は大きくなく、zhとruへの翻訳では英語のみのen-enパッチングをseenが上回っている。en-enとseenの類似した結果は、言語特有の概念空間が言語非依存的な多言語概念空間の出現に大きく先行しないことを示唆している。パッチングにより入力言語間の精度差は縮小するが、入力言語は依然影響を与える。特に非学習のℓintgt=swでは変動が大きく、訓練データ割合が低いほど改善幅が小さい（ru<zh<en）。これは多言語概念空間との整合度を反映していると考えられる。3.3質的分析多言語概念空間の質と進化をより深く理解するため、追加の人手によるエラー分析を実施する（付録C参照）。各言語の母語話者が、表2のラベルを使用し、seenパッチング下での出力に注釈を付ける。図4は、出力が完全に誤っているFよりも部分的に正しいT*とF*の場合が多いことを示している。これは、平均化された概念表現が、目的の概念を誘導する前にすでに関連する概念的および統語的情報を符号化しており、訓練を通じて洗練されていることの証拠である。例えば、FHOはFHEよりも少なく、これは整合性の低い概念空間がより特定性の低い用語にマッピングされやすいという直観と一致する。また、FRは比較的大きなクラスであり、これは言語モデルの訓練目的、すなわちモデルが単語が特定の統語的役割を果たすことを学習するこTTSFUFHEFHOFSFCFRFFP部の言語対）。黒い点線はEuroLLMの訓練フェーズ1と2の境界。pl-zhes-ru(111/256annotated)4962440567296112128144160200240280299112128144160200240280299Steps(103)Steps(103)Labelとを反映している可能性がある。関連特性の安定性は言語依存的で、例えばruにおけるFSエラーの多さは複雑な形態論を反映していると考えられる。事前学習のフェーズ2ではTの割合がTSより増加しており、多方向パラレルデータによる言語間整合性の向上と、より特定的で正確な表現の獲得を示唆している。例えば、fr-enでは「avocat」が「attorney」(期待値)または「avocado」に翻訳される。seenパッチング下では、出力は「avocado」から「attorney」へと変化する。es-enでは、「mañana」はパッチなしの場合は「morning」に翻訳され、パッチング下では「tomorrow」となる。同様に、パッチングはモデルが言語間同形異義語をコピーすることを抑制する。例えば、fr-enでは、モデルはパッチなしの場合「tour」をコピーするが、パッチング下では期待される「tower」を出力する。4おわりに本研究では、事前学習中における多言語概念空間の出現に関する初めての詳細な調査を提示し、言語非依存的な概念空間が早期に出現し、訓練を通じて比較的安定したまま維持されることを示した。この空間は、特定の概念にマッピングされる前であっても、意味的情報を符号化している。この軌跡は言語類似性と訓練データに強く依存している。enのみをピボットとするデータ（EuroLLMの訓練フェーズ1）より、比較的少量の高品質で多方向整合されたデータ（フェーズ2）が整合性を改善することを示している。これは、高資源言語と低資源言語間の性能格差を縮める有望な道筋を示唆する：目的を絞った多方向整合データを通じて概念空間との整合性を向上させることである。org/licenses/by/4.0/).