LLMの多言語内部表現における意味空間と言語成分の構造

トルを加えて並行移動することで得られた表現が、大規模言語モデル(LLM)は英語などの高資源言データセット内において、言語𝑙の対応する翻訳文語で様々なタスクにおいて高い性能を示す一方で、のベクトル表現に最も近くになることを示す。この用いる言語によって能力に差があることが指摘されことは、ベクトル表現から言語ベクトルを除いた意ている[1,2]。これまで、LLMの多言語能力向上に味成分は言語間で共通することを意味する。また、向けて、多言語処理におけるLLMの内部機序が分とくに低資源言語において、並行移動前のベクトル析されてきた。先行研究では、LLMは入力を言語間表現は英語との間で揃っておらず、これは言語ベクで共通の意味空間に写像し、中間層ではその意味空トルが意味空間と直交性が低く、かつノルムが比較間で処理を行い、終盤層で出力の言語に変換すると的大きいことに起因することを示す。報告されている[3,4,5]。さらに、中間層における最後に、LLMの推論時における各成分の寄与を言語間の内部表現の類似度とモデルの多言語能力が分析するため、各層のモデル重みと、意味成分及び相関することも確認されている[6]。これらの性質言語ベクトルとのコサイン類似度の平均をそれぞれを用いて、内部表現を言語間で近づけることで多言計算する。その結果、モデル重みとの類似度は、中語能力を改善する手法が提案されてきた[7,8]。一間層では意味成分の方が高く、終盤層では言語ベク方で、それらの手法は内部表現が持つ言語情報を損トルの方が高くなる傾向がみられた。言語間で比較ない、文化的知識を伴う推論などの言語に依存するすると、中間層では低資源言語の言語ベクトルの方振る舞いを妨げるという課題も指摘されている[9]。が高資源言語よりも重みとの類似度が高いが、終盤多言語におけるLLMの内部表現の構造の理解は、層では逆になる。これは、意味処理を担う中間層で推論に必要な言語情報を損なわずに意味成分を揃は低資源言語の言語ベクトルが意味空間により強くえ、モデルの多言語能力を改善するために不可欠で干渉していて、また、言語固有の操作を担う終盤層ある。本研究では、LLMの内部表現として各層のでは低資源言語に対応する言語固有パラメータがよorg/licenses/by/4.0/).り少ないことを示唆する。