味を表す意味成分と、処理中の言語の種類に関するLLMは多言語処理の際、中間層で言語間共通の情報を担う言語成分に分け、それらを特定し、意味意味空間で処理を行うことが知られており、言語間成分が表現される意味空間と言語成分の構造を分析で内部表現を揃えることでモデルの多言語能力を向する。そのために、翻訳データセットの文をLLM上させる手法が提案されてきた。しかし、これらのに入力として与え、文埋め込みの手法を用いてモデ手法は言語に依存する推論を妨げることが指摘されルから入力文を表すベクトル表現を抽出する。そしている。本研究では、LLMの内部表現を意味成分て、英語と言語𝑙の対訳文ペアに対するベクトル表と言語成分に分け、意味成分が表現される意味空間現の差分から共通成分を抽出し、それをLLMの推と言語成分の構造を分析する。中間層では言語成分論時に内部表現に足すことで、英語の入力に対し出は入力内容によらない定数であり、また、低資源言力言語を𝑙にするよう操作できることを示す。これ語では意味空間と言語成分が干渉し、同一の意味のは、ある定数ベクトルによって入力内容によらずモ英文との内部表現の言語間対応が不十分であることデルの出力言語を操作できることを表し、言語成分が示唆された。これらの知見は、言語情報を保持しは意味成分によらない定数であることを意味する。たまま意味成分を揃える手法の設計に資する。このベクトルを言語ベクトルと呼ぶ。次に、英文のベクトル表現に言語𝑙の言語ベク

トルを加えて並行移動することで得られた表現が、大規模言語モデル(LLM)は英語などの高資源言データセット内において、言語𝑙の対応する翻訳文語で様々なタスクにおいて高い性能を示す一方で、のベクトル表現に最も近くになることを示す。この用いる言語によって能力に差があることが指摘されことは、ベクトル表現から言語ベクトルを除いた意ている[1,2]。これまで、LLMの多言語能力向上に味成分は言語間で共通することを意味する。また、向けて、多言語処理におけるLLMの内部機序が分とくに低資源言語において、並行移動前のベクトル析されてきた。先行研究では、LLMは入力を言語間表現は英語との間で揃っておらず、これは言語ベクで共通の意味空間に写像し、中間層ではその意味空トルが意味空間と直交性が低く、かつノルムが比較間で処理を行い、終盤層で出力の言語に変換すると的大きいことに起因することを示す。報告されている[3,4,5]。さらに、中間層における最後に、LLMの推論時における各成分の寄与を言語間の内部表現の類似度とモデルの多言語能力が分析するため、各層のモデル重みと、意味成分及び相関することも確認されている[6]。これらの性質言語ベクトルとのコサイン類似度の平均をそれぞれを用いて、内部表現を言語間で近づけることで多言計算する。その結果、モデル重みとの類似度は、中語能力を改善する手法が提案されてきた[7,8]。一間層では意味成分の方が高く、終盤層では言語ベク方で、それらの手法は内部表現が持つ言語情報を損トルの方が高くなる傾向がみられた。言語間で比較ない、文化的知識を伴う推論などの言語に依存するすると、中間層では低資源言語の言語ベクトルの方振る舞いを妨げるという課題も指摘されている[9]。が高資源言語よりも重みとの類似度が高いが、終盤多言語におけるLLMの内部表現の構造の理解は、層では逆になる。これは、意味処理を担う中間層で推論に必要な言語情報を損なわずに意味成分を揃は低資源言語の言語ベクトルが意味空間により強くえ、モデルの多言語能力を改善するために不可欠で干渉していて、また、言語固有の操作を担う終盤層ある。本研究では、LLMの内部表現として各層のでは低資源言語に対応する言語固有パラメータがよorg/licenses/by/4.0/).り少ないことを示唆する。