LLMの多言語内部表現における意味空間と言語成分の構造

味を表す意味成分と、処理中の言語の種類に関するLLMは多言語処理の際、中間層で言語間共通の情報を担う言語成分に分け、それらを特定し、意味意味空間で処理を行うことが知られており、言語間成分が表現される意味空間と言語成分の構造を分析で内部表現を揃えることでモデルの多言語能力を向する。そのために、翻訳データセットの文をLLM上させる手法が提案されてきた。しかし、これらのに入力として与え、文埋め込みの手法を用いてモデ手法は言語に依存する推論を妨げることが指摘されルから入力文を表すベクトル表現を抽出する。そしている。本研究では、LLMの内部表現を意味成分て、英語と言語𝑙の対訳文ペアに対するベクトル表と言語成分に分け、意味成分が表現される意味空間現の差分から共通成分を抽出し、それをLLMの推と言語成分の構造を分析する。中間層では言語成分論時に内部表現に足すことで、英語の入力に対し出は入力内容によらない定数であり、また、低資源言力言語を𝑙にするよう操作できることを示す。これ語では意味空間と言語成分が干渉し、同一の意味のは、ある定数ベクトルによって入力内容によらずモ英文との内部表現の言語間対応が不十分であることデルの出力言語を操作できることを表し、言語成分が示唆された。これらの知見は、言語情報を保持しは意味成分によらない定数であることを意味する。たまま意味成分を揃える手法の設計に資する。このベクトルを言語ベクトルと呼ぶ。次に、英文のベクトル表現に言語𝑙の言語ベク