疎な言語固有の次元の同定およびそれを用いた大規模言語モデルの多言語生成制御

大規模言語モデル（LLM）は，主として英語中心のコーパスで事前学習されているにもかかわらず，翻訳，質問応答など多様な多言語タスクにおいて高い性能を示している.このような多言語能力がモデル内部でどのように実現されているかを理解することは，解釈可能性の向上のみならず，効率的な言語制御手法の設計においても重要な課題である.Wendlerら[1]は，英語中心のLLMにおいて，入力文の意味表現がTransformerの層を進むにつれて段階的に変化することを示している．特に，中間層では意味内容が英語の表現空間に表され，最終層に近づくにつれて目的言語のトークン空間へと投影される現象が報告されている．この潜在言語遷移はlogitlens[2]による解析からも確認されており，図1に示すように，“English:Todayishot.–日本語:今日は__”といった入力では，中間層で英語の表現が顕Layer40暑い…Layerihot…Layer1...[今日][は]在化し，最終層で日本語トークンが生成される．これまでの研究の多くは，言語選択を司るニューロンの存在に着目し，特定のニューロンやFFNユニット[3,4]，あるいはスパースオートエンコーダを用いた特徴抽出により[5]，言語制御を実現してきた.しかし，これらの手法は，大規模なコーパスや計算資源を必要とすることが多い．また，表現が層をまたいでどのように変化するかという表現遷移の構造そのものには十分に踏み込めていない.本研究では，多言語表現の制御を表現空間上の次元レベルで捉える．言語間の表現遷移が一貫したインデックスを持つ少数かつ疎なの次元に集中して生じているという仮説を立てる.図1に示すように，意味内容は主に言語非依存的な次元に保持され，特定の言語固有の次元の変化によって最終的な出力言語が決定されると考えられる．この仮説に基づき，本研究では，ごく少量（50文）のデータから言語固有の次元を同定し，推論時にそれらの次元のみを操作して言語を制御する手法を提Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ここで𝛼は操作強度を制御するスケーリング係数である.この操作により，意味内容を概ね保持したまま，出力言語のみを切り替えることが可能となる.4実験設定4.1モデルLlama2–7B，Llama2–13B，Aya23–8B[10,11]の4つのLLMを評価対象とする.Llama2系列は主に英語中心のデータで学習されている一方，Aya23はより多言語性の高いモデルであり，異なる学習データ分布を持つモデル間での一般性を検証する.4.2次元同定に用いるデータ0英語からフランス語，ドイツ語，スペイン語，中国語，日本語への5言語方向を対象とする.言語固有の次元の同定には，FLORES-200[12]の開発セットから各方向につき50文の対訳文対をランダムに抽出して用いる.4.3多言語生成制御タスク5既存研究[3]に従い，多言語生成制御タスクを0用いて評価を行う.モデルには“TranslateanEnglishsentenceintoatargetlanguage.English:{source}Targetlanguage:”という翻訳指示形式のプロンプトを与えるが，目的言語は明示的に指定しない.この設定により，同定した言語固有の次元が出力言語の制御に寄与するかを検証する.評価には，FLORES-200[12]，IWSLT2017[13]，WMT[14]の各データセットから英語→各言語方向につき100文対を用い，平均性能を報告する.指標として，出力言語が目的言語となる割合を測るAccuracy（ACC），目的言語となっている成功例に対する翻訳品質を測るBLEU，およびその積であるACC×BLEUを用いる.出力言語の判定にはfastText[15]による言語識別器を用い，識別スコアが0.5[3]を超える場合を成功と判定する.5結果最適なハイパーパラメータをチューニングするため，一連の検証実験を行った.詳細は付録Aに示す.また，同定した言語固有の次元の分析を付録Bに示す．290.300.150.80.450.600.7525ACC0.60.900.000.250.500.75Layer0.600.000.150.450.30210.4170.2102030