LLaMAなどに代表される大規模言語モデルは，事前学習データの大半が英語で構成されているにも関わらず，英語以外の言語についても文章の生成が可能であることが観察されている．本研究では，英語を中心に学習された大規模言語モデルに対して，英語データのみを用いて微調整学習(ﬁne-tuning)を実施した場合でも，英語以外の言語におけるタスク性能が向上する言語横断汎化能力に関して分析を行う．具体的には，英語の微調整学習前後でモデルの異言語間の内部表現に対する分析の結果，英語の微調整学習は言語非依存のタスクの解き方を学習していること，また，事前学習した言語間の類似度より性能汎化を実現していること示す．

言語横断汎化(cross-lingualgeneralization)とは，モデルがあるソース言語でのタスク学習を通じて，ソース言語と異なる言語でも同じタスクをこなせるようになることである．言語横断汎化能力の実現は特にデータの少ない低資源言語のタスク性能の改善を期待できるため，重要視されている[16,15,12]．昨今，大規模言語モデル（LLM）は顕著な性能向上を遂げており[3]，BLOOM[21]を始めとする多言語LLMの言語横断汎化に関する研究も盛んである[8,12]．．一方で，LLaMA[18]のような事前学習データの大半が英語で構成される大規模言語モデル（以下，「英語中心のLLM」と言う）においても，英語以外の言語，例えば中国語なども生成可能なことが観察されている[23]．また，事前学習に明示的に含まれない言語に対する言語横断汎化能力を示唆する結果も報告されている[26]．しかしながら，英語中心のLLMの有する言語横断汎化能力に関して分析した研究はまだ限られている．英語のみでの微調整学習による言語横断汎化性能の解明はより効率的，かつ強力なLLMの構築につながる重要な知見と考えられる．本研究では，まず事前実験として英語中心のLLMの言語横断汎化性能を多様なタスクにおいて観察した上で，（1）英語中心のLLMの言語横断汎化能力はどこから来たのか，（2）言語横断汎化性能の言語間のばらつきをもたらす要因は何か，という2つの研究課題に関して分析を行う．課題（1）に関しては，英語のみを使用した対照学習によって多言語モデルの多言語表現の質が向上したという先行研究での報告[19]に基づき，「英語中心のLLMにおいても，英語で微調整学習することが，多言語タスクをうまく解くためのより良い多言語表現を獲得することに繋がる」という仮説を立て検証する．具体的には，英語での微調整学習実験で汎化性能を確認した後，微調整学習がモデルの多言語表現能力にどのような影響を与えるかを焦点に当て，この過程で生じる言語間の類似度変化を分析する．さらに課題（2）に関して，言語間の類似度と性能汎化の関係性を調査するために，二者の相関性に対して分析を行う．分析の結果，モデルは事前学習で得られた言語間のアラインメントを手がかりに英語データによる微調整学習ではタスクそのものの解き方を学習することで言語横断汎化能力を獲得していると推測できる．