英語中心の大規模言語モデルの言語横断汎化能力

言語横断汎化(cross-lingualgeneralization)とは，モデルがあるソース言語でのタスク学習を通じて，ソース言語と異なる言語でも同じタスクをこなせるようになることである．言語横断汎化能力の実現は特にデータの少ない低資源言語のタスク性能の改善を期待できるため，重要視されている[16,15,12]．昨今，大規模言語モデル（LLM）は顕著な性能向上を遂げており[3]，BLOOM[21]を始めとする多言語LLMの言語横断汎化に関する研究も盛んである[8,12]．．一方で，LLaMA[18]のような事前学習データの大半が英語で構成される大規模言語モデル（以下，「英語中心のLLM」と言う）においても，英語以外の言語，例えば中国語なども生成可能なことが観察されている[23]．また，事前学習に明示的に含まれない言語に対する言語横断汎化能力を示唆する結果も報告されている[26]．しかしながら，英語中心のLLMの有する言語横断汎化能力に関して分析した研究はまだ限られている．英語のみでの微調整学習による言語横断汎化性能の解明はより効率的，かつ強力なLLMの構築につながる重要な知見と考えられる．本研究では，まず事前実験として英語中心のLLMの言語横断汎化性能を多様なタスクにおいて観察した上で，（1）英語中心のLLMの言語横断汎化能力はどこから来たのか，（2）言語横断汎化性能の言語間のばらつきをもたらす要因は何か，という2つの研究課題に関して分析を行う．課題（1）に関しては，英語のみを使用した対照学習によって多言語モデルの多言語表現の質が向上したという先行研究での報告[19]に基づき，「英語中心のLLMにおいても，英語で微調整学習することが，多言語タスクをうまく解くためのより良い多言語表現を獲得することに繋がる」という仮説を立て検証する．具体的には，英語での微調整学習実験で汎化性能を確認した後，微調整学習がモデルの多言語表現能力にどのような影響を与えるかを焦点に当て，この過程で生じる言語間の類似度変化を分析する．さらに課題（2）に関して，言語間の類似度と性能汎化の関係性を調査するために，二者の相関性に対して分析を行う．分析の結果，モデルは事前学習で得られた言語間のアラインメントを手がかりに英語データによる微調整学習ではタスクそのものの解き方を学習することで言語横断汎化能力を獲得していると推測できる．