語彙置換継続事前学習による日英バイリンガルモデルの構築と評価

近年盛んに開発されているLLMの事前学習には大量の学習データが必要であり，豊富な言語資源を有する英語データが主に用いられることが多い．一方で特定の言語能力に特化したLLM，例えば日本語LLMを開発する場合，単純には大量の日本語データを用いて事前学習を行う方法が考えられ，その方法で我々は昨年6Bパラメータの日本語LLMを開発している[1]．しかし，英語と比べて日本語の言語資源は少ないため，日本語データのみを用いて英語LLMと同等の言語処理能力を持たせることは難しい．そこで日本語データだけでなく日本語と英語の2言語データで事前学習を行うことで，言語の普遍的な特性や知識を英語データからも学習させつつ，それらの能力を日本語処理性能へと転移させる言語間知識転移が期待できる[2]．また，主に英語データで事前学習が行われたLLMに対して他の言語データで継続事前学習を行うことでも知識転移が期待できる[3]．日本語適応の事例として，主に英語データで事前学習が行われたオープンなLLMでihttps://huggingface.co/meta-llama/Llama-2-13b-chat-hfあるLlama2[4]に対して日本語データで継続事前学習を行ったELYZA-japanese-Llama-2-13b[5]は，Llama2の事前学習において日本語学習データが少なかったことを補いつつ，優れた英語能力を日本語能力に転移させていると考えられる．一方で，Llama2はトークナイザが主に英語に特化しており，日本語をトークナイズすると1トークンが平均1文字未満になるため，日本語は英語に比べて学習コストや推論コストが高く，一度に入出力可能な文章も少ないという課題がある．この対策としてLlama2に対してトークナイザに日本語語彙を追加して継続事前学習を行ったSwallow-13B[6]やELYZA-japanese-Llama-2-13b-fast[5]がある．また，我々は元の語彙数を変えずに語彙を置換して継続事前学習を行う語彙置換継続事前学習を提案している[7]．これらの手法により日本語での学習・推論コストと入出力長を最適化することが可能である．本稿では，事前学習済みLlama213BChatに対して日英2言語データを用いてトークナイザを日英2言語に適応させた上で，日英2言語の学習データで語彙置換継続事前学習を行い，LLMベンチマーク