近年英語を中心に事前学習済み大規模言語モデルが多く公開されてきた。本研究ではそれらのモデルの中でも、ここ最近で高スコアを出したMeta社のLlama213BChatモデルを再利用し、できるだけ性能の高い日本語モデルを作成することを試みる。特に言語間転移、カリキュラムラーニングの知見を投入し、なるべく事前学習の量を減らした継続学習を行い、日本語を優先した日英モデルの作成の検証結果を報告する。

近年中程度の大規模言語モデル(10B前後)が多く作成されオープンなモデルとして公開されている。一方、日本語では学習データ、学習環境の制限もあり、性能の高い大規模モデルを作るのは以前困難な課題である。そのため、既にある性能の高い英語モデルを再利用し、日本語の継続学習をすることは十分に価値がある。今回我々も可能な限りオリジナルモデルのアーキテクチャを変えずに既存英語モデルで性能の高いものを利用し、日本語モデルとしての性能の高いモデルへ変化させる試みを行う。本研究では英語データが日本語データよりも多く公開されている状況に合わせて、最初3:1の割合で英語：日本語データで学習し、その後1:3の割合で学習する転移学習を主とする効果を確認する。また学習の成功率を上げるために良質なデータから広範なデータへといった学習順序も含めて計画し、カリキュラムラーニングの要素ありで学習を進める。この二つの効果を確かめるために設定を理想形から外したモデルの作成、比較も行う。すなわち、両言語のデータを同比率で訓練した場合と割合を変えた場合の比較実験、データ順序を考慮する場合としない場合との比較実験、元々の英語モデルの重みを再活用する場合としない場合の比較実験の結果を公開する。