我々は,日本語を主とした700億パラメータの日本語・英語・中国語のトリリンガル大規模言語モデル(LLM:LargeLanguageModel)を転移学習によって開発した.開発にあたっては,トークナイザーの差替,カリキュラム学習,モデルマージといった複数の手法を順に組み合わせた.本稿ではその手法の詳細と,評価結果を報告する.結果として,継続事前学習においては日本語に転移学習済のモデルをベースに学習を行ったことに起因すると思われる日本語性能の飽和が見られたものの,その後のSFT,及びモデルマージによって,元モデルと比較して大幅な指示追従性能の向上が確かめられた.

LLMの研究開発は近年非常に盛んである.国内においても,その様々な需要から多くのLLMが開発されている.一方でトップ性能の競争は国外を軸に行われており,そうしたモデルは日本語能力を有するものの,日本語モデルを目指して開発されたものは多くない.依然として,言語間転移学習を行うことによる,高性能な公開モデルの日本語化が必要である.今回,我々は公開されている継続事前学習済のモデルに日本語・英語・中国語をさらに継続学習することで3言語対応モデルを開発した.ベースモデルとしては,日本語モデルLlama-3-Swallow-70B-v0.1を採用した.このモデルはMeta-Llama-3[1]に日本語コーパスで継続事前学習を行ったモデルである[2,3,4].学習データには公開データを利用した.その内訳については表2に記した.本稿の構成は以下の通りである:section2では,本モデルの構築手法について説明する.モデル構築は以下の手順で行った.1.トークナイザーの学習