日本語を主とした日・英・中トリリンガル700億パラメータモデルの構築

LLMの研究開発は近年非常に盛んである.国内においても,その様々な需要から多くのLLMが開発されている.一方でトップ性能の競争は国外を軸に行われており,そうしたモデルは日本語能力を有するものの,日本語モデルを目指して開発されたものは多くない.依然として,言語間転移学習を行うことによる,高性能な公開モデルの日本語化が必要である.今回,我々は公開されている継続事前学習済のモデルに日本語・英語・中国語をさらに継続学習することで3言語対応モデルを開発した.ベースモデルとしては,日本語モデルLlama-3-Swallow-70B-v0.1を採用した.このモデルはMeta-Llama-3[1]に日本語コーパスで継続事前学習を行ったモデルである[2,3,4].学習データには公開データを利用した.その内訳については表2に記した.本稿の構成は以下の通りである:section2では,本モデルの構築手法について説明する.モデル構築は以下の手順で行った.1.トークナイザーの学習