日本語を主とした日・英・中トリリンガル700億パラメータモデルの構築

我々は,日本語を主とした700億パラメータの日本語・英語・中国語のトリリンガル大規模言語モデル(LLM:LargeLanguageModel)を転移学習によって開発した.開発にあたっては,トークナイザーの差替,カリキュラム学習,モデルマージといった複数の手法を順に組み合わせた.本稿ではその手法の詳細と,評価結果を報告する.結果として,継続事前学習においては日本語に転移学習済のモデルをベースに学習を行ったことに起因すると思われる日本語性能の飽和が見られたものの,その後のSFT,及びモデルマージによって,元モデルと比較して大幅な指示追従性能の向上が確かめられた.