継続事前学習による日本語に強い大規模言語モデルの構築

本研究では，Llama2をベースに日本語の大規模ウェブコーパスで継続事前学習を行い，日本語能力を強化した大規模言語モデルSwallowを構築した．実験から，7B,13B,70Bのいずれのモデル規模においても，継続事前学習が大規模言語モデルの日本語能力を引き上げ，高い性能を達成することが分かった．また，継続事前学習の学習データ量の増加に伴い，日本語の性能が向上すること（学習のスケール性）を確認した．構築したSwallowモデルを公開し，コミュニティでの後続研究・活用を期待している．