ビジネスのドメインに対応した日本語大規模言語モデルの開発

この一年ほどで日本語に対応した大規模言語モデルが活発に開発されている。今回、我々はビジネスのドメインに対応した130億パラメータの日本語の大規模言語モデルの開発を行い、事前学習済みモデル及び指示学習済みモデルの公開をおこなった。本論文では、事前学習や指示学習の詳細や、モデルの評価、特にビジネスのドメインでの優れた質問回答性能について報告する。また、最新の情報の継続的学習に関する初期的な検証結果についても簡単に報告する。