日本語に特化した60億パラメータ規模のGPTモデルの構築と評価

GPT-3をはじめとするTransformerベースの大規模な事前学習済み言語モデルは，様々な下流タスクを高精度に解けることが報告されている．一方でこれらの大規模言語モデルの多くは英語を対象言語としており，日本語を対象言語とした検証はまだ少ない．本稿では，60億パラメータの日本語GPTモデル(Japanese-GPT-6B)の事前学習を行い，日本語言語理解ベンチマークJGLUEの質問応答タスク2種を用いて，in-contextlearningによるfew-shot性能評価を行った結果について報告する．