日本語に特化した60億パラメータ規模のGPTモデルの構築と評価

近年，Transformer[1]をベースアーキテクチャとしたニューラル言語モデルの大規模化が活発に進められている．特にTransformerのdecoderのみを用いた言語モデルで，重みパラメータ数を大規模化かつ学習データ量を大規模化して事前学習を行ったGPT-3[2]やPaLM[3]などのモデルが，様々な下流タスクを高精度に解けることが報告されている．本稿では，これらdecoderに特化した大規模な言語モデルを，BERT[4]に代表されるencoderに特化したマスク言語モデルや，T5[5]に代表される系列変換モデルと区別する意味で，大規模生成系言語モデルと呼ぶこととする．なお，大規模か否かを分ける境界の定説はないが，本稿では重みパラメータ数が概ね数十億（十億＝Billion，以後‘B’と表記）以上のものを大規模と想定している．大規模生成系言語モデルは，プロンプトと呼ばれるタスク説明文と少数の例文を与えるのみで，重みパラメータを更新することなく様々な言語タスクを高精度に解くことができる．この手法はin-contextlearning[2]やprompt-basedlearning[6]と呼ばれ，汎用性と高精度を両立した新パラダイムといえる．このパラダイムシフトはビジネス応用において重要であり，大規模生成系言語モデルへの入力プロンプトを最適化するプロンプトエンジニアリングや，出力文に対する後処理技術を含めた使いこなし方を確立できれば，様々なユースケースに対する素早い実用化が期待できる．しかし，既存の大規模生成系言語モデルの多くは英語を対象としており，日本語を対象とした検証はまだ少ない．言語資源の観点からも，公開テキストデータ，公開事前学習済みモデル，公開ベンチマークデータセットなどはいずれも英語と比較して日本語では少ない．例えば英語モデルにおいては，公開の事前学習済みモデルであるGPT-J-6B[7]は6Bパラメータ，OPT[8]は175Bパラメータ，非公開の事前学習済みモデルであるPaLMは540Bパラメータである．一方で日本語モデルにおいては，公開の事前学習済みモデルとしては株式会社ABEJAの2.7Bパラメータ（gpt-neox-japanese-2.7b），非公開の事前学習済みモデルとしては同じく株式会社ABEJAの13Bパラメータが最大と思われる[9]．本研究では，日本語に特化した大規模生成系言語モデルの実用化を目指して，6Bパラメータの日本語GPTモデル(Japanese-GPT-6B)を開発している．本稿では，日本語言語資源を用いた大規模生成系言語モデルの事前学習及び性能評価事例の共有を目的とし，日本語170Bトークンで事前学習して評価を行った結果について報告する．評価では日本語言語理解ベンチマークJGLUE[10]の質問応答タスク2種を用いて，in-contextlearningによるfew-shot学習性能を評価した．結果はGPT-J-6Bと比較して優位であり，日本語特化の効果を確認した．