人工知能学会研究会資料
言語・音声理解と対話処理研究会
SIG-SLUD-093-32

日本語自然言語処理における事前学習モデルの公開
Release of Pre-trained Models
for Japanese Natural Language Processing
趙 天雨
Tianyu Zhao

沢田 慶 ∗Kei Sawada

rinna 株式会社rinna Co., Ltd.
Abstract: We have developed two types of pre-trained models, GPT-2 and RoBERTa, that aretrained from a public corpus consisting of about 75-gigabyte texts. The models and its training
code have been released under licenses that allow for commercial use. By ﬁne-tuning the releasedmodels, users will be able to accomplish a variety of Japanese natural language processing tasks
with high task accuracy.

1

はじめに

人間の対話におけるコミュニケーションでは，自分の考えを言語化し，声や表情・身振り手振りによる表現で相手に情報を伝える．また，コンピュータを介したコミュニケーションでは，テキストによる情報伝達が多くを占めている．そのため，言語化された情報やコンピュータとインターネット上に存在するテキストを扱う自然言語処理の研究は重要であり，様々な応用が期待される．
近年では，コンピュータの処理速度・ストレージサ
イズ・通信速度の向上により，大規模なテキストデータを扱うことが可能となった．さらに，ディープラー
ニング技術の発展に伴い，大量のパラメータを持つモデルを効率よく学習する手法が提案された．そして自然言語処理の分野において，大規模なテキストデータから学習される大量のパラメータを持った事前学習モデルの登場はブレークスルーをもたらした．
2018 年に提案された Generative Pre-trained Transformer (GPT) [1] や Bidirectional Encoder Representations from Transformers (BERT) [2] は，自己教師あり学習により事前学習される言語モデルであり，事前学習モデルと呼ばれる．事前学習モデルは，大規模なテキストを用いた事前学習により，言語としての一般的な表現をモデルに学習させることができる．そして，目的に合わせたモデル構造の選択や，適切なデータを利用した事前学習モデルの ﬁne-tuning により，自然言語処理の様々なタスクを高い精度で実現する．
∗ 連絡先： rinna 株式会社

事前学習モデルを用いた手法は，より大量のパラメータを持つモデルの提案により日々改善されている．しかし，パラメータ数の増加は性能向上をもたらすものの，事前学習のためのコストが膨大に膨れ上がる．そこで
我々は，日本語オープンコーパスから学習した GPT2 [3] と Robustly Optimized BERT Pretraining Approach (RoBERTa) [4] の 2 種類の事前学習モデルをHugging Face1 に，事前学習に用いたソースコードをGitHub2 に商用利用可能なライセンスで公開した．これにより事前学習モデルの利用者は，目的に合わせたﬁne-tuning を行うことで，事前学習のコストを抑えつつ所望のタスクを実現可能となる．

公開した事前学習モデル

2

オープンコーパスである CC-100 [5] と Wikipedia の日本語テキストを用いて，GPT-2 と RoBERTa の事前学習モデルを学習し，公開した．以下に公開した事前学習モデルについての説明をする．

2.1

モデル構造

GPT-2 と RoBERTa は，主に self-attention 層と feedforward 層からなる Transformer ブロックの積み重ねから構成される [6]．GPT-2 と RoBERTa には，各ブロック内の feed-foward 層と正規化層の配置などモデル構造に細かな違いはあるが，主要な違いは 2 つのモデルが異なるタスクのために異なったマスキングメカニズムを利用する点である．

東京都渋谷区渋谷 2 丁目 24 − 12
渋谷スクランブルスクエア 39F WeWork
E-mail: keisawada@rinna.co.jp

1 https://huggingface.co/rinna
2 https://github.com/rinnakk/japanese-pretrained-models－ 169 －Step 1 はStep 2

GPT-2
吾輩Step 3

猫

GPT-2
吾輩

GPT-2

は吾輩は


Step 4であるはGPT-2

猫

吾輩は

猫

RoBERTa
である

[CLS]

吾輩

[MASK]

猫である

Figure 1: The training process of GPT-2 (left) and RoBERTa (right).

Pre-trained models

Table 1: Pre-trained model conﬁgurations.
Params Layers Emb dim Epochs

rinna/japanese-gpt2-medium
rinna/japanese-gpt2-small
rinna/japanese-gpt2-xsmall
rinna/japanese-roberta-base

336M
110M
37M
110M

24126
12

GPT-2 は自己回帰言語モデルであり，Figure 1 の左側のように，これまでのステップのトークン（単語やサブワード）から次のトークンを予測するように学習される．そのため GPT-2 は，条件付き又は無条件のテキスト生成のためのデコーダとして用いられる．
一方，RoBERTa はマスク言語モデルであり，Figure 1 の右側のように，コンテキストとして前後のトークンが与えられた場合に，マスクされたトークンを予測するように学習される．RoBERTa は，マスクトークンを予測するように学習されるが，意味のあるテキスト表現を取り出すためのエンコーダとして機能する
ため，テキスト分類や検索など下流タスクのための事前学習モデルとしてよく利用される．

2.2

43
3
8Time

1821283.9

45 days
15 days
4 days15 daysル (GPT-2 が 3 サイズと RoBERTa が 1 サイズ) を公開した．Table 1 は，それぞれの事前学習モデルの主要なハイパーパラメータと学習結果である．全ての事前学習モデルは，8 台の NVIDIA V100 (32GB メモリ)が搭載された GPU サーバで学習した．学習時間は最長で 45 日と十分に学習されており，汎用性があるモデルとなっている．

3むすび

本稿では，日本語自然言語処理のために公開した GPT2 と RoBERTa の事前学習モデルについて紹介した．今後は，利用者のモデル選択の幅を広げるために，他のモデル公開について検討する．

学習データ

日本語のオープンコーパスで最も大規模であり整備がなされている CC-100 と Wikipedia を用いて，GPT-2と RoBERTa を学習した．CC-100 コーパスは，様々なトピックとスタイルのテキストを含んでおり，日本語は約 70GB のテキストデータから構成される3 ．Wikipedia
コーパスについては，学習時に最新の Wikipedia からダンプされた約 5GB の日本語テキストを利用した4 ．また，トークナイザは語彙サイズ 32000 の SentencePiece [7]とし，テキストをサブワード化した．事前学習にオープンコーパスを用いているため，公開したソースコードから利用者は事前学習を再現することができる．

2.31024768
512768PPL

コンピュータリソースとモデル性能はトレードオフの関係にあり，利用者が利用条件に合ったモデルを柔軟に選択できるように，サイズが異なる事前学習モデ
4 https://dumps.wikimedia.org/other/cirrussearch/[1] Radford, A. et al.: Improving Language Understanding by Generative Pre-training (2018)[2] Devlin, J. et al.: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,
NAACL-HLT 2019, pp. 4171–4186 (2019)[3] Radford, A. et al.: Language Models are Unsupervised Multitask Learners (2019)[4] Liu, Y. et al.: RoBERTa: A Robustly Optimized
BERT Pretraining Approach, arXiv preprint, arXiv:
1907.11692 (2019)[5] Conneau, A. et al.: Unsupervised Cross-lingual Representation Learning at Scale, ACL 2020, pp. 8440–8451 (2020)

学習結果

3 http://data.statmt.org/cc-100/

参考文献[6] Vaswani, A. et al.: Attention Is All You Need,NeurIPS 2017, pp. 5998–6008 (2017)[7] Kudo, T. et al.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing, EMNLP 2018,
pp. 66–71 (2018)－ 170 －