異なる単語分割システムによる日本語事前学習言語モデルの性能評価

近年の自然言語処理では，Transformer[1]をベースとした大規模事前学習言語モデルが盛んに用いられる．BERT[2]を筆頭に，Transformerをベースとした多くのモデルが提案されている[3,4,5]．これらのモデルはWikipediaやCommonCrawlなど主に英語のコーパスを用いて構築される．言語タスクで高い性能を示すこれらのモデルは，日本語でも構築・公開されるようになってきた．その一方で，英語で提案・構築されたモデルをそのまま日本語に適用する際には，トークン分割での処理を変更することが多い．例えば，BERTやELECTRA[3]では，入力文を半角スペースで単語に分割し，その後それぞれの単語をトークン(サブワード)に分割する．しかし一般的な日本語の文章では半角スペースで単語が分かれていない．そのため日本語の大規模事前学習言語モデルの構築時には，外部の形態素解析器などを用いて単語分割を行うことが多い．日本語の大規模事前学習言語モデルの構築例として，東北大学が公開しているBERTモデル1）ではMeCab[6]を，早稲田大学が公開しているRoBERTaモデル2）ではJuman++[7,8]を，リクルートが公開しているELECTRAモデル3）ではSudachi[9]を用いている．このように，単語分割に用いられるシステムは多岐に渡っている．また，rinna社のRoBERTa4）では，RoBERTa[5]で提案・公開されているモデルと同様に，入力文に単語分割を行わずサブワード分割を行う．日本語で構築されたこれらのモデルを比較する際には，モデルのアーキテクチャだけでなく，用いられている単語分割の手法についても留意する必要がある．この事象は日本語の言語モデル間の比較を困難にしている．さらに，日本語の言語モデルで用いられている単語分割のシステムは，事前学習言語モデルにおける単語分割が目的ではなく，文の意味処理や情報抽出など，それぞれ目的を異にしている．言語モデルに対して人為性の高い分割を加えることで，モデルの効率が落ちている可能性がある．実際にニューラル機械翻訳では，単語分割をせずに，統計的に一貫性のある分割手法を用いることで精度が向上することが示されている[10]．近年主流の事前学習言語モデルによる言語処理においても，目的に適したトークン分割手法を選ぶ必要があり，従来の単語分割手法に依らずにトークン分割を行うことが下流タスクでの精度の向上につながる可能性がある．本研究では，日本語において単語分割の手法が事前学習言語モデルに与える影響について検証を行う．具体的には，異なる単語分割の手法を用い，同じコーパスから異なるトークナイザーを構築する．1）https://huggingface.co/cl-tohoku/bert-base-japanese-v22）https://huggingface.co/nlp-waseda/roberta-base-japanese3）https://huggingface.co/megagonlabs/electra-base-japanese-discriminator4）https://huggingface.co/rinna/japanese-roberta-base.これらのトークナイザーから構築した事前学習言語モデルについて，下流タスクにおける性能の比較を行う．事前学習言語モデルにおいて，単語分割の手法による下流タスクでの性能やサブワードを含めたトークン分割の傾向の違いが明らかになることで，日本語ドメインにおけるより活発な言語モデルの構築が期待できる．