本研究では、形態素解析器やサブワード分割手法の違いが大規模言語モデルに与える影響を調査した。種々の形態素解析器とサブワード分割手法を考慮した全18種のトークナイザについて、トークナイザの学習とBERTモデルの事前学習、7個の下流タスクでのファインチューニングを行い、下流タスクの性能を比較した。また、形態素解析器の有無やその違い、サブワード分割手法の違い、単語分かち書き辞書の違い、トークナイザ辞書の類似性の観点から各種トークナイザの与える影響を評価した。

近年、BERT[1]をはじめとした大規模言語モデルの登場により、自然言語処理における様々なタスクの性能が飛躍的に向上した。現在に至るまで、様々な日本語事前学習済み言語モデルが公開されている。例えば、東北大学の乾研究室は事前学習済みBERTモデル1）を公開しているほか、早稲田大学の河原研究室は事前学習済みRoBERTaモデル2）を公開している。こうした日本語の事前学習済み言語モデルが用いるトークナイザは、モデルにより異なる。前述の東北大BERTモデルは、形態素解析器にMeCab[2]、サブワード分割手法にWordPiece[3]を用いたトークナイザを活用している。一方で、早稲田大学RoBERTaモデルは、形態素解析器にJuman++[4]、サブワード分割手法にUnigram[5]を用いたトークナイザを活用している。トークナイザが異なると、入力文の分割粒度が異なるため、言語モデルの学習する潜在表現に何らかの影響を与えると考えられる。このため、トークナ∗株式会社日立製作所でのインターンシップ中の成果。1）https://huggingface.co/cl-tohoku/bert-base-japanese2）https://huggingface.co/nlp-waseda/roberta-base-japaneseイザの違いは下流タスクの性能に影響する可能性がある。実際にトークナイザの下流タスクに与える影響については、築地ら[6]や井上ら[7]が調査している。しかし、前者は事前学習時とファインチューニング時で異なるトークナイザを用いている点、後者はサブワード分割手法にBPEのみ考慮している点や1個の下流タスクでのみ分析を行っている点から、先行研究はトークナイザの下流タスクの性能に与える影響について十分な検討を行えていない。そこで本研究では、形態素解析器を使わない場合も考慮した6種の形態素解析器と3種のサブワード分割手法の組合せに対して、同一のデータによりトークナイザの学習およびBERTの事前学習を行い、JGLUE[8]や固有表現抽出[9]、構文解析[10]タスクにおけるファインチューニング時の性能を測定することで、形態素解析器やサブワード分割手法の違いが与える影響を網羅的に分析した。本論文の貢献は次の２点である。(1)複数の日本語形態素解析器とサブワード分割手法の組合せについて、統一的な実験設定で事前学習、およびファインチューニングを実施し、様々な下流タスクにおける性能評価を行った。(2)各種形態素解析器、およびサブワード分割手法が下流タスク性能に与える影響を5つの観点から解析した。