日本語Tokenizerの違いは下流タスク性能に影響を与えるか？

本研究では、形態素解析器やサブワード分割手法の違いが大規模言語モデルに与える影響を調査した。種々の形態素解析器とサブワード分割手法を考慮した全18種のトークナイザについて、トークナイザの学習とBERTモデルの事前学習、7個の下流タスクでのファインチューニングを行い、下流タスクの性能を比較した。また、形態素解析器の有無やその違い、サブワード分割手法の違い、単語分かち書き辞書の違い、トークナイザ辞書の類似性の観点から各種トークナイザの与える影響を評価した。