大規模言語モデルに対する語彙置換継続事前学習の有効性の検証

英語モデルに日本語データを継続事前学習することによって日本語性能を高めるというアプローチにおいて，最も重要な課題の１つに日本語に最適化されていないトークナイザーによる学習効率の低下が挙げられる．トークナイザーの語彙拡張など様々な対策手法があるが，モデルパラメータの増大という副作用もある．そこで本研究ではトークナイザーの語彙拡張をせずに，既存モデルの埋め込みを活用することによって学習効率と精度を高める手法，語彙置換継続事前学習を提案する．検証の結果，語彙拡張と同等の精度が確認された．