転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。本研究では、転移学習において、より計算コストの増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、トークナイズ確率を方策、負のモデルロスを報酬とした強化学習によりトークナイザを学習する。実験の結果、提案手法は既存手法よりも高い性能を達成し、また、計算時間を削減できたことを確認した。