転移学習における強化学習を用いた効率的なトークナイザとモデルの同時学習

文をトークンの系列に分割するトークナイズは、言語処理の最初で行われる重要なステップである。特に日本語のような単語が空白で区切られていない言語では、適切な単位にトークナイズすることが重要となっている。一般に、トークナイザはモデルとは独立に事前に定義して、モデルの学習・推論時は固定することが一般的であり、タスクに最適なトークナイザである保証はない。この問題に対して、平岡らはモデルの学習と同時にトークナイザの学習も行う手法を提案している[1]。この手法の基本的な考えは、いくつかのトークナイズ結果を出力し、タスクがうまく解けるようなトークナイズ結果の確率が高くなるように、トークナイザを学習することである。モデルを学習するための入力に加えて、トークナイザを学習するために𝑁回1）モデルにトークナイズ結果を通す必要があり、比較的計算コストが大きい手法となっている。この手法は転移学習以前の手法において有効性が検証されており、BERT[2]などの転移学習モデルに適用する、というのは自然な考えであるが、事前学習時からトークナイザを同時学習することは計算コス1）実験ではN=3などの値が用いられている。トの観点から難しい。この問題を解決するため、本研究では、転移学習にも適用できるように、より計算コストの増加が小さい、効率的なトークナイザとモデルの同時学習手法を提案する。提案手法は、強化学習における方策勾配法を用い、トークナイズ確率を方策、負のモデルロスを報酬とし、報酬を最大化、つまりモデルのロスを最小化するようにトークナイザの学習を行う。具体的には、1-besttokenizeした結果と、samplingtokenizeした結果を比較し、前者をモデルに入力した時のモデルのロスに比べ、後者をモデルに入力した時のモデルのロスが小さければ、後者のトークナイズ確率が大きくなるようにトークナイザを学習する。先に述べた平岡ら手法と提案手法の概要を図1に示す。どちらの手法もモデルの学習にはsamplingtokenizeの結果を用いる点では同一である(それぞれの手法の図における右側)が、トークナイザの学習に用いるトークナイズが、平岡ら手法ではN-bestであるのに対し、提案手法では1-best一つのみであるため、平岡ら手法に比べて計算量を大きく削減することができる。日本語言語理解ベンチマークで評価を行い、提案手法が比較手法よりも精度が高いことを示し、また、平岡ら手法を事前学習にも適用した手法よりも計算時間を50%以下に改善できることを確認した。