語彙制約付きニューラル単語分割器を用いた後処理としての単語分割の後段タスクへの最適化

単語分割は，さまざまな自然言語処理に共通する前処理の一つである．文書分類や機械翻訳などの後段タスクでは，それぞれのタスクやドメイン、モデル構造に応じて適切な単語分割を用いることで性能の向上が得られることが知られている[1,2,3]．近年では後段タスクで学習済みのモデルに対して適切な単語分割を求める手法が提案されている[4,5]．これらの手法は，すでに学習されている後段モデルのパラメータを固定し，より性能が向上するような単語分割を後処理として求めることができる．従来の後処理としての単語分割の最適化手法には，2つの課題が残されている．1つ目の課題は，従来手法[5]では文脈に応じた単語分割がされにくいという点である．これは従来手法が単語分割器としてユニグラム言語モデル採用しているためである．タスクの性能が向上するような単語分割を探索した時，ある文脈でタスクの性能向上に貢献する単語が，別の文脈でもタスク向上に繋がるとは限らなして表現した図．網掛けセルは未知語を表す．い．この問題は，例えばBIタグ付けによる文字レベルでのニューラル単語分割モデル[6,7]を用いれば，解決されるように思われる．しかしながら，文字レベルのタグ付けによる単語分割では，実際に後段モデルで利用できる語彙には含まれていない未知語が出力されてしまう可能性がある[8]．