語彙制約付きニューラル単語分割器を用いた後処理としての単語分割の後段タスクへの最適化

本稿では，後段タスクのモデルを改変することなく，単語分割器をモデルに最適化することで，精度改善を行う手法を提案する．本手法は，精度を改善したいタスクのモデルが与えられた際に，モデルが扱える単語に出力を制限しつつ，モデルにおける損失関数を最小化する単語列を生成するような単語分割器を学習する．また，文脈情報をよりよく捉えるために，LSTM上で語彙制約付きの単語分割手法を提案する．本手法を，日本語，中国語，英語の文書分類タスクで評価した結果，ユニグラム言語モデルによる単語分割の最適化手法，単語の限定を行わないニューラル単語分割器と比較し，提案手法が性能の向上に寄与することが示された．