本稿では，後段タスクのモデルを改変することなく，単語分割器をモデルに最適化することで，精度改善を行う手法を提案する．本手法は，精度を改善したいタスクのモデルが与えられた際に，モデルが扱える単語に出力を制限しつつ，モデルにおける損失関数を最小化する単語列を生成するような単語分割器を学習する．また，文脈情報をよりよく捉えるために，LSTM上で語彙制約付きの単語分割手法を提案する．本手法を，日本語，中国語，英語の文書分類タスクで評価した結果，ユニグラム言語モデルによる単語分割の最適化手法，単語の限定を行わないニューラル単語分割器と比較し，提案手法が性能の向上に寄与することが示された．

単語分割は，さまざまな自然言語処理に共通する前処理の一つである．文書分類や機械翻訳などの後段タスクでは，それぞれのタスクやドメイン、モデル構造に応じて適切な単語分割を用いることで性能の向上が得られることが知られている[1,2,3]．近年では後段タスクで学習済みのモデルに対して適切な単語分割を求める手法が提案されている[4,5]．これらの手法は，すでに学習されている後段モデルのパラメータを固定し，より性能が向上するような単語分割を後処理として求めることができる．従来の後処理としての単語分割の最適化手法には，2つの課題が残されている．1つ目の課題は，従来手法[5]では文脈に応じた単語分割がされにくいという点である．これは従来手法が単語分割器としてユニグラム言語モデル採用しているためである．タスクの性能が向上するような単語分割を探索した時，ある文脈でタスクの性能向上に貢献する単語が，別の文脈でもタスク向上に繋がるとは限らなして表現した図．網掛けセルは未知語を表す．い．この問題は，例えばBIタグ付けによる文字レベルでのニューラル単語分割モデル[6,7]を用いれば，解決されるように思われる．しかしながら，文字レベルのタグ付けによる単語分割では，実際に後段モデルで利用できる語彙には含まれていない未知語が出力されてしまう可能性がある[8]．