入力文を単語の系列へと変換する単語分割は自然言語処理における重要な処理である．中国語や日本語のように単語境界をスペースなどで明示しない言語を処理する場合は，一般的に入力となる自然文を単語列へと分割する必要がある．また英語のようにスペースで単語区切りを明示する言語であっても，単語よりも小さい適切な単位に再分割を行うことがタスクを解く上で重要である\cite{peng2015named,peng2016improving,sennrich2016neural,he2017f,pranav20202kenize,bollegala2020language}．従来の自然言語処理において単語分割は，モデルの学習の前に行い，学習を通して変更されることがない不可逆的な前処理として行われてきた．%%%%図\ref{fgr:core_idea}\subref{fgr:core_idea_a}に示すように，図\ref{fgr:core_idea}(a)に示すように，学習済みの単語分割モデルを用いて入力文を単語列へと変換し，これを後段タスクを解くためのモデル（後段モデル）へと入力するという処理過程が一般的である．この単語分割では，学習済みの単語分割モデルに基づいて入力文を尤もらしい単語列へと分割する．しかし，そのようにして得られた単語分割が後段タスクを解く上で有効であるかは不明であり，実際にその単語分割を用いて学習した後段モデルの性能を比較してみなければ単語分割の評価はできない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\begin{center}\includegraphics{28-2ia7f1.pdf}\end{center}%%%%\label{fgr:core_idea_a}%%%%\label{fgr:core_idea_b}\hangcaption{自然言語処理における(a)従来の不可逆な単語分割と，(b)本稿で提案する後段タスクに対して単語分割を最適化する手法の概要．提案手法は後段タスクの学習損失値を用いて，後段タスクの性能が向上するような単語分割が得られるように単語分割モデルを直接最適化する．}\label{fgr:core_idea}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%近年の研究では，単語分割をサンプリングし，様々な単語分割を用いて後段タスクを学習することで，後段モデルの性能が向上することが示されている\cite{kudo2018subword,hiraoka2019stochastic,provilkov2019bpe}．このような方策は未知語や表記揺れに頑健な後段モデルを作成するという点において優れているが，後段タスクそのものに単語分割を最適化するという点については考慮されていない．後段タスクに適した単語分割が獲得できれば，後段モデルの性能のさらなる向上が得られると期待される．また，複数の単語分割の候補を同時に使用することで，単語分割に起因する後段タスクの性能低下を防ぐ方法も提案されている\cite{chen2017dag,zhang2018chinese,yang2018subword}．この方法では，LSTM\cite{hochreiter1997long}をベースとした機構を用いて，入力文について可能なあらゆる単語分割を考慮しながら文ベクトルを計算する．この方法は単語分割の失敗が後段タスクへ伝搬することを防ぐことができるが，可能なあらゆる単語分割について毎回計算を行う必要があるため計算コストが大きい．これまでのアプローチとは異なり，本研究では後段タスクを学習するために適切な単語分割を，後段タスクの学習と同時に自動で獲得することを目的とする．%%%%本稿では図\ref{fgr:core_idea}\subref{fgr:core_idea_b}に示すように，本稿では図\ref{fgr:core_idea}(b)に示すように，後段タスクとそれを学習する後段モデルに基づいて単語分割モデルを最適化する新たな手法を提案する．提案手法は，入力文の複数の単語分割候補を用いて文ベクトルを作成し，後段モデルへと入力する．後段モデルの学習損失値が下がるように単語分割モデルを更新することで，単語分割モデルは後段タスクを解くために有用な単語分割候補を出力するように学習される．提案手法は，入力文を文ベクトルへと変換して利用する様々なタスクに利用することが可能である．本稿では中国語，日本語，英語における文書分類の複数タスクで実験を行い，提案手法の有効性を確認した．さらに，提案手法は大規模コーパスで事前学習を行ったエンコーダーに対しても適用可能であることを示す．様々なタスクで性能の向上が報告されている事前学習済みエンコーダーであるBERT\cite{devlin2018bert}に対して提案手法を適用し，その性能が向上することを実験により示す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%