\label{sec:intro}自然言語で記述された文を単語の系列に変換する単語分割は，さまざまな自然言語処理タスクにおいて，その性能に影響を与える重要な処理である\cite{peng2015named,peng2016improving,sennrich2016neural,he2017f,pranav20202kenize,bollegala2020language}．従来の自然言語処理では，ルールを用いた単語分割手法\cite{koehn2007moses}や，辞書を用いた単語分割手法\cite{kudo2006mecab,morita2015morphological,tolmachev2018juman,takaoka18sudachi}，ニューラルネットワークを用いた教師あり学習による単語分割手法\cite{yang2017neural,cai2017fast,yang2018subword}，教師なし単語分割手法\cite{goldwater2006contextual,goldwater2009bayesian,mochihashi2009bayesian,sennrich2016neural,kudo2018sentencepiece}などの，さまざまな方法で単語分割が行われている．また，後段モデルの性能が向上するような適切な単語分割は，後段タスクによって異なることがこれまでの研究から分かっている\cite{xu2008bayesian,chang2008optimizing,nguyen2010nonparametric,domingo2018much,hiraoka2019stochastic,gowda2020finding}．さらに，\citeA{hiraoka2020optimizing}の実験結果から，適切な単語分割が後段モデルの構造にも依存することが示唆されている．これらの研究から，後段タスクや後段モデルに応じて，適切な単語分割を選択することが，後段モデルの性能の向上に繋がると期待される．しかしながら，従来の自然言語処理において単語分割処理は後段モデルとは独立している場合が多く\footnote{固有表現抽出タスクにおいては，単語分割と固有表現抽出をマルチタスク学習として同時に学習することで性能向上が得られると報告されている\cite{peng2016improving}．}，さまざまな単語分割を用いて後段モデルを学習し，その性能を評価しなければ，後段モデルに適切な単語分割を決定することができない．可能な単語分割の候補ごとに新たに後段モデルを学習し，評価するという探索方法には多くの時間や計算資源が必要となるため，現実的とは言えない．近年の研究では，後段タスクや後段モデルに基づいて単語分割を最適化する手法\cite{xuanli2020dynamic,hiraoka2020optimizing}が提案されているが，既存手法はいずれも使用用途が特定のタスクに限定されている．\citeA{xuanli2020dynamic}は，機械翻訳などのSequence-to-Sequenceタスクにおいて，学習データを用いて単語分割を最適化するDynamicProgrammingEncoding(DPE)を提案した．しかし，DPEによる単語分割の最適化には学習データのみを利用しており，機械翻訳タスクのための後段モデルであるエンコーダー・デコーダーのパラメータを単語分割の最適化に用いていない．そのため，DPEは後段モデルに応じて単語分割を最適化することはできない．\citeA{hiraoka2020optimizing}は，単語分割を後段タスクに最適化する際に，後段モデルのパラメータを用いるOpTokを提案した．しかしながら，OpTokは入力文の文ベクトルを用いて単語分割の最適化を行うため，文書分類タスクにしか適用することができず，機械翻訳タスクなどの多くの自然言語処理のタスクに応用することはできない．このように，現在の自然言語処理において，さまざまな後段タスクや後段モデルに適用可能な単語分割の最適化手法は存在していない．本稿では，さまざまな自然言語処理タスクに利用可能な，単語分割\footnote{本稿で取り扱う単語分割は厳密にはTokenization（トークン化）であり，分割後のトークンは単語やサブワードになるとは限らない．しかしながら，日本語の自然言語処理の文脈でトークン化ということばが広く浸透しているとは言えないため，わかりやすさのために本稿では文を部分文字列に分割することを単語分割と呼ぶ．}と後段モデルの同時最適化の新たな手法を提案する．提案手法は，複数の単語分割を用いて後段モデルの損失値を計算し，その損失値をもとに後段モデルに適切な単語分割を優先的に選択できるように単語分割器を更新する．提案手法による単語分割器の更新には後段モデルの損失値のみを用いるため，提案手法はさまざまな自然言語処理のタスクやモデルに適用することができる．さらに，提案手法によって単語分割を学習済みの後段モデルに対して最適化することで，後段モデルが学習済みであっても，その性能を向上させることが可能である．本稿では，学習済みの後段モデルに対して単語分割を最適化する処理を後処理としての単語分割の最適化と呼ぶ．このように，提案手法は後段モデルが未学習の場合であっても，学習済みの場合であっても用いることができるため，自然言語処理のさまざまな場面で利用可能な手法である．本研究では複数言語を対象とした文書分類タスクと機械翻訳タスクを用いて実験を行った．実験結果から，文書分類タスクと機械翻訳タスクの双方において，提案手法が既存の単語分割の最適化手法の性能を上回ることを確認した．また，サブワード正則化\cite{kudo2018subword,provilkov2019bpe}を用いて学習を行った後段モデルに対して，後処理として単語分割を最適化することで，その性能の向上を実現できることを確認した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%