# 単語分割と後段モデルの損失値を用いた同時最適化

平岡 達也 $\dagger \cdot$ 高瀬 翔 $\dagger \cdot$ 内海 慶 $\dagger \dagger \cdot$ 欅 惇志 $\dagger \dagger \cdot$ 岡崎 直観 $\dagger$

本稿では, 後段モデルと単語分割器を同時に学習することで, 後段モデルに適切な単語分割を獲得する新たな手法を提案する。提案手法では, 後段モデルを学習する際に得ら れる教師信号との損失値を用いて単語分割器の学習を行う。これにより, 提案手法は損失値が計算できるあらゆる後段モデルに対して制限なく使用することができ，さまざま な自然言語処理のタスクで単語分割の最適化を行うことができる。 さらに，提案手法は すでに学習済みの後段モデルに対しても，後処理として単語分割を最適化することで，後段モデルの処理性能を底上げすることができる。 そのため, 提案手法は自然言語処理 のさまざまな場面で利用することが可能である，実験を通して，提案手法が 3 言語の文書分類タスクで性能の向上に貢献することを確認した。また， 8 言語対での機械翻訳夕 スクにおいても，提案手法が性能向上に寄与することを確認した。

キーワード：単語分割, トークン化, 文書分類, 機械翻訳
## Joint Optimization of Word Segmentation and Downstream Model using Downstream Loss

\author{
Tatsuya Hiraoka ${ }^{\dagger}$, Sho Takase ${ }^{\dagger}$, Kei Uchiumi ${ }^{\dagger \dagger}$, \\ Atsushi KeYaki ${ }^{\dagger \dagger}$ and NaOaki OKaZaki ${ }^{\dagger}$
}

We propose a novel method to find an appropriate tokenization for a given downstream model by jointly optimizing a tokenizer and the model. The proposed method has no restriction except for using loss values computed by the downstream model to train the tokenizer, and thus, we can apply the proposed method to various NLP task. Moreover, the proposed method can explore the appropriate tokenization to improve the performance for an already trained model as post-processing. Therefore, the proposed method is applicable to various situations. We evaluated whether our method contributes to improving performance on text classification in three languages and machine translation in eight language pairs. Experimental results show that our proposed method improves the performance by determining appropriate tokenizations.

Key Words: Word Segmentation, Tokenization, Text Classification, Machine Translation


## 1 はじめに

自然言語で記述された文を単語の系列に変換する単語分割は，さまざまな自然言語処理タスクにおいて，その性能に影響を与える重要な処理である (Peng and Dredze 2015, 2016; Sennrich et al. 2016; He and Sun 2017; Pranav and Augenstein 2020; Bollegala et al. 2020). 従来の自然言語処理では，ルールを用いた単語分割手法 (Koehn et al. 2007) や，辞書を用いた単語分割手法 (Kudo 2006; Morita et al. 2015; Tolmachev et al. 2018; Takaoka et al. 2018), ニューラルネットワークを用いた教師あり学習による単語分割手法 (Yang et al. 2017; Cai et al. 2017; Yang et al. 2019),教師なし単語分割手法 (Goldwater et al. 2006, 2009; Mochihashi et al. 2009; Sennrich et al. 2016; Kudo and Richardson 2018) などの，さまざまな方法で単語分割が行われている。また，後段モデルの性能が向上するような適切な単語分割は, 後段タスクによって異なることがこれまでの研究から分かっている (Xu et al. 2008; Chang et al. 2008; Nguyen et al. 2010; Domingo et al. 2018; Hiraoka et al. 2019; Gowda and May 2020). さらに, Hiraoka et al. (2020)の実験結果から, 適切な単語分割が後段モデルの構造にも依存することが示唆されている. これらの研究から, 後段夕スクや後段モデルに応じて，適切な単語分割を選択することが，後段モデルの性能の向上に繋がると期待される. しかしながら，従来の自然言語処理において単語分割処理は後段モデルとは独立している場合が多く1，さまざまな単語分割を用いて後段モデルを学習し，その性能を評価しなければ，後段モデルに適切な単語分割を決定することができない．可能な単語分割の候補ごとに新たに後段モデルを学習し，評価するという探索方法には多くの時間や計算資源が必要となるため，現実的とは言えない。

近年の研究では，後段タスクや後段モデルに基づいて単語分割を最適化する手法 (He et al. 2020; Hiraoka et al. 2020) が提案されているが，既存手法はいずれも使用用途が特定のタスクに限定されている. He et al. (2020) は，機械翻訳などの Sequence-to-Sequence タスクにおいて，学習デー 夕を用いて単語分割を最適化する Dynamic Programming Encoding (DPE)を提案した.しかし, DPEによる単語分割の最適化には学習データのみを利用しており，機械翻訳タスクのための後段モデルであるエンコーダー・デコーダーのパラメータを単語分割の最適化に用いていない。そのため, DPE は後段モデルに応じて単語分割を最適化することはできない. Hiraoka et al. (2020) は,単語分割を後段タスクに最適化する際に，後段モデルのパラメータを用いる OpTokを提案した. しかしながら, OpTok は入力文の文べクトルを用いて単語分割の最適化を行うため, 文書分類夕スクにしか適用することができず，機械翻訳タスクなどの多くの自然言語処理のタスクに応用することはできない，このように，現在の自然言語処理において，さまざまな後段タスクや後段モデルに適用可能な単語分割の最適化手法は存在していない.

本稿では，さまざまな自然言語処理タスクに利用可能な，単語分割 2 と後段モデルの同時最適化の新たな手法を提案する。提案手法は，複数の単語分割を用いて後段モデルの損失値を計算し，その損失值をもとに後段モデルに適切な単語分割を優先的に選択できるように単語分割器を更新する.提案手法による単語分割器の更新には後段モデルの損失値のみを用いるため, 提案手法はさまざまな自然言語処理のタスクやモデルに適用することができる。 さらに，提案手法によって単語分割を学習済みの後段モデルに対して最適化することで, 後段モデルが学習済みであっても，その性能を向上させることが可能である。本稿では，学習済みの後段モデルに対して単語分割を最適化する処理を後処理としての単語分割の最適化と呼ぶ. このように, 提案手法は後段モデルが未学習の場合であっても，学習済みの場合であっても用いることができるため，自然言語処理のさまざまな場面で利用可能な手法である.

本研究では複数言語を対象とした文書分類タスクと機械翻訳タスクを用いて実験を行った．実験結果から, 文書分類タスクと機械翻訳タスクの双方において, 提案手法が既存の単語分割の最適化手法の性能を上回ることを確認した。また，サブワード正則化 (Kudo 2018; Provilkov et al. 2020) を用いて学習を行った後段モデルに対して，後処理として単語分割を最適化することで，その性能の向上を実現できることを確認した.

## 2 提案手法

提案手法は, 単語分割器と後段モデルの 2 つから構成され, これらを後段タスクに対して同時に最適化する。本章ではまず，入力が 1 文である場合の提案手法の学習方法について説明する（2.1 節)，次に，提案手法で使用する単語分割器の学習（2.2 節）と後段モデルの学習（2.3 節）について説明する。最後に, 機械翻訳タスクのように入力として複数の文を用いるタスクでの学習方法について説明する ( 2.4 節 $)$.

## 2.1 後段モデルの損失値を用いた単語分割器の最適化

提案手法の単語分割器（2.2 節）はニューラルネットワークで構成されており, 文 $s$ を語彙 $V$ に含まれる単語 $w$ の系列 $s^{\prime}=w_{1}, \ldots, w_{I}$ に分割する. ここで $I$ は系列の長さである. この単語分割処理において，提案手法の単語分割器は次の損失値を最小化するように学習を行う。

$
\mathcal{L}_{s^{\prime}}=q\left(f\left(s^{\prime}\right), z\right)
$

ここで $f\left(s^{\prime}\right)$ は後段モデルで，単語分割済みの文 $s^{\prime}$ を力として受け取り，後段タスクに応じた出

力を行う．また， $q(f(\cdot), z)$ は後段タスクに応じた損失関数で, 後段モデルの出力と教師信号 $z$ を力として受け取り，損失值を出力する.

図 1 に提案手法の概要を示した。 $\operatorname{argmin}_{s^{\prime}}\left(q\left(f\left(s^{\prime}\right), z\right)\right)$ を満たすような単語分割を決定するために, 提案手法では後段モデルの性能が向上するような単語分割に対して高い確率を与えるように単語分割器を更新する，具体的には，学習に用いる文 $s$ に対する $N$ 個の単語分割の候補 $s_{1}^{\prime}, \ldots, s_{n}^{\prime}, \ldots s_{N}^{\prime}$ を求め，それぞれの単語分割を用いて後段モデルの損失値 $\mathcal{L}_{s_{n}^{\prime}}$ を計算する，以下のように，それぞれの単語分割に対応する損失値を，各単語分割の確率 $p\left(s_{n}^{\prime}\right)$ で重み付けることで損失値の重み付き和を計算し, 単語分割器の学習に用いる。

$
\begin{aligned}
a_{n} & =\frac{p\left(s_{n}^{\prime}\right)}{\sum_{m=1}^{N} p\left(s_{m}^{\prime}\right)} \\
\mathcal{L}_{s} & =\sum_{n=1}^{N} a_{n} \mathcal{L}_{s_{n}^{\prime}}
\end{aligned}
$

本研究では, $N$ 個の単語分割の候補として, 入力文に対する $N$-best 単語分割を用いる。上記の

図 1 提案手法による $N$-best 単語分割 (2.2 節)を用いた単語分割器の学習に使用する損失値 $\mathcal{L}_{s}$ と, 単語分割のサンプリング（2.3 節）を用いた後段モデルの学習に使用する損失值 $\mathcal{L}_{\tilde{s}^{\prime}}$ の計算方法の概要. 実線矢印は誤差逆伝播を行う計算パスを表す。
式において，各 $N$-best 単語分割に対応する損失値 $\mathcal{L}_{s_{1}^{\prime}}, \ldots, \mathcal{L}_{s_{N}^{\prime}}$ を，総和が 1 になるようにノーマライズした各単語分割の確率で重みづけを行う。この損失値の重み付き和 $\mathcal{L}_{s}$ を用いて単語分割器を最適化することで，単語分割器は後段モデルに適切な単語分割，すなわち後段モデルの損失值が低くなるような単語分割に対して高い確率を与えるように学習される。

提案手法において, 式 (1) の後段モデル $f(\cdot)$ や損失関数 $q(f(\cdot), \cdot)$ には，あらゆる関数を用いることができる。そのため，提案手法は自然言語処理のさまざまな後段タスクや後段モデルに対して適用可能である。例えば文章分類タスクの場合であれば，後段モデル $f(\cdot)$ として単語分割済みの文から文ラベルを予測するニューラルネットワークを用い，損失関数 $q(f(\cdot), \cdot)$ として後段モデルが予測したラベルと正解ラベルとの交差エントロピー誤差関数を用いることができる.

## 2.2 NULM を用いた単語分割器

本研究では, 単語分割器としてニューラルユニグラム言語モデル (NULM) を用いる. NULM では， ある単語 $w$ のユニグラム確率 $p(w)$ を単語分散表現 $\boldsymbol{v}_{w}$ から次のように計算する.

$
\begin{aligned}
d_{w} & =\operatorname{MLP}\left(\boldsymbol{v}_{w}\right) \\
p(w) & =\frac{\exp \left(d_{w}\right)}{\sum_{\hat{w} \in V} \exp \left(d_{\hat{w}}\right)}
\end{aligned}
$

ここで MLP $(\cdot)$ は多層パーセプトロンである。NULM の語彙 $V$ は，あらかじめ適度な規模で初期化する．例えば，既存の教師なし単語分割手法である SentencePiece (Kudo and Richardson 2018) や BPE (Sennrich et al. 2016), 辞書べースの単語分割手法である MeCab (Kudo 2006) などを用いて，語彙を初期化する。語彙に含まれない文字については，未知語トークンとして取り扱う ${ }^{3}$.また, 単語分割の確率 $p\left(s^{\prime}\right)$ は次のように, 単語分割に含まれる単語のユニグラム確率の積として計算する。

$
p\left(s^{\prime}\right)=\prod_{w \in s^{\prime}} p(w)
$

式 (3) を用いた学習を行う際には, 文 $s$ の可能な単語分割候補の確率に対して Forward-DP Backward-A*アルゴリズム (Nagata 1994) を適用することで $N$-best 単語分割を得ることができる4. 推論時には, ビタビアルゴリズム (Viterbi 1967) で1-best 単語分割を求めて，後段モデルへと入力する。なお, 英語のようにスペース記号で単語境界が明示された系列が入力される場合は,単語境界を跨いだ単語分割は行わない。また，推論時にも Forward-DP Backward-A*アルゴリズムを用いることで， $N$-best 単語分割を用いた推論も可能であり，機械翻訳タスクにおいては $N$-best デコーディング (Kudo 2018) が可能である.
\right)$ を設定した.

4 文に含まれる文字数 $J$ と単語の最大長 $M$ について $O(J M)$ で $N$-best 解を得ることができる.
}

## 2.3 単語分割のサンプリングを用いた後段モデルの学習

後段モデルを学習する時には, 単語分割器の学習と同様に, 式 (3) で計算した損失値 $\mathcal{L}_{s}$ に対して誤差逆伝播法を適用すれば良い。しかし, 単純に $\mathcal{L}_{s}$ に対して誤差逆伝播法を用いると，メモリ使用量が莫大になるという問題がある。これは， $N$-best の単語分割候補を用いる場合に，計算グラフを繋いだ状態で $N$ 個の後段モデルの各パラメータの更新に関する情報を保持する必要があるためである.

そこで，図 1 に示すように， $\mathcal{L}_{s}$ を用いた後段モデルのパラメータ更新は行わず，新たに単語分割 $\tilde{s^{\prime}} 1$ つサンプリングして後段モデルの学習に用いる。具体的には $\mathcal{L}_{\tilde{s}^{\prime}}=q\left(f\left(\tilde{s^{\prime}}\right), z\right)$ に対して誤差逆伝播法を適用することで，後段モデルの更新を行う。すなわち，提案手法では NULM のみを学習するための損失値と, 後段モデルのみを学習するための損失値の和 $\mathcal{L}_{s}+\mathcal{L}_{\tilde{s}^{\prime}}$ を最終的な損失値とし，これを最小化する。提案手法では学習途中の NULM のパラメータを用いたサブワード正則化による後段モデルの学習を行うことで，計算グラフを保持した状態で同時に $N$ 個のモデルを処理する必要がなくなる，サブワード正則化を用いることで，メモリ効率の観点で軽量な学習が行えるだけでなく，後段モデルが未知の入力に対して頑健になるように学習することができる (Kudo 2018; Hiraoka et al. 2019; Provilkov et al. 2020).

単語分割 $\tilde{s}^{\prime}$ を選択するために，式 (6) の NULM による単語のユニグラム確率の積を用いて， $p\left(\tilde{s^{\prime}}\right)^{\alpha} / \sum_{k=1}^{K} p\left(s_{k}^{\prime}\right)^{\alpha}$ からサンプリングを行う (Kudo 2018). ここで, $\alpha \in \mathbb{R}^{+}$は分割の多様性を制御するためのハイパーパラメータであり， $\alpha$ を小さく設定するほど一様に近い分布から単語分割をサンプリングする事になる。また，Kはサンプリングに使用する単語分割の候補数を表すハイパー パラメータで, $K=\infty$ の場合は Forward Filtering Backward Sampling (Scott 2002; Mochihashi et al. 2009)を用いたサンプリングを行う ${ }^{5}$.

サブワード正則化による後段モデルの学習は, メモリ効率の良い学習と, 頑健な後段モデルの学習に貢献するだけでなく，提案手法の単語分割器の学習における $N$-best 単語分割の多様性を向上させることにも間接的に貢献する。後段モデルを $N$-best 単語分割で学習する場合，毎学習エポックで似たような単語分割候補に対して後段モデルの最適化が行われるため, 特定の単語分割を用いた時の損失値のみが低下しやすくなる。これにより，NULM は特定の単語分割のみに高い確率を与えるように更新され，単語分割が局所解から抜け出しにくくなってしまう．後段モデルの学習にサブワード正則化を用いることで，後段モデルの学習が特定の単語分割に偏ることを防ぎ，単語分割が局所解に陥りにくくすることができる.

提案手法がベースとしている Hiraoka et al. (2020)では, この局所最適解に陥ってしまう問題を解消するために，語彙の一部をサンプリングした制約付き語彙を用いていた。一方で本研究では後段モデルに用いるサブワード正則化を用いることが間接的に単語分割の多様性をもたらすため，先

行研究で使用した制約付き語彙を使用せずに多様な単語分割を学習に用いることができる.

## 2.4 複数入力文を用いた学習

ここまでは，提案手法への入力が 1 文となる場合に限定して説明を行った。しかし，含意関係認識タスクや機械翻訳タスクなどの後段タスクでは，複数の文を同時に後段モデルへと入力する必要がある。そこで，本節では複数文を提案手法に用いる場合について説明する。

複数文を用いて単語分割器を学習するための損失値を計算する時は, 1 つの文について $N$-best 単語分割を用い，それ以外の文については単語分割のサンプリングを行う。例として，機械翻訳タスクのように，ソース文とターゲット文の 2 文を後段モデルに入力し，ソース側とターゲット側のそれぞれについて単語分割器を学習する場合を考える。機械翻訳タスクでは, ソース文を後段モデルの入力として用い，ターゲット文を後段モデルの教師信号として使用する. ソース文 $s$ とターゲッ卜文 $t$ の単語分割を，それぞれ $s^{\prime}, t^{\prime}$ と表す.ソース側の単語分割器を学習する場合には，ソース文 $s$ の $N$-best 単語分割の各単語分割 $s_{n}^{\prime}$ と, サンプリングしたターゲット文の単語分割 $t^{\prime} を$ 用いて,損失値 $\mathcal{L}_{s_{n}^{\prime}}=q\left(f\left(s_{n}^{\prime}\right), \tilde{t}^{\prime}\right)$ を計算し，式 (3) による重み付き和 $\mathcal{L}_{s}$ を最小化する．同様にしてター ゲット側の単語分割器も, サンプリングしたソース文の単語分割 $\tilde{s}^{\prime}$ と, ターゲット文の $N$-best 単語分割の各単語分割 $t_{n}^{\prime}$ を用いて $\mathcal{L}_{t_{n}^{\prime}}=q\left(f\left(\tilde{s}^{\prime}\right), t_{n}^{\prime}\right)$ とその重み付き和 $\mathcal{L}_{t}$ を計算し，これによって学習を行うことができる。

複数文を用いて後段モデルを学習する際には，単純に各文の単語分割をサンプリングして用いる. すなわち，機械翻訳タスクの場合であれば，ソース文とターゲット文のそれぞれの単語分割をサンプリングして計算した損失値 $\mathcal{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}=q\left(f\left(\tilde{s^{\prime}}\right), \tilde{t}^{\prime}\right)$ に対して誤差逆伝播法を用いることで，後段モデルの学習を行う。あるミニバッチ $B \ni(s, t)$ を用いて学習を行う時には, 以下の損失値に対して最小化を行う。

$
\mathcal{L}=\sum_{(s, t) \in B} \mathcal{L}_{s}+\mathcal{L}_{t}+\mathcal{L}_{\tilde{s}^{\prime}, \tilde{t}^{\prime}}
$

機械翻訳タスクにおいて，ソース側の NULM を学習するときの概要を図 2 に示した。同様にして， ターゲット側の NULM の学習も説明することができる。

## 3 実験

提案手法が複数の後段タスクに適用可能であることを調べるために，本研究では先行研究 $(\mathrm{He}$ et al. 2020; Hiraoka et al. 2020; 平岡他 2021) に倣い，文書分類タスクと機械翻訳タスクでの実験を行う，実験では，特定タスクにおいて単語分割を最適化する既存の手法と提案手法を比較する.具体的には，文書分類タスクにおける単語分割の最適化手法として OpTok (Hiraoka et al. 2020; 平

図 2 入力として 2 文を用いる機械翻訳タスクにおける, ソース側の NULM を学習するための損失値 $\mathcal{L}_{s}$ の計算方法の概要. $s, t$ はそれぞれソース文とターゲット文であり, 実線矢印は誤差逆伝播を行う計算パスを表す。

岡他 2021), 機械翻訳タスクにおける単語分割の最適化手法として DPE (He et al. 2020) をそれぞれ比較対象として用い，提案手法の性能と比較する。

## 3.1 文書分類

## 3.1.1 実験設定

提案手法が複数言語の文書分類タスクで有効であることを示すために， 3 言語のデータセットで実験を行う。Weibo $(\mathrm{Zh})^{6}, \operatorname{Twitter}(\mathrm{Ja})(\operatorname{Suzuki} 2019)^{7}, \operatorname{Twitter}(\mathrm{En})^{8}$ は，それぞれ中国語，日本語, 英語のショートテキスト SNS 上での感情分析データセットである。Genre(Zh/Ja/En) と $\operatorname{Rating}(\mathrm{Zh} / \mathrm{Ja} / \mathrm{En})$ は, 中国語, 日本語, 英語の E-commerce サイトの商品レビユーデータセットから作成したタスクで，それぞれレビューから商品のジャンルを予測するタスクと，レビューのレー トを予測するタスクである。中国語は JD.com (Zhang et al. 2015)9，日本語は楽天市場 (Rakuten 2014), 英語は Amazon (He and McAuley 2016)10によるデータセットをそれぞれ使用した. さらに，入力として 2 文を必要とする実験設定として，SNLI (Bowman et al. 2015) を用いた実験を行


う. 文書分類タスクで使用する各データセットの前処理は, 先行研究 (Hiraoka et al. 2020; 平岡他 2021)と同じ方法を用いた.

文書分類タスクにおける比較手法として, SentencePiece (SP) (Kudo and Richardson 2018) と OpTok (Hiraoka et al. 2020)を用いる. OpTok は本研究がベースとしている手法で， $N$-best の単語分割候補の文ベクトルを用いて, 文書分類タスクに対して単語分割を最適化する手法である.

SentencePiece については, サブワード正則化を用いて学習を行う設定 $(\mathrm{SP}+\mathrm{R})$ も比較対象として用いる。サブワード正則化では，文書分類タスクの学習時に言語モデルを用いて単語分割をサンプリングし, 複数の単語分割を考慮した学習を行う，各手法の評価時には, 1-best の単語分割を用いる.

文書分類タスクの学習に用いる後段モデルには, 先行研究 (Hiraoka et al. 2020; 平岡他 2021) の実験設定と合わせるために，BiLSTM エンコーダーによる文書分類器を用いる ${ }^{11}$. 提案手法と OpTok の語彙 $V$ と NULM のユニグラム確率の初期化には, 学習済みの SentencePiece のモデルを使用 ${ }^{12}$ し， すべての手法で同じ語彙を用いて比較を行う．使用する語彙の規模は, Twitter(Ja) と Twitter(En)のみ 16,000 単語, その他は 32,000 単語とした. 提案手法と OpTok で用いる単語分割の候補数は $N=3$ とし, サブワード正則化に用いるハイパーパラメータは $\alpha=0.2, K=\infty$ と設定した. SNLIコーパスについては, 前提 (premise) と仮説 (hypothesis) の双方について同じ NULM を用い, 2.4 節で説明した複数文に対する単語分割の最適化方法を用いて提案手法の学習を行った. 30 エポックの学習を行い, 開発データで性能が最大となるモデルの評価デー夕における性能を評価する.

先行研究 (Hiraoka et al. 2020; 平岡他 2021) では, 言語モデルの性質を維持するための損失関数を加えることで OpTokの性能が向上することを報告している．提案手法でも同様に性能が向上すると期待されるが, 先行研究の実験と設定を合わせるために言語モデルの性質を維持するための損失関数は使用しない.

## 3.1.2実験結果

文書分類タスクでの実験結果を表 1 に示した．実験結果より，提案手法はすべてのデータセットにおいて SentencePiece と，サブワード正則化を用いた設定よりも高い性能であることが確認された.ここから，単語分割の最適化を行わない場合の学習に対する提案手法の優位性が示される。また，提案手法は 10 データセットのうち 8 つのデータセットで，既存手法である OpTok の性能を上回ることが確認された．残りの 2 つのデータセットについても，提案手法の性能は OpTok の性能に大きく劣らない性能であることが確認された。これらの結果から, 提案手法は文書分類タスクに


表 1 文書分類タスクにおける各手法の性能（F1 値，5 回試行の平均）．SP と R はそれぞれ, SentencePiece とサブワード正則化を表す。太字は手法間での最大値を表す. SP+R と OpTok の値については, 先行研究 (Hiraoka et al. 2020; 平岡他 2021) の実験結果から引用した.

おける有効な単語分割の最適化手法として，既存手法と代替可能であることが示唆される，

提案手法が多くのデータセットで OpTokの性能を上回る原因として, 後段モデルの学習方法が提案手法と OpTokで異なる点が挙げられる. OpTokにおける後段モデルの学習では, 後段モデルへの入力として $N$-best の単語分割候補に対応する文べクトルの重み付き和を用いている。しかし，推論時には 1-best の単語分割のみを用いるために，入力のベクトルの性質が学習時と推論時で異なるものになっており，これが後段モデルの推論に悪影響を与えていると考えられる。一方で，提案手法における後段モデルの学習では，サブワード正則化と同様にサンプリングによって選択した 1 つの単語分割のみを用いるため $(2.3$ 節 $)$, 学習時と推論時のどちらでも一貫して 1 つ単語分割のみが後段モデルに入力される。これによって, 提案手法は OpTok に比べて効果的に後段モデルの推論を行うことができ，性能の向上がもたらされたと考えられる.

## 3.2 機械翻訳

## 3.2.1 実験設定

提案手法が複数のタスクで有効であることを調べるために，文書分類タスクに加えて機械翻訳夕スクでも実験を行う．本研究では，IWSLT データセットとWMT データセットを用いて，ドイッ語 (De), ベトナム語 $(\mathrm{Vi})$, 中国語 $(\mathrm{Zh})$, アラビア語 $(\mathrm{Ar})$, フランス語 $(\mathrm{Fr})$, ハンガリー語 $(\mathrm{Hu})$, ルーマニア語 (Ro)のそれぞれと，英語 (En) との 8 言語対での実験を行う．機械翻訳タスクの既存研究に倣い (Cui et al. 2020; Huo et al. 2020; Wu et al. 2020), 前処理として中国語のデー夕につ


前単語分割を行った．機械翻訳の評価を行う際には，単語分割を復元するデトークナイズを行ってから, SacreBLEU (Post 2018)による評価を行った.

本実験では，事前単語分割済みのデー夕に対して SentencePiece (SP), DPE (He et al. 2020),提案手法のそれぞれで単語分割を行い，機械翻訳モデルの学習を行う。文書分類タスクと同様に， サブワード正則化 $(\mathrm{SP}+\mathrm{R})$ を用いた機械翻訳モデルの学習手法 (Kudo 2018) もべースラインとして比較する. DPE は Sequence-to-Sequence モデルに特化した単語分割の最適化手法で, ソース文の情報を用いてターゲット文の単語分割を調整する手法である．本研究の実験ではDPE の公式実装15を使用した。

機械翻訳タスクで使用する後段モデルとして, Transformer (Vaswani et al. 2017)の Fairseq (Ott et al. 2019) による実装を用いる. IWSLT データセットについては Transformer (small)を使用し, すべての言語に対して語彙の規模を 16,000 単語として SentencePiece による単語分割を行った. WMT データセットについては Transformer (base) を使用し，単語分割に用いる語彙の規模はすべての言語に対して 32,000 単語とし, SentencePieceによる単語分割を行った. 文書分類タスクでの実験設定と同様に，提案手法の NULM の初期化には SentencePiece によって獲得された単語分割と言語モデルを使用する。また，比較対象であるDPEによる単語分割器の学習にも，提案手法と同様に SentencePiece での単語分割を初期値として用いる. SentencePiece，DPE，提案手法の各手法は同じ SentencePiece によって獲得された語彙を用いるため，語彙の規模による不平等はない. サブワード正則化に用いるハイパーパラメータは先行研究 (Kudo 2018) に倣い, IWSLT デー タセットでは $\alpha=0.2$, WMT データセットでは $\alpha=0.5$ とした. また, データセットにかかわらず，単語分割のサンプリングを行う際の単語分割の候補数は $K=\infty$ とした．提案手法の単語分割の最適化に使用する単語分割の候補数は, IWSLT データセットでは $N=8$, WMT データセットでは $N=3$ と設定した. 100 エポックの学習を行い, 開発データで性能が最大となるモデルの評価データにおける性能を評価する。推論時にはビームサーチを使用し，ビーム幅は 5 とした，

DPE はターゲット側の単語分割のみを最適化する手法であるため, 先行研究 (He et al. 2020) での実験設定と同様にソース側の単語分割にはサブワード正則化のために SentencePiece による単語分割のサンプリングを用いた学習を行う。提案手法はソース側とターゲット側の双方の単語分割の最適化に利用することができるため, ソース側のみに提案手法を用いた場合，ターゲット側のみに提案手法を用いた場合、ソース側とターゲット側の双方に提案手法を用いた場合の 3 種類の実験設定を用意した。また，提案手法をソース側，ターゲット側のどちらか一方にのみ使用する場合は, もう片方の言語にはサブワード正則化のために SentencePiece による単語分割のサンプリングを用いた学習を行った。


## 3.2.2 実験結果

機械翻訳タスクにおける各手法の実験結果を表 2 に示した．実験結果より， 16 言語対のうち 15 言語対での機械翻訳タスクにおいて，提案手法を使用した場合に最も性能が高くなることが確認された. さらに，この 15 言語対のうち 10 言語対において，提案手法をターゲット側言語のみに使用する設定 (SP+R/Ours) が最高性能となることが示された. また, 単語分割の最適化の既存手法である DPE をターゲット側に使用した設定 $(\mathrm{SP}+\mathrm{R} / \mathrm{DPE})$ と比較すると, 同様にターゲット側の単語分割のみを最適化する提案手法 (SP+R/Ours) は, 16 言語対のうち 15 言語対で高い性能であることが確認された。

両側言語にサブワード正則化を用いるベースライン $(\mathrm{SP}+\mathrm{R} / \mathrm{SP}+\mathrm{R})$ と比較すると, 提案手法をソース側言語のみに使用する設定 (Ours/SP+R) だと 14 言語対, ターゲット側言語のみに使用する設定 (SP+R/Ours) だと 16 言語対すべて, 両側に使用する設定 (Ours/Ours) だと 13 言語対で, ベースラインの性能を上回っている。ここから, 提案手法をターゲット側のみに使用する設定が,安定して性能の向上に貢献することが示された。一方で，提案手法をソース側とターゲット側の双方に用いた設定は，多くの言語において大きな性能の向上に繋がらないことがわかった. これは,提案手法を用いてソース側とターゲット側の両側の言語の単語分割を同時に最適化することが難し

表 2 IWSLT データセットとWMT データセットを用いた機械翻訳タスクでの実験結果（BLEU 値， 3 回試行の平均)．表上部にソース側とターゲット側に使用した単語分割手法をそれぞれ示した． SR と R はそれぞれ SentencePiece とサブワード正則化を表す。太字は手法間での最高値を表す。

く, 性能の向上が得られなかったためだと考えられる。機械翻訳タスクにおいて，提案手法を用いてソース側とターゲット側の双方を最適化して性能の向上を得る方法については, 5.1 節でさらに詳細に分析する.

## 4 後処理としての単語分割の最適化

## 4.1 実験設定

2.1 節で述べた通り, 提案手法における後段モデルにはあらゆる関数が使用できるため, 後段モデルが学習済みであっても提案手法を適用して単語分割の最適化を行うことができる。本節では,学習済みの後段モデルに対して提案手法を適用し, 後処理として単語分割を最適化することで, 性能の更なる向上が得られることを確認する，具体的には，式 $(3)$ における $\mathcal{L}_{s}$ を用いて，後段モデルのパラメータは更新せずに提案手法の単語分割器 (NULM) のみを学習したときの性能の向上について検証する。

後処理としての単語分割の最適化の効果を確かめるために, 文書分類タスクのうち感情分析デー タセットと，機械翻訳タスクのうち IWSLT データセットを用いて実験を行う。学習済みの後段モデルを作成するために，文書分類タスクでは BiLSTM エンコーダーを用いた文書分類器，機械翻訳タスクでは Transformer (small)をそれぞれ，3章での実験と同じ設定で学習する. なお，文書分類タスクと機械翻訳タスクの両方において，後段モデルはサブワード正則化を用いて学習する.文書分類タスクでは 30 エポック，機械翻訳タスクでは 100 エポックの学習を行った時点でのモデルを，学習済みの後段モデルとして扱う。学習済みの後段モデルに対して提案手法を適用し, 後段モデルのパラメータは更新せず，単語分割の更新のみをさらに 5 エポック学習し, 単語分割の最適化による性能の向上が得られるかを確認する。学習済みの後段モデルのパラメータは更新しないため, 機械翻訳タスクにおいては, ソース側の単語分割のみを最適化することで, 推論時の性能が向上するかを確かめる，文書分類タスクにおいては，既存手法である OpTok も同様に後処理としての単語分割の最適化を行えるため, ベースラインとして比較する.

またTwitter(Ja)データセットでは, SentencePiece による単語分割以外でも提案手法が有効であることを調べるために，日本語で広く使用される辞書べースの単語分割器 MeCab (Kudo 2006) を用いた実験を行う。この実験では， MeCab (IPADIC) による単語分割を用いて後段モデルを 30 エポック学習した後に，5 エポックの単語分割の最適化を行う. 後段モデルの学習にはサブワード正則化を用いない。提案手法と OpTokで使用する NULM の初期状態として, MeCab で単語分割を行った学習データの頻度数え上げによるユニグラム言語モデルを用いた．また，学習デー夕において頻度が 1 である単語はすべて未知語トークンに置換した。

Twitter(En)データセットでは, 大規模な事前学習モデルに提案手法が適用可能であることを調べるために, BERT (Devlin et al. 2018)を用いた実験を行う。この実験では, 文書分類タスクの学
習に用いる BiLSTM エンコーダーを BERT $_{\text {base }}{ }^{16}$ に置き換え，後段モデルに対して 30 エポックのファインチューニングを行ってから 5 エポックの単語分割の最適化を行う. MeCab の実験と同様,後段モデルの学習にはサブワード正則化を使用せず，NULM の初期状態には BERT に同梱されている WordPiece による学習データの単語分割から頻度数え上げで作成したユニグラム言語モデルを用いた。

## 4.2 実験結果

後処理として単語分割を最適化した時の各手法の実験結果を表 3 に示した. 表において,「学習済み」は文書分類タスクで 30 エポック，機械翻訳タスクで 100 エポックの学習を行った時点での後段モデルの性能を示す。また，「学習済み $\rightarrow$ OpTok」と「学習済み $\rightarrow$ Ours」はそれぞれ，学習済みの後段モデルに対して OpTok と提案手法それぞれで 5 エポックの単語分割の最適化を行ったときの性能を表す。実験結果より，提案手法による単語分割の最適化を行うことで，既に学習済みの後段モデルよりも性能が向上することが示された。文書分類タスクにおいては, 既存手法の OpTok と提案手法はどちらも後処理としての単語分割の最適化によって性能の向上が得られ, 提案手法は日本語と英語のデータセットにおいて OpTokの性能を上回ることが確かめられた．機械翻訳タス

表 3 学習済みの後段モデル (学習済み) と, 後処理として単語分割を最適化した場合（学習済み $\rightarrow$ OpTok,学習済み $\rightarrow$ Ours）の文書分類タスク（Sentiment，F1 值）と機械翻訳タスク (IWSLT15, BLEU) での性能.「学習済み」は SentencePiece, MeCab, BERTの WordPiece による単語分割を使用し，文書分類タスクで 30 エポック，機械翻訳タスクで 100 エポックの学習をそれぞれ行った後段モデルである. SentencePieceによる後段モデルの学習にはサブワード正則化を使用した. OpTokとOurs は, 学習済みの後段モデルに対して後処理としての単語分割の最適化をそれぞれの手法で 5 エポック学習した時の性能である。太字は手法間での最高値を表す。


クにおいても，提案手法による単語分割の最適化によって，安定して学習済みの後段モデルの性能を向上させることが示された.

また，単語分割器に $\mathrm{MeCab}$ を用いた実験設定でも，提案手法によって性能の向上が得られることが確認された。この結果から, 日本語で広く用いられる辞書べースの単語分割器を用いて学習した後段モデルであっても，提案手法によって性能の向上が得られることが示された。 さらに，BERT を用いた実験でも提案手法による性能向上が得られ ${ }^{17}$ ，提案手法は SentencePiece やサブワード正則化を用いない方法で学習された後段モデルであっても, 後処理として単語分割の最適化を行い,性能向上に寄与することがわかった.

これらの結果から，後段モデルが学習済みであり，学習可能なパラメータがない状態であっても，単語分割を調整することでその性能を底上げすることができ，提案手法を用いることで適切な単語分割が得られることがわかった。

## 5 分析

## 5.1 ソース側とターゲット側の単語分割双方の最適化

機械翻訳タスクにおける 3.2 節での実験結果から，提案手法を用いてソース側とターゲット側の双方の単語分割を同時に最適化すると，片側のみに提案手法を用いた場合に比べて性能が劣ることが示された。この結果は，機械翻訳タスクにおけるソース側言語とターゲット側言語で適切な単語分割の粒度が異なり，同時に最適化を行うことが難しいことに起因すると考えられる。本節では，機械翻訳タスクにおいてソース側とターゲット側双方の単語分割を最適化しつつ, 安定した性能の向上を得るための学習の戦略を 3 つ用意し，比較を行う.

$\mathbf{S r c} \rightarrow \mathbf{T g t} 100$ エポックの学習のうち, 前半の 50 エポックはソース側の NULM のみを更新し, ターゲット側の NULM は更新しない。後半の 50 エポックではソース側の NULM のパラメータを更新せず，ターゲット側の NULM のみを更新する.

Tgt $\rightarrow \mathbf{S r c}$ Src $\rightarrow$ Tgt の戦略とは逆に, 前半の 50 エポックでターゲット側の NULM を学習し, 後半の 50 エポックでソース側の NULM を学習する.

Random ミニバッチごとに, ソース側とターゲット側の NULM を確率 0.5 でランダムに選択し,選択された片方のみの NULM を更新する。

いずれの学習戦略においても，後段モデルである機械翻訳モデルは単語分割器と同時に最適化し,全体で 100 エポックの学習が行われる.

それぞれの学習戦略を用いたときの機械翻訳タスクでの実験結果を表 4 に示した。表において


表 4 ソース側とターゲット側の双方の単語分割を最適化するための各戦略の IWSLT15データセットでの機械翻訳タスクの性能 (BLEU 値, 3 回試行の平均)，Both は表 2 における Ours/Ours の実験設定の数値を引用したものである。太字は実験設定間での最高値を表す。

Both は，ソース側とターゲット側の双方の単語分割を同時に最適化する実験設定で，表 2 における Ours/Ours の数値を引用したものである。実験結果より，ソース側の NULM を学習してからターゲット側の NULM を学習する戦略 ( $\mathrm{Src} \rightarrow \mathrm{Tgt})$ を用いることで, 両側の単語分割を最適化しつつ，安定して性能の向上が得られることがわかった. 特に, Vi-En, En-Vi, Zh-En の 3 言語対での実験では，Src $\rightarrow \mathrm{Tgt}$ の戦略を用いることで 3.2 節での実験（表 2）で示した最高性能值を上回ることが示された。一方で，ターゲット側の NULM を学習してからソース側の NULM を学習する戦略 $(\mathrm{Tgt} \rightarrow \mathrm{Src})$ は, 3 言語対で性能が両側を同時に最適化する方法 (Both) に劣り, ソース側とターゲット側の単語分割の最適化の順番が重要であることが示唆される。さらに, 学習する NULM をミニバッチごとにランダムに選択する戦略 (Random) の性能も, 両側を同時に最適化する方法 (Both) に劣る性能であった。ここから，ランダムに選択した片側のみの NULM を更新するだけでは性能向上が得られず，片側ずつ順番に学習を行うことの重要性が示唆される。これらの結果から，機械翻訳タスクにおいてソース側言語とターゲット側言語の双方の単語分割を最適化するときには, ソース側の NULM を学習してからターゲット側の NULM を学習する, 段階的な学習戦略を用いることで，性能の向上が得られることが示された.

また, ソース側の NULM をあらかじ学習してから固定し, ターゲット側の学習を行うことで性能が向上するという結果から，学習の終盤でソース側の単語分割が変更されることが性能の低下に繋がっていると考えられる。ここから，ソース側の単語分割が学習を通して大きく変わる傾向にあり，学習を不安定にさせていることが示唆される。機械翻訳タスクにおいて，実際に最適化された単語分割の粒度については 5.3 .2 節で分析する。

## 5.2 文書分類タスクで最適化された単語分割

## 5.2.1 獲得された単語分割

本節では，文書分類タスクにおいて提案手法で最適化を行った単語分割の分析を行う．単語分割の分析には，英語のレビューデータについてのジャンル予測タスクとレート予測タスクを用いる. これらのデータセットは, どちらも同じ Amazon データセットから作成されており, 同じコーパスに対してジャンル予測タスクとレート予測タスクの 2 つタスクが設定されている。そのため, タス

表 5 文書分類夕スクにおける，手法でとの単語分割の例。手法間で異なる単語分割が見られる箇所を太字で示した。

クによって同じコーパスに対して異なる単語分割を学習しているかを調べることができる. 既存手法の OpTok と提案手法を用いて最適化した単語分割の例と, これらの初期値である SentencePiece による単語分割の例を表 5 に示した。

表 5 より, 提案手法によって最適化された単語分割は, ベースとしている OpTokで最適化した単語分割と似た傾向となることが確認できる。例えば, OpTok と提案手法はどちらも, ジャンル予測のタスクでのみ単語 “episodes” の接尾辞“-s”を切り離している。“episode”という単語は “Movies_and_TV" ジャンルに特徴的な単語であるため, 接尾辞を切り離すことでタスクに特化した単語分割を使用するように学習したと考えられる。ここから, 提案手法と既存手法はどちらも夕スクに特化した単語分割を学習できていることが示唆される.

ジャンル予測タスクにおいて，提案手法は OpTok とは異なり“seasons” という単語の接尾辞を分割し, “season-s”と学習している。レート予測タスクでは, OpTokが “like-d”と過去を表す接尾辞を分割する一方で，提案手法は分割を行わずに“liked”という単語をそのまま使用している。これらの差は, OpTok と提案手法で使用している損失関数が異なることや, 得られる結果が後段モデルのパラメータの初期値やミニバッチ学習の順序に依存することに起因する。また，提案手法は OpTok と比較して，レート予測タスクにおいて単語を細かく分割しない傾向にあることが分かつている (5.2.2 節).これは, 後段モデルの損失値に重み付けを行う提案手法と, 文べクトルに重み付けを行う OpTok との構造的な差に起因すると考えられる.

## 5.2 .2 単語分割の粒度

表 5 に示した単語分割の例から, 提案手法と OpTokのそれぞれで最適化した単語分割は, 初期
状態の SentencePieceの単語分割に比べて，接尾辞を区切るなどの操作によって短い単語を多く使う傾向にあることがわかる。つまり, 短い単語を多く使うことで, 最適化後の単語分割は元の単語分割に比べて単語数が多くなる傾向にある。そこで，単語分割の最適化によって単語分割済みの文に含まれる単語数がどの程度多くなったかを，中国語，日本語，英語のレビューデータセットを用いて調べる。表 6 に，初期状態である SentencePiece の単語分割に含まれる単語数を 1.0 とした時の, 各手法で最適化を行った単語分割に含まれる単語数の割合を示した。比較には, 学習データに含まれる全文の単語分割を用いる。この表において 1.0 を超える値は, 最適化された単語分割の単語数が初期状態よりも多いことを示す.

表 6 より, すべてのデータセットにおいて提案手法と OpTokによって最適化された単語分割は, どちらも初期状態である SentencePiece の単語分割に比べて単語数が増えていることがわかる。また，英語のデータセットで最適化された単語分割は，中国語や日本語に比べて単語分割の長さの増加率が小さいことが確認された。これは，英語における意味を持つ単語の単位が中国語や日本語よりも長く，細かく区切ることで意味が失われてしまうためであると考えられる。

さらに，提案手法と OpTokのどちらの手法でも，ジャンル予測タスクで最適化された単語分割はレート予測タスクで学習された単語分割よりも単語数が多くなっており, 単語分割の最適化の傾向が双方で似ていることが示唆される。この傾向は, ジャンル予測タスクとレート予測タスクの特徵や，ラベルの数に関係していると考えられる。表 5 に示したように，提案手法はラベルに特徴的な単語の接尾辞などを切り離すことで，効果的な予測を行えるように単語分割を学習する。ジャンル予測タスクはレート予測タスクに比べてラベルの数が多く, ラベルごとに特徴的な単語も比較的多いため, 文中の多くの単語に対して接尾辞の分割操作が働き，単語数が多くなっていると考えられる。一方でレート予測タスクにおけるラベルの特徴語の多くは，ポジティブ・ネガティブのそれぞれの極性に対応する単語である。そのため, レート予測タスクでは特徴語の種類がジャンル予測タスクに比べて少なく，接尾辞の分割操作の頻度も少なくなることで，文全体の単語数が抑えられていると考えられる。

また，すべての言語のレート予測タスクにおいて，提案手法による単語分割の単語数は OpTok を下回ることが確認された。つまり，レート予測タスクにおいて提案手法は OpTokに比べて単語

表 6 文書分類タスクにおける，既存手法 OpTok と提案手法による単語分割の粒度. 各手法の使用した SentencePiece による単語分割の長さを 1.0 とした時に, 最適化された単語分割の長さが学習データ全体でどの程度長くなったかの割合を示す. 1.0 以上の数値は, 初期値の単語分割よりも系列長が長くなっている（細かい粒度で分割を行っている）ことを表す.

を短く切らない傾向がある。OpTokでは，単語分割の候補それぞれの文べクトルに対して単語分割の確率で重み付けを行うため，単語分割の確率が後段モデルに入力される情報に影響を与える. そのため，ラベルに特徴的な単語を含む単語分割の文べクトルの情報をより多く得るために，その単語分割の確率を向上させるような学習が働く.これにより，ラベルに特徴的な単語のユニグラム確率が大きく向上し, 結果として細かい粒度での単語分割を行う傾向につながる。一方で提案手法は，後段モデルの損失值に重み付けを行うため，単語分割の確率が後段モデルの入力に影響を与えない. そのため，ラベルに特徵的な単語のユニグラム確率を大きく向上させる傾向が OpTok よりも弱く, このような単語分割の粒度の差として表れていると考えられる. 特にレート予測タスクのように，ラベルと特徴語の関係が強いタスクにおいて, この構造上の差が単語分割の粒度として顕著に表れたと推測される。

## 5.3 機械翻訳タスクで最適化された単語分割

## 5.3.1 獲得された単語分割

本節では，機械翻訳タスクにおいて提案手法で最適化を行った単語分割について分析を行う。表 7 に, SentencePieceによる単語分割と，DPE と提案手法のそれぞれで最適化を行った単語分割の例を示した。分析では IWSLT15 データセットの中国語・英語ぺアを使用し，それぞれの手法による英語側の単語分割の比較を行う。DPE はターゲット側の単語分割を最適化する手法であるため,中英翻訳ペアでのみ比較を行う。また提案手法については, 英語側のみの単語分割を最適化し, 中国語側の最適化は行わずに学習したものを用いる.

表 7a はソース側の英語の文における, SentencePieceによる初期状態の単語分割と，提案手法によって最適化を行った単語分割の比較である。表より，提案手法は SentencePiece による単語分割に比べて単語を短く区切る傾向があることがわかる。例えば, “don”を“do-n", “have"を "hav-e",

 &  \\

(a) ソース側言語の単語分割の比較 (En-Zh)

(b) ターゲット側言語の単語分割の比較 (Zh-En)

表 7 SentencePiece, DEP，提案手法のそれぞれによる英中・中英翻訳での英語側の単語分割の比較. 手法間で単語分割が異なる部分を太字で示した。
“hours”を“hour-s”と区切っており，語根から接尾辞を分割する傾向が見られる。これは，文書分類タスクにおいて最適化を行った単語分割の例（表 5）と同様の傾向である.

表 $7 \mathrm{~b}$ では, ターゲット側の英語の文における, SentencePiece による初期状態の単語分割と, DPE と提案手法それぞれによって最適化を行った単語分割の比較を示した。表より，ソース側の単語分割と比べて, 提案手法はターゲット側の文の単語分割を細かく区切らないことが確認できる。例えば提案手法は，SentencePiece による単語分割 “separate-d”を“separat-ed” と分割し直しているが, 文全体の単語数は変わっていない。機械翻訳タスクにおける既存の単語分割の最適化手法であるDPE と比較すると，提案手法は過去の接尾辞 “-ed”を分割するという点で，似た傾向を持つ．しかし, DPEが “a-way”という分割を用いるのに対して提案手法は SentencePiece と同様に “away” と細かく区切らないなど，提案手法は系列長が長くなるような分割を避ける傾向にあることがわかった。これは，DPEと異なり提案手法が後段モデルの損失値を直接学習に用いており，系列長が長くなることでデコーダーによる生成が難しくなることを避けているためだと考えられる。

## 5.3.2 単語分割の粒度

機械翻訳タスクにおける各比較手法による単語分割の粒度を調べるために, 5.2 .2 節と同様に, 単語分割済みの文に含まれる単語数の比較を行う. 表 8 に, SentencePiece による初期状態の単語分割に含まれる単語数を 1.0 とした時の，DPE と提案手法それぞれで最適化を行った単語分割に含ま

 &  &  &  \\

表 8 IWSLT データセットにおいて, SentencePiece による初期状態の単語分割に含まれる単語数を 1.0 としたときの，DPE と提案手法それぞれで最適化を行った単語分割に含まれる単語数の割合. Encoder と Decoder はそれぞれ機械翻訳タスクの学習に用いた単語分割手法を表， SP+R は SentencePiece によるサブワード正則化を用いた設定を表す.

れる単語数の割合を示した。比較には, IWSLT データセットの学習データに含まれる全文の単語分割を用いる，表において， 1.0 を超える値は初期状態の単語分割よりも単語数が増えていることを表す。

表 8 より,ソース側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は, 初期状態の SentencePiece による単語分割よりも増えていることがわかる。ここから，表 $7 \mathrm{a}$ の例にある通り，提案手法はコーパス全体でソース側の単語を細かい単位に分割していることがわかる.

一方で, ターゲット側言語に対して提案手法で最適化を行った単語分割に含まれる単語数は, 初期状態の単語分割に比べてわずかに短くなる傾向がある。ここから，提案手法はソース側の単語分割の最適化とは異なり, 初期状態の単語分割の単語数を維持しながらターゲット側言語の単語分割を調整していることが示唆される。これは，単語を短く区切ることでターゲット側言語の系列長が長くなり，デコーダーによる生成が難しくなることを提案手法が避けているためたと考えられる.英中翻訳においては，他の翻訳ぺアとは異なり，提案手法はターゲット側の中国語の単語分割を初期状態よりも短く区切り，系列長を長くすることが確認された。中国語は表意文字を用いるため 1 文字が持つ情報が表音文字を用いる英語に比べて多く, 中国語の 1 文に含まれる文字数は英語よりも少なくなる，そのため，提案手法はソース側の英語の単語分割の粒度と揃えるために，夕ーゲッ卜側の中国語の単語分割を細かく区切るように学習されたと考えられる。

提案手法と比較して, 単語分割の最適化の既存手法であるDPEによる単語分割の粒度は, 言語ごとに傾向が異なることがわかる。提案手法がユニグラム言語モデルとビタビアルゴリズムというシンプルな単語分割器の構成を持っているのに対し, DPE は Transformer と特殊なデコード用のアルゴリズムを用いた単語分割を行うため, 提案手法よりも単語分割の自由度が高い. さらに, DPE はターゲット側の単語分割を生成する際に、ソース側の単語分割を Transformer に入力することで直接考慮することができる。一方で, 提案手法がターゲット側の単語分割を生成する際には,両側言語を用いて学習した NULM を用いるため, ソース側の単語分割を直接考慮することはできない.そのため, DPEの単語分割は言語ごとの影響を受けやすく, 単語分割の粒度も言語によって異なったものになると考えられる。提案手法は単語分割の自由度という点において，DPEよりも制約が大きいが， 3.2 節での実験から機械翻訳タスクでの性能はDPEよりも高いことがわかっている．NULM はユニグラム言語モデルであるため，文脈に応じて単語分割を変化させることができないが, これはコーパス全体で一貫した単語分割を行うことができるという利点でもある。機械翻訳タスクでの性能向上は, こうした提案手法の性質が寄与していると考えられる.

## 5.4 最適化された単語分割の異なるタスクへの転用

4 章の実験では, 単語分割の最適化のみでも後段モデルの性能の向上が得られることを確認したこのように, 後段タスクや後段モデルの性質に応じて単語分割を調整する提案手法は, 単語分割のドメイン適応の手法と捉えることができる。そこで本節では，提案手法によって最適化を行った単
語分割が，後段タスクや後段モデルに特化したものになっているかを調べる．具体的には，ある後段タスクに対して最適化を行った単語分割を，本来目的としていたものとは異なるタスクに転用した時の性能を調査する。

分析のために，文書分類タスクの実験で使用したジャンル予測タスクとレート予測タスクを利用する。これらのデータセットは，同一のレビューコーパスから 2 つの異なる後段タスクを作成しているため，後段モデルに対する単語分割の影響のみを比較することができる.

4 章での実験と同様に，それぞれの後段タスクにおいて, SentencePiece とサブワード正則化によって後段モデルを学習する． 30 エポックの学習を終えた後段モデルのパラメータを固定し, 同じタスクを用いて提案手法による単語分割の最適化を 5 エポック行う，その後，最適化を行った単語分割を本来の後段モデルと, 異なる後段タスクで学習を行った後段モデルに適用し, 性能の評価を行う。

例えばジャンル予測タスクを用いて後段モデルを学習した後に，その後段モデルを用いて単語分割をジャンル予測タスクに最適化する。この単語分割を用いて, ジャンル予測タスクで学習した後段モデルと，レート予測タスクで学習した後段モデルのそれぞれの評価を行い，その性能を確認する. 提案手法が後段タスクに特化したものになっているのであれば，本来の目的であるジャンル予測タスクでの性能が，レート予測タスクの性能よりも高くなるはずである.

表 9 に, 中国語, 日本語, 英語のレビューデータセットでの実験結果を示した. 例えば 1 行目は, JD.com データセットの Genre タスクで学習を行った後段モデルについて 30 エポックの学習を行ったモデル $(\mathrm{SP}+\mathrm{R})$, Genre タスクで 5 エポックの単語分割の最適化を行ったモデル $(\mathrm{SP}+\mathrm{R}$ $\rightarrow$ Genre), Rating タスクで 5 エポックの単語分割の最適化を行ったモデル $(\mathrm{SP}+\mathrm{R} \rightarrow$ Rating) それぞれの性能を示している.

表 9 に示した実験結果より，すべての言語のレビューデータセットにおいて, 後段モデルの学習と単語分割の最適化に用いた後段タスクが同じ場合が，初期状態の単語分割を使った場合や異なる

表 9 最適化に用いたタスクとは異なるタスクに単語分割を転用した場合の後段モデルの性能. 後段モデルは SentencePiece によるサブワード正則化で学習済みのものを用い，単語分割はパラメータを固定した後段モデルを用いて学習した．評価タスクごとの最大性能を太字で示した.

タスクを用いた場合よりも性能が高くなることが確認された。ここから，提案手法によって後段夕スクや後段モデルに特化した単語分割が得られていることが示唆される。また，異なるタスクで学習した単語分割を用いた場合であっても，初期状態の単語分割よりも後段モデルの性能が向上する場合があることが確認された。この結果は, ジャンル予測タスクとレート予測タスクで横断的に有効な単語分割が存在することを示唆している。特にレート予測タスクで最適化した単語分割をジャンル予測タスクに転用したすべての場合で，後段モデルの性能が初期状態の単語分割よりも向上している。ここから，レート予測タスクに最適な単語分割が，部分的にジャンル予測タスクにも有効であることを示している。一方でジャンル予測タスクに最適化した単語分割は，レート予測タスクには転用しにくいことが示された。これは，ジャンル予測タスクに有効な単語がラベルごとに特徴的であり，単語分割の粒度も大きく変わることから（5.2.2 節），レート予測タスクに有効な単語分割と重複する部分が少なくなるためだと考えられる.

また，後段モデルと単語分割の学習に同じタスクを用いる実験設定は 4 章の実験設定と同じであり，その性能はいずれも初期状態の単語分割を用いた時よりも向上している。ここから，提案手法は感情分析タスクだけではなく，レビューデータセットを用いた文書分類タスクであっても後処理としての単語分割の性能向上が得られることが確認される。

## 5.5 ハイパーパラメータ $N$ の影響

提案手法では，NULM の更新のために $N$-best の単語分割候補を使用しており， $N$ はハイパーパラメータとして設定している。本節では，このハイパーパラメータ $N$ が後段タスクに与える影響について分析する.

分析のために， 3 章での実験設定とは異なる $N$ を用いて文書分類タスクと機械翻訳タスクの実験を行う。それぞれのタスクでの実験結果を図 $3 \mathrm{a}$ と図 $3 \mathrm{~b}$ に示した。図では， 3 章での実験で使用し

(a) 文書分類タスク（感情分析）

(b) 機械翻訳タスク（IWSLT15: Vi-En）

図 3 文書分類夕スクと機械翻訳タスクにおけるハイパーパラメータ $N$ による性能の差。それぞれ表 1 ，表 2 で報告した値からの差を示す.

た $N$ を用いた時の性能を 0.0 とし，異なる $N$ を用いた時の性能との差を示した。つまり，文書分類タスクでは $N=3$ の基準として表 1 の値を用い，機械翻訳タスクでは $N=8$ の基準として表 2 の値を用いた。

文書分類タスクとして，3.1 節での実験から中国語，日本語，英語の感情分析タスクを用いてハイパーパラメータ $N$ の影響を調查する。また，提案手法がベースとする先行研究 OpTok (Hiraoka et al. 2020) についても同様の分析を行っているため, その数値を引用して図に示した. 図 3a の結果より，文書分類タスクにおいて，ハイパーパラメータ $N$ は提案手法を用いた後段モデルの性能に大きな影響を与えないことが示された，さらに，日本語と英語のデータセットについては，より大きな $N$ を用いることで性能が上昇する傾向があることが示された. 一方で中国語のデータセットでは， $N$ を大きくすることが性能の低下につながることが確認された。これは，単語境界をスペー ス記号で明記する英語や，複数の文字種を用いる日本語に比べて，スペース記号を用いず単一の文字種で記述を行う中国語の単語分割には多くの曖昧性があるためだと考えられる。つまり，中国語において大きな $N$ を設定することで単語分割候補の多様性が高くなり, 後段モデルの学習が安定しなくなると考えられる。

既存研究である OpTok (Hiraoka et al. 2020) に対して同様の実験を行った値と比較すると，提案手法は $N$ に対して頑健であることがわかる． 3.1 節で述べた通り, OpTok は後段モデルの学習に $N$-best の単語分割候補それぞれの文べクトルの重み付き和を用いている一方で，提案手法はサンプリングされた一つの単語分割のみを用いることで, 学習時と推論時の設定の乘離を防いでいる. そのため提案手法においては，ハイパーパラメータ $N$ の値が後段モデルの学習に直接与える影響が小さくなっており，異なる $N$ に対して安定した性能が得られていると考えられる。この結果より，提案手法は異なる $N$ を用いた場合でも性能が安定しているという点において, 先行研究 (Hiraoka et al. 2020)よりも優れていると言える.

機械翻訳タスクでの分析には，IWSLT15 データセットのベトナム語から英語への翻訳ぺアを用い，実験結果を図 $3 \mathrm{~b}$ に示した，実験結果より，提案手法による単語分割の最適化をターゲット側のみに用いた設定 (SP-Ours) においては，ハイパーパラメータ $N$ が性能に与える影響は小さいことが確認された。5.3.2 節での分析で見たように, 提案手法によるターゲット側の単語分割の最適化では，その粒度は初期状態から大きく変わらない，そのため，単語分割の候補数 $N$ を増やしても，変わらず初期状態の単語数に似た単語分割が選択されるために，ターゲット側に対する $N$ の影響が大きくならないと考えられる。

一方で，提案手法をソース側のみに使用した設定 (Ours-SP) では， $N$ を大きくすることで性能が向上することがわかった． 5.3 節での分析から，機械翻訳タスクにおいて提案手法はソース側の単語分割を大きく変更する性質があることがわかっている．そのため， $N$ を大きくすることで学習中に使用できる単語分割の候補が増え，より広い探索空間からタスクに適した単語分割を選択できるようになり, 性能が向上すると考えられる。また, この傾向は同様にエンコーダーを用いる文書
分類タスクにおけるハイパーパラメータ $N$ に関する傾向とも一致する.

機械翻訳タスクにおいて，両側の言語の単語分割を最適化する設定 (Ours-Ours) では， $N$ を大きくすることでわずかに性能が低下することが示された。両側の単語分割を同時に最適化する場合は，より大きな $N$ を設定することでソース側の単語分割が学習中に大きく変わり，デコーダー側の単語分割や後段モデルの学習が不安定になるためであると考えられる.

## 6 関連研究

自然言語処理において，後段タスクに応じて適切な単語分割を獲得するための試みは，主に機械翻訳分野で研究されてきた. Nießen and Ney (2004)と Goldwater and McClosky (2005) は, 人手で作成した言語学的な情報を用いることで, 統計的機械翻訳の性能が向上するような適切な単語分割の指標を作成した。また，機械翻訳におけるソース文とターゲット文のアラインメント情報を活用することで，適切な単語分割を自動で獲得する方法についても研究されている (Xu et al. 2008; Chung and Gildea 2009; Nguyen et al. 2010).

近年の研究では, 後段タスクに応じた適切な単語分割をニューラルネットワークを用いて学習するための手法が提案されている. Gowda and May (2020)は，ニューラルネットワークを用いた機械翻訳タスクにおける適切な単語分割の粒度の分析を行った. Salesky et al. (2020)では, BPE (Sennrich et al. 2016) によるトークンのマージ操作を，検証データでの機械翻訳モデルの性能を参考にして停止する手法 (Incremental-BPE) を提案している. 本研究は後段モデルである機械翻訳モデルの情報を用いて単語分割を決定するという点で Salesky et al. (2020) と類似しているが, Incremental-BPE は単語分割の候補が BPE のマージ操作の順番に依存しており, 単語分割の探索範囲が狭い。提案手法は与えられた語彙の中から自由に単語分割を選択することができる点において, Incremental-BPE とは異なる. He et al. (2020)は，機械翻訳タスクに特化した単語分割手法である Dynamic Programming Encoding (DPE) を提案した．DPE は，機械翻訳モデルとは別に単語分割を行うための Transformerを用意し，ソース文を用いてターゲット文の単語分割を生成する手法である。DPE はニューラルネットワークを用いて単語分割の最適化を行う点で提案手法と類似しているが，DPEによる単語分割の最適化には後段モデルの情報が使われていない．提案手法は後段モデルの情報を用いて直接単語分割器の更新を行う点でDPE とは異なる。さらに, 提案手法は機械翻訳のような Sequence-to-Sequence タスク以外であっても適用可能である点で DPE とは異なる。

Hiraoka et al. (2020), 平岡他 (2021) では, 文書分類タスクにおいて単語分割器と後段モデルを同時に最適化する手法 (OpTok) を提案した. 本研究では OpTokのアイディアをべースとして,機械翻訳のような複数のタスクで単語分割の最適化を行えるように拡張を行った. さらに，提案手法と OpTok は後段モデルの学習方法が異なっている. OpTokでは複数の単語分割候補の文べクト

ルを単語分割の確率で重みづけることで，後段モデルと単語分割器を同時に更新していた。一方で提案手法では, 単語分割器のみを複数の単語分割候補に対応する損失値の重み付き和で学習し, 後段モデルはサンプリングした 1 つの単語分割のみで学習を行う。本稿では実験を通して，提案手法による学習方法が OpTokよりも有効であることを示した.

提案手法の後段モデルの学習には, 単語分割のサンプリングを行う. これはサブワード正則化として知られている学習テクニックである. Kudo (2018) はユニグラム言語モデルをべースとした単語分割モデルである SentencePiece(Kudo and Richardson 2018)を用いて単語分割をサンプリングし，機械翻訳モデルの学習に用いることで性能が向上することを報告した. Provilkov et al. (2020) は BPE (Sennrich et al. 2016)によるマージ操作にドロップアウトを適用することで, サブワード正則化を BPE の枠組みで使用できるように拡張した。また, Hiraoka et al. (2019)はサブワード正則化が文書分類タスクでも有効であることを示し，サンプリングをスケジューリングすることで性能の向上が得られることを示した.

## 7 おわりに

本稿では, 後段モデルや学習データなどの後段タスクの情報を用いて単語分割を最適化する新たな手法を提案した．提案手法は複数の単語分割候補を後段モデルに入力し，それぞれに対応する損失値を用いて単語分割器の更新を行う。文書分類タスクと機械翻訳タスクにおける実験を通して,提案手法が既存の単語分割手法や単語分割の最適化手法を上回る性能であることを確認した。提案手法では, 後段モデルの損失値のみを用いて単語分割器を更新するため, 様々な自然言語処理の夕スクで利用可能である.

提案手法は単語分割器の学習のために $N$-best の単語分割候補を用いた推論が必要であり，一般的な後段モデルの学習に比べて時間的なコストがかかる18という課題がある. 今後はこうした課題の解決に加え, 固有表現抽出タスクや質問応答タスクのように，より単語分割境界が重要となるようなタスクにおいても提案手法が有効であるかを調査していく.

## 謝 辞

この成果は, 国立研究開発法人新エネルギー・産業技術総合開発機構 (NEDO) の委託業務 (JPNP18002)の結果得られたものです。また本論文の内容の一部は Findings of ACL: ACL-IJCNLP


2021 に採択されたものです (Hiraoka et al. 2021). 本研究では, 国立情報学研究所の IDR データセット提供サービスにより楽天グループ株式会社から提供を受けた「楽天データセット」を利用しました.

## 参考文献

Bollegala, D., Kiryo, R., Tsujino, K., and Yukawa, H. (2020). "Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction." arXiv preprint arXiv:2002.11004.

Bowman, S. R., Angeli, G., Potts, C., and Manning, C. D. (2015). "A Large Annotated Corpus for Learning Natural Language Inference." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 632-642, Lisbon, Portugal. Association for Computational Linguistics.

Cai, D., Zhao, H., Zhang, Z., Xin, Y., Wu, Y., and Huang, F. (2017). "Fast and Accurate Neural Word Segmentation for Chinese." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 608-615, Vancouver, Canada. Association for Computational Linguistics.

Chang, P.-C., Galley, M., and Manning, C. D. (2008). "Optimizing Chinese Word Segmentation for Machine Translation Performance." In Proceedings of the 3rd Workshop on Statistical Machine Translation, pp. 224-232, Columbus, Ohio. Association for Computational Linguistics.

Chung, T. and Gildea, D. (2009). "Unsupervised Tokenization for Machine Translation." In Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, pp. 718-726, Singapore. Association for Computational Linguistics.

Cui, H., Wei, Y., Iida, S., Utsuro, T., and Nagata, M. (2020). "University of Tsukuba's Machine Translation System for IWSLT20 Open Domain Translation Task." In Proceedings of the 17th International Conference on Spoken Language Translation, pp. 145-148.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). "Bert: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv preprint arXiv:1810.04805. Domingo, M., García-Martínez, M., Helle, A., Casacuberta, F., and Herranz, M. (2018). "How Much Does Tokenization Affect Neural Machine Translation?" CoRR, abs/1812.08621.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2006). "Contextual Dependencies in Unsupervised Word Segmentation." In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational

Linguistics, pp. 673-680, Sydney, Australia. Association for Computational Linguistics.

Goldwater, S., Griffiths, T. L., and Johnson, M. (2009). "A Bayesian Framework for Word Segmentation: Exploring the Effects of Context." Cognition, 112 (1), pp. 21-54.

Goldwater, S. and McClosky, D. (2005). "Improving Statistical MT through Morphological Analysis." In Proceedings of Human Language Technology Conference and Conference on Empirical Methods in Natural Language Processing, pp. 676-683, Vancouver, British Columbia, Canada. Association for Computational Linguistics.

Gowda, T. and May, J. (2020). "Finding the Optimal Vocabulary Size for Neural Machine Translation." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 3955-3964, Online. Association for Computational Linguistics.

He, H. and Sun, X. (2017). "F-Score Driven Max Margin Neural Network for Named Entity Recognition in Chinese Social Media." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 713-718.

He, R. and McAuley, J. (2016). "Ups and Downs: Modeling the Visual Evolution of Fashion Trends with One-Class Collaborative Filtering." In Proceedings of the 25th International Conference on World Wide Web, WWW '16, pp. 507-517, Republic and Canton of Geneva, CHE. International World Wide Web Conferences Steering Committee.

He, X., Haffari, G., and Norouzi, M. (2020). "Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 3042-3051, Online. Association for Computational Linguistics.

Hiraoka, T., Shindo, H., and Matsumoto, Y. (2019). "Stochastic Tokenization with a Language Model for Neural Text Classification." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 1620-1629, Florence, Italy. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2020). "Optimizing Word Segmentation for Downstream Task." In Findings of the Association for Computational Linguistics: EMNLP 2020, pp. 1341-1351, Online. Association for Computational Linguistics.

Hiraoka, T., Takase, S., Uchiumi, K., Keyaki, A., and Okazaki, N. (2021). "Joint Optimization of Tokenization and Downstream Model." In Findings of the Association for Computational Linguistics: ACL-IJCNLP 2021, pp. 244-255. Association for Computational Linguistics.

平岡達也, 高瀬翔, 内海慶, 欅惇志, 岡崎直観 (2021). テキストベクトルの重みづけを用いたタスクに対する単語分割の最適化. 自然言語処理, 28 (2), pp. 479-507. [T. Hiraoka et al. (2021).

Optimizing Word Segmentation for Downstream Tasks by Weighting Text Vector. Journal of Natural Language Processing, 28 (2), pp. 479-507.].

Huo, J., Herold, C., Gao, Y., Dahlmann, L., Khadivi, S., and Ney, H. (2020). "Diving Deep into Context-aware Neural Machine Translation." arXiv preprint arXiv:2010.09482.

Koehn, P., Hoang, H., Birch, A., Callison-Burch, C., Federico, M., Bertoldi, N., Cowan, B., Shen, W., Moran, C., Zens, R., Dyer, C., Bojar, O., Constantin, A., and Herbst, E. (2007). "Moses: Open Source Toolkit for Statistical Machine Translation." In Proceedings of the 45th Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo and Poster Sessions, pp. 177-180, Prague, Czech Republic. Association for Computational Linguistics.

Kudo, T. (2006). "MeCab: Yet Another Part-of-Speech and Morphological Analyzer." http: //taku910.github.io/mecab/.

Kudo, T. (2018). "Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 66-75, Melbourne, Australia. Association for Computational Linguistics.

Kudo, T. and Richardson, J. (2018). "SentencePiece: A Simple and Language Independent Subword Tokenizer and Detokenizer for Neural Text Processing." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium. Association for Computational Linguistics.

Mochihashi, D., Yamada, T., and Ueda, N. (2009). "Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling." In Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP, pp. 100-108, Suntec, Singapore. Association for Computational Linguistics.

Morita, H., Kawahara, D., and Kurohashi, S. (2015). "Morphological Analysis for Unsegmented Languages using Recurrent Neural Network Language Model." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal. Association for Computational Linguistics.

Nagata, M. (1994). "A Stochastic Japanese Morphological Analyzer Using a Forward-DP Backward-A* N-Best Search Algorithm." In COLING 1994 Volume 1: The 15th International Conference on Computational Linguistics.

Nguyen, T., Vogel, S., and Smith, N. A. (2010). "Nonparametric Word Segmentation for Machine Translation." In Proceedings of the 23rd International Conference on Computational

Linguistics (Coling 2010), pp. 815-823, Beijing, China. Coling 2010 Organizing Committee.

Nießen, S. and Ney, H. (2004). "Statistical Machine Translation with Scarce Resources Using Morpho-syntactic Information." Computational Linguistics, 30 (2), pp. 181-204.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53, Minneapolis, Minnesota. Association for Computational Linguistics.

Peng, N. and Dredze, M. (2015). "Named Entity Recognition for Chinese Social Media with Jointly Trained Embeddings." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 548-554.

Peng, N. and Dredze, M. (2016). "Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 149-155.

Post, M. (2018). "A Call for Clarity in Reporting BLEU Scores." In Proceedings of the Third Conference on Machine Translation: Research Papers, pp. 186-191, Brussels, Belgium. Association for Computational Linguistics.

Pranav, A. and Augenstein, I. (2020). "2kenize: Tying Subword Sequences for Chinese Script Conversion." arXiv preprint arXiv:2005.03375.

Provilkov, I., Emelianenko, D., and Voita, E. (2020). "BPE-Dropout: Simple and Effective Subword Regularization." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1882-1892, Online. Association for Computational Linguistics.

Rakuten, I. (2014). "Rakuten Dataset." Informatics Research Data Repository, National Institute of informatics. (dataset). https://doi.org/10.32130/idr.2.0.

Salesky, E., Runge, A., Coda, A., Niehues, J., and Neubig, G. (2020). "Optimizing Segmentation Granularity for Neural Machine Translation." Machine Translation, 34, pp. 41-59.

Scott, S. L. (2002). "Bayesian Methods for Hidden Markov Models: Recursive Computing in the 21st Century." Journal of the American Statistical Association, 97 (457), pp. 337-351.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1715-1725, Berlin, Germany. Association for Computational Linguistics.

Suzuki, Y. (2019). "Filtering Method for Twitter Streaming Data Using Human-in-the-Loop Machine Learning." Journal of Information Processing, 27, pp. 404-410.

Takaoka, K., Hisamoto, S., Kawahara, N., Sakamoto, M., Uchida, Y., and Matsumoto, Y. (2018). "Sudachi: a Japanese Tokenizer for Business." In Proceedings of the 11th International Conference on Language Resources and Evaluation (LREC 2018), Miyazaki, Japan. European Language Resources Association (ELRA).

Tolmachev, A., Kawahara, D., and Kurohashi, S. (2018). "Juman++: A Morphological Analysis Toolkit for Scriptio Continua." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium. Association for Computational Linguistics.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention Is All You Need." Advances in Neural Information Processing Systems, 30, pp. 5998-6008.

Viterbi, A. (1967). "Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm." IEEE Transactions on Information Theory, 13 (2), pp. 260-269.

Wu, S., Wang, X., Wang, L., Liu, F., Xie, J., Tu, Z., Shi, S., and Li, M. (2020). "Tencent Neural Machine Translation Systems for the WMT20 News Translation Task." In Proceedings of the 5th Conference on Machine Translation, pp. 313-319.

Xu, J., Gao, J., Toutanova, K., and Ney, H. (2008). "Bayesian Semi-Supervised Chinese Word Segmentation for Statistical Machine Translation." In Proceedings of the 22nd International Conference on Computational Linguistics (Coling 2008), pp. 1017-1024, Manchester, UK. Coling 2008 Organizing Committee.

Yang, J., Zhang, Y., and Dong, F. (2017). "Neural Word Segmentation with Rich Pretraining." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 839-849, Vancouver, Canada. Association for Computational Linguistics.

Yang, J., Zhang, Y., and Liang, S. (2019). "Subword Encoding in Lattice LSTM for Chinese Word Segmentation." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2720-2725, Minneapolis, Minnesota. Association for Computational Linguistics.

Zhang, Y., Zhang, M., Zhang, Y., Lai, G., Liu, Y., Zhang, H., and Ma, S. (2015). "Daily-aware Personalized Recommendation Based on Feature-level Time Series Analysis." In Proceedings of the 24th International Conference on World Wide Web, pp. 1373-1383.

## 略歴

平岡達也：2017 年早稲田大学教育学部卒業. 2019 年奈良先端科学技術大学院大学情報科学研究科卒業, 修士 (工学). 同年 4 月より東京工業大学情報理工学院博士後期課程に在学中. 言語処理学会, ACL 各会員.

高瀬翔：2012 年東北大学工学部卒業. 2014 年東北大学大学院情報科学研究科博士前期課程修了. 2017 年東北大学大学院情報科学研究科博士後期課程修了.

博士 (情報科学)。NTTコミュニケーション科学基礎研究所でのリサーチアソシエイト, 東京工業大学での研究員を経て, 2020 年 4 月より東京工業大学助教.自然言語処理の研究に従事. 言語処理学会, ACL 各会員.

内海慶：2006 年筑波大学大学院図書館情報学メディア研究科博士前期課程修了. 修士 (情報学)．同年 2013 年ヤフー株式会社にて自然言語処理の研究開発に従事. 2013 年株式会社デンソーアイティーラボラトリ入社. 2021 年現在, 同社在職中. 自然言語処理の研究に従事. 言語処理学会会員.

欅惇志: 株式会社デンソーアイティーラボラトリアソシエイトリサーチャ. 博士 (工学). 2014 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了．2012 2014 年日本学術振興会特別研究員 (DC2). 2013 年マイクロソフト・リサーチアジアリサーチインターン．2014～2019 年東京工業大学情報理工学院助教. 2016 2017 年シンガポール国立大学客員研究員. ACM, 電子情報通信学会, 日本データベース学会, 言語処理学会, 人工知能学会各会員.

岡崎直観：2007 年東京大学大学院情報理工学系研究科博士課程修了. 東京大学大学院情報理工学系研究科 - 特任研究員, 東北大学大学院情報科学研究科准教授を経て, 2017 年 8 月より東京工業大学情報理工学院教授. 言語処理学会, 人工知能学会, 情報処理学会, ACL 各会員.