言語処理学会 第24回年次大会 発表論文集 (2018年3月)

サブワード正則化: 複数のサブワード分割候補を用いたニューラル機械翻訳工藤 拓

1

Google 合同会社 taku@google.com

はじめに

表 1: “Hello world” を表現可能な複数のサブワード列
ニューラルネットワークに基づく機械翻訳モデル (Neuサブワード列 ( は空白記号) 語彙 ID 列
ral Machine Translation, 以下 NMT) [4, 14, 12] では，Hell o world
13586 137 255
目的言語生成時に語彙サイズに依存した計算量が必要で
H ello world
320 7363 255あるため，事前に決めた比較的少量の語彙のみを使ってHe llo world
579 10115 255
学習することが多い．しかし，語彙の削減は，低頻度語
He l l o world
7 18085 356 356 137 255
を実質無視することを意味し，未知語の増加による翻訳
H el l o world
320 585 356 137 7 12295精度の低下が避けられない．
バイトペア符号化 (Byte Pair Encoding, 以下 BPE) 2
複数分割候補を用いた NMTに代表されるサブワード化 [10, 14, 8] は，少量の語彙サイズのまま未知語の問題を解決する手法として多くの 2.1 サンプリングによる学習
NMT システムで採用されている1 ．サブワードでは，高源言語文 X ，目的言語文 Y に対し，x = (x1 , . . . , xM ),頻度語は 1 語として扱い、低頻度語はより短い単位 (部 y = (y1 , . . . , yN ) をそれらのサブワード列とする．NMT分文字列や文字) に分割される．どんな低頻度語も最終 は，翻訳確率 P (Y |X) = P (y|x) を式 1 でモデル化する．
的には文字に分割されるため，未知語の問題が発生しにN∏
くい．さらに，BPE はコーパス中のサブワード数を最小P(y|x;θ)=P (yn |x, y<n ; θ)
(1)化するように学習されるため，訳出時のステップ数がそn=1
れほど増加しない．サブワードは，語彙サイズとステップ数のバランスをうまくとる利点がある．
ただし θ は，モデルのパラメータであり，y<n は，n−1 サ
サブワード化により，テキストは一意のサブワード列 ブワードまで翻訳された部分翻訳列である．n 番目のサに分割される．しかし，同一の語彙集合を用いた場合で ブワードの予測には，リカレントニューラルネットワー
も，サブワードの分割には表 1 のように複数の候補が存 ク (RNN) を用いることが一般的であるが，RNN を用在する．NMT システムにとってはこれらは異なるサブ いない手法も提案されている [12]．
|D||D|
ワード列となるが，文生成タスクとして見た場合，これ学習データ D = {⟨X (s) , Y (s) ⟩}s=1 = {⟨x(s) , y(s) ⟩}s=1
らの分割からは同一の文が生成される．つまり，これら に対し，パラメータ θ は，式 2 の最尤法で推定される．
は，文生成の精度に影響せず，曖昧性を解消する必要が本質的にない2 ．源言語の符号化においても，複数の分θM LE = arg max L(θ)θ
割を考慮することで，単語とその構成文字列の関係 (例|D|∑
えば，books は，book + s と構成される) を学習する
ただし L(θ) =log P (y(s) |x(s) ; θ)(2)ことが可能になり，分割の曖昧性やノイズに頑健になる
s=1と考えられる．
本研究では，複数のサブワード分割を用いた新たな文 X, Y が，確率 P (x|X), P (y|Y ) に従って複数のサNMT の正則化手法 (サブワード正則化) を提案する．提 ブワード列に分割可能なとき，サブワード正則化では，案法は，2 つの手法から構成される．まず，複数のサブ 式 3 の周辺尤度を用いて最適化を行う．
ワード分割列を用いた NMT の学習手法を提案する．本|D|∑
手法は，学習データの動的なサンプリングとして定式化
Ex∼P (x|X (s) ) [log P (y|x; θ)](3)
Lmarginal (θ) =されるため，特定の NMT アーキテクチャに依存せず，
s=1 y∼P (y|Y (s) )既存の NMT のモデル構造に手を加える必要がない．次に，複数のサブワード分割候補を出力したり，それらか 式 3 の学習は困難なため，k 個の分割を P (x|X), P (y|Y )らサンプリングできるよう，言語モデルに基づく新たな からサンプリングすることで尤度を近似する．
サブワード分割手法を提案する．
|D| kk
言語の異なる複数のコーパスを用いた翻訳実験により，
1 ∑∑∑∼Lmarginal (θ) = 2
log P (yj |xi ; θ)
単一の分割を用いる既存手法に比べ BLEU スコアが改k s=1 i=1 j=1(4)
善したことを示す．さらに，分野の異なる入力に対して，
xi ∼ P (x|X (s) ), yj ∼ P (y|Y (s) )提案法が頑健に翻訳できることも確認した．
1 2017 年の WAT 上位システムはほぼ BPE を採用している．
2 BLEU による評価時には，出力文を評価用の単語分割器を使って再分割するため，BLEU の評価値も同一になる．

本研究では，簡単のため，k = 1 とする．ニューラルネッ
トワークの学習には，ミニバッチ法を含むオンライン学習が用いられる．学習回数を十分増やすことで，サブ― 37 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

ワード分割のサンプリングがオンライン学習の事例サンプリング経由で実行されるようになり，k = 1 としても式 3 の良い近似を与える．ただし，パラメータの更新ごとに動的にサブワード分割をサンプリングすることに注意されたい．

2.2

デコード方法3言語モデルによるサブワード分割

められる (式 8)．L による確率の推定には，EM アルゴリズムを用いる．

L=|D|∑log(P (X(s))) =

s=1

|D|
∑
s=1(log∑)
P (x)(8)x∈S(X (s) )しかし，実際には V も未知である．そこで，十分大きデコード時には，源言語 X しか与えられない． 簡単なシード語彙集合から開始し，EM アルゴリズムによるには，P (x|X) が最大となる x∗ を用いて翻訳を行えば確率推定と不要語彙の削除を交互に繰り返すことで学習よい．さらに，P (x|X) の n-best 解それぞれに対し，翻を行う．具体的な手順を以下に示す．
訳結果 y を求め，以下のスコアが最大となる翻訳を選択することも可能である．
1. 十分に大きなシード語彙 V を準備
2.
V が決められたサイズになるまで以下を繰り返す
score(x, y) = log P (y|x)/|y|λ(5)(a) 生起確率 p(x) を学習データと EM 法にて推定
ただし，|y| は y のサブワード数，λ ∈ R はサブワード(b) 各語彙 x ∈ V に対し，x を削除したときの尤度数の影響を制御するパラメータであり開発データを用いの差分 (貢献度) を計算て推定する． 本論文では，前者を one-best デコード，後(c) 貢献度の小さい η% の語彙を削除5 (ただし 1 文者を n-best デコードと呼ぶ．
字が 1 語彙となる候補は残す)
シード語彙集合の作成にはいくつかの方法が考えられるが，本研究では，全文字集合と上位 100 万の高頻度部分
3.1 BPE の問題点
文字列の和を用いる6 ．高頻度部分文字列は拡張接尾辞
BPE[10] 及び wordpiece[8] は，1 文字 1 語彙から開始配列を用いて線形時間で列挙可能である [6]．
し，連結した際に最も頻度3 が高くなる 2 つの語彙を選
BPE は，コーパス中のサブワード数 M の最小化を目び新たな語彙とする手続きを決められた語彙サイズに達的関数として貪欲に学習を行う辞書式データ圧縮手法で∑するまで繰り返すことで語彙結合ルールを学習する．分ある．一方，ユニグラムモデルは，対数尤度
log p(xi )割は，語彙結合ルールを同一順序で適用することで行わの最大化を目的関数とするエントロピー圧縮手法の一種れる．BPE および wordpiece は，決定的アルゴリズムである．このことは，任意のシンボル s の出現確率を psであるため，複数の分割を出力することは困難である．とすると − log ps の長さの符号語を割り当てた時に最短たとえ複数の分割が出力できたとしても，確信度の計算の符号となることから説明できる．テキスト圧縮というができないため，解候補からサンプリングしたり n-best
観点でこれら 2 つは共通しているが，ユニグラムモデル解を出力する等の拡張が難しい．
は言語モデルに基づいているため，尤度や確信度の計算，3.2 ユニグラムモデル
n-best 出力，サンプリング等の拡張が容易である．
本研究では，複数のサブワード分割を確信度付きで出力できる ユニグラムモデルに基づくサブワード分割方法を提案する．ユニグラムモデルでは，任意の分割x = (x1 , x2 , . . . , xM ) の分割確率 P (x) を各サブワードの生起確率 p(xi ) の積で表す4 (式 6)．

P (x) =M∏p(xi ), ∀i xi ∈ V,

i=1∑

p(x) = 1(6)x∈V

ただし，V は，事前に与えられた語彙集合である．入力文
X に対する最適分割列 x∗ は，全分割候補集合 x ∈ S(X)から P (x) が最大になる分割列をビタビアルゴリズムを用いて探索することで導出する (式 7)．

x∗ = arg max P (x)(7)

x∈S(X)

語彙集合 V が事前に与えられている場合，生起確率 p(xi )は，p(xi ) を隠れ変数とする尤度 L の最大化によって求3.3

ユニグラムモデルからのサンプリング

サブワード正則化では，分割候補から 1 つの分割を学習のイテレーションごとにサンプリングする．分割確率P (x|X) からの近似的サンプリング手法として n-best解の利用がある．具体的には，P (x) (x ∈ S(X)) の降
順に l 個の分割結果 (x1 , . . . , xl ) を求め [5]，P (xi |X) ∼=∑P (xi )α / li=1 P (xi )α をパラメータとする多項分布からxi をサンプリングする．ただし，α ∈ R+ は，確率分布のなめらかさを制御する逆温度パラメータである．
l → ∞ とすれば全解空間からサンプリングが可能であるが，全解を陽に列挙することは計算量の観点から困難である．l → ∞ のときには，Foward-filtering backward
sampling 法 (以下 FFBS)[9] を用いる． FFBS では，まず，全解集合をラティスとして表し，文頭から各サブワードまでの前向き確率を求める．次に，文末から文頭方向にラティスをたどりながら，各分岐ごとに前向き確率にしたがってサブワードをサンプリングしていく．

3 wordpiece の場合は尤度

5 全実験で η = 20 とした．

4 目的言語 y も同様に表せる．紙面の都合上割愛する．

6 BPE を十分な結合回数適用することも考えられる．

― 38 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

4

関連研究

サブワード正則化は，学習データに対するノイズ付加と関連性がある．ノイズ付加はニューラルネットワークの正則化として広く知られおり，その代表例の dropout[11]は，ノードの一部を無作為に削除することで過学習を低減させる効果がある．サブワード正則化は，学習時にサブワード列を確率的に変化させるという意味においてdropout と類似性がある．Denoising Autoencoder[13],(以下 DAE) は，入力層にノイズを加えることでノイズ除去するような学習がなされ汎化性能を向上させる技術である．自然言語処理においても，文の語順を無作為に変えた入力から元の文を復元するような DAE が教師なし NMT に応用されている [3, 1]．
また，サブワード正則化は，データ拡張としてとらえることもできる．同一文を不変操作により複数のサブワード列に展開することは，画像認識における移動，回転，縮小・拡大等のデータ拡張と共通点がある．

め，one-best デコードの結果のみとなる．
さらに，提案手法の正則化の効果を検証するために，分野の異なる社内評価コーパス (ウェブ，特許，クエリログ) を用いた評価も行った．ただし，KFTT，ASPECは，学習コーパスの分野が偏っておりベースラインの精度が低いため対象外とした15 ．

5.2

実験結果と考察

表 3 に，各コーパスにおける BLEU スコアを示す．
まず，いずれのコーパス，言語対においても，BPE とユニグラムモデル (l = 1) は，ほぼ同程度の BLEU スコアが得られている．両サブワード手法ともテキスト圧縮を基礎とすることから，大きな精度差が出るとは考えにくく，妥当な結果だといえる．
サブワード正則化 (l > 1) により，WMT14(en→cs)
以外で BLEU スコアの向上が確認できる．とくにサイズの小さいコーパス (IWSLT15, KFTT) での効果は大きい．サブワード正則化によるデータ拡張が小規模コーパスでより大きく作用したものと考察できる．
5 実験
サンプリング手法については，(l = 64, α = 0.1) の設定が全体的に高い精度を示しており，最適分割周辺のみ5.1 実験設定から保守的にサンプリングするだけで正則化の効果は十複数の言語対，サイズの異なるコーパスにて本手法の分であることが確認できる．
有効性を BLEU[7] を用いて検証した．NMT システムとまた，n-best デコードにより，WMT14 コーパス以外して GNMT[14] を用いた．GNMT は，Residual 結合付でさらなる BLEU スコアの向上が確認できる．ただし，
き複数層の LSTM 符号化，復号化による，注意機構付
n-best デコードの使用にはサブワード正則化は必須であき NMT システムである．表 2 にコーパスの概要と使用
り，正則化なし(l = 1) の場合は，逆に精度が悪化する
したパラメータをを示す7 8 9 10 11 ．共通の設定として，ケースもある．正則化なしの場合，最適分割に特化した
dropout 確率は 0.2 とし，学習には Adam[2] と SGD学習が行われ，複数の分割結果を効果的に扱えないことを組み合わせた手法を用いた [14]．デコード時の文長正が精度低下の要因と考えられる．
規化，被覆パラメータはともに 0.2 とした．IWSLT15，
表 4 に異なる分野のコーパスにおける結果を示す．標
WMT14 コーパスでは，Moses トークナイザ12 による前準データに比べ BLEU スコアの上昇が大きく，大規模処理結果から，それ以外は生文から符号，復号化共通のコーパスの WMT14(en→cs) についても改善が確認でき語彙とサブワードモデルを構築した．ただし，空白をまる．これらから，本手法が学習コーパスのサイズによらたぐサブワードは語彙の対象外とした13 ．評価時の単語ず分野の違いに頑健であることがわかる．
分割には，ja は KyTea14 , zh は文字による分割，それ以外は Moses トークナイザを用いた．
6 おわりに各コーパス，言語対において 7 つのシステムの比較を本研究では，複数のサブワード分割を用いた NMT の行った．ベースラインは，BPE 分割のみを用いる手法ための正則化手法 (サブワード正則化) を提案した16 ．複とした．提案手法については、サンプリング方法の異な数の言語対，コーパスによる実験にて BLEU スコアのる 3 種類の実験を行った．1 つは，ユニグラムモデルの向上を確認した．本手法は，小規模のコーパスにおいてベスト解のみを用いる手法 (l = 1) であり，BPE とユニとくに有効性が高い．また，分野の異なるコーパスに対グラムモデルの比較を目的としている．ほかに予備実験する頑健性も明らかになった．本手法は，言語非依存で結果から選択した (l = 64, α = 0.1)，(l = ∞, α = 0.5) のあり，既存 NMT モデルの変更が必要ないため適用範囲パラメータでサンプリングを行った (3.3 章参照)．また，が広い．
デコード法として one-best と n-best デコードの比較を
今後の課題としては，まず，対話生成や自動要約等の行った (2.2 章参照)．BPE は複数分割出力ができないたニューラル言語生成への応用が挙げられる．これらの応用は，十分な学習データが確保できないことが多く，サ
7 IWSLT15: http://workshop2015.iwslt.org/
8 KFTT: http://www.phontron.com/kftt/
ブワード正則化によるデータ拡張が有効に機能する可能
9 ASPEC: http://orchid.kuee.kyoto-u.ac.jp/ASPEC/性が高い．さらに，データ拡張，ノイズ付加，テキスト
10 WMT14: http://statmt.org/wmt14/の自己符号器等の基礎技術基盤としてサブワード正則化
11 WMT14(en↔de) は，文献 [14] と同一設定である．
12 https://github.com/moses-smt/mosesdecoder/blob/の応用範囲を模索したい．

master/scripts/tokenizer/tokenizer.perl
13 英語等では，頻度付き単語集合からのサブワード学習と同一になる．
14 http://www.phontron.com/kytea/index-ja.html

15 京都に関するウィキペディア記事 (KFTT) と論文 (ASPEC) が対象であり，異分野の翻訳は困難であると判断した．
16 https://github.com/google/sentencepiece から入手可能．

― 39 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 評価用コーパスの概要
文数
コーパス
IWSLT15KFTTASPECWMT14

言語対en ↔ vien ↔ zhen ↔ jaen ↔ jaen ↔ deen ↔ cs

学習133k
209k
440k
2M
4.5M
15M

開発
1553
8871166
1790
3000
3000

評価
1268
1261
1160
1812
3003
3003

パラメータ

語彙サイズ
Enc/Dec 共有

LSTM，
埋め込み層次元数

LSTM レイヤ数(Enc+Dec)

16k
16k
8k
16k
32k
32k

512
512
512
512
1024
1024

2+22+2
6+6
6+68+88+8

表 3: 実験結果 (BLEU(%)) (l はサブワードのサンプリング対象数、α は逆温度パラメータ)
提案法 (one-best デコード)

コーパス
IWSLT15

KFTT
ASPEC
WMT14

言語対
en → vi
vi → enen → zhzh → enen → jaja → enen → jaja → enen → dede → enen → cs
cs → en

ベース
ライン
25.61
22.48
16.70
15.76
27.85
21.37
40.62
26.51
24.53
28.01
25.25
28.78

l = 64
α = 0.1
27.68
24.73
19.36
17.79
30.37
22.33
41.24
27.08
25.04
28.83
25.41
29.64

l=1

25.49
22.32
16.90
15.88
28.92
21.46
40.66
26.76
24.50
28.65
25.54
28.84

表 4: 異分野コーパスによる評価結果 (BLEU(%))(l = 64, α = 0.1, one-best デコード)
分野

ウェブ

コーパス
IWSLT15

WMT14

特許

クエリ

WMT14

IWSLT15
WMT14

言語対ベースライン

提案法

en → vi
vi → enen → zhzh → enen → dede → enen → cs
cs → enen → dede → enen → cs
cs → enen → zh
zh → enen → dede → en

13.86
7.83
9.71
5.93
22.71
26.42
19.53
25.94
15.63
22.74
16.70
23.20
9.30
14.94
25.93
26.24

16.51
10.08
12.73
8.71
26.02
29.63
21.41
27.86
25.76
32.66
19.38
25.30
11.25
19.48
29.82
30.90

提案法 (n-best デコード, n = 64)l=∞α = 0.5

l=1

l = 64
α = 0.1l=∞
α = 0.5

26.50
24.01
18.55
16.75
30.01
22.04
41.23
27.14
24.74
29.39
25.26
29.41

25.33
22.04
16.73
16.23
28.55
21.37
40.86
27.49
22.73
28.24
24.88
25.77

28.18
24.66
20.14
17.75
31.46
22.47
41.55
27.75
25.00
29.13
25.49
29.23

26.98
23.93
19.22
17.44
31.43
22.64
41.87
27.89
24.57
29.97
25.38
29.15

[5] M. Nagata. A stochastic japanese morphological analyzer
using a forward-dp backward-a* n-best search algorithm. InIn Proc. of COLING, 1994.
[6] G. Nong, S. Zhang, and W. H. Chan. Linear suﬃx array
construction by almost pure induced-sorting. In In Proc. ofDCC, 2009.
[7] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu. Bleu: amethod for automatic evaluation of machine translation. InIn Proc. of ACL, 2002.
[8] M. Schuster and K. Nakajima. Japanese and korean voicesearch. In In Proc. of ICASSP, 2012.
[9] S. L. Scott. Bayesian methods for hidden markov models:Recursive computing in the 21st century. Journal of theAmerican Statistical Association, 2002.
[10] R. Sennrich, B. Haddow, and A. Birch. Neural machinetranslation of rare words with subword units. In Proc. ofACL, 2016.
[11] N. Srivastava, G. E. Hinton, A. Krizhevsky, I. Sutskever,and R. Salakhutdinov. Dropout: a simple way to preventneural networks from overfitting. JMLR, 15(1), 2014.

参考文献[12] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones,
A. N. Gomez, L. Kaiser, and I. Polosukhin. Attention is all
you need. arXive preprint arXiv:1706.03762, 2017.

[1] M. Artetxe, G. Labaka, E. Agirre, and K. Cho. Unsupervised neural machine translation. arXive preprint
arXiv:1710.11041, 2017.

[13] P. Vincent, H. Larochelle, Y. Bengio, and P.-A. Manzagol.
Extracting and composing robust features with denoising
autoencoders. In Proc. of ICML, 2008.

[2] D. P. Kingma and J. B. Adam. A method for stochastic
optimization. 2014. arXiv preprint arXiv:1412.6980.

[14] Y. Wu, M. Schuster, et al. Google’s neural machine translation system: Bridging the gap between human and machinetranslation. arXiv preprint arXiv:1609.08144, 2016.

[3] G. Lample, L. Denoyer, and M. Ranzato. Unsupervisedmachine translation using monolingual corpora only. arXive
preprint arXiv:1711.00043, 2017.
[4] M.-T. Luong, H. Pham, and C. D. Manning. Eﬀective approaches to attention-based neural machine translation. In
Proc of EMNLP, 2015.

― 40 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.