マルチソースニューラル機械翻訳における翻訳時の原言語欠落補完
西村 優汰1

須藤 克仁1 Graham Neubig2,11
奈良先端科学技術大学院大学
2
Carnegie Mellon University中村 哲1{nishimura.yuta.nn9, sudoh, s-nakamura}@is.naist.jp
gneubig@cs.cmu.edu
1

はじめにを介する事によって翻訳精度を向上させている．複数あ

機械翻訳の精度は対訳コーパスのデータ量に大きな影る原言語側に欠落がある入力文に対する multi-encoder

響を受けるため，十分な資源のない言語対では高精度なNMT でも，欠落している言語を中間言語と考え，中間言語の擬似対訳文を生成し，欠落を補完することによって翻訳精度が向上すると考えられる．そこで本稿では，通常の単言語入力の NMT によって欠落している言語の擬似対訳文の複数候補を生成し，multi-encoder NMT において最適となる擬似対訳文候補を選択して翻訳する手法を提案する．欠落が存在するテストセットを利用した実験においていくつかの欠落補完手法を比較し提案手法の有効性を示した．

機械翻訳の実現が困難である．このような問題を解決するため，大規模コーパスのある言語対と組み合わせて翻訳を行う多言語機械翻訳手法 [1, 2, 3] が提案されている．特に，原言語が複数，目的言語が 1 つのものはマルチソース機械翻訳 (multi-source MT) と呼ばれ，単言語対で翻訳を行う手法よりも高い精度が得られている[4, 1, 5]. Multi-source MT では，欠落している対訳が存在しないコーパスからの学習を前提としているが，多言語の対訳文が存在するコーパスではある文に対して全ての言語に対応する文が揃っている状況は非常に限定される．本研究では，このように複数言語の対訳コーパスにおいて対訳文が完全に揃っていないもの（本稿では欠落コーパスと呼ぶ）を活用する multi-source MT に着目し，そのためにニューラル機械翻訳 (NMT) の一手法である multi-encoder NMT を利用する．Multi-source
MT における欠落の問題は学習時と翻訳（テスト）時の両方で起こり得る．学習時における問題は，欠落コーパスにおける欠落が存在する対訳文も学習に使用する手法として，欠落を特殊記号で置換する手法 [6] や学習済み multi-encoder NMT を用いた擬似対訳で置換する
手法 [7] が提案され，その有効性が示されている．一方で，翻訳時における問題については未着手である．
そこで，本稿では，学習時ではなく翻訳時に multiencoder NMT を利用することによって翻訳精度の向上を図る手法を提案する．具体的には，小資源言語対の翻訳精度向上を図るべく，大規模な対訳文が存在する中間言語を介して翻訳を行うピボット機械翻訳手法 [8] を参考にした multi-encoder NMT 手法を提案する．ピボット
機械翻訳では，ある言語対においてその言語対で機械翻訳を行うよりも容易に機械翻訳が行えるような中間言語

2 Multi-encoder NMT
2.1 Multi-encoder NMTZoph ら [1] は，原言語を複数，目的言語を１つ (Many-toOne) 用いた multi-encoder NMT を提案している．この手法では，エンコーダを原言語の数，デコーダを 1 つ用いることで機械翻訳を行なっている．multi-encoder NMTを行うことで単言語対での機械翻訳よりも精度向上に有効であることが示されている．ここで，multi-encoder
NMT におけるエンコーダとデコーダの接続部分について簡潔に述べる．原言語が 2 種類ある場合を考える．各エンコーダの最終 hidden 層をそれぞれ h1 ,h2 とし，cellも同様に c1 ,c2 とする．この時，デコーダの hidden 層の初期状態 h，cell の初期状態 c は次のように与えられる．
h = tanh(Wc [h1 ; h2 ])(1)

c = c1 + c2

(2)

また，Attention についても簡潔に述べる．タイムス
テップ t の時の各エンコーダの context vector を c1t ,c2t ，デコーダの hidden 層を ht とした時のデコーダの softmax
層に送る前の最後の hidden 層 h˜t は次のように与えられる．

h˜t = tanh(Wc [ht ; c1t ; c2t ])(3)SpanishOriginal¿Cómo está?
EnglishFrenchComment ça va?

Arabic__NULL__How are you?

English¿Cómo está?

PseudoFrench

図 1: 欠落を特殊記号で置換した multi-encoder NMT: ア

Original

How are you?

Comment ça va?

SpanishOriginal
How are you?

Data Augmentation withtrained multi-encoder NMT{English, Spanish}-to-French

EnglishOriginal¿Cómo está?

ラビア語の対訳文が欠落している．

Spanish欠落を考慮した multi-encoder NMT モデルの学習

図 2: 欠落コーパスを用いた multi-encoder NMT におけMulti-encoder NMT の学習時に欠落コーパスを活用する手法について述べる．

る対訳文補完の例．この例では，フランス語の対訳文2.2が欠落している．

特殊記号による置換 我々は，multi-encoder NMT の精

Original 𝑒#%

度を向上させるために，欠落コーパスであっても利用可能な対訳文は余すところなく学習に利用する手法を提案し，有効性を示した [6]．図 1 で示されているように，コーパス中の欠落している部分に欠落部分であることを示す特殊記号 “ NULL ”を文の代わりに挿入することによって欠落部分を埋めている．

Multi-encoder NMT による擬似対訳での補完 我々は，上記の手法を改良して，学習済みの multi-encoder NMTを用いて擬似対訳を生成し，欠落部を補完するという手法を提案し，有効性を示した [7]．図 2 を用いて，簡単に説明を行う．この図における使用言語は英語，スペイン語，フランス語の 3 言語であり，最終的な目的は，スペイン語の翻訳を得ることである．これは以下の 3 つの処理によって実現される．まず初めに，フランス語の擬似対訳を得るために multi-encoder NMT の学
習 (原言語: 英語，スペイン語，目的言語: フランス語)を行う．この時，原言語側に欠落している対訳がある場
合は，特殊記号 “ NULL ” で置換して学習を行う．次に，コーパス中の欠落しているフランス語対訳を補完するために，学習を行った multi-encoder NMT モデルで擬似対訳を生成し，欠落を補完する．最後に，欠落を補完したコーパスを用いて，新しく multi-encoder NMTの学習 (原言語: 英語，フランス語, 目的言語: スペイン語) を行う．
しかし，この手法では学習時の原言語側の欠落を補完するだけで，最終的に翻訳したい文の原言語側に欠落がある場合には適用できないという問題点がある．

3提案手法𝑓)%
Pseudo 𝑒̃ #$$Pseudo 𝑒̃ #$'Pseudo 𝑒̃ #$𝑒&%%𝑎(𝑒̃#$, 𝑒&%)𝑒&$

$ , 𝑒$ )𝑎(𝑒̃#$&𝑒&'' , 𝑒' )𝑎(𝑒̃#$&𝑓*

図 3: 複数の疑似対訳候補を考慮した multi-encoder NMT
よって擬似対訳の複数候補を生成し，欠落を補完する最適な擬似対訳を選択する手法を提案する．提案手法を
図 3 を用いて説明する．ここで，原言語の対訳文が es1と es2 で，目的言語の対訳文が et である multi-encoder

NMT fm を想定し，この時，対訳文 es2 は欠落していると仮定している．まず初めに，原言語が s1 であり，目的言語が s2 である one-to-one NMT fo の訓練を行う．
次に，訓練を行った fo を用いて欠落部分を補完するために，ビーム探索によって n-best の擬似対訳 Ẽs2 ={ẽ1s2 , ..., ẽns2 } を生成する．この時，n-best の擬似対訳の文の生成確率を Ps = {p(ẽ1s2 |fo , es1 ), ..., p(ẽns2 |fo , es2 )}とする．生成した n-best の擬似対訳，それぞれを用いて multi-encoder NMT の出力文 Et = {e1t , ..., ent } を得る．Multi-encoder NMT の出力文の生成確率を Pt ={p(e1t |fm , es1 , ẽ1s2 ), ..., p(ent |fm , es1 , ẽns2 )} とする．最後に，以下の式によって最終的な翻訳文 et を決定する．
a(ẽns2 , ent ) = ε ln p(ẽns2 |fo , es1 ) + (1 − ε) ln p(ent |fm , es1 )e˜s2 , et =arg maxn
ens2 ,et ∈Es2 ,Eta(ẽns2 , ent )

(4)
(5)

また，式 4 中の ε はハイパーパラメータであり，one-to-

最終的に翻訳したい文の原言語側に欠落がある場合， one NMT を用いた擬似対訳の出力と multi-encoder NMTの出力のどちらを重視するかを調整するためのもので我々の先行研究 [7] では，欠落を擬似対訳で補完することができないという問題があった．そこで，multi-encoderある．本提案手法によって，様々なパターンの擬似対訳

NMT における原言語のみを用いた one-to-one NMT に候補が考慮されることが期待される．

表 1: 訓練文数，欠落文数，テストにおける文数．各目

最適化のアルゴリズムとして Adam を使用し，gradient的言語において，“train”は訓練文数，“missing” は各言clipping を 5 に設定した．評価手法として，BLEU[12]を使用し，評価ツールとして SacreBLEU1 [13] を用いた．開発データでの Log Perplexity が最小となった時点でのパラメータを保存し，テストデータで評価した．提案手法における n-best を本実験では 5-best とした．

語の組み合わせの中で欠落が存在する言語における欠落している訓練文数と欠落度合い，“test” は欠落が存在するテストの対訳文数を示している．

4

Pair

Trg

train

missing

test

en-hr/srhr
sr

11512712946134116 (29.6%)
48450 (37.4%)

1145
896

en-sk/csskcs

58109
97488

16772 (28.9%)56151 (57.6%)

602
1966

法との比較を行った．まず 1 つ目が，原言語を英語と

en-vi/idvi
id15082977936

81945 (54.3%)
9052 (11.6%)1405
333と同様に補完を行うが，複数候補でなくビーム探索に実験

翻訳時の原言語側の欠落を擬似対訳で補完する手法と4.3 Baseline 手法
提案手法との比較として，以下に示す 2 つの baseline 手
した one-to-one NMT である．次に 2 つ目が，提案手法よる 1-best のみを利用する multi-encoder NMT である．

4.4

実験結果

表 2 に実験結果を示す．表 2 中の “proposed” におけるBLEU は，それぞれの目的言語において最適なハイパーパラメータ ε を用いた文から算出したものである．最在するテストセットにおいていくつかの欠落補完手法
適なハイパーパラメータ ε は，0 から 1 の間で値を 0.05を比較する実験を行った．
ずつ変えていき，BLEU が最大となるものとした．まず，提案手法は，1-best の擬似対訳で欠落を補完した時
4.1 実験データよりも高い翻訳精度を得られていることがわかる．この
本実験には，TED talks の多言語コーパスを用いた．こことから，one-to-one NMT における最適な出力結果がの多言語コーパス中におけるそれぞれの対訳文の量はmulti-encoder NMT に用いる対訳文の欠落を補完する文言語によって大きく異なる．本実験では，以下に示す 3として必ずしも最適ではないことがわかり，また，提案つの言語セットを用いた．
手法は n-best の出力結果からどの出力文が欠落を補完• 英語 (en)，クロアチア語 (hr)，セルビア語 (sr)するのに適切であるかを選択する手法として有効性を示• 英語 (en)，スロバキア語 (sk)，チェコ語 (cs)
すことができた．しかし，目的言語がセルビア語とチェ• 英語 (en)，ベトナム語 (vi)，インドネシア語 (id)コ語の場合では，原言語が英語の one-to-one NMT における BLEU よりも提案手法における BLEU の方が低い
また，TED talks のコーパスから 1 文の長さが 40 語より少ない文を抽出し実験に使用した．TED talks では， が，表 1 において各言語対内でセルビア語とチェコ語の訓練文数はクロアチア語とスロバキア語の訓練文数よ原則として英語の講演が元になっているので，必然的り多いことから，提案手法は各言語対内で訓練文数が少に英語は原言語の一つとなり，各言語対の中で英語以外ない言語に対して有効に働くのではないかと考えられの言語をそれぞれ目的言語，原言語の 1 つとした．そる．また，言語対が en-sk/cs の場合は one-to-one NMT
れぞれの言語対，目的言語で使用可能な訓練文数，テと proposed method での BLEU の差が大きいが，言語対スト文数を表 1 に示す．
が en-hr/sr の場合は差が小さいことがわかり，表 1 から4.2 実験設定
スロバキア語とチェコ語での訓練文数の差は大きいが，実験に使用した NMT モデルの詳細を以下に示す．NMT
クロアチア語とセルビア語での訓練文数の差は小さい
モデルは，Luong ら [9] によって提案された Global Attenことがわかることから，言語対での各目的言語におけtion と Input Feeding を使用し，さらにエンコーダでは， る訓練文数の違いが大きいほど，提案手法は有効に働
Bahdanau らの手法 [10] に使用された Bidirectional Enくと考えられる．
coder を使用した．hidden 層と embed 層のユニット数は4.5 分析
それぞれ 512 とした．Multi-encoder NMT の学習手法と式 5 で定義したように，提案手法ではハイパーパラメーしては，我々の先行研究 [7] を用いた．SentencePiece[11]タ ε を用いている．ε の値によって翻訳精度がどのようを用いてサブワード分割を行い，各言語対における全てして提案手法が有効であることを示すため，欠落が存の言語の訓練文をまとめて統一のサブワードモデルを作成し，サブワード語彙数は 16000 とした．モデルの1 https://github.com/awslabs/sockeye/tree/
master/sockeye_contrib/sacrebleu

似対訳文候補を選択して翻訳する手法を提案し，実験

表 2: BLEU による実験結果

Baselineにより有効性を示した．しかし，言語の組み合わせやProposed

訓練文数の違い，欠落の度合いなどによって，結果にば

Pair

Trg

one-to-one(En-to-Trg)

1-best(5-best)

らつきがあるので更なる調査が必要である．

en-hr/sr

hr
sr

22.58
16.38

22.55
15.71

22.62
16.17

謝辞

en-sk/csskcs

14.16
15.13

16.57
13.63

16.91
13.89の助成を受けたものである．

en-vi/idviid

22.62
26.41

22.96
26.23

23.42
26.97

本研究の一部は JSPS 科研費 JP16H05873 と JP17H06101

参考文献

0.20

hrsrskBLEU differences

0.00

csid

[3] Melvin Johonson, Mike Schuster, Quoc V. Le, Maxim Krikun, Yonghui Wu,Zhifeng Chen, Nikhil Thorat, Fernanda Vigas, Martin Wattenberg, Greg Corrado, Macduff Hughes, and Jeffrey Dean. Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation. Transactions of
the Association for Computational Linguistics, vol. 5, pages 339–351, 2017.

-0.40

0.25

0.50

0.75

1.00𝜺図 4: ε を変化させた時の BLEU の変化．ε が 0.5 である時の BLEU を基準とし，各 ε での BLEU との差分を示している．に変化するかを調べるために，ε を 0.05 ずつ変化させた
時の BLEU の変化を調査した．図 4 は，それぞれの目的言語において ε を変化させた時の BLEU の変化を示している．この図では，ε が 0.5 である時の BLEU を基準とし，各 ε での BLEU との差分を示している．目的言語がチェコ語，クロアチア語以外の全ての言語では ε が0.5 以下である時の方が高い BLEU を得られていることから，これらの目的言語では multi-encoder NMT での出力文の生成確率の方がより重要であることがわかる．また，one-to-one NMT での出力文の生成確率がより重要であるクロアチア語では，提案手法と 1-best で擬似対訳を生成した時の BLEU の差が他の言語対に比べて小さいことが表 2 からわかる．このことから，multi-encoder

NMT での出力文の生成確率の方がより重要である場合の方が，提案手法がより有効に働くと考えられる．

5[2] Daxiang Dong, Hua Wu, Wei He, Dianhai Yu, and Haifeng Wang. MultiTask Learning for Multiple Language Translation. In Proceedings of the53rd Annual Meeting of the Association for Computational Linguistics, pages
1723–1732, Beijing, China, July 2015. Association for Computational Linguistics.

vi-0.20

-0.60
0.00

[1] Barret Zoph and Kevin Knight. Multi-Source Neural Translation. InProceedings of the 2016 Conference of the North American Chapter of theAssociation for Computational Linguistics: Human Language Technologies,pages 30–34, San Diego, California, June 2016. Association for Computational Linguistics.

おわりに本研究では，多言語の欠落コーパスを翻訳時に活用する multi-encoder NMT に着目し，通常の単言語入力のNMT によって欠落している言語の擬似対訳文の複数候補を生成し，multi-encoder NMT において最適となる擬[4] Franz Josef Och and Hermann Ney. Statistical Multi-Source Translation. In
Proceedings of the eighth Machine Translation Summit (MT Summit VIII),
pages 253–258, September 2001.
[5] Ekaterina Garmash and Christof Monz. Ensemble Learning for Multi-Source
Neural Machine Translation. In Proceedings of COLING 2016, the 26th
International Conference on Computational Linguistics: Technical Papers,pages 1409–1418, Osaka, Japan, December 2016. The COLING 2016 Organizing Committee.
[6] Yuta Nishimura, Katsuhito Sudoh, Graham Neubig, and Satoshi Nakamura.
Multi-Source Neural Machine Translaion with Missing Data. In Proceedingsof the 2nd Workshop on Neural Machine Translation and Generation, pages
92–99. Association for Computational Linguistics, July 2018.
[7] Yuta Nishimura, Katsuhito Sudoh, Graham Neubig, and Satoshi Nakamura.
Multi-source neural machine translation with data augmentation. In 15th
International Workshop on Spoken Language Translation (IWSLT), Bruges,Belgium, October 2018.
[8] Hua Wu and Haifeng Wang. Pivot language approach for phrase-based statistical machine translation. Machine Translation, 21(3):165–181, 2007.
[9] Thang Luong, Hieu Pham, and Christopher D. Manning. Effective Approaches
to Attention-based Neural Machine Translation. In Proceedings of the 2015
Conference on Empirical Methods in Natural Language Processing, pages
1412–1421, Lisbon, Portugal, September 2015. Association for Computational Linguistics.
[10] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural MachineTranslation by Jointly Learning to Align and Translate. In Proceedings of the3rd International Conference on Learning Representations, May 2015.
[11] Taku Kudo. Subword regularization: Improving neural network translation
models with multiple subword candidates. In Proceedings of the 56th Annual
Meeting of the Association for Computational Linguistics (Volume 1: LongPapers), pages 66–75. Association for Computational Linguistics, 2018.
[12] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu. BLEU: aMethod for Automatic Evaluation of Machine Translation. In Proceedingsof the 40th Annual Meeting of the Association for Computational Linguistics(ACL), pages 311–318, Philadelphia, July 2002.
[13] Matt Post. A call for clarity in reporting BLEU scores. In Proceedings ofthe Third Conference on Machine Translation: Research Papers, WMT 2018,Belgium, Brussels, October 31 - November 1, 2018, pages 186–191, 2018.