ニューラル機械翻訳における複数モデルの利用
Usage of Multiple Models in Neural Machine Translation

国立研究開発法人情報通信研究機構

先進的音声翻訳研究開発推進センター主任研究員

今村

賢治

2004 年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士課程修了。1985 年日本電信電話株式会社。
2014 年株式会社 ATR-Trek より NICT に出向。機械翻訳の研究に従事。

国立研究開発法人情報通信研究機構

先進的音声翻訳研究開発推進センター副センター長

隅田

英一郎

1999 年京都大学大学院博士（工学）取得。1982 年日本アイ・ビー・エム。2002 年 ATR。2010 年 NICT（2016年同フェロー）。機械翻訳の研究に従事。

1 はじめに

表1

アンサンブルとリランキングのメリット・デメリット

メリット

近年主流となっているニューラル機械翻訳（neural［1］［2］
は、単一のモデル
machine translation; NMT）

でも高い翻訳性能を示すことが多いが、複数のモデルを用いると、さらに良質な翻訳が可能となる。複数のモデルを使う代表的な方法としては、アンサンブル

［3］

とリ

ランキング（たとえば［4］）が知られている。このうち、
アンサンブルは、複数のモデルで独立にエンコード、デ
コードを行い、その出力を平均する（2.1 節参照）。一方、
リランキングは、あるモデル A で翻訳仮説を N 個生成（Nデメリット

アンサンブ ・すべての翻訳仮説 ・語彙またはデコー
ド方向が異なるモルが候補となる
デルは併用不可・並列処理による高・全 モデルを GPU
速化が可能に載せた方がよい
リランキン ・言 語 対 が 同 じ な ・N ベストリストにない候補は選択でグ
ら、どのようなモ
きない
デルも併用可・N ベスト生成、再 ・処理は逐次的
スコアリングそれ
ぞれのモデルがGPU に 載 れ ば、
高速に動作

ベスト翻訳）し、それを別のモデル B で再スコアリング、

翻訳精度を、長さ正規化を行ったうえで測定した結果に最もスコアの高い仮説を出力する（2.2 節参照）
。両者

ついて報告する。

には、表 1 に示すようなメリット、デメリットがあり、精度の向上が期待できる。

2 方式［5］はアンサンブルとリランキングを併用した複数モ

本稿で仮定するニューラル機械翻訳は、再帰ニューラ

デル利用法を提案した。彼らは、文の尤度をそのまま用

ルネットワーク（recurrent neural network; RNN）ベー

いて方式比較を行ったが、方式や設定によって、尤度最スのエンコーダー・デコーダー方式である。sequence-

大の翻訳文の長さは異なる。そのため、文の長さを調整

to-sequence モデルとも呼ばれる。エンコーダーは、（正規化）してから、方式比較をすべきである。本稿では、入力文を状態と呼ばれる固定長の実数ベクトルに符号化

中規模の医療コーパスを例にとり、複数モデル利用時のする。デコーダーは、状態から、翻訳文を 1 単語ずつ

これらの特徴を考慮して組み合わせることにより、翻訳

304

つの処理におけるメモリ使用量がアンサンブルの半分でコあるため、この組み合わせでより多くのモデルを組み合化をわせることができる。

ト[のt生成してゆく。最終的にデコーダーが文末記号（end-ofsentence; EOS）を生成したら翻訳を終了する。

2.1

双方

入力文�

アンサンブル

デコーダーが翻訳文を 1 単語ずつ生成する過程で、全単語の生成確率（事後確率分布）を保持した単語出力分布が生成される。これは、語彙サイズの次元を持った実数ベクトルである。通常は、単語出力分布から、確率

モデルA
逆方向
デコーディング

モデルB
順方向
デコーディングNベストリスト

再スコアリング

翻訳1 (score=���)翻訳2(score=���):翻訳N (score=��� )score=���
score=���
:score=���

する方法である。ビームサーチは、この平均化ベクトル選択��� � ����� � ������
2
�

を元に行われる。なお、モデルの訓練時は、複数のモデ

図 1 双方向リランキングの構成の高い単語が選択され、ビームサーチへと送られる。一方アンサンブルは、複数のモデルの単語出力分布を平均

テ

翻訳

を用

出力文�
�

4

元）

双方向リランキングの構成

ンはしかし、良い仮説が N ベストリストに入らない場合は、

1 モデルにおける出力単語の選択を式（1）であらわす

翻訳品質は変わらないというデメリットもある。

〔3〕と、アンサンブルにおける出力単語の選択は、式
（2）と

2.3

なる。

ŷt＝argmax Pr（y│t y<t，x；M）
yt

ŷt＝argmax
yt

1
Pr（y│

t y<t，x；Mj）
J∑
j＝1
J

（1）
（2）

両者の組み合わせ

本稿では、アンサンブルとリランキングのメリット、デメリットを考慮して、組み合わせるために、全体をリランキングで構成する。全体構成を図 1 に示す。N ベ

ただし、yt は時刻 t における出力単語、y<t は、先頭か

スト生成、再スコアリングそれぞれでアンサンブルを使ら t 直前までの出力単語の履歴、x は入力単語列、M は用して、複数モデルを組み合わせる。リランキングは、

モデル（Mj は複数モデルの j 番目）、J はモデル数（ア1 つの処理におけるメモリ使用量がアンサンブルの半分

ンサンブル数）である。

であるため、この組み合わせでより多くのモデルを組みアンサンブルは、単語出力分布を平均するため、目的合わせることができる。

言語の語彙はすべてのモデルで同じものを使用する必要

今回、すべてのモデルについて、語彙は同一のセットがある。また、ビームサーチはアンサンブルの後に適用を使用する。また、各モデルは、ランダムシードを変えされるため、デコード方向（文頭から文末か、文末からて学習した同一構成のものを使用する。

文頭か）は、全モデルで一致していなければならないという制約がある。

リランキングでは、N ベスト生成と再スコアリング
で、デコード方向が異なるモデル（アンサンブルでは組
み合わせ不可能）を使用することができる。これを双方

2.2

リランキング向リランキングと呼ぶ。具体的には、N ベスト生成では、リランキングは、2 ステップの翻訳方式である。まず、文末から文頭方向（逆方向）にデコーディングを行い、モデル A で N ベスト翻訳を行い、翻訳仮説を N 個生成

再スコアリングでは、文頭から文末（順方向）にデコーする。次に、別のモデル B で各翻訳仮説を再スコアリ

ディングを行う。そして、双方向の対数尤度を平均し、ングする。最終的にモデル A によるスコアとモデル B

最大の仮説を出力する。

によるスコアから、最も高い仮説を選択して出力する（図1）。本稿では、対数尤度の算術平均を使用する。
リランキングは、言語対が合っていれば、どのようなモデルも利用できる。また、全体では 2 モデルを使用するにも関わらず、1 ステップで使用するモデルは１つ

機械翻訳技術の向上

ルはそれぞれ独立に、通常どおり訓練する。

図1

サブ

3 実験
本節では、提案方法の効果を、日英翻訳の翻訳品質で評価する。

なので、使用メモリはアンサンブルに比べると少ない。

YEAR BOOK 2O18 305

3.1

実験設定

となる［12］。つまり、本来なら翻訳文は、参照訳と（ほぼ）コーパス：本稿で用いたコーパスは、内部開発の医療同じ長さになるべきだが、短めの訳になる場合が多い。

コーパスである。コーパスサイズを表 2 に示す。これは、この現象は、異なるモデルの翻訳品質を比較する場合

病院等における患者とスタッフの会話を、ライターが作に問題となる。つまり、BLEU のように翻訳文と参照

文したものである。日本語で作成した疑似対話文を英語訳との長さの差異もスコアに取り入れている評価指標のに翻訳することで作成した。

場合、モデルの品質ではなく、単なる翻訳文の長さの違

表2

種別

文数

いがスコアの差になってしまう場合がある。この問題をコーパスサイズ避けるためには、文の尤度を単語数で正規化するのが有サブワード数（タイプ数）

訓練

238,214 日：約 381 万語（20,332 タイプ）

開発

1,000 英：約 325 万語（21,049 タイプ）

テスト

1,000

効である。
本稿では、単語ペナルティ方式による正規化［13］を行う。この方式では、文の尤度を以下の式で表す。

コーパスのすべての文について、Unicode の NFKC

J（y│x）= ∑log Pr（y│＋WP ∙T
llbiast y<t，x）

正規化を行い、日本語は MeCab［6］、英語は Moses ツー（3）t

ルキット［7］ の tokenizer で単語分割した。英語に関し（y│x）は長さ正規化済みの文の対数尤度、
ただし、llbiasては、Moses の truecaser で単語正規化を行った。さWP は単語ペナルティ（WP≥0）、T は出力単語数である。

らに、日本語、英語双方について、バイトペア符号化

単語ペナルティ WP は正の値を設定するが、大きいほを用いて、約 2 万種のサブワードに分割した。

ど長い翻訳文が出力されるようになる1。

［8］

図 2 は、順方向モデルを単独で使用した場合（アン（LUA
翻訳システム：翻訳システムには、OpenNMT［9］サンブル数 1）の単語ペナルティと BLEU スコアおよ版）を用いた。エンコーダーは 2 層双方向 LSTM（500的勾配降下法(stochastic gradient descent; SGD)、学習率次元）、デコーダーは 2 層 LSTM（1,000
1.0 ＋500で 10 エポック、その後学習率を半減させながら6 エポ次

び長さ比の関係を表したグラフである。長さ比とは、テスト／開発セットの翻訳文の単語数の総和を、参照訳のンブル数1）の単語ペナルティと BLEU スコアおよび長元）、アテンションは［10］のグローバルアテンション
ック学習した。

単語数の総和で割ったものである。ただし、バイトペア
さ比の関係を表したグラフである。長さ比とは、テスト

なお、
2.3 節で述べた方式を実現するため、OpenNMT にを使用した。学習は確率的勾配降下法（stochastic
以下の改造を施した。
gradient descent; SGD）、
学習率 1.0 で 10 エポック、／開発セットの翻訳文の単語数の総和を、参照訳の単語符号化を使用しているため、サブワード数で長さ比を算

化を使用しているため、サブワード数で長さ比を算出し数の総和で割ったものである。ただし、バイトペア符号出した。
このグラフを見ると、BLEU スコアは、単語ペナルた。

ティを変化させると、1 ポイント程度変化する。そして、

・翻訳器をアンサンブル化した。
ンキングなどを行った。

1.08
22.0

BLEUスコア・デコーダーの学習および翻訳を、文末から文頭方向

バイトペア符号化を解除した単語列について
評価：評価は、に行えるようにした。
（detruecasing は行っていない）、BLEU[11]を用いて行っ翻訳は、ビーム幅 10 で 10 ベスト翻訳を行い、双方た。
向リランキングなどを行った。

1.10

22.5

3.2.評価：評価は、バイトペア符号化を解除した単語列につ単語ペナルティと⻑さ⽐

1.06
1.04

21.5

1.02
21.0

1.00
0.98

20.5

0.96

BLEU(テスト)
BLEU(開発)
⻑さ⽐(開発)

20.0

0.94
0.92

19.5

［11］
いて（detruecasingビームサーチによって、は行っていない）、BLEU
ニューラル機械翻訳は、
文の尤度を

⻑さ⽐

翻訳器をアンサンブル化した。
その後学習率を半減させながら 6 エポック学習した。
 デコーダーの学習および翻訳を、文末から文頭方向に
なお、2.3 節で述べた方式を実現するため、OpenNMT
行えるようにした。
に以下の改造を施した。
翻訳は、ビーム幅
10 で 10 ベスト翻訳を行い、双方向リラ

図 2 は、順方向モデルを単独で使用した場合（アンサ

0.90
0.00

0.20

0.40

0.60

0.80

単語ペナルティ

1.00

が最大の仮説を出力するが、これは、各単語の事後確率の総用いて行った。
積であるため、単語数が少ない仮説の方が有利となる[12]。

単語ペナルティと BLEU スコア、および長さ比の関連
図図22 単語ペナルティと
BLEU スコア、および長さ比のつまり、本来なら翻訳文は、参照訳と（ほぼ）同じ長さにな

関連

3.2

単語ペナルティと長さ比るべきだが、短めの訳になる場合が多い。
ニューラル機械翻訳は、ビームサーチによって、文のこの現象は、異なるモデルの翻訳品質を比較する場合に尤度が最大の仮説を出力するが、これは、各単語の事後問題となる。つまり、BLEUのように翻訳文と参照訳との確率の総積であるため、単語数が少ない仮説の方が有利
長さの差異もスコアに取り入れている評価指標の場合、モデルの品質ではなく、単なる翻訳文の長さの違いがスコアの差になってしまう場合がある。この問題を避けるために
306
は、文の尤度を単語数で正規化するのが有効である。

1

他にも、たとえば marian NMT［14］では、長さ正規化は以下の式で行っている。式（3）と同様に、WP を大きくした
このグラフを見ると、BLEU
スコアは、単語ペナルテ
場合、より長い仮説が選ばれやすくなる。

ィを変化させると、1ポイント程度変化する。そして、
Pr（y│t y＜t, x）∑t log（y│x）＝llnorm（4）

T
長さ比が 1.0 付近のとき、最大となる。これは、長さ比WPが 1.0 の時は、BLEU の簡潔ペナルティがなく、かつ n
グラム正解率も高く保持されるためである。
そこで本稿では、長さ比が一定になるように、単語ペ長さ比が 1.0 付近のとき、最大となる。これは、長さ

BLEU スコアは高くなった。双方向リランキングは、比が 1.0 の時は、BLEU の簡潔ペナルティがなく、かアンサンブル単独の２倍のモデルを使用するため、同じ

つ n グラム正解率も高く保持されるためである。

モデル数同士で比較したが、それでもこのデータでは双そこで本稿では、長さ比が一定になるように、単語ペ方向リランキングが高かった。

ナルティを調整し、精度を比較する。なお、サブワード
1.0 より少しずれる。本稿では、そのマージンを 0.02

4 まとめ程度とし、サブワードレベルでの長さ比が 0.98 になる

本稿では、アンサンブルとリランキングを併用した、から単語に戻す際にシンボル数が変化するため、長さ比

複数モデルの利用法について述べた。アンサンブルもリように単語ペナルティを調整する。

ランキングも、複数モデルを使うことで、BLEU スコ

3.3. 複数モデルの効果
3.3 複数モデルの効果

4.

ルを使用するので、使用する総モデル数は、アンサンブ
数の倍となっている。

アンサンブルとリランキングを併用した、複数
きに本稿では、
BLEU スコアが最高となり、まだ飽和していない
モデルの利用法について述べた。アンサンブルもリランキことが分かった。
ングも、複数モデルを使うことで、BLEU スコアは向上す
多数のモデルを使用すれば、翻訳品質を向上させられる。本稿では、のべ 32 モデルを使用したときに BLEU ス
ることが分かったため、今後は単独モデルの精度向上にコアが最高となり、まだ飽和していないことが分かった。

ル数の倍となっている。

注力する。
多数のモデルを使用すれば、翻訳品質を向上させられる

アの変化を表す。なお、双方向リランキングは、N ベス
アの変化を表す。なお、双方向リランキングは、N ベ

ト生成、再スコアリングでそれぞれアンサンブルモデル
スト生成、再スコアリングでそれぞれアンサンブルモデを使用するので、使用する総モデル数は、アンサンブル

ことが分かったため、今後は単独モデルの精度向上に注力

25.5

する。
謝辞

BLEUスコア25.0

本研究は総務省の情報通信技術の研究開発「グローバ24.5

ルコミュニケーション計画の推進- 多言語音声翻訳技術
謝辞

24.0
23.5

の研究開発及び社会実証-Ⅰ．多言語音声翻訳技術の研
本研究は総務省の情報通信技術の研究開発「グローバルコ
究開発」の一環として行われました。
ミュニケーション計画の推進-多言語音声翻訳技術の研究

23.0

開発及び社会実証- I.多言語音声翻訳技術の研究開発」の一

22.5

双⽅向リランキング

環として行われました。
参考文献

アンサンブル(逆⽅向)［1］Ilya Sutskever, Oriol Vinyals, and Quoc V. Le.

22.0

アンサンブル(順⽅向)2014. Sequence to sequence learning with
参考⽂献

21.5
0

2

4

6

8

10

図3

モデルの数と BLEU スコア

アンサンブル数

12

14

16

図 3 モデルの数と BLEU スコア

neural networks. In Proceedings of Advances[1] Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. 2014.
in Neural Information Processing Systems
Sequence to sequence learning with neural networks.
27
（NIPS
2014）
pages 3104–3112.
In
Proceedingsof, Advancesin Neural Information

基本的には、アンサンブル、双方向リランキングとも［2］Dzmitry
Bahdanau,
Processing
Systems 27KyungHyun(NIPS 2014),Cho,pagesand3104–

基本的には、アンサンブル、
双方向リランキングともに、に、モデル数を増やすとBLEU
スコアは向上する。ち
モデル数を増やすと BLEU スコアは向上する。ちなみに、
なみに、BLEU スコアが最高となったモデル数は、順
BLEU スコアが最高となったモデル数は、順方向および逆方向および逆方向アンサンブルでは 13 モデル、双方向
方向アンサンブルでは 13 モデル、双方向リランキングではリランキングでは 16 アンサンブル（のべ 32 モデル）
16 アンサンブル（のべ 32 モデル）であった。
であった。
このコーパスでは、逆方向モデルの方が、順方向モデルよ

3112.
YoshuaBengio. 2015. Neural machine[2] translation
Dzmitry Bahdanau,
KyungHyun
Cho,
and and
Yoshuaby jointly
learning toalign

このコーパスでは、逆方向モデルの方が、順方向モデ
り BLEU
スコアが高い傾向があるが、他のデータでも成り［3］PeterSalamon.
Salamon.
1990.
[3] Lars
LarsKai
KaiHansen
Hansen andand Peter
1990.
Neural立つ傾向かは不明である。
少なくとも、デコード方向を変え
ルより BLEU スコアが高い傾向があるが、他のデータ

network
ensembles.
IEEE Transactions
on Pattern
Neuralnetwork
ensembles.
IEEE Transactions

ると、翻訳品質が変わることがあると言える。
でも成り立つ傾向かは不明である。少なくとも、デコー
双方向リランキングは、アンサンブル単独よりも BLEU
ド方向を変えると、翻訳品質が変わることがあると言えスコアは高くなった。双方向リランキングは、アンサンブルる。
単独の２倍のモデルを使用するため、同じモデル数同士で双 方 向 リ ラ ン キ ン グ は、 ア ン サ ン ブ ル 単 独 よりも比較すると、それでもこのデータでは双方向リランキング

MachineIntelligence,
12(10):993–1001.
onAnalysis
Patternand
Analysis
andMachine Intelligence,[4] Franz Josef Och, Daniel Gildea, Sanjeev Khudanpur,
12（10）: 993–1001.
Anoop Sarkar, Kenji Yamada, Alex Fraser, Shankar［4］Franz Josef Och, Daniel Gildea, Sanjeev
Kumar, Libin Shen, David Smith, Katherine Eng,
Khudanpur, Anoop Sarkar, Kenji Yamada,
Viren Jain, Zhen Jin, and Dragomir Radev. 2004. Aが高かった。

Bengio. 2015. Neural machine translation by jointly
translate. In Proceedings of International
learning to align and translate. In Proceedings ofConference on Learning Representations
International
Conferenceon
Learning
（ICLR
2015）
.
Representations (ICLR 2015).

smorgasbord of features for statistical machinetranslation. In HLT-NAACL 2004:
Main
Proceedings,
YEAR
BOOK
2O18 307
pages 161–168, Boston, Massachusetts, USA

4

機械翻訳技術の向上

図
BLEUスコスコ
図 33は、アンサンブル数を変えたときのは、アンサンブル数を変えたときの BLEU

まとめ

アは向上する。本稿では、のべ 32 モデルを使用したとAlex Fraser, Shankar Kumar, Libin Shen,［10］Thang Luong, Hieu Pham, and D. Christopher

David Smith, Katherine Eng, Viren Jain,

Manning. 2015. Effective approaches toZhen Jin, and Dragomir Radev. 2004. A

attention-based neural machine translation.

smorgasbord of features for statistical

In Proceedings of the 2015 Conferencemachine translation. In HLT-NAACL 2004:

on Empirical Methods in Natural Language

Main Proceedings, pages 161–168, Boston,

Processing, pages 1412–1421, Lisbon,

Massachusetts, USA

Portugal.

［5］今村賢治、隅田英一郎．2017．双方向リランキン［11］Kishore Papineni, Salim Roukos, ToddWard,

グとアンサンブルを併用したニューラル機械翻訳に

andWei-Jing Zhu. 2002. Bleu: a method forおける複数モデルの利用法．情報処理学会研究報告 ,automatic evaluation of machine translation.

2017-NL-233, No.9, 10 月．

In Proceedings of the 40th Annual Meeting［6］Taku Kudo, Kaoru Yamamoto, and Yuji

of t he Associat ion f or Com put at io n a l

Matsumoto. 2004. Applying conditional

L i n g u i s t i c s （ A C L ）, p a g e s 3 1 1 – 3 1 8 ,random fields to Japanese morphological

Philadelphia, Pennsylvania, USA.

analysis. In Proceedings of EMNLP 2004,
pages 230–237, Barcelona, Spain.

Nagata. 2017. NTT neural machine translation［7］Philipp Koehn, Hieu Hoang, Alexandra Birch,

systems at WAT 2017. In Proceedings

Chris Callison-Burch, Marcello Federico,of the 4th Workshop on Asian Translation

Nicola Bertoldi, Brooke Cowan, Wade Shen,（WAT2017）, pages 89–94, Taipei, Taiwan.

Christine Moran, Richard Zens, Chris Dyer,［13］Yusuke Oda, Katsuhito Sudoh, Satoshi

Ondrej Bojar, Alexandra Constantin, andNakamura, Masao Utiyama, and Eiichiro

Evan Herbst. 2007. Moses: Open source

Sumita. 2017. A simple and strong baseline:

toolkit for statistical machine translation.

NAIST-NICT neural machine translation

In Proceedings of the 45th Annual Meetingsystem for WAT2017 English-Japaneseo f t he As s o c i a ti o n fo r C o m p u t a t ionaltranslation task. In Proceedings of the 4th

Linguistics Companion Volume Proceedings

Workshop on Asian Translation（WAT2017）,

of the Demo and Poster Sessions, pages

pages 135–139, Taipei, Taiwan.

177–180, Prague, Czech Republic.

［14］M a r c i n J u n c z y s - D o w m u n t , R o m a n［8］Rico Sennrich, Barry Haddow, and Alexandra

Grundkiewicz, Tomasz Dwojak, Hieu Hoang,

Birch. 2016. Neural machine translation of

Kenneth Heafield, Tom Neckermann, Frankrare words with subword units. In Proceedings

Seide, Ulrich Germann, Alham Fikri Aji,of the 54th Annual Meeting of the Association

Nikolay Bogoychev, Andr’e F. T. Martins, andfor Computational Linguistics（Volume 1:

Alexandra Birch. 2018. Marian: Fast neuralLong Papers）, pages 1715–1725, Berlin,machine translation in c++. In Proceedings

Germany.

of ACL 2018, System Demonstrations,［9］Guillaume Klein, Yoon Kim, Yuntian Deng,
Jean Senellart, and Alexander M. Rush.
2017. OpenNMT: Open-source toolkit forneural machine translation. In Proceedingsof ACL 2017, System Demonstrations,pages 67–72, Vancouver, Canada.

308［12］Makoto Morishita, Jun Suzuki, and Masaaki

pages 116–121.

機械翻訳技術の向上

4

YEAR BOOK 2O18 309