言語処理学会 第24回年次大会 発表論文集 (2018年3月)

ニューラル機械翻訳における大規模語彙および訳抜けへの対応の併用 ∗木村 龍一郎 †龍 梓 † 飯田 頌平 ‡‡筑波大学大学院 システム情報工学研究科

1宇津呂 武仁 † 三橋 朋晴 §山本 幹雄 ††東京電機大学 工学部 §日本特許情報機構

はじめに

表 1: 訓練・評価文

ニューラル機械翻訳 (Neural Machine Translation;NMT)

訓練文

開発文

評価文

はひとつの大きなニューラルネットワークで翻訳モデ1,167,198

1,0001,000ルを構成した機械翻訳である．翻訳モデルは対訳コーパスを用い，正解文を生成する条件付き確率を最大化するように訓練される． NMT は従来の機械翻訳手法もののみで構成された 110 万文を使用した (NTCIR-7と比較して流暢さで優れるものの，目的言語文出力の特許翻訳タスク [2] における日英対訳特許文．詳細は計算時間が使用する目的言語の単語数に依存するため[5] 参照)．日英対訳特許文のうち，1,000 文を評価文，に，大規模語彙を含む翻訳に対応できない．この問題

1,000 文を開発文として抽出し，残りを訓練文として使に対応する研究はいくつか存在するが [6, 8]，これら用した．訓練文からは 2,785,108 個の対訳フレーズ対の手法は未知語を単語単位で処理しているために，複が抽出された．抽出されたフレーズ対の種類は 704,346

合名詞の一部として出現する場合に想定通りに翻訳で種で，日本語フレーズは 511,633 種，英語フレーズはきない問題がある．この問題は専門用語を多く含む特422,269 種だった．訓練文からは 2,539 個，2,171 種の対訳フレーズ対が抽出された．

許文の翻訳において特に顕著である．

手法が提案された [5]．トークンに置き換えられた複NMT モデル・SMT モデルの訓練条件

合名詞は統計的機械翻訳 (Statistical Machine Trtansla-

ワードアラインメントとフレーズ翻訳テーブルを作成tion;SMT) によって翻訳され，MT 出力に代入される．
しかしこの手法は，入力文を意味的にすべて翻訳するするための SMT モデル作成には，Moses Toolkit を使用した [4]．チューニングには開発文を使用した．NMTことを保証できずに内容が訳抜けするという，NMTモデルを訓練する際のパラメータは [1] で使用された

このような背景から，低頻度語を含みやすい複合名詞をトークンに置き換えて翻訳モデルの訓練を行う

3のもう一つの大きな課題に対応できていない．訳抜けものを用いた．エンコーダは前向き・後ろ向きの 3 層に対応するために，出力文が入力文を生成する逆翻訳

LSTM，デコーダは前向き 3 層 LSTM で，各層の時限はいずれも 256 次元とした．入力単語の分散表現は確率を訳抜けした内容の検出に用いる手法が提案されと訳抜けの削減手法を組み合わせて翻訳を行い，翻訳256 次元とした．原言語と目的言語の語彙は頻度上位40,000 語として，その他の語は NMT モデルの語彙外

結果の訳抜けの度合いと翻訳精度を評価した．の未知語とした．

24

文単位の翻訳性能の評価

日英対訳特許文として，NTCIR-7 ワークショップで配4.1自動評価布された 180 万文の対訳対のうち単語数が 40 語未満の表 2 に BLEU による自動評価の結果を示す．ベースラ∗ NMT Model with an Integrated Framework of Large Vocabulary

キングの併用手法 ( 5 節) は BLEU が約 5.7 向上した

た [3]．そこで，本研究では大規模語彙への対応手法

訓練・評価文インの SMT と比較すると，大規模語彙対応とリラン
Translation and Reducing Untranslated Content† Ryuichiro Kimura, Zi Long, Takehito Utsuro, Mikio Yamamoto,
Graduate School of Systems and Information Engineering, Universityof Tsukuba‡ Shohei Iida, School of Engineering, Tokyo Denki University§ Tomoharu Mistuhashi, Japan Patent Information Organization

が，ベースラインの NMT と比較して BLEU の向上は見られなかった．

― 877 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 自動評価の結果 (BLEU)
ja → enモデル

5

訳抜け削減における効果の検証

5.1

訳抜け検出

ベースライン SMT [4]32.3

後藤らは，訳抜けした内容を検出する翻訳スコアに基

ベースライン NMT

38.2

大規模語彙に対応した NMT モデル

39.8

づいてリランキングすることによって，BLEU に関し大規模語彙に対応した NMT モデル + リランキング

38.0て翻訳評価結果を改善するだけでなく，NMT の訳抜けした内容を検出できることを明らかにした [3]．訳
抜けした内容を検出する翻訳スコアの中から，我々は4.2

人手評価特に影響の大きい逆翻訳確率を採用した．より具体的[7] における人手評価尺度である「一対評価」およびには，ベースラインの NMT モデルを用いて，大規模「JPO 基準に基づく絶対評価」を用い，評価用対訳特許語彙に対応した NMT モデルとベースライン NMT の文から無作為に抽出された 100 文を評価対象として，両方の逆翻訳確率を評価した．逆翻訳確率に基づいて著者が評価を行った．評価対象手法，および，ベース訳抜けした内容の多寡を予測した結果，大規模語彙にラインとなる手法との間の「一対評価」では，評価対対応した NMT モデルはベースライン NMT と比較し象手法による翻訳精度が，ベースラインとなる手法にて改善した．

よる翻訳精度を上回った文の数を W ，評価対象手法に5.1.1 逆翻訳確率

よる翻訳精度が，ベースラインとなる手法による翻訳逆翻訳確率は，MT 出力からその入力文へ強制的に翻精度を下回った文の数を L，評価対象手法による翻訳訳し直すときの確率として定義される．入力単語の内精度が，ベースラインとなる手法による翻訳精度と同容が MT 出力に欠落している場合，入力単語の逆翻訳等となった文の数を T として，一対評価のスコア (値確率は小さくなると予想される．この関係から，逆翻の範囲は，−100 ∼ 100) を次式で定義する．

訳確率を訳抜けした内容を検出するための手掛かりとscore = 100 ×して使用した．n-best MT 出力 y d (1 ≤ d ≤ n) の，入W −L
W +L+T

力単語 xj (1 ≤ j ≤ N ) についての逆翻訳確率スコア「JPO 基準に基づく絶対評価」においては，JPO 評価( BT-P ) bdj を次のように定義する．

基準 1 に基づき，各翻訳文に対して人手で 1 ∼ 5 の値の範囲のスコアを付与し，その平均を「JPO 基準に基bdjづく絶対評価」のスコアとする．
「一対評価」結果を= − log p(xj |x<j , y d )表 3 に，「JPO 基準に基づく絶対評価」結果を表 4 に示BT-P はベースライン NMT モデルと，大規模語彙にす．どちらの評価結果も大規模語彙対応とリランキン対応した NMT モデルの両方について，フレーズトークグの併用手法が最も高かった．

ンのない訓練セットで英語から日本語へ訓練したベー
スライン NMT モデルを用いて計算する．この BT-P

表 3: JPO 基準に基づく絶対評価の結果 (スコアの範囲の公式化においては，「翻訳の存在」という以下の仮定

は 1 以上 5 以下)を用いる．

モデル

ja → en

ベースライン NMT

4.1

仮定: 翻訳の存在 任意の入力単語の翻訳 xj (1 ≤ j ≤大規模語彙に対応した NMT

4.2

大規模語彙に対応した NMT + リランキング

4.5N ) は，目的言語側に対訳が全く存在しない場合を除いて，n-best MT 出力 y d (1 ≤ d ≤ n) のどこかに存在する．

表 4: ベースライン NMT に対する一対評価の結果 (スコアの範囲は-100 以上 100 以下)モデル

したがって，n-best MT 出力のうち最小のスコアをもつ出力は xj の内容を最も含んでいる確率が高いと
ja → en

大規模語彙に対応した NMT

18

大規模語彙に対応した NMT + リランキング

37

考えられ， minbdj は xj の内容を含む出力のスコア1≤d ≤nと考えることができる．
次に，y d から xj の内容が欠落したスコアとして，逆翻訳確率の比に基づく BT-R スコア qjd を考え，次1 https://www.jpo.go.jp/shiryou/toushin/のように定義する．

chousa/pdf/tokkyohonyaku_hyouka/01.pdf― 878 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 5: 評価文における訳抜け予測の評価

qjd=bdj −min1≤d ≤n
bdj(a) 評価文における文ごとの BT-R スコアの平均
ja → enモデル

これは，各 MT 出力のスコアと，最も xj の内容をベースライン NMT

大規模語彙に対応した

最後に，このスコアを入力文のすべての入力単語 x= (x1 , . . . , xN ) について足し合わせることによって，づく BT-R スコアは次のように得られる．

14.0

NMT モデル

最小スコアとの差である．

入力文 x に対する MT 出力 y d の逆翻訳確率の比に基16.3

大規模語彙に対応した含む確率が高いもののスコアである n-best MT 出力の6.9

NMT モデル + リランキング(b) 評価文におけるベースライン NMT と大規模語彙に対応した NMTモデルの間の BT-R スコアの差 (BT-R(x, y d ) − BT-R(x, y d )) (%) の分布<0BT-R(x, y d )=>0< −20 −20 ∼ −10 −10 ∼ −5 −5 ∼ −1 −1 ∼ 0 0 ∼ 11∼55 ∼ 1010 ∼ 20> 20

4.9

14.8

8.0

4.4

2.3

8.4

qjd

12.3

19.1

12.9

12.9

57.6

j

本研究では BT-R スコアを n-best MT 出力それぞれで計算し，もっとも値の小さい出力を最終的な翻訳文としてリランキング結果として採用した．

42.4(c) 評価文におけるベースライン NMT とリランキングした大規模語彙に対応した NMT モデルの出力の間の BT-R スコアの差 (BT-R(x, y d )−BT-R(x, y d )) (%) の分布<0>0< −20 −20 ∼ −10 −10 ∼ −5 −5 ∼ −1 −1 ∼ 0 0 ∼ 1

1∼55 ∼ 1010 ∼ 20> 20

11.8

2.9

0.4

0.30.0

20.3

23.0

27.7

10.5

3.1

93.3

5.1.2 訳抜け検出結果

6.7

評価文についての逆翻訳確率の比に基づく BT-R スコ
アを測定した．ベースライン NMT モデルと，大規模語彙に対応した NMT モデルの，評価文における BT-R スコアの平均をそれぞれ表 5(a) に示す．大規模語
彙に対応した NMT モデルは，ベースライン NMT モ

表 6: 評価文 1,000 文における，入力日本語文中の単語訳抜け数の人手評価(a) 入力日本語文中の単語訳抜け数
ja → enモデル

デルよりも低い BT-R スコアを達成した．この結果か

ベースライン NMTら，提案された NMT モデルによる MT 出力は，ベー73

大規模語彙に対応した

51

スライン NMT モデルによる MT 出力よりも訳抜けしNMT モデルた内容が少ないと考えられる．次に，各評価文 x に大規模語彙に対応した

対して，大規模語彙に対応した NMT モデルとベースNMT モデル + リランキング

ライン NMT モデルとの BT-R スコアの差を測定する．

31(b) 単語訳抜け数の分布 (％)

BT-R(x, y d ) を大規模語彙に対応した NMT モデルに単語訳抜け数

よる MT 出力の BT-R スコア，BT-R(x, y ) をベースモデル

0123456789≥ 10

ベースライン NMT

64

24

620110101

ライン NMT モデルによる MT 出力の BT-R と定義す

大規模語彙に対応した

74

14443100000

ると，BT-R スコアの差は以下のように定義される．

大規模語彙に対応した

83

10330010000

d

NMT モデルNMT モデル + リランキング

BT-R(x, y d ) − BT-R(x, y d )評価文に対する BT-R スコアの差を表 5(b) に示す．評価文の 57.6%について，大規模語彙に対応した NMTモデルの BT-R スコアはベースライン NMT と比べて小さかった．また，ベースライン NMT の BT-R スコアが大規模語彙に対応した NMT モデルと比べて 5 以上小さかったものは 14.7%であったが，大規模語彙に対応した NMT モデルの BT-R スコアがベースライン NMTと比べて 5 以上小さかったものは 25.6%で，10.9%大きかった．

5.2

入力日本語文中の単語訳抜け数の人手評価

無作為に選んだ 100 文の評価文について，日本語から英語への翻訳タスクにおいて，英語に翻訳されない入力日本語文中の単語の数を数えた．表 5(a) に示すように，大規模語彙に対応した NMT モデルを逆翻訳確率でリランキングすることで，翻訳されなかった単語の数はベースライン NMT と比較して約 40 ％程度に減少した．表 6(b) に翻訳されなかった単語の数の分布を示す．大規模語彙に対応した NMT モデルは，MT 出― 879 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

提案されたシステムは，フレーズの一部としてそれら
表 7:

大 規 模 語 彙 に 対 応 し た NMT モ デ ル によって ，訳 抜 け し た 内 容 が 削 減 さ れ た 具 体 例(下線部は訳抜けした内容の部分を示す)るため，語彙外の単語が確実に翻訳される．

in an air bag device for a driver , it is favorable
for a driver that the air bag 16 quickly and largely
extends vertically and horizontally ( rightward andleftward in ﬁg . 2 ) .

運転席用エアバッグ装置においては、エアバッ
グ 16 が 運転手にとって上下 及び左 右 方向 (第MT 出力の翻訳例の比較を示す．大規模語彙に対応した NMT
モデルは，ベースライン NMT モデルと比較して，翻6

おわりに

本論文では，大規模語彙に対応した NMT モデル [5] にin the air bag apparatus for the driver seat , it ispreferable that the air bag 16 is in a large and left

された NMT モデルの効果をさらに検証した．日本語

BT-R スコア

MT 出力

けした内容が減少していることを確認した．また，[3]アバッグ 16 が運転手にとって上下及びで報告された逆翻訳確率に基づくリランキングを大in the T1t , it is preferable that the T2t 16 islarger and quickly in the T3t and T4t ( thein the driver ’s seat airbag device , it ispreferable that the airbag 16 is larger andと比較する．

30.1(d) 大規模語彙に対応した NMT モデルとリランキングの併用による
翻訳結果
運転席用エアバッグ装置においては、エアバッグ 16 が運転手にとって上下及び左右方向 (第 2 図の左右方向) に大きく且つ素早く展開することが好ましい。
を含む MT 出力

BLEU において改善は見られないものの，訳抜けした内容がより減少することを確認した．今後は，提案された NMT モデルをサブワード単位に基づくもの [8]BT-R スコア

フレーズトークン

規模語彙に対応した NMT モデルに適用することで，

T5t of ﬁg . 2 ) .

quickly in the driver and lateral direction (the lateral direction of ﬁg . 2 ) .

入力日本語文出の結果を示し，英語に翻訳されない入力日本語文中
モデルは，ベースライン NMT モデルと比較して訳抜

左右方向 (第 2 図の左右方向) に大きくを含む MT 出力

から英語への翻訳タスクにおいて，訳抜けした内容検運転席用エアバッグ装置においては、エ且つ素早く 展開する ことが好ましい。
フレーズトークン

基づき，訳抜けした内容の削減という観点から，提案の単語の数を調査した．大規模語彙に対応した NMT

34.7(c) 大規模語彙に対応した NMT モデルによる翻訳結果
入力日本語文in the T1t , it is preferable that the T2t 16 islarger and quickly in the T3t and T4t ( theT5t of ﬁg . 2 ) .
in the driver ’s seat airbag device , it ispreferable that the airbag 16 is largely andquickly developed to the upper and lower
lateral direction ( the lateral direction of ﬁg. 2 ) for the driver .

BT-R スコア

確率でリランキングした翻訳例とベースライン NMT2 図の左右方向) に大きく且つ素早く展開することが好ましい。

direction ( left and right in ﬁg . 2 ) , and is rapidly
deployed and developed .

MT 出力

表 7 に大規模語彙に対応した NMT モデルを逆翻訳

訳されなかった単語を減少させる．

(b) ベースライン NMT モデルによる翻訳結果
入力日本語文にそれらのフレーズをトークンに置き換え，抽出したフレーズは SMT によって翻訳して MT 出力に挿入す(a) 英語参照訳
英語参照訳の語彙外単語を抽出し， NMT のデコーディングの前参考文献[1] D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation
by jointly learning to align and translate. In Proc. 3rd ICLR, 2015.
[2] A. Fujii, M. Utiyama, M. Yamamoto, and T. Utsuro. Toward theevaluation of machine translation using patent information. InProc. 8th AMTA, pp. 97–106, 2008.
[3] I. Goto and H. Tanaka. Detecting untranslated content for neuralmachine translation. In Proc. 1st NMT, pp. 47–55, 2017.
[4] P. Koehn, H. Hoang, A. Birch, C. Callison-Burch, M. Federico,N. Bertoldi, B. Cowan, W. Shen, C. Moran, R. Zens, C. Dyer,
O. Bojar, A. Constantin, and E. Herbst. Moses: Open source toolkit
for statistical machine translation. In Proc. 45th ACL, Companion
Volume, pp. 177–180, 2007.
[5] Z. Long, T. Utsuro, T. Mitsuhashi, and M. Yamamoto. Translationof patent sentences with a large vocabulary of technical terms usingneural machine translation. In Proc. 3rd WAT, pp. 47–57, 2016.
[6] M. Luong, I. Sutskever, O. Vinyals, Q. V. Le, and W. Zaremba.
Addressing the rare word problem in neural machine translation.
In Proc. 53rd ACL, pp. 11–19, 2015.
[7] T. Nakazawa, H. Mino, I. Goto, G. Neubig, S. Kurohashi, andE. Sumita. Overview of the 2nd workshop on Asian translation.
In Proc. 2nd WAT, pp. 1–28, 2015.

22.4

力内の翻訳されなかった単語を減少させた．これは，[8] R. Sennrich, B. Haddow, and A. Birch. Neural machine translationof rare words with subword units. In Proc. 54th ACL, pp. 1715–1725, 2016.

翻訳されなかった単語の多くは語彙外で，ベースライン NMT によっては翻訳できないためと考えられる．

― 880 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.