文脈考慮型ニューラル機械翻訳における文脈選択
Selecting Context in Context based NMT

筑波大学システム情報系知能機能工学域教授

宇津呂武仁

1994 年京都大学大学院工学研究科電気工学第二専攻博士課程修了。博士（工学）。京都大学等を経て、2012 年より筑波大学システム情報系知能機能工学域教授。自然言語処理、機械翻訳、ウェブマイニングの研究に従事。電子情報通信学会、情報処理学会、人工知能学会、言語処理学会、ACL 各会員。

筑波大学大学院システム情報工学研究科知能機能システム専攻

木村龍一郎

2017 年東京都市大学工学部電気電子工学科卒業。2019 年筑波大学大学院システム情報工学研究科知能機能システム専攻 博士前期課程修了。在学中は機械翻訳の研究に従事。

筑波大学大学院システム情報工学研究科知能機能システム専攻

飯田頌平

2018 年東京電機大学工学部情報通信工学科卒業。現在、筑波大学大学院システム情報工学研究科知能機能システム専攻 博士前期課程在学中。機械翻訳の研究に従事。

筑波大学大学院システム情報工学研究科知能機能システム専攻

崔鴻翌

2017 年大連理工大学ソフトウェア学院卒業。現在、筑波大学大学院システム情報工学研究科知能機能システム専攻博士前期課程在学中。機械翻訳の研究に従事。

筑波大学大学院システム情報工学研究科知能機能システム専攻

洪博軒

2016 年台湾大学情報理工学部卒業。現在、筑波大学大学院システム情報工学研究科知能機能システム専攻 博士前期課程在学中。機械翻訳の研究に従事。

NTT コミュニケーション科学基礎研究所

永田昌明

1987 年京都大学大学院工学研究科修士課程修了。同年、日本電信電話株式会社入社。現在、コミュニケーション科学研究所 上席特別研究員。工学博士。自然言語処理の研究に従事。電子情報通信学会、情報処理学会、人工知能学会、言語処理学会、ACL 各会員。

274

1

はじめにニューラル機械翻訳（NMT）モデルは近年の研究に

2

文脈型 NMT のオラクル翻訳

2.1

拡張文脈

2-to-2 翻訳モデルにおいては、原言語文の直前の文準的な NMT モデルは原言語一文を目的言語一文に翻訳を文脈文とみなして、連結記号 <CONCAT> を介してするよう設計されているため、複数文にわたる文脈を考文脈文と原言語文と連結して翻訳する。2-to-2 翻訳モ慮した翻訳は不可能である。この問題に対処するため、デルの BLEU スコアは 1-to-1 翻訳モデルを上回るも文脈として追加で文を入力できる文脈考慮型の翻訳モデのの、文脈として直前 1 文までしか考慮できない点が。これらの問題である。そこで、本稿では、より広い範囲を文脈とモデルは入力できる文脈の長さによって大別することがして考慮することにより、2-to-2 翻訳モデルを拡張す可能である。最も典型的なモデルは、直前の文を文脈とる。具体的には、ベースラインである 1-to-1 翻訳モデみなして入力するモデルで、すべての入力を一つのエン

ル に よ る 翻 訳 y11 に 加 え、 直 前 5 文 を 文 脈 文 と す る

コーダで処理するモデル [14]、および、文脈用に別のエ...y－5
2-to-2 翻訳モデルによる訳文 y－1
22 ，22 および、直後ンコーダを用意するモデル [7, 1, 17] に分けられる。より5 文 を 文 脈 文 と す る 2-to-2 翻 訳 モ デ ル に よ る 訳 文

広い文脈を考慮するモデルとしては、直前 3 文を考慮

1...y+5y+1
22 ，22 を生成し、これらを訳文候補集合とする 。以するモデル [11]、文書中の先行文全体を考慮するモデル

上の 11 個の訳文候補集合の中から最適な訳文を選択す

ルがいくつか提案された[14, 7, 10, 11, 1, 17, 15]に分けられる。本稿の手法による訳文候補集合における翻訳精度のる。いずれのモデルも、原言語一文のみを考慮するモデ上限を示すため、訳文候補集合中で BLEU スコア（文ル（以下、1-to-1 翻訳モデルと呼ぶ）と比較してより単位の翻訳精度を表す指標である sentence-BLEU）高い翻訳精度を達成している。その中で、Tiedemann最大となる訳文（オラクル翻訳と呼ぶ）を選定し、オラらの文脈考慮型 NMT モデルは、直前の文を現言語文

クル翻訳の BLEU スコア、および、文脈文位置の分布に連結した対訳対を用いて翻訳モデルを訓練するといを分析する。

[15]、および、文書全体を考慮するモデル[10]

う簡易なもので、2-to-2 翻訳モデルと呼ばれる [14]。
2-to-2 翻訳モデルは 1-to-1 翻訳モデルとほぼ同等の2.2

データセットと実験条件簡易なモデルである点において他の文脈考慮型モデルよ

映画字幕の公開データである Opensubtitles2018[8]り優れるものの、GPU メモリサイズの制約のために 2を使用し、文脈付き対訳文の作成法 [14] に従い、合計で文より広い範囲を文脈とすることが難しく、文脈として2,083,576 文の日英対訳を作成した。映画等の作品考慮できる範囲が限定されるという欠点がある。

単位で 90% を訓練用、5% を開発用、5% を評価用と

本稿では、前後 5 文までを文脈文とした 2to-2 翻訳して無作為に分割し、合計で 1,876,624 対訳文を訓モデルによるオラクル翻訳の BLEU スコアを分析し、練用、104,379 対訳文を開発用、102,573 対訳文

2-to-2 翻訳モデルにおいて直前の一文よりも広い文脈を評価用とした。オラクル翻訳の作成および BLEU スを考慮する文脈考慮型 NMT モデルの有効性を示す。そコア評価においては、評価文のうち 10,000 文を使用して、2-to-2 翻訳モデルを拡張するため前後 5 文までした 2，3。の中から適切な文脈を選択する方法について述べる。評
価実験の結果として、オラクル翻訳の BLEU スコアには及ばないものの、直前のみを考慮する 2-to-2 翻訳モデルと比較して、強制逆翻訳確率の最大化によって有意に BLEU が改善することを示す。

1

各 yi22 （i = ± 1, … , ± 5）は、原言語文を起点として、前後 5 文中の i 文目 ci（i = ± 1, … , ± 5）を文脈文とする 2-to-2 翻訳モデルによる訳文を表す。

2

翻訳モデルの訓練においては、2-to-2 翻訳時の文脈文連結後の原言語文および目的言語文のいずれかが 50 単語を超える文については除外した。

YEAR BOOK 2O19 275

4機械翻訳技術の向上。しかし、これら標よって大きく進歩している[13, 9, 16]

2.3

オラクル翻訳の分布

英日で 38% であった。この結果より、考慮する文脈とオラクル翻訳における訳文候補選択結果の分布を図 1

して後方を追加する方式の有効性が示された。同様に、に示す。オラクル翻訳 10,000 文のうち、訳文候補集

2-to-2 翻訳において 2 文前から 5 文前、または、1 文合の中から sentence-BLEU 最大である訳文が一意に後から 5 文後のいずれかが最適文脈文となる割合は日定まったものは日英で 39%、英日で 46% であった。

英 で 64%、 英 日 で 68% で あ っ た。 こ の 結 果 よ り、

sentence-BLEU 最大の訳文が一意に定まらない評価

2-to-2 翻訳モデルにおいて直前より広い文脈を考慮す文を集計から除いて最適文脈文位置の分布を求めた。

る方式の有効性が示された。1-to-1 翻訳モデルによる1-to-1 翻訳モデルによる訳文が sentence-BLEU 最大訳文（y11）、1 文前を文脈文とする 2-to-2 翻訳モデルである割合は日英で 27%、英日で 24% であった。ま、および、オラクル翻訳の BLEU スによる訳文（y－122 ）た、2-to-2 翻訳が sentence-BLEU 最大となる文脈位

コアを図 2 に示す。オラクル翻訳においては、訳文候置が 1 文前である割合は日英で 9%、英日で 8%、2補の数を増やすほど BLEU スコアが改善した。具体的

文 前 か ら 5 文 前 で あ る 割 合 は 日 英 で 28%、 英 日 で－2...y－5
y +1...y+5に は、y11 および y－122 に加えて、y22 ，22 ，22 ，22 を30%、1 文後から 5 文後である割合は日英で 36%、訳文候補とすることにより、オラクル翻訳の BLEU ス

3

詳細な実験条件は次の通り : 英語の tokenization には
Moses tokenizer［4］、日本語の形態素解析には MeCab（http://taku910.github.io/mecab/ ） を 使 用。 翻 訳
モ デ ル 作 成 に は OpenNMT-py を 使 用。 語 彙 は 頻 度 上
位 5 万語を使用。単語分散表現は 512 次元、エンコー
ダ・デコーダとも各 6 層、バッチサイズを 4,096、dropout rate を 0.3 として、100,000 エポックの訓練を行う。Adam opti-mizer を使用。ハードウェアは NVIDIA
Tesla P100 16GBGPU 1 枚を使用。BLEU の測定及び 有 意 差 検 定 に は MTE-val Toolkit（ https://github.
com/odashi/mteval ）を使用、sentence-BLEU の測定には Moses decoder の sentence-bleu.cpp を使用。

コアは英日で 6 ポイント、日英で 4 ポイント改善した（表 1）。この結果より、2-to-2 翻訳モデルにおいては、より広い範囲を文脈として考慮することで、翻訳精度の上限が改善すると言える。

オラクル翻訳の BLEU

24

1-to-1を含む翻訳候補集合

22

1-to-1を含まない翻訳候補集合

20
18
16
14121030%

前後5文

2-to-2

1-to-1

2-to-2

1-to-1(a) 日英22
5文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後(a) 日英30%

1-to-1を含む翻訳候補集合
1-to-1を含まない翻訳候補集合

20
18
16
1420%

121010%8
5文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後図1

オラクル翻訳における最適文脈文位置の分布

前後5文

前5文

後5文

前1文

翻訳候補集合に含む文脈文(b) 英日276

前1文

オラクル翻訳の BLEU

10%0%

後5文

翻訳候補集合に含む文脈文

20%0%

前5文

(b) 英日図2

オ ラクル翻訳・2-to-2 翻訳（1 文前を文脈文とする）・
1-to-1 翻訳の BLEU

表1

 LEU 評価（強制逆翻訳確率最大化 / 逆翻訳の sentence-BLEU 最大化）（ ** は 1 文前を文脈文とするベースライン 2-to-2 翻訳
B
モデルに対して有意差あり（p < 0.01）を示す）

訳文候補集合1-to-1
2-to-2（1 文前）

BLEU

オラクル翻訳 BLEU

英日

日英英日

日英

11.48

15.52－－－－

1-to-1 + 2-to-2（1 文前）

13.24**/12.87**

17.12**/16.61

15.61

18.15

1-to-1 + 2-to-2（1 文前～ 5 文前）

13.32**/13.44**

17.20**/16.65

19.55

21.09

1-to-1 + 2-to-2（1 文後～ 5 文後）

13.24**/13.20**

17.10**/16.45

19.51

20.84

1-to-1 + 2-to-2（5 文前～ 5 文後）12.75**/13.09**

17.16**/16.50

21.46

22.40

312.36

最適文脈文選択法

16.52

3.2

逆翻訳 sentence-BLEU 最大化

Rapp らは逆翻訳後の自動評価結果を尺度として順方向の翻訳結果を評価する手法を提案した [12]。逆翻訳を選ぶことにより、BLEU スコアが大きく改善可能でsentence-BLEU 最大化法においては、この手法に基あることを示した。そこで本節では、この訳文候補の中...，x±5
づき、訳文候補の逆翻訳 x11，x±1
22 ，22 のうち、原言語から最適な訳文を選択する手法について述べる 4，5。

文 x との間の sentence-BLEU を最大化する訳文を選択する 6。

3.1

強制逆翻訳確率最大化

強制逆翻訳確率は、順方向の翻訳結果を原言語文に翻訳し直すという制約付きで逆方向に翻訳したときの生成4

評価確率として定義される。単後 長 n の原言語文を x、文強 制 逆 翻 訳 確 率 最 大 化、 お よ び、 逆 翻 訳 の脈文を c としたときの 順方向の訳文を y（x, c）とする。

sentence-BLEU 最大化による文脈文選択後の BLEU

このときの原言語文の単語 xj（1≤ j ≤ n）の強制逆翻訳

スコアを図 3、図 4、および、表 1 に示す。文脈文選

確率は次式となる。

択の対象となる訳文 候補集合としては、（1）1-to-1 翻）
bj = －log p（xj | x<j, y（x, c）
訳文 y（x, c）の強制逆翻訳確率は bj の和B（x, y（x, c））= ∑bjj

訳 y11、 お よ び、1 文 前 を 文 脈 文 と す る 2-to-2 翻 訳（2）y11、および、1 文前から 5 文前を文脈
y－1
22 の組、...y－5（3）y11、お文とする 2-to-2 翻訳 y－1
22 ，22 の集合、よび、1 文後から 5 文後を文脈文とする 2-to-2 翻訳...y+5（4）y11、および、前後 5 文を文脈y+1
22 ，22 の集合、となる。強制逆翻訳確率最大化法においては、訳文の強...y±5文とする 2-to-2 翻訳 y±1
22 ，22 の集合、の 4 通りを評制逆翻訳確率が高いほど意味的に原言語文に近くなると価した。1 文前を文脈文とするベースライン 2-to-2 翻いう仮説に基づき、強制逆翻訳確率を最大化する訳文を

訳 y－1
22 に対して、強制逆翻訳確率最大化によっ て英日・選択する [6]。

日英方向で BLEU スコアが有意に改善した。一方、逆翻訳の sentence-BLEU 最大化によって英日方向のみ45

本節で述べる手法以外の関連研究として、Li らは、順方向翻訳時の生成確率、強制逆翻訳時の生成確率、および、目的言語側の言語モデルによる生成確率、および、訳文長の線形和尺度によって訳文候補をリランキングする手法を提案している [6]。この手法を一部導入した手法によって最適文脈文選択を行った結果の BLEU スコアは、本稿で述べる手法とほぼ同等であった。

BLEU スコアが有意に改善した。これらの結果から、本稿の手法は、文脈考慮型 NMT モデルの中でも、1 文前を文脈文とする 2-to-2 翻訳モデルよりも広い範囲の文脈を考慮する点においては、[11, 15, 10] に近い試みであると言える。

6

強制逆翻訳確率を最大化する文脈文を選択することで翻訳精度が改善することがわかった。しかし、前後 5 文の範囲でこれらを文脈文とする翻訳候補を追加したと後藤らは、NMT モデルにおける訳抜け検出において、強制逆翻訳確率比を用いる手法を提案した [3]。本稿は、文脈考慮型 NMT において強制逆翻訳確率を用いて最適文脈を選択する点が [3] とは異なる。

YEAR BOOK 2O19 277

4

機械翻訳技術の向上

2 節では訳文候補 y11，y ±1...y±5
22 ，22 の中から適切な訳文き、オラクル翻訳の BLEU は大きく改善するにも関わ様の傾向であった。

らず、強制逆翻訳確率最大化では大きな改善が見られなかった。この結果は本稿の手法が広い文脈を十分考慮できていないことを示しており、さらなる改善を要する。

5おわりに

強 制 逆 翻 訳 確 率 最 大 位 置 の 分 布 を 図 5、 逆 翻 訳

本稿では、2-to-2 翻訳モデルにおいても、文脈文のsentence-BLEU 最大位置の分布を図 6 に示す。両者選択において従来手法よりも広い文脈を考慮することにの分布は、図 1 に示したオラクル翻訳の文脈位置と同より BLEU が改善することを明らかにした。また、前20

逆翻訳 sentence-BLEU 最大化による強制逆翻訳確率最大化による訳文の BLEU

訳文の BLEU

1-to-1を含む翻訳候補集合
1-to-1を含まない翻訳候補集合

18
16
14
12
10

前後5文

前5文

後5文

前1文

2-to-2

1-to-1

18
17
16
15
14
13
12
11
10

1-to-1を含む翻訳候補集合
1-to-1を含まない翻訳候補集合

前後5文

前5文

後5文

前1文

2-to-2

1-to-1

2-to-2

1-to-1

翻訳候補集合に含む文脈文

翻訳候補集合に含む文脈文(a) 日英(a) 日英

強制逆翻訳確率最大化による訳文の BLEU

14

逆翻訳 sentence-BLEU 最大化による

1-to-1を含む翻訳候補集合

訳文の BLEU

1-to-1を含まない翻訳候補集合

15

13

14

1-to-1を含まない翻訳候補集合

13

12

12

11
10

1-to-1を含む翻訳候補集合

11
前後5文

前5文

後5文

前1文

2-to-2

1-to-1

10

前後5文

前5文

後5文

前1文

翻訳候補集合に含む文脈文

翻訳候補集合に含む文脈文(b) 英日(a) 英日図3

強制逆翻訳確率最大化による訳文・2-to-2 翻訳（1 文前を文脈文とする）・1-to-1 翻訳の BLEU

40%

逆翻訳 sentence-BLEU 最大化による訳文・2-to-2 翻訳（1文前を文脈文とする）・1-to-1 翻訳の BLEU

30%

30%

20%

20%

10%

10%
0%

図45文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後0%

5文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後(a) 日英(a) 日英30%

20%
15%20%

10%

10%

5%0%

5文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後0%

5文前 4文前 3文前 2文前 1文前 1-to-1 1文後 2文後 3文後 4文後 5文後(b) 英日(b) 英日図5278

強制逆翻訳確率最大位置の分布

図6

逆翻訳 sentence-BLEU 最大位置の分布

後 5 文の範囲で最適な訳文を求める文脈文の選択手法

sentence alignments in large, noisy parallel

として、強制逆翻訳確率最大化法、および、逆翻訳のcorpora. In Proc. 11th LREC, pp. 1742-

sentence-BLEU 最大化法について述べた。1-to-1 翻1748, May 7-12, 2018 2018.

訳モデル、および、1 文前を文脈とする 2-to-2 翻訳モ[9] M. Luong, I. Sutskever, O. Vinyals, Q. V. Le,

デルと比較して、強制逆翻訳確率最大化によって英日・and W. Zaremba. Addressing the rare word

日英方向ともで BLEU スコアが有意に改善した。今後

problem in neural machine translation. Inの課題として、原言語文と文脈文との間の意味的つながProc. 53rd ACL, pp. 11-19, 2015.

りの強さを利用する手法として、BERT [2] 等の言語モ[10] S. Maruf and G. Haffari. Document context

デルの生成確率を組み合わせる手法、および、共参照関neural machine translation with memory

係 [5] を文脈文選択に導入する手法を検討する。

networks. In Proc. 56th ACL, pp. 12751284, 2018.
[11] L. Miculicich, D. Ram, N. Pappas, and J.

[1] R. Bawden, R. Sennrich, A. Birch, and B.

Henderson. Document-level neural machine

Haddow. Evaluating discourse phenomena intranslation with hierarchical attention

neural machine translation. In Proc.NAACL-networks. In Proc. EMNLP, pp. 2947-2954,

HLT, pp. 1304-1313, 2018.

2018.

[2] J. Devlin, M.-W. Chang, K. Lee, and K.

[12] R . R a p p . T h e b a c k - t r a n s l a t i o n s c o r e :Toutanova. BERT: Pre-training of deep

Automatic mt evaluation at the sentence

bidirectional transformers for language

level without reference translations. In Proc.

understanding. Proc. NAACL-HLT, pp. 4171-

47th ACL and 4th IJCNLP, pp. 133-136,4186, 2019.

2009.

[3] 後藤功雄 , 田中英輝 . ニューラル機械翻訳での訳抜[13] I. Sutskever, O. Vinyals, and Q. V. Le.

けした内容の検出 . 自然言語処理 , Vol. 25, No. 6,Sequence to sequence learning with neuralpp. 577-597, 2018.

machine translation. In Proc. 27th NIPS,[4] P . K o e h n , e t a l . M o s e s : O p e n s o u r c e

pp.3104-3112, 2014.

toolkit for statistical machine translation.

[14] J. Tiedemann and Y. Scherrer. Neural

In Proc.45th ACL, Companion Volume, pp.

machine translation with extended context.

177-180, 2007.

In Proc. 3rd DiscoMT, pp. 82-92, 2017.

[5] K. Lee, L. He, M. Lewis, and L. Zettlemoyer.

[15]Z. Tu, Y. Liu, S. Shi, and T. Zhang.

End-to-end neural coreference resolution. In

Learning to remember translation history

Proc. EMNLP, pp. 188-197, 2017.

with a continuous cache. Transactions of[6] J. Li and D. Jurafsky. Mutual information andACL, Vol. 6, pp.407-420, 2018.

diverse decoding improve neural machine[16] A. Vaswani, N. Shazeer, N. Parmar, J.

translation. In CoRR, Vol. abs/1601.00372,

Uszkoreit, L. Jones, A. Gomez, L. Kaiser, and2016.

I. Polosukhin. Attention is all you need. In[7] J . L i b o v i c k ´ y a n d J . H e l c l . A t t e n t i o nProc. 30th NIPS, pp. 5998-6008, 2017.

strategies for multi-source sequence-to-[17] E. Voita, P. Serdyukov, R. Sennrich, andsequence learning. In Proc. 55th ACL, pp.

I. Titov. Context-aware neural machine

196-202, 2017.

translation learns anaphora resolution. In[8] P. Lison, J. Tiedemann, and M. Kouylekov.

Proc.56th ACL, pp. 1264-1274, 2018.

Opensubtitles2018: Statistical rescoring ofYEAR BOOK 2O19 279

4

機械翻訳技術の向上

参考文献