言語処理学会 第25回年次大会 発表論文集 (2019年3月)

日英ニューラル機械翻訳における未知語置き換えの手法とコーパス間の比較
伊部 早紀

山口 和紀

松田 源立
東京大学

{ibe, matsuda, yamaguch}@graco.c.u-tokyo.ac.jp

1

はじめに

2.1

単語アライメント表の作成

ニューラル機械翻訳 [2, 5, 16] は，ソース言語の単語出力文中の各未知語が原言語におけるどの単語に対列を数値ベクトルによる分散表現で表し，それをニュー応付けられているかを知るために，ニューラルネット

ラルネットワークを用いて変換して求めた数値ベクトが出力するアテンション行列から単語アライメント表

ルからターゲット言語の単語列を求めることで翻訳をを作成する．単語アライメントの作成アルゴリズムと行う手法である．リカレントニューラルネットワーク

しては intersection(inter)，gdfa-f の 2 種類を用いた．

および LSTM(Long Short Term Memory) の利用により，長い区間での単語のつながりが考慮されている．そのため，ニューラル機械翻訳を用いると従来の統計的機械翻訳と比べて流暢な文を生成できるが，出力結果に未知語 (UNK) が含まれるという問題が指摘されている [7, 10]．この問題に対処する方法としては，[10, 14]のようにコーパスに前処理を行う手法，[1, 17, 9] のように学習するモデルを変更する手法，[15] のように統計的機械翻訳と組み合わせる手法などがある．
著者らは [18] において，単語間の対応関係に関す

intersection(inter)． 原言語，目的言語どちらから見てもアテンションが最も強い単語を対応付けする．
gdfa-f． intersection において作成した行列をもとに，対応付けされた単語の隣の単語で，原言語または目的言語のどちらか一方から見てアテンションが最も強い単語があれば対応付けする．さらに，原言語，目的言語それぞれの単語から見て，もし対応付けされている単語がなければ，アテンションが最も強い単語に対応付けする1 ．

るヒューリスティックを利用してアテンションから単語アライメント表を推定し，そのアライメントの対応関係から未知語に対応する原言語の単語を探し，コー2.2

未知語の置き換え

パスから作成した辞書や外部辞書を利用して未知語作成したアライメント行列をもとに，出力文におけを推定する手法を提案した．この手法は未知語を減らる未知語 ei が入力文のどの単語あるいは単語列 fi にし BLEU も向上させられるという点で他の手法より対応しているかを決める．次に，fi の訳を決め，未知優れているが，口語表現等のコーパスから生成された語 ei と置き換える．本研究では fi の訳の決め方とし辞書では上手くいかない場合があった．本論文では，て IBM，ChangePhrase(CP)，Dict，IBM+Dict の 4 種

WordNet 等の外部辞書を利用し，提案手法を性質の異なる 3 つのコーパスに適用した結果を記載する．

類の手法を提案する．

2

提案手法

IBM． 対訳コーパスに IBM モデル 4[4] を適用したときの単語翻訳確率 t(e| f ) を参照し，fi = ( fi1 , ..., fin )の要素それぞれにおいて最も確率の高い ebest =arg max t(e| fi ) を訳として選ぶ．
e

提案手法の詳細は [18] を参照されたい．

ChangePhrase(CP)． fi の訳をフレーズテーブル [8]から参照し，コーパスから計算したフレーズ翻訳
1 すべての単語のアテンションが 0 であれば，どの単語にも対応付けしない．また，アテンションが最も強い単語が複数ある場合，そのすべてと対応付けする．

― 1463 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 各コーパスのサイズと単語数．train は学習に，dev はパラメータチューニングに，test はテストに用いた．

train
文

ASPEC日英NTCIR-日10

英田中コー日

パス

英test

文

文

1.8K

1.8K

326.8K
265.0K

2.0K

0.9Kを行う手法 (PosUNK)[10] も実験し，結果を比較した．

2.0K

2.0K

2 つを用いた．METEOR は日本語の評価には対応し翻訳精度の評価指標には BLEU[13]，METEOR[3] の31.6K

145.9K

line とした．また，低頻度語を分割し語彙数を減らす
手法 (BPE)[14]，未知語に位置情報を付け加えて学習

146.5K

3.2M

では 4 万語に，田中コーパスでは 1 万語に制限した．

nematus のデフォルトのパラメータでの実験を base-162.3K

908.1K

考に，単語数 51 以上の文は学習データから取り除いた．学習においては語彙数を ASPEC および NTCIR-10

dev
語彙から検索を行った．コーパスの前処理として [12] を参21.9Kていないため日英翻訳の評価のみに用いた．

)
確率 P(e|f ) = c(e,fc(f ) が最も高い訳を未知語と置き換える2 ．フレーズで置き換えるため，未知語を3.2 実験結果と考察複数単語と置き換えることもある．

nematus のデフォルトの設定で学習したモデルをベーDict． 外部の辞書から f j の各単語の訳を参照し，そスラインとし，出力結果に提案手法による修正を加えたものと翻訳精度を比較した．日英での実験結果を表れを ei と置き換える．

2 に，英日での実験結果を表 3 に示す．
IBM+Dict． IBM の手法を適用後，Dict を適用する．

表 2 より，BLEU は ASPEC では+inter+IBM+Dict

本論文では IBM と Dict 双方の長所を活かすため，が最大で+0.60，NTCIR-10 では+inter+IBM+Dict でIBM 適用後に Dict を利用する手法も導入した．

+0.06，田中コーパスでは gdfa-f+IBM+Dict で+0.34 の上昇を確認できた．METEOR ではどのコーパスでもgdfa-f+IBM+Dict の場合が最大で，ASPEC では+0.72，

3 実験

NTCIR-10 では+0.15，田中コーパスでは+0.76 の上昇を確認できた．BLEU は完全一致をもとに測る指標で3.1 実験データ・方法あるため，意味は同じだが違う表現に置き換えられて対訳コーパスとしては ASPEC[11]，NTCIR-10 のいる場合でも値は上昇しない．一方 METEOR はそのよ

3

patentMT[6]，田中コーパス を用いた ．コーパスのサ

うな表現を考慮している指標である．gdfa-f+IBM+Dict

イズと単語数を表 1 に示す．モデル学習およびデコー

は METEOR の値の方が大きく上昇していることから，

ダには nematus5 を用い，日英および英日の翻訳を行っ

未知語を意味的に正しい単語で置き換えられているこ46た．英語の構文解析には Stanford Parser を，日本語のとが示唆される．

7

トークン化には KyTea を用いた．IBM モデル 4 の実

ASPEC，NTCIR-10 はともに学術的な文からなる装としては GIZA++8 を用いた．フレーズテーブルの抽コーパスのため，英語と日本語の単語の対応が取り出は mosesdecoder9 を用いた．未知語の置き換えの手やすく，gdfa-f を適用すればアテンションから単語ア法の Dict としては，[18] では外部辞書として EDict10ライメントをほぼ正確に作成できた．学習コーパス中，のみを利用したが，今回は WordNet11 も導入し語彙をもしくは WordNet のエントリに存在する単語であれば大幅に拡張した．動詞は KNP12 を用いて原形に直してIBM+Dict を適用し適切な単語に置き換えることができるが，どちらにも存在しない単語は置き換えられな

2 c(f ) はコーパス中のフレーズ f の出現回数，c(e, f ) はフレーズ e と f の同時出現回数．
3 http://www.edrdg.org/wiki/index.php/Tanaka Corpus
4 全データ中からランダムに抽出した 2000 文をチューニングに，1983 文をテストに用いた．
5 https://github.com/EdinburghNLP/nematus
6 https://stanfordnlp.github.io/CoreNLP/
7 http://www.phontron.com/kytea/index-ja.html
8 https://github.com/moses-smt/giza-pp
9 https://github.com/moses-smt/mosesdecoder
10 http://www.edrdg.org/jmdict/edict.html
11 http://compling.hss.ntu.edu.sg/wnja/
12 http://nlp.ist.i.kyoto-u.ac.jp/?KNP

い．この 2 つのコーパスでは共に化合物の名称などの専門用語が多く，単語の対応は取れているが IBM+Dictを適用できない例が多数見られた．専門用語を扱う辞書を取り入れることでさらなる BLEU，METEOR の向上が期待できる．
一方田中コーパスでは口語的表現が使われているた
め，ASPEC や NTCIR-10 に比べ単語の対応が 1 対 1に取れないことが多く，アテンションが正確にならな― 1464 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 日英での翻訳結果の精度評価の比較．太字は最も高い値 (UNK の場合は最も低い値)．

ASPEC

田中コーパス

NTCIR-10BLEU

METEORUNKBLEU

METEORUNKBLEU

METEOR

UNK

baseline

24.97

31.50

2.72

35.31

33.88

1.59

27.33

28.29

3.02

BPE

21.47

28.34

0.00

32.95

31.12

0.00

26.24

27.97

0.00

PosUNK

24.25

31.63

0.07

34.88

33.52

0.09

26.48

28.18

0.23

+inter+IBM

25.56

32.06

0.42

35.37

33.99

0.21

27.63

28.87

0.97

+inter+CP

25.34

31.97

1.10

35.33

33.92

1.12

27.49

28.67

1.72

+inter+Dict

25.37

31.81

0.42

35.33

33.91

1.16

27.40

28.66

0.97

+inter+IBM+Dict

25.57

32.11

0.42

35.37

33.99

0.21

27.63

28.92

0.97

+gdfa-f+IBM

25.51

32.16

0.00

35.31

34.03

0.00

27.67

29.00

0.05

+gdfa-f+CP

25.37

32.06

0.89

35.33

33.90

1.01

27.52

28.76

1.19

+gdfa-f+Dict

25.26

31.82

0.00

35.32

33.91

1.17

27.40

28.74

0.05

+gdfa-f+IBM+Dict

25.53

32.22

0.00

35.31

34.03

0.00

27.67

29.05

0.05

[%]

いことが多い．今回提案したアテンションから単語ア

[%]

[%]

参考文献

ライメント表を作成する手法ではアテンションが正しいことを前提にしているため，アテンションが間違っ[1] P. Arthur, G. Neubig, and S. Nakamura. Incorporat-ていると正確な単語アライメント表を作れず，未知語

ing discrete translation lexicons into neural machineを適切な単語で置き換えることができない．今回の実translation. In Proceedings of the 2016 Conference

験では ASPEC，NTCIR-10 では gdfa-f+IBM+Dict を

on EMNLP, pp. 1557–1567, 2016.

用いれば未知語を完全になくすことができたが，田中[2] D. Bahdanau, K. Cho, and Y. Bengio. Neural ma-

コーパスではすべてをなくすことはできていない．こchine translation by jointly learning to align andれは，アテンションが間違っており，gdfa-f を適用すtranslate. arXiv preprint arXiv:1409.0473, 2014.

る際どの単語にも対応付けされていない単語があったためである．ニューラルネットワークのモデルの改善[3] S. Banerjee and A. Lavie. Meteor: An automaticなどでアテンションをより正しく出力するようにでき

metric for mt evaluation with improved correlation

ればこの問題に対処可能と期待される．

with human judgments. In Proc. ACL workshop on
intrinsic and extrinsic evaluation measures for ma-

また，表 3 より，英日翻訳でも BLEU が向上するこchine translation and/or summarization, Vol. 29, pp.とが分かった．

65–72, 2005.
[4] Peter F Brown, Vincent J Della Pietra, Stephen

4 おわりにA Della Pietra, and Robert L Mercer. The math-

本論文では，アテンションをもとに単語アライメン

ematics of statistical machine translation: Parame-ト表を作成することで，出力結果における未知語が入

ter estimation. Computational Linguistics, Vol. 19,

力文のどの単語に対応しているかを判別し，統計的機

No. 2, pp. 263–311, 1993.

械翻訳でのモデルを用いて未知語を適切な単語に置き換える手法を，性質の異なる 3 種類のコーパスに適用[5] K. Cho, B. van Merrienboer, C. Gulcehre, D. Bah-した．その結果，提案手法の gdfa-f+IBM+Dict を用いて単語アライメント表を作ることで未知語をなくすことができた．また，学習コーパスから作成した辞書だ
けでなく外部辞書を利用し，用語が統制されたコーパ

danau, F. Bougares, H. Schwenk, and Y. Bengio.
Learning phrase representations using rnn encoder–decoder for statistical machine translation.

pp.

1724–1734. ACL, 2014.

ス，口語主体の表現が多様なコーパスの両方においてBLEU 値などを向上させることができた．

― 1465 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 3: 英日での翻訳結果の精度評価の比較．太字は最も高い値 (UNK の場合は最も低い値)．

ASPEC

NTCIR-10

田中コーパス

BLEU

UNK

BLEU

UNK

BLEU

UNK

baseline

34.58

2.07

36.73

0.37

21.01

4.01

BPE

29.54

0.00

33.26

0.00

20.22

0.00

PosUNK

34.47

0.1736.39

0.03

19.82

0.82

+inter+IBM

34.63

0.50

36.83

0.05

21.48

2.54

+inter+CP

34.64

0.57

36.76

0.20

21.40

2.88+inter+Dict

34.59

0.81

36.74

0.28

21.21

2.89

+inter+IBM+Dict

34.64

0.57

36.83

0.05

21.48

2.42

+gdfa-f+IBM

34.66

0.00

36.83

0.00

21.52

0.00

+gdfa-f+CP

34.68

0.16

36.77

0.21

21.48

0.16

+gdfa-f+Dict

34.59

1.10

36.73

0.26

21.43

2.32

+gdfa-f+IBM+Dict

34.66

0.00

36.83

0.00

21.52

0.00

[%]

[%]

[%]

[6] I. Goto, K.-P. Chow, B. Lu, E. Sumita, and B. K.

[12] G. Neubig. Travatar: A forest-to-string machine

Tsou. Overview of the patent machine translationtranslation engine based on tree transducers. In ACL

task at the ntcir-10 workshop. In NTCIR, 2013.

System Demonstrations, pp. 91–96, 2013.

[7] S. Jean, K. Cho, R. Memisevic, and Y. Bengio. On[13] K. Papineni, S. Roukos, T. Ward, and W.-J. Zhu.

using very large target vocabulary for neural ma-

BLEU: a method for automatic evaluation of ma-chine translation. In Proceedings of the 53rd An-chine translation. In ACL, pp. 311–318, 2002.

nual Meeting of the ACL and the 7th International[14] R. Sennrich, B. Haddow, and A. Birch. Neural ma-Joint Conference on NLP, Vol. 1, pp. 1–10, 2015.

chine translation of rare words with subword units.
In Proceedings of the 54th Annual Meeting of ACL,

[8] Philipp Koehn, Franz Josef Och, and Daniel Marcu.

Vol. 1, pp. 1715–1725, 2016.

Statistical phrase-based translation. In NAACL HLTVolume 1, pp. 48–54. ACL, 2003.

[15] I. Skadina and R. Rozis. Towards hybrid neural ma-[9] M.-T. Luong and C. D. Manning. Achieving openchine translation for english-latvian. In Proceed-vocabulary neural machine translation with hybrid

ings of the 7th International Conference Baltic HLTword-character models. In Proceedings of the 54th

2016, Vol. 289, p. 84.

Annual Meeting of ACL, Vol. 1, pp. 1054–1063,[16] I. Sutskever, O. Vinyals, and Q. V. Le. Sequence

2016.

to sequence learning with neural networks. In Advances in neural information processing systems,[10] T. Luong, I. Sutskever, Q. Le, O. Vinyals, andpp. 3104–3112, 2014.

W. Zaremba. Addressing the rare word problem inneural machine translation. In Proceedings of the[17] Z. Tu, Z. Lu, Y. Liu, X. Liu, and H. Li. Model-53rd Annual Meeting of ACL and the 7th Interna-ing coverage for neural machine translation. In Pro-tional Joint Conference on NLP, Vol. 1, pp. 11–19,

ceedings of the 54th Annual Meeting of ACL, Vol. 1,2015.

pp. 76–85, 2016.

[11] T.

Nakazawa,M.

Yaguchi,K.

Uchimoto,[18] 伊部早紀, 松田源立, 山口和紀. 日英ニューラル機

M. Utiyama, E. Sumita, S. Kurohashi, and械翻訳におけるアテンションを用いた未知語置

H. Isahara. ASPEC: Asian scientific paper excerptcorpus. In Proc. of LREC 2016, pp. 2204–2208.

き換えの手法. 自然言語処理, Vol. 25, No. 5, pp.

― 1466 ―511–526, 2018.

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.