非自己回帰デコーディング型ニューラル
機械翻訳の改善
Improvement of Neural Machine Translation that Uses Non-autoregressive Decoding

国立研究開発法人情報通信研究機構

先進的音声翻訳研究開発推進センター

今村主任研究員

賢治

2004 年奈良先端科学技術大学院大学情報科学研究科情報処理学専攻博士課程修了。1985 年日本電信電話株式会社。2014 年株式会社 ATR-Trek より NICT に出向。機械翻訳の研究に従事。

1

精度の改善を行う。

はじめに以下、２節で Mask-Predict 方式の概要を簡単に説本 稿 で は、 非 自 己 回 帰（non-autoregressive） デコーディングを使ったニューラル機械翻訳器の改善を明し、３節で損失関数を修正する。４節で実験を行い、５節でまとめる。

試みる。本稿で対象とする非自己回帰方式は、MaskPredict［1］ である。Mask-Predict 方式では、全トークンを同時並列に生成するために、まず、翻訳文の長さ2Mask-Predict 方式を予測する。そして、デコーダーに予測するした数の非自己回帰デコーディングは、Transformer［2］ の並<mask> トークンを入力し、それらを翻訳結果になる列性を利用し、翻訳文のすべてのトークンを同時に生成ように文を復元する。

する［3］、［4］、［1］。

訓練の際は、翻訳文のトークン予測と長さ予測を同時

Mask-Predict 方式は、BERT［5］ でも用いられていに学習する。しかし、Mask-Predict 方式は予測対象

る マ ス ク 言 語 モ デ ル（masked language models）のトークン数がバッチごとに異なる。そのため、トークによって、入力された <mask> トークンが何であっン予測の損失と長さ予測の損失の割合を適切に制御しなたのか、復元するように翻訳文を生成する（図１）。初

いと、どちらかの予測が過学習する。本稿では、学習時

期入力は全トークンが <mask> である。学習時には、にトークン予測と長さ予測の損失を適切に混合し、翻訳<mask> トークンだけ損失を計算し、パラメータを更長さ予測

h1

h2

h3

h4h5へ行きます

toTransformerデコーダー

Transformerエンコーダー<len> 東京will

マスク言語モデルによる復元。

We <mask> go <mask> Tokyo.

予測長でトークンを確保
図１296

Mask-Predict の動作例

新する。

さ予測モデルの勾配が適切に配分される。この修正は基トークンを並列に生成するため、あらかじめ翻訳文の本的にはバグ修正であるが、翻訳品質は向上する。

長さをエンコーダー出力から推定する。これは入力文の先頭に <len> トークンを付与し、それに対するエンコーダー出力を長さ埋込として分類器を動作させ、長さを推定する。

4実験

4.1

実験設定

いくつかの非自己回帰デコーディングは、１回の生成コーパスは ASPEC［6］ の日英翻訳を使用した。これでは十分な翻訳品質を確保できないため、デコーディンには約 300 万文の対訳を含み、dev, devtest, test

グを繰り返し適用することで品質を向上させている（たの３種類のヘルドアウトセットを含んでいる。

とえば［4］）。Mask-Predict も最低４回、できれば 10使 用 し た シ ス テ ム は、GitHub 公 開 さ れ て い る

回程度の繰り返し適用をすることで、翻訳品質を向上さ

Mask-Predict である 1。また、この Mask-Predict はせているが、自己回帰デコーディングの性能には届いてfairseq 翻訳システムを改良したものなので、参考までいない。に fairseq［7］2 の Transformer モデル（自己回帰デコーディング）とも比較する。

Mask-Predict 方式の改善

８ ヘ ッ ド、 モ デ ル 512 次 元、FFN は 2,048 次 元 ）２節で述べたとおり、Mask-Predict 方式は翻訳文の長さ推定とマスクトークンの推定を同時に行う。つま相当のものを学習した。ただし、データの知識蒸留（knowledge distillation）は行っていない。

り学習時は長さ予測モデルとマスク言語モデルの学習を同時に行っている。
ϑ′＝ Update（Lmask＋Llenϑ, ─────
Nmask

Mask-Predict 方式は、非自己回帰デコーディングを繰り返し適用することで、翻訳品質を上げることが）（1）できる。本稿では、10 回繰り返しを行った。また、テスト時のビーム幅は Mask-Predict 方式は 5、通常の

ただし、Update 関数は、最適化器（本稿では AdamTransformer は 10 を使用した。Mask-Predict 方式最適化を使用）のパラメータ更新関数で、ϑ、ϑ′はそれは、一つの長さに対して一つの翻訳仮説しか生成しない

ぞれ更新前後のパラメータセット、Lmask、Llen はそれため、ビーム幅は長さの予測数である。

ぞれマスク言語モデルの損失、長さ予測モデルの損失、

4.2

Nmask はミニバッチ内のマスクトークン数である。

実験結果

マスク言語モデルは、さまざまなマスク率で元トーク

まず、訓練時におけるパープレキシティの推移を図２ンを推定する必要があるため、マスク数を変化させながに示す。このグラフは、改善前後のマスク言語モデルとら学習している。そのため、式（1）のNmask はミニバッ

長さ予測モデルのエポックごとの開発セットパープレキチ毎に著しく変化する。しかし、多くの場合はミニバッシティの推移を示したものである。この結果では、長さチに含まれる文数（長さ予測数 Nlen と同じ）は比較的予測モデルについては、改善前後の違いがほとんどない一定である。そのため、式（1）のように損失を Nmask でが、マスク言語モデルに関しては、パープレキシティが割っただけではパラメータの勾配がミニバッチ毎に変化低下している。これは、モデルの精度が向上しているこしてしまい、学習が適切に行われない。結果的に、どちとを示している。

らかのモデルが過学習となる。

表１は、改善前後の BLEU スコアである。参考まで

そこで本稿では、式（1）を長さ損失の要素数（Nlen）も考慮し、以下のように修正する。

（）

Lmask＋Llen
ϑ′＝ Update ϑ, ───── 
Nmask＋Nlenに、fairseq での Transformer ベースモデルのスコアも示す。赤字は、Mask-Predict（改善前）に比べて、(2)1

https://github.com/facebookresearch/Mask-Predict
2020 年 5 月時点。

このように修正することにより、マスク言語モデルと長2https://github.com/pytorch/fairseq

YEAR BOOK 2O2O 297

4

機械翻訳技術の向上

3

今回は、Transformer Base モデル（６レイヤー、50PPL

長さ(改善前)長さ(改善後)

翻訳文(改善前)
翻訳文(改善後)

50
図２

表1

10203040

エポック

50

マスク言語モデルと長さ予測モデルの開発セットパープレキシティ (PPL) の推移度化に関する研究開発」による委託を受けて実施した研方式別 BLEU スコア
BLEU方式究開発による成果です。

devdevtest

test

Mask-Predict（改善前）

25.24

23.56

24.82

Mask-Predict（改善後）

25.28

24.13

25.08

Transformer ベースモデル 28.76

27.43

28.91

参考文献
［1］Ghazvininejad, Omer Levy, Yinhan Liu, andLuke Zettlemoyer. 2019. Mask-predict:

スコアが有意に向上していることを示す（p ＜ 0.05）。

Parallel decoding of conditional masked

Mask-Predict は、Trasnformer ベースモデルに比べlanguage models. In Proceedings of the

翻訳品質は劣る。Mask-Predict の改善前と改善後の2019 Conference on Empirical Methods in

BLEU を比較すると、有意差があるのは devtest セッNatural Language Processing and the 9thトのみなので、確実とは言えないが、改善後の BLEU

International Joint Conference on Natural

スコアの方が高い傾向がある。

Language Processing （EMNLP-IJCNLP）,

複数の損失を混合して同時学習する場合、勾配も適切に分配しないと、最終的なモデルの精度や翻訳品質が低下することを示している。

pages 6112–6121, Hong Kong, China,
November.
［2］Ashish Vaswani, Noam Shazeer, Niki Parmar,
Jakob Uszkoreit, Llion Jones, Aidan N.

5

まとめ

本稿では、Mask-Predict 方式に焦点をあて、学習

Gomez, Lukasz Kaiser, and Illia Polosukhin.
2017. Attention is all you need. CoRR,
abs/1706.03762.

時の勾配計算の改善を行った。基本的にはバグ修正に位［3］J i a t a o G u , J a m e s B r a d b u r y , C a i m i n g

置づけられるが、モデルが適切に学習されることを示し

Xiong, Victor O. K. Li, and Richard Socher.

た。

2017. Non-autoregressive neural machinetranslation. CoRR, abs/1711.02281.

謝辞

298

［4］J a s o n L e e , E l m a n M a n s i m o v , a n d

本件は、総務省の「ICT 重点技術の研究開発プロジェ

Kyunghyun Cho. 2018. Deterministic non-クト（JPMI00316）」における「多言語翻訳技術の高autoregressive neural sequence modelingby iterative refinement. In Proceedings ofthe 2018 Conference on Empirical Methods
in Natural Language Processing, pages
1173–1182, Brussels, Belgium, OctoberNovember.
［5］Jacob Devlin, Ming-Wei Chang, Kenton Lee,and Kristina Toutanova. 2019. BERT: Pretraining of deep bidirectional transformers
for language understanding. In Proceedingsof the 2019 Conference of the North
American Chapter of the Association
for Computational Linguistics: Human
Language Technologies, Volume 1（Longand Short Papers）, pages 4171–4186,

4

機械翻訳技術の向上

Minneapolis, Minnesota, June.
［6］T o s h i a k i N a k a z a w a , M a n a b u Y a g u c h i ,Kiyotaka Uchimoto, Masao Utiyama, Eiichiro
Sumita, Sadao Kurohashi, and Hitoshi
Isahara. 2016. Aspec: Asian scientificpaper excerpt corpus. In Proceedings of theNinth International Conference on Language
Resources and Evaluation（LREC 2016）,
pages 2204–2208, Portoroˇz, Slovenia,May.
［7］Myle Ott, Sergey Edunov, Alexei Baevski,
Angela Fan, Sam Gross, Nathan Ng, David
Grangier, and Michael Auli. 2019. fairseq:A fast, extensible toolkit for sequencemodeling. In Proceedings of the 2019
Conference of the North American Chapterof t he Ass o c i a t i o n fo r C o mp u t a t ionalLinguistics（Demonstrations）, pages 48–53, Minneapolis, Minnesota, June.

YEAR BOOK 2O2O 299