言語処理学会 第26回年次大会 発表論文集 (2020年3月)

モデルに基づくマスキングを行う
非自己回帰的ニューラル機械翻訳安井 豪 †

永田 昌明 ‡

鶴岡 慶雅 ††

東京大学 大学院情報理工学系研究科
NTT コミュニケーション科学基礎研究所†{gyasui,tsuruoka}@logos.t.u-tokyo.ac.jp‡
masaaki.nagata.et@hco.ntt.co.jp‡

1

はじめにのアルゴリズムと推論時のアルゴリズムが異なる点である。学習時の挙動を推論時の挙動に近づけることはニューラルネットワーク技術の発展に伴い、機械翻性能向上に繋がるとされているため、このギャップは訳においても統計的手法に代わり、ニューラル機械翻欠点になりうる [9]。また、強化学習のような手法を訳を用いることが一般的になってきた [1, 8]。ニュー

適用しづらく、復号の高速化を性能向上にも利用する

ラル機械翻訳の中でも Transformer [8] を用いた手法ことが難しい。本研究では、Mask-Predict をベースは高い精度を誇る一方で、従来の再帰的なニューラルとし、そのマスキング機構に変更を加えることで、非ネットワークを使った手法と比べ、出力の計算に時間自己回帰的機械翻訳においても学習時に推論時の挙動がかかることが知られている。

を再現する手法を提案する。

Transformer は、学習時には並列に複数のトークンを出力できるが、推論時には LSTM[4] 等と同様に自己回帰的にトークンを計算する必要がある。LSTM 等

2

関連研究

2.1

非自己回帰的翻訳モデルと比べ一つのトークンに対する計算時間が長いことが推論時の計算時間の長さの原因となっている。また、
強化学習のような学習時にも推論時の挙動を再現する

自己回帰的な文生成を行うモデルでは文を先頭から必要がある手法は、学習に時間がかかりすぎるため、順番に 1 トークンずつ生成していく。一方で非自己回Transformer ではあまり用いられない。
計算時間の問題は、強化学習の是非だけではなく、実用面にも大きな影響を与えている。推論時の計算時

帰的文生成モデルでは、トークン生成に順番はなく、間を短縮するため、Knowledge Distilaltion [10] を用すべてを入力として計算することで、次のトークンをいてモデルのパラメータを減らすなど、様々な高速化生成する。非自己回帰的 Transformer では、すべてのの手法が提案されている。中でも特に注目を集めていトークンを並列に計算するため、学習時に未来のトーる高速化の手法が、復号の仕組みを変え、Decoder をクンを見ないためにかける Causal Mask が存在しな非自己回帰的にすることである。

い。また、自己回帰的機械翻訳では、文末トークンがすべてのトークンが並列に生成される。Transformerは再帰的な構造を持たないが代わりに過去のトークン

非自己回帰的機械翻訳モデルでは、ひとつずつトー出た時点で出力を止めるが、非自己回帰的機械翻訳でクンを生成するのではなく、文中のすべてのトークンはトークン生成の前にあらかじめ出力の長さ L を決めを並列に生成する。この場合一文あたりの合計計算回ておく必要がある。これらを踏まえると非自己回帰的数が少なく、復号の高速化が期待できる。一度の並列機械翻訳での計算は式 (1) のようになる。

計算で正確に文を生成することは難しいため、Mask-Predict [2] や Levenshtein Transformer [3] といった精度の高いとされている手法では何度か復号の計算を繰り返し生成文を改善する。
これら非自己回帰的手法の特徴のひとつは、学習時

pN A (Y | X) = pL (L | X)

L∏pY (yl | L, X)

(1)

l=1

ここで、X = [x1 , x2 , ..., xt , ..., xT ] は翻訳元言語の入力系列、Y = [y1 , y2 , ..., yl , ..., yL ] は翻訳先言語の出力― 1372 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

系列、pL (·) は出力長の予測モデル、pY (·) は出力トーしたがって、学習時にはランダムに、推論時には尤度クンの予測モデルを表す。

基準にマスクがかかることになり、CMLM の入力の性質に学習時と推論時の間でギャップが生じる。例えば、

2.2

Conditional
Model

MaskedLanguage

推論時に発生しがちな同一トークンの繰り返しは学習時の入力データには存在しない。本研究では、学習時にも推論時の復号過程を再現して学習させるため、マConditional Masked Langage Model (CMLM) [2]

スキング機構のモデルを提案する。

は一部マスクトークンによって隠された翻訳先言語の入力系列を元に、隠された位置に対応するトークンを3.1予測する非自己回帰的文生成モデルである。式 (1) とマスキング機構のモデル化

比較すると、CMLM ではトークン予測モデルの入力マスキングモデルは CMLM の出力系列と最終層のに一部マスクのかかった翻訳先言語のトークン系列が隠れ状態を入力とした Transformer ベースの Decoder加わる。つまり、翻訳元言語の入力系列を前提条件ととする。これは CMLM の隠れ状態を source-target

して、翻訳先言語でトークンの穴埋め問題を解くことattention の source 側の情報として利用し、与えられになる。学習時にはランダムにマスクで隠した教師系

た各トークンに対してマスクをかけるか否かを予測す列を入力とし、損失の計算には一般的な翻訳モデルとる Decoder である。このようなマスキング機構を用い同様に、教師系列との Cross-entropy 損失を用いる。

れば出力トークンの尤度のような局所的な情報だけでこのときマスクがかかっていた位置での損失のみを計なく、出力系列全体を考慮したマスキングが行える。

算する。

また、後述する gumbel-softmax を利用した手法で推論時の挙動を再現した学習ができる。推論時には、予め設定した最大復号ステップに達するか、出力系列中2.3

Mask-Predictの全トークンに対してマスクが必要ないと判定されれ

Mask-Predict [2] は CMLM を使って文を生成する際のアルゴリズムである。Mask-Predict による復号ば復号終了とした。

は次のように行う。

3.2

1. pL により出力長を予測し、すべての位置をマスクで隠した入力系列を用意する。

復号一回のみの学習 (single-step)

学習開始時にいきなり複数回の復号を経た学習手法
を用いると学習が安定しないため、まずは一回の復号

2. CMLM でマスクのかかった位置のトークンを予に対して損失を計算する手法を提案する。この手法におけるトークン予測モデルの学習は、CMLM のもの測する。と同様に行う。マスク予測モデルについては、出力系

3. CMLM の出力のうち予測尤度が低いものに対してマスクをかけ次の復号ステップでの入力とする。

列と教師系列を比較し、異なるトークンにはマスクを4. 予め決めておいた復号ステップ回数に達するまで2. と 3. を繰り返す。

測を行うよう、Cross-entropy 損失で学習させる。

なお、3. においてマスクで隠すトークンの数は最後のかけ、同一のトークンにはマスクをかけないような予

3.3

復号ステップが終わる際にゼロになるよう線形に減らしていく。

複数回の復号を伴う学習 (multi-step)

学習時にも推論時の挙動を模倣させるため、複数回の復号ステップの後の最終的な出力に対する損失を復号過程全体に逆伝搬させる手法を提案する。Mask-3

Predict において、トークン予測モデルによって計算提案手法

されたトークン出力分布は、その最大点 (argmax) を前述のとおり、Mask-Predict では 2 ステップ目以降取る形でトークンに置き換えられる。このトークンの各復号ステップにおいて、前ステップでの出力系列選択は微分不可能な操作である。このトークンを選ぶのうち尤度が低いトークンを隠して入力系列とする。

過程を擬似的に微分可能にするため、本研究では本来― 1373 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

argmax を取るところで gumbel-softmax によるサンプリングを利用する [5]。
Gumbel-softmax はカテゴリ分布から疑似的に微分可能な形でサンプリングする際に用いられる手法であり、式 (2) ような計算となる。

4.2

学習設定

モデルや最適化のパラメータ設定は Ghazvininejadらの設定 [2] に従った。トークン予測モデルの Encoderと Decoder は埋め込み層・隠れ層の次元数を 512 とし、exp ((log pi + gi ) /τ )attention の head が 8 つの Transformer ブロックを 6層を重ねたモデルとした。ただし、Transformer ブロッ

j=1 exp ((log pj + gj ) /τ )クの Feedforward Network の次元数は Small CMLM

gumbel-softmax (pi ) = ∑I

(2)
ここで、pi は語彙数 I のトークン予測モデルが出力に合わせ、512 とした。また、出力長予測モデルにつするカテゴリ分布の i 番目の要素である。また、gi は元と翻訳後の系列長の差を予測する手法をとり、予測式 (3) ようにサンプリングされる gumbel ノイズであ

幅は [−128, 128] に設定した。マスク予測の Decoderる。温度パラメータ τ が小さいほど式 (2) の出力するは attention の head が 8 つの Transformer ブロック

分布は one-hot に近づく。

1 層のみのモデルとした。埋め込み層と隠れ層の次元数はトークン予測モデルと同様 512 とした。提案手法

gi = − log (− log ui )(3)

ui = uniform (0, 1)(4)

本研究の手法では、トークン予測モデルの出力系

いては [3] の例に習い、出力長の絶対値ではなく翻訳での gumbel-softmax の温度パラメータは 0.1 に固定した。ベースライン (Mask-Predict) のモデルは再現実装を行った。

列から gumbel-softmax によるサンプリングを行い、得られたトークン列をマスク予測モデルの入力とする。同様にマスク予測モデルの出力系列についても4.3

結果

推論時は、出力長予測の候補数を 2、最大復号回数

gumbel-softmax でサンプリングし、得られたマスキング選択の系列を次の復号ステップでのマスキングにを 10 とした。出力文の例を表 1 に、BLEU スコアを利用する。

表 2 に示す。BLEU スコアの計算には、開発データに微分不可能な選択操作を gumbel-softmax で代替す

対する BLEU スコアが高かった上位 5 つのチェックポることで、復号の全過程が擬似的に微分可能になるた

イントのモデルパラメータを用い、開発・テストそれめ、最後の復号ステップの出力に対する損失値をそれぞれについて 5 つのスコアの平均を取った。表 2 より、以前の復号ステップにも逆伝搬させることができる。

提案手法 (single-step) では従来の Mask-Predict と比したがって、推論時の挙動を再現した学習が可能に較して若干の数値的な精度向上が見られたが、提案手なる。

法 (multi-step) では大幅に精度が悪化してしまった。
いずれの手法でも復号にかかる時間はほぼ変わらず、Mask-Predict が僅かに遅い程度 (1.1 倍未満) だった。

4実験

4.1

実験データ

5

実験には WMT16 のルーマニア語-英語語対訳デー

考察
提案手法 (single-step) では従来の Mask-Predict とタ (wmt16 ro-en) 1 を用いた。データの大きさは学比較して若干の精度向上が見られた。ただし、いずれ

習用 600,000 文、開発用 1,999 文、テスト用 1,999 文の手法も実験終了時にまだ学習が収束しきっていないである。データのトークン化は Lee ら [6] に習い、両可能性が考えられるため、提案手法 (single-step) 明

言語の語彙を共有させた分割数 40,000 の BPE [7] で確に従来の Mask-Predict よりも優れているとは言い行った。

切れない。出力結果についても、明確な差は見られなかった。
提案手法 (multi-step) では翻訳精度の大幅な劣化が見られた。これは、推論時の挙動を再現した学習手

1 https://www.statmt.org/wmt16/translation-task.html

法が不安定であるからだと考えらる。gumbel-softmax― 1374 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

入力文

表 1: 出力文の例“a fost o oportunitate pierduta in 2012”, a continuat fostul presedinte al finlandei.

Mask-Predict“it was a lost opportunity in 2012,” former president of finland continued.

提案手法 (single-step)“it was a lost opportunity in 2012,” the former finnish president continued.

提案手法 (multi-step)“it was an missed lost in 2012,” the former president of finland.

正解文“it was a missed opportunity in 2012,” continued the former president of finland.

表 2: 羅英翻訳の BLEU スコア (WMT16 ro-en)モデル
devtest6

おわりに
本研究では、非自己回帰的機械翻訳における学習時

Mask-Predict (再現実装)

23.86

23.02と推論時の操作の違いに注目し、マスキング機構をモ提案手法 (single-step)

24.74

24.09

デル化することでそのギャップを埋める手法を提案し提案手法 (multi-step)

14.12

13.94

た。翻訳の精度評価から、マスキング機能のモデル化による性能の劣化はほぼないことがわかった。一方で、はあくまで微分の近似値を計算可能にする手法である

推論時の復号過程を学習時にも再現した手法では学習ことから、必ずしも正確な微分値が求まるとは限らず、が安定せず、翻訳精度が下がってしまった。

伝搬誤差の分散が大きくなり得る。また、適切な学習

今後の課題としては、複数回の復号を行う学習を安率等の実験設定も single-step のものとは異なる可能定させることが挙げられる。また、本研究では複数回復号したあとの最終的な評価関数が Cross-entropy 損性がある。
提案手法の方がマスキング予測モデルの分だけパラ失によるものとなっているが、ここに強化学習などをメータの数が多いことを考えると、計算時間に大きな適用して評価関数を BLEU スコアにするなどの発展差異が見られなかったのは興味深い結果である。このも考えられる。

原因として考えられるのは、Mask-Predict がマスキングにトークン予測の尤度を使う点である。尤度を基準としてトークンに順位をつける場合、比較を行う前に尤度を正規化する必要がある。このとき正規化に利用される softmax 関数は計算量が大きいことが知られている。Mask-Predict では復号する度に softmax 演算が必要になるため、計算量が増えてしまう。一方で提案手法では、モデルによってマスクをかける是非を決定する。モデルによるマスク予測では出力の尤度を正規化する必要がないため、softmax 演算を避けることができる。
出力結果については、いずれの手法でも同一トークンの繰り返しが見られたが、これについては提案手法(single-step) の出力でより顕著だった。Mask-Predictと異なり、提案手法では復号の過程で明示的にマスクの数を減らす機構がない。特に翻訳が難しい長文に対しては、復号の後半になっても多数のマスクトークンが残ってしまっており、広域のトークンに対して予測を行っていた可能性が高い。提案手法 (multi-step) の学習が安定すれば、最終的な出力結果の評価が学習に反映されるためこの問題が解消される可能性も考えられる。

参考文献[1] Bahdanau et al. Neural machine translation by
jointly learning to align and translate. In ICLR,
2015.
[2] Ghazvininejad et al. Mask-predict: Parallel decoding of conditional masked language models. InEMNLP, 2019.
[3] Gu et al. Levenshtein transformer. In NIPS. 2019.
[4] Hochreiter et al. Long Short-Term Memory. NeuralComputation, 9(8), 1997.
[5] Jang et al. Categorical Reparametrization withGumble-Softmax. In ICLR, 2017.
[6] Lee et al. Deterministic non-autoregressive neuralsequence modeling by iterative refinement. In ACL,
2018.
[7] Sennrich et al. Neural machine translation of rarewords with subword units. In ACL, 2016.
[8] Vaswani et al. Attention is all you need. In NIPS.
2017.
[9] Zhang et al. Bridging the gap between training andinference for neural machine translation. In ACL,2019.
[10] Yoon Kim and Alexander M. Rush. Sequence-levelknowledge distillation. In EMNLP, 2016.

― 1375 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.