言語処理学会 第24回年次大会 発表論文集 (2018年3月)

Gumbel Sampling による敵対性ニューラル機械翻訳
白井 圭佑 †江里口 瑛子 ‡橋本 和真 ‡森 信介 §二宮 崇 ¶†京都大学 情報学研究科 知能情報学専攻
東京大学 工学系研究科 電気系工学専攻§
京都大学 学術情報メディアセンター¶
愛媛大学 大学院理工学研究科 電子情報工学専攻‡{† shirai.keisuke.64x@st., § forest@i.}kyoto-u.ac.jp‡{eriguchi, hassy}@logos.t.u-tokyo.ac.jp¶
ninomiya@cs.ehime-u.ac.jp

1

はじめにことにより識別モデルからのシグナルを伝播可能なフレームワークを提案する. 提案手法では ASPEC の英

ニューラル機械翻訳 (Neural machine translation;NMT) [1] は機械翻訳における深層学習モデルのことを指し，近年盛んに研究がされている. NMT は翻訳元系列をある中間表現に変換する Encoder と得られた
中間表現から翻訳先系列を予測する Decoder とから構成される. この Encoder, Decoder には再帰的ニューラルネットワーク (Recurrent neural network; RNN)がしばしば用いられる．NMT による翻訳文の問題点として，特定のフレーズの過度な繰り返しや欠落が生じることが挙げられる．
一方で敵対性生成モデル (Generative adversarialnets; GANs) [3] は画像生成分野において注目を集めているモデルのことを指し，こちらも盛んに研究されている. GANs はデータセット中に存在するようなデータを一様なノイズから生成するように学習する生成モ
デルと生成モデルが生成したデータとデータセット中の本物のデータを正しく識別するように学習する識別モデルとから構成される.
NMT を GANs のフレームワークに適用するモチベーションとしては，識別モデルを付与することにより NMT の繰り返しや欠落を抑制できる可能性があるということである．しかし，RNN による文生成のタスクを GANs における生成モデルと捉えて，敵対性学習のフレームワークに応用する際には次のような問題が生じる．生成モデルの出力は離散的な単語列であるために計算グラフがその箇所で途切れてしまうために，結果として識別モデルからの学習シグナルを生成モデルにまで伝播することが出来ない．この問題を解決するために，本論文では Gumbel Sampling を行う

日コーパスにおいて BLEU と RIBES の双方で精度向上が見られた.

2研究背景

2.1

ニューラル機械翻訳

NMT では翻訳元系列 s = s1 ，s2 ，· · · ，sm が与えらた際の翻訳先系列 t = t1 ，t2 ，· · · ，tn の対数尤度を最大化するように学習するが，それは以下のように記述できる．

1∑
log P (ti |tj<i ，s)n i=1
nmax p(t|s) =(1)通常，ニューラル機械翻訳のベースラインとしてはattention [2] と呼ばれる構造を付与したものが用いられる．

2.2

敵対性生成モデル

GANs [5] とは画像生成の分野で盛んに研究がされているフレームワークである．GANs は生成モデルと識別モデルの２つのモデルから構成される．生成モデ
ルは学習データ中に存在するデータを生成するように，識別モデルは生成モデルが生成したデータ (以下，負例とする) とデータセット中の本物のデータ (以下，正例とする) を正しく識別するすることが目的である. 識
別モデルは正例と負例に対して別々のラベルを返すことにより識別を行うが，生成モデルは自身が生成した― 296 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

データを識別モデルに与えた際に識別を誤るような，Iつまり正例を返すようなデータを生成できるように学

ama university student.

Discriminator

習を行う.
識別モデルが正例に対してラベル 1 を，負例に対しForward
Gumbel Samplingてラベル 0 を返すことにより識別するものと想定する.
識別モデル D の目的関数は以下のように記述される.

maxEx∼Pdata (x) [log D(x)]D+ Ez∼Pz (z) [log(1 − D(G(z)))]Iama university student(2)

.

私は大学

生です。

</S>

<S>

私は大学生です。

Encoder

ここで，x は学習データ中に存在するデータを，Pdata

Decoder

図 1: 提案手法の概略図

はそのデータの確率分布を，z は生成モデルが初めに受け取るノイズを，Pz はそのノイズの確率分布をそれぞれ表す．また，生成モデル G は自身が生成したデー

2.4

タを識別モデルに与えた際に，正例と同一のラベルが返される期待値を最大化するように学習を行うが，その目的関数は以下のように記述される.

max Ez∼Pz (z) [log D(G(z))]
GGumbel Sampling

強化学習を用いずに識別モデルのシグナルを生成モ
デルに伝播させる方法として，Gumbel Softmax [7]による擬似サンプリングを利用することが考えられ(3)る. これは，NMT が出力したカテゴリ分布 π = π1 ，π2 ，· · · ，πk が与えられたときに以下の計算を行うことに相当する.

2.3

敵対性学習による文生成

RNN 言語モデルを用いた文生成のタスクを GANsexp((log(πi ) + gi )/τ )yi = ∑kj=1 exp((log(πj ) + gj )/τ )のフレームワークに適用することは非常に困難である.

ここで，k は語彙サイズを表す. τ は Gumbel Softmax

RNN 言語モデルの出力が離散的な単語列であり微分におけるハイパーパラメータを表し temperature と呼不可能であるために計算グラフがその箇所で途切れてばれるものである．小さい τ では分布は one-hot に，逆しまい，結果として識別モデルから得た学習シグナルに大きい τ では分布は一様分布に近付く. gi は gumbelを生成モデルにまで伝播出来ないからである. 従って，分布からサンプリングしたノイズをそれぞれ表し，特RNN 言語モデルにおける文生成を GANs のフレームに gi はワークに適用する際にはまずこの問題を解決する必要がある.

Yu らは文生成のプロセスを強化学習における方策勾配法の考え方に当て嵌めることでこの問題を解決している [4]。この手法では，それまでに出力した単語列を自身の state，次に出力する単語を選択するプロセ
スを action，そして識別モデルから得られる学習シグナルを reward と捉えることで強化学習を適用している. Wu らは Yu らと同様に方策勾配法を用いて GANsのフレームワークを NMT に適用することで，BLEUui∼

Uniform(0，1)

gi=− log(− log(ui ))(4)で得られる1 ．上記の Gumbel Softmax は微分可能であるため，これによって得られた分布を argmax で得られた単語の代わりに用いて識別モデルに与えることで，識別モデルから得られたシグナルを NMT にまで逆伝播させることが可能になる. 本研究では一貫してtemperature の値は 0.1 に設定する．

における精度向上を実現している [5].
本研究では，この問題を解決するために強化学習で3

提案手法

3.1

Gumbel Sampling による敵対性ニューラル機械翻訳はなく Gumbel Sampling による擬似サンプリングを行う. Gu らは同様のアプローチによる NMT のモデルを提案している [6] が，提案手法では Gu らのモデルとは異なり生成モデル，識別モデルの事前学習が不要である．以降の節では，Gumbel Sampling の説明，そして NMT への応用を議論する.

本節では NMT を翻訳先系列を生成する生成モデルだと捉え，新たに識別モデルを付与することで NMT
1g― 297 ―i = − log(− log(Uniform(0，1)) と等価である．

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

を GANs のフレームワークに応用することを考える.
ここで，識別モデルは RNN により構成されることを想Algorithm 1 Proposed model
Require: Generator Gθ and Discriminator Dϕ

定する．これは画像生成の際とは異なり，識別モデル

1: initialize Gθ ， Dϕ with random weights

が入力として受け取るデータが単語列であるために時

2: while until Gθ converges do

系列を考慮する必要があるからである．識別モデルに

3:

与える NMT の出力としては，前節で触れた Gumbel

4:

Prepare a pair of sequences s and t▷ train Discriminator

Sampling によって得られたものを用いるが，出力系

5:Let Gθ generate a target sequence t′ with s

列自体は greedy search によって得られたものを用い

6:

Train Dϕ using s， t， and t′ by Eq. 6

る．以下では，データセット中に存在する翻訳先系列

7:

Update Dϕ parameters

を NMT による翻訳文と区別する際には参照訳文と呼8:▷ train Generator

ぶことにする．

9:

Train Gθ by Eq. 1

10:Let Gθ generate a target sequence t′ with s

本研究では NMT の目的関数を以下のように定義する．

Get a learning signal from the discriminator11:

λ1 n1+∑ni=1 logusing s and t′

Pti ∼G(s) (ti |tj<i ，s)

λ2 E s∼Pdata (s) [log(D(s，t′ ))]t′ ∼G(s)Update Gθ parameters

12:

(5)

13: end while

ここで，λ1 ，λ2 はハイパーパラメータであり，対数尤ASPEC

度と識別モデルからのシグナルの強さを調整する役割

言語対英日がある．また，識別モデルからのシグナルだけでなく語彙25,000

25,000対数尤度も用いて学習する理由としては，識別モデル

train

100,000

100,000からのシグナルだけでは参照訳文に直接アクセス出来

dev

1,790

1,790ないからである．

test

1,812

1,812

識別モデルの目的関数は以下のように定義する．
表 1: 実験に用いたデータ

E(s，t)∼Pdata (s，t) [log(D(s，t))]+ E s∼Pdata (s) [log(1 − D(s，t′ ))]t′ ∼G(s)(6)

文に対しては mosesdecoder の tokenizer.perl3 を，和ここで，s は翻訳元系列を，t は参照訳文を，t′ は NMT

文に対しては KyTea4 を用いた. 学習データとしては，による翻訳文をそれぞれ表す．これは，識別モデルが50 単語以下である文対のうち，上位 100，000 文を用翻訳元分と対応する翻訳先系列を受け取った際に，そいた. また，語彙としてはコーパス内に出現する単語の翻訳先系列が参照訳文か翻訳文かを識別する確率をのうち，出現頻度が上位 25，000 のものを選択した.

最大化することを示す．また，識別モデルは翻訳元系実験に用いたデータをまとめると表 1 に示すとおりに列も同時に受け取るが，これは受け取った翻訳先系列なった.

が翻訳のタスクにおいて妥当なものであるかを判断できるようにするためである．
提案手法は以下に示すアルゴリズムに集約できる．

4.2

モデルのパラメータ

提案手法では従来の強化学習を用いる手法とは異な本実験では NMT の Encoder と Decoder，そして識り，生成モデル（NMT）と識別モデルは事前学習を別モデルの双方に 1 層の LSTM を用い，隠れ層の次元用いずに同時に学習を行う．

を 256 とした．また，LSTM には係数 0.2 の dropoutを適用した. NMT には attention として Luong らの“global attention(dot)” [2] を採用した.NMT と識別モ

4

実験

4.1

コーパス

デルは双方ともに勾配を 1.0 でクリップし，係数 1e−6の L2 正則化を適用した.

本実験では Asian Scientific Paper Excerpt Corpus（ASPEC）2 の英日コーパスを用いた. 単語分割は英― 298 ―2 http://lotus.kuee.kyoto-u.ac.jp/ASPEC/
3 https://github.com/moses-smt/mosesdecoder
4 http://www.phontron.com/kytea/index-ja.html

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

BLEU

RIBES

レーズを見抜くことが出来ないのではないかというこ

ベースライン

26.07

75.83とである．

提案手法

27.65

76.79識別モデルがそういった NMT の翻訳文の特徴を見抜いていないにも関わらず精度が改善したことについては、識別モデルから得られる学習シグナルが文全体表 2: 実験結果を評価したものであるからではないかと考えられる．

最適化手法としては NMT と識別モデルの双方に確率的勾配降下法を用いた. NMT に対しては，初期学習率を 1.0 で始め，開発データで計算した perplexityが悪化するごとに 0.5 を掛けることで調整した. 識別モデルに対しては，初期学習率を 1.0 で始め，5 エポッ

つまり，通常の NMT では語当たりの cross entropy 誤差を用いてパラメータを更新するが，提案手法では識別モデルから得られる文全体の評価値をパラメータ更新に用いることが出来るために，ベースラインを上回る精度を実現出来たのではないかということである．

ク毎に 0.9 を掛けることで調整した. また，ミニバッ
チサイズは 128 として学習を行った.
式 5 のハイパーパラメータについては，λ1 = 1.0，5λ2 = 1e − 3 とした．

おわりに本研究では，NMT を GANs のフレームワークに適用する問題点について述べ，その解決策として Gumbel

4.3

Sampling を用いる手法を提案した．実験に用いたコー評価パスでは BLEU と RIBES の双方においてベースライ

提案手法の評価は幅 5 の beam search に出力結果ンを凌ぐ精度を実現することを示した．今後は他言語を自動評価尺度の BLEU と RIBES で評価することで対のコーパスやより大規模なデータで実験を行い提行った. ベースラインとしては通常の attention NMT

案手法の有効性を検証するとともに，識別モデルが識を用いた. 実験結果は表 2 に示すとおりになった.

別の際に注視するフレーズの分析にも注力していきたい．

4.4

考察

識別モデルを用いて翻訳文と参照訳文を識別させ，さらには NMT の学習に用いることで RNN 言語モデ
ルに特有な繰り返しや欠落を抑制出来るのではないかと期待されるかもしれない．しかし，実際には識別モデルはそういった特徴に注視して識別を行っているわけではなかった．これは，実際にテストデータとそれに対する翻訳文を用いて識別モデルに識別をさせた際に得られた知見である．識別モデルがそういったフレーズを見抜けていないことについては 2 つの理由が考えられる．まず，学習中に識別モデルに与える翻訳文は学習データ中に存在する翻訳元系列から生成されたものだからではないかと考えられる．つまり，識別モデルが学習中に参照する翻訳文は繰り返しや欠落といった RNN 言語モデルの特徴が殆ど含まれていないために結果としてそれ以外の特徴を用いて識別するように学習したのではないかということである．次に，識別モデルにも RNN を用いていることが考えられる．
これは，RNN 言語モデルに特有な繰り返しや欠落を見抜くために識別モデルを用いたとしても，その識別モデルが RNN で構成されている限りはそういったフ

参考文献[1] I. Sutskever and O. Vinyals and Q. Le. “Sequence tosequence learning with neural networks.” Advancesin neural information processing systems. (2014).
[2] T. Luong and H. Pham and C. Manning. “Eﬀectiveapproaches to attention-based neural machine translation.” arXiv preprint arXiv:1508.04025 (2015).
[3] I. Goodfellow and J. Pouget-Abadie and M. Mirzaand B. Xu and D. Warde-Farley and S. Ozair andA. Courville and Y. Bengio. “Generative adversarial nets.” Advances in neural information processingsystems. (2014).
[4] L. Yu and W. Zhang and J. Wang and Y. Yu. “SeqGAN: Sequence Generative Adversarial Nets withPolicy Gradient.” AAAI. (2017).
[5] L. Wu and Y. Xia and L. Zhao and F. Tian and T.
Qin and J. Lai and T. Liu. “Adversarial Neural Machine Translation.” arXiv preprint arXiv:1704.06933(2017).
[6] J. Gu and J. Daniel and O. Victor. “Neural machinetranslation with gumbel-greedy decoding.”arXiv
preprint arXiv:1706.07518 (2017).
[7] E. Jang and S. Gu and B. Poole. “Categoricalreparameterization with gumbel-softmax.” arXiv
preprint arXiv:1611.01144 (2016).

― 299 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.