言語処理学会 第26回年次大会 発表論文集 (2020年3月)

潜在変数の精緻化による非自己回帰型ニューラル機械翻訳
朱 中元 1 Jason Lee2 Kyunghyun Cho2 中山 英樹 1
1
東京大学大学院 情報理工学系研究科{shu, nakayama}@nlab.ci.i.u-tokyo.ac.jp
2
ニューヨーク大学{jasonlee.inf, kyunghyun.cho}@nyu.edu

1

はじめに

2

関連研究

近年，ニューラル機械翻訳の進歩により翻訳文の質

2018 年以降，出力文の長さを利用し，単語間の依は著しく向上した．通常のニューラル機械翻訳モデル

存関係を捉える非自己回帰型ニューラル機械翻訳が提は，文の生成確率 p(y | x) を下記のように各単語の生案された [3, 6]．Gu ら [3] の手法では，まず出力文の成確率に分解する自己回帰モデルとして記述される．

単語数 ly を予測する．続いて，出力文の長さを条件にp(y | x) =|y|∏

した翻訳モデル p(y | x, ly ) を使って翻訳を行う．このp(yt | y<t , x).

(1)

手法では，ly が離散潜在変数の役割を担っていると考えることができる．しかし，このモデルの翻訳精度はt=1

ここで，|y| は出力文 y の長さであり，y<t は単語 ytより手前の単語列 y1 , . . . , yt−1 を表す．右辺の単語確率を計算するために，LSTM [1] や Transformer [9] が一般的に用いられる．
しかし，自己回帰モデルでは，各単語の生成確率がそれより前の単語 y<t に依存するため，文中の単語を並列で予測することができない．Transformer を使う
場合，Teacher Forcing により学習時の単語予測は容易に並列化できるものの，テスト時には単語を逐次的WMT’14 英独翻訳タスクにおいて，Transformer モデルよりも著しく下回っている．出力単語の整合性を向上させるために，Lee ら [6] と Ghazvininejad ら [2] は出力した単語を逐次的に再予測 (更新) する手法を提案した．
これらの関連研究では，出力文長を潜在変数とした．
一方，本研究では，出力文長を含む，出力文の内容を表現するような潜在変数を自動的に学習することに焦点を当てる．に出力することになる．そのため，自己回帰型ニューラル機械翻訳では，長文を翻訳する際に大きな遅延が生じるという欠点がある

3

本研究では，ニューラル機械翻訳を潜在変数モデルとして定式化し，連続潜在空間で潜在変数を精緻化（更新）するアプローチを提案する．潜在変数が出力文の単語間の依存性を捉えられるように学習することで，デコーダはすべての単語を同時に生成することができる．さらに高品質な翻訳文を得るために，潜在変数を更新する方法を検討する．提案手法は，WMT’14 英独翻訳タスクにおいて，ベースラインモデルの BLEU値より 1.0 ポイント下回るが，6.8 倍速く翻訳できることを示した．ASPEC 日英翻訳タスクにおいては，ベースラインの翻訳精度を保ったまま，8.6 倍高速に翻訳できることを確認した1 ．

LaNMT:潜在変数に基づく非自己回帰型ニューラル機械翻訳
本研究では，潜在変数モデルとしてニューラル機械翻訳を定式化する方法を提案する．
提案手法では，潜在変数の数を入力単語数に合わせる．すなわち，入力文の各単語 xi に対して潜在変数 ziを学習する．以降，全入力単語に対応する潜在変数の系列 {z1 , . . . , z|x| } を z と表記する．直観的には，各潜在変数は入力文のある単語に対応する部分的な翻訳を捉えているとみなせる．この場合，式 (1) の代わりに，下記の周辺確率を最大化するようにモデルを学習する．

∫1 本研究のソースコードは https://github.com/zomux/lanmt

log p(y|x) = logp(y|z, x)p(z|x)dz.

(2)

にて公開している.

― 1467 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

潜在変数 z の事前分布を pω (z|x) とした場合，この式<latexit sha1_base64="NnvEYCn1eY6L8+T3/06GbS3HVo0=">AAAB83icbVBNSwMxEJ2tX7V+VT16CRahQim7RdBjwYvHCvYD2qVk02wbms2GJCuutX/DiwdFvPpnvPlvTNs9aOuDgcd7M8zMCyRn2rjut5NbW9/Y3MpvF3Z29/YPiodHLR0nitAmiXmsOgHWlDNBm4YZTjtSURwFnLaD8fXMb99TpVks7kwqqR/hoWAhI9hYqSfL6dND5bHC++l5v1hyq+4caJV4GSlBhka/+NUbxCSJqDCEY627niuNP8HKMMLptNBLNJWYjPGQdi0VOKLan8xvnqIzqwxQGCtbwqC5+ntigiOt0yiwnRE2I73szcT/vG5iwit/woRMDBVksShMODIxmgWABkxRYnhqCSaK2VsRGWGFibExFWwI3vLLq6RVq3pu1bu9KNVrWRx5OIFTKIMHl1CHG2hAEwhIeIZXeHMS58V5dz4WrTknmzmGP3A+fwBRqZEm</latexit>p(y|x, z, ly )の変分下限は[softmaxlinear]L(ω, ϕ, θ) = Ez∼qϕ log pθ (y|x, z)[]− KL qϕ (z|x, y)||pω (z|x)<latexit sha1_base64="Ug6F83RkHMkINoaftUg/Cvt64N4=">AAAB73icbVBNSwMxEJ2tX7V+VT16CRahXspuEfRY8OKxgv2AdinZNNuGZpM1yQrr2j/hxYMiXv073vw3pu0etPXBwOO9GWbmBTFn2rjut1NYW9/Y3Cpul3Z29/YPyodHbS0TRWiLSC5VN8CaciZoyzDDaTdWFEcBp51gcj3zOw9UaSbFnUlj6kd4JFjICDZW6sZVPkifHs8H5Ypbc+dAq8TLSQVyNAflr/5QkiSiwhCOte55bmz8DCvDCKfTUj/RNMZkgke0Z6nAEdV+Nr93is6sMkShVLaEQXP190SGI63TKLCdETZjvezNxP+8XmLCKz9jIk4MFWSxKEw4MhLNnkdDpigxPLUEE8XsrYiMscLE2IhKNgRv+eVV0q7XPLfm3V5UGvU8jiKcwClUwYNLaMANNKEFBDg8wyu8OffOi/PufCxaC04+cwx/4Hz+AL0bj7U=</latexit>

feed-forward
cross-attention
self-attention(3)

Nxのようになる．ここで，θ と ϕ, ω はそれぞれ確率分布

length transformp(ly |z)softmax
linearmean poolのパラメータを表す．qϕ (z|x, y) は潜在変数 z の事後分布を近似する近似分布であり，reparameterizationp(z|x)

trick [5] によって学習できる．

q(z|x, y)<latexit sha1_base64="CywutxEfwEHEr3B5m1DM5Qqb0Io=">AAAB7XicbVBNSwMxEJ2tX7V+VT16CRahXspuKeix4MVjBfsB7VKyabaNzSZLkhXr2v/gxYMiXv0/3vw3pu0etPXBwOO9GWbmBTFn2rjut5NbW9/Y3MpvF3Z29/YPiodHLS0TRWiTSC5VJ8CaciZo0zDDaSdWFEcBp+1gfDXz2/dUaSbFrZnE1I/wULCQEWys1IrLj08P5/1iya24c6BV4mWkBBka/eJXbyBJElFhCMdadz03Nn6KlWGE02mhl2gaYzLGQ9q1VOCIaj+dXztFZ1YZoFAqW8Kgufp7IsWR1pMosJ0RNiO97M3E/7xuYsJLP2UiTgwVZLEoTDgyEs1eRwOmKDF8YgkmitlbERlhhYmxARVsCN7yy6ukVa14bsW7qZXq1SyOPJzAKZTBgwuowzU0oAkE7uAZXuHNkc6L8+58LFpzTjZzDH/gfP4AOTeO1Q==</latexit><latexit sha1_base64="Fqs/25fy/jpdXz1xGOAmYPHYeic=">AAAB73icbVBNS8NAEJ3Ur1q/qh69LBahgpSkFPRY8OKxgv2ANpTNdtMu3WzS3Y0YY/+EFw+KePXvePPfuG1z0NYHA4/3ZpiZ50WcKW3b31ZubX1jcyu/XdjZ3ds/KB4etVQYS0KbJOSh7HhYUc4EbWqmOe1EkuLA47Ttja9nfvueSsVCcaeTiLoBHgrmM4K1kTqT8uPTw0Vy3i+W7Io9B1olTkZKkKHRL371BiGJAyo04ViprmNH2k2x1IxwOi30YkUjTMZ4SLuGChxQ5abze6fozCgD5IfSlNBorv6eSHGgVBJ4pjPAeqSWvZn4n9eNtX/lpkxEsaaCLBb5MUc6RLPn0YBJSjRPDMFEMnMrIiMsMdEmooIJwVl+eZW0qhXHrji3tVK9msWRhxM4hTI4cAl1uIEGNIEAh2d4hTdrYr1Y79bHojVnZTPH8AfW5w+DoI+P</latexit>

linearlinear

文長予測モデル

提案モデルでは，潜在変数の数は入力単語数と一致するので，翻訳文の単語を同時に生成

feed-forward
self-attention

feed-forward
cross-attention
self-attention

feed-forward
self-attention

Nx

Nx

Nx

するためには出力文の長さ ly を予測する必要がある．

xここで，デコータ分布を次のように式変形する．

pθ (y|x, z) =∑x<latexit sha1_base64="f2yzimwbR/Dgjzp6tZ360fHRqNI=">AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cW7Ae0oWy2k3btZhN2N2IJ/QVePCji1Z/kzX/jts1BWx8MPN6bYWZekAiujet+O4W19Y3NreJ2aWd3b/+gfHjU0nGqGDZZLGLVCahGwSU2DTcCO4lCGgUC28H4dua3H1FpHst7M0nQj+hQ8pAzaqzUeOqXK27VnYOsEi8nFchR75e/eoOYpRFKwwTVuuu5ifEzqgxnAqelXqoxoWxMh9i1VNIItZ/ND52SM6sMSBgrW9KQufp7IqOR1pMosJ0RNSO97M3E/7xuasJrP+MySQ1KtlgUpoKYmMy+JgOukBkxsYQyxe2thI2ooszYbEo2BG/55VXSuqh6btVrXFZqN3kcRTiBUzgHD66gBndQhyYwQHiGV3hzHpwX5935WLQWnHzmGP7A+fwB5jmM/A==</latexit><latexit<latexit sha1_base64="f2yzimwbR/Dgjzp6tZ360fHRqNI=">AAAB6HicbVBNS8NAEJ3Ur1q/qh69LBbBU0lE0GPRi8cW7Ae0oWy2k3btZhN2N2IJ/QVePCji1Z/kzX/jts1BWx8MPN6bYWZekAiujet+O4W19Y3NreJ2aWd3b/+gfHjU0nGqGDZZLGLVCahGwSU2DTcCO4lCGgUC28H4dua3H1FpHst7M0nQj+hQ8pAzaqzUeOqXK27VnYOsEi8nFchR75e/eoOYpRFKwwTVuuu5ifEzqgxnAqelXqoxoWxMh9i1VNIItZ/ND52SM6sMSBgrW9KQufp7IqOR1pMosJ0RNSO97M3E/7xuasJrP+MySQ1KtlgUpoKYmMy+JgOukBkxsYQyxe2thI2ooszYbEo2BG/55VXSuqh6btVrXFZqN3kcRTiBUzgHD66gBndQhyYwQHiGV3hzHpwX5935WLQWnHzmGP7A+fwB5jmM/A==</latexit><latexity<latexit sha1_base64="l29WxoUb9DEbvmhLG7jHtZ0OU24=">AAAB6HicbVBNS8NAEJ34WetX1aOXxSJ4KokIeix68diC/YA2lM120q7dbMLuRgihv8CLB0W8+pO8+W/ctjlo64OBx3szzMwLEsG1cd1vZ219Y3Nru7RT3t3bPzisHB23dZwqhi0Wi1h1A6pRcIktw43AbqKQRoHATjC5m/mdJ1Sax/LBZAn6ER1JHnJGjZWa2aBSdWvuHGSVeAWpQoHGoPLVH8YsjVAaJqjWPc9NjJ9TZTgTOC33U40JZRM6wp6lkkao/Xx+6JScW2VIwljZkobM1d8TOY20zqLAdkbUjPWyNxP/83qpCW/8nMskNSjZYlGYCmJiMvuaDLlCZkRmCWWK21sJG1NFmbHZlG0I3vLLq6R9WfPcmte8qtZvizhKcApncAEeXEMd7qEBLWCA8Ayv8OY8Oi/Ou/OxaF1zipkT+APn8wfnvYz9</latexit>

図 1: 提案する非自己回帰型ニューラル機械翻訳モデpθ (y, l|x, z)l

ルのネットワーク構造.

= pθ (y, l = ly |x, z)= pθ (y|x, z, ly )pθ (ly |z).

(4)

ると，提案モデルは各 z̄t を z1 , . . . , z|x| の重み付き平均によって計算する．

この結果を式 (3) に代入すると，提案モデルの目的関数は|y|

Ez∼qϕ

[∑

log pθ (yt |x, z, ly ) + log pθ (ly |z)]

z̄t =

k=1

t=1|x|−∑[]KL qϕ (zi |x, y)||pω (zi |x)|x|∑

ati = −(5)wit zi ,exp(ati )wit = ∑|x|,ti′ =1 exp(ai′ )1|x| 2(i −t) .
22σ|y|(6)(7)|x|

ここで，z̄t を計算する際に，入力側で位置が |y| t に近

i=1

い変数に対して高い重みを付与する．重みの広がりをのようになる．
本研究では，事前分布 pω (z|x) と近似分布 qϕ (z|x, y)制御するパラメータ σ は自動的に学習される．

を共に多変量正規分布とし，式 (5) の変分下限を最大化するようにモデルを学習する．

3.1

3.2

潜在変数の精緻化

翻訳文の品質を一定に保つため，決定的に翻訳文をニューラルネットワーク構造出力する必要がある．そのために，事前分布 pω (z|x) か

提案モデルは式 (5) に示した 4 つの確率分布を計算す

ら平均ベクトル zprior を取得し, デコータ pθ (y|x, z) をる必要がある．それぞれの確率分布は図 1に示すニュー用いて出力文を予測する方法がまず考えられる．しかラルネットワークによって計算する．各モジュールはし，予備実験では，WMT’14 英独タスクにおいてこのTransformer モデルと類似した構造を用い，pω (z|x) と方法による翻訳結果の BLEU 値はベースラインから約qϕ (z|x, y) を予測する際に予め隠れ状態に対して線形4.0 下回ることが分かった．一方，近似分布 qϕ (z|x, y)変換を行う．に正解出力文 y ∗ を入力することで得た z ∗ を用いて翻訳した場合，はるかに高い BLEU 値を達成できた．ま

潜在変数の長さの変換

近似分布 qϕ (z|x, y) からサンプリングする潜在変数の長さは |x| であるが，出力単語を予測するためには，出力側の長さ |y| に変換する必要がある2 ．変換した潜在変数を z̄ = z̄1 , ..., z̄|y| とすた，zprior と z ∗ の線形補間を行った場合，BLEU 値は滑らかに変化することを確認した．
2 例えば，各潜在変数 z の次元数が 8 である場合, 近似分布かiらサンプリングした z は |x| × 8 の行列である．

― 1468 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ASPEC 日英翻訳

WMT’14 英独翻訳

BLEU(%)

速度

実時間

BLEU(%)

速度

実時間

Transformer ベースライン, beam 幅=327.1

1x415ms

26.1

1x602ms

Transformer ベースライン, beam 幅=124.6

1.1x375ms

25.6

1.3x461ms

非自己回帰型翻訳モデル（提案モデル）

13.3

17.0x24ms

11.822.2x27ms+ 知識蒸留法

25.2

17.0x24ms

22.2

22.2x27ms+ 潜在変数の精緻化

27.5

8.6x48ms

24.1

12.5x48ms+ 複数の潜在変数を探索

28.3

4.8x86ms

25.1

6.8x88ms

表 1: 提案モデルと Transformer ベースラインの比較．WMT’14 英独翻訳タスクにおいて，本実験での Transformer
ベースライン実装は元論文 [9] の BLEU 値より 1.0 低くなっている.

以上の予備実験の結果は，事前分布から得た潜在変450 万の文ペアを含む．ASPEC 日英データの前処理数を適切に更新することにより，翻訳文の質を向上さ

は英語側を Moses，日本語側は Kytea で処理し，最せることが可能であることを示唆するものであると言終的に BPE を用いて語彙数が 4 万になるようにサブえる．

ワード分割を行った．WMT’14 データセットの前処理は sentencepiece で語彙数が 3.2 万になるように処理

デルタ分布による決定的な更新アルゴリズムの導出した．

本研究では，近似分布を介して決定的に潜在変数を更新

翻訳精度を評価するために，日英翻訳では tokenizedするアルゴリズムを考案し，実験で検証する．ここで，BLEU，英独翻訳では SacreBLEU ツールを用いて決定的デルタ分布 r(z) を r(z = µ) = 1, r(z ̸= µ) = 0

BLEU 値を計算した．翻訳速度は NVIDIA V100 GPUと定義する．すなわち，この分布の確率質量をすべて一枚を用いて測定した．

µ に置く．次に，近似分布との KL ダイバージェンス
KL(r(z)||qϕ (z|x, y)) を最小化することで，µ = Eqϕ [z]ハイパーパラメータを得ることができる.

Transformer[9] のハイパーパラメータを用いた。隠れ

本実験では可能な限り Base式 (3) の変分下限の中の qϕ (z|x, y) を r(z) に置き換層の次元数を 512 にし，p(z|x) と p(y|x, z, ly ) を計算

えると L = log pθ (y|x, z = µ)−log pω (µ|x) と式変形すするネットワークはそれぞれ 6 層，q(z|x, y) を計算することができる．これにより，変分下限を最大化するたるネットワークは 3 層にした．各入力単語に対する潜めには，各出力単語を ŷt = argmaxyt log pθ (yt |x, z =在変数 zi の次元数は 8 次元に設定した．

µ) によって得ればよいことが分かる．
出力単語を更新した場合，近似分布 qϕ (z|x, y) も変モデル学習

生成モデルの変分下限をそのまま最適化化するので，デルタ分布の µ を改めて計算する必要がすると，近似分布と事前分布の KL ダイバージェンスある．そのため，µ と ŷ を交互に更新するアルゴリズが学習の初期に 0 になり，学習が進まない場合がある．

ムを導出した．実験では，µ の初期値を zprior にする

この現象は Posterior Collapse と呼ばれる．本実験でことで，一回目の更新で BLEU 値がほぼ収束するこは，Kingma ら [4] の手法を用いて，各潜在変数の KLとが観測された．の目標値を 3 に設定し，KL 項の値が目標値よりも低くなった場合，KL 項の最適化を行わないように損失関数を変更した．モデルの学習時には，KL の目標値4実験

4.1

実験設定を徐々に 0 まで減らした．
知識蒸留法

既存研究と同じように，ベースラインと提案モデルの翻訳精度を考察するたなる自己回帰型モデルを用いて一回学習データを翻訳めに，ASPEC 日英翻訳データ [8] 及び WMT’14 英独し，翻訳した学習データを提案モデルの教師データにデータと評価翻訳データを用いた．それぞれのデータは 300 万とした．

― 1469 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

BLEU(%)

速度

5

おわりに

Transformer (元論文) [9]

27.1

-

Gu らのベースライン [3]

23.4

1x

己回帰型ニューラル機械翻訳モデルを提案し，変分下2.3x限の近似分布をデルタ分布に置換することで，潜在1x変数の更新アルゴリズムを導出し，その有効性を検証

NAT モデル (NPD S=100)
Lee らのベースライン [6]Adaptive NAT モデル
Wang らのベースライン [10]19.1 (-4.3)
24.5
21.5 (-3.0)
27.3

1.9x
1x

NAT-REG モデル

20.6 (-6.7)

27.6x⋆+ リランキング24.6 (-2.7)

15.1x⋆

Ghaz らのベースライン [2]

本研究では，潜在変数モデルとして定式化した非自した．
事前分布で取得した潜在変数を適切に更新することによって，非自己回帰型ニューラル機械翻訳モデルの精度を著しく改善できることを実験的に確認した．すなわち，単語の予測精度は提案モデルにおいて潜在変27.81x数の更新関数 update(z, x) の性能によって左右される．

CMLM モデル (4 iterations)26.0 (-1.8)-

今後は，優れた更新関数の提案によって非自己回帰型

CMLM モデル (10 iterations)26.9 (-0.9)2∼3x

Ma らのベースライン [7]

27.1

-

FlowSeq-large (NPD S=30)

25.3 (-1.8)-

本実験のベースライン

1x

提案モデル+潜在変数の精緻化

26.1
24.1 (-2.0)

12.5x+ 複数の潜在変数を探索

25.1 (-1.0)

6.8x

表 2: WMT’14 英独翻訳タスクにおける関連研究との比較． ⋆ は IWSLT’14 独英タスクにおける速度であるモデルの翻訳性能を更に向上できると考える．

謝辞
本研究は，独立行政法人情報通信研究機構 (NICT) の委
託研究「多言語音声翻訳高度化のためのディープラーニング技術の研究開発」および JSPS 科研費 JP19H04166の成果として得られたものです．

参考文献[1] Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning toalign and translate. In ICML, 2015.

4.2

結果

自己回帰型モデルとの比較結果を表 1にまとめる．
知識蒸留法を用いない場合，非自己回帰モデルの性能が大きく低下することを確認した．一方，知識蒸溜法を用いた場合は，ベースラインの BLEU 値より約2 ∼ 4 ポイント下回る程度まで改善した．さらに，提案する更新アルゴリズムを 1 ステップ適用した場合，BLEU 値がさらに約 2 ポイント向上することが確認できた．
複数の潜在変数の探索

これまでの実験では，潜在変数の初期値を事前分布の平均 zprior としたが，事前分
布から複数の潜在変数を K 個サンプリングし，異なる翻訳結果 ŷ1 , ..., ŷK を同時に生成して，ベースラインモデルを用いてリランキングする方法も考えられる．

K = 50 にとった場合，ASPEC 日英翻訳では，翻訳精度がベースラインを超え，WMT’14 英独翻訳においてベースラインの精度に近づくことができた．この設定では，一文を翻訳する平均速度はベースラインよりそれぞれ 4.8 倍，6.8 倍高速であった．表 2に関連研
究との比較をまとめる．

[2] Marjan Ghazvininejad, Omer Levy, Yinhan Liu, andLuke S. Zettlemoyer. Constant-time machine translation
with conditional masked language models. CoRR, 2019.
[3] Jiatao Gu, James Bradbury, Caiming Xiong, Victor O. K.
Li, and Richard Socher. Non-autoregressive neural machine translation. CoRR, Vol. abs/1711.02281, , 2018.
[4] Diederik P. Kingma, Tim Salimans, and Max Welling.
Improving variational inference with inverse autoregressive flow. CoRR, Vol. abs/1606.04934, , 2016.
[5] Diederik P. Kingma and Max Welling. Auto-encoding
variational bayes. CoRR, Vol. abs/1312.6114, , 2014.
[6] Jason Lee, Elman Mansimov, and Kyunghyun Cho. Deterministic non-autoregressive neural sequence modelingby iterative refinement. In EMNLP, 2018.
[7] Xuezhe Ma, Chunting Zhou, Xian Li, Graham Neubig,and Eduard H. Hovy. Flowseq: Non-autoregressive conditional sequence generation with generative flow. EMNLP,
2019.
[8] Toshiaki Nakazawa, Manabu Yaguchi, Kiyotaka Uchimoto, Masao Utiyama, Eiichiro Sumita, Sadao Kurohashi, and Hitoshi Isahara. Aspec: Asian scientific paper
excerpt corpus. In LREC, 2016.
[9] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser,
and Illia Polosukhin. Attention is all you need. In NIPS,
2017.
[10] Yiren Wang, Fei Tian, Di He, Tao Qin, ChengXiang
Zhai, and Tie-Yan Liu. Non-autoregressive machinetranslation with auxiliary regularization. CoRR, Vol.
abs/1902.10245, , 2019.

― 1470 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.