言語処理学会 第25回年次大会 発表論文集 (2019年3月)

CNN と Transformer エンコーダを用いたマルチモーダルニューラル機械翻訳
宅島 寛貴 1

田村 晃裕 2

二宮 崇 2

中山 英樹 3

愛媛大学 工学部情報工学科
愛媛大学 大学院理工学研究科 電子情報工学専攻
3
東京大学 大学院情報理工学系研究科
12{takushima@ai., tamura@, ninomiya@}cs.ehime-u.ac.jp,nakayama@nlab.ci.i.u-tokyo.ac.jp

1

はじめに改善に寄与すると考えられている．例えば，“bank”という英単語の日本語訳は”銀行”と “土手” という 2

近年，自然言語処理の分野ではニューラルネットつの意味が考えられるが，金融関連の画像が入力されワークを利用した研究が盛んに行われている．機械れば “銀行” に，川岸の画像が入力されれば “土手” に

翻訳においてもニューラルネットワークを用いた機械正しく翻訳されることが期待できる．

翻訳（NMT）に関する様々な手法が提案されている．

マルチモーダル NMT モデルとして，Barrault ら

特に，自己注意機構を用いる Transformer モデル [1][3] は，入力画像から CNN を用いて抽出した画像特徴量を，目的言語文のデコード時に，NMT のデコーダとエンコーダ間の注意機構内で考慮する手法を提案している．また，入力画像から抽出した画像特徴量を，NMT エンコーダで原言語文をエンコードする際に活用する手法 [4, 5] 等も提案されている．しかし，これらの従来手法では画像内の特徴を捉えることができても，画像の領域間の関係を捉えることができない．
そこで本研究では，画像の領域間の関係を考慮する
マルチモーダル NMT モデルを提案する．具体的には，提案モデルでは，画像と原言語文をそれぞれエンコードし，それらの中間表現を合成したものをデコーダの入力として目的言語文を生成する．その際，画像のエンコーダでは，CNN により画像を領域毎に特徴ベクトル化した後，その画像の特徴ベクトルを Transformerエンコーダに入力することで，Transformer エンコー
ダの自己注意機構により，画像の領域間の関係を考慮したエンコードを可能とする．
Multi30k データセットを使用した英独翻訳の評価実験を行い，CNN による画像特徴量を，Transformerエンコーダに通さずにそのまま画像の中間表現として用いるベースラインと比較して，提案モデルは BLEU
スコアで 0.47 ポイント向上したことを確認した．

は，RNN や CNN (Convolution Neural Network) ベー
スの NMT の性能を上回り，注目されている．Trans-former モデルは，RNN ベースや CNN ベースのモデ
ル同様，原言語文から中間表現を生成するエンコーダと中間表現から目的言語文を予測するデコーダから構成される．エンコーダやデコーダは，自己注意機構という，同一文中の単語間の関連を捉える構造を有しており，エンコーダ内の自己注意機構で入力された文中の単語間，デコーダ内の自己注意機構で出力文中の単語間の関連を考慮して翻訳することができる．
これまで機械翻訳の性能を改善するため様々な研究が行われているが，その中の一つに，マルチモーダル学習により NMT の性能改善を目指す研究がある [2]．
マルチモーダル学習とは，複数のモダリティから学習する手法全般のことを指し，人間が言葉の意味を視覚や聴覚，触覚など複数のモダリティから理解するのと同様な統合的理解を計算機上で実現させることを目的としている．マルチモーダル学習は様々なタスクで利用されており，機械翻訳においては，対訳コーパスに加えて，画像を利用することで翻訳性能が改善されている．
画像を用いるマルチモーダル NMT では，入力として，原言語文に加えて，原言語文に関連する画像を与える．この入力画像は，原言語文中の多義語を翻訳する際の曖昧性解消の手がかりになるなど，翻訳の性能― 743 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

2

Transformer モデル

FF
合成層Transformer モデル [1] は原言語文として X = (x1，x2 ，...，xM )，目的言語文として Y = (y1 ，y2 ，...，yN ) が与えられた時，X を Y に変換する目的関数 p(Y |X) を+
言語間のFF++

自己注意機構自己注意機構自己注意機構CNN

Embedding

Embedding

画像エンコーダ

原言語 エンコーダ

デコーダ

×N

学習するニューラルネットワークである．Transformer
エンコーダは原言語文 X から中間表現 ht を生成し，Transformer デコーダは中間表現 ht から目的言語文Y を推測する:

注意機構

FF×N+

ht = T ransf ormerEncoder(X)(1)

図 1: 提案手法の全体図

Y = T ransf ormerDecoder(ht )(2)

りよい性能を発揮することが知られている．h 個の複Transformer エンコーダ，Transformer デコーダは，数ヘッドの注意機構 M ultiHead(·) は次式で表される:

それぞれ，レイヤを複数層スタックしたモデルである．
エンコーダの各レイヤは，下位から順に，自己注意機

M ultiHead(Q, K, V ) = Concat(head1 , . . . , headh )W o(4)構，単語位置毎の全結合層 (FeedForward，以下「FF」

headi = Attention(QWiQ , KWiK , V WiV )と記す) の 2 つのサブレイヤで構成される．一方，デ(5)の間に，原言語と目的言語間の注意機構 (以下，
「言語ここで，WiQ ∈ Rdmodel ×dk , WiK ∈ Rdmodel ×dk , WiV ∈Rdmodel ×dk は dmodel 次 元 の Q, K, V を dk (=間の注意機構」と呼ぶ) を加えた 3 つのサブレイヤでdmodel /h) 次 元 に 線 形 変 換 す る た め の 重 み 行 列 ，構成される．エンコーダ，デコーダの各サブレイヤ間Concat は行列の結合を示す関数である．このように，には，レイヤの正規化と残差接続が行われる．

複数ヘッドの注意機構は，h 個のヘッドそれぞれで注

コーダの各レイヤは，エンコーダの 2 つのサブレイヤ

自己注意機構及び言語間の注意機構の各注意機構

意機構を計算し，それらを連結して線形変換する機構である．

Attention(·) の計算は次式で表される:
QK T
Attention(Q, K, V ) = sof tmax(√)V
dmodel×N

また，Transformer では単語の位置情報を考慮する(3)ために Positional Encoding(以下，「PE」と記す) が用いられる．PE は正弦波関数と余弦波関数によって計

ここで，Q, K, V はエンコーダ／デコーダの内部表現

算された行列の各成分を入力文の埋め込み成分にそれを表す．また，dmodel は内部表現の次元のサイズであぞれ加算する:

る．Q と K の内積は Q と K の各要素間の類似度であり，softmax 関数によって確率値にすることで Q のK に対する注意の重みを算出できる．注意機構は，この注意の重みを用い，V との重み付き荷重和を取る操作であり，その結果，Q と K の間の単語の関連の強P E(pos, 2i) = sin(pos/100002i/dmodel )(6)

P E(pos, 2i + 1) = cos(pos/100002i/dmodel )(7)

ここで pos は単語の位置，i は成分の次元を示す．

さを考慮した表現を獲得できる．自己注意機構では，Q, K, V として同一の入力源（エンコーダはエンコーダ内の内部表現，デコーダはデコーダ内の内部表現）

3

提案手法

を用いることで，同一文内の単語間の関連の強さを計

本研究では CNN と Transformer エンコーダを用い算することができる．言語間の注意機構では，Q にたマルチモーダル機械翻訳を提案する．画像の領域間はデコーダの内部表現，K, V はエンコーダからの最の関連の強さを Transformer エンコーダを用いて考慮終出力を用いることで，原言語文の各単語と目的言語することで翻訳精度の改善を目指す．提案手法の全体の単語との関連の強さを重み付き加重和により表現で図を図 1 に示す．提案手法では，入力画像のエンコーきる．

ダ (以下，「画像エンコーダ」と記す) と原言語文のエ

また，注意機構は単一ではなく複数ヘッドの注意機

ンコーダ (以下，「原言語エンコーダ」と記す) の 2 つの構を取ることで異なる空間での処理が可能となり，よエンコーダを用いて入力をエンコードする．そして，― 744 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

それぞれのエンコーダが出力する中間表現を連結した

表 1: 実験結果

ものを，通常の Transformer のデコーダの入力し，目的言語文を生成する．

手法

BLEU以降では，まず，3.1 節で画像エンコーダについて画像なし T ransf ormer

34.30

説明し，3.2 節で画像エンコーダと原言語エンコーダ

CN N + T ransDec

34.79間の中間表現の合成について詳細に説明する．デコー

CN N + T ransEnc + T ransDec

35.26

ダについては従来の Transformer モデルと同様なので説明は割愛する．
文，検証データとして 1,014 文，そしてテストデータ

3.1として 1,000 文を用意した．テキストデータに対して

画像エンコーダ

は BPE (Byte Pair Encoding)[8] を用い，出現頻度の画像エンコーダでは，まず，入力画像から領域毎の画低い単語をサブワード単位に分解してエンコーダとデ像特徴量を得るために CNN を用いる．CNN とは畳みコーダの辞書の共有を行った．語彙サイズは 6,150 と込み層とプーリング層を多層に繰り返すニューラルネッなった．提案モデルの画像エンコーダにおける，画像トワークである．実験では，CNN として VGG16[6]の各領域の画像特徴量は，VGG16[6] の 13 個目の畳を用いた．VGG16 とは畳み込み層 13 層と全結合層 3み込み層の出力を用いた．Transformer のパラメータ層の計 16 層から構成されるニューラルネットワークでは Vaswani ら [1] に倣って，エンコーダとデコーダのある．その後，CNN が出力した画像特徴量を Trans-レイヤをそれぞれ 6 層スタックし，ヘッド数は 8 つ，former エンコーダに入力する:

埋め込み次元は 512 次元とした．また，optimizer はAdam を使用した．モデル学習時はミニバッチサイズ
f eature = CN N (image)(8)

を 80 に設定し，50 エポック繰り返した．また，学習

hv = T ransf ormerEncoder(W · f eature)(9)

時には CNN の fine-tuning は行わず，推論時は貪欲法

ここで，image は入力画像，f eature は CNN が抽出した画像特徴量，hv は画像エンコーダが出力する中間表現，W ∈ Rdf eature ×dmodel は df eature 次元からdmodel 次元に線形変換するための重み行列を表す．また，画像エンコーダでは PE による位置情報の付与は行わない．

で目的言語文を出力した．
提案手法の評価は BLEU を用いた．エポックごとの検証データの BLEU スコアが最も良いモデルを選択し，テストデータに対する性能を評価した．画像を用いていない Transformer（以下，「画像なし T ransf ormer」と記す)，CNN による画像特徴量を Transformer エンコーダへ入力せずに原言語エンコーダと中間表現を合成したモデル（以下，「CN N + T ransDec 」と記す）と3.2中間表現の合成提案モデル（以下，「CN N + T ransEnc + T ransDec 」

式 1 と式 9 より，原言語エンコーダ，画像エンコーと記す）を比較した．

ダで原言語文と入力画像の中間表現を生成した後，合成層でそれぞれの中間表現を連結し，その結果得られ4.2る中間表現 h を提案手法のデコーダの入力とする:

h = Concat(hv , ht )結果

表 1 より，提案モデルは画像なし T ransf ormer(10)と比較して BLEU スコアで 0.96 ポイントの向上，

CN N + T ransDec と比較して BLEU スコアで 0.47ポイントの向上が見られた．

4実験

4.1

実験設定

5

画像情報の有効性に関する考察
表 2 に各モデルで翻訳した実例を示す．提案モデル，

本実験では，Multi30k[7] をデータセットとして用CN N + T ransDec に入力した画像は図 2 である．表 2いる. 言語対は独英とした．訓練データとして 29,000

より，画像なし T ransf ormer の翻訳では果物 (obst)― 745 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2: 各手法の翻訳例
入力文

two young boys putting fruit on the bike .

参照訳

zwei jungen packen obst auf das fahrrad . （2 人の男の子が自転車に果物を詰め込んでいます．
）

画像なし T ransf ormer

CN N + T ransDec

zwei kleine jungen legen auf das bike .

CN N + T ransEnc + T ransDec

zwei jungen stellen obst auf das fahrrad .

図 2: 原画像

sukhin. Attention is all you need. In I. Guyon,U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus,S. Vishwanathan, and R. Garnett, editors, Advancesin NIPS, pp. 5998–6008. Curran Associates, Inc.,
2017.

に対して，画像を活用する CN N + T ransDec や提案
手法では果物 (obst) の情報が抜け落ちることなく翻訳できている．画像情報が実際に有効であるのかを調べるためにデコーダの最終レイヤの果物という意味を表している単語 (obst) と画像の間の注意を図 3 に可視化した．鮮明に見えている部分が注意の重みが大きい部分である．図 3 より，実際に果物のある領域に注意が向けられていることが分かり，画像情報の有効性が確認できる．

おわりに
本研究は，CNN と Transformer エンコーダを用いたマルチモーダル機械翻訳モデルを提案した．そして，画像の領域間の関係を取ることによる翻訳精度の向上が確認できた．今後は，物体検出技術を組み込むことでより精度の向上を目指していきたい．

7（2 人の男の子が自転車に果物を入れます．
）

図 3: 果物への注意の可視化の情報が欠落し，約抜けしていることが分かる．それ6（2 人の男の子が自転車に乗っています．
）

zwei kleine jungen bringen obst auf dem fahrrad an . （2 人の男の子が自転車に果物を入れています。）

謝辞
本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである．ここに謝意を表する．

[2] L. Barrault, F. Bougares, L. Specia, C. Lala, D. Elliott, and S. Frank. Findings of the third sharedtask on multimodal machine translation. In Proceedings of the Third Conference on Machine Translation:
Shared Task Papers, pp. 304–323, 2018.
[3] I. Calixto, Q. Liu, and N. Campbell. Doublyattentive decoder for multi-modal neural machinetranslation. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics(Volume 1: Long Papers), pp. 1913–1924. ACL, 2017.
[4] P.-Y. Huang, F. Liu, S.-R. Shiang, J. Oh, andC. Dyer. Attention-based multimodal neural machinetranslation. In Proceedings of the First Conference onMachine Translation: Volume 2, Shared Task Papers,
pp. 639–645. ACL, 2016.
[5] I. Calixto and Q. Liu. Incorporating global visualfeatures into attention-based neural machine translation. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp.
992–1003. ACL, 2017.
[6] K. Simonyan and A. Zisserman. Very deep convolutional networks for large-scale image recognition.
arXiv preprint arXiv:1409.1556, 2014.
[7] D. Elliott, S. Frank, K. Sima’an, and L. Specia.
Multi30k: Multilingual english-german image descriptions. In Proceedings of the 5th Workshop onVision and Language, pp. 70–74. ACL, 2016.
[8] R. Sennrich, B. Haddow, and A. Birch. Neural machine translation of rare words with subword units.
arXiv preprint arXiv:1508.07909, 2015.

参考文献[1] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,
L. Jones, A. N. Gomez, L. u. Kaiser, and I. Polo-― 746 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.