言語処理学会 第26回年次大会 発表論文集 (2020年3月)

注意機構制約を用いたマルチモーダル NMT
西原 哲郎 1

田村 晃裕 2

二宮 崇 2

中山 英樹 3

愛媛大学 工学部情報工学科
愛媛大学 大学院理工学研究科 電子情報工学専攻
3
東京大学 大学院情報理工学系研究科
12{t nishihara@ai., tamura@, ninomiya@}cs.ehime-u.ac.jp,nakayama@nlab.ci.i.u-tokyo.ac.jp

1

はじめに

ら [6] は，RNN ベースの NMT モデルのエンコーダ内に視覚的注意機構を導入したモデルを提案している．

近年，自然言語処理の多くのタスクにおいてニュー本研究は，MNMT の性能改善のために，言語間注意ラルネットワークに基づく手法が主流になっている．

機構と視覚的注意機構に制約を与える手法を提案する．

機械翻訳においてもニューラルネットワークに基づい従来の MNMT の視覚的注意機構は，注意すべき領域た機械翻訳 (NMT) が主流であり，様々な手法が提案が教師データとして与えられるわけではなく，MNMTされている．初期から広く使われてきた NMT モデルの学習を通じて自動的に学習されている．本研究は，が RNN ベースの注意機構付き NMT[1] である．この

原言語文中の単語と画像内のオブジェクトとの対応関モデルは，原言語文内の単語と目的言語文内の単語の係を示した教師データを用意することで，Transformer関連性を捉える注意機構を用いることで，従来の RNNモデルのエンコーダ内で視覚的注意機構を直接学習さベースの NMT より高い精度を実現した．また，近年，せることを行う．

従来の言語間の注意機構に加えて自己注意機構を導入

実験では，国立研究開発法人情報通信研究機構

した Transformer モデル [2] が RNN や CNN を用い（NICT）の委託研究で作成されている Multi30k 英日た手法と比べて高い精度を実現し，注目されている．

データセットを使用した英日翻訳の評価実験を行い，自己注意機構では，エンコーダ及びデコーダでそれぞ視覚的注意機構及び言語間の注意機構に制約を加えてれ，原言語文及び目的言語文内の単語間の関連性を考学習することにより，MNMT の翻訳性能が改善する慮することが可能となっている．機械翻訳の性能を改ことを示す．

善する手法については様々な研究がされているが，その内の一つに上述の言語間注意機構に制約を与える研究がある [3]．彼らの研究ではあらかじめアライメン

2関連研究

2.1

Transformer モデルに基づくマルチモーダル NMT モデル

トツールを用いて原言語文内の単語と目的言語文内の単語間の対応関係を取得し，その対応関係を教師データとして与えて注意機構を学習させることで翻訳性能が向上している．
機械翻訳の手法の一つとして，原言語文に加えて画像を入力することで翻訳性能の改善を目指すマルチモーダル NMT（MNMT）がある [4]．入力画像が翻訳時の曖昧性解消や省略補完の手がかりなどとして役立つと考えられている．MNMT モデルとして，Helcl
ら [5] は CNN により抽出した画像の特徴量を翻訳に活用するために Transformer モデルのデコーダ内に，文中の単語と画像の領域との対応を捉える視覚的注意機構を導入したモデルを提案している．また，DelbrouckMNMT モデルとして色々なネットワーク構造のモデルが提案されているが，近年は，Transformer モデ
ル [2] に基づく MNMT モデルが盛んに研究されている．例えば，宅島ら [7] は CNN と Transformer エンコーダからなる画像エンコーダを Transformer NMTに導入した MNMT モデルを提案している．彼らのモデルでは，画像エンコーダで，まず，入力画像に対して CNN を適用し，入力画像の特徴量を獲得する．その後，獲得した特徴量を Transformer モデルのエンコーダに入力し，自己注意機構によって画像の領域間の関― 1463 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

係を考慮したエンコードを行う．画像のエンコードと並行して Transformer エンコーダにより原言語文をエンコードし，画像と原言語文のエンコード結果を結合した中間表現から Transformer モデルのデコーダにより目的言語文を生成する．
以降では，Transformer に基づく MNMT のベースとなっている Transformer NMT モデル [2] を説明する．Transformer NMT モデルは，原言語文を中間表現に変換するエンコーダと，変換された中間表現を
図 1: 提案手法の MNMT モデル

受け取って目的言語文を生成するデコーダから構成されている．エンコーダとデコーダはそれぞれエンコーダレイヤとデコーダレイヤを複数スタックした構成と位置エンコーディングが用いられている．

なっている．エンコーダレイヤは自己注意機構と位置毎の全結合層の 2 つのサブレイヤで構成されている．

P E(pos,2i) = sin(pos/100002i/dmodel )(4)

デコーダレイヤは上記の 2 つのサブレイヤの間に，言P E(pos,2i+1) = cos(pos/100002i/dmodel )(5)

語間注意機構を加えた 3 つのサブレイヤから構成されている．なお，各サブレイヤ間では残差接続と層の正規化が行われる．
自己注意機構及び言語間注意機構 (Att) は，以下のここで，pos は単語の位置，i は次元を表す．この位置エンコーディングを単語の埋め込み表現に加算することで，単語の語順の情報を付与する．

式で表される．

QK T
Att(Q, K, V ) = sof tmax( √ )Vdk

言語間注意機構に対する制約

2.2
(1)

Liu ら [3] の研究では，NMT において言語間の注意

ここで，Q, K, V はエンコーダ及びデコーダでの隠れ機構に対して教師を与えて学習させる手法を提案して状態を表し，dk は Q, K, V の次元数を表す．式 (1) にいる．アライメントツールを用いることで言語間の対おいて，Q, K, V が全て前のサブレイヤの出力から与応関係を取得し，注意機構によって計算される注意行えられる場合は自己注意機構となる．また，デコーダ列との誤差を計算することで学習を行う．誤差の計算において Q のみが前のサブレイヤの出力から与えらは以下に示す交差エントロピーによって行う．

れ，K と V がエンコーダの出力から与えられる場合

La (A) = −は言語間注意機構となる．

mTransformer モデルにおける注意機構は，複数ヘッドの注意機構とすることで，様々な部分空間から情報を取り入れることができるようになり，性能が向上することが知られている．複数ヘッドの注意機構 (MHA)は以下の式で表される．

M HA(Q, K, V ) = [head1 ; . . . ; headh ]W∑∑Gm,n × log(Am,n )(6)n

ここで，A は注意機構によって計算された注意行列を，G は教師となる行列を表す．この La (A) を通常の翻訳
誤差 Lt に加えた誤差関数に基づきモデルを学習することで，言語間注意機構に対する制約を用いた NMTを実現している．全体の誤差関数 L は以下のようにO

headi = Att(QWiQ , KWiK , V WiV )

(2)

なる．

L = Lt + λLa (A)(3)

ここで，WiQ ∈ Rdmodel ×dk , WiK ∈ Rdmodel ×dk , WiV ∈(7)

ここで，λ はハイパーパラメータである．

Rdmodel ×dk , WiO ∈ Rhdk ×dmodel はパラメータ行列である．なお，dmodel は埋め込み次元数を表しており，dk = dmodel /h である．

3

提案手法

Transformer モデルは，RNN や CNN ベースのモデ

本研究における，マルチモーダル Transformer NMT

ルとは異なり，単語の語順が考慮されていない．そこ

モデルのモデル図を図 1 に示す．図中の PE は位置エで，単語の語順を考慮するために以下の式で表される

ンコーディングを表す．本モデルは，原言語文エンコー― 1464 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ダ内において，画像エンコーダの出力と自己注意機構る．画像内のオブジェクトと対応がない単語についての出力との視覚的注意機構により，原言語の単語と画は，先頭に設置した特殊トークンに対して対応付けを像のオブジェクト間の関連を捉える．このモデルの原行う．この工程を原言語文のすべての単語に対して行

言語文エンコーダ内の視覚的注意機構及びデコーダうため，最終的な制約行列のサイズは「原言語文の単内の言語間注意機構に対して制約を加える．視覚的注

語数 ×（畳み込んだ領域数+1）」となる．

意機構に対する制約では原言語文内の単語と対応する画像の領域との対応関係を示した教師を用いて注意機構のヘッドを学習させる．また，言語間注意機構に対3.2

言語間注意機構に対する制約する制約では，原言語文内の単語と対応する目的言語本研究で使用する，NICT の委託研究で作成されて文内の単語との対応関係を示した教師を用いて注意機

いる Multi30k 英日データセットには，原言語文内の構のヘッドを学習させることで，翻訳性能の改善を目単語と目的言語文内の単語との対応関係が人手で付与指す．

されている．そこで，言語間注意機構に対する制約は，誤差関数 L については，マルチモーダル Trans-アライメントツールではなくデータセットに付与されformer モデルの誤差関数を LT ，視覚的注意機構におたアノテーションから抽出して作成する．なお，目的ける注意行列と制約行列との誤差関数を Limg src ，言言語文内のある 1 単語が複数の原言語文内の単語と対語間注意機構における注意行列と制約行列との誤差関応関係にある場合，等しく対応が張られるように値を数を Lsrc tgt とすると以下のようになる．

平均化する（値を「1/対応づいた単語数」とする）．まL = LT + λ1 Limg src + λ2 Lsrc tgt(8)

ここで，λ1 および λ2 はハイパーパラメータである．

た，対応関係がない目的言語文内の単語については，原言語文の先頭に特殊トークンを置き，そのトークンに対して対応関係が張られるようにする．

以降では，3.1 節で視覚的注意機構に対する制約行列の作成方法について説明し，3.2 節で言語間注意機構に対する制約行列の作成方法について説明する．

3.1

4実験

4.1

実験設定

視覚的注意機構に対する制約本研究では，NICT の委託研究で作成されている

本研究では，Flickr30k entities データセット [8]Multi30k 英日データセットを用いて英日翻訳実験をを用いて視覚的注意機構に対する制約を作成した．

行う．このデータセットは，Multi30k データセット [9]Flickr30k entities データセットは，一つの画像に対の英文を人手で日本語に翻訳し，英文と日本文の単語のして 5 つのキャプション文がつけられており，各キャ対応関係を人手で付与した英日の対訳コーパスである．

プション文中の単語が画像内のオブジェクトと関係がMulti30k データセットのテキストの前処理に倣い，英ある場合，その単語が画像内のどの領域と関係がある

文には文字の小文字化，句読点の正規化，Moses のトーかがアノテーションされたデータセットとなっている．

カナイザ1 を施している．日本文については Kytea2 を

今回はこのデータセットから原言語文内の単語と画像用いて単語分割を行った．また，訓練データには日英内のオブジェクトとの対応関係を抽出し，制約を作成

共に 100 単語以下の対訳文のみを用いた．訓練データする．

は 59,516 文，開発データは 2,017 文，テストデータはまず，Flickr30k entities データセットに付与されて2,000 文である．画像に対する前処理として，画像サイいる単語とオブジェクト間の対応関係を CNN で畳みズを 256×256 になるようにリサイズした後，224×224込んだ際の領域にスケールさせる．例えば，画像エンとなるように中央部にクロップ処理を施した．画像エコーダに用いる CNN によって画像を 3 × 3 に畳み込ンコーダにおいて使用する CNN は ResNet50 [10] をんだ場合，画像内の各物体と 9 つの領域との対応関係用いた．なお，ResNet50 から取得する画像特徴量はを求める．複数の領域に対応する場合は，各領域に等最終の畳み込み層の出力を用いた．したがって抽出さしく対応が張られるように値を平均化する（値を「1/対応付いた領域数」とする）．その後，2 次元の領域を 1 次元に線形化し，先頭に特殊トークンを付与す

1 https://github.com/moses-smt/mosesdecoder/blob/master/scripts/tokenizer/tokenizer.perl
2 http://www.phontron.com/kytea/index-ja.html― 1465 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 実験結果
制約を加えた箇所

5

おわりにBLEU(%)

本研究では，言語間注意機構及び視覚的注意機構

制約なし

44.39

に対する制約を用いた MNMT モデルを提案した．

視覚的注意機構44.26

Multi30k 英日翻訳実験により，視覚的注意機構と言言語間注意機構

44.82

語間注意機構の制約を同時に与えることで翻訳性能を視覚的注意機構+言語間注意機構

45.03

改善できることを確認した．今後は画像と目的言語間の注意機構に対する制約を導入したい．

れる画像特徴量のサイズは 7 × 7 × 2048 である．ま謝辞

た，学習時に CNN の fine-tuning は行わない．画像

6エンコーダ，原言語文エンコーダおよびデコーダレイ

本研究成果は，国立研究開発法人情報通信研究機構の委託研究により得られたものである．また，本研究の一部はJSPS 科研費 18K18110 の助成を受けたものである．ここに謝意を表する．

ヤはそれぞれ 6 層スタックし，ヘッド数は 8，埋め込
み次元数は 512 とした．モデルの最適化手法は Adamを使用した．モデルの学習時にはミニバッチサイズを128 とし，40 エポックの学習を行った．推論時には目参考文献的言語文の生成を貪欲法により行った．
翻訳性能は BLEU で評価した．開発データに対する BLEU 値が最も高かったエポックのモデルを選択し，テストデータに対する性能を評価した．実験では，制約を与えていないマルチモーダル Transformer モデ
ル，視覚的注意機構にのみ制約を与えたモデル，言語間注意機構にのみ制約を与えたモデル，視覚的注意機
構及び言語間注意機構の両方に制約を加えたモデルを比較した．なお，式 (8) におけるハイパーパラメータは λ1 = 0.03，λ2 = 0.05 とした．また，視覚的注意機
構にのみ制約を与えたモデル及び言語間注意機構にのみ制約を与えたモデルにおけるハイパーパラメータはλ = 0.05 とした．

4.2

実験結果

表 1 に実験結果を示す．視覚的注意機構にのみ制約を与えた場合は，制約を与えなかったモデルと比較して BLEU 値が 0.13 ポイント下がった．しかし，言語間注意機構にのみ制約を与えたモデル及び視覚的注意機構と言語間注意機構の両方に制約を加えたモデルでは，それぞれ BLEU 値が 0.43 ポイント，0.64 ポイン
トの向上を確認した．このことより，提案手法のように注意機構に制約を与えることで MNMT の翻訳性能を改善できることが実験的に確認できた．

[1] T. Luong, H. Pham, and C. D. Manning. Eﬀective
approaches to attention-based neural machine translation. In Proc. of EMNLP, pp. 1412–1421, 2015.
[2] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit,L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin.
Attention is all you need. In Proc. of NIPS, pp.
5998–6008. 2017.
[3] L. Liu, M. Utiyama, A. Finch, and E. Sumita. Neural machine translation with supervised attention.
In Proc. of COLING, pp. 3093–3102, 2016.
[4] L. Barrault, F. Bougares, L. Specia, C. Lala, D. Elliott, and S. Frank. Findings of the third sharedtask on multimodal machine translation. In Proc. ofWMT, pp. 304–323, 2018.
[5] J. Helcl, J. Libovický, and D. Variš. CUNI system for the WMT18 multimodal translation task.
In Proc. of WMT, pp. 616–623, 2018.
[6] J. B. Delbrouck and S. Dupont. Modulating and attending the source image during encoding improves
multimodal translation. 2017.
[7] 宅島寛貴, 田村晃裕, 二宮崇, 中山英樹. CNN と Transformer エンコーダを用いたマルチモーダルニューラル
機械翻訳. 言語処理学会第 25 回年次大会, pp. 743–746,2019.
[8] B. A. Plummer, L. Wang, C. M. Cervantes,
J. C. Caicedo, J. Hockenmaier, and S. Lazebnik.
Flickr30k entities: Collecting region-to-phrase correspondences for richer image-to-sentence models.
IJCV, Vol. 123, No. 1, pp. 74–93, 2017.
[9] D. Elliott, S. Frank, K. Sima’an, and L. Specia.
Multi30k: Multilingual english-german image descriptions. In Proc. of the 5th Workshop on Visionand Language, pp. 70–74, 2016.
[10] K. He, X. Zhang, S. Ren, and J. Sun. Deep residual
learning for image recognition. In Proc. of CVPR,
pp. 770–778, 2016.

― 1466 ―Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.