マルチモーダルニューラル機械翻訳のための教師付き視覚的注意の研究
Studies on Supervised Visual Attention for Multimodal Neural Machine Translation

愛媛大学大学院理工学研究科教授

二宮崇2001 年東京大学大学院理学系研究科情報科学専攻博士課程修了。博士（理学）。2017 年より愛媛大学大学院理工学研究科教授。自然言語処理の研究に従事。

愛媛大学大学院理工学研究科電子情報工学専攻

西原哲郎

2020 年愛媛大学工学部情報工学科卒業。現在、愛媛大学大学院理工学研究科電子情報工学専攻博士前期課程在学中。
自然言語処理の研究に従事。

同志社大学理工学部情報システムデザイン学科准教授

田村晃裕

2013 年東京工業大学大学院総合理工学研究科博士課程修了。博士（工学）。2020 年より同志社大学理工学部情報システムデザイン学科准教授。自然言語処理の研究に従事。

愛媛大学大学院理工学研究科電子情報工学専攻

表悠太郎

2019 年愛媛大学工学部情報工学科卒業。現在、愛媛大学大学院理工学研究科電子情報工学専攻博士前期課程在学中。
自然言語処理の研究に従事。

東京大学大学院情報理工学系研究科准教授

中山英樹

2011 年東京大学大学院情報理工学系研究科知能機械情報学専攻博士課程修了。博士（情報理工学）。2018 年より東京大学大学院情報理工学系研究科准教授。画像認識と自然言語処理の研究に従事。

1

272

はじめに

る。注意機構を用いた再帰型ニューラルネットワーク（Recurrent Neural Network; RNN）に基づくニュー

現 在、 ニ ュ ー ラ ル ネ ッ ト ワ ー ク を 用 い た 機 械翻訳ラル機械翻訳モデルは初期のころから広く使用されてき（ニューラル機械翻訳）が機械翻訳の主流となっていたモデルである［1］。このモデルは、原言語文（翻訳元言語の文）内の単語と目的言語文（翻訳先言語の文）内

き画像内の領域は教師として与えられず、マルチモーダの単語間の関係を捉える言語間注意機構を用いること

ルニューラル機械翻訳の学習を通じて自動的に学習されで、従来の RNN ベースのニューラル機械翻訳よりも高ている。そこで、本研究では、原言語文中の単語と画像

い精度を実現した。また、近年、トランスフォーマー

内のオブジェクトとの対応関係を示したデータを教師

が RNN や畳み込みニューラルネットワーク

データとして用意し、その教師データを用いてトランス（Convolutional Neural Network; CNN）を用いた手

フォーマーモデルのエンコーダ内で視覚的注意機構を直法と比べて高い精度を達成し、注目されている。トラン

接学習させる。

モデル［2］

スフォーマーモデルは、従来の言語間注意機構に加えて、同じ文中の単語間の関係を捉える自己注意機構を導入し
ている。

2

背景

ニューラル機械翻訳の性能を改善する手法については

本章では、研究背景として最初にトランスフォーマー

様々な研究がなされているが、その内の一つに、上述のモデルの概要を述べる。次に、トランスフォーマーモデ。こルにおける制約付き言語間注意機構について説明する。

言語間注意機構に制約を与える研究がある

［3］
［4］
［5］

れらの研究では、アライメントツールを用いて原言語文応関係を教師データとして与えて言語間注意機構を学習させることで翻訳性能の向上を実現している。

2.1

トランスフォーマーモデル

トランスフォーマーモデルは、原言語文を受け取って中間表現に変換するエンコーダと、その中間表現を受

機械翻訳手法の一つとして、原言語文に加えて画像

け取って目的言語文を生成するデコーダから構成されてを入力することで翻訳性能の改善を目指すマルチモーダ

いる。エンコーダとデコーダはそれぞれエンコーダレイがある。入力画像は、翻訳時

ヤとデコーダレイヤを複数スタックした構成となっていの曖昧性解消や省略補完の手がかりとして役立つと考える。各エンコーダレイヤは自己注意機構と位置毎の全結られ、例えば、特許出願書類の明細書に付随する図を参合層の２つのサブレイヤを持っている。これらのサブレ

照することでより質の高い特許翻訳が実現されることがイヤ間では、残差接続［11］と層の正規化［12］が用いられる。

期待される。マルチモーダルニューラル機械翻訳のモデ

自己注意機構と言語間注意機構（Att）は以下の式でルニューラル機械翻訳［6］

ルとして、Helcl ら［7］

は、CNN によって抽出した画像表される。

の特徴量を翻訳に活用するために、文中の単語と画像の領域との対応関係を捉える視覚的注意機構をトランス

Att（Q, K, V）＝AV

フォーマーモデルのデコーダ内に導入したモデルを提案

A＝softmax（QKT／d0.5）

している。また、Delbrouck ら［8］ は、RNN ベースのマルチモーダルニューラル機械翻訳モデルのエンコーダ

ここで、A は注意行列と呼ばれる。また、Q, K, V はエに視覚的注意機構を導入したモデルを提案している。しンコーダ及びデコーダにおける隠れ状態を表し、d は Q,

かし、これらの視覚的注意機構は、マルチモーダルニュー

K, V の次元数を表す。上式の Q, K, V が前のサブレイ

ラル機械翻訳の訓練時に教師なしで自動的に学習が行わ

ヤから与えられた場合は自己注意機構となる。また、Qれている。そのため、本来捉えるべき対応関係を常に捉がデコーダ内の前のサブレイヤから、K と V がエンコーえられるとは限らない。

ダの出力から与えられる場合は言語間注意機構となる。

本稿は、我々が行っているマルチモーダル機械翻訳

自己注意機構では同文中の単語間の関係を計算することの研究について紹介する。この研究では、マルチモーダができる。また、言語間注意機構では原言語文内の単語

ルニューラル機械翻訳の性能改善のために、人手によりと目的言語文内の単語間の関係を計算することができ与えられた文中の単語と画像領域との対応関係に基づいる。

て教師付き学習を行う制約付き視覚的注意機構を提案しトランスフォーマーの特徴として、隠れ状態を部分空ている。従来の視覚的注意機構は、ある単語が注目すべ間に分割し、各部分空間において様々な情報を表現する

YEAR BOOK 2O2O 273

4

機械翻訳技術の向上と目的言語文間の単語の対応関係を予め取得し、その対ことを可能とした複数ヘッドの注意機構がある。h 個のを翻訳の誤差 Lt に加えて以下のように表さ
述の L（A）
a

ヘッドからなる複数ヘッドの注意機構（MHA）は以下れる。

のように表される。
L＝Lt＋λL（A）
a
MHA（Q,K,V）＝［head1;…;headh］WO

headi＝Att（QWQ, KWK, VWV）

ここで、λはハイパーパラメータである。

ここで、［ ］はベクトルを結合することを表している。

3

WQ, WK, WV はそれぞれヘッド毎に定義されるパラメー

マルチモーダル機械翻訳のための視覚的注意機構の教師付き学習

タ行列であり、d 次元ベクトルを線形変換により、d／

この章では、マルチモーダルニューラル機械翻訳の翻h 次元に縮退させ、d／h 次元ベクトルを各ヘッドに渡訳性能を向上させるための視覚的注意機構の教師付き学

す。WO はパラメータ行列であり、結合された各ヘッド

習について説明する。まず、トランスフォーマーベースの出力に対し線形変換を行う。

のマルチモーダルニューラル機械翻訳モデルについて説

位置毎の全結合層（FFN）は以下のように表される。

明する。次に、我々の提案手法である視覚的注意の教師
付き学習について述べる。

FFN（x）＝max（0,xW1＋b1）W2＋b2

3.1
ここで、W1, W2, b1, b2 はパラメータ行列である。

ト ラ ン ス フ ォ ー マ ー ベ ー ス の マ ル チ
モーダルニューラル機械翻訳モデル

トランスフォーマーは隠れ状態に語順の情報を組み込

図１にトランスフォーマーベースのマルチモーダル

むために位置エンコーディングが導入されている。この

ニューラル機械翻訳モデルの概要図を示す。本モデルは、

位置エンコーディングを単語の埋め込み表現に加えるこ

原言語文エンコーダとデコーダに加えて、画像エンコーとで、単語の語順の情報を付与することができる。

ダを持つ。画像エンコーダでは、入力した画像に対してCNN を適用し、画像の特徴量を得る。次に、CNN の

2.2

制約付き言語間注意機構

Garg ら［5］

は、トランスフォーマーモデルの言語間出力に対して自己注意機構を適用する。この自己注意機構によって画像の領域間の関係性を考慮する。最後に、注意機構に原言語と目的言語間の単語の対応関係を教師として与えて学習を行う手法を提案している。アライメ
ントツールを用いて言語間の対応関係を取得し、複数ヘッドの言語間注意機構のある 1 つのヘッドとの間で計算される誤差を最小化することによって注意機構の学習を行う。誤差の計算は以下のような交差エントロピー
によって行われる。

＝－M－1Σm＝1,…,MΣn＝1,…,N Gm,n log（Am,n）
L（A）
a
ここで、M は目的言語文の文長、N は原言語文の文長、A は言語間注意機構により計算される注意行列、G は教師となる単語の対応関係を表した行列である。なお、
n 番目の原言語文の単語と m 番目の目的言語文の単語が対応関係にある場合は、Gm,n は 1 となり、それ以外
は 0 となる。この機械翻訳モデルの目的関数 L は、上

274

図１

マルチモーダルニューラル機械翻訳モデル

[A man] lays on [the bench] to which [a white dog] is also tied .
図２

Flickr30k entities の例

自己注意機構の出力に対して位置毎の全結合層を適用しに適用される。誤差は以下のような交差エントロピーにたものが画像エンコーダ全体の出力となる。

よって計算される。

次に、原言語文エンコーダの内部で、原言語文に対する自己注意機構の出力と画像エンコーダの出力を用いて（A）＝－M－1Σm＝1,…,MΣn＝1,…,N Gm,n log（Am,n）
Limg_src

機構の一種で、画像の領域と単語との関係性を計算する。

ここで、M は原言語文の文長を、N は CNN によって前述の注意機構の式において、Q が原言語文エンコー

畳み込まれた画像の領域数を表す。また、A は注意行列

ダの自己注意機構の出力、K と V が画像エンコーダのを、G は教師となる対応関係を示した行列を表す。原

出力となった際に視覚的注意機構となる。

言語文内の m 番目の単語が画像の n 番目の領域に対応

単語 man と単語 lamp に対する視覚的注意の例をそれぞれ図５（c）と図６（c）に示す。図において、暗くなっしているとき、Gm,n は 1 となり、それ以外の時は 0 となる。

ている部分により強く注意が向けられていることを表し

本研究では、Flickr30k entities データセット［14］ている。入力された画像は、CNN によって高次元の目を用いて視覚的注意機構に対する制約を作成した。このの粗い格子状の特徴量へと変換される。特徴量中の各領

データセットは Flickr30k データセット［15］から作られ域は、元の画像の領域に対応しており、高次元の特徴量たデータセットである。一つの画像に対して 5 つのキャを持っている。例えば、図５（c）と図６（c）は７×７のプション文がつけられており、各キャプション文中の単領域に変換されていて、各領域が 2,048 次元の特徴量

語が画像内のオブジェクトと関係がある場合、図 2 のを保有している。視覚的注意機構では、各単語はこれらようにその単語が画像内のどの領域と関係があるか示さの画像特徴量の領域に対して注意が向けられる。このたれたデータセットとなっている。

め、視覚的注意は、領域のヒートマップとして可視化することができる。

今回はこのデータセットから原言語文内の単語と画像
内のオブジェクトとの対応関係を抽出し、制約を作成する。まず、Flickr30k entities データセットに付与さ3.2

視覚的注意機構に対する制約れている単語とオブジェクト間の対応関係を CNN で畳提案手法では、視覚的注意機構に対して原言語文の単み込んだ際の領域にスケールさせる。例えば、画像エン語と対応する画像内のオブジェクトとの対応関係を人手

コーダに用いる CNN によって画像を４×４に畳み込んで付けたものを教師データとして与えて制約を加えるこだ場合、画像内の各オブジェクトと 16 つの領域との対とによって学習を行う。具体的には、画像エンコーダの応関係を求める。複数の領域に対応する場合は、各領域

出力と原言語文エンコーダ内の自己注意機構の出力とのに等しく対応が張られるように値を平均化する。すなわ

間の視覚的注意機構に制約を与える。

ち、値を「1/ 対応付いた領域数」とする（図３（a））。

視覚的注意機構に対する制約は、教師となる対応関係を示した行列と注意行列との間の誤差が最小となるよう

その後、２次元の領域を１次元に線形化する（図３（b））。
この工程を原言語文のすべての単語に対して行う。

YEAR BOOK 2O2O 275

4

機械翻訳技術の向上

視覚的注意機構［13］を計算する。視覚的注意機構は注意

0

0

0

0

0

1/4 1/4

00

1/4 1/4

0

0

0

0

0

(a) 単語manに対する制約の例

0

0

0

0

0

¼ ¼

0

0

¼ ¼

0

0

0

0

0

16
(b) 線形化
図３

視覚的注意機構に対する制約の作成例

画像内のオブジェクトと対応がない単語については、Liu ら［16］や Mi ら［17］に倣い、特殊トークンを用いて処理を行った。Liu らや Mi らは言語間注意機構に対する制約を与える際に特殊トークンを導入している。本手法
では、図３（b）に示した行列の先頭に特殊トークンを付与し、画像内のオブジェクトと対応関係にない単語をその特殊トークンに対して対応付けする。
視覚的注意機構に対する制約を与えたマルチモーダル<SP> This
これ

1
½ ½

ペン

図４

pen

1

は

です

a

is

1
言語間注意機構に対する制約の例

ニューラル機械翻訳モデルの目的関数 L は以下のようては、GIZA++［18］をマルチスレッドで動作させることに表される。

を可能とした MGIZA［19］を用いた。
目的言語文内のある１単語が複数の原言語文内の単語

L＝LT＋λ1Limg_srcと対応関係にある場合、等しく対応が張られるように値を平均化する。すなわち、値を「1/ 対応付いた単語数」

ここで、LT はマルチモーダルニューラル機械翻訳モとする。また、3.2 節のように、対応関係がない単語に

デ ル の 損 失 関 数 を、Limg_src は 視 覚 的 注 意 機 構 に お け

ついては、特殊トークンを用いて処理を行った。この方る注意行列と制約行列との損失関数を表している。ま法では、図４に示すように原言語文の先頭に特殊トーク

た、λ1 は翻訳誤差 LT と制約付き視覚的注意機構の誤ンを設置し、対応関係を持たない目的言語文内の単語は差 Limg_src との間の重みを制御するためのハイパーパラ

この特殊トークンに対応が張られるようにする。

メータである。

視覚的注意機構と言語間注意機構の両方に制約を加えたマルチモーダルニューラル機械翻訳モデルの目的関数

3.3

言語間注意機構に対する制約

L は次式のように表される。

本研究では、2.2 節で説明した制約付きの言語間注
意機構をマルチモーダルニューラル機械翻訳モデルに導L＝LT＋λ1 Limg_src＋λ2 Lsrc_tgt

入し、翻訳性能の改善を図る。言語間注意機構に対して制約を与えるためには、原言語文内の単語と目的言語文

ここで、Lsrc_tgt は言語間注意機構における注意行列と内の単語との対応関係を取得する必要がある。今回はこ制約行列との損失関数を表している。また、λ1 とλ2 はのように、翻訳誤差 LT と視覚的注意機構による誤差 Limg_src、言語

アライメントツールを用いる。アライメントツールとし間注意機構による誤差 Lsrc_tgt との重みを制御するハイれを取得するために Liu ら

［16］

276

や Garg ら［5］表１

実験結果。B と M はそれぞれ BLEU と METEOR を表す。
英→独
B

独→英
M

B

英→日
M

B

日→英
M

B

M

NMT

38.76 57.59 42.58 39.19 43.69 59.27 44.21 40.03

MNMT

38.89 57.35 42.29 39.13 44.09 59.59 44.42 40.03

MNMT+
SVA

39.91 58.11 42.52 38.86 44.51 60.03 44.76 40.40

MNMT+
40.50 59.05 43.76 39.71 44.79 60.23 45.36 40.65
SVA+SCA

パーパラメータである。

原言語文エンコーダおよびデコーダレイヤはそれぞれ 6層から成る。複数ヘッドの注意機構におけるヘッド数は

48、埋め込み次元数は 512 とした。モデルの学習時に実験はミニバッチサイズを 128 とし、40 エポックの学習本研究では、英独翻訳、独英翻訳、英日翻訳、日英翻を行った。最適化手法には Adam［23］を用いた。英独お訳の 4 つの実験を行った。英独翻訳および独英翻訳でよび独英実験では BPE を適用した。推論時には目的言を用いた。このデータ

語文の生成を貪欲法により行った。

セットは、画像とその説明文が対になったもので、訓練

翻訳性能は BLEU と METEOR を用いて評価した。

データは 29,000 文対、開発データは 1,014 文対でテスト時には開発データに対する BLEU 値が最も高ある。また、テストデータとしては test2016 を用いかったエポックのモデルを選択し、テストデータに対す

たため、1,000 文対である。

る性能を評価した。実験では、画像無しのトランスフォー

英 日 翻 訳 お よ び 日 英 翻 訳 で は、 我 々 が 開 発 し た

マーモデル（NMT）、制約を与えていないマルチモーダ

Flickr30k Entities JP デ ー タ セ ッ ト［10］ を 用 い た。

ルトランスフォーマーモデル（MNMT）、視覚的注意機

Multi30k データセットには日本語文が含まれていな

構にのみ制約を与えたモデル（MNMT+SVA）、視覚的

かったが、英文を人手で日本語に翻訳することで英日マ注意機構と言語間注意機構の両方に制約を加えたモデル

ルチモーダル対訳データを開発した。画像内オブジェ（MNMT+SVA+SCA）を比較した。制約を加えた言語

クトと対応付けられた英語句に対して、対応する日本間注意機構は、2.2 節で説明した Garg らのものと同様語句に対応付けを与えていることも特徴としている。

である。また、６層スタックされた原言語文エンコーダ

Multi30k データセットのテキストの前処理に倣い、英レイヤおよびデコーダレイヤの内、６層目の注意機構に

文には小文字化、句読点の正規化、Moses のトーカナ

対して制約を与える。さらに、視覚的注意機構と言語間

イザ

［21］

を施している。日本語文については KyTea［22］

注意機構の一つのヘッドに対して制約を与える。なお、を用いて単語分割を行った。また、訓練データには日英

3.3 節で説明した目的関数 L におけるハイパーパラメー

共に 100 単語以下の対訳文のみを用いた。訓練データ

λ2=0.05 とした。また、
タは Garg らに倣い、
λ1=0.05、は 59,516 文対、開発データは 2,017 文対、テストデー

視覚的注意機構にのみ制約を与えたモデルのハイパーパ

タは 2,000 文対である。

ラメータはλ1=0.05 とした。本実験で利用したデータ画像に対する前処理として、画像サイズを 256 ×

セットには、単語と画像内のオブジェクトとの対応は英256 になるようにリサイズした後、224 × 224 とな語の文章にのみ与えられている。英独翻訳と英日翻訳にるように中央部にクロップ処理を施した。画像エンコー

ついては、人手によって付けられた対応関係を直接利用を用いた。

して、視覚的注意機構に対する制約を作成した。独英翻

なお、ResNet50 から取得する画像特徴量は最終の畳訳と日英翻訳については、初めに英語の文に人手でつけみ込み層の出力を用いた。したがって、抽出される画像

られている対応関係を MGIZA によって得た言語間の特徴量のサイズは７×７× 2048 である。また、学習対応関係を用いて独語および日本語との対応関係に変換

時に CNN の fine-tuning は行わない。画像エンコーダ、し、視覚的注意機構に対する制約を作成した。

ダにおいて使用する CNN は ResNet50［11］YEAR BOOK 2O2O 277

4

機械翻訳技術の向上

は、Multi30k データセット［20］実験結果を表１に示す。すべての実験結果において、見ると、視覚的注意機構に制約を与えなかった場合は画

視覚的注意機構と言語間注意機構の両方に制約を加えた像全体に等しく注意が向けられている（図５（b）、図６

場合に、BLEU および METEOR が最大となることが（b））。これに対し、制約を与えた場合は、2 つの単語

実験的に確認できた。これらの結果は、提案した制約付

それぞれに対応する領域により注意が向けられているこき視覚的注意機構の有効性を示している。

とが分かる。これらの結果は、視覚的注意機構に対する制約が、各単語が関連する領域へ注意を向ける効果があることを示している。

5

考察

5.1

視覚的注意の例

5.2

図５と図６はそれぞれ英日翻訳におけるテストデー
タ中の単語 man と単語 lamp に対する視覚的注意を表

翻訳例

図７は日英翻訳と独英翻訳のテストデータに対する翻訳結果の例を表している。

している。これらの図において、より暗くなっている部

図を見ると、制約なしのマルチモーダル機械翻訳モデ

分に強く注意が向けられていることを表している。図を

ルによって翻訳された文は、原言語文のいくつかの情報(a) 正解データ(b) 制約なし
図５

単語 man に対する視覚的注意(a) 正解データ(b) 制約なし
図６(c) 制約あり(c) 制約あり

単語 lamp に対する視覚的注意

Source:赤 い シャツ を 着 た 男の子 が 、 黄色 い シャベル で 砂 を 掘 っ て い る 。

MNMT:

a boy in a red shirt is shoveling sand .

MNMT+SVA: a boy in a red shirt is digging in the sand with a yellow shovel .
a boy wearing a red shirt digs into the sand with a yellow shovel .

Reference:(a) 日英翻訳の例
Source:ein rothaariger mann mit dreadlocks sitzt und spielt auf einer akustischen gitarre .

MNMT:a man with red-hair sits on an acoustic guitar .

MNMT+SVA: a red-haired man with dreadlocks is sitting and playing an acoustic guitar .
Reference:a red-haired man with dreadlocks is sitting playing and acoustic guitar .

(b) 独英翻訳の例
図７

278

翻訳例

が抜け落ちていることが分かる。例えば、図７（a）では、ベースのニューラル機械翻訳を拡張させた、RNN ベー「a yellow shovel」という情報が、図７（b）では画像内

［24］
［25］
が主
スのマルチモーダルニューラル機械翻訳［8］の男性の特徴である「dreadlocks」という情報が抜け流であった。近年は、トランスフォーマーベースのマル

落ちている。これに対し、制約を加えたモデルではこれ

チモーダルニューラル機械翻訳の研究が盛んに行われてらの抜け落ちていた情報を正しく翻訳出来ている。これ

［13］
［26］
［27］
［28］
。ほとんどのマルチモーダルニューいる［7］は、制約付き視覚的注意機構により、原言語文の各単語

ラル機械翻訳モデルでは、視覚的注意機構によって画像と画像内の関連する領域が対応付けられ、原言語文がよの特徴を組み込んでいる。原言語文の単語と画像領域とり適切に符号化されたからと考えられる。

の関係を捉えるために視覚的注意機構を利用している［28］
や、目的言語文の単語と画像領域を捉えるた
研究［8］

5.3

人手での単語の対応関係を用いた実験

［13］
［24］
［27］
［29］
めに視覚的注意機構を利用している研究［7］Flickr30k entities JP データセットには、原言語文がある。なお、これらの研究で利用されている視覚的注内の単語と目的言語文内の単語との間に人手で対応関係

意機構は訓練時に自動的に学習が行われており、視覚的がつけられている。そこで、提案手法であるモデルの、注意機構に制約を加えた手法ではない。

MNMT+SVA と MNMT+SVA+SCA の場合について、実験結果を示す。
表２

 手での単語の対応関係を用いた実験結果。B と M は人それぞれ BLEU と METEOR を表す。
英→日
B

日→英
M

B

M

7

4

まとめ

本稿では、視覚的注意機構に対する制約を用いたマル
チモーダルニューラル機械翻訳モデルを紹介した。提案
手法では、ある画像とその説明文中の単語との間に人手NMT

43.69 59.27 44.21 40.03で付けられている対応関係を用いて視覚的注意機構の教

MNMT

44.09 59.59 44.42 40.03

MNMT+SVA

44.51 60.03 44.76 40.40

師データを作成し、その教師データによってマルチモー

MNMT+SVA+SCA

44.85 60.35 44.90 40.41

ダルニューラル機械翻訳モデルのエンコーダ内で視覚的注意機構に制約を与えた。実験では、Multi30k データ

表 を 見 る と、MNMT+SVA と MNMT+SVA+SCA

セットを用いた英独翻訳および独英翻訳と Flickr30kの両方が MNMT より良い結果となっている。また、

Entities JP データセットを用いた英日翻訳および日英

MNMT+SVA+SCA が英日翻訳と日英翻訳の両方にお翻訳を行い、提案手法によってトランスフォーマーベー

いて MNMT+SVA よりも良い結果となった。この結果

スのマルチモーダルニューラル機械翻訳モデルの性能がより、人手による単語の対応関係を用いて注意機構に制改善できることを確認した。

約を与えることに効果があることが確認できる。

今後は、本実験で用いたトランスフォーマーベースのマルチモーダルニューラル機械翻訳モデル以外のモデル

6に対しても、提案手法である制約を与えた視覚的注意機関連研究

構が有効であるかどうかを検証していきたい。

ニューラル機械翻訳は、原言語の単語と目的言語の単語間での自動もしくは人手による対応関係に基づいて言語間注意機構を訓練することによって、その性能が改善されてきた。Liu らや Mi ら［3］

は RNN ベースのニュー［4］

ラル機械翻訳モデルに、Garg ら［5］はトランスフォー

謝辞
本研究成果は、国立研究開発法人情報通信研究機構の委託研究により得られたものである。ここに謝意を表する。

マーベースのニューラル機械翻訳モデルにおいて制約付
き言語間注意機構を提案している。

参考文献

マルチモーダルニューラル機械翻訳のモデルは様々［1］T. Luong, H. Pham, and C. D. Manning.

な種類のものが提案されている。初期のころは、RNN（2015）Effective approaches to attention-

YEAR BOOK 2O2O 279

機械翻訳技術の向上

この人手での対応関係を用いた実験を行った。表 2 にbased neural machine translation. In Proc. of
EMNLP 2015, pp. 1412–1421.

2020. A visually-grounded parallel corpus［2］A. Vaswani, N. Shazeer, N. Parmar, J.
Uszkoreit, L. Jones, A. N. Gomez, L. U.

with phrase-to-region linking. In Proc. of
LREC 2020, pages 4204–4210.

Kaiser, and I. Polosukhin.（2017）Attention［11］K. He, X. Zhang, S. Ren, and J. Sun. 2016.

is all you need. Advances in Neural

Deep residual learning for image recognition.

Information Processing Systems 30, pp.

In Proc. of CVPR 2016, pages 770–778.

5998–6008.

［12］J . B a , J . R . K i r o s , a n d G . E . H i n t o n .

［3］L. Liu, M. Utiyama, A. Finch, and E. Sumita.
2016.   Neural machine translation withsupervised attention.   In Proc. of COLING
2016, pages 3093–3102.

2016. Layer normalization. ArXiv,
abs/1607.06450.
［13］J. Libovický, J. Helcl, and D. Mareček.
2018. Input combination strategies［4］H. Mi, Z. Wang, and A. Ittycheriah.   2016.  

for multi-source transformer decoder.

Supervised attentions for neural machine

In Proc. of the Third Conference ontranslation.  In Proc. of EMNLP 2016, pages

Machine Translation: Research Papers,

2283–2288.

pages253–260.

［5］S. Garg, S. Peitz, U. Nallasamy, and M.

［14］B. A. Plummer, L. Wang, C. M. Cervantes, J.

Paulik. 2019. Jointly learning to align and

C. Caicedo, J. Hockenmaier, and S. Lazebnik.

translate with transformer models. In Proc.

2017.  Flickr30k entities: Collecting region-of EMNLP-IJCNLP 2019, pages 4452–

to-phrase correspondences for richer image-4461.

to-sentence models. International Journal［6］L. Barrault, F. Bougares, L. Specia, C. Lala, D.

of Computer Vision, 123（1）: 74–93.

Elliott, and S. Frank. 2018. Findings of the［15］P . Y o u n g , A . L a i , M . H o d o s h , a n d

third shared task on multimodal machine

J. Hockenmaier. 2014. From imagetranslation. In Proc. of the Third Conference

descriptions to visual denotations:   Newon M a chin e T ra n s l a ti o n : S h a re d Task

similarity metrics for semantic inference

Papers, pages 304–323.

over event descriptions. Transactions of the［7］J. Helcl, J. Libovický, and D. Variš. 2018.
CUNI system for the WMT18 multimodal

Association for Computational Linguistics,
2: 67–78.

translation task. In Proc. of the Third［16］L. Liu, M. Utiyama, A. Finch, and E. Sumita.

Conference on Machine Translation: Shared2016.   Neural machine translation with

Task Papers, pages 616–623.

supervised attention.   In Proc. of COLING［8］J. B. Delbrouck and S. Dupont. 2017.
Modulating and attending the source image
during encoding improves

multimodaltranslation. CoRR, abs/1712.03449.
［9］D. Elliott, S. Frank, K. Sima’an, and L. Specia.

280［10］H. Nakayama, A. Tamura, and T. Ninomiya.

2016, pages 3093–3102.
［17］H. Mi, Z. Wang, and A. Ittycheriah. 2016.  
Supervised attentions for neural machinetranslation.  In Proc. of EMNLP 2016, pages
2283–2288.

2016. Multi30k: Multilingual english-german［18］F. J. Och and H. Ney. 2003. A systematic

image descriptions. In Proc. of the 5thcomparison of various statistical alignment

Workshop on Vision and Language, pages

models. Computational Linguistics, 29

70–74.

（1）:19–51.

［19］Q. Gao and S. Vogel. 2008. Parallel

In Proc. of the Third Conference on Machine

implementations of word alignment tool.

Translation: Shared Task Papers, pages

In Software Engineering, Testing, and603–611.

Quality Assurance for Natural Language
Processing, pages 49–57.
［20］D. Elliott, S. Frank, K. Sima’an, and L.

［27］J. Ive, P. Madhyastha, and L. Specia. 2019.
Distilling translations with visual awareness.
In Proc. of ACL 2019, pages 6525–6538.

Specia. 2016. Multi30k: Multilingual［28］Z. Zhang, K. Chen, R. Wang, M. Utiyama,

english-german image descriptions. In

E. Sumita, Z. Li, and H. Zhao.  2020. Neural

Proc. of the 5th Workshop on Vision andmachine translation with universal visual

Language, pages 70–74.

representation. In Proc. of ICLR 2020.
［29］H. Takushima, A. Tamura, T. Ninomiya,Burch, M. Federico, N. Bertoldi, B. Cowan, W.

and H. Nakayama. 2019. Multimodal

Shen, C. Moran, R. Zens, C. Dyer, O. Bojar, A.

neural machine translation using cnn andConstantin, and E. Herbst.（2007）Moses:

transformer encoder. In Proc. CICLING

open source toolkit for statistical machine

2019.

4

機械翻訳技術の向上［21］P. Koehn, H. Hoang, A. Birch, C. Callison-translation, In Proc. of ACL on Interactive
Poster and Demonstration Sessions, pp.
177–180.
［22］G. Neubig, Y. Nakata, and S. Mori.（2011）
Pointwise prediction for robust, adaptable
Japanese morphological analysis. In Proc. of
ACL 2011, pp. 529–533.
［23］D. P. Kingma and J. Ba. 2014. Adam: A
method for stochastic optimization. CoRR,
abs/1412.6980.
［24］I. Calixto, Q. Liu, and N. Campbell. 2017.
Doubly-attentive decoder for multi-modal
neural machine translation.  In Proc. of ACL
2017, pages 1913–1924.
［25］O. Caglayan, W. Aransa, A. Bardet, M.
García-Martínez, F. Bougares, L. Barrault, M.
Masana, L. Herranz, and J. van de Weijer.
2017. LIUM-CVC submissions for WMT17
multimodal translation task. In Proc. of theSecond Conference on Machine Translation,
pages 432–439.
［26］S.-A. Grönroos, B. Huet, M. Kurimo, J.
Laaksonen, B. Merialdo, P. Pham, M. Sjöberg,
U. Sulubacak, J. Tiedemann, R. Troncy, and
R. Vázquez. 2018. The MeMAD submission
to the WMT18 multimodal translation task.

YEAR BOOK 2O2O 281