東京大学 大学院情報理工学系研究科
創造情報学専攻 准教授

中山 英樹

中山英樹◦ 東京大学 創造情報学専攻 准教授◦ 産総研人工知能センター 招聘研究員

研究分野◦ コンピュータビジョン◦ 自然言語処理◦ 深層学習Machine Perception Group2

Large-scale image tagging

Fine-grained recognition

Scene text detection

Visual representation learning

Medical image analysis

Object discovery

ICPR’16, CVPR’10, ECCV’10

BMVC’13

ICME’13, CLEF’13

ISBI’18

ICDAR’17

ACMMM’15,173

a cat is trying toeat the foodWord representation learning

Image/video caption generation

ICLR’18, IJCNLP’17

Machine translation

MT’17, NMT@ACL’17, ACL’18LREC’18, COLING’16

Multimodal thumbnailing
WWW’16

Cross-lingual retrieval
EMNLP’154

 深層学習は精度向上だけが全てではない！

◦ それぞれの分野で定番のニューラルネットワークが確立→ 異なるモダリティのシームレスな接続が可能に 学際的な領域で面白い成果が次々に生まれている◦ 分野の垣根（参入障壁）が急速になくなりつつある5 １．各分野における定番ネットワークの進化 ２．マルチモーダル（クロスモーダル）深層学習◦ エンコーダ・デコーダモデルとマルチモーダル表現◦ One-to-one タスク◦ Many-to-one タスク◦ Many-to-many タスク

 ３．研究紹介◦ 画像を媒介としたゼロショット機械翻訳6 畳み込みニューラルネットワーク（CNN)◦ 局所領域（受容野）の畳み込みとプーリングを繰り返す
多層パーセプトロン◦ V1視覚野に関する知見をもとに設計◦ 原形は日本初（福島邦彦先生、1980年代）
最終的に、識別したいクラス数と同数のニューロンへY. LeCun, L. Bottou, Y. Bengio and P. Haffner, “Gradient-Based Learning Applied
to Document Recognition”, Proceedings of the IEEE, 86(11):2278-2324, 1998.
7画像認識のコミュニティにおける中心的なコンペティション
 1000クラス識別タスクで、CNNを用いたシステムが圧勝
◦ トロント大学Hinton先生のグループ (AlexNet)[A. Krizhevsky et al., NIPS’12]

エラー率が一気に10%以上減少！
（※過去数年間での向上は1~2%)8

2015 ResNet(152層)



2012年以降劇的な向上が続いてきた

2012 AlexNet(8層)2014 VGG(19層)

2014 GoogLeNet
(22層)

9

エラー率が 16% (2012) → 2.3% (2017)Classification error (%)

3028%

2526%

2016%
1512%

106.6%
5020102011

深層学習以前

2012

2013

2014

5.1%

Human

3.57% 2.99%
2015

2016

2.25%
2017
10



Recurrent Neural Network (RNN)◦ 自分の一個前の隠れ状態を再入力するネットワーク◦ 隠れ状態は、入力系列の情報を記憶した分散表現（ベクトル表現）となる◦ 理論的には、任意のタイムスケールでの入出力依存関係を表現可能

y t 出力（系列データ）

Why(h t −1 )h t = σ h (Whhh t −1 + Wxh x t )ht

WhhWxhxt

y t = σ y (Why h t )入力(系列データ)11

静的な(深い)ネットワークとして書ける◦ 普通のパーセプトロンと同様、誤差逆伝播による学習が可能



他の深層モデル同様、誤差消失により実際には遠い依存関係の学習が困難であったが、LSTM [Hochreiter+, 1997] により大幅な進展

y1y0

Whyh0
Wxhx0y T −1

WhyWhh

h1

Wxh

x1

WhyWhh・・・

Whh

hT −1

Wxh

xT −1

yTWhyWhhhTWxhxT
12

Sequence to sequence [Sutskever+, NIPS’14]◦ 二つのRNN (LSTM) を接続し、英語・フランス語単語列の入出力関係を学習◦ 自然言語処理における深層学習の最初のブレークスルーの一つ

入力用RNN（エンコーダ）

出力用RNN（デコーダ）（フランス語）（英語）
Sutskever et al., “Sequence to Sequence Learning with Neural Networks”, In Proc. of NIPS, 2014.
13



CNNもNLPでブームに単語ベクトル1次元畳み込み◦ CNNは系列データ全般でかなり有効

Yoon Kim, “Convolutional Neural Networks for Sentence
Classification”, In Proc. of EMNLP, 2014.

Transformer [Vaswani+, 2017]◦ 時系列方向の集積を行わない◦ フィードフォワードと注意機構のみで大域的情報を利用◦ 学習済みモデル(BERT)が話題[Devlin+, 2018]

Vaswani et al., “Attention Is All
You Need”, In Proc. of NIPS, 2017.

14 １．各分野における定番ネットワークの進化 ２．マルチモーダル（クロスモーダル）深層学習◦ エンコーダ・デコーダモデルとマルチモーダル表現◦ One-to-one タスク◦ Many-to-one タスク◦ Many-to-many タスク

 ３．研究紹介◦ 画像を媒介としたゼロショット機械翻訳

15それぞれの分野で定番のエンコーダ・デコーダが確立
 柔軟にアプリケーションの設計ができるように

モダリティ X
CNNC

画像識別

機械翻訳

私は学生です。

RNNencoderCNNC

画像説明

音声合成

モダリティ Ysoftmax

“cat”

RNN

I am a student.

RNNa cat is trying to eat the fooddecoder

decoderThis is a dog.

画像変換
[Isola+,2016]16異なるモダリティに属するデータを共通の空間へ写像◦ 意味的にアラインメントされた表現が得られる
マルチモーダル空間

画像エンコーダ(e.g.,convolutional neuralnetwork)

テキストエンコーダ(e.g., recurrent neural network)

A brown dog in front of adoor.

A black and white cow
standing in a field.

XY
17 共通の潜在空間へマッピング [Kiros et al., 2014]◦ 異なるモダリティ間での“演算”が可能

R. Kiros et al., “Unifying Visual-Semantic Embeddings with
Multimodal Neural Language Models”, TACL, 2015.
18

R. Kiros et al., “Unifying Visual-Semantic Embeddingswith Multimodal Neural Language Models”, TACL, 2015.

[Kiros et al., 2014]

19

[Kiros et al., 2014]
20

入力をマルチモーダル表現へマッピングし、所望の出力形式へデコードする
 誤差逆伝播法により、入力から出力へ至る全てのネットワークパラメータの最適化(一貫学習)を行うものが多い

マルチモーダル空間
画像エンコーダ(e.g.,convolutional neuralnetwork)

テキストデコーダ(e.g., recurrent neural network)

A black dog sitting on grass.

xŷ

21



CNN (画像エンコーダ) をRNN (テキストデコーダ) へ接続◦ RNN側の誤差をCNN側までフィードバック (end-to-end)

O. Vinyals et al., “Show and Tell: A Neural Image Caption Generator”, In Proc. CVPR, 2015.
22

産総研AIRCでの成果

この成果は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の委託業務の結果得られたものです

認識結果
a woman is slicing some vegetables

a cat is trying to eat the fooda dog is swimming in the pool
Laokulrat et al., “Generating Video Description using Sequence-tosequence Model with Temporal Attention”, In Proc. of COLING, 2016.

23産総研AIRCでの成果

CNNにより動画のフレームごとに特徴抽出を行い、時系列データとしてRNNへ入力
 アテンション機構により、重要なフレームへ重みづけLaokulrat et al., “Generating Video Description using Sequence-tosequence Model with Temporal Attention”, In Proc. of COLING, 2016.

24

敵対的生成ネットワーク（GAN）の登場により、画像のデコーディングも飛躍的に進化

Reed et al., “Generative Adversarial Text to Image Synthesis”, In Proc. of ICML, 2016.

25



Image-to-image translation[Isola+, CVPR’16]

Isola et al., “Image-to-Image Translation withConditional Adversarial Networks”, In Proc. IEEE
CVPR, 2017.

Cycle GAN[Zhu+, ICCV’17]

Zhu et al., “Unpaired Image-to-Image
Translation using Cycle-Consistent AdversarialNetworks”, In Proc. IEEE ICCV, 2017.

26

Many-to-one

Many-to-many(e.g., 画像質問応答,マルチセンサ識別)(e.g., マルチモーダル機械翻訳)

CCNN

yes
Are theanimals
grazing?

RNN

encoder

Schwenk and Douze, “Learning Joint Multilingual Sentence
Representations with Neural Machine Translation”, 2017.

認識精度・頑健性の向上
 複数のモダリティを駆使した新規AIタスク
27

Nishida and Nakayama, “Multimodal gesture recognition using
multi-stream recurrent neural network”, In Proc. of PSIVT, 2015.



Sheffield Kinect Gesture (SKIG) データセット [Liu et al., 2013]◦ キネクトで撮影された10クラスのジェスチャー動画◦ RGB画像とデプス画像の時系列データ◦ 本研究ではオプティカルフローも追加モダリティとして利用

興味◦ どのようにして複数のモダリティを束ねるべきか？
◦ どのようにして時系列のダイナミクスを取り入れるべきか？
28

モダリティごとにRNNを用意し、各ステップで上位RNNに統合（＝段階的に統合）◦ 入力時点で結合するモデル（Early fusion)や出力で統合するモデル（Late fusion）よりも良好な性能

出力（動作ラベル）
統合レイヤ

モダリティ2（デプス画像）

モダリティ1（RGB画像）29

複数モダリティにより認識精度が向上

かえって精度が落ちている…
ノイズ耐性◦ テスト時にデプス画像のみノイズを入れてみる◦ 提案手法は比較的頑健

教訓：モダリティの統合の仕方は重要！

30



ユーザの感情状態を複数モダリティを活用して識別

Multimodal Emotion Recognition Challenge (MERC 2017)
http://www.datacombats.com/challenge/overview/31

RNN(LSTM)を用いた質問入力と回答の対応関係学習
H. Gao et al., “Are You Talking to a Machine? Dataset and Methods forMultilingual Image Question Answering”, In Proc. of NIPS, 2015.

M. Ren et al., “Exploring Models andData for Image Question Answering”,
In Proc. of NIPS, 2015.

32

NNを使った機械翻訳モデルの応用
 質問文に加え、CNN対象画像の特徴抽出を行い、回答文生成のRNNへ入力


H. Gao et al., “Are You Talking to a Machine? Dataset and Methods forMultilingual Image Question Answering”, In Proc. of NIPS, 2015.

33



マルチモーダル機械翻訳◦ 機械翻訳の曖昧性解消に画像を活用[Specia+, 2016]マルチモーダル対話応答◦ 画像内容を前提とした対話◦ 中身を理解しないと会話が成立しない[Mostafazadeh+, 2017]

Specia et al., “A Shared Task on Multimodal Machine Translation and Crosslingual
Image Description”, In Proc. of WMT, 2016.
Mostafazadeh et al., “Image-Grounded Conversations: Multimodal Context for NaturalQuestion and Response Generation”, In Proc. of IJCNLP, 2017.

34



Vision-and-Language Navigation [Anderson+, 2018]◦ 自然言語でロボットを目的地へ誘導◦ とるべき行動の系列を強化学習で生成

Anderson et al., “Vision-and-Language
Navigation: Interpreting visually-groundednavigation instructions in real environments”,
In Proc. of CVPR, 2018.

35

マルチモーダルの本質的な面白さはなんだろうか？
◦ 入力が増えているのだから性能向上は当たり前？



それなりに新しいことができるようになったが、結局は従来的な教師付き機械学習（が多い）◦ 学習時・推論時に、常に全てのモダリティが揃っていることを前提◦ 解けそうなタスクを見つけて、データセットを作るルーチンワーク36

グーグルの機械翻訳 (many-to-manyモデル)◦ 共通の中間表現を介することで、直接教示していない言語対についても翻訳が（ある程度）可能に◦ 例）日⇄英、韓⇄英のみ学習すると、日⇄韓の翻訳ができる◦ あるモダリティ（この場合英語）が仲立ちした知識転移
エンコーダ

デコーダ

https://ai.googleblog.com/2016/11/zero-shot-translation-with-googles.html

Johnson et al., “Google’s Multilingual Neural Machine Translation System:
Enabling Zero-Shot Translation”, Transactions of the ACL, 2017.

37

マルチ入力・マルチタスク
 ゆくゆくは、さまざまなモダリティ・タスクを横断する汎用的表現を獲得？
 知識転移・メタ学習はホットなトピック
Schwenk and Douze, “Learning Joint Multilingual Sentence Representations
with Neural Machine Translation”, In Proc. of RepL4NLP, 2017.

38 １．各分野における定番ネットワークの進化 ２．マルチモーダル（クロスモーダル）深層学習◦ エンコーダ・デコーダモデルとマルチモーダル表現◦ One-to-one タスク◦ Many-to-one タスク◦ Many-to-many タスク

 ３．研究紹介◦ 画像を媒介としたゼロショット機械翻訳

39

一般的な方法（教師付き学習）◦ 大規模なパラレルコーパスが必要X



提案法（画像ピボット）◦ 画像付きの単一言語ドキュメントのみ◦ Webから容易に収集可能

XYZ

YJapanese ImageJapanese English

English{}Nt

T = z , y k k =1t{T = xk , zstk}

ss Nk k =1

Nakayama and Nishida, “Zero-resource machine translation by multimodal encoder-decoder
network with multimedia pivot”, Machine Translation Journal, 2017.
Funaki and Nakayama, “Image-mediated learning for zero-shot cross-lingual document retrieval”,
In Proc. of EMNLP, 2015.

40ソース言語・ターゲット言語・画像に共通の分散表現を学習 ターゲット言語のデコーダをマルチモーダル表現に接続
…

…

…

…

…

Es{ }
T = {z , y }訓練データ: T

Source language encoder RNNtkss N
k k =1Nt

k k =1…

…

Dt

Target language decoder RNN

…

…

…

…

…

Et

Multimodal spacet…

Image encoder CNN= xk , z

…

…

Evs

Target language encoder RNN
41



ソース言語と画像をマルチモーダル空間上でアラインメント

x k 白い壁の隣に座っている小さな犬。

…

…

…

…

…

Es

Source language encoder RNN…

…

DtTarget language decoder RNN

…

…

…

…

…

Et

Multimodal space…

Image encoder CNN…

zsk…

Ev

Target language encoder RNN42

ソース言語と画像をマルチモーダル空間上でアラインメント

x k 白い壁の隣に座っている小さな犬。

Source language encoder RNN

Pair-wise Rank Losss

N

…

…

…

Dt

An image
Negative
Paired decoder
Target language
RNN(HyperMultimodal space(not paired)
textparameter)
text
…

…

…

…

…

Et

Margin…

Image encoder CNN

i≠k…

Evz

( ( ) ( )) ( ( ) ( ))}L = ∑∑ max 0, α − s E v z ks , E s x k + s E v z ks , E s x isksk{}

ss Nk k =1s ( ) : Similarity score function…

[Frome+, NIPS’13]
…

…

…

…

Es{

T = xk , zs

Target language encoder RNN43

ターゲット言語と画像をマルチモーダル空間上でアラインメント
Source language encoder RNN
…

…

…

…

z

…

…

…

…

…

Target language encoder RNN
Nt

Dt

Target language decoder RNN

Multimodal space
…

yk

Et

…

Image encoder CNN
A black dog
sitting on grassnext to asidewalk.

…

…

Ev

…

tk

…

Es{}

Nt

T = z , y k k =1t{tk( ( ) ( )) ( ( ) ( ))}Lt = ∑∑ max 0, α − s E v z tk , E t y k + s E v z tk , E t y iki≠k

44

画像を入力、ターゲット言語テキストをデコード クロスエントロピー損失
{}Nt

T = z , y k k =1ttk

Source language encoder RNN
…

…

…

…

…

Esyk
A black dog sitting on grass next to a sidewalk.

…

…

Dt

Target language decoder RNN

…

…

…

…

…

Et

Multimodal space…

Image encoder CNN

…

ztk

…

Ev

Target language encoder RNN45 ターゲット言語テキストを入力、再構築

Source language encoder RNNtk

…

…

…

…

…

Es

{

…

…

Dt

Target language decoder RNN

…

…

…

…

…

A black dog
sitting on grassnext to a sidewalk.

…

Multimodal space…

…

Image encoder CNN

Etyk

A black dog sitting on grass next to a sidewalk.

Evyk}

Nt

T = z , y k k =1t

Target language encoder RNN

46

エンコーダ・デコーダをフィードフォワードするだけ テスト時には画像は必要ない

(

…

…

…

…

xq

E

…

草地に立っている黒sと白の牛。

A black and white cow standing in a grassy field.

…

…

Multimodal space…

Image encoder CNN

…

…

Ev

Dt

Target language decoder RNN

…

…

…

…

…

Et)

yˆ q = D t E v (x q )Source language encoder RNN

Target language encoder RNN47

IAPR-TC12 [Grubinger+, 2006]◦ 二万枚の英独キャプション付き画像
a photo of a brown sandy
beach; the dark blue sea
with small breaking waves
behind it; a dark green
palm tree in theforeground on the left; ablue sky with clouds on
the horizon in thebackground;ein Photo eines braunen
Sandstrands; das dunkelblaue
Meer mit kleinen brechenden
Wellen dahinter; einedunkelgrüne Palme imVordergrund links; ein blauer
Himmel mit Wolken am Horizont
im Hintergrund;Multi30K [Elliott+, 2016]◦ 約三万枚の英独キャプション付き画像

ランダムにデータを分け、ゼロショットの独英翻訳を評価48

評価指標: BLEU値 (大きいほど良い)

提案法(ゼロショット)

教師付き学習(理想値)

教師付きの場合に用いるパラレルコーパスの５倍程度の画像付き単一ドキュメントを用いると同等の性能
49

50



深層学習が各分野で浸透◦ 共通の道具（ニューラルネット）で異なるドメインをシームレスに接続することが可能に◦ 分野間の障壁がなくなり、さまざまなタスクやアプローチが登場

マルチモーダルのご利益◦ 精度・頑健性の向上◦ 新しいアプリケーション◦ 知識転移・メタ学習などへの応用

アイデア次第でいろいろ面白いことが出来る時代◦ 分野間コラボレーションがますます重要に

51