ディープラーニングの実世界応⽤と今後の可能性
尾形哲也
早稲⽥⼤学基幹理⼯学部表現⼯学科教授
産業技術総合研究所⼈⼯知能研究センター特任フェロー尾形哲也（おがたてつや）
1993
1997〜1999
1999〜2001
2001〜2009
2001〜2003
2003〜2012
2009〜2015
2012〜現在
2015〜現在

2

早稲⽥⼤学理⼯学部機械⼯学科卒業
⽇本学術振興会 特別研究員（DC2）
早稲⽥⼤学理⼯学部 助⼿
早稲⽥⼤学ヒューマノイド研究所 客員講師&客員准教授
理化学研究所脳科学総合研究センター 研究員
京都⼤学⼤学院情報学研究科知能情報学専攻 講師&准教授
科学技術振興機構 さきがけ領域研究員（5年）
早稲⽥⼤学理⼯学術院基幹理⼯学部表現⼯学科 教授
産業技術総合研究所⼈⼯知能研究センター 招聘研究員&特任フェロー

2013〜2014 ⽇本ロボット学会理事，2016〜(2018) ⼈⼯知能学会理事

2016〜現在 科学技術振興機構ACT-I「情報と未来」領域アドバイザー
2017〜現在 科学技術振興機構さきがけ研究「社会デザイン」領域アドバイザー
2016〜現在 株式会社エクサウィザーズ（元エクサインテリジェンス）技術顧問
2017〜現在 ⽇本ディープラーニング協会理事

iZpixelsRBM

Encoder

RBM

EncodergXi, jvi hj wij

jZfeatures

iZpixels

Downloaded from www.sciencemag.org on February 27, 2013

called weights
an Bautoencoder[is depicted
an Bautoencoder[inand is depicted inStarting with random
in thewith
two random
in the twoand called
gh-dimensional
to transform
data into thea high-dimensional
data intoweights
a Starting
Fig.be1. trained together by Fig. 1.
networks,
they canbe trainednetworks,
togetherthey
by cande and a similar
low-dimensional
Bdecoder[ codeand a similar
Bdecoder[It is difficult
is difficult
in to optimize the weights inminimizing
the discrepancy
minimizing
the origthe discrepancy
betweentotheoptimize
orig- the Itweights
the data fromnetwork
the tocode.
recoverthe data fromthe code. between
nonlinear autoencoders
that nonlinear
have multiple
autoencoders that have multiple
inal data and its reconstruction.
inalThedata
requiredand its reconstruction.
The required
layers(2–4).theWith
largehidden
initial weights,
layers (2–4). With large initial weights,
gradients
are easily
using the arechain
easilyhidden
obtainedby usingchain
Science, University
Departmentof Toronto,of Computer
6Science, Universityof obtained
Toronto, 6 bygradientstypically findlocal minima;
typically find poor local minima;
rule tobackpropagate
error derivatives
rule to backpropagate
first autoencoders
error derivatives
firstpoorautoencoders
onto, Ontario M5S
King’s
3G4,CollegeCanada.
Road, Toronto,Ontario
M5S 3G4, Canada.
withsmall andinitialweights,
with smallininitial
the weights, the gradients in thethroughthroughthen throughthe decoder
network
thenthroughthe gradientsce should be *To
addressed;
whom correspondence
E-mail:shouldthe
be decoder
addressed;network
E-mail: andare tiny,
makingit infeasible
layers are
to tiny, making it infeasible tothe encoder
systemnetwork
is early(1). layers
The wholesystem
is early
hinton@cs.toronto.edu the encoder network (1). The wholetrain autoencoders with many hidden
train autoencoders
layers. If with many hidden layers. If
the initial weights are close to athegoodinitialsolution,weights are close to a good solution,
Decoder
Decoder
gradient descent works well, butgradientfindingdescentsuch works well, but finding such30
initial weights requires a very different
initial weights
type ofrequires a very different type ofW4
algorithm that learns one layer algorithmof featuresthat
at alearns one layer of features at aTopTop
500
time. We introduce this Bpretraining[time. We
procedure
introduce this Bpretraining[ procedureRBM
RBM
TT
T
T
for binary data, W
generalize
it to real-valued
for binary data,data,generalize it to real-valued data,
W1W
W11+ε 8
1 +ε 8and show thatanda show
varietythatof it works well for a variety of2000
2000
2000
2000it works well forT
TT
Tdata sets.
data sets.
W2W
W22+ε 7
W 2 +ε 7500
An ensemble
An(e.g.,ensemble
im- of binary vectors (e.g., im1000
1000 of binary vectors
1000
W 3 1000
TTTTages) can be modeledusing aages)
two-layer
can benet-modeled using a two-layer netW3
W
W33+ε 6
W 3 +ε 61000
RBM
RBM
work called 500
a Brestricted Boltzmann
work machine[called a Brestricted Boltzmann machine[500500500
T
T(RBM) (5, 6) inWwhich
stochastic,(RBM)
binary(5,pixels
6) in which stochastic, binary pixels
TW4
WT4+εW+ε4545
areconnected
tostochastic,arebinaryconnected
featureto stochastic, binary feature
30 Code layer
30 Code layer
30
30
1000
detectors using symmetrically detectors
weighted using
con- symmetrically weighted conW4
W
W44+ε 4W 4 +ε 4
W2nections. The pixels correspondnections.
to Bvisible[
The pixels correspond to Bvisible[
500
500
500
500
2000
units of the RBM because theirunits statesof theareRBM because their states areRBM
RBM
W3W
W33+ε 3W 3 +ε 3observed; the featuredetectorsobserved;
correspond
thetofeature detectors correspond to1000
1000
1000
1000
Bhidden[ units.
A joint configuration
Bhidden[(v, units.
h) of A joint configuration (v, h) ofW2
W
W22+ε 22 +ε 2the visible and Whidden
units hastheanvisibleenergyand(7) hidden units has an energy (7)2000 2000
2000
2000
given by 2000
given by
W1
W1
W
W11+ε 1W 1 +ε 1
XXXXEðv, hÞ 0 j
Eðv,bj hÞbi vi jhj 0 jbi vi jbj hjjX
ð1Þjvi hj wiji, jjZfeatures

ð1Þ

Pretraining
Unrolling
Fine-tuning
Unrollingwhere vFine-tuning
whereofvi pixeland hij are the binary states of pixel ii and hj are the binary statesand featurej, b(RBMs),
featureare theirandbiases,andj,wbiji and bj are their biases, and wij
consists of Fig.
learning
1. Pretraining
a stack of consists
restrictedofBoltzmann
learning a machines
stack of restricted(RBMs), each
Boltzmannmachinesi and bj eachis the weight
betweenthem. The
is thenetwork
weightas-between them. The network aser of featurehaving
detectors.
only Theone learned
layer of featurefeature activations
detectors. Theof onelearned
RBM feature
are usedactivationsof one RBM
are useda probability
to everysigns image
a probabilityvia
to every possible image via
training theasnext
the RBM‘‘data’’in for
the training
stack. Afterthe next
the pretraining,
RBM in the thestack.
RBMs
After
arethe signs
pretraining,
the RBMs
are possibleenergyfunction, as explainedenergy(8). The
function, as explained in (8). Thee a deep autoencoder,‘‘unrolled’’ towhich
createis athendeepfine-tuned
autoencoder,usingwhichbackpropagationis then fine-tunedof thisusing
backpropagationof this inerror derivatives.
probability of a training image canprobability
be raisedofby
a training image can be raised byo bottom: Fig. 2. (A) Top to bottom:
urves from Random samples of curves from
nstructions the test data set; reconstructions
imensional produced by the six-dimensional
reconstruc- deep autoencoder; reconstruc’’ (8) using tions by ‘‘logistic PCA’’ (8) using
nstructions six components; reconstructions
d standard by logistic PCA and standard
onents. The PCA using 18 components. Theor per im- average squared error per imur rows is age for the last four rows is(Hinton, 2006)

3REPORTS(Google official blog,2012)

Downloaded from www.sciencemag.org on February 27, 2013

Deep learning

REPORTS

AlphaGo(D. Silver, D.
Hassabis et al.
2016)

ディープラーニングによる学習
⾼次元データ⼊⼒

⾼次元データ⼊⼒

特徴量抽出（設計）

特徴量

DeepLearning

分類（機械学習）

クラス識別

クラス識別

画像認識・⾳声認識などのデータで有効性が報告[A. Krizhevsky et al., 2012], [G. E. Dahlet al., 2012]4マルチモーダル⾳声認識(Honda Research Instituteとの共同研究)

家庭⽤ロボットや⾃動運転⾞など，実環境下での⼈間・機械インタラク
ション実現には，雑⾳に頑健な⾳声⼊⼒インターフェースの実現が不可⽋
⾳響・映像信号から抽出した特徴量を組み合わせて⾳声認識を⾏う視聴覚
⾳声認識（AVSR: Audio-Visual Speech Recognition）によって実現

5マルチモーダル⾳声認識システム

6K. Noda, Y. Yamaguchi, K. Nakadai, H. G. Okuno, and T. Ogata,
Applied Intelligence, Vol. 42, Issue. 4, 2015.
⾳響特徴

画像特徴

...

(b) CNN(a) DDA...

... ...
MFCC/a/, /a:/, /i/, ...,/y/, /z/, /sp/...

⾳声波形(429次元)(c) MSHMM

唇領域画像(256〜4096次元)

7

実験データセット
データ収録環境（出典 [Koiwa2008]）

話者

Light

単語セット

ATR⾳素バランス単語216＋
ATR重要単語84

⾳声データ

16bit, 1ch 16kHz, 1800 files

画像データ

640x480 pixel, 8bit モノクロ,99.9fps, 約24万枚

CameraMicrophone

PC

男性6⼈

128x128: i

20

10

1040

40

20

2060

60

30

30

80

80

40

40

100

100

50

120

20

1040

20

60

30

80

40

20

100

120

1020

30
1040
20

54

15

8

8

20

10

1012

12

14

14

16

16
5

30

6060

80

100

120

32x32: i

50
30

60
40

50

60

30

20

30

40

50

60

16x16: i

4
68

10
12
14

30

16
5

16
5

10

10

15

15

20

25

30

30

16x16: i

6

64x64
32x32
16x16
3種類の解像度にリサイズ
10

2

5

625

30

60

5040

25

1425

25

50

4020

15

1220

40

20

30

460

1025

24

15

82021510616x16: i32x32: i

3016x16: i

232x32: i

58032x32: i

1064x64: i

10128x128
唇領域を切り出し
2060512015120101001010010206051208010508010060401206080402010040602064x64: i
128x128: i

204064x64: i

506012020128x128: i64x64: i

128x128: i

20510155105151020152520302530510101515画像特徴量ごとの単語認識率¡ CNNを⽤いた画像特徴により，画像特徴のみでも単語認識率約23%を実現可能

Word recognition rate [%]2520156x6PCA
CNN_16x16
CNN_32x32
CNN_64x64

105012481632
Number of Gaussian components

6489

ノイズレベルごとの単語認識率¡ ノイズに対する頑健性の向上¡ DDAによるデノイジングにより認識率が向上¡ 画像特徴量を相補的に⽤いることで低SNR領域で認識率が向上
100
9080

170
Audio stream weight

Word recognition rate [%]⾳響特徴のストリーム重み

MFCC
DNN_Audio
CNN_Visual
Multi−stream

60
50
4030

0.8
0.6
0.4
0.2

20010clean 30
0clean 30

252015105
SNR [dB]

0−5 −10 −15 −20

25201510 5
SNR [dB]

0−5 −10 −15 −20

LipNetY. Assael et al., 2016 (DeepMind)

1011ロボットと⼈⼯知能¡ （伝統的）ロボット¡ 機械・電気¡ 物理モデル（微分⽅程式，線形近似）¡ （伝統的）⼈⼯知能¡ 情報・通信¡ グラフィカルモデル（確率⽅程式，平均と分散）「ロボットって⼈⼯知能と関係あるんですか？」¡ Deep Learning (neural net)
¡ モデルを持たない！

ロボットビジョン（のみ）への応⽤① CNNを⽤いた把持位置を予測
n CNNの出⼒を把持位置ベクトルとして学習
n 課題
n 実ロボットでは⾒評価
n RGB-D画像が使⽤[Joseph et al., 2015]② 実ロボットによる教師データ作成と把持n 教師なしで把持位置を予測・把持n 5万回把持を700時間
n 課題
n 膨⼤な学習時間
n RGB-D画像が必要[Lerrel, 2015]
512教⽰データとCNNの構造

13n ⼊⼒：画像n 出⼒：把持位置ベクトルn 教師データ作成
n 把持位置ベクトルを与える(x, y, ⊿x, ⊿y, width, height)
arctan(⊿y / ⊿x)n 1000枚の画像を平⾏移動，回転させ30000枚に増幅14

評価法¡ 関連研究①の評価基準Accuracyを¡ 回転⾓度誤差が30°以内¡ 教師位置Aと予想位置Bの重複部が合計⾯積の25%以上|𝑨 ∩ 𝑩|
𝑨𝒄𝒄𝒖𝒓𝒂𝒄𝒚 =|𝑨 ∪ 𝑩|
⇒既知の教師データに対する予測把持位置を⽐較

教師位置A

予測位置B

把持位置合成実験結果

1590.00%

84.40%

成功率

85.00%

79.70%

80.00%
75.00%

73.90%

70.00%

20.45%

65.00%
20.00%

0.00%
60.00%CNNなし

CNN(RGB-D）

CNN(RGB)

CNN(グレー)[Joseph et al., 2015]

学習⽅法

n 本実験の成功率・・・79.7%
n 既知の教師データに対しての予測は⾼い精度で⾏うことが可能
n グレースケールの精度は著しく低下（⾊情報の重要性）

問題点¡ 物体の画像（と3Dモデル）”だけ”を学習するのでは難しい¡ 把持主体の⾝体性（ロボットの⾝体構造とそこから⽣じうる動作の可能性）が重要¡ 例1）物体を常に上からとるのか？ ハンドの構造は？
¡ 例2）対象の材質，変形の可能性は？

(x1)

DNNによるロボット⾏動学習(End to End Learning)
⾼次元感覚（＋運動）⼊⼒
特徴量抽出（設計）

⾼次元感覚（＋運動）⼊⼒

特徴量分類（機械学習）

Deep Learning

クラス（動作パターン）識別
プラニング
運動（＋感覚）出⼒

運動（＋感覚）
出⼒

17

Googleのロボット制御¡ ⼀般家庭やオフィスにある様々な物体の把持を，画像特徴量，計画なしで実現¡ Deep Q-Learning（深層強化学習）に類似した⼿法
Q-function → 画像ピクセルと把持状態から把持成功確率を予測
政策（Policy）→ 把持動作制御¡ 14台のロボットマニピュレータで，計80万回の把持動作を2ヶ⽉かけて収集
Movie

18

マルチモーダル学習

19

K. Noda, H. Arie, Y. Suga, and T. Ogata, RAS, Vol.62, No.6, 20142014年8⽉〜2015年2⽉, Top download

Ball lift

Ball rolling

Bell ring R

Bell ring L

Ball rolling on a plate

Ropewayモダリティの統合

20
M(t) M(t+1)

V(t) V(t+1) ・・・ V(t+W-1)

予測・・・

FFT

⾳響信号
(968 dim)M(t+W-1)

A(t) A(t+1)

・・・・・・・・

特徴空間
動作(10 dim)画像(3000 dim) 画像特徴 (30 dim)
⾳響特徴 (30 dim)A(t+W-1)

2100 dimM(t) M(t+1)

M(t+W-1)

V(t)V(t+1) ・・・ V(t+W-1)

A(t)A(t+1)

A(t+W-1)

W = 30: window width

動作⽣成

Ropeway à Bell ring R à Bell ring L à Bell ring R

21

22

関節⾓度から画像の想起
DNNによるマルチモー
ダル空間

関節⾓度
系列

正解
画像

DNN画像特徴
系列

想起画像

教⽰学習
システム

23

P. Yang, K. Sasaki, K.
Suzuki, K. Kase, S.
Sugano, and T. Ogata,IEEE Robotics andAutomation Letter,
2016.

マニュアル
教⽰モード

コマンド
教⽰モード

システム構成
Teleoperation

DCAE extract feature vector from raw image

RGB
image

Image featurevoctor- 3D mouse andHMD- Applicable tonon-backdrivable
robot

Joint angles,
Gripper signal

MTRNN
learn sequencesby hierarchizing+InputOutput< Other Input >- Motion Direction

Fast Context- Branch operation
with less input

Slow Context

25

折畳みタスク• 対象物体：- 学習データ：4種類の布- テストデータ：3種類の布• 動作：- 無造作に置かれた布の把持と折畳み- ホームポジションへの戻る動作を含む• 学習データ:- 右カメラ：112x112x3 (37632次元)- 2腕 + 2ハンド (14次元)- サンプリングレート 10FPS(35動作, 平均70秒)

Train Data

Test Data

連想結果–未学習データ-

MTRNN
DCAE Encoding

Input

OutputFastTDNN
Context
Slow Context

DCAE Decodingオンライン動作⽣成 (with MTRNN)

27

オンライン動作⽣成 (with MTRNN)@Cebit 2017 Orignal speed x1

28

多層型から再帰結合型へ(Seq. to Seq. Learning)

29

⾼次元感覚

⾼次元感覚

（＋運動）⼊⼒（＋運動）⼊⼒

Deep NeuralNet

Recurrent
Neural Net

運動（＋感覚）出⼒

運動（＋感覚）
出⼒

Seq2Seq Learning¡ 近年，対話，翻訳の急激なパフォーマンス向上

30

⾔語と運動の結合

31

T. Yamada, S. Murata, H. Arie, T. Ogata, Frontiers in Neurorobotics, NIPS2016

言語タスクのWords

seq2seq

Words

Joints言語から行動へのマルチモーダル
seq2seq

RNN
Words
VisionJoints

32

旗上げゲーム① ロボットの両腕に旗 (RGBのいずれか) を持たせる② 人が指示を与える③ ロボットが行動を生成
true
赤-下げ-てfalse

緑-上げ-ないで

LEFT
DOWN
ゲーム進行

RIGHT
DOWN

and
赤-と-緑
上げ-て

BOTH
UPor緑-か-赤
下げ-て緑-下げ-ないで

LEFT
DOWN

LEFTUP論理語の扱い[1] “true”, “false”“up true (上げて)”と”down false (下げないで)”は同一の意味UPを表す．

[2] “and”“Red and green up true.”の場合，両方の腕を上げるを正解とする．

[3] “or”“Red or green up true.”の場合，片方いずれかの腕のみを上げる．
“Red or greenup true!”

33

34

RNN（LSTM）への⼊⼒例
旗の持ち方 x 待機の姿勢 x 言語指示の組み合わせ

576通りの可能な状況 を含む組合せ的に複雑なタスク“Red or blue up false.”“Red or green up true.”“Red and blue up false.” “Blue and red up true.”“Green up false.”“Red or blue up true.”“Red up false.” “Blue or green down true.”

指示視覚0.8
0.6
0.40.20.0-0.2

L

R-B

G-R

B-R

R-B

R

関節0.0
角度 -0.50.5

左右微小なガウスノイズ

Time steps

B-R

R-B

B-R

G-R

35

タスクと学習結果 例

NIPS2016でのデモ発表

36

今後の発展
¡ Web，テキストデータの認識¡ データは⼤量にある（ここに壁）¡ ロボット（実世界）への応⽤¡ 汎化性能を確保しうるデータをどう集めるか¡ クラウドと接続した標準機(IoT?)¡ ⾔語理解37

ブラックボックスとしてのDL (1)¡ コア技術として発展しつつあるが，メカニズ
ム，設計法，利⽤法などの理解は未だ不⼗分¡ 今後の理論，応⽤など多様なレベルでのDLの積極的な研究と活⽤が極めて重要！
¡ 深層学習の内部理解の研究はまだ途上¡ 複数の低次元多様体（の様なもの）に情報が埋め込まれる

⽇本ディープラーニング協会

ブラックボックスとしてのDL (2)¡ 「中⾝がわからないが性能が良い」というシステム¡ 移動⼿段としての”⾺”，⼈間介助を⾏う”⽝”¡ 「創発的」な知能¡ 動作製造責任¡ 消費者期待基準¡ 危険効⽤基準¡ 開発危険の抗弁（予期し得ない危険）¡ ロボットを購⼊した⼈¡ 動物のアナロジー（Schaerer et al.）
¡ ⼦供のアナロジー（夏井）¡ ロボットに責任主体性を観念できるか（ロボット法⼈説, Asaro, 2007など）

38

終わり
ogata@waseda.jp