2016/11/17
IBIS2016  第19回情報論論的学習理理論論ワークショップ＠京都⼤大学

深層学習は世界をどのように変えられるのか

Preferred  Networks
Preferred  Infrastructure
岡野原⼤大輔hillbig@preferred.jp

会社紹介：Preferred Networks (PFN)lIoT時代に合わせた分散知能を備えた新しいコンピュータを創造するl

2014年年3⽉月創業l

東京オフィス,  シリコンバレーオフィスl

従業員：約50⼈人 殆どが研究者、エンジニアl

主な出資者 FANUC,  Toyota,  NTT

We are hiring !!!

2

深層学習の実世界への適⽤用l 深層学習の実世界の応⽤用が進む
̶— 画像/⾳音声認識識、予測、制御、異異常検知/予測、画像/⾳音楽⽣生成、⾃自然⾔言語理理解、対話、翻訳、アルゴリズム⽣生成、最適化l 本講演では四つの領領域で深層学習がどのように利利⽤用されているかを紹介する
̶— ⾃自動⾞車車
̶— ロボット̶— バイオヘルスケア
̶— コミュニケーションディープラーニング（深層学習）とは
l 層が深く、幅も広いニューラルネットワークを利利⽤用した機械学習⼿手法

l 2012年年の⼤大ブレーク以来、研究コミュニティのみならず産業界に多く使われてきた–

2014〜～2015年年中に出された関連論論⽂文数は1500を超える*l 画像認識識、⾳音声認識識などで劇的な精度度向上を果たし、その多くが既に実⽤用化されている*http://memkite.com/deep-‐‑‒learning-‐‑‒bibliography/

2014年の一般画像認識コンテストで優勝した
22層からなるのGoogLeNetの例 [Google 2014]

4急激に複雑化するニューラルネットワーク
2012年年〜～2014年年

AlexNet, Kryzyevsky+, 2012 ImageNet winner（8層）

GoogLeNet, Szegedy+, 20145

形は可変、多様な計算⼿手法、つながり⽅方
2015年年〜～現在
Input word

Recurrent stateOutputx_1

hy_1

x_2hy_2x_3

hy_3x_4

hy_4

BPTT length = 3
Recurrent NN

Stochastic Residual Net, Huang+, 2016

FractalNet, Larsson+, 2016
RoR, Zhang+, 2016

Dense CNN, Huang+, 20166

なぜディープラーニングがうまくいくのか？
Linの仮説 [Lin+ 16]l

なぜディープラーニングがこれほど世の中の多くの問題にうまく適⽤用（特に認識識）できるのか？

l⇒世の中の問題に次の特徴がみられるから

1.

低次性
̶—

2.

局所相互作⽤用性
̶—3.

相互作⽤用の数は変数の数に対して線形にしか増えない

対称性
̶—

4.

知られている物理理現象の変数間の相互作⽤用の次数は2〜～4画像の対称性、化学反応の対称性などで変数の⾃自由度度が低い

マルコフ性
̶—

⽣生成過程は直前の状態のみに依存する
7/50

⼈人⼯工知能と⾶飛⾏行行機（1/3）
l ⾶飛⾏行行機は⿃鳥や⾍虫とは違う仕組みで実現されているが、「空を⾶飛ぶ」という⽬目的は達成している

̶— ⿃鳥の⽻羽、胸筋のような⾼高機能なハードウェアはまだ作れない̶— しかし、別の機構（プロペラ、ジェットエンジン）を使って⿃鳥よりも速く遠くへ⾶飛ぶことが可能

̶— 実現可能な機能、またその難易易度度は違う。例例えば、ハチドリのように⾃自由⾃自在に⾶飛び回ることはできないl ⼈人⼯工知能も⼈人の知能とは違う仕組みで実現されているが「知能」的なタスクを実現する⽬目的は達成しつつある
̶— 必ずしも⼈人の知能レベルを全て実現しなくても役に⽴立立つ
̶— 難易易度度が違うことを理理解しなければいけない

⼈人⼯工知能と⾶飛⾏行行機（2/3)
l 今の⼈人⼯工知能は⼤大雑把に⾔言えば⼤大⼈人の知能と乳児の知能で構成される

̶— 機械は元々、記憶、数値計算、⼤大量量のシミュレーションといった能⼒力力は優れている（⼤大⼈人の知能）̶— ⼀一⽅方、深層学習により⼈人間が無意識識で解き、（演繹的なアプローチで実現が難しかった）タスクも2〜～3歳児程度度は実現されるようになった（乳児の知能）

̶— ⼤大⼈人の知能と乳児の知能が混載しているl 実現している仕組みが違うため、⼈人にとって難しい問題を容易易く解き、易易しい問題を逆に解くことができない
̶— これを理理解した上で実⽤用化をしないといけない

⼈人⼯工知能と⾶飛⾏行行機（3/3)
l ⾶飛⾏行行機は現在の⾶飛⾏行行機の登場（ライト兄弟 1903年年）から約10年年で定期旅客機が登場し、航空業界が誕⽣生した

̶— 現在年年間のべ25億⼈人が搭乗し、⿃鳥と同様に空を⾶飛び回っている
̶— ⿃鳥のように⾶飛ぶロボットもようやく登場しつつあるl ⼈人⼯工知能も同様に、今後数年年で新しい分野を⽣生み出し、⼈人間の可能性を⼤大きく伸ばしていくことが期待される

̶— 実⽤用化（＝⼀一般の⼈人が当たり前のように利利⽤用する）までの時間は短くなっている

̶— ⼈人の知能の解明にはもう少し時間はかかりそうu

学習則 [Bengio+  16]、樹上突起スパイクの予測 [Sen+  14]

⾃自動⾞車車

⾃自動運転のレベルによる違い
l レベル２（ADASなど）
̶— ⼈人間が主に運転し、緊急時のみシステムが介⼊入する
̶— 本当に危険な場合のみ介⼊入すれば良良い。

l レベル３（商⽤用⾞車車,  トラック,  タクシーがターゲットか）̶— システムが主に運転し、緊急時のみ⼈人が介⼊入する
̶— ⾒見見落落としは許されない。主要な状況のみ対応できればよいl レベル４（完全⾃自動運転）
̶— レベル３の能⼒力力に加え、あらゆる状況に対応する。
̶— 緊急時も安全に制御しなければならないu

例例：⾼高速道路路ではその場で⽌止まることは安全ではない

⾃自動運転に必要な代表的な技術
l 環境認識識
̶— ⾃自動⾞車車、⼈人など交通参加者の検出、状態推定u

位置、向き、速度度、加速度度、状態（気づいているか等？）

u

交差点などでは数⼗十〜～200の交通参加者の認識識が必要

̶— ⾃自⼰己位置推定＋⾞車車線、⾛走⾏行行可能領領域、標識識、駐⾞車車可能l 予測
̶— 交通参加者の⾏行行動予測分布（台⾵風の予報円図のような）
̶— 未観測の状況の推定（⾞車車のドアが急に開く、⼈人が⾶飛び出す）l 制御
̶— 予測、制御しやすい最適化+ルールベースか

汎化能⼒力力を備えた教師あり学習/強化学習ベースか研究課題１：多様な環境への対応l 地域
̶— 道路路環境（道路路、⽯石畳、⼟土）、交通ルールの違いl 天候
̶— ⾬雨、雪、霧、センサによっては⼤大きく性能が劣劣化する

l 時間帯
̶— 夜、逆光、朝⽇日/⼣夕⽇日l 場所
̶— トンネルの⼊入り⼝口/出⼝口、坂道（⾞車車を斜め上から⾒見見る）
̶— 壁に囲まれている場所（⾃自⼰己位置推定が難しい）l あらゆる状況で性能を保障しなければいけない̶— また、各状況毎にデータ量量に⼤大きくばらつきがある。

研究課題２：説明可能性、性能保証l 深層学習のモデルブラックボックスになりがちである
̶— 分散表現、多層、⾮非線形、

l 性能保障をどのように達成するのか̶— ホワイトボックス的なテストができるか
̶— 何か問題があった場合になぜそのようになったか、次から起きないように修正できるか

̶— ⾮非i.i.dなデータに対して汎化性能をどのように達成するかl ⼀一⽅方で多様な環境で同程度度の性能を従来システムで作ろうとした場合、同等の複雑さを持つ可能性がある

̶— c.f.  ルールやプログラムが巨⼤大化、複雑化し管理理できなくなる

研究課題３：シミュレーション上での学習、検証l 現実世界で収集可能なデータは限定的
̶— レアイベントはなかなかとれないu

例例：⼤大雪、逆⾛走、信号無視する⾞車車、特殊⾞車車両l アノテーションコストも⼤大きい̶— 点群の正解作成は⼤大変、画像も⼩小さい物体の正解は困難l シミュレーションでデータを作る試みがされている
̶— 例例 deepdrive.io
̶— CGの技術が向上し、⼈人の⽬目には同じようにみえる̶— ⼀一⽅方で、シミュレーションで学習した結果をそのまま実世界でもっていくことはまだ困難、転移学習が必要

̶— また、（特に⼈人の）⾏行行動モデルが⼗十分ではない

研究課題４：センサフュージョン
l 特性の異異なる複数のセンサを組み合わせた認識識
̶— カメラu

解像度度が⾼高く、情報量量も多い（分類までできる）
環境（照明条件）によるばらつきが⼤大きい̶— ライダー（レーザーレーダー）u

環境によらず正確な距離離情報が得られる

u

遠い場所の解像度度は低く、スパースになるu

レーザーを吸収する、反射する場合に弱い（⿊黒、鏡⾯面）

̶— ミリ波u

解像度度は低いが、位置、速度度が安定して得られる

l 1台よりも⾼高精度度、ロバストな認識識を実現できるか

ロボット

ロボットの特徴
l 現状のロボット
̶— 指⽰示された場所に正確に移動することは既にできる
̶— 決められた動作の繰り返しは⾮非常に得意 → 産業応⽤用が既に進むl ⼈人より既に優れている点
̶— 正確性̶— 速度度̶— パワー
̶— 耐久性（24時間365⽇日休まずに働き続けられる）
̶— ロボット同⼠士で⾼高速、⼤大量量に情報を交換できるl ⼀一⽅方、今⼈人が簡単に実現できていることができないロボットでこれからの課題l 多様な認識識（c.f.  Amazon  Picking  Challenge）
̶— 隠れた物体の検出（Occlusion）、状態推定
̶— 形状が可変、不不定な物体の検出u

⽔水、砂、ケーブル、⾷食べ物（⿂魚、唐揚げ）

l 多アクチュエーターの制御
̶— ⼆二⾜足/多⾜足歩⾏行行、ハンド、ドローンl 複雑なタスクの教⽰示

Phantom AX

̶— 組み⽴立立てのような複雑な⼯工程をいかに教えられるのか？

IKEAの説明書

認識識の問題は解けつつあるl Occlusionがある場合や、対象が⼩小さくても検出できるようにl APCでも画像認識識が重要だった

研究課題１One-shot, Zero-shot学習l 初めての物体が対象でもタスクが達成できる
̶— 例例：はじめてみる商品でも掴むことができるように̶— どのように知識識を抽象化するか？
u

例例：Dense  Correspondence（形状を持つ物体同⼠士で密な対応関係をとる）でどこをとるかの知識識を⼀一般化するl はじめての環境でもタスクが達成できる
̶— 照明条件、物体の摩擦係数の違いに対応するDense Correspondence [Zhou+ 16]

研究課題2：安全な強化学習l 強化学習は有望だが探索索時に危険な状態になる可能性
̶— ロボットや⾃自動⾞車車などでは⼤大きな危険となるl 安全性を保ったまま探索索可能な強化学習
̶— c.f.  “Safe  Reinforcement  Learning”  [J.  Garcia  2015]l シミュレーションで安全になってから実機に転移する
̶— シミュレーションと実環境の差が問題となる
̶— いつ安全といえるのか？

l 安全性に何らかの理理論論保障を与えられるか？

研究課題3：教⽰示⽅方法l 柔軟な指⽰示ができるプログラム
̶— より抽象的な指⽰示を与えられるか？(24,  32.5)に⾏行行けではなく、「ボールのとれそうな位置に動け」と指⽰示できるかl ダイレクトティーチング
̶— ⼈人が直接⼿手取り⾜足取り教える c.f.  バクスターl 模倣学習,  Imitation  Learningl 徒弟学習（逆強化学習）
̶— エキスパートの⾏行行動選択から背後にある報酬関数を予測する

l ⾃自然⾔言語,  設計書で指⽰示ができるか？
̶— ⼈人と同じような指⽰示のみでタスクを実⾏行行する

研究課題4: 物理理モデルの学習l ⼈人や動物は経験から物理理世界のシミュレーターを作る
̶— 床がつるつるの場所にいれば、最初はすべってうまく動けないが時間がたつと対応できるようになるl 経験（データ）から物理理モデルを学習し、それを利利⽤用した上で認識識、制御をしたい̶— シミュレーションではデータ同化、制御⼯工学ではシステム同定

強化学習では遷移確率率率 p(st+1|st,  at)

l 誤差逆伝播可能な物理理モデル
̶— Differentiable  Physics  Engine  [Degrave+,  2016]  [Chang+,  2016]
̶— REINFORCEを使わず報酬最⼤大化をBPTTで実現でき、少ない試⾏行行回数で学習可能バイオ・ヘルスケア

薬の活性化予測• メルク主催の薬の活性化予測コンテストでディープラーニングを使ったチームが優勝[Dahl+  14]
• メンバーには⽣生化学、製薬、医療療関係者はおらず、創薬については全くの素⼈人

27Result: コミュニティーラーニングによる精度度向上l 蒸留留焼きなまし法をつかった分散ディープラーニングにより、精度度が向上した

̶— 学習の途中でそれぞれが⾃自分以外のニューラルの出⼒力力結果を真似るように蒸留留で学習u

それぞれがアンサンブルの蒸留留

Community Learning
0.9387
0.94130.92740.89130.9214
AUC values
28

microRNAのbinding予測
Deep Target [Lee+ 2016]

RNA,  miRNAの表現を教師無しで学習
両者の潜在表現を元にRNNで結合するかを予測
可変⻑⾧長データをうまく表現できるのが⼤大きい29/50

研究課題1 DNA, RNA, プロテインの連続表現l ⾃自然⾔言語処理理，画像認識識では，連続表現を使うことで⾼高い汎化能⼒力力を持ち、one-­shot学習などができる̶— 連続表現は意味についての⾜足し算などの操作ができるW(東京)  – W(⽇日本)  +  W(フランス)  =  W(パリ)̶— この不不思議な性質の理理論論的解析は進みつつある [Arora+15]  低次元に射影することによってノイズが減るため

l DNA,  RNA,  プロテインなどについても同様に，意味のある連続表現を得ることができるか？

̶— ⾃自然⾔言語の場合RNNで学習可能であった。⾼高次構造を持ちうる

DNA,  RNA,  プロテインなどについても同様に定義できるか？

l もしできれば，未知の機能を予測したり，特定の機能を持つRNA,  プロテインを設計できるかもしれない

研究課題2：新NP問題
l NP問題
̶— 数（Number）に⽐比べてパラメータ（Parameter）が⾮非常に多い
̶— 従来の統計モデルでは不不定問題となる
̶— 例例：遺伝⼦子発現の場合，数千次元．SNPsは数百万次元

l ⼤大量量のラベルなしデータと少量量のラベルありデータ
̶— 対象疾患でとられたデータは少量量（数⼗十〜～数千）
̶— ⼀一⽅方健常者もしくは対象ではない別の疾患向けにとられたデータは⼤大量量に存在する（数万〜～数百万）l 深層⽣生成モデルなどを使った，半教師あり学習，弱教師あり学習、転移学習が重要となる

研究課題3: 時空間解像度度の問題
l ⽣生体内で何が起きているのかを調べたいl 観測できるのは空間的にも、時間的にも⼀一部のみ
̶— 例例：細胞を⽣生かしたまま遺伝⼦子発現量量を測定はできない

l 細胞，細胞群，組織がどのようなダイナミクス、相互作⽤用を持って変化するのかを推定する必要があるl 例例えば，がんコロニー内では遺伝⼦子の多様性がうまれているが，それらのうち観測できるのはわずか

̶— シングルセル技術を使ったとしても時間⽅方向の解像度度はない
̶— ⼀一部分のみをサンプリングして、その変異異と薬剤効果の相関をはかる場合、コロニー全体の多様性や今後のコロニー内進化はみることができていないコミュニケーション

社内での対話システムの実験の様⼦子からの抜粋（bot-‐‑‒elikaが対話システム）
直前の⾔言葉葉に反応できている
⽂文の意味や⽂文脈は理理解できていない偶然それらしい会話になることもある。

研究課題１：知識識をどのように埋め込むかl 機械は元々たくさんのことを正確に覚えるのが得意なので、質問応答システムとしては有望l 知識識をどのように機械に埋め込むのか？
̶— そのままの表現を格納し、それを引⽤用するだけでは様々なタスクを実現できないことがわかっているl 符号化、保持/組織化、想起をどう実現するか
̶— 知識識の最適な表現、格納⽅方法、必要な時の思い出し⽅方

l 学習可能なコントローラーによる記憶の仕組みの実現例例
̶— Memory  Networks  [Jason+  14]とその改良良Differentiable  Neural  Computers  [Grave+  16]

研究課題２：⼼心理理モデルl 相⼿手が何を考えているのか、何を感じているのかを推定するような仕組みを機械で実現することができるか？

l ⼼心理理モデルは、⼈人同⼠士は同じハードウェア、アルゴリズ

ムで実現されているので実現できてる可能性がある

̶— どのように感情が⽣生まれているのか、外的要因、内的要因がどのように影響しているのかはまだ完全に解明されていない

̶— ⾃自分と同じように相⼿手も考えているだろうというのは、違う⽅方法で実現している機械では通⽤用しないl ⼼心理理モデルがないコミュニケーションは「機械的」であるだけでなく⽬目的が達成できない可能性がある
̶— 相⼿手の意図を推定できない

研究課題3：コミュニケーションの⽬目的関数l コミュニケーションの⽬目的関数が不不明
̶— 次の⽂文を予測する [Vinyals+  15]̶— 協調してタスクを達成する（強化学習ベース）[Foerster+  16]

̶— 内発的動機づけ（新しい情報を得る、情報最⼤大基準）[Schmidhuber 10]  [Mohamed+  15]

l 評価も難しい
̶— 翻訳の評価と同様に正解の対話データセットが必要か̶— ⽬目的がはっきりしない場合は正解を作ることも難しい

まとめ

まとめl 深層学習の実問題への応⽤用が進むとともに様々な課題がわかってきている

̶— 昔から存在する課題と新しく登場してきた課題があるl 具体的な問題の解決を通じて、新しい理理論論構築の可能性も
̶— ベル研において通信品質をあげる要請の元、情報理理論論が登場した

l 深層学習は様々な分野で利利⽤用されていく
̶— ⼈人の知能と同じではないが、それでも役に⽴立立つ c.f.  ⾶飛⾏行行機と⿃鳥l ⼈人の知能の仕組みで⼯工学的に参考になる部分は多いにある
̶— 認識識、学習、記憶の仕組み、⽬目的関数、ハードウェア

参考⽂文献l[Lin+  16]  “Why  does  deep  and  cheap  learning  work  so  well?”,  H.  W.  
Lin, M.  Tegmarkl

[Bengio+  16] “Feedforward  Initialization  for  Fast  Inference  of  Deep  Generative  Networks  is  biologically  plausible”,  Y.  Bengio,  and  et.  All[Sen+14]  “Learning  by  the  dendritic  prediction  of  somatic  spiking”,  R.  
Urbanczik,  W.  Senn,  Neuronl[Zhou+  16]  “Learning  Dense  Correspondence  via  3D-­guided  Cycle  Consistency”,  T.  Zhou  and  et.  al,  l[Garsia+  15]  “A  Comprehensive  Survey  on  Safe  Reinforcement  Learning”,  J.  Garcia,  JMLRl

[Degrave+  16]  “A  Differentiable  Physics  Engine  for  Deep  Learning  in  Robotics”,  J.  Degravel

[Chang+  16]  “A  Compositional  Object-­Based  Approach  to  Learning  Physical  Dynamics”,  M.  Changl [Lee+  16]  “DeepTarget:  End-­to-­end  Learning  Framework  for  microRNA  Target  Prediction  using  Deep  Recurrent  Neural  Networks”,  B.  Leett,  J.  Baek,  S.  Park,  S.  Yoonl

[Arora+  15]  “RAND-­WALK:  A  Latent  Variable  Model  Approach  to  Word  Embeddings”,  S.  Arora  and  et.  Al.

l[Weston+  14]  “Memory  Networks”,  J.  Weston  and  et.  Al.

l

[Graves+  16]  “Hybrid  computing  using  a  neural  network  with  dynamic  memory”,  A.  Graves  et.  al.

l

[Vinyals+  15]  “A  Neural  Conversational  Models”  O.  Vinyals and  Q.  
Lel[Foerster+  16]  “Learning  to  Communicate  with  Deep  Multi-­Agent  Reinforcement  Learning”,  J.  Foerster and  et.  al.

l[Schmidhuber10]  “Formal  Theory  of  fun  &  creativity  exaplainsscience,  art,  music  and  humor”,  J.  Schmidhuberl[Mohamed  +15]  “Variational Information  Maximisation for  Intrinsically  Motivated  Reinforcement  Learning”,  S.  Mohamed  and  et.