クレジット：
UTokyo Online Education 学術俯瞰講義 2016 松尾 豊
ライセンス：
利用者は、本講義資料を、教育的な目的に限ってページ単位で利用することができます。特に記載のない限り、本講義資料はページ単位でクリエイティブ・コモンズ 表示-非営利-改変禁止 ライセンスの下に提供されています。
http://creativecommons.org/licenses/by-nc-nd/4.0/
本講義資料内には、東京大学が第三者より許諾を得て利用している画像等や、各種ライセンスによって提供されている画像等が含まれています。個々の画像等を本講義資料から切り離して利用することはできません。個々の画像等の利用については、それぞれの権利者の定めるところに従ってください。

学術俯瞰講義
人工知能の未解決問題とディープラーニング
東京大学 松尾 豊

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

2

人工知能とは••いろいろな考え方「知能とは何か」にさまざまな定義がある

松尾豊『人工知能は人間を超えるか ディープラーニン
グの先にあるもの』（角川書店、2015年）
http://www.kadokawa.co.jp/product/321410000316/

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

3

人工知能とは：もうひとつの捉え方

現在の情報技術でできること知能らしきもの

ぎりぎりできること= “人工知能”•

例えば、「かな漢字変換」や「OCR」は人工知能だった––•

コモディティ化すると、人工知能と呼ばれなくなる
昔は、AIとCS（Computer Science）は非常に近かった

いつまでも人間のような知能が実現しないので、「最先端」を表す言葉の代わりとして使われる–

いまの人工知能ブームで、「人工知能」と称されているものもこれに近い
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

4

人工知能がなぜできないのか•

人間のような知能はいまだにできていない•

脳は、基本的に電気信号＋化学変化––•

情報処理であれば、プログラムで実現できないはずがない–•

認識、思考、行動する際の神経系を伝わる電気信号
比較的長時間かけての生体的な反応
Alan Turing：万能チューリングマシン

それ以外で何か難しい要素は？
––霊感？
ロジャー・ペンローズ（物理学者）。脳の中の微小な管による量子現象に「意識」が生じる•

普通に科学的で合理的な人なら、できない理由が特にない。

•

伝えたいこと：–––いまはなぜみんなできないと思っているのか。
なぜ今まではできなかったのか。
それがどう変わってきているのか
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

5

人工知能をめぐる動向•

第１次AIブーム（1956〜1960年代）：探索・推論の時代––

ダートマスワークショップ（1956）•

人工知能（Artificial Intelligence）という言葉が決まる•

世界最初のコンピュータENIAC (1946)のわずか10年後

数学の定理証明、チェスを指す人工知能等•...冬の時代•

第２次AIブーム（1980年代）：知識の時代–––考えるのが早い人工知能

エキスパートシステム
医療診断、有機化合物の特定、…
第５世代コンピュータプロジェクト：通産省が570億円

ものしりな人工知能•...冬の時代•

第３次AIブーム（2013年〜）：機械学習・ディープラーニングの時代––

ウェブとビッグデータの発展
計算機の能力の向上

データから学習する人工知能

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

6http://venturebeat.com/2011/02/15/ibm-watson-jeopardy-2/, http://weekly.ascii.jp/elem/000/000/207/207410/

IBM ワトソン

将棋電王戦
著作権等の都合により、ここに挿入されていた画像を削除しました

著作権等の都合により、ここに挿入されていた画像を削除しました

週刊アスキー「第3回将棋電王戦第一局が有明コロシアムで開始。このシュール感がヤバい!!」
http://weekly.ascii.jp/elem/000/000/207/2
07410/

ディープラーニング革命
ILSVRCでの圧勝（2012）
Googleの猫認識（2012）

IBMWatsonがクイズ番組に出演した際の画像

ディープマインドの買収（2013）

FB/Baiduの研究所（2013）
アルファ碁（2016）
車・ロボットへの活用

機械学習

ウェブ・ビッグデータ

自動運転
Pepper

統計的自然言語処理（機械翻訳など）

検索エンジンへの活用
タスクオントロジー

MYCIN（医療診断）
DENDRAL

エキスパートシステム

オントロジー

ワトソン(2011)
LOD（Linked Open Data)

Eliza

Caloプロジェクト

対話システムの研究

Siri(2012)bot
探索
迷路・パズル1956

プランニングSTRIPS

1970
第一次AIブーム（推論・探索）将棋(2012-)
電王戦

チェス（1997)
Deep Blue

1980
第二次AIブーム（知識表現）

1995

2010

囲碁
2015

第三次AIブーム（機械学習・ディープラーニング）

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

人工知能の全体像
•
•
•
•
•

第１次AIブーム（1956〜1960年代）：探索・推論の時代...冬の時代
第２次AIブーム（1980年代）：知識の時代...冬の時代
第３次AIブーム（2013年〜）：機械学習、表現学習の時代

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

8

第1次AIブーム：探索・推論• ダートマスワークショップ（1956）– 人工知能（Artificial Intelligence）という言葉が決まる– John McCarthy、Marvin Minsky、Allen Newell、 Harbert Simon（ノーベル経済学賞）：全員チューリング賞– cf) 世界最初のコンピュータENIAC (1946)のわずか10年後• 1960年〜 第一次AIブーム（期待、Toy problem）– 定理証明器（1957）、ニューラルネットワーク（1963）、遺伝的アルゴリズム（1958）、DENDRALプログラム（1969）, 質量分光計の情報から分子構造を同定する）• 1970年〜 冬の時代

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

9

探索
• 探索木
– Sからはじめて、ひとつずつ展開していく– Gが見つかれば、探索成功– いろいろな戦略• 深さ優先探索：どんどん進む• 幅優先探索：一段ずつ進む

スタート

S
S

A
B

D

E
I

F
H
J

ゴール
迷路

D

C

G

I
E

A
E

B

C

I

B

E

D B D

H

D

I

F

I

D

A H

問題の表現
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

J

H
J

E
G

探索木
10

Go to Shinjuku from u-Tokyo
スタート（前提条件）•

知識

ゴール

•
•
•
•
•
•
•
•
•
•
•
•
•

東大にいる

at(u-tokyo).
at(u-tokyo)
at(Hon3) :- at(u-tokyo), walk(u-tokyo,Hon3).
walk(u-tokyo,Hon3walk(u-tokyo,Nezu)at(Nezu) :- at(u-tokyo), walk(u-tokyo,Nezu).
at(u-tokyomae) :- at(u-tokyo), walk(u-tokyo,u-tokyomae).
at(Hon3)at(Nezu)at(Shinjuku) :- at(Hon3), marunouchi(Hon3,Shinjuku).
at(Ikebukuro) :- at(Hon3), marunouchi(Hon3,Ikebukuro).
at(Shinjuku) :- at(Ikebukuro), JR(Ikebukuro,Shinjuku).
at(Ocha) :- at(Hon3), marunouchi(Hon3, Ocha).
at(Shinjuku) :- at(Ocha), JR(Ocha, Shinjuku).
at(ShinOcha) :- at(Nezu), chiyoda(Nezu, ShinOcha).
at(Ocha) :- at(ShinOcha), walk(Ocha, ShinOcha).
at(Yotsuya) :- at(u-tokyomae), nanboku(utokyomae,Yotsuya).
新宿にいる
at(Shinjuku) :- at(Yotsuya), marunouchi(Yotsuya,Shinjuku).
1 :- at(Shinjuku).

at(Shinjuku)※ 述語論理という表現形式

Solution: {walk(u-tokiyo,Hon3),
Marunouchi(Hon3,Shinjuku)}
11

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

同じように•Tower of Hanoi.jpeg
By Evanherk From Wikimedia Commons ref. 20170307
https://commons.wikimedia.org/wiki/File:Tower_of_Hanoi.jpeg
CC BY-SA 3.0

ハノイの塔– 円盤を全て、左から右に移す– 小さい円盤の上に大きい円盤を載せてはいけない•ロボットが、家の中からバッテリーを持ってくるにはどうしたら良いか– ロボットが行動をすると何がおこるかを記述していけばよい• バッテリーを持ち上げると、ロボットがバッテリーを持った状態になる• 移動するとロボットの位置がかわる、など– プランニングと呼ばれる• STRIPS（Stanford Research Institute Problem
image by Open Graphic Design,from GATAG
http://freeSolver, 1971)
illustrations.gatag.net/2014/02/23/210000.html
CC BY 3.0

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

12

From Wikimedia Commons ref. 20170307
https://ja.wikipedia.org/wiki/%E3%83%95%E3%82%A1%E3%
82%A4%E3%83%AB:MIN_MAX.png#file
CC-BY-SA

ゲーム•

交互に最大手を取る（Minimax法）–•

プロに勝つプログラム––•

最後までいかないので「スコア」をつける
チェス、将棋、囲碁
計算速度の向上と手法の進化により、強くなっている

最近強くなった理由––

モンテカルロ法：途中からランダムに終局まで指す
良い特徴量が発見された（３つの駒の位置など）

チェス
１０ 1202012.1 第一回
電王戦
故米長元名人vs.ボンクラーズ

囲碁
１０ 360

モンテカルロ法

1997 AIチェス
カスパロフ
vs. Deep Blue

将棋
１０220

Minimax法

2012.2
武宮九段 vs.
AI囲碁 Zen ハ
ンデ戦

観測可能な宇宙（800億の銀河）の水素原子数 約1080
By Mciura From Wikimedia Commons ref. 20170405
https://commons.wikimedia.org/wiki/File:MCTS_(English).svg
CC BY-SA 3.0

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

13

第１次AIブーム：探索・推論のまとめ•

要するに、解きたい問題を、探索・推論問題として、うまく記述すれば解ける•

記述できなければ解けない•以上。トイプロブレムは解ける。現実的な問題は解けない。がっかり。

•

こういった限界に加え、以下のような否定的な動きがブーム終焉のきっかけに– 1966 機械翻訳に対する否定的なALPACレポートがでた．
– 1969 MinskyによるPerceptronの限界の証明• 2段のニューラルネットワークでは線形分離しかできない• （限定条件における限界が過って拡大解釈される。）•

1970年〜 冬の時代

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

14

第2次AIブーム：知識を入れると賢くなる• 1980年〜 第二次AIブーム（知識の時代）– エキスパートシステム– 第５世代コンピュータプロジェクト（1981）：570億円の国家プロジェクト– AIが産業へ• 1995年〜再びAIの冬の時代

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

15

ELIZA(1964)••

対話システム
対話にあたってのルールを記述し、患者と対話を行う– “My head hurts” → "Why do you say your head hurts?“– “My mother hates me” → "Who else hates you?”•

1976年の記事によれば、人々はすぐにそのコンピュータプログラムに感情的に没頭。

•

対話の記録を見ようとするとプライ
バシーの侵害だとして拒んだり、対話中は部屋に一人きりにしてくれと頼んだりといったことがあったという。

•

最近では人工無脳とも呼ばれる。
–•

Twitterのボット

対話システムの発展系が現在のSiri–

CALOプロジェクト（DARPA）

By Ysangkok From Wikimedia Commons
https://ja.wikipedia.org/wiki/ELIZA#/media/File:GNU_Emacs_E
LIZA_example.png
GPL

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

16

エキスパートシステム: MYCIN•

スタンフォード大学で1970年代初めに5、6年の歳月をかけて開発されたエキス
パートシステム•システムは伝染性の血液疾患を診断し、抗生物質を推奨するようにデザインされていて、患者の体重のために供与量を調節する。
– 500のルール。細菌の名前を出す

ルールの例

診断のための対話
Q: 培地はどこ？
A: 血液
Q: 細菌のグラム染色による分類の結果は？
A: ネガティブ
Q: 細菌の形は？
A: 棒状
Q: 患者の痛みはひどいか、ひどくないか？
A: ひどい→ pseudomonas（緑膿菌）と判定
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

17

知識表現
•
•

意味ネットワーク(1960-)は人間の記憶の一種である意味記憶の構造を表すためのモデルである。 コリンズとキリアンによって考えられた。
Cyc(1984-)は、一般常識をデータベース（知識ベース）化し、人間と同等の推論システムを構築することを目的とするプロジェクト。20年たっても書き終わらない。

(#$isa #$BillClinton #$UnitedStatesPresident)"Bill Clinton belongs to the collection of U.S.
presidents”(#$genls #$Tree-ThePlant #$Plant)"All trees are plants".
(#$capitalCity #$France #$Paris)"Paris is the capital of France.”
Cycプロジェクトで記述された知識の例
意味ネットワーク※ has関係は、part-of関係の逆
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

18

オントロジー（1990-）• エキスパートシステムのルールが数千、数万になってくる– 書き切れない、管理できない• オントロジー– 概念化の明示的な仕様(Gruber)– 人工システムを構築する際のビルディングブロックとして用いられる基本概念／語彙の体系（溝口）Class

オントロジーは、与えられた問題領域内の概念集合を分類（または体系化）する。

概念化

概念集合

オントロジー

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

19

オントロジー研究のフレーバー（溝口03）•

概念間の関係には、is-a 関係（上位・下位）、part-of 関係（全体・部分）などがある。

•

part-of 関係に推移律が成立するか？
––•

part-of 関係の細分化
–
–
–
–

•

31講義室 part-of ３号館、３号館 part-of 東京大学、したがって、31講義室 part-of 東京大学
親指 part-of 山田太郎、山田太郎 part-of 取締役会、親指 part-of 取締役会？？？
自転車と車輪：自転車は車輪をとられると自転車ではなくなるが，車輪は自転車の部分であるときも無いときも車輪である．
森と木：森から木を一本除いても森であり続けるし，木も木のままである．
夫婦と夫：夫婦から夫を除くと夫婦は崩壊するし，夫もただの男になる．
ケーキとその一片：ケーキ全体から一切れのケーキを除いても，残された方も一切れもいずれもケーキである．

part-ofの認定の難しさ．
–
–
–
–
–

プラントの「運転」を考えてみる．次の二つのモデル化のどちらが正解であろうか？
＜正常運転 is-a 運転＞＜復旧運転 is-a 運転＞＜正常運転 part-of 運転＞＜復旧運転 part-of 運転＞
運転は正常運転と復旧運転から構成されている．どちらも正しいのである．しかし，同じ概念の間に
is-a と part-ofの両方が同時に成立することはあり得ず，どこかが間違っている．
実はこの問題の解決のヒントは「運転」という概念が二つの意味を持っていることである．

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

20

オントロジー：HeavyとLight•

Heavy-weight ontology：人間がちゃんと考える•Light-weight ontology：人間がちゃんと考えないとできないのは分かるけど、計算機使わないとスケールしないから、自動でオントロジーを作ろうよ。
–

関連性くらいでもよい。

–

ウェブ、ビッグデータからのマイニングや知識獲得

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

21
Wikipediaからの概念間の関係抽出（中山浩太郎）

Watson(2006-)•

IBMが開発した質問応答システム•

2011年1月に米国のクイズ番組「ジェパディ!」（Jeopardy!）での人間と対戦デモが行われた。
–•

著作権等の都合により、ここに挿入されていた画像を削除しました
IBM Watsonがアメリカのクイズ番組に出演した
際の画像

Watsonが勝利

IBMは医療診断に応用予定武田 浩一、金山 博「質問応答システムWatsonが示す未来 ― 質問応答技術がもたらす情報処理の新たな世界」
pp69-75
http://www-01.ibm.com/common/ssi/cgibin/ssialias?subtype=ST&infotype=SA&htmlfid=CO112727JPJA&attachment=CO112727JPJA.PDF
p73表2解候補ごとの根拠の探索を元に作成

観点/解候補

質問文：「本州のなかで最も西に位置す
るこの県は、1871年に発足した。」
正答：「山口（県）」

広島

山口

鳥取県

中国地方

奥多摩

候補と質問で型が一致する？
（「県」である）

〇

〇

〇

×

×

条件の一部が変更？
（最も西にある）

×

〇

×

〇

〇

時間表現が共通？
（1871年の記述を含
む）

×

〇

×

〇

×

該当の語句へのリンクの数（多いほうがよい）

1300

500

200

150

10

2％

92％

20％

6％

0％

総合点（確信度）

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

22機械翻訳の難しさ
He saw a woman in the garden with a telescope.
••

彼は庭にいるのか？彼女が庭にいるのか？
彼が望遠鏡を持っているのか、彼女が持っているのか。

•

庭に女性が望遠鏡を持って立っていることよりは、庭にいる女性を男性が望遠鏡で見ているほうがありそうだ。

••

なぜこれが分かるのか?これが分からないと翻訳できない。
これを人間が入力する？どこかに書いてある？どちらも無理そうだ。

•

一般に、知識獲得のボトルネックともよばれる

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

23

フレーム問題（Dennett 1984）•

ロボット１号– ロボットは、バッテリーを部屋から取ってこなければならない。部屋には一台のワゴンがあり、バッテリーはその上にあった。ところが、そのワゴンには爆弾も載せられており、PULLOUT(WAGON, ROOM)という行動を行うと、爆弾も持ち出して爆発してしまった。

•

ロボット２号– 自分の行動の帰結として、自分の意図したものだけではなく、副産物についての帰結も認識するように作られた。R2は設計されたとおり、PULLOUT（WAGON, ROOM）という行動の帰結を考え始めた。ワゴンを部屋から引っぱり出しても部屋の壁の色は変わらないということを演繹し、ワゴンを引けば車輪が回転するだろうという帰結の証明にとりかかった。そして爆弾は
爆発した。

•

ロボット３号– 関係のある（relevant）帰結と関係のない（irrelevant）帰結との区別を教えてやり、関係のないものは無視するようにすればよい。すると、このロボットは、部屋に入ろうともせず、じっとうずくまって考えていた。「私は、無関係な帰結を探し出してそれを無視するのに忙しいんです。
そんな帰結が何千とあるんです。」
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

24シンボルグラウンディング問題（Harnard 1990）•

シンボルグラウンディング問題とは、記号システム内のシンボルがどのようにして実世界の意味と結びつけられるかという問題。記号接地問題とも言う。

•

コンピュータには、記号の「意味」が分かっていないので、記号の操作だけで知能は実現できない。シンボルを、その意味するものと結びつける（グラウンドさせる）ことが必要であり、困難である。

•

馬の意味と、シマの意味が分かっている人が、
シマウマ＝馬＋シマと教えられれば、シマウマを一目見た瞬間、シマウマだと分かる。コンピュータではできない。

•

一部のロボット研究者は、「身体性」に注目したアプローチで、この問題に挑んでいる。

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

25

第2次AIブーム：知識処理のまとめ• 知識を書けば賢くはなった。
• でも、書くのが大変。書き切れないよ。
• 大変というより、これって可能なの？「そもそも何をどう表現すべきか」とか根本的なことを考えるとめちゃ難しい。
• 呆然。。
• AIって無理じゃない？
• 1995年〜再びAIの冬の時代

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

26

第3次AIブーム：機械学習から表現学習へ• 1990年〜– 情報検索：米国政府主導によるTREC(Text Retrieval Conference)(1992）– データマイニング：国際会議やジャーナルの立ち上がり– 検索エンジン：Google(1998)• 2000年〜– ウェブの広がり：1995年には1万サイト、2006年には1億サイト– ビッグデータ– 大量のデータを用いた機械学習の実用化• 2015年〜 第三次AIブーム

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

27

機械学習（Machine learning)• 人工知能における研究課題の一つで、人間が自然に行っている学習能力と同様の機能をコンピュータで実現しようとする技術・手法• 中心的な処理：自動的に分類する– 「分ける」ことが、すべての学習の根幹• 教師あり学習– 入力とそれに対応すべき出力（ラベル）を出力する関数を生成する。

• 教師なし学習– 入力のみ（ラベルなしの例）からモデルを構築する。
– クラスタリングや相関ルール抽出

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

28

新聞記事を自動的に分類したい。どのカテゴリか？
カテゴリが未知のデータ（分類したい）カテゴリ
Government
政治
科学
Science
芸能
Arts
丸いのはすべて教師データ（すでにカテゴリが分かっているデータ）

何らかの空間。
例えば、出てくる単語で作ったベクトル空間

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

29

教師データを使って、線をひく
おそらくGovernment

どういうふうに線を引けばよい？
線形？非線形？
⇒さまざまな方法がある

Science
科学
Government
政治
Government
政治

科学
Science
芸能
Arts
Arts
芸能

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

30

機械学習の方法• Nearest neighbor法– 仮説：最も近いデータのカテゴリを当てはめるのが良い• ナイーブベイズ法– ベイズの定理に基づいて分ける– データの特徴ごとに、どのカテゴリに当てはめるのかを足しあわせていくのがよい。

• 分類木を作る方法（C4.5など）– 平均情報量（エントロピー）が多い分け方で分けるのがよい• SVM（サポートベクターマシン）– マージン（余白）が最も最大になるように線を引くのがよい• ニューラルネットワーク– 人間の脳神経回路を模擬したネットワークにより線を引く

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

31著作権等の都合により、ここに挿入されていた画像を削除しまし
た

将棋の学習

朝日新聞出版
今週号の「将棋・囲碁特集」クイズ
http://publications.asahi.com/aera_blog/2012/09/post-4.shtml

膨大な棋譜データ
変数（40個）

教師データ

王将の位置

金の位置

銀の位置

...

指すべき手

８八

７八

５五

...

８六歩

５九

６七

７八

...

５四角

...

...

...

...

どういう変数（特徴量）を使うかが最も大事

変数（数百万以上）
王将と金と銀の位置

王将と銀と角の位置

王将と銀と飛 王将と銀と香
の位置
の位置

...

指すべき手

(+2, -1)(+2, +3)(+3, +1)(0, -1)(-1, -2)(-3, +4)

...

８六歩

...

...

...

...

５四角

...

...

...

(-1, +1)(-3, 0)

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

...

32

認識の難しさBy 松岡明芳 From Wikimedia Commons
https://ja.wikipedia.org/wiki/%E3%83%8D%E3%82%B3#/media/File:
2016-0614_Orange_and_white_tabby_cat_born_in_2016_%E8%8C%B6%E3%83%88%E3%83%A9%E7%99%BD%E3%81%AD%E3%81%93_DSCF65
26%E2%98%86%E5%BD%A1.jpg
CC BY-SA 4.0

Photo by lobocba_15,from GATAG
http://freephotos.gatag.net/2013/05/05/1
20000.html
CC BY 4.0
By Willybu From
Wikimedia Commons
https://commons.wiki
media.org/wiki/File:G
oldensondika.jpg
CC BY 2.5

イヌ
•

ネコ

オオカミ

これをコンピュータで見分けたい– 耳が垂れている、目が長い → イヌ
– 耳がとがっている、目が丸い → ネコ
– 耳がとがっている、目が長い → オオカミ

イヌ

Photo by ddogloverrr,from GATAG
http://freephotos.gatag.net/2014/10/03/090000.html
CC BY 4.0

結局、「耳が垂れている」「目が長い」などの「特徴量」を人間が考えている限り無理。どんなに頑張っても、必ず例外がある。人間はなぜかうまくできる。
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

33

これまでの人工知能の壁≒特徴抽出の壁•

難しい問題１：機械学習における特徴量の設計（Feature engineering）– 機械学習において、変数（特徴量）の設計が難しかった。
– 人間が対象をよく観察して設計するしかなかった。

•

難しい問題２：フレーム問題– 人間が知識を記述することで、人工知能を動作させる。
– そのときに、いくら知識を書いても、うまく例外に対応できない。

•

難しい問題３：シンボルグラウンディング問題– シマウマがシマのある馬だと、計算機が理解することができない。
– シンボル（記号）がそれが指すものと接続（グラウンド）しておらず、シンボルの操作ができない。

結局のところ、いままでの人工知能は、人間が現実世界の対象物を観察し、「どこに注目」するかを見ぬいて（ 特徴量を取り出して）、モデルの構築を行っていた。
その後の処理は自動で行うことができたが、モデル化の部分に人間が大きく介在していた。
それが、唯一にして最大の問題であった。
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

34

Deep Learning•

AIにおける50年来のブレークスルー– データをもとに、どこに注目すべきかという「特徴量」が自動的に獲得されている

MIT Technology Review
10 BREAKTHROUGH TECHNOLOGIES 2013
Deep Learning
With massive amounts of computational
power,machines can now recognize objects
and translate speech in real time. Artificial
intelligence is finally getting smart.

著作権等の都合により、ここに挿入されていた画像を削除しました

日経ビジネス2013年4月15日号「人口の神経回路、威力増す」

日経ビジネス2013年4月15日号

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

35

Auto-encoder(2006-)••

Deep Learningの主要な構成要素
出力を入力と全く同じにしたニューラルネットワーク– 手書き文字認識では、ひとつの画素の値を予測する。
– 普通に考えると意味ない。

••「１万円札をお店の人に渡して、１万円札をうけとるようなもの」(「考える脳 考える
コンピュータ」 J. Hawkins）
隠れ層のノードが「入力を圧縮したもの」になる。

正解
出力層

隠れ層

入力層
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

36

Auto-encoderで得られる表現

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

37

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND……..

※ Stacked Autoencoderという方式 （画像認識では、いまはConvolutional Neural Networkが主流）……..

“Deep”にした場合

38

Googleの猫（2012）

he Analytic Store
Deep Learning
http://theanalyticsstore.ie/deep-learning/(最終閲覧日：2017年7月19日)・YouTubeから取ってきた大量の画像をニューラルネットワークに学習させることで、下位の層のニューロンには線や点といった単純な特徴量が、上位の層には、人の顔や猫といったより複雑な特徴量が学習される。
シニフィエ
・人間の視神経のモデルとして知られているものと極めて近い。
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

39

ディープラーニングの実績（2012）
•

ディープ
ラーニング

長年の
特徴量設計
の工夫

IMAGENET
Large Scale Visual Recognition Challenge
2012 (ILSVRC2012)
http://imagenet.org/challenges/LSVRC/2012/index
17:05 - 17:30. Invited Talk. SuperVision
team

ILSVRC2012：Large Scale Visual Recognition Challenge 2012

Team name

Error

Description

SuperVision

15.315%Using extra training data from ImageNet Fall 2011
releaseSuperVision

16.422%Using only supplied training data

ISI

26.602%「ケタ」が違う
Weighted sum of scores from classifiers using each FC

ISI

26.646%

Naïve sum of scores from classifiers using each FV

ISI26.952%Naïve sum of scores from each classifier with SIFT+FV,
LBP+FV, GIST+FV and CSIFT+FV, respectively

OXFORD_VGG

26.979%Mixed selection from High-Level SVM scores andBaseline Scores, decision is performed by looking at
the validation performance.

…

…

...

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

40

エラー率の変化：2012年以降
Error
Beforeディープ
ラーニング

Imagenet 2011 winner (not CNN)

25.7%

Imagenet 2012 winner

16.4%(Krizhesvky et al.)

11.7%

Imagenet 2013 winner(Zeiler/Clarifai)

6.7%

Imagenet 2014 winner
After
ディープ
ラーニング

(GoogLeNet)

Baidu Arxiv paper:2015/1/3

6.0%

Human: Andrej Karpathy

5.1%

Microsoft Research Arxiv paper: 2015/2/6

4.9%

Google Arxiv paper: 2015/3/2

4.8%

Microsoft Research CVPR paper: 2015/12/10

3.6%

2015年2月には人間の精度を超えた

画像認識で人間の精度を超えることは数十年間、実現されていなかった 41

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

人間を超える画像認識とは？
• Googleの研究（2015年3月）– ２枚の顔画像が、同じ人かどうかを見分ける「顔認識」• 800万人の異なる人間の2億枚の顔画像で学習させる• 22層の深いニューラルネットワーク• 精度：99.63%±0.09 （10分割交差検定）– ほとんど間違えない
著作権等の都合により、ここに挿入されていた画像を削除しました
Christian Szegedy et al., "Going deeper with convolutions"2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR)
http://ieeexplore.ieee.org/document/7298594/
p. 6, Figure 3: GoogLeNet network with all the bells and whistles.
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

42

間違ったケースの全て（別人を同一人物と判定）・人間が見ても判定が難しい

F. Schroff, D. Kalenichenko and J. Philbin, "FaceNet: A unified
embedding for face recognition and clustering," 2015 IEEE Conference
on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015,
pp. 815-823.
http://ieeexplore.ieee.org/document/7298682/?tp=&arnumber=72986
82&refinements%3D4225004270%26filter%3DAND(p_IS_Number:72985
93)p. 821, Fig. 6

東京大学松尾研究室 那須野薫 UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

43

間違ったケースの全て（同一人物を別人と判定）

F. Schroff, D. Kalenichenko and J. Philbin, "FaceNet: A unified embedding for face recognition and clustering," 2015
IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, 2015, pp. 815-823.
http://ieeexplore.ieee.org/document/7298682/?tp=&arnumber=7298682&refinements%3D4225004270%26filter%
3DAND(p_IS_Number:7298593)
p. 821, Fig. 6

・正解データの信ぴょう性のほうが問われる。
東京大学松尾研究室 那須野薫 UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

44

顔画像のクラスタリング

・同一人物の写真を正確にグループ化することができる
・写真の明るさや角度、表情、サングラスや帽子の有無に対しても頑健
F. Schroff, D. Kalenichenko and J. Philbin, "FaceNet: A unified embedding for face recognition and clustering," 2015 IEEE Conference on Computer Vision and Pattern
Recognition (CVPR), Boston, MA, 2015, pp. 815-823.
http://ieeexplore.ieee.org/document/7298682/?tp=&arnumber=7298682&refinements%3D4225004270%26filter%3DAND(p_IS_Number:7298593)
p. 821, Fig. 6

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

45

運動の習熟：ディープラーニング＋強化学習（2013-）•

強化学習とは、行動を学習する仕組み。
– 「報酬」が得られると、事前の行動を強化する。
– 「状態」「行動」→「望ましさ（報酬ありなし）」– 古くからある技術だが、これまでは、「状態」を人間が定義してきた。

•

運動の習熟が可能に– 状態の認識に、ディープラーニングを使う。
– DeepMindの研究者（D. Hassabisら）。その後、Googleが買収。

•

試行錯誤することによって、運動が習熟する– 最初は下手。繰り返すうちに、うまくなってくる。
– 最終的には、ブロック崩しでの通路を作ったり、インベーダーゲームでの「名古屋撃ち」も。
– 「全く同じプログラム」で、異なるゲームを学習。半数のゲームで人間のハイスコアを上回る

Volodymyr Mnih et al., "Human-level control through deep reinforcement
learning"
Nature 518, 529–533 (26 February 2015) doi:10.1038/nature14236
http://www.nature.com/nature/journal/v518/n7540/abs/nature14236.ht
ml?lang=en

著作権等の都合により、ここに挿入されていた画像を削除しました
The Economist
Artificial intelligence Rise of themachines 2015年5月9日
http://www.economist.com/news/briefi
ng/21650526-artificial-intelligencescares-peopleexcessively-so-risemachines

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

46

ディープラーニングの人工知能における意味•

モラベックのパラドックス：「 子供のできることほど難しい。」– 高度な推論よりも、認識や運動スキルの方が難しい。
– それがここ3年くらいのあいだに一気にできるようになった•

現在のコンピュータのパワーでようやく可能に– GPUを数十台並列に並べて、数日〜数ヶ月計算させてようやく精度が上がる•

アイディアは昔からあった。もともとは日本発– 1980年当時、NHK放送技術研究所にいた福島邦彦先生によるネオコグニトロン– その後も多くの研究者が試みている•

初期仮説への回帰– 初期仮説「なぜ知能をコンピュータで実現することはできないのか？」– できると思っていた→できない理由があった→それが解消された→だとしたら、もう一度できるという仮説を取るべきでは。
– 産業として非常に大きい可能性を秘めている。

UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

47

ディープラーニングの今後の発展① 画像
画像から、特徴量を抽出する

認識

画像認識の精度向上② マルチモーダル
映像、センサーなどのマルチモーダルなデータから特徴量を抽出し、モデル化する

動画の認識精度の向上、行動予測、異常検知③ ロボティクス（行動）
自分の行動と観測のデータをセットにして、特徴量を抽出する。
記号を操作し、行動計画を作る。

運動

プランニング、推論④ インタラクション
外界と試行錯誤することで、外界の特徴量を引き出す

オントロジー、高度な状況の認識⑤ 言葉とのひもづけ（シンボルグラウンディング）
高次特徴量を、言語とひもづける

言語理解、自動翻訳⑥ 言語からの知識獲得

言語

グラウンディングされた言語データの大量の入力により、 さらなる抽象化を行う

知識獲得のボトルネックの解決

ディープラーニングがすごいというよりその先に広がる世界がすごい
UTokyo Online Education 学術俯瞰講義 2016 松尾豊 CC BY-NC-ND

48