統数研記念式典

人工知能の歴史、発展、社会への影響
甘利俊一
理化学研究所 栄誉研究員
東京大学 名誉教授

人工知能の衝撃
人間の知的能力を超えるのか？
第４次産業革命
人工知能の歴史：
記号と論理ー並列分散（ニューラルネット）

動力技術
機械技術
技術は止まらない！
材料技術
生命技術ー遺伝子編集
情報技術ー知能・心脳ー人間とは何か
思考・言語・意識
人間・社会・文明

宇宙誌と脳ー 脳ができるまで

ビッグバン(138億年前) 物理学・化学

生命(36億年前)

脳・神経系

文明・社会

(5億年前)

生命科学
神経科学・情報科学(20万年前？) 脳科学・情報科学・人間科学

ビッグバン（138億年前）
物質の法則

エネルギー・物質 ― 天体 ― 分子(秩序)物理学、化学

４６億年前：
地球の誕生
火の玉、全球凍結

生命の誕生 （36億年前）
進化の法則

生命 ＝ 情報＋物質＝自己を複製し次世代に伝える物質
生命科学
遺伝、分子機構、自己保存DNA多細胞生物

環境の情報を利用、記憶・学習、判断・行動

脳＝情報

脳・神経系（5億年前）：神経科学

類人猿、そして人間社会に生きる生命；文化と社会

人類の登場（７００万年前）

心、意識
文明
猿人、原人
旧人（ネアンデルタール、５０万年‐３万年前）
新人（ホモ・サピエンス、２０万年前‐現在）

心の理論
ロボットに意識はあるか物質の法則：

宇宙

生命の法則： 情報＋物質： 進化
文明の法則： こころ＋情報＋物質：
社会・文化

脳：大脳、海馬、小脳、脳幹
脳科学：ミクローマクロ、理論 ：神経回路網

人工知能と脳のモデル：
ー歴史の要約
第一次ブーム
1956~

AI
Dartmouth 会議
記号と論理
知的推論、ゲーム

暗黒期 (1965後半~1970’s)

脳モデル
Perceptron
学習する普遍計算機構
線形分離可能実用的でない!!
stochastic descent learning (1967) for MLP

第２次ブーム
1970~

AI
エキスパートシステム(MYCIN, DENDRAL)

沈静化

確率Bayes推論chess (1997)

1980~ BT (神経回路)
MLP (backprop)
連想記憶モデル、ダイナミックス
一兆円産業か？

第３次ブーム

2010~

脳型の人工知能（融合）

深層学習 Deep learning（畳み込み多層回路（福島）＋確率勾配降下：日本でなぜ実現しな かったか）

確率推論 (graphical model; Bayesian; WATSON)
深層学習の勝利 ーー人間以上の識別能力

パターン認識: vision, auditory, sentence analysis
囲碁：強化学習
時系列とダイナミックス、動的パターン；言語処理

記号と論理 VS パターンとダイナミックス、学習－融合ニューラルネットと脳多層パーセプトロン
表現 ダイナミックス 万能性

層状学習回路網
multilayer perceptronxz
パーセプトロン Perceptron
バックプロパゲーション Backpropagation

L ( x,W =)y − g ( x,W )2

δ L ( x,W )w → w + ∆w , ∆w = −cδWニューロンの数理モデル

y = ϕ ( ∑ wi xi − h ) = ϕ ( w ⋅ x )xyϕ (u )

多数決素子
興奮・抑制

u最初のMLPの確率勾配降下学習法 (1967;1968)
Information Theory II--Geometrical Theory of Information

Shun-ichi Amari
University of Tokyo

Kyouritu Press, Tokyo, 1968

, θ ) v1 max {w1 ⋅ x, w2 ⋅ x} + v2 min {w3 ⋅ x, w4 ⋅ x}
f ( x=
アナログニューロン、シグモイド関数

w1maxxv1yw4maxv2

線形分離不可能
パターン分類

深層学習の勝利
パターン認識（画像、音声,…）
囲碁・ゲームテキスト生成言語翻訳

深層学習の問題点 １
大量のデータ、計算力： 実験式：原理を発見しない

入力を基に正解
現象の予測
日蝕の予測
ケプラーの法則、ニュートン力学（新概念）

原理の創出・理解ー人間科学

深層学習の問題点 ２
何故1000層も必要か 情報表現
敵対的例題と脆弱性

敵対的例題
入力 ｘｘの学習

W分類

敵対的ネットワーク： 真贋判定回路
入力（ランダム）

画像（偽）

WZ
自然画像

生成ネット

判定ネット

L(W, Z) 共有、 minimax

深層学習の問題点 ３
局所解と大域解

大規模系の特徴
ランダム行列 A の固有値の分布ほとんどが鞍点（極小解なし!!）
大規模回路
極小解は最小解の付近に集まる

統計神経力学
1-layer network
xi = ±1xzzi = ±1

 nsgn  ∑ wij x j 
 j =1z = Tw x = sgn(Wx)XxTwZ

y = Tw x

深層回路
xil +1ϕ (∑ wij xi + w0i )l12
A = ∑ xilnllA = F ( A)l +1lwij ~ N (0, σ / n )2w0i = b ~ N (0, σ )2b引き戻し計量（リーマン計量・距離）

1 l lds ∑ g ab dx=dxdx ⋅dx=nl2lag ab= e a ⋅e blllb

リーマン計量の力学y ϕ (∑ w y =+ b ) ϕ (u )edy
B dyBe∑=ααkααBkkk

ααaa(=Bkα ) (ϕ '(uα ) wkα )α αg ab =< e a , e b >∑ Bk B j gkj =ααααE[ϕ '(uα )) wk w j ] = E[ϕ '(uα )) ]E[wk w j ]2

χ1 ( A)

21{'()}
σϕ
AvDv=
∫
2π22

平均場近似不使用

σ A+σ22b

1 + 2(σ A + σ )22bPoole et al (2016)
Deep neural networks

フラクタル
敵対的例題

Poole et al (2016)
Random deep neural networks

Natural Gradientmax

dl = l (θ + dθ ) − l (θ )2εKL[p(x,θ ):p(x,θ + dθ )]=εdθ−1=∇l G (θ ) ∇l

 l ( x , y ;θ )∆θ t =−ηt ∇ttt

Fisher information ∂ϕ ∂ϕ G = Ex  ∂Wm ∂Wl ∂ϕ l∂ϕ l −1∂ϕ l −1∂ϕ m+1= ϕ 'W= B= BB...B
∂Wm
∂Wm
∂Wm
∂Wm
  l  2 l −1 l −1
G (Wl ,Wm ) ∏ χ1Ex ϕ ′  w i  x x  + O p (1/ n )  G (Wl ,Wm ) 0 ~ O p (1/ n ),l≠m
l l G  w i , w j  0 ~ O p (1/ n ), i ≠ j=

Unitwise natural gradient∆W =−ηG ∇W l−1

Y. Ollivier; Marceau-Caron

G=+wwOllivier、Marceau-Caron：quasi-diagonal natural gradientNo simulations: Oh No!!
Natural gradient is no more dream!
TANGO: Ollivier
recursive formula for
Neural tangent kernel−1G ∇l数理脳科学は脳の基本原理を探求する
単純な基本モデル用いる：数理的探索（現実とは違う）
 計算論的神経科学（脳はいかにこの原理を実現したか） ＡＩ ： 技術による原理の実現 （脳とは違う）

脳は基本原理をどう実現したか
進化によるランダムサーチ
使える材料の制約
歴史的な制約
ごたごたの設計の中で精妙な実現：超複雑人工知能は何をどう実現するか？

人工知能は脳に何を学ぶのか： 心
意識と無意識のダイナミックス
記号--- 興奮パターン
論理的推論 --- 並列ダイナミックス
AINN

意識の発生共同作業、自分の意図を自分で知る
言語： 論理的思考、数学

Libet の実験 : 自由意志
EEGWhen!

予測（先付け）と後付け Prediction and Postdiction
dual dynamics

意識ダイナミックス

意思決定と行動

反省、正当化、論理意識の情報統合理論 Tononi

IITシステムの情報理論ーー情報幾何
x1

y1x1

y1x2

y2x2y2

x1y1x1

y1x2y2x2y2

full model: S F = { p(x, y )}Disconnected model:

S dis = {q (x, y )} q(y | x) = Πq( yi | xi )measure of interaction : N. Ay
information integration : Tononi
Barrett and SethMany other ΦIntegrated Information Theory G. Tononi

ΦNecessary condition; sufficient?

Markov Conditionx1y1

x2y2(12) branch deleted: Markov condition:

x1 → x2 → y2p ( x1 , y2 | x2 ) = p ( x1 | x2 ) p ( y2 | x2 )X 1 − X 2 − Y2
X 2 − X 1 − Y1

Sdis : all xi → y j (i ≠ j ) deleted

人工知能が脳に学ぶべきこと: 数理的理解
判断；制御；認知；記憶
意識と心の役割； 後付け
連想式記憶システム：知識体系

心の理論

葛藤する心究極のゲーム（ultimatum game）

A

B

10万円
A: 配分を決定する---- 7万円–3万円
B: 同意または拒否
この時の脳の働き、各領野の確執
利益、公正、その後のこと、評判
二人か社会ゲームか心を持ったロボットがつくれるか？
人の心の動きを理解するロボットが心を持つように見える（感情移入）ロボットが心を持てるのか？
人間の心：進化の産物
意識、意図、論理、感情
種の生存と個の不合理 ：使命感
人間は不合理； 芸術、喜び、愛、苦悩

ただ一度の、かけがいのない人生
ロボット（金融システム）は合理的人工知能と倫理
人工知能の安全性、制御可能性
人工知能と戦争；人工知能の金融支配；
支配の道具、格差
暴走： 人間の暴走を範として

社会への影響：技術は止まらない：制御できるか
失業問題：人口減 ：AIは仕事を奪うか？ より高度な仕事
格差の拡大：
ベーシックインカムと人類の家畜化：働く喜び人工知能と技術的特異点
人工知能が人間を超えるとき人工知能が研究し、技術を進める
人間は素晴らしいが、愚かである。
人間はどんな知能システムを作るのか？
社会の進化と支配

２０４５

人工知能と未来社会の設計
深層学習を超えて科学研究、技術開発

社会、文明その脆弱性・崩壊

我々はは何をなすべきか？

日本のAIの進むべき道：政府の戦略
ブームは終わる

超大国

文化国家

物量作戦はだめ理論とアイデア
中小企業を含む現場との交流；産業の情報化