アジェンダ• 18:10-18:50 開催趣旨説明、「大脳皮質と Deep Learning」– 産業技術総合研究所 一杉 裕志• 18:50-19:30 「視覚皮質の計算論的モデル --- 形状知覚における図地分離と階層性」– 筑波大学 システム情報工学研究科コンピュータサイエンス専
攻 酒井 宏 教授• 19:30-19:40 休憩 １０分間
• 19:40-20:20 「Deep Learning技術の今」– 株式会社プリファードインフラストラクチャー (PFI)
得居 誠也 氏• 20:20-20:50 パネル討論 進行：富士通研 山川 宏
• 21:00- 懇親会（会場近く）

開催趣旨説明
第２回 全脳アーキテクチャ勉強会
2014-01-30
産業技術総合研究所
一杉裕志

脳の各器官のモデル
脳を構成する主な要素
運動野
前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳

脳の各器官の機械学習装置としてのモデル
大脳皮質： ＳＯＭ、ＩＣＡ、ベイジアンネットワーク
大脳基底核、扁桃体： 強化学習小脳： パーセプトロン、リキッドステートマシン
海馬： 自己連想ネットワーク

主な領野の情報処理装置としての役
割
視覚野： deep learning
運動野： 階層型強化学習
前頭前野： 状態遷移機械？
言語野： チャートパーサ？

脳の知能に関係する主要な器官の計算論的モデルは不完全ながら出そろってきている。これらの器官の間の連携のモデルを考えることで、脳全体の機能の再現に挑戦すべき時期に来ている。

我々（私）の目標• 人間と同じタスクをこなせる賢い機械を作る。
– 危険、単調、汚い仕事、知的重労働・・・。

• そのための最短かつ確実と思われる手段として、まず脳のアーキテクチャを理解しそれを参考にしたい。

• 「鳥にヒントを得て性能のよい飛行機を作る」• このような研究の先駆者を目指しませんか？

誤解を恐れずに非常におおざっぱに例えると・・・• 脳全体のアーキテクチャはコンピュータのアーキテクチャとおおまかに対応付けられる、と今のところは考えている。
– 強化学習する領野のシナプス： プログラム– 強化学習する領野の発火： プログラムカウンタ– 強化学習しない領野のシナプス： データ構造– 強化学習しない領野の発火： レジスタ
– 海馬のシナプス： メモリ– 海馬の発火：メモリからレジスタへの読み出し– 情動の機構：システム全体の目的を規定
全脳アーキテクチャを計算機上で再現するためにチャレンジすべき課題はたくさんある。

非常に重要な課題
表現学習の問題

Deep learning は表現学習というＡＩの根源的な問題を解くために有効な手法の１つであると思われる。

• どうすれば効率的にプログラムとデータ構造を獲得できるのか？
– 強化学習する領野のシナプス： プログラム– 強化学習する領野の発火： プログラムカウンタ– 強化学習しない領野のシナプス： データ構造– 強化学習しない領野の発火： レジスタ
– 海馬のシナプス： メモリ– 海馬の発火：メモリからレジスタへの読み出し– 情動の機構：システム全体の目的を規定

応用：
パターン認識到達目標：

大脳皮質モデルを中心としたロードマップ（たたき台）
ロボット制御単純労働

高度な言語処理様々な労働支援

階層型強化学習
思考・ナビゲーション

教師なし学習・認識

言語理解・発話

人間のような知能

滑らかな運動情動要素
技術：

皮質・基底核連携モデル

皮質・基底核・海馬連携モデル

全脳アーキテクチャモデル

皮質・小脳連携モデル
大脳皮質モデル2013

言語野モデル
扁桃体モデル2020 ?

時間

参加者のみなさまにお願いしたいこと• いろいろな分野の専門家とお知り合いになりたいです。どの分野の知見も研究のなにがしかのヒントになります。
• この勉強会はあくまで勉強のきっかけ。予習・復習は必要です。
• 質問大歓迎。できれば手短に。１人でも多く。
• 懇親会やネットでもどんどん質問してください。
– Facebook グループ「全脳アーキテクチャ」
https://www.facebook.com/groups/whole.brain.architecture/– 私のブログ「ＢＥＳＯＭ（ビーソム）ブログ」
http://besom1.blog85.fc2.com/

今日の勉強会の目的• 下記の３点にからめた話題提供を３人の講演者に行っていただいた後、これらに関してパネル討論を行います。
1. 人工知能における表現獲得の問題
2. 大脳皮質モデルのベンチマーク・評価方法
3. 現在の Deep Learning で実現できていないこと

大脳皮質と Deep Learning
第２回 全脳アーキテクチャ勉強会
2014-01-30
産業技術総合研究所
一杉裕志
関連ＵＲＬ：「大脳皮質と deep learning の類似点と相違点」
http://staff.aist.go.jp/y-ichisugi/rapid-memo/brain-deep-learning.html

Deep Learning とは• たくさんの層を持つ大規模ニューラルネット。[Hinton et al.
2006] , etc.

Deep learning の構造の一例：
２層教師なし機械学習器を積み重ねたもの。

• 画像認識、音声認識などの分野で高い性能を出し注目を浴びる技術。

入力
Restricted Boltzmann Machine,auto-encoder などの教師なし機械学習器。

Deep Learning の源流
Neocognitron [Fukushima 1980]当時の視覚野の知見をもとに作られた、実際に手書き文字認識を行うモデル。

K. Fukushima. Neocognitron: A self-organizing neural network model for a mechanism ofpattern recognition unaffected by shift in position. Biological Cybernetics, 36(4): 93-202, 1980.
「脳科学大事典」
甘利 俊一 (編集), 外山 敬介 (編集) 出版社: 朝倉書店 (2000/04)
ISBN-13: 978-4254101560
pp.851--859 の解説が、分かりやすい。

大脳皮質の情報処理にみられる様々な階層構造

大脳皮質• 脳の様々な高次機能（認識、意思決定、運動制御、思考、推論、言語理解など）が、たった５０個程度の領野のネットワークで実現されている。

Wikipedia よりDaniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate
Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

マクロコラムミニコラムIIIIIIIVVVIIII
厚さ約２ミリ

III
IVVVI

x1
w2x2.
.
wn.
xnw1

シナプス

y = φ (∑ wi xi )i

ニューロンからの出力

大脳皮質の領野• 各領野の機能、接続構造はそれなりに明らかになっている。
Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

視覚系領野

運動野

最新の解剖学的知見• コネクトーム、脳機能イメージングの分野ではハブ構造が注目されているらしい。
– 従来の階層構造を否定する知見ではないのでは？

PLOS biology
Mapping the structural core of Human cerebralcortex
Patric Hagmann et al, July 2008.
http://www.plosbiology.org/article/info:doi/10.1
371/journal.pbio.0060159

大脳皮質と deep learning の大きな類似点• 領野の階層構造• 視覚野 腹側経路 Ｖ１→Ｖ２→Ｖ４→ＰＩＴ→ＣＩＴ→ＡＩＴ• 視覚野 背側経路 Ｖ１→Ｖ２→ＭＴ・ＭＩＰ→ＭＳＴ・ＬＩＰ• 体性感覚野
３野→１野→２野→５野→ＳＩＩ→７ｂ• 運動野
Ｍ１→ＳＭＡ・ＰＭ• Deep learning との大きな類似点– 上の層ほど多くの特徴量（感覚入力）を統合。
– 上の層ほど複雑な情報を表現。
– 上の層ほど抽象度が高い情報を表現。

大脳皮質と現状の Deep Learning の大きな相違点• 大脳皮質の領野は非常に個性が強い。
– （このあと具体的に、わかりやすい側面のみに着目して紹介していきます。）• 領野が扱うべき情報が先天的に決まっていて、それに合わせたネットワーク構造や prior が作り込まれていると思われる。
• この構造に学べば性能のよい deep learning
システムが作れるかも？

大脳皮質• およそ５０の領野

図は http://en.wikipedia.org/wiki/Brodmann_area より

腹側経路と背側経路

背側経路
Where pathway

外側溝（シルヴィウス裂）

腹側経路
What pathway他の階層的な構造
運動野

体性感覚野

背側経路
Where pathway

腹側経路
What pathway
聴覚野

背側経路(where pathway)• 視覚刺激の位置を表現。
• MIP：網膜座標• LIP：身体中心座標– 頭の向きによらない。

• 7a：環境中心座標

7a
LIP
MIP

– 頭・体の向きによらない。
Dorsal premotor neurons encode the relative position of the hand, eye, andgoal during reach planning.
Neuron. 2006 Jul 6;51(1):125-34
Pesaran B, Nelson MJ, Andersen RA
Nature. 1998 Aug 27;394(6696):887-91.
Separate body- and world-referenced representations of visual space inparietal cortex.
Snyder LH, Grieve KL, Brotchie P, Andersen RA.

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

座標変換するネットワークの自己組織化は可能か？
• 私の仮説：非線形ＢＳＳ（暗中信号源分離）と解釈すれば可能ではないか？
網膜座標での物体の位置＝ 身体座標での物体の位置 ＋ 身体座標での頭部・眼球の向き
身体座標での物体の位置

網膜座標での物体の位置

身体に対する頭部・眼球の向き独立性などの事前分布（拘束条件）を頭部・眼球の状態の 作り込む
体性感覚背側経路(where pathway)• 視覚刺激の動きを表現。
• MT：網膜座標– オプティカルフローを表現。
（視覚刺激の速度と方向）• MST：身体中心座標？
– 回転、拡大・縮小などより複雑な動きを表現。

MSTMT

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

体性感覚野• ３野→１野→２野→５野→ＳＩＩ→７ｂ
ペンフィールドのホムンクルス
http://upload.wikimedia.org/wikipedia/commons/thumb/d/d4/Somatose
nsory_cortex_ja.png/580px-Somatosensory_cortex_ja.png

3野：単純な接触刺激
1野：より広い受容野
2野・5野：「触刺激の動きの有無，その方向，あるいは接触した物体の静的な性質，例えば角の存在，形態，材質などの特徴によりよく応答するニューロン」など
電子情報通信学会知識ベース S3群 - 2編 - 3章
「3-7 体性感覚中枢」 （執筆者：岩村吉晃）2008
http://www.ieice-hbkb.org/files/S3/S3gun_02hen_03.pdf

2513

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

聴覚野
• かつては AI, AII と分けられていたが、今日ではもっとたくさんの領野に分けられている。
• 階層構造はある？？
サルの聴覚皮質の領野構成「聴覚野 - 脳科学辞典」
http://bsd.neuroinf.jp/wiki/%E8%81%B4%E8%A6%9A%E9%87%8E

運動野• M1 → ＰＭ・ＳＭＡ• M1（一次運動野）– 運動出力との結びつきが強い。

• ＰＭ（運動前野）

運動野のホムンクルス
http://ja.wikipedia.org/wiki/%E3%83%95%
E3%82%A1%E3%82%A4%E3%83%AB:Motor_homunculus-ja.png

SMAPM
M1

– ネクタイをしめる、など習熟した動作に関与。
参考： 「脳と運動―アクションを実行させる脳」
丹治 順 共立出版 (1999/11)
ASIN: 432005394X

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

脳は状態行動対 Q(s,a) を深いベ
イジアンネットで学習？（私見）
ACC

空腹だ

動機：パンを食べよう
行動計画：a

情動・痛覚 sDLPFC

a
目の前に 10パンがあるs

PM/SMA

PM/SMA

目の前の物体に手を出し、つかんだ物体を口に持っていき、物体を口に入れよう
PM/SMA

a
感覚野s

M1

M1

M1s

ある座標に物体がある

足M1as
手M1

M1

a
顔運動：
手をここに動かそう筋駆動：
手の筋肉の力をこのくらい出そうそのほかの類似点と相違点

夢は RBM の Negative phase なのか？？？
• いまのところその仮説を支持する神経科学的知見はないと思う。
• 睡眠中には、海馬に蓄えられていた記憶が大脳皮質に定着する、と考えられている。
– Negative phase の振る舞いと似てない。

• ＲＥＭ睡眠（夢）の役割は、生き残るためのリハーサル、という説がある。（他の説もある。）– 参考：「脳は眠らない 夢を生みだす脳のしくみ」著者：アンドレア・ロッ
ク 出版：ランダムハウス講談社

Deep Learning 関連技術から脳の理解への貢献はあるか？
• 一般論として、実装が容易な性能改善技術は脳もやっている可能性が高い。
– ミニバッチ学習

したがって計算論的神経科学者は心に留めておいて損はないと思う。

• 海馬から大脳皮質への記憶転送はミニバッチ？？？

– Momentum– Dropout

ベイジアンネットを使った deeplearning （開発中）の将来性

大脳皮質とベイジアンネットの類似点 [一杉 2011]– トップダウンとボトムアップの非対称の接続– 局所的かつ非同期な情報のやり取りだけで動作– 値が非負– 情報が正規化される– ヘブ則学習– 文脈や事前知識に依存した認識– ベイズに基づく動作
一杉裕志, 解説：大脳皮質とベイジアンネット、
日本ロボット学会誌 Vol.29 No.5, pp.412--415, 2011.
関連ＵＲＬ：「脳とベイジアンネット」
https://staff.aist.go.jp/y-ichisugi/besom/j-index.html

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

ベイジアンネットを使った
deep learning が有望と考える理由• 認識・学習の計算量が大きくない。
– 認識： Loopy belief propagation– 学習： ＥＭ algorithm• Feed forward NN より高機能。
– 文脈の情報が自然に扱える。
– 半教師あり学習、欠損データの学習が自然に扱える。

• 生成モデル。
– 様々な事前知識を作り込みやすい。

4層「制限付き」ベイジアンネット
手書き数字認識[一杉 未発表]
P( X | U1 ,,U m )

L3

L2
L1

L0 （入力層）

教師ノード１０ユニット

1 m= ∑ P( X | U i )m i =1…

３ｘ３ノード
各１００ユニット…

５ｘ５ノード
各２０ユニット入力画像(MNIST)
28x28ピクセル

pre-training なし、認識アルゴリズムはOOBP、ＥＭアルゴリズムで学習
認識率：92％程度

Neocognitron,
Deep Learningと同じ深い構造のベイジアンネット

ノード数にたいして１入力の処理がほぼ線形時間で動作
注：EMを使う場合、現在 O(n^2)

参考：linear classifier (1-layer NN) 88%
Ciresan et al. CVPR 2012 99.87%「MNIST handwritten digit database」
http://yann.lecun.com/exdb/mnist/

２層「制限付き」ベイジアンネットによる非線形ＩＣＡ[一杉 未発表]

L1

L0 （入力層）

３ノード各９ユニット
近傍学習あり入力画像(MNIST)
28x28ピクセル

参考：「BESOM Ver.3.0 β版のアルゴリズム」 2013-07-17版
https://staff.aist.go.jp/y-ichisugi/besom/20130717algorithm.pdf

縦棒の傾き、まるの形、まるの大きさ、という３つの特徴量の抽出回路が自己組織化。

機械学習の性能と事前知識

性能を上げるには事前知識が必要• ノーフリーランチ定理[David H.Wolpert and William G. Macready 1995]• 「工学者や最適化の専門家にとって、この定理は、問題領域の知識を可能な限り使用して最適化すべきだということを示しており、領域を限定して特殊な最適化ルーチンを作成すべきであることを示している。」「ノーフリーランチ定理 - Wikipedia」
http://ja.wikipedia.org/wiki/%E3%83%8E%E3%83%BC%E3%83%95%E3%83%AA%E3%83%BC%E3%83%A9%E3%83%B3%E3%83%81%E5%AE%9A%E7%90%86

Generic Priors for Disentangling
Factors of Variation[Bengio 2013] http://arxiv.org/abs/1305.0445

••
•
•••
•
•••

Yoshua Bengio,
Deep Learning of Representations: Looking Forward,
Statistical Language and Speech Processing,
Lecture Notes in Computer Science Volume 7978, 2013, pp 1-37
http://link.springer.com/chapter/10.1007%2F978-3-642-39593-2_1#Smoothness
Multiple explanatory factors
A hierarchical organization of explanatory factors
Semi-supervised learning
Shared factors across tasks
Manifolds
Natural clustering
Temporal and spatial coherence
Sparsity
Simplicity of Factor Dependencies

性能の良い「大脳皮質モデル」の構築に向けて大事だと思うこと• すべての領野に共通の事前知識を明らかにすべき。
– Bengio の generic priors をもっと具体化・追加していくべき。

• 個別の領野ごと事前知識を明らかにすべき。
– 他の領野や感覚器との間の接続関係。
– 領野ごとのハイパパラメタ。
• 例：滑らかさの度合い、時間的変化のスピードなど。
これらを明らかにしていくには、神経科学的知見と、学習対象の性質に関する工学的考察の両方が大事。

まとめ• Deep Learning の源流は脳のモデル。
• Deep Learning の性能を上げるために、脳から学べるところはまだたくさんある！
– 注意：ただし安易に脳を真似しただけでは性能は多分でません。