⼤脳⽪質ベイジアンネットモデルの実⽤化に向けて
第1回 全脳アーキテクチャシンポジウム
2016-05-18
産業技術総合研究所
⼈⼯知能研究センター
脳型⼈⼯知能研究チーム
⼀杉裕志

1

私の研究の⻑期的⽬標• 脳全体のアーキテクチャを模倣して「⼈間のような知能を持つ機械」を作る。
２０～３０年後？

運動野
前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳

脳のリバースエンジニアリング2産総研 脳型⼈⼯知能研究チームの短期的⽬標• あと４年で⼤脳⽪質モデルの実⽤化の⽬途をつける。
運動野
前頭前野

視覚野

言語野

基底核

当面注力する部分

大脳皮質

扁桃体

海馬

小脳

3

⼤脳⽪質の不思議さ
Wikipedia よりDaniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in thePrimate Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

マクロコラムミニコラムIIIIIIIVVVIIII
厚さ約２ミリ

III
IVx1

Vx2 .

VIxn.
.

w2

• 脳の様々な⾼次機能（認識、意思決定、運動制御、思考、推論、⾔語理解など）が、たった５０個程度の領野のネットワークで実現されている。
大脳皮質の動作原理解明が最大の課題

w1wnシナプスy   (  wi xi )i

ニューロンからの出力

4⼤脳⽪質と deep learning の類似点
• 領野の階層構造– 視覚野 腹側経路 Ｖ１→Ｖ２→Ｖ４→ＰＩＴ→ＣＩＴ→ＡＩＴ– 視覚野 背側経路 Ｖ１→Ｖ２→ＭＴ・ＭＩＰ→ＭＳＴ・ＬＩＰ– 体性感覚野
３野→１野→２野→５野→ＳＩＩ→７ｂ– 運動野
Ｍ１→ＳＭＡ・ＰＭ• Deep learning との類似点– 上の層ほど多くの特徴量（感覚⼊⼒）を統合。
– 上の層ほど複雑な情報を表現。
– 上の層ほど抽象度が⾼い情報を表現。

⼤脳⽪質とベイジアンネットの類似点– トップダウンとボトムアップの⾮対称の接続– 局所的かつ⾮同期な情報のやり取りだけで動作– 値が⾮負– 情報が正規化される– ヘブ則学習– ⽂脈や事前知識に依存した認識– ベイズに基づく動作
一杉裕志, 解説：大脳皮質とベイジアンネット、
日本ロボット学会誌 Vol.29 No.5, pp.412--415, 2011.
Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate Cerebral Cortex
Cerebral Cortex 1991 1: 1-476

Deep Learning の構造を持った⼤規模ベイジアンネットの有望さ• 脳の様々な⾼次機能が実現できる可能性がある。
• 事前知識を作り込みやすく、機械学習の⼿法としても有望。
• 実⽤化に向けて様々な困難があったが、かなり解決してきた。

ベイジアンネットの将来性？
応用範囲

大脳皮質を模倣したベイジアンネット？

事前知識の作り込みにくさから汎化性能には限界

こうなることを見込んで研究中

ニューラルネット

現在

8BESOM 実⽤化に向けた研究開発の内容
制限付きベイジアンネット BESOM
ノード=確率変数=SOM（マクロコラム）
(V2)

ユニット
=値（ミニコラム）

・ 表現力の向上
・ 推論・学習の精度の向上(V1)・ 大規模並列処理による処理速度向上

(LGN)

結合の重み
=条件付き確率（シナプスの重み）
1

9

BESOM Ver.3 の学習アルゴリズムの導出過程
バッチの EM

近似

オンライン版：
stepwise EM

E step の変分近似：
loopy BP

制約

制約

P(x|u1,…,um)=1/m Σ w(x,uk)

w(x,uk)=P(x|uk)[Ichisugi,Takahashi 2015][一杉 2015]

正則化：
勝率ペナルティ、側抑制ＩＣＡ
正則化：
近傍学習

近似

M step の最適化LearnMess1

正則化項の計算に必要な値の学習を
MPM を使った
hard EM で近似アドホックな近傍学習の実装

loopy BP の最適化：
OOBP

BESOM Ver.3 の学習則
10

脳のアルゴリズムのスケーラビリティ
著作者: artbejo

マウスの大脳皮質ニューロン
約１６００万個約１０００倍、しかしどちらも実時間動作
ヒトの大脳皮質ニューロン
約２００億個
著作者:allvectors「GATAG｜フリーイラスト素材集」http://free-illustrations.gatag.net/

通常のベイジアンネットの問題点
推論・学習１ステップの実行に必要な計算量

X

Y1

Y2

Y3

Y4...

Ym

X1

X2

X3

X4...

Xm

Y

多くの推論・学習アルゴリズムにおいて親ノードの数に対し指数関数的な計算量が必要

解決策：定数個の親ノードを持つ等価なネットワークに変換 [Heckerman 1993]
Um

Um-1...

U1

T1
T2U1...

U2Um
Tm

XX

親ノードの数 m 個

親ノードの数は高々２個で深さが O(m)このような変換が可能な条件付確率表モデルであれば、推論・学習の１ステップの実行が O(2^m) から O(m) に高速化
13

Noisy-OR モデル

noisy-OR モデル [Pearl 1988]• すべて２値変数• 親ノードのどれかが１のときに⼦ノードも１• 病気の原因と症状の関係など、多くの対象を素直に表現可能、学習結果の解釈が容易
01,…,,…,
U1

Π
1U2

1
Π
U3

X

1U4

noisy-OR モデルは等価な２分⽊のネットワークに変換可能
0

1
000,
1,
U3

0
U0,…,
U1

Π
U2

10U2

U1U0
T1

1T2

U3T3

XT0X

メッセージΣ,,ΣΣΣΣ,,UkTk
λTk+1(Tk)=λ(Tk)λTk+1(Uk)=λX(Uk)
πTk+1(Uk)=πX(Uk)
Tk+1

πTk+1(Tk)=π(Tk)学習

勾配法による学習則• 隠れ変数のあるベイジアンネットは、局所的な演算だけで学習が実⾏可能[Binder et al. 1997]

・ 脳っぽい・ 並列処理が容易
・ DNN の改善手法が適用可能
Xw を P(x|pa(x)) のパラメタとすると
∆

Σ ,,|

Noisy-OR の勾配法の学習則∆

Σ ,,MPE の値の組み合わせに対し|,1 とする。

２層 noisy-OR ネットワークで⼿書き数字「２」を教師なし学習

実験条件：
２層 noisy-OR ネットワーク
認識アルゴリズム：山登り法
正則化：勝率ペナルティと側抑制ペナルティ [一杉 2015]

２０個の基底画像
平均３個の基底画像の和で入力画像を表現するように学習視覚野と⾔語野22

視覚野モデルの開発内容
視覚野の様々な構造と機能を模倣したシステムを、制限付
きベイジアンネット BESOMを用いて構築

側方結合

背側経路

たたみ込みＮＮは腹側経路のみを模倣

視覚野の構造腹側経路

Daniel J. Felleman andDavid C. Van Essen
Distributed HierarchicalProcessing in the Primate
Cerebral Cortex Cerebral
Cortex 1991 1: 1-47

23

⾔語野モデルの開発内容
制限付きベイジアンネット BESOM を用いて文の意味を深く理解するシステムの実現を目指す
我々のアプローチ
言語に関係する様々な分野の知見をヒントにする
神経科学の知見：
脳損傷による言語障害の症例
言語野周辺の解剖学的構造
fMRI による知見
大脳皮質の領野共通の知見

言語学の知見：範疇文法、依存型意
味論、格文法言語野のモデルの構築

自然言語処理の知見：
理論的に最適なアルゴリズム、有効なヒューリスティックス

24「定性的ベイジアンネット」によるプロトタイピング⼿法の開発
・ 確率値の０と非０のみを区別
・ 同時確率が非０になる解を高速に探索可能

N2

N1

N3

N4

BESOM の完成を待たずに人工視覚野、人工言語野のモデル設計が可能に

N5% ネットワークの構造
possible(N1, N2, N3, N4, N5) :n5(N5,N3),n4(N4,N3),n3(N3,N1,N2),n2(N2),n1(N1).
% 非０になる値の組み合わせのみ列挙
n1(true).
n1(false).
n2(true).
n2(false).
n3(true,true,true).
n3(false,false,true).
n3(false,true,false).
n3(false,false,false).
n4(true,true).
n4(false,false).
n5(true,true).
n5(false,false).

定性的ベイジアンネットの記述例
25

単語列と内部表現の間の相互変換を⾏うベイジアンネット
動作主 被動作主
Cat Eat Fishcatfish

Fish IsEatenBy Cat
相互変換
脳内では受動態・能動態によらず、動作主・被動作主の表現場所が決まっている [Frankland et al. 2015]「An architecture for encoding sentence meaning inleft mid-superior temporal cortex」
http://www.pnas.org/content/112/37/11732.full?sid=b9968895-810f-4713-8887-ae0445dfa79b

単語列
ベイジアンネット
で実現

内部表現（ウェルニッケ野）
構文解析器（ブローカー野）プロトタイプを定性的ベイジアンネットで構築
26

まとめ• Deep Learning と同じ構造を持った⼤規
模ベイジアンネットは有望• 実⽤化に向けたいくつかの課題を解決– 理論的基盤の整理– スケーラビリティ– 並列実装• 今後の課題– Loopy Belief Propagation の振動対策– 条件付確率表モデル拡張による表現⼒向上
27