3H4-OS-24b-1

制限付きベイジアンネット BESOMにおける認識アルゴリズム OOBP
人工知能学会全国大会 JSAI2014
オーガナイズドセッション：
3H4-OS-24b 「OS-24 Deep Learning (2)」https://kaigi.org/jsai/webprogram/2014/paper-373.html

2014-05-14
産業技術総合研究所
一杉裕志、高橋直人

発表の流れ• 背景：– 神経科学的知見は、大脳皮質は Deep Learningと同じ構造のベイジアンネットであると示唆。

• ベイジアンネットを用いた Deep Learning の工学的な有望さ• 計算量の問題の解決案：条件付確率の制約• 現段階での性能評価• 今後

私の研究の目的• 人間のように知能の高いロボットを作って、社会の生産性を飛躍的に向上させ、人々の生活をより豊かにすること。
• 役に立つロボットに必要な能力：– 自律学習：赤ん坊のように自分で知識を獲得– 自律行動：新たな状況でも自分で考えて行動– 言語理解：自然言語を通じた意思の疎通• そのための近道として、まず脳全体のアーキテクチャを解明すべき。

脳の各組織のモデル
脳を構成する主な要素
運動野
前頭前野

言語野

視覚野

扁桃体

海馬

大脳皮質： ＳＯＭ、ＩＣＡ、ベイジアンネットワーク
大脳基底核、扁桃体： 強化学習
小脳： パーセプトロン、リキッドステートマシン
海馬： 自己連想ネットワーク

主な領野の情報処理装置としての役
割

大脳皮質

基底核

脳の各組織の機械学習装置としてのモデル

小脳

視覚野： deep learning
運動野： 階層型強化学習
前頭前野： 状態遷移機械？
言語野： チャートパーサ？

大脳皮質• 脳の様々な高次機能（認識、意思決定、運動制御、思考、推論、言語理解など）が、たった５０個程度の領野のネットワークで実現されている。

Wikipedia よりDaniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate
Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

マクロコラムミニコラム

IIIIII
IVVVI

III
厚さ約２ミリ

III
IVVVI

x1
w2
x2.
.
wn.
xn

w1

シナプス

y = φ (∑ wi xi )i

ニューロンからの出力

Deep Learning の源流
Neocognitron [Fukushima 1980]当時の視覚野の知見をもとに作られた、実際に手書き文字認識を行うモデル。
たたみ込みＮＮと同じ構造を持つ。

K. Fukushima. Neocognitron: A self-organizing neural network model for a mechanism ofpattern recognition unaffected by shift in position. Biological Cybernetics, 36(4): 93-202, 1980.

大脳皮質にみられる階層的構造
脳はおそらく様々な情報処理に Deep Learning を用いている。
運動野

体性感覚野
背側経路
Where pathway

絵は http://en.wikipedia.org/wiki/Brodmann_area
より

聴覚野

腹側経路
What pathwayベイジアンネットを使った大脳皮質モデル• 視覚野の機能、運動野の機能、解剖学的構造、電気生理学的現象などを説明••••••••••[Lee and Mumford 2003][George and Hawkins 2005][Rao 2005][Ichisugi 2007] [Ichisugi 2010] [Ichisugi 2011] [Ichisugi 2012][Rohrbein, Eggert and Korner 2008][Hosoya 2009] [Hosoya 2010] [Hosoya 2012][Litvak and Ullman 2009][Chikkerur, Serre, Tan and Poggio 2010][Hasegawa and Hagiwara 2010][Dura-Bernal, Wennekers, Denham 2012]

Deep Learning と同じ構造をしたベイジアンネットによる視覚野の模式図
A…

B

C

D

…

認識結果

…

Ｖ１のハイパーコラム…
ＬＧＮからの入力観測値

ベイジアンネットを使った
Deep Learning が有望と考える理由• 「制約付きベイジアンネット」であれば、１入力あたりの認識・学習の計算量が大きくない。
– 大規模化可能 将来的には１００万ノード規模• Feed forward NN より高機能。
– 文脈の情報が自然に扱える。
– 半教師あり学習、欠損データの学習が自然に扱える。

• 生成モデルを素直に表現可能。
– 様々な事前知識を作り込みやすい。
• 神経科学的知見からも作り込むべき事前知識のヒントが得られる。（ネットワークトポロジやハイパパラメタ）

BESOM (BidirEctional SOM) とは？
• 大脳皮質ベイジアンネットモデルの１つ。
• ベイジアンネットと Deep Learning と SOM とICA を組み合わせた機械学習アルゴリズム。
– ただし未完成な技術。

• 目指す目標：– 計算量に関するスケーラビリティ 今回の発表– 精度のスケーラビリティ（次元の呪いの克服）– 機械学習理論的妥当性– 神経科学的妥当性

BESOM Ver.3.0 の機構• 制限付きの条件付確率表のモデル• 認識・学習アルゴリズム• 正則化– 近傍学習– 勝率ペナルティ– 側抑制ＩＣＡ– エッジ選択

本発表では割愛

条件付確率表のモデルの制限• 一般に親ノードの数 m 個に対して O(2^m)のサイズが必要。→ メモリ・計算量が爆発• そこで条件付確率表を下記の形に制限。
1 𝑚
𝑃 𝑥 𝑢1 , … , 𝑢𝑚 = Σ𝑘=1 𝑃 𝑥 𝑢𝑘𝑚
U1...

U2XUm

条件付確率表の制限の生物学的根拠
1. 一次視覚野のスパースコーディングモデル[Olshausen and Field 1996]

基底画像の線形和で入力画像を表現、ニューロンの応答特性をうまく再現
y (t ) = Wx(t )2. 線形和を仮定した近似確率伝搬アルゴリズム
が大脳皮質の解剖学的構造と類似 [Ichisugi 2007]
IIIIIIIVVVI
低次領野

高次領野

解剖学的構造kUXoXlUXbUk XYoYl XY
ZXbXZY

子ノード

親ノードモデル

IIIIIIIVVVI

学習の目的• 学習の目的：– 時刻 t における入力を i(t) と、入力が独立同分布( i.i.d )から生成されると仮定して、パラメタθをMAP推定 tθ * = arg max ∏ P(i (i ) | θ ) P(θ )θ i =1 t
= arg max ∏∑ P(h, i (i ) | θ ) P(θ )θ i =1 hオンラインＥＭ（と思われるもの）の動作• 入力 i 𝑡 ごとに、親子ノード間の条件付きの事後確率分布𝑃(𝑦𝑗 |𝑥𝑖 , i 𝑡 ; 𝜃 𝑡 )を推定。
• それを真の値とみなしてパラメタ 𝜃 を更新。
• 事後確率分布の推定には Loopy BP のメッセージ収束結果を利用。
𝑃 𝑦𝑗 𝑥𝑖 , i 𝑡 ; 𝜃 𝑡= 𝛼𝛼 𝑦𝑗 𝑃 𝑦𝑗 𝑥𝑖 𝜋𝑌 𝑥𝑖 ⁄𝐵𝐵𝐵(𝑥𝑖 )特殊なケースについては、この式が正しいことを確認している。
一般にも成り立つかどうかは未確認。

条件付きの事後確率分布の推定の例
𝑃 𝑎, 𝑏, 𝑐, 𝑑 = 𝑃 𝑑 𝑐 𝑃 𝑐 𝑏 𝑃 𝑏 𝑎 𝑃(𝑎)ABC

D

𝑃 𝑏, 𝑐 𝑑 = 𝛼 Σ𝑎 𝑃 𝑑 𝑐 𝑃 𝑐 𝑏 𝑃 𝑏 𝑎 𝑃 𝑎= 𝛼 𝑃 𝑑 𝑐 𝑃 𝑐 𝑏 Σ𝑎 𝑃 𝑏 𝑎 𝑃 𝑎= 𝛼 𝜆 𝑐 𝑃 𝑐 𝑏 𝜋𝐶 𝑏𝑃 𝑐 𝑏, 𝑑 = 𝑃(𝑏, 𝑐, 𝑑)⁄𝑃(𝑏, 𝑑)= {𝑃 𝑏, 𝑐 𝑑 𝑃(𝑑)}⁄{𝑃 𝑏 𝑑 𝑃(𝑑)}= 𝑃 𝑏, 𝑐 𝑑 ⁄𝑃 𝑏 𝑑= 𝛼 𝜆 𝑐 𝑃 𝑐 𝑏 𝜋𝐶 𝑏 ⁄𝐵𝐵𝐵(𝑏)D=d を観測値とする

認識アルゴリズム OOBP
（Optimized Original
Belief Propagation [Pearl 1988]

親ノードの数 m に対しO(2^m) の計算量

OOBP

Belief Propagation）

制限された条件付確率表のモデルをO(m) の計算量前提に最適化
1 𝑚
𝑃 𝑥 𝑢1 , … , 𝑢𝑚 = Σ𝑘=1
𝑃 𝑥 𝑢𝑘𝑚計算時間の評価

レイヤ数 L=4 、各レイヤのノード数 N=100 、各ノードの状態数 S=4
親ノードの数 E を変化させて10回のメッセージ伝搬の計算時間を、ネットワークトポロジと条件付確率をランダムに変えて100回計測した平均。

最適化前の Loopy Belief Propagation の素朴な実装ではE=4 で計測不能に。
E=1: 137ms, E=2: 2,620ms, E=3: 28,223ms

4層 制限付きベイジアンネット
手書き数字認識
L3L2
L1

L0 （入力層）

教師ノード１０ユニット…

３ｘ３ノード
各１００ユニット…

５ｘ５ノード
各２０ユニット

入力画像(MNIST)
28x28ピクセル

pre-training なし、認識アルゴリズムはOOBP、ＥＭアルゴリズムで学習
認識率：91％程度

参考：
linear classifier (1-layer NN) 88%
Ciresan et al. CVPR 2012 99.87%「MNIST handwritten digit database」
http://yann.lecun.com/exdb/mnist/

現在、正則化の機構は EM に未対応
MPE学習

オンラインEM

基本的な認識と学習

実装済み

実装済み

近傍学習

実装済み

未対応

勝率ペナルティ

実装済み

未対応

側抑制ＩＣＡ

実装済み

未対応

エッジ選択

実装済み

未対応

運動野モデル

実装済み

未対応

すべて EM に対応することで精度を上げる余地がある。大脳皮質ベイジアンネットモデルの先行研究• [George and Hawkins 2005] HTM– Tree 構造に限定。
– アドホックな学習則。

• [Hosoya 2012]– Softmax を用いた条件付確率表モデル。
– MCMC を使った学習。

• [Dura-Bernal, Wennekers, Denham 2012]– 本研究と似た線形和の条件付確率表モデル。
– アドホックな学習則。

まとめ• 神経科学的知見は、大脳皮質は Deep Learningと同じ構造のベイジアンネットであると示唆。
• ベイジアンネットを用いた Deep Learning は工学的にも有望。
• ベイジアンネットの条件付確率表に制限を入れ、確率伝搬アルゴリズムを最適化することで、Deep Learning を実現可能であることを示した。
• 現在、実装は未完成のため性能は不十分。
– 今後実装を完成させ、より厳密な性能評価へ。

全脳アーキテクチャ勉強会• 第１回 2013年12月 開催趣旨説明 約100名参加– 講演者： 産総研 一杉裕志、東大 松尾豊、富士通研 山川宏• 第２回 1月「大脳皮質と Deep Learning」 約250名参加– 講演者： 産総研 一杉裕志、筑波大学 酒井宏、PFI 得居誠也

• 第３回 4月「海馬と SLAM」 約200名参加– 講演者： はこだて未来大 佐藤直行、産総研 横塚将志、
富士通研 山川宏• 第４回 ６月２日(月) 関西編 大阪府吹田市– 講演者： 産総研 一杉裕志、東大 松尾豊、富士通研 山川宏、 NICT CiNet 西本伸志、理研 泰地真弘
全脳アーキテクチャ

検索

追加資料

Generic Priors for Disentangling
Factors of Variation[Bengio 2013] http://arxiv.org/abs/1305.0445••••••••••

Yoshua Bengio,Deep Learning of Representations: Looking Forward,Statistical Language and Speech Processing,
Lecture Notes in Computer Science Volume 7978, 2013, pp 1-37
http://link.springer.com/chapter/10.1007%2F978-3-642-39593-2_1#

Smoothness
Multiple explanatory factors
A hierarchical organization of explanatory factors
Semi-supervised learning
Shared factors across tasks
将来の汎用人工知能技術のManifolds
核心部分ではないか！？
Natural clustering
Temporal and spatial coherence
Sparsity
Simplicity of Factor Dependencies

性能の良い「大脳皮質モデル」の構築に向けて解明すべきこと• 汎用事前知識：すべての大脳皮質領野に共通の事前知識– Bengio の generic priors をもっと具体化・追加していくべき。

• 領域事前知識：個別の領野ごとの事前知識– 他の領野や感覚器との間の接続関係。
– 領野ごとのハイパパラメタ。
• 例：滑らかさの度合い、時間的変化のスピードなど。
これらを明らかにしていくには、神経科学的知見と、学習対象の性質に関する工学的考察の両方が大事。

U1...

NodeUk... U m

Node... YnNodeXX
Y1...

YlYlUnit

BESOM の学習に用いてきた認識アルゴリズム
アルゴリズム

計算量計算するもの

精度

Loopy Belief Revision

大MPE

高い

Loopy Belief Propagation

大周辺事後確率高い

ABP (近似BP) [Ichisugi 2007]

小周辺事後確率低い

山登り法 [一杉 2009]

中MPE

低い

ABR (近似BR)[Ichisugi 2011]

小MPE

低い

OOBP (最適化BP) [一杉、高橋 2014]

小周辺事後確率高い

近似MPE計算
近似
近似
MPM計算

Loopy BeliefRevision近似ＭＰＥ学習

ABR

MPE を
MPM で代用

山登り法
近似
Loop Belief
Propagation

近似

ABP
オンラインＥＭ

最適化

OOBP

BESOM ネットのシミュレーションの現状
ネットワー
クの構造機能近傍学
習

非線形ICA

スパース符号化、混合分布

構造学習、特徴選択

多層化

短期記憶、SFA

実装

２００７
年

２００９年

２００９年

２０１１年

２０１２年

2013年
(部分的)

隠れノード数

１

２～３

３～１０

３～１０

１０～１００１０～１００

計算量のオーダー（ノード数 n のとき１入力の認識・学習に必要な計算量）
・ 2007年 O(2^n) 全数探索によるＭＰＥ計算
・ 2009年 O(n^4) 山登り法・ 2012年 ほぼO(n) 最適化ＢＰ、オンラインエッジ選択