制限付きベイジアンネット
BESOM の正則化の一手法
第96回人工知能基本問題研究会(SIG-FPAI)

2015-01-13
産業技術総合研究所
一杉裕志

発表の流れ• 背景：– 全脳アーキテクチャの解明を目指す• 大脳皮質ベイジアンネットモデル• 過適合・局所解の問題の解決：正則化• 現段階での性能評価

私の研究の目標• 脳を模倣して「人間のような知能」を持つ機械を作る。

脳の各器官のモデル
脳を構成する主な要素
運動野
前頭前野

言語野

視覚野

大脳皮質

基底核

扁桃体

海馬

小脳

脳の各器官の機械学習装置としてのモデル
大脳皮質： ＳＯＭ、ＩＣＡ、ベイジアンネットワーク
大脳基底核、扁桃体： 強化学習
小脳： パーセプトロン、リキッドステートマシン
海馬： 自己連想ネットワーク

主な領野の情報処理装置としての役
割
視覚野： deep learning
運動野： 階層型強化学習
前頭前野： 状態遷移機械？
言語野： チャートパーサ？

脳の知能に関係する主要な器官の計算論的モデルは不完全ながら出そろってきている。これらの器官の間の連携のモデルを考えることで、脳全体の機能の再現に挑戦すべき時期に来ている。

いまもっと不足しているのは、神経科学と機械学習の知識を持ったやる気のある研究者

全脳アーキテクチャ勉強会 開催実績•

第１回 2013年12月 開催趣旨説明 約100名参加

参加者は技術者と研究者が半々– 講演者： 産総研 一杉裕志、東大 松尾豊、富士通研 山川宏•

第２回 2014年1月「大脳皮質と Deep Learning」 約250名参加– 講演者： 産総研 一杉裕志、筑波大学 酒井宏、PFI 得居誠也•

第３回 4月「海馬と SLAM」 約200名参加– 講演者： はこだて未来大 佐藤直行、産総研 横塚将志、富士通研 山川宏•

第４回 6月 関西編 約100名参加– 企画： 理研 高橋恒一、講演者： 産総研 一杉裕志、東大 松尾豊、富士通研 山川宏、 NICT
CiNet 西本伸志、理研 泰地真弘

•第５回7月 「意思決定」 約200名参加– 講演者： 産総研 一杉裕志、 奈良女子大 新出尚之、グーグルジャパン 牧野貴樹•

第６回7月 「統合アーキテクチャ」 約170名参加– 講演者：富士ゼロックス 岡本洋、玉川大 大森隆司、 NII 市瀬龍太郎•

第７回9月「感情」約200名参加– 講演者：玉川大大森隆司、京大藤田和生、東京慈恵医科大渡部文子、AGI光吉俊二•

第８回11月10日（月）「時系列学習」約200名参加– 講演者：山口大宮崎真、電通大山崎匡、早稲田大尾形哲也

過去の講演資料はほぼすべてネットで見られます。
全脳アーキテクチャ検索次回 全脳アーキテクチャ勉強会
第9回2月4日（水）「表現学習」• 場所：東京 リクルートホールディングス本社（グラントウキョウサウスタワー） 定員180名• 時間 18:00-21:00 その後懇親会• 講演者– 東京大学 酒井邦嘉
– 産業技術総合研究所 林隆介– 立命館大学 谷口忠大

• 詳細は Facebook グループ等でアナウンス予定– 「全脳アーキテクチャ勉強会」 参加者 約900人

大脳皮質• 脳の様々な高次機能（認識、意思決定、運動制御、思考、推論、言語理解など）が、たった５０個程度の領野のネットワークで実現されている。

Wikipedia よりDaniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate
Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

マクロコラム
ミニコラム

I
II
III
IV
V
VI

I
II
厚さ約２ミリ

III
IV
V
VI

x1
w2
x2
.
.
wn.
xn

w1

シナプス

y = φ (∑ wi xi )i

ニューロンからの出力

Deep Learning の源流
Neocognitron [Fukushima 1980]当時の視覚野の知見をもとに作られた、実際に手書き文字認識を行うモデル。
たたみ込みＮＮと同じ構造を持つ。

K. Fukushima. Neocognitron: A self-organizing neural network model for a mechanism ofpattern recognition unaffected by shift in position. Biological Cybernetics, 36(4): 93-202, 1980.

大脳皮質にみられる階層的構造
脳はおそらく様々な情報処理に Deep Learning を用いている。
運動野

体性感覚野
背側経路
Where pathway

絵は http://en.wikipedia.org/wiki/Brodmann_area
より

聴覚野

腹側経路
What pathwayベイジアンネットを使った大脳皮質モデル• 視覚野の機能、運動野の機能、解剖学的構造、電気生理学的現象などを説明
••
•
•
•
•
•
•
•
•

[Lee and Mumford 2003][George and Hawkins 2005][Rao 2005][Ichisugi 2007] [Ichisugi 2010] [Ichisugi 2011] [Ichisugi 2012][Rohrbein, Eggert and Korner 2008][Hosoya 2009] [Hosoya 2010] [Hosoya 2012][Litvak and Ullman 2009][Chikkerur, Serre, Tan and Poggio 2010][Hasegawa and Hagiwara 2010][Dura-Bernal, Wennekers, Denham 2012]

Daniel J. Felleman and David C. Van Essen
Distributed Hierarchical Processing in the Primate
Cerebral Cortex
Cerebral Cortex 1991 1: 1-47

大脳皮質は、 Deep Learning と同じ構造をもった巨大なベイジアンネットらしい。

Deep Learning と同じ構造をもった
ベイジアンネットの一例

L2
L1
L0（入力層）。。。

上位層は隠れ変数、教師なし学習により特徴抽出。。。

。。。

入力画像

楕円は確率変数
白丸は確率変数がとり得る値

「ベイジアンネットによるDeep Learning 」が工学的にも有望と考える理由• 我々が提案する BESOM は、ノード数に対し線形時間で１入力を認識・学習。
– 脳と同様、並列処理によりリアルタイム動作が可能。
– 将来的には１００万ノード規模。

• Feed forward NN より高機能。

– Explaining away effect がある。
– 時間的・空間的文脈の情報が自然に扱える。
– 半教師あり学習、欠損データの学習が自然に扱える。

• 生成モデルを素直に表現可能。
– 様々な事前知識を作り込みやすい。
• 神経科学的知見からも作り込むべき事前知識のヒントが得られる。（ネットワークトポロジやハイパパラメタ）

BESOM (BidirEctional SOM) とは？
• 大脳皮質ベイジアンネットモデルの１つ。
• ベイジアンネットと Deep Learning と SOM とICA を組み合わせた機械学習アルゴリズム。
– ただし未完成な技術。

• 目指す目標：– 計算量に関するスケーラビリティ– 精度のスケーラビリティ（次元の呪いの克服）– 機械学習理論的妥当性– 神経科学的妥当性

U1...

NodeUk... U m

Node... YnNodeXX
Y1...

YlYlUnit

BESOM Ver.3.0 の機構• 制限付きの条件付確率表のモデル
1 𝑚
𝑃 𝑥 𝑢1 , … , 𝑢𝑚 = Σ𝑘=1 𝑃 𝑥 𝑢𝑘𝑚• ノード数に対しほぼ線形時間で動作する認識・学習アルゴリズム [一杉、高橋 JSAI 2014]• 正則化– 近傍学習– 勝率ペナルティ– 側抑制ペナルティ– エッジ選択本発表

学習の目的• 学習の目的：– 時刻 t における入力を i(t) と、入力が独立同分布( i.i.d )から生成されると仮定して、パラメタθを
EM アルゴリズムで MAP推定 t
θ * = arg max ∏ P(i (i ) | θ ) P(θ )θ i =1
 t

= arg max ∏∑ P(h, i (i ) | θ ) P(θ )θ i =1 hベイジアンネットは確率伝搬アルゴリズムの収束結果を使って高速にＥＭアルゴリズムを実行可能。

2層 BESOM
手書き数字 の教師なし学習

３ノード各９ユニット

L1L0（入力層）

２８ｘ２８ノード各２ユニット。。。

入力画像(MNIST)
28x28ピクセル１種類の文字のみ入力。

手書き数字 教師なし学習の学習結果
× 使われないユニットが多い。。。

× 各ノードが似た応答になりがち

局所解認識アルゴリズムは山登り法、MPE を真の値とみなしてパラメタをオンライン学習、近傍学習あり。

３ノード x ９ユニットの学習結果（各ユニットが応答する画像の平均）

勝率ペナルティ• 各隠れ変数の周辺事前分布が一様分布から離れるほど、大きなペナルティを与える。

問題点：このような複雑な事前分布を持つとき、効率的なパラメタ学習の方法は自明ではない。

パラメタ学習の方法• 勝率ペナルティを持ったベイジアンネットは、すべての隠れ変数の下に制約ノードを持つベイジアンネットと（近似的に）等価。この上でEM アルゴリズムを実行すればよい。
,
X1

RX1RX2

制約ノード

X2X3

RX3...

側抑制ペナルティ• ２つのノードの間の相互情報量が大きいほど大きなペナルティを与える。
• 独立になってほしいノードのペアの集合を Lとして、事前分布を下記のように定義。

パラメタ学習の方法• 制約ノードを２ノード間の共通子ノードとして持つベイジアンネットと等価。この上で EM 。
,

X1

RX1X2

RX2X3

X2

X3

RX3X1...

手書き数字 教師なし学習
正則化ありの場合の学習結果。。。

傾き、横幅、横棒の位置

BESOM は非線形ＩＣＡを用いた特徴抽出器として使える。

4層 BESOM
手書き数字 教師あり学習
L3（出力層）L2

教師ノード１０ユニット

訓練時はL3に観測値を与える。
テスト時はL3の事後確率最大の値を認識結果とする。

３ｘ３ノード各３０ユニット

。。。

L1。。。

５ｘ５ノード
各２０ユニット

L0（入力層）。。。

２８ｘ２８ノード
各２ユニット

入力画像(MNIST)
28x28ピクセル

pre-training なし、近傍学習なし、認識ア
ルゴリズムはOOBP、MPE を真の値とみなしてパラメタをオンライン学習

実験結果
勝率ペナルティあり

勝率ペナルティなし

側抑制ペナルティ
あり

84.7%

84.0%

側抑制ペナルティ
なし

79.9%

61.3%

いずれも正則化した方が認識率は高い。

ただし MNIST の認識率としてはまだよくない。
大きな理由：条件付確率表モデルの表現力の問題。
→ 今後の課題

まとめ• 神経科学的知見は、大脳皮質は Deep Learningと同じ構造のベイジアンネットであると示唆。
• ベイジアンネットを用いた Deep Learning は工学的にも有望。
• 勝率ペナルティ、側抑制ペナルティという２つの正則化によって過適合・局所解の問題を緩和。
• ただし、現在の条件付確率表のモデルでは性能は不十分。