階層的な生成モデルの自己組織化を目的とする神経回路による独立成分分析の一手法
産業技術総合研究所
一杉裕志
2007-3-16

概要• 大脳皮質がICAによって、ベイジアンネットで表現された生成モデルを自己組織化するという仮説を提案する。また、筆者が提案する大脳皮質の BESOM モデルと統合可能な具体的なICAアルゴリズムを１つ提案する。

BESOMモデル

BESOMモデル[一杉 2006]• ベイジアンネットの条件付確率表を自己組織化マップにより獲得し、近似確率伝播アルゴリズムによって外界の状態をベイズ推定する
大脳皮質の神経回路モデル。
– 大脳皮質の解剖学的構造とよく一致。
– 大規模化が可能。
• 記憶量 O(s) 、並列計算の計算量 O(log s) 。

– 運動野・前頭前野のモデルも構築可能。

• 計算機シミュレーションはまだ。（後述）自己組織化マップ(SOM)とは• 競合学習・近傍学習を特徴とする教師なし学
習アルゴリズム。
• 高次元の特徴ベクトルを、低次元に圧縮。
• 視覚野の方位選択カラムのモデルを工学的に扱いやすくしたもの。
競合層
入力層

ベイジアンネットとは• 対象を、確率変数の間の因果関係を表すネットワーク構造で表現したもの。
• 一部の確率変数の観測値が与えられると、条件付確率表を使って、他の確率変数の値をベイズ推定できる。
– 確率伝播アルゴリズムという効率的な計算方法が使われる。

• ノイズに強いパターン認識。リアルタイム性。

BESOM (BidirEctional SOM)
• ノードは確率変数、ユニットは確率変数の値
ノード

U1

ユニット

...

Uk

... U mノード... Ynノード

X

X

Y1

...

YlYl

BESOMによる階層的なパターン認識のイメージ• 観測値は最下端ノード• 上の階層ほど抽象度の高い情報を表現

A…

B

C

D

…

…

…

学習ステップと認識ステップ• BESOMは２つのステップを交互に繰り返す– 学習ステップ• 各ノードがSOMの競合層として働く。
• 子ノードから送られる入力をクラスタリングする。
• 学習結果は条件付確率表を表し、認識ステップで使われる。

– 認識ステップ• ノードのネットワークがベイジアンネットとして働く。
• 現在の条件付確率表に基づき、近似確率伝播アルゴリズムで各ノードの値をベイズ推定する。
• 推定結果は、学習ステップでのSOMへの入力に使われる。

学習時の入力ベクトルの例• MAP推定の結果を０と１の値のベクトルで表
現v = (0, 0, 1, 0, 0,0, 1, 0, 0, 0,0, 0, 0, 0, 1)

赤いユニットがＭＡＰ推定結果の値

学習則

xi

• 勝者ユニットの学習則：– 入力ベクトルに参照ベクトルを近づける。

wij ← (1 − α ) wij + α v j• wij は条件付確率になる。

wij = P (Y = y j | X = xi )• 適切な近傍関数のもと、近傍学習も行う。

yjv = (0, 0, 1, 0, 0)

認識ステップ• 確率伝播アルゴリズム[Pearl 1988]を下記の仮定のもと近似。
– 仮定１：条件付確率表が次のように近似できる。
（今後少し修正する予定。定性的には子ノードの状態を親ノードの予測のＯＲで表現したい。）
mP( X | U1 ,L,U m ) ≈ ∑ P( X | U i )i =1– 仮定２：親ノード、子ノードの数は十分多い。

近似確率伝播アルゴリズムβ• 周辺ノードの状態を参照して各ノードの状態を更新する。これを、状態が収束するまで繰り返す。
• Wはユニット間の結合行列（固定）、Zはスカラー値、他は長さ s のベクトル（s はノード内のユニットの数）。
• 観測値を表す最下端ノードのλの値は固定。他のノードは適当な初期値から始める。

t +1= ζ Yt + WXY λYt
μ XY
⊗

t +1μ
∏ XYλtX+1 =UUWUXZ X , λX

XβX

WXY

Z Y , λYYY ∈children ( X )t +1T= WUXκUXβUtπ Xt +1 =t +1
κ∑ UX

U ∈ parents ( X )ρ Xt +1 = λtX+1 ⊗ π Xt +1Z Xt +1 = ∑ ( ρ Xt +1 ) i (= ρ Xt +1 = λtX+1 • π Xt +1 )i1

ζ Xt +1 = ( Z Xt +1 , Z Xt +1 , L, Z Xt +1 )T
β Xt +1 = (1 / Z Xt +1 ) ρ Xt +1
ただし、a ⊗ b = (a1b1 , a2b2 , L , anbn )TBESOMと解剖学的知見との一致

大脳皮質の６層構造

NEUROLOGICAL ANATOMY In Relation to Clinical
Medicine THIRD EDITION Alf Brodal, M.D. New York
Oxford OXFORD UNIVERSITY PRESS 1981
図は下記ページより
http://web.sc.itc.keio.ac.jp/anatomy/brodal/chapter12.html

領野間の結合[Pandya and Yeterian 1985]• ボトムアップの結合は主に３層から４層、トップダウンの結合は主に５・６層から１層へ。

III
III
IV
V
VI
上位領野

下位領野

皮質内の情報の流れ[Gilbert 1983]• 下位領野→４層→２・３層→５層→皮質下

I
IIIII
IV
V
VI
皮質下へ• 情報処理の途中結果の３層の情報が上位領野に送られ、最終結果の５層の情報は下位領野に戻されるという、とても不思議な構造をしている。
IIIIII
IVVVI
上位領野

下位領野

近似確率伝播アルゴリズムを実行する神経回路( βU1 )1

( βU 1 ) 2I( βU 1 ) 3( βU 2 )1( βU 2 ) 2+(κU1 X )1( βU 2 ) 3+(κU1 X ) 2+(κU 2 X )1+(π X )1( μ XY1 )1*( ρ X )1( μ XY1 ) 2*(ρ X )2( μ XY2 ) 2Z Y1+Z Y2+(λ X )1(β X )2IV

(λY2 ) 2/(λY2 ) 3( β X )1Y1(λY1 )3ZXZXXIII(λY1 ) 2(λY2 )1/U2(λY1 )1++U1*(λ X ) 2+( μ XY2 )1(κU 2 X ) 2+(π X ) 2*(λ X )1II+(λ X ) 2VVIY2

左図は、上記BESOMネットワークのノードXの計算を実行する神経回路

( βU1 )1BESOMモデルと６層構造の一致( βU 1 ) 2I( βU 1 ) 3( βU 2 )1++( βU 2 ) 2+

( βU 2 ) 3II+++***Z Y1*+III(λY1 )1+(λY1 ) 2(λY1 ) 3++Z Y2(λY2 )1/(λY2 ) 2/(λY2 )3+ZX( β X )1(λ X )1(β X )2IV(λ X ) 2VVI

解剖学的構造との一致点のまとめ• ボトムアップには主に３層から４層、トップダウンには主に５・６層から１層に結合。
• コラム内では垂直方向だけでほとんどの情報処理が行われる。主に入力→４層→２・３層→５層→出力。
• １層および４層の水平線維。
• ２層および４層の星状細胞。

BESOMとコラムの機能との一致• コラム＝SOMのユニット。
• V1の４層に多く存在する単純型細胞は、ＬＧＮからの入力の線形和。複雑性細胞は非線形。
• コラム内では深さによらず同じような情報が表現されている。
– 学習収束後は観測と予測が一致するので、どの層のニューロンも同じような応答をするはず。

BESOMモデルのまとめ• BESOM モデルは大脳皮質の主要な解剖学的特徴とよく一致している。
→ 大脳皮質の主要な機能を再現するモデルだと期待できる。
• 脳の機能の計算機上での再現に向けた大きな前進と言えるのではないだろうか？

BESOMモデルのこれまでの問題点• ネットワーク構造の獲得の機構について述べていない。
• 兄弟ノードどうしを独立にする機構が分からない。独立でないと正しいベイジアンネットではない。
→ 正しい計算機シミュレーションができない。
• BESOMにＩＣＡの機構を統合することでこれらの問題が解決できる見込みが出てきた。

独立成分分析(ICA)とは• 混合された入力信号xのみから、もとの信号sおよび混合方法Aを推定する一種の「教師なし学習」
x=Ass1x1s2x2

大脳皮質がＩＣＡを行っているら
しい証拠一次視覚野の単純型細胞の特性の再現[Olshausen and Field 1996]• 右図は自然画像に対してス
パース符号化によるＩＣＡを行って得られた基底。
• 自然画像を少ない基底関数の線形和で効率的に表現可能。

“Emergence of simple-cell receptive field properties
by learning a sparse code for natural images”.
Bruno A. Olshausen and David J. Field
Nature, 381:607-609 (1996)
図は下記ページより
http://watanabe-www.pi.titech.ac.jp/~shiga/ppt/ICA.ppt

一次運動野のニューロン•[Kakei et al. 1999]– 筋肉活動を表現するニューロンと、運動の方向を表現するニューロンが存在する。
Kakei S, Hoffman DS and Strick PL,
Muscle and movement representations in the primary motor cortex,
Science 285 (5436): 2136-2139, Sep 24 1999.

• なぜ同じ領野に異なる情報が表現されるのか？
• 「筋肉活動」と「運動の方向」という独立成分が自己組織化されたと考えれば、この現象は理解できる。

脳がＩＣＡする利点• 特徴抽出、データ圧縮、ノイズ除去• 生成モデルの獲得– 信号源から観測データを生成する過程を推定• 仮説：脳は、ベイジアンネットで表現された外界の生成モデルをICAで獲得しているのではないだろうか？

生成モデルとは？
• 信号源から観測データが生成される過程を表現するモデル。ベイジアンネットで表現可能。
• 生成モデルをパターン認識に用いることも可能。
例 スパムメール
SPAM?

認識
生成

単語１ 単語２ 単語３ 単語４

スパムメールは高い確率で単語１を含む。

...

単語１を含むメールは高い確率でスパムメールである。

視覚野にある生成モデル？
猛獣
認識
キバ

生成・予測

ツメ

キバの形

大きな体

...

キバの輪郭
目の前に猛獣がいれば高い確率でキバが見えている。

キバが見えていれば、高い確率で目の前に猛獣がいる。

ＩＣＡによる生成モデルの獲得• ＩＣＡは x=As における混合行列Aと信号源sを推定する。
→ すなわち２層の生成モデルを獲得する。

Y1

Y2

Y3

ＩＣＡで推定された信号源

X1

X2

X3

観測データ

階層的な生成モデルの獲得• 推定された信号源をさらにＩＣＡすることで、階層的な生成モデルが獲得できるのではないか？

Y1

Y2

Y3

X1

X2X3

BESOMへのICAの統合の問題• BESOM による生成モデルの獲得を実証したい。
• しかし、BESOMにICAの機構を統合する方法は自明ではない。
– x, y が値ではなく、値の確率分布で表現されている。
– 混合行列 A は、条件付確率表として表現されている。

• BESOMと統合可能なICAアルゴリズムを１つ提案する。

入出力を確率分布で表現• １つのＳＯＭが、１つの信号源の値の確率分布を表すものとする。
• 入力も同様に値の確率分布で表現。
発火率＝確率1-101

提案する手法：勝者修正法• SOMが表現する値が大きすぎる場合、競合学習の勝者を中心側にずらす。

-10y'i yi1

勝者修正なし• ２つのSOMが表現する軸がどちらも入力値に近づけられる。

入力値

勝者ユニット

勝者修正なし• ２つのSOMが表現する軸がどちらも入力値に近づけられる。
→ やがて２つのSOMは１つに重なってしまう。

入力値

勝者修正あり• ２つのSOMが無相関になるように、片方のSOMの勝者を中心側にずらす。

入力値

勝者修正あり• ２つのSOMが無相関になるように、片方のSOMの勝者を中心側にずらす。（軸を傾ける効果を弱める。）

入力値

具体的なアルゴリズム• 各軸の間の分散共分散行列の学習。
• SOMどうしを独立に。

Sij ← (1 − α ) Sij + α yi y j
yi′ = yi − β ∑j

Sij
Sii S jjy j − γ sign ( yi )SOMが表す値どうしを無相関にSOMが表す値をスパースに

実験• 20ユニットのSOM２つに２つの混合信号を入力

a.スパースな分布の信号２つを非線形に混合b.一様な分布の信号２つを線形に混合このＩＣＡの方法の特長• SOMの数nに対してO(n^2)の記憶量と計算量（１ステップあたり）が必要。
– 脳の場合はn=10000くらいか？

• 前処理（平均値０、白色化）の必要がない。
• 多少非線形な混合でもだいじょうぶ。

この方法の問題点• まだ動作が不安定。
• 学習結果が正確な条件付確率表にならない。
• 今後もアルゴリズムの改良を続ける。

議論

大脳皮質が獲得する生成モデルの模式図
基底B3-1

ノード...
B2-2

B2-1...
B1-1...
B1-2...

B1-3...

基底の階層は、領野の階層に対応する。ただし基底＝領野というわけではない。

大脳皮質上のＳＯＭの模式図• 一次視覚野のブロブは規則的に並ぶ２次元ＳＯＭの中心なのではないか？ ピンホイールの位置はブロブの位置は規則的ブロブと無相関

TE野の顔の向きに応答するコラ
ム[Wang et al. 1996]

Wang G, Tanaka K and Tanifuji M,
Optical imaging of functional organization in themonkey inferotemporal cortex
SCIENCE 272 (5268): 1665-1668 JUN 14 1996.

図は下記論文よりKeiji Tanaka
Columns for Complex Visual Object Features in the Inferotemporal Cortex:
Clustering of Cells with Similar but Slightly Different Stimulus Selectivities
Cerebral Cortex, Vol. 13, No. 1, 90-99, January 2003

事実上無限の階層の実現• 最上位の層をリカレントにすることで、階層の数の上限をなくせるのではないか？

抽象概念の獲得• 個々のSOMが抽象概念を表すのではないか？
– 例：動物の分類
肉食動物

けもの

鳥

草食動物

まとめと今後• ベイジアンネットと自己組織化マップと強化学習の機構を併せ持つ BESOM モデルに、さらにICAの機構を統合することにより、生成モデル獲得の問題の解決の目処がついた。
• BESOM の大規模計算機シミュレーションの目処がついた。今後もICAアルゴリズムの改良を続ける。

補足スライドSOMによるＩＣＡ(1/3)• 平行四辺形の形をした一様分布

SOMによるＩＣＡ(2/3)• ２次元ＳＯＭによる学習結果：２辺の方向が基底ベクトルの方向

SOMによるＩＣＡ(3/3)• 利点：– 多少非線形な混合に対しても信号源を分離可能• 欠点：– 信号源の数 n に対してユニットの数 O(2n)– 劣ガウスな分布に対してしか使えない。

• [Oshiro and Kurata 2005]の方法– n 個のSOMを使ったPCA/ICA– ユニット数 O(ns) 、 s は１つのSOMのユニット数– シナプス数（＝記憶量・計算量） O(n2s2)

領野とノードの関係(1/2)• 領野内のノードの状態の直積を状態として持つノードに置き換えたベイジアンネットを考えることができる。

領野とノードの関係(2/2)• 領野＝ノードと解釈することで領野の定性的な役割の理解が容易になる。
• 例：運動野周辺の領野のネットワーク
9/46

感覚入力に誘導された自動的な運動の状態行動対
視覚・聴覚PMSMA

体性感覚MI

感覚入力

逐次的に行われる運動の状態行動対

運動出力

条件付確率表の近似の妥当性• 近似確率伝播アルゴリズムの導出に、下記の仮定を置いた。
mP( X | U1 ,L,U m ) ≈ ∑ P( X | U i )i =1• 式を少し修正する予定。重要そうなポイント：– 親ノードのSOMの勝者は子ノードからの入力で決まるので P(U1,U2|X)=P(U1|X)P(U2|X)が成り立つ。
– ＩＣＡによりP(U1,U2)=P(U1)P(U2)が成り立つ。
– ＳＯＭの性質により P(X)≒1/s が成り立つ。ただし s はユニットの数。
– 条件付確率表のスムージングが行われる。