BESOM Ver.3.0 β版 のアルゴリズム
産業技術総合研究所 一杉裕志

2013 年 7 月 17 日

1すると、θ のもとで入力データの列 i(1), i(2), · · · , i(t)はじめにが生じる確率は以下のようになる。
本文書では、現在の BESOM の実装で用いているt∏

アルゴリズムについて述べる。（間違いの指摘やコメントを歓迎いたします。）
現在筆者は、 BESOM を機械学習アルゴリズムと=して高速に安定動作させることを最優先で設計・実装

P (i(i)|θ)

i=1
t ∑
∏

P (h, i(i)|θ)

(1)

i=1 h

を行っている。本文書ではアルゴリズムの生物学的妥

学習の目的は、以下のようにパラメタを MAP 推定

当性については触れない。しかし、神経回路で実行可

すること、すなわちパラメタ θ の事後確率を最大にす能なほど簡単かつ局所的な計算だけから構成されるアることである。

ルゴリズムになっていると考えている。
各章の最後に現在の動作確認状況を簡単に書いたが、θ

詳細な実験状況と結果については後日別途レポートす∗= argmaxθる予定である。

[ t∏∑]
P (h, i(i)|θ) P (θ)

(2)

i=1 h

本文書で述べる学習アルゴリズムは複雑だが、その以後の章では、筆者がこれまでに公開した文書を適

本質は以下に述べるように、認識ステップと学習ステッ宜参照する。その際には、以下の表記を用いる。

プの動作を表す２つの数式で書ける。
認識ステップでは、まず現在のパラメタ θ(t) に基づ• IJCNN2007[1]近似確率伝搬アルゴリズムと大脳皮質の解剖学的いて、与えられた入力 i(t) に対する隠れ変数の値の構造との対応を述べたもの。

組の最大事後確率推定値 ĥ(t) （すなわち MPE, mostprobable explanation）を次のように求める。

• IJCNN2011[5]近似 belief revision の提案と性能評価。

ĥ(t)

=

argmax P (h|i(t), θ(t))
h= argmax P (h, i(t)|θ(t))/P (i(t))• TR2011[6]hBESOM アルゴリズムの 2011 年時点での状況を報告するテクニカルレポート。

= argmax P (h, i(t)|θ(t))(3)

h

次に学習ステップでは、式 (2) における隠れ変数の周辺化を推定値 ĥ(i) を用いることで近似してパラメ

2

認識と学習の動作の定式化

タ推定し、結果を θ(t + 1) とする 1 。
[ t]∏
θ(t + 1) = argmax
P (ĥ(i), i(i)|θ) P (θ)

認識と学習の原理は TR2011[6] ２章で述べたものと変わっていない。以下に同じものを書く。

θ

パラメタ θ のもとでの隠れ変数の値の組 h と観測変

(4)

i=1

1 似た近似は Olshausen らの sparse-coding [8] でも行ってい数の値の組 i との間の同時確率のモデルを P (h, i|θ) とる（[9] の p.3315 参照）。また、隠れマルコフモデルにおけるビタ
ビ学習のオンライン版とも本質的に同じであると思われる。ビタビ
学習とはビタビアルゴリズムで求めた MPE を使う学習アルゴリズ
ムで、収束が証明されているらしい。

する。また、時刻 t における入力変数の値の組を i(t) とする。各時刻の入力は i.i.d. (独立同分布) に従うと仮定

1

パラメタ θ の事前分布

33. 子ノードの活性状態は、活性親ノードが決める値のＯＲで近似できる。不活性な親ノードは、子ノーパラメタ θ の事前分布は、 TR2011[6] では、近傍ドの確率分布に大きな影響を与えない。
（noisy-OR

学習などにによって近似的に表現されていると解釈しmodel [7] と同様に、外界を比較的自然に表現でた。現バージョンのアルゴリズムも近傍学習は行ってきる。）

いるが、それに加えて、勝率ペナルティと側抑制ペナ

4. ０に近い値の重みの学習を必要としない。（０に近い重みは高い精度で学習するのが難しいため。）

ルティという２つの事前分布の因子を導入している。

P (θ) = P W inRate (θ)P Lateral (θ)P N eighbor (θ) (5)以上の要求仕様をほぼ満たすＣＰＴモデルとして、
勝率ペナルティ P W inRate (θ) と側抑制ペナルティ

下記の新 meanOR モデルを、現在の実装では用いて

P Lateral (θ) については、8 章と 9 章で述べる。

4

条件付確率表 (CPT) のモデル

4.1

旧バージョンの問題点いる。

P (x|u1 , · · · , um )=w(x, u)=1 ∑w(x, uk )mk{
1/(s + 1) (u = uϕ )TR2011[6] ５章で定義した旧 meanOR モデルは、正規化係数 Z が定数にならないという致命的欠陥があ(u ̸= uϕ )(8)

ることが分かった。これは認識の精度を著しく落とす

ただし s はノード X の非φ値ユニットの数であり、原因になる。そこで、この問題を解決した新 meanOR

比較的大きな値 (10〜100) を想定している。

モデルを以下の節で説明する。

4.2

P (x|u)4.3

新 meanOR モデル

meanOR の精度

meanOR モデルは次のような状況では「信号源のＯ

あらためて、ＣＰＴモデルに対する要求仕様を整理

Ｒ」のモデルとしては近似精度が落ちるので注意を要すると以下のようになる。

する。

1. 認識・学習が高速に実行可能でなければならない。

「子ノード側のユニット数が少なく、認識を高速に行えるようにするための近似確率伝

かつ搬アルゴリズム（IJCNN2007[1]）や後述の OOBP

親ノード側に不活性ノードが多いとき。」

アルゴリズム（6.2 節）は、導出においてＣＰＴモ
実際の脳ではユニット数が 100 程度あるので１つ目のデルが下記の形をしていることを仮定している。

1 ∑
P (x|u1 , · · · , um ) =w(x, uk )m

条件は満たしていない。上の層ほどスパース性が増しm

不活性ノードの数は多くなるが、エッジ選択をすること(6)

で２番目の条件も満たさないようにすることができる。

k=1

現在の実験状況では、実は 5 章で述べるように入力
また、 BESOM の学習則は、ＣＰＴモデルが下に２値ノードを用いているので、少し問題である。
（脳記の形をしていることを仮定している。

の一次感覚野の子ノードも２値ノードと解釈すべきかもしれない。）入力ノードの親ノードのスパース性をP (x|u1 , · · · , um ) = f (w1 , · · · , wm )ただし wk = P (x|uk )上げすぎないようにすれば問題ないかもしれない。

(7)

2. スパース符号化モデル [8] で使われている線形和モデルと近く、一次視覚野の特性が再現できる。

2

入力の与え方と学習結果の可視化

5

OOBP アルゴリズムの導出

6.2

まず、下記はオリジナルの Pearl の確率伝搬アルゴ

TR2011[6] 同様、グレイスケールの画像の１ピクセ

リズムである。

ルを２値ノードで表現する。現在は、ピクセルの色の黒さに比例する確率で値１を入力している。

BEL(x) =λメッセージを受け取れる認識アルゴリズムの場合

π(x) =

は、ピクセル値をそのままλメッセージとして入力す

αλ(x)π(x)∑∏P (x|u1 , · · · , um )πX (uk )u1 ,···,um

る入力方法も選択できる。（この方がＣＰＴが滑らか

λ(x) =になりやすい。実際の脳のＶ１への入力にも近いと思∏

λYl (x)l

われる。）

πYl (x) =ユニットの可視化には、そのユニットが勝者になった時の入力画像の平均画像を用いている。

λX (uk ) =β1 π(x)
β2

k

∑

∏

λYj (x)

j̸=l

λ(x)

x

∑

6

認識アルゴリズム

6.1

旧バージョンの問題点

P (x|u1 , · · · , um )∏πX (ui )i̸=ku1 ,···,um /uk

ただし α, β1 , β2 は正規化定数である。
このアルゴリズムを、式 (6) の形のＣＰＴモデルを

IJCNN2011[5] では、大脳皮質のコラム構造・６層仮定したうえで変形する。
（近似は一切行わない。）な構造と類似した構造を持つ ABR （近似 belief revision

お、 IJCNN2007[1] と同様に、親ノードからのメッセー）アルゴリズムを提案し、層構造をしたネットワーク

ジは下記のように正規化されることを前提とする。
∑
πX (uk ) = 1(9)で性能評価を行った。結果はそれほど悪くない近似精度であった。

uk

しかし、実際に４層程度の BESOM ネットワークでなおこのとき、

MNIST 手書き数字認識に適用してみたところ、 ABR
では認識精度が５０％程度しか出なかった。考えられる１つの原因として、 ABR では近似する際に「十分∑m∏πX (ui ) = 1(10)

u1 ,···,um i=1に多くの数の親ノードがある」という仮定を置いていが成り立つ。

るが、現段階でシミュレーションに用いるネットワー

例：

クはあまり規模が大きくなく、その仮定が成り立って∑∑いないということが考えられる。
その後、実はＣＰＴが式 (6) の形の時、belief prop-

u1

agation アルゴリズムは近似しなくても高速化できる
ことを見い出した。また、性能評価を行ったところ、=

belief propagation で計算される MPM 2 は、MPE の
悪くない近似であることを確認した。
次の節ではそのアルゴリズム（ OOBP, optimized=∑

πX (u1 )πX (u2 )u2πX (u1 )(

u1

(∑

∑

πX (u2 ))u2πX (u1 )

u1

)(∑

)
πX (u2 )u2= 1

original belief propagation と名付けた）の導出を説明
する。

(11)

以上の前提のもとに、 OOBP アルゴリズムを導出する。
まず、ノード Uk から X へのメッセージ κUk (x) を下記のように定義する。
∑
w(x, uk )πX (uk )κUk (x) =2 MPM (maiximum posterior marginal, 最大事後周辺確率) とは、確率変数ごとの周辺事後確率の最大値の組のこと。周辺事後確率が BEL(x) のときその最大値 argmaxx BEL(x) が MPM における変数 X の値となる。マルコフ確率場を用いた画像修復や、
ターボ符号の復号などで MPM が使われるようである。

uk3

π(x) の計算式は下記のように変形できる。（途中から定数 1/m を省略している。）∑∏
π(x) =πX (ui )P (x|u1 , · · · , um )
u1 ,···,um

=

∑

(

u1 ,···,um∝==

u1 ,···,um

k

∑

∑

u1 ,···,umkiw(x, uk )

∏

∏

∏

=

∑

∑

k

=

k

=

πX (ui )u1 ,···,um /uk j̸=k∑∏πX (ui )

i̸=k

∏

]
πX (ui )∑∑w(x, uk )πX (uk )∑1(π(x) −
w(x, uk )πX (uk ) + w(x, uk ))mu1(π(x) − κUk (x) + w(x, uk ))mλX (uk )
∑
= β2
λ(x)

∑

x

u1 ,···,um /uk

πX (ui )∏=πX (ui )u1 ,···,um /um i̸=m

uk

∑∑
∑

∏
∏

w(x, um )πX (um )um∑∑w(x, uj )これを使うと λX (uk ) の計算式は下記のようになる。

u1 ,···,um /u1 i̸=1+··· +==i̸=mw(x, u1 )πX (u1 )

∑

i̸=k

k

πX (ui )w(x, um )πX (um )u1∑πX (ui )i̸=1u1 ,···,um

∑

=

i̸=k

∑

[

j̸=k

u1 ,···,um /uk i̸=kπX (ui )w(x, uk )πX (uk )u1 ,···,um

1
m

∏
1 ∑
(
w(x, uj ) + w(x, uk ))πX (ui )m+w(x, uk )iw(x, u1 )πX (u1 )+··· +=k∑∑u1 ,···,um /uk∏
1 ∑w(x, uk ))πX (ui )
m
i

∑

∑

=

∏

P (x|u1 , · · · , um )∏πX (ui )

i̸=k

β2 ∑
λ(x)(π(x) − κUk (x) + w(x, uk ))m x

以上の結果を整理し、正規化定数を付け直し、さらに loop のあるネットワークに適用可能なように適宜

πX (ui )添え字 t, t + 1 を付けた結果の OOBP アルゴリズム

u1 ,···,um /uk i̸=kは以下のようになる。

w(x, uk )πX (uk )

uk

λt+1
Yl (x) = β2

κUk (x)λt+1 (x) =πYl (x) の計算式は下記のように変形できる。（ただ

n
∏

λt+1
Yl (x)l=1

し ρ(x) = π(x)λ(x) と定義する。）∏
λYj (x)πYl (x) = β1 π(x)πYt+1(x) = β1 ρt+1 (x)/λt+1
Yl (x)l∑t+1
tw(x, uk )πX(uk )κUk (x) =j̸=l= β1 (π(x)λt (yl )(π t (yl ) − κtX (yl ) + w(yl , x))

yl

k

∏

∑

π t+1 (x) =λYj (x))/λYl (x)

j

uk
m
∑

κt+1
Uk (x)

k=1

ρt+1 (x) = λt+1 (x)π t+1 (x)= β1 ρ(x)/λYl (x)BELt+1 (x) = αρt+1 (x)の 計 算 式 の 中 に 現 れ る 式
∏
P
(x|u
は 下
1 , · · · , um )
u1 ,···,um /uki̸=k πX (ui )λX (uk )∑6.3

記のように変形できる。（途中、π(x) の計算式の変形と同じ考え方を使う。）∑
u1 ,···,um /uk

P (x|u1 , · · · , um )∏動作確認状況

このアルゴリズムの精度を IJCNN2011[5] で書いた方法で評価したところ、実際に loopy belief propaga-

πX (ui )tion の素朴な実装と同じ精度で MPM （各ノードの周

i̸=k

4

(12)

辺事後確率の最大値の組）を計算でき、計算速度は素朴な実装よりはるかに速いことを確認した。（各ノーTR2011[6]4.2 節で述べた方法では、ノード数、ユニット数などの状況によっては効果が出ない場合があるとドのメッセージの計算に必要な計算量は親ノード・子いう問題があった。

ノードの数に対して線形時間ですむ。）
また、 MPM は MPE をそこそこ近似することも確

方針

8.2

認している。
４層 BESOM （入力層＋中間層２層＋教師信号を勝率ペナルティを用いた学習則を、自然な原理から与える最上位層）で MNIST 手書き数字認識を試して演繹的に導く。各ノードが目標とする勝率の分布と、みたところ、（現在のところ pre-training などの工夫

実際の分布とのＫＬ情報量に基づいて、差が大きいとなしで）９０％前後の認識精度を達成している。

きにペナルティを与えるものとする。こうすることで、学習が進むにつれ各ユニットの勝率が目標とする値に6.4

近づくと期待できる。

その他の認識アルゴリズム

現 在 の と こ ろ 、 OOBP の 他 に 厳 密 MPE 計

現バージョンのアルゴリズム

8.3

算、厳密 MPM 計算、山登り法（TR2011[6]3.2 節参照）、ABP（近似 belief propagation アルゴリズム、

勝率ペナルティ P W inRate (θ) を以下のように定義

IJCNN2007[1] 参照）、ABR（近似 belief revision ア
ルゴリズム、IJCNN2011[5] 参照）、loopy belief propagation アルゴリズム [7]、loopy belief revision アルする。

P W inRate (θ) =∏e−C

W inRate

DKL (Q(X)||P (X;θ))

(13)

X∈X

ゴリズム [7] が実装済みである。

ただし X はすべてのノードの集合、C W inRate は勝率
ペナルティの強さを決める定数である。

学習アルゴリズム

7

Q(X) は、ノード X の勝率の目標となる分布であり、ネットワーク設計者が分布の形を決める。例えば、

TR2011[6] ４章に書いたものとほぼ同じであるが、ある層内のノード数を n 、各ノードのユニット数を「ぼかし関数」は今のところ実装していない。

s + 1 、目標とする活性ノード数を a とすると、{(n − a)/n (i = ϕ)Q(X = xi ) =a/ns(i ̸= ϕ)

また、TR2011[6]4.3 節で述べた、局所解を避けるための勝者ノイズの機構は、現在は採用していない。勝率ペナルティ、側抑制ペナルティによる正則化がその(14)

代わりになっている。
となる。

8

勝率ペナルティ

8.1

旧バージョンの問題点

DKL (Q(X)||P (X; θ)) は分布 P と Q の間のＫＬ情報量で、以下の式で定義される。

∑

Q(x) log

Q(x)(15)
P (x; θ)

Q(x)
Q(x)
log
P (x; θ)P (x; θ)(16)

DKL (Q(X)||P (X; θ)) =x

TR2011[6] ７章に書いたスパース符号化の方法では、
ここで２層 BESOM では定性的には動いていたが、学習が進むにつれて活性ノード数が変化し、最適なスパース

R(x; θ) = (s + 1)

性パラメタの調整が難しいという問題があった。また、３層以上の BESOM ではうまく動かないという問題と定義する。ただし s + 1 はノード X のユニット数が明らかになった。

である。x(i) を θ のもとでの時刻 i における変数 X

各ユニットの勝率（ MPE の値として選ばれる
頻 度 ）を 一 様 に す る 勝 率 ペ ナ ル ティに つ い て は 、

5

で定義されているようなベイジアンネットワークにおの MPE の値の十分によい近似値とすれば 3 、DKL (Q(X)||P (X; θ)) ≈

t
∑
1

t

i=1

けるパラメタの最尤推定と同じ形をしている。（ノーR(x(i); θ)(17)ド RX には常に観測値 1 が与えられるものとする。）
したがって、MPE 計算とカウンティングを用いたである。

BESOM の学習則が使えることになる。認識時にはTR2011[6]10.3.1 節で書いた方法で、belief propagation や belief revision を用いることができる。

すると P W inRate (θ) は次のように書き直せる。

P W inRate (θ)∏
W inRate
DKL (Q(X)||P (X;θ))
=
e−C
X∈X

≈

∏

e−C

∑t
W inRate
i=1

正則化パラメタ C W inRate に 1/t がかかっている
ので、時刻とともにペナルティの影響は小さくなっていく。実装上は 1/t の代わりにユニット xi の局所学

(1/t)R(x(i);θ)習率 αi を用いるのがよいだろう。（ただし現在の実

X∈X

=

t
∏ ∏

装では 1/t での減衰は用いておらず、正則化パラメタ

e−(1/t)C W inRate R(x(i);θ)C W inRate をスライダで調整して実験している。後述の側抑制ペナルティについても同様である。）

X∈X i=1=t ∏∏e−(1/t)C

W inRate

R(x(i);θ)R(x; θ) を計算する際に必要となる勝率 P (x; θ) は学習によって推定したものを使う。

(18)

i=1 X∈X

このとき、学習ステップにおけるパラメタ θ を MAP推定する式 (4) は次のように書き直せる。
（ここでは説8.4

明を簡単にするために P (θ) = P W inRate (θ) とする。）

f (x) = x log(x) のとき f ′ (x) = log(x) + 1, f (1) =0, f ′ (1) = 1 、また、P と Q がほぼ一致するならば

θ(t + 1)[∏]t
= argmax
P (ĥ(i), i(i)|θ) P W inRate (θ)θ=

argmax

i=1

[∏
t ∏

θ

[∏
t ∏

e

Q(x)/P (x; θ) ≈ 1 なので、下記の近似式が成り立つ。

]
P (x(i)|parents(x(i)); θ)

i=1 X∈X−(1/t)C W inRate R(x(i);θ)R(x; θ)argmaxθe−(1/t)Ct ∏ [∏W inRate(s + 1)(Q(x)/P (x; θ)) log Q(x)/P (x; θ)
(21)

]

8.5

動作確認状況

すでに実装し、動作を確認している。ただし、 OOBP

P (x(i)|parents(x(i)); θ)

i=1 X∈X=≈ (s + 1)(Q(x)/P (x; θ) − 1)

i=1 X∈X=

勝率ペナルティの強さの近似式

はスパース性が高いときに振動しやすく、うまく学習]が進まないことがある。認識に山登り法を使う場合は

R(x(i);θ)安定して動作している。

(19)
ただし、 parents(x(i)) は時刻 i におけるノード X の親ノードの値の組である。
上記の式は、すべてのノード X の下に制約ノード

RX があり、条件付き確率がP (RX = 1|X = x; θ) =9

側抑制ペナルティ

9.1

旧バージョンの問題点

TR2011[6] では、側抑制ＩＣＡとスパース符号化を
e−(1/t)C W inRate R(x;θ)

用いたクラスタリングとを両立させるために、あえてノードどうしが完全に独立にならない学習則を採用し(20)ていた。しかし、φ値の扱いがアドホックで妥当性に疑問があった。

3 学習がある程度収束に近づいた時にはじめてこの仮定が成り立つ点には要注意。9 章の側抑制ペナルティについても同様である。

6

9.2

方針

で あ る と み な す こ と が で き る 。認 識 時 に はTR2011[6]10.4.2 節 で 述 べ た メッセ ー ジ 計 算 式 を側抑制を用いた学習則を、自然な原理から演繹的に使うことで、 belief propagation や belief revision を導く。側抑制を行う変数のペアの相互情報量が大きく用いることができるようになる。（belief propagation

なるようなパラメタに対してはペナルティを与える。

を使う場合はメッセージ計算式の max の代わりにΣ

こうすることで、変数のペアの相互情報量が０、すなを用いる。）

わち独立に近づくと期待できる。

9.3

なお、 R(u, v; θ) の値の計算に必要なる P (u|v; θ) 、P (u; θ) の値は、8 章と同様、学習により推定したものを使う。

現バージョンのアルゴリズム

側抑制に相当するペナルティ P Lateral (θ) を以下の9.4ように定義する。

∏

P Lateral (θ) =e−C

LateralI(U,V ;θ)側抑制の強さの近似式

U と V がほぼ独立ならば P (u|v)/P (u) ≈ 1 なので、下記の近似式が成り立つ。

(22)(U,V )∈L

ただし C Lateral は側抑制ペナルティの強さを決める

R(u, v) =定数、L は側抑制を行うノードのペアの集合とする。

≈

通常、同じ層に属し、同じ子ノードを共有するノード(s + 1)2 (P (u|v)/P (u)) log P (u|v)/P (u)(s + 1)2 (P (u|v)/P (u) − 1)(27)

どうしがお互いに側抑制するように、側抑制のネット
ワークを構築しておく。

9.5

I(U, V ; θ) はノード U と V の間の相互情報量で、すでに実装し、多くの場合、学習が進むと速やかに以下の式で定義される。（θ は省略した。）

I(U, V ) =∑∑x

P (u, v) logyP (u, v)
P (u)P (v)

動作確認状況

ノード同士が独立になることを確認している。

(23)

10

ここで

エッジ選択アルゴリズム=(s + 1)2

P (u, v)
P (u, v)log
P (u)P (v)P (u)P (v)TR2011[6] ９章に書いたノード単位のエッジ選択のアルゴリズムを、層間の結合と、側抑制結合に対して実装して、動作を確認ずみである。

=(s + 1)2 (P (u|v)/P (u)) log P (u|v)/P (u)エッジ選択は単に認識に必要な計算量を減らすだけ

R(u, v)

でなく、OOBP アルゴリズムが振動しにくくなる効果(24)もあるようである。また、一種の正則化の機構としてと定義する。u(i), v(i) を θ のもとでの時刻 i における働き、汎化能力を向上させる効果も期待できる。

変数 U, V の MPE の値の十分によい近似値とすれば、I(U, V ; θ) ≈（なお、側抑制結合に関しては、エッジ選択に用いるスコアの計算の実装がまだ不完全であり、修正するt∑1
R(u(i), v(i); θ)
t
i=1

(25)

予定である。）

である。
あとは 8 章と同様の議論により、側抑制するノード

11のペア (U, V ) ∈ L ごとに共通子ノード RU V があっ

おわりに

現在の実装は、 OOBP とエッジ選択の機構により、てその条件付き確率が１入力の認識・学習にかかる時間がノード数に対してP (RU V = 1|u, v; θ)=e−(1/t)C

LateralR(u,v;θ)ほぼ線形時間で抑えられている。すなわち、計算量の

(26)

7

観点からはスケーラブル（大規模化可能）なオンライ[3] 一 杉 裕 志 、「 大 脳 皮 質 の ア ル ゴ リ ズ ム BESOM
Ver.1.0」, 産業技術総合研究所テクニカルレポート
AIST09-J00006, Sep 2009.
http://staff.aist.go.jp/y-ichisugi/besom/
AIST09-J00006.pdf

ン機械学習アルゴリズムになっている。
認識精度に関しては、次の２点が問題である。

1. OOBP アルゴリズムの振動の問題。認識精度が悪くなる時には、メッセージの振動が頻繁に起き[4] Yuuji Ichisugi, Haruo Hosoya: Computational
Model of the Cerebral Cortex that Performs
Sparse Coding Using a Bayesian Network andSelf-Organizing Maps, In Proc. of 17th International Conference on Neural Information Processing(ICONIP 2010), Part I, LNCS 6443, pp.33–40, Nov2010.
http://staff.aist.go.jp/y-ichisugi/besom/
2010iconip.pdfていることが多い。この問題に対して何らかの工夫をすることが精度向上に向けた大きな課題である。これまでの実験では、エッジ数を減らすと振動が起きにくくなるようである。また、後述の短期記憶の機構も振動を減らす効果があるのではな
いかと期待している。

[5] Yuuji Ichisugi: ”Recognition Model of Cerebral
Cortex based on Approximate Belief Revision
Algorithm”, To appear in Proc. of IJCNN 2011.
http://staff.aist.go.jp/y-ichisugi/besom/
2011ijcnn.pdf

2. OOBP を認識アルゴリズムとして使う場合、
MPM を MPE の近似として用いていることになるが、その妥当性が不明である。実際の脳は MPMと MPE のどちらを計算しているかについては、[6] 一杉裕志、「大脳皮質のアルゴリズム BESOM Ver.2.0」
産業技術総合研究所テクニカルレポート AIST11J00009, Sep 2011.
http://staff.aist.go.jp/y-ichisugi/besom/
AIST11-J00009.pdf

それぞれの証拠と思われる知見があるため、よくわからない。より詳細な神経科学的知見の文献調査が必要である。
現在、 BESOM は機械学習アルゴリズムとしてな[7] J. Pearl , Probabilistic Reasoning in Intelligent
Systems: Networks of Plausible Inference, Morgan
Kaufmann, 1988.

んとか動作するようになったが、まだ大脳皮質の基本機能を完全に模倣するには至っていない。未実装として残っている重要機能に、短期記憶がある。これは視[8] Olshausen BA, Field DJ, Emergence of simple-cell
receptive field properties by learning a sparse codefor natural images, NATURE 381 (6583): 607-609
JUN 13 1996.

覚野において「目の前の物体は急には変化しない」という事前知識を作り込むことで自然に発生する現象だと筆者は考えており、ベイジアンネットの基本的枠組[9] Olshausen BA, Field DJ, Sparse Coding with an
Overcomplete Basis Set: A Strategy Employed by
V1 ?, Vision Res., Vol. 37, No. 23, pp. 3311-3325,
1997.

みの範囲内で実現可能である。短期記憶の機構を作り込めば、 slow feature analysis と同じ効果が出て、視覚刺激の様々な変化に対する不変性が特別な作り込みなしで獲得できるのではないかと期待している。

参考文献[1] Yuuji ICHISUGI, The cerebral cortex model that
self-organizes conditional probability tables and executes belief propagation, In Proc. of International
Joint Conference on Neural Networks (IJCNN2007), pp.1065–1070, Aug 2007.
http://staff.aist.go.jp/y-ichisugi/besom/
20070509ijcnn-paper.pdf[2] 一杉裕志、「脳の情報処理原理の解明状況」産業技術総合研究所テクニカルレポート AIST07-J00012, Mar2008.
http://staff.aist.go.jp/y-ichisugi/besom/
AIST07-J00012.pdf

8