大脳皮質のアルゴリズム BESOM Ver.2.0
産業技術総合研究所テクニカルレポート

AIST11-J00009
一杉裕志
産業技術総合研究所 ヒューマンライフテクノロジー研究部門

y-ichisugi@aist.go.jp
http://staff.aist.go.jp/y-ichisugi/j-index.html
2011 年 9 月 30 日

概要
脳の中で知能にもっとも深く関与する組織は大脳皮質である。筆者は、近年の計算論的神経科学の進展を踏まえて、大脳皮質の主要な機能を再現させる機械学習アルゴリズム BESOM を開発中である。

BESOM は、ベイジアンネットと自己組織化マップと独立成分分析という３つの情報処理技術を組み合わせて、大脳皮質の実行効率と汎化性能を再現させることを目指している。現在のところアルゴリズムは未完成だが、前回のバージョンにおける主要な問題がかなり解決したので、本文書で詳しく説明する。

間違いの指摘、質問、コメントなどを歓迎いたします。

目次
第 1 章 はじめに

3

第 2 章 ＢＥＳＯＭの動作の定式化

4

2.1
2.2

学習の目的、認識ステップ、学習ステップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
カウンティングによる条件付確率表の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4
5

2.3

定式化の意義と今後

7. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 3 章 認識アルゴリズム

8

3.1
3.2
3.3

ＭＰＥ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
値の組に対する制約条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8
8
8

3.4

将来のバージョンにおける認識ステップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

山登り法によるＭＰＥ計算アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 4 章 学習アルゴリズム

10

学習則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4.1
4.2

ユニット活性度一律化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10
11

4.3

勝者ノイズ

11

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 5 章 条件付確率表のモデル

5.1
5.2

12

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

meanOR model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 6 章 入力の与え方と条件付確率表の可視化

6.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2
6.3
6.4

入力の方法

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
可視化の方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
入力の与え方の今後 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 7 章 スパース符号化

7.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.2
7.3

活性ノードに対するペナルティ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
実験：自然画像の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.3.1
7.3.2

実験条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
学習結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 8 章 側抑制を用いた非線形ＩＣＡ

8.1
8.2

12
12
13
13
13
13
13
14
14
14
14
14
16

18
18
アイデア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

8.3
8.4

アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8.4.1
8.4.2
8.5
8.6

信号源の推定に失敗する例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ヒントとなる情報を使った信号源の推定 . . . . . . . . . . . . . . . . . . . . . . . . . . .

20
20

8.4.3 混合分布の要素のＩＣＡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
生物学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
計算量について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21
21
23

第 9 章 特徴選択に基づく構造学習

9.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.2
9.3

アイデア . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.4

20
20

24
24

アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24
25

9.3.1 ノード単位の特徴選択 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.3.2 ユニット単位の特徴選択 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25
25
25

違う場所に独立に発生する３つの点の学習 . . . . . . . . . . . . . . . . . . . . . . . . . .

25
26

9.4.1
9.4.2

独立でない２つの部品の学習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.5
9.6
9.7

１ステップあたり計算量 O(n) のオンライン特徴選択アルゴリズムの実現に向けて . . . . . . . .
メモリ量のオーダーの問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27
29
30

9.8

今後の課題

30

スコアの生物学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 10 章 belief revision アルゴリズムを用いた認識ステップの実現に向けて

31

10.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2 meanOR モデルでの近似 belief revision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31
31

10.2.1 meanOR モデルでの近似確率伝播アルゴリズム . . . . . . . . . . . . . . . . . . . . . . .
10.2.2 meanOR モデルでの近似 belief revision アルゴリズム . . . . . . . . . . . . . . . . . . .
10.2.3 性能評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31
32
32

10.2.4 和演算を用いた BEL の正規化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2.5 生物学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33
33

10.3 belief revision とスパース符号化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3.1 ペナルティ付きの belief revision . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.3.2 性能評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33
33
34

10.3.3 生物学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.4 belief revision と側抑制ＩＣＡの統合に向けて . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35
35

10.4.1 共通子ノードＲを使う方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.4.2 ２つのノードごとに共通子ノードを持たせる方法 . . . . . . . . . . . . . . . . . . . . . .
10.4.3 計算量と近似精度に関する考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35
35
36

10.5 入力の与え方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.6 今後 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36
36

第 11 章 まとめと今後

37

2

4. 特徴選択に基づくベイジアンネットの構造学習ア
ルゴリズム（9 章）。
5. Belief revision アルゴリズムの採用に向けたいく
つかの問題の解決（10 章）。

第 1 章 はじめにこれらの進展をすべて組み合わせた次期バージョン
では、BESOM の認識・学習アルゴリズムは O(n) で動作し、実データに対する汎化能力の高い機械学習ア

筆者は、近年における計算論的神経科学と機械学習

ルゴリズムになると期待している。

技術の知見を踏まえて、大脳皮質の主要な機能と性能を計算機上で再現させることを目指している [2][3]。

また、本文書では述べないが、 BESOM と強化学

本文書は、現状において解決された問題と未解決の習との統合のアイデア、オンラインモデル選択のアイ

問題を整理し、次期バージョンの BESOM の実装のデア、より生産性の高い開発支援ツールのアイデアに足がかりにすることを目的としている。

ついてもかなり検討が進んでいる。
本文書を読んで、ベイジアンネットに基づく大脳皮現在筆者は次の３つを最優先に達成すべき目標とし質のモデルの有望さを理解し、同じ目的の研究に取りて取り組んでいる。

組み始める研究者が増えることを、引き続き期待する。

1. ベイジアンネット [6] を核として複数の大脳皮質モデルを統合し、必要な機能を一通り持った機械
学習アルゴリズムの形にする。具体的には、自己以後の章では、筆者がこれまでに公開した文章を適組織化マップ [7]、コラム構造・６層構造との対宜参照する。その際には、以下の表記を用いる。

応がつく認識アルゴリズム [1] [5]、スパース符号• TR2008[2]

化 [11]、独立成分分析（ＩＣＡ）[9]、部品別学習

大脳皮質のモデルを作ることにより、高い知能を[12]、注意の正規化モデル [14]、強化学習、時系

持ったロボットを実現可能にする、全体構想を述列学習などを１つのアルゴリズムに統合する。

べたテクニカルレポート。

2. 大規模なネットワークを用いた実験に向けて、１
ステップあたり平均 O(n) 程度で動作するスケー• TR2009[3]BESOM アルゴリズムの 2009 年時点での状況をラブル（大規模化可能）な認識・学習アルゴリズ

報告するテクニカルレポート。

ムを設計・実装する。

• IJCNN2007[1]3. アルゴリズム「開発支援ツール」を開発する。様々な部分アルゴリズムと評価プログラムを、組み合
わせやパラメタを変えて実験・評価する作業を、

近似確率伝播アルゴリズムと大脳皮質の解剖学的構造との対応を述べたもの。

• ICONIP2010[4]ベイジアンネットを用いたスパース符号化につい大幅に効率化・高信頼化する。
現時点でこれらの目標はいずれも完全には達成されて述べたもの。

ていないが、前回のテクニカルレポート [3] から大き

• IJCNN2011[5]

く進展し、主要な問題はほぼ解決したと考えている。

近似 belief revision の提案と性能評価。

重要な進展には以下のものがある。

1. 認識・学習アルゴリズムの理論的意味付け（2 章）。
2. より妥当と思われる条件付確率表のモデル（5 章）。
謝辞： 科学技術振興機構／理化学研究所の 細谷晴

3. 他のアルゴリズムとの干渉の問題が解消された側抑制ＩＣＡアルゴリズム（8 章）。

夫氏には議論を通じ多くのアイデアをいただいております。感謝いたします。

3

= argmax P (h, i(t)|θ(t))/P (i(t))
h= argmax P (h, i(t)|θ(t))

(2.3)

h

第 2 章 ＢＥＳＯＭの動作の定式化

次に学習ステップでは、式 (2.2) における隠れ変数の周辺化を推定値 ĥ(i) を用いることで近似してパラメタ推定し、結果を θ(t + 1) とする。

θ(t + 1) = argmax
θ

この章ではＢＥＳＯＭの動作の定式化について説明t∏P (ĥ(i), i(i)|θ)P (θ)

(2.4)

i=1

学習ステップでは、確率的勾配法とは違って、過去する。
（内容は ICONIP2010[4] で書いたものと同じだの経験をすべて踏まえてパラメタを推定しなおしていがより詳しく説明する。）

ることに注目されたい。もし式 (2.4) が高い近似精度で実行できるならば、勾配法よりも高いオンライン性

2.1

能が実現できる可能性がある。もしそれが可能ならば、学習の目的、認識ステップ、学

生まれてからあらゆる瞬間に最適な行動をしなければ習ステップ

ならない生物に適したアルゴリズムであると言える。
式 (2.3) と式 (2.4) を厳密に実行するには多くの計パラメタ θ によって決まる、隠れ変数の値の組 h

算量を必要とする。しかし実際の脳は認識と学習を少と観測変数の値の組 i との間の同時確率のモデルをない計算量で近似的に実現しているはずである。また、P (h, i|θ) とする。また、時刻 t における入力変数の値の組を i(t) とする。各時刻の入力は i.i.d. (独立同分

妥当な脳のモデルであるためには、オンラインで実行可能でなければならない。すなわち、i(t), ĥ(t), θ(t) の布) に従うと仮定すると、θ のもとで入力データの列みを使って θ(t + 1) が計算できなければならない。実i(1), i(2), · · · , i(t) が生じる確率は以下のようになる。
t∏

は、同時確率のモデル P (h, i|θ) がベイジアンネットのとき、認識も学習も極めて効率的に近似実行できる。

P (i(i)|θ)

i=1
t ∑
∏

そこが、本定式化に基づく BESOM アルゴリズムが有望だと筆者が考えるもっとも大きな理由である。認識(2.1)

ステップは belief revision アルゴリズム（10 章参照）、

学習の目的は、以下のようにパラメタをＭＡＰ推定れば）カウンティング（2.2 節参照）と呼ばれる方法=

P (h, i(i)|θ)

i=1 h

学習ステップは（パラメタの事前分布 P (θ) を無視すすること、すなわちパラメタ θ の事後確率を最大にすで非常に簡単に実現できる。

ることである。

θ∗=式 (2.4) で、隠れ変数の周辺化を推定値 ĥ(i) を用い

argmaxθt ∑∏ることで近似しているが、この近似の妥当性は自明でP (h, i(i)|θ)P (θ) (2.2)

はなく、実データに学習アルゴリズムを適用して妥当

i=1 h性を検証する必要があるだろう。なお、近傍学習（4 章）

本文書で述べる学習アルゴリズムは複雑だが、そのには、おそらくこの近似を「補正」する効果がある。

本質は以下に述べるように、認識ステップと学習ステッ

P (θ) はパラメタの事前分布だが、これは生物が進化によって獲得した、外界に関する生得的知識を意味し

プの動作を表す２つの数式で書ける。
認識ステップでは、まず現在のパラメタ θ(t) に基づている。本稿で述べるアルゴリズムには明示的に P (θ)

いて、与えられた入力 i(t) に対する隠れ変数の値のは出てこないが、近傍関数（4 章）や特徴選択アルゴ

組の最大事後確率推定値 ĥ(t) （すなわち MPE, most

リズム（9 章）の形で学習アルゴリズムに作り込まれprobable explanation）を次のように求める。

ている。
なお、定式化の各構成要素と、大脳皮質の構成要素

ĥ(t) =

argmax P (h|i(t), θ(t))との対応をまとめると図 2.1 のようになる。

h

4

¶
学習の目的：

θ∗ = argmax∏t∑h P (h, i(i)|θ)P (θ)

i=1θ

³とし、ＭＰＥ計算も O(2m ) の計算量を必要とする。これでは効率が悪すぎる上、パラメタ推定が過適合を起こしやすい。
そこで、より少ないパラメタで条件付確率表を近似

認識ステップ：

表現するパラメトリックモデルがよく使われる。（例ĥ(t) = argmax P (h, i(t)|θ(t))
h

えば noisy-OR モデル [6] など。）

学習ステップ：θ(t + 1) = argmax∏t

今、条件付確率表 P (X|U1 , · · · , Um ) を、X と Ui

i=1 P (ĥ(i), i(i)|θ)P (θ)θの値の組ごとにあるパラメタ θ(x, ui ) の関数で表現することを考える。（X も Ui 値が s 個あるとすれば、P (h, i|θ) ： 進化によって獲得された同時確率のパラメタの数は全部で s2 m 個である。）条件付確率モデル。大脳皮質の構造。

P (x|u1 , · · · , um ) は、m 個のパラメタ w1 , · · · , wm の関数で表現する。ただし、 wi = θ(x, ui ) とする。

P (θ) ： 進化により獲得された、シナプスの重みに関する生得的知識。

i(t) ： 一次感覚野への入力。
ĥ(t) ： 連合野の全コラムの活動状態。

P (x|u1 , · · · , um ) = f (w1 , · · · , wm )(2.6)

この時、与えられた確率変数 X, U1 , · · · , Um の観測θ(t) ： 全可変シナプスの重み。
µ´データの組から、事後確率最大となるパラメタを推定したい。（ここでは隠れ変数は存在せずすべてが観測

図 2.1: BESOM の動作の定式化と、その各構成要素変数であると仮定する。）このような場合、（確率的）の大脳皮質の構成要素との対応。

最急降下法が使われることが多いが、我々は、より効率的な別のアプローチを取る。
パラメタ wi が自由な値を取るのではなく、２つのまた、ＢＥＳＯＭの動作を模式図を使って説明する

値の間の条件付確率 p(x|ui ) と必ず一致する、というと図 2.2 のようになる。

制約条件を付けたモデルを採用する。

2.2

P (x|u1 , · · · , um ) = f (w1 , · · · , wm )カウンティングによる条件付確

ただし wi = P (x|ui )率表の学習

このような制約付きのパラメタであれば、カウンティ

観測データにおいて U = u である回数を Nu 、U = u

ングを用いることで、最尤推定は非常に簡単に行える。

かつ X = x である回数を Nx とすると、条件付確率

カウンティングは単に計算機上での実装が簡単なだ

w = P (x|u) の最尤推定量 ŵ は
ŵ =

(2.7)

けでなく、生物学的に妥当な神経回路によっても、オNxNu

ンライン学習アルゴリズムとして容易に実現可能で(2.5)

ある。（ IJCNN2007[1] または TR2008[2]p.64 またはになった場合の数を数えて割り算するだけでよい。こTR2009[3]p.11 参照）。すると、式 (2.4) の学習ステッ
プもまた、（P (θ) を無視すれば）神経回路で容易に実のパラメタ推定方法はカウンティングと呼ばれる。

現可能ということになる。このことから、式 (2.7) は1となることが知られている 。つまり、変数が特定の値

大脳皮質が採用するＣＰＴモデルの有望な候補と言えカウンティングを用いれば式 (2.4) の学習ステップるだろう。

は高速に実行可能だが、大規模なベイジアンネットにおいては、別の問題が生じる。条件付確率表 (CPT,

制約付きのＣＰＴモデル（式 (2.7)）のパラメタ推定

conditional probability table) P (X|U1 , · · · , Um ) は一

値は、制約のないＣＰＴモデル（式 (2.6)）でのパラメ
タ推定値と比べて一般に尤度は低いものになるはずでm

般には親ノードの数 m に対し O(2 ) の記憶域を必要ある。つまり、少ない計算量と引き換えにフィッティ
1 例えば「エージェントアプローチ 人工知能 第２版」p.723 参

ングが悪くなる。しかし、実はフィッティングの悪さ照。

5Structure of BESOM network

Input

Node = random variable = cortical column
unit= value= minicolumn

(V2)

(V1)

(LGN)

No connections in each layer.
Fully connected between different layers.

Input (observed data) is given at the lowest layer.

Connection weights= CPT= synapase weights

Recognition

Learning

increased

Find the values of hidden variables
with the highest posterior probability.
(MPE: most probable explanation)

decreased

Update the connection weights between each active
unit (mini-column) and its all child units.

図 2.2: ＢＥＳＯＭの認識ステップと学習ステップの振る舞い。
（左上）ベイジアンネットワークの構造。大きな丸はノード、小さな白い丸はユニットを表す。ネットワークは階層構造をしており、同一層内のノード間にはエッジはない。異なる層に属するノード間には、エッジがあり得る。
（右上）入力。観測データは再下端のノードの値として与えられる。
（左下）認識ステップ。ネットワーク全体がベイジアンネットとして動作し、観測データとの同時確率が最大となる隠れ変数の値の組み合わせ（ＭＰＥ）が計算される。
（右下）学習ステップ。すべての隠れノードがＳＯＭ（自己組織化マップ）[7] として動作し、勝者ユニット（黒丸）と子ノードのユニットとの間の結合の重みが更新される。具体的には、子ノードが勝者ユニットであれば重みは増やされ（太い青線）、そうでなければ重みは減らされる（細い赤線）。これは２ノード間の条件付確率表の要素の更新を意味する。隠れノードの勝者ユニットの近傍のユニット（灰色の丸）も同様に結合を少し更新する
ことにより、近傍学習が行われる。勝者ユニットの近傍にないユニット（白丸）は、子ノードのユニットとの間の重みを更新しない。

6

は必ずもデメリットにはならない。制約条件が真の生成モデルの特徴に近い場合は、制約条件がパラメタに関する事前知識を与えていることになり、過適合がな
くなって汎化能力が向上する可能性がある。
式 (2.7) における関数 f の選び方によって、認識
アルゴリズムの効率や学習の汎化能力が決まる。筆者
は IJCNN2007[1], ICONIP2010[4], IJCNN2011[5] では f として単純な算術平均のモデル（正規化係数を無視するなら線形和モデル、後述の式 (5.1)）を用いた。

TR2009[3] では少し複雑な、あまり根拠のない関数を用いた。本文書では、より外界の性質に近く、認識ア
ルゴリズムの効率も悪くない関数の１つの候補としてmeanOR model と呼ぶものを用いている。これについては 5 章で述べる。

2.3

定式化の意義と今後本章で述べた学習の目的、認識ステップ、学習ステップの定式化は、もしそれが正しいならば、「大脳皮質の基本原理」と呼ぶべきものである。大脳皮質のあらゆる機能が、この基本原理に基づいて説明できると考えている。しかし、基本原理の定式化で、脳の解明が完了するわけではない。むしろ、脳の解明の出発点と考えるべきである。
本章で述べた基本原理は、飛行の原理に例えれば、「揚力が機体の重さを上回れば飛べる」という程度のことを言っているにすぎない。それだけではまだ飛行機は作れない。しかし、飛行の原理は、飛行機を作るための重要な設計の指針を与えてくれる。大きな揚力と軽い機体を実現すればよいのである。それには大変な努力が必要だろうが、「鳥の羽毛には飛ぶための神
秘的な力があるに違いない」と信じている状態に比べれば、飛躍的な進歩になる2 。
本章の基本原理は現時点では仮説にすぎないが、それが正しいことを前提にすれば、人間のような高い知能を実現するための重要な設計の指針を与えてくれる。
この指針に従って、認識ステップと学習ステップを効率的に実行し、高い汎化能力を実現するための様々な機構が、この後の章で述べられていく。また、今後も新たな工夫が追加されていくだろう。
2 羽毛に神秘的な力があると信じている人は今日ではいないだろうが、ニューロンにはシリコンやその他の機械にない神秘的な力があると信じている人は多いのではないだろうか。神経科学的には、
そのような神秘的な力が存在する気配は見つかっていない。

7

¶

³

1. すべての隠れノードの値を何らかの値で初期化する。その時の値の組を h とする。

第 3 章 認識アルゴリ
ズム

2. h の中の高々１つの隠れノードの値を別の値に変更したものを次の状態の候補とする。候
補の集合を H とすると、H の要素のうち、入力 i との同時確率が最大のものを h′ とする。

h′ = argmax P (h∗ , i)h∗ ∈H

この章ではＭＰＥ計算を行う認識ステップのアルゴ
リズムと、認識結果に制約条件を与える方法について

3. P (h′ , i) > P (h, i) 、すなわち同時確率が大きくなっていれば、 h := h′ として 2. に戻る。大きくなっていなければ終了。
µ
´

述べる。

3.1

ＭＰＥ

図 3.1: 素朴な山登り法によってＭＰＥの近似解を求ＢＥＳＯＭの認識ステップでは、ＭＰＥを計算する。

めるアルゴリズム。

MPE (most probable explanation) とは、ベイジア
ンネットにおいて、与えられた観測データを最もうまく説明する変数の値の組のことである。観測データをの実験も、特に断りのない限り、このアルゴリズムを用いている。

表す確率変数の組を i 、隠れ変数（観測データ以外の確率変数）の値の組を h とすると、MPE となる値の組 ĥ は次の式で与えられる。

ĥ

=

3.3

argmax P (h|i)

本文書では用いるアルゴリズムでは、認識結果（ＭＰh=Ｅで求める値の組）に対してスパース性などの制約条

argmax P (h, i)/P (i)h=argmax P (h, i)

件を加えている。この拡張は、以下で述べる方法によっ(3.1)て、ベイジアンネットの枠組みを逸脱せずに行える。

h

図 3.2 のように、全てのノードの共通の子ノードと

ただし P (h, i) は h と i との同時確率で、ベイジアン

して制約ノード R が存在すると考える。R は、ＭＰ

ネットが与えられていれば、以下の式で計算できる。

P (h, i) =∏

Ｅの値に対して制約を与える２値の確率変数である。

R の条件付確率表は下記のように定義される。
1 ∏
P (R = 1|h ∪ i) =R(x, x)
(3.3)
Z x∈x

P (x|parents(x))

x∈x

ただし x

= h∪i

値の組に対する制約条件(3.2)

ここで parents(x) はノード X の親ノードの値の組でＭＰＥ計算時において、 R = 1 は観測値としてある。

与えられていると解釈する。Z は正規化定数だがargmax P (h, i) の値には影響を与えないので、ＭＰＥh3.2

計算においては無視することができる。R(x, x) につ

山登り法によるＭＰＥ計算アル

いてはすぐ後で述べる。

ゴリズム

同時確率の計算式（式 (3.2)）は、制約ノード R を追加したネットワークに対しては、以下のようになる。

図 3.1 はベイジアンネットのＭＰＥの近似解を山登り法を用いて求めるアルゴリズムである。これはP (h, i) =TR2009[3] で用いたものと同じものである。本文書で
8

(

∏
1 ∏
P (x|parents(x))
R(x, x))Z x∈xx∈xで言えば同時確率のモデル P (h, i|θ) の一部であり、パラメタの事前分布 P (θ) の一部ではない。R(x, x) はパラメタ θ の学習には直接は影響を与えず、認識結果

...
...

を通してのみ、θ に影響を与える。
h
x

3.4

...

将来のバージョンにおける認識
ステップ

...

i

将来は認識ステップにおいて belief revision アルゴ
リズム [6][5] を用い、特徴選択の機構と組み合わせて、

R

１ステップあたり O(n) で動作させることを目指す。
詳しくは 10 章で述べる。
図 3.2: 全てのノードの共通の子ノードとして制約ノー
ド R が存在すると解釈する。x は隠れノードの値の集合 h と入力ノードの値の集合 i の和集合。

=
ただし x

1 ∏
R(x, x) P (x|parents(x))
Z x∈x

= h∪i

(3.4)

ただし、 R(x, x) はノード X の状態 x に対して与えられるペナルティであり、具体的には式 (4.13)、式 (7.1)、
式 (8.5) で定義される値の積である。

R(x, x) = e−CU (x) e−λA(x) e−βS(x,x)(3.5)

このように制約ノード R を導入することで、ベイジ
アンネットの枠組みを壊さずにスパース符号化（7 章）や側抑制ＩＣＡ（8 章）の機構が実現できるようになる。この方法には多くの利点がある。様々な機構が１
つの統一された目的関数の最適化問題として定式化されるので、各機構の間の干渉が起きにくいと期待できる。また、個々の機構で必要となるパラメタ（たとえば側抑制ＩＣＡの側抑制シナプス）の学習方法も定式化に基づいて素直に決まるので、調整が必要な自由パ
ラメタの数が少なくて済む。また、 belief revision ア
ルゴリズムを用いた認識ステップにペナルティを導入する方法も、素直に導くことができる（10 章）。
なお、 R(x, x) はいわゆる正則化項ではなく、モデルの一部である点に注意されたい1 。制約条件は、式 (2.2)
1 TR2009[3] ではスパース符号化や側抑制ＩＣＡの機構を正則化と呼んでいたが、間違いである。ただし、事前知識を使ってパラメ
タの自由度を下げ、過適合を避けるという効果は、結局は同じである。

9

1. i = ϕ の場合：
l
学習しない。
（wϕjは定義されない。5.2 節参照。）

第 4 章 学習アルゴリ
ズム

2. i ̸= ϕ, j ̸= ϕ の場合：
l
l
l
wij
← wij
+ n′ (α, i)(vjl − wij
)

(4.2)

n′ , vjl についてはすぐあとで説明する。α は学習率1 である。
3. i ̸= ϕ, j = ϕ の場合：

この章では、本文書でのシミュレーションで使われている学習アルゴリズムの詳細について述べる。この

l
wiϕ
=1−

学習アルゴリズムは、2 章の学習ステップの式 (2.4) の

s
∑

l
wij

(4.3)

j=1

近似になっていると考えている。

lが学習さ
以上のアルゴリズムにより結合の重み wij

4.1

れる。

学習則

次に、ユニットと勝者ユニットとの距離について定

この節で述べる学習則は TR2009[3] で述べたものと義しておく。dxi はノード X における勝者ユニットとほぼ同じだが、近傍関数は正規化しないという点が修ユニット xi の間の距離、dyl はノード Yl における勝

正されている。

者ユニットとユニット yjl の間の距離とする。ノード Xj

まず、全てのノード（確率変数）は s + 1 個の値のうlと Yl の勝者ユニットをそれぞれ xwx , yw
(wx , wy ∈y

ちのどれかをとるものとする。例えば、ノード X は、

{1, · · · , s}) とすると、dxi , dyjl は下記のように定義される。

xϕ か xi , i = 1, · · · , s の値のどれかを取る。
X ∈ {xϕ , x1 , x2 , · · · , xs−1 , xs }(4.1)

（ノードごとに s の値が異なっていてもよいのだが、

dxi = |i − wx |(4.4)

dyjl = |j − wy |(4.5)

関数 n′ は、従来の SOM の意味での近傍関数 n を

簡単のため、本稿ではすべてのノードで s は同一とす

拡張したもので、以下のように定義される2 。なお、近る。）以下、 値 xϕ のことを ϕ 値、xϕ 以外の値のこ

傍関数 n は必ず最大値が 1 であるものとする。
{
0(i = ϕ)′n (α, i) =(4.6)αn(α, dxi ) (i ̸= ϕ)とを非 ϕ 値と呼ぶ。
認識ステップで MPE が求まると、学習ステップではそれを用いて結合の重みを更新する。隠れ層のノードにおいては、 MPE の値を表すユニットが競合学習

子ノード Yl からの入力ベクトルの要素 vjl は、ユの勝者になったと見なし、近傍のユニットとともに近ニット yjl が勝者ユニットであれば１そうでなければ

傍学習 [7] を行う。学習の目標値となる入力ベクトル０となるベクトルを ぼかし関数 b でぼかしたものでは、子ノードにおける MPE をぼかしたベクトルになある。（なお、 vjl は j ∈ {1, · · · s} に対してのみ定義る。以下に、より具体的に説明する。

され、vϕl は定義されない。）

入力ノードにおいては観測値を表す値、隠れノードに{おいては MPE として推定された値を表すユニットを、

vjl =以下では勝者ユニット と呼ぶ。また、ノード X （隠れノード）が子ノード（入力ノード）Yl (l = 1, · · · , n)01
Zb b(α, dxi , dyjl )(Yl の勝者がφ値の時)(Yl の勝者が非φ値の時)(4.7)

を持つとする。
lユニット xi と yjl の間の結合の重み wij
は、下記

1 本来はユニットごとに学習率を持たせるべきだが、現在はグローバルに１つですませている。
2 i = ϕ の場合の値は、現在の学習則では結局使われない。

の式により更新する。

10

正規化定数 Zb は、ぼかし関数の値の総和を１にする

U (x) は以下のように定義される。
{
0(x ∈ i or x = xϕ )U (x) =1
P̂ (X = x|X ̸= xϕ ) − s (x ∈ h, x ̸= xϕ )ためのものである。

Zb =∑b(α, dx , dy )(4.8)

y∈{y1 ,···,ys }(4.14)

α は学習率だが、同時に、ぼかし半径と近傍半径を決めるパラメタである。学習が進むにつれ α を 0 に

P̂ (X = x|X ̸= xϕ ) は P (X = x|X ̸= xϕ ) の推定値で、条件付確率表と同じように、カウンティングによって近づける。学習率 α はグローバルに１つだけ存在し、オンライン学習する4 。ただし s は非φ値ユニットのt 回目の入力に対し、下記の式で値が決定される。
α = 1/(0.001t + 1)

数である。

(4.9)

4.3

本章以降の実験における近傍学習では、特に断りのない限り、ぼかし関数 b と 近傍関数 n は以下のもの

一般にオンライン学習は局所解に陥る可能性があり、を使っている。

b

SmoothStep

勝者ノイズ

それを避ける１つのヒューリスティックスとして、ノイズを用いる方法がある。現在の実装では、認識結果(α, dx , dy ) = smoothStep(dy , C1 α + C2 )(4.10)にノイズを加える機構を用いており、これを勝者ノイ

nSmoothStep (α, dx ) = smoothStep(dx , C1 α + C2 )(4.11)
 1(d < 1 or d < r − 1)smoothStep(d, r) =r − d (r − 1 ≤ d < r)0(r ≤ d)(4.12)
パラメタの値は C1 = s + 1, C2 = 2 としている。ただズと呼んでいる。
具体的にはＭＰＥ計算後、各ノードに対して 0.1α
（α は学習率）の確率で、勝者ユニットをランダムな値に変更する。（変更後は、等確率で s + 1 個の値のどれかになる。）

し、 s はノード内の非φ値ユニットの数である。

4.2

ユニット活性度一律化

各ノードにおいて、各ユニットが勝者になる頻度が等しくなるような機構を追加すると、獲得するマップが滑らかになるなどの利点がある。筆者は TR2009[3]の 7.3.4 節3 でこれを実現するアイデアのみを書いたが、今回はこれを実装した。
実現のアイデアは、高い勝者率のユニットに対して勝者率を下げるようにペナルティを与えるというものである。
ペナルティは、ＭＰＥ計算において、以下の式によって与えられる。（R(x, x) については式 (3.5) 参照。）

R(x, x) ∝ e−CU (x)(4.13)
4 推定値 P̂ (X = x|X ̸= x ) は観測データ i(t) が与えられるたϕ

C はペナルティの強さを決める定数で、本文書では、びに変化するので、本来なら添え字 t を書いて P̂t (X = x|X ̸= xϕ )とでもすべきだが、ここでは省略している。以下の章でもいくつかの条件付確率の推定値を学習に用いているが、同様に t を省略している。

すべての実験で C=100 とした。
3 そこでは「非φ値の等確率の制約」と呼んでいた。

11

4. 子ノードの値は定性的に親ノードの値のＯＲで決まるので、noisy-OR model [6] と同様に、外界を比較的自然に表現できると期待できる。

第 5 章 条件付確率表の
モデル

欠点：

1. 生成モデルとして見た時、不活性な親ノードであっても、子ノードの確率分布への影響がある。（混合分布を表現する際のモジュラリティが不完全。）
2. BESOM が仮定する「φ値ユニット」が神経科学的に見つかっていない理由を説明できない。

この章では筆者が従来からしばしば仮定してきた

linear-sum model に代わって、計算論的・神経科学的により有望と思われる meanOR model を提案する。

5.1
2.2

3. 「φ値ユニット」が持つ重み wϕ j は０に近い値になり、高い精度で学習するのが難しい。

背景

以上の利点を保存しつつ、欠点を解決するＣＰＴモ
デルの候補の１つとして、meanOR モデルを提案する。

節 で 述 べ た よ う に 、条 件 付 確 率 表

P (X|U1 , ..., Um ) を 少 な い パ ラ メ タ の 関 数 で 表 現する「条件付確率表のモデル」の決め方によって、認識アルゴリズムの効率や学習の汎化能力が決まる。

5.2

meanOR model

meanOR model は以下のように定義される。

筆者は以前から式 (5.1) の “linear-sum model” をしばしば仮定してきた。（ただし、1/m は確率の総和を１にするための正規化係数だが、正規化をしなくてP (x|u1 , · · · , um )も最終的に得られる事後確率やＭＰＥの値には影響はないので、アルゴリズムの実装時は無視しても構わな

Z

い1 。）

1 ∑
w(x, uk )Zk∑=
P (x|u1 , · · · , um )

=

x

{
1 ∑
P (x|ui )m i=1m

P (x|u1 , · · · , um ) =w(x, u)

(5.1)

=

0
P (x|u)(u = uϕ )(u ̸= uϕ )1/Z は条件付確率表の正規化定数だが、linear-sum
model の時と同様、値を変えても認識結果には影響

このモデルには下記の利点と欠点がある。
利点：はないので、以下の章および実装では Z = 1 として

1. 演算が単純である。

正規化定数を無視する。

meanOR モデルは、上で述べた linear-sum modelの利点を保存しつつ、欠点を「かなり」なくしたモデ
ルになっている。

2. これを仮定して導いた近似確率伝播アルゴリズム
が大脳皮質のコラム構造・６層構造とよく一致する（IJCNN2007[1]）。

meanOR model を用いても解剖学的に妥当な近似
確率伝播アルゴリズムが導けることは 10.2 節で示す。
このモデルではφ値ユニットの条件付確率 P (x|uϕ )3. スパース符号化モデル [11] の線形和モデルと近いので、一次視覚野の特性の再現に向いているように思われる。

を使わないので、φ値ユニットが重みを学習する必要

1 筆者はこのことに長い間気付かず、IJCNN2007[1] で述べたがない。ただし、φ値ユニットから親ノード・子ノー

近似確率伝播アルゴリズムは不完全で修正が必要だと考えていたが、修正は不要だったようである。近似確率伝播アルゴリズムの動作確認は行っていないが、近似 belief revision アルゴリズムに関しては、1/m を無視した実装が正しく動作することを確認した（IJCNN2011[5]）。

ドに送るメッセージの計算は依然として必要になる。
これについては 10.2.5 節で考察する。

12

は、 12x12 =144 ピクセルのグレイスケール画像である。入力層には 144 個の入力ノードがある。入力ノードはすべて２値の確率変数である。

第 6 章 入力の与え方と条件付確率表の可視化

認識ステップでは、入力画像の各ピクセルの濃さに応じた確率で、ランダムに０か１の値を決め、144 個の２値入力ノードに観測値として与える。白いピクセ
ルは確率１、黒いピクセルでは確率０、灰色はその中間の確率で、入力値が１になる。

6.3
ここでは、以降の章の実験で使われる、入力データ

可視化の方法の与え方と条件付確率表の可視化の方法1 を説明する。

入力ノードを Yl ∈ {0, 1}、(l = 1, · · · , 144) とする。

同じ方法は、 ICONIP2010[4] および IJCNN2011[5]隠れ層のノード X の各値 x ごとに、144 個の条件
付確率 P (Yl = 1|X = x)、(l = 1, · · · , 144) の値を、１でも用いている。

は白、０は黒の濃淡として、１つの基底画像として可
視化する。

6.1

背景

隠れ層のノードの数が n 、各ノードのユニット数がs+1 ならば、n(s+1) 個の基底画像が学習されること
BESOM の基本動作を確認する時、入力データと学になる。

習結果が直感的に分かりやすく可視化できると便利で

なお、本文書の学習アルゴリズムではφ値ユニットある。そのため、動作テストには画像データの学習がは学習を行う必要がないが、TR2009[3] での実装を引適している。また、画像データは２値画像よりも、グき継いでいる理由からφ値ユニットは入力の平均画像

レイスケール画像の方が、より現実の脳への入力に近を学習しており、以下の章の図ではそれが可視化されいし、パターン認識の応用にも近い。

ている。

しかし、 BESOM は離散値のベイジアンネットなので、グレイスケール画像の情報をなんらかの方法で離散値に変換する必要がある。

6.4

入力の与え方の今後

TR2009[3] では、入力ノードを多値の確率変数にして、入力画像の１ピクセルを１つの入力ノードに対応付けていた。しかし多値の入力ノードを使う方法では、か。例えばもし、脳がＭＣＭＣをやっていて、ニュー

学習結果の条件付確率表を直接的に画像と対応付けてロンのパルスの有無が確率変数の離散的状態を表して可視化することはできず、学習結果が正しいかどうかいるとすれば、この章の入力方法は比較的自然に思わを把握しづらかった。

れる。

この章で述べた入力方法は、生物学的に妥当だろう

本章で述べる入力方法と可視化方法は、入力ノード

が、本文書で述べるバージョンの BESOM モデルに２値の確率変数を用いており、学習結果が素直に可ではあくまでパルスの頻度がアナログ量を表現してい視化できるという特徴を持つ。

るという解釈に立っており、この解釈のもとでは、大脳皮質への入力もアナログ量であるべきである。
入力がアナログ量だとすると、今後採用する予定の

6.2

入力の方法

belief revision アルゴリズムを用いた認識ステップにどのようにアナログ量を入力すべきかを決める必要があ

本文書で述べるすべての実験は、隠れ層と入力層かる。この問題についての今後の方針については、10.5

らなる２層 BESOM ネットを用いている。入力画像

節で述べる。

1 この方法は細谷晴夫氏のアイデアである。

13

第 7 章 スパース符号化
この章ではスパース符号化の方法と、自然画像の学
習結果について述べる。

7.1

背景

ICONIP2010[4] の論文で、スパース符号化を用いた
図 7.2: 入力する画像の例。

自然画像の学習の結果を示したが、方位選択性は見られるものの、Ｖ１の基底画像とはあまり似ていなかった。その後、画像の前処理の仕方を調整するなどして、Ｖ１と比較的似ている基底画像が得られたので以下に
報告する。

7.3

実験：自然画像の学習

7.3.1

実験条件

自然画像に対し、下記の 3x3 のラプラシアンフィル

7.2

タでエッジを強調した画像を入力として用いる。


1 1 1


L =  1 −8 1 (7.3)

活性ノードに対するペナルティ

スパース符号化 の方法は、基本的に TR2009[3]で述べたものと同じである。ただしＣＰＴモデル

1

1

1

は 5 章で述べた meanOR model を用いている。
前処理の手順をより詳しく述べる。[0,255] の範囲（ ICONIP2010[4], IJCNN2011[5] では linear-sumの整数値を持つ輝度情報を [-128,127] にずらしたあmodel を用いていた。）と、上記のラプラシアンフィルタを適用、その後、再式 (3.5) で定義したように、各ノードにはそれが活び [0,255] の範囲の値に戻す。
（範囲をはみ出た値は最性ノードであった時に、同時確率の値にペナルティを小値、最大値に置きかえられる。）さらに [0,255] の値与えるようにする。

を [0,1) の浮動小数点の値にスケール変換して、6 章

R(x, x) ∝ e−βA(x)で述べた方法で、12x12=144 個の２値の入力ノードに

(7.1)

入力する。
ただし、β はスパース性を制御するパラメタ、A(x) は x

入力する 12x12 ピクセルのラプラシアンフィルタ適がφ値のときに０、非φ値の時に１になる関数である。
{
0 (i = ϕ)A(xi ) =(7.2)
1 (i ̸= ϕ)と 近傍関数 n は以下のものを使っている。
（各記号の本章のＢＥＳＯＭによるスパース符号化の各ステッ

入力をぼかし関数でぼかすのをやめるとともに、近傍

用後の画像のサンプルを図 7.2 に示す。
この章の実験における近傍学習では、ぼかし関数 b
意味は 4 章参照。）方位選択性がはっきりでるように

プの動作を図 7.1 に示す。

半径の最低値も他の実験よりも小さめに設定した。

bN atural (α, dx , dy ) = 1(7.4)

nN atural (α, dx ) = smoothStep(dx , (s+1)α+1) (7.5)
14InputBESOM network for sparse codingSpecial unit xφthat indicate thenode is inactive

Node

Hidden layer

Hidden layer
Unit

Input
layer

Input
layer

...

...

Input (observed data) is given at the lowest layer.

Learning

Recognition
Inactive
nodes

Hidden layer

Hidden layer

Input
layer

Input
layer
...

...

Calculate MPE with "inactive bias."

Update the connection weights of active units.

図 7.1: ＢＥＳＯＭによるスパース符号化の各ステップの動作。
（左上）ネットワークの構造。ここでは隠れ層と入力層の２層からなるＢＥＳＯＭネットを用いる。楕円はノード、小さな白い丸はユニットを表す。同一層内のノード間にはエッジはなく、異なる層に属するノード間には、エッジがある。隠れノードはそれぞれ１つだけ特別なユニット（φ値ユニット）を持つ。
（右上）入力。観測データは入力層のノードの値として与えられる。
（左下）認識ステップ。ネットワーク全体がベイジアンネットとして動作し、ＭＰＥが計算される。ただしこの時、できるだけ多くの隠れノードがφ値をとるようにバイアスがかけられる。
（右下）学習ステップ。すべての隠れノードが１次元ＳＯＭとして動作する。勝者ユニット（黒丸）と子ノードのユニットとの間の結合の重みが更新される。ただし、φ値ユニットが勝者になったノードは重みを更新しない。

15

同時に、近傍学習のない学習則（ベクトル量子化）を用いる実験も行った。この場合は、以下の関数を用
いた。

{
VQ

b

(α, dx , dy ) =
{

n

VQ

(α, dx ) =10

1 (dy < 1)
0 (dy ≥ 1)

(7.6)

(dx < 1)(dx ≥ 1)(7.7)

ノード数は４、ユニット数はφ値ユニットを含めて３０、スパース性のパラメタは β = 80 で自然画像の学習を行った。8 章で述べる側抑制ＩＣＡの機構はここでは使っていない。

7.3.2

学習結果

図 7.3 は、学習結果である。左側は近傍学習を行った場合、右側は近傍学習を行わない場合である。いずれも、方位選択性が獲得されている。
筆者がいろいろな入力画像と認識結果の基底画像の組を見比べてみたところでは、「勝者ユニットの基底
画像の平均によって入力画像を近似する」という、意図した学習の目的は、達成されているようである。
しかしながら、Olshausen らのスパース符号化の結果 [11] と比べるといくつか違いがある。
まず、大きな違いとして、近傍学習がある場合もな
い場合も、２つの方位選択性が重なって「まだら模様」のようになった基底画像が見られる点である1 。
もう１つの違いは、ガボールフィルタのような空間的局所性が、少しはあるものの、はっきりとは見られない点である。
これらの違いは、ノード数やユニット数を変えても解消できなかった。しかし、入力画像の前処理の仕方を調整したり、9 章で述べる特徴数を制限することで、解消できる可能性がある2 。
したがってこれらの違いが、 BESOM アルゴリズ
ムと一次視覚野の学習アルゴリズムとの本質的違いを表しているとまでは、現時点では言えないだろう。
1 同じように２つの方位選択性が重なった基底画像は、下記の本に出ているトポグラフィを入れた自然画像の学習結果でも必ず見られるようである。
「Natural Image Statistics」
http://www.naturalimagestatistics.net/
2 予備実験により、特徴数を制限すると、基底画像の空間的局所性が強くなることは確認済みである。ただし、おそらく前処理が未調整なせいか、まだきれいな基底画像にはなっていない。

16

図 7.3: 自然画像の学習の結果得られた基底画像。左は近傍学習あり、右は近傍学習なし。ユニット数が多めなのは近傍学習の効果を見えやすくするため。

17

8.2

アイデア

今、同一の層内にある２つの兄弟ノードを U, V とする。また、以下、 i, j ̸= ϕ とする。

第 8 章 側抑制を用いた
非線形ＩＣＡ

今回の学習則では、 U, V どうしを独立にするのではなく U, V がともに活性ノードであるという条件付のもとで、２つの値を独立にすることを目標にする。
すなわち、本章では、アンチヘブ則で学習する側抑制結合を用P (V = vj |U = ui , U ̸= uϕ , V ̸= vϕ )いて非線形ＩＣＡを行うアルゴリズムについて述べる。

= P (V = vj |U ̸= uϕ , V ̸= vϕ )基本的なアイデアは TR2009[3] に書いたものと同じだという制約が成り立つベイジアンネットの学習を目的

が、ベイジアンネットの学習則との統合や混合分布へとする。

の対応などの改良の結果、安定的に動作するようになっ

この目的を達成するには、左辺の推定値

ている。

UV
= P̂ (V = vj |U = ui , U ̸= uϕ , V ̸= vϕ )
Sij

8.1

(8.1)

背景

(8.2)

と右辺の推定値

TjU V = P̂ (V = vj |U ̸= uϕ , V ̸= vϕ )TR2009[3] でも述べたように、 BESOM は、感覚器(8.3)

からの入力を非線形ＩＣＡ（独立成分分析）[9] するこをカウンティングによりオンライン学習し、ＭＰＥ計とで、外界のモデルを獲得する。

UV
算において Sij
− TjU V に比例する値をペナルティとスパース符号化は信号源がすべて優ガウスならば一して与えればよい。

種のＩＣＡアルゴリズムとして動作するが、生物の外なお、ユニット活性度一律化（4.2 節）を仮定すれ界は必ずしも優ガウスな信号源ばかりとは限らない。

ば、TjU V の値は次の値で代用できる。

サルの側頭葉で顔の向きに応じて応答する場所が変化するコラムが見つかっているが、顔の向きは劣ガウス

TjU V = P̂ (V ̸= vϕ |U ̸= uϕ , V ̸= vϕ )/sな分布に従う値の例である。

(8.4)

信号源が劣ガウスの場合のＩＣＡアルゴリズムとし

ただし s はノード内の非φ値ユニットの数である。こて、TR2009[3] では、田尻らのアルゴリズム [13] を BE-

ちらの方が学習すべきパラメタが少し減るので過適合

SOM に適用したものを提案した。しかし、 TR2009[3]の段階では、スパース符号化と同時に動かすと、学習の可能性が減ると期待できる。

が振動するなど動作が不安定であった。その理由は、するためには、スパース符号化の時と同様に、兄弟ノー

２つのノードが独立になってもペナルティが０になっ

ドの値を制約する共通の子ノードが存在すると考えれていなかったせいだと思われる。

ばよい。このように解釈することにより、ＩＣＡの問題

ペナルティをベイジアンネットの枠組みの中で実現

本章では、その問題を改良したアルゴリズムとそのが 2 章の定式化の枠内で表現できて見通しがよくなる。

実験結果について述べる。

例えば厳密解の一意性は自明の性質となる。（もちろ

基本的な動作は TR2009[3] で述べたものと同じで、ん、実際にはオンライン学習による近似解法を用いる

隠れ層のノードすべてのユニット間に抑制性結合を持ので、局所解に陥る可能性はある。）また、 TR2009[3]たせ、同時に活性化しやすいユニットには認識ステッで問題となった、部分アルゴリズムどうしの干渉が起プでペナルティを与えることで、ユニット間の活性のきにくいことが期待できる。

相関を減らす、というものである。
このアルゴリズムの各ステップの動作を図 8.1 に示す。

18

InputBESOM network for ICA
抑制性結合

ノード

隠れ層

隠れ層

ユニット

入力層

入力層
...

...

入力層に入力データが与えられる。

Recognition

Learning

隠れ層

隠れ層

入力層

入力層
...

...

ＭＰＥが計算される。
ただし強く側抑制されているユニットは同時に勝者になりにくい。

値の間の結合（条件付確率）と、隠れノード間の抑制性結合の重みを更新する。

図 8.1: ＢＥＳＯＭによるＩＣＡの各ステップの動作。
（左上）ネットワークの構造。ここでも隠れ層と入力層の２層からなるＢＥＳＯＭネットを用いる。同じ層にある隠れノードのすべてユニット間には側抑制のための結合がある。
（右上）入力。観測データは入力層のノードの値として与えられる。
（左下）認識ステップ。ＭＰＥが計算される。ただし側抑制の結合の重みが大きいユニットの組は、同時に選ばれないように抑制される。
（右下）学習ステップ。通常の結合の更新に加え、側抑制の結合の重みも更新される。

19

8.3

アルゴリズム

同時確率の計算式に対して、以下のペナルティが与えられる。

R(x, x) ∝ e−λS(x,x)(8.5)

λ は側抑制の強さを表す定数であり、S(x, x) はユニット x が他のノードのユニットから側抑制を受ける強さである。２層ＢＥＳＯＭの場合は、隠れ層の中の全てのノード間に側抑制が働き、S(x, x) は以下のように定義される。
{

S(ui , x) =0∑(i = ϕ)UVUV) (i ̸= ϕ)
vj ∈h,vj ̸=ui ,j̸=ϕ (Sij − Tj
(8.6)
UV
UV
現在の実装では、Sij と Tj の学習において、条図 8.2: 扇型の分布から生成される１点からなる画像の学習結果。この例では信号源に関する何のヒントも件付確率表の学習と共用のグローバルな学習率を用い与えられておらず、その結果、意図した信号源が正している。また、 TjU V は代用版（式 (8.4)）を用いた。

8.4
8.4.1

く学習されない。
図 8.2 の扇形の分布内の点は、極座標における角度

実験

θ と距離 r という２つの独立な信号源から決まる。このうち、中心からの距離 r と同じ値を y 座標に持つ、もう１つの点を、入力画像に加える。ただし、このヒ信号源の推定に失敗する例

図 8.2 は、２次元平面上の扇形の分布から生成されントとなる点は、入力画像に 1/2 の確率でしか与えらる１つの点からなる画像をぼかした画像を入力し、２れないものとする。このような入力画像のサンプルをつの隠れノードで学習させた結果である。
（グリッド状

図 8.3 に示す。

の座標の可視化の方法については TR2009[3] の 11.3

これを学習した結果の２つのノードの各ユニットの節参照。）

受容野を可視化したものが図 8.4 である。２つのノー

この例では２つのノードは独立にはなっているもの

ドが角度 θ と距離 r という２つの独立な信号源を正しの、意味のある信号源は獲得していない。この例が示

く学習している。図 8.5 に、学習結果における各ユニッ

すように、一般に、単に入力をＩＣＡをしただけでは、

トの基底画像を示す。

意図した信号源が獲得されるとは限らない。ＢＥＳＯ

なお、学習が収束したあとは、ヒントとなる点が与ＭによるＩＣＡは非線形ＩＣＡだが、一般に非線形Ｉえられていなくても、扇形上の１点が与えられるだけ

ＣＡは解に一意性がないので、真の信号源を獲得させで、角度 θ と距離 r の値が２つのノードに正しく表現

るには、信号源どうしの独立性に加えて、別の制約条される。つまり、学習が収束し終了した後は、信号源

件もしくは信号源に関する何らかの情報が必要となるを推定するためにもはやヒントは必要ないのである。

のである。

実際の大脳皮質の学習においても、学習時にはヒントを使うが、認識時にはヒントなしで信号源を推定す

8.4.2

ヒントとなる情報を使った信号源の推定る、ということが、おそらくよく行われているのだろうと筆者は考えている。

「真の信号源に関する何らかの情報」を入力に与える例の１つとして、信号源の１つにヒントを追加する
例を以下に示す。

20

図 8.5: 学習結果における各ユニットの基底画像。
図 8.3: 信号源の１つに関するヒントが与えられる入8.4.3

混合分布の要素のＩＣＡ

力画像の例。扇形の中心からの距離 r と同じ値を y 座
この節では、ＩＣＡの機構と混合分布の学習の機構

標に持つもう１つの点が、左端に 1/2 の確率で与えらが両立する例を２つ示す。これらの例は、 TR2009[3]れる。

で述べたアルゴリズムでは、振動して動作しなかった。
図 8.6 は、２次元平面上の２つの長方形からなる分布から生成される１点を持つ画像を、４つのノードで学習させた例である。常に２つのノードが活性化する
ようにスパース性を調整した（β = 20）。２つのノードが表す軸はゆがんではいるが、分離した２つの分布がそれぞれ２つのノードで学習されている。
次の例は、４つの点からなる２種類の動物の顔のような画像の学習例である。それぞれの動物の目の位置と鼻の位置はそれぞれ異なる分布から独立に生成される。図 8.7 は入力画像のサンプルである。図 8.8 は
４つの隠れノードでの学習結果で、やはり常に２つのノードが活性ノードになるようにスパース性を調整した（β = 60）。学習結果では、４つのノードがそれぞれ、１種類の動物の顔の目の位置と顔の位置、という信号源の学習に成功している。図 8.9 に、学習結果の各ユニットの基底画像を示す。
図 8.4: 信号源の１つに関するヒントが与えれた場合の学習結果を可視化したもの。２つのノードの各ユニッ

8.5

トの受容野を、ユニットごとに色を変えてプロットし生物学的妥当性

TjU V の値は、大規模なＢＥＳＯＭネットワークでは
小さな値になり、高い精度での学習が難しくなるかもした。２つのノードが距離 r と 角度 θ という２つの独立な信号源を正しく学習している。

れない。しかし、その場合は逆に、学習せずに TjU V = 021図 8.6: ２次元平面上の２つの長方形からなる分布か

図 8.8: ２種類の動物の顔の学習結果における各ユニッら生成される１点を持つ画像を、４つのノードで学習トの受容野を可視化したもの。それぞれの動物の目のさせた例。

位置と鼻の位置という信号源が期待通りに獲得されている。

図 8.7: ４つの点からなる２種類の動物の顔のような

図 8.9: ２種類の動物の顔の学習結果における各ユニッ

入力画像の例。

トの基底画像。

22

としてしまってもよいかもしれない。その方が、神経回路での実現も容易である。

TjU V = 0 としても問題なく動作するかどうかについては、将来、大規模ＢＥＳＯＭネットワークで検証
したい。

8.6

計算量について側抑制ＩＣＡは全てノード間の全てのユニット間に結合を持たせる必要があるため、ノード数 n 、ノードあたりの非φ値ユニット数 s とすると、O(s2 n2 ) の側抑制シナプスが必要となる。s は定数だが n はヒトで１万〜１０万はあると思われるので、このままでは計
算量的に問題になり得る。
しかし、おそらく、9 章で述べる「インクリメンタ
ルソート」を用いる方法で計算量を O(s2 n) に減らせるのではないかと考えている。つまり、重みの最も大
きい定数個の側抑制のみ計算し、残りは無視することにすればよい。しかし、定数個の側抑制のみで本当にＩＣＡが実行できるかどうかは、実データを使った実験で今後検証していく必要がある。

23ロー・アンダーフローが起きやすくなる。対数を使え
ばオーバーフローに関しては起きにくくなるが、その場合でも掛け算の数が多いと計算精度で問題が起きる

第 9 章 特徴選択に基づく構造学習

かもしれない。これらは浮動小数点を使う計算機でも問題だが、ダイナミックレンジの小さいニューロンによる演算ではより一層問題になると思われる。
多すぎるエッジは、汎化能力の面でも問題がある。
各ノードをパターン認識装置と見なすと、子ノードは認識対象が持つ特徴である。認識装置から見ると、自本章では、特徴選択によってノード間のエッジの数分の下の層にあるノードが表現するほとんどの特徴は、を大幅に少なくする機構について述べる。この機構は、認識には不要な特徴であろう。不要な特徴があると、ネットワークを大規模化するために必要となる。

過適合の要因になるだけで汎化能力はかえって落ちてしまう。汎化能力を上げるためには、特徴選択の技法

9.1を使って、不要な特徴を捨て、有用な特徴のみを使う

背景ようにする必要がある。なお、脳が特徴選択を行っているとしたら、そのアルゴリズムはオンラインで動作

現在の BESOM は隠れノードの数が数個程度でしかするものでなければならない。

動作せず、顔認識などの複雑なタスクに用いることはできない。大規模化ができない理由は、計算量のオー

エッジの数の制限は、部品別学習 [12] の効果をもたダーである。そこで現在、１回の入力をノード数 n にらし、画像認識の汎化性能を上げることも期待できる。

対して O(n) 程度の計算量で処理できるスケーラブル
な認識・学習アルゴリズムの実現を目指している。

9.2

スケーラブルなアルゴリズムの実現の大きな障害にアイデアなるのが、層間のエッジの数である。１つの層の中の工学でよく使われている特徴選択の技法を参考に、ノード数を n とすると、２つの層の間がフルに結合さすべてのノードから見て子ノードの数を定数 E 個にれている場合、結合の本数が O(n2 ) なので、そのすべ制限する機構を考える。

てを利用する認識アルゴリズムの計算量は O(n2 ) 以上

特徴選択の方法にはいろいろあるが1 、ここでは、相にならざるを得ない。逆に言えば、スケーラブルなア

互情報量を特徴の有用性を測る基準（以下、スコアとルゴリズムのためには、１つのノードから見た親・子呼ぶ）として、特徴選択を行う方法を提案する。相互ノードの数を O(1) 程度に抑える必要がある。

情報量は、ベイジアンネットの構造学習でも、しばし

実際の大脳皮質でも、種によってニューロン数は大ばエッジ選択の基準として用いられる。

きく異なるにもかかわらず、ニューロン１個あたりのエッジの数を制限するためには、特徴選択は当然ノー

シナプス数は、およそ１万個であり、種によって変わる

ド単位で行われるべきだが、一次視覚野への入力に関という話は聞かない。このことから、脳もまた、ニューする解剖学的知見は、ユニット単位の特徴選択の機構

ロン間の接続数を定数に保つことで、シナプス数の爆の存在を思わせるため、こちらの検討も必要なように発を防ぎ、「脳のスケーラビリティ」を実現していると筆者には思われた。そこで次の節では、ノード単位と想像できる。

ユニット単位の両方のアルゴリズムについて述べる。

BESOM モデルのようなベイジアンネットにもとづく大脳皮質モデルにおいては、エッジの数を減らすべ
きもう１つの大きな理由として、オーバーフロー・ア
1 参考：「特徴選択 - 機械学習の「朱鷺の杜 Wiki」」
http://ibisforest.org/「Introduction to Information Retrieval」 13.5 章
http://nlp.stanford.edu/IR-book/information-retrieval-book.html

ンダーフローの問題がある。確率伝播アルゴリズムや

belief revision アルゴリズムでは、子ノードの数だけ
λYl メッセージの掛け算を実行する必要がある。子ノー
ドの数が多いと、掛け算すべき数が増え、オーバーフ

24

BESOM では i ̸= ϕ のとき

9.3

アルゴリズム

9.3.1

ノード単位の特徴選択

p(yj |X ̸= xi ) ≈ p(yj |xϕ ) ≈ p(yj )(9.3)

が成り立つとすれば（要検証）、２項目は０になる。

ノード X, Y の間の相互情報量は下記のように定義（なお、 i = ϕ の場合は meanOR モデルでは p(yj |xϕ )される。

の値を参照しないので、特徴選択をする必要がない。）

I(Y, X) =

∑∑
i

=

∑∑
i

p(yj , xi ) logjp(yj |xi )p(xi ) log

j

=

∑∑
i

において定数なので不要である。したがって、∑

p(yj |xi )p(xi )
p(xi )p(yj )p(yj |xi )p(xi ) logj

また、 p(X = xi ) はユニット xi におけるスコア比較

p(yj , xi )p(xi )p(yj )p(yj |xi )p(yj )p(yj |X = xi ) logjp(yj |X = xi )p(yj )(9.4)

をスコアにすればよいことになる。（yϕ については特(9.1)

別扱いしない点に注意。）
なお、ユニット単位で特徴選択をする場合、ノード

これを、ノード X から見た特徴（子ノード） Y のの間のエッジは切れない。現在の実装では、あるユニッ

スコアを見なし、スコアの高い特徴を E 個選択すれば

ト xi から見た特徴 yj が無効の場合、条件付確率の値よい。

P (yj |xi ) の代わりに P (yj ) を使うことで、特徴選択を実現している。

より正確には次のようになる。ＢＥＳＯＭの学習ス
テップにおいては、直前の認識ステップの結果を用いて、あたかも層の間は完全に結合されているかのように、すべての条件付確率表の値を更新する。認識ステッ
プにおいては、まず現在の条件付確率表および各ノードの p(yj ), p(xi ) の値をもとにスコアを計算し、 X か

9.4

実験

9.4.1

違う場所に独立に発生する３つの点の学習

ら見て Y のスコアの順位が E より低ければ、X からY へのエッジが存在しないものと見なした上で、ＭＰＥ計算を行う。
なお、この方法では、認識時に実質的にエッジが減

現在動いている小規模２層ネットワークでは、ノード単位の特徴選択は効果が見えにくいので、今回はユニット単位の特徴選択を実装して、簡単な動作確認をることでＭＰＥの計算量は減らせるが、条件付確率表行った。いずれの実験も、側抑制ＩＣＡの機構を働かの記憶域の量は O(n2 ) と変わらない。この問題についせている。

ては 9.7 節で議論する。

最初の実験は、特徴選択の基本動作が動いているこ

特徴選択の機構自身に必要な計算量については 9.5とを確認する簡単な例である。違う場所に独立に発生節で考察する。

する最大３つの点からなる画像の信号源を学習するのが目的である。３つの点はそれぞれ 0.1 の確率で、互9.3.2

ユニット単位の特徴選択

いに重ならない長方形の領域の内部にランダムに発生する。図 9.1 は、入力画像のサンプルである。

ノード X のユニット xi が勝者になるかならないか

スパース性パラメタ β = 150 、側抑制の強さのパを表す確率変数を考えると、その確率変数と子ノード

ラメタ λ = 100 、隠れ層のノードの数は４で学習をとの相互情報量は下記の式のようになる。

∑
j

+

∑
j

行った。
図 9.2 は、特徴選択をしない場合の４つのノードのp(yj |X = xi )p(yj |X = xi )p(X = xi ) log
p(yj )

受容野を可視化したもの、図 9.3 は、特徴選択をしな

p(yj |X ̸= xi )p(yj |X ̸= xi )p(X ̸= xi ) log(9.2)
p(yj )

機構により、３つの独立な信号源が正しく獲得されてい場合の基底画像である。ＩＣＡとスパース符号化のいることが分かる。

25

図 9.1: 互いに重ならない違う場所に独立に発生する
最大３つの点からなる画像のサンプル。
図 9.4 は、特徴選択の機構により、ユニットごとに

図 9.2: 特徴選択をしない場合の４つのノードの受容２０ピクセルの特徴を選択した場合の学習結果である。

野を可視化したもの。

基底画像の中の青いピクセルは、その特徴が選択されていないことを意味する。このタスクの場合は、特徴
選択があってもなくても獲得される信号源はほぼ同じである。各ユニットの認識に無関係なピクセルが無効になっていることが分かる。

9.4.2

独立でない２つの部品の学習

次の実験は、特徴選択によって部品別学習 [12] の効
果が出ることを確かめる簡単な例である。
入力画像は、２つ点のからなる。２つの点はそれぞれ重ならない長方形の領域内でランダムに発生する。
ただし、 1/2 の確率で、それぞれの長方形の領域内の同じ相対位置に発生し、残りの 1/2 では、２つの点は、独立にそれぞれの長方形の中のランダムな位置に発生する。図 9.5 は、このタスクの入力画像のサンプルである。上の３つは同じ相対位置に発生する例、下の３つは独立な位置に発生する例である。
スパース性パラメタ β = 0 、側抑制の強さのパラメ
タ λ = 100 、隠れ層のノードの数は２で学習を行った。
図 9.3: 特徴選択をしない場合の４つのノードの基底

図 9.6 は、特徴選択を行わない場合の各ノードの受画像。

容野を可視化したもの、図 9.7 は、その時の各ユニッ
トの基底画像である。ここでは２つのノードは長方形の x 軸と y 軸の情報を表現している。

26

図 9.4: 特徴数を２０ピクセルに制限した場合の４つのノードの基底画像。青いピクセルはその特徴が選択
されていないことを意味する。
図 9.5: 完全には独立でない２つ点からなる入力画像のサンプル。上の３つは２つの点の相対位置が同じ、

一方、図 9.8 は、特徴数を２０ピクセルに制限した

下の３つは２つの点の位置は独立な場合の例。

場合の各ノードの受容野、図 9.9 は、その時の基底画像である。この場合は、２つのノードは２つの点それ
ぞれの x 座標の情報を表現している。これは特徴選択の機構により、「少ないピクセルで表現できる信号源」が獲得されるよう、学習にバイアスがかかった結果と見ることができる。
このバイアスは、実世界のように、「少ないピクセ
ルで表現できる信号源」、すなわち「部品」の組み合わせで入力画像が構成されているときには、真の信号源を獲得するためのヒントとして働き、画像認識の汎化能力を上げる効果があると期待できる。

9.5

１ステップあたり計算量 O(n)のオンライン特徴選択アルゴリ
ズムの実現に向けて

未実装ではあるが、本章で述べたオンライン特徴選
択アルゴリズムは各学習ステップにおいてノード数 nに対し O(n) で実行できそうである。具体的方法を以

図 9.6: 特徴選択を行わない場合の各ノードの受容野下に示す。

を可視化したもの。２つの点の x 軸と y 軸の情報が前提として、ＭＰＥで活性ノードとなる隠れノード表現されている。

の数は高々定数個であるとする。
（ノード活性のスパー
ス性の仮定。）

27

図 9.9: 特徴数を２０ピクセルに制限した場合の各ノードの基底画像。青いピクセルはその特徴が選択されていないことを意味する。
図 9.7: 特徴選択を行わない場合の各ノードの基底画像。
すると、スコア計算で必要となる値 p(yj |xi )、p(yj )、p(xi ) のうち更新すべきものの数もまた定数個で済むことになる。
次に特徴選択だが、不活性ノードについては、条件付確率表の更新がなく、子ノードのスコアがほぼ変化しないので特徴選択の計算をしなおす必要はない。
（厳
密には子ノードの p(yj ) が少し変化するが、おそらく無視できる。）一方、特徴選択を計算し直すべき活性ノードの数は仮定により定数個である。
ある活性ノードに注目すると、子ノードの数は O(n)なので、すべてのスコアの再計算に必要な計算量はO(n) である2 。
最後に O(n) 個の子ノードの中から、スコアの高いE 個を選択する方法だが、挿入ソートのような、インクリメンタルな実行が可能なソートアルゴリズムを使えばよい。挿入ソートでは、前回の特徴選択時におけるソート結果を保持しておけば、そのうちの１個の要素が十分に小さな値だけ変化した場合、ソート結果の更新に必要な計算量は O(1) である。n 個の要素が変化する場合は O(n) である。
図 9.8: 特徴数を２０ピクセルに制限した場合の各ノー

以上により、ノード活性のスパース性を仮定すれば、ドの受容野。それぞれ別の点の x 軸の情報が表現されオンライン特徴選択が１ステップあたり O(n) で済むている。
2 もし p(y |x) = 0 という条件が成り立つなら、活性ノードのϕ

スパース性の仮定からスコア再計算すべき子ノードの数は定数です
む。すると、特徴選択の計算量も O(1) ですむはずである。ただし、p(yϕ |x) = 0 という条件が成り立つ（あるいはモデルにそのような制約を入れる）ことが妥当かどうかは現時点では分からない。

28

9.6

軸索
（他のニューロン
からの出力）

スコアの生物学的妥当性

下記の相互情報量に基づくスコアが、神経回路で簡
単に計算可能かどうかを考察する。
ニューロン

2 1 2 13 4 3 4I(Y, X) =

樹状突起
（入力）

∑∑
i

p(yj |xi )p(xi ) logjp(yj |xi )p(yj )(9.5)

まず i = ϕ の項について考える。BESOM において
φ値ユニットは子ノードの値とほぼ独立という性質から、p(yj |xϕ ) ≈ p(yj ) である。すると、
1

1 2

2 33

4 4

log

p(yj |xϕ )p(yj )

図 9.10: ニューロンによる挿入ソートの実現の１つのp(yj )p(yj )= log 1
≈ log

= 0

可能性。樹状突起上において、周辺のシナプスよりも小さい値のシナプスを持つ軸索はより受け手のニュー(9.6)

なので、 i = ϕ の項は無視できる。j = ϕ の項

ロンに遠い側に、大きい値のシナプスを持つ軸索は近は一般に無視できない。しかし、近傍学習の効果な

い側に側枝を伸ばし（図下、太線）、新たなシナプス

どによってもし p(yϕ |xi ) ≈ 0 が成り立つのなら、を作る。古い接続は切る（図下、破線）。

p(yϕ |xi )p(xi ) log p(yϕ |xi )/p(yϕ ) ≈ 0 となり、j = ϕの項もやはり無視できるかもしれない。これについてことが示せた。

は将来、実験により検証する必要がある。

ところで、挿入ソートのような比較的複雑な処理が、仮に、i = ϕ、j = ϕ の項が無視できるとする。す神経回路で実現可能だろうか。ここで、挿入ソートのるとユニット活性度一律化（4.2 節）により、p(xi ) はニューロンによる実現の１つの可能性について述べよi ̸= ϕ において同じ値なので、スコア比較において無視できるようになる。したがって、次の値をスコアとう。図 9.10 のように、樹状突起（他のニューロンからの入力を受け取る突起）上で、シナプスが近傍のシナすればよい。

プスとの重みに基づいて競合すると仮定する。最初、∑∑出力側のニューロンは出力先ニューロンの樹状突起上のランダムな位置にシナプスを作る。次に、樹状突起i上において、周辺のシナプスよりも小さい値のシナプp(yj |xi ) log p(yj |xi )/p(yj )

(9.7)

j

各項 p(yj |xi ) log p(yj |xi )/p(yj ) は、 p(yj ) が小さい

スを持つ軸索はより受け手のニューロンに遠い側に、ときには下記のように近似できる。

大きい値のシナプスを持つ軸索は近い側に側枝を伸ばp(yj |xi ) log p(yj |xi )/p(yj )し新たなシナプスを作る。この動作を繰り返せば、樹状突起上には重みの順にシナプスが並ぶことになる。

≈ (− log p(yj ))p(yj |xi )(9.8)

この動作は局所的な情報だけを用いて実行可能であり、例として、 y= x log(x/0.1) お よ び y =x log(x/0.001) のグラフを図 9.11 に示す。なお、この
２つのグラフを近似する直線の傾きは − log 0.1 = 2.3、

生物学的に無理のない機構であると思われる。
もちろん、仮にニューロンに挿入ソートができるとしても、神経回路で挿入ソートに基づいた特徴選択がプがある。しかし、少なくともそれは、決してあり得− log 0.001 = 6.9 である。
したがって、スコアは、 p(yj |xi ) の値を − log p(yj )ないことではない。

で重みづけした線形和で計算できることになる。このできるという主張を正当化するには、まだ大きなギャッ段階ですでに、スコア計算は生物に実現可能になりそうなかなり簡単な計算になった。

29

とを考えると、この記憶域の量は本質的に減らすことができないように筆者には思われる。

BESOM の応用の観点からは、当面は、メモリの量
は、計算量ほどは深刻な問題ではない。
2.58

しかし、生物学的妥当性の観点からは、「種によら72

6ずノードあたりのシナプス数はほぼ一定」という性質

5

1.5

4
1

と矛盾するので問題である。この問題に対する答えの

3
2

0.5

可能性についていくつか挙げておく。

1
0

0
0

0.2

0.4

0.6

0.8

1

0

0.2

0.4

0.6

0.8

1

1. ヒトのシナプスの数は赤ん坊のころに最大になっ-0.5

y = x log (x / 0.1)てその後減るらしいが、赤ん坊のころにだいたい

y = x log (x / 0.001)の特徴選択を済ませ、その後は特徴選択の候補を制限する、という戦略を脳はとっているのかもしれない。その場合、シナプス数は減らせるが環境
図 9.11: y = x log(x/a) のグラフ。 a が十分小さけれの変化への適応力が犠牲になる。これは「臨界期」

ばグラフはほぼ直線 y = −(log a)x となる。

の原因の１つかもしれない。

さらに、p(yj ) が小さい値ならば、重み − log p(yj )2. 何らかのヒューリスティックスを用いて、メモリの量をほぼ O(n) に落とせる可能性はあるようには、ほとんど定数と見なせる可能性がある。例えば− log 10−4 = 9.2, − log 10−3 = 6.9 なので、p(yj ) の値の幅が１桁あったとしても重みはあまり変わらない。

思える。例えば、大多数のスコアの低い子ノード

もし重みが定数と見なせるならば、スコアは p(yj |xi )らすという工夫が可能かもしれない。この工夫もの単なる総和で済むことになる。
∑∑
p(yj |xi )iに対して、スコア再計算の精度や頻度を大幅に減
また、環境の変化への適応力を多少犠牲にするだろう。なお、学習すべき外界の性質に関する事前(9.9)

知識が、ヒューリスティックスの形で作り込まれj

るならば、メモリの削減と同時に汎化能力が向上

さて、ＢＥＳＯＭモデルによれば、p(yj |xi ) はノーする可能性もある。

ド X を表現するマクロコラム近傍に、シナプスの重みとして存在する値である。その総和を生物学的に計9.8

算する手段はいろいろ考えられるだろう。例えば、各シナプスが重み p(yj |xi ) に比例する量の何らかの化学

今後の課題

現状の実装では、ユニット単位の特徴選択になって物質を放出すれば、その近辺における化学物質の濃度

おり、計算量の問題もオーバーフロー・アンダーフロー

がスコアを表すことになる。

の問題も、まだ残ったままである。ノード単位の特徴

以上の考察は、いくつか検証が必要な仮定を含んで選択を採用し、実装を全面的に見直すことで、これらはいるものの、相互情報量に基づく特徴選択が、生物の問題が解決するだろう。
（ただし、脳の一次視覚野ににとって決して実現不可能とは言えないことを示すに関しては、ユニット単位での特徴選択を採用しているは十分だろう。

可能性はあると考えている。）
今回提案したオンライン特徴選択アルゴリズムは、

9.7

局所解におちいる可能性がある。局所解から脱出する

メモリ量のオーダーの問題ための何らかの機構が将来必要になるかもしれない。
ここで述べたオンライン特徴選択アルゴリズムでは、

特徴選択は汎化能力を向上させると期待しているが、条件付確率表の記憶域の量は O(n2 ) と変わらない。全

その効果の確認も今後の課題である。

ての子ノードのスコアを計算してみないと、その中か
らスコアの高い特徴を選ぶことができるはずがないこ

30しかし、認識ステップで近似ＢＲを用いるには、以下の問題を解決する必要がある。

1. meaonOR モデルに適用可能か。

第 10 章 belief
revision アル
ゴリズムを用いた認識ステップの実現に向けて

2. 制約ノード R のアイデアは導入可能か。
3. 入力ノードへの入力方法はどうすべきか。
以下の節で、これらの問題の解決方法について説明する。

認識ステップにおいて、現在の山登り法に代わり belief revision アルゴリズムを採用するには、いくつか解決すべき問題があった。これまで分かっていた問題

10.2

meanOR モ デ ル で の 近 似
belief revision

10.2.1

meanOR モデルでの近似確率伝播
アルゴリズムまず、下記はオリジナルの Pearl の確率伝播アルゴ
リズムである。

の多くがほぼ解決されたので、この章で説明する。

BEL(x)

10.1

π(x)

背景

= αλ(x)π(x)∑∏=P (x|u1 , · · · , um )πX (uk )u1 ,···,umλ(x)

筆者は、大脳皮質は belief revision アルゴリズムの=∏λYl (x)l

一種を用いてＭＰＥを計算していると考えている。

πYl (x)

筆者が導いた近似 belief revision アルゴリズム（以= β1 π(x)下、近似ＢＲと呼ぶ）は、大脳皮質のコラム構造・６λX (uk )層構造という解剖学的特徴とよく一致するので、生物

= β2

k

∑

∏

λYj (x)

j̸=l

λ(x)

x

∑

学的妥当性が高い (IJCNN2011[5])。
また、近似ＢＲを用いた認識アルゴリズムは、以下

P (x|u1 , · · · , um )πX (ui )i̸=ku1 ,···,um /ukの理由で、応用上も優れた性質を持つを考えている。

∏

ただし α, β1 , β2 は正規化定数である。以下、正規化（ただし、下記の性質は IJCNN2011[5] の論文で実験し定数は省略する。5 章で述べたように meanOR モデ

た条件の範囲でのみ確認されており、より大規模なネッルにおける条件付確率表の正規化定数 1/Z も無視でトワークでどうなるかは、今後検証が必要である。）

きるので、以下、省略する。
このアルゴリズムを、 meanOR モデル（式 (5.2)）

1. 各ノードが持つ親ノードの数 E が定数ならば、ノード数 n に対してアルゴリズムの１ステップがを 仮 定 し た う え で 、近 似 す る 。近 似 の 方 法 は

IJCNN2007[1] で 述 べ た も の と 同 じ で 、親 ノ ー ド
からのメッセージが下記のように正規化されているものとする。
∑
πX (uk ) = 1(10.1)

O(n) の計算量ですむ。
2. 層構造をしたネットワークにおいて、層の深さが一定ならば、層内のノード数が増えても平均収束
ステップ数はあまり変わらない。

uk・ π(x) の計算式の変形：∏∑
P (x|u1 , · · · , um )πX (ui )π(x) =

3. 近似しない belief revision アルゴリズムと比較して、複雑なネットワークでも振動しにくい。

u1 ,···,um

31

i

∑
∏
(
w(x, uk ))πX (ui )∑=u1 ,···,um∑

u1 ,···,um

k

=
=

∑∑

w(x, uk )

∑∑

=

∏

λt+1
Yl (x)πX (ui )i∑w(x, uk )πX (uk )

uk

k

i

k

∑

∏

∑

=

yl

λt+1 (x)πX (ui )

n
∏

=

λt+1
Yl (x)

l=1

u1 ,···,um /uk i̸=k

κt+1
Uk (x)

w(x, uk )πX (uk )

∑

=

uk
m
∑

uk

k

(ρt (yl ) + λt (yl )w(yl , x))w(x, uk )BELt (uk )κt+1
Uk (x)

π t+1 (x)=ρt+1 (x)= λt+1 (x)π t+1 (x)∑=ρt+1 (x)・ πYl (x) の近似：

k=1∏

πYl (x) = π(x)λYj (x)

t+1
ZX

j̸=l

≈ π(x)∏

x

BELt+1 (x)λYj (x)t+1= ρt+1 (x)/ZX(10.2)j= λ(x)π(x)・10.2.2∑u1 ,···,um /uk P (x|u1 , · · · , um )∏i̸=k πX (ui ) の近meanOR モデルでの近似 belief
revision アルゴリズム

近似確率伝播アルゴリズムから近似ＢＲを得るには、

似：∑

P (x|u1 , · · · , um )

=

(

∑

w(x, uj ) + w(x, uk ))

u1 ,···,um /uk j̸=k

∑

=

∑

u1 ,···,um /uk j̸=k+w(x, uk )≈∑∑

u1 ,···,umj

IJCNN2011[5] と同様にアドホックな方法を用いる。ＣπX (ui )ＰＴモデルに由来するもの以外の和演算を max 演算i̸=ku1 ,···,um /uk∑∏w(x, uj )∏∏に置き換えることで近似ＢＲアルゴリズムを得る。

πX (ui )λt+1
Yl (x) =i̸=kπX (ui )λt+1 (x) =πX (ui )κt+1
Uk (x) =

i̸=k

∑

∏

∏

π t+1 (x) =πX (ui ) + w(x, uk )i

ρt+1 (x) == π(x) + w(x, uk )

t+1
ZX

BEL

・ λX (uk ) の近似：

λX (uk ) =

∑

λ(x)

x

∑

P (x|u1 , · · · , um )

u1 ,···,um /uk

≈

∑

∏

=

t+1

λt+1
Yl (x)

max w(x, uk )BELt (uk )
uk
m
∑

κt+1
Uk (x)

k=1t+1

λ(x)π t+1 (x)= max ρt+1 (x)

(x) =
x∗

x
t+1

ρ

t+1
(x)/ZX= argmax BEL(x)(10.3)xπX (ui )i̸=k10.2.3λ(x)(π(x) + w(x, uk ))

x

∑

yl

n
∏
l=1

u1 ,···,um /uk i̸=kw(x, uj )max(ρt (yl ) + λt (yl )w(yl , x))

性能評価

IJCNN2011[5] と同様の方法で近似ＢＲの簡単な性(λ(x)π(x) + λ(x)w(x, uk ))能評価を行ったところ、meanOR モデルの場合でも

xlinear-sum モデルと同様の近似精度、速度を持つようである。

以上の結果を、整理すると、近似確率伝播アルゴリ
ズムは以下のようになる。

32

10.2.4

和演算を用いた BEL の正規化

は、 argmax(BEL(x)) の計算のために必要だが、子xノードに送る必要はない。子ノードでは w(y, xϕ ) = 0

トップダウンのメッセージ BEL(x) を正規化するとの掛け算に使われるだけだからである。同様に、なための定数 ZX は、上で述べたように max 演算を用

んらかの理由で w(yϕ , x) = P (yϕ |x) も０なら λYl (xϕ )いて計算している。

ZX

も親ノードに送らなくて済むことになる。

=

max ρ(x)xもしφ値ユニットメッセージは局所的にしか用いら(10.4)れないという性質を持つならば、φ値ユニットメッセー

しかし、 max 演算の代わりに和演算で「代用」すジのような応答をするニューロンが見つかりにくい理ることも考えられる。

ZX

由になるかもしれない。

=

∑

ρ(x)

なお、神経回路では w(y, xϕ ) というシナプスは(10.5)

ノード X 側と Y 側に２重に保持される（参考：x

IJCNN2011[5]）ので、 w(y, xϕ ) = 0 でないと「φ値実は、この和演算を用いた正規化を行った近似ＢＲでユニットは重みを学習する必要がない」と完全には言も簡単な性能評価を行ったところ、max 演算の場合とえない。その意味でも w(y, xϕ ) = 0 とする「 meanOR

変わらない近似精度、速度のようであった。もし性能モデルの改良版」の検討が必要であろう。

があまり変わらないならば、 max 演算よりも和演算の方が生物にとっては実現が容易なので、生物はこちらを採用している可能性が高まる。

10.3

belief revision とスパース符
号化10.3.1

ペナルティ付きの belief revision

さらに、視覚野における多様な電気生理学的現象を説明する「注意の正規化モデル」[14] と同じ現象を近似ＢＲモデルで再現するためには、max による正規化
ではなく和演算による正規化が必要だと、筆者は今の7 章で述べたようなノード活性度へのペナルティを、
belief revision アルゴリズムに導入することは、容易である1 。具体的方法を以下に述べる。

ところ考えている。
和演算による正規化を用いた場合のより厳密な性能
評価と、それによる「注意の正規化モデル」の再現は、ノード活性度へのペナルティは、他のノードの値とは

今後の課題である。

無関係に決まるので、ペナルティの値を以下、 R(x, x)ではなく R(x) と書くことにする。

10.2.5

生物学的妥当性

まず、下記はオリジナルの Pearl の belief revisionである。
（Pearl 本とは表記が異なるが、本質的に同じ

meanOR モデルに基づく近似ＢＲは、IJCNN2011[5]で述べた linear-sum モデルに基づく近似ＢＲと基本的構造は同じであり、やはり大脳皮質のコラム構造・ものである。 ）x∗=argmax BEL(x)x６層構造とよく一致している。したがって、生物学的BEL(x)

妥当性は高いと言える。

π(x)meanOR モデルではφ値ユニットが重みを学習す
る必要はないが、φ値ユニットが他のノードとやりとりするメッセージ計算は依然として必要である。したλ(x)= αλ(x)π(x)==max P (x|u1 , · · · , um )

u1 ,···,um∏

πYl (x)が大脳皮質に見当たらない」という問題は、依然としπX (uk )kλYl (x)lがって、「φ値ユニットのような応答をするニューロン∏= β1 π(x)∏λYj (x)j̸=lて残っている。

1 なお、筆者のこれまでの論文では、スパース符号化と belief
revision をまだ同時には用いていなかった。ICONIP2010[4] では
スパース符号化のアイデアを実装したが、認識アルゴリズムは山登り法によるＭＰＥ計算であった。IJCNN2011[5] では belief revisionを用いた自然画像の学習結果を載せたが、そこでは全ノードが常に活性ノードであった。

ただ、φ値ユニットメッセージは、ノード内で局所的に用いられるだけで、上位領野、下位領野には送る必要がない、という可能性がある。少なくとも、BEL(xϕ )33

λX (uk ) =以上の議論は、ノードが２つより多くても全く同様

β2 max λ(x)xmax
u1 ,···,um /uk

P (x|u1 , · · · , um )∏に成り立つ。したがって、メッセージ λR (x) は一般にπX (ui )以下のようになる。

i̸=k

いま、分かりやすくするために、ノード R の親ノー

λR (x) = R(x)(10.11)

ドが X1 , X2 の２つしかないと仮定する。ノード R か
以上の結果に基づくと、制約条件 R(x) を加えたベらノード X1 へのメッセージ λR (x1 ) は以下のようにイジアンネットにおける belief revision アルゴリズム書ける。

は、下記のようになる。（追加部分を下線で示した。）

λR (x1 ) = β1 max λ(r) max P (r|x1 , x2 )πR (x2 ) (10.6)
r

x2

x∗

式 (3.3) で定義されたように、ノード R の条件付確=

argmax BEL(x)x率は以下のようになる。

P (R = 1|x1 , x2 ) =BEL(x)

1
R(x1 )R(x2 )Z(10.7)π(x)ＭＰＥ計算の際には観測値 R = 1 が与えられる。

=

λ(x)

Pearl の本 [6] p.256 に従えば、ノード R は、R のダ
ミーの子ノード Z から λZ (R = 1) = 1, λZ (R = 0) = 0というメッセージを受け取ると考えてよい。すると
λ(R = 1) = 1, λ(R = 0) = 0= αλ(x)π(x)max P (x|u1 , · · · , um )

u1 ,···,um= R(x)∏πX (uk )kλYl (x)lπYl (x)∏= β1 π(x)R(x)∏λYj (x)j̸=lλX (uk )(10.8)= β2 max λ(x)xmaxとなる。これをもとに λR (x1 ) を整理すると、以下のu1 ,···,um /uk

P (x|u1 , · · · , um )∏πX (ui )i̸=kようになる。

(10.12)λR (x1 )10.2 節で述べた近似ＢＲ（式 (10.3)）に対して同様の= β1 max λ(r) max P (r|x1 , x2 )πR (x2 )r

考えを適用すると、アルゴリズムは下記のようになる。

x2= β1 max(

λt+1
Yl (x) =λ(R = 0) max P (R = 0|x1 , x2 )πR (x2 ),max(ρt (yl ) + λt (yl )w(yl , x))
yl

x2

t+1

λ(R = 1) max P (R = 1|x1 , x2 )πR (x2 ))

λ

(x) =

= β1 max P (R = 1|x1 , x2 )πR (x2 )κt+1
Uk (x) =

R(x)

x2

λt+1
Yl (x)

l=1x2= β1 max((1/Z)R(x1 )R(x2 ))πR (x2 )x2

π t+1 (x) == ((β1 /Z) max R(x2 )πR (x2 ))R(x1 )x2

ρt+1 (x) =(10.9)

t+1
ZX

ここで、(β1 /Z) maxx2 R(x2 )πR (x2 ) は x1 の値によらない定数なので、無視しても belief revision の動

BEL

t+1

作に影響はない。（一般に、 belief propagation でも

uk
m
∑

κt+1
Uk (x)

k=1t+1

λ(x)π t+1 (x)= max ρt+1 (x)

(x) =
x∗

max w(x, uk )BELt (uk )

x
t+1

ρ

t+1
(x)/ZX= argmax BEL(x)(10.13)x

belief revision でも、あるノードへのメッセージとして送る数値ベクトルは定数倍しても結果は変わらない。

10.3.2

結果は最終的に正規化されるからである。）したがって、メッセージ λR (x1 ) は以下のように定義してもか

性能評価

このアルゴリズムが正しいかどうかを、

まわないことになる。

λR (x1 ) = R(x1 )n∏

IJCNN2011[5] と 同 様 の 性 能 評 価 を す る こ と で 確かめた。

(10.10)34

ノードの値に対してスパース性制約が加えられる場
合、R(x) の定義は次のようになる。
{
1(i = ϕ)R(xi ) =e−β (i ̸= ϕ)

共通子ノードＲを使う方法

10.4.1

まず、8 章で述べた制約ノードＲを素直に用いた場合の λR (x) を導き、計算量的に問題があることを示す。

(10.14)

ここでは、式を簡単にするためにノードが X1, X2,

X3 の３つの場合を考える。これら３つのノードが共通の子ノード R を持つとする。ノード R の条件付確

この式に従って厳密解と比較して近似精度を評価したところ、近似しない belief revision アルゴリズム率は以下のようになる。

（式 (10.12)）では、ＭＰＥの非常によい近似解が得られることを確認した。

P (R = 1|x1 , x2 , x3 )1
R(x1 , x2 , x3 )R(x2 , x3 , x1 )R(x3 , x1 , x2 )=Z
(10.15)

一方、近似ＢＲ（式 (10.13)）については、３層以上のネットワークに対しては、近似しない belief revision
よりも精度が悪いものの、あまり悪くない近似解が得られる。しかし、２層のネットワークについては非常

ただし、 R(x1 , x2 , x3 ) は、ノード X2, X3 から X1 へに悪くほとんどランダムに見える値が推定されてしまの側抑制の総和とする。

うという現象が観察された。原因はよくわからないが、前節と同様に、 λR (x1 ) を整理すると、以下のよう２層かつスパースだと、「入力ノードの値が複数の親になる。

ノードの値から決定される」という、近似ＢＲの仮定

λR (x1 )が成り立たなくなるせいかもしれない。いずれにせよ、実際の脳は多層なので、２層での近似精度の悪さは問= β1 max λ(r) max P (r|x1 , x2 , x3 )πR (x2 )πR (x3 )r

題にならないと思われる。重要なのは、脳のような大

x2 ,x3= β1 max P (r|x1 , x2 , x3 )πR (x2 )πR (x3 )規模なネットワークで、脳と似た条件のネットワーク

x2 ,x3∝にアルゴリズムを適用したときに、実用上十分な精度が出るかどうかである。この点について、今後より大max R(x1 , x2 , x3 )R(x2 , x3 , x1 )R(x3 , x1 , x2 )x2 ,x3πR (x2 )πR (x3 )規模なネットワークで評価していく必要がある。

10.3.3(10.16)
この式はこれ以上簡単にならず、ノード数 n に対し生物学的妥当性

メッセージ１つを計算するために O(2n ) の計算量が必要なり、スケーラブルではない。

ペナルティを含めた近似ＢＲアルゴリズムを実行する神経回路は、IJCNN2011[5] の神経回路に対するわ
ずかな修正で実現可能なため、IJCNN2011[5] の神経回

10.4.2路と同じ程度の生物学的妥当性を持つと言えるだろう。

10.4

２つのノードごとに共通子ノードを持たせる方法次に、２つのノードごとに、共通の子ノードを持た

belief revision と側抑制ＩＣ
Ａの統合に向けてせる方法を考える（図 10.1）。互いに側抑制するノードが n 個ある場合、子ノードの数は n(n − 1)/2 個になる。

この節では、belief revision アルゴリズムと 8 章で今、ノード X1 と X2 の間の共通子ノードを S12 と述べた側抑制ＩＣＡアルゴリズムとを統合するアイデする。２つのノード間の抑制の強さは対称で、以下のアについて述べる。なお、このアイデアはまだ実装・式で表されるとする。

評価を行っていない。

P (S12 = 1|x1 , x2 ) =35

1
S(x1 , x2 )Z

(10.17)

一方、２つのノードごとに子ノード Sij を持たせる
方法では、必然的にネットワークに loop が生じるため、 loopy belief revision になる。メッセージ１つをX1

X2計算する計算量は O(1) 、n(n − 1)/2 個の子ノードのX3導入で増えるメッセージの数は O(n2 ) 個である。もし収束までに数ステップの反復が必要だとしても、計算

隠れ層

量は O(2n ) よりは圧倒的に少ない。もともと BESOM
S12

S31

では loop のあるベイジアンネットでの高速な近似解S23法を目指しているので、こちらの方が好ましい性質を持っていると言える。

側抑制を表現するノード

問題は、この方法で実用上十分な近似精度が得られ入力層るかどうか、である。特に、 loopy belief revision は収束の保証がないため、振動が心配される。これについては、今後実験により検証していく必要がある。

図 10.1: ２つのノード Xi , Xj が互いに側抑制する状
況を、２つの間に共通の子ノード Sij があるベイジア
ンネットで表現する。

10.5

このときメッセージ λS12 (x1 ) は、以下のようになる。

6 章で述べた入力データの与え方は、belief revision
アルゴリズムにも適用可能であるが、6.4 節で述べた

λS12 (x1 )ように生物学的妥当性に問題があり、別の方法を考え= β1 max λ(s) max P (S12 = s|x1 , x2 )πS12 (x2 )s

入力の与え方x2

る必要がある。

∝ max P (S12 = 1|x1 , x2 )πS12 (x2 )神経科学的知見によれば感覚器からの入力は単なる

x2∝ max S(x1 , x2 )πS12 (x2 )x2

中継器である視床2 を経由して一次感覚野の４層に入(10.18)力される。このことを素直に BESOM モデルに当て

この場合は計算量が極めて少なく、神経回路での実はめれば、感覚器からの入力は λYl (x) メッセージと現も容易な計算式となる。

して入力されてくると解釈すべきである。この解釈でなお、近似ＢＲにこのアイデアを適用する場合は、入力データの学習・認識が正しく動作するかどうかは

πS12 (x2 ) の代わりに BEL(x2 ) または ρ(x2 ) を使う。
ρ(x2 ) を使う場合は IJCNN2011[5] の神経回路に対今後、実験により検証する必要がある。

応付けると３層から３層への結合になる。実際の大脳10.6皮質では、３層から同じ方位選択性を持つ（言いかえ今後ればヘブ則により結ばれる）別のコラムの３層への結本章で述べた近似ＢＲは、大脳皮質の認識アルゴリ

合があることが知られており、それがＩＣＡのためのズムのモデルの最終版というわけではない。あくまで側抑制である可能性がある。

も第一歩にすぎず、今後も性能向上や生物学的妥当性の向上のために修正される可能性がある。

10.4.3

計算量と近似精度に関する考察

共通の子ノード R を持たせる方法では、もとのベ
イジアンネットの形によっては、ノード R を追加してもネットワークが loop を持たない場合がある。その場合は belief revision は厳密解を計算できる。しかし
2 TR2008[2] の p.27 で、視床は「値」から「値の確率分布」への変換を行うのではないかという予想を書いたが、視床にそのような機能はなく、単純に信号を中継するだけらしい。

ながら、メッセージ計算の計算量は上に書いたように

O(2n ) となる。
36

第 11 章 まとめと今後
本文章で述べたすべてのアイデアを、次期バージョンの BESOM で１つの実装にまとめ、さらに強化学
習や時系列学習などいくつかの機能を追加すれば、大脳皮質のアルゴリズムのもっとも基本的な機能のモデ
ル（仮説）が一応の完成を見せるのではないかと、今のところは考えている。
しかし、その先にも、人間のような知能を再現させるためにやるべきことは多い。
大脳皮質の基本機能が計算機上で再現できればその次は、大脳皮質が実現する様々な高次機能を再現する必要がある。高次機能とは具体的には、思考や言語理解などである。そのためには、これらの高次機能を実現している前頭前野や言語野の領野間の接続構造を BESOM
を使って再現した上、領野ごとに固有の事前知識を作り込む必要があるだろう。
高次機能の再現の見込みが立てばその次は、脳の大脳皮質以外の組織、特に海馬、小脳、扁桃体のモデルと大脳皮質モデルとを統合し、脳全体の機能を再現することが必要になる。これらの組織のモデルの研究はそれなりに進んでいるが、大脳皮質のモデルとの統合の方法は自明ではない。ここでも、機械学習理論の深い知識と多くの神経科学的知見が必要となるだろう。
脳全体の機能が再現できればその次は、知能を持つロボットが「人間の役に立とう」という意思を持つよ
うに、情動を設計する必要がある。生物には子孫を残そうとする意思を持つような情動が作り込まれているが、ロボットに作り込むべき情動はそれとは大きく異なることになる。

TR2008[2] の１３章で指摘したように、知能の高いロボットには有用性もあるが危険性もあり、それに対する対策も早いうちに考えておく必要がある。
以上のように「知能の高い役に立つロボット」の実現に向けた道筋はほぼ見えているにも関わらず、そのことが世の中にほとんど知られておらず、この目標に向けて真剣に取り組む研究者が極めて少ない状況が、依然として続いているのは大変残念なことである。

37

[6] J. Pearl , Probabilistic Reasoning in Intelligent
Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.

参考文献[7] T. Kohonen, Self-Organizing Maps. SpringerVerlag, 1995.
[8] T. コホネン, 自己組織化マップ（改訂版）, シュプ
リンガー・フェアラーク東京, 2005. （[7] の邦訳。）[1] Yuuji ICHISUGI, The cerebral cortex modelthat self-organizes conditional probability tables and executes belief propagation, In Proc.

[9] Aapo Hyvarinen, Juha Karhunen, Erkki Oja,
Independent Component Analysis, Wiley-of International Joint Conference on Neural
Networks (IJCNN 2007), pp.1065–1070, Aug

Interscience, 2001.

2007.
http://staff.aist.go.jp/y-ichisugi/
besom/20070509ijcnn-paper.pdf[10] A. ビバリネン, E. オヤ and J. カルーネン, 詳解
独立成分分析, 東京電機大学出版局, 2005. （[9] の[2] 一杉裕志、「脳の情報処理原理の解明状況」産業技術総合研究所テクニカルレポート AIST07-[11] Olshausen BA, Field DJ, Emergence of simple-

邦訳。）

cell receptive field properties by learning a sparsecode for natural images, NATURE 381 (6583):
607-609 JUN 13 1996.

J00012, Mar 2008.
http://staff.aist.go.jp/y-ichisugi/
besom/AIST07-J00012.pdf[12] Daniel D. Lee and H. Sebastian Seung, Learning the parts of objects by non-negative matrix[3] 一杉裕志、「大脳皮質のアルゴリズム BESOM
Ver.1.0」, 産業技術総合研究所テクニカルレポー

factorization Nature 401, 788-791 (21 October1999).

ト AIST09-J00006, Sep 2009.

http://staff.aist.go.jp/y-ichisugi/
besom/AIST09-J00006.pdf[13] 田尻 隆, 倉田 耕治: 二つの 1 次元 SOM の結合による独立成分分析と主成分分析, 電子情報通信学
会技術研究報告 ニューロコンピューティング研究[4] Yuuji Ichisugi, Haruo Hosoya: Computational
Model of the Cerebral Cortex that Performs

会, Vol.104, No.139(20040617) pp. 61-66, 2004.

Sparse Coding Using a Bayesian Network
and Self-Organizing Maps, In Proc. of 17th
International Conference on Neural Information[14] Reynolds JH, Heeger DJ: The normalization model of attention, Neuron. 2009 Jan
29;61(2):168-85.

Processing (ICONIP 2010), Part I, LNCS 6443,
pp.33–40, Nov 2010.
http://staff.aist.go.jp/y-ichisugi/
besom/2010iconip.pdf[5] Yuuji Ichisugi: ”Recognition Model of Cerebral
Cortex based on Approximate Belief Revision
Algorithm”, To appear in Proc. of IJCNN 2011.
http://staff.aist.go.jp/y-ichisugi/
besom/2011ijcnn.pdf

38

大脳皮質のアルゴリズム BESOM Ver.2.0
産業技術総合研究所テクニカルレポート AIST11-J00009
2011 年 9 月 30 日
独立行政法人 産業技術総合研究所〒305-8568

茨城県つくば市梅園 1-1-1

中央第 2

TEL：029-861-2000

AIST11-J00009