脳の情報処理原理の解明状況
産業技術総合研究所テクニカルレポート

AIST07-J00012
一杉 裕志
産業技術総合研究所 脳神経情報研究部門

http://staff.aist.go.jp/y-ichisugi/j-index.html
2008 年 3 月 31 日

概 要
筆者は、人間のような知能の高いロボットの実現を目指し、脳の情報処理原理解明の突破口を開く研究を行っている。現在のところ、極めて有望な結果が得られているので、それを報告する。
筆者は BESOM モデルと呼ぶ、大脳皮質の神経回路モデルを設計した。BESOM モデルは４つの機械学習技
術（自己組織化マップ、ベイジアンネット、独立成分分析、強化学習）をエレガントに組み合わせたもので、脳の機能を再現させるモデルとして計算論的に妥当な特徴を持っている。そして、計算論的に導かれたアルゴリズムを実行する神経回路は、驚くべきことに大脳皮質の主要な解剖学的特徴と非常によく一致しており、大脳皮質の情報処理原理を説明する正しいモデルであることはほぼ間違いない。このモデルを用いて、概念獲得、パターン
認識、行動獲得、思考、言語獲得などの、大脳皮質の主要な機能を再現する具体的方法も明らかになりつつある。
この神経回路モデルは計算機上で効率的に実行可能であり、工学応用の面でも有望である。筆者は現在、計算機シミュレーションに向けてモデルの詳細化に取り組んでいる。このモデルにより、人と同じような知能を持ったロボットの実現が現実のものになりつつあると考える。
多くの研究者が本文書で述べられている内容の有望さを理解し、まだ残されている未解決の問題に取り組み始
めることで、脳の情報処理原理の実用化が一日でも早く実現することを期待する。

謝辞
本研究は膨大な数の研究者（特に神経科学、機械学
習分野）によって得られた知見に基づいています。筆者の不勉強ゆえ、文献の引用が不十分であると思います。本文章に引用されていない文献の著者の方々を含め、直接的・間接的に影響を与えた全ての研究者の方々に深い敬意を表したいと思います。
また、研究の初期からエンカレッジしていただいている、産総研所内、所外の多くの研究者の方々にも感謝いたします。

1

目次
第 1 章 はじめに

1.1

この文書の目的 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.2
1.3

この文書の読み方 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.4

研究の目的

現在までに得られている成果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

77. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

知能の高いロボットの実現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8
9

1.4.1
1.4.2
1.5

1.6

人間の脳に対する理解 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

なぜ今、脳の理解が可能になるのか . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5.1

膨大な神経科学的知見の蓄積 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.5.2
1.5.3

機械学習技術の成熟 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10
10

1.5.4 脳の理解を妨げてきた問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
今後何が必要か . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11
11. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2.1

ニューロン

2.2
2.3

シナプスの学習則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
神経回路の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
大脳皮質の構成要素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

第 3 章 BESOM モデルに関係する機械学習技術

3.3

12
12
12
13

2.3.1

3.2

9
9

脳の情報処理原理の解明はパズルに似ている . . . . . . . . . . . . . . . . . . . . . . . . .

第 2 章 BESOM モデルに関係する神経科学的知見

3.1

7
7

自己組織化マップ（Self-Organizing Map, SOM） . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.1
3.1.2

ＳＯＭの学習アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.3
3.1.4

ＳＯＭによる関数近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.5
3.1.6

ＳＯＭの耐故障性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.1.7
3.1.8

ＳＯＭの問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ＳＯＭによる概念獲得、連想記憶、汎化 . . . . . . . . . . . . . . . . . . . . . . . . . . .
ＳＯＭの記憶域管理機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ＳＯＭと大脳皮質との関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16
16
16
17
18
18
18
18

ＳＯＭのまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19
19

ベイジアンネット (Bayesian network) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2.1 ベイズの定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19
19

3.2.2
3.2.3

ベイジアンネット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ベイジアンネットと大脳皮質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19
20

3.2.4

ベイジアンネットの問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

3.2.5 ベイジアンネットのまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
独立成分分析（Independent Component Analysis, ICA） . . . . . . . . . . . . . . . . . . . . . .

20
20

3.3.1
3.3.2

大脳皮質とＩＣＡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ＩＣＡの問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21
21

3.3.3

ＩＣＡのまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

2

3.4

3.5

強化学習 (Reinforcement learning) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3.4.1

遅延報酬課題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21
21

3.4.2
3.4.3

sarsa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
脳と強化学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21
22

3.4.4
3.4.5

強化学習の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
強化学習のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22
22

BESOM と関係しない技術 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

第 4 章 BESOM モデルの概要

23

4.1
4.2

BESOM モデルの構成要素 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
BESOM の基本動作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23
23

4.3
4.4

BESOM によるテーブル表現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
BESOM による大脳皮質の機能の実現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24
24

4.4.1
4.4.2

パターン認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
推論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24
25

4.4.3

運動野による行動獲得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

4.4.4
4.4.5

時系列学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
前頭前野による行動計画 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26
26

4.5

4.4.6 言語 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
脳の他の組織の役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26
26

4.6

まとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

第 5 章 ＳＯＭによる条件付確率表の自己組織化と、近似確率伝播アルゴリズム

5.1
5.2

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.3
5.4

学習ステップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.5

BESOM のアーキテクチャ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
認識ステップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28
28
29
29

5.4.1
5.4.2

条件付確率表の近似 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.4.3
5.4.4

近似確率伝播アルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
近似確率伝播アルゴリズムの行列を用いた表現 . . . . . . . . . . . . . . . . . . . . . . . .

31
31

5.4.5

メッセージ送信相手からの情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2930

必要とする記憶量・計算量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

5.4.6 ノイズへの耐性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
神経科学的知見との対応 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3232

大脳皮質の解剖学的特徴 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32
33

5.5.1
5.5.2
5.6

28

６層への近似アルゴリズムの変数の割り当て . . . . . . . . . . . . . . . . . . . . . . . . .

未解決の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.6.1

条件付確率表の近似の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.6.2
5.6.3

学習則の問題と正則化の機構の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.6.4
5.6.5

メッセージ送信相手からの情報を含めることによる影響 . . . . . . . . . . . . . . . . . . .

5.6.6
5.6.7

学習ステップの神経科学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5.6.8
5.6.9

３層錐体細胞による掛算の実現方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

記憶のモジュール構造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
確率伝播アルゴリズムの収束性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
学習ステップと認識ステップ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
一次視覚野の神経科学的知見の再現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33
33
33
35
35
35
35
35
35
35

5.6.10 子ノードごとのボトムアップ信号の分離の実現方法 . . . . . . . . . . . . . . . . . . . . .

36

5.6.11 入力サンプルの再入力の機構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

3

5.6.12 網様体賦活系の機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6.13 他に存在するかもしれない機能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36
36

5.6.14 学習則の詳細化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6.15 領野による６層構造の違い . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36
37

第 6 章 独立成分分析による階層的な生成モデルの自己組織化

6.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2

独立成分分析と生成モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.3

6.2.1

独立成分分析と大脳皮質 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.2.2
6.2.3

生成モデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39
39

BESOM と統合可能なＩＣＡアルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.3.1 ２次元ＳＯＭによるＩＣＡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40
40

複数のＳＯＭによるＩＣＡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
このＩＣＡアルゴリズムの利点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4041

提案仮説の神経科学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
視線の方向と物体の位置の情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42
42

6.4.3 ＴＥ野におけるコラム構造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
議論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42
42

6.5.1
6.5.2

大脳皮質で表現されるベイジアンネット . . . . . . . . . . . . . . . . . . . . . . . . . . .

42
42

6.5.3
6.5.4

抽象概念の獲得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.5.5
6.5.6

自分自身の状態の認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6.4.1
6.4.2
6.5

6.6

物体の位置、動き、形の情報

リカレントなネットワーク . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
２つの１次元ＳＯＭと１つの２次元ＳＯＭ . . . . . . . . . . . . . . . . . . . . . . . . . .

4343

脳内における情報コーディング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

43
43

6.5.7 領野とハイパーコラムの関係 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
未解決の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44
44

正則化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44
44

6.6.1
6.6.2

. . . . . . . . . . . . . . . . . . . . . . . . . . . .

大脳皮質によるＩＣＡの解剖学的証拠第 7 章 強化学習

45

7.1
7.2

大脳皮質−基底核ループによる強化学習モデルの提案 . . . . . . . . . . . . . . . . . . . . . . . .

7.3
7.4

階層的マルチエージェント強化学習のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . . .

7.5

合理的な強化学習アルゴリズムの提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.6

38
38

脳は独立成分分析を使って生成モデルを自己組織化するという仮説の提案 . . . . . . . . .

6.3.2
6.3.3
6.4

38
38

運動野と運動細胞のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
運動前野による運動の自動化のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.5.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7.5.2
7.5.3

マッチングの法則 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45
46
46
47
47
47

マッチングの法則を満たす強化学習アルゴリズム . . . . . . . . . . . . . . . . . . . . . .

48
48

7.5.4 考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
未解決の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48
48

7.6.1
7.6.2

階層的強化学習の具体的なアルゴリズム . . . . . . . . . . . . . . . . . . . . . . . . . . .

48
49

7.6.3
7.6.4

ポピュレーションによる強化学習のモデル . . . . . . . . . . . . . . . . . . . . . . . . . .
期待値最大の行動選択に関する問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49
49

7.6.5

損失関数の学習 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

7.6.6

Δt の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

適格度トレース . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

第 8 章 時系列学習

8.1

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8.2
8.3

大脳皮質による時系列学習のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
変形に強いパターン認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

第 9 章 思考9.1

前頭前野背外側部による状態変化予測のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . .

9.1.1
9.1.2

背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.1.3
9.1.4

部分観測マルコフ決定過程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

状態変化予測機構のモデル . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51
51
51
51
52
52
52
52

観測ノイズを除去するフィルタ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53
53

9.2
9.3

後悔の情動

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ベータ波とシータ波 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53
53

9.4

未解決の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9.4.1

思考と実際の行動の切り替えの機構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53
53

9.4.2

解剖学的妥当性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

9.4.3

情報の流れを制御する機構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

第 10 章 知識表現

54

10.1 フレーム . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2 BESOM による知識表現と推論 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54
54

10.3 BESOM による知識の継承の実現 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.4 特徴選択と例外 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54
54

10.5 未解決の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.5.1 矛盾した知識の解消の機構 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

54
54

第 11 章 脳のその他の重要な機能

11.1 バインディング . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56
56

11.2 多義図形の解釈 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56
56

11.2.2 BESOM による多義図形の認識 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2.3 知覚交代 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56
56

11.2.4 多義図形と選択的注意 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

56

11.3 選択的注意 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.4 ワーキングメモリ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57
57

11.5 言語獲得 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.6 扁桃体と情動 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57
57

11.7 小脳の役割 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.7.1 複数のＳＯＭによる関数近似の問題点 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58
58

11.7.2 小脳損傷患者の症状 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.7.3 小脳の関数補完仮説の提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

58
58

11.8 前頭前野眼窩部のモデルの提案 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

第 12 章 脳のモデルのための制約条件と指導原理

60

12.1 脳の情報処理原理が満たすべき制約条件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.1.1 制約条件を整理する意味 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60
60

12.1.2 耐故障性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

12.1.3 スケーラビリティ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

5

12.1.4 単純さ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.1.5 ノイズへの耐性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60
61

12.1.6 漸進的進化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.2 脳の情報処理原理を推測するための指導原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61
61

12.2.1 報酬量最大化原理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.2.2 ベイジアンネット . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

61
61

第 13 章 実用化に向けて

13.1 計算量から見た実用化の可能性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62
62. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62
62

13.4 安全性の問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
13.5 社会的問題 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63
63

13.6 実用化の時期 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

13.2 ハードウエアコスト
13.3 ソフトウエアコスト

付 録 A 近似確率伝播アルゴリズムの導出

64

A.1 ＳＯＭが獲得する条件付確率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

A.2 近似確率伝播アルゴリズムの導出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

6

るだけ前提知識がなくても理解可能になるように努めている。4 章以降の BESOM モデルの詳細を理解するために必要な神経科学の基礎知識は 2 章で、機械学習

第 1 章 はじめにの基礎知識は 3 章で説明する。
興味のある章から読み始められるように、各章の内容はできるだけ独立した構成とし、他の章で書かれている内容を前提とする場合は、章の始めの方でその要1.1

約を書くように心がけている。

この文書の目的

また、神経科学の分野に興味のない読者のことを考慮して、神経科学の用語が書かれている節（あるいは筆者は、人間のような知能の高いロボットの実現を目指し、脳の情報処理原理解明の突破口を開く研究をパラグラフ）は読み飛ばしても、 BESOM モデルの機行っている。

械学習の側面は理解可能になるように書かれている。

体像の有望さを読者に理解してもらうことである。現4 章以降では、章の最後の節で、モデルの未解決の問題について述べている。これらの節については筆者

在の神経回路モデルは不完全であり、いくつかの点を自身にとっても内容が未整理なため、必ずしも少ない

修正しないと計算機上で動かすことはできないことが知識で理解可能なようには書かれていないことをお断分かっている。従って、権威ある論文誌で発表する段りしておく。

この文書の一番の目的は、まずは本アプローチの全階ではない。しかし、計算論的妥当性および神経科学的妥当性を示す多くの証拠から、筆者が提案するモデ

1.3

ルは、脳の情報処理原理を説明する有望なモデルであ

現在までに得られている成果

ると考えている。このモデルの全体像はそれなりに複

筆者は 2005 年度より、それまでの計算機科学（プ雑であり、内容や根拠を短いページ数で説明すること

ログラミング言語関係）の研究を中断し、以前から興はできない。本文書では、ページ数に制限のない形で、味を持っていた脳の研究を始めた。現在までに得られモデルの詳細とそれが正しいと思われる計算論的根拠ている成果を簡潔に述べおく。

および神経科学的根拠について詳しく説明する。

まず、計算論的神経科学の分野に対する主な貢献と本文書を読む多くの研究者が本文書に書かれている

して、以下のものがある。これらの成果により、人間

内容の有望さを理解し、まだ残されている未解決の問の知能に関与する最も重要な組織である大脳皮質の情題への取り組みに興味を持っていただけることを期待

報処理原理は、かなり解明されたと言ってよいと考え

している。

ている。

本文書を読んでもなお、有望さに同意できない研究

1. 大脳皮質の主要な解剖学的特徴である６層構造

者も多いことと思う。そのような方々はもっと明解な証拠が出揃うまでお待ちいただきたい。しかし、本文[29] [30] の機能的な意味の大部分を、かなり詳細書で取り上げた脳の主要な解剖学的特徴や、機械学習に説明できる [16] [17][18] （5 章）。計算論的に導技術は知っておいても損はないと思われるので、このかれたアルゴリズムを実行する神経回路は６層構

機会に興味を持っていただければ幸いである。

造とよく一致しており（5.5 節）、モデルの正しさを示す強い証拠である。

本文書は、筆者が提案する BESOM モデルと呼ぶ
神経回路モデルの「リファレンスマニュアル」でもあ2. 運動制御・意思決定に関与する大脳皮質−基底核
ループと呼ばれる解剖学的特徴 [22] の機能的な意る。複雑にからみあった機能的要請と要素技術と仮説と証拠と未解決の問題を、本文書によって整理しよう

味を説明する従来モデル [21] に対し、大脳皮質のと試みている。

役割を説明する拡張を行っている [15]（7 章）。

3. 大脳皮質の領野が作る結線図 [5] における上下方

1.2

この文書の読み方

向および横方向の結合の機能的な意味を説明できる（??章）。

BESOM モデルの内容とその妥当性を理解するため

4. 脳の他の重要な組織、すなわち海馬、小脳、扁桃体、視床に関しても、ある程度その機能的意味をには、神経科学と機械学習に関する多少の基礎知識が必要となる。しかし本文書を書くにあたっては、でき推測できる（4.5 節）。

7献ができるものと期待している。ただし、現段階では

4. 意外に少ない計算量で脳の機能が再現できる可能性がある。本モデルではニューロンの発火頻度がアルゴリズムは未完成であり、計算機シミュレーショ

主要な情報を表現しているため、パルスレベルのンによる動作確認は行われていない。

精度のシミュレーションが不要である。また、本

機械学習・人工知能分野に対しては、主に以下の貢モデルのアルゴリズムに対しては、生物には実現

1. 大規模ベイジアンネット上で、スパース性などい不可能な最適化が、デジタル計算機上ではおそら

くつかの仮定のもとで効率的に動作する近似確率

く可能である。計算量が少なければ、今後の研究

伝播アルゴリズムを提案する [16][18]（5 章）。

開発や製品化の際のコストが比較的少なくすむことが期待される。

2. 大規模ベイジアンネットのネットワーク構造を、ＳＯＭとＩＣＡを用いて教師なしで獲得する機構を提案する [16][17][18] （5、6 章）。

1.4

研究の目的

1.4.1

知能の高いロボットの実現

3. ベイジアンネットと強化学習を組み合わせた機構を提案する（7 章）。
これらの他に、階層的マルチエージェント強化学習（7.3

筆者の研究の一番の目的は、人間のように高い知能節）、部分観測マルコフ決定過程における強化学習（9を持ったロボットを実現することにより、社会全体の章）、非単調推論が可能な知識表現（10.3 節）、言語獲

生産性を飛躍的に向上させ、人々の生活をより豊かに得（11.5 節）などに関してもベイジアンネットを用いすることである。
生産性の向上のために、今日では様々な生産活動のた新しい手法を提案できる見込みである。
以上の主張の妥当性は、計算機シミュレーションが自動化が試みられている。しかし、自動化による生産動いていないために現時点では明確さに欠けるが、妥性向上には限界がある。従来から人間が行っている労当性を示す間接的証拠を本文書でできる限り示す。

働のうち、高度な知能が要求される作業は、自動化はもし筆者が提案する脳のモデルが正しければ、今後難しい。また、自動化しても需要の少ない（ロングテーの脳の情報処理原理の解明の進め方そのものに関して、ルの）作業の場合、開発費を回収することができない

以下のことが言える。おそらく今までの多くの研究者ため、結局自動化されない。現在はこのような仕事はの予想を覆すものであり、脳の研究の流れを大きく変専用に開発された機械ではなく、多少複雑な作業でもえることになると思う。

それなりにこなすことのできる人間が行うことになる。
人間は常識を持っているので、ある程度簡単な仕事に

1. 脳は未知の情報処理原理を用いておらず、既存の情報処理技術の組み合わせだけで非常に明解に理はすぐに対応できる。また、人間は必要に応じて自分自身で考えて必要な知識を自ら獲得する。多少専門知解可能である。これにより多くの研究者が漠然と識が必要な仕事の場合でも、自動化機械の開発コスト持っている「脳が簡単に理解可能なはずはない」に比較すればはるかに少ないコストで、必要な専門知という心理的呪縛が取り除かれ、今後の解明が一

識を教育することができる。

気に加速されると期待される。

人間と同様の知能を持ち、自分自身で知識を獲得し、

2. 脳の情報処理原理を記述するために、少なくとも今のところ難しい数学は必要ない。このため今後

自然言語を理解するロボットが実現できれば、人間で非常に多くの研究者・技術者がモデルの改良と応行えるようになるはずである。常識を教育済みのロボッ

用に貢献可能であり、これまで予想されていたよトの知識をコピーし、個別の要求に応じた教育は自然

りも早い時期に高い知能を持ったロボットが実用言語を通じて人間と同様の低いコストで行えるならば、化される可能性がある。

労働市場のロングテールにも対応することができる。

なければできなかった仕事を人間よりも低いコストで（詳しくは 13 章で議論する。）

3. やみくもに大規模な神経回路網を作って知能を「創日本はすでに少子高齢化を迎えているが、世界的に発」させようというアプローチを取らなくても、見ても、食糧供給の上限により将来の人口成長率の低知能を持つべくして持つような情報処理装置が設

下は避けられない。数十年先には世界的な少子高齢化

計可能に思われる。このことは脳と同じ機能を持っ社会が訪れ、世界は深刻な労働力不足に直面する可能

た情報処理装置が十分に制御可能な安全なものに性がある。この問題を解決する基礎技術として、脳のなる可能性も意味している。

情報処理原理の解明を急ぐべきである。

8

人間と同じ知能を持つロボットを作るには、純粋に工学的な技術開発の手法をとるよりは、人間の脳に関して得られている知見を徹底的に分析し、脳を模倣した方がはるかに速く確実であると筆者は考える。
一般に、新しい技術を０から作るのに比べて、すでに動いている技術をリバースエンジニアリングして模倣するほうがはるかに容易で確実である。新技術の多くは一見有望そうに見えても、開発が進むにつれコスト、安全性、安定性などの問題に阻まれ、実用化されずに消えていく運命にある。一方、脳が行っている情報処理は、新技術ではなく、正しく動くことが実証済
みで、利点も欠点もよく理解されている「枯れた技術」と見なせる面が多いのである。
図 1.1: ５つの並行した大脳皮質−基底核ループ。
（文
献 [22] より。）左から順に、運動ループ、眼球運動ルー

1.4.2

人間の脳に対する理解

プ、背外側前頭前野ループ、背側眼窩前頭野ループ、前部帯状回ループ。各ループは、大脳皮質→線条体→淡脳の情報処理原理が理解され、脳の機能が計算機上

蒼球内節／黒質網様部→視床→大脳皮質という経路でで再現されるようになれば、人間の脳が持つ機能に対ほぼ独立した回路を形成する。

する理解も飛躍的に深まるものと思われる。そもそも脳研究の難しさの一因は、脳の中で行われている情報

1.5

処理の可視化の難しさにある。脳の活動を破壊せずに

なぜ今、脳の理解が可能になるのか

ニューロンの活動を計測すること（非侵襲計測）は比較的難しく、さらに１０００億個のニューロンが行っ

1.5.1ている膨大な情報処理の全てを計測することはまず不膨大な神経科学的知見の蓄積可能である。また、脳は複雑な内部状態を持っている神経科学の分野においては、この十数年ほどの間にので、実験条件を少しづつ変えた比較実験や、同一条

飛躍的に多くの成果が得られてきている。特に 1990

件による再現実験が容易ではないという問題もある。

年からの１０年間、米国は「脳の１０年」を宣言して

また、脳の情報処理原理がそもそも分かっていないた

大規模に脳神経科学を推進し、欧州や日本もそれに続め、不要な情報を捨て必要な情報だけを効率的に計測

いて脳科学の研究を推進している。 fMRI のように脳する計測器の設計も現時点では不可能である。

の働きを非侵襲計測する新しい技術も普及し、今まで脳の機能が計算機上で再現されるようになれば、こは調べることが難しかった人の高次脳機能と脳の部位

れらの問題はすべて解決する。汎用計算機上で行われとの関連に関しても膨大な知見が得られるようになっるすべての情報処理は、容易に取り出して可視化するてきている。

ことができる。計算機上に再現された脳の内部状態は脳の情報処理原理に関して確定的なことはほとんど容易に保存・複製が可能なので、パラメータを変えた

分かっていないと言われるが、確定的でなくてよけれ

実験も容易である。また、脳の情報処理原理がひとたば、今日では実に膨大なことが分かっているのである。

び分かってしまえば、生物の脳に対する計測技術に対筆者が神経科学の基礎を勉強し始めた時に目にして、しても、効率的に不要なノイズを除去可能になるなど強い衝撃を受けた図を紹介する。図 1.1 は、大脳皮質−の貢献があると思われる。

基底核ループと呼ばれる解剖学的構造 [22] である。大脳の理解が深まれば、人間の複雑な精神の働きや、脳皮質の５つの領域が、大脳基底核と視床の異なる領脳に関係する病気が起きる機構についても理解が深ま域を経由して大脳皮質の同じ場所に戻り、５つの並行

り、人類の幸福な社会生活にも役立つと考える。

したループを構成している。大脳基底核は、運動調節等に関与すると言われている場所である。
この構造は筆者が長年持っていた疑問に答えるものだった。人間は歩きながら物を考えることができるし、同時に眼球をあちこちに動かすことができる。これら

9

は統一して動くこともあるが、それぞれがほとんど無汎化能力と呼ばれる機械学習分野における中心的な概意識に独立に動くこともあるのである。そのことを説念であり、今日ではその性質が深く理解されている。

明する解剖学的構造が、まさに５つの並行ループの中

筆者は、機械学習の要素技術を適切に組み合わせれにある。５つのループのうち３つは、運動ループ、眼ば、脳の機能は計算機上で再現できそうであると強く球運動ループ、背外側前頭前野ループと名づけられて感じた。ただし、組み合わせ方は自明ではないので、

おり、独立に動く身体・眼球・思考の３つにきれいに

神経科学の知見を深く広く調べて、正しい組み合わせ対応がつくように筆者には思われた。

方を推測する必要がある。

このような脳の不思議な振る舞いを、明解に説明し得る興味深い脳の解剖学的構造が、専門家にだけ知ら

1.5.3

れていることに大変驚いた。実は大脳皮質−基底核ループに限らず、他の組織に関しても、非常に多くの、いかにも意味ありげな解剖学的特徴が明らかになってい脳の情報処理原理の解明はパズルに似ているる。実際にある程度意味が解明されている解剖学的構1990 年以前は、どんな優秀な研究者が取り組んでも脳の情報処理原理を解き明かすのは不可能だったと思造も多いのである。例えば大脳皮質−基底核ループは、う。しかし、上で述べたように今や脳の解明に必要ないくつかの証拠から強化学習を行う構造であることが情報は十分に揃っており、そのことを知ってさえいれ

今日ではほぼ確実になっている。

ば、脳の解明は決して不可能なことではないと筆者は啓蒙書などで一般の人向けに解説される脳の情報処思う。

理のイメージの中には、計算機科学者である筆者から脳の情報処理原理の解明は、ナンバープレースとい見て、直感的に不可解と感じられるようなものも多い。

うパズルに似ている。ナンバープレースは、縦、横、３

しかし、そのような不可解な説明はすべて忘れてしまっ×３のブロックごとに数字が重複してはいけないといてかまわないと思う。筆者が最新の神経科学の知見をう制約条件を満たしつつ、１から９の数字を９×９の眺めた印象では、脳は極めて普通の情報処理装置なの

マス目の空いている場所に入れるというパズルである。

である。

脳の情報処理原理の解明とは、有限個の解剖学的構
造に、有限個の機械学習技術を割り当て、有限個の脳1.5.2の特徴的な機能が生じる機構を説明することである。

機械学習技術の成熟

ナンバープレースを解く際に重要なのは、全体を見

機械学習分野もまた、この十数年程度の間に非常に渡して数字を「埋められるところから埋める」という発展し、成熟してきている。機械学習の理論的背景が点である。ある場所に数字が入れば、制約条件が増え

深く理解されるようになり、また扱う対象もかつてのて、離れた場所に数字が埋まる。しかし、一箇所だけ

線形・ガウス分布を仮定したモデルから、より一般的に注目し他の場所から来る制約条件に気づかなければ、なモデルへと拡張され、適用範囲を十分に広げている。

永遠に数字を埋めることはできない。

機械学習分野の勉強をし始めて、筆者は大変衝撃を筆者の経験では、これと同じことが脳の情報処理原受けた。一般の人々に「脳でなければできない」と思わ理を解くパズルでも起きる。神経解剖学的知見は、具れている多くの機能が、すでに機械学習分野の要素技

体的な機械学習アルゴリズムを考えるヒントになる。

術として実現されていて、なかば常識的な技術となっ

そして、アルゴリズムを計算論的に妥当になるようにているのである。詳しくは 3 章で解説するが、例えば、

詳細化していくと、それまで無関係だと思っていた別「２つの似たものを同じ種類のものだと見なす能力」はの解剖学的特徴も説明が付くようになる。さらに、そ自己組織化マップ等を用いたクラスタリング、「将来をの解剖学的特徴から、それまで見落としていたアルゴ

見越して合理的な行動を選択する能力」は強化学習、

リズムの欠陥に気づくこともある。このように神経科「直感のような、曖昧な情報を総合して合理的な判断学の知見全体を見渡すことで、機械学習アルゴリズムを下す能力」はベイジアンネット、「感覚器からの入力との対応関係がより精密になっていく。脳の一箇所のだけを用いて、外界の構造を推定する能力」は独立成組織あるいは１つの機能だけに注目していては、この

1

分分析と呼ばれる技術で実現可能である 。また、「学

ような研究の進展は不可能である。

習時の状況とは違う状況にも知識を応用する能力」は現在のところ、脳の特徴的な機能と、脳の解剖学的1 なお、これらの技術の分かりやすい定番教科書が現れたのは比較的最近のことである。例えばベイジアンネットの教科書は 1988
年 [4]、強化学習は 1998 年 [10]、独立成分分析は 2001 年 [6] である。

組織は、本文書で述べる機械学習技術を通じて、ほぼ過不足なく対応付けられそうだという感触を持っている。本文書の読者も、このあとの章を読んで同じ感触10を持っていただけることを期待する。しかし、まだ大1.6

今後何が必要か

枠の対応がつき始めた段階に過ぎず、モデルはまだまだ不完全である。今後も脳を理解するために、機械学

これまでも述べたように、現在のところモデルを実

習と神経科学と認知科学の全体を見渡し、パズルを埋行するためのアルゴリズムは不完全である。具体的にめられるところから埋める、という作業を続けるべきどの部分の詳細化が必要か、何が未解決な問題かにつである。これが筆者がとったアプローチであり、他の

いては、この後の BESOM モデルを詳細に説明する研究者も取るべきアプローチであると思う。

各章の最後の節で述べるつもりである。

なお、その作業は簡単ではない。教科書どおりの機モデルの詳細化を行う際には、筆者が経験的に得た

械学習アルゴリズムがそのまま使えるとは限らず、本いくつかの指導原理が役立つのではないかと考えてい質を保ったまま適宜変形する必要がある。神経科学的る。これについては 12 章で述べる。

知見や脳の認知科学的特性についても、文献の主張を脳の情報処理アルゴリズムが決定したとしても、実文字通りに受け取ってはだめで、可能な限り根拠とな

世界から感覚器に入力される実データに対してモデルる実験手法にまで踏み込んで理解し、隠された本質をが具体的にどのように振る舞うかについては、まだ多見抜く必要がある。

くのことが明らかではなく、様々な計算機シミュレー
ションによって解明していく必要がある。
脳の情報処理原理の解明がほぼ終了したとしても、

1.5.4

脳の理解を妨げてきた問題

その応用に関しては、アルゴリズムの高速化、安全性の保証、効率的な運用方法など、さらに多くの技術開

脳の情報処理原理の理解に必要な情報がすでに揃っ発が必要となる。これらについては、詳しくは 13 章ているとしたら、なぜ今まで優秀な研究者たちがそれで議論する。

を発見していなかったのだろうか。

なお、この文書自体も完成度は高くなく、まだ「たおそらくこれまでに述べたような神経科学と機械学たき台」である。今後も、新たに気づいた証拠となる

習の最新の知見が、その分野以外の研究者にはほとん

神経科学的知見や問題点などを追加して整理し続けるど知られていないのが原因であろう。

必要があるだろう。

神経科学者は「脳の情報処理原理は解明されましたか？」と聞かれれば、普通は「脳に関して実に多くのことが分かってきましたが、脳の情報処理原理はまだ解明されていません」と答えるだろう。大多数の計算機科学者は、それを聞いて神経科学の最新の知見を深く理解しようとはしなくなる。
計算機科学者は「脳のような情報処理技術は開発されましたか？」と聞かれれば、普通は「多くの新しい
有用な技術が開発されてきましたが、脳と同じ能力を実現する技術はまだ開発されていません」と答えるだ
ろう。大多数の神経科学者は、それを聞いて最新の機械学習・人工知能の技術を深く理解しようとはしなくなる。
その結果、多くの神経科学者や計算機科学者が、「脳の情報処理原理は、現在の情報処理技術とは違う、全
く新しい未知の情報処理技術である」と信じ込んでいるものと思われる。
なお、神経科学と計算機科学をつなぐ学問領域として、計算論的神経科学という分野があり、着実な成果が蓄積されてきている。遅かれ早かれ、計算論的神経科学の発展により、脳の情報処理原理は十分に解明されると思われる。

11

第 2 章 BESOM モデルに関係する神経
科学的知見

x1
w1

x2
w2
.
.
.
xn

wn

y = φ ( ∑ wi xi )i

シナプス

ニューロンへの入力

ニューロンからの出力

本章では、 BESOM モデルを理解するための必要
最低限の神経科学的知見を、できるだけ少ない専門用語を用いて説明する。

図 2.1: ニューロンへはシナプスを経由して情報が入力され、演算結果を他のニューロンに出力する。

2.1

ニューロン

あるが、BESOM モデルでは発火頻度のみが情報を運ぶと考える。

ヒトの脳は約１０００億個の神経細胞（ニューロン）多くのニューロンは興奮性ニューロンであり、非負から構成される。個々のニューロンは他のニューロンの値のみを出力する。大脳皮質の約 20 ％のニューロからの入力を受け取り、演算結果を他のニューロンにンは抑制性ニューロンであり、正でない値 −y を出力送る。ニューロンから別のニューロンに接続する部分する。抑制性ニューロンは興奮性ニューロンとは違うをシナプスと呼ぶ。シナプスは結合の重みを持ってお種類の神経伝達物質をシナプスから放出し、出力先のり、この重みが大きいほど情報が強く伝達される。

ニューロンの発火を抑制する。

入力と出力の強さの関係はニューロンによって違う入力がなくても自発的に発火するニューロンもある。

が、典型的には下記のようにモデル化される。
y = φ(
wi xi )
(2.1)

その場合、平均発火率で０を表現し、それよりも高い
発火頻度と低い発火頻度で正と負の値を表現する場合

i

がある。

ここで、 xi は他のニューロンからの入力であり、各入力は結合の重み wi を持つシナプスを通して伝達され2.2るものとする（図 2.1）。つまり、このニューロンは、
ニューロンが持っている重みベクトル (w1 , w2 , · · · wn )T

シナプスの重みは固定のものもあるが、学習によっと入力ベクトル (x1 , x2 , · · · xn )T の内積値に対して非て変化するものがある。学習則はニューロンの種類に線形関数 φ を適用した値を出力する。

よって異なる。

上記の式 (2.1) と大きくかけ離れた計算能力を持つニューロンは、おそらく存在しない。すなわち、脳の情報処理原理を説明する神経回路は、この程度の演算

シナプスの学習則

典型的な学習則はヘブ則と呼ばれるタイプのもので、「シナプスの前のニューロンとシナプスの後のニューロンが同時に発火するならば、２つのニューロンを結能力を持つニューロンの組み合わせだけで、脳の様々

ぶシナプスの重みを強化する」というものである。ヘな機能を説明しなければならない。

ブ則に従う簡単な学習則として、例えば以下のような非線形関数 φ は典型的にはシグモイド関数のようなものが考えられる。

Ｓ字型のグラフになる関数である。１個のニューロン

wi ← wi + α(xi y − wi )は無限に大きな値を出力することは不可能であり、大きい値が入力されても出力の大きさは上限値近くで飽(2.2)

α は学習率である。この学習則の場合、重み wi は入和する。φ はこの性質を表現するために必要である。

力 xi と出力 y の相関の度合いを表す値に収束する。

なお、入力と出力の値の強さは、実際のニューロン

つまり、２つの値が同時に大きな値になることが多け

では神経パルス（スパイク）の発火頻度で表現される。

れば wi は大きな値に収束する。逆に片方が正の値のスパイクのタイミングが情報を運んでいるとする説も

12

ときにもう片方がほぼ常に０であれば、wi = 0 に収造は、「脳の普遍的な情報処理原理を直接的に反映す束する。

る、遺伝的に定められた構造」と、「脳が獲得した知識

小脳ではプルキンエ細胞の長期抑圧と呼ばれる、ヘの複雑さを反映する、学習結果を表す構造」が組み合ブ則（長期増強）とは違う学習則に従う現象も知られわさったものであることになる。筆者は、後者は極めている。

て複雑でも、前者は単純であると考えている（12.1.4
節参照）3 。

なお、生物学的に妥当なシナプス学習則は、その学習則の式の中に現れる変数の値が、シナプス近傍に存在していなければならない。これは、神経回路モデル

2.3.1を設計する際に注意すべき重要な制約条件である。式(2.2) でも、変数 wi , xi , y は確かにすべてシナプスの大脳皮質の構成要素

大脳皮質を構成する要素を、マクロなスケールから近傍に存在する値になっている。

ミクロなスケールに向かって説明する。一部筆者による主観が入った表現になっていると思うが、大筋では

2.3

神経科学者による同意が得られる内容であると思う。

神経回路の構成脳は、大脳皮質、大脳基底核、視床、海馬、扁桃体、脳の中に観察される神経回路は、一見するとかなり小脳といった組織から構成される。大脳皮質が、ヒト

ランダムな回路に見える。しかし、どの場所のどの種の知能に最も深く関係する情報処理を行う部分である。
大脳皮質においては、感覚器から入力された情報は類のニューロンがどこに多く接続しているかなど、非常に多くの知見が得られており、決してランダムな回

前頭前野に向かう領野階層4によって抽象化されてい路ではなさそうである。一方で、ワイヤードロジック

く。処理の階層の深さは１０段階程度である。前頭前呼ばれるデジタル回路のような、遺伝的に完全に固定

野では、得られた抽象的な情報を元に意思決定を行う。

した回路でもなさそうである。

意思決定の結果は、前頭前野から一次運動野に向かって今度は階層的に具体化されていき、最終的には筋肉

脳内の各組織は、ＦＰＧＡ（内部の回路構成を動的の運動として現れる。

に変更できるＩＣチップ）のような汎用性を持った回路の繰り返し構造で構成されており、その回路上の可大脳皮質による段階的な情報処理は、領野と呼ばれ変シナプスの重みによって、個人ごとの人格や記憶のる約５０の区分のネットワークを用いてより詳しく表

多様さが表現されるのではないかと筆者は考えている。

現できる。図 2.2 は解剖学者ブロードマンによってふ

前節で述べたヘブ則学習が、神経解剖学的に観察さられた領野の番号を示している。図 2.3 は、サルの大れる神経回路の形に影響を与えることがある。脳の中脳皮質の視覚系領野の結線図である。多くの領野は、の神経回路には、「同時に発火することの多いニューブロードマンの番号とは違う名前も付けられている。

ロンどうしが接続されている」という規則性が見出さ

例えば図 2.3 の下の方にある V1 は一次視覚野とも呼れることがある1 。この場合、２つのニューロンをつなばれ、ブロードマンの番号は１７野である。一次視覚ぐシナプスがヘブ則学習を行っているものと推察され野は、網膜からの情報が外側膝状体と呼ばれるところる。ヘブ則による学習の結果、重みが０になったとすを経由して入力される場所である。下位の領野と上位る。重みが０のシナプスは情報を伝達しないのだから、の領野との間には双方向結合がある。同じ領野階層に存在しなくても情報処理に影響を与えない。もしその属する領野の間にも、下位と上位を結ぶ結合とは異なような結合を切ってしまえば、不要なシナプスや軸索る種類の結合がある。個々の領野は異なる機能を持つ。

を維持するコストを節約できる。従って、このような領野ごとにその解剖学的構造は少しずつ異なるが、基節約の機構が脳内に存在すると考えることは合理的で本的にはかなりよく似ていると言ってもよい。

ある。この機構を踏まえた上かどうか分からないが、すべての領野は、 1mm2 程度の大きさのハイパー

ヘブ則は “Cells that ﬁre together, wire together.” とコラムと呼ぶ単位が１万個程度並んだものであると筆表現されることもある2 。

者は考えている（図 2.4）。普通はハイパーコラムは一

このように学習結果が神経解剖学的に観察される神次視覚野にある 1mm2 程度の区画を指す用語である。

経回路に影響を与えるものだとすれば、神経回路の構

一次視覚野以外の領野では、ＴＥ野で 1mm 程度の長1 例えば、6.6.2 節参照。

3 しかし大多数の神経科学者は、前者と後者を合わせた解剖学的構造の複雑さを根拠に、脳の情処理原理までもが解明不可能なほど複雑であると思い込んでいるのではないだろうか。
4 この用語は神経科学の用語ではなく、筆者の造語である。

2 ニューロンが軸索を伸ばしていくとき、自分と発火の相関がある標的ニューロンに向かって能動的に向かっていく機構があるのかもしれないが、筆者は不勉強のため知らない。

13

図 2.3: 視覚系脳領野の結線図。
（文献 [5] より。）最下端の網膜節細胞 (RGC) からの入力刺激は外側膝状体 (LGN)
を経由して大脳皮質の一次視覚野 (V1 、ブロードマンの１７野) に入力される。海馬 (HC)、前頭前野に向かって階層を上がるごとに情報が処理されていき、抽象度の高い情報になってゆく。

14

I
II
III
IV
V
VI

図 2.5: 大脳皮質の６層構造。層ごとに含まれるニューロンの数や種類が異なる。大脳皮質での主な情報処理
は、主に垂直方向のコラム構造の中で行われる。１層にはニューロンがあまりない。２層には小型の錐体細胞、３層には錐体細胞、４層には細かい星状細胞、５層には大型の錐体細胞が多い。６層は紡錘細胞などがある。水平方向の線維は１層、４層、５層、６層に多く、３層にも少しある。
さを持つ機能単位が見つかっており（6.2.1 節参照）、筆者はこれもハイパーコラムであると見なしている。
さらにすべてのハイパーコラムは、直径１００〜５００μ程度の大きさのコラムと呼ばれる柱状の機能単
図 2.2: 大脳皮質と領野。上は大脳の左半球を外側から位の集合である。コラムとは、大脳皮質において似た見たところ。下は大脳の右半球を内側から見たところ。

刺激に応答する細胞が見られる領域である。また、近いずれも図の左が前頭葉、図の右が後頭葉。数字はブ傍のコラムどうしは少しずつ違った刺激に応答する。

ロードマンによる大脳皮質の領野の番号。
（Wikimedia

例えば一次視覚野では特定の傾きを持った線分の視覚

Commons より、ファイル Gray726-Brodman.png お

刺激に応答する方位選択コラムが存在する。大脳皮質

よび Gray727-Brodman.png 。）

上での位置がずれるにつれ、少しずつ異なる傾きの線分に応答し、1mm 程度の中に全部の傾き (180◦ ) に応答する領域が含まれる。コラムは全ての領野で存在が証明されているわけではないが、一次視覚野やＴＥ野と呼ばれる場所で存在が確認されている。

ハイパーコラムコラム

大脳皮質は領野によらず 2mm 前後の厚さを持つ薄い組織であるが、さらに細かく見ると６層構造をしている（図 2.5）。層ごとに、存在するニューロンの数や

I
II
III
IV
V
VI

種類が異なる。各層に含まれるニューロン間の結合や、上下の領野の各層との間の結合には、例外が多くある
ものの、ある規則性があることが知られている（5.5 節
参照）。

図 2.4: 大脳皮質に並ぶコラム、ハイパーコラムと、６層構造の模式図。

15

トが１次元に並ぶ。各ユニットが持つ、入力層との間の結合の重みのベクトルを参照ベクトルと呼ぶ。参照ベクトルは入力ベクトルと同じ次元を持つ。ＳＯＭは、

第 3 章 BESOM モデルに関係する機械
学習技術

入力ベクトルが与えられるたびに、次に述べる学習ア
ルゴリズムによって参照ベクトルの値を更新する。
ＳＯＭは、競合学習と近傍学習を特徴とする。学習
させたい入力ベクトルの集合の中からランダムに１つ選び、ＳＯＭの入力層に与える。ＳＯＭは、入力ベク
トルが与えられるたびに、入力ベクトルに最も近い参照ベクトルを持つユニット（勝者ユニット）を１つ選
び、その参照ベクトルを入力ベクトルに近づける（競本章では、 BESOM モデルを理解するために必要合学習）。また、勝者ユニットの近傍のユニットも、少な機械学習技術についてできるだけ簡潔に説明する。

し入力ベクトルに近づける（近傍学習）。

これらの技術は、「脳にしかできない」と一般に思われ入力を与えるたびにこの学習を行うが、学習率と、てい機能を実現する。また、それらを実際に脳が行っ近傍学習のおよぶ範囲（近傍半径）は徐々に小さくしていると思われる証拠がすでに見つかってきている。

ていく。

BESOM モデルはこの章で述べる機械学習技術をエレガントに組み合わせたものである。

競合学習の効果によって、ユニットの間で自然に役割分担が決まり、各ユニットができるだけ異なる入力を受け持つようになる。また、近傍学習の効果によっ

3.1

自 己 組 織 化 マップ（Self-て、競合層の空間座標で近い位置にあるユニットが入Organizing Map, SOM）

り、近い入力を近い出力にマップする対応関係が学習

3.1.1

力層の空間座標で近い点を表現するようになる。つまされることになる。

ＳＯＭの学習アルゴリズム

図 3.2 は、ＳＯＭの参照ベクトルの学習の例である。

自己組織化マップ（ＳＯＭ）[2] は、脳の機能の１つ

この例では x1, x2 の２次元の入力を５つのユニットをである概念獲得を行うことができる、教師なし学習ア持つ１次元ＳＯＭで学習している。５つの丸が、各ユルゴリズムである。ＳＯＭを用いると、高次元数値ベニットの参照ベクトルの位置を表している。与えられクトルの形で与えられた入力データの組を、データ間

た入力ベクトル（×印）に最も近いユニット w4 が最の距離関係をできるだけ保存したまま、低い次元に圧も強く入力ベクトルに近づけられる（競合学習）。勝縮することができる。入力を１次元に圧縮するものは者の近傍のユニットも少し入力ベクトルに近づけられ１次元ＳＯＭ、２次元に圧縮するものは２次元ＳＯＭる（近傍学習）。
これを繰り返した結果の例が図 3.3 である。入力ベと呼ぶ。
図 3.1 は、５次元の入力を１次元に圧縮する１次元

クトルは、灰色で示した確率分布に従って与えられるＳＯＭのネットワーク構造である。入力ベクトルが与とする。入力ベクトルの次元は２次元だが、実質的にえられる層を入力層、圧縮した結果が表現される層を１次元の情報しか持っていない。ＳＯＭのユニットは競合層と呼ぶ。１次元ＳＯＭの場合、競合層にはユニッ

学習の結果入力分布にそって並び、２次元の情報が１次元に圧縮できたことになる。
図 3.4、図 3.5 は文献 [2] にある例である。図 3.4 の表にある動物の特徴を表す入力データからランダムにユニット

入力ベクトルを選び、ＳＯＭに学習させることを繰り返す。学習の結果、競合層に得られた動物のマップが競合層

図 3.5 である。似た性質を持つ動物が、競合層の上で近いユニット上で表現されている。この例では１３次

入力層

元の情報が２次元に圧縮されている。
ＳＯＭは入力データから主要な特徴を抜き出す能力も持っている。この例では、「鳥かけものか」という特図 3.1: ＳＯＭのネットワーク構造

徴量が、競合層の横軸に対応付けられている。２次元

16

x2

w1

w2

w3

w4

w5

図 3.4: ＳＯＭに入力する数値ベクトルの例。
（文献 [2]より。）動物の特徴を数値ベクトルで表現。例えばハx1

トは (1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 1, 0)T というベクトルで表現される。

図 3.2: ＳＯＭの参照ベクトルの学習の例。入力ベク
トルに最も近いユニットが最も強く入力ベクトルに近ＳＯＭは長方形にすることが推奨されている。そうすづけられる（競合学習）。勝者の近傍のユニットも少ることで、長い軸に最も主要な特徴が獲得される。

し入力ベクトルに近づけられる（近傍学習）。

3.1.2

ＳＯＭによる概念獲得、連想記憶、汎化

ＳＯＭに膨大な数の異なる動物の個体の特徴を入力として与えても、似た動物は同じものと見なし、同じユニットで記憶する。つまり、ＳＯＭは概念獲得と似たことを行っている1 。
ＳＯＭを連想記憶装置として用いることもできる。
図 3.4 の表は動物ごとの属性値を表現した関連データ
ベースと見なすことができるが、ＳＯＭはこの関連デー

x2

タベースを圧縮して記憶している。羽があるという特徴と飛ぶことを好むという特徴は、入力データが同時w3

w4に持つことが多い。ＳＯＭが記憶している関連データ

w5

ベースを使えば、羽があるという特徴だけを入力し、w2飛ぶことを好むという特徴を想起することができる。
w1

ＳＯＭを使った記憶の想起は、曖昧な情報をもとにした知識の検索をしていると解釈することもできる。
今までにない新たな種類の動物を見た時にも、過去に見た似た動物の属性を想起することができる。これx1

はＳＯＭが汎化能力を持っていることを意味している。
ＳＯＭによる汎化は、近傍学習によって可能になっている。

図 3.3: ＳＯＭによる次元圧縮の結果の例。

1 機械学習の用語でクラスタリングと呼ぶ。

17

3.1.4

ＳＯＭの記憶域管理機能

ＳＯＭは、時々刻々と変化する環境に生きる生物にとって必要な「記憶域管理機能」を持っている。
図 3.5 において、今までにない新たな種類の動物が出現し、頻繁に見かけるようになったとすると、図 3.5のマップ上に新たな動物に対応する領域が割り込み、他の動物の領域は少しだけ回りに押しやられる。このとき、既存の動物を入力したときの出力は変化するが、変化の量は「少しだけ」という点が非常に重要である。
この出力を受け取って利用する側の振る舞いには、ほとんど影響が出ないことになる。そして、時間がたてば利用する側も学習によって、新しい入力のコーディ
ング方法に完全に対応するようになる。

図 3.5: ２次元ＳＯＭに図 3.4 のデータを入力して得られた動物のマップ。（文献 [2] より。）格子点がユニッ

今まで見かけた動物を見かけなくなったときは逆にトを表している。結果が分かるように、動物の特徴とその動物を表現するマップ上の領域が消滅し、他の動最も近いユニット上に、動物名のラベルが書かれてい物の領域がそこに少しずつ入り込む。つまり、ＳＯＭる。似た特徴を持つ動物が、近いユニットで表現されは不要になった記憶を自動的に消す機能を持っているていることが分かる。また、鳥類、草食動物、肉食動と言える。同様の機能は、有限の記憶容量だけで変化物という区分に分かれていることが分かりやすいようする環境で生きなければならない生物にとっても必要に境界線が書かれている。横軸には「鳥かけものか」

不可欠であろう。

という入力データを分類する最も主要な特徴が対応し
ている。

3.1.3

3.1.5
ＳＯＭによる関数近似

ＳＯＭの耐故障性

脳がＳＯＭのようなものだとしたら、脳の高い耐故障性が説明できる。競合層において近傍のユニットが多くの機械学習器は、関数近似装置と見なすことが近い参照ベクトルを持っているため、競合層の発火パできるが、ＳＯＭもまた、関数近似能力を持っている。

ターンが表現する情報は冗長性を持っている。従って、２次元の入力ベクトルを受け取る１次元ＳＯＭは、

１つのユニットが故障したとしても、ある程度正しく

１入力１出力の任意の非線形関数 f (x) を近似する能情報を伝えることができる。また、競合層で広い範囲力を持っている。ＳＯＭに値 x と f (x) を組にした２の故障が起きたとしても、時間がたてば新たなマップ

次元ベクトルを入力として与えれば、各ユニットが x

が故障ユニットを避けて形成され、機能をほぼ回復すと f (x) の異なる組を学習する。学習結果のＳＯＭはるだろう。

f (x) の関数表を記憶していると見ることができる。連続な関数であれば、ＳＯＭの特徴により滑らかに補完されて学習される。これは x2 = f (x1 ) の関数のグラフ

3.1.6

ＳＯＭと大脳皮質との関係の形を図 3.3 のように学習すると考えることもできる。
もともとＳＯＭは、一次視覚野に見られるコラム構

脳の機能の多くは、多次元の数値ベクトルを入力と造を再現させる神経回路モデルを、工学的に扱いやす

して受け取り多次元の数値ベクトルを出力する関数でくするために単純化したものである。コホーネンは大あると見なすことができる。例えば運動制御装置は、脳皮質に競合学習と近傍学習を実現する機構があるとある瞬間の筋肉や関節の状態を入力として受け取り、考えており、それを実現する生物学的に無理のない機

次の瞬間の各筋肉が出すべき強さを出力をする関数で構を提案している [2] が、その機構の存在が神経科学ある。このような関数の近似が、ＳＯＭを要素技術に的に証明されているわけではない。

用いることで実現できる可能性がある。

18

3.1.7

ＳＯＭの問題点問題と同じである。最初にどの壺を選ぶかが、目の前にどの物体が存在するかに対応している。物体の種類

n 次元のマップを作るためには O(2n ) 個のユニットに応じて網膜に届く視覚刺激の情報は異なる。同一のが必要になる。そのため工学的に用いられるのはせい

種類でも完璧に同じ形をしているわけではないので、ぜい３次元ＳＯＭまでであり、入力データが本来持つ得られる視覚刺激は確率的になる。動物が合理的に物構造の多くが捨てられることになる。この問題の解決

体を認識するならば、得られた視覚刺激、事前分布、の方針は 6 章で述べる。

条件付確率の全てを使い、ベイズの定理により認識を行うはずである。

3.1.8

ただし、そのためには物体の種類、事前分布、条件ＳＯＭのまとめ

付確率の３つ全てを教師なし学習によって獲得する必ＳＯＭは、入力層に与えられる高次元の数値ベクト

要がある。

ルを、競合層における低次元の連続したマップに対応付ける働きをする。学習アルゴリズムは、競合学習と3.2.2

近傍学習を特徴とする。

ベイジアンネット

ベイジアンネット [4] は、脳の機能の１つである直感

3.2
3.2.1

ベ イ ジ ア ン ネット (Bayesian

や連想記憶と似た働きをする知識表現の技術である。

network)

る曖昧な情報が与えられたとき、過去の経験に基づいベイジアンネットを使うと、外界の状態の一部に関すて、残りの状態を推定することができる。

ベイズの定理ベイジアンネットは、確率変数の間の因果関係を、
非循環有向グラフを使って表現したものである。

ベイズの定理は、観測された事象にもとづいて、そ図 3.6 はベイジアンネットの例である。スプリンクの原因を推定するときに使われる。例えば次のようなラーが動いたら、芝生がぬれる。雨が降った時も芝生問題を計算する時に使われる。
「壺Ａには白石１個黒石４個、壺Ｂには白石３個黒がぬれる。また、雨が降った直後は雲が出ている確率

石２個が入っているとする。２つの壺のどちらかを 1/2が高い。この状況を４つの確率変数の間の因果関係のの確率で選び、さらにその中から石を１個取り出したグラフで表現している。ネットワーク構造の他に、親ら白であったとする。選んだ壺がＡである確率はいく

ノードを持たないノードに対しては事前確率（この場らか。」

合は P (スプリンクラー) と P (雨が降った)）、親ノー

最初に選んだ壺がＡかＢかを確率変数 X 、取り出しドを持つノードに対しては条件付確率（この場合は P (た石が白か黒かを確率変数 Y で表すとすると、X の芝生がぬれている | スプリンクラー、雨が降った) と事前確率は P(X=壺Ａ)=P(X=壺Ｂ)=1/2 である。まP (雲が出ている | 雨が降った)）の値を与える。
事前確率として、その場所はスプリンクラーが頻繁た、ある壺が選ばれたときに取り出した石の色が何でに動き、晴天であることが多いという知識を持っていあるかを表す条件付確率は以下のようになる。

たとする。今、芝生が濡れていることが観察されれば、P (Y = 白 |X = 壺Ａ) = 1/5

事前確率の知識を使って、スプリンクラーが動いた可P (Y = 黒 |X = 壺Ａ) = 4/5

能性が高いことが推論できる。さらに空を見て珍しくP (Y = 白 |X = 壺Ｂ) = 3/5

雲が出ていることが観察されれば、スプリンクラーがP (Y = 黒 |X = 壺Ｂ) = 2/5

動いた可能性は減り、雨が降った可能性が高くなる。
この例のように、様々な観測データと過去の知識を上の問題の答えは事後確率 P (X = 壺Ａ |Y = 白) の総合して、最大限の合理的な判断を下すためにベイジ

値をベイズの定理を用いて計算すれば得られる。（計

アンネットが使われる。

算省略。）

仮に全てのノードが s 種類の値を取りうるとして、

この例のように、ベイズの定理を用いることによっm 個の親ノード Ui を持つノード X が持つ条件付確て、事前確率と条件付確率が与えられたときに、確率率 P (X|U1 , · · · , Um ) は、一般にはサイズ sm の表で変数の事後確率を計算することができる。

表現する必要がある。（あらゆる親ノードの具体的な網膜からの限られた情報から目の前に存在する物体

値の組み合わせに対する値を与える必要がある。）こが何かをパターン認識する問題も、本質的にこの壺のの表を条件付確率表と呼ぶ。

19

ネットワーク構造が学習されたとしても、さらに各ノードが表す確率変数が取り得る値、最上位ノードのスプリンクラーが動いた

事前分布、親子ノード間の条件付確率の全てを、何ら雨が降ったかの方法で決める必要がある。大脳皮質がベイジアン
ネットだとすれば、これらの全てを教師なし学習するはずである。その具体的方法については 5 章で述べる。
確率伝播アルゴリズムは、一般には厳密解に収束し

芝生が
ぬれる

雲が出ているない。この問題に関しては 5.6.5 節で議論する。

3.2.5

図 3.6: ベイジアンネットの例。

ベイジアンネットは、確率変数の間の因果関係をグ

BEL(x) = αλ(x)π(x)

π(x) =

P (x|u1 , · · · , um )

u1 ,···,um

λ(x) =



ラフ構造で表現する、知識表現の手法の１つである。

πX (uk )一部の確率変数の値が観測値として与えられると、残kりの確率変数の値をベイズの定理を使って推定することができる。この推定を行う効率的アルゴリズムの１

λYl (x)つに確率伝播アルゴリズムがある。

lπYl (x) = π(x)λYj (x)j=l

3.3

λX (uk ) =

x



λ(x)

ベイジアンネットのまとめ

u1 ,···,um /uk

P (x|u1 , · · · , um )

独 立 成 分 分 析（Independent

Component Analysis, ICA）
πX (ui )独立成分分析（ＩＣＡ）[7] は、脳と同じように、感i=k覚器の入力信号だけから外の世界が持っている構造を教師なしで学習する働きをする。

図 3.7: 確率伝播アルゴリズム [4]。

最も簡単な線形の場合、ＩＣＡが解くべき問題は次のように定式化される。独立な n 個の信号源 xi を混

確率変数の状態の推定には様々なアルゴリズムが使合行列 A で線形に混合し、n 個の混合信号 yi が生成われるが、そのうちの１つに確率伝播アルゴリズム（図されるとする。

3.7）がある。

y = Ax

3.2.3

(3.1)

観測値 y のサンプル集合のみが与えられたとき、混合

ベイジアンネットと大脳皮質

行列 A と、それぞれの観測値 y に対応するもとの信
大脳皮質の領野間の双方向結合がベイジアンネット

号源の値 x を推定するのがＩＣＡの目的である。

と構造が似ていることから、ベイジアンネットを用い各信号源の値がガウス分布に従う場合は、混合によった大脳皮質の神経回路モデルがいくつか提案されていて情報が失われ、この問題を解くことは不可能である。

る（[31][40] など）。

しかし、ガウス分布以外であれば、可能である。
例として、信号源の値のベクトルが非常にスパース、

3.2.4

すなわちほとんどの値は０で、ごくまれに正の値をとベイジアンネットの問題点ると仮定しよう。そのような２つの独立な信号源を線
条件付確率表を記憶するためのメモリ量と、確率伝形に混合すると、例えば図 3.8 のような分布が観測さ

播アルゴリズム１ステップあたりの計算量は、親ノーれる。混合行列の推定は、分布のとがった方向を指す

ドの数 m に対して O(2m ) で増大する。この問題は２つのベクトルの方向を推定することに他ならない。

5 章で述べる近似アルゴリズムによって解決される。

この例のように信号源が非常にスパースならば、ＩＣ

観測データだけから最適なネットワークの構造を学

Ａは高速かつ安定して解ける問題であろう。

習するのは難しく、一般には多くの計算量を必要とする。この問題の解決の方針は 6 章で述べる。

20

ズムである。
原理は単純で、「成功した行動を強化する」というy2ものである。試行錯誤によりいろいろな行動を試してみて、うまくいった行動を強化し、高い頻度でその行動を選択するようにする。成功した行動とは、報酬を得ることができた行動である。動物の場合は、例えばエサを口にすることが報酬である。
行動と報酬が時間的に離れている場合（遅延報酬課
題）の場合は、少し拡張が必要である。
「状態の価値」というものを考え、報酬をもらえる状態に近づき得る

y10

状態が高い価値を持つように学習する。そして、行動の結果価値の高い状態に変化したならば、報酬が得られた場合と同じように行動を強化すればよい。

図 3.8: スパースな２つの入力の線形和の例。

動物の場合、手の中にエサがある状態は、価値の高い状態であり、その状態でエサを食べるという行動は3.3.1

大脳皮質とＩＣＡ

価値の高い行動である。手の中にエサがあったとしても、そのエサを遠くに投げるという行動は、全く無意脳がＩＣＡを行っている証拠はいくつか見つかって味であり、価値の低い行動である。手の中にエサがあいる。詳しくは 6.2.1 節で述べる。

る状態に近づき得る状態もまた、価値の高い状態であまた、神経回路で実現可能なＩＣＡアルゴリズムもる。例えば、手が届く位置に木の実がなっているのが複数提案されている [34][36][37]。
図 3.8 の例のように、非負の値を持つ信号源を、非見える状態は価値が高く、その状態では手を伸ばして負の要素を持つ混合行列で混合した結果から信号源を

木の実を取るという行動が、価値の高い行動である。

推定する問題は、非負行列因子分解 (NMF)[9] と呼ばれる。脳が NMF のようなことを行っていることを示

3.4.2

唆する間接的証拠も見つかっている [9]。

sarsa

このような考え方の基本的な強化学習アルゴリズムの１つ、 sarsa について具体的に説明する。状態と行

3.3.2

ＩＣＡの問題点動の対を状態行動対と呼ぶ。考えられる全ての状態と非線形ＩＣＡの場合は一般に解が一意に決まらず、行動の対に対して、その価値を記憶する。 Q(s,a) は、意味のある信号源を推定するためには、信号源の独立

状態 s 、行動 a の状態行動対の価値を表すとする。状
態行動対の価値は以下の式により学習する2 。

性以外の制約条件が必要になる。この問題の解決の方
針は 6 章で述べる。

3.3.3

Q(s, a) ← Q(s, a) + α[r + Q(s , a ) − Q(s, a)](3.2)
ただし、 α は学習率、 r は状態 s で行動 s をとっＩＣＡのまとめた時に得られた報酬、 s’, a’ は次の時刻における状態

ＩＣＡは、独立な信号源が発生する値を混合した混とその時にとる行動である。Q(s,a) が正しく学習され合信号のみを観測し、もとの信号源の値と混合方法のれば、ある状態 s が与えられたとき、 Q(s,a) が最大両方を推定する一種の教師なし学習である。

になるような行動 a を選択することで、合理的な意思決定ができる。
実際には学習の過程で常に価値が最大の行動を選択

3.4

強 化 学 習 (Reinforcement

すると、行動がいつまでたっても最適化されないので、適当な戦略のもとに、他の行動も適宜選択する。

learning)
3.4.1

遅延報酬課題

強化学習 [11] は、脳の機能の１つである、合目的的な意思決定を再現することができる機械学習アルゴリ

2 簡単化のため、報酬割引率 γ は省略した。

21

3.4.3

脳と強化学習択することで、合理的な意思決定（行動選択）が可能となる。

典型的な強化学習アルゴリズムで現れるＴＤ誤差信号を表していると思われるニューロン活動が、大脳基底核から見つかっている [12]。他にも、大脳基底核が3.5

強化学習の機構の一部であることを支持する証拠が見

BESOM と関係しない技術

かつて人間の知能が再現されるのではと期待された

つかってきている [13]。

技術で、BESOM モデルと関係しないものがいくつか
ある。

3.4.4

強化学習の問題点

BESOM モデルは、多層パーセプトロンのようなバックプロパゲーション（Backpropagation, 逆誤差伝

状態行動対を素朴なデータ構造で記憶する場合、状播法）による学習をしない。脳の中でバックプロパゲー

態 s の次元（センサーの数）と行動 a の次元（アクションが行われていることを示す証拠は今のところ見

チュエータの数）の和 n に対して O(2n ) の記憶量が必つかっていないようである。

要になってしまう。脳は様々な方法を使ってこの問題

BESOM モデルは、かつての AI で使われた記号処を解決しているようである。具体的には 7 章で述べる。

理とはかなり違う。ただし、10 章で述べるように、記強化学習が最適解に収束するためには、「外界の状態号処理とパターン処理を統合した情報処理は実現可能がすべて観測可能である」という仮定を満たしているである。なお、論理型プログラミング言語 prolog に必要がある。この仮定が満たされない場合、すなわちおけるユニフィケーションやバックトラックを使った観測できない状態が存在する場合は、部分観測マルコ

探索は、ベイジアンネットによる事後確率の計算と少フ決定課題と呼ばれる。この場合、最適解に収束する

し似たところがある。

ためには隠れた状態の推定が必要となる。脳はこの問

ホップフィールドネットワーク (Hopﬁeld net) とボ

題を 9 章で述べる機構で解決していると考えている。

ルツマンマシン (Boltzmann machine) は BESOM と単純な強化学習では、試行錯誤により経験を増やす
ことで、正確な状態行動対の価値を学習しようとする。

ファジィ情報処理は、 BESOM モデルの中のベイ

この戦略は、行動の評価関数がおわん型のように緩やジアンネットの機能に完全に含まれている。メンバー

かに変化する場合は有効だが、ゴルフホール型のようシップ関数は、確率分布に相当する。

に、狭い範囲の行動に対してだけ高い評価（報酬）が得られるような形の場合、なかなか解にたどり着くことができないという欠点がある。動物の運動の自由度は極めて高く意味のある運動はそのごく一部であるため、評価関数はまさにゴルフホール型に近い。7.4 節ではこの問題を解決する機構の１つについて述べている。
強化学習の機構だけでは、逃避行動や性行動などのように、生まれて初めて経験する状態に対して生物として最適な行動を行うことが説明できない。脳はこの問題を 11.6 章で述べる機構で解決していると考えている。
人間においては単純な強化学習による意思決定よりは、思考による意思決定が重要に思われる。思考の機構については 9 章で述べる。

3.4.5

似たところがあるが、本文書ではふれない。

強化学習のまとめ強化学習は、経験から合理的な行動を獲得するための機械学習アルゴリズムである。sarsa という学習ア
ルゴリズムでは、状態行動対の価値を学習する。学習が進めば、ある状態において最も価値の高い行動を選22

第 4 章 BESOM モデル
の概要

基底

ノード

ノード

ユニット

...

...

...

この章では、2 章、3 章で説明した用語のみを使って、大脳皮質の神経回路モデルである BESOM モデル...

の概要を説明する。また、 BESOM モデルによって脳...

の様々な機能、パターン認識、推論、行動獲得、時系
列学習、行動計画、言語獲得・意味理解がいかにして図 4.1: BESOM ネットの構成要素。四角は基底、基実現され得るかについて概要を述べる。また、大脳皮底の中の丸はノード、ノードの中の白い丸はユニット

質以外の脳の組織について推察される役割についてもを表す。

簡単に述べる。

4.1

BESOM ネットを動作させるためのアルゴリズムは、
現在のところ約１０種類の変数（5.4.3 節）を用いて表BESOM モデルの構成要素

現されている。アルゴリズムは単純な繰り返しを行う
もので、神経回路で実現可能である。

BESOM モデルは脳全体のマクロなスケールの構造から、個々のニューロンの機能というミクロなスケー

基底の階層構造、基底内のノードの数、ノード内のルの構造にいたるまで、幅広く関係している。そのせユニットの数はすべて最初に与えられ、学習により変いで読者が混乱しないよう、あらかじめ大脳皮質のス化しない。学習により変化するのは、ユニット間の結ケールごとの構成要素と、BESOM モデルの構成要素

合の重み（5.3 節）のみである。親子ノード内のユニッとの関係を整理しておく。ここでは、 BESOM モデル

ト間の結合の他に、図 4.1 には書かれていないが、同一の構成要素の意味について詳しくは述べない。詳しく

基底内のノード内のユニット間の結合もある（6.3 節）。

2.3.1 節で述べた大脳皮質の構成要素と、ここで述べは、以降の章で述べる。

た BESOM モデルを構成要素の間の対応をまとめた

BESOM モデルは、現在のところＢＥＳＯＭネット

ものが表 4.1 である。

（5 章、6 章）と強化学習機構（7 章）の２つの機構からなる。BESOM ネットは図 4.1 のような構造をして
いる。

4.2

BESOM ネットは、基底（6.5.1 節）と呼ぶ単位の階層構造で構成される。

BESOM の基本動作

BESOM は、ＳＯＭとＩＣＡを用いて外界のモデル

基底は、多数のノード（5 章）から構成される。ノーを自己組織化して、ベイジアンネットを用いて表現す

ドは確率変数を表す。１つの基底内のノードが表す情る。ヒトの場合、ベイジアンネットを構成するノード

報は ICA により互いに独立になる。

の数は約２０万個ほどであると考えている。このベイ

異なる階層の基底に含まれるノードどうしはエッジ

ジアンネットを用いて、外界の状態の認識、運動制御、で結ばれる。従って、ノードは非循環有向グラフを構

論理的推論・確率的推論など、様々な情報処理を行う。

成する。このノードのネットワークはベイジアンネッ

BESOM の１つのノードに注目すると下記のようなトとして動作する。

動作をする。個々のノードは、学習時にはＳＯＭの競

ノードは複数のユニット（5 章）から構成される。

合層として働き、図 4.2 の左のように、子ノードからのノードは確率変数だが、ユニットはその確率変数が取入力の組を圧縮して学習する。学習した結果はベイジ

りうる値に対応する。各ノードは、ＳＯＭの競合層でアンネットの条件付確率表になり、これを用いて様々もあり、自分の子ノードからの入力を圧縮する。個々

な情報処理が可能になる。例えば記憶の想起は以下のの確率変数の値が持つ意味は、ＳＯＭによって獲得さように行われる。図 4.2 の左のように、ノード R が２

れる。

23

脳の構成要素ヒトにおけるサイズ

大脳皮質

約 200,000mm

領野階層

-

2

2

40,000mm 程度

領野（の一部）

2

ヒトにおける数

BESOM モデルの構成要素

1

BESOM ネット

約 10

基底の階層

約 50

基底（注１）

ハイパーコラム

1mm 程度

約２０万

ノード

コラム

0.01mm2 程度

約２０００万

ユニット

ニューロン

-

約１４０億個約１０種類の変数（注２）

-

シナプス

10

13

個程度？

ユニット間の結合の重み

表 4.1: 大脳皮質と BESOM モデルを構成する要素の間の対応。注１：基底と領野の関係は一対一対応ではなく、少し複雑である。詳しくは 6.5.7 節で述べる。注２：ニューロンと BESOM のアルゴリズムの変数との対応も一対一ではない。１つの変数は複数のニューロンで実現されると考えている。
造であり、脳がこのデータ構造を採用したとすればそれは極めて妥当な選択である。テーブルは用途に応じて様々な情報を表現することができる。例えばベイジ
アンネットのための条件付確率表、知識を記憶・検索するための関連データベースの表、強化学習のための状態行動対の表、非線形関数を近似するための関数表、時系列情報を扱うための状態遷移表などである。

Rの発火パターンはAからのボトムアップ信号のみで決まる
R

BESOM モデルによると大脳皮質は巨大なテーブルを巧妙な方法で圧縮する。圧縮することにより記憶に

R

学習

想起
A

B

A

B

必要なシナプス数を節約すると同時に学習速度を速くBの発火パターンはRからのトップダウン信号のみで決まる

入力

し、そして最も重要な汎化能力を高めることになる。

入力

大脳皮質の超並列プロセッサは、巨大なテーブルからの情報検索を並列に実行する。テーブルは巧妙に圧図 4.2: BESOM による学習と想起。各ノードは、子縮されているので、検索もまた巧妙なアルゴリズムをノードからの入力の組を圧縮して学習する（図左）。ま用いて行われる1 。

た、子ノードの一部の情報が観測値として与えられる

階層的ＳＯＭと階層的ＩＣＡを用いたテーブルの圧と、他の子ノードの関連する値を想起することができ

縮方法は 5 章と 6 章、近似確率伝播アルゴリズムによる（図右）。

る情報検索は 5 章で述べる。

つの子ノード A, B の出力の関係を学習ずみであるとする。このとき、図 4.2 の右のように、B へのボトム
らの入力のみで決定し、 B のユニット出力は R から

BESOM による大脳皮質の機
能の実現

4.4

アップの入力を遮断すれば R のユニット出力は A かのトップダウン信号のみで決定する。つまりノード A

この節では、前節で述べた構造を持つ BESOM ネッが表現するパターンから連想された記憶がノード B 上トが、具体的に大脳皮質の機能をどのように実現するに想起されることになる。

のか、概要を述べていく。

4.3

BESOM によるテーブル表現

4.4.1

パターン認識ＢＥＳＯＭを用いてパターン認識が可能になるはず

BESOM モデルによれば、大脳皮質の各領野は巨大である（図 4.3）。

なテーブル（表）であると同時に、超並列プロセッサであると解釈できる。

1 筆者は BESOM モデルの巧妙さをまだまだ全て理解していな
い。日々新しい発見がある。

テーブルは最も単純だが最も汎用性のあるデータ構

24

A

B

C

D

R

… Recognizedpattern…

…

名前

Hyper column in V1

色

形

大きさ

…

図 4.4: BESOM による関連データベース。

Input

推論をしたければ、色のイメージを保持したまま、Ｒ
図 4.3: ＢＥＳＯＭを用いてパターン認識が可能になを経由して名前のノードに情報が想起されるように、るはずである。

情報の流れをなんらかの方法で制御すればよい。
このように、２つの層の双方向の情報の流れを適切

最下端のノードから視覚刺激が与えられると、階層に制御することによって、記号処理とパターン処理の的ＳＯＭの機能により情報が階層的に圧縮され、上位両方の特徴を兼ね備えた、人間に似た推論が実現可能の領野ほど抽象度の高い情報を表現するようになる。

になる。このことは、 PATON [14] という神経回路モ

認識時には、ベイジアンネットの機能により、最下端

デルですでに示されている。BESOM も、選択的注意に与えられた視覚刺激をもとに、ベイズの定理を用い等によって適切に情報の流れを制御する機構を追加すて、目の前に自分が知っている文字や物体が存在する

れば、 PATON と同じ能力を発揮できる。

事後確率が計算される。最も高い事後確率を持つ文字

BESOM は、人工知能における知識表現の方法１つ

あるいは物体が認識結果となる。

であるフレーム表現における、 is-a 階層と同じ機能を人間は物体を認識するときに、文脈によって認識結実現する能力も持つと予想している。BESOM を用い果が変わることが知られている。ベイジアンネットでた知識表現については 10 章で述べる。

は親ノードから子ノードに向けて文脈情報が送られる

選択的注意の機構については 11.3 章で述べる。

ので、この脳の性質が説明できる。

BESOM によるパターン認識は、視覚野に関する神4.4.3

経科学的知見を踏まえたパターン認識装置であるネオ
コグニトロン、およびそれにトップダウン信号を加えて拡張したＳＡＭ [19] と、定性的には非常に似ている。

運動野による行動獲得

ＢＥＳＯＭと強化学習を組み合わせることができる（図 4.5）。
運動野に相当するノードは、強化学習における状態

4.4.2

行動対を学習すると考える。すなわち、運動野のＳＯ

推論

Ｍは、現在の状態と、現在行った行動の組を圧縮してＳＯＭは、複数の属性値の組を保持する関連データ学習する。それと同時に、状態行動対の価値も大脳基ベースに似たものであり、それを使って様々な推論を底核を用いて別途学習する。行動選択の際には、現在することができる。例えば図 4.4 のように、動物の名の状態の認識結果をもとに、最も価値のある状態行動

前、色、形、大きさという４つの属性の組を学習する

対を選択し、対応する行動を「想起」すればよい。

ノードＲがあるとする。「うさぎの色は何色か？」とこれは、大脳皮質−基底核ループの強化学習に関すいう推論をするには、まず名前のノードに「うさぎ」

る銅谷のモデル [21] に、大脳皮質の役割を加えて拡張という音素列を想起し、それと同時に色、形、大きさしたものになっている。

のノードへのボトムアップの入力を選択的注意の機構

実際の運動野周辺の構造は、図 4.5 よりもはるかに複により遮断すればよい。ベイジアンネットの機能によ雑である。その機能については詳しくは 7 章で述べる。

り、ノードＲに記憶されている情報を通して、うさぎの色のイメージが、色のノードに想起される。
「うさぎの色と同じ色の動物は名前は何？」という25

この機構を使えば、頭の中で様々な行動の手順をシ
ミュレーションし、最適な行動を見つけ出す「行動計画」が可能になると思われる。行動計画は、前頭前野

大脳基底核

(s,a)

が行う重要な働きの１つである。
s

a

言語

4.4.6
文法獲得

図 4.5: ＢＥＳＯＭを用いた強化学習。運動野の領野は、強化学習における状態行動対を学習する。それと確率的文脈自由文法は再帰的でなければベイジアン

同時に、大脳皮質−基底核ループによって、状態行動

ネットで表現可能であり、BESOM のＳＯＭとＩＣＡ

対の価値の学習と、ある状態において最も価値の高いを使った機構で獲得可能であると考えている。

行動の選択が行われる。

文法の獲得には、上で述べた時系列学習の機能が必要である。これは簡単な文法を獲得する能力を持つエ
ルマンネット [20] と本質的に似ている。ただし、文法の表現にベイジアンネットを用いることでエルマンネッ
トよりも複雑な文法が獲得可能になるのではないかと期待している。
Xt

再帰的な文法を獲得するためには BESOM モデル

Ytの拡張が必要である。この拡張のアイデアについては

6.5.2 節で述べる。
Xt-1

At-1

Yt-1

Bt-1

At

Bt

Ct

意味理解

Ct-1

大脳皮質のＳＯＭが、音素列からなる単語と、他の領野に表現される情報の組を圧縮して学習するとする。
図 4.6: 時系列学習を行うための BESOM ネット。

これが単語の意味の学習であろうと考えている。学習がすめば、単語から大脳皮質の各領野の発火パターン

4.4.4

時系列学習

を想起することが可能である。これが単語の意味の想図 4.6 は、時系列学習を行うための BESOM ネット

起である。例えば幼児が「ストーブにさわると熱いよ」

である。各ノードの一時的前の認識結果を値として持という言葉を聴いたら、幼児の頭の中には、ストーブ

つ特殊な子ノードを付加すれば、エルマンネット [20]にさわるという行為と熱いという不快な感覚が想起さと同様、時系列学習が可能になるだろう。

れる。これは、実際にストーブにさわって熱さを感じ

時系列学習と強化学習の機構を組み合わせることで、たときの大脳皮質の発火パターンとほぼ同一のもので時系列運動が学習できるようになるだろう。学習の結あろう。言葉を通じた発火パターンの想起に成功すれ果獲得された情報は、チューリングマシンの状態遷移

ば、さらにストーブにさわるという行為と熱いという表と実質的に同じものになる。

感覚の関係を別のＳＯＭが学習することができる。これは、言葉を通じて「ストーブにさわると熱い」といこれらについて詳しくは、8 章で説明する。

う知識が伝達されたことに他ならない。その幼児は、以降ストーブを避けるようになるだろう。

4.4.5

前頭前野による行動計画

人間は、外界がある状態 s のときにある行動 a をと4.5

ると外界が新しい状態 s’ に変化することを、過去の脳の他の組織の役割

Ｍが (s,s’a) の三つ組みを学習することで可能になる。

BESOM モデルが説明する大脳皮質と大脳基底核の情報処理原理をもとにして、脳の他の組織の役割もあ

この状態変化予測機構は、 BESOM に少し拡張を施る程度推測することができる。以下に、現時点での筆すことで実現可能である。詳しくは 9 章で述べる。

者による推測を述べる。

経験に基づいて予測することができる。これは、ＳＯ

26

小脳と海馬は損傷しても知能そのものには大きな影
響がないことから、大脳皮質を主に機能面ではなく性能面で補完する役割を持つものと考えている。小脳の学習機構は教師信号を必要とするが、その代わりに大脳皮質に比べて高次元関数の近似能力が高いのではないかと予想している。小脳の役割に関する考察については 11.7 節でもう少し詳しく述べる。海馬の学習機構
は大脳皮質のような情報圧縮・自己組織化の機能は持たず、その代わりに情報を瞬時に記憶するという大脳皮質にはない機能を持つのだと思われる。
視床は、他の組織から大脳皮質への情報を中継する
際に、情報の符号化の変換を行っていると考えている。
感覚神経、大脳基底核、小脳は神経細胞の発火頻度の大きさが値としての意味を持つが、BESOM モデルでは大脳皮質の発火頻度は値ではなく「値の確率分布」
を表現している。したがって、大脳皮質への入力時に「値」から「値の確率分布」への表現の変換が必要となるが、視床が最も適した場所にある。
扁桃体は、逃避行動を初めとする生得的に作りつけられた行動と、大脳皮質が経験的に獲得する知覚との間の連合学習を行うと考えられる。扁桃体の役割に関する考察については詳しくは 11.6 節で述べる。

4.6

まとめ

BESOM モデルは４つの機械学習技術（ＳＯＭ、ベイジアンネット、ＩＣＡ、強化学習）をエレガントに組み合わせたものである。ＳＯＭとＩＣＡを組み合わせ
た教師なし学習アルゴリズムにより、ベイジアンネッ
トで表現された外界の生成モデルを獲得する。獲得したベイジアンネットを使って、パターン認識や連想記
憶、直感に似た推論などが可能になる。また、強化学習の機構と組み合わせることで、合理的な意思決定や運動制御、思考も可能になる。

27

な情報をもとにした合理的判断、リアルタイムな動作という特徴があり、これも脳の情報処理の特徴と一致する。大脳皮質の各領野の間には上下関係があり、上第 5 章 ＳＯＭによる条
件付確率表の自己組織化と、近似確率伝播アルゴリズム

位領野と下位領野の間には双方向の結合があるが、この構造はベイジアンネットと類似している。

SOM とベイジアンネットの両方に似た機構を持つ視覚野のモデルとして、 Selective Attention Model(SAM)[19] がある。SAM は、競合学習をするノードを階層的に結合したもので、各ノードの認識結果を送るボトムアップ信号と、過去の経験および文脈からの予測を送るトップダウン信号という、双方向の信号の経路を持っている。SAM により、ノイズに強い認識や対象物の切り出しなど、脳の視覚情報処理の特徴の一部が再現されており、大脳皮質の妥当なモデルと考えられる。

この章では、BESOM モデルのうち、ベイジアンネッ

SAM 以外にも、トップダウン信号が予測を表すとトの条件付確率表を自己組織化マップで獲得する機構

する大脳皮質のモデルがある [32][27][31]。ただし、こと、近似確率伝播アルゴリズムを実現する神経回路モ

れらのモデルは自己組織化の機構を持っていない。

デルについて述べる。この神経回路モデルは大脳皮質

従来のモデルの別の問題は、スケーラビリティであの主要な解剖学的特徴とかなりよく一致しており、こる。大脳皮質は約１４０億個のニューロンから構成さのことはモデルの正しさを示す強い証拠である。

れる大規模な情報処理装置であり、並列処理によって現実的な速度で動作する計算アルゴリズムが用いられ5.1ているはずである。しかし、従来のモデルにおいては、

背景

計算量のオーダーは考察されていない。
近年の神経科学における精力的な研究により、大脳

本章では、SOM とベイジアンネットの両方の特徴

皮質の各領野の役割や、領野間接続の解剖学的構造にを備えた大脳皮質のモデルとして、ＢＥＳＯＭ (Bidi-

関して膨大な知見が蓄積・整理されてきている。しかrEctional SOM) モデルを提案する。BESOM は、双し、大脳皮質の主要な機能を計算機上で再現できるほ方向結合を持つ階層的 SOM である。ベイジアンネッ

どは理解は進んでいない。もし大脳皮質の情報処理原トの条件付確率表を、SOM により自己組織化し獲得理が明らかになり、計算機上でその機能が再現できるするものであるとも言える。BESOM は、 SAM の学ようになれば、人間のような高い知能を持ったロボッ

習・認識の計算式を、確率伝播アルゴリズムにもとづトの実現に向けたブレークスルーになると思われる。

く理論的根拠のあるものに置き換えたものであり、そ大脳皮質の機能の一部を計算機上で再現させるモデ

れにより更なるモデルの拡張や計算機上での効率的実

ルに自己組織化マップ (self-organizing map, SOM)[2]

行の足がかりを与えている。

がある。SOM とは競合学習と近傍学習を特徴とする
機械学習アルゴリズムである。SOM は教師信号なし

5.2

で、脳が行うような概念獲得と似た学習をする。また、
一次視覚野等で見られるコラム構造は、大脳皮質が一BESOM のアーキテクチャ

BESOM は、非循環有向グラフの形に結合した「ノー種の SOM であることを示唆する証拠である。

ド」によって構成される。各ノードは、複数の「ユニッベイジアンネット [4] もまた、大脳皮質のモデルに用ト」から構成される。もし２つのノードがエッジで結いられる [31][40]。ベイジアンネットとは、複数の確率ばれているなら、それぞれのノードに含まれるユニッ

変数の間の因果関係を非循環有向グラフで表現する知ト同士も完全に結合される（図 5.1）。ユニット間の結識表現手法である。ネットワーク内の一部の確率変数

合は重みを持っており、この重みは学習により変化すの観測値が与えられると、条件付確率表を使って、残る。
（ユニットのより正確な構造については 5.4 節で述りの確率変数の値を推定できる。この際、確率伝播ア

べる。）本章では、ネットワーク構造は学習によってルゴリズムという効率的な計算方法が使われる。ベイ

変化せず、あらかじめ与えられるものとする。（ネット

ジアンネットには、ノイズに強いパターン認識、曖昧ワーク構造の学習の機構については 6 章で述べる。）

28

BESOM は、学習ステップと認識ステップを交互に繰り返す。学習ステップでは、直前の認識ステップによる認識結果を使って、結合の重みの学習を行う。認識ステップでは、その時点での結合の重みと外界からの入力にもとづき、各ノードの値を計算する。
学習ステップでは、各ノードは SOM の競合層のよNode

うに動作する。各ノードは、自分の子ノードから送ら

U1

Unit

...

Uk

... U mNode... YnNode

X

れる入力ベクトルを学習する。SOM の学習結果は、次の節で述べるように、条件付確率と見なすことができXる。更新された条件付確率は、次の認識ステップで用Y1いられる。SOM が階層的構造を成しているので、ネッ

...

Yl

Yl

トワークの上位層に行くほど、より多くの入力情報を圧縮した抽象度の高い情報を表現するようになる。
認識ステップでは、ノードのネットワークが、ベイ

図 5.1: BESOM のアーキテクチャ。ベイジアンネット

ジアンネットとして働く。各ノードは確率変数を表す。

における各ノードが、ＳＯＭの競合層。各ノード（確また、１つのノードの中にある各ユニットは、その確率変数）の値が、ＳＯＭのユニットに対応。

率変数が取りうる値に対応する。外界からの入力は最を入力ベクトルに近づける。ノード X の勝者ユニッ

下端のノード（子ノードを持たないノード）の出力とl
ト xi とノード Yl のユニット yjl の間の結合度を wij

して与えられる。認識ステップでは、外界からの入力とすると、更新式は次のようになる。

と、各ノードが持つ条件付確率表に従い、5.4 節で述

l
l
l
wij
← wij
+ αi (vjl − wij)

べる近似確率伝播アルゴリズムを用いて、各ノードの値を推定する。推定結果は、直後の学習ステップで使(5.1)

学習率 ai の値は、 xi が n 回目の勝者になったとわれる。

きに 1/n となるようにする。そのためには、 ai の初

BESOM を大脳皮質のモデルとして見る場合、次のように解釈する。BESOM のノードとユニットは、大期値を 1 として、xi が勝者になるたびに以下の式で値を更新すればよい。

脳皮質のハイパーコラムとコラムにそれぞれ対応する。
一次視覚野の場合は、各ユニットは方位選択コラムに対

αi ← αi /(1 + αi )(5.2)

応する。大脳皮質、SOM、ベイジアンネットの構成要

適切な近傍関数により近傍学習も行うものとする。

素の対応を簡単に表にまとめると表 5.1 のようになる。

ここで、近傍半径が十分小さく無視できると仮定す
lは条件付確率 P (Yl = yjl |X = xi ) とれば、結合度 wij

5.3

なることが簡単な計算で示される（付録 A.1 参照。）

学習ステップなお、 α が一定値の場合は、過去の経験を忘却し最近の経験に比重を置いた条件付確率と解釈できる。

学習ステップでは、各ノードは SOM の競合層として働き、子ノードからの入力をクラスタリングする。
ノード X が子ノード Yl (l = 1, · · · , n) を持つとす

5.4

る。学習ステップでは、SOM は各子ノードの値を推認識ステップ

定した結果を入力として受け取る。ノード Yl の確率

認識ステップでは、近似確率伝播アルゴリズムを実変数の値 yil の推定された事後確率を BEL(yil ) とすると、 Yl からの入力ベクトル v l の要素は以下のように行し、各ノードの確率変数の値を推定する。本節では、

なる。

の問題点とその解決方針について述べた後、導かれた

vjl =



確率伝播アルゴリズムを神経回路モデルに採用する際
近似アルゴリズムの性質について考察する。

1 (if BEL(yjl ) = maxi BEL(yil ))0 (otherwise)

5.4.1

つまり、事後確率最大のユニットに対応する要素が１で他はすべて０のベクトルである（図 5.2）。

条件付確率表の近似

ベ イ ジ ア ン ネット に は 、条 件 付 確 率 表

P (X|U1 , ..., Um ) の サ イ ズ が 親 ノ ー ド の 数 m に

ノード X での事後確率最大のユニットが競合学習における勝者になる。勝者ユニットでは、参照ベクトル

対し指数的に増大してしまうという問題がある。

29

BESOM

SOM

ベイジアンネット

大脳皮質

ノード

競合層

ノード（確率変数）

ハイパーコラムユニット

入力ベクトルの要素、確率変数が取りうる値

コラム

競合層のユニット
親ノード

入力層から見た競合層

親ノード（原因）

上位領野

子ノード

競合層から見た入力層

子ノード（結果）

下位領野

ユニットの出力

入力との類似度

事後確率

５層錐体細胞の発火率

結合の重み

参照ベクトルの要素

条件付確率

シナプスの重み表 5.1: BESOM、SOM、ベイジアンネット、大脳皮質の構成要素の対応

U1

...

Uk

...

Um

xi

X

Y1

Y1

Y2

Y3

v1 = (0, 0, 1, 0, 0)T v2=(0, 1, 0, 0, 0)T

...

Yl

...

Yn

図 5.3: 確率伝播アルゴリズムにおいて、メッセージ送
信相手からの情報をメッセージに含めない例。ノードv3 = (0, 0, 0, 0, 1)T

X が子ノード Yl に送るメッセージ πYl (x) を計算する
際に、ノード Yl から来た情報 λYl (x) を使わずに、それ以外の親子ノードから来た情報のみを使う。

図 5.2: 学習ステップにおいて、親ノードの勝者ユニットが受け取る入力ベクトル。子ノードにおける勝者ユニットが１、それ以外が０となるようなベクトルを受報を排除している（図 5.3）。これが、アルゴリズムをけ取る。

複雑にする一因になっている。もしネットワークが木構造ならば、文献 [31] で用いられているように、アル

ここで我々は、BESOM のベイジアンネットを noisy-

ゴリズムは簡単になる。しかし、大脳皮質においては

OR model [4] と呼ばれる制限されたものに限定する。

一般に、１つの領野は複数の上位領野への結合を持っこれは、直感的に言えば、親ノードのどれか１つに原ており、ネットワークが木構造であると仮定すること因があれば子ノードがそれに対応した値を取る、といはできない。

うモデルである。この制限のもとでは、確率伝播アルゴ

本論文では逆に、１つのノードは十分多くの親ノー

リズムがシンプルになり、計算量も大幅に削減できる。

ドと子ノードを持つと仮定する。そうすると、通常あ

この仮定のもとでは、条件付確率表のほとんどの要るノードの確率変数の値を支持する証拠は複数のノー素の値が十分小さければ、ノード X の条件付確率表

ドから得られるから、メッセージ送信先から来た情報

は、SOM が獲得した条件付確率の和で近似できる。

P (X|U1 , · · · , Um ) ≈P (X|Ui )(5.3)

を排除せずに含めてしまっても、推定結果に大きな影響はないであろう。
このように考え、「メッセージ送信相手から来た情i

報を含める」という近似を行うことにする。

この式 (5.3) が成り立つものと仮定して、近似確率
伝播アルゴリズムを導出する。

5.4.2

メッセージ送信相手からの情報

図 3.7 のアルゴリズムにおける πYl (x) と λX (uk ) の式では、メッセージを送信する相手ノードから来た情

30

t
λt+1
Yl (x) = ZYl +



t
t
lt+1
XY = z Y + W XY oYλt (yl )P (yl |x)

yl

λ

t+1

(x) =

n


⊗


ot+1
X =

λt+1
Yl (x)lt+1
XY

Y ∈children(X)

l=1

κt+1
Uk (x) =



t
T
kt+1
UX = W UX bU

P (x|uk )BEL (uk )t

π t+1 (x) =

m


t+1
t+1
rt+1
X = o X ⊗ pX

ρt+1 (x) = λt+1 (x)π t+1 (x)


kt+1
UX

U∈parents(X)κt+1
Uk (x)

k=1

t+1
ZX
=



pt+1
X =

uk

t+1
ZX
=



t+1
t+1
t+1
(rX
)i (= rt+1
X  1 = o X • pX )iρt+1 (x)

t+1
t+1
t+1 T
z t+1
X = (ZX , ZX , · · · , ZX )xt+1
BELt+1 (x) = ρt+1 (x)/ZX

t+1 t+1
bt+1
X = (1/ZX )r X

ただし

図 5.4: 導出された近似確率伝播アルゴリズム。

x ⊗ y = (x1 y1 , x2 y2 , · · · , xn yn )T
図 5.6: 近似確率伝播アルゴリズムの行列を用いた表

U1

...

Uk

...

現。（注：近似確率伝播アルゴリズムは未完成であり、Um

少し修正する予定である。）

BELt(uk)λt(yl), ZYlt

xi

Y1

...

Yl

...

ZX は BEL(x) の正規化に使う値だが、同時にノード
X における予測と観測の一致度を表している。λYl (x)の計算式に ZX の項が現れている点が興味深い。予測

Ynと観測が一致するノードからの入力は親ノードにおけ
図 5.5: 導出された近似確率伝播アルゴリズムにおける認識への影響が弱くなり、一致しないノードからのるメッセージのやりとり。

入力は影響が強くなる効果がある。
（これは仮定 (5.3)に起因する。）

5.4.3

なお、各変数の値は非常に簡単な計算式だけから

近似確率伝播アルゴリズム

なり、神経回路によって十分に実現可能である。特にλYl (x) および κUk (x) が行う内積計算はニューロンに

前節までに述べた近似に加え、親ノードからのメッセージが正規化されていると仮定する。

πX (uk ) = 1

よる実行に適している。また、条件付確率表は、これらのニューロンに接続するシナプスが学習する。

(5.4)

uk

5.4.4

すると、確率伝播アルゴリズムは図 5.4 のように近似できる。（導出の詳細については付録 A.2 参照。）
近似確率伝播アルゴリズムは、各子ノードから λ(yl )近似確率伝播アルゴリズムの行列を用いた表現

図 5.4 はオリジナルの確率伝播アルゴリズムの独特と ZYl の値を、各親ノードから BEL(uk ) の値を受けの記法に慣れていない読者には分かりにくいので、一取り、自分自身の λ(x), BEL(x), ZX の値を計算する

般的な代数的記法を使って書き直したものが図 5.6 で（図 5.5）。普通の loopy な確率伝播アルゴリズムと同ある。この記法にそってアルゴリズムの説明する。

様、計算を反復し、各変数の値を収束させる。

まず添え字が多くて混乱を招きやすいので、意味をλ(yl ) は主にボトムアップ情報だけを用いた子ノード

説明しておく。大文字の T は転置行列を表す。小文字の認識結果、κUk (x) は親ノードからの情報に基づく予の t, t + 1 は時刻を表し、t における他の変数の値を測、BEL(x) は推定された事後確率を意味している。

31

使って t + 1 における値を計算する。右下の添え字 X

スをかけて学習すれば、このスパース性は容易に実現

はノード名を表す。例えば変数 bX は、ノードごとにされる。（そして、スパース性を上げればおそらく汎存在することになる。また、右下の添え字 XY や U X

化能力も上がるという利点がある。）
この仮定が成り立てば、BESOM の記憶量と計算量

は、２つのノードを結ぶエッジを意味する。例えば変数 lXY や行列 WXY は、エッジごとに存在する。

は明らかにスケーラブルである。

全てのノードについて、ノード内のユニット数は s

１つのノードの参照ベクトルに必要な記憶量は s× n

であるとする。行列 WXY は、ノード X とその子ノーであり、一定値である。

ド Y に含まれるユニット間の結合の重みを表す s × s

また、１つのノードあたりの近似確率伝播アルゴリの行列である。ZX はスカラー値、他の変数 lXY , oX ,ズム１ステップの実行も、一定値である。そして、各

kUX , pX , rX , z X , bX は長さ s の縦ベクトルである。

ノードの計算は並列に行うことができるため、ノード

演算子 ⊗ は、ベクトルの要素ごとの掛算を表すもの数に比例した並列度で計算を行えば、近似確率伝播のとする。

アルゴリズム１ステップあたりの計算時間はネットワー

図 5.9 の神経回路においては、変数 lXY , oX , kUX ,クの規模によらず一定となる。

pX , rX , bX の i 番目の要素は、ノード X のユニット

以上のように、もし上で述べた仮定が脳の中で成り

xi の計算をするコラム内に存在する。行列 WXY の要
素 wij は、条件付確率 P (Y = yj |X = xi ) を表す。行立っているならば、BESOM はスケーラブルであり、

列 WXY の要素は２箇所に重複して記憶される。WXY

処理アルゴリズムのモデルとしての資格を満たしていの i 番目の行ベクトルはノード X のユニット xi のると言える。

従って、記憶量・計算量の観点からは大脳皮質の情報

lXY （４層星状細胞）のシナプス、j 番目の列ベクト
ルはノード Y のユニット yj の変数 kXY （２層錐体5.4.6細胞）のシナプスが記憶し、それぞれの内積計算に用いる。

ノイズへの耐性

一般にアナログ演算を繰り返すと信号にノイズが蓄

各変数は、適当な初期値から始める。各変数の値の積していくという避けがたい問題が起きるが、BESOM

更新は、値がある程度収束するまで繰り返す。近似確モデルでは短時間で認識フェーズを終了し、事後確率

率伝播アルゴリズムの実行中は WXY の値は変化し最大のユニットを選択してノイズを除去した「０か１ない。

か」の結果を学習するので、ノイズに強いという性質

変数 oX (observation の略) は主にボトムアップのを持っている。

情報を使った観測データに基づく値、 pX (predictionの略) はトップダウンの情報を使った予測に基づく値、それらの積 rX を正規化した値 bX (belief の略) は最
終的に得られる事後確率を表す。

5.4.5

5.5

神経科学的知見との対応

5.5.1

大脳皮質の解剖学的特徴

大脳皮質は６層構造をしている。大脳皮質の領野間必要とする記憶量・計算量

は双方向結合を持っており、その結合の仕方に規則性ある種のスパース性を仮定することで、BESOM のがあることが知られている [30]。ボトムアップの結合

計算量と記憶量がスケーラブルになることを示す。

は主に３層から４層に向かう。５層から４層への結合

すべてのノードが持つユニットの数を s 、各ノードがある場合もある。トップダウンの結合は主に５・６層が持つ親ノードと子ノードの数を m, n とする。ここから１層に向かう。３層から１層への結合も少しある。

で s は一定値、さらに m, n もネットワークの規模がまた、大脳皮質内の主なニューロンの樹状突起と軸増大しても一定値だと仮定する。これは、ネットワー

索の分布から、コラム内では４層に入力された情報はク内のノードの数が増えても、ノード間のエッジの数

２・３層を経由し５層から他の領域に出力されると考（因果関係）はそれに反比例してスパースになることえらている [29]。５層の情報はさらに６層を経由して1を意味している 。6 章で述べるネットワーク構造の学４層に入力される。

習の際に、因果関係の弱いエッジを切る方向にバイア

この２つの知見を合わせると、コラム内における情報処理の途中結果である３層の情報が上位領野に送ら

1 より正確に言えば、ベイジアンネットとしてのエッジの数はス
パースではなくても、条件付確率表がスパースであれば同様にスケー
ラブルであることが言える。

れ、最終結果の５層の情報は下位領野に戻されるとい

32

I
II
III
IV
V
VI
Higher areasκU (x)

κ X ( yl )k

λ X (uk )BEL(u k )Lower areasλ (x)λY (x)BEL(x)λ ( yl )l

ZX

Higher areas

Z Yl

I
II
III
IV
V
VI

Lower areas

図 5.7: 大脳皮質の６層構造と、上位領野と下位領野と図 5.8: 大脳皮質の６層構造の間の接続構造に、導出の間の双方向接続、領野内における接続に関する知見。

された近似確率伝播アルゴリズムがかなりきれいに対応付けられる。

う、とても奇妙な構造をしていることになる（図 5.7）。
この構造の機能的意味については知られていない。

5.5.2

６層への近似アルゴリズムの変数の
割り当て

5.6

未解決の問題5.6.1

条件付確率表の近似の問題

本章で仮定した条件付確率表の近似は、 noisy-OR

model を仮定した場合、条件付確率の値が十分小さい

近似確率伝播アルゴリズムに現れる７つの変数のう場合は成り立つが、そうでない場合は成り立たない。

ち、ノード間の通信に関わる５つの変数を、領野間のより広い範囲で近似精度を上げるように、近似確率伝

結合規則に当てはめてみると、図 5.8 のようになる。

播アルゴリズムに補正を加える必要がある。

内積を計算する κUk (x) はニューロンのほとんどない
１層ではなく２層とした。ZX は３層の可能性もある

5.6.2

が、 BEL(x) との関連の深さから５・６層とした。

学習則の問題と正則化の機構の問題

図に示されているように、近似アルゴリズムは領野

5.3 章では、事後確率最大のユニットを SOM の競合間の結合の規則と素直に対応が付き、偶然とは考えら学習の勝者とする、と説明した。しかし、学習の初期れない。
（ただし、３層から１層へのトップダウンの結には上位ノードの学習が進んでいないため事後確率の合については、このモデルでは説明できていない。）

計算精度が悪く、それが SOM の学習に影響を与えう

７種類の変数を、さらに図 2.5 の６層構造に関する

まく次元圧縮できない可能性がある。（予備実験によ

知見をふまえてコラム内に配置してみたものが図 5.9

り同様の現象を確認している。）SOM がうまく次元圧である。前述の、４層→２・３層→５層の順の情報の縮できなければ、 SOM を階層化し上位層で抽象度の流れは、変数 λYl (x)、λ(x)、ρ(x)、BEL(X) の順の情高い情報を表現する、という目標も達成されない。

報の流れに対応している。（５層→６層→４層の情報

Selective Attention Model (SAM)[19] では、認識時の流れについては、8 章参照。）には双方向の信号を使うが、学習時にはボトムアップ

図 5.9 の神経回路は、(1) コラム内では垂直方向だの信号だけを使うことで、同様の問題を回避している

けでほとんどの情報処理が行われる、(2) ２層、４層、ようである。

５層には水平線維が見られる、(3) ２層および４層にもう１つ、過学習の問題がある。トップダウン信号

は細かい多数のニューロンがある、といった図 2.5 でがなければ、入力パターンがノイズを含んでいても、述べた解剖学的知見との一致が見られる。（３層の水文脈から修正されることがない。すると SOM は、ユ

平線維については 6.6.2 章参照。）

ニット数に余裕がある限り、ノイズを含んだパターン

大脳皮質では、同じ領野階層に属する領野間にも接も１つ１つ別のパターンとして学習してしまう。これ

続がある場合がある。その意味については 6 章で述ではユニットを無駄に消費する上、汎化能力も落ちて

べる。

しまう。

33

BEL(U 1 = u11 )BEL(U 1 = u12 )I

BEL(U 1 = u31 )BEL(U 2 = u )++BEL(U 2 = u22 )κ U ( X = x1 )

κ U ( X = x2 )

2
1

+

1

BEL(U 2 = u32 )+1

κ U ( X = x1 )
2

2

+

+

π ( X = x1 )π ( X = x2 )λ ( X = x1 )II

κ U ( X = x2 )λ ( X = x2 )

ρ ( X = x1 )λY ( X = x1 )λY ( X = x2 )

+

+

1

ρ ( X = x2 )

U1

III

X

Z Y1

1

U2

λ (Y1 = y11 )λ (Y1 = y12 )λY ( X = x1 )2+

λ (Y1 = y31 )λY ( X = x2 )

+

2

Z Y2

IV
λ (Y = y )2

2
1

λ (Y2 = y22 )
ZX

/

/

BEL( X = x1 )BEL( X = x2 )λ (Y2 = y32 )+ZX

λ ( X = x1 )λ ( X = x2 )

V
VI

Y1

Y2

The left circuit
calculates values of
two units, x1 and x2,
in node X in the above
network.

BEL( X = x1 )BEL( X = x2 )

図 5.9: 導出された近似確率伝播アルゴリズムを実行する神経回路。変数の場所と配線が、６層構造に関する解剖学的知見と様々な点で一致しており、BESOM モデルが正しい大脳皮質のモデルであることを裏付ける非常に強力な証拠である。

34

人間は、新奇刺激や予想に反する刺激が提示された伝播アルゴリズム）は、厳密解に収束することが保証ときに、それに注視するという生得的反応を示すが、されない。

それにヒントを得て次のような機構を考えよう。普段

条件付確率表のスパース性により、この問題が実質はトップダウン信号も使った推定結果を用いて勝者を的に解決されるのではないかと考えているが、今後シ選択する。しかし、認識結果が文脈からの予想に大きミュレーションで確認する必要がある。

く反すると判断した場合は、トップダウン信号を無視
し（先入観を排除し）、ボトムアップ信号だけを使って

5.6.6

学習勝者を選択するとする。このようにすれば、認識

学習ステップの神経科学的妥当性

結果が文脈からの予測と矛盾しない限りにおいて、で近傍学習については、[2] で推測されているように、きるだけ少ないユニットで対象のモデルを表現しよう

勝者近傍に拡散し速やかに消滅するなんらかの化学物とするので、過学習の問題は回避できるかもしれない。

質の濃度により、勝者ユニットおよび学習率の情報を

これは、正則化パラメタの制御を交差確認法を使っ周辺に伝えることで、実現されていると筆者は考えててオンラインで行っていることになる。正則化の機構いる。しかし、そのような機構は神経科学的には見つは他にも様々な可能性が考えられるが、同様な方法でかっていない。

正則化パラメタを制御する必要があるだろう。

5.6.7
5.6.3

記憶のモジュール構造

学習ステップと認識ステップ

実際の脳内に、本当に明確な学習ステップと認識ス

脳は知識を記憶するためのモジュールを持っているテップが存在するだろうか。

ように思われる。新しいカテゴリの知識を大量に学習し海馬において、θリズムと同期した信号の入力がシても、既存の知識の大半は直接的には影響を受けない。

ナプスの重みを変化させやすいという現象が知られて運動制御のモジュールを再現するモデルとして MO-

おり、大脳皮質でも同様の現象があるならば、それがSAIC モデル [41] が提案されている。また、信号処理に関しては、観測データのみから信号源のモジュール

学習ステップに対応していると解釈できる。しかし大構造を自己組織化する非負行列因子分解 (NMF)[9] とそうである。局所的に確率分布が収束したら学習する

いう解析手法が存在する。

ような仕掛けでうまく動いているのかもしれない。

脳皮質には、少なくともグローバルなクロックはなさ

BESOM モデルに NMF の要素を統合することで、
MOSAIC モデルの機能も再現させることを現在検討

5.6.8

中である。

5.6.4

３層錐体細胞による掛算の実現方法

BESOM モデルによると３層錐体細胞は複数の入力の掛算を行わなければならないが、その具体的な方法

メッセージ送信相手からの情報を含めることによる影響は明らかではない。文献 [42] （p. 471）には、ニューロンで掛算を行う５種類の方法が書かれている。このうちのどれかかもしれない。

ある状況のもとでは、「メッセージ送信相手からの情報を含める」という近似がベイジアンネットの厳密解との大きな食い違いを見せる可能性がある。

5.6.9

筆者は、それが脳の情報処理の様々な特性を生み出

一次視覚野の神経科学的知見の再現している可能性があると予想している（例えば 11.1 節大脳皮質の一次視覚野は、その解剖学的構造と機能参照）。今後、シミュレーションによって明らかにすがかなり詳細に調べられている。一次視覚野のニューる必要がある。

ロンは視覚刺激への応答特性に応じて単純型細胞、複雑型細胞といった種類に分類される。また、一次視覚

5.6.5

野には方位選択コラムのコラム構造、眼優位コラム、

確率伝播アルゴリズムの収束性

ブロブと呼ばれる構造があり、それらに関連して様々

確率伝播アルゴリズムが厳密解に収束するのはグラな知見が得られている。BESOM モデルのシミュレー

フの形がある条件を満たしている場合だけであり、一ションによって、これらの応答特性が再現されるかど

般の非循環有向グラフに適用した場合（loopy な確率

うか、現時点では不明である。

35

動物には大脳皮質が関与しなくても眼球を背景に合な回路をかなり説明できるが、まだ説明の付かない様々

わせて動かしたり、ピントを合わせたりする機構があ

な回路があり、これらの回路がこれらの機能を実現しるかもしれない。一次視覚野に関する知見の全てを再ている可能性がある。

現させるためには、シミュレーションの際にこれらの機

これらの機能は脳の情報処理の本質ではないため、構までも再現し、一次視覚野への入力の統計的性質を解明されなくても脳の機能の定性的再現には差し支え

現実の脳と正確に一致させる必要があるかもしれない。

ない。しかし、性能に関係するため、工学応用の際には必要になる可能性がある。

5.6.10

子ノードごとのボトムアップ信号の分離の実現方法

1. 学習の加速。最急降下法に基づく機械学習アルゴ
リズムに対して有効な、学習を加速する様々な方法が知られている。脳も可能ならばそのような加図 5.9 からも分かるように、近似確率伝播アルゴリ

速アルゴリズムを用いているはずである。

ズムの計算において、ボトムアップ信号の内積計算を

2. 局所解からの脱出。シミュレーションしてみないと分からないが、近似確率伝播アルゴリズムは局

子ノードごとに行う必要がある。実際の大脳皮質でも複数の子ノードからのボトムアップ信号の値が混信し所解に陥るのではないかと筆者は考えている。無ないようになっているだろうか？
一次視覚野では、外側膝状体の X-cell, Y-cell からの意味な局所解から脱出できるように、認識の初期入力が 4c, 4ab と呼ばれる４層の中の異なる層に入力にはノイズを加え、収束するにつれてノイズを小されることが知られている。これはと X-cell, Y-cell がさくするような機構が脳の中にあるかもしれない。

異なる子ノードに相当すると解釈してよいのだろうか？

3. エネルギー消費の節約。周辺ノードからの入力が０であれば、ユニットの出力も０であり、ユニッ

5.6.11

ト内のニューロンが活動する必要がない。入力信入力サンプルの再入力の機構

号に合わせてニューロンの活動を停止し、エネル
ＳＯＭが獲得するマップは、入力の順序によって変ギー消費を節約するための回路が存在するかもし化する。工学的には、ＳＯＭが望ましい形のマップを形れない。

成できるように、入力データのサンプル集合からランダムにデータを取り出して繰り返しＳＯＭに入力する。

5.6.14脳の場合、睡眠時に海馬から大脳皮質に送られる情報がそれと同じ役割を果たしているのかもしれない。

学習則の詳細化

近傍学習も含めたＳＯＭの学習則の詳細化も今後の課題である。

5.6.12

一般に学習モデルのパラメタを入力データから学習

網様体賦活系の機能する際、最尤推定（パラメタの事前分布を使わない推
脳幹網様体は視床非特殊核を経由して大脳皮質の１定）よりは、ＭＡＰ推定（パラメタの事前分布を考慮

層に投射し、その信号によって脳を覚醒状態にするとした推定）の方が頑健な推定ができ、汎化能力も向上

言われている。１層へは、２層、３層の錐体細胞が頂する。条件付確率表の学習を、近傍学習を行わずに式

上樹状突起を伸ばしている。その意味は何だろうか？

(5.1) のみで行うことは最尤推定に相当する。
一般にＳＯＭは近傍学習によって滑らかなマップを覚醒信号が来なければトップダウン信号を処理する
ニューロンが活動を停止し、エネルギー消費を節約でき獲得し、それによりあるユニットの知識が近傍のユニッ

るのかもしれない。ボトムアップ信号を処理するニューロンは活動しているならば、睡眠時も大きな物音に目をトにも適用できるという汎化能力を生み出す。これは、「獲得するマップは滑らかなはずである」という事前覚ます理由が説明できる。この解釈は正しいだろうか？

知識を用いたＭＡＰ推定を、近傍学習によって近似的に行っていると解釈できる。近傍学習に使う具体的な

5.6.13近傍関数や近傍半径のスケジューリングは、「マップが他に存在するかもしれない機能

どの程度滑らにあるべきか」という事前知識を近似的本モデルでは説明されていないが大脳皮質が持ってに反映させたものである。

いるかもしれない機能があるので、現時点で思いつく

BESOM の学習則もまた、条件付確率の事前分布を反映させたものでなければならない。では、理想的なものを以下に述べる。本章のモデルで大脳皮質の主要36学習則はいかにあるべきだろうか。一般にそれは、扱う問題による。
実際の脳の場合、領野ごとに想定される機能が異なり、それぞれの領野ごとに最適な学習則を、進化によって獲得していると想定される。
では領野ごとの学習則を明らかにしないと、脳の機能を工学的に再現できないのだろうか？それは現段階では分からない。一般的な近傍学習を用いるだけで近似的に脳の機能は再現されるかもしれない。また、工学的に容易に思いつく改良だけで実用に十分実用に耐えるかもしれない。もしそうでなければ、やはり「脳に学ぶ」というアプローチが有望だろう。問題となる脳の領野の学習則を神経科学的手法により明らかにすることで、工学的アプローチだけでは到達不可能だった理想的な学習則が得られるようになるかもしれない。

5.6.15

領野による６層構造の違い

大脳皮質の領野は、領野によって６層の厚みが違ったり、６層がすべて揃っていない領野もあるなど、様々な違いがある。BESOM モデルにより各層の役割が明らかになれば、領野ごとの６層構造の違いも説明可能になると思われる。

37しかし、5 章で述べた内容だけでは、まだ以下の問題に答えていない。

1. ネットワークの構造はどのような機構により獲得

第 6 章 独立成分分析による階層的な生成モデルの自己組織化されるのか。

2. ベイジアンネットでは、エッジで結ばれていない
兄弟ノードどうしは共通の親ノードから見て条件付独立でなければならないが、それはどのように保証されるのか。
本章では、独立成分分析 (ICA) を行う機構によって、大脳皮質がベイジアンネットで表現された生成モデル
を自己組織化するという仮説を提案する。そして、こ脳は外界について認識や予測を行うためのモデルをの機構を BESOM モデルに追加することで、上で述持っていると思われる。生成モデルを教師なしで獲得

べた問題点を解決する。このアルゴリズムの神経科学する技術として独立成分分析 (ICA) がある。この章で的妥当性についても述べる。

は、大脳皮質が ICA によって、ベイジアンネットで表現された生成モデルを自己組織化するという仮説を提案する。また、前章で述べたＳＯＭとベイジアンネットの機構と統合可能で神経科学的にも妥当な ICA ア
ルゴリズムを示す。

6.2

独立成分分析と生成モデル

6.2.1

独立成分分析と大脳皮質

ICA[7] とは、いくつかの信号を混合した信号のみが6.1

入力として与えられるとき、もとの信号およびその混背景合方法を推測する、一種の教師なし学習である。

人間は「外界はどのようなものか」を自分なりに近大脳皮質が ICA を行っている証拠となる神経科学的似して表現したモデルを脳の中に持っていると考えら知見がある。自然画像をスパース符号化することによれる。例えば行動計画を立てる際には、「この状況でり、脳の一次視覚野の単純型細胞の特性が再現されるある行動をとったらどうなるか」という行動結果の予ことが示されている [8]。スパース符号化は、本質的に測が必要になる。そのためには外界のモデルを脳の中に持つことが不可欠である。また、眺めていたものがICA と同一である。スパース符号化（[7] の 21 章参照）とは、データベクトルを基底ベクトルの線形和で表現

予想外の変化を起こした場合や、自分の行動が予想外する際に、同時に用いられる基底ベクトルの数が少数の結果を引き起こした場合、人間は思わずその対象ののみとなるように基底ベクトル集合を定めて行う符号物体に注目する。つまり、人間は普段何気なく行動し化である。スパース符号化により、特徴抽出、データているときでも、常に自分が持つモデルを使って外界

圧縮、ノイズ除去が可能になる。
他にも、大脳皮質が ICA を行っていることを想像さの変化を予測し、予測が正しいかどうかをチェックしせる神経科学的知見がある。

ていることになる。
複雑な外界のモデルを、脳がどのようなデータ構造

物体の形に応答するニューロンがある TE 野においを使って表現し、どのようなアルゴリズムで獲得してて、顔の向きに応答するコラムが発見されている [3]。

いくかについては、ほとんど知られていないと言って

しかも提示する顔の向きを徐々に変えると応答する領域よい。

も一方向にずれていく。（一連の領域の全長は約 1mm

5 章で述べたように、大脳皮質が外界のモデルをベ
イジアンネットで表現していることはほぼ確実であるであり、一次視覚野に存在するハイパーコラムのサイと思われる。ベイジアンネットとは対象を多数の確率

また、一次運動野からは、空間座標と筋肉座標での運変数の間の因果関係のグラフ構造で表現するもので、動を独立に表現するニューロンが見つかっている [33]。

複雑なモデルを表現する能力を持っている。ベイジア

均一の解剖学的構造を持った大脳皮質の同じ領野のンネットは、信号源から観測データが生成される過程

中に、これらように全く異なった性質を示すニューロをモデル化する生成モデルの表現にも使われる。

ンが存在するのは非常に不思議な現象である。しかし、ズに近い。）

38

大脳皮質が ICA を行い、独立な情報を表すニューロン
を自己組織化すると仮定すれば、これらの現象は素直に理解できる。

6.2.2

生成モデル

猛獣
認識

生成モデルとは、信号源から観測データが生成されキバる過程を表現するモデルである。信号源と観測データ

ツメの間の因果関係をベイジアンネットで表現したものも生成モデルである。この場合、生成モデルをパターン

...

キバの形

生成・予測

認識に用いることができる。つまり、ベイズの定理を

大きな体

キバの輪郭

用いることで観測データから信号源の状態を推定することができる。
図 6.1 は階層的な生成モデルの例である。目の前に

図 6.1: 生成モデルの例

猛獣がいるとすれば、それは高い確率でキバを持っているはずである。キバを持っているならば、高い確率でキバが見えているはずである。キバが見えているとすれば、キバを特徴付ける輪郭やテキスチャが視野内のどこかに見えているはずである。逆に言えば、キバを特徴付ける輪郭が視野の中に見えていれば、高い確率で目の前に猛獣がいると推定することができる。
観測データのみから最適なモデルを獲得することは、

y1

y2

y3

一般には計算量的に難しい。工学的には普通、ネット

Source signal

xi = f i ( y1 , y2 , y3 )ワークの構造を決めた後、条件付確率表をデータに基づき決定する。ネットワークの構造は、すべて人間がx1

与えるか、ノードのみを人間が与えて、ノード間のエッx2

x3

Input signal

ジの構造はヒューリスティクスを用いたアルゴリズム
で決定するなどの方法がとられる。
図 6.2: ＩＣＡは２階層のベイジアンネットで表現さ脳がベイジアンネットで表現された生成モデルを持っれた生成モデルを獲得することができる。

ているとするならば、そのネットワーク構造は、ある程
度は進化によって獲得された事前知識を使って構築さ

6.2.1 節で述べたように、 ICA は信号源を推定する。
信号源とはすなわちベイジアンネットにおける親ノーれるものと考えられる。しかし、事前知識だけでは、新しい環境についての知識を獲得する能力を説明するこドである。つまり、ICA アルゴリズムは、信号源と観とはできない。脳はネットワーク構造を現実的な時間

測データの２階層のベイジアンネットで表現された生で、教師なしで獲得する機構を持っているはずである。

成モデルを獲得する（図 6.2）。もし２階層の生成モデ
ルの獲得に成功したならば、信号源の推定値をさらに6.2.3

脳は独立成分分析を使って生成モデル
を自己組織化するという仮説の提案

ICA することによって、１つ上の階層の信号源を推定することができる。これを繰り返すことで、おそらく外界の階層的な生成モデルを自己組織化することがで筆者は、大脳皮質の各領野がそれぞれ低次の領野かきる（図 6.3）。ベイジアンネットのノードに、子ノーらの入力を ICA することによって、外界の階層的な生ドの一時刻前の値を与える機構を付加すれば時系列情成モデルを自己組織化するという仮説を提案する。

報も扱えるだろう。

大脳皮質がＩＣＡを行っている可能性を主張するモ

しかし、 BESOM に ICA の機構を統合する方法は

デル研究はいくつかある [8][36][37] が、筆者の知る限自明ではない。次の節では、 BESOM に統合可能なり、ＩＣＡによる生成モデルの獲得という機能の重要

ICA アルゴリズムについて述べる。

性を指摘する研究は過去に存在しない。

39

y1

y2

y3

x1

x2

x3

図 6.5: ２次元ＳＯＭによるＩＣＡ。
Other retinal areas or modalities.

6.3
図 6.3: ＩＣＡの結果得られた信号源の値を、さらにBESOM と統合可能なＩＣＡ
アルゴリズム他の視野・モダリティなどから来る情報と合わせてＩ
この節では２次元ＳＯＭを用いたＩＣＡとその問題

ＣＡすることで、階層的な生成モデルが獲得されるは点を述べた後、BESOM と統合可能と思われるＩＣＡずである。

アルゴリズムを紹介する。

6.3.1

２次元ＳＯＭによるＩＣＡ

２つの信号源が劣ガウス（ガウス分布よりも平たく、一様分布に近い分布）であれば、２次元 SOM を ICAのアルゴリズムとして用いることができる [34]。入力
ベクトルの空間において、学習結果のマップの２つの辺の方向が、入力の独立成分のベクトルの方向を表している（図 6.5）。SOM を用いれば、信号源が多少非線形に混合される場合でも、信号源の分離が行える。
つまり、湾曲したマップが獲得された場合でも、２辺が２つの信号源の大きさを表している。
しかし、信号源の数が n の場合、O(2n ) 個のユニットを持った n 次元 SOM が必要になるという問題がある。
図 6.4: ２つのＳＯＭが表す情報を独立にするための

6.3.2

側抑制回路。２つのＳＯＭの出力をアンチヘブ則で学習する抑制性シナプスを通して結合する。発火に相関

複数のＳＯＭによるＩＣＡ

一方、田尻らのアルゴリズム [36] は複数の SOM をのある２つのユニットは相関を抑える方向に学習が進

使って ICA を行う。

むので、最終的にすべてのユニット間の発火は無相関

２つの SOM の間のユニットを、アンチヘブ則で学になるはずである。

習するシナプスを通して結合するネットワークを考える（図 6.4）。
アンチヘブ則とは、抑制性シナプスにおけるヘブ則のことで、シナプスの前のニューロンの活動と後のニュー40

ロンの活動の相関が強ければ強く抑制し、無相関であれば抑制しないような方向に向かう学習則である。
図 6.4 の回路において、あるユニットの出力が大きくても相関の大きい他のユニットの出力が大きければ強く抑制されるので、出力が弱まり勝者になりにくい。

Basis

このような条件下でそれぞれのＳＯＭの学習を続けて

B3-1

Node

いけば、やがてすべてのＳＯＭのユニットの出力どう...

しが無相関になる。すなわち、ノードが表現する値ど

B2-2

B2-1

うしが独立になる。

...

この方法は SOM の数を n、ユニット数を s とする

...

B1-1

と総ユニット数は O(ns) ですむという利点がある。シ

B1-2

...

ナプスの数は O(n2 s2 ) 個必要である。ただし、ＩＣＡ

B1-3

...

が完全に収束すれば、アンチヘブ則で学習していた全てのシナプスの重みが０になる。重み０のシナプスを

図 6.6: ネットワーク構造の模式図切るという最適化を行えば、シナプスの数は実際にはかなり減るだろう。

6.3.3

このＩＣＡアルゴリズムの利点

このアルゴリズムは極めてシンプルで、計算機上での実現も容易である。それに加え、以下の利点がある。
多くの ICA のアルゴリズムでは、前処理として入力信号の平均値を０にし、入力分布を白色化することが必要だが、本アルゴリズムでは SOM が自動的に入力分布に適応するので前処理が不要である。
また、多くの ICA アルゴリズムは独立成分の数と観測される混合信号の数は等しいと仮定しているが、本アルゴリズムでは、おそらくその仮定は不要である。
混合信号の数が大きい場合は、SOM の機能により次元
図 6.7: リカレントな構造を持ったネットワーク

圧縮される。また、信号源の数が多い場合は、スパー
ス符号化による ICA と同様の機構を取り入れること
により、過完備基底に分解することが可能になると予想している。
筆者が以前提案したＩＣＡアルゴリズム [17] は、獲得した重みが正しい条件付確率にならないという欠点があったが、このアルゴリズムでは、ＩＣＡが収束し...

たときには抑制性結合の重みが０であり、ＩＣＡの機構が勝者選択の機構を歪ませることがないので、最終的には正しい条件付確率が学習されると考えられる。

6.4

提案仮説の神経科学的妥当性

6.2.1 節で脳がＩＣＡを行っていると思われる神経科学的知見について述べたが、この節でもＩＣＡに関連
図 6.8: リカレントな構造を無限の階層に展開したネッ

すると思われる神経科学的知見について述べる。

トワーク

41

現在のところ定性的な議論にとどまっているが、将の方向を知る手がかりになる体性感覚とをＩＣＡすれ

来的には計算機シミュレーションによって本節で議論

ば、もとの２つの情報が復元されることが予想される。

する現象を再現させる必要があるだろう。

6.4.3
6.4.1

物体の位置、動き、形の情報

ＴＥ野におけるコラム構造

側頭葉にある、物体の形を認識するＴＥ野と呼ばれ

図 2.3 の視覚系脳領野の結線図において、７野、Ｌる領野の応答特性に関する詳しい研究の結果、ＴＥ野

ＩＰ野、ＭＩＰ野は物体の位置、ＭＳＴ野、ＭＴ野はにもコラム構造が存在することが知られている [39]。

物体の動き、Ｖ４、ＩＴ野（図 2.3 ではＰＩＴ、ＣＩ

個々のコラムは異なる図形特徴に反応する。

Ｔ、ＡＩＴ）は物体の形に応答することが知られてい本章で述べたモデルによれば、物体の形もまた、いる。つまり、視覚刺激はおおまかにいって物体の位置、

くつかの独立な成分に分解されて認識されるはずであ

動き、形の３つの情報に分解され、異なる領野で表現

り、ＴＥ野のコラム構造の自己組織化を説明できる。

されている。６層構造というほぼ同一の構造を持った大脳皮質の領野が、他の領野との結合の仕方が異なる
だけで、このように全く違う情報を表現するようになるのは、大変不思議なことである。
大脳皮質がＩＣＡを行っているならば、この現象は

6.5

議論

6.5.1

大脳皮質で表現されるベイジアンネ
ット

理解できる。物体の位置、動き、形の３つの情報はほぼ独立である。そして、図 2.3 においては、情報処理

図 6.6 は筆者が考える、大脳皮質で表現されているの各階層において、これら３つの情報を表現する領野

ベイジアンネットの模式図である。
この図では、基底ベクトルの集合からなる基底 (ba-

どうしが水平方向に結ばれている。この水平方向の結合でそれぞれの領野が表す情報をアンチヘブ則で結合sis) を四角で表している。基底の中のノードどうしはしているならば、視覚刺激は３つの独立した情報に自独立なので、エッジを持たない。

然に分解されるだろう。

基底は、下位の階層から送られてくる情報を圧縮表

どの領野がどの情報を表すかが個体によって大きく現し、結果を上位の階層に送る。上位の階層にある基違わないのは、領野間のマクロ的な結合の初期状態が底は、より多くの観測データ（より広い視野、より多学習にバイアスをかけているせいだろう。このバイア

くのモダリティ）を統合し、抽象度の高い情報を表現

スによって、配線量などの観点から最適な位置にあるするようになる。

領野が、しかるべき情報を表現するように運命付けら

異なる階層にある基底（例えば B2-1 と B1-1）に含れているのだろう。

まれるノードどうしは、独立でなければエッジで結ばれる。恐らく大脳皮質にはノードどうしが独立かどう

6.4.2

かを判断し、独立な場合はエッジを切る機構があるだ

視線の方向と物体の位置の情報

ろう。そうすることで、神経線維およびシナプスの数を大幅に節約できる。

７野とＬＩＰ野には、ﬁxation neuron と呼ばれる
視線の方向を表現するニューロンと、passive visual

兄弟関係にある基底（例えば B1-1 と B1-2）に含ま

neuron と呼ばれる頭部中心座標での（視線の方向にれるノードどうしは、親ノードから見て条件付独立によらない）視覚刺激の位置を表現するニューロンが見なることが、進化で得た事前知識により分かっている

つかっている1 。１つの領野の中に、このような全く異のなら、エッジは不要である。脳はこのような形で事なる性質を持つ情報を表現するニューロンが存在する

前知識を使うことで、ＩＣＡのコストを下げているとことは大変不思議なことである。

思われる。

しかし、大脳皮質がＩＣＡを行っているならば、この現象は容易に理解できる。頭部中心座標による物体

6.5.2の位置と、視線の方向は、ほぼ独立であろう。そして、リカレントなネットワーク

網膜上に映る画像は、これら２つの情報から合成する

ヒトの視覚系の領野の階層は高々１０段程度である。

ことができる。逆に言えば、網膜上に映る画像と、視線

しかし、人間は過去に獲得した概念の上にさらに抽象度の高い概念を次々と獲得してきた。有限の階層でこ

1 文献 [38] の p.124 。

のようなことが可能だろうか？

42

図 6.7 のようなリカレントな構造を持ったベイジア

自然に実現可能であろう。自分自身も外界の一部であンネットを考えよう。本来ベイジアンネットではこのり、自分自身の状態を知るために必要な情報が大脳皮ような循環のある構造は許されないが、確率伝播アル質に入力されれば、獲得された生成モデルの中には当

ゴリズムは、問題なく適用可能である。図 6.8 のよう

然自分自身に関する状態を表現するノードも現れるだに、ある階層で使われた１つのノードが、他の階層でろう。

使われないような生成過程で生成された観測データで脳が自分自身の状態を知るための情報として、以下あれば、認識可能かもしれない。

のものが考えられる。

また、この構造と時系列学習の機構を組み合わせる

1. 自分の身体的状態を知るための感覚器官からの情ことで、再帰的な文脈自由文法を獲得可能になるので報。例えば、筋肉や関節の固有感覚や視覚情報。

はないかと予想している。

2. 自分の精神的状態を知るための情報。例えば情動6.5.3に強く関与する扁桃体は、視床を経由して大脳皮

抽象概念の獲得

質に入力している。現実に我々は自分自身の現在

ICA の機構は、脳がいかにして抽象概念を獲得するかも説明する。例えば、多くの動物の特徴を学習させの感情を五感を通さなくてもある程度知ることがれば、自然に「猛獣」という独立成分が獲得されるだるのではないだろうか。強化学習で使われるＴＤ

ろう。さらに、猛獣を見せるたびに同時に「もうじゅ

誤差信号に相当する情報も、人間は主観的に感じう」という単語を聞かせれば、２つの刺激を抽象化しることができる。

できるが、それはこの経路の入力情報を用いていた情報を受け取る SOM は、単語と意味の関係を容易

これらの情報が、外界を知るための情報と全く同じに学習するだろう。

方法で大脳皮質に入力され、処理されるのだと筆者は考える。
そのことは、人間が生き残る上で、実際に役に立つ。

２つの１次元ＳＯＭと１つの２次元
ＳＯＭ

ＴＤ誤差信号を例に取って考えよう。ドーパミン細胞

２つの１次元ＳＯＭと、１つの２次元ＳＯＭとでは、動を強化する。しかし、この機構だけでは、
「ある行為

6.5.4

が表現するＴＤ誤差信号は線条体に入力し、直前の行

能力的に一長一短がある。

が報酬につながる」という知識にはつながらない。例n 次元入力ベクトルを学習する２次元ＳＯＭは、２
入力 n 出力の任意の非線形関数の関数表を表現できる

えばある人が初めて見る木の実を口に入れて正のＴＤが、２つの１次元ＳＯＭはできない。一方、２つの１木の実を口に入れる頻度は上がるだろうが、十分に高次元ＳＯＭは、獲得された２つの特徴のうち、１つのい頻度でその木の実を食べている自分自身に気づかな

特徴量だけを選択的注意の機構によって容易に選択でい限り、「その木の実がおいしい」ということを認識

きるが、２次元ＳＯＭではそれができない。

できない。認識できない限りは、他人に「その木の実

誤差信号が出たとする。その行動を繰り返せば、その脳は、たくさんの２次元ＳＯＭからなる領野階層をがおいしい」ということ言語を使って伝えることもで何段階も重ねる構造を取ることで、１次元ＳＯＭと２きない。一方、木の実を食べたときの報酬信号の量が次元ＳＯＭの両方の欠点を補っているのではないかと

大脳皮質にも入力されるとしよう。そうすれば、その考えている。

木の実と報酬の高さの関係は直ちに学習され、言語化

その詳細は、シミュレーションによって明らかにさも容易である。他のおいしい食べ物を食べる経験を積れるだろう。

み重ねれば、「おいしい」という抽象概念も速やかに獲得されるだろう。そうすれば「この木の実がおいし

6.5.5

い。おいしいものをもらえば子供はよろこぶ。だから自分自身の状態の認識

この木の実を子供にあげればよろこぶだろう。」といった推論も可能になる。

人間は、いわゆる「意識」をしっかり持っている状
態においては、周辺の環境について認識するだけでな
く、自分自身の状態や今行ってい行動、行おうとして6.5.6

いる行動についても認識している。

脳内における情報コーディング

このような自己認識の機能は、外界の生成モデルを

領野階層内でＩＣＡを行っているという仮説が正し自己組織化する機能さえ実現されれば、それを用いてければ、大脳皮質における情報コーディングの意味が43

明らかになる。大脳皮質は各領野階層において、 n 個6.6.2の２次元ＳＯＭの出力値で情報を表現している。この大脳皮質によるＩＣＡの解剖学的証
拠

大脳皮質の情報コーディングの意味は、様々な見方で工学的には様々なＩＣＡアルゴリズムが提案されて説明することができる。

いる [6] が、どのアルゴリズムを用いても結果はほぼ

1. ノードは信号源の値（の確率分布）を表現してい同じになる。従って、「大脳皮質はＩＣＡを行う」とる。領野階層は、外界からの入力を n 個の独立ないう仮説だけからは、脳が用いているＩＣＡアルゴリ

信号源の値の組み合わせで近似している。

ズムが決まらず、存在しうる解剖学的構造を予言しにくい。

2. 領野階層はＩＣＡを用いて特徴抽出を行う。個々

ただし、6.3 節で紹介した田尻らのアルゴリズム [36]のノードの出力は入力から意味のある特徴量を抽を想像させる解剖学的構造は存在する。大脳皮質の３出した結果であり、より上位の階層における情報層には、同じような情報を表現する他のコラムの３層処理をやりやすくしている。

に接続する構造が知られている3 。もし、３層錐体細胞

3. n 個の２次元ＳＯＭにより、 2n 次元の情報が表現される。仮にある階層の個々のノードが出力すからの側方結合が抑制性ニューロンを経由して他の３る確率分布がデルタ関数的であれば、その階層はンチヘブ則で学習すると仮定すれば、この「同じよう2n 次元空間の中の１点を示していることになる。

な情報を表現する他のコラムに接続する」という解剖別の表現をすれば、１つの階層は、n 桁の s 進数学的特徴を説明できる上、上記アルゴリズムも実現可で sn 個の情報を表現できることになる。

能である。

6.5.7

層錐体細胞の出力を抑制し、その抑制性シナプスはア

領野とハイパーコラムの関係

大脳皮質の領野にはたくさんのノードが含まれているが、１つの領野を、その内部の個々のノードの状態の直積を状態として持つようなノードに置き換えたベ
イジアンネットを考えることができる。すると、領野間のネットワークもまた、ベイジアンネットと見なすことができるので、各領野の定性的振る舞いを理解しやすくなる。実際、筆者は [15] で１つの領野が１つのノードであると述べ、そう解釈することで運動野の振る舞いを説明する模式的モデルを示している。

6.6

未解決の問題

6.6.1

正則化

一般に非線形ＩＣＡは解が一意に定まらず、何か別の制約条件を与えないと、望むような意味のある解（信号源の推定）は得られない2。「何か別の制約条件」とは、「滑らかさ」のような、いわゆる正則化のための条件である。制約条件の候補としてはいろいろ考え得るが、今後シミュレーションにより何が有効かを探っていく予定である。

2 参考：文献 [7] p.342 。

3 文献 [28] の p.542 。

44

第 7 章 強化学習
この章では、前章までに述べた BESOM ネットを拡張し、強化学習の機構を追加する。
脳が強化学習を行っていることは最近の神経科学的知見によりまず確実だが、「素朴な強化学習」でないことも明らかである。この章では、素朴な強化学習と脳とは何が違うのか、その違いがどのような機構で実現可能になるか、その機構を実際に脳が持っている神経科学的根拠は何かについて述べる。
なお、前頭前野による意思決定は、脳内にある外界シミュレーターを使った行動計画や、時間的に遠い過去に行った意思決定の評価など、独特の機構を持っており、それについては 9 章で説明する。

7.1

大脳皮質−基底核ループによる強化学習モデルの提案

脳における強化学習のモデルとして、線条体が状態の価値と行動の価値を学習するというモデル [21] 等が

図 7.1: 体性感覚野と運動野周辺の領野の結線図。
（文

提案されている。筆者は、少し異なるモデルとして、

献 [5] より。）

皮質の運動野の SOM が過去に行った運動の状態行動
対 (s,a) を学習し、運動野から線条体のニューロンに接続するシナプスが状態行動対の価値を学習するというモデルを提案する。運動野への入力 a を遮断すれば、各ニューロンへの入力は推定された各状態 s の事後確率に比例する。それに状態行動対の価値を掛けた線条
体の出力は、将来の累積報酬の期待値を表すので、それが最大値となる状態行動対を選択することで、合理的な意思決定ができる。

２．行動選択１．状態認識BESOM モデルにおける強化学習の機構は、銅谷のQ

３．状態行動対学習
Q

Q

モデル [21] に大脳皮質の役割を加えたもので、大脳皮質−大脳基底核ループと呼ばれる解剖学的構造 [22] にQ関する神経科学的知見と整合性がある。

a

なお、運動野以外の領野から線条体に投射がある [22]Q

が、それは運動野が損傷した場合に備える何らかの代自分が置かれている
外界の状態を推定替機構であると考える。

Q

Q

s

s
Q

Q

選択肢の中から報酬期
待値最大の行動を選択、子Ｑノードに命令(s,a) の組を圧縮して学習図 7.2 を使って、 BESOM ネットを使った強化学習が具体的にどのように進むかを説明する。状態行動対図 7.2: Ｑノードの学習サイクルを記憶するノードをＱノードと呼ぶ。Ｑノードは、まず親ノードからの文脈情報（どう運動すべきかという45a情報を表す親Ｑノードからの命令）と、感覚情報を用いて、自分自身が置かれている状態の確率分布を推定する（図 7.2 の１）。次に、各ユニットの出力が表す状
態行動対の確率に、状態行動対の価値を掛算すること
で、状態行動対の期待値を計算し、期待値最大の行動

発火を選択する（図 7.2 の２）。その後、現在の状態 s と選択した行動 a の組を、ＱノードのＳＯＭが圧縮しての５層錐体細胞
大脳皮質以外の組織
脊髄の運動細胞M1

学習する（図 7.2 の３）。以上３つのステップを１サイ

頭頂葉

Ｑノードは最も価値の高いユニットを１つ選択する

視覚野

シナプス
強化
体性感覚野

ので、各ユニットの事後確率を計算する通常のベイジ

網膜

筋肉・腱・関節内の感覚器

クルとし、このサイクルを一定時間ごとに繰り返す。

アンネットのノードとは違う、特殊なノードである。

筋肉

生物が意思決定する際、「右に３０％移動、左に７０％移動する」ということは不可能で、右に行くか左に

図 7.3: 一次運動野 (M1) の細胞と脊髄運動細胞の間の行くか、どちらかを選択しなければならない。それゆ結合の学習を説明するモデル。

え、このような特殊な機構が必要となる。
ＳＯＭで状態行動対を学習することで、計算論的には筋肉に投射して筋肉を駆動することが知られている

以下の利点がある。

[45]。また、動物は大脳皮質の運動野からの運動指令がなくても、脳幹からの運動指令や脊髄内の神経回路

1. 記憶容量。ＳＯＭの性質により使われない状態行
動対は自然に忘却するので、膨大な状態と行動のにより、それなりに運動できる。
大脳皮質以外の組織に作りつけられた運動プログラ

組み合わせのうち、実際に使うものだけを記憶す

ムが、大脳皮質にコピーされて強化学習によって制御ることになる。

可能になるまでの過程を図 7.3 で説明する。まず、大2. 近傍学習による汎化能力。学習した行動は、学習脳皮質以外の組織（脳幹や脊髄）が脊髄の運動細胞を時とは少し違うが似た状況にも応用することがで経由して、筋肉を駆動する。その結果起きた運動は、きる。

筋肉・腱・関節内の感覚器の値や、網膜からの視覚刺激を変化させる。これらのフィードバック情報が、大脳

3. 次元圧縮。生物の体は複数の筋肉や関節を持つた皮質の領野階層を上がって抽象化されていき、やがてめ高い運動の自由度を持っているが、普通は低い

M1 に入力される。M1 では競合学習により、ごく一部のコラムがその時の運動状態を表現するようになる。

自由度の運動しか行わない。ＳＯＭの次元圧縮の能力により、実質次元に基づく運動制御が可能に

コラムの発火は５層錐体細胞の出力として、脊髄の運なる。

動細胞に向かう。この５層錐体細胞から脊髄運動細胞

なお、ＳＯＭで状態行動対を学習する工学的な試みに接続するシナプスがヘブ則学習を行うことによって、として Q-KOHONEN アルゴリズム [44] がある。

作りこまれた運動プログラムと同じ運動が、大脳皮質の M1 にコピーされる。
このコピーが完了すれば、基底核−皮質ループによ7.2

運動野と運動細胞のモデルの提る強化学習によって、作りつけられていた運動プログ

案

ラムをより合目的的に発現させたり、運動制御をより洗練させていったりすることができるようになる。

上で提案した運動野のモデルは、運動野の出力が最終的にどのようにして筋駆動の信号に変換されるかに7.3

ついては述べていない。この節では、一次運動野と脊髄運動細胞を結ぶシナプスがヘブ学習をすることで、階層的マルチエージェント強化
学習のモデルの提案

抽象度の高い運動指令を具体的な筋駆動に変換する回
路が自己組織化されるというモデルを提案する。

背側眼窩前頭野 (４７野)、背外側前頭前野 (9/46 野)、

解剖学的には、一次運動野 (M1) の５層錐体細胞は運動前野 (PM)、一次運動野 (M1) は並列した大脳皮脊髄にある運動細胞に多対多で投射、さらに運動細胞

質−基底核ループを構成し、それぞれ動機、行動計画、

46

47?

目の前に
パンがある

意図：パンを食べよう
行動：

a

s
目の前に
物体がある

a
s

PM/SMA

PM/SMA

ある座標に
物体がある

s

目の前の物体に手を出し、つかんだ物体を口に持っていき、物体を口に入れよう

9/46

PM/SMA運動：
手をある座標に動かすために
こういう時系列運動をしよう

a
M1

M1

M1

s
足

M1

as

M1

M1

a

手

筋駆動：
手の筋肉の力をこのくらい出そう

視覚・聴覚

PM

SMA

体性感覚

MI

感覚入力

顔

運動出力

図 7.4: 前頭葉による階層的マルチエージェント強化

図 7.5: 運動前野 (PM)、補足運動野 (SMA)、一次運

学習のモデル。

動野 (M1) 周辺の領野の結合を単純化して書いたもの。
２重丸は大脳皮質−基底核ループを構成するノードを運動、筋駆動に関与すると言われているが、これは強表す。

化学習における次元の呪いの回避手段の１つである階
層的強化学習を行っていると解釈できる。線条体と中期には、SMA が前頭前野からの命令に従って運動を行

脳の間に見られるスパイラル構造 [23] も、並列ループ

うが、その際の M1 の動きと感覚入力との関係を PMの階層的関係を強く示唆している。

の SOM が横で学習する。運動に十分習熟すれば、前運動野周辺は図 7.4 のような階層構造をしていると頭前野から具体的な運動系列の命令がなくても、PM筆者は考えている。

が感覚入力を元に自動的に M1 に命令を出せるように階層構造を持つ利点の１つは、状態行動対を記憶すなる。

るテーブルサイズの削減である。上位の階層にあるＱ

高次元の行動空間の中から試行錯誤だけで解を発見

ノードは抽象度の高い意思決定、下位の階層は抽象度することは現実的に不可能だが、このモデルでは前頭の低い意思決定を行うとする。それぞれのＱノードに前野が模倣などで発見した行動の近似解を PM が強化

は、意思決定に役立つ相応の抽象度を持った状態の情学習で最適化するだけであり、十分現実的である。

報が入力されるべきである。例えば「目の前にパンがこのモデルは、実際の運動野の解剖学的構造（図 7.1）

ある」という情報は、「パンを食べよう」という意思とよく一致している。また、大脳皮質−基底核ループ

決定をするために相応しい抽象度であり、現在の関節における背外側前頭前野ループが視覚座標、運動ルー

角度の情報は次の瞬間に筋肉がどのくらいの力を出す

プが運動座標に基づいて学習することを示すとする多べきかを意思決定するために相応しい抽象度である。

くの実験事実 [24] も再現できると考えている。

それぞれを階層的にすれば、状態行動対の記憶に必要なサイズは、は各階層のサイズの和ですむ。もし階層

7.5

化せずに１つのＱノードで表現すると、状態行動対のテーブルサイズは各階層のサイズの積になる。逆に言合理的な強化学習アルゴリズムの提案

えば、階層化によって大幅に必要な記憶量を減らすこ

7.5.1とができ、それと同時に、学習速度の向上、汎化能力の向上が達成される。

背景

大脳基底核が強化学習を行っているのが確実だとしても、その具体的アルゴリズムは不明である。強化学

7.4

習には、アクタークリティック、Ｑ学習、 sarsa 、Ｒ学

運動前野による運動の自動化の習など様々なバリエーションが存在する。また、学習モデルの提案率αや報酬割引率γのようなメタパラメタが存在し、補足運動野 (SMA) は記憶に基づく運動、PM は熟練

もしそれ脳内にあるとしても、どのようなポリシーでした自動化された運動に関与すると言われているが、制御されていて、どのようなときにどのくらいの値に

これは図 7.5 のようにモデル化できる。運動学習の初なるのかなどが、全く不明である。

47

1. 既存の全ての強化学習アルゴリズムと（おそらく）違って、学習の課程においても常に期待値最大の報酬割引率γは、その存在自体が問題である。Ｑ学
習などでは、学習する行動価値は、将来の累積報酬の総和であるとしている。無限の将来までの累積を計算

行動を選択するため合理的。

すると値が発散してしまうためそれを防ぐためのアド

2. そもそも合理的根拠の怪しい報酬割引率γが不要。
（Ｑ値は将来の報酬の総和ではなく過去の報酬の平ホックな回避策として報酬割引率γが導入されている1。現在のところ、生物に対して実験的にγの値が見い均値を表すので、無限大に発散する心配がない。）

だされてはいない。

7.5.2

3. 状態認識が確率的な場合でも、状態の確率と行動価値を掛算すれば報酬の期待値になるので合理的マッチングの法則

な行動選択が可能。（例えばＲ学習ではＱ値が行動価値の絶対量ではないので、この性質は満たさ

動物が複数の選択肢からどれかを選ぶ（例えばどれれない。）

かのキーを押す）とあるルールで報酬がもらえるという課題を繰り返し行うとき、過渡的な状態を経て定常

また、このアルゴリズムが実際に脳の中で行われる状態になると、０でない頻度で選んでいるすべての選証拠として以下のものがある。

択肢における報酬期待値は等しい、という法則が知ら

1. 実験的に知られているマッチングの法則を満たす。

れている。これをマッチングの法則と呼ぶ。ここで言う
報酬期待値とは、その実験においてその選択肢を選択して得られた累積報酬量を選択回数で割った値である。
この法則から、動物は自分が持っている行動の選択肢の中で、過去の経験から報酬量の期待値が最も大き

2. 報酬割引率γの値が（たぶん）いまだに実験的に見出されていないという事実を説明できる。

3. 基底核−皮質ループの解剖学的構造と矛盾しない。
大脳皮質の出力が状態の確率分布を表現しており、いものを選ぶという合理的な行動をしていることが分かる。

線条体に接続するシナプスが状態行動対の価値を表していると解釈すればよい。これは線条体に関7.5.3

する実験 [13] と矛盾しない。BESOM モデルとマッチングの法則を満たす強化学習
アルゴリズムも矛盾しない。局所的な学習率 α(s, a) は、価値を学習するシナプスの近傍にある別の１個のシナプスが記憶するといった方法でおそらく実現可能

マッチングの法則を満たす、 sarsa[11] を少し変更

である。

した強化学習アルゴリズムを提案する。

7.5.4

Q(s, a) ← Q(s, a)+α(s, a)[r + Q(s , a ) − Q(s, a)](7.1)α(s, a) ← α(s, a)/(1 + α(s, a))考察

もし脳がこの強化学習アルゴリズムを採用しているとすれば、動物は報酬量を最大化する行動をとる、と(7.2)

いう合理的な行動を行っていることになる。脳の他のsarsa との違いは、報酬割引率γがない、学習率 α
は状態行動対ごとに持つ、の２点である。α(s, a) は状

部分のアルゴリズムも、このアルゴリズムの合理性が態 s で行動 a を選択した回数の逆数を表し、Q(s, a)ある。（12.2.1 節参照。）

無意味にならない程度に合理的に作られているはずでは状態 s で行動 a を行った結果得た報酬の平均値を表す。
（価値の高い状態への遷移も報酬と等価と見なす。）
このアルゴリズムは、以下の計算論的妥当性を持つ。
1 強化学習で将来の報酬を割引率γで割り引く理由について、「将

来の報酬は当てにならないから」という説明を耳にすることがある
が、それは正しいくない。
少なくとも強化学習の教科書 [11] にはそのような説明は書いてなく、実際、将来の報酬を割り引かなくてもよい「Ｒ学習」というアルゴリズムも紹介されている (p.166)。将来の報酬が当てにならないのは確かだが、学習が収束すれば状態価値関数に反映されるはずなので、割り引く必要はない。

7.6

未解決の問題

7.6.1

階層的強化学習の具体的なアルゴリ
ズム

１つのＱノードは図 7.2 の動作で基本的には問題ないと思われるが、Ｑノードが階層的になったときの具体的なアルゴリズムが、現時点では分からない。

48

親Ｑノードから子Ｑノードへの命令は、具体的にど強化学習の状態価値の表現方法として、タイルコーのように行われるのか。また、何の工夫もしなくてもディング [11] という方法が知られている。これは、い階層的ＳＯＭとして動作するだけで階層的な状態行動

わばポピュレーションで価値関数を近似する方法であ対が果たして学習されるのだろうか。

る。この近似がうまくいくためには、状態の変化に対

これらはベイジアンネットとしての動作とも整合性応して価値も連続的に変化する必要がある。しかし一が取れていなければならない。

般には、その性質が成り立つと言えない。
運動野のコラム構造が表現する値が、価値の変化に

7.6.2

対して連続になるよう強制するには、状態行動対の価値

適格度トレース

そのものも運動野のＳＯＭに入力すればよいだろう2 。

強化学習に適格度トレース [11] という機構を入れ

実は大脳基底核の線条体という場所が出力する行動

ると、少ない試行で早く最適解に到達する。適格度トの価値の情報は、視床を経由して大脳皮質の４層に入レースを導入すると計算量は増えるが、神経回路上で力される。この構造は、期待値最大の状態行動対ユニッ

は O(n) のハードウエアコストで O(1) の時間で並列

トを選択するためのものであると同時に、大脳皮質の実行が可能である。神経回路に適した少ないコストで、ＳＯＭに価値を入力する役割も持っているのではない

生物が強化学習する際の「多くの試行ができない」とだろうか？
そして、運動野にあるハイパーコラムが状態行動対いう問題を克服できるのだから、脳が適格度トレースの価値の情報も含めて独立な成分に分解されているとを採用している可能性は高いと思われる。
しかし、具体的に脳の中のどの組織が、どのようなするならば、個々の成分に対して独立に期待値計算、神経回路で適格度トレースを実現しているかは全く分

行動選択、価値更新を行えば、全体としても正しい期からない。そもそも脳が適格度トレースを採用してい待値計算、行動選択、価値更新になるのではないだろることを示す神経科学的知見も（おそらく）全く知らうか？
このアイデアが正しく動作するかどうかは、今後アれていない。

ルゴリズムを詳細化し、シミュレーションによって確7.6.3

認しなければならない。

ポピュレーションによる強化学習のモ
デル

7.6.4

期待値最大の行動選択に関する問題

いわゆる「おばあちゃん細胞」による情報コーディ
ングは膨大な細胞を必要とする上に頑健性がないとい

現在の状態の確率と行動価値を掛算すれば行動の期

う問題がある。実際には、脳は複数の細胞の発火で情待値になるが、実は行動価値最大の状態行動対を選択

報を表現するポピュレーションコーディングを行ってすることが、期待値最大の行動を選択することにならいると言われている。BESOM モデルは、大脳皮質にない場合がある。

よるポピュレーションコーディングの実体を、詳細に説明している。BESOM モデルによれば、独立な複数例 え ば 次 の 場 合 を 考 え る 。Q(s1,a1), Q(s2,a2),
Q(s2,a3) という３つの状態行動対があり、価値は同のハイパーコラムの発火パターンの組で情報を表現しじ、状態認識結果の事後確率の比率が 3:2:2 だとする。

ている。

これだと行動 a1 が選択されてしまう。実際には、状
態は s2 である確率が高いのだから a2 か a3 を選択す

大脳皮質−基底核ループに関係する組織もまた、ポべきである。

ピュレーションコーディングを行っているはずである。
つまり、脳はポピュレーションとして状態認識し、ポこのような現象が実際に脳にもあるだろうか。現実

ピュレーションのまま期待値を計算し、ポピュレーショ

には上で仮定した状況とは異なり、１つの状態に対しンのまま行動を選択し、ポピュレーションのまま運動

とるべき行動は１つに決まることが多いと思われる。

を命令し、ポピュレーションのまま行動価値を更新す（この予想は正しいだろうか？）そうだとすれば、期待るはずである。筆者が知る限り、そのような既存の強値最大の状態行動対を選択することは、期待値最大の化学習アルゴリズムは全く存在しないが、おそらく不行動を選択することと等しくなる。もし、上で述べた

可能ではないだろう。

ような状況が起きるように工夫した上で人か動物で実

現在のところ筆者はその具体的なアルゴリズムを決定していないが、いくつか関係すると思われるポイン

2 ＳＯＭで状態行動対を学習する Q-KOHONEN アルゴリズム[44] でも、状態、行動、価値の三つ組みをＳＯＭに入力している。

トを指摘しておく。

49

験すれば、同じような最適でない行動が再現されるかもしれない。

7.6.5

損失関数の学習

パターン認識装置には損失関数が陰にせよ陽にせよ
与えられるはずである。
物体を認識するＴＥ野という領野もまた、大脳皮質−
基底核ループを構成することが知られている [43]。この解剖学的構造によって損失関数のようなものを学習しているのだろうと筆者は考えている。

7.6.6

Δt の問題

強化学習の多くのアルゴリズムは離散時間で記述されており、実時間で動かす場合は Δt ごとに行動選択をして結果を学習する。脳が行う強化学習においては、

Δt がどのくらいの値なのか、そもそも一定値なのかも知られていない。
筆者は BESOM モデルの学習ステップとの関係（5.6.7 節参照）から、5Hz 前後のθリズムの周期

200msec 前後が Δt に相当すると、今のところは考え
ている。

50

的文脈情報、すなわち「直前こう見えていた」という情報を教師信号に使って条件付確率表を学習すること、および認識時にもその情報を利用することにより、変第 8 章 時系列学習

形に強いパターン認識が実現可能になるのではないかと予想している。
なお、視覚刺激の時間的連続性を利用して、様々な変換に対して不変なパターンを学習するアルゴリズムの研究は以前からある [46][47]。BESOM に時系列学

この章では、 BESOM モデルに対する時系列学習

習の機構を追加したものは、もし本当に動作するなら、の機能の追加について述べる。

これらの研究を一般化するものであると言える。
工学的には、ある変換に対して不変なパターン認識

8.1

背景

を行いたいときには、その変換に対して不変な特徴量をうまく定義して抽出する工夫がなされる。脳は、種々

これまでに述べた BESOM モデルには、大脳皮質がの不変性を持った特徴抽出器を作り込みで持っている

持っていると思われる、以下の機能がない。

のではなく、上で述べた時間的連続性を利用した機構

1. 時系列学習。

により自己組織化するのではないかと考えている。もしそうであれば、本モデルを計算機上で動かし、自己

2. 短期記憶。

組織化される特徴抽出器を取り出せば、工学的な利用

3. 変形に強いパターン認識。（位置不変性、回転不価値があるかもしれない。

変性、サイズ不変性、色不変性など。）

BESOM モデルに時間遅れの再帰的入力を追加する
だけで、これらの機能が自然に実現されるのではない
かと筆者は考えている。

8.2

大脳皮質による時系列学習のモ
デルの提案

5.5.2 節で述べたように、文献 [29] によれば、大脳皮質には４層→２・３層→５層の順の情報が処理された
あと、さらに５層→６層→４層と情報が流れていく。
しかし、5 章で述べたモデルでは後半の情報の流れについては説明していない。
４層はコラム構造への入力、５層がコラム構造からの出力であることが知られているため、この後半の流れは、コラムの出力を数ステップのシナプスを経由したあと、自分自身のコラムに再帰的に入力していることになる。これは、コラムの認識結果を、少し時間をずらして再びコラムの入力に戻していると解釈できる。
もしこのような、時間遅れの再帰的入力があるとすれば（図 4.6 参照）、大脳皮質が時系列学習や短期記憶の機能を持つことが直ちに説明できる。

8.3

変形に強いパターン認識

時系列学習の結果により「目の前のパターンはすば
やく変化はしない」という知識が得られるので、時間

51

第 9 章 思考

9.1

前頭前野背外側部による状態変• ノード (s, a)：状態行動対• ノード (s, p, a) ：状態変化予測表• ノード p ：ノード (s,p,a) の t-1 における状態• ノード s ：状態• ノード a ：運動野 (s,p,a)(s,a)

化予測のモデルの提案
9.1.1

背景

脳は明らかに外界の状態変化をシミュレーションする能力を持っている。例えば手にコップを持っていると

s

p

a

きに手を離せば何が起きるか予測できるし、コーヒー
視覚・聴覚にミルクを入れると何が起きるかも予測できる。つまり、脳はある状態 s において行動 a をとれば状態 s’に変化するということを予測する能力を持っている。

図 9.1: 状態変化予測機構のモデル。

人間の思考における重要な要素がこの状態変化のシ
ミュレーションである。例えば料理の手順を考えるとき、頭の中で思いついたいくつかの手順を試してみて、問題が起きないか確認する。同時に２つの鍋を１つのコンロにかけなければいけないとか、あたためておいた食材がさめてしまうといった問題が脳内のシミュレーションで見つかれば、別の手順を試すことになる。
このような脳の働きを行動計画と呼び、前頭前野が中心的な働きをすることが分かっている。前頭前野周辺の領野間の結合に関しては詳しく分かっていない [5]が、前頭前野は他の大脳皮質の領野と同じ６層構造をしており、決して特殊な組織ではない。

(s,p,a)

9.1.2

(s,a)

(s,p,a)(s,a)

状態変化予測機構のモデル
sp

状態変化予測機構の１つの可能性を図 9.1 に示す。

1.行動

視覚・聴覚

このモデルは図 9.2 の４つのステップを一定時間ごとに繰り返すことで、常に状態変化の学習と予測を行

a(s,p,a)sp2.状態行動対の
学習

視覚・聴覚

(s,a)

a

(s,p,a)(s,a)

う。状態行動対と状態変化予測表を、位相をずらしてs

学習するところが重要で、この点がこれまでに述べた
通常の BESOM モデルの拡張になっている。

視覚・聴覚

この機構があれば、脳内のシミュレーションが可能

p

3.状態推定

a

s

視覚・聴覚

p

a

4.状態変化予測表の学習になると思われる。まず感覚器からの入力と、運動野の出力をなんらかの機構で遮断する。脳内の連合野に

図 9.2: 状態変化予測機構の実行サイクル。

表現された状態 s において、行動を a を選択すれば、状態変化予測表を使って次の状態を連合野に想起することができる。

52

9.1.3

部分観測マルコフ決定過程

ような位相をずらした機構が存在する証拠になるかもしれない。

強化学習が最適解に収束するためには、「外界の状態がすべて観測可能である」という仮定を満たしている必要がある。この仮定が満たされない場合、すなわ

9.4

未解決の問題

9.4.1

思考と実際の行動の切り替えの機構

ち観測できない状態が存在する問題は、部分観測マル
コフ決定課題と呼ばれる。この場合、最適解に収束するためには隠れた状態の推定が必要となる。

考えてから行動するか、考えずにすぐに行動するか、人間は、目をつむっていても、字を書いたり歩いた

この意思決定もまた、強化学習によって学習されるのりする動作をある程度行うことができる。これは過去ではないかと考えている。だとしたら、その機構はどの経験から「自分の運動状態はこうなっているはずだ」のようなものだろうか。何か特別な機構が必要なのか、という推測ができるからだと考えられる。

それともこの章で述べた機構が持つ機能として自然に状態変化予測機構は、まさにこれを行う機構であり、実現されるのだろうか？

これにより部分観測マルコフ決定過程の問題も解決し筆者は、脳内の行動と実際の行動は運動野周辺にあていると考えられる。

るどこかの１つのノードが切り替えているのだと考えている。実際の行動、自分の脳内の行動が脳の他の領9.1.4野に及ぼす影響は似通っており、それをＩＣＡすれば、観測ノイズを除去するフィルタ「実際の行動か脳内の行動か」という独立な成分が抽状態変化予測機構は、外界の状態を観測する際のノ出されるのではないだろうか。

イズを除去するフィルタとしても機能する。

だとすれば、特別な機構を作りこまなくても、思考工学的には、観測ノイズを除去して安定的に運動制と行動を自然に切り替えるようになるかもしれない。

御を行うために、カルマンフィルター、パーティクル
フィルターと呼ばれる技術が用いられている。これは、

9.4.2

センサーからの観測データに加え、「直前にこう運動制御をしたからこのような運動状態に近いはずだ」と解剖学的妥当性

提案したような回路が実際に前頭前野周辺に存在す

いう予測情報を使うことによって、より真の状態に近ることを支持する解剖学的証拠はない。視覚系領野やい運動状態を推測するものである。

運動野・体性感覚野周辺の領野間の関係をまとめた文

状態変化予測機構を備えた運動制御は、まさにこれ

献 [5] では、前頭前野に関しては情報が多くなく、まらの技術と同じ動作をする。過去の経験により学習した、通常の上下関係とは違う結合がある可能性も述べた状態変化予測と、感覚器からの観測データの両方をられている。前頭前野には領野階層のほぼ最上位に位用いて、外界の状態を頑健に推定することができる。

置しているので、6.5.2 節で述べたような再帰的な構造があって、上下関係が決定できないのではないかと筆9.2

者は推測している。

後悔の情動(s,p,a), (s,a),s,a に相当する領野がどこかもはっき
りしない。候補は１０野、９野、４６野周辺である。

前頭前野は非常に長いスケールの時間上での行動選択を行うため、単純な機構の適格度トレースは役に立10 野が見えない状態の推定、9/46 野が状態変化の予

ちそうもない。後悔の情動は、一種の適格度トレース

測に関与するとの推測 [25] がなされており、今後の研の機構だと考えているが、詳細はまだ分からない。前究の進展に注目している。

頭前野と嗅内皮質との双方向結合は、他の連合野と嗅内皮質の双方向結合とは異なっているが、それが後悔

9.4.3の情動とも関係するかもしれない。

情報の流れを制御する機構

図 9.2 で書いたような位相をずらした情報の流れの9.3制御を行う機構も、神経科学的に全く知られていない。

ベータ波とシータ波

簡単な神経回路で実現可能だとは思われるが、それが実際にどこにあるかは全く分からない。

暗算などを行うときに出るベータ波は、シータ波の11.2.3 節で述べる現象と関係が深いかもしれない。

約４倍の周波数を持つ脳波である。これは、図 9.2 の53

これは、 PATON [14] モデルと同様に、記号処理とパターン処理の両方の特徴を兼ね備えた、人間に似た推論が実現可能であることを示している。

第 10 章 知識表現

BESOM で推論を行うには、 PATON モデルと同様、「注意による切り替え」の機構が必要になる。注意の機構については 11.3 章で述べる。

10.1

フレーム

10.3

人工知能分野で使われている知識表現の方法の１つ

BESOM による知識の継承の実現として、フレームがある。１つのフレームは、属性の種類と値の組を表として持つもので、関連データベー

フレームの is-a リンクによる記憶容量の節約は、実スと似ている。フレームの重要な特徴として、 is-a リ

は BESOM に特別な機構を追加しなくても、BESOM

ンクがある。例えば「牛」に関数する知識を表現するが持つ情報圧縮能力によって自然に実現されるのではフレームは、「けもの」に関する知識を表現するフレー

ないかという見込みを持っている。
今後シミュレーションで確認したい。

ムに対する is-a リンクを持っており、「けもの」一般に関する知識を継承する。この知識の継承という機構
によって、知識を蓄えるために必要な記憶容量を大幅10.4に節約することができる。また、「けもの」のフレー

特徴選択と例外

ムの内容を更新するだけで、「けもの」フレームに is-a

鳥は普通空を飛ぶが、ペンギンは鳥であるのに空をリンクを持つ全てのフレームが持つ知識が更新された

飛ばない。このように例外的な知識が表現できるのものと同じ効果を持つことになり、知識が効率的に維持

フレームの is-a リンクの特徴である。

管理できる。

筆者はこの機能は BESOM の基本機能と選択的注意による特徴選択の機構を組み合わせることで実現可10.2

能になるのではないかと考えている。

BESOM による知識表現と推論

例えば、普通の犬はほえるが、自分の飼い犬だけは
絶対にほえないことを知っているとする。毛が生えている、四足で歩く、など犬全般が持つ特徴のみに無理

BESOM の１つのノードは、子ノードで表現される
特徴の間の関連を学習する、関連データベースである。
このデータベースに知識を表現しておくことで、様々に注目すれば、「ほえそうだ」というイメージが想起されるかもしれない。しかし、自分の飼い犬独自の特徴に注目し、それが自分の飼い犬だと正しく認識すれな推論が可能となる。

ば、ほえるとは考えない。
このように、どの特徴に注目するかによって、推論結果が違ってくる。注目の仕方を意図的に変えること
で、持っている知識を様々な角度から利用する情報処理が可能になるのだろう。

猛獣スロット 値
is-a
けもの
キバ
あり
大きさ 大

牛
スロット 値
is-a

けもの

角

あり

大きさ

大

けもの
スロット 値
is-a
動物
足
４本
毛
あり

10.5

未解決の問題10.5.1

矛盾した知識の解消の機構

脳は矛盾した知識をたくさん持っており、ある方法での推論結果が別の方法での推論結果と食い違うことがある。人工知能でもこの状況は問題になり、知識を修正してできるかぎり矛盾を解消する機構が考えられている。

図 10.1: フレームを使った知識表現の例。

54

筆者は、「どうして？」と「なるほど」という情動が、矛盾した知識を解消する理由で脳に作りこまれている機構ではないかと推測している。
「どうして？」には負の報酬、「なるほど」には正の報酬を与えるようにすれば、知識の矛盾を解消する方向に圧力をかけることができるだろう。
問題は、知識が矛盾している状態と、解消された状態を、検出する機構である。知識の矛盾は上で述べたように、推論結果が予測と違うことであり、脳が持つと思われる予測と観測の不一致を検出する機構が、ここでも使われているかもしれない。解消された状態の検出は、繰り返し検出された知識の矛盾が、予想に反して検出されなくなった状態であろうか。
これはロボットが幼児程度の複雑な知識を持ち始めたときに解決しなければならない重要な問題である。

55

また、どちらとも解釈できるような曖昧な図形（多義図形）に対しても、初めてそれを見たときには、それが多義図形だとは気づかず、１つの解釈だけを認識

第 11 章 脳のその他の重要な機能してしまう。
上の例の場合、脳は 1/2 の確率で、X=Y=0 と

X=Y=1 のいずれかの解釈を選択すると考えるべきではないだろうか？

11.2.2

この章ではかなり未整理ではあるが、脳のその他の重要な機能に対する、現時点での筆者の考えを述べる。

BESOM による多義図形の認識

BESOM の近似確率伝播アルゴリズムは事後確率の厳密解を計算せず、脳のように「もっともらしい解釈」

11.1

を１つ選ぶのではないかと予想しているが、シミュレー

バインディング

ションしてみないと分からない。
（BESOM のアルゴ

BESOM モデルが用いる近似確率伝播アルゴリズム

リズムは「loopy な確率伝播アルゴリズム」に基づいは、親子ノード間で双方向に信号を強めあうため、一ている。このアルゴリズムにおいては、曖昧な解釈が度親ノードのユニット発火と子ノードのユニット発火

確定的な解釈にわずかに傾いたとき、ループを通したが結び付くとそれが継続する。この持続的な発火によっ

情報伝達経路によって、その傾きをより強くしていき、て、上位領野に表現される「原因」の情報と下位領野

最終的に確定的な解釈で安定しやすいのではないかとに表現される「結果」の情報が結び付けられると思わ想像している。）

れる。
バインディングが実現できれば、視覚情報処理にお11.2.3

けるバインディング問題（色や形など異なる領野によって表現されている情報がいかにして統合されるのかと

知覚交代

多義図形をじっと眺め続けると、あるとき別の解釈にいう問題）が解決される。

自発的に切り替わる。この現象は知覚交代と呼ばれる。

また、記号処理にできてパターン情報処理にできな

知覚交代は、脳による認識がいつも同じ局所解に陥っいと言われている、変数束縛を用いた推論も可能にな

たままになるのを防ぐ効果があると筆者は考えている。

るかもしれない。

BESOM モデルにおいては、「メッセージ送信相手から来た情報を含める」という近似がこの効果を生み

11.2

多義図形の解釈11.2.1

背景

出すかもしれないと予想しているが、シミュレーショ
ンしてみないと分からない。別の特別な機構が必要なのかもしれない。

与えられた観測データをもとに信号源の値を推定す

11.2.4る際、妥当な信号源の値の組が複数ある場合がある。

多義図形と選択的注意

例えば０と１の値を取る２つの信号源 X と Y に対し、多義図形を解釈する機構は、選択的注意の機構と密観測値 Z の値が X xor Y で生成されるとする。Z =接に関わっているのではないかと筆者は予想している。

0 が観測された時、 X=Y=0 なのか X=Y=1 なのか、

例えば空間的注意の場合、ある「物体に注意を向け判断できない。

る」ということは、「その物体の視覚刺激を図に割り

ベ イ ジ ア ン ネット で こ の 生 成 モ デ ル を
表現し、

Z=0

当て、他の視覚刺激を地に割り当てる」ということをという観測値を与えた時、意味する。目の前に複数の物体がある場合、どの物体

P(X=0)=P(X=1)=P(Y=0)=P(Y=1)=1/2
が 正
しい事後確率の推定値である。しかし、これは脳の振を図でどの物体が地かは、一意に定まらず、多義図形の解釈と同じ状況になる。

る舞いと違う。
脳は解釈が一意に定まらないような視覚刺激に対しても、事前知識を使ってもっともらしい解釈を１つ選択する。（視覚情報処理による不良設定問題の解決。）

56

11.3

選択的注意

連合野の発火パターンとして表現され、その間の連合学習を行うのはウェルニッケ野あるいは意味

選択的注意は特徴選択と似た働きをし、汎化能力を

記憶を保持すると言われる側頭葉であろう。

上げる効果があるのではないかと筆者は考えている。

• 文脈自由文法は、文を作り出す生成モデルである。
BESOM により教師なしで学習可能であろう。大

選択的注意には前部帯状回など多くの領野が関与しているらしく、その詳しい機構は神経科学的にも認知脳皮質が与えられた文を構文解析をし終えたとき、科学的にもまだ完全に明らかにはなっていない。

アクティブなノードの木構造は文を生成する過程、現在のところ筆者は、おそらく前部帯状回にあるノー

すなわち構文解析木を表現するだろう。

ド（注意ノードと呼ぶ）が信号源になり、子ノードの特徴を奪い取ることで選択的注意が実現されているの• 文法は再帰的な構造を持っているが、これは再帰的な BESOM ネットワークで表現可能であろう。

ではないかと考えている。注意ノードが強化学習を行うとすれば、能動的に注意の向け先を変える能動的注

一般にベイジアンネットはサイクルを持っていて意という脳の機能が説明できる。

はいけないが、スパースな BESOM ネットであれば、サイクルを持っていても学習・推論アルゴ

11.4

リズムは問題なく動作するのではないかと予想しワーキングメモリている。

人間は作業目的を達成するために必要な一時的な記• ベイジアンネットの性質により、意味理解と構文解析が相互作用し、ロバストな言語理解が可能に

憶の読み出し、書き込み、保持、消去を、計算機ほどではないにしろ、自在に行う能力を持っている。このなっていると思われる。

ような記憶の機構はワーキングメモリと呼ばれ、認知ワーキングメモリへの読み書きの機能は、大脳皮質• 文章により伝えるべき状況は 5W1H の情報であると言われる。この「状況」のイメージは大脳皮が持つ短期記憶の機能と、領野間の双方向の接続によっ

質連合野の発火パターンとして表現されるだろう。

て実現されるものと筆者は考えている。

what, who は側頭葉、where は頭頂葉、 why は科学や神経科学の分野で研究されている。

大脳皮質よりも長い期間記憶を保持できる、海馬も

前頭前野、 how は運動野。when についてはよ

関与しているだろう。

く分からないが、時間的文脈を表す情報として連合野のどこかに表現されるのだろう。where についても、複雑な空間的文脈情報は when と同様の

11.5

言語獲得

方法によって表現されるのだろう。海馬はこれらすべての領野との結合を持っているので、 5W1H

言語はヒトの脳の能力で重要な部分である。言語機をエピソードという１つの単位として記憶する能能に深く関わる大脳皮質の領野として、運動性言語野力を持っているのだろう。

と呼ばれるブローカ野（ブロードマンの４４野、４５野）と感覚性言語野と呼ばれるウェルニッケ野がある。
いずれの言語野も基本的構造は他の大脳皮質連合野と11.6

同じであり、特別な機構が備わっているわけではない（と思う）。

扁桃体と情動

素朴な強化学習には、以下の問題点がある。

言語能力はヒトと他の動物の知能の違いを決定付け

1. 経験をしていない行動は強化されない。

る要素であるにも関わらず、その能力を実現していると思われる言語野が特別な機構を持たない普通の大脳2. 将来の状況に対するなんらかの準備が必要な場合、

皮質連合野であることは、大変不思議に思われる。

それを獲得するまで時間がかかる。

筆者は、 BESOM モデルほぼそのままで、言語能１番目の問題の典型的な例は逃避行動である。動物力が実現可能であると考えている。以下にいくつか重は、捕食者に襲われそうになったら直ちに逃げる必要

要なポイントを指摘しておく。

がある。しかし、「逃げる」という行動を試行錯誤で• 「単語」と「意味」の関係の結び付けは、大脳皮学習する余裕は動物にはない。生まれて初めて襲われ質における連合学習として実現可能だろう。「言そうになったときも、生存のために逃げなければなら

葉」は音素列として聴覚連合野、「意味」は他の

ない。

57

２番目の問題の典型的な例は唾液の分泌である。動と考える。ただし、ここでは、情動を以下のように広物がエサを食べるとき、十分な量の唾液の分泌が完了

く定義する。「情動とは、生得的に作りつけられた行していないと、エサを飲み込めないと仮定しよう。エ動または内的反応のうち、扁桃体によって、経験的にサを口に入れ、その刺激に対する反射により唾液が十獲得する知覚との連合が学習されるものである。」

分に出てからエサを飲み込めばよいが、毎回それをやっ扁桃体は、条件反射の実験において、条件刺激と無ていると時間をかなりロスしてしまう。できれば早め

条件刺激の連合に関与することが知られているらしい。

に唾液を出しておきたい。では、「エサを食べられそ

情動には様々な種類が知られているが、筆者は上でうな見込みが得られた段階ですぐに唾液を出す」とい述べた広い定義での情動をいくつかの種類に分類し、う行動を、素朴な強化学習で獲得できるだろうか？可それぞれが生物にとってどういう意味を持つかについ能ではあるが、そのためには「エサを口に入れるまでて考察を始めている。

唾液を出さない」という失敗と「エサを口に入れる前

筆者は、このように「情動」の意味を理解し、神経に唾液を出しておく」という成功を何度も繰り返さな科学的知見を参考にして、しかも報酬量最大化原理

ければならない。さらには、素朴な強化学習では、汗（12.2.1 節参照）という指導原理を満たすような扁桃体をかくとか声を出すとかいった膨大な数の無意味な失の神経回路モデルを設計中であり、実現の見通しが立敗を繰り返さないと、唾液を出すという望ましい行動

ちつつある。

は獲得できないのである。
いずれの問題も、強化学習で行動選択する回路とは

11.7

小脳の役割

11.7.1は、黒い影が徐々に大きくなりながら近づいてくると複数のＳＯＭによる関数近似の問題
点いう視覚刺激を検出したら、足の筋肉が収縮し、現在

運動制御装置は、多次元ベクトルの入力に対し多次の場所から離れる、という機構を作ればよい。昆虫は

元ベクトルの出力を返す関数と見なすことができる。

おそらくそのような機構を備えているだろう。唾液の分泌に関しては、エサと思わしき視覚刺激を検出した

BESOM モデルによれば、運動制御も複数の独立成分に分解されて記憶される。１つの独立成分は１つの段階で、唾液を分泌すればよい。

２次元ＳＯＭで表現される。２次元ＳＯＭは関数近似

別に、決まりきった行動をする回路を用意し、適当に優先度をつけて動作するように作れば、それなりにう
まくいくだろう1 。例えば、捕食者からの逃避に関してしかし、哺乳類の振る舞いは明らかにそうではない。

能力を持つが、２次元の入力から多次元の出力を返す

例えば哺乳類にとって、大きな音など、生得的に恐怖連続関数しか滑らかに近似できない。ＳＯＭを複数用

反応を引き起こす刺激が確かに存在する。しかし、大いて多次元入力の関数を近似できたとしても、出力はきな音と同時に光の刺激が繰り返し提示されれば、や不連続になってしまう。

がて光の刺激だけで恐怖反応を示すようになる。また、エサの合図のベルの音を聞いただけで唾液が出る。こ11.7.2

れらの条件反射は、上で述べた「優先度」の機構では説明が付かない。より複雑かつ合理的な機構が存在し小脳損傷患者の症状

文献 [45](p.100) には、小脳損傷患者の症状が分かりていると思われる。

やすく述べられている。小脳が損傷しても動けなくな

このような不思議な哺乳類の振る舞いを再現させる

ることはないのだが、滑らかな運動ができなくなる。

ためには、進化によって獲得した生得的行動を行う回小脳損傷患者の症状は、複数の２次元ＳＯＭに分解路と、個体が概念獲得・行動獲得を行う学習回路とをされて記憶されていた運動を、滑らかに補完しながら合理的に組み合わせる必要がある。しかし、その方法実行することができなくなった状態だと解釈できないは知られていないばかりか、おそらくそのような機構だろうか。

の必要性の認識すら全くされていない2 。
筆者は、この機構を実現する脳の中の部位が扁桃体

11.7.3であり、情動はその機構と密接に関係するものである

小脳の関数補完仮説の提案

以上の考察から、以下の仮説を提案する。

1 ブルックスのサブサンプションアーキテクチャと同じ考え方である。
2 条件反射のモデルは存在しているが、 BESOM モデルと組み合わせて計算機上で動かせるような種類のモデルは、筆者の知る限り存在していない。

• 小脳は、大脳皮質から送られる教師信号（誤差信号）をもとに教師あり学習をすることで、大脳皮58

質の複数のＳＯＭが近似する不連続な高次元関数の出力を、連続な出力に補完する役割をする。
この機能を実現する具体的なアルゴリズムは、小脳および小脳周辺の神経科学的知見を参考に現在設計中
である。

11.8

前頭前野眼窩部のモデルの提案

ヒトの前頭前野眼窩部（11/12 野）は状況を常に監視し、個人的・社会的な観点から好ましくない場合に身体に警告を発するとする、ソマティック・マーカー仮説がある [26]。
また、前頭前野眼窩部は、報酬量の評価に関わるとも言われている。
仮に、目の前に２つの食べ物が置かれていて、どちらか１つを選ばなければならないとする。このような状況に置かれれば、動物もヒトも、脳の中でそれぞれを食べてみた状況を想像し、どちらがより満足を得られるかをシミュレーションしてみるだろう。このシミュ
レーションを行うためには、線条体が行動の価値を記憶していたとしても、不十分である。大脳皮質に報酬量の情報がなければ、「ある行動をしたらどのくらいの量の報酬がもらえるか」を脳内シミュレーションで想起できない。過去においてある状態 s で行動 a をとったときに得られた報酬量が v として、 (s,a,v) の組を別途記憶しておく必要があるだろう。その記憶場
所こそ前頭前野眼窩部ではないだろうか。

59

12.1.3

スケーラビリティ

哺乳類は体の大きさに合わせて様々なサイズの脳を持っているが、脳の各組織の大きさは、脳のサイズにほ第 12 章 脳のモデルのための制約条件と指導原理

ぼ比例しているように思える。例えば大脳皮質のニューロン数の二乗に比例する組織というものは（おそらく）存在しない。また、脳のサイズが大きい種ほどニューロンの演算速度も速い、ということもない。
このことは、脳がスケーラブルなアルゴリズムを用いていることを意味している。すなわち、ニューロン
数 n に対し、計算量も記憶量も O(n) か O(log n) 程
度ですむアルゴリズムを採用しているはずである。

この章では、 BESOM モデルの拡張・詳細化を考える際にモデルが満たすべき制約条件や、正しいモデルを推定する上でとても有用と思われる指導原理につい12.1.4て述べる。

単純さ

脳の解剖学的構造から見て、その情報処理原理は比12.1

較的単純であろうと思われる。

脳の情報処理原理が満たすべ

神経科学者が「脳は極めて複雑な組織である」と言き制約条件

う場合、心臓や筋肉などの組織との比較である。実際、脳の分子・細胞レベルの振る舞いは大変複雑である。

12.1.1

制約条件を整理する意味

しかし、筆者の印象では、脳のマクロなレベルでの主要な解剖学的構造は、計算機のＣＰＵやＯＳのような生物の脳が採用可能なアルゴリズムは、デジタル計
算機上で用いることができるアルゴリズムに比べると、複雑な人工的システムと比べるとむしろ単純である。
また、脳が複雑だと思われている理由の１つに、人はるかに多くの制約条件を満たさなければならない。

間の精神の複雑さと脳の機構の複雑さの混同がある。

一般に工学においては、制約条件が増えれば増えるほど、目的を達成する技術を開発することは困難になる。

単純なチューリングマシンの上で限りなく複雑なソフ
トウエアが動作するように、精神の複雑さは、脳の情

このため、脳の動作原理の解明がとても困難だと感じ

報処理機構が複雑であることを必ずしも意味しない。

る研究者もいるようだが、それは間違いである。脳の脳が単純だとすれば、脳の耐故障性の高さ、汎用性

情報処理原理の解明は、1.5.3 節で述べたように、一種の高さという性質とも整合性がある。

のパズルである。解の存在は保証されている。制約条

一般に単純な機構ほど耐故障性が高い。上で述べた

件は、パズルを解くためのヒントであり、ヒントは多ように、脳は驚くほどの耐故障性を持っている。

ければ多いほどむしろパズルは容易になるのである。

脳は新しい環境にも容易に適応可能な高い汎用性を

以下に、脳の情報処理原理が満たすべきであると思持っている。一般に、専用機械は性能を上げようとす

われる制約条件を列挙する。

ると扱う対象に関する知識の作り込みが増え動作原理

なお、BESOM モデルはこれらの制約条件を全て満が複雑になる。しかし汎用機械はそれが不可能である

たしていると考えている。

ために動作原理は単純なままにとどまらざるを得ないのである。

12.1.2

耐故障性脳の並列処理も、動作原理を単純にさせる制約条件の１つである。脳は演算速度の遅い神経細胞を用いて、脳の機能は細胞死、誤配線・断線、微小脳梗塞とい単純な繰り返し構造の神経回路を使って大規模並列処

う日常的な小さな故障の影響をほとんど受けない。ま理を行っているように見受けられる。これは、脳が採た大きな脳梗塞、脳腫瘍、外傷があっても、脳全体の用しているアルゴリズムが比較的単純な並列アルゴリ

機能は破綻しにくいという驚くべき耐故障性を持ってズムであることを意味している。

いる。

60

12.1.5

ノイズへの耐性

ときには負の報酬を与える、といったものである。この部分を工学的に再現することは、別に技術的に不可脳はアナログ計算機である。一般にアナログ計算機

能なことではないだろう。

はノイズに弱い。アナログ演算を繰り返すと、ノイズ

我々の興味は、もう１つの行動装置の方にある。脳が蓄積してしまうからである。脳は、アナログ演算をの行動装置は、様々な機械学習技術を駆使して、報酬行いつつも、適宜ノイズを除去する機構も備えている量を最大化しようとしているはずである。報酬期待値

はずである。

最大化は、目的は単純であるが、その実現方法は極めて奥深く複雑である。学習に無限の時間が許されるな

12.1.6

らば、目的を達成する機械学習器を設計するのは簡単

漸進的進化である。しかし、生物が学習にかけられる時間は有限
哺乳類はネズミのような小さな脳から、人間のようなので、学習器の性能が問題になる。

な複雑な脳に進化してきた。人間の大脳皮質の領野の7.5 章で述べた強化学習アルゴリズムが正しい脳の数は約５０だがこれはサルより多く、サルの領野の数モデルとすれば、報酬量最大化原理が、筆者がこれまはネズミより多い。脳は進化するにつれ、領野の数をで思ってた以上に強力な指導原理のようである。強化

増やし、その機能を複雑化していったと思われる。

学習アルゴリズムの合理性が無意味にならない程度に、一方で大脳皮質以外の大脳基底核、海馬、小脳、扁脳の他の組織のアルゴリズムも合理性を備えていなけ

桃体などの組織の構造は種によって大きく変わっていればならない。

ない。

視覚系領野によるパターン認識の機構、能動的選択

大脳皮質のアーキテクチャは、漸進的な進化を可能

的注意を行う機構、扁桃体による情動の機構、前頭葉にするものでなければならない。

にある様々な運動制御を行う機構は全て、階層的強化
学習の機構によって統率され、評価装置から得られる

12.2

報酬量を最大化するという目的に向かうように設計さ脳の情報処理原理を推測するれていると思われる。しかし、その具体的なアルゴリ

ための指導原理

ズムは、まだ明らかになっていない。

筆者はこれまでの経験で、脳の各組織の情報処理原理を推測する際に、役に立つ原理をいくつか見つけた

12.2.2ので、この章ではそれについて述べる。

ベイジアンネット

図 5.4 の近似確率伝播アルゴリズムの近似精度と同程度に、脳は「正しいベイジアンネット」でなければ12.2.1

報酬量最大化原理ならない。

6 章で述べたＩＣＡの機構は、まさにこの要請から

そもそも機械学習器を設計する際には最初に「目的」

必要に迫られて導入した機構である。結果的には、そを明確にしなければならない。生物の目的は生存競争

れが様々な新たな発見につながった。

に勝ち残り子孫を残すことだが、そのような抽象的な

今後、階層的強化学習や選択的注意のモデルを考え目的では機械学習器を設計する際の指導原理としてはる際にも、この指導原理が役に立つと考えている。

役立たない。
報酬量最大化原理はより具体的であり、筆者の今までの経験ではとても有用である。この原理は、まず次の仮定にもとづく。
「脳は状況を評価する評価装置と、評価装置から与えられる報酬量を最大化するよう行動する行動装置の２つに分かれる。」
このように評価装置と行動装置の２つに分かれていることは、進化の上で有利だったと思われる。それぞれの装置を独立に遺伝的アルゴリズムで最適化していくことが可能だからである。
評価装置は具体的には、栄養のありそうなものを飲み込んだときに正の報酬を与える、体に痛みを感じた

61

脳は単純な細粒度並列アルゴリズムしか採用できな
いので、粗粒度並列計算機上では同じことをはるかに少ない計算量で実現できる可能性がある。例えば並列

第 13 章 実用化に向けて探索は単一計算機上でのリニアサーチに相当する。検索対象に簡単なインデックスを付けるだけで、検索速度が劇的に向上する可能性があることが想像される。

本章では、脳全体の機能が計算機上で再現されたと

13.2

して、その実用化の可能性について考察する。本文書

ハードウエアコスト

で述べた個々の要素技術は個別に早期実用化が可能だ

現在の 100TFLOPS のスパコンの値段が１００億円と思われるが、それについてはここでは触れない。

として、２０年後にはそれが２桁安くなると仮定する。
また、最適化・機能特化等によりさらに１桁減らせる

13.1とすれば、脳の計算に必要なハードウエアコストは１計算量から見た実用化の可能

０００万円程度となる。ロボットの身体のハードウエ

性

アコストも１０００万円と仮定しよう。
耐用年数１０年、初期コスト２０００万円、ランニ

多くの計算機科学者が脳の情報処理原理に興味を持

ングコスト０円と仮定する。年中２４時間無休で働けたない理由のひとつに、「脳の機能の実用化には膨大るとして、時給約２２８円になる計算である。ランニ

な計算量が必要であり、現在の技術レベルでは時期尚ングコスト（電気代）が１時間３００円程度とするな

早である」という考え方がある。はたしてそうなのだ

らば、時給５００円程度である。この見積もりも誤差

ろうか。

が大きそうだが、２０年後であれば、労働力としての

BESOM モデルによれば大脳皮質のニューロンが行

実用化に必要な価格競争力を持つ可能性が十分にあるう演算は発火頻度の内積計算程度であり、パルスレベ

ことが分かる。

ルの演算や複雑な非線形演算は必要ないので、シミュ将来、十分な量の持続可能なエネルギー源が得られレーションに必要な演算速度はあまり大きくない。

るならば、長期的には、これらのコストは（他の物価仮に、人の大脳皮質のニューロンをおよそ１００億と共に）０に近づく。ロボットのハードウエアの製造・個、１個のニューロンあたりのシナプスを１０００個

リサイクルと、発電設備の製造・リサイクルに必要なとする。シナプスあたりの演算数が毎秒１００回で、労働コストのほとんどが、ロボット化によって下がっ

信号のスパース性 10 ％としてそれを利用した素朴なていくからである。

最適化ができるとすれば、100TFLOPS でリアルタイムにシミュレーションできることになる。記憶量はシ
ナプス１つを 1byte とすれば 10Tbytes である。

13.3

100TFLOPS は、2007 年時点でのトップクラスのス

ソフトウエアコスト

パコンと同程度である。主記憶 10Tbytes は、おそら

人工の脳を備えたロボットを実際の労働作業に従事

くそれよりも小さい。この見積もりの誤差はプラスマ

させる際の、仕事を教え込むコストについても考察し

イナス２桁くらいはありそうである。また、脳全体のよう。

計算量は大脳皮質のみに比べて最大１桁は大きいだろ人工脳を作らなくても、今までどおりプログラミンう。しかし、脳全体の機能の再現は計算量的に十分手グによるソフトウエア開発によって多くの作業を自動が届く範囲にあると言える。

化し、生産性を上げられると考える人がいるかもしれ

１０〜２０年後では、半導体集積度の向上、より高ない。しかし、現在自動化されていない作業は非常に度な最適化、機能特化等によりワンボード計算機で人複雑であり、それを自動化するプログラム開発には膨間に近い知能が実現できても不思議はない。それが無大な開発コストがかかると思われる。

理だとしても、巨大な計算機センターで遠隔地にあるプログラム、自然脳（人間）、人工脳を開発（教育）多数のロボットの脳の計算を行うような運用形態で、コスト、複製コスト、ランニングコストの観点から表１つの脳あたりのハードウエアコストを実用化レベルにまとめたものが表 13.1 である。
複雑なプログラム開発には莫大な開発コストがかかまで削減できる可能性は十分にある。

るが、完成してしまえばそれを複製するコストも動か62

• 多重化（ロボットの行動を別の人工脳が監
視）。

プログラム

自然脳

人工脳

開発（教育）コスト

高い

安い

安い

複製コスト

安い

高い

安い

一方、人為的暴走が引き起こす危険性については、

ランニングコスト

安い

高い

安い

人工脳であることは本質的な問題ではなく、リモコン操作のロボットと同質の危険性であると思われる。た表 13.1: プログラム、自然脳（人間）、人工脳の比較。

だしその危険性は深刻で、ロボットを用いた反社会的行為を防ぐために、社会インフラの多くが作り直されなければならないかもしれない。

すコストも安い。一方、常識を備えた人間に仕事を行わせる場合は、自然言語を通じて比較的容易に仕事の一般に有用な技術はすべて、犯罪者にとっても有用内容を伝達することができるが、労働人口を急激に増である。この「犯罪者の能力増強効果」には注意が必

やすことは難しいし、人件費もかかる。人工脳は、プ要である。人工脳は強力な技術であるから、犯罪者のログラム開発による自動化と人間の労働力の両方の利

能力増強効果も大きい。取り締まる側も先回りして能点を持つ。

力増強すればよいのだが、バランスが難しい。犯罪者の方が先回りして社会に大きな損害を与える可能性もある。製品化の際には、開発企業はそのような社会的13.4

安全性の問題影響についても当然考慮し十分な対策をとっておく義務がある。法律や条約による規制も当然考える必要が一般に新しい技術は新しい種類の危険性を持っていある。

る。「人工脳」が実用化され市場に出るまではまだ時間があるが、安全性の問題について早いうちから検討
しておくことは重要である。

13.5

ここでは、まず安全性の問題を２つのカテゴリに分社会的問題類する。１つは、ロボットが何らかの原因で自発的に新しい技術の急激な普及は、常に貧富の差の拡大と暴走して事故を起こす偶発的暴走、もう１つは悪意をいう弊害を生み出しやすい。間違っても一部の人間に持った個人または集団による人為的暴走である。

この技術で得られる恩恵を独占させることにないように、早い段階から注意を向けておく必要があるだろう。

まず、偶発的暴走については本質的に機械の故障と同じであり、機械の安全性を確保する「機械安全」の精神に沿って対策を取ればよい。基本的には製造物責13.6

任を負うメーカーが、安全な製品になるよう努力することになる。人工脳はその振る舞いが十分に制御しや実用化の時期

実用化までに必要な時間は、いかに多くの研究者が、すい技術であるし、内部状態の監視も容易であるから、本質的な困難はないと思われる。具体的な手段として未解決の問題に取り組むかにかかっている。
脳の情報処理原理の解明に必要な未解決の問題は多は以下の方法がある。

いが、幸いにして個々の問題は他の問題とは独立に取り組むことができるものが多い。筆者は今分かってい1. 本質安全設計

る未解決の問題の中で、解決に１０年以上かかる問題• 物理的力を強くしない。

はないと考えている。つまり、もし十分に多くの研究• 知識の制限。計算能力の制限。

者が取り組めば、脳の情報処理原理の解明に１０年か• 危険なシステムの制御権限を与えない。

からなくても不思議はないと考えている。ただし、今後新たな問題が見つかる可能性はもちろんある。

• 学習機能はできるかぎり制限。
（振る舞いをできるかぎり予測可能に。）

脳の情報処理原理の解明が終わった後、それを実用化するには、さらに様々な技術開発が必要になる。実• 移動能力なども極力制限。

際に役に立つ、複雑な知能を持ったロボットができるまでには、さらに１０年以上かかるかもしれない。

2. 安全防護いずれにせよ、高い知能を持ったロボットは、大勢• 緊急時の機能停止・電源遮断の手段の確保。

の研究者が取り組みさえすれば、これまで考えられて• 人工脳の内部状態の監視装置。

いたよりもはるかに近い将来に実現可能であろう。

63

=


k

付 録A

近似確率伝播アルゴリズム
の導出

=

k



πX (ui )u1 ,···,um /uk i=k

uk





P (x|uk )πX (uk )P (x|uk )πX (uk )uk（正規化の仮定より）
・ πYl (x) の近似：
πYl (x) = π(x)λYj (x)j=l≈ π(x)A.1



ＳＯＭが獲得する条件付確率（メッセージ送信相手の情報を含める）

学習ステップで獲得される重みが条件付確率とみなせることを以下に示す。ノード X のユニット xi が勝= λ(x)π(x)者になった回数を n 、X の子ノード Y からの n 回目

・の入力ベクトルの要素を vj (n) ∈ {0, 1}、その学習結

u1 ,···,um /uk P (x|u1 , · · · , um )i=k πX (ui ) の近似：

果を wij (n) とする。また、n 回のうち Y のユニット
n
yj も勝者であった回数を m(n) = i=1 vj (i) とする。



学習率を ai = 1/n 、wij (1) = vj (1) = m(1) とする。

P (x|u1 , · · · , um )≈wij (n) の値は次のようになる。

πX (ui )i=ku1 ,···,um /uk

n > 1 かつ wij (n − 1) = m(n − 1)/(n − 1) とするとwij (n)λYj (x)j(
P (x|uj ) + P (x|uk ))πX (ui )u1 ,···,um /uk j=k= wij (n − 1) + αi (vj (n) − wij (n − 1))= (1 − αi )wij (n − 1) + αi vj (n)u1 ,···,um /uk j=k

= ((n − 1)(m(n − 1)/(n − 1)) + vj (n))/n= (m(n − 1) + vj (n))/n= m(n)/n（条件付確率表の近似）
P (x|uj )πX (ui )== ((n − 1)wij (n − 1) + vj (n))/n

i=k

i=k



+P (x|uk )πX (ui )u1 ,···,um /uk i=k

(A.1)
=

この値は xi が勝者の時に yj も勝者であった比率、すu1 ,···,umj

なわち条件付確率 P (Y = yj |X = xi ) である。

P (x|uj )πX (ui ) + P (x|uk )i（第１項はメッセージ送信相手の情報を含める、第２項は正規化の仮定より）

A.2

近似確率伝播アルゴリズムの導= π(x) + P (x|uk )出
近似確率伝播アルゴリズムは以下のように導出する。
・ π(x) の近似：


π(x) =
P (x|u1 , · · · , um )πX (ui )u1 ,···,um

≈



=



x

≈

i

（条件付確率表の近似）
P (x|uk )πX (ui )u1 ,···,umk

P (x|u1 , · · · , um )

u1 ,···,um /uki=kλ(x)(π(x) + P (x|uk ))（上記式を代入）
=
λ(x)π(x) +λ(x)P (x|uk )

i

k





x



(
P (x|uk ))πX (ui )u1 ,···,um・ λX (uk ) の近似：
λX (uk ) =
λ(x)

x

x

以上の結果を、整理すると図 5.4 のアルゴリズムに
なる。

i

64

πX (ui )[21] K. Doya, Complementary roles of basal ganglia and cerebellum in learning and motor control, Current Opinion in
Neurobiology 10 (6): 732-739 Dec 2000.
[22] G. E. Alexander et al., PARALLEL ORGANIZATION OF FUNCTIONALLY SEGREGATED CIRCUITS LINKING BASAL GANGLIA AND CORTEX,
Annual Review of Neuroscience 9: 357-381 1986.

参考文献[23] S. N. Haber, The primate basal ganglia: parallel
and integrative networks Journal of CHEMICAL NEUROANATOMY 26 (4): 317-330 Dec 2003.
[1] T. Kohonen, Self-Organizing Maps. Springer-Verlag,
1995.
[2] T. コホネン, 自己組織化マップ（改訂版）, シュプリンガー・
フェアラーク東京, 2005. （[1] の邦訳。）[24] H. Nakahara et al., Parallel cortico-basal ganglia mechanisms for acquisition and execution of visuomotor sequences - A computational approach Journal of Cognitive
Neuroscience 13 (5): 626-647 Jul 1 2001.

[3] Wang G, Tanaka K and Tanifuji M, Optical imaging offunctional organization in the monkey inferotemporal cortex, SCIENCE 272 (5268): 1665-1668 JUN 14 1996.

[25] S. Ishii et al., Control of exploitation-exploration metaparameter in reinforcement learning Neural Networks 15(4-6): 665-687 Jun-Jul 2002.

[4] J. Pearl , Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, Morgan Kaufmann, 1988.

[26] アントニオ R. ダマシオ, 生存する脳, 2000.
[27] R.P.N. Rao and D.H. Ballard, Predictive coding in thevisual cortex: a functional interpretation of some extraclassical receptive-ﬁeld eﬀects, Nature Neuroscience,
Vol.2 No.1 , pp.79–87, Jan 1999.

[5] D. J. Felleman and D. C. Van Essen, Distributed Hierarchical Processing in the Primate Cerebral Cortex, Cerebral Cortex 1991 1: 1-47.
[6] Aapo Hyvarinen, Juha Karhunen, Erkki Oja, Independent Component Analysis, Wiley-Interscience, 2001.

[28] Kandel, Eric R., James H. Schwartz, Thomas M. Jessell,eds., Principles of Neual Science, 4th ed., McGraw-Hill,
2000.

[7] A. ビバリネン, E. オヤ and J. カルーネン, 詳解 独立成分分
析, 東京電機大学出版局, 2005. （[6] の邦訳。）[29] Gilbert, C.D., Microcircuitry of the visual-cortex, Annual
review of neuroscience, 6: 217-247, 1983.

[8] Olshausen BA, Field DJ, Emergence of simple-cell receptive ﬁeld properties by learning a sparse code for natural
images, NATURE 381 (6583): 607-609 JUN 13 1996.

[30] Pandya, D.N. and Yeterian, E.H., Architecture and connections of cortical association areas. In: Peters A, Jones
EG, eds. Cerebral Cortex (Vol. 4): Association and Auditory Cortices. New York: Plenum Press, 3-61, 1985.

[9] Daniel D. Lee and H. Sebastian Seung, Learning the partsof objects by non-negative matrix factorization Nature
401, 788-791 (21 October 1999).

[31] George, D. Hawkins, J., A hierarchical Bayesian model ofinvariant pattern recognition in the visual cortex, In proc.
of IJCNN 2005, vol. 3, pp.1812-1817, 2005.

[10] Richard S.Sutton and Andrew G.Barto, Reinforcement
Learning: An Introduction, The MIT Press, 1998.
[11] Richard S.Sutton and Andrew G.Barto, 強化学習, 森北出
版, 2000. （[10] の邦訳。）[32] M. Kawato, H. Hayakawa, T. Inui: A forward-inverse optics model of reciprocal connections between visual areas. Network: Computation in Neural Systems 4, 415-422,
1993.

[12] Schultz W, Dayan P, Montague PR, A neural substrate ofprediction and reward, Science 275(5306):1593-1599, Mar
1997.

[33] Kakei S, Hoﬀman DS and Strick PL, Muscle and movement representations in the primary motor cortex, Science
285 (5436): 2136-2139, Sep 24 1999.

[13] Kazuyuki Samejima, Yasumasa Ueda, Kenji Doya,Minoru
Kimura, Representation of Action-Speciﬁc Reward Values
in the Striatum, Science, 25 November 2005: Vol. 310. no.
5752, pp. 1337–1340.

[34] P. Pajunen, A. Hyvarinen and J. Karhunen, Nonlinear blind source separation by self-organization maps, in
Proc. Int. Conf. on Neural Information Processing, 1996,
pp.1207-1210.

[14] T. Omori et al., Emergence of symbolic behavior frombrain like memory with dynamic attention, Neural Networks 12 (7-8): 1157-1172 Oct-Nov 1999.

[35] N. Oshiro, K. Kurata: Separating Visual Information
into Position and Direction by two Inhibitory-Connected
SOMs. Artiﬁcial Life and Robotics, 9-2, pp.86-89(2005.5).

[15] 一杉裕志, SOM のネットワークによる前頭葉の計算論的モデ
ルの構想, 日本神経回路学会 第 16 回全国大会, Sep 2006.

[36] 田尻 隆, 倉田 耕治: 二つの 1 次元 SOM の結合による独立成分分析と主成分分析, 電子情報通信学会技術研究報告 ニューロ
コンピューティング研究会, Vol.104, No.139(20040617) pp.
61-66, 2004.

[16] 一杉裕志, 確率伝播法と条件付確率表の自己組織化を行う大脳皮質モデル, ニューロコンピューティング研究会, Oct 2006.

[37] Michael S. Falconbridge, Robert L. Stamps, David R.
Badcock: A Simple Hebbian/Anti-Hebbian Network
Learns the Sparse, Independent Components of Natural
Images, Neural Computation, Vol. 18, Issue 2, pp.415–
429, February 2006.

[17] 一杉裕志, 階層的な生成モデルの自己組織化を目的とする神経回路による独立成分分析の一手法, ニューロコンピューティン
グ研究会, Mar 2007.
[18] Yuuji ICHISUGI, The cerebral cortex model that selforganizes conditional probability tables and executes belief propagation, In Proc. of International Joint Conference on Neural Networks (IJCNN2007), pp.1065–1070,
Aug 2007.

[38] 甘利 俊一, 外山 敬介 編集, 脳科学大事典, 朝倉書店, 2000.
[39] Keiji Tanaka, Columns for Complex Visual Object Features in the Inferotemporal Cortex: Clustering of Cells
with Similar but Slightly Diﬀerent Stimulus Selectivities,
Cerebral Cortex, Vol. 13, No. 1, 90-99, January 2003.

[19] K. Fukushima, Neural network model for selective attention in visual-pattern recognition and associative recall,
APPLIED OPTICS 26 (23): 4985-4992 Dec 1 1987.

[40] Rajesh P. N. Rao, Neural models of Bayesian belief propagation, In “Bayesian Brain: Probabilistic Aproaches to
Neural Coding”, The MIT Press, 2007.
http://www.cs.washington.edu/homes/rao/bayes-bookchap-06.pdf[20] Elman, J. L., Distributed representations, simple recurrent networks, and grammatical structure. Machine
Learning, 7:195–224, 1991.

65

[41] Wolpert, D. and Kawato, M., Multiple paired forward
and inverse models for motor control. Neural Networks,
11, 1317–1329, 1998.
[42] Koch C., Biophysics of Computation, Oxford University
Press,1999.
[43] Frank A. Middletona and Peter L. Strick, Basal ganglia
and cerebellar loops: motor and cognitive circuits, Brain
Research Reviews, Volume 31, Issues 2-3 , Pages 236-250,
March 2000.
[44] Touzet CF, Neural reinforcement learning for behaviour
synthesis, ROBOTICS AND AUTONOMOUS SYSTEMS 22 (3-4): 251-281 DEC 1997.
[45] 丹治順: 脳と運動―アクションを実行させる脳, 共立出版,
1999/11.
[46] Fukushima K, Self-organization of shift-invariant receptive ﬁelds, NEURAL NETWORKS 12 (6): 791-801 JUL
1999.
[47] Wiskott L, Sejnowski TJ, Slow feature analysis: Unsupervised learning of invariances, NEURAL COMPUTATION
14 (4): 715-770 APR 2002.

66

脳の情報処理原理の解明状況
産業技術総合研究所テクニカルレポート AIST07-J00012
2008 年 3 月 31 日
独立行政法人 産業技術総合研究所〒305-8568

茨城県つくば市梅園 1-1-1

TEL：029-861-2000

中央第 2