SOM のネットワークによる前頭葉の計算論的モデルの構想
A model of frontal areas represented by SOM network
一杉 裕志 (P)†Yuuji ICHISUGI(P)† 産業技術総合研究所 脳神経情報研究部門
y-ichisugi@aist.go.jp, http://staﬀ.aist.go.jp/y-ichisugi/
Abstract— A computational model of frontal areas
represented by SOM network is outlined.

(b)

(a)
R

R

学習

想起
A

Keywords— prefrontal cortex, SOM, reinforcement learning, Bayesian network

B
入力

A

B
入力

図 1: (a) ２つの入力の組の学習と、(b) 想起

1

はじめに大脳皮質の各領野を単純化して自己組織化マップ

SOM ネットワークの各ノードへの入力を適切なタイ(SOM) と考え、複数の SOM をネットワーク状に結合して表現した前頭葉の計算論的モデルの構想についてミングで遮断するよう制御すれば、PATON [2] モデル述べる。

を兼ね備えた、人間に似た推論が実現可能である。脳に2おける入力制御の機構については本論文では議論しな

SOM のネットワークの動作ネットワークにおいて２つの SOM が親子関係にあるとする。親ノードのユニット xi と子ノードのユニッ
ト yj が結合度 wij で結ばれているとき、時刻 t におけるユニットの出力を xti , yjt とすると、子ノードから
xi へのボトムアップ信号として j wij yjt 、親ノード
から yj へのトップダウン信号として i wij xti が送られる。トップダウン信号は、過去の経験および文脈に基づく予測を表す。時刻 t + 1 における各ユニットの出力は、周辺ノードからのトップダウン・ボトムアップ信号を総合して決まる。これを繰り返すことで、ユニットの出力を刻々と変化させる。この動作はベイジアンネットにおけるベイズ推定の効率的アルゴリズムである loopybelief propagation の粗い近似であると解釈できる。結合度の学習は別途、ボトムアップ信号のみを用いて普通の SOM と同様に行う。
この動作は、画像認識装置ネオコグニトロンにトップが示したような記号処理とパターン処理の両方の特徴いが、前部帯状回と視床が関与していると考えている。

4

脳における強化学習のモデルとして、線条体が状態の価値と行動の価値を学習するというモデル [3] 等が提案されているが、本論文では、少し異なるモデルとして、皮質の運動野の SOM が過去に行った運動の状態行動対(s,a) を学習し、運動野から線条体のニューロンに接続するシナプスがＱ値を学習するというモデルを提案する。
（運動野以外の領野から線条体に投射がある [4] が、それは運動野が損傷した場合に備える何らかの代替機構であると考える。）運動野への入力 a を遮断すれば、各ニューロンの発火率は近似的にベイズ推定された各状態 s の事後確率に比例する。それにＱ値を掛けた線条体の出力は将来の累積報酬の期待値を表すので、最大値を選択することで合理的な意思決定ができる。
眼窩部 (OFC)、背外側部 (DLPFC)、運動前野 (PM)、ダウン信号を追加した SAM[1] とも似ている。SAM によって選択的注意やノイズに強い認識など人間の視覚の特徴が再現されることが示されており、大脳皮質の１つの妥当なモデルであると考える。

大脳皮質−基底核ループによる強化学習

一次運動野 (MI) は並列した皮質−基底核ループを構成し、それぞれ動機、行動計画、運動、筋駆動に関与すると言われているが、これは強化学習における次元の呪いの回避手段の１つである階層的強化学習を行っている

3

SOM のネットワークによる連想記憶
SOM のネットワークは、連想記憶の機能を持っている。例えば図 1 のようにノード R が２つの子ノード A,と解釈できる。線条体と中脳の間に見られるスパイラル構造 [5] も、並列ループの階層的関係を強く示唆している。

B の出力の関係を学習ずみであるとする。B への入力を遮断すれば R のユニット出力は A の出力のみから決5

運動前野による運動の自動化定し、 B のユニット出力は R からのトップダウン信号

補足運動野 (SMA) は記憶に基づく運動、PM は熟練のみで決定する。つまりノード A が表現するパターンした自動化された運動に関与すると言われているが、こから連想された記憶がノード B 上に想起される。

れは図 2 のようにモデル化できる。運動学習の初期に

PM

SMA

体性感覚

MI

946s
視覚・聴覚

感覚入力

as'

P

10PM,SMA

運動出力
視覚・聴覚

図 2: 運動前野による運動の自動化（２重丸は大脳皮図 3: 状態変化予測機構

質−基底核ループを構成するノードを表す）

47

11/12

は、SMA が DLPFC からの命令に従って運動を行うが、その際の MI の動きと感覚入力との関係を PM の SOMが横で学習する。運動に十分習熟すれば、DLPFC から具体的な運動系列の命令がなくても、PM が感覚入力を946PMSMA

体性感覚MI

扁桃体元に自動的に MI に命令を出せるようになる。
P10

高次元の行動空間の中から試行錯誤だけで解を発見することは現実的に不可能だが、このモデルでは DLPFCが模倣などで発見した行動の近似解を PM が強化学習視覚・聴覚で最適化するだけであり、十分現実的である。
このモデルは、実際の運動野の解剖学的構造 [6] とよく一致している。また、DLPFC ループが視覚座標、運動ループが運動座標に基づいて学習することを示すとする多くの実験事実 [7] も再現できると考えている。

6

前頭前野背外側部による状態変化予測
脳は明らかに外界の状態変化をシミュレーションする能力を持っている。つまり、ある状態 s において行動感覚入力

運動出力

図 4: 前頭葉を中心とした大脳全体のモデルして前頭葉の主要な機能をすべて説明するモデルが構築可能であると考えている。海馬と小脳は大脳皮質とは異なる学習機構を持ち、主に学習速度や関数近似能力などの性能面で大脳皮質を補完するものと予想する。
本論文で述べた SOM のネットワークの基本機能に加a をとれば状態 s’ に変化するということを予測できる。 え、SOM への実質的な入力次元を減らす各種の選択的10 野が見えない状態の推定、9/46 野が状態変化の予測 注意の機構、時系列学習を可能にするリカレントな入力に関与するとの推測 [8] を踏まえ、状態変化予測機構の機構、ノードへの入力どうしを独立にする前処理の機モデルの１つの可能性を図 3 に示す。

構、領野内の複数の SOM によるアンサンブル学習の機

このモデルは、10 野が状態 s を表現し、それに基づ構なども存在すると考えている。

いて 46 野が行動選択をして a を出力すると仮定してい今後は、より多くの文献を調査しモデルを改良・精緻る。さらに、10 野と並行して s を表現する領野 (仮に P化するとともに、前頭葉の機能を計算機上で再現させるとする) が存在し、状態が s’ に変化した後も何らかの機ことを目指す。

構により P が s を表現する発火パターンを保持できる参考文献と仮定すると、(s,s’,a) の３つを同時に９野の SOM に入力し学習することができる。この学習結果を用いれば、状態変化予測（s と a から s’ を想起）だけでなく、[1] K. Fukushima, APPLIED OPTICS 26 (23): 4985-4992
Dec 1 1987.
[2] T. Omori et al., Neural Networks 12 (7-8): 1157-1172 OctNov 1999.

s と s’ から a を想起するなど行動計画や思考に必要な様々な推論が可能になる。

[3] K. Doya, Current Opinion in Neurobiology 10 (6): 732-739
Dec 2000.

7[4] G. E. Alexander et al., Annual Review of Neuroscience 9:357-381 1986.

前頭前野眼窩部によるソマティック・マーカー

11/12 野は状況を常に監視し、個人的・社会的な観点から好ましくない場合に身体に警告を発するとする、ソ[5] S. N. Haber, Journal of CHEMICAL NEUROANATOMY
26 (4): 317-330 Dec 2003.

マティック・マーカー仮説がある [9]。これは、11/12 野[6] D. J. Felleman et al., Cerebral Cortex 1991 1: 1-47.

が、扁桃体からの情動の信号と現在の状態の関係を学習するモデルで説明可能である。

[7] H. Nakahara et al., Journal of Cognitive Neuroscience 13(5): 626-647 Jul 1 2001.

8[8] S. Ishii et al., Neural Networks 15 (4-6): 665-687 Jun-Jul
2002.

まとめ
以上をまとめたモデルを図 4 に示す。このモデルは前頭葉の主要な領野をすべて含んでおり、これを骨組みと[9] アントニオ R. ダマシオ, 生存する脳, 2000.