SOMのネットワークによる前頭葉の計算論的モデルの構想
脳と心のメカニズム第７回夏のワークショップ
ポスターセッション
産業技術総合研究所
一杉裕志
2006-08-24

概要(機械学習の立場から)• 「脳にしかできない」と一般に思われている多くの機能は、実は機械学習の分野ですでに実現されている。
– 合目的的な行動の自律的な獲得：強化学習– 概念の自律的な獲得：自己組織化マップ– 曖昧な情報に基づく判断：ベイジアンネット• これら要素技術をどう組み合わせれば脳全体の機能を再現できるかは知られていない。
• 神経科学の知見を踏まえ、要素技術の「組み合わせ方」の一つの可能性を提案する。

概要(神経科学の立場から)• 「脳の情報処理機構はほとんど分かっていない」と一般には思われているが、神経科学の急速な進歩により、実は極めて多くの知見が得られている。
• しかし、脳全体の機能を計算機上で再現させるほどには理解は進んでいない。
• 機械学習の知見を踏まえ、脳全体の機能を近似的に再現させる一つの方向を提案する。

SOMのネットワークによる大脳皮質のモデル

自己組織化マップ(SOM)とは• 競合学習・近傍学習を特徴とする教師なし学習アルゴリズム。
• 高次元の特徴ベクトルを、低次元に圧縮。
• 視覚野の方位選択カラムのモデルを工学的に扱いやすくしたもの。
競合層
入力層

ベイジアンネットとは• 対象を、因果関係のある確率変数のグラフ構造として表現するモデル化手法。
• 一部の確率変数の観測値が与えられると、条件付確率表を使って、他の確率変数の値をベイズ推定できる。
• 確率伝播アルゴリズムという効率的な計算方法が使われる。
• ノイズに強いパターン認識。リアルタイム性。

提案する大脳皮質モデル• 領野をSOMと見立て、複数のSOM を双方向に結合したネットワークで大脳皮質を表現する。ベイジアンネットの各ノードをSOMにしたものとも言える。
• SOMは、子ノードからの入力の組を学習する。
学習結果が条件付確率表を表す。
• 観測値は最下端のノードのみ。
• この条件では確率伝播アルゴリズムが簡単な計算式に近似できる。

本モデルおけるＳＯＭとベイジアンネットの構成要素の対応脳？
上位領野

下位領野 入力層

ハイパー
コラム
V層錐体
下位領野 細胞？
発火率
観測値の入力

SOM

シナプス
結合度

ベイジア
ンネット
子ノード

ノード(確マップ（競合層） 率変数)
特徴、確率変数ユニット の値
類似度
確率結合度

条件付確率

近似確率伝播アルゴリズム
κUt +1 ( x) = ∑ P( x | uk ) BELt (uk )kukm

π t +1 ( x) = ∑ κUt +1 ( x)kk =1nλ ( x) = ∏ λ ( x)t +1l =1tYl

BELt(uk)z tX+1 = ∑ p t +1 ( x)x

λtX+1 (uk ) = z tX+1 + ∑ λt +1 ( x)P( x | uk )xY1Um
BELt+1(x)λt+1(x)ZXt+1xiλt(yl),ZYlt

p t +1 ( x) = λt +1 ( x)π t +1 ( x)

BELt +1 ( x) = p t +1 ( x) / z tX+1...

U1...

Yn

大脳皮質の６層構造との対応• 情報処理の途中結果のＩＩＩ層の情報が上位領野に、最終結果のＶ層の情報は下位領野に戻されるという、とても不思議な構造をしている。
• この構造に、かなり素直に対応が付けられる。
κ(x)
λ(uk)

λ(x)

λX(uk)

λYl(x)BEL(uk)BEL(x),ZXZYl

X

子ノード Yl

親ノード Ukλ(yl)IIIIIIIVVVI

先行研究: SAM [Fukushima 1987]• SAM (Selective Attention Model) は、画像認
識装置ネオコグニトロン[Fukushima 1980]にトップダウンの回路を追加したもの。
– 競合学習するノードを双方向のネットワークで結合。

• 選択的注意、ノイズに強い認識など、人間の視覚の特徴を再現。
→ 視覚野の妥当なモデル。
→ 他の領野も同様のモデルで説明できると考えるのは妥当と考える。

本モデルによる連想記憶• 学習：ノードRのSOMがAとBからの入力の組を学習• 想起：Bへの入力を遮断すると、Ａの発火パターンから連想された発火パターンがＢ上に想起Rの発火パターンはAからのボトムアップ信号のみで決まる

RR

学習

想起A

B

A

B
Bの発火パターンはRからのトップダウン信号のみで決まる

入力
入力

大脳皮質－基底核ループによる強化学習

大脳皮質－基底核ループ• 強化学習に関与している。[Doya 2000]– 黒質緻密部が線条体にTD誤差信号を出力。
[Schultz 1997]– 線条体が行動の価値をコード。[Samejima 2005]• 複数の並列したループが存在。[Alexander 1986]– limbic ループ、DLPFCループ、運動ループなど• 線条体と中脳の間のスパイラル構造[Haber 2003]– 複数の皮質－基底核ループが階層的な関係にあることを強く示唆

皮質－基底核ループの提案モデル• 大脳皮質－基底核ループを構成する領野を「Qノード」と呼ぶ。
• Qノードは過去に行った状態行動対 (s, a) を学習するSOM。
• Qノードから線条体に接続するシナプスが行動価値(Q値)を学習。
(s,a) Qノード

sa

Qノードの基本動作のサイクル
２．行動選択１．状態認識Q

３．状態行動対学習
Q

Q

Q

Q

QasQ

自分が置かれている状況をベイズ推定

sQ

Q

選択肢の中から報酬期待値最大の行動を選択、子Ｑノードに命令a(s,a) の組をSOM が学習

提案モデルと解剖学的構造との対応
大脳皮質のQノードで各状態 s の事後確率を推定
線条体の出力が累積報酬の期待値を表現選択された行動が視床経由で皮質に返される行動選択を定期的にリセットする回路？
Cf. コホネン「自己組織化マップ」（改訂版）図4.2

黒質緻密部がTD誤差を計算、線条体のQ値を更新

図は 脳科学大事典 3.11 大脳基底核のモデル (銅谷) より

間接路：興奮性の広い投射
直接路：抑制性の狭い投射
黒質網様部、淡蒼球内節で近傍内での最大の期待値を持つ
行動を選択

SOMで状態行動対を学習する
計算論的な利点• 記憶容量。
– 使われない状態行動対は自然に忘却。

• 近傍学習による汎化能力。
• 次元圧縮。
– １階層につき１０次元とすれば3階層で1000次元。
（人間の運動の自由度は200程度）

Qs

aa ... a「階層的マルチエージェント強化学習」を行う脳のモデル
47

意図：パンを食べよう

空腹だ

a

扁桃体 s

目の前にパンがある
10s

目の前の物体に手を出し、つかんだ物体を口に持っていき、物体を口に入れよう

aPM/SMAPM/SMA

ある座標に物体があるs

行動：

9/46

PM/SMA

運動：
こういう時系列運動をしよう

aM1

M1

M1s
足M1

as
手M1M1a顔筋駆動：
手の筋肉の力をこのくらい出そう「階層的マルチエージェント強化学習」の妥当性• 神経科学的、認知科学的妥当性– 解剖学的構造と矛盾しない。
– 並列に意思決定する構造が前頭葉の頑健性をよく説明できる。
– ＰＭのレイヤがアフォーダンスで言う「知覚と行為のカップリング」の獲得を説明できる。

• 計算論的妥当性– 状態空間・行動空間の次元を減らせる。
– mixture of expert が SOM 内の競合で実現されている。

運動前野による運動の自動化

運動に関する知見• 補足運動野(SMA)は記憶に基づく運動、運動前野(PM)は熟練した自動化された運動に関与• 前頭前野背外側部(DLPFC,9/46野)は視覚座標、運動野は運動座標に基づいて運動学習するとする実験データ– 2x5 task [Nakahara, Doya, Hikosaka 2001]

提案モデル：運動学習の初期
DLPFCは、生得的行動・模倣・推論・試行錯誤などによって獲得した運動の近似解を SMAに命令

9/46

PMは感覚入力と筋駆動の組を学習
視覚・聴覚PMSMA

体性感覚MI

感覚入力

運動出力

運動学習後• PMは、DLPFCから具体的な命令がなくても、感覚入力を元にMIに自動的に命令が出せる。
• 以後もPMは強化学習で運動を最適化。
9/46

PMに運動の開始のみ命令
PMは感覚入力を元にMIに命令
視覚・聴覚PMSMA

体性感覚MI

感覚入力

運動出力

実験事実との整合性• 2x5 task [Nakahara, Doya, Hikosaka 2001]
blockade の場所による成績低下の違い• 線条体後部(PM?)は学習ずみ課題、SMA/Pre-SMA
は新規課題、線条体前部(DLPFC)は両方で成績低下

場所

LearnedNew

Anterior striatum

↓↓↓

DLPFC

Posterior striatum↓↓-PM?

Pre-SMA-

↓↓↓

SMA-↓

解剖学的構造との一致• [Felleman, Essen 1991]
PMMI

計算論的な妥当性– 高次元の行動空間の中から試行錯誤だけで解を発見することは現実的に不可能。
– このモデルではPMは近似解を強化学習で最適化するだけであり、十分現実的。

広大な探索空間
ランダムな探索では現実的な時間で解にたどり着けない近似解からの山登りならば可能前頭前野背外側部による状態変化予測

状態変化予測• 脳は外界の状態変化予測が可能。
– 状態 s において行動 a をとると状態 s' に遷移する、ということが予測できる。
– 部分観測マルコフ決定過程を扱うために必要。
– 外界の脳内シミュレーション（非言語的思考）に必要。

• 9/46野が状態変化予測、10野が状態推定？
– [Ishii et al., 2002]• このような機構をSOMのネットワークで表現してみた。

状態変化予測機構の提案モデル• (s,s',a)テーブル： 9野？
• 状態 s： 10野？
• 状態 s から行動 a を選択： 46野？
9s

46s
10

視覚・聴覚

10aPM,SMA

(s,s',a)テーブルの学習サイクル
2. 行動後、状態が s' に変化した後も状態sの発火パターンを保持、9野に s, s', a を同時入力して学習

1. 10野が並行して状況 s を認識、46野が状況を見て行動決定

9s

46s

10

視覚・聴覚

109aPM,SMAs

46s'

1010

視覚・聴覚

外界の状況が変化

aPM,SMA

部分観測マルコフ決定過程における外界の状態の推定
2. 直前の状態、直前の行動、現在の観測事実および過去の経験から現在の状態 s' をベイズ推定

1. 外界の状態にもとづき行動9s

46s

10

視覚・聴覚

109aPM,SMAs46s'10

視覚・聴覚

10aPM,SMA

脳内シミュレーションのサイクル
1. 感覚連合野が表現する状態 s に基づき行動 a を選択 （ただし実際の運動は行わない）

2. s と a より s' を想起、さらに感覚連合野の発火パターンも s' に更新

99s

46as

1010PM,SMA

視覚・聴覚

感覚入力や運動野の出力は遮断

s

46

s'10

視覚・聴覚

10aPM,SMA

ソマティック・マーカーの提案モデル• ソマティック・マーカー仮説 [Damasio 1994]– １１野、１２野は意図とは独立に状況を監視、問題がある場合は身体に警告。
意図と独立に監視

意図的な行動
11/12

47

学習扁桃体

sa46

想起
s10aSMA,PM

前頭葉を中心とした大脳全体のモデル

情報の流れを制御する機構

47

11/12

946

PMSMA

体性感覚MI

扁桃体

10

前頭葉の主要な領野をすべて含んでいる（前頭眼野、ブローカ野以外）

10

視覚・聴覚

感覚入力

運動出力

海馬と小脳• 海馬と小脳は大脳皮質とは異なる学習機構を持ち、主に機能面ではなく学習速度や関数近似能力などの性能面で大脳皮質を補完するのだろう。
– 海馬：汎化能力はないが高速な学習– 小脳：教師信号が必要だが高い関数近似能力

今後• 現在のモデルに足りない点– 選択的注意の機構。（視床、前部帯状回）– ネオコグニトロンでいう「ぼかし層」。
– 短期記憶の機構。
– 再帰的な行動の獲得・実行機構。
– 宣言的知識の記憶・推論機構。
– 複数のＳＯＭによるアンサンブル学習。
– ・・・• これらの機能を徐々に追加しつつ、簡単な環境下で動作するロボットのシミュレーションを行いたい。