外界をモデル化する脳の回路メカニズム―海馬と大脳皮質―
Brain’s network mechanisms to model the external world
深井 朋樹
理化学研究所 脳科学総合研究センター

2017年8月4日＠電気通信大学

頂上決戦 !!
Game of GO (碁）2016 Mar: 李世乭(イ・セドル）九段 vs Alpha GO2017 May: Alpha GO vs 柯潔(か・けつ)九段

李世乭
（Wikipedia)

柯潔(Google)ディープ Qラーニング
big data of past game record
value evaluation of current statemachine vs. machine

Silver et al., Nature 2016

「論理的思考」ではなく「経験と勘」を養うことによる勝利

脳の計算理論の発展
第一次ブーム

第二次ブーム

第三次ブームプログラム可能なコンピュータの発達
1960

1970

1980

2000

2010

神経回路網(McCuloch& Pitts、甘利） 誤差逆伝搬学習
パーセプトロン
教師なし学習（自己組織化）
視覚の計算理論 (Marr)
強化学習（意思決定）
時間誤差学習
予測符号化
連想記憶モデルシンファイア・チェイン
スパイク時間依存シナプス可塑性
液体状態マシン …

2014

ディープ学習
機械学習
人工知能（α碁）
リザーバ・マシン
ニューロモルフィック
全脳の階層モデル
社会性の脳科学…
データ・サイエンス

脳は学習する。何のために？
à 外界の特徴を検出し、外界をモデル化するため
では何のためにモデル化する
à 世界の動きを予測し、行動を計画するため
統計的モデル

脳は記憶というビッグデータをどう扱っているのか？

●素早い記憶（one-shot learning)●文脈依存の想起●報酬依存の記憶・学習

Human-like memory systems will
make AI more human-likeLaboratory for Neural Circuit Theory

Toshitake Asabuki
Milena Carvalho

Tatsuya Haga

謝辞
Tatsuya Haga (RIKEN BSI)
Milena Carvalho (Univ Sao Paulo)
Jun-nosuke Teramae (Osaka Univ)
Yasuhiro Tsubo (Ritsumeikan Univ)
Kaoru Inokuchi (Toyama Univ)
Yoshiyuki Omura (Toyama Univ)

Toshitake Asabuki (Univ Tokyo, RIKEN BSI)
Naoki Hiratani (Gatsby Comput Unit)

H.M.

In the case of H.M., the memory deficiency remained permanent. Even a half-century later,
H.M. still leads a life of quiet confusion. He lives in a hospital but must be re-introduced to hisdoctors every day. He does not recognize terms such as "VCR" or "Jacuzzi" and other things
that have been invented since his surgery. And though he remembers the date of his birthday,
he typically underestimates his age when asked. In many ways, H.M.'s memory remains"trapped" in a world of a half-century ago.
http://www.rise.duke.edu/

Memory-related circuits（Neocortex）

Perforant pathway（嗅内野）（Dentate gyrus）
Mossy fiber（海馬台）

Hippocampus（脳弓）Hopfieldの連想記憶モデル(Hopfield, 1982)

P 個の活動パターンを記憶させる
ネットワークの時間発展

1

2

3NN⎧
⎪ 1 if ∑ J ij S j (t) > hSi (t + 1) = ⎨j=1⎪
それ以外の場合⎩ 0状態 “S=1” à “発火”状態 “S=0” à “非発火”ニューロン間のシナプス結合

1J ij = (Ai A j + Bi B j + Ci C j +)Ni, j = 1,2,, N

Hopfieldの連想記憶モデル(Hopfield, 1982)

P 個の活動パターンを記憶させる
状態空間のランドスケープ
00,3++121
𝐸(𝑡) = − ) 𝐽+, 𝑆+ 𝑡 𝑆, 𝑡 + ) ℎ+ 𝑆+ (𝑡)2123N

アトラクター力学

S=0 をとる細胞
S=1 をとる細胞“パターン補完”

{ A}

{ B}

状態空間
𝐸(𝑡)

{C}
{ D}

A A A A

連想記憶のスピングラス理論： 臨界記憶容量
Amit, Gutfreund, Sompolinsky, Phys Rev Lett (1985)
Shiino and Fukai, Phys Rev E (1993) SCSNA…

Probabilistic retrieval dynamics⎧
11probabilityp=⎪1 + exp(−(h(t) − θ ) / T )Si (t +1) = ⎨⎪ 0
probability 1- p⎩
Local fields

hi (t) = ∑ j=1 J ij S j (t)N

T: temperature parameter

P: storage capacity
a=NSequence memory in the hippocampus: place cells

θ-phase precession (Jon O’Keefe)
Cell 12

34

θ- sequence

5
Cell 1
2345(Foster et al., 2012)

順行性及び逆行性Replay活動
Forward Replay

Reverse Replay(Carr et al., 2011)*Replay活動は海馬CA3の反響神経回路で生成される(Nakashiba et al., 2009)Sequence memory in the hippocampus: place cells

Cell 12345(Foster et al., 2012)

Standard view

Recurrent circuit of CA3 is heavily remodeled
to memorize firing sequences.

21435

Preplay suggests a novel framework ofhippocampal memory processing
😁 Spontaneous activity preceding a novel spatial experience may contribute tothe formation of new spatial memory. Dragoi and Tonegawa (2011) Nature😞 Trajectory events across hippocampal place cells require previous experience.

Silva, Feng & Foster (2015) Nat Neurosci 2015.
😁 Diversity in neural firing dynamics supports both rigid and learned sequences.
Grosmark & Buzsáki (2016) Science (2016).

Mesoscopic view of hippocampal structure

Shepherd, Front Neurosci 2011
嗅内⽪質Entorhinal Cortex

⻭状回
Dentate Gyrus

CA3

海⾺ Hippocampus

CA1

Calcium spikes detect coincident inputs toproximal and distal dendrites
樹状突起

Uncorrelated inputs→ Rapid decay

Correlated inputs→ prolonged Ca2+ spikes(Larkum et al., Nature 1999)

Back-propagation and Ca2+ spikes are necessary for LTP in vitro.
(Takahashi and Magee, 2009)

Induced dendritic Ca2+ plateaus is sufficient for(Bittner et al., Nat Neurosci 2015)
new place-field formation
Necessity of Ca2+ spikes for LTP has been known in vitro (e.g., Takahashi and Magee, 2009)

日経BigData より

Plasticity model (Haga and Fukai, bioRxiv

doi: https://doi.org/10.1101/165613)

𝑦 𝑡
Distal dendrite

Learning rule for synapses in somatic compartments
𝛥𝑤,678 (𝑡)= 𝜂(𝑥(𝑡)(𝑥(𝑡) − 𝜃 678 ) + 𝛼𝑥(𝑡)𝑦(𝑡))(1 − 𝑥(𝑡))𝐼,678 (𝑡)BCM theory for
local activity

Soma +Proximal dendrite𝑥(𝑡)Presynapticinput

LTP bycalcium spikes

Learning rule for synapses in distal dendrites
𝛥𝑤,?@? 𝑡= 𝜂 𝑦 𝑡 𝑦 𝑡 − 𝜃 ?@? + 𝛼𝑥 𝑡 𝑦 𝑡Moving average2

𝜃 678 = E 𝑥 𝑡
ABD2, 𝜃 ?@? = E 𝑦 𝑡

1 − 𝑦 𝑡 𝐼,?@? 𝑡
DAB

Bienenstock-Cooper-Munro Theory
of Hebbian plasticity (1982)
Sliding threshold for LTP/LTD
STDP is equivalent to BCM for random anduncorrelated neuronal firing

Canonical Correlation Analysis
of distal and proximal inputs

PCA-like

CCA-likePlace coding by recurrent network modelSensory inputs
ECGlobalinhibition
Inh.

Recurrentsynapse

Triggersfrom DG

Preexisting firing sequences in CA3

CA3
DG cellTriggers
from DG

Theta sequences during runOne-short learning of space info by preplay
Recurrent activity supervises learning of afferent synapses
in the two-compartment modelRecurrent connections (preplay) are crucial for
memory formation
Mutual information between space and neural activity

樹状突起抑制の必要性
記憶の安定性
上書き防止

Sensory inputs
EC

dendritic
inhibition
Globalinhibition

Inh.

Recurrent
synapseCA3

DG cell脳の自発発火は時系列で出来ているneuron(Lefort et al., Neuron 2009)

AMPA10 msGABA
Teramae, Tsubo, Fukai (Sci Rep 2012)
Ohmura, Carvalho, Inokuchi, Fukai (J Neurosci 2015)

脳は学習する。何のために？
à 外界をモデル化するため
では何のためにモデル化する
à 世界の動きを予測するため統計的モデル

予測符号化に基づく大脳皮質の階層的計算
脳は現実と予想の差を最小化している？

高次領野による情報の統合と外界の確率モデルの形成

Srinivasan et al., 1982
Friston, 2005
Smith and Lewicki, 2006…

前領域の確率モデル

入力情報の特徴の解析
予測

高次領野から予測誤差
高次領野へ

感覚情報

まとめ１ プリプレイ的脳感
脳には記憶を表現する回路構造（自発活動）が予め備っており、学習により経験が「脳の内部状態」に関連付けられる内部状態＝意識のメカニズム？

外界に存在する規則性の検出
リザーバ計算による時系列のチャンク構造の学習

朝吹 & 深井 投稿準備中

Conceptual models of cortical information processing
Liquid state machine
Maass, Natschlaeger and Markram, Neural Comput (2002)

Echo state machine
Jaeger and Haas, Science (2004)

Reservoir computing with strong E/I balance
Random networks
Synaptic strength scales as 1/√K
FORCE learning <= Supervised learning
Edge of chaos(Sussillo and Abbott, Neuron 2009)Reservoir computing for motor control
à Training in recurrent spiking networks

à Theoretical studies

Toyoizumi and Abbott, Phy Rev E, 2011
MacNeil and Eliasmith 2011
Rivkind A, Barak O, Phys Rev Lett 2017
Boelin et al., 2013…
Bourdoukean and Deneve 2015
Abbott et al., Nat Neurosci 2016 (Review)
Aditya and Gerstner, 2017
Q. より高次の機能を生成できるか？
…

Previous models studied
neural control theory(Sussillo and Abbott, Neuron 2009)Chunk learning
外界のコンパクトな表現を求めて●Sensory scene analysis●Motor routines●Habituation●Language acquisition●Concept formation?
…

Chunking by reservoir computing
Detection of regularity in irregular sequences
Cortexhdeoabcdlwfeirabcdnkcvuyehjda
bcdhdeiowiifdkwreiabcdkdverioa
bcdjqwhduezkg…

Basal ganglia

Mutualsupervision(Asabuki et al., in preparation)

Pre-learning readout activity

Post-learning climbing activity of readout neurons

Post-learning reservoir neuron activity

Multiple chunks

Post-learning readout activity

Synaptic wiring

feedback connections

Overlaps

Cortico-basal ganglia loops forcognitive motor behavior

Basal ganglia
Cerebral cortex

Striatum

GPeSThN

GPi/SNrThalamus

Mice learned to generate a fixed
number of lever press.

STR MSNs SN GABA

SN DA

まとめ２ リザーバ計算に基づく規則性の発見●相互に教え合うリザーバ計算機●大脳基底核のSTOP細胞に似た活動の生成

まとめ
脳の学習メカニズムと、それにより外界をモデル化するメカニズムを実現できれば、ヒトらしいAIが創れるかもしれない。

SummaryReservoir computing systems can supervise each other to enable
unsupervised learning of multiple chunks from random sequences.
The resultant systems can account for stop cells in the striatum.