「脳における思考の役割とその実現機構についての考察」
2013-05-14
産業技術総合研究所
一杉裕志

概要• 思考に必要な機構についての考察• 「セロトニン＝思考中フラグ」仮説の提案• 運動遮断、感覚遮断の機構についての考察

動物にとって思考とは？

「思考 - Wikipedia」

http://ja.wikipedia.org/wiki/%E6%80%9D%E8%80%83– 「広義には「心」が動くことそのものを言い、「内化された心像・概念・言語を操作すること」である。」– 「狭義には、何らかの目標達成や問題解決のために行う一連の情報処理を指し、思考する対象の意味を理解しながら進められる認知的な行動である。ここで思考が使う情報とは、記憶の中に分布するホログラムと言える。そして思考は、組織化された外部情報を成分要素とする内的なシミュレーションと定義される。これによって人間は様々な予測を得る。」

おそらく動物も思考する

川の向こうに行くには、水の中に入るべきか、飛び越えるべきか、・・・。

思考のモデル• 計算機科学：– チューリングマシン• 認知科学：– Baddeley のワーキングメモリのモデル• 神経科学の分野では、詳細な思考のモデルは作られてきていないように思う。

思考する機械が持つべき機構に関する考察

思考する機械が必要とする機構
1. 脳内シミュレータ

2. 思考モードと行動モードの切り替えの機構

脳内シミュレーター
• 脳内シミュレーションの例：• 「水に足を入れると冷たいかもしれない」• 「きょうは疲れているので飛び越えられないかもしれない」• シミュレーター ＝ 状態変化の予測関数： s‘ = f(s, a)
s: 状態、 a: 行動、 s’: 行動の結果の状態
例： 「足が濡れる」 = f(「川がある」、「渡る」)• シミュレーターは原理的には教師なし学習可能（ただし現在はそこまで高性能な教師なし学習アルゴリズムはない！）

fs'sa「足が濡れる」 「川がある」 「渡る」

思考する機械が必要とする機構
1. 脳内シミュレータ → 大脳皮質モデルが動けばなんとかなりそう

2. 思考モードと行動モードの切り替えの機構
意外といろいろな仕掛けが必要そう→ その仕掛けが脳の中にあるはず！
これについて詳しく検討。

切り替え機構が満たすべき要求仕様（１）• 思考中はその行動を実際に起こしてはいけない。
（運動遮断）– がけを飛び越えられるかどうか検討中に、本当に飛び越えてしまうと危険。

• 思考中も現在の姿勢もしくは運動を維持しなければならない。
– 立ちながら、歩きながらでも思考できた方がよい。

• 思考の結果を強化学習の行動価値関数の更新に用いてはいけない。
– エサを食べる行為を想像するだけで満足してしまう生物は生き残れない。

切り替え機構が満たすべき要求仕様（２）• 思考結果の外界の状態を真実の外界と混同してはいけない。 （感覚遮断）– 想像のなかのエサに対して実際に手を伸ばして食べようとしても無意味。

• 思考中、外界に変化が起きた時、それに対処できなければならない。（割り込み）– 例えば捕食者が現れたら逃げなければならない。

切り替え機構が満たすべき要求仕様（３）• 思考モードと行動モードの切り替えを意思決定する機構がなければならない。
– 緊急性が高ければすぐに行動、時間に余裕があればじっくり思考してから行動、など。

• シミュレーションの結果を実際の行動に反映させる機構がなければならない。
• 思考を適当なところで終了しなければならない。（タイムアウト）• このように複数の組織の動作を瞬時に大きく変化させる機構が脳内にあるだろうか。

セロトニン神経の活動が「思考中」をあらわすフラグではないのか、という仮説を検討してみる。

従来のセロトニンに関する仮説との関係

OIST 銅谷さんの仮説
ドーパミン
ＴＤ誤差 δ
セロトニン
報酬割引率 γノルアドレナリン
逆温度 βアセチルコリン
学習率 α

Metalearning and neuromodulation
Kenji Doya
Neural Networks 15 (2002) 495–506

「辛抱強さを決める脳の仕組みを解明」 OIST
• 「大脳にセロトニンを送る神経細胞が集まる背側縫線核の活動を電極で計測することにより、ラットがエサ場や水場に着いてから報酬が得られるのをじっと待っている間にはセロトニン神経細胞の活動が高まること、また待てずにあきらめてしまう時には活動が弱まっていることを明らかにしました」

最後の２秒で活動が半減「宮崎勝彦博士、宮崎佳代子博士、銅谷賢治代表研究者が辛抱強さを決める脳の仕組みを解明| 沖縄科学技術大学院大学 OIST」
Miyazaki K, Miyazaki KW, Doya K.
Activation of dorsal raphe serotonin neurons underlies waiting for delayed rewards.
J Neurosci. 2011 Jan 12;31(2):469-79.
http://www.ncbi.nlm.nih.gov/pubmed/21228157

「まだ来ぬ報酬を待ち続けるにはセロトニン神経活動が必要 」 OIST
脳内微少透析法を用いて背側縫線核に薬剤（8OH-DPAT）を急性に局所投与することで、行動しているラットの上行性セロトニン系の活動を選択的に抑制「まだ来ぬ報酬を待ち続けるにはセロトニン神経活動が必要 | 沖縄科学技術大学院大学 OIST」

Kayoko W. Miyazaki, Katsuhiko Miyazaki and Kenji Doya
Activation of Dorsal Raphe Serotonin Neurons Is Necessary for Waiting for Delayed Rewards
The Journal of Neuroscience, 1 August 2012, 32(31): 10451-10457.

• 「セロトニン＝報酬割引率」説は、定性的にはいろいろな現象を説明できて、正しいと思う。
• しかし、これらの実験事実は「セロトニン＝思考中フラグ」説とも矛盾しないのではないか？
「遠い将来の報酬を予測する」＝「長く思考する」

我慢と思考は表裏一体• 我慢を強いられると思考が生じる：– 人間の場合何か行動を我慢するときには、しきりにその行動のイメージが想起される。
– 例：「飲んでしまったら運転して帰れない。」「でも飲んだらすごくおいしいだろうな・・・。」• 思考すると我慢できる：– 行動するときとあきらめる時のメリットとデメリットを比較検討してはじめて合理的行動ができる。
– 例：「仕事に行きたくないが、行かないとクビになるからしょうがない・・・。」

「セロトニン＝思考中フラグ」仮説の傍証

背側縫線核(DR)と mPFC
セロトニンを放出する神経核

意欲・動機などに関与する部位

Celada et al. Control of Dorsal Raphe Serotonergic Neurons by the Medial Prefrontal Cortex,
The Journal of Neuroscience.2001

背側縫線核(DR)と mPFC
これから思考をするか、思考せずに行動するかを意思決定する場所？

オートレセプタによる思考をタイムアウトさせる機構？

Celada et al. Control of Dorsal Raphe Serotonergic Neurons by the Medial Prefrontal Cortex,
The Journal of Neuroscience.2001

セロトニン受容体の分布
ＰＥＴＭＲＩ

5-HT1a は medial temporal
lobe に多く neocortex に少し。
5-HT2a は 前頭葉と側頭葉に集中。
（5-HT1 は神経抑制、 5-HT2は神経興奮）

Medial temporal lobe structures that are critical for long-term
memory include the amygdala, brainstem, and hippocampus,
along with the surrounding hippocampal region consisting of
the perirhinal, parahippocampal, and entorhinal neocorticalregions.
「Temporal lobe - Wikipedia, the free encyclopedia」
http://en.wikipedia.org/wiki/Temporal_lobe

Principles of Neural Science 5th ed.
Eric R. Kandel et al. , McGraw-Hillp. 1047

その機能的意味は？
ＰＥＴＭＲＩ

セロトニン神経の活動は、海馬周辺を抑制し、前頭葉と側頭葉の活動は促進する
思考モードのときは海馬の働きを抑え、前頭葉・側頭葉の活動を促進する？？
Principles of Neural Science 5th ed.
Eric R. Kandel et al. , McGraw-Hillp. 1047

夢とセロトニン

夢とセロトニン• 「夢の機能は生存のためのリハーサル」説「脳は眠らない 夢を生み出す脳のしくみ」アンドレア・ロック著– 夢によくあるパターン：追いかけられる、列車に乗り遅れる、勉強していないのに試験を受ける・・・• レム睡眠時にはセロトニン神経の活動が完全に消失。 「セロトニン - Wikipedia」– 夢の中では複雑な思考はできない。
– セロトニンが「思考中フラグ」ならば、それがオフになっていれば夢を現実のように感じるはず。

• 「・・・第二に、起きているときには、内的に生じたイメージがあまりにリアルならないよう、脳が意図的に制御している。現実に襲ってくる捕食者と想像上の捕食者が区別できないと、生存が脅かされるからだ。感覚情報で形づくられた現実認識と内的に生まれた想像にはっきりと差をつけるしくみには、神経伝達物質セロトニンが一役かっているようだ。」（ラバージの考え） 「脳は眠らない 夢を生み出す脳のしくみ」アンドレア・ロック著– （ただし、このラバージの考えにエビデンスがあるのかは不明。）

夢と思考と現実
仮想

現実

学習必要

夢

行動モード

学習不可

思考モード ---（脳内シミュレーション）

感覚遮断、運動遮断

当人は現実のように感じる
思考中フラグ オフ？
当人は現実じゃな
いとわかっている感覚遮断・運動遮断の機構• 視覚をイメージすると視覚野が、運動をイメージすると運動野が活動する、らしい。
– 視覚野が活動するのにイメージしたものが見えないのはなぜか？
– 運動野が活動するのに体が動いてしまわないのはなぜか？

想像が「見える」現象はあるか？
• 幼児にみられるイマジナリーコンパニオン？
– 現実と空想を区別するにも学習が必要？？

• 統合失調症の幻聴？
• 薬物による幻覚？
• PTSDなどで起きるフラッシュバック？
• 入眠時幻覚？
• 感覚遮断による幻覚？
• 逆に、見えるはずのものが見えなくなる現象はあるか？

とりあえずの結論• 脳内シミュレーターの実現には非常に高性能の教師なし学習器が不可欠。
• 思考モードと行動モードを切り替える機構の候補としてセロトニン神経系が有望。
– 切り替えを命令する場所の候補は mPFC 。

• 思考モードで感覚遮断、運動遮断する神経科学的機構についてはよくわからない。（工学的にはなんとでもなりそうな問題だと思う。）• 本考察で、人間のように思考する機械の設計に役立つ多くの手掛かりが得られたと思う。

思うこと• 脳全体のアーキテクチャを読み解くことができる人材をもっと増やすべきではないか？
– 神経科学、認知科学、人工知能、機械学習のすべてに精通する「脳ジェネラリスト」を育成すべき！