眼窩前頭皮質
クリスティーナ・グレメルらは、飽満型脱報酬価値課題を行った。グレメルらが行った脱報酬価値課題について詳しく述べる。まず、マウスは、レバーを押せば砂糖水を得られるということを学習する。この段階を訓練段階と呼ぶ。次に、マウスに砂糖水をたくさん与えて、飽きさせる。この段階を再暴露段階と呼ぶ。再暴露において砂糖水をなめた瞬間の外側眼窩野の活動を光遺伝学的に抑制したところ、抑制していないマウスに比べて、再暴露後のレバー押しが多く見られた。すなわち、再暴露中の砂糖水をなめた瞬間の外側眼窩野の活動は、報酬を低下させる、報酬の価値をアップデートするのに必要であるということを意味している。
感覚事前調整とは英語で「Sensory Preconditioning」のことである。感覚事前調整では条件刺激を2つ用いる。刺激1と刺激2を同時にラットに提示する。次に、刺激2を提示した状態で報酬を与える。次に刺激1を提示すると、報酬がなくても、刺激1に対して反応行動を示すようになる。刺激1に対する反応行動を見る段階で、薬理学的に眼窩前頭皮質を抑制すると、刺激1に対する反応行動は、抑制していないラットに比べて有意に減少する。このことから眼窩前頭皮質は「報酬と連合しが刺激2と関連する刺激1が提示されているならば報酬も提示されるであろう」というモデルベースの推論を行っていると考えられる。
感覚事前調整に関するジェフリー・ショーエンバウムらの実験を説明しよう。右に、本実験の行動試験の概要を示す。まず図Aについて、刺激Aを提示したのに続けて刺激Bを提示する。また、刺激Cを提示したのに続けて刺激Dを提示する。この訓練を繰り返し行う。この訓練中に報酬は提示されないので、刺激に対する報酬的な反応行動は見られない。次に図Bについて、刺激Bと報酬をペアにして提示すると、刺激Bに対して報酬的な反応行動が見られるようになる。また、刺激Dを単独て提示する。次に図Cについて刺激Bと刺激Dに対する報酬的な反応行動の割合を比較すると刺激Bに対する反応の方が優位に高い。
事前調整の段階で、眼窩前頭皮質の神経細胞266個の神経活動を記録したところ、112個の細胞で少なくとも1つの刺激に対して神経活動が上昇した。そのうち45個は、AとBどちらにも反応する、あるいはCとDどちらにも反応するという神経細胞だった。
まず阻止(ブロッキング)という現象について説明する。刺激1に続いて報酬1を提示する。これを訓練して刺激1に対して反応行動を起こすようになる。次に、刺激1と刺激2を同時に提示して、続いて報酬1を提示する。これを訓練する。試験において刺激2を提示して反応行動が現れるかを確認する。報酬学習は刺激が予測誤差を生じた場合に、その誤差が駆動力となって成立する。刺激1と刺激2を同時に提示して、報酬1を提示した場合、報酬が刺激1によって完全に予測されているためにこの訓練課程では予測誤差が生じていないので刺激2に対しては反応行動が獲得されない。これは刺激1が刺激2の報酬学習を阻止したといえるのでこの現象を阻止(ブロッキング)という。次に、報酬内容の変更による脱阻止について説明する。刺激1に続いて報酬1を提示する。次に、刺激1と刺激2を同時に提示し、続いて報酬2を提示する。この場合、刺激2によって報酬内容が変更されたと訓練動物は認識し、報酬内容に関する予測誤差が生じるので刺激2に対して反応行動が獲得される。これを、報酬内容の変更による脱阻止という。
古典的条件付けと道具的条件付けを続けて行い、試験の段階で、道具的条件付けの時に獲得した行動が古典的条件付けした刺激に対して増加する。
これを見るテストをPITという。PITの中でも、古典的条件付けのときに用いる報酬と、道具的条件付けのときに用いる報酬が同じ場合を成果特異的PITと呼ぶ。成果特異的PITは眼窩前頭皮質の損傷によって障害される。
マルコフの2ステップ課題ラット版では、成果期と選択期が存在する。成果期に報酬学習が行われるわけだが、眼窩前頭皮質を時間特異的に成果期でだけ抑制すると、モデルベースの推論ができなくなった。選択期に抑制してもモデルベースの推論はできなくならない。
条件付けにおいて、刺激1と報酬(1)、刺激2と報酬(1)を連合する。次に、複合訓練で刺激1と刺激2を同時に提示したとき、報酬(1)を提示する。このとき、ラットは、報酬(2)を期待するが、報酬(1)しか提示されないため、負の予測誤差が生じ、刺激1、刺激2と報酬についてお互いの連合を弱めてしまう。その結果、刺激2に対する反応行動の時間が、複合訓練をしない場合に比して、短くなる。眼窩前頭皮質の細胞発火を複合訓練のタイミングで抑制すると、この効果はなくなる。
※( )の中の数字は報酬の規模
海馬ー眼窩前頭皮質ー腹側被蓋野はそれぞれモデルベースの推論に必要な脳領野であることが示されているが、それぞれの脳領野の協調的機能については不明な点が多い。ここではそれぞれの脳領野の、個別のモデルベースの推論における機能と、協調的な機能について説明する。
背側海馬はモデルベースの推論に寄与する脳領野である。カルロス・ブロディーらは、マルコフの2ステップ課題のラット版において、海馬をムッシモールで抑制し、行動を解析したところ、モデルベースの推論ができなくなっていることを発見した。
眼窩前頭皮質はモデルベースの推論に寄与する脳領野である。カルロス・ブロディーらは、マルコフの2ステップ課題のラット版において、学習のタイミングで眼窩前頭皮質を光遺伝学的に抑制し、行動を解析したところ、モデルベースの推論ができなくなっていることを発見した。
腹側被蓋野のドーパミン神経はモデルベースの推論に重要である。ジェフリー・ショーエンバウムらは、ドーパミン神経を光遺伝学的に時間特異的に制御することで、報酬内容の変更による脱阻止や感情事前調整を障害する実験を行った。
腹側被蓋野のドーパミン神経は、成果の報酬を推測し、予測誤差を発火頻度として表現することができる。予測誤差を示す発火は、推論を行って予測誤差を減らすことで、減らすことが出来る。実際に、予測誤差を生じさせるような行動課題において、推論できるような試行を用いると、そうでない試行に比して、ドーパミン神経の予測誤差の表示は小さくなる。さらに、この推論による予測誤差表示の変化は、眼窩前頭皮質の破壊によって見られなくなることが分かった。このことはドーパミン神経の予測誤差における推論の影響が、眼窩前頭皮質に依存して出るということを示している。
眼窩前頭皮質は与えられた選択肢に関連した経済的価値を、経験だけに頼らず臨機応変に表現している。この理論は餌を選んでいる時の、サルの眼窩前頭皮質の電気記録によって得られた。ポダ・シッポアとアサドは2種類のジュースの中から1つを選んでいる時のサルの眼窩前頭皮質からの電気活動を記録した。それぞれの試行において、それぞれのジュースの量が画面の表示によってサルに伝えられる。そしてサルはどちらの選択肢を選ぶか自由に選べる。標準的な経済理論に則り、サルの選択から、それぞれのジュースの主観的価値を計算した。そして、眼窩前頭皮質の神経細胞の発火が何を選択したかにかかわらず線形的変化(いくつかのものは上昇し、いくつかのものは低下する)するものの割合を、選択したジュースとともに示した。価値の表現は、選択の運動的側面と感覚的側面とは独立している。
眼窩前頭皮質は、行動をガイドするために、予期される結果に対する報酬価値を表現することができる。この報酬価値の表現の仕組みを知るために行ったジェフリー・ショーエンバウムらの仕事を紹介しよう。まず初期学習において、刺激1と報酬(中)を連合する。次に、複合学習において、刺激1+刺激2と報酬(中)、刺激1+刺激3と報酬(大)、刺激1+刺激4と報酬(小)を連合する。このようにすると、刺激2に対する反応行動は、複合学習において刺激1がなかった場合と比較すると減少する。なぜならば、初期学習の結果、刺激1の提示でラットは報酬(中)を予期するようになったため、複合学習においても報酬(中)を予期してしまう。その状態で刺激2が提示されると、予測誤差が生じないために、刺激2と報酬(中)の連合は起きない。これを阻止(ブロッキング)という。刺激1が刺激2と報酬の連合を阻止したということである。刺激3に対する反応行動は、刺激2に対するものに比して大きくなる。なぜならば、複合学習において刺激1は報酬(中)を予期するが、刺激3が伴ったことで報酬(大)が提示されたため、報酬(大マイナス中)分の予測誤差が生じ、この予測誤差が、刺激3と報酬の連合を促進する。これを脱阻止(アンブロッキング)と呼ぶことにする。刺激4に対する反応行動は、刺激2に対するに対するものに比して小さくなる。なぜなら、複合学習において、刺激1は報酬(中)を予期するが、刺激4が伴ったことで報酬(小)が提示されたため、報酬(小マイナス中)分の負の予測誤差が生じ、これが刺激4と報酬の連合を負に制御することになる。さて、阻止された刺激2、報酬が上昇した刺激3、報酬が減少した刺激4に対する眼窩前頭皮質の細胞の応答はどのようになるのか。外側眼窩前頭皮質のニューロン680個のうち、少なくとも1つの刺激に応答するがすべての刺激に同様には応答しない細胞が、120個見つかった。そのなかで、上昇した刺激に対して顕著に応答した60個の細胞についてよく調べてみると、上昇した刺激に特異的に応答した細胞は19個、報酬に予期的に応答した細胞は16個、刺激2,3,4、すなはち複合学習における新しい刺激に応答した細胞が10個、報酬価値に応じて反応した細胞が5個、解釈不能なものが10個であった。
報酬価値の学習、想起に関して、眼窩前頭皮質は重要な役割を果たしている。ラットに、レバーを引くと砂糖がもらえるという学習をさせる場合について説明する。学習を終えて、テストするまでの間は、報酬に関する記憶が書き込まれるわけだが、この時間帯に、外側眼窩前頭皮質から基底規定偏桃体に投射する神経をDREADDを用いて抑制すると、テストのときのレバープ引きの回数は減少する。一方で内側眼窩前頭皮質から基底外側偏桃体に投射する神経をDREADDを用いて抑制しても、テストのときのレバー引きの回数は減少しない。また、テストのときは、報酬に関する記憶を想起しているわけだが、この時間帯に、側眼窩前頭皮質から基底基底偏桃体に投射する神経をDREADDを用いて抑制しても、テストのときのレバープ引きの回数は減少しない。一方で内側眼窩前頭皮質から基底外側偏桃体に投射する神経をDREADDを用いて抑制する、テストのときのレバー引きの回数は減少する。
これらのことから、外側眼窩前頭皮質から基底外側偏桃体へ投射する神経は、報酬価値の書き込みに重要であり、内側眼窩前頭皮質から基底外側偏桃体へ投射する神経は、報酬価値の想起に必要であるということである。
海馬と眼窩前頭皮質はどちらも、学習や記憶、意思決定のような認知過程に重要である。しかしながら、この2領野は独立的に調べられてきた。この2領野は似ている点が多く、並行的でありながらも、相互作用しながら認知地図(Cognitive Map)を表現している。
独自の解剖学的、電気生理学的、生化学的特徴を持っていながら、海馬と眼窩前頭皮質はよく似た機能を持っている。たとえば、眼窩前頭皮質の中心的な機能は「感覚事象や行動選択に続く特異的な結果を予期する」ことであるといわれるが、海馬の機能は「これから起こる事象の予期を促進する」といわれる。これらの表現はとても一般化された機能について説明しているが、とてもこの2領野がよく似ていることを示している。これらの構造は、柔軟な行動できるように将来を予測したり、環境についての知識を一般化したりするのに役立つ。海馬と眼窩前頭皮質は相互作用し、認知地図の形成と行動出力に寄与する。
腹側海馬の出力を抑制すると、眼窩前頭皮質のタスクの表現が正常にできなくなるということが、ジェフリー・ショーエンバームらの実験で分かった。匂いガイド下意思決定課題におけるOFCの神経活動を記録した。報酬予期の時間に最も発火頻度が上昇した細胞の割合を測定したところ、腹側海馬を抑制したラットと抑制していないラットでは抑制したラットの方が割合が少なかった。
基底外側扁桃体から眼窩前頭皮質に投射する神経細胞をDREADDで薬理遺伝学的に抑制すると、PITができなくなることが証明された。
眼窩前頭皮質を機能抑制すると逆転学習が障害されるが、その影響は、基底外側扁桃体を機能抑制すると無くなってしまう。
つまり、眼窩前頭皮質と基底外側扁桃体をどちらも機能抑制すると、逆転学習は障害されなくなる。
眼窩前頭皮質を破壊すると、腹側線条体の神経細胞の中で報酬規模特異的に応答する細胞の数が減り、報酬内容特異的に応答する細胞の数が増える。
眼窩前頭皮質を破壊すると、古典的条件付けにおける 腹側被蓋野 のドーパミンニューロンの条件刺激に対する発火頻度の上昇度合いが低下し、報酬排除による発火頻度の減少度合いが低下する。
腹側被蓋野のドーパミン神経は眼窩前頭皮質と同様にモデルベースの推論に重要な機能を果たす感覚事前調整や報酬内容の変更による脱阻止といったモデルベースの推論課題は眼窩前頭皮質の機能抑制により遂行障害が起きるが腹、被蓋野のドーパミン神経を抑制しても、同様に機能障害が起きる。また、眼窩前頭皮質は腹側被害蓋間接的にシグナルを送っている。眼窩前頭皮質を電極で電流刺激すると、腹側被蓋野のドーパミン神経の発火パターンは変化する(主に抑制される)。これは眼窩前頭皮質が腹側被蓋野のドーパミン神経を介してモデルベースの推論を行っているということを示唆している(これは、筆者の推論であり、実験的に証明されたものではない)。眼窩前頭皮質は腹側線条体と背側線条体に強く投射しており、腹側線条体と背側線条体は腹側被蓋野に強く投射している。
眼窩前頭皮質から二次運動野に投射する神経をDREADDで抑制すると、より探索的な行動を取るようになり、搾取的でなくなる。探索(exploration)と、搾取(exploitation)について少し説明する。探索と搾取は心理行動科学的には対義語である。搾取とはこれまでに報酬との関連を学習した刺激や行動を好んで選択して、報酬との関連がないような刺激や行動はとらないという傾向である。それに対して探索とは、これまで報酬との関連がないような刺激や行動に興味をもって、そのようなものを選択していく傾向である。たとえば、おいしい料理店があったとして、ここにいけば美味しいご飯が食べられると分かっているのでいつもここに行く。他の店はおいしくないかもしれないからいかない、というのが搾取的である。それに対して、ほかの店にもいってみよう、というのが探索的である。レバー1と報酬との関連を学習させた後に、試験でレバー2(報酬とは無関係)を提示したときレバー1とレバー2のどちらを多く押すかという実験で、コントロール群に比較して、DREADD群では、レバー2よりレバー1を好む性質、すなわち搾取性が低下しており、探索性が上昇していた。
oDASS(光遺伝学的ドーパミン自己刺激)とは、マウスがレバーを引くと、そのマウスのドーパミン神経が光遺伝学的に刺激されるシステムである。要するにレバーを引くと快感が得られるということである。本説明のoDASSには電気ショックが伴っている。oDASSを行っているマウスの眼窩前頭皮質から、背側線条体に投射する神経細胞の活動をPhiberPhotometoryで記録したところ、図のようになった。oDASSの途中で電気ショックが与えられることがあるような設定にする。電気ショックに屈することなくレバーを引き続けたほうのマウスの神経活動が紫で、罰に屈してレバーを引かなくなったマウスの神経活動が緑である。赤いブロックは電気刺激の時間のを示している。レバー押し後の、眼窩前頭皮質から背側線条体に行く神経細胞の活動は、くじけないマウスの方が高く、くじけてしまうマウスの方では低い。さらに、oDASSを行っているマウスの眼窩前頭皮質から背側線条体に投射する神経の活動を光遺伝学的に抑制すると、くじけないマウスの割合が低下するということも分かった。
さらに、高カロリー液を摂取した際に活動した眼窩前頭皮質の細胞だけを、二光子励起顕微鏡を使って活性化したところ、高カロリー液を摂取するために過ごす時間が増えた。これは、摂食によって活性化された細胞は、因果的に摂食を促すということである。また、子供のマウスとの関わったときに活動した眼窩前頭皮質の細胞だけを、二光子励起顕微鏡を使って活性化したところ、高カロリー液を摂取するために過ごす時間が減った。これは、社会的交流によって活性化された細胞は、因果的に摂食を妨げるということである。
眼窩前頭皮質は、状況の表現(State Representation)、潜在的原因(Latent Cause)の表現に重要であることがヤエル・ニブらの研究で分かった。状況の表現は、眼窩前頭皮質における認知地図(Cognitive Map)の表現を可能にしている。ステート表現とは、意思決定に必要な環境の情報を表現することであるが、ヒトのfMRIの実験から、意思決定に必要なタスクの状況の情報を前頭眼窩皮質が持っていることが証明された。潜在原因は目の前の状況を作り出す潜在的な、直接観測不能な原因のことである。この情報も眼窩前頭皮質が持っていることが証明された。
ロールズ (Rolls) らは、逆転学習 (reversal learning) と消去 (extinction) の2種類の視覚弁別課題 (visual discrimination test)を行った。まず、逆転学習では実験参加者に A と B の2つの写真を見せ、写真 A が呈示された時にボタンを押すと報酬を得ることが出来、写真 B が呈示されている時にボタンを押すと罰が与えられることを学ばせる。この課題では、このルールの学習が終わった後にルールが入れ替えられる。つまり、写真 B が呈示されている時にボタンを押せば正解となるようにする。ほとんどの健常者は即座にルールの逆転に気づくことが出来るが、眼窩前頭皮質に障害を負った患者は、罰を与えられるにもかかわらず、一度強化された元々のパターンに反応し続けてしまう。ロールズ (Rolls) らは、この行動パターンは被験者らがルールの逆転を理解したと報告している点で、特に不可解であると述べている。
2つめの課題として消去に関する課題を行った。この課題では、もう一度実験参加者に写真 B ではなく写真 A に対してボタンを押すように学習させる。しかし、今回はルールを逆転させるかわりに、ルールをまったく変えてしまう。今回はどちらの写真に対してボタンを押しても罰が与えられるようにしてしまうのだ。この課題に対する正しい選択はボタンをまったく押さないことである。しかし、眼窩前頭皮質の機能障害をもった患者は、それを行えば罰せられるにもかかわらず、ボタンを押したいという誘惑に逆らえない。
アイオワ・ギャンブリング課題 (Iowa gambling task) と呼ばれる、現実世界の意思決定を模倣した認知や情動の研究に広く使われる課題がある。実験参加者にはコンピュータ画面に4つの仮想的なカードのデッキが呈示される。彼らは毎回カードを選び、その裏に書かれた分のゲーム通貨を得る、または失う。この課題の目的は、出来るだけ多くのお金を得ることであり、参加者には意識的に考えながらではなく"直感"に従ってカードを選んでもらう。デッキの内の2つは"悪いデッキ"となっていて、長期的に見れば収支はマイナスになる。残りの2つのデッキは"良いデッキ"になっていて、長期的に見れば収支はプラスになる。多くの健常者は約40から50試行後には"良いデッキ"を選び続けるようになる。しかし、眼窩前頭皮質の機能障害を持った患者の場合、その選択が最終的に損であると分かっている場合も存在するにもかかわらず、"悪いデッキ"に保続 (Perseveration) し続ける。同時に行った電気皮膚反応 (galvanic skin response) の計測では、健常者が"悪いデッキ"を選択しようとする際のストレス反応は、たった10試行後という、意識的な"悪いデッキ"の判断が生じるはるか以前から計測される。しかしこの結果とは対照的に、眼窩前頭皮質の機能障害を持った患者では、この差し迫った罰に対する生理的な反応が観測されることはない。この実験を行ったベシャラ (Bechara) らは、このことをソマティック・マーカー仮説 (somatic markers hypothesis) の観点から説明している。アイオワ・ギャンブリング課題は現在、精神医学や神経学などの多くの研究に用いられていて、統合失調症や強迫性障害などの患者や健常者において、この課題を行っている際にどの脳領域が活動するかがfMRIを用いて調べられている。
社会的失言検出課題 (Faux pas test) は誰かが不適切な発言をした際の社会的状況を用いた課題である。参加者が行う課題は、どの発言が不適切なのか?、なぜその発言が不適切なのか?、その社会的失言に対して人々がどのような反応をするか?、そして対照群として、この状況の事実に関する質問に答えることである。元々は自閉症スペクトラムのある人々のために作られたものだったが、この課題は眼窩前頭皮質の機能障害を持ち、物語は完全に理解できるものの社会的に不適切な出来事を判断できなくなった患者に対しても検出力を示す。
Geoffrey Schoenbaum (NIH,メリーランド大学、ジョンス・ホプキンス大学)
Yael Niv (プリンストン大学)
Elisabeth A. Murray (NIH)
Camillo Padoa-Schioppa (ワシントン大学)
Samuel J Gershman (ハーバード大学)
Barry J. Richmond (NIH)
David Redish (ミネソタ大学)
Adam Kepecs (コールド・スプリング・ハーバー研究所)
Jonathan Wallis (タスマニア大学)
Carlos Brody (プリンストン大学、ハワード・ヒューズ医学研究所)
Christina M. Gremel(カリフォルニア大学サンディエゴ校)