眼窩前頭皮質
海馬ー眼窩前頭皮質ー腹側被蓋野はそれぞれモデルベースの推論に必要な脳領野であることが示されているが、それぞれの脳領野の協調的機能については不明な点が多い。ここではそれぞれの脳領野の、個別のモデルベースの推論における機能と、協調的な機能について説明する。
報酬価値の学習、想起に関して、眼窩前頭皮質は重要な役割を果たしている。ラットに、レバーを引くと砂糖がもらえるという学習をさせる場合について説明する。学習を終えて、テストするまでの間は、報酬に関する記憶が書き込まれるわけだが、この時間帯に、外側眼窩前頭皮質から基底規定偏桃体に投射する神経をDREADDを用いて抑制すると、テストのときのレバープ引きの回数は減少する。一方で内側眼窩前頭皮質から基底外側偏桃体に投射する神経をDREADDを用いて抑制しても、テストのときのレバー引きの回数は減少しない。また、テストのときは、報酬に関する記憶を想起しているわけだが、この時間帯に、側眼窩前頭皮質から基底基底偏桃体に投射する神経をDREADDを用いて抑制しても、テストのときのレバープ引きの回数は減少しない。一方で内側眼窩前頭皮質から基底外側偏桃体に投射する神経をDREADDを用いて抑制する、テストのときのレバー引きの回数は減少する。
これらのことから、外側眼窩前頭皮質から基底外側偏桃体へ投射する神経は、報酬価値の書き込みに重要であり、内側眼窩前頭皮質から基底外側偏桃体へ投射する神経は、報酬価値の想起に必要であるということである。
初期学習において、眼窩前頭皮質と基底外側扁桃体は、報酬を予期する刺激に応答する。しかし、刺激と報酬の随伴性が逆転したとき、これらの2領野での神経細胞の反応は異なる。基底外側扁桃体は、初期学習において報酬を予期していた刺激に応答していた神経細胞が、逆転後には逆転後に報酬を予期するようになった刺激に応答するようになる。しかしながら、眼窩前頭皮質では約2割の細胞が今までの応答性を逆転させるが、初期学習において刺激選択的でなかった神経細胞集団が、新しい、報酬を予期する刺激に応答するようになる。
眼窩前頭皮質の破壊によって、逆転学習は時間をようするようになるが、さらに基底外側扁桃体を破壊すると、逆転学習は再び素早くできるようになる。
腹側被蓋野のドーパミン神経はモデルベースの推論に重要である。ジェフリー・ショーエンバウムらは、ドーパミン神経を光遺伝学的に時間特異的に制御することで、報酬内容の変更による脱阻止や感情事前調整を障害する実験を行った。
腹側被蓋野のドーパミン神経は、成果の報酬を推測し、予測誤差を発火頻度として表現することができる。予測誤差を示す発火は、推論を行って予測誤差を減らすことで、減らすことが出来る。実際に、予測誤差を生じさせるような行動課題において、推論できるような試行を用いると、そうでない試行に比して、ドーパミン神経の予測誤差の表示は小さくなる。さらに、この推論による予測誤差表示の変化は、眼窩前頭皮質の破壊によって見られなくなることが分かった。このことはドーパミン神経の予測誤差における推論の影響が、眼窩前頭皮質に依存して出るということを示している。
これを脱阻止(アンブロッキング)と呼ぶことにする。刺激4に対する反応行動は、刺激2に対するに対するものに比して小さくなる。なぜなら、複合学習において、刺激1は報酬(中)を予期するが、刺激4が伴ったことで報酬(小)が提示されたため、報酬(小マイナス中)分の負の予測誤差が生じ、これが刺激4と報酬の連合を負に制御することになる。さて、阻止された刺激2、報酬が上昇した刺激3、報酬が減少した刺激4に対する眼窩前頭皮質の細胞の応答はどのようになるのか。外側眼窩前頭皮質のニューロン680個のうち、少なくとも1つの刺激に応答するがすべての刺激に同様には応答しない細胞が、120個見つかった。そのなかで、上昇した刺激に対して顕著に応答した60個の細胞についてよく調べてみると、上昇した刺激に特異的に応答した細胞は19個、報酬に予期的に応答した細胞は16個、刺激2,3,4、すなはち複合学習における新しい刺激に応答した細胞が10個、報酬価値に応じて反応した細胞が5個、解釈不能なものが10個であった。
眼窩前頭皮質はモデルベースの推論に寄与する脳領野である。カルロス・ブロディーらは、マルコフの2ステップ課題のラット版において、学習のタイミングで眼窩前頭皮質を光遺伝学的に抑制し、行動を解析したところ、モデルベースの推論ができなくなっていることを発見した。
ヒトの眼窩前頭皮質の活動を画像化するために機能的核磁気共鳴画像法 (fMRI) を用いることは、この領域が副鼻腔に近いことにより困難なものとなる。副鼻腔には空気が詰まっており、高磁場でのエコープラナー撮像法 (EPI) の使用は信号の欠損や、画像の歪み、磁化率アーティファクトなどが発生しやすくなるためである。そのため、眼窩前頭皮質から質のよい信号を得るには特別な注意が必要とされ、様々な手法が用いられている。(例えば、高静磁場における自動シミングなど)
発表された脳機能イメージング研究によると、報酬価値、予測された報酬価値、さらには食べ物や他の強化子に対する主観的な喜びの度合いまでもが、眼窩前頭皮質で表現されている。大規模な脳機能イメージング研究のメタアナリシスにより、眼窩前頭皮質の内側部は強化子の報酬価値のモニタリング、学習、記憶に関係し、外側部は罰の評価に関係することで、現在行っている行動に変化を引き起こすことが示されている。 同様に、前後方向に強化子の複雑性、抽象性が表現されていて、味覚などの複雑性の低い強化子よりも、金銭の収支のようなより複雑で抽象的な強化子に対して、眼窩前頭皮質のより前方が活動する。
ヒトやサル、げっ歯類に使われているもっとも古典的な逆転学習は次のようなものである。まず動物は、2つの視覚刺激、空間的位置を識別できるように訓練する。その2つのうちの片方には毎回報酬が伴い、もう片方には伴わない。パフォーマンスレベルが一定の基準に達し、識別訓練が成功したのちに、2つの刺激に随伴した成果を逆転させ(今まで報酬が伴わなかった方に報酬が伴うようになり、今まで報酬が伴った方に報酬が伴わなくなる。)、動物は再びパフォーマンスレベルが一定に達するまで訓練される。これが、道具的、報酬的逆転学習である。パブロフ的逆転学習もあるし、嫌悪的逆転学習もある。道具的逆転学習は、2つの選択肢のうちどちらかを自ら選択するが、パブロフ的逆転学習では、2つの刺激両方に対する反応行動の時間を見ることで実験を行う。
逆転学習についての重要な仮説は、逆転の前後で、動物が表現するステートが変化するということである。眼窩前頭皮質を破壊された動物は、ステート表現ができないため、逆転の前後のステートの変化を表現できず、2つのステートを同一視してしまうため、逆転学習に時間を要する。この仮説は数理的モデル解析によって支持されている。
逆転学習は眼窩前頭皮質の光遺伝学的機能抑制によっても障害される。ただし、この光遺伝学的操作は時間得意的である。
条件付けにおいて、刺激1と報酬(1)、刺激2と報酬(1)を連合する。次に、複合訓練で刺激1と刺激2を同時に提示したとき、報酬(1)を提示する。このとき、ラットは、報酬(2)を期待するが、報酬(1)しか提示されないため、負の予測誤差が生じ、刺激1、刺激2と報酬についてお互いの連合を弱めてしまう。その結果、刺激2に対する反応行動の時間が、複合訓練をしない場合に比して、短くなる。眼窩前頭皮質の細胞発火を複合訓練のタイミングで抑制すると、この効果はなくなる。
※( )の中の数字は報酬の規模