眼窩前頭皮質
眼窩前頭皮質、前頭眼窩野、前頭前野眼窩部(がんかぜんとうひしつ、ぜんとうがんかや、ぜんとうぜんやがんかぶ Orbitofrontal cortex, OFC orbital Prefrontal Cortex, oPFC)は、脳の前頭前野の腹側表面で、意思決定に重要な役割を果たす。
眼窩前頭皮質の多彩な役割を要約すると、意思決定の基盤となる認知地図を構成することである。認知地図の構成は観測可能な情報と観測不能な情報を統合して推論を行い、ステートと呼ばれるある種の状態を表現することによって可能となる。観測可能な情報は、現在の感覚入力や自らの行動である。観測不能な情報は、直接的な経験やモデルベースの推論によって得られる情報である。部分的に観測可能な環境情報にはしばしば、価値情報が伴う。
眼窩前頭皮質はヒトの脳の中でも最も理解が進んでいない領域である。しかし、この領域は、感覚情報や記憶情報の統合、強化子 (reinforcer) の感情価 (affective value) の表現、意思決定や期待に関連しているという考えが提唱されている。特に、ヒトの眼窩前頭皮質は報酬と罰に対する感受性に関連した行動計画を制御していると考えられている。このことはヒトや非ヒト霊長類、げっ歯類の研究から支持されている。
ヒトの眼窩前頭皮質では主観的な快楽性の経験を仲介する役割を持っているという説も存在する 。
後天性脳損傷 (ABI : Acquired Brain Injury) による眼窩前頭皮質の損傷は、一般的にある種の脱抑制行動を引き起こす。例えば、過度に悪態をつく、性欲過多、社会的対話の欠如、賭博への衝動、アルコール、煙草、薬物の摂取過多、共感能力の欠如などが起きる。ある種類の前頭側頭型認知症 (frontotemporal dementia) 患者の脱抑制行動は眼窩前頭皮質の変性が原因であるとされている。眼窩前頭皮質に損傷を受けた患者は、衝動的な決断や、経済感覚の欠如などの症状が起きる。
ヒトの眼窩前頭皮質の活動を画像化するために機能的核磁気共鳴画像法 (fMRI) を用いることは、この領域が副鼻腔に近いことにより困難なものとなる。副鼻腔には空気が詰まっており、高磁場でのエコープラナー撮像法 (EPI) の使用は信号の欠損や、画像の歪み、磁化率アーティファクトなどが発生しやすくなるためである。そのため、眼窩前頭皮質から質のよい信号を得るには特別な注意が必要とされ、様々な手法が用いられている。(例えば、高静磁場における自動シミングなど)
発表された脳機能イメージング研究によると、報酬価値、予測された報酬価値、さらには食べ物や他の強化子に対する主観的な喜びの度合いまでもが、眼窩前頭皮質で表現されている。大規模な脳機能イメージング研究のメタアナリシスにより、眼窩前頭皮質の内側部は強化子の報酬価値のモニタリング、学習、記憶に関係し、外側部は罰の評価に関係することで、現在行っている行動に変化を引き起こすことが示されている。 同様に、前後方向に強化子の複雑性、抽象性が表現されていて、味覚などの複雑性の低い強化子よりも、金銭の収支のようなより複雑で抽象的な強化子に対して、眼窩前頭皮質のより前方が活動する。
眼窩前頭皮質の破壊・機能抑制の結果、眼窩前頭皮質の因果的機能についてさまざまなことが分かった。ここではラットでの実験の結果を中心に説明する。眼窩前頭皮質をさらに内側、腹側、外側、背外側、外側-島の5領域に分類し、それぞれの領域がどのような役割を果たしているかを右図にまとめる。
ラットの眼窩前頭皮質研究で、内側眼窩野の機能を選択的に示したものはほとんどない。眼窩前頭皮質の最前部にある。内側眼窩野を破壊すると、すぐもらえる小さな報酬よりも、あとにもらえる大きな報酬を好むようになる。また、リスクのある選択をするようになる。
内側眼窩野は脱阻止において、報酬の変化に好んで応答する。
逆転学習には関与するが、識別学習には関与しない。外側眼窩野を機能抑制すると、あとでもらえる大きな報酬よりも、すぐもらえる小さな報酬を好むようになる。
外側眼窩野の前部はパブロフ的脱報酬価値課題に関与するが逆転学習には関与しない。それに対して外側眼窩野の後部はその両方に関与する。
非対称性断線による行動変化を紹介する。
脱報酬価値課題の遂行が障害される。
報酬規模の違いに対する感度が低下する。
霊長類の眼窩前頭皮質は前頭前野の腹側部の表面にある大きな皮質領域であり、眼窩の直上にある。(これが名称の由来である。)そして、大脳半球の間の壁の一部を含んでいる。解剖学的には、内背側視床の内側大細胞核から軸索投射を受ける前頭前野の一部と定義されており、ブロードマン野の10,11,47からなる。しかしながらブロードマンの初期の分類は終わっておらず、ヒトと非ヒト霊長類では非一貫性を示している。細胞構築に基づく仕事による区分が広く現在受け入れられており、ウォーカー野の10,11,47/12,13,14とされる。前頭前野は一般的に六層構造からなるが、霊長類の眼窩前頭皮質では、五層構造でできている無顆粒性(第Ⅳ層がない)の場所と、六層構造でできている顆粒性(第Ⅳ層がある)の場所が混在している。このことは、他の前頭葉領域よりも眼窩前頭皮質の方が系統発生学的に古いことを提案しており、眼窩前頭皮質が全体に渡って五層構造である非霊長類と霊長類の比較を難しくしている。この違いに基づいて、ワイズらは非霊長類の哺乳類と霊長類の眼窩前頭皮質は相同的な部分を持たないと提案した。この話題についての様々な反対意見が現在進行中である。
他の特筆すべき眼窩前頭皮質の解剖学上の特徴は、解剖学的なつながりである。眼窩前頭皮質はすべての感覚野と2シナプスや3シナプスで非常に強くつながっており、さらに、他の前頭葉領域や線条体、扁桃体、海馬などにも広くつながっている。これらの領域に対するつながりのパターンは眼窩前頭皮質における内側ネットワークと外側ネットワークで異なっており、機能的にも内側ネットワークと外側ネットワークが異なっていることを提案する。特に、外側ネットワークは扁桃体や外側眼窩野へ出力しており、嗅覚、味覚、視覚、体性感覚、内蔵感覚に関連する感覚野からの情報の入力を受けている。それに対して、内側ネットワークは、内側壁(ブロードマン野25,24,32)に出力しており、扁桃体、内背側視床、内側側頭葉のさまざまな場所(海馬、海馬傍回など)、腹側線条体、視床下部、中心灰白質から入力を受けている。
まとめると、眼窩前頭皮質は感覚、学習、記憶に関わる様々な領野とつよくつながっている。眼窩前頭皮質は解剖学的に異なる2つのネットワーク(内側と外側)や、細胞構築的に異なる様々な領域(顆粒性か無顆粒性)を持つということ、溝のつくりに個人差が大きいということから、非常に不均一な脳領野であるといえる。
ラットの眼窩前頭皮質は嗅脳溝の背側にあり、内側眼窩野(medial orbital area:MO)、腹側眼窩野(ventral orbital area:VO)、腹外側眼窩野(ventrolateral orbital area:VLO)、外側眼窩野(lateral orbital area:LO)、背外側眼窩野(dorsolateral orbital area:DLO)、無顆粒性島野(agranular insular area:AI)の6箇所に区分される。ラットでは前頭前野は全て無顆粒性(第Ⅳ層がない)だが、これらの眼窩前頭皮質領域はサルの眼窩内側前頭前野のおよそ尾側3分の1と相同であると考えられている。なぜならこれらの領域は似た配置や皮質下構造とのつながりを持っているからである。特に内背側視床はサルにおいてもラットにおいても全ての眼窩前頭皮質の部分と相互につながっている。現在では行動学的、神経化学的、電気生理学的性質を説明することや、系統発生学やこれらの領域の個体発生における関係性を研究することで、前頭前野の領域を様々な種にわたって定義するための追加基準か作られている。
近年のサルとラットの解剖学的トレース実験による包括的比較解析は、これらの種間での解剖学的つながりに基づく相同性の推論を可能にしている。特に、眼窩前頭皮質と線条体の関係はサルとラットで類似している。ラットの内側眼窩野とサルの内側眼窩前頭皮質はどちらも線条体の腹内側部に投射しているし、ラットの外側眼窩野とサルの中心外側眼窩前頭皮質はどちらも線条体の中心部と外側部に投射している。興味深いことに、線条体の投射先領域で分類すれば、腹側眼窩野と外側眼窩野同士は、腹側眼窩野と内側眼窩野よりも近い関係にあり、同等視されたラットの腹側眼窩野と外側眼窩野は(しばしば腹外側眼窩野にも拡張されるが)サルの中心外側前頭眼窩皮質と相同である。
ハーバーとヴァーツは前頭眼窩皮質領域の全脳的投射先マッピングの結果からラットの内側眼窩野と腹側眼窩野について少し違った結論を出した。彼らによればラットの内側眼窩野と腹側眼窩野は同じ皮質領域(線条体、内背側視床、外側視床下部、海馬のほとんどの領域、黒質、腹側被蓋野)に投射している(内側眼窩野は腹側眼窩野へ、腹側眼窩野は内側眼窩野へ、内側眼窩野と腹側眼窩野はどちらも前帯状回、Prelimbic皮質、Infralimbic皮質へ)。しかしながら、おどろくべき内側眼窩野と腹側眼窩野の違いもあった。内側眼窩野は基底外側扁桃体や中心扁桃体に強く投射しているが、腹側眼窩野はそれよりも弱い。内側眼窩野は腹側眼窩野よりも強く側坐核に投射している。一般的に行って、内側眼窩野は腹側眼窩野よりも辺縁系に広く投射している。面白いことに内側眼窩野と腹側眼窩野のどちらも外側眼窩野にはそれほど強く投射していない。ハーバーとヴァーツらの提案は内側眼窩野と腹側眼窩野は目標指向行動の情動的、認知的統合において重要な役割を共有しいるということだ。
この領域に関するヒトを対象とした研究は、健常者に対する脳機能イメージング研究と、眼窩前頭皮質の一部に損傷を負った患者の神経心理学的研究に集中している。
眼窩前頭皮質の機能に関する最初の情報は、偶然の出来事に単を発している。爆発事故で鉄の棒が、今では有名な鉄道作業員であるフィネアス・ゲージの頭を貫き、前頭前野の腹側部にある前頭眼窩皮質は直接損傷を受けた。彼はその後、認知機能は比較的保たれたものの、自分を制御できなくなった。医師ダマシオの患者エリオットは、眼窩前頭皮質が損傷した後、仕事を辞め、妻と離婚し、売春婦と結婚した。これらのことは、その後の眼窩前頭皮質、もっと一般化して前頭前野に対する考え方に大きな影響を及ぼした。フィネアス・ゲージのような患者や実験的に眼窩前頭皮質を 損傷した動物に基づいて、「眼窩前頭皮質の最も重要な機能は行動抑制、抑制的自己制御、感情制御である」と考えられた。しかし最近の研究では眼窩前頭皮質の機能に対するこのような見方について物申すような結果が出ている。これらの結果によると眼窩前頭皮質はもっと確信的な機能を持っている。
アレン脳科学研究所では、全脳的に色素を持ったウイルスベクターを注入し、軸索の走行をトレースする実験が行われている。図1はAAV-GFPをC57BL/6Jマウスの外側眼窩野に注入してスライスから取得した軸索走行の画像を3次元化した画像の側面像である。
ホン・ウェイ・ドンらは、眼窩前頭皮質のみならず様々な皮質領野が背側線条体にどのように投射しているかという皮質線条体プロジェクトームを発表している。その中で、眼窩前頭皮質についての記載を紹介する。図2は、背側線条体を11個のコンパートメントに分けたものである。
外側眼窩野の神経細胞は、中間背側線条体背内側部(CPi.dm)、吻背側線条体中間背側部(CPr.imd)、尾背側線条体背側部(CPc.d)に投射している。
腹外側眼窩野の神経細胞は、中間背側線条体背内側部(CPi.dm)、吻背側線条体中間腹側部(CPr.imv)、尾背側線条体背側部(CPc.d)に投射している。
意思決定に関する研究の中心は、次の問いに対して脳がどのように答えるかということを理解することである。「環境のステートを考慮し、どの行動が最善の成果につながるだろうか。」多くの研究はこの質問の後半部分に焦点を当てており、その内容は文字通り、どのように行動を選択し、どのように、予期した成果を学習に表現するのだろうかということである。しかし、この質問の前半部分、すなはち、「どのように意思決定は現在の環境に依存し、動物は何を環境のステートと考えるのだろうか。」にはあまり注意が向けられていない。動物を取り巻く環境はしばしば、感覚情報にあふれており、それらの時間的関係も複雑であるため、脳が環境のステートをどのように表現しているかということは意思決定を成功させるために非常に重要である。下において「環境のステート」を正確に定義し、意思決定の過程が必要とする環境のステートの表現がどのようになされるかについて詳しく説明する。そして、意思決定においてこれらの情報を表現することいおいて眼窩前頭皮質が特異的な役割を持っていることを提案する。
強化学習の計算論的理論は、現在の決定に関連のあるすべての情報を表現することに依存している。このすべての情報はステート(状態)と言われる。このステートは、ただ環境における身体状態の1対1の反映であるだけではなく、むしろ意思決定の瞬間に意思決定を行う主体(エージェント)が、環境についてのどの情報を表現しているのかということの反映である。エージェントの脳は、意思決定や学習を適切に行うために、どのくらい正確に環境を表現すればよいのか。下に述べるように、これは簡単な問題ではない。たとえば、強化学習を行うエージェントが、棒が蝶番でつながっている台車を左右に動かし、右にも左にも動く棒をバランスよく保つ倒立振子の課題を学習しようとする場合を考える(古典的なベンチマークタスク)。強化学習の観点から、この問題を解決するのに適切な方策は、台車の次の状態を予測するのに十分な全ての情報が現在の状態に含まれている場合のみ、計算できる。この特性はマルコフ性として知られ、未来の状態の条件付き確率が、過去の状態によらず、現在の状態と行動によってのみ決定されるマルコフ決定過程に従うことを意味する。倒立振子の課題に関しては、荷車の位置と棒の角度を状態として表現するだけでは不十分である。なぜなら、これらの変数だけでは棒がどちらに動き、荷車がどちらに動くかということを予測できないからである。その代わりに、荷車の速度や、棒の速度といった情報が必要である。これらの変数を、現在のステートとして表現したほうが、エージェントはよりよく学習ができるであろう。
ステート表現に関するこれらの要請は、あらたな問題が生じる。変数によっては、エージェントが感覚から受ける情報と1対1に対応していない。例えば、速度に関する変数を推測するには過去と現在の感覚情報を比較しなくてはいけない。このとき、記憶が必要となる。もしステートが、現在アクセス可能な情報以外の情報を反映することを必要としたとき、また、本当の価値を知るのに不確実性があった場合、そのステートは部分的に観察可能ということにあなる。つまり、意思決定に必要な全ての情報が、現在の感覚情報に含まれておらず、過去の記憶などの情報も現在の感覚情報とともに利用しなければならない場合、そのステートは部分的に観測可能ということになる。
最後に、現在の感覚入力の全てが意思決定に必要なわけではない。例えば、照明条件下で、感覚情報が変化したとしても方針に関係のないものをステートに組み入れる必要はない。不必要な情報をステートに組み入れてしまうと、違うように見えるけれでも等しいと見なすべきそれぞれの状態の方針を区別して学習する必要性から、学習が遅くなってしまう。これを次元性の苦悩と呼ぶ。よって、よいステート表現の方法は、この2つの問題を解決するものである。「必要とされる観測不可能な情報を感覚情報に補填することで、部分的に観察可能な、マルコフ的でない環境を扱うことができ、次元性の苦悩を避けるために感覚情報の中から関係のあるものだけを選別することができること。」である。つまり、意思決定に必要な情報を過去の記憶などと現在の感覚情報から表現し、不必要な情報を取り除くことが必要であるということだ。
棒をバランス良く保つことは非常にレアな行為だが、次元生の苦悩と部分的観測可能性は一般的な問題である。この問題を解決できる脳領野は、エピソード記憶や注意選択過程に関わる脳領野と、感覚皮質とアクセス可能であるべきだ。こうした特徴を持つ脳領野として、純粋に解剖学的観点から眼窩前頭皮質は良い候補である。前頭前野の中で独特にも五感と強くつながっており、海馬や線条体のように記憶や意志決定に関わる脳領野と相互的に繋がっているからだ。加えて長年の研究から、意志決定における眼窩前頭皮質の役割は課題の実行に必要なときに部分的に観測可能な環境のステートを表現することであるといわれる。特に2014年のウィルソンらの論文で、眼窩前頭皮質が破壊されると結果に影響が出る課題においてステートの表現の仕方がどのように変わるかが書かれている。中心的な考えとしては、課題のステート空間は多くの場合部分的に観測可能な情報を含んでおり、眼窩前頭皮質を破壊された動物は必要な観測可能な情報と観測不能な情報の統合が出来ないのではないかということだ。この考えを理論的に検証するためヤエルらは強化学習モデルの枠組みを利用した。眼窩前頭皮質が破壊された動物をシミュレーションするため、同じ感覚情報に関連した全てのステートは、同じステートと認識するように設計し、健康な動物は同じ感覚情報に関連した情報を例えば過去の情報などに基づいて識別できるものとして設計した。この操作は前頭眼窩皮質の障害に影響を受ける課題において、わずかながら確実な、課題の遂行障害を起こした。
1つの例が遅延変更課題である。この課題は動物においても人においても前頭眼窩皮質が損傷されると遂行障害を生じることで知られる。この課題では2つの単純な行動(例えばレバーを右か左に引くなど)が報酬につながりうる。特別にこの課題における報酬の提示は前回の選択に影響を受ける。たとえばそれぞれの試行で前回選ばなかった選択をした時だけ報酬がもらえるといった具合である。この課題を解決するためには、2つの行動に対応したステートは、前回の選択という情報を補填されなくてはいけない。外的に利用可能な刺激という観点では全ての試行は同じに見えるが、前回Aを選んだ場合最善の選択はBなのであり、前回Bを選んだ時の最善の選択はAなのである。もしも眼窩前頭皮質の損傷が、見た目が同じでも観測不能な情報に基づいて識別しなければならないステートの識別能力を障害するのであれば、眼窩前頭皮質を損傷した動物はこの課題をステートが1つしかないものとして表現するはずである。眼窩前頭皮質を損傷した動物がこの課題をできなくなることは実験的に示されている。2014年のウィルソンらの論文では、眼窩前頭皮質の損傷の結果として起こる様々な行動の障害は、課題の実行の背景にあるステート空間の障害によって起こると説明している。さらに眼窩前頭皮質の損傷によって起きる腹側被蓋野のドーパミン神経の発火の変化がステート識別の障害の結果として起きるとも説明している。
ヒトおける研究を見ていく中で、ヤエルらは、眼窩前頭皮質の意思決定における役割を調べて自分たちの仮説を証明するため、自分たちの仮説を証明するための課題(顔家課題)を用いた。課題の試行において、参加者は右図のような家と顔が重なった図を与えられ、顔か家どちらかについて、古いか(年を取っているか)新しいか(若いか)を考える。この課題で重要なことは、顔か家どちらを判断するかということと、それが実際に古いか新しいかということを連続して考えなくてはいけないということである。顔か家どちらを判断するかというルールは、前回の試行と現在の思考で新しさが変化した場合、次の試行では反対のカテゴリーを判断し、新しさが変化しなければ、同じカテゴリーのものを判断するというものである。最初は顔から始まる。例は右図のようである。したがってこの課題を実行するには、参加者は現在の試行と前回の試行について考えなくてはいけない。与えられたルールの中でこの課題において参加者は部分的に観測可能な16個のステートからなるステート空間を描かなくてはならない。fMRIの画像を多変数解析の技術することにより、ステートのどの側面が眼窩前頭皮質に表現されているかを調べた。この解析によって、それぞれの試行において、ステートの部分的に観測可能な側面(前回の試行の新しさ、前回の試行のカテゴリーなど)についての情報が眼窩前頭皮質に含まれていたことが分かった。全脳的解析によって、内側眼窩前頭皮質のみが全ての必要な観測不能な情報を持っているということが分かった。また、眼窩前頭皮質からは、2試行前の事象といったような課題の遂行に関係のない情報は読み解くことができなかった。一方で他の脳領野からは、課題の遂行に関係のない情報も読み解くことができてしまった。最後に、1回の試行の情報の誤差固定解析により分かったことは、課題遂行の間違いに先行して眼窩前頭皮質のステート表現が劣化するということだ。これらの結果は、今まで述べてきた眼窩前頭皮質が意思決定においてステート表現を行うという仮説に対して強い支持要素となる。
他のいくつかの研究も同じような結論を導いている。げっ歯類の外側眼窩野の神経細胞の電気活動を記録したノグエリアは、前回の試行から得られる、課題遂行に関係する観測不能な情報が現在の感覚入力と統合されたことを報告した。ヤエルの研究室では参加者が過去の観察の連続から現在のステートを推論しなくてはいけないような課題を使って、眼窩前頭皮質の活動は観測可能な出来事の連続を考慮しなくてはならないような観測不能なステートの事後確率を反映することを明らかにした。ブラッド・フィールドは両側の内側眼窩野の機能抑制が、課題の範囲の観測不能な成果の思い出しや予期が出来なくなることにつながるということを報告した。最後に、スタルネイカーは、成果の規模や内容がことあるごとに逆転する課題をラットに試行させ、観測不能の課題のステートが背内側線条体のアセチルコリン性介在細胞の電気活動から読み解けることを明らかにした。非常に重要なことに、眼窩前頭皮質を破壊するとこの情報は消えてしまう。最後に、これらの結果を統合すると、眼窩前頭皮質は、課題遂行に関係のある情報を組み合わせてステート表現を行い、部分的に観測可能な、あるいはマルコフ的でない環境において効果的な意思決定をすることを促進しているといえる。
内側眼窩野がステートを表現しているということを因果的に示した実験が、三段階課題ステート実験である。行動実験としては、顔家課題同様に複雑である。まず、前訓練の段階で、刺激1と報酬1、刺激2と報酬2を連合する。次に、随伴性抑制訓練で、行動1を起こすと、刺激1が提示されるが、報酬は提示されない、行動2を起こすと、刺激2が提示されるが、報酬は提示されない、という訓練をする。ここで抑制性のステートを学習する。次に随伴性強化訓練で、行動1を起こすと、刺激1が提示されるとともに報酬1が提示される、行動2を起こすと刺激2が提示されるとともに報酬2が提示される、という訓練をする。ここで強化性のステートを学習する。これらの2つのステートを学習した段階で、テストを行う。行動1を行うと、刺激1が提示され、行動2を行っても刺激1が提示される、という条件にして報酬は提示しないとしたときに、行動1と行動2のどちらを多く取るかということを観察する。行動1の場合は、刺激1が提示されるので矛盾はないが、行動2の場合は、刺激2ではなく、刺激1が提示されるため矛盾が生じている。このような場合、ラットはどのような行動をとるのか。内側眼窩野が正常のラットは次のように考えると推測される。行動1をとっても報酬が得られないため、ラットはテストの段階は抑制性のステートであると考える。そうすると、矛盾のない選択をしても、報酬がもらえないとわかっているため、報酬がもらえないという情報をまだ学習していない矛盾のある方の選択をする。その結果、行動1よりも行動2をより多くラットは選択する。しかし、内側眼窩野を損傷したラットはそのようなステートの判断がつかないため、直前に行った随伴性強化訓練の結果に従い、矛盾のないほう(行動1)をより多く選択する。
光遺伝学的にハロロドプシンを使って眼窩前頭皮質の神経活動を時間特異的に抑制すると、消去学習が障害される。
強制選択課題において、腹側海馬台の機能を光遺伝学的にNpHR(ハロロドプシン)を使って抑制すると、眼窩前頭皮質のステート表現が異常となった。具体的には、強制選択課題における反応方向(選んだ選択肢)に選択的に発火を示す神経細胞の割合が有意に減少した。
ヒトやサル、げっ歯類に使われているもっとも古典的な逆転学習は次のようなものである。まず動物は、2つの視覚刺激、空間的位置を識別できるように訓練する。その2つのうちの片方には毎回報酬が伴い、もう片方には伴わない。パフォーマンスレベルが一定の基準に達し、識別訓練が成功したのちに、2つの刺激に随伴した成果を逆転させ(今まで報酬が伴わなかった方に報酬が伴うようになり、今まで報酬が伴った方に報酬が伴わなくなる。)、動物は再びパフォーマンスレベルが一定に達するまで訓練される。これが、道具的、報酬的逆転学習である。パブロフ的逆転学習もあるし、嫌悪的逆転学習もある。道具的逆転学習は、2つの選択肢のうちどちらかを自ら選択するが、パブロフ的逆転学習では、2つの刺激両方に対する反応行動の時間を見ることで実験を行う。
逆転学習についての重要な仮説は、逆転の前後で、動物が表現するステートが変化するということである。眼窩前頭皮質を破壊された動物は、ステート表現ができないため、逆転の前後のステートの変化を表現できず、2つのステートを同一視してしまうため、逆転学習に時間を要する。この仮説は数理的モデル解析によって支持されている。
逆転学習は眼窩前頭皮質の光遺伝学的機能抑制によっても障害される。ただし、この光遺伝学的操作は時間得意的である。
初期学習において、眼窩前頭皮質と基底外側扁桃体は、報酬を予期する刺激に応答する。しかし、刺激と報酬の随伴性が逆転したとき、これらの2領野での神経細胞の反応は異なる。基底外側扁桃体は、初期学習において報酬を予期していた刺激に応答していた神経細胞が、逆転後には逆転後に報酬を予期するようになった刺激に応答するようになる。しかしながら、眼窩前頭皮質では約2割の細胞が今までの応答性を逆転させるが、初期学習において刺激選択的でなかった神経細胞集団が、新しい、報酬を予期する刺激に応答するようになる。
眼窩前頭皮質の破壊によって、逆転学習は時間をようするようになるが、さらに基底外側扁桃体を破壊すると、逆転学習は再び素早くできるようになる。
モデルベースの推論とは、経験によって形成された内的モデルに基づいて、直接の経験によらない意思決定を可能にするような推論である。モデルベースの推論に基づく行動課題として次のようなものが挙げられる。
脱報酬価値課題とは英語で「Reinforcer Devaluation」のことである。脱報酬価値課題は、条件刺激もしくはオペラント行動と連合した報酬(無条件刺激)の価値を低下させることで、条件刺激への反応行動やオペラント行動が減少することを確認する実験である。報酬の価値を低下させる方法は、大きく分けて2つある。一つは報酬と罰を連合させることで、報酬の価値を低下させるというもの。これを罰連合型脱報酬価値課題と名付ける。もう一つは、報酬との連合学習を成立させたのちに、報酬を沢山与えて、報酬に対して飽きさせることで報酬の価値を低下させるというもの。これを飽満型脱報酬価値課題と名付ける。ジェフリー・ショーエンバウムらは、外側前頭眼窩皮質を、条件刺激を提示しているタイミングで光遺伝学的に抑制したところ、罰連合型脱報酬価値課題において、脱報酬価値後の条件刺激への反応行動は、有意に上昇したことを確認した。このころから、前頭眼窩皮質は、「脱報酬価値課題によって報酬価値が低下したのだから、その報酬と連合された条件刺激への反応をやめよう」というモデルベースの推論を行っていると考えられる。
※LiCl:LiClの腹腔内投与により腹痛を誘発