眼窩前頭皮質

眼窩前頭皮質、前頭眼窩野、前頭前野眼窩部は、脳の前頭前野の腹側表面で、意思決定に重要な役割を果たす。

1. 機能
-----

眼窩前頭皮質の多彩な役割を要約すると、意思決定の基盤となる認知地図を構成することである。認知地図の構成は観測可能な情報と観測不能な情報を統合して推論を行い、ステートと呼ばれるある種の状態を表現することによって可能となる。観測可能な情報は、現在の感覚入力や自らの行動である。観測不能な情報は、直接的な経験やモデルベースの推論によって得られる情報である。部分的に観測可能な環境情報にはしばしば、価値情報が伴う。

1.1. ヒトにおける眼窩前頭皮質の役割
--------------------

眼窩前頭皮質はヒトの脳の中でも最も理解が進んでいない領域である。しかし、この領域は、感覚情報や記憶情報の統合、強化子  の感情価  の表現、意思決定や期待に関連しているという考えが提唱されている。特に、ヒトの眼窩前頭皮質は報酬と罰に対する感受性に関連した行動計画を制御していると考えられている。このことはヒトや非ヒト霊長類、げっ歯類の研究から支持されている。

ヒトの眼窩前頭皮質では主観的な快楽性の経験を仲介する役割を持っているという説も存在する 。

1.1.1. ヒトにおける眼窩前頭皮質の損傷
----------------------

後天性脳損傷  による眼窩前頭皮質の損傷は、一般的にある種の脱抑制行動を引き起こす。例えば、過度に悪態をつく、性欲過多、社会的対話の欠如、賭博への衝動、アルコール、煙草、薬物の摂取過多、共感能力の欠如などが起きる。ある種類の前頭側頭型認知症  患者の脱抑制行動は眼窩前頭皮質の変性が原因であるとされている。眼窩前頭皮質に損傷を受けた患者は、衝動的な決断や、経済感覚の欠如などの症状が起きる。

1.2. 健常者に対する脳機能イメージング研究
-----------------------

ヒトの眼窩前頭皮質の活動を画像化するために機能的核磁気共鳴画像法  を用いることは、この領域が副鼻腔に近いことにより困難なものとなる。副鼻腔には空気が詰まっており、高磁場でのエコープラナー撮像法  の使用は信号の欠損や、画像の歪み、磁化率アーティファクトなどが発生しやすくなるためである。そのため、眼窩前頭皮質から質のよい信号を得るには特別な注意が必要とされ、様々な手法が用いられている。

発表された脳機能イメージング研究によると、報酬価値、予測された報酬価値、さらには食べ物や他の強化子に対する主観的な喜びの度合いまでもが、眼窩前頭皮質で表現されている。大規模な脳機能イメージング研究のメタアナリシスにより、眼窩前頭皮質の内側部は強化子の報酬価値のモニタリング、学習、記憶に関係し、外側部は罰の評価に関係することで、現在行っている行動に変化を引き起こすことが示されている。 同様に、前後方向に強化子の複雑性、抽象性が表現されていて、味覚などの複雑性の低い強化子よりも、金銭の収支のようなより複雑で抽象的な強化子に対して、眼窩前頭皮質のより前方が活動する。

1.3. ラットにおける眼窩前頭皮質の機能抑制実験から分かった機能局在
-----------------------------------

サムネイル|656x656px| Reversal learning：逆転学習 Strategy and set shifting：戦略変更 Unobservable/uncertain outcome encoding：観測不能な不確実な成果のコード Delay discounting：時間割引 Outcome prediction and confidence：成果の予測と自信 Reinforcer devaluation and PIT：脱報酬価値課題とPIT Reward magnitude and identity discrimination：報酬の規模と同一性の識別眼窩前頭皮質の破壊・機能抑制の結果、眼窩前頭皮質の因果的機能についてさまざまなことが分かった。ここではラットでの実験の結果を中心に説明する。眼窩前頭皮質をさらに内側、腹側、外側、背外側、外側-島の５領域に分類し、それぞれの領域がどのような役割を果たしているかを右図にまとめる。

1.3.1. 内側眼窩野
------------

ラットの眼窩前頭皮質研究で、内側眼窩野の機能を選択的に示したものはほとんどない。眼窩前頭皮質の最前部にある。内側眼窩野を破壊すると、すぐもらえる小さな報酬よりも、あとにもらえる大きな報酬を好むようになる。また、リスクのある選択をするようになる。

内側眼窩野は脱阻止において、報酬の変化に好んで応答する。

1.3.2. 外側眼窩野
------------

逆転学習には関与するが、識別学習には関与しない。外側眼窩野を機能抑制すると、あとでもらえる大きな報酬よりも、すぐもらえる小さな報酬を好むようになる。

外側眼窩野の前部はパブロフ的脱報酬価値課題に関与するが逆転学習には関与しない。それに対して外側眼窩野の後部はその両方に関与する。

1.3.3. 眼窩前頭皮質の一部もしくは全体の破壊・機能抑制によって遂行障害が出る課題一覧
---------------------------------------------

逆転学習：reversal learning

遅延変更課題：delayed alteration

消去学習：extinction learning

脱報酬価値課題：reinforcer devaluation

感覚事前調整：sensory preconditioning

成果特異的PIT：outcome specific pavlovian-instrumental transfer

過剰期待：over expectaition

時間割引：delay discounting

報酬内容の変更による脱阻止：Unblocking by reward identity change

決定後賭博課題：postdecision wagering task

三段階課題ステート実験：3 stage experiment

1.4. サルにおける断線実験
---------------

1.4.1. 断線
------------------------

非対称性断線による行動変化を紹介する。

1.4.1.1. 眼窩前頭皮質ー扁桃体
----------------------------

脱報酬価値課題の遂行が障害される。

===== 眼窩前頭皮質ー鼻皮質が、環境についてのどの情報を表現しているのかということの反映である。エージェントの脳は、意思決定や学習を適切に行うために、どのくらい正確に環境を表現すればよいのか。下に述べるように、これは簡単な問題ではない。たとえば、強化学習を行うエージェントが、棒が蝶番でつながっている台車を左右に動かし、右にも左にも動く棒をバランスよく保つ倒立振子の課題を学習しようとする場合を考える。強化学習の観点から、この問題を解決するのに適切な方策は、台車の次の状態を予測するのに十分な全ての情報が現在の状態に含まれている場合のみ、計算できる。この特性はマルコフ性として知られ、未来の状態の条件付き確率が、過去の状態によらず、現在の状態と行動によってのみ決定されるマルコフ決定過程に従うことを意味する。倒立振子の課題に関しては、荷車の位置と棒の角度を状態として表現するだけでは不十分である。なぜなら、これらの変数だけでは棒がどちらに動き、荷車がどちらに動くかということを予測できないからである。その代わりに、荷車の速度や、棒の速度といった情報が必要である。これらの変数を、現在のステートとして表現したほうが、エージェントはよりよく学習ができるであろう。

ステート表現に関するこれらの要請は、あらたな問題が生じる。変数によっては、エージェントが感覚から受ける情報と１対１に対応していない。例えば、速度に関する変数を推測するには過去と現在の感覚情報を比較しなくてはいけない。このとき、記憶が必要となる。もしステートが、現在アクセス可能な情報以外の情報を反映することを必要としたとき、また、本当の価値を知るのに不確実性があった場合、そのステートは’’部分的に観察可能’’ということにあなる。つまり、意思決定に必要な全ての情報が、現在の感覚情報に含まれておらず、過去の記憶などの情報も現在の感覚情報とともに利用しなければならない場合、そのステートは部分的に観測可能ということになる。

最後に、現在の感覚入力の全てが意思決定に必要なわけではない。例えば、照明条件下で、感覚情報が変化したとしても方針に関係のないものをステートに組み入れる必要はない。不必要な情報をステートに組み入れてしまうと、違うように見えるけれでも等しいと見なすべきそれぞれの状態の方針を区別して学習する必要性から、学習が遅くなってしまう。これをと呼ぶ。よって、よいステート表現の方法は、この２つの問題を解決するものである。「必要とされる観測不可能な情報を感覚情報に補填することで、部分的に観察可能な、マルコフ的でない環境を扱うことができ、次元性の苦悩を避けるために感覚情報の中から関係のあるものだけを選別することができること。」である。つまり、意思決定に必要な情報を過去の記憶などと現在の感覚情報から表現し、不必要な情報を取り除くことが必要であるということだ。

棒をバランス良く保つことは非常にレアな行為だが、次元生の苦悩と部分的観測可能性は一般的な問題である。この問題を解決できる脳領野は、エピソード記憶や注意選択過程に関わる脳領野と、感覚皮質とアクセス可能であるべきだ。こうした特徴を持つ脳領野として、純粋に解剖学的観点から眼窩前頭皮質は良い候補である。前頭前野の中で独特にも五感と強くつながっており、海馬や線条体のように記憶や意志決定に関わる脳領野と相互的に繋がっているからだ。加えて長年の研究から、意志決定における眼窩前頭皮質の役割は課題の実行に必要なときに部分的に観測可能な環境のステートを表現することであるといわれる。特に2014年のウィルソンらの論文で、眼窩前頭皮質が破壊されると結果に影響が出る課題においてステートの表現の仕方がどのように変わるかが書かれている。中心的な考えとしては、課題のステート空間は多くの場合部分的に観測可能な情報を含んでおり、眼窩前頭皮質を破壊された動物は必要な観測可能な情報と観測不能な情報の統合が出来ないのではないかということだ。この考えを理論的に検証するためヤエルらは強化学習モデルの枠組みを利用した。眼窩前頭皮質が破壊された動物をシミュレーションするため、同じ感覚情報に関連した全てのステートは、同じステートと認識するように設計し、健康な動物は同じ感覚情報に関連した情報を例えば過去の情報などに基づいて識別できるものとして設計した。この操作は前頭眼窩皮質の障害に影響を受ける課題において、わずかながら確実な、課題の遂行障害を起こした。
１つの例が遅延変更課題である。この課題は動物においても人においても前頭眼窩皮質が損傷されると遂行障害を生じることで知られる。この課題では２つの単純な行動が報酬につながりうる。特別にこの課題における報酬の提示は前回の選択に影響を受ける。たとえばそれぞれの試行で前回選ばなかった選択をした時だけ報酬がもらえるといった具合である。この課題を解決するためには、２つの行動に対応したステートは、前回の選択という情報を補填されなくてはいけない。外的に利用可能な刺激という観点では全ての試行は同じに見えるが、前回Aを選んだ場合最善の選択はBなのであり、前回Bを選んだ時の最善の選択はAなのである。もしも眼窩前頭皮質の損傷が、見た目が同じでも観測不能な情報に基づいて識別しなければならないステートの識別能力を障害するのであれば、眼窩前頭皮質を損傷した動物はこの課題をステートが１つしかないものとして表現するはずである。眼窩前頭皮質を損傷した動物がこの課題をできなくなることは実験的に示されている。2014年のウィルソンらの論文では、眼窩前頭皮質の損傷の結果として起こる様々な行動の障害は、課題の実行の背景にあるステート空間の障害によって起こると説明している。さらに眼窩前頭皮質の損傷によって起きる腹側被蓋野のドーパミン神経の発火の変化がステート識別の障害の結果として起きるとも説明している。

ヒトおける研究を見ていく中で、ヤエルらは、眼窩前頭皮質の意思決定における役割を調べて自分たちの仮説を証明するため、自分たちの仮説を証明するための課題についての情報が眼窩前頭皮質に含まれていたことが分かった。全脳的解析によって、内側眼窩前頭皮質のみが全ての必要な観測不能な情報を持っているということが分かった。また、眼窩前頭皮質からは、２試行前の事象といったような課題の遂行に関係のない情報は読み解くことができなかった。一方で他の脳領野からは、課題の遂行に関係のない情報も読み解くことができてしまった。最後に、１回の試行の情報の誤差固定解析により分かったことは、課題遂行の間違いに先行して眼窩前頭皮質のステート表現が劣化するということだ。これらの結果は、今まで述べてきた眼窩前頭皮質が意思決定においてステート表現を行うという仮説に対して強い支持要素となる。

他のいくつかの研究も同じような結論を導いている。げっ歯類の外側眼窩野の神経細胞の電気活動を記録したノグエリアは、前回の試行から得られる、課題遂行に関係する観測不能な情報が現在の感覚入力と統合されたことを報告した。ヤエルの研究室では参加者が過去の観察の連続から現在のステートを推論しなくてはいけないような課題を使って、眼窩前頭皮質の活動は観測可能な出来事の連続を考慮しなくてはならないような観測不能なステートの事後確率を反映することを明らかにした。ブラッド・フィールドは両側の内側眼窩野の機能抑制が、課題の範囲の観測不能な成果の思い出しや予期が出来なくなることにつながるということを報告した。最後に、スタルネイカーは、成果の規模や内容がことあるごとに逆転する課題をラットに試行させ、観測不能の課題のステートが背内側線条体のアセチルコリン性介在細胞の電気活動から読み解けることを明らかにした。非常に重要なことに、眼窩前頭皮質を破壊するとこの情報は消えてしまう。最後に、これらの結果を統合すると、眼窩前頭皮質は、課題遂行に関係のある情報を組み合わせてステート表現を行い、部分的に観測可能な、あるいはマルコフ的でない環境において効果的な意思決定をすることを促進しているといえる。

1.5. 三段階課題ステート実験
----------------

内側眼窩野がステートを表現しているということを因果的に示した実験が、三段階課題ステート実験である。行動実験としては、顔家課題同様に複雑である。まず、前訓練の段階で、刺激１と報酬１、刺激２と報酬２を連合する。次に、随伴性抑制訓練で、行動１を起こすと、刺激１が提示されるが、報酬は提示されない、行動２を起こすと、刺激２が提示されるが、報酬は提示されない、という訓練をする。ここでを学習する。これらの２つのステートを学習した段階で、テストを行う。行動１を行うと、刺激１が提示され、行動２を行っても刺激１が提示される、という条件にして報酬は提示しないとしたときに、行動１と行動２のどちらを多く取るかということを観察する。行動１の場合は、刺激１が提示されるので矛盾はないが、行動２の場合は、刺激２ではなく、刺激１が提示されるため矛盾が生じている。このような場合、ラットはどのような行動をとるのか。内側眼窩野が正常のラットは次のように考えると推測される。行動１をとっても報酬が得られないため、ラットはテストの段階は抑制性のステートであると考える。そうすると、矛盾のない選択をしても、報酬がもらえないとわかっているため、報酬がもらえないという情報をまだ学習していない矛盾のある方の選択をする。その結果、行動１よりも行動２をより多くラットは選択する。しかし、内側眼窩野を損傷したラットはそのようなステートの判断がつかないため、直前に行った随伴性強化訓練の結果に従い、矛盾のないほうをより多く選択する。