眼窩前頭皮質
もしステートが、現在アクセス可能な情報以外の情報を反映することを必要としたとき、また、本当の価値を知るのに不確実性があった場合、そのステートは’’部分的に観察可能’’ということにあなる。つまり、意思決定に必要な全ての情報が、現在の感覚情報に含まれておらず、過去の記憶などの情報も現在の感覚情報とともに利用しなければならない場合、そのステートは部分的に観測可能ということになる。
最後に、現在の感覚入力の全てが意思決定に必要なわけではない。例えば、照明条件下で、感覚情報が変化したとしても方針に関係のないものをステートに組み入れる必要はない。不必要な情報をステートに組み入れてしまうと、違うように見えるけれでも等しいと見なすべきそれぞれの状態の方針を区別して学習する必要性から、学習が遅くなってしまう。これを''次元性の苦悩''と呼ぶ。よって、よいステート表現の方法は、この2つの問題を解決するものである。「必要とされる観測不可能な情報を感覚情報に補填することで、部分的に観察可能な、マルコフ的でない環境を扱うことができ、次元性の苦悩を避けるために感覚情報の中から関係のあるものだけを選別することができること。」である。つまり、意思決定に必要な情報を過去の記憶などと現在の感覚情報から表現し、不必要な情報を取り除くことが必要であるということだ。
棒をバランス良く保つことは非常にレアな行為だが、次元生の苦悩と部分的観測可能性は一般的な問題である。この問題を解決できる脳領野は、エピソード記憶や注意選択過程に関わる脳領野と、感覚皮質とアクセス可能であるべきだ。
眼窩前頭皮質は、行動をガイドするために、予期される結果に対する報酬価値を表現することができる。この報酬価値の表現の仕組みを知るために行ったジェフリー・ショーエンバウムらの仕事を紹介しよう。まず初期学習において、刺激1と報酬(中)を連合する。次に、複合学習において、刺激1+刺激2と報酬(中)、刺激1+刺激3と報酬(大)、刺激1+刺激4と報酬(小)を連合する。このようにすると、刺激2に対する反応行動は、複合学習において刺激1がなかった場合と比較すると減少する。なぜならば、初期学習の結果、刺激1の提示でラットは報酬(中)を予期するようになったため、複合学習においても報酬(中)を予期してしまう。その状態で刺激2が提示されると、予測誤差が生じないために、刺激2と報酬(中)の連合は起きない。これを阻止(ブロッキング)という。刺激1が刺激2と報酬の連合を阻止したということである。刺激3に対する反応行動は、刺激2に対するものに比して大きくなる。なぜならば、複合学習において刺激1は報酬(中)を予期するが、刺激3が伴ったことで報酬(大)が提示されたため、報酬(大マイナス中)分の予測誤差が生じ、この予測誤差が、刺激3と報酬の連合を促進する。
報酬の規模(量)
報酬を得るのに必要な努力
報酬を得られる確率
報酬の顕著性(サリエンス)
新奇性
予期報酬の変化
新しい研究結果によると、前頭眼窩皮質の最も重要な機能は、望まれない行動を抑制し感情を制御するというよりも、むしろ感覚事象や行動選択に続いて起こる結果を予測し、これらの成果の評価をアップデートすることである。これらのシグナルは選択の瞬間において重要な役割を果たす。サルの研究結果から、眼窩前頭皮質は、抽象的な共通通貨の形で、目標としての対象の価値を表現していることが分かった。しかし、げっ歯類の研究結果では、眼窩前頭皮質は共通通貨のような形で一般的に成果を表現しているというよりも、むしろ特異的に成果を表現していると分かった。これらのことから眼窩前頭皮質は、条件刺激や強化子と関連した、手に入る成果の感覚的質を表現していると考えられる。哺乳類の間での眼窩前頭皮質の違いを研究することはいまだに行われているが、全ての哺乳類の前頭眼窩皮質について言えることは、将来の行動の成果を、報酬的な意味でも嫌悪的な意味でも予期するのに大切であるということだ。
まず阻止(ブロッキング)という現象について説明する。刺激1に続いて報酬1を提示する。これを訓練して刺激1に対して反応行動を起こすようになる。次に、刺激1と刺激2を同時に提示して、続いて報酬1を提示する。これを訓練する。試験において刺激2を提示して反応行動が現れるかを確認する。報酬学習は刺激が予測誤差を生じた場合に、その誤差が駆動力となって成立する。刺激1と刺激2を同時に提示して、報酬1を提示した場合、報酬が刺激1によって完全に予測されているためにこの訓練課程では予測誤差が生じていないので刺激2に対しては反応行動が獲得されない。これは刺激1が刺激2の報酬学習を阻止したといえるのでこの現象を阻止(ブロッキング)という。次に、報酬内容の変更による脱阻止について説明する。刺激1に続いて報酬1を提示する。次に、刺激1と刺激2を同時に提示し、続いて報酬2を提示する。この場合、刺激2によって報酬内容が変更されたと訓練動物は認識し、報酬内容に関する予測誤差が生じるので刺激2に対して反応行動が獲得される。これを、報酬内容の変更による脱阻止という。
こうした特徴を持つ脳領野として、純粋に解剖学的観点から眼窩前頭皮質は良い候補である。前頭前野の中で独特にも五感と強くつながっており、海馬や線条体のように記憶や意志決定に関わる脳領野と相互的に繋がっているからだ。加えて長年の研究から、意志決定における眼窩前頭皮質の役割は課題の実行に必要なときに部分的に観測可能な環境のステートを表現することであるといわれる。特に2014年のウィルソンらの論文で、眼窩前頭皮質が破壊されると結果に影響が出る課題においてステートの表現の仕方がどのように変わるかが書かれている。中心的な考えとしては、課題のステート空間は多くの場合部分的に観測可能な情報を含んでおり、眼窩前頭皮質を破壊された動物は必要な観測可能な情報と観測不能な情報の統合が出来ないのではないかということだ。この考えを理論的に検証するためヤエルらは強化学習モデルの枠組みを利用した。眼窩前頭皮質が破壊された動物をシミュレーションするため、同じ感覚情報に関連した全てのステートは、同じステートと認識するように設計し、健康な動物は同じ感覚情報に関連した情報を例えば過去の情報などに基づいて識別できるものとして設計した。この操作は前頭眼窩皮質の障害に影響を受ける課題において、わずかながら確実な、課題の遂行障害を起こした。
1つの例が遅延変更課題である。この課題は動物においても人においても前頭眼窩皮質が損傷されると遂行障害を生じることで知られる。この課題では2つの単純な行動(例えばレバーを右か左に引くなど)が報酬につながりうる。