眼窩前頭皮質
ステート表現 > ステート空間理論

意思決定に関する研究の中心は、次の問いに対して脳がどのように答えるかということを理解することである。「環境のステートを考慮し、どの行動が最善の成果につながるだろうか。」多くの研究はこの質問の後半部分に焦点を当てており、その内容は文字通り、どのように行動を選択し、どのように、予期した成果を学習に表現するのだろうかということである。しかし、この質問の前半部分、すなはち、「どのように意思決定は現在の環境に依存し、動物は何を''環境のステート''と考えるのだろうか。」にはあまり注意が向けられていない。動物を取り巻く環境はしばしば、感覚情報にあふれており、それらの時間的関係も複雑であるため、脳が環境のステートをどのように表現しているかということは意思決定を成功させるために非常に重要である。下において「環境のステート」を正確に定義し、意思決定の過程が必要とする環境のステートの表現がどのようになされるかについて詳しく説明する。そして、意思決定においてこれらの情報を表現することいおいて眼窩前頭皮質が特異的な役割を持っていることを提案する。
強化学習の計算論的理論は、現在の決定に関連のあるすべての情報を表現することに依存している。このすべての情報は''ステート(状態)''と言われる。このステートは、ただ環境における身体状態の１対１の反映であるだけではなく、むしろ意思決定の瞬間に意思決定を行う主体(エージェント）が、環境についてのどの情報を表現しているのかということの反映である。エージェントの脳は、意思決定や学習を適切に行うために、どのくらい正確に環境を表現すればよいのか。下に述べるように、これは簡単な問題ではない。たとえば、強化学習を行うエージェントが、棒が蝶番でつながっている台車を左右に動かし、右にも左にも動く棒をバランスよく保つ倒立振子の課題を学習しようとする場合を考える（古典的なベンチマークタスク）。強化学習の観点から、この問題を解決するのに適切な方策は、台車の次の状態を予測するのに十分な全ての情報が現在の状態に含まれている場合のみ、計算できる。この特性はマルコフ性として知られ、未来の状態の条件付き確率が、過去の状態によらず、現在の状態と行動によってのみ決定されるマルコフ決定過程に従うことを意味する。倒立振子の課題に関しては、荷車の位置と棒の角度を状態として表現するだけでは不十分である。なぜなら、これらの変数だけでは棒がどちらに動き、荷車がどちらに動くかということを予測できないからである。その代わりに、荷車の速度や、棒の速度といった情報が必要である。これらの変数を、現在のステートとして表現したほうが、エージェントはよりよく学習ができるであろう。
ステート表現に関するこれらの要請は、あらたな問題が生じる。変数によっては、エージェントが感覚から受ける情報と１対１に対応していない。例えば、速度に関する変数を推測するには過去と現在の感覚情報を比較しなくてはいけない。このとき、記憶が必要となる。もしステートが、現在アクセス可能な情報以外の情報を反映することを必要としたとき、また、本当の価値を知るのに不確実性があった場合、そのステートは’’部分的に観察可能’’ということにあなる。つまり、意思決定に必要な全ての情報が、現在の感覚情報に含まれておらず、過去の記憶などの情報も現在の感覚情報とともに利用しなければならない場合、そのステートは部分的に観測可能ということになる。
最後に、現在の感覚入力の全てが意思決定に必要なわけではない。例えば、照明条件下で、感覚情報が変化したとしても方針に関係のないものをステートに組み入れる必要はない。不必要な情報をステートに組み入れてしまうと、違うように見えるが等しいと見なすべきそれぞれの状態の方針を区別して学習する必要性から、学習が遅くなってしまう。これを''次元性の苦悩''と呼ぶ。よって、よいステート表現の方法は、この２つの問題を解決するものである。「必要とされる観測不可能な情報を感覚情報に補填することで、部分的に観察可能な、マルコフ的でない環境を扱うことができ、次元性の苦悩を避けるために感覚情報の中から関係のあるものだけを選別することができること。」である。つまり、意思決定に必要な情報を過去の記憶などと現在の感覚情報から表現し、不必要な情報を取り除くことが必要であるということだ。
棒をバランス良く保つことは非常にレアな行為だが、次元性の苦悩と部分的観測可能性は一般的な問題である。この問題を解決できる脳領野は、エピソード記憶や注意選択過程に関わる脳領野と、感覚皮質とアクセス可能であるべきだ。こうした特徴を持つ脳領野として、純粋に解剖学的観点から眼窩前頭皮質は良い候補である。前頭前野の中で独特にも五感と強くつながっており、海馬や線条体のように記憶や意志決定に関わる脳領野と相互的に繋がっているからだ。加えて長年の研究から、意志決定における眼窩前頭皮質の役割は課題の実行に必要なときに部分的に観測可能な環境のステートを表現することであるといわれる。特に2014年のウィルソンらの論文で、眼窩前頭皮質が破壊されると結果に影響が出る課題においてステートの表現の仕方がどのように変わるかが書かれている。中心的な考えとしては、課題のステート空間は多くの場合部分的に観測可能な情報を含んでおり、眼窩前頭皮質を破壊された動物は必要な観測可能な情報と観測不能な情報の統合が出来ないのではないかということだ。この考えを理論的に検証するためヤエルらは強化学習モデルの枠組みを利用した。眼窩前頭皮質が破壊された動物をシミュレーションするため、同じ感覚情報に関連した全てのステートは、同じステートと認識するように設計し、健康な動物は同じ感覚情報に関連した情報を例えば過去の情報などに基づいて識別できるものとして設計した。この操作は前頭眼窩皮質の障害に影響を受ける課題において、わずかながら確実な、課題の遂行障害を起こした。
１つの例が遅延変更課題である。この課題は動物においても人においても前頭眼窩皮質が損傷されると遂行障害を生じることで知られる。この課題では２つの単純な行動（例えばレバーを右か左に引くなど）が報酬につながりうる。特別にこの課題における報酬の提示は前回の選択に影響を受ける。たとえばそれぞれの試行で前回選ばなかった選択をした時だけ報酬がもらえるといった具合である。この課題を解決するためには、２つの行動に対応したステートは、前回の選択という情報を補填されなくてはいけない。外的に利用可能な刺激という観点では全ての試行は同じに見えるが、前回Aを選んだ場合最善の選択はBなのであり、前回Bを選んだ時の最善の選択はAなのである。もしも眼窩前頭皮質の損傷が、見た目が同じでも観測不能な情報に基づいて識別しなければならないステートの識別能力を障害するのであれば、眼窩前頭皮質を損傷した動物はこの課題をステートが１つしかないものとして表現するはずである。眼窩前頭皮質を損傷した動物がこの課題をできなくなることは実験的に示されている。2014年のウィルソンらの論文では、眼窩前頭皮質の損傷の結果として起こる様々な行動の障害は、課題の実行の背景にあるステート空間の障害によって起こると説明している。さらに眼窩前頭皮質の損傷によって起きる腹側被蓋野のドーパミン神経の発火の変化がステート識別の障害の結果として起きるとも説明している。
ヒトおける研究を見ていく中で、ヤエルらは、眼窩前頭皮質の意思決定における役割を調べて自分たちの仮説を証明するため、自分たちの仮説を証明するための課題（顔家課題)を用いた。課題の試行において、参加者は右図のような家と顔が重なった図を与えられ、顔か家どちらかについて、古いか（年を取っているか）新しいか（若いか）を考える。この課題で重要なことは、顔か家どちらを判断するかということと、それが実際に古いか新しいかということを連続して考えなくてはいけないということである。顔か家どちらを判断するかというルールは、前回の試行と現在の思考で新しさが変化した場合、次の試行では反対のカテゴリーを判断し、新しさが変化しなければ、同じカテゴリーのものを判断するというものである。最初は顔から始まる。例は右図のようである。したがってこの課題を実行するには、参加者は現在の試行と前回の試行について考えなくてはいけない。与えられたルールの中でこの課題において参加者は部分的に観測可能な16個のステートからなるステート空間を描かなくてはならない。fMRIの画像を多変数解析の技術することにより、ステートのどの側面が眼窩前頭皮質に表現されているかを調べた。この解析によって、それぞれの試行において、ステートの部分的に観測可能な側面(前回の試行の新しさ、前回の試行のカテゴリーなど）についての情報が眼窩前頭皮質に含まれていたことが分かった。全脳的解析によって、内側眼窩前頭皮質のみが全ての必要な観測不能な情報を持っているということが分かった。また、眼窩前頭皮質からは、２試行前の事象といったような課題の遂行に関係のない情報は読み解くことができなかった。一方で他の脳領野からは、課題の遂行に関係のない情報も読み解くことができてしまった。最後に、１回の試行の情報の誤差固定解析により分かったことは、課題遂行の間違いに先行して眼窩前頭皮質のステート表現が劣化するということだ。これらの結果は、今まで述べてきた眼窩前頭皮質が意思決定においてステート表現を行うという仮説に対して強い支持要素となる。
他のいくつかの研究も同じような結論を導いている。げっ歯類の外側眼窩野の神経細胞の電気活動を記録したノグエリアは、前回の試行から得られる、課題遂行に関係する観測不能な情報が現在の感覚入力と統合されたことを報告した。ヤエルの研究室では参加者が過去の観察の連続から現在のステートを推論しなくてはいけないような課題を使って、眼窩前頭皮質の活動は観測可能な出来事の連続を考慮しなくてはならないような観測不能なステートの事後確率を反映することを明らかにした。ブラッド・フィールドは両側の内側眼窩野の機能抑制が、課題の範囲の観測不能な成果の思い出しや予期が出来なくなることにつながるということを報告した。最後に、スタルネイカーは、成果の規模や内容がことあるごとに逆転する課題をラットに試行させ、観測不能の課題のステートが背内側線条体のアセチルコリン性介在細胞の電気活動から読み解けることを明らかにした。非常に重要なことに、眼窩前頭皮質を破壊するとこの情報は消えてしまう。最後に、これらの結果を統合すると、眼窩前頭皮質は、課題遂行に関係のある情報を組み合わせてステート表現を行い、部分的に観測可能な、あるいはマルコフ的でない環境において効果的な意思決定をすることを促進しているといえる。