眼窩前頭皮質
光遺伝学的にハロロドプシンを使って眼窩前頭皮質の神経活動を時間特異的に抑制すると、消去学習が障害される。
脱報酬価値課題とは英語で「Reinforcer Devaluation」のことである。脱報酬価値課題は、条件刺激もしくはオペラント行動と連合した報酬(無条件刺激)の価値を低下させることで、条件刺激への反応行動やオペラント行動が減少することを確認する実験である。報酬の価値を低下させる方法は、大きく分けて2つある。一つは報酬と罰を連合させることで、報酬の価値を低下させるというもの。これを罰連合型脱報酬価値課題と名付ける。もう一つは、報酬との連合学習を成立させたのちに、報酬を沢山与えて、報酬に対して飽きさせることで報酬の価値を低下させるというもの。これを飽満型脱報酬価値課題と名付ける。ジェフリー・ショーエンバウムらは、外側前頭眼窩皮質を、条件刺激を提示しているタイミングで光遺伝学的に抑制したところ、罰連合型脱報酬価値課題において、脱報酬価値後の条件刺激への反応行動は、有意に上昇したことを確認した。
エージェントの脳は、意思決定や学習を適切に行うために、どのくらい正確に環境を表現すればよいのか。下に述べるように、これは簡単な問題ではない。たとえば、強化学習を行うエージェントが、棒が蝶番でつながっている台車を左右に動かし、右にも左にも動く棒をバランスよく保つ倒立振子の課題を学習しようとする場合を考える(古典的なベンチマークタスク)。強化学習の観点から、この問題を解決するのに適切な方策は、台車の次の状態を予測するのに十分な全ての情報が現在の状態に含まれている場合のみ、計算できる。この特性はマルコフ性として知られ、未来の状態の条件付き確率が、過去の状態によらず、現在の状態と行動によってのみ決定されるマルコフ決定過程に従うことを意味する。倒立振子の課題に関しては、荷車の位置と棒の角度を状態として表現するだけでは不十分である。なぜなら、これらの変数だけでは棒がどちらに動き、荷車がどちらに動くかということを予測できないからである。その代わりに、荷車の速度や、棒の速度といった情報が必要である。これらの変数を、現在のステートとして表現したほうが、エージェントはよりよく学習ができるであろう。
ステート表現に関するこれらの要請は、あらたな問題が生じる。変数によっては、エージェントが感覚から受ける情報と1対1に対応していない。例えば、速度に関する変数を推測するには過去と現在の感覚情報を比較しなくてはいけない。このとき、記憶が必要となる。
oDASS(光遺伝学的ドーパミン自己刺激)とは、マウスがレバーを引くと、そのマウスのドーパミン神経が光遺伝学的に刺激されるシステムである。要するにレバーを引くと快感が得られるということである。本説明のoDASSには電気ショックが伴っている。oDASSを行っているマウスの眼窩前頭皮質から、背側線条体に投射する神経細胞の活動をPhiberPhotometoryで記録したところ、図のようになった。oDASSの途中で電気ショックが与えられることがあるような設定にする。電気ショックに屈することなくレバーを引き続けたほうのマウスの神経活動が紫で、罰に屈してレバーを引かなくなったマウスの神経活動が緑である。赤いブロックは電気刺激の時間のを示している。レバー押し後の、眼窩前頭皮質から背側線条体に行く神経細胞の活動は、くじけないマウスの方が高く、くじけてしまうマウスの方では低い。さらに、oDASSを行っているマウスの眼窩前頭皮質から背側線条体に投射する神経の活動を光遺伝学的に抑制すると、くじけないマウスの割合が低下するということも分かった。
さらに、高カロリー液を摂取した際に活動した眼窩前頭皮質の細胞だけを、二光子励起顕微鏡を使って活性化したところ、高カロリー液を摂取するために過ごす時間が増えた。これは、摂食によって活性化された細胞は、因果的に摂食を促すということである。また、子供のマウスとの関わったときに活動した眼窩前頭皮質の細胞だけを、二光子励起顕微鏡を使って活性化したところ、高カロリー液を摂取するために過ごす時間が減った。これは、社会的交流によって活性化された細胞は、因果的に摂食を妨げるということである。
強制選択課題において、腹側海馬台の機能を光遺伝学的にNpHR(ハロロドプシン)を使って抑制すると、眼窩前頭皮質のステート表現が異常となった。具体的には、強制選択課題における反応方向(選んだ選択肢)に選択的に発火を示す神経細胞の割合が有意に減少した。