『この先，報酬はもらえる？もらえない？』は異なった神経細胞で表現されている〜 背側前頭皮質内側部は報酬期待-行動の情報処理における起始点である〜
１． 発表者：

近藤 将史（東京大学大学院医学系研究科機能生物学専攻 助教）
松崎 政紀（東京大学大学院医学系研究科機能生物学専攻 教授）

２．発表のポイント：◆マウス背側前頭皮質内側部（注 1）が報酬およびそれに関連する感覚入力を強く表現しており，感覚入力に応じた報酬期待行動を作り出す場所であることを明らかにした．
◆大脳皮質神経活動をカルシウムイメージングによって計測し，その解析に数理モデルを用いることで，ある感覚入力から『近い将来，報酬が期待できるかできないか』の判断が背側前頭皮質内側部の異なる神経細胞集団の活動に表現されていることを示した．
◆背側前頭皮質内側部には，報酬期待が小さい感覚入力や，報酬がもらえなかった次の試行で強く活動する神経細胞が多数あることもわかり，将来の報酬の見積りと行動の結びつきに異常があると考えられるギャンブル依存や精神疾患の大脳皮質の神経回路機構の解明につながることが期待される．
３．発表概要：大脳皮質は運動・感覚・意思決定など種々の情報処理に重要な役割を果たします．動物が外界からの感覚入力と過去の経験にもとづいて適切な運動出力を行うときの『報酬』の脳内表現を知ることは，いわゆる意思決定の神経基盤を探る上で非常に重要です．これまで皮質以外の脳領域が報酬を強く反映することがわかっていましたが，背側大脳皮質の報酬に関する情報処理はあまり調べられていませんでした．
東京大学大学院医学系研究科機能生物学専攻生理学講座細胞分子生理学分野の近藤 将史 助
教，松崎 政紀 教授（理化学研究所脳神経科学研究センター脳機能動態学連携研究チーム・チームリーダー）らは，マウス背側前頭皮質内側部（注 1）が報酬の有無とそれに関連する感覚表現において他の皮質領域より特異な場所であり，『報酬がもらえないだろう』や『報酬がもらえなかった』ことを強く表現することを，光遺伝学（注 2）による神経活動操作，広域カルシウムイメージング（注 3）および 2 光子カルシウムイメージング（注 4）によって明らかにしました．本研究成果は，報酬が関わる複雑な意思決定機構を紐解く上での基礎的知見となることが期待されます．
本研究成果は，日本時間 2 月 3 日に Cell Reports（オンライン版）にて発表されました．
４．発表内容：外界からの感覚入力を手がかりに，適切な運動を行うことは動物が生きていく上で非常に重要な機能です．どのような感覚情報が生存に重要かを決めるひとつの要素が，水や食物などの報酬です．これを端的に示す現象が『パブロフの犬』に代表される古典的条件づけです．ベルを鳴らしてからエサを与えることを何度もイヌに対して行うと，やがてイヌはベルの音を聞いただけで，エサがもらえることを察知して唾液を分泌するようになります．報酬信号の処理は大脳皮質以外の場所で，一方で報酬を予期させる感覚入力は大脳皮質で主に処理されていることがこれまでにわかっています．しかし『パブロフの犬』のように感覚入力と報酬を結びつけるのに重要な脳部位がどこなのかは諸説あり，はっきりとはわかっていませんでした．今回私たちはマウス大脳皮質，特に前頭皮質における感覚入力と報酬を結びつける神経活動を検証しました．
この研究では，感覚入力と報酬の関係を明確にするため，マウスに音（感覚入力）と水（報酬）による古典的条件づけを行いました．音は二種類（A,B）あり，各試行どちらかの音がランダムに提示されます．音 A が提示されたときはその後高い確率（70％）で水が与えられ，音 Bが提示されたときは低い確率（30％）で水が与えられます．この条件づけが十分なされた後では，マウスは音が鳴るとその後与えられる水を期待した行動（予測リッキング）を示すようになります．予測リッキングの頻度は音 B よりも音 A が鳴ったときにより高くなりました（図1）．
報酬の有無と，報酬確率と結びついた音が前頭皮質を含む大脳皮質全域の神経活動として表現されているかを調べるため，広域カルシウムイメージング法で観察しました．すると大脳皮質各領域は，運動野以外の領域でも，マウスがリッキングするたびに強く，似たような活動を示しました．
しかし，領域間の活動の因果性を検証するグレンジャー因果解析を行ったところ，背側前頭皮質内側部が他の前頭皮質活動の起始点となっていることが示唆されました．
この結果を踏まえて，前頭皮質各領域の神経活動を光遺伝学的に抑制したときに予測リッキングの頻度が変化するか調べました．同様の条件づけ学習を行ったマウスにおいて，音 A が鳴る試行で背側前頭皮質内側部の活動を抑制しても予測リッキング頻度は変わりませんでしたが，音 B が鳴る試行のときに活動を抑制すると音 A と同程度に予測リッキング頻度を上昇させました（図 2）．他の前頭皮質領域の活動を抑制してもこのような予測リッキングの変化は見られませんでした．これは，『報酬が大きく期待できない刺激に対しては期待行動をとらない』
ことに，背側前頭皮質内側部が強く寄与することを示しています．
背側前頭皮質内側部が報酬とそれに関連する感覚入力の統合に重要な役割を持っている可能性が以上の結果から示唆されたので，次にひとつひとつの神経細胞の活動を詳細に調べるた
め，各前頭皮質領域において 2 光子カルシウムイメージングを行いました（図 3）．得られた神経活動は広域カルシウムイメージングの結果と同様に，マウスがリッキングを行うたびに強く活動しており，一見するとほとんどすべての神経細胞がリッキングを表現しているようでした．そこで『報酬の有無』と『報酬を予期させる音』を表現する神経活動を取り出すために，線形回帰モデルを用いたエンコーディングモデル（注 5）を構築して解析を行いました．その結果，報酬の有無によって活動が変わる細胞は前頭皮質に広く存在していた一方で，背側前頭皮質内側部には報酬を予期させる音によって活動を変える細胞が多く存在することがわかりました（図 3C）．さらに前頭皮質全体の各神経細胞の活動をエンコーディングモデルから得られた説明変数の重みの時間パターンをもとに分類したところ，音 A/B のどちらが提示されたのか，現在の試行での報酬が与えられたかどうか，ひとつ前の試行での報酬が与えられたかどうかは，ある特定の細胞集団が活動するかしないかではなく，異なる細胞集団がそれぞれに応じて活動することで表現されていることがわかりました（図 3D）．
これらの結果から背側前頭皮質の内側部が『報酬とそれに関連づいた感覚入力』を強く統合する領域であることがわかり，他の前頭皮質領域の活動に対する起始点であるだけでなく，『高い報酬が期待できるときは前もって行動し，報酬がそれほど期待できない刺激に対してはほどほどにしておく』といった合理的とも捉えられる行動を作り出すのに重要な役割を持っていることが示唆されました．今回の研究成果は今後，報酬を得るためになんらかの特定の行動を適切に行う，または行わないで行動コストを節約するといった，より複雑な意思決定を可能とする神経基盤を理解するうえでの一助になることが期待されます．

５．発表雑誌：
雑誌名：「Cell Reports」2021 年 2 月 2 日
論文タイトル：Neuronal representations of reward-predicting cues and outcome history withmovement in the frontal cortex
著者：Masashi Kondo and Masanori Matsuzaki
DOI 番号：https://doi.org/10.1016/j.celrep.2021.108704
アブストラクト URL：https://www.cell.com/cell-reports/fulltext/S2211-1247(21)00017-6
６．問い合わせ先：東京大学大学院医学系研究科機能生物学専攻 細胞分子生理学分野 教授 松崎 政紀

Tel: 03−5841−3471 E-mail: physiol2＠m.u-tokyo.ac.jp
７．用語解説：（注 1）背側前頭皮質内側部
マウス背側大脳皮質を上から見て，最も前かつ内側に位置する領域．二次運動野の一部にあたり，運動の企画や行動の価値，動物のおかれた状態に応じて活動する細胞が存在することが知られている．

（注 2）光遺伝学
チャネルロドプシン-2 やハロロドプシンなどの光活性化タンパク質を神経細胞に導入し，これに光を照射（光刺激）することによって，神経細胞を興奮または抑制する方法．
（注 3）広域カルシウムイメージング
カルシウム感受性蛍光タンパク質を発現する遺伝子改変マウスと，低倍率かつ明るい光学系を持つ顕微鏡を組み合わせることで，頭蓋骨ごしに背側大脳皮質ほぼ全体の神経活動を可視化する技術．2 光子カルシウムイメージングと比較して，細胞ひとつひとつの活動を見分けることはできないが，領域ごとの平均活動が計測可能である．
（注 4）2 光子カルシウムイメージング
長波長・超短パルスレーザーを用いる 2 光子顕微鏡によるカルシウムイメージング．この方法は空間解像度に優れており，ひとつひとつの神経細胞の活動を観察することができる．
（注 5）エンコーディングモデル
外部環境のできごと（音提示，報酬など）や運動（目や口の動きなど）を変数として，神経活動を説明する数理モデル．計算されたモデルから各変数の重みを読み取ることで，ある神経細胞の活動がどのような変数によってよく説明されるか調べることができる．

８．添付資料：

音提示

A

遅延
70%

音 A (6 kHz)

50%

報酬

試行間隔
(6–10 s)

水あり
試行間隔
(6–10 s)

30%
30%
水なし

音 B (10 kHz)

50%

70%

0B

音A

1.5
2
音提示からの時間（秒）報酬 (70%)

音B
試行

試行

1124

1107-1012345665544

Licks/sLicks/s

報酬 (30%)321-1012345-101234532100-10123

音からの時間 (秒)45

音からの時間 (秒)図 1 報酬確率つき古典的条件づけ中のマウス行動
A：報酬確率つき古典的条件づけの 1 試行の概略図．ふたつの音（音 A＝6 kHz，または音 B＝10 kHz）のうちどちらかがランダムに提示され（1.5 秒），その後 0.5 秒の遅延期間ののち，音 A が提示されたときは 70％の確率で，音 B が提示されたときは 30％の確率で報酬である水が与えられる．B：マウスの報酬期待行動．上，音 A/B ごとのリッキング（1 点＝1 リッキング）．下図，音 A/B ごとの平均リッキ
ング頻度．グレー部分は音が提示されている期間に対応する．8 日間ほど訓練を行うと，マウスは報酬が与えられるタイミングに先立って，報酬を期待する行動（予測リッキング）を示す．

音AB集光レンズ

6 or 10 kHz

Licks/s

A 青色レーザー

音B

66442

200-101

時間 (秒)

2-101

時間 (秒)

2図 2 報酬期待行動（予測リッキング）に対する背側前頭皮質内側部の関与
A：青色光によって照射部位の大半の神経活動を抑制できる遺伝子改変マウスを用いて，古典的条件づけ中に背側前頭皮質内側部の活動を抑制した． B：神経活動を抑制したときの予測リッキングの変化．赤線・青線が音 A または音 B で光照射を行ったときのリッキング，黒線は光照射を行わなかったときのリッキングに対応する．光照射を行っていないとき（音 A/B の黒線同士）は報酬確率が高い音 A で予測リッキング頻度が高いが，背側前頭皮質内側部の神経活動を抑制すると予測リッキングの頻度は音によらず同程度になった（音 A 赤線 vs.音 B 青線）．

A2 光子レーザー(1100 nm)
25x Obj.
WD 4 mm
NA 1.00

B

dmFrC

dlFrC

M1

6 or 10 kHz

mPFC
dmFrC
dlFrC
M1

C

mPFC

音の種類

dmFrC
16%

スケールバー 100 µm

D
19%
2%

『音A』反応細胞『音B』反応細胞0

重み0.2-0.1

重み0-20246

現在の報酬に反応する細胞
過去の報酬に反応する細胞

音・報酬どちらにも反応する細胞
音・報酬どちらにも反応しない細胞

現在の報酬46-0.2

重み002

46-2024602

4600.2重み

重み-0.10-2

図32

重み0.2-2

過去の報酬

音に反応する細胞

33%

0『報酬なし』反応細胞
0『報酬あり』反応細胞

29%

-2

02

4

音からの時間（s）

6-2

音からの時間（s）

背側前頭皮質内側部の神経細胞は異なる細胞集団が報酬の有無，報酬を期待させる音を表現する
A：課題中の神経活動を 2 光子カルシウムイメージング法で観察した．B：左，観察部位．背側前頭皮質内側部（dmFrC），背側前頭皮質外側部（dlFrC），一次運動野（M1），内側前頭前野（mPFC）の神経活動を計測した．右，各領域の蛍光像．白い部分ひとつひとつが神経細胞． C：背側前頭皮質内側部の音および現在，過去の報酬を表現する細胞の割合． D：代表的な活動パターンをもつ 6 つのサブグループ．報酬と，報酬を予期させる音の情報は異なる神経細胞集団が活動することで表現されていた．線
形回帰によるエンコーディングモデルの説明変数に対する重みで表示した（緑線：『音』変数の重み，赤線：『現在の報酬』変数の重み，橙線：『過去の報酬』変数の重み）．上段，音の種類で活動を変える神経細胞サブグループの平均活動パターン．中・下段，現在および 1 試行前に報酬が得られた（得られなかった）かどうかで活動を変える神経細胞サブグループの平均活動パターン．今回用いたエンコーディ
ングモデルでは，重みが負のときに『音 B が鳴った』または『報酬が与えられなかった』ことに対応する．従って右側の，重みが負のパターンを持つ細胞は音 B が鳴ったとき，または報酬がなかったときに活動していたことになる．