精神経誌（2012）114 巻 2 号

108

特集 精神疾患の病態研究の最前線

遅延報酬の割引に対するセロトニンの効果⎜⎜精神疾患の病態理解への応用⎜⎜
岡本泰昌 ，岡田山下

剛 ，志々田英尚 ，田中一宏 ，福本 拓治 ，町野 彰彦 ，沙織 ，銅谷

賢治 ，山脇成人

われわれは，日常生活において，報酬の多寡と報酬が得られるまでの遅延時間を勘案し様々な行動選択を行っている．遅延報酬割引は，後で得られる報酬の価値を決定する理論的神経科学の概念である．遅延報酬割引が急峻な場合には，目先の報酬をより選択することで定義される衝動的な選択がおこる．われわれの行動学的および神経画像的データは，ヒトにおいて大脳皮質‑基底核回路における線条体の機能修飾を介して，セロトニンが遅延報酬割引率を調整することを明らかにした．すなわち，われわれが提示したセロトニンの働きは，選択的セロトニン再取り込み阻害薬が有効とされるうつ病，パニック障害，強迫性障害といった精神障害でみられる衝動性の一面を示しているとも考えられる．これらの所見を確認するためには，遅延報酬パラダイムを用いたこれらの精神障害を対象とした検証が必要である．
索引用語：精神疾患，遅延割引，報酬，線条体，セロトニン

は じ め に「人気のレストランの行列に並ぶか，隣の普通行動実験の結果を紹介し，これらの研究結果の精神疾患への応用の可能性についてまとめる．の店で空腹を満たすか」「渋滞でいつ来るかわからないバスを待ち続けるか，歩いて駅に向かう

強化学習理論か」など，今すぐに目的や欲求が満たされないと

動物行動学や心理学の分野では，えさや水の獲きに，どれだけ辛抱強く待ち続けるか，あきらめ

得は報酬，痛みなどは罰あるいは負の報酬であり，て別の手段を取るかは日常生活でよく直面する問ある行動の結果として，報酬が得られる，あるい題である．すなわち，われわれは報酬の多寡と報は罰が回避できると，その行動が「強化」される酬が得られるまでの遅延時間を勘案し様々な行動という原理で行動の学習過程が説明されている ．

選択を行っている．そこで，本稿では，「遅延報Sutton と Bartoは，行動心理学の「強化」の酬の割引に対するセロトニンの効果⎜⎜精神疾患概念をヒントに，探索的な行動学習の理論としての病態理解への応用⎜⎜」と題して，その理論的「強化学習」を 1980年代に定式化した．その後，背景として強化学習理論，動物実験の結果からこ強化学習は最適制御理論との融合により理論的なれまで明らかになっている遅延報酬の割引率とセ解析とロボット制御などへの応用が進められた．

ロトニンの関連性について述べた上で，われわれ

そして今日，さらに強化学習の理論は，人間や動がヒトを対象として行ってきた脳機能画像研究や物の行動学習の脳機構に関しても，その神経回路

著者所属：1）広島大学大学院精神神経医科学
2）大阪大学社会経済研究所
3）沖縄科学技術大学院大学神経計算ユニット

特集

岡本･他：遅延報酬の割引に対するセロトニンの効果

109と物質系の複雑な振る舞いを理解するためのモデ

見て有利な行動が選択される．γが小さいと将来ルとして認識されるに至っている．の報酬に関する価値が急激に割引かれ，近視眼的すなわち，強化学習は，行動の良し悪しを評価な報酬に基づく行動を取るようになる．それに対する報酬信号をもとに，長い目で見てより多くのして，γが大きいと将来の報酬に関する価値は緩報酬を得られるような行動則を探索的に学習する

やかに割引かれるため，長期的な報酬予測が可能理論的枠組みである．その特徴は，将来的にどれとなると考えられる．つまり遅延報酬価値の割引くらいの報酬が得られるかを予測する「報酬予定数は，どれぐらい先の報酬まで考慮に入れて行測」と，その予測値の変化を元に行動を変化させ動を選択するかという，報酬予測の時間スケールる「行動強化」という 2つの学習が，ともに報酬を決めるパラメータである（図 1）．の予測誤差から与えられる「TD 誤差」をもとに行われるという点である．
時刻 t，状態 s での報酬予測 V は次のように定義される．

われわれは日常的に，周囲の状況や現在の行動から，即座に得られる結果と長期的な結果の双方の予測をもとに行動を選択している．利益や損失，快楽や苦しみなどの「報酬」は，行動の結果直ち（t））＝E［r（t＋1）＋γr（t＋2）＋γ r（t＋V（s3）＋…］に得られるものと将来的に遅れをもって与えられるものとがあるが，その双方を正しく予測し，そ（E ：期待値，r ：報酬，γ：割引定数）の適切なバランスをもとに行動を選ぶことは人間

このとき，将来得られる報酬の価値は遠い将来の知的機能にとって非常に重要である．例えば，のものほど割引いて評価されると仮定し，式には将来的に大きな報酬が得られる行動よりも，即時割引定数 γ（0＜γ＜1）が含まれている．つまり的に少ない報酬を得られる行動を頻繁に選んでし報酬を予測し，将来得られる報酬の総額を最大にまう「衝動的選択」は，短期と長期の報酬予測のするような行動ルールを学習するという問題となバランスが崩れることと考えることができる．

る．またこの問題は，「現在の予測」と「1歩前このような衝動的選択を引き起こす損傷部位との予測」との差である報酬予測誤差（TD 誤差）

しては，前頭葉（内側部，眼窩面皮質），側坐核（t）＝r（t）＋γV（s（t））−V（s（t−1））
δなどが先行研究において報告されている．まがゼロになるような行動ルールを学習するというた神経伝達物質のひとつであるセロトニンと衝動問題になる．

的選択の関係が，多くの先行研究から報告されてドパミンニューロンが報酬予測誤差を表現している．このように衝動的選択に関わる脳部位いることを示した Schultz らの研究をはじめ ，や物質は明らかになりつつあるが，それらがどの脳活動イメージングを用いて大脳基底核の一部でようなメカニズムで衝動的選択を引き起こすのか，ある線条体が報酬予測誤差に関わることを示した

また脳部位と神経伝達物質系の関係などいまだ不Oʼ
Dohertyらの研究や ，数理モデルに基づく多明な点が多い．

くの先行研究によって，報酬に基づく行動学習や行動選択の脳のメカニズムが明らかになりつつあ

そこでわれわれはこれらの点を検証するために以下に示す検討を行った．

る．
異なる時間スケールでの遅延報酬の割引率とセロトニン

報酬予測に関わる脳機構

上記の報酬予測の式において，将来の報酬の価

まず，異なる時間スケールでの報酬予測に関わ値をどのくらい速く割引いて評価するかを制御しる脳機構を明らかにするために，長期的な報酬のているのが，割引定数 γである．γの設定によ予測と短期的な報酬の予測がそれぞれ必要な行動

り目先の報酬にとらわれた行動や，より長期的に学習課題を新たに考案し，ヒトが予測を行ってい精神経誌（2012）114 巻 2 号

110

図 1 報酬予測の時間スケール
価値関数 V は，将来得られると予測される報酬の総量で，ある時刻 t，状態 s において V（s（t））＝E［r（t＋1）＋γr（t＋2）＋γ r（t＋3）＋…］（E ：期 待 値，r：報 酬）と 定 義 さ れ る．一 方，割 引 定 数 γ（0＜γ＜1）は，どれぐらい先の報酬まで予測するかを示し，γが大きければ遠い将来に得られる報酬を考慮した評価が可能となり，γが小さければすぐに得られる報酬のみを考慮した評価となる．すなわち，γが大きければ目先の損失があっても，将来の報酬が見通せれば，V（s（t））はプラスとなり「苦労してでもやる」であろうし，目先の報酬があっても，将来の損失が見通せれば，V（s（t））はマイナスとなり，「危ないことはやらない」という選択になる．逆に γが小さければ将来の報酬があっても，目先の損失のみしか見えずが，V（s（t））はマイナスとなり「やらないほうがまし」であろうし，将来の損失があっても，目先の報酬のみしかみえず，V（s（t））はプラスとなり，「ついやってしまう」という選択になる．

る と き の 脳 活 動 を，機 能 的 磁 気 共 鳴 画 像 法

頭葉の外側部や頭頂葉，大脳基底核，小脳，また（fMRI）を用いて測定した ．

脳幹でセロトニンを伝達する細胞を多く含む縫線

20人の被験者は，M RI 装置の中でボタン押し核に活動の増加が見られた．

課題を行った．画面上に提示される 3種類の図形

次に，脳の各部位がどのような時間スケールにに対して，左右それぞれのボタンに応じた報酬と，おける報酬予測に関わるかを調べるために，被験次に表示される図形が決定される．被験者はこの者の脳活動データを強化学習理論に基づいて解析ルールを試行錯誤によって学習し，最終的によりした（図 2）．その結果，前頭葉と側頭葉の間に多くの報酬を得られるような行動を取得する．短位置する島皮質の腹側部から背側部に向けて，短期報酬予測条件では，被験者は単純に各図形に対い時間スケールから長い時間スケールでの報酬予して，より多くの報酬金額を与えるボタンを押す測値に相関する脳活動のマップを明らかにした．

ことを学習する．一方，長期報酬予測条件においまた大脳基底核の入力部にあたる線条体では，そて大きな正の報酬が得られる図形を呼び出すには，の腹側部から背側部に向けて，短い時間スケールまず小さな負の報酬を受けるボタンを選ばねばなから長い時間スケールでの報酬予測誤差に相関すらない．つまり，目先の報酬にとらわれていては，る活動のマップを明らかにした．この結果は，島長い目で見て最適な行動を取ることができない．

皮質と線条体の間に部位対応連絡が存在するといこの 2つの条件で被験者に交互に学習を行ってもう解剖学的所見とも一致していた．今回の実験結らい，その脳活動を比 した．

果は，これまで情動的な機能を司るとされていた

その結果，短期報酬予測条件では前頭葉の下部線条体腹側部を含むネットワークが短期的な報酬や大脳基底核の一部に，長期報酬予測条件では前予測に関わり，より高次な認知的機能を司るとさ特集

岡本･他：遅延報酬の割引に対するセロトニンの効果

111

図 2 強化学習理論モデルによる脳活動データ解析
各被験者が実際に経験した図形と報酬の時系列を，強化学習のプログラムに疑似体験させ，報酬予測の学習を行わせた．この際，異なる時間スケールの報酬予測は脳の異なるネットワークが関わるという仮説に基づき，予測の時間スケールを決める割引定数 γを 6通りに変えて学習を行わせた．このようにして学習プログラムが推定した各被験者にとっての報酬の予測値 V（s（t））と予測誤差信号（δ）と，各被験者の脳活動データとの相関を調べた．この
解析において，それぞれの信号と高い相関の見られた部位は，その信号の計算に関わる可能性が高いことを示している．
下段右側は，1回のトライアル中の V（s（t））の経時変化を表し，下段左側はセッション中の複数のトライアルのV（s（t））の経時変化を表している．

れてきた線条体背側部を含むネットワークが長期混合飲料を 1日に一種類飲み，3日間にわたりそ的な報酬予測に関わるという，並列ネットワークれぞれのセロトニンレベルで実験タスクを行った．の時間スケールでの機能分化を示唆している．

この実験は，被験者のみならず実験者も，その被験者がその日どの条件か知らないという二重盲検

セロトニンが線条体を通る並列ネットワークの活動を制御する
異なる時間スケールでの報酬予測を行う並列ネ法によって行われた．被験者はすぐに得られる小さい報酬と，時間はかかるが大きい報酬の選択課題を行った．

ットワークヘのセロトニンの影響を調べるために，1試行中の報酬予測に関する脳活動を捉えるた

セロトニンの前駆物質であるトリプトファンの経めに，先の実験と同様に強化学習に基づいた脳活口摂取により，被験者のセロトニンレベルを人為動データ解析を行った．被験者の実際の行動デー的に調整した状態で，報酬予測課題を行わせ，そタから推定した報酬予測と fM RI データの相関のときの行動と脳活動を測定した ．

を調べた．コントロール状態では線条体に，腹側12人の被験者は，セロトニン前駆物質のトリ部から背側部にかけて短期から長期の報酬予測にプトファンが不足，通常，過剰な状態のアミノ酸関わる活動が見られた．この結果は，先の実験の精神経誌（2012）114 巻 2 号

112

図 3 各トリプトファン条件下で線条体の活性部位が異なる結果とよく一致した．それに対し，セロトニンレ

トファン欠乏条件は，過剰条件よりも高い確率でベルが低い状態では，線条体の腹側部のみに短期小さい報酬を選択しており，対照条件よりも傾向の報酬予測に関わる活動が見られ，セロトニンレ差であるが，高い確率で小さい報酬を選択していベルが高い状態では，線条体の背側部のみに長期ることが示唆された．また，割引定数 γについの報酬予測に関わる活動が見られた（図 3）．こても，トリプトファン欠乏条件の γは，過剰条の結果は，脳の中に，異なる時間スケールで報酬件と対照条件にくらべて，低い結果となった．

予測を行う線条体を経由する並列ネットワークがこれらの働きの脳内制御機構として銅谷らは，存在し，セロトニンが線条体の活動を調節するこ

ラットを用いて同様の遅延報酬課題遂行中の背側とでそれらのネットワークの活動を調節している

縫線核によるセロトニン流量の増加 やセロトニというメカニズムを示唆しており，セロトニンがン神経系の発火の亢進 が，遅延報酬を待つこと報酬予測の時間スケールパラメータを調節するとに関連していることを明らかにしている．すなわ

いうわれわれの仮説を支持するものである．

ち，ヒトにおいても遅延報酬に対する 割引 機

上記のセロトニン操作を行った fM RI 実験では，行動データにおいてセロトニンによる条件の能はセロトニンによって調節を受けるものと考えられた．

差がみられなかった．そこで，われわれは，上記の実験と同様のトリプトファン操作をした際の条精神疾患への応用の可能性

件間の選択行動の差異を検討するため行動実験を一方で，精神疾患のなかにもセロトニンが関与行った ．なお，本実験では，報酬はジュースでする疾患がある．うつ病は選択的セロトニン再取はなく金銭的な報酬とした．その結果，小さな報り込み阻害薬が治療上有効であり，脳機能画像研

酬の選択率において条件の効果がみられ，トリプ

究においても，うつ病におけるセロトニン神経系

特集

岡本･他：遅延報酬の割引に対するセロトニンの効果の機能異常が明らかとなってきている．

113

1865, 2007

われわれは，うつ病の機能仮説として強化学習

2）Bizot, J., Le Bihan, C., Puech, A.J., et al.:の理論の中で非常に重要な要素である報酬予測のSerotonin and tolerance to delay of reward in rats.

メカニズムに障害をきたしていることを推測している．すなわち，うつ病の患者ではこの強化学習において将来の報酬を予測していく機能が障害されているため，「将来の報酬への見通し」が立たPsychopharmacology（Berl）, 146; 400‑412, 1999
3）Cardinal,R.N.,Pennicott,D.R.,Sugathapala,C.
L.,et al.: Impulsive choice induced in rats by lesions ofthe nucleus accumbens core. Science, 292; 2499 ‑2501,
2001

ず，じっとしていること（行動抑制）や短絡的な

4）Doya,K.: M etalearning,neuromodulation,and行動（自殺，衝動行為）を最適行動として選択す

emotion. Aﬀective M inds（ed. by Hatano, G., et al.）.

る．このような，うつ病の報酬予測障害仮説

Elsevier Science B. V., Amsterdam, p.101‑104, 2000
5）Doya, K.: Modulators of decision making.

については，いまだうつ病症例での結果は得ておらず，今後のさらなる研究が必要である．

Nature Neurosci, 11; 410‑416, 20086）M eyer,J.H.,Houle,S.,Sagrati,S.,et al.: Brain

他方，短絡的な衝動行為に関連してアルコール依存症，病的賭博，オピオイド乱用，コカイン乱用，注意欠陥多動性障害（ADHD），喫煙者など，衝動性を特徴とする疾患の患者では遅延による割引率の度合いが強い，すなわち同じ遅延の場合にserotonin transporter binding potential measured withcarbon 11‑labeled DASB positron emission tomography: eﬀects of major depressive episodes and severityof dysfunctional attitudes. Arch Gen Psychiatry, 61;
1271‑1279, 2004

価値をより小さく見積もることが示されている ．

7）M iyazaki,K.,Miyazaki,K.W.,Doya,K.: Acti-

さらに強迫性障害の病態に関するループと今回示

vation of dorsal raphe serotonin neurons underlies

した短期小報酬ループがほとんど重なっており，waiting for delayed rewards. J Neurosci, 31; 469 ‑479,

衝動的な強迫行為との関連が推定されている ．

20118）M iyazaki,K.W.,M iyazaki,K.,Doya,K.: Acti-お わ り に今回，衝動性に関わる脳部位と脳内物質の知見を，数理モデルを軸につなぎ合わせ実験的に検証

vation of the central serotonergic system in response todelayed but not omitted rewards. Eur J Neurosci, 33;
153‑160, 20119）M obini, S., Chiang, T.J., Ho, M .Y., et al.:

した結果を紹介した．昨今，多くの神経科学の研Eﬀects of central 5‑hydroxytryptamine depletion on究者たちが，意志決定，情動，注意，意識などとsensitivity on delayed and probabilistic reinforcement.

いった高次脳機能へ関心を寄せてきている．精神Psychopharmacology（Berl）, 152; 390‑397, 2000

疾患を，これらの高次脳機能を理解するための障10）M obini, S., Body, S., Ho, M.Y., et al.: Eﬀects

害モデルとしてとらえ，そのシステムを解明してof lesions of the orbitoﬂ‑ontal cortex on sensitivity to

いくことは脳を知る上で非常に意義があると思わ

delayed and probabilistic reinforcement. Psychophar-れる．その上で，これらの脳機能の解明が精神疾

macology（Berl）, 160; 290‑298, 2002

患で苦しむ人々に福音となることを期待してやまない．

11）Oʼ
Doherty,J.P.,Hampton,A.,Kim,H.: Model‑based fM RI and its application to reward learning anddecision making. Ann N Y Acad Sci,1104; 35‑53,2007
12）岡本泰昌 : 強迫性障害の薬物療法とセロトニン・文献1）Bhagwagar,Z.,M urthy,N.,Selvaraj,S.,et al.:5‑HTT binding in recovered depressed patients andドパミン仮説．精神経誌，113; 36‑44, 201113）志々田一宏，岡本泰昌 : 衝動性の神経科学的基盤．
精神科治療学，21; 807‑815, 2006

healthy volunteers: a positron emission tomography14）Schweighofer, N., Bertin, M ., Shishida, K., etstudy with［11C］DASB. Am J Psychiatry, 164; 1858‑al.: Low‑serotonin levels increase delayed reward dis-Powered by TCPDF (www.tcpdf.org)

精神経誌（2012）114 巻 2 号

114
counting in humans. J Neurosci, 28; 4528‑4532, 2008
15）Sutton, R.S., Barto, A,G,: Reinforcement
Learning. MIT Press, Cambridge, 1998

al.: Serotonin diﬀerentially regulates short‑and long‑term prediction of rewards in the ventral and dorsalstriatum. PLoS ONE, 2; e1333, 200716）Schultz, W., Dayan, P., M ontague, P.R.: A19）Thorndike, E.L.: Animal intelligence: An ex-

neural substrate of prediction and reward.Science,275;

perimental study of the associative processes in ani-1593‑1599, 1997

mals. Psychological M onographs, 2; 1‑109, 1898

17）Tanaka, S.C., Doya, K., Okada, G., et al.:20）Wogar, M .A., Bradshaw, C.M ., Szabadi, E.:

Prediction of immediate and future rewards

Eﬀect of lesions of the ascending 5‑hydroxytryptar-

diﬀerentially recruits cortico‑basal ganglia loops. Nat

ninergic pathways on choice between delayed reinfor-

Neurosci, 7; 887‑893, 2004

cers. Psychopharmacology（Berl）, 111; 239 ‑243, 1993

18）Tanaka, S.C., Schweighofer, N., Asahi, S., etEﬀects of Serotonin on Delay Discounting for Rewards―an Application for Understanding of Pathophysiology in Psychiatric Disorders―Yasumasa OKAMOTO ,Go OKADA ,Kazuhiro SHISHIDA ,Takuji FUKUMOTO ,Akihiko MACHINO ,Hidehisa YAMASHITA ,Saori C TANAKA ,Kenji DOYA ,Shigeto YAMAWAKI
1）Department of Psychiatry and Neurosciences, Hiroshima University2）Institute of Economic Research, Osaka University3）Neural Computational Unit, Okinawa Institute of Science and Technology

In our daily life,we constantly make such choices between actions leading to rewards ofvarious sizes after diﬀerent delays. “Delay discounting”is a theoretical concept in which the“value”of reward R after delay. A steep rate of discounting results in impulsive choice,deﬁned by an abnormally frequent choice of the more immediate reward. Our behavioral andneuroimaging results suggest that serotonin may adjust the rate of delayed reward discounting via the modulation of striatum in cortico‑basal ganglia circuits in human. Our proposedrole of serotonin may explain certain aspects of impulsivity in psychiatric disorders such as
major depression, panic disorder or obsessive‑compulsive disorder, that are known toeﬀectively relieve symptoms by selective serotonin reuptake inhibitors. Future experiments
using delayed reward paradigms could be designed to study impulsivity in these patients.
Authorsʼabstract

Key words: psychiatric disorder, delayed discounting, reward, striatum, serotonin