【誤訳訂正書】
【提出日】平成28年1月15日(2016.1.15)
【誤訳訂正１】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
神経系の適応行動を生成することに関する方法であって、
１つまたは複数の入力刺激を受信することと、
出力信号を生成するために、前記受信した入力刺激を処理することと、ここにおいて、前記処理は、利得制御ユニットによって生成された第１の神経調節信号で調節され、
少なくとも２つの相違する神経系の活動モード間で切り換えるための前記利得制御ユニットを制御することと、ここにおいて、前記利得制御ユニットによって生成された前記第１の神経調節信号のタイミング又はレベルのうち少なくとも１つは、前記神経系の活動モードに基づいて決定される、を具備する方法。
【請求項２】
前記利得制御ユニットは、青斑核（ＬＣ）の振る舞いをモデルにしている、請求項１の方法。
【請求項３】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードと、を具備する、請求項１の方法。
【請求項４】
前記トニックモードは、調査の期間と関連され、前記フェージックモードは搾取の期間と関連される、請求項３の方法。
【請求項５】
前記利得制御ユニットを前記制御することは、報酬評価ユニットで前記利得制御ユニットを制御することを具備する、請求項１の方法。
【請求項６】
前記報酬評価ユニットは、眼窩前頭皮質（ＯＦＣ）の振る舞いをモデルにしている、請求項５の方法。
【請求項７】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードとを具備し、前記報酬評価ユニットは、
前記利得制御ユニットの前記フェージックモードを駆動するためのフェージックニューロングループと、
前記利得制御ユニットの前記トニックモードを駆動するためのトニックニューロングループと、を備え、ここにおいて、前記トニックニューロングループは、興奮性ニューロングループと抑制性ニューロングループとを具備する、請求項５の方法。
【請求項８】
実際の報酬を決定することと、
前記受信した入力刺激の少なくとも１つに基づいて予測された報酬を決定することと、
前記予測された報酬と前記実際の報酬との間の差異に基づいて前記トニックニューロングループ又は前記フェージックニューロングループのシナプス可塑性を調節すること、を更に具備する請求項７の方法。
【請求項９】
前記予測された報酬を決定することは、一時的な相違（ＴＤ）の学習アルゴリズムを使用すること、を具備する請求項８の方法。
【請求項１０】
前記調節することは、前記報酬評価ユニットに第２の神経調節信号を出力することを具備し、前記第２の神経調節信号のレベルは、前記予測された報酬と前記実際の報酬との間の前記差異に基づいている、請求項８の方法。
【請求項１１】
前記第２の神経調節信号の高いレベルは、シナプスの増強作用が関連性を記憶できるようにし、前記第２の神経調節信号の低いレベルは、前記関連性を忘れさせるためにシナプスの減衰をもたらす、請求項１０の方法。
【請求項１２】
前記第２の神経調節信号の高いレベルは、
前記トニックニューロングループの前記抑制性ニューロングループと前記興奮性ニューロングループとの間のシナプスを強化し、その結果前記トニックニューロングループが、抑制され、前記利得制御ユニットの前記トニックモードを駆動しない、及び
前記フェージックニューロングループと関連したシナプスを強化し、その結果前記フェージックニューロングループは、前記利得制御ユニットの前記フェージックモードを駆動する、請求項１０の方法。
【請求項１３】
前記トニックニーロングループが前記利得制御ユニットの前記トニックモードを駆動し、および前記フェージックニューロングループが前記利得制御ユニットのフェージックモードを駆動しないように、前記第２の神経調節信号の低いレベルは、前記抑制性ニューロングループと前記興奮性ニューロングループとの間の、および前記フェージックニューロングループに関連した前記強化されたシナプスの両者を弱める、請求項１２の方法。
【請求項１４】
前記実際の及び予測された報酬を決定し、前記第２の神経調節信号を出力することは、予測エラー計算ユニットによって行われる、請求項１０の方法。
【請求項１５】
前記予測エラー計算ユニットは、腹側被蓋野（ＶＴＡ）の振る舞いをモデルにしている、請求項１４の方法。
【請求項１６】
前記第２の神経調節信号は、ドーパミン（ＤＡ）信号を具備する、請求項１０の方法。
【請求項１７】
前記第１の神経調節信号は、ノルエピネフリン（ＮＥ）信号を具備する、請求項１の方法。
【請求項１８】
出力ユニットに前記出力信号を送信することを更に具備し、
ここにおいて、前記出力ユニットは、運動ニューロンの振る舞いをモデルにしている、請求項１の方法。
【請求項１９】
神経系の適応行動を生成することに関する装置であって、
処理システムは、
１つまたは複数の入力刺激を受信し、
出力信号を生成するために、前記受信した入力刺激を処理し、ここにおいて、前記処理は、利得制御ユニットによって生成された第１の神経調節信号で調節され、
少なくとも２つの相違する神経系の活動モード間で切り換えるための前記利得制御ユニットを制御するよう構成され、ここにおいて、前記利得制御ユニットによって生成された前記第１の神経調節信号のタイミング又はレベルのうち少なくとも１つは、前記神経系の活動モードに基づいて決定される、を具備する装置。
【請求項２０】
前記利得制御ユニットは、青斑核（ＬＣ）の振る舞いをモデルにしている、請求項１９の装置。
【請求項２１】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードと、を具備する、請求項１９の装置。
【請求項２２】
前記トニックモードは、調査の期間と関連され、前記フェージックモードは搾取の期間と関連される、請求項２１の装置。
【請求項２３】
前記処理システムは、報酬評価ユニットで前記利得制御ユニットを制御するよう構成される、請求項１９の装置。
【請求項２４】
前記報酬評価ユニットは、眼窩前頭皮質（ＯＦＣ）の振る舞いをモデルにしている、請求項２３の装置。
【請求項２５】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードとを具備し、前記報酬評価ユニットは、
前記利得制御ユニットの前記フェージックモードを駆動するためのフェージックニューロングループと、
前記利得制御ユニットの前記トニックモードを駆動するためのトニックニューロングループと、を備え、ここにおいて、前記トニックニューロングループは、興奮性ニューロングループと抑制性ニューロングループとを具備する、請求項２３の装置。
【請求項２６】
前記処理システムは、
前記受信した入力刺激のうち少なくとも１つに基づいて実際の報酬を決定し、
前記受信した入力刺激の少なくとも１つに基づいて予測された報酬を決定し、
前記予測された報酬と前記実際の報酬との間の差異に基づいて前記トニックニューロングループ又は前記フェージックニューロングループのシナプス可塑性を調節するよう、更に構成される請求項２５の装置。
【請求項２７】
前記処理システムは、一時的な相違（ＴＤ）の学習アルゴリズムを用いて、前記予測された報酬を決定するよう構成される、請求項２６の装置。
【請求項２８】
前記処理システムは、前記報酬評価ユニットに第２の神経調節信号を出力することによって、前記シナプス可塑性を調節し、前記第２の神経調節信号のレベルは、前記予測された報酬と前記実際の報酬との間の前記差異に基づいている、請求項２６の装置。
【請求項２９】
前記第２の神経調節信号の高いレベルは、シナプスの増強作用が関連性を記憶できるようにし、前記第２の神経調節信号の低いレベルは、前記関連性を忘れさせるためにシナプスの減衰を招く、請求項２８の装置。
【請求項３０】
前記第２の神経調節信号の高いレベルは、
前記トニックニューロングループの前記抑制性ニューロングループと前記興奮性ニューロングループとの間のシナプスを強化し、その結果前記トニックニューロングループが、抑制され、前記利得制御ユニットの前記トニックモードを駆動しない、及び
前記フェージックニューロングループに関連したシナプスを強化し、その結果前記フェージックニューロングループは、前記利得制御ユニットの前記フェージックモードを駆動する、請求項２８の装置。
【請求項３１】
前記トニックニーロングループが前記利得制御ユニットの前記トニックモードを駆動し、および前記フェージックニューロングループが前記利得制御ユニットのフェージックモードを駆動しないように、前記第２の神経調節信号の低いレベルは、前記抑制性ニューロングループと前記興奮性ニューロングループとの間の、および前記フェージックニューロングループに関連した前記強化されたシナプスの両者を弱める、請求項３０の装置。
【請求項３２】
前記処理システムは、予測エラー計算ユニットを具備し、ここにおいて、前記実際の及び予測された報酬を前記決定すること、並びに前記第２の神経調節信号を出力することは、前記予測エラー計算ユニットによって行われる、請求項２８の装置。
【請求項３３】
前記予測エラー計算ユニットは、腹側被蓋野（ＶＴＡ）の振る舞いをモデルにしている、請求項３２の装置。
【請求項３４】
前記第２の神経調節信号は、ドーパミン（ＤＡ）信号を具備する、請求項２８の装置。
【請求項３５】
前記第１の神経調節信号は、ノルエピネフリン（ＮＥ）信号を具備する、請求項１９の装置。
【請求項３６】
前記処理システムは、出力ユニットに前記出力信号を送信するよう更に構成され、ここにおいて、前記出力ユニットは、運動ニューロンの振る舞いをモデルにしている、請求項１９の装置。
【請求項３７】
１つまたは複数の入力刺激を受信する手段と、
出力信号を生成するために、前記受信した入力刺激を処理する手段と、ここにおいて、前記処理する手段は、利得制御ユニットによって生成された第１の神経調節信号で調節され、
少なくとも２つの相違する神経系の活動モード間で切り換えるための前記利得制御ユニットを制御する手段と、ここにおいて、前記利得制御ユニットによって生成された前記第１の神経調節信号のタイミング又はレベルのうちの少なくとも１つは、前記神経系の活動モードに基づいて決定される、を具備する神経系の適応行動を生成することに関する装置。
【請求項３８】
前記利得制御ユニットは、青斑核（ＬＣ）の振る舞いをモデルにしている、請求項３７の装置。
【請求項３９】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードと、を具備する、請求項３７の装置。
【請求項４０】
前記トニックモードは、調査の期間と関連され、前記フェージックモードは搾取の期間と関連される、請求項３９の装置。
【請求項４１】
前記利得制御ユニットを前記制御する手段は、報酬評価ユニットで前記利得制御ユニットを制御するよう構成される、請求項３７の装置。
【請求項４２】
前記報酬評価ユニットは、眼窩前頭皮質（ＯＦＣ）の振る舞いをモデルにしている、請求項４１の装置。
【請求項４３】
前記少なくとも２つの相違する神経系の活動モードは、トニックモードとフェージックモードとを具備し、前記報酬評価ユニットは、
前記利得制御ユニットの前記フェージックモードを駆動するためのフェージックニューロングループと、
前記利得制御ユニットの前記トニックモードを駆動するためのトニックニューロングループと、を備え、ここにおいて、前記トニックニューロングループは、興奮性ニューロングループと抑制性ニューロングループとを具備する、請求項４１の装置。
【請求項４４】
実際の報酬を決定する手段と、
前記受信した入力刺激の少なくとも１つに基づいて予測された報酬を決定する手段と、
前記予測された報酬と前記実際の報酬との間の差異に基づいて前記トニックニューロングループ又は前記フェージックニューロングループのシナプス可塑性を調節する手段、を更に具備する請求項４３の装置。
【請求項４５】
前記予測された報酬を決定する前記手段は、一時的な相違（ＴＤ）の学習アルゴリズムを使用するように構成される請求項４４の装置。
【請求項４６】
調節する前記手段は、前記報酬評価ユニットに第２の神経調節信号を出力するよう構成され、前記第２の神経調節信号のレベルは、前記予測された報酬と前記実際の報酬との間の前記差異に基づいている、請求項４４の装置。
【請求項４７】
前記第２の神経調節信号の高いレベルは、シナプスの増強作用が関連性を記憶できるようにし、前記第２の神経調節信号の低いレベルは、前記関連性を忘れさせるためにシナプスの減衰を招く、請求項４６の装置。
【請求項４８】
前記第２の神経調節信号の高いレベルは、
前記トニックニューロングループの前記抑制性ニューロングループと前記興奮性ニューロングループとの間のシナプスを強化し、その結果前記トニックニューロングループは、抑制され、前記利得制御ユニットの前記トニックモードを駆動しない、及び
前記フェージックニューロングループに関連したシナプスを強化し、その結果前記フェージックニューロングループは、前記利得制御ユニットの前記フェージックモードを駆動する、請求項４６の装置。
【請求項４９】
前記トニックニーロングループが前記利得制御ユニットの前記トニックモードを駆動し、および前記フェージックニューロングループが前記利得制御ユニットのフェージックモードを駆動しないように、前記第２の神経調節信号の低いレベルは、前記抑制性ニューロングループと前記興奮性ニューロングループとの間の、および前記フェージックニューロングループに関連した前記強化されたシナプスの両者を弱める、請求項４８の装置。
【請求項５０】
予測エラー計算ユニットは、前記実際の及び予測された報酬を決定する手段を具備し、前記第２の神経調節信号を出力するよう構成される、請求項４６の装置。
【請求項５１】
前記予測エラー計算ユニットは、腹側被蓋野（ＶＴＡ）の振る舞いをモデルにしている、請求項５０の装置。
【請求項５２】
前記第２の神経調節信号は、ドーパミン（ＤＡ）信号を具備する、請求項４６の装置。
【請求項５３】
前記第１の神経調節信号は、ノルエピネフリン（ＮＥ）信号を具備する、請求項３７の装置。
【請求項５４】
出力ユニットに前記出力信号を送信する手段を更に具備し、
ここにおいて、前記出力ユニットは、運動ニューロンの振る舞いをモデルにしている、請求項３７の装置。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０００４
【訂正方法】変更
【訂正の内容】
【０００４】
[0004]本開示のある観点は、一般的に、適応行動の神経系のメカニズムに基づいてシステムを使用すること、履行すること、及び供給することに関する。システムは、神経修飾物質の媒介したメタ（変化する）可塑性（塑性）及び／または利得制御に基づき得る。このシステムで、状況的刺激（sensory cues）と運動活動との間での柔軟な関連性が生成され、これは化学物質（agent）に変化する環境において効率よく報酬を獲得させることができる。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】００３１
【訂正方法】変更
【訂正の内容】
【００３１】
[0033]本開示のある観点は、適用行動をサポートするために知られた鍵となる脳の部位に注目した哺乳類中の神経生理学の研究に基づく。動物が、今までのあらゆる知識なしで新しい環境に晒された時、動物はランダムに見える方法でそれら環境を探索する傾向がある。報酬または罰の現れの中の環境からのフィードバックを通じて、動物は、特別の状況的刺激と探索運動活動との間に潜在する報酬の偶然性を学ぶことが出来る。結果として、動物は、罰を最小化する一方で、報酬を最大限にするため最も大きな報酬に結びつく感覚運動の関連性を開拓する戦略を作ることの最適決定を発達させ始める。一旦環境が探索されると、仮に環境が比較的安定性を留めている場合には、動物は習得した知識に基づいて報酬の搾取的な決定を作る傾向がある。これら２つの異なった行動は、”調査”及び”搾取”として、又は集合的に”狩猟採集の行動”として言及される。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】００３２
【訂正方法】変更
【訂正の内容】
【００３２】
[0034]この戦略は、罰を回避するだけでなく、最も見返りのある知覚運動の関連性に注目することによってエネルギーをも保存する。食糧を収穫する状況において、動物は、調査はよりエネルギーを消費するが、調査を通じて食糧を見つける方法を学ぶ。従って、十分な食料源が見つかるとすぐに、動物は、その食料源が十分に得られた時に、新しい探検の行動が必要となるまでエネルギーを保存するための努力の中で同様のオプションを開拓するであろう。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】００３４
【訂正方法】変更
【訂正の内容】
【００３４】
[0036]本開示のある観点は、ＯＦＣのこの機能のモデルを供給する。本開示のある観点は、哺乳類の神経調節性のシステム上で特別の強調を有する、適応行動の神経系のメカニズムに基づいたシステムを供給する。化学物質（agent）に、変化する環境中で効率よく報酬を収穫させることができる運動動作及び状況的刺激の間での柔軟な関連性に関する方法が、以下記載されている。第１に、新しい知覚運動の関連性は、報酬の知覚運動に関連する予備知識がない時、早急に形成される。第２に、一旦新しい知覚運動の関連性が学習されると、他の行動の相対的な排除に対して開発がなされる。第３に、報酬源が十分に枯渇した時、又は知覚運動の関連性が、もはやいくつかの理由に関する報酬ではない時、化学物質は新しい報酬を受けられる行動戦略を発見するため、早急に調査モードに切り替え得、それまでに学習した関連性が減少する。行動のレベルの上の調査及び搾取モードは、シナプスのレベルで神経修飾物質によって媒介される神経系の活動の異なるモデルによって役立たれる。報酬の偶然性は、報酬が媒介される可塑性を通じて学習される。
【誤訳訂正６】
【訂正対象書類名】明細書
【訂正対象項目名】００３７
【訂正方法】変更
【訂正の内容】
【００３７】
[0039]本開示のある観点は、ノルエピネフリン（ＮＥ）及びドーパミン（ＤＡ）の神経調節性のシステムによって媒介された適応行動のモデルを作る。これは、情報の伝達の中で（利得制御モジュール２１２と表された）ＬＣからＮＥが利得をどう調節するか、（予測エラー計算モジュール２１６と表された）ＶＴＡからＤＡが学習ルールをどう調節するか、（報酬評価モジュール２１４と表された）ＯＦＣが学習ルールによってどう影響をうけるか、及び調査と搾取モードとの間でＬＣがスイッチをどう駆動するか、を含む。本開示は、ＮＥ及びＤＡを介して神経調節（神経調整）を記載しているが、他の神経修飾物質は、システム２００中の追加のＮＥ及び／又はＤＡとなり得、又は置換され得る。
【誤訳訂正７】
【訂正対象書類名】明細書
【訂正対象項目名】００４２
【訂正方法】変更
【訂正の内容】
【００４２】
[0044]関連モジュール  
このモジュール中において、感覚の信号のエンコードモジュール２０４からの情報は、さらに象徴的な表現に処理される。例えば、視覚系のシステム中において、これは、腹側皮質視覚路として考慮され得、そこで、ＩＴの中での視覚の象徴の表現に革新的な増大及び特徴抽出に関するＶ１→Ｖ４→ＩＴ（つまり、下位の一時的な皮質(ＩＴ)への腹側皮質視覚路の中の外線の視覚皮質領域４（Ｖ４）への（線条皮質又はＶ１としても知られる））からの情報が流れる。同様に、聴覚系のシステム中では、関連モジュール２０８は、内耳細胞のチェーン、及び内耳の神経核セルなどと見なされ得る。このモジュールの出力において、興奮性のニューロンの異なるグループは、異なる刺激のクラスを示す。典型的には、関連モジュール２０８は、興奮性のニューロンから接続されるある抑制性の介在ニューロンを有し、勝者が全てを得る競争又は楽に勝者が全てを得る競争を作成するために興奮性のグループに抑制性のフィードバックを送信する。
【誤訳訂正８】
【訂正対象書類名】明細書
【訂正対象項目名】００４３
【訂正方法】変更
【訂正の内容】
【００４３】
[0045]出力／運動モジュール  
関連モジュール２０８からの情報は、出力／運動モジュール２１０に送信される。仮に信号が効率的に送信された場合、反応を引き起こすほどに充分強く出力／運動モジュール２１０を駆動し、エンコードされた運動活動が実行される。出力／運動モジュール２１０に対する関連モジュール２０８の特定の解析（mapping）は、可塑性に基づいた報酬に依存する（subject to）。  
利得制御（青斑核）モジュール
[0046]哺乳類動物の神経調節性のシステム中で、青斑核（ＬＣ）が、他の脳の領域に神経伝達物質とするノルエピネフリン（ＮＥ）を解放する脳の部位であることが発見された。ＮＥの存在の中で、ＮＥの調節された領域のニューロンは、増加したシナプスの伝達効果を示す。そのような増加した効果の１つの履行は、図３に示すように、シナプスの重みを変化させることである。図３において、前シナプスのニューロン３０２と後のシナプシスのニューロン３０４との間でシナプス３０６が、ＮＥを使用する３０８で調節される。３０８でのＮＥの調節(mNE(t))は、調節されたシナプスの重み（ｗ）を生み出すためのシナプス３０６の元の重み（ｗ）を調節するために使用される。言い換えれば、ＮＥはスケール（つまり、利得）を調節する。
【誤訳訂正９】
【訂正対象書類名】明細書
【訂正対象項目名】００４６
【訂正方法】変更
【訂正の内容】
【００４６】
[0049]高トニックモードは、動物が調査モードの中にいる時に相当し、これにおいて、動物は活動的で注意散漫になりやすい。ある観点に関して、高トニックモードは、見境なく出力／運動モジュール２１０を駆動するための関連モジュール２０８の効能を向上させ、図５Ｂの中で示されるように、システムは、あらゆる入力(例えば刺激ＡとＢ及びＣのすべてに)に応答するであろう。図５Ｂは、図示される３つの刺激の各々の期間の高いＮＥレベル及び４つのスパイクを示す。
【誤訳訂正１０】
【訂正対象書類名】明細書
【訂正対象項目名】００４７
【訂正方法】変更
【訂正の内容】
【００４７】
[0050]最後に、フェージックモードは、動物が搾取モードの中にいる時に相当する。ある観点に関して、フェージックモードは、図５Ｃに示されるように、効率的にタスクの詳細に単に反応するシステムを注目し、入力を報いる、多数の中からたった１つの感覚運動の関連の効能を向上させるだろう。図５Ｃは、刺激Ｂ又はＣ（刺激当たりのたった１つのスパイク及び低いＮＥレベル）のいずれよりも刺激Ａ（つまり、４つのスパイク及び高いＮＥレベル）に対するより強い反応を示す。  
報酬評価（眼窩前頭皮質）モジュール
[0051]一般的に、ＬＣのニューロンのフェージック及びトニックモードは、調査及び搾取のそれぞれと関連がある。しかしながら、重大な問題は、ＬＣが行動の２つのモード間にいつ移行しなければならないのか決定することに関して依然として残存している。
【誤訳訂正１１】
【訂正対象書類名】明細書
【訂正対象項目名】００４８
【訂正方法】変更
【訂正の内容】
【００４８】
[0052]増えている証拠は、ＯＦＣが報酬を評価する中で重大な役割を果たしていることを主張する。例えば、Roesch M.R.およびC.R. Olsonの「霊長類前頭皮質中の報酬価値及び動機づけと関係付けられたニューロンの活動（Neuronal Activity Related to Reward Value and Motivation in Primate Frontal Cortex,”）」サイエンス304:307-10(2004)；Wallis J.E.及びMiller E.Kの「報酬優先課題の実行の間での霊長類の側面及び眼窩前前頭皮質の中のニューロンの活動（Neuronal activity in primate dorsolateral and orbital prefrontal cortex during performance of a reward preference task,）」ヨーロッパJ.Neurosci.18(7):2069-81 (2003);及びCampos, M等の「繰り返された自由選択の間の眼窩前頭な皮質の活動（Orbitofrontal cortical activity during repeated free choice,）」J Neurophysiol.107:12:3246-55(2012)を見てほしい。また、ＬＣへの求心性神経の解剖学研究は、ＯＦＣがＬＣへの強い執着した計画を送ることを示した。例えば、Aston-Jones ,G等の「猿の中の眼窩前前頭皮質から青斑核までの顕著な投影。（“Prominent projections from the orbital prefrontal cortex to the locus coeruleus in monkey,”）」Soc.Neurosci.Abstr.28:86-9(2002)及びZhu ,Y等の「順行性の追跡によって明らかにされた猿の中の眼窩前頭皮質から青斑核までの投影。（Projection from the orbitofrontal cortex to the locus coeruleus in monkeys revealed by anterograde tracing,）」Soc.Neurosci.Abstr.30:211.3(2004)を見てほしい。従って、報酬評価モジュール２１４は、ＬＣ興奮活動のフェージック及びトニックモードの間の選択を駆動するための尽力の中で眼窩前頭皮質(ＯＦＣ)をエミュレートする。
【誤訳訂正１２】
【訂正対象書類名】明細書
【訂正対象項目名】００５２
【訂正方法】変更
【訂正の内容】
【００５２】
[0056]これらのシナプシスは適応性があり、ドーパミン（ＤＡ）を介して付加的な神経伝達物質の入力を受信する。ＤＡは、予測エラー計算モジュール２１６から解放される。(高、中、及び低レベルの中での)ＤＡの解放は、メタ可塑性のルールに基づいてこれらシナプシスを強くするか又は弱め、それはそれぞれＬＣをフェージック又はトニックモードへと駆動させるためにＯＦＣを推奨する。更に詳述された記載は、下記のメタ可塑性セクションで見つけることができる。  
予測エラー(腹側被蓋野（ＶＴＡ）)モジュール
[0057]Schultz, W., et al.,等の「予測と報酬の神経系の基質（“A Neural Substrate of Prediction and Reward,”）」(Science275:1593-1598(1997)中で議論されるように、別のタイプの神経調節性のシステムとして、腹側被蓋領域（ＶＴＡ）は、環境から受け取られた報酬に応答する脳部位であり、他の脳エリアに従って神経伝達物質としてのリリース・ドーパミン（ＤＡ）を解放することがさらに分かった。ＶＴＡのニューロンの活動は、環境から受け取られた実際の報酬と予測値との間の差異を反映すると考えられる。
【誤訳訂正１３】
【訂正対象書類名】明細書
【訂正対象項目名】００５３
【訂正方法】変更
【訂正の内容】
【００５３】
[0058]本開示のある観点に関して、ＶＴＡのニューロン(予測エラー計算モジュール２１６としてモデル化されたニューロン)は、予測された報酬としてＯＦＣのニューロン(報酬評価モジュール２１４としてモデル化されたニューロン)から入力を受け取り、実際の環境上の報酬として報酬エンコードモジュール２０６からの入力を受け取る。これら２つの報酬値の間の違いは、ＯＦＣ(つまり、報酬評価モジュール２１４)へのＶＴＡのＤＡ信号入力のレベルを設定する。実際の報酬が、期待値(つまり、予測された報酬)より高い場合、ＶＴＡのニューロンは高いＤＡレベルに帰着する、それらのベースラインより高い活動を生成する。実際の報酬が、期待されたより低い時、ＶＴＡのニューロンは、低いＤＡレベルに帰着する、それらのベースラインよりも低い活動を有する。期待値が、実際の報酬と一致する時、ＶＴＡのニューロンは、中間のＤＡレベルを出力する。
【誤訳訂正１４】
【訂正対象書類名】明細書
【訂正対象項目名】００５５
【訂正方法】変更
【訂正の内容】
【００５５】
[0061]前及び後のシナプスのニューロンの活動は、Izhikevich E.M.の「ＳＴＤＰ及びドーパミン・シグナリングの関係を通じて末端部分の報酬問題を解決する（“Solving the Distal Reward Problem through Linkage of STDP and Dopamine Signaling,”）」Cerebral Cortex 17:2443-52(2007)中のスキームに似た適任性の痕跡（証拠）をもたらす。しかし、メタ可塑性のルールで、増強作用ｐ（ｔ）と抑うつｄ（ｔ）との痕跡は、以下の方程式（１）の中で別々に表現され、ここで適任性の痕跡は時間とともに減衰する。  
【数１】
2015529916.tif 000001
【誤訳訂正１５】
【訂正対象書類名】明細書
【訂正対象項目名】００６１
【訂正方法】変更
【訂正の内容】
【００６１】
[0067]この学習のルールを用いて、システムが、予期されない報酬に導くアクションを調査する時、高いＤＡ信号はＯＦＣのフェージックニューロンに報いられた入力間での接続を強化するであろう。高いＤＡ信号は、さらに興奮性トニックグループと抑制性のトニックグループとの間のシナプシスをも強くする。図８Ａの中で示されるように、学習の後では、ＯＦＣトニックニューロンが禁じられ、ＬＣトニック活動をもはや駆動してはならない一方で、ＯＦＣのフェージックニューロンは活気を有し得、出力／運動モジュール２１０を特に同じ入力に応答させるためにＬＣのフェージックの活動を駆動し得る。従って、システムは、搾取モードへと切り替えられる。
【誤訳訂正１６】
【訂正対象書類名】明細書
【訂正対象項目名】００６２
【訂正方法】変更
【訂正の内容】
【００６２】
[0068]この後、ＯＦＣ（報酬評価モジュール２１４）が更新されており、この特定の入力に関する報酬を予想することを期待するけれども、ＶＴＡ(予測誤差計算モジュール２１６)は中間のＤＡレベルを生成するであろう。予想された報酬が生じる限り、シナプシスの２つのグループは変化しないかもしれない。ＯＦＣは、フェージックの活動でＬＣ(利得制御モジュール２１２)を駆動し続け得、また図８Ｂの中で示されるように、システム２００は搾取モードの中にとどまる。図８Ｂは現状を示す。
【誤訳訂正１７】
【訂正対象書類名】明細書
【訂正対象項目名】００６３
【訂正方法】変更
【訂正の内容】
【００６３】
[0069]しかしながら、報酬がこの入力から急に取り上げられた時、実際の報酬に対しての予期された報酬中のミスマッチは、ＶＴＡからの低いＤＡ信号を生成し、それによって、逆転学習を引き起こすために以前強くなったシナプスを弱める。この後に、図８Ｃ中で示されるように、ＯＦＣトニックニューロンは、積極的にＬＣトニック活動を駆動し得る。一方で、ＯＦＣのフェージックの神経系はし得ない。出力／運動モジュール２１０は、あらゆる入力に応答し得る。また、システム２００は、新しい報酬の偶然性を得るために調査モードに切り替えられ得る。このように、ＤＡは、シナプスの基準重量（つまり、学習ルール）を調節する。
【誤訳訂正１８】
【訂正対象書類名】明細書
【訂正対象項目名】００６４
【訂正方法】変更
【訂正の内容】
【００６４】
[0070]したがって、ここに示されたＤＡ依存のメタ可塑性のルールは、（１）感覚の入力と報酬との間の迅速な関連性；及び（２）陳腐化した報酬と感覚の入力の逆転学習との間での迅速な分離、を可能にする。Izhikevichの中の以前の報酬学習スキームと比較して、本開示の観点は、報酬信号の変化により速く適合する。ＤＡ依存のメタ可塑性は、さらにフェージックかトニックのいずれかモードで利得制御モジュール２１２を駆動する報酬評価モジュール２１４を変更させることで、調査と搾取との間の行動の切り替えを仲介する。したがって、行動の切り替えは、報酬評価モジュール２１４がどれくらいよく報酬を予言することができるかに依存する。システムは、一旦報酬の偶然性が学習されると、環境を調査し続けるための、又は陳腐化した報酬を偶然に開発し続けるための、エネルギーを無駄にはしないため、エネルギー消費量的に、ここに示された学習ルールは、より効率的である。
【誤訳訂正１９】
【訂正対象書類名】明細書
【訂正対象項目名】００６６
【訂正方法】変更
【訂正の内容】
【００６６】
[0072]同様に、新しい報酬の偶然性が確立されるとすぐに、システム２００での搾取モードへの切り替は、消費エネルギーを最少化する期間は、システムが報酬を最大化できるようにする。同様に、エネルギー消費量的に、本開示の観点は、より効率的である。
【誤訳訂正２０】
【訂正対象書類名】明細書
【訂正対象項目名】００６９
【訂正方法】変更
【訂正の内容】
【００６９】
[0076]９０６で、利得制御ユニットは、少なくとも２つの異なる神経系の活動モードの間で切り替わるように制御され得る。第１の神経調節信号（利得制御ユニットによって生成された）の第１のタイミング又はレベルの少なくとも１つが、神経系の動作モードに基づいて決定される。ある観点に従えば、少なくとも２つの異なる神経系の活動モードは、トニックモードおよびフェージックモードを具備する。トニックモードは、調査の期間に関係し得、またフェージックモードは、搾取の期間に関係し得る。