"ニューラル電気回路であって、複数のニューロン回路およびシナプスと、ここにおいて、前記シナプスの各々は、1ペアの前記ニューロン回路を接続する;前記シナプスの重みを格納する第1のメモリと、同じ重みを格納する第2のメモリと、前記シナプスの各々についての1つのエレメントを備える第3のメモリと;を備え、前記ニューロン回路のペアがスパイクする場合には、前記ニューロン回路のペアを接続するシナプスの重みが前記第2のメモリにおいて更新され、そのシナプスに関連づけられた前記第3のメモリのエレメントは、第1論理状態から第2の論理状態へと切り替えられ、前記第2の論理状態にあった前記第3のメモリのエレメントすべては、ある確率で前記第1の論理状態へと定義された周波数において切り替わり、報酬が生じるとき、前記エレメントが前記第2の論理状態にある場合には、シナプスの前記更新された重みは、前記第2のメモリから前記第1のメモリへとコピーされ、前記エレメントが前記第1の論理状態にある場合には、シナプスの前記重みは、前記第1のメモリから前記第2のメモリへとコピーされて、前記更新された重みを上書きする、ニューラル電気回路。しきい値パルスは、前記第3のメモリの前記エレメントに前記確率で前記第2の論理状態から前記第1の論理状態へと切り替えさせる前記定義された周波数において適用される、請求項1に記載の電気回路。前記第2の論理状態にあった前記第3のメモリの前記エレメントすべては、前記定義された周波数において読み出され、ランダムなビットシーケンスで論理積がとられる、請求項1に記載の電気回路。前記第3のメモリは、スピントルク移送ランダムアクセスメモリSTT-RAMを備える、請求項1に記載の電気回路。前記第3のメモリは、動的ランダムアクセスメモリDRAMを備える、請求項1に記載の電気回路。前記定義された周波数は1Hzと等しく、前記確率は、1/2と等しい、請求項1に記載の電気回路。前記第3のメモリの前記エレメントの各々は、情報の1ビットを格納するための1つのN型金属酸化膜半導体NMOSトランジスタを備える、請求項1に記載の電気回路。前記第1の論理状態は、論理0状態を備え、前記第2の論理状態は、論理1状態を備える、請求項1に記載の電気回路。複数のニューロン回路とシナプスを伴うニューラルシステムを実装するための方法であって、前記シナプスの各々は1ペアの前記ニューロン回路を接続し、前記ニューラルシステムの、第1のメモリにおいて、および、第2のメモリにおいて、前記シナプスの重みを格納することと、なお、前記ニューラルシステムの第3のメモリは前記シナプスの各々についての1つのエレメントを備える;前記ニューロン回路のペアがスパイクする場合には、前記ニューロン回路のペアを接続するシナプスの重みを前記第2のメモリにおいて更新し、第1の論理状態から第2の論理状態へとそのシナプスに関連づけられた前記第3のメモリのエレメントを切り替えることと;ある確率で、前記第1の論理状態に、前記第2の論理状態にあった前記第3のメモリのエレメントすべてを、定義された周波数において、切り替えることと;報酬が生じるとき、前記エレメントが前記第2の論理状態にある場合には、前記第2のメモリから前記第1のメモリへとシナプスの前記更新された重みをコピーすることと;前記エレメントが前記第1の論理状態にある場合には、前記第1のメモリから前記第2のメモリへとシナプスの前記重みをコピーして、前記更新された重みを上書きすることと;を備える方法。前記エレメントに前記確率で前記第2の論理状態から前記第1の論理状態へと切り替えさせる前記ニューラルシステムにしきい値パルスを前記定義された周波数において適用すること、をさらに備える請求項9に記載の方法。前記第2の論理状態にあった前記第3のメモリの前記エレメントすべてを定義された前記周波数において読み取ることと、前記読み取られたエレメントとランダムなビットシーケンスとの間で論理オペレーションを実行することと、をさらに備える請求項9に記載の方法。前記第3のメモリは、スピントルク移送ランダムアクセスメモリSTT-RAMを備える、請求項9に記載の方法。前記第3のメモリは、動的ランダムアクセスメモリDRAMを備える、請求項9に記載の方法。前記定義された周波数は1Hzと等しく、前記確率は1/2と等しい、請求項9に記載の方法。前記第3のメモリの前記エレメントの各々は、情報の1ビットを格納するための1つのN型金属酸化膜半導体NMOSトランジスタを備える、請求項9に記載の方法。前記第1の論理状態は、論理0状態を備え、前記第2の論理状態は、論理1状態を備える、請求項9に記載の方法。複数のニューロン回路とシナプスを伴うニューラルシステムを実装するための装置であって、前記シナプスの各々は1ペアの前記ニューロン回路を接続し、前記ニューラルシステムの、第1のメモリにおいて、および、第2のメモリにおいて、前記シナプスの重みを格納するための手段と、なお、前記ニューラルシステムの第3のメモリは前記シナプスの各々についての1つのエレメントを備える;前記ニューロン回路のペアがスパイクする場合には、前記ニューロン回路のペアを接続するシナプスの重みを前記第2のメモリにおいて更新し、第1の論理状態から第2の論理状態へとそのシナプスに関連づけられた前記第3のメモリのエレメントを切り替えるための手段と;ある確率で、前記第1の論理状態に、前記第2の論理状態にあった前記第3のメモリのエレメントすべてを、定義された周波数において、切り替えるための手段と;報酬が生じるとき、前記エレメントが前記第2の論理状態にある場合には、前記第2のメモリから前記第1のメモリへとシナプスの前記更新された重みをコピーするための手段と;前記エレメントが前記第1の論理状態にある場合には、前記第1のメモリから前記第2のメモリへとシナプスの前記重みをコピーして、前記更新された重みを上書きするための手段と;を備える装置。前記エレメントに前記確率で前記第2の論理状態から前記第1の論理状態へと切り替えさせるニューラルシステムにしきい値パルスを、前記定義された周波数において、適用するための手段、をさらに備える請求項17に記載の装置。前記第2の論理状態にあった前記第3のメモリの前記エレメントすべてを、前記定義された周波数において、読み取るための手段と、前記読み取られたエレメントとランダムなビットシーケンスとの間で論理オペレーションを実行するための手段と、をさらに備える請求項17に記載の装置。前記第3のメモリは、スピントルク移送ランダムアクセスメモリSTT-RAMを備える、請求項17に記載の装置。前記第3のメモリは、動的ランダムアクセスメモリDRAMを備える、請求項17に記載の装置。前記定義された周波数は1Hzと等しく、前記確率は1/2と等しい、請求項17に記載の装置。前記第3のメモリの前記エレメントの各々は、情報の1ビットを格納するための1つのN型金属酸化膜半導体NMOSトランジスタを備える、請求項17に記載の装置。前記第1の論理状態は、論理0状態を備え、前記第2の論理状態は、論理1状態を備える、請求項17に記載の装置。複数のニューロン回路とシナプスを伴うニューラルシステムを実装するためのコンピュータプログラム記憶装置であって、前記シナプスの各々は前記ニューロン回路のうち1ペアを接続し、前記装置は格納されたソフトウェア命令を有するコンピュータ可読メモリを備え、前記ソフトウェア命令は、1つまたは複数のプロセッサによって実行可能であり、前記ソフトウェア命令は、前記ニューラルシステムの、第1のメモリにおいて、および、第2のメモリにおいて、前記シナプスの重みを格納するための命令と、なお、前記ニューラルシステムの第3のメモリは前記シナプスの各々についての1つのエレメントを備える;前記ニューロン回路のペアがスパイクする場合には、前記ニューロン回路のペアを接続するシナプスの重みを前記第2のメモリにおいて更新し、第1の論理状態から第2の論理状態へとそのシナプスに関連づけられた前記第3のメモリのエレメントを切り替えるための命令と;ある確率で、前記第1の論理状態に、前記第2の論理状態にあった前記第3のメモリのエレメントすべてを、定義された周波数において、切り替えるための命令と;報酬が生じるとき、前記エレメントが前記第2の論理状態にある場合には、前記第2のメモリから前記第1のメモリへとシナプスの前記更新された重みをコピーするための命令と;前記エレメントが前記第1の論理状態にある場合には、前記第1のメモリから前記第2のメモリへとシナプスの前記重みをコピーして、前記更新された重みを上書きするための命令と;を備える、コンピュータプログラム記憶装置。前記エレメントに前記確率で前記第2の論理状態から前記第1の論理状態へと切り替えさせる前記ニューラルシステムにしきい値パルスを、前記定義された周波数において、適用するための命令、をさらに備える、請求項25に記載のコンピュータプログラム記憶装置。前記第2の論理状態にあった前記第3のメモリの前記エレメントすべてを、前記定義された周波数において、読み取るための命令と、前記読み取られたエレメントとランダムなビットシーケンスとの間で論理オペレーションを実行するための命令と、をさらに備える、請求項25に記載のコンピュータプログラム記憶装置。0018本開示の様々な実施形態は、図面を参照して下記でより詳細に説明される。しかしながら、本開示は、多くの異なる形式で具現化され、また、本開示全体で示されるいずれの具体的な構造または機能に限定されるように解釈されるべきではない。むしろ、これらの実施形態は本開示が徹底で完全であるように提供され、当業者に対して本開示の範囲を十分に伝えるであろう。ここにおける教示に基づいて、当業者は、本開示のいずれの他の実施形態と組み合わせてまたは独立して実装されるにかかわらず、本開示の範囲がここに開示される本開示のいずれの実施形態もカバーするように意図されるということを理解すべきである。例えば、ここにおいて記載される任意の数の実施形態を使用して、本装置は実装され得る、または、本方法は実行され得る。さらに、本開示の範囲は、ここに記載される本開示の様々な実施形態のほかにまたは加えて他の構造、機能、または構造および機能を使用して実行されるこのような装置または方法をカバーするように意図される。ここにおいて開示される本開示のいずれの実施形態も特許請求の範囲の1つまたは複数の構成要素によって具現化され得るということは理解されるべきである。0019用語例示的なは、例、インスタンス、または例証として機能しているを意味するように、ここでは使用されている。例示的としてここに説明されるいずれの実施形態も、他の実施形態よりも好まれるまたは有利であると必ずしも解釈されない。0020特定の実施形態がここにおいて説明されているが、これらの実施形態の多くの変形および置き換えは、本開示の範囲内にある。好まれる実施形態のいくつかの利益および利点が述べられているが、本開示の範囲は、特定の利益、使用、または、目的に限定されるように意図されていない。むしろ、本開示の実施形態は、異なる技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるように意図されており、それらのうちのいくつかは、図面において、そして、好まれる実施形態の下記の説明において、例として説明されている。詳細な説明および図面は、限定というよりはむしろ本開示の単なる説明であり、本開示の範囲は、特許請求の範囲とその均等物によって定義されている。例示的なニューラルシステム0021図1は、本開示のある実施形態による、マルチレベルのニューロンを備える例示的なニューラルシステム100を図示する。ニューラルシステム100は、シナプス接続のネットワーク104を通じてニューロンの別のレベル106に接続されたニューロンのレベル102を備え得る。多くのレベルのニューロンが一般的なニューラルシステムに存在し得るが、簡潔のため、2つのレベルのニューロンのみが図1で図示されている。0022図1で図示されるように、レベル102の各ニューロンは、前のレベル図1では図示されていないの複数のニューロンによって生成され得る入力信号108を受信し得る。信号108は、レベル102のニューロンの入力電流を表わすことがある。この電流は膜電位をチャージするchargeためにニューロン薄膜に蓄積され得る。膜電位がそのしきい値に達するとき、ニューロンは、次のレベルのニューロン例えばレベル106に移送されるべき出力スパイクoutputspikeを発火し、生成し得る。0023図1で図示されるように、1つのレベルのニューロンから別のレベルのニューロンまでのスパイクの移送は、シナプス接続のネットワークあるいは単にシナプス104を通って達成され得る。シナプス104は、レベル102のニューロンから出力信号すなわちスパイクを受け取り、調整可能なシナプスの重みw1i,i1,...,wpi,i1にしたがってこれらの信号をスケーリングしPはレベル102のニューロンとレベル106のニューロンとの間のシナプス接続の合計数である、スケーリングされた信号をレベル106において各ニューロンの入力信号として結合する。レベル106のニューロンすべては、対応する結合された入力信号に基づいて出力スパイク110を生成し得る。出力スパイク110は、そのあとでシナプス接続の別のネットワーク図1で図示されずを使用して、別のレベルのニューロンに移送されることがある。0024ニューラルシステム100は電気回路によってエミュレートされ、イメージとパターン認識、機械学習、およびモーター制御のような広範囲な応用で使用され得る。ニューラルシステム100内の各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値にチャージされたニューロン薄膜は、それによって電流を統合するキャパシタとして実装され得る。例示的な報酬変調されたスパイクタイミング依存可塑性0025トレーニングプロセス中のシナプスネットワーク104のシナプスの重みの調整は、スパイクタイミング依存可塑性STDPに基づくことがある。図2は、STDPに従って、シナプス前部のおよびシナプス後部のスパイクの相対的なタイミングの関数としてシナプスの重みの変化の例示的なグラフ図200を図示する。シナプス前部のニューロンがシナプス後部のニューロンの前に発火する場合には、グラフ200の部分202で図示されるように、対応するシナプス重みが増加され得る。この重みの増加は、シナプスの長期増強LongTermPotentiationLTPと呼ばれることがある。LTPの量はシナプス前部のスパイク時間とシナプス後部のスパイク時間との間の差の関数としておおよそ指数関数的に減少することがある、ということがグラフ部分202から観察されることができる。グラフ200の部分204で図示されるように、発火の逆順序は、シナプスの重みを減らし、シナプスの長期抑圧LTDを引き起こす。0026図2で図示されるように、シナプスの重みトレーニングカーブは非対称のことがある。グラフ部分202によって表されるLTP重み増加は、短いスパイク間インターバルinterspikeintervalsに対してより大きいことがあるが、それはLTD重み増加よりも早く減衰することがある。因果関係ウィンドウ外のLTDの優性は、シナプス後部の活動電位について時間においてランダムにシナプス前部のスパイクが生じるとき、シナプスの弱化をもたらすことがある。したがって、これらのランダムなイベントは、シナプスを呼び起こすことに常に寄与していないことがある。0027図3は、本開示のある実施形態による、遠位報酬を備えたSTDPに基づくシナプスの重み変化の例を図示する。シナプス前部のニューロン302は、シナプス306によってシナプス後部のニューロン304と接続することがある。シナプス306の状態は、2つの変数である、可塑性plasticityに重要な酵素の活性化activationCおよびシナプスの強さすなわち重みSによって説明され得る。0028シナプス前部のニューロン302はスパイク308を発火し、そしてそれは、シナプス後部のニューロン304によって発火された別のスパイク310が続くことがある。このスパイキングイベントのシーケンスの後、シナプス接続306に対する報酬は、シナプス前部のスパイクとシナプス後部のスパイクのシーケンスから1~3秒の間のランダムな遅延を伴ってセル外ドーパミンextracellulardopamineDAのスパイクの形で配信され得る。時間にわたるDAのセル外の濃度の変化は次のように表わされ得る:Dは、DAのセル外の濃度であり、τDは減衰時定数であり、DAtは、ドーパミン作動性のニューロンdopaminergicneuronsのアクティビティによるDAのソースをモデル化する。図3の指数関数的に減衰するカーブ312は、式1によって与えられる、時間にわたるDAのセル外の濃度の変化を図示する。0029時間にわたる変数Cの変化は下記によって与えられ得る:τCは、減衰時定数であり、δtはディラックデルタ関数Diracdeltafunctionである。それぞれ、時間tpre/postに生じるシナプス前部のニューロンおよびシナプス後部のニューロン302-304の発火は、図2で図示される量STDPΔtにより変数Cを変更することがあり、Δt=tpost-tpreは、スパイク間インターバルである。変数Cは、図3のプロット314で図示されるように、時定数τCと共にゼロに指数関数的に減衰することがある。0030カーブ314の減衰率は、遅延報酬delayedrewardに対する可塑性の感度を制御することがある。DAのセル外の濃度によってゲート制御されるとき変数D、変数Cがシナプスの強さSの変化を許容し得るので、カーブ314はシナプス修正のための適格トレースとして作用し得る。したがって、シナプスの強さの変化は次のように与えられる:図3のプロット316は、式3によって定義されたシナプスの強さの変化を図示する。0031前述の報酬変調されたSTDPは、スパイキングニューロンのネットワークにおける行動に関連したシナプス重み変化の学習ルールを表わす。図3によって図示されるように、このスキームは、シナプスごとに複数秒の時定数を伴う、指数関数的に減衰する適格トレースを必要とすることがある。対象のニューラルシステムはしばしば何百万ものシナプスを有するので、シナプスごとに指数関数的に減衰する適格トレースを実装することは、シリコン面積の観点から非常に高価である可能性がある。0032本開示は、適格トレースのより単純なバージョンを提案しており、この修正された適格トレースに基づく2つのハードウェア実装が提示されている。ニューロンのシナプス重みに対する修正された適格トレースの効果がシミュレートされ、このスキームは、従来のすなわち、指数関数的な適格トレースと同様な結果を提供するということが示されている。提案されたハードウェア実装はそれぞれ、スピントルク移送ランダムアクセスメモリSTT-RAMおよび従来のデジタルメモリを利用し、ハードウェアにおいて報酬変調されたSTDPを実装するためのエリア効率のよい手法を実証する。例示的なシミュレーション0033その前部-後部のスパイクのペアprepostspikepairが報酬をトリガするとき、シナプス後部のニューロンがシナプス前部のニューロンに応答する確率を適格トレースベースのメカニズムが増加させるということを示すシミュレーションが本開示では最初に提示される。0034図4は、本開示のある実施形態による、報酬を誘発する確率を増加させることに伴うプロット404、3000以上のトレーニングにわたるシナプスの例示的な重み増加プロット402を図示する。このシミュレーションは、後で詳細に説明される修正された適格トレースが従来のすなわち指数関数的な適格トレースと同様な結果を提供するかをチェックするためのメトリックとして使用され得る。シナプス前部のニューロンAがシナプス後部のニューロンBの前に発火するごとに、報酬はランダムなインターバルの後で配信され得る。このことは、すべての他のシナプスを抑制しながら、ニューロンAおよびニューロンBを接続するシナプスのみを強化し得る。0035図5は、本開示のある実施形態による、適格トレースの例示的な指数関数および階段関数バージョンを図示する。図5のトレース502のような、ハードウェアにおいて指数関数的に減衰する適格トレースを実装することは、シナプスあたりの専用回路を必要とすることがあるので、非常にエリア高価であることがある。いくつかの推定値は、このようなシナプスのアナログ実装は約3,371μm2を必要とし、デジタル実装は、約149μm2を必要とするということを示唆する。ハードウェアにおいて高密度なニューラルアーキテクチャを実装することは、シナプスあたりのエリアバジェットareabudgetが1μm2未満であることを必要とする。0036この要件を達成するために、図5のトレース504で図示されるように、所与の時定数がゼロに降下した後、所与の時定数についてフラットである適格トレースの修正バージョンが本開示では提案されている。このような離散階段関数discretestepfunctionは、適格トレースが指数関数であるべきであるという実験の証拠がないので、起こり得る解法を表し得る。代わりに、実験の証拠は、ドーパミンに対する応答の時定数が15秒よりも一般的に短いということを示唆のみする。適格トレースの例示的なSTT-RAMベースの実装0037スピントルク移送ランダムアクセスメモリSTT-RAMは、磁気トンネル接合magnetictunneljunctionMTJエレメントを通じて流れる電子の回転spinを整列させることにより電流を分極化させることができる、メモリ技術である。MTJエレメントは、図6Aに図示されるように、2つの磁気層とそれらの間のトンネルバリア層tunnelbarrierlayerを備え得る。磁気層のうちの1つはスイッチング層を表わし、他の磁気層はその磁化方向に固定されるpinnedことがある。データ書き込みは、MTJエレメントにおけるスイッチング層の帯磁方向を変更するために、スピン偏極した電流を使用することによって実行され得る。MTJエレメントの結果として生じる抵抗差は情報読み出しに使用され得る。0038複数のSTT-RAMは、しきい値電流パルスで表されるとき、それらの切り替えは、確率的であり得る固有のプロパティを所有する。印加された電流の関数として切り替え確率switchingprobabilityが図6Bで図示されている。このビヘービアは、報酬変調されたSTDPについて図5の修正された適格トレース504を実装するために本開示で生かされている。0039適格トレースの第1の実装は、メモリアレイSを利用して、すべてのシナプスの重み、メモリアレイのクローンcloneS’、およびシナプスあたりのSTT-RAMエレメントRを格納し得る。Siの重みの変更をもたらし得る前部-後部のスパイキングのイベントprepostspikingeventが生じるたびに、Si’は、新たな重みによって更新されSi’=Si’Δw、一方、Siは、一定を保つことができる。さらに、Riは論理1に設定され得る。例えば、周波数1Hzにおいて、しきい値パルスは、全ニューラルネットワークに適用され、論理1状態にあったSTT-RAMすべては、ある確率P=1/2で論理0に切り替えられることがある。そのあとで、重みの変更がSi’に起きた後のN秒、PRi==1=1/2Nである。0040したがって、STT-RAMは、前部-後部のスパイクのペアごとの後に、確率的にゼロに減衰し得る1ビット信号を各シナプスに提供することがある。この分布を生成することは非常にエリア効率がよく、すなわち、1つのN型金属酸化膜半導体oneNegativechannelMetalOxideSemiconductorNMOSトランジスタは、情報の1ビットを格納するためにSTT-RAMエレメントごとに要求され得る。さらに、この解法は電力効率もよい、すなわち、1つのしきい値パルスのみが毎秒要求され得る。0041報酬が生じるとき、各STT-RAMエレメントがチェックされ、次のルールが適用され得る。Ri=1の場合、Si=Si’すなわち、STT-RAMが高い場合、変更を受け入れるでRi=0であり、そうでない場合は、Si’=Siすなわち、STT-RAMが低い場合、バックアップメモリに戻るである。このことは、全メモリアレイは読み出されコピーされる必要があるので、高価なオペレーションであることがある。しかしながら、このことは非常に稀なイベントであるので、システムは、報酬の後すぐに、オーバークロッキングされoverclocked得る。あるいは、このような重みの変更は、たくさんのクロックサイクルにわたって実装され得る。0042このような修正された適格トレースがオリジナルの指数関数的な適格トレースと比較して同様な結果を提供し得るということを確かめるために、図4のシミュレーションは、修正された適格トレースごとに繰り返され、取得された結果が図7で図示されている。シナプス前部のニューロンAおよびシナプス後部のニューロンBのペアを接続するシナプスの重みは時間にわたって増加し、シナプスの重みの最終分布は、図4に図示されたものと非常に類似していることがあるということが再び観測されることができる。0043前述のハードウェア実装スキームの1つの起こり得る問題は、デバイスを切り替える必要があり得るしきい値電流パルスに関するSTT-RAMの固有可変性である。いくつかのシミュレーションデータは、この分散varianceはデバイスのエリアにおける増加を減らすことが期待され、また、臨界電流、パルス幅、磁気トンネリング接合MTJ抵抗およびトンネル磁気抵抗tunnelmagnetoresistanceTMRの関数であり得るということを示唆する。0044それにも関わらず、一部分のデバイスは、確率1/2Nで切り替わり、残りのデバイスは、確率分布、すなわち時定数の分布によって切り替わるということが期待され得る。したがって、2つの極値twoextremes、すなわち確率P=1およびP=0を備えたものにおいて、デバイスの応答を調べることが有益であることがある。0045確率P=1によって切り替わり得るエレメントは、非常に短い適格トレースと関連づけられ、図7で図示された他のニューロンに類似する方法で応答し、そしてそれは、ドーパミンに反応しにくいことがある。切り替え確率P=0を伴うエレメントは、一定して高い適格トレースを有し、この場合もこれらのニューロンはドーパミンに応答しないことがある。このことは、一定に高い適格トレースはドーパミンに関連してSTDPのタイミングに関する何等の情報も伝達しないため、すなわち、ゼロ適格トレースと同等であるため、直感的に理解され得る。適格トレースの例示的なデジタルメモリベースの実装0046報酬変調されたSTDPのための適格トレースの代替ハードウェア実装は、動的ランダムアクセスメモリDynamicRandomAccessMemoryDRAMのような従来のデジタルメモリを利用し得る。このことは、シナプスあたりの単一ビットRiとシナプスの重みのコピーS’を再び維持することによって達成され得る。このシナプスあたりの単一ビットは、シナプスの重みとして同一のメモリマッピングidenticalmemorymappingによって別個のメモリバンクに格納され得る。0047STT-RAM実装と類似して、重みSiの変更をもたらし得る前部-後部のスパイキングのイベントが生じるたびに、Si’は、新たな重みによって更新されSi’=Si’Δw、一方、Siは、一定を保つことができる。さらに、Riは論理1に設定され得る。すべての論理1、すなわち上記のRのメモリバンクの全ページは、例えば1Hzの周波数で読み出され、ランダムなビットシーケンスで論理積をとられlogically‘AND’ed得る。このことは、論理1状態にあったすべてのエレメントがある確率P=1/2で論理0状態に切り替えられ得るということを確実にし得る。そのあとで、重みの変更がSi’に起きた後のN秒、PRi==1=1/2Nである。報酬が生じるとき、上記Rのメモリは、チェックされ、次のルールがシナプスの重みを修正するために適用され得る。Ri=1の場合、Si=Si’でRi=0であり、そうでない場合Si’=Siである。この適格トレースのハードウェア実装スキームは、STT-RAMベースの実装の確率的な切り替えを回避することがある。他方では、この解法は、上記Rのメモリの読み取りおよび書き込みのオーバーヘッドに苦しむことがある。0048図8は、本開示のある実施形態による、図5の修正された適格トレースに基づいて報酬変調されたSTDPを備えたニューラルシステムを実装するための例示的なオペレーション800を図示する。ニューラルシステムは複数のニューロン回路とシナプスを備え、シナプスの各々はニューロン回路のペアを接続し得る。802で、シナプスの重みは、ニューラルシステムの第1のメモリにおいて、および、第2のメモリにおいて格納され、ニューラルシステムの第3のメモリは、シナプスの各々についての1つのメモリエレメントを含む。804で、ニューロン回路のペアがスパイクする場合、ニューロン回路のペアを接続するシナプスの重みは第2のメモリにおいて更新され、そのシナプスに関連づけられた第3のメモリのメモリエレメントは、第1の論理状態から第2の論理状態へと切り替えられ得る。0049806で、第2の論理状態にあった第3のメモリのすべてのメモリエレメントは、ある確率で、第1の論理状態に、定義された周波数において切り替え得る。808で、報酬が生じるとき、メモリエレメントが第2の論理状態にある場合には、シナプスの更新された重みが第2のメモリから第1のメモリへとコピーされ得る。他方で、メモリエレメントが第1の論理状態にある場合、シナプスの重みは、810で、第1のメモリから第2のメモリへと、コピーされ、第2のメモリにおいて更新された重みを上書きし得る。0050要約すると、修正された適格トレースの2つのハードウェア実装が本開示で提案されている。これらのスキームは、最小エリアのペナルティを伴って報酬変調されたSTDPの実装を許容し得る。0051上述された方法の様々なオペレーションは、対応する機能を実行することができる任意の適切な手段によって実行され得る。その手段は、さまざまなハードウェアおよび/またはソフトウェアコンポーネント単数または複数および/またはモジュール単数または複数を含むことができ、限定されてはいないが、回路、特定用途向け回路ASIC、またはプロセッサを含んでいる。一般的に、図面で図示されるオペレーションがある場合には、これらのオペレーションは、同様な番号付けを備えた、対応するカウンターパートのミーンズプラスファンクションコンポーネントmeansplusfunctioncomponentを有し得る。例えば、図8で図示されたオペレーション800は、図8Aで図示されたコンポーネント800Aに対応する。0052ここに使用されているように、用語決定することは、広範囲な動作を包含する。例えば決定することは、計算すること、コンピュートすること、処理すること、導出すること、吟味すること、ルックアップすること、確かめること、および同様なものを含め得る。また決定することは、受信すること、アクセスすること、および同様なものを含め得る。また、決定することは、解決すること、選択すること、選ぶこと、確立すること、および同様なものを含め得る。0053ここにおいて使用されるように、項目リストのうちの少なくとも1つを指すフレーズは、単数の要素を含む、これらの項目の任意の組み合わせを指す。例えば、a,b,またはcのうち少なくとも1つは、a,b,c,a-b,a-c,b-c,およびa-b-cを含むことが意図されている。0054本開示に関連して説明された様々な説明のための論理ブロック、モジュールおよび回路は、汎用プロセッサ、デジタル信号プロセッサDSP、特定用途向け集積回路ASIC、フィールドプログラマブルゲートアレイ信号FPGA、あるいは他のプログラマブル論理デバイスPLD、ディスクリートゲートあるいはトランジスタロジック、ディスクリートハードウェアコンポーネント、あるいは、ここに説明された機能を実行するように設計されたそれらのいずれの組み合わせ、で実装または実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、代替として、プロセッサは、任意の商業的に利用可能なプロセッサ、コントローラ、マイクロコントローラ、あるいはステートマシンであり得る。プロセッサはまた、コンピューティングデバイスの組み合わせ、例えば、DSPとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、DSPコアと併用しての1以上のマイクロプロセッサ、あるいはいずれの他のそのような構成のもの、として実装され得る。0055本開示に関連して説明された方法またはアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されたソフトウェアモジュールにおいて、あるいはその2つの組み合わせにおいて、具現化され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体に存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリRAM、読み出し専用メモリROM、フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、などを含む。ソフトウェアモジュールは、単一の命令または多くの命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラムの中で、そして、複数の記憶媒体にわたって、分散され得る。記憶媒体は、プロセッサが記憶媒体から情報を読み取ることができ、また記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。あるいは、記憶媒体は、プロセッサに一体化され得る。0056ここにおいて開示される方法は、記載される方法を達成するための1以上のステップまたは動作を備える。方法のステップおよび/または動作は、特許請求の範囲から逸脱することなく互いに置き換えられ得る。言いかえれば、ステップまたは動作の具体的な順序が指定されていない限り、具体的なステップおよびまたは動作の順序およびまたは使用は、特許請求の範囲から逸脱することなく修正され得る。0057記載された機能は、ハードウェア、ソフトウェア、ファームウェアあるいはそれらのいずれかの組み合わせにおいて実装され得る。ソフトウェアで実装される場合には、その機能は、コンピュータ可読媒体上に、1つまたは複数の命令として、格納され得る。記憶媒体は、コンピュータによってアクセスされることができる、任意の利用可能な媒体であり得る。例として、また限定されないが、このようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMあるいは他の光学ディスクストレージ、磁気ディスクストレージあるいは他の磁気ストレージデバイス、あるいは、命令あるいはデータ構造の形で所望のプログラムコードを格納または搬送するために使用されることができる、および、コンピュータによってアクセスされることができる、任意の他の媒体も備えることができる。ここで使用されるように、ディスクとディスクは、コンパクトディスク、レーザーディスク、光学ディスク、デジタル汎用ディスク、フロッピーディスクおよびブルーレイディスクを含んでおり、ディスクは、大抵、データを磁気的に再生し、ディスクは、データをレーザーで光学的に再生する。0058したがって、ある実施形態は、ここに提示されるオペレーションを実行するためのコンピュータプログラムプロダクトを備え得る。例えば、このようなコンピュータプログラム記憶装置は、命令が格納されているおよび/または符号化されているコンピュータ可読メモリを備えることができ、その命令は、ここに説明されるオペレーションを実行するように1つまたは複数のプロセッサによって実行可能である。ある実施形態の場合、コンピュータプログラム記憶装置は、コンピュータ可読メモリのためのパッケージング材料を含め得る。0059ソフトウェアまたは命令はまた、送信媒体上で送信され得る。例えば、ソフトウェアがウェブサイト、サーバ、あるいは、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者ラインDSL、あるいは赤外線、無線、およびマイクロ波のような無線技術を使用している他の遠隔ソース、から送信される場合には、そのときには、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、あるいは赤外線、無線、およびマイクロ波のような無線技術は、送信媒体の定義に含まれている。0060さらに、ここにおいて記載される方法および技法を実行するためのモジュールおよび/または他の適切な手段は、ダウンロードされることができる、および/または、そうでなければ、規定どおりに、ユーザ端末および/または基地局によって得られることができる、ということは理解されるべきである。例えば、そのようなデバイスは、ここにおいて記載される方法を実行するための手段の転送を容易にするためにサーバに結合されることができる。あるいは、ここにおいて記載される様々な方法は、記憶手段例えば、RAM、ROM、コンパクトディスクCDまたはフロッピーディスクのような物理記憶媒体等を介して提供されることができるので、ユーザ端末および/または基地局は、デバイスに記憶手段を結合または提供するときに、様々な方法を得ることができる。さらに、デバイスに対してここにおいて記載される方法および技術を提供するためのいずれの他の適切な技術が利用されることができる。0061本願請求項は、上記で図示される厳密な構成およびコンポーネントに限定されていないということは理解されるべきである。様々な修正、変更、および変形は、特許請求の範囲から逸脱することなく、配置、オペレーション、および、上述される方法および装置の詳細において行われ得る。0062前述では本開示の実施形態を対象としているが、本開示の他のおよびさらなる実施形態は、その基本的な範囲から逸脱することなく考案され、その範囲は、特許請求の範囲によって決定される。"