複数の電子ニューロンと、前記複数の電子ニューロンを相互接続させるように構成されたクロスバーアレイを備え、前記クロスバーアレイが、軸索および樹状突起が互いに交差するような複数の軸索および複数の樹状突起と、樹状突起と軸索との間で結合される前記クロスバーアレイの交差点接合部にそれぞれあり、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるようにそれぞれ構成される、複数の電子シナプスを備え、各電子シナプスが、前記電子シナプスの状態を保存するように、および前記電子シナプスの状態を更新するためのメタ情報を保存するように構成されたメモリ素子と、強化学習のために更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの状態を更新するように構成された更新モジュールを備える、システム。前記電子シナプスが、並列に非同期で動作可能である、請求項1に記載のシステム。電子シナプスの状態が、遅延更新信号に基づいて強化学習に従ってプログラムされる、請求項1または2に記載のシステム。各電子シナプスの前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果前記電子シナプスが学習則に従ってセットされ、前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項1、2または3に記載のシステム。各電子シナプスの前記更新モジュールが、前記電子シナプスが更新信号に応答して、スパイクタイミング依存可塑性に基づいて更新されるように、強化学習に基づいて前記電子シナプスを更新するように構成される、請求項1、2または3に記載のシステム。各電子シナプスが、前記メモリ素子がアレイの対角線上の接合部に存在するように、接合部のアレイを形成する複数の樹状突起経路に交差する複数の軸索経路をさらに含む、請求項1ないし5のいずれかに記載のシステム。各電子シナプスが、情報を維持するように構成される3つのメモリ素子と、前記メモリ素子が前記アレイの対角線上の接合部に存在して、Rビット、GビットおよびBビットを提供するように、3×3アレイの9つの接合部を形成する、3つの樹状突起経路と交差する3つの軸索経路とを備える、請求項1ないし6のいずれかに記載のシステム。前記クロスバーアレイが、N2個の電子シナプスを有するNxN個の交差点接合部を備え、各電子シナプスが、R行を並列に読み取り、G列を並列に読み取ってセットし、G行を並列にリセットし、B行を並列に読み取ってセットし、B列を並列にセットし、R行およびR列上のセットされたビットの数を見積もり、報酬信号が到達したときに、グローバル値信号を提供し、前記クロスバーアレイ内のN2個のRビットをすべてセットおよびリセットして電子強化学習するように構成される、請求項7に記載のシステム。各電子シナプスが、読み取り用の2端子、セット用の2端子、およびリセット用の2端子を有する6端子デバイスを備える、請求項1ないし8のいずれかに記載のシステム。各電子シナプスが、スタティックランダムアクセスメモリSRAMをベースとするメモリ素子を備える、請求項1ないし9のいずれかに記載のシステム。各電子シナプスが、ダイナミックランダムアクセスメモリDRAMをベースとするメモリ素子を備える、請求項1ないし9のいずれかに記載のシステム。各電子シナプスが、シナプス前電子ニューロンの軸索とシナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項1ないし11のいずれかに記載のシステム。シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成された電子シナプスを備える装置であって、前記電子シナプスが、前記電子シナプスの状態を保存するように、および前記電子シナプスの前記状態の更新のためメタ情報を保存するように構成されたメモリ素子と、強化学習のために更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの前記状態を更新するように構成された更新モジュールを備える、装置。前記更新モジュールが、学習則に基づく強化学習のために遅延更新信号に応答して、前記メタ情報に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項13に記載の装置。前記更新モジュールが、前記電子シナプスがスパイクタイミング依存可塑性学習則に基づいて更新されるように、電子強化学習に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項13または14に記載の装置。前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果前記電子シナプスが学習則に従ってセットされ、前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項14に記載の装置。前記更新モジュールが、前記電子シナプスを更新するように構成され、その結果、更新信号が時間窓内に受け取られる場合に、前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってセットされ、前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項13ないし16のいずれかに記載の装置。前記電子シナプスが、6端子デバイスを備え、2つの端子が読み取り用、2つの端子がセット用、2つの端子がリセット用である、請求項17に記載の装置。前記電子シナプスが、前記シナプス前電子ニューロンの軸索と前記シナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項13ないし18のいずれかに記載の装置。前記メモリ素子がアレイの対角線上の接合部に存在するように、前記電子シナプスが、接合部のアレイを形成する複数の樹状突起経路に交差する複数の軸索経路をさらに備える、請求項13ないし19のいずれかに記載の装置。コンピュータ上で実行させるために具現化されるコンピュータ可読プログラムコードを有するコンピュータ使用可能媒体を備え、前記コンピュータ可読プログラムコードが、学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成され、前記電子シナプスが、前記シナプス前電子ニューロンと前記シナプス後電子ニューロンとを相互接続させるように構成され、前記電子シナプスの状態を保存するように、および前記電子シナプスの前記状態を更新するためのメタ情報を保存するように構成されたメモリ素子を備える、コンピュータプログラム製品。前記コンピュータ可読プログラムコードが、前記電子シナプスがスパイクタイミング依存可塑性学習則に基づいて更新されるように、電子強化学習に基づいて前記電子シナプスの前記状態を更新するように構成される、請求項21に記載のコンピュータプログラム製品。前記コンピュータ可読プログラムコードが前記電子シナプスを更新するように構成され、その結果、前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、その結果、前記電子シナプスが学習則に従ってセットされ、前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項21に記載のコンピュータプログラム製品。前記コンピュータ可読プログラムコードが、前記電子シナプスを更新するように構成され、その結果、更新信号が時間窓内に受け取られる場合に、前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が、前記電子シナプスを介して前記シナプス前ニューロンから前記シナプス後ニューロンに送られる読み取り信号によって更新され、前記シナプス前ニューロンのスパイク信号に、次いで前記シナプス後ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってセットされ、前記シナプス後ニューロンのスパイク信号に、次いで前記シナプス前ニューロンのスパイク信号に応答して、前記電子シナプスの前記状態が更新され、前記電子シナプスが学習則に従ってリセットされる、請求項21に記載のコンピュータプログラム製品。前記電子シナプスが、6端子デバイスを備え、2つの端子が読み取り用、2つの端子がセット用、2つの端子がリセット用であり、前記電子シナプスが、シナプス前電子ニューロンの軸索とシナプス後電子ニューロンの樹状突起とを相互接続させるように構成される、請求項21に記載のコンピュータプログラム製品。本発明の実施形態は、強化学習するように構成された電子シナプスを提供する。一実施形態において、電子シナプスは、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。電子シナプスは、電子シナプスの状態を保存するように、および電子シナプスの状態を更新するためのメタ情報を保存するように構成されたメモリ素子を備える。電子シナプスは、強化学習のために更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成された更新モジュールをさらに備える。更新モジュールは、学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成される。別の実施形態において、本発明は、複数の電子ニューロン、およびこの複数の電子ニューロンを相互接続させるように構成されたクロスバーアレイを備えるシステムを提供する。クロスバーアレイは、軸索および樹状突起が互いに交差するような複数の軸索および複数の樹状突起を備える。クロスバーアレイは、複数の電子シナプスをさらに備え、各電子シナプスは、樹状突起と軸索との間で結合されるクロスバーアレイの交差点接合部にあり、各電子シナプスシナプスは、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。本発明の好ましい実施形態は、読み取り用の2端子、セット用の2端子、およびリセット用の2端子を有する6端子デバイスを備える空間分割多元接続電子シナプスを提供する。本発明のこれらの特徴、態様および利点、ならびに、他の特徴、態様および利点は、以下の説明、添付された特許請求の範囲および添付図を参照して理解されるであろう。本発明の実施形態は、強化学習RLするように構成された電子シナプスを提供する。本発明の実施形態は、そうしたRLのための電子シナプスを利用して、スパイクタイミング依存可塑性STDPを実施するクロスバーアレイを含むニューロモーフィックおよびシナパトロニックシステムをさらに提供する。ここで、図1を参照すると、本発明の実施形態によるクロスバーアレイを有するニューロモーフィックおよびシナパトロニックシステム10の図が示されている。一例において、クロスバーアレイは、約0.1nmから10μmの範囲にあるピッチを有し得る超高密度クロスバーアレイを備え得る。ニューロモーフィックおよびシナパトロニックシステム10は、複数のニューロン14、16、18および20を有するクロスバーアレイ12を含む。これらのニューロンも本明細書では電子ニューロンと呼ばれる。ニューロン14および16は、軸索ニューロンであり、ニューロン18および20は、樹状突起ニューロンである。軸索経路軸索26および28にそれぞれ接続された出力部22および24を有する軸索ニューロン14および16が示されている。樹状突起経路樹状突起34および36にそれぞれ接続された入力部30および32を有する樹状突起ニューロン18および20が示されている。軸索ニューロン14および16は、入力部も含み、樹状突起に沿った信号を受け取るが、これらの入力部および樹状突起は、説明を簡単にするため図示されていない。したがって、樹状突起接続に沿った入力を受け取る場合は、軸索ニューロン14および16は、樹状突起ニューロンとして機能することになる。同様に、樹状突起ニューロン18および20は、それらの軸索接続に沿って信号を送出する場合、軸索ニューロンとして機能することになる。ニューロン14、16、18および20のうちのどれかが発火すると、それらは、その軸索接続およびその樹状突起接続にパルスを送出することになる。軸索26、28と樹状突起34、36間の各接続は、シナプスデバイス31を介して行われる。シナプスデバイスが配置される接合部は、本明細書では交差点接合部と呼ばれる場合がある。ニューロン14、16、18および20は、それぞれ、1対のRC回路48を含む。一般に、本発明の実施形態によると、軸索ニューロン14および16は、樹状突起入力接続図示せずから受け取る入力がしきい値を超えると、発火するパルスを送信することになる。軸索ニューロン14および16が発火すると、それらは、そのRC回路48のうちの1つの抵抗器およびコンデンサの値によって決まる、比較的長い、所定の時定数で減衰するA-STDP変数を維持する。例えば、一実施形態において、この時定数は、50msであってもよい。A-STDP変数は、カレントミラー、または等価回路を用いて、コンデンサ両端間の電圧を求めることによってサンプリングされ得る。この変数は、以下でより詳細に論じられるように、関連するニューロンが最後に発火してからの時間をコード化することによって、軸索STDPを実現するために用いられる。軸索STDPは、増強を制御するために使用され、この増強とは、本文脈において、シナプスのコンダクタンスを増加させることとして定義される。樹状突起ニューロン18および20が発火すると、それらは、そのRC回路48のうちの1つの抵抗器およびコンデンサの値に基づいた、比較的長い、所定の時定数で減衰するD-STDP変数を維持する。例えば、一実施形態において、この時定数は50msであってもよい。他の実施形態において、この変数は、指数曲線以外の他の関数による時間の関数として減衰してもよい。例えば、変数は一次関数、多項式関数または二次関数によって減衰してもよい。本発明の別の実施形態において、変数は、時間とともに減少する代わりに増加してもよい。どんな場合でも、この変数は、以下でより詳細に論じられるように、関連するニューロンが最後に発火してからの時間をコード化することによって、樹状突起STDPを実現するために用いられ得る。樹状突起STDPは、抑圧を制御するために使用され、この抑圧とは、本文脈において、シナプスのコンダクタンスを減少させることとして定義される。電子シナプス31の機能には、STDP、およびRLをベースとするSTDPによる読み取り状態およびプログラム状態が含まれる。電子シナプス31は、電力効率がよく、そのため非同期の実施に適している。さらに、電子シナプスは空間効率がよく、そのためクロスバーの実施に適している。図2は、本発明の実施形態による、シナプス前経路26およびシナプス後経路36の交差点接合部での電子シナプス31の斜視図を示す。図3を参照すると、ニューロン14の軸索26と別のニューロン20上の樹状突起36との間の接触点の交差点接合部でのシナプス31に関して、この2つのニューロンは、それぞれシナプス前およびシナプス後と呼ばれる。シナプス前ニューロン14が発火すると、読み取り信号が、シナプス前ニューロン14からシナプス後ニューロン20に送られる。図4を参照すると、シナプス前ニューロン14が発火し、次いで、シナプス後ニューロン20が発火すると、シナプス31はSTDPセットされる。図5を参照すると、シナプス後ニューロン20が発火し、次いで、シナプス前ニューロン14が発火すると、シナプス31はSTDPリセットされる。強化学習RLは、一般に行動の結果に基づいた学習を含み、RLモジュールは、過去の事象に基づいて行動を選択する。RLモジュールが受け取る強化信号例えば報酬信号は、行動の成功を示す報酬数値である。その場合、RLモジュールは、報酬を時間とともに増加させる行動を選択することを学習する。本発明による強化学習の一実施態様において、STDPセットおよびSTDPリセット動作は直ぐには行われない。むしろ、報酬値信号がある時間窓内に生じる場合に、STDPセットまたはSTDPリセット動作が適用される。本発明の実施形態によれば、シナプス31は、複数の情報ビットを実装する。一例において、RGBスキームによると、シナプス31は、ビットR、ビットGおよびビットBを含む3つのビットを維持する。ビットRは読み取り用、ビットGはSTDPセット用、およびビットBはSTDPリセット用である。当初、ビットGおよびBは、それらの自然状態として0にセットされている。シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火する場合、STDPセットのためにビットGがセットされる例えば、1にセットされる。シナプス後ニューロンが発火し、次いで、シナプス前ニューロンが発火する場合、STDPセットのためにビットBがセットされる例えば、1にセットされる。一実施形態において、シナプス後ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、STDPリセットがビットBおよびGに適用される。例えば、ビットBおよびGは、時定数の減衰例えば1秒に基づいて、0にリセットされる。別の実施形態において、ビットBおよびGのリセットは、ニューロンの発火とは無関係に、BおよびGをリセットするランダム過程を含む。一実施形態において、以下のように、報酬が生じると、ビットRがセットおよびリセットされる。報酬が生じると、G=1およびB=0ならば、Rをセットし、B=1およびG=0ならば、Rをリセットし、G=1およびB=1、またはG=0およびB=0ならば、Rにはなにもしない。図6を参照すると、一実施態様において、シナプス31は、nxnアレイの接合部を含む。図7は、3x3アレイの9つの接合部n=3を含む例示的なシナプス31を示し、3つの対角線状の接合部が使用されている。ビットRを読み取るためのロジックは、図8に例示されるようにシナプス31の周辺にあり、この図は、シナプス31の読み取りビットRをさらに示し、シナプス前ニューロンが発火すると、シナプス後ニューロンに読み取りパルスを送る。次に、パルスがシナプス31のR接合部を介してシナプス前ニューロンから到着すると、シナプス後ニューロンは、非同期でこのパルスを読み取る。ビットRのセット/リセット用ロジックは、シナプス31内に収容されている。一実施態様において、ビットRは、DRAMデバイスを用いて実施されてもよい。ビットGをセットするためのロジックは、図9に例示されるようにシナプス31の周辺にあり、この図は、シナプス31のセットビットGをさらに示し、シナプス後ニューロンが発火すると、シナプス前ニューロンに警告パルスを送る。シナプス前ニューロンは、いつ最後に発火したかによって、確率的にシナプス前セットパルスをセットする。シナプス後ニューロンは、常にシナプス後セットパルスを送る。シナプス前セットパルスおよびシナプス後セットパルスの両方がともにビットGに対する接合部に到達すると、ビットGがセットされる。さらに、Gをリセットするためのロジックは、シナプス31の周辺に配置されている。一実施形態において、ビットGは、ゼロの推奨設定値を有し、ある時定数例えば1秒後にリセットする。別の実施形態において、Gのリセットは、ランダム確率過程を含み、ニューロンの発火とは無関係に完全に非同期でビットGをリセットする。一例において、この過程は、約1秒の平均的なリセット時間を有し、著しいテール分布を有する。一例において、Gのリセットはシナプス前ニューロンによって開始される。一実施態様において、ビットGは、DRAMデバイスを用いて実施されてもよい。ビットBをセットするためのロジックは、シナプス31の周辺にある。図10を参照すると、一実施形態において、シナプス後ニューロンが発火し、次いで、シナプス前ニューロンが発火すると、ビットBがセットされる。シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、ビットGがセットされる。シナプス前ニューロンは、発火すると、シナプス後ニューロンに警告する。シナプス後ニューロンは、いつ最後に発火したかによって、確率的にシナプス後セットパルスをセットする。シナプス前ニューロンは、常にシナプス前セットパルスを送る。シナプス前セットパルスおよびシナプス後セットパルスの両方がともにビットBに到着すると、ビットBがセットされる。さらに、Bをリセットするためのロジックは、ブロック31に存在する。ビットBは、ゼロの推奨設定を有し、ビットBは、ある時定数例えば約1秒後に単にリセットする。別の実施形態において、ランダム確率過程は、完全に非同期で、かつニューロンの発火とは無関係に、ビットBをリセットする。一例において、この過程は、約1秒の平均的なリセット時間を有し、著しいテール分布を有する。一例において、このリセットは、シナプス後ニューロンによって開始される。一実施態様において、ビットBは、DRAMデバイスを使用して実施されてもよい。図11を参照すると、本発明が提供する一実施形態において、本発明の一実施形態による電子強化学習シナプスを実施するためのシステム70が示されている。システム70は、並列に非同期で動作可能なRGBシナプスブロック31のNxNクロスバーアレイを含むN行およびN列。システム70は、シナプス31のクロスバーアレイを介して相互接続される、N個のシナプス前ニューロン例えばプレ1、プレ2、プレNおよびN個のシナプス後ニューロン例えばポスト1、ポスト2、ポストNをさらに含む。一実施態様において、シナプス後ニューロン31はそれぞれ、電子ミックストモードアナログ‐ディジタル非同期ニューロンを含む。状態は、非同期の実施を行うためにSTDP、およびRLに基づいたSTDPに従ってプログラムされる。シナプス前ニューロンが発火すると、読み取り信号がシナプス前ニューロンからシナプス後ニューロンに送られ、シナプス後ニューロンは、パルスが到着すると、非同期でパルスを読み取り、プリセットパルスを確率的にセットし、ポストセットパルスを常にセットする。本発明の一実施形態において、各電子シナプス31は、シナプス前電子ニューロンとシナプス後電子ニューロンとを相互接続させるように構成される。電子シナプス31は、電子シナプスの状態を保存するように、および電子シナプスの状態を更新するためのメタ情報を保存するように構成されたメモリ素子例えば、図12におけるメモリデバイス31R、31G、31Bを含む。各電子シナプスセル31は、強化学習のために更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成された更新モジュール例えば、図12におけるモジュール31Lをさらに含む。更新モジュールは、学習則に基づく強化学習のために遅延更新信号に応答して、メタ情報に基づいて電子シナプスの状態を更新するように構成される。図12は、段階を必要とせずにおよび読み取り、セット、およびリセットのための時分割多重アクセスを必要とせずに、他のシナプスセル31と並行して動作させることができるシナプスセルブロックとして、R、G、Bシナプスアレイ31の例示的な実施態様を示す。各シナプスセル31は、他のシナプスセル31と完全に非同期で動作することができ、したがって、クロックの必要性をなくすことができる。本発明の一実施形態において、各RGBシナプスセル31は、ローカルのシナプスセルレベルにおいてディジタル相補型金属酸化膜半導体CMOS更新ロジック31Lを含み、この更新ロジック31LはRセルに書き込むために使用され得る。一実施態様において、セル31は、ビットR、B、およびGに対するメモリ素子31R、31B、31Gをそれぞれ含む。メモリ素子は、スタティックランダムアクセスメモリSRAM、ダイナミックランダムアクセスメモリDRAM、相変化メモリPCM、磁気トンネル接合MTJなどを含むことができる。本実施形態において、シナプスセル31は、空間分割多元接続電子シナプスを備え、電子シナプスは、読み取り用の2端子、セット用の2端子、およびリセット用の2端子を有する6端子デバイスとして表される。本発明の別の実施形態において、更新モジュール31Lは、プロセッサ例えば図15における情報処理システム100上で実行するコンピュータ可読プログラムコードを含むソフトウェアモジュールを備え、このソフトウェアモジュールは、本発明の実施形態により本明細書で説明されるような電子シナプスの状態を更新するように構成されたコンピュータ可読プログラムコードを含む。Rメモリセルは、シナプスの状態を維持する。GおよびBのメモリセルは、その後のシナプスの更新のために使用されるメタ情報を維持する。ニューロンは、メモリセルに対する読み/書き情報を決定する。図12において、シナプス31は、シナプス前ニューロンからシナプス後ニューロンへの接続を提供し、これらニューロンは、共同してR、GおよびBのメモリセルに読み/書きするための適切なワード線およびビット線をアクティブにする。ニューロンは、ライトポートWriteportを使用して、外部からGおよびBのメモリセルにのみ書き込む。GおよびBのメモリセルは、リードポートReadportを使用して、更新ロジック31Lによって内部で読み取られ、それに応じてRメモリセルを更新する。Rメモリセルは、リードポートを使用して外部から読み取られ、ライトポートを使用して、更新ロジック31Lによって内部で書き込まれるすなわち、更新される。シナプスの状態は、シナプスの伝導率のレベルを示す複数の値を保存する1つまたは複数のビットを有することができる。一実施形態において、Rメモリセルは、シナプスの状態を保存し、このシナプスの状態は、1ビットのシナプスである接続を示す導通状態に対しては0、非接続を示す非導通状態に対しては1。ニューロンは、Rメモリセルを読み取ることによってシナプスを介する接続を決定することができる。学習動作のためにRセルを更新するため、シナプスに結合されているシナプス前ニューロンおよびシナプス後ニューロンは、強化学習のためのBとGのメモリセルに書き込む処理を実施する。これらニューロンは、ライトポートを使用して、BまたはGあるいはその両方のメモリセルに更新値を保存する。その後、BまたはGのメモリセルからの更新値が、入力する報酬信号に応答して、シナプスの状態としてRメモリセルを更新するために使用される。上記したように、Rメモリセルは、強化信号として後から入力する報酬信号に応じてBメモリセルの値またはGメモリセルの値を用いて更新される遅延更新。一例において、STDPの値は、GまたはBのメモリセルに保存され、しばらくして、シナプスの状態が、GまたはBのセルからの値を用いてRのメモリセルを更新することによって更新される。一実施態様において、並行するワード線水平のおよびビット線垂直のがメモリセルにアクセスするために用いられる。各メモリセルは、読み取りワード線、読み取りビット線、書き込みワード線および書き込みビット線を有する。一例において、更新ロジック31Lは、シナプスのRメモリセルの状態を更新するために、BとGのメモリセルのメタ情報の排他的論理和XORの組合せロジックを実装する。シナプスセル31は、SRAMおよびDRAMの実装とともに強化学習を提供する。図13を参照すると、SRAMをベースとするRGBセルの実装において、各SRAMセル31は置換可能である行単位または列単位のいずれかで周辺回路によってアクセスすることができる。図14を参照すると、SRAMおよびDRAMをベースとする実装において、DRAMメモリ素子内のデータは、基本状態にまで時間とともに減衰する。クロック信号は、クロスバーアレイ内のメモリセルの動作をクロック制御するために使用される。メモリセルは、同期してまたは非同期でアクセスすることができる。シナプス前ニューロンが発火し、次いで、シナプス後ニューロンが発火すると、シナプスがセットされる。シナプス後ニューロンが発火し、シナプス前ニューロンが発火すると、シナプスはリセットされ、報酬値信号が時間窓内に生じる場合、STDPセットまたはリセットが適用される。学習するシナプスの電子的な強化は、並列にR行を読み取るステップと、並列にG列を読み取り、セットするステップと、並列にG行をリセットするステップと、並列にB行を読み取り、セットするステップと、並列にB列をセットするステップと、R行およびR列上のセットされたビットの数を見積もるステップと、報酬信号が到達したときにグローバル値信号を実装/提供し、クロスバーアレイ内で、N2個のRビットすべてを並列にセットおよびリセットするステップとをさらに含む。図15は、本発明の一実施形態を実施するのに有用な情報処理システム100を示す高レベルのブロック図である。コンピュータシステムは、1つまたは複数のプロセッサ、例えばプロセッサ102を含む。プロセッサ102は、通信インフラ104例えば、通信バス、クロスオーバーバー、またはネットワークに接続される。コンピュータシステムは、ディスプレイユニット108上に表示するために通信インフラ104からのまたは図示しないフレームバッファからの図形、テキストおよび他のデータを転送するディスプレイインターフェース106を含んでよい。コンピュータシステムは、主記憶装置110好ましくはランダムアクセスメモリRAMを含んでもよく、補助記憶装置112を含んでもよい。補助記憶装置112は、例えば、ハードディスク駆動装置114、または、例えば、フロッピーRディスク駆動装置、磁気テープ駆動装置もしくは光ディスク駆動装置を代表とする取り外し可能な記憶駆動装置116、あるいはその両方を含んでもよい。取り外し可能な記憶駆動装置116は、当業者にはよく知られている方法で、取り外し可能な記憶ユニット118からの読み取り、または取り外し可能な記憶ユニット118への書き込み、あるいはその両方を行う。取り外し可能な記憶ユニット118は、例えば、フロッピーRディスク、コンパクトディスク、磁気テープまたは光ディスクなどを表し、取り外し可能な記憶駆動装置116によって読み出され、書き込まれる。理解されるように、取り外し可能な記憶ユニット118は、コンピュータソフトウェアまたはデータあるいはその両方が保存されたコンピュータ可読媒体を含む。代替の実施形態において、補助記憶装置112は、コンピュータプログラムまたは他の命令をコンピュータシステムにロードさせることができる他の同様の手段を含んでよい。そうした手段には、例えば、取り外し可能な記憶ユニット120およびインターフェース122が含まれ得る。そうした手段の例には、ビデオゲーム装置に見られるようなプログラムパッケージおよびパッケージインターフェース、EPROMまたはPROMなどの取り外し可能なメモリチップおよび関連するソケット、ならびに他の取り外し可能な記憶ユニット120およびソフトウェアとデータとを取り外し可能な記憶ユニット120からコンピュータシステムに転送させることができるインターフェース122が含まれ得る。コンピュータシステムはまた、通信インターフェース124を含んでもよい。通信インターフェース124により、ソフトウェアおよびデータをコンピュータシステムと外部装置との間で転送させることが可能になる。通信インターフェース124の例には、モデム、イーサネットRカードなどのネットワークインターフェース、通信ポート、またはPCMCIAスロットおよびカードなどが含まれ得る。通信インターフェース124を介して転送されるソフトウェアおよびデータは、例えば、通信インターフェース124によって受け取ることができる電子的、電磁的、光学的、またはその他の信号となり得る信号の形態である。これらの信号は、通信経路すなわちチャネル126を介して通信インターフェース124へ提供される。この通信経路126は、信号を運び、ワイヤーもしくはケーブル、光ファイバ、電話線、携帯電話リンク、RFリンク、または他の通信チャネル、あるいはそれらすべてを使用して実施され得る。本明細書において、コンピュータプログラム媒体、コンピュータ使用可能媒体およびコンピュータ可読媒体という用語は、全体として、主記憶装置110および補助記憶装置112、取り外し可能記憶駆動装置116、およびハードディスク駆動装置114に設置されたハードディスクなどの媒体を指すために使用されている。コンピュータプログラムコンピュータ制御ロジックとも呼ばれるは、主記憶装置110または補助記憶装置112あるいはその両方に保存される。コンピュータプログラムは、通信インターフェース124を介して受け取ることもできる。そうしたコンピュータプログラムは、実行されたとき、コンピュータシステムに、本明細書で論じた本発明の機能を遂行させることができる。具体的には、コンピュータプログラムは、実行されたとき、プロセッサ102にコンピュータシステムの機能を遂行させることができる。したがって、そうしたコンピュータプログラムは、コンピュータシステムのコントローラを表す。上記の説明から、本発明が、本発明の実施形態を実施するためのシステム、コンピュータプログラム製品および方法を提供することが理解され得る。特許請求の範囲における単数の要素の参照は、明示的にそうであると述べられていない場合、1つおよび唯一を意味することは意図されておらず、むしろ1つまたは複数を意味することが意図されている。当業者に現在知られているか、または今後知られることになる、上記の例示的な実施形態の要素に対する構造的、機能的な均等物はすべて、本特許請求の範囲によって包含されることが意図されている。本明細書で使用された専門用語は、特定の実施形態のみを説明するためのものであり、本発明を限定するようには意図されていない。本明細書で使用されているように、単数形の不定冠詞a、anおよび定冠詞theは、文脈上明白にその他の解釈が示されなければ、複数形を同様に含むように意図されている。備えるまたは備えているあるいはその両方の用語は、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、または構成要素、あるいはそれらすべての存在を規定するが、1つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、またはそれらのグループあるいはそれらすべての存在もしくは追加を排除しないことをさらに理解されるであろう下記の特許請求の範囲における対応する構造、材料、行動、およびすべての手段またはステップの均等物、さらに機能素子は、具体的に特許請求される他の特許請求される要素との組合せにおいて機能を遂行するための任意の構造、材料、または行動を含むことが意図されている。本発明の説明は、例示および説明の目的のために提示されたが、網羅的であること、または開示された形態の発明に限定されることは意図されていない。多くの変更形態および変形形態は、本発明の範囲から逸脱せずに、当業者には明かであろう。実施形態は、本発明の原理および実際的な用途について最善の説明をするように、かつ当業者が考慮される特定の使用に適する様々な変更形態を有する様々な実施形態に対して本発明を理解することができるように、選ばれ、説明された。