"時空パターンを記憶する方法であって、入力データストリームにおいて時空パターンの存在を検出することと、前記時空パターンを抽出することと、学習則に基づいて、方向性シナプス接続性を有するレイヤニューラルネット関係を有する複数の電子ニューロンを含む連想メモリに前記時空パターンを記憶することであって、前記学習則が、前記時空パターンの関数として前記電子ニューロン間のシナプス相互接続のコンダクタンスのレベルを与える、ことと、前記時空パターンのあるバージョンが提示されることに応じて、前記連想メモリから前記記憶した時空パターンを検索することと、を含む、方法。レイヤ関係を有する前記複数の電子ニューロンが、1つ以上の第1の興奮性スパイキング電子ニューロンを含む第1の興奮性スパイキング電子ニューロンレイヤと、1つ以上の第2の興奮性スパイキング電子ニューロンを含む第2の興奮性スパイキング電子ニューロンレイヤと、1つ以上の第1の抑制性スパイキング電子ニューロンを含む第1の抑制性スパイキング電子ニューロンレイヤと、を含み、各第1の興奮性スパイキング電子ニューロンが第2の興奮性スパイキング電子ニューロンに接続され、各第2の興奮性スパイキング電子ニューロンが第1の興奮性スパイキング電子ニューロンおよび第1の抑制性スパイキング電子ニューロンに接続され、各第1の抑制性スパイキング電子ニューロンが第2の興奮性スパイキング電子ニューロンに接続されている、請求項1に記載の方法。前記第1の興奮性スパイキング電子ニューロンレイヤにおいて前記入力データストリームを受信することと、前記第1および第2の興奮性スパイキング電子ニューロンレイヤおよび前記第1の抑制性スパイキング電子ニューロンレイヤが組み合って前記受信した入力を処理することと、を含む、請求項2に記載の方法。前記第2の興奮性スパイキング電子ニューロンおよび前記第1の抑制性スパイキング電子ニューロンが、イベント間の因果律に従う関連付けを検出して前記記憶した時空パターンを検索するために、側方抑制およびスパイク駆動学習則によって勝者総取りプロセスを実行する、請求項3に記載の方法。前記学習則に基づいて、第1の興奮性スパイキング電子ニューロンが前記入力データストリームによって活性化されることに応じて、接続された第2の興奮性スパイキング電子ニューロンをトリガし、前記第1の興奮性スパイキング電子ニューロンと前記第2の興奮性スパイキング電子ニューロンとの間の接続のコンダクタンスを強化することを更に含む、請求項4に記載の方法。前記学習則に基づいて、第2の興奮性スパイキング電子ニューロンが1つ以上の第1の興奮性スパイキング電子ニューロンによってトリガされることに応じて、接続された第1の抑制性スパイキング電子ニューロンをトリガし、前記第2の興奮性スパイキング電子ニューロンに抑制信号を返信し、ある時間期間だけ前記第2の興奮性スパイキング電子ニューロンによる更に別のアクティビティを抑制することを更に含む、請求項5に記載の方法。前記学習則に基づいて、最近トリガされた第2の興奮性スパイキング電子ニューロンのアクティビティの後に接続された第1の興奮性スパイキング電子ニューロンのアクティビティが発生することに応じて、前記第1および第2の接続された興奮性スパイキング電子ニューロン間の前記接続のコンダクタンスを弱くすることを更に含む、請求項6に記載の方法。前記学習則に基づいて、接続された第1の興奮性スパイキング電子ニューロンの短期間後に第2の興奮性スパイキング電子ニューロンが発火することに応じて、前記第1および第2の接続された興奮性スパイキング電子ニューロン間の前記接続のコンダクタンスを強化することを更に含む、請求項5に記載の方法。前出の方法の請求項のいずれかに記載の方法の全てのステップを実行するために適合された手段を含むシステム。前出の方法の請求項のいずれかに記載の方法の全てのステップを実行するための命令を含むコンピュータプログラムであって、前記コンピュータプログラムがコンピュータシステム上で実行される、コンピュータプログラム。人工ニューラルネットワークとも称される神経形態システムは、電子システムが実質的に生物学的な脳のものと類似の方法で機能することを可能とする計算システムである。神経形態システムは、生物学的な脳のニューロンと概ね機能的に同等である処理要素間の接続を生成する。神経形態システムは、生物学的ニューロンをモデル化した様々な電子回路を含むことができる。本発明の実施形態は、時空連想メモリのためのカノニカルスパイキングニューロンを提供する。本発明の一態様は、方向性シナプス接続性を有するレイヤニューラルネット関係を有する複数の電子ニューロンを含む時空連想メモリのための方法およびシステムを含む。複数の電子ニューロンは、データストリームにおいて時空パターンの存在を検出し、この時空パターンを抽出するように構成されている。学習則に基づいて、複数の電子ニューロンは、時空パターンを記憶し、時空パターンのあるバージョンが提示されると、記憶した時空パターンを検索する。本発明の別の態様は、リアルタイムデータストリームにおいて時空パターンの存在を検出し、この時空パターンを抽出し、学習則に基づいて、方向性接続性を有するレイヤ関係を有する複数の電子ニューロンを含む時空連想メモリにこの時空パターンを記憶するための方法を含む。時空パターンのあるバージョンが提示されると、本発明は、連想メモリから記憶した時空パターンを検索するための方法を含む。本発明のこれらおよび他のフィーチャ、態様、および利点は、以下の説明、添付の特許請求の範囲、および添付図面を参照することで理解されるであろう。本発明の実施形態は、時空パターンを記憶し検索するように構成された連想メモリのためのカノニカルスパイキング回路を含むニューラルシステムを提供する。本明細書において用いる場合、電子ニューロンという言葉は、生物学的ニューロンをシミュレーションするように構成されたアーキテクチャを表す。電子ニューロンは、生物学的な脳のニューロンと概ね機能的に同等である処理要素間の接続を生成する。このため、本発明の実施形態に従った電子ニューロンを含むニューラルシステムは、生物学的ニューロン上をモデル化した様々な電子回路を含むことができる。更に、本発明の実施形態に従った電子ニューロンを含むニューラルシステムは、生物学的ニューロンをモデル化した様々な処理要素コンピュータシミュレーションを含むを含むことができる。電子回路を含む電子ニューロンを用いて、本発明のいくつかの例示的な実施形態を以下で説明するが、本発明は電子回路に限定されない。本発明の実施形態に従ったニューラルシステムは、アナログまたはデジタル回路を含む神経形態アーキテクチャとして、更にコンピュータシミュレーションとして実施することができる。実際、本発明の実施形態は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態、またはハードウェアおよびソフトウェアの要素の双方を含む実施形態の形をとることができる。本発明に従ったカノニカルスパイキングニューロンシステムの一例のアーキテクチャは、複数層のニューロンを含み、更に、それらの間のシナプス接続および学習則を含む。かかるシステムは、従来のコンピュータシステム上でのシミュレーション、または様々な異なるハードウェアスキームによる実施等の異なる方法で実施することができ、その1つは、スパイクタイミング依存可塑性一例として以下で更に説明するを提供するシナプスクロスバーアレイを含む。本発明の一実施形態は、連想メモリタイプの教師なしパターン認識システムを実施するスパイキング電子ニューロン超小型回路を含む。連想メモリはデータ記憶デバイスを意味し、明示されたアドレスでなく情報内容に基づいて記憶したメモリを識別する。明示されたアドレスとは対照的にメモリ内容に対して直列または並列にアクセスすることによって連想メモリからデータを検索することができ、この場合、所望の1つ以上の一致のセットが見つかるまでメモリの情報内容を照会と比較する。本発明の一実施形態によれば、パターン認識システムは、時空パターンを記憶し連想的に想起するように構成されたメモリ超小型回路においてスパイキング電子ニューロンを相互作用させるアセンブリを含む。学習則は、記憶されるパターンの関数として、電子ニューロン間のシナプス相互接続の強度を提供記述する。例えば、学習則は、記憶されるパターンの関数として、電子ニューロン間のシナプス相互接続のコンダクタンスのレベルを提供する。本発明の一実施形態によれば、教師なしパターン認識システムは、明示的な外部命令機構なしでパターン認識タスクを実行する。このシステムは、パターンの明示的な記述を必要としない。このため、パターンが明確な時空構造および統計データを有する限り、パターンの意味内容は重要でない。時空パターンを含む入力データストリームが与えられると、システムは、パターンの存在を検出すること、パターンを抽出および記憶することを学習するが、検出するパターンに関する情報を前もって与える必要はない。システムは、記憶したパターンの断片的なバージョンまたはノイズの多いバージョンあるいはその両方が提示された場合にメモリから適切な一致パターンを検索することができるように、パターンを記憶する。時空パターンに加えて、入力データストリームは一般的にあるレベルのノイズを含む場合がある。パターン認識システムは、リアルタイムでまたはオンラインでパターン認識を実行し、入来情報を処理するための別個の段を必要としない。システムにデータストリームが供給されると、システムはリアルタイムで入来情報を処理する。本発明の一実施形態において、システムアーキテクチャはモジュール式でスケーラブルであり、単一の簡素化されたアーキテクチャを用いながら、多数の空間的および時間的規模で組み合わされた性質の問題に適している。ここで図1を参照すると、本発明の一実施形態に従ったニューラルシステム10のネットワークアーキテクチャの図が示されている。システム10は、興奮性スパイキング電子ニューロンの2つのレイヤE1およびE2と、抑制性スパイキング電子ニューロンのレイヤI2と、を含む。E1レイヤは入力レイヤとして機能し、E2レイヤは処理レイヤとして機能する。レイヤI2は、図3に関連付けて以下で更に記載するような勝者総取りWTA:winner-take-all機構を実施する。一般に、興奮性スパイキング電子ニューロンは、そのターゲットニューロンを発火しやすくし、抑制性スパイキング電子ニューロンは、そのターゲットを発火しにくくする。スパイキング電子ニューロンの様々な実施を利用することができる。一般に、かかるニューロンはカウンタを含み、これは、ソースの興奮性ニューロンからの入力が受信されると値が上昇し、ソースの抑制性ニューロンからの入力が受信されると値が低下する。上昇または低下の量は、ソースニューロンからターゲットニューロンへの接続例えば可変抵抗器によってモデル化されたシナプス接続の強度に依存する。カウンタがある閾値に達すると、ニューロンはそれ自身のスパイクを発生しすなわち発火し、カウンタは基準値にリセットされる。以降、スパイキング電子ニューロンという言葉を電子ニューロンとする。電子ニューロンは以下のように相互接続される。図2は、ニューラルシステム10の更に詳細な図を示す。レイヤE1における電子ニューロン12すなわちNE1のポピュレーションがレイヤE2における電子ニューロン14すなわちNE2に接続され、電子ニューロン14が電子ニューロン14に接続されて示されている。更に、レイヤE2における電子ニューロン14はレイヤI2における電子ニューロン16すなわちNI2に接続され、電子ニューロン16は電子ニューロン14に接続されている。ニューロン接続モデルは一般的なものであり、望ましい連想データ記憶/検索機能に従って調整することができる。典型的には、多数のニューロンに対して接続を行い、E1およびE2レイヤは多数のニューロンを含む。時空パターンおよびノイズの多い入力を含む入力ストリームは、E1レイヤに供給され、ここでE1レイヤにおける電子ニューロン12のスパイキングアクティビティをトリガする。このスパイキングアクティビティはE2レイヤの電子ニューロン14へと順方向に伝播する。従って、入力データストリームにおける時空パターンの存在は、レイヤE1の電子ニューロン12において対応する時空スパイキングアクティビティ画像を生成する。E1レイヤから接続されているため、インプリントされた時空スパイキング画像の影響の領域内にあるE2レイヤのあらゆる電子ニューロン14が、一定の興奮性信号レベルを受信する。図3は、本発明のこの実施形態に従った、図1および図2に示したニューラルシステム10の動作の方法20を示すフローチャートである。図3のプロセスステップは純粋に線形ではなく、E1レイヤ電子ニューロンは常に入力を受信しており、E2およびI2レイヤ電子ニューロンはその入力に応じていかなる時点でも発火する可能性がある。図3を参照すると、ステップ21において、1つ以上のE1レイヤ電子ニューロン12が入力ストリームによって活性化される。ステップ22において、かかるアクティビティはE2レイヤ電子ニューロン14をトリガすることができる。E2レイヤにおけるニューロンアクティビティが、E1レイヤにおけるニューロンアクティビティ後の短期間例えば約50ms内に起こった場合、ステップ23において、かかる電子ニューロン12および14間の接続は自動的に強化されるすなわちニューロン12および14間のシナプス接続のコンダクタンスが上昇する。いったんE2レイヤ電子ニューロン14が1つ以上のE1レイヤ電子ニューロン12によってトリガされたら、ステップ24において、トリガされたE2レイヤ電子ニューロン14は1つ以上のI2レイヤ電子ニューロン16のアクティビティをトリガする。ステップ25において、これはE2レイヤに強い抑制性信号を返信し、これによってステップ26において、短期間例えば約10ms、E2レイヤのアクティビティを抑制する。最近トリガされたE2レイヤ電子ニューロン14のアクティビティ後の短期間例えば約50ms内に、電子ニューロン14が接続するE1レイヤ電子ニューロン12のアクティビティが起こった場合、電子ニューロン12および14間の接続は自動的に弱くなるすなわちニューロン12および14間のシナプス接続のコンダクタンスが低下する。しかしながら、E2レイヤ電子ニューロン14が、この電子ニューロン14が接続するE1レイヤ電子ニューロン12のすぐ後に例えば約50ms内に発火すなわちトリガまたはスパイクした場合、システム10は電子ニューロン12および14間の接続を強化する。従って、所与のE2レイヤ電子ニューロン14から所与のE1レイヤ電子ニューロン12までの接続は、最初に電子ニューロン14をトリガする際に電子ニューロン12が関与した可能性がある場合はいつでも、強化される。前述の構成の結果として、システムは、因果律に従うイベント間の関連付けを強化すると共に因果律に従わないイベントを抑制するための機能を作り出す。本発明の一実施形態において、システム10の全体的な安定性およびノイズ耐性は、強度の正規化を実施することによって促進される。強度の正規化は、電子ニューロン接続間の強度を調節することによって達成される。システム10は、ある接続の強度を高くした場合はいつでもシステム内の他の接続が弱くなることを犠牲にするように構成されている。これによって、電子ニューロンはその影響を最も有効な箇所に集中させることができ、ノイズによる効果がやがて弱くなることを保証する。接続の正規化を達成するには、あるニューロンが受信した全ての興奮性シナプス接続の強度を、一定値にとどまるように調節する。従って、あるニューロンに対する1つの接続の強度が上昇すると、そのニューロンに対する他の接続の強度はこれに比例して低下して、そのニューロンに対する全入力強度を一定に維持する。これについては、以下で更に説明する関係6によって説明する。図4は、本発明の別の実施形態に従ったニューラルシステム30の図を示す。システム30は、興奮性電子ニューロンの2つのレイヤE1およびE2を含むことを含む。システム10は更に、抑制性電子ニューロンの2つのレイヤI1およびI2を含む。図5を参照すると、本発明の一実施形態においてシステム30は、方向性接続性フィードフォワードおよびフィードバックを有するレイヤアーキテクチャ35を含み、因果律に従ったイベント間の関連付けを選択するように機能する側方抑制およびスパイク駆動学習則による勝者総取りWTAプロセスの相互作用を実施する。一例において、WTAプロセスは一般に、複数の興奮性ニューロンおよび単一の抑制性ニューロンのニューラルネットをモデル化する。アクティブな興奮性ニューロンは抑制性ニューロンを興奮させる。抑制性ニューロンは興奮性ニューロンを抑制する。ほとんどの興奮性ニューロンが抑制されるまで、抑制性ニューロンのアクティビティは増大する。アーキテクチャ35は、興奮性電子ニューロンの前記2つのレイヤE1およびE2と、抑制性電子ニューロンの前記2つのレイヤI1およびI2と、を含み、STDPおよびシナプス可塑性軸策/樹状突起のフィードフォワードFF経路ならびに反STDPおよびシナプス可塑性軸策/樹状突起のフィードバック経路FBを提供する。具体的には、アーキテクチャ35は、ニューロン間の方向性接続性フィードフォワードおよびフィードバックを提供し、因果律に従ったイベント間の関連付けを選択するように機能する側方抑制およびスパイク駆動学習則によるWTAを実施する。E1レイヤは空間-時間入力例えば外観が時間で変動する円形または方形の画像を受信し、E1レイヤに提示される入力パターンはE2レイヤ上に圧縮表現されることになる。以前に遭遇したパターンの部分的なバージョンまたは破損したバージョンにより、完全なバージョンのエラーなしの検索が行われる。フィードバック経路FB接続は、反STDPすなわちaSTDPを示す。E1レイヤにおいて破損または不完全な入力があった場合、正しいE2レイヤニューロンが発火するはずである。そのE2ニューロンの発火に基づいて、完全なE1入力を再現することができる。E2レイヤニューロンの前にE1レイヤニューロンが発火すると、シナプスが弱くなってスプリアスアクティビティを排除する。E1レイヤニューロンの前にE2レイヤニューロンが発火すると、以前に見られた入力からの接続を強化することによってパターン完成のためにシナプスが強化される。スパイク信号は、シナプス接続要素間の電圧バイアスを生成し、この結果として電流が下流のニューロンに流れる。この電流の大きさは、対応するシナプス接続のコンダクタンスによって重み付けされるようになっている。一例においては、ランダムな重み分布を利用して、スパイクのために各E2ニューロンがE1ニューロンの10からの入力を必要とするようになっている。フィードフォワードFF接続はSTDPを示し、入力がE1レイヤのニューロンアクティビティにおける著しい時空相関性を生じることで、一定のE2レイヤニューロンが発火する。I2レイヤは、E2レイヤにおけるアクティビティが極めて少数に限定されることを保証する。E2レイヤニューロンの前にE1レイヤが発火すると、これはシナプスを強化して関連付けを形成する。E1レイヤニューロンの前にE2レイヤが発火すると、これはシナプスを弱くしてノイズを除去する。図6は、ニューラルシステム30の更に詳細な図を示し、E1およびE2レイヤがそれぞれ興奮性電子ニューロン12および14すなわちNE1およびNE2のポピュレーションを含むことを示す。更に、I1およびI2レイヤはそれぞれ、抑制性電子ニューロン16および18すなわちNI1およびNI2のポピュレーショングリッドを含む。E1レイヤ電子ニューロンは入力ニューロンとして機能し、E2電子ニューロンはもっと高いレベルの処理をサポートする。図7に、異なるレイヤにおけるニューロン間の接続11を更に詳細に示す。レイヤ間の接続は、ソースレイヤSにおける各ニューロンAnから、ソースレイヤにおけるソースAnの位置と地形的に対応するターゲットレイヤTにおけるポイントのターゲットニューロンBnまで行われる。ソースニューロンAnは、ターゲットニューロンBnの一定の半径0から∞まで内にあるターゲットレイヤの全ニューロンに接続される。図8は、システム30図6において用いられるスパイクタイミング依存可塑性学習則を示し、例えばS.Song、K.D.Miller、およびL.F.Abbott、CompetitiveHebbianlearningthroughspike-timing-dependentsynapticplasticity、natureNeuroscience、vol.3、2000年9月、919~926ページに記載されている。水平軸x軸は、シナプス後ニューロンスパイクの時間からシナプス前ニューロンスパイクの時間を減算したものを表す。垂直軸y軸は、異なるタイミングの前-後対から得られるシナプス重みの変化ΔWを表す。曲線13は以下の式から導出される。tpre<tpostの場合、その他の場合、ここで、AおよびA-は正または負の数とすることができ、所与のタイミング差についての重み変化の大きさを決定し、τは時定数以下で更に詳細に説明するである。電子ニューロンは以下のように相互接続される。各電子ニューロンは、他の電子ニューロンとの固定数Mの出立接続を形成する。各E1レイヤ電子ニューロンは、I1レイヤおよびE2レイヤの電子ニューロンに接続する。各I1レイヤ電子ニューロンは、E1レイヤ電子ニューロンにのみ接続する。同様に、各E2電子ニューロンはI2レイヤおよびE1レイヤの電子ニューロンに接続する。各I2レイヤ電子ニューロンはE2レイヤ電子ニューロンにのみ接続する。また、いずれかのニューロン対を接続する各経路には、伝導遅延が割り当てられる。接続及び遅延は、意図する用途に応じて、ランダムに例えば分布から導かれるまたは所定の地形的な方法で割り当てることができる。ポピュレーションは、それ自体に戻って接続することはできない。一般に、システム構成は、用いられるスパイク発生機構の詳細とは無関係である。完全さのため、式1によってその脱分極変数Vの観点で各スパイキングニューロンのダイナミクスを決定するIzhikevich/Brette-Gerstnerモデルの変形を用いることができる。変数μはニューロンの適応/回復変数を示し、bおよびτμは一定のパラメータである。Fは典型的に、式1に対する解Vtの存在を保証するように選択した凸関数であり、所与の時間間隔内で充分に大きい入力Iが受信されると急速に無限大になる。これらの爆発的なイベントをスパイクと解釈する。いったんスパイクが記録されると、変数Vは休止状態にリセットされ、適応変数を適宜調節して回復期の開始を引き起こす。動作において、スパイクを捕獲するには、Vt>Vthrの場合に時間tにおいてニューロンが発火したと言われるような閾値Vthrを導入する。各スパイクは、以下の関係2によって2進値アクティビティ変数ξtの観点で表される。この構成における全てのニューロンは式1によって支配され、このため同一の入力が受信された場合に同一の挙動を示す。従って、動的挙動のあらゆる変動は、入力Itの変動からのみ生じる。ポピュレーションE1、E2、I1、およびI2は、かかる入力項により相互作用する。説明の明確さのため、ニューロンのポピュレーションを、それらの入力の点で区別する。E1およびI1ニューロンは、シーケンス{j、k、...}からの指数を用いて標示する。E2およびI2ニューロンは、シーケンス{α、β、...}からの指数を用いて標示する。E1ニューロンに対する入力は3つのソースから開始する。上述のように、外部刺激を感覚経路を介して受信することに加えて、E1ニューロンは、I1およびE2ニューロンの双方からの入力も受信する。これらのソースは集合的に、以下の関係3における形態の式1の入力項Itを与える。ここで、Ijextは外部刺激を指し、WjaおよびWjkは、それぞれのシナプスの強度を示す負でない量であり、Δjaは、ソースαとターゲットニューロンjとの間の軸策伝導遅延を示す。E2ニューロンに対する入力は関係3と同一の形態をとるが、明らかな表記の変更として、関係3の右側において、E1指数にE2指数を代入し、I2指数にI1指数を代入する。E2ニューロンは外部刺激を受信しないので、Iext=0に設定する。また、I1およびI2ニューロンの双方に対する入力も関係3の形態をとるが、Iext=0に設定することに加えて、抑制性入力を省略する。これは、上述のようにI1およびI2ニューロンは興奮性ニューロンとのみ相互作用するからである。のシナプスの強度は時間依存であるすなわち可塑性であるが、他の全てのシナプス重みは時間的に固定されたままである。この構成は2つの形態の可塑性機構を与える。すなわち、の重みは従来のSTDP則のもとで発生し、のものは反STDPのもとで発生する。典型的な規則の形態では、tpreおよびtpostにおける全ての記録されたシナプス前およびシナプス後のスパイクイベント対は、所与のニューロン対ここではpreおよびpostによって標示する間のシナプス強度の変化ΔWpre,postを誘発する。この変化は以下の関係4の形態をとる。ここで、A、A-、およびτは正の定数である。本発明に従った構成において用いられる反STDP則は、以下の関係5の形態をとる。これは正の定数B、B-、およびτを有する。重みの正規化バージョンを用いて、ダイナミクスの競合の態様を実施する。tが、シミュレーションの過程におけるいずれかの基本更新時間tの直後の時間を示すとする。例えばαのような、いずれかの所与のニューロンに関連付けた重みを、以下によって制約する。これによって、全てのtおよびαについてΣkWaktが一定のままであることを保証する。この制約は、命令により、全ての指数α、j、および所定の定数Wmaxについて確実に0≦Waj≦Wmaxとする厳しい規則によって補足される。競合ダイナミクスは、入力における対照的な強化のためのプロセスを導入することで更に容易になる。これは、関係3におけるIjtを以下の関係7によって置換することを含む。指数を適宜取り替えることで、E2、I1、およびI2に対する入力について同様の数式が得られる。以下に、入力の提示のためのプロトコルについて概説する。このプロトコルは、任意に、入力電子ニューロンアレイE1を、各々がほぼ同一数の入力ニューロンを含むP個のクラスタμ=1、...、Pによって示されるに分割することを含む。この例では、特定の入力パターンの提示は、主として特定のクラスタに限定された、固定時間間隔にわたるアクティビティの動揺として現れる。この限定は厳密である必要はなく、部分的な重複も可能であると共に、ニューロンアレイ上のどこででも散発的なイベントの可能性がある。これによって、特定の時間的入力パターンを特定の入力クラスタに関連付けることが可能となる。以下の一例としての状況では、パターンは、長さTの間隔にわたって一度に1つずつE1に提示され、各提示の後に長さTSの無音期がある。時間の基本単位としてΔtを用い、T,TS>>Δtとし、に設定し、更に、Ttrain>>T,TSを、訓練期の持続時間とする。入力刺激の提示のためのプロトコルは、以下の表1の通りである。以下の表2は、上の入力提示プロトコルのオンライン実施を示す。ルーチン選択n、E1μによって、トリガされるn個のE1ニューロンのリストを戻す。本発明の実施形態による結果に影響を及ぼすことなく、異なるレベルの複雑度の刺激入力プロトコルの変形が可能である。例示的な変形は、刺激入力においてノイズのレベルを導入すること、および、例えばE1μのアクティビティが部分的にE1vのものと一致することができるμ≠vの場合等、重複パターンを可能とすることを含む。上述の入力/刺激提示プロトコルに従って、訓練期の間、以下の時間間隔においてn回パターンE1μをニューラルシステムネットワークに提示する。各時間ステップt∈Tn、μにおける活性化のためにパターンμにおけるE1単位の特定のサブセットを選択する。この場合、selectE1tはかかるサブセットを示し、firedE1tは時間tにおいて発火したことが観察されたE1ニューロンのセットを示し、は全てのt<0に用いられる。ここで、を定義する。このため、E1’n、μは、繰り返されるフィードバックアクティビティによって発火することができただけのE1ニューロンのセットを含む。このため、各nおよびμについて、関係9は以下の尺度を提供する。ここで、||S||はセットSの濃度を示し、0≦Rn、μ、Pn、μ≦1であり、E1’n、μはE1に記録された入力フィードフォワードアクティビティの返信画像であるので、Rn、μは実際の入力との返信画像の一致の量を測定するようになっている。すなわち、Rn、μは、返信画像と実際の入力と間の一致が高レベルであると大きく、そうでなければ小さい。このため、Rn、μは想起の尺度であり、時空パターンのあるバージョンが提示されると、システムは記憶した時空パターンを検索するようになっている。同様に、Pn、μは、実際のアクティビティと誘発されたアクティビティとの間の関連付けを行う精度を測定する。前記尺度の平均バージョンは以下の通りである。表3は、本発明に従った一例のシミュレーションを示し、標記は、構造によるオブジェクトを示し、指数E1、E2、I2、およびI2はポピュレーションE1、E2、I1、およびI2における量を標示する多重指数として機能する。更に、ME1,E2は、E1における行指数およびE2における列指数を有する行列Mを指す。いずれかの2つの行列MおよびΔが与えられると、演算子は、以下のように設定することによって定義される。ここで、以下のように、適切な単位にスケーリングした基本時間ステップを利用する。本発明の一実施形態において、入力パターンの時間期間は、ランダムおよび可変であるが、約10msと約100msとの間等の所与の下限および上限内に収まる。しかしながら、入力パターンにノイズが連続的に存在すると想定される。パターンは、相当に長い時間間隔にわたって繰り返し発生する。一例では、空間スケールによって、特定の一連の時空イベントがパターンを構築するか否かを判定する。本発明の一実施形態に従った神経方法およびシステムは、ニューロンのスパイキング、スパイク時間駆動学習則およびニューロン間の反復接続を含む大脳皮質ネットワークのフィーチャを実施する。このシステムでは、教師なし訓練セッションの後に、入力パターン識別およびその後のパターン想起を行うために、ニューロン当たり単一のスパイクだけが必要である。このシステムは、もっと大きいシステムの中間処理段として機能することができ、この場合、神経生物学的実験によって提案されたものと同様の時間制約のもとで、機能的に著しい量の処理を行うことができる。本発明の一実施形態によれば、ニューラルシステムは、競合ダイナミクスおよび教師なし学習によってニューロンのスパイキングに対応するように構成されたアーキテクチャを実施する。ニューラルシステムは、検索の実行が成功し、いったんパターンが非活性化されると消失するアクティビティにより一時的なニューロンアセンブリを実施する。かかる一時的なアセンブリによって、メモリの効率的かつ迅速な連続活性化および検索を可能とする。ニューラルシステムは、パターン完成のための専用のニューラル回路を含み、注目しその後分析する必要があるイベントを特定することができる。ニューラルシステムは、モジュール式フレームワークへの組み込みに容易に適用することができ、各モジュールは本明細書に開示した基本的な2レイヤ電子ニューロン実施を有する。一例として、モジュール式フレームワーク構成は、基本的な2レイヤモジュールを階層的に積層することを含み、階層における各レベルが様々な抽象レベルのフィーチャを表す。基本的な2レイヤシステムに追加のニューロンレイヤ例えばE2a、E2b等を追加することも可能であり、各ニューロンレイヤが並列に同一入力ストリーム内の異なるパターンフィーチャに応答する。これは、各ニューロンレイヤシートについて異なる受信フィールドプロファイルを用いることで達成可能である。あるいは、システムが多数のE1レイヤを含み、別個の入力ストリームが全て単一のE2レイヤに供給されることも可能である。システムは、これらの代替案の様々な置換および組み合わせを行うことによって、以前に学習したパターンを複雑な組成に統合することができる。本発明の実施形態は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態、またはハードウェアおよびソフトウェアの双方の要素を含む実施形態の形態をとることができる。上述したような本発明に従ったカノニカルスパイキングニューロンシステムの一例のアーキテクチャは、レイヤE1、E2、I1、およびI2におけるニューロンを含み、更に、それらの間の接続および学習則を含む。かかるシステムは、従来のコンピュータシステム上でのシミュレーションによって、または様々な異なるハードウェアスキームによってその1つは超高密度シナプスクロスバーアレイを含み、スパイクタイミング依存可塑性を提供する実施する等、異なる方法で実施することができる。本明細書において用いる場合、超高密度クロスバーアレイという言葉は、約0.1nmから10μmの範囲のピッチを有することができるクロスバーアレイを指す。図9は、複数のニューロン15、17、19、および21を有するクロスバーアレイ100を含む一例のニューラルシステムを示す。これらのニューロンは、本明細書において電子ニューロンとも称する。ニューロン15および17は軸策ニューロンであり、ニューロン19および21は樹状突起ニューロンである。軸策ニューロン15および17は、出力22および24がそれぞれ軸策26および28に接続されて示されている。樹状突起ニューロン19および21は、入力30および32がそれぞれ樹状突起34および36に接続されて示されている。また、軸策ニューロン15および17は、入力を含み、樹状突起に沿って信号を受信するが、これらの入力および樹状突起は例示の簡略さのため図示しない。このため、軸策ニューロン15および17は、樹状突起接続に沿って入力を受信する場合に樹状突起ニューロンとして機能する。同様に、樹状突起ニューロン19および21は、それらの軸策接続に沿って信号を送信する場合に軸策ニューロンとして機能する。ニューロン15、17、19および21のいずれかが発火すると、それらは軸策および樹状突起接続に対してパルスを送出する。軸策26、28および樹状突起34、36間の各接続は、可変状態抵抗器38、40、42、および44を介して行われる。可変状態抵抗器が位置する接合部を、本明細書においてはクロスポイント接合部と称することができる。可変状態抵抗器という言葉は、電気的パルス電圧または電流のいずれかの印加によってデバイスの電気的コンダクタンス特性が変化するデバイスのクラスを指す。クロスバーアレイニューラルシステムの一般的な考察では、かかるクロスバーアレイにおいて用いるような可変状態抵抗器に関して、K.LikharevHybridCOS/NanoelectronicCircuits:OpportunitiesandChallenges、J.NanoelectronicsandOptoelectronics,2008Vol.3、203~230ページ、2008年を参照する。本発明の一実施形態では、可変状態抵抗器は相変化メモリPCMを含むことができる。PCMデバイスの他に、本発明の実施形態において使用可能な他の可変状態抵抗器デバイスは、金属酸化物、硫化物、酸化シリコン、およびアモルファスシリコン、磁気トンネル接合、浮動ゲートFETトランジスタ、および有機薄膜層デバイスを用いて形成したデバイスを含む。これらについては上述のK.Likharevの記事に更に詳細に記載されている。また、可変状態抵抗器は、スタティックランダムアクセスメモリデバイスを用いて構築することも可能である。また、可変状態抵抗器にはアクセスデバイス39が接続されており、これはPNダイオード、ダイオードとして配線されたFET、または非線形電圧-電流応答を有する他の何らかの要素を含むことができる。ニューロン15、17、19、および21は各々、一対のRC回路48を含む。一般に、本発明の一実施形態によれば、軸策ニューロン15および17は、樹状突起入力接続図示せずから受信した入力が閾値を超えた場合に発火するパルスを送信する。軸策ニューロン15および17が発火した場合、それらはA-STDP変数を維持する。この変数は、そのRC回路48の一方の抵抗器およびコンデンサの値によって決定する比較的長い所定の時定数により減衰する。例えば一実施形態において、この時定数は50msとすることができる。A-STDP変数は、電流ミラーを用いたコンデンサまたは等価回路間の電圧を求めることによってサンプリングすることができる。この変数を用いて、関連するニューロンの最後の発火後の時間を符号化することによって、軸策STDPを達成する。軸策STDPを用いて増強potentiationを制御する。これは、この文脈において、シナプスコンダクタンスの上昇として定義される。樹状突起ニューロン19、21が発火すると、それらはD-STDP変数を維持する。この変数は、そのRC回路48の一方における抵抗器およびコンデンサの値に基づいて比較的長い所定の時定数で減衰する。例えば一実施形態では、この時定数は約50msとすることができる。他の実施形態では、この変数は時間の関数として減衰する場合がある。例えばこの変数は、一次、多項、または二次関数に従って減衰する場合がある。本発明の別の実施形態では、変数は、経時的に低下するのでなく上昇する場合がある。いずれにせよ、この変数を用いて、関連するニューロンの最後の発火後の時間を符号化することによって、樹状突起STDPを達成することができる。樹状突起STDPを用いて抑圧depressionを制御することができる。これは、この文脈において、シナプスコンダクタンスの低下として定義される。本発明の実施形態は、コンピュータ、処理デバイス、またはいずれかの命令実行システムによってまたはそれと接続して用いるためのプログラムコードを提供するコンピュータ使用可能またはコンピュータ読み取り可能媒体からアクセス可能なコンピュータシミュレーションまたはプログラムの形態をとることができる。当業者には認められるであろうが、本発明の態様は、システム、方法、またはコンピュータプログラムとして具現化することができる。従って、本発明の態様は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態ファームウェア、常駐ソフトウェア、マイクロコード等を含む、または、ソフトウェアおよびハードウェアの態様を組み合わせた実施形態という形をとることができ、それらは全て本明細書において、回路、モジュール、またはシステムと一般的に称することができる。更に、本発明の態様は、具現化されたコンピュータ読み取り可能プログラムコードを有する1つ以上のコンピュータ読み取り可能媒体複数の媒体において具現化されたコンピュータプログラムの形態をとることも可能である。1つ以上のコンピュータ読み取り可能媒体複数の媒体のあらゆる組み合わせを利用することができる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体またはコンピュータ読み取り可能記憶媒体とすることができる。コンピュータ読み取り可能記憶媒体は例えば、限定ではないが、電子、磁気、光、電磁、赤外線、または半導体のシステム、装置、デバイス、または前述のもののいずれかの適切な組み合わせとすることができる。コンピュータ読み取り可能記憶媒体の更に具体的な例非網羅的な列挙は、以下を含む。すなわち、1本以上のワイヤを含む電気的接続、携帯型コンピュータディスケット、ハードディスク、ランダムアクセスメモリRAM、読み取り専用メモリROM、消去可能プログラマブル読み取り専用メモリEPROMまたはフラッシュメモリ、光ファイバ、携帯型コンパクトディスク読み取り専用メモリCD-ROM、光記憶デバイス、磁気記憶デバイス、または前述のもののいずれかの適切な組み合わせである。この文書の文脈において、コンピュータ読み取り可能記憶媒体は、命令実行システム、装置、またはデバイスによってまたはそれと接続して用いるためにプログラムを含有または記憶することが可能ないずれかのタンジブルな媒体とすることができる。コンピュータ読み取り可能信号媒体は、例えばベースバンドにおいてまたは搬送波の一部として、具現化されたコンピュータ読み取り可能プログラムコードを有する伝播データ信号を含むことができる。かかる伝播信号は様々な形態のいずれかをとることができ、それらは限定ではないが、電磁、光、またはそれらのいずれかの適切な組み合わせを含む。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体でないが、命令実行システム、装置、またはデバイスによってまたはそれと接続して用いるためにプログラムを伝達、伝播、または転送することが可能ないずれかのコンピュータ読み取り可能媒体とすることができる。コンピュータ読み取り可能媒体上で具現化されるプログラムコードは、限定ではないが、無線、有線、光ファイバケーブル、RF等、または前述のもののいずれかの適切な組み合わせを含むいずれかの適切な媒体を用いて伝送することができる。本発明の態様の動作を実行するためのコンピュータプログラムコードは、Java、Smalltalk、C等のオブジェクト指向プログラミング言語、およびCプログラミング言語または同様のプログラミング言語等の従来の手順プログラミング言語を含む1つ以上のプログラミング言語のいずれかの組み合わせにおいて記述することができる。プログラムコードは、全体的にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンのソフトウェアパッケージとして、部分的にユーザのコンピュータ上でおよび部分的に遠隔コンピュータ上で、または全体的に遠隔コンピュータもしくはサーバ上で、実行することができる。後者の場合、遠隔コンピュータは、ローカルエリアネットワークLANまたはワイドエリアネットワークWANを含むいずれかのタイプのネットワークを介してユーザのコンピュータに接続することができ、または、接続は、例えばインターネットサービスプロバイダを用いてインターネットを介して外部コンピュータに対して行うことができる。本発明の実施形態に従った方法、装置システム、およびコンピュータプログラムのフローチャート図またはブロック図あるいはその両方を参照して、本発明の態様について以下に記載する。フローチャート図またはブロック図あるいはその両方の各ブロック、およびフローチャート図またはブロック図あるいはその両方におけるブロックの組み合わせは、コンピュータプログラム命令によって実施可能であることは理解されよう。これらのコンピュータプログラム命令は、汎用コンピュータ、特殊目的コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されて機械を生成することができ、これによって、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行される命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能/行為を実施するための手段を生成するようになっている。また、これらのコンピュータプログラム命令はコンピュータ読み取り可能媒体に記憶することができ、これによって、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスに特定の方法で機能するように指示することができ、これにより、コンピュータ読み取り可能媒体に記憶された命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能/行為を実施する命令を含む製造品を生成するようになっている。また、コンピュータプログラム命令を、コンピュータ、他のプログラマブルデータ処理装置、または他のデバイスにロードして、そのコンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させてコンピュータ実施プロセスを生成することができ、これによって、コンピュータまたは他のプログラマブル装置上で実行する命令が、フローチャートまたはブロック図あるいはその両方のブロックまたは複数のブロックに規定された機能/行為を実施するためのプロセスを提供するようになっている。図10は、本発明の一実施形態を実施するために有用な情報処理システムを示す高レベルのブロック図である。コンピュータシステムは、プロセッサ102等の1つ以上のプロセッサを含む。プロセッサ102は、通信インフラストラクチャ104例えば通信バス、クロスオーバーバス、またはネットワークに接続されている。コンピュータシステムは、ディスプレイインタフェース106を含むことができ、これはディスプレイユニット108上で標示するために、通信インフラストラクチャからのまたは図示しないフレームバッファからのグラフィック、テキスト、および他のデータを転送する。また、コンピュータシステムは、好ましくはランダムアクセスメモリROMであるメインメモリ110を含み、更に二次メモリ112を含むことができる。二次メモリは、例えばハードディスクドライブ114または着脱可能記憶デバイス116あるいはその両方を含むことができ、これは例えば、フレキシブルディスクドライブ、磁気テープドライブ、または光ディスクドライブを表す。着脱可能記憶ドライブ116は、当業者に周知の方法で、着脱可能記憶ユニット118からの読み取りまたはこれへの書き込みあるいはその両方を行う。着脱可能記憶ユニット118は、例えばフレキシブルディスク、コンパクトディスク、磁気テープ、または光ディスク等を表し、これは着脱可能記憶ドライブ116によって読み取りおよび書き込みを行う。認められるように、着脱可能記憶ユニット118は、コンピュータソフトウェアまたはデータあるいはその両方を記憶しているコンピュータ読み取り可能媒体を含む。代替的な実施形態では、二次メモリ112は、コンピュータシステムにコンピュータプログラムまたは他の命令をロードすることを可能とするための他の同様の手段を含むことができる。かかる手段は、例えば着脱可能記憶ユニット120およびインタフェース122を含むことができる。かかる手段の例は、プログラムパッケージおよびパッケージインタフェースビデオゲームデバイスにおいて見られるもの等、着脱可能メモリチップEPROMまたはPROM等および関連するソケット、ならびに他の着脱可能記憶ユニット120および122であって、この着脱可能記憶ユニット120からコンピュータシステムにソフトウェアおよびデータを転送可能とするものを含むことができる。また、コンピュータシステムは通信インタフェース124を含むことができる。通信インタフェース124によって、コンピュータシステムと外部デバイスとの間でソフトウェアおよびデータを転送することができる。通信インタフェース124の例は、モデム、ネットワークインタフェースイーサネットカード等、通信ポート、またはPCMCIAスロットおよびカード等を含むことができる。通信インタフェース124を介して転送されるソフトウェアおよびデータは、例えば、電子、電磁、光、または通信インタフェース124によって受信可能な他の信号とすることができる信号の形態である。これらの信号は、通信経路すなわちチャネル126を介して通信インタフェース124に供給される。この通信経路126は、信号を搬送し、ワイヤまたはケーブル、光ファイバ、電話線、携帯電話リンク、無線周波数RFリンク、または他の通信チャネルあるいはそれら全てを用いて実施することができる。この文書において、コンピュータプログラム媒体、コンピュータ使用可能媒体、およびコンピュータ読み取り可能媒体という言葉は、メインメモリ110および二次メモリ112、着脱可能記憶ドライブ116、およびハードディスクドライブ114にインストールされたハードディスク等の媒体を一般的に指すために用いられる。メインメモリ110または二次メモリ112あるいはその両方に、コンピュータプログラムコンピュータ制御論理とも呼ばれるが記憶されている。また、通信インタフェース124を介してコンピュータプログラムを受信することも可能である。かかるコンピュータプログラムは、実行されると、本明細書において論じたような本発明のフィーチャをコンピュータシステムが実行することを可能とする。特に、コンピュータプログラムは、実行されると、コンピュータシステムのフィーチャをプロセッサ102が実行することを可能とする。従って、かかるコンピュータプログラムは、コンピュータシステムのコントローラを表す。図面におけるフローチャートおよびブロック図は、本発明の様々な実施形態に従ったシステム、方法、およびコンピュータプログラムの可能な実施のアーキテクチャ、機能性、および動作を例示する。この点で、フローチャートまたはブロック図における各ブロックは、規定された論理機能複数の機能を実施するための1つ以上の実行可能命令を含むコードのモジュール、セグメント、または一部を表すことができる。また、いくつかの代替的な実施において、ブロックに明記した機能は、図面に明記した順序どおりでなく発生する場合があることに留意すべきである。例えば、関与する機能性に応じて、連続して示した2つのブロックは実際には実質的に同時に実行されることがあり、またはブロックは時に逆の順序で実行される場合がある。また、ブロック図またはフローチャート図あるいはその両方の各ブロック、およびブロック図またはフローチャート図あるいはその両方におけるブロックの組み合わせは、規定された機能もしくは行為を実行する特殊目的ハードウェアベースのシステム、または特殊目的ハードウェアおよびコンピュータ命令の組み合わせによって実施可能であることに留意すべきである。また、本明細書において以下が開示される。1.方向性シナプス接続性を有するレイヤニューラルネット関係を有する複数の電子ニューロンであって、1つ以上の第1の興奮性スパイキング電子ニューロンを含む第1の興奮性スパイキング電子ニューロンレイヤと、1つ以上の第2の興奮性スパイキング電子ニューロンを含む第2の興奮性スパイキング電子ニューロンレイヤと、1つ以上の第1の抑制性スパイキング電子ニューロンを含む第1の抑制性スパイキング電子ニューロンレイヤと、を含む、複数の電子ニューロンを含み、第1の興奮性スパイキング電子ニューロンレイヤが入力データストリームを受信し、第1および第2の興奮性スパイキング電子ニューロンレイヤおよび第1の抑制性スパイキング電子ニューロンレイヤが組み合って、学習則に基づいて受信した入力を処理し、学習則が、入力データストリームにおける時空パターンの関数として電子ニューロン間のシナプス相互接続のコンダクタンスのレベルを与える、ニューラルシステム。2.各第1の興奮性スパイキング電子ニューロンが第2の興奮性スパイキング電子ニューロンに接続され、各第2の興奮性スパイキング電子ニューロンが第1の興奮性スパイキング電子ニューロンおよび第1の抑制性スパイキング電子ニューロンに接続され、各第1の抑制性スパイキング電子ニューロンが第2の興奮性スパイキング電子ニューロンに接続され、各第1の抑制性スパイキング電子ニューロンが側方抑制により勝者総取りプロセスを提供する、上述の条項1に記載のシステム。3.学習則に基づいて、第1の興奮性スパイキング電子ニューロンが入力データストリームによって活性化されると、第1の興奮性スパイキング電子ニューロンは接続された第2の興奮性スパイキング電子ニューロンをトリガし、第1の興奮性スパイキング電子ニューロンと第2の興奮性スパイキング電子ニューロンとの間の接続のコンダクタンスが強化される、上述の条項2に記載のシステム。4.学習則に基づいて、第2の興奮性スパイキング電子ニューロンが1つ以上の第1の興奮性スパイキング電子ニューロンによってトリガされると、第2の興奮性スパイキング電子ニューロンは接続された第1の抑制性スパイキング電子ニューロンをトリガし、第2の興奮性スパイキング電子ニューロンに抑制信号が返信され、これによって、ある時間期間だけ第2の興奮性スパイキング電子ニューロンによる更に別のアクティビティを抑制する、上述の条項3に記載のシステム。5.学習則に基づいて、最近トリガされた第2の興奮性スパイキング電子ニューロンのアクティビティの後に接続された第1の興奮性スパイキング電子ニューロンのアクティビティが発生すると、第1および第2の接続された興奮性スパイキング電子ニューロン間の接続のコンダクタンスが弱くなる、上述の条項4に記載のシステム。6.学習則に基づいて、接続された第1の興奮性スパイキング電子ニューロンの短期間後に第2の興奮性スパイキング電子ニューロンが発火すると、第1および第2の接続された興奮性スパイキング電子ニューロン間の接続のコンダクタンスが強化される、上述の条項5に記載のシステム。7.複数の電子ニューロンが、リアルタイム入力データストリームにおいて時空パターンの存在を検出し、時空パターンを抽出し、学習則に基づいて、複数の電子ニューロンに時空パターンを記憶し、時空パターンのあるバージョンが提示されると、記憶した時空パターンを検索し、学習則が、時空パターンの関数として電子ニューロン間のシナプス相互接続のコンダクタンスのレベルを与える、上述の条項6に記載のシステム。"