(57)【特許請求の範囲】
【請求項１】
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法であって、
前記ネットワークのニューロン回路にシナプス入力を提供することであって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、提供することと、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチすることと、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用することと
を含む方法。
【請求項２】
前記学習ルールが実数値のヘブ学習ルールを含む、請求項１に記載の方法。
【請求項３】
前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項２に記載の方法。
【請求項４】
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項１に記載の方法。
【請求項５】
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項１に記載の方法。
【請求項６】
ラッチすることが、
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、請求項１に記載の方法。
【請求項７】
ラッチすることが、
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、請求項１に記載の方法。
【請求項８】
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項１に記載の方法。
【請求項９】
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項１に記載の方法。
【請求項１０】
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項１に記載の方法。
【請求項１１】
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項１に記載の方法。
【請求項１２】
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化すること
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
請求項１に記載の方法。
【請求項１３】
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供すること
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
請求項１に記載の方法。
【請求項１４】
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択すること
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
請求項１に記載の方法。
【請求項１５】
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路であって、
前記ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするように構成された第２の回路と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するように構成された第３の回路と
を含む電気回路。
【請求項１６】
前記学習ルールが実数値のヘブ学習ルールを含む、請求項１５に記載の電気回路。
【請求項１７】
前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項１６に記載の電気回路。
【請求項１８】
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項１５に記載の電気回路。
【請求項１９】
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項１５に記載の電気回路。
【請求項２０】
前記第２の回路が、また、ニューロン回路が最後に発火して以来前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、請求項１５に記載の電気回路。
【請求項２１】
前記第２の回路が、また、ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、請求項１５に記載の電気回路。
【請求項２２】
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項１５に記載の電気回路。
【請求項２３】
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項１５に記載の電気回路。
【請求項２４】
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項１５に記載の電気回路。
【請求項２５】
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項１５に記載の電気回路。
【請求項２６】
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するように構成された第４の回路
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
請求項１５に記載の電気回路。
【請求項２７】
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するように構成された第４の回路
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
請求項１５に記載の電気回路。
【請求項２８】
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するように構成された第４の回路
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
請求項１５に記載の電気回路。
【請求項２９】
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置であって、
前記ネットワークのニューロン回路にシナプス入力を提供するための手段であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするための手段と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するための手段と
を含む装置。
【請求項３０】
前記学習ルールが実数値のヘブ学習ルールを含む、請求項２９に記載の装置。
【請求項３１】
前記ヘブ学習ルールがＯｊａ学習ルールを含む、請求項３０に記載の装置。
【請求項３２】
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、請求項２９に記載の装置。
【請求項３３】
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、請求項２９に記載の装置。
【請求項３４】
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、請求項２９に記載の装置。
【請求項３５】
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、請求項２９に記載の装置。
【請求項３６】
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、請求項２９に記載の装置。
【請求項３７】
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、請求項２９に記載の装置。
【請求項３８】
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、請求項２９に記載の装置。
【請求項３９】
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、請求項２９に記載の装置。
【請求項４０】
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するための手段
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
請求項２９に記載の装置。
【請求項４１】
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するための手段
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
請求項２９に記載の装置。
【請求項４２】
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するための手段
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
請求項２９に記載の装置。
【請求項４３】
請求項１〜１４のいずれか一項に記載の方法をコンピュータに実行させるコードを備えるコンピュータプログラム。
【請求項４４】
請求項１〜１４のいずれか一項に記載の方法をコンピュータに実行させるコードを記録したコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示のいくつかの態様は、一般に、神経システム工学に関し、より詳細には、発振（oscillations）を使用したメモリのためのロバストなニューラル時間符号化、学習、およびセル・リクルートメント（cell recruitments）の方法および装置に関する。
【背景技術】
【０００２】
神経システムのニューロンは、時限式スパイクの形態で時間コード（temporal codes）を使用して時間的に情報を通信することができる。この理由から、符号化（coding）および復号の方法、ならびに、そのような時間的情報を学習する方法は、主要な関心事である。
【０００３】
特に、他の時間的パターン方法とは対照的に、単に入力または入力の順序の一致ではなく、時間的パターンを見分けることが望まれる。本開示は、生物学的に着想を得ており／一貫性がある（biologically-inspired/consistent）が、複雑さが低減され、時間的スパイク信号パターンを符号化し、復号し、認識し、学習することができる方法を提供する。
【発明の概要】
【０００４】
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法を提供する。本方法は、一般に、ネットワークのニューロン回路にシナプス入力を提供することであって、シナプス入力の各々がシナプス重みのうちの１つのシナプス重みと時間遅延とに関連付けられた、提供することと、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチすることと、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用することとを含む。
【０００５】
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路を提供する。本電気回路は、一般に、ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチするように構成された第２の回路と、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用するように構成された第３の回路とを含む。
【０００６】
本開示のいくつかの態様は、スパイキングニューロン回路のネットワークをニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置を提供する。本装置は、一般に、ネットワークのニューロン回路にシナプス入力を提供するための手段であって、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、シナプス入力を含むニューロン回路の入力が増加したら、重み付けされ遅延されているシナプス入力の各々をラッチするための手段と、入力があったら、または入力の増加に基づいてニューロン回路がスパイクしたら、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールを適用するための手段とを含む。
【０００７】
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節する方法を提供する。本方法は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算することと、発火率が下限を下回るか、または上限を上回るかを決定することと、決定に基づいてステップ量によって発火率を調整することとを含む。
【０００８】
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節するための電気回路を提供する。本電気回路は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算するように構成された第１の回路と、発火率が下限を下回るか、または上限を上回るかを決定するように構成された第２の回路と、決定に基づいてステップ量によって発火率を調整するように構成された第３の回路とを含む。
【０００９】
本開示のいくつかの態様は、ニューラルネットワークのニューロン回路の発火率を調節するための装置を提供する。本装置は、一般に、時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率を定期的に計算するための手段と、発火率が下限を下回るか、または上限を上回るかを決定するための手段と、決定に基づいてステップ量によって発火率を調整するための手段とを含む。
【００１０】
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部が示された諸態様を参照することによって、上記で概要を示した、より具体的な説明が得られる。しかしながら、それらの説明が他の等価の有効な態様を容認し得るので、添付の図面は、本開示の特定の典型的な態様のみを示しており、したがって、本開示の範囲の限定するものとみなされるべきではないことに留意されたい。
【図面の簡単な説明】
【００１１】
【図１】本開示のいくつかの態様による例示的なニューロンのネットワークを示す図。
【図２】本開示のいくつかの態様による例示的な相対遅延ニューロンモデルを示す図。
【図３】本開示のいくつかの態様による樹状モデルによる相対遅延入力の例示的な再アラインメントを示す図。
【図４】本開示のいくつかの態様による学習曲線の例示的な時間的シフトを示す図。
【図５】本開示のいくつかの態様による学習曲線の例示的な時間的シフトおよび感度減衰を示す図。
【図６】本開示のいくつかの態様によるダイナミックスパイキングヘブルール方法（dynamic spiking Hebbian rule method）によって得られる例示的な学習曲線を示す図。
【図７】本開示のいくつかの態様による相対遅延ニューロンモデルのロバストネス態様の一例を示す図。
【図８】本開示のいくつかの態様による完全性符号化（integrity coding）の基本的な触媒としての例示的な単一の発振を示す図。
【図９】本開示のいくつかの態様による例示的な発振基準および完全性時間符号化を示す図。
【図１０】本開示のいくつかの態様による例示的な発振基準および完全性レート符号化を示す図。
【図１１】本開示のいくつかの態様によるメモリのための特定のセルのリクルートメントのための接続性の一例を示す図。
【図１２】本開示のいくつかの態様によるメモリのための特定のセルのリクルートメントのための例示的な時間的ビューを示す図。
【図１３】本開示のいくつかの態様による、時間的パターンを高度に分解可能なサブパターンに分けるために発振を使用する一例を示す図。
【図１４】本開示のいくつかの態様によるパターンを関連付けるために発振を使用する一例を示す図。
【図１５】本開示のいくつかの態様によるニューロン回路のネットワークで実行され得る例示的な動作を示す図。
【図１５Ａ】図１５に示した動作を実行することが可能な例示的な構成要素を示す図。
【図１６】本開示のいくつかの態様によるニューラルネットワークのニューロン回路で実行され得る他の例示的な動作を示す図。
【図１６Ａ】図１６に示した動作を実行することが可能な例示的な構成要素を示す図。
【詳細な説明】
【００１２】
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得るものであり、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるために与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１３】
「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。本明細書で「例示的」として説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
【００１４】
本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。詳細な説明および図面は、限定的なものではなく本開示を説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびその均等物によって規定される。
【００１５】
例示的な神経システム
図１は、本開示の特定の態様による、複数のレベルのニューロンを含む例示的な神経システム１００を示す。神経システム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に接続されたあるレベルのニューロン１０２を含み得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的な神経システムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
【００１６】
図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１には図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信することができる。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、ニューロン膜に蓄積されて、膜電位に充電し得る。膜電位がその閾値に達すると、ニューロンは、発火し、次のレベルのニューロン（たとえば、レベル１０６）に伝達されるべき出力スパイクを生成し得る。
【００１７】
図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの伝達は、シナプス結合（または単に「シナプス」）のネットワーク１０４を通じて達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプス重みｗ１(i,i+1)，．．．，ｗＰ(i,i+1)（Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数）に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル１０６における各ニューロンの入力信号として結合することができる。レベル１０６におけるあらゆるニューロンは、対応する結合された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに伝達され得る。
【００１８】
神経システム１００は、電気回路によってエミュレートされ得、たとえば画像およびパターン認識、機械学習、モータ制御など、広い適用範囲において利用され得る。神経システム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始する閾値までチャージされたニューロン膜は、たとえば、それを通って流れる電流を積分するキャパシタとして実装され得る。
【００１９】
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去されることができ、その代わりにより小さいメモリスタ要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の用途において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプスの重みの変化は、メモリスタ抵抗の変化に関連し得る。ナノメートルのフィーチャサイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され、これによって、非常に大規模な神経システムハードウェア実装形態の実装が実用的になり得る。
【００２０】
神経システム１００のニューロン回路は時限式スパイクの形態のいわゆる時間コードを使用して時間的に情報を通信すし得るので、符号化および復号方法ならびにそのような時間的情報を学習する方法は、主要な関心事である。本開示のいくつかの態様は、他の時間的パターン方法とは対照的に、単に入力または入力の順序の一致ではなく、時間的パターンを見分けるための方法をサポートする。さらに、本開示は、生物学的に着想を得ており／一貫性があるが、複雑さが低減され、時間的スパイク信号パターンを符号化し、復号し、認識し、学習することができる実用的な方法を提案する。本開示では、効率的な時間的パターンメモリのためのロバストネス、信頼度または完全性符号化、およびセル・リクルートメントのためのスケーラブルな時間的ニューラルモデルへの拡張が提案される。提案された手法は、発振またはリズムおよび同期性の実験的な証拠によって生物学的に着想を得ており、また同時に、モデリングの複雑性を低減するように動機付けられる。
【００２１】
相対遅延線および樹状遅延線
本開示では、シナプスにおける入力間の相対遅延、シナプスにおける入力と基準入力との間の相対遅延、またはその両方に基づいてニューロンの挙動が決定され得る方法が提案される。時間符号化モデルの基本的な態様が図２に示される。ニューロン２０２、２０４、２０６、２０８（すなわち、入力ニューロン）から出力されたスパイクの空間時間的パターンは、ニューロン２１０のためのスパイク入力を構成し得る。各入力ニューロンは、ニューロン２１０の１つまたは複数の樹状突起において１つまたは複数のシナプスを介してニューロン２１０に接続することができる。各シナプスは、ニューロン２０４とニューロン２１０とを接続しているシナプス２１２について図２に示すように、ニューロン２１０の細胞体に到達する前に入力ニューロンからのスパイクが受ける時間遅延を特徴付ける関連する遅延を有し得る。図２に示すように、入力は、遅延および統合の前にスケーリングを受け得る。代替的に、入力は、大規模なネットワークにおける処理低減のためのスケーリングの前に遅延を受け得る。
【００２２】
この方法を使用して、ニューロンは、入力ニューロンの出力において空間時間的（入力ニューロンという意味では空間的、相対的なスパイクタイミングまたはスパイク間の時間差という意味では時間的）パターンを認識することができる。これは図３に示されており、入力ニューロン３０２、３０４、３０６、３０８が異なる時刻にスパイクし得る。しかしながら、樹状突起における遅延の結果、入力ニューロンからの信号は、時間的に整列されて出力ニューロンｘの細胞体に到達し得る。したがって、時刻ｔにおける出力ニューロンｘへの入力は、入力ニューロンの遅延された出力の関数として表される：  
【数１】
0005840776.tif 000002
【００２３】
式中、ｊはシナプスインデックス、ｉjはシナプスｊが接続する入力ニューロン、ｎjはΔｔの単位のシナプス遅延、ｖi（ｔ）は入力ニューロンｉの出力、ｗjはシナプス重みである。式（１）では、シナプス遅延は、合計遅延が抽出（abstract）される遅延を表す。その合計遅延は、デジタルアナログ遅延（すなわち、活動電位（ＡＰ：action potential）からシナプス後電位（ＰＳＰ：post-synaptic potential）への変換のための時間）に起因する実際のシナプス遅延、樹状遅延（すなわち、ＰＳＰが細胞体に到達するための受動的な移動時間）、または他の遅延（たとえば、異なる層または数のニューロンを通る経路に起因する軸索遅延またはネットワークアーキテクチャ遅延）のうちの１つまたは複数（の組合せ）に起因し得る。
【００２４】
ニューロン３０２、３０４、３０６、３０８の発火の実際のタイミングは、図３に３１０と標示されている。シナプスに対応する特定の遅延（すなわち、時間遅延分解能Δｔの倍数によって示される）があるので、遅延の後の入力のタイミングは、相対遅延がいったん考慮に入れられた後には（図３に３１２と標示されている）、整列してもよく、整列しなくてもよい。いくつかのシナプスが、長すぎて（たとえば、遅延３１４を有するシナプス）、または短すぎて（たとえば、遅延３１６を有するシナプス）他のシナプスの遅延と一致しない遅延に関連付けられることが、図３から観察される。一態様では、これらの短いおよび長い遅延は、認識されたパターンから破棄され、または認識されたパターンに追加されないことが可能であり、一方、結果として一致する遅延されたスパイクになる遅延は、認識されたパターンに対応するように保持または追加され得る。
【００２５】
本開示の好ましい態様では、整数ミリ秒の離散時間遅延を利用することができる（すなわち、時間遅延分解能Δｔ＝１ｍｓの倍数の遅延）。しかしながら、一般に、任意の離散的または連続的な分解能が使用され得る。離散的なモデルでは、遅延は、整数ｎxiによって表され得、ｘは入力ニューロン（たとえば、図３のニューロン３０２）であり、ｉは、各入力に対する１つまたは複数のシナプスが存在し得るので、その入力ニューロンに関するシナプスインデックスである。
【００２６】
以下に、ロバストな形で空間時間的パターンをどのように学習するかを示す。
【００２７】
スパイクベースのヘブ学習方法（SPIKE-BASED HEBBIAN LEARNING METHOD）
本開示では、まず、時間符号化および学習のためのロバストな低減された方法が提案される。次に、この方法は、発振およびリズムを使用したさらなるロバストネスの方法のためのベースとして利用され得る。本開示の態様では、メモリのためのセル・リクルートメントのために、これらの２つの方法が一緒に使用され得る。
【００２８】
ヘブ学習ルールは、一般的に、レート符号化または他のウィンドウ化されたニューロンモデルに基づいて動作し、試行時間ウィンドウにわたる発火出力に基づいてシナプス重みを調整する。しかしながら、スパイクベースのモデルは、必ずしも発火を引き起こす役目を果たす特定の入力と一致するとは限らない特定の遅延で発火し得る、ニューロンの精密なタイミング挙動を再現するために使用され得る。低減されたモデルで使用される方法は、これらの差を調整することを可能にする。
【００２９】
一般に、ヘブ学習は、入力と出力が同時に起こるときに、入力を出力と関連付ける（接続する（wires together））学習を指す。しかしながら、様々なそのようなルールおよび関連する変形は、特定の時間的態様ゆえに、本開示において提案される方法に関連すると考えられ得る。レート符号化では、一般にヘブ原理による関連付けのための時間ウィンドウ中に発火している２つのニューロンを考慮し得る。しかしながら、提案された方法では、個々のスパイクの相対的タイミングが考慮され得る。さらに、ニューロンが入力後にいくらか遅延を伴って発火し得る（因果性（causality））ので、個々のスパイクレベルで挙動を考えるときには、「同時性（simultaneity）」が必ずしも最適な関連条件とは限らない場合がある。これは、以下で説明する理由のために重要であり得る。
【００３０】
シナプスの重みを学習することは、一般的に、シナプス可塑性と呼ばれ得る。スパイクタイミング依存可塑性（ＳＴＤＰ：Spike-Timing-Dependent Plasticity）では、学習におけるシナプスの重みの調整は、一般的に、ΔＴによって表される、シナプス前入力スパイクが発生するときと、シナプス後ニューロンが発火するときとの間の時間差に関して説明され得る。ここでは、正の値は、シナプス前入力がシナプス後ニューロンの後で発火したことを意味する表記法が使用され得る。学習は、時間差値の範囲にわたる重み調整の量および方向を表す曲線として表すことができる。標準ＳＴＤＰ曲線が原点で不連続性を有することに留意されたい。
【００３１】
しかしながら、学習曲線の重要な面は、シフトであり得る。シフトされた曲線の例が図４および図５に示される。図４は、本開示のいくつかの態様による学習曲線の時間的シフトの一例４００を示す。図５は、本開示のいくつかの態様による学習曲線の時間的シフトおよび感度減衰の一例５００を示す。シフトが他の態様、たとえば強化またはデエンファシスの変形または他の形状態様などと結合され得ることに留意されたい。
【００３２】
重み学習曲線のそのようなシフトは、様々な理由から動機付けられ得る。まず、（たとえば、細胞体の時定数など）ニューロンの脱分極遅延（depolarization delay）に対応することが望まれ得る。言い換えれば、ニューロンの生物学的に動機付けられたダイナミックモデルの場合のように発火が遅延される場合、十分に脱分極している入力の後、ただしニューロンが発火する前に、期せずして到着し得る外来の入力についてのシナプスの重みを補強することが必要ではない可能性がある。図５に示すように、これは左の方に曲線をシフトすることによって防止され得、これは、ニューロンが外来の入力時の方に前方にスライドするのをさまたげ得る。第２に、公称の学習曲線形状ゆえに（すなわち、入力がますます早く到着し、したがって、発火をますます早く生じさせることでシナプスを補強する）、ニューロンがパターンの一部を学習し、パターンのより初期の部分に向かって歳差運動を始めた場合に起こり得るスライディング効果を制御する（制限する）ことが望まれ得る。これは、曲線を右にシフトさせて、非因果的入力の狭いウィンドウを補強することによって防止され得、このことは、ニューロンが後方にスライドするのをさまたげ得る。
【００３３】
理論的な神経科学の分野において適用される代表的なヘブ可塑性ルール、たとえばＯｊａルールまたはＢＣＭルール（Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｏｐｅｒ−Ｍｕｎｒｏルール）およびそれらの変形は、重み調節効果を有し、これらのルールから生じる学習を安定させることができる。たとえば、Ｏｊａのルールは、次式によって与えられる重み変化を（ベクトルとして）提供することができる。  
【数２】
0005840776.tif 000003
【００３４】
式中、ｖはニューロンの出力、ｕはニューロンの入力、τは重み適応（学習）レートを制御する時定数、およびαは正規化を制御するパラメータである。定常状態ではｕ＝αｖｗであることがわかる。したがって、一致する入出力では、重みは、１／αの値に正規化され得る。これは、レギュレーションまたはいわゆるホメオスタシスの効果を有し得る。本開示では、ニューロンレギュレーションまたはホメオスタシス（たとえば、長期の発火率を一定に保つ）が重要な構成要素であることが提案される。したがって、ＳＴＤＰまたは図４〜図５に示したような曲線を使用するときには（ＯｊａルールまたはＢＣＭルールとは対照的に）、ニューロンレギュレーションまたはホメオスタシスの追加は重要であり得る。
【００３５】
ホメオスタシスに関して、特定の発火率を目標とするよりも、ニューロンが発火率範囲内で動作することができることが推奨され得る。したがって、本開示において、レートが上限または下限範囲を超える場合のみ、閾値（または入力）がスケーリングされることが提案される。このことは、様々なパターン密度に対して安定性ならびに柔軟性を提供し得る。したがって、そのような調整がゆっくり、すなわち、少なくとも複数のパターン曝露の順序で行われ、段階的に適用されることを提案する。
【００３６】
しかしながら、直接そのような学習曲線を実際に適用することなく（すなわち、複雑さが低減されたモデル）、ＳＴＤＰのような効果（曲線）が再現され得ることが観察され得る。むしろ、Ｏｊａルールなどのヘブルールを使用して、Ｉｚｈｉｋｅｖｉｃｈの簡単なモデルなどのダイナミックスパイキングニューロンモデルに結合されたときには、上記で説明した時間的学習曲線効果を観察することが可能であり得る（実験的に観察されたＳＴＤＰ曲線または説明した変形と同様であるかどうかにかかわらず）。
【００３７】
ダイナミックスパイキングヘブルール方法から得られる学習曲線の一例が図６に示される。生物学的に観察された（理想化された）ＳＴＤＰ曲線との類似点がある一方、実際のデータポイントがゼロ近くでやや分散される生の生物学的観察データと矛盾しない差が存在し得ることに留意されたい。これは、上記のような異なる曲線を検討する動機づけも表し得る。一態様では、可励起性を促進し、遅延応答の学習および分布を加速するために、重みを最初に高く設定することができる。図６に示した平均曲線６０２および正の変化曲線６０４の平均を観察することによって、最適な時間的可塑性曲線が通常レンダリングされるように正確ではない可能性があるという洞察が提供され得る。曲線６０４の比較的平坦なテールが非因果的（左側の）遅延の限られた負の影響として観察され得る。
【００３８】
しかしながら、学習曲線を直接適用することなくこれらの効果を得ることは、重要な構成要素、すなわち、その入力がラッチされることを必要とし得る。ＯｊａルールまたはＢＣＭルールのような学習ルールが一般的に発火率に関して入力および出力を前提とし得るので、ラッチは重要であり得るのに対して、ダイナミックスパイキングモデルは、入力からのいくらかの遅延の後、スパイクし得る。これを達成する１つの方法は、全入力が増加するときに入力をラッチし、発火までラッチを維持することであり得る。次いで、ラッチコンテンツおよび発火が学習ルールに従って利用され得る。
【００３９】
上記の態様は、時間的可塑性の以下の低減されたモデルにおいて見ることができる。図６に示した図は、発火と入力（シナプスにおける）との間の遅延に応じた、平均重み変化６０２、平均の正の重み変化６０４、および平均の負の重み変化６０８で重み変化６０６の分散プロットをオーバーレイする。ラッチ動作は、数学的に以下のように表され得る。  
【数３】
0005840776.tif 000004
【００４０】
Ｏｊａ学習ルール（またはＢＣＭもしくは他のルール）を適用するときには、発火時に入力の現在値ｕ（ｔ）を使用する代わりに、入力のラッチされたバージョンｕlatchが使用され得る。これは、いくつかの利点を有する可能性がある。第１に、タイムスタンプを記憶し、学習曲線を適用するために時間遅延を計算する必要がない。さらに、小さいメモリ（ラッチ）を利用することができる。（たとえば、ダイナミックスパイキングモデルにおいて）ニューロンが再び発火する前に入力が増加し得るので、これが機能し得る。さらに、このラッチ条件（latch condition）の変形が使用され得る。たとえば、最後の発火以来の最大の全入力が利用され得、これは、入力後樹状遅延（input post dendritic delay）と呼ばれ得る。
【００４１】
学習安定性
ヘブルールを適用するにせよ、ＳＴＤＰ状効果を適用するにせよ、本開示では、重みが許容される、さらには分極させる（たとえば、パターンの安定した学習時に、０または１に向かう双極性の傾向）ように設計されることが提案される。言い換えれば、学習ルールは、学習ニューロンでは重みを分極させ、非学習ニューロン（他のメモリのために予約されている、または所与のパターンを符号化するために競争を失っているニューロン）については重みを脱分極させることが提案される。
【００４２】
この理由は、学習ルール（ＳＴＤＰ、ヘブ、またはそれ以外）の適用に起因する双極性の状態（０または１の傾向がある重み）が、複数のパターンまたはサブパターンを学習するときに安定性の利点を有し得るということである。これは、学習ルールの性質（たとえば、加法または乗法の性質）に関し得る。一態様では、ニューロンは、次いで提案に従って学習し、したがって双極性の重み状態に達するパターンに曝露され得る。そのような双極性の重み（その前の刺激を学習した）を有するこのニューロンの、新しい刺激（異なる時間的パターン）へのその後の暴露は、重みの擾乱の機会をより少なくし得る。したがって、ニューロンが前のパターンを学習しないことは、学習ルールが重みを０と１（双極性でない）との間に分散されたままにしておく場合より、可能性が低くなり得る。
【００４３】
技術的には、０または０近くの重みについては、前のパターンとは逆にそれらを補強するために学習係数が乗じられ、重みが０または０近くにあることにより変化が最小限であり得るので、これが起こり得る。さらに、１の近くの重みでは、前のパターンとは逆にそれらに重みをおかないために１未満の学習係数が乗じられ、重みが１または１近くにあることにより変化が最小限であり得る。一方、重みが中程度の（または脱分極された）単純な（naive）シナプスは、新しいパターンのためにリクルートメントされる可能性がはるかに高い場合がある。したがって、一般に、重みを調整するためにどんな方法が使用されようとも、（ａ）重みが競争的獲得（所与のパターンの学習）において分極するべきである、（ｂ）そうでなければ脱分極すべきである（所与のパターンを学習するために割り当てられないニューロン）、および（ｃ）学習ルールは、分極重みは容易に脱分極されないように設計されるべきであることが提案される。
【００４４】
ロバストネスおよび信頼度の向上
本開示のいくつかの態様は、パターンマッチの信頼度またはロバストネスを効率的に測定する方法およびそれを時間コードに変換する方法をサポートする。図７は、シナプスの重み、樹状遅延、および同じパターンに曝露されたときの結合の結果として、さまざまな大きさのニューロンの細胞体への一致する入力（coincident input）の３つのケースについての一例７００を示す。
【００４５】
発火閾値を超えるために、結合された一致する入力は、一般に、（静止電位に対して）閾値を超える必要があり得ることに留意されたい。シナプスの重み、閾値、および数の寄与について、さらなる説明で示される。図７に示されるケース７０２では、一致するシナプスが少なすぎる可能性がある（または、重みが少なすぎる、または閾値７０８が高すぎる）。ケース７０４では、反対のことが行われ得る。ケース７０６の場合のみ、マッチが完全となり得る。ケース７０４は、見通し、情況、または雑音レベルに応じて、緩い（冗長）またはロバストのいずれかであるとみなされ得る。同様に、ケース７０６は、完全である（精密または効率的）または敏感である（脆い、非ロバスト）とみなされ得る。
【００４６】
所与の発火では、一致する遅延（単に互いと比較してだけでなく他の入力との組合せと比較して）およびそれらの重みを有するシナプスの合計によって、単一の入力ニューロンの全寄与が決定され得ることにも留意されたい。それらのシナプスについての入力ニューロンにわたる合計の一致する入力が閾値７０８未満である場合、発火は発生しない場合がある。一方、それらのシナプスについての入力ニューロンにわたる合計の一致する入力が閾値７０８を上回る場合、発火が発生し得る。このことは、問題を含み得、それを図７から観察することができる。ケース７０４として図示されたように、ニューロン７１０からの入力パターンなど、パターンのいくつかの部分が発火に必要でない場合がある。したがって、パターンマッチ信頼度は、低くなり得る。
【００４７】
ロバストネスに対するソリューション
本開示では、ロバストネスに関するこれらの上記の問題を解決するための１つまたは複数の態様の組合せが提案される。第１に、ニューロンレギュレーションまたはホメオスタシスは、数、重み、またはそれ以外に関して、寄与する入力の合計寄与を制御または正規化するために使用され得る。したがって、ターゲットパターンが図７のケース７０６に対応するように、ニューロンの入力レベルが調整され得る（すなわち、十分に閾値７０８以上であるが、正しいパターンなしに発火をもたらすのにかけはなれすぎない）。実際、入力レベルは、重みをスケーリングすることによって調整され得る。また、これらの重みは、所望のロバストネス（余分の入力）を与えるように調整され得る。これは、信頼度または完全性符号化方法の以下の説明の構成単位であり得る。
【００４８】
図８に示した入力ニューロン８０２、８０４、８０６、８０８の時間的スパイクパターンに出力ニューロンｘがマッチすることが望まれ得る。発振８１０が膜電位または発火閾値に導入される場合、出力ニューロンｘが入力を考慮するときの位相に依存することにより、パターンにマッチするには入力がどれくらい精密である必要があるかが決まり得ることに留意されたい。一態様では、最高の精度は、発振８１０のトラフ８１２で必要とされ得る。しかしながら、８１４さらには８１６において、ニューロンに点火するために、あまり精度は必要とされない場合がある。たとえば、８１４では、ニューロン８０２からのスパイクは完全に失われている可能性があり、８１６では、ニューロン８０６からのスパイクは必要とされない場合がある。
【００４９】
次に、図９に示すように、基準発火が含まれ得る。発振９０２は、（たとえば正弦曲線９０２のトラフにおいて）基準ニューロン発火９０４との組合せで、信頼度を時間コードに変換するために使用され得る。図９に示すように、ニューロン発火を認識するパターンが基準（トラフ）９０４に近ければ近いほど、より良くマッチする。したがって、基準ニューロン９０４の出力およびマッチャニューロン９０６の出力がニューロン９０８に供給される場合、ニューロン９０８の時間的に符号化された出力は、スパイキングパターン９１０を検出する信頼度の目安として使用され得る。
【００５０】
パターン９１０の鍵となる性質は、入力ニューロン９１２、９１４、９１６、９１８のスパイクタイミングであり得る。さらに、基準ニューロン９０４は、発振９０２に基づいて特定の位相に発火することができる。マッチにおける信頼度は、ニューロン９０６によって評価され得るが、アラインメントに対応する遅延によって学習することができる（または構成され得る）ニューロン９０８に、ニューロン９０６および基準ニューロン９０４の出力が提供される。たとえば、１つの可能な構成は、ニューロン９０６の出力が発振トラフとアラインしている場合には、ニューロン９０８は発火し、そうでない場合には発火しないようにすることができる。この例は、一般に、発振位相に対する任意の対応が決定され、時間的に符号化され得ることを示す。
【００５１】
発振９０２の上に向かう波（または下に向かう波）の間、候補ｘ（または別の変形ｙもしくはｚ）が発火する場合、パターン９１０は、正確にマッチしない場合があることにも留意されたい。一態様では、時間差を基準時間にマッチさせることによって、ニューロン９０８は、そのより劣った品質を時間的に符号化するように容易に構成（または学習）され得る。時間符号化ニューロンモデルがこれらのニューロンのすべてのための基礎として利用されることに留意されたい。
【００５２】
本質的に、信頼度は、発振位相、膜時定数、および一致する入力の数および重みによって決まり得る。したがって、発振は、（ａ）入力の数に対する感度を増減するため、（ｂ）入力の一致に対する感度を増減するため、または（ｃ）その両方のために使用され得る。
【００５３】
確率的信頼度およびレート符号化
信頼度は、パターンマッチング確度または信頼度に対してある範囲の感度を有するニューロン群を使用することによって、レートコードとして符号化され得ることに留意されたい。ニューロンの結合されたスパイキングは、総スパイク数または信頼度のレートコードとして機能し得る（すなわち、より多くのニューロン発火はより高い信頼度を意味する）。この目的で、図１０に示すように、様々な精度のニューロン群の出力が、レート符号化信頼度ニューロン１００２に供給され得る。図１０は、２つのパターンケース１００４および１００６を示しており、第１のパターンケース１００４は、すべての精度ニューロンが発火するように、パターンとマッチする入力を有し、信頼度は、ニューロン１００２から高レートスパイクパターン１００８へとレート符号化され得る。第２のケースでは、パターン１００６は、同様にマッチしない場合があり、したがって、ニューロンのサブセットのみが発火する可能性があり、スパイクパターン１０１０によって示されるように、ニューロン１００２は、より遅いレートにレート符号化し得る。
【００５４】
本開示の一態様では、ニューロン１００２は、入力の数に応じて決まる数またはレートで一連のスパイクに点火することができる。これもまた、所望の高レベルのロバストネス効果を達成するために、様々な組合せ（ネットワークアーキテクチャの段階または部分）で、時間符号化の上述した方法と結合されてもよい。
【００５５】
メモリのためのセルのリクルートメント
本開示では、完全性または信頼度および精度の上述した概念が特にメモリの側面に関連することがさらに提案される。図１１は、ネットワーク１１０２によって記憶されることが望ましい特定の入力に曝露され得る多数の相互接続されたニューロンのネットワーク１１０２を示す。答えるべき重要な問題は、ネットワークがこの特定の入力パターンに曝露される次のときそれがこの入力を認識することができるように、ネットワーク１１０２が１つ１つのニューロンの出力を記憶（符号化）することが必要かどうかということである。答えるべき別の重要な問題は、ネットワークがその最上位層（出力）ニューロンのすべての出力を記憶（符号化）することが必要かどうかということである。
【００５６】
本開示では、そのようなグローバルなまたは大容量のメモリが不必要であるだけでなく、非効率的でもあることが示唆される。むしろ、入力パターンを記憶するのに数個の（さらには１つの）ニューロンの出力で十分であり得る方法が提案される。ネットワークシステムおよびメモリによってリクルートメントされるそのようなセルがどのように学習され得るかについても開示される。
【００５７】
本開示では、上記の提案された信頼方法を一部使用することによってメモリのためのキーニューロンを識別するための方法が提案される。発振を適用することが、時間的信頼コードまたは確率的／レートコードによってどのニューロンが特に正確なパターンに調整されるかについてどのように識別することができるかが示される。したがって、特定のメモリについてこのセルを識別し、リクルートメントすることが可能であり得る。次いで、この特定のセルは、学習されるべきメモリセル入力に接続（重み補強）され得る。こうして、メモリセルバンクおよび側抑制により、多くのパターンの非常に効果的な記憶が達成され得る。
【００５８】
このことは、ネットワーク層１１０２が抽出（abstract）される図１１の状況で説明することができる。入力１１０４は、ネットワーク１１０２に供給され得、ニューロン１１０６、１１０８、１１１０は、ネットワーク１１０２において少しのニューロンしか表していない可能性がある。どれが所与の入力について最も精密な時間符号化のマッチであるかを決定し、（たとえばニューロン１１０６など）メモリセルのための優位の（または唯一の）入力としてそれを割り当てることが可能であり得る。ある意味では、ニューロン１１０６は、「メモリニューロン」と呼ぶことができるが、ｍセル１１１２は、それが発振基準１１１４の一致およびニューロン１１０６の出力を符号化できるので、メモリセルと呼ばれる。
【００５９】
この選択プロセスは、ヘブ学習ルールで実行することもできる。したがって、メモリニューロンが一致を学習するように、一致する入出力が一緒に接続され得る。この場合、多くのネットワークニューロンは、最初に１つまたは複数のメモリセルに接続され、次いで、重みを適応させることによって、基準との対応が学習され得る。たとえば、図１１では、ニューロン１１０６とセル１１１２とを接続するシナプスの重みは、強い重みを表し得る。時間符号化がネットワーク層で起こり得るので、時間的パターンモデルがメモリニューロンのために必要とされない可能性があることに留意されたい。これについては、図１２の状況で説明され得る。
【００６０】
図１２では、ニューロン１２０２は、発振トラフから最少のオフセットで発火するので、入力パターンを最も精密に符号化することが明らかである。最小の時間符号化遅延範囲を有するメモリセル（すなわち主に一致コーダ）が使用される（すなわち、メモリセル１２０４）場合、メモリセル１２０４は最も一致する入力、入力１２０２および１２０６について発火するように訓練され得る。したがって、最少のリソース（ニューロン）を有する入力パターンを記憶するためのメカニズムが、本開示において開示され得る。
【００６１】
長時間フレームにわたるロバストネス
さらに、本開示では、異なる発振周波数またはオフセットを受けるネットワーク（図１３に示される例）の異なる部分に入力を供給することによって、入力の時間的パターンのこれらの部分がそれらのネットワーク部分内のロバストなパターンマッチングのために切り離され（分離され）得、次いで結果が再結合され得ることが提案される。非常に効率的なネットワークにおいて、これは、一方または他方において発振ピークとして２つのネットワーク部分の間で前後にパターンマッチングを渡すことによっても起こり得る。
【００６２】
ネットワークは、ただ１つの発振およびパターンのサンプル部分だけで構成されることもできるが、それによって、セクション間の個々のニューロン状態を「消去」し、符号化／認識忠実度を向上させるために、パターンが明確に分離された部分に分けられる。
【００６３】
時間的に相関するメモリ
一態様では、２つの時間的に符号化された記号的メモリを考慮することができ、それらは互いに接続されている（関連付けられている）ことが望ましい。一態様では、時間的にエンコードされ得る任意の所望の重なりを取得するためにニューロンアセンブリを再アラインメントするために、発振（リズム）が使用され得る。これをどのように行うかを理解するために、上記の時間的信頼符号化構成単位を考慮することができる。
【００６４】
図１４は、空間時間的入力パターン１４０２を示し、長方形は、特定のニューロン（発振がない場合、すなわち高忠実度）によって認識されるパターンの部分を示す。ここで、２つの発振１４０４〜１４０６が追加され得、各リズムが２つの回路に適用され、一方の回路はニューロン１４０８を含み、別の回路はニューロン１４１０を含む。これらの２つの組のニューロンが２つの時間的信頼コードであると見なされる場合、これらのニューロンは、発振の（位相）シフトまたはスケーリング（周波数の変更）によって、２次的な一致符号化のためにアラインメントされ得る。発振上昇位相では、ニューロンは、あまり厳しくない条件であるので、より早く発火し得ることに留意されたい。２つを分解可能な時間ウィンドウに持ってくることによって、それらの関連付けが符号化され得る。
【００６５】
図１５は、本開示のいくつかの態様によるニューロン回路に関連付けられたシナプス重みを学習するためのルールとネットワークをマージするためのスパイキングニューロン回路のネットワークで実行され得る例示的な動作１５００を示す。１５０２において、シナプス入力がネットワークのニューロン回路に提供され、シナプス入力の各々がシナプス重みと時間遅延とに関連付けられる。１５０４において、シナプス入力を含むニューロン回路の入力が増加すると、重み付けされ遅延されているシナプス入力の各々がラッチされ得る。１５０６において、入力されると、または入力の増加に基づいてニューロン回路がスパイクすると、そのシナプス入力に関連付けられたシナプス重みの変化を決定するために、ラッチされたシナプス入力に学習ルールが適用される。
【００６６】
一態様では、その重み付けされ遅延されたシナプス入力は、ニューロン回路が最後に発火して以来、ニューロン回路の入力が最大値であるときに、ラッチされ得る。本開示のいくつかの態様によれば、学習ルールは、たとえばＯｊａ学習ルールなど、実数値のヘブ学習ルールのうちの１つに対応し得る。さらに、適用された学習ルールは、そのシナプス入力に関連付けられたシナプス重みを分極させ得る。また、シナプス入力の定義されたレベルの脱分極からニューロン回路のスパイクまでの遅延を補償するために、学習ルールは、シフトされたＳＴＤＰ学習曲線に関連付けられ得る。
【００６７】
一態様では、時間遅延は、時間遅延分解能の１または複数の倍数に等しくてもよい。ニューロン回路の入力は、シナプス入力の合計を含み得、合計されたシナプス入力の各々は、重みおよび時間遅延（たとえば、式（１）によって定義された）によって特徴付けられるシナプスに関連付けられ得る。
【００６８】
一態様では、ニューロン回路およびシナプス入力は、ダイナミックスパイキングニューロンモデルに関連付けられ得る。別の態様では、ニューロン回路およびシナプス入力は、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられ得る。
【００６９】
本開示の一態様では、図９に示すように、ニューロン回路の発火とネットワークの基準ニューロン回路の発火との間の時間差が、ネットワークの別のニューロン回路の出力を時間的に符号化するために利用され得る。時間的に符号化された出力は、シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み得、一方で、ニューロン回路および基準ニューロン回路の出力は、時間的に符号化された出力を生成するために他のニューロン回路に供給され得る。別の態様では、図１０に示すように、ニューロン回路の出力は、他のニューロン回路の出力を生成するために、ネットワークの他のニューロン回路に提供され得る。この場合、該他のニューロン回路の出力の発火率は、ニューロン回路へのシナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示すことができる。
【００７０】
本開示の一態様では、図１１〜図１２に示すように、ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして、ニューロン回路のうちの１つが選択され得、一方、ネットワークの基準ニューロン回路の入力において、発振が適用され得る。選択は、そのニューロン回路が１組のニューロン回路の中で発振のトラフに最も近いスパイキングパターンに応答することに基づき得る。
【００７１】
図１６は、本開示のいくつかの態様によるニューラルネットワークのニューロン回路で実行され得る例示的な動作１６００を示す。１６０２において、ある時間期間内のニューロン回路の発火の数をカウントすることによって、ニューロン回路の発火率が定期的に計算される。１６０４において、発火率が下限を下回るか、または上限を上回るかが決定される。１６０６において、決定に基づいてステップ量によって発火率が調整される。
【００７２】
本開示の一態様では、計算された発火率が下限を下回る場合、発火率を調整することは発火率をブーストすることを含み得る。別の態様では、計算された発火率が上限を上回る場合、発火率を調整することは発火率を抑制することを含み得る。
【００７３】
本開示のいくつかの態様によれば、一般的な乗算器が、発火率を調節するために、ニューロン回路のすべてのシナプス入力に適用され得る。一態様では、ステップ量によって発火率を調整することは、適用された乗算器を調整することによって達成され得る。
【００７４】
上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含むことができる。一般に、図に示される動作がある場合、これらの動作は、同様の番号を有する対応する対のミーンズプラスファンクション構成要素を有し得る。たとえば、図１５および図１６に示す動作１５００および１６００は、図１５Ａおよび図１６Ａに示す構成要素１５００Ａおよび１６００Ａに対応する。
【００７５】
本明細書で使用する「決定すること」という用語は、多種多様なアクションを包含する。たとえば、「決定すること」は、計算すること、算出すること、処理すること、導出すること、調査すること、探索すること（たとえば、テーブル、データベースまたは別のデータ構造での探索）、確認することなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ内のデータにアクセスすること）などを含む場合がある。また、「決定すること」は、解決すること、選択すること、選出すること、確立することなどを含むことができる。
【００７６】
本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、個々のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ〜ｂ、ａ〜ｃ、ｂ〜ｃ、およびａ〜ｂ〜ｃをカバーするものとする。
【００７７】
上記の方法の様々な動作は、たとえば様々なハードウェアおよび／またはソフトウェア構成要素、回路および／またはモジュールなど、動作を実施することができる任意の好適な手段によって実施することができる。一般に、図に示すどの動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。
【００７８】
本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【００７９】
本開示に関連して説明した方法またはアルゴリズムのステップは、直接ハードウェアで実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体内に常駐することができる。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を含むことができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取り得、その記憶媒体に情報を書き込み得るように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。
【００８０】
本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを含む。本方法のステップおよび／または動作は、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲の範囲から逸脱することなく変更され得る。
【００８１】
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を含むことができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。ここで使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピーディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は、非一時的なコンピュータ可読媒体（たとえば、有形媒体）を含み得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を含み得る。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。
【００８２】
したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を含み得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令をその上に記憶した（および／またはエンコードした）コンピュータ可読媒体を含み得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【００８３】
ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
【００８４】
さらに、本明細書で説明する方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合、ユーザ端末および／または基地局によってダウンロードされ得、および／またはその他の方法で得られ得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明する方法を実施するための手段の転送を容易にするために、サーバに結合することができる。代わりに、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が、記憶手段をデバイスに結合したすぐ後、または提供したすぐ後に、様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理的記憶媒体など）を介して提供することができる。さらに、本明細書で説明する方法および技法をデバイスに与えるための任意の他の適切な技法を利用することができる。
【００８５】
特許請求の範囲は、上記に示した正確な構成および構成要素に限定されないことを理解されたい。上記の方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形を行うことができる。
【００８６】
上記は本開示の諸態様を対象とするが、本開示の他の態様およびさらなる態様が、本開示の基本的範囲から逸脱することなく考案され、本開示の範囲は、特許請求の範囲によって決定される。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージする方法であって、
前記ネットワークのニューロン回路にシナプス入力を提供することであって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、提供することと、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチすることと、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用することと
を含む方法。
［Ｃ２］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ１に記載の方法。
［Ｃ３］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ２に記載の方法。
［Ｃ４］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ１に記載の方法。
［Ｃ５］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ６］
ラッチすることが、
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、上記Ｃ１に記載の方法。
［Ｃ７］
ラッチすることが、
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチすること
を含む、上記Ｃ１に記載の方法。
［Ｃ８］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ１に記載の方法。
［Ｃ９］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１０］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１１］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ１に記載の方法。
［Ｃ１２］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化すること
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ１に記載の方法。
［Ｃ１３］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供すること
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ１に記載の方法。
［Ｃ１４］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択すること
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ１に記載の方法。
［Ｃ１５］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための電気回路であって、
前記ネットワークのニューロン回路にシナプス入力を提供するように構成された第１の回路であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、第１の回路と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするように構成された第２の回路と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するように構成された第３の回路と
を含む電気回路。
［Ｃ１６］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ１５に記載の電気回路。
［Ｃ１７］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ１６に記載の電気回路。
［Ｃ１８］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ１５に記載の電気回路。
［Ｃ１９］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２０］
前記第２の回路が、また、ニューロン回路が最後に発火して以来前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、上記Ｃ１５に記載の電気回路。
［Ｃ２１］
前記第２の回路が、また、ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするように構成される、上記Ｃ１５に記載の電気回路。
［Ｃ２２］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ１５に記載の電気回路。
［Ｃ２３］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２４］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２５］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ１５に記載の電気回路。
［Ｃ２６］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するように構成された第４の回路
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ１５に記載の電気回路。
［Ｃ２７］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するように構成された第４の回路
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ１５に記載の電気回路。
［Ｃ２８］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するように構成された第４の回路
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ１５に記載の電気回路。
［Ｃ２９］
スパイキングニューロン回路のネットワークを、前記ニューロン回路に関連付けられたシナプス重みを学習するためのルールとマージするための装置であって、
前記ネットワークのニューロン回路にシナプス入力を提供するための手段であって、前記シナプス入力の各々がシナプス重みと時間遅延とに関連付けられた、手段と、
前記シナプス入力を含む前記ニューロン回路の入力が増加したら、重み付けされ遅延されている前記シナプス入力の各々をラッチするための手段と、
前記入力があったら、または前記入力の前記増加に基づいて前記ニューロン回路がスパイクしたら、そのシナプス入力に関連付けられた前記シナプス重みの変化を決定するために、前記ラッチされたシナプス入力に前記学習ルールを適用するための手段と
を含む装置。
［Ｃ３０］
前記学習ルールが実数値のヘブ学習ルールを含む、上記Ｃ２９に記載の装置。
［Ｃ３１］
前記ヘブ学習ルールがＯｊａ学習ルールを含む、上記Ｃ３０に記載の装置。
［Ｃ３２］
前記時間遅延が時間遅延分解能の１または複数の倍数に等しい、上記Ｃ２９に記載の装置。
［Ｃ３３］
ニューロン回路の前記入力が、前記シナプス入力の合計を含み、前記合計されたシナプス入力の各々が、前記シナプス重みおよび前記時間遅延によって特徴付けられるシナプスに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３４］
ニューロン回路が最後に発火して以来、前記ニューロン回路の前記入力が最大値であるときに、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、上記Ｃ２９に記載の装置。
［Ｃ３５］
ニューロン回路の前記入力の増加があれば、前記重み付けされ遅延されたシナプス入力をラッチするための手段
をさらに含む、上記Ｃ２９に記載の装置。
［Ｃ３６］
前記適用された学習ルールが、そのシナプス入力に関連付けられた前記シナプス重みを分極させる、上記Ｃ２９に記載の装置。
［Ｃ３７］
前記ニューロン回路および前記シナプス入力が、ダイナミックスパイキングニューロンモデルに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３８］
前記ニューロン回路および前記シナプス入力が、ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅニューロンモデルに関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ３９］
前記学習ルールが、前記シナプス入力の定義されたレベルの脱分極から前記ニューロン回路のスパイクまでの遅延を補償するために、シフトされたスパイクタイミング依存可塑性（ＳＴＤＰ）学習曲線に関連付けられる、上記Ｃ２９に記載の装置。
［Ｃ４０］
前記ニューロン回路の発火と前記ネットワークの基準ニューロン回路の発火との間の時間差を利用して、前記ネットワークの別のニューロン回路の出力を時間的に符号化するための手段
をさらに含み、時間的に符号化された出力が、前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度に関する情報を含み、
前記ニューロン回路の出力および前記基準ニューロン回路の出力が、前記時間的に符号化された出力を生成するために、前記別のニューロン回路に供給される
上記Ｃ２９に記載の装置。
［Ｃ４１］
別のニューロン回路の出力を生成するために、前記ネットワークの前記別のニューロン回路に前記ニューロン回路の出力を提供するための手段
をさらに含み、前記別のニューロン回路の前記出力の発火率が、前記ニューロン回路への前記シナプス入力のスパイキングパターンが定義されたパターンとマッチする信頼度を示す
上記Ｃ２９に記載の装置。
［Ｃ４２］
前記ネットワークの基準ニューロン回路の入力での発振を使用して、前記ネットワークに供給されるスパイキングパターンを記憶するためのメモリセルとして前記ニューロン回路のうちの１つを選択するための手段
をさらに含み、前記選択は、そのニューロン回路が１組の前記ニューロン回路の中で前記発振のトラフに最も近い前記スパイキングパターンに応答することに基づく
上記Ｃ２９に記載の装置。
［Ｃ４３］
ニューラルネットワークのニューロン回路の発火率を調節する方法であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算することと、
前記発火率が下限を下回るか、または上限を上回るかを決定することと、
前記決定に基づいてステップ量によって前記発火率を調整することと
を含む方法。
［Ｃ４４］
前記発火率を調整することが、
前記計算された発火率が前記下限を下回る場合、前記発火率をブーストすること
を含む、上記Ｃ４３に記載の方法。
［Ｃ４５］
前記発火率を調整することが、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制すること
を含む、上記Ｃ４３に記載の方法。
［Ｃ４６］
前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用すること
をさらに含む、上記Ｃ４３に記載の方法。
［Ｃ４７］
前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、上記Ｃ４３に記載の方法。
［Ｃ４８］
ニューラルネットワークのニューロン回路の発火率を調節するための電気回路であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するように構成された第１の回路と、
前記発火率が下限を下回るか、または上限を上回るかを決定するように構成された第２の回路と、
前記決定に基づいてステップ量によって前記発火率を調整するように構成された第３の回路と
を含む電気回路。
［Ｃ４９］
前記第３の回路が、また、
前記計算された発火率が前記下限を下回る場合、前記発火率をブーストするように構成される、上記Ｃ４８に記載の電気回路。
［Ｃ５０］
前記第３の回路が、また、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するように構成される、上記Ｃ４８に記載の電気回路。
［Ｃ５１］
前記発火率を調節するために、前記ニューロン回路のすべてのシナプス入力に適用されるように構成された乗算器
をさらに含む、上記Ｃ４８に記載の電気回路。
［Ｃ５２］
前記ステップ量によって前記発火率を調整することが、前記適用された乗算器を調整することを含む、上記Ｃ４８に記載の電気回路。
［Ｃ５３］
ニューラルネットワークのニューロン回路の発火率を調節する装置であって、
時間期間内の前記ニューロン回路の発火の数をカウントすることによって、前記ニューロン回路の前記発火率を定期的に計算するための手段と、
前記発火率が下限を下回るか、または上限を上回るかを決定するための手段と、
前記決定に基づいてステップ量によって前記発火率を調整するための手段と
を含む装置。
［Ｃ５４］
前記発火率を調整するための前記手段が、
前記計算された発火率が前記下限を下回る場合、前記発火率をブートするための手段
を含む、上記Ｃ５３に記載の装置。
［Ｃ５５］
前記発火率を調整するための前記手段が、
前記計算された発火率が前記上限を上回る場合、前記発火率を抑制するための手段
を含む、上記Ｃ５３に記載の装置。
［Ｃ５６］
前記発火率を調節するために、乗算器を前記ニューロン回路のすべてのシナプス入力に適用するための手段
をさらに含む、上記Ｃ５３に記載の装置。
［Ｃ５７］
前記ステップ量によって前記発火率を調整するための手段が、前記適用された乗算器を調整するための手段を含む、上記Ｃ５３に記載の装置。
【図１】
0005840776.tif 000005
【図２】
0005840776.tif 000006
【図３】
0005840776.tif 000007
【図４】
0005840776.tif 000008
【図５】
0005840776.tif 000009
【図６】
0005840776.tif 000010
【図７】
0005840776.tif 000011
【図８】
0005840776.tif 000012
【図９】
0005840776.tif 000013
【図１０】
0005840776.tif 000014
【図１１】
0005840776.tif 000015
【図１２】
0005840776.tif 000016
【図１３】
0005840776.tif 000017
【図１４】
0005840776.tif 000018
【図１５】
0005840776.tif 000019
【図１５Ａ】
0005840776.tif 000020
【図１６】
0005840776.tif 000021
【図１６Ａ】
0005840776.tif 000022