(57)【特許請求の範囲】
【請求項１】
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させること
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づき、
前記遅延を適応させることは、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を備え、前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、
方法。
【請求項２】
前記遅延を適応させることは、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を備える、請求項１に記載の方法。
【請求項３】
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、請求項１に記載の方法。
【請求項４】
前記適応に続いてシナプス結合の前記遅延を制限すること
をさらに備える、請求項１に記載の方法。
【請求項５】
前記適応に続いてシナプス結合の前記遅延を量子化すること
をさらに備える、請求項１に記載の方法。
【請求項６】
前記遅延を適応させることが、
前記シナプス結合に関連する荷重の調整に基づいて前記遅延を調整すること
をさらに備える、請求項１に記載の方法。
【請求項７】
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てること
をさらに備える、請求項１に記載の方法。
【請求項８】
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるように構成された第１の回路
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づき、
前記第１の回路はまた、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を行うように構成され、前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、
装置。
【請求項９】
前記第１の回路はまた、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を行うように構成された、請求項８に記載の装置。
【請求項１０】
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、請求項８に記載の装置。
【請求項１１】
前記適応に続いてシナプス結合の前記遅延を制限するように構成された第２の回路
をさらに備える、請求項８に記載の装置。
【請求項１２】
前記適応に続いてシナプス結合の前記遅延を量子化するように構成された第２の回路
をさらに備える、請求項８に記載の装置。
【請求項１３】
前記第１の回路がまた、
前記シナプス結合に関連する荷重の調整に基づいて前記遅延を調整すること
を行うように構成された、請求項８に記載の装置。
【請求項１４】
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てるように構成された第２の回路
をさらに備える、請求項８に記載の装置。
【請求項１５】
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるための手段
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づき、
前記遅延を適応させるための前記手段は、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させるための手段と、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させるための手段と
を備え、前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、
装置。
【請求項１６】
前記遅延を適応させるための前記手段は、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させるための手段
を備える、請求項１５に記載の装置。
【請求項１７】
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、請求項１５に記載の装置。
【請求項１８】
前記適応に続いてシナプス結合の前記遅延を制限するための手段
をさらに備える、請求項１５に記載の装置。
【請求項１９】
前記適応に続いてシナプス結合の前記遅延を量子化するための手段
をさらに備える、請求項１５に記載の装置。
【請求項２０】
前記遅延を適応させるための前記手段が、
前記シナプス結合に関連する荷重の調整に基づいて前記遅延を調整するための手段
をさらに備える、請求項１５に記載の装置。
【請求項２１】
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てるための手段
をさらに備える、請求項１５に記載の装置。
【請求項２２】
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させること
を少なくとも１つのプロセッサに行わせるためのコードを備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づき、
前記遅延を適応させることが、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を備え、前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、
コンピュータプログラム。
【請求項２３】
前記コードは、前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項２２に記載のコンピュータプログラム。
【請求項２４】
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、請求項２２に記載のコンピュータプログラム。
【請求項２５】
前記コードは、
前記適応に続いてシナプス結合の前記遅延を制限すること
を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項２２に記載のコンピュータプログラム。
【請求項２６】
前記コードは、前記適応に続いてシナプス結合の前記遅延を量子化すること
を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項２２に記載のコンピュータプログラム。
【請求項２７】
前記コードは、前記シナプス結合に関連する荷重の調整に基づいて前記遅延を調整すること
を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項２２に記載のコンピュータプログラム。
【請求項２８】
前記コードは、前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てること
を少なくとも１つのプロセッサに行わせるためのコードをさらに備える、請求項２２に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示のいくつかの態様は、一般に神経システム工学に関し、より詳細には、スパイキングニューラルネットワーク（spiking neural network）における適応構造遅延可塑性（adaptive structural delay plasticity）のための方法および装置に関する。
【背景技術】
【０００２】
ニューラルネットワークのニューロンは、ネットワーク中の１つまたは複数の他のニューロンからポテンシャル入力を受信し得る。いくつかのポテンシャル入力のみが活性シナプス（active synapse）になり得るように、入力の相対的重要性が学習され得る。しかしながら、回路またはネットワーク中のポテンシャル入力（ニューロン）の数が増加するにつれて、処理要件およびメモリアクセス要件が著しく増加し得る。たとえば、それぞれＮ≦Ｍ個の可能な入力をもつＭ個のニューロンがある場合、少なくともＭ×Ｎ個のポテンシャルシナプスがあり得る。さらに、結合（シナプス）が、（結合距離が異なることにより）可変時間遅延を有する場合、ニューロン当たりのポテンシャル入力の数は、（たとえば、ネットワークのための合計Ｍ×Ｎ×Ｒ個のポテンシャルシナプスのＲ＝Ｔ／ｄｔの可能性をもたらす時間分解能ｄｔにおける０からＴまでの）可能な異なる時間遅延の数を乗算され得る。シナプス遅延は０から２５ｍｓまたはさらに大きくなり得ることに留意されたい。ミリ秒のまたははるかに小さい（たとえば、０．１または１マイクロ秒の）ニューロンスパイクタイミング精度が必要とされ得るので、これは、すでに著しい処理（時間）要件およびメモリ要件を劇的に（たとえば、それぞれ２５０または２５０００倍だけ）増加させ得る。したがって、機械学習のための低減された複雑さの計算解が望まれる。
【０００３】
生物学的ニューラルネットワークは、構造的可塑性（樹枝状成長（dendritic growth）または軸索成長（axon growth）または収縮、スパインまたは神経線維末端（bouton）ターンオーバ、あるいはスパイン運動性（spine motility））に関するこの問題を解決し得る。しかしながら、神経システム工学においてこの問題を解決するための方法はまだ知られていない。
【発明の概要】
【０００４】
本開示のいくつかの態様は、方法を提供する。本方法は、概して、ニューラルネットワークのシナプス前ニューロン回路（pre-synaptic neuron circuit）とシナプス後ニューロン回路（post-synaptic neuron circuit）との間のシナプス結合の遅延を適応させることを含み、その適応は、シナプス後ニューロン回路の第１のスパイクとシナプス前ニューロン回路の第２のスパイクとの間の時間に基づく。
【０００５】
本開示のいくつかの態様は、神経時間コーディング（neural temporal coding）のための装置を提供する。本装置は、概して、ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるように構成された第１の回路を含み、その適応は、シナプス後ニューロン回路の第１のスパイクとシナプス前ニューロン回路の第２のスパイクとの間の時間に基づく。
【０００６】
本開示のいくつかの態様は、神経時間コーディングのための装置を提供する。本装置は、概して、ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるための手段を含み、その適応は、シナプス後ニューロン回路の第１のスパイクとシナプス前ニューロン回路の第２のスパイクとの間の時間に基づく。
【０００７】
本開示のいくつかの態様は、コンピュータプログラム製品を提供する。本コンピュータプログラム製品は、概して、ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させることを行うためのコードを備えるコンピュータ可読媒体を含み、その適応は、シナプス後ニューロン回路の第１のスパイクとシナプス前ニューロン回路の第２のスパイクとの間の時間に基づく。
【０００８】
本開示の上述の特徴を詳細に理解することができるように、添付の図面にその一部を示す態様を参照することによって、上記で簡単に要約したより具体的な説明が得られ得る。ただし、その説明は他の等しく有効な態様に通じ得るので、添付の図面は、本開示のいくつかの典型的な態様のみを示し、したがって、本開示の範囲を限定するものと見なすべきではないことに留意されたい。
【図面の簡単な説明】
【０００９】
【図１】本開示のいくつかの態様による、例示的なニューラルネットワークを示す図。
【図２】本開示のいくつかの態様による、シナプス前スパイキング（pre-synaptic spiking）およびシナプス後スパイキング（post-synaptic spiking）の一例を示す図。
【図３】本開示のいくつかの態様による、シナプス前スパイキングおよびシナプス後スパイキングの別の例を示す図。
【図４】本開示のいくつかの態様による、シナプス前スパイキングおよびシナプス後スパイキングの別の例を示す図。
【図５】本開示のいくつかの態様による、適応構造遅延可塑性の例示的なグラフを示す図。
【図６】本開示のいくつかの態様による、適応構造遅延可塑性の動作を示す図。
【図６Ａ】図６に示す動作を実行することが可能な例示的な構成要素を示す図。
【図７】本開示のいくつかの態様による、シナプス遅延ダイバーシティの一例を示す図。
【図８】本開示のいくつかの態様による、汎用プロセッサを使用した適応構造遅延可塑性の例示的なソフトウェア実装形態を示す図。
【図９】本開示のいくつかの態様による、シナプス遅延メモリが個々の分散処理ユニットとインターフェースされる適応構造遅延可塑性の例示的な実装形態を示す図。
【図１０】本開示のいくつかの態様による、分散シナプス遅延メモリと分散処理ユニットとに基づく適応構造遅延可塑性の例示的な実装形態を示す図。
【発明を実施するための形態】
【００１０】
添付の図面を参照しながら本開示の様々な態様について以下でより十分に説明する。ただし、本開示は、多くの異なる形態で実施され得、本開示全体にわたって提示する任意の特定の構造または機能に限定されるものと解釈すべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えるものである。本明細書の教示に基づいて、本開示の範囲は、本開示の他の態様とは無関係に実装されるにせよ、本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示する本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、本明細書に記載の態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、本明細書に記載の本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。本明細書で開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１１】
「例示的」という単語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。本明細書で「例示的」として説明するいかなる態様も、必ずしも他の態様よりも好適または有利であると解釈すべきではない。
【００１２】
本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好適な態様のいくつかの利益および利点について説明するが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
【００１３】
例示的な神経システム
図１に、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な神経システム１００を示す。神経システム１００は、シナプス結合のネットワーク１０４を介して別のレベルのニューロン１０６に結合されたあるレベルのニューロン１０２を備え得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、典型的な神経システムには、より少ないまたはより多くのレベルのニューロンが存在し得る。
【００１４】
図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）の複数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位に充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、次のレベルのニューロン（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。
【００１５】
図１に示すように、あるレベルのニューロンから別のレベルのニューロンへのスパイクの転送は、シナプス結合（または単に「シナプス」）のネットワーク１０４によって達成され得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信し、調整可能なシナプス荷重（synaptic weight）
【数１】
0006009570.tif 000002
【００１６】
、．．．、
【数２】
0006009570.tif 000003
【００１７】
（ただし、Ｐは、レベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数である）に従って、それらの信号をスケーリングし、スケーリングされた信号をレベル１０６における各ニューロンの入力信号として合成し得る。さらに、シナプス１０４の各々は、遅延、すなわち、レベルｉのニューロンの出力スパイクがレベルｉ＋１のニューロンの細胞体（soma）に達する時間に関連し得る。
【００１８】
レベル１０２の１つまたは複数のニューロンから発生した対応する合成入力信号に基づいて、レベル１０６におけるニューロンが出力スパイク１１０を生成し得る。出力スパイク１１０は、次いで、シナプス結合の別のネットワーク（図１に図示せず）を使用して、別のレベルのニューロンに転送され得る。
【００１９】
神経システム１００は、電気回路によってエミュレートされ、画像およびパターン認識、機械学習、モータ制御など、広い範囲の適用例において利用され得る。神経システム１００における各ニューロンは、ニューロン回路または神経プロセッサとして実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
【００２０】
一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス荷重の変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、非常に大規模な神経システムハードウェア実装形態の実装が実用的になり得る。
【００２１】
本開示のいくつかの態様は、シナプス遅延を学習する（適応させる）方法をサポートする。シナプス遅延の適応はシナプス荷重（強度または重要性）の適応を伴い得る。後者は、しばしば、シナプス可塑性（synaptic plasticity）と呼ばれる。前者は、スパイン(spine)が異なる遅延をもつロケーションへ「移動する」という意味で、構造可塑性と考えられ得る。より生物学的に一貫して、これは、異なる遅延を招く、新しいロケーションにおいてスパインが収縮し、別のものが成長する（しかし、同じ入力ニューロンの軸索に結合する）と考えられ得る。構造遅延可塑性の提案する方法では、異なる遅延をもつ複数のシナプスをモデル化する必要が回避され得る。この場合、学習のためにはるかに少ないポテンシャルシナプスがモデル化される必要があり得る。これは、最初は単純と思われることがあるが、遅延を適応させる方法は、学習動的ニューロン（learning dynamic neuron）をもつ、あるいはリカレント結合（recurrent connection）またはラテラル結合（lateral connection）をもつシステムを動作させるときに重要であり得る。これは、入力遅延の調整が、シナプス後ニューロンの発火、したがってスパイクタイミング依存可塑性（spike-timing dependent plasticity）およびネットワーク中の他のニューロンを変えることができるからであり得る。本開示は、安定であり、広範囲の遅延サンプリングが生じることを可能にする方法でシナプス遅延を適応させる方法を提案する。
【００２２】
シナプスタイプ
ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（荷重および遅延の変化がない）と、可塑性シナプス（荷重が変化し得る）と、構造遅延可塑性シナプス（荷重および遅延が変化し得る）と、完全可塑性シナプス（荷重、遅延および入力が変化し得る）と、それの変形（たとえば、遅延は変化し得るが、荷重または入力の変化はない）とを備え得る。これの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を実行すること（またはそのようなことが完了するのを待つこと）を必要とし得ない。同様に、遅延および荷重可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式／パラメータを有し得る。したがって、本方法は、シナプスのタイプの関係するテーブルにアクセスするであろう。
【００２３】
また、スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意を指摘することは有益であり得る。構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得るので、構造可塑性は、荷重の大きさに変化がない場合（たとえば、荷重が最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）でも実行され得る。代替的に、それは、荷重変化量に応じてまたは限界に関係する条件に基づいて設定され得る。たとえば、荷重変化が生じたとき、または荷重が最大限に達するのではなく、０に達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
【００２４】
遅延分解能
ニューラルネットワークモデルの実行は、ソフトウェアであろうとハードウェアであろうと、概して、１ｍｓなどの時間単位ステップで進み得る。しかしながら、実際に使用される、より高い分解能をもつシナプス遅延を調整することが望ましいことがある。そうするために、遅延は、実行が要求または分解するよりも大きい分解能をもつメモリに記憶される必要があり得る。しかしながら、構造遅延可塑性は、実際の実行分解において差異を生じるまで蓄積し得る記憶された高分解能遅延の微調整を行い得る。これは、スパイクタイミング依存可塑性（ＳＴＤＰ）に基づいて行われ得る荷重の増分変化とほとんど同様に、遅延の差分変化に関して、スパイクタイミング依存構造遅延可塑性曲線（spike-timing dependent structural delay plasticity curve）を量子化しなければならない問題を回避し得る。
【００２５】
さらに、遅延を分解可能な実行時間ステップに量子化する前に、（ニューロン数のハッシュおよび時間ステップの関数などの）高分解能遅延値に小さいランダム成分を追加することによって、より高い分解能の遅延が統計的方法で達成され得る。
【００２６】
シナプスのマージおよび分離
本開示のいくつかの態様によれば、１つまたは複数のマージ関係機能を実装することが有用であり得る。同じシナプス前ニューロンを同じシナプス後ニューロンに結合する２つのシナプスが同じ（または極めて似ている）遅延を有するとき、マージが行われ得る。この時点で、１つは、（線形積分を仮定すると）それらの荷重を追加することによって２つのシナプスを１つにマージし得、他のシナプスは再利用され得る。この場合、第２のシナプスに同じ遅延を再発させることを回避する方法が有利であり得る。代替的に、シナプスが同じ遅延を生じるのを防止するためにマージ保護が実装され得る。以下で、マージおよびマージ保護の方法について説明し、その両方が利用され得る。
【００２７】
マージされたシナプスは、マージするシナプスの荷重を追加することによって、およびその荷重にシナプスのうちの１つを設定することによって結合され得る。これは、荷重が最大値を超えない場合に行われ得る。次いで、（１つまたは複数の）他のシナプスは、０（または再初期設定値）に設定されたそれらの荷重を有し得る。概して、遅延はまた、入力の別の遅延サンプルを選び出すことが望ましい場合、変更され得る。代替的に、シナプスは別の入力に再割り当てされ得、同じ入力から別の遅延サンプルが望ましいことがある。この場合、遅延は、最小値、前の遅延よりも小さいランダム値に設定され得る。なぜこれが必要とされ得るかを理解するために、構造遅延可塑性は、シナプス強度が増大している場合、遅延を上に駆動する傾向があり得ることに留意されたい。したがって、現在の遅延よりも長い別の有効な遅延サンプリング時間がある場合、既存のシナプスは、可塑性により単にその方向に伝搬し得る。しかしながら、現在の遅延よりも短い有効な遅延サンプリング時間がある場合、この時点に達する唯一の方法は、（より少ない遅延の）より低い時点において開始することであり得る。複数のそのような時点がある場合、ランダム化が有益であり得る。マージされたシナプスが代わりに存在することが許される場合、２つのマージされたシナプスは将来分離することが許され得る。
【００２８】
マージされたシナプスを結合する代わりに、複数のシナプスが維持され得る。その場合、これらのシナプスは分離されることを許され得る。遅延の増加が、より大きい遅延を有するように両方のシナプスを駆動する場合、シナプスのうちの１つ（すでに差がある場合は、最大遅延をもつシナプス）のみの増加が代わりに適用され得る。さらに、もう一方のシナプスは減少のために実行され得る。遅延は、最も短い遅延をもつシナプスについてのみ減少され得る。これは、シナプスの分離および同じ入力の複数遅延サンプリングを可能にし得る。
【００２９】
本開示の一態様では、マージ保護も使用され得る。この場合、シナプスの結合が防止され得る。２つのシナプスが結局同じ（または近い）遅延を有することになる場合、遅延調整は防止され得る。これは、上記で説明した条件付き遅延調整（conditional delay adjustment）と併せて使用され得る。言い換えれば、遅延調整は、それらが時間的に近いという条件で、入力のためのシナプスのサブセットに制限され得る。
【００３０】
上記で説明したマージ制御は、ハードウェアまたはソフトウェアに追加の処理要件を課し得ることに留意されたい。ただし、それらの要件は、使用される方法に応じて異なり得る。複数のシナプスが、ただそれらの調整を制約することによって存在することを可能にすることによって、追加の必要とされる処理が制限され得る。
【００３１】
シナプスの再利用に関して、異なる遅延において異なるシナプスを連続的に試す方法が使用され得る。しかしながら、異なる遅延において異なるシナプスを連続的に試すことは問題があり得る。それは、ニューロン当たりの複数のシナプスと比較してメモリ要件を低減し得るが、一連の試みのためだけでなく、間接的な理由により、処理時間は依然として劇的に大きく（複数のシナプスの場合よりもさらに大きく）なり得る。すなわち、異なる（適応されない）遅延において（すなわち、連続的に）シナプスのシナプス可塑性を試すことはシナプス可塑性の収束を制限し得、したがってシナプス荷重は不安定であるか、または収束するのにさらに長くかかり得る。
【００３２】
遅延割当て
本開示の一態様では、シナプス遅延が、観測された遅延に基づいて直接割り当てられ得る。この場合、シナプス遅延は前後時間差（pre-post time difference）によって変更され得る。
【００３３】
しかしながら、遅延割当ての概念はいくつかの厄介な問題を有する。たとえば、脱分極スパイク間時間（depolarization-to-spike time）が非０である場合、ニューロンスパイク時間は連続的に延期され得る。脱分極時間は、入力のタイミングおよび大きさに応じて変化し得る。さらに、ニューロン発火時間（neuron firing time）を変えることは、抑制（ラテラル）時間を変え、他のニューロンに影響を及ぼし得る。遅延割当ての概念はまた、遅延範囲（および実際の出力時間）による制限を有し得る。
【００３４】
構造遅延可塑性
スパイクタイミング依存可塑性の場合、一般に、シナプス前イベント（pre-synaptic event）（ニューロンの入力）（スパイク）とシナプス後イベント（post-synaptic event）（ニューロンの出力）（スパイク）との間のタイミング関係に基づいて学習（適応）効果が生じる。スパイクタイミング依存可塑性の場合、この時間差に応じて荷重が調整され得る。本開示のいくつかの態様は、同様のフレームワークにおいて構造遅延可塑性を検査することをサポートする。
【００３５】
因果的考慮事項
第１に、シナプス後スパイクがシナプス前スパイクの後に発生する事例が考えられ得る。標準スパイクタイミング依存的可塑性の場合、シナプス強度（荷重）は上方へ駆動されるであろう。図２に、本開示のいくつかの態様による、シナプス前スパイキングおよびシナプス後スパイキングの例を示し、時間はｘ軸上に（水平方向に）表される。シナプス前スパイク（すなわち、図２のスパイク２０２1、２０２2、または２０２3）の実際の発火時間は、しばらくして（すなわち、それぞれスパイク２０４1、２０４2、または２０４3の瞬間において）シナプス後ニューロンの細胞体に到達するために（たとえば、樹枝状遅延によって）遅延され得る。その結果、シナプス後スパイク（すなわち、それぞれスパイク２０６1、２０６2、または２０６3）が後で発生し得る。
【００３６】
本開示のいくつかの態様によれば、遅延は、後前時間差（post-pre time difference）が正であるために増加され得る。３つの時間シーケンス事例が図２に示されており、すべての３つの事例は、明快のためにシナプス後スパイクに整合されている。第１の事例では、増加が、十分な脱分極時間（たとえば、図２の時間２１０）の前にスパイク２０８1によって示される時間に細胞体（すなわち、スパイク２０４1）における入力の到達を遅延させるであろう。第２の事例では、変化は、十分な脱分極２１０とピーク電圧点２１２との間のスパイク２０８2によって示される時間にスパイク２０４2の到達を遅延させるであろう。第３の事例では、スパイク２０４3の到達の変化が最大遅延制約により制限される（すなわち、スパイク２０８3によって示される時間に遅延される）であろう。
【００３７】
本開示では、なぜ、十分な入力が確立される時間（すなわち、時間２１０）から、シナプス後ニューロンが実際に発火する時間（すなわち、時間２１２）までに遅延があるのかをより詳細に検査する。イジケヴィッチ（Ｉｚｈｉｋｅｖｉｃｈ）の単純なモデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値ｖ1とピークスパイク電圧ｖpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純なモデルでは、電圧および復元のための微分方程式のペア、すなわち、
【数３】
0006009570.tif 000004
【数４】
0006009570.tif 000005
【００３８】
によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。
【００３９】
さらに、ニューロンは、ｖ＞ｖpeakであるときにスパイクし得る。ｖ＞＞ｖｒ、ｂ＜０である場合、ｄｕ／ｄｔはｕを負にし、しきい値を超えてｖの増加が加速し得る。しかしながら、ａ＜＜１であるとき、変化は比較的小さくなり得、この部分についてｕを無視することを誘導し得る。さらに、さらなる入力がない場合、
【数５】
0006009570.tif 000006
【数６】
0006009570.tif 000007
【００４０】
が成り立ち得、上式で、
【数７】
0006009570.tif 000008
【００４１】
である。ｖs＝ｖt（ｔ→∞）である場合、ただし閾上（supra-threshold）が少なくとも１０ｍＶ（４０ｍＶ）である場合、式（３）〜（４）によって定義されるｔは最高６ｍｓ（１．２ｍｓ）であり得る。
【００４２】
この態様に関していくつかの重要な点がある。第１に、しきい値を超えて脱分極するのに十分な入力とシナプス後スパイク時間との間の遅延は、入力の量と、それらの入力間の相対的タイミングとに応じて異なり得る。したがって、シナプス後スパイクが移動されないか、または学習が不安定にされないように、遅延を緩やかに調整することが好ましいことがある。第２に、十分な脱分極とスパイクとの間の入力は、スパイクが発生するか否かという意味では不要であり得るが、スパイクする時間をさらに減少させ得る。これらの第１および第２の点は他のニューロンモデルでは生じ得ないが、リーキー積分発火ニューロン（leaky integrate and fire neuron）モデルは、入力が漏れる（減衰する）のでそれらの入力の相対的タイミングに対する感度を有し得るという第３の点があり得る。したがって、時間的に入力を移動することは、シナプス後発火時間（post-synaptic firing time）を不安定にし得る。その結果、遅延の比較的小さいまたは遅い調整を行うことが望ましいことがある。
【００４３】
上記により、正の後前関係を示すシナプスの遅延が、新しい到達時間を脱分極スパイク間ウィンドウ（depolarization-to-spike window）に入れるであろう量だけ増加する場合、シナプス後スパイクは単に遅延され得る。これを繰り返すことは、シナプス後スパイクを時間的にますます遅くすることになる。したがって、単に後前時間差だけ、さらには大量に遅延を増加させることはこの危険を招き得る。これは、シナプスｓの遅延増加が、現在の遅延
【数８】
0006009570.tif 000009
【００４４】
、遅延限界［Ｔmin，Ｔmax］、後前時間差
【数９】
0006009570.tif 000010
【００４５】
およびシナプス後ニューロンＸt（ｎ）のすべての他の入力統計の関数に基づいて望ましくない影響を及ぼす確率、すなわち、
【数１０】
0006009570.tif 000011
【００４６】
として表され得る。
【００４７】
式（５）を簡略化するために、計算量的にわずらわしい計算になるであろう１つまたは複数の厄介な問題を無視することが好ましいことがある。たとえば、その危険は、概して、シナプス後スパイク時間に近づく際に増加し得ることが観測され得る。したがって、式（５）は、
【数１１】
0006009570.tif 000012
【００４８】
に簡略化され得、上式で、Ｔは正規化時間係数（normalizing time factor）である。
【００４９】
次に、遅延が上限に制約される場合、何が起こり得るかが考えられ得る。（上記とは対照的に）後前遅延の量が増加するにつれて、限界に至る確率が増加し得ることが同様に観測され得る。この場合も、この確率は実際にすべての同じパラメータに依存し得るが、ここでも、それは
【数１２】
0006009570.tif 000013
【００５０】
に簡略化され得る。言い換えれば、必要とされる遅延量に達する可能性が低いことが事前に知られている場合、積極的に遅延を増分的に増加させることを試みることが好ましくないことがある。
【００５１】
本開示のいくつかの態様によれば、式（６）〜（７）によって定義される２つの確率は平衡状態を示し得る。後前遅延が大きい場合、遅延を増加させることがあまり望ましくないことがある。また、後前遅延が小さい場合、遅延を増加させることがあまり望ましくないことがある。後前遅延が間のどこかにある場合、遅延を著しく増加させることが望ましいことがある。本質的に、遅延を増加させる量は危険の確率の逆数、すなわち、
【数１３】
0006009570.tif 000014
【００５２】
に関係し得る。
【００５３】
上記の推論に従って誘導される計算の一例は、遅延をある量だけ増加させる（適応させる）こと、
【数１４】
0006009570.tif 000015
【００５４】
であり得、上式で、α+は利得（適応率）制御または正規化のために使用され得る。
【００５５】
非因果的考慮事項
次に、シナプス後スパイクがシナプス前スパイクの前に発生する状況が考えられ得る。３つの例示的な時間シーケンス事例が図３に示されている。この場合も、すべての３つの事例は、明快のためにシナプス後スパイクに整合されている。シナプス前スパイク（スパイク３０２1、またはスパイク３０２2）の実際の発火時間は、シナプス後スパイク（スパイク３０４1、またはスパイク３０４2）の前に発生し得るか、またはシナプス後スパイク（図３のスパイク３０２3対スパイク３０４3）の後に発生し得る。しかしながら、スパイクタイミング可塑性の場合、その時間（すなわち、スパイク３０４1、３０４2、または３０４3の時間）の前にスパイクし得るシナプス後ニューロンの細胞体における到達時間（すなわち、図３のスパイク３０６1、３０６2または３０６3の時間）が考えられるべきである。この場合、標準スパイクタイミング依存可塑性が、このシナプスの荷重（強度）を下方へ駆動し得る。しかしながら、実際のシナプス前スパイクがシナプス後スパイクの前にある場合、この因果関係をこのシナプス後ニューロンの学習可能性の領域に入れることが可能であり得る。
【００５６】
図３に示すように、３つの例証的な可能性が考えられ得る。第１の事例では、シナプス前スパイク（すなわち、スパイク３０２1）が実際にシナプス後スパイク（すなわち、スパイク３０４1）よりも前に発生した場合、因果関係に対するスパイク３０６1の遅延を減少させる（たとえば、図３に示すスパイク３０８1の遅延は十分に減少されない）ことが好ましいことがある。第２の事例では、遅延が十分に減少され得る場合（たとえば、減少した遅延をもつスパイク３０８2）、（細胞体における）遅延したシナプス後スパイクを脱分極スパイク間時間ウィンドウに（たとえば、図３の瞬間３１０と瞬間３１２との間の時間期間に）入れることを回避することがさらに好ましいことがある。第３の事例では、後前関係が正である場合、たとえば、スパイク３０８3まで遅延を減少させることが望ましくないことがある。
【００５７】
その状況は、いくつかの例外をもつ上述の因果的事例と同様であり得る。すなわち、動機は、遅延したシナプス前スパイク入力時間を脱分極スパイク間ゾーン（depolarization-to-spike zone）に入れる確率（または危険）と、（最小遅延限界のためか、または実際の時間との関係が因果的でないために）因果側に達することが可能でない確率とを考慮することであり得る。
【００５８】
計算目的のために、動機は、（因果的事例について上記で説明したように）すべての要因に基づいてこれらの確率の考慮を簡略化することである。因果的事例に対する同様の推論によって、
【数１５】
0006009570.tif 000016
【００５９】
が成り立ち得、ただし、
【数１６】
0006009570.tif 000017
【００６０】
が負である場合、これが成り立ち得、上式で、α-は利得（適応率）制御または正規化のために使用され得る。本開示の一態様では、因果的方程式（９）と非因果的方程式（１０）は共通式に結合され得る。別の態様では、因果的事例と非因果的事例は別々に計算され（または適用され）得る。さらに、遅延調整は量子化され得る。因果的考慮事項および非因果的考慮事項
学習のプロセスにおいて、シナプス前スパイクがシナプス後スパイクの前と後の両方に発生し得る。これは、統計的観点から遅延適応効果を分散させる問題を提起する。たとえば、脱分極スパイク間ウィンドウを回避することが望まれることがあるので、遅い非因果的入力を有用な因果的領域に戻す可能性が低いことがあると考えられ得る。しかしながら、場合によっては直観に反した方法で、遅延の増加よりも減少に関してよりアグレッシブであることが好ましいことがある。これの理由およびさらなる考慮事項は、同時または並列スパイクタイミング依存可塑性のコンテキストにおける遅延適応を考慮するときに明白になり得る。
【００６１】
２つの例示的な事例が図４に示されている。第１の事例では、実際のシナプス前スパイクおよび遅延したシナプス前スパイク（それぞれスパイク４０２1および４０４1）は、因果的、および非因果的（それぞれスパイク４０２2および４０４2）であり得、シナプス後スパイク時間（すなわち、スパイク４０６1のスパイキング時間４０８）から遠くにあり得る。第２の事例では、実際のシナプス前スパイク（すなわち、スパイク４０２3、４０２4）は因果的であり得るが、遅延したスパイク（すなわち、スパイク４０４3、４０４4）は、それぞれ因果的および非因果的であり得、スパイク４０６2のシナプス後スパイク時間４０８の近くにあり得る。
【００６２】
入力がシナプス後スパイクの前と後の両方に発生するが、時間的に極めて遠い場合、問題は、遅い入力をより早く移動することまたは早い入力を後で移動することのどちらが好ましいかということである。一態様では、この結合（入力および出力ニューロンペア）のための唯一のシナプスが考えられ得る。脱分極スパイク間ゾーン４１０にもかかわらず、（ａ）シナプス後ニューロンのための処理遅延を最小限に抑え、（ｂ）シナプス後ニューロンが、密接した因果関係または発火率関係を学習することができる可能性を最大にするために遅延を減少させることが好ましいことがある。しかしながら、予期しないまたは新しい入力が、まず第一にシナプス後発火時間に対してわずかな影響しか及ぼさない（大きい遅延を有することによって、したがって、それらは、適応の前におそらく非因果的であり得る）ことが望ましい場合、この事例において遅延を増加することも妥当であり得る。以下の説明では、前者は例において使用される。
【００６３】
典型的なスパイクタイミング依存可塑性曲線５０２が図５に示されている。大きい正の後前遅延における荷重の正の増加が大きい負の後前遅延における荷重の負の増加よりも小さくなり得ることに気づくであろう。言い換えれば、上記の状況が生じた場合、累積荷重変化は負（遅延を変更することを無視すること）であり得る。この状況は、小さい正の後前遅延対小さい負の後前遅延では逆転するであろう。したがって、小さい遅延状況では逆のことを行うことが好ましいことがある。しかしながら、これは、シナプス前スパイク時間を脱分極スパイク間ゾーンに移動することに関連する危険を上回り得る。
【００６４】
スパイクタイミング依存シナプス可塑性曲線５０２とともに、合成されたスパイクタイミング依存構造遅延可塑性曲線５０４が図５に示されている。遅延適応の減少が、概して、遅延適応の増加よりも大きくなり得ることと、増加が減少よりも速く０まで減衰し得ることとに気づくであろう。しかしながら、パイクタイミング依存構造遅延可塑性曲線の正確な形状は異なり得る。
【００６５】
実数値遅延分解能の場合、シナプス遅延がわずかな量だけ調整され得る。しかしながら、一般に、遅延は、１ｍｓ時間ステップなど、あるモデルにおける制限された分解能を有し得る。この場合、それは事実上０調整と等価であるので、この量よりも少ない量だけ遅延を増加させることが可能でないことがある。代わりに、その調整は、影響を及ぼすために少なくとも１つの時間単位である必要があり得る。さらに、減少に向かってバイアスすることが好ましい場合、オプションは、非因果的側でさらに１ｍｓ以上だけ遅延を減少させることであり得る。量子化の例が、曲線５０６を用いて図５に示されている。曲線５０４および５０６は、曲線５０２とは別様に正規化されており、それらは曲線５０２とは異なる条件を表す。曲線５０２のｙ軸は、（荷重変化限界である＋１および−１をもつ）荷重変化を表す。曲線５０４および５０６は遅延変化を示す（最大遅延変化は、ただグラフの明快のために中間点の近くに任意に設定される）。実際の遅延変化限界は、たとえば、＋１ｍｓおよび−２ｍｓであり得る。
【００６６】
アルゴリズム実装形態に関して、荷重に対する公称調整（シナプス可塑性の機能である構造遅延可塑性）に基づいて遅延が調整され得る。これは、シナプス可塑性（荷重最大または最小）に限界を適用する前に考慮され得る。したがって、
【数１７】
0006009570.tif 000018
【００６７】
は、限界の前のシナプス荷重調整であり、
【数１８】
0006009570.tif 000019
【００６８】
が成り立ち得、上式で、β+およびβ-は荷重学習率正規化係数（weight learning rate normalization factor）である。次いで、遅延ステップ、さらには限界の整数調整を得るために、丸めが調整に適用され得、またはこれらは、
【数１９】
0006009570.tif 000020
【００６９】
のように調整の後に適用され得る。
【００７０】
本開示のいくつかの態様によれば、荷重適応に応じて遅延適応を有することが必要とされ得る。図５からの曲線５０４の形状は、シナプス可塑性曲線に応じてその曲線を表すというよりむしろ、直接関係によって達成され得る。式（１１）のような単純であるが同様の式は、
【数２０】
0006009570.tif 000021
【００７１】
になるであろう。
【００７２】
シナプス前ニューロンおよびシナプス後ニューロンペア当たりの複数のシナプスの場合、複数のシナプスが異なる遅延に収束することを可能にすることが好ましいことがある。これは、単に前の状態（たとえば、ランダム初期遅延）のために、または異なる遅延限界のために行われ得る。しかしながら、マージおよび逆マージ状態を適用することが好ましいこともある。
【００７３】
図６に、開示のいくつかの態様による、適応構造遅延可塑性の動作６００を示す。６０２において、ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延が適応され得、その適応は、シナプス後ニューロン回路の第１のスパイクとシナプス前ニューロン回路の第２のスパイクとの間の時間に基づき得る。
【００７４】
一態様では、第１のスパイクが第２のスパイクの後に発生する場合、遅延を適応させることは、遅延を第１の量だけ増加させることを備え得る。別の態様では、第１のスパイクが第２のスパイクの前に発生する場合、遅延を適応させることは、遅延を第２の量だけ減少させることを備え得る。第２のスパイクの後に発生する第１のスパイク間の時間期間が、第１のスパイクの後に発生する第２のスパイク間の別の時間期間と同じである場合、第２の量が第１の量よりも大きくなり得る。
【００７５】
一態様では、図５の曲線５０４によって示されるように、第１のスパイクと第２のスパイクとの間の時間がある時間範囲内にある場合、遅延を適応させることは、遅延を最大可能量だけ増加させることを備え得る。さらに、シナプス後ニューロン回路およびシナプス前ニューロン回路が発火しない場合、遅延が変更され得ない。一態様では、シナプス結合の遅延は、適応に続いて制限および／または量子化され得る。
【００７６】
図７に、本開示のいくつかの態様による、シナプス遅延ダイバーシティの一例７００を示す。例７００では、同じまたは異なる入力を有するシナプスの荷重遅延分布が示されており、荷重および遅延は、図５に示した上述のスパイクタイミング依存構造遅延可塑性概念に基づいて取得され得る。同じ入力に対するシナプスは同じ遅延に収束し得ないことに留意されたい。入力におけるダイバーシティがない場合のみ、その入力に対するすべてのシナプスは、マージ保護が適用されない限り、同じ遅延に収束し得る。入力おけるダイバーシティがある場合、特にポピュレーションコーディング（population coding）を用いて複数の遅延が生じ得る。また、ラテラル抑制（lateral inhibition）が、同じ入力に対するシナプスの複数の遅延を生じる可能性を低減し得ることに留意されたい。
【００７７】
本開示の一態様では、構造遅延可塑性を用いた荷重適応が荷重の分極を生じ得る、すなわち、それらは０または１のいずれかに収束し得る。このようにして、パターン認識はより信頼性が高くなり得る。
【００７８】
図８に、本開示のいくつかの態様による、汎用プロセッサ８０２を使用した適応構造遅延可塑性の例示的なソフトウェア実装形態８００を示す。計算ネットワーク（ニューラルネットワーク）の結合（シナプス）に関連する荷重および遅延は、メモリブロック８０４に記憶され得る。汎用プロセッサ８０２において実行されている適応構造遅延可塑性に関係する命令はプログラムメモリ８０６からロードされ得る。本開示の一態様では、汎用プロセッサ８０２にロードされる命令は、ニューラルネットワークのシナプス前ニューロンとシナプス後ニューロンとの間のシナプス結合の遅延を適応させることを行うためのコードを備え得、その適応は、シナプス後ニューロンの第１のスパイクとシナプス前ニューロンの第２のスパイクとの間の時間に基づき得る。
【００７９】
図９に、本開示のいくつかの態様による、メモリ９０２が、計算ネットワーク（ニューラルネットワーク）の個々の（分散）処理ユニット（神経プロセッサ）９０６をもつ相互接続ネットワーク９０４を介してインターフェースされ得る、適応構造遅延可塑性の例示的な実装形態９００を示す。計算ネットワーク（ニューラルネットワーク）の１つまたは複数の結合（シナプス）に関連する１つまたは複数の荷重および遅延は、相互接続ネットワーク９０４の（１つまたは複数の）結合を介したメモリ９０２から各処理ユニット（神経プロセッサ）９０６にロードされ得る。本開示の一態様では、処理ユニット９０６は、ニューラルネットワークのシナプス前ニューロンとシナプス後ニューロンとの間のシナプス結合の遅延を適応させるように構成され得、その適応は、シナプス後ニューロンの第１のスパイクとシナプス前ニューロンの第２のスパイクとの間の時間に基づき得る。
【００８０】
図１０に、本開示のいくつかの態様による、分散荷重／遅延メモリ１００２と分散処理ユニット（神経プロセッサ）１００４とに基づく適応構造遅延可塑性の例示的な実装形態１０００を示す。図１０に示すように、１つのメモリバンク１００２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット１００４と直接インターフェースされ得、そのメモリバンク１００２は、その処理ユニット（神経プロセッサ）１００４に関連する１つまたは複数の結合（シナプス）の１つまたは複数の荷重および遅延を記憶し得る。本開示の一態様では、処理ユニット１００４は、ニューラルネットワークのシナプス前ニューロンとシナプス後ニューロンとの間のシナプス結合の遅延を適応させるように構成され得、その適応は、シナプス後ニューロンの第１のスパイクとシナプス前ニューロンの第２のスパイクとの間の時間に基づき得る。
【００８１】
適応構造遅延可塑性の提示された方法のいくつかの主要な利益がある。第１に、（ソフトウェアであろうとハードウェアであろうと）スパイクルーティングおよびメモリアクセスとともに、ネットワーク実行処理におけるマルチフォールド低減が達成され得る。第２に、学習率／時間のマルチフォールド加速度が取得され得る。第３に、結合性を表すために必要とされるメモリの低減が達成され得る。第４に、パターンマッチングおよび他のニューラルネットワーク機能を改善し得るより多くのシナプス入力を組み込む／関連付けることが可能であり得る。第５に、ラテラル抑制、繰返し、動的ニューロンモデルなどの場合でさえ、オンライン学習は安定化され得る。
【００８２】
上記で説明した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々な（１つまたは複数の）ハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示す動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。たとえば、図６に示す動作６００は、図６Ａに示す構成要素６００Ａに対応する。
【００８３】
本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【００８４】
上記で説明した方法の様々な動作は、（１つまたは複数の）様々なハードウェアおよび／またはソフトウェア構成要素、回路、および／または（１つまたは複数の）モジュールなど、それらの動作を実行することが可能な任意の好適な手段によって実行され得る。概して、図に示すどの動作も、その動作を実行することが可能な対応する機能的手段によって実行され得る。
【００８５】
本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成としても実装され得る。
【００８６】
本開示に関連して説明した方法またはアルゴリズムのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形態の記憶媒体中に常駐し得る。使用され得る記憶媒体のいくつかの例には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどがある。ソフトウェアモジュールは、単一の命令、または多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラム間で、および複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサに一体化され得る。
【００８７】
本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は特許請求の範囲から逸脱することなく変更され得る。
【００８８】
説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装した場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は、一時的なコンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００８９】
したがって、いくつかの態様は、本明細書で提示した動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明した動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【００９０】
ソフトウェアまたは命令はまた、伝送媒体を介して送信され得る。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、伝送媒体の定義に含まれる。
【００９１】
さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実行するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合するかまたは与えると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
【００９２】
特許請求の範囲は、上記に示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【００９３】
上記は本開示の態様を対象とするが、本開示の他の態様およびさらなる態様は、それらの基本的範囲から逸脱することなく考案され得、それらの範囲は以下の特許請求の範囲によって判断される。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させること
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づく、方法。
［Ｃ２］
前記遅延を適応させることは、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を備える、［Ｃ１］に記載の方法。
［Ｃ３］
前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、［Ｃ２］に記載の方法。
［Ｃ４］
前記遅延を適応させることは、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を備える、［Ｃ１］に記載の方法。
［Ｃ５］
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、［Ｃ１］に記載の方法。
［Ｃ６］
前記適応に続いてシナプス結合の前記遅延を制限すること
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ７］
前記適応に続いてシナプス結合の前記遅延を量子化すること
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ８］
前記遅延を適応させることが、
前記シナプス結合に関連する荷重の公称調整に基づいて前記遅延を調整すること
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ９］
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てること
をさらに備える、［Ｃ１］に記載の方法。
［Ｃ１０］
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるように構成された第１の回路
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づく、装置。
［Ｃ１１］
前記第１の回路はまた、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を行うように構成された、［Ｃ１０］に記載の装置。
［Ｃ１２］
前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、［Ｃ１１］に記載の装置。
［Ｃ１３］
前記第１の回路はまた、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を行うように構成された、［Ｃ１０］に記載の装置。
［Ｃ１４］
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、［Ｃ１０］に記載の装置。
［Ｃ１５］
前記適応に続いてシナプス結合の前記遅延を制限するように構成された第２の回路
をさらに備える、［Ｃ１０］に記載の装置。
［Ｃ１６］
前記適応に続いてシナプス結合の前記遅延を量子化するように構成された第２の回路
をさらに備える、［Ｃ１０］に記載の装置。
［Ｃ１７］
前記第１の回路がまた、
前記シナプス結合に関連する荷重の公称調整に基づいて前記遅延を調整すること
を行うように構成された、［Ｃ１０］に記載の装置。
［Ｃ１８］
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てるように構成された第２の回路
をさらに備える、［Ｃ１０］に記載の装置。
［Ｃ１９］
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させるための手段
を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づく、装置。
［Ｃ２０］
前記遅延を適応させるための前記手段は、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させるための手段と、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させるための手段と
を備える、［Ｃ１９］に記載の装置。
［Ｃ２１］
前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、［Ｃ２０］に記載の装置。
［Ｃ２２］
前記遅延を適応させるための前記手段は、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させるための手段
を備える、［Ｃ１９］に記載の装置。
［Ｃ２３］
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、［Ｃ１９］に記載の装置。
［Ｃ２４］
前記適応に続いてシナプス結合の前記遅延を制限するための手段
をさらに備える、［Ｃ１９］に記載の装置。
［Ｃ２５］
前記適応に続いてシナプス結合の前記遅延を量子化するための手段
をさらに備える、［Ｃ１９］に記載の装置。
［Ｃ２６］
前記遅延を適応させるための前記手段が、
前記シナプス結合に関連する荷重の公称調整に基づいて前記遅延を調整するための手段
をさらに備える、［Ｃ１９］に記載の装置。
［Ｃ２７］
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てるための手段
をさらに備える、［Ｃ１９］に記載の装置。
［Ｃ２８］
ニューラルネットワークのシナプス前ニューロン回路とシナプス後ニューロン回路との間のシナプス結合の遅延を適応させること
を行うためのコードを備えるコンピュータ可読媒体を備え、
前記適応が、前記シナプス後ニューロン回路の第１のスパイクと前記シナプス前ニューロン回路の第２のスパイクとの間の時間に基づく、コンピュータプログラム製品。
［Ｃ２９］
前記コンピュータ可読媒体は、
前記第１のスパイクが前記第２のスパイクの後に発生する場合、前記遅延を第１の量だけ増加させることと、
前記第１のスパイクが前記第２のスパイクの前に発生する場合、前記遅延を第２の量だけ減少させることと
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３０］
前記第２のスパイクの後に発生する前記第１のスパイク間の時間期間が、前記第１のスパイクの後に発生する前記第２のスパイク間の別の時間期間と同じである場合、前記第２の量が前記第１の量よりも大きい、［Ｃ２９］に記載のコンピュータプログラム製品。
［Ｃ３１］
前記コンピュータ可読媒体は、
前記第１のスパイクと前記第２のスパイクとの間の前記時間がある時間範囲内にある場合、前記遅延を最大可能量だけ増加させること
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３２］
前記シナプス後ニューロン回路および前記シナプス前ニューロン回路が発火しない場合、前記遅延が変更されない、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３３］
前記コンピュータ可読媒体が、
前記適応に続いてシナプス結合の前記遅延を制限すること
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３４］
前記コンピュータ可読媒体が、
前記適応に続いてシナプス結合の前記遅延を量子化すること
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３５］
前記コンピュータ可読媒体が、
前記シナプス結合に関連する荷重の公称調整に基づいて前記遅延を調整すること
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
［Ｃ３６］
前記コンピュータ可読媒体が、
前記適応より前に、前記シナプス結合の観測された遅延に基づいて前記遅延を割り当てること
を行うためのコードをさらに備える、［Ｃ２８］に記載のコンピュータプログラム製品。
【図１】
0006009570.tif 000022
【図２】
0006009570.tif 000023
【図３】
0006009570.tif 000024
【図４】
0006009570.tif 000025
【図５】
0006009570.tif 000026
【図６】
0006009570.tif 000027
【図６Ａ】
0006009570.tif 000028
【図７】
0006009570.tif 000029
【図８】
0006009570.tif 000030
【図９】
0006009570.tif 000031
【図１０】
0006009570.tif 000032