(57)【要約】  人工ニューロンを構成するための方法は、非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することを含む。本方法はまた、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することを含む。
2017529592.tif 000002
【特許請求の範囲】
【請求項１】
人工ニューロンを構成するための方法であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することと
を備える、方法。
【請求項２】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１に記載の方法。
【請求項３】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１に記載の方法。
【請求項４】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１に記載の方法。
【請求項５】
前記出力スパイクが単極、双極、または多値である、請求項１に記載の方法。
【請求項６】
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、請求項５に記載の方法。
【請求項７】
人工ニューロンを構成するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することと
を行うように構成される、装置。
【請求項８】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、前記入力スパイク列をイベントベースでサンプリングするようにさらに構成される、請求項７に記載の装置。
【請求項１０】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項７に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサが、単極、双極、または多値である出力スパイクを生成するようにさらに構成される、請求項７に記載の装置。
【請求項１２】
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、請求項１１に記載の装置。
【請求項１３】
人工ニューロンを構成するための装置であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するための手段と、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するための手段と
を備える、装置。
【請求項１４】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１３に記載の装置。
【請求項１５】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１３に記載の装置。
【請求項１６】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１３に記載の装置。
【請求項１７】
前記出力スパイクが単極、双極、または多値である、請求項１３に記載の装置。
【請求項１８】
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、請求項１７に記載の装置。
【請求項１９】
人工ニューロンを構成するためのコンピュータプログラム製品であって、
プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するためのプログラムコードと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するためのプログラムコードと
を備える、コンピュータプログラム製品。
【請求項２０】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１９に記載のコンピュータプログラム製品。
【請求項２１】
前記入力スパイク列をイベントベースでサンプリングするためのプログラムコードをさらに備える、請求項１９に記載のコンピュータプログラム製品。
【請求項２２】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１９に記載のコンピュータプログラム製品。
【請求項２３】
単極、双極、または多値である出力スパイクを生成するためのプログラムコードをさらに備える、請求項１９に記載のコンピュータプログラム製品。
【請求項２４】
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、請求項２３に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
[0001]本出願は、２０１４年８月８日に出願された「ＡＲＴＩＦＩＣＩＡＬ  ＮＥＵＲＯＮＳ  ＡＮＤ  ＳＰＩＫＩＮＧ  ＮＥＵＲＯＮＳ  ＷＩＴＨ  ＡＳＹＮＣＨＲＯＮＯＵＳ  ＰＵＬＳＥ  ＭＯＤＵＬＡＴＩＯＮ」と題する米国仮特許出願第６２／０３５，１９２号の利益を主張し、その開示は、参照によりその全体が本明細書に明示的に組み込まれる。
【０００２】
[0002]本開示のいくつかの態様は、一般にニューラルシステムエンジニアリングに関し、より詳細には、非同期パルス変調を用いて人工ニューロンおよび／またはスパイキングニューロンを構成するためのシステムおよび方法に関する。
【背景技術】
【０００３】
[0003]人工ニューロン（すなわち、ニューロンモデル）の相互結合されたグループを備え得る人工ニューラルネットワークは、計算デバイスであるか、または計算デバイスによって実行される方法を表す。人工ニューラルネットワークは、生物学的ニューラルネットワークにおける対応する構造および／または機能を有し得る。しかしながら、人工ニューラルネットワークは、従来の計算技法が厄介、実行不可能または不適切であるいくつかの適用例に革新的で有用な計算技法を提供することができる。人工ニューラルネットワークは観測から関数を推測することができるので、そのようなネットワークは、タスクまたはデータの複雑さが従来の技法による関数の設計を煩わしくする用途において、特に有用である。
【発明の概要】
【０００４】
[0004]本開示のある態様では、人工ニューロンを構成するための方法が提示される。本方法は、非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することを含む。本方法はまた、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することを含む。
【０００５】
[0005]本開示の別の態様では、人工ニューロンを構成するための装置が提示される。本装置は、メモリと、メモリに結合された１つまたは複数のプロセッサとを含む。本プロセッサは、非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するように構成される。本プロセッサはまた、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するように構成される。
【０００６】
[0006]本開示の別の態様では、人工ニューロンを構成するための装置が提示される。本装置は、非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するための手段を含む。本装置はまた、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するための手段を含む。
【０００７】
[0007]本開示の別の態様では、人工ニューロンを構成するためのコンピュータプログラム製品が提示される。本コンピュータプログラム製品は、プログラムコードを符号化した非一時的コンピュータ可読媒体を含む。本プログラムコードは、非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するためのプログラムコードを含む。本プログラムコードはまた、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するためのプログラムコードを含む。
【０００８】
[0008]これは、以下の詳細な説明がより良く理解され得るために、本開示の特徴および技術的利点をかなり広く概説した。本開示の追加の特徴および利点は、以下で説明される。この開示は、本開示と同じ目的を実行するための他の構造を修正または設計するための基礎として容易に変更され得ることが、当業者によって理解されるべきである。また、添付の特許請求の範囲に記載されるように、そのような等価な構成は本開示の教示から逸脱しないことが、当業者によって理解されるべきである。本開示の特徴と考えられる新規な特徴は、その構成と動作の方法との両方に関して、さらなる目的および利点とともに、添付の図面と関連して考慮されるとき以下の説明からより良く理解されるであろう。しかしながら、図面の各々は単に例示および説明の目的のために提供されているにすぎず、本開示の制限の定義として意図されていないことが、明確には理解されるべきである。
【０００９】
[0009]本開示の特徴、性質、および利点は、同様の参照文字が全体を通して相応して識別する図面を考慮した場合、以下に示される詳細な説明から、より明らかになるだろう。
【図面の簡単な説明】
【００１０】
【図１】[0010]本開示のいくつかの態様によるニューロンの例示的なネットワークを示す図。
【図２】[0011]本開示のいくつかの態様による、計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）の処理ユニット（ニューロン）の一例を示す図。
【図３】[0012]本開示のいくつかの態様によるスパイクタイミング依存可塑性（ＳＴＤＰ）曲線の一例を示す図。
【図４】[0013]本開示のいくつかの態様による、ニューロンモデルの挙動を定義するための正レジームおよび負レジームの一例を示す図。
【図５】[0014]本開示のある態様による、汎用プロセッサを使用してニューラルネットワークを設計することの例示的な実装形態を示す図。
【図６】[0015]本開示のいくつかの態様による、メモリが個々の分散処理ユニットとインターフェースされ得るニューラルネットワークを設計する例示的な実装形態を示す図。
【図７】[0016]本開示のいくつかの態様による、分散メモリおよび分散処理ユニットに基づいてニューラルネットワークを設計する例示的な実装形態を示す図。
【図８】[0017]本開示のいくつかの態様による、ニューラルネットワークの例示的な実装形態を示す図。
【図９】[0018]本開示のいくつかの態様による、例示的な符号器／復号器のペアを示すブロック図。
【図１０】[0019]本開示のいくつかの態様による、空間プロセッサとして構成された例示的な人工ニューロンを示すブロック図。
【図１１】[0020]本開示のいくつかの態様による、例示的な簡略化された人工ニューロンを示すブロック図。
【図１２Ａ】本開示のいくつかの態様による、例示的な簡略化された人工ニューロンを示すブロック図。
【図１２Ｂ】本開示のいくつかの態様による、例示的な簡略化された人工ニューロンを示すブロック図。
【図１３】[0021]本開示のいくつかの態様による、空間−時間プロセッサとして構成された例示的な人工ニューロンを示すブロック図。
【図１４】[0022]本開示のいくつかの態様による、空間プロセッサとして構成された例示的な簡略化された人工ニューロンを示すブロック図。
【図１５】[0023]本開示のいくつかの態様による、時間プロセッサとして構成された例示的な人工ニューロンを示すブロック図。
【図１６】[0024]本開示のある態様による、人工ニューロンを構成するための方法を示す流れ図。
【発明を実施するための形態】
【００１１】
[0025]添付の図面に関連して以下に示される詳細な説明は、様々な構成の説明として意図されたものであり、本明細書において説明される概念が実現され得る唯一の構成を表すことを意図されるものではない。詳細な説明は、様々な概念の完全な理解を提供する目的で、具体的な詳細を含む。しかしながら、これらの概念がこれらの具体的な詳細なしで実施され得ることは、当業者にとっては明らかであろう。いくつかの事例では、よく知られている構造および構成要素が、そのような概念を曖昧にするのを避けるために、ブロック図形式で示される。
【００１２】
[0026]本教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わされるにせよ、本開示のいかなる態様をもカバーするものであることを、当業者なら諒解されたい。たとえば、記載される態様をいくつ使用しても、装置は実装され得、または方法は実施され得る。さらに、本開示の範囲は、記載される本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法をカバーするものとする。開示する本開示のいずれの態様も、請求項の１つまたは複数の要素によって実施され得ることを理解されたい。
【００１３】
[0027]「例示的」という単語は、本明細書では「例、事例、または例示の働きをすること」を意味するために使用される。「例示的」として本明細書で説明するいかなる態様も、必ずしも他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。
【００１４】
[0028]本明細書では特定の態様について説明するが、これらの態様の多くの変形および置換は本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は特定の利益、使用、または目的に限定されるものではない。むしろ、本開示の態様は、様々な技術、システム構成、ネットワーク、およびプロトコルに広く適用可能であるものとし、そのうちのいくつかを例として図および好ましい態様についての以下の説明で示す。発明を実施するための形態および図面は、本開示を限定するものではなく説明するものにすぎず、本開示の範囲は添付の特許請求の範囲およびそれの均等物によって定義される。
【００１５】
例示的なニューラルシステム、トレーニングおよび動作
[0029]図１は、本開示のいくつかの態様による、複数のレベルのニューロンをもつ例示的な人工ニューラルシステム１００を示す。ニューラルシステム１００は、シナプス結合のネットワーク１０４（すなわち、フィードフォワード結合）を介してニューロンの別のレベル１０６に結合されたニューロンのあるレベル１０２を有し得る。簡単のために、図１には２つのレベルのニューロンのみが示されているが、ニューラルシステムには、より少ないまたはより多くのレベルのニューロンが存在し得る。ニューロンのいくつかは、ラテラル結合を介して同じ層の他のニューロンに結合し得ることに留意されたい。さらに、ニューロンのいくつかは、フィードバック結合を介して前の層のニューロンに戻る形で結合し得る。
【００１６】
[0030]図１に示すように、レベル１０２における各ニューロンは、前のレベル（図１に図示せず）のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２のニューロンの入力電流を表し得る。この電流は、膜電位を充電するためにニューロン膜上に蓄積され得る。膜電位がそれのしきい値に達すると、ニューロンは、発火し、ニューロンの次のレベル（たとえば、レベル１０６）に転送されるべき出力スパイクを生成し得る。いくつかのモデリング手法では、ニューロンは、信号をニューロンの次のレベルに継続的に転送し得る。この信号は、典型的には膜電位の関数である。そのような挙動は、以下で説明するものなどのアナログおよびデジタル実装形態を含むハードウェアおよび／またはソフトウェアでエミュレートまたはシミュレートされ得る。
【００１７】
[0031]生物学的ニューロンでは、ニューロンが発火するときに生成される出力スパイクは、活動電位と呼ばれる。電気信号は、約１００ｍＶの振幅と約１ｍｓの持続時間とを有する比較的急速で、一時的な神経インパルスである。一連の結合されたニューロンを有するニューラルシステムの特定の実施形態（たとえば、図１におけるあるレベルのニューロンから別のレベルのニューロンへのスパイクの転送）では、あらゆる活動電位が基本的に同じ振幅と持続時間とを有するので、信号における情報は、振幅によってではなく、スパイクの周波数および数、またはスパイクの時間によってのみ表され得る。活動電位によって搬送される情報は、スパイク、スパイクしたニューロン、および他の１つまたは複数のスパイクに対するスパイクの時間によって決定され得る。以下で説明するように、スパイクの重要性は、ニューロン間の接続に適用される重みによって決定され得る。
【００１８】
[0032]図１に示されるように、ニューロンのあるレベルから別のレベルへのスパイクの移動は、シナプス結合（または、単純に「シナプス」）１０４のネットワークを介して達成され得る。シナプス１０４に関して、レベル１０２のニューロンはシナプス前ニューロンと考えられ得、レベル１０６のニューロンはシナプス後ニューロンと考えられ得る。シナプス１０４は、レベル１０２のニューロンから出力信号（すなわち、スパイク）を受信して、調整可能なシナプスの重み
【００１９】
【数１】
2017529592.tif 000003
【００２０】
に応じてそれらの信号をスケーリングすることができ、上式で、Ｐはレベル１０２のニューロンとレベル１０６のニューロンとの間のシナプス結合の総数であり、ｉはニューロンレベルの指標である。図１の例では、ｉはニューロンレベル１０２を表し、ｉ＋１は、ニューロンレベル１０６を表す。さらに、スケーリングされた信号は、レベル１０６における各ニューロンの入力信号として合成され得る。レベル１０６におけるあらゆるニューロンは、対応する合成された入力信号に基づいて、出力スパイク１１０を生成し得る。出力スパイク１１０は、シナプス結合の別のネットワーク（図１には図示せず）を使用して、別のレベルのニューロンに転送され得る。
【００２１】
[0033]生物学的シナプスは、シナプス後ニューロンにおける興奮性活動または抑制性（過分極化）活動のいずれかを調停することができ、ニューロン信号を増幅する役目を果たすことができる。興奮性信号は、膜電位を脱分極する（すなわち、静止電位に対して膜電位を増加させる）。しきい値を超えて膜電位を脱分極するために十分な興奮性信号が一定の時間期間内に受信された場合、シナプス後ニューロンに活動電位が生じる。対照的に、抑制性信号は一般に、膜電位を過分極する（すなわち、低下させる）。抑制性信号は、十分に強い場合、興奮性信号のすべてを相殺し、膜電位がしきい値に達するのを防止することができる。シナプス興奮を相殺することに加えて、シナプス抑制は、自然に活発なニューロンに対して強力な制御を行うことができる。自然に活発なニューロンは、たとえば、それのダイナミクスまたはフィードバックに起因するさらなる入力なしにスパイクするニューロンを指す。これらのニューロンにおける活動電位の自然な生成を抑圧することによって、シナプス抑制は、一般にスカルプチャリングと呼ばれる、ニューロンの発火のパターンを形成することができる。様々なシナプス１０４は、望まれる挙動に応じて、興奮性シナプスまたは抑制性シナプスの任意の組合せとして働き得る。
【００２２】
[0034]ニューラルシステム１００は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、プロセッサによって実行されるソフトウェアモジュール、またはそれらの任意の組合せによってエミュレートされ得る。ニューラルシステム１００は、たとえば画像およびパターン認識、機械学習、モータ制御、および似ているなど、かなりの適用範囲において利用され得る。ニューラルシステム１００における各ニューロンは、ニューロン回路として実装され得る。出力スパイクを開始するしきい値まで充電されるニューロン膜は、たとえば、そこを通って流れる電流を積分するキャパシタとして実装され得る。
【００２３】
[0035]一態様では、キャパシタは、ニューロン回路の電流積分デバイスとして除去され得、その代わりにより小さいメモリスタ（memristor）要素が使用され得る。この手法は、ニューロン回路において、ならびにかさばるキャパシタが電流積分器として利用される様々な他の適用例において適用され得る。さらに、シナプス１０４の各々は、メモリスタ要素に基づいて実装され得、シナプス重みの変化は、メモリスタ抵抗の変化に関係し得る。ナノメートルの特徴サイズのメモリスタを用いると、ニューロン回路およびシナプスの面積が大幅に低減され得、それによって、大規模なニューラルシステムハードウェア実装形態の実装がより実用的になり得る。
【００２４】
[0036]ニューラルシステム１００をエミュレートするニューラルプロセッサの機能は、ニューロン間の結合の強さを制御し得る、シナプス結合の重みに依存し得る。シナプス重みは、パワーダウン後にプロセッサの機能を維持するために、不揮発性メモリに記憶され得る。一態様では、シナプス重みメモリは、主たるニューラルプロセッサチップとは別個の外部チップ上に実装され得る。シナプス重みメモリは、交換可能メモリカードとしてニューラルプロセッサチップとは別個にパッケージ化され得る。これは、ニューラルプロセッサに多様な機能を提供することができ、特定の機能は、ニューラルプロセッサに現在取り付けられているメモリカードに記憶されたシナプス重みに基づき得る。
【００２５】
[0037]図２は、本開示のいくつかの態様による、計算ネットワーク（たとえば、ニューラルシステムまたはニューラルネットワーク）の処理ユニット（たとえば、ニューロンまたはニューロン回路）２０２の例示的な図２００を示す。たとえば、ニューロン２０２は、図１のレベル１０２のニューロンおよび１０６のニューロンのうちのいずれかに対応し得る。ニューロン２０２は、ニューラルシステムの外部にある信号、または同じニューラルシステムの他のニューロンによって生成された信号、またはその両方であり得る、複数の入力信号２０４1〜２０４Nを受信し得る。入力信号は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。入力信号は、固定小数点表現または浮動小数点表現をもつ数値を備え得る。これらの入力信号は、調整可能なシナプス重み２０６1〜２０６N（ｗ1〜ｗN）に従って信号をスケーリングするシナプス結合を通してニューロン２０２に伝えられ得、Ｎはニューロン２０２の入力接続の総数であり得る。
【００２６】
[0038]ニューロン２０２は、スケーリングされた入力信号を合成し、合成された、スケーリングされた入力を使用して、出力信号２０８（すなわち、信号ｙ）を生成し得る。出力信号２０８は、電流、コンダクタンス、電圧、実数値および／または複素数値であり得る。出力信号は、固定小数点表現または浮動小数点表現をもつ数値であり得る。出力信号２０８は、次いで、同じニューラルシステムの他のニューロンへの入力信号として、または同じニューロン２０２への入力信号として、またはニューラルシステムの出力として伝達され得る。
【００２７】
[0039]処理ユニット（ニューロン）２０２は電気回路によってエミュレートされ得、それの入力接続および出力接続は、シナプス回路をもつ電気接続によってエミュレートされ得る。処理ユニット２０２ならびにそれの入力接続および出力接続はまた、ソフトウェアコードによってエミュレートされ得る。処理ユニット２０２はまた、電気回路によってエミュレートされ得るが、それの入力接続および出力接続はソフトウェアコードによってエミュレートされ得る。一態様では、計算ネットワーク中の処理ユニット２０２はアナログ電気回路であり得る。別の態様では、処理ユニット２０２はデジタル電気回路であり得る。さらに別の態様では、処理ユニット２０２は、アナログ構成要素とデジタル構成要素の両方をもつ混合信号電気回路であり得る。計算ネットワークは、上述の形態のいずれかにおける処理ユニットを含み得る。そのような処理ユニットを使用した計算ネットワーク（ニューラルシステムまたはニューラルネットワーク）は、たとえば画像およびパターン認識、機械学習、モータ制御など、かなりの適用範囲において利用され得る。
【００２８】
[0040]ニューラルネットワークをトレーニングする過程で、シナプス重み（たとえば、図１の重み
【００２９】
【数２】
2017529592.tif 000004
【００３０】
および／または図２の重み２０６1〜２０６N）がランダム値により初期化され得、学習ルールに従って増加または減少し得る。学習ルールの例は、これに限定されないが、スパイクタイミング依存可塑性（ＳＴＤＰ）学習ルール、Ｈｅｂｂ則、Ｏｊａ則、Ｂｉｅｎｅｎｓｔｏｃｋ−Ｃｏｐｐｅｒ−Ｍｕｎｒｏ（ＢＣＭ）則等を含むことを当業者は理解するだろう。いくつかの態様では、重みは、２つの値のうちの１つに安定または収束し得る（すなわち、重みの双峰分布）。この効果が利用されて、シナプス重みごとのビット数を低減し、シナプス重みを記憶するメモリとの間の読取りおよび書込みの速度を上げ、シナプスメモリの電力および／またはプロセッサ消費量を低減し得る。
【００３１】
シナプスタイプ
[0041]ニューラルネットワークのハードウェアおよびソフトウェアモデルでは、シナプス関係機能の処理がシナプスタイプに基づき得る。シナプスタイプは、非塑性シナプス（non-plastic synapse）（重みおよび遅延の変化がない）、可塑性シナプス（重みが変化し得る）、構造遅延可塑性シナプス（重みおよび遅延が変化し得る）、完全可塑性シナプス（重み、遅延および結合性が変化し得る）、およびそれの変形（たとえば、遅延は変化し得るが、重みまたは結合性の変化はない）であり得る。複数のタイプの利点は、処理が再分割され得ることである。たとえば、非塑性シナプスは、可塑性機能を使用しないで実行される場合がある（またはそのような機能が完了するのを待つ）。同様に、遅延および重み可塑性は、一緒にまたは別々に、順にまたは並列に動作し得る動作に再分割され得る。異なるタイプのシナプスは、適用される異なる可塑性タイプの各々の異なるルックアップテーブルまたは式およびパラメータを有し得る。したがって、本方法は、シナプスのタイプについての関連する表、式、またはパラメータにアクセスする。
【００３２】
[0042]スパイクタイミング依存構造可塑性がシナプス可塑性とは無関係に実行され得るという事実のさらなる含意がある。構造可塑性は、重みの大きさに変化がない場合（たとえば、重みが最小値または最大値に達したか、あるいはそれが何らかの他の理由により変更されない場合）ｓ構造可塑性（すなわち、遅延量の変化）は前後スパイク時間差（pre-post spike time difference）の直接関数であり得ても実行され得る。代替的に、構造可塑性は、重み変化量に応じて、または重みもしくは重み変化の限界に関係する条件に基づいて設定され得る。たとえば、重み変化が生じたとき、または重みが最大値になるのではなく、重みがゼロに達した場合のみ、シナプス遅延が変化し得る。しかしながら、これらのプロセスが並列化され、メモリアクセスの数および重複を低減し得るように、独立した機能を有することが有利であり得る。
【００３３】
シナプス可塑性の決定
[0043]神経可塑性（または単に「可塑性」）は、脳内のニューロンおよびニューラルネットワークがそれらのシナプス結合と挙動とを新しい情報、感覚上の刺激、発展、損傷または機能不全に応答して変える能力である。可塑性は、生物学における学習および記憶にとって、また計算論的神経科学およびニューラルネットワークにとって重要である。（たとえば、Ｈｅｂｂ則理論による）シナプス可塑性、スパイクタイミング依存可塑性（ＳＴＤＰ）、非シナプス可塑性、活性依存可塑性、構造可塑性および恒常的可塑性など、様々な形の可塑性が研究されている。
【００３４】
[0044]ＳＴＤＰは、ニューロン間のシナプス結合の強さを調整する学習プロセスである。結合強度は、特定のニューロンの出力スパイクおよび受信入力スパイク（すなわち、活動電位）の相対的タイミングに基づいて調整される。ＳＴＤＰプロセスの下で、あるニューロンに対する入力スパイクが、平均して、そのニューロンの出力スパイクの直前に生じる傾向がある場合、長期増強（ＬＴＰ）が生じ得る。その場合、その特定の入力はいくらか強くなる。一方、入力スパイクが、平均して、出力スパイクの直後に生じる傾向がある場合、長期抑圧（ＬＴＤ）が生じ得る。その場合、その特定の入力はいくらか弱くなるので、「スパイクタイミング依存可塑性」と呼ばれる。したがって、シナプス後ニューロンの興奮の原因であり得る入力は、将来的に寄与する可能性がさらに高くなる一方、シナプス後スパイクの原因ではない入力は、将来的に寄与する可能性が低くなる。結合の初期セットのサブセットが残る一方で、その他の部分の影響がわずかなレベルまで低減されるまで、このプロセスは続く。
【００３５】
[0045]ニューロンは一般に、出力スパイクを、それの入力の多くが短い期間内に生じる（すなわち、出力をもたらすのに十分な累積がある）ときに生成するので、通常残っている入力のサブセットは、時間的に相関する傾向のあった入力を含む。さらに、出力スパイクの前に生じる入力は強化されるので、最も早い十分に累積的な相関指示を提供する入力は結局、ニューロンへの最終入力となる。
【００３６】
[0046]ＳＴＤＰ学習ルールは、シナプス前ニューロンのスパイク時間ｔpreとシナプス後ニューロンのスパイク時間ｔpostとの間の時間差（すなわち、ｔ＝ｔpost−ｔpre）に応じて、シナプス前ニューロンをシナプス後ニューロンに結合するシナプスのシナプス重みを効果的に適合させ得る。ＳＴＤＰの通常の公式化は、時間差が正である（シナプス前ニューロンがシナプス後ニューロンの前に発火する）場合にシナプス重みを増加させ（すなわち、シナプスを増強し）、時間差が負である（シナプス後ニューロンがシナプス前ニューロンの前に発火する）場合にシナプス重みを減少させる（すなわち、シナプスを抑制する）ことである。
【００３７】
[0047]ＳＴＤＰプロセスでは、経時的なシナプス重みの変化は通常、以下の式によって与えられるように、指数関数的減衰を使用して達成され得る。
【００３８】
【数３】
2017529592.tif 000005
【００３９】
ここで、ｋ+およびｋ-τsign(Δt)はそれぞれ、正の時間差および負の時間差の時間定数であり、ａ+およびａ-は対応するスケーリングの大きさであり、μは正の時間差および／または負の時間差に適用され得るオフセットである。
【００４０】
[0048]図３は、ＳＴＤＰによる、シナプス前スパイクおよびシナプス後スパイクの相対的タイミングに応じたシナプス重み変化の例示的な図３００を示す。シナプス前ニューロンがシナプス後ニューロンの前に発火する場合、グラフ３００の部分３０２に示すように、対応するシナプス重みは増加し得る。この重み増加は、シナプスのＬＴＰと呼ばれ得る。グラフ部分３０２から、シナプス前スパイク時間とシナプス後スパイク時間との間の時間差に応じて、ＬＴＰの量がほぼ指数関数的に減少し得ることが観測され得る。グラフ３００の部分３０４に示すように、発火の逆の順序は、シナプス重みを減少させ、シナプスのＬＴＤをもたらし得る。
【００４１】
[0049]図３のグラフ３００に示すように、ＳＴＤＰグラフのＬＴＰ（原因）部分３０２に負のオフセットμが適用され得る。ｘ軸の交差３０６のポイント（ｙ＝０）は、層ｉ−１からの原因入力の相関を考慮して、最大タイムラグと一致するように構成され得る。フレームベースの入力（すなわち、スパイクまたはパルスを備える特定の持続時間のフレームの形態である入力）の場合、オフセット値μは、フレーム境界を反映するように計算され得る。直接的にシナプス後電位によってモデル化されるように、またはニューラル状態に対する影響の点で、フレームにおける第１の入力スパイク（パルス）が経時的に減衰することが考慮され得る。フレームにおける第２の入力スパイク（パルス）が特定の時間フレームの相関したまたは関連したものと考えられる場合、フレームの前および後の関連する時間は、その時間フレーム境界で分離され、関連する時間の値が異なり得る（たとえば、１つのフレームよりも大きい場合は負、１つのフレームよりも小さい場合は正）ように、ＳＴＤＰ曲線の１つまたは複数の部分をオフセットすることによって、可塑性の点で別様に扱われ得る。たとえば、曲線が、フレーム時間よりも大きい前後の時間で実際にゼロよりも下になり、結果的にＬＴＰの代わりにＬＴＤの一部であるようにＬＴＰをオフセットするために負のオフセットμが設定され得る。
【００４２】
ニューロンモデルおよび演算
[0050]有用なスパイキングニューロンモデルを設計するための一般的原理がいくつかある。良いニューロンモデルは、２つの計算レジーム、すなわち、一致検出および関数計算の点で豊かな潜在的挙動を有し得る。その上、良いニューロンモデルは、時間コーディングを可能にするための２つの要素を有する必要がある：入力の到着時間は出力時間に影響を与え、一致検出は狭い時間ウィンドウを有し得る。最終的に、計算上魅力的であるために、良いニューロンモデルは、連続時間に閉形式解と、ニアアトラクター（near attractor）と鞍点とを含む安定した挙動とを有し得る。言い換えれば、有用なニューロンモデルは、実用的なニューロンモデルであり、豊かで、現実的で、生物学的に一貫した挙動をモデル化するために使用され得、神経回路のエンジニアリングとリバースエンジニアリングの両方を行うために使用され得るニューロンモデルである。
【００４３】
[0051]ニューロンモデルは事象、たとえば入力の到着、出力スパイク、または内部的であるか外部的であるかを問わず他の事象に依存し得る。豊かな挙動レパートリーを実現するために、複雑な挙動を示すことができる状態機械が望まれ得る。入力寄与（ある場合）とは別個の事象の発生自体が状態機械に影響を与え、事象の後のダイナミクスを制限し得る場合、システムの将来の状態は、単なる状態および入力の関数ではなく、むしろ状態、事象および入力の関数である。
【００４４】
[0052]一態様では、ニューロンｎは、下記のダイナミクスによって決定される膜電圧ｖn（ｔ）によるスパイキングリーキー積分発火ニューロンとしてモデル化され得る。
【００４５】
【数４】
2017529592.tif 000006
【００４６】
ここでαおよびβは、パラメータであり、ｗm,nは、シナプス前ニューロンｍをシナプス後ニューロンｎに結合するシナプスのシナプス重みであり、ｙm（ｔ）は、ニューロンｎの細胞体に到着するまでΔｔm,nに従って樹状遅延または軸索遅延によって遅延し得るニューロンｍのスパイキング出力である。
【００４７】
[0053]シナプス後ニューロンへの十分な入力が達成された時間からシナプス後ニューロンが実際に発火する時間までの遅延があることに留意されたい。イジケヴィッチの単純モデルなど、動的スパイキングニューロンモデルでは、脱分極しきい値ｖtとピークスパイク電圧ｖpeakとの間に差がある場合、時間遅延が生じ得る。たとえば、単純モデルでは、電圧および復元のための１対の微分方程式、すなわち、
【００４８】
【数５】
2017529592.tif 000007
【００４９】
【数６】
2017529592.tif 000008
【００５０】
によってニューロン細胞体ダイナミクス（neuron soma dynamics）が決定され得る。ここでｖは膜電位であり、ｕは、膜復元変数であり、ｋは、膜電位ｖの時間スケールを記述するパラメータであり、ａは、復元変数ｕの時間スケールを記述するパラメータであり、ｂは、膜電位ｖのしきい値下変動に対する復元変数ｕの感度を記述するパラメータであり、ｖrは、膜静止電位であり、Ｉは、シナプス電流であり、Ｃは、膜のキャパシタンスである。このモデルによれば、ニューロンはｖ＞ｖpeakのときにスパイクすると定義される。
【００５１】
Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄモデル
[0054]Ｈｕｎｚｉｎｇｅｒ  Ｃｏｌｄニューロンモデルは、豊かな様々な神経挙動を再生し得る最小二重レジームスパイキング線形動的モデルである。モデルの１次元または２次元の線形ダイナミクスは２つのレジームを有することができ、時間定数（および結合）はレジームに依存し得る。しきい値下レジームでは、時間定数は、慣例により負であり、一般に生物学的に一貫した線形方式で静止状態に細胞を戻す役目を果たすリーキーチャネルダイナミクスを表す。しきい値上レジームにおける時間定数は、慣例により正であり、一般にスパイク生成のレイテンシを生じさせる一方でスパイク状態に細胞を駆り立てる反リーキーチャネルダイナミクスを反映する。
【００５２】
[0055]図４に示すように、モデル４００のダイナミクスは２つの（またはそれよりも多くの）レジームに分割され得る。これらのレジームは、負のレジーム（ｎｅｇａｔｉｖｅ  ｒｅｇｉｍｅ）４０２（ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＬＩＦ）ニューロンモデルと混同されないように、交換可能にＬＩＦレジームとも呼ばれる）、および正のレジーム（ｐｏｓｉｔｉｖｅ  ｒｅｇｉｍｅ）４０４（ａｎｔｉ−ｌｅａｋｙ−ｉｎｔｅｇｒａｔｅ−ａｎｄ−ｆｉｒｅ（ＡＬＩＦ）ニューロンモデルと混同されないように、交換可能にＡＬＩＦレジームとも呼ばれる）と呼ばれ得る。負レジーム４０２では、状態は将来の事象の時点における静止（ｖ-）の傾向がある。この負レジームでは、モデルは一般に、時間的入力検出特性と他のしきい値下挙動とを示す。正レジーム４０４では、状態はスパイキング事象（ｖs）の傾向がある。この正レジームでは、モデルは、後続の入力事象に応じてスパイクにレイテンシを生じさせるなどの計算特性を示す。事象の点からのダイナミクスの公式化およびこれら２つのレジームへのダイナミクスの分離は、モデルの基本的特性である。
【００５３】
[0056]線形二重レジーム２次元ダイナミクス（状態ｖおよびｕの場合）は、慣例により次のように定義され得る。
【００５４】
【数７】
2017529592.tif 000009
【００５５】
【数８】
2017529592.tif 000010
【００５６】
ここでｑρおよびｒは、結合のための線形変換変数である。
【００５７】
[0057]シンボルρは、ダイナミクスレジームを示すためにここで使用され、特定のレジームの関係を論述または表現するときに、それぞれ負レジームおよび正レジームについて符号「−」または「＋」にシンボルρを置き換える慣例がある。
【００５８】
[0058]モデル状態は、膜電位（電圧）ｖおよび復元電流ｕによって定義される。基本形態では、レジームは基本的にモデル状態によって決定される。正確で一般的な定義の微妙だが重要な側面があるが、差し当たり、モデルが、電圧ｖがしきい値ｖ+を上回る場合に正レジーム４０４にあり、そうでない場合に負レジーム４０２にあると考える。
【００５９】
[0059]レジーム依存時間定数は、負レジーム時間定数であるτ-と正レジーム時間定数であるτ+とを含む。復元電流時間定数τuは通常、レジームから独立している。便宜上、τuと同様に、指数およびτ+が一般に正となる正レジームの場合に、電圧発展（voltage evolution）に関する同じ表現が使用され得るように、減衰を反映するために負の量として負レジーム時間定数τ-が一般に指定される。
【００６０】
[0060]２つの状態要素のダイナミクスは、事象において、ヌルクラインから状態をオフセットする変換によって結合され得、ここで変換変数は、
【００６１】
【数９】
2017529592.tif 000011
【００６２】
【数１０】
2017529592.tif 000012
【００６３】
であり、δ、ε、βおよびｖ-、ｖ+はパラメータである。ｖρのための２つの値は、２つのレジームのための参照電圧のベースである。パラメータｖ-は、負レジームのためのベース電圧であり、膜電位は一般に、負レジームにおいてｖ-に減衰する。パラメータｖ+は、正レジームのためのベース電圧であり、膜電位は一般に、正レジームにおいてｖ+から離れる傾向となる。
【００６４】
[0061]ｖおよびｕのためのヌルクラインは、それぞれ変換変数ｑρおよびｒの負によって与えられる。パラメータδは，ｕヌルクラインの傾きを制御するスケール係数である。パラメータεは通常、−ｖ-に等しく設定される。パラメータβは、両方のレジームにおいてｖヌルクラインの傾きを制御する抵抗値である。τρ時間定数パラメータは、指数関数的減衰だけでなく、各レジームにおいて別個にヌルクラインの傾きを制御する。
【００６５】
[0062]モデルは、電圧ｖが値ｖsに達したときにスパイクするように定義され得る。続いて、状態は（スパイク事象と同じ１つのものであり得る）リセット事象でリセットされ得る。
【００６６】
【数１１】
2017529592.tif 000013
【００６７】
【数１２】
2017529592.tif 000014
【００６８】
ここで、
【００６９】
【数１３】
2017529592.tif 000015
【００７０】
およびΔｕはパラメータである。リセット電圧
【００７１】
【数１４】
2017529592.tif 000016
【００７２】
は通常、ｖ-にセットされる。
【００７３】
[0063]瞬時結合の原理によって、状態について（また、単一の指数項による）だけではなく、特定の状態に到達するための時間についても、閉形式解が可能である。近い形式状態解は、次のとおりである。
【００７４】
【数１５】
2017529592.tif 000017
【００７５】
【数１６】
2017529592.tif 000018
【００７６】
[0064]したがって、モデル状態は、入力（シナプス前スパイク）または出力（シナプス後スパイク）などの事象に伴ってのみ更新され得る。また、演算が（入力があるか、出力があるかを問わず）任意の特定の時間に実行され得る。
【００７７】
[0065]その上、瞬時結合原理によって、反復的技法または数値解法（たとえば、オイラー数値解法）なしに、特定の状態に到達する時間が事前に決定され得るように、シナプス後スパイクの時間が予想され得る。前の電圧状態ｖ0を踏まえ、電圧状態ｖfに到達するまでの時間遅延は、次の式によって与えられる。
【００７８】
【数１７】
2017529592.tif 000019
【００７９】
[0066]スパイクが、電圧状態ｖがｖsに到達する時間に生じると定義される場合、電圧が所与の状態ｖにある時間から測定されたスパイクが生じるまでの時間量、または相対的遅延に関する閉形式解は、次のとおりである。
【００８０】
【数１８】
2017529592.tif 000020
【００８１】
ここで、
【００８２】
【数１９】
2017529592.tif 000021
【００８３】
は通常、パラメータｖ+にセットされるが、他の変形も可能であり得る。
【００８４】
[0067]モデルダイナミクスの上記の定義は、モデルが正レジームにあるか、それとも負レジームにあるかに依存する。上述のように、結合およびレジームρは、事象に伴って計算され得る。状態の伝搬のために、レジームおよび結合（変換）変数は、最後の（前の）事象の時間における状態に基づいて定義され得る。続いてスパイク出力時間を予想するために、レジームおよび結合変数は、次の（最新の）事象の時間における状態に基づいて定義され得る。
【００８５】
[0068]Ｃｏｌｄモデルの、適時にシミュレーション、エミュレーションまたはモデルを実行するいくつかの可能な実装形態がある。これは、たとえば、事象更新モード、ステップ事象更新モード、およびステップ更新モードを含む。事象更新は、（特定の瞬間における）事象または「事象更新」に基づいて状態が更新される更新である。ステップ更新は、間隔（たとえば、１ｍｓ）をおいてモデルが更新される更新である。これは必ずしも、反復的技法または数値解法を利用するとは限らない。また、事象がステップもしくはステップ間で生じる場合または「ステップ事象」更新によってモデルを更新するのみによって、ステップベースのシミュレータにおいて限られた時間分解能で事象ベースの実装形態が可能である。
【００８６】
非同期パルス変調を用いた人工ニューロンおよびスパイキングニューロン
[0069]本開示の態様は、非同期パルス変調を用いて人工ニューロンおよび／またはスパイキングニューロンを構成することを対象とする。
【００８７】
[0070]非同期パルス変調器（ＡＰＭ）は、信号を単極スパイク列、双極スパイク列、または多値スパイクに符号化し得る。さらに、スパイク応答モデル（ＳＲＭ）ニューロンおよびリーキー積分発火（ＬＩＦ）ニューロンは、非同期パルスデルタ変調器（ＡＰＤＭ）として知られるＡＰＭの特別な形態である。
【００８８】
[0071]本開示の態様によれば、スパイキングニューロンは、ＡＰＭを使用して構成される。１つの例示的な態様では、スパイキングニューロンは、空間プロセッサの形態で構成される。この形態では、各シナプス前ニューロンとシナプス後ニューロンとの間に単一のシナプスが提供され得る。
【００８９】
[0072]第２の例示的な態様では、スパイキングニューロンは、時空間プロセッサの形態で構成される。この構成では、シナプス前ニューロンとシナプス後ニューロンとの間に複数のシナプスが提供され得る。
【００９０】
[0073]第３の例示的な態様では、スパイキングニューロンは、時間プロセッサの形態で構成され得る。この構成では、単一のシナプス前ニューロンとシナプス後ニューロンとの間に複数のシナプスが提供され得る、より簡略化されたスパイキングニューロンが実現され得る。
【００９１】
人工ニューロン
[0074]従来の離散時間サンプリングされた人工ニューロン（ＡＮ）およびその連続時間バージョンが以下に説明される。すべてのＡＮにわたって１／Ｔの共通サンプリングレートを仮定すると、ＡＮのｋ番目のサンプリングされた潰れ（squashed）ドット積出力は以下のように表され得る。
【００９２】
【数２０】
2017529592.tif 000022
【００９３】
上式で、σ（・）は活性化関数を表し、ｙ（ｋＴ）はバイアスドット積を表す。
【００９４】
【数２１】
2017529592.tif 000023
【００９５】
上式で、ｗ0はバイアス項を表し、｛ｗn｜ｎ＝１，２，．．．Ｎ｝はシナプス重みを表し、およびｘpre,n（ｋＴ）、ｎ番目のシナプス前ニューロンの潰れドット積出力のｋ番目の時間サンプルである。潰れドット積出力は、入力ベクトル間の類似のレベルを示す類似性測度を表す。
【００９６】
【数２２】
2017529592.tif 000024
【００９７】
また、空間シナプス重みベクトルはｗ＝［ｗ1，ｗ2，．．．，ｗN］となる。
【００９８】
[0075]１、０、および−１のｙ（ｋＴ）値は、それぞれ最大類似性、類似性なし、および反類似性を表し得る。
【００９９】
[0076]サンプリングレートはナイキストサンプリング定理を満たし、信号｛ｘpre,n（ｋＴ）｜ｎ＝１，２，．．．，Ｎ｝にわたる最大帯域幅の２倍以上であり得る。均一に時間サンプリングされたＡＮの精度および計算の複雑さは、サンプリングレート１／Ｔに依存する。１／Ｔが増加すると、計算の複雑さを犠牲にして精度が向上する。Ｍビットの振幅量子化を仮定すると、各シナプス前ニューロンは、一定のビット伝送速度Ｍ／Ｔ［ｂｐｓ］を利用し得る。
【０１００】
連続時間ＡＮ
[0077]ＡＮの連続時間潰れドット積出力は、以下のように表され得る。
【０１０１】
【数２３】
2017529592.tif 000025
【０１０２】
上式で、σ（・）は活性化関数を表し、ｙ（ｔ）は連続時間バイアス（biased）ドット積を表す。
【０１０３】
【数２４】
2017529592.tif 000026
【０１０４】
上式で、ｗ0はバイアス項を表し、｛ｗn｜ｎ＝１，２，．．．Ｎ｝はシナプス重みと呼ばれ得る空間重みを表し、ｘpre,n（ｔ）はｎ番目のシナプス前ニューロンの潰れドット積出力である。
【０１０５】
[0078]潰れドット積ｘ（ｔ）は、時間的に変化する方法の空間信号ベクトルｘpre（ｔ）＝［ｘpre,1（ｔ），．．．，ｘpre,N（ｔ）］が、空間シナプス重みベクトルｗpre＝［ｗ1，．．．ｗ1N］とどのように「類似」するかを測定する。たとえば、１の値は類似性を表し得、０は類似性なしを表し得る。さらに、［−１，１］の範囲の活性化関数が使用される場合、−１は反類似性を表し得る。上記の例における活性化関数は、潰れドット積として記載されているが、本開示はそれに限定されない。むしろ、活性化関数は、放射基底関数、シグモイド関数、双曲正接関数および区分線形活性化関数、または他の形態の活性化関数も備え得る。
【０１０６】
[0079]図５は、本開示のいくつかの態様による、汎用プロセッサ５０２を使用した前述の人工ニューロン構成の例示的な実装形態５００を示している。変数（神経信号）、シナプス重み、計算ネットワーク（ニューラルネットワーク）に関連付けられるシステムパラメータ、遅延、および周波数ビン情報は、メモリブロック５０４で記憶され得、汎用プロセッサ５０２で実行される命令はプログラムメモリ５０６からロードされ得る。本開示のある態様では、汎用プロセッサ５０２にロードされる命令は、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するためのコードを備え得る。さらに、汎用プロセッサ５０２にロードされる命令は、入力スパイク列のセットと空間−時間重みベクトルとの間の類似性を表す出力スパイクを生成するためのコードを備え得る。
【０１０７】
[0080]本開示の別の態様では、命令は、入力スパイク列のセットと空間重みベクトルとの間の類似性を表す出力スパイクを生成するためのコードを備え得る。本開示の別の態様では、命令は、入力スパイク列のセットと入力スパイク列のセットに基づく時間フィルタとの間の類似性を表す出力スパイクを生成するためのコードを備え得る。
【０１０８】
[0081]図６は、本開示のいくつかの態様による、前述のニューロン構成の例示的な実装形態６００を示しており、メモリ６０２は、相互接続ネットワーク６０４を介して、計算ネットワーク（ニューラルネットワーク）の個々の（分散された）処理ユニット（ニューラルプロセッサ）６０６とインターフェースされ得る。変数（神経信号）、シナプス重み、計算ネットワーク（ニューラルネットワーク）遅延に関連付けられるシステムパラメータ、および周波数ビン情報は、メモリ６０２で記憶され得、相互接続ネットワーク６０４の接続を介してメモリ６０２から各処理ユニット（ニューラルプロセッサ）６０６にロードされ得る。本開示のある態様では、処理ユニット６０６は、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するように構成され得る。さらに、処理ユニット６０６は、入力スパイク列のセットと空間−時間重みベクトルとの間の類似性を表す出力スパイクを生成するように構成され得る。
【０１０９】
[0082]本開示の別の態様では、処理ユニット６０６は、入力スパイク列のセットと空間重みベクトルとの間の類似性を表す出力スパイクを生成するように構成され得る。本開示の別の態様では、処理ユニット６０６は、入力スパイク列のセットと時間フィルタとの間の類似性を表す出力スパイクを生成するように構成され得る。
【０１１０】
[0083]図７は、前述のニューロン構成の例示的な実装形態７００を示している。図７に示されるように、１つのメモリバンク７０２は、計算ネットワーク（ニューラルネットワーク）の１つの処理ユニット７０４と直接インターフェースされ得る。各メモリバンク７０２は、変数（神経信号）、シナプス重み、および／または対応する処理ユニット（ニューラルプロセッサ）７０４遅延に関連付けられるシステムパラメータ、および周波数ビン情報を記憶し得る。本開示のある態様では、処理ユニット７０４は、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するように構成され得る。さらに、処理ユニット７０４は、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するように構成され得る。
【０１１１】
[0084]本開示の別の態様では、処理ユニット７０４は、入力スパイク列のセットと空間重みベクトルとの間の類似性を表す出力スパイクを生成するように構成され得る。本開示の別の態様では、処理ユニット７０４は、入力スパイク列のセットと時間フィルタとの間の類似性を表す出力スパイクを生成するように構成され得る。
【０１１２】
[0085]図８は、本開示のいくつかの態様による、ニューラルネットワーク８００の例示的な実装形態を示す。図８に示すように、ニューラルネットワーク８００は、本明細書に説明した方法の様々な動作を実行し得る複数のローカル処理ユニット８０２を有することができる。各ローカル処理ユニット８０２は、ニューラルネットワークのパラメータを記憶する、ローカルステートメモリ８０４およびローカルパラメータメモリ８０６を備え得る。また、ローカル処理ユニット８０２は、ローカルモデルプログラムを記憶するためのローカル（ニューロン）モデルプログラム（ＬＭＰ）メモリ８０８、ローカル学習プログラムを記憶するためのローカル学習プログラム（ＬＬＰ）メモリ８１０、およびローカル接続メモリ８１２を有し得る。さらに、図８に示されるように、各ローカル処理ユニット８０２は、ローカル処理ユニットのローカルメモリの構成を提供するための構成プロセッサユニット８１４と、またローカル処理ユニット８０２間のルーティングを提供するルーティング接続処理ユニット８１６とインターフェースされ得る。
【０１１３】
[0086]一構成では、ニューロンモデルは、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するように、および／または入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するように構成される。ニューロンモデルは、受信手段と、生成手段とを含む。一態様では、受信手段および／または生成手段は、記載される機能を実行するように構成された汎用プロセッサ５０２、プログラムメモリ５０６、メモリブロック５０４、メモリ６０２、相互接続ネットワーク６０４、処理ユニット６０６、処理ユニット７０４、ローカル処理ユニット８０２、およびまたはルーティング接続処理ユニット８１６であり得る。別の構成では、前述の手段は、前述の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【０１１４】
[0087]別の構成では、ニューロンモデルは、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するように、および／または入力スパイク列のセットと空間重みベクトルとの間の類似性を表す出力スパイクを生成するように構成される。ニューロンモデルは、受信手段と、生成手段とを含む。一態様では、受信手段および／または生成手段は、記載される機能を実行するように構成された汎用プロセッサ５０２、プログラムメモリ５０６、メモリブロック５０４、メモリ６０２、相互接続ネットワーク６０４、処理ユニット６０６、処理ユニット７０４、ローカル処理ユニット８０２、およびまたはルーティング接続処理ユニット８１６であり得る。別の構成では、前述の手段は、前述の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【０１１５】
[0088]別の構成では、ニューロンモデルは、先行する連続時間入力信号の非同期パルス符号化表現を備える入力スパイク列のセットを受信するように、および／または入力スパイク列のセットと時間フィルタとの間の類似性を表す出力スパイクを生成するように構成される。ニューロンモデルは、受信手段および生成手段を含む。一態様では、受信手段および／または生成手段は、記載される機能を実行するように構成された汎用プロセッサ５０２、プログラムメモリ５０６、メモリブロック５０４、メモリ６０２、相互接続ネットワーク６０４、処理ユニット６０６、処理ユニット７０４、ローカル処理ユニット８０２、およびまたはルーティング接続処理ユニット８１６であり得る。別の構成では、前述の手段は、前述の手段によって記載された機能を実行するように構成された任意のモジュールまたは任意の装置であり得る。
【０１１６】
[0089]本開示のいくつかの態様によれば、各ローカル処理ユニット８０２は、ニューラルネットワークの所望の１つまたは複数の機能的特徴に基づいてニューラルネットワークのパラメータを決定して、決定されたパラメータがさらに適応され、同調され、更新されるにつれて、所望の機能的特徴に向けて１つまたは複数の機能的特徴を開発するように構成され得る。
【０１１７】
非同期パルス変調（ＡＰＭ）符号器および復号器
[0090]ＡＰＭ符号器は、連続時間入力信号ｘ（ｔ）を、チャネルを介して送信される出力スパイク列ｓ（ｔ）に変換する。１つの例示的な態様では、スパイク列は正および単極であり得る。しかしながら、本開示はそれに限定されず、いくつかの態様では、スパイク列は負の単極、双極、および／または多値であり得る。
【０１１８】
[0091]出力スパイク列は、チャネルを介して１つまたは複数のシナプス後ニューロンに送信または提供し得る。いくつかの態様では、チャネルは軸索、シナプス後ニューロンのシナプスとしてのＡＰＭ復号器、およびシナプス前ニューロンの一部としてのＡＰＭ符号器に類似し得る。ある理想的なチャネルでは、受信されたスパイク列ｒ（ｔ）＝ｓ（ｔ）である。このように、受信されたスパイク列ｒ（ｔ）は、シナプス前ニューロンからの連続時間入力信号の非同期パルス符号化表現を備え得る。ＡＰＭ復号器は、ｒ（ｔ）を入力信号ｘ（ｔ）の推定値
【０１１９】
【数２５】
2017529592.tif 000027
【０１２０】
に変換し得る。
【０１２１】
[0092]いくつかの態様では、ＡＰＭ符号器およびＡＰＭ復号器は、復号器が符号器に「一致」するという点でペアを形成し得る。たとえば、符号器および復号器での再構成フィルタ（またはデルタフィルタ）が一致し得る。さらに、平滑化フィルタ（たとえば、アンチエイリアシングフィルタ（ＡＡＦ））が含まれる場合、平滑化フィルタは、入力信号ｘ（ｔ）の帯域幅にほぼ一致する帯域幅で構成され得る。したがって、ＡＰＭ符号器ｎは、ＡＰＭ復号器ｎと一致するように設計され得る。さらに、各符号器／復号器のペアは別個であり得る。
【０１２２】
[0093]図９は、本開示の一態様による、非同期パルス変調器（ＡＰＭ）ニューロンの例示的な符号器／復号器のペアを示す。図９は、入力信号ｚ（ｔ）９０４を送信信号ｓ（ｔ）９０６に符号化するために符号器９０２を使用するＡＰＭ９００を示し、チャネル９１０を横切って復号器９１２で入力信号９０４の推定値
【０１２３】
【数２６】
2017529592.tif 000028
【０１２４】
９０８を再構成する。説明を簡単にするために、チャネル９１０は理想的なチャネルと仮定され得、したがって、チャネル雑音および歪み（たとえば、マルチパスチャネル、時間的に変化する減衰）が導入され、システム設計に影響を及ぼし得るという理解の下で、復号器９１２で受信された信号９１４はｒ（ｔ）＝ｓ（ｔ）である。
【０１２５】
[0094]いくつかの態様では、符号器９０２は、入力信号９０４ｚ（ｔ）を事前成形し、フィルタリングされた信号９１８を生成するための、線形時間不変（ＬＴＩ）プレフィルタ９１６ｇ（ｔ）を含み得る。
【０１２６】
【数２７】
2017529592.tif 000029
【０１２７】
[0095]ＬＴＩプレフィルタ９１６は、「シグマ」フィルタまたは積分フィルタと呼ばれ得る。ＬＴＩプレフィルタ９１６が存在する場合、ＡＰＭ９００は、非同期パルスシグマ−デルタ変調器（ＡＰＳＤＭ）と呼ばれ得る。ＬＴＩプレフィルタ９１６が存在しない場合、ｙ（ｔ）＝ｚ（ｔ）であり、ＡＰＭは非同期パルスデルタ変調器（ＡＰＤＭ）と呼ばれ得る。
【０１２８】
[0096]符号器９０２はまた、量子化器９２０、信号発生器９２２（パルス発生器であり得る）、および再構成フィルタ９２４を含む。量子化器９２０、信号発生器９２２、および再構成フィルタ９２４は、組み合わせて、フィルタリングされた信号９１８ｙ（ｔ）の変化または「デルタ」を符号化する、一般化された非同期パルスデルタ変調器（ＡＰＤＭ）符号器と呼ばれ得る。フィルタリングされた信号９１８ｙ（ｔ）は、差信号を生成するために、加算器９２８に供給され、ローカル再構成信号９２６
【０１２９】
【数２８】
2017529592.tif 000030
【０１３０】
によって減算される。
【０１３１】
【数２９】
2017529592.tif 000031
【０１３２】
[0097]差信号の振幅は、量子化器９２０によって量子化され、信号９３０が得られる。
【０１３３】
【数３０】
2017529592.tif 000032
【０１３４】
[0098]信号ｅ（ｔ）は連続値であり得るが、いくつかの態様では、１つまたは複数の離散値を取り得る。量子化器９２０はまた、いくつかの形式を取り得る。たとえば、量子化器は、１つ、２つ、または複数のしきい値を有し得る。次いで、量子化差信号９３０
【０１３５】
【数３１】
2017529592.tif 000033
【０１３６】
は、送信信号９０６を生成するために、信号発生器９２２を通過する。
【０１３７】
【数３２】
2017529592.tif 000034
【０１３８】
上式で、Ｍは、符号器によって生成される出力パルスの総数を表し、ｐ（ｔ）は、単位エネルギーを有する送信パルス形状を表し、Ｔmは、
【０１３９】
【数３３】
2017529592.tif 000035
【０１４０】
における、正の変化（上限しきい値に達するか、それを超える）および／または負の変化（下限しきい値に達するか、それを超える）のｍ番目の発生に関連付けられる時間インスタントであり、ここで、ｍ∈［１，Ｍ］およびＴ1＜Ｔ2＜．．．＜ＴMであり、ａ（ｍ）はｍ番目のパルスに関連付けられるスケーリング値または係数である。たとえば、ａ（ｍ）は、１あるいは任意の正または負の値のセット（たとえば、±１、±２）を表し得る。
【０１４１】
[0099]一態様では、パルスは、インパルス関数δ（ｔ）に似た大きな帯域幅を有し得る。これらは、Ｂ＞＞１であるｓｉｎｃ（Ｂｔ）のようなパルス、後述するレイズドコサインパルス（Ｂm＞＞１、およびβのロールファクタを有する）、および薄い矩形パルス
【０１４２】
【数３４】
2017529592.tif 000036
【０１４３】
を含み、上式で、Ｔ(p)＜＜１であり、ｕs（ｔ）は単位ステップ関数である。
【０１４４】
【数３５】
2017529592.tif 000037
【０１４５】
[00100]いくつかの態様では、しきい値がパルスの列に到達する場合、送信信号９０６は時間インスタントシーケンス｛Ｔ1，Ｔ2，．．．，ＴM｝の変換として見られ得る。送信信号９０６はまた、パルス時間変調と考えられてよく、各時間インスタントが、パルスが生成されるインスタントを決定する。
【０１４６】
[00101]次いで、送信信号９０６は、再構成信号９２６を生成するために、再構成フィルタ９２４ｈ（ｔ）（デルタフィルタとも呼ばれる）にフィードバックされ得る。
【０１４７】
【数３６】
2017529592.tif 000038
【０１４８】
【数３７】
2017529592.tif 000039
【０１４９】
[00102]連続時間システムの場合、クロックは使用されず、シグナリング時間インスタント｛Ｔm｜ｍ∈［１，Ｍ］｝は連続値である。一方、離散時間システムの場合、クロックを使用し得、信号時間インスタント｛Ｔm｜ｍ∈［１，Ｍ］｝は（たとえば、最も近い１ミリ秒に）量子化され得る。これにより、ＡＰＭ９００の離散時間バージョンが得られる。
【０１５０】
[00103]いくつかの態様では、量子化器９２０および信号発生器９２２は、必要に応じて組み合わせられ得る。さらに、帯域外雑音を除去するために、プレフィルタの前に平滑化フィルタ９３２（たとえば、アンチエイリアシングフィルタ（ＡＡＦ））が挿入され得る。平滑化フィルタ９３２は、たとえば、ローパスフィルタ（ＬＰＦ）またはバンドパスフィルタ（ＢＰＦ）であり得る。いくつかの態様では、平滑化フィルタ９３２の帯域幅は、ｚ（ｔ）の帯域幅に近似するように設定され得る。
【０１５１】
[00104]量子化器９２０は、様々な構成において提供され得る。たとえば、量子化器９２０は、片面でもよく両面でもよい。片面量子化器は、たとえば、上限しきい値量子化器または下限しきい値量子化器を含み得る。
【０１５２】
[00105]上限しきい値量子化器は、たとえば０であり得る最小値で信号を符号化し得る。上限しきい値量子化器は、入力信号の量子化のための単一のしきい値または複数のしきい値を有し得る。
【０１５３】
[00106]差信号は、以下を介して量子化差信号にマッピングされる。
【０１５４】
【数３８】
2017529592.tif 000040
【０１５５】
したがって、ｅ（ｔ）≧Δ／２の場合、
【０１５６】
【数３９】
2017529592.tif 000041
【０１５７】
、
【０１５８】
【数４０】
2017529592.tif 000042
【０１５９】
であり、そうではない場合、
【０１６０】
【数４１】
2017529592.tif 000043
【０１６１】
であり、ａ＞０は量子化された値を表す。説明を簡単にするために、また制限なしに、スケーリング係数ａは１に設定され得る。したがって、量子化器９２０は、単極シグナリングまたはポイントプロセスとも呼ばれ得る、係数ａによってスケーリングされた単一の正の値のパルス列の形式の送信信号を生成し得る（たとえば、スパイキングニューラルネットワークにおけるスパイクに類似する）。送信信号は、以下によって与えられ得る。
【０１６２】
【数４２】
2017529592.tif 000044
【０１６３】
[00107]いくつかの態様では、しきい値の設計は、再構成フィルタ設計に影響を及ぼす。 一例では、後で定義されるΔ／２およびｈ（ｔ）∈［０，Δ］のしきい値は、
【０１６４】
【数４３】
2017529592.tif 000045
【０１６５】
を生成し得る。別の例では、Δおよびｈ（ｔ）∈［０，Δ］のしきい値は、ｅ（ｔ）∈［０，Δ］を生成し得る。第１の手法は、差信号の絶対値をより小さくする。このコメントは、上限しきい値量子化器だけでなく、本明細書で説明されるすべての量子化器に適用される。
【０１６６】
[00108]時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０１６７】
【数４４】
2017529592.tif 000046
【０１６８】
がしきい値以上であるインスタントに対応する。
【０１６９】
[00109]高速の正の値の変化を伴う入力信号を処理するために複数の正のしきい値が導入され得、ここでｅ（ｔ）＞＞Δ／２であり、これは、符号化器が送信できない（たとえば、電力資源の再充電のために）ダウンタイムまたは不応期間の間にｅ（ｔ）が急速に変化する場合に発生する可能性がある。二重しきい値片面量子化器の例が以下に説明される。
【０１７０】
[00110]差信号は、以下を介して量子化差信号にマッピングされる。
【０１７１】
【数４５】
2017529592.tif 000047
【０１７２】
したがって、
【０１７３】
【数４６】
2017529592.tif 000048
【０１７４】
である。この量子化器は、２つの離散値パルス列の形式の送信信号をもたらす。これらは、以下の形式の送信信号をもたらす。
【０１７５】
【数４７】
2017529592.tif 000049
【０１７６】
上式で、ａ（ｍ）∈｛ａ，２ａ｝である。時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０１７７】
【数４８】
2017529592.tif 000050
【０１７８】
がしきい値を上回るインスタントに対応する。
【０１７９】
[00111]下限しきい値量子化器は、信号を最大値以下に符号化することが意図される。説明を簡単にするために、符号化が非正の信号に対するものであるように、最大値０を仮定する。下限しきい値量子化器はまた、入力信号を量子化するための１つまたは複数のしきい値を有し得る。
【０１８０】
[00112]差信号は、以下を介して量子化差信号にマッピングされ得る。
【０１８１】
【数４９】
2017529592.tif 000051
【０１８２】
したがって、ｅ（ｔ）≦−Δ／２の場合、
【０１８３】
【数５０】
2017529592.tif 000052
【０１８４】
および
【０１８５】
【数５１】
2017529592.tif 000053
【０１８６】
であり、そうではない場合、
【０１８７】
【数５２】
2017529592.tif 000054
【０１８８】
である。値ａは、量子化された値（たとえば、ａ＝１）を表す。この量子化器は、以下によって与えられ得る、単一の負の値のパルス列の形式の送信信号をもたらす。
【０１８９】
【数５３】
2017529592.tif 000055
【０１９０】
上式で、時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０１９１】
【数５４】
2017529592.tif 000056
【０１９２】
がしきい値以下であるインスタントに対応する。
【０１９３】
[00113]上限しきい値しきい値量子化器と同様に、高速の負の値の変化を伴う入力信号を処理するために複数の下限しきい値しきい値が導入され得、ここでｅ（ｔ）＞＞−Δ／２である。
【０１９４】
[00114]差信号は、以下を介して量子化差信号にマッピングされる。
【０１９５】
【数５５】
2017529592.tif 000057
【０１９６】
[00115]これは、以下の形式の送信信号をもたらす。
【０１９７】
【数５６】
2017529592.tif 000058
【０１９８】
上式で、ａ（ｍ）∈｛−ａ，−２ａ｝である。時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０１９９】
【数５７】
2017529592.tif 000059
【０２００】
がしきい値以下であるインスタントに対応する。
【０２０１】
[00116]両面量子化器は、最小値または最大値を有し得ない信号を符号化し得る。両面量子化器は、増加するしきい値と減少するしきい値の両方を有し得る。そのような量子化器は、制限されていない信号の量子化、また必要に応じて、上限しきい値および／または下限しきい値をサポートし得る。
【０２０２】
[00117]差信号は、以下を介して量子化差信号にマッピングされる。
【０２０３】
【数５８】
2017529592.tif 000060
【０２０４】
したがって、
【０２０５】
【数５９】
2017529592.tif 000061
【０２０６】
である。この量子化器は、双極パルス列の形式の送信信号をもたらす。
【０２０７】
【数６０】
2017529592.tif 000062
【０２０８】
上式で、ａ（ｍ）∈｛−ａ，ａ｝である。時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０２０９】
【数６１】
2017529592.tif 000063
【０２１０】
が正の値のしきい値以上か負の値のしきい値以下であるインスタントに対応する。
【０２１１】
[00118]｜ｅ（ｔ）｜＞＞Δ／２である高速に変化する入力信号を処理するために、複数のしきい値のペアが導入され得る。両面二重しきい値ペア量子化器の一例が以下に説明される。
【０２１２】
[00119]差信号は、以下を介して量子化差信号にマッピングされる。
【０２１３】
【数６２】
2017529592.tif 000064
【０２１４】
したがって、
【０２１５】
【数６３】
2017529592.tif 000065
【０２１６】
である。この量子化器は、双極パルス列の形式の送信信号をもたらす。
【０２１７】
【数６４】
2017529592.tif 000066
【０２１８】
上式で、ａ（ｍ）∈｛−２ａ，−ａ，ａ，２ａ｝である。時間インスタント｛Ｔm｜ｍ＝１，．．．，Ｍ｝は、
【０２１９】
【数６５】
2017529592.tif 000067
【０２２０】
が正の値のしきい値以上か負の値のしきい値以下であるインスタントに対応する。
【０２２１】
[00120]量子化器９２０が片面である場合、再構成フィルタ９２４は減衰フィルタであり得る。非減衰再構成フィルタは、上限しきい値量子化器に対して単調に増加するか、下限しきい値量子化器に対して単調に減少する、再構成信号９２６をもたらし得る。量子化器９２０が両面である場合、減衰または非減衰の再構成フィルタ９２４が使用され得る。減衰再構成フィルタ９２４は、連続値または離散値を有し得る。
【０２２２】
[00121]非減衰再構成フィルタは、インパルス応答を取り得る。
【０２２３】
【数６６】
2017529592.tif 000068
【０２２４】
上式で、送信（または受信）信号内の係数ａを除去するためにスケーリング係数１／ａが適用され得、量子化器によって規定される量と一致する量だけ入力信号を追跡するためにスケーリング係数Δが使用され得る。いくつかの態様では、ｈ（ｔ）＝ｕs（ｔ）となるようにΔ＝ａ＝１である。
【０２２５】
[00122]いくつかの構成では、連続値インパルス応答を有する任意の減衰フィルタが使用され得る。たとえば、信号（たとえば、入力信号）がゼロまで漸減するとき、任意の減衰フィルタが使用され得る。いくつかの態様では、入力信号タイプの減衰挙動に基づいて再構成フィルタが選択され得る。たとえば、入力信号を高速減衰させるために、ゼロへの高速減衰を伴う再構成フィルタが使用され得る。そうではない場合、ゆっくり減衰する再構成フィルタが使用され得る。高速上昇を伴う信号の場合、高速上昇を伴う再構成フィルタが使用され得る。そうではない場合、ゆっくりと上昇する再構成フィルタが使用され得る。
【０２２６】
[00123]単純な減衰再構成フィルタは、減衰する指数関数である。
【０２２７】
【数６７】
2017529592.tif 000069
【０２２８】
上式で、τdは減衰時定数を表し、また上式で、ｕs（ｔ）は、ｔ≧０ならばｕs（ｔ）＝１であり、そうでなければｕs（ｔ）＝０となる単位ステップ関数を表す。
【０２２９】
[00124]いくつかの態様では、二重指数関数を有する再構成フィルタが使用され得る。たとえば、突然のジャンプではなく、滑らかな上昇のために、二重指数関数フィルタは以下によって与えられ得る。
【０２３０】
【数６８】
2017529592.tif 000070
【０２３１】
上式で、τrは上昇時定数を表し、スケーリング係数Ａ2expは：
【０２３２】
【数６９】
2017529592.tif 000071
【０２３３】
であり、上式で、Ａ2exp,peakは二重指数関数のピークの大きさ（たとえば、Ａ2exp,peak＝１）を表し、
【０２３４】
【数７０】
2017529592.tif 000072
【０２３５】
である。
【０２３６】
[00125]いくつかの態様では、離散値を有する減衰フィルタが使用され得る。一例では、再構成フィルタは、均一に離間した離散値を有する線形減衰階段関数の形態を有する。
【０２３７】
[00126]再構成フィルタはまた、不均一に離間した離散値、および離散値ごとの不均一な期間を有し得る。一例では、減衰する指数関数の離散値バージョンに類似し得るテレスコーピング法（１／２の係数）で調整された減少するステップサイズを有する再構成フィルタが使用され得る。
【０２３８】
[00127]別の態様では、再構成フィルタは、最初の上昇およびその後の減衰を有し得る。たとえば、再構成フィルタは、最初に上昇し、次いで、二重指数関数の離散値バージョンに類似し得る減衰する階段関数を有し得る。
【０２３９】
[00128]チャネル９１０が理想的である（すなわち、損失または雑音を有さない）場合、復号器９１２は、受信信号９１４は送信信号９０６に等しく、したがってｒ（ｔ）＝ｓ（ｔ）と見る。
【０２４０】
[00129]結合された信号を符号化するためのＡＰＤＭおよび片面量子化器では、再構成信号（または、フィルタインパルス応答）は、一般にゼロに向かう傾向があり得る。さもなければ、信号符号化は可能ではない場合がある。たとえば、上限しきい値量子化器および単位ステップ関数に設定された再構成フィルタを有するＡＰＤＭは、時間とともに増加する信号のみを符号化し、時間とともに減少もする信号は符号化しない場合がある。一方で、十分に速くゼロに向かう傾向がある応答を有する再構成フィルタは、減衰する信号も符号化し得る。
【０２４１】
[00130]復号器９１２は、再構成フィルタ（再構成フィルタ９２４に類似）、逆フィルタ、および平滑化フィルタ９３２（たとえば、アンチエイリアシングフィルタ（ＡＡＦ））を含み得、いくつかの態様では、これは異なる順序で構成されてもよく、および／または組み合わせられてもよい。
【０２４２】
[00131]本開示のＡＰＭ符号器／復号器のペア９００では、インパルス応答に対する推定数値解ではなく、復号器９１２に対する明示的な解が存在する。
【０２４３】
空間プロセッサとしてのＡＰＭニューロン
[00132]図１０は、空間プロセッサとして構成された例示的な人工ニューロン１０００を示すブロック図である。図１０を参照すると、人工ニューロンまたはＡＰＭニューロン１０００は、１つまたは複数のＡＰＭ復号器（たとえば、１００４ａ、１００４ｎ）、活性化関数ノード１０１０、およびＡＰＭ符号器１０１２を備え得る。
【０２４４】
[00133]ＡＰＭニューロン１０００は、各接続が単一のシナプス（たとえば、１００２ａ、１００２ｎ）を備えるＮ個のシナプス前ニューロンと結合され得る。Ｎ個のシナプス前ニューロンの各々は、ＡＰＭ１０００と同様に構成され得る。したがって、Ｎ個のペアのＡＰＭ符号器および復号器が存在し得、ここでＡＰＭ復号器ｎは、対応するシナプス（たとえば、１００２ａ、１００２ｎ、１００２Ｎ）を介してシナプス前ＡＰＭ符号器ｎ（図示せず）に一致され、ここでｎ＝１，２，．．．，Ｎである。いくつかの態様では、符号器／復号器のペアは共通でもよく、同じでもよい。たとえば、Ｎ個の符号器／復号器のペアの各々は、同じ符号化および復号化技法を実行するように構成され得る。しかしながら、本出願はそれに限定されず、符号器／復号器のペアは互いに区別され得る。
【０２４５】
[00134]ＡＰＭニューロンは、Ｎ個のシナプス前ニューロン（図示せず）からＮ個のスパイク列入力（たとえば、ｒpre,1（ｔ）ｒpre,n（ｔ））を受け取る。いくつかの態様では、シナプス前ニューロンはＡＰＭニューロンを備え得る。ＡＰＭ符号器ｎは信号ｘpre,n（ｔ）を取り、スパイク列ｓpre,n（ｔ）を生成する。説明を簡単にするために、チャネルは雑音または減衰がないものと仮定され得、したがって、シナプスｎで、受信されたスパイク列はｒpre,n（ｔ）＝ｓpre,n（ｔ）である。もちろん、本開示はそれに限定されず、受信されたスパイク列は、雑音のあるチャネルの影響下で計算され得る。したがって、受信されたスパイク列は、先行する連続時間入力信号の非同期パルス符号化表現を備え得る。
【０２４６】
[00135]ＡＰＭ復号器（たとえば、１００４ａ、１００４Ｎ）は、受信されたスパイク列ｒpre,n（ｔ）を、対応するシナプス前ニューロンと、基礎となる連続時間ＡＮとに関連付けられる潰れドット積ｘpre,n（ｔ）の連続時間形式推定値
【０２４７】
【数７１】
2017529592.tif 000073
【０２４８】
に変換する。
【０２４９】
[00136]次いで、推定値
【０２５０】
【数７２】
2017529592.tif 000074
【０２５１】
は、乗算器（たとえば、１００６ａ、１００６Ｎ）を介してｎ番目のシナプス重みｗnと乗算され得る。もちろん、ＡＰＭ復号器ｎの順序とシナプス重みｗnの乗算は切り替えられてもよく、数学的に等価である。切り替えられると、受信されたスパイク列ｒpre,n（ｔ）は、ＡＰＭ復号器（たとえば、１００４ａ、１００４Ｎ）に渡される前にシナプス重みによって最初にスケーリングされる。数学的に等価であるが、最初に乗算を行うことは、スパイク到達が発生したときにのみシナプス重みと入力スパイクとの乗算が起こり得るため、有利であり得る。さもなければ、乗算が後である場合、一定の乗算（増幅）が実行され得る。したがって、本手法では、ハードウェアおよびシステム性能に関するさらなる効率が実現され得る。
【０２５２】
[00137]対応するシナプス重みによってそれぞれスケーリングされ得るｎ番目のＡＰＭ復号器出力（ｘpre,n（ｔ））は、加算ノード１００８に供給され、以下のようにバイアス項ｗ0とともに合計される。
【０２５３】
【数７３】
2017529592.tif 000075
【０２５４】
上式で、
【０２５５】
【数７４】
2017529592.tif 000076
【０２５６】
は、基礎となる連続時間ＡＮに関連付けられるバイアスドット積ｙ（ｔ）の推定値である。次いで、このドット積推定値は、活性化関数ノード１０１０に渡され得る。活性化関数ノード１０１０は、たとえばσ（・）などの活性化関数を適用し得る。しかしながら、たとえばシグモイド関数、双曲線タンジェントおよび区分的線形活性化関数を含む、他の形態の活性化関数が適用され得る。活性化関数は、その入力信号の振幅を［０，１］または［−１，１］などの限定された範囲に圧縮し得る。
【０２５７】
[00138]１つの例示的な態様では、活性化関数の出力は、基礎となる連続時間ＡＮに関連付けられる潰れドット積の推定値であり得る。
【０２５８】
【数７５】
2017529592.tif 000077
【０２５９】
[00139]潰れドット積
【０２６０】
【数７６】
2017529592.tif 000078
【０２６１】
は、ＡＰＭ符号器１０１２に渡され得る。次に、ＡＰＭ符号器１０１２は、
【０２６２】
【数７７】
2017529592.tif 000079
【０２６３】
を、ＡＰＭニューロンから出力され得るスパイク列ｓ（ｔ）に変換し得る。
【０２６４】
[00140]いくつかの態様では、ＡＰＭ符号器／復号器のペアが共通である場合、ＡＰＭニューロン１０００は簡略化され得る。たとえば、共通のＡＰＭ復号器が単一の復号器にプールされ得る。図１１は、例示的な簡略化されたＡＰＭニューロン１１００を示すブロック図である。図１１に示されるように、単一のＡＰＭ復号器１１０４は、すべてのＡＰＭ符号器および復号器のペアが同一または共通である場合に使用され得る。各ＡＰＭ復号器（たとえば、図１０の1００４ａ、１００４Ｎ）は、共通に構成され得る。シナプス重み乗算演算とＡＰＭ復号器の順序も逆にされ得る。したがって、ｎ番目に受信されたスパイク列は、シナプス重みｗnによってスケーリングされ、次いでＡＰＭ復号器１１０４に渡され得る。
【０２６５】
[00141]線形性により、Ｎ個のＡＰＭ復号器（図１０に示される）は、１つの復号器（１１０４）に統合され、加算ノード１１０８で加算演算の後に移動され得る。したがって、乗算器からのＮ個の重み付けスパイク列（たとえば、１１０６ａ、１１０６Ｎ）の各々は、統合されたスパイク列を形成するために合計され得る。
【０２６６】
【数７８】
2017529592.tif 000080
【０２６７】
[00142]統合されたスパイク列ｒpre,w（ｔ）は、
【０２６８】
【数７９】
2017529592.tif 000081
【０２６９】
を生成するためにＡＰＭ復号器１１０４に供給され得る。前述のように、
【０２７０】
【数８０】
2017529592.tif 000082
【０２７１】
は活性化関数ノード１１１０を通過され、バイアスドット積
【０２７２】
【数８１】
2017529592.tif 000083
【０２７３】
を生成するために、活性化関数を適用する。信号
【０２７４】
【数８２】
2017529592.tif 000084
【０２７５】
は、出力スパイク列ｓ（ｔ）を生成するために、ＡＰＭ符号器１１１２に提供され得る。
【０２７６】
[00143]さらなる簡略化が実現され得る。たとえば、活性化関数（たとえば、σ（・））が存在しない場合、ＡＰＭニューロンは、バイアスドット積（スカッシュなし）を計算し得る。
【０２７７】
[00144]図１２Ａは、本開示の態様による、結合されたＡＰＭ復号器／符号器１２０２ａのための信号処理ブロックを示すブロック図である。結合されたＡＰＭ復号器／符号器は、平滑化フィルタ（たとえば、アンチエイリアシングフィルタ（ＡＡＦ））１２０４デルタフィルタ１２０６、加算器１２０８、量子化器１２１０、およびパルス発生器１２１２を備え得る。
【０２７８】
[00145]いくつかの態様では、結合されたＡＰＭ復号器／符号器のための信号処理ブロックは簡略化され得る。図１２Ｂは、例示的な簡略化された信号処理ブロック１２０２ｂを示す。図１２Ｂに示されるように、２つのデルタフィルタｈ（ｔ）は、減算演算の後に移動され、単一のｈ（ｔ）に結合され得る。
【０２７９】
[00146]結合されたＡＰＭ復号器／符号器は、平滑化フィルタ１２０４（たとえば、ＡＡＦ）によって先行される非同期パルスシグマデルタ変調器（ＡＰＳＤＭ）を備え得る。このように、結合されたＡＰＭ復号器／符号器ブロック（たとえば、１２０２ｂ）は、Ｎ個の重み付けスパイク列（図１１に示される）の集合ｒpre,w（ｔ）を取り、それを非重み付け出力スパイク列ｓ（ｔ）に符号化し得る。
【０２８０】
時空間プロセッサとしてのＡＰＭニューロン
[00147]図１３は、本開示の態様による、時空間（または空間−時間）プロセッサとして構成された例示的な人工ニューロン１３００を示すブロック図である。図１０のＡＰＭニューロン１０００と同様に、人工ニューロンまたはＡＰＭニューロン１３００は、Ｎ個のシナプス前ニューロンと接続され得る。しかしながら、単一のシナプス前ニューロンとＡＰＭニューロン１３００との間には複数のシナプスが存在し得る。
【０２８１】
[00148]ＡＰＭ復号器ｎ（図示される）が、シナプス前ＡＰＭ符号器ｎ（図示せず）に一致され、ｎ＝１，２，．．．，Ｎである、Ｎ個のＡＰＭ符号器と復号器のペアが存在する。シナプス前ニューロンｎから受信されたスパイク列ｒpre,n（ｔ）は、入力信号ｘpre,n（ｔ）の再構成された推定値
【０２８２】
【数８３】
2017529592.tif 000085
【０２８３】
を生成するために、まずシナプス前ＡＰＭ符号器ｎによって符号化されたＡＰＭ復号器ｎに提供される。入力信号ｘpre,n（ｔ）は、シナプス前ニューロンｎで計算された潰れドット積を表し得る。
【０２８４】
[00149]推定値
【０２８５】
【数８４】
2017529592.tif 000086
【０２８６】
は、信号
【０２８７】
【数８５】
2017529592.tif 000087
【０２８８】
を生成するＦＩＲフィルタ（たとえば、１３０４ａ、１３０４Ｎ）に供給され、上式で、Ｌn≧１は、ｎ番目の単一のシナプス前ニューロンとＡＰＭ（シナプス後）ニューロンとの間のシナプスの数（マルチパスチャネルの数に類似する）を表し、
【０２８９】
【数８６】
2017529592.tif 000088
【０２９０】
はｌn番目のシナプスに関連付けられるシナプス重みを表し、ｌn＝1，２，．．．，Ｌnであり、ｎ番目のシナプス前ニューロンに関連付けられる。さらに、
【０２９１】
【数８７】
2017529592.tif 000089
【０２９２】
は、シナプス前ニューロンｎに関連付けられるＬnシナプス重み（マルチパスチャネルタップ重みに類似する）を有するベクトルを表し、
【０２９３】
【数８８】
2017529592.tif 000090
【０２９４】
は、ｎ番目のシナプス前ニューロンとｌn番目のシナプスとの間の時間遅延を表し、ｌn＝1，２，．．．，Ｌnであり、
【０２９５】
【数８９】
2017529592.tif 000091
【０２９６】
は、シナプス前ニューロンｎに関連付けられるｎ個の遅延要素を有するベクトルを表す。
【０２９７】
[00150]ＦＩＲフィルタの出力は、加算ノードに供給され、バイアス項ｗ0と合計され、バイアスドット積の推定値をもたらす。
【０２９８】
【数９０】
2017529592.tif 000092
【０２９９】
[00151]次に、バイアスドット積推定値は、潰れドット積推定値を生成するために活性化関数σ（ｔ）を適用する活性化関数ノードに順に渡され得る。
【０３００】
【数９１】
2017529592.tif 000093
【０３０１】
潰れドット積推定値は、連結された空間信号ベクトルと連結された空間シナプス重みベクトルとの間の類似性の時間的に変化する方法で推定値を提供する。連結された空間信号ベクトルは、たとえば、以下のように定義され得る。
【０３０２】
【数９２】
2017529592.tif 000094
【０３０３】
上式で、シナプス前ニューロンｎに関連付けられる空間信号ベクトルは、以下のように定義され得る。
【０３０４】
【数９３】
2017529592.tif 000095
【０３０５】
[00152]連結された空間シナプス重みベクトルは、ｗ＝［ｗ1，．．．，ｗN］であり、シナプス前ニューロンｎに関連付けられるシナプス空間信号ベクトルは
【０３０６】
【数９４】
2017529592.tif 000096
【０３０７】
である。
【０３０８】
[00153]潰れドット積推定値
【０３０９】
【数９５】
2017529592.tif 000097
【０３１０】
が出力され、
【０３１１】
【数９６】
2017529592.tif 000098
【０３１２】
をスパイク列ｓ（ｔ）に変換するＡＰＭ符号器に供給され得る。
【０３１３】
[00154]図１４は、例示的な簡略化された時空間（空間−時間）ＡＰＭニューロン１４００を示すブロック図である。図１４の例に示されるように、ＡＰＭ符号器と復号器のペアが共通である場合、ＡＰＭニューロンは、図１１および図１２に関して上述したものと同様の方法で簡略化され得る。共通のＡＰＭ復号器（図１３に示される）が単一の復号器１４０４にプールされ得る。したがって、すべてのＡＰＭ符号器および復号器のペアが共通または同一である場合、時空間ＡＰＭニューロンが低減され得る。これは、復号器でＦＩＲフィルタの順序を切り替え、次いで、加算ノードの後に、Ｎ個の同一または共通のＡＰＭ復号器を単一のＡＰＭ復号器１４０４に統合することによって発生し得る。
【０３１４】
[00155]いくつかの態様では、活性化関数が存在しない場合、ＡＰＭ復号器および符号器、したがってＡＰＭニューロンは、上述のようにさらに簡略化され得る。
【０３１５】
時間プロセッサとしてのＡＰＭニューロン
[00156]図１５は、本開示の態様による、時間プロセッサとして構成された例示的な人工ニューロン１５００を示すブロック図である。図１５に示されるように、時間プロセッサは、シナプス前ニューロンの数をＮ＝１に設定することによって、図１３に関して先に説明した時空間プロセッサから容易に導出され得る。さらに、符号器と復号器のペアが共通であり、活性化関数が除去されたときに生じる簡略化は、時間プロセッサにおいても有益に適用され得る。
【０３１６】
[00157]図１６は、人工ニューロンを構成するための方法１６００を示す。ブロック１６０２において、ニューロンモデルは入力スパイク列のセットを受信する。入力スパイク列は、先行する連続時間入力信号の非同期パルス符号化（たとえば、ＡＰＭ、非同期デルタ変調（ＡＤＭ）、または非同期シグマデルタ変調（ＡＳＤＭ））表現を備え得る。たとえば、いくつかの態様では、入力スパイク列は、シナプス前ニューロンからの、または感覚入力ソースからの、先行する連続時間入力信号の非同期パルス符号化表現を含み得る。いくつかの態様では、非同期パルス符号化は、ＡＰＭ、ＡＤＭ  ＡＳＤＭなどであり得る。
【０３１７】
[00158]いくつかの態様では、入力スパイク列は、たとえば、シナプス前ニューロンまたは感覚入力ソースから供給され得る。入力スパイク列は、イベントベースでサンプリングされ得る。イベントは、パルスまたはスパイク、あるいはパケットの送信／受信を含む多くの方法で定義され得るが、これらに限定されない。一例では、イベントは、＋ｖｅまたは−ｖｅの極性（逆さま）、あるいは異なる振幅のパルス関数またはスパイクに従って定義され得る。イベントの時間は、パルスが生成された時間に従って暗黙的に符号化され得、スパイクのソース（シナプス前ニューロン）は、スパイクが現れる線またはシナプスによって暗黙的に決定され得る。
【０３１８】
[00159]別の例では、イベントは、アドレスイベント表現（ＡＥＲ）パケット手法に従って定義され得る。ＡＥＲパケット手法では、タイムスタンプはデジタル的に明示的に（たとえば、１６ビット値によって）符号化され、ソース（シナプス前ニューロン）もデジタル的に明示的に（たとえば、シナプス前ニューロンを一意に識別する１６ビットアドレスによって）符号化され得る。やはり、これらの手法は単なる例示であり、限定的なものではない。
【０３１９】
[00160]さらに、ブロック１６０４において、ニューロンモデルは、入力スパイク列のセットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成する。いくつかの態様では、類似性は、入力スパイク列のセットと空間重みベクトルの間、または時間フィルタに対してであり得る。
【０３２０】
[00161]類似性は、連続時間潰れドット積、または放射基底関数を備え得る。
【０３２１】
[00162]上述した方法の様々な動作は、対応する機能を実行することが可能な任意の好適な手段によって実行され得る。それらの手段は、限定はしないが、回路、特定用途向け集積回路（ＡＳＩＣ）、またはプロセッサを含む、様々なハードウェアおよび／またはソフトウェア構成要素および／またはモジュールを含み得る。概して、図に示されている動作がある場合、それらの動作は、同様の番号をもつ対応するカウンターパートのミーンズプラスファンクション構成要素を有し得る。
【０３２２】
[00163]本明細書で使用する「決定」という用語は、多種多様なアクションを包含する。たとえば、「決定」は、計算すること、算出すること、処理すること、導出すること、調査すること、ルックアップすること（たとえば、テーブル、データベースまたは別のデータ構造においてルックアップすること）、確認することなどを含み得る。さらに、「決定」は、受信すること（たとえば、情報を受信すること）、アクセスすること（たとえば、メモリ中のデータにアクセスすること）などを含み得る。さらに、「決定」は、解決すること、選択すること、選定すること、確立することなどを含み得る。
【０３２３】
[00164]本明細書で使用する、項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ、およびａ−ｂ−ｃを包含するものとする。
【０３２４】
[00165]本開示に関連して説明した様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）または他のプログラマブル論理デバイス（ＰＬＤ）、個別ゲートまたはトランジスタ論理、個別ハードウェア構成要素、あるいは本明細書で説明した機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の市販のプロセッサ、コントローラ、マイクロコントローラまたは状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、あるいは任意の他のそのような構成として実装され得る。
【０３２５】
[00166]本開示に関連して説明した方法またはプロセスのステップは、ハードウェアで直接実施されるか、プロセッサによって実行されるソフトウェアモジュールで実施されるか、またはその２つの組合せで実施され得る。ソフトウェアモジュールは、当技術分野で知られている任意の形式の記憶媒体で存在し得る。使用され得る記憶媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令、または多数の命令を備えることができ、いくつかの異なるコードセグメント上で、異なるプログラム間で、複数の記憶媒体にわたって分散され得る。記憶媒体は、プロセッサがその記憶媒体から情報を読み取ることができ、その記憶媒体に情報を書き込むことができるように、プロセッサに結合され得る。代替として、記憶媒体はプロセッサと一体化され得る。
【０３２６】
[00167]本明細書で開示する方法は、説明した方法を達成するための１つまたは複数のステップまたはアクションを備える。本方法のステップおよび／またはアクションは、特許請求の範囲から逸脱することなく互いに交換され得る。言い換えれば、ステップまたはアクションの特定の順序が指定されない限り、特定のステップおよび／またはアクションの順序および／または使用は、特許請求の範囲から逸脱することなく変更され得る。
【０３２７】
[00168]本明細書で説明した機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ハードウェアで実装される場合、例示的なハードウェア構成はデバイス中に処理システムを備え得る。処理システムは、バスアーキテクチャを用いて実装され得る。バスは、処理システムの特定の適用例および全体的な設計制約に応じて、任意の数の相互接続バスとブリッジとを含み得る。バスは、プロセッサと、機械可読媒体と、バスインターフェースとを含む様々な回路を互いにリンクし得る。バスインターフェースは、ネットワークアダプタを、特に、バスを介して処理システムに接続するために使用され得る。ネットワークアダプタは、信号処理機能を実装するために使用され得る。いくつかの態様では、ユーザインターフェース（たとえば、キーパッド、ディスプレイ、マウス、ジョイスティックなど）もバスに接続され得る。バスはまた、タイミングソース、周辺機器、電圧調整器、電力管理回路などの様々な他の回路にリンクし得るが、それらは当技術分野でよく知られており、したがってこれ以上は説明されない。
【０３２８】
[00169]プロセッサは、機械可読媒体に記憶されたソフトウェアの実行を含む、バスおよび一般的な処理を管理することを担当し得る。プロセッサは、１つまたは複数の汎用および／または専用プロセッサを用いて実装され得る。例としては、マイクロプロセッサ、マイクロコントローラ、ＤＳＰプロセッサ、およびソフトウェアを実行し得る他の回路を含む。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、データ、またはそれらの任意の組合せを意味すると広く解釈されたい。機械可読媒体は、一例として、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読出し専用メモリ（ＲＯＭ）、プログラマブル読出し専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読出し専用メモリ（ＥＥＰＲＯＭ）、レジスタ、磁気ディスク、光ディスク、ハードドライブ、または他の任意の適切な記憶媒体、あるいはそれらの任意の組合せを含み得る。機械可読媒体はコンピュータプログラム製品において実施され得る。コンピュータプログラム製品はパッケージング材料を備え得る。
【０３２９】
[00170]ハードウェア実装形態では、機械可読媒体は、プロセッサとは別個の処理システムの一部であり得る。しかしながら、当業者なら容易に理解するように、機械可読媒体またはその任意の部分は処理システムの外部にあり得る。例として、機械可読媒体は、すべてバスインターフェースを介してプロセッサによってアクセスされ得る、伝送線路、データによって変調された搬送波、および／またはデバイスとは別個のコンピュータ製品を含み得る。代替的に、または追加で、機械可読媒体またはその任意の部分は、キャッシュおよび／または汎用レジスタファイルがそうであり得るように、プロセッサに統合され得る。論じた様々な構成要素は、ローカル構成要素などの特定の位置を有するものとして説明され得るが、それらはまた、分散コンピューティングシステムの一部として構成されているいくつかの構成要素などの様々な方法で構成され得る。
【０３３０】
[00171]処理システムは、すべて外部バスアーキテクチャを介して他のサポート回路と互いにリンクされる、プロセッサ機能を提供する１つまたは複数のマイクロプロセッサと、機械可読媒体の少なくとも一部分を提供する外部メモリとをもつ汎用処理システムとして構成され得る。あるいは、処理システムは、本明細書に記載のニューロンモデルとニューラルシステムのモデルとを実装するための１つまたは複数のニューロモーフィックプロセッサを備え得る。別の代替として、処理システムは、プロセッサを有する特定用途向け集積回路（ＡＳＩＣ）と、バスインターフェースと、ユーザインターフェースと、サポート回路と、単一のチップに統合された機械可読媒体の少なくとも一部とを用いて、あるいは１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、コントローラ、状態機械、ゲート論理、個別ハードウェア構成要素、または他の任意の適切な回路、あるいは本開示全体を通じて説明した様々な機能を実行し得る回路の任意の組合せを用いて実装され得る。当業者なら、特定の適用例と、全体的なシステムに課される全体的な設計制約とに応じて、どのようにしたら処理システムについて説明した機能を最も良く実装し得るかを理解されよう。
【０３３１】
[00172]機械可読媒体はいくつかのソフトウェアモジュールを備え得る。ソフトウェアモジュールは、プロセッサによって実行されたときに、処理システムに様々な機能を実行させる命令を含む。ソフトウェアモジュールは、送信モジュールと受信モジュールとを含み得る。各ソフトウェアモジュールは、単一の記憶デバイス中に常駐するか、または複数の記憶デバイスにわたって分散され得る。例として、トリガイベントが発生したとき、ソフトウェアモジュールがハードドライブからＲＡＭにロードされ得る。ソフトウェアモジュールの実行中、プロセッサは、アクセス速度を高めるために、命令のいくつかをキャッシュにロードし得る。次いで、１つまたは複数のキャッシュラインが、プロセッサによる実行のために汎用レジスタファイルにロードされ得る。以下でソフトウェアモジュールの機能に言及する場合、そのような機能は、そのソフトウェアモジュールからの命令を実行したときにプロセッサによって実装されることが理解されよう。
【０３３２】
[00173]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気記憶デバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。さらに、いかなる接続もコンピュータ可読媒体を適切に名づけられる。たとえば、ソフトウェアが、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ）、または赤外線（ＩＲ）、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、ＤＳＬ、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）、およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。したがって、いくつかの態様では、コンピュータ可読媒体は非一時的コンピュータ可読媒体（たとえば、有形媒体）を備え得る。さらに、他の態様では、コンピュータ可読媒体は一時的コンピュータ可読媒体（たとえば、信号）を備え得る。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
【０３３３】
[00174]したがって、いくつかの態様は、本明細書で提示する動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、本明細書で説明する動作を実行するために１つまたは複数のプロセッサによって実行可能である命令を記憶した（および／または符号化した）コンピュータ可読媒体を備え得る。いくつかの態様では、コンピュータプログラム製品はパッケージング材料を含み得る。
【０３３４】
[00175]さらに、本明細書で説明した方法および技法を実行するためのモジュールおよび／または他の適切な手段は、適用可能な場合にユーザ端末および／または基地局によってダウンロードされ、および／または他の方法で取得され得ることを諒解されたい。たとえば、そのようなデバイスは、本明細書で説明した方法を実施するための手段の転送を可能にするためにサーバに結合され得る。代替的に、本明細書で説明した様々な方法は、ユーザ端末および／または基地局が記憶手段をデバイスに結合または提供すると様々な方法を得ることができるように、記憶手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）またはフロッピーディスクなどの物理記憶媒体など）によって提供され得る。その上、本明細書で説明した方法および技法をデバイスに与えるための任意の他の好適な技法が利用され得る。
【０３３５】
[00176]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
【図１】
2017529592.tif 000099
【図２】
2017529592.tif 000100
【図３】
2017529592.tif 000101
【図４】
2017529592.tif 000102
【図５】
2017529592.tif 000103
【図６】
2017529592.tif 000104
【図７】
2017529592.tif 000105
【図８】
2017529592.tif 000106
【図９】
2017529592.tif 000107
【図１０】
2017529592.tif 000108
【図１１】
2017529592.tif 000109
【図１２Ａ】
2017529592.tif 000110
【図１２Ｂ】
2017529592.tif 000111
【図１３】
2017529592.tif 000112
【図１４】
2017529592.tif 000113
【図１５】
2017529592.tif 000114
【図１６】
2017529592.tif 000115
【手続補正書】
【提出日】平成29年4月7日(2017.4.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを構成するための方法であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
前記人工ニューロンを介して、前記出力スパイクを生成することと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す
を備える、方法。
【請求項２】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１に記載の方法。
【請求項３】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１に記載の方法。
【請求項４】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１に記載の方法。
【請求項５】
前記出力スパイクが単極、双極、または多値である、請求項１に記載の方法。
【請求項６】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１に記載の方法。
【請求項７】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを構成するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
前記人工ニューロンを介して、前記出力スパイクを生成することと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す
を行うように構成される、装置。
【請求項８】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、前記入力スパイク列をイベントベースでサンプリングするようにさらに構成される、請求項７に記載の装置。
【請求項１０】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項７に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサが、単極、双極、または多値である出力スパイクを生成するようにさらに構成される、請求項７に記載の装置。
【請求項１２】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項７に記載の装置。
【請求項１３】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを構成するための装置であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するための手段と、
前記人工ニューロンを介して、前記出力スパイクを生成するための手段と、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す
を備える、装置。
【請求項１４】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１３に記載の装置。
【請求項１５】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１３に記載の装置。
【請求項１６】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１３に記載の装置。
【請求項１７】
前記出力スパイクが単極、双極、または多値である、請求項１３に記載の装置。
【請求項１８】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１３に記載の装置。
【請求項１９】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを構成するためのプログラムコードを符号化した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するためのプログラムコードと、
前記人工ニューロンを介して、前記出力スパイクを生成するためのプログラムコードと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す
を備える、非一時的コンピュータ可読媒体。
【請求項２０】
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２１】
前記入力スパイク列をイベントベースでサンプリングするためのプログラムコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２２】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２３】
単極、双極、または多値である出力スパイクを生成するためのプログラムコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０３３５
【補正方法】変更
【補正の内容】
【０３３５】
[00176]特許請求の範囲は、上記で示した厳密な構成および構成要素に限定されないことを理解されたい。上記で説明した方法および装置の構成、動作および詳細において、特許請求の範囲から逸脱することなく、様々な改変、変更および変形が行われ得る。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
人工ニューロンを構成するための方法であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することと
を備える、方法。
［Ｃ２］
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、Ｃ１に記載の方法。
［Ｃ３］
前記入力スパイク列がイベントベースでサンプリングされる、Ｃ１に記載の方法。
［Ｃ４］
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、Ｃ１に記載の方法。
［Ｃ５］
前記出力スパイクが単極、双極、または多値である、Ｃ１に記載の方法。
［Ｃ６］
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、Ｃ５に記載の方法。
［Ｃ７］
人工ニューロンを構成するための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成することと
を行うように構成される、装置。
［Ｃ８］
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、Ｃ７に記載の装置。
［Ｃ９］
前記少なくとも１つのプロセッサが、前記入力スパイク列をイベントベースでサンプリングするようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１０］
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、Ｃ７に記載の装置。
［Ｃ１１］
前記少なくとも１つのプロセッサが、単極、双極、または多値である出力スパイクを生成するようにさらに構成される、Ｃ７に記載の装置。
［Ｃ１２］
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、Ｃ１１に記載の装置。
［Ｃ１３］
人工ニューロンを構成するための装置であって、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するための手段と、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するための手段と
を備える、装置。
［Ｃ１４］
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、Ｃ１３に記載の装置。
［Ｃ１５］
前記入力スパイク列がイベントベースでサンプリングされる、Ｃ１３に記載の装置。
［Ｃ１６］
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、Ｃ１３に記載の装置。
［Ｃ１７］
前記出力スパイクが単極、双極、または多値である、Ｃ１３に記載の装置。
［Ｃ１８］
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、Ｃ１７に記載の装置。
［Ｃ１９］
人工ニューロンを構成するためのコンピュータプログラム製品であって、
プログラムコードを符号化した非一時的コンピュータ可読媒体を備え、前記プログラムコードが、
非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するためのプログラムコードと、
入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を表す出力スパイクを生成するためのプログラムコードと
を備える、コンピュータプログラム製品。
［Ｃ２０］
前記類似性が、連続時間潰れドット積、または放射基底関数を備える、Ｃ１９に記載のコンピュータプログラム製品。
［Ｃ２１］
前記入力スパイク列をイベントベースでサンプリングするためのプログラムコードをさらに備える、Ｃ１９に記載のコンピュータプログラム製品。
［Ｃ２２］
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、Ｃ１９に記載のコンピュータプログラム製品。
［Ｃ２３］
単極、双極、または多値である出力スパイクを生成するためのプログラムコードをさらに備える、Ｃ１９に記載のコンピュータプログラム製品。
［Ｃ２４］
前記双極出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される、Ｃ２３に記載のコンピュータプログラム製品。
【手続補正書】
【提出日】平成29年4月10日(2017.4.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを動作させるための方法であって、
連続時間入力信号の非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
前記人工ニューロンを介して、前記出力スパイクを生成することと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を示す計算された類似性測度に対応する
を備える、方法。
【請求項２】
前記類似性測度が、連続時間潰れドット積、または放射基底関数に基づいて計算される、請求項１に記載の方法。
【請求項３】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１に記載の方法。
【請求項４】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１に記載の方法。
【請求項５】
前記出力スパイクが単極、双極、または多値である、請求項１に記載の方法。
【請求項６】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１に記載の方法。
【請求項７】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを動作させるための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサが、
連続時間入力信号の非同期パルス変調符号化表現を備える入力スパイク列のセットを受信することと、
前記人工ニューロンを介して、前記出力スパイクを生成することと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を示す計算された類似性測度に対応する
を行うように構成される、装置。
【請求項８】
前記少なくとも１つのプロセッサが、連続時間潰れドット積、または放射基底関数に基づいて前記類似性測度を計算するようにさらに構成される、請求項７に記載の装置。
【請求項９】
前記少なくとも１つのプロセッサが、前記入力スパイク列をイベントベースでサンプリングするようにさらに構成される、請求項７に記載の装置。
【請求項１０】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項７に記載の装置。
【請求項１１】
前記少なくとも１つのプロセッサが、単極、双極、または多値である出力スパイクを生成するようにさらに構成される、請求項７に記載の装置。
【請求項１２】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項７に記載の装置。
【請求項１３】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを動作させるための装置であって、
連続時間入力信号の非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するための手段と、
前記人工ニューロンを介して、前記出力スパイクを生成するための手段と、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を示す計算された類似性測度に対応する
を備える、装置。
【請求項１４】
前記類似性測度が、連続時間潰れドット積、または放射基底関数に基づいて計算される、請求項１３に記載の装置。
【請求項１５】
前記入力スパイク列がイベントベースでサンプリングされる、請求項１３に記載の装置。
【請求項１６】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１３に記載の装置。
【請求項１７】
前記出力スパイクが単極、双極、または多値である、請求項１３に記載の装置。
【請求項１８】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１３に記載の装置。
【請求項１９】
人工ニューラルネットワークにおいて出力スパイクを生成するように人工ニューロンを動作させるためのプログラムコードを符号化した非一時的コンピュータ可読媒体であって、前記プログラムコードがプロセッサによって実行され、
連続時間入力信号の非同期パルス変調符号化表現を備える入力スパイク列のセットを受信するためのプログラムコードと、
前記人工ニューロンを介して、前記出力スパイクを生成するためのプログラムコードと、前記出力スパイクは、入力スパイク列の前記セットと空間−時間フィルタとの間の類似性を示す計算された類似性測度に対応する
を備える、非一時的コンピュータ可読媒体。
【請求項２０】
連続時間潰れドット積、または放射基底関数に基づいて前記類似性測度を計算するためのプログラムコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２１】
前記入力スパイク列をイベントベースでサンプリングするためのプログラムコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２２】
前記人工ニューロンがリーキー積分発火（ＬＩＦ）ニューロン、またはスパイク応答モデル（ＳＲＭ）ニューロンを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２３】
単極、双極、または多値である出力スパイクを生成するためのプログラムコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記出力スパイクがアドレスイベント表現（ＡＥＲ）パケットを使用して表される双極出力スパイクを備える、請求項１９に記載の非一時的コンピュータ可読媒体。
【国際調査報告】
2017529592.tif 000116
2017529592.tif 000117
2017529592.tif 000118