(57)【要約】  本開示のある実施例は、離散順位及び確率論的シナプス加重トレーニングを持つデジタル神経プロセッサの実施形態をサポートする。
2013534018.tif 000002
【特許請求の範囲】
【請求項１】
１つ又はそれ以上のシナプス及び前記シナプスへ接続されるポストシナプスニューロン回路を持つデジタル神経処理ユニットを備え、
ここで、前記シナプスの１つの加重は、前記シナプスに接続される前記ポストシナプスニューロン回路とプレシナプスニューロン回路とから発生されるスパイク対の間で経過される時間に基づく確率を持つ離散順位における値を変化させる、
電気的回路。
【請求項２】
前記確率は、経過される時間の結果として指数関数的に減衰する、
前記請求項１に記載の電気的回路。
【請求項３】
前記ポストシナプスニューロン回路は、
時間で指数関数的に減衰する定義される時間間隔において生じるための各パルスの確率を持つ少なくとも１つのパルス信号を生成するため前記スパイクの１つによってトリガーされる少なくとも１つの生成器を
さらに備える、
前記請求項１に記載の電気的回路。
【請求項４】
前記パルスの１つは、前記値に減少させる、
前記請求項３に記載の電気的回路。
【請求項５】
前記パルスの１つは、前記神経処理ユニットへ接続される他のシナプスの他の加重値に限定される離散順位によって上昇させる、
前記請求項３に記載の電気的回路。
【請求項６】
前記生成器回路のそれぞれは、リング発振器を備える、
前記請求項３に記載の電気的回路。
【請求項７】
前記シナプスは、
時間で指数関数的に減衰する定義される時間間隔において生じるための各パルスの確率を持つプラス信号を生成するため前記スパイクの１つによって少なくとも一部においてトリガーされる生成器を
さらに備える、
前記請求項１に記載の電気的回路。
【請求項８】
前記パルスの１つ及びゲート信号は、前記加重値に上昇させる、
前記請求項７に記載の電気的回路。
【請求項９】
前記パルスの１つ及びゲート信号は、前記加重値に減少させる、
前記請求項７に記載の電気的回路。
【請求項１０】
前記生成器回路は、リング発振器を備える、
前記請求項７に記載の電気的回路。
【請求項１１】
前記シナプスは、
前記ポストシナプスニューロン回路内へ入力されるための電気的電流を生成する前記スパイクの１つによって入出力禁止されるデジタルツーアナログコンバータであって、ここで、前記電気的電流の値は、前記シナプスの前記加重値に基づく、デジタルツーアナログコンバータをさらに備える、
前記請求項１に記載の電気的回路。
【請求項１２】
デジタル神経処理ユニットを実施するための方法であって、
前記神経処理ユニットの少なくとも１つのシナプスと前記神経処理ユニットのポストシナプスニューロン回路を接続することと、
前記シナプスに接続される前記ポストシナプスニューロン回路とプレシナプスニューロン回路から発生されるスパイク対の間に経過される時間に基づく確率を持つ前記シナプスの１つの加重値を、離散順位において、変化させることと、
を備える方法。
【請求項１３】
前記確率は、前記経過される時間の結果として指数関数的に減衰する、
前記請求項１２に記載の方法。
【請求項１４】
時間で指数関数的に減衰する定義される時間間隔に置いて生じるための各パルスの確率を持つ少なくとも１つのパルス信号を生成することを開始するため前記ポストシナプスニューロン回路内にある少なくとも１つの生成器回路に、前記スパイクの１つによって、トリガーすることを
さらに備える、
前記請求項１２に記載の方法。
【請求項１５】
前記パルスの１つは、前記加重値に減少させる、
前記請求項１４に記載の方法。
【請求項１６】
前記パルスの１つは、前記神経処理ユニットに接続される他のシナプスの他の加重値に、限定される離散順位によって上昇させる、
前記請求項１４に記載の方法。
【請求項１７】
前記生成器回路のそれぞれは、リング発振器を備える、
前記請求項１４に記載の方法。
【請求項１８】
時間で指数関数的に減衰する定義される時間間隔において生じるための各パルスの確率を持つパルス信号を生成することを開始するため前記シナプス内にある生成器回路に、前記スパイクの１つによって少なくとも一部おいて、トリガーすることをさらに備える、
前記請求項１２に記載の方法。
【請求項１９】
前記パルスの１つ及びゲート信号は、前記加重値に上昇させる、
前記請求項１８に記載の方法。
【請求項２０】
前記パルスの１つ及びゲート信号は、前記加重値に減少させる、
前記請求項１８に記載の方法。
【請求項２１】
前記生成器回路は、リング発振器を備える、
前記請求項１８に記載の方法。
【請求項２２】
前記ポストシナプスニューロン回路内へ入力されるための電気的電流に、前記スパイクの１つによって入出力禁止される前記シナプス内にあるデジタルツーアナログ変換回路によって、きっかけを与えることをさらに備える、
前記請求項１２に記載の方法。
【請求項２３】
デジタル神経処理ユニットを実施するための装置において、
前記神経処理ユニットの少なくとも１つに前記神経処理ユニットのポストシナプスニューロン回路を接続するための手段と、
前記シナプスへ接続される前記ポストシナプスニューロン回路とプレシナプスニューロン回路とから発生されるスパイク対の間に経過される時間に基づく確率を持つ前記シナプスの１つの加重値を、離散順位において、変化させるための手段と、
を備える装置。
【請求項２４】
前記確率は、前記経過される時間の結果として指数関数的に減衰する、
前記請求項２３に記載の装置。
【請求項２５】
時間で指数関数的に減衰する定義される時間間隔において生じるための各パルスの確率を持つ少なくとも１つのパルス信号を生成することを開始するため前記ポストシナプスニューロン回路内にある少なくとも１つの生成器回路に、前記スパイクの１つによって、トリガーするための手段をさらに備える、
前記請求項２３に記載の装置。
【請求項２６】
前記パルスの１つは、前記加重値に減少させる、
前記請求項２５に記載の装置。
【請求項２７】
前記パルスの１つは、前記神経処理ユニットに接続される他のシナプスの他の加重値に、限定される離散順位によって上昇させる、
前記請求項２５に記載の装置。
【請求項２８】
前記生成器回路のそれぞれは、リング発信器を備える、
前記請求項２５に記載の装置。
【請求項２９】
時間で指数関数的に減衰する限定される時間間隔において生じるための各パルスの確率を持つパルス信号を生成することを開始するため前記シナプス内にある生成器回路に、前記スパイクの１つによって少なくとも一部において、トリガーするための手段をさらに備える、
請求項２３に記載の装置。
【請求項３０】
前記パルスの１つ及びゲート信号は、前記加重値に上昇させる、
前記請求項２９に記載の装置。
【請求項３１】
前記パルスの１つ及びゲート信号は、前記加重値に減少させる、
前記請求項２９に記載の装置。
【請求項３２】
前記生成器回路は、リング発振器を備える、
前記請求項２９に記載の装置。
【請求項３３】
前記ポストシナプスニューロン回路内へ入力されるための電気的電流に、前記スパイクの１つによって入出力禁止される前記シナプス内にあるデジタルツーアナログ変換回路によって、きっかけを与えるための手段であって、ここで、前記電気的電流の値は、前記シナプスの前記加重値に基づく、手段をさらに備える、
前記請求項２３に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示のある実施例は、神経システム工学に一般的に関連し、より具体的に、離散順位（discrete-level）シナプス及び確率的なシナプス加重トレーニングによるデジタル神経プロセッサを実施するための方法に関連する。
【背景技術】
【０００２】
神経システムのニューロンに接続するシナプスは、一般的に、少ない数のディスクリート強度レベルのみを示す。たとえば、海馬神経構造のアンモン角ＣＡ３−ＣＡ１パスウェイにおけるシナプスは、２進法又は３進法のいずれかであることができる。３進法のシナプスの事例において、たとえば、１つの強度レベルは、長期抑圧（ＬＴＤ：long-term depression）によってもたらされる抑圧状態に相当することができ、他の強度レベルは、長期増強（ＬＴＰ：long-term potentiation）によってもたらされる増強状態に相当することができ、及び、第３強度レベルは、ＬＴＰ又はＬＴＤを適用する前に存在する刺激されない状態に相当することができる。
【０００３】
神経態様プロセッサは、アナログ、デジタル又は混合される信号領域において実施されることができる。シナプスは、決定論的スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）ルールを使用して一般的に鍛えられるが、シナプス加重を蓄えるためアナログ又は多重レベルデジタルメモリのいずれかを必要とする。これら２つのタイプのメモリのどちらも、技術課題をもたらす。アナログメモリは、貧弱な保持力及び複製能力を持つ。一方、多重レベルデジタルメモリは、多数のビットを要求し、ここでそれは、与えられる正確さのシナプス加重の増加を実施するため多数の平行の相互接続ワイヤを導く。
【発明の概要】
【０００４】
本開示のある実施例は、電気的な回路を供給する。電気的な回路は、１つ又はそれ以上のシナプス及びシナプスに接続されるポストシナプスニューロン回路を持つデジタル神経処理ユニットを一般に含み、ここで、シナプスの１つの加重は、ポストシナプスニューロン回路から発生されるスパイク対とシナプスに接続されるプレシナプスニューロン回路との間で経過される時間に基づく可能性を持つ離散順位において値を変化させる。
【０００５】
本開示のある実施例は、デジタル神経処理ユニットを実施するための方法を供給する。方法は、神経処理ユニットの少なくとも１つのシナプスと神経処理ユニットのポストシナプスニューロン回路を接続することと、シナプスに接続されるポストシナプスニューロン回路とプレシナプスニューロン回路とから発生されるスパイク対の間で経過される時間に基づく可能性を持つ１つの加重値を離散順位において変化させることとを一般に含む。
【０００６】
本開示のある実施例は、デジタル神経処理ユニットのための装置を提供する。装置は、神経処理ユニットの少なくとも１つのシナプスと神経処理ユニットのポストシナプスニューロン回路に接続するための手段と、シナプスに接続されるポストシナプスニューロン回路とプレシナプスニューロン回路とから発生されるスパイク対の間で経過される時間に基づく可能性を持つ１つの加重値を離散順位において変化させるための手段とを一般に含む。
【図面の簡単な説明】
【０００７】
本開示の上に列挙される特徴が詳細に理解されることができる方法、より具体的な記述、簡潔に要約される上記は、実施例への参照によって持たれ得るので、それらのいくつかは、添付される図において示される。しかしながら、記述が他の同等の効果的な実施例を認めるので、添付される図がこの開示のただある典型的な実施例を示し、それゆれその範囲の限界を考察されないことは注意されるべきである。
【図１】図１は、本開示のある実施例に従った例示の神経システムを示す。
【図２】図２は、本開示のある実施例に従った決定論的及び確率論的シナプス加重変化の例を示す。
【図３】図３は、本開示のある実施例に従った強度レベルの異なる数に関する多数のプレ及びポストシナプススパイク対を超えるシナプス強度の平均比較変更の例を示す。
【図４】図４は、本開示のある実施例に従った例示のパルス幅変調（ＰＷＭ）シナプス加重を示す。
【図５】図５は、本開示のある実施例に従った例示の確率的なシナプス加重を示す。
【図６】図６は、本開示のある実施例に従ったディスクリートシナプス及び確率的な加重トレーニングを持つ神経処理の例示のブロック図を示す。
【図７】図７は、本開示のある実施例に従った論理的なものの指数関数的な崩壊確率を持つランダム２値生成器の例示のブロック図を示す。
【図８】図８は、本開示のある実施例に従ったディスクリートシナプス及び確率的な加重トレーニングを持つ神経プロセッサを実施するための例示の動作を示す。
【図８Ａ】図８Ａは、図８において示される動作を実行することができる例示のコンポーネントを示す。
【図９】図９（ａ）−（ｂ）は、本開示のある実施例に従ったシミュレーションのために使用されるニューロン及びシナプスの例示の構成を示す。
【図１０Ａ】図１０Ａは、本開示のある実施例に従った決定論的シナプス加重トレーニングの例示のシミュレーション結果を示す。
【図１０Ｂ】図１０Ｂは、本開示のある実施例に従った決定論的シナプス加重トレーニングの例示のシミュレーション結果を示す。
【図１１Ａ】図１１Ａは、本開示のある実施例に従った確率論的シナプス加重トレーニングの例示のシミュレーション結果を示す。
【図１１Ｂ】図１１Ｂは、本開示のある実施例に従った確率論的シナプス加重トレーニングの例示のシミュレーション結果を示す。
【詳細な説明】
【０００８】
開示の様々な実施例は、添付する図への参照によって以下により完全に記述される。しかしながら、この開示は、多くの異なる形式において具体化され得、この開示の全体を通じて現れるあらゆる特定の構造又は機能に限定されると解釈されるべきではない。むしろ、この開示が完璧で完全であろうからこれらの実施例は供給され、当業者に開示の範囲を完全に伝えるであろう。本文中の教示に基づいて、当業者は、開示の範囲が本文中に開示される開示のあらゆる実施例をカバーすることを意図され、開示のあらゆる他の実施例と独立に実施され又は組み合わされるか否かを認識するべきである。たとえば、本文中に列挙される態様をいくらでも使用して、装置は実施され得、又は、方法は実行され得る。加えて、開示の範囲は、本文中に列挙される開示の様々な実施例に追加して又は以外の他の構造、機能性、又は構造及び機能性を使用して実行されるその様な構造又は方法をカバーすることを意図する。本文中に開示される開示のあらゆる実施例は、請求項の１つ又は２つ以上の要素によって具体化され得ることは理解されるべきである。
【０００９】
「典型的な」という単語は、「例（example）、事例（instance）又は実例（illustration）として役立つ」ことを意味するために本文中で使用される。「典型的な」として本文中に記述されるあらゆる実施例は、他の実施よりも好ましい又は利点があるとして解釈される必要はない。
【００１０】
特定の実施例が本文中に開示されるが、これらの実施例の多くのバリエーション及び交換は、開示の範囲内になる。より好ましい実施例のいくつかの利益及び利点が述べられるが、開示の範囲は、特定の利益、使用又は目的に限定されることを意図されるものではない。むしろ、開示の実施例は、異なる無線技術、システム構成、ネットワーク、及びプロトコルに幅広く適用可能であることを意図され、それらのいくつかは、より好ましい実施例の図における及び次の記述における例示を手段によって示される。詳細な記述及び図は、添付の請求項及びそれらと同等物によって定義される開示の範囲に限定するよりも単に開示の説明である。
【００１１】
典型的な神経システム
図１は、本開示のある実施例に従ったニューロンの多重のレベルを持つ例示の神経システム１００を示す。神経システム１００は、シナプス接続１０４のネットワークを通じてニューロン１０６の他のレベルへ接続されるニューロン１０２のレベルを備え得る。簡略化のため、ニューロンのより高いレベルが代表的な神経システムにおいて存在し得るが、ニューロンのただ２つのレベルのみが図１において示される。
【００１２】
図１において示されるように、レベル１０２における各ニューロンは、（図１において示されない）前のレベルの多数のニューロンによって生成され得る入力信号１０８を受信し得る。信号１０８は、レベル１０２ニューロンの入力電流を示し得る。この電流は、膜電位をチャージするためニューロン膜上で蓄積され得る。膜電位がその閾値に達する場合、ニューロンは、ニューロンの次のレベル（即ち、レベル１０６）へ移されるためスパイクを発火し出力し得る。
【００１３】
図１において示されるように、ニューロンの１つのレベルから他のものへのスパイクの移動は、シナプス接続（又は、単に「シナプス」）１０４のネットワークを通じて達成され得る。シナプス１０４は、レベル１０２ニューロンから出力信号（即ち、スパイク）を受信し、
【数１】
2013534018.tif 000003
【００１４】
（ここで、ｐは、レベル１０２と１０６とのニューロンの間のシナプス接続の合計数である）に応じてこれらの信号をスケールし、レベル１０６において各ニューロンの入力信号としてスケールされる信号を結合し得る。レベル１０６における全てのニューロンは、相当する結合される入力信号に基づいて出力スパイク１１０を生成し得る。そのとき、出力スパイク１１０は、（図１において示されない）シナプス接続の他のネットワークを使用するニューロンの他のレベルへ移され得る。
【００１５】
神経システム１００は、電気的な回路によってエミュレートされ、パターン認識、機械学習及びモータ制御のような、アプリケーションの大きな範囲において利用され得る。神経システム１００における各ニューロンは、ニューロン回路として実施され得る。出力スパイクを開始する閾値にチャージされるニューロン膜は、それを通じて流れる電気的な電流を統合するコンデンサとして実施され得る。
【００１６】
コンデンサは、ニューロン回路の機器を開始する電気的な電流としてエミュレートされ得、メモリスタ要素は、その場所において使用され得る。このアプローチは、大きいコンデンサが電気的な電流積分器として使用される様々な他の応用においてはもちろん、ニューロン回路において適用され得る。加えて、シナプス１０４のそれぞれは、膜要素に基づいて実施され得、ここで、シナプス加重変化は、膜抵抗の変化に関連し得る。ナノメータ図形寸法の膜によって、ニューロン回路及びシナプスのエリアは、相当に減少され得、ここでそれは、非常に大きなスケールの神経システムハードウェア実施実用の実施を行い得る。
【００１７】
本開示のある実施例は、神経システム１００のニューロン及びその関連するシナプスをエミュレートするデジタル神経処理ユニットの実施を供給する。神経処理ユニットのシナプス加重は、量子化されるレベルを備え、スパイクタイミング依存シナプス可塑性（ＳＴＤＰ）に基づく加重トレーニングは、確率論的性質であり得る。他の言い方をすれば、プレ及びポストシナプスのどのペアも相当するシナプスの増強又は抑圧を導き得るものではない。たとえば、シナプスは、強度のただ３つのレベル又はちょうど２つのレベル（即ち、２値シナプス）を備え得る。数学的に、２値シナプスは、全体において連続のＳＴＤＰルールを実施することができ得、ここで、個々のシナプスは、確率論的スイッチライク増強又は抑圧を経験し得る。確率論的ＳＴＤＰは、デジタル神経処理ユニットの簡単なハードウェア実施を導き得る。
【００１８】
典型的な離散順位シナプス及び確率論的加重変化
伝統的な決定論的ＳＴＤＰにおいて、図２Ａにおいて示されるように、シナプス加重ΔＷにおける変化は、プレシナプススパイクとポストシナプススパイクとの間の時間差Δｔの結果であり得る。その代わり、図２Ｂにおいて示されるように、シナプス加重変化ΔＷは、一定に保たれ得るが、加重変化の可能性は、プレシナプスとポストシナプススパイクとの間の時間差の結果であり得る。このアプローチは、確率論的ＳＴＤＰと呼ばれることができる。非常に多数のスパイク上で、決定論的及び確率論的ＳＴＤＰアプローチは、同様に結果に集約し得る。しかしながら、確率論的ＳＴＤＰは、ハードウェアにおいてより容易に実施し得る。
【００１９】
ＳＴＤＰの広く受容される理論に従って、個々のシナプスは、二相性、単一のプレシナプス／ポストシナプススパイク対に関する指数関数的な減衰曲線に従って修正され得る。それゆえ、シナプス強度に関連する離散順位の仮説は、勾配のゆるやかなＳＴＤＰの理論と矛盾する。しかしながら、この理論は、シナプス変化が多くのシナプス横切って及び多数のスパイク対上で測定された経験に基づいて発展されている。指数関数的な減衰ＬＴＰ及びＬＴＤ曲線がシナプスの母集団に所属する場合、そのとき、これらの曲線は、確率論的（確率的な）ＳＴＤＰによって訓練されるディスクリート状態シナプスによって実現され得る。個々のシナプスは、より小さい時間差と比較される確率を減少するプレシナプスとポストシナプススパイクとの間の大きな時間差によって、スパイクタイミングに依存し得る確率を持つワンステップ増強又は抑圧を経験し得る。
【００２０】
前述のディスクリートステップ確率論的ＳＴＤＰによって、シナプス強度が２値である場合でさえ、個々のシナプスはし得ないこともあるが、神経とターゲットとの間の全体の他シナプス性予想は、勾配のゆるやかなＳＴＤＰをまだ表し得る。単一のシナプスがいくつかの強度レベルを備える場合、そのとき、シナプスは、多数のスパイク対上で勾配のゆるやかなＳＴＤＰを表し得るが、より高い又はより低い強度レベルで可能な飽和状態によって、強度レベルの数に依存する。
【００２１】
図３は、強度レベルの異なる数（即ち、強度レベルｓの数は、１０、３０、６０、９０及び９０以上であることができる）に関して多くのプレ及びポストシナプススパイク対上で単一のシナプス強度の平均比較飽和の例示のグラフ３００を示す。飽和状態は、より高いシナプス強度レベルで、特に強度のレベルのより低い数に関して観測されることができる（たとえば、１０及び３０と同一のｓに関してそれぞれプロット３０８及び３１０参照）。さらに、強度レベルの全ての数に関して、プレシナプススパイクとポストシナプススパイクとの間の時間が長くなるほど、シナプス強度の変化は、相当に上昇し得ることは観測されることができる。
【００２２】
メモリスティブシナプスのトレーニングに基づく決定論的ＳＴＤＰは、時間で減衰するパルス幅変調（ＰＷＭ）信号として一般的に用い得る。図４は、本開示のある実施例に従って例示のＰＷＭベースメモリスティブシナプス加重変化を示す。プレシナプスニューロンのスパイクが時間で減少するＰＷＭ信号４０２によって表され得ることは観測されることができる。ポストシナプススパイク４０４中にシナプス４０６を横切る電圧が閾値レベル４０８を上回る場合、それは、シナプス加重４１０における変化を生じ得る。したがって、シナプス加重における変化は、プレシナプススパイク４０２とポストシナプススパイク４０４との間の時間における違いの結果であり得る。
【００２３】
図５は、本開示のある実施例に従った例示の確率論的シナプス加重変化を示す。確率において減少する一定幅パルス５０２は利用され得、ここでそれは、プレシナプススパイクから経過される時間の結果であり得る。ポストシナプススパイク５０４及び確率論的プレシナプスパルス５０２の間にシナプスを横切る電圧５０６が閾値レベル５０８を上回る場合にシナプス加重変化が生じ得る。多数の試みによって、この確率論的アプローチは、図４において示されるＰＷＭスキームと同一のシナプス加重変化を導き得る。しかしながら、図５からの確率論的スキームは、ハードウェアにおいて容易に実施し得る。
【００２４】
確率論的ＳＴＤＰを適用することによって、シナプス加重を示すための最下位ビットの効果的な値は、減少し得、シナプス加重は、より小さいビットによって示され得る。加えて、シナプス加重に影響を及ぼすパルスの確率は、１つの報告においてナノ機器の非線形スイッチングの埋め合わせをするために調節され得る（たとえば、より低い値へセットされ得る）。加重学習が遅い時間スケール上で数千又は数百以上のスパイク上で生じ得るので、確率論的ＳＴＤＰはまたルールを学習することに応用でき得もする。
【００２５】
典型的な事例において、充分な余剰がシナプスのネットワークにおいてある場合、確率論的ＳＴＤＰを持つ２値シナプスは、利用され得、即ち、多数の２値機器は、強度レベルの任意の数のあらゆるシナプスを埋め合わし得る。２値ナノ機器のスイッチング閾値が非常に変わりやすく、ここで、それは非常に信頼できるシナリオである場合、これらの２値シナプスはまた、適し得もする。さらに、電気的機器それ自身におけるスイッチングが確率論的（たとえば、回転トルク伝達ＲＡＭ（ランダムアクセスメモリ））である場合、確率論的ＳＴＤＰは、指数関数的に減少する確率を持つパルスを生成するための電子回路を要求することなく確率論的シナプスを実施するために使用され得る。
【００２６】
典型的な神経処理ユニット構造
本開示のある実施例は、シナプス加重の量子化されるレベルを持つデジタル神経処理ユニットを実施することをサポートするが、加重トレーニングは、前述の確率論的ＳＴＤＰに基づき得る。図６は、本開示のある実施例に従った８レベル（たとえば、３ビット）シナプス及び確率論的ＳＴＤＰを持つ神経処理ユニット６００の例示の構造を示す。
【００２７】
ニューロン６０２は、スパイク生成器６０４及び、それぞれ長期増強（ＬＴＰ）及び長期抑圧（ＬＴＤ）のための２つのランダム２値生成器回路６０６及び６０８を備え得る。生成器回路６０６−６０８は、ニューロン６０２に関連するスパイク信号６１０によってリセットされ（トリガーされ）得、それらは、リセットの瞬間からの時間で指数関数的に減衰する定義される時間間隔において生じるための論理「１」（たとえば、パルス）の確率を持つ２値コード（たとえば、パルス信号）６１２−６１４を作り出し得る。確率論的パルス信号６１２及び６１４は、それぞれＬＴＤ及びＬＴＰトレーニング信号を表す。確率の減衰時間定数は、ＳＴＤＰ特性（たとえば、典型的な値は、ＬＴＰ及びＬＴＤに関してそれぞれτ＋＝１６．９ｍｓ及びτー＝３３．７ｍｓであり得る。）のＬＴＰ及びＬＴＤパスに特有であり得る。確率論的ＬＴＰ信号６１４は、神経処理ユニット６００に接続される他のシナプスの他の加重値に限定される離散順位によって上昇させ得る。
【００２８】
各シナプス６１６は、ポストシナプススパイク６２２及びポストシナプスＬＴＤ信号６２４はもちろん、プレシナプススパイク６１８及びプレシナプスＬＴＰ信号６２０を受信し得る。ポストシナプススパイク６２２がスパイク信号６１０に相当し得、ポストシナプスＬＴＤ信号６２４が確率論的２値コード信号６１２に相当し得ることは、図６から見てとることができる。２つのＡＮＤゲート６２６−６２８及び２つのインバータ６３０−６３２から構成される論理回路は、トレーニングイベントを検知し得る。プレシナプスＬＴＰ信号６２０が論理「１」と等しく、ポストシナプススパイク信号６２２が論理「１」と等しく、及びプレシナプススパイク信号６１８が論理「０」と等しい場合、ＬＴＰトレーニングイベントは検知され得る。他方、ポストシナプスＳＴＤ信号６２４が論理「１」と等しく、プレシナプススパイク信号６１８が論理「１」と等しく、及びポストシナプススパイク信号６２２が論理「０」に等しい場合、ＬＴＤトレーニングイベントは検知され得る。
【００２９】
この論理回路に従って、プレ及びポストシナプスニューロンが同時にスパイクする場合（即ち、プレシナプススパイク信号６１８及びポストシナプススパイク信号６２２の両者が論理「１」と等しい場合）、トレーニングは起こらない。リワード（reward）調整されるＳＴＤＰの事例において、上の条件を満たさない場合、加重トレーニングは、すぐに生じ得ないこともある。その代わり、トレーニングイベント検知機の出力６３４は、シナプス６１６のランダム生成器回路６３６をリセットし（即ち、トリガーし）得、ここでそれは、そのときリセットの瞬間からの時間で指数関数的に減少する論理「１」の確率を持つ２値コード６３８を生成することを開始し得る。確率の減衰時間定数は、リワード調整されたＳＴＤＰの適格度トレースに特有であり得る。
【００３０】
ランダム２値生成器６３６の出力６３８は、遅延リワードゲート信号６４０によって入出力禁止され得、そのとき、それは、シナプス６１６の現在の加重値を格納するアップダウンカウンタ６４４へクロック信号６４２として適用され得る。検知されるタイミングイベントがＬＴＰに相当する（即ち、ＳＲラッチ６４８の出力６４６が論理「１」に等しい）場合、カウンタ６４４の状態は、増加され得る。他方、検知されるトレーニングイベントがＬＴＤに相当する（ＳＲラッチ６４８の出力６４６が論理「０」に等しい）場合、カウンタ状態は、減少され得る。
【００３１】
ランダム生成器６３６の入出力禁止される出力６４２はまた、不揮発性メモリ（ＮＶＭ）６５０内へのカウンタ状態の転送をトリガーするため利用され得る。アップダウンカウンタ６４４において格納されるシナプス加重はまた、２値加重デジタルツーアナログ変換（ＤＡＣ）回路６５２への入力として使用され得る。ＤＡＣ６５２の出力電流６５２は、ニューロン回路６０２の入力６５６へ接続される他のシナプスの出力電流によって加算される前にプレシナプススパイク信号６１８によって入出力禁止され得る。
【００３２】
典型的なランダム２値生成器
指数関数的に減少する論理「１」の確率を持つランダム２値生成器６３６は、図６において示される神経処理ユニット６００の本質的な部分を表し得る。この生成器の１つの可能な実施形態は、図７において示される。ランダム２値生成器７００は、より新しいビットにおいて論理「１」の減衰する確率を持つ４ビットシリアル２値数を生成するためのリング発振器７０４に基づいてランダムサブ生成器７０２１−７０２４を利用し得る。
【００３３】
サブ生成器７０２１−７０２４のそれぞれ内にあるリング発振器は、高いジッタ及び高いドラフト周波数によって発振し得、ここで、それは、発振が外部クロック周期（外部クロック７０８の周期）の固定の間隔でフリップフラップ７０６によってサンプリングされる場合にランダム２値信号を生成することを助け得る。電力消費を減少させるため、サブ生成器７０２１−７０２４のそれぞれ内にあるリング発振器７０４は、ＮＡＮＤゲートによるリングにおけるインバータの１つを置き換えることによって動作しないようにされ得る。
【００３４】
ランダム生成器７００は、リセット信号７１２によってトリガーされ得、ここでそれは、４つのサブ生成器７０２１−７０２４の４つのリング発振器７０４を動作可能にし得る。このリセット信号はまた、時間カウンタ７１４をリセットし得もする。リセット信号７１０の後の出力７１６での第１出力ビットは、単に第１サブ生成器７０２１の出力７１８であり得る。出力７１６での第２出力ビットは、第１サブ生成器７０２１の出力７１８及び第２サブ生成器７０２２の出力７２０などのＡＮＤ関数として得られ得る。
【００３５】
記述されるランダム生成器７００の論理「１」の確率は、第１出力ビットに関する０．５から第４出力ビットに関する０．０６２５へ減衰し得る。この確率は、サブ生成器７０２１−７０２４の出力の異なる論理関数を使用することによって修正され得る。ＡＮＤゲートは、論理１の発生の確率を上昇させ得る。それゆえ、特定の確率の導出は、２つの基礎的で分析的な確率公式を通じて達成され得る：
Ｐ（Ａ・Ｂ）＝Ｐ（Ａ）・Ｐ（Ｂ）                          （１）
Ｐ（Ａ＋Ｂ）＝Ｐ（Ａ）＋Ｐ（Ｂ）−Ｐ（Ａ）・Ｐ（Ｂ）      （２）
図８は、本開示のある実施例に従って離散順位シナプス及び確率論的加重トレーニングを持つデジタル神経プロセッサ（図６からの処理ユニット６００のような）を実施するための例示の動作８００を示す。８０２で、神経処理ユニットのニューロン回路（たとえば、ポストシナプスニューロン回路６０２）は、神経処理ユニットの少なくとも１つのシナプスと接続され得る。
【００３６】
８０４で、シナプスの１つの加重値は、ニューロン回路から発生されるスパイク（たとえば、スパイク６１０）とシナプスに接続される他のニューロン回路から（即ち、プレシナプスニューロン回路から）発生されるスパイク（たとえば、スパイク６１８）との間の時間に基づく確率を持つ離散順位において変化させられ得る。ポストシナプスニューロン回路は、時間で指数関数的に減衰する定義される時間間隔において生じるための各パルスの確率を持つ少なくとも１つのパルスを生成するためスパイクの１つによってトリガーされる少なくとも１つの生成器回路（たとえば、少なくとも１つのランダム生成器６０６及び６０８）を備え得る。パルス（ＬＴＤ信号６１２のパルス）の１つは、加重値に減少させ得る。
【００３７】
離散順位シナプス及び確率論的ＳＴＤＰを使用する提案されるデジタル神経態様プロセッサは、決定論的ＳＴＤＰを持つアナログ及びデジタル実施形態でいくつかの利点を供給する。第１に、それは、シナプス強度の離散順位のより少ない数を要求し得、シナプス強度の２つ又は３つのレベルでさえ十分であり得る。これは、シナプスメモリにおいて格納されるためより少ないビットを要求し得る。第２に、シナプスの実施形態は、より少ないハードウェアを要求し得、それゆえ、シナプス接続は、より少ないダイエリアを占有し得る。第３に、シナプスは、１ビットＬＴＰ、ＬＴＤ及びスパイク入力によって多数ビットＬＴＤ及びＬＴＰの取替のおかげで決定論的デジタル実施形態におけるシナプスよりも少ない入力を含み得る。より少ないシナプス入力は、より簡単な書き込み、ことによるとダイエリア節約へ移し得る。
【００３８】
「確率論的」という用語がスパイクシグナリングでなくシナプストレーニングのみに適用され得ることは、注意されるべきである。いったんシナプスが確率論的に訓練されれば、トレーニングプロセスは、切られ得、神経システムは、あいまいなふるまいを避けるため決定論的な動作を続け得る。
【００３９】
典型的なシミュレーション結果
シミュレーションは、決定論的ＳＴＤＰ及びデジタル的に実施される確率論的ＳＴＤＰが同一の結果に収束することを示すため実行されることができる。図９（ａ）−（ｂ）は、本開示のある態様に従ったシミュレーションにおいて使用されるシナプスを持つ例示のニューロン９００を示す。たとえば、ニューロン９０２１−９０２３は、５Ｈｚの平均発火レートでランダムスパイクを供給し得、ニューロン９０４１−９０４２は、テスト下でシナプス９０６と接続され得る。
【００４０】
図９（ａ）において示される実験において、ニューロン９０４１−９０４２の両者は、同一のプレシナプスニューロン９０２２に接続され得、ここで、ポストシナプスニューロン９０４２は、シナプス９０８と等しい加重のシナプス９１０と比較して５ｍｓの遅延を持つシナプス９０８を通じてプレシナプスニューロン９０２２と接続され得る。それゆえ、ニューロン９０４１−９０４２は、関連のあるスパイクを受信し得、シナプス９０６は、ＳＴＤＰのために増強し得る。他方、図９（ｂ）において示される実験において、シナプス９１４及び９１６を通じてニューロン９１２１−９１２２へ伝達される入力は、互いに完全にランダムであり得、それゆえ、シナプス９１８の加重値は、おおよそ同一の値を維持するか又は抑圧を得るかのいずれかが予期され得る。
【００４１】
図１０Ａ−１０Ｂは、決定論的ＳＴＤＰが適用される場合に図９（ａ）−（ｂ）からのシミュレートされる前述の実験の結果１０００を示す。シナプス９０６及び９１８が予期されるように増強し得ることは、見てとられることができる。同一の実験は、確率論的ＳＴＤＰルールを使用して繰り返され、相当するシミュレーション結果１１００は、図１１Ａ−１１Ｂにおいて示される。加重変化は、直ちに量子化され、プレ及びポストシナプススパイク時間の間の時間差によって与えられる確率を持つスパイクのわずかな部分で生じることのみができる。シナプス９０６及び９１８に関する最終加重値が決定論的ＳＴＤＰルールを使用して得られる図１０Ａ−１０Ｂにおいて与えられる最終加重値と非常に近くなることができる。
【００４２】
上に記述される方法の様々な動作は、相当する機能を実行することができる任意の適切な手段によって実行され得る。手段は、様々なハードウェア及び／又は（複数の）ソフトウェアコンポーネント並びに／若しくは（複数の）モジュールを含み得、それらは、回路に限定されることなく、特定用途向け集積回路（ＡＳＩＣ）、又はプロセッサを含む。一般に、図に示される動作がある場合、これらの動作は、同一のナンバリングを持つ相当するカウンタパート手段プラス機能コンポーネントを有し得る。たとえば、図８において示される動作８００は、図８Ａにおいて示されるコンポーネント８００Ａに相当する。
【００４３】
本文中に使用されるように、「決定すること」という用語は、動作の広い多様性を含む。たとえば、「決定すること」は、計算すること（calculating）、計算すること（computing）、処理すること、引き出すこと、調査すること（investigating）、調べること（looking up）（たとえば、テーブル、データベース又は他のデータ構造において調べること）、確かめることなどを含み得る。また、「決定すること」は、受信すること（たとえば、情報を受信すること）、アクセスすること（メモリにおけるデータにアクセスすること）などを含み得る。また、「決定すること」は、解決すること、選択すること（selecting）、選択すること（choosing）、設立することなどを含み得る。
【００４４】
本文中に使用されるように、アイテムのリストの「少なくとも１つ」に言及するフレーズは、単一のメンバーを含む、それらアイテムの任意の組み合わせを示す。例として、「ａ、ｂ又はｃの少なくとも１つ」は、ａ、ｂ、ｃ、ａ−ｂ、ａ−ｃ、ｂ−ｃ及びａ−ｂ−ｃをカバーすることを意図される。
【００４５】
本開示に関連して開示される様々な例示の論理ブロック、モジュール及び回路は、本文中に記述される機能を実行するために設計される汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ信号（ＦＰＧＡ）若しくは他のプログラマブル論理機器（ＰＬＤ）、ディスクリートゲート若しくはトランジスタ論理、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組み合わせによって実施され又は実行され得る。汎用プロセッサは、マイクロプロセッサであり得るが、代案として、プロセッサは、あらゆる市販されているプロセッサ、コントローラ、マイクロコントローラ又はステートマシンであり得る。プロセッサはまた、コンピューティング機器の組み合わせ、たとえば、ＤＳＰ並びにマイクロプロセッサの組み合わせ、多数のマイクロプロセッサ、ＤＳＰコアに関連する１つ若しくは２つ以上のマイクロプロセッサ、又はあらゆる他のそのような構成、として実施され得もする。
【００４６】
本開示に関連して記述される方法又はアルゴリズムのステップは、直接ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、又は、２つの組み合わせにおいて具体化され得る。ソフトウェアモジュールは、技術において知られる記録媒体のあらゆる形式において存在し得る。使用され得る記録媒体のいくつかの例は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭなどを含む。ソフトウェアモジュールは、単一の命令又は多数の命令を備え得、いくつかの異なるコードセグメント上で、異なるプログラムの中で及び多数の記録媒体の至る所で分配され得る。プロセッサが記録媒体から情報を読み記録媒体へ情報を書くことができるように、記録媒体は、プロセッサに接続され得る。代案として、記録媒体は、プロセッサに欠かせないものであり得る。
【００４７】
本文中に記述される方法は、記述される方法を達成するための１つ又は２つ以上のステップ又は動作を備える。方法ステップ及び／又は動作は、請求項の範囲から離れることなく他のものと交換され得る。他の言い方をすれば、ステップ又は動作の特定の順序がはっきりと指定されていなければ、特定のステップ及び／又はステップの順序及び／又は使用は、請求項の範囲から離れることなく修正され得る。
【００４８】
記述される機能は、ハードウェア、ソフトウェア、ファームウェア又はそれらのあらゆる組み合わせにおいて実施され得る。ソフトウェアにおいて実施される場合、機能は、コンピュータ可読媒体上で１つ又はそれ以上の命令として格納され得る。記録媒体は、コンピュータによってアクセスされることができるあらゆる利用可能な媒体であり得る。限定でなく例として、その様なコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ若しくは他の光学ディスク、磁気ディスク媒体若しくは他の磁気記録機器、又は命令若しくはデータ構造の形式において所望のプログラムコードを運び若しくは格納するために利用されることができコンピュータによってアクセスされることができるあらゆる他の媒体を備えることができる。本文中で使用されるような、一般的に磁気的にデータを再現するディスク（disk）、一方レーザーを使用して光学的にデータを再現するディスク（disc）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、ディジタル・バーサタイル・ディスク（ＤＶＤ）、フロッピー（登録商標）ディスクおよびブルーレイディスクを含む。
【００４９】
したがって、ある実施例は、本文中に開示される動作を実行するためのコンピュータプログラム製品を備え得る。たとえば、そのようなコンピュータプログラム製品は、その上に格納される（及び／又は符号化される）命令を持つコンピュータ可読媒体を備え得、ここで命令は、本文中に記述される動作を実行するため１つ又は２つ以上のプロセッサによって実行可能である。ある実施例に関して、コンピュータプログラム製品は、パッケージ材料を含み得る。
【００５０】
ソフトウェア又は命令はまた、送信媒体上で送信され得もする。たとえば、ソフトウェアが、ウェブサイト、サーバ、又は、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者ライン（ＤＳＬ）、若しくは赤外線（ＩＲ）、無線並びにマイクロ波のような無線技術を使用する他のリモートソースから送信される場合、そのとき、同軸ケーブル、ツイストペア、ＤＳＬ、又は、赤外線、無線及びマイクロ波のような無線技術は、媒体の定義に含まれ得る。
【００５１】
さらに、本文中に記述される方法及び技術を実行するためのモジュール及び／又は他の適切な手段は、ダウンロードされ、及び／又はそうでなければ、適用可能であるとして利用者端末及び／又は基地局によって得られることができることは、認識されるべきである。たとえば、その様な機器は、本文中に記述される方法を実行するための手段の送信を容易にするためサーバに接続されることができる。あるいは、利用者端末及び／又は基地局は機器へ記録手段を接続すること又は供給することで様々な方法を得ることができるように、本文中に記述される様々な方法は、記録手段（たとえば、ＲＡＭ、ＲＯＭ、コンパクトディスク（ＣＤ）又はフロッピー（登録商標）ディスクのような物理記録媒体など）を通じて供給されることができる。さらに、機器へ本文中に記述される方法及び技術を供給するためのあらゆる他の適切な技術は、利用されることができる。
【００５２】
請求項は、上に示される正確な構成及びコンポーネントに限定されないことは理解されるべきである。様々な修正、変更及びバリエーションは、請求項の範囲から離れることなく上に記述される方法及び装置の取決め、動作及び詳細において行われ得る。
【００５３】
前記のものが本開示の実施例へ向けられるが、開示の他の及びさらなる実施例は、それの基礎範囲から離れることなく考察され得、それの範囲は、以下に続く請求項によって決定される。
【図１】
2013534018.tif 000004
【図２】
2013534018.tif 000005
【図３】
2013534018.tif 000006
【図４】
2013534018.tif 000007
【図５】
2013534018.tif 000008
【図６】
2013534018.tif 000009
【図７】
2013534018.tif 000010
【図８】
2013534018.tif 000011
【図８Ａ】
2013534018.tif 000012
【図９】
2013534018.tif 000013
【図１０Ａ】
2013534018.tif 000014
【図１０Ｂ】
2013534018.tif 000015
【図１１Ａ】
2013534018.tif 000016
【図１１Ｂ】
2013534018.tif 000017
【国際調査報告】
2013534018.tif 000018
2013534018.tif 000019
2013534018.tif 000020