(57)【特許請求の範囲】
【請求項１】
神経形態学的およびシナプトロニック・システムであって、
複数の電子ニューロンと、
前記複数の電子ニューロンを相互接続するために構成されたクロスバー・アレイ・ネットワークと
を備えており、
前記クロスバー・アレイ・ネットワークが、複数のクロスバー・アレイを備えており、
各クロスバー・アレイが、
軸索および樹状突起が互いに横断するような複数の軸索および複数の樹状突起と、
複数のシナプス・デバイスであって、各シナプス・デバイスが樹状突起と軸索との間に結合された前記クロスバー・アレイの交差接合点にある、前記複数のシナプス・デバイスと
を備えており、
前記クロスバー・アレイが、前記シナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する空間的な千鳥配列パターンである、
前記システム。
【請求項２】
前記クロスバー・アレイが、２次元平面内に前記シナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する空間的な千鳥配列パターンであり、各クロスバー・アレイの前記複数のシナプス・デバイスが、隣接するクロスバー・アレイの前記複数のシナプス・デバイスに対してオフセットされる、請求項１に記載のシステム。
【請求項３】
各クロスバー・アレイが、対応する前記複数の軸索、前記複数の樹状突起、前記複数のシナプス・デバイス、および１つまたは複数の電子ニューロンを含む、クロスバー回路タイルを備えている、請求項２に記載のシステム。
【請求項４】
各クロスバー回路タイルが、隣接するクロスバー回路タイルに対して空間的にオフセットされた、請求項３に記載のシステム。
【請求項５】
各クロスバー回路タイルが、Ｎの軸索、Ｎの樹状突起、ＮｘＮグループのシナプス・デバイス、および１つまたは複数の電子ニューロンを備えており、
各電子ニューロンの受容野が、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを備えており、
各電子ニューロンの射影野が、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを備えており、
前記クロスバー・アレイ・ネットワークが複数のＮｘＮのクロスバー回路タイルを含む、
請求項４に記載のシステム。
【請求項６】
各クロスバー回路タイルが、Ｎ−１の樹状突起を介して隣接するクロスバー回路タイルと第１の空間的方向に相互接続される、請求項４に記載のシステム。
【請求項７】
各クロスバー回路タイルが、Ｎ−１の軸索を介して隣接するクロスバー回路タイルと、前記第１の空間的方向に対して横断する第２の空間的方向に相互接続される、請求項６に記載のシステム。
【請求項８】
各樹状突起が、Ｎの隣接するクロスバー回路タイルを前記第１の空間的方向に相互接続し、
各軸索が、Ｎの隣接するクロスバー回路タイルを前記第２の空間的方向に相互接続する、
請求項７に記載のシステム。
【請求項９】
各クロスバー・アレイが、
前記複数の樹状突起に対応する複数の樹状ドライバであって、各樹状ドライバが前記クロスバー・アレイの第１の側面で樹状突起に結合される、前記複数の樹状ドライバと、
前記複数の軸索に対応する複数の軸索ドライバであって、各軸索ドライバが前記クロスバー・アレイの第２の側面で軸索に結合される、前記複数の軸索ドライバと
を備えており、
交差接合点でシナプス・デバイスによって結合されたドライバおよび樹状ドライバが組み合わされて、電子ニューロンの最新のスパイキングが前記軸索ドライバおよび前記樹状ドライバ内へスパイキング信号を発火させ、スパイク・タイミング依存可塑性（ＳＴＤＰ）を生成してからの時間に応じて、前記シナプス・デバイスの状態を変更できる信号を生成する、
請求項８に記載のシステム。
【請求項１０】
前記複数の電子ニューロンのそれぞれが、前記複数のクロスバー・アレイのうちの１つに対応し、
前記システムが、前記ネットワーク内の複数のクロスバー・アレイの同時活動化をクロッキングするための信号生成器をさらに備えている、
請求項１〜９のいずれか一項に記載のシステム。
【請求項１１】
前記ネットワーク内の複数のクロスバー・アレイのあるクロッキング・レートでの同時活動化が、前記クロスバー・アレイ・ネットワーク内のクロスバー・アレイの数と無関係である、請求項１０に記載のシステム。
【請求項１２】
前記信号生成器のクロッキングが複数の時間ステップを提供し、各時間ステップ内で、
前記複数のクロスバー・アレイおよび対応する電子ニューロンのそれぞれについて、
電子ニューロンの発火時に、対応する軸索および樹状突起に信号を送信すること、
前記対応する軸索が、ＳＴＤＰの抑制部分に関する警報としても働く読み取り信号を送信すること、
前記対応する軸索が、リセット信号を送信し、所与の樹状突起が確率的に返答すること、
前記対応する樹状突起が、セット信号を送信し、所与の軸索が確率的に返答すること、
軸索上のＯＮビット数を読み取ること、および
樹状突起上のＯＮビット数を読み取ること
を含む６つの動作段階を提供する、請求項１０に記載のシステム。
【請求項１３】
軸索通信ステップが下位ステップをさらに含み、各下位ステップ内で複数のシナプスが読み取り信号を受信し、
軸索リセット・ステップが下位ステップをさらに含み、各下位ステップ内で、複数の軸索がリセット信号を送信し、所与の樹状突起が確率的に返答し、
樹状突起通信ステップが下位ステップ含み、各下位ステップ内で、複数の樹状突起がセット信号を送信し、所与の軸索が確率的に返答し、
軸索読み取りステップが下位ステップを含み、各下位ステップが複数の軸索上のＯＮビット数を読み取ることを含み、
樹状突起読み取りステップが下位ステップを含み、各下位ステップが複数の樹状突起上のＯＮビット数を読み取ることを含む、
請求項１１に記載のシステム。
【請求項１４】
電子ニューロンがスパイクする場合、前記電子ニューロンから、電子ニューロンのネットワーク内のスパイキング電子ニューロンに接続された各軸索および各樹状突起へと、スパイキング信号を送信し、スパイク・タイミング依存可塑性（ＳＴＤＰ）を生成すること、を含む方法であって、
前記電子ニューロンのネットワークが、
複数の電子ニューロンと、
前記複数の電子ニューロンを相互接続するために構成されたクロスバー・アレイ・ネットワークと
を備えており、
前記クロスバー・アレイ・ネットワークが、複数のクロスバー・アレイを備えており、
各クロスバー・アレイが、
軸索および樹状突起が互いに横断するような複数の軸索および複数の樹状突起と、
複数のシナプス・デバイスであって、各シナプス・デバイスが樹状突起と軸索との間に結合された前記クロスバー・アレイの交差接合点にある、前記複数のシナプス・デバイスと
を備えており、
前記クロスバー・アレイが、前記シナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する空間的な千鳥配列パターンである、
前記方法。
【請求項１５】
前記複数の電子ニューロンのそれぞれが、前記複数のクロスバー・アレイのうちの１つに対応し、
前記方法が、前記ネットワーク内の複数のクロスバー・アレイの同時活動化のためにクロッキング信号を生成することをさらに含む、
請求項１４に記載の方法。
【請求項１６】
前記複数のクロスバー・アレイおよび対応する電子ニューロンのそれぞれについて、前記クロッキング信号に基づき、
電子ニューロンの発火時に、対応する軸索および樹状突起に信号を送信すること、
前記対応する軸索が、ＳＴＤＰの抑制部分に関する警報としても働く読み取り信号を送信すること、
前記対応する軸索が、リセット信号を送信し、所与の樹状突起が確率的に返答すること、
前記対応する樹状突起が、セット信号を送信し、所与の軸索が確率的に返答すること、
軸索上のＯＮビット数を読み取ること、および
樹状突起上のＯＮビット数を読み取ること
をさらに含む、請求項１５に記載の方法。
【請求項１７】
前記クロスバー・アレイが、２次元平面内に前記シナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する空間的な千鳥配列パターンであり、各クロスバー・アレイの前記複数のシナプス・デバイスが、隣接するクロスバー・アレイの前記複数のシナプス・デバイスに対してオフセットされる、請求項１６に記載の方法。
【請求項１８】
各クロスバー・アレイが、対応する前記複数の軸索、前記複数の樹状突起、前記複数のシナプス・デバイス、および１つまたは複数の電子ニューロンを含む、クロスバー回路タイルを備えている、請求項１７に記載の方法。
【請求項１９】
各クロスバー回路タイルが、隣接するクロスバー回路タイルに対して空間的にオフセットされ、隣接するクロスバー回路タイル内の前記複数のシナプス・デバイスに対する各クロスバー回路タイル内の前記複数のシナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する、請求項１８に記載の方法。
【請求項２０】
各クロスバー回路タイルが、Ｎの軸索、Ｎの樹状突起、ＮｘＮグループのシナプス・デバイス、および１つまたは複数の電子ニューロンを備えており、
前記ネットワークが、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを備えている、
請求項１９に記載の方法。
【請求項２１】
各クロスバー回路タイルが、Ｎ−１の樹状突起を介して隣接するクロスバー回路タイルと第１の空間的方向に相互接続される、請求項１９に記載の方法。
【請求項２２】
各クロスバー回路タイルが、Ｎ−１の軸索を介して隣接するクロスバー回路タイルと、前記第１の空間的方向に対して横断する第２の空間的方向に相互接続される、請求項２１に記載の方法。
【請求項２３】
各樹状突起が、Ｎの隣接するクロスバー回路タイルを前記第１の空間的方向に相互接続し、
各軸索が、Ｎの隣接するクロスバー回路タイルを前記第２の空間的方向に相互接続する、
請求項２２に記載の方法。
【請求項２４】
各クロスバー・アレイが、
前記複数の樹状突起に対応する複数の樹状ドライバであって、各樹状ドライバが前記クロスバー・アレイの第１の側面で樹状突起に結合される、前記複数の樹状ドライバと、
前記複数の軸索に対応する複数の軸索ドライバであって、各軸索ドライバが前記クロスバー・アレイの第２の側面で軸索に結合される、前記複数の軸索ドライバと
を備えており、
交差接合点でシナプス・デバイスによって結合されたドライバおよび樹状ドライバが組み合わされて、電子ニューロンの最新のスパイキングが前記軸索ドライバおよび前記樹状ドライバ内へスパイキング信号を発火させ、ＳＴＤＰを生成してからの時間に応じて、前記シナプス・デバイスの状態を変更できる信号を生成する、
請求項２３に記載の方法。
【請求項２５】
神経形態学的およびシナプトロニック・システムであって、
複数の電子ニューロンと、
前記複数の電子ニューロンを相互接続するために構成されたクロスバー・アレイ・ネットワークと
を備えており、
前記クロスバー・アレイ・ネットワークが、複数のクロスバー・アレイを備えており、
各クロスバー・アレイが、
軸索および樹状突起が互いに横断するような複数の軸索および複数の樹状突起と、
複数のシナプス・デバイスであって、各シナプス・デバイスが樹状突起と軸索との間に結合された前記クロスバー・アレイの交差接合点にある、前記複数のシナプス・デバイスと
を備えており、
前記クロスバー・アレイが、２次元平面内に前記シナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供する空間的な千鳥配列パターンであり、各クロスバー・アレイの前記複数のシナプス・デバイスが、隣接するクロスバー・アレイの前記複数のシナプス・デバイスに対してオフセットされ、
前記複数の電子ニューロンのそれぞれが、前記複数のクロスバー・アレイのうちの１つに対応し、
前記システムが、前記ネットワーク内の複数のクロスバー・アレイの同時活動化をクロッキングするための信号生成器をさらに備えている、
前記システム。
【請求項２６】
各クロスバー・アレイが、対応する前記複数の軸索、前記複数の樹状突起、および前記複数のシナプス・デバイスを含む、クロスバー回路タイルを備えており、
各クロスバー回路タイルが、隣接するクロスバー回路タイルに対して空間的にオフセットされ、隣接するクロスバー回路タイル内の前記複数のシナプス・デバイスに対する各クロスバー回路タイル内の前記複数のシナプス・デバイスの千鳥配列されたクロスバー・レイアウトを提供し、
各クロスバー回路タイルが、Ｎの軸索、Ｎの樹状突起、およびＮｘＮグループのシナプス・デバイスを備えており、
前記ネットワークが、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを備えており、
各クロスバー回路タイルが、Ｎ−１の樹状突起を介して隣接するクロスバー回路タイルと第１の空間的方向に相互接続され、
各クロスバー回路タイルが、Ｎ−１の軸索を介して隣接するクロスバー回路タイルと、前記第１の空間的方向に対して横断する第２の空間的方向に相互接続され、
各樹状突起が、Ｎの隣接するクロスバー回路タイルを前記第１の空間的方向に相互接続し、
各軸索が、Ｎの隣接するクロスバー回路タイルを前記第２の空間的方向に相互接続し、
各クロスバー・アレイが、前記複数の樹状突起に対応する複数の樹状ドライバであって、各樹状ドライバが前記クロスバー・アレイの第１の側面で樹状突起に結合される、複数の樹状ドライバをさらに備えており、
各クロスバー・アレイが、前記複数の軸索に対応する複数の軸索ドライバであって、各軸索ドライバが前記クロスバー・アレイの第２の側面で軸索に結合される、複数の軸索ドライバをさらに備えており、
交差接合点でシナプス・デバイスによって結合されたドライバおよび樹状ドライバが組み合わされて、電子ニューロンの最新のスパイキングが前記軸索ドライバおよび前記樹状ドライバ内へスパイキング信号を発火させ、スパイク・タイミング依存可塑性（ＳＴＤＰ）を生成してからの時間に応じて、前記シナプス・デバイスの状態を変更できる信号を生成する、
請求項２５に記載のシステム。
【請求項２７】
前記信号生成器のクロッキングが、
前記複数のクロスバー・アレイおよび対応する電子ニューロンのそれぞれについて、
電子ニューロンの発火時に、対応する軸索および樹状突起に信号を送信すること、
前記対応する軸索が、ＳＴＤＰの抑制部分に関する警報としても働く読み取り信号を送信すること、
前記対応する軸索が、リセット信号を送信し、所与の樹状突起が確率的に返答すること、
前記対応する樹状突起が、セット信号を送信し、所与の軸索が確率的に返答すること、
軸索上のＯＮビット数を読み取ること、および
樹状突起上のＯＮビット数を読み取ること
を含む６つの動作段階を提供する、請求項２６に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に神経形態学的（neuromorphic）およびシナプトロニック（synaptronic）・システムに関し、より具体的に言えば、スパイク・タイミング依存可塑性（spike-timing dependent plasticity）に基づく神経形態学的およびシナプトロニック・システムに関する。
【背景技術】
【０００２】
生体系は、それらの感覚入力によって与えられる情報に順序を課す。この情報は、通常、独特の空間的および時間的構造を伴う局在化イベントを含む時空間パターンの形で現れる。これらのイベントは多種多様の空間的および時間的尺度で発生し、さらに脳などの生体系はそれらを統合し関連する情報ピースを抽出することが依然として可能である。こうした生体系は、ノイズの多い時空間入力から信号を迅速に抽出することができる。
【０００３】
生体系において、あるニューロンの軸索（axon）と他のニューロンの樹状突起（dendrite）との間の接点はシナプスと呼ばれ、シナプスに関連して、この２つのニューロンはそれぞれプレシナプスおよびポストシナプスと呼ばれる。我々の個々の体験の実体がこのシナプスのコンダクタンスに記憶される。シナプス・コンダクタンスは、スパイク・タイミング依存可塑性（ＳＴＤＰ）に従い、プレシナプスおよびポストシナプス・ニューロンの相対的なスパイク時間に応じて時間と共に変化することが可能である。ＳＴＤＰ規則は、そのプレシナプス・ニューロンが発火した後にそのポストシナプス・ニューロンが発火する場合、シナプスのコンダクタンスを増加させ、この２つの発火が逆の順序である場合、シナプスのコンダクタンスを減少させる。
【０００４】
神経形態学的およびシナプトロニック・システムは、擬似ニューラル・ネットワークとも呼ばれ、電子システムが生物学的な脳のシステムと本質的に類似した様式で機能できるようにする計算システムである。神経形態学的およびシナプトロニック・システムは、通常、０および１を逐次的に操作する従来のデジタル・モデルは使用せず、並列および分散処理を使用する。その代わりに、神経形態学的シナプトロニック・システムは、生物学的な脳のニューロンおよびシナプスを模倣する処理要素間の接続を生成する。神経形態学的およびシナプトロニック・システムは、生物学的なニューロンおよびシナプスをモデルにした様々な電子回路を備えることができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】K.Likharevによる「Hybrid CMOS/NanoelectronicCircuits:Opportunities and Challenges」、J.Nanoelectronicsand Optoelectronics、２００８年、Vol.3、２０３〜２３０ページ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施形態は、クロスバー・アレイ・ネットワーク内で相互接続された電子ニューロンを使用してスパイク・タイミング依存可塑性を提供する。一実施形態では、クロスバー・アレイ・ネットワークは複数のクロスバー・アレイを備える。各クロスバー・アレイは、軸索および樹状突起が互いに横断（transverse）するような複数の軸索および複数の樹状突起と、複数のシナプス・デバイスとを備え、各シナプス・デバイスは、樹状突起と軸索との間に結合されたクロスバー・アレイの交差接合点にある。クロスバー・アレイは空間的に、シナプス・デバイスの千鳥配列された（staggered）クロスバー・レイアウトを提供する千鳥配列パターンである。
【課題を解決するための手段】
【０００７】
本発明の一実施形態では、方法は、電子ニューロンから、電子ニューロンのネットワーク内のスパイキング電子ニューロンに接続された各軸索および各樹状突起へ、スパイキング信号を送信することを含む。本発明の一実施形態では、複数の電子ニューロンのそれぞれが、複数のクロスバー・アレイのうちの１つに対応する。
【０００８】
本発明の一実施形態では、ネットワーク内の複数のクロスバー・アレイを同時に活動化するために、クロッキング信号が生成される。方法は、複数のクロスバー・アレイおよび対応する電子ニューロンのそれぞれについて、クロッキング信号に基づき、電子ニューロンの発火時に、信号を対応する軸索および樹状突起に送信することをさらに含む。軸索は、ＳＴＤＰの抑制（depressing）部分に関する警報としても働く、読み取り信号を送信する。軸索はリセット信号を送信し、所与の樹状突起が確率的に返答する。樹状突起はセット信号を送信し、所与の軸索が確率的に返答する。軸索上のＯＮビット数が読み取られ、樹状突起上のＯＮビット数が読み取られる。
【０００９】
本発明のこれらおよび他の特徴、態様、および利点は、以下の説明、添付の特許請求の範囲、および添付の図面を参照することで、より良く理解されよう。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に従った、スパイキング計算のためのシナプス・クロスバー・アレイを示す図である。
【図２】本発明の実施形態に従った、図１のシナプス・クロスバー・アレイの実装を示す図である。
【図３】本発明の実施形態に従った、回路タイルとして実装される図１のシナプス・クロスバー・アレイの実装を示す図である。
【図４】本発明の実施形態に従った、複数の連結されたシナプス・クロスバー・アレイ・タイルのネットワークを示す斜視図である。
【図５】本発明の実施形態に従った、図４のネットワークを示す上面図である。
【図６】本発明の実施形態に従った、グリッド状のクロスバー・タイルのグループを備える図４のネットワークを示す斜視図である。
【図７】本発明の実施形態に従った、図４のネットワークによって相互接続されたニューロンをリンクする連続通信パスの例を示す図である。
【図８】本発明の実施形態に従った、４つの構成要素部分に分解されたクロスバー・アレイの構成を示す図である。
【図９】本発明の実施形態に従った、図８の概念的分解に基づいて分解されたクロスバー・アレイを備える図４のネットワークの一部を示す図である。
【図１０】本発明の実施形態に従った、グローバル・クロック信号を使用する電子ニューロンのクロスバー・アレイ・ネットワークの同期化動作段階に関するプロセスを示す流れ図である。
【図１１】本発明の実施形態に従った、図４のネットワーク内の活動化された軸索の第１のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１２】本発明の実施形態に従った、図１１のネットワーク内の活動化された軸索の第２のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１３】本発明の実施形態に従った、図１１のネットワーク内の活動化された軸索の第３のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１４】本発明の実施形態に従った、図４のネットワーク内の活動化された樹状突起の第１のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１５】本発明の実施形態に従った、図１４のネットワーク内の活動化された樹状突起の第２のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１６】本発明の実施形態に従った、図１４のネットワーク内の活動化された樹状突起の第３のセットを備える活動化されたクロスバー・タイルを示す図である。
【図１７】本発明の一実施形態を実装するために有用な情報処理システムを示す高水準ブロック図である。
【発明を実施するための形態】
【００１１】
本発明の実施形態は、複数の電子ニューロンを相互接続するシナプス・デバイス（シナプス）のクロスキルトされた（cross-quilted）クロスバー・レイアウトを特徴とするコンピューティング・チップを含み、スパイク・タイミング依存可塑性（ＳＴＤＰ）に従ってシナプスの読み取りおよびプログラミングを提供し、複数のクロスバーの動作を並行して調整する、神経形態学的およびシナプトロニック・システムを提供する。
【００１２】
ここで図１を参照すると、複数のニューロン１４を有するクロスバー・アレイ１２を備える神経形態学的およびシナプトロニック・システム１００を表す図が示されている。本明細書では、ニューロンは「電子ニューロン」とも呼ばれる。システム１００は、クロスバー・アレイ１２の交差接合点２３に可変状態レジスタを含む複数のシナプス・デバイス２２をさらに備え、シナプス・デバイス２２は軸索２４と樹状突起２６との間に接続される。軸索２４および樹状突起２６は、交差接合点で互いに横断する。図１は、特殊な場合に、軸索２４および樹状突起２６が交差点接合で直交構成である実施形態を示す。（「Ｎｅ」は興奮性ニューロンを含み、「Ｎｉ」は抑制性ニューロンを含む）。図１は、ニューロンが回帰ループを形成することを示すが、一般に異なるニューロンはその出力を異なるクロスバー内の他のニューロンに与えることに留意されたい。
【００１３】
図２は、クロスバー・アレイ１２の例示的実装を示し、各シナプス・デバイス２２はプログラム可能レジスタとして可変状態レジスタ２３を備える。クロスバー・アレイ１２は、当該電子ニューロン間に任意および塑性接続を実装するように採用された、交差接合点に当該レジスタ２３を備えるナノスケール・クロスバー・アレイを備える。ＰＮダイオードまたはダイオードとして配線されたＦＥＴなどのアクセスまたは制御デバイス２５（または非線形電圧電流応答を伴う何らかの他の要素）は、信号通信時のクロストーク（ニューロン発火イベント）を防ぐため、およびリークおよび電力消費を最小限にするために、あらゆるクロスバー接合点でレジスタ２３と直列に接続することが可能であるが、これはシナプス機能を達成するために必要な条件ではない。シナプス・デバイスは必ずしも可変状態レジスタである必要はなく、他の実施形態では、ＳＲＡＭ、ＤＲＡＭ、ＥＤＲＡＭなどのメモリ要素を備えることができる。
【００１４】
本発明の一実施形態では、各電子ニューロンは１対のＲＣ回路１５を備える。一般に、本発明の実施形態によれば、ニューロンは、樹状突起入力接続２６から受け取る統合入力がしきい値を越えた場合に「発火」（パルスを伝送）する。ニューロンは発火した場合、そのＲＣ回路のうちの１つにおけるレジスタおよびキャパシタの値によって決定される、相対的に長い所定の時定数と共に減衰する、反ＳＴＤＰ（Ａ−ＳＴＤＰ）変数を維持する。たとえば一実施形態では、この時定数は約５０ミリ秒とすることができる。Ａ−ＳＴＤＰ変数は、電流ミラーまたは等価の回路を使用するキャパシタを横切る電圧を決定することによって、サンプリングすることができる。この変数を使用して、関連するニューロンの最後の発火からの時間をエンコードすることによって、軸索ＳＴＤＰが達成される。軸索ＳＴＤＰは、この文脈ではシナプス・コンダクタンスの増加として定義される「増強」を制御するために使用される。ニューロンは発火した場合、そのＲＣ回路１５のうちの１つにおけるレジスタおよびキャパシタの値に基づいて、相対的に長い所定の時定数と共に減衰する、Ｄ−ＳＴＤＰ変数も維持する。本明細書で使用される場合、「場合」という用語は、ニューロンの発火後瞬時に、またはニューロンの発火後ある期間のうちに、信号が送信される旨を意味することができる。
【００１５】
図１に示されるように、電子ニューロン１４はクロスバー・アレイ１２周辺の回路として構成される。クロスバー・アーキテクチャは、単純に設計および製造されることに加えて、使用可能スペースの効率的な使用を提供する。クロスバー・アレイ１２は、ニューロン間の通信をカスタマイズするように構成可能である。製造レベルで所定のシナプスをブロックすることによって、任意接続が取得可能である。したがって、本明細書でのアーキテクチャ原理は、生物学的な神経形態学的およびシナプトロニック・ネットワーク内で観察されるすべての直接配線組み合わせを模倣することができる。
【００１６】
クロスバー・アレイ１２は、図１に示されるようなドライバ（ルータ）・デバイスＸ２、Ｘ３、およびＸ４をさらに含む（わかりやすくするために、ドライバ・デバイスは図２には示されていない）。デバイスＸ２、Ｘ３、およびＸ４はインターフェース・ドライバ・デバイスを備える。具体的に言えば、樹状突起２６は、クロスバー・アレイ１２の一方の側にドライバ・デバイスＸ２を、クロスバー・アレイの他方の側に感知増幅器Ｘ４を有する。軸索２４は、クロスバー・アレイの一方の側にドライバ・デバイスＸ３を有する。一実施形態では、ドライバ・デバイスは、本明細書で説明される機能を実装する相補型金属酸化膜半導体（ＣＭＯＳ）論理回路を備える。
【００１７】
図３はクロスバー・アレイ１２の斜視図を示し、通常の場合、各クロスバー・アレイ内の軸索２４および樹状突起２６は交差接合点で９０°未満の構成である。各クロスバー・アレイは、Ｎの軸索２４およびＮの樹状突起２６の交差接合点にＮｘＮグループのシナプス２２を備える、回路タイル１２Ｔを備える。この例ではＮ＝３であり、各タイル１２Ｔは、３つの樹状突起２６と横断構成の３つの軸索２４を含む３ｘ３のクロスバー・アレイを備える。Ｎは０よりも大きい整数である。
【００１８】
図４は、本発明の実施形態に従った、２次元平面内の複数の空間的に千鳥配列されたクロスバー・アレイ１２を含む回路を備えるネットワーク１０１の斜視図を示す。このネットワーク１０１では、通常の場合、各クロスバー・アレイ内の軸索２４および樹状突起２６は交差接合点で９０°未満の構成とすることができる。各クロスバー・アレイ１２は、Ｎの軸索２４およびＮの樹状突起２６の交差接合点にＮｘＮグループのシナプス２２を備える（たとえばＮ＝３）。タイル１２Ｔはオフセットされ、千鳥配列パターンのタイル１２Ｔを提供する。タイル１２Ｔのグループは共通の軸索２４および樹状突起２６を介して相互接続され、シナプス２２のキルトされたクロスバー・レイアウトを提供する。図４のネットワーク１０１は、各クロスバーまたはタイルを使用する電子ニューロン（図示せず）の相互接続を可能にする。したがってクロスバー・アレイ１２は、ネットワーク１０１内にシナプス２２の交差キルトされたクロスバー・レイアウトを提供する千鳥配列パターンであり、シナプス２２はＮｘＮグループである。
【００１９】
図５は、グリッド１２Ｇ内にＮｘＮグループのタイル１２Ｔを示す（たとえばＮ＝３）、図４のネットワーク１０１の一部の上面図を示す。各グリッド１２Ｇ内のＮｘＮグループのタイル１２Ｔは共通の軸索２４および樹状突起２６を介して相互接続され、タイル１２Ｔ内の交差接合点にシナプスの交差キルトされたクロスバー・レイアウトを提供する。図６はネットワーク１０１の他の斜視図を示し、各グリッド１２Ｇ内のタイル１２Ｔも、共通の軸索２４および樹状突起２６によって隣接グリッド１２Ｇ内の隣接タイル１２Ｔと相互接続される。各タイル１２Ｔは、Ｎ−１の樹状突起２６を介して左または右の隣接タイルに接続される。各タイル１２Ｔは、Ｎ−１の軸索２４を介して上または下の隣接タイルに接続される。
【００２０】
各グリッド１２Ｇでは、軸索２４はＮのタイル１２Ｔにわたって横切り、各樹状突起はＮのタイル１２Ｔを横切る（traverse）。グリッド１２Ｇ内のクロスバー・タイル１２Ｔの数は、タイル１２Ｔ内のシナプスの数の関数である。
【００２１】
クロスバー・タイル１２Ｔはデカルト（Ｘ，Ｙ）平面内で互いにオフセットされ、樹状突起と軸索との間に接続を提供する。オフセットにより、生物学的な脳における接続の近似をより正確にすることができる。千鳥配列により、電子ニューロンを１つのクロスバー１２に接続させ、交差接合点で軸索、樹状突起、およびシナプスを使用して他のクロスバーに接続されたニューロンと通信することができる。各ニューロンはタイル１２Ｔに対応する。
【００２２】
ネットワーク１０１内のタイル１２Ｔ（および対応するニューロン）はグリッド１２Ｇに編成されるため、必要であればバスに類似したそれらを接続する空間充填曲線を有することが可能である。クロスバー・ネットワーク１０１によって相互接続されたニューロンは、各ニューロンを霖雨する連続通信パス１３を介して接続された規則的格子状に配置構成される。パス１３は、図７の例によって示されるようにすべてのニューロンを接続するバスを画定し、ここで各ニューロンの位置はパス１３上の黒丸によって示されている。図７は、２次元座標系に基づく接続例を提供する。
【００２３】
図８は、４つの構成要素部分に分解された例示的クロスバー・アレイ１２の構成を示す。この例では、タイルは、８つの軸索２４、８つの樹状突起２６、および６４のシナプスの、８ｘ８のクロスバーに対応する。軸索インターフェース・モジュール２４ＡはドライバＸ３を含み、樹状インターフェース・モジュール２６ＡはＸ２およびＸ４ドライバを含む。ニューロン（ニューロン１４など）はクロスバー１２に対応する。図９は、図８の概念的分解に従って分解されたクロスバー１２を備えるネットワーク１０１の一部を示す。
【００２４】
一実施形態では、本発明に従ったニューラル・ネットワークは、千鳥配列されたクロスバー・アレイ１２内に複数の軸索および複数の樹状突起を含むネットワーク回路１０１を備える。各シナプス・デバイスは、樹状突起と軸索との間に結合された相互接続回路の交差接合点のビットを表す、バイナリ状態メモリ・デバイスを備える。千鳥配列されたクロスバー全体が連結（interlink）される。
【００２５】
ＮｘＮのクロスバー１２では、たとえすべてのＮビットがＯＮであっても、保護のために電流が制限され、行全体が並列に読み取り可能であり、ここで予測されるＯＮビットの数はＮ／２である。行（列）全体をリセット（セット）するように試行可能であり、２ビットより多くのビットがリセット（セット）される場合、保護のために電流が制限され、成功しない可能性がある。たとえすべてのＮビットがＯＮであっても、保護のために電流が制限され、列全体が並列に読み取り可能である。予測されるＯＮビットの数はＮ／２である。主要なイベントはニューロンが発火する場合である。これにより、読み取りおよびプログラミングという２つの動作が発生する。読み取り動作の場合、ニューロンによる発火により、発火ニューロンが接続されているすべてのニューロンに対して警報が発せられ、すべての軸索ルータまたはドライバＸ３に送信信号が送信される。各軸索ルータＸ３は、複数の（並列、または部分的に並列の）樹状読み取りをサポートする。プログラミング動作の場合、ニューロンによる発火によってシナプスの変更が発生し、すべての軸索ルータＸ３およびすべての樹状ルータＸ２、Ｘ４に送信信号が送信される。
【００２６】
一実施形態では、クロスバー・アレイ１２において、南西〜北東（ＳＷ−ＮＥ）方向が軸索を表し、南東〜北西（ＳＥ−ＮＷ）方向が樹状突起を表す。軸索接点の回路はＸ３として示され、樹状突起接点の回路はＸ２およびＸ４として示される。各Ｘ４は１ビットのＡＤＣ（感知増幅器）を含み、各Ｘ２はリセットおよびセット回路を含み、各Ｘ３は読み取り回路を含む。本発明は、Ｘ２、Ｘ３、Ｘ４回路およびそれらの駆動に使用される論理の、電力および空間要件の削減を提供する。複数の軸索を並列に読み取るためには、１ビットより多くのＡＤＣが必要である。
【００２７】
感知増幅器デバイスＸ４は、興奮性スパイキング電子ニューロン（Ｎｅ）に流れ込み、これが軸索ドライバ・デバイスＸ３および樹状ドライバ・デバイスＸ２に接続される。一般に、興奮性スパイキング電子ニューロンは、そのターゲット・ニューロンをより発火しやすくする。さらに、抑制性スパイキング電子ニューロン（Ｎｉ）は、そのターゲットをより発火しにくくする。スパイキング電子ニューロンの様々な実装が使用可能である。一般に、こうしたニューロンはカウンタを備え、このカウンタはソース興奮性ニューロンからの入力が受信された場合に増加し、ソース抑制性ニューロンからの入力が受信された場合に減少する。カウンタは、入力とは無関係に「リーク」をシミュレートするために定期的に減分することができる。カウンタが所定のしきい値に到達した場合、ニューロンはそれ独自のスパイクを生成し（すなわち発火し）、カウンタはベースライン値にリセットされる。スパイキング電子ニューロンという用語は、本明細書では「電子ニューロン」と呼ばれる。
【００２８】
この例では、それぞれの興奮性ニューロン（Ｎｅ）は統合および発火を提供するように構成される。各抑制性ニューロン（Ｎｉ）は、全体のネットワーク活動に応じて興奮性ニューロンの活動を規制するように構成される。当業者であれば理解されるように、興奮性ニューロンおよび抑制性ニューロンの正確な数は、本明細書で開示されたアーキテクチャを使用して解決する問題の性質に応じて変更可能である。
【００２９】
本発明の実施形態は、神経形態学的集積回路に関するＳＴＤＰ学習規則に基づいた、スパイキング・ニューロン・ネットワークを含む神経形態学的およびシナプトロニック・ネットワークを備える神経系を提供する。本発明の一実施形態は、相変化メモリ（ＰＣＭ）回路などのナノスケール・メモリ・シナプスを介して互いに対話するＣＭＯＳ電子ニューロンを使用する、スパイク・ベース計算を提供する。
【００３０】
一実施形態では、軸索ドライバ・デバイスＸ３は長いプログラミング・パルスおよび通信スパイクを提供する。樹状ドライバ・デバイスＸ２は、遅延を伴うプログラミング・パルスを提供する。一実施形態では、アナログ論理回路を使用するニューロン回路が実装される場合、対応する感知増幅器Ｘ４は、ＰＣＭ（ＰＣＭはいかなる紹介もなしに作られた）の電流レベルを統合のためにニューロン電流レベルに変換する。本発明の他の実施形態では、ニューロン回路はデジタル論理回路を使用して実装され、対応する感知増幅器Ｘ４はＰＣＭの電流レベルを統合のために２進デジタル信号に変換する。たとえば、短期間（たとえば約０．０５ミリ秒から０．１５ミリ秒および好ましくは約０．１ミリ秒長さ）の読み取りスパイクを、通信用の軸索ドライバ・デバイスＸ３に適用することができる。伸長パルス（たとえば、約１５０ミリ秒から２５０ミリ秒、および好ましくは約２００ミリ秒長さ）を軸索ドライバ・デバイスＸ３に適用することが可能であり、短い負のパルス（たとえば約４５ナノ秒から５５ナノ秒および好ましくは約４５ナノ秒長さ）を、プログラミングのために軸索ドライバ・パルスを介して中途の樹状ドライバ・デバイスＸ２に適用することができる。
【００３１】
ネットワーク１０１はデジタルの同期方式に従って機能する。一実施形態では、時分割多重アクセス方式（ＴＤＭＡ）を使用してイベント駆動型アーキテクチャを提供するために、クロッキング・モジュール１９（図２）が使用される。ＴＤＭＡは、競合または衝突無しに、異なるニューロンを横切って同じクロスバー上で読み取り、セット、リセット、および他の通信を実行することができる。
【００３２】
一例では、ＮｘＮのクロスバー・アレイの場合、任意の軸索または列のＭの要素が読み取り／書き込みできるように、ＭがＮの約数を示すようにする。たとえばＮを１００とし、Ｍを１、２、５、１０、２０、２５、または５０とすることができる。こうしたアレイ上でＴＤＭＡをサポートするために必要なクロック・レートは、ＮおよびＭの関数として変化する。基本的に、あらゆるニューロンの状態を、１／Ｔ  ｋＨｚのクロック・レートに対応するＴミリ秒時間ステップで更新しなければならない。各時間ステップで、各軸索を処理し各樹状突起を処理するものとし、ここでは２Ｎ／Ｔ  ｋＨｚのクロック・レートが必要である。
【００３３】
各軸索または樹状突起の処理は段階を含み、６Ｎ／Ｔ  ｋＨｚのクロック・レートを必要とする。各段階では、すべてのシナプス要素を処理するためにＮ／Ｍの下位段階が必要であり、ここでは（６Ｎ２）／（Ｍ＊Ｔ）ｋＨｚのクロック・レートが必要である。Ｔ＝０．１、Ｎ＝１００、Ｍ＝１０の場合、６０ＭＨｚのクロック・レートとなる。異なるメモリ技術が異なるＮおよびＭの値をサポートする。一例では、ＰＣＭなどの可変状態レジスタはＭ＝１から１０の値をサポートすることができる。スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）などの他のメモリは、Ｍ＝１００または２５６などのより大きな値をサポートすることができる。本発明の実施形態によれば、値Ｔ、Ｎ、Ｍは、低クロック・レートを達成するように選択され、その結果、いくつかのＧＨｚクロック・レートを使用することが可能な従来のコンピュータ・システムを介した大幅な電力節約となる。
【００３４】
ニューロンの状態が更新される時間ステップＴの分解能を低減させることによって、必要なクロック・レートを低下させることができる。たとえば、Ｔ＝０．６、Ｎ＝１００、Ｍ＝１０の場合、これは１０ＭＨｚとなる。
【００３５】
一実施形態では、各ニューロンについてＳのシナプスが存在する。ＳがＮの整数の倍数であると想定すると、各ニューロンは比率Ｓ／Ｎ数のクロスバーから樹状突起入力を受け取る必要があり、その軸索出力をＳ／Ｎクロスバーに送信する。各ニューロンはＳ／Ｎ樹状突起区画およびＳ／Ｎ軸索軸を有する。各樹状突起構成要素はスパイクする場合、ニューロン体細胞構成要素の体細胞にスパイクを送信する。樹状突起構成要素は、電流またはカウントではなく、体細胞にスパイクを送信する。ニューロンはすべての樹状突起区画からの入力を統合して、発火するタイミングを決定する。
【００３６】
ニューロンが発火する場合、そのすべての軸索および樹状突起に信号が送られる。樹状突起区画からニューロンへのこの信号送信は、アドレス・イベント表現の形で実装される。ニューロンおよびクロスバー動作は同期的であるが、ＡＥＲは非同期的である。
【００３７】
千鳥配列されたクロスバー・アレイ・ネットワーク１０１では、本発明の実施形態に従い、各クロスバー内の各軸索は固有の識別（ｕｎｉｑｕｅ＿ｉｄ）を有し、各樹状突起はｕｎｉｑｕｅ＿ｉｄを有する。Ｎ＝１００の場合、タイル２Ｔにおいて、各軸索および樹状突起は以下の相対識別を有することになる。
ｒｅｌａｔｉｖｅ＿ｉｄ＝（ｕｎｉｑｕｅ＿ｉｄ）ｍｏｄ（１００）
【００３８】
ｒｅｌａｔｉｖｅ＿ｉｄの範囲は０から９９である。異なるクロスバーに属するが同じｒｅｌａｔｉｖｅ＿ｉｄを備える２つの軸索が重複接続を有することはなく、異なるクロスバーに属するが同じｒｅｌａｔｉｖｅ＿ｉｄを備える２つの樹状突起が重複接続を有することはない。したがって、同じｒｅｌａｔｉｖｅ＿ｉｄを備えるすべての軸索および樹状突起は、特定の時点で安全に活動化されることができる。このようにして、ＴＤＭＡのメカニズムは、同じｒｅｌａｔｉｖｅ＿ｉｄを有するシステム内のすべての軸索上で同時に動作可能であり、同じｒｅｌａｔｉｖｅ＿ｉｄを有するシステム内のすべての樹状突起上で同時に動作可能である。したがって、軸索上で動作するために、全体が相互接続された交差キルトされたクロスバー・アレイをロックする必要はない。前述の（６Ｎ２）／（Ｍ＊Ｔ）ｋＨｚのクロック・レートは、クロスバー・アレイ・ネットワーク内のクロスバーの数に関係なく使用可能である。
【００３９】
イベント・ベースの確率的ＳＴＤＰ方式が使用され、ここでシナプス・コンダクタンスは、ＳＴＤＰに従い、プレシナプスおよびポストシナプス・ニューロンの相対的なスパイク時間に応じて時間と共に変化することが可能である。ＳＴＤＰ規則は、そのプレシナプス・ニューロンが発火した後にそのポストシナプス・ニューロンが発火する場合、シナプスのコンダクタンスを増加させ、この２つの発火が逆の順序である場合、シナプスのコンダクタンスを減少させる。ＳＴＤＰセットは、樹状突起と、クロスバー・アレイ内の接合点で交差するすべての軸索との間の協働を介して実行される。樹状突起がセット信号を送信する場合、いくつかおよびすべての軸索は対応する信号で確率的に応答することができる。信号が軸索および樹状突起の両方から同時に到達する場合のみ、接合点で接合が設定される。同様にＳＴＤＰリセットは、軸索と、クロスバー・アレイ内の接合点で交差するすべての樹状突起とを介して実行される。
【００４０】
本発明の一実施形態では、クロスバー・アレイ１２内の動作ステップは、図１０に示されたプロセス５０のプロセス・ブロックに従って、（たとえば図２のグローバル・クロック・モジュール１９からの）クロッキング信号に基づく、以下の６つの異なる段階を含む。
ブロック５１：（段階１）対応する軸索および樹状突起に信号を送信するためにニューロンが発火した場合（これは非同期通信とすることができる）、通信信号がＡＥＲを通過するように、ニューロンを更新する。軸索／樹状突起は、後の評価段階で通信信号を受信する。各ニューロンは軸索遅延を実装することができる。
ブロック５２：（段階２）ＳＴＤＰの抑制部分に関する警報としても働く読み取り信号を送信する。
ブロック５３：（段階３）軸索はリセット信号を送信し、所与の樹状突起が確率的に返答する。
ブロック５４：（段階４）樹状突起はセット信号を送信し、所与の軸索が確率的に返答する。
ブロック５５：（段階５）軸索当たりの１つまたは複数の要素２２に基づいてＯＮビット数を読み取る。
ブロック５６：（段階６）樹状突起当たりの１つまたは複数の要素２２に基づいてＯＮビット数を読み取る。
【００４１】
図１１〜図１６は、時分割多重化様式で前述した６つの段階を実装するために、本発明の実施形態に従ったタイル１２ＴのＮｘＮグループ（たとえばＮ＝３）のネットワーク１０１における動作シーケンスを示し、あらゆる軸索および樹状突起を一度に１つずつスキャンするのではなく、いくつかのタイル１２Ｔが同時に活動化される（ボールドの色分けで示される）。
【００４２】
具体的に言えば、図１１は、活動化された軸索の第１のセット２４ａ１で、活動化されたタイル１２Ｔａを示す（たとえば、図に示されるように、活動化された各軸索は３つの隣接タイル１２Ｔを横切る）。図１２は、活動化された軸索の第２のセット２４ａ２で、図１１の活動化されたタイル１２Ｔａを示す。図１３は、活動化された軸索の第３のセット２４ａ３で、図１１の活動化されたタイル１２Ｔａを示す。
【００４３】
同様に、図１４は、活動化された樹状突起の第１のセット２６ａ１で、活動化されたタイル１２Ｔａを示す（たとえば、図に示されるように、活動化された各樹状突起は３つのタイル１２Ｔを横切る）。図１５は、活動化された樹状突起の第２のセット２６ａ２で、図１４の活動化されたタイル１２Ｔａを示す。図１６は、活動化された樹状突起の第３のセット２６ａ３で、図１４の活動化されたタイル１２Ｔａを示す。
【００４４】
６つの段階がすべて等しい時間を使用する必要はなく、それらの動作に対して最適化することができる。一実施形態では、Ｎ＝１００およびＭ＝１０であるため、各段階はＮ２／Ｍ＝１，０００の下位段階を備える。軸索は、１００のシナプスを読み取ることが可能な読み取り信号を通信する。これは、Ｍ＝１０のバッチにおけるシナプスを読み取ることによって実行され、第１のバッチはｒｅｌａｔｉｖｅ＿ｉｄ  ０からｒｅｌａｔｉｖｅ＿ｉｄ  ９までの樹状突起を含み、第２のバッチはｒｅｌａｔｉｖｅ＿ｉｄ  １０からｒｅｌａｔｉｖｅ＿ｉｄ  １９までの軸索を含む、という具合である。同様に、各軸索は１０のバッチにおけるシナプスを読み取ることを含めて順番に実行し、ここで第１のバッチはｒｅｌａｔｉｖｅ＿ｉｄ  ０からｒｅｌａｔｉｖｅ＿ｉｄ  ９までの軸索を含み、第２のバッチはｒｅｌａｔｉｖｅ＿ｉｄ  １０からｒｅｌａｔｉｖｅ＿ｉｄ  １９までの軸索を含む、という具合である。この例では、１００の係数に関して１００の軸索が存在する。
【００４５】
本発明の実施形態によれば、クロッキング方式はクロスバー・ネットワーク／回路内の動作および段階に関する制約を設定する。必要でない限り動作は実行されず、必要に応じて回路は起動する。一例では、ニューロン分解能は０．６ミリ秒であり、これは、毎秒１６６６．６６のステップが存在することを意味する。あらゆるステップは（前述の）６つの段階を含み、結果として合計１０，０００の段階が生じる。あらゆる段階は１００ｘ１０の下位段階を含み、結果として１０ＭＨｚのクロック・レートを必要とする、１秒当たり合計１０００万の下位段階が生じる。
【００４６】
一実施形態では、各樹状突起および各軸索は、およそ５０％のシナプスがＯＮであることを保証するようにそのＳＴＤＰをローカルに適合する。これは、好ましい臨界状態である。さらに軸索ルータは塑性であり、再ルーティング可能である。一実施形態では、抑制性樹状突起を使用することができる。
【００４７】
クロスバー・アーキテクチャは、シナプス用の特定のデバイス選択とは無関係である。たとえば、１０ｘ、１００ｘ、または１０００ｘの、より抵抗性の高いＰＣＭデバイス（電流抵抗は１０ｋオームである）をシナプスとして使用することができる。シナプスに関する他のメモリ技術も使用可能である。可変状態レジスタという用語は、電気パルス（電圧または電流）の印加がデバイスの電気的コンダクタンス特徴を変化させることになるデバイスのクラスを言い表すものである。クロスバー・アレイの神経形態学的およびシナプトロニック・システムについての一般的な考察、ならびにこうしたクロスバー・アレイで使用される可変状態レジスタについては、K.Likharevによる「Hybrid CMOS/NanoelectronicCircuits:Opportunities and Challenges」、J.Nanoelectronicsand Optoelectronics、２００８年、Vol.3、２０３〜２３０ページを参照している。本発明の一実施形態では、可変状態レジスタはＰＣＭシナプス・デバイスを含むことができる。ＰＣＭデバイスに加えて、本発明の実施形態で使用可能な他の可変状態レジスタ・デバイスは、K.Likharevによる上記参照論文により詳細に説明されているように、金属酸化物、硫化物、酸化ケイ素、および非晶質シリコンを使用して作られたデバイス、磁気トンネル接合、フローティング・ゲートＦＥＴトランジスタ、ならびに有機薄膜層デバイスを含む。可変状態レジスタは、スタティック・ランダム・アクセス・メモリ・デバイス、ダイナミック・ランダム・アクセス・メモリ、または埋め込み型ダイナミック・ランダム・アクセス・メモリを使用して構築することも可能である。
【００４８】
一実施形態では、グローバル・ビットは、クロスバーが「配備」モードにあるかどうか、または「トレーン（train）」モードにあるかどうかを示す。配備モードにある場合、前述の段階１のみが使用され、トレーニングに関する残りの段階は使用されないため、電力消費が節約される。トレーン・モードではすべての段階が使用される。
【００４９】
本発明の一実施形態では、ネットワークは、基本原子単位として、Ｎによって千鳥配列された、タイル１２ＴのＮｘＮ（たとえばＮ＝１０）アレイを含む。クロスバー・アレイはタイル１２Ｔ間にスペースを提供し、それらの間に回路（たとえば図８の２４Ａ、２６Ａ、１４）を配置することが可能である。一例では、１つの空間には１つの回路のみが配置される。あらゆる軸索ルータＸ３は０からＮ−１までを列挙し、あらゆる樹状ルータＸ２、Ｘ４は０からＮ−１までを列挙する。各ニューロンは（ｘ，ｙ）ｉｄを有する。各軸索ルータＸ３は、（ｘ，ｙ）ｉｄを有する。樹状ルータＸ２、Ｘ４は、その関連付けられたニューロンと同じｉｄを有する。ニューロンからシナプスへの通信は論理的である。シナプスからニューロンへの通信は物理的である。したがって、軸索は分散されるが樹状突起は局所的である。
【００５０】
本発明の一実施形態では、複数のクロスバー・アレイ１２を備える回路１０１において、あらゆるＮｘＮクロスバー・アレイ１２はｉｄを有し、一例ではこれが２組の（ｘ，ｙ）を含み、ここでｘは０からＮ−１までを列挙し、ｙは０からＮ−１までを列挙する。あらゆる時間ステップで、同じｉｄを備えるすべてのクロスバー・アレイをＯＮにすることができる。ＯＮクロスバー・アレイでは、プロセスは軸索０からＮ−１、または樹状突起０からＮ−１を通る。クロック・レートは、千鳥配列されたクロスバー・アレイが１つだけの場合と同じままである。クロック・レートの一例は１０  ＭＨｚである。
【００５１】
一実施形態では、クロスバー・アレイ内の「警報」パルスにダイオードを使用することができる。他の実施形態では、各ＮｘＮのクロスバー・アレイ１２について、「警報」パルスに副次通信（side communication）メカニズムが使用されるため、ダイオードの必要性はなくなる。ダイオードは、ＯＮであるデバイスの合計数を学習するために使用可能である。これには、すべてのニューロン膜をオンにすること、それぞれの樹状突起に電圧を印加すること、および電流量を決定することが含まれる。
【００５２】
一実施形態では、ニューロンは０．１ミリ秒に１回のみ更新され、すなわちＴ＝０．１である。したがってイベント駆動様式では、ニューロン・ラッチによる電力消費量は以下のように表され、
Ｃ＊Ｖ２＊Ｆ＝１０ｆＦ／ラッチ＊（１０６ラッチ）＊（１ボルト）２＊（１＊１０４Ｈｚ）
＝０．１ｍＷ
上式で、Ｃはラッチ・キャパシタンス、Ｖは動作電圧、およびＦは動作周波数である。
【００５３】
一実施形態では、各ニューロンはクロスバー・アレイ１２内の１０００のシナプスと相互接続する。１０Ｈｚの発火レートで、各シナプスは毎秒１メッセージのみを受信し、シナプス・ラッチによって消費される電力は以下の通りである。
Ｃ＊Ｖ２＊Ｆ＝１０ｆＦ／ラッチ＊（１０６＊１０３ラッチ）＊（１ボルト）２＊（１＊１０Ｈｚ）＝０．１ｍＷ
【００５４】
これにより、ニューロンとシナプスの電力消費の間でバランスが取れた設計が提供される。
【００５５】
一実施形態では、回路はゲート付きクロックを使用し、基本的に電力を消費しない。ニューロンは、アクティブであるべき理由がある場合にアクティブとなり、それ以外ではニューロンは電力をほとんどまたはまったく消費しない。一例では、シナプス読み取りイベントは、以下のような電力消費を含む。
１０６＊１０３＊１０＊１０ｐＪ（ＰＣＭ＋アクセス・デバイスの場合）＝０．１Ｊ／秒、すべての読み取りイベントについて０．１Ｗを示す
【００５６】
一実施形態では、シナプス書き込みイベントは以下のような電力消費を含む。
１０６＊１０３＊１０＊１００ｐＪ／１０＝０．１Ｊ／秒、書き込みイベント当たり０．１Ｗを示す（１０イベントにつき１のみであることが、確率的ＳＴＤＰによるプログラミングにつながる）
【００５７】
したがって、一実施形態では、それぞれが１００万ニューロンおよび１０億シナプスを含む１０，０００チップの場合、電力消費は１ｋＷである。この消費にはシステム・リークは含まれない。
【００５８】
一実施形態では、デジタル・アナログ混合設計ニューロンは、デジタル蓄積カウンタおよびリーク用のアナログＲＣ回路を含む。さらに他の実施形態では、真のイベント駆動様式で必然的に実装可能なアナログ・ニューロンが使用される。
【００５９】
一実施形態では、千鳥配列されたクロスバー・アレイ・ネットワーク１０１は、隣接するニューロンが重複野を有するように、各ニューロンについて受容野（receptive field）および射影野（projective field）を提供する。ニューロンの受容野は、ニューロンがそこからの入力を受容するニューロンのセットを含む（たとえばニューロンの受容野は、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを含む）。ニューロンの射影野は、ニューロンがそこへ出力を送信するニューロンのセットを含む（たとえばニューロンの射影野は、千鳥配列パターンのＮｘＮの相互接続されたクロスバー回路タイルを含む）。千鳥配列された接続により、ニューロンの空間的位置に応じた受容野および射影野の設計が可能になる。各ニューロンは（ｘ，ｙ）座標を有する。（ｘ，ｙ）にある第１のニューロンから（ｘ＋１，ｙ＋１）にある第２のニューロンへ移動する場合、射影／受容野は生物学的ニューロンの射影／受容野に似た所定の重複を有する。
【００６０】
一実施形態では、不規則なクロスバー・アレイ・ネットワーク１０１が使用可能である。たとえば、パラメータＭがＮより大きい、Ｍ＝１５およびＮ＝１０などの場合、所定数の軸索または樹状突起を１０未満となるように変更すること、および所定数を１０より大きくなるように（ただし１６未満）変更することが可能であるため、不規則な受容および射影野が提供される。
【００６１】
一実施形態では、連結されたクロスバー・アレイ１２のグローバル・ネットワーク１０１に対して同期化が使用される。一例では、グローバル・ネットワーク１０１をＮ２ｘＮ２サイズのブロックに分割することができる。アレイ１２のそれぞれに、別々に非同期アクセスが提供され、アクティブである必要のない軸索および樹状突起を横切るＴＤＭＡの必要がなくなる。各クロスバー・アレイ１２は、ニューロンへのＡＥＲマッピングと同様に対処される。
【００６２】
一実施形態では、クロスバー・サイズを２倍にすることが可能であるが、約７５％のシナプスはマスク・ステップを使用して体系的に消去される（永続的にオープンとなる）。これにより、受容野に不規則性が与えられる。
【００６３】
一実施形態では、同期化が必要な場合にクロックが使用され、ここでニューロン・リーク（減衰）を同期化する必要はない。
【００６４】
本明細書で使用される電子ニューロンという用語は、生物学的ニューロンをシミュレートするように構成されたアーキテクチャを表す。電子ニューロンは、生物学的な脳のニューロンと概ね機能的に等価の処理要素間の接続を生成する。したがって、本発明の実施形態に従った電子ニューロンを備える神経形態学的およびシナプトロニック・システムは、生物学的ニューロンをモデルとする様々な電子回路を含むことが可能である。さらに、本発明の実施形態に従った電子ニューロンを備える神経形態学的およびシナプトロニック・システムは、生物学的ニューロンをモデルとする様々な処理要素（コンピュータ・シミュレーションを含む）を含むことが可能である。本明細書では、本発明の所定の例示的実施形態について、電子回路を備える電子ニューロンを使用して説明しているが、本発明は電子回路に限定されるものではない。本発明の実施形態に従った神経形態学的およびシナプトロニック・システムは、アナログまたはデジタルの回路を備える神経形態学的およびシナプトロニック・アーキテクチャとして、ならびにコンピュータ・シミュレーションとして実装可能である。実際には、本発明の実施形態は、完全にハードウェア実施形態、完全にソフトウェア実施形態、またはハードウェアおよびソフトウェアの両方の要素を含む実施形態の形を取ることができる。
【００６５】
本発明の実施形態は、コンピュータ、処理デバイス、または任意の命令実行システムによって、あるいはこれらに関連して使用するためのプログラム・コードを提供する、コンピュータ使用可能またはコンピュータ読み取り可能媒体からアクセス可能な、コンピュータ・シミュレーションまたはプログラム製品の形を取ることができる。当業者であれば理解されるように、本発明の態様はシステム、方法、またはコンピュータ・プログラム製品として具体化することができる。したがって、本発明の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいは本明細書ではすべてを全体として「回路」、「モジュール」、または「システム」と呼ぶことのできるソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取ることができる。さらに本発明の態様は、その上に具体化されたコンピュータ読み取り可能プログラム・コードを有する１つまたは複数のコンピュータ読み取り可能媒体内に具体化された、コンピュータ・プログラム製品の形を取ることができる。
【００６６】
１つまたは複数のコンピュータ読み取り可能媒体の任意の組み合わせが使用可能である。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体またはコンピュータ読み取り可能記憶媒体とすることができる。コンピュータ読み取り可能記憶媒体は、たとえば電子、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、あるいはそれらの任意の好適な組み合わせとすることができるが、それらに限定されるものではない。コンピュータ読み取り可能記憶媒体のより特定の例（非網羅的リスト）には、１本または複数本のワイヤを有する電気接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上記の任意の好適な組み合わせが含まれる。本書との関連において、コンピュータ読み取り可能記憶媒体は、命令実行のシステム、装置、またはデバイスによって、あるいはそれらに関連して使用するためのプログラムを含むかまたは格納することが可能な、任意の有形媒体とすることができる。
【００６７】
コンピュータ読み取り可能信号媒体は、たとえばベースバンド内または搬送波の一部としてその中に具体化されたコンピュータ読み取り可能プログラム・コードを備えた、伝搬データ信号を含むことが可能である。こうした伝搬信号は、電磁、光、またはそれらの任意の好適な組み合わせを含むがこれらに限定されない、多様な形のいずれかを取ることができる。コンピュータ読み取り可能信号媒体は、コンピュータ読み取り可能記憶媒体ではなく、命令実行のシステム、装置、またはデバイスによって、あるいはそれらに関連して使用するためのプログラムを、通信、伝搬、または移送することが可能な、任意のコンピュータ読み取り可能媒体とすることができる。
【００６８】
コンピュータ読み取り可能媒体上に具体化されるプログラム・コードは、無線、有線、光ファイバ・ケーブル、無線周波数（ＲＦ）など、またはそれらの任意の好適な組み合わせを含むが、これらに限定されない、任意の適切な媒体を使用して伝送することができる。本発明の態様に関する動作を実行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および、「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで作成することができる。プログラム・コードは、完全にユーザのコンピュータ上で、スタンドアロン型ソフトウェア・パッケージのように部分的にユーザ・コンピュータ上で、部分的にユーザのコンピュータ上および部分的にリモート・コンピュータ上で、または、完全にリモート・コンピュータまたはサーバ上で、実行することができる。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介して、ユーザのコンピュータに接続することが可能であるか、あるいは外部コンピュータに（たとえばインターネット・サービス・プロバイダを使用してインターネットを介して）接続することが可能である。
【００６９】
本発明の態様について、本発明の実施形態に従った方法、装置（システム）、およびコンピュータ・プログラム製品の流れ図あるいはブロック図またはその両方を参照しながら、以下で説明する。流れ図あるいはブロック図またはその両方の各ブロック、および、流れ図あるいはブロック図またはその両方におけるブロックの組み合わせが、コンピュータ・プログラム命令によって実装可能であることを理解されよう。これらのコンピュータ・プログラム命令は、汎用コンピュータ、特定用途向けコンピュータ、またはマシンを製造するための他のプログラマブル・データ処理装置の、プロセッサに提供可能であるため、結果として、コンピュータまたは他のプログラマブル・データ処理装置のプロセッサを介して実行する命令が、流れ図あるいはブロック図またはその両方のブロック内に指定された機能／動作を実装するための手段を作成することになる。
【００７０】
これらのコンピュータ・プログラム命令は、特定の様式で機能するように、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイスに指示することが可能な、コンピュータ読み取り可能媒体内にも格納可能であるため、結果としてコンピュータ読み取り可能媒体内に格納された命令が、流れ図あるいはブロック図またはその両方のブロック内に指定された機能／動作を実装する命令を含む製品を製造することになる。
【００７１】
コンピュータ・プログラム命令は、コンピュータ実施プロセスを作成するために、コンピュータ、他のプログラマブル装置、または他のデバイス上で一連の動作ステップを実行させるために、コンピュータ、他のプログラマブル・データ処理装置、または他のデバイス上にロードすることも可能であるため、結果としてコンピュータまたは他のプログラマブル装置上で実行する命令が、流れ図あるいはブロック図またはその両方のブロック内に指定された機能／動作を実装するためのプロセスを提供することになる。
【００７２】
図１７は、本発明の一実施形態を実装するために有用な情報処理システムを示す、高水準ブロック図である。コンピュータ・システムは、プロセッサ１０２などの１つまたは複数のプロセッサを含む。プロセッサ１０２は通信インフラストラクチャ１０４（たとえば通信バス、クロスオーバ・バー、またはネットワーク）に接続される。
【００７３】
コンピュータ・システムは、グラフィックス、テキスト、および他のデータを、通信インフラストラクチャ１０４から（または図示されていないフレーム・バッファから）ディスプレイ・ユニット１０８上に表示するために転送する、ディスプレイ・インターフェース１０６を含むことができる。コンピュータ・システムは、メイン・メモリ１１０、好ましくはランダム・アクセス・メモリ（ＲＡＭ）も含み、２次メモリ１１２も含むことができる。２次メモリ１１２は、たとえばハード・ディスク・ドライブ１１４、あるいは、たとえばフレキシブル・ディスク・ドライブ、磁気テープ・ドライブ、または光ディスク・ドライブを表す、取り外し可能記憶ドライブ１１６、またはその両方を含むことができる。取り外し可能記憶ドライブ１１６は、当業者に良く知られた様式で、取り外し可能記憶ユニット１１８からの読み取りあるいは取り外し可能記憶ユニット１１８への書き込み、またはその両方を実行する。取り外し可能記憶ユニット１１８は、取り外し可能記憶ドライブ１１６によって読み取られ、書き込まれる、たとえばフレキシブル・ディスク、コンパクト・ディスク、磁気テープ、または光ディスクなどを表す。理解されるように、取り外し可能記憶ユニット１１８は、内部に格納されたコンピュータ・ソフトウェアあるいはデータまたはその両方を有する、コンピュータ読み取り可能媒体を含む。
【００７４】
代替実施形態では、２次メモリ１１２は、コンピュータ・プログラムまたは他の命令をコンピュータ・システム内にロードできるようにするための他の同様の手段を含むことができる。こうした手段は、たとえば取り外し可能記憶ユニット１２０およびインターフェース１２２を含むことができる。こうした手段の例は、（ビデオ・ゲーム・デバイス内に見られるような）プログラム・パッケージおよびパッケージ・インターフェース、（ＥＰＲＯＭまたはＰＲＯＭなどの）取り外し可能メモリ・チップおよび関連付けられたソケット、ならびにソフトウェアおよびデータを取り外し可能記憶ユニット１２０からコンピュータ・システムへ転送することが可能な他の取り外し可能記憶ユニット１２０およびインターフェース１２２を含むことができる。
【００７５】
コンピュータ・システムは、通信インターフェース１２４を含むこともできる。通信インターフェース１２４は、コンピュータ・システムと外部デバイスとの間でソフトウェアおよびデータを転送させることができる。通信インターフェース１２４の例は、モデム、（イーサネット・カードなどの）ネットワーク・インターフェース、通信ポート、またはＰＣＭＣＩＡスロットおよびカードなどを含むことができる。通信インターフェース１２４を介して転送されるソフトウェアおよびデータは、たとえば通信インターフェース１２４によって受信可能な電子、電磁、光、または他の信号とすることが可能な、信号の形である。これらの信号は、通信パス（すなわちチャネル）１２６を介して通信インターフェース１２４に提供される。この通信パス１２６は信号を搬送し、ワイヤまたはケーブル、光ファイバ、電話回線、携帯電話リンク、ＲＦリンク、あるいは他の通信チャネル、またはそれらすべてを使用して実装可能である。
【００７６】
本書では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ読み取り可能媒体」という用語は、メイン・メモリ１１０および２次メモリ１１２、取り外し可能記憶ドライブ１１６、およびハード・ディスク・ドライブ１１４内にインストールされたハード・ディスクなどの媒体を、全体として言い表すために使用される。
【００７７】
コンピュータ・プログラム（コンピュータ制御論理とも呼ばれる）は、メイン・メモリ１１０あるいは２次メモリ１１２またはその両方に格納される。コンピュータ・プログラムは、通信インターフェース１２４を介しても受信可能である。こうしたコンピュータ・プログラムは、実行された場合、本明細書で考察された本発明の機能をコンピュータ・システムに実行させることができる。特にコンピュータ・プログラムは、実行された場合、コンピュータ・システムの機能をプロセッサ１０２に実行させることができる。したがって、こうしたコンピュータ・プログラムはコンピュータ・システムのコントローラを表す。
【００７８】
図面内の流れ図およびブロック図は、本発明の様々な実施形態に従ったシステム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。この点で、流れ図またはブロック図内の各ブロックは、指定された論理機能を実装するための１つまたは複数の実行可能命令を備える、モジュール、セグメント、またはコードの一部を表すことができる。いくつかの代替実装では、ブロック内に示された機能は図内に示された順序とは異なる順序で実行可能であることにも留意されたい。たとえば、関与する機能に応じて、連続して示される２つのブロックを実際にはほぼ同時に実行することが可能であるか、または時にはブロックを逆の順序で実行することが可能である。ブロック図あるいは流れ図またはその両方の各ブロック、およびブロック図あるいは流れ図またはその両方におけるブロックの組み合わせが、指定された機能または動作、あるいは特定用途向けのハードウェアおよびコンピュータ命令の組み合わせを実行する、特定用途向けハードウェア・ベース・システムによって実装可能であることにも留意されたい。
【図１】
0005607835.tif 000002
【図２】
0005607835.tif 000003
【図３】
0005607835.tif 000004
【図４】
0005607835.tif 000005
【図５】
0005607835.tif 000006
【図６】
0005607835.tif 000007
【図７】
0005607835.tif 000008
【図８】
0005607835.tif 000009
【図９】
0005607835.tif 000010
【図１０】
0005607835.tif 000011
【図１１】
0005607835.tif 000012
【図１２】
0005607835.tif 000013
【図１３】
0005607835.tif 000014
【図１４】
0005607835.tif 000015
【図１５】
0005607835.tif 000016
【図１６】
0005607835.tif 000017
【図１７】
0005607835.tif 000018