(57)【要約】  本発明の実施の形態は、パーセプトロンネットワーク（図９）及びニューラルネットワーク（図８）を含む並列分散型動的計算ネットワーク及びシステムを構成するために、ナノワイヤ間にメモリスティブ接続（１１０２）を含む動的ナノスケールデバイスを用いる。本発明の多くの実施の形態では、ニューロン様計算デバイス（２００２）が、シリコンベースのマイクロスケール及び／又はサブマイクロスケールのコンポーネントから構成され、ナノワイヤ（１１０４、１１０６）及びナノワイヤ間のメモリスティブ接続（１１０２）からなる動的相互接続によって互いに相互接続される。人間の脳を含む多くの超並列分散型動的コンピューティングシステムでは、ニューロン様計算ノードよりもはるかに多くの相互接続が存在し得る。これらの接続に動的ナノスケールデバイスを使用すると、設計効率、空間効率、エネルギー効率、及び計算効率が飛躍的に高まる。【選択図】図２０
2010525447.tif 000002
【特許請求の範囲】
【請求項１】
計算ノード（２００２）であって、
メモリスティブナノワイヤ接合部（１１０２）を通じて１つ又は複数の入力提供計算ノードに接続された入力信号線（２００６〜２００９）と、
前記メモリスティブナノワイヤ接合部（１１０２）を通じて１つ又は複数の出力受信計算ノードに接続された出力信号線（２０１２）と、
前記入力信号線及び前記出力信号線を通じて受信された入力信号を積分するリーク積分器（２０３０）と、
リーク積分器出力をしきい値（２０３４）と比較するしきい値処理器（２０３２）と、
クロック入力（２００４）と、
受信したしきい値処理器出力及び前記クロック入力に基づいて、状態遷移（１９０４、１９０８、１９１１、１９１４）を指示し、計算ノードスパイク信号（１６２２、１６２４及び１６２６、１６２８）を生成する状態マシン（２０２４）
を備える、計算ノード。
【請求項２】
前記入力信号線、前記出力信号線を、入力提供ノード、出力受信ノードにそれぞれ接続する前記メモリスティブナノワイヤ接合部のコンダクタンス（１１０８）は、前記計算ノードを含む計算ノードネットワークのエッジ重み（１３０６）を表し、
前記スパイク信号は、前記出力信号線上で出力される前方スパイク（１６２２、１６２４）、及び前記入力信号線上で出力される後方スパイク（１６２６、１６２８）を含み、
前記前方スパイクの各々は、ほぼ等しい時間間隔にわたって、ほぼ等しい大きさであるが逆極性である電圧パルスを含み、３位相サイクルの第１の位相に一方（１６２６）があり、第２の位相に他方（１６２８）があり、
前記後方スパイクの各々は、等しくない時間間隔にわたって、ほぼ等しい大きさであるが逆極性である電圧パルスを含み、３位相サイクルの第２の位相に一方（１６２６）があり、第３の位相に他方（１６２８）がある、請求項１に記載の計算ノード。
【請求項３】
前記状態遷移は、
静止処理モード（１９０２）、
アクティブ処理モード（１９０６）、
静止スパイク前モード（１９１０）、及び
スパイクモード（１９１２）
からなる４つの状態間の遷移を含む、請求項１に記載の計算ノード。
【請求項４】
前記ノードは、電源投入時に前記静止処理モード状態（１９０２）に入り、前記しきい値処理器出力が、積分された入力信号が前記しきい値未満であることを示すときは、前記アクティブ処理モード状態（１９０６）から前記静止処理モード状態（１９０２）に入り、スパイク信号の生成の後は前記スパイクモード状態（１９１２）から前記静止処理モード状態（１９０２）に入り、
前記静止処理モード状態では、前記計算ノードは、入力提供ノード及び出力受信ノードからの受信信号を積分する、請求項３に記載の計算ノード。
【請求項５】
前記ノードは、グローバルクロックチックを受信すると、前記静止処理モード状態（１９０２）から前記アクティブ処理モード状態（１９０６）に入り、
前記アクティブ処理モード状態（１９０６）では、前記計算ノードは、前記しきい値処理器からの出力に基づいて、前記しきい値処理器出力が、積分された入力信号が前記しきい値未満であることを示すときに前記静止処理モード状態（１９０２）に遷移して戻るのか、又は、前記静止スパイク前モード状態（１９１０）に遷移するのかを決定する、請求項３に記載の計算ノード。
【請求項６】
前記ノードは、前記しきい値処理器出力が、積分された入力信号が前記しきい値以上であることを示すときは、前記アクティブ処理モード状態（１９０６）から前記静止スパイク前モード状態（１９１０）に入り、
前記静止スパイク前モード状態では、前記計算ノードは、スパイク信号を生成する準備をする、請求項３に記載の計算ノード。
【請求項７】
前記ノードは、該ノードによる次のグローバルクロック信号の受信の後に前記静止スパイク前モード状態（１９１０）から前記スパイクモード状態（１９１２）に入り、
前記スパイクモード状態（１９１２）では、前記計算ノードは、スパイク信号を生成し、前記リーク積分器出力を前記しきい値を負にした値に設定し、前記静止処理モード状態（１９０２）に遷移して戻る、請求項３に記載の計算ノード。
【請求項８】
請求項１に記載の計算ノードから実施される計算ノードネットワークであって、
入力信号線（図８の「入力１」〜「入力９」）と、
１つ又は複数の出力信号線（図８の「出力」）と、
１つ又は複数の計算ノード層（８０２〜８０５、８０８〜８０９、８１２）であって、各層が複数の計算ノードを備える、１つ又は複数の計算ノード層
を備える、計算ノードネットワーク。
【請求項９】
中間レベルのノード（３０１０）が、先行ノード入力信号線（３００８）を下位レベルノード出力信号線（３００４）に接続するメモリスティブナノワイヤ接合部（３００６）を通じて下位レベルのノード（３００２）に接続され、前記先行ノード入力信号線は、該中間レベルのノードの第１のバイアに接続され、
中間レベルのノード（２９１０）が、抑制性入力信号線（２９０８）を同レベルノード出力信号線（２９０４）に接続するメモリスティブナノワイヤ接合部（２９０６）を通じて抑制性信号を送信する同レベルのノード（２９０２）に接続され、前記抑制性入力信号線は、該中間レベルのノードの第２のバイアに接続され、
中間レベルのノード（２８１０）が、興奮性入力信号線（２８０８）を同レベルノード出力信号線（２８０４）に接続するメモリスティブナノワイヤ接合部（２８０６）を通じて興奮性信号を送信する同レベルのノード（２８０２）に接続され、前記興奮性入力信号線は、該中間レベルのノードの第３のバイアに接続され、
中間レベルのノード（３００２）が、該中間レベルのノードの出力信号線（３００４）を次レベルノードの先行ノード入力信号線（３００８）に接続するメモリスティブナノワイヤ接合部（３００６）を通じて次レベルのノード（３０１０）に接続され、前記出力信号線は、該中間レベルのノードの第４のバイアに接続される、請求項８に記載の計算ノードネットワーク。
【請求項１０】
前記計算ノードは、単一のシリコンベースの層（２６４０、２６４４、２６５０、２６５２）で実施され、前記複数のノード層と等しい数のナノワイヤ接続層によって階層的に相互接続される、請求項８に記載の計算ノードネットワーク。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、さまざまなタイプの接続ベースの並列で動的な分散処理ネットワークの設計及び実施に関し、特に、計算ノード間の接続として動的ナノデバイスを用いる接続ベースの並列分散型動的ネットワークの設計及び実施に関する。
【背景技術】
【０００２】
コンピューティングの歴史の初期において、コンピュータ科学者は、人間の脳を含む生体コンピューティング構造に興味を持つようになった。逐次命令処理エンジンは、過去５０年間、プロセッサ速度及び部品密度の非常に大きな向上により、極めて急速に技術的発展を遂げており、これらの進歩には、マスストレージデバイス及びランダムアクセスメモリの容量及びアクセス速度のさらに大きな向上が伴ってきた。また、逐次命令処理エンジンに基づく現代のコンピュータシステムは、非常に大きな効用をもたらし、デジタルコンピュータの開発前には想像されなかった新しい産業全体を引き起こしてきた。しかし、最大規模で最速の分散コンピュータシステム及びネットワークであっても、一見簡単に見える多くの問題にまだ効果的に対処することができない。ありふれた一例が、写真及びビデオ画像の解釈である。人間は、多くの場合は１秒の何分の１かで、写真を一目見て、その２次元の写真によって表された物体、物体間の相互関係、及び物体の空間構造を正確に解釈することができるが、このような写真画像の解釈は、最も巧妙なアルゴリズムを実行する最大規模のコンピュータシステムの能力を超えている。
【０００３】
広範囲の研究努力が、人間の脳の構造及び機能の調査に費やされてきた。このような生体システムの基本的な計算エンティティの多くは、マイクロスケールの寸法においてだけでなく分子レベルにおいても生理学的に特定され特徴付けられている。例えば、ニューロン（神経）は、多くはまだ突き止められていないままだが、人間の脳内で信号処理及び信号伝送を担当する細胞のタイプであり、比較的良く理解されよく特徴付けられている。ニューロンの機能のこの理解によって、人工知能のニューラルネットワーク及びパーセプトロンネットワークのサブ分野を含むコンピュータサイエンスの多くの分野が生み出されてきた。パターン認識、複雑な現象の原因の診断、さまざまなタイプの信号処理及び信号雑音除去、並びに他の用途を含むさまざまな異なる用途に対処するために、ニューラルネットワークの多くの成功したソフトウェア実装が開発されてきた。しかしながら、人間の脳は構造的な観点からは超並列であり、このような並列性はソフトウェア実装及びニューラルネットワークによってシミュレーションすることができるが、それらのシミュレーションは、必然的に１つ又は比較的少数の逐次命令処理エンジン上で動作し、むしろコンピューティングシステム内の物理的な並列性を活用するので、一般にプロセッサーサイクルによる限界がある。このように、ニューラルネットワークは、雑音に対する耐性、学習能力、及び他の望ましい特性を提供することができるが、現在のところ、超並列生体計算構造の極めて高速且つ高帯域幅のコンピューティング能力を提供していない。
【０００４】
製造された物理的なデバイスにおいて生体計算構造の極めて高速且つ高帯域幅のコンピューティング能力を達成するには、計算ノードの超並列相互接続ネットワーク上で計算タスクを実行する必要がある。物理的なニューラルネットワークを実施するための多くの異なる手法が提案されてきたが、それらの実施は、これまでのところ、比較的単純な生体構造の速度、並列性、及び計算能力にも達していない。加えて、超並列ハードウェアの設計及び製造は、多数の動的接続の信頼することができる製造、サイズ及び電力の制約条件、放熱、信頼性、プログラム可能であることを含む柔軟性、並びに他の多くのこのような考慮すべき事項を含む多数の異なる実際的な問題をはらんでいる。しかしながら、解決法を見つけることができるか否かが明らかではない多くの理論的問題とは異なり、人間の脳を含む計算生体構造が存在し、見事な計算妙技を規則的に行っているという事実は、同様の計算能力及び計算効率を有する計算装置を設計し構築するという目標が完全に可能であることを示唆していよう。人工知能、生体知能、並びにコンピュータサイエンス及び情報科学内の多種多様な異なる分野に注目しているコンピュータ科学者、ハードウェア設計者、及び研究者は皆、人間の脳及び他の計算生体構造内で起こる超並列分散動的処理のタイプに適した新しい物理的なハードウェアデバイスを開発する必要性を認識している。
【発明の概要】
【０００５】
本発明の実施の形態は、パーセプトロンネットワーク及びニューラルネットワークを含む並列分散動的計算ネットワーク及びシステムを構成するために、ナノワイヤ間にメモリスティブ（memristive）接続を含む動的ナノスケールデバイスを用いる。本発明の多くの実施の形態では、ニューロン様計算デバイスが、シリコンベースのマイクロスケール及び／又はサブマイクロスケールの部品から構成され、ナノワイヤ及びナノワイヤ間のメモリスティブ接続を備える動的相互接続によって互いに相互接続される。人間の脳を含む多くの超並列分散動的コンピューティングシステムでは、ニューロン様計算ノードよりもはるかに多くの相互接続が存在し得る。これらの接続に動的ナノスケールデバイスを使用する結果、設計効率、空間効率、エネルギー効率、及び計算効率は非常に大きくなる。
【図面の簡単な説明】
【０００６】
【図１】ニューロンの一般化された定型図を示す。
【図２】ニューロンのより抽象的な表現を示す。
【図３】電気化学勾配及び信号の制御及びそれらへの反応を行い且つニューロン出力信号発火をトリガするのに使用される、ニューロンの外膜における異なるタイプの電気化学勾配及びチャネルを示すニューロン細胞の抽象的表現である。
【図４Ａ】ニューロン発火を示す。
【図４Ｂ】ニューロン発火を示す。
【図５】動的なシナプス強化現象のモデルを示す。
【図６】典型的なニューラルネットワークノードを示す。
【図７Ａ】活性化関数の１つの例を示す。
【図７Ｂ】図７Ａとは異なる活性化関数の１つの例を示す。
【図８】単純な３レベルニューラルネットワークを示す。
【図９】「パーセプトロンネットワーク」と呼ばれる特別なタイプの単一ノード層ニューラルネットワークを示す。
【図１０】図９に示すパーセプトロンネットワークのトレーニングデータを示す。
【図１１Ａ】現在利用可能な技術によって製造することができるナノワイヤ接合部のメモリスティブ特性を示す。
【図１１Ｂ】現在利用可能な技術によって製造することができるナノワイヤ接合部のメモリスティブ特性を示す。
【図１２Ａ】メモリスティブナノワイヤ接合部によって接続されている２つの信号線に印加される電圧信号に関する、経時的なメモリスティブナノワイヤ接合部のコンダクタンスを示す。
【図１２Ｂ】メモリスティブナノワイヤ接合部によって接続されている２つの信号線に印加される電圧信号に関する、経時的なメモリスティブナノワイヤ接合部のコンダクタンスを示す。
【図１２Ｃ】メモリスティブナノワイヤ接合部によって接続されている２つの信号線に印加される電圧信号に関する、経時的なメモリスティブナノワイヤ接合部のコンダクタンスを示す。
【図１２Ｄ】メモリスティブナノワイヤ接合部によって接続されている２つの信号線に印加される電圧信号に関する、経時的なメモリスティブナノワイヤ接合部のコンダクタンスを示す。
【図１２Ｅ】メモリスティブナノワイヤ接合部によって接続されている２つの信号線に印加される電圧信号に関する、経時的なメモリスティブナノワイヤ接合部のコンダクタンスを示す。
【図１３】動的エッジによって接続された２つの計算ノードの抽象的モデルを示す。
【図１４】Ｓｓｉ及びＳｓｏに対する、時間に関するエッジ重みの変化率のプロットを示す。
【図１５】計算ノードの数学モデルを示す。
【図１６】本発明の一実施形態を表す計算ノードによって生成されるスパイク、すなわち出力信号を示す。
【図１７】「処理モード」と呼ばれる休止状態、すなわち非スパイク状態における、本発明の一実施形態を表す計算ノードを示す。
【図１８】スパイクモードにおける本発明の一実施形態を表す、図１７の計算ノードを示す。
【図１９】本発明の一実施形態を表す計算ノードの状態遷移図を示す。
【図２０】本発明の一実施形態を表す計算ノードの概略図を示す。
【図２１】計算ネットワーク内の本発明の一実施形態を表す計算ノードを示す。
【図２２】本発明の一実施形態によるエッジをトラバースする（横切る）前方スパイク及び後方スパイクに起因するエッジ重み遷移を示す。
【図２３】本発明の一実施形態による合計された入力信号に対する反応として、経時的な計算ノードの状態を表すリーク積分器（leaky-integrator：漏洩積分器ともいう）の出力を示す。
【図２４】パターン認識及び他のさまざまな計算タスクでの使用に適し且つ本発明の一実施形態を表す例示的な計算ノードネットワークを示す。
【図２５】パターン認識及び他のさまざまな計算タスクでの使用に適し且つ本発明の一実施形態を表す例示的な計算ノードネットワークを示す。
【図２６Ａ】本発明の一実施形態を表す、図２４及び図２５に示すような多層計算ノードネットワークのハードウェア実装例を示す。
【図２６Ｂ】本発明の一実施形態を表す、図２４及び図２５に示すような多層計算ノードネットワークのハードウェア実装例を示す。
【図２６Ｃ】本発明の一実施形態を表す、図２４及び図２５に示すような多層計算ノードネットワークのハードウェア実装例を示す。
【図２７】本発明の一実施形態による、図２６Ａ〜図２６Ｃに示すアーキテクチャに従って製造された計算ノードネットワークの一部の真横から見た図を示す。
【図２８】本発明の一実施形態を表す計算ノードネットワークにおけるノード間の３つの異なるタイプの接続の１つを示す。
【図２９】本発明の一実施形態を表す計算ノードネットワークにおけるノード間の３つの異なるタイプの接続の１つを示す。
【図３０】本発明の一実施形態を表す計算ノードネットワークにおけるノード間の３つの異なるタイプの接続の１つを示す。
【図３１】問題領域について計算ノードネットワークにより生成された所望の出力を示す。
【図３２】本発明の一実施形態を表す実験用計算ノードネットワークを示す。
【図３３】本発明の一実施形態のデフォルトネットワークパラメータを含む表を示す。
【図３４】本発明の一実施形態を表す、５００００００サイクルの間クロック駆動された、欠陥のないデバイス不変の（device-invariant：デバイスに依存しない）ネットワークの受容野を示す。
【図３５】本発明の一実施形態による図３２に示すネットワークの右下の象限の進展を示す。
【図３６】本発明の一実施形態による欠陥及びデバイスのばらつきに対するネットワーク感度の実験結果を示す。
【発明を実施するための形態】
【０００７】
本発明の実施形態は、パーセプトロンネットワーク及びニューラルネットワークを含む、計算ノードの並列分散型の動的ネットワークの物理的な実施を提供する。以下の第１のサブセクションでは、ニューロンが、人工知能及び並列ハードウェア設計における多くの取り組みに対するモデル及び目標を提供してことから、生体ニューロンを再検討する。次のサブセクションでは、人工ニューラルネットワーク及びパーセプトロンネットワークの概要を説明する。第３のサブセクションでは、本発明の一実施形態を表す基本的なニューロン様計算ノードについて説明する。第４のサブセクションでは、本発明のニューロン様計算ノードに基づくと共に本発明の追加の実施形態を表す、さまざまな並列分散型動的計算システムのアーキテクチャについて説明する。最後に、第５のサブセクションでは、初期の実験結果を提供する。
【０００８】
生体ニューロン
ニューロンは、動物の脳に見られる細胞の一タイプである。ニューロンは、基本的な生体計算エンティティそのものではないにしても、その１つと考えられている。人間の脳は、およそ１０００億（１０１１）個のニューロン及びニューロン間のおよそ１００兆個（１０１４）個の相互接続を含むと見積もられている。人間の脳におけるニューロン間の非常に多くの相互接続は、生体コンピューティングの超並列性と直接に相関していると考えられている。
【０００９】
各ニューロンは単一の細胞である。図１は、ニューロンの一般化され定型化された図を示す。ニューロン１０２は、細胞体１０４と、細胞体１０４から放射状に伸びる樹状突起１０８等の多数の分岐した樹状突起と、一般に１つの非常に長い軸索１１０とを含む。細胞体１０４は、細胞核１０６と、ミトコンドリアを含むさまざまな細胞小器官とを含む。軸索は、多くの分岐した延長部１１２で終端する。一般に、樹状突起は、他のニューロンからの信号を受信するための拡大されたニューロン表面積を提供する一方、軸索は、そのニューロンから他のニューロンへ信号を送信する働きをする。軸索の末端分岐１１２は、樹状突起と相互作用し、他のニューロンの細胞体とはそれほど多く相互作用しない。単一のニューロンは、１０００００個もの異なる信号入力を受信することができる。同様に、ニューロンは、数十個、数百個、さらには数千個もの下流側ニューロンへ信号を送信することができる。ニューロンは、所与の個体内で、樹状突起及び末端軸索延長部の数及び分岐の程度に関して、並びに体積及び長さに関して、非常に異なる。例えば、軸索は、長さが１ミリメートルよりかなり小さいものから１メートルを超えるものまでの範囲に及ぶ。軸索の長さ及び接続性のこの柔軟性によって、脳内の信号経路の階層的カスケード（階層的縦続接続）と、信号経路及びカスケードの極めて複雑な接続ベースの構成とが可能になる。
【００１０】
図２は、ニューロンのより抽象的な表現を示す。ニューロンは、一般に、入力２０４等の複数の入力から入力信号を受信すると共に、入力の時間的特性及び空間的特性に応じて、出力信号２０６を発火することによりしきい値強度よりも大きな強度の入力刺激に反応するノード２０２であると考えることができる。換言すれば、ニューロンは、しきい値処理器及び信号生成／信号出力メカニズムと組み合わさった非常に複雑な入力信号積分器と考えることができる。信号積分器が、限られた時間期間にわたってノード表面の十分に小さなエリア内で十分な数の入力信号を蓄積すると、ニューロンは、出力信号を発火することによって応答（反応）する。
【００１１】
上述したように、所与のニューロンによって受信される入力信号は、他のニューロンの末端軸索分岐とその所与のニューロンの樹状突起との間のシナプス接合によってその所与のニューロンに接続された当該他のニューロンの出力信号により生成される。ニューロン間のこれらのシナプス、すなわち接続は、動的に調整される接続強度、すなわち重みを有する。接続強度、すなわち重みの調整は、学習及び記憶の双方に大きく寄与すると考えられており、脳内の並列計算の重要な部分を表す。
【００１２】
ニューロンの機能は、複雑な電気化学的勾配及びイオンチャネルから導出され、及び、それらに依存する。図３は、電気化学的勾配及び信号の制御及びそれらへの応答を行い、かつニューロン出力信号発火をトリガするのに使用される、ニューロンの外膜における異なるタイプの電気化学的勾配及びチャネルを示すニューロン細胞の抽象的表現である。図３では、ニューロンは、球状の膜に囲まれた細胞３０２として表されており、その中身３０４は、チャネル３１０等のさまざまなタイプのチャネルを含む二重壁の疎水性膜３０８によって外部環境３０６から分離されている。このさまざまなタイプのチャネルは、ニューロンの内部と外部環境との間に制御されたケミカル（化学）コミュニケーションを提供する。
【００１３】
ニューロンの特性を主に担っているチャネルは、外部環境からニューロン内へ及び／又はニューロンの内部から外部環境への特定の無機イオンの移送を可能にする選択性の高いイオンチャネルである。特に重要な無機イオンには、ナトリウムイオンＮａ＋、カリウムイオンＫ＋、カルシウムイオンＣａ２＋、及び塩素イオンＣｌ−が含まれる。イオンチャネルは、一般に、常時開いているわけではないが、さまざまなタイプの刺激に反応して選択的に開閉される。電位開口型（または電位依存性）チャネルは、ニューロン膜の両端の電圧又は電界に応じて開閉する。他のチャネルは、機械的応力によって選択的に開閉され、さらに他のタイプのチャネルは、神経伝達物質を含む一般に小分子の有機化合物であるリガンド（配位子）の結合及び放出に反応して開閉する。イオンチャネルの振る舞い及び反応はさらに、キナーゼ及びホスファターゼを含むさまざまな酵素によって実行される、いくつかの官能基のイオンチャネルタンパク質への付加及びそれらの官能基のイオンチャネルタンパク質からの除去によって制御及び変更することができる。これらのさまざまな酵素は、さらに、さまざまなタイプの化学信号カスケードによって制御される。
【００１４】
一般に、休止状態、すなわち非発火状態では、外部環境のイオン（すなわち、ナトリウムイオン、塩素イオン、及びカリウムイオン）３１８の濃度に対して、ニューロン内部は、ナトリウムイオン３１２の濃度が相対的に低く、塩素イオン３１４の濃度がそれに対応して低く、カリウムイオン３１６の濃度が相対的に高い。休止状態では、ニューロン膜の両端に有意な４０〜５０ｍＶの電気化学的勾配が存在し、膜の内部は、外部環境に対して電気的に負である。電気化学的勾配は、能動的Ｎａ＋−Ｋ＋ポンプチャネル３２０によって主に生成される。この能動的Ｎａ＋−Ｋ＋ポンプチャネル３２０は、アデノシン三リン酸の形態の化学エネルギーを使用して、外部環境からニューロンの内部へ持ち込まれる２つのカリウムイオン毎に、ニューロンの内部から外部環境へ放出される３つのナトリウムイオンを絶えず交換する。また、ニューロンは、カリウムイオンがニューロンの内部から外部環境へと逆方向に漏出できるようにする受動的Ｋ＋漏洩チャネル３１０も含む。これによって、カリウムイオンは、イオン濃度勾配及び電気的勾配に関して平衡になることが可能になる。
【００１５】
ニューロン発火、すなわちスパイクは、ニューロン膜の局所的脱分極によってトリガされる。換言すれば、細胞膜両端の通常は負の電気化学的勾配が崩壊すると、その結果、出力信号がトリガされる。ニューロン発火を表すニューロン膜の波状の大域的脱分極は、ナトリウムイオンが、Ｎａ＋−Ｋ＋ポンプチャネル３２０によって事前に確立された電気化学的勾配の下方のニューロンの内部に入ることができるようにする電位開口型ナトリウムチャネル３２４によって促進される。ニューロン発火は、短い活性のパルスを表し、それに続いて、ニューロンは、発火前のような状態に戻り、この状態で、ニューロン膜両端の通常の負の電気化学的勾配が再び確立される。発火に続くニューロン膜両端の電気化学的勾配の再確立を促進するために、電位開口型カリウムチャネル３２６が、細胞膜脱分極に応答して開き、化学的カリウムイオン勾配の下方へのカリウムイオンの流出を可能にする。ニューロン膜の局所的脱分極によって開かれた電位開口型カリウムチャネル３２４は、開いた状態では不安定であり、電位開口型カリウムチャネル３２６及びＮａ＋−Ｋ＋チャネル／ポンプ３２０の双方の動作によって、不活性化状態に比較的急速に移行し、負の膜電位が再び確立されることを可能にする。
【００１６】
ニューロン膜の脱分極は、ニューロン細胞膜の小さな局所的領域で始まり、軸索の下方の軸索末端分岐までを含むニューロン細胞全体にわたって波状的に広がる。軸索末端分岐における脱分極によって、エキソサイトーシス３２８による電位開口型神経伝達物質放出がトリガされる。「シナプス前ニューロン」と呼ばれる発火ニューロンの軸索末端分岐と、「シナプス後ニューロン」とそれぞれが呼ばれる信号受信ニューロンの樹状突起との間のシナプス領域内への軸索末端分岐による神経伝達物資の放出の結果、シナプス後細胞の樹状突起上のレセプターによる放出された神経伝達物質の結合が起こり、その結果、シナプス前ニューロンからシナプス後ニューロンへ信号が送信される。シナプス後ニューロンでは、神経伝達物質開口型イオンチャネル３３０及び３３２への伝達物質の結合の結果、興奮性入力信号及び抑制性入力信号がそれぞれ生じる。ナトリウムイオンをニューロン３３０内に取り込む神経伝達物質開口型イオンチャネルは、シナプス領域に近接するニューロン膜の局所的脱分極に寄与し、したがって、興奮性信号を提供する。これとは対照的に、神経伝達物質活性化塩素イオンチャネル３３２は、負に帯電した塩素イオンをニューロン細胞内に取り込み、その結果、膜両端の通常の休止した負の電圧勾配が回復されるか又は強化され、したがって、局所化された膜脱分極が抑制され、抑制性信号が提供される。神経伝達物質放出は、ニューロン内へのカルシウムの流入を可能にする電位開口型カルシウムイオンチャネル３２９によっても促進される。
【００１７】
Ｃａ２＋活性化カリウムチャネル３３４は、ニューロン内のカルシウムイオンの増加をもたらす高頻度の膜脱分極及び信号発火に続く、膜の脱分極を減少させる働きをする。長期間の間絶え間なく刺激を受けてきたニューロンは、したがって、刺激に対して反応しにくくなってくる。初期のカリウムイオンチャネルは、ニューロン発火に必要とされるしきい値刺激に近い刺激レベルでのニューロン発火レベルを低減する働きをする。これによって、しきい値刺激領域の辺りのオールオアナッシングタイプのニューロン反応が防止され、代わりに、ニューロンの刺激の範囲に対応するニューロン発火の頻度の範囲が提供される。ニューロン発火の大きさは、一般に一定であり、出力信号強度は、ニューロン発火の頻度に反映する。
【００１８】
ニューロンの別の興味深い特徴は長期増強である。シナプス後膜が強く脱分極されたときにシナプス前細胞が発火すると、シナプス後細胞は、シナプス前ニューロンからの後続の信号に対してより良く反応するようになる場合がある。換言すれば、シナプス前ニューロン発火及びシナプス後ニューロン発火が、接近した時間で発生すると、相互接続の強度、すなわち重みが増加する場合がある。
【００１９】
図４Ａ及び図４Ｂは、ニューロン発火を示す。図４Ａにおいて、休止状態ニューロン４０２は、膜４０４の両端に負の電圧勾配を示す。休止ニューロンが、神経伝達物質媒介信号入力４０６を受信すると、ニューロン膜の小領域４０８は、抑制性信号入力を上回る刺激性信号入力の十分なアクセスを受け取って、ニューロン膜の小領域４０８を脱分極させることができる。この局所的脱分極は、電位開口型ナトリウムチャネルを活性化して、ニューロン膜を横切り軸索下方に広がる波状の大域的脱分極を生成し、ナトリウムイオンがナトリウムイオン濃度勾配に沿ってニューロンに入ると、ニューロン膜両端の電圧勾配を一時的に反転する。電圧勾配の反転は、ニューロンを発火させる、すなわちスパイク状態にする。この状態では、上述したように、軸索の末端分岐は、神経伝達物質信号をシナプス内へ放出し、シナプス後ニューロンに信号を送る。電位開口型ナトリウムチャネルは、急速に不活性化し、電位開口型カリウムチャネルが開き、休止状態の負の電圧勾配が急速に回復される（４１２）。図４Ｂは、スパイク又は発火中のニューロン膜上のポイントにおける電圧勾配反転を示す。一般に、電圧勾配は、負であるが（４２０）、ニューロン発火又はスパイク及び軸索下方の軸索の末端分岐への出力信号の伝搬を表す波状の膜脱分極中に一時的に反転する（４２２）。
【００２０】
図５は、動的なシナプス強度現象のモデルを示す。図５は、横軸５０４に沿ってΔｔとしてプロットされたシナプス前スパイクとシナプス後スパイクとの間の時間差に対する、縦軸５０２に関してプロットされたシナプス強化Ｆのプロットである。シナプス前ニューロンが、接近した時間ではあるが、シナプス後ニューロンの発火前に発火すると、シナプス強化の量は、比較的高く、縦軸の左側のプロット曲線５０６の急勾配で増加する部分によって表される。Ｆのプロットのこの部分はヘッブ学習（Hebbian learning）に対応する。このヘッブ学習では、シナプス後ニューロン及びシナプス前ニューロンの発火の相関関係が、シナプス強化につながる。これとは対照的に、シナプス前ニューロンが、シナプス後ニューロンの発火直後に発火したときは、縦軸の右側のプロット曲線の急勾配で上昇する曲線部分５０８によって表されるように、シナプス強度は弱められる。シナプス前ニューロン及びシナプス後ニューロンの発火が時間的に相関していないとき、換言すれば、Δｔの大きさが大きいときは、原点からの距離が増加するほど横軸に近づくプロット曲線の部分によって表されるように、シナプスの強度は大きな影響を受けない。シナプス強度に基づく系（システム）が経時的に安定であるためには、曲線の右側部分の上のエリア５１０によって表される、シナプス前ニューロン発火とシナプス後ニューロン発火との相関関係に対するシナプス弱化応答（反応）が、プロット曲線の左側部分の下のエリア５１２によって表される、シナプス前ニューロン発火とシナプス後ニューロン発火との間の相関関係によるシナプス強化よりも大きいことが必要である。そうでない場合、シナプス強度は、時間の経過に伴い最大強度に向かうことになろう。
【００２１】
要約すれば、ニューロンは、しきい値処理機能（または閾値化機能）及び出力信号生成機能と組み合わさって幾分漏れのある入力信号積分器（leaky input-signal integrator：リーク入力信号積分器）として働く。ニューロンは、ニューロンの興奮性刺激が増加するにつれて頻度を増加させて発火するが、時間の経過に伴い、一定の高い刺激に対するニューロンの応答は低下する。ニューロン間のシナプス、すなわち接合部は、シナプス前ニューロン発火とシナプス後ニューロン発火との相関関係によって強化される場合もあるし、弱められる場合もある。加えて、シナプス強度及びニューロン刺激は共に、刺激を増強しないと、時間の経過と共に減衰する。ニューロンは、高度に分岐した樹状突起及び軸索末端分岐並びに軸索の長さによってサポートされるニューロン間の極めて高密度の接続の結果として、生物有機体内の超並列ニューラルネットワークに基本的な計算ユニットを提供する。
【００２２】
ニューラルネットワーク及びパーセプトロンネットワーク
人工知能の一分野とみなされるニューラルネットワークは、当初は生体の信号処理及び計算をシミュレーションして利用しようとすることが動機であったが、十分に有効であり役立つことが判明したので、研究者及び開発者は、現在、ハードウェアでニューラルネットワークを直接構築しようと試みているだけでなく、ニューラルネットワークのソフトウェア実施を促進するための特殊化されたハードウェアプラットフォームも開発している。ニューラルネットワークは、本質的には、計算相互接続ノードのネットワークである。図６は、典型的なニューラルネットワークノードを示す。ニューラルネットワークノードが、図２に示すニューロンのモデルを連想させることは驚くべきことではない。ニューラルネットワークノード６０２は、個数ｎの有向リンク（directed link）６０５〜６０８からの入力に加えて、特殊リンクｊ０からの入力も受信し、軸索分岐のように分岐する場合がある出力リンク６１０上に出力信号を生成して、複数の異なる下流側ノードへ信号を送信する。有向入力リンク６０５〜６０８は、ニューラルネットワークの上流側ノードの出力信号若しくは出力信号からの分岐であるか、又は、第１レベルのノードの場合には、ニューラルネットワークへの或るタイプの入力に由来する。上流側ノードはそれぞれ活性化に関連付けられ、活性化は一定の実施態様では０から１の範囲に及ぶ。各入力リンクは、重みに関連付けられている。したがって、図６に示すニューラルネットワークノードｉは、活性化
【００２３】
【数１】
2010525447.tif 000003
【００２４】
を有するｎ個の上流側ニューラルネットワークノードからｎ個の入力ｊ１，ｊ２，…，ｊｎを受信し、各入力ｊ１，ｊ２，…，ｊｎは、現在の重み
【００２５】
【数２】
2010525447.tif 000004
【００２６】
に関連付けられている。換言すれば、活性度はノードの特性であり、重みはノード間のリンクの特性である。ニューラルネットワークノードｉは、受信された重み付き入力信号から活性化ａｉを計算し、計算された活性化ａｉに対応する信号を出力信号線６１０上に出力する。図６に示すように、
【００２７】
【数３】
2010525447.tif 000005
【００２８】
となる。ここで、ｇ（）は非線形活性化関数である。図７Ａ及び図７Ｂは、活性化関数の２つの異なる例を示す。特殊入力信号線ｊ０は、固定された活性化
【００２９】
【数４】
2010525447.tif 000006
【００３０】
を有する内部バイアスを表す。この内部バイアスに関連付けられた重み
【００３１】
【数５】
2010525447.tif 000007
【００３２】
は、ノードのしきい値を設定するのに使用される。実際の入力信号線ｊ１，ｊ２，…，ｊｎから入力された重み付き活性化の合計が、
【００３３】
【数６】
2010525447.tif 000008
【００３４】
のバイアス重みを超えていると、ニューロンは活動状態にある。図７Ａに示す第１の活性化関数ｇ（）は、ハードしきい値を表す一方、図７Ｂに示す第２の活性化関数ｇ（）は、ソフトしきい値を提供する。
【００３５】
図８は、単純な３レベルニューラルネットワークを示す。このニューラルネットワークは、４つの入力ノード８０２〜８０５、２つの中間ノード８０８及び８０９、及び最高レベルの出力ノード８１２を含む。入力ノード８０２〜８０５は、それぞれニューラルネットワークへの１つ又は複数の入力を受信し、それぞれ、中間ノード８０８及び８０９の１つ以上へと内部接続、すなわちエッジを通って送られる出力信号を生成する。次に、中間ノードは、それら中間ノードを出力ノード８１２に接続するエッジへの出力信号を生成する。信号がエッジに沿って入力ノードから出力ノードに向けて一方向のみに向けて送られるニューラルネットワークは、「フィードフォワードネットワーク」と呼ばれ、信号が高レベルのノードから低レベルのノードへと伝搬することを可能にする図８のエッジ８１４及び８１５等のフィードバックエッジを含むニューラルネットワークは、「回帰ネットワーク」と呼ばれる。対応する任意の個数のノードをニューラルネットワークに含めることができると仮定すると、多層ニューラルネットワークを、任意の次元及び複雑度の一般的な非線形関数を表すのに使用することができる。
【００３６】
図９は、「パーセプトロンネットワーク」と呼ばれる特殊なタイプの単一ノード層ニューラルネットワークを示す。パーセプトロンネットワークは、すべての入力が出力ノードに直接接続されたニューラルネットワークである。パーセプトロンネットワークは、さまざまなパターン認識タスクに使用される。しかしながら、パーセプトロンネットワークは、線形分離関数（linearly separable function）しか表すことができない。
【００３７】
一般に、ニューラルネットワークは、最初に、既知の予測出力に関連付けられたサンプル入力値をそれらニューラルネットワークに与えることによってトレーニングされる。ニューラルネットワークのエッジに関連付けられた重みは、トレーニングセッション中に調整されて、トレーニングセッションの最後に、ニューラルネットワークが、サンプル入力データのそれぞれについて予測出力にできるだけ近い出力を生成するようにされる。例えば、図１０は、図９に示すパーセプトロンネットワークのトレーニングデータを示す。このトレーニングデータは、ｍ個のデータサンプルを含み、それぞれは、一組の入力値ｘ１，ｘ２，…，ｘ６と、パーセプトロンネットワークが、関連付けられた入力値の入力の結果として生成すると予測される一組の予測出力Ｅ（ｙ１），Ｅ（ｙ２），及びＥ（ｙ３）とを含む。
【００３８】
パーセプトロンネットワークをトレーニングするには、予測出力と生成された出力との間の不一致の度合いを反復的に最小にする必要がある。例えば、出力ｉに関する誤差Ｅｉを、
【００３９】
【数７】
2010525447.tif 000009
【００４０】
としてモデル化することができる。ここで、Ｅ（ｙｉ）は予測出力であり、ｙｉはパーセプトロンノードｎｉからの観測された出力である。この誤差モデルによって、以下のように、ノードｉを入力ｘｊと接続する入力エッジｊの重みに関して、出力ｉに関連付けられた誤差Ｅｉの偏導関数の数式の計算が可能になる。
【００４１】
【数８】
2010525447.tif 000010
【００４２】
次に、これによって、以下のアルゴリズムにより、トレーニングセッション中に、パーセプトロンネットワークのエッジに割り当てられた初期デフォルト重みを調整することが可能になる。
【００４３】
【数９】
2010525447.tif 000011
【００４４】
このアルゴリズムでは、或る収束パラメータが満たされるか又は最大反復回数が実行されるまで重みは絶えず調整される。１行目〜１５行目のｄｏループの各反復において、各サンプルデータが考慮され、さらに３行目〜１４行目の内側のｆｏｒループにおいて考慮される。各データサンプルについて、６行目〜１３行目の内側のｆｏｒループでは、各ノードへのすべてのリンクの重みが、１１行目に示すように、重みに関する観測誤差の計算された偏導関数に基づいて調整される。項「α」は、学習アルゴリズムのトレーニングレート（トレーニング率）である。この技法は、本質的には、観測出力に対する予測出力の二乗誤差を反復的に低減する勾配降下を表す。マルチノードレベルニューラルネットワークは、これよりもわずかに複雑なアルゴリズムでトレーニングすることができ、該アルゴリズムでは、誤差は、ノード層間を前方方向及び後方方向の双方に伝搬される。
【００４５】
ニューラルネットワークは、トレーニングされると、一般に複雑な非線形関数を実施して、出力信号を生成することにより入力信号に応答する。ニューラルネットワークを、断続的又は連続的に再トレーニングすることもでき、それにより、時間の経過と共に、ニューラルネットワークによって表される複雑な非線形関数は、それまでの信号処理経験を反映する。
【００４６】
本発明のさまざまな実施形態を表す、ニューラルネットワーク、パーセプトロンネットワーク、及び他の並列分散型動的ネットワークのノードの物理的なノード実装
現在までのほとんどのニューラルネットワークベースのシステムは、本質的に、ニューラルネットワークの挙動をソフトウェアシミュレーションしたものである。ノードは、データ構造及び付随するルーチンとして実施され、ノード及びエッジ重みは、従来の逐次命令実行形式で反復的に更新される。その結果、ニューラルネットワークの多くの役立つ特性を利用することができるが、ニューラルネットワークは、人間の脳を含む真の並列コンピューティングシステムで得られる計算速度を提供しない。その上、エッジ重みのダイナミクス及びリーク積分を含むニューロン様機能のシミュレーションは、特に逐次形式で繰り返し実行されると、計算的にかなり高価になる場合がある。
【００４７】
この理由により、さまざまな異なる実施方策及び材料を使用して物理的なニューラルネットワークを構築する多くの試みがなされてきた。しかしながら、今日まで、どの物理的な実装も、単純な生体信号処理構造の速度及び計算効率にさえ近づいていない。多数の動的接続を設けるという問題、さまざまな製造及び組み立ての制約の問題、放熱に関する問題、信頼性に関する問題、及び他の多くの問題がある。
【００４８】
本発明の実施形態は、ニューラルネットワークやパーセプトロンネットワークなどの、接続された計算ノードのネットワークを構成するための新しい手法を対象とする。本発明のさまざまな実施形態は、ナノワイヤ接合のメモリスティブ特性を利用する。従来の論理回路の製造にとっての頭痛の種を代表するナノワイヤ接合のメモリスティブ特性は、ニューラルネットワーク、パーセプトロンネットワーク、並びに、相互接続された計算ノードを備える他の並列分散型動的処理ネットワークにおける動的エッジに必要な特性であることが分かっている。したがって、比較的単純に製造されたナノスケールナノワイヤ接合（部）は、プログラミング又はアルゴリズム計算の必要なく、ナノスケールサイズで動的エッジに機能性（または動的エッジ用の機能）を提供する。ノード間の接続数は、人間の脳を含む、ほとんどの自然に発生する信号処理構造及び計算構造におけるノード数を大きく超えるので、計算ノードのハードウェアネットワークを実施するのに使用される接続は、小さく、容易に製造することができ、且つエッジに必要な物理的特性に近い固有の物理的特性を有することが望ましく、その場合には、接続の動的性質をハードウェアへとプログラミングする必要も、ハードウェアベースの論理回路によってシミュレーションする必要もない。
【００４９】
図１１Ａ及び図１１Ｂは、現在利用可能な技法によって製造することができるナノワイヤ接合部のメモリスティブ特性を示す。図１１Ａは、単一のナノワイヤ接合部を示す。ナノワイヤ接合部は、第１の入力ナノワイヤ１１０４と第２の出力ナノワイヤ１１０６との間の接合部にメモリスティブ材料の１つ又は複数の層１１０２を備える。電流は、一定の電流範囲及び電圧範囲内では、以下の電流モデルに従う。
【００５０】
【数１０】
2010525447.tif 000012
【００５１】
ここで、ｗは接合部の状態変数であり、Ｇ（ｗ）は接合部のコンダクタンスであり、ｖは接合部の両端に印加される電圧である。時間に関する状態変数の変化率は、現在時刻における状態変数の値及びナノワイヤ接合部に印加される電圧の双方の関数である。
【００５２】
【数１１】
2010525447.tif 000013
【００５３】
メモリスティブ材料の導電性を表す単一の状態変数ｗによってモデル化されるある部類のナノワイヤ接合部について、時間に関する状態変数、すなわち導電性、の変化率は、
【００５４】
【数１２】
2010525447.tif 000014
【００５５】
として近似することができる。ここで、Ｋ及びＭは、０から最大値ｗｍａｘまでの｜ｗ｜の値の範囲については定数である。この範囲外では、ｄｗ／ｄｔは、０であると想定される。図１１Ｂは、この数式のプロットを示す。図１１Ｂの実線の曲線１１０８は、Ｋ及びＭの想定された特定の値についての上記数式のプロットを示す。時間に関する導電性の変化率は、異なるタイプの接合材料では、図１１Ｂに破線でプロットされた鏡像の曲線１１１０をたどる場合もあるし、他のより複雑な非線形関数によって変動する場合もある。しかしながら、一般的には、ナノワイヤ接合部のメモリスティブな振る舞いは、コンダクタンスが印加電圧に関して明らかに非線形であるような振る舞いである。電圧０の辺りの小電圧範囲１１１６における接合部の両端の正極性又は負極性のいずれかの小さな印加電圧は、接合材料の導電性（または導電率）に有意な変化を生じさせないが、この範囲外では、正極性の印加電圧が次第に大きくなると、その結果、接合材料の導電性の増加率が次第に大きくなり、一方、負極性の電圧が次第に大きくなると、その結果、接合材料の導電性の変化率は急激に減少する。ナノワイヤ接合デバイスのコンダクタンスは、接合材料の導電性に比例する。
【００５６】
メモリスティブナノワイヤ接合部のコンダクタンスの変化について上記で説明したモデルは、メモリスティブナノワイヤ接合部のコンダクタンスと印加電圧との間の関係のうちの１つの可能なタイプの関係しか表していないことが強調されるべきである。本発明の実施形態を表す計算ノード及び計算ノードネットワークの実施態様は、上記で説明した数学モデルに対応するコンダクタンスと印加電圧との間の関係には依存せず、所与の時間期間ｔの間、接合部の両端に１Ｖを印加することによって引き起こされるコンダクタンスの変化が、同じ時間ｔの間、接合部の両端に２Ｖを印加することによって引き起こされるコンダクタンスの変化よりもかなり小さいということ、及び、第１の極性の印加電圧によって引き起こされるコンダクタンスの変化が、第２の極性の印加電圧とは逆の符号、すなわち逆の方向を有するということのみに依存する。所望のエッジ重み付けモデルを達成するために、異なる極性について時間ｔを調整することができるので、この関係は、上記で説明したモデル関係のようには鏡面対称を有する必要はない。
【００５７】
図１２Ａ〜図１２Ｅは、メモリスティブナノワイヤ接合部によって接続された２つの信号線に印加される電圧信号に関する、メモリスティブナノワイヤ接合部の経時的なコンダクタンスを示す。図１２Ａは、メモリスティブナノワイヤ接合部を記号表現で示す。メモリスティブナノワイヤ接合部１２０２は、「信号線１」と呼ばれる第１の信号線１２０４と、「信号線２」と呼ばれる信号線１２０６とを相互接続する。メモリスタ（memrister）１２０２に印加される電圧Δｖはｖ２−ｖ１である。ここで、ｖ２及びｖ１は、それぞれ、信号線２と信号線１に現在印加されている電圧信号である。図１２Ｂは、或る時間間隔にわたる、信号線１及び２に印加される電圧信号のプロット、並びにメモリスティブデバイスのコンダクタンスを示す。時間は、信号線１、信号線２、及びメモリスティブデバイスについて横方向に沿ってプロットされている。信号線１に現在印加されている電圧信号は、縦軸１２１４に関してプロットされ、信号線２に現在印加されている電圧は、第２の縦軸１２１６に関してプロットされ、メモリスティブデバイスのコンダクタンスは、第３の縦軸１２１８に関してプロットされている。図１２Ｃ〜図１２Ｅはすべて、図１２Ｂで使用されたのと同様の図の規則を使用する。
【００５８】
図１２Ｂに示すように、横線１２１０及び１２１１によって表される定電圧ｖ０が双方の信号線に印加されているときは、メモリスティブデバイスのコンダクタンスは、初期コンダクタンスＧ０  １１２に留まる。図１２Ｃでは、短い正の電圧パルス１２２０が、第１の信号線に印加される。その短いパルスは、メモリスティブ接合部の両端に短時間の負の電位を生成し、その結果、正のパルスの時間間隔にわたってメモリスティブ接合部のコンダクタンスが減少する（１２２２）。図１２Ｄは、信号線１及び２の双方に印加されるいくつかのパルスの影響を示す。第１のパルス１２２４が信号線１に印加された結果、図１２Ｃと同様に、メモリスティブデバイスのコンダクタンスは若干（すなわち、少しだけ）減少する（１２２６）。短時間の負の電圧パルス１２２８が第２の信号線に印加されると、メモリスタのコンダクタンスはさらに、若干減少する（１２３０）。短時間の正のパルスが第２の信号線に印加された結果、メモリスティブデバイスのコンダクタンスは若干増加する（１２３４）。
【００５９】
これまでに示したケースのすべてにおいて、第１の線及び第２の線に印加されたパルスは、時間的に互いから離れており、その結果、双方の信号線上の電圧パルスは、同じ時点では発生しない。したがって、小さな印加電圧は、メモリスティブデバイス材料の導電性の小さな変化率しかもたらさない電圧の範囲（図１１Ｂの１１１６）内に含まれる。一方、図１２Ｅに示すように、逆極性の電圧が２つの信号線に同時に印加されると、その結果、メモリスタの両端に印加される電圧は、小電圧範囲（図１１Ｂの１１１６）の範囲外に含まれ、その結果、導電性の変化率は比較的大きくなる。図１２Ｅでは、正極性の２つの同時の電圧パルス１２４０及び１２４２の結果、メモリスティブ接合部に印加される電圧は変化せず、したがって、メモリスティブデバイスのコンダクタンスは変化しない（１２４４）。一方、第１の信号線上の正のパルス１２４６及び第２の信号線上の負のパルス１２４８が同時に印加されると、その結果、メモリスティブデバイスに負極性の比較的大きな電圧が印加され、その結果、デバイスのコンダクタンスは負に大きく変化する（１２５０）。これとは対照的に、反転した極性の同時パルス１２５２及び１２５４の結果、デバイスのコンダクタンスは比較的大きく増加する（１２５６）。メモリスティブデバイス材料の導電性／電圧曲線が、図１１Ｂに破線の曲線によって表される逆の導電性変化の振る舞いを有することなるか、又は、Δｖを計算するための電圧規則の方向が反転された場合、図１２Ｂ〜図１２Ｅの導電性変化は、図示したものとは逆の方向を有することになる。
【００６０】
要約すれば、メモリスティブナノワイヤ接合部は、印加電圧の結果として非線形コンダクタンスの変化を示す。メモリスティブナノワイヤ接合部のコンダクタンスは、これまでの印加電圧の履歴を反映し、メモリスティブナノワイヤ接合部の所与の時点におけるコンダクタンスの変化率は、メモリスティブナノワイヤ接合部のコンダクタンスに加えて、その時点の印加電圧の大きさ及び極性に依存する。メモリスティブナノワイヤ接合部は、印加電圧の極性を反映したコンダクタンス変化の符号を有する極性を有する。メモリスティブナノワイヤ接合部は、したがって、ニューラルネットワーク、パーセプトロンネットワーク、又は計算エンティティの他のこのようなネットワークの動的エッジのモデル特性に対応する物理的特性を有する。
【００６１】
図１３は、動的エッジによって接続された２つの計算ノードの抽象モデルを示す。第１の計算ノード１３０２はソースノードｎｓｏであり、第２の計算ノード１３０４はシンクノードｎｓｉであり、これら２つのノードを結合するエッジは、現在の重みｗｓｏ，ｓｉ  １３０６を形成する。時間に関するエッジ重みの変化に対する１つの数学モデルは、
【００６２】
【数１３】
2010525447.tif 000015
【００６３】
である。ここで、Ｓｓｏはソースノードの活性化（または活性度）であり、Ｓｓｉはシンクの活性化（または活性度）であり、τｓは時定数である。上記式から分かるように、時間に関する重みの変化率は、ヘッブ項及び非ヘッブ項の双方を含む。ヘッブ項では、重みは、ソースノード及びシンクノードの双方の活性化の積に比例して増加する。非ヘッブ項は、シンクノードの活性化及び現在のエッジ重みに比例した経時的なエッジ重みの減衰を表す。図１４は、Ｓｓｉ及びＳｓｏに対する、時間に関するエッジ重みの変化率のプロットを示す。図１４において分かるように、ソースノード及びシンクノードの双方の活性化が高いときは、エッジ重みの変化率は、図１４の平坦化したピーク１４０６によって表される大きな正の値である。このピークは、図１４のｄｗ／ｄｔの上側のカットオフ値のために平坦化している。シンクノードの活性化が低いときは、ソースノードの活性化レベルにかかわらず、エッジ重みの変化率は、図１４のＳｓｉ＝０平面におけるプロットされたｄｗ／ｄｔ面１４０７の水平エッジに観測されるように、一定で低く維持される。ソースノードの活性化が低いときは、エッジ重みは、プロットされたｄｗ／ｄｔ面のＳｓｏ＝０平面との交差を表す負の傾斜線１４０８に観測されるように、時間に関して、比較的低い一定の負の変化を有する。このモデルは、前のセクションで説明した所定のニューロンの振る舞いを近似している。シナプス前ニューロン発火及びシナプス後ニューロン発火が時間的に相関しているときは、シナプス強度は増加する。一方、継続した刺激がない場合は、シナプス強度は、時間の経過と共に減衰する。
【００６４】
図１５は、計算ノードの数学モデルを示す。図１５には、ニューラルネットワークの小さな部分が示されている。この小さな部分は、ｎ個の上流側ノード１５０４〜１５０７と相互接続されて、内部ノード状態に比例した出力信号
【００６５】
【数１４】
2010525447.tif 000016
【００６６】
１５１０を生成するノード
【００６７】
【数１５】
2010525447.tif 000017
【００６８】
１５０２から成る。ノード
【００６９】
【数１６】
2010525447.tif 000018
【００７０】
１５０２の内部状態の変化は、
【００７１】
【数１７】
2010525447.tif 000019
【００７２】
としてモデル化することができる。ここで、τｒは、状態減衰項に現れる時定数である。したがって、計算ノードの状態は、合計された重み付き入力信号の或る非線形関数及びノードの現在の状態に比例する負の減衰項として計算される。
【００７３】
本発明の実施形態は、図１３〜図１５を参照して説明した所望のモデル特性と類似の動作特性を提供するメモリスティブナノワイヤ接合部によって相互接続された計算ノードを含む。本発明の実施形態を表す計算ノードは、ハードウェア実装、ナノワイヤメモリスティブ接合部の物理的特性、計算ノードによって放出される信号スパイクの形態、及び計算ノードの状態遷移図によって規定される。本発明の実施形態を表す計算ノードのこれらの態様を次に説明する。
【００７４】
図１６は、本発明の一実施形態を表す計算ノードによって生成されるスパイク、すなわち出力信号を示す。スパイクは、図１６の第１の電圧対時間のプロット１６０２にプロットされた前方スパイクと、第２の電圧対時間のプロット１６０４にプロットされた後方スパイクとを含む。本発明の実施形態を表す計算ノードのネットワークでは、ノードは、グローバルクロックによって同期化される。時間は、図１６の時間軸１６０６によって示すように、一連のサイクルＣ１、Ｃ２、…に分割される。各サイクルは、サイクルＣ４について図１６に示すように、さらに３つのフェーズφ０、φ１、及びφ２  １６１６〜１６１８に分割される。任意の所与のサイクルの期間中、計算ノードは、発火、すなわちスパイクを生じる場合がある。計算ノードは、発火したとき、前方スパイクをその出力（図１５の１５１０）へ送り、反対方向の後方スパイクをすべての上流側ノード（図１５の１５０４〜１５０７）に送る。図１６では、前方スパイク及び後方スパイクを含む計算ノードのスパイクは、サイクルＣ４  １６２０の３つのフェーズ１６１６〜１６１８内にプロットされて示されている。前方スパイクは、フェーズφ０において正の電圧パルス１６２２を含み、フェーズφ１においてそれに等しい大きさの負の電圧パルス１６２４を含む。後方スパイクは、フェーズφ１において正の電圧パルス１６２６を含み、フェーズφ２においてそれより幅の広い負のパルス１６２８を含む。
【００７５】
図１７は、「処理モード」と呼ばれる休止状態、すなわち非スパイク状態中の本発明の一実施形態を表す計算ノードを示す。ノード１７０２は、下流側ノードから出力信号線１７０４上で後方スパイクを受信し、上流側ノードから入力信号線１７０６〜１７０８を介して前方スパイクを受信する。また、ノードは、クロック入力１７１０を介してグローバルクロックチックも受信する。処理モード中、時間に関するノード状態の変化は、次の連続微分方程式：
【００７６】
【数１８】
2010525447.tif 000020
【００７７】
によってモデル化することができる。この方程式は、後方スパイク及び前方スパイクの正の項並びにノード状態の減衰定数を表す負の項を含む。
【００７８】
図１８は、スパイクモードにおける本発明の一実施形態を表す図１７の計算ノードを示す。スパイクモードでは、ノード１７０２は、出力信号線１７０４上に前方スパイクを生成し、入力信号線１７０６〜１７０８上に後方スパイクを生成する。
【００７９】
図１９は、本発明の一実施形態を表す計算ノードの状態遷移図を示す。図１９に示すように、ノードは、電源投入時、最初は静止処理モード１９０２にある。このモードでは、ノードは、上流側ノードから受け取った前方スパイク及び下流側ノードから受け取った後方スパイクを収集して積分（または統合）する。図１９では、状態を表すノードは、第１のスイッチｓｗ１及び第２のスイッチｓｗ２が開いているのか又は閉じているのかの表示を含む。これらのスイッチ状態については、図２０を参照して後述する。
【００８０】
グローバルクロックの各チック時に、ノードは、アクティブ（活動）処理モード１９０６に遷移する（１９０４）。このアクティブ処理モードでは、ノードは、時間の経過に伴って積分された、受け取った重み付き入力の合計をしきい値と比較する。重み付き入力の積分された合計がしきい値よりも小さい場合、ノードは、静止処理モード１９０２に直ちに遷移して戻る（１９０８）。一方、重み付き入力の積分された合計がしきい値を超えている場合は、ノードは、アクティブ処理モード１９０６から静止スパイク前モード１９１０に遷移する。次のクロックチックが受信されると（１９１１）、ノードは、スパイクモード１９１２に遷移し、そのスパイクモード中、ノードは、図１８に示すように、前方スパイク及び後方スパイクを送り、静止処理モード１９０２に遷移して戻る（１９１４）間に、重み付き入力値の積分された合計を負のしきい値に再設定する。
【００８１】
図２０は、本発明の一実施形態を表す計算ノードの概略図を示す。計算ノード２００２は、グローバルクロック入力２００４、及び本質的に任意の個数の、場合によっては分岐した入力２００６〜２００９を受信する。計算ノード２００２は、場合によっては分岐した出力信号線２０１２上に前方スパイクを放射する。入力は、加算増幅器２０１６〜２０１９によって合計され、それら加算増幅器の出力は、グローバル加算増幅器２０２０へ供給される。出力信号線２０１２を通じて受信された後方スパイクは、更なる加算増幅器２０２２によって合計される。状態マシン及び出力信号生成器２０２４は、２つのスイッチｓｗ１  ２０２６及びｓｗ２  ２０２８を制御して、図１９に示す状態遷移図に示すようにスイッチを開閉する。それらのスイッチが両方とも閉じているときは、計算ノードは処理モードにあり、加算増幅器２０２０及び２０２２によって出力された、合計された入力信号がリーク積分器２０３０へ入力される。この積分器の出力は、しきい値比較器２０３２へ供給され、しきい値比較器２０３２は、リーク積分器の出力をしきい値２０３４と比較する。比較値は、信号線２０３６を介して状態マシンへ供給される。比較器の出力信号が０から１に遷移し、入力の累積がしきい値を上回っていることが示されると、状態マシンは、スイッチｓｗ１  ２０２６及びスイッチｓｗ２  ２０２８をそれぞれ開くことによってスパイクモードで信号を発行する準備をする。次に、次のクロックチックがグローバルクロック入力２００４を介して受信されると、状態マシンは、前方スパイク信号の前方スパイク出力信号線２０４０への発行及び後方スパイク信号の後方スパイク出力信号線２０４２への発行をトリガする。前方スパイクは、出力信号線２０１２へ発行され、後方スパイクは、入力信号線２００６〜２００９のすべて又は選択されたサブセットへ発行される。本発明のいくつかの実施形態では、入力２００６等の各入力は、特定の部類の上流側ノードからの一組の入力を表す。入力信号は抑制性の場合があり、その場合は、入力を受信する加算増幅器は、信号を反転することができ、又は、代替的に、入力信号線に関連付けられた重みが負に評価される。入力信号は興奮性の場合があり、その場合は、抑制性信号とは対照的に、興奮性入力に関連付けられた加算増幅器は、反転することなく入力を合計するか、又は、代替的に、入力が正の重みに関連付けられる。
【００８２】
図２１は、計算ネットワーク内の本発明の一実施形態を表す計算ノードを示す。計算ノード２１０２は、グローバルクロック信号２１０４、出力信号線２１０６、及び入力信号線２１１０〜２１１３に接続されている。出力信号線２１０６は、さらに、多数のメモリスティブナノワイヤ接合部２１０８を通じて多数の下流側計算ノードに分岐する。入力信号線２１１０〜２１１３はそれぞれ、さらに、多数のメモリスティブナノワイヤ接合部２１１６〜２１１９を通じて多数の下流側計算ノードに分岐する。当然ながら、用途ごとに、入力信号線の数、上流側ノードへの入力信号線分岐の数、及び下流側ノードへの出力信号線分岐の数は、計算ノードネットワークによって実施される非線形関数に応じて変化し得る。ノードは、入力信号線及び出力信号線上でスパイクの受信と送信の両方を行うことに留意されたい。前方スパイクは入力信号線上で受信され、後方スパイクは出力信号線上で受信される。前方スパイクは出力信号線上で送信され、後方スパイクは入力信号線上で送信される。
【００８３】
図２２は、本発明の一実施形態による、エッジをトラバースする前方スパイク及び後方スパイクに起因するエッジ重み遷移を示す。図２２において、前方スパイクは、第１の時間軸２２０２に沿ってプロットされ、後方スパイクは、第２の時間軸２２０４に沿ってプロットされ、エッジの重み、すなわちコンダクタンスは、第３の時間軸２２０６に沿ってプロットされている。図１６と同様に、時間軸は、サイクル及びフェーズに分割される。第２のサイクル２１０８では、前方スパイクが、エッジをトラバース（または横断）し（２１１０）、その結果、コンダクタンスが短時間の間減少し、初期コンダクタンスに回復する（２１１２）。第３のサイクル２１１６では、前方スパイク及び後方スパイクの双方がエッジをトラバースする。この結果、初期コンダクタンスが減少し（２１１８）、これに続いて、コンダクタンスが大きく増加し（２１２０）、さらにそれに続く、後方スパイクの幅広い負のパルス２１２４の結果としてコンダクタンスが減少する（２１２２）。第３のサイクル２１２６における単一の後方スパイクの結果、エッジのコンダクタンスが少しだけ純減する（２１２８）。したがって、エッジの重みは、エッジのコンダクタンスによって表され且つエッジを流れる電流によって測定され、同時の前方スパイク及び後方スパイクは、ヘッブ学習パラダイムに従い、エッジの重みを大きく増加させ、後方スパイクは、より幅広い負の電圧パルスに起因して、後方スパイクが前方スパイクと同時に発生しないときは、エッジ重みのゆっくりとした減衰を引き起こす。前方スパイクはそれ自体では、エッジコンダクタンスを変化させない。したがって、メモリスティブナノワイヤ接合部の特性が、図１６に示す信号スパイク及びグローバルクロックによって同期された計算ノードの振る舞いと組み合わさった結果、ソースノード及びシンクノードが同時に発火したときにはエッジが補強され、シンクノードは発火するがソースノードは静止しているときには、エッジ重みはゆっくりと減衰する。
【００８４】
図２３は、本発明の一実施形態による合計された入力信号に対する応答として、経時的な計算ノードの状態を表すリーク積分器の出力を示す。図２３では、加算増幅器（図２０の２０２０及び２０２２）によって生成された入力信号の合計は、第１の時間軸２３０２に沿ってプロットされて示され、リーク積分器（図２０の２０３０）のリーク積分器出力は、第２の時間軸２３０４に沿ってプロットされて示されている。信号合計は、グローバルクロックチックに対応する、この図の最上部におけるｔ０、ｔ０＋１、…、ｔ０＋７のラベルが付けられた離散時間間隔２３０６で計算されて積分器に供給される。信号の合計が正であるときは、積分器出力は、時刻ｔ０における正の信号合計２３１０に対応する増加２３０８のように増加する。同様に、信号合計が負であるとき（２３１２）は、対応する積分器出力は下降する（２３１４）。積分器出力がしきい値２３１６を超えるどの時点においても、ノードはスパイクノードに遷移し（２３１８）、前方スパイク及び後方スパイクを放射し、積分器出力を、その値からしきい値を引いたもの２３２０に再設定する。次に、積分器は、後続の時間間隔において、合計された信号を引き続き積分する。積分器は、時点ｔ０とｔ０＋１との間で積分器出力曲線を接続する曲線部分２３３０によって表されるように、遷移２３０８などの、合計された信号入力に起因するいずれの遷移に続いても、積分器状態が時間の経過と共に０に向かってゆっくりと減衰するという点で漏出性を有する。
【００８５】
したがって、生体ニューロンのように、本発明の一実施形態を表す計算ノードは、経時的に入力信号を積分し、積分された信号がしきい値を超えたときに、発火する、すなわちスパイクを生ずる。積分器は漏出性を有し、そのため、スパイクをトリガするには、しきい値を超える刺激が近時の時間期間にわたって発生しなければならない。換言すれば、信号蓄積（信号累積）は、生体ニューロンの時間特性を有する。また、空間信号積分も、例えば、非線形性又はしきい値処理（または閾値化）特性を図２０の加算増幅器２０１６〜２０１９内に含めることによって達成することができる。したがって、本発明の実施態様を表す計算ノード及びノード間のメモリスティブナノワイヤ接合部の接続は、図１３〜図１５を参照して説明したモデルによって説明されると共に、さらに、観測されたニューロンの振る舞い及び特性によってもたらされる動的なエッジの重み付け、リーク信号積分、しきい値処理、及び信号生成を提供する。一般に、接続よりもはるかに数が少ないノードは、既知の集積回路製造技術及び既知の集積回路部品を使用して製造することができる一方、動的エッジは、現在利用可能なナノワイヤ接合部製造技術によって実施することができる。エッジ重み付けは、メモリスティブナノワイヤ接合部の物理的特性であり、したがって、計算も論理回路シミュレーションも伴わない。
【００８６】
本発明の実施形態による計算ノードネットワークのアーキテクチャ及び実施例
本発明の実施形態を表す、前のサブセクションで説明した計算ノード及びノード間ナノワイヤ接合部接続は、ニューラルネットワーク及び他の計算ノードネットワークを製造するのに使用することができる。図２４及び図２５は、パターン認識及び他のさまざまな計算タスクでの使用に適し且つ本発明の一実施形態を表す一つの例示的な計算ノードネットワークを示す。図２４に示すように、計算ノードネットワーク２４００は、入力ノードの第１の層２４０２、中間ノードの追加層２４０４、２４０６、２４０８、及び２４１０、並びに最終の単一の出力ノード２４１２を含む。当然ながら、異なる用途では、異なる個数のノード層、ノード層内の異なる個数のノード、及びノード間のほとんど無限個の異なる相互接続が存在し得る。図２４に示す計算ノードネットワークでは、ノード２４１６等の第１の中間ノード層２４０４の各ノードは、中間ノード２４１６と位置合わせされた入力ノード２４１８〜２４２２といった５つの入力ノードから入力を受信する。同様に、第２レベルの中間ノード２４２６等の第２レベルの各中間ノードも、多数の第１レベルの中間ノードから入力を受信する。図２４において、正方形の破線２４２８で囲まれた９つの第１レベルの中間ノードは、それら９つの第１レベルの中間ノードの中心にある中央の第１中間ノードレベルのノードと位置合わせされた第２中間ノードレベルのノード２４２６へ信号を出力する。同様に、第３レベルの中間ノード２４０８は、対応する第２レベルの中間ノードから入力を受信し、第４レベルの中間ノード２４３０及び２４３１は、対応する第３レベルの中間ノードから入力を受信し、出力ノード２４１２は、２つの第４レベルの中間ノード２４３０及び２４３１から入力を受信する。このように、計算ノードは、出力ノード２４１２から下方の入力ノード２４０２へとカスケードで（または縦続的に）相互接続される。
【００８７】
図２５は、ノードの第１中間レベルを示す。第１中間ノードレベル２０４０の各第１レベル中間ノードは、第１中間ノードレベル内の第１レベル中間ノードから側方入力（lateral input）を受信することもできる。例えば、第１レベル中間ノード２５２０について考えると、このノード２５０２を取り囲むノードの小さな円盤２５０４は、ノード２５０２へ興奮性信号を送信することができ、ノードの小さな円盤２５０４を取り囲むノードのより大きな半径のリング２５０６は、ノード２５０２へ抑制性信号を送信することができる。このリング２５０６の外側半径の外側の第１中間ノード層の他のすべてのノードは、本発明の一実施形態では、入力をノード２５０２に与えない。側方抑制性入力及び側方興奮性入力は、パターン認識計算ノードネットワークにおける空間パターン認識を容易にすることができる。
【００８８】
図２６Ａ〜図２６Ｃは、本発明の一実施形態を表す、図２４及び図２５に示すような多層計算ノードネットワークのハードウェア実施例を示す。ノードは、既知の集積回路製造方法によってシリコンベースのノードの直線アレイ２６０２をなすように作製される。図２６Ｂに概略的に示すように、各ノード２６０４は、４つの入力ピン、すなわちバイア２６０８〜２６１１を含む。図２６Ａ〜図２６Ｃに示す実施例では、すべてのノード層のすべてのノードが、ノードの単一の２次元アレイ２６０２をなすように作製され、ナノワイヤ及びナノワイヤ接続によって構成される階層が、シリコンベースのノード層の上に層をなして作製される。図２６Ａは、１つの計算ノード２６１６の４つのバイアに接続された４つの異なるタイプのナノワイヤを示す。１つのバイアは、出力信号を表し、ナノワイヤ出力信号線２６１８に接続される。２つの平行なナノワイヤ２６２０及び２６２２は、それぞれ側方興奮性入力信号及び側方抑制性入力信号を表し、それぞれバイア２６０９及び２６１１に接続される。最後のナノワイヤ２６２４は、先行するノード層からの入力を表し、バイア２６１０に接続される。先行するノードからの入力２６２４は第１のナノワイヤ層で実施され、側方入力線２６２０及び２６２２は第２の層で実施され、出力信号線２６１８は第３の層で実施される。出力信号線は、側方信号線及び先行ノードレベルの信号線２６２４よりも一般に幅広く且つ太い。出力信号線はまた、次の層のより広く分離されたノードへの接続を提供するために、一般により長くなっている。上記で説明した３つの層は、合わさって、図２４及び図２５に示されるような、階層的に編成されたアーキテクチャ内の中間ノード層に対応する単一のノード接続層を形成する。
【００８９】
図２６Ｃに示すように、連続したノード層又はノードレベルは、連続したナノワイヤ接続層によって実施され、それぞれは、先行するナノワイヤ接続層及び後続のナノワイヤ接続層と９０度の角度で配向されている。例えば、レイヤ０のノード、すなわち入力ノードは、それぞれ記号「０」でラベル付けされたレイヤ０のノードのチェッカボードパターン２６４０を有することができ、各レイヤ０のノードは、第１の２内部層ナノワイヤ接続層２６４２に構成された側方入力信号線及び出力信号線に接続される。次に、レイヤ１のノード２６４４を、レイヤ０のノードの選択の後に続いて、未占有のノード位置から実施することができ、該ノード２６４４は、図２６Ｃに記号「１」でラベル付けして示されている。これらのノードは、３内部層ナノワイヤ接続層の先行入力信号線（または前入力信号線）、側方入力信号線、及び出力信号線を介して、互いに相互接続され、下部のレイヤ０のノードと相互接続され、且つ上部のレイヤ２のノードと相互接続される。この３内部層ナノワイヤ接続層は、第１の２内部層ナノワイヤ接続層の上に構成され、第１の２内部層ナノワイヤ接続層と約９０度に配向されている。ナノワイヤ２６４８は、図２６Ｃに示す１つのレベル１のノードに接続される。ノードの連続した各層は、より下位レベルのノードの選択の後に残っている未占有のノードから選択され、図２６Ｃでは、レイヤ２ノード２６５０は、記号「２」でラベル付けされて示され、レイヤ３ノード２６５２は、記号「３」でラベル付けされて示されている。ノードの連続した各層は、先に構成されたナノワイヤ層の上部に構成された追加の３内部層ナノワイヤ層を通じて、側方に相互接続され、先行するノードと相互接続され、且つ次の層のノードと相互接続され、最後の出力ノード層は、１内部層ナノワイヤ接続層又は２内部層ナノワイヤ接続層と相互接続される。
【００９０】
図２７は、本発明の一実施形態による、図２６Ａ〜図２６Ｃに示すアーキテクチャに従って製造された計算ノードネットワークの一部の真横から見た図を示す。ノードは、下にあるシリコンベースの層２７０２と、連続するナノワイヤ接続層２７０４〜２７０７によって実施された階層的ノード層とをなすように（またはそれらの層に）作製される。第１のナノワイヤ接続層は、上述したように２つの内部層を含み、最後のナノワイヤ接続層２７０７も、２つのナノワイヤ層を含むが、図示したデバイスの最後のナノワイヤ層の上には、それよりも高いノードの層が実施されないことから、不必要な出力信号線が除かれている。
【００９１】
加えて、ノードは、グローバルクロック信号線によって相互接続される必要があり、入力ノード及び出力ノードは、計算ノードネットワークをコンピューティングシステム又はコンピューティングデバイスの追加のコンポーネント（部品）と相互接続する入力信号線及び出力信号線と接続される必要がある。これらのグローバルクロック信号線、入力信号線、及び出力信号線は、従来のＩＣ製造技術を用いてシリコンベースのノードレベルで実施することができる。
【００９２】
図２８〜図３０は、本発明の一実施形態を表す計算ノードネットワークにおけるノード間の３つの異なるタイプの接続を示す。図２８は、本発明の一実施形態を表す計算ノードネットワークの単一のノード層内における２つのノード間の興奮性側方相互接続を示す。ソースノード２８０２は、メモリスティブナノワイヤ接合部を通じてシンクノード２８１０の入力興奮性信号線２６０８と相互接続する（２８０６）出力信号線２８０４上に信号を出力する。図２９は、本発明の一実施形態を表す計算ノードネットワークの単一のノード層内における２つのノード間の抑制性側方接続を示す。ソースノード２９０２は、シンクノード２９１０の抑制性信号線２９０８と相互接続された（２９０６）出力信号線２９０４上に信号を出力する。図３０は、本発明の一実施形態を表す計算ノードネットワークの第１のノード層におけるソースノードとそれよりも高い第２のノード層におけるシンクノードとの間の相互接続を示す。ソースノード３００２は、シンクノード３０１０の先行ノードレベルの入力信号線３００８と相互接続された（３００６）出力信号線３００４上に信号線を出力する。図２８〜図３０に示す３つのタイプの接続を使用して、図２４〜図２５に示すような計算ノードアーキテクチャにおけるノード層のノード間の相互接続のすべてを、一連の２内部層ナノワイヤ層及び３内部層ナノワイヤ層で実施することができる。
【００９３】
実験結果
欠陥、デバイスのばらつき、雑音等に対する本発明の計算ノードネットワークの実施形態の感度を調べるために、自己組織化システムの典型的な問題をシミュレーションした。この問題は、さまざまな配向のエッジに応答（反応）する空間フィルタのアレイの自己組織化に関連する。このようなアレイは、文字認識システム等の視覚パターンマッチングシステムの第１段階として使用される場合がある。図３１は、この問題のある領域について計算ノードネットワークにより生成された所望の出力を示す。アイデアは、ピクセル化されたグレースケール画像３１０２を送り込み、その画像のエッジを見つけ、画像３１０４全体にわたって各エッジセグメントの角度の配向及び大きさを求めることである。これは、それ自体ではあまり興味を引く用途ではないが、新しいプログラミング言語で「hello, world」プログラムを記述するのと類似した、システムを自己組織化する際の標準的な最初の問題となっている。また、これは、実験用の単純で便利な試験台ともなっている。
【００９４】
図３２は、本発明の一実施形態を表す実験用計算ノードネットワークを示す。この実験用ネットワークは、入力画像のピクセルをスパイクのシーケンス（または配列）に変換する一対のトランスデューサアレイ３２０４及び３２０６によって駆動される、中心周辺回帰（center-surround recurrence）を有するノードの単一層３２０２から成る。アレイ３２０４と３２０６は、明確にするために図３２では分離して示されている。実際の実施例では、フォトセルアレイ３２０８、トランスデューサアレイ、及びノードアレイはインターリーブされることになろう。すべてのアレイは、サイズが１６×１６であり、それらのエッジが円環体（トーラス）状に折り返されて境界効果が最小にされている。これは、ネットワークにおける少数のノードを補償する実験用の近道である。
【００９５】
フォトセルアレイ３２０８は、グレースケール画像をトランスデューサアレイに提供するのに使用される。そのアレイの各ピクセルは、−１（白）から１（黒）までの範囲の値を取る。２つのトランスデューサアレイは、「オン」アレイ３２０４及び「オフ」アレイ３２０６と呼ばれ、空間帯域通過フィルタを実施する。これら２つのアレイの各セルは、その真下（または直下）のフォトセルアレイの小さな円形の中心周辺近傍におけるピクセル強度の重み付き平均を計算する。「中心」近傍は、３の半径を有し、「周辺」近傍は、６の半径を有し、各「オン」セルの計算された平均は、
【００９６】
【数１９】
2010525447.tif 000021
【００９７】
である。「ｃｅｎｔｅｒ」係数が合計されて１となり、且つ「ｓｕｒｒｏｕｎｄ」係数が合計されて−１となるように上記係数を選んだ。「オフ」セルについての平均は、対応する「オン」セルの平均を負にしたものである。負の平均は、双方のタイプのセルについて０でクリッピングされ、それらの「活動状態（または活性度）」が求められる。各サイクルにおいて、「オン」セル及び「オフ」セルは、セルアレイのノードへスパイクを放出する。「オン」セルは、それらの中心にある黒の領域が白によって囲まれているときに最も強くスパイクする。「オフ」セルは、黒によって囲まれた白の中心に対して最も強く応答（反応）する。
【００９８】
ノードアレイは、正方形の中心周辺回帰構造を有する。各ノードは、その真下のセルを中心とした、「オン」アレイ及び「オフ」アレイにおけるセルの７×７の正方形近傍からエッジ入力を受信する。これら二組のエッジ（合計９８個）は、一括してノードの「受容野」と呼ばれる。また、ノードは、３×３正方形近傍内の近傍部を興奮させ、４×４正方形近傍内の近傍部を抑制する。側方抑制性入力は、興奮性側方入力の効果の半分しか有しないので、正味の効果は、８つの最も近い近傍部を興奮させること、及びそれらを取り囲む近傍部のリングを抑制することである。図３３は、本発明の一実施形態についてのデフォルのトネットワークパラメータを含む表を示す。
【００９９】
すべてのエッジをその最大重みに設定し、すべてのノード積分器を０に設定することによってネットワークを初期化した。ガウス分布からピクセル値をランダムに割り当て、次にカーネル１８ｅｘｐ（−ｄ２）−１８ｅｘｐ（−ｄ２／１５２）との畳み込みによってドーナツ形（または環状体）画像を平滑化することによりランダムな１６×１６入力画像を構成した。ここで、ｄは、ピクセルの単位で測定された距離である。５００００００サイクルの間、ネットワークをクロック制御（またはクロック駆動）し、９サイクルごとに新しいランダムな画像を提供した。
【０１００】
配向されたエッジを検出するネットワークの能力を評価するために、一組の２４個の半分が黒／半分が白の配向されたエッジ画像Ｉθを構成した。配向θは、（０，２π）にわたって一様に分布していた。各画像のピクセルＩθｉｊは、白（−１）、又は黒（＋１）、又はピクセルが配向されたエッジと交差している場合には適切に補間されたもののいずれかであった。
【０１０１】
画像Ｉθに対するノードの応答Ｒは、そのノードの受容野内の前方エッジの重みを用いて次のように表された。
【０１０２】
【数２０】
2010525447.tif 000022
【０１０３】
ここで、演算子［・］＋は、正の値についてはその引数に等しく、負の値については０に等しい。これは、厳密に言えば、画像に対するノードの応答の正確な測度ではなく、一般的に使用される近似である。
【０１０４】
次に、構成要素：
【０１０５】
【数２１】
2010525447.tif 000023
【０１０６】
を計算した。この場合、ノードについての好ましい配向φは、
【０１０７】
【数２２】
2010525447.tif 000024
【０１０８】
として計算することができ、方位選択性（または配向選択性）Ｓは、
【０１０９】
【数２３】
2010525447.tif 000025
【０１１０】
として計算することができる。次に、ネットワーク選択性を、ネットワークのすべてのノードについての平均方位選択性として計算した（６．４  結果）。
【０１１１】
図３４は、本発明の一実施形態を表す、５００００００サイクルの間クロック制御（またはクロック駆動）された、欠陥のないデバイス不変の（またはデバイスに依存しない）ネットワークの受容野を示す。各ノードの受容野を視覚化するために、それぞれの受容野のエッジの重みｗｉｊｏｎ及びｗｉｊｏｆｆを考え、各一対のエッジのピクセルを、
【０１１２】
【数２４】
2010525447.tif 000026
【０１１３】
として計算することにする。次に、すべての受容野画像において、−１（白）、０（グレー）、及び１（黒）にわたる連続的なグレースケール（または連続階調）にマッピングされたｐｉｘｅｌｉｊを示すことにする。
【０１１４】
図３５は、本発明の一実施形態による図３２に示すネットワークの右下の象限の進展を示す。ここでは、エッジ配向フィルタの出現、及びネットワークがエッジ重みをきわだった双峰分布に持っていく傾向を見ることができる。図３６は、本発明の一実施形態による欠陥及びデバイスのばらつきに対するネットワーク感度の実験結果を示す。
【０１１５】
第１の一組の実験では、エッジ欠陥を扱った。「開固着（stuck open：スタックオープン）」エッジは、０の固定重みを有し、「閉固着（stuckclosed：スタッククローズド）」エッジは、ｗｍａｘの固定重みを有していた。これらの実験では、異なる確率（０、０．０５、０．１、…）で開固着（あるいは閉固着）となるようにエッジをランダムに選択した。棒グラフから分かるように、欠陥率が増加するにつれて、ネットワーク選択性はゆるやかに低下し、閉固着欠陥に対する感度は大きくなる。
【０１１６】
第２の一組の実験では、エッジ重みの変動に対する感度を調べた。第１の実験では、ｗｍａｘを１．０に固定し、５から１０００に変化する「オン／オフ」比（ｗｍａｘ／ｗｍｉｎ）を達成するようにｗｍｉｎを変化させた。比が大きくなると、ネットワーク選択性は高くなるが、結果は、約２０よりも大きな比については急速に減少するリターン（または応答）を示し、低い比のデバイスであっても、機能できるネットワークを構築することが可能な場合があることを示唆している。第２の実験では、比が異なる範囲（例えば５〜２０）にわたって一様に分布している場合のオン／オフ比の変動の影響を検討した。ネットワークは、驚くべきことに、この変動に対して応答（反応）しなかった。この組の最後の実験では、区間（１−ｆａｃｔｏｒ，１＋ｆａｃｔｏｒ）で一様に分布するｗｍａｘの値をエッジに割り当てた。この場合も、ネットワークは変動に対して全く応答（反応）しなかった。
【０１１７】
最後の一組の実験では、デバイス学習率の変動に対する感度を調べた。「ヘッブ」実験では、表１からの相関学習係数Δｗ（ｆ−ｂ＋）を範囲１．５Ｒ（１−ｆａｃｔｏｒ，１＋ｆａｃｔｏｒ）にわたって一様にランダム変化させた。「減衰」実験では、「パルス」係数Δｗ（ｆ＋）を同様に変化させた（残りの係数Δｗ（ｆ−）、Δｗ（ｂ＋）、及びΔｗ（ｂ−）は、各デバイスについて表１に示すΔｗ（ｆ＋）に対する比を維持した）。学習率の変動が大きくなると、ネットワーク性能はゆるやかに低下した。
【０１１８】
本発明を特定の実施形態に関して説明してきたが、本発明をこれらの実施形態に限定することは意図されていない。当業者には、本発明の思想の範囲内にある変更が明らかであろう。例えば、図１３〜図１５を参照して説明したノードモデルと等価又は類似の振る舞いを提供する計算ノードの任意の数の異なるハードウェア実装を、異なる回路層、レイアウト、及びコンポーネント（部品）を用いて実施することができる。上述したように、さまざまな異なる特性及びコンダクタンス／電圧曲線を有するメモリスティブナノワイヤ接合部を、任意の数の異なるタイプの材料から作製することができる。本発明の実施形態を表す計算ノードは、単一のシリコンベースの層、又は現在利用可能な相互接続技術によって相互接続された複数のシリコンベースの層をなすように作製することができる。本質的に任意の次元を有する任意の非線形関数を表す計算ノードネットワークを実施するためにほとんど無限個の異なる接続トポロジーのいずれにも対応するように、代替的な実施形態では、異なる数の入力及び出力を有するノードを実施することができる。図２０に示すノード実装などの、ノード実装の多くの代替的な実施形態が、信号加算機能、積分機能、しきい値処理（または閾値化）機能、及び生成機能を実施する異なるコンポーネントを含めて可能である。
【０１１９】
説明の便宜上、上記説明は、本発明の完全な理解を提供するために特定の用語を使用している。しかしながら、本発明を実施するのに特定の細部が必要とされないことは当業者には明らかであろう。本発明の特定の実施形態の上記説明は、例示及び説明のために提示されたものである。上記説明は、本発明を網羅することも、本発明を開示された形態そのものに限定することも意図したものではない。上記の教示に鑑み、多くの変更及び変形が可能である。本発明の原理及びその実用的な用途を最も良く説明し、それによって、当業者が、意図した特定の使用に適するさまざまな変更をでもって本発明及び種々の実施形態を最も良く利用できるようにするために、実施形態は図示及び説明されている。本発明の範囲は、特許請求の範囲及びそれらの均等物によって画定されることが意図されている。
【図１】
2010525447.tif 000027
【図２】
2010525447.tif 000028
【図３】
2010525447.tif 000029
【図４Ａ】
2010525447.tif 000030
【図４Ｂ】
2010525447.tif 000031
【図５】
2010525447.tif 000032
【図６】
2010525447.tif 000033
【図７Ａ】
2010525447.tif 000034
【図７Ｂ】
2010525447.tif 000035
【図８】
2010525447.tif 000036
【図９】
2010525447.tif 000037
【図１０】
2010525447.tif 000038
【図１１Ａ】
2010525447.tif 000039
【図１１Ｂ】
2010525447.tif 000040
【図１２Ａ】
2010525447.tif 000041
【図１２Ｂ】
2010525447.tif 000042
【図１２Ｃ】
2010525447.tif 000043
【図１２Ｄ】
2010525447.tif 000044
【図１２Ｅ】
2010525447.tif 000045
【図１３】
2010525447.tif 000046
【図１４】
2010525447.tif 000047
【図１５】
2010525447.tif 000048
【図１６】
2010525447.tif 000049
【図１７】
2010525447.tif 000050
【図１８】
2010525447.tif 000051
【図１９】
2010525447.tif 000052
【図２０】
2010525447.tif 000053
【図２１】
2010525447.tif 000054
【図２２】
2010525447.tif 000055
【図２４】
2010525447.tif 000056
【図２５】
2010525447.tif 000057
【図２６Ｂ】
2010525447.tif 000058
【図２６Ｃ】
2010525447.tif 000059
【図２７】
2010525447.tif 000060
【図２８】
2010525447.tif 000061
【図２９】
2010525447.tif 000062
【図３０】
2010525447.tif 000063
【図３１】
2010525447.tif 000064
【図３２】
2010525447.tif 000065
【図３３】
2010525447.tif 000066
【図３４】
2010525447.tif 000067
【図３５】
2010525447.tif 000068
【図３６】
2010525447.tif 000069
【図２３】
2010525447.tif 000070
【図２６Ａ】
2010525447.tif 000071
【国際調査報告】
2010525447.tif 000072
2010525447.tif 000073