(57)【要約】【課題】異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網（ＡＮＮ）に対するシナプス・ウェイトを構成するための方法を提供する。【解決手段】ＡＮＮの或る好適な実装は、データで適宜に行われる累積ステップで、重要な乗数を備えるシナプス・ウェイトを記録するために、不揮発性メモリ（ＮＶＭ）素子のコンダクタンスを使用する。この応用において、プログラミング・パルスへの応答中の非線形性、飽和性、偶然性、および非対称性など、ＮＶＭの応答中の好ましからざる性質が、理想的な回路網実装に比べて低減された回路網パフォーマンスをもたらす。複数の異なる重みのコンダクタンスに亘ってシナプス・ウェイトを分配し、より小さな重みの符号付きアナログ・コンダクタンス対とより大きな重みのアナログ・コンダクタンス対との間で搬送オペレーションを実行することによってパフォーマンスを改善する方法を示す。【選択図】図２
2020528611.tif 000002
【特許請求の範囲】
【請求項１】
人工ニューロン回路網（ＡＮＮ）中に実装された方法であって、前記ＡＮＮは、１つの層の出力が次の層の複数のニューロンの入力に連結された、層群中に配置された前記複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、前記シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスの前記シナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数の訓練事例が、その出力を観察しながら前記ＡＮＮに逐次に入力され、誤差逆伝播法アルゴリズムが、所与の層からの前記出力と、前記所与の層からの望ましい出力との間の差に応じて前記シナプス・ウェイトを更新し、前記方法が、
周期的に、前記シナプス・ウェイトの一部を、より低い重みのコンダクタンス対からより高い重みのコンダクタンス対に、合計のシナプス・ウェイトが実質的に変化しないようにして移行することと、
前記回路網の出力が所定の正確度内で前記望ましい出力に近付くまで訓練事例を繰り返すことと、
を含む、方法。
【請求項２】
前記複数のコンダクタンス対の各々が、共同の寄与を表し、前記方法が、
（ａ）回路網訓練を休止し、前記ＡＮＮ回路網中のアナログ・メモリ素子群に亘ってコンダクタンスを測定することと、
（ｂ）その絶対値がその対となるコンダクタンスよりも所定の量以上大きい前記コンダクタンス対中の、１つ以上の測定コンダクタンスの実効シナプス・ウェイト値を識別することと、
（ｃ）前記より低い重みのコンダクタンス対を、全体的シナプス・ウェイトに対する共同の寄与がゼロに合致するように、相等しくなるよう再構成し、前記より高い重みのコンダクタンス対の１つを、前記識別された実効シナプス・ウェイト値が得られるまで再構成することと、
を含む、請求項１に記載の方法。
【請求項３】
ＡＮＮ中の前記シナプス・ウェイトの一部が、下流および上流のニューロンに関連付けられた信号に従ってコンデンサに電荷を加えまたは減じるためのプログラミング・トランジスタと一緒に読取りトランジスタのゲートに繋止されたコンデンサを用いて実装される、請求項２に記載の方法。
【請求項４】
前記ニューロンがＣＭＯＳ回路を使って実装される、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記ＡＮＮ中の前記シナプス・ウェイトが、不揮発性メモリ（ＮＶＭ）を使って実装される、請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記ＮＶＭが、相変化メモリ、抵抗変化メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記ＡＮＮが、パターン認識応用、画像認識応用、音声認識応用、および言語処理応用から成る群から選択された応用の部分として用いられる、請求項１または２に記載の方法。
【請求項８】
前記ＡＮＮ中の前記シナプス・ウェイトが、アナログ・メモリ素子を使って実装される、請求項１に記載の方法。
【請求項９】
前記ＡＮＮ中の前記シナプス・ウェイトの一部が、読取りトランジスタのゲートに繋止されたコンデンサを使って実装され、前記読取りトランジスタの前記ゲートもまた、前記コンデンサに電荷を加えるためのプログラミング・トランジスタの第一セットと、前記コンデンサから電荷を減じるためのトランジスタの第二セットとに繋止され、前記電荷の追加または削減は、下流および上流のニューロンに関連付けられた信号に従って行われる、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、人工ニューロン回路網（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）の分野に関する。さらに具体的には、本発明は、異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法に関係する。
【背景技術】
【０００２】
人工ニューロン回路網（ＡＮＮ）は分散型のコンピューティング・システムであり、シナプスと呼ばれる連結点を介して相互連結された多くのニューロンから成る。各シナプスは、１つのニューロンからの出力と別のニューロンへの入力との間の連結の強度を符号化する。各ニューロンの出力は、そのニューロンに連結された他の諸ニューロンから受信された集合入力によって、しかして、これら「上流」に連結されたニューロンの出力と、シナプスのウェイトによって定まる連結の強度によって決まる。ＡＮＮは、特定の種類の入力が望ましい出力を生成するように、シナプスのウェイトを調整することによって特定の問題（例えば、パターン認識）を解決するように訓練される。このウェイト調整の手順は「ラーニング」として知られている。ＡＮＮ文献中には、画像認識、音声認識、言語処理など、様々なタスクに適したラーニングを行うための多くのアルゴリズムが記載されている。理想的には、これらのアルゴリズムは、ラーニング・プロセスの過程で、所与の問題の最適ソリューションに向け収斂するシナプス・ウェイトのパターンをもたらす。
【０００３】
ＡＮＮの或る好適な実装は、ニューロンを代理する何らかの回路（例えば、ＣＭＯＳ）を使用しており、その機能は、或る特定のニューロンが連結されている上流のニューロン群からの集合入力を統合または合算し、そのニューロンへの出力を導出するために、入力に何らかの非線形の関数を適用することである。一般に、各ニューロンは他のニューロンの何らかの多数部分に連結されているので、シナプス（連結部）の数はニューロンの数よりもはるかに多く、しかして、ニューロン形態のコンピューティング・チップ上で非常な高密度を達成できる、何らかのシナプスの実装を用いるのが有利である。１つの好適な選択は、抵抗変化メモリ（ＲＲＡＭ：ｒｅｓｉｓｔｉｖｅ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）または相変化メモリ（ＰＣＭ：ｐｈａｓｅ−ｃｈａｎｇｅ  ｍｅｍｏｒｙ）など何らかの不揮発性メモリ（ＮＶＭ：ｎｏｎ−ｖｏｌａｔｉｌｅ  ｍｅｍｏｒｙ）技術である。正および負の（すなわち、興奮性および抑制性の）ウェイトの両方が必要なので、１つのスキームでは、これら２つの間のコンダクタンスの差としてウェイトを表すためにＮＶＭの対を使用している（非特許文献１を参照）。このスキームが図１に示されている。上流のＮｉ個のニューロンの出力が、ＮＶＭのコンダクタンスの対を介して並列に、下流のＭｉ個のニューロンの正または負の入力に合算される。この並列処理は効率的計算のため大いに有利である。
【０００４】
ラーニングの過程で、ＮＶＭ素子のコンダクタンスは、それらに、ラーニングのルールに従ってコンダクタンスを増大もしくは低減できるパルスを送信することによってプログラムされる。本発明者らが調査した１つの共通のラーニング・ルールは、誤差逆伝播法であり（非特許文献２を参照）、これは、昨今、画像認識、ビデオゲームの遊技のラーニングなどのためグラフィカル処理ユニット（ＧＰＵ：ｇｒａｐｈｉｃａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ）上に実装されているディープ・ラーニング回路網中で広範に使われている。本誤差逆伝播法アルゴリズムは、上流ニューロンχｉの出力と、下流ニューロンδｊからの誤差寄与率と、学習率として既知の比例定数ηと、の積に比例するウェイトΔｗｉｊ＝η・χｉ・δｊの更新を必要とする。本発明者らは、以前に、この「クロスバー適合性」のラーニング・ルールが従来の誤差逆伝播法ルールと同様に効率的であることを明らかにしている（非特許文献３を参照）。
【０００５】
いかなる実際のＮＶＭ素子も理想的な応答は有していない。これらは非線形であり、達成が可能な最大コンダクタンスには限界がある。コンダクタンスを増大するために設計されたパルスに対するコンダクタンスの変化は、コンダクタンスを低減するために設計されたパルスに対する変化とは異なる、すなわち応答は非対称である。デバイスの間にはバラツキがあり、一部のデバイスは、高コンダクタンス状態にはまり込んでもまたは低コンダクタンス状態にはまり込んでも、動作不能になることになる。本発明者らの論文は、これらの欠陥の多くは、ＡＮＮパフォーマンスの低下の原因にはほとんどならないことを明らかにしている。但し、非線形性、限られたコンダクタンス、および非対称な応答は、訓練過程でのＭＮＩＳＴディジットの認識問題に対する正確度を９９％超えから８０％〜８５％の間に低下させる。
【０００６】
訓練の過程で、多数のいろいろな入力が回路網に提供され、各入力の後（または、ミニバッチと呼ばれる何らかの少数の入力の後）ＮＶＭのコンダクタンスを更新するために誤差逆伝播法ルールが用いられる。回路網中の一部のウェイトは、徐々に何らかの安定した値に落ち着く傾向があり、他のウェイトは上下に低徊する傾向があり、或るときは増大し或るときは低減する。ＮＶＭ応答が非線形または非対称であると、通常、ウェイト値を低減するよう意図されたパルスに対する応答がウェイトを増大するよう意図されたものよりも強くなることになる。これは、これらのウェイトの多くをゼロに向けて押しやる傾向があり、誤差逆伝播法ルールの効果を無くし回路網のパフォーマンスを低下させる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｍ．Ｓｕｒｉら著、「Ｐｈａｓｅ  Ｃｈａｎｇｅ  Ｍｅｍｏｒｙ  ａｓ  Ｓｙｎａｐｓｅ  ｆｏｒ  Ｕｌｔｒａ−Ｄｅｎｓｅ  Ｎｅｕｒｏｍｏｒｐｈｉｃ  Ｓｙｓｔｅｍｓ：  Ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  Ｃｏｍｐｌｅｘ  Ｖｉｓｕａｌ  Ｐａｔｔｅｒｎ  Ｅｘｔｒａｃｔｉｏｎ」、ＩＥＤＭ  Ｔｅｃｈｎｉｃａｌ  Ｄｉｇｅｓｔ誌４．４、２０１１年。
【非特許文献２】Ｒｕｍｅｌｈａｒｔら著、「Ｌｅａｒｎｉｎｇ  Ｉｎｔｅｒｎａｌ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ  ｂｙ  Ｅｒｒｏｒ  Ｐｒｏｐａｇａｔｉｏｎ」、Ｐａｒａｌｌｅｌ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ：Ｅｘｐｌｏｒａｔｉｏｎｓ  ｉｎ  ｔｈｅ  Ｍｉｃｒｏｓｔｒｕｃｔｕｒｅ  ｏｆ  Ｃｏｇｎｉｔｉｏｎ、巻１、１９８６年。
【非特許文献３】Ｂｕｒｒら著、「Ｅｘｐｅｒｉｍｅｎｔａｌ  ｄｅｍｏｎｓｔｒａｔｉｏｎ  ａｎｄ  ｔｏｌｅｒａｎｃｉｎｇ  ｏｆ  ａ  ｌａｒｇｅ  ｓｃａｌｅ  ｎｅｕｒａｌ  ｎｅｔｗｏｒｋ（１６５，０００ｓｙｎａｐｓｅｓ），ｕｓｉｎｇ  ｐｈａｓｅ−ｃｈａｎｇｅ  ｍｅｍｏｒｙ  ａｓ  ｔｈｅ  ｓｙｎａｐｔｉｃ  ｗｅｉｇｈｔ  ｅｌｅｍｅｎｔ」、ＩＥＤＭ  Ｔｅｃｈｎｉｃａｌ  Ｄｉｇｅｓｔ、２０１４年。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術は、２つのコンダクタンスに基づく、符号付きシナプス・ウェイトの導入に関連していた。しかしながら、相変化メモリ（ＰＣＭ）、フィラメント・ベースの（ＨｆＯｘまたはＴａＯｘなどを用いた）ＲＲＡＭ、金属フィラメント・ベースの導電性ブリッジＲＡＭなどの一部のＮＶＭに対しては、小さなコンダクタンス変化は一方向だけに実装が可能である。この直接的な結果として、大きさの大きなシナプス・ウェイトは極めて脆弱な傾向があり、そのより小さなコンダクタンス（これはウェイトの大きさを低減する）でのステップにはうまく反応するが、そのより大きなコンダクタンスでのステップ（これはウェイトの大きさを増大する）での反応は不十分である。しかして、回路網が大きくしたいウェイトが、大きく留まることにうまく対処できないので、回路網のパフォーマンスは劣化する。
【０００９】
本発明の諸実施形態は、従来技術のシステムおよび方法への改良策を提供する。
【課題を解決するための手段】
【００１０】
一実施形態において、本発明は、人工ニューロン回路網（ＡＮＮ）中に実装される方法を提供し、このＡＮＮは、１つの層の出力が次の層の複数のニューロンの入力に連結された、層群中に配置された複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスのシナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数の訓練事例が、その出力を観察しながらＡＮＮに逐次に入力され、誤差逆伝播法アルゴリズムが、所与の層からの出力と、前記所与の層からの望ましい出力との間の差に応じてシナプス・ウェイトを更新し、本方法は、（ａ）周期的に、シナプス・ウェイトの一部を、より低い重みのコンダクタンス対からより高い重みのコンダクタンス対に、合計のシナプス・ウェイトが実質的に変化しないようにして移行することと、（ｂ）回路網の出力が所定の正確度内で望ましい出力に近付くまで訓練事例を繰り返すことと、を含む。
【００１１】
別の実施形態において、本発明は、人工ニューロン回路網（ＡＮＮ）中に実装される方法を提供し、このＡＮＮは、１つの層の出力が、次の層の複数のニューロンの入力に連結された、層群中に配置された複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスのシナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数のコンダクタンス対の各々は、共同の寄与を表し、これら複数の対はより高い重みのコンダクタンス対およびより低い重みのコンダクタンス対を有し、複数の訓練事例が、その出力を観察しながらＡＮＮに逐次に入力され、誤差逆伝播法アルゴリズムが、所与の層からの出力と、前記所与の層からの望ましい出力との間の差に応じてシナプス・ウェイトを更新し、本方法は、（ａ）回路網訓練を休止し、ＡＮＮ回路網中のアナログ・メモリ素子群に亘ってコンダクタンスを測定することと、（ｂ）その絶対値が対となるコンダクタンスよりも所定の量以上大きいコンダクタンス対中の、１つ以上の測定コンダクタンスの実効シナプス・ウェイト値を識別することと、（ｃ）より低い重みのコンダクタンス対を、全体的シナプス・ウェイトに対する共同の寄与がゼロに合致するように、相等しくなるよう再構成し、より高い重みのコンダクタンス対の１つを、識別された実効シナプス・ウェイト値が得られるまで再構成することと、を含む。
【００１２】
別の実施形態において、本発明は、人工ニューロン回路網（ＡＮＮ）中に実装される方法を提供し、このＡＮＮは、１つの層の出力が、次の層の複数のニューロンの入力に連結された、層群中に配置された複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスのシナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数のコンダクタンス対の各々は、共同の寄与を表し、これら複数の対はより高い重みのコンダクタンス対およびより低い重みのコンダクタンス対を有し、複数の訓練事例が、その出力を観察しながらＡＮＮに逐次に入力され、誤差逆伝播法アルゴリズムが、所与の層からの出力と、前記所与の層からの望ましい出力との間の差に応じてシナプス・ウェイトを更新し、本方法は、（ａ）回路網訓練を休止し、ＡＮＮ回路網中のアナログ・メモリ素子群に亘ってコンダクタンスを測定することと、（ｂ）その絶対値が対となるコンダクタンスよりも所定の量以上大きいコンダクタンス対中の、１つ以上の測定コンダクタンスの実効シナプス・ウェイト値を識別することと、（ｃ）より低い重みのコンダクタンス対を、全体的シナプス・ウェイトに対する共同の寄与がゼロに合致するように、相等しくなるよう再構成し、より高い重みのコンダクタンス対の１つを、識別された実効シナプス・ウェイト値が得られるまで再構成することと、を含み、ＡＮＮ中のシナプス・ウェイトの一部は、読取りトランジスタのゲートに繋止されたコンデンサを用いて実装され、読取りトランジスタのこのゲートもまた、静電容量に電荷を加えるためのプログラミング・トランジスタの第一セット、およびコンデンサから電荷を減じるためのトランジスタの第二セットに繋止され、この追加または削減とは、下流および上流のニューロンに関連付けられた信号に従って行われる。
【００１３】
単に例として、以下の図面を参照しながら、以降に本発明の好適な諸実施形態を説明することとする。
【図面の簡単な説明】
【００１４】
【図１】シナプスごとに１組のコンダクタンス対を備えた従来技術のアレイを示す。
【図２】シナプスごとに複数のコンダクタンス対を有するアレイを表し、これら対の１つのセットは別の対に対しＦ倍増幅された読取り電流を有する。
【図３】複数コンダクタンス対の技法の利益を示すシミュレーション結果を表す。
【図４】異なる重みのコンダクタンスを有することの概念を示す。
【図５】（下流および上流のニューロンに関連付けられた信号に従って、コンデンサに電荷を加えまたは減じるための）プログラミング・トランジスタと一緒に読取りトランジスタのゲートに繋止された、コンデンサなどのアナログ・メモリ素子を用いて実装されるＡＮＮ中のシナプス・ウェイトを表す。
【図６】共有のバイアス・コンダクタンスを用いる、より高い重みのコンダクタンス対およびより低い重みのコンダクタンス対を表す。
【図７】本発明を具現化するコンダクタンス対と、従来技術のシステムとの正確度の比較を示す。
【発明を実施するための形態】
【００１５】
好適な実施形態に関連させて本発明を示し説明するが、本発明は、多くの異なった構成で製作することが可能である。以下の説明が本発明の原理およびその構築のための関連する機能的な明細の例証と見なすべきであり、本発明を説明対象の実施形態に限定することを意図されていないことを理解した上で、本発明の好適な諸実施形態を図面に表し、本明細書で詳細に説明することとする。当業者には、本発明の範囲内で多くの他の可能な別形が思い浮かぶであろう。
【００１６】
本明細書で説明する本発明の諸実施形態は、各々が異なる重みの複数のコンダクタンスの対に亘ってシナプス・ウェイトを分配することによって、コンダクタンス応答中の非線形性および非対称性の影響を軽減することを助力する。各対は、通常的には、興奮性コンダクタンスＧ＋と抑制性コンダクタンスＧ−との間の差を介してシナプス・ウェイトに対し寄与する。但し、これらの対が合算されるビット・ラインの終端部に実装される増幅率における、各対の寄与度は変化する。事例ずつのプログラミングは多くの仕方で実装することが可能で、１つの特定の具現例では、回路網訓練の過程で最小重みのコンダクタンス対が更新される。ウェイト値の大部分は、通常、より重みの大きいコンダクタンス対に包含されているので、より重みの小さなコンダクタンス対の１つ以上は、読取りトランジスタのゲートに繋止されたコンデンサなど、揮発性のアナログ・メモリ素子で構成することができよう。この場合、コンデンサに電荷の追加または削減を加えることで、読取りトランジスタのゲート電圧が、しかしてその実効コンダクタンスが変化する。完全に双方向で、しかしてコンダクタンスの上げ下げ両方をプログラムできるコンダクタンス値の場合は、各コンダクタンス対中のコンダクタンスの一方を、多くの異なるシナプスに亘って共有し、全ての個別のシナプス・プログラミングは、共用されていない方のコンダクタンスを調整することによって行うことができよう。
【００１７】
図２は、他のセットに比べてＦ倍に増幅された読取り電流を有する対の１セットを備えた、シナプス当たり複数のコンダクタンス対を有するアレイを開示している。本図において、各シナプス・ウェイトは、コンダクタンスの２つの対で構成される。その第一対は、このアレイの底部にある下流ニューロンの合算電流に、第二対に対しＦ倍の利得係数によって寄与する。このことは、全体的シナプス・ウェイトに対し、第二対中の大きなコンダクタンスの差が、第一対中の小さなコンダクタンスの差と同じ寄与度を有することを意味する。しかして、本技法は、全体のシナプスの合計ダイナミック・レンジを増大し、迅速であるが、累積されたシナプス・ウェイトの変化を時折に注意深く第一コンダクタンス対中に移行しながら、ＡＮＮの事例ずつのプログラミングのため第二またはより低い重みのコンダクタンス対として使われることになる、より線形性で対称性のあるコンダクタンス変化を可能にする。なお、これは、ここに全く同じな全体的シナプス・ウェイトを表す複数のコンダクタンスの複数のアナログ構成があるので、デジタル・ワードのより上位のまたはより下位のビットと直接的に合致はしていない。同様に、より低い重みのコンダクタンス対からより高い方への移行オペレーションは、デジタル・アダー中のデジタル「桁上げ」演算と同じではなく、アナログ構成を全体的シナプス・ウェイトにマッピングする冗長性のため、必要に応じ遅延させることが可能である。本図は、２組のコンダクタンス対を示しているが、当然ながら、３組以上の対への拡張も可能であろう。
【００１８】
大きなシナプス・ウェイトが開展された場合、その情報は、より小さな重みのコンダクタンス対中の大きなコンダクタンス差から、次により大きな重みのコンダクタンス対中のより小さな（しかしてより容易に維持される）コンダクタンス差に移行される。より大きな重みのコンダクタンス対はより少ない頻度で更新されるので、この大きなシナプス・ウェイトは、上記により、コンダクタンスの非線形性および非対称性による損失から、よりうまく保護され、回路網は、そうすることを選択した場合に当該ウェイトを減じることがなお可能である。或る程度において、回路網は、このウェイトをより高い重みのコンダクタンス対の中に「蓄える」ことになる。図３は、本発明が、同じシミュレーションの条件（ＰＣＭの欠点に関する想定）の下で、実験的に立証されたベースライン・パフォーマンスと比較したとき、顕著に改善することを示す（前述のＢｕｒｒらの論文を参照）。
【００１９】
本発明者らの現在までの実験立証におけるように（前述のＢｕｒｒらの論文を参照）、訓練が、「時折のリセット」のため周期的に（例えば、１００〜１０００の事例の後）既に休止されているならば、このときに、この休止はウェイト移行を含むためのお誂え向きの機会を提供する。リセットの必要なコンダクタンスを識別するために（これにより、それらをＧダイヤモンドの「右側」から「左側」に移動する（前述のＢｕｒｒらの論文を参照））、コンダクタンスの全てを測定しなければならないので、その同じ測定で、大きさの大きなウェイトを識別し、ウェイト情報をより低い重みのコンダクタンス対から次により高い重みのコンダクタンス対に移行することをスケジュールできる。
【００２０】
あるいは、より大きな重みのコンダクタンス対の少なくとも１つが、訓練の間およびその後の訓練後ウェイト読取りの間のウェイト安定性を担保するのに十分な不揮発性を提供する限りにおいて、より小さな重みのコンダクタンス対を、トランジスタのゲートに繋止されたコンデンサなどの揮発性アナログ・メモリ素子にすることも可能であろう。
【００２１】
図４は、異なる重みのコンダクタンスを有することの概念を示す。利得係数Ｆでスケールされた２つのＧダイヤモンドが示されている。しかして、これらＧダイヤモンドの垂直の位置は全体的なシナプス・ウェイトへの寄与度を示す。訓練プロセスの過程で、前方評価法および誤差逆伝播法では、読取り電流の単純な集積によって望ましいシナプス・ウェイトを得るため、全てのコンダクタンスをそれらに関連する利得係数と併せ使用する。プログラミングの過程で、いくつかの異なるスキームでウェイト更新を適用でき、本明細書に示す諸例では、ウェイト更新はより低い重みのコンダクタンス対にだけ適用される。定期的な間隔で、この移行プロセスを開始することが可能である。
【００２２】
この移行プロセスは、より低い重みのコンダクタンス対の両方のコンダクタンスの測定を必要とする。図４に示された一例では、この２つのコンダクタンスの間の差が大きいコンダクタンス対だけが移行される。他の例では、より低い重みのコンダクタンス対の間のコンダクタンス差は、常に、より高い重みの対に移行される。より低い重みの両方のコンダクタンスは相等しいコンダクタンスに再プログラムされ、全体的シナプス・ウェイトへの共同の寄与度はゼロ化される。同時に、より大きな重みのコンダクタンスの１つ以上が、双方の対を通しての全体的シナプスへの寄与が実質的に変化しないような仕方で再構成される。より大きな重みの対の寄与度に対する利得係数の故に、全体的ウェイトへの同度合いの影響のために必要なコンダクタンスの変化は、より小さな重みのコンダクタンス対におけるよりもＦ倍小さい。
【００２３】
図４に示された例において、通常的訓練は、全コンダクタンスを測定するために時折休止される。このとき、より低い重み（「１ｘ」）のＧダイヤモンドの最上部または底部に対応するコンダクタンスが識別され、より低い重みの両方のコンダクタンスがリセットされ、より大きな重みのコンダクタンスの１つが、同じ実効ウェイトが得られるまで、反復してセットされる。例えば、このウェイトをＦｗ２＋ｗ１とし、訓練の後、ｗ１が（Ｇ＋、Ｇ−コンダクタンス・グラフに示されるように）大きくなったと仮定すると、ｗ１は０に下げられ、ｗ２は、（Ｇ２＋、Ｇ２−コンダクタンス・グラフに示されるように）Δｗ２＝ｗ１／Ｆだけ押し上げられる。かかるコンダクタンスの再構成は、ＮＶＭの欠点からウェイトがよりうまく保護されることを可能にする。
【００２４】
さらに、どのコンダクタンスも双方向のコンダクタンスの変化が実行可能な別の例において、各コンダクタンス対の一方は、複数のシナプスの間で共有され、全ての（ウェイト更新およびウェイト移行の）プログラミングは、固有のまたは非共有のコンダクタンスで行うことが可能である。
【００２５】
なお、本技法は、より高い重みのコンダクタンス対上の一切のランダム読取りノイズをも増幅することになるので、用いるべき最大利得係数には限度があり得ることになろう。加えて、これらの利得係数は、高コンダクタンス状態で「膠着状態」に陥った破損コンダクタンスが、ニューロン回路網のパフォーマンスに対して、従来技術の構成よりもさらに大きな問題となることを意味する。但し、コンダクタンスは、破損したアクセス・デバイスを保護するために意図的に低コンダクタンス状態に置くことが可能であり（例えば、Ｂｕｒｒらへの米国特許第８，８１１，０６０号を参照）、したがって、かかる「膠着状態」のコンダクタンスの数を大きく低減するように容易に適合可能なことに留意すべきである。
【００２６】
一実施形態において、本発明は、人工ニューロン回路網（ＡＮＮ）中に実装される方法を提供し、このＡＮＮは、１つの層の出力が次の層の複数のニューロンの入力に連結された、層群中に配置された複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスのシナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数の訓練事例が、その出力を観察しながらＡＮＮに逐次に入力され、誤差逆伝播法アルゴリズムが、所与の層からの出力と、前記所与の層からの望ましい出力との間の差に応じてシナプス・ウェイトを更新し、本方法は、（ａ）周期的に、シナプス・ウェイトの一部をより低い重みのコンダクタンス対からより高い重みのコンダクタンス対に、合計のシナプス・ウェイトが実質的に変化しないようにして移行することと、（ｂ）回路網の出力が所定の正確度内で望ましい出力に近付くまで訓練事例を繰り返すことと、を含む。
【００２７】
別の実施形態において、本発明は、人工ニューロン回路網（ＡＮＮ）中に実装される方法を提供し、このＡＮＮは、１つの層の出力が、次の層の複数のニューロンの入力に連結された、層群中に配置された複数のニューロンを含み、ニューロンは複数のシナプスを介して相互に連結されており、シナプスの各々は、２つの連結されたニューロンの間の連結強度を符号化したシナプス・ウェイトを有し、各シナプスのシナプス・ウェイトの大きさは複数のコンダクタンス対からの重み付けされた電流フローによって表され、複数のコンダクタンス対の各々は、共同の寄与を表し、これら複数の対はより高い重みのコンダクタンス対およびより低い重みのコンダクタンス対を有し、複数の訓練事例が、前記所与の層からのその出力を観察しながらＡＮＮに逐次に入力され、本方法は、（ａ）回路網訓練を休止し、ＡＮＮ回路網中のアナログ・メモリ素子群に亘ってコンダクタンスを測定することと、（ｂ）絶対値がその対となるコンダクタンスよりも所定の量以上に大きい所与のコンダクタンス対中の少なくとも１つの測定されたコンダクタンスを識別することと、（ｃ）より低い重みのコンダクタンス対を、全体的シナプス・ウェイトに対する共同の寄与がゼロに合致するように、ほぼ相等しくなるよう再構成し、より高い重みのコンダクタンス対の１つを、同様な実効シナプス・ウェイト値が得られるまで再構成することと、を含む。
【００２８】
一例において、図５に示されるように、ＡＮＮ中のシナプス・ウェイトは、読取りトランジスタｍＲｅａｄのゲートと、例えば、それぞれ下流および上流ニューロンに関連付けられた信号、上流−追加、上流−削減、下流−追加、および下流−削減に従って、コンデンサＣｇに電荷を加えまたはこれから電荷を減じる、１つ以上のトランジスタを含む「電荷を加える」ブロックおよび「電荷を減じる」ブロックなどのプログラミング回路に繋止されたコンデンサＣｇなどのアナログ・メモリ素子と、を用いて実装される。かかる構成において、（コンダクタンス対の）各対の一方の素子は、多数のシナプスの間で共有され、より低いコンダクタンス対は、読取りトランジスタｍＲｅａｄのゲートに繋止された（例えば、その実効コンダクタンスを調節する）コンデンサＣｇを含む（不揮発性メモリの代わりの）揮発性アナログ・メモリから成ってもよいであろう。最大読取り電流を制限するために、読取りトランジスタｍＲｅａｄと直列に「負荷」ブロック（抵抗および／またはトランジスタの何らかの組み合せを含む）を含めることができる。
【００２９】
図６に示されるように、諸例は、各シナプス中に、より高い重みとして２つのＰＣＭと、例えば「ｇ＋」の各シナプスに１つの３Ｔ＋１Ｃのコンダクタンスとの両方を含み、このとき、８つまたは１６のシナプスごとに、例えば「ｇ−」のさらなる１つの３Ｔ＋１のユニット・セルが共有される。かかる例において、１つのトランジスタは、そのコンダクタンスがアナログのコンデンサ電圧によって調節される読取りトランジスタであり、１つのトランジスタは、電圧を引き上げる（電荷を加える）ときを除き、コンデンサを単離するために用いられ、別のトランジスタは、電圧を引き下げる（電荷を除去する）ときを除き単離するために用いられる。
【００３０】
図７は、本発明を具現化した複数コンダクタンス対によるアプローチの効率と従来技術との比較を表す。訓練エポック（同じ５０００の訓練事例が回路網に投入された回数）ごとの関数としての訓練の正確度、および最終テストの正確度（グラフの右縁外側のスター記号）がプロットされている。青色のカーブおよび記号は、従来技術の公表（非線形のコンダクタンス応答を有するＰＣＭデバイスの１つの対、ＩＥＤＭ、２０１４年）に合わせて行った本発明者らのシミュレーションを示し、一方、赤色のカーブは、周期的により低い重みのコンダクタンス対からより高い重みのコンダクタンス対にウェイトを移行する、同様に非線形のＰＣＭデバイスの２組の対の使用をシミュレートした効果を示す。実効ダイナミック・レンジがより大きく、回路網によって発生された大きなウェイト値が、ＰＣＭデバイスの欠点によって本案でなければ生じたかも知れない意図しないウェイト減損からうまく保護されるので、パフォーマンスが改善される。下側のカーブは、上側のプロットからの同じデータを再プロットしただけであるが、高い正確度値に対し垂直軸を拡大した対数尺度である。
【００３１】
本明細書で説明した本発明の諸実施形態は、異なる重みの符号付きアナログ・コンダクタンス対によって人工ニューロン回路網に対するシナプス・ウェイトを構成するためのシステムおよび方法の効果的実装を提供する。本発明の様々の好適な諸実施形態を示し、説明してきたが、当然のことながら、本発明をかかる実施形態に限定する意図はなく、添付の特許請求の範囲に定義された本発明の範囲内に含まれる全ての修改案を網羅することが意図されている。
【図１】
2020528611.tif 000003
【図２】
2020528611.tif 000004
【図３】
2020528611.tif 000005
【図４】
2020528611.tif 000006
【図５】
2020528611.tif 000007
【図６】
2020528611.tif 000008
【図７】
2020528611.tif 000009
【国際調査報告】
2020528611.tif 000010
2020528611.tif 000011