(57)【特許請求の範囲】
【請求項１】
プロセッサ（５１１）及びメモリ（５１２）を有するコントローラ（５１０）が、メモリスタ神経形態学的回路をトレーニングする方法であって、
メモリスタ神経形態学的回路は、メモリスタ素子（１１３、３１３、４１３）と、メモリスタ素子に接続されるニューロン回路（１１２、１１４、３１２、３１４、４１２、４１４）とを含み、
前記メモリには、コンダクタンス平衡マップが記憶されており、
コンダクタンス平衡マップは、セット電圧とリセット電圧とのコンダクタンス平衡電圧対を含み、セット電圧とリセット電圧のどちらも、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に同じ大きさのコンダクタンス変化を引き起こすように定められたものであり、
前記コントローラが、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加することを備える方法。
【請求項２】
前記コンダクタンス平衡電圧対は、セット電圧の期間、リセット電圧の期間、セット電圧の振幅、及びリセット電圧の振幅の少なくとも１つを調整することによって、メモリスタ素子のコンダクタンスの所定範囲として、同じコンダクタンス変化を引き起こす平衡領域を特定したものであることを含む請求項１の方法。
【請求項３】
前記コンダクタンス平衡マップには、複数のコンダクタンス平衡電圧対が含まれており、
複数のコンダクタンス平衡電圧対は、ある大きさのコンダクタンス変化を引き起こすコンダクタンス平衡電圧対から導出される、異なる大きさのコンダクタンス変化をもたらす別のコンダクンス平衡電圧対を含む請求項１又は２の方法。
【請求項４】
前記別のコンダクタンス平衡電圧対は、外挿により導出されるものである請求項３の方法。
【請求項５】
前記別のコンダクタンス平衡電圧対は、第１のコンダクタンス平衡電圧対と第２のコンダクタンス平衡電圧対とから、内挿により導出されるものである請求項３の方法。
【請求項６】
前記コンダクタンス平衡マップは、単一のコンダクタンス平衡電圧対を含み、
前記単一のコンダクタンス平衡電圧対が、メモリスタ素子のコンダクタンス変化のすべての値に関連付けられることを含む請求項１又は２の方法。
【請求項７】
コンダクタンス平衡マップは、セット電圧及びリセット電圧の両方に対してＶ＝ｆ（ΔＧ）の形式で記憶し、ここで、Ｖは、セット電圧とリセット電圧の一方であり、ΔＧは、セット電圧とリセット電圧によって引き起こされる同じ大きさのコンダクタンス変化であり、そして、ｆ（）は、任意の関数である請求項１乃至６のいずれか１項の方法。
【請求項８】
トレーニング電圧がメモリスタ素子に印加されたときに、メモリスタ素子のコンダクタンスが、コンダクタンスの所定範囲に向かってバイアスされるように、メモリスタ素子を初期コンダクタンスで初期化することをさらに備える請求項１乃至７のいずれか１項の方法。
【請求項９】
ニューロン回路（１１２、１１４、３１２、３１４、４１２，４１４）と、
ニューロン回路に接続されるメモリスタ素子（１１３、３１３、４１３）と、及び
プロセッサ（５１１）とメモリ（５１２）を含むコントローラ（５１０）と、を備え、
メモリは、コンダクタンス平衡マップを記憶するように構成され、及び
コントローラは、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加するように構成され、
コンダクタンス平衡マップは、セット電圧とリセット電圧のコンダクタンス平衡電圧対を含み、セット電圧とリセット電圧のどちらも、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に同じ大きさのコンダクタンス変化を引き起こすように定められているメモリスタ神経形態学的回路。
【請求項１０】
複数のニューロン回路（３１２、３１４、４１２、４１４）が、対応するメモリスタ素子（３１３、４１３）を介して接続される総和オペアンプ回路（３４０、４４０）をさらに備え、
総和オペアンプ回路は、複数のニューロン回路からメモリスタ素子を介して伝送される電圧信号をスケーリングする、調整可能なフィードバック抵抗値を含む請求項９のメモリスタ神経形態学的回路。
【請求項１１】
メモリスタ素子は、ニューロン回路（４１２、４１４）に接続されたメモリスタ素子の差動対（４１３）に含まれる第１メモリスタ素子と第２メモリスタ素子である請求項９又は１０のメモリスタ神経形態学的回路。
【請求項１２】
メモリスタ素子の差動対に接続された差動増幅器（４５０）をさらに備え、その差動増幅器は、第１メモリスタ素子の出力と第２メモリスタ素子の出力との差を計算するように構成された請求項１１のメモリスタ神経形態学的回路。
【請求項１３】
メモリスタ素子の差動対は、メモリスタ素子の複数の差動対のうちの第１差動対であり、及び
メモリスタ素子の複数の差動対はニューロン回路に接続される請求項１１のメモリスタ神経形態学的回路。
【請求項１４】
複数のクロスバーナノワイヤ（３２０、３３０）をさらに備え、
ニューロン回路、メモリスタ素子、及び複数のクロスバーナノワイヤは、クロスバー回路（３００）として一緒に接続される請求項９乃至１３のいずれか１項のメモリスタ神経形態学的回路。
【請求項１５】
ニューロン回路は、入力ニューロンと出力ニューロンとの少なくとも１つを含む請求項９乃至１４のいずれか１項のメモリスタ神経形態学的回路。
【請求項１６】
メモリスタ素子は、入力ニューロンと出力ニューロンとの間に接続される請求項１５のメモリスタ神経形態学的回路。
【請求項１７】
前記総和オペアンプ回路は、
メモリスタ素子と入力ニューロンとの間に接続された第１総和オペアンプ回路と、
メモリスタ素子と出力ニューロンとの間に接続された第２総和オペアンプ回路と、を含む請求項１０のメモリスタ神経形態学的回路。
【請求項１８】
入力ニューロン、第１総和オペアンプ回路、メモリスタ素子、第２総和オペアンプ回路、及び出力ニューロは、単一の集積回路として一体的に形成される請求項１７のメモリスタ神経形態学的回路。
【請求項１９】
プロセッサ（５１１）及びメモリ（５１２）を有するコントローラ（５１０）が、メモリスタ神経形態学的回路をトレーニングするための方法であって、
メモリスタ神経形態学的回路は、メモリスタ素子（１１３、３１３、４１３）と、メモリスタ素子に接続されるニューロン回路（１１２、１１４、３１２、３１４、４１２、４１４）とを含み、
前記メモリには、コンダクタンス平衡マップが記憶されており、
コンダクタンス平衡マップは、第１セット電圧と第１リセット電圧との第１コンダクタンス平衡電圧対、及び第２セット電圧と第２リセット電圧との第２コンダクタンス平衡電圧対を含み、
第１セット電圧は、ニューロン回路に接続されるメモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第１の大きさのコンダクタンス変化を引き起こし、
第１リセット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第２の大きさのコンダクタンス変化を引き起こし、
第２セット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第３の大きさのコンダクタンス変化を引き起こし、
第２リセット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第４の大きさのコンダクタンス変化を引き起こし、
第１の大きさと第２の大きさとの比率が、第３の大きさと第４の大きさとの比率に等しくなるように、第１セット電圧、第１リセット電圧、第２セット電圧、及び第２リセット電圧が定められており、
前記コントローラが、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加する方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１５年７月１３日に出願された米国特許出願番号１４／７９７２６６に基づくものであり、その内容は、ここに参照によって援用される。
【技術分野】
【０００２】
本開示は、ニューラルネットワークを実装するメモリスタ神経形態学的回路、及びメモリスタ神経形態学的回路をトレーニングする方法に関する。
【背景技術】
【０００３】
人工ニューラルネットワークは、生物学的神経処理のモデルとして人工知能の分野で長く使用されてきた。従来、ニューラルネットワークは、中央処理装置（ＣＰＵｓ）や画像処理装置（ＧＰＵｓ）など、伝統的なフォンノイマンアーキテクチャのコンピューティングハードウエアと結合されたソフトウエアに実装されてきた。そのような実装は、膨大な量の記憶領域と電力を必要とする。
【０００４】
従って、より効率的で専用のハードウエア技術の使用に向けての動きが、長年にわたって迫られている。近年では、メモリスタとも呼ばれる、統合されたメモリスタ素子を備えたハイブリッド相補型金属酸化膜半導体（ＣＭＯＳ）回路が、１つの選択肢として浮上している（非特許文献１）。メモリスタ素子は、アナログの形態でシナプス重みをモデル化することができる抵抗スイッチング特性のため、ニューラルネットワークにおけるシナプス重みを実装するのに非常に適している。しかしながら、統合されたメモリスタ素子を備えるニューラルネットワークは、典型的なメモリスタ素子に存在する非線形動特性（非特許文献２）の観点において、ニューラルネットワークのトレーニングに新たな課題をもたらす。
【０００５】
１つのアプローチは、シミュレートされたニューラルネットワークがソフトウエアでトレーニングされるｅｘ−ｓｕｉｔトレーニングを実施することであり、その後、重みは、ＣＭＯＳ−メモリスタハードウエアに導入される（非特許文献３）。しかしながら、このアプローチは、オンライントレーニングが実行されないので、ハードウエアのばらつきを十分に考慮していない可能性がある点で懸念がある。その結果、ハードウエアニューラルネットワークはソフトウエアシミュレーションに対してアンダーパフォームする懸念がある。
【０００６】
逆に、ＣＭＯＳ−メモリスタハードウエアのｉｎ−ｓｕｉｔトレーニングを実行する１つのアプローチは、メモリスタ素子の非線形動特性を考慮するために、閉ループのチューニング制御の実行を含む（非特許文献３，４）。この場合、ｉｎ−ｓｕｉｔトレーニングアプローチは、より複雑な多層のニューラルネットワークに対して、あるいはより複雑なトレーニングアルゴリズム（例えば、逆伝播法、非特許文献５参照）であると、実行できない可能性があることが懸念される。これは、閉ループのチューニング制御プロセスが時間がかかるものであり、フィードバック回路が複雑になるためである。その結果、このアプローチでは実用的な速度で調整できない可能性があり、従って、より厳しい要求のアプリケーション（例えば、自動車や航空機）に対して強力な解決策を提供できない可能性があることが懸念される。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】K. K. Likharev, CrossNets: Neuromorphic hybrid CMOS/nanoelectronic networks, Sci. Adv. Mater., vol. 3, pp. 322-331, Jun. 2011.
【非特許文献２】F. Merrikh-Bayat et al. A phenomenological model of memristive behavior in Pt/TiO2-x/Pt devices, accepted to Applied Physics A, 2014.
【非特許文献３】F. Alibart et al., Pattern classification by memristive crossbar circuits using ex-situ and in-situ training, Nature Comm., vol. 4, art. 2071, 2013.
【非特許文献４】F. Alibart et. al., High precision tuning of state for memristive devices by adaptable variation-tolerant algorithm, Nanotechnology, vol. 23, p. 075201, 2012.
【非特許文献５】Y. LeCun et. al., Efficient backprop, in Neural Networks: Tricks of the trade (G. Orr and M. K., eds.), Springer, 1998.
【発明の概要】
【０００８】
本開示の第１の態様において、プロセッサ及びメモリを有するコントローラが、ニューロン回路と、そのニューロン回路に接続されたメモリスタ素子と、を含むメモリスタ神経形態学的回路をトレーニングするための方法が提供される。メモリには、コンダクタンス平衡マップが記憶されており、コンダクタンス平衡マップは、セット電圧とリセット電圧とのコンダクタンス平衡電圧対を含む。コンダクタンス平衡電圧対のセット電圧とリセット電圧のどちらも、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に同じ大きさのコンダクタンス変化を引き起こすように定められたものである。コントローラは、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加する。
【０００９】
本開示の第２の態様において、メモリスタ神経形態学的回路が提供される。メモリスタ神経形態学的回路は、ニューロン回路と、ニューロン回路に接続されるメモリスタ素子と、ＣＰＵ及びメモリを備えたコントローラとを含む。メモリは、コンダクタンス平衡マップを記憶するように構成され、コントローラは、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加するように構成される。ここで、コンダクタンス平衡マップは、セット電圧とリセット電圧のコンダクタンス平衡電圧対を含み、セット電圧とリセット電圧のどちらも、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に実質的に同じ大きさのコンダクタンス変化を引き起こすように定められている。
【００１０】
本開示の第３の態様において、プロセッサ及びメモリを有するコントローラが、ニューロン回路と、そのニューロン回路に接続されたメモリスタ素子と、を含むメモリスタ神経形態学的回路をトレーニングするための方法が提供される。メモリには、コンダクタンス平衡マップが記憶されており、コンダクタンス平衡マップは、第１セット電圧と第１リセット電圧との第１コンダクタンス平衡電圧対、及び第２セット電圧と第２リセット電圧との第２コンダクタンス平衡電圧対を含む。第１セット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第１の大きさのコンダクタンス変化を引き起こし、第１リセット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第２の大きさのコンダクタンス変化を引き起こす。第２セット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第３の大きさのコンダクタンス変化を引き起こし、第２リセット電圧は、メモリスタ素子に印加されたとき、メモリスタ素子のコンダクタンスの所定範囲にわたってメモリスタ素子に第４の大きさのコンダクタンス変化を引き起こす。第１の大きさと第２の大きさとの比率が、第３の大きさと第４の大きさとの比率に等しくなるように、第１セット電圧、第１リセット電圧、第２セット電圧、及び第２リセット電圧が定められている。コントローラは、コンダクタンス平衡マップに基づいて、メモリスタ素子にトレーニング電圧を印加する。
【００１１】
本開示のさらに他の目的、利点および特徴は、明細書および図面を検討した後に明らかになるであろう。
【図面の簡単な説明】
【００１２】
【図１】図１は、本開示によるニューラルネットワークを示す概略図である。
【図２】図２は、本開示の第１実施形態によるメモリスタ神経形態学的回路を示す概略図である。
【図３】図３は、メモリスタ素子のコンダクタンス変化曲線を示すグラフである。
【図４】図４は、第１実施形態によるトレーニングプロセスを示すフローチャートである。
【図５】図５は、第１実施形態による、コンダクタンス平衡電圧対を示すグラフである。
【図６Ａ】図６Ａは、コンダクタンス不平衡電圧対の参考例を示すグラフである。
【図６Ｂ】図６Ｂは、コンダクタンス不平衡電圧対の参考例を示すグラフである。
【図７】図７は、第１実施形態によるコンダクタンス平衡マップを示すグラフである。
【図８Ａ】図８Ａは、図５に示される電圧対を用いたトレーニング結果を示すグラフである。
【図８Ｂ】図８Ｂは、図６Ａに示される電圧対を用いたトレーニング結果を示すグラフである。
【図８Ｃ】図８Ｃは、図６Ｂに示される電圧対を用いたトレーニング結果を示すグラフである。
【図９】図９は、本開示の第２実施形態によるメモリスタ神経形態学的回路を示す斜視図である。
【図１０】図１０は、第２実施形態のメモリスタ神経形態学的回路を示す概略図である。
【図１１】図１１は、本開示の第３実施形態によるメモリスタ神経形態学的回路を示す概略図である。
【図１２】図１２は、本開示の第４実施形態による初期コンダクタンス示すグラフである。
【図１３】図１３は、本開示による制御システムを示す概略図である。
【発明を実施するための形態】
【００１３】
本開示の第１実施形態が、図１〜８を参照して説明される。
【００１４】
図１は、人工ニューラルネットワーク１０を示す概略図である。ニューラルネットワーク１０は、入力１１，入力ニューロン１２、重み１３，出力ニューロン１４、及び出力１５を含む。ここで、図１は、ニューラルネットワーク１０の代表的な一対の層を示している。換言すると、図１は、１つの入力層と１つの出力層を示しているが、入力ニューロン１２は、（図示されない）ニューロンの前の層からの出力としての入力１１を受領しても良い。同様に、出力ニューロン１４は、（図示されない）ニューロンの後ろの層へ入力される出力１５を出力しても良い。このように、本明細書で使用される入力及び出力との用語は、相対的な用語であり、入力ニューロン１２は最初の層あるいは隠れ層であってもよいことを意味し、同様に、出力ニューロンは、最後の層あるいは隠れ層であっても良いことを意味する。
【００１５】
入力１１は、個々の入力ｘ１、ｘ２などをｘｎまで含み、入力ニューロン１２のそれぞれに入力される。そして、入力ニューロン１２は、シナプスと呼ばれることもある重み１３を介して出力ニューロン１４に接続される。その後、出力１５が、出力ニューロン１４から出力される。具体的には、出力ニューロン１４の各々が、それぞれ個々の出力ｙ１、ｙ２、などをｙｎまで出力するように構成されている。入力ニューロン１２と出力ニューロン１４とはノードと呼ばれることがあり、重み１３はシナプスと呼ばれることがある。
【００１６】
図１において、入力ニューロン１２と出力ニューロン１４とは、非繰り返しの、完全接続構成で示されている。しかしながら、この型式は代表的なものであって、種々の他の型式が考えられる。本明細書で使用される代表的なものとは、例としての役割を果たすことを意味し、必ずしも好ましいまたは有利な態様と解釈される必要はない。
【００１７】
本実施形態において、ニューラルネットワーク１０は、ハイブリッドＣＭＯＳ−メモリスタ型回路であるメモリスタ神経形態学的回路１００として物理的に実現されている。図２は、本実施形態によるメモリスタ神経形態学的回路１００の一部を示す概略図である。メモリスタ神経形態学的回路１００は、メモリスタ素子１１３を通じて出力ニューロン１１４に接続される入力ニューロン１１２を含む。入力ｘｉ及び出力ｙｉは電圧信号である。ここで、入力ニューロン１１２と出力ニューロン１１４はＣＭＯＳ素子である。入力ニューロン１１２は、ニューロン回路として物理的に実現される。具体的には、入力ニューロン１１２は、好ましくは、入力ｘｉを変換する活性化関数φ（又は入力−出力関数）を有する集積回路（ＩＣ）である。活性化関数φは、線形、ロジスティックシグモイド、双曲線正接、正規化線形、または様々な活性化関数のいずれか１つであってもよい。活性化関数φは、入力ニューロン１１２と出力ニューロン１１４に対して同じであっても良いし、異なっていても良い。
【００１８】
入力ニューロン１１２は、メモリスタ素子１１３へ変換された電圧信号を出力する。加えて、入力ニューロン１１２は、活性化関数φに先立って、そこに入力されたすべての信号を合計する総和関数を含んでも良い。あるいは、総和関数は、別個の回路（例えば、総和オペアンプ回路）として実現されてもよい。本実施形態においては、出力ニューロン１１４も、ニューロン回路として実現され、入力ニューロン１１２と同じ構成を有している。しかしながら、これに限定されず、出力ニューロン１１４の構成は、例えば、総和関数を含むか含まないかによって異なっていてもよい。入力ニューロン１１２及び出力ニューロン１１４の入力および出力を読み取るために、センシング回路（図示せず）が設けられることが好ましい。
【００１９】
さらに図２を参照すると、本実施形態のメモリスタ素子１１３は、最小値ＧＭＩＮと最大値ＧＭＡＸとの間で、可逆的かつ連続的に調整可能なコンダクタンスＧを有するバイポーラメモリスタ素子である。本実施形態においては、メモリスタ素子１１３は、好ましくは、Ｐｔ／ＴｉＯ２−Ｘ／Ｐｔ金属酸化物素子であるが、代替的に、異なる金属酸化物素子、相変化メモリ、磁気トンネル接合メモリセル、固体抵抗スイッチング素子などとして実現されても良い。
【００２０】
メモリスタ素子１１３のコンダクタンスＧは、ニューラルネットワーク１０において重みｗｉとして働く。具体的には、ニューラルネットワーク１０がパターンを分類するとき、入力ニューロン１１２からの入力電圧信号が、オームの法則に従って、メモリスタ素子１１３のコンダクタンスＧによってリニアにスケーリングされ、出力ニューロン１１４へ送られる。同様に、ニューラルネットワーク１０が、例えば逆伝播によってトレーニングされる場合、誤差がニューラルネットワーク１０内を逆伝播されるときに、出力ニューロン１１４からの誤差信号が、メモリスタ素子１１３のコンダクタンスＧによってリニアにスケーリングされ、入力ニューロン１１２に送られる。ニューラルネットワーク１０のトレーニングの間、メモリスタ素子１１３のコンダクタンスＧは、トレーニングルールに従って調整されることができる。本実施形態では、トレーニングルールは、好ましくは逆伝播であるが、人工ニューラルネットワークの分野において公知である任意のトレーニングルールであっても良い。
【００２１】
一般的に、メモリスタ素子１１３のコンダクタンスＧは、負のトレーニング電圧ＶＳＥＴが印加されたときに増加され（すなわち、セットされ）、正のトレーニング電圧ＶＲＥＳＥＴが印加されたときに減少される（すなわち、リセットされる）。以下では、簡単化のため、ＶＳＥＴ及びＶＲＥＳＥＴが、表記が明示されることなく、それぞれの振幅に関して説明される。図２において、ＶＳＥＴ及びＶＲＥＳＥＴは、メモリスタ素子１１３へ直接的に印加されるように示されている。これは、入力ニューロン１１２及び出力ニューロン１１４の活性化関数φによってＶＳＥＴ及びＶＲＥＳＥＴ電圧信号自体が変換されないように行われる。もしくは、入力ニューロン１１２及び出力ニューロン１１４が、線形、またはほぼ線形の活性化関数φで構成されている場合、ＶＳＥＴ及びＶＲＥＳＥＴ電圧信号は、代わりに、入力ニューロン１１２及び出力ニューロン１１４を介して送信されてもよい。
【００２２】
概して、メモリスタ素子１１３におけるコンダクタンス変化ΔＧは、そこに印加されるトレーニング電圧Ｖの積分に依存する。しかしながら、メモリスタ素子１１３の内部動特性が非常に非線形であり、その結果、メモリスタ素子１１３のコンダクタンス変化ΔＧは、メモリスタ素子１１３自体の瞬間的なコンダクタンスＧにも依存する。具体的には、ΔＧは数式１として与えられる。
（数１）    ΔＧ＝ｆ（Ｇ、Ｖ、Δｔ）
ここで、Ｇはメモリスタ素子１１３自体の瞬時コンダクタンス、Ｖは印加されるトレーニング電圧信号（トレーニング電圧信号の振幅と符号の両方を包含する）、及びΔｔはトレーニング電圧信号が印加される期間である。以下では、簡単化のため、ΔＧが、表記が明示されることなく、その大きさに関して説明される。
【００２３】
図３は、メモリスタ素子１１３に印加されたときの、メモリスタ素子１１３の瞬時コンダクタンスＧの範囲にわたる、複数の異なるトレーニング電圧信号の代表的なコンダクタンス変化曲線を示している。具体的には、図３は、種々の振幅のトレーニング電圧信号がメモリスタ素子１１３に印加されたときの、コンダクタンス変化ΔＧと瞬時コンダクタンスＧとの関係を示している。
【００２４】
図３において、印加されるトレーニング電圧信号の振幅及び符号の影響を分離するために、全てのトレーニング電圧信号は所定の期間Δｔ（例えば、１０μｓ）だけ印加される。なお、図３に示されるトレーニング電圧信号は、例示の目的のために任意に選択されたものであり、それゆえ、限定するものとして解釈されるべきではないことに注意すべきである。同様に、図３における、コンダクタンス変化曲線の特定の形状は、典型的なものではあるが、それにも係わらずメモリスタ素子固有のものであり、それゆえ、同じく本質的に例示的なものである。例えば、等しく本実施形態に適用可能な異なるメモリスタ素子では、ＶＳＥＴのコンダクタンス変化曲線が、瞬時コンダクタンスＧがＧＭＡＸに近づくにつれて減少するかもしれない。
【００２５】
図３に示されるように、与えられた任意のトレーニング電圧信号について、メモリスタ素子１１３のコンダクタンス変化ΔＧは、メモリスタ素子１１３自体の瞬時コンダクタンスＧに依存する。さらに、メモリスタ素子１１３自体の任意の瞬時コンダクタンスＧにおいて、メモリスタ素子１１３のコンダクタンス変化ΔＧは、印加されるトレーニング電圧信号の大きさと符号の両方に依存する。その上、コンダクタンス変化曲線は、メモリスタ素子１１３のコンダクタンス変化ΔＧが、それらのパラメータのいずれに関しても線形ではないことを示している。
【００２６】
図３は、ＶＳＥＴが閾値電圧ＶＳＥＴＴＨよりも低いとき、又はＶＲＥＳＥＴが閾値電圧ＶＲＥＳＥＴＴＨよりも低いとき、メモリスタ素子１１３のコンダクタンス変化ΔＧが、Ｇの全範囲においてゼロであることも示している。この特有の非線形性は、メモリスタ素子１１３のコンダクタンスＧが、選択的に、（すなわち、閾値電圧よりも低い電圧信号を印加することによって）読み出され、または、（すなわち、閾値電圧を超える電圧信号を印加することによって）書き込まれることが可能となることにより有用である。特に、閾値電圧よりも低い電圧信号で読み出すとき、メモリスタ素子１１３の瞬時コンダクタンスＧは乱されない。
【００２７】
より具体的には、メモリスタ素子１１３のコンダクタンスＧを読み出すとき、読出閾値電圧ＶＲＥＡＤＴＨ以下の振幅を持った読出電圧ＶＲＥＡＤがメモリスタ素子１１３に印加される。ここで、コンダクタンスは無指向性であり、オームの法則を用いていずれの方向に測定してもよいので、ＶＲＥＡＤの方向性は正または負のいずれかとして設定することができる。ＶＲＥＡＤが正の信号として設定されたとき、ＶＲＥＡＤＴＨの振幅は、ＶＲＥＳＥＴＴＨの振幅以下にセットされる。逆に、ＶＲＥＡＤが負の信号として設定されたとき、ＶＲＥＡＤＴＨの振幅は、ＶＳＥＴＴＨの振幅以下にセットされる。ＶＲＥＡＤの方向性は任意に設定可能であるので、以下に用いられるＶＲＥＡＤは、正または負の読み出し信号のいずれを指すものであっても良い。
【００２８】
実際には、ＶＲＥＡＤＴＨは、概して安全マージン分だけＶＳＥＴＴＨ又はＶＲＥＳＥＴＴＨよりも低くセットされ、それにより、メモリスタ素子１１３のコンダクタンスＧを読み出すときに、メモリスタ素子１１３のコンダクタンスＧが意図せずに変化しないようにすることができる。これは、ＶＳＥＴＴＨ及びＶＲＥＳＥＴＴＨの値が、複数のメモリスタ素子間で変化し得るとともに、印加される電圧信号の異なる期間Δｔでも変化し得るためである。１つの例示的な設定において、特定のＰｔ／ＴｉＯ２−Ｘ／Ｐｔ金属酸化物素子は、それぞれ−０．８Ｖ及び１．３５ＶのＶＳＥＴＴＨ値及びＶＲＥＳＥＴＴＨ値を有することが分かっている。この特定のＰｔ／ＴｉＯ２−Ｘ／Ｐｔ金属酸化物素子のコンダクタンスＧを読み出すときに安全マージンを確保するために、読出閾値電圧ＶＲＥＡＤＴＨの大きさが０．５Ｖ、すなわち、実質的に、ＶＳＥＴＴＨ及びＶＲＥＳＥＴＴＨの公称値よりも低くセットされる。ここで、様々な安全マージンを使用することができ、より大きいか小さい安全マージンを使用するか、または安全マージンをまったく使用しない他の設定も考えられる。
【００２９】
図３に戻り、上述したように、すべてのコンダクタンス変化曲線は、同じ所定の期間Δｔだけ印加される電圧信号から得られる。ここで、電圧信号の期間Δｔを変化させることは、得られるコンダクタンス変化ΔＧをリニアにスケーリングするものとして近似することができる。換言すれば、図３に示されるコンダクタンス変化曲線の振幅は、Ｇの全範囲にわたって線形係数によってスケーリングされうる。これは、本実施形態では、コンダクタンスの変化率ΔＧ／Δｔが、印加されるトレーニング電圧の期間Δｔにわたってほぼ一定であるＧの全範囲と比較して、コンダクタンス変化ΔＧの大きさが十分に小さいためである。
【００３０】
図４は、メモリスタ素子１１３の上述した特性を用いて、本実施形態によるコンダクタンス平衡マップを提供するプロセス２００を示すフローチャートである。プロセス２００は、特定の行為主体に限定されるものとして解釈されるべきではない。例えば、後述される１つの実施形態では、プロセス２００の１つ以上のステップ又はサブステップが、自動的に又はそれ以外の方法でコントローラによって実行され得る。しかし、様々な行為主体、及びそれらの組み合わせが考えられる。
【００３１】
プロセス２００は、ステップ２１０で始まる。ステップ２１０では、セット電圧ＶＳＥＴ及びリセット電圧ＶＲＥＳＥＴを含む電圧対が選択される。ＶＳＥＴ及びＶＲＥＳＥＴの振幅値は、任意に選択することができる。あるいは、ＶＳＥＴ及びＶＲＥＳＥＴの振幅値は、ニューラルネットワーク１０の物理的制約に基づいて、所定範囲の振幅から選択されてもよい。ＶＳＥＴ及びＶＲＥＳＥＴの期間Δｔも任意に選択されることができる。あるいは、ＶＳＥＴ及びＶＲＥＳＥＴは、同じ所定期間Δｔを持つように選択されても良い。電圧対を選択後、プロセス２００は、ステップ２２０へ進む。
【００３２】
ステップ２２０においては、選択された電圧対ＶＳＥＴ及びＶＲＥＳＥＴの期間Δｔが、ＶＳＥＴ及びＶＲＥＳＥＴがコンダクタンス平衡されるように個別に調整される。具体的には、選択されたＶＳＥＴの期間Δｔだけが調整されても良いし、選択されたＶＲＥＳＥＴの期間Δｔだけが調整されても良いし、あるいは両方が調整されても良い。ここで、コンダクタンス平衡とは、メモリスタ素子１１３の瞬時コンダクタンスＧの所定範囲にわたって、実質的に同じ大きさのコンダクタンス変化ΔＧをメモリスタ素子１１３にもたらすことを指す。従って、ステップ２１０と２２０は、集合的に、コンダクタンス平衡対を提供する。
【００３３】
図５は、セット電圧ＶＳＥＴとリセット電圧ＶＲＥＳＥＴの代表的なコンダクタンス平衡電圧対のコンダクタンス変化曲線を示している。この場合、セット電圧ＶＳＥＴとリセット電圧ＶＲＥＳＥＴの期間Δｔは、それぞれ、１０μｓと２μｓに設定されている。それらの値は、素子固有のものであり、例証的なものである。図５に示されるように、セット電圧ＶＳＥＴとリセット電圧ＶＲＥＳＥＴの期間Δｔを調整することにより、選択された電圧対ＶＳＥＴとＶＲＥＳＥＴのコンダクタンス変化曲線は、メモリスタ素子１１３の瞬時コンダクタンスＧの値の重なり合う範囲において、実質的に等しくなるように設定することができる。この重なり合う範囲は、図５において、平衡領域２５０として示されている。換言すれば、平衡領域２５０において、図５のＶＳＥＴ電圧とＶＲＥＳＥＴ電圧は、メモリスタ素子１１３において、実質的に同じ大きさのコンダクタンス変化ΔＧをもたらす。本実施形態では、ニューラルネットワークの重み１３が、メモリスタ素子１１３として実現されたとき、ニューラルネットワーク１０のトレーニングの間に、コンダクタンスＧの範囲にわたって、自由に決定することができるように、平衡領域２５０は、十分に広く設定される。
【００３４】
本実施形態では、コンダクタンス平衡の特性は、実質的に同じや十分に広いなどの用語にて説明される。これらの用語は、ハイブリッドＣＭＯＳ−メモリスタ回路の本質的に非線形の性質、及び一般にニューラルネットワークの本質的に近似的な性質のために意図的に使用される。図５における代表的な電圧対のコンダクタンス平衡特性を明確に説明するために、対照的な参考例が与えられ、図６Ａ及び６Ｂに示される。具体的には、図６Ａ及び６Ｂは、コンダクタンス不平衡電圧対を示す参考例である。
【００３５】
ここで、図６Ａは、ＶＳＥＴとＶＲＥＳＥＴのコンダクタンス変化曲線が、Ｇの全範囲にわたって明らかに離れている電圧対を示す。換言すれば、メモリスタ素子１１３のすべての瞬時コンダクタンスＧにて、ＶＳＥＴ電圧によって引き起こされるコンダクタンス変化ΔＧＳＥＴは、ＶＲＥＳＥＴ電圧によって引き起こされるコンダクタンス変化ΔＧＲＥＳＥＴよりも大きい。この場合、メモリスタ素子１１３の瞬時コンダクタンスＧはＳＥＴプロセスのために強くバイアスされ、それにより、ＧＭＡＸに向かって崩れる可能性がある。
【００３６】
逆に、図６Ｂは、ＶＳＥＴとＶＲＥＳＥＴのコンダクタンス変化曲線が、２つの異なる交点、すなわち、ΔＧＳＥＴ＝ΔＧＲＥＳＥＴの２点で交差する電圧対を示す。この場合、メモリスタ素子１１３の瞬時コンダクタンスＧは、たとえ望ましい収束値が異なっていても、それらの交点で収束する方向に、強くバイアスされる。換言すれば、図５の電圧対は、コンダクタンスが平衡されているのに対し、図６Ａ及び図６Ｂのものは、そうなっていない。コンダクタンス平衡の特性は、後に図８にてさらに説明される。
【００３７】
図４に戻り、コンダクタンス平衡電圧対がステップ２２０にて得られた後、プロセス２００は、ステップ２３０に進む。ステップ２３０では、ステップ２２０で得られたコンダクタンス平衡電圧対が、異なる振幅を有し、かつΔＧ=ΔＧＳＥＴ=ΔＧＲＥＳＥＴである異なるコンダクタンス変化をもたらすＶＳＥＴとＶＲＥＳＥＴの追加のコンダクタンス平衡電圧対を導出するために使用することができる。具体的には、ステップ２２０のコンダクタンス平衡電圧対に基づいて、コンダクタンスが平衡されたＶＳＥＴとＶＲＥＳＥＴとのペアの範囲が、コンダクタンスの変化ΔＧ=ΔＧＳＥＴ=ΔＧＲＥＳＥＴの範囲と関連付けられる。それらの範囲は、離散値として得られても良いし、または、連続関数として得られても良い。次に、プロセス２００はステップ２４０に進み、ＶＳＥＴ、ＶＲＥＳＥＴ、及びΔＧの範囲が、ＶＳＥＴとＶＲＥＳＥＴの両方に対して、下記の数式２の関係を定義するコンダクタンス平衡マップとして記憶される。
（数２）    Ｖ＝ｆ（ΔＧ）
ステップ２４０において、コンダクタンス平衡電圧対と、導出された電圧対とは、所定範囲ＶＳＥＴＭＩＮからＶＳＥＴＭＡＸ、ＶＲＥＳＥＴＭＩＮからＶＲＥＳＥＴＭＡＸ内となるようにトリミングされても良い。それらの範囲は、物理的制約に基づき設定されても良い。例えば、最小値は、すべてのコンダクタンス平衡電圧対がメモリスタ素子１１３にコンダクタンス変化を引き起こすことを確保するために、ＶＳＥＴＴＨ及びＶＲＥＳＥＴＴＨ以上となるように設定されても良い。最大値は、例えば、ニューラルネットワーク１０に固有のブレークダウン電圧より小さくなるように設定されても良い。
【００３８】
数式２において、ＶＳＥＴとＶＲＥＳＥＴは、ΔＧで定義される。上記の数式１と比較すると、ＧとΔｔの項は、数式２から除かれている。具体的には、ステップ２２０で、選択された電圧対ＶＳＥＴとＶＲＥＳＥＴのΔｔが、個別に調整され、特定の値に設定され、それゆえ既知であるため、Δｔの項が除かれる。さらに、マッピングされた電圧対は、コンダクタンスが平衡されており、従って、数式２は、Ｇのすべての値にわたって有効であるとみなし得るので、Ｇの項が除かれている。図５の例示のコンダクタンス平衡電圧対は、Ｇのすべての可能な値にわたって平衡されていない（むしろ平衡領域２５０にわたってだけ平衡されている）コンダクタンス変化曲線を示されているが、後に説明する実験結果は、平衡領域２５０が十分に広ければ、数式２がＧのすべての値にわたって有効であると近似され得ることを示している。
【００３９】
本実施形態において、コンダクタンス平衡マップは、様々な方法で導き出すことができる。本実施形態の一態様においては、コンダクタンス平衡マップは、外挿によって導出されても良い。具体的には、図４のステップ２２０で得られたコンダクタンス平衡電圧対の振幅が、ＶＳＥＴとＶＲＥＳＥＴの期間Δｔの比率を維持しながら、所定の係数によってリニアにスケーリングされても良い。次に、リニアにスケーリングされた電圧対は、同様に所定の係数に基づきスケーリングされたそれぞれのコンダクタンス変化ΔＧ=ΔＧＳＥＴ=ΔＧＲＥＳＥＴと関連付けられる。外挿されるすべての電圧ペアに対してＶＳＥＴとＶＲＥＳＥＴの期間Δｔの比率を維持し、かつ適切なスケーリング係数を使用することにより、外挿される電圧ペアもコンダクタンスがバランスされる。換言すれば、ステップ２２０で得られたコンダクタンス平衡電圧対から、多数の追加のコンダクタンス平衡電圧対が外挿により推定され、コンダクタンス平衡マップに記憶される。この外挿のプロセスは、メモリスタ素子１１３の事前の特性評価から得られる、ＶＳＥＴ、ＶＲＥＳＥＴ、及びΔＧに対する所定のスケーリング係数を用いる。
【００４０】
本実施形態の別の態様においては、コンダクタンス平衡マップは内挿によって導出されても良い。具体的には、図４の選択及び平衡化ステップ２１０、２２０が、各々の電圧対がＶＳＥＴとＶＲＥＳＥＴの同じ期間Δｔの比率を有する、ＶＳＥＴとＶＲＥＳＥＴのための最小値と最大値におけるそれぞれのコンダクタンス平衡電圧対を提供するために繰り返されてもよい。次に、それら最小値及び最大値のコンダクタンス平衡電圧対を用いて、その間にある電圧値が、ＶＳＥＴとＶＲＥＳＥＴの期間Δｔの比率を維持しながら、直接的に補間されても良い。加えて、間にある電圧対のコンダクタンス変化ΔＧ=ΔＧＳＥＴ=ΔＧＲＥＳＥＴも、最小値及び最大値のコンダクタンス平衡電圧対のコンダクタンス変化ΔＧから直接的に補間されても良い。この内挿のプロセスは、Ｖ（すなわち、ＶＳＥＴ、ＶＲＥＳＥＴの各々）とΔＧとの関係を線形、対数、異なる関数の組み合わせなどの関数としてモデル化することにより、所定のスケーリング係数を用いることなく実行され得る。加えて、補間の正確さは、追加の、間にあるコンダクタンス平衡電圧対を提供するために、図４のステップ２１０、２２０を繰り返すことによって改善され得る。この場合、内装のプロセスは、複数の小さい範囲に分割されても良い。
【００４１】
本実施形態のさらに別の態様においては、コンダクタンス平衡マップは、直接の記憶によって導出されても良い。具体的には、図４の選択および平衡化ステップ２１０、２２０は、複数のコンダクタンス平衡電圧対を提供するために、広範囲の電圧値にわたって十分な回数繰り返されてもよい。この場合、複数のコンダクタンス平衡電圧対は、コンダクタンス平衡マップとして直接記憶される。ＶＳＥＴ、ＶＲＥＳＥＴ、及びΔＧの範囲は、従って、離散値、すなわちステップ２１０、２２０を繰り返すことから直接的に得られるものとして提供される。コンダクタンス平衡マップの値は直接記憶されるので、この直接の記憶のプロセスは、所定のスケーリング係数を用いることなく、及び、ＶＳＥＴ、ＶＲＥＳＥＴ、及びΔＧのいずれも関数としてモデル化することなく実行され得る。しかしながら、代わりに、
ＶＳＥＴ、ＶＲＥＳＥＴ、及びΔＧの離散値に対してカーブフィッティングが実行され、ＶとΔＧとの関係を関数としてモデル化しても良い。カーブフィッティングが実行されるとき、直接記憶導出プロセスは、上述した補間導出プロセスと等価であるとみなすことができる。
【００４２】
本実施形態のさらに別の態様においては、コンダクタンス平衡マップはデータマスキングによって導出されても良い。つまり、追加のコンダクタンス平衡電圧対を導出する代わりに、ステップ２１０、２２０によって提供される単一のコンダクタンス平衡電圧対が、ＶＳＥＴ及びＶＲＥＳＥＴのすべての値をマスクするために使用されても良い。具体的には、ステップ２１０、２２０がマスクする電圧対を得るために１回実行され、このマスクする電圧対がΔＧのすべての値に関連付けられる。換言すると、コンダクタンス変化ΔＧの（例えば、トレーニングルールに従う）所望の値に係わらず、マスクする電圧対が使用される。その結果、所望のコンダクタンス変化ΔＧの符号情報のみが効果的に使用される。もし所望のコンダクタンス変化ΔＧが正であるならば、たとえΔＧ！＝ΔＧＳＥＴであったとしても、マスクしている電圧対のＶＳＥＴが使用される。もし所望のコンダクタンス変化ΔＧが負であるならば、たとえΔＧ！＝ΔＧＲＥＳＥＴであったとしても、マスクしている電圧対のＶＲＥＳＥＴが使用される。そのようなコンダクタンス平衡マップを使用することは、固定振幅制御スキームとなる結果を効果的にもたらす。あるいは、コンダクタンス平衡マップは、マスクした電圧対を含み、特定のマスキングステップは実行されなくても良い。さらに、代替として、図４のステップ２１０、２２０が数回繰り返され、複数のマスクする電圧対を得て、それぞれのマスクする電圧対がＶＳＥＴ及びＶＲＥＳＥＴのサブ範囲をマスクするために使用されても良い。
【００４３】
代表的なコンダクタンス平衡マップが図７にグラフの形態で示されている。この例では、複数のコンダクタンス平衡電圧対に対して、ＶＳＥＴ及びＶＲＥＳＥＴの振幅がΔＧの対数に比例することを決定するべく、カーブフィッティングが実行される。さらに、図７の例では、ＶＳＥＴは、０．８Ｖの最小値から１．５Ｖの最大値までの範囲にわたるものとして示されており、その一方、ＶＲＥＳＥＴは、１．５Ｖの最小値から２．８Ｖの最大値までの範囲にわたるものとして示されている。この例において、上記の数式２の関数は、Ｖ＝ａ＊ｌｏｇｅ（ΔＧ）＋ｂの形態となり、ここで、ａ及びｂはそれぞれスケーリング値及びオフセット値であり、ＶＳＥＴとＶＲＥＳＥＴに対して異なる。図７は、説明的、かつ、素子固有のものであり、したがって、限定するものとして解釈されるべきではない。
【００４４】
図７のようなコンダクタンス平衡マップが得られた後、ニューラルネットワーク１０は、人工ニューラルネットワークの分野において知られている様々な方法でトレーニングされることができる。具体的には、コンダクタンス平衡マップは、上記の数式２に示されるように、ΔＧの関数としてＶＳＥＴ及びＶＲＥＳＥＴの値を提供する。この場合、シナプス（例えば、メモリスタ素子１１３）の重み（コンダクタンス）が、逆伝播のようなトレーニング方法に従い変更されるべきときに、適切なＶＳＥＴ及びＶＲＥＳＥＴの値がコンダクタンス平衡マップから素早く直接的に得ることができ、トレーニングされるべきシナプスに対応するメモリスタ素子１１３に適用することができる。これは、数式２により、トレーニングされるべきメモリスタ素子１１３の瞬時コンダクタンスＧが既知である必要がないためである。
【００４５】
その結果、複雑な閉ループ又はフィードバック制御回路が、ニューラルネットワーク１０をトレーニングするために必要とされない。従って、ニューラルネットワーク１０の複雑さ、コスト、および計算時間が低減される。このような理由のため、本実施形態のトレーニング方法は、高度に非線形で、リカレントなディープニューラルネットワークを含む多層メモリスタ神経形態学的ニューラルネットワークに効率的にスケーリングして適用することができる。その上、本実施形態のトレーニング方法がハードウエアメモリスタ素子自体に対して実行される（すなわち、シミュレーションに代わるｉｎ−ｓｕｉｔトレーニング）ので、そのようなｉｎ−ｓｕｉｔトレーニングは、ハードウエア変数および欠陥が自動的に考慮されつつ、ニューラルネットワーク１０が望ましい状態に収束することを確実にする。さらに、本実施形態のコンダクタンス平衡マップを実装するメモリスタ神経形態学的回路は、少なくともこれらの同じ利点を享受する。
【００４６】
また、どのようなコンダクタンス平衡マップが導出されたかに依存して、異なるタイプのトレーニングがニューラルネットワーク１０において実行されても良い。例えば、コンダクタンス平衡マップが上述したデータマスキングによって導出された場合、固定振幅トレーニングプロセスがニューラルネットワーク１０において実行されても良い。具体的には、所望のコンダクタンス変化ΔＧに基づくＶＳＥＴ又はＶＲＥＳＥＴの特定の値を取得する代わりに、所望のコンダクタンス変化ΔＧの符号のみが使用される（すなわち、メモリスタ素子１１３のコンダクタンスは増加すべきか減少すべきか）。この符号情報に基づき、所定の振幅を有し、適切な符号の電圧信号がメモリスタ素子１１３に印加される。この場合、ニューラルネットワーク１０の複雑さ、コスト、および計算時間がより一層低減される。
【００４７】
加えて、本実施形態のコンダクタンス平衡マップは、複雑さ、コスト、及び計算時間を低く維持しながら、精度の高いニューラルネットワーク１０をトレーニングする方法を提供する。具体的には、本実施形態のコンダクタンス平衡マップのコンダクタンス平衡特性は、ニューラルネットワーク１０を所望の値に収束する際に、重み１３の変化を劇的に改善する。この点を説明するために、図８Ａ、８Ｂ及び８Ｃは、固定振幅トレーニングプロセス中に、コンダクタンス不平衡電圧対を印加したときと、コンダクタンス平衡電圧対を印加したときの、ニューラルネットワーク１０の収束を比較する例証的な実験結果を示している。
【００４８】
図８Ａ、８Ｂ及び８Ｃに示されるデータは、５０個のエポック（すなわち、５０バッチ）にわたる、多層パーセプトロン（ＭＬＰ）のｉｎ−ｓｉｔｕバッチトレーニングによって生成されたものである。ＭＬＰには３００ニューロンからなる１つの隠れ層が含まれている。ＭＬＰの物理的な具現化は、本実施形態に関して上述した通りである。使用されたトレーニング方法は、固定振幅トレーニングプロセスである。入力データは、結果が有意義なものとなるように、標準的なベンチマークであることを確保するために、ミックスド・ナショナル・インスティテュート・オブ・スタンダード・アンド・テクノロジー（ＭＮＩＳＴ）データベースから得られた手書き数字データセットで、ＭＬＰがトレーニングされる。
【００４９】
図８Ａは、トレーニングのために、コンダクタンス平衡電圧対を用いたときのトレーニング結果を示している。具体的には、図５に示されるような特性の単一のコンダクタンス平衡電圧対が使用される。この場合、ニューラルネットワーク１０の重み（コンダクタンス）１３は、着実に所望の値に収束し、その結果、誤り率も直実に低下する。この特定の実験では、コンダクタンス平衡電圧対をトレーニングに使用すると、ＭＬＰは1.98％という最良の誤り率に収束した。これは非常に正確で、ソフトウエア実装のニューラルネットワークに匹敵しうる。
【００５０】
対照的に、図８Ｂは、図６Ａの電圧対のような、コンダクタンス変化曲線が離れているコンダクタンス不平衡電圧対を使用したときのトレーニング結果を示している。この場合、ＳＥＴプロセス（コンダクタンス増加プロセス）のコンダクタンス変化ΔＧの値が、ＲＥＳＥＴプロセス（コンダクタンス減少プロセス）のそれよりも優位を占め、ニューラルネットワーク１０の重み（コンダクタンス）１３は、最大コンダクタンス値ＧＭＡＸに向かって強くバイアスされ、それゆえ、最大コンダクタンス値ＧＭＡＸへと崩れる。その結果、ニューラルネットワークの誤り率は５０％付近の高い値に留まっている。
【００５１】
さらに、図８Ｃは、図６Ｂの電圧対のような、コンダクタンス変化曲線が特定の点で交差するコンダクタンス不平衡電圧対を使用したときのトレーニング結果を示している。この場合、ニューラルネットワーク１０の重み（コンダクタンス）１３は、強制的かつランダムに、コンダクタンス不平衡電圧対の交点の１つに収束する。その結果、ニューラルネットワークの誤り率は、予測不能で高く、ニューラルネットワークは望ましい状態に落ち着いていない。
【００５２】
したがって、当業者であれば、図５に示される限定された平衡領域２５０であっても、ニューラルネットワーク１０の性能が、コンダクタンス不平衡電圧対を使用する場合よりも大幅に改善されることが容易に理解できる。図８Ａ−８Ｃに示される実験結果は、それらの結果を得るために使用された実験体制と同様に、例証的なものであり、制限するものとして解釈されるべきではない。例えば、図８Ａ−８Ｃの実験体制は、固定振幅電圧信号を用いたバッチトレーニングを使用するが、本開示は、確率的トレーニング及び／又は可変振幅電圧信号にも等しく適用可能である。
【００５３】
次に、本開示の第２実施形態のニューラルネットワーク１０が図９、図１０を参照して説明される。図９は、メモリスタ神経形態学的回路であるハイブリッドＣＭＯＳ−メモリスタクロスバー回路３００として物理的に実装されたニューラルネットワーク１０を示す斜視図である。クロスバー回路３００は、第１実施形態と同様に、複数の入力ニューロン３１２、複数の重み（メモリスタ素子３１３）、及び複数の出力ニューロン３１４（１つだけ図示）を含む。さらに、第２実施形態において、入力ニューロン３１２、出力ニューロン３１４、及びメモリスタ素子３１３の個々の構成及び特性は、好ましくは、第１実施形態のそれらと同様である。
【００５４】
第２実施形態のクロスバー回路３００の動作が、クロスバー回路３００を含むニューラルネットワーク１０が入力パターンを分類（すなわち、読み出し）するために使用され、入力信号が入力ニューロン３１２から出力ニューロン３１４への方向に伝搬する、フィードフォワード動作をときに参照して、説明される。しかしながら、その説明は、誤差信号が、ニューラルネットワーク１０を通じて、出力ニューロン３１４から入力ニューロン３１２への方向に逆伝播される、誤差逆伝播動作にも等しく適用可能である。さらに、第２実施形態の構成は、第１実施形態と互換性があり、第１実施形態に適用することができ、逆もまた同様である。
【００５５】
図９において、入力電圧は、入力ニューロン３１２、入力クロスバーナノワイヤ３２０、メモリスタ素子３１３、出力クロスバーナノワイヤ３３０、出力ニューロン３１４を、この順序で通過することにより、クロスバー回路３００を通して伝播される。図１の概略図と同じく、図９は、複数の入力ニューロン３１２が、それぞれのメモリスタ素子３１３を介して各出力ニューロン３１４に接続されていることも示している。明確にするために、図９のクロスバーナノワイヤ３２０、３３０は、ニューラルネットワーク１０内の特定の要素を構成せず、入力ニューロン３１２をメモリスタ素子３１３を通じて出力ニューロン３１４へ交差接続するための、体積効率のよい高密度導体として機能するだけである。この場合、図９のクロスバー構造は、小さな物理的パッケージに多数のニューロンを含む、信頼できる高密度なニューラルネットワーク１０の製造を可能とする。
【００５６】
入力パターンのフィードフォワード（すなわち、読み出し）中、各出力ニューロン３１４へ送られる複数の電圧信号を積算するために、総和回路がクロスバー回路に含まれている。本実施形態では、総和回路は、各出力ニューロン３１４の前に置かれた総和オペアンプ回路３４０であることが好ましいが、代わりに、各ニューロンのＩＣと一体化されていても良い。図１０は、本実施形態による総和オペアンプ回路３４０を示すクロスバー回路３００の概略図である。図１０において、入力電圧信号（ここでは、対応する入力ニューロン３１２からの出力を指す）が、それぞれのメモリスタ素子３１３を通じて伝送され、総和オペアンプ回路３４０によって積算される。総和オペアンプ回路３４０は、フィードバック抵抗値Ｒｆを持つ典型的な負帰還加算増幅器として構成することができる。この場合、総和オペアンプ回路３４０の出力は、各電圧信号の対応するメモリスタ素子３１３との点乗算の総和である。この関係は、数式３によって与えられる。
（数３）    ｜ＶＯＵＴ｜＝Ｒｆ＊ΣＧｉ＊Ｖｉ
ここで、ＶＯＵＴは、総和オペアンプ回路３４０の出力であり、Ｖｉ、Ｇｉは、各入力ニューロン３１２とメモリスタ素子３１３対からの電圧信号及び瞬時コンダクタンスである。さらに、クロスバー回路３００の誤差の逆伝播を包含するために、総和回路が、同様にして各入力ニューロン３１２に対して設けられることが好ましい。
【００５７】
数式３に示されるように、メモリスタ素子３１３の瞬時コンダクタンスＧは、各々の個別の入力電圧信号をスケーリングし、さらに、総和オペアンプ回路３４０のフィードバック抵抗Ｒｆが、各々の出力ニューロン３１４へのすべての入力の総和をスケーリングする。しかしながら、出力ニューロン３１４の観点からは、入力電圧がメモリスタ素子３１３によってスケーリングされるか、総和オペアンプ回路３４０によってスケーリングされるかは、ほとんど違いはない。厳密に言えば、メモリスタ素子３１３は、前述したようにＧＭＩＮからＧＭＡＸまでのコンダクタンスの有効範囲を持っている。総和オペアンプ回路３４０がメモリスタ素子３１３から受け取った電圧信号をスケーリングするとき、出力ニューロン３１４の観点からすると、メモリスタ素子３１３のコンダクタンスの有効範囲もスケーリングされる。
【００５８】
ここで、第１実施形態で説明されたコンダクタンス平衡マップは、第２実施形態において、クロスバー回路３００をトレーニングするために使用することができる。同時に、総和オペアンプ回路３４０のフィードバック抵抗値Ｒｆが、各出力ニューロン３１４へのすべての電圧入力の総和をスケーリングするために調整されても良い。その結果、出力ニューロン３１４の観点から、印加されるコンダクタンス平衡電圧対の平衡領域２５０も、効果的に幅がスケーリングされる。その結果、ニューラルネットワーク１０内の重み１３が収束する値の範囲が広がり、ニューラルネットワーク１０全体の性能が向上する。本実施形態では、フィードバック抵抗値Ｒｆが、ニューラルネットワーク１０のすべての総和オペアンプ回路３４０にわたって一致している。しかしながら、他の構成も考えられる。例えば、多層ニューラルネットワーク１０において、フィードバック抵抗値Ｒｆが各層ごとに異なる値に設定されても良い。あるいは、フィードバック抵抗値Ｒｆがニューラルネットワーク１０全体にわたってランダム化されても良い。
【００５９】
次に、本実施形態の第３実施形態のニューラルネットワーク１０が、図１１を参照して説明される。第３実施形態においては、ニューラルネットワーク１０の重み１３が差動対に実装される、図１１は、メモリスタ素子の差動対４１３を用いて、差動対メモリスタ神経形態学的回路４００として物理的に実現されたニューラルネットワーク１０を示す概略図である。メモリスタ神経形態学的回路４００は、第１実施形態と同様に、複数の入力ニューロン４１２、複数の重み（差動対４１３）、及び複数の出力ニューロン（１つだけ図示）を含む。さらに、第３実施形態では、入力ニューロン４１２、出力ニューロン４１４、及びメモリスタ素子の差動対４１３の個々の構成及び特性は、好ましくは、第１実施形態のそれらと同様である。さらに、第３実施形態のメモリスタ神経形態学的回路４００は、クロスバー回路として構成されることが好ましい。
【００６０】
図１１において、入力電圧信号（ここでは、対応する入力ニューロン４１２からの出力を指す）が、それぞれのメモリスタ素子の差動対４１３を通じて伝送される。メモリスタ素子の各差動対４１３は、Ｇ＋の瞬時コンダクタンスのメモリスタ素子と、Ｇ−の瞬時コンダクタンスのメモリスタ素子とを含む。Ｇ＋及びＧ−の両方とも、実際には正の値であり、記号表記は、以下の説明から明らかとなるように、ラベル付けする目的のためであることに注意すべきである。
【００６１】
メモリスタ素子の差動対４１３は、第２実施形態と同様に構成することができる、総和オペアンプ回路４４０に接続される。本実施形態では、図１１に示されるように、Ｇ＋コンダクタンスを通過したすべての電圧信号を積算するための１つの総和オペアンプ回路と、Ｇ−コンダクタンスを通過したすべての電圧信号を積算するためのもう１つの総和オペアンプ回路との、２つの総和オペアンプ回路４４０が各出力ニューロン４１４に対して与えられることが好ましい。一対の総和オペアンプ回路４４０は、次に、その構成が好ましくは典型的なものであり（例えば、ユニティゲインフィードバック抵抗を備えたオペアンプ）、それゆえ、その詳細は簡潔のために省略される、ユニティゲイン差動増幅器４５０に接続される。差動増幅器４５０の出力は、出力ニューロン４１４に接続され、数式４によって与えられる。
（数４）    ＶＤＩＦＦ＝（Ｒｆ＊ΣＧｉ＋＊Ｖｉ）−（Ｒｆ＊ΣＧｉ−＊Ｖｉ）
【００６２】
示されるように、数式４は、数式３の｜ＶＯＵＴ｜の２つの値の差を表している。これは、図１１に反映されており、差動増幅器４５０によって、図１０に示されるクロスバー回路３００の２つのセット間の差を計算することと概略的に等価なものと考えることができる。ここで、各入力電圧信号に対する瞬時コンダクタンスＧ＋及びＧ−を個別に調整することによって、メモリスタ素子の各差動対４１３の全瞬時コンダクタンスＧは、正の値となったり（すなわち、差動増幅器４５０が正電圧を出力する）、又は負の値となったりする（すなわち、差動増幅器４５０が負電圧を出力する）。換言すると、メモリスタ素子の差動対４１３は、−（ＧＭＡＸ−ＧＭＩＮ）から（ＧＭＡＸ−ＧＭＩＮ）までの範囲の全コンダクタンスを表すことができ、この場合、ＧＭＩＮ及びＧＭＡＸは、各差動対４１３における各々のメモリスタ素子の最小及び最大瞬時コンダクタンス値である。その結果、ニューラルネットワーク１０の重み１３は、正の重み値及び負の重み値の両方に収束することができ、ニューラルネットワーク１０全体のフレキシビリティとパフォーマンスが向上する。
【００６３】
さらに、本実施形態では、フィードバック抵抗値Ｒｆが、上述されたように、数式４に現れている。従って、第２実施形態と同様に、ニューラルネットワーク１０のトレーニング中にコンダクタンス平衡マップの平衡領域２５０を広げるために、総和オペアンプ回路４４０がメモリスタ素子の差動対４１３の出力をスケーリングするように、Ｒｆが調整されても良い。しかしながら、本実施形態は、メモリスタ素子の差動対４１３が−（ＧＭＡＸ−ＧＭＩＮ）から（ＧＭＡＸ−ＧＭＩＮ）までの範囲の全コンダクタンスを具現化し、従って、総和オペアンプ回路４４０によって実行される任意のスケーリングが、メモリスタ素子の差動対４１３全体のコンダクタンスをほぼゼロにスケーリングするという点でさらなる利点を享受する。その結果、ニューラルネットワーク１０の重み１３が収束可能な値の範囲が増やされ、ニューラルネットワーク１０全体のパフォーマンスが向上する。本実施形態では、フィードバック抵抗値Ｒｆが、ニューラルネットワーク１０のすべての総和オペアンプ回路４４０にわたって一致している。しかしながら、他の構成も考えられる。例えば、多層ニューラルネットワーク１０において、フィードバック抵抗値Ｒｆが各層ごとに異なる値に設定されても良い。あるいは、フィードバック抵抗値Ｒｆがニューラルネットワーク１０全体にわたってランダム化されても良い。
【００６４】
本実施形態のさらなる態様においては、メモリスタ素子の複数の差動対４１３が、コンダクタンス平衡マップの平衡領域２５０を広げるために、各入力ニューロン４１２に接続される。具体的には、各入力ニューロン４１２に対してメモリスタ素子の複数の差動対４１３を用いることによって、ニューラルネットワーク１０の各重み１３に対する全体のコンダクタンス範囲が、−Ｎ＊（ＧＭＡＸ−ＧＭＩＮ）からＮ＊（ＧＭＡＸ−ＧＭＩＮ）までに増やされ、この場合、Ｎは、使用される差動対４１３の数である。その結果、第１実施形態のコンダクタンス平衡マップを本実施形態のニューラルネットワーク１０をトレーニングするために使用するとき、複数の差動対４１３における各メモリスタ素子の平衡領域２５０が効果的にまとめられ、それにより、全体の平衡領域２５０を増加することができる。
【００６５】
図１１に示される回路レイアウトは、代表的なものであり、限定的なものとして解釈されるべきではない。等価な、または実質的に同等の機能を提供する多くの代替構成が考えられる。例えば、図１１において、フィードフォワード入力電圧は、差動対４１３を通過した後、差動増幅器４５０を介して送られる。しかしながら、逆のことも本開示に等しく適用可能であり、すなわち、その場合、フィードフォワード入力電圧が反転ゲートによって相補信号に分割され、その後、それぞれのＧ＋及びＧ−メモリスタ素子へ送られる。この場合、Ｇ＋及びＧ−メモリスタ素子を通過する電圧信号の符号は、互いに逆になり、それゆえ、差動対４１３を通過した後、単純に合計することができる。
【００６６】
本開示の第４実施形態が、図１２を参照して説明される。具体的には、本実施形態は、例えば、第１、第２、及び第３実施形態に関して説明されたニューラルネットワーク１０において、メモリスタ素子の瞬時コンダクタンスＧを初期化する方法を提供する。
【００６７】
図１２は、公称コンダクタンスＧ０を中心とした平衡領域２５０を有する代表的なコンダクタンス平衡電圧対のコンダクタンス変化曲線を示している。本実施形態において、ニューラルネットワーク１０のメモリスタ素子は、Ｇ０よりも小さい瞬時コンダクタンスＧＩＮＩＴで初期化される。特に、ＧＩＮＩＴは、図１２に示されるように、ＶＳＥＴコンダクタンス変化曲線の下向き傾斜領域に配置されることが好ましい。その結果、ニューラルネットワーク１０のトレーニング中に、ＶＳＥＴコンダクタンス変化曲線が、最初、ＶＲＥＳＥＴのそれよりも優勢になる（すなわち、ΔＧＳＥＴ＞ΔＧＲＥＳＥＴ）。ＳＥＴプロセスはコンダクタンスを増加させるが、ＲＥＳＥＴプロセスはコンダクタンスを減少させることを想起されたい。従って、優勢なＶＳＥＴコンダクタンス変化曲線が、Ｇ０に向けて、従って平衡領域２５０へ向けて増加させるように、ニューラルネットワーク１０の重み（すなわち、コンダクタンス）１３を強くバイアスする。重み１３が平衡領域２５０に入ると、ニューラルネットワーク１０は勝手に低誤差状態に収束する。
【００６８】
対照的に、例えばニューラルネットワーク１０のメモリスタ素子が、図１２の代表的な設定において、Ｇ０よりも大きい瞬時コンダクタンスＧＩＮＩＴで初期化された場合、ＶＳＥＴコンダクタンス変化曲線は、依然として最初はＶＲＥＳＥＴのそれよりも優勢になり、ニューラルネットワーク１０の重み１３を、代わりにＧＭＡＸへの崩壊に向けてバイアスする。
【００６９】
図１２に示された特定のコンダクタンス変化曲線は、本質的に例示的なものである。例えば、別のケースでは、ニューラルネットワーク１０の重み１３が、Ｇ＞Ｇ０の範囲においてΔＧＳＥＴがΔＧＲＥＳＥＴよりも小さいコンダクタンス変化曲線を持つかもしれない。この場合、重み１３はＧ０よりも大きいＧＩＮＩＴで初期化され、依然として平衡領域２５０に向けてバイアスされても良い。換言すると、本実施形態の初期化プロセスが、支配的なプロセス（すなわち、ＶＳＥＴとＶＲＥＳＥＴの１つ）がニューラルネットワーク１０の重み１３を最初に平衡領域２５０へ向けてバイアスするようにＧＩＮＩＴが選択される限り、任意のコンダクタンス変化曲線形状を有するコンダクタンス平衡電圧対に適合させることができる。
【００７０】
その上、本実施形態では、ニューラルネットワーク１０のメモリスタ素子が、必ずしも同じＧＩＮＩＴ値ですべて初期化される必要はない。代わりに、メモリスタ素子は、ＧＩＮＩＴを中心としたランダムなコンダクタンスで初期化されても良い。例えば、本実施形態の一態様では、メモリスタ素子は、所定の標準偏差でＧＩＮＩＴについて正規分布したコンダクタンスで初期化される。
【００７１】
さらに、本実施形態の初期化プロセス、様々な方法でニューラルネットワーク１０に適用されても良い。本実施形態の一態様では、コンダクタンスを初期化するべく、ニューラルネットワーク１０のメモリスタ素子に対し閉ループ制御を実行するため、フィードバック調整が使用される。閉ループ制御により、メモリスタ素子は、正確な平均値及び標準偏差値で初期化され得るが、追加の回路を必要とする。本実施形態の別の態様では、メモリスタ素子は、最小コンダクタンスＧＭＩＮに達するまでリセットされ、次に、ほぼＧＩＮＩＴに達するまで、所定のＶＳＥＴ電圧信号でセットされる。これらの態様は、単に好ましいものにすぎず、本実施形態における限定として解釈されるべきではない。
【００７２】
本開示の上記実施形態は、制御システム５００として実現されても良い。図１３は、ＣＰＵ（又は、プロセッサ）５１１とメモリ５１２を有するコントローラ５１０を含む制御システム５００を示す概略図である。コントローラ５１０は、ニューラルネットワーク１０と双方向通信する。コントローラ５１０のＣＰＵ５１１は、メモリ５１２に格納されたプログラムやデータを読み出してコントローラ５１０を動作させる。ここで、ニューラルネットワーク１０は、上記実施形態のいずれかであっても良い。コントローラ５１０は、好ましくは、ニューラルネットワーク１０を読み書きする駆動回路および検出回路（図示せず）を含む。
【００７３】
具体的には、コントローラ５１０は、入力パターンのフィードフォワード中に入力信号を印加し、誤差の逆伝播中に誤差信号を印加することによってニューラルネットワーク１０を読み取るように構成される。さらに、逆伝搬のようなトレーニングルールに基づき、コントローラ５１０は、好ましくはコンダクタンス平衡マップを使用することによって（つまり、ＶＳＥＴとＶＲＥＳＥＴのコンダクタンス平衡電圧対を印加することによって）ニューラルネットワーク１０のメモリスタ素子に書き込むように構成される。従って、制御システム５００は、前述した実施形態のいずれも実行することができる。
【００７４】
加えて、図１２に示される制御システム６００のレイアウトは、例証的なものであり、従って、限定的に解釈されるべきではない。多くの代替構成が考えられ、本開示に適用可能である。１つの代替的な実施形態では、制御システム６００は、メモリスタ素子が神経形態学的コア（すなわち、ニューラルネットワーク１０においてアナログ重み１３を提供する）とＣＰＵコア（すなわち、デジタルメモリを提供する）の両方を形成する統合神経形態学的システムとして実装される。この場合、ＳＲＡＭや内蔵フラッシュのような独立したＣＭＯＳメモリは必要とされず、制御システム６００はより少ないプロセスを通じて製造され、コストを節約することができる。
【００７５】
本開示は上記実施形態に限定されるものではなく、本開示の要旨を逸脱しない種々の変更が考えられる。
【００７６】
上述した実施形態の１つの変更態様では、コンダクタンス平衡マップのコンダクタンス平衡電圧対は、実質的に同じ大きさのコンダクタンス変化ΔＧを引き起こさない。代わりに、図４のステップ２２０において、ＶＳＥＴ及びＶＲＥＳＥＴの期間Δｔが、ΔＧＳＥＴ=ｋ＊ΔＧＲＥＳＥＴ（ｋは任意の比である）となるように調整されてもよい。換言すれば、本変形態様では、実質的に同じコンダクタンス変化をもたらすコンダクタンス平衡電圧対を前提とする必要はない。むしろ、ΔＧＳＥＴとΔＧＲＥＳＥＴとの間の既知の関係が定義されている限り、所望の不均衡（すなわち、上記比ｋ）を使用することができ、ニューラルネットワーク１０のコンダクタンスバランスのとれたトレーニングを依然として実行することができる。
【００７７】
上述した実施形態の別の変更態様では、コンダクタンス平衡マップは、ＶＳＥＴとＶＲＥＳＥＴとの間の期間Δｔの比を維持することなく導出される。具体的には、各電圧対の平衡領域２５０を最大化する、各々のコンダクタンス平衡電圧対に対するそれぞれの期間Δｔの比が設定されるように、図４の選択および平衡化ステップ２１０及び２２０が繰り返される。
従って、コンダクタンス平衡マップは、印加されるＶＳＥＴとＶＲＥＳＥＴ電圧信号の期間Δｔにおけるコンダクタンスの変化率ΔＧ／Δｔを考慮に入れることができる。その結果、より正確なコンダクタンス平衡マップが提供され得る。
【００７８】
上述した実施形態のさらに別の変更態様では、図４のステップ２２０において、選択された電圧対ＶＳＥＴとＶＲＥＳＥＴの期間Δｔではなく振幅が、ＶＳＥＴ及びＶＲＥＳＥＴがメモリスタ素子の瞬時コンダクタンスＧの範囲にわたってコンダクタンスがバランスするように、個別に調整される。具体的には、選択されたＶＳＥＴの振幅だけが調整されても良いし、又は、選択されたＶＲＥＳＥＴの振幅だけが調整されても良いし、又は、両方が調整されても良い。あるいは、選択された電圧対ＶＳＥＴとＶＲＥＳＥＴの振幅と期間Δｔの両方が、個別に調整されても良い。その結果、平衡領域２５０が、望ましいコンダクタンス値を含むように修正されてもよい。
【００７９】
上述した実施形態のさらに別の変更態様では、入力ニューロン１２、出力ニューロン１４、任意のクロスバーナノワイヤ、および重み（メモリスタ素子）１３を含むニューラルネットワーク１０の様々な構成要素が、単一のＩＣに一体的に形成されても良い。その結果、ニューラルネットワーク１０の物理的なパッケージサイズが低減され、ニューラルネットワーク１０は、温度変化などの環境の影響を受けにくくなる可能性がある。もしくは、ニューラルネットワーク１０の入力ニューロン１２及び出力ニューロン１４は、ニューロン回路として一体的に形成されてもよい。
【００８０】
上述した実施形態のさらに別の変更態様では、入力ニューロンおよび出力ニューロンの活性化関数φは、別個のＣＭＯＳデバイスとして実現されてもよい。例えば、専用の活性化関数ＩＣが、ニューラルネットワーク１０内の電圧信号を変換するための適切な位置に設けることができる。
【００８１】
上述した実施形態及び変更は、組み合わせが本開示の趣旨を逸脱しないとすれば、そのような組み合わせが特に言及されていなくとも、種々の態様で組み合わせることが可能である。従って、実施形態の範囲は上記の説明に限定されるべきではなく、むしろ広範な等価物、修正形態および組み合わせを含むべきである。
【図１】
0006477922.tif 000002
【図２】
0006477922.tif 000003
【図３】
0006477922.tif 000004
【図４】
0006477922.tif 000005
【図５】
0006477922.tif 000006
【図６Ａ】
0006477922.tif 000007
【図６Ｂ】
0006477922.tif 000008
【図７】
0006477922.tif 000009
【図８Ａ】
0006477922.tif 000010
【図８Ｂ】
0006477922.tif 000011
【図８Ｃ】
0006477922.tif 000012
【図９】
0006477922.tif 000013
【図１０】
0006477922.tif 000014
【図１１】
0006477922.tif 000015
【図１２】
0006477922.tif 000016
【図１３】
0006477922.tif 000017