(57)【要約】  神経形態学的回路のための記憶学習の概念が説明される。一例の場合において、神経形態学的回路は、第１の発振信号を生成する第１の発振ベースのニューロンと、第１の発振信号を整流するダイオードと、ダイオードと電気的に結合されて長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタを含むシナプスとを備える。回路は、シナプスに結合されてＬＴＰメモリスタ及びＬＴＤメモリスタからの出力信号の差に基づいて差分信号を生成する差動増幅器と、差動増幅器に電気的に結合されて差分信号に基づいて第２の発振信号を生成する第２の発振ベースのニューロンをさらに含む。回路は、目標信号と第２の発振信号との間の差分又は誤差に基づいてＬＴＰメモリスタ及びＬＴＤメモリスタにフィードバック信号を提供するフィードバック回路もさらに含む。
2019537792.tif 000002
【特許請求の範囲】
【請求項１】
第１の発振信号を生成する第１の発振ベースのニューロンと、
前記第１の発振ベースのニューロンに電気的に結合されて、前記第１の発振信号を整流するダイオードと、
前記ダイオードに電気的に結合されて、長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタを備えるシナプスと、
前記シナプスに電気的に結合され、前記ＬＴＰメモリスタからの出力信号及び前記ＬＴＤメモリスタからの出力信号の間の差に基づいて差分信号を生成する差動増幅器と、
前記差動増幅器に電気的に結合され、前記差分信号に基づいて第２の発振信号を生成する第２の発振ベースのニューロンとを備える、
記憶学習神経形態学的回路。
【請求項２】
目標信号と前記第２の発振信号との間の誤差に基づいて前記ＬＴＰメモリスタ及び前記ＬＴＤメモリスタにフィードバック信号を提供するフィードバック回路をさらに備える、
請求項１に記載の記憶学習神経形態学的回路。
【請求項３】
前記フィードバック回路は、前記ＬＴＰメモリスタに第１のフィードバック信号を提供し、前記ＬＴＤメモリスタに第２のフィードバック信号を提供する、
請求項２に記載の記憶学習神経形態学的回路。
【請求項４】
前記第１のフィードバック信号は、前記第２のフィードバック信号と逆位相である、
請求項３に記載の記憶学習神経形態学的回路。
【請求項５】
前記フィードバック回路は、前記目標信号及び前記第２の発振信号の間の差分又は誤差に従って、前記第１のフィードバック信号及び前記第２のフィードバック信号のうちの少なくとも１つの位相を調整する、
請求項３に記載の記憶学習神経形態学的回路。
【請求項６】
前記第１の発振信号は大きさ及び位相を有し、
前記記憶学習神経形態学的回路において、前記大きさは、前記第１の発振ベースのニューロンと前記第２の発振ベースのニューロンとの間で情報を伝送するために用いられ、前記位相は、前記第１の発振ベースのニューロンと前記第２の発振ベースのニューロンとの間の接続強度を変更するために用いられる、
請求項１に記載の記憶学習神経形態学的回路。
【請求項７】
第１の発振信号を生成する第１の発振ベースのニューロンと、
前記第１の発振ベースのニューロンと電気的に結合され、複数のメモリスタを含むシナプスと、
前記シナプスと電気的に結合され、前記複数のメモリスタからの複数の出力信号同士の差分に基づいて差分信号を生成する差動増幅器と、
前記差動増幅器と電気的に結合され、前記差分信号に基づいて第２の発振信号を生成する第２の発振ベースのニューロンとを備える、
記憶学習神経形態学的回路。
【請求項８】
目標信号と前記第２の発振信号との間の誤差に基づいて前記シナプスにフィードバック信号を提供するフィードバック回路をさらに備える、
請求項７に記載の記憶学習神経形態学的回路。
【請求項９】
前記第１の発振ベースのニューロンと電気的に結合され、前記第１の発振信号を整流するダイオードをさらに備える、
請求項８に記載の記憶学習神経形態学的回路。
【請求項１０】
前記複数のメモリスタは、長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＴＰ）メモリスタを備える、
請求項８に記載の記憶学習神経形態学的回路。
【請求項１１】
前記フィードバック回路は、前記ＬＴＰメモリスタに第１のフィードバック信号を提供し、前記ＬＴＤメモリスタに第２のフィードバック信号を提供する、
請求項１０に記載の記憶学習神経形態学的回路。
【請求項１２】
前記第１のフィードバック信号は、前記第２のフィードバック信号と逆位相である、
請求項１１に記載の記憶学習神経形態学的回路。
【請求項１３】
前記フィードバック回路は、前記目標信号と前記第２の発振信号との間の差分又は誤差に従って、前記第１のフィードバック信号及び前記第２のフィードバック信号のうちの少なくとも１つの位相を調整する、
請求項１１に記載の記憶学習神経形態学的回路。
【請求項１４】
前記第１の発振信号は大きさ及び位相を有し、
前記記憶学習神経形態学的回路において、前記大きさは、前記第１の発振ベースのニューロンと前記第２の発振ベースのニューロンとの間で情報を伝送するために用いられ、前記位相は、前記第１の発振ベースのニューロンと前記第２の発振ベースのニューロンとの間の接続強度を変更するために用いられる、
請求項７に記載の記憶学習神経形態学的回路。
【請求項１５】
第１の発振信号を生成するステップと、
前記第１の発振信号を整流して、整流された発振信号を生成するステップと、
前記整流された発振信号を第１のメモリスタの入力及び第２のメモリスタの入力に供給するステップと、
前記第１のメモリスタの出力信号と前記第２のメモリスタの出力信号との間の差分に基づいて差分信号を生成するステップと、
前記差分信号に基づいて第２の発振信号を生成するステップとを含み、
前記第１のメモリスタは前記第２のメモリスタと並列に配置される、
記憶学習の方法。
【請求項１６】
前記第２の発振信号を目標信号と比較するステップと、
前記目標信号と前記第２の発振信号との間の誤差に基づいて、前記第１のメモリスタ又は前記第２のメモリスタのいずれかにフィードバック信号を提供するステップとを含む、
請求項１５に記載の記憶学習の方法。
【請求項１７】
前記フィードバック信号を提供するステップは、前記フィードバック信号を前記第１のメモリスタ及び前記第２のメモリスタに提供することを含む、
請求項１６に記載の記憶学習の方法。
【請求項１８】
前記フィードバック信号を提供するステップは、前記第１のメモリスタに第１のフィードバック信号を提供するステップと、前記第２のメモリスタに第２のフィードバック信号を提供するステップとを含み、
前記第１のフィードバック信号は、前記第２のフィードバック信号と逆位相である、
請求項１６に記載の記憶学習の方法。
【請求項１９】
前記フィードバック信号を提供するステップは、前記目標信号と前記第２の発振信号との間の誤差に従って、前記第１のフィードバック信号又は前記第２のフィードバック信号の少なくとも１つの位相を調整するステップをさらに含む、
請求項１８に記載の記憶学習の方法。
【請求項２０】
前記第１のメモリスタは長期間増強（ＬＴＰ）メモリスタを含み、
前記第２のメモリスタは長期間デプレッション（ＬＴＤ）メモリスタを含む、
請求項１６に記載の記憶学習の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照．
本願は、２０１６年１０月２７日出願の米国仮出願第６２／４１３６６６号に基づく優先権を主張し、その内容は全体を通して、参照により本明細書に組み込まれる。
【０００２】
本開示は、神経形態学的回路のための記憶学習に関する。
【背景技術】
【０００３】
メモリスタは、受動的な非線形２端子電子素子である。メモリスタ内において、デバイスの電気抵抗は、直前にデバイスを通って流れた電流の履歴に依存する。従って、任意の与えられた時刻におけるメモリスタの抵抗又はインピーダンスは、直前にどれだけの量の電荷が、どの方向に流れたかに依存する。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
シナプスネットワークのためのメモリスタの使用は、神経形態学的回路の発展の分野における有望なアプローチとして提案されてきた。メモリスタは、結合部前部及び結合部後部の電圧制御のための相補型金属酸化物半導体（ＣＭＯＳ）ベースの回路とともに、クロスバーシナプスネットワークに組み込まれてきた。それらの回路は、ＣＭＯＳベースの電圧制御及び電流制御がメモリスタの抵抗又はインピーダンス（例えばメモリ）における変化を生むのに用いられ得るということを実証する。
【課題を解決するための手段】
【０００５】
一例では、記憶学習神経形態学的回路は、第１の発振信号を生成する第１の発振ベースのニューロンと、第１の発振ベースのニューロンに電気的に結合されて痔愛知の発振信号を整流するダイオードと、ダイオードに電気的に結合されたシナプスと、シナプスに電気的に結合された差動増幅器と、差動増幅器に電気的に結合されて、差動増幅器により生成された差分信号に基づいて第２の発振信号を生成する第２の発振ベースのニューロンとを含む。シナプスは、長期間デプレッション（ＬＴＤ）メモリスタと並列に配置された長期間増強（ＬＣＤ）メモリスタを含んでよく、差動増幅器はＬＴＰメモリスタの出力信号及びＬＴＤメモリスタの出力信号の間の差分に基づいて差分信号を生成することができる。
【０００６】
一態様によれば、記憶学習神経形態学的回路は、目標信号と第２の発振信号との間の誤差に基づいて、ＬＴＰメモリスタ及びＬＴＤメモリスタにフィードバック信号を提供するフィードバック回路を含み得る。フィードバック回路は、ＬＴＰメモリスタに第１のフィードバック信号を提供し、ＬＴＤメモリスタに第２のフィードバック信号を供給することができる。ここで第１のフィードバック信号は、第２のフィードバック信号と逆位相である。フィードバック回路は、目標信号と第２の発振信号との間の差分又は誤差に従って、第１のフィードバック信号及び第２のフィードバック信号の少なくとも１つの位相を調整することができる。
【０００７】
別の態様によれば、第１の発振信号は大きさ及び位相を含み、大きさは記憶学習神経形態学的回路において、第１の発振ベースのニューロンと第２の発振ベースのニューロンとの間で情報を伝送するために用いられ得る。さらに、位相は第１の発振ベースのニューロンと第２の発振ベースのニューロンとの間の接続強度を変更するために用いられ得る。
【０００８】
別の例では、記憶学習の方法は、第１の発振信号を生成するステップと、第１の発振信号を整流して整流された発振信号を生成するステップと、整流された発振信号を第１のメモリスタの入力と第２のメモリスタの入力とに供給するステップとを含む。第１のメモリスタは、第２のメモリスタと並列に配置され得る。方法は、第１のメモリスタの出力信号と第２のメモリスタの出力信号との間の差分に基づいて差分信号を生成するステップと、差分信号に基づいて第２の発振信号を生成するステップとをさらに含み得る。
【０００９】
他の態様では、方法は、第２の発振信号を目標信号と比較するステップと、目標信号と第２の発振信号との間の誤差に基づいて、第１のメモリスタ又は第２のメモリスタのうちの１つにフィードバック信号を提供するステップとを含み得る。場合によっては、フィードバック信号は第１及び第２のメモリスタの両方に提供され得る。さらに、方法は、第１のメモリスタに第１のフィードバック信号を供給するステップと、第２のメモリスタに第２のフィードバック信号を供給するステップとを含み得る。場合によっては、第１のフィードバック信号は第２のフィードバック信号と逆位相であり得る。フィードバック信号を提供するステップは、目標信号と第２の発振信号との間の誤差に従って、第１のフィードバック信号または第２のフィードバック信号のうちの少なくとも１つの位相を調整することを含み得る。
【００１０】
本開示の多くの態様は、以下の図面を参照してよりよく理解される。図面中の構成要素は必ずしも一定の縮尺で描かれているわけではなく、かわりに本開示の原理を明確に示すことに重点が置かれている。図面において、同様の参照番号は、いくつかの図を通して対応する部分を示す。
【図面の簡単な説明】
【００１１】
【図１Ａ】本開示に記載の様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す図
【図１Ｂ】本開示に記載の様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す図
【図２】本開示に記載の様々な実施例に係る、記憶学習の概念を組み込んだ神経形態学的回路の例を示す図
【図３】本開示に記載の様々な実施例に係る、図２に示される神経形態学的回路の例をさらに示す図
【図４】本開示に記載の様々な実施例に係る、図２に示される神経形態学的回路を用いた記憶学習のためのプロセスの例を示す図
【発明を実施するための形態】
【００１２】
上述のように、シナプスネットワークに対するメモリスタの使用は、神経形態学的回路の発達の分野において提案されてきた。メモリスタは例えば、シナプス前電圧及びシナプス後の電圧のための相補型酸化物半導体（ＣＭＯＳ）ベースの回路とともに、クロスバーシナプスネットワークに組み込まれた。それらの回路は、ＣＭＯＳベースの電圧制御及び電流制御がメモリスタの抵抗またはインピーダンス（例えばメモリ）に変化を生じるのに使われ得ることを示す。
【００１３】
本明細書に示す概念は、記憶シナプス及び発振ニューロンを用いるハードウェアベースのニューラルネットワーク（例えば、神経形態学的回路及びハードウェア）、並びにそのようなネットワークを訓練するための方法向けである。アプローチは局所化され、重みの更新、パルスの発生、又はイベント検出に外部回路を必要としない。本明細書に記述される学習規則の目的は、ニューラルネットワークを訓練するために用いられるデルタルールを近似することである。機械学習において、デルタルールは、単層ニューラルネットワークにおける人工ニューロンへの入力の重みを更新するための勾配降下学習ルールである。
【００１４】
線形ニューロンに対して、デルタルールは次式の形式を有する。
【００１５】
【数１】
2019537792.tif 000003
【００１６】
等式（１）において、Δｗｊｉはニューロンｉからニューロンｊへの重みの変化であり、αは定数の学習速度であり、ｘｉはニューロンｉの出力である。
【００１７】
もしニューロンｊの実出力が目的値よりも小さい場合、重みの更新は正の方向である。これにより同じ入力が再度提示された場合のニューロンｊの出力は効率的に増加し、誤差が減少される。同様に、実出力が目的値よりも大きい場合、重みの更新は負の方向となる。重みは誤差の大きさを最小化するために更新されるべきであるから、これは直感的に理解できる。
【００１８】
異なる活動関数を持つ異なるニューロンの種類は、異なるバージョンのデルタルールを生じる。しかしながら、誤差ｔｊ−ｙｊへの依存性は同じままであり、デルタルールの最もクリティカルな部分である。従って、デルタルールの近似は、誤差ｔｊ−ｙｊへの依存性を保存する。
【００１９】
標準的な速度ベースのニューロンは電流又は電圧の形の実数値のみを表現できるのに対し、発振ベースのニューロンは大きさと位相の両方で複素数を表すことができる。本明細書に記載される学習の概念は、発振の位相が他の発振ベースへの接続強度を変更するために用いられる一方で、情報を他の発振ベースのニューロンに伝達するために、ｘｉ及びｙｊを表す発振ベースのニューロンの発振の大きさを用いる。
【００２０】
２つのニューロンの発振信号は、しきい値電圧として知られるメモリスタの特性を利用することにより、それらの間の接続重みを更新するために用いることができる。メモリスタのしきい値電圧よりも低いところでは、抵抗（ひいては重み）に変化は起こらない。しかしながら、このしきい値よりも高いところでは、抵抗はメモリスタを横切る電圧降下の方向（例えば極性）に応じて増減する。この特性は、スパイクタイミング依存可塑性（ＳＴＤＰ）を実装するためにスパイクニューロンモデルにおいて利用されてきた。しかしながら、発振及び位相ベースのニューロンモデルに対する類似のルールはまだ説明されていない。
【００２１】
図１Ａ及び図１Ｂは、本明細書で説明される様々な実施例に係る、記憶学習のために用いられる電圧信号の例を示す。図１Ａ及び図１Ｂにおいて、２つの異なる発振器により生成された２つの電圧信号は重ね合わせられる。電圧信号は、経時的に、メモリスタの逆の端点（すなわち、メモリスタの前後の端点）における電圧にそれぞれ対応する。メモリスタ後のシナプス電圧信号は未整流の正弦波（破線）である一方で、メモリスタ前のシナプス電圧信号は整流された正弦波（実線）である。図１Ａにおいて、メモリスタの前後の電圧信号は同位相である。
【００２２】
図１Ａにおいて、メモリスタの前後の電圧信号は同位相である。その場合におけるメモリスタの両端の最大電圧降下は０．５Ｖであり、これはメモリスタのしきい値電圧よりも低くなり得る。従って、メモリスタにおいて抵抗の変化は起こらない。図１Ｂにおいて、メモリスタの前後の電圧信号は位相がずれている。その場合におけるメモリスタの両端の最大電圧降下は１．５Ｖであり、これはメモリスタのしきい値電圧よりも大きくなり得る。従って、図１Ｂの場合にはメモリスタにおける抵抗の変化が起こり得るが、図１Ａの場合は起こりえない。この構成の下で、重み（例えば、動作特性又はメモリスタの抵抗）が変更又は更新されたか否かは、メモリスタの前後の電圧の相対位相に依存する。これは、ＳＴＤＰと同様に、２つの発振器又は２つの発振ベースのニューロンの間の相対位相を変化させることにより、メモリスタの抵抗は変化し得ることを示す。
【００２３】
典型的なフィードフォワードニューラルネットワークにおいて、ニューロンの活動は、即時の誤差又は未来の重み更新により影響されることはない。このため、特定のニューロンの活動が、その誤差により、又は所与の時刻においてその重みが変化する方向により、影響されることはない。従って、提案された学習の概念において、活動を決定する発振ベースのニューロンの発振の大きさは、学習を制御して誤差により誘導される発振ベースニューロンの発振の位相とは独立に制御され得る。
【００２４】
図１Ａ及び図１Ｂに示されるメモリスタの前後の電圧信号のいずれかがメモリスタの両端に加えられるならば、メモリスタを通る総電流が図１Ａ及び図１Ｂに示される電圧信号の間の位相差とは独立であることが示される。これは図１Ａ及び図１Ｂを観察することによって理解することができる。上述の基準を満たすために、シナプス前のニューロンからシナプス後のニューロンへと流れる電流は、２つの発振ベースのニューロンの相対位相と独立であるべきである。これは、シナプスメモリスタの直後、シナプス後発振ベースのニューロンに入る前に、リーキー積分、ローパスフィルタ、又は移動平均フィルタを追加することにより、便利に達成することができる。純粋な正弦波の積分は０のため、シナプス前のニューロンからの整流された正弦波だけが、シナプス後ニューロンに流れる電流に寄与する。
【００２５】
換言すると、図１Ａ及び図１Ｂの両方に示されるメモリスタ後の電圧信号（破線）の積分は同じであるため、メモリスタの両端に図１Ａ及び図１Ｂに示すどの対の信号が適用されるかに関わらず、その対の相対位相とは独立して、総電流値は同じとなる。その知見に基づいて、デルタルールに対する効率的な近似を実現するためのアーキテクチャを以下で説明する。
【００２６】
図２は、本明細書に記載の様々な実施例に係る記憶学習の概念を組み込んだ例示的な神経形態学的回路１０を示す。図２に示すように、アーキテクチャは、２つの異なるニューロンの代表となる２つの発振器Ｘｉ及びＹｊを観測することにより理解できる。発振器Ｘｉ及びＹｊは、例えば位相同期ループ等の任意の適切な種類の発振器として実装され得る。従って、発振器Ｘｉ及びＹｊは、入力信号の位相に関連する位相を有する出力信号を生成する制御システムを含み得る。一例として、発振器Ｘｉ及びＹｊは、フィードバック制御ループ内で互いに結合された可変周波数発振器及び位相検出器を含み得る。発振器は周期的かつ発振する出力信号を生成することができ、位相検出器は出力信号の位相を周期的な入力信号の位相と比較することができる。位相検出器の出力は、入力信号と出力信号の位相を一致させておくために、可変周波数発振器への入力として供給され得る。
【００２７】
２つの発振ベースのニューロンＸｉ及びＹｊは、２つのメモリスタ２１，２２を含むシナプス２０により結合される。発振ベースのニューロンＸｉ及びＹｊの両方からの電圧出力は、一例では純粋な正弦波であると想定できる（例えば図２の波形Ａ及びＧを参照）が、他の波形も使用可能である。図２に示す構造では、シナプス後の発振ベースのニューロンＹｊは、シナプス前の発振ベースのニューロンＸｉから入力を受け取る。加えて、メモリスタ２１，２２は、２つの発振ベースのニューロンＸｉ，Ｙｊの間の接続「重み」を表すシナプスの代表である。２つのメモリスタ２１，２２は単一のシナプスを表し、後述のように正の接続及び負の接続の両方を可能にする。
【００２８】
様々な実施形態において、メモリスタ２１，２２は、しきい値電圧を有し、かつそれを通って以前に流れた電荷量に基づいて、又はそれに従って電流の流れを調整する、任意の適切なメモリスタとして実施され得る。例えば、メモリスタ２１，２２のそれぞれの電気抵抗は一定ではなく、それらのそれぞれを通って以前に流れた電流量の履歴に依存する。従って、各メモリスタ２１，２２のそれぞれの抵抗は、任意の所与の時間において、以前にどのような量の電荷がデバイスを通って流れたか、及びどの方向に流れたかに依存する。
【００２９】
シナプス２０内のメモリスタ２１，２２のうちの一方は、長期間増強（ＬＴＰ）メモリスタとして指定することができ、もう一方は長期間デプレッション（ＬＴＤ）メモリスタとして指定することができる。ＬＴＰメモリスタのコンダクタンスを増加させることにより、２つの発振器Ｘｉ及びＹｊの間の接続強度は強化される。一方で、ＬＴＤメモリスタのコンダクタンスを増加させることにより、２つの発振器Ｘｉ及びＹｊの間の接続は弱くなる。
【００３０】
発振ベースのニューロンＸｉの出力点には、ダイオード３０が設けられる。ダイオード３０は、図２の波形Ｂに示すように、発振器Ｘｉの正弦波出力を整流する。この整流された信号は次に、２つのメモリスタ２１，２２を含むシナプス２０に渡される。シナプス２０内のメモリスタ２１，２２も、発振ベースのニューロンＹｊの誤差に基づいて個別のメモリ後の正弦波フィードバック信号を受け取る。その後、これらのフィードバック信号は、シナプス２０が強化されるべきか弱化されるべきかに応じて、それらの位相を変更することによりメモリスタ２１，２２のうちの一方の抵抗を変更する。
【００３１】
シナプス２０の後、２つのメモリスタ２１，２２の間に流れる電流の差は、差動増幅回路４０により決定され、差分フィードバック信号として提供され得る。差動増幅回路４０の出力は、差分フィードバック信号を積分し、入力信号とフィードバック信号との間の位相差の影響を排除するローパスフィルタ４２に通され得る。ローパスフィルタ４２からの比較的安定した電流は、次に、発振ベースのニューロンＹｊへの入力として提供される。
【００３２】
神経形態学的回路１０は、２つの理由から、１メモリスタのシナプスではなく、２メモリスタのシナプスを用いる。第１の理由は、２メモリシナプスにより、正の重みと負の重みの両方を実際に実施することができるという理由である。一方のメモリスタ（例えばＬＴＤメモリスタ）を負の重みとして作用させ、他方のメモリスタ（例えばＬＴＰメモリスタ）を正の重みとして作用させることにより、正又は負のいずれかである電流を与えるために、それぞれを通る電流は減算され得る。
【００３３】
第２の理由は、提案された学習概念が、Ｘｉにおける電圧がどのように整流されるかに応じて、一度に２つのメモリスタ２１，２２のうちの片方のみを強化または弱化させることができるという理由である。正と負のメモリスタの両方を有することにより、シナプス２０が正のメモリスタを単純に強化することができる。一方で、負のメモリスタを強化することによりシナプス２０は弱化され得る。
【００３４】
両方のメモリスタ２１，２２の飽和が常に強化されることを防ぐために、（例えばダイオード３０等の）電圧整流の方向は、発振ベースのニューロンＸｉ及びＹｊからの電流を同時に反転させながら変更され得る。こうすることで、ダイナミクスは同じであり続け、しかしながらメモリスタ２１，２２の各々は強化されず、むしろ弱化される。これらの制度を交互に行うことにより、飽和を防ぐことができる。
【００３５】
図３は、図２に示す神経形態学的回路１０の実施例をさらに示す。２つの発振ベースのニューロンＸｉ，Ｙｊ同士の間の接続「重み」を更新するために、比較器５２は、目標出力Ｔ及び出力Ｙｊとの間の差を決定する。比較器５２の出力は、目標出力と実際の出力Ｙｊとの間の誤差を示す。これが正であれば、例えば負のメモリスタ２２へのフィードバック信号はその入力信号と同位相のままであり、一方で正のメモリスタ２１へのフィードバック信号は、それがその入力信号と逆位相となるように、例えば遅延ステージ５４を通過する。従って、これはデルタルールにより要求されるように、シナプス２０を強化する。逆の場合、正のメモリスタ２１へのフィードバック信号は同位相のまま、負のメモリスタ２２へのフィードバック信号は逆位相となる。このようにして、学習率αが十分に低い限り、訓練の事例の各々についての誤差の大きさは減少する。入力信号が同期している限り、これは複数の入力ユニット及び複数の出力ユニットの場合に一般化が可能である。
【００３６】
図４は、本明細書に記載の様々な実施例に係る、図２及び図３に示される神経形態学的回路を用いた記憶学習のための例示的なプロセスを示す。ステップ１０２において、プロセスは第１の発振信号を生成することを含む。例えば、発振器Ｘｉは、図２及び図３を参照して上述したように、第１の発振信号を生成することができる。ステップ１０４において、プロセスは、ステップ１０２において生成された第１の発振信号を整流して、整流された発振信号を生成することを含む。例えば、ダイオード３０は、発振器Ｘｉの出力信号を整流することができる。
【００３７】
ステップ１０６において、プロセスは、整流された発振信号を第１のメモリスタの入力及び第２のメモリスタの入力に供給することを含む。図２及び図３の例に示すように、ダイオード３０の出力はシナプス２０に供給され、シナプス２０は、メモリスタ２２と並列に配置されたメモリスタ２１を含む。
【００３８】
ステップ１０８において、プロセスは、第１のメモリスタの出力信号と第２のメモリスタの出力信号との間の差に基づいて差分信号を生成することを含む。例えば、差動増幅器４０は、メモリスタ２１の出力信号とメモリスタ２２の出力信号との差に基づいて差分信号を生成することができる。
【００３９】
ステップ１１０において、プロセスは、ステップ１０８において生成された差分信号に基づいて、第２の発振信号を生成することを含む。上述の例で説明したように、発振器Ｙｊは、差動増幅器４０によって生成された差信号を受信し、差分増幅器４０によって生成された差分信号に基づいて第２の発振信号を生成する。
【００４０】
ステップ１１２において、プロセスは、誤差を提供するために、ステップ１１０において生成された第２の発振信号を目標信号と比較することを含む。例えば図３に示すように、比較器５２は、目標出力信号Ｔｊと、発振器Ｙｊから出力された第２の発振信号とを比較する。比較器５２の出力は、目標信号と第２の発振信号との間の誤差を表す。
【００４１】
ステップ１１４において、プロセスは、目標信号と第２の発振信号との間の誤差に基づいて、シナプス２０内のメモリスタ２１及びメモリスタ２２の一方又は両方にフィードバック信号を提供することを含む。上述のように、もしこの誤差が正であれば、メモリスタ２２へのフィードバック信号はその入力信号と同位相のままとなる一方で、メモリスタ２１へのフィードバック信号は、それがその入力信号と逆位相となるように、遅延ステージ５４を通過する。これはデルタルールによって要求されるように、シナプス２０を強化する。ＴｊとＹｊの間の差が負である反対の場合において、メモリスタ２１へのフィードバック信号は同位相のままであり、メモリスタ２２へのフィードバック信号は逆位相となる。このようにして、学習率αが十分に低い限り、各訓練事例についての誤差は減少する。
【００４２】
本開示の上述の例は、本開示の原理を明確に理解するために記載された、実施形態の可能な例に過ぎない。本開示の理念及び原理から実質的に逸脱することなく、多くの変形及び修正も可能である。全ての修正及び変形は、本開示の範囲内で本明細書に含まれ、添付の特許請求の範囲により保護されることを意図している。
【図１Ａ】
2019537792.tif 000004
【図１Ｂ】
2019537792.tif 000005
【図２】
2019537792.tif 000006
【図３】
2019537792.tif 000007
【図４】
2019537792.tif 000008
【国際調査報告】
2019537792.tif 000009