(57)【要約】乗算器は、一対の電荷リザーバを有する。一対の電荷リザーバは、直列に接続される。第１の電荷移動装置は、同じ割合で一対の電荷リザーバへ、またはから電荷移動を誘導する。第２の電荷移動装置は、一対のリザーバの１つへ、またはから電荷移動を誘導し、電荷移動の割合は、第１の電荷移動装置と比例した割合にて電荷を付加するか、または除去するかの一方にプログラムされる。第１の電荷移動装置は、第１のサイクルの間に一対の電荷リザーバの第１に第１の電荷を荷電する。第１の電荷移動装置および第２の電荷移動装置は、一対の電荷リザーバの第１が第１の電荷を枯渇するまで第２のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。第２の電荷リザーバは、乗算された結果を保持する。【選択図】図１
2021515955.tif 000002
【特許請求の範囲】
【請求項１】
一対の電荷リザーバであって、直列に結合される、一対の電荷リザーバと、
同じ割合にて一対の電荷リザーバへ、または前記一対の電荷リザーバから電荷移動を誘導する第１の電荷移動装置と、
一対のリザーバの１つへ、または前記一対のリザーバの１つから電荷移動を誘導する第２の電荷移動装置であって、電荷移動の割合は、前記第１の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、電荷移動装置と、
を備え、
第１の電荷は、第１のサイクルの間に前記一対の電荷リザーバの第１に荷電され、前記第１の電荷移動装置および前記第２の電荷移動装置は、前記一対の電荷リザーバの第１が前記第１の電荷を枯渇し、電荷が前記第２の電荷リザーバにおける電荷移動割合の比率を乗じた前記第１の電荷を表すままになるまで、前記第２のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、乗算器。
【請求項２】
電荷移動を止めるための装置をさらに含む、請求項１に記載の乗算器。
【請求項３】
前記第１の電荷移動装置および前記第２の電荷移動装置は、電界の制御に基づく、請求項１に記載の乗算器。
【請求項４】
前記第１の電荷移動装置は、前記一対の電荷リザーバと直列に結合される第１の電流源であり、および前記第２の電荷移動装置は、前記一対の電荷リザーバが交わるノードにて結合される第２の電流源である、請求項１に記載の乗算器。
【請求項５】
前記電荷移動を止めるための装置は、トランスファゲートであり、トランスファゲートは、イベントに準拠してバリアを下ろし、および次いでバリアを上げ、一方でその他の時には電荷移動を制御するようにフィールドを保持する、請求項２に記載の乗算器。
【請求項６】
前記一対の電荷リザーバは、コンデンサである、請求項１に記載の乗算器。
【請求項７】
前記一対の電荷リザーバは、浮遊拡散である、請求項１に記載の乗算器。
【請求項８】
前記第１の電荷は、スイッチドキャパシタ回路、アクティブピクセル回路；またはＶ／Ｉ  ｔｏ  電荷回路の１つによって前記一対の電荷リザーバの第１に導入される、請求項１に記載の乗算器。
【請求項９】
アナログ乗算器であって、
直列に結合する一対の電荷リザーバ、
同じ割合にて前記一対の電荷リザーバへの、または、前記一対の電荷リザーバからの電荷移動を誘導する第１の電荷移動装置、および、
前記一対のリザーバの１つへ、または前記一対のリザーバから電荷移動を誘導する第２の電荷移動装置であって、電荷移動の割合は、前記第１の電荷移動装置と比例した割合で電荷を付加するか、または除去するかの一方にプログラムされる、第２の電荷移動装置を備え、
第１のサイクルの間の前記一対の電荷リザーバの第１への第１の電荷、前記第１の電荷移動装置および前記第２の電荷移動装置は、前記一対の電荷リザーバの第１が第１の電荷を枯渇するまで第２のサイクルの間に前記一対の電荷リザーバから比例した割合で電荷を除去する、アナログ乗算器と、
入力情報に準拠して前記一対のリザーバの第１において電荷を蓄積するための入力収集装置と、
を備える、ニューラルネットワーク。
【請求項１０】
前記アナログ乗算器は、電荷移動を止めるための装置を含む、請求項９に記載のニューラルネットワーク。
【請求項１１】
前記ニューラルネットワークと同じ集積回路上に形成された入力フォトダイオードを含む、請求項９に記載のニューラルネットワーク。
【請求項１２】
前記入力収集装置は、電荷ドメイン回路であり、かつ、前記入力情報は、光学情報である、請求項９に記載のニューラルネットワーク。
【請求項１３】
前記入力収集装置と前記一対の電荷リザーバの第１との間に結合された少なくとも１つの電荷結合素子（ＣＣＤ）シフトレジスタを含む、請求項９に記載のニューラルネットワーク。
【請求項１４】
前記入力収集装置に結合された少なくとも１つの電荷結合素子（ＣＣＤ）シフトレジスタを含み、前記ＣＣＤシフトレジスタは、前記一対の電荷リザーバの第１として使用される、請求項９に記載のニューラルネットワーク。
【請求項１５】
前記ＣＣＤシフトレジスタは、二次元シフトレジスタである、請求項１３に記載のニューラルネットワーク。
【請求項１６】
前記ＣＣＤシフトレジスタは、その周囲周辺でセルにて情報を受け入れることができる二次元の結合されたアレイである、ニューラルネットワーク。
【請求項１７】
前記一対の電荷リザーバの第１に入力オペランドを情報通信するために使用される時間加重クロスバーを含み、前記少なくとも１つのＣＣＤシフトレジスタは、シストリック応答に従って電荷を結合するために使用される、請求項１３に記載のニューラルネットワーク。
【請求項１８】
第２のオペランドは、第２のＣＣＤシフトレジスタにおける電荷として蓄積され、複数のＣＣＤシフトレジスタは、シストリックアルゴリズム毎にそれぞれのオペランドを渡す、請求項１７に記載のニューラルネットワーク。
【請求項１９】
埋め込みフォトダイオードまたはその他の光検出器の少なくとも１つを含むアクティブピクセルであって、アクティブピクセルへの入力情報は、第１の入力電荷リザーバにおいて蓄積される、アクティブピクセルと、
前記第１のリザーバに結合された第２の電荷リザーバと、
前記第１の電荷リザーバ前記と第２の電荷リザーバとの間に配置されたトランスファゲートであって、電荷の移動の第１の割合は、前記トランスファゲートに結合されたフィールドによって制御されてもよい、トランスファゲートと、
前記第２の電荷リザーバに結合された第２の電荷移動装置であって、電荷移動の第２の割合は、電荷移動の前記第１の割合のものに比例してプログラムされてもよい、第２の電荷移動装置と、
を備え、
第１の電荷は、第１のサイクルの間にのみ前記第１の電荷リザーバに荷電され、および前記トランスファゲートおよび前記第２の電荷移動装置は、前記第１の電荷リザーバが枯渇して第２のサイクルの最後にて前記第２の電荷リザーバにおいて電荷乗算を生じるまで第２のサイクルの間に比例して電荷を移動する、
アナログ乗算器。
【請求項２０】
オーバーラップキャパシタンスを最小限にするために接合部を欠いたトランスファゲートを含む、請求項１９に記載のアナログ乗算器。
【請求項２１】
それぞれがゲート制御された電荷移動装置に結合される一対の電荷リザーバを備え、
前記ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、前記ゲート制御された電荷移動装置は、一旦、前記一対の電荷リザーバの１つが枯渇されると電荷移動を止める、乗算器。
【請求項２２】
前記一対の電荷リザーバの第１に複数の重み付き入力を荷電する装置を含む、請求項２１に記載の乗算器。
【請求項２３】
プログラミング装置によってそれぞれが個々に時間でゲート制御された前記一対の電荷リザーバの第１に結合された複数の電荷移動割合を制御された入力を含む、請求項２１に記載の乗算器。
【請求項２４】
複数のクロスバー導体線と、
複数の導体線に結合する複数のゲート制御された電流源であって、これによって複数のゲート制御された電流源が入力電圧、電流および時間枠または単に時間の１つに準拠してゲート制御される、ゲート制御された電流源と、
前記複数のゲート制御された電流源のそれぞれに結合され、および所望のニューラルネットワーク構成に準拠して前記複数のゲート制御された電流源のそれぞれが複数の重み付き入力を加算することを可能にする、コントローラ回路と、
を備える、乗算器。
【請求項２５】
時間加重クロスバーは、ゲーティング時間をセットするためのアナログメモリ、メモリスタメモリ、浮遊ゲートメモリ、フラッシュメモリまたはＤＮＡメモリの１つを含む、請求項２４に記載の乗算器。
【請求項２６】
単一の電荷リザーバ、
第１のサイクルにおいて前記単一の電荷リザーバへ、または前記単一の電荷リザーバから電荷を結合するか、または電荷を除去するかのそれぞれ一方をする複数の入力電荷移動装置と、
第２のサイクルの間に前記単一の電荷リザーバを開始電荷レベルまで戻し、その後に電荷移動が終わるように、電荷を前記単一の電荷リザーバへ結合するか、または除去するかの一方をする出力電荷移動装置と、
を備える、重み付き加算器。
【請求項２７】
前記複数の入力電荷移動装置は、前記出力電荷移動装置が第２のサイクルの間に電荷を結合する、または除去するであろう割合と比例した割合で電荷を結合する、または除去するが、前記複数の入力電荷移動装置は、入力情報に準拠してそれぞれが個々に時間でゲート制御され、かつ、
第２のサイクルの間に、出力電荷移動装置が電荷を結合し、または除去して開始電荷レベルまで単一の電荷リザーバを戻す間の時間は、重み付き加算器の出力を表す、請求項２６に記載の重み付き加算器。
【請求項２８】
前記加算器は、コンパレーターを有するスパイキング回路を含み、前記コンパレーターは、前記単一の電荷リザーバが所定レベルに達するときに前記コントローラ回路に割り込みを開始する、請求項２６に記載の重み付き加算器。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本特許出願は、Ｄａｖｉｄ  Ｓｃｈｉｅの名において「ＣＨＡＲＧＥ  ＤＯＭＡＩＮ  ＭＡＴＨＥＭＡＴＩＣＡＬ  ＥＮＧＩＮＥ」の表題の２０１８年３月２日に出願された米国仮出願第６２／６３７，４９６号に関連し、およびこれは、その全体が参照により本明細書に援用される。本特許出願は、米国特許法第１１９条（ｅ）の下で利益を主張する。
【０００２】
一般に、本発明は、イメージ検出装置に、およびより詳細には電荷ドメイン数理エンジンに関し、リザーバにおける電荷ストアは、機械学習入力層の乗算器に直接結合され得る。
【背景技術】
【０００３】
シリコンイメージングにおいて、スピルおよびフィル回路、ＣＣＤシフトレジスタ、光検出器、相関二重サンプリング回路および類似の装置などの電荷ドメイン構造を使用して電荷の取り込みまたは移動に依存することは一般的である。スピルおよびフィル回路は、埋設された埋め込みフォトダイオードの概念に依存し得る。図１は、アクティブドーピングプロフィールを示す埋設されたピンダイオード構造１０の断面図を示す。埋設された埋め込みフォトダイオード１０は、光がストレージウェルＳＷ領域に埋設された埋め込みフォトダイオード１０によって収集されるときに作られる電子を取り込み得る。第２の電荷リザーバ、浮遊拡散ＦＤは、ＴＧとラベルしたトランスファゲートの反対側に作られる。
【０００４】
図２Ａを参照して、スピルおよびフィル回路２０が参照されるであろう。スピルおよびフィル回路２０は、トランスファゲートＴＧの正面に電子を保持する埋め込みフォトダイオード（ＰＰＤ）電荷レセプタクルの概念を使用する。トランスファゲートＴＧは、必要とされる電子流に準拠して下ろされ、および上げられる。ある時点で、トランスファゲートＴＧは、ポテンシャル障壁を下ろし、および電子がストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへあふれる。装置は、全ての電子がストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへ確実に移動するように作られる。図２Ｂは、ストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへのエネルギー線図を示す。
【０００５】
図３を参照して、スピルおよびフィル回路３０が参照されるであろう。フィルおよびスピル回路３０は、図２Ａのスピルおよびフィル回路２０の使用を使用するが、トランスファゲートＴＧに結合したリセット装置３２および浮遊拡散ＦＤ電荷リザーバ上の電荷を電圧に変換し、次いでこれがその他の回路によって読み込まれ得るソースフォロアＳＦの概念を含む。典型的には、相関二重サンプリング（ＣＤＳ）は、ノイズをサンプリングし、およびリセット後の浮遊拡散ＦＤ電荷リザーバの出力に対して相殺し、および次いでスピル（電荷伝達）後に再び読み込むために使用され得、その結果ストレージウェルＳＷに蓄積された最後の積算電荷に起因する相違のみが残る。こうすることより、任意のオフセット電荷および一定のノイズが除去される。
【０００６】
２つの電荷リザーバの代わりに、単一の電荷リザーバは、重み付き入力および加算結果または重み付き加算器を製作するために使用されるであろう。初めに、前記リザーバは、既知の電荷レベルにリセットされるであろう。その後、第１のサイクルの間、複数の入力電流移動手段が電荷リザーバからの電荷を前記電流移動手段のそれぞれと結合して、電荷を個々に比例した割合にて（所望の重み値に準拠して）出力電流移動手段に移動して第２のサイクルにおいて使用されるであろうが、前記第１のサイクルの間には止まる。加えて、前記複数の入力電流移動手段のそれぞれは、さらに個々の入力の大きさに準拠して時間でゲート制御され、またはある時間の間のみ電荷を移動させるであろう。ゲート制御された期間に生じる入力電荷移動の大きさは、重み付き入力の大きさに準拠する電荷を前記電荷リザーバから移動するであろう。第１のサイクルの終わりに、一旦全ての入力移動手段がこれらの電荷を移動したら、第２のサイクルは、出力電荷移動手段に電荷リザーバにおける電荷をその本来のレベルまで戻らせるであろう。そうするためにかかる時間は、入力の重み付けした和に比例するだろう。これにより、生じる重み付き加算器は、時間として入力を受け取り、重みは、電荷移動割合の大きさであり、および時間として出力を生じる。
【０００７】
一旦電荷が浮遊拡散ＦＤ電荷リザーバへ伝達されると、電荷を電圧または電流に、およびその後デジタル値に変換するためのソースフォロアＳＦの代わりに使用され得る多数のその他の回路がある。たとえば、撮像素子の列は、カウンタに依存し得るし、これがそれぞれのピクセルフォロア値および記録したそれぞれの特定のピクセルに付随するデジタルワードと比較される。電荷ドメインからデジタルワードへの変換の速度および出力効率を最適化することを試みる多くの回路がある。
【０００８】
マシンビジョンは、人工知能（ＡＩ）または機械学習の共通アップリケーションである。自律的またはマシンビジョン補強された乗り物、指紋または顔認識などのハンドセットセキュリティ、スマートシティセンサ、防犯カメラ、Ｘ線、超音波および医学的診断、ロボット工学、ドローン、ウエアラブル心拍数モニタ、行動解析およびモニタリング並びに多くのその他の適用は、種々の課題についてのイメージの解析に依存し、これらの多くは、時間および電力がクリティカルである。
【０００９】
現在、機械学習システムは、入力がデジタルワードまたは少なくとも電圧、電流またはスパイキング波形（これは、電圧または電圧の波形でもある）であることを必要とする。電荷の変換は、図３に示したソースフォロアＳＦなどの結合回路に依存し、これらの全てが３つの好ましくない副作用と関連することが公知である。第１は、結合回路によるノイズの導入によるイメージ品質の損失である。図１〜３に記述されたストレージウェルＳＷなどのリザーバまたは浮遊拡散ＦＤ領域において保持された電荷を電圧または電流に変換する任意の回路は、ノイズを必ず導入するであろうことが当業者には周知である。このノイズは、たとえば１４ビットのピクセル精度を持つイメージを１２ビット相当の精度に低下し得る。医学的または緊急を要する生命安全適用において、これは、重要な情報を不明瞭にし得る。電流または電圧ドメインへの変換の第２の副作用は、変換に付随する時間である。結合回路の出力時の電圧または電流のデジタル化は、時間を要する。補強された乗り物、生命安全適用または高速イメージング適用において、この待ち時間は、死または致死率などの望ましい結果または非常に望ましくない結果との間の相違を文字通り意味し得る。最後に、電荷ドメインから電圧または電流ドメインおよび最後にデジタルドメインへの情報の変換は、さらなるエネルギーをさらに必要とする。このエネルギーは、結合回路それ自体、並びに、神経形態学的なスパイキング波形などの所望の波形のデジタル化または生成することに関連した回路網に付随する。
【００１０】
したがって、上の問題を解決するシステムおよび方法を提供することが望ましいであろう。本システムおよび方法は、リザーバにおいて蓄積された電荷を機械学習入力層の乗算器または重み付き加算器に直接結合するであろう。
【発明の概要】
【課題を解決するための手段】
【００１１】
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有する。一対の電荷リザーバは、直列に結合される。第１の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または、一対の電荷リザーバから電荷移動を誘導する。第２の電荷移動装置は、一対のリザーバの１つへ、または一対のリザーバの１つから電荷移動を誘導し、電荷移動の割合は、第１の電荷移動装置と比例した割合にて電荷を付加するか、または除去するかの一方にプログラムされる。第１の電荷移動装置またはその他の機構は、第１のサイクルの間に一対の電荷リザーバの第１に第１の電荷を荷電する。第１の電荷移動装置および第２の電荷移動装置は、一対の電荷リザーバの第１が第１の電荷を枯渇するまで第２のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。
【００１２】
一つの態様に従って、ニューラルネットワークを形成する方法が開示される。ニューラルネットワークは、アナログ乗算器を有する。アナログ乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバは、直列に結合する。第１の電荷移動装置は、同じ割合で一対の電荷リザーバへ、または一対の電荷リザーバから電荷移動を誘導する。第２の電荷移動装置は、一対のリザーバの１つへ、または一対のリザーバの１つから電荷移動を誘導し、電荷移動の割合は、第１の電荷移動装置と比例した割合で電荷を添加するか、または除去するかの一方にプログラムされる。第１の電荷移動装置またはその他の機構は、第１のサイクルの間に一対の電荷リザーバの第１に入力電荷を荷電する。第１の電荷移動装置および第２の電荷移動装置は、一対の電荷リザーバの第１が入力電荷を枯渇するまで第２のサイクルの間に一対の電荷リザーバから比例した割合で電荷を除去する。入力収集装置は、入力情報に準拠して一対のリザーバの第１において電荷を蓄積するための機構として使用される。
【００１３】
一つの態様に従って、アナログ乗算器が開示される。アナログ乗算器は、埋め込みフォトダイオードおよび光検出器を含むアクティブピクセルを有し、アクティブピクセルへの入力情報は、第１の入力電荷リザーバに蓄積される。第２の電荷リザーバは、第１の電荷リザーバと第２の電荷リザーバとの間に配置されたトランスファゲートによって第１のリザーバに結合され、移動の電荷の第１の割合は、トランスファゲートによって制御されてもよい。第２の電荷移動装置は、第２の電荷リザーバに結合され、電荷移動の第２の割合は、電荷移動の第１の割合のものに比例してプログラムされてもよい。入力電荷は、第１のサイクルの間にのみ第１の電荷リザーバに荷電され、かつ、トランスファゲートおよび第２の電荷移動装置は、第１の電荷リザーバが枯渇して第２のサイクルの最後にて第２の電荷リザーバにおいて電荷乗算を生じるまで第２のサイクルの間に比例して荷電する。
【００１４】
一つの態様に従って、乗算器が開示される。乗算器は、一対の電荷リザーバを有し、一対の電荷リザーバのそれぞれは、ゲート制御された電荷移動装置に結合される。ゲート制御された電荷移動装置は、電荷移動の割合が比例するようにプログラムされ、ゲート制御された電荷移動装置は、一旦、一対の電荷リザーバの１つが枯渇されると電荷移動を止める。
【００１５】
もう一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、単一の電荷リザーバからなる。複数の入力電流移動装置は、単一の電荷リザーバに結合され、入力電流移動装置のそれぞれについて、電流の移動の割合は、重み被乗数に準拠し、および電荷移動の出力電荷移動装置割合と比例する。第１のサイクルの間のそれぞれの出力電荷移動装置の伝導時間は、入力値に準拠する。第１のサイクルの間に単一の電荷リザーバに付加される、または除去される電荷は、入力値の加重和を表す。第２のサイクルの間、出力電荷移動装置は、電荷を付加するか、または除去するかの一方をして、その本来のレベルまで単一の電荷リザーバを戻すであろうし、本来の値まで戻るために要する時間は、比例する入力電荷移動装置の移動の割合によって加重された入力値時間の和を表す。
【００１６】
一つの態様に従って、重み付き加算器が開示される。重み付き加算器は、第１のサイクルの間に入力値に準拠する時間の間、出力電荷移動装置割合と比例した割合で複数の重み電荷移動装置からの電荷を付加するか、または除去するかの一方をする。出力電荷移動装置は、電荷を付加するか、または除去するかの１つをして第２のサイクルの間に本来の電荷レベルまで電荷レベルを変化する。加重されている出力時間は、重み電荷移動装置の出力電荷移動装置割合と比例することによって加重された入力時間の表示を加算する。
【図面の簡単な説明】
【００１７】
本出願は、以下の図面に関してさらに詳述される。これらの図は、本出願の範囲を限定することを意図しないが、むしろその一定の特性を図示する。同じ参照番号が図面の全体にわたって使用されて、同じまたは同様の部分をいう。
【００１８】
【図１】アクティブなドーピングプロフィールを示す埋設されたピンダイオード構造の横断面図を示す。
【００１９】
【図２Ａ】スピルおよびフィル回路を示す。
【００２０】
【図２Ｂ】図２Ａのスピルおよびフィル回路についてストレージウェルＳＷ電荷リザーバから浮遊拡散ＦＤ電荷リザーバへのエネルギー線図を示す。
【００２１】
【図３】バス（ＣＯＬ  ＢＵＳ）への選択ライン（ＳＥＬ）を介して浮遊拡散（ＦＤ）の電圧を読み出すためにリセット機構（ＲＳＴ）に、およびソースフォロア（ＳＦ）にさらに結合された図２Ａのスピルおよびフィル回路を示す。
【００２２】
【図４】本出願の一つの側面に準拠して電荷ドメイン数理エンジンの基礎を形成するニューラルネットワークアーキテクチャの代表的態様を示すブロック図である。
【００２３】
【図５】本出願の一つの側面に従って二次元シフトレジスタを持つ埋め込みフォトダイオード（ＰＰＤ）の代表的態様を示すブロック図である。
【００２４】
【図６Ａ】本出願の一つの側面に準拠したＣＣＤシフトレジスタの上部レベル図を示す。
【００２５】
【図６Ｂ】本出願の一つの側面に従ったポリフィンガーに沿った前記ＣＣＤシフトレジスタの横断面図を示す。
【００２６】
【図６Ｃ】本出願の一つの側面に従ったポリフィンガーを横切って切断する前記ＣＣＤシフトレジスタの横断面図を示す。
【００２７】
【図６Ｄ】ＣＣＤシフトレジスタの異なる構成を示し、データは、垂直に、および次いで水平に移動して異なる方向に情報の流れを変化させてもよい。
【００２８】
【図７】乗算および加算係数のシストリック再配置の概念を示し、本発明の一つの側面に従った最適化された方法でニューラルネットワークの重み付き加算器に重みおよび入力値を提供する（重み付き加算器への係数の供給を再配置する）ためのＣＣＤシフトレジスタまたはその他の手段を使用して得られるであろう効率を図示する。
【００２９】
【図８Ａ】第１の電荷移動手段および電荷移動手段の１つのみに結合された第１と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、図８Ａは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および図８Ｂは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。
【図８Ｂ】第１の電荷移動手段および電荷移動手段の１つのみに結合された第１と比例した比例電荷移動手段によって共に結合された結合電荷リザーバの概念を図示し、図８Ａは、電荷リザーバとしてコンデンサおよび電荷移動装置として電流源を使用するこの構成を示し、および図８Ｂは、埋め込みフォトダイオードストレージウェル、浮遊拡散およびトランスファゲートを使用する類似の構成を示す。
【００３０】
【図９】スイッチ構成を介してパルスまたは電流源重みを結合するために使用され得るクロスバーを示す。
【００３１】
【図１０】出力ノードに加重電荷を加算し、およびまた時間でいくつかのフレームにわたってこのような電荷の加算をシフトすることができる時間加重クロスバーを示す。
【００３２】
【図１１】スイッチング装置に対する電荷注入を減少する、または電流源におけるリンギングを減少するために使用し得る接合部を欠いたトランスファゲートを示す。
【００３３】
【図１２】本出願の一つの側面に従ってパルス出力を伴った重み付き加算器の代表的態様を示すブロック図である。
【発明を実施するための形態】
【００３４】
添付の図に関連して以下に述べる記述は、開示の現在好ましい態様の記述として意図され、および本開示が構築されても、および／または利用されてもよい形態のみを表すことは意図されない。記述は、図示された態様に関連して開示を構築し、および動作するための機能および工程の順序を記載する。しかし、同じまたは均等の機能および順序は、異なる態様によって達成されてもよく、またこの開示の精神および範囲内に包含されることが意図されることが理解されるべきである。
【００３５】
リザーバにおいて蓄積された電荷を直接機械学習入力層の乗算器に結合することは望ましい。図４を参照して、本出願の基礎を形成するニューラルネットワークアーキテクチャ４０を示すブロック図が参照され得る。ニューラルネットワークアーキテクチャ４０において、円４２は、ニューロンであり、または入力層の場合においては、入力電圧、電荷、電流、波形またはデジタルワードである。線４４は、乗算器であり、入力情報に重み（ｗ）を乗じる。結果は、決定回路に供給され、およびその出力は、次いで次の層に供給される。それぞれのニューロンとして、潜在的にバイアスおよび潜在的に決定回路は、重み付き入力の加算器を含み、以下の層において多くのニューロンに接続されてもよく、したがって重みの数は、非常に大きくすることができる。
【００３６】
上記に基づいて、入力層をＳＷまたはＦＤなどの電荷リザーバと置換すること、およびこの入力層を第１の内部層に直接接続する乗算器内でこの電荷を利用することができる場合、結合およびデジタル化回路に付随するノイズによる待ち時間、電力および情報損失を除去することがでるであろう。
【００３７】
図５を参照して、一旦電荷がＳＷまたはＦＤなどのリザーバに蓄積されると、図５に示すように電荷が結合したシフトレジスタ５０においてその電荷を蓄積することが可能である。シフトレジスタ５０は、複数のセル５２で形成され得る。シフトレジスタ５０は、電荷情報の忠実度の損失を伴わずに電荷を移動し得る。また、電荷を複数の軸に沿って移動すること、および特定のリザーバ内に保持された電荷を組み合わせることができる。また、複数のシフトレジスタ５０を使用して異なる方向に、および異なる速度にて乗算した情報を移動することができる。
【００３８】
図５において、埋め込みフォトダイオード（ＰＰＤ）は、上部左に大きな長方形によって表され得る。これは、ＴＧを介して電荷リザーバに電荷を送達する。垂直に電荷を荷電し続け、および次いでシフトレジスタ５０の構築に基づいて水平にこれらを移動することができる。この方法では、小さな領域において、高い忠実度で電荷情報を一時的に蓄積することができる。また、１つのリザーバにおける電荷を誘導して既存の電荷を持つリザーバに流して加算を行うことができる。
【００３９】
図６Ａ〜６Ｄは、電荷結合素子（ＣＣＤ）シフトレジスタ６０の複数の横断面図を示す。ＣＣＤシフトレジスタ６０は、蓄積された内容のＸおよびＹ移動を可能にする。
【００４０】
数理的構築を利用して機械学習システムにおける乗算の効率を改善することは、一般的である。たとえば、マトリックス乗算では、これらが情報を再ロードしなければならなくなることなく効率的に再利用し得るように、異なる配列を介して被乗数を移動することが一般的である。シストリック構造は、被乗数をロードしなければならない回数を減少させるために使用され得るし、かつ以前の算出を使用する例である。電荷結合シフトレジスタを利用してこれらのタイプの数理的効率改善に適合して電荷被乗数を編成すること、およびいくつかの場合において電荷結合シフトレジスタをさらに利用して加算のために電荷を組み合わせることが望ましいであろう。
【００４１】
図７Ａ〜７Ｂを参照して、シストリックアレイの概念が開示され得る。シストリックアレイは、メモリローディングを減少させ、およびデータを帰納的または効率的な構築物に編成してマトリックス乗算の効率を上昇させる。異なるシストリックインプリメンテーションによって必要とされるように、ＣＣＤシフトレジスタを伴うシストリック技術を実行することは、オペランドを、シフトレジスタを介して異なる速度にて、および異なる方向に容易に移動することができるので、有用である。
【００４２】
図８Ａ〜８Ｂは、複数のインプリメンテーションにおける電荷に基づいたアナログ乗算器を示す。図８Ａにおいて、インプリメンテーション８０は、コンデンサが電荷蓄積のために使用されており、スイッチＳ１およびＳ２が第１のサイクルの間に入力電荷リザーバＣ１を荷電するために使用され場合を示す（Ｓ１はオフ、Ｉ１はオフである、Ｉ２はオフである、Ｓ２はオンにされ、電流源８２はしばらくオンにされ、スイッチＳ２はこのサイクルの終わりにオフにされる）。図８Ｂにおいて、埋め込みフォトダイオードＰＰＤは、電流源８２およびスイッチＳ２がしばらく光にそれを曝露することによってＣ１を荷電するのと同じ方法でリザーバＳＷを荷電することを示す。両方の場合において、入力電荷リザーバ（一方の場合においてＣ１およびその他においてＳＷ）は、第１のサイクルの間に電荷で満たされる。
【００４３】
第２のサイクルにおいて、図８ＡにおいてＳ１は、閉じている（Ｓ２は、開いている）。電流源Ｉ１およびＩ２は、大きさに比例し、オンにされる。Ｃ１は、Ｉ１＋Ｉ２の電流の大きさによって荷電され、およびＣ２は、１２の電流の大きさによって荷電される。ノードは、Ｃ１における電荷が完全に消散される（それ全体の電圧がゼロに到達する）までモニタされる。これは、Ｑｃ１／（Ｉ１＋Ｉ２）時間を要し、Ｑｃ１は、第１のサイクルの間にＣ１に導入される電荷であった。Ｃ２は、このＱｃ１／（Ｉ１＋Ｉ２）時間の間のみ１２によって荷電され、これはＩ２＊Ｑｃ１／（Ｉ１＋Ｉ２）の電荷が見られるであろうことを意味する。これは、これがＩ２／（Ｉ１＋Ｉ２）の比率を乗じた電荷Ｃ１を受けるだろうことを意味する。Ｉ２／（Ｉ１＋Ｉ２）を制御することにより、乗算器利得をセットした。
【００４４】
類似の方法において、図８Ｂでは、埋め込みフォトダイオードＰＰＤにおける電荷が、ＴＧ経路によって制御される割合で浮遊拡散ＦＤへフィールドによって移動され得る。また、ＴＧＩを介した第２の電荷経路は、ＳＷからの電荷移動の割合に比例した割合でＦＤを満たす。ＳＷを枯渇させるために要する時間は、Ｑｃ１／ｉ１＝ｔである。電流ｉ１＋ｉ２は、時間ｔの間ＦＤに流れており、したがって、Ｑｃ１＊（ｉ１＋ｉ２）／ｉ１は、ＦＤにおける電荷である。したがって、電荷を（ｉ１＋ｉ２）／ｉ１で効率的に乗じた。埋め込みフォトダイオードの代わりに、ＣＣＤアレイまたはその他の浮遊拡散がｉ１の供与源であることもできるであろう。ＦＤは、これらを結合回路によって電圧または電流に読み込ませてもよく、またはさらなる算出のために使用されてもよい。
【００４５】
ＣＣＤシフトレジスタにＰＰＤ乗算器の出力を結合することにより、二次元ＣＣＤシフトレジスタまたは第２のＣＣＤシフトレジスタを使用して、あたかもこれらがニューロンに入っているかのように電荷を加算してもよい。シストリックアーキテクチャが使用される場合、電荷リザーバは、これらがＣＣＤアレイを介して移動するので、適切なオペランドに結合されてもよく、および結果を乗算器の入力リザーバに加算してもよく、または結果を再使用のためにもう一つのシフトレジスタセルに再注入することもできるであろう。同報通信トポロジーのためには、ＣＣＤシフトレジスタを使用して、複数の入力のコピーを生成してｘｉオペランドを複数の乗算器に荷電してもよい。
【００４６】
したがって、１つまたは複数のＣＣＤアレイに被乗数を蓄積すること、および次いでメモリローディングおよび乗算器効率を最小限にするようにシストリック構成と適合してアレイを介して情報を移動することは、有用であろう。
【００４７】
同時に前記第１のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの出力などの複数の重み付き入力から公知の電荷を、前記第１の乗算器リザーバに加算することによって達成され得る。図９は、クロスバー９０の概念を示す。クロスバー９０は、入力のセットと出力のセットとの間の個々のスイッチのアセンブリーである。スイッチは、マトリックスで配置されてもよい。時間加重クロスバー９０がＭ入力およびＮ出力を有する場合、クロスバーは、Ｍ×Ｎクロスポイントを持つマトリックスまたは接続が交差する場所を有する。それぞれにて、クロスポイントは、スイッチであり；閉じるときに、それは、入力の１つを出力の１つに接続する。所与のクロスバーは、単一の層、無閉塞スイッチである。無閉塞スイッチは、その他の並行接続がその他の入力をその他の出力へ接続することを防げないことを意味する。図９において参照され得るように、金属線９２は、共になり、およびこれら間のスイッチがオンにされて、異なる層において、または金属もしくはその他の導体の同じ層において共に接続し得る。いくつかのクロスバーにより、かなりのファンアウトを生じることができる。ゲート制御された電流源９４を、このような構成を介して結合してもよい。
【００４８】
同時に前記第１のリザーバへの複数の入力のローディングを可能にすることは、有用であろう。これは、以前の層からの複数のニューロンの加重出力などの複数の重み付き入力からの公知の電荷を、前記第１の乗算器リザーバに加算することによって達成され得る。図１０は、時間加重クロスバー１００の可能な構成の１つを示すが、現在のところスイッチの第２の列が閉じていると仮定する。この場合において、接続された経路は、さらに同じ大きさの電流源１０２に結合される。経路は、ＮＶＭ電圧などの蓄積された電圧がコンパレーター１０４によって定まるランプ電圧に一致するまで荷電し始めない。電流は、比例するので、これにより、蓄積された電圧と比例した電荷を生じ、およびランプが同じ供与源から生成される。これらの電流は、浮遊拡散に注入しても、もしくは拡散内で光学的に結合してもよく、またはコンデンサもしくはその他のストレージエレメントが乗算器のために使用される場合、直接使用してもよい。この時間遅延クロスバー１００は、相対または直接アドレス指定を使用してアドレス指定してもよく、およびニューロンが特定の物理的な位置を有する場合であっても柔軟なニューラルネットワーク構成が可能になる。結果として、重みが電流の大きさによって、および入力値が時間によって設定される。その後の層またはＰＰＤ入力などの電荷入力を伴う層については、それぞれの重み付き加算器の出力は、時間であることができ、およびしたがってコンパレーター１０４は、必要でなく−以前のニューロンの出力を、直接スイッチをゲート制御するために適用することができる。
【００４９】
電流の大きさは、ダイナミックに、またはＮＶＭメモリに由来し得る。これは、強誘電のメモリスタなどのアナログメモリでもよい。これは、アナログ浮遊ゲートまたはフラッシュメモリであることもできるであろう。またはこれは、ＤＮＡメモリであることができるであろう。ＤＮＡメモリは、３ｎｍのような非常に小さな領域において非常に長い存在期間でアナログまたはデジタルメモリを製造する際に最近多大な見込みを示している。パナソニックによって開発されたものなどの強誘電のメモリスタは、正確なアナログ量を生じることができることが示されている。
【００５０】
神経形態学的なスパイキングネットワークは、制御ニューロン加重入力加算器が閾値に達するときにニューロン経路をオンにするのみであり、十分な入力電荷を蓄積していないニューロンを使用されないままにするので、これらは、エネルギー効率的である。前記重み付き加算器がニューロンを生成するために使用されるときに、このようなインプリメンテーションを可能にする本出願において記述した重み付き加算器を改変することは有用であろう。これは、コンパレーターを第１の／入力電荷リザーバに結合することによって行うことができ、および一旦このリザーバにおける電荷がレベルに達すると、割り込みを生成して、ニューロンの出力を所望のニューラルネットワーク内のその適切な接続に結合するようにコントローラに強制する。また、いくつかの神経形態学的なスパイキングネットワークは、大きさおよび／または時間遅延情報についての要求を有する。時間遅延は、複数回時間遅延クロスバーにおいてランプを繰り返すことを介して、および図１０におけるスイッチ１０６の第２のセットの使用を介して導入してもよい。たとえば、ランプが５回繰り返され、およびコントローラがそのランプにおいて電流が加えられされるべきであることを示す５ビットの文字を提供した場合、簡易なカウンタを使用して、適切な５ビットの遅延文字にマッチする場合に電流が流れることを可能にすることのみによって、いつ前記第２のスイッチをオンにして前記時間遅延を実行するかを決定することができるであろう。
【００５１】
一定の場合において、完全に電荷リザーバを分離することが、むしろ直列にこれらを結合するよりも効率的であり得る。この場合において、第１のサイクルの間および第２のサイクルの間の第１の電荷リザーバ電荷は、それが枯渇されるまで制御された割合で電荷移動手段によって放出される。この同じ第２のサイクルの間、第１を荷電するものに比例する大きさであるようにプログラムされた第２の電荷移動手段は、第１の電荷リザーバにおける電荷が枯渇されるまで第２の電荷リザーバを荷電する。ここで、第２の電荷リザーバにおける電荷は、電荷移動の割合の比率を乗じた第１のものであろう。たとえば、電荷移動手段が電流源であり、およびＩ１が第１の電荷リザーバを枯渇し、およびＩ２が第２を荷電していた場合、第２のサイクルの最後に前記第２の電荷リザーバにおける電荷は、Ｉ２／Ｉ１＊Ｑ１であるだろうし、式中Ｑ１は、第１の電荷リザーバにおける最初の荷電である。電荷移動手段は、ＭＯＳＦＥＴ、トランスファゲート、傾斜接合または電荷を制御することができ、一方で始められる、または止められるその他の装置であることができ得る。
【００５２】
電荷注入を減少させて、および極めて小さな当量のキャパシタンスの使用を可能にするために、トランスファゲートは、接合部を欠いたＭＯＳＦＥＴで生成され、その構造は、またオーバーラップキャパシタンスを最小限にするようにデザインされる。例を図１１に示す。
【００５３】
図１２を参照して、重み付き加算器１２０を示す態様が検討され得る。ここで、ＭＮ１のゲートからなる単一の電荷リザーバを示してあり、これはまた、Ｃ１（コンデンサまたは浮遊拡散であることができ得る）、ゲーティングＭＯＳＦＥＴ  １２２のドレインおよびＩｏｕｔとしても知られる電流源１２６に結合される。ｗ１およびｗｎ並びにバイアスｂ１と表示した電荷移動装置１２４は、所望の重み入力に準拠して、および電流源Ｉｏｕｔ１２６に比例してプログラムされる。これらの重み入力は、時間入力ａ１、ａｎおよびｂによってゲート制御され、これらは、ＭＯＳＦＥＴ  １２２のゲートを駆動する緩衝器に接続して示してある。リセットの間、ＭＮ１のゲートは、そのＶｔコンパレーター閾値を下回って引かれ、これによりＭＯＳＦＥＴ  Ｍ１のドレインを反転させ、およびこれがスイッチオフされた後にＭＮ１ゲートがそのスイッチング閾値に到達するまでインバータ１２８が電流源１２６をオンにすることが可能になるだろう。第１のサイクルにおいて、複数個のパルスがａ１…ａｎおよびｂを入力する時は、効率的に重みが所与の長さの時間の間流れることができ、その結果加重電荷をＭＮ１のゲートにて電荷リザーバから除去させる。一旦この電流が除去されると、ＭＮ１のドレインは、再びその状態を反転させ、およびインバータ１２８に電流源Ｉｏｕｔをオンにさせるであろうし、これにより重み付き入力によって除去された電荷を置き換えるであろう。そうするために要する時間は、ａｏｕｔにて加重和出力パルスを示すであろう。
【００５４】
開示の態様を種々の具体的態様に関して記述してきたが、当業者であれば、開示の態様が特許請求の範囲の精神および範囲内の改変を伴って実施されてもよいことを認識するであろう。
【図１】
2021515955.tif 000003
【図２Ａ】
2021515955.tif 000004
【図２Ｂ】
2021515955.tif 000005
【図３】
2021515955.tif 000006
【図４】
2021515955.tif 000007
【図５】
2021515955.tif 000008
【図６Ａ】
2021515955.tif 000009
【図６Ｂ】
2021515955.tif 000010
【図６Ｃ】
2021515955.tif 000011
【図６Ｄ】
2021515955.tif 000012
【図７Ａ】
2021515955.tif 000013
【図７Ｂ】
2021515955.tif 000014
【図８Ａ】
2021515955.tif 000015
【図８Ｂ】
2021515955.tif 000016
【図９】
2021515955.tif 000017
【図１０】
2021515955.tif 000018
【図１１】
2021515955.tif 000019
【図１２】
2021515955.tif 000020
【国際調査報告】
2021515955.tif 000021