【手続補正書】
【提出日】令和3年1月22日(2021.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減する方法であって、前記ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮへその出力を確認しながらシリアルに入力され、前記方法は、
第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、前記シナプス重みの一部を転送することと、
前記第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している前記低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、前記シナプス重みの一部を転送することと、を含み、
このＡＮＮにおける固定デバイス非対称性が、複数の前記第１および第２の転送間隔にわたって打ち消される、方法。
【請求項２】
前記ＡＮＮにおけるニューロンがＣＭＯＳ回路を用いて実装される、請求項１に記載の方法。
【請求項３】
各シナプスの前記シナプス重みが、アナログ・メモリ素子を使用して実装される、請求項１に記載の方法。
【請求項４】
前記アナログ・メモリ素子が、不揮発性メモリ（ＮＶＭ）である、請求項３に記載の方法。
【請求項５】
前記ＮＶＭが、相変化メモリ、抵抗性ランダム・アクセス・メモリ、および導電性ブリッジ・ランダム・アクセス・メモリから成る群から選択される、請求項４に記載の方法。
【請求項６】
人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスの前記シナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へ前記シナプス重みの一部を周期的に転送することと、
シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、前記低重要度のコンダクタンス対の極性を反転させることと、
ネットワーク出力が所定の精度で前記所望の出力に近づくまで、前記訓練例の前記シリアル入力を繰り返すことと、を含む、方法。
【請求項７】
前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される、請求項６に記載の方法。
【請求項８】
前記ＡＮＮが、パターン認識アプリケーション、画像認識アプリケーション、音声認識アプリケーション、および言語処理アプリケーションから成る群から選択される、請求項６に記載の方法。
【請求項９】
前記低重要度のコンダクタンス対の前記極性が、前記低重要度のコンダクタンス対において、２つのコンダクタンスの役割を入れ替えることによって反転される、請求項６に記載の方法。
【請求項１０】
前記低重要度のコンダクタンス対における前記２つのコンダクタンスのうちの１つが、第１の共用コンダクタンスから第２の共用コンダクタンスへ再構成される、請求項９に記載の方法。
【請求項１１】
人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
（ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって、各シナプスに対して元のシナプス重みを計算することと、
（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
（ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、前記元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
（ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む、方法。
【請求項１２】
人工神経回路網（ＡＮＮ）において実施される方法であって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記方法は、
（ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、
（ｂ）所与のコンダクタンスにおいて、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
（ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
（ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含み、
前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされた前記コンデンサを使用して実装される、方法。
【請求項１３】
人工神経回路網（ＡＮＮ）における固定デバイス非対称性によって誘発される重みへの不要な寄与を軽減するシステムであって、前記ＡＮＮにおける各シナプスのシナプス重みは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮへその出力を確認しながらシリアルに入力され、前記システムは、
第１の訓練サイクルに相当する第１の転送間隔中に、低重要度のコンダクタンス対（ｇ−ｇｓｈａｒｅｄ）から高重要度のコンダクタンス対（Ｇ＋−Ｇ−）へ、前記シナプス重みの一部を転送することと、
前記第１の転送間隔後であり、また第２の訓練サイクルに相当する第２の転送間隔中に、極性が反転している前記低重要度のコンダクタンス対−（ｇ−ｇｓｈａｒｅｄ）から、高重要度のコンダクタンス対（Ｇ＋−Ｇ−）に、前記シナプス重みの一部を転送することと、を含む方法を行うように動作可能であり、
このＡＮＮにおける固定デバイス非対称性が、複数の前記第１および第２の転送間隔にわたって打ち消される、システム。
【請求項１４】
人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、各シナプスの前記シナプス重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記システムは、
総シナプス重みが実質的に変わらないままであるように、低重要度のコンダクタンス対から高重要度のコンダクタンス対へ前記シナプス重みの一部を周期的に転送することと、
シナプス重みのこれらの周期的転送のうちの１つまたは複数を受けて、前記低重要度のコンダクタンス対の極性を反転させることと、
前記ネットワーク出力が所定の精度内で前記所望の出力に近づくまで、前記訓練例の前記シリアル入力を繰り返すことと、を含む方法を行うように動作可能である、システム。
【請求項１５】
人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、方法であって、
（ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させ、２つ以上のコンダクタンス対からの算術寄与によって各シナプスに対して元のシナプス重みを計算することと、
（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
（ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、前記元のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
（ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能である、システム。
【請求項１６】
人工神経回路網（ＡＮＮ）において実装されたシステムであって、前記ＡＮＮは、１つの層の出力が後続の層の複数のニューロンの入力に結合された状態で層状に配置された複数のニューロンを備え、そこでは、ニューロンが複数のシナプスを介して互いに結合され、前記シナプスのそれぞれは、２つの結合されたニューロン間の結合強度を符号化するシナプス重みを有し、前記シナプスのそれぞれの前記重みの大きさは、複数のコンダクタンス対からの重み付き電流フローによって表され、前記複数のコンダクタンス対のそれぞれは、ジョイント寄与に相当し、かつ高重要度コンダクタンス対および低重要度コンダクタンス対を有し、そこでは、複数の訓練例が前記ＡＮＮにその出力を確認しながらシリアルに入力され、そこでは、逆伝播アルゴリズムが、所与の層からの出力と前記所与の層からの所望の出力との間の差に応じて前記シナプス重みを更新し、前記システムは、
（ａ）前記ＡＮＮのネットワークにおけるアナログ・メモリ素子にわたるコンダクタンスの訓練および測定を中断させることと、
（ｂ）所与のコンダクタンス対において、その絶対値が所定の値だけその対になったコンダクタンスよりも大きい少なくとも１つの測定済みコンダクタンスを特定することと、
（ｃ）前記低重要度コンダクタンス対を、総シナプス重みへのゼロ・ジョイント寄与に対応して、実質的に等しくなるように再構成し、同様のシナプス重み値が得られるまで、より重要なコンダクタンス対のうちの１つを再構成することと、
（ｄ）後続の訓練作業に向けて、前記低重要度のコンダクタンス対の極性を反転させることと、を含む方法を行うように動作可能であり、
前記ＡＮＮにおける前記シナプス重みの一部が、下流ニューロンおよび上流ニューロンに関連付けられた信号に従って、コンデンサへ電荷を加え、また前記コンデンサから電荷を減じるために、プログラミング・トランジスタと共に、読み取りトランジスタのゲートに紐付けされたコンデンサを使用して実装される、システム。
【請求項１７】
人工神経回路網において実施されるコンピュータ・プログラムであって、
請求項１ないし１２のいずれか一項に記載の方法のステップを、前記人工神経回路網に実行させる、コンピュータ・プログラム。