(57)【要約】本発明の実施形態による、光学回路内の活性化のためのシステムおよび方法が、図示される。一実施形態は、光学活性化回路を含み、回路は、方向性結合器と、光学／電気変換回路と、時間遅延要素と、非線形信号調整器と、移相器とを備える。方向性結合器は、光学入力を受信し、第１の部分を光学／電気変換回路に、第２の部分を時間遅延要素に提供し、時間遅延要素は、遅延信号を移相器に提供し、光学／電気変換回路は、方向性結合器からの光学信号を、移相器を活性化するために使用される電気信号に変換し、遅延信号の位相を偏移させる。
2021523410.tif 000002
【特許請求の範囲】
【請求項１】
光学活性化回路であって、前記回路は、
方向性結合器と、
光学／電気変換回路と、
時間遅延要素と、
非線形信号調整器と、
移相器と
を備え、
前記方向性結合器は、光学入力を受信し、第１の部分を前記光学／電気変換回路に、第２の部分を前記時間遅延要素に提供し、
前記時間遅延要素は、遅延信号を前記移相器に提供し、
前記光学／電気変換回路は、前記方向性結合器からの光学信号を、前記移相器を活性化するために使用される電気信号に変換し、前記遅延信号の位相を偏移させる、回路。
【請求項２】
前記非線形信号調整器は、前記光学／電気変換回路からの電圧の非線形変換を実施する、請求項１に記載の回路。
【請求項３】
静的バイアス電圧を前記移相器を活性化するために使用される電気信号に追加するための要素をさらに備える、請求項２に記載の回路。
【請求項４】
前記移相器は、干渉計に内蔵され、前記遅延信号の強度を変調させる、請求項１に記載の回路。
【請求項５】
前記干渉計は、Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計である、請求項４に記載の回路。
【請求項６】
前記光学／電気変換回路は、光検出器を備える、請求項１に記載の回路。
【請求項７】
前記光学／電気変換回路はさらに、信号増幅器を備える、請求項６に記載の回路。
【請求項８】
前記信号増幅器は、半導体光学増幅器である、請求項７に記載の回路。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本発明は、米国空軍科学研究局によって付与された契約第ＦＡ９５５０−１７−１−０００２号下における政府支援で行われた。政府は、本発明における特定の権利を有する。
【０００２】
本願は、「Ｔｒａｉｎｉｎｇ  ｏｆ  Ｐｈｏｔｏｎｉｃ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  Ｔｈｒｏｕｇｈ  ｉｎ  Ｓｉｔｕ  Ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ」と題され、２０１８年５月１０日に出願された、米国仮特許出願第６２／６６９，８９９号、および「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ａｃｔｉｖａｔｉｏｎ  Ｆｕｎｃｔｉｏｎｓ  ｆｏｒ  Ｐｈｏｔｏｎｉｃ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ」と題され、２０１９年３月７日に出願された、米国仮特許出願第６２／８１５，２４３号の利益および優先権を主張する。米国仮特許出願第６２／６６９，８９９号および第６２／８１５，２４３号の開示は、参照することによってその全体として本明細書に組み込まれる。
（技術分野）
【０００３】
本発明は、概して、光子ニューラルネットワークに関し、より具体的には、光子ニューラルネットワークを通した順および／または逆伝搬のための活性化関数に関する。
【背景技術】
【０００４】
最近、集積光学系は、光子回路内で効率的に行われ得る、行列ベクトル積に大きく依存する、人工ニューラルネットワーク（ＡＮＮ）を含む、機械学習アルゴリズムを実装するためのハードウェアプラットフォームとして関心を集めている。人工ニューラルネットワークおよび機械学習全般は、膨大な数の用途のために、普遍的となりつつある。これは、ＡＮＮを、コンピュータ科学だけではなく、また、電気エンジニアリングにおける研究の焦点とし、ニューラルネットワーク演算を実施するために具体的に好適にされたハードウェアが、積極的に開発されている。種々の電子ソリッドステートプラットフォームを使用して人工ニューラルネットワークアーキテクチャを構築する際、甚大な努力が成されているが、ＡＮＮの考案以降、光学信号を使用したハードウェア実装もまた、検討されている。光学ハードウェアプラットフォームは、特に、その超大信号帯域幅、短待ち時間、および再構成力に起因して、コンピューティングおよび信号処理のために魅力的である。光子実装は、光子の非相互作用性質に起因して、ニューラルネットワークアルゴリズム毎に見出される反復行列乗算のような線形演算が、電子とは対照的に、光を使用するとき、並行して、かつより低いエネルギーコストで、実施されることができるという事実から利点を享受する。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態による、光学回路内の活性化のためのシステムおよび方法が、図示される。一実施形態は、光学活性化回路を含み、回路は、方向性結合器と、光学／電気変換回路と、時間遅延要素と、非線形信号調整器と、移相器とを備える。方向性結合器は、光学入力を受信し、第１の部分を光学／電気変換回路に、第２の部分を時間遅延要素に提供し、時間遅延要素は、遅延信号を移相器に提供し、光学／電気変換回路は、方向性結合器からの光学信号を、移相器を活性化するために使用される電気信号に変換し、遅延信号の位相を偏移させる。
【０００６】
さらなる実施形態では、非線形信号調整器は、光学／電気変換回路からの電圧の非線形変換を実施する。
【０００７】
さらに別の実施形態では、本方法はさらに、静的バイアス電圧を移相器を活性化するために使用される電気信号に追加するための要素のためのステップを含む。
【０００８】
なおもさらなる実施形態では、移相器は、干渉計に内蔵され、遅延信号の強度を変調させる。
【０００９】
さらに別の実施形態では、干渉計は、Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計である。
【００１０】
なおもさらなる実施形態では、光学／電気変換回路は、光検出器を含む。
【００１１】
別の付加的実施形態では、光学／電気変換回路はさらに、信号増幅器を含む。
【００１２】
さらなる付加的実施形態では、信号増幅器は、半導体光学増幅器である。
【００１３】
付加的実施形態および特徴は、続く説明に部分的に記載され、部分的には、明細書の吟味に応じて、当業者に明白となり、または本発明の実践によって学習され得る。本発明の性質および利点のさらなる理解は、明細書の残りの部分および本開示の一部を形成する図面を参照することによって実現され得る。
【図面の簡単な説明】
【００１４】
説明および請求項は、本発明の例示的実施形態として提示され、本発明の範囲の完全列挙として解釈されるべきではない、続く図およびデータグラフを参照することによって、より完全に理解されるであろう。
【００１５】
【図１】図１は、本発明のある実施形態による、Ｌ個の層のフィードフォワードニューラルネットワーク（または光子ハードウェアプラットフォーム）のブロック図を図示する。
【００１６】
【図２】図２は、本発明のある実施形態による、フィードフォワードニューラルネットワークの単一層の実施例を図示する。
【００１７】
【図３】図３は、本発明のある実施形態による、活性化ブロックの実施例を図示する。
【００１８】
【図４】図４は、本発明のある実施形態による、電気バイアスの代表的選択を横断した応答を図示する。
【００１９】
【図５】図５は、種々の活性化閾値のための光学／電気利得Ｇと変調器Ｖπとの間の関係のチャートを図示する。
【００２０】
【図６】図６は、利得および変調器の関数としての電気光学活性化のための非線形パラメータのチャートを図示する。
【００２１】
【図７】図７は、ＸＯＲ実施例のチャートを図示する。
【００２２】
【図８】図８は、手書きの数字認識実施例のチャートを図示する。
【００２３】
【図９】図９は、２層ネットワークのための訓練の間の検証正確度と損失関数値との間の比較のチャートを図示する。
【００２４】
【図１０】図１０は、電気光学活性化関数を用いて訓練されたＯＮＮに関する混同行列を図示する。
【発明を実施するための形態】
【００２５】
ここで図面に目を向けると、本発明のある実施形態による、システムおよび方法は、光子ニューラルネットワークを訓練および実装するために使用されることができる。本発明の多くの実施形態による、システムおよび方法は、光学ニューラルネットワーク内の非線形活性化関数のための電気光学ハードウェアプラットフォームを提供する。本発明の多くの実施形態による、光学／光学非線形性は、入力光学信号のごく一部を、動作速度の低減を伴わずにオリジナル光学信号を強度変調させるために使用され得る、アナログ電気信号に変換することによって作用する。いくつかの実施形態では、本スキームは、比較的に低光パワー閾値において、伝送率における完全非線形オン−オフコントラストを可能にすることができ、ネットワークの各層間に付加的光学源を有する要件を排除することができる。多数の実施形態では、活性化関数は、電気バイアスを介して、再構成可能であって、それが種々の非線形応答を合成するようにプログラムまたは訓練されることを可能にする。本発明の種々の実施形態による、活性化関数は、光学ニューラルネットワークの表現力を有意に改良し、それらが機械学習タスク上で良好に性能を発揮することを可能にすることができる。本明細書に説明される実施例の多くは、光子ＡＮＮの特定のハードウェア実装を参照して説明されるが、当業者は、方法およびシステムが、本発明の核心から逸脱することなく、他の光子プラットフォームにも容易に適用され得ることを認識するであろう。
【００２６】
非線形活性化関数は、それらがその入力と出力との間の複雑なマッピングを学習することを可能にすることによって、ＡＮＮにおいて重要な役割を担う。デジタルプロセッサは、広く使用されているシグモイド、ＲｅＬＵ、およびｔａｎｈ関数等の非線形性を自明に適用するための表現力を有するが、光学ハードウェアプラットフォームにおける非線形性の実現は、より困難である。これに関する１つの理由は、光学非線形性が、比較的に弱く、大相互作用長と高信号パワーの組み合わせを余儀なくし、これは、それぞれ、物理的占有面積およびエネルギー消費に関する下限を課す。光学非線形性を共鳴的に向上させることが、可能性として考えられるが、これは、動作帯域幅を低減させる際に、不可避なトレードオフを伴い、それによって、ＯＮＮの情報処理容量を限定する。加えて、光学回路の多くの要素を横断して均一共鳴応答を維持することは、各要素を慎重に較正するための付加的制御回路構成を余儀なくする。
【００２７】
光学非線形性のより基本的限界は、その応答が、デバイス加工の間、固定される傾向にあることである。非線形光学応答の本限定された調整力は、ＯＮＮが、所与の機械学習タスクのためにより好適であり得る、異なる非線形活性化関数を実現するように再プログラムされることを妨げる。同様に、固定された非線形応答はまた、光学信号パワーが、前の層における損失に起因して活性化閾値を下回るとき、活性化関数の多くの層を伴う超深層ＯＮＮの性能を限定し得る。活性化閾値は、非線形性が最強である、活性化伝達関数上の点に対応する。例えば、導波管内の２Ｄ材料からの光学可飽和吸収に伴って、活性化閾値は、約１〜１０ｍＷであって、各後続層の非線形性における強度が連続的により弱くなるであろうことを意味する。
【００２８】
これらの課題に照らして、他の方法は、各光学信号を検出し、それらを従来のデジタルコンピュータを通してフィードし、非線形性を適用し、次いで、後続層のための新しい光学信号を変調させることによって、活性化関数を実装するように試みている。そのようなアプローチは、デジタル信号処理のフレキシビリティから利点を享受するが、従来のプロセッサは、限定された数の入力および出力チャネルを有し、これは、そのようなアプローチが非常に大きい行列寸法および多数の光学入力にスケーリングされることを妨げるであろう。さらに、デジタル的に適用された非線形性は、アナログ／デジタル変換プロセスからの待ち時間を追加し、ニューラルネットワークの算出速度を、ＯＮＮが克服を模索する、同一ＧＨｚスケールクロックレートに制約する。
【００２９】
本発明のいくつかの実施形態による、システムおよび方法は、光学／光学非線形性を合成するための電気光学アーキテクチャを提供し、これは、上記に議論される問題点を緩和する。多くの実施形態では、アーキテクチャは、信号伝送率における完全オン−オフコントラスト、種々の非線形応答曲線、および低活性化閾値を特徴とすることができる。従来的光学非線形性を使用するのではなく、本発明の種々の実施形態による、システムおよび方法は、動作帯域幅または算出速度における任意の低減を伴わずに、電気光学変調器を使用して、入射光学信号パワーのごく一部を測定し、オリジナル光学信号を変調させることによって、動作することができる。加えて、本発明のある実施形態による、プロセスは、アナログ電気コンポーネントを使用して、信号上で付加的非線形変換を実施する可能性を可能にすることができる。本明細書に説明される実施例の多くは、フィードフォワードＯＮＮにおける要素毎活性化として、電気光学アーキテクチャの用途に焦点を当てるが、当業者は、低閾値光学非線形性の合成が、（限定ではないが）光学コンピューティングおよび情報処理等の種々の用途および分野におけるより広義の関心となり得ることを認識するであろう。
【００３０】
ＡＮＮ（またはフィードフォワードニューラルネットワーク）は、入力ベクトルｘ０を受け取り、出力ベクトルｘＬを返す、関数である。具体的には、ＡＮＮは、それぞれ、線形行列ベクトル積から成る、変換のいくつかの層をその入力上で実施し、結果への要素毎非線形関数の適用、すなわち、活性化が続くことができる。ＡＮＮの光学ハードウェア実装が、過去数十年にわたって、種々の形態において提案されている。種々の実施形態では、ＡＮＮの光学ハードウェア実装は、集積光学回路を使用して、線形演算を実装する。多数の実施形態では、ネットワークによって処理されている情報ｘｉは、デバイスにフィードする導波管のモード振幅にエンコーディングされることができる。本発明の多くの実施形態による、行列ベクトル積は、集積光学干渉計のメッシュを使用して遂行されることができる。本発明の多数の実施形態による、ネットワークを訓練することは、干渉計を制御する集積光学移相器のための最適設定を見出すことを要求し、これは、チップの分析モデルを使用して、または原位置逆伝搬技法を使用して見出され得る。
【００３１】
本発明のある実施形態による、Ｌ個の層のフィードフォワードニューラルネットワーク１００（または光子ハードウェアプラットフォーム）のブロック図が、図１に図示される。本図は、ニューラルネットワーク１００の各層が、ベクトル入力ｘｉ…１を乗算する線形行列を表す、
【化１】
2021523410.tif 000003
ブロック１１０から成ることを図示する。いくつかの実施形態では、各
【化２】
2021523410.tif 000004
ブロックは、いくつかの集積移相器を伴う、光学干渉ユニット（ＯＩＵ）を表す。多くの実施形態では、集積移相器は、ＯＩＵを制御し、ネットワークを訓練するために使用されることができる。
【００３２】
本実施例におけるニューラルネットワーク１００の各層はまた、ベクトルｚｉに作用し、出力ｘｉを生産する、要素毎非線形活性化関数を表す、活性化ブロック（ｆｉ）１２０を含む。加重行列
【化３】
2021523410.tif 000005
および活性化関数ｆｉ（・）を含有する、指数ｉを伴う層のために、本演算は、１からＬのｉに関して、以下のように数学的に説明されることができる。
【化４】
2021523410.tif 000006
【００３３】
それらが、有用な算出を実施することが可能となる前に、ＡＮＮは、所与の機械学習タスクを遂行するように訓練されなければならない。訓練プロセスは、典型的には、入力および標的出力ペアの形態で生じる、訓練実施例のセット上でのＡＮＮの予測誤差を最小限にすることによって遂行される。所与のＡＮＮに関して、損失関数（またはコスト関数）が、標的出力およびネットワークによって予測される出力にわたって定義される。訓練の間、本損失関数は、調整可能自由度、すなわち、各層内の加重行列
【化５】
2021523410.tif 000007
の要素に対して最小限にされる。
【００３４】
本発明のある実施形態による、フィードフォワードニューラルネットワークの単一層の実施例が、図２に図示される。本図は、加重行列ブロック
【化６】
2021523410.tif 000008
２１０および活性化ブロック（ｆｉ）２２０を伴う、層２００の概略を示す。本実施例では、加重行列ブロック２１０は、光学干渉ユニット（ＯＩＵ）を使用して、線形演算を実施する。本発明のある実施形態による、ＯＩＵは、シリコン光子回路内に統合される、制御可能Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）のメッシュである。ＭＺＩ内に統合される移相器を調整することによって、入力上での任意の一元的Ｎ×Ｎ個の演算が、実装されることができ、これは、古典的および量子光子の両方における用途を見出す。本発明のいくつかの実施形態による、光子ＡＮＮでは、ＯＩＵは、線形行列ベクトル積毎に使用されることができる。ある実施形態では、非線形活性化は、電子回路を使用して実施されることができ、これは、活性化前の光学状態を測定し、非線形活性化関数をデジタルコンピュータ等の電子回路上で実施し、結果として生じる光学状態がＡＮＮの次の段階に投入されるように準備することを伴う。
【００３５】
本実施例の説明では、ＯＩＵは、線形かつ無損失性のデバイスを通して同一数の単一モード出力ポートに結合される、単一モード導波管入力ポートの数Ｎによって説明される。ある実施形態では、デバイスはまた、異なる数の入力および出力に作用するように拡張されてもよい。本発明のいくつかの実施形態による、ＯＩＵは、全てのパワーが入力ポートから出力ポートに排他的に流動するように、方向性伝搬を実装する。その最も一般的形態では、デバイスは、以下の線形演算を実装する。
【化７】
2021523410.tif 000009
式中、ＸｉｎおよびＺｏｕｔは、それぞれ、入力および出力ポートのモード振幅であって、
【化８】
2021523410.tif 000010
、すなわち、伝達行列は、系の全散乱行列の非対角線ブロックである。
【化９】
2021523410.tif 000011
【００３６】
対角線ブロックは、順方向のみの伝搬が仮定されるため、ゼロである一方、非対角線ブロックは、相反系が仮定されるため、相互の転置である。ＺｉｎおよびＸｏｕｔは、デバイスが逆に起動される、すなわち、信号入力を出力ポートから送信する場合、それぞれ、入力および出力モード振幅に対応する。
非線形活性化関数
【００３７】
本発明のいくつかの実施形態による、システムおよび方法は、光学ニューラルネットワークのための非線形活性化関数アーキテクチャを提供する。本発明の多数の実施形態による、非線形活性化関数は、光学入力パワーのごく一部を電気電圧に変換することによって、光学／光学非線形性を実装することができる。オリジナル光学信号の残りの部分は、干渉計を通して通過するにつれて、本電圧によって位相変調されることができる。多数の実施形態では、入力信号振幅ｚの結果として生じる非線形光学活性化関数ｆ（ｚ）は、干渉計強度変調応答ならびに電気信号経路内のコンポーネントの結果である。
【００３８】
活性化ブロック（ｆｉ）のさらなる詳細な実施例が、図３に図示される。活性化ブロック３００は、方向性結合器３１０と、光学／電気変換回路３２０と、非線形信号調整器３３０と、時間遅延３４０と、干渉計３５０とを含む。本図は、本発明のある実施形態による、提案される光学／光学活性化関数を示し、これは、光学入力ｚのごく一部を電気信号に変換し、次いで、干渉計を通して通過するにつれて、オリジナル光学信号の残りの部分を強度変調させることによって、非線形応答を達成する。
【００３９】
図３では、太い黒色線は、光学導波管を表す一方、より細い青色線は、電気信号経路を表す。入力信号ｚは、最初に、方向性結合器３１０に進入し、これは、入力光パワーαの一部を光学／電気変換回路３２０の光検出器にルーティングする。光検出器は、光学／電気変換回路３２０の第１の要素であって、これは、光学強度を電圧に変換するための高速光学受信機の標準コンポーネントである。いくつかの実施形態では、光学／電気変換回路はまた、（限定ではないが）光ダイオードの前の半導体光学増幅器（ＳＯＡ）を介して等、光学強度を増幅させる。多くの実施形態では、トランスインピーダンス増幅器が、出力光電流を、移相器を作動させ得る、電圧に変換するために使用されることができるが、光学増幅は、電気ドメイン内の非常に高利得の要件を緩和し得る。ある実施形態では、要求される利得は、位相偏移を位相変調器内に誘発するための低閾値電圧（Ｖπ）を伴う電気光学移相器を利用することによって、さらに低減されることができる。本実施例では、入力信号内の総パワーが｜ｚ｜２によって与えられるように、光学信号の正規化が、仮定される。本発明のある実施形態による、光学／電気変換プロセスは、光検出器が電気電流
【化１０】
2021523410.tif 000012
を生産するステップから成り、式中、
【化１１】
2021523410.tif 000013
は、光検出器応答性である。利得Ｇによって特徴付けられる、トランスインピーダンス増幅段は、本電流を電圧
【化１２】
2021523410.tif 000014
に変換する。光学／電気変換回路の出力電圧は、次いで、伝達関数Ｈ（・）を伴う非線形信号調整器３３０を通して通過する。ある実施形態では、本コンポーネントは、電圧信号を変換するための付加的非線形関数の適用を可能にする。最後に、調整された電圧信号Ｈ（ＶＧ）は、方向性結合器３１０の下側ポートを通してルーティングされる光学信号のために、静的バイアス電圧Ｖｂとともに追加され、以下の位相偏移を誘発することができる。
【化１３】
2021523410.tif 000015
パラメータＶπは、位相変調器内にπの位相偏移を誘発するために要求される電圧を表す。本位相偏移は、入力信号強度に依存するため、非線形自己位相変調である。
【００４０】
本実施例では、方向性結合器とＭａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）３５０との間の光学遅延ライン３４０が、光学および電気経路内の信号伝搬遅延を合致させるために使用される。種々の実施形態では、光学遅延ラインは、非線形自己位相変調が、それを生成した光学信号が位相変調器を通して通過するのと同時に適用されることを確実にすることができる。本実施例では、光学遅延は、
【化１４】
2021523410.tif 000016
であって、光学／電気変換段の群遅延（τｏｅ）、非線形信号調整器と関連付けられる遅延（τｎｌ）、および位相変調器のＲＣ時間定数（τｒｃ）からの寄与を考慮する。
【００４１】
いくつかの実施形態では、電気回路によって達成される、非線形自己位相変調は、ＭＺＩによって、以下のように、Δφに応じた伝送率を有する、非線形振幅応答に変換されることができる。
【化１５】
2021523410.tif 000017
バイアスＶｂの構成に応じて、より大きい入力光学信号振幅は、より多いかまたはより少ないかのいずれかのパワーを出力ポートから離れるように迂回させ、非線形自己強度変調をもたらすことができる。非線形自己位相変調のための式とＭＺＩ伝送率を組み合わせることによって、活性化関数の数学的形態が、以下のように明示的に記述されることができる。
【化１６】
2021523410.tif 000018
バイアス電圧からの位相偏移への寄与は、以下となる。
【化１７】
2021523410.tif 000019
【００４２】
下記の説明のうちのいくつかでは、非線形信号調整は、電気信号経路に適用されない、すなわち、Ｈ（ＶＧ）＝ＶＧである。しかしながら、本簡略化を用いても、活性化関数は、依然として、高度に非線形応答を呈する。光検出器または増幅器のいずれか内で生じ得る、ＯＥ変換段における飽和効果もまた、無視される。しかしながら、実践では、これらの飽和効果は、本発明の多数の実施形態による、光学／光学伝達関数を修正するために利用され得る。
【００４３】
上記の簡略化を用いて、活性化関数応答に関するより簡潔な表現は、以下となる。
【化１８】
2021523410.tif 000020
式中、位相利得パラメータは、以下のように定義される。
【化１９】
2021523410.tif 000021
本方程式は、単位入力信号パワーあたり位相偏移の量が、利得および光ダイオード応答性を介して、または光パワーのより大きい割合を電気ドメインに変換することによって、増加され得ることを示す。しかしながら、より大きい割合の光パワーのタップアウトはまた、より大きい線形損失をもたらし、これは、非線形性に利点を提供しない。
【００４４】
多くの実施形態では、Ｖｂによって表される、活性化移相器の電気バイアスは、その非線形応答を決定するための重要な自由度である。電気バイアスの代表的選択は、図４に図示される実施例において検討される。図４の左欄は、方程式８における入力信号振幅、すなわち、
【化２０】
2021523410.tif 000022
の関数として、出力信号振幅をプロットする一方、右欄は、機械学習より光学系において一般に使用される量である、透過係数、すなわち、
【化２１】
2021523410.tif 000023
をプロットする。φｂ＝１．０πおよび０．８５πに対応する、最初の２つの行４０５および４１０は、ＲｅＬＵ活性化関数に匹敵する、応答を呈する、すなわち、伝送率は、小入力値に関して低く、大入力値に関して高い。第２の行４１０におけるφｂ＝０．８５πのバイアスに関して、低入力値における伝送率は、応答に対して若干増加され、φｂ＝１．００πである。理想的ＲｅＬＵ応答と異なり、φｂ＝０．８５πにおける活性化は、伝送率が、最初に、増加する前にゼロになるため、完全に単調ではない。他方では、φｂ＝０．０πおよび０．５０πに対応する、下の２つの行４１５および４２０に示される応答は、非常に異なる。これらの構成は、出力が、より高い入力値に関して抑制されるが、より低い入力値に関して向上される、飽和応答を実証する。行４１５および４２０は、クリップ応答に対応し、小振幅を伴う入力に関して、高伝送率を伴い、より大きい振幅を伴う入力に関して低減された伝送率を伴う。本図に示される応答は全て、α＝０．１に仮定されており、これは、最大伝送率を１−α＝０．９に限定する。
【００４５】
種々の実施形態では、活性化応答の電気制御を有することによって、その電気バイアスは、線形干渉計メッシュをプログラムする、同一制御回路構成に接続されることができる。そうすることによって、本発明のいくつかの実施形態による、単一ＯＮＮハードウェアユニットが、多くの異なる活性化関数応答を合成するように再プログラムされることができる。ある実施形態では、活性化関数応答は、ヒューリスティックに選択されることができる。本発明のいくつかの実施形態による、活性化バイアスは、訓練アルゴリズムを使用して、直接、最適化されることができる。フレキシブルな光学／光学非線形性の本実現は、ＯＮＮが機械学習タスクのはるかに広いクラスに適用されることを可能にすることができる。
【００４６】
図４は、活性化関数の振幅応答のみを示す。実際、これらの応答も全てまた、非線形自己位相変調を出力信号に導入する。いくつかの実施形態では、本非線形自己位相変調は、生成された位相偏移Δφが、分割され、反対符号を伴ってトップおよびボトムアームに適用される、プッシュ−プル干渉計構成を使用して、抑制されることができる。
算出性能
【００４７】
パワー消費、算出待ち時間、および速度は、集積光学干渉計のメッシュを使用して、ネットワーク層の数Ｌおよび入力データ寸法Ｎに対して、行列ベクトル積および電気光学活性化関数を実施する、集積ＯＮＮのためにスケーリングされる必要がある。
【００４８】
本発明の種々の実施形態による、ＯＮＮのパワー消費は、（１）干渉計メッシュの内側のプログラマブル移相器、（２）入力ベクトルｘ０を供給する光学源、および（３）増幅器および光検出器等の活性化関数のアクティブコンポーネントからの寄与から成る。これらのうち、（２）および（３）の寄与は、活性化関数に関する。
【００４９】
パワー消費を定量化するために、非線形応答をトリガする、単一活性化に対する最小入力光パワー、すなわち、活性化関数閾値を検討する。活性化関数閾値は、以下のように数学的に定義されることができる。
【化２２】
2021523410.tif 000024
式中、
【化２３】
2021523410.tif 000025
は、所与のφｂに関するヌル入力を伴う伝送率に対するパワー伝送率の５０％変化を生成するために必要な位相偏移である。一般に、より低い活性化閾値は、ＯＮＮ入力｜ｘ０｜２において要求されるより低い光パワーをもたらすであろう。方程式１０は、活性化閾値が、小Ｖπおよび大光学／電気変換利得
【化２４】
2021523410.tif 000026
を介して低減され得ることを示す。０．１ｍＷ、１．０ｍＷ、および１０．０ｍＷの活性化閾値に関する光学／電気利得Ｇと変調器Ｖπとの間の関係のチャートが、固定された光検出器応答性
【化２５】
2021523410.tif 000027
に関して図５に示される。加えて、図５は、図４に示される活性化関数基底の最高閾値を有する、φｂ＝πであるという保守的仮定を行う。
【００５０】
図５における０．１ｍＷの最低活性化閾値を使用すると、ＯＮＮに対する光学源は、次いで、Ｎ・０．１ｍＷの光パワーを供給する必要があるであろう。集積光学受信機増幅器のパワー消費は、著しく変動し、種々の要因に応じて、１０ｍＷの低値から１５０ｍＷの高値まで及ぶ。単一光学／電気変換回路からのパワー消費の保守的推定値は、Ｌ・Ｎ・１００ｍＷである。Ｎ＝１００を伴うＯＮＮに関して、活性化関数からの層あたりパワー消費は、１０Ｗであり、Ｎ・Ｐｔｈ＝１００・０．１ｍＷ＝１０ｍＷの総光学入力パワーを要求するであろう。本発明のいくつかの実施形態による、光学信号パワーレベルを低減させることは、多くの光学信号が建設的に干渉する、干渉計メッシュ内の集中される高パワー領域の望ましくない効果を軽減させ得るという追加利点を有する。
【００５１】
フィードフォワードニューラルネットワークアーキテクチャに関して、待ち時間は、入力ベクトルｘ０の供給とその対応する予測ベクトルｘＬの読取との間の経過時間によって定義されることができる。集積ＯＮＮでは、本遅延は、単に、全てのＬ個の層を通した光学パルスのための進行時間であり得る。いくつかの実施形態では、干渉計メッシュ内の伝搬距離は、
【化２６】
2021523410.tif 000028
であって、式中、ＤＭＺＩは、メッシュ内の各ＭＺＩの長さである。非線形活性化層では、伝搬長は、光学および電気遅延を合致させるために要求される遅延ラインに左右され得、以下によって与えられる。
【化２７】
2021523410.tif 000029
式中、群速度
【化２８】
2021523410.tif 000030
は、導波管内の光学パルスの速度である。したがって、待ち時間に関する数式は、以下となる。
【化２９】
2021523410.tif 000031
これは、干渉計メッシュからの待ち時間寄与が積ＬＮに伴ってスケーリングされることを示す。他方では、活性化関数は、各回路が全てのベクトル要素に並行に適用されるため、Ｎから独立して、待ち時間に追加される。
【００５２】
具体性のために、ＤＭＺＩ＝１００／μｍおよびｎｅｆｆ＝３．５と仮定する。非線形電気信号調整器が、活性化関数において使用されない、τｎｌ＝０ｐｓと仮定する。光学受信機内で使用される集積トランスインピーダンス増幅器に関する典型的群遅延は、τｏｅ≒１０〜１００ｐｓに及び得る。さらに、５０ＧＨｚのＲＣ限界位相変調器速度が、τｒｃ≒２０ｐｓをもたらすと仮定する。したがって、τｏｅ＝１００ｐｓの保守的値を仮定すると、Ｎ≒１００のネットワーク寸法は、メッシュおよび活性化関数からの等しい寄与を伴う、層あたり２３７ｐｓの待ち時間を有するであろう。１０層ネットワーク（Ｌ＝１０）に関して、総待ち時間は、≒２．４ｎｓとなり、依然として、ＧＰＵと典型的に関連付けられる待ち時間より１桁低いであろう。
【００５３】
ＯＮＮの速度、すなわち、算出容量は、単位時間あたりで処理され得る、入力ベクトルｘ０の数によって決定されることができる。本発明のいくつかの実施形態による、活性化関数は、完全に光学ではないが、干渉計メッシュのみから成る線形ＯＮＮと比較して、速度劣化が存在しない。これに関する理由は、完全集積ＯＮＮがまた、それぞれ、ｘ０ベクトルおよびｘＬベクトルのシーケンスの高速変調および検出を実施する、高速変調器および検出器をオンチップで含むであろうためである。いくつかの実施形態では、同一高速検出器および変調器要素もまた、線形ネットワーク層間に統合され、活性化関数のために光学−電気および電気−光学変換を提供し得る。同様に、トランスインピーダンス増幅器および任意の他の電子コンポーネントが、本発明のいくつかの実施形態によると、光子コンポーネントと共統合され得る。最先端の集積トランスインピーダンス増幅器は、約５０〜１００ＧＨｚである、光学変調器および検出器レートに匹敵する速度で、すでに動作することができ、したがって、１０ＧＨｚの保守的光検出器および変調器レートが、０．０１Ｎ２Ｌ  ＴＦＬＯＰＳとしてスケーリングされる、有効速度をもたらすと仮定して、限定因子とはならないであろう。したがって、Ｎ＝１０を伴う、１層ＯＮＮは、１ＴＦＬＯＰＳにおいて性能を発揮するであろう一方、入力の数をＮ＝１００まで増加させることは、現代のＧＰＵを用いたピーク性能取得可能を上回る桁の１００ＴＦＬＯＰＳの性能をもたらすであろう。
【００５４】
本発明の種々の実施形態による、活性化関数回路は、合致された光学遅延ラインを除去するように修正されることができる。本修正は、活性化の占有面積を低減させるために有利であり得、
【化３０】
2021523410.tif 000032
をもたらすであろう。しかしながら、これは、ＯＮＮ速度の低減をもたらし得、これは、次いで、ネットワーク内の全Ｌ個の非線形層の組み合わせられた活性化遅延
【化３１】
2021523410.tif 000033
によって限定されるであろう。
【００５５】
本節では、電気光学活性化関数の自己位相変調応答が、Ｋｅｒｒ効果を用いて達成される全光学自己位相変調と比較される。Ｋｅｒｒ効果は、三次光学非線形性であって、これは、局所強度に比例する屈折率の変化をもたらす。電気光学活性化関数における自己位相変調と異なり、Ｋｅｒｒ効果は、無損失性であって、待ち時間を有しない。導波管の内側のＫｅｒｒ効果の強度は、それが単位長あたりの単位入力パワーあたりで生成する、非線形位相偏移の量を通して定量化されることができる。数学的に、本性能指数は、以下のように定義される。
【化３２】
2021523410.tif 000034
式中、ｎ２は、材料の非線形屈折率であって、Ａは、有効モード面積である。ΓＫｅｒｒの値は、カルコゲン化物中の１００（Ｗ・ｍ）−１〜シリコン中の３５０（Ｗ−ｍ）−１に及ぶ。比較のために、電気光学フィードフォワードスキームのための等価性能指数は、以下のように数学的に定義されることができる。
【化３３】
2021523410.tif 000035
式中、ＶπＬは、位相変調器性能指数である。方程式１３および方程式１４の比較は、Ｋｅｒｒ効果の強度が、主として、導波管設計および材料選択肢によって固定されるが、電気光学スキームは、数自由度を有し、これが、潜在的に、より強い非線形応答を達成することを可能にすることを示す。
【００５６】
第１の設計パラメータは、光検出器にタップオフされるパワーの量であって、これは、より大きい電圧を位相変調器において生成するように増加されることができる。しかしながら、αを増加させることはまた、活性化を通して、ＯＮＮの入力と出力との間の非線形マッピングに寄与しない、線形信号損失も増加させる。したがって、αは、光検出器にルーティングされる光パワーが雑音等価パワーレベルを上回るために十分に大きくなるように、最小限にされるべきである。
【００５７】
他方では、積
【化３４】
2021523410.tif 000036
は、電気電圧への検出された光パワーの変換効率を決定する。利得および変調器の関数としての電気光学活性化のための非線形パラメータΓＥＯのチャートが、図６に図示される。図６の第１のチャート６１０は、Ｇの関数として、α＝０．５０、０．１０、および０．０１に関する、ΓＥＯ６１２とシリコン６１４からのΓＫｅｒｒを比較する。応答性は、
【化３５】
2021523410.tif 000037
に固定される。光パワーのタップアウト１０％は、シリコン導波管のものに匹敵する非線形位相偏移を達成するために、２０ｄＢΩの利得を要求し、同一量の入力パワーに関して、Ａ＝０．０５／μｍ２である。光パワーの１％のみのタップアウトは、等価性を維持するために、付加的１０ｄＢΩの利得を要求する。第１のチャート６１０において検討される利得範囲は、十分に光学受信機のための集積トランスインピーダンス増幅器において実証されたものの体系の範囲内である。実際、これらのシステムの多くは、はるかに高い利得を実証している。第１のチャート６１０では、位相変調器ＶπＬは、２０Ｖｍｍに固定された。しかしながら、より低いＶπＬが、印加される電圧のために増加された位相偏移に変換されるため、本パラメータはまた、本発明のいくつかの実施形態によると、非線形性を向上させるために使用されることができる。第２のチャート６２０は、再び、固定された応答性
【化３６】
2021523410.tif 000038
を用いて、Ｇのいくつかの値にわたってＶπＬを変化させる効果を実証する。これは、合理的レベルの利得および位相変調器性能を用いて、電気光学活性化関数が、Ｋｅｒｒ効果より有意に低い光学活性化閾値のための待ち時間の増加をトレードオフし得ることを実証する。
【実施例】
【００５８】
本節では、本発明のいくつかの実施形態による、電気光学活性化関数が、排他的ＯＲ（ＸＯＲ）関数および手書きの数字の分類を含む、例示的機械学習タスクに適用される。
【００５９】
排他的ＯＲ（ＸＯＲ）は、２つの入力をとり、単一出力を生産する、論理関数である。出力は、２つの入力のうちの一方のみが高い場合、高であって、全ての他の可能性として考えられる入力の組み合わせに関しては、低である。本実施例では、多入力ＸＯＲは、ｘ１．．．ｘＮによって与えられる、Ｎ個の入力値をとり、単一出力値ｙを生産する。多入力ＸＯＲ関数の入力−出力関係は、２入力ＸＯＲの一般化である。例えば、論理高および低値を、それぞれ、１および０として定義すると、４入力ＸＯＲは、
【化３７】
2021523410.tif 000039
および
【化３８】
2021523410.tif 000040
を有するであろう。ＸＯＲ関数は、非自明レベルの非線形性を要求し、線形干渉計メッシュのみから成るＯＮＮ内に実装され得ないことを意味する。
【００６０】
本実施例では、ＯＮＮは、Ｌ個の層を含み、各層は、Ｎ×Ｎ個の一元的干渉計メッシュから構築され、Ｎ個の並列電気光学活性化関数のアレイが続く。最終層後、下位Ｎ−１出力が、ｙに対応する、単一出力値を生産するようにドロップされる。上記に説明される理想的ＸＯＲ入力−出力関係と異なり、ＯＮＮによって学習されたＸＯＲタスクに関して、入力ベクトルは、それらが、常時、１のＬ２ノルムを有するように、正規化される。本制約は、ネットワークに対して一定入力パワーを行使することに匹敵する。加えて、活性化関数は、光パワーレベルを各層において減衰させるため、高出力状態は、０．２の値となるように正規化される。低出力値は、０．０の値に固定されたままである。いくつかの実施形態では、付加的ポートが、固定されたパワーバイアスとともに追加され、ネットワークへの総入力パワーを増加させる。
【００６１】
ＸＯＲ実施例のチャートは、図７に図示される。図７の第１のチャート７０５は、２層ＯＮＮによって学習された、４入力ＸＯＲ入力−出力関係を図示する。本実施例では、電気光学活性化関数は、ｇ＝１．７５πの利得およびφｂ＝πのバイアス相を有するように構成された。本バイアス相構成は、上記に説明されるＲｅＬＵ様応答に対応する。黒色マーカ（Ｘ）は、所望の出力値を示す一方、赤色円形は、２層ＯＮＮによって学習された出力を示す。第１のチャート７０５は、学習された出力と所望の出力との間の優れた一致を示す。訓練の間のＯＮＮ出力と所望の出力との間の平均二乗誤差（ＭＳＥ）の進化は、１０−５を下回る最終ＭＳＥを伴って、第２のチャート７１０に示されるように、本一致を確認する。
【００６２】
ＯＮＮを訓練するために、第１のチャート７０５のｘ−軸に沿ったあらゆる可能性として考えられるバイナリ入力組み合わせに対応する、合計２Ｎ＝１６個の訓練実施例が、使用された。全１６個の訓練実施例は、バッチとしてネットワークを通してフィードされ、平均二乗誤差（ＭＳＥ）損失関数を計算した。各移相器に対する損失関数の勾配が、ネットワークを通して、誤差信号を逆伝搬し、各移相器における損失感度を計算することによって算出された。上記のステップは、第２のチャート７１０に示されるように、ＭＳＥが収束するまで繰り返された。
【００６３】
電気光学活性化関数によって提供される非線形性が、ＸＯＲを正常に学習するためにＯＮＮに不可欠であることを実証するために、第３のチャート７１５は、活性化関数利得ｇφの関数として２０回の独立訓練工程にわたって平均された、５，０００回の訓練基準時点後の最終ＭＳＥをプロットする。陰影付き領域は、２０回の訓練工程にわたる、最終ＭＳＥの最小および最大範囲を示す。
【００６４】
ＲｅＬＵ様活性化に対応する、第３のチャート７１５内の青色曲線７２６は、非線形性強度の増加に伴う、最終ＭＳＥの明白な改良を示す。ｇφ＝１．５πを上回る、非常に高非線形性に関して、最小と最大の最終ＭＳＥ間の範囲は、広がり、平均最終ＭＳＥは、増加する。しかしながら、最良の場合の（最小）最終ＭＳＥは、陰影付き青色領域の下側境界線によって示されるように、減少し続ける。本傾向は、非線形性を増加させることが、ＯＮＮがＸＯＲ関数をより良好に学習することを可能にするが、非常に高レベルの非線形性がまた、アルゴリズムを訓練する際、収束の問題点を生じさせ得ることを示す。
【００６５】
非線形性の増加に伴うＭＳＥの減少の傾向もまた、第３のチャート７１５内の緑色曲線７２０に対応する活性化に関して観察される。しかしながら、ＭＳＥ値の範囲は、ｇφ＝１．０πのより低い値で広がり始める。そのような広がりは、活性化関数出力における変化する傾きの結果であり得る。第３のチャート７１５内の赤色（７２２）および橙色（７２４）曲線に対応する活性化関数のうちのいくつかに関して、最終ＭＳＥは、ｇφの増加に伴って、幾分減少するが、概して、他の２つの活性化関数応答よりはるかに高いままである。
【００６６】
別の実施例では、活性化関数は、ＡＮＮのための標準ベンチマーク問題となっている、ＭＮＩＳＴデータセットからの手書きの数字の画像を分類するために使用される。データセットは、０と９との間の手書きの数字の７０，０００枚のグレースケール２８×２８ピクセル画像から成る。
【００６７】
入力パラメータの数、故に、ニューラルネットワークのサイズを低減させるために、本発明のいくつかの実施形態による、プロセスは、事前処理ステップを使用して、画像をフーリエ空間表現に変換する。画像の２Ｄフーリエ変換は、
【化３９】
2021523410.tif 000041
として数学的に定義されることができ、式中、ｇ（ｍ，ｎ）は、画像内の場所（ｍ，ｎ）におけるピクセルのグレースケール値である。手書きの数字認識実施例のチャートが、図８に図示される。フーリエ係数ｃ（ｋｘ，ｋｙ）の振幅８１０は、図８におけるその対応する画像８０５の下方に示される。これらの係数は、概して、複素値であるが、実空間マップｇ（ｍ，ｎ）が実数値であるため、条件
【化４０】
2021523410.tif 000042
が、適用される。
【００６８】
フーリエ空間プロファイルは、主に、図８におけるプロファイルの中心領域に対応する、小ｋｘおよびｋｙの周囲に集中される。これは、画像内でゆっくりと変動する空間特徴に起因する。情報の大部分は、小ｋフーリエ成分によって搬送され、入力サイズを減少させる目標に伴って、データは、最小
【化４１】
2021523410.tif 000043
を伴う、Ｎ個の係数に制限されることができる。本発明の多くの実施形態による、本事前処理ステップの付加的利点は、ニューラルネットワーク寸法が入力としての全２８２個のピクセル値に適応する必要がないため、訓練プロセスを実施するために要求される算出リソースを低減させることである。
【００６９】
フーリエ事前処理は、特に、２つの理由から、ＯＮＮに関連することができる。第１に、フーリエ変換は、所望のコンポーネントを選択するために、レンズおよび空間フィルタを使用して、光学ドメインにおける簡単な実装を有する。第２に、本アプローチは、ＯＮＮが複素関数であるという事実を利用することができる。すなわち、Ｎ個の複素係数ｃ（ｋｘ，ｋｙ）は、２Ｎ自由度を含有し、これは、２倍大きい寸法を使用して、実数値ニューラルネットワークによってのみハンドリングされ得る。本実施例において使用されるＯＮＮアーキテクチャ８１５は、図８に図式的に示される。ｋｘ＝ｋｙ＝０に近似するＮ個のフーリエ係数が、Ｌ個の層から成る光学ニューラルネットワークの中にフィードされ、その後、ドロップマスクが、最終出力を１０個のコンポーネントに低減させ、これは、０から９の数字をワンホットエンコーディングするために使用される。損失関数は、出力ベクトルと正しいワンホットベクトルの強度間のクロスエントロピとして定義される。種々の実施形態では、本最終変換は、直接、光ダイオードのアレイによって実施され得る。
【００７０】
各訓練基準時点の間、データセットからの６０，０００枚の画像のサブセットが、ネットワークを通して、５００のバッチとしてフィードされた。残りの１０，０００枚の画像−ラベルペアは、検証のために使用された。図９のチャート９１０および９２０は、Ｎ＝１６個の入力フーリエコンポーネントを伴う２層ネットワークのための訓練の間の検証正確度と損失関数値との間の比較を図示する。青色曲線９１２は、活性化関数を伴わない、ＯＮＮに対応する一方、橙色曲線９１４は、ｇφ＝０．０５πおよびφｂ＝１．２２πとともに構成される電気光学活性化関数を伴う、ＯＮＮに対応する。電気光学活性化関数を用いて訓練されたＯＮＮに関する混同行列が、図１０に図示される。利得設定は、特に、ヒューリスティックに選択された。非線形活性化関数は、訓練の間およびその後、ＯＮＮ性能に対して有意な改良をもたらし得る。活性化関数を伴うＯＮＮに関する最終検証正確度は、９３％であって、これは、８５％の正確度を達成した線形ＯＮＮと比較して、８％の差異に匹敵する。
【００７１】
混同行列１０００は、活性化関数を伴うＯＮＮを通してフィードされた、検証データに対応する。９３％の予測される正確度は、Ｎ＝１６個のみの複雑なフーリエ成分が使用され、ネットワークが、２×Ｎ２＝５１２個の自由パラメータのみによってパラメータ化されることを考慮して、高い。これは、全ての実空間ビットを入力としてとり、４，０１０個の自由パラメータおよび９２．６％の検証正確度を有する、完全に接続された線形分類器の性能に匹敵する。最後に、下記の表は、活性化を伴わない、活性化を伴う、および訓練された活性化を伴う、ＯＮＮのための２００個の基準時点後の検証正確度の概要を示す。訓練された活性化に関して、各層の利得ｇφが、最適化された。表は、正確度が、第３の層をＯＮＮ内に含むことによって、かつ活性化関数利得を訓練可能パラメータにすることによって、さらに改良され得ることを示す。これは、検証正確度を９４％までにする。
【表１】
2021523410.tif 000044
【００７２】
いくつかの実施形態では、フィードフォワードＯＮＮにおける光学／光学非線形性を合成するためのアーキテクチャおよびその使用が、提供される。光学非線形性を使用するのではなく、本発明の多数の実施形態による、活性化アーキテクチャは、電気ドメイン内の中間信号経路を使用することができ、これは、光検出器および位相変調器を介してアクセスされることができる。具体的には、いくつかの実施形態では、光学入力パワーのごく一部が、タップアウトされることができ、これは、同一光学信号の残りの部分を変調させる前に、アナログ処理を受ける。全光学非線形性は、主として、固定された応答を有するが、ここで実証される電気光学アプローチの利点は、電子ドメイン内の信号増幅が、有意により低い活性化閾値を達成するために、高光学信号パワーの必要性を克服し得ることである。例えば、両方とも、実験的に実行可能である、１０Ｖの位相変調器Ｖπおよび５７ｄＢΩの光学／電気変換利得は、０．１ｍＷの光学活性化閾値をもたらす。
【００７３】
本発明のいくつかの実施形態による、活性化関数アーキテクチャは、完全集積ＯＮＮの入力および出力層と同一集積光検出器および変調器技術を利用することができる。本活性化を使用する、ＯＮＮは、アナログ電気コンポーネントを使用するにもかかわらず、処理速度の低減に悩まされ得ない。潜在的に、電気光学変換プロセスに起因して、待ち時間の増加が存在するが、寸法Ｎ＝１００を伴うＯＮＮは、干渉計メッシュを通した光学パルスの伝搬からのその総待ち時間に対して、電気光学活性化関数からのものとほぼ等しい寄与を有する。本待ち時間は、層あたり２．４ｎｓに匹敵する。
【００７４】
多くの実施形態では、信号パワーの大部分は、常時、光学ドメインにおいて伝達される。これは、以前に実証された電気光学ニューロモーフィックハードウェアおよびリザーバコンピューティングアーキテクチャにおいて要求されるような、ネットワークの各非線形層に新しい光学源を有する要件を排除することができる。加えて、本発明のある実施形態による、各活性化関数は、独立型アナログ回路であって、したがって、並行して適用されることができる。最後に、実施例の多くがフィードフォワードＯＮＮ内の活性化関数としてアーキテクチャを実装するように、説明されているが、本回路を使用した低閾値光学非線形性の合成は、（限定ではないが）光学コンピューティングおよびマイクロ波光子を含む、いくつかの異なる分野に対してより広い関心となり得る。
【００７５】
本発明は、ある具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白となるであろう。したがって、本発明は、具体的に説明されるものと別様に実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる点において、制限的ではなく、例証的と見なされるべきである。
【図１】
2021523410.tif 000045
【図２】
2021523410.tif 000046
【図３】
2021523410.tif 000047
【図４】
2021523410.tif 000048
【図５】
2021523410.tif 000049
【図６】
2021523410.tif 000050
【図７】
2021523410.tif 000051
【図８】
2021523410.tif 000052
【図９】
2021523410.tif 000053
【図１０】
2021523410.tif 000054
【国際調査報告】
2021523410.tif 000055