(57)【要約】本発明の実施形態による、光子ニューラルネットワークを訓練するためのシステムおよび方法が、図示される。一実施形態は、光子人工ニューラルネットワーク（ＡＮＮ）の１つ以上の光学干渉ユニット（ＯＩＵ）のセットを訓練するための方法を含み、本方法は、光子ＡＮＮへのオリジナル入力に関する損失を計算するステップと、計算された損失に基づいて、随伴入力を算出するステップと、算出された随伴入力およびオリジナル入力がＯＩＵのセット内で相互に干渉されるとき、ＯＩＵのセット内の１つ以上の移相器のセットに関する強度を測定するステップと、測定された強度から勾配を算出するステップと、算出された勾配に基づいて、ＯＩＵの移相器を調整するステップとを含む。
2021523461.tif 000002
【特許請求の範囲】
【請求項１】
光子人工ニューラルネットワーク（ＡＮＮ）の１つ以上の光学干渉ユニット（ＯＩＵ）のセットを訓練するための方法であって、前記方法は、
前記光子ＡＮＮへのオリジナル入力に関する損失を計算することと、
前記計算された損失に基づいて、随伴入力を算出することと、
前記算出された随伴入力および前記オリジナル入力が前記ＯＩＵのセット内で相互に干渉されるとき、前記ＯＩＵのセット内の１つ以上の移相器のセットに関する強度を測定することと、
前記測定された強度から勾配を算出することと、
前記算出された勾配に基づいて、前記ＯＩＵの移相器を調整することと
を含む、方法。
【請求項２】
前記随伴入力を算出することは、前記計算された損失を前記ＡＮＮの出力ポートを通して送信することを含む、請求項１に記載の方法。
【請求項３】
移相器のセットの移相器毎の強度が、前記移相器後に測定される、請求項１に記載の方法。
【請求項４】
前記ＯＩＵのセットは、シリコン光子回路内に統合される制御可能Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）のメッシュを備える、請求項１に記載の方法。
【請求項５】
前記随伴入力を算出することは、前記計算された損失を前記ＡＮＮの出力ポートを通して送信することを含む、請求項１に記載の方法。
【請求項６】
前記損失は、平均二乗コスト関数の結果である、請求項１に記載の方法。
【請求項７】
前記ＡＮＮは、フィードフォワードＡＮＮである、請求項１に記載の方法。
【請求項８】
前記ＡＮＮは、再帰ニューラルネットワーク（ＲＮＮ）である、請求項１に記載の方法。
【請求項９】
前記ＡＮＮはさらに、１つ以上の活性化ユニットのセットを備え、各ＯＩＵは、線形演算を実施し、各活性化ユニットは、非線形関数を前記入力上で実施する、請求項１に記載の方法。
【請求項１０】
前記随伴入力を算出することは、前記ＡＮＮを通して入力を送信することに先立って、前記活性化ユニットのセットのうちの少なくとも１つの活性化ユニットを線形化することを含む、請求項９に記載の方法。
【請求項１１】
前記活性化ユニット内のチャネルをシャットオフすることによって、訓練の間、ドロップアウトを実施することをさらに含む、請求項９に記載の方法。
【請求項１２】
前記ＡＮＮの非線形関数は、電子回路を使用して実施される、請求項１に記載の方法。
【請求項１３】
前記ＯＩＵのセットの各ＯＩＵは、同一数の入力ポートおよび出力ポートを含む、請求項１に記載の方法。
【請求項１４】
光子ハードウェアプラットフォームであって、
線形演算のセットを実施するための光学干渉ユニット（ＯＩＵ）のセットと、
非線形演算のセットを実施するための非線形活性化のセットと、
入力ポートのセットと、
出力ポートのセットと
を備え、
前記光子ハードウェアプラットフォームは、
前記ＯＩＵのセット内のオリジナル入力および随伴入力に干渉することであって、前記随伴入力は、前記光子ハードウェアを通した前記オリジナル入力に関する計算された損失に基づいて算出される、ことと、
前記干渉される入力に基づいて、前記ＯＩＵのセットに関する強度を測定することと、
前記測定された強度から算出された勾配に基づいて、前記ＯＩＵのセットを調整することと
を行うように構成される、光子ハードウェアプラットフォーム。
【請求項１５】
前記ＯＩＵのセットの各ＯＩＵは、１つ以上の集積移相器のセットを備える、請求項１４に記載の光子ハードウェアプラットフォーム。
【請求項１６】
前記ＯＩＵのセットに関する強度は、前記集積移相器のセットの各集積移相器後に測定される、請求項１５に記載の光子ハードウェアプラットフォーム。
【請求項１７】
前記ＯＩＵのセットのうちの少なくとも１つのＯＩＵは、シリコン光子回路内に統合される、制御可能Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）のメッシュである、請求項１４に記載の光子ハードウェアプラットフォーム。
【請求項１８】
前記光子ハードウェアプラットフォームはさらに、計算された損失を前記光子ハードウェアプラットフォームの出力ポートを通して送信することによって、前記随伴入力を算出するように構成される、請求項１４に記載の光子ハードウェアプラットフォーム。
【請求項１９】
前記光子ハードウェアプラットフォームは、フィードフォワードＡＮＮである、請求項１４に記載の光子ハードウェアプラットフォーム。
【請求項２０】
前記非線形演算は、電子回路を使用して実施される、請求項１４に記載の光子ハードウェアプラットフォーム。
【発明の詳細な説明】
【技術分野】
【０００１】
（政府支援研究のステートメント）
本発明は、米国空軍科学研究局によって付与された契約第ＦＡ９５５０−１７−１−０００２号下における政府支援で行われた。政府は、本発明における特定の権利を有する。
【０００２】
（関連出願の相互参照）
本願は、「Ｔｒａｉｎｉｎｇ  ｏｆ  Ｐｈｏｔｏｎｉｃ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  Ｔｈｒｏｕｇｈ  ｉｎ  Ｓｉｔｕ  Ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ」と題され、２０１８年５月１０日に出願された、米国仮特許出願第６２／６６９，８９９号、および「Ｔｒａｉｎｉｎｇ  ｏｆ  Ｐｈｏｔｏｎｉｃ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋｓ  Ｔｈｒｏｕｇｈ  ｉｎ  Ｓｉｔｕ  Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ」と題され、２０１８年１２月２１日に出願された、米国仮特許出願第６２／７８３，９９２号の利益および優先権を主張する。米国仮特許出願第６２／６６９，８９９号および第６２／７８３，９９２号の開示は、参照することによってその全体として本明細書に組み込まれる。
【０００３】
本発明は、概して、光子ニューラルネットワークに関し、より具体的には、原位置逆伝搬を通した光子ニューラルネットワークの訓練に関する。
【背景技術】
【０００４】
最近、集積光学系は、光子回路内で効率的に行われ得る、行列ベクトル積に大きく依存する、人工ニューラルネットワーク（ＡＮＮ）を含む、機械学習アルゴリズムを実装するためのハードウェアプラットフォームとして関心を集めている。人工ニューラルネットワークおよび機械学習全般は、膨大な数の用途のために、普遍的となりつつある。これは、ＡＮＮを、コンピュータ科学だけではなく、また、電気エンジニアリングにおける研究の焦点とし、ニューラルネットワーク演算を実施するために具体的に好適にされたハードウェアが、積極的に開発されている。種々の電子ソリッドステートプラットフォームを使用して人工ニューラルネットワークアーキテクチャを構築する際、甚大な努力が成されているが、ＡＮＮの考案以降、光学信号を使用したハードウェア実装もまた、検討されている。光子実装は、光子の非相互作用性質に起因して、ニューラルネットワークアルゴリズム毎に見出される反復行列乗算のような線形演算が、電子とは対照的に、光を使用するとき、並行して、かつより低いエネルギーコストで、実施されることができるという事実から利点を享受する。
【０００５】
光子ニューラルネットワークの多くの実装は、通常のコンピュータ上でシミュレートされたシステムのモデルを使用して訓練されるが、これは、２つの理由から非効率的であり得る。第１に、本方略は、物理的システムのモデル表現の正確度に完全に依存する。第２に、ＡＮＮの多数の同じ固定されたコピーを展開することに関心がない限り、光子回路の使用と関連付けられる速度またはエネルギーにおける任意の利点は、訓練が通常のコンピュータ上で行われなければならない場合、喪失される。代替として、目的関数の勾配の総当たり原位置算出を使用した訓練が、提案されている。しかしながら、本方略は、回路の各個々のパラメータの順次摂動を伴い、これは、大型システムにとって高度に非効率的であり得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の実施形態による、光子ニューラルネットワークを訓練するためのシステムおよび方法が、図示される。一実施形態は、光子人工ニューラルネットワーク（ＡＮＮ）の１つ以上の光学干渉ユニット（ＯＩＵ）のセットを訓練するための方法を含み、本方法は、光子ＡＮＮへのオリジナル入力に関する損失を計算するステップと、計算された損失に基づいて、随伴入力を算出するステップと、算出された随伴入力およびオリジナル入力がＯＩＵのセット内で相互に干渉されるとき、ＯＩＵのセット内の１つ以上の移相器のセットに関する強度を測定するステップと、測定された強度から勾配を算出するステップと、算出された勾配に基づいて、ＯＩＵの移相器を調整するステップとを含む。
【０００７】
さらなる実施形態では、随伴入力を算出するステップは、計算された損失をＡＮＮの出力ポートを通して送信するステップを含む。
【０００８】
さらに別の実施形態では、移相器のセットの移相器毎の強度が、移相器後に測定される。
【０００９】
なおもさらなる実施形態では、ＯＩＵのセットは、シリコン光子回路内に統合される、制御可能Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）のメッシュを含む。
【００１０】
さらに別の実施形態では、随伴入力を算出するステップは、計算された損失をＡＮＮの出力ポートを通して送信するステップを含む。
【００１１】
なおもさらなる実施形態では、損失は、平均二乗コスト関数の結果である。
【００１２】
別の付加的実施形態では、ＡＮＮは、フィードフォワードＡＮＮである。
【００１３】
さらなる付加的実施形態では、ＡＮＮは、再帰ニューラルネットワーク（ＲＮＮ）である。
【００１４】
別の実施形態では、再び、ＡＮＮはさらに、１つ以上の活性化ユニットのセットを含み、各ＯＩＵは、線形演算を実施し、各活性化ユニットは、非線形関数を入力上で実施する。
【００１５】
さらなる実施形態では再び、随伴入力を算出するステップは、ＡＮＮを通して入力を送信するステップに先立って、活性化ユニットのセットのうちの少なくとも１つの活性化ユニットを線形化するステップを含む。
【００１６】
なおもさらに別の実施形態では、本方法はさらに、活性化ユニット内のチャネルをシャットオフすることによって、訓練の間、ドロップアウトを実施するためのステップを含む。
【００１７】
なおも別のさらなる実施形態では、ＡＮＮの非線形関数は、電子回路を使用して実施される。
【００１８】
さらに別の付加的実施形態では、ＯＩＵのセットの各ＯＩＵは、同一数の入力ポートおよび出力ポートを含む。
【００１９】
付加的実施形態および特徴は、続く説明に部分的に記載され、部分的には、明細書の吟味に応じて、当業者に明白となり、または本発明の実践によって学習され得る。本発明の性質および利点のさらなる理解は、明細書の残りの部分および本開示の一部を形成する図面を参照することによって実現され得る。
【図面の簡単な説明】
【００２０】
説明および請求項は、本発明の例示的実施形態として提示され、本発明の範囲の完全列挙として解釈されるべきではない、続く図およびデータグラフを参照することによって、より完全に理解されるであろう。
【００２１】
【図１】図１は、人工ニューラルネットワーク（ＡＮＮ）のための概略の実施例を図示する。
【００２２】
【図２】図２は、ＡＮＮにおける演算の実施例を図示する。
【００２３】
【図３】図３は、勾配情報の実験測定のためのプロセスの概略を図示する。
【００２４】
【図４】図４は、勾配情報の実験測定のためのプロセスを概念的に図示する。
【００２５】
【図５】図５は、時間反転プロシージャの数値実証を図示する。
【００２６】
【図６】図６は、時間反転干渉技法がネットワークに内蔵される層のために実施され得る、方法を図示する。
【００２７】
【図７】図７は、時間反転推定方法を使用して、感度を測定するためのプロセスを、概念的に図示する。
【００２８】
【図８】図８は、時間反転推定技法が内部コヒーレント検出および準備を伴わずに適用され得る、方法を図示する。
【００２９】
【図９】図９は、再帰ニューラルネットワーク（ＲＮＮ）の概略を図示する。
【発明を実施するための形態】
【００３０】
ここで図面に目を向けると、本発明のある実施形態による、システムおよび方法は、光子ニューラルネットワークを訓練するために使用されることができる。いくつかの実施形態では、方法は、原位置強度測定の使用のみによって、光子人工ニューラルネットワーク（ＡＮＮ）のコスト関数の勾配を算出することができる。本発明のいくつかの実施形態による、プロセスは、随伴変数法（ＡＶＭ）を物理的に実装する。さらに、本発明のいくつかの実施形態による、方法は、パラメータの数に対して一定時間でスケーリングされ、これは、逆伝搬がハイブリッド光電子ネットワーク内に効率的に実装されることを可能にする。本明細書に説明される実施例の多くは、光子ＡＮＮの特定のハードウェア実装を参照して説明されるが、当業者は、方法およびシステムが、本発明の核心から逸脱することなく、他の光子プラットフォームにも容易に適用され得ることを認識するであろう。
【００３１】
現在、任意の機械学習用途のための決定的ステップであって、理想的には、同一プラットフォーム上で実施されるべきである、光子ニューラルネットワークの訓練のための効率的プロトコルは、存在しない。本発明のいくつかの実施形態による、方法は、光子ニューラルネットワークの高度に効率的な原位置訓練を可能にする。種々の実施形態では、随伴法が、従来のニューラルネットワークの勾配を算出するための標準方法である、逆伝搬アルゴリズムの光子類似物を導出するために使用されてもよい。本発明のいくつかの実施形態による、勾配は、デバイス内の強度測定を実施することによって、正確に取得され得る。
【００３２】
本発明の多くの実施形態による、訓練プロトコルは、逆伝搬の実装を大幅に簡略化することができる。光子機械学習実装の訓練以外にも、本発明のいくつかの実施形態による、方法はまた、他の用途の中でもとりわけ、光子システムの実験感度分析および再構築可能光学系プラットフォームの最適化に対してより広い関心を集め得る。
光子ニューラルネットワーク
【００３３】
その最も一般的場合では、フィードフォワードＡＮＮは、「活性化」とも呼ばれる、ベクトルの線形演算および要素毎非線形関数の交互シーケンスを介して、入力ベクトルを出力ベクトルにマッピングする。コスト関数Ｌは、ＡＮＮの出力にわたって定義され、線形演算に関わる行列要素は、勾配ベースの最適化を介して、いくつかの訓練実施例にわたってＬを最小限にするように調整される。「逆伝搬アルゴリズム」は、典型的には、連鎖法則を出力層から後方に入力層に順次利用することによって、これらの勾配を分析的に算出するために使用される。
【００３４】
本発明のある実施形態に従って実装される、光子ハードウェアプラットフォームが、図１に図示される。ボックス化された領域は、行列
【化１】
2021523461.tif 000003
によって表される線形演算を実施する、光学干渉ユニット（ＯＩＵ）１０５に対応する。各ＯＩＵは、各ＯＩＵ内の丸みを帯びた形状として図示される、いくつかの集積移相器（例えば、１１０）を含むことができる。多くの実施形態では、集積移相器は、ＯＩＵを制御し、ネットワークを訓練するために使用されることができる。光子ハードウェアプラットフォーム１００はまた、ｆｌ（・）として表される、非線形活性化１１５を含む。
【００３５】
本実施例では、光子要素１００は、光学干渉ユニット（ＯＩＵ）を使用して、線形演算を実施する。本発明のいくつかの実施形態による、ＯＩＵは、シリコン光子回路内に統合される、制御可能Ｍａｃｈ−Ｚｅｈｎｄｅｒ干渉計（ＭＺＩ）のメッシュである。ＭＺＩ内に統合される移相器を調整することによって、入力上での任意の一元的Ｎ×Ｎ個の演算が、実装されることができ、これは、古典的および量子光子の両方における用途を見出す。本発明のいくつかの実施形態による、光子ＡＮＮでは、ＯＩＵは、線形行列ベクトル積毎に使用されることができる。ある実施形態では、非線形活性化は、電子回路を使用して実施されることができ、これは、活性化前の光学状態を測定し、非線形活性化関数をデジタルコンピュータ等の電子回路上で実施し、結果として生じる光学状態がＡＮＮの次の段階に投入されるように準備することを伴う。
【００３６】
本実施例の説明では、ＯＩＵは、線形かつ無損失性のデバイスを通して同一数の単一モード出力ポートに結合される、単一モード導波管入力ポートの数Ｎによって説明される。ある実施形態では、デバイスはまた、異なる数の入力および出力に作用するように拡張されてもよい。本発明のいくつかの実施形態による、ＯＩＵは、全てのパワーが入力ポートから出力ポートに排他的に流動するように、方向性伝搬を実装する。その最も一般的形態では、デバイスは、以下の線形演算を実装する。
【化２】
2021523461.tif 000004
式中、ＸｉｎおよびＺｏｕｔは、それぞれ、入力および出力ポートのモード振幅であって、
【化３】
2021523461.tif 000005
、すなわち、伝達行列は、系の全散乱行列の非対角線ブロックである。
【化４】
2021523461.tif 000006
【００３７】
対角線ブロックは、順方向のみの伝搬が仮定されるため、ゼロである一方、非対角線ブロックは、レシプロカルシステムが仮定されるため、相互の転置である。ＺｉｎおよびＸｏｕｔは、デバイスが逆に起動される、すなわち、信号入力を出力ポートから送信する場合、それぞれ、入力および出力モード振幅に対応する。
逆伝搬を用いた演算および訓練
【００３８】
任意のＡＮＮプラットフォームの有用性のための重要な要件は、誤差逆伝搬等のアルゴリズムを使用してネットワークを訓練する能力である。そのような訓練は、典型的には、有意な算出時間およびリソースを要し、概して、誤差逆伝搬は、同一プラットフォーム上で実装されることが望ましい。
【００３９】
本発明のある実施形態による、ＡＮＮ内の演算および勾配算出が、図２に図示される。本実施例では、正方形セル（例えば、２１５）を通した伝搬は、行列乗算に対応する一方、丸みを帯びた領域（例えば、２２０）を通した伝搬は、活性化に対応する。
【化５】
2021523461.tif 000007
（例えば、２２５）は、要素毎ベクトル乗算を示す。
【００４０】
上行２０５は、ＡＮＮの演算および訓練における順伝搬ステップに対応する。順伝搬ステップに関して、本発明の多数の実施形態による、プロセスは、システムへの初期入力Ｘ０から開始し、ＯＩＵを使用して、行列
【化６】
2021523461.tif 000008
によって表される線形演算を本入力上で実施する。いくつかの実施形態では、プロセスは、要素毎非線形活性化ｆ１（・）を出力上に適用し、入力を次の層に与えることができる。本プロセスは、出力層Ｌまで層ｌ毎に繰り返されることができる。ｌ＝１．．．Ｌに関して、以下のように簡潔に記述される。
【化７】
2021523461.tif 000009
【００４１】
いったん順伝搬が、完了されると、コスト関数が、ネットワークを訓練するように算出される。コスト関数Ｌは、最後の層からの出力の明示的関数
【化８】
2021523461.tif 000010
である。ネットワークを訓練するために、コスト関数は、線形演算子
【化９】
2021523461.tif 000011
に対して最小限にされ得、これは、本発明のいくつかの実施形態による、ＯＩＵ内の集積移相器を調整することによって調節され得る。種々の実施形態では、訓練方法は、各パラメータの調整が並行して行われることを可能にし、したがって、総当たり勾配算出方法と比較してパラメータの数に対して有意により良好にスケーリングしながら、システムの外部モデルに頼らずに動作することができる。
【００４２】
いったんコスト（または損失）関数が、算出されると、逆伝搬が、算出された損失に基づいて、モデルを調節するために実施される。図２の下行２１０は、逆伝搬ステップを図示する。いくつかの実施形態では、逆伝搬プロセスは、ＯＩＵ内の移相器の誘電率に対するコスト関数の勾配に関する式を導出することができる。以下では、εｌは、同一導出がその層内に存在する移相器毎に当てはまるため、層ｌ内の単一移相器の誘電率である。
【化１０】
2021523461.tif 000012
は、εｌへの明示的依存性を有するが、後続層内の全ての場成分もまた、εｌに暗示的に依存することに留意されたい。
【００４３】
実証として、平均二乗コスト関数が、以下のように計算される。
【化１１】
2021523461.tif 000013
式中、Ｔは、入力Ｘ０を前提としてシステムの所望の出力に対応する、複素標的ベクトルである。
【００４４】
回路内の最後の層から開始して、最後の層内の移相器の誘電率εＬに対するコスト関数の導関数は、以下によって与えられる。
【化１２】
2021523461.tif 000014
式中、
【化１３】
2021523461.tif 000015
は、ベクトルａおよびｂに関して、ベクトル
【化１４】
2021523461.tif 000016
のｉ番目の要素がａｉｂｉによって与えられるように定義される、要素毎ベクトル乗算である。Ｒ｛・｝は、実部分を与え、
【化１５】
2021523461.tif 000017
は、その（複素数の）引数に対するｌ番目の層活性化関数の導関数である。ベクトル
【化１６】
2021523461.tif 000018
は、誤差ベクトル
【化１７】
2021523461.tif 000019
の観点から定義される。
【００４５】
任意の層ｌ＜Ｌに関して、連鎖法則が、勾配の回帰的計算を実施するために使用されることができる。
【化１８】
2021523461.tif 000020
【００４６】
本プロセスは、図２の第２の行２１０の逆伝搬に図示され、これは、出力層から入力層へとδｌベクトルを順次算出する。δｌの算出は、演算
【化１９】
2021523461.tif 000021
の実施を要求し、これは、δｌ＋１を層ｌ＋１内のＯＩＵの出力端の中に送信することに物理的に対応する。このように、本発明の多くの実施形態による、プロセスは、回路全体を通して、ベクトルδｌおよびΓｌを物理的に「逆伝搬」する。
【００４７】
いくつかの実施形態では、光子ＡＮＮを訓練することは、恣意的複素入力を作成する能力に依拠する。本発明のいくつかの実施形態による、プロセスは、集積強度検出スキームが、並行して、かつ事実上損失を伴わずに生じることを要求する。多数の実施形態では、これは、集積透明光検出器によって実装されることができる。
【００４８】
過剰適合の問題は、ニューラルネットワークの任意の実践的実現における「正則化」によって対処され得るものである。本発明の種々の実施形態による、光子ＡＮＮは、「ドロップアウト」に基づく、正則化への便宜的代替アプローチを提供する。種々の実施形態では、ドロップアウトプロシージャにおいて、あるノードが、訓練時間の間、確率論的かつ一時的に、ネットワークから「削除」され得、これは、ネットワークに目前の問題を解法するための代替経路を見出すように強いる効果を有する。これは、有力な正則化効果を有し、従来のＡＮＮにおいて一般的となっている。本発明のいくつかの実施形態による、ドロップアウトは、訓練の間、活性化関数内のチャネルを「シャットオフ」することによって、光子ＡＮＮ内に実装されることができる。具体的には、ステップの度に、かつ層ｌおよび要素ｉ毎に、ある固定確率を用いて、ｆｌ（Ｚｉ）＝０を設定し得る。
【００４９】
本発明の実施形態による、光子ニューラルネットワークを訓練するための具体的プロセスが、上記に説明される。しかしながら、当業者は、任意の数のプロセスが、本発明の実施形態による、具体的用途の要件の必要に応じて、利用されることができることを認識するであろう。
【００５０】
例えば、上記の議論は、関数ｆｌ（・）は、ホロモルフィックであると仮定する。ｚと標識された入力Ｚｌの要素毎に、これは、その複素数の引数に対するｆｌ（ｚ）の導関数が良好に定義されることを意味する。言い換えると、以下の導関数は、Δｚが複素面において０に接近する方向に依存しない。
【化２０】
2021523461.tif 000022
【００５１】
多数の実施形態では、逆伝搬導出は、非ホロモルフィック活性化関数に拡張されることができる。逆伝搬アルゴリズムでは、方程式（５）において記述されるような最後の層ＯＩＵ内の移相器の誘電率に対する平均二乗損失関数の変化は、以下となる。
【化２１】
2021523461.tif 000023
式中、誤差ベクトルは、便宜上、
【化２２】
2021523461.tif 000024
として定義され、
【化２３】
2021523461.tif 000025
は、最終層の出力である。
【００５２】
非ホロモルフィック活性化関数に関する本式を評価するために、ｆＬ（Ｚ）およびその引数が、その実数および虚数部に分割されることができる。
【化２４】
2021523461.tif 000026
式中、ｉは、虚数単位であって、αおよびβは、それぞれ、ＺＬの実数および虚数部である。
【００５３】
【化２５】
2021523461.tif 000027
の評価は、連鎖法則を介して、以下を与える。
【化２６】
2021523461.tif 000028
式中、層指数は、便宜上、省かれている。ここでは、形式
【化２７】
2021523461.tif 000029
の項は、ベクトルｙに対するベクトルｘの要素毎微分に対応する。例えば、ベクトル
【化２８】
2021523461.tif 000030
のｉ番目の要素は、
【化２９】
2021523461.tif 000031
によって与えられる。
【００５４】
ここで、以下のように方程式（１２）に代入する。
【化３０】
2021523461.tif 000032
【００５５】
ΓＬの実数および虚数部は、それぞれ、ΓＲおよびΓＩとして定義される。以下のように、
【化３１】
2021523461.tif 000033
およびＸＬ−１の観点からαおよびβの定義を代入し、ある代数を行う。
【化３２】
2021523461.tif 000034
【００５６】
最後に、式は、以下にまとめられる。
【化３３】
2021523461.tif 000035
【００５７】
確認として、ｆＬ（Ｚ）がホロモルフィックであるという条件、すなわち、以下が、設定される場合、
【化３４】
2021523461.tif 000036
方程式（２０）は、前述のように、以下にまとめられる。
【化３５】
2021523461.tif 000037
【００５８】
本導出は、同様に、ネットワーク内の任意の層ｌに拡張されてもよい。ホロモルフィック活性化関数に関して、δベクトルは、以下のように定義されたが、
【化３６】
2021523461.tif 000038
非ホロモルフィック活性化関数に関して、個別の定義は、以下となる。
【化３７】
2021523461.tif 000039
式中、ΓＲおよびΓＩは、Γｌの個別の実数および虚数部であって、ｕおよびｖは、ｆｌ（・）の実数および虚数部であって、αおよびβは、それぞれ、Ｚｌの実数および虚数部である。
【００５９】
これは、以下のように、より単純に記述されることができる。
【化３８】
2021523461.tif 000040
【００６０】
【化３９】
2021523461.tif 000041
および
【化４０】
2021523461.tif 000042
である、極座標では、本方程式は、以下となる。
【化４１】
2021523461.tif 000043
式中、全ての演算は、要素毎である。
勾配算出
【００６１】
ＯＩＵ内の移相器の誘電率に対する導関数を含有する、形式
【化４２】
2021523461.tif 000044
の勾配項の算出は、ＡＮＮを訓練する際の重要なステップであり得る。ある実施形態では、勾配は、電磁随伴問題に対する解として表され得る。
【００６２】
入力および出力ポートの複素モード振幅に関連する、行列
【化４３】
2021523461.tif 000045
を実装するために使用されるＯＩＵは、電気力学の第一原理を使用して説明されることができる。これは、これらが、本発明のいくつかの実施形態によるシステム内の物理的に調節可能パラメータであるため、勾配が各εｌに対して算出されることを可能にすることができる。定常状態での周波数ωにおける源を仮定すると、Ｍａｘｗｅｌｌの方程式は、以下の形式をとる。
【化４４】
2021523461.tif 000046
これは、以下のように、より簡潔に記述されることができる。
【化４５】
2021523461.tif 000047
ここでは、
【化４６】
2021523461.tif 000048
は、相対的誘電率（εｒ）の空間分布を説明し、
【化４７】
2021523461.tif 000049
は、自由空間波数であって、ｅは、電場分布であって、ｊは、電気電流密度であって、Ｌｏｒｅｎｔｚレシプロシティに起因して、
【化４８】
2021523461.tif 000050
である。方程式（３４）は、有限差分周波数ドメイン（ＦＤＦＤ）シミュレーション技法の開始点であって、空間グリッド上に離散化され、電場ｅは、特定の誘電率分布εｒおよび源ｂを前提として解法される。
【００６３】
本公式と伝達行列
【化４９】
2021523461.tif 000051
を関連させるために、源項
【化５０】
2021523461.tif 000052
が、定義されることができ、これは、入力または出力ポートのうちの１つ内に設置された源に対応する。本実施例では、合計Ｎ個の入力およびＮ個の出力導波管が存在すると仮定される。源項ｂｉの空間分布は、ｉ番目の単一モード導波管のモードに合致する。したがって、ポートｉ内の電場振幅は、
【化５１】
2021523461.tif 000053
によって与えられ、関係が、入力ポート指数にわたるｉ＝１．．．Ｎに関して（
【化５２】
2021523461.tif 000054
は、Ｘｉｎのｉ番目のコンポーネントである）、以下のように、ｅとＸｉｎとの間に確立されることができる。
【化５３】
2021523461.tif 000055
または、以下のようにより簡潔にされる。
【化５４】
2021523461.tif 000056
同様に、出力ポート指数にわたるｉ＋Ｎ＝（Ｎ＋１）．．．２Ｎに関して、以下となる。
【化５５】
2021523461.tif 000057
または、以下となり、
【化５６】
2021523461.tif 000058
本表記を用いると、方程式（１）は、以下となる。
【化５７】
2021523461.tif 000059
【００６４】
上記に基づいて、方程式（１０）におけるコスト関数勾配が、評価されることができる。特に、方程式（３４）および（３９）を用いると、以下となる。
【化５８】
2021523461.tif 000060
ここでは、
【化５９】
2021523461.tif 000061
は、入力ポートにおける入力場振幅Ｘｌ−１を作成する、モード源プロファイルである。
【００６５】
随伴変数法の重要な洞察は、式が、
【化６０】
2021523461.tif 000062
の対称性質を使用して、２つの電磁シミュレーションの場解を伴う演算として解釈され得、これは、「オリジナル」（ｏｇ）および「随伴」（ａｊ）と称され得ることである。
【化６１】
2021523461.tif 000063
【００６６】
方程式（４０）は、ここで、以下のように、簡潔な形式において表されることができる。
【化６２】
2021523461.tif 000064
【００６７】
本移相器がシステム内のある点のセットｒφに及ぶと仮定される場合、方程式（３３）から、以下となる。
【化６３】
2021523461.tif 000065
式中、
【化６４】
2021523461.tif 000066
は、Ｋｒｏｎｅｃｋｅｒデルタである。
【００６８】
これを方程式（４３）に代入すると、勾配は、移相器位置にわたる２つの場の重複によって与えられる。
【化６５】
2021523461.tif 000067
【００６９】
勾配情報の実験測定のための本発明の多くの実施形態による方法の概略例証が、図３における３つの段階３０５−３１５に図示される。ボックス領域３２０は、ＯＩＵを表す。オーバル（例えば、３５０）は、調整可能移相器を表す。勾配の算出は、移相器３６０および３６５に対して図示される。
【００７０】
第１の段階３０５では、振幅のオリジナルセットＸｌが、ＯＩＵ３２を通して送信される。一定強度項は、各移相器において測定される。第２の段階３１０は、δｌによって与えられる随伴モード振幅がＯＩＵの出力側を通して送信されることを示す。
【化６６】
2021523461.tif 000068
が、反対側から記録され、かつ
【化６７】
2021523461.tif 000069
が、各移相器内で記録される。第３の段階では、Ｘｌ＋ＸＴＲが、ＯＩＵを通して送信され、デバイスの内側のｅｏｇおよびｅ＊ａｊに干渉し、全ての移相器に関する勾配情報を同時に回収する。
【００７１】
本発明の多数の実施形態による、方法は、原位置強度測定を通して、前節からの勾配を算出する。具体的には、強度パターンが、形式
【化６８】
2021523461.tif 000070
を用いて生成され、方程式（４５）のものに合致させる。システム内でｅｏｇおよびｅ＊ａｊに直接干渉することは、以下の強度パターンをもたらす。
【化６９】
2021523461.tif 000071
その最後の項は、方程式（４５）に合致する。したがって、多くの実施形態では、勾配は、場ｅ＊ａｊがＯＩＵ内で生成され得る場合、単純に、強度測定を通して、算出されることができる。
【００７２】
方程式（４２）において定義されるような随伴場ｅａｊは、
【化７０】
2021523461.tif 000072
によって供給され、出力ポートからシステムの中に送信されるモードに物理的に対応することを意味する。周波数ドメインにおける複素共役が、場の時間反転に対応するため、ｅ＊ａｊが、入力ポートから送信されることが予期される。形式的に、ｅ＊ａｊを生成するために、入力源振幅のセットＸＴＲが、出力ポート源振幅
【化７１】
2021523461.tif 000073
が、随伴振幅の複素共役に等しい、すなわち、δ＊ｌであるように見出される。出力モードに関して
【化７２】
2021523461.tif 000074
であるという事実とともに、無損失システムに関する伝達行列
【化７３】
2021523461.tif 000075
の一元的性質を使用して、時間反転随伴に関する入力モード振幅は、以下のように算出されることができる。
【化７４】
2021523461.tif 000076
前述で議論されるように、
【化７５】
2021523461.tif 000077
は、出力ポートから入力ポートへの伝達行列である。したがって、ＸＴＲは、δｌをデバイス出力ポートの中に送信し、入力ポートにおける出力を測定し、結果の複素共役を求めることによって、実験的に決定されることができる。
【００７３】
ＯＩＵ層の集積移相器の誘電率に対するＡＮＮ内のＯＩＵ層の勾配を実験的に測定するためのプロセス４００が、図４に概念的に図示される。プロセス４００は、オリジナル場振幅Ｘｌ−１をＯＩＵ層を通して送信し、各移相器における強度を測定する（４０５）。プロセス４００は、δｌをＯＩＵ層の出力ポートの中に送信し、各移相器における強度を測定する（４１０）。プロセス４００は、時間反転随伴入力場振幅を算出する（４１５）。多数の実施形態では、時間反転随伴入力場振幅は、方程式（４７）におけるように計算される。プロセス４００は、デバイス内のオリジナルおよび時間反転随伴場に干渉し、各移相器における結果として生じる強度を測定する（４２０）。プロセス４００は、測定された強度から勾配を算出する（４２５）。いくつかの実施形態では、プロセスは、方程式（４５）におけるように、（例えば、プロセス４００のステップ４０５および４１０における）オリジナル場振幅およびδｌから測定された一定強度項を減算し、
【化７６】
2021523461.tif 000078
で乗算し、勾配を求めることによって、勾配を算出する。
【００７４】
多くの実施形態では、隔離された順方向および随伴ステップが、別個に実施され、ステップ毎に、強度を各移相器に記憶し、次いで、本情報を最終干渉強度から減算する。種々の実施形態では、これらの一定強度を記憶するのではなく、プロセスは、方程式（４６）の積項が低周波数信号から直接測定され得るように、２つの干渉場のうちの１つ上に低周波数変調を導入することができる。
【００７５】
本発明の実施形態による、ＡＮＮ内のＯＩＵ層の勾配を実験的に測定するための具体的プロセスが、上記に説明される。しかしながら、当業者は、任意の数のプロセスが、本発明の実施形態による具体的用途の要件の必要に応じて利用され得ることを認識するであろう。
【００７６】
時間反転プロシージャの数値実証が、図５の５つのパネル５０５−５３０に図示される。本実施例では、プロシージャは、３×３ユニタリ行列を実装するＯＩＵの一連のＦＤＦＤシミュレーションを用いて実施される。これらのシミュレーションは、入力Ｘｌ−１およびデルタベクトルδｌを用いて、ニューラルネットワークの単一層ｌ内の１つのＯＩＵに対応する勾配算出を表すように意図される。これらのシミュレーションでは、吸収境界条件が、システムの外縁上で使用され、逆反射を排除する。
【００７７】
第１のパネル５０５は、３×３線形演算を実施するように配列される、３つのＭＺＩに関する相対的誘電率分布を示す。ボックス（例えば、５５０）は、可変移相器が本システム内に設置され得る場所を表す。実施例として、単位振幅を伴う
【化７７】
2021523461.tif 000079
および
【化７８】
2021523461.tif 000080
を用いて、層に関する勾配情報が、算出され、それぞれ、左下および右中央ポートに対応する。
【００７８】
第２のパネル５１０は、左下ポートからの投入に対応する、シミュレートされた電場Ｅｚの実数部を図示する。具体的には、段階５１０は、ｅｏｇの実数部を示し、オリジナル、順方向場に対応する。
【００７９】
第３のパネル５１５では、随伴Ｅｚの実数部が、示され、右中央ポートからの投入に対応する。第３のパネル５１５は、随伴場ｅａｊの実数部を示し、コスト関数
【化７９】
2021523461.tif 000081
に対応する。
【００８０】
第４のパネル５２０は、本発明のいくつかの実施形態による、左の全３つのポートを通してフィードされ得る、時間反転随伴場を示す。パネル５２０は、前節に説明される方法によって算出されるようなｅａｊの時間反転コピーの実数部を示し、Ｘ＊ＴＲは、入力ポートを通して送信される。ある定数まで、パネル５１５の場パターンおよびパネル５２０の場パターンの複素共役間に非常に良好な一致が存在する。
【００８１】
第５のパネル５２５は、その最大絶対値によって正規化された、随伴法によって直接取得されるような勾配情報
【化８０】
2021523461.tif 000082
を示す。パネル５２５は、方程式（４５）に説明される随伴法を用いて算出されるような、システム内の空間の各点の誘電率に対する目的関数の勾配を示す。
【００８２】
第６のパネル５３０では、本発明の種々の実施形態による方法によって取得されるような勾配情報が、その最大絶対値によって正規化されて示される。すなわち、パネル５１０からの場パターンは、パネル５２０の時間反転随伴場で干渉され、一定強度項が、結果として生じる強度パターンから減算される。ある実施形態では、結果は、次いで、定数の適切なセットによって乗算される。パネル５２５および５３０は、高精度で合致する。
【００８３】
現実的システムでは、勾配は、干渉場が、同一周波数にあって、同一方向に進行しているため、導波管結合器間の導波管の任意の広がりに関して一定でなければならない。したがって、対応する強度分布内に距離依存性が存在すべきではない。これは、主として、本シミュレーションにおいて観察されるが、小変動が、構造を合理的時間内でのシミュレーションのために十分にコンパクトにするために必要とされた、導波管の近接度および鋭的屈曲のため、可視である。実践では、本一定強度の重要性は、その内側の代わりに、各移相器の後に検出され得ることである。本発明のいくつかの実施形態による、強度測定は、移相器の直後の導波管領域内で生じ得、これは、同一場所における移相器および光検出器コンポーネントの必要性を排除する。
【００８４】
本発明の多くの実施形態による、数値的に生成されたシステムは、シミュレーション内の非常に鋭的屈曲および階段状の構造によって生じる放射損失および後方散乱に起因して、わずか５９％のパワー伝送率を被る。なお、時間反転干渉プロシージャは、依然として、非常に良好な忠実度を伴って、随伴感度を再構築する。さらにより、本損失の合理的量は、構造の非対称性に起因して、非均一である。
活性化関数の選択および実装
【００８５】
可飽和吸収の主要な短所は、基本的に、損失性であることである。閾値パワーおよび導波管実装に応じて、少なくとも１ｄＢの層あたり減衰が、予期され得る。多くの層を伴う大規模光子ＡＮＮでは、各層からの複合減衰は、信号レベルを光学ノイズフロアを下回らせ得る。さらに、本スキームは、連続的により深い層のための降下活性化パワー閾値を要求し得、これは、固定ハードウェアプラットフォームおよび可飽和吸収機構が達成することが困難であり得る。
【００８６】
したがって、上記の限界を受けない、活性化関数を開発することが、実質的関心である。加えて、本研究に説明される逆伝搬アルゴリズムの単純実装のために、本発明の種々の実施形態による、活性化関数は、演算
【化８１】
2021523461.tif 000083
が、単に、光子回路内で実施されることを可能にする、導関数を有することができる。
【００８７】
可飽和吸収の可能性として考えられる代替は、正規化線形ユニット（ＲｅＬＵ）活性化であって、これは、いくつかの複素バリアントを伴う従来の実数値ＡＮＮにおける一般的活性化関数である。例えば、複素ＲｅＬＵ（ｃ−ＲｅＬＵ）バリアントは、パワー閾値を上回る場合のみ、出力を返す。本関数は、ホロモルフィックであって（不連続点から離れる）、その導関数が、単に、パワー閾値を下回ると、０であって、パワー閾値を上回ると、１であるため、便宜的である。したがって、順および逆伝搬ステップは、同一ハードウェア上で実施されることができる。順伝搬に関して、最初に、電気光学回路を用いて、導波管モードのパワーを測定し、閾値を下回る場合、チャネルを閉鎖する。逆伝搬に関して、単に、順方向通過に応じて、本チャネルを閉鎖または開放されたままのいずれかにする。
【００８８】
ｍｏｄ−ＲｅＬＵバリアントも、同様に、最初に、入力がパワー閾値を上回るかどうかを確認する。該当しない場合、０が、返される。そうでなければ、入力を返すが、パワー閾値がその振幅から減算される。
【００８９】
本発明の実施形態による、具体的活性化関数が、上記に説明される。しかしながら、当業者は、任意の数の活性化関数が、本発明の実施形態による具体的用途の要件の必要に応じて、利用され得ることを認識するであろう。
内部コヒーレント検出および再構築の回避
【００９０】
これまで提示されたように、時間反転干渉方法は、デバイスの内側のコヒーレント検出および状態準備を要求する。これは、デバイス内に潜在的技術的課題および付加的コンポーネントの必要性を導入する。本問題点を軽減させるために、本発明のいくつかの実施形態による、方法（「線形化法」とも称される）が、デバイス内のコヒーレント検出の必要なく、勾配情報を回収することができる。種々の実施形態では、方法は、制御方式において、層間の活性化関数を選択的にオフにする、または「線形化」することによって、ＡＮＮの外側で完全に作用することを可能にすることができる。しかしながら、そのような方法は、それ自体が内部コヒーレント測定および状態準備を要求しない、いくつかのプロトコルを通して逆伝搬を実装し得る、活性化を要求し得る。
【００９１】
ネットワークに内蔵される単一線形ＯＩＵのための時間反転干渉方法が、上記に説明される。説明されるように、時間反転干渉方法は、Ｘ＊ＴＲを取得するためのコヒーレント検出、ＸＴＲの外部算出、およびデバイス内のＸＴＲの後続コヒーレント準備を要求し得る。したがって、多層化ネットワーク内にこれを実装することは、各層間に付加的要素を要求し、実験設定を複雑にし得る。ネットワークに内蔵される層に関するそのような時間反転干渉技法の実施例が、図６に図示される。本実施例では、コヒーレント検出、外部算出、および状態準備は、層６１０と６１５との間で要求され、これは、望ましくあり得ない。
【００９２】
本問題点を克服するために、本発明の種々の実施形態による、方法は、ネットワーク内のコヒーレント検出または準備の必要なく、内部層の感度を取得することができる。本方略は、順方向および後方向通過の両方に関する単純伝送率として表された状態になるように、活性化を「線形化」する能力に依拠する。
【化８２】
2021523461.tif 000084
によって与えられる線形化された活性化に関して、
【化８３】
2021523461.tif 000085
であって、これは、順および逆両方の伝搬を大幅に簡略化する。
【００９３】
線形層
【化８４】
2021523461.tif 000086
を調整するためのプロセスが、図７に概念的に図示される。プロセス７００は、
【化８５】
2021523461.tif 000087
後の全ての活性化を線形化し、オリジナル入力Ｘ０を用いて、順方向通過を実施する（７０５）。プロセス７００は、
【化８６】
2021523461.tif 000088
内の強度を記録し、出力を測定する（７１０）。プロセス７００は、ネットワーク内の全ての活性化を線形化し、測定された出力の複素共役をネットワークの出力端の中に送信し、出力ｂを測定する（７１５）。ｂ＊をネットワークの入力端の中に送信することは、
【化８７】
2021523461.tif 000089
の入力において所望のＸｌ−１を再現する。プロセス７００は、
【化８８】
2021523461.tif 000090
の前のネットワーク内の全ての活性化を線形化し、逆伝搬を実施し、ΓＬをネットワークの出力端の中に送信する（７２０）。プロセス７００は、減算のための
【化８９】
2021523461.tif 000091
内の強度および出力ｃを測定する（７２５）。ｃ＊をネットワークの入力端の中に送信することは、所望のＸＴＲを
【化９０】
2021523461.tif 000092
の入力端に、δｌ＊を
【化９１】
2021523461.tif 000093
の出力端に再現する。プロセス７００は、ｂ＊＋ｃ＊を完全に線形化されたネットワークの中に入力し（７３０）、これは、所望の干渉項Ｘ２＋ＸＴＲを
【化９２】
2021523461.tif 000094
の入力端に再現する。プロセス７００は、
【化９３】
2021523461.tif 000095
内の強度を測定し、感度を算出する（７３５）。測定された強度に基づいて感度を算出するための方法は、上記でより詳細に説明される。
【００９４】
活性化関数を線形化することによって、ネットワークの大区分が、一元的にされることができる。これは、外部から測定された状態ａ、ｂ、ｃにおける内部場についての情報をエンコーディングすることを可能にする。これらの状態は、強度測定としての勾配を取得するために必要とされる所望の干渉項を再現するために使用されることができる。
【００９５】
多数の実施形態では、本発明のいくつかの実施形態による、方法は、一般的ネットワーク内で使用されることができる。Ｌの層ｌに関する勾配を算出するために、各ＯＩＵは、行列
【化９４】
2021523461.tif 000096
によって説明されることができ、各活性化は、順伝搬における
【化９５】
2021523461.tif 000097
演算子および逆伝搬における
【化９６】
2021523461.tif 000098
演算子によって説明されることができる。活性化は、非線形である場合でも、ネットワークを通した順方向通過の結果に応じて、それらは、設定されることができ、次いで、線形演算に類似し得ることに留意されたい。
【００９６】
時間反転干渉方法が作用するために、システムへの入力は、モードＸｌ＋ＸＴＲが
【化９７】
2021523461.tif 000099
の直前に作成されるように生産されることができる。同等に、状態
【化９８】
2021523461.tif 000100
は、
【化９９】
2021523461.tif 000101
の直後に生産されることができる。導入される表記を使用して、これらの状態は、以下のように明示的に説明されることができる。
【化１００】
2021523461.tif 000102
【００９７】
内部コヒーレント検出または準備を伴わずに、時間反転干渉方法を使用して、ＯＩＵ内の感度を測定するためのプロシージャの段階略図が、図８の６つの段階８０５−８３０に図示される。第１の段階８０５では、移相器に対する勾配測定が、ｌ＝３層に示され、これは、入力状態を作成し、Ｘ２＋ＸＴＲを
【化１０１】
2021523461.tif 000103
の入力に再現することを要求する。空のオーバル８５０は、「線形化された」活性化に対応し、これは、単位行列として表され得る。第１の段階８０５は、層ｌに続くチャネルの全てが線形化されることを示す。オリジナル入力Ｘ０で送信するときのシステムの出力が、算出され、これは、ａとして標識される。
【化１０２】
2021523461.tif 000104
【００９８】
第２の段階８１０は、活性化チャネルの全てが線形化されることを示す。次いで、ａ＊が、ネットワークの出力端の中に送信され、出力が、測定され、これは、ｂとして標識される。
【化１０３】
2021523461.tif 000105
ｂの複素共役は、以下によって与えられる。
【化１０４】
2021523461.tif 000106
【００９９】
第３の段階８１５は、ｂ＊をネットワークの入力端の中に送信し、所望のＸｌ−１を
【化１０５】
2021523461.tif 000107
の入力に再現することを示す。第４の段階８２０では、層ｌの前の活性化チャネルのみが、線形化され、ΓＬが、システムの出力端の中に入力され、ｃを測定する。
【化１０６】
2021523461.tif 000108
【０１００】
第５の段階８２５は、ｃ＊をネットワークの入力端の中に送信し、所望のＸＴＲを
【化１０７】
2021523461.tif 000109
の入力端に、δ＊ｌを
【化１０８】
2021523461.tif 000110
の出力端に再現することを示す。第６の段階８３０は、ｂ＊＋ｃ＊を入力することが、層ｌの直後に
【化１０９】
2021523461.tif 000111
を出力し、これが、時間反転強度測定技法を介して訓練するために十分となるであろうことを示す。導出をより明確にするために、これらの２つの項は、分割され、総出力は、
【化１１０】
2021523461.tif 000112
として定義され、式中、以下である。
【化１１１】
2021523461.tif 000113
所望に応じて、方程式（５５）からのｂ＊の形式をｏ１に関する式の中に代入すると、以下となる。
【化１１２】
2021523461.tif 000114
また所望に応じて、同様に、方程式（５７）からのｃ＊の形式をｏ２に関する式の中に代入すると、以下となる。
【化１１３】
2021523461.tif 000115
【０１０１】
したがって、ｂ＊＋ｃ＊を入力することは、層ｌの出力に
【化１１４】
2021523461.tif 000116
を与えるであろう。同等に、本同一入力は、Ｘｌ−１＋ＸＴＲを層ｌの入力端に再現し、これは、時間反転感度測定を行うために必要なものである。ここで提示される導出は、それらが線形演算子によって表すことが可能ではなくても、活性化関数の恣意的選択肢を保持する。
他の用途
【０１０２】
本研究に議論されるフィードフォワードＡＮＮに加え、本発明のいくつかの実施形態による、方法は、再帰ニューラルネットワーク（ＲＮＮ）を訓練するために使用されることができ、これは、一般に、自然言語または時系列入力等のシーケンシャルデータを分析するために使用される。図９に略図化される再帰ネットワークは、単一線形層および活性化関数を有する。再帰ニューラルネットワーク（ＲＮＮ）の概略は、単一ＯＩＵおよび活性化関数とともに、図９に図示される。システムへの時系列入力は、左から提供される。本層の出力は、ネットワークの入力端の中に逆ルーティングされる部分を用いて読み取られ得る。多くの実施形態では、本分割およびルーティングは、単に、集積ビームスプリッタを使用して、光子プラットフォーム内で行われてもよい。ＲＮＮはまた、上記に説明されるものと同一逆伝搬方法を使用して訓練されてもよい。
【０１０３】
本発明のいくつかの実施形態による、方法は、畳み込みニューラルネットワーク（ＣＮＮ）を訓練するために使用されることができる。ＣＮＮは、画像データを分析するために一般に使用される、ニューラルネットワークの別の一般的クラスであって、隣接する要素間の大量の相関とともに、多くの入力が存在する。ＣＮＮでは、行列乗算は、入力値と訓練可能カーネルとの間の畳み込み演算によって置換される。本畳み込みは、ここに提示されるものに類似するＭＺＩのメッシュ上で実施されてもよいが、大幅に少ないＭＺＩユニットが必要となる。種々の実施形態では、ＣＮＮのための逆伝搬は、上記に説明されるような方法を使用して実施されてもよい。
【０１０４】
ここに提示される訓練スキームはまた、非線形性を伴わない単一ＯＩＵを調整するために使用されることができ、これは、種々の用途を見出し得る。具体的には、線形ユニットは、入力ベクトル｛Ｘｉ｝のセットを出力ベクトル｛Ｙｉ｝の対応するセットにマッピングするように訓練されることができる。本問題に関する目的関数のための一実施例は、以下である。
【化１１５】
2021523461.tif 000117
式中、φは、全ての自由度を含有する、ベクトルである。同様にｉ毎にＸｉとＹｉとの間の重複を最大限にする他の選択肢もまた、当然ながら、可能性として考えられる。
【０１０５】
本訓練の１つの用途は、いくつかの恣意的直交モードをソートするためのモードソータである。特に、Ｎ×Ｎ線形システムに関して、Ｎ個の直交入力Ｘｉが、選定されることができる。Ｙｉ＝Ｂｉをｉ番目の出力ポートのための単位ベクトルとして定義する。本具体的問題はまた、既存の方法によって順次解法され得るが、本発明のいくつかの実施形態による、勾配ベースの実装は、特に、自由度が並行して更新され得るとき、速度およびシステム内のパラメータの数に伴うスケーリングの利点を有し得る。
【０１０６】
本発明の多数の実施形態による、訓練プロトコルはまた、所望の出力の中への単一（潜在的に、ランダム）入力を最適化するために使用されてもよい、すなわち、
【化１１６】
2021523461.tif 000118
となる。本タイプの問題は、例えば、誘電レーザアクセラレータのためのパワー送達システムを調整するための光学制御システムを検討するときに生じる。本願では、一連の導波管が、パワーを中心アクセラレータ構造に搬送する。しかしながら、これらの信号は、最初は、プロセスのより早い結合、分割、および輸送段階に起因して、ランダムに分散されたパワーおよび位相から成るであろう可能性が高い。したがって、ＯＩＵは、位相および振幅ソート要素として使用されることができ、ここでＸは、各導波管内の最初のランダム振幅および位相であって、δは、誘電レーザアクセラレータへの最適送達のための標的振幅および位相のベクトルである。随伴場は、直接、電子ビームからの放射によって与えられ、したがって、標的ベクトルは、試験電子ビーム内で送信することによって物理的に生成されてもよい。いくつかの実施形態では、類似システムは、電子ビームを集束および束化する用途のために使用されることができる。
【０１０７】
多数の実施形態では、ＯＩＵはまた、量子情報処理における種々の用途を伴う、再構成可能光学量子算出を実装するために使用されることができる。そのようなシステムでは、例えば、完全直交セット｛Ｘｉ｝および｛Ｙｉ｝によって説明される具体的行列
【化１１７】
2021523461.tif 000119
を設定することによって、古典的コヒーレント光を伴う線形訓練が、量子ゲートを構成するために使用されることができる。調整後、本発明の多数の実施形態による、システムは、量子光子体系内で起動されることができる。
【０１０８】
本発明の多数の実施形態による、方法は、随伴場を物理的に伝搬し、オリジナル場でその時間反転コピーに干渉することによって作用する。いくつかの実施形態では、勾配情報が、次いで、直接、原位置強度測定値として取得されることができる。プロセスは、ＡＮＮの文脈で説明されるが、当業者は、プロセスが、任意の再構成可能光子システムに広義に適用可能であることを認識するであろう。そのような設定は、位相アレイ、誘電レーザアクセラレータのための光学送達システム、または集積光学移相器の大メッシュに依拠する、他のシステムを調整するために使用されることができる。本発明のいくつかの実施形態による、方法は、光学ドメイン内にＡＮＮの非線形要素を実装することができる。
【０１０９】
本発明は、ある具体的側面において説明されたが、多くの付加的修正および変形例が、当業者に明白となるであろう。したがって、本発明は、具体的に説明されるものと別様に実践されてもよいことを理解されたい。したがって、本発明の実施形態は、あらゆる点において、制限的ではなく、例証的と見なされるべきである。
【図１】
2021523461.tif 000120
【図２】
2021523461.tif 000121
【図３】
2021523461.tif 000122
【図４】
2021523461.tif 000123
【図５】
2021523461.tif 000124
【図６】
2021523461.tif 000125
【図７】
2021523461.tif 000126
【図８】
2021523461.tif 000127
【図９】
2021523461.tif 000128
【国際調査報告】
2021523461.tif 000129