(57)【特許請求の範囲】
【請求項１】
光学的にアドレスされたニューラルネットワークであって、
Ｍ×Ｎコのアレイノードから成るアレイを画定する光導電体２次元アレイを備え、Ｍ及びＮは正の整数によって定義され、各コラムのノードは共通のコラム導体を共有し、各ローのノードは共通のロー導体を共有し、
前記２次元アレイと光源との間に配置される光マスクを備え、前記光源からの全体的にコリメートされた光が複数のアレイノードから成る選択された部分に入射するよう前記光マスクは配置され、
前記光導電体２次元アレイの入力部分を備え、前記入力部分は、光学画像を直接受光し、トレーニング可能であるとともに、前記入力部分の各共通ロー導体は、予め選択されたレベルに固定された電圧を有し、
複数の増幅器を備え、前記増幅器の各々は、（ａ）アレイの共通コラム導体の内の選択された１つ、もしくは、（ｂ）アレイの共通ロー導体の内の選択された１つのどちらか一方へ接続され、
増幅器から受信された選択された増幅信号を、前記入力部分の共通ロー導体とは異なる共通ロー導体から成る選択されたアレイのフィードバック部分へ印加する第１の複数の導体を備え、
増幅器から受信された選択された増幅信号によってシステム出力を形成する、前記第１の複数の導体とは異なる第２の複数の導体を備える、
光学的にアドレスされたニューラルネットワーク。
【請求項２】
前記第２の複数の導体が、前記入力部分の任意の共通コラム導体に関連する増幅器を共有していない、請求項１に記載の光学的にアドレスされたニューラルネットワーク。
【請求項３】
前記複数の増幅器が非線形電流−電圧変換器を含む、請求項２に記載の光学的にアドレスされたニューラルネットワーク。
【請求項４】
前記光マスクは、前記関連する光源からの全体的にコリメートされた光を、前記入力部分と共通ロー導体を共有しないものとして定義されるアレイエレメントの第１のサブセットに方向づける、請求項３に記載の光学的にアドレスされたニューラルネットワーク。
【請求項５】
前記光マスクは、前記関連する光源からの全体的にコリメートされた光を、前記システム出力に関連する共通ロー導体の少なくとも一部分を共有するものとして定義される前記アレイエレメントの前記第１のサブセットに方向づける、請求項４に記載の光学的にアドレスされたニューラルネットワーク。
【請求項６】
前記第１のサブセットが矩形である、請求項５に記載の光学的にアドレスされたニューラルネットワーク。
【請求項７】
前記第１のサブセットが、共通ロー導体及び共通コラム導体を共有しない第１及び第２のサブ部分を含む、請求項５に記載の光学的にアドレスされたニューラルネットワーク。
【請求項８】
前記第１のサブセットが、共通ロー導体を共有しない第１及び第２のサブ部分を含む、請求項５に記載の光学的にアドレスされたニューラルネットワーク。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はニューラルネットワークの技術に関し、より詳細には、直接的な光学的画像形成を取り入れたニューラルネットワークに関する。
【０００２】
本発明は、可視画像からの情報抽出に特に適用可能であり、可視画像からの情報抽出に特に言及して説明が行われる。しかし、任意のニューラルネットワークの効率的形成におけるような広範囲にわたるアプリケーションを本発明が有することが理解される。
【０００３】
【従来の技術】
人工知能ベースのコンピューティングが急速に拡大している。この数年で展開された多くの基本概念は既に第２もしくは第３世代に到達している。１つのそのような分野は、ニューラルネットワークを含む人工知能の分野である。
【０００４】
第１世代のニューラルネットワークは、ウェイティングバリューによって相互接続された機能的デジタルコンピューティングユニットを必要とする。そのような機能ユニットは独立なハードウェアプロセッサから構成されるか、もしくはソフトウェアによって代替的に実施される。いづれの場合でも、複雑で大規模なコンピューティング能力が必要とされた。
【０００５】
より近年になって、電子回路系と光学回路系との組み合わせによってニューラルネットワークが実現可能であることが認識された。そのようなシステムにおいて、光導電性エレメントと該エレメントへ照射される放射光との組み合わせが実施されてニューラルネットワークが形成された。例えば、Ｓｔｅａｒｎｓ，Ｒｉｃｈａｒｄ  Ｇ．，Ｔｒａｉｎａｂｌｅ  Ｏｐｔｉｃａｌｌｙ  Ｐｒｏｇｒａｍｍｅｄ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ，Ａｐｐｌｉｅｄ  Ｏｐｔｉｃｓ，Ｖｏｌ．３１，Ｎｏ．２９，Ｏｃｔｏｂｅｒ  １０，１９９２，ｐｐ．６２３０−６２３９  を参照。
【０００６】
このシステムにおいて、光学的にアドレスされたウェイティングを有するニューラルネットワーク動作が提供され、該ニューラルネットワークは、液晶ディスプレイ（ＬＣＤ）によってマスクされた光導電体の２次元アレイから構成される。このアーキテクチャを使用して、フルトレーニング可能な３レイヤのパーセプトロンネットワークが示されており、該ネットワークは、一旦トレーニングされると完全なスタンドアロンモードで動作可能である。この先行技術において、光導電体アレイに電圧を印加することによってデータが電気的にネットワークへ入力される。
【０００７】
【発明が解決しようとする課題】
本発明のシステムは、そのようなネットワークアーキテクチャを拡張して直接的な光学的入力を可能とする方法を開示する。一旦トレーニングされると、ネットワークは、該ネットワークへ投影された画像を完全なスタンドアロンモードでリアルタイムに処理可能である。
【０００８】
アーティフィシャルニューラルネットワークは、例えばパターン認識を含む多くの画像処理問題に適している。このことは、該ネットワークが本質的にパラレルアーキテクチャであること、及び該ネットワークが画像ノイズや画像劣化の存在下において有効に動作可能であることによる。従って、光学的画像捕捉とニューラルネットワーク処理とを組み合わせることが可能なコンパクトなハードウェアアーキテクチャが重大な関心事項となり得る。本発明はそのようなアーキテクチャを開示し、該アーキテクチャは、リアルタイムな画像捕捉と、ニューラルネットワークによるクラス化処理とを単一の処理モジュール内で組み合わせる。
【０００９】
【課題を解決するための手段】
本発明に従って、光学的にアドレスされたニューラルネットワークシステムが提供され、該システムは、複数のノードを画定する光導電体２次元アレイを含む。液晶デバイスのような光学的シャッターが、制御可能な２次元領域から成るアレイから形成される。光導電体２次元アレイへの入力は、水平導体に沿って与えられる。該アレイの出力は、垂直導体に沿って与えられる。関連する相対的にコリメートされた光源からの任意の光が光導電体２次元アレイの選択された全ての矩形領域へ入射しないようにＬＣＤが制御される。垂直ラインは増幅器に接続され、一部はアレイの水平ラインへフィードバックされる。２次元光導電体アレイの１つの非マスク領域にシステム入力が与えられる。アレイにフィードバックされていない増幅器出力ラインから出力が与えられる。ＬＣＤの選択的制御は多数のノードに対するウェイト調整を可能とし、従って効率的でコンパクトなニューラルネットワークの形成を可能とする。
【００１０】
本発明のより限定的な態様に従って、２次元光導電体アレイ自体に内設された画像捕捉メカニズムによって入力ラインが与えられる。
【００１１】
本発明の他の態様に従って、前記に要約された構造を用いてニューラルコンピューティングを実行する方法が与えられる。
【００１２】
本発明の利点は、高効率でコンパクトなニューラルネットワークシステムを提供することである。
【００１３】
本発明の他の利点は、高度に集積された画像認識システムを提供することである。
【００１４】
本発明の他の利点は、安価に製造可能な正確なニューラルネットワークを提供することである。
【００１５】
本発明の前記以外の利点は以下の詳細な説明により当業者に対して明らかとなる。
【００１６】
【発明の実施の形態】
以下、図を参照して説明を行う。図は、本発明の好ましい実施例の例示のみを目的としており、本発明を制限するものではない。光導電体アレイの一般的アーキテクチャ、及び該アーキテクチャとＬＣＤとの組み合わせが最初に記述される。次に、直接的な光学的入力を可能とする該アーキテクチャの拡張について記述される。次に、従来の後方伝搬トレーニングアルゴリズムの拡張について記述される。該拡張は、光学的画像の捕捉及びアダプティブな入力フィルタリングをトレーニングプロセスに組み込むことを可能とする。次に、２つのクラス化問題（顔の認識及び手書き数字）に対するネットワークパフォーマンスが例示される。最後に、ネットワークアーキテクチャにおける改良が検討される。該改良は、より強力な画像捕捉、及びハードウェア回路のより効率的な使用を可能とする。
【００１７】
図１は、本発明で使用される光学的にアドレスされたニューラルネットワークＡを示す。光学的にアドレスされたニューラルネットワークのキーエレメントは、本明細書以外の他の文献に詳細に記述されており、本明細書では簡潔な説明を行う。当該ネットワークは、２次元光導電体アレイと、センサーアレイ上に位置合わせされたＬＣＤとの組み合わせに基づく。光導電体アレイは、ＬＣＤを介して光照射される。２次元光導電体アレイ１２の配線１０が図１（Ａ）に示される。該アレイは、１２８本の水平ライン１４と１２８本の垂直ライン１６とから成るグリッドから構成され、該グリッドの各ノード１８にインターデジタル構成のａ−Ｓｉ：Ｈ光導電体センサーが形成される。従って、各ノード１８は抵抗性の相互接続であり、該相互接続は全体的に位置合わせされたＬＣＤパネル１２を介して照射される光を変化させることによって光学的にプログラムされる。アレイの水平ライン１４に沿って電圧が印加され、仮想的グランド電位に維持される垂直ライン１６を介して電流が測定されるようシステムは適切に構成される。垂直ライン１６は適切にペアにされ、ニューラルネットワークにおけるバイポーラウェイティングを可能とする。垂直ライン１６の６４コのペアは、６４コの非線形差動抵抗変換増幅器３０へ入力される。これら６４コの増幅器の出力は、センサーアレイの下側の６４本の水平導電ラインへルートバックされる（図１（Ｂ）参照）。
【００１８】
水平及び垂直の両方向における光導電体アレイのピッチは、適切には２７２μｍである。好ましい実施例において、ピクセルピッチ６８μｍのアクティブマトリクスＬＣＤ２０がセンサーアレイ１２上に直接配置され、４×４ＬＣＤピクセルのグループが直下の各光導電体センサーをマスクする。次に、通常の３５ｍｍプロジェクタのような相対的にコリメートされた光源によってＬＣＤセンサーアレイが照射される。
【００１９】
図１（Ｂ）において、１つの陰レイヤを有する標準的パーセプトロンネットワークを実施するためにシステムが駆動される方法が概略的に示される。ネットワークの入力レイヤ２４と陰レイヤ２６の間のウェイトフィールドｗｋｊｌ  と、陰レイヤと出力レイヤの間のウェイトフィールドｗｌｋｌｌにそれぞれ相当する２つの矩形領域を除き、ＬＣＤアレイ２０は最小の透過率状態に維持される。図１（Ｂ）のシステムにおいて、ネットワークはＪコの入力ニューロンを有し、該ニューロンは、センサーアレイの上側の６４本の水平ラインサブセットへ印加されるＪコの電圧に相当する。センサーアレイ上の２Ｋ本の垂直ラインをペアリングすることで形成されるＫコの陰レイヤニューロンが存在する。従って、センサーアレイ１２のＫコの垂直ラインペアの各々を介する差動電流は、陰レイヤニューロンの入力に相当する。非線形抵抗変換増幅器は入力信号の変換を行い、それらの出力電圧は陰レイヤニューロン出力値に相当する。矩形領域ｗｋｊｌ  のＬＣＤアレイ１２のピクセルの透過率を変化させることによって、入力レイヤニューロンと陰レイヤニューロン間の相互接続ウェイトが調整される。
【００２０】
陰レイヤニューロン出力電圧を搬送する光導電体アレイのＫ本の水平ラインと、出力レイヤニューロンに対応する差動電流を搬送するＬコの垂直ラインペア（２Ｌ本の垂直ライン）との間に同様の矩形領域（ｗｌｋ）が定義される。この第２の矩形領域ｗｌｋｌｌは、ネットワークの陰レイヤ及び出力レイヤニューロン間の相互接続ウェイトを画定する。出力ラインは、非線型電流−電圧変換ユニット、即ち増幅器３０に接続されるよう示される。
【００２１】
ＬＣＤアレイ１２の光導電体センサーの各々の上に１６コのＬＣＤピクセルが存在すること、及び、２つの隣接する光導電体センサーが使用されてネットワーク内に１つのバイポーラウェイトが与えられることから、各相互接続ウェイトに使用される３２コのＬＣＤピクセルが存在する。ＬＣＤはピクセル当たりほぼ１６グレーレベルを発生可能であり、これにより多数のウェイトレベルが理論的に可能となる。この実施例において、ハーフトーニング方式を使用して１２９のバイポーラウェイティングレベルが実施され、該方式は、任意の所与の時間において３２コのＬＣＤピクセルの内の１つがグレースケールモードで駆動され、この他の全てがバイナリ形態で駆動されることを可能とする。
【００２２】
ＬＣＤアレイ１２は、適切にはＳｕｎＩＰＸワークステーションによって駆動される。更に、センサーアレイの上側６４本のラインは、適切には同一のワークステーションによって制御されるデジタル−アナログ変換器によって駆動される。ワークステーションは更に、アナログ−デジタル変換回路へインターフェイスされ、該回路は、図１（Ｂ）のセンサーアレイ１２の底部に示される非線形抵抗変換増幅器の６４コの出力をモニターする。
【００２３】
センサーアレイの上側６４本の水平ラインに印加される電圧の適正レンジは＋／−１０Ｖである。非線形抵抗変換増幅器は、２×１０８  Ｖ／Ａ（Ａ：差動入力電流）の小信号利得を有し、＋／−１０Ｖの出力レベルで飽和する。ニューロンがｔａｎｈ（ｘ）変換に従う理論的ネットワークへハードウェアネットワークが関連付けられ、ハードウェアネットワークにおける１０Ｖの電圧は、理論的ネットワークにおける１．０のニューロン出力値に対応する。通常の動作において、単一のバイポーラウェイトが見いだされて０．８０μＡの最大差動電流が生成され、この結果抵抗変換増幅器出力は７．４Ｖとなる。このことは、ハードウェアネットワークの単一バイポーラウェイトが、対応する理論的ネットワークにおける最大値ｔａｎｈ−１（７．４）＝０．９５に制限されることを意味する。
【００２４】
相互接続ウェイトの調整によって、標準的後方伝搬アルゴリズムを使用するトレーニングが発生する。先に述べたように、ハードウェアネットワークの＋／−１０Ｖを理論的ネットワークの＋／−１の出力と等価にすることによって、ハードウェアネットワークのニューロン出力値は標準的理論的ネットワークのそれへマッピングされる。ハードウェアネットワークの相互接続ウェイトは標準的理論的ネットワーク内の＋１から−１の間の値へ（最大測定値＋／−０．９５の測定エラー内で）マッピングされる。ネットワークをトレーニングするために、ハードウェアネットワーク出力エラーの後方伝搬がデジタルコンピュータによって実行される。後方伝搬の実行において、陰レイヤ及び出力レイヤニューロンの出力値が直接測定され、論理的ｔａｎｈ（ｘ）ニューロン変換関数が仮定される。後方伝搬で使用されるウェイト値は、ＬＣＤアレイ２０上へプログラムされた所望値である。従って、ＬＣＤを介したウェイティングの実行における、もしくは抵抗変換増幅器の非線形変換における任意の非画一性もしくは非論理性が後方伝搬において無視される。ネットワークの実験的成功は、そのような非論理性がトレーニングアルゴリズムのアダプティブな特性で補償されることを示唆している。
【００２５】
図１（Ｂ）のシステムは、３レイヤのパーセプトロンネットワークとして有効に機能する。ハードウェアネットワークにおけるトレーニングは仮想的（論理的）ネットワークにおけるそれと同等であり、一旦トレーニングされると、ハードウェアネットワークは、３レイヤパーセプトロンネットワークを介するほぼ１００μｓの処理時間を有するスタンドアロンプロセッサとして動作されることが可能となる。
【００２６】
図１（Ｂ）のシステムアーキテクチャにおいて、ネットワークへの入力は、一連の印加電圧として光導電体アレイの水平ライン１４に沿って発生する。このことは多くのアプリケーションに対して適切である。先に述べたように、画像処理のケースにおいて１つの例外が起こりうる。このことはニューラルネットワークの分野において重要な問題を提起する。多くの画像処理タスクに対して、入力光学画像を感知可能であり且つ情報を直接的に処理可能であるコンパクトなネットワークアーキテクチャを形成することがより望ましい。本発明のネットワークは光導電性アレイの使用に基づくため、当該システムを拡張することで光学的画像捕捉が可能となる。
【００２７】
次に、図２（Ａ）を参照し、光学的にアドレスされたニューラルネットワーク４０のアーキテクチャが示される。該ネットワークは、ハードウェアニューラルネットワークへ組み込まれる光学的画像形成を直接可能とする。ＬＣＤアレイ４２内の新たな透過率領域ｗｊｉ０  がシステムに導入され、当該システムに投影された光学的画像がウィンドウ領域ｗｊｉ０  内で感知される。従って、このシステムにおいて、入射画像はセンサーアレイの左上方１／４の領域に適切に制限され、６４×６４センサーノード領域をカバーする。図に示されるように、ウェイトフィールドｗｋｊｌ  及びｗｌｋｌｌの両者は依然存在するが、ＬＣＤ４２上のそれらの位置は変更されている。当該アーキテクチャの考察から、光導電性アレイは、６４×６４ピクセル入射光学画像を３２ラインデータ（入射画像によって照射されている３２垂直ラインペア）へ本質的に圧縮することがわかる。これら３２ラインはウェイトフィールドｗｋｊｌ  の水平ラインへ自動的にルーティングされる。ウェイトフィールドｗｋｊｌ  の垂直ラインは陰レイヤニューロン入力に相当し、それらの出力はウェイトフィールドｗｌｋｌｌの水平ラインへ再びルーティングされる。ネットワークの出力は、通常、ウェイトフィールドｗｌｋｌｌの垂直ラインに関連付けられ、増幅器４４へ与えられる。増幅器４４は、該増幅器へ接続された信号ラインの各々に対して独立な増幅を与える。
【００２８】
図２（Ａ）は、コラムライン（垂直ライン）のみが増幅器（セット）４４へ接続されることを示している。代替的に、選択された水平導体（ロー導体）に対して全体的にもしくは部分的に増幅が与えられることが可能であることが理解される。支配的な制約は、１つのローもしくはコラム導体へ印加電圧が与えられる場合に、当該ノードの相補的導体に対して増幅が関連付けられねばならないことである。
【００２９】
図２（Ａ）のシステムに関する２つの重要なポイントが直ちに明らかとなる。第１は、該システムは、ニューラルネットワーク自体の最大入力サイズよりも（感知されたピクセル数、この例では６４×６４＝４０９６、に関して）はるかに大きな画像入力を可能とすることである。これは有用な特徴である。２次元画像はニューラルネットワークへの直接入力に都合のいいピクセル数よりもはるかに多くのピクセルを有することが通常であり、従って、直接的画像についての特定の事前処理変換（例えば、特徴抽出）が所望されることが通常である。本発明のシステムにおいて、画像は垂直ラインに沿って取り込まれ、光導電体アレイ内の電流の和をとる処理に相当する。画像情報を圧縮するこの方法は特定のアプリケーションに対して適切でない場合があることが理解される。
【００３０】
図２（Ａ）のシステムに関する第２の重要なポイントは、ＬＣＤアレイ４２が画像処理に対するプログラマブルフィルタとして使用可能なことである。従って、ＬＣＤが使用されて所与の処理タスクに対して適切な方法で入力画像変換が特定的に実行可能である。例えば、適切な空間周波数変調パターンをＬＣＤに印加することによって、入射画像の異なる垂直ラインに沿った異なる空間周波数に対して感度を有するよう領域ｗｊｉ０  にわたりＬＣＤをプログラム可能である。より一般的には、以下に説明するように、ウェイトフィールドｗｊｉ０  の調整を可能とするよう標準的後方伝搬トレーニングアルゴリズムが拡張可能である。このことは、３つのウェイトフィールドｗｊｉ０  、ｗｋｊｌ  、及びｗｌｋｌｌが同時にトレーニングされて所与の画像処理タスクを実行することを可能とする。
【００３１】
図２（Ａ）のシステムにおいて、ウェイトフィールドｗｋｊｌ  及びｗｌｋｌｌは、３レイヤパーセプトロンネットワークの標準的相互接続ウェイトに相当し、図１（Ｂ）のオリジナルアーキテクチャと完全に同等な形態で動作する。特に、ＬＣＤアレイ４２はこれらウェイトフィールドに相当する領域にわたり入射光強度Ｉ０  で画一的に照射される。先に述べたように、システムで通常使用されるＩ０  の値に対して、システムのウェイト値は、ｔａｎｈ（ｘ）変換関数の理論的ネットワークへマッピングされる場合に＋／−１．０に相当するような値が取られる。
【００３２】
処理される画像は、ウェイトフィールドｗｊｉ０  に相当する領域にわたりＬＣＤ上へ投影される。この領域において、入射光強度は空間的に変化し、従って、背後の光導電性センサーは、局所的なＬＣＤの透過率と入射光強度との積によって影響を受ける。図２（Ｂ）に示されるように、各ウェイトｗｊｉ０  は、システムの非線型抵抗変換増幅器４４へ入力される場合、アレイ上の垂直ラインの差動ペアリングにより、２つの光導電性センサーに対応する。例示的なウェイトｗｊｉ０  が図２（Ｂ）に示され、該ウェイトは、各々が１６コのＬＣＤピクセルでマスクされた２つのインターデジタル構成されたセンサーを有する。図２（Ｂ）において、２つのセンサー上の１６コのＬＣＤピクセルの積分された透過率がｗｊｉ０＋及びｗｊｉ０−として示される。値ｗｊｉ０＋及びｗｊｉ０−は、考察対象領域への入射光強度がＩ０  であると仮定した場合（この場合ｗｊｉ０  ＝ｗｊｉ０＋−ｗｊｉ０−）にプログラムされるウェイトと考えることができる。現実の入射光強度はＩｊｉ＋  及びＩｊｉ−  でラベル付けされ、これらの値はＩ０  で規格化されている（従って、Ｉ０  の画一的な照射に対してはＩｊｉ＋  ＝Ｉｊｉ−  ＝１．０）。以上の定義により、次式が得られる。
【００３３】
【数１】
0003583535.tif 000002
部分的ウェイトｗｊｉ０＋及びｗｊｉ０−の各々は、前述したように同一の準ハーフトーン方式で駆動されるＬＣＤ上の４×４ピクセルグループによって支配され、各部分ウェイトは６５レベルの内の１つにプログラム可能であり、ｔａｎｈ（ｘ）ニューロン変換関数の理論的ネットワークにおける０から１．０までの値に相当する。
【００３４】
図２（Ａ）の変形ネットワークにおいて、光導電体アレイの上側６４水平ライン駆動する電圧に関連する”入力”が依然存在する。理論的には、これら電圧レベルは、異なる画像がＬＣＤアレイ４２上へ投影される場合に静的であり続けるが、トレーニングプロセスに含めることが可能である。当該アーキテクヤの検討から、これら”入力”電圧レベルの変動を介してシステムに与えられる影響は、ウェイトフィールドｗｊｉ０  内の全ての”入力”レベルを１．０（即ちセンサーアレイ上の１０Ｖ）にリセットすると共に当該ウェイトフィールドを変形することによって代替的に実施可能であることは明らかである。従って、ウェイトフィールドｗｊｉ０  に対する全ての入力を１．０値にセットするほうがはるかに簡潔であり、このことは、センサーアレイの上側６４水平ラインを１０Ｖ値にプログラムすることに相当する。ハードウェアシステムにおいて、このことは、１つの１０Ｖパワーサプライが光導電体アレイを駆動可能であることを意味し、当該システムの動作を非常に簡潔化する。
【００３５】
従って、図２（Ａ）のネットワークを介する（仮想）前方伝搬は以下のように表すことが可能である。
【００３６】
【数２】
0003583535.tif 000003
【００３７】
【数３】
0003583535.tif 000004
【００３８】
【数４】
0003583535.tif 000005
ここで、ｆｊ  は圧縮された画像情報に相当し、３レイヤパーセプトロンネットワークへの入力である。ｈｋ  及びｏｌ  は、それぞれ陰レイヤ及び出力レイヤニューロン値に相当する。ウェイトｗｊｉ０＋及びｗｊｉ０−は０から１の範囲内にあるよう制約され、ウェイトｗｋｊｌ  及びｗｌｋｌｌは＋／−１．０の範囲内にあるよう制約される。
【００３９】
以下の値を求める適切な連鎖則微分によって、図２（Ａ）のアーキテクチャに対して標準的後方伝搬トレーニングアルゴリズムが拡張可能である。
【００４０】
【数５】
0003583535.tif 000006
ここで、Ｅはネットワークエラーであり、以下のように表される。
【００４１】
【数６】
0003583535.tif 000007
ここで、ｔｌ  は出力ニューロンｏｌ  に対するターゲット値である。以上から、ウェイトのアップデートに対する方程式は以下のように表される。
【００４２】
【数７】
0003583535.tif 000008
【００４３】
【数８】
0003583535.tif 000009
【００４４】
【数９】
0003583535.tif 000010
ここで、学習係数はηで示され、モーメント係数はｖで示される。式４（ｃ）のγは、シンボル＋もしくは−のいづれかを示す。ここで、１つのエポック（ｅｐｏｃｈ）は、常に１０コの入力画像の提示に相当する（即ち、ｅｐｏｃｈ ｎｏ（エポックナンバー）＝１０）。
【００４５】
当該ネットワークは、手書き数字の認識及び人間の顔の認識の２つの問題例に対してテストされた。ネットワーク動作において、入力画像はシャープ＃ＸＶ−１０１ＴＵ  ＬＣＤビデオプロジェクタを使用してＬＣＤの左上方１／４領域（図２（Ａ）参照）上へ投影され、該プロジェクタのビデオ入力はビデオカメラから得られる。同一のプロジェクタが使用されてＬＣＤ上のウェイトフィールドｗｋｊｌ  及びｗｌｋｌｌが画一的に照射される。両認識タスクに対して、使用されたネットワークは１０コの陰ユニット及び５コの出力ユニットを有する。（従って、図２（Ａ）においてＩ＝６４、Ｊ＝３２、Ｋ＝１０、及びＬ＝５である。）
ネットワークのトレーニングにおいて、サンプル画像はビデオプロジェクタを使用してＬＣＤ上へ投影されない。その代わりに、トレーニング画像がウェイトフィールドｗｊｉ０  にわたりＬＣＤ上へ直接ダウンロードされる。従って、例えば、トレーニングされた場合に透過率がｗｊｉ０＋にプログラムされるＬＣＤ上の４×４ピクセル領域にわたり、トレーニング中は透過率がＩｊｉ＋ｗｊｉ０＋にプログラムされる。トレーニング段階においてＬＣＤ全体にわたる入射光強度は画一的である。トレーニング画像をＬＣＤ上へインプリンティングするこのアプローチは主に簡便性を目的として仮定される。トレーニング画像は６４×６４ピクセルグレースケールビットマップ画像としてデジタル的に記憶される。トレーニング中にこれら画像をＬＣＤ上へ書き込むことは、これら画像をビデオプロジェクタへ送出するよりも簡便である。ネットワークをトレーニングするために投影画像を使用することも可能であり、このことは、ネットワークが一旦トレーニングされてランされているモードのような特定の状況においてはより良好な結果をもたらす。
【００４６】
手書き文字認識の問題に対し、ネットワークは数字０から５を認識するようトレーニングされる。最終的にネットワークがダイレクトでリアルタイムな画像を認識することが期待されるので、文字を境界ボックスへ厳密に規格化することはリーズナブルでない。このような規格化はこのような認識タスクで頻繁に行われる。しかし、当該ハードウェアネットワークの物理的サイズ制限（１０コの陰ユニットしか存在しない）に依り、数字をプリントする場合に特定の制約が使用されなければならないことは明らかである。トレーニングセットの作成、及びトレーニングされたネットワークのテストにおいて、ペリフェラルボックスが使用されてその内部に数字がプリントされる。該ボックスのほぼ全高さを充填するよう（幅は制約されない）数字がレンダリングされる。図８は１０コのトレーニング画像の例を示す。
【００４７】
図２（Ａ）で例示される構造において、標準的３レイヤパーセプトロンの光学的ニューラルネットワークが実現される。図３のノードマップで相互接続が示される。
【００４８】
図４は、マスク構成における若干の変形によって生じる付加的相互接続（即ち、レイヤＫからレイヤＪへの接続）に関連するアーキテクチャ及びノードマップを示す。マスク／相互接続選択によって該システムは図２（Ａ）のものとは異なることが理解される。図５（レイヤＫ内の回帰接続）、図６（レイヤＪ内の回帰接続）、及び図７（レイヤＪからレイヤＬへの接続）によって、前記と同様のペアリングが与えられる。これらの図から、単にマスクを適切に選択することによって多くの異なるニューラル相互接続が実現可能であることが理解される。
【００４９】
例示されたネットワークは、３００サンプルに対してトレーニングされ、この場合、ウェイトフィールドｗｊｉ０＋及びｗｊｉ０−は０から０．３の範囲のランダム値に初期化され、ウェイトｗｋｊｌ  及びｗｌｋｌｌは＋／−０．２の範囲の値にランダムに初期化される。トレーニング中及びネットワークのラン中において、光導電体アレイの上側６４水平ラインは１０．０Ｖに維持される。５つの数字の各々に対して１つの出力ニューロンがアサインされ、出力ニューロンが当該数字に対応する場合には０．８値（即ち８．０Ｖ）を、それ以外の場合には−０．８値（即ち−８．０Ｖ）を生成するようトレーニングされる。図９において、トレーニング期間中のネットワークエラーデータが示される。一旦トレーニングされると、カメラ及びビデオプロジェクタの組み合わせを使用して捕捉されたリアルタイム画像を投影することによって、システムが動作される。図１０において１０コのテスト画像が示される。ネットワーク出力がヒストグラムによって示されており、５つの区画は５つの出力ニューロン値に対応する。図１０の数字に対するネットワーク応答はリアルタイムで実行され、図１０に示されるビットマップ画像は、当該数字が書き込まれているペーパーの電気的走査によってネットワークテストの後に得られたものである。
【００５０】
図１０の（ａ）から（ｅ）の数字及びヒストグラムは、トレーニングされたネットワークの代表的なクラス化パフォーマンスを示す。図１０の（ｆ）から（ｈ）は数字４を作成する場合のシーケンシャルな画像を示す。該数字をレンダリングする場合の最初の垂直ストロークは１として認識される（図１０の（ｆ））。水平ストロークが付加された後（図１０の（ｇ））、ネットワークは当該画像を５つの数字の内の任意の数字として積極的にクラス化しない。最後の直交ストロークの付加により（図１０の（ｈ））、ネットワークは当該画像を数字４としてクラス化する。数字４のこのレンダリングは図１０の（ｅ）に示されているそれとは異なっている。ネットワークは両ケースを認識するようトレーニングされた。図１０の（ｉ）において、数字が境界ボックスの頂部及び底部に接触しない場合でも正確にクラス化が行われる例が示される。最後に、図１０の（ｊ）は、ネットワークが画像をクラス化不可能なケースを示す。テスト中に境界ボックスが含められた場合、トレーニングされたネットワークは最良動作した。トレーニングにおいて境界ボックスは全てのサンプルに共通に現れるため、ネットワークはその存在を無視することを学習することが予想されたが、このケースでは実際そうではなかった。  同様に、４つの異なる顔についての６４×６４ピクセル画像を認識するようネットワークはトレーニング可能である。図１１において、８つのトレーニング画像の例が示される。ネットワークは２５０サンプルについてトレーニングされた。異なる照明下、異なる横方向頭部回転角度（正面から＋／−１５°の範囲内）、異なる拡大（＋／−５％）、フレーム内での異なる頭部平行移動（＋／−１０％）、及び異なる表情の顔の画像を該サンプルは含む。顔の認識においてネットワークを有効にトレーニングするため、手書き数字に対するネットワークトレーニングに有効である初期ランダムパターンよりも、構造化されたウェイトフィールドｗｊｉ０  を最初に用いることが望ましい。顔の認識に使用された初期ウェイトフィールドｗｊｉ０  が図１２に示される。ウェイトフィールドパターンは、その垂直コラムに沿って画像についての異なる空間周波数を選択することがわかる。センサーアレイの４つの垂直ラインペア（即ち８ライン）の各々は、（垂直方向の次元において）画像の当該部分の粗い空間周波数圧縮を行う。この初期ウェイトフィールドｗｊｉ０  と、ウェイトｗｋｊｌ  及びｗｌｋｌｌに対するランダム値とを用いて、ネットワークは有効にトレーニング可能である。代表的なトレーニングエラーカーブが図１３に示される。図１４は、４人の顔のリアルタイムビデオ画像に対するトレーニングされたネットワークの応答例を示す。
【００５１】
図１４の（ａ）から（ｄ）、及び（ｆ）から（ｉ）は、ネットワークによる正確なクラス化の例を示す。図は、画像捕捉での顕著な変化を示している。図１４の（ｆ）、（ｇ）、及び（ｉ）において、大きな頭部横方向回転が見られる。に、図１４の（ｆ）の顔は、画像フレーム内で平行移動されている。図１４の（Ｂ）及び（ｈ）の画像形成において、照明を変化させた。不正確なネットワーククラス化の例が図１４の（ｅ）及び（ｊ）に示される。図１４の（ｊ）の頭部の照明はネットワークのトレーニングサンプル内のそれと大きく異なるために、当該画像をクラス化できないことが推察される。図１４の（ｅ）の画像の不正確なクラス化の原因は明らかでないが、頭部サイズの許容範囲外の縮小に関連するものと考えられる。顔の認識についてのこれらの結果は、光屈折ホログラムを用いた他者の成果と比較されることが可能である。
【００５２】
開示されたネットワークは、そのサイズを考慮して、数字及び顔の画像認識において有効にトレーニングされることが示される。図９、１０、１３、及び１４の結果は、前方伝搬及びトレーニングを記述する方程式（１）から（４）を使用した仮想ネットワークのシミュレーション結果に非常に近いことが見いだされる。特に、７５０エポックの後、シミュレートされたネットワークにおけるトレーニングエラーは、数字及び顔の両認識タスクに対して、ハードウェアネットワークのそれのほぼ３０％を下回るものとなる。システムの能力を把握するために、より大きなネットワークが現在シミュレートされている。
【００５３】
前述の結果は、光学的にアドレスされたニューラルネットワークアーキテクチャが、感知された画像のニューラルネットワーク処理によって、ネットワーク上への光学的画像の直接的投影を可能とすることを示している。このアーキテクチャは、特定の画像認識タスクに対して非常に有用且つコンパクトなアーキテクチャとなる。ネットワークは、一旦トレーニングされると、自身に投影される画像に対してリアルタイムに応答する。トレーニングされたネットワークの応答時間は、光導電性センサーの応答時間と非線型抵抗変換増幅器回路の応答時間との和に相当する。本実施例の抵抗変換増幅器回路は４０μｓの応答時間を有する。従来技術において、入射光強度が変化する場合のセンサーの応答時間は２００から３００μｓのオーダーであることが示されている。この応答時間は、一定照射強度で印加電圧が変化するセンサーの応答時間（数μｓ）よりもはるかに大きく、従って、トレーニングされたシステムの処理速度を制限することが予想される。
【００５４】
ネットワークのトレーニング時間は、２つのファクタによって制限される。第１は、ハードウェアニューロン値を測定し、デジタルコンピュータにおいてネットワークエラーの後方伝搬を実行するために必要な時間が存在である。第２は、ＬＣＤアレイ上のパターンを変化させること、即ち、相互接続ウェイトフィールドを単にアップデートすること、もしくはトレーニング画像をＬＣＤの左上方１／４領域へ付加的に印加することに関連する時間の存在である。本実施例において、トレーニングは０．３ｅｐｏｃｈ／ｓｅｃ（３サンプル／ｓｅｃ）のレートで発生する。
【００５５】
ＬＣＤピクセルが最小透過率状態に維持されるネットワーク領域（図１（Ｂ）及び図２（Ａ）の黒領域）を考慮することは有用である。これら領域は、一般に、レイヤ内の回帰接続もしくは非シーケンシャルレイヤ間（例えば、入力及び出力レイヤ間）接続のような、本発明のマルチレイヤフィードフォワードネットワークで使用されない相互接続に相当する。そのような相互接続は、本発明のアーキテクチャにおいて自然発生的に生じる。標準的フィードフォワードネットワークに対して、このことは、利用可能なネットワーク相互接続の多くの部分が未使用のまま残されているというような非効率的結果を生じる。センサーアレイの全４サイドからの水平及び垂直ラインを感知及び駆動することによって、本発明のフィードフォワードアーキテクチャをより効率的に実施可能である。図１５は、そのような効率的な実施例を示す。センサーアレイ５４の導電性ロー５０及びコラム５２は、図の点線に沿って（電気的に）分離される。光学画像はセンサーアレイ及び重ね合わされたＬＣＤ６０の上側半分に入射される。図１５に示されたシステムは、Ｌコの出力を有する（６４−Ｌ）コの陰レイヤユニットを可能とする。そのようなネットワークでは、２Ｌ２  コのセンサーのみが未使用となる。光導電体出力は増幅器６２及び６４へ入力される。この例は、利用可能な相互接続の非常に効率的使用を示す。
【００５６】
先に述べたように、本発明のネットワークの画像感知アーキテクチャは、更に最適化されることが可能である。開示された実施例において、光導電性センサーアレイのワイヤ相互接続に依り、入射光学画像は垂直ライン５２に沿って取り込まれる。この感知アーキテクチャは有効なパターン認識を提供可能である。入射光学画像がその初期捕捉の際に異なって変換される場合、ネットワークパフォーマンスの向上が期待される。特に、画像のローもしくはコラム全体を介して画像を取り込むよりも、画像の局所領域を捕捉及び処理してこの局所情報をネットワークの従動レイヤへ送出することがより適切である。光導電性センサーアレイの画像捕捉領域において、光導電性構造（もしくは代替的にフォトダイオード構造）は、その各々が入射画像の局所領域に感度を有するよう適切に構成される。所望される場合には、これら構造は入射画像のバイポーラウェイティングを可能とするよう構成可能である。更に、この領域にわたりＬＣＤを空間光変調器として維持することは、システムが光学画像のアダプティブな局所フィルタリングを実行することを可能とする。このアプローチは、画像処理の初期ステップとして局所的特徴抽出を利用する他のニューラルネットワークアーキテクチャに対してさらに整合するものとなる。
【００５７】
より進んだ適応は、レンズアレイを使用してセンサーアレイ上へ複製（２重）画像を投影することを含む。この場合、光学画像の任意の所与の領域は複数のセンサーによって処理されることが可能であり、画像の各領域に対して複数の特徴が抽出されることが可能となる。
好ましい実施例において、非線形電流−電圧変換器は、多結晶シリコン技術を使用して光導電性アレイのガラス基体上へ集積化される。これら増幅器の有効な集積化は、システム全体が光導電体アレイ基体及びＬＣＤ内に包含されることを可能とする。特に、５本の外部電圧ラインのみがセンサーアレイ及び増幅器回路全体を駆動するために必要とされる。加えて、特定のタスクを実行するようネットワークをトレーニングした後にＬＣＤアレイが適切な静的空間光変調器（例えば写真フィルム）に置換される場合、ニューラルネットワークモジュール全体は入射光学画像を捕捉及び処理するためにこれら数本の入力電圧ラインしか必要としない。
【００５８】
入射光学画像をリアルタイムに捕捉及び処理可能なハードウェアニューラルネットワークアーキテクチャが開示された。光導電性アレイとＬＣＤとの組み合わせに基づく当該システムは、一旦トレーニングされるとスタンドアロンモードで動作する。このアーキテクチャは、捕捉の際の光学画像のフィルタリングをネットワークトレーニングプロセスへ組み込むことを可能とする。当該ネットワークは潜在的に非常にコンパクトになり得る。ネットワークコンポーネントの全てがラージエリア薄膜技術に基づくため、アーキテクチャ内のスケーリング性及び集積化に対して潜在的に非常に有効である。
【００５９】
本発明は好ましい実施例に言及して記載された。明らかに、本明細書に対する理解から、変形及び置換が可能である。そのような変形及び置換は、請求項及びその同等物の範囲内にある全ての変形及び置換を含むことが意図される。
【００６０】
【発明の効果】
以上説明したように、本発明により、入射光学画像をリアルタイムに捕捉及び処理可能なハードウェアニューラルネットワークアーキテクチャが提供される。
【図面の簡単な説明】
【図１】本発明に使用される３レイヤパーセプトロンネットワークのアーキテクチャの概略図である。
【図２】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図３】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図４】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図５】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図６】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図７】図１のアーキテクチャの変形を示す図であり、入射画像が光導電体アレイに投影されて特定のニューラル機能が実行される。
【図８】手書き数字認識についてのトレーニングセットのサンプルを示す図である。
【図９】手書き数字認識の例についてのネットワークトレーニングエラーを示す図である。
【図１０】本発明のトレーニングされたネットワークの代表的なリアルタイムクラス化パフォーマンスをヒストグラムで示す図である。
【図１１】一連の人間の顔を認識するようネットワークをトレーニングする際に使用されたいくつかの中間調画像である。
【図１２】図１１のような顔を認識するようネットワークをトレーニングする際の光学画像のフィルタリングに使用される適切な液晶ディスプレイパターンを示す図である。
【図１３】顔の認識についてのネットワークトレーニングエラーを示す図である。
【図１４】トレーニングされたネットワークで認識を行う際に使用されたいくつかの中間調画像、及びトレーニングされたネットワークの代表的なリアルタイムクラス化パフォーマンスを示す図である。
【図１５】本発明のシステムの代替実施例を示す図である。
【符号の説明】
１２  光導電体アレイ
４０  光学的にアドレスされたニューラルネットワーク
４２  ＬＣＤアレイ
【図１】
0003583535.tif 000011
【図２】
0003583535.tif 000012
【図３】
0003583535.tif 000013
【図４】
0003583535.tif 000014
【図５】
0003583535.tif 000015
【図６】
0003583535.tif 000016
【図７】
0003583535.tif 000017
【図８】
0003583535.tif 000018
【図９】
0003583535.tif 000019
【図１０】
0003583535.tif 000020
【図１１】
0003583535.tif 000021
【図１２】
0003583535.tif 000022
【図１３】
0003583535.tif 000023
【図１４】
0003583535.tif 000024
【図１５】
0003583535.tif 000025