(57)【特許請求の範囲】
【請求項１】
画像認識装置であって、
透明又は半透明の基板の中に組み込まれ又は上に配置された複数の認知用センサであって、各センサが、
受光素子と、
前記受光素子に対応する訓練可能な認知記憶セルと、
を有する複数の認知用センサと、
前記基板の上に形成され又は中に組み込まれた複数の光学インターフェースであって、前記複数の認知用センサの対応する一つにそれぞれが光学的に結合される複数の光学インターフェースと、
前記基板の上に位置し、光を放出するように構成される複数の発光素子と、
を備えることを特徴とする画像認識装置。
【請求項２】
請求項１に記載の画像認識装置であって、前記複数の発光素子のうち一又は複数の発光素子による光出力は、前記複数の認知用センサのうちの一つ以上からの出力に従って制御されることを特徴とする画像認識装置。
【請求項３】
請求項１に記載の画像認識装置であって、前記複数の発光素子は、幾何学的に配置されて画像表示装置を形成することを特徴とする画像認識装置。
【請求項４】
請求項３に記載の画像認識装置であって、前記画像表示装置は、前記複数の認知用センサのうちの一つ以上の前記受光素子上で受光された光を表現する画像を表示するように構成されていることを特徴とする画像認識装置。
【請求項５】
請求項３に記載の画像認識装置であって、
前記認知用センサはそれぞれ、訓練可能であり、入射光に基づいてパターンを認識するように構成されており、
前記画像表示装置は、前記複数の認知用センサのうちの一つ以上に認識されたパターンに従って、画像を表示し、前記画像を修正するように構成されていること
を特徴とする画像認識装置。
【請求項６】
請求項１に記載の画像認識装置であって、前記複数の認知用センサには視野があり、
前記発光素子は、前記視野内に発光するように構成されていることを特徴とする画像認識装置。
【請求項７】
請求項１に記載の画像認識装置であって、前記複数の認知用センサには視野があり、前記発光素子は、前記視野内の対象物から視認可能な画像を表示するように構成されていることを特徴とする画像認識装置。
【請求項８】
請求項１に記載の画像認識装置であって、前記複数の認知用センサには視野があり、前記発光素子は、前記視野内の対象物に対する照明を提供し、前記視野内の前記対象物に画像を表示するように構成されていることを特徴とする画像認識装置。
【請求項９】
請求項８に記載の画像認識装置であって、前記複数の認知用センサのうちの一つ以上は、入射光のパターンを認識するように構成され、前記認識されたパターンの機能として、前記複数の発光素子のうちの一つ以上の前記照明の提供及び画像の表示を制御するように構成されていることを特徴とする画像認識装置。
【請求項１０】
請求項１に記載の画像認識装置であって、前記認知記憶セルはそれぞれ、画像の異なる部分を認識するように教化されており、前記複数の認知記憶セルは、前記画像を認識するために集合的に動作するように構成されていることを特徴とする画像認識装置。
【請求項１１】
請求項１に記載の画像認識装置であって、前記認知記憶セルはそれぞれ、その入力側で多重入力バスにより結合され、かつ、その出力側で出力バスにより結合される複数のニューロンを備え、前記ニューロンはそれぞれ、知識で教化され、前記知識は、前記対応するニューロンが信号を認識し決定を行うことを可能にすることを特徴とする画像認識装置。
【請求項１２】
請求項１に引用される画像認識装置であって、前記複数の認知用センサは、ソフトウェアプログラムを用いずに、それぞれが自己完結型の自律行動をする複数の並列な素子により、画像認識動作をデジタル的に行うように構成されていることを特徴とする画像認識装置。
【請求項１３】
請求項１に引用される画像認識装置であって、前記複数の発光素子のうち幾つかの発光素子は、発光ダイオード（ＬＥＤ）と、有機発光ダイオードと、プラズマキャビティとの中から選択されることを特徴とする画像認識装置。
【請求項１４】
請求項１に記載の画像認識装置であって、前記基板の中に組み込まれ又は上に配置される光起電力型装置をさらに備える画像認識装置。
【請求項１５】
請求項１に記載の画像認識装置であって、前記基板に直接刻みこまれ又はその上に拡散された出力伝送線及び電源線をさらに備える画像認識装置。
【請求項１６】
請求項１に記載の画像認識装置であって、前記複数の認知用センサのそれぞれは、電源線から電力を受け取り、前記電源線を用いて通信を出力するように構成されていることを特徴とする画像認識装置。
【請求項１７】
請求項１に記載の画像認識装置であって、透明又は半透明のカバー層をさらに備え、前記複数の認知用センサ及び前記複数の発光素子は、前記カバー層と前記基板との間に配置されることを特徴とする画像認識装置。
【請求項１８】
請求項１７に記載の画像認識装置であって、前記複数の発光素子のうちの一つ以上は、前記基板を通して光を放出するように構成されていることを特徴とする画像認識装置。
【請求項１９】
請求項１７に記載の画像認識装置であって、前記複数の発光素子のうちの一つ以上は、前記カバー層を通して光を放出するように構成されていることを特徴とする画像認識装置。
【請求項２０】
請求項１に記載の画像認識装置であって、
前記複数の発光素子及び前記複数の認知用センサは行列形式で配置されており、
前記複数の発光素子及び前記複数の認知用センサは、行において交互に配置されており、列においても交互に配置されていることを特徴とする画像認識装置。
【請求項２１】
請求項１に記載の画像認識装置であって、前記複数の発光素子及び前記複数の認知用センサは、前記複数の認知用センサのそれぞれが発光素子に囲まれるように配置されることを特徴とする画像認識装置。
【請求項２２】
請求項１に記載の画像認識装置であって、前記複数の発光素子は、赤の画素と、緑の画素と、青の画素とを有することを特徴とする画像認識装置。
【請求項２３】
画像認識装置であって、
透明又は半透明の基板の中に組み込まれ又は上に配置されるセンサ素子と、
前記センサ素子に結合された情報処理素子であって、前記基板の中に組み込まれ又は上に配置される情報処理素子と、
前記基板の中に組み込まれ又は上に配置される発光素子と、
を備え、
前記透明又は半透明の基板は、入射した検知対象の画像と前記センサ素子のセンサ画素との間の光学インターフェースを構成し、
前記発光素子は、前記入射した検知対象の画像に向けて、又は、前記入射した検知対象の画像から離れる方向に光を放出するように構成されていること
を特徴とする画像認識装置。
【請求項２４】
請求項２３に記載の画像認識装置であって、前記発光素子は、一又は複数の発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、プラズマキャビティのいずれかよりなることを特徴とする画像認識装置。
【請求項２５】
請求項２３に記載の画像認識装置であって、前記発光素子は、前記情報処理素子の出力により選択的に制御されることを特徴とする画像認識装置。
【請求項２６】
請求項２３に記載の画像認識装置であって、前記情報処理素子は、訓練可能であり、検知された前記入射した検知対象の画像に基づいてパターンを認識するように構成されていることを特徴とする画像認識装置。
【請求項２７】
請求項２６に記載の画像認識装置であって、前記情報処理素子は、前記情報処理素子により認識された前記パターンに従って、前記発光素子から発光された前記光を制御するように構成されていることを特徴とする画像認識装置。
【請求項２８】
請求項２３に記載の画像認識装置であって、前記センサ素子には視野があり、前記発光素子は、前記視野内に光を放出するように構成されていることを特徴とする画像認識装置。
【請求項２９】
請求項２３に記載の画像認識装置であって、前記センサ素子には視野があり、前記発光素子は、前記視野から離れる方向に光を放出するように構成されていることを特徴とする画像認識装置。
【請求項３０】
請求項２３に記載の画像認識装置であって、
前記情報処理素子は、その入力側で多重入力バスにより結合され、かつ、その出力側で出力バスにより結合される複数のニューロンを備え、前記ニューロンはそれぞれ、知識で教化され、前記知識は、対応するニューロンが信号を認識し決定を行うことを可能にすることを特徴とする画像認識装置。
【請求項３１】
請求項２３に引用される画像認識装置であって、
前記情報処理素子は、ソフトウェアプログラムに用いずに、それぞれが自己完結型の自律行動をする複数の並列な素子により、画像認識動作をデジタル的に行うように構成されていることを特徴とする画像認識装置。
【請求項３２】
請求項２３に記載の画像認識装置であって、前記基板の中に組み込まれ又は上に配置される光起電力型装置をさらに備える画像認識装置。
【請求項３３】
請求項２３に記載の画像認識装置であって、前記基板に直接刻みこまれ又はその上に拡散された出力伝送線及び電源線をさらに備える画像認識装置。
【請求項３４】
請求項２３に記載の画像認識装置であって、前記情報処理素子は、電源線から電力を受け取り、前記電源線を用いて通信を出力するように構成されていることを特徴とする画像認識装置。
【請求項３５】
請求項２３に記載の画像認識装置であって、透明又は半透明のカバー層をさらに備え、前記センサ素子、前記情報処理素子及び前記発光素子は、前記カバー層及び前記基板の間に配置されることを特徴とする画像認識装置。
【請求項３６】
請求項３５に記載の画像認識装置であって、前記発光素子は、前記基板を通して光を放出するように構成されていることを特徴とする画像認識装置。
【請求項３７】
請求項３５に記載の画像認識装置であって、前記発光素子は、前記カバー層を通して光を放出するように構成されていることを特徴とする画像認識装置。
【請求項３８】
画像認識方法であって、
透明又は半透明の基板の中に組み込まれ又は上に配置された複数のセンサ素子に、前記基板の中に組み込まれ又は上に配置された複数の光学インターフェースを用いて、光路を設け、
それぞれが前記センサ素子の一つに結合される、前記基板の中に組み込まれ又は上に配置される複数の情報処理素子において、前記複数のセンサ素子が生成した信号を並列処理し、
前記基板の中に組み込まれ又は上に配置された複数の発光素子から光を放出すること
を特徴とする画像認識方法。
【請求項３９】
請求項３８に記載の画像認識方法であって、前記放出することは、前記複数の情報処理素子のうちの一つ以上からの出力に従って、前記複数の発光素子から放出される前記光を制御することを含むことを特徴とする画像認識方法。
【請求項４０】
請求項３８に記載の画像認識方法であって、前記並列処理することは、パターンを認識することを含み、前記放出することは、前記認識されたパターンに従って、前記複数の発光素子から放出される前記光を制御することを含むことを特徴とする画像認識方法。
【請求項４１】
請求項４０に記載の画像認識方法であって、前記パターンを認識することは、前記複数のセンサ素子の視野内に一又は複数の対象物があるかどうかを検知することを含むことを特徴とする画像認識方法。
【請求項４２】
請求項４１に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の前記基板からの距離を判定することを含むことを特徴とする画像認識方法。
【請求項４３】
請求項４１に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の個数を判定することを含むことを特徴とする画像認識方法。
【請求項４４】
請求項４１に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の位置を特定することを含むことを特徴とする画像認識方法。
【請求項４５】
請求項４１に記載の画像認識方法であって、前記制御することは、対象物の存在が検知されない場合に、複数の発光素子から光量を減少させた光を放出することを含むことを特徴とする画像認識方法。
【請求項４６】
請求項４１に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物のいずれかが正規の対象物であるかどうかを判定することを含む
ことを特徴とする画像認識方法。
【請求項４７】
請求項４０に記載の画像認識方法であって、前記パターンを認識することは、前記複数のセンサ素子の視野内に一又は複数の視聴者の視線位置を特定することと、同視野内で前記一又は複数の視聴者の前記視線を追跡することを含むことを特徴とする画像認識方法。
【請求項４８】
請求項４０に記載の画像認識方法であって、前記パターンを認識することは、顔認識、又は、表情認識を含むことを特徴とする画像認識方法。
【請求項４９】
請求項４０に記載の画像認識方法であって、前記パターンを認識することは、生体個人認証を含むことを特徴とする画像認識方法。
【請求項５０】
請求項３８に記載の画像認識方法であって、前記放出することは、画像を表示することを含むことを特徴とする画像認識方法。
【請求項５１】
請求項５０に記載の画像認識方法であって、前記表示された画像は、前記複数のセンサ素子が受け取った画像に対応することを特徴とする画像認識方法。
【請求項５２】
請求項５０に記載の画像認識方法であって、前記並列処理することは、パターンを認識することを含み、前記放出することは、前記認識されたパターンに従って、前記表示された画像を修正することをさらに含むことを特徴とする画像認識方法。
【請求項５３】
画像認識装置であって、
透明又は半透明の基板と、
前記基板の中に組み込まれ又は上に配置される複数の認知用センサであって、各センサは、
受光素子と、
前記受光素子に対応する訓練可能な認知記憶セルと
を有する認知用センサと、
前記基板の上に形成され又は中に組み込まれた複数の光学インターフェースであって、前記複数の認知用センサの対応する一つにそれぞれが光学的に結合される前記複数の光学インターフェースと、
前記複数の認知用センサのうち隣り合う認知用センサ同士の間に充填材を有する充填材層と、
前記充填材層上に位置し、光を放出するように構成された複数の発光素子とを備えること、
を特徴とする画像認識装置。
【請求項５４】
請求項５３に記載の画像認識装置であって、前記複数の発光素子は、赤の画素と、緑の画素と、青の画素とを有することを特徴とする画像認識装置。
【請求項５５】
画像認識方法であって、
透明又は半透明の基板の中に組み込まれ又は上に配置されるセンサ素子に、前記基板の中に組み込まれ又は上に配置される光学インターフェースを用いて光路を設け、
前記センサ素子に結合される、前記基板の中に組み込まれ又は上に配置される情報処理素子において、前記センサ素子が生成した信号を処理し、
前記基板の中に組み込まれ又は上に配置される発光素子から光を放出すること
を特徴とする画像認識方法。
【請求項５６】
請求項５５に記載の画像認識方法であって、前記放出することは、前記情報処理素子からの出力に従って、前記発光素子から放出された前記光を制御することを含むことを特徴とする画像認識方法。
【請求項５７】
請求項５５に記載の画像認識方法であって、前記処理することは、パターンを認識することを含み、前記放出することは、前記認識されたパターンに従って、前記複数の発光素子から放出された前記光を制御することを含むことを特徴とする画像認識方法。
【請求項５８】
請求項５７に記載の画像認識方法であって、前記パターンを認識することは、前記センサ素子の視野内に一又は複数の対象物があるかどうかを検知することを含むことを特徴とする画像認識方法。
【請求項５９】
請求項５８に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の前記基板からの距離を判定することを含むことを特徴とする画像認識方法。
【請求項６０】
請求項５８に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の個数を判定することを含むことを特徴とする画像認識方法。
【請求項６１】
請求項５８に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物の位置を特定することを含むことを特徴とする画像認識方法。
【請求項６２】
請求項５８に記載の画像認識方法であって、前記パターンを認識することは、前記一又は複数の検知された対象物のいずれかが正規の対象物であるかどうかを判定することを含むことを特徴とする画像認識方法。
【請求項６３】
請求項５７に記載の画像認識方法であって、前記パターンを認識することは、前記センサ素子の視野内に一又は複数の視聴者の視線位置を特定することと、同視野内に前記一又は複数の視聴者の前記視線を追跡することを含むことを特徴とする画像認識方法。
【請求項６４】
請求項５７に記載の画像認識方法であって、前記パターンを認識することは、顔認識、又は、表情認識を含むことを特徴とする画像認識方法。
【請求項６５】
請求項５７に記載の画像認識方法であって、前記パターンを認識することは、生体個人認証を含むことを特徴とする画像認識方法。
【請求項６６】
請求項５５に記載の画像認識方法であって、前記放出することは、画像を表示することを含むことを特徴とする画像認識方法。
【請求項６７】
請求項６６に記載の画像認識方法であって、前記表示された画像は、前記センサ素子が受け取った画像に対応することを特徴とする画像認識方法。
【請求項６８】
請求項６６に記載の画像認識方法であって、前記処理することは、パターンを認識することを含み、前記放出することは、前記認識されたパターンに従って、前記表示された画像を修正することをさらに含むことを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般の撮像装置及び方法に関する。本発明は、特に、発光素子を有し、かつ、ガラス又はプラスチック等の透明又は半透明の基板内に組み込まれた又は同基板上に位置する、画像認識用超小型装置、及び、画像認識方法に関する。
【０００２】
関連出願への相互参照
本出願は、２００５年６月３０日付けで出願した米国特許仮出願第６０／６９４，９８８に基づく優先権を主張する、２００６年６月３０日付けで出願した米国特許出願第１１／４７７，５７１の一部継続出願である、２０１０年９月１３日付で出願した米国特許出願第１２／８８０，９６４に基づく優先権を主張するものであり、これらの出願を本明細書に援用する。
【背景技術】
【０００３】
ガラス等の透明な面は数百年前から存在している。透明な面は、生活空間内にいる人が外界（景観、天候、潜在的な脅威）を認識できるようにしつつ、その生活空間を保護することを当初の目的としていた。最近、ディスプレイ業界では、ブラウン管（ＣＲＴ）にはじまり、最近では液晶ディスプレイ（ＬＣＤ）やその他様々なフラットパネルディスプレイに至る透明な面の需要が非常に高くなっている。使用時においては、大抵の場合、この透明な面の近傍に人や生物（動植物）が位置することになる。
【０００４】
ここ数十年では、イメージセンサ（例として、ＣＣＤセンサやＣＭＯセンサ）が使われるようになった。例えば、特許文献１の単一チップＣＭＯイメージセンサがあり、その内容は本明細書に援用されている。典型的なイメージセンサは、カメラの構造設計をベースとしており、通常はレンズの後に集積回路を備えており、このレンズは小型又は取り外し可能（例として、ねじ込み式マウントのレンズ）となっている。センサは、受光素子が受けた光量に比例して光エネルギー（光子）を電気信号に変換するために使われている。この受光素子は、センサ上にアレイ状に組まれている。この受光素子の出力から、画像が合成される。
【０００５】
画像認識技術に対する要求は増大しつつある。セキュリティ、個人認証、インテリジェンス、品質検査、交通流監視等での利用のために、様々な種類やブランドのビデオカメラが必要となっている。ビデオカメラは、表示装置に有線又は無線で接続されることが多い。今日の携帯電話は小型カメラ付きであるのが普通であり、このカメラは携帯電話の液晶表示装置に接続されている。
【０００６】
高度な画像認識では、高解像度の画像合成が求められる。現在の画像認識システムでは、処理能力の不足や、プロセッサが一度に１画素分の画像しか処理できないなどの理由で、動作は比較的低速である。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第６，６１７，５６５号
【発明の概要】
【発明が解決しようとする課題】
【０００８】
このように、先行技術を超える新たな画像認識装置が必要とされている。
【課題を解決するための手段】
【０００９】
本発明の目的は、画像認識装置であって、入射画像とセンシング領域の間に光学インターフェースを構成している透明又は半透明の材料の中に又は上に直接設けられた前記センシング領域（例えば受光素子）を有している画像認識装置を提供することである。この画像認識装置自体は、透明又は半透明であることが望ましい。
【００１０】
本発明のもう一つの目的は、訓練可能な情報処理素子のアレイにより「局所域」決定能力を持つセンシング領域を提供することである。本発明の一実施形態では、訓練可能な認知記憶素子又はセルが一又は複数の受光素子に対応付けられている。局所域決定能力により装置の伝送要件（例えば帯域幅）を低減するので、特に受光素子の個数が多い場合やこの受光素子の伝送周波数を高くしなければならない場合に有効である。それぞれが局所域決定能力を有するセンシング領域で大きなアレイを作れば、高解像度、高速な撮像装置が実現できる。
【００１１】
本発明の一実施形態によれば、訓練可能な認知記憶素子を並列に低い周波数で動作させ、消費される電流を極めて低くすることができる。それにより、各素子の自律的な動作が実現され、太陽電池又はその同等物等の極めて経済的なエネルギー源を使用することが可能になる。
【００１２】
本発明の一実施形態によれば、一又は複数の受光素子を、基板の中に組み込まれ又は上に配置される一又は複数の訓練可能な認知記憶素子と対応付けることにより、新規性を有する一体型画像認識装置を形成することができる。
【００１３】
本発明の一実施形態によれば、複数の訓練可能な認知用素子に対応付けられた複数の受光素子を、一又は複数のアレイに配置することができ、かつ、平らな透明又は半透明の基板に分散することができる。アレイは、様々な幾何学配列及び接続が可能である。典型的な幾何学配列としては、並列に並んだニューロンの線形アレイ、又は、ラスタ状に又はハニカム状に接続されたニューロンの二次元アレイであるが、これらに制限されない。
【００１４】
一態様において、本発明は、複数の認知用センサと、複数の光学インターフェースと、複数の発光素子とを有する画像認識装置を提供する。前記複数の認知用センサは、透明又は半透明の基板の中に組み込まれる又は上に配置される。このセンサは、それぞれ受光素子と、この受光素子に対応する訓練可能な認知記憶セルを有する。前記基板の中に組み込まれ又は上に形成されていた前記複数の光学インターフェースは、それぞれが、前記複数の認知用センサの対応する一つに光学的に結合されている。前記複数の発光素子は、前記基板上に位置し、発光するように構成されている。
【００１５】
実施形態によっては、前記複数の発光素子のうち一又は複数の発光素子による光出力は、前記複数の認知用センサのうちの一つ以上からの出力に従って制御されてもよい。前記複数の発光素子は幾何学的に配置されて、画像表示装置を形成してもよい。前記画像表示装置は、前記複数の認知用センサのうちの一つ以上の前記受光素子上で受光された光を表現する画像を表示するように構成されてもよい。前記認知用センサはそれぞれが訓練可能であってもよく、入射光に基づいてパターンを認識するように構成されてもよい。さらに、前記画像表示装置は、前記複数の認知用センサのうちの一つ以上に認識されたパターンに従って、画像を表示し、前記画像を修正するように構成されてもよい。前記複数の認知用センサには視野があってもよく、前記発光素子は前記視野内に光を放出するように構成されてもよい。前記発光素子は、前記視野の対象物が視認可能な画像を表示するように構成されてもよい。前記発光素子は、前記視野内の対象物に照明を提供し、前記視野内の前記対象物に画像を表示するように構成されてもよい。前記複数の認知用素子のうちの一つ以上は、入射光のパターンを認識するように構成されてもよく、前記認識されたパターンの機能として、前記照明を提供し、前記複数の発光素子のうちの一つ以上の画像を表示することを制御するように構成されてもよい。前記認知記憶セルはそれぞれ、画像の異なる部分を認識するように教化されてもよく、前記複数の認知記憶セルは、前記画像を認識するために集合的に動作するように構成されてもよい。前記認知記憶素子はそれぞれ、その入力側で多重入力バスにより結合され、その出力側で出力バスにより結合される複数のニューロンを有してもよい。ここで、前記ニューロンはそれぞれ、知識で教化され、前記知識は、前記対応するニューロンが信号を認識し決定を行うことを可能にする。前記複数の認知用センサは、ソフトウェアプログラムを用いずに、それぞれが自己完結型の自律行動をする複数の並列な素子により画像認識動作をデジタル的に行うように構成されてもよい。前記複数の発光素子のうちの幾つかは、発光ダイオード（ＬＥＤ）と、有機発光ダイオードと、プラズマキャビティとの中から選択される。
【００１６】
実施形態によっては、前記画像認識装置は、前記基板の中に組み込まれ又は上に配置される光起電力型装置を備えてもよい。前記光起電力型装置は、無線で供給された電力を受け取り、受け取った前記電力を前記複数の認知用センサと前記複数の発光素子に供給するように構成されてもよい。前記画像認識装置は、出力伝送線及び電源線であって、前記基板に直接刻みこまれ又はその上に拡散された出力伝送線及び電源線を備えてもよい。前記複数の認知用センサのそれぞれは、電源線から電力を受け取り、前記電源線を用いて通信を出力するように構成されてもよい。前記画像認識装置は、透明又は半透明のカバー層を備えてもよく、前記複数の認知用センサ及び前記複数の発光素子は、前記カバー層と前記基板の間に配置されてもよい。前記複数の発光素子のうちの一つ以上は、前記基板を通して光を放出するように構成されてもよい。前記複数の発光素子のうちの一つ以上は、前記カバー層を通して光を放出するように構成されてもよい。前記複数の発光素子及び前記複数の認知用センサは行列形式で配置されてもよく、前記複数の発光素子及び前記複数の認知用センサは、行において交互に配置され、列において交互に配置されてもよい。前記複数の発光素子及び前記複数の認知用センサは、前記複数の認知用センサのそれぞれが発光素子に囲まれるように配置されてもよい。前記複数の発光素子は、限定なく、赤の画素と、緑の画素と、青の画素とを有してもよい。
【００１７】
別の態様においては、本発明は、センサ素子と、前記センサ素子に結合された情報処理素子と、発光素子とを有する画像認識装置を提供する。前記センサ素子は、透明又は半透明の基板の中に組み込まれる又は上に配置される。前記情報処理素子は、前記基板の中に組み込まれ又は上に配置される。前記発光素子は、前記基板の中に組み込まれ又は上に配置される。前記透明又は半透明の基板は、入射した検知対象の画像と前記センサ素子のセンサ画素との間の光学インターフェースを構成する。前記発光素子は、入射した前記画像に向けて、又は、入射した前記画像から離れる方向に光を放出するように構成される。実施形態によっては、前記発光素子は、一又は複数の発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、プラズマキャビティのいずれかでよい。前記発光素子は、前記情報処理素子の出力により選択的に制御されるようにしてもよい。前記情報処理素子は、訓練可能であってよく、検知された前記入射画像に基づいてパターンを認識するように構成されてもよい。前記情報処理素子は、前記情報処理素子により認識された前記パターンに従って、前記発光素子から放出された前記光を制御するように構成されてもよい。前記センサ素子には視野があってもよく、前記発光素子は、前記視野内に光を放出するように構成されてもよい。前記センサ素子には視野があってもよく、前記発光素子は、前記視野から離れる方向に光を放出するように構成されてもよい。前記情報処理素子は、その入力側で多重入力バスにより結合され、その出力側で出力バスにより結合される複数のニューロンを備えてもよい。前記ニューロンはそれぞれ、知識で教化され、前記知識は、前記対応するニューロンが信号を認識し決定を行うことを可能にする。前記情報処理素子は、ソフトウェアプログラムに用いずに、それぞれが自己完結型の自律行動をする複数の並列な素子により、画像認識動作をデジタル的に行うように構成されてもよい。前記画像認識装置はさらに、前記基板の中に組み込まれ又は上に配置される光起電力型装置を備えてもよい。前記画像認識装置は、前記基板に直接刻みこまれ又はその上に拡散された出力伝送線及び電源線を備えてもよい。前記情報処理素子は、電源線から電力を受け取り、前記電源線を用いて通信を出力するように構成されてもよい。前記画像認識装置は、透明又は半透明のカバー層をさらに備えてもよく、前記センサ素子、前記情報処理素子及び前記発光素子は、前記カバー層と前記基板との間に配置されてもよい。前記発光素子は、前記基板を通して光を放出するように構成されてもよい。前記発光素子は、前記カバー層を通して光を放出するように構成されてもよい。
【００１８】
別の態様においては、本発明は、画像認識方法を提供する。この画像認識方法では、前記基板の中に組み込まれ又は上に設けられた複数の光学インターフェースを用いて、透明又は半透明の基板の中に組み込まれ又は上に設けられた複数のセンサ素子に光路を提供する。前記方法では、それぞれが前記センサ素子の一つに結合され、前記基板の中に組み込まれ又は上に設けられている複数の情報処理素子において、前記複数のセンサ素子が生成した信号を並列処理する。前記方法では、前記基板の中に組み込まれ又は上に設けられた複数の発光素子から光を放出する。
【００１９】
実施形態によっては、前記光を放出することは、前記複数の情報処理素子のうちの一つ以上からの出力に従って、前記複数の発光素子から放出された前記光を制御することを含んでもよい。前記処理することは、パターンを認識することを含んでもよく、前記放出することは、前記認識されたパターンに従って、前記複数の発光素子から放出された前記光を制御することを含んでもよい。前記パターンを認識することは、前記複数のセンサ素子の視野内に一又は複数の対象物があるかどうかを検知することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の前記基板からの距離を判定することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の個数を判定することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の位置を特定することを含んでもよい。前記制御することは、対象物の存在が検知されない場合に、複数の発光素子から光量を減少させた光を放出することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物のいずれかが正規の対象物であるかどうかを判定することを含んでもよい。前記パターンを認識することは、前記複数のセンサ素子の視野内に一又は複数の視聴者の視線位置を特定することと、同視野内で前記一又は複数の視聴者の視線を追跡することとを含んでもよい。前記パターンを認識することは、顔認識又は表情認識を含んでもよい。前記パターンを認識することは生体個人認証を含んでもよい。前記放出することは画像を表示することを含んでもよい。前記表示された画像は前記複数のセンサ素子が受け取った画像に対応してもよい。前記処理することはパターンを認識することを含んでもよく、前記放出することは、前記認識されたパターンに従って、前記表示された画像を修正することをさらに含んでもよい。
【００２０】
別の態様においては、本発明は、透明又は半透明の基板と、複数の認知用センサと、複数の光学インターフェースと、充填材層と、複数の発光素子とを有する画像認識装置を提供する。この複数の認知用センサは前記基板上に位置し、このセンサはそれぞれ受光素子とこの受光素子に対応する訓練可能な認知記憶セルを有する。前記複数の光学インターフェースは前記基板上に形成されており、この一つ一つは対応する認知用センサに光学的に結合されている。また、前記充填材層には、前記複数の認知用センサのうち隣り合う認知用センサ同士の間に充填材を有する。前記複数の発光素子は、前記充填材層上に位置し、それぞれが発光するように構成されている。実施形態によっては、この複数の発光素子は赤の画素、緑の画素及び青の画素を有する場合がある。
【００２１】
本発明の様々な実施形態のさらなる応用例及び利点を図面を参照して以下に記載する。
【００２２】
別の態様においては、本発明は、画像認識方法を提供する。この画像認識方法では、前記基板の中に組み込まれ又は上に設けられた光学インターフェースを用いて、透明又は半透明の基板の中に組み込まれ又は上に設けられたセンサ素子に光路を設ける。前記方法では、前記センサ素子に結合され、前記基板の中に組み込まれ又は上に設けられた情報処理素子において、前記センサ素子が生成した信号を処理する。前記方法では、前記基板の中に組み込まれ又は上に設けられた発光素子から光を放出する。
【００２３】
実施形態によっては、前記放出することは、前記情報処理素子からの出力に従って、前記発光素子から放出された前記光を制御することを含んでもよい。前記処理することは、パターンを認識することを含んでもよく、前記放出することは、前記認識されたパターンに従って、前記複数の発光素子から放出された前記光を制御することを含んでもよい。前記パターンを認識することは、前記センサ素子の視野内に一又は複数の対象物があるかどうかを検知することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の前記基板からの距離を判定することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の個数を判定することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物の位置を特定することを含んでもよい。前記パターンを認識することは、前記一又は複数の検知された対象物のいずれかが正規の対象物であるかどうかを判定することを含んでもよい。前記パターンを認識することは、前記センサ素子の視野内に一又は複数の視聴者の視線位置を特定することと、同視野内に前記一又は複数の視聴者の前記視線を追跡することを含んでもよい。前記パターンを認識することは、顔認識又は表情認識を含んでもよい。前記パターンを認識することは生体個人認証を含んでもよい。前記放出することは画像を表示することを含んでもよい。前記表示された画像は前記センサ素子が受け取った画像に対応してもよい。前記処理することはパターンを認識することを含み、前記放出することは、前記認識されたパターンに従って、前記表示された画像を修正することをさらに含む。
【図面の簡単な説明】
【００２４】
【図１】図１Ａ及び１Ｂはそれぞれ、本発明の一実施形態によるセンサのアレイの正面図及び上面図である。このセンサは、ガラス、プレキシガラス、その他透明プラスチック、又は、透明な基板上に設けられており、内部にエッチング法で形成されたレンズを有する。
【図２】図２は、本発明の一実施形態によるセンサのアレイの上面図である。このセンサは、ガラス、又は、プレクサス（ｐｌｅｘｕｓ）基板上に設けられており、その内部にエッチング法で形成されたレンズを有する。ＤＮＡ断片を検知する様子が示されている。
【図３】図３Ａ及び３Ｂはそれぞれ、本発明の一実施形態によるセンサのチップの側面図及び上面図である。
【図４】図４は、本発明の一実施形態によるセンサのブロック図である。
【図５】図５Ａは、本発明の一実施形態によるセンサアレイのブロック図である。図５Ｂは、本発明の一実施形態によるアレイのセンサ集合体（バンク）のブロック図である。
【図６】図６Ａ乃至６Ｃは、本発明の実施形態によるニューロンの構成を記載したものである。
【図７】図７は、本発明の一実施形態によるニューロンのブロック図である。
【図８】図８は、本発明の実施形態による画像認識装置の例示的な応用例を記載したものである。
【図９】図９は、本発明の実施形態による画像認識装置の例示的な応用例を記載したものである。
【図１０】図１０は、本発明の実施形態による画像認識装置の例示的な応用例を記載したものである。
【図１１】図１１は、本発明の実施形態による画像認識装置の例示的な応用例を記載したものである。
【図１２】図１２は、本発明の実施形態による画像認識装置の例示的な応用例を記載したものである。
【図１３】図１３Ａ乃至１３Ｄは、センサと発光素子が透明又は半透明の同一基板内又は同一基板上に設けられた実施形態を示している。
【図１４】図１４Ａ乃至１４Ｃは、透明又は半透明の同一基板内又は同一基板上に設けられたセンサと発光素子を有する、インテリジェント照明装置の一実施形態を記載したものである。
【図１５】図１５Ａ及び１５Ｂは、透明又は半透明の同一基板内又は同一基板上に設けられたセンサと発光素子を有する、インテリジェントディスプレイの一実施形態を記載したものである。
【発明を実施するための形態】
【００２５】
本発明は多様な形式でこれを実施することができる。本明細書では、本開示は本発明の本質を示す例として解釈すべきものであるという理解のもとで、説明的な実施形態の幾つかを記載している。この例は、本発明を本明細書に記載した特定の好ましい実施形態に限定することを意図していない。
【００２６】
本発明は、受光素子等のセンサ認識装置を備える撮像装置の一つであり、このセンサ認識装置は、訓練可能な認知用素子に接続されているか、結合されているか、対応付けられている。これらの受光素子と認知用素子のいずれも、化学的な方法やその他の方法で透明な基板の表面に設けられているか、又は、同表面内に組み込まれている。センシング領域を「局所域に関して」決定する能力を有する訓練可能な認知用素子に対応付けたものを、本明細書中では「認知センサ（Ｃｏｇｎｉｓｅｎｏｒ）」とする。訓練可能な認知用素子を、本明細書中では「認知素子（ＣｏｇｎｉＭｅｍ）」。センシング領域は、通常、一又は複数の受光素子より構成されるが、他のセンシング構成も考えられる。
【００２７】
本発明の実施形態によれば、認知センサは、入ってくる光のパターン（例えば画像や画像の一部）を認識し、この入ってきた光のパターンを処理して局所域決定をし、局所域決定の結果又は局所域決定が行われたことを示す情報を送信するように構成することができる。認知センサは、局所域決定能力（データ入力ロジック、「ニューロン」、決定出力ロジック）と、メモリバッファと、エネルギー的に自立するための太陽電池と、他の構成要素とを備えてもよいが、これらに限定されない。各認知センサは、並列に並べられた反応性連想学習メモリ（ＲＥＡＬＭ）を特徴とすることが望ましい。本発明の一実施形態によれば、認知素子は、コンピュータによる指示（デジタル・アナログいずれであるかを問わない）がなくても、パターン認識をすることができる。
【００２８】
認知素子は、一又は複数のニューロンであって、並列にアクセス可能でありかつ自身の内容に類似の入力パターンに反応できる連想メモリであるニューロンを備えうる。ニューロンは、近傍の他のニューロンの応答に基づいて自身の応答を補強することにより個別にも集合的にも反応可能である。この選択は、ニューロンに接続された抑制性／興奮性入力線を通して行われる。
【００２９】
認知素子のニューロンの内容は、「知識」を構成する。知識とは、静的に判別可能なデジタルシグネチャ（ｄｉｇｉｔａｌ  ｓｉｇｎａｔｕｒｅ）の集合である。知識は、動的（他のニューロンの反応によって更新される、又は、外部の知識ベースから適宜読み込まれる）と、静的（一度だけ読み込まれる）のいずれでもよい。しかし、コンピュータ無しで、学習プロセスによって知識が自動的に生成されるのが望ましい。同一基板上に設けられた認知素子についても、同一の知識、又は、別々の知識が利用できる。
【００３０】
認知素子は、単独で又は認知センサの一部として、これを基板の上に設け又は中に組み込む（又は結合する）ことができる。前者の場合、認知素子は、通常、受光素子から送信された画素データを認識することに専ら使用される。後者の場合、認知素子は他の認知素子を支援することに使用され得る。例えば、他の認知素子から送信された異なるデータタイプを認識すること（例えば多数の認知センサからの応答のパターンをまとめること）に使用され得る。
【００３１】
以下に掲げる特許及び公開済み出願には、認知素子及び認知センサに適用可能なニューロン及びニューラルネットワークの様々な態様が記載されており、これらの特許及び出願の全内容が本明細書に援用される。米国特許第５，６２１，８６３号−ニューロン回路、米国特許第５，７１７，８３２号−改良型ニューロン回路アーキテクチャ、米国特許第５，７０１，３９７号−空きニューロン回路の事前装着用回路、米国特許第５，７１０，８６９−ニューロン回路の直列接続用ディジー・チェーン回路、米国特許第５，７４０，３２６号−ニューラルネットワーク内のデータ検索・並べ替え用回路、米国特許第６，３３２，１３７号−独立ハードウェアを認識するための並列連想メモリ、米国特許第６，６０６，６１４号−単線式検索及び並べ替え、日本国特許出願特開平８−１７１５４３−ニューロン回路の直列接続用ディジー・チェーン回路、日本国特許出願特開平８−１７１５４２−新型読み込み回路、日本国特許出願特開平８−１７１５４１−集合回路（検索/並べ替え）、日本国特許出願特開平８−１７１５４０−ニューラルネットワーク及びニューロンチップ、日本国特許出願特開平８−０６９４４５−ニューロン回路アーキテクチャ、韓国特許出願第１６４９４３−革新的ニューロン回路アーキテクチャ、欧州特許第０６９４８５２号−革新的ニューロン回路アーキテクチャ、欧州特許第０６９４８５４−改良型ニューロン半導体チップアーキテクチャ、欧州特許第０６９４８５５−ニューラルネットワークの検索／並べ替え、欧州特許第０６９４８５３−認識段階における空きニューロン回路内入力ベクトル成分の事前装着用回路、欧州特許第０６９４８５６−ニューロン回路の直列接続用ディジー・チェーン回路、カナダ特許出願第２１４９４７８−改良型ニューロン回路アーキテクチャ、カナダ特許第２１４９４７９−改良型ニューロン半導体チップアーキテクチャ。
【００３２】
認知素子に実装されるニューロンの個数は、１からＮまで変えられる。Ｎの値は、ニューロンセルのアーキテクチャにより理論上は無限となっているが、現在のところ１０００程度である。一般に、Ｎの値は、適用の仕方により決まる。特に、認識対象のパターンの多様性及び伝達される決定の種類による。当業者ならば、単位面積当たりに設置可能なニューロンの個数を決めるのにシリコン技術が重要であることがわかるだろう。
【００３３】
本発明の一実施形態による画像認識装置の構成例が、図１Ａ及び図１Ｂに示されている。図１Ａは装置１００の上面図であり、装置１００は基板１０２を有し、この基板はガラス、プレキシガラス、透明プラスチック等の数種の透明又は半透明の素材から作成することができる。この基板１０２内に、一又は複数の認知センサ１０４が（この場合は、アレイとして）組み込まれてもよいし、この場合のように、基板１０２の表面に取り付けるか又は貼り付けるか、結合してもよい（図１Ｂ参照）。そして、この基板上の、各受光素子の前側に、光路をエッチング法で形成する、又は、設置することができる。例えば、各認知センサ１０４用のレンズ１０２ａを作成するために、それぞれの認知センサ１０４のある位置で基板１０２をエッチングしてもよい。又は、マイクロレンズ１０２ａを基板１０２に挿入してもよい（図２）し、基板１０２の受光素子の前側に当たる部分に貼り付けてもよい（図３Ａ及び図Ｂ）。他には、入射光を合焦できるように、基板の各センサに最も近い部分の反射率が変わるように基板を変えることもできる。図１Ｂに示すように、入射光は、基板レンズ１０２ａにより各認知センサ１０４に合焦される。
【００３４】
複数のレンズ１０２ａにより、認知センサ１０４は多様な視野（基板表面に相当する広さが望ましい）をカバーすることができるが、基板表面に相当する視野より狭い又は広い視野をカバーすることも可能である。マイクロレンズ１０２ａにより、認知センサ１０４のアレイは、無限の表面と視野を有するテレセントリック画像認識装置になる。
【００３５】
図２は、本発明の別の実施形態による一体型撮像装置の上面図である。図に示すように、レンズ１０２ａは基板１０２に組み込まれており、かつ、個々の認知センサ１０４上に位置する。この撮像装置の使用例として、ＤＮＡ断片２０２が基板１０２の表面上に置かれた状態が示されている。認知センサ１０４はそれぞれ、単独で又は隣接する認知センサ１０４と協働して特定のＤＮＡ断片を認識し、その断片が特定された場合は信号を出力するように構成することができる。
【００３６】
図３Ａ及び３Ｂは、個々の認知センサ１０４の実施形態を例示している。図３Ａに示すように、ニューロン１０４ａが集中する領域が画素センサ領域１０４ｂを囲んでいる。ニューロン領域１０４ａにあるニューロンは画素領域１０４ｂにあるセンサ素子と結合することができ、画素領域１０４ｂが検知したパターンを認識するように構成することができる。図３Ｂに示すように、凸レンズ又はマイクロレンズ１０２ａは、画素領域１０４ｂ上に入射光を合焦させるために、基板１０２の表面上の画素領域１０４ｂを覆うように配置され、又は中間基板なしでセンサに直接接続されている。レンズ１０２ａについては、例えば、周知の手段でこの基板上に化学的に設けてもよい。
【００３７】
図４は、本発明の一実施形態による典型的な認知センサ１０４の機能に関するブロック図である。認知センサ１０４は、センサ又はセンサ領域４０２と、データプレゼンテーションロジック４０４と、ニューラルネットワーク４０６と、局所域決定ロジック４０８とを有する。センサ４０２は、受光素子等のセンサ素子を一又は複数個備えることができる。データプレゼンテーションロジック４０４は、センサ領域４０２及びニューラルネットワーク４０６と結合されており、センサからニューロンへ出力されたデータを処理に合った態様で表現するように構成されている。ニューロン４０６は、知識により「教化」され、プレゼンテーションロジック４０４からニューロン４０６へ入力されたデータを処理することができ、さらにその処理したデータに基づいて決定を行う局所域決定ロジック４０８へ当該データを出力することができる。局所域決定ロジック４０８は、周知の各種方法にて他の認知センサ又は認知素子に結合することができる。したがって、認知センサ１０４を、アレイ状に配置したり、アレイをさらにアレイにした状態に配置したりしてもよい。
【００３８】
図５Ａ及び５Ｂは、認知センサのアレイの配置を示している。図５Ａに示すように、各認知センサ１０４はそれぞれ複数の認知センサ１０４に結合して、アレイ５０２を形成することができる。以下に記載するように、入力及び出力バスを使用して、センサを直列又は並列に結合してもよい。
【００３９】
図５Ｂに示すように、各アレイ５０２を、複数のアレイ５０２状に結合し、アレイの集合体（バンク）５０４を形成してもよい。認知センサ１０４のアレイのアレイにすることにより、極めて高性能の、つまり、解像度が高くかつ高速な認識装置が製造される。言い換えると、センサの個数を増やせば撮像装置の解像度を上げることができる。しかし、認知センサの個数が増えても、認知素子の形で堅牢な局所域決定能力を付与すれば撮像装置の処理速度は遅くはならない。また、アレイは様々な幾何学配列に組むことができること、本発明は正方形アレイに限定されないことが理解できるだろう。
【００４０】
上記のように、各ニューロンは、複数の入力に１−ｎ結合することができる。複数の入力は例えば多重入力でもよいが、それに限定されない。図６Ａは、複数の入力を有するニューロンを表示したものであり、図６Ｂはこれを簡略化したものである。これにより、図６Ｃの簡略化した並列アーキテクチャに示すように、入力バス６０２を用いてニューロンのアレイを構成する（図６Ｃにはバス６０２は記載されていない）。ニューロン４０６からの出力はそれぞれ、広域決定バス４０６に接続されている。
【００４１】
図７は、本発明の一実施形態による例示的なニューロンの機能ブロック図である。拡張制限のないネットワークとしてニューロンを組むのは、これらニューロンにデジタルベクトル又はデジタルシグネチャ（パターン）を学習させ、かつ、想起させるためである。デジタルシグネチャとは、ほとんどの場合、データ整理プロセスでコード化された光の強度の空間分布である。ニューロンは、図６Ｃに示すように並列に接続可能である。つまり、ニューロン入力は全て、その出力全てと同様に、並列に接続可能であることを意味する。
【００４２】
データ信号は、多重入力バス（不図示）からニューロン７００へ入力することができる。学習多重化装置７０２は、多重入力信号を分割し、入力データ信号をニューロン想起メモリ７０４と関連付けロジック素子７０６へ送信することができる。ニューロン想起メモリ７０４は、入力信号を処理し、処理した信号を関連付けロジック素子７０６へ出力する。関連付けロジック素子７０６は、類似因子決定素子７０６ａを備えている。
【００４３】
いずれのニューロンも、データプレゼンテーションロジック４０４で生成された放送伝達パターン（すなわちセンサデータのデジタルシグネチャを表現するベクトル）を受け取ることができる。放送伝達パターンは、センサが生成した瞬間の又は時間領域のデータを変形（データを整理）したものでもよい。
【００４４】
ニューロンは、休眠状態、学習準備（ＲＴＬ）状態、その後の完遂状態の、３つの時系列に連続した状態を取ることができる。ネットワークが飽和（すなわち全てのニューロンが完遂状態）している場合を除き、常に少なくとも１つのニューロンがＲＴＬ状態となっている。並列接続された全てのニューロンを鎖とみなす場合、このＲＴＬニューロンは鎖上の第１の位置から最終位置へ移動可能である。このような場合、ＲＴＬニューロンは、通常、完遂状態ニューロンの右側に位置し、休眠ニューロンは、このＲＴＬニューロンの右側に位置する。
【００４５】
ニューロンが休眠状態である時は、いかなる入力パターンにも反応しない。ＲＴＬニューロンでは、ユーザープロセスが学習することを決定した場合、入力パターンを学習するために、想起メモリへ入力パターンを読み込む。このときのＲＴＬニューロンは学習しつつ新しい知識を構築することに専念し、認識プロセスに関与しない。
【００４６】
学習プロセスでは、未知のパターンが発生しユーザーがそれを学習すると決定した場合に、新しい知識を創成する。この知識の追加は、ＲＴＬニューロンで行われる。新しい知識を創成するほかに、完遂状態ニューロンが入力パターンの特定を誤る（すなわち適切なカテゴリに関連付けることに失敗する）可能性があるので、完遂状態ニューロンはその類似領域を小さくし、分類時におけるさらなる誤りを避けるようにする。これにより、知識の修正、又は、「適応学習」が行われる。
【００４７】
光素子は、デジタル化された放射値を出力することができる。空間分布上の全てのこれらの値を組み合わせて、一つのパターンを形成する。このようなパターンは、時間領域において高度化し、パターンのストリームを生成することもできる。このパターンはデータ整理プロセスを経て、放射パターンのデジタルシグネチャ（ベクトル）が導出される。整理プロセスでは、以下に述べる「最小識別マトリックス」と呼ばれるものを超えることはできない。例えば、５×７のマトリックスの場合、ヨーロッパ言語の大文字を全て識別することはできるが、１６×１６のマトリックスを必要とする漢字を識別することはできない。
【００４８】
想起メモリ７０４に読み込まれたベクトルをカテゴリレジスタ７０９に保持されているカテゴリと対応付けることにより、完遂状態ニューロンは、ＲＴＬ状態であるときにパターンを学習する。入力パターンが完遂状態ニューロンに入力されると、想起メモリ７０４に保持されているベクトルに対するこのパターンの類似性を評価するために、学習多重化装置７０２は関連付けロジック７０６にこれを送信する。算出された類似性が類似因子７０６ａよりも少ないか等しいと判明した場合、ニューロンは興奮状態になり、その結果、興奮性／抑制性ロジック７１２を介して信号を送る。興奮性／抑制性ロジックの機能は、完遂状態の「発火」した（例：興奮状態）ニューロンのうち多数のニューロンが興奮状態になったときに広域アービトレーションを行うことと、最適の類似性を持たないこれらのニューロンを「抑制」することである。
【００４９】
＜対象領域＞
映像フレームについて、各認知センサを対象領域（ＲＯＩ）に対応付けることができる。各認知センサは、ＲＯＩのシグネチャを展開し、そのニューロンへ（学習又は認識のために）放送伝達することができる。ＲＯＩシグネチャは、一連のＮ個の値（Ｎはニューロンの記憶セルの大きさ）に収まるように減らされた画素値の圧縮形式である。
【００５０】
ニューロンの記憶容量が２５６バイトである例を取り上げてみよう。認知センサは、Ｎ×Ｍ個の画素よりなる矩形状のＲＯＩを分類する。ＲＯＩシグネチャは、例えば簡単なブロック圧縮で、Ｎ×Ｍ個の値から２５６個の値に減らされる。
【００５１】
認知センサは、あらゆる形状のＲＯＩを処理するように構成することができ、シグネチャ展開の選択は、特定の応用（例：部分検査、表面検査、顔認識、目標追跡等）に特化することもできる。シグネチャ展開によっては、時間、反復性等を組み込むことができる。また、ニューロンに８ビットより大きい記憶セルを装備して、１２ビット画素以上の解像度を持つセンサからの入力を格納させることもできる。
【００５２】
ニューロンをセンサとデータプレゼンテーションロジックに組み合わせることにより、学習プロセス及び認識プロセスのいずれにもソフトウェアを必要としない、組み込み画像認識における全く新しい手法が成立する。
【００５３】
認知素子のアドレス指定は、パススルー（ｐａｓｓ−ｔｈｒｏｕｇｈ）又は選択的（他の認知素子ユニットの応答により決まるなど）にすることができる。
【００５４】
なお、認知センサが設けられた基板は、機械的な支持部材とレンズ（例として、図１及び２参照）の両方の役割を果たす。この基板は、硬質・柔軟、平面・曲面、ガラス・プレキシガラス・プラスチック・マイラー・その他の表面、いずれでもよいが、これらに限定されない。
【００５５】
同一基板上における認知センサと認知素子ユニット間の接続は、最小限の配線を使用することが好ましい。
【００５６】
認知センサに読み込まれた知識は、関連性の有無を問わず、異なるパターン群の認識をアドレス指定できることが好ましい。
【００５７】
＜実施例＞
本発明の一実施形態によれば、認知センサは自動化された製造工程で検査を行うのに最適である。図８に示すように、飲料ボトルの検査に一又は複数の認知センサを使用してもよいだろう。この例では、３つの異なる認知センサが、エキスパート１〜３の参照符号が付けられた３つの異なる区域を検査するのに使われている。広域応答については、この３つの「専任の（エキスパート）」認知センサからの応答の組合せによって決まるようにすることができる。
【００５８】
この実施例では、認知センサ１（エキスパート１）を訓練し、飲料ボトルの蓋８０２のＲＯＩのシグネチャを分類させることができる。認知センサ１のＲＯＩは、「良」又は「不良」の２つのカテゴリに分類することができる。「不良」カテゴリについては、いくつかの条件を組み合わせてもよい。例えば、蓋がないか、又は、蓋が適切に締められいない等である。
【００５９】
同様に、認知センサ２（エキスパート２）に、飲料ボトル８０４内の液体の充填ラインが交差するＲＯＩのシグネチャを学習させることができる。このＲＯＩは鉛直方向に細長い長方形とすることができ、飲料ボトルの可能な充填高さの最低高さと最高高さをカバーするのが理想的である。製造者の品質管理基準に応じて、認知センサ２のＲＯＩを任意の数のカテゴリに分類できる。例えば、「可」及び「不可」よりなるカテゴリ、「高過ぎ」・「可」・「低過ぎ」よりなるカテゴリ、「高過ぎ」・「高いが可」・「適正範囲」・「低いが可」・「低過ぎ」よりなるカテゴリ等である。
【００６０】
認知センサ３（エキスパート３）に、ラベル領域８０６をカバーするＲＯＩのシグネチャを学習させることができる。認知センサ３を訓練し、様々な事例や事例の組合せを認識させることができる。例えば、「ラベルなし」、「ラベル破損」（裂け・傷・折れ）、「ラベル位置ずれ」（上下逆さま、斜め）、「良好」等である。
【００６１】
認知センサ１〜３からの出力を、この自動化された製造工程に対応付けられたコントローラに渡し、これによりなされた決定に基づく適切な動作をさせることができる。
【００６２】
本発明の一実施形態によれば、認知センサを個々に搭載して、スマートフォトセルやスマートマイクロレンズとすることができる。このような装置を応用している技術は多岐にわたっており、例えば、機械化された組立工程における移動部分の検出、経路の特定、移動部分の経路設定（図９Ａ）、カメラ付き携帯電話等における生体個人認証（図９Ｂ）、ドアスコープ等での来訪者の検知や人物特定（図９Ｃ）に使用することができる。
【００６３】
本発明の別の実施形態では、運転者意識検知システムとなる。図１０に示すように、一又は複数の認知センサ１０４を、フロントガラスや、ダッシュボードのフラットパネルディスプレイや、自動車等のヘッドライトに組み込むことができる。また、認知センサ１０４が、運転者が注意力のない状態である（例えば運転者が居眠りしている）ことを示すパターンを認識して、信号を出力して警告を発するように、認知センサ１０４を教化することができる。このようなパターンには、視線追跡、顔認識、表情認識等が挙げられる。また、認知センサ１０４がフロントガラス又はヘッドライトに搭載されている場合は、認知センサ１０４を教化して当該車両の外部にある対象物や起こっているイベントを認識させることができるだろう。例えば、フロントガラスのワイパー装置で雨滴を検知したり、道路障害物警告システムで道路障害物を判別したりすることが挙げられる。
【００６４】
視野の遠方又は近傍にランダムに現れる対象物の検出については、いくつかの方法がある。例えば、２つ又は３つのセンサが、それぞれ異なる距離で合焦するレンズを持たせてもよい。これらのセンサに同一の知識を読み込ませた上で、大きさの異なるＲＯＩで動作させてもよい。少なくとも１つセンサが対象物を認識すれば、認識システムの広域応答は「有り」と見なすことができる。
【００６５】
また、近赤外線、赤外線、カラーフィルターを通した光などの異なる波長を感知する入力センサを用いて、認知センサを設計することができる。このような認知センサは、ある対象物や情景に対して異なる画素値を生成する。ただし、認知センサを訓練して、それぞれのビデオ画像において対象物のカテゴリを認識させることができる。目標物の追跡においては、近赤外線認知センサと赤外線認知センサを組み合わせることにより、一日中目標物を認識することが可能になる。
【００６６】
本発明の別の実施形態によれば、認知センサのアレイは、他にも、製造工程における様々な応用が可能である。例えば、図１１Ａに示すように、製造工程におけるグラスフロート（ｇｌａｓｓ  ｆｌｏａｔ）１１０３の検査で、認知センサ１１０２の一次元のアレイを利用することができる。また、図１１Ｂに示すように、飲料ボトル等の容器１１０５の底部で混入物を検出するのに、認知センサ１１０４の二次元のアレイを利用することができる。このような応用例では、各認知センサを教化して、ガラスの傷や液体の混入物を示すパターンを特定させることができる。
【００６７】
本発明の別の実施形態によれば、認知センサをガラス面等に分散して配置し、独立した複数の機能を持たせることができる。認知センサをグループ分けし、グループ毎に異なる知識を教化可能である。一例として、図１２にガラス製のスライド式ドア１２０２が示してあるが、これにはサイズが異なる対象物の接近を検知する認知センサ１２０４のグループが設けられている。第１のグループは第１のサイズ１２０８に該当する人や動物（例：犬）、第２のグループは異なるサイズの人物（例えば少年）１２１０、第３のグループはさらに異なるサイズの人物（例えば成人）１２１２等を認識するための知識で教化することができる。各グループ１２０４は、スライド式ドアを制御するために、一又は複数の認知素子１２０６に結合することができる。
【００６８】
本発明の別の実施形態によれば、図１３Ａ乃至１３Ｄに示すように、一又は複数の発光素子１３０１が、同一基板１０２の中に組み込まれ又は上に配置されうる。基板１０２には、一又は複数の認知センサ１０４がその中に組み込まれ又はその上に配置されている。認知センサ１０４には視野があり、認知センサ１０４に入射した光をこの視野から受光する。発光素子１３０１は、少なくとも一又は複数の認知センサ１０４の視野内に光を放出するように構成（例えば基板１０２を通して光を放出するように構成）されてもよい。あるいは、発光素子１３０１は、少なくとも一又は複数の認知センサ１０４の視野外に光を放出するように構成（例えば基板１０２から離れる方向に光を放出するように構成）されてもよい。実施形態によっては、一又は複数の発光素子１３０１を、基板１０２の一方の側に向かって光を放出するように構成されてもよい。又は、一又は複数の別の発光素子１３０１が基板１０２の他方の側に向かって光を放出するようにしてもよい。
【００６９】
一又は複数の発光素子１３０１は、限定なく、発光ダイオード（ＬＥＤ）、有機発光ダイオード（ＯＬＥＤ）、プラズマキャビティ、又は、その他適切な電気的又は化学的に発光する光源であってもよい。一又は複数の発光素子１３０１を動作させ、所定の強度、色、又は、その両方を有する光を放出してもよい。ある一又は複数の発光素子１３０１の強度や色は、他の一又は複数の発光素子１３０１が放出する光の強度や色と異なってもよい。さらに、放出した光の強度、色、又は、その両方が調節可能又は制御可能であるように、一又は複数の発光素子１３０１を構成されてもよい。認知センサ１０４及び発光素子１３０１を１つずつだけ基板１０２の中に組み込み又は上に配置してもよい。しかし、複数の認知センサ１０４若しくは複数の発光素子１３０１又はその両方を、基板１０２の中に組み込み又は上に配置することもできる。複数の認知センサ１０４若しくは複数の発光素子１３０１又はその両方を使用する場合は、基板１０２上に発光素子１３０１及び認知センサ１０４のアレイを形成することができ、発光素子１３０１の個数は、認知センサ１０４の個数に対応してもよく、対応しなくてもよい。例えば、認知センサ１０４それぞれ一つにつき発光素子１３０１が複数個あってもよい。また、前記一又は複数の発光素子１３０１が光源となったり、画像を表示したりするように構成されてもよい。
【００７０】
上に記載し、図３Ａ及び３Ｂに示したように、一又は複数の認知センサ１０４はそれぞれ、画素領域１０４ｂ及びニューロン領域１０４ａを備えてもよい。画素領域１０４ｂでは、当該認知センサ１０４の視野から画素領域１０４ｂに入射した光を受光してもよく、ニューロン領域１０４ａについては、そのニューロンが画素領域１０４ｂで受光した前記光のパターンを検知し認識するように構成されてもよい。一又は複数の発光素子１３０１はそれぞれ、一又は複数の認知センサ１０４に接続され、一又は複数の認知センサ１０４の出力に従って制御されてもよい。よって、一又は複数の発光素子１３０１はそれぞれ、一又は複数の認知センサ１０４で認識されたパターンに従って制御されてもよい。例えば、一又は複数の認知センサ１０４に発光素子１３０１を制御させ、インテリジェント照明やインテリジェントディスプレイを提供してもよい。
【００７１】
基板１０２の中に組み込まれ又は上に配置された認知センサ１０４及び発光素子１３０１のアレイが図１３Ａに示されている。この実施形態では、認知センサ１０４及び発光素子１３０１は、認知センサ１０４と発光素子１３０１が交互に並んだ行列形式で配列されている。また、認知センサ１０４と発光素子１３０１が行においても列においても交互に並んでいるので、一又は複数の認知センサ１０４はその四方で、発光素子１３０１と隣り合っている。同様に、一又は複数の発光素子１３０１はその四方で、認知センサ１０４と隣り合っている。別の実施形態では、認知センサ１０４と発光素子１３０１を、認知センサ１０４又は発光素子１３０１のみの行又は列が交互に並んだ行列形式で配列してもよい。このような実施形態では、発光素子１３０１及び認知センサ１０４が１対１の比で存在している。また、各認知センサ１０４に、隣り合う発光素子１３０１の強度若しくは色又はその両方を制御させてもよく、隣り合っていない発光素子１３０１の強度若しくは色又はその両方を制御させてもよく、又は、位置を問わず発光素子１３０１の強度若しくは色又はその両方を制御させてもよい。
【００７２】
本発明の別の実施形態による基板１０２の中に組み込まれ又は上に配置された認知センサ１０４及び発光素子１３０１のアレイが図１３Ｂに示されている。この実施形態では、一又は複数の認知センサ１０４を基板１０２の中に組み込み又は上に配置することができる。各認知センサ１０４は複数の発光素子１３０１に囲まれている。例えば、図１３Ｂに示すように、各認知センサ１０４は１２個の発光素子１３０１に囲まれてもよい。ただし、これ以外の個数比でもよい。例えば、各認知センサ１０４は８個の発光素子１３０１に囲まれてもよい。発光素子１３０１は各認知センサ１０４の周りに一重の輪を形成しているが、各認知センサ１０４の周りに発光素子１３０１のさらなる一又は複数の輪を形成してもよい。また、各認知センサ１０４に、自身を取り囲む発光素子１３０１の強度若しくは色又はその両方を制御させてもよく、他の認知センサ１０４を取り囲む発光素子の強度若しくは色又はその両方を制御させてもよく、又は、両方の発光素子の強度若しくは色又はその両方を制御させてもよい。
【００７３】
図１３Ｃは、透明又は半透明の基板１０２の中に組み込まれ又は上に配置された認知センサ１０４及び発光素子１３０１の断面を示している。この実施形態では、発光素子１３０１は、基板１０２の認知センサ１０４に入射した光を受光する側に、光を発する。したがって、発光素子１３０１は、一又は複数の認知センサ１０４の視野へ、基板１０２を通して光を放出するように構成されてもよい。図に示すように、複数のレンズ１０２ａが基板１０２の中に組み込まれ又は上に配置されている。各レンズ１０２ａは、認知センサ１０４及び発光素子１３０１のいずれかに対する光路となっている。レンズ１０２ａは、図１Ｂ、図２及び図３Ｂに関連して上述したいずれかの態様で形成してもよい。また、図１３Ｃに示すように、認知センサ１０４と発光素子１３０１とは交互に配置してもよく、この交互に配された認知センサ１０４と発光素子１３０１との間に充填材層１３１０の充填材を配置することができる。充填材層１３１０は、基板１０２に直接刻みこまれ又はその上に拡散された導線を備えてもよい。導線は、認知センサ１０４に対して若しくは認知センサ１０４から又はその両方に、発光素子１３０１に対して若しくは発光素子１０３１から又はその両方に、電源を供給し若しくは信号を伝送し又はその両方を行うように構成されている。又は、一又は複数の認知センサ１０４若しくは一又は複数の発光素子１３０１、又はその両方が、透明な又は不透明な線で互いに接続されてもよい。さらに、基板１０２の認知センサ１０４と発光素子１３０１とは反対の側にカバー層１３１１を配置してもよい。基板１０２と同様に、カバー層１３１１も透明又は半透明いずれでもよく、ガラス、プレキシガラス又は透明プラスチックで形成することができる。
【００７４】
図１３Ｄは、透明又は半透明の基板１０２の中に組み込まれ又は上に配置された認知センサ１０４及び発光素子１３０１の断面を示している。これは、発光素子１３０１が、基板１０２の認知センサ１０４に入射した光を受光する側とは反対側に光を放出する実施形態によるものである。したがって、発光素子１３０１は例えば、基板１０２を通す代わりに、カバー層１３１１を通して光を放出してもよい。図１３Ｄに示すように、複数のレンズ１０２ａを、基板１０２及びカバー層１３１１の中に組み込み又は上に配置することができる。基板１０２の中に組み込まれ又は上に配置されたレンズ１０２ａはそれぞれ、認知センサ１０４に対する光路となっている。カバー層１３１１内に組み込まれた又は同カバー層１３１１上に位置するレンズ１０２ａはそれぞれ、発光素子１３０１に対する光路となっている。また、前述の態様のいずれかのようにレンズ１０２ａを基板１０２の中に組み込み又は上に配置したレンズ１０２ａを、カバー層１３１１の中に組み込み又は上に配置してもよい。
【００７５】
図１３Ｃに示す発光素子１３０１はすべて、基板１０２を通して光を放出するように構成されており、図１３Ｄに示す発光素子１３０１はすべて、カバー層１３１１を通して光を放出するように構成されている。しかしながら、実施形態によっては、一又は複数の発光素子１３０１が基板１０２を通して光を放出するように構成し、それ以外の発光素子がカバー層１３１１を通して光を放出するように構成することもできる。
【００７６】
動作時において、一又は複数の認知センサ１０４の出力を、一又は複数の発光素子１３０１を制御するために使用してもよい。上記のように、一又は複数の認知センサ１０４を、認知センサ１０４の画素領域１０４ｂに入射した光のパターンを検知し認識するために使用することができる。したがって、一又は複数の認知センサ１０４を訓練し、認知センサの視野内に一又は複数の対象物があるかどうかを検知させたり、視野における対象物の個数を数えさせたり、一又は複数の検知された対象物と基板１０２又は認知センサ１０４との間の距離を（例えば立体視により）判定させたり、一又は複数の検知された対象物の位置を判定させたり、一又は複数の検知された対象物が正規の対象物であるかどうかを判定させたり、視野内にある顔を認識させたり、前記認識された顔の表情を認識させたり、同視野内に一又は複数の視聴者の視線位置を特定させたり、同視野内で一又は複数の視聴者の視線を追跡させたり、生体個人認証を行わせたり、これらを組み合わせて行わせることができる。さらに、未知の対象物を検知した場合に、一又は複数の認知センサ１０４に一又は複数の発光素子１３０１を制御させてもよい。本明細書に網羅的に記載はしていないが、当業者に周知の、他の方式のパターン認識も同様に可能である。
【００７７】
一又は複数の認知センサ１０４に認識されたパターンを、一又は複数の発光素子１３０１のそれぞれを選択的かつ個別に制御するために使用してもよい。一又は複数の発光素子１３０１の選択的制御の例として、一又は複数の発光素子１３０１のオン・オフ、一又は複数の発光素子１３０１が発する光の強度の調節、一又は複数の発光素子１３０１が発する光の色の調節・変更等が挙げられる。
【００７８】
さらに、基板１０２上又は同基板内に複数の認知センサ１０４を分散配置できるので、これらの認知センサ１０４では広いセンシング領域を確保するのに広角レンズを必要としない。したがって、認知センサ１０４は、対象物が基板１０２の極めて近傍に位置する場合であっても、当該対象物を検知し認識することができる。
【００７９】
図１４Ａ乃至１４Ｃは、インテリジェント照明装置１４００における発光素子１３０１と認知センサ１０４の構成例を示している。図１乃至図７で示された実施形態のように、インテリジェント照明装置１４００は透明又は半透明の基板１０２を有しており、一又は複数の認知センサ１０４が、基板１０２の中に組み込まれ又は上に配置されている。さらに、一又は複数の発光素子１３０１を基板１０２の中に組み込み又は上に配置することができる。実施形態によっては、カバー層１３１１をこの一又は複数の認知センサ１０４と一又は複数の発光素子１３０１の背後に設けてもよく、また充填材層１３１０を基板１０２とカバー層１３１１の間に設けてもよい。一又は複数の認知センサ１０４と一又は複数の発光素子１３０１とが同一基板１０２の中又は上にあることにより、このインテリジェント照明装置を小型化・薄型化することができる。
【００８０】
図１４Ａに示すように、基板１０２の上に又は中において、認知センサ１０４と発光素子１３０１とがアレイを形成することもできる。図１４Ａには、認知センサ１０４と発光素子１３０１とを組み合わせたものを基板１０２の中又は上に配列している具体例が示されているが、その他にも様々な配置が可能である。例えば、認知センサ１０４と発光素子１３０１を基板１０２上に一様に分散させて配置したり、小集団を作って配置したり、周辺部に配置したり、中央部に配置したりでき、かつ、これらを組み合わせて行うこともできる。
【００８１】
図１４Ｂはインテリジェント照明装置１４００の断面を示しており、図１４Ｃはこの図１４Ｂの断面図の一部の拡大図である。この部分には、１つの認知センサ１０４と複数の発光素子１３０１がある。発光素子１３０１が認知センサ１０４の一方の側に配置されている場合の具体的な構成例が示されているが、それ以外の構成も可能である。例えば、発光素子１３０１が認知センサ１０４を全方向から囲み、これらの発光素子１３０１が、正方形状、長方形状、円形状若しくは楕円形状、又はこれらを組み合わせた形状で、認知センサ１０４を取り囲んでもよく、又は、認知センサ１０４と発光素子１３０１とを交互に配置してもよい。又は、認知センサ一つ及び発光素子１３０１一つのみ、又はいずれか一方のみを配置してもよい。さらに、図５Ａに示すように認知センサ１０４は認知センサのアレイを含んでもよいし、図５Ｃに示すように認知センサのアレイのアレイを含んでもよい。図１４Ｂに示すように、インテリジェント照明装置１４００はまた、基板１０２とカバー層１３１１との間に充填材層１３１０を含んでもよい。充填材層１３１０は、基板１０２に直接刻みこまれ又はその上拡散された導線を備えてもよい。この導線は、一又は複数の認知センサ１０４に対して若しくは一又は複数の認知センサ１０４から又はその双方向に、一又は複数の発光素子１３０１に対して若しくは一又は複数の発光素子１３０１から又はその双方向に、電源を供給し若しくは信号を伝送し又はその両方を行うように構成されている。
【００８２】
図１４Ｃに示すように、認知センサ１０４が透明又は半透明の基板１０２を通して送出された光を受けてもよく、発光素子１３０１が基板１０２を通して光を発してもよい。又は、その代わりに、一又は複数の発光素子１３０１がカバーガラス１３１１を通して光を発してもよい。
【００８３】
動作時において、インテリジェント照明装置１４００に、認知センサ１０４の視野内で検知されたパターンに基づいて、発光素子から放出される光を制御させてもよい。例えば、その視野内に一人又は複数の人が存在することを認知センサ１０４が検知した場合、当該認知センサ１０４に応答して、インテリジェント照明装置１４００を点けたり、一又は複数の発光素子１３０１が発する光の強度を上げたりしてもよい。同様に、その視野内が無人であることを認知センサ１０４が検知した場合、当該認知センサ１０４に応答して、インテリジェント照明装置１４００を消したり、一又は複数の発光素子１３０１を暗くしたり（例えば発する光の強度を減少させる）してもよい。
【００８４】
一又は複数の発光素子を、インテリジェント照明装置１４００に認識された行動に応答して制御してもよい。例えば、インテリジェント照明装置１４００に人が本を開く行動を認識させて、それに応答して、本に向けて光の強度を上げてもよい。また、その視野内の一人又は複数の人がベッドに横たわったことを一又は複数の認知センサ１０４が認識した場合に、当該一又は複数の認知センサ１０４に応答して、インテリジェント照明装置を消したり、一又は複数の発光素子１３０１を暗くしたりしてもよい。また、インテリジェント照明装置１４００の一又は複数の認知センサ１０４が、一人又は複数の人が倒れているのを認識するように訓練されている場合、このインテリジェント照明装置に一又は複数の発光素子１３０１が発する光の色を変化させる（例えば発する光の色を赤に変える）こともできるだろう。
【００８５】
また、このようなパターン認識の結果を、インテリジェント照明装置１４００から外部へ送信してもよい。インテリジェント照明装置１４００が、人が倒れていることを認識した場合に、このインテリジェント照明装置に救急通報を行わせてもよい。宿泊施設などでは、一又は複数の発光素子１３０１を暗くしたり消したりすることの他に、インテリジェント照明装置１４００に、フロントや清掃担当のスタッフへ部屋が無人になったことを通知させてもよい。また、利用者がそこからいなくなった場合に、インテリジェント照明装置１４００が扇風機や冷暖房装置等に信号を送って、停止させることもできるだろう。
【００８６】
刑務所等では、インテリジェント照明装置１４００に、房内の収容者数を認識・出力させるために使用することもできる。また、インテリジェント照明装置１４００に、争闘が起こっていることや、収容者が医療的な処置を必要としていることを認識させるために使用することもできる。房の収容者数が既定の数と一致しない場合、争闘が起こっている場合、医療的な処置が必要な者がいる場合に、インテリジェント照明装置１４００に警報を鳴らさせたり、一又は複数の発光素子１３０１が発する光の色を変化させたり、刑務所職員に知らせたりすることもできるだろう。
【００８７】
さらには、インテリジェント照明装置１４００はその場でパターン認識を行うので、静止画像又は動画を転送する必要がない。つまり、インテリジェント照明装置１４００は、プライバシーを侵害することなく行動の認識を行う。
【００８８】
温室や他の建物の窓ガラスでも、インテリジェント照明装置１４００を使用することができる。一又は複数の認知センサ１０４に建物の外の光の量を検知させて、一又は複数の発光素子１３０１を制御してもよい。例えば、温室では、曇りの日には一又は複数の発光素子１３０１を点灯して灯りを追加し、晴天の日には一又は複数の発光素子１３０１を消灯しておくように、インテリジェント照明装置１４００を使用することもできる。また、インテリジェント照明装置１４００を、建物の天井や壁面で窓として使用することもできる。例えば、窓として使用する場合、一又は複数の認知センサ１０４が一定量以上の光を受けると、インテリジェント照明装置１４００は単に透明又は半透明の窓となってもよく、一方、一又は複数の認知センサ１０４が受けた光が一定量未満であるとき、インテリジェント照明装置１４００は点灯してもよい。これらの実施形態のインテリジェント照明装置１４００では、発光素子１３０１と認知センサ１０４による図１３Ｄに示す構成を使用する。
【００８９】
図１５Ａ及び１５Ｂは、インテリジェントディスプレイ１５００における一又は複数の発光素子１３０１及び一又は複数の認知センサ１０４の構成例を示している。図１乃至図７に示された実施形態にように、インテリジェントディスプレイ１５００は透明又は半透明の基板１０２を有しており、一又は複数の認知センサ１０４が、基板１０２の中に組み込まれ又は上に配置されている。さらに、一又は複数の発光素子１３０１が基板１０２の中に組み込まれ又は上に配置されている。発光素子１３０１は、幾何学的に配置されており、画像を形成するように構成されている。形成された画像は、一又は複数の認知センサ１０４の視野内の対象物に表示することもできる。表示された画像は、一続きの画像（例えば動画）であってもよい。インテリジェントディスプレイ１５００は、表示対象の画像を受信したり、パターン認識情報を送信したりできる入出力装置を有してもよい。入出力装置は、無線で信号の送受信を行ってもよい。この例でも、一又は複数の認知センサ１０４と発光素子１３０１が同一基板１０２の中又は上にあるので、インテリジェントディスプレイ１５００を小型化・薄型化することができる。また、複数の認知センサ１０４をディスプレイ全面に亘って分散配置することができるので、これら認知センサ１０４のセンシング領域を広くすることができる。よって、対象物が当該ディスプレイ１５００の基板１０２の極めて近傍にいる場合でも、パターンを検知し認識することができる。
【００９０】
インテリジェントディスプレイ１５００の一実施形態による、基板１０２の中に組み込まれ又は上に配置されることが可能な、認知センサ１０４及び発光素子１３０１について、そのアレイが図１５Ａに示されている。この実施形態では、認知センサ１０４及び発光素子１３０１が、認知センサ１０４の行と発光素子１３０１の行が交互に並ぶように配列されている。この実施形態では、画素１３０１ａ−１３０１ｃが発光素子１３０１として使用され、各画素は異なる色の光を出すことができる。例えば、発光素子１３０１には、赤の画素１３０１ａと、緑の画素１３０１ｂと、青の画素１３０１ｃがある。赤の画素１３０１ａは赤い光を出すことができ、緑の画素１３０１ｂは緑の光を出すことができ、青の画素１３０１ｃは青い光を出すことができる。各認知センサ１０４に、一又は複数の赤の画素１３０１ａと、一又は複数の緑の画素１３０１ｂと、一又は複数の青の画素１３０１ｃとの組を一又は複数個制御させてもよい。そうすれば、これらを合わせたときに、生成できる色の範囲を広くできる。また、各認知センサ１０４に、隣り合う画素１３０１ａ−１３０１ｃの強度若しくは色又はその両方を制御させてもよく、若しくは、隣り合わない画素１３０１ａ−１３０１ｃの強度若しくは色又はその両方を制御させてもよく、又は、その両方を制御させてもよい。
【００９１】
インテリジェントディスプレイ１５００の本発明の別の実施形態による、基板１０２の中に組み込まれ又は上に配置されることが可能な認知センサ１０４及び発光素子１３０１について、そのアレイが図１５Ｂに示されている。この実施形態では、赤の画素１３０１ａと緑の画素１３０１ｂと青の画素１３０１ｃとが発光素子１３０１として使用される。認知センサ１０４は、透明又は半透明の基板１０２の中に組み込まれ又は上に配置される。基板１０２の中に組み込まれ又は上に配置されたレンズ１０２ａは、認知センサ１０４に対する光路を提供することができる。充填材層１３１０の充填材は、認知センサ１０４同士の間に配置することができる。画素１３０１ａ−１３０１ｃは、充填材層１３１０の基板１０２とは反対側に配置することができる。画素１３０１ａ−１３０１ｃは、基板１０２から離れる向きに光を放出するように構成することができる。画素１３０１ａ−１３０１ｃと認知センサ１０４がこのカバー層と基板１０２の間にくるように、透明又は半透明のカバー層で画素１３０１ａ−１３０１ｃを覆うことができる。
【００９２】
発光素子１３０１と認知センサ１０４の配置の具体例を図１５に示しているが、当業者も理解できるようにその他にも様々な配置が可能である。例えば、画素１３０１ａ−１３０１ｃが、各認知センサ１０４の周りに三角形を形成してもよい。また、一つ一つの認知センサ１０４に対して、画素１３０１ａ−１３０１ｃの組を複数配してもよい。
【００９３】
動作時において、インテリジェントディスプレイ１５００は、一又は複数の認知センサ１０４の視野内で検知されたパターンに基づいて、発光素子から発光される光を制御することができる。例えば、一又は複数の認知センサ１０４の視野内にいる一又は複数の視聴者の一又は複数の特徴（例えば性別、身長、体重、年齢）をインテリジェントディスプレイ１５００に認識させてもよいし、この特徴を適合したターゲット広告を表示するために使用してもよい。ある実施形態では、インテリジェントディスプレイ１５００に一又は複数の視聴者の視線を追跡させたり、その表情を認識させたりして、それに応じて、当該視聴者が関心を持っている製品に関する情報をさらに提供する画像を表示することもできる。また、現在表示されている一又は複数の画像に視聴者が関心のないこと又は嫌悪していることを、一又は複数の認知センサ１０４に認識させることもできる。この情報は、当該視聴者の注意を引くような別の画像を表示し、当該視聴者がより関心を持つ可能性のある別の広告を提示することに使用することができる。一又は複数の認知センサ１０４によって認識されたパターンを出力し、視聴者がどのような画像・広告・製品に対して最も好意的な反応を示したかを判定することに使用することもできる。
【００９４】
店頭の広告内容においては、インテリジェントディスプレイ１５００により、陳列された商品を眺めているだけの客にインテリジェントディスプレイ１５００を通して店内を見せ、当該客の視線を追跡し、当該客が見ていた商品に関する情報（例えば販促情報、価格、サイズ等）を提示することができる。店内では、このインテリジェントディスプレイ１５００を、広告表示と万引き発生の認識との両方に使用することもできる。
【００９５】
インテリジェントディスプレイ１５００は、一又は複数の認知センサ１０４が受け取った画像を加工する鏡として使用することもできる。この場合は、インテリジェントディスプレイ１５００を見ている視聴者は、自分自身を見ることになる。また、インテリジェントディスプレイ１５００では、娯楽的な価値や広告的価値の点から、この画像を修正することもできるだろう。例えば、広告主の衣料品の新製品を視聴者が着用した姿や、視聴者が別の場所にいる光景を、視聴者に見せることができるだろう。
【００９６】
インテリジェントディスプレイ１５００の一又は複数の認知センサ１０４を使用して、視聴者の体の各部の位置とインテリジェントディスプレイ１５００からの距離を認識することもできる。この情報は、インタラクティブビデオゲームや、当該インテリジェントディスプレイの制御に使用することもできる。例えば、インテリジェントディスプレイ１５００の一又は複数の認知センサ１０４に、ある特定の体の動きを命令と認識させて、ディスプレイをオフにしたり、表示されているチャネルや入力を変更したり、音量を調節したりしてもよい。さらに、認知センサ１０４は基板１０２全体に配置されており、そのセンシング領域は広いので、対象物が基板１０２の極めて近傍に位置する場合であっても、認知センサ１０４はこの対象物を検知し認識することができる。
【００９７】
さらに、インテリジェントディスプレイ１５００はその場でパターン認識を行うので、静止画像又は動画を転送する必要がない。つまり、インテリジェントディスプレイ１５００は、プライバシーを侵害することなく行動の認識を行うことができる。したがって、インテリジェントディスプレイ１５００を使用して、テレビ番組の視聴率や評価（例えば何人の人々が視聴しているか、これらの視聴者は番組を楽しんでいるか等）を判定することもできる。
【００９８】
インテリジェントディスプレイ１５００をインテリジェントアイウェア（ｅｙｅｗｅａｒ）に使用して、このインテリジェントアイウェアを装着している利用者が見た画像の画質を向上することもできる。例えば、眼鏡、サングラス、コンタクトレンズに、一又は複数の認知センサ１０４がその中に組み込まれ又はその上に配置された透明又は半透明の基板を設けてもよい。認知センサ１０４は、この認知センサ１０４が受け取った光のパターンを検知し認識するように構成されてもよい。画素１３０１ａ−１３０１ｃでありうる発光素子１３０１は、インテリジェントアイウェアの着用者が見た画像の画質を向上するべく認知センサ１０４に認識されたパターンに従って制御されるようにしてもよい。例えば、インテリジェントアイウェアを使用して、潜在的な武器や脅威を強調表示したり、顔認識された人の名前を表示したり、認識された対象物との距離を表示したり、移動中の対象物や道路を強調表示したり、目標物に記号を付したりその名前を表示したりすることができる。よって、インテリジェントアイウェアの着用者は拡張現実を見ることができ、インテリジェントアイウェアにより無制限の視野が可能となる（すなわち着用者の視線の方向とは無関係にパターンを検知し認識することができる）。
【００９９】
本明細書に記載の実施形態のいずれにおいても、基板１０２は、水平又は鉛直方向を向いた平面としてもよい。ただし、基板１０２は曲面でもよく、いかなる方向を向いていてもよく、また、その両方でもよい。電源供給は、基板１０２の中に組み込まれ又はそこに取り付けられた一又は複数の光電池装置（ｐｈｏｔｏｖｏｌｔａｉｃ  ｄｅｖｉｃｅ）により、無線で行ってもよい。さらに、認知センサ１０４はそれぞれ、当該認知センサ１０４へ電源供給するために使用されている同一の線を介して通信してもよい。また、出力伝送線若しくは電源線又はその両方を、基板１０２に直接刻みこみ又はその上に拡散してもよい。
【０１００】
当業者には自明なことであるが、本発明の撮像装置は、ここに挙げられていない他の無数の応用例においても有用である。例えば、他の応用例としては、ダム、橋梁、その他人工建造物の回復不可能な損傷の検出（組成の変化）が挙げられる。このような用途への応用については、本発明の実施形態に関する上記説明より明らかである。また、電力及び信号伝送は、無線（例として、赤外線、フォトセル、誘導ループ等）で行うことも可能である。
【０１０１】
このように、いくつかの好ましい実施形態を、図面を参照して十分に説明した。これらの好ましい実施形態に基づいて本発明を説明したが、本発明はその趣旨を逸脱することなく、上述の実施形態に対して、変更、改変、代替構成され得ることは、当業者にとっては明らかであろう。
【図１】
0005950915.tif 000002
【図２】
0005950915.tif 000003
【図３】
0005950915.tif 000004
【図４】
0005950915.tif 000005
【図５】
0005950915.tif 000006
【図６】
0005950915.tif 000007
【図７】
0005950915.tif 000008
【図８】
0005950915.tif 000009
【図９】
0005950915.tif 000010
【図１０】
0005950915.tif 000011
【図１１Ａ】
0005950915.tif 000012
【図１１Ｂ】
0005950915.tif 000013
【図１２】
0005950915.tif 000014
【図１３】
0005950915.tif 000015
【図１４Ａ】
0005950915.tif 000016
【図１４Ｂ】
0005950915.tif 000017
【図１４Ｃ】
0005950915.tif 000018
【図１５Ａ】
0005950915.tif 000019
【図１５Ｂ】
0005950915.tif 000020