(57)【要約】      （修正有）【課題】必要な電気信号のみをリアルタイムでかつ低消費電力で取得すための情報処理装置および情報処理方法を提供する。【解決手段】センサシステム５０は、光を電気信号に変換し出力する光電変換部と、光電変換部から出力される電気信号を処理してＩＶＳ映像情報として出力するアナログ処理部とを含む画素回路を、アレイ状に複数配置することにより構成されるＩＶＳ３と、光を電気信号に変換し出力する複数の光電変換素子を含む画素をＩＶＳ３の画素回路より高密度かつアレイ状に複数配置することにより構成されるＣＣＤ５と、上記複数の画素のうち、ＣＣＤ注視映像情報を外部出力する画素を、上記ＩＶＳ映像情報に応じて部分的に選択する読み出し画素選択部を有するＣＣＤ制御手段６とを備えている。【選択図】図１
2009296268.tif 000002
【特許請求の範囲】
【請求項１】
入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、
入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、
上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択する選択手段とを備えていることを特徴とする情報処理装置。
【請求項２】
入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、
入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、
上記複数の第２回路のうち、上記第２映像情報を外部出力する第２回路を、上記第１映像情報に応じて部分的に選択する選択手段とを備えていることを特徴とする情報処理装置。
【請求項３】
上記第１センサ手段を構成する全ての第１回路から出力される第１映像情報のうち、一部の第１回路から出力され、注視すべき領域の特徴情報が含まれる第１映像情報を抽出し、上記全ての第１回路における上記抽出した第１映像情報を出力した上記第１回路の位置を示す座標情報を取得し、上記選択手段に出力する座標情報取得手段を備え、
上記選択手段は、上記座標情報取得手段から出力される上記座標情報に応じて、上記第２映像情報を外部出力する第２回路を部分的に選択することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
上記特徴情報は、上記注視すべき領域における時間的な輝度の変化を示す情報であることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
上記特徴情報は、上記注視すべき領域における特定の形状を示す情報であることを特徴とする請求項３に記載の情報処理装置。
【請求項６】
上記特徴情報は、上記注視すべき領域における特定の形状、および移動速度を示す情報であることを特徴とする請求項３に記載の情報処理装置。
【請求項７】
入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、
入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、
上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えていることを特徴とする情報処理装置。
【請求項８】
入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、アレイ状に複数配置することにより構成される第２センサ手段と、
上記第２センサ手段から出力される上記第２映像情報を処理して第１映像情報として出力するアナログ回路網を含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段とを備え、上記第２回路は上記第１回路より高密度に配置され、
さらに、上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えていることを特徴とする情報処理装置。
【請求項９】
入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、
入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段、および入力光を上記第２センサ手段に集光するレンズを備えたカメラボックスと、
上記複数の第１回路から出力される第１映像情報のうち、一部の第１回路から出力される第１映像情報に基づいて、上記第２センサ手段に集光する入力光を制御するように上記カメラボックスの駆動を制御するカメラボックス制御手段とを備えていることを特徴とする情報処理装置。
【請求項１０】
上記複数の第２回路のうち、上記第２映像情報を外部出力する第２回路を、上記第１映像情報に応じて部分的に選択する選択手段とを備えていることを特徴とする請求項９に記載の情報処理装置。
【請求項１１】
入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、
入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段とを備える情報処理装置により実行される情報処理方法であって、
上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および情報処理方法であって、特にイメージセンサを用い、撮影領域内で注視すべき領域のみを高精細な映像として取得するため情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
システムを構築し制御を行う際、システムをとりまく環境や状況、制御対象の状態を計測検出(センシング)することは必須である。近年、このセンシングの中でも、視覚情報すなわち映像情報は様々なシステムで用いられ、担う役割も大きくなっている。また近年、治安の悪化といった状況から、監視システムが注目されているが、この監視システムの分野においても、映像情報を用いたシステムが注目されている。
【０００３】
現在、これら映像情報を用いたシステムでは、ＣＣＤセンサやＣＭＯＳセンサといったイメージセンサを用いて映像情報を取得している。
【０００４】
このＣＣＤセンサやＣＭＯＳセンサなどのイメージセンサは、外界の光刺激すなわち映像を電気信号として得るためのセンサである。各画素に当たっている光の照度に応じた電気信号を時間的に順次出力し、リアルタイムに精細な映像を電気信号として捉えることができる。近年開発が進み、特に上記ＣＭＯＳセンサを備えるカメラ（ＣＭＯＳカメラ）は、消費電力が低く、かつ駆動回路などを同じチップ上に組み込むことができ、カメラをコンパクトにできるなどの特徴から多く用いられている。
【０００５】
これらＣＣＤセンサやＣＭＯＳセンサなどのイメージセンサの出力信号（電気信号）は、システムの制御にそのまま用いることはできず、雑音除去、ひずみ補正、フィルタリング、画像の移動・回転、線・輪郭などの抽出、さらには、これらを組み合わせた画質の向上や画像の復原などの適当な処理を行う画像処理が必要である。
【０００６】
この画像処理を行うには、ＣＣＤセンサやＣＭＯＳセンサの後段に画像専用処理ボードやコンピュータ(ＰＣ)が必要となる。これら画像処理ボードやＰＣは、一般的には直列型ディジタルコンピュータを用いており、１画素ずつ処理を行うために、データ処理量が大きくなり、画素数の多い画像では処理に時間を必要とするうえに、多くの電力を消費してしまうという不利益がある。また、リアルタイムでの処理を実現するためには比較的高性能な、つまり高価なシステムとなってしまう。さらに、この直列型ディジタルの処理では、プロセッサの性能が向上しても、処理スピードの高速化には限界があると考えられる。また、ＣＭＯＳカメラの技術が進み消費電力化が行われても、後段の画像処理において多くの電力を消費してしまう。
【０００７】
一方で、直列型ディジタル処理を用いずに、映像を電気信号に変換するだけではなく同時に画像処理を行うことのできるインテリジェントイメージセンサ(ＩＶＳ)が考案されている。ＩＶＳは、各画素に光センサと処理回路の両方を備え、画像処理をリアルタイムでかつ低消費電力で実施できる。例えば画像処理の内容としては、画像平滑化、輪郭強調、動き検出、速度検出などがある。このＩＶＳの中でも処理部がアナログ回路で全画素並列に処理を行える構造を持つものもある。一例として特許文献１や非特許文献１などがある。ただし、ＩＶＳは１画素の幾何学的構造（画素サイズ）がＣＣＤセンサやＣＭＯＳセンサよりも大きくなってしまうため、チップの単位面積あたりの画素数が減少し、画像解像度が低下してしまう。ただし、撮影エリア内の複数物体の位置関係の把握や対象物の追従等を行う場合、高解像度の画像は必要ないことが多いためＩＶＳは有効である。
【０００８】
また、例えば監視システムでは、監視エリア内を高速で移動する侵入者や侵入物に即座に反応し検知することが求められる。つまりリアルタイムでの画像処理が要求される。加えて、不審人物の形状や顔を認識したり、センタで監視員が映像を視認したりするためには、鮮明な映像、つまり高解像度の映像が必要となる。また、広大な範囲を１つのカメラで監視しようとすると、カメラから遠くに存在する対象物の画像が小さくなるため、この対象物の鮮明な映像を得るには高解像度のセンサが必要となる。
【０００９】
このような要求のある監視システムを、ＩＶＳを用いて構築した場合、リアルタイムでの処理は可能だが、鮮明な画像が取得できない。ＩＶＳのセンサチップサイズを大きくすることで画素数を増やす対策をとることも考えられるが、チップのコストが高くなり（なお、歩留り数の増加に伴い使用不可チップが増えることも一因である）、歩留りの観点からチップサイズ自身にＣＭＯＳ製造プロセスに依存した限界がある。また、一方で、ＣＣＤセンサやＣＭＯＳセンサと画像処理ボードやＰＣを用いた直列型ディジタル処理を用いて監視システムを構築した場合、鮮明な映像を取得することは可能だが、画素数の増加が処理時間の増加につながり、リアルタイムでの処理が困難となってしまう。
【００１０】
上記のようなリアルタイムの処理と高解像度の映像取得という相反する要求を満たすシステムとして特許文献２の”監視カメラシステムおよび映像信号の伝送方法”が提案されている。
【特許文献１】特開２００３−７８８２９（公開日：平成１５年３月１４日）
【特許文献２】特開２００３−３１９３７８（公開日：平成１５年１１月７日）
【非特許文献１】松本隆,小林春夫,八木哲也,”ビジョンチップ[Ｉ]−アナログ画像処理用ニューロチップ−”電子情報通信学会誌vol.76 No.7 pp.783-791,1993年7月
【非特許文献２】Seiji Kameda and Tetsuya Yagi, “A silicon retina system that calculates direction of motion”, Proc. The 2003 IEEE International Symposium on Circuits and Systems, vol.IV, pp.792-795, Bangkok, Thailand, 2003.5.
【非特許文献３】T.Sibano, K.Iizuka, M.Miyamoto, M.Osaka,R. Miyama and A.Kito,”Matched Filter for DS-CDMA of up to 50MChip/s Based on Sampled Analog Signal Processing”,ISSCC Digest of Tech. Papers, pp.100-101, Feb. 1997.
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献２の提案方法のように、広範囲の監視エリアを高解像度で一度とらえ、その後、画像処理を行うために低解像度へ変換する方法では、結局、広範囲を鮮明にとらえるために備えた超高解像度があだとなり、高解像度から低解像度へ変換する際に時間を要してしまう。また、大量のデータを取り扱う必要があるため映像信号を読み出すなど単純な処理にも時間を要してしまう。加えて、侵入者などが存在しない平常時でも超高解像度のデータを取り扱うための記憶素子が必要になったり、大量の電力が必要になったりするといった課題がある。
【００１２】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、必要な電気信号のみをリアルタイムでかつ低消費電力で取得すための情報処理装置および情報処理方法を提供することである。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明に係る情報処理装置は、入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択する選択手段とを備えていることを特徴としている。
【００１４】
また、本発明に係る情報処理方法は、入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段とを備える情報処理装置により実行される情報処理方法であって、上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択することを特徴としている。
【００１５】
上記構成により、上記アレイ状に複数配置された上記第１回路に入力刺激が入力されると、上記第１入力刺激変換素子により上記入力刺激は電気信号に変換される。そして、上記第１入力刺激変換素子から出力される上記電気信号は、上記アナログ回路網に入力され、第１電気信号として出力されることになる。また、上記アレイ状に複数配置された上記第２回路に入力刺激が入力されると、上記第２入力刺激変換素子により上記第２電気信号に変換されることになる。
【００１６】
ここで、上記第１回路は上記アナログ回路網を備えているため、上記第２回路が入力刺激を上記第２電気信号に変換する速度と比較して、高速で入力刺激を上記第１電気信号に変換することができる。このため、リアルタイム性を向上させることができる。
【００１７】
そして、上記第２回路は上記第１回路よりも高密度に配置されている。すなわち、上記第２回路は、上記第１回路よりも単位面積あたりに配置されている数が多い。このため、上記単位面積あたりに出力される上記第１電気信号と比較して、上記第２電気信号の方が、単位面積あたりの情報の量が多くなる。
【００１８】
また、上記選択手段により、上記第２電気信号を外部出力する第２回路は、上記第１電気信号に応じて部分的に選択される。このため、第１電気信号に応じて、単位面積あたりの情報量が多い第２電気信号が部分的に出力されることになる。
【００１９】
すなわち、第１電気信号に応じて必要な第２電気信号のみが外部出力される。このため、上記第２回路で変換される上記第２電気信号をすべて外部出力する場合と比較して、処理速度を向上させることができ、消費電力を抑制することができる。
【００２０】
従って、必要な電気信号のみをリアルタイムでかつ低消費電力で取得することができる。
【００２１】
上記課題を解決するため、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記複数の第２回路のうち、上記第２映像情報を外部出力する第２回路を、上記第１映像情報に応じて部分的に選択する選択手段とを備えていることを特徴としている。
【００２２】
上記構成により、上記アレイ状に複数配置された上記第１回路に入力刺激として光が入力されると、上記第１入力刺激変換素子により上記入力刺激は電気信号に変換される。そして、上記第１入力刺激変換素子から出力される上記電気信号は、上記アナログ回路網に入力され、第１映像情報として出力されることになる。また、上記アレイ状に複数配置された上記第２回路に入力刺激としての光が入力されると、上記第２入力刺激変換素子により上記第２映像情報に変換されることになる。
【００２３】
ここで、上記第１回路は上記アナログ回路網を備えているため、上記第２回路が光を上記第２映像情報に変換する速度と比較して、高速で光を上記第１映像情報に変換することができる。このため、リアルタイム性を向上させることができる。
【００２４】
そして、上記第２回路は上記第１回路よりも高密度に配置されている。すなわち、上記第２回路は、上記第１回路よりも単位面積あたりに配置されている数が多い。このため、単位面積あたりに出力される上記第１映像情報と比較して、上記第２映像情報の方が、単位面積あたりの情報の量が多くなる。
【００２５】
また、上記選択手段により、上記第２映像情報を外部出力する第２回路は、上記第１映像情報に応じて部分的に選択される。このため、第１映像情報に応じて、単位面積あたりの情報量が多い第２映像情報が部分的に出力されることになる。
【００２６】
すなわち、第１映像情報に応じて、必要な第２映像情報のみが外部出力される。このため、上記第２回路で変換される上記第２映像情報をすべて外部出力する場合と比較して、処理速度を向上させることができ、消費電力を抑制することができる。
【００２７】
従って、必要な映像情報のみをリアルタイムでかつ低消費電力で取得することができる。
【００２８】
本発明の情報処理装置においては、さらに、上記第１センサ手段を構成する全ての第１回路から出力される第１映像情報のうち、一部の第１回路から出力され、注視すべき領域の特徴情報が含まれる第１映像情報を抽出し、上記全ての第１回路における上記抽出した第１映像情報を出力した上記第１回路の位置を示す座標情報を取得し、上記選択手段に出力する座標情報取得手段を備え、上記選択手段は、上記座標情報取得手段から出力される上記座標情報に応じて、上記第２映像情報を外部出力する第２回路を部分的に選択することが好ましい。
【００２９】
上記構成により、上記座標情報取得手段は、注視すべき領域の特徴情報が含まれる上記第１映像情報を出力する上記第１回路の位置を座標情報として特定する。そして、上記座標情報取得手段は、特定した上記座標情報を上記選択手段に出力する。上記選択手段は、上記座標情報取得手段から出力される上記座標情報が入力されると、入力される座標情報に応じて、上記第２映像情報を外部出力する上記第２回路を部分的に選択することになる。このため、注視すべき領域の特徴情報が含まれる上記第１映像情報を出力する上記第１回路の位置に基づいて、上記第２回路から上記第２映像情報外部出力される。
【００３０】
すなわち、上記座標情報取得手段により取得された座標に対応する上記第２映像情報
のみが第２回路から出力されることになるため、上記第２回路で変換される上記第２映像情報をすべて外部出力する場合と比較して、処理速度を向上させることができ、消費電力を抑制することができる。従って、必要な映像情報のみをリアルタイムでかつ低消費電力で取得することができる。
【００３１】
本発明の情報処理装置においては、さらに、上記特徴情報は、上記注視すべき領域における時間的な輝度の変化を示す情報であることが好ましい。また、上記特徴情報は、上記注視すべき領域における特定の形状を示す情報であってもよく、さらに、上記特徴情報は、上記注視すべき領域における特定の形状、および移動速度を示す情報であってもよい。
【００３２】
上記構成により、上記第１センサ手段は、上記第１映像情報のなかで、上記注視すべき領域に時間的な輝度の変化を示す情報または、特定の形状を示す情報または特定の形状、および移動速度を示す情報を取得した場合に上記特徴情報として取得する。これにより、上記第１センサ手段は、上記注視すべき領域の映像情報のみを取得することになる。このため、注視する必要がない映像情報、すなわち不要な映像情報を取得することがない。これにより、全ての第１回路から出力される第１映像情報を取得する場合と比較して、第１センサ手段を低消費電力で駆動することができ、第１映像情報を第１回路から出力するための処理速度を向上させることができる。
【００３３】
上記課題を解決するため、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えていることを特徴としている。
【００３４】
上記構成により、上記アレイ状に複数配置された上記第１回路に入力刺激として光が入力されると、上記第１入力刺激変換素子により上記入力刺激は電気信号に変換される。そして、上記第１入力刺激変換素子から出力される上記電気信号は、上記アナログ回路網に入力され、第１映像情報として出力されることになる。また、上記アレイ状に複数配置された上記第２回路に入力刺激としての光が入力されると、上記第２入力刺激変換素子により上記第２映像情報に変換されることになる。
【００３５】
ここで、上記第１回路は上記アナログ回路網を備えているため、上記第２回路が光を上記第２映像情報に変換する速度と比較して、高速で光を上記第１映像情報に変換することができる。このため、リアルタイム性を向上させることができる。
【００３６】
そして、上記第２回路は上記第１回路よりも高密度に配置されているため、上記第１映像情報と比較して、上記第２映像情報の方が、単位面積あたりの情報の量が多くなる。
【００３７】
また、上記第２映像情報抽出手段に上記第１映像情報と、上記第２映像情報とが入力されることにより、上記第１映像情報に基づいて、上記全ての第２回路から出力される上記第２映像情報から、一部の第２回路から出力される第２映像情報のみが抽出される。
【００３８】
このため、第１映像情報に応じて、単位面積あたりの情報量が多い第２映像情報が部分的に出力されることになる。
【００３９】
すなわち、第１映像情報に応じて、必要な第２映像情報のみが外部出力される。このため、上記第２回路で変換される上記第２映像情報をすべて外部出力する場合と比較して、処理速度を向上させることができ、消費電力を抑制することができる。従って、必要な映像情報のみをリアルタイムでかつ低消費電力で取得することができる。
【００４０】
加えて、上記第２映像情報抽出手段は、全ての第２回路から出力される上記第２映像情報が入力される。そして、上記第１映像情報に応じて外部出力する上記第２映像情報を外部出力することができる。このため、上記第２センサ手段として、たとえば、ＣＣＤセンサやＣＭＯＳセンサなどの一般的に使用されているイメージセンサをそのまま使用することができ、内部の回路などを加工する必要がない。このため、容易に情報処理装置を構成することができる。
【００４１】
上記課題を解決するため、本発明に係る情報処理装置は、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、アレイ状に複数配置することにより構成される第２センサ手段と、上記第２センサ手段から出力される上記第２映像情報を処理して第１映像情報として出力するアナログ回路網を含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段とを備え、上記第２回路は上記第１回路より高密度に配置され、さらに、上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えていることを特徴としている。
【００４２】
上記構成により、上記アレイ状に複数配置された上記第１回路に入力刺激として光が入力されると、上記第１入力刺激変換素子により上記入力刺激は電気信号に変換される。そして、上記第１入力刺激変換素子から出力される上記電気信号は、上記アナログ回路網に入力され、第１映像情報として出力されることになる。また、上記アレイ状に複数配置された上記第２回路に入力刺激としての光が入力されると、上記第２入力刺激変換素子により上記第２映像情報に変換されることになる。
【００４３】
ここで、上記第１回路は上記アナログ回路網を備えているため、上記第２回路が光を上記第２映像情報に変換する速度と比較して、高速で光を上記第１映像情報に変換することができる。このため、リアルタイム性を向上させることができる。
【００４４】
そして、上記第２回路は上記第１回路よりも高密度に配置されているため、上記第１映像情報と比較して、上記第２映像情報の方が、単位面積あたりの情報の量が多くなる。
【００４５】
また、上記第２映像情報抽出手段に上記第１映像情報と、上記第２映像情報とが入力されることにより、上記第１映像情報に基づいて、上記全ての第２回路から出力される上記第２映像情報から、一部の第２回路から出力される第２映像情報のみが抽出される。
【００４６】
このため、第１映像情報に応じて、単位面積あたりの情報量が多い第２映像情報が部分的に出力されることになる。
【００４７】
すなわち、第１映像情報に応じて、必要な第２映像情報のみが外部出力される。このため、上記第２回路で変換される上記第２映像情報をすべて外部出力する場合と比較して、処理速度を向上させることができ、消費電力を抑制することができる。従って、必要な映像情報のみをリアルタイムでかつ低消費電力で取得することができる。
【００４８】
加えて、上記第１回路に上記入力刺激変換素子を設ける必要がないので、情報処理装置の構成を簡易にすることができる。
【００４９】
上記課題を解決するため、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段、および入力光を上記第２センサ手段に集光するレンズを備えたカメラボックスと、上記複数の第１回路から出力される第１映像情報のうち、一部の第１回路から出力される第１映像情報に基づいて、上記第２センサ手段に集光する入力光を制御するように上記カメラボックスの駆動を制御するカメラボックス制御手段とを備えていることを特徴としている。
【００５０】
上記構成により、上記アレイ状に複数配置された上記第１回路に入力刺激として光が入力されると、上記第１入力刺激変換素子により上記入力刺激は電気信号に変換される。
【００５１】
そして、上記第１入力刺激変換素子から出力される上記電気信号は、上記アナログ回路網に入力され、第１映像情報として出力されることになる。また、上記カメラボックスに備えられた上記レンズに上記入力刺激としての光が入射すると、上記カメラボックス内に設けられた上記第２センサ手段に上記光が集光されることになる。そして、上記第２センサ手段の上記第２回路に上記光が入射する。これにより、上記第２回路に入射した上記光は上記第２入力刺激変換素子により上記第２映像情報に変換されることになる。
【００５２】
ここで、上記第１回路は上記アナログ回路網を備えているため、上記第２回路が光を上記第２映像情報に変換する速度と比較して、高速で光を上記第１映像情報に変換することができる。このため、リアルタイム性を向上させることができる。
【００５３】
そして、上記第２回路は上記第１回路よりも高密度に配置されているため、上記第１映像情報と比較して、上記第２映像情報の方が、単位面積あたりの情報の量が多くなる。
【００５４】
また、上記カメラボックス制御手段に上記第１映像情報が入力されることにより、上記入力される第１映像情報に基づいて、上記第２センサ手段に集光する入力光が制御されることになる。これにより、上記第２センサ手段は、上記第１映像情報に基づいた第２映像情報のみを取得することになる。すなわち、必要な第２映像情報のみをより詳細に取得し外部出力することができる。
【００５５】
本発明の情報処理装置においては、さらに、上記複数の第２回路のうち、上記第２映像情報を外部出力する第２回路を、上記第１映像情報に応じて部分的に選択する選択手段とを備えていることが好ましい。
【００５６】
上記構成により、上記選択手段により、上記第２映像情報を外部出力する第２回路は、上記第１映像情報に応じて部分的に選択される。このため、第１映像情報に応じて、単位面積あたりの情報量が多い第２映像情報が部分的に出力されることになる。従って、より確実に、上記第１映像情報に基づいて上記第２映像情報を外部に出力することができる。
【発明の効果】
【００５７】
以上のように本発明に係る情報処理装置は、入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択する選択手段とを備えている。
【００５８】
また、本発明に係る情報処理方法は、入力刺激を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１電気信号として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激を第２電気信号に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段とを備える情報処理装置により実行される情報処理方法であって、上記複数の第２回路のうち、上記第２電気信号を外部出力する第２回路を、上記第１電気信号に応じて部分的に選択する。
【００５９】
これにより、必要な電気信号のみをリアルタイムでかつ低消費電力で取得することができるという効果を奏する。
【００６０】
また、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記複数の第２回路のうち、上記第２映像情報を外部出力する第２回路を、上記第１映像情報に応じて部分的に選択する選択手段とを備えている。
【００６１】
これにより、必要な映像情報のみをリアルタイムでかつ低消費電力で取得することができるという効果を奏する。
【００６２】
また、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段と、上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えている。
【００６３】
これにより、上記効果に加えて、容易に情報処理装置を構成することができるという効果を奏する。
【００６４】
また、本発明に係る情報処理装置は、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、アレイ状に複数配置することにより構成される第２センサ手段と、上記第２センサ手段から出力される上記第２映像情報を処理して第１映像情報として出力するアナログ回路網を含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段とを備え、上記第２回路は上記第１回路より高密度に配置され、さらに、上記第１センサ手段から出力される第１映像情報に基づいて、上記第２センサ手段を構成する全ての第２回路から出力される第２映像情報のうち、一部の第２回路から出力される第２映像情報を抽出する第２映像情報抽出手段とを備えている。
【００６５】
これにより、上記効果に加えて、上記第１回路に上記入力刺激変換素子を設ける必要がないので、情報処理装置の構成を簡易にすることができるという効果を奏する。
【００６６】
また、本発明に係る情報処理装置は、入力刺激としての光を電気信号に変換し出力する第１入力刺激変換素子と、上記第１入力刺激変換素子から出力される電気信号を処理して第１映像情報として出力するアナログ回路網とを含む第１回路を、アレイ状に複数配置することにより構成される第１センサ手段と、入力刺激としての光を第２映像情報に変換し出力する複数の第２入力刺激変換素子を含む第２回路を、上記複数の第１回路よりも高密度かつアレイ状に複数配置することにより構成される第２センサ手段、および入力光を上記第２センサ手段に集光するレンズを備えたカメラボックスと、上記複数の第１回路から出力される第１映像情報のうち、一部の第１回路から出力される第１映像情報に基づいて、上記第２センサ手段に集光する入力光を制御するように上記カメラボックスの駆動を制御するカメラボックス制御手段とを備えている。
【００６７】
これにより、上記効果に加えて必要な第２映像情報のみをより詳細に取得し外部出力することができるという効果を奏する。
【発明を実施するための最良の形態】
【００６８】
本発明の一実施形態について図１〜図２４に基づいて説明すると以下の通りである。
【００６９】
〔１．実施形態１〕
（１−１．センサシステム５０の概略構成）
以下、図１〜図９を参照し、本発明の実施の形態１に係るセンサシステム（情報処理装置）５０について説明する。
【００７０】
図１は、本発明の実施の一形態に係るセンサシステム５０の構成を表す概略図である。
【００７１】
図１に示すように、センサシステム５０は、レンズ１と、プリズム２と、ＩＶＳ（Intelligent Vision Sensor：インテリジェントイメージセンサ、第１センサ手段）３と、ＩＶＳ制御手段４と、ＣＣＤ（第２センサ手段）５と、ＣＣＤ制御手段６とを備えている。
【００７２】
レンズ１は、入力刺激として入射する外界の光（光情報）を屈折させ、プリズム２に光情報を集束する。プリズム２は、レンズ１によって集束された光情報を、プリズム２の後段に位置する複数のセンサへ振り分け投影する。ここでは、複数のセンサはＩＶＳ３とＣＣＤ５である。ここで、プリズム２は、後段に位置する複数のセンサへ光情報を振り分け投影することができればよく、ハーフミラーなどを組み合わせて用いてもよい。
【００７３】
ＩＶＳ３は、アレイ状に設けれたれた複数の画素（第１回路）を含み、前記複数の画素のそれぞれに光電変換素子（第１入力刺激変換素子）が設けられ、光電変換素子に隣接して画像処理回路が配置されている視覚センサである。この画像処理回路はアナログ回路（アナログ回路網）で構成され、全画素で並列に画像処理を行うことができる。ＩＶＳ３は、上記画素がアレイ状に設けられているので、入力される光情報がＩＶＳ３の全画素のうち、どの位置に入力されたのかを特定することができる。また、このＩＶＳ３では、上記アナログ回路で構成される上記画像処理回路が上記光電変換素子に隣接して配置されているので、撮影した映像内の物体の形状や物体の動きを実時間で検出できる。
【００７４】
すなわち、ＩＶＳ３は、撮影領域の映像における特定の形状や特定の動きなど、撮影領域の映像情報に関する特徴を示すＩＶＳ特徴情報（特徴情報）を検出し取得する。そして、撮影エリアにおける注視すべき領域である特徴的な領域（注視領域）の映像情報をＩＶＳ注視映像情報（第１電気信号、第１映像情報）として取得し、およびこの注視領域に含まれる画素の座標位置をＩＶＳ座標情報（座標情報）として取得する。また、上記検出したＩＶＳ注視映像情報の画像処理を行い、ＩＶＳ映像情報を取得する。このＩＶＳ映像情報は、∇２Ｇ（ラプラシアン・ガウシアン）画像、時間差分画像を含み、詳細は後述する。
【００７５】
例えば、ＩＶＳ３を監視システムに適用した場合であれば、ＩＶＳ３は、監視エリアの映像情報の中で侵入者の存在をＩＶＳ特徴情報として検出し、取得する。そして、撮影エリアにおける侵入者が映し出されている領域である注視領域の映像情報をＩＶＳ注視映像情報として取得し、この注視領域に含まれる画素の座標位置をＩＶＳ座標情報として取得する。
【００７６】
また、ＩＶＳ３は、映像情報の処理回路にアナログ処理回路を用いることで、コンピュータ等を用いたディジタルの直列型画像処理に比べ消費電力を大幅に低減できる。ここで、ＩＶＳ３として特許文献１の「画像検出処理装置」や非特許文献１に記載されているものを用いてもよい。さらに、ＩＶＳ３は、画像処理ボードやコンピュータを用いた直列型ディジタル処理と比較して、画像の解像度は低いが、取得した画像の処理速度が速い。本実施の形態において、ＣＣＤ５の画像の処理速度は１フレーム当たり３０ｍｓ程度であるのに対し、ＩＶＳ３の画像処理速度は１フレーム当たり１０ｍｓ以下である。なお、ＩＶＳ３の回路構成は後で詳細に示す。
【００７７】
ＩＶＳ制御手段４は、ＩＶＳ３における撮影領域の映像の取得、および取得した映像における上記ＩＶＳ特徴情報の検出などを行うためのＩＶＳ３を制御するための制御情報を発生し、ＩＶＳ３に出力する。ＩＶＳ制御手段４のブロック構成は後で詳細に示す。
【００７８】
ＣＣＤ５は、一般に用いられるイメージセンサで、外界の光情報を電圧・電流などの電気信号（第２電気信号）、すなわち映像情報としてとらえるためのセンサである。ＣＣＤ５は画素がアレイ状に配置されており、各画素には光を電気信号に変換する光電変換素子（第２入力刺激変換素子）を備えている。すなわち、ＣＣＤ５には上記光変換素子がアレイ状に配置されている。このため、ＣＣＤ５に入射する光情報は、アレイ状に配置されている前記光電変換素子により電気信号に変換され、ＣＣＤ５は前記電気信号を映像情報として外部に出力することができる。
【００７９】
これにより、ＣＣＤ５に入力される光情報が、各画素に入射する光情報の照度に応じた電気信号を時間的に順次出力し、リアルタイムに詳細な映像情報を電気信号として捉えることができる。さらにＣＣＤ５は、幅広い領域を鮮明な映像情報としてとらえることのできる高解像度のものが望ましい。
【００８０】
上記光電変換素子は、一般的に使用されているものを本実施の形態においても使用することができ、比較的小さい大きさの光電変換素子をアレイ状に配列することができる。このため、ＩＶＳ３と比較してＣＣＤ５では高密度に上記光電変換素子を配置することができ、入力される映像情報の解像度を高くすることができる。本実施形態においては、ＣＣＤ５の解像度は５メガピクセルのものを使用している。また、本実施形態においてＩＶＳ３の解像度は１６３８４ピクセル（縦１２８画素×横１２８画素）もしくは６５５３６ピクセル（縦２５６画素×横２５６画素）のものを使用している。
【００８１】
しかし、一般的に、画像処理ボードやコンピュータを用いた直列型ディジタル処理のシステムの場合、ＣＣＤ５の画素数が多くなると、画像データの読み出しにも時間を要してしまう。
【００８２】
そこで、本実施の形態では、ＣＣＤ５の撮影エリアにおける、上記ＩＶＳ注視映像情報に相当する領域の映像情報（ＣＣＤ注視映像情報）のみを取り扱うため、処理時間や消費電力の問題は発生しない。すなわち、ＣＣＤ注視映像情報は、ＩＶＳ３で取得されるＩＶＳ注視映像情報の詳細な映像情報である。
【００８３】
ＣＣＤ制御手段６は、ＩＶＳ３から特徴情報と、ＩＶＳ座標情報とが入力されと、ＣＣＤ５でＣＣＤ注視映像情報を読み出すためのＣＣＤ駆動情報を発生する。そして、ＣＣＤ制御手段６は、ＣＣＤ駆動情報をＣＣＤ５に出力する。
【００８４】
ここで、従来では、ＣＣＤ、およびＣＣＤから映像を取得するための制御装置は、センサ上の全画素の映像情報を読み出す制御情報を発生し、ＣＣＤに出力していた。しかし、この全画素読み出しの方法では映像情報の取り扱いや後段の画像処理に時間を多く必要としてしまう課題があった。このため、実時間で物体を追従し認識を行うような監視システムを実現することは困難であった。これに対しＣＣＤ５およびＣＣＤ制御手段６では、ＣＣＤ５の必要な撮影領域内の情報のみを出力する。すなわち、ＣＣＤ注視映像情報のみを出力することでこの課題を解決する。なお、ＣＣＤ制御手段６のブロック構成は後で詳細に示す。
【００８５】
また、ＣＣＤ５の代わりにＣＭＯＳイメージセンサを用い、ＣＣＤ制御手段６の代わりにＣＭＯＳイメージセンサ制御手段を用いてもかまわない。また、図２に示すように、本実施の形態において、センサシステム５０は、プリズム２やハーフミラーを用いず、ＩＶＳ３とＣＣＤ５とのそれぞれにレンズを備えていてもよい。次に、この構成について、図２を用い説明する。
【００８６】
図２は、センサシステム５０の変形例の構成を表す概略図である。
【００８７】
図２に示すように、センサシステム５０は、ＩＶＳ３と隣接してレンズ１ａが配置されている。また、ＣＣＤ５と隣接してレンズ１ｂが配置されている。そして、レンズ１ａを透過した光情報は、直接ＩＶＳ３に入射する。また、レンズ１ｂを透過した光情報は、直接ＣＣＤ５に入射する。すなわち、ＩＶＳ３とＣＣＤ５とのそれぞれは独自に光情報を集束するレンズ１ａとレンズ１ｂを備えている。
【００８８】
このとき、ＣＣＤ制御手段６は、ＣＣＤ５で上記ＣＣＤ注視映像情報を取得するために、ＣＣＤ制御手段６によってレンズ１ｂの焦点距離や画角などを変更しズームなどの制御を行い、これにより画面全体で対象をとらえるようにしてもよい。
【００８９】
次に、センサシステム５０の各構成について詳細に説明する。
【００９０】
（１−２．ＩＶＳ３の画素回路）
次に、ＩＶＳ３の１画素の回路構成について図３を用い説明する。
【００９１】
図３は、ＩＶＳ３の１画素の構成を示す回路図である。
【００９２】
図３に示すように、ＩＶＳ３の画素回路は、光電変換部１００と、抵抗回路網２０１，２０５と、アナログ演算器２０４，２０９とを備えている。
【００９３】
光電変換部１００は、スイッチおよび抵抗２０２を介して抵抗回路網２０１と接続されており、フォトダイオードを含む。ＩＶＳ３の各画素に光情報が入射すると、該フォトダイオードで光電荷が発生する。光電変換部１００は、この光電荷を蓄積することにより、画素に入射する光情報の照度を電圧・電流などの電気信号（映像情報）に変換する。光電変換部１００の回路構成は後で詳細に示す。
【００９４】
抵抗回路網２０１は、近傍の画素との間に抵抗による接続ｎ１〜ｎ４を形成するものである。接続ｎ１〜ｎ４のそれぞれは、近傍の画素のそれぞれの抵抗回路網と接続されている。また、抵抗回路網２０１は、スイッチおよび抵抗２０２を介して光電変換部１００と接続されており、スイッチ２０３を介してアナログ演算器２０４と接続されている。
【００９５】
抵抗回路網２０１は、抵抗２０２と、それぞれ並列に接続された４つの抵抗を含む。抵抗２０２は、スイッチを介して光電変換部１００と接続されている。また、上記４つの抵抗のそれぞれは、接続ｎ１〜ｎ４により隣接する画素と接続されている。
【００９６】
抵抗回路網２０１は、スイッチおよび抵抗２０２を介して光電変換部１００から電気信号が入力されると、接続ｎ１〜ｎ４を介して近傍の画素へ電気信号を出力する。これにより、光電変換部１００から入力される電気信号は、上記近傍の画素との間で平滑化処理が行われる。すなわち、ＩＶＳ３に入力される映像情報の輝度の平滑化処理が行われる。このとき抵抗回路網２０１において、上記近傍の画素との接続ｎ１〜ｎ４を形成している抵抗の抵抗値を変更することによって、平滑化の強弱を調整することができる。
【００９７】
この抵抗値の調整は、ディジタル画像処理の画像フィルタの調整に相当する。抵抗値が小さいほどより強く平滑化処理を施すことができる。このとき抵抗回路網２０１による平滑化はＩＶＳ３の全画素で同時並列的に実施することができる。加えて、ディジタル画像処理の場合、画像フィルタのサイズが大きくなるに従って処理時間を増加するのに対し、抵抗回路網２０１では、平滑化の強度に関係なくリアルタイムで平滑化処理を実施することができる。この同時並列的な平滑化処理によって、ＩＶＳ３は、リアルタイムの画像処理を実現している。そして、抵抗回路網２０１は、平滑化処理が行われた電気信号をスイッチ２０３を介してアナログ演算器２０４に出力する。
【００９８】
アナログ演算器２０４は、ノイズ補償バッファ回路によって構成されている。このアナログ演算器２０４では、アナログ情報記憶素子に各画素の回路ノイズを記憶することで、回路ノイズの影響を受けない画像処理およびデータ転写を実現する。なお、アナログ演算器２０４は、具体的にはノイズ補償バッファ回路を想定しているが、同様の機能を持った回路であれば置き換えてもよい。
【００９９】
このアナログ演算器２０４は、抵抗回路網２０１からの平滑化処理が施された電気信号を入力とし、抵抗回路網２０１の回路ばらつき（抵抗回路網２０１に含まれる抵抗のそれぞれの抵抗値のばらつき）とアナログ演算器２０４の回路内部の増幅器のオフセットを補償し、電気信号を一時的に記憶する。すなわち、アナログ演算器２０４は映像情報を一時的に記憶する。アナログ演算器２０４の回路構成は後で詳細に示す。
【０１００】
抵抗回路網２０５は、抵抗回路網２０１と同様に近傍の画素との間に抵抗による接続ｎ５〜ｎ８を形成するものである。接続ｎ５〜ｎ８のそれぞれは、近傍の画素のそれぞれの抵抗回路網と接続されている。また、抵抗回路網２０５は、抵抗２０６を介してアナログ演算器２０４と接続されている。そして、抵抗回路網２０５はスイッチ２０７と接続されている。この抵抗回路網２０５は、抵抗回路網２０１によって平滑化され、アナログ演算器２０４に一時的に記憶された電気信号（映像情報）を入力とし、２回目の平滑化を施す。このとき抵抗回路網２０１と同様に、近傍の画素との接続ｎ５〜ｎ８を形成している抵抗の抵抗値によって平滑化の強弱を調整することができる。また、平滑化処理は全画素で同時並列的に実施することができる。このように平滑化処理の同時並列的な処理が行われることによって、高速で処理することができるため、ＩＶＳ３はリアルタイムの画像処理を行うことができる。
【０１０１】
アナログ演算器２０９は、スイッチ２０７、スイッチ２０８を介して抵抗回路網２０５と接続されている。また、スイッチ２０７、スイッチ２０８を介してアナログ演算器２０４と接続されている。アナログ演算器２０９は、アナログ演算器２０４と同様、ノイズ補償バッファ回路によって構成されている。なお、アナログ演算器２０９は、同様の機能を持った回路であれば置き換えてもよい。
【０１０２】
このアナログ演算器２０９には、抵抗回路網２０１によって輝度の平滑化が施された映像情報と、抵抗回路網２０５によって２度目の輝度の平滑化が施された映像情報とが、スイッチ２０７の接続が切り替わることにより、順次入力される。そして、これら２つの映像情報の輝度の差分を出力する。そして、この出力される映像情報の輝度の差分は、輪郭強調された映像情報（輪郭画像）になる。この輪郭画像は、ＩＶＳ３の画素に入射する映像情報に対して∇２Ｇ演算を施したものにほぼ相当する（以下、∇２Ｇ近似画像と称する）。
【０１０３】
また、このとき、スイッチ２０７の接続の制御方法を変更することで、アナログ演算器２０９において、抵抗回路網２０１によって平滑化が施された映像情報の、時間的に連続する映像情報の差分を演算できる。時間的に連続する映像情報の輝度の差分（時間差分画像）を演算することにより、時間的に輝度値に変化があった画素の映像情報を検出することができる。
【０１０４】
これにより、撮影領域内の変化つまり動きを検出することができる。このアナログ演算器２０９によって検出される時間差分画像は、抵抗回路網２０１によって平滑化処理を施した映像情報の輝度の差分である。このため、画像ノイズに強く、撮影領域内の物体の動きをリアルタイムで精度よくとらえることができる。ＩＶＳ３によって得られる∇２Ｇ近似画像は、主に形状を検出するために用い、時間差分画像は、主に動きを検出するために用いる。また、∇２Ｇ近似画像と時間差分画像とを組み合わせることで、物体の移動方向を検出することができる(非特許文献２参照)。アナログ演算器２０９の回路構成は後で詳細に示す。
【０１０５】
（１−３．光電変換部１００の回路構成）
次に、図４を用い、光電変換部１００の回路構成について説明する。
【０１０６】
図４は、本実施の形態に係る光電変換部１００の構成を表す回路図である。
【０１０７】
図４に示すように、光電変換部１００は、フォトダイオード部１０２と、ＮＭＯＳトランジスタ１０１と、ＰＭＯＳトランジスタ１０３，１０４とを備えている。
【０１０８】
フォトダイオード部１０２はアノードが接地され、カソードがＮＭＯＳトランジスタ１０１のドレインに接続されている。
【０１０９】
ＮＭＯＳトランジスタ１０１は、ソースが電源電圧供給ラインに接続されている。そして、ＮＭＯＳトランジスタ１０１のゲートには切換信号が供給され、また、フォトダイオード部１０２のカソードとＮＭＯＳトランジスタ１０１のドレインとの接続点に映像情報の出力ノードが構成される。
【０１１０】
フォトダイオード部１０２に電荷を蓄積する時間(蓄積時間)を変えることにより、出力ゲインを調整することができる。またＮＭＯＳトランジスタ１０１のゲートにバイアス電圧を印加することにより、光電変換部１００を対数型光センサとしても動作させることが可能である。
【０１１１】
光電変換部１００は、ＰＭＯＳトランジスタ１０３，１０４で構成されるソースフォロワ回路を有し、フォトダイオード部１０２と後段の回路とが分離されている。そして、フォトダイオード部１０２は、入射する光情報を電気信号に変換し、電気信号の出力ゲインを調整（レベル調整）して出力する。
【０１１２】
また、ＰＭＯＳトランジスタ１０３のドレインが電源電圧供給ラインに接続され、ソースがＰＭＯＳトランジスタ１０４のドレインに接続され、ＰＭＯＳトランジスタ１０４のソースが接地されている。ＰＭＯＳトランジスタ１０３のゲートにバイアス信号が供給され、ＰＭＯＳトランジスタ１０４のゲートがフォトダイオード部１０２の出力ノードに接続される。そして、ＰＭＯＳトランジスタ１０３のソースとＰＭＯＳトランジスタ１０４のドレインとの接続点が、ソースフォロワ回路の出力となる。このように、フォトダイオード部１０２を電荷蓄積型で構成し、その出力にソースフォロワ回路を付加することで、アクティブ画素センサ（ＡＰＳ）が構成される。
【０１１３】
（１−４．アナログ演算器２０４，２０９の構成）
次に、図５を用い、アナログ演算器２０４，２０９の回路構成について説明する。
【０１１４】
図５は、アナログ演算器２０４，２０９の構成を表す回路図である。
【０１１５】
アナログ演算器２０４，２０９は、ノイズ補償バッファ回路によって構成される。このノイズ補償バッファ回路は、素子のばらつきに起因する回路ノイズを、内蔵されている容量に記憶させることによりノイズを補償する回路である。スイッチ２１１のＯＮ-ＯＦＦ、スイッチ２１２の接続の切り替えを制御することで、前段の回路における回路ノイズが一定ならば、ＡＭＰ（アンプ）のオフセットのみならず前段の回路ノイズの影響を受けず、かつ入力電圧の変化分に比例した電気信号を出力する。なお、ノイズ補償バッファ回路の動作域は、用いるＡＭＰの動作域に依存する（詳細は、非特許文献３を参照）。
【０１１６】
（１−５．ＩＶＳ３の構成）
次に、図６を用い、ＩＶＳ３の構成について説明する。
【０１１７】
図６は、本実施の形態に係るＩＶＳ３の構成を表す平面図である。
【０１１８】
図６に示すように、ＩＶＳ３は、画素回路３００と、画素選択部３１と、注視領域判定部（座標情報取得手段）３２とを備えている。また、画素回路３００は、光電変換部１００とアナログ処理部２００とを備えている。
【０１１９】
ＩＶＳ３は、画素選択情報、スイッチ制御情報、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報を入力情報とし、ＩＶＳ映像情報と、ＩＶＳ特徴情報と、ＩＶＳ座標情報とを出力情報とする。
【０１２０】
画素選択部３１は、ＩＶＳ制御手段４から入力される画素選択情報に基づいて画素を順次選択し、スイッチ制御情報、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報を各画素に与え、撮像および画像処理された出力を読み出す。このとき、１画素ずつ順に出力を読み出しても、１ライン同時に複数画素の出力を並列に読み出してもよい。
【０１２１】
注視領域判定部３２は、各画素からの出力であるＩＶＳ映像情報(∇２Ｇ近似画像および時間差分画像)を入力とし、∇２Ｇ近似画像と時間差分画像とを組み合わせ移動方向を検出する。ここで、この移動方向の検出は、非特許文献２に記載されている方法を用いてもよい。さらに、注視領域判定部３２では、∇２Ｇ近似画像と時間差分画像および移動方向画像を用い、閾値処理、テンプレートマッチングやパターンマッチングを施し、特定の形状や特定の動きの特徴（ＩＶＳ特徴情報）を検出する。そして、注視領域判定部３２は、画素選択部３１から出力される座標情報を基に、上記ＩＶＳ特徴情報が存在する画素を判定する。すなわち、注視領域判定部３２は、ＩＶＳ座標情報を検出する。
【０１２２】
（１−６．ＩＶＳ制御手段４のブロック構成）
次に、図７を用い、ＩＶＳ制御手段４の構成について説明する。
【０１２３】
図７は、ＩＶＳ制御手段４の構成を表すブロック図である。
【０１２４】
図７に示すように、ＩＶＳ制御手段４は、ＩＶＳ駆動情報発生部４１と、光電変換制御部４２と、抵抗回路網制御部４３と、アンプ制御部４４とを備えている。
【０１２５】
ＩＶＳ駆動情報発生部４１は、撮像および画像処理を行い映像情報を出力する画素を選択するための画素選択情報と、スイッチ２０３，２０７，２０８，２１１，２１２などのＯＮ-ＯＦＦを制御するためのスイッチ制御情報を発生する。そして、画素選択情報、およびスイッチ制御情報をＩＶＳ３に出力する。
【０１２６】
光電変換制御部４２は、光電変換部１００が光情報を電気信号へ変換する際の係数を変更するためのＮＭＯＳ１０１やＰＭＯＳトランジスタ１０３のゲートに与える光電変換制御情報を発生し、ＩＶＳ３の画素選択部３１に出力する。
【０１２７】
抵抗回路網制御部４３は、抵抗回路網２０１，２０５が近傍の画素との間に形成する抵抗による接続ｎ１〜ｎ４および接続ｎ５〜ｎ８の抵抗値を制御し、施される映像情報の輝度の平滑化処理の強さを制御するための抵抗回路網制御情報を発生し、ＩＶＳ３の画素選択部３１に出力する。アンプ制御部４４は、アナログ演算器２０４，２０９を構成するＡＭＰに与えるｒｅｆ信号やｂｉａｓ信号に相当するアンプ制御情報を発生し、ＩＶＳ３の画素選択部３１に出力する。
【０１２８】
（１−７．ＣＣＤ制御手段６のブロック構成）
次に、図８を用い、ＣＣＤ制御手段６の構成について説明する。
【０１２９】
図８は、ＣＣＤ制御手段６の構成を表すブロック図である。
【０１３０】
図８に示すように、ＣＣＤ制御手段６は、読み出し画素選択部（選択手段）６１と、ＣＣＤ駆動情報発生部６２と、レンズ制御部６３とを備えている。
【０１３１】
ＣＣＤ制御手段６は、ＩＶＳ３から出力されるＩＶＳ座標情報とＩＶＳ特徴情報とを入力とし、ＣＣＤ５が撮像するためのＣＣＤ駆動情報（座標選択情報、スイッチ情報、バイアス情報）をＣＣＤ５に出力する。また、レンズ１を制御するためのレンズ制御情報をレンズ１に出力する。
【０１３２】
読み出し画素選択部６１は、ＩＶＳ３によって取得される注視領域に対応する鮮明な画像をＣＣＤ５から取得するためにＣＣＤ５に制御信号を与えるものである。
【０１３３】
具体的には、読み出し画素選択部６１には、ＩＶＳ３から出力されるＩＶＳ座標情報が入力されると、ＣＣＤ５の撮影領域において対応する座標に変換しＣＣＤ座標情報を取得する。そして、読み出し画素選択部６１は、取得した前記ＣＣＤ座標情報に相当する画素の情報を取得し、ＣＣＤ駆動情報発生部６２に出力する。すなわち、読み出し画素選択部６１は、ＣＣＤ５を構成する全ての画素から、上記ＩＶＳ座標情報に対応し、鮮明な映像を読み出す画素を部分的に選択する。そして、選択した画素の情報をＣＣＤ駆動情報発生部６２に出力する。
【０１３４】
ここで、ＩＶＳ座標情報をＣＣＤ座標情報に変換する際には、２つのケースが考えられる。１つは、プリズム等で像を分けＩＶＳ３とＣＣＤ５とに全く同じ像が写像された場合、もう１つは、ＩＶＳ３とＣＣＤ５とで異なる光学系(レンズ系)を持つ場合である。ただし、ＩＶＳ３とＣＣＤ５とで異なる光学系を持つ場合においても、ＩＶＳ３とＣＣＤ５とが近接して設置され、撮影対象がこの２つのセンサから離れた箇所に存在すれば、ＩＶＳ３とＣＣＤ５とには、ほぼ同じ像が写像されると考えてよい。
【０１３５】
そして、ＩＶＳ３とＣＣＤ５とに同じ像が写像されている場合での、ＩＶＳ座標情報をＣＣＤ座標情報に変更する方法は、例えばＣＣＤ５の解像度がＩＶＳ３の解像度に対し、縦横ともに２倍ならば、ＩＶＳ座標を２倍することで相当するＣＣＤ座標を求めることができる。つまり、ＩＶＳ３とＣＣＤ５との解像度の比によって、一意に変換することができる。
【０１３６】
一方、撮影対象に対するアングルがＩＶＳ３とＣＣＤ５とで異なる場合での、ＩＶＳ座標情報をＣＣＤ座標情報に変更する方法は、例えば撮影領域を上空から俯瞰した”見取り図”のような空間座標系をＩＶＳ３とＣＣＤ５とで共有し、ＩＶＳ座標を一度、共有空間座標系へ変換し、さらにＣＣＤ座標系へ変換する必要がある。ＩＶＳ座標系から共有座標系へ、もしくは共有座標系からＣＣＤ座標系への変換は、２次元情報と３次元情報との変換であるため、センサの設置位置やアングルおよびレンズ画角や倍率等々のパラメータを用いる必要がある。
【０１３７】
ＣＣＤ駆動情報発生部６２は、読み出し画素選択部６１から入力される選択した画素の情報が入力される。また、ＣＣＤ駆動情報発生部６２は、通常のＣＣＤを駆動させ、画素から映像情報を取得するのと同様に、ＣＣＤ５を駆動させ、画素から映像情報を取得するためのＣＣＤ駆動情報（座標選択情報、スイッチ情報、バイアス情報等）をＣＣＤ５に出力する。このとき、スイッチ情報やバイアス情報は、映像情報を読み出す画素にだけ出力してもよく、もしくは全画素に出力してもよい。しかし、映像情報は、読み出し画素選択部６１が選択した画素からのみ取得する。取得する映像情報がＣＣＤ注視映像情報である。
【０１３８】
また、センサシステム５０を、ＩＶＳ３とＣＣＤ５とのそれぞれ独自に光情報を集束するレンズ１ａとレンズ１ｂとを備える構成（図２参照）とした場合には、レンズ制御部６３からＣＣＤ５にレンズ制御情報を出力することによりレンズ１ｂの焦点距離や画角度などを変更する制御を行ってもよい。すなわち、ＣＣＤ５は、レンズ制御情報が入力されることによって、ＣＣＤ５に光情報を集束するレンズ１ｂの焦点距離や画角度などを変更しズームなどを行うことで、ＣＣＤ注視映像情報をＣＣＤ５全体でとらえるように制御を行ってもよい。また、ＣＣＤ制御手段６は、ＩＶＳ３で特徴情報が検出されない時は、ＣＣＤ５の稼働を停止することで、消費エネルギーを低減することができる。
【０１３９】
（１−８．フローチャート）
次に、図９を用い、本実施の形態に係るセンサシステム５０の処理の流れについて説明する。
【０１４０】
図９は、本実施の形態に係るセンサシステム５０の処理の流れを表すフローチャートである。
【０１４１】
まず、センサシステム５０の動作が開始されると(ステップＳ１‐１)、ＩＶＳ制御手段４のＩＶＳ駆動情報発生部４１は、スイッチ制御情報、画素選択情報をＩＶＳ３の画素選択部３１に出力する。画素選択部３１は、スイッチ制御情報、画素選択情報が入力されると画素を順次選択する。また、画素選択部３１に、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報が入力され、選択した画素のそれぞれに出力する。そして、選択された画素のそれぞれは、画像処理された映像情報であるＩＶＳ映像情報(∇２Ｇ近似画像および時間差分画像)をＩＶＳ３の注視領域判定部３２に出力する(ステップＳ１‐２)。
【０１４２】
次に、注視領域判定部３２は、上記選択されたそれぞれの画素から入力されるＩＶＳ映像情報から、撮影領域内に特定の形状や特定の動きが存在するかを判定し、どの画素にどのような特徴が存在するかのＩＶＳ特徴情報を検出する。そして、注視領域判定部３２は、ＩＶＳ特徴情報と、このＩＶＳ特徴情報の画素の座標を表すＩＶＳ座標情報とをＣＣＤ制御手段６内の読み出し画素選択部６１に出力する(ステップＳ１‐３)。
【０１４３】
次に、読み出し画素選択部６１は、注視領域判定部３２から出力されるＩＶＳ特徴情報が入力されると、入力されたＩＶＳ特徴情報に基づいてＩＶＳ３の撮影領域のうち、注視すべき領域（注視領域）が存在するか否かを判定する(ステップＳ１‐４)。
【０１４４】
注視領域判定部３２は、∇２Ｇ近似画像と時間差分画像および移動方向画像を用い、閾値処理、テンプレートマッチングやパターンマッチングを施し、特定の形状や特定の動きの特徴を検出し、注視すべき領域の判定を行う。この注視領域の判定は、システムの適用分野によって異なり、例えば監視システムであれば、異常な事象が発生した箇所が注視領域となる。異常な事象にも様々あり、無人施設の監視システムであれば、人物の侵入が異常となるが、病院などの監視システムでは、患者の転倒や危険領域への侵入などが異常となる。よって、異常の判定方法には様々な方法が考えられるが、一例として、特定の形状や特定の動きの特徴量が一定の基準を超えているかどうかで判断する方法がある。読み出し画素選択部６１では判定された特徴量が一定量を超えているかどうかで、ＣＣＤ５で撮影するか、すなわち注視領域が存在するかを判定する。
【０１４５】
そして、読み出し画素選択部６１にて、注視領域が存在しないと判定された場合（ステップＳ１‐４のＮＯ）は、再びＩＶＳ３での映像情報の取得と画像処理のステップ(ステップＳ１‐２)へ戻る。このとき、ＣＣＤ５は駆動を停止したままでもよい。一方、読み出し画素選択部６１にて注視領域が存在すると判定された場合（ステップＳ１‐４のＹＥＳ）は、読み出し画素選択部６１は、ＩＶＳ座標情報をＣＣＤ５における注視領域であるＣＣＤ座標情報に変換する(ステップＳ１‐５)。
【０１４６】
次に、読み出し画素選択部６１は、ＣＣＤ５の撮影領域のうちＣＣＤ座標情報に対応する画素を選択する。そして、選択した画素の情報をＣＣＤ駆動情報発生部６２に出力する。ＣＣＤ駆動情報発生部６２は、上記選択された画素の情報からＣＣＤ５に駆動情報を出力し、撮影エリア内の鮮明な映像をＣＣＤ注視映像情報として取得する(ステップＳ１‐６)。その後、再びＩＶＳ３での映像情報の取得と画像処理(ステップＳ１‐２)へ戻り、上記フローを繰り返す。
【０１４７】
〔２．実施の形態２〕
本発明に係る第２の実施形態の構成を、図１０（ａ）（ｂ）〜図１２を参照して説明する。
【０１４８】
実施形態１と実施形態２とでは、情報統合手段（第２映像情報抽出手段）７を含む点で異なる。他は、実施の形態１と同様であるため、重複した説明を省略する。
【０１４９】
図１０（ａ）は、本実施の形態におけるセンサシステム５１の構成を表し、プリズムを含む場合の構成を表す概略図であり、図１０（ｂ）は、本実施の形態におけるセンサシステム５１の変形例の構成を表す概略図である。
【０１５０】
図１０（ａ）、および図１０（ｂ）に示すセンサシステム５１と、図１及び図２に示すセンサシステム５０とは、ＣＣＤ制御手段６に換えてＣＣＤ制御手段６ｂを含み、また情報統合手段７を含む点で異なる。
【０１５１】
図１０（ａ）、図１０（ｂ）に示すＣＣＤ制御手段６ｂは、一般的に用いられるＣＣＤセンサを駆動制御するものと同様のものであり、ＣＣＤ５の全画素を駆動させ、全画素の情報を読み出すＣＣＤ駆動信号を発生し、ＣＣＤ５に出力することによりＣＣＤ５を制御する。
【０１５２】
情報統合手段７は、ＩＶＳ３とＣＣＤ５のそれぞれから出力情報を受け、ＩＶＳ３で検出された計測エリア内の注視領域に相当するＣＣＤ５の映像情報のみを切り出す。一般に、ＣＣＤの撮影領域のすべての映像情報出力をそのまま用いると、システムにとって不要な情報が多く含まれており、後段でこの不要な情報が多く含まれたＣＣＤの映像出力から必要な情報を抜き出す処理を行うには多くの時間や電力を必要となる。例えば、実時間で撮影領域内の物体を追従し認識を行うような動画像処理を実現することは困難である。そこで本実施の形態では、ＣＣＤ５と並行してＩＶＳ３を用いることで、撮影領域内の注視領域をＩＶＳ３によってリアルタイムに検出することができ、注視領域のみの鮮明な映像を取得することができる。
【０１５３】
（情報統合手段７のブロック構成）
次に、図１１を用い、情報統合手段７のブロック構成について説明する。なお、センサシステム５１において、ＩＶＳ３、ＩＶＳ制御手段４、ＣＣＤ５は、第１の実施形態と同様のブロック構成である。
【０１５４】
図１１は、本実施の形態に係るセンサシステム５１の情報統合手段７の構成を表すブロック図である。
【０１５５】
図１１に示すように、情報統合手段７は、読み出し画素選択部７１とＣＣＤ画像切り出し部７２とを備えている。そして、情報統合手段７は、ＩＶＳ３の注視領域判定部３２から出力されるＩＶＳ座標情報とＩＶＳ特徴情報と、ＣＣＤ５から出力される撮影領域の全体の映像情報とを入力とし、ＣＣＤ注視映像情報を出力とする。
【０１５６】
読み出し画素選択部７１には、ＩＶＳ３の注視領域判定部３２から出力されるＩＶＳ座標情報とＩＶＳ特徴情報とが入力される。読み出し画素選択部７１は、入力されるＩＶＳ座標情報をＣＣＤ座標情報に変換する。そして読み出し画素選択部７１は、変換したＣＣＤ座標情報をＣＣＤ画像切り出し部７２に出力する。
【０１５７】
ＣＣＤ画像切り出し部７２は、ＣＣＤ５から撮影領域全体の映像情報が入力される。さらに、ＣＣＤ画像切り出し部７２は、読み出し画素選択部７１からＣＣＤ座標情報が入力される。そして、ＣＣＤ画像切り出し部７２はＣＣＤ５から入力される映像情報のうち、ＣＣＤ座標情報に対応する映像情報であるＣＣＤ注視映像情報を切り出す。そして、ＣＣＤ画像切り出し部７２は切り出したＣＣＤ注視映像情報を後段に出力する。このように、センサシステム５１によれば、ＣＣＤ５で撮影された鮮明な映像情報のうち、必要な領域の映像情報のみを切り出し、後段に出力することができる。
【０１５８】
（フローチャート）
次に、図１２を用い、本実施の形態に係るセンサシステム５１の処理の流れについて説明する。
【０１５９】
図１２は、本実施の形態に係るセンサシステム５１の処理の流れを表すフローチャートである。
【０１６０】
センサシステム５１の動作が開始されると(ステップＳ２-１０)、ＩＶＳ制御手段４のＩＶＳ駆動情報発生部４１は、スイッチ制御情報、画素選択情報をＩＶＳ３の画素選択部３１に出力する。画素選択部３１は、スイッチ制御情報、画素選択情報が入力されると画素を順次選択する。また、画素選択部３１に、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報が入力され、選択した画素のそれぞれに出力する。そして、選択された画素のそれぞれは、画像処理された映像情報であるＩＶＳ映像情報(∇２Ｇ近似画像および時間差分画像)をＩＶＳ３の注視領域判定部３２に出力する(ステップＳ２-３０)。
【０１６１】
次に、注視領域判定部３２は、上記選択されたそれぞれの画素から入力されるＩＶＳ映像情報から、撮影領域内に特定の形状や特定の動きが存在するかを判定し、どの画素にどのような特徴が存在するかのＩＶＳ特徴情報を検出する(ステップＳ２-３１)。
【０１６２】
次に、情報統合手段７の読み出し画素選択部７１にて、前段で検出された各画素のＩＶＳ特徴情報に基づいて撮影領域内の注視すべき領域の有無を判定する(ステップＳ２-３２)。
【０１６３】
読み出し画素選択部７１にて、上記注視領域が存在しないと判定された場合は、再びＩＶＳ３での画像取得と画像処理のステップ(ステップＳ２-３０)へ戻る。一方、読み出し画素選択部７１にて注視領域が存在すると判定された場合は、ＣＣＤ５画素上における前記注視領域が含まれるＩＶＳ座標情報に相当する座標をＣＣＤ座標情報として変換する(ステップＳ２-３３)。
【０１６４】
ここで、ＩＶＳ座標情報をＣＣＤ座標情報に変換する際には、２つのケースが考えられる。１つは、プリズム等で像を分けＩＶＳ３とＣＣＤ５とに全く同じ像が写像された場合、もう１つは、ＩＶＳ３とＣＣＤ５とで異なる光学系(レンズ系)を持つ場合である。ただし、ＩＶＳ３とＣＣＤ５とで異なる光学系を持つ場合においても、ＩＶＳ３とＣＣＤ５とが近接して設置され、撮影対象がこの２つのセンサから離れた箇所に存在すれば、ＩＶＳ３とＣＣＤ５とには、ほぼ同じ像が写像されると考えてよい。
【０１６５】
そして、ＩＶＳ３とＣＣＤ５とに同じ像が写像されている場合での、ＩＶＳ座標情報をＣＣＤ座標情報に変更する方法は、例えばＣＣＤの解像度がＩＶＳの解像度に対し、縦横ともに２倍ならば、ＩＶＳ座標を２倍することで相当するＣＣＤ座標を求めることができる。つまり、ＩＶＳ３とＣＣＤ５との解像度の比によって、一意に変換することができる。
【０１６６】
一方、撮影対象に対するアングルがＩＶＳ３とＣＣＤ５とで異なる場合での、ＩＶＳ座標情報をＣＣＤ座標情報に変更する方法は、例えば撮影エリアを上空から俯瞰した”見取り図”のような空間座標系をＩＶＳ３とＣＣＤ５とで共有し、ＩＶＳ座標を一度、共有空間座標系へ変換し、さらにＣＣＤ座標系へ変換する必要がある。ＩＶＳ座標系から共有座標系へ、もしくは共有座標系からＣＣＤ座標系への変換は、２次元情報と３次元情報との変換であるため、センサの設置位置やアングルおよびレンズ画角や倍率等々のパラメータを用いる必要がある。
【０１６７】
注視領域判定部３２は、∇２Ｇ近似画像と時間差分画像および移動方向画像を用い、閾値処理、テンプレートマッチングやパターンマッチングを施し、特定の形状や特定の動きの特徴を検出し、注視すべき領域（注視領域）の判定を行う。この注視領域の判定は、システムの適用分野によって異なり、例えば監視システムであれば、異常な事象が発生した箇所が注視領域となる。異常な事象にも様々あり、無人施設の監視システムであれば、人物の侵入が異常となるが、病院などの監視システムでは、患者の転倒や危険領域への侵入などが異常となる。よって、異常の判定方法には様々な方法が考えられるが、一例として、特定の形状や特定の動きの特徴量が一定の基準を超えているかどうかで判断する方法がある。
【０１６８】
例えば無人施設への不審者の侵入の判定であれば、時間差分画像に閾値処理を施し動きのみを抽出（輝度変化のある画素＝動きの有る画素＝１，輝度変化の無い画素＝動きの無い画素＝０）した画像内において、移動ありの画素数が所定値を超えるかで判定可能である。病院などの患者の転倒の判定であれば、人間に近い形状の物体を画面内からテンプレートで検出し、この物体に相当する画像エリアで移動方向画像に移動方向が下向きの画素が所定値以上になることで判定できる。上記の通り注視領域の判定は、システムの適応分野によって異なるが、すくなくとも物体の形状、輝度変化(動き)の量、移動方向を検出することで判定が可能である。
【０１６９】
また、このＩＶＳ３が撮像及び画像処理を実施(ステップＳ２-３０)してから、注視領域がＣＣＤ５上のどの領域に相当するかを演算する(ステップＳ２-３３)までのステップと並行して、ＣＣＤ５では、計測エリア全体の鮮明な映像を取得する(ステップＳ２-２０)。次に、ステップＳ２−３３にて読み出し画素選択部７１が変換したＣＣＤ座標情報に基づいて、ＣＣＤ画像切り出し部７２は、ＣＣＤ５から入力される撮影エリア全体の映像情報のうち、ＣＣＤ座標情報に対応する映像情報であるＣＣＤ注視映像情報を切り出す(ステップＳ２-４０)。そして、ＣＣＤ画像切り出し部７２は、鮮明な映像である前記切り出したＣＣＤ注視映像情報を後段に出力する(ステップＳ２-５０)。その後、再びＩＶＳ３での画像取得と画像処理(ステップＳ２-３０)とＣＣＤ５による映像取得(ステップＳ２-２０)へ戻り、上記フローを繰り返す。
【０１７０】
〔３．実施の形態３〕
次に、本発明に係る第３の実施形態の構成を、図１３〜図１６を参照して説明する。
【０１７１】
図１３は、本実施の形態に係るセンサシステム５２の構成を表す概略図である。
【０１７２】
図１３に示すように、センサシステム５２は、レンズ１と、光電変換センサ（第２センサ手段）５ｂと、アナログ処理回路（第１センサ手段）３ｂと、アナログ処理回路制御手段４ｂと、光電変換センサ制御手段６ｃと、情報統合手段７とを備えている。
【０１７３】
レンズ１は、実施の形態１と同様である。
【０１７４】
光電変換センサ５ｂは、一般に用いられるイメージセンサと同等で、外界の光刺激すなわち映像を電気信号としてとらえるためのセンサである。各画素に当たっている光の照度に応じた電気信号を時間的に順次出力し、リアルタイムに精細な映像を電気信号として捉えることができる。このとき光電変換センサ５ｂは、幅広いエリアを鮮明な映像としてとらえることのできる高解像度のものが望ましい。一般的に、画像処理ボードやＰＣを用いた直列型ディジタル処理のシステムの場合、光電変換センサ５ｂの画素数が多くなると、画像データの読み出しにも時間を要してしまうが、本発明では、撮影領域内の有効な領域の情報のみを取り扱うため、処理時間や消費電力の問題は発生しない。
【０１７５】
光電変換センサ制御手段６ｃは、一般に用いられるＣＣＤセンサやＣＭＯＳイメージセンサを稼働制御するものと同等のもので、光電変換センサ５ｂ上の全画素を駆動させ全画素の情報を読み出し、撮影領域内の鮮明な画像を取得するための制御信号を発生する。
【０１７６】
アナログ処理回路３ｂは、光電変換センサ５ｂの映像情報を入力とし、光電変換センサ５ｂの画素数と同数の処理回路ブロックを持ち、処理回路を構成するアナログ回路によって全ブロックで並列に画像処理を行う。この画像処理回路では、映像内の物体の形状や物体の動きを実時間で検出する。また、このアナログ処理回路を用いることで、ＣＰＵ等を用いたディジタルの画像処理に比べ消費電力を低減できる。ここで、図１４を用い、アナログ処理回路３ｂの構成について説明する。
【０１７７】
図１４は、本実施の形態におけるアナログ処理回路３ｂの画素回路の構成を表す回路図である。
【０１７８】
図１４に示すように、アナログ処理回路３ｂの構成は、前記第１の実施形態のＩＶＳ３において、光電変換部１００の代わりに、外部すなわち光電変換センサ５ｂからの映像情報を用いる構成とする。
【０１７９】
図１３に戻り、アナログ処理回路制御手段４ｂは、アナログ処理回路３ｂが光電変換センサ５ｂからの映像情報を取得し、物体の形状や物体の動きを検出するための制御信号を発生する。ここで、図１５を用い、アナログ処理回路制御手段４ｂの構成について説明する。
【０１８０】
図１５は、本実施の形態におけるアナログ処理回路制御手段４ｂの構成を表すブロック図である。
【０１８１】
図１５に示すように、アナログ処理回路制御手段４ｂのブロック構成は、実施の形態１におけるＩＶＳ制御手段４（図７参照）の光電変換制御部４２をもたない構成となる。
【０１８２】
図１３に戻り、情報統合手段７は、前記第２の実施形態と同様、アナログ処理回路３ｂから出力されるＩＶＳ座標信号とＩＶＳ特徴信号と、光電変換センサ５ｂから出力される撮影領域全体を鮮明にとらえた映像情報を入力とし、撮影領域内の注視領域の鮮明な画像を出力とする。アナログ処理回路３ｂによって検出された注視領域に相当する領域の光電変換センサ５ｂの映像出力のみを切り出し、後段に必要な部分のみの鮮明な映像を出力する。
【０１８３】
（フローチャート）
次に、本発明の本発明に係る第３の実施形態に係る処理フローについて図１６を用いて説明する。
【０１８４】
図１６は、本実施の形態に係るセンサシステム５２の処理の流れを表すフローチャートである。
【０１８５】
まず、センサシステム５２の動作が開始されると(ステップＳ３-１０)、光電変換センサ５ｂにて、撮影領域全体の鮮明な映像を取得する(ステップＳ３-２０)。次に、アナログ処理回路制御手段４ｂのＩＶＳ駆動情報発生部４１は、スイッチ制御情報、画素選択情報をアナログ処理回路３ｂに出力する。アナログ処理回路３ｂは、スイッチ制御情報、画素選択情報が入力されると、光電変換センサ５ｂにて取得した撮影領域の映像を画像処理し、∇２Ｇ近似画像と時間差分画像を出力する(ステップＳ３-３０)。
【０１８６】
次に、アナログ処理回路３ｂは、計測エリア内に特定の形状や特定の動きが存在するかを判定し、どの画素にどのような特徴が存在するかを示すＩＶＳ特徴情報を検出する(ステップＳ３-３１)。
【０１８７】
次に、情報統合手段７の読み出し画素選択部７１にて、前段で検出された各画素のＩＶＳ特徴情報に基づいて撮影領域内の注視すべき領域の有無を判定する(ステップＳ３-３２)。
【０１８８】
読み出し画素選択部７１にて、上記注視領域が存在しないと判定された場合(ステップＳ３-３２のＮＯ)は、再びＩＶＳ３での画像取得と画像処理のステップ(ステップＳ３-２０)へ戻る。一方、読み出し画素選択部７１にて注視すべき領域が存在すると判定された場合(ステップＳ３-３２のＹＥＳ)は、光電変換センサ５ｂの映像出力のうち注視すべきと判定された画素領域に相当する出力部分のみを切り出し、すなわち注視領域のみを読み出し(ステップＳ３-４０)、鮮明な映像を出力する(ステップＳ３-５０)。その後、再び光電変換センサ５ｂでの画像取得(ステップＳ１-２)へ戻り、上記フローを繰り返す。
【０１８９】
ここで、本実施形態では、ＩＶＳ３とＣＣＤ５とでは全く同じ像を取り扱う。よって、ＩＶＳ３で注視すべきと判定された領域に相当するＣＣＤ５の領域の情報をよみだす。ＩＶＳ座標情報をＣＣＤ座標情報に変更する方法は、例えばＣＣＤ５の解像度がＩＶＳ３の解像度に対し、縦横ともに２倍ならば、ＩＶＳ座標を２倍することで相当するＣＣＤ座標を求めることができる。つまり、ＩＶＳ３とＣＣＤ５との解像度の比によって、一意に変換することができる。
【０１９０】
〔４．実施の形態４〕
次に、本発明に係る第４の実施形態の構成を、図１７〜図１９を参照して説明する。
【０１９１】
図１７は、本実施の形態に係るセンサシステム５３の構成を表す概略図である。
【０１９２】
図１７に示すように、センサシステム５３は、ＩＶＳ３と、ＩＶＳ制御手段４と、外界の光を屈折させＩＶＳ３上に光情報を集束させるためのレンズ１ａとが複数設けられている。さらに、センサシステム５３は、レンズ１ｂと、カメラボックス８と、カメラボックス駆動手段９と、レンズ制御手段１０と、カメラボックス駆動制御手段１１とを備えている。
【０１９３】
カメラボックス８は、ＣＣＤ５と、ＣＣＤ５上に光情報を集束させるレンズ１ｂと、ＣＣＤ５を稼働するための制御信号を発生するＣＣＤ制御手段６ｂとをマウントしたケースである。レンズ１ｂは、外界の光を屈折させＣＣＤ５に上に光情報を集束させる。なお、ＩＶＳ３、ＩＶＳ制御手段４は実施の形態１と同様であり、ＣＣＤ５、ＣＣＤ制御手段６ｂは、実施の形態２と同様であるため説明を省略する。
【０１９４】
カメラボックス駆動手段９は、前記カメラボックス８の向きを変えＣＣＤ５で撮影する撮影領域を変更するための手段であり、例えば、モータによって水平回転と垂直回転とを行うことができるようにしたものである。
【０１９５】
レンズ制御手段１０は、ＣＣＤ５に光情報を集束させるためのレンズ１ｂの焦点距離などを変更する手段で、ズームイン、ズームアウトを実現し、ＣＣＤ５で撮影する撮影領域を変更するためのものである。
【０１９６】
カメラボックス駆動制御手段１１は、上記複数のＩＶＳ３のそれぞれから出力されるＩＶＳ座標情報と、ＩＶＳ特徴情報とが入力される。
【０１９７】
カメラボックス駆動制御手段１１は、このＩＶＳ座標情報と、ＩＶＳ特徴情報とに基づいて、カメラボックス駆動手段９およびレンズ制御手段１０の駆動を制御する。これによりカメラボックス駆動制御手段１１は、カメラボックス８の方向やレンズ１の焦点距離を変更し、ＣＣＤ５が撮影する撮影領域を変更する。つまり、撮影領域内においてＩＶＳ３によって検出されたＩＶＳ注視映像情報に対応するＣＣＤ注視映像情報のみの鮮明な映像を取得する。このときカメラボックス駆動制御手段１１は、複数のＩＶＳ３からの信号を入力としてもよい。
【０１９８】
次に、図１８を用い、カメラボックス駆動制御手段１１の構成を説明する。
【０１９９】
図１８は、カメラボックス駆動制御手段１１の構成の概略を表すブロック図である。
【０２００】
図１８に示すように、カメラボックス駆動制御手段１１は、ＣＣＤ注視領域演算部（カメラボックス制御手段）１１１と、ＣＣＤカメラ撮影アングル制御部（カメラボックス制御手段）１１２と、レンズ制御部（カメラボックス制御手段）１１３とを備えている。
【０２０１】
カメラボックス駆動制御手段１１は、ＩＶＳ３から出力されるＩＶＳ座標情報とＩＶＳ特徴情報とを入力とし、カメラボックス駆動手段９を制御するためのカメラボックス駆動制御情報、およびレンズ制御手段１０の駆動を制御するためのレンズ制御情報を出力する。
【０２０２】
ＣＣＤ注視領域演算部１１１は、ＣＣＤ５の撮影領域において、ＩＶＳ３から出力されるＩＶＳ座標情報に対応する領域のみの鮮明な映像を取得するために、ＩＶＳ３によって検出されたＩＶＳ座標情報がＣＣＤ５の映像出力のどの座標領域に相当するかを演算することにより座標変換を行う。この変換された座標がＣＣＤ座標情報である。ＣＣＤ注視領域演算部１１１はＣＣＤ座標情報をＣＣＤカメラ撮影アングル制御部１１２、およびレンズ制御部１１３に出力する。
【０２０３】
ＣＣＤカメラ撮影アングル制御部１１２は、ＣＣＤ注視領域演算部１１１から出力されるＣＣＤ座標情報が入力されると、入力された座標をＣＣＤ５が撮影できるように、カメラボックス８の方向を変更するためのカメラ駆動制御情報を発生する。
【０２０４】
レンズ制御部１１３は、ＣＣＤ注視領域演算部１１１にて演算されたＣＣＤ座標情報が示す座標をＣＣＤ５が撮影し、ＣＣＤ５が全体で注視領域を撮影できるように、レンズ１ｂの焦点距離を変更するためのレンズ制御情報を発生する。
【０２０５】
（フローチャート）
次に、本発明の本発明に係る第４の実施形態に係る処理フローについて図１９を用いて説明する。
【０２０６】
まず、センサシステム５３の動作が開始されると(ステップＳ４-１)、ＩＶＳ制御手段４のＩＶＳ駆動情報発生部４１は、スイッチ制御情報、画素選択情報をＩＶＳ３の画素選択部３１に出力する。画素選択部３１は、スイッチ制御情報、画素選択情報が入力されると画素を順次選択する。また、画素選択部３１に、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報が入力され、選択した画素のそれぞれに出力する。そして、選択された画素のそれぞれは、画像処理された映像情報であるＩＶＳ映像情報(∇２Ｇ近似画像および時間差分画像)をＩＶＳ３の注視領域判定部３２に出力する(ステップＳ４-２)。
【０２０７】
次に、注視領域判定部３２は、上記選択されたそれぞれの画素から入力されるＩＶＳ映像情報から、撮影領域内に特定の形状や特定の動きが存在するかを判定し、どの画素にどのような特徴が存在するかのＩＶＳ特徴情報を検出する。そしてカメラボックス駆動制御手段１１のＣＣＤ注視領域演算部１１１に出力する（ステップＳ４-３）。
【０２０８】
次に、ＣＣＤ注視領域演算部１１１にて、前段で検出された各画素のＩＶＳ特徴情報に基づいてＩＶＳ３の撮影領域内の注視すべき領域（注視領域）が存在するか否かを判定する(ステップＳ４-４)。
【０２０９】
そして、ＣＣＤ注視領域演算部１１１にて、注視すべき領域が存在しないと判定された場合(ステップＳ４-４のＮＯ)は、再びＩＶＳ３での画像取得と画像処理のステップ(ステップＳ４-２)へ戻る。一方、ＣＣＤ注視領域演算部１１１にて注視すべき領域が存在すると判定された場合(ステップＳ４-４のＹＥＳ)は、ＩＶＳ３画素上で注視すべきと判定された画素領域がＣＣＤ５画素上でどの画素領域に相当するかを、カメラボックス駆動制御手段１１のＣＣＤ注視領域演算部１１１にて座標変換する。すなわち、ＣＣＤ注視領域演算部１１１はＩＶＳ座標情報をＣＣＤ座標情報に変換する。そして、ＣＣＤ注視領域演算部１１１は変換したＣＣＤ座標情報をＣＣＤカメラ撮影アングル制御部１１２と、レンズ制御部１１３とに出力する(ステップＳ４-５)。
【０２１０】
次に、ＣＣＤカメラ撮影アングル制御部１１２と、レンズ制御部１１３とは入力されるＣＣＤ座標情報に基づいて、カメラボックス駆動手段９とレンズ制御手段１０とを駆動するためのカメラ駆動制御情報、およびレンズ制御情報を出力する。そして、ＣＣＤ５が撮影する領域が変更される(ステップＳ４-６)。次に、ＣＣＤ５によって撮影領域内の注視領域の鮮明な映像を撮影する(ステップＳ４-７)。その後、再びＩＶＳ３での画像取得と画像処理(ステップＳ４-２)へ戻り、上記フローを繰り返す。
【０２１１】
〔５．実施の形態５〕
次に、本発明に係る第５の実施形態の構成を、図２０〜２３を参照して説明する。
【０２１２】
図２０は、本実施の形態に係るセンサシステム５４の構成を表す概略図である。
【０２１３】
実施の形態４のセンサシステム５３と、実施の形態５に記載のセンサシステム５４とで異なるのは、センサシステム５４では、カメラボックス駆動制御手段１１を省略した構成となっている点である。
【０２１４】
図２０に示すように、センサシステム５４は、レンズ１ａと、ＩＶＳ３と、ＩＶＳ制御手段４とが複数設けられている。さらに、センサシステム５４は、レンズ１ｂと、カメラボックス８と、カメラボックス駆動手段９と、レンズ制御手段１０とを備えている。
【０２１５】
カメラボックス８は、ＣＣＤ５と、ＣＣＤ５上に光情報を集束させるレンズ１ｂと、ＣＣＤ５を稼働するための制御信号を発生するＣＣＤ制御手段６ｅとをマウントしたケースである。なお、ＩＶＳ３、ＩＶＳ制御手段４は実施の形態１と同様であり、ＣＣＤ５は、実施の形態２と同様であるため説明を省略する。
【０２１６】
ＣＣＤ制御手段６ｅは、ＩＶＳ３によって検出された特定の形状や特定の動きの存在するＩＶＳ特徴情報を入力とする。また、ＣＣＤ制御手段６ｅは、ＣＣＤ５が視野内の有効な領域に相当する撮影領域のみの映像情報を読み出すため、カメラボックス８の方向を変更するための駆動を行うカメラボックス駆動手段９や、レンズ１ｂの焦点を制御するレンズ制御手段１０へ制御信号を出力とする。加えて、カメラボックス８やレンズ１ｂを駆動することで注視領域をＣＣＤ５上に捉えた上で、さらに映像情報を出力する画素を選択し、注視領域の中でもより有用な情報のみを抽出した映像を出力するための制御信号をＣＣＤへ出力する。つまり、ＣＣＤ制御手段６ｅは、計測エリア内の特定の形状や特定の動きが存在する領域のみの、鮮明な映像を取得するための制御を行う。このときＣＣＤ制御手段６ｅは、複数のＩＶＳ３からの信号を入力としてもよい。
【０２１７】
次に、本実施の形態におけるセンサシステム５４の各ブロックについて説明する。
【０２１８】
ＩＶＳ３、ＩＶＳ制御手段４、およびＣＣＤ５は、第１の実施形態と同様の構成である。
【０２１９】
図２１は、ＣＣＤ制御手段６ｅの構成を表すブロック図である。
【０２２０】
図２１に示すように、ＣＣＤ制御手段６ｅは、読み出し画素選択部（選択手段）６１、ＣＣＤ駆動情報発生部６２、レンズ制御部（カメラボックス制御手段）６３、撮影アングル制御部（カメラボックス制御手段）６４を備えている。
【０２２１】
ＣＣＤ制御手段６は、ＩＶＳ３から出力されるＩＶＳ座標情報とＩＶＳ特徴情報とを入力とし、ＣＣＤ５が撮像する領域を変更するための制御信号をＣＣＤ５、カメラボックス駆動手段９、レンズ制御手段１０へ与える。
【０２２２】
読み出し画素選択部６１は、ＩＶＳ３によって特定の形状や特定の動きが検出された撮影領域の一部（注視領域）の鮮明な画像を取得するためにＣＣＤ５へ制御信号を与える。具体的には、ＩＶＳ３から入力されるＩＶＳ座標情報をＣＣＤ座標情報に変換する。すなわち、読み出し画素選択部６１は、ＣＣＤ５における上記ＩＶＳ座標情報に対応し、鮮明な映像を読み出す画素を選択する。
【０２２３】
ＣＣＤ駆動情報発生部６２は、通常のＣＣＤを駆動させ映像情報を得るのと同様に、ＣＣＤ５を駆動させ映像情報を得るためのＣＣＤ駆動情報（座標選択情報、スイッチ情報、バイアス情報等）をＣＣＤ５に出力する。このとき、スイッチ情報やバイアス情報は、映像情報を読み出す画素だけに与えても、もしくは全画素に与えてもよいが、映像出力は、読み出し画素選択部６１によって選択された画素のみ取得する。この取得した映像情報がＣＣＤ注視映像情報である。
【０２２４】
レンズ制御部６３は、ＣＣＤ５に光情報を集束するレンズ１ｂの焦点距離や画角度などを変更しズームインやズームアウトを行うレンズ制御信号を出力する。これにより、ＣＣＤ５はＣＣＤ注視映像情報をＣＣＤ５全体でとらえるように制御を行う。
【０２２５】
撮影アングル制御部６４は、ＩＶＳ３によって検出された注視領域をＣＣＤ５にて撮影するためにカメラボックス８の向きを変更するためのカメラボックス駆動制御情報をカメラボックス駆動手段９に出力する。また、ＣＣＤ制御手段６は、ＩＶＳ３で注視領域が検出されない時は、ＣＣＤ５の駆動を停止することで、消費エネルギーを低減することができる。
【０２２６】
（フローチャート）
次に、図２２を用い、本実施の形態に係るセンサシステム５４の処理の流れについて説明する。
【０２２７】
図２２は、センサシステム５４の処理の流れを表すフローチャートである。
【０２２８】
まず、センサシステム５４の動作が開始されると(ステップＳ５-１)、ＩＶＳ制御手段４のＩＶＳ駆動情報発生部４１は、スイッチ制御情報、画素選択情報をＩＶＳ３の画素選択部３１に出力する。画素選択部３１は、スイッチ制御情報、画素選択情報が入力されると画素を順次選択する。また、画素選択部３１に、光電変換制御情報、抵抗回路網制御情報、アンプ制御情報が入力され、選択した画素のそれぞれに出力する。そして、選択された画素のそれぞれは、画像処理された映像情報であるＩＶＳ映像情報(∇２Ｇ近似画像および時間差分画像)をＩＶＳ３の注視領域判定部３２に出力する(ステップＳ５-２)。
【０２２９】
次に、注視領域判定部３２は、上記選択されたそれぞれの画素から入力されるＩＶＳ映像情報から、撮影領域内に特定の形状や特定の動きが存在するかを判定し、どの画素にどのような特徴が存在するかのＩＶＳ特徴情報を検出する。そして、注視領域判定部３２は、検出したＩＶＳ特徴情報をＣＣＤ制御手段６ｅの読み出し画素選択部６１に出力する(ステップＳ５-３)。
【０２３０】
次に、ＣＣＤ制御手段６ｅの読み出し画素選択部６１にて、前段で検出された各画素のＩＶＳ特徴情報に基づいてＩＶＳ３の撮影領域内の注視すべき領域が存在するか否かを判定する(ステップＳ５-４)。
【０２３１】
そして、読み出し画素選択部６１にて、注視すべき領域が存在しないと判定された場合(ステップＳ５-４のＮＯ)は、再びＩＶＳ３での画像取得と画像処理のステップ(ステップＳ５-２)へ戻る。一方、読み出し画素選択部６１にて注視すべき領域が存在すると判定された場合(ステップＳ５-４のＹＥＳ)は、ＩＶＳ３画素上で注視すべきと判定された画素領域がＣＣＤ５画素上でどの画素領域に相当するかを、ＣＣＤ制御手段６ｅの読み出し画素選択部６１にて座標変換する。すなわち読み出し画素選択部６１はＩＶＳ座標情報をＣＣＤ座標情報に変換する(ステップＳ５-５)。
【０２３２】
次に、上記ＣＣＤ座標情報が入力されると、ＣＣＤ駆動情報発生部６２は、座標選択情報、スイッチ情報、およびバイアス情報をＣＣＤ５に出力する。また、上記ＣＣＤ座標情報が入力されるとレンズ制御部６３は、レンズ制御情報をレンズ制御手段１０に出力する。さらに、上記ＣＣＤ座標情報が入力されると撮影アングル制御部６４はカメラボックス駆動制御情報をカメラボックス駆動手段９に出力する(ステップＳ５-６)。
【０２３３】
そして、カメラボックス８とレンズ１ｂが駆動され、ＣＣＤ５が注視領域を捉えたら、次に、ＣＣＤ５によって撮影領域内の注視領域に相当する画素のみを読み出し(ステップＳ５-７)、注視領域の鮮明な映像（ＣＣＤ注視映像情報）を出力する(ステップＳ５-８)。その後、再びＩＶＳ３での画像取得と画像処理(ステップＳ５-２)へ戻り、上記フローを繰り返す。
【０２３４】
なお、上記、実施形態１から実施形態５は、計測する刺激を光刺激としているが、計測する対象を温度、圧力、音、などその他の刺激を対象とし、前述の光電変換をする部分に温度、圧力、音などを電気信号に変換する素子を用いてもかまわない。たとえば、温度センサが２次元的に配置されることにより温度の面分布を検出することができるサーモカメラなどのセンサを用いてもよい。その他、圧力または音などを検出する素子を２次元的に配置されることにより圧力または音などの面分布を検出することができるセンサを用いていもよい。
【０２３５】
〔６．センサシステムの動作説明〕
次に、図２３、図２４を用い、本発明のセンサシステム５０〜５４の動作について説明する。
【０２３６】
図２３は、本発明に係るセンサシステムの映像の処理の一例を示す説明図であり、センサシステム５０〜５４への入力映像、ＩＶＳ３の出力映像、およびセンサシステム５０〜５４の出力映像の一例を示している。また、それぞれの映像は、時間的に連続する画像で表している。
【０２３７】
図２３の例では、背景として家と木が存在する撮影領域で、人が画面左から右へ横切ったシーンを入力画像とする。このシーンを本発明のセンサシステム５０〜５４にて計測した場合、まず、センサシステム５０〜５４の構成要素であるＩＶＳ３によって、撮影領域を横切る人のみをリアルタイムで検出することができる。
【０２３８】
次に、このＩＶＳ３で検出された人、すなわち注視対象の座標を示す情報であるＩＶＳ座標情報取得され、センサシステムの構成要素であるＣＣＤ上のどの画素領域に相当するかを座標変換され、ＣＣＤ座標情報として取得する。そして、ＣＣＤ５をマウントしたカメラボックスの方向やレンズを駆動し、注視対象である人を撮影する。これによって、センサシステム５０〜５４では、撮影領域内を移動する人のみを鮮明に撮影することができる。
【０２３９】
次に図２４を用い、センサシステム５０〜５４を監視システムとして設置した場合について説明する。
【０２４０】
図２４は、センサシステム５０〜５４を監視システムとして設置した場合の説明図である。
【０２４１】
図２４では、センサシステム５０〜５４を監視システムとして設置した場合、システムの構成要素であるＩＶＳとＣＣＤのそれぞれが撮影する領域を示している。また、図２４の例では、撮影領域を人が移動しているシーンである。
【０２４２】
ＩＶＳ３は幅広いエリアを撮影し特定の形状や特定の動きをする物体を検出する。そして検出した物体の座標をＩＶＳ特徴情報として取得する。一方でＣＣＤ５は、ＩＶＳ３にて注視すべきと判定された領域である注視領域のみを撮影することになる。すなわち、ＣＣＤ５の撮影領域内のごく一部のみを撮影することとなる。
【０２４３】
従来のＣＣＤを用いた映像監視システムでは、撮影領域全体の精細な画像を取得し、取得した画像全体に対して高次な処理を施していた。つまり、図２３の例であれば、撮影領域を横切る人を抽出するために、家や木の部分まで精細に撮影し、時間を費やして画像処理を施していた。
【０２４４】
これに対し本発明のセンサシステムでは、ＩＶＳ３によって撮影領域内の注視すべき領域を指定し、その指定された領域のみをＣＣＤ５で撮影する。よって、後段の処理にとって不要な情報が含まれない、必要な情報のみが抽出された映像情報が出力され、さらに高次な画像処理、例えば文字認証や個人認証などを高速で実現することが可能となる。
【０２４５】
以上のように、本実施の形態のセンサシステム５０〜５４によると、撮影領域内の有用な領域、言い換えると特定の形状や特定の動きが存在する領域のみ高精細な映像を実時間で取得すことができる。このことにより、センサシステム５０〜５４の後段では有用な情報のみが抽出された信号を用いて判定や認識を行うことができるため、処理を高速化することができる。さらに、センサシステム５０〜５４では、撮影領域内で注視領域を判定する際に、ＩＶＳ３を用いており、注視領域が存在しない場合は、ＣＣＤ５の稼働を停止することが好ましい。これにより、消費電力を大幅に低減することができる。加えて、広大なエリアを映像情報を利用して監視する場合など、膨大な数のカメラを設置する必要がある状況においては、本発明のセンサシステムを用いることで、１つのセンサユニットから出力される情報量を低減できるため、複数のセンサユニットを統括するセンタ処理システムの負担や、センタまで情報を転送するための転送経路への負担を大幅に軽減することができる。
【０２４６】
〔７．補足〕
また、本発明の情報処理装置は、下記の構成により実現されてもよい。
【０２４７】
すなわち、本発明の情報処理装置は、計測対象からの入力刺激に応じた電気信号を出力する素子をアレイ状に配したセンサアレイ部と、計測対象からの入力刺激に応じ電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し出力するインテリジェントセンサ部とを備える構成であってもよい。
【０２４８】
また、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配したイメージセンサ部と、入力された光刺激に応じ電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理とを行うインテリジェントイメージセンサ部とを備える構成であってもよい。
【０２４９】
さらに、本発明の情報処理装置は、計測対象からの入力刺激に応じた電気信号を出力する素子をアレイ状に配したセンサアレイ部と、前記センサアレイ部が電気信号を出力するための動作を制御するセンサアレイ制御部と、計測対象からの入力刺激に応じ電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理するインテリジェントセンサ部と、前期インテリジェントセンサ部が電気信号を出力するための動作を制御するインテリジェントセンサ制御部とを備えるセンサシステムにおいて、インテリジェントセンサ部の出力信号に基づきセンサ制御部での動作が決定される構成であってもよい。
【０２５０】
また、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配したイメージセンサ部と、前記イメージセンサ部が電気信号を出力するための動作を制御するイメージセンサ制御部と、入力された光刺激に応じた電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理とを行うインテリジェントイメージセンサ部と、前期インテリジェントイメージセンサ部が処理を実施するための動作を制御するインテリジェントイメージセンサ制御部とを備えるセンサシステムにおいて、インテリジェントイメージセンサ部の出力信号に基づきイメージセンサ制御部の動作を決定する構成であってもよい。
【０２５１】
さらに、本発明の情報処理装置は、前記インテリジェントイメージセンサ部はエリア内の物体の動きすなわち時間的に映像に輝度変化のあった領域を検出でき、前記イメージセンサ部は前記インテリジェントイメージセンサ部が出力する前記時間的に映像に変化のあった領域に相当する画素領域の信号のみを出力する構成であってもよい。
【０２５２】
また、本発明の情報処理装置は、前記インテリジェントイメージセンサ部はエリア内の物体の特定の形状を検出でき、前記イメージセンサ部は前記インテリジェントイメージセンサ部が出力する特定の形状の物体が存在する領域に相当する画素領域の信号のみを出力する構成であってもよい。
【０２５３】
さらに、本発明の情報処理装置は、前記インテリジェントイメージセンサ部は映像中の形状や特徴点の移動速度を検出することができ、前記イメージセンサ部は前記インテリジェントイメージセンサ部が出力する前記物体が所定の形状で特定の運動をしていると検出された領域に相当するイメージセンサ上の画素領域の信号のみを出力する構成であってもよい。
【０２５４】
また、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配したイメージセンサ部と、前記イメージセンサ部が電気信号を出力するための動作を制御するイメージセンサ制御部と、入力された光刺激に応じた電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理とを行うインテリジェントイメージセンサ部と、前期インテリジェントイメージセンサ部が電気信号を出力するための動作を制御するインテリジェントイメージセンサ制御部とを備えるセンサシステムにおいて、イメージセンサ部の出力信号とインテリジェントイメージセンサ部の出力信号とを統合し処理する情報統合部を備える構成であってもよい。
【０２５５】
さらに、本発明の情報処理装置は、前記インテリジェントイメージセンサ部はエリア内の物体の動きすなわち時間的に映像に輝度変化のあった領域を出力することができ、前記情報統合部は前記インテリジェントイメージセンサ部が出力する前記時間的に映像に輝度変化のあった領域に相当するイメージセンサの画素領域の信号のみを出力する構成であってもよい。
【０２５６】
また、本発明の情報処理装置は、前記インテリジェントイメージセンサ部はエリア内の物体の特定の形状を検出でき、前記情報統合部は前記インテリジェントイメージセンサ部が出力する特定の形状の物体が存在する領域に相当するイメージセンサの画素領域の信号のみを出力する構成であってもよい。
【０２５７】
さらに、本発明の情報処理装置は、前記インテリジェントイメージセンサ部は映像中の形状や特徴点の移動速度を検出することができ、前記情報統合部は前記インテリジェントイメージセンサ部が出力する前記物体が所定の形状で特定の運動をしていると検出された領域に相当するイメージセンサの画素領域の信号のみを出力する構成であってもよい。
【０２５８】
また、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配した光電変換センサ部と、前記光電変換センサ部が電気信号を出力するための動作を制御する光電変換センサ制御部と、前記光電変換センサ部の出力を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理を行うアナログ処理回路部と、前期アナログ処理回路部が光電変換センサ部の電気信号を受け処理を行うための動作を制御するアナログ処理回路制御部と、光電変換センサ部の出力信号とアナログ処理部の出力信号とを統合し処理する情報統合部を備える構成であってもよい。
【０２５９】
さらに、本発明の情報処理装置は、前記アナログ処理回路部は映像中の物体の動きすなわち時間的に映像に輝度変化、特定の形状、特徴点の移動速度を検出することができ、前記情報統合部は前記インテリジェントイメージセンサ部が出力する前記検出信号を用い、物体が動いている領域、特定の運動をしている領域、特定の形状の物体が存在する領域のいずれか１つに相当するイメージセンサの画素領域の信号のみを出力する構成であってもよい。
【０２６０】
また、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配したイメージセンサ部と、前記イメージセンサ部が電気信号を出力するための制御を行うイメージセンサ制御部と、前記イメージセンサに対し外界の映像を結ぶレンズと、前記レンズがイメージセンサ上に結ぶ像を制御するレンズ駆動部と、前記イメージセンサ、イメージセンサ制御部、レンズ、レンズ制御部がマウントされたカメラボックスと、前記カメラボックスの向きを変え撮影するエリアを変更するためのカメラボックス駆動部と、入力された光刺激に応じた電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理とを行うインテリジェントイメージセンサ部と、前期インテリジェントイメージセンサ部が電気信号を出力するための動作を制御するインテリジェントイメージセンサ制御部とを備えるセンサシステムにおいて、インテリジェントイメージセンサ部の出力信号に基づいて、前記カメラボックス駆動部および前記レンズ駆動部を制御し、イメージセンサの撮影エリアを制御するイメージセンサカメラボックス制御部とを備える構成であってもよい。
【０２６１】
さらに、本発明の情報処理装置は、入力された光刺激に応じた電気信号を出力する素子をアレイ状に配したイメージセンサ部と、前記イメージセンサに対し外界の映像を結ぶレンズと、前記レンズがイメージセンサ上に結ぶ像を制御するレンズ駆動部と、前記イメージセンサ、レンズ、レンズ制御部がマウントされたカメラボックスと、前記カメラボックスの向きを変え、イメージセンサが撮影するエリアを変更するためのカメラボックス駆動部と、入力された光刺激に応じた電気信号を発生する素子をアレイ状に配しさらにこの前記アレイ上に配した素子の発生する電気信号を抵抗回路網を含んだアナログ回路で並列処理し形をとらえる処理と動きをとらえる処理とを行うインテリジェントイメージセンサ部と、前期インテリジェントイメージセンサ部が電気信号を出力するための動作を制御するインテリジェントイメージセンサ制御部とを備えるセンサシステムにおいて、インテリジェントイメージセンサ部の出力信号に基づいて、前記カメラボックス駆動部および前記レンズ駆動部を制御し、イメージセンサで撮影するエリアを変更するとともに、イメージセンサの撮影を制御するイメージセンサ制御部とを備える構成であってもよい。
【０２６２】
なお、本発明は上述した各実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施の形態あるいは変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。すなわち、発明を実施するための最良の形態の項においてなした具体的な実施態様または変形例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求の範囲内で、いろいろと変更して実施することができるものである。
【産業上の利用可能性】
【０２６３】
本発明は、撮影領域内で注視すべき領域の情報のみを高精細な映像として取得することができるため、監視カメラなどの画像処理装置に適用できるばかりでなく、取得するデータの中で必要なデータのみを抽出することが必要な情報処理装置に広く適用できる。
【図面の簡単な説明】
【０２６４】
【図１】本発明の実施の一形態に係るセンサシステムの構成を表す概略図である。
【図２】本発明の実施の一形態に係るセンサシステムの構成を表し、図１におけるセンサシステムの変形例の構成を表す概略図である。
【図３】本発明の実施の一形態に係るセンサシステムのＩＶＳを構成する画素回路の構成を表す回路図である。
【図４】本発明の実施の一形態に係るセンサシステムのＩＶＳを構成する画素回路に含まれる光電変換部の構成を表す回路図である。
【図５】本発明の実施の一形態に係るセンサシステムのＩＶＳを構成する画素回路の構成を表し、図３に示すアナログ演算器の構成を表す回路図である。
【図６】本発明の実施の一形態に係るセンサシステムのＩＶＳの構成を表す平面図である。
【図７】本発明の実施の一形態に係るセンサシステムのＩＶＳ制御手段の構成を表すブロック図である。
【図８】本発明の実施の一形態に係るセンサシステムのＣＣＤ制御手段の構成を表すブロック図である。
【図９】本発明の実施の一形態に係るセンサシステムの処理の流れを表すフローチャートである。
【図１０】図１０（ａ）は、本発明の実施の一形態に係るセンサシステムの構成を表し、情報統合手段を含む場合の構成の概略図であり、図１０（ｂ）は図１０（ａ）のセンサシステムにおいて、ＩＶＳとＣＣＤとのそれぞれにレンズを設けた場合の構成を表す概略図である。
【図１１】本発明の実施の一形態に係るセンサシステムの情報統合手段の構成の概略を表すブロック図である。
【図１２】図１０（ａ）および図１０（ｂ）に示すセンサシステムの処理の流れを表すフローチャートである。
【図１３】本発明の実施の一形態に係るセンサシステムの構成を表し、アナログ処理回路の光電変換素子を省略した場合の構成を表す概略図である。
【図１４】図１３におけるセンサシステムのアナログ処理回路の画素回路の構成を表す回路図である。
【図１５】図１３におけるセンサシステムのアナログ処理回路制御手段の構成を表すブロック図である。
【図１６】図１３におけるセンサシステムの処理の流れを表すフローチャートである。
【図１７】本発明の実施の一形態に係るセンサシステムの構成を表し、ＣＣＤがカメラボックスに含まれている場合の構成を表す概略図である。
【図１８】図１７におけるセンサシステムのカメラボックス駆動制御手段の構成を表すブロック図である。
【図１９】図１７におけるセンサシステムの処理の流れを表すフローチャートである。
【図２０】本発明の実施の一形態に係るセンサシステムの構成を表し、図１７に示すセンサシステムにおいてカメラボックス駆動制御手段を省略した構成を表す概略図である。
【図２１】図２０におけるセンサシステムのＣＣＤ制御手段の構成を表すブロック図である。
【図２２】図２０におけるセンサシステムの処理の流れを表すフローチャートである。
【図２３】本発明の実施の一形態に係るセンサシステムにおける映像処理の一例を示す説明図である。
【図２４】本発明の実施の一形態に係るセンサシステムを監視システムとして設置した場合の説明図である。
【符号の説明】
【０２６５】
１、１ａ、１ｂ  レンズ
３      ＩＶＳ（第１センサ手段）
３ｂ    アナログ処理回路（第１センサ手段）
４      ＩＶＳ制御手段
４ｂ    アナログ処理回路制御手段
５      ＣＣＤ（第２センサ手段）
５ｂ    光電変換センサ（第２センサ手段）
６、６ｂ、６ｃ、６ｅ  ＣＣＤ制御手段
７      情報統合手段（第２映像情報抽出手段）
８      カメラボックス
９      カメラボックス駆動手段
１０    レンズ制御手段
１１    カメラボックス駆動制御手段（カメラボックス制御手段）
３１    画素選択部
３２    注視領域判定部（座標情報取得手段）
４１    ＩＶＳ駆動情報発生部
４２    光電変換制御部
４３    抵抗回路網制御部
４４    アンプ制御部
５０、５１、５２、５３、５４  センサシステム（情報処理装置）
６１    読み出し画素選択部（選択手段）
６２    ＣＣＤ駆動情報発生部
６３    レンズ制御部（カメラボックス制御手段）
６４    撮影アングル制御部（カメラボックス制御手段）
７１    読み出し画素選択部（選択手段）
１００  光電変換部（第１入力刺激変換素子）
１１１  ＣＣＤ注視領域演算部（カメラボックス制御手段）
１１２  ＣＣＤカメラ撮影アングル制御部（カメラボックス制御手段）
１１３  レンズ制御部（カメラボックス制御手段）
２００  アナログ処理部
２０１，２０５  抵抗回路網（アナログ回路網）
２０４，２０９  アナログ演算器（アナログ回路網）
３００  画素回路
【図１】
2009296268.tif 000003
【図２】
2009296268.tif 000004
【図３】
2009296268.tif 000005
【図４】
2009296268.tif 000006
【図５】
2009296268.tif 000007
【図６】
2009296268.tif 000008
【図７】
2009296268.tif 000009
【図８】
2009296268.tif 000010
【図９】
2009296268.tif 000011
【図１０】
2009296268.tif 000012
【図１１】
2009296268.tif 000013
【図１２】
2009296268.tif 000014
【図１３】
2009296268.tif 000015
【図１４】
2009296268.tif 000016
【図１５】
2009296268.tif 000017
【図１６】
2009296268.tif 000018
【図１７】
2009296268.tif 000019
【図１８】
2009296268.tif 000020
【図１９】
2009296268.tif 000021
【図２０】
2009296268.tif 000022
【図２１】
2009296268.tif 000023
【図２２】
2009296268.tif 000024
【図２３】
2009296268.tif 000025
【図２４】
2009296268.tif 000026