(57)【要約】  【課題】見かけ上の転送速度を上げることによって、リアルタイムでの対象の識別を可能とする画像識別システムを提供する。  【解決手段】イメージセンサ１１を含むカメラ１０と識別部２１を含む識別制御装置２０とはＵＳＢで接続されている。識別部２１は、イメージセンサ１１で得られた画像に対して、画像から顔を検出する第１の識別処理を行い、顔を検出した後に、目を検出する第２の識別処理を行う。制御部２４は、識別部２１が顔を検出するときに、イメージセンサ１１において駆動する撮像素子の範囲を広範囲にするとともに、その範囲内で駆動する撮像素子の解像度（密度）を低くし、識別部２１が目を検出するときには、駆動する撮像素子の範囲を顔の領域を含む小範囲にするとともに、その小範囲内において駆動する撮像素子の解像度（密度）を高くする。【選択図】図１
2017162141.tif 000002
【特許請求の範囲】
【請求項１】
二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサと、
前記イメージセンサで得られた画像に対して、特定の対象を検出する識別処理を行う識別手段と、
前記識別処理の結果に基づいて前記イメージセンサを制御する制御手段と、
前記イメージセンサと前記識別手段との間で前記画像を通信する通信手段と、
を備え、
前記識別手段は、前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行い、前記第１の対象を検出した後に、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行い、
前記制御手段は、
前記識別手段が前記第１の対象を検出するときに、駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くし、
前記識別手段が前記第２の対象を検出するときに、駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くする画像識別システム。
【請求項２】
前記制御手段は、前記第２の識別処理によって検出された前記第２の対象の位置に基づいて、前記小範囲を移動する請求項１に記載の画像識別システム。
【請求項３】
前記制御手段は、前記第２の識別処理によって前記第２の対象を検出しなくなったときに、駆動する撮像素子の範囲を広範囲とするとともに、駆動する撮像素子の解像度を低くする請求項１又は２に記載の画像識別システム。
【請求項４】
二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサと、
前記イメージセンサで得られた画像に対して、特定の対象を検出する識別処理を行う識別手段と、
前記識別処理の結果に基づいて前記イメージセンサを制御する制御装置と、
前記イメージセンサと前記識別手段との間で前記画像を通信する通信手段と、
を備えた画像認識システムにおける前記制御装置であって、
駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くして、前記識別手段に、前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行わせ、
前記識別手段が前記第１の対象を検出した後に、駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くして、前記識別手段に、前記イメージセンサで得られた画像に対して、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行わせる制御装置。
【請求項５】
二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサにおける駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くする、第１のイメージセンサ制御ステップと、
前記第１のイメージセンサ制御ステップで制御される前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行う第１の識別ステップと、
前記第１の識別ステップにて前記第１の対象を検出した後に、前記イメージセンサにおける駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くする第２のイメージセンサ制御ステップと、
前記第２のイメージセンサ制御ステップで制御される前記イメージセンサで得られた画像に対して、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行う第２の識別ステップとを含む画像識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサを含む画像識別システム及びその制御装置、並びに画像識別方法に関するものである。
【背景技術】
【０００２】
従来、カメラで撮影して得られた画像データ（以下単に「画像」ともいう。）から特定の対象（領域）を検出し、それを追跡し、さらにその対象を識別する画像識別システムが知られている。この画像識別システムによれば、例えば、画像から顔を検出し、さらにその顔の領域から目を検出して、人の視線を推定したり、人の表情を推定したりすることができる。
【０００３】
また、この画像識別システムは車載カメラシステムとして応用され、画像中の歩行者を検出し、その歩行者の画像を使って、当該歩行者が何をしているのか、あるいはその歩行者の属性（例えば、成人であるか子供であるか）を判定することができる。このような車載カメラシステムは、自動車の自動運転に活用できる。
【０００４】
上記のような画像認識システムにおいて、検出対象が画像全体のサイズに対して小さい場合、解像度の高い画像を用いる必要がある。カメラのセンサの高機能化に伴い、解像度が高い画像を得ることは容易となっているが、画像から識別処理を実行するＣＰＵやメインメモリへの転送速度が無限に向上しているわけではない。すなわち、カメラの高性能化が進んでも、カメラから画像をメインメモリに転送する速度には制限がある。
【０００５】
非特許文献１、２は、ＣＭＯＳイメージセンサを用いて特定の物体が映っている領域に対応する撮像素子だけを選択的に駆動して画像を取得する手法を提案している。これらの文献では、例として、１０２４×１０２４の撮像素子をもつカメラで複数個のボールを撮像し、ボールが映っている領域だけをデバイス側で切り出して小領域に分けてＲＡＭに転送するシステムを挙げている。これらのシステムによれば、イメージセンサの読出範囲を小範囲に限定することで、転送する画像データの容量を制限できるため、見かけ上の転送速度を上げることができる。
【０００６】
非特許文献１、２のシステムでは、最初は大サイズの画像を転送し、その大サイズの画像からボールを検出し、その後、ボールが映っている領域に対応する小範囲の撮像素子だけを駆動してそれらの信号を転送するようにしている。小範囲しか処理してなくても、フレームレートが高ければ、ボールが移動しても微小距離となり、ボールが撮影したフレーム内に収まっていると仮定できる。次のフレームの小範囲の位置は、前フレームの小範囲で検出したボールの中心位置とすることで、ボールを追跡するように小範囲の位置を更新できる。
【０００７】
このシステムの利点は、最初にカメラ画像に含まれる複数のボールの位置を把握するときには大サイズの画像を用いるが、その後の個々のボールの位置は小範囲の画像のみを用いて追跡できることである。これにより、常に大サイズの画像をメインメモリに転送することを避けることができる。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Muehlmann, U.; Ribo, M.; Lang, P.; Pinz, A., "A new high speed cmos camera for real-time tracking applications," in Robotics and Automation, 2004. Proceedings. ICRA '04. 2004 IEEE International Conference on , vol.5, no., pp.5195-5200, April 26 2004-May 1 2004
【非特許文献２】Muehlmann, U.; Ribo, M.; Lang, P.; Pinz, A., "High-speed motion tracking by direct access of a CMOS Sensor, " ICCV2003, Demonstration Session
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の従来のシステムでも、最初に画像に含まれる複数のボールの位置を把握するためには、大サイズの画像をメインメモリに転送しなければならず、転送速度に制限がある場合には転送の遅延ないしはフレーム落ちが生じることがある。転送の遅延やフレーム落ちが生じると、対象を検出した後に、駆動する撮像素子をその対象を含む小範囲に設定したとしても、すでにその範囲に対象がいなくなっており、対象を検出できなくなるおそれがある。
【００１０】
本発明は、見かけ上の転送速度を上げることによって、リアルタイムでの対象の識別を可能とする画像識別システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様の画像識別システムは、二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサと、前記イメージセンサで得られた画像に対して、特定の対象を検出する識別処理を行う識別手段と、前記識別処理の結果に基づいて前記イメージセンサを制御する制御手段と、前記イメージセンサと前記識別手段との間で前記画像を通信する通信手段とを備え、前記識別手段は、前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行い、前記第１の対象を検出した後に、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行い、前記制御手段は、前記識別手段が前記第１の対象を検出するときに、駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くし、前記識別手段が前記第２の対象を検出するときに、駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くする構成を有している。
【００１２】
この構成により、検出対象に応じて駆動する撮像素子の範囲及び解像度を調整し、範囲が広いときには解像度を低くし、範囲が小さいときには解像度を高くするので、得られる画像の容量が範囲を広くしたことによって大きくなりすぎて転送遅延やフレーム落ちが生じることを回避でき、見かけ上の転送速度を上げることができるので、リアルタイムでの対象の識別が可能となる。また、画像から第２の対象（例えば、目）を検出したい場合に、第２の対象を含む第１の対象（例えば、顔）をまず検出して、その第１の対象の中から第２の対象を検出するので、個別に読み出し可能な複数の撮像素子を備えたイメージセンサを有効に活用して、上記のように転送する画像の容量を制限する制御を行うことができる。
【００１３】
前記制御手段は、前記第２の識別処理によって検出された前記第２の対象の位置に基づいて、前記小範囲を移動してよい。この構成によれば、駆動する撮像素子の範囲を小範囲としたままで第２の対象を追跡できる。
【００１４】
前記制御手段は、前記第２の識別処理によって前記第２の対象を検出しなくなったときに、駆動する撮像素子の範囲を広範囲とするとともに、駆動する撮像素子の解像度を低くしてよい。この構成により、小範囲で第２の対象を見失ったときに、駆動する撮像素子を広範囲に戻して、第１の識別処理からやり直すことができる。
【００１５】
本発明の一態様の制御装置は、二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサと、前記イメージセンサで得られた画像に対して、特定の対象を検出する識別処理を行う識別手段と、前記識別処理の結果に基づいて前記イメージセンサを制御する制御装置と、前記イメージセンサと前記識別手段との間で前記画像を通信する通信手段とを備えた画像認識システムにおける前記制御装置であって、駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くして、前記識別手段に、前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行わせ、前記識別手段が前記第１の対象を検出した後に、駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くして、前記識別手段に、前記イメージセンサで得られた画像に対して、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行わせる構成を有している。
【００１６】
この構成によっても、検出対象に応じて駆動する撮像素子の範囲及び解像度を調整し、範囲が広いときには解像度を低くし、範囲が小さいときには解像度を高くするので、得られる画像の容量が範囲を広くしたことによって大きくなりすぎて転送遅延やフレーム落ちが生じることを回避でき、見かけ上の転送速度を上げることができるので、リアルタイムでの対象の識別が可能となる。また、画像から第２の対象を検出したい場合に、第２の対象を含む第１の対象をまず検出して、その第１の対象の中から第２の対象を検出するので、個別に読み出し可能な複数の撮像素子を備えたイメージセンサを有効に活用して、上記のように転送する画像の容量を制限する制御を行うことができる。
【００１７】
本発明の一態様の画像識別方法は、二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサにおける駆動する撮像素子の範囲を広範囲にするとともに、駆動する撮像素子の解像度を低くする、第１のイメージセンサ制御ステップと、前記第１のイメージセンサ制御ステップで制御される前記イメージセンサで得られた画像に対して、第１の対象を検出する第１の識別処理を行う第１の識別ステップと、前記第１の識別ステップにて前記第１の対象を検出した後に、前記イメージセンサにおける駆動する撮像素子の範囲を前記第１の対象が検出された領域を含む小範囲にするとともに、駆動する撮像素子の解像度を高くする第２のイメージセンサ制御ステップと、前記第２のイメージセンサ制御ステップで制御される前記イメージセンサで得られた画像に対して、前記第１の対象とは異なる第２の対象を検出する第２の識別処理を行う第２の識別ステップとを含む構成を有している。
【００１８】
この構成によっても、検出対象に応じて駆動する撮像素子の範囲及び解像度を調整し、範囲が広いときには解像度を低くし、範囲が小さいときには解像度を高くするので、得られる画像の容量が範囲を広くしたことによって大きくなりすぎて転送遅延やフレーム落ちが生じることを回避でき、見かけ上の転送速度を上げることができるので、リアルタイムでの対象の識別が可能となる。また、画像から第２の対象を検出したい場合に、第２の対象を含む第１の対象をまず検出して、その第１の対象の中から第２の対象を検出するので、個別に読み出し可能な複数の撮像素子を備えたイメージセンサを有効に活用して、上記のように転送する画像の容量を制限する制御を行うことができる。
【発明の効果】
【００１９】
本発明によれば、検出対象に応じて駆動する撮像素子の範囲及び解像度を調整し、範囲が広いときには解像度を低くし、範囲が小さいときには解像度を高くするので、得られる画像の容量が範囲を広くしたことによって大きくなりすぎて転送遅延やフレーム落ちが生じることを回避でき、見かけ上の転送速度を上げることができるので、リアルタイムでの対象の識別が可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態の画像識別システムの構成を示すブロック図。
【図２】本発明の実施の形態の撮像素子アレイを示す図。
【図３】本発明の実施の形態の撮像素子アレイを示す図。
【図４】本発明の実施の形態の撮像素子アレイを示す図。
【図５】本発明の実施の形態の撮像素子アレイのすべての撮像素子を駆動して得られる画像の例を示す図。
【図６】本発明の実施の形態の撮像素子アレイの撮像素子を間引きして駆動して得られる画像の例を示す図。
【図７】本発明の実施の形態の画像から顔領域を検出した結果を示す図。
【図８】本発明の実施の形態の顔領域の画像を示す図。
【図９】本発明の実施の形態の顔領域を追跡する機能を説明する図。
【図１０】本発明の実施の形態の顔領域の画像を示す図。
【図１１】本発明の実施の形態の画像識別システムの処理のフロー図。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を説明する。なお、以下に説明する実施の形態は、本発明を実施する場合の一例を示すものであって、本発明を以下に説明する具体的構成に限定するものではない。本発明の実施にあたっては、実施の形態に応じた具体的構成が適宜採用されてよい。
【００２２】
本実施の形態の画像識別システムでは、二次元状に配置され個別に読み出し可能な複数の撮像素子を駆動して連続的に画像を生成するイメージセンサを用いるが、「撮像素子を駆動する」とは、撮像素子から光電変換によって得られた電気信号を読み出して、画像の画素とすることをいう。また、「駆動する撮像素子の解像度」とは、駆動する複数の撮像素子のイメージセンサにおける単位面積当たりの個数（密度）をいうものとする。
【００２３】
図１は、本発明の実施の形態の画像識別システムの構成を示すブロック図である。画像識別システム１００は、カメラ１０と、識別制御装置２０と、外部機器３０とを備えている。カメラ１０と識別制御装置２０とはＵＳＢで接続されており、カメラ１０から識別制御装置２０へは画像データが転送され、識別制御装置２０からカメラ１０へは制御情報が転送される。外部機器３０は、例えば表示装置であり、識別制御装置２０での識別結果に応じて制御される各種の機器であってもよい。図１において、実践の矢印は画像データ等の流れを示しており、破線の矢印は制御情報等の流れを示している。
【００２４】
カメラ１０は、イメージセンサ１１と、キャッシュメモリ１２と、ＵＳＢコントローラ１３を備えている。イメージセンサ１１は、二次元状に配置された複数の撮像素子の素子からなる撮像素子アレイ１１１と、撮像素子アレイ１１１を駆動する駆動回路１１２とを備えている。イメージセンサ１１は、具体的にはＣＭＯＳイメージセンサであり、複数の撮像素子を個別に駆動して、各撮像素子から信号を個別に読み出すことができる。イメージセンサ１１は、所定のフレーム間隔で撮像を行って、連続的に画像を生成する。
【００２５】
キャッシュメモリ１２は、イメージセンサ１１から読み出された信号からなる画像データを識別制御装置２０への転送のために一時的に記憶する。ＵＳＢコントローラ１３は、キャッシュメモリ１２に記憶された画像データをフレーム順に読み出して識別制御装置２０に転送する。
【００２６】
識別制御装置２０は、識別部２１と、メインメモリ２２と、ＵＳＢコントローラ２３と、制御部２４とを備える。ＵＳＢコントローラ２３は、カメラ１０から転送されてきた画像データを受信して、これをメインメモリ２２に記憶する。識別部２１は、メインメモリ２２に記憶された画像データをフレーム順に読み出して、読み出した画像データに対して識別処理を行う。識別部２１は、識別処理として、画像データが示す画像から特定の識別対象を検出する処理を行う。
【００２７】
識別部２１は、識別処理の結果を外部機器３０に出力する。外部機器３０が表示装置であるときは、識別部２１は、識別処理によって検出された識別対象の画像内での位置を示す情報を、画像データとともに出力し、表示装置としての外部機器３０は、識別対象の位置を示す画像を表示する。
【００２８】
識別部２１は、識別処理の結果を制御部２４にも出力する。制御部２４は、この識別処理の結果に基づいてカメラ１０を制御するための制御情報を生成する。この制御情報は、ＵＳＢコントローラ２３からカメラ１０に転送される。また、制御部２４は、識別部２１を制御するための制御信号も生成し、識別部２１に出力する。
【００２９】
カメラ１０のＵＳＢコントローラ１３は、識別制御装置２０から制御情報を受信して、これをイメージセンサ１１に出力する。イメージセンサ１１は、制御情報に従って駆動する。すなわち、イメージセンサ１１は、識別部２１での識別処理の結果に従って駆動する。ここで、イメージセンサ１１は、上述のように個別に駆動可能な複数の撮像素子を備えており、制御情報はイメージセンサ１１のいずれの撮像素子を駆動するか（駆動する撮像素子のアドレス）を指示する情報である。
【００３０】
次に、識別制御装置２０における識別処理及びカメラ１０の制御処理について説明する。本実施の形態の画像認識システム１００は、画像から特定の識別対象を検出することを目的とする。以下の説明では、この識別対象を第３の対象とする。この第３の対象を検出するために画像から第２の対象を検出し、第２の対象を検出するために画像から第１の対象を検出する。第３の対象は第２の対象の一部であり、第２の対象は第１の対象の一部である。
【００３１】
図２〜４は、撮像素子アレイ１１１において駆動する撮像素子を説明する図である。図２〜図４において、ハッチングされている撮像素子が駆動する撮像素子である。なお、図２〜図４では、撮像素子アレイ１１１が２９×２９画素からなる場合を示しているが、実際には、例えば１６００×１２００画素等のより大きなサイズを有している。
【００３２】
第１の対象を検出するときは、図２に示すように、撮像素子アレイ１１１の全体Ｒ１を駆動範囲とし、実際に駆動する撮像素子は縦横方向に３つおきとする。すなわち、イメージセンサ１１は、撮像素子アレイ１１１を４×４画素のブロックに分けて、各ブロックにつき１つの撮像素子のみを駆動する。換言すると、イメージセンサ１１は、撮像素子アレイ１１１の複数の撮像素子を間引きして駆動する。撮像素子アレイ１１のすべての撮像素子を用いて撮像をする場合と比較して、図２の場合には撮像素子の解像度が１／１６となっている。
【００３３】
撮像素子アレイ１１１を構成する各撮像素子には、その位置に応じたアドレスが定義されており、駆動回路１１２は、駆動する撮像素子のアドレスが指定されると、指定されたアドレスのみから信号を読み出して、キャッシュメモリ１２に記憶する。駆動する各撮像素子からの信号は、そのアドレスとともにキャッシュメモリ１２に記憶される。したがって、これらのアドレスを参照して各撮像素子からの信号を用いることで画像を得ることができ、図２の場合には画質が粗くサイズの小さい画像が得られる。具体的には、図２の場合には６４画素のサイズの画像が得られる。
【００３４】
カメラ１０のＵＳＢコントローラ１３は、この画質の粗い画像の画像データを識別制御装置２０に転送する。識別制御装置２０は、メインメモリ２２にこの画像データを保存する。識別部２１は、制御部２４から、この画像から第１の対象を検出する第１の識別処理を行うよう指示され、メインメモリ２２から画像を読み出して、第１の識別処理を行う。カメラ１０は、第１の対象が検出されるまで、上記の撮像及び画像データの転送を繰り返し、識別制御装置２０の識別部２１も、第１の対象が検出されるまで、カメラ１０から転送されてくる画像データについて第１の識別処理を繰り返す。
【００３５】
識別部２１は、第１の対象を検出すると、画像において第１の対象が検出された領域の情報を制御部２４に出力する。制御部２４は、第１の対象が検出された領域を含む矩形領域に対応する撮像素子アレイ１１１の範囲を、駆動する複数の撮像素子の範囲として決定する。ここで決定される範囲は、全体Ｒ１（広範囲）の中の一部範囲（小範囲）である。
【００３６】
図３の例では、全体Ｒ１の中の右下の一部範囲が、第１の対象が検出された領域を含む矩形領域に対する小範囲Ｒ２とされている。制御部２４は、範囲の決定とともに、この小範囲Ｒ２の複数の撮像素子の解像度を決定する。この小範囲及び解像度が決定されると、それに従って具体的に駆動すべき複数の撮像素子が決まるので、制御部２４は、そのようにして決定された撮像素子のアドレスを、イメージセンサ１１を制御する制御情報として、ＵＳＢコントローラ２３、ＵＳＢコントローラ１３を介してイメージセンサ１１に与える。イメージセンサ１１は、駆動回路１１２がこの制御情報に従って撮像素子アレイ１１１の複数の撮像素子を駆動することで画像を生成する。
【００３７】
図３の例では、決定された小範囲Ｒ２において、２×２画素のブロックごとに１つの撮像素子が駆動され、撮像素子アレイ１１のすべての撮像素子を用いて撮像をする場合と比較して、解像度が１／４になっている。図３の例では、図２の状況と比較して、解像度は２倍になっているが、範囲が１／４になっているので、これらの撮像素子を駆動して得られる画像のサイズは図２の場合と同じ６４画素である。
【００３８】
このようにしてイメージセンサ１１で駆動する撮像素子の範囲及び解像度が変更されると、制御部２４は、そのようにして得られた画像に対して、識別対象を第２の対象とする第２の識別処理を行うよう識別部２１に制御情報を出力する。識別部２１は、この制御情報に従って第２の識別処理を行う。識別部２１は、第２の対象を検出すると、その位置の情報を制御部２４に出力する。制御部２４は、第２の対象が検出された領域を含む矩形領域に対応する撮像素子アレイ１１１の範囲を決定し、その範囲における解像度を決定する。
【００３９】
図４の例では、２つの第２の対象が検出されており、小範囲Ｒ２の中に２つの範囲Ｒ３１、Ｒ３２が小範囲として決定されている。制御部２４は、小範囲の決定とともに、これらの小範囲Ｒ３１、Ｒ３２の複数の撮像素子の解像度を決定し、それに従って駆動すべき複数の撮像素子のアドレスを指定する制御情報を生成して、ＵＳＢコントローラ２３及びＵＳＢコントローラ１３を介してイメージセンサ１１に送る。図４の例では、小範囲Ｒ３１、Ｒ３２のすべての撮像素子が駆動され、解像度はこのイメージセンサ１１の最高の解像度とされる。
【００４０】
このようにしてイメージセンサ１１で駆動する撮像素子の範囲及び解像度が変更されると、制御部２４は、そのようにして得られた画像に対して、識別対象を第３の対象とする第３の識別処理を行うよう識別部２１に制御情報を出力する。識別部２１は、この制御情報に従って第３の識別処理を行い、第３の対象を検出すると、その結果を外部機器３０及び制御部２４に出力する。外部機器３０が表示装置である場合、識別部２１は、識別結果として、メインメモリ２２から読み出した画像を表示装置に出力してよく、その画像に対して検出した第３の対象の領域を示す枠を重畳して表示装置に出力してもよい。
【００４１】
以上のように、識別部２１が識別対象を検出すると、イメージセンサ１１において駆動される撮像素子の範囲が検出された識別対象を含む小範囲に変更され、かつ解像度が高くなるように変更され、そのようにして得られた画像に対して、識別部２１は識別対象を変更して識別処理を行う。
【００４２】
以下、実際の画像の例を用いてさらに説明する。以下の例では、画像から第１の対象として顔を検出し、顔の領域から第２の対象として目を検出する。識別部２１は、公知の顔検出手法（例えば、Paul Viola, Michael J. Jones, "Robust Real-Time Face Detection", International Journal of Computer Vision, May 2004, Volume 57, Issue 2, pp 137-154や、岩井儀雄、勞世▲こう▼、山口修、平山高嗣、画像処理による顔検出と顔認識、情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）、一般社団法人情報処理学会、2005-05-13、2005、38、343-368）を用いて、画像中から人の顔領域が含まれる長方形領域を検出する。また、識別部２１は、公知の目検出手法（例えば、上掲の岩井儀雄、勞世▲こう▼、山口修、平山高嗣、画像処理による顔検出と顔認識、情報処理学会研究報告コンピュータビジョンとイメージメディア（ＣＶＩＭ）、一般社団法人情報処理学会、2005-05-13、2005、38、343-368）を用いて、顔領域から目の領域を検出する。
【００４３】
図５は、イメージセンサ１１の撮像素子アレイ１１１のすべての撮像素子を駆動して得られる画像の例を示している。図５の画像５１は、１０２４×１０２４個（約１０５万個）の撮像素子からなる撮像素子アレイ１１１を用いて撮像を行って得られる画像である。
【００４４】
図６は、同じ被写体について、撮像素子アレイ１１１において駆動する撮像素子を間引きして駆動して得られる画質の粗い（サイズの小さい）画像を示している。図６の画像６１は、撮像素子アレイ１１１において二次元状に配列された複数の撮像素子を千鳥格子状に駆動させて得られた画像であり、画像５１と比較して解像度は１／４になっており、そのサイズは５１２×５１２画素（約２６万画素）であり、画像５１と比較してサイズは１／４になっている。
【００４５】
イメージセンサ１１は画像６１をキャッシュメモリ１２に保存し、ＵＳＢコントローラ１３は、この画像６１を識別制御装置２０に転送する。ＵＳＢコントローラ２３はこの画像６１を受信してメインメモリ２２に保存する。識別部２１は、メインメモリ２２から画像６１を読み出して、画像６１から第１の対象として顔を検出する。図７は、画像６１から顔領域を検出した結果を示している。図７に示すように、画像６１からは矩形の顔領域７１が検出されている。識別部２１は、この顔領域７１の情報を制御部２４に出力する。
【００４６】
制御部２４は、撮像素子アレイ１１１におけるこの顔領域に対応する小範囲とその小範囲において駆動する撮像素子の解像度を決定し、それに従って具体的に駆動する撮像素子のアドレスを指定した制御情報を生成する。このときの解像度は画像６１を撮影したときの解像度より高く、その２倍とされ、指定された小範囲内のすべての撮像素子が駆動される。
【００４７】
図８は、このようにして得られた顔領域の画像を示している。この画像８１のサイズは、４１０×４８４画素（約２０万画素）である。識別部２１は、この画像８１に対して、２つの目を検出する識別処理を行う。
【００４８】
以上のように、撮像素子アレイ１１１のすべての撮像素子を駆動すると約１０５万画素の画像が得られるのに対して、画像６１のように撮像素子を間引きして（撮像素子の解像度を低くして）撮像をすることで画像のサイズは約２６万画素まで小さくなる。識別部２１がそのような画像６１から顔領域を検出すると、イメージセンサ１１は、その領域に対応する撮像素子アレイ１１１の小範囲について、駆動する撮像素子の解像度（密度）を高くして撮像を行って画像８１を得る。すなわち、画像８１を得る場合には、駆動する撮像素子の範囲は狭くして解像度を高くするので、画像の部分領域について高画質の画像８１が得られるが、そのような高画質の画像８１のサイズは約２０万画素に抑えられている。
【００４９】
図９及び図１０を参照して、画像認識システム１００のさらなる機能について説明する。本実施の形態の画像認識システム１００は、顔領域を追跡（トラッキング）する機能を有している。上述のように、識別部２１は、画像８１から２つの目を検出すると、画像８１における目領域の位置の情報を制御部２４に出力する。
【００５０】
制御部２４は、前のフレームと同じ大きさで位置のずれた範囲を次のフレームで駆動する撮像素子の小範囲として決定する。具体的には、制御部２４は、前のフレームで検出された２つの目を追跡するように小範囲Ｒ４を移動させる。すなわち、図８の画像８１のように画像の左右中央かつ上から１／３程度の高さにあった目が図９の画像９１のように右下方向に移動した場合には、次のフレームでは、撮像素子を駆動する小範囲Ｒ４もこの目の移動に従って右下方向に移動する。
【００５１】
被写体がフレーム間で大きく移動すると、図１０に示すように、画像１０１から２つの目が検出されなくなる。識別部２１は、小範囲の画像１０１から２つの目を検出しなかった場合は、その結果を制御部２４に出力する。制御部２４は、識別部２１から２つの目を検出しなかった旨の結果を受けると、それ以上は２つの目を追跡するように小範囲を移動させることはせず、撮像素子を駆動する範囲を撮像素子アレイ１１１の全体に戻して解像度を低解像度に戻す制御信号を生成して、イメージセンサ１１に与える。これにより、イメージセンサ１１では、再び図６に示すような全体かつ低画質（小サイズ）の画像が得られる。制御部２４は、識別対象を顔にする制御情報を識別部２１に出力し、識別部２１は、制御部２４からの制御情報に従って識別対象を顔に戻して識別処理を行う。
【００５２】
図１１は、図６〜１０を参照して説明した画像識別システム１００の処理のフロー図である。まず、制御部２４は、イメージセンサ１１の撮像素子アレイ１１１において駆動する撮像素子の範囲を撮像素子アレイ１１１全体に設定し、かつ、解像度を低解像度に設定する（ステップＳ１１）。識別部２１は、上記のように設定されたイメージセンサ１１で得られた画像から顔を検出する識別処理を行う（ステップＳ１２）。顔を検出しない場合には（ステップＳ１３でＮＯ）、イメージセンサ１１の設定をそのままにして次のフレームについても同様に顔を検出する（ステップＳ１２）。
【００５３】
識別部２１の識別処理によって顔が検出された場合には（ステップＳ１３でＹＥＳ）、制御部２４は、撮像素子アレイ１１１において駆動する撮像素子の範囲を顔が検出された領域（顔領域）を含む小範囲に設定し、かつ、解像度を高解像度に設定する（ステップＳ１４）。識別部２１は、上記のように設定されたイメージセンサ１１で得られた画像から目を検出する識別処理を行う（ステップＳ１５）。
【００５４】
識別部２１が目を検出した場合は（ステップＳ１６でＹＥＳ）、制御部２４は、画像内の目の位置に従って、次のフレームで駆動する撮像素子の範囲を再設定する（ステップＳ１７）。具体的には、制御部２４は、上述のように目を追跡するように、駆動する撮像素子の範囲を移動させる。目を検出できなかった場合には（ステップＳ１６でＮＯ）、ステップＳ１１に戻って、駆動する撮像素子の範囲を撮像素子アレイ１１１の全体に戻し、かつ、駆動する撮像素子の解像度を低解像度に戻す。
【００５５】
なお、上記の実施の形態では、制御部２４がカメラ１０の制御と識別部２１の制御を行ったが、カメラ１０の制御をする制御部と識別部２１の制御をする制御部とが別体となっていてもよい。また、カメラ１０を制御する制御部は、カメラ１０に設けられていてもよく、識別部２１を制御する制御部は識別部２１と一体となって構成されていてもよい。また、制御部２４がカメラ１０及び識別部２１とは別体となっていてもよい。
【００５６】
また、制御部２４が識別処理の結果に従って解像度を変更する場合に、検出された対象の領域の大きさに関連付けられてあらかじめ解像度が決められており、その中から解像度を選択してもよいし、領域の大きさに応じてその都度解像度を決定してもよい。
【００５７】
また、上記の実施の形態では、カメラ１０と識別制御装置２０とがＵＳＢで接続されて互いに通信を行っていたが、これ以外の方法で互いに通信可能に接続されてよく、カメラ１０と識別制御装置２０の間にインターネット等の通信ネットワークが介在してもよく、カメラ１０と識別制御装置２０との間に無線通信が介在してもよい。これらの場合にも、通信の速度には制限があり、本発明が有効に適用される。
【符号の説明】
【００５８】
１００  画像認識システム
１０  カメラ
１１  イメージセンサ
１１１  撮像素子アレイ
１１２  駆動回路
１２  キャッシュメモリ
１３  ＵＳＢコントローラ
２０  識別制御装置
２１  識別部
２２  メインメモリ
２３  ＵＳＢコントローラ
２４  制御部
【図１】
2017162141.tif 000003
【図２】
2017162141.tif 000004
【図３】
2017162141.tif 000005
【図４】
2017162141.tif 000006
【図５】
2017162141.tif 000007
【図６】
2017162141.tif 000008
【図７】
2017162141.tif 000009
【図８】
2017162141.tif 000010
【図９】
2017162141.tif 000011
【図１０】
2017162141.tif 000012
【図１１】
2017162141.tif 000013