(57)【要約】【課題】低解像度画像と高解像度画像の取得時間のずれによる被写体認識失敗の状況を防止することが出来る画像認識装置を提供することを課題とする。【解決手段】撮像素子により第１の解像度で生成された画像データを基に被写体が存在する領域を検出する被写体検出部と、被写体検出部により被写体が存在する領域が検出されると、撮像素子により第１の解像度で生成された画像データを記憶するメモリと、撮像素子により第２の解像度で生成された被写体検出部により検出された被写体が存在する領域の画像データを入力して被写体の認識処理を行う被写体認識処理部とを有し、被写体認識処理部は、認識処理による被写体の認識に失敗したと判断した場合には、メモリに記憶された第１の解像度で生成された被写体が存在する領域の画像データを入力して被写体の認識処理を行うことを特徴とする。【選択図】図１
2011043921.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度又は前記第１の解像度よりも高い第２の解像度で画像データを生成する撮像素子と、
前記撮像素子により前記第１の解像度で生成された画像データを基に被写体が存在する領域を検出する被写体検出部と、
前記被写体検出部により被写体が存在する領域が検出されると、前記撮像素子により前記第１の解像度で生成された画像データを記憶するメモリと、
前記撮像素子により前記第２の解像度で生成された前記被写体検出部により検出された被写体が存在する領域の画像データを入力して前記被写体の認識処理を行う被写体認識処理部とを有し、
前記被写体認識処理部は、前記認識処理による被写体の認識に失敗したと判断した場合には、前記メモリに記憶された前記第１の解像度で生成された前記被写体が存在する領域の画像データを入力して前記被写体の認識処理を行うことを特徴とする画像認識装置。
【請求項２】
前記被写体認識処理部が入力する前記第２の解像度で生成された画像データの領域は、前記被写体検出部が入力する前記第１の解像度で生成された画像データの領域よりも狭いことを特徴とする請求項１記載の画像認識装置。
【請求項３】
前記被写体認識処理部は、前記被写体の認識結果の信頼性が閾値よりも低いときに前記被写体の認識に失敗したと判断することを特徴とする請求項１又は２記載の画像認識装置。
【請求項４】
第１の解像度又は前記第１の解像度よりも高い第２の解像度で画像データを生成する撮像素子を用いた画像認識方法であって、
前記撮像素子により前記第１の解像度で生成された画像データを基に被写体が存在する領域を検出する被写体検出ステップと、
前記被写体検出ステップにより被写体が存在する領域が検出されると、前記撮像素子により前記第１の解像度で生成された画像データをメモリに記憶する記憶ステップと、
前記撮像素子により前記第２の解像度で生成された前記被写体検出ステップにより検出された被写体が存在する領域の画像データを入力して前記被写体の認識処理を行う被写体認識処理ステップとを有し、
前記被写体認識処理ステップは、前記認識処理による被写体の認識に失敗したと判断した場合には、前記メモリに記憶された前記第１の解像度で生成された前記被写体が存在する領域の画像データを入力して前記被写体の認識処理を行うことを特徴とする画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置及び画像認識方法に関するものである。
【背景技術】
【０００２】
従来、被写体認識では、認識の精度（正解率）や認識速度を上げるための様々な工夫がとられている。その手法として、特許文献１に挙げられる粗密画像による二段構成処理といったものがある。
【０００３】
特許文献１によると、当該手法は、まず入力画像を粗く走査して、被写体検出処理（例えば、顔検出）を行い、被写体の大まかなパーツ情報などによって、入力画像内における被写体領域（例えば、顔領域）を特定する。続いて、特定された被写体領域部を、前記被写体検出時の走査より、密に走査し直して、前記被写体領域内の被写体の認識処理（例えば、顔から個人を識別する個人認識や、顔からその表情を認識する表情認識）を行う。
【０００４】
この手法のメリットは、無作為に総当りで全領域に認識処理をするのと比べれば、最初に粗い画像データで領域特定を行うので、高速に被写体領域候補を見つけられ、効率的に認識処理を行うことができるとしている。
【０００５】
また、特許文献２には、撮影された対象物画像を基準画像集合の部分空間に投射しその補空間上のベクトルを求めて、対象物認識用辞書データとの相関値を求めることにより対象物を認識する画像認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平９−０３５０５８号公報
【特許文献２】特開２００６−１４６６７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１の技術では、入力画像から粗い走査で被写体領域を特定し、その後に被写体領域を密に走査し直して、被写体認識を行うことが開示されているが、リアルタイムに変化する撮影動画像に対して、同様に被写体認識を行うと、以下の問題が生ずる。
【０００８】
入力画像として、密走査による被写体認識を行うときの分解能で、元々取得しておかなければならない。前記密な分解能で、動画撮影することは、撮像センサを代表とする撮像システムに大きな負荷をかけることとなるので、粗い走査に対応した分解能で、間引き読みして被写体領域を特定し、被写体領域を密走査に対応した分解能で読み直すことが考えられる。すると、撮像センサからの読み直しにより、撮影時間にずれが生じるため、検出処理で被写体領域が特定されたとしても、密走査による被写体領域画像の取得間に、被写体領域から被写体が消失する、被写体領域に障害物が入る、等の状況が発生する。これにより、被写体認識処理が失敗するといった問題が発生する。
【０００９】
本発明の目的は、低解像度画像で被写体領域を検出し、高解像度画像で被写体を認識する場合に、低解像度画像と高解像度画像の取得時間のずれによる被写体認識失敗の状況を防止することが出来る画像認識装置及び画像認識方法を提供することである。
【課題を解決するための手段】
【００１０】
本発明の画像認識装置は、第１の解像度又は前記第１の解像度よりも高い第２の解像度で画像データを生成する撮像素子と、前記撮像素子により前記第１の解像度で生成された画像データを基に被写体が存在する領域を検出する被写体検出部と、前記被写体検出部により被写体が存在する領域が検出されると、前記撮像素子により前記第１の解像度で生成された画像データを記憶するメモリと、前記撮像素子により前記第２の解像度で生成された前記被写体検出部により検出された被写体が存在する領域の画像データを入力して前記被写体の認識処理を行う被写体認識処理部とを有し、前記被写体認識処理部は、前記認識処理による被写体の認識に失敗したと判断した場合には、前記メモリに記憶された前記第１の解像度で生成された前記被写体が存在する領域の画像データを入力して前記被写体の認識処理を行うことを特徴とする。
【００１１】
また、本発明の画像認識方法は、第１の解像度又は前記第１の解像度よりも高い第２の解像度で画像データを生成する撮像素子を用いた画像認識方法であって、前記撮像素子により前記第１の解像度で生成された画像データを基に被写体が存在する領域を検出する被写体検出ステップと、前記被写体検出ステップにより被写体が存在する領域が検出されると、前記撮像素子により前記第１の解像度で生成された画像データをメモリに記憶する記憶ステップと、前記撮像素子により前記第２の解像度で生成された前記被写体検出ステップにより検出された被写体が存在する領域の画像データを入力して前記被写体の認識処理を行う被写体認識処理ステップとを有し、前記被写体認識処理ステップは、前記認識処理による被写体の認識に失敗したと判断した場合には、前記メモリに記憶された前記第１の解像度で生成された前記被写体が存在する領域の画像データを入力して前記被写体の認識処理を行うことを特徴とする。
【発明の効果】
【００１２】
リアルタイムに変化する撮影動画像から、低解像度の画像データを基に被写体領域を検出して、高解像度の画像データで被写体を認識する場合に、低解像度の画像と高解像度の画像の取得時間のずれが原因で発生する被写体認識の失敗をフォローすることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態による画像認識装置の画像認識方法のフローチャートである。
【図２】本発明の実施形態による画像認識装置の構成図である。
【図３】ＣＭＯＳ型撮像素子の構成図である。
【図４】ＣＭＯＳ型撮像素子による分解能Ａによる画像取得のタイムチャートである。
【図５】ＣＭＯＳ型撮像素子による分解能Ｂによる画像取得のタイムチャートである。
【発明を実施するための形態】
【００１４】
図１及び図２に本発明の実施形態による画像認識装置の画像認識方法を示す。図１は本実施形態の画像認識方法の手順を説明するためのフローチャート、図２は本実施形態の画像認識装置（撮像装置）の構成例を示すブロック図である。
【００１５】
本実施形態による画像認識装置は、図２で示すように、ＣＭＯＳ撮像素子２１と、被写体検出部２２と、被写体認識処理部２３と、撮像素子駆動手段２４と、メモリ４５と、セレクタ２６とを有する。ＣＭＯＳ撮像素子２１は、任意の画素領域かつ、任意の解像度（画素間隔）で光電変換により画像データを生成可能である。被写体検出部２２は、ＣＭＯＳ撮像素子２１から出力される、分解能Ａ（第１の解像度）の全領域画像データを基に、被写体が存在する領域を検出する。被写体認識処理部２３は、セレクタ２６から出力される、分解能Ａ、または分解能Ｂ（第２の解像度）の被写体領域の画像データに対して、認識を行う。撮像素子駆動手段２４は、検出処理時は分解能Ａで全領域の画像データを取得するように、認識処理時は被写体検出部２２から指定される被写体領域の位置情報を受けて、分解能Ｂで被写体領域の画像データを取得するように撮像素子２１を駆動する。メモリ４５は、被写体検出部２２に入力された、分解能Ａの画像データの被写体領域部を保存する。セレクタ２６は、被写体認識処理部２３の結果を基にした制御信号により、被写体認識処理部２３に入力される画像データを切り替える。具体的には、セレクタ２６は、被写体認識処理部２３に入力される画像データを、ＣＭＯＳ撮像素子２１から取得する分解能Ｂの被写体領域画像データとメモリ４５に保存された分解能Ａの被写体領域画像データとのいずれかに切り替える。
【００１６】
尚、本実施形態では、分解能Ａと分解能Ｂの２段階の画像データ読み出しが行われる。本実施形態における、分解能Ａは、ＣＭＯＳ撮像素子２１より、１画素、及び１ラインおきに間引き読みしたものとし、分解能Ｂは間引きを行わない、つまり全画素読み出すものとする。よって、分解能Ａの画像データは分解能Ｂの画像データよりも分解能（解像度）が低いものとなる。
【００１７】
図１は、本実施形態の画像認識方法の動作を示している。図２の画像認識装置に基づいた画像処理手順を、図１に沿って以下で説明する。
【００１８】
ステップ１１では、まず、ＣＭＯＳ撮像素子２１は、撮像素子駆動手段２４により、撮像部全領域について、分解能Ａの画像データを取得する。本取得処理は２段階の取得処理の一方であり、被写体検出処理、及び被写体認証処理を実行する上で必要とされる。
【００１９】
ステップ１１における、ＣＭＯＳ撮像素子２１の画素部の駆動を図３を用いて説明する。１画素３０１は、フォトダイオード３０２、行読み出し制御部３０３、ＦＤアンプ３０４を有する。フォトダイオード３０２は、各画素入射光量に応じた光電荷を蓄積しており、行選択線３４１（３４２、３４３、３４４）を経て選択された行読み出し制御部３０３により、行読み出しが行われる。光電荷の電圧レベルが当該画素の信号レベルとなり、ＦＤアンプ３０４において画素電圧信号に変換される。画像電圧信号は、垂直信号線３５１（３５２、３５３、３５４）を経由して列アンプ３０６で増幅され、１行分のＦＤ出力電圧を増幅した電圧信号がバッファリングされる。１行分の信号は、水平走査回路３１１において列選択線３３１〜３３４に印加する制御信号を所定のタイミングと順序に従って動作させることにより、列選択が順次行われ、水平信号線３１２と出力バッファ３１３を通じて映像出力端子３１５から出力される。３１４は水平同期信号入力端子であり、３２２は垂直同期信号入力端子である。
【００２０】
次に、ステップ１１における、分解能Ａによる、全領域の画像データ読み出しについて、図３と図４を用いて説明する。なお、図４及び図５では、説明の簡単のため、４×４の画素として説明するが、実際には多くの画素で構成されている。
【００２１】
図４の３から始まる番号は、図３内の番号と対応している。また、図４の出力３１５に記載されている数字は、図３の画素３６１１〜３６４４に対応している。実際の画素数は数十万〜数百万画素以上のものもあるが、ここでは説明を簡易にするために、一部の画素のみを例にあげて説明を行っている。
【００２２】
また、本実施形態の分解能Ａにて読み出される画素は、奇数行、及び奇数列とし、図３における画素３６１１、画素３６１３、画素３６３１、画素３６３３が読み出される。
【００２３】
まず、垂直走査回路３２１からの垂直選択パルスＶ１（行選択線３４１）の制御によって、画素３６１１〜３６１４の光電荷に応じた信号レベルを、垂直信号線３５１〜３５４へ送出し、各列アンプ３０６にて電圧信号を増幅する。分解能Ａは、１画素置きに選択されることから、図４で示される水平信号有効期間４２１の間に、水平走査回路３１１からの水平選択パルスＨ１（列選択線３３１）の制御により、画素３６１１が画像電圧信号として、映像出力端子３１５より出力される。続いて、画素３６１３も水平信号有効期間４２１の間に、水平選択パルスＨ３（列選択線３３３）の制御により、映像出力端子３１５より出力される。
【００２４】
分解能Ａは奇数行のみ読み出しを行うので、偶数行である画素３６２１〜３６２４は読み出されない。よって、水平読み出し期間４２２の間の垂直選択パルスＶ２（行選択線３４２）をレベルオフする。
【００２５】
続いて、垂直走査回路３２１からの垂直選択パルスＶ３（行選択線３４３）の制御によって、画素３６３１〜３６３４の光電荷に応じた信号レベルを、垂直信号線３５１〜３５４へ送出し、各列アンプ３０６にて電圧信号を増幅する。水平信号有効期間４２３の間に、水平走査回路３１１からの水平選択パルスＨ１（列選択線３３１）の制御により、画素３６３１が画像電圧信号として、映像出力端子３１５より出力される。水平信号有効期間４２３の間に、続いて、水平選択パルスＨ３（列選択線３３３）の制御により、画素３６３３が画像電圧信号として、映像出力端子３１５より出力される。
【００２６】
画素３６４１〜３６４４も偶数行のため、読み出されない。よって、水平読み出し期間４２４の間の垂直選択パルスＶ４（行選択線３４４）をレベルオフする。
不図示の他の画素も同様の読み出し動作が行われる。
【００２７】
以上の動作によって、垂直走査が１ラインごとに選択され、水平走査も１画素ごとに選択されるため、分解能Ａによるセンサ動作が実現される。
【００２８】
以上により、全領域に対して、１画素、及び１ラインおきに間引き読み出しを行う、センサ動作が実現される。
【００２９】
次に、ステップ１２では、被写体検出部４３は、分解能Ａで取得した画像データを用いて、被写体の位置、大きさを特定し、被写体の領域部の設定情報（（開始行，開始列）と（終了行，終了列））を、撮像素子駆動手段２４に出力する。本実施形態では、被写体検出部４３は、分解能Ａで取得した画像データから、被写体の領域部として例えば人物の顔領域の位置、大きさを特定するものとする。顔検出については既知の方法で良い。例えば、被写体検出部４３は、画像データから、鼻、口や目などの顔領域の構成要素に相当する形状を抽出し、両目の中間を通過する延長線上に鼻と口が存在する領域を検出する。そして、両目の大きさとそれらの距離から顔の大きさを推定し、鼻の中心に相当する位置を基準として、推定した大きさの矩形の領域で囲んだ領域を顔領域とする。この顔領域の左上端に位置する画素の行、列を開始行、開始列とし、顔領域の右下端に位置する画素の行、列を終了行、終了列とする。その情報を受け取った撮像素子駆動手段２４は、（開始行，開始列）から、（終了行−１，終了列−１）の範囲にある全ての画素を読み出すよう、ＣＭＯＳ撮像素子２１を制御する。尚、ステップ１２における位置表現は分解能Ｂにおけるものとする。すなわち、ステップ１２では、被写体検出部４３は、撮像素子２１により解像度Ａで生成された画像データを基に被写体が存在する領域を検出する。
【００３０】
次に、ステップ１３では、被写体検出部２２は、撮像部全領域画像の中から被写体の特定が出来なかった場合はＣＭＯＳ撮像素子２１が次のフィールドにて撮像した画像を用いて、再び被写体検出部２２が被写体の特定を行う。これは被写体が特定されるまで、行われ続ける。
【００３１】
次に、ステップ１４では、被写体検出部２２は、検出に用いた、分解能Ａによる撮像部全領域画像データのうち、検出された被写体の領域の画像データをメモリ４５に記憶（保存）する。今回は、ステップ１２にて被写体が存在すると判断された領域として、開始位置（１，１）から終了位置（３，３）までの分解能Ａの画像データをメモリ４５に保存する。
【００３２】
次に、ステップ１５では、撮像素子駆動手段２４は、ステップ１２で取得した、特定された被写体の領域において、分解能Ｂの画像データの生成を撮像素子２１に指示する。分解能Ｂは、分解能Ａよりも分解能（解像度）が高い。ステップ１５で撮像素子２１が出力する分解能Ｂで生成された被写体の画像データの領域は、ステップ１１で撮像素子２１が出力する分解能Ａで生成された全体の画像データの領域よりも狭い。
【００３３】
分解能Ｂによる、被写体領域の画像データ読み出しについて、図３と図５を用いて説明する。図５の３から始まる番号は、図３内の番号と対応している。また、図５の出力３１５に記載されている数字は、図３の画素３６１１〜３６４４に対応している。
【００３４】
今回は、被写体領域より、画素３６１１、画素３６１２、画素３６２１、画素３６２２を読み出す例を説明する。
【００３５】
まず、垂直走査回路３２１からの垂直選択パルスＶ１（行選択線３４１）の制御によって、画素３６１１〜３６１４の光電荷に応じた信号レベルを、垂直信号線３５１〜３５４へ送出し、各列アンプ３０６にて電圧信号を増幅する。図５で示される水平信号有効期間５２１の間に、水平走査回路３１１からの水平選択パルスＨ１（列選択線３３１）の制御により、画素３６１１が画像電圧信号として、映像出力端子３１５より出力される。続いて、画素３６１２も水平信号有効期間５２１の間に、水平選択パルスＨ２（列選択線３３２）の制御により、映像出力端子３１５より出力される。被写体領域ではない部分は読み出しを行わないので、画素３６１３〜３６１４が読み出されないように、水平選択パルスＨ３とＨ４をレベルオフする。
【００３６】
続いて、垂直走査回路３２１からの垂直選択パルスＶ２（行選択線３４２）の制御によって、画素３６２１〜３６２４の光電荷に応じた信号レベルを、垂直信号線３５１〜３５４へ送出し、各列アンプ３０６にて電圧信号を増幅する。水平信号有効期間５２２の間に、水平走査回路３１１からの水平選択パルスＨ１（列選択線３３１）の制御により、画素３６２１が画像電圧信号として、映像出力端子３１５より出力される。また、水平信号有効期間５２２の間に、続いて、水平選択パルスＨ２（列選択線３３２）の制御により、画素３６２２が画像電圧信号として、映像出力端子３１５より出力される。被写体領域ではない部分は読み出しを行わないので、画素３６２３〜３６２４が読み出されないように、水平選択パルスＨ３とＨ４をレベルオフする。
【００３７】
被写体領域ではない部分は読み出しを行わないので、画素３６３１〜３６３４は読み出されない。よって、水平読み出し期間５２３の間は、垂直選択パルスＶ３（行選択線３４３）をレベルオフに、水平読み出し期間５２４の間は垂直選択パルスＶ４（行選択線３４４）をレベルオフにする。
以上の動作によって、被写体領域に対して、分解能Ｂによるセンサ動作が実現される。
【００３８】
次に、ステップ１６では、被写体認識処理部２３は、上記の撮像素子２１の新たに取得した分解能Ｂによる、被写体の領域の画像データを入力して被写体の認識処理を行う。被写体認識処理部２３は、まず被写体の領域の画像データから特徴データを抽出する。特徴データは、例えば、特開２００５−２６６９８１号公報に開示されているように、口、目、眉毛、鼻などの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を含む。ここで、特徴データは、入力された顔領域の画像データから、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。もちろん、形状や位置に関する情報だけでなく、彩度や色相に関する情報も特徴データに含めるようにしてもよい。そして、被写体認識処理部２３は、予め個人別に登録しておいた口、目、眉毛、鼻などの顔の構成要素の具体的な形状や、これらの構成要素の位置に関する情報を示す複数の個人別特徴データと、画像データから新たに抽出した特徴データを比較する。被写体認識処理部２３は、複数の個人別特徴データの中から、画像データから新たに抽出した特徴データとの一致度が最も高い個人別特徴データを抽出することで、画像データから検出された人物の個人認識を行う。ここで、被写体認識処理部２３は、この認識された人物の個人別特徴データと、画像データから新たに抽出された特徴データとの一致度を、信頼性情報として保持する。
【００３９】
次に、ステップ１７では、被写体認識処理部２３は、被写体認識の結果に応じて、処理の選択を行う。被写体認識処理部２３は、被写体認識処理の結果の信頼性情報が閾値以上であれば、被写体の認識に成功したと判断して認識結果２７を出力して認識処理を終了する。反対に、被写体認識処理部２３は、認識結果の信頼性情報が閾値より低ければ、被写体の認識に失敗したと判断してステップ１８へ移行する。
【００４０】
次に、ステップ１８では、被写体認識処理部２３は、メモリ４５に保存した、分解能Ａによる、被写体の領域の画像データを入力して被写体の認識処理を行い、認識結果２７として出力し、認識処理を終了する。
【００４１】
ここで、被写体認識処理部２３が解像度の高い分解能Ｂの画像データを用いて認識に失敗したにも関わらず、それよりも解像度の低い分解能Ａの画像データを用いて認識を行うことについて説明する。
【００４２】
メモリ４５に保存した分解能Ａの画像データは、間引いて読み出された画像データではあるが、少なくともこの分解能Ａの画像データからは認識対象とすべき被写体の検出には成功している。したがって、被写体を誤検出したのでない限りは、必ず被写体が含まれているということになる。
【００４３】
これに対して、分解能Ｂの画像データは、分解能Ａの画像データよりも解像度が高く、分解能Ａの画像データよりも複雑な対象を識別するためには向いているのだが、分解能Ａの画像データとは異なるタイミングで生成された画像データである。そのため、被写体が動くような場合には、分解能Ａの画像データに被写体が存在しているからといって、分解能Ｂの画像データを生成したときには、被写体が移動してしまい、分解能Ａの領域と同じ領域に被写体が存在していない可能性もある。
【００４４】
そのため、分解能Ｂの画像データの認識結果が芳しくない場合には、解像度は落ちるが、被写体が存在することが確実な分解能Ａの画像データに対して認識処理を行うのである。
【００４５】
無論、撮像素子２１の全領域から分解能Ｂの画像データを読み出せば、上述したような不具合は起きないが、分解能Ｂの画像データから被写体が存在する領域を再び特定する必要が生じる。そのため、効率的に認識処理を行うという当初の目的を達成することができなくなる。
以上が、本実施形態における画像処理手順となる。
【００４６】
以上説明したように、本実施形態によれば、ステップ１８は、検出処理と認識処理、それぞれの入力画像データ取得の時間差によって発生する、被写体消失や障害物挿入などによって発生する認識処理の失敗を抑制することが目的である。粗画像であっても、正しい被写体領域で被写体を得られている保存画像で認識処理を行うことで、被写体認識失敗を防ぐ。
【００４７】
特に、ステップ１８は、被写体領域が大きいときに有効である。被写体領域が大きいということは、検出処理と認識処理の画像取得の間に動きが発生すると、被写体が被写体領域から大きくずれる可能性がある一方で、粗い分解能Ａの被写体画像からでも、情報量が大きいため、有効な認識情報が取得できる可能性が高い。
【００４８】
本実施形態は、リアルタイムに変化する撮影動画像から、低解像度の画像データを基に被写体領域を検出して、高解像度の画像データで被写体を認識する。その場合に、低解像度の画像と高解像度の画像の取得時間のずれが原因で発生する、被写体認識失敗の状況を防止することが出来る。
【００４９】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５０】
２１  撮像素子、２２  被写体検出部、２３  被写体認識処理部、２４  撮像素子駆動（制御）手段、２６  セレクタ、２７  認識結果、４５  メモリ（記憶装置）
【図１】
2011043921.tif 000003
【図２】
2011043921.tif 000004
【図３】
2011043921.tif 000005
【図４】
2011043921.tif 000006
【図５】
2011043921.tif 000007