(57)【要約】【課題】個人認証処理時における被写体への追従性を高めた撮像装置を提供する。【解決手段】被写体の個人認証が可能な、個人認証処理機能付きの撮像装置において、被写体への追従性を高めるために、検出された複数の人物の顔を複数の画像フレームごとにグループ化して分けて個人認証処理を行う。このように、グループ化することで、１画像フレーム当たりに必要とする個人認証処理の時間を短縮して、撮影記録時における被写体の動きや位置ずれに対応し易く構成する。【選択図】図１
2008271310.tif 000002
【特許請求の範囲】
【請求項１】
撮影する画像フレームから複数の被写体領域の画像データを検出する被写体検出処理手段と、
前記検出した複数の被写体領域の画像データから特徴情報を抽出する特徴情報抽出処理手段と、
登録対象の画像データの特徴情報が記憶された記憶手段と、
前記複数の被写体領域を複数のグループに分けるグルーピング手段と、
前記検出した複数の被写体領域の画像データから抽出した特徴情報と前記記憶手段に記憶された前記登録対象の画像データの特徴情報とに基づいて、前記複数の被写体領域を認証処理する認証処理手段と、を備え、
前記認証処理手段は、前記複数のグループに分けられた被写体領域に関し、グループ毎に異なる画像フレームで前記複数のグループに分けられた被写体領域の前記認証処理を実行する、ことを特徴とする撮像装置。
【請求項２】
前記被写体検出処理手段にて検出された複数の被写体領域について前記認証処理を終了すると、撮像する新たな画像フレームに対し、前記被写体検出処理手段、前記特徴情報抽出処理手段、前記グルーピング手段、及び前記認証処理手段の処理を繰り返して実行することを特徴とする請求項１に記載の撮像装置。
【請求項３】
比較処理手段をさらに備え、
前記比較処理手段は、以前の画像フレームで認証処理され、新たな画像フレームでは前記認証処理の対象とされていない前記検出した被写体領域については、以前の画像フレームで検出された被写体領域の位置の近くにある被写体領域を、以前の画像フレームで認証処理した前記登録対象の被写体領域とみなす比較処理を実行することを特徴とする請求項１に記載の撮像装置。
【請求項４】
比較処理手段をさらに備え、
前記比較処理手段は、以前の画像フレームで認証処理され、新たな画像フレームでは前記認証処理の対象とされていない前記検出した被写体領域については、以前の画像フレームと新たな画像フレームとの間の被写体領域の位置および大きさを比較して、予め定めた範囲にある新たな画像フレームの被写体領域を、以前の画像フレームで認証処理した前記登録対象の被写体領域とみなす比較処理を実行することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記比較処理手段は、前記認証処理手段により新たな画像フレームで前記認証処理を実行しているときに、前記比較処理を実行する請求項３又は４に記載の撮像装置。
【請求項６】
撮影する画像フレームから複数の被写体領域の画像データを検出する被写体検出処理工程と、
前記検出した複数の被写体領域の画像データから特徴情報を抽出する特徴情報抽出処理工程と、
前記複数の被写体領域を複数のグループに分けるグルーピング工程と、
前記検出した複数の被写体領域の画像データから抽出した特徴情報と記憶手段に記憶された登録対象の画像データの特徴情報とに基づいて、前記複数の被写体領域を認証処理する認証処理工程と、を備え、
前記認証処理工程は、前記複数のグループに分けられた被写体領域に関し、グループ毎に異なる画像フレームで前記複数のグループに分けられた被写体領域の前記認証処理を実行する、ことを特徴とする撮像装置の制御方法。
【請求項７】
請求項６に記載の撮像装置の制御方法の手順をコンピュータに実行させるためのプログラム。
【請求項８】
請求項６に記載の撮像装置の制御方法の手順をコンピュータに実行させるためのプログラムが記憶されたコンピュータで読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、認証処理の機能を備えた撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体に関する。
【背景技術】
【０００２】
認証の処理機能を備えた撮像装置では、撮像装置で撮影して得られた画像データから、特定の被写体領域が含まれる被写体画像領域を検出する。検出された被写体画像領域の画像データから、その被写体領域を被認証対象として識別するための特徴情報を抽出し、抽出した特徴情報と予めデータベースに登録された登録対象の画像の特徴情報とを比較する。
【０００３】
最終的にその類似度を判定し、その判定結果の類似度に基づいて、被認証対象がどの登録対象であるか、または該当する登録対象がいないか否かの認証を行う。認証の結果、その被写体領域が特定できれば、モニタする画像に、被写体領域の識別結果を示すマークをつける。これにより、ユーザは、撮影したい被写体が画像に含まれているか否かを簡単に判断することができる。このような構成の例として、撮影して得られた画像データから、特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、この顔が誰であるか個人認証を行うシステムが存在する。
【特許文献１】特開２００３−１８７３５２
【特許文献２】特開２００３−２７１９５８
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述したような個人認証処理を行うに際し、データベースに登録してある登録者の数が多い場合には、撮像装置で撮影して得られた画像データに含まれる一人の人物についても、個人認証処理を終えるのに時間が多く掛かることがある。まして、撮像装置で撮影して得られた画像データに多数の人物の顔が含まれる場合には、最初の人物についての個人認証処理の終了から、最後の人物についての個人認証処理の終了までかなりの時間が経過してしまうことになる。このような場合、最後の人物について個人認証処理を終了して時点では、最初に個人認証処理をした人物が動き、画像データの中での人物の位置が移動されている可能性が大きい。
【０００５】
したがって、撮像装置で撮影して得られた画像データに含まれる複数の人物について全員の個人認証処理が終了し撮影している画像データを記録するときには、特に最初のほうに個人認証処理した人物の位置が移動している可能性が高い。そのため露出や焦点が意図した人物からずれてしまったり、別の意図しない人物に間違って合ったりするという弊害が生じる場合がある。
【０００６】
本発明の目的は、認証処理の処理時間の影響の少ない撮影が可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明の実施形態に係る撮像装置は、
撮影する画像フレームから複数の被写体領域の画像データを検出する被写体検出処理手段と、
前記検出した複数の被写体領域の画像データから特徴情報を抽出する特徴情報抽出処理手段と、
登録対象の画像データの特徴情報が記憶された記憶手段と、
前記複数の被写体領域を複数のグループに分けるグルーピング手段と、
前記検出した複数の被写体領域の画像データから抽出した特徴情報と前記記憶手段に記憶された前記登録対象の画像データの特徴情報とに基づいて、前記複数の被写体領域を認証処理する認証処理手段と、を備え、
前記認証処理手段は、前記複数のグループに分けられた被写体領域に関し、グループ毎に異なる画像フレームで前記複数のグループに分けられた被写体領域の前記認証処理を実行する、ことを特徴とする。
【０００８】
上記の目的を達成するため、本発明の他の実施形態に係る撮像装置の制御方法は、
撮影する画像フレームから複数の被写体領域の画像データを検出する被写体検出処理工程と、
前記検出した複数の被写体領域の画像データから特徴情報を抽出する特徴情報抽出処理工程と、
前記複数の被写体領域を複数のグループに分けるグルーピング工程と、
前記検出した複数の被写体領域の画像データから抽出した特徴情報と記憶手段に記憶された登録対象の画像データの特徴情報とに基づいて、前記複数の被写体領域を認証処理する認証処理工程と、を備え、
前記認証処理工程は、前記複数のグループに分けられた被写体領域に関し、グループ毎に異なる画像フレームで前記複数のグループに分けられた被写体領域の前記認証処理を実行する、ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、認証処理の処理時間の影響の少ない撮影が可能な撮像装置および撮像方法を提供することが可能となる。
【発明を実施するための最良の形態】
【００１０】
＜実施形態１＞
以下、図１乃至４を参照して本発明の好適な実施形態１に係る撮像装置について説明する。図１は、本発明の実施形態１に係る撮像装置の概略構成を示すブロック図である。この撮像装置は、撮影して得られた画像データから特定の被写体領域として人物の顔を検出し、この顔の特徴情報を抽出して、その顔が誰であるかを識別する個人認証を行う機能を有する。
【００１１】
図において、レンズ系１によって被写体像を表す光線が集光され、ＣＣＤ等の撮像素子２に入射される。撮像素子２から出力された映像信号は、アナログ信号処理部３において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理部３から出力された映像信号は、Ａ／Ｄ変換部４においてデジタル信号である画像データに変換され、撮像系制御部１０及びデジタル信号処理部５に入力される。デジタル信号処理部５においては、Ａ／Ｄ変換部４から入力された画像データに対してガンマ補正処理、ホワイトバランス処理等のデジタル画像信号処理が実行される。
【００１２】
また、撮像系制御部１０は、Ａ／Ｄ変換部４から入力された画像データ、或いはユーザからの指示に基づいて、露出制御、焦点制御、シャッタ制御等をレンズ系１や撮像素子２に対して実行する。
【００１３】
デジタル信号処理部５から出力された画像データは、一時記憶部６を介して表示装置９に送られる。そして表示装置９の表示画面上に被写体像が表示されることになる。また、デジタル信号処理部５から出力された画像データは、一時記憶部６を介して、被写体検出処理部として機能する顔検出処理部１１にも入力される。顔検出処理部１１において、入力された画像データから顔画像の領域及び顔の画像データが検出される。特徴情報抽出処理部１２では、検出された顔の画像データの個人認証処理で使用される特徴情報を抽出する。特徴情報抽出処理部１２で抽出された顔の画像データの特徴情報は認証処理部１４に送られ、個人認証処理が行われる。
【００１４】
個人認証処理を開始する場合、顔検出処理部１１にて検出された顔画像のグループ分けをグルーピング部１３で行う。そして、検出された顔画像をグルーピング部１３でグループ分けしたあと、グループごとに認証処理部１４で個人認証処理が実行される。
【００１５】
認証処理部１４は、登録対象として予め複数の登録者の顔の画像データの特徴情報が記憶された記憶部１５の特徴情報と、特徴情報抽出処理部１２で抽出された顔の画像データの特徴情報とを比較し、その比較の結果の類似度に基づいて個人認証処理を実行する。これらの個人認証処理は、制御部１６の制御にしたがって実行される。
【００１６】
通常の撮影においては、撮像装置のシャッタ（図示はされていない）の押下が行われると、先ず被写体が撮影され、撮像素子２から被写体像を表す画像データが得られる。画像データはデジタル信号処理部５から一時記憶部６に与えられ、一時的に記憶される。一時記憶部６に記憶された画像データは、一時記憶部６から読み出され、最終的に記録制御回路７によって着脱自在のメモリカード８に記録され、一連の撮影動作を完了する。
【００１７】
次に、本発明の実施形態１に係る撮像装置による個人認証処理について、図２のフローチャートを参照して以下詳細に説明する。図２においては、処理の開始後のステップＳ１１において、顔検出処理部１１により、一時記憶部６に記憶されるｎ番目の画像フレームの画像データに関し顔検出処理が実行される。次にステップＳ１２に進み、ステップＳ１１で検出された、すなわち顔検出された人物の数を判断し、その数に基づいて、検出された人物のグループ分けを行う。
【００１８】
ここで説明する実施形態１では、個人認証処理を実行するにあたって、記憶部１５には予め個人認証の対象とする人物が登録されており、顔検出処理部１１による顔検出の結果、図３（ａ）に示すように、５人の人物の顔が検出されたとする。この場合ステップＳ１２では、顔検出された５人の人物をそれぞれＡ、Ｂ、Ｃ、Ｄ及びＥとすると、顔検出された５人をグルーピング部１３で（Ａ、Ｂ、Ｃ）と（Ｄ、Ｅ）の２つのグループに分ける。
【００１９】
グルーピング部１３によるグループ分けについて、ここでの説明では、５人の人物を３人と２人のグループに分けたが、検出された人物の数や検出時間等に応じて、どのようにグループ分けするかは自由に設定できるものとする。グループ分けの方法の例としては、顔が大きいもの、あるいは、顔が画像データの中心に近いものから順に選択してグループ分けする方法や、時系列で得られた顔検出結果を比較して、動きの少ない人物から順にグループ分けする方法などが考えられる。もちろん、グループ分けの方法は自由であり、画像データの端部から順に選択してグループ分けしたり、ランダムにグループ分けしたりしても構わない。これは、１回の個人認証処理に掛かる時間を制限するために、グループ分けを行うものであって、たとえば、３人を１グループの上限の数とする。ステップＳ１３においては、ステップＳ１２で一方のグループに分けられた３人（Ａ、Ｂ、Ｃ）の人物の顔の画像データから特徴情報を、特徴情報抽出処理部１２で抽出する。
【００２０】
次にステップＳ１４に進み、顔検出処理部１１にて検出された（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人のうち、先ず最初のグループの（Ａ、Ｂ、Ｃ）の３人について、認証処理部１４で個人認証処理を行う。すなわち、ステップＳ１３で抽出された最初のグループ（Ａ、Ｂ、Ｃ）の３人の顔の画像データに含まれる特徴情報と、記憶部１５に記憶された顔の画像データの特徴情報を比較して個人認証処理を行う。その結果、図３（ｂ）のように（Ａ、Ｂ、Ｃ）の３人が個人認証され、それぞれが誰であるか識別できたとする。
【００２１】
次にステップＳ１５に進み、次の画像フレームである（ｎ＋ｘ）番目の画像フレームで顔検出処理部１１による顔検出処理が行われる。その結果、図３（ｃ）のように、同じく５人の人物の顔が検出されたとする。ステップＳ１６においては、まず５人の顔の位置を、ステップＳ１１にて検出された５人の顔の位置と比較する。そして、ステップ１３で特徴情報を抽出されなかったもう一つのグループ（Ｄ、Ｅ）に属すると推定される２人の顔の画像データから、特徴情報抽出処理部１２で特徴情報を抽出する。ｎ番目の画像フレームと（ｎ＋ｘ）番目の画像フレームで、（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人の位置が必ずしも一致するとは限らない。そのため、ｎ番目の画像フレームにおける５人のそれぞれの位置と、（ｎ＋ｘ）番目の画像フレームにおける５人のそれぞれの位置を比較して、どの人物が（Ｄ、Ｅ）の２人であるかを推定する。
【００２２】
次にステップＳ１７では、記憶部１５に登録されている顔の画像データの特徴情報と比較して、ステップＳ１４で個人認証処理の対象とならなかった残りの（Ｄ、Ｅ）の２人について個人認証処理を行う。すなわち、ステップＳ１６で抽出された２人（Ｄ、Ｅ）の顔の画像データの特徴情報を、記憶部１５に登録されている特徴情報を比較して個人認証処理を行う。その結果、図３（ｄ）のように（Ｄ、Ｅ）の２人が個人認証されたとする。
【００２３】
ここまで、ｎと（ｎ＋ｘ）番目の２つの画像フレームで、顔検出処理部１１にて顔が検出された（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人全員についての個人認証処理が終了される。その後に、ユーザが認証結果を表示装置９で確認して撮影が行われ、処理を終了する。以上が、本発明の実施形態１の原理的な動作の説明となる。尚、図３で示すように、５人全員の認証処理が終了したあとは、また次の画像フレームから、新たな処理がされて連続的に開始されることとなる。
【００２４】
図３の例では、記憶部１５に登録されている５人の人物を、３人と２人のグループに分けて異なる画像フレームで個人認証処理を実行した。しかしながら、グルーピング部１３において、２人、２人、１人のように３グループにグループ分けし、異なる３つの画像フレームで個人認証処理を実行することも有り得る。また、５人の中から常に３人を順に選択して個人認証処理の対象とする構成としてもよい。例えば、（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人の人物を、（Ａ、Ｂ、Ｃ）、（Ｄ、Ｅ、Ａ）、（Ｂ、Ｃ、Ｄ）、（Ｅ、Ａ、Ｂ）というグループに分けることが考えられる。さらに、このグループ分けの方法としては、顔が大きいもの、顔の位置が画像の中心位置に近いもの、あるいは、顔らしさの条件をより多く満たしているもの、を優先して選択することが考えられる。
【００２５】
上記の説明で、ｎと（ｎ＋ｘ）番目の２つの異なる画像フレームで、顔検出処理部１１にて検出された（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人全員についての個人認証処理を実行すると説明した。しかしながら、必ずしもｘ＝１として時間的に隣り合う２つの異なる画像フレームで実行しなくともよく、各部の処理時間や、グループに含まれる人物の数を考慮して（ｎ＋ｘ）フレーム毎に各グループの個人認証処理を実行する。尚、ｎ及びｘは正の整数である。１つのグループに含まれる人数も、個人認証処理に要する時間を考慮して、最適な数を実験的に求めればよい。
【００２６】
本発明の実施形態１における個人認証処理の効果について、図４のタイムチャートを参照してさらに説明する。図４は、従来技術である顔検出の行われた１つの画像フレームごとに顔検出された全員を個人認証処理する場合と、顔検出された人物を複数の異なる画像フレームで分けて個人認証処理する場合との経過の時間を比較したタイムチャートである。
【００２７】
図４から分かるように、実施形態１に基づく処理では、登録された人物の全員の個人認証処理を完了するまでの合計時間は、従来技術によるものと殆ど変わらないか、むしろ顔検出の状況によっては逆に多少長くなるという欠点を含む。しかしながら、従来技術の処理のように、１つの画像フレームからすべての人物について個人認証処理しようとすると、全員について個人認証処理を完了するまでに時間が掛かり過ぎる。したがって、その間に被写体である人物が動いている可能性が大きくなる。そのため、全員の個人認証処理が終わって撮影しようとしたときに、個人認証処理した画像フレームでの人物の位置と撮影時の画像フレームの人物の位置がずれ、露出や焦点が意図した人物に合わなかったり、別の人物に間違って合ったりするという弊害が起こる。
【００２８】
本発明の実施形態１によれば、図４に示すように、個人認証処理において、１つの画像フレーム中の全ての人物を個人認証処理する時間に比べて、１つの画像フレームの個人認証処理する時間が短い。そのため、検出された複数の顔を複数のグループに分け、グループ毎に別の画像フレームから個人認証処理すると、１画像フレーム当たりの個人認証処理の時間が短縮される。よって、優先度の高いと推定される被写体の個人認証に要する時間は従来よりも短くなり、被写体である人物が動いている場合でも、優先度の高い被写体については、従来よりも早く個人認証しやすくなる。
【００２９】
＜実施形態２＞
次に、本発明の実施形態２に係る撮像装置について説明する。実施形態２に係る撮像装置の概略構成を示すブロック図を図５に示す。図５において、本発明の実施形態１に係る撮像装置と同一のブロック構成部分については、同一の参照符号を付し、その説明は省略する。図５に示す撮像装置においては、新たに、比較処理部１７、シャッタが関連する第１スイッチ１８及び第２スイッチ１９が追加された構成とされている。
【００３０】
本発明の実施形態２に係る撮像装置の動作について、以下図５乃至図９を参照して詳細に説明する。図６は、本実施形態２に係る撮像装置における認識動作の処理を説明するフローチャートである。この処理は、撮像装置が個人認証処理を実行する実設定であった場合に、制御部１６の制御にしたがって、個人認証処理が実行される。
【００３１】
ここで説明する実施形態２においても、個人認証処理を実行するにあたって、記憶部１５には登録対象として、予め個人認証の対象とする人物が登録されているものとする。まずステップＳ２１で、顔検出処理部１１により、一時記憶部６に記憶される現在のｎ番目の画像フレームの画像データに関し顔検出処理が実行される。この実施形態２では、検出された人物のそれぞれの顔の位置、顔の大きさの情報もあわせて抽出される。次にステップＳ２２に進み、ステップＳ２１で検出された、すなわち顔検出された人物の数を判断し、その数に基づいて、人物のグループ分けを行う。
【００３２】
この場合ステップＳ２２では、顔検出された５人の人物をそれぞれＡ、Ｂ、Ｃ、Ｄ及びＥとすると、顔検出された５人をグルーピング部１３で（Ａ、Ｂ、Ｃ）と（Ｄ、Ｅ）の２つのグループに分ける。グルーピング部１３によるグループ分けについて、ここでの説明では、５人の人物を３人と２人のグループに分けたが、検出された人物の数や検出時間等に応じて、どのようにグループ分けするかは自由に設定できるものとする。これは、１回の個人認証処理に掛かる時間を制限するために、グループ分けを行うものであって、たとえば、３人を１グループの上限の数とする。ステップＳ２３においては、ステップＳ２２で一方のグループに分けられた３人（Ａ、Ｂ、Ｃ）の人物の顔の画像データから特徴情報を、特徴情報抽出処理部１２で抽出する。
【００３３】
次にステップＳ２４に進み、顔検出処理部１１にて検出された（Ａ、Ｂ、Ｃ、Ｄ、Ｅ）の５人のうち、先ず最初のグループの（Ａ、Ｂ、Ｃ）の３人について、認証処理部１４で個人認証処理を行う。すなわち、ステップＳ２３で抽出された最初のグループ（Ａ、Ｂ、Ｃ）の３人の顔の画像データに含まれる特徴情報と、記憶部１５に記憶された顔の画像データの特徴情報を比較して個人認証処理を行う。この認証処理はｎ番目の画像フレームに対して実行される。その結果、図３（ｂ）のように（Ａ、Ｂ、Ｃ）の３人が個人認証され、それぞれが誰であるか識別できたとする。
【００３４】
次にステップＳ２５に進み、個人認証処理の結果を表示装置９に表示してステップＳ２６に進む。ステップＳ２６では、顔検出処理部１１にて検出された人数分の個人認証が終了したかが判定される。まだ、個人認証がされていない人物が残っている場合、ステップＳ２７で画像フレームの選択がなされ、次の画像フレーム（ｎ＋ｘ）に関し、ステップＳ２１から同じ動作を繰り返す。次の画像フレームである（ｎ＋ｘ）番目の画像フレームで顔検出処理部１１による顔検出処理がステップＳ２１で行われ、それぞれの人物の顔の位置、顔の大きさの情報もあわせて抽出される。ステップＳ２７を経由してきた処理では、ステップＳ２２は基本的にスキップされる。
【００３５】
ステップＳ２１の結果、図３（ｃ）のように、同じく５人の人物の顔が検出される。ステップＳ２３においては、ステップＳ２１で検出された５人の人物の顔の画像データから、前回に個人認証処理の対象とされなかった残りの（Ｄ、Ｅ）の２人について、特徴情報抽出処理部１２で特徴情報を抽出する。
【００３６】
次にステップＳ２４では、顔検出処理部１１にて検出された５人のうち、前回に個人認証処理の対象とされなかった残りの（Ｄ、Ｅ）の２人について、ステップＳ２３で抽出された５人の人物の顔の画像データの特徴情報を用いて個人認証処理を行う。この認証処理は（ｎ＋ｘ）番目の画像フレームに対して実行される。その結果、図３（ｄ）のように（Ｄ、Ｅ）の２人が個人認証されることになる。したがって、５人全員の個人認証が終了するとステップＳ２８に進む。
【００３７】
先に説明したように、第１スイッチ１８及び第２スイッチ１９は、２段押し込み動作のシャッタに連動したスイッチである。シャッタの半押下の場合、第１スイッチ１８がＯＮとなり、シャッタの全押下の場合、第１スイッチ１８及び第２スイッチ１９共にＯＮとなる。
【００３８】
ステップＳ２８では、ユーザによるシャッタの押下の状態を第１スイッチ１８の状態で調べて、第１スイッチ１８がＯＮであればステップＳ２９へ進み、そうでなければ、すなわちＯＦＦであればステップＳ２１へ戻る。ステップＳ２９では、撮像系制御部１０において、Ａ／Ｄ変換部４からの画像データから被写体輝度等を算出し、レンズ系１や撮像素子２に対して露出制御や焦点制御を実行する。しかしながら、顔検出処理、個人認証処理や比較処理等の結果に基づいて露出制御や焦点制御を実行してもよい。
【００３９】
ステップＳ３０では、第２スイッチ１９の状態を判断し、第２スイッチ１９がＯＮであればステップＳ３１へ進み、メモリカード８へ記録する撮影動作をおこなう。そうでなければステップＳ３２へ進む。ステップＳ３２では第１スイッチ１８の状態を再度判断して、第１スイッチ１８がＯＮであればステップＳ３０へ戻り、そうでなければ、すなわち第１スイッチ１８がＯＦＦであればＳ２１へ戻る。また、ステップＳ２９の撮影動作後はやはりステップＳ２１に戻る。
【００４０】
実施形態２においては、特にステップＳ２４の個人認証処理と同時に、ステップＳ３３で示す比較処理が実行される。比較処理は、制御部１６の制御にしたがって、比較処理部１７が実行する。すなわち、先に説明したように、顔検出処理のステップＳ２１では、各画像フレームで検出された全ての顔の位置と顔の大きさが抽出される。抽出した顔の位置と顔の大きさの情報は一時記憶部６に保存される。
【００４１】
次に、本発明の実施形態２の特徴である、図６のステップＳ３３の比較処理について、図７のフローチャート及び図８のタイムチャートを参照して説明する。この処理は、制御部１６の制御にしたがって比較処理部１７で実行される。
【００４２】
図７のフローチャートは、時間ｔ＝ｎの現在の画像フレームで検出された顔と、ｔ＝ｎ−ｋの前の画像フレームで検出された顔との比較処理を実行する。これにより、ｔ＝ｎの現在の画像フレームで検出された顔と、ｔ＝ｎ−ｋの前の画像フレームで検出された顔に、同一人物か存在するか否かの判断をおこなう。ここで、ｋは、顔検出処理部１１で顔検出処理をおこなう現在と前の画像フレームの間隔である。
【００４３】
図８に示すタイムチャートは、図６のステップＳ２１での顔検出処理、ステップＳ２４の個人認証処理、及びステップＳ３３の比較処理との間の時間関係を表している。まず、図７の処理の開始後のステップＳ４１にてｔ＝ｎの現在の画像フレームで検出した複数の顔のうち、１つの顔Ｈｎを選択する。続くステップＳ４２では、以前に実行されて検出されたｔ＝ｎ−ｋの前の画像フレームで検出された顔のうち、１つの顔Ｈｎ−ｋを選択する。
【００４４】
続くステップＳ４３では、選択した顔Ｈｎの位置（顔の中心座標）、同じく選択したと顔Ｈｎ−ｋの位置の比較を比較処理部１７で実行する。この場合、たとえば顔Ｈｎの位置が（ｘａ、ｙａ）で、顔Ｈｎ−ｋの位置が（ｘｄ、ｙｄ）であったとする。そして、その位置の差分、すなわち差分Δｘ＝｜ｘａ−ｘｄ｜、Δｙ＝｜ｙａ−ｙｄ｜が予め定めた閾値Ｔｈｘ、Ｔｈｙに満たないとする。つまり予め定めた範囲を特定する閾値未満であった場合（Ｔｈｘ＞Δｘ、Ｔｈｙ＞Δｙ）には、ステップＳ４４へと進み、そうでなかった場合はステップＳ４６へと進む。
【００４５】
ステップＳ４４では、選択された顔Ｈｎの大きさと、同じく選択された顔Ｈｎ−ｋの大きさの比較処理を実行する。顔Ｈｎの大きさをＦａとし、顔Ｈｎ−ｋの大きさをＦｄとすると、顔Ｈｎの大きさと顔Ｈｎ−ｋの大きさの差分（ΔＦ＝｜Ｆａ−Ｆｄ｜）が予め定めた閾値ＴｈＦに満たないとする。つまり予め定めた範囲を特定する閾値ＴｈＦ未満であった場合（ＴｈＦ＞ΔＦ）、ステップＳ４５へ進む。しかし、そうでなかった場合はステップＳ４６へと進む。
【００４６】
ステップＳ４５では、ｎ番目の画像フレームから選択した顔Ｈｎと、ｎ−ｋ番目の画像フレームから選択した顔Ｈｎ−ｋは、位置と顔の大きさ共に近いので、比較処理部１７は同一人物の顔であると判定する。一方ステップＳ４６では、顔Ｈｎと顔Ｈｎ−ｋは別人物の顔であると判定する。
【００４７】
次にステップＳ４７に進み、ｔ＝ｎ−ｋの前の画像フレームで検出された顔がすべて顔Ｈｎ−ｋとして選択されたか否かの判断をおこなう。すべて選択され、比較処理が終了していればステップＳ４８へ進み、そうでない場合はステップＳ４２へ戻り、残りの顔についての処理を実行する。続くステップＳ４８では、ｔ＝ｎの現在の画像フレームで検出された顔がすべて顔Ｈｎとして選択されたか否かの判断をおこなう。すべて選択されていれば、処理を終了する。そうでない場合はステップＳ４１に戻る。
【００４８】
図９の説明図においては、ｔ＝ｎ−ｋの前の画像フレームで、Ｈ１１、Ｈ１２及びＨ１３の３つの人物の顔が検出され、ｔ＝ｎの現在の画像フレームで、Ｈ２１、Ｈ２２及びＨ２３の３つの人物の顔が検出されている。したがって比較処理部１７では、合計で９回の比較処理が実行されることとなる。これらの処理を時間ごとに繰り返すことにより、顔検出された同一人物をｋ画像フレームの間隔で追尾することができる。
【００４９】
以上説明した一連の処理の流れを時系列に表したのが図８のタイムチャートである。ステップＳ２１で検出した顔検出処理Ｆ（ｎ−ｋ）の結果を元にして、個人認証処理Ａ（ｎ）がおこなわれる。この個人認証処理が行なわれてる間は、比較処理が行なわれる。この比較処理によって、個人認証処理Ａ（ｎ）の結果が得られるｎ＋９ｋの画像フレームまで顔検出処理Ｆ（ｎ−ｋ）で検出された顔、すなわち人物の追尾をおこなう。これにより、個人認証処理Ａ（ｎ）の結果が得られた時に、認証された顔に対して個人情報を表示させることができる。また、登録者ＡであるＡ（ｎ）の結果が得られた後も追尾をおこなうことによって個人認証処理Ａ（ｎ＋９ｋ）の処理中も、認証されている顔に対して登録者Ａとしての個人情報を表示することができる。
【００５０】
以上により、撮像装置のような小型装置においても認識された被写体の追尾が容易になる。上記の説明で、ｎ、ｋは正の整数でありフレーム画像の順番を表す。
【００５１】
なお、上記実施形態２で、図４の個人認証はつねに実行されるが、たとえば、比較処理による個人の追尾が成功している間は実行しなくてもよい。それにより消費電力の節約が期待される。
【００５２】
また、上記従来例では、ステップＳ４３で予め定めた範囲を特定する閾値Ｔｈｘ、ＴｈｙとステップＳ４４での閾値Tｈｆは固定値を想定していたが、検出された顔の個数によって変化させても良い。顔の個数が多くなるにつれて予め定めた範囲を特定する閾値を小さくすることにより、誤検出を防ぐことができる。また、現在の画像フレームで個人認証処理の対象となっていない人物については、被写体である人物の追従ができる撮像装置の場合には、現在の画像フレームで個人認証処理されていなくても、追従した先の顔をその人物として見なすことができる。もし被写体である人物を追従できない撮像装置の場合には、前の画像フレームで個人認証処理された位置の近くにある顔の人物を、その人物とみなすということも可能である。
【００５３】
本発明の実施形態２によれば、顔検出処理部１１にて検出された複数の顔を、複数の画像フレームごとにグループ分けして個人認証処理を行う。そして新たな画像フレームでは個人認証処理の対象とされていない人物については、前の画像フレームからの顔の位置の動きを追従する。もし追従が可能であった場合には、追従後の位置にある顔を、前の画像フレームで個人認証処理された人物とみなす。
【００５４】
その結果、１つの画像フレームついての個人認証処理時間が短縮される。したがって、現在の画像フレームで個人認証処理の対象でなかった人物については、前の画像フレームからの顔の位置の動きを追従して判断するような処理と組み合わせて、被写体である人物の動きをより追従しやすくなるという効果がある。
【００５５】
なお、上述した各実施形態の機能を実現するように各種のデバイスを動作させるように、上記各種デバイスと接続された装置であってもよい。あるいはシステム内のコンピュータに対し、上記実施形態の手順を実現するためのソフトウェアのプログラムコードを供給し、そのシステムあるいは装置のコンピュータに格納されたプログラムに従って上記各種デバイスを動作させることによって実施してもよい。これらも、本発明の範疇に含まれる。
【００５６】
また、上記ソフトウェアのプログラムコード自体が上述した実施形態の機能を実現することになり、そのコード自体、およびそのコードをコンピュータに供給するための手段、例えばかかるプログラムコードを格納した記憶媒体は本発明を構成する。かかるコードを記憶する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００５７】
また、コンピュータが供給されたプログラムコードを実行することにより、上述の実施形態の機能が実現される。さらに、そのプログラムコードがコンピュータにおいて稼働しているＯＳあるいは他のアプリケーションソフト等の共同して上述の実施形態の機能が実現される場合にもかかるプログラムコードは本発明の実施形態に含まれることは言うまでもない。
【００５８】
さらに、供給されたプログラムコードがコンピュータの機能拡張ボードや接続された機能拡張ユニットに備わるメモリに格納された後、そのコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。そしてその処理によって上述した実施形態の機能が実現される場合にも本発明に含まれることは言うまでもない。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施形態１に係る撮像装置の概略構成を示した図である。
【図２】本発明の実施形態１に係る撮像装置の認証処理の基本的な動作を説明するフローチャートである。
【図３】本発明の実施形態１に係る撮像装置の認証処理の基本的な動作を示す説明図である。
【図４】本発明の実施形態１に係る撮像装置の認証処理の基本的な動作を説明するタイムチャートである。
【図５】本発明の実施形態２に係る撮像装置の概略構成を示した図である。
【図６】本発明の実施形態２に係る撮像装置の認証処理の動作を説明するフローチャートである。
【図７】本発明の実施形態２に係る撮像装置の比較処理の動作を説明するフローチャートである。
【図８】本発明の実施形態２に係る撮像装置の比較処理の動作を説明するタイムチャートである。
【図９】本発明の実施形態２に係る撮像装置の比較処理の動作を示す説明図である。
【符号の説明】
【００６０】
１  レンズ系
２  撮像素子
３  アナログ信号処理部
４  Ａ／Ｄ変換部
５  デジタル信号処理部
６  一時記憶部
７  記録制御部
８  メモリカード
９  表示装置
１０  撮像系制御部
１１  顔検出処理部
１２  特徴情報抽出処理部
１３  グルーピング部
１４  認証処理部
１５  記憶部
１６  制御部
１７  比較処理部
１８  第１スイッチ
１９  第２スイッチ
【図１】
2008271310.tif 000003
【図２】
2008271310.tif 000004
【図３】
2008271310.tif 000005
【図４】
2008271310.tif 000006
【図５】
2008271310.tif 000007
【図６】
2008271310.tif 000008
【図７】
2008271310.tif 000009
【図８】
2008271310.tif 000010
【図９】
2008271310.tif 000011