(57)【特許請求の範囲】
【請求項１】
少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子を搭載した電子撮像装置において、
上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、
上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、
上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、
を具備し、
上記特徴量検出領域決定部は、
所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、
上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部と、
を有し、
上記所定の条件は、上記低解像度画像用の駆動モードにおける撮像タイミングと上記高解像度画像用の駆動モードにおける撮像開始前で最後に上記顔領域の検出に使用された画像データが得られた撮像タイミングとの時間差であり、
上記顔領域拡張部は、上記時間差が大きい場合に上記顔領域の拡張の度合いを大きくすることを特徴とする電子撮像装置。
【請求項２】
少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子を搭載した電子撮像装置において、
上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、
上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、
上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、
被写体の輝度を測定する輝度測定部と、
を具備し、
上記特徴量検出領域決定部は、
所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、
上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部と、
を有し、
上記所定の条件は、上記輝度測定部により測定された被写体の輝度であり、
上記顔領域拡張部は、上記被写体の輝度が低い場合に上記顔領域の拡張の度合いを大きくすることを特徴とする電子撮像装置。
【請求項３】
上記低解像度画像用の駆動モードはスルー画像表示用の駆動モードを含み、上記高解像度画像用の駆動モードは静止画撮像用の駆動モードを含むことを特徴とする請求項１又は２に記載の電子撮像装置。
【請求項４】
上記低解像度画像用の駆動モードは、上記撮像素子内の複数の画素からの電荷を混合してから出力する画素混合モードであることを特徴とする請求項１乃至３の何れか１項に記載の電子撮像装置。
【請求項５】
上記低解像度画像用の駆動モードは、上記撮像素子内の各画素からの電荷の一部を間引いて出力する間引き読み出しモードであることを特徴とする請求項１乃至３の何れか１項に記載の電子撮像装置。
【請求項６】
電子撮像部と個人特定部とを有する個人特定システムであって、
上記電子撮像部は、
少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子と、
上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、
上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、
上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、
を具備し、
上記特徴量検出領域決定部は、
所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、
上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部と、を有し、
上記所定の条件は、上記低解像度画像用の駆動モードにおける撮像タイミングと上記高解像度画像用の駆動モードにおける撮像開始前で最後に上記顔領域の検出に使用された画像データが得られた撮像タイミングとの時間差であり、
上記顔領域拡張部は、上記時間差が大きい場合に上記顔領域の拡張の度合いを大きくし、
上記個人特定部は、
個人を特定するための特徴量データを記憶する特徴量データベースと、
上記特徴量検出部で検出された特徴量と上記特徴量データベースに記憶された特徴量データとを照合して個人を特定する特徴量照合部と、
を具備することを特徴とする個人特定システム。
【請求項７】
電子撮像部と個人特定部とを有する個人特定システムであって、
上記電子撮像部は、
少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子と、
上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、 
上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、
上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、
被写体の輝度を測定する輝度測定部と、
を具備し、
上記特徴量検出領域決定部は、
所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、
上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部と、を有し、
上記所定の条件は、上記輝度測定部により測定された被写体の輝度であり、
上記顔領域拡張部は、上記被写体の輝度が低い場合に上記顔領域の拡張の度合いを大きくし、
上記個人特定部は、
個人を特定するための特徴量データを記憶する特徴量データベースと、
上記特徴量検出部で検出された特徴量と上記特徴量データベースに記憶された特徴量データとを照合して個人を特定する特徴量照合部と、
を具備することを特徴とする個人特定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子撮像装置及び電子撮像装置を用いた個人特定システムに関する。
【背景技術】
【０００２】
連続的に撮像されて得られた動画像データの所定のフレームを抽出し、抽出したフレームにおいて人物等の顔が存在する領域（顔領域）を検出し、検出した顔領域に対してＡＦやＡＥを行うデジタルカメラ等の電子撮像装置が提案されてきている。また、顔領域の検出技術を利用して個人特定（個人認証）を行う技術が、例えば特許文献１において提案されている。特許文献１においては複数の撮像手段から入力された画像データから個人を特定するために、まず顔の領域を検出し、検出した顔の領域内で目や鼻などの顔の特徴量を検出した後で、検出した顔の特徴量を所定のデータベースに登録されている情報と照合して個人特定を行っている。
【特許文献１】特開２００４−１９２３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで、従来の顔領域の検出と特徴量の検出とは同一の画像データに基づいて行われている。例えば、動画像データに基づいて顔領域検出及び特徴量検出を行う場合には、動画像データの所定フレームを抽出して行っている。この場合には、データ量が少ないので顔領域検出及び特徴量検出の処理速度を向上させることが可能であるが、画像データの解像度は静止画像データに比べて低くなるので個人特定の精度が低下するおそれがある。逆に、静止画撮像によって得られた画像データによって個人特定を行う場合には、画像データの解像度が高いので個人特定の精度を高めることが可能であるが、データ量も多くなるので処理速度が低下するおそれがある。
【０００４】
本発明は、上記の事情に鑑みてなされたもので、高速かつ高精度に個人特定のための特徴量検出を行うことができる電子撮像装置、及びこのような電子撮像装置によって検出された特徴量を用いて個人特定を行う個人特定システムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するために、本発明の第１の態様による電子撮像装置は、少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子を搭載した電子撮像装置において、上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部とを具備し、上記特徴量検出領域決定部は、所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部とを有し、上記所定の条件は、上記低解像度画像用の駆動モードにおける撮像タイミングと上記高解像度画像用の駆動モードにおける撮像開始前で最後に上記顔領域の検出に使用された画像データが得られた撮像タイミングとの時間差であり、上記顔領域拡張部は、上記時間差が大きい場合に上記顔領域の拡張の度合いを大きくすることを特徴とする。
また、上記の目的を達成するために、本発明の第２の態様による電子撮像装置は、少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子を搭載した電子撮像装置において、上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、被写体の輝度を測定する輝度測定部とを具備し、上記特徴量検出領域決定部は、所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部とを有し、上記所定の条件は、上記輝度測定部により測定された被写体の輝度であり、上記顔領域拡張部は、上記被写体の輝度が低い場合に上記顔領域の拡張の度合いを大きくすることを特徴とする。
【０００６】
また、上記の目的を達成するために、本発明の第３の態様による個人特定システムは、電子撮像部と個人特定部とを有する個人特定システムであって、上記電子撮像部は、少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子と、上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部とを具備し、上記特徴量検出領域決定部は、所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部とを有し、上記所定の条件は、上記低解像度画像用の駆動モードにおける撮像タイミングと上記高解像度画像用の駆動モードにおける撮像開始前で最後に上記顔領域の検出に使用された画像データが得られた撮像タイミングとの時間差であり、上記顔領域拡張部は、上記時間差が大きい場合に上記顔領域の拡張の度合いを大きくし、上記個人特定部は、個人を特定するための特徴量データを記憶する特徴量データベースと、上記特徴量検出部で検出された特徴量と上記特徴量データベースに記憶された特徴量データとを照合して個人を特定する特徴量照合部とを具備することを特徴とする。
また、上記の目的を達成するために、本発明の第４の態様による個人特定システムは、電子撮像部と個人特定部とを有する個人特定システムであって、上記電子撮像部は、少なくとも低解像度画像用の駆動モードと高解像度画像用の駆動モードからなる複数の駆動モードを有する撮像素子と、上記低解像度画像用の駆動モードでの撮像により得られた画像データの中で顔が存在する顔領域を検出する顔領域検出部と、 上記検出された顔領域に基づいて、上記高解像度画像用の駆動モードでの撮像により得られた画像データから個人を特定するための特徴量を検出するための特徴量検出領域を決定する特徴量検出領域決定部と、上記決定された特徴量検出領域内の画像データから上記特徴量を検出する特徴量検出部と、被写体の輝度を測定する輝度測定部とを具備し、上記特徴量検出領域決定部は、所定の条件に基づいて上記顔領域検出部で検出された顔領域を拡張する顔領域拡張部と、上記拡張された顔領域に対応する領域を、上記高解像度画像用の駆動モードでの撮像により得られた画像データから、上記特徴量検出領域として抽出する特徴量検出領域抽出部とを有し、上記所定の条件は、上記輝度測定部により測定された被写体の輝度であり、上記顔領域拡張部は、上記被写体の輝度が低い場合に上記顔領域の拡張の度合いを大きくし、上記個人特定部は、個人を特定するための特徴量データを記憶する特徴量データベースと、上記特徴量検出部で検出された特徴量と上記特徴量データベースに記憶された特徴量データとを照合して個人を特定する特徴量照合部とを具備することを特徴とする。
【０００７】
これら第１〜第４の態様によれば、顔領域の検出に低解像度画像用の駆動モードでの撮像により得られた画像データを用い、特徴量の検出に高解像度画像用の第２の駆動モードでの撮像により得られた画像データを用いている。これにより、高速かつ高精度に個人特定のための特徴量検出を行うことができる。
【発明の効果】
【０００８】
本発明によれば、高速かつ高精度に個人特定のための特徴量抽出を行うことができる電子撮像装置、及びこのような電子撮像装置によって抽出された特徴量を用いて個人特定を行う個人特定システムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。  
図１は、本発明の一実施形態に係る個人特定システムの主要な構成を示すブロック図である。図１に示す個人特定システムは、撮像部１と、顔領域検出部２と、顔領域拡張部３と、特徴量検出領域抽出部４と、特徴量検出部５と、特徴量データベース６と、特徴量照合部７とから構成されている。ここで、図１に示す個人特定システムは、例えばデジタルカメラのような電子撮像装置に設けられるものである。
【００１０】
撮像部１は、少なくとも第１の駆動モードと第２の駆動モードの２種類の駆動モードの何れかで撮像を行って画像データを得る。ここで、第１の駆動モードは、低データ量の画像データを撮像するための駆動モードである。また、第２の駆動モードは高解像度の画像データを撮像するための駆動モードである。
【００１１】
撮像部１４は、まず第１の駆動モードによる撮像を行い、これによって得られた画像データを顔領域検出部２に送る。その後、所定の時間差をおいて第２の駆動モードによる撮像を行い、これによって得られた画像データを特徴量検出領域抽出部４に送る。
【００１２】
顔領域検出部２は、撮像部１による第１の駆動モードの撮像によって得られた画像データの中から、被写体の顔に相当する領域（顔領域）を検出する。なお、ここでの被写体の顔は、人物の顔や、犬、猫の顔等、特に限定されるものではない。
【００１３】
顔領域拡張部３は、顔領域検出部２で検出された顔領域を所定の条件に従って拡張する。この所定の条件は、顔領域検出部２において顔検出に用いられた画像データが撮像されたタイミングから、第２の駆動モードによって画像データが撮像されるタイミングまでの時間差に基づいて決定される。特徴量検出領域抽出部４は、顔領域拡張部３において拡張された顔領域に対応する領域を特徴量検出領域として、撮像部１による第２の駆動モードの撮像によって得られた画像データの中から抽出する。なお、顔領域拡張部３と特徴量検出領域抽出部４とで特徴量検出領域決定部を構成している。
【００１４】
特徴量検出部５は、特徴量検出領域抽出部４で抽出された特徴量検出領域内の画像データから、目のくぼみかたや鼻の高さ、目や鼻の位置関係等の顔の特徴量を検出する。特徴量データベース６は、個人特定のための特徴量のデータを格納している。特徴量照合部７は、特徴量検出部５で検出された特徴量と特徴量データベース６に格納されている特徴量とを照合して個人特定を行う。
【００１５】
以下、図１に示す個人特定システムをより具体的に説明する。図２は、図１に示す個人特定システムを備える電子撮像装置（例えば、デジタルカメラ）の構成を示すブロック図である。図２に示す電子撮像装置は、マイクロコンピュータ（図ではマイコンと記している）１１と、撮影レンズ１２と、レンズ駆動部１３と、撮像部１４と、Ａ/Ｄ変換部１５と、データバス１６と、ＲＡＭ１７と、顔領域検出部１８と、画像処理部１９と、液晶モニタ２０と、操作部２１と、特徴量検出部２２と、特徴量照合部２３と、ＲＯＭ２４と、記録媒体２５と、通信インターフェイス（Ｉ/Ｆ）２６とから構成されている。なお、図１と同一名称の構成は図１と同様の機能を有するものである。
【００１６】
マイコン１１は、図１に示す電子撮像装置の全体的な動作制御を行う。また、マイコン１１は、輝度検出部としての機能も有しており、静止画撮像時に先立って被写体の輝度を測定する。さらに、マイコン１１は、顔領域拡張部１１ａ及び特徴量検出領域抽出部１１ｂの機能を有している。
【００１７】
撮影レンズ１２は図示しない被写体の像を撮像部１４の撮像素子に結像させる。レンズ駆動部１３は、撮影レンズ１２を駆動させて撮影レンズ１２の焦点調節や変倍を行う。撮像部１４は、例えばＣＣＤ方式の撮像素子から構成され、撮影レンズ１２を介して結像された被写体の像を、その光量に応じた画像信号として出力する。ここで、撮像部１４は、少なくとも上述した第１の駆動モードとしてのスルー画表示用の駆動モードと第２の駆動モードとしての静止画撮像用の駆動モードの少なくとも２つの駆動モードで駆動可能である。
【００１８】
第１の駆動モードとしてのスルー画表示用の駆動モードは、連続的に撮像を行って得られた画像をリアルタイムで液晶モニタ２０に表示させるスルー画表示を行うための駆動モードである。この際には、撮像素子の各画素で得られる電荷を同色毎に所定画素数分ずつ混合（加算）してから画像信号として読み出すようにする。このような画素混合モードでは、複数画素の電荷を混合するため、見かけの画素数が低下して画像の解像度は低下するが、それぞれの画像信号の出力を大きくすることができ、低データ量、即ち高速で出力可能かつＳ/Ｎの良い画像信号を得ることができる。これに対し、第２の駆動モードとしての静止画撮像用の駆動モードは、高解像度の静止画像を撮像するための駆動モードである。この際には、撮像素子の各画素で得られる電荷を混合せずに画像信号として読み出すようにする。この場合には、データ量は大きくなるが解像度の高い画像を得ることが可能である。
【００１９】
Ａ/Ｄ変換部１５は、撮像部１４において得られた画像信号をデジタル信号（画像データ）に変換する。データバス１６は、Ａ/Ｄ変換部１５において得られた画像データ等の種々のデータを転送するための転送路である。ＲＡＭ１７は、画像データ等の種々のデータを一時記憶する。顔領域検出部１８は、スルー画表示用の駆動モードによって得られ、ＲＡＭ１７に記憶された画像データを読み出して、読み出した画像データにおける被写体の顔の領域（顔領域）を検出する。画像処理部１９は、画像データに対して画像処理を行う。液晶モニタ２０は、画像処理部１９において処理された画像を表示する。
【００２０】
操作部２１は、例えば、静止画撮像開始の指示をするためのレリーズボタンや電子撮像装置の電源ボタン等の操作部材である。ユーザによって操作部２１が操作された場合、マイコン１１はその操作に応じた所定の処理を行う。
【００２１】
特徴量検出部２２は、静止画撮像用の駆動モードによって得られ、ＲＡＭ１７に記憶された画像データを読み出して、読み出した画像データにおける特徴量を検出する。特徴量照合部２３は、特徴量検出部２２において検出された特徴量をＲＯＭ２４に記憶された特徴量データベース２４ａの特徴量と照合して個人特定を行う。なお、ＲＯＭ２４にはマイコン１１によって処理される各種プログラムも記憶されている。
【００２２】
記録媒体２５は、静止画撮像用の駆動モードによって得られ画像処理部１９において処理された画像データを、特徴量照合部２３において得られた個人特定結果と共に記録するための記録媒体である。通信Ｉ/Ｆ２６は、本電子撮像装置の外部に存在するパーソナルコンピュータ（ＰＣ）２７とデータ通信を行うための通信インターフェイスである。このデータ通信は、有線によるものであっても無線によるものであっても良い。
【００２３】
以下、図３を参照して本一実施形態の電子撮像装置の動作について説明する。図３は、ユーザによってレリーズボタンが押された後の、スルー画表示、顔検出、ＡＦ、及び静止画撮像のタイミングチャートである。
【００２４】
電源投入直後等、ユーザによってレリーズボタンが押される前は、液晶モニタ２０にスルー画表示が行われる。このとき、撮像部１４は、スルー画表示用の駆動モードで駆動される。これによって、解像度は低いがＳ/Ｎの良い画像信号が、一定のフレームレート（例えば３０ｆｐｓ）で読み出される。撮像部１４で読み出された画像信号はＡ/Ｄ変換部１５においてデジタル化され、データバス１６を介してＲＡＭ１７に記憶される。
【００２５】
顔領域検出部１８は、図４に示すようにして得られたスルー画像データのうちの、顔領域３１の位置を検出する。ここで、顔領域３１は、例えば人物の顔領域の検出であれば、スルー画像データ内の略円形の肌色領域を含む領域をパターンマッチング等の手法によって検出すれば良い。顔領域検出部１８における顔領域３１の検出結果（顔領域３１の位置情報若しくは顔領域３１が無い場合にはその旨を示す情報）は、マイコン１１に送られる。なお、顔領域３１の検出は、スルー画像データの各フレームで行うようにしても良いし、数フレームに１度行うようにしても良い。
【００２６】
顔領域の検出の際、画像処理部１９は、ＲＡＭ１７に記憶されたスルー画像データに対し、スルー画表示用のホワイトバランス補正処理や階調変換処理等の各種画像処理を施す。画像処理後の画像データは、一旦ＲＡＭ１７に記憶された後、フレーム単位で液晶モニタ２０に表示される。ここで、スルー画表示の際に、顔領域検出部１８において検出された顔領域３１を液晶モニタ２０にスーパーインポーズ表示するようにしても良い。
【００２７】
ユーザによって操作部２１のレリーズボタンが押されると、その時点で検出された顔領域に対してＡＦ及びＡＥが行われる。ＡＦは、例えば、撮影レンズ１２を駆動しながら繰り返し撮像部１４による撮像を行い、繰り返し撮像の結果として得られる、顔領域３１内の画像のコントラストが最も高くなる撮影レンズ１２の位置を合焦位置とする手法がある。また、ＡＥは、撮像部１４によって得られた顔領域３１内の露光量（輝度）を適正露光量とするように、露出条件（図示しないシャッタの開放時間及び図示しない絞りの開放量）を決定する手法がある。
【００２８】
ＡＦの終了後、静止画撮像（露光）が行われる。なお、レリーズボタンが２段式のボタンである場合には、ユーザによるレリーズボタンの全押しを受けて静止画撮像が行われる。静止画撮像の際は、スルー画像データの撮像が中断された後、撮像部１４が、静止画撮像用の駆動モードで駆動される。したがって、解像度の高い画像信号が読み出される。撮像部１４で読み出された画像信号はＡ/Ｄ変換部１５においてデジタル化され、データバス１６を介してＲＡＭ１７に記憶される。
【００２９】
マイコン１１は、レリーズボタンが押された時点で検出された顔領域を拡張する。この拡張は、本実施形態における顔領域検出のタイミングと静止画撮像のタイミングとが異なっているために行う。つまり、両者のタイミングが異なっているため、顔領域検出時と静止画撮像時との間に被写体が動いてしまい、静止画撮像時には、顔領域３１内に被写体が存在していない可能性がある。これを考慮して、マイコン１１は、顔領域検出のタイミング（実際には、顔領域検出に用いられたスルー画像データの撮像タイミング）と静止画撮像のタイミングとの時間差Ｔ１に応じて顔領域を拡張する。この拡張は、顔領域検出部１８からマイコン１１に送られてきた顔領域３１の位置（例えば、図４のような矩形領域の場合には頂点の位置）をずらすことで行えば良い。このような処理を行うことにより、顔領域が図５の顔領域３１から顔領域３２に拡張される。
【００３０】
図６は、被写体が暗い場合における、スルー画表示、顔検出、ＡＦ、及び静止画撮像のタイミングチャートである。被写体が暗い場合には、図６に示すように顔領域検出にかかる時間が図３よりも長くなる。このため、顔領域検出に用いられたスルー画像データの撮像タイミングと静止画撮像のタイミングとの時間差Ｔ２は、Ｔ１よりも長くなる。したがって、図７に示すように、顔領域の拡張の度合いも図５に比べて大きくなる。
【００３１】
顔領域の拡張後、マイコン１１は、静止画像データ内で顔領域３２に対応する領域を抽出し、この抽出した領域の位置情報を、特徴量検出領域の位置情報として特徴量検出部２２に送る。
【００３２】
特徴量検出部２２は、マイコン１１によって抽出された特徴量検出領域内の画像データから、目のくぼみかたや鼻の高さ、目や鼻の位置関係等の顔の特徴量を検出する。この検出処理は、例えばパターンマッチング等の手法により行う。特徴量検出部２２による特徴量の検出結果は特徴量照合部２３に送られる。特徴量照合部２３は、特徴量検出部２２で検出された特徴量とＲＯＭ２４内の特徴量データベース２４ａに記憶されている特徴量とを照合して、個人特定を行われる。この個人特定の結果は、マイコン１１に送られる。
【００３３】
個人特定の際、画像処理部１９は、ＲＡＭ１７に記憶された静止画像データに対し、静止画記録用のホワイトバランス補正処理や階調変換処理等の各種画像処理を行う。画像処理後の画像データはＲＡＭ１７に記憶される。
【００３４】
個人特定及び静止画記録用の画像処理の終了後、マイコン１１は、ＲＡＭ１７に記憶されている画像処理後の静止画像データに個人特定情報を付帯させた後、記録媒体２５に記録する。以後は、スルー画表示及び顔領域検出が再開される。
【００３５】
以上説明したように、本一実施形態においては、低解像度であっても行えるが処理に比較的時間のかかる顔領域の検出は、第１の駆動モードであるスルー画表示用の駆動モードによって得られる低データ量の画像データを用いて行う。これに対し、特徴量の検出は、顔領域の検出に比べて高速に行うことができるが、高精度を得るためには高解像度の画像データが必要であるため、第２の駆動モードである静止画撮像用の駆動モードによって得られる高解像度の画像データを用いて行う。これにより、処理速度と個人特定精度とを両立させることが可能である。
【００３６】
ここで、顔領域の検出タイミングと静止画像の撮像タイミングとでは時間差があり、この間に被写体が動いてしまう場合も考えられるが、本一実施形態では、この時間差を考慮するために顔領域の拡張を行うので、被写体が動いても特徴量検出領域を抽出することが可能である。なお、顔領域の拡張を行うことにより、特徴量を検出する際の処理量が増加することが考えられるが、この処理量は静止画像データ内で顔領域を検出する際の処理量よりも十分小さい。
【００３７】
以上実施形態に基づいて本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。例えば、図６に示したように、被写体が暗い場合には、顔領域検出に時間がかかる。このため、図７に示すように顔領域の拡張の度合いが大きくなる。このことを考慮して、顔領域検出に用いられたスルー画像データの撮像タイミングと静止画撮像のタイミングとの時間差を検出せずに、ＡＥ時などで検出される被写体の輝度に応じて拡張の度合いを決定するようにしても良い。
【００３８】
また、図２に示す電子撮像装置においては、処理量や実装時のスペース等を鑑みて、顔領域拡張部１１ａの機能と特徴量検出領域抽出部１１ｂの機能をマイコン１１において実現しているが、これらの機能を別途のＩＣ等において実現するようにしても良い。逆に、顔領域検出部１８、特徴量検出部２２、特徴量照合部２３の機能をマイコン１１において実現するようにしても良い。
【００３９】
さらに、図２においては、特徴量データベースを電子撮像装置（デジタルカメラ）のＲＯＭ２４に記憶させているが、ＰＣ２７内に特徴量データベースを構築するようにしても良い。
【００４０】
また、上述した実施形態においては、第１の駆動モードとしてのスルー画表示用の駆動モードにおいて、撮像素子の各画素で得られる電荷を同色毎に所定画素数分ずつ混合してから画像信号として読み出すようにしているが、これに限るものではなく、スルー画表示用の駆動モードとして、撮像素子の各画素で得られる電荷の一部を間引いて読み出す間引き読み出しモードを用いても良い。このような間引き読み出しモードを用いても低データ量の画像信号を得ることができる。
【００４１】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施形態に係る個人特定システムの主要な構成を示すブロック図である。
【図２】図１に示す個人特定システムを備える電子撮像装置の構成を示すブロック図である。
【図３】ユーザによってレリーズボタンが押された後の、スルー画表示、顔検出、ＡＦ、及び静止画撮像のタイミングチャートである。
【図４】顔領域について示す図である。
【図５】顔領域の拡張について示す図である。
【図６】被写体が暗い場合の、スルー画表示、顔検出、ＡＦ、及び静止画撮像のタイミングチャートである。
【図７】被写体が暗い場合の顔領域の拡張について示す図である。
【符号の説明】
【００４３】
１…撮像部、２，１８…顔領域検出部、３，１１ａ…顔領域拡張部、４，１１ｂ…特徴量検出領域抽出部、５，２２…特徴量検出部、６，２４ａ…特徴量データベース、７，２３…特徴量照合部、１１…マイクロコンピュータ（マイコン）、１２…撮影レンズ、１３…レンズ駆動部、１４…撮像部、１５…Ａ/Ｄ変換部、１６…データバス、１７…ＲＡＭ、１９…画像処理部、２０…液晶モニタ、２１…操作部、２４…ＲＯＭ、２５…記録媒体、２６…通信インターフェイス（Ｉ/Ｆ）、２７…パーソナルコンピュータ（ＰＣ）
【図１】
0004751776.tif 000002
【図２】
0004751776.tif 000003
【図３】
0004751776.tif 000004
【図４】
0004751776.tif 000005
【図５】
0004751776.tif 000006
【図６】
0004751776.tif 000007
【図７】
0004751776.tif 000008