(57)【特許請求の範囲】
【請求項１】
撮像中の画像データと顔テンプレート画像データとを照合して顔部を探索することにより前記画像データにおける顔部を検出する顔検出手段と、
前記画像データを記録するモードの場合に前記画像データにおいて顔部を検出する際の前記画像データに対する前記顔テンプレート画像データのなす角度である探索方向として複数の探索方向を前記顔検出手段に対して指示する第１の探索方向指示手段と、
前記画像データを記録しないモードの場合に前記画像データにおいて顔部を検出する際の前記探索方向として特定の探索方向を前記顔検出手段に対して指示する第２の探索方向指示手段と
を具備する撮像装置。
【請求項２】
前記画像データを記録すべき旨の操作を受けた場合には前記画像データを記録するモードを選択する信号を供給し前記操作を受けない場合には前記画像データを記録しないモードを選択する信号を供給する操作手段をさらに具備する請求項１記載の撮像装置。
【請求項３】
前記画像データを記録するモードにおける前記画像データの探索方向を設定する第１の方向設定手段をさらに具備する請求項１記載の撮像装置。
【請求項４】
前記顔検出手段において過去に前記顔部が検出された際に用いられていた探索方向の頻度を判断する探索方向頻度判断手段をさらに具備し、
前記第２の探索方向指示手段は、前記頻度に基づいて前記画像データを記録しないモードにおける前記画像データの前記特定の探索方向を前記顔検出手段に対して指示する請求項１記載の撮像装置。
【請求項５】
前記顔検出手段において前記画像データを少なくとも２つの探索方向によって探索して前記顔部が存在する確度を算出して前記確度が最大になる探索方向を判断する最大確度判断手段をさらに具備し、
前記第２の探索方向指示手段は、前記画像データを記録しないモードにおける前記画像データの探索方向として前記確度が最大になる探索方向を前記特定の探索方向として前記顔検出手段に対して指示する請求項１記載の撮像装置。
【請求項６】
当該撮像装置における重力方向からの傾きを検出する傾き検出手段をさらに具備し、
前記第２の探索方向指示手段は、前記傾きに基づいて前記画像データを記録しないモードにおける前記画像データの前記特定の探索方向を前記顔検出手段に対して指示する請求項１記載の撮像装置。
【請求項７】
前記画像データを記録しないモードにおける前記画像データの前記特定の探索方向を設定する第２の方向設定手段をさらに具備する請求項１記載の撮像装置。
【請求項８】
前記顔検出手段は、前記画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向、「１８０度」方向のうち何れかの方向を順次、前記第１の探索方向指示手段からの前記複数の探索方向または前記第２の探索方向指示手段からの前記特定の探索方向として、探索を行う請求項１記載の撮像装置。
【請求項９】
前記顔検出手段は、前記画像データにおいて前記「０度」方向、前記「＋９０度」方向、前記「−９０度」方向、前記「１８０度」方向に対して前記顔部の傾きが「＋４５度」乃至「−４５度」の範囲内において前記顔部を検出する請求項８記載の撮像装置。
【請求項１０】
前記顔検出手段において検出された顔部の数を含む検出結果を画像付随情報として前記画像データと関連付けて記録させる記録制御手段をさらに具備する請求項１記載の撮像装置。
【請求項１１】
画像を撮像して画像データを生成する撮像手段と、
前記撮像中の画像データと顔テンプレート画像データとを照合して顔部を探索することにより前記画像データにおける顔部を検出する顔検出手段と、
前記画像データを記録するモードの場合に前記画像データにおいて顔部を検出する際の前記画像データに対する前記顔テンプレート画像データのなす角度である探索方向として複数の探索方向を前記顔検出手段に対して指示する第１の探索方向指示手段と、
前記画像データを記録しないモードの場合に前記画像データにおいて顔部を検出する際の前記探索方向として特定の探索方向を前記顔検出手段に対して指示する第２の探索方向指示手段と、
前記画像データを記録すべき旨の操作を受けた場合には前記画像データを記録するモードを選択する信号を供給し前記操作を受けない場合には前記画像データを記録しないモードを選択する信号を供給する操作手段と
を具備する撮像装置。
【請求項１２】
撮像中の画像データと顔テンプレート画像データとを照合して顔部を探索することにより前記画像データにおける顔部を検出する顔検出手段と前記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置における処理方法であって、
前記画像データを記録するモードの場合に前記画像データにおいて顔部を検出する際の前記画像データに対する前記顔テンプレート画像データのなす角度である探索方向として複数の探索方向を前記顔検出手段に対して指示する第１の探索方向指示手順と、
前記画像データを記録しないモードの場合に前記画像データにおいて顔部を検出する際の前記探索方向として特定の探索方向を前記顔検出手段に対して指示する第２の探索方向指示手順と、
前記画像データを記録すべき旨の操作を受けた場合には前記画像データを記録するモードに移行させ前記操作を受けない場合には前記画像データを記録しないモードを継続させるモード移行手順と
を具備する処理方法。
【請求項１３】
撮像中の画像データと顔テンプレート画像データとを照合して顔部を探索することにより前記画像データにおける顔部を検出する顔検出手段と前記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置において、
前記画像データを記録するモードの場合に前記画像データにおいて顔部を検出する際の前記画像データに対する前記顔テンプレート画像データのなす角度である探索方向として複数の探索方向を前記顔検出手段に対して指示する第１の探索方向指示手順と、
前記画像データを記録しないモードの場合に前記画像データにおいて顔部を検出する際の前記探索方向として特定の探索方向を前記顔検出手段に対して指示する第２の探索方向指示手順と、
前記画像データを記録すべき旨の操作を受けた場合には前記画像データを記録するモードに移行させ前記操作を受けない場合には前記画像データを記録しないモードを継続させるモード移行手順と
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データに含まれる顔部を検出する撮像装置に関し、特に操作状態に応じて顔部の検出方法を変える撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラは、本来の静止画のみならず動画をも撮像可能なものが急速に普及している。これらのデジタルスチルカメラは高性能化してきており、特に検出・認識系技術が注目されてきている。この検出・認識系技術の代表的なものが顔検出技術である。
【０００３】
ところで、デジタルスチルカメラにおいて、被写体を撮像する際には、デジタルスチルカメラをいろいろな向きに傾けて撮像することが多い。横長のデジタルスチルカメラを、例えば、「９０度」回転させて撮像することはよく行われている。このようなデジタルスチルカメラの回転は、時計方向を正方向とすると、「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転が想定される。従来、このデジタルスチルカメラの回転に関する情報について、例えば、「＋９０度」回転のように回転の向きについての情報を入力して、その入力された回転の向きに基づいて撮像された画像データにおいて顔部の検出をする技術が提案されている（例えば、特許文献１参照。）。また、画像データから検出された顔部が複数ある場合にその顔部の数をカウントして写真の焼き増しに利用する技術も提案されている（例えば、特許文献２参照。）。
【特許文献１】特開２００４−６２５６５号公報（図１）
【特許文献２】特開平９−２８１６０５号公報（図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の回転の向きについての情報を入力してその入力された回転の向きに基づいて撮像された画像データにおいて顔部の検出をする技術では、予め回転の向きを入力する必要があり、操作が煩雑である。このような操作を行うことなく画像データから顔部を検出するには「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転して撮像された全ての場合を考慮して全ての回転の向きから画像データの顔部を探索することが考えられるが、多くの時間を要することになるため現実的ではない。一方、顔検出において画像データの探索を行う際に「０度」回転、「＋９０度」回転、「−９０度」回転、「１８０度」回転して撮像された全ての場合を考慮せずに、例えば「０度」回転、「＋９０度」回転のみを行うというようにすれば高速な顔検出を行うことは可能であるが、顔部を検出できない場合も増加して検出率が低下するおそれがある。
【０００５】
また、画像データから顔部を検出する際に得られる情報を画像データの画像付随情報として画像データと関連付けて記録することができれば、既に記録された画像データを様々な観点から検索することが可能になる。
【０００６】
そこで、本発明は、効率良く高速に画像データから顔部を検出する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するためになされたものであり、その第１の側面は、画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手段とを具備することを特徴とする撮像装置である。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。すなわち、キャプチャモードとモニタリングモードでは、顔検出における重要性が異なるが、それを反映させた画像データの処理を行うことが可能となる。
【０００８】
また、この第１の側面において、当該撮像装置は、上記画像データを記録すべき旨の操作を受けた場合には上記キャプチャモードを選択する信号を供給し上記操作を受けない場合には上記モニタリングモードを選択する信号を供給する操作手段をさらに具備することを特徴とするものである。これにより、画像データを記録すべき旨の操作によってキャプチャモードとモニタリングモードとを選択させるという作用をもたらす。
【０００９】
また、この第１の側面において、当該撮像装置は、上記キャプチャモードにおける上記画像データの探索方向を設定するキャプチャモード方向設定手段をさらに具備することを特徴とするものである。これにより、キャプチャモードにおける探索方向を設定させるという作用をもたらす。すなわち、キャプチャモードにおける探索方向にユーザーの意思を反映させることが可能となる。
【００１０】
また、この第１の側面において、上記モニタリングモード探索方向指示手段は、上記顔検出手段において過去に検出された上記顔部の探索方向に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、モニタリングモードにおける探索方向を合理的に選択させて顔検出を行わせるという作用をもたらす。すなわち、全ての方向から画像データを探索することなく、高速な顔検出が可能となる。
【００１１】
また、当該撮像装置は、上記顔検出手段において上記顔部が検出された探索方向の頻度を判断する探索方向頻度判断手段をさらに具備し、上記モニタリングモード探索方向指示手段は、上記頻度に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、ユーザーが撮像する際の癖（行動パターン）に合わせてモニタリングモードにおける顔検出を行わせるという作用をもたらす。
【００１２】
また、上記モニタリングモード探索方向指示手段は、上記顔検出手段において前回検出された顔部の探索方向に基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、効率良く高速に画像データからモニタリングモードにおける顔検出を行わせるという作用をもたらす。
【００１３】
また、当該撮像装置は、上記顔検出手段において上記画像データを少なくとも２つの方向から探索して上記顔部としての確度を算出して上記確度が最大になる探索方向を判断する最大確度判断手段をさらに具備し、上記モニタリングモード探索方向指示手段は、上記モニタリングモードにおける上記画像データの探索方向として上記確度が最大になる探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、効率良く高速に画像データからモニタリングモードにおける顔検出を行わせるという作用をもたらす。
【００１４】
また、この第１の側面において、当該撮像装置は、当該撮像装置における重力方向からの傾きを検出する傾き検出手段をさらに具備し、モニタリングモード探索方向指示手段は、上記傾きに基づいて上記モニタリングモードにおける上記画像データの探索方向を上記顔検出手段に対して指示することを特徴とするものである。これにより、実際の撮像装置の傾きに基づいてモニタリングモードにおける顔検出を行わせるという作用をもたらす。
【００１５】
また、この第１の側面において、当該撮像装置は、上記モニタリングモードにおける上記画像データの探索方向を設定するモニタリングモード方向設定手段をさらに具備することを特徴とするものである。これにより、モニタリングモードにおける探索方向をユーザーに設定させるという作用をもたらす。
【００１６】
また、この第１の側面において、上記顔検出手段は、上記画像データに対して時計方向を正方向として、「０度」方向、「＋９０度」方向、「−９０度」方向、「１８０度」方向の少なくとも一方向から探索を行うことを特徴とするものである。これにより、４種類の角度方向のみで顔検出を行わせるという作用をもたらす。
【００１７】
また、上記顔検出手段は、上記画像データにおいて上記「０度」方向、上記「＋９０度」方向、上記「−９０度」方向、上記「１８０度」方向に対して上記顔部の傾きが「＋４５度」乃至「−４５度」の範囲内において上記顔部を検出することを特徴とするものである。これにより、４種類の角度方向を探索するのみで「３６０度」方向全てを考慮した顔検出をさせるという作用をもたらす。
【００１８】
また、この第１の側面において、当該撮像装置は、上記顔検出手段において検出された顔部の数を含む検出結果を画像付随情報として上記画像データと関連付けて記録させる記録制御手段をさらに具備するものである。これにより、画像データの画像付随情報に画像データから検出された顔部の数を含めさせるという作用をもたらす。
【００１９】
また、本発明の第２の側面は、画像を撮像して画像データを生成する撮像手段と、上記画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するキャプチャモード探索方向指示手段と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手段と、上記画像データを記録すべき旨の操作を受けた場合には上記キャプチャモードを選択する信号を供給し上記操作を受けない場合には上記モニタリングモードを選択する信号を供給する操作手段とを具備することを特徴とする撮像装置である。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。
【００２０】
また、本発明の第３の側面は、画像データを少なくとも１つの方向から探索して上記画像データにおける顔部を検出する顔検出手段と上記画像データを記録すべき旨の操作を行う操作手段とを備える撮像装置において以下の手順を実行する処理方法または以下の手順をコンピュータに実行させるプログラムであって、上記画像データを記録するモードであるキャプチャモードにおいて上記画像データの上記顔検出手段に対して探索方向を指示するキャプチャモード探索方向指示手順と、上記画像データを表示させるモードであるモニタリングモードにおいて上記画像データの探索方向を上記顔検出手段に対して指示するモニタリングモード探索方向指示手順と、上記操作を受けた場合には上記キャプチャモードに移行させ上記操作を受けない場合には上記モニタリングモードを継続させるモード移行手順とを具備することを特徴とする処理方法またはこれらの手順をコンピュータに実行させるプログラムである。これにより、画像データの記録時と画像データを記録しない時とで画像データから顔部を検出する際の探索方向を変化させるという作用をもたらす。
【発明の効果】
【００２１】
本発明によれば、効率良く高速に画像データから顔部を検出させるという優れた効果を奏し得る。
【発明を実施するための最良の形態】
【００２２】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
図１は、本発明の実施の形態における撮像装置１００の構成の一例を示す図である。撮像装置１００は、撮像部１０と、重力方向センサ１０３と、撮像制御部１０５と、画像圧縮伸張部１０６と、画像ＲＡＭ（Random Access Memory）１０７と、顔検出部１０８と、画像表示部１０９と、顔検出結果ＲＡＭ１１０と、操作部１１１とを備える。
【００２４】
撮像部１０は、レンズ群１０１と、イメージセンサ１０２と、画像信号処理部１０４とを備える。レンズ群１０１は、撮像しようとする被写体を撮像素子に結像させるなどの役割を果たすものである。イメージセンサ１０２は、例えばＣＣＤ（Charge Coupled Device）などの撮像素子により構成され、その結像面に、レンズ群１０１を通じた像が結像される。このイメージセンサ１０２は、シャッター操作に応じて撮像制御部１０５から供給される画像取り込みタイミング信号を受けて、結像面に結像されている被写体像を撮像信号に変換し、画像信号処理部１０４に供給する。
【００２５】
重力方向センサ１０３は、例えばジャイロセンサにより構成され、撮像装置１００の重力方向からの傾きを検出するものである。画像信号処理部１０４は、撮像制御部１０５からの制御信号に基づいて撮像信号についてのガンマ補正やＡＧＣ（Auto Gain Control）などの処理を行うとともに、撮像信号をデジタル信号としての画像信号に変換する処理も行う。また、画像信号処理部１０４は、撮像制御部１０５からの制御信号に基づき、画像信号に対してホワイトバランス制御などをさらに行う。撮像制御部１０５は、撮像装置１００全体の処理を司るものであり、画像信号などの記録制御および再生制御などを行うものである。
【００２６】
画像圧縮伸張部１０６は、画像信号処理部１０４から供給された画像信号などを符号化し多重化して圧縮データに変換する符号化機能を有する。一方、画像圧縮伸張部１０６は、圧縮データから画像信号を復号する復号機能を有する。画像ＲＡＭ１０７は、画像データバス１１２を通じて供給される画像データを保持するものである。図１における撮像装置１００においては、画像信号は、各ブロック間で直接受け渡しが行われてもよいし、画像ＲＡＭ１０７を経由して各ブロック間で間接的に受け渡しが行われるようにしてもよい。
【００２７】
顔検出部１０８は、画像データにおける顔部を検出するものである。顔検出部１０８における出力には、画像データにおける顔部の探索方向や画像データにおける顔部の位置、画像データにおける顔部の面積、顔の向いている方向、顔の傾き、検出された顔部の数などが含まれる。顔検出部１０８における出力を利用するとオートフォーカス、オートホワイトバランスおよびオート露出などのカメラ制御が容易になり、常に最適な画像データをユーザーに提供することができる。
【００２８】
顔検出部１０８における出力は、撮像制御部１０５を通じて顔検出結果ＲＡＭ１１０や記録媒体１１３に供給される。なお、記録媒体１１３は、例えばフラッシュメモリをカード型にパッケージしたメモリカードなどにより構成される。また、図１においては、記録媒体１１３は、外部メモリとして図示されているが、これに限るものでなく内部にハードディスクを設けてこれを記録媒体とする構成でもよい。
【００２９】
画像表示部１０９は、例えば、ＬＣＤ（Liquid Crystal Display）により構成され、画像信号処理部１０４から供給された画像データを表示させるものである。また、画像ＲＡＭ１０７を経由して、画像データを画像表示部１０９に供給させるように構成してもよい。
【００３０】
操作部１１１には、ズーム調整キー、露出調整のためのキー、シャッターキー、動画撮影用キー、画像表示部１０９における表示調整キーなどの複数のキーが設けられている。操作部１１１は、これら複数のキーそれぞれに対応する操作信号を撮像制御部１０５に伝える。撮像制御部１０５は、操作部１１１においていずれのキーが操作されたかを判別し、その判別結果に応じた制御処理を行う。
【００３１】
本発明の実施の形態における撮像装置１００においては、操作部１１１中のシャッターキーが押下されない場合、レンズ群１０１で捕らえた画像データは記録媒体１１３に記録されず画像表示部１０９においてリアルタイムにそのまま表示される。この動作状態を以下では、モニタリングモードと呼ぶこととする。一方、操作部１１１中のシャッターキーが押下された場合は、レンズ群１０１で捕らえた画像データは記録媒体１１３に記録されることとなる。この動作状態を以下では、キャプチャモードと呼ぶこととする。
【００３２】
図２は、本発明の実施の形態における顔検出部１０８の構成の一例を示す図である。顔検出部１０８は、拡大縮小処理部２１０と、前処理部２２０と、顔検出画像保持部２３０と、顔探索部２４０と、顔検出制御部２５０とを備える。
【００３３】
拡大縮小処理部２１０は、画像ＲＡＭ１０７から供給された画像データを所定の大きさの画像データに変換するものである。すなわち、画像ＲＡＭ１０７から供給された画像データが予め設定された所定の大きさよりも大きい場合は、拡大縮小処理部２１０は画像ＲＡＭ１０７から供給された画像データを縮小する処理を行い、一方、画像ＲＡＭ１０７から供給された画像データが予め設定された所定の大きさよりも小さい場合は、拡大縮小処理部２１０は画像ＲＡＭ１０７から供給された画像データを拡大する処理を行う。なお、拡大縮小処理部２１０は、その他、画像信号処理部１０４または画像圧縮伸張部１０６から供給される画像データも所定の大きさの画像データに変換する処理を行う。
【００３４】
前処理部２２０は、拡大縮小処理部２１０で縮小処理または拡大処理された画像データに対して所定の処理を行うものである。所定の処理は、例えば画像データの顔部を所定の輝度範囲に正規化するための輝度変換処理や、顔部中の目、鼻、眉および口などの部分を確実に抽出するための輪郭強調処理などが想定される。上記処理までを行うと画像データから顔部を検出するための画像データの前処理が終了する。前処理部２２０は、上記処理を行った画像データを顔検出画像保持部２３０に供給する。顔検出画像保持部２３０は、前処理部２２０から供給された画像データを保持する。
【００３５】
顔探索部２４０は、顔検出画像保持部２３０に保持された画像データの一部を切り出して、予め保持されている平均的な顔のテンプレート画像に基づいてその画像データから顔部を探索する。この際、例えば時計方向を正方向とした場合に、画像データを「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のそれぞれから顔部を探索する。なお、撮像装置１００を「１８０度」回転させて被写体を撮像する頻度は少ないと想定されるため、「１８０度」方向については探索処理を省略してもよい。この顔探索部２４０の出力は、撮像制御部１０５に供給される。
【００３６】
顔検出制御部２５０は、撮像制御部１０５から供給された情報に従って拡大縮小処理部２１０と、前処理部２２０と、顔検出画像保持部２３０と、顔探索部２４０とを制御する。具体的には、顔検出制御部２５０は、拡大縮小処理部２１０に対して例えば画像データの拡大率または縮小率を供給する。また、顔検出制御部２５０は、前処理部２２０に対しては例えば輝度変換処理や輪郭強調処理などに対して必要なパラメータを供給する。また、顔検出制御部２５０は、顔検出画像メモリに対して例えばメモリアドレスを供給する。
【００３７】
また、顔検出制御部２５０は、顔探索部２４０に対して例えば画像データの探索方向などを供給する。本発明の実施の形態における撮像装置１００では、モニタリングモードの場合とキャプチャモードの場合において顔検出部１０８での画像データの探索方向が異なる。この点について、以下に説明する。
【００３８】
図３は、本発明の実施の形態における顔探索部２４０の機能構成の一例を示す図である。顔探索部２４０は、方向制御部２４１と、画像切出し部２４２と、顔テンプレート照合部２４３と、顔抽出部２４４とを備える。
【００３９】
方向制御部２４１は、顔検出制御部２５０から指示された画像データの探索方向に基づいて画像切出し部２４２と、顔テンプレート照合部２４３と、顔抽出部２４４とにおける処理を制御するものである。画像切出し部２４２は、顔検出画像保持部２３０に保持された画像データの一部を切出した切出し画像を顔テンプレート照合部２４３に供給する。具体的には、画像切出し部２４２は、方向制御部２４１からの指示を受けて顔検出画像保持部２３０に保持された画像データの一部を切出す。方向制御部２４１は、１枚の切出し画像における一連の処理が終了すると、画像切出し部２４２に対して前回の切出し画像から所定画素（例えば、２ピクセル）ずらした切出し画像を顔テンプレート照合部２４３に供給するよう画像切出し部２４２に指示する。以上の処理を繰り返し行う。
【００４０】
顔テンプレート照合部２４３は、画像切出し部２４２から供給された切出し画像を自身が保持する平均的な顔のテンプレート画像データと照合して顔部を探索するものである。探索した結果、切出し画像が平均的な顔のテンプレート画像と照合すれば、切出し画像中には顔部が存在するものと判断される。ここでの探索は、顔検出制御部２５０からの指示に従って行われる。顔テンプレート照合部２４３は、顔部が存在すると判断した探索方向を顔抽出部２４４に伝える。なお、撮像装置１００の傾きは０度、＋９０度、−９０度および１８０度になるとは限らないが、後述するように０度、＋９０度、−９０度および１８０度それぞれの角度から顔部の傾きが±４５度の範囲にあれば顔部の探索は可能である。
【００４１】
顔抽出部２４４は、顔テンプレート照合部２４３において画像データに顔部が存在すると判断された場合に画像データにおける顔部の具体的な位置などを抽出するものである。顔抽出部２４４における出力には、顔テンプレート照合部２４３において画像データにおける顔部の探索方向や画像データにおける顔部の位置、顔部の数などが含まれる。顔抽出部２４４における出力は、撮像制御部１０５に供給される。
【００４２】
図４は、本発明の実施の形態における撮像制御部１０５の機能構成の一例を示す図である。撮像制御部１０５は、探索方向頻度判断部３１１と、最大確度判断部３１２と、モニタリングモード方向設定部３１３と、方向補正部３１４と、方向情報選択部３１５と、キャプチャモード方向設定部３１６と、処理指示部３２０と、モニタリングモード探索方向指示部３３０と、キャプチャモード探索方向指示部３４０と、指示選択部３５０と、記録制御部３６０とを備える。
【００４３】
探索方向頻度判断部３１１は、顔検出結果ＲＡＭ１１０に保持されている顔検出部１０８から供給される画像データにおける顔部についての検出結果を監視して顔部が検出された頻度が最も高い探索方向を判断するものである。この判断結果は、頻度選択部３３１へ供給される。最大確度判断部３１２は、例えば本発明の実施の形態における撮像装置１００の電源投入後に、最初に顔部の検出が行われた探索方向のうち最も顔部の存在する確度が高い探索方向はいずれであるかを判断する。この探索方向頻度判断部３１１による判断結果は、最大確度方向選択部３３２に供給される。
【００４４】
モニタリングモード方向設定部３１３は、操作部１１１を介してユーザーにモニタリングモードにおける画像データを探索する方向を設定させるものである。方向補正部３１４は、重力方向センサ１０３から供給された撮像装置１００の傾きが画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれに対応するものかを判断するものである。後述するように０度、＋９０度、−９０度および１８０度それぞれの角度から±４５度の範囲にあれば顔部の探索は可能であるため、例えば、撮像装置の傾きが重力方向に対して２０度の場合は画像データに対して０度回転させた方向に対応すると判断される。また、撮像装置の傾きが重力方向に対して＋８０度の場合は＋９０度回転させた方向に対応すると判断される。
【００４５】
方向情報選択部３１５は、モニタリングモード方向設定部３１３、方向補正部３１４および記録制御部３６０から供給された探索方向のうちいずれかを設定方向選択部３３３に供給するものである。この選択は、処理指示部３２０からの指示に基づいて行われる。
【００４６】
キャプチャモード方向設定部３１６は、操作部１１１を通じてユーザーにキャプチャモードにおける画像データを探索する方向を設定させるものである。キャプチャモードは、撮像している画像データを静止画データとして記録するモードであるから、画像データからの顔部の検出率は高いものであることが要求される。一方、「０度」、「＋９０度」、「−９０度」および「１８０度」それぞれの角度から画像データを探索したのでは処理に時間を要する。そこで、このキャプチャモード方向設定部３１６によって探索方向を限定することにより処理の高速化を図ることができる。
【００４７】
上記説明した探索方向頻度判断部３１１、最大確度判断部３１２、モニタリングモード方向設定部３１３、方向補正部３１４、方向情報選択部３１５およびキャプチャモード方向設定部３１６のいずれの機能を用いるかは、操作部１１１から設定する。機能が操作部１１１から設定されると、その設定された機能の情報が処理指示部３２０に供給される。処理指示部３２０は、設定された機能から供給された探索方向を選択すべき旨の指示を方向情報選択部３１５および処理選択部３３４に供給する。
【００４８】
モニタリングモード探索方向指示部３３０は、モニタリングモードにおける画像データの探索方向の指示を顔探索部２４０に対して行うものであり、頻度選択部３３１と、最大確度方向選択部３３２と、設定方向選択部３３３と、処理選択部３３４とを備える。頻度選択部３３１は、探索方向頻度判断部３１１から供給された顔部の検出された頻度の最も高い探索方向に基づいて顔探索部２４０における画像データの探索方向を選択して処理選択部３３４に供給するものである。過去における顔部が検出された探索方向の頻度に基づいて次の探索方向を決定することによって、ユーザーの癖（行動パターン）を考慮した探索方向を選択することができる。
【００４９】
また、最大確度方向選択部３３２は、最大確度判断部３１２から供給された顔部の確度の最も高い探索方向に基づいてその探索方向を選択して処理選択部３３４に供給するものである。顔部の確度の最も高い探索方向に基づいてその探索方向を選択することによって無駄な探索方向を省いて次回における探索方向を決定でき、高速な顔検出処理が可能となる。
【００５０】
また、設定方向選択部３３３は、方向情報選択部３１５から供給された探索方向に基づいて画像データの探索方向を選択して処理選択部３３４に供給するものである。処理選択部３３４は、処理指示部３２０からの指示に基づいて頻度選択部３３１、最大確度方向選択部３３２および設定方向選択部３３３から供給される探索方向のうちいずれか一つを指示選択部３５０に供給するものである。
【００５１】
モニタリングモードにおいては、上記の機能を用いて顔検出における画像データの無駄な探索方向を省くことによって高速な顔検出が可能となる。そして、高速な顔検出の実現によって顔検出によって得られる結果をオートフォーカス、オートホワイトバランス、オート露出などの制御に高速にフィードバックできる。
【００５２】
キャプチャモード探索方向指示部３４０は、キャプチャモードにおける画像データの探索方向の指示を行うものである。このキャプチャモードにおける画像データの探索方向は、上述のようにキャプチャモード方向設定部３１６から供給される。なお、キャプチャモードにおける画像データの探索方向は、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向の全ての探索方向または上記探索方向から「１８０度」回転させた方向を除いた探索方向が想定される。キャプチャモードにおいては画像データを記録するため、顔検出率を高いものにすることが望ましいからである。
【００５３】
指示選択部３５０は、操作部１１１から画像データの記録を要求する旨の要求信号、例えばシャッターキーに対応する信号が供給された場合に、キャプチャモード探索方向指示部３４０における指示を選択して顔検出制御部２５０に供給するものである。一方、指示選択部３５０は、シャッターキーに対応する信号が供給されない場合にはモニタリングモード探索方向指示部３３０における指示を顔検出制御部２５０に供給する。すなわち、操作部１１１から画像データの記録を要求する旨の要求信号が指示選択部３５０に供給される状態ではキャプチャモードになり、要求信号が供給されない状態ではモニタリングモードになる。
【００５４】
記録制御部３６０は、顔探索部２４０からの出力に含まれる探索方向を方向情報選択部３１５および顔検出結果ＲＡＭ１１０に供給する。また、記録制御部３６０は、操作部１１１から画像データの記録を要求する旨の要求信号が供給されると、それに対応する顔探索部２４０からの出力を、例えばメタデータのような画像付随情報として記録媒体１１３へ供給する。供給された画像付随情報は、画像データと関連付けて記録される。顔探索部２４０からの出力には画像データに含まれる顔部の数も含まれているが、顔部の数を画像データの画像付随情報として画像データと関連付けて記録することによって、顔部の数に基づいてその数に合致する顔部が含まれた画像データを検索することが可能になる。
【００５５】
図５は、画像データと平均的な顔のテンプレートを照合して顔部を探索する方向について示す図である。図５（ａ）は、画像データ４０１に対して「０度」方向の平均的な顔のテンプレート４０２を示す図である。この場合は、画像データ４０１に対して平均的な顔のテンプレート４０２を図５（ａ）の矢印方向を探索方向として画像データ４０１と平均的な顔のテンプレート４０２とを照合する。画像データ４０１中の顔部は、平均的な顔のテンプレート４０２と顔の方向が一致しているため、顔部は検出される。
【００５６】
図５（ｂ）は、画像データ４０３に対して時計方向を正方向として、「＋９０度」方向の平均的な顔のテンプレート４０４を示す図である。この場合は、画像データ４０３に対して平均的な顔のテンプレート４０４を図５（ｂ）の矢印方向を探索方向として画像データ４０３と平均的な顔のテンプレート４０４とを照合する。画像データ４０３中の顔部は、平均的な顔のテンプレート４０４と顔の方向が時計方向を正方向として、「＋９０度」ずれているため、顔部は検出されない。
【００５７】
図５（ｃ）は、画像データ４０５に対して時計方向を正方向として、「−９０度」方向の平均的な顔のテンプレート４０６を示す図である。この場合は、画像データ４０５に対して平均的な顔のテンプレート４０６を図５（ｃ）の矢印方向を探索方向として画像データ４０５と平均的な顔のテンプレート４０６とを照合する。画像データ４０５中の顔部は、平均的な顔のテンプレート４０６と顔の方向が時計方向を正方向として、「−９０度」ずれているため、顔部は検出されない。
【００５８】
図５（ｄ）は、画像データ４０７に対して「１８０度」方向の平均的な顔のテンプレート４０８を示す図である。この場合は、画像データ４０７に対して平均的な顔のテンプレート４０８を図５（ｄ）の矢印方向を探索方向として画像データ４０７と平均的な顔のテンプレート４０８とを照合する。画像データ４０７中の顔部は、平均的な顔のテンプレート４０８と顔の方向が「１８０度」ずれているため、顔部は検出されない。
【００５９】
図６は、４種類の探索方向と傾いた顔の検出動作との組み合わせによる「３６０度」方向の顔検出を示す図である。図６（ａ）は、探索方向として画像データに対して「０度」回転させた方向を示す図である。中心にある顔部と比べて時計方向を正方向とする「＋４５度」乃至「−４５度」傾いた２つの顔部がある。中心にある顔部と比べて「＋４５度」乃至「−４５度」の範囲の傾きを有する顔部は、画像データに対して「０度」回転させた方向からの探索で検出可能である。
【００６０】
図６（ｂ）は、探索方向として画像データに対して時計方向を正方向として、「＋９０度」回転させた方向を示す図である。図６（ｃ）は、探索方向として画像データに対して時計方向を正方向として、「−９０度」回転させた方向を示す図である。図６（ｄ）は、探索方向として画像データに対して「１８０度」回転させた方向を示す図である。これらも図６（ａ）の場合と同様に、「＋４５度」乃至「−４５度」の範囲の傾きを有する顔部は、それぞれの方向から探索することにより検出可能である。このため、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向からの探索によって「３６０度」方向探索可能になり、顔部の位置がどのようになっていても全て検出できることになる。
【００６１】
このように顔部が傾いた場合の顔部の検出方向について以下に説明する。まず、顔の画像データの傾きを求めることによって顔画像の傾きを補正する。これにより、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向からの探索によって「３６０度」方向探索可能になる。具体的には、顔の画像データを所定の角度だけ回転させる。その回転させた回転画像データの顔部における顔の中心線を決定し、その時の中心線の確からしさの度合を算出する。その他の所定の角度においても上記と同様の処理を行い、それぞれの中心線の確からしさの度合を算出する。中心線の確からしさの度合を監視し、最も中心線の確からしさの度合の高い角度を検出する。その角度が顔部の傾きとして決定される。顔部の傾きが分かれば、その傾きの角度を考慮して画像データを回転させることによって画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれかの方向からも探索可能になる。
【００６２】
次に本発明の実施の形態における動作について図面を参照して説明する。
【００６３】
図７は、本発明の実施の形態における撮像装置１００において画像データを探索する際の流れを示す図である。撮像装置１００において撮像中の画像データを記録するためにシャッターが押下されるとキャプチャモードになり、押下されないとモニタリングモードになる（Ｓ９１１）。キャプチャモードにおいては、撮像された画像データから顔検出部１０８によって顔部が探索される。撮像された画像データから顔部を探索する際は、予め保持された平均的な顔のテンプレート画像データと、撮像された後に拡大縮小処理部２１０および前処理部２２０において図２で説明した所定の処理を施された画像データ（以下、「撮像処理画像データ」と呼ぶ。）とを照合する。
【００６４】
上記照合に際して、まず、画像データに対して「０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１２）。次に、画像データに対して時計方向を正方向として、「＋９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１３）。次に、画像データに対して時計方向を正方向として、「−９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１４）。次に、画像データに対して「１８０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９１５）。ステップＳ９１２乃至ステップＳ９１５までの処理の結果は、画像データを高画質化する処理に反映される。なお、ステップＳ９１２乃至ステップＳ９１５における処理中、ステップＳ９１５における処理は「１８０度」方向の処理であり、「１８０度」方向から顔部が検出される頻度は低いため、ステップＳ９１５における処理は省略できる。これにより、高速な顔検出が可能となる。
【００６５】
一方、モニタリングモードにおいては、顔部の探索について予めユーザーによって設定された処理によってその手順が異なる（Ｓ９１６）。画像データから顔部を探索する処理の一つ目は、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向から顔部を探索して、そのうち一番顔部が存在する確度が高い探索方向を次回の顔部の探索方向とする最大確度処理である（Ｓ９１７）。画像データから顔部を探索する処理の二つ目は、顔検出部１０８からの出力に含まれる画像データの探索方向を所定時間監視して、その探索方向の頻度が最大のものを次回における顔部の探索方向とする頻度処理である（Ｓ９１８）。画像データから顔部を探索する処理の三つ目は、予めユーザーが設定した探索方向を探索方向とする設定方向処理である（Ｓ９１９）。ステップＳ９１７乃至ステップＳ９１９のいずれかの処理の結果は、オートフォーカス、オートホワイトバランス、オート露出などの制御に反映される。
【００６６】
なお、設定方向処理においては、予めユーザーが設定した探索方向のみならず、重力方向センサ１０３および方向補正部３１４によって決定された探索方向および前フレームにおいて顔部が検出された探索方向を用いることも可能である。
【００６７】
図８は、本発明の実施の形態における最大確度処理の流れを示す図である。最大確度処理においては、最初に画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向から顔部を探索する必要がある。これを一回目の探索と呼ぶ。まず、この一回目の探索が行われたか否かが判断される（Ｓ９３１）。
【００６８】
一回目の探索がまだ行われていないと判断されると、まず、画像データに対して「０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３２）。次に、画像データに対して時計方向を正方向として、「＋９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３３）。次に、画像データに対して時計方向を正方向として、「−９０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３４）。次に、画像データに対して「１８０度」回転した方向から平均的な顔のテンプレート画像データと撮像処理画像データとを照合して顔部を探索する（Ｓ９３５）。なお、ステップＳ９３２乃至ステップＳ９３５における処理中ステップＳ９３５における処理は「１８０度」方向の処理であり、「１８０度」方向から顔部が検出される頻度は低いため、ステップＳ９３５における処理は省略可能である。これにより、高速な顔検出を可能とする。
【００６９】
一回目の探索が既に行われていたと判断されると、一回目の探索結果に基づいて一回目の探索において顔部の存在する確度が一番高い探索方向が、画像データに対して「０度」回転させた方向であるか否かが判断される（Ｓ９３６）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９３７）。その他の探索方向の処理は行われない。
【００７０】
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であるか否かが判断される（Ｓ９３８）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９３９）。その他の探索方向の処理は行われない。
【００７１】
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して時計方向を正方向として、「−９０度」回転させた方向であるか否かが判断される（Ｓ９４０）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９４１）。その他の探索方向の処理は行われない。
【００７２】
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されると、次に一回目の探索結果に基づいて一番顔部が存在する確度が高い探索方向が、画像データに対して「１８０度」回転させた方向であるか否かが判断される（Ｓ９４２）。一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「１８０度」回転させた方向であると判断されると、画像データに対して「１８０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９４３）。その他の探索方向の処理は行われない。
【００７３】
一回目の探索において一番顔部が存在する確度が高い探索方向が画像データに対して「１８０度」回転させた方向ではないと判断されると、結果として、画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のいずれからも顔部が検出されなかったことになる。したがって、次回も一回目の探索を再度行うことになる。すなわち、ステップＳ９３２乃至ステップＳ９３５までの処理を行う。
【００７４】
なお、重力方向センサ１０３によって撮像装置１００の傾きの変化が検出された場合には、ステップＳ９３１において１回目の探索が行われたと判断された後であっても再度１回目の探索を行い、一番顔部が存在する確度が高い探索方向を判断する処理を行うようにしてもよい。
【００７５】
図９は、本発明の実施の形態における頻度処理の流れを示す図である。頻度処理においては、まず、頻度が最大の探索方向が決定しているか否かが判断される（Ｓ９５１）。頻度が最大の探索方向が決定していない場合は、図７で説明したキャプチャモードの際の顔部の探索と同様に画像データに対して時計方向を正方向として、「０度」回転させた方向、「＋９０度」回転させた方向、「−９０度」回転させた方向、「１８０度」回転させた方向のそれぞれから顔部の探索が行われる（ステップＳ９５２乃至ステップＳ９５５）。頻度が最大の探索方向が決定するまでステップＳ９５２乃至ステップＳ９５５の処理が繰り返される。
【００７６】
頻度が最大の探索方向が決定した場合は、次に頻度が最大の探索方向が回転させた方向であるか否かが判断される（Ｓ９５６）。頻度が最大の探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９５７）。その他の探索方向の処理は行われない。
【００７７】
頻度が最大の探索方向が画像データに対して「０度」回転させた方向ではないと判断されると、次に、頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向か否かが判断される（Ｓ９５８）。頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９５９）。その他の探索方向の処理は行われない。
【００７８】
頻度が最大の探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されると、次に、頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向か否かが判断される（Ｓ９６０）。頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向からのみ顔部の探索が行われる（Ｓ９６１）。その他の探索方向の処理は行われない。
【００７９】
頻度が最大の探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されると、頻度が最大の探索方向が画像データに対して「１８０度」回転させた方向となるため、画像データに対して「１８０度」回転させた方向から顔部の探索が行われる（Ｓ９６２）。
【００８０】
図１０は、本発明の実施の形態における設定方向処理の流れを示す図である。まず予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向であるか否かが判断される（Ｓ９７１）。予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向であると判断されると、画像データに対して「０度」回転させた方向から顔部の探索が行われる（Ｓ９７２）。
【００８１】
予めユーザーが設定した探索方向が画像データに対して「０度」回転させた方向ではないと判断されるかまたはステップＳ９７２の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であるか否かが判断される（Ｓ９７３）。予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「＋９０度」回転させた方向から顔部の探索が行われる（Ｓ９７４）。
【００８２】
予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「＋９０度」回転させた方向ではないと判断されるかまたはステップＳ９７４の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であるか否かが判断される（Ｓ９７５）。予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向であると判断されると、画像データに対して時計方向を正方向として、「−９０度」回転させた方向から顔部の探索が行われる（Ｓ９７６）。
【００８３】
予めユーザーが設定した探索方向が画像データに対して時計方向を正方向として、「−９０度」回転させた方向ではないと判断されるかまたはステップＳ９７６の処理が終了すると、次に予めユーザーが設定した探索方向が画像データに対して「１８０度」回転させた方向であるか否かが判断される（Ｓ９７７）。予めユーザーが設定した探索方向が画像データに対して「１８０度」回転させた方向であると判断されると、画像データに対して「１８０度」回転させた方向から顔部の探索が行われる（Ｓ９７８）。
【００８４】
なお、上述のように設定方向処理においては、予めユーザーが設定した探索方向のみならず、重力方向センサ１０３および方向補正部３１４によって決定された探索方向および前フレームにおいて顔部が検出された探索方向を用いることも可能である。このため、上述の説明中「予めユーザーが設定した探索方向」を「重力方向センサ１０３および方向補正部３１４によって決定された探索方向」または「前フレームにおいて顔部が検出された探索方向」と読み替えることによって重力方向センサ１０３および方向補正部３１４によって決定された探索方向、前フレームにおいて顔部が検出された探索方向それぞれについても同様の処理で顔部の探索が行われる。
【００８５】
このように、本発明の実施の形態によれば、モニタリングモードにおいては、高速な顔検出処理を実現でき、顔検出処理の結果に基づくオートフォーカス、オートホワイトバランス、オート露出などの制御に高速にフィードバックできる。一方、キャプチャモードにおいては、高い顔検出率を維持した顔検出を行うことによって記録された画像データを高画質化する処理を確実に行えることを可能とする。
【００８６】
なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、以下に示すように特許請求の範囲における発明特定事項とそれぞれ対応関係を有するが、これに限定されるものではなく本発明の要旨を逸脱しない範囲において種々の変形を施すことができる。
【００９８】
なお、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施の形態における撮像装置１００の構成の一例を示す図である。
【図２】本発明の実施の形態における顔検出部１０８の構成の一例を示す図である。
【図３】本発明の実施の形態における顔探索部２４０の機能構成の一例を示す図である。
【図４】本発明の実施の形態における撮像制御部１０５の機能構成の一例を示す図である。
【図５】画像データと平均的な顔のテンプレートを照合して顔部を探索する方向について示す図である。
【図６】４種類の探索方向と傾いた顔の検出動作との組み合わせによる「３６０度」の顔検出を示す図である。
【図７】本発明の実施の形態における撮像装置１００において画像データを探索する際の流れを示す図である。
【図８】本発明の実施の形態における最大確度処理の流れを示す図である。
【図９】本発明の実施の形態における頻度処理の流れを示す図である。
【図１０】本発明の実施の形態における設定方向処理の流れを示す図である。
【符号の説明】
【０１００】
１０    撮像部
１００  撮像装置
１０１  レンズ群
１０２  イメージセンサ
１０３  重力方向センサ
１０４  画像信号処理部
１０５  撮像制御部
１０６  画像圧縮伸張部
１０７  画像ＲＡＭ
１０８  顔検出部
１０９  画像表示部
１１０  顔検出結果ＲＡＭ
１１１  操作部
１１２  画像データバス
１１３  記録媒体
２１０  拡大縮小処理部
２２０  前処理部
２３０  顔検出画像保持部
２４０  顔探索部
２４１  方向制御部
２４２  画像切出し部
２４３  顔テンプレート照合部
２４４  顔抽出部
２５０  顔検出制御部
３１１  探索方向頻度判断部
３１２  最大確度判断部
３１３  モニタリングモード方向設定部
３１４  方向補正部
３１５  方向情報選択部
３１６  キャプチャモード方向設定部
３２０  処理指示部
３３０  モニタリングモード探索方向指示部
３３１  頻度選択部
３３２  最大確度方向選択部
３３３  設定方向選択部
３３４  処理選択部
３４０  キャプチャモード探索方向指示部
３５０  指示選択部
３６０  記録制御部
【図１】
0004457980.tif 000002
【図２】
0004457980.tif 000003
【図３】
0004457980.tif 000004
【図４】
0004457980.tif 000005
【図５】
0004457980.tif 000006
【図６】
0004457980.tif 000007
【図７】
0004457980.tif 000008
【図８】
0004457980.tif 000009
【図９】
0004457980.tif 000010
【図１０】
0004457980.tif 000011