(57)【特許請求の範囲】
【請求項１】
主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、
前記推定部により推定された前記注目点領域を用いて、前記入力画像から前記主要被写体を検出する被写体検出処理に関するパラメータを設定する設定部と、
前記設定部により設定された前記パラメータを用いて、前記被写体検出処理として、前記主要被写体としての人物の顔を検出するか、又は特定の人物の顔を認識する顔処理を実行する検出部と、を備え、
前記パラメータは、前記顔処理の精度に関するパラメータであることを特徴とする画像処理装置。
【請求項２】
前記パラメータは、前記顔処理の対象となるか否かを示すパラメータであり、
前記設定部は、前記注目点領域が所定条件を満たす場合、前記注目点領域を前記顔処理の対象に含める第１の設定を行い、記注目点領域が前記所定条件を満たさない場合、前記注目点領域を前記顔処理の対象から除外する第２の設定を行い、
前記検出部は、前記設定部により前記第１の設定が行われた場合、前記注目点領域に対して前記顔処理を実行し、前記設定部により前記第２の設定が行われた場合、前記注目点領域に対する前記顔処理の実行を禁止する
請求項１に記載の画像処理装置。
【請求項３】
前記パラメータは、前記顔処理により検出若しくは認識される顔の領域の大きさ若しくは対象範囲、当該顔から特徴点を抽出する領域の大きさ若しくは解像度に関するパラメータ、又は、これらの２以上の組合せである
請求項１に記載の画像処理装置。
【請求項４】
前記パラメータは、前記顔処理の順番に関するパラメータであり、
前記設定部は、所定条件にしたがって、１以上の前記注目点領域のそれぞれに対して前記順番を付す設定を行い、
前記検出部は、前記設定部により設定された前記順番にしたがって、前記１以上の注目点領域のそれぞれに対して前記顔処理を順次実行する
請求項１に記載の画像処理装置。
【請求項５】
主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、
前記推定ステップの処理により推定された前記注目点領域を用いて、前記入力画像から前記主要被写体を検出する被写体検出処理に関するパラメータを設定する設定ステップと、
前記設定ステップの処理により設定された前記パラメータを用いて、前記被写体検出処理として、前記主要被写体としての人物の顔を検出するか、又は特定の人物の顔を認識する顔処理を実行する検出ステップと、を含み、
前記パラメータは、前記顔処理の精度に関するパラメータであることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び方法に関し、特に、顔検出／顔認識処理の速度及び精度を向上させる技術に関する。
【背景技術】
【０００２】
従来より、カメラにより撮影して得られた画像（以下、撮影画像と称する）から、人物の顔を検出したり、特定の人物の顔を認識する処理が存在する。以下、かかる処理を顔検出／顔認識処理と称する。
【０００３】
顔検出／顔認識処理の結果を利用して、ＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ）処理やＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）処理など各種画像処理を実現可能な手法が、例えば特許文献１乃至６に開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０５−３７９４０号公報
【特許文献２】特開平０５−４１８３０号公報
【特許文献３】特開平０５−５３０４１号公報
【特許文献４】特開平０６−３０３４９１号公報
【特許文献５】特開平０６−２１７１８７号公報
【特許文献６】特開２００６−２５４２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、小型カメラでは搭載できる処理能力や処理時間に制約がある。このため、特許文献１乃至６などに開示された従来の手法をかかる小型カメラに適用すると、顔検出／顔認識処理の速度が遅くなる。その結果、ユーザにとって、撮影操作に支障が生じたり、シャッタタイミングを逸するといった不具合が生ずる場合がある。特に、検出又は認識対象の顔の数が増加する程、不具合が生じる確率が高くなる。
また、特許文献１乃至６などに開示された従来の手法を処理能力や処理時間に制約のある小型カメラに適用すると、顔検出／顔認識処理の精度が十分に得られない。その結果、誤認識や誤検出、最悪の場合顔の認識や検出自体が不能になるといった不具合が生じる場合もある。
【０００６】
処理能力や処理時間に制約がある小型カメラであっても、顔検出／顔認識処理の速度及び精度の向上が要求されている。しかしながら、特許文献１乃至６などに開示された従来の手法では、かかる要求に十分に応えることができない。
【０００７】
そこで、本発明は、かかる従来の課題に鑑みてなされたものであり、顔検出／顔認識処理の速度及び精度を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本願発明の第１の観点によると、主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定部と、前記推定部により推定された前記注目点領域を用いて、前記入力画像から前記主要被写体を検出する被写体検出処理に関するパラメータを設定する設定部と、前記設定部により設定された前記パラメータを用いて、前記被写体検出処理として、前記主要被写体としての人物の顔を検出するか、又は特定の人物の顔を認識する顔処理を実行する検出部と、を備え、前記パラメータは、前記顔処理の精度に関するパラメータであることを特徴とする画像処理装置を提供する。
【００１０】
本願発明の第２の観点によると、前記パラメータは、前記顔処理の対象となるか否かを示すパラメータであり、前記設定部は、前記注目点領域が所定条件を満たす場合、前記注目点領域を前記顔処理の対象に含める第１の設定を行い、記注目点領域が前記所定条件を満たさない場合、前記注目点領域を前記顔処理の対象から除外する第２の設定を行い、前記検出部は、前記設定部により前記第１の設定が行われた場合、前記注目点領域に対して前記顔処理を実行し、前記設定部により前記第２の設定が行われた場合、前記注目点領域に対する前記顔処理の実行を禁止する画像処理装置を提供する。
【００１１】
本願発明の第３の観点によると、前記パラメータは、前記顔処理により検出若しくは認識される顔の領域の大きさ若しくは対象範囲、当該顔から特徴点を抽出する領域の大きさ若しくは解像度に関するパラメータ、又は、これらの２以上の組合せである画像処理装置を提供する。
【００１３】
本願発明の第４の観点によると、前記パラメータは、前記顔処理の順番に関するパラメータであり、前記設定部は、所定条件にしたがって、１以上の前記注目点領域のそれぞれに対して前記順番を付す設定を行い、前記検出部は、前記設定部により設定された前記順番にしたがって、前記１以上の注目点領域のそれぞれに対して前記顔処理を順次実行する画像処理装置を提供する。
【００１４】
本願発明の第５の観点によると、主要被写体を含む入力画像に対して、前記入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する推定ステップと、前記推定ステップの処理により推定された前記注目点領域を用いて、前記入力画像から前記主要被写体を検出する被写体検出処理に関するパラメータを設定する設定ステップと、前記設定ステップの処理により設定された前記パラメータを用いて、前記被写体検出処理として、前記主要被写体としての人物の顔を検出するか、又は特定の人物の顔を認識する顔処理を実行する検出ステップと、を含み、前記パラメータは、前記顔処理の精度に関するパラメータであることを特徴とする画像処理方法を提供する。
【発明の効果】
【００１５】
本発明によれば、顔処理（顔検出／顔認識処理）の速度及び精度を向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態に係る画像処理装置のハードウェアの構成図である。
【図２】本発明の一実施形態における顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
【図３】本発明の一実施形態における顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
【図４】本発明の一実施形態における顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
【図５】本発明の一実施形態における顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
【図６】本発明の一実施形態における撮影モード処理の流れの一例を示すフローチャートである。
【図７】本発明の一実施形態における撮影モード処理の流れの一例を示すフローチャートである。
【図８】本発明の一実施形態における撮影モード処理のうちの注目点領域推定処理の流れの詳細例を示すフローチャートである。
【図９】本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの一例を示すフローチャートである。
【図１０】本発明の一実施形態における撮影モード処理のうちの特徴量マップ作成処理の流れの別の例を示すフローチャートである。
【図１１】本発明の一実施形態における撮影モード処理のうちの顔検出／顔認識処理の流れの詳細例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施形態を図面に基づいて説明する。
図１は、本発明の一実施形態に係る画像処理装置１００のハードウェアの構成を示す図である。画像処理装置１００は、例えばデジタルカメラにより構成することができる。
【００１８】
画像処理装置１００は、光学レンズ装置１と、シャッタ装置２と、アクチュエータ３と、ＣＭＯＳセンサ４と、ＡＦＥ５と、ＴＧ６と、ＤＲＡＭ７と、ＤＳＰ８と、ＣＰＵ９と、ＲＡＭ１０と、ＲＯＭ１１と、液晶表示コントローラ１２と、液晶ディスプレイ１３と、操作部１４と、メモリカード１５と、測距センサ１６と、測光センサ１７と、を備える。
【００１９】
光学レンズ装置１は、例えばフォーカスレンズやズームレンズなどで構成される。フォーカスレンズは、ＣＭＯＳセンサ４の受光面に被写体像を結像させるためレンズである。
【００２０】
シャッタ装置２は、例えばシャッタ羽根などから構成される。シャッタ装置２は、ＣＭＯＳセンサ４へ入射する光束を遮断する機械式のシャッタとして機能する。シャッタ装置２はまた、ＣＭＯＳセンサ４へ入射する光束の光量を調節する絞りとしても機能する。アクチュエータ３は、ＣＰＵ９による制御にしたがって、シャッタ装置２のシャッタ羽根を開閉させる。
【００２１】
ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ４は、例えばＣＭＯＳ型のイメージセンサなどから構成される。ＣＭＯＳセンサ４には、光学レンズ装置１からシャッタ装置２を介して被写体像が入射される。そこで、ＣＭＯＳセンサ４は、ＴＧ６から供給されるクロックパルスにしたがって、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として順次出力する。
【００２２】
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）５には、ＣＭＯＳセンサ４からアナログの画像信号が供給される。そこで、ＡＦＥ５は、ＴＧ６から供給されるクロックパルスにしたがって、アナログの画像信号に対し、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理などの各種信号処理を施す。各種信号処理の結果、ディジタル信号が生成され、ＡＦＥ５から出力される。
【００２３】
ＴＧ（Ｔｉｍｉｎｇ  Ｇｅｎｅｒａｔｏｒ）６は、ＣＰＵ９による制御にしたがって、一定時間毎にクロックパルスをＣＭＯＳセンサ４とＡＦＥ５とにそれぞれ供給する。
【００２４】
ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）７は、ＡＦＥ５により生成されるディジタル信号や、ＤＳＰ８により生成される画像データを一時的に記憶する。
【００２５】
ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）８は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７に記憶されたディジタル信号に対して、ホワイトバランス補正処理、γ補正処理、ＹＣ変換処理などの各種画像処理を施す。各種画像処理の結果、輝度信号と色差信号とでなる画像データが生成される。なお、以下、かかる画像データをフレーム画像データと称し、このフレーム画像データにより表現される画像をフレーム画像と称する。
【００２６】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９は、画像処理装置１００全体の動作を制御する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０は、ＣＰＵ９が各処理を実行する際にワーキングエリアとして機能する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１は、画像処理装置１００が各処理を実行するのに必要なプログラムやデータを記憶する。ＣＰＵ９は、ＲＡＭ１０をワーキングエリアとして、ＲＯＭ１１に記憶されているプログラムとの協働により各種処理を実行する。
【００２７】
液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＤＲＡＭ７やメモリカード１５に記憶されているフレーム画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像として、フレーム画像を表示する。
【００２８】
また、液晶表示コントローラ１２は、ＣＰＵ９による制御にしたがって、ＲＯＭ１１などに予め記憶されている各種画像データをアナログ信号に変換して、液晶ディスプレイ１３に供給する。液晶ディスプレイ１３は、液晶表示コントローラ１２から供給されてくるアナログ信号に対応する画像を表示する。例えば本実施の形態では、各種シーンを特定可能な情報（以下、シーン情報と称する）の画像データがＲＯＭ１１に記憶されている。このため、図４を参照して後述するように、各種シーン情報が液晶ディスプレイ１３に適宜表示される。
【００２９】
操作部１４は、ユーザから各種ボタンの操作を受け付ける。操作部１４は、電源釦、十字釦、決定釦、メニュー釦、レリーズ釦などを備える。操作部１４は、ユーザから受け付けた各種ボタンの操作に対応する信号を、ＣＰＵ９に供給する。ＣＰＵ９は、操作部１４からの信号に基づいてユーザの操作内容を解析し、その操作内容に応じた処理を実行する。
【００３０】
メモリカード１５は、ＤＳＰ８により生成されたフレーム画像データを記録する。測距センサ１６は、ＣＰＵ９による制御にしたがって、被写体までの距離を検出する。測光センサ１７は、ＣＰＵ９による制御にしたがって、被写体の輝度（明るさ）を検出する。
【００３１】
このような構成を有する画像処理装置１００の動作モードとしては、撮影モードや再生モードを含む各種モードが存在する。ただし、以下、説明の簡略上、撮影モード時における処理（以下、撮影モード処理と称する）についてのみ説明する。なお、以下、撮影モード処理の主体は主にＣＰＵ９であるとする。
【００３２】
次に、図１の画像処理装置１００の撮影モード処理のうち、顕著性マップに基づく注目点領域を用いてパラメータを設定するまでの前処理、及び、そのパラメータを用いた顔検出／顔認識処理の概略について説明する。
図２は、顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の一例を示す図である。
【００３３】
図１の画像処理装置１００のＣＰＵ９は、撮影モードを開始させると、ＣＭＯＳセンサ４による撮影を継続させ、その間にＤＳＰ８により逐次生成されるフレーム画像データを、ＤＲＡＭ７に一時的に記憶させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー撮像と称する。
また、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、スルー撮像時にＤＲＡＭ７に記録された各フレーム画像データを順次読み出して、それぞれに対応するフレーム画像を液晶ディスプレイ１３に表示させる。なお、以下、かかるＣＰＵ９の一連の処理を、スルー表示と称する。また、スルー表示されているフレーム画像を、スルー画像と称する。
以下の説明では、スルー撮像及びスルー表示により、例えば図２に示されるスルー画像５１が液晶ディスプレイ１３に表示されているとする。ただし、図２に示されるスルー画像５１は、表現の簡略上、実際のフレーム画像を線図化したものである。
【００３４】
この場合、ステップＳａにおいて、ＣＰＵ９は、特徴量マップ作成処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、スルー画像５１に対応するフレーム画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図９や図１０を参照して後述する。
例えば図２の例では、後述する図１０Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｃが作成されている。また、後述する図１０ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ５２Ｆｈが作成されている。また、図１０Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ５２Ｆｓが作成されている。
【００３５】
ステップＳｂにおいて、ＣＰＵ９は、複数種類の特徴量マップを統合することで、顕著性マップを求める。例えば図２の例では、特徴量マップ５２Ｆｃ，５２Ｆｈ，５２Ｆｓが統合されて顕著性マップ５３Ｓが求められている。
ステップＳｂの処理は、後述する図８のステップＳ４５の処理に対応する。
【００３６】
ステップＳｃにおいて、ＣＰＵ９は、顕著性マップを用いて、スルー画像の中から、人間の視覚的注意を引く可能性の高い画像領域（以下、注目点領域と称する）を推定する。例えば図２の例では、顕著性マップ５３Ｓを用いて、スルー画像５１の中から注目点領域５４が推定されている。
ステップＳｃの処理は、後述する図８のステップＳ４６の処理に対応する。
【００３７】
なお、以上のステップＳａ乃至Ｓｃまでの一連の処理を、以下、注目点領域推定処理と称する。注目点領域推定処理は、後述する図６のステップＳ２の処理に対応する。注目点領域推定処理の詳細については、図８乃至図１０を参照して後述する。
【００３８】
次に、ステップＳｄにおいて、ＣＰＵ９は、注目点領域に基づく顔検出／顔認識パラメータ設定処理として、例えば次のような処理を実行する。
すなわち、ＣＰＵ９は、注目点領域を用いて、顔検出／顔認識処理に関するパラメータを設定する。設定対象のパラメータは、顔検出／顔認識処理に関するものであれば足り、特に限定されない。
【００３９】
例えば図２の例では、設定対称のパラメータは、顔検出／顔認識処理の対象となるか否かを示すパラメータとされている。
すなわち、ＣＰＵ９は、例えば、図２に示される領域５６を、顔検出／顔認識処理の対象として設定する。領域５６は、注目点領域５４のうち所定の条件を満たす注目点領域を含む領域、すなわち、そのような注目点領域の所定の周囲領域だからである。なお、所定の条件は、特に限定されず、例えば、領域についての、大きさ、位置、形状、若しくは、縦横比に関する条件、又は、それらのうちの任意の２以上の組合せを採用することができる。
また、ＣＰＵ９は、例えば、図２に示される領域５７及び領域５８を、顔検出／顔認識処理の対象から除外する。領域５５は、注目点領域５４として推定されなかった領域だからである。領域５７は、注目点領域５４のうち所定の条件を満たさない領域だからである。
このようにして、ＣＰＵ９は、領域５７及び領域５８を、顔検出／顔認識処理の対象外とすることができる。より一般的にいえば、ＣＰＵ９は、例えば、視野領域の外周端部の所定範囲の注目点領域を、顔検出／顔認識処理の対象外とすることができる。ＣＰＵ９は、例えば、所定サイズ未満の注目点領域を、顔検出／顔認識処理の対象外とすることができる。ＣＰＵ９は、例えば、面積が大きくても、縦横比が顔の縦横比とはかけ離れた縦横比であったり、細長い形状や線状などに該当する注目点領域も、顔検出／顔認識処理の対象外とすることができる。
その結果、ＣＰＵ９は、注目点領域の中でも人間の視覚的注意を特に引く可能性の高い領域に対して、顔検出／顔認識処理を重点的に施すことが可能になる。また、ＣＰＵ９は、対象領域についても、大きさ、処理量、処理時間などを絞ることにより、顔検出／顔認識処理を短時間で実行することができる。
なお、図２の例のステップＳｄの処理は、後述する図６のステップＳ４，Ｓ５の処理に対応する。
【００４０】
このようにして、ステップＳｄの処理でパラメータが設定されると、処理はステップＳｅに進む。ステップＳｅにおいて、ＣＰＵ９は、設定されたパラメータを用いて、顔検出／顔認識処理を実行する。その結果、検出又は認識された人物の顔を含む領域が得られる。以下、かかる領域を顔検出領域と称する。
例えば図２の例では、スルー画像５１のうち、領域５５乃至５７のうち、対象領域として設定された領域５６に対してのみ、顔検出／顔認識処理が施される。換言すると、対象領域から除外された領域５５及び領域５７に対しては、顔検出／顔認識処理の実行が禁止される。その結果として、顔検出領域５８が得られる。
ステップＳｅの処理は、後述する図６のステップＳ６の処理に対応する。
【００４１】
図３は、顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の図２の例とは別の例を示す図である。
【００４２】
なお、図３の処理の流れ自体は、図２と基本的に同様であるので、図３に示される処理結果のみ説明する。また、以下の説明では、スルー撮像及びスルー表示により、例えば図３に示されるスルー画像６１が液晶ディスプレイ１３に表示されているとする。ただし、図３に示されるスルー画像６１は、表現の簡略上、実際のフレーム画像を線図化したものである。
【００４３】
この場合、ステップＳａの処理の結果、例えば図３の例では、次のような各特徴量マップが作成される。すなわち、後述する図１０Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｃが作成される。また、後述する図１０ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ６２Ｆｈが作成される。また、図１０Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ６２Ｆｓが作成される。次に、ステップＳｂの処理の結果、これらの特徴量マップ６２Ｆｃ，６２Ｆｈ，６２Ｆｓが統合されて、顕著性マップ６３Ｓが求められる。そして、ステップＳｃの処理の結果、顕著性マップ６３Ｓを用いて注目点領域６４，６５，６６が推定される。
【００４４】
ステップＳｄにおいて、注目点領域に基づく顔検出／顔認識パラメータ設定処理が実行されて、顔検出／顔認識処理に関するパラメータが設定される。例えば図３の例では、設定対称のパラメータは、顔検出／顔認識処理の順番に関するパラメータ、具体的には例えば、実行順番や走査順番とされている。
すなわち、ＣＰＵ９は、例えば、注目点領域の大きさや位置に応じて、顔検出／顔認識処理の実行順番などを設定する。具体的には例えば、図３に示されるように、一番大きな注目点領域６４が、顔検出／顔認識処理の実行順番などが１番目の領域として設定される。次に大きな注目点領域６５が、顔検出／顔認識処理の実行順番などが２番目の領域として設定される。一番小さな注目点領域６６が、顔検出／顔認識処理の実行順番などが３番目の領域として設定される。
なお、図３の例のステップＳｄの処理は、後述する図６のステップＳ３の処理に対応する。
【００４５】
ステップＳｅにおいて、設定されたパラメータを用いて、顔検出／顔認識処理が実行される。例えば図３の例では、１番目に、注目点領域６４に対して顔検出／顔認識処理が施され、その結果、顔検出領域７１が得られる。２番目に、注目点領域６５に対して顔検出／顔認識処理が施され、その結果、顔検出領域７２が得られる。３番目に、注目点領域６６に対して顔検出／顔認識処理が施され、その結果、顔検出領域７３が得られる。
【００４６】
図４及び図５は、顔検出／顔認識処理及びその前処理の概略を説明する図であって、具体的な処理結果の図２や図３の例とは別の例を示す図である。
【００４７】
なお、図４及び図５の処理の流れ自体は、図２と基本的に同様であるので、図４及び図５に示される処理結果のみ説明する。また、スルー撮像及びスルー表示により、図４の例の説明では同図に示されるスルー画像８１が、図５の例の説明では同図に示されるスルー画像１１１が、それぞれ液晶ディスプレイ１３に表示されているとする。ただし、図４に示されるスルー画像８１及び図５に示されるスルー画像１１１は、表現の簡略上、実際のフレーム画像を線図化したものである。
【００４８】
この場合、ステップＳａの処理の結果、例えば図４及び図５の例では、次のような各特徴量マップが作成される。
【００４９】
すなわち、図４の例では、後述する図１０Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ８２Ｆｃが作成される。また、後述する図１０ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ８２Ｆｈが作成される。また、図１０Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ８２Ｆｓが作成される。
【００５０】
一方、図５の例では、後述する図１０Ａのマルチスケールのコントラストの特徴量マップ作成処理の結果、特徴量マップ１１２Ｆｃが作成される。また、後述する図１０ＢのＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の結果、特徴量マップ１１２Ｆｈが作成される。また、図１０Ｃの色空間分布の特徴量マップ作成処理の結果、特徴量マップ１１２Ｆｓが作成される。
【００５１】
次に、図４の例では、ステップＳｂの処理の結果、特徴量マップ８２Ｆｃ，８２Ｆｈ，８２Ｆｓが統合されて、顕著性マップ８３Ｓが求められる。そして、ステップＳｃの処理の結果、顕著性マップ８３Ｓを用いて注目点領域８４が推定される。
【００５２】
一方、図５の例では、ステップＳｂの処理の結果、特徴量マップ１１２Ｆｃ，１１２Ｆｈ，１１２Ｆｓが統合されて、顕著性マップ１１３Ｓが求められる。そして、ステップＳｃの処理の結果、顕著性マップ１１３Ｓを用いて複数の注目点領域１１４が推定される。
【００５３】
ステップＳｄにおいて、注目点領域に基づく顔検出／顔認識パラメータ設定処理が実行されて、顔検出／顔認識処理に関するパラメータが設定される。例えば図４及び図５の例では、設定対称のパラメータは、顔検出／顔認識処理における顔の特徴データ（特徴点）に関するパラメータとされている。具体的には例えば、顔の特徴データについての、抽出方法、抽出個数、照合方法などが、設定対象のパラメータとされている。そこで、ＣＰＵ９は、例えば、注目点領域の大きさや位置に応じて、顔の特徴データに関する各種パラメータを設定する。
【００５４】
具体的には例えば図４の例では、抽出された注目点領域８４の数は１つと一定数以下であり（少数であり）、視野領域内に占める注目点領域８４は所定サイズよりも大きい。このような場合、ＣＰＵ９は、特徴データの抽出領域を、例えば「額の上〜顎の下」とやや広い領域８５に設定する。また、ＣＰＵ９は、主要部位の特徴データ８６として、例えば、顔の輪郭に９特徴点、左右の眉に２×５特徴点、左右の眼に２×９特徴点、鼻に３特徴点、及び口唇に８特徴点の総計４８特徴点を設定する。また、ＣＰＵ９は、例えば、照合評価処理の度合を「やや詳しい」という度合に設定する。
【００５５】
一方、例えば図５の例では、注目点領域１１４の数は一定数を超えており（多数であり）、各注目点領域１１４は広域に分散している。また、個々の注目点領域１１４は所定サイズよりも小さい。このような場合、ＣＰＵ９は、特徴データの抽出領域を、例えば、「眉の上〜口唇の下」とやや狭い領域１１５に設定する。また、ＣＰＵ９は、主要部位の特徴データ１１６として、例えば、図４の例と比較して少ない総計２４特徴点を設定する。なお、特徴点の減点箇所は、図５の例に特に限定されない。また、ＣＰＵ９は、例えば、照合評価処理の度合を「やや粗い」という度合に設定する。
なお、図４及び図５の例のステップＳｄの処理は、後述する図１１のステップＳ２０５の処理に対応する。
【００５６】
ステップＳｅにおいて、設定されたパラメータを用いて、顔検出／顔認識処理が実行される。
例えば図４の例では、同図に示される領域８５から特徴データ８６が抽出されて、やや詳しい照合処理が実行されて、その結果、顔検出領域８７が得られる。
一方、例えば図５の例では、同図に示される領域１１５から特徴データ１１６が抽出されて、やや粗い照合処理が実行されて、その結果、複数の顔検出領域１１７が得られる。
【００５７】
以上、図２乃至図５を参照して、画像処理装置１００が実行する顔検出／顔認識処理及びその前処理の概略について説明した。次に、図６乃至図１１を参照して、顔検出／顔認識処理及びその前処理を含む撮影モード処理全体について説明する。
【００５８】
図６及び図７は、撮影モード処理の流れの一例を示すフローチャートである。
【００５９】
撮影モード処理は、ユーザが撮影モードを選択する所定の操作を操作部１４に対して行った場合、その操作を契機として開始される。すなわち、次のような処理が実行される。
【００６０】
ステップＳ１において、ＣＰＵ９は、スルー撮像とスルー表示を行う。
【００６１】
ステップＳ２において、ＣＰＵ９は、注目点領域推定処理を実行することで、注目点領域を推定する。注目点領域推定処理については、その概略は図２乃至図５のステップＳａ乃至Ｓｃの説明として上述した通りであり、その詳細は図８を参照して後述する。
【００６２】
ステップＳ３において、ＣＰＵ９は、ステップＳ２の処理で推定された各注目点領域のうちの所定の１つを、処理対象領域に設定する。ここで、後述するステップＳ６の顔検出／顔認識処理に関するパラメータとして、顔検出／顔認識処理の順番に関するパラメータが含まれている場合がある。このような場合、ＣＰＵ９は、図３の例として説明したように、ステップＳ２の処理で推定された各注目点領域の大きさや位置に応じて、各注目点領域のそれぞれに対して順番を設定する。そして、この順番にしたがって、処理対象領域が順次設定されていく。
【００６３】
ステップＳ４において、ＣＰＵ９は、処理対象領域を評価する。ステップＳ５において、ＣＰＵ９は、その評価結果に基づいて、処理対象領域は所定の条件を満たすか否かを判定する。
すなわち、図６の例では、後述するステップＳ６の顔検出／顔認識処理に関するパラメータとして、顔検出／顔認識処理の対象領域となるか否かのパラメータが含まれていることが前提とされている。したがって、ここでいう所定の条件とは、図２を参照して上述したように、特に限定されないが、例えば、領域についての、大きさ、位置、形状、及び、縦横比の単体に関する条件、又は、それらのうちの任意の２以上の組合せを採用することができる。
【００６４】
処理対象領域が所定の条件を満たさない場合、処理対象領域を顔検出／顔認識処理の対象から除外する設定がなされる。このため、ステップＳ５の処理でＮＯであると判定されて、処理対象領域に対してステップＳ６の顔検出／顔認識処理が実行されずに、処理はステップＳ３に戻され、それ以降の処理が実行される。すなわち、ステップＳ３の処理で別の注目点領域が処理対象に新たに設定されて、ステップＳ４以降の処理が実行される。
【００６５】
これに対して、処理対象領域が所定の条件を満たす場合、処理対象領域を顔検出／顔認識処理の対象にする設定がなされる。このため、ステップＳ５の処理でＹＥＳであると判定されて、処理はステップＳ６に進む。ステップＳ６において、ＣＰＵ９は、処理対象領域に対して顔検出／顔認識処理を施す。なお、顔検出／顔認識処理の詳細については、図１１を参照して後述する。
【００６６】
ステップＳ７において、ＣＰＵ９は、顔検出領域が存在するか否かを判定する。ステップＳ６の顔検出／顔認識処理により１以上の顔検出領域が得られた場合、ステップＳ７においてＹＥＳであると判定されて、処理はステップＳ８に進む。ステップＳ８において、ＣＰＵ９は、１以上の顔検出領域のそれぞれにＡＦ（Ａｕｔｏｍａｔｉｃ  Ｆｏｃｕｓ）枠を設定する。これにより、処理はステップＳ９に進む。これに対して、ステップＳ６の顔検出／顔認識処理により顔検出領域が得られなかった場合、ステップＳ７においてＮＯであると判定されて、ステップＳ８の処理は実行されずに、処理はステップＳ９に進む。
【００６７】
ステップＳ９において、ＣＰＵ９は、顔検出領域の数が閾値以上か否かを判定する。顔検出領域の数が閾値以上の場合、ステップＳ９においてＹＥＳであると判定されて、処理はステップＳ１１に進む。ただし、ステップＳ１１以降の処理は後述する。
【００６８】
これに対して、顔検出領域の数が閾値未満の場合、ステップＳ９においてＮＯであると判定されて、処理はステップＳ１０に進む。ステップＳ１０において、ＣＰＵ９は、処理対象領域が最後の注目点領域か否かを判定する。処理対象領域が最後の注目点領域でない場合、すなわち、ステップＳ２の処理で推定された各注目点領域の中に処理対象領域に設定されていないものが存在する場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ３に戻され、それ以降の処理が繰り返される。すなわち、ステップＳ３の処理で別の注目点領域が処理対象に新たに設定されて、ステップＳ４以降の処理が実行される。
【００６９】
このようにして、ステップＳ２の処理で推定された各注目点領域のそれぞれが処理対象領域に順次設定されて、ステップＳ３乃至Ｓ１０のループ処理が繰り返し実行される。その後、顔検出領域の数が閾値未満の状態で、最後の注目点領域が処理対象に設定されてステップＳ３乃至Ｓ９の処理が実行されると、次のステップＳ１０の処理でＹＥＳであると判定されて、処理はステップＳ１１に進む。
また、ステップＳ３乃至Ｓ１０のループ処理の繰り返しの途中で、顔検出領域の数が閾値以上になった場合、上述したように、ステップＳ９の処理でＹＥＳであると判定されて、処理はステップＳ１１に進む。
【００７０】
ステップＳ１１において、ＣＰＵ９は、ステップＳ８の処理で設定されたＡＦ枠が被写界深度内に入るように、ＡＦ処理（オートフォーカス処理）を実行する。
【００７１】
ステップＳ１２において、ＣＰＵ９は、レリーズ釦が半押しの状態であるか否かを判定する。
ユーザがレリーズ釦を半押ししていない場合、ステップＳ１２においてＮＯであると判定され、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、ユーザがレリーズ釦を半押しするまでの間、ステップＳ１乃至Ｓ１２のループ処理が繰り返し実行される。
【００７２】
その後、ユーザがレリーズ釦を半押しすると、ステップＳ１２においてＹＥＳであると判定されて、処理は図７のステップＳ１３に進む。
【００７３】
ステップＳ１３において、ＣＰＵ９は、測光処理を実行する。
【００７４】
ステップＳ１４において、ＣＰＵ９は、レリーズ釦が全押しの状態であるか否かを判定する。
【００７５】
ユーザがレリーズ釦を全押ししていない場合、ステップＳ１４においてＮＯであると判定され、処理はステップＳ２２に進む。ステップＳ２２において、ＣＰＵ９は、レリーズ釦が解除されたか否かを判定する。ユーザの指などがレリーズ釦から離された場合、ステップＳ２２においてＹＥＳであると判定されて、撮影モード処理は終了となる。これに対して、ユーザの指などがレリーズ釦から離されていない場合、ステップＳ２２においてＮＯであると判定されて、処理はステップＳ１４に戻され、それ以降の処理が繰り返される。すなわち、レリーズ釦の半押し状態が継続している限り、ステップＳ１４ＮＯ，Ｓ２２ＮＯのループ処理が繰り返し実行される。
【００７６】
その後、ユーザがレリーズ釦を全押しすると、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。ステップＳ１５において、ＣＰＵ９は、ＡＷＢ（Ａｕｔｏｍａｔｉｃ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理（オートホワイトバランス処理）を実行する。ステップＳ１６において、ＣＰＵ９は、ＡＥ（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）処理（自動露出処理）を実行する。すなわち、測光センサ１７による測光情報や撮影条件などに基づいて、絞り、露出時間、ストロボ条件などが設定される。
【００７７】
ステップＳ１７において、ＣＰＵ９は、ＴＧ６やＤＳＰ８などを制御して、測光センサ１７による測光情報や撮影条件などに基づいて露出及び撮影処理を実行する。この露出及び撮影処理により、撮影条件などにしたがってＣＭＯＳセンサ４により撮影された被写体像は、フレーム画像データとしてＤＲＡＭ７に記憶される。なお、以下、かかるフレーム画像データを撮影画像データと称し、また、撮影画像データにより表現される画像を撮影画像と称する。
【００７８】
ステップＳ１８において、ＣＰＵ９は、ＤＳＰ８などを制御して、撮影画像データの補正及び変更処理を実行する。すなわち、ＣＰＵ９は、顔検出領域、注目点領域、撮影条件などに基づいて、撮影画像データに対して、補正又は変更に必要な各種画像処理を適宜施す。
【００７９】
ステップＳ１９において、ＣＰＵ９は、液晶表示コントローラ１２などを制御して、撮影画像のレビュー表示処理を実行する。また、ステップＳ２０において、ＣＰＵ９は、ＤＳＰ８などを制御して撮影画像データの圧縮符号化処理を実行する。その結果、符号化画像データが得られることになる。そこで、ステップＳ２１において、ＣＰＵ９は、符号化画像データの保存記録処理を実行する。これにより、符号化画像データがメモリカード１５などに記録され、撮影モード処理が終了となる。
【００８０】
次に、撮影モード処理のうち、ステップＳ２（図２乃至図５のステップＳａ乃至Ｓｃ）の注目点領域処理の詳細例について説明する。
【００８１】
上述したように、注目点領域推定処理では、注目点領域の推定のために、顕著性マップが作成される。したがって、注目点領域推定処理に対して、例えば、Ｔｒｅｉｓｍａｎの特徴統合理論や、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用することができる。
なお、Ｔｒｅｉｓｍａｎの特徴統合理論については、「Ａ．Ｍ．Ｔｒｅｉｓｍａｎ  ａｎｄ  Ｇ．Ｇｅｌａｄｅ，“Ａ  ｆｅａｔｕｒｅ―ｉｎｔｅｇｒａｔｉｏｎ  ｔｈｅｏｒｙ  ｏｆ  ａｔｔｅｎｔｉｏｎ”，Ｃｏｇｎｉｔｉｖｅ  Ｐｓｙｃｈｏｌｏｇｙ，Ｖｏｌ．１２，Ｎｏ．１，ｐｐ．９７−１３６，１９８０．」を参照すると良い。
また、Ｉｔｔｉ及びＫｏｃｈらによる顕著性マップについては、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，  ａｎｄ  Ｅ．Ｎｉｅｂｕｒ，“Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ  １９９８．」を参照すると良い。
【００８２】
図８は、Ｔｒｅｉｓｍａｎの特徴統合理論やＮｉｔｔｉ及びＫｏｃｈらによる顕著性マップを適用した場合における、注目点領域推定処理の流れの詳細例を示すフローチャートである。
【００８３】
ステップＳ４１において、ＣＰＵ９は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして入力する。
【００８４】
ステップＳ４２において、ＣＰＵ９は、ガウシアン解像度ピラミット（Ｇａｕｓｓｉａｎ  Ｒｅｓｏｌｕｔｉｏｎ  Ｐｙｒａｍｉｄ）を作成する。具体的には例えば、ＣＰＵ９は、処理対象画像データ｛（ｘ，ｙ）の位置の画素データ｝をＩ（０）＝Ｉ（ｘ，ｙ）として、ガウシアンフィルタ処理とダウンサンプリング処理とを順次繰り返し実行する。その結果として、階層型のスケール画像データＩ（Ｌ）（例えばＬ∈｛０・・・８｝）の組が生成される。この階層型のスケール画像データＩ（Ｌ）の組が、ガウシアン解像度ピラミッドと称されている。ここで、スケールＬ＝ｋ（ここではｋは１乃至８のうちのいずれかの整数値）の場合、スケール画像データＩ（ｋ）は、１／２ｋの縮小画像（ｋ＝０の場合は原画像）を示す。
【００８５】
ステップＳ４３において、ＣＰＵ９は、各特徴量マップ作成処理を開始する。すなわち、ＣＰＵ９は、処理対象画像データについて、例えば色、方位、輝度などの複数種類の特徴量のコントラストから、複数種類の特徴量マップを作成することができる。このような複数種類のうち所定の１種類の特徴量マップを作成するまでの一連の処理が、ここでは、特徴量マップ作成処理と称されている。各特徴量マップ作成処理の詳細例については、図９や図１０を参照して後述する。
【００８６】
ステップＳ４４において、ＣＰＵ９は、全ての特徴量マップ作成処理が終了したか否かを判定する。各特徴量マップ作成処理のうち１つでも処理が終了していない場合、ステップＳ４４において、ＮＯであると判定されて、処理はステップＳ４４に再び戻される。すなわち、各特徴量マップ作成処理の全処理が終了するまでの間、ステップＳ４４の判定処理が繰り返し実行される。そして、各特徴量マップ作成処理の全処理が終了して、全ての特徴量マップが作成されると、ステップＳ４４においてＹＥＳであると判定されて、処理はステップＳ４５に進む。
【００８７】
ステップＳ４５において、ＣＰＵ９は、各特徴量マップを線形和で結合して、顕著性マップＳ（Ｓａｌｉｅｎｃｙ  Ｍａｐ）を求める。
【００８８】
ステップＳ４６において、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから注目領域を推定する。すなわち、一般に、主要被写体となる人物や撮影対象（ｏｂｊｅｃｔｓ）となる物体の多くは、背景（ｂａｃｋｇｒｏｕｎｄ）領域に比べ、顕著性（ｓａｌｉｅｎｃｙ）が高いと考えられる。そこで、ＣＰＵ９は、顕著性マップＳを用いて、処理対象画像データから顕著性（ｓａｌｉｅｎｃｙ）が高い領域を認識する。そして、ＣＰＵ９は、その認識結果に基づいて、人間の視覚的注意を引く可能性の高い領域、すなわち、注目点領域を推定する。このようにして、注目点領域が推定されると、注目点領域推定処理は終了する。すなわち、図６のステップＳ２の処理は終了し、処理はステップＳ３に進む。図２乃至図５の例でいえば、ステップＳａ乃至Ｓｃの一連の処理は終了し、処理はステップＳｄに進む。
【００８９】
次に、各特徴量マップ作成処理の具体例について説明する。
【００９０】
図９は、輝度、色、及び、方向性の特徴量マップ作成処理の流れの一例を示すフローチャートである。
【００９１】
図９Ａは、輝度の特徴量マップ作成処理の一例を示している。
【００９２】
ステップＳ６１において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像から、各注目画素を設定する。例えば各注目画素ｃ∈｛２，３，４｝が設定されたとして、以下の説明を行う。各注目画素ｃ∈｛２，３，４｝とは、スケールｃ∈｛２，３，４｝のスケール画像データＩ（ｃ）上の演算対象として設定された画素をいう。
【００９３】
ステップＳ６２において、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝の各スケール画像の輝度成分を求める。
【００９４】
ステップＳ６３において、ＣＰＵ９は、各注目画素の周辺画素ｓ＝ｃ＋δの各スケール画像の輝度成分を求める。各注目画素の周辺画素ｓ＝ｃ＋δとは、例えばδ∈｛３，４｝とすると、スケールｓ＝ｃ＋δのスケール画像Ｉ（ｓ）上の、注目画素（対応点）の周辺に存在する画素をいう。
【００９５】
ステップＳ６４において、ＣＰＵ９は、各スケール画像について、各注目画素ｃ∈｛２，３，４｝における輝度コントラストを求める。例えば、ＣＰＵ９は、各注目画素ｃ∈｛２，３，４｝と、各注目画素の周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）のスケール間差分を求める。ここで、注目画素ｃをＣｅｎｔｅｒと呼称し、注目画素の周辺画素ｓをＳｕｒｒｏｕｎｄと呼称すると、求められたスケール間差分は、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分と呼称することができる。この輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、注目画素ｃが白で周辺画素ｓが黒の場合又はその逆の場合には大きな値をとるという性質がある。したがって、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分は、輝度コントラストを表わすことになる。なお、以下、かかる輝度コントラストをＩ（ｃ，ｓ）と記述する。
【００９６】
ステップＳ６５において、ＣＰＵ９は、処理対象画像データに対応する各スケール画像において、注目画素に設定されていない画素が存在するか否かを判定する。そのような画素が存在する場合、ステップＳ６５においてＹＥＳであると判定されて、処理はステップＳ６１に戻され、それ以降の処理が繰り返される。
【００９７】
すなわち、処理対象画像データに対応する各スケール画像の各画素に対して、ステップＳ６１乃至Ｓ６５の処理がそれぞれ施されて、各画素の輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、各注目画素ｃ∈｛２，３，４｝、及び、周辺画素ｓ＝ｃ＋δ（例えばδ∈｛３，４｝）が設定される場合、ステップＳ６１乃至Ｓ６５の１回の処理で、（注目画素ｃの３通り）×（周辺画素ｓの２通り）＝６通りの輝度コントラストＩ（ｃ，ｓ）が求められる。ここで、所定のｃと所定のｓについて求められた輝度コントラストＩ（ｃ，ｓ）の画像全体の集合体を、以下、輝度コントラストＩの特徴量マップと称する。輝度コントラストＩの特徴量マップは、ステップＳ６１乃至Ｓ６５のループ処理の繰り返しの結果、６通り求められることになる。このようにして、６通りの輝度コントラストＩの特徴量マップが求められると、ステップＳ６５においてＮＯであると判定されて、処理はステップＳ６６に進む。
【００９８】
ステップＳ６６において、ＣＰＵ９は、輝度コントラストＩの各特徴量マップを正規化した上で結合することで、輝度の特徴量マップを作成する。これにより、輝度の特徴量マップ作成処理は終了する。なお、以下、輝度の特徴量マップを、他の特徴量マップと区別すべく、ＦＩと記述する。
【００９９】
図９Ｂは、色の特徴量マップ作成処理の一例を示している。
【０１００】
図９Ｂの色の特徴量マップ作成処理は、図９Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図９ＢのステップＳ８１乃至Ｓ８６のそれぞれの処理は、図９ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図９Ａとは異なるだけである。したがって、図９Ｂの色の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
【０１０１】
すなわち、図９ＡのステップＳ６２とＳ６３の処理対象は、輝度成分であったのに対して、図９ＢのステップＳ８２とＳ８３の処理対象は、色成分である。
また、図９ＡのステップＳ６４の処理では、輝度のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、輝度コントラストＩ（ｃ，ｓ）として求められた。これに対して、図９ＢのステップＳ８４の処理では、色相（Ｒ／Ｇ，Ｂ／Ｙ）のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、色相コントラストとして求められる。なお、色成分のうち、赤の成分がＲで示され、緑の成分がＧで示され、青の成分がＢで示され、黄の成分がＹで示されている。また、以下、色相Ｒ／Ｇについての色相コントラストを、ＲＧ（ｃ，ｓ）と記述し、色相Ｂ／Ｙについての色相コントラストを、ＢＹ（ｃ，ｓ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、図９ＡのステップＳ６１乃至Ｓ６５のループ処理の結果、６通りの輝度コントラストＩの特徴量マップが求められた。これに対して、図９ＢのステップＳ８１乃至Ｓ８５のループ処理の結果、６通りの色相コントラストＲＧの特徴量マップと、６通りの色相コントラストＢＹの特徴量マップとが求められる。
最終的に、図９ＡのステップＳ６６の処理で、輝度の特徴量マップＦＩが求められた。これに対して、図９ＢのステップＳ８６の処理で、色の特徴量マップが求められる。なお、以下、色の特徴量マップを、他の特徴量マップと区別すべく、ＦＣと記述する。
【０１０２】
図９Ｃは、方向性の特徴量マップ作成処理の一例を示している。
【０１０３】
図９Ｃの方向性の特徴量マップ作成処理は、図９Ａの輝度の特徴量マップ作成処理と比較すると、処理の流れは基本的に同様であり、処理対象が異なるだけである。すなわち、図９ＣのステップＳ１０１乃至Ｓ１０６のそれぞれの処理は、図９ＡのステップＳ６１乃至Ｓ６６のそれぞれに対応する処理であり、各ステップの処理対象が図９Ａとは異なるだけである。したがって、図９Ｃの方向性の特徴量マップ作成処理については、処理の流れの説明は省略し、以下、処理対象についてのみ簡単に説明する。
【０１０４】
すなわち、ステップＳ１０２とＳ１０２３の処理対象は、方向成分である。ここで、方向成分とは、輝度成分に対してガウスフィルタφを畳み込んだ結果得られる各方向の振幅成分をいう。ここでいう方向とは、ガウスフィルタφのパラメータとして存在する回転角θにより示される方向をいう。例えば回転角θとしては、０°，４５°，９０°，１３５°の４方向を採用することができる。
また、ステップＳ１０４の処理では、方向性のＣｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄスケール間差分が、方向性コントラストとして求められる。なお、以下、方向性コントラストを、Ｏ（ｃ，ｓ，θ）と記述する。
ここで、上述の例にあわせて、注目画素ｃが３通り存在して、周辺画素ｓが２通り存在するとする。この場合、ステップＳ１０１乃至Ｓ１０５のループ処理の結果、回転角θ毎に、６通りの方向性コントラストＯの特徴量マップが求められる。例えば回転角θとして、０°，４５°，９０°，１３５°の４方向が採用されている場合には、２４通り（＝６×４通り）の方向性コントラストＯの特徴量マップが求められる。
最終的に、ステップＳ１０６の処理で、方向性の特徴量マップが求められる。なお、以下、方向性の特徴量マップを、他の特徴量マップと区別すべく、ＦＯと記述する。
【０１０５】
以上説明した図９の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｌ．Ｉｔｔｉ，Ｃ．Ｋｏｃｈ，  ａｎｄ  Ｅ．Ｎｉｅｂｕｒ，“Ａ  Ｍｏｄｅｌ  ｏｆ  Ｓａｌｉｅｎｃｙ−Ｂａｓｅｄ  Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ  ｆｏｒ  Ｒａｐｉｄ  Ｓｃｅｎｅ  Ａｎａｌｙｓｉｓ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，ＶＯｌ．２０，Ｎｏ１１，Ｎｏｖｅｍｂｅｒ  １９９８．」を参照すると良い。
【０１０６】
なお、特徴量マップ作成処理は、図９の例に特に限定されない。例えば、特徴量マップ作成処理として、明度、彩度、色相、及びモーションの各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
【０１０７】
また例えば、特徴量マップ作成処理として、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の各特徴量を用いて、それぞれの特徴量マップを作成する処理を採用することもできる。
【０１０８】
図１０は、マルチスケールのコントラスト、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラム、及び、色空間分布の特徴量マップ作成処理の一例を示すフローチャートである。
【０１０９】
図１０Ａは、マルチスケールのコントラストの特徴量マップ作成処理の一例を示している。
ステップＳ１２１において、ＣＰＵ９は、マルチスケールのコントラストの特徴量マップを求める。これにより、マルチスケールのコントラストの特徴量マップ作成処理は終了となる。
なお、以下、マルチスケールのコントラストの特徴量マップを、他の特徴量マップと区別すべく、Ｆｃと記述する。
【０１１０】
図１０Ｂは、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理の一例を示している。
【０１１１】
ステップＳ１４１において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとを求める。アスペクト比自体は、特に限定されず、例えば｛０．５，０．７５，１．０，１．５，２．０｝などを採用することができる。
【０１１２】
ステップＳ１４２において、ＣＰＵ９は、異なるアスペクト比毎に、矩形領域の色ヒストグラムと、周辺輪郭の色ヒストグラムとのカイ２乗距離を求める。ステップＳ１４３において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを求める。
【０１１３】
ステップＳ１４４において、ＣＰＵ９は、カイ２乗距離が最大となる矩形領域の色ヒストグラムを用いて、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを作成する。これにより、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップ作成処理は終了となる。
なお、以下、Ｃｅｎｔｅｒ−Ｓｕｒｒｏｕｎｄの色ヒストグラムの特徴量マップを、他の特徴量マップと区別すべく、Ｆｈと記述する。
【０１１４】
図１０Ｃは、色空間分布の特徴量マップ作成処理の一例を示している。
【０１１５】
ステップＳ１６１において、ＣＰＵ９は、色空間分布について、水平方向の分散を計算する。また、ステップＳ１６２において、ＣＰＵ９は、色空間分布について、垂直方向の分散を計算する。そして、ステップＳ１６３において、ＣＰＵ９は、水平方向の分散と垂直方向の分散とを用いて、色の空間的な分散を求める。
【０１１６】
ステップＳ１６４において、ＣＰＵ９は、色の空間的な分散を用いて、色空間分布の特徴量マップを作成する。これにより、色空間分布の特徴量マップ作成処理は終了となる。
なお、以下、色空間分布の特徴量マップを、他の特徴量マップと区別すべく、Ｆｓと記述する。
【０１１７】
以上説明した図１０の特徴量マップ作成処理のより詳細な処理内容については、例えば、「Ｔ．Ｌｉｕ，Ｊ．Ｓｕｎ，Ｎ．Ｚｈｅｎｇ，Ｘ．Ｔａｎｇ，Ｈ．Ｓｕｍ，“Ｌｅａｒｎｉｎｇ  ｔｏ  Ｄｅｔｅｃｔ  Ａ  Ｓａｌｉｅｎｔ  Ｏｂｊｅｃｔ”，ＣＶＰＲ０７，ｐｐ．１−８，２００７．」を参照すると良い。
【０１１８】
次に、図６の撮影モード処理のうち、ステップＳ６の顔検出／顔認識処理の詳細例について説明する。
【０１１９】
図１１は、顔検出／顔認識処理の流れの詳細例を示すフローチャートである。
【０１２０】
ステップＳ２０１において、ＣＰＵ９は、顔検出用辞書情報に基づいて、顔検出用辞書を設定する。なお、顔検出用辞書情報は、例えば図１のＲＯＭ１１などに予め記憶されているとする。
【０１２１】
ステップＳ２０２において、ＣＰＵ９は、顔の個人認識か否かを判定する。顔の検出のみが行われる場合、ステップＳ２０２においてＮＯであると判定されて、処理はステップＳ２０５に進む。ただし、ステップＳ２０５以降の処理については後述する。
【０１２２】
これに対して、顔の個人認識も行われる場合、ステップＳ２０２においてＹＥＳであると判定されて、処理はステップＳ２０３に進む。ステップＳ２０３において、ＣＰＵ９は、個人認識する顔が登録されているか否かを判定する。個人認識する顔が未登録の場合、ステップＳ２０３においてＮＯであると判定されて、処理はステップＳ２０５に進む。ただし、ステップＳ２０５以降の処理については後述する。
【０１２３】
これに対して、個人認識する顔が登録されている場合、ステップＳ２０３においてＹＥＳであると判定されて、処理はステップＳ２０４に進む。ステップＳ２０４において、ＣＰＵ９は、顔の個人の認識用辞書情報に基づいて、顔認識用辞書を設定する。なお、顔の個人の認識用辞書情報は、例えば図１のＲＯＭ１１などに予め記憶されているとする。
【０１２４】
このようにして、ステップＳ２０４の処理が実行されると、処理はステップＳ２０５に進む。また、上述したように、ステップＳ２０２においてＮＯであると判定された場合、又は、ステップＳ２０３においてＮＯであると判定された場合にも、処理はステップＳ２０５に進む。ステップＳ２０５において、ＣＰＵ９は、注目点領域に基づいて、顔検出／顔認識のパラメータを設定する。なお、ここでいう注目点領域は、図６のステップＳ３の処理で処理対象領域に設定された注目点領域のみならず、必要に応じて、ステップＳ２の処理で推定された各注目点領域も含む。例えば、図４や図５の例として上述した顔の特徴データに関するパラメータ、具体的には例えば、その抽出方法、抽出個数、照合方法などが、ステップＳ２０５の処理で設定される。
【０１２５】
ステップＳ２０６において、ＣＰＵ９は、スルー撮像により得られたフレーム画像データを、処理対象画像データとして入力する。
【０１２６】
ステップＳ２０７において、ＣＰＵ９は、処理対象画像データに対応するフレーム画像から、顔検出領域を抽出する。ステップＳ２０８において、ＣＰＵ９は、顔検出領域の少なくとも一部から、顔の特徴データを抽出する。この顔の特徴データの抽出に関するパラメータが、図４や図５の例として説明したパラメータであって、上述したようにステップＳ２０５の処理で設定されるパラメータである。
【０１２７】
ステップＳ２０９において、ＣＰＵ９は、顔の個人認識か否かを判定する。顔の個人認識も行われる場合、ステップＳ２０９においてＹＥＳであると判定されて、処理はステップＳ２１０に進む。ステップＳ２１０において、ＣＰＵ９は、顔の特徴データを、顔認識用辞書と照合する。この結果、照合評価値が求められる。
【０１２８】
これに対して、顔の検出のみが行われる場合、ステップＳ２０９においてＮＯであると判定されて、処理はステップＳ２１１に進む。ステップＳ２１１において、ＣＰＵ９は、顔の特徴データを、顔検出用辞書と照合する。この結果、照合評価値が求められる。
【０１２９】
このようにして、ステップＳ２１０又はＳ２１１の処理が実行されて照合評価値が求められると、処理はステップＳ２１２に進む。ステップＳ２１２において、ＣＰＵ９は、照合評価値が照合閾値以上であるか否かを判定する。
【０１３０】
照合評価値が照合閾値未満である場合、ステップＳ２１２においてＮＯであると判定され、処理はステップＳ２１３に進む。ステップＳ２１３において、ＣＰＵ９は、所定のエラー条件を満たしたか否かを判定する。所定のエラー条件を満たさない場合、ステップＳ２１３においてＮＯであると判定されて、処理はステップＳ２０６に戻され、それ以降の処理が繰り返される。これに対して、所定のエラー条件を満たしている場合、ステップＳ２１３においてＹＥＳであると判定されて、顔検出／顔認識処理は終了となる。すなわち、この場合には、図６のステップＳ６の顔検出／顔認識処理により顔検出領域が得られなかったとして、ステップＳ７の処理でＮＯであると判定されて、処理はステップＳ９に進むことになる。
【０１３１】
これに対して、照合評価値が照合閾値以上である場合、ステップＳ２１２においてＹＥＳであると判定され、処理はステップＳ２１４に進む。ステップＳ２１４において、ＣＰＵ９は、照合結果を確定する。すなわち、顔検出領域に関する情報として、顔の識別ＩＤ、顔の位置、照合評価値などの情報が確定されて、ＤＲＡＭ７やＲＡＭ１０などに記憶される。これにより、顔検出／顔認識処理は終了となる。すなわち、この場合には、図６のステップＳ６の顔検出／顔認識処理により顔検出領域が得られたとして、ステップＳ７の処理でＹＥＳであると判定されて、処理はステップＳ８に進むことになる。
【０１３２】
以上説明したように、本実施形態に係る画像処理装置１００のＣＰＵ９は、主要被写体を含む入力画像（スルー画像）に対して、入力画像から抽出された複数の特徴量に基づく顕著性マップを用いて、注目点領域を推定する機能を有している。ＣＰＵ９は、推定された注目点領域を用いて、顔検出／顔認識処理に関するパラメータを設定する機能を有している。ＣＰＵ９は、設定されたパラメータを用いて、顔検出／顔認識処理を実行する機能を有している。
【０１３３】
このように、ＣＰＵ９は、注目点領域の推定処理と顔検出／顔認識処理とを縦列式に又は並列式に実行することができる。これにより、ＣＰＵ９は、注目点領域を用いて適切にパラメータを設定することができ、その結果、顔検出／顔認識処理の速度及び精度を向上させることができる。
【０１３４】
例えば、ＣＰＵ９は、注目点領域のうち所定条件を満たすものだけを処理対象として顔検出／顔認識処理を実行することができる。これにより、ＣＰＵ９は、注目点領域に応じて、顔の探索、抽出すべき特徴データ、照合範囲などを絞り込んだり、処理不要と認定できる注目点領域を処理対象から除外することができる。その結果、顔検出／顔認識処理の速度及び精度を向上させることができる。
【０１３５】
また例えば、ＣＰＵ９は、注目点領域の大きさ、位置、形状などに応じて、顔検出／顔認識処理内の各処理（顔検出処理、特徴データの抽出処理、照合評価処理など）のパラメータを適切に調整することができる。また、例えば、ＣＰＵ９は、サイズが大きい注目点領域や顔検出の可能性が高い注目点領域に対しては、顔検出／顔認識処理をより詳しく実行するような設定をすることができる。一方、ＣＰＵ９は、サイズが小さい注目点領域や顔検出の可能性が低い注目点領域に対しては、顔検出／顔認識処理をより粗く実行するような設定をすることができる。その結果、顔検出／顔認識処理が効率的に行われて、総合的な処理時間が短縮される。すなわち、顔検出／顔認識処理の総合的な速度及び精度を向上させることができる。
【０１３６】
なお、上述のごとく、設定対象のパラメータは、顔検出／顔認識処理に関するパラメータであれば足り、様々なパラメータを採用することができる。上述した例に重複する場合もあるが、以下、採用可能なパラメータを幾つか例示列挙する。例えば、顔検出／顔認識処理の対象となるか否かを示すパラメータを採用することができる。例えば、顔検出／顔認識処理により検出若しくは認識される顔の領域の大きさ若しくは対象範囲、当該顔から特徴点（特徴データ）を抽出する領域の大きさ若しくは解像度に関するパラメータ、又は、これらの２以上の組合せを採用することができる。例えば、顔検出／顔認識処理の精度に関するパラメータを採用することができる。例えば、顔検出／顔認識処理の順番に関するパラメータを採用することができる。
【０１３７】
また、本発明は前記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
例えば、上述した実施形態では、本発明が適用される画像処理装置は、デジタルカメラとして構成される例として説明した。しかしながら、本発明は、デジタルカメラに特に限定されず、電子機器一般に適用することができる。具体的には例えば、本発明は、ビデオカメラ、携帯型ナビゲーション装置、ポータブルゲーム機などに適用可能である。
【０１３８】
また例えば、本発明は、顔検出／顔認識処理のみならず、入力画像から主要被写体を検出する検出処理に対して広く一般に適用することが可能である。この場合、ＣＰＵ９は、推定された注目点領域を用いて、検出処理に関するパラメータを設定する機能を有することになる。これにより、例えば、注目点領域が所定の大きさ、輪郭形状、所定の範囲内の縦横比などを有している場合には、ＣＰＵ９は、人物の顔の検出処理を禁止して、人物の顔以外の対象の検出（識別）を行うなどの各種処理を実行できるようになる。
【０１３９】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
【０１４０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータなどにネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであっても良い。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであっても良い。
このようなプログラムを含む記録媒体は、図示はしないが、ユーザにプログラムを提供するために装置本体とは別に配布されるリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体などで構成される。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスクなどにより構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）などにより構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）などにより構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１１や、図示せぬハードディスクなどで構成される。
【０１４１】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【０１４２】
１００・・・画像処理装置、１・・・光学レンズ装置、２・・・シャッタ装置、３・・・アクチュエータ、４・・・ＣＭＯＳセンサ、５・・・ＡＦＥ、６・・・ＴＧ、７・・・ＤＲＡＭ、８・・・ＤＳＰ、９・・・ＣＰＵ、１０・・・ＲＡＭ、１１・・・ＲＯＭ、１２・・・液晶表示コントローラ、１３・・・液晶ディスプレイ、１４・・・操作部、１５・・・メモリカード、１６・・・測距センサ、１７・・・測光センサ
【図１】
0005471130.tif 000002
【図６】
0005471130.tif 000003
【図７】
0005471130.tif 000004
【図８】
0005471130.tif 000005
【図９】
0005471130.tif 000006
【図１０】
0005471130.tif 000007
【図１１】
0005471130.tif 000008
【図２】
0005471130.tif 000009
【図３】
0005471130.tif 000010
【図４】
0005471130.tif 000011
【図５】
0005471130.tif 000012