(57)【要約】【目的】対象画像の中から顔の画像部分を検出する。【構成】顔の画像を検出すべき対象画像の明るさが所定の明るさ以上かどうかが確認される（ステップ８２）。所定以上の明るさであれば（ステップ８２でＹＥＳ），テンプレート画像と対象画像との正規化相互相関係数が算出される（ステップ８３，８５）。算出された係数が高輝度用のしきい値と比較され，顔の画像が含まれているかどうかが確認される（ステップ８４，８６）。顔の画像を検出すべき対象画像の明るさが所定の明るさ未満の場合にも（ステップ８２でＮＯ），テンプレート画像と対象画像との正規化相互相関係数が算出される（ステップ１０１，１０３）。算出された係数が低輝度用のしきい値と比較され，顔の画像が含まれているかどうかが確認される（ステップ１０２，１０４）。明るさに応じてしきい値を変えているので，比較的正確に顔の画像部分を検出できる。【選択図】  図１０
2005004287.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を検出すべき対象画像のうちの一部の領域内の画像と顔のテンプレート画像との相関値を算出する相関値算出手段，および上記相関値算出手段によって算出された相関値がしきい値以上かどうかにもとづいて上記領域内の画像が顔の画像であることを検出する検出手段を備えた顔画像検出装置において，
上記領域内の画像の明るさが所定の明るさ以上かどうかを判定する判定手段，ならびに
上記判定手段により，上記領域内の画像の明るさが所定の明るさ以上と判定されたときの上記しきい値と，上記領域内の画像の明るさが所定の明るさ以上と判定されないときの上記しきい値とを変更するように上記検出手段を制御する制御手段，
を備えた顔画像検出装置。
【請求項２】
上記相関値算出手段は，上記対象画像に上記テンプレート画像をスキャニングし，上記対象画像における上記テンプレート画像の位置に応じた相関値をそれぞれ算出するものである，請求項１に記載の顔画像検出装置。
【請求項３】
顔画像を検出すべき対象画像のうちの一部の領域内の画像と周波数成分の異なる複数の顔のテンプレート画像との相関値を算出する相関値算出手段，および
上記相関値算出手段によって算出された相関値にもとづいて，上記領域内の画像が顔の画像であるかどうかを判定する第１の判定手段，
を備えた顔画像検出装置。
【請求項４】
上記相関値算出手段は，
顔画像を検出すべき対象画像のうちの一部の領域内の画像と，周波数成分の異なる複数の顔のテンプレート画像のうちの一のテンプレート画像との相関値を算出するものであり，
上記相関値算出処理により得られた相関値がしきい値未満かどうかを判定する第２の判定手段，および
上記相関値算出処理と上記第２の判定手段における判定処理とを繰り返し，上記第２の判定手段においてしきい値未満と判定されたことに応じて上記相関値算出処理を停止する制御手段，
を備えている請求項３に記載の顔画像検出装置。
【請求項５】
上記相関値算出処理を，周波数成分の高いテンプレート画像から順に行うものである，請求項４に記載の顔画像検出装置。
【請求項６】
矩形のテンプレート画像であって，かつ顔のテンプレート画像から，テンプレート画像の中の顔画像を，マスク画像を用いて抽出する抽出手段，
顔画像を検出すべき対象画像のうちの一部の領域内の画像と上記抽出手段によって抽出された部分テンプレート画像との相関値を算出する相関値算出手段，および
上記相関値算出手段によって算出された相関値にもとづいて，上記領域内の画像が顔の画像かどうかを判定する判定手段，
を備えた顔画像検出装置。
【請求項７】
上記マスク画像におけるマスク部分が上記テンプレート画像の顔画像を除く部分よりも小さいものである，請求項６に記載の顔画像検出装置。
【請求項８】
顔画像を検出すべき対象画像のうちの一部の第１の領域内の画像と顔のテンプレート画像との相関値を算出する相関値算出手段，
上記相関値算出手段によって算出された相関値にもとづいて，上記第１の領域内の画像が顔の画像かどうかを判定する判定手段，
上記判定手段によって，上記第１の領域内の画像が顔の画像であると判定されたことに応じて，上記第１の領域近傍の第２の領域内の画像と上記第１の領域内の画像との相関値を算出するように上記相関値算出手段を制御する制御手段，および
上記制御手段による制御のもとに上記相関値算出手段において算出された相関値にもとづいて上記判定手段における判定結果をエラーとするエラー確認手段，
を備えた顔画像検出装置。
【請求項９】
上記エラー確認手段は，上記制御手段による制御のもとに上記相関値算出手段において算出された相関値が高いほど，上記判定手段における判定結果をエラーとするものである，請求項８に記載の顔画像検出装置。
【請求項１０】
顔画像を検出すべき対象画像のうちの一部の領域内の画像と顔のテンプレート画像との相関値を算出し，算出された相関値がしきい値以上かどうかにもとづいて上記領域内の画像が顔の画像であることを検出する顔画像検出装置において，
上記領域内の画像の明るさが所定の明るさ以上かどうかを判定し，
上記領域内の画像の明るさが所定の明るさ以上と判定されたときの上記しきい値と，上記領域内の画像の明るさが所定の明るさ以上と判定されないときの上記しきい値とを変更する，
顔画像検出装置の制御方法。
【請求項１１】
顔画像を検出すべき対象画像のうちの一部の領域内の画像と周波数成分の異なる複数の顔のテンプレート画像との相関値を算出し，
算出された相関値にもとづいて，上記領域内の画像が顔の画像であるかどうかを判定する，
顔画像検出装置の制御方法。
【請求項１２】
矩形のテンプレート画像であって，かつ顔のテンプレート画像から，テンプレート画像の中の顔画像を，マスク画像を用いて抽出し，
顔画像を検出すべき対象画像のうちの一部の領域内の画像と抽出された部分テンプレート画像との相関値を算出し，
算出された相関値にもとづいて，上記領域内の画像が顔の画像かどうかを判定する，
顔画像検出装置の制御方法。
【請求項１３】
顔画像を検出すべき対象画像のうちの一部の第１の領域内の画像と顔のテンプレート画像との第１の相関値を算出し，
算出された第１の相関値にもとづいて，上記第１の領域内の画像が顔の画像かどうかを判定し，
上記第１の領域内の画像が顔の画像であると判定されたことに応じて，上記第１の領域近傍の第２の領域内の画像と上記第１の領域内の画像との第２の相関値を算出し，
算出された第２の相関値にもとづいて上記判定結果をエラーとする，
顔画像検出装置の制御方法。
【発明の詳細な説明】
【０００１】
【技術分野】
この発明は，顔画像検出装置およびその制御方法に関する。
【０００２】
【発明の背景】
ディジタル・カメラを用いて人物撮影が行われる場合には，顔の部分にピントを合わせることが多い。撮影範囲の中心に顔があれば，ピントをあわせやすいが，必ずしも顔が撮影範囲の中心にあるとは限らない。このために，被写体像（画像）の中から顔の画像を検出することが必要となることがある。たとえば，被写体像の中から顔の色に相当する部分を抽出し，エッジ抽出を行い，その後テンプレートを用いてマッチング処理を行うものがある（特許文献１参照）。
【０００３】
【特許文献１】
特開平８−６３５９７号公報
【０００４】
しかしながら，顔の画像の抽出処理の精度は必ずしも高くない。
【０００５】
【発明の開示】
この発明は，比較的精度よく顔の画像を抽出することを目的とする。
【０００６】
第１の発明は，顔画像を検出すべき対象画像のうちの一部の領域内の画像と顔のテンプレート画像との相関値を算出する相関値算出手段，および上記相関値算出手段によって算出された相関値がしきい値以上かどうかにもとづいて上記領域内の画像が顔の画像であることを検出する検出手段を備えた顔画像検出装置において，上記領域内の画像の明るさが所定の明るさ以上かどうかを判定する判定手段，ならびに上記判定手段により，上記領域内の画像の明るさが所定の明るさ以上と判定されたときの上記しきい値と，上記領域内の画像の明るさが所定の明るさ以上と判定されないときの上記しきい値とを変更するように上記検出手段を制御する制御手段を備えていることを特徴とする。
【０００７】
第１の発明は，上記装置に適した制御方法も提供している。すなわち，この方法は，顔画像を検出すべき対象画像のうちの一部の領域内の画像と顔のテンプレート画像との相関値を算出し，算出された相関値がしきい値以上かどうかにもとづいて上記領域内の画像が顔の画像であることを検出する顔画像検出装置において，上記領域内の画像の明るさが所定の明るさ以上かどうかを判定し，上記領域内の画像の明るさが所定の明るさ以上と判定されたときの上記しきい値と，上記領域内の画像の明るさが所定の明るさ以上と判定されないときの上記しきい値とを変更するものである。
【０００８】
第１の発明によると，対象画像のうちの一部の領域内の画像（サーチ・ウインドウ内の画像）と顔のテンプレート画像との相関値が検出され，検出された相関値がしきい値以上かどうかにもとづいて，領域内の画像が顔の画像かどうか検出される。特に，領域内の画像の明るさが所定の明るさ以上かどうかが判定される。所定の明るさ以上と判定された場合のしきい値と所定の明るさ以上でないと判定された場合のしきい値とが変更される。
【０００９】
一般的に，領域内の画像が明るい場合と比較して領域内の画像が暗い場合は，Ｓ／Ｎが悪くなるため相関値は低くなる。第１の発明によると，領域内の画像が明るい場合と暗い場合とでしきい値を変えているので，顔の画像の検出精度が高くなる。領域内の画像が明るい場合よりも，領域内の画像が暗い場合の方が相関値は低くなるのが通常である。したがって，領域内の画像が明るい場合よりも，領域内の画像が暗い場合の方がしきい値が低くされるであろう。
【００１０】
上記相関値算出手段は，たとえば，上記対象画像に上記テンプレート画像をスキャニングし，上記対象画像における上記テンプレート画像の位置に応じた相関値をそれぞれ算出するものである。
【００１１】
第２の発明による顔画像検出装置は，顔画像を検出すべき対象画像のうちの一部の領域内の画像と周波数成分の異なる複数の顔のテンプレート画像との相関値を算出する相関値算出手段，および上記相関値算出手段によって算出された相関値にもとづいて，上記領域内の画像が顔の画像であるかどうかを判定する第１の判定手段を備えていることを特徴とする。
【００１２】
第２の発明は，上記顔画像検出装置に適した制御方法も提供している。すなわち，この方法は，顔画像を検出すべき対象画像のうちの一部の領域内の画像と周波数成分の異なる複数の顔のテンプレート画像との相関値を算出し，算出された相関値にもとづいて，上記領域内の画像が顔の画像であるかどうかを判定するものである。
【００１３】
第２の発明によると，対象画像のうちの一部の領域内の画像と周波数成分の異なる複数の顔のテンプレート画像との相関値が算出される。算出された相関値にもとづいて領域内の画像が顔の画像かどうかが判定される。
【００１４】
周波数成分の異なる複数の顔のテンプレート画像を用いて相関値が算出されるから，従来検出されなかった顔の画像も検出できるようになる。比較的精度よく顔の画像を検出できる。
【００１５】
上記相関値算出手段は，顔画像を検出すべき対象画像のうちの一部の領域内の画像と，周波数成分の異なる複数の顔のテンプレート画像のうちの一のテンプレート画像との相関値を算出するものでもよい。この場合，上記相関値算出手段には，上記相関値算出処理により得られた相関値がしきい値未満かどうかを判定する第２の判定手段，および上記相関値算出処理と上記第２の判定手段における判定処理とを繰り返し，上記第２の判定手段においてしきい値未満と判定されたことに応じて上記相関値算出処理を停止する制御手段を備えることとなろう。
【００１６】
また，周波数成分の高いテンプレート画像から上記相関値算出処理を順に行うようにしてもよい。
【００１７】
第３の発明による顔画像検出装置は，矩形のテンプレート画像であって，かつ顔のテンプレート画像から，テンプレート画像の中の顔画像を，マスク画像を用いて抽出する抽出手段，顔画像を検出すべき対象画像のうちの一部の領域内の画像と上記抽出手段によって抽出された部分テンプレート画像との相関値を算出する相関値算出手段，および上記相関値算出手段によって算出された相関値にもとづいて，上記領域内の画像が顔の画像かどうかを判定する判定手段を備えていることを特徴とする。
【００１８】
第３の発明は，上記顔画像検出装置に適した制御方法も提供している。すなわち，この方法は，矩形のテンプレート画像であって，かつ顔のテンプレート画像から，テンプレート画像の中の顔画像を，マスク画像を用いて抽出し，顔画像を検出すべき対象画像のうちの一部の領域内の画像と上記抽出手段によって抽出された部分テンプレート画像との相関値を算出し，算出された相関値にもとづいて，上記領域内の画像が顔の画像かどうかを判定するものである。
【００１９】
第３の発明によると，矩形のテンプレート画像であり，かつ顔のテンプレート画像から，テンプレート画像中の顔画像が，マスク画像を用いて抽出され，部分テンプレート画像が得られる。対象画像のうちの一部の領域内の画像と抽出された部分テンプレート画像との相関値が算出される。算出された相関値にもとづいて，領域内の画像が顔の画像かどうかが判定される。
【００２０】
抽出すべき顔の画像に対応した部分テンプレート画像を用いて顔の画像を検出するので，比較的精度よく顔の画像を抽出することができる。
【００２１】
上記マスク画像におけるマスク部分は，たとえば，上記テンプレート画像の顔画像を除く部分よりも小さいものである。部分テンプレート画像を抽出する際に，顔のテンプレート画像の中から顔の画像部分が除去されてしまうことを未然に防止できる。
【００２２】
第４の発明は，顔画像を検出すべき対象画像のうちの一部の第１の領域内の画像と顔のテンプレート画像との相関値を算出する相関値算出手段，上記相関値算出手段によって算出された相関値にもとづいて，上記第１の領域内の画像が顔の画像かどうかを判定する判定手段，上記判定手段によって，上記第１の領域内の画像が顔の画像であると判定されたことに応じて，上記第１の領域近傍の第２の領域内の画像と上記第１の領域内の画像との相関値を算出するように上記相関値算出手段を制御する制御手段，および上記制御手段による制御のもとに上記相関値算出手段において算出された相関値にもとづいて上記判定手段における判定結果をエラーとするエラー確認手段を備えていることを特徴とする。
【００２３】
第４の発明は，上記顔画像検出装置に適した制御方法も提供している。すなわち，この方法は，顔画像を検出すべき対象画像のうちの一部の第１の領域内の画像と顔のテンプレート画像との第１の相関値を算出し，算出された第１の相関値にもとづいて，上記第１の領域内の画像が顔の画像かどうかを判定し，上記第１の領域内の画像が顔の画像であると判定されたことに応じて，上記第１の領域近傍の第２の領域内の画像と上記第１の領域内の画像との第２の相関値を算出し，算出された第２の相関値にもとづいて上記判定結果をエラーとするものである。
【００２４】
第４の発明によると，対象画像のうちの一部の第１の領域内の画像と顔のテンプレート画像との相関値が算出される。算出された相関値にもとづいて，第１の領域内の画像が顔の画像かどうかが判定される。第１の領域内の画像が顔の画像であると判定されると，その第１の領域近傍の第２の領域内の画像と第１の領域内の画像との相関値が算出される。算出された相関値にもとづいて，第１の領域内の画像が顔の画像であるとされた判定結果がエラーとされる。第１の領域内の画像が顔の画像であれば，第１の領域内の画像と第２の領域内の画像との相関値は低くなる筈である。それにも関わらず，第２の領域内の相関値が高い場合には，第１の領域内の画像が顔の画像であると判定された結果は誤判定であると考えられる。このために，エラーとされる。比較的正確に顔の画像を検出できる。
【００２５】
上記エラー確認手段は，たとえば，上記制御手段による制御のもとに上記相関値算出手段において算出された相関値が高いほど，上記判定手段における判定結果をエラーとするものである。
【００２６】
【実施例の説明】
図１は，この発明の実施例を示すもので，ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００２７】
この実施例によるディジタル・スチル・カメラにおいては，撮像によって得られた被写体像中の顔画像のエリアがテンプレート画像を用いて検出される。検出されたエリア内の顔画像が適正な明るさとなるように露光調整される。
【００２８】
ディジタル・スチル・カメラの全体の動作は，制御回路２０によって統括される。
【００２９】
制御回路２０には，互いにバス接続されているＣＰＵ２１，ＲＯＭ２２およびＲＡＭ２３が含まれている。ＲＯＭ２２には，詳しくは，後述するようにテンプレート画像を表す画像データが記憶されている。テンプレート画像データには，オリジナル・テンプレート画像データと高周波数テンプレート画像データとがある。また，ＲＯＭ２２には，マスク画像データも記憶されている。マスク画像は，テンプレート画像からテンプレート・マッチングに適した形状の部分テンプレート画像を生成するのに利用されるものである。マスク画像にもオリジナル・マスク画像と高周波数マスク画像とがある。ＲＡＭ２３は，顔検出に利用される画像データ，その他の画像データを記憶するものである。
【００３０】
ディジタル・スチル・カメラには，二段ストローク・タイプのシャッタ・レリーズ・ボタン，モード設定ダイアルなどを含む操作器１５が含まれている。操作器１５から出力される操作信号は，制御回路２０に入力する。
【００３１】
レンズ駆動回路１１によってズーム・レンズ１のズーム位置が制御される。また，絞り駆動回路１２によって絞り２の開口が制御される。ズーム・レンズ１によって被写体像を表す光線が集光され，絞り２を通ってＣＣＤのような撮像素子３に入射する。撮像素子３の受光面上に被写体像を表す光像が結像する。
【００３２】
撮像素子制御回路１３によって撮像素子３が制御され，被写体像を表す映像信号が撮像素子３から出力される。映像信号は，アナログ信号処理回路４において相関二重サンプリング等のアナログ信号処理が行われる。アナログ信号処理回路４から出力された映像信号は，アナログ／ディジタル変換回路４においてディジタル画像データに変換され，制御回路２０およびディジタル信号処理回路６に入力する。ディジタル信号処理回路６において，ガンマ補正，白バランス調整などのディジタル信号処理が行われる。
【００３３】
ディジタル信号処理回路６から出力された画像データは，メモリ７を介して表示装置１０に与えられる。表示装置１０の表示画面上に被写体像が表示される。
【００３４】
シャッタ・レリーズ・ボタンの第一段階の押下が行われると，ディジタル信号処理回路６から出力される画像データは，顔検出処理回路１４にも入力する。顔検出回路１４において，入力した画像データによって表される被写体像中における顔画像のエリアが検出される。被写体像中におけるエリアを表す信号は，制御回路２０に与えられる。制御回路２０によって，アナログ／ディジタル変換回路４から与えられた画像データによって表される被写体像中における顔画像のエリアが適正な明るさとなるように，絞り駆動回路１２が制御される。
【００３５】
シャッタ・レリーズ・ボタンの第二段階の押下が行われると，上述したのと同様に，被写体が再び撮像され，被写体像を表す画像データが得られる。画像データは，ディジタル信号処理回路６からメモリ７に与えられ，一時的に記憶される。画像データは，メモリ７から読み出され，記録制御回路８によってメモリ・カード９に記録される。必要に応じてデータ圧縮が行われるのはいうまでもない。
【００３６】
図２は，オリジナル・テンプレート画像の一例である。
【００３７】
オリジナル・テンプレート画像３１は，矩形の形状である。オリジナル・テンプレート画像３１には，ほぼ全面にサンプルとなる顔の画像３２が含まれている。オリジナル・テンプレート画像３１の右下隅の部分３３および左下隅の部分３４は，背景画像とされている。
【００３８】
図３は，高周波数テンプレート画像の一例である。
【００３９】
高周波数テンプレート画像３５を表す画像データは，オリジナル・テンプレート画像データの高周波数成分を表わすものである。オリジナル・テンプレート画像データに対してハイパス・フィルタリング処理を行うことにより高周波数テンプレート画像データを得ることができる。
【００４０】
高周波数テンプレート画像３５もオリジナル・テンプレート画像３２と同じ大きさで，かつ矩形の形状である。高周波数テンプレート画像３５も，ほぼ全面にサンプルとなる顔の画像３６が含まれている。高周波数テンプレート画像３５の右下隅の部分３７および左下隅の部分３８も背景画像とされている。
【００４１】
高周波数テンプレート画像３５に含まれている顔の画像３６は，オリジナル・テンプレート画像３１に含まれている顔の画像３２よりも鮮鋭度が高い。
【００４２】
図４は，オリジナル用マスク画像の一例である。
【００４３】
オリジナル用マスク画像４１は，図２に示すオリジナル・テンプレート画像３１から右下隅の部分３３および左下隅の部分３４の背景画像を取り除き，顔の画像３２の部分を抽出するためのものである。オリジナル用マスク画像４１の大きさは，オリジナル・テンプレート画像３１の大きさに対応している。
【００４４】
オリジナル用マスク画像４１には，抽出領域４２ならびにマスク領域４３および４４が含まれている。抽出領域４２は，オリジナル・テンプレート画像３１から顔の画像３２を抽出するための領域である。マスク領域４３および４４は，オリジナル・テンプレート画像３１の右下隅の部分３３および左下隅の部分３４をオリジナル・テンプレート画像３１から除去するための領域である。これらの領域４３および４４は，オリジナル・テンプレート画像３１から抽出すべき顔の画像部分３２が消去されてしまわないように，オリジナル・テンプレート画像３１の部分３３および３４よりも小さめに規定されている。
【００４５】
オリジナル・テンプレート画像３１とオリジナル用マスク画像４１とを重ねた場合に，オリジナル用マスク画像４１の抽出領域４２の部分に対応する部分がオリジナル・テンプレート画像３１から抽出され，オリジナル用マスク画像４１のマスク領域４３および４４に対応する部分がオリジナル・テンプレート画像３１から除去される。この結果，オリジナル・テンプレート画像３１から顔の画像部分３２が抽出される。
【００４６】
この実施例においては，オリジナル・テンプレート画像３１から抽出された顔の画像部分３２をテンプレートとして顔画像の検出のためのテンプレート・マッチングが行われる。抽出された顔の画像部分３２をオリジナル部分テンプレート画像ということにする。
【００４７】
図６は，オリジナル部分テンプレート画像の一例である。
【００４８】
上述したように，オリジナル部分テンプレート画像５１は，オリジナル・テンプレート画像３１の顔の画像部分３２に対応するものである。
【００４９】
図５は，高周波数用マスク画像の一例である。
【００５０】
高周波数用マスク画像４５は，図３に示す高周波数テンプレート画像３５から右下隅の部分３７および左下隅の部分３８の背景画像を取り除き，高周波数成分の顔の画像３６の部分を抽出するための領域である。マスク領域４７および４８は，高周波数テンプレート画像３５の右下隅の部分３７および左下隅の部分３８を高周波数テンプレート画像３５から除去するための領域である。これらの領域４７および４８は，高周波数テンプレート画像から抽出すべき顔の画像部分３６が消去されてしまわないように，高周波数テンプレート画像３５の部分３７および３８よりも小さめに設定されている。
【００５１】
高周波数テンプレート画像３５よりもオリジナル・テンプレート画像３１の方が周波数が低い（画像のエッジ部分がぼけている）ので，オリジナル・テンプレート画像３１の中から顔の画像部分３２が除去されてしまわないように，オリジナル用マスク画像４１のマスク領域４３および４４は，高周波数用マスク画像４５のマスク領域４７および４８よりも小さく設定されている。
【００５２】
図８は，顔画像を検出する被写体像とサーチ・ウインドウとの関係を示している。
【００５３】
上述のようにして，顔画像を検出すべき被写体像６０が得られると，サーチ・ウインドウ６１が規定される。サーチ・ウインドウ６１は，矩形の形状であり，その大きさは，オリジナル・テンプレート画像３１の大きさおよび高周波数テンプレート画像３５の大きさと同じである。
【００５４】
サーチ・ウインドウ６１内の画像とオリジナル部分テンプレート画像５１および高周波数部分テンプレート画像５２との式１を用いて正規化相互相関係数ｒが算出され，その係数値にもとづいてサーチ・ウインドウ６１内の画像が顔の画像かどうかが判定される。
【００５５】
ｒ＝｛＜Ｔ・Ｉ＞−＜Ｔ＞・＜Ｉ＞｝／｛σ（ｔ）・σ（Ｉ）｝・・・式１
ただし，Ｔはテンプレート画像，Ｉはサーチ・ウインドウ内の画像，＜＞は＜および＞で囲まれたものの平均，σは標準偏差を示す。
【００５６】
サーチ・ウインドウ６１は，被写体像６０内を水平方向および垂直方向に少しの距離ずつ移動させられ，移動後の位置において再び正規化相互相関係数が算出される。サーチ・ウインドウ６１の移動が繰り返され，その移動後の位置における正規化相互相関係数算出処理が行われる。得られた正規化相互相関係数にもとづいて，対象画像中における顔の画像部分が検出される。
【００５７】
図９は，顔画像の検出処理の全体の処理手順を示すフローチャートである。
【００５８】
上述のようにして被写体像が得られると，その被写体像がリサイズされ，複数駒の対象画像が生成される（ステップ７１）。生成された複数駒の対象画像から，さらに周波数成分の異なる複数駒の対象画像が生成される（ステップ７２）。この実施例においては，被写体像がリサイズされ，複数駒のオリジナル対象画像と，それらの複数駒のオリジナル対象画像の高周波数成分の画像を表す複数駒の高周波数対象画像とが生成されるものとする。もちろん，高周波数成分の画像ではなく，低周波数成分の画像等が生成されてもよい。
【００５９】
生成された対象画像について，顔画像のサーチ処理が行われる（ステップ７３）。このサーチ処理について詳しくは，後述する（図１０および図１１）。
【００６０】
生成されたすべてのサイズの対象画像についてのサーチ処理が終了するまで（ステップ７４でＮＯ），対象画像が変更されてサーチ処理が繰り返される（ステップ７５）。
【００６１】
生成されたすべてのサイズの対象画像についてのサーチ処理が終了すると（ステップ７４でＹＥＳ），サーチ処理において得られた最大相関値が所定のしきい値以上かどうかが確認される（ステップ７６）。最大相関値が所定のしきい値以上であれば（ステップ７６でＹＥＳ），その最大相関値を与えたときにサーチ・ウインドウ６１が位置していたエリア内に顔の画像があると決定される（ステップ７７）。また，最大相関値が所定のしきい値未満であると（ステップ７６でＮＯ），被写体像中には顔の画像が存在しないとされる。顔の画像がないことが，たとえば，被写体像を表す画像データ（ファイル）のヘッダに記憶される（ステップ７８）。
【００６２】
図１０および図１１は，サーチ処理（図９ステップ７３の処理）手順を示すフローチャートである。
【００６３】
複数駒の対象画像のうち最初の駒の対象画像のスタート・ポイント（左上隅）の位置に，サーチ・ウインドウ６１が移動させられる（ステップ８１）。そのスタート・ポイントの位置におけるサーチ・ウインドウ６１内の対象画像の明るさが第１のしきい値以上かどうかが確認される（ステップ８２）。テンプレート・マッチングの対象となるサーチ・ウインドウ６１内の対象画像の明るさに応じて，正規化相互相関係数の値が変化してしまうことが多い。このために，この実施例においては，サーチ・ウインドウ６１内の対象画像の明るさに応じて，得られた相互相関係数と比較されるしきい値の値が変えられる。
【００６４】
サーチ・ウインドウ６１内の対象画像の明るさがしきい値以上であれば（ステップ８２でＹＥＳ），次に述べる高輝度用の処理が行われる。
【００６５】
まず，高周波数部分テンプレート画像５２を用いて，サーチ・ウインドウ６１がスタート・ポイント位置にある場合における高周波数画像の正規化相互相関係数が算出される（ステップ８３）。算出された正規化相互相関係数は，高輝度高周波数画像用のしきい値ＴＨ１と比較される（ステップ８４）。
【００６６】
算出された正規化相互相関係数が高輝度高周波数画像用しきい値ＴＨ１未満であれば，サーチ・ウインドウ６１内の画像は高周波部分テンプレート画像５２とは類似しないと考えられる。このために，サーチ・ウインドウ６１内には，顔の画像は存在しないと判定される。サーチ・ウインドウ６１が移動させられて（ステップ９１でＮＯ，ステップ９２），再び相互相関係数の算出処理が行われる。
【００６７】
算出された正規化相互相関係数が高輝度高周波数画像用しきい値ＴＨ１以上であると（ステップ８４でＹＥＳ），オリジナル部分テンプレート画像５１を用いて，サーチ・ウインドウ６１がスタート・ポイント位置にある場合における高周波数対象画像の正規化相互相関係数が算出される（ステップ８５）。算出された正規化相互相関係数は，高輝度オリジナル画像用のしきい値ＴＨ２と比較される（ステップ８６）。
【００６８】
算出された正規化相互相関係数がオリジナル高周波数画像用しきい値ＴＨ２未満であれば，サーチ・ウインドウ６１内の画像はオリジナル部分テンプレート画像５１とは類似しないと考えられる。このために，サーチ・ウインドウ６１内には，顔の画像は存在しないと判定される。サーチ・ウインドウ６１が移動させられて（ステップ９１でＮＯ，ステップ９２），再び相互相関係数の算出処理が行われる。
【００６９】
算出された正規化相互相関係数がオリジナル画像用しきい値ＴＨ２以上であると（ステップ８６でＹＥＳ），得られた相関係数（高周波数画像の正規化相互相関係数およびオリジナル画像の正規化相互相関係数のうち大きい方の係数）が今まで得られた相関係数の最大値（最大相関係数）よりも大きいかどうかが確認される（ステップ８７）。
【００７０】
大きければ，その最大相関係数についてのエラー回避処理が行われる（ステップ８８）。このエラー回避処理について詳しくは，後述する。エラー回避処理において，最大相関係数を与えるエリアがエラー・エリアではないと判定されると（ステップ８９でＮＯ），最大相関係数が更新される（ステップ９０）。サーチ・ウインドウ６１がサーチ・エンド・ポイントに到達していなければ（ステップ９１でＮＯ），サーチ・ウインドウ６１が移動させられ（ステップ９２），再び正規化相互相関係数算出処理が行われる。
【００７１】
図１０に戻って，サーチ・ウインドウ６１内の対象画像の明るさが所定のしきい値以上でなければ（ステップ８２でＮＯ），高周波数部分テンプレート画像５２と高周波数対象画像の正規化相互相関係数が算出される（ステップ１０１）。算出された正規化相互相関係数と低輝度高周波数画像用しきい値ＴＬ１とが比較される（ステップ１０２）。
【００７２】
低輝度高周波数画像用しきい値ＴＬ１の値は，高輝度高周波数画像用しきい値ＴＨ１よりも小さい。これは，上述したように，サーチ・ウインドウ６１内の対象画像の明るさが比較的暗いときには，正規化相互相関係数の値は小さくなることが多いため，サーチ・ウインドウ６１内の対象画像の明るさに応じてしきい値を変えるものである。サーチ・ウインドウ６１内の対象画像の明るさに応じて，しきい値を変えているので，比較的正確に顔の画像を検出できる。
【００７３】
算出された正規化相互相関係数が低輝度高周波数画像用しきい値ＴＬ１未満であると（ステップ１０２でＮＯ），サーチ・ウインドウ６１内の対象画像には顔の画像が存在しないと判断される。サーチ・ウインドウ６１が移動させられ（ステップ９１，９２），再び正規化相互相関係数の算出処理，正規化相互相関係数としきい値との比較処理などが繰り返される。
【００７４】
算出された正規化相互相関係数が低輝度高周波数画像用しきい値ＴＬ１以上であると（ステップ１０２でＹＥＳ），つづいて，オリジナル部分テンプレート画像とオリジナル対象画像との正規化相互相関係数が算出される（ステップ１０３）。算出された正規化相互相関係数と低輝度高周波数画像用しきい値ＴＬ２とが比較される（ステップ１０４）。低輝度高周波数画像用しきい値ＴＬ２も，上述したように，顔画像の検出対象であるサーチ・ウインドウ６１内の画像の明るさを考慮して，高輝度オリジナル画像用しきい値ＴＨ２よりも小さいのはいうまでもない。
【００７５】
算出された正規化相互相関係数が低輝度高周波数画像用しきい値ＴＬ２未満であれば（ステップ１０４でＮＯ），高周波数画像を用いた正規化相互相関係数が低輝度高周波数画像用しきい値ＴＬ１以上と判定された場合であっても，より正確な顔の位置を検出するために，他の場所に顔の画像があると考えられる。このために，ステップ１０４以降の処理はスキップされる。
【００７６】
算出された正規化相互相関係数が低輝度高周波数画像用しきい値ＴＬ２以上であれば（ステップ１０４でＹＥＳ），サーチ・ウインドウ６１内の対象画像の明るさが明るい場合と同様に，得られた相互相関係数の値が，以前に得られた最大相互相関係数以上かどうかの判定処理（ステップ８７），エラー回避処理（ステップ８８）などが行われる。その後，サーチ・ウインドウ６１が移動させられ（ステップ９２），再び相互相関係数の算出処理，相互相関係数としきい値との比較処理などが繰り返される。
【００７７】
高周波数対象画像およびオリジナル対象画像のすべてのエリアについて，サーチ・ウインドウ６１がスキャニングされ，上述のようにして正規化相互相関係数算出処理，正規化相互相関係数としきい値との比較処理などが行われ，最大相互相関係数が得られる。最大相互相関係数が得られたときのサーチ・ウインドウ６１内の対象画像に顔の画像が含まれていると判断される。
【００７８】
図１２は，エラー回避処理（図１１ステップ８８の処理）手順を示すフローチャートである。
【００７９】
以前の最大相互相関係数を超える相互相関係数が得られると，その相互相関係数が得られたときのサーチ・ウインドウ６１の位置に対応する第１のエリア内の画像がテンプレート画像とされる（ステップ１１１）。つづいて，その第１のエリアの大きさと同じ大きさの第２のエリアであって，第１のエリア近傍の第２のエリア内の画像と，テンプレート画像とされた第１のエリア内の画像とのマッチングが行われ，相関係数が算出される（ステップ１１２）。
【００８０】
相互相関係数が大きいにも関わらず，その相互相関係数を与える第１のエリア内に顔の画像が含まれていない場合には，横方向に連続した画像が続くことが多いことから，第１のエリア内の画像とこの第１のエリアに隣接した第２のエリア内の画像との相互相関係数は大きくなる。これに対して，第１のエリア内に顔の画像が含まれている場合には，第１のエリア内の画像と第２のエリア内の画像との相互相関係数は小さくなる。このために，相互相関係数がしきい値以上であれば（ステップ１１３でＹＥＳ），部分テンプレート画像との相互相関係数が大きかった第１のエリア内には顔の画像は含まれていないと判断され，第１のエリアはエラー・エリアとされる（ステップ１１４）。相互相関係数がしきい値未満であれば（ステップ１１３でＮＯ），第１のエリア内には顔の画像が含まれていると判断され，エラー・エリアではないことが記憶される（ステップ１１５）。
【００８１】
図１３は，対象画像の一例である。
【００８２】
エリアＰ１内の画像１３１と部分テンプレート画像との正規化相互相関係数が大きかった場合には，エリアＰ１から横方向にΔＬだけずれたエリアＰ２（エリアＰ１とエリアＰ２とは一部が重なっていてもよい）内の画像１３２とエリアＰ１内の画像１３１との正規化相互相関係数が算出される。算出された正規化相互相関係数が大きいと，上述したようにエリアＰ１内には顔の画像が含まれていず，エリアＰ１はエラー・エリアとされる。図１３においては，エリアＰ１には顔の画像は含まれていないので，エリアＰ１内の画像１４１とエリアＰ２内の画像１４２との正規化相互相関係数は大きくなる。エリアＰ１は，エラー・エリアと判定される。
【００８３】
エリアＰ３内の画像１４１と部分テンプレート画像との正規化相互相関係数が大きかった場合には，エリアＰ３から横方向にΔＬだけずれたエリアＰ４内の画像１４２とエリアＰ３内の画像１４１との正規化相互相関係数が算出される。算出された正規化相互相関係数が小さければ，上述したようにエリアＰ３内には顔の画像が含まれていおり，エリアＰ３はエラー・エリアではないとされる。図１３においては，エリアＰ３に顔の画像が含まれているので，エリアＰ３内の画像１４１とエリアＰ４内の画像１４２との正規化相互相関係数は小さくなる。エリアＰ３は，エラー・エリアではないと判定される。
【００８４】
上述の実施例においては，矩形のテンプレート画像とマスク画像とを用いて部分テンプレート画像を生成し，部分テンプレート画像を用いて正規化相互相関係数の算出処理を行っているが，部分テンプレート画像を用いて正規化相互相関係数の算出処理を行うようにしてもよい。
【００８５】
また，上述の実施例においては，オリジナル画像（テンプレート画像，マスク画像，部分テンプレート画像）と高周波数画像（テンプレート画像，マスク画像，部分テンプレート画像）とを用いて正規化相互相関係数の算出処理を行っているが，さらに周波数成分の異なる画像（低周波数画像）を生成し，生成された低周波数画像を用いて正規化相互相関係数算出処理等を行うようにしてもよい。
【００８６】
上述の実施例においては，顔画像検出をディジタル・スチル・カメラに適用した例について説明したが，顔画像検出はディジタル・スチル・カメラに限らず，その他の装置にも適用できるのはいうまでもない。また，被写体像の中から顔の画像部分を検出し，その顔の画像部分が適正な明るさとなるように露光制御されているが，顔の画像部分が合焦するように焦点制御を行うなど，その他の利用も可能である。
【図面の簡単な説明】
【図１】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図２】オリジナル・テンプレート画像の一例である。
【図３】高周波数テンプレート画像の一例である。
【図４】オリジナル・マスク画像の一例である。
【図５】高周波数マスク画像の一例である。
【図６】オリジナル部分テンプレート画像の一例である。
【図７】高周波数部分テンプレート画像の一例である。
【図８】対象画像においてサーチ・ウインドウがスキャニングされる様子を示している。
【図９】顔画像検出処理手順を示すフローチャートである。
【図１０】サーチ処理手順の一部を示すフローチャートである。
【図１１】サーチ処理手順の一部を示すフローチャートである。
【図１２】エラー回避処理手順を示すフローチャートである。
【図１３】対象画像の一例を示している。
【符号の説明】
１４  顔検出処理回路
２０  制御回路
２１  ＣＰＵ
２２  ＲＯＭ
３１  オリジナル・テンプレート画像
３５  高周波数テンプレート画像
４１  オリジナル用マスク画像
４５  高周波数用マスク画像
５１  オリジナル部分テンプレート画像
５２  高周波数部分テンプレート画像
６１  サーチ・ウインドウ
【図１】
2005004287.tif 000003
【図２】
2005004287.tif 000004
【図３】
2005004287.tif 000005
【図４】
2005004287.tif 000006
【図５】
2005004287.tif 000007
【図６】
2005004287.tif 000008
【図７】
2005004287.tif 000009
【図８】
2005004287.tif 000010
【図９】
2005004287.tif 000011
【図１０】
2005004287.tif 000012
【図１１】
2005004287.tif 000013
【図１２】
2005004287.tif 000014
【図１３】
2005004287.tif 000015