(57)【要約】【課題】顔画像位置の検出時間及び顔画像位置検出に要する電力消費を増大させることなく、顔画像位置を精度良く検出することができる顔画像検出装置を提供する。【解決手段】入力画像データを用いて顔画像の位置を検出する顔画像検出装置であって、前記入力画像データを縮小して、３６０×ｉ／ｎ（ｎは２以上の整数：ｉ＝０〜ｎ−１）度回転させた３６０／ｎ度おきのｎ枚の縮小回転画像データを作成する縮小回転画像データ作成部１０４と、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出部１０６とを備える。【選択図】図１
2008287704.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを用いて顔画像の位置を検出する顔画像検出装置であって、
前記入力画像データを縮小して、３６０×ｉ／ｎ（ｎは２以上の整数：ｉ＝０〜ｎ−１）度回転させた３６０／ｎ度おきのｎ枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、
前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段と
を備えることを特徴とする顔画像検出装置。
【請求項２】
さらに、
前記ｎ枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、
前記顔検出手段で検出された前記顔画像の位置と、前記入力画像データと前記縮小回転画像データとの位置に関する対応関係とから、前記入力画像データにおける顔画像の位置を判定する顔画像位置判定手段とを備える
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項３】
前記顔検出手段は、少なくとも３６０／ｎ度の範囲内の傾きの顔画像の位置を検出することができる手法を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項４】
さらに、
前記ｎ枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、
前記縮小回転画像データ特定手段で特定された前記縮小回転画像データの前記入力画像データに対する回転角度θに基づいて、３６０／ｎ度おきのｎ個の角度設定値の中から、（−θ）の傾きを有する顔画像の位置検出に用いられる１つの角度設定値を選択する角度設定値選択手段とを備え、
前記顔検出手段は、さらに、前記角度設定値選択手段で選択された前記１つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項５】
前記角度設定値選択手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、複数の縮小回転画像データそれぞれの前記入力画像データに対する複数の回転角度θに基づいて、３６０／ｎ度おきのｎ個の角度設定値の中から、（−θ）の傾きを有する顔画像の位置検出に用いられる複数の角度設定値を選択し、
前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記角度設定値選択手段で選択された前記複数の角度設定値の中から１つの角度設定値を順番に取り出し、取り出された前記１つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項４に記載の顔画像検出装置。
【請求項６】
前記顔検出手段は、前記縮小回転画像データ特定手段で前記縮小回転画像データが特定されない場合には、再度、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項４に記載の顔画像検出装置。
【請求項７】
前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた１つの角度設定値を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出し、
前記顔画像検出装置は、さらに、前記ｎ枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段を備え、
前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記予め定められた１つの角度設定値を用いて、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項８】
前記顔検出手段は、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを拡大し、前記予め定められた１つの角度設定値を用いて、拡大された前記複数の前記縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項７に記載の顔画像検出装置。
【請求項９】
前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた１つの角度設定値を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項１０】
前記縮小回転画像データ作成手段は、さらに、前記ｎ枚の縮小回転画像データを含む１枚の顔検出用画像を作成し、
前記顔検出手段は、前記１枚の顔検出用画像を対象として顔画像の位置を検出する
ことを特徴とする請求項１に記載の顔画像検出装置。
【請求項１１】
被写体を撮影する撮影装置であって、
被写体を撮影して画像データを出力する撮影手段と、
前記撮影手段で撮影された入力画像データを縮小して、３６０×ｉ／ｎ（ｎは２以上の整数：ｉ＝０〜ｎ−１）度回転させた３６０／ｎ度おきのｎ枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、
前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段と
を備えることを特徴とする撮影装置。
【請求項１２】
入力画像データを用いて顔画像の位置を検出する顔画像検出方法であって、
前記入力画像データを縮小して、３６０×ｉ／ｎ（ｎは２以上の整数：ｉ＝０〜ｎ−１）度回転させた３６０／ｎ度おきのｎ枚の縮小回転画像データを作成する縮小回転画像データ作成ステップと、
前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出ステップと
を含むことを特徴とする顔画像検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ディジタルカメラで人物画像を撮影する時に使用する顔検出機能の速度と精度とを向上させるための技術に関し、特に、ディジタルカメラ及びパーソナルコンピュータなどの画像記録装置に備えられる顔画像検出装置に関する。
【背景技術】
【０００２】
人の顔の位置検出技術は、監視システムはもとより民生ディジタルスチルカメラなどで用いられてきている。ディジタルカメラの高速化と高画質化の技術向上と普及とは目覚ましいものがある。例えば、ディジタルカメラにおける人物（特に、顔）へのオートフォーカス機能、自動露光補正機能、及び顔認識による個人認証などでも、ディジタルスチルカメラの性能の向上とともに、顔位置検出技術が実用展開されてきている。この他、ディジタルビデオにおける画像検索、インデクシング及び画像アルバム整理などにおいて、動画又は静止画から人物を抽出するための技術としても、顔位置検出技術は有用で、その応用展開は幅広い。
【０００３】
顔の向きに拘わらず位置検出精度を向上できる顔位置検出技術として、特許文献１のような従来技術がある。特許文献１では、一つの顔を位置検出する際に正面向きの顔画像に関するパラメータを使用せず、正面顔画像を左半分と右半分とに分け、左右それぞれの顔画像に関する二組のパラメータを使用して、顔画像の位置を検出する。これにより、正面以外の横向きの顔であっても位置検出率が向上する。
【特許文献１】特開２００６−７２７７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、上述のように二組のパラメータを使用して顔画像の位置を検出しているため、１枚の入力画像から顔画像の位置を検出するためには、パラメータの組毎に、パラメータの組と入力画像との参照比較処理を実行する必要がある。つまり、２回の参照比較処理を実行する必要がある。このため、それに伴う顔画像位置の検出時間、顔画像位置検出に要する電力消費の増大などの課題がある。
【０００５】
また、特許文献１では、人が左右を向いた場合には精度良く顔画像の位置を検出することはできるが、ディジタルカメラの光軸を中心軸として顔画像が回転する場合には、精度良く顔画像の位置を検出することができないという課題もある。
【０００６】
本発明は、上述の課題を解決するためになされたものであり、顔画像位置の検出時間及び顔画像位置検出に要する電力消費を増大させることなく、顔画像の位置を精度良く検出することができる顔画像検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る顔画像検出装置は、入力画像データを用いて顔画像の位置を検出する顔画像検出装置であって、前記入力画像データを縮小して、３６０×ｉ／ｎ（ｎは２以上の整数：ｉ＝０〜ｎ−１）度回転させた３６０／ｎ度おきのｎ枚の縮小回転画像データを作成する縮小回転画像データ作成手段と、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出する顔検出手段とを備えることを特徴とする。
【０００８】
この構成によると、入力画像データを縮小させ、かつ複数の角度に回転させた複数の縮小回転画像データから顔画像の位置が検出される。このため、精度良く顔画像の位置を検出することができる。また、縮小回転画像データは、入力画像データを縮小させたものである。このため、高速に顔画像の位置を検出することができ、消費電力を削減することができる。
【０００９】
好ましくは、前記顔検出手段は、少なくとも３６０／ｎ度の範囲内の傾きの顔画像の位置を検出することができる手法を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。
【００１０】
顔検出手段は、３６０／ｎ度の範囲内の傾きの顔画像の位置を検出することができるため、ｎ枚の縮小回転画像データから顔画像の位置を検出することにより、３６０度の傾きに対しても顔画像の位置を検出することができる。
【００１１】
さらに好ましくは、上述の顔画像検出装置は、さらに、前記ｎ枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段と、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データの前記入力画像データに対する回転角度θに基づいて、３６０／ｎ度おきのｎ個の角度設定値の中から、（−θ）の傾きを有する顔画像の位置検出に用いられる１つの角度設定値を選択する角度設定値選択手段とを備え、前記顔検出手段は、さらに、前記角度設定値選択手段で選択された前記１つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出することを特徴とする。
【００１２】
ｎ個の角度設定値のいずれかを用いて入力画像データに対する顔画像位置検出処理を行っているので、精度の高い顔画像位置検出を実現することができる。例えば、画像に占める顔の割合が小さい場合には、複数の縮小回転画像データより顔画像の大まかな傾きを判定した後に、入力画像データから顔画像の位置検出を行うことができる。これにより、最適な角度設定値を用いて顔画像位置検出処理を行うことができ、精度良く顔画像の位置が検出される。
【００１３】
さらに好ましくは、前記角度設定値選択手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、複数の縮小回転画像データそれぞれの前記入力画像データに対する複数の回転角度θに基づいて、３６０／ｎ度おきのｎ個の角度設定値の中から、（−θ）の傾きを有する顔画像の位置検出に用いられる複数の角度設定値を選択し、前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記角度設定値選択手段で選択された前記複数の角度設定値の中から１つの角度設定値を順番に取り出し、取り出された前記１つの角度設定値を用いて、前記入力画像データを対象として顔画像の位置を検出することを特徴とする。
【００１４】
顔検出手段により顔画像の位置が検出できる許容角度と略同じ傾き角度を有する顔画像が存在する場合には、２つの縮小回転画像データが特定される場合があるが、そのような場合には、特定された２つの縮小回転画像データに対応する２つの角度設定値を交互に切り替えながら、１つの角度設定値に基づいて顔画像の位置検出を行うことができる。これにより、精度良く顔画像の位置を検出することができる。
【００１５】
さらに好ましくは、前記顔検出手段は、前記縮小回転画像データ特定手段で前記縮小回転画像データが特定されない場合には、再度、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。
【００１６】
特定される縮小回転画像データが無くなった場合には、顔画像の傾きが変化したか、入力画像データ内に顔画像が存在しないかのどちらかと判断して、再度、ｎ枚の縮小回転画像データを対象として顔画像の位置検出が行われる。これにより、例えば、動画撮影時や、静止画撮影時であっても被写体が動いたり撮影者が手元を動かしたりすることにより顔画像の位置及び傾きが変化する場合であっても、顔画像の変化に追随して、高速に精度良く顔画像の位置を検出することができる。
【００１７】
さらに好ましくは、前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた１つの角度設定値を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出し、前記顔画像検出装置は、さらに、前記ｎ枚の縮小回転画像データのうち、前記顔検出手段で顔画像の位置が検出された縮小回転画像データを特定する縮小回転画像データ特定手段を備え、前記顔検出手段は、さらに、前記縮小回転画像データ特定手段で特定された前記縮小回転画像データが複数の場合には、前記予め定められた１つの角度設定値を用いて、前記縮小回転画像データ特定手段で特定された複数の前記縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。
【００１８】
顔検出手段により顔画像の位置検出ができる許容角度と略同じ傾き角度を有する顔画像が存在する場合には、２つの縮小回転画像データが特定される場合があるが、そのような場合には、特定された２つの縮小回転画像データから顔画像の位置検出を行うことができる。
【００１９】
さらに好ましくは、前記顔検出手段は、所定の角度の傾きを有する顔画像の位置検出に用いられる予め定められた１つの角度設定値を用いて、前記ｎ枚の縮小回転画像データを対象として顔画像の位置を検出することを特徴とする。
【００２０】
１つの角度設定値を用いて顔画像の位置検出を行うため、高速に顔画像の位置を検出することができ、消費電力を削減することができる。
【００２１】
さらに好ましくは、前記縮小回転画像データ作成手段は、さらに、前記ｎ枚の縮小回転画像データを含む１枚の顔検出用画像を作成し、前記顔検出手段は、前記１枚の顔検出用画像を対象として顔画像の位置を検出することを特徴とする。
【００２２】
一括して複数の傾きの顔画像を含む１枚の顔検出用画像データに対して、顔画像位置検出処理を行うことができる。このため、高速に顔画像の位置を検出することができる。これに伴い、顔画像検出装置の消費電力を削減することができる。
【００２３】
なお、本発明は、このような特徴的な手段を備える顔画像検出装置として実現することができるだけでなく、顔画像検出装置に含まれる特徴的な手段をステップとする顔画像検出方法として実現したり、顔画像検出方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【００２４】
また、顔画像検出装置を搭載する撮影装置としても実現することができる。
【発明の効果】
【００２５】
本発明によれば、画像中の人物の顔に傾きがある場合の顔画像の位置検出においても、位置検出速度の向上、消費電力の軽減、さらには位置検出精度の向上を実現できる。例えば、赤ん坊が抱っこされた構図などでも高速で精度の高い、安定した顔画像位置検出が行える。また、人物や顔へのオートフォーカス機能や、自動露光補正機能を高精度に動作させることができるディジタルカメラを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の実施の形態に係る顔画像検出装置について、図面を参照しながら説明する。
【００２７】
図１は、本発明の実施の形態に係る顔画像検出装置の構成を示すブロック図である。
顔画像検出装置１００は、Ａ／Ｄ（Analog to Digital）変換器１０１と、顔画像検出部１１１と、ＣＰＵ（Central Processing Unit）１０２とを含む。
【００２８】
Ａ／Ｄ変換器１０１は、入力画像のアナログの画像データ信号をディジタルの画像データ信号に変換する処理部である。なお、Ａ／Ｄ変換器１０１の内部に設けられたＤＳＰ（Digital Signal Processor）が、ディジタルの画像データ信号を、規格信号であるＲＥＣ６０１の画像データ信号、ＲＥＣ６５６の画像データ信号、又は汎用入力フォーマットにあわせた画像データ信号に変換した後に出力してもよい。
【００２９】
顔画像検出部１１１は、Ａ／Ｄ変換器１０１より出力される画像データ信号（入力画像データ）から、入力画像データに含まれる顔画像の位置を検出する処理部であり、輝度信号抽出部１０３と、縮小回転画像データ作成部１０４と、メモリ１０５と、顔検出部１０６と、ＣＰＵインタフェース部１０７とを含む。
【００３０】
輝度信号抽出部１０３は、入力画像データから輝度信号を抽出し、輝度信号データを作成する処理部である。
【００３１】
縮小回転画像データ作成部１０４は、輝度信号抽出部１０３で抽出された輝度信号データに対し、フィルタ処理と縮小リサイズ処理とを行いながら、顔画像位置検出で用いる規定サイズのデータ（以下、「顔検出用画像データ」という。）をメモリ１０５に書き込む処理部である。
【００３２】
メモリ１０５は、輝度信号抽出部１０３で抽出された入力画像データの輝度信号データと、縮小回転画像データ作成部１０４で作成された顔検出用画像データとを格納するための記憶装置である。
【００３３】
顔検出部１０６は、メモリ１０５に格納された輝度信号データ又は顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する処理部である。顔検出部１０６には、左右に傾きのない状態での顔画像位置等の検出に最適な４種類の顔検出用パラメータが記憶されており、そのうちの１種類の顔検出用パラメータに基づいて、顔画像位置等の検出が行われる。顔検出部１０６の処理は、公知の技術を用いることができ、本願の主眼ではないため、その詳細な説明については、ここでは繰り返さない。なお、顔検出用パラメータとは、一般的な顔画像における輝度の分布を数値化したパラメータのことである。顔検出部１０６に記憶されている４種類の顔検出用パラメータとは、顔画像の傾きを示す角度設定値が０度、９０度、１８０度及び２７０度としたときの顔検出用パラメータを示す。例えば、角度設定値が９０度の顔検出用パラメータは、９０度傾いている顔画像の位置を検出するのに最適な顔検出用パラメータのことである。
【００３４】
ＣＰＵインタフェース部１０７は、ＣＰＵ１０２からの命令を受けて、輝度信号抽出部１０３、縮小回転画像データ作成部１０４及び顔検出部１０６のシステム動作を制御する処理部である。
【００３５】
ＣＰＵ１０２は、ＣＰＵインタフェース部１０７を介して、顔画像検出部１１１のシステム動作を制御する処理部であり、機能的に（ＣＰＵ１０２上で制御プログラムを実行することにより実現される処理部として）縮小回転画像データ特定部１０８と、角度設定値選択部１０９と、顔画像位置判定部１１０とを含む。
【００３６】
縮小回転画像データ特定部１０８は、縮小回転画像データ作成部１０４でリサイズされたデータのうち、顔検出部１０６において顔画像の位置が検出されたデータを特定する処理部である。
【００３７】
角度設定値選択部１０９は、顔検出部１０６での顔画像位置検出に用いられる角度設定値を含む顔検出用パラメータを設定する処理部である。
【００３８】
顔画像位置判定部１１０は、顔検出部１０６で検出された顔画像の位置と、縮小回転画像データ特定部１０８で特定されたデータと入力画像データとの位置に関する対応関係とから、入力画像データにおける顔画像の位置を判定する。
【００３９】
次に、顔画像検出装置１００の動作について説明する。
輝度信号抽出部１０３は、入力画像データが得られる毎に、入力画像データから、顔画像位置検出に使用する輝度信号を抽出し、輝度信号データを作成する。
【００４０】
図２は、顔画像検出装置１００の、ＣＰＵ１０２、縮小回転画像データ作成部１０４、メモリ１０５、顔検出部１０６及びＣＰＵインタフェース部１０７の動作を示すフローチャートである。
【００４１】
なお、以降の説明で、Ｓ４〜Ｓ９の処理、Ｓ１０〜Ｓ１６の処理、Ｓ１０とＳ１８〜Ｓ２２の処理がそれぞれ１フレーム期間（例えば、１／３０秒）内で行われる。
【００４２】
輝度信号抽出部１０３から出力される輝度信号は、任意のサイズの入力画像データの輝度信号データである。このため、縮小回転画像データ作成部１０４は、輝度信号データを顔検出部１０６で規定する任意のサイズに変換するために、フィルタ処理と縮小リサイズ処理を行った輝度データ（顔検出用画像データ）を作成し、メモリ１０５に顔検出用画像データを規定サイズで書き込む（Ｓ４）。
【００４３】
顔検出部１０６は、メモリ１０５に格納された顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する（Ｓ６）。
【００４４】
ここで、顔検出部１０６には、左右に傾きのない状態での顔画像位置検出に最適な１種類の顔検出用パラメータが設定されており、この顔検出用パラメータを用いた顔画像位置検出処理では左右それぞれ４５度まで傾いた顔画像の位置を検出可能（以下、「傾き許容角度が４５度である」と記す）であるものとする。この場合、Ｓ４の処理において、縮小回転画像データ作成部１０４は、入力画像データの輝度信号データ（以下、「オリジナル画像データ」という。）を、顔検出用画像データの規定サイズの１／ｎ（ｎ＝４）以下に縮小し、縮小画像データを作成する。また、縮小回転画像データ作成部１０４は、縮小画像データを、３６０／ｎ（ｎ＝４）、すなわち９０度ずつ回転させることにより得られる４枚の縮小回転画像データを貼り合わせた１枚の顔検出用画像データを生成する。このために、縮小回転画像データ作成部１０４は、縮小画像データを９０度ずつ回転させながら顔検出用画像データの規定サイズアドレス内で４つの縮小回転画像データのマッピングを行い、４枚の縮小回転画像データをメモリ１０５へ高速書き込みする。メモリ１０５に書き込まれるデータ量は、顔検出用画像データの規定サイズ１枚分である。このため、４枚の縮小回転画像データを書き込む場合もオリジナル画像データをそのまま書き込む場合と同じデータ量となり、電力増加は軽微である。
【００４５】
図３は、オリジナル画像データの一例を示す図である。オリジナル画像データ２０１は、被写体として赤ん坊を撮像した画像データであり、被写体の顔の傾き角度は６０度であり、顔検出部１０６における顔画像位置検出処理の傾き許容角度を超えているものとする。
【００４６】
図４は、顔検出用画像データの一例を示す図である。顔検出用画像データ２０２の規定サイズは、オリジナル画像データ２０１の画像サイズと同じであるものとする。顔検出用画像データ２０２には、規定サイズに収まるように、４枚の縮小回転画像データ２０３〜２０６が張り合わされた画像データである。縮小回転画像データ２０３は、オリジナル画像データ２０１に対して０度回転している。縮小回転画像データ２０４はオリジナル画像データ２０１に対して１８０度回転している。縮小回転画像データ２０５はオリジナル画像データ２０１に対して時計回りに２７０度回転している。縮小回転画像データ２０６はオリジナル画像データ２０１に対して時計回りに９０度回転している。
【００４７】
Ｓ６の処理において、顔検出部１０６は、メモリ１０５から４種類の画像を貼り合わせた規定サイズに収まった１枚の顔検出用画像データ２０２を読み出し、顔画像位置検出処理を実行する。この処理により、４種類の画像情報に対する顔画像位置検出処理を一括して行うことができる。オリジナル画像データ２０１のように顔の左右の傾きが４５度を超える顔画像位置検出が不可能な画像についても、９０度ずつ回転した４種類の縮小画像に対して顔画像位置検出処理が実行される。このため、顔の左右の傾きが±４５度以内の縮小回転画像データ２０５において、顔画像２０５ａの位置、大きさ及び傾きが検出される。
【００４８】
次に、縮小回転画像データ特定部１０８は、４種類の縮小回転画像データのうち、顔検出部１０６で顔画像位置が検出された縮小回転画像データを特定する（Ｓ８）。例えば、図４に示した顔検出用画像データ２０２では、縮小回転画像データ２０５が、顔画像位置が検出された縮小回転画像データとして特定される。４種類の縮小回転画像データの配置は、予め定められているため、オリジナル画像データ上での検出された顔画像の位置より縮小回転画像データが特定される。
【００４９】
顔画像位置判定部１１０は、特定された縮小回転画像データにおける顔画像の位置から、オリジナル画像データ上での顔画像の位置、大きさ及び傾きを検出する（Ｓ９）。縮小回転画像データとオリジナル画像データとの画像データの対応関係は、縮小回転画像データ作成部１０４での縮小回転画像データのメモリ書き込み時に分かっている。また、縮小率も予め分かっている。このため、これらの情報より、オリジナル画像データ上での顔画像の位置及び大きさは算出することができる。また、縮小回転画像データ作成時の回転角度も分かっているため、縮小回転画像データにおける顔画像の傾きから、オリジナル画像データ上での顔画像の傾きも算出することができる。
【００５０】
顔画像位置が検出された縮小回転画像データが１つの場合には（Ｓ１０でＹＥＳ）、角度設定値選択部１０９は、縮小回転画像データ特定部１０８で特定された縮小回転画像データより、顔検出部１０６での顔画像位置検出処理に用いられる角度設定値を特定することにより、その角度設定値を含む顔検出用パラメータを特定する（Ｓ１２）。
【００５１】
４種類の縮小回転画像のいずれか一つで顔画像位置が検出されたとき、メモリ１０５への書き込み制御にてメモリ１０５内にマッピングした各々の縮小回転画像の回転角度の情報から、人物の傾き構図を判定することができる。図３及び図４に示した例では、オリジナル画像データ２０１を反時計回りに９０度回転した縮小回転画像データ２０５において顔画像２０５ａの位置が検出されるため、オリジナル画像データ２０１における被写体の顔画像２０１ａはフレーム内で時計回りにおよそ９０度回転していると判断できる。よって、角度設定値選択部１０９は、角度設定値を９０度と特定し、当該角度設定値を顔検出部１０６に出力する。これにより、顔検出部１０６で次に顔画像位置検出に用いられる角度設定値を含む顔検出用パラメータが特定される。
【００５２】
顔検出部１０６は、その角度設定値を含む顔検出用パラメータを用いて、メモリ１０５に格納されたオリジナル画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する（Ｓ１４）。上述の例では、角度設定値が９０度と特定されている。このため、顔検出部１０６は、角度設定値９０度を含む顔検出用パラメータを用いて、図３に示したオリジナル画像データ２０１にアクセスして、顔画像２０１ａの位置、大きさ及び傾きを検出する。なお、メモリ１０５に格納されているオリジナル画像データは順次更新される。このため、顔検出部１０６は、最新のオリジナル画像データから顔画像位置の検出を行う。
【００５３】
顔検出部１０６は、顔画像位置が検出される間は、オリジナル画像データ２０１から顔画像の位置を検出する（Ｓ１６でＮＯ、Ｓ１４）。
【００５４】
顔画像位置が検出されなくなった場合には（Ｓ１６でＹＥＳ）、Ｓ４以降の処理が繰り返し実行される。
【００５５】
Ｓ１０の処理で複数の縮小回転画像データから顔画像位置が検出された場合には（Ｓ１０でＮＯ）、縮小回転画像データ作成部１０４は、縮小回転画像データ特定部１０８が特定した複数の縮小回転画像データのみが顔検出用画像データの規定サイズに収まるように、輝度信号抽出部１０３より出力される輝度信号データにフィルタ処理と縮小リサイズ処理を施し、顔検出用画像データを作成する。縮小回転画像データ作成部１０４は、作成した顔検出用画像データをメモリ１０５に書き込む（Ｓ１８）。例えば、図４に示す顔検出用画像データ２０２のうち、縮小回転画像データ２０３及び２０５から顔画像の位置が検出されたものとすると、縮小回転画像データ作成部１０４は、図５に示すような、顔検出用画像データの規定サイズ内に２種類の縮小回転画像データ２１３及び２１５をマッピングした顔検出用画像データ２１１を作成する。
【００５６】
顔検出部１０６は、Ｓ１８の処理でメモリ１０５に格納された顔検出用画像データにアクセスして、顔画像の位置、大きさ及び傾きを検出する（Ｓ２０）。
【００５７】
顔画像位置判定部１１０は、特定された縮小回転画像データにおける顔画像の位置から、オリジナル画像データ上での顔画像の位置、大きさ及び傾きを検出する（Ｓ２１）。例えば、顔検出用画像データ２１１の縮小回転画像データ２１５より顔画像２０５ａの位置が検出され、顔２１５ａの傾きが時計回りに３３０度（反時計回りに３０度）と求められたものとする。このとき、顔２１５ａが含まれる縮小回転画像データ２１５はオリジナル画像データ２０１に対して時計回りに２７０度回転している。このため、オリジナル画像データ２０１における顔画像２０１ａの傾きは、時計回りに６０（＝３３０−２７０）度と算出される。
【００５８】
顔検出部１０６は、顔画像の位置が検出される間は、顔検出用画像データから顔画像の位置を検出する（Ｓ２２でＮＯ、Ｓ１８、Ｓ２０）。
【００５９】
顔画像の位置が検出されなくなった場合には（Ｓ２２でＹＥＳ）、Ｓ４以降の処理が繰り返し実行される。
【００６０】
以上説明したように、本実施の形態によると、顔の傾き許容角度以上の傾きを持つ顔画像についても、複数種の顔検出用パラメータを用いずに、１種類の顔検出用パラメータを用いて高速に位置検出することができる。つまり、顔検出用画像データ内で顔画像位置の検出を行った後、顔検出用パラメータを１つに限定した上で顔画像の位置を検出していることより、顔画像位置の検出速度を向上させることができる。このため、顔画像検出装置１００の消費電力量を軽減することができる。
【００６１】
また、９０度おきの４種類の顔検出用パラメータのいずれかを用いてオリジナル画像データデータに対する顔画像位置検出処理を行っているので、精度の高い顔画像位置検出を実現することができる。例えば、オリジナル画像データに占める顔画像の割合が小さい場合には、縮小回転画像データを貼り合わせた顔検出用画像データより顔画像の大まかな傾きを判定した後に、顔検出用画像データではなくオリジナル画像データから顔画像の位置を検出することができる。これにより、精度良く顔画像の位置が検出される。
【００６２】
また、顔検出用パラメータを１種類に限定した顔画像位置の検出処理中において、検出される顔画像位置の個数が０個となった場合には、顔画像の傾きが変化したか、入力画像データ内に顔画像が存在しないかのどちらかと判断して、顔検出用画像データの作成処理以降の処理が再度繰り返される。これにより、例えば、動画撮影時や、静止画撮影時であっても被写体が動いたり撮影者が手元を動かしたりすることにより顔画像の位置及び傾きが変化する場合であっても、顔画像の変化に追随して、高速に精度良く顔画像の位置を検出することができる。
【００６３】
また、顔検出用画像データは、顔画像の位置検出で用いる規定サイズのデータである。このため、メモリ１０５へのデータ書き込み及び顔検出部１０６の動作を高速に行なうことができる。これにより、顔画像検出装置１００の消費電力量を軽減することができる。
【００６４】
また、顔検出部１０６における傾き許容角度と略同じ傾き角度を有する顔画像が存在する場合には、２つの縮小回転画像データから顔画像位置が検出される場合があるが、そのような場合であっても、精度良く顔画像の位置及び傾きを検出することができる。
【００６５】
以上、本発明の実施の形態に係る顔画像検出装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【００６６】
例えば、図２に示した顔画像検出装置１００の動作において、複数の縮小回転画像データから顔画像位置が検出された場合には、顔検出用画像データから顔画像位置の検出を行っていたが、オリジナル画像データから顔画像位置の検出を行うようにしてもよい。この場合には、角度設定値選択部１０９が、複数の縮小回転画像データに対応する複数の角度設定値を特定することにより、それらの角度設定値を含む複数種の顔検出用パラメータを特定する。顔検出部１０６は、特定された複数種の顔検出用パラメータの中から１種類の顔検出用パラメータを順番に取り出し、取り出された１種類の顔検出用パラメータを用いて、オリジナル画像データを対象として顔画像の位置を検出する。これにより、精度良く顔画像の位置を検出することができる。
【００６７】
また、上述の実施の形態では、傾き許容角度が４５度であるため、輝度信号データを縮小した画像データを９０（＝４５×２）度ずつ回転させながら４回のメモリ書き込み動作により顔検出用画像データを作成していた。しかし、傾き許容角度が４５度以外であっても本発明を適用することができるのは言うまでもない。例えば、傾き許容角度が９０度の場合には、輝度信号データを縮小した画像データを１８０（＝９０×２）度ずつ回転させながら、２回のメモリ書き込み動作により顔検出用画像データを作成するようにしてもよい。図６は、図３に示したオリジナル画像データ２０１を縮小した画像データを１８０度ずつ回転させながら、２回のメモリ書き込み動作により作成した顔検出用画像データ２０７の一例を示す図である。顔検出部１０６は、この顔検出用画像データ２０７を対象として顔画像位置の検出を行う。これにより、２つの縮小回転画像データのうちのいずれかから顔画像位置が検出される。
【００６８】
なお、本実施の形態に係る顔画像検出装置１００は、一般的なディジタルスチルカメラやディジタルムービーカメラなどのディジタルカメラに搭載することができる。
【００６９】
図７は、顔画像検出装置１００を搭載したディジタルスチルカメラの外観の一例を示す図である。図８は、顔画像検出装置１００を搭載したディジタルスチルカメラの構成の一例を示す図である。ディジタルスチルカメラ３００は、レンズ３０１と、イメージセンサ３０２と、ＣＤＳ／ＡＧＣ回路３０３と、Ａ／Ｄ変換器１０１と、顔画像検出装置１００と、表示装置３０４と、記録媒体３０５と、タイミングジェネレータ３０６とを含む。
【００７０】
レンズ３０１で集められた光は、イメージセンサ３０２により画素信号に変換される。ＣＤＳ／ＡＧＣ回路３０３は、イメージセンサ３０２より出力される画素信号に対して相関二重サンプリングを施すとともに、自動ゲイン調整処理を行い、画像データ信号を出力する。タイミングジェネレータ３０６は、イメージセンサ３０２に対して、所定時間間隔で駆動パルスを発生させる。表示装置３０４は、オリジナル画像データ及びオリジナル画像データ上で検出された顔画像の位置を表示する表示装置であり、例えば、ＬＣＤ（Liquid Crystal Display）などである。記録媒体は、オリジナル画像データを記録する記録装置である。
【００７１】
このような顔画像検出装置１００をディジタルカメラに搭載することにより、ユーザは、精度の高い安定した顔画像位置検出機能を利用した人物撮影をすることができる。
【００７２】
また、本発明の技術を用いることにより、顔画像のみならず、顔に含まれる目の位置及び視線等を精度良く検出したりすることができる。
【００７３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００７４】
本発明に係る顔画像検出装置によると、１回の顔画像位置検出動作で、全ての傾きの顔画像の位置を検出することができる。したがって、例えば、赤ん坊が抱っこされた構図や寝顔の斜め構図での顔画像位置を高速に安定して検出ことができる。このため、本発明は、人物（顔）へのオートフォーカス機能や、自動露光補正機能を高速で高精度に動作させることができるディジタルカメラ等の撮像装置に適用することができる。
【図面の簡単な説明】
【００７５】
【図１】図１は、本発明の実施の形態に係る顔画像検出装置の構成を示すブロック図である。
【図２】図２は、顔画像検出装置の動作を示すフローチャートである。
【図３】図３は、オリジナル画像データの一例を示す図である。
【図４】図４は、顔検出用画像データの一例を示す図である。
【図５】図５は、顔検出用画像データの一例を示す図である。
【図６】図６は、顔検出用画像データの一例を示す図である。
【図７】図７は、顔画像検出装置を搭載したディジタルスチルカメラの外観の一例を示す図である。
【図８】図８は、顔画像検出装置を搭載したディジタルスチルカメラの構成の一例を示す図である。
【符号の説明】
【００７６】
１００  顔画像検出装置
１０１  Ａ／Ｄ変換器
１０２  ＣＰＵ
１０３  輝度信号抽出部
１０４  縮小回転画像データ作成部
１０５  メモリ
１０６  顔検出部
１０７  ＣＰＵインタフェース部
１０８  縮小回転画像データ特定部
１０９  角度設定値選択部
１１０  顔画像位置判定部
１１１  顔画像検出部
【図１】
2008287704.tif 000003
【図２】
2008287704.tif 000004
【図３】
2008287704.tif 000005
【図４】
2008287704.tif 000006
【図５】
2008287704.tif 000007
【図６】
2008287704.tif 000008
【図７】
2008287704.tif 000009
【図８】
2008287704.tif 000010