(57)【要約】【課題】画像から顔画像を検出する際に、用途に応じた最適な検出モードを選択可能にし、顔検出装置の使い勝手を向上させる。【解決手段】部分画像生成手段１１によりサブウィンドウＷが全体画像Ｐ上を複数画素間隔で走査し複数の部分画像ＰＰが生成される。生成された部分画像ＰＰの中から、正面顔検出手段３０および横顔検出手段２０において正面顔もしくは横顔である部分画像ＰＰが検出される。ここで、検出モード切替手段５０により検出率モード、誤検出率モード、計算速度モードのいずれかに切り替えられたとき、パラメータ変更手段６０が、横顔検出手段２０および正面顔検出手段３０の検出性能を決定する判定スコアしきい値Ｓｒｅｆを変更する。そして、横顔検出手段２０および正面顔検出手段３０において各検出モードにおける検出性能を重視した顔検出が行われる。【選択図】図１
2007094633.tif 000002
【特許請求の範囲】
【請求項１】
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された複数の前記部分画像から正面顔の該部分画像を検出する正面顔検出手段と、
前記複数の部分画像から横顔の該部分画像を検出する横顔検出手段と、
前記正面顔検出手段および前記横顔検出手段の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに前記横顔検出手段の検出モードを切り替える検出モード切替手段と、
該検出モード切替手段において切り替えられた前記各モードに応じて、前記横顔検出手段の検出性能を決定する横顔検出パラメータおよび前記正面顔検出手段の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段と
を有することを特徴とする顔検出装置。
【請求項２】
前記横顔検出手段が、前記部分画像が横顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う横顔判別器を有するものであり、
前記正面顔検出手段が、前記部分画像が正面顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う正面顔判別器を備えたものであり、
前記横顔検出パラメータおよび前記正面顔パラメータが、前記横顔判別器および前記正面顔判別器の前記各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、前記パラメータ変更手段が、該判別スコアしきい値を前記各検出モードに応じて変更するものであることを特徴とする請求項１記載の顔検出装置。
【請求項３】
前記横顔検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより前記複数の部分画像が横顔であるか否かを判別し、横顔である可能性のある前記部分画像を前記横顔判別器に出力する横顔候補判別器を有するものであり、
前記正面顔検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより前記複数の部分画像が横顔であるか否かを判別し、正面顔である可能性のある前記部分画像を前記正面顔判別器に出力する正面顔候補判別器を備えたものであり、
前記横顔検出パラメータおよび前記正面顔パラメータが、前記横顔候補判別器および前記正面顔候補判別器の前記各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、前記パラメータ変更手段が、該判別スコアしきい値を前記各検出モードに応じて変更するものであることを特徴とする請求項１または２記載の顔検出装置。
【請求項４】
前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器において横顔であると判別された前記部分画像についてさらに下流側の前記弱判別器による判別を行うものであることを特徴とする請求項２または３記載の対象判別装置。
【請求項５】
前記パラメータ変更手段が、
前記検出率モードに切り替えたとき前記横顔検出手段および前記正面顔検出手段の検出率が略同一になるように前記横顔検出パラメータを変更し、
前記誤検出率モードに切り替えたとき前記横顔検出手段と前記正面顔検出手段との誤検出率が略同一になるように前記横顔検出パラメータを変更し、
前記計算速度モードに切り替えたとき前記横顔検出手段と前記正面顔検出手段との計算速度が略同一になるように前記横顔検出パラメータを変更するものであることを特徴とする請求項１から４のいずれか１項記載の顔検出装置。
【請求項６】
コンピュータを、
全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、
該部分画像生成手段により生成された複数の前記部分画像から正面顔の該部分画像を検出する正面顔検出手段と、
前記複数の部分画像から横顔の該部分画像を検出する横顔検出手段と、
前記正面顔検出手段および前記横顔検出手段の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに前記横顔検出手段の検出モードを切り替える検出モード切替手段と、
該検出モード切替手段において切り替えられた前記各モードに応じて前記横顔検出手段の検出性能を決定する横顔検出パラメータおよび前記正面顔検出手段の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段として機能させるための顔検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば人物の顔が画像に含まれているか否かを判別する顔検出装置ならびにプログラムに関するものである。
【背景技術】
【０００２】
たとえば顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法であって、弱判別器における特徴量としてたとえば多重解像度平面のエッジ情報が用いられる。
【０００３】
特に、ブースティングによる顔検出処理の高速化を図るために、弱判別器はカスケード構造を有し弱判別器が顔もしくは非顔の判別を行ったときに、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている（たとえば特許文献１および非特許文献２、３参照）。上述した判別器に入力される画像には、顔が正面を向いた画像のみならず、顔の向きが回転している横顔が入力される。
【特許文献１】米国特許出願公開２００２／１０２０２４号明細書
【非特許文献２】Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）
【非特許文献３】Stan Z. Li, ZhenQiu Zhang, FloatBoost Learning and Statistical Face Detection, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 26, NO.9, SEPTEMBER 2004
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上述した判別器の評価要素として、検出率、誤検出率、計算速度の３つが挙げられる。判別器の検出性能を高めるためには、検出率を上げ誤検出率を低くし計算速度を速くすることが望まれる。ここで、「検出率」とは画像が顔であるもしくは非顔であることを正しく判断する正答率をいい、「誤検出率」とは非顔の画像を顔として検出する誤り率をいい、「計算速度」とは画像の入力から判別までの速さをいう。上記３つの評価要素はそれぞれ相関関係にあり、検出率を上げると誤検出率が高くなり計算速度も遅くなる。また、誤検出率を低くすると検出率が下がり計算速度も遅くなる。計算速度を速くすると検出率が下がり誤検出率が高くなる。
【０００５】
一方、顔検出処理は、たとえば肌色補正、赤目補正等の様々な用途のために行われるものであり、各用途によって求められる検出性能が異なる。よって汎用的な検出性能を有する顔検出装置では各用途に対応することができないという問題がある。
【０００６】
そこで、本発明は、用途に応じた最適な検出モードを選択可能にし、使い勝手の良い顔検出装置ならびにプログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本発明の顔検出装置は、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像から正面顔の部分画像を検出する正面顔検出手段と、複数の部分画像から横顔の部分画像を検出する横顔検出手段と、正面顔検出手段および横顔検出手段の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに横顔検出手段の検出モードを切り替える検出モード切替手段と、検出モード切替手段において切り替えられた各モードに応じて横顔検出手段の検出性能を決定する横顔検出パラメータおよび正面顔検出手段の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段とを有することを特徴とするものである。
【０００８】
本発明の顔検出プログラムは、コンピュータを、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像から正面顔の部分画像を検出する正面顔検出手段と、複数の部分画像から横顔の部分画像を検出する横顔検出手段と、正面顔検出手段および横顔検出手段の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに横顔検出手段の検出モードを切り替える検出モード切替手段と、検出モード切替手段において切り替えられた各モードに応じて横顔検出手段の検出性能を決定する横顔検出パラメータおよび正面顔検出手段の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段として機能させることを特徴とするものである。
【０００９】
ここで、「検出率」とは部分画像が顔であると正しく判断する正答率をいい、「誤検出率」とは非顔の部分画像を顔として検出する誤り率をいい、「計算速度」とは部分画像の入力から検出までの速さをいう。
【００１０】
なお、横顔検出手段は、部分画像が横顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う横顔判別器を有するものであってもよい。同様に、正面顔検出手段は、部分画像が正面顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う正面顔判別器を備えたものであってもよい。このとき、横顔検出パラメータおよび正面顔パラメータは、横顔判別器および正面顔判別器の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段は、判別スコアしきい値を各検出モードに応じて変更するようにしてもよい。
【００１１】
さらに、横顔検出手段は、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像が横顔であるか否かを判別し、横顔である可能性のある部分画像を横顔判別器に出力する横顔候補判別器を有し、正面顔検出手段は、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像が横顔であるか否かを判別し、正面顔である可能性のある部分画像を正面顔判別器に出力する正面顔候補判別器を備えていてもよい。このとき、横顔検出パラメータおよび正面顔パラメータが、横顔候補判別器および正面顔候補判別器の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段が、判別スコアしきい値を各検出モードに応じて変更するものであってもよい。すなわち、パラメータ変更手段は、各判別器もしくは各候補判別器のいずれか一方もしくは双方を変更する機能を有するものであればよい。
【００１２】
なお、複数の弱判別器はどのような構造を有するものであってもよく、たとえば複数の弱判別器はカスケード構造を有し、上流側の弱判別器において顔であると判別された部分画像についてさらに下流側の弱判別器による判別を行うようにしてもよい。
【００１３】
また、パラメータ変更手段は、検出率モードに切り替えたとき横顔検出手段および正面顔検出手段の検出率が略同一になるように横顔検出パラメータを変更し、誤検出率モードに切り替えたとき横顔検出手段と正面顔検出手段との誤検出率が略同一になるように横顔検出パラメータを変更し、計算速度モードに切り替えたとき横顔検出手段と正面顔検出手段との計算速度が略同一になるように横顔検出パラメータを変更するものであってもよい。
【発明の効果】
【００１４】
本発明の顔検出装置ならびにプログラムによれば、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された複数の部分画像から正面顔の部分画像を検出する正面顔検出手段と、複数の部分画像から横顔の部分画像を検出する横顔検出手段と、正面顔検出手段および横顔検出手段の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに横顔検出手段の検出モードを切り替える検出モード切替手段と、検出モード切替手段において切り替えられた各モードに応じて横顔検出手段の検出性能を決定する横顔検出パラメータおよび正面顔検出手段の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段とを有することにより、用途に応じていずれかの検出性能を優先させたモードに切り替えることができるため、顔検出装置の用途に応じた総合的な検出性能をバランスよく向上させることができる。
【００１５】
なお、横顔検出手段が、部分画像が横顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う横顔判別器を有するものであり、正面顔検出手段が、部分画像が正面顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う正面顔判別器を備えたものであり、横顔検出パラメータおよび正面顔パラメータが、横顔判別器および正面顔判別器の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段が、判別スコアしきい値を各検出モードに応じて変更するものであれば、簡便に各検出モードの切替を行うことができる。
【００１６】
さらに、横顔検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像が横顔であるか否かを判別し、横顔である可能性のある部分画像を横顔判別器に出力する横顔候補判別器を有するものであり、正面顔検出手段が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像が横顔であるか否かを判別し、正面顔である可能性のある部分画像を正面顔判別器に出力する正面顔候補判別器を備えたものであり、横顔検出パラメータおよび正面顔パラメータが、横顔候補判別器および正面顔候補判別器の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段が、判別スコアしきい値を各検出モードに応じて変更するものであるとき、たとえば風景や胴体等の明らかに横顔もしくは正面顔ではない部分画像について横顔候補判別手段もしくは正面顔候補判別手段において非顔であると判別し、横顔判別手段もしくは正面顔判別手段による判別が行われないため、検出作業を高速化し検出時間を大幅に短縮することができるとともに、各候補判別器または各判別器の一方もしくは双方の各検出パラメータについて変更可能であることから、用途に応じて細かなパラメータ設定を行うことができる。
【００１７】
また、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において横顔であると判別された部分画像についてさらに下流側の弱判別器による判別を行うものであるとき、下流側の弱判別器の計算量を大幅に低減することができるため、判別作業の高速化をさらに図ることができる。
【００１８】
さらに、パラメータ変更手段が、検出率モードに切り替えたとき横顔検出手段および正面顔検出手段の検出率が略同一になるように横顔検出パラメータを変更し、誤検出率モードに切り替えたとき横顔検出手段と正面顔検出手段との誤検出率が略同一になるように横顔検出パラメータを変更し、計算速度モードに切り替えたとき横顔検出手段と正面顔検出手段との計算速度が略同一になるように横顔検出パラメータを変更するものであるとき、正面顔検出手段の方が横顔検出手段よりも、検出率、誤検出率および計算速度の観点からみていずれも優れているという観点から、横顔検出手段に要求される検出性能を正面顔検出手段と同じ高性能なものにし、顔検出装置全体として要求される検出性能について高性能な装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、図面を参照して本発明の顔検出装置の実施の形態を詳細に説明する。図１は本発明の顔検出装置の好ましい実施の形態を示すブロック図である。なお、図１のような顔検出装置１の構成は、補助記憶装置に読み込まれた顔検出プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。
【００２０】
図１の顔検出装置１は顔の判別を行うものであって、全体画像Ｐ上にサブウィンドウＷを走査させることにより部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰにおいて、横顔である部分画像を検出する横顔検出手段２０と、正面顔である部分画像を検出する正面顔検出手段３０とを有している。
【００２１】
ここで、部分画像生成手段１１に入力される全体画像Ｐは前処理手段１０により前処理が施されている。前処理手段１０は、全体画像Ｐに対し図２（Ａ）〜（Ｄ）に示すように、全体画像Ｐを多重解像度化して解像度の異なる複数の全体画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有している。さらに、前処理手段１０は、生成した複数の全体画像Ｐに対して、局所的な領域におけるコントラストのばらつきを抑制し全体画像Ｐの全領域においてコントラストを所定レベルに揃える正規化（以下、局所正規化という）を施す機能を有している。
【００２２】
部分画像生成手段１１は、図２（Ａ）に示すように、設定された画素数（たとえば３２画素×３２画素）を有するサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、一定画素数だけ飛ばしながらサブウィンドウＷを走査させることにより、部分画像ＰＰを生成するようになっている。
【００２３】
なお、部分画像生成手段１１は、図２（Ｂ）〜（Ｄ）に示すように、生成された低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。このように、低解像度画像からも部分画像ＰＰを生成することにより、全体画像ＰにおいてサブウィンドウＷ内に正面顔もしくは横顔が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、検出を確実に行うことができる。
【００２４】
横顔検出手段２０は、複数の部分画像ＰＰの中から横顔である部分画像を検出するものであって、複数の部分画像ＰＰについて横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを候補画像ＣＰとして横顔判別手段２２に出力する横顔候補判別手段２１と、横顔候補判別手段２１により検出された部分画像ＣＰが正面顔であるか否かを判別する横顔判別手段２２とを有している。
【００２５】
横顔候補判別手段２１は、部分画像ＰＰが横顔であるか非顔かの２値判別を行う機能を有し、図３に示すような複数の弱判別器を有する横顔候補判別器からなっている。横顔候補判別器２１は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ    Ａｌｇｏｒｉｔｈｍ）により学習されたものであって、複数の弱判別器ＣＦ１〜ＣＦＭ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ１〜ＣＦＭはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、横顔候補判別器２１は弱判別器ＣＦ１〜ＣＦＭおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。
【００２６】
具体的には、図４に示すように各弱判別器ＣＦ１〜ＣＦＭは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ１〜ＣＦＭ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。
【００２７】
なお、各弱判別器ＣＦ１〜ＣＦＭがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ１〜ＣＦＭに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。
【００２８】
各弱判別器ＣＦ１〜ＣＦＭは図４に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ１（ｘ）〜ｆＭ（ｘ）を出力する。さらに、各弱判別器ＣＦ１〜ＣＦＭは判別性能を示す信頼度β１〜βＭを有している。各弱判別器ＣＦ１〜ＣＦＭは、スコアｆ１（ｘ）〜ｆＭ（ｘ）と信頼度β１〜βＭとを用いて判定スコアβｍ・ｆｍ（ｘ）を算出するようになっている。そして、各弱判別器ＣＦｍの判定スコアβｍ・ｆｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（βｍ・ｆｍ（ｘ）≧Ｓｒｅｆ）。
【００２９】
また、横顔候補判別器２１の各弱判別器ＣＦ１〜ＣＦＭはカスケード構造を有しており、各弱判別器ＣＦ１〜ＣＦＭのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。つまり、弱判別器ＣＦｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦｍ＋１による判別を行い、弱判別器ＣＦｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦｍ＋１による判別は行わない。これにより、下流側の弱判別器において判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。
【００３０】
なお、各弱判別器ＣＦ１〜ＣＦＭから出力された判定スコアＳ１〜ＳＭをそれぞれ個別に判定スコアしきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦｍにおいて判別を行う際、弱判別器ＣＦｍの上流側の弱判別器ＣＦ１〜ＣＦｍ−１での判定スコアの和Σｒ=1ｍβｒ・ｆｒが判定スコアしきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い（Σｒ=1ｍβｒ・ｆｒ（ｘ）≧Ｓ１ｒｅｆ）。これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。
【００３１】
図１の横顔判別手段２２は、画像内の顔の向き（角度）が０°の顔、すなわち正面顔を判別する０°横顔判別器２２−１、３０°の顔画像を判別する３０°横顔判別器２２−２等を備えたものであって、−９０°〜＋９０°の範囲で３０°ずつ回転角度の異なる７個の横顔判別器２２−１〜２２−７を有している。また、たとえば０°横顔判別器２２−１は回転角度が０°を中心に−１５°〜＋１５°の範囲内にある顔を判別できるようになっている。なお、複数の横顔判別器２２−１〜２２−７は、上述した横顔候補判別手段２１のように、それぞれブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図３参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３２】
次に、正面顔検出手段３０について説明する。正面顔検出手段３０は、複数の部分画像ＰＰの中から正面顔である部分画像ＰＰを検出するものであって、複数の部分画像ＰＰについて正面顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを候補画像ＣＰとして正面顔判別手段３２に出力する正面顔候補判別手段３１と、正面顔候補判別手段３１により検出された候補画像が正面顔であるか否かを判別する正面顔判別手段３２とを有している。
【００３３】
正面顔候補判別手段３１は、部分画像ＰＰが横顔であるか非顔かの２値判別を行う機能を有し、上記横顔候補検出器２１と同様、アダブースティングアルゴリズムにより学習された複数の弱判別器を有する候補判別器からなっている（図３参照）。
【００３４】
正面顔判別手段３２は、画像の縦方向と顔の中心線との角度が０°の顔を判別する０°正面顔判別器３２−１、３０°の顔画像を判別する３０°正面顔判別器３２−２等を備えたものであって、３０°〜３３０°の範囲で回転角度が３０°ずつ異なる１２個の正面顔判別器３２−１〜３０−１２を有している。なお、たとえば０°正面顔判別器３２−１は回転角度が０°を中心に−１５°（＝３４５°）〜＋１５°の範囲内にある顔を判別できるようになっている。
【００３５】
なお、複数の正面顔判別器３２−１〜３２−１２は、上述した横顔候補判別手段２１のように、それぞれブースティングアルゴリズムにより学習された複数の弱判別器を有しており（図３参照）、横顔候補判別手段２１と同様の判別手法により判別が行われるようになっている。
【００３６】
ここで、図６は顔検出装置１の動作例を示すフローチャートであり、図１から図６を参照して顔検出装置１の動作例について説明する。まず、前処理手段１０において全体画像Ｐに対し低解像度画像の生成・規格化等が行われる（ステップＳＴ１）。その後、部分画像生成手段１１において、全体画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される（ステップＳＴ２）。生成された部分画像ＰＰは、横顔候補判別器２１および正面顔候補判別手段３１において正面顔であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。横顔候補判別器２１において検出された候補画像ＣＰは横顔判別器２２−１〜２２−７により更に判別が行われ、そして横顔である候補画像ＣＰ（＝ＳＣＰ１〜７）が検出される。一方、正面顔候補判別器３１において検出された候補画像ＣＰは正面顔判別器３２−１〜３２−１２により更に判別が行われ、そして横顔である候補画像ＣＰ（＝ＳＣＰ１〜１２）が検出される（ステップＳＴ３、４）。
【００３７】
ところで、上述した横顔候補判別器２１、横顔判別器２２の検出性能を高めるためには、検出率を上げ誤検出率を低くし計算速度を速くすることが望まれる。しかし、図７に示すように、３つの評価要素はそれぞれ相関関係にあり、検出率を上げたときには誤検出率が高くなり計算速度が遅くなる。また、誤検出率を低くしたときには、下流側の弱判別器で判別すべき部分画像ＰＰの数が減るため計算速度は速くなるが検出率が下がる。したがって、３つの検出性能を同時に向上させるのは困難である。
【００３８】
そこで、顔検出装置１は、検出される顔領域の用途に応じていずれの検出性能を優先するかを決定し、重視すべき検出性能を高くするように検出モードを切り替える検出モード切替手段５０が設けられている。この検出モード切替手段５０は、横顔検出手段２０および正面顔検出手段３０の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに切り替える機能を有している。なお、上記各モードの他に、３つの評価要素のバランスを取った標準モードが設けられており、通常顔検出装置１は標準モードに設定されている。上述した各検出モードの設定はユーザーがマウス、キーボード等の入力手段を用いて行われるものであって、検出モード切替手段５０は、入力手段により入力された各検出モードにしたがい検出モードを切り替えるようになっている。
【００３９】
さらに、検出モード切替手段５０において各検出モードが切り替えられたとき、パラメータ変更手段６０は各モードに合わせて横顔検出パラメータおよび正面顔パラメータを変更する。ここで、横顔検出パラメータは横顔候補判別手段２１もしくは横顔判別手段２２あるいは双方の各弱判別器の判定スコアしきい値Ｓｒｅｆを意味し、検出モード切替手段５０は、判定スコアしきい値Ｓｒｅｆを変更することにより、検出率、誤検出率もしくは計算速度のいずれの検出性能を重視した横顔検出手段２０を形成するようになっている。同様に、正面顔検出パラメータは正面顔候補判別手段３１もしくは正面顔判別手段３２あるいは双方の各弱判別器の判定スコアしきい値Ｓｒｅｆを意味し、パラメータ変更手段６０は、判定スコアしきい値Ｓｒｅｆを変更することにより、検出率、誤検出率もしくは計算速度のいずれの検出性能を重視した正面顔検出手段３０を形成するようになっている。
【００４０】
たとえば、検出モード切替手段５０が検出率モードに切り替えた場合、横顔検出手段２０および正面顔検出手段３０の検出率が高くなるように、横顔検出手段２０および正面顔検出手段３０の判定スコアしきい値Ｓｒｅｆを小さくする。すると、各弱判別器において顔が検出しやすくなり結果として検出率が上がる。検出モード切替手段５０が誤検出率モードに切り替えた場合、横顔検出手段２０および正面顔検出手段３０の誤検出率が低くなるように、横顔検出手段２０および正面顔検出手段３０の判定スコアしきい値Ｓｒｅｆを大きくする。すると、各弱判別器においてより顔らしい特徴量を有する部分画像ＰＰしか顔として判別されなくなり結果として誤検出率が低くなる。検出モード切替手段５０が計算速度モードに切り替えた場合、横顔検出手段２０および正面顔検出手段３０の計算速度が速くなるように、横顔検出手段２０および正面顔検出手段３０の判定スコアしきい値Ｓｒｅｆを小さくする。すると、上流側の弱判別器においてより顔らしい特徴量を有する部分画像ＰＰしか顔として判別されなくなり、下流側の弱判別器が判別すべき部分画像の数を少なくすることができるため結果として計算速度が速くなる。
【００４１】
このように、各検出モードに応じて異なる横顔検出パラメータを設定することにより、用途に応じて要求される検出性能を重視した横顔検出手段２０を構築することができる。たとえば、検出された顔領域（部分画像ＰＰ）の信号に基づいて肌色補正を行うときには、顔検出において誤検出率が低いことが望まれる。これは、肌色補正において非顔領域が参照されたときには不適正な色補正がなされるためである。したがって、検出率が低くなり計算時間が長くなってしまうとしても、非顔が誤って検出されるのを避ける必要がある。そこで、上述のように肌色補正を行うといった用途の場合にはユーザは誤検出率モードを選択することにより、適切な肌色補正を行うことができる。
【００４２】
また、検出された顔領域に基づいて赤目補正を行うときには検出率が高いことが望まれる。これは、赤目補正をする際の赤目検出において赤い丸領域の検出が行われるため、顔検出において非顔領域が検出されてしまっても（誤検出率が高くても）顔領域の検出漏れがない方が好ましいからである。そこで、赤目補正を行うといった用途の場合にはユーザは検出率モードを選択することにより、適切な赤目補正を行うことができる。
【００４３】
さらに、たとえば検出のプレビュー表示等の顔検出の検出時間の短縮を図る場合について顔検出を行う場合、横顔検出についての計算速度を速くすることが望まれる。そこで、上述の場合には計算速度モードを選択することにより、ストレスなく顔検出の結果を確認することができる。
【００４４】
上記実施の形態によれば、全体画像上に設定画素数の枠からなるサブウィンドウを走査させ複数の部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された複数の部分画像ＰＰから正面顔の部分画像ＰＰを検出する正面顔検出手段３０と、複数の部分画像ＰＰから横顔の部分画像ＰＰを検出する横顔検出手段２０と、正面顔検出手段３０および横顔検出手段２０の検出率を高くする検出率モードと、誤検出率を低くする誤検出率モードと、計算速度を速くする計算速度モードとのいずれかに横顔検出手段の検出モードを切り替える検出モード切替手段５０と、検出モード切替手段５０において切り替えられた各モードに応じて、横顔検出手段２０の検出性能を決定する横顔検出パラメータおよび正面顔検出手段３０の検出性能を決定する正面顔検出パラメータを変更するパラメータ変更手段６０とを有することにより、用途に応じていずれかの検出性能を優先させたモードに切り替えることができるため、顔検出装置１の用途に応じた総合的な検出性能をバランスよく向上させることができる。
【００４５】
また、図３のように横顔検出手段２０が、部分画像ＰＰが横顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う横顔判別器２２−１〜２２−７を有するものであり、正面顔検出手段３０が、部分画像ＰＰが正面顔であるか否かを複数の弱判別器による複数の判別結果から最終的な判別を行う正面顔判別器３２−１〜３２−１２を備えたものであり、横顔検出パラメータおよび正面顔パラメータが、横顔判別器２２−１〜２２−７および正面顔判別器３２−１〜３２−１２の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段６０が、判別スコアしきい値Ｓｒｅｆを各検出モードに応じて変更するものであれば、簡便に各検出モードの切替を行うことができる。
【００４６】
さらに、図１のように、横顔検出手段２０が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像ＰＰが横顔であるか否かを判別し、横顔である可能性のある部分画像ＰＰを横顔判別器２２−１〜２２−７に出力する横顔候補判別器２１を有するものであり、正面顔検出手段３０が、複数の弱判別器による複数の判別結果から最終的な判別を行うことにより複数の部分画像ＰＰが横顔であるか否かを判別し、正面顔である可能性のある部分画像ＰＰを正面顔判別器に出力する正面顔候補判別器３１を備えたものであり、横顔検出パラメータおよび正面顔パラメータが、横顔候補判別器２１および正面顔候補判別器３１の各弱判別器が横顔もしくは正面顔であるか否かの判別を行うときの判別スコアしきい値であり、パラメータ変更手段６０が、判別スコアしきい値Ｓｒｅｆを各検出モードに応じて変更するものであるとき、たとえば風景や胴体等の明らかに横顔もしくは正面顔ではない部分画像ＰＰについて横顔候補判別手段２１もしくは正面顔候補判別手段３１において非顔であると判別し、横顔判別手段２１もしくは正面顔候補判別手段３１による判別が行われないため、検出作業を高速化し検出時間を大幅に短縮することができるとともに、各候補判別器または各判別器の一方もしくは双方の各検出パラメータについて変更可能であることから、用途に応じて細かなパラメータ設定を行うことができる。
【００４７】
また、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において横顔であると判別された部分画像ＰＰについてさらに下流側の弱判別器による判別を行うものであるとき、下流側の弱判別器の計算量を大幅に低減することができるため、判別作業の高速化をさらに図ることができる。
【００４８】
本発明の実施の形態は、上記実施の形態に限定されない。たとえば、パラメータ変更手段６０は、正面顔検出手段３０の検出性能を基準として横顔検出手段２０の重視する検出性能を上げるように、横顔検出パラメータを変更するようにしてもよい。横顔は正面顔に比べて構造上の特徴が乏しく変化のバリエーションが多いため、正面顔の検出の方が横顔の検出よりも、検出率、誤検出率および計算速度の観点からみていずれも優れている。このため、横顔を検出するためには正面顔を検出するよりも多くの弱判別器を有する判別器を用いる必要があり、正面顔の検出に比べて計算量が多く計算速度が遅い。したがって、横顔検出手段２０に要求される検出性能が正面顔検出手段３０と同じ高性能なものであれば、顔検出装置１全体として要求される検出性能については高性能な装置を提供することができる。なお、パラメータ変更手段６０は、横顔パラメータを設定する際、正面顔パラメータ変更前の検出性能に合わせるようにしてもよいし、正面顔パラメータ変更後の検出性能に合わせるようにしてもよい。
【図面の簡単な説明】
【００４９】
【図１】本発明の顔検出装置の好ましい実施の形態を示すブロック図
【図２】図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図
【図３】図１の横顔候補検出手段の候補判別器の一例を示すブロック図
【図４】図１の弱判別器により部分画像から特徴量が抽出される様子を示す模式図
【図５】図１の弱判別器が有するヒストグラムの一例を示すグラフ図
【図６】図１の顔検出装置の動作例を示すフローチャート
【図７】横顔検出手段の各検出性能の相互関係を示す図
【符号の説明】
【００５０】
１     顔検出装置
１０   前処理手段
１１   部分画像生成手段
２０   横顔検出手段
２１   横顔候補判別手段
２２   横顔判別手段
３０   正面顔検出手段
３１   正面顔候補判別手段
３２   正面顔判別手段
５０   検出モード切替手段
ＣＦ１〜ＣＦＭ   弱判別器
ＣＰ   候補画像
Ｐ     全体画像
ＰＰ   部分画像
Ｗ     サブウィンドウ
Ｓ     判別スコア
Ｓｒｅｆ       判定スコアしきい値（横顔検出パラメータ）
【図１】
2007094633.tif 000003
【図２】
2007094633.tif 000004
【図３】
2007094633.tif 000005
【図４】
2007094633.tif 000006
【図５】
2007094633.tif 000007
【図６】
2007094633.tif 000008
【図７】
2007094633.tif 000009