(57)【要約】【課題】画像内のどの領域に顔が映っているかを少ない計算量で効率良くかつ高精度に検出可能にすること。【解決手段】特徴点抽出手段11は、画像内の部分領域において顔要素の可能性のある特徴点を抽出する。配置整合検証手段12は、抽出された特徴点の配置関係と顔との整合性を検証し、類似度測定手段13は、整合性が高いと検証された部分領域を処理対象として基準顔画像との類似度を求める。特徴点抽出手段11は、孤立点抽出部11-1、両目候補選択部11-2、部分領域決定部11-3、鼻突候補抽出部11-4を有する。姿勢特定手段を設けることにより顔向きを考慮したテンプレートマッチングによる顔検出も可能である。【選択図】図１
2008033626.tif 000002
【特許請求の範囲】
【請求項１】
画像内の部分領域単位で該部分領域が顔を含むか否かを検出する顔検出装置において、
画像内の部分領域において顔要素の可能性のある特徴点を抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された特徴点の配置関係と顔との整合性を検証する配置整合検証手段と、
前記配置整合検証手段により前記整合性が高いと検証された部分領域を処理対象として基準顔画像との類似度を求める類似度測定手段を備えたことを特徴とする顔検出装置。
【請求項２】
前記特徴点抽出手段は、黒孤立点を抽出する孤立点抽出部と、前記孤立点抽出部により抽出された黒孤立点から顔要素として両目の可能性のある特徴点を抽出する両目候補抽出部を有することを特徴とする請求項１に記載の顔検出装置。
【請求項３】
前記特徴点抽出手段は、特徴点として鼻突候補を抽出する鼻突画像候補抽出部を有することを特徴とする請求項１または２に記載の顔検出装置。
【請求項４】
前記鼻突候補抽出部は、部分領域内に鼻突の探索範囲を設定し、該鼻の突探索範囲内における最大輝度を画素の位置、あるいは最大輝度とそれより低い所定輝度との間の輝度範囲に含まれる複数画素の平均的な位置を鼻突候補の位置とすることを特徴とする請求項３に記載の顔検出装置。
【請求項５】
前記特徴点抽出部は、前記両目候補抽出部により抽出された特徴点の配置に基づき、顔を含むと推定される部分領域を設定する部分領域設定部を有することを特徴とする請求項２に記載の顔検出装置。
【請求項６】
前記鼻突の探索範囲は、サンプル画像による統計分布を元に予め設定されることを特徴とする請求項４に記載の顔検出装置。
【請求項７】
前記配置整合検証手段は、複数のサンプル顔の平均をとって予め作成された基準顔画像と前記特徴点抽出部により抽出された特徴点の配置関係との整合性を検証することを特徴とする請求項１に記載の顔検出装置。
【請求項８】
さらに、前記特徴点抽出手段により抽出された特徴点の配置に基づいて顔向きを特定する姿勢特定手段を備えたことを特徴とする請求項１に記載の顔検出装置。
【請求項９】
前記姿勢特定手段は、サンプル画像の顔向きの各方向における鼻突位置の正規分布上の確率の値をそれぞれ測定し、これにより測定された値に基づいて顔向きを特定することを特徴とする請求項８に記載の顔検出装置。
【請求項１０】
前記姿勢特定手段は、サンプル画像の顔向きの各方向における鼻突位置の正規分布の平均値と分散値に基づいて顔向きを特定することを特徴とする請求項９に記載の顔検出装置。
【請求項１１】
前記類似度測定手段は、サンプル画像の顔向きに応じて作成された複数種の基準顔画像を用意しておき、前記姿勢特定手段により特定された顔向きに従って前記複数種の基準顔画像の中から使用する基準顔画像を選択し、選択した基準顔画像との類似度を求めることを特徴とする請求項８ないし１０のいずれかに記載の顔検出装置。
【請求項１２】
前記部分領域は、四角形で定義されることを特徴とする請求項１ないし１１のいずれかに記載の顔検出装置。
【請求項１３】
前記特徴点抽出手段は、黒孤立点を抽出する孤立点抽出部と、前記孤立点抽出部により抽出された黒孤立点から顔要素として両目の可能性のある特徴点を抽出する両目候補抽出部と、前記両目候補抽出部により抽出された特徴点に基づい部分領域を設定する部分領域設定部と、前記部分領域設定部により設定された部分領域内で鼻突候補の特徴点を抽出する鼻突候補抽出部とを有し、前記配置整合性検証手段は、両目候補抽出部により抽出された特徴点および鼻突候補抽出部により抽出された特徴点の配置関係と顔と整合性を検証することを特徴とする請求項１に記載の顔検出装置。
【請求項１４】
さらに、両目候補抽出部により抽出された特徴点および鼻突候補抽出部により抽出された特徴点の配置関係から顔向きを特定する姿勢特定手段を備え、前記類似度測定手段は、前記配置整合検証手段により前記整合性が高いと検証された部分領域を処理対象とし、前記姿勢特定手段により特定された顔向きの基準顔画像との類似度を求めることを特徴とする請求項１３に記載の顔検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出装置に関し、特に、画像内のどの領域に顔が映っているかを少ない計算量で効率良くかつ高精度に検出できる顔検出装置に関するものである。
【背景技術】
【０００２】
近年、セキュリティやエンターテイメントの分野で、顔の認識技術が広く使われるようになった。いずれのシステムにおいても、携帯電話やロボットカメラなどで撮影された画像内のどこに顔が映っているかを高精度に検出することが求められている。
【０００３】
代表的な顔検出方法の一つとして、基準顔画像とのマッチング(テンプレートマッチング)による顔検出方法が挙げられる。この方法は、多数のサンプル画像の顔から共通する特徴を取り出して予め基準顔画像のテンプレートを作成しておき、撮影された画像内の種々の部分領域とテンプレートの基準顔画像との類似度を測定し、類似度の大小を尺度として類似度の大きい部分領域に顔が映っていると判定するものである。
【０００４】
顔検出に際しては、画像内のどこに顔が映っているか、またどれ位の大きさで顔が映っているか、すなわち、画像内での顔の位置と大きさは全く未知の状態である。したがって、位置に関しては、画像内を左から右、上から下のラスタースキャン順に部分領域を少しずつ移動させながらテンプレートを繰り返し適用して類似度を測定するのが一般的である。また、大きさに関しては、原画像を拡大縮小により解像度を多段階に変化させて多種解像度の画像を作成し、それらの各々にテンプレートを適用して類似度を測定するのが一般的である。
【０００５】
しかしながら、上述のような一般的な方法では、テンプレートの適用回数が膨大となり、類似度測定のために多くの演算量を要する。この演算量を削減するためには、明らかに顔の無い部分領域についてはテンプレートマッチングを実行しないようにして事前に候補数を絞ることが有効である。
【０００６】
また、画像内での顔は回転、向きなどの姿勢変化に従って見た目が様々に異なった映り方をしている場合がある。このような姿勢変化に対応するために、姿勢がそれぞれ異なる多種類の基準顔画像のテンプレートを予め作成しておき、顔検出の際には全てのテンプレートを適用して類似度を測定する必要がある。このとき、類似度が最も大きくなるテンプレートの基準顔画像の姿勢で顔が映っていると判定する。顔検出に際しては、顔の回転、向きなどの姿勢変化に対応するためにも膨大な演算量を要する。この演算量を削減するためには、顔の回転、向きなどの姿勢を予め特定し、この姿勢とは異なる姿勢のテンプレートを適用しないようにすることが有効である。
【０００７】
非特許文献１には、目候補点の配置を利用して、顔検出におけるテンプレートの適用対象領域を絞込む顔検出・顔照合エンジンが提案されている。図１２は、この顔検出・顔照合エンジンを示すブロック図である。ここでは、まず、入力画像を孤立点抽出部11-1に入力し、黒色孤立点を全て抽出する。例えば、図１３に示す入力画像全体を、図１４に概念的に示す外周が白、内側が黒のリングフィルタをかけると図１５に示すフィルタ出力(孤立点)が得られる。図１５において、1と2は目、3と4は外鼻孔、5と6は髪と肩の交点部分に対応している。なお、孤立点は種々の大きさであるため、リングフィルタのリング半径r１、r２を変化させる。
【０００８】
次に、両目候補選択部11-2で、黒色孤立点の中から任意の２つの黒色孤立点を選択して両目候補とする。次に、部分領域決定部11-3は、両目候補選択部11-2により選択された両目候補を両目と仮定したときに顔が存在すると推定される部分領域を決定する。図１６は、図１５の６つの孤立点のうち、２つの黒色孤立点1と2、1と3、1と4、3と4の両目候補を両目と仮定したときに顔が存在すると推定される４つの部分領域を示している。類似度測定手段13は、該部分領域内の画像を切り出して基準顔画像(テンプレート)との類似度を測定し、顔非顔判定手段14は、測定された類似度が大きい部分領域に顔が映っていると判定する。
【０００９】
この方法によれば、孤立点抽出部11-1により抽出された孤立点群の中から任意の２点の組み合わせで決定される部分領域に限定してテンプレートを適用するだけでよく、テンプレートの適用領域を絞り込むことができる。
【００１０】
また、この方法をテンプレートマッチングによる顔検出に応用すると、画像内において顔が存在する可能性が高い部分領域を絞り込めるばかりでなく、両目候補選択部11-2により選択された２点の孤立点(両目候補)の配置に基づいて、画像と平行な面に対する顔の回転角に関する副次的な姿勢情報が得られるため、適用すべきテンプレートの種類を絞ることができる。
【非特許文献１】佐藤敦，“顔検出・顔照合エンジン「NeoFace」”，画像ラボ2003年8月号、pp.47-50
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、複雑な背景を持つ画像などでは黒色孤立点が多数検出される場合がある。このような場合、非特許文献１の方法では、黒色孤立点が多数検出されて両目候補となる２点の組み合わせが膨大数存在するので、テンプレートの適用領域の絞り込みが十分に行われず、テンプレートの適用回数が増大するという課題がある。
【００１２】
すなわち、リングフィルタは必ずしも正しい目の位置だけで大きな値を出力するわけではなく、目に酷似したパターンやエッジ部などでも大きな値を出力するので、複雑な背景の画像に対しては目候補として得られる黒色孤立点の数ｎが増加する。それに伴って目候補の組み合わせ数ｎＣ２も膨大となり、ｎＣ２回分のマッチング処理での演算量が増大してしまう。例えば、図１５の６つの黒色孤立点が抽出された場合、１５通りの目候補の組み合わせが存在する。なお、ここでは両目候補が部分領域上側にあるとして制限をかけているが、そのような制限をかけなければ両目候補の組み合わせはｎＣ２の２倍となる。また、このように目候補の組み合わせの増大に伴い、正しくない両目候補を元にして誤った顔検出が行われる恐れも生じる。
【００１３】
さらに、２点の黒色孤立点を利用するだけでは、画像面に平行な顔の回転に関する姿勢は特定できるものの、上下、左右の顔向きに関する姿勢は特定できないため、顔向きに関しては適用すべきテンプレートを十分に絞り込むことができなかった。
【００１４】
本発明の目的は、画像内のどの領域に顔が映っているか、また、顔の大きさ、回転、向きが様々に異なった状態で映っている場合でも画像内のどの領域に顔が映っているかを少ない計算量で効率良くかつ高精度に検出できる顔検出装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するため、本発明は、画像内の部分領域単位で該部分領域が顔を含むか否かを検出する顔検出装置において、画像内の部分領域において顔要素の可能性のある特徴点を抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された特徴点の配置と顔との整合性を検証する配置整合検証手段と、前記配置整合検証手段により前記整合性が高いと検証された部分領域を処理対象として基準顔画像との類似度を求める類似度測定手段を備えた点に第１の特徴がある。
【００１６】
また、本発明は、前記特徴点抽出手段が、黒孤立点を抽出する孤立点抽出部と、前記孤立点抽出部により抽出された黒孤立点から顔要素として両目の可能性のある特徴点を抽出する両目候補抽出部を有する点に第２の特徴がある。
【００１７】
また、本発明は、前記特徴点抽出手段が、特徴点として鼻突候補を抽出する鼻突画像候補抽出部を有する点に第３の特徴がある。
【００１８】
また、本発明は、前記鼻突候補抽出部が、部分領域内に鼻突の探索範囲を設定し、該鼻突の探索範囲内における最大輝度を画素の位置、あるいは最大輝度とそれより低い所定輝度との間の輝度範囲に含まれる複数画素の平均的な位置を鼻突候補の位置とする点に第４の特徴がある。
【００１９】
また、本発明は、前記特徴点抽出部が、前記両目候補抽出部により抽出された特徴点の配置に基づき、顔を含むと推定される部分領域を設定する部分領域設定部を有する点に第５の特徴がある。
【００２０】
また、本発明は、前記鼻突探索範囲が、サンプル画像による統計分布を元に予め設定される点に第６の特徴がある。
【００２１】
また、本発明は、前記配置整合検証手段が、複数のサンプル顔の平均をとって予め作成された基準顔画像と前記特徴点抽出部により抽出された特徴点の配置関係との整合性を検証する点に第７の特徴がある。
【００２２】
また、本発明は、さらに、前記特徴点抽出手段により抽出された特徴点の配置に基づいて顔向きを特定する姿勢特定手段を備えた点に第８の特徴がある。
【００２３】
また、本発明は、前記姿勢特定手段が、サンプル画像の顔向きの各方向における鼻突位置の正規分布上の確率の値をそれぞれ測定し、これにより測定された値に基づいて顔向きを特定する点に第９の特徴がある。
【００２４】
また、本発明は、前記姿勢特定手段が、サンプル画像の顔向きの各方向における鼻突位置の正規分布の平均値と分散値に基づいて顔向きを特定する点に第１０の特徴がある。
【００２５】
また、本発明は、前記類似度測定手段が、サンプル画像の顔向きに応じて作成された複数種の基準顔画像を用意しておき、前記姿勢特定手段により特定された顔向きに従って前記複数種の基準顔画像の中から使用する基準顔画像を選択し、選択した基準顔画像との類似度を求める点に第１１の特徴がある。
【００２６】
また、本発明は、前記部分領域が、四角形で定義される点に第１２の特徴がある。
【００２７】
また、本発明は、前記特徴点抽出手段が、黒孤立点を抽出する孤立点抽出部と、前記孤立点抽出部により抽出された黒孤立点から顔要素として両目の可能性のある特徴点を抽出する両目候補抽出部と、前記両目候補抽出部により抽出された特徴点に基づい部分領域を設定する部分領域設定部と、前記部分領域設定部により設定された部分領域内で鼻突候補の特徴点を抽出する鼻突候補抽出部とを有し、前記配置整合性検証手段は、両目候補抽出部により抽出された特徴点および鼻突候補抽出部により抽出された特徴点の配置関係と顔と整合性を検証する点に第１３の特徴がある。
【００２８】
また、本発明は、さらに、両目候補抽出部により抽出された特徴点および鼻突候補抽出部により抽出された特徴点の配置から顔向きを特定する姿勢特定手段を備え、前記類似度測定手段は、前記配置整合検証手段により前記整合性が高いと検証された部分領域を処理対象とし、前記姿勢特定手段により特定された顔向きの基準顔画像との類似度を求める点に第１３の特徴がある。
【発明の効果】
【００２９】
本発明によれば、画像の部分領域において顔要素の可能性のある特徴点を抽出し、該特徴点の配置関係と顔との整合性を検証し、ここで整合性が高いと検証された部分領域を処理対象として基準顔画像との類似度を求めるので、顔が映っていると推定されると絞り込まれた部分領域だけに関して基準顔画像との類似度を求めればよくなる。テンプレートマッチングの実行ではテンプレートの適用範囲や適用回数を十分に絞り込むことができる。
【００３０】
また、画像内の上下左右の顔向きを姿勢特定手段により特定することにより、顔向きに関しての複数種の基準顔画像の中から類似度測定に使用する基準顔画像を特定できる。テンプレートマッチングの実行ではテンプレートの適用回数を減らすことがができる。その結果、画像内で顔の大きさ、回転、向きが様々に異なった状態で映っている顔を少ない計算量で効率良くかつ高精度に検出できるようになる。
【００３１】
テンプレートの適用範囲を絞り込む方法として肌色分布を利用する方法、つまり肌色が存在する部分付近に限ってテンプレートを適用する方法もあるが、この方法は照明変動の影響に弱く、また、肌色の定義自体が困難であるという課題があるのに対し、本発明の顔検出装置は、照明変動に強く、撮影機器間の色特性の相違の影響を受けることなく顔検出を行うことができるという効果がある。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照して本発明を説明する。図１は、本発明に係る顔検出装置の第１実施形態を示すブロック図である。第１実施形態の顔検出装置は、特徴点抽出手段11、配置整合性検証手段12、類似度測定手段13および顔非顔判定手段14を備える。
【００３３】
特徴点抽出手段11は、入力画像の部分領域において顔要素の可能性のある特徴点を抽出し、配置整合性検証手段12は、特徴点抽出手段11により抽出された特徴点の配置と顔との整合性を検証する。また、類似度測定手段13は、配置整性合検証手段12により顔との整合性が高いと検証された部分領域を処理対象として基準顔画像との類似度を求める。顔非顔判定手段14は、類似度測定手段13により求められた類似度に基づいて当該部分領域に顔が映っているか否かを判定し、その結果を出力する。
【００３４】
次に、各手段について説明する。
(1)特徴点抽出手段11
【００３５】
特徴点抽出手段11は、孤立点抽出部11-1、両目候補選択部11-2、部分領域決定部11-3および鼻突(はなつき)候補抽出部11-4を有する。
【００３６】
孤立点抽出部11-1は、入力画像全体にリングフィルタなどをかけることにより入力画像内の黒色孤立点を抽出する。両目候補選択部11-2は、孤立点抽出部11-1により抽出された黒色孤立点の中から任意の２つを両目候補として選択する。また、部分領域決定部11-3は、両目候補選択部11-2により選択された両目候補の位置に両目が存在すると仮定したときに顔が存在すると推定される部分領域を決定する。
【００３７】
図２は、部分領域決定部11-3での部分領域決定手法の具体例の説明図である。同図に示すように、両目候補の２点E1,E2が定まり、両目候補の間の距離をDとしたとき、図示左側の左目E1，右側の右目E2がそれぞれ座標(wａD,wｂD)，(wgD-wａD,wｂD)の配置となるような１辺wgDの正方領域(a)を部分領域として決定する。なお、wａ，wｂ，wgは、調整パラメータであり、例えば、wａ=7/20、wｂ=7/20、wg=17/10とする。ここまでの処理は、図１２の従来技術と同様である。
【００３８】
鼻突候補抽出部11-4は、両目候補の他に安定に抽出できる特徴点として鼻突候補を抽出する。鼻突は周辺部位よりも一段高く突出し、画像内において鼻突付近は周囲よりも高輝度を示していて抽出が容易であるので、画像内の顔要素の可能性のある特徴点として好適である。
【００３９】
図３は、鼻突と周辺部位を示す図である。鼻突の位置は、厳密にいえば照明の照射方向により輝度最大値の位置から若干ずれることがあるが、そのずれは僅かであり、輝度最大値の位置を鼻突の位置とみなしても後述する人間の顔らしさを検証する上で問題はない。
【００４０】
鼻突候補の位置(鼻突候補点)は、両目候補を基準として鼻突周辺を含むと考えられる探索領域を定義し、この探索領域内で輝度最大値を示した画素を鼻突候補点と考えることにより抽出できる。
【００４１】
具体的には、図２に示すように、両目候補の間の距離をDとしたとき、実線矩形領域(ｂ)を探索領域として定義し、この探索領域内で輝度最大値を示す点を鼻突候補として抽出する。なお、wｃ，wｄは、調整パラメータであり、例えば、wｃ=1/5、wｄ=4/5とする。
(2)配置整合性検証手段12
【００４２】
配置整合性検証手段12は、両目候補選択部11-2で選択された両目候補と鼻突候補抽出部11-4で抽出された鼻突候補の配置関係が人間の顔らしいかを人間の顔と整合させて検証し、人間の顔らしい配置関係の両目候補と鼻突候補が映っている部分領域を特定する。
【００４３】
図４は、予め多数サンプル画像の顔に関して存在領域内で輝度最大値を示した画素の出現位置に関する頻度分布を調べた結果である。配置整合性検証手段12では、輝度最大値の出現位置の頻度が正規分布に従うと仮定し、多数のサンプル顔に関して輝度最大値の出現位置の平均値と分散値から定まる密度関数を持つ正規分布を予め求めておき、輝度最大値の出現位置が大半を占める割合、例えば95.8%を含む面積最小の領域を鼻突の存在領域と定義する。存在領域は、例えば、図２の破線矩形(ｃ)で示される。wｅ，wｆは、調整パラメータであり、例えば、wｅ=1/20、wｆ=7/25とする。なお、存在範囲は四角形状に限定されず、円状状とすることもできる。
【００４４】
配置整合性検証手段12での整合性の検証処理では、探索領域内の存在領域に輝度最大値の画素が含まれていれば、それが鼻突である可能性が高いと推定し、両目候補に基づいて切り出された部分領域を類似度測定手段13での処理対象と特定する。逆に、存在領域に輝度最大値の画素が含まれていなければその部分領域は類似度測定手段13での処理対象と特定しない。
【００４５】
このように、探索領域内にそれより狭い存在領域を定義することにより、後述する計算機シミュレーションの結果に示すように、両者の面積比からテンプレートマッチング処理を約7/20の期待値で削減できる。
【００４６】
以上のように、配置整合性検証手段12で両目候補の他にさらに１点の特徴点として鼻突候補を追加し、それらの配置関係を考慮することによって、顔が映っていると推定される部分領域だけを精度良く特定することができる。これにより、類似度測定処理などの後段で処理対象とする部分領域を十分に絞り込むことができる。
(3)類似度測定手段13
【００４７】
類似度測定手段13は、配置整合性検証手段12により特定された部分領域を一定の大きさに正規化し、正面向き基準顔画像とのマッチング処理により両者の類似度を算出する。この類似度算出の手法は、特に限定さず、いかなる手法でもよく、例えば、非特許文献１に記載の手法を用いることができる。
(4)顔非顔判定手段14
【００４８】
顔非顔判定手段14は、類似度測定手段13により測定された類似度を予め定められた閾値と比較し、閾値以上の類似度を示す部分領域に顔が映っていると判定する。以上により、顔の位置、大きさ、回転に関するテンプレート絞込みが可能となる。
【００４９】
図５は、本発明に係る顔検出装置の第２実施形態を示すブロック図である。同図において図１と同一あるいは同等部分には同じ符号を付している。第２実施形態が第１実施形態と異なるのは、配置整合性検証手段12と類似度測定手段13の間に姿勢特定手段15を備え、それにより顔向き、例えば上下左右の顔向きを特定し、類似度測定手段13での処理を軽減可能とした点である。
(1)特徴点抽出手段11
【００５０】
特徴抽出手段11の孤立点抽出部11-1、両目候補選択部11-2、部分領域決定部11-3および鼻突候補抽出部11-4での処理は、第１実施形態と同様である。ただし、鼻突候補抽出部11-4では、多方向の顔向きに応じて鼻突の位置が変わるため、第１実施形態の探索領域よりも広い探索領域(ｂ)を定義する。例えば、図２において、wｃ=1/10、wｄ=11/10として探索領域(ｂ)を拡張する。この探索領域(ｂ)内で輝度最大値の点を鼻突候補として抽出する。
(2)配置整合性検証手段12
【００５１】
配置整合性検証部12での処理は、第１実施形態と同様である。ただし、上述と同様に、多方向の顔向きに応じて鼻突の位置が変わるため、第１実施形態の存在領域よりも広い存在領域(ｃ)を定義する。例えば、図２において、wｅ=1/20、wｆ=1/20として存在領域(ｃ)を拡張する。この存在領域(ｃ)内に鼻突候補が存在している場合のみ、後段の類似度測定手段13での処理を実施する。
(3)姿勢特定部15
【００５２】
姿勢特定部15では、両目候補選択部11-2により選択された両目候補および鼻突候補抽出部11-4により抽出された鼻突候補の配置関係から顔の向きを特定する。
【００５３】
図６は、横軸ｘ方向にそれぞれ-15°，0°，＋15°、縦軸ｙ方向にそれぞれ-15°，0°，＋15°の方向への９種類の顔向きを示す。以下では、この場合を例にとって説明するが、本発明はこの顔向きに限定されないのはもちろんである。
【００５４】
図７は、上記９種類の顔向きの多数サンプル画像それぞれについて存在領領(ｃ)域内で輝度最大値を示す画素の出現位置の頻度分布を調べた結果得られた、輝度最大値を示す画素の出現確率分布を示している。ここでは、輝度最大値を示す画素の出現位置の頻度は正規分布に従うと仮定し、そのときの輝度最大値を示す画素の出現位置平均値と分散値から定まる密度関数を持つ正規分布として示している。
【００５５】
図８は、縦軸ｙ方向に0°の顔画像、すなわちｘ=-15°,ｙ=0°とｘ=0°,ｙ=0°とｘ=+15°,ｙ=0°の顔画像の場合の横軸ｘ方向の正規分布の密度関数を示す。同図で縦軸は確率密度であり、0〜1の値をとる。ここでは、ある閾値T(0〜1)、例えば0.2を設定し、閾値T以上の確率密度を持つ部分を斜線で示した。閾値T以上の確率密度を持つ斜線部分は、それぞれの方向の顔で鼻突が高い確率で出現する領域である。
【００５６】
次に、正規分布の場合、閾値T以上の領域を縦横2次元で考えると、その領域は円状の領域で表される。図９は、上記９種類の顔向きに関し、この円状の領域をプロットした図である。閾値Tの設定にもよるが、隣接する円状の領域には重なる部分が存在する。
【００５７】
姿勢特定部15では、以上のように、各方向の顔で鼻突が高い確率で出現する領域を予め設定しておき、鼻突候補選択部11-4で選択された鼻突候補が図９の位置aaであった場合、ｘ=0°,ｙ=0°の姿勢である可能性が高いと判定する。また、選択された鼻突候補が位置bbであった場合、ｘ=0°,ｙ=0°もしくはｘ=+15°,ｙ=0°の姿勢である可能性が高いと判定する。また、選択された鼻突候補が位置ccであった場合、ｘ=+15°,ｙ=0°の姿勢である可能性が高いと判定し、姿勢(顔向き)を特定する。
(4)類似度測定手段13
【００５８】
類似度測定手段13では、第１実施形態と同様に、配置整合性検証手段12により特定された部分領域を一定の大きさに正規化し、基準顔画像とのマッチング処理により両者の類似度を算出する。
【００５９】
ただし、第２実施形態では、姿勢特定手段15により姿勢(顔向き)が特定されているので、特定された顔向きに整合した基準顔画像を選択し、選択された基準顔画像だけとのマッチング処理を行えばよい。
(5)顔非顔判定手段14
【００６０】
顔非顔判定手段14は、類似度測定手段13により測定された類似度を予め定められた閾値し、閾値以上の類似度を示す部分領域に顔が映っていると判定する。以上により、顔の位置、大きさ、回転、向きに関するテンプレート絞込みが可能となる。その場合、顔の大きさ、回転、向きが特定できているため、それに合った基準顔画像だけを適用することによりマッチング処理での演算量を低減することができる。
【００６１】
以下、第１実施形態の顔検出装置の有効性を計算機シミュレーションにより確認した結果を示す。テスト画像として、顔の回転(ロール)は含むが、顔向きの上下と左右の変化(ピッチとヨー)を含まず、単独で撮影された解像度320×240の正面顔画像を用いた。具体的には、(1)HOIP-F顔画像データベース正面顔300枚、(2)HOIP-F顔画像データベース正面顔を画像処理ソフトにより時計回りに30度回転させた画像300枚、(3)一般画像100枚を用いた。
【００６２】
本発明(D)と、30×30、45×45、60×60の３種類の大きさの正面顔テンプレートマッチングを行う単純法(A)、肌色分布から適用範囲を絞り込みテンプレートマッチングを行う肌色法(B)、リングフィルタを用いて黒色孤立点を目候補として抽出し、抽出された黒色孤立点の２点の組み合わせに基づいて顔が映っていると推定される部分領域を切り出してテンプレートマッチングを行う両目法(C)とを比較した。
【００６３】
図１０は、顔検出の成功率を示す。正面顔画像(1)に対しては、本発明(D)の検出精度は従来法(A)〜(C)と比較して遜色ない精度を示している。30度の回転させた画像(2)に対しては、単純法(A)および肌色法(B)は回転要素を含むテンプレートを用いていないため、大部分で顔検出に失敗している。一方、両目法(C)および本発明(D)では目鼻の配置関係から回転を考慮して部分領域を切り出すので、正面顔画像(1)の場合に比較しても精度を大幅には落とすことなく顔検出に成功している。さらに、照明などの変動要素を多く含む一般画像(3)に対しては、全体的に精度が悪化しているが、その中でも本発明(D)は高い検出精度を示している。
【００６４】
図１１は、類似度測定手段14でのテンプレートマッチングにおけるテンプレート平均適用回数を示す。単純法(A)は、ラスタースキャン順に画像全体でテンプレートマッチングを行うため適用回数が膨大となっている。肌色法(B)は、一般画像(3)に対して照明などの変動要素に起因して肌色分布による絞込みに限界があるので、適用回数が増加している。また、正面顔画像に対するテンプレートの適用回数は、両目法(C)では997.2回であるのに対し、本発明(D)では752.6回まで減らすことができている。特に、一般画像(3)に対し、本発明(D)は、両目法(C)に比べて約7/20程度の不要なテンプレート適用数を削減することができ、効率良く顔検出できることを示している。
【００６５】
なお、上記は、第１実施形態の顔検出装置の有効性についての計算機シミュレーションの結果であるが、第２実施形態では、さらに姿勢特定手段により顔向きを特定しているので、種々の顔向きの画像が含まれていても少ないテンプレート適用回数で効率的に顔を検出できる。
【００６６】
以上、実施形態を説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、特徴点抽出手段で抽出する特徴点は、両目候補や鼻突候補に限らず、色や形状などから顔要素の可能性のある特徴点として安定に抽出できる部分ならば他の部分でもよい。また、上記実施形態の類似度測定手段は、顔が映っている部分領域を検出するものとしたが、基準顔画像を特定人物の顔画像とすれば、さらに部分領域に該特定人物の顔が映っているかまで検出でき、また、基準顔画像を多くの人物ごとに用意しておけば、部分領域にどの人物の顔が映っているかまで検出できる。
【図面の簡単な説明】
【００６７】
【図１】本発明に係る顔検出装置の第１実施形態を示すブロック図である。
【図２】部分領域決定部での部分領域決定手法の具体例の説明図である。
【図３】鼻突と周辺部位を示す図である。
【図４】多数のサンプル顔に関して存在領域内で輝度最大値を示した画素の出現位置に関する頻度分布を調べた結果を示す図である。
【図５】本発明に係る顔検出装置の第２実施形態を示すブロック図である。
【図６】９種類の顔向きを示す図である。
【図７】９種類の顔向きの多数サンプル画像について輝度最大値の出現位置の頻度分布を調べた結果を示す図である。
【図８】横軸方向での輝度最大値の出現確率分布を示す図である。
【図９】輝度最大値の出現位置の頻度分布における一定閾値以上の２次元領域を示す図である。
【図１０】本発明と従来法との顔検出成功率の比較結果示す図である。
【図１１】本発明と従来法とのテンプレート適用回数の比較結果示す図である。
【図１２】従来の顔検出装置を示すブロック図である。
【図１３】入力画像の例を示す図である。
【図１４】孤立点抽出のためのリングフィルタを示す概念図である。
【図１５】図１３の入力画像に対して抽出される孤立点を示す図である。
【図１６】２つの孤立点を基づいて決定される部分領域の例を示す図である。
【符号の説明】
【００６８】
11・・・特徴点抽出手段、11-1・・・孤立点抽出部、11-2・・・両目候補選択部、11-3・・・部分領域決定部、11-4・・・鼻突候補抽出部、12・・・配置整合性検証手段、13・・・類似度測定手段、14・・・顔非顔判定手段14、15・・・姿勢特定手段
【図１】
2008033626.tif 000003
【図２】
2008033626.tif 000004
【図３】
2008033626.tif 000005
【図４】
2008033626.tif 000006
【図５】
2008033626.tif 000007
【図６】
2008033626.tif 000008
【図７】
2008033626.tif 000009
【図８】
2008033626.tif 000010
【図９】
2008033626.tif 000011
【図１０】
2008033626.tif 000012
【図１１】
2008033626.tif 000013
【図１２】
2008033626.tif 000014
【図１３】
2008033626.tif 000015
【図１４】
2008033626.tif 000016
【図１５】
2008033626.tif 000017
【図１６】
2008033626.tif 000018