(57)【要約】【課題】一部の顔部品が部分的あるいは完全に隠蔽されているような場合にも、隠蔽されていない顔部品の位置を精度良く検出する。【解決手段】画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う。顔領域検出手段１４は、画像取得手段１３によって取得された画像から顔領域を検出する。テンプレートマッチング手段１５は、４方向面特徴のテンプレートマッチングを行って４方向面特徴の初期類似度を算出する。弛緩整合手段１７は、初期類似度と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって前記特定の顔部品の位置を検出する。この際、弛緩整合手段１７は、前記周辺適合確率を導くための近傍対応確率のうち、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求める。【選択図】        図１
2005056124.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行い、この４方向面特徴のテンプレートマッチングにおける初期類似度と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって前記特定の顔部品の位置を検出する顔部品位置検出方法において、
前記周辺適合確率を導くための近傍対応確率のうち、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求める顔部品位置検出方法。
【請求項２】
顔を撮像するための撮像手段と、
前記撮像手段によって撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、この４方向面特徴のテンプレートマッチングにおける初期類似度を算出するテンプレートマッチング手段と、
特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって顔部品の位置を検出する弛緩整合手段とを備え、
前記弛緩整合手段は、前記周辺適合確率を導くための近傍対応確率のうち、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めるものとした顔部品位置検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔部品位置検出方法及び顔部品位置検出装置に関するものである。
【背景技術】
【０００２】
得られた画像から顔領域を検出して顔部品（目、鼻、口等）を検出する手法としては、例えば、４方向面特徴と色情報とを組み合わせる手法（非特許文献１参照）がある。
又、顔部品検出には特許文献１に開示されるようなパターンマッチングを利用した手法を用いることも考えられる。パターンマッチングでは、予め登録された顔部品パターンと、取得した画像とを照合することによって顔部品検出が行われる。
【非特許文献１】本郷仁志、山本和彦，「動領域内の肌色推定による顔領域および顔部品抽出」，映像情報メディア学会誌，社団法人映像情報メディア学会，１９９８年１２月，第５２巻，第１２号，Ｐ.８６−９３
【特許文献１】特開平７−１４１５０６号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、これらの手法では、一部の顔部品が隠蔽されているような場合には、隠蔽されていない顔部品位置を精度良く検出することができない。
本発明は、一部の顔部品が部分的あるいは完全に隠蔽されているような場合にも、隠蔽されていない顔部品の位置を精度良く検出することを目的とする。
【課題を解決するための手段】
【０００４】
請求項１の発明は、撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行い、この４方向面特徴のテンプレートマッチングにおける初期類似度と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって前記特定の顔部品の位置を検出する顔部品位置検出方法において、前記周辺適合確率を導くための近傍対応確率のうち、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めることを特徴とする。
【０００５】
請求項２の発明は、顔を撮像するための撮像手段と、前記撮像手段によって撮像された画像における顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、この４方向面特徴のテンプレートマッチングにおける初期類似度を算出するテンプレートマッチング手段と、特定の顔部品とこの特定の顔部品の周辺の顔部品との関係を表す周辺適合確率とを求め、前記初期類似度と前記周辺適合確率とを用いた弛緩整合法によって顔部品の位置を検出する弛緩整合手段とを備えた顔部品位置検出装置を構成し、前記弛緩整合手段は、前記周辺適合確率を導くための近傍対応確率のうち、最大値ではない近傍対応確率のうちの少なくとも１つを排除して前記周辺適合確率を求めるものとしたことを特徴とする。
【発明の効果】
【０００６】
本発明では、一部の顔部品が隠蔽されているような場合にも、隠蔽されていない顔部品の位置を精度良く検出することができるという優れた効果を奏する。
【発明を実施するための最良の形態】
【０００７】
以下、本発明を具体化した一実施形態を図１〜図３に基づいて説明する。
図１（ａ）に示すように、顔部品位置検出装置１０は、撮像手段としてのビデオカメラ１１と、表示装置１２１を備えたコンピュータ１２とからなる。ビデオカメラ１１は、ＣＣＤカメラである。ビデオカメラ１１で撮影された個々のフレーム（画像データ）は、カラー画像としてコンピュータ１２に入力されるようになっている。Ｍは、ビデオカメラ１１の撮影範囲にいる人である。Ｆは人Ｍの顔である。コンピュータ１２は、ビデオカメラ１１で撮影された画像を表示装置１２１に表示させる。
【０００８】
図１（ｂ）は、コンピュータ１２の機能ブロック図である。
画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う。図１（ａ）における画像Ｇは、画像取得手段１３によって取得された画像の例を示している。画像Ｇにおけるｆ（１）は、顔部品である右目を表し、ｆ（２）は、顔部品である左目を表す。ｆ（３）は、顔部品である口を表し、ｆ（４）は、顔部品である鼻を表す。
【０００９】
顔領域検出手段１４は、画像取得手段１３によって取得された画像Ｇ〔図１（ａ）を参照〕から顔領域を検出する。この顔領域の検出は、例えば非特許文献１に開示される手法（色情報と動き情報とを組み合わせて顔領域を検出する手法）を用いて行われる。この手法に必要なデータ（例えば、パターンマッチング用の顔パターンデータ、基準となる肌色データ等）は、記憶手段１６に記憶されている。
【００１０】
テンプレートマッチング手段１５は、４方向面特徴のテンプレートマッチングを行う。４方向面特徴とは、画像におけるエッジの向きにより横方向、右上がり方向、縦方向、右下がり方向の４つに分けて作成された特徴量である。換言すると、４方向面特徴とは、画像における濃淡値の勾配により各画素での４方向（横方向、右上がり方向、縦方向、右下がり方向）のベクトル場を求め、濃淡値をそれぞれの方向別の面に分割してガウシャンフィルタをかけた特徴量である。
【００１１】
記憶手段１６には４方向面特徴のテンプレートＴ１，Ｔ２，Ｔ３，Ｔ４が記憶されている。Ｔ１は、右目に関するテンプレート、Ｔ２は、左目に関するテンプレート、Ｔ３は、口に関するテンプレート、Ｔ４は、鼻に関するテンプレートである。以下、テンプレートＴ１，Ｔ２，Ｔ３，Ｔ４をＴｉ（ｉ＝１，２，３，４）と表す。ｉは、顔部品を表す。テンプレートマッチング手段１５は、この記憶された４方向面特徴のテンプレートＴｉを用いて、検出された顔領域に対してテンプレートマッチングを行う。そして、テンプレートマッチング手段１５は、このテンプレートマッチングに基づいて、４方向面特徴の初期類似度を算出する。
【００１２】
弛緩整合手段１７は、弛緩整合法を用いて顔部品の位置検出を行う。
図３は、コンピュータ１２によって遂行される顔部品位置検出プログラムを表すフローチャートである。以下、このフローチャートを参照して顔部品位置検出装置１０による顔検出を説明する。
【００１３】
ステップＳ１において、まず、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行うか否かの判定を行う。即ち、本実施形態では、ビデオカメラ１１からの画像の取得は、所定の時間間隔ｔ（例えばｔ＝０．１秒）毎に行われるようになっており、画像取得手段１３は、画像取得の時刻か否かを判定する。そして、画像を取得する時刻であると判断した場合（ステップＳ１においてＹＥＳ）、画像取得手段１３は、ビデオカメラ１１からの画像の取得を行う（ステップＳ２）。一方、画像取得手段１３が画像を取得する時刻ではないと判断した場合（ステップＳ１においてＮＯ）、ステップＳ１が繰り返される。
【００１４】
ビデオカメラ１１からの画像を取得した後、顔領域検出手段１４は、取得した画像内で顔領域の探索を行い（ステップＳ３）、画像内に顔領域があるか否かを判定する（ステップＳ４）。顔領域がないとの判定が行われた場合（ステップＳ４においてＮＯ）、コンピュータ１２は、ステップＳ１へ戻る。顔領域が有るとの判定が行われた場合（ステップＳ４においてＹＥＳ）、テンプレートマッチング手段１５は、テンプレートＴｉで顔領域を走査して顔領域に対して４方向面特徴のテンプレートマッチングを行うと共に、初期類似度Γｉｋ０を算出する（ステップＳ５）。図２（ａ），（ｂ）における画像は、顔領域検出手段１４によって画像Ｇから検出された顔領域ｆを表す。
【００１５】
本実施形態では、４方向面特徴を入力解像度の１／８と低解像度化し、各顔部品ｉの４方向面特徴の解像度を８×４としている。初期類似度Γｉｋ０は、式（１）のように表される。
【００１６】
【数１】
2005056124.tif 000003
式（１）におけるｎは、顔領域におけるテンプレートＴｉによって切り取られた数（本実施形態では１２８通りの数）を表し、Ｉｋ（ｎ）は、テンプレートＴｉによって顔領域における位置（Ｘｋ，Ｙｋ）（Ｘ，Ｙは、２次元座標を表す）で切り出した４方向面特徴を表す。位置（Ｘｋ，Ｙｋ）は、テンプレートＴｉの中心の座標である。
【００１７】
テンプレートマッチング手段１５は、テンプレートＴｉ毎に得られた複数の初期類似度Γｉｋ０をそれらの最大値で割って正規化する。正規化された初期類似度Ｐｉｋ０（以下、初期対応確率という）は、次式（２）で表される。
【００１８】
【数２】
2005056124.tif 000004
ステップＳ５の処理後、弛緩整合手段１７は、弛緩整合法を用いて顔部品の位置を決定する（ステップＳ６）。ステップＳ６では以下のような処理が行われる。まず、弛緩整合手段１７は、式（３）に基づいて近傍対応確率Ｑｊｅ０を算出する。
【００１９】
【数３】
2005056124.tif 000005
ｊ（＝１，２，３，４であってｊ≠ｉ）は、顔部品ｉに対する周辺の顔部品を表す。σは、ガウス分布の標準偏差である。ｅは、顔部品ｊに対する顔領域内での相対位置（Ｘｅ，Ｙｅ）を表す。Ｘｅは、式（４）で表され、Ｙｅは式（５）で表される。
【００２０】
【数４】
2005056124.tif 000006
【００２１】
【数５】
2005056124.tif 000007
式（３）におけるｅ′は、顔領域の全体を表し、ｅ′の位置を（Ｘｅ′，Ｙｅ′）とすると、ｅ，ｅ′間の距離Ｄｅｅ′は、式（６）で表される。
【００２２】
【数６】
2005056124.tif 000008
式（３）は、顔領域での位置ｅにおける対応確率Ｐｊｅ０にガウス分布を掛けて最大値を算出する計算式である。式（３）において、相対位置（Ｘｅ，Ｙｅ）が顔領域外にある場合には、Ｑｊｅ０＝０としている。
【００２３】
次に、弛緩整合手段１７は、式（７）に基づいて周辺適合確率ｑｉｋ０を算出する。
【００２４】
【数７】
2005056124.tif 000009
周辺適合確率ｑｉｋ０は、顔部品ｉに対する全ての周辺の顔部品ｊのうちの選ばれた顔部品ｊに関して、近傍対応確率Ｑｊｅ０を掛け合わせて得られるものである。本実施形態では、弛緩整合手段１７は、（７）式に用いる近傍対応確率Ｑｊｅ０として、値が最大の近傍対応確率と、次に大きな値の近傍対応確率とを選択する。例えば、顔部品ｉ＝１（右目）に関してＱ２ｅ０が最大値であってＱ３ｅ０が次に大きな値であった場合、式（７）は、次式（８）となる。
【００２５】
【数８】
2005056124.tif 000010
次に、弛緩整合手段１７は、式（９）に基づいて、対応度Γｉｋｔを算出する。ｔは、１，２，３・・・を表す。
【００２６】
【数９】
2005056124.tif 000011
周辺適合確率ｑｉｋｔは、式（１０）で表される。
【００２７】
【数１０】
2005056124.tif 000012
弛緩整合手段１７は、式（１０）を用いた演算においても、式（１０）に用いる近傍対応確率Ｑｊｅｔとして、値が最大の近傍対応確率と、次に大きな値の近傍対応確率とを選択する。例えば、顔部品ｉ＝１（右目）に関してＱ２ｅｔが最大値であってＱ３ｅｔが次に大きな値であった場合、式（１０）は、次式（１１）となる。
【００２８】
【数１１】
2005056124.tif 000013
そして、弛緩整合手段１７は、顔部品ｉにおける対応度Γｉｋｔをそれらのうちの最大値で割って正規化された対応確率Ｐｉｋｔを算出する。対応確率Ｐｉｋｔは、式（１２）で表される。
【００２９】
【数１２】
2005056124.tif 000014
弛緩整合手段１７は、式（９），（１０），（１２）を用いた演算を所定回数ｔ（本実施形態では４回）繰り返す。
【００３０】
ステップＳ６の処理後、弛緩整合手段１７は、最後に得られた対応確率Ｐｉｋ４においてＰｉｋ４＝１となるｋを顔部品ｉの位置として記憶手段１６に記憶させる（ステップＳ７）。
【００３１】
本実施の形態では以下の効果が得られる。
（１−１）図２（ｃ）における画像ｇ（０１），ｇ（０２），ｇ（０３），ｇ（０４）は、算出された初期対応確率Ｐｉｋ０に基づいて得られる顔部品画像を表す。画像ｇ（１１），ｇ（１２），ｇ（１３），ｇ（１４）は、算出された対応確率Ｐｉｋ１に基づいて得られる顔部品画像を表し、画像ｇ（２１），ｇ（２２），ｇ（２３），ｇ（２４）は、算出された対応確率Ｐｉｋ２に基づいて得られる顔部品画像を表す。画像ｇ（３１），ｇ（３２），ｇ（３３），ｇ（３４）は、算出された対応確率Ｐｉｋ３に基づいて得られる顔部品画像を表し、画像ｇ（４１），ｇ（４２），ｇ（４３），ｇ（４４）は、算出された対応確率Ｐｉｋ４に基づいて得られる顔部品画像を表す。画像ｇ（４１），ｇ（４２），ｇ（４３），ｇ（４４）は、Ｐｉｋ４＝１となるｋを顔部品ｉの位置として決定された顔部品ｉの位置を表している。図２（ｃ）は、対応確率Ｐｉｋｔの変化過程を示すものであり、顔部品ｉの正しい位置での対応度が強調されてゆき、顔部品ｉの異なる位置での対応度が抑制されてゆく様子がわかる。
【００３２】
図１（ａ）における画像Ｇでは、顔部品である左目が隠蔽されている。図２（ａ）における枠Ｗ１，Ｗ３，Ｗ４は、顔部品位置検出装置１０によって検出された顔部品位置を概略的に表したものである。つまり、図２（ａ）における枠Ｗ１，Ｗ３，Ｗ４は、式（１０）に用いる近傍対応確率Ｑｊｅｔとして、値が最大の近傍対応確率と次に大きい近傍対応確率とを選択して演算した場合に検出される顔部品位置を概略的に表したものである。図２（ｂ）における枠Ｈ１，Ｈ３，Ｈ４は、式（１０）に用いる近傍対応確率Ｑｊｅｔとして全ての近傍対応確率Ｑｊｅｔを選択して演算した場合に検出される顔部品位置を概略的に表したものである。図２（ｂ）に示すように隠蔽されていない顔部品の位置が不正確になるのは、他の顔部品の隠蔽によって周辺適合確率ｑｉｋｔが下がってしまうためである。
【００３３】
本実施形態では、式（１０）に用いる近傍対応確率Ｑｊｅｔとして、例えば値が最大の近傍対応確率と次に大きい近傍対応確率とを選択する。換言すると、式（１０）に用いる近傍対応確率Ｑｊｅｔとして値が最小の近傍対応確率を排除するので、図２（ａ）に示すように一部の顔部品が隠蔽されている場合にも、隠蔽されていない顔部品の位置を精度良く検出することができる。
【００３４】
（１−２）一部の顔部品が部分的に隠蔽されていたり、顔が斜めや横を向いて顔部品の形状が変化したりした場合にも、顔部品の位置を精度良く検出することができる。
本発明では以下のような実施形態も可能である。
【００３５】
（１）式（１０）に用いる近傍対応確率Ｑｊｅｔとして、値が最大の近傍対応確率のみを選択してもよい。排除される近傍対応確率は、値が大きくなってゆく順に連続して並ぶ複数の近傍対応確率である。
【００３６】
（２）耳を顔部品としてもよい。
（３）眉を顔部品としてもよい。
（４）目の縁や口の端を顔部品としてもよい。つまり、目のうちの一部や口のうちの一部を顔部品と見なすこともできる。
【００３７】
前記した実施の形態から把握できる技術的思想について以下に記載する。
〔１〕前記排除される近傍対応確率は、少なくとも最小値の近傍対応確率を含む請求項１に記載の顔部品位置検出方法。
【００３８】
〔２〕前記排除される近傍対応確率は、値が大きくなってゆく順に連続して並ぶ複数の近傍対応確率である請求項１及び前記〔１〕項のいずれか１項に記載の顔部品位置検出方法。
【００３９】
〔３〕前記排除される近傍対応確率は、値が最大の近傍対応確率以外の全てである請求項１、前記〔１〕項及び〔２〕項のいずれか１項に記載の顔部品の位置検出方法。
〔４〕撮像された画像から顔領域を検出した後、検出された顔領域に対して４方向面特徴のテンプレートマッチングを行う請求項１、前記〔１〕項及び〔２〕項のいずれか１項に記載の顔部品の位置検出方法。
【００４０】
〔５〕撮像された画像から顔領域を検出する顔領域検出手段を備え、前記テンプレートマッチング手段は、前記顔領域検出手段によって検出された顔領域に対して４方向面特徴のテンプレートマッチングを行う請求項２に記載の顔部品位置検出装置。
【図面の簡単な説明】
【００４１】
【図１】（ａ）は、一実施形態の顔検出装置を示すブロック図。（ｂ）は、コンピュータの機能ブロック図。
【図２】（ａ），（ｂ）は、顔領域を表す画像図。（ｃ）は、対応確率Ｐｉｋｔの変化を示す説明図。
【図３】顔部品位置検出プログラムを表すフローチャート。
【符号の説明】
【００４２】
１０…顔部品位置検出装置。１１…ビデオカメラ（撮像手段）。１２…コンピュータ（顔領域検出手段、テンプレートマッチング手段、弛緩整合手段）。１４…顔領域検出手段。１５…テンプレートマッチング手段。１７…弛緩整合手段。Ｇ…画像。ｆ…顔領域。ｆ（１）…顔部品（右目）。ｆ（２）…顔部品（左目）。ｆ（３）…顔部品（口）。ｆ（４）…顔部品（鼻）。Γｉｋ０…初期類似度。ｑｉｋｔ…周辺適合確率。Ｑｊｅｔ…近傍対応確率。
【図１】
2005056124.tif 000015
【図２】
2005056124.tif 000016
【図３】
2005056124.tif 000017