(57)【要約】【課題】３次元モデル情報との整合性による顔の特徴点配置の判定を行なうことで、複数の特徴点組候補の検出における不適切な配置を排除する。【解決手段】人物の顔領域を含む画像を入力する画像入力部１２と、複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部１４と、検出された特徴点組と、顔の３次元モデル上の対応する特徴点組との対応付け誤差を算出する対応付け誤差算出部１６と、検出された特徴点組候補の配置の整合性を判定する整合性評価部１８とからなる。【選択図】      図１
2007233997.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔領域を含む画像を入力する画像入力部と、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部と、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶部と、
前記３次元モデル情報の複数種類の特徴点からなる特徴点組を２次元空間に射影し、前記射影した特徴点組の各特徴点と、前記検出された特徴点組候補の各特徴点とのそれぞれの誤差を算出する誤差算出部と、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択部と、
を備える顔特徴点検出装置。
【請求項２】
前記誤差算出部は、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記３次元モデル情報における特徴点組を前記射影行列で２次元空間に射影する、
請求項１記載の顔特徴点検出装置。
【請求項３】
前記誤差算出部は、
前記射影した特徴点の位置と前記特徴点組候補の特徴点の位置との距離を求め、
前記距離を前記特徴点組候補から算出される基準距離で正規化した値を前記誤差とする、
請求項１記載の顔特徴点検出装置。
【請求項４】
前記基準距離は、前記特徴点組候補に含まれる両瞳間の距離である、
請求項３記載の顔特徴点検出装置。
【請求項５】
前記選択部は、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項１記載の顔特徴点検出装置。
【請求項６】
前記特徴点組候補検出部においては、
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項１記載の顔特徴点検出装置。
【請求項７】
人物の顔領域を含む画像を入力し、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出し、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶し、
前記３次元モデル情報の複数種類の特徴点からなる特徴点組を２次元空間に射影し、前記射影した特徴点組の各特徴点と、前記検出された特徴点組候補の各特徴点とのそれぞれの誤差を算出し、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差が予め定めた条件を満たすものを、整合性のある特徴点組として選択する、
顔特徴点検出方法。
【請求項８】
前記誤差を算出するときは、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記３次元モデル情報における特徴点組を前記射影行列で２次元空間に射影する、
請求項７記載の顔特徴点検出方法。
【請求項９】
前記誤差を算出するときは、
前記射影した特徴点の位置と前記特徴点組候補の特徴点の位置との距離を求め、
前記距離を前記特徴点組候補から算出される基準距離で正規化した値を前記誤差とする、
請求項７記載の顔特徴点検出方法。
【請求項１０】
前記基準距離は、前記特徴点組候補に含まれる両瞳間の距離である、
請求項９記載の顔特徴点検出方法。
【請求項１１】
前記整合性のある特徴点組を選択するときは、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項７記載の顔特徴点検出方法。
【請求項１２】
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項７記載の顔特徴点検出方法。
【請求項１３】
人物の顔領域を含む画像を入力する画像入力機能と、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出機能と、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶機能と、
前記３次元モデル情報の複数種類の特徴点からなる特徴点組を２次元空間に射影し、前記射影した特徴点組の各特徴点と、前記検出された特徴点組候補の各特徴点とのそれぞれの誤差を算出する誤差算出機能と、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択機能と、
をコンピュータによって実現する、
顔特徴点検出プログラム。
【請求項１４】
前記誤差算出機能は、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記３次元モデル情報における特徴点組を前記射影行列で２次元空間に射影する、
請求項１３記載の顔特徴点検出プログラム。
【請求項１５】
前記誤差算出機能は、
前記射影した特徴点の位置と前記特徴点組候補の特徴点の位置との距離を求め、
前記距離を前記特徴点組候補から算出される基準距離で正規化した値を前記誤差とする、
請求項１３記載の顔特徴点検出プログラム。
【請求項１６】
前記基準距離は、前記特徴点組候補に含まれる両瞳間の距離である、
請求項１５記載の顔特徴点検出プログラム。
【請求項１７】
前記選択機能は、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項１３記載の顔特徴点検出プログラム。
【請求項１８】
前記特徴点組候補検出機能においては、
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項１３記載の顔特徴点検出プログラム。
【請求項１９】
人物の顔領域を含む画像を入力する画像入力部と、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部と、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶部と、
前記検出された特徴点組候補を３次元モデル上に射影し、前記射影した特徴点組候補の各特徴点と、前記３次元モデル情報の複数種類の特徴点からなる特徴点組の各特徴点とのそれぞれの誤差を算出する誤差算出部と、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差、または、それぞれの誤差を統合した値が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択部と、
を備える顔特徴点検出装置。
【請求項２０】
前記誤差算出部は、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記特徴点組を前記射影行列に関連づけられた変換により、前記３次元モデル上の座標に変換する、
請求項１９記載の顔特徴点検出装置。
【請求項２１】
前記変換した特徴点組候補の位置と前記３次元モデル上の特徴点組の位置との距離を求める、
請求項２０記載の顔特徴点検出装置。
【請求項２２】
前記求めた距離を３次元モデル空間内の瞳間距離で正規化する、
請求項２１記載の顔特徴点検出装置。
【請求項２３】
前記選択部は、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項１９記載の顔特徴点検出装置。
【請求項２４】
前記特徴点組候補検出部においては、
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項１９記載の顔特徴点検出装置。
【請求項２５】
人物の顔領域を含む画像を入力し、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出し、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶し、
前記検出された特徴点組候補を３次元モデル上に射影し、前記射影した特徴点組候補の各特徴点と、前記３次元モデル情報の複数種類の特徴点からなる特徴点組の各特徴点とのそれぞれの誤差を算出し、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差、または、それぞれの誤差を統合した値が予め定めた条件を満たすものを、整合性のある特徴点組として選択する、
顔特徴点検出方法。
【請求項２６】
前記誤差を算出するときは、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記特徴点組を前記射影行列に関連づけられた変換により、前記３次元モデル上の座標に変換する、
請求項２５記載の顔特徴点検出方法。
【請求項２７】
前記変換した特徴点組候補の位置と前記３次元モデル上の特徴点組の位置との距離を求める、
請求項２６記載の顔特徴点検出方法。
【請求項２８】
前記求めた距離を３次元モデル空間内の瞳間距離で正規化する
請求項２７記載の顔特徴点検出方法。
【請求項２９】
前記整合性のある特徴点組を選択するときは、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項２５記載の顔特徴点検出方法。
【請求項３０】
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項２５記載の顔特徴点検出方法。
【請求項３１】
人物の顔領域を含む画像を入力する画像入力機能と、
前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出機能と、
顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶機能と、
前記検出された特徴点組候補を３次元モデル上に射影し、前記射影した特徴点組候補の各特徴点と、前記３次元モデル情報の複数種類の特徴点からなる特徴点組の各特徴点とのそれぞれの誤差を算出する誤差算出機能と、
前記特徴点組候補のうち前記各特徴点のそれぞれの誤差、または、それぞれの誤差を統合した値が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択機能と、
をコンピュータによって実現する顔特徴点検出プログラム。
【請求項３２】
前記誤差算出機能は、
前記特徴点組候補と前記３次元モデル情報における特徴点組から、前記３次元モデル情報における特徴点組を２次元空間に射影する射影行列を求め、
前記特徴点組を前記射影行列に関連づけられた変換により、前記３次元モデル上の座標に変換する、
請求項３１記載の顔特徴点検出プログラム。
【請求項３３】
前記変換した特徴点組候補の位置と前記３次元モデル上の特徴点組の位置との距離を求める、
請求項３２記載の顔特徴点検出プログラム。
【請求項３４】
前記求めた距離を３次元モデル空間内の瞳間距離で正規化する、
請求項３３記載の顔特徴点検出プログラム。
【請求項３５】
前記選択機能は、
前記特徴点組候補に属する各特徴点の誤差の中で最大の誤差を求め、
前記最大の誤差が閾値より小さいときに前記特徴点組候補を整合性のある特徴点組として選択する、
請求項３１記載の顔特徴点検出プログラム。
【請求項３６】
前記特徴点組候補検出機能においては、
前記画像から顔の中の特定の特徴点を検出する処理を行うための特徴点ブロックが前記特定の特徴点毎にそれぞれ備えられ、
前記複数の特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられ、
前記複数の特徴点ブロックの中で他の特徴点ブロックに依存しない親ブロックのみ単独で前記画像から前記特徴点組候補の検出を行ない、
前記親ブロックに依存する特徴点ブロックにおいては、前記画像及び前記親ブロックに属する特徴点組候補に関する情報を用いて前記特徴点組候補の検出を行なう、
請求項３１記載の顔特徴点検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔特徴点検出装置及びその方法に関する。
【背景技術】
【０００２】
従来、顔特徴点を検出する方法として、例えば、特許文献１に示されているように、分離度フィルタにより特徴点候補を検出し、それらを組み合わせたときの特徴点配置の評価により特徴点組を選択し、顔の部分領域のテンプレート照合を行なうものがある。
【特許文献１】特許第３２７９９１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術における特徴点配置の評価は、２次元空間で行なわれており、顔向きの変化などへの対応が困難であるという問題点があった。
【０００４】
そこで、本発明は、上記問題点を解決するためになされたものであって、複数の顔特徴点の検出において、不適切な配置を簡単に除去する顔特徴点検出装置及びその方法を提供する。
【課題を解決するための手段】
【０００５】
本発明は、人物の顔領域を含む画像を入力する画像入力部と、前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部と、顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶部と、前記３次元モデル情報の複数種類の特徴点からなる特徴点組を２次元空間に射影し、前記射影した特徴点組の各特徴点と、前記検出された特徴点組候補の各特徴点とのそれぞれの誤差を算出する誤差算出部と、前記特徴点組候補のうち前記各特徴点のそれぞれの誤差が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択部と、を備える顔特徴点検出装置である。
【０００６】
また、本発明は、人物の顔領域を含む画像を入力する画像入力部と、前記画像から顔に関する複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部と、顔の３次元モデル上の複数の顔の特徴点の種類及び位置の情報を有する３次元モデル情報を記憶するモデル情報記憶部と、前記検出された特徴点組候補を３次元モデル上に射影し、前記射影した特徴点組候補の各特徴点と、前記３次元モデル情報の複数種類の特徴点からなる特徴点組の各特徴点とのそれぞれの誤差を算出する誤差算出部と、記特徴点組候補のうち前記各特徴点のそれぞれの誤差、または、それぞれの誤差を統合した値が予め定めた条件を満たすものを、整合性のある特徴点組として選択する選択部と、を備える顔特徴点検出装置である。
【発明の効果】
【０００７】
本発明によれば、複数の顔の特徴点の配置を顔の３次元モデル情報との整合性により評価することで、不適切な配置を簡単に除去できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施形態について説明する。
【０００９】
（第１の実施形態）
以下、本発明の第１の実施形態の顔特徴点検出装置１０について図１から図３に基づいて説明する。
【００１０】
（１）顔特徴点検出装置１０の構成
図１は、本実施形態に係わる顔特徴点検出装置１０を示すブロック図である。
【００１１】
顔特徴点検出装置１０は、人物の顔領域を含む画像を入力する画像入力部１２と、複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部１４と、顔の３次元形状上の対応する特徴点組との対応付け誤差を算出する対応付け誤差算出部１６と、前記誤差を特徴点組の選択に利用する整合性評価部１８とを備えている。
【００１２】
なお、各部１２〜１８の機能は、コンピュータに記憶されたプログラムによって実現できる。
【００１３】
（２）顔特徴点検出装置１０の動作
次に図１及び図２を用いて、顔特徴点検出装置１０の動作について説明する。なお、図２は顔特徴点検出装置１０の動作を示すフローチャートである。
【００１４】
（２−１）ステップ１
まず、画像入力部１２は、カメラや画像ファイルなどから人物の顔領域を含む一枚の画像を入力する。
【００１５】
（２−２）ステップ２
次に、特徴点組候補検出部１４は、前記一枚の画像から複数種類の特徴点を求め、これら特徴点の集合からなる特徴点組候補を複数検出する。本実施形態においては、瞳、鼻孔、口端の特徴点をそれぞれ２点、合計６点検出する場合を例にして説明する。ここで、合計６点の特徴点は、例えば画像の状態や検出時の誤差などによって、その位置が検出のたびに異なる可能性がある。そのため、同じ瞳、鼻孔、口端を検出しようとしてもこれらの特徴点の候補は、複数存在する。そして、本実施形態では、その中で最もよい配置にある特徴点の集合を検出しようとするものである。
【００１６】
特徴点組候補の検出には、基本的に特許文献１に示されている円形分離度フィルタのような画像特徴点検出と、パターン照合を組み合わせた方式を用いる。まず、特許文献１に示されている円形分離度フィルタを用いて画像特徴点を検出する。
【００１７】
なお、画像特徴点検出方法として円形分離度フィルタを用いるが、他の方法であってもよい。例えばコーナー検出などでもよい。
【００１８】
（２−３）ステップ３
次に、検出された各画像特徴点に対してパターン照合処理を行なう。
【００１９】
これは、各画像特徴点の近傍において分離度フィルタの半径に応じた局所正規化画像を取得し、この正規化画像と予め瞳、鼻孔、口端の周辺の画像から作成しておいた辞書との類似度を算出する。類似度の算出には特許文献１と同様に部分空間法を用いる。各画像特徴点において算出された類似度が、所定の閾値を超えるものを特徴点候補として残す。
【００２０】
（２−４）ステップ４
次に、左右瞳、左右鼻孔、左右口端を所定の位置条件を満たす組合せを選択する。所定の位置関係とは左右の点を結ぶ線分の距離、角度等である。
【００２１】
さらに、それらの２点を基準に正規化した画像により、局所正規化画像と同様に予め作成しておいた辞書との類似度を求め、その類似度が所定の閾値を超えることを条件としてもよい。
【００２２】
（２−５）ステップ５
次に、選択された各特徴点候補を組合せることにより特徴点組候補を作成する。前記したようにこの特徴点組候補は複数存在する。
【００２３】
（２−６）ステップ６
次に、対応付け誤差算出部１６は、検出された複数の特徴点組候補と顔の３次元形状上に対応する特徴点組との対応付け誤差をそれぞれ算出する。この算出は以下のように行なう。但し、予め標準的な顔の３次元形状情報（以下、「３次元モデル情報」という）を保持しておく。また、この３次元モデル情報には検出されるべき顔特徴点（左右瞳、左右鼻孔、左右口端）に対応する位置情報が含まれているものとする。
【００２４】
まず、複数の特徴点組候補の中から一つの特徴点組候補を選択し、この選択した一つの特徴点組候補に属する特徴点の対応誤差を求める。
【００２５】
特許文献２（特開２００３−１４１５５２公報）に開示されている因子分解法を用いた方法により、３次元モデル情報上の特徴点の位置を並べた形状行列Ｓと、入力画像上の特徴点の位置を並べた観測行列Ｗから、対応付けを表す運動行列Ｍを計算する。ここで、特徴点の位置とは、例えば、左右瞳、左右鼻孔、左右口端の特徴点の位置であり、観測行列Ｗの特徴点の位置は前記選択した一つの特徴点組候補の各特徴点の位置である。したがって、選択した一つの特徴点組候補が異なれば観測行列Ｗも異なる。
【００２６】
得られた運動行列Ｍは、３次元モデル情報上の特徴点を画像上に射影した場合、画像上の特徴点との誤差が最小となるような射影行列とみなすことができる。この射影関係に基づいて、３次元モデル情報上のｉ番目の特徴点の座標（Ｘｉ，Ｙｉ，Ｚｉ）を画像上に射影したｉ番目の特徴点の座標（ｘ’ｉ，ｙ’ｉ）は運動行列Ｍにより、式（１）で求められる。それぞれの特徴点組候補の全ての顔特徴点ｉに対して求める。但し、座標点は予め重心位置を基準にしたものとする。
【００２７】
（ｘ’ｉ，ｙ’ｉ）Ｔ＝Ｍ（Ｘｉ，Ｙｉ，Ｚｉ）Ｔ    ・・・（１）
図３は３次元モデル情報上の特徴点を運動行列Ｍにより射影する様子を示したものである。さらに式（１）で求められた（ｘ’ｉ，ｙ’ｉ）と、検出された顔特徴点（ｘｉ，ｙｉ）との距離ｄｉを求める。
【００２８】
ｄｉ＝｛（ｘ’ｉ−ｘｉ）２＋（ｙ’ｉ−ｙｉ）２｝１／２      ・・・（２）
（２−７）ステップ７
このようにして求められた距離ｄｉを予め定めた基準特徴点の関係から得られる基準距離ｄ０で除したものが対応付け誤差ｅｉとなる。
【００２９】
ｅｉ＝ｄｉ／ｄ０      ・・・（３）
ここではこの基準距離ｄ０を特定の特徴点間の距離（ここでは両瞳とする）とする。
【００３０】
ｄ０＝｛（ｘｌｅ−ｘｒｅ）２＋（ｙｌｅ−ｙｒｅ）２｝１／２      ・・・（４）
但し、（ｘｌｅ，ｙｌｅ）と（ｘｒｅ，ｙｒｅ）はそれぞれ左瞳、右瞳の座標を表わす。
【００３１】
これらをそれぞれの特徴点組候補の全ての特徴点ｉに対して求める。
【００３２】
（２−８）ステップ８
次に、整合性評価部１８は、対応付け誤差算出部１６において算出された対応付け誤差ｅｉを用いて、個々の特徴点組候補について、その配置の整合性を評価する。
【００３３】
整合性の判定は次のように行なう。
【００３４】
・ある特徴点組候補に属する特徴点ｉのそれぞれの対応付け誤差ｅｉを求める。
【００３５】
・これら対応付け誤差ｅｉのうち、誤差が最大となる特徴点ｉｍａｘを求める。
【００３６】
・特徴点ｉｍａｘの対応付け誤差ｅｉ（＝ｅｉｍａｘとする）を求める。
【００３７】
・最大の対応付け誤差ｅｉｍａｘが所定の閾値を超えるか否かを判断する。
【００３８】
そして、ｅｉｍａｘが閾値以下のときは整合性があると判定する。所定の閾値としては、０．２程度が実験的に望ましい。しかし、実際には対象とする特徴点の種類などによって適切に閾値を選択すればよい。
【００３９】
上記のようにして、全ての特徴点組候補が整合性があるか否かを判断する。そして、整合性のある特徴点組候補が複数存在する場合は、この中から一つの最適な特徴点組を選択する。この最適な特徴点組は、式（５）から評価値Ｓｔｏｔａｌを求め、この評価値Ｓｔｏｔａｌが最大になるものを選択する。
【００４０】
Ｓｔｏｔａｌ＝Ｓｓｅｐ＋Ｓｓｉｍ−αｇｅｉｍａｘ      ・・・（５）
但し、Ｓｓｅｐは特徴点組候補検出部１４において得られる画像特徴点検出のスコア（分離度値の和）、Ｓｓｉｍはパターン照合の際のスコア（各類似度値の和）、αｇは所定の係数である。
【００４１】
なお、複数の特徴点組を検出する場合においては、評価値Ｓｔｏｔａｌが上位になるものを選択すればよい。また、その際、相互に重なりがあればそれを除去する手段を加えるとよい。
【００４２】
（３）効果
このように本実施形態に係わる顔特徴点検出装置１０によれば、複数の特徴点の配置を３次元モデル情報との整合性により評価することで、不適切な配置を簡単に除去できる。
【００４３】
（第２の実施形態）
以下、本発明の第２の実施形態の顔特徴点検出装置１０について図４と図５に基づいて説明する。
【００４４】
（１）顔特徴点検出装置１０の構成
図４は、本実施形態に係わる顔特徴点検出装置１０を示すブロック図である。構成の基本的な部分は第１の実施形態と同様である。
【００４５】
顔特徴点検出装置１０は、人物の顔領域を含む画像を入力する画像入力部１２と、複数種類の特徴点からなる特徴点組候補を検出する特徴点組候補検出部１４と、顔の３次元形状上の対応する特徴点組との対応付け誤差を算出する対応付け誤差算出部１６と、前記誤差を特徴点組の選択に利用する整合性評価部１８とを備えている。
【００４６】
そして、本実施形態では、特徴点候補検出部１４の構造が第１の実施形態と異なる。この特徴点候補検出部１４は、図４に示すように、特徴点ブロックに関する検出処理を行う特徴サブセット検出部２０を複数有している。特徴点ブロックは、一方的に依存関係を持つ有向グラフにより関連づけられている。他の特徴点ブロックに依存しない特徴点ブロックは単独で特徴点候補の検出を行なう。また、依存する特徴点ブロックを持つ特徴点ブロックは、依存する特徴点ブロックの検出結果を利用して検出を行なう。
【００４７】
ここで、特徴点ブロックをさらに説明すると、例えば左右の瞳の特徴点を検出しようとするときに、瞳検出方法によって特徴点を同時に検出する。この瞳に関する特徴点を検出しようとする処理を一つの特徴点ブロックとする。したがって、左右鼻孔と左右口端とでそれぞれ特徴点ブロックがある。各特徴点ブロックにおける検出処理は、図４中の特徴サブセット検出部２０において行なう。
【００４８】
（２）顔特徴点検出装置１０の動作
次に、顔特徴点検出装置１０の動作について説明する。画像入力部１２、対応付け誤差算出部１６、整合性評価部１８については第１の実施形態と同様である。ここでは、特徴点組候補検出部１４について説明する。本実施形態における特徴点組候補検出部１４は、第１の実施形態において検出した６点の特徴点に加えて、鼻頂点の位置も検出し、合計７点からなる特徴点組を検出するものとする。
【００４９】
検出すべき特徴点について予め図５に示すような特徴点グラフの設計を行なっておく。各特徴点の依存関係を有向グラフで表現したものである。但し、依存関係が循環しているところは、一つの特徴点ブロックとして表現することにより、非循環の有向グラフにする。また、他の特徴点ブロックに依存しない特徴点ブロックが１つになるようにする。以下、この依存しないブロックを「親ブロック」という。ここでの依存関係は位置の近接性のみならず、特徴点の性質の類似度合いにも基づき、同時に検出することが望ましいかどうかも基準とする。ブロックは入れ子になっていてもよい。
【００５０】
特徴点グラフに基づき、それぞれの特徴点候を検出する。
【００５１】
（２−１）左右の瞳の特徴点組候補の検出
特徴サブセット検出部２０は、親ブロックにあたる左右の瞳の特徴点を検出する。検出する方法は第１の実施形態と同様であるが、鼻孔や口端などの他の特徴点の組み合わせは考えず、単独で同時に検出する。但し、最後に特徴点組の選択を行なうため、複数の特徴点組候補を残しておく。
【００５２】
（２−２）口端の特徴点組候補の検出
検出された左右瞳の特徴点組候補のそれぞれに対して、鼻ブロック及び口端ブロックにおける特徴点組候補の検出を各特徴サブセット検出部２０が独立にそれぞれ行なう。
【００５３】
口端ブロックにおける検出は左右の口端の特徴点組候補を特徴サブセット検出部２０が検出する。検出方法は第１の実施形態と同様であるが、各左右瞳の特徴点組候補に対してそれぞれ所定の探索範囲を設定し、処理を行なうものとする。
【００５４】
また、固定されている瞳の特徴点組候補に対してそれぞれの口端位置及びその関係が妥当であるかどうかを判断してもよい。
【００５５】
また、口端の特徴点組候補が検出されなかった場合には、予め定めた瞳位置に対する口端の平均的な位置を出力する。このようにして位置を決めた場合を「推定された場合」と呼ぶことにする。その際には、式（５）で使う画像特徴点検出のスコア（Ｓｓｅｐ＋Ｓｓｉｍに相当）を「検出された場合」に比べて必ず低くなるように設定しておく。
【００５６】
（２−３）鼻孔の特徴点組候補の検出
鼻ブロック内の鼻孔ブロックにおいて鼻孔の特徴点組候補を同様に特徴サブセット検出部２０で検出する。
【００５７】
（２−４）鼻頂点の特徴点候補の検出
ここでさらに、検出された鼻孔の特徴点組候補に対して対応する鼻頂点を特徴サブセット検出部２０で検出する。鼻頂点の検出方法を以下に示す。
【００５８】
鼻頂点は、他の特徴点と比較して、明確なテクスチャ情報がなく、顔向きや照明によって見え方が変わるため、その検出は非常に困難であるが、ここでは鼻頂点は照明等の反射等により、周辺と比較して輝度が高くなっていると仮定し、そのような特徴点を検出することにする。
【００５９】
第１に、検出された鼻孔の位置を基準として探索範囲を設定する。
【００６０】
第２に、鼻孔の場合と同様に探索領域内で、円形分離度フィルタによる分離度のピークを検出する。しかし、このようにして検出された候補には、鼻孔検出の際に検出されるような暗い部分が含まれてしまう。そこで、検出された候補のうち、鼻孔検出時に検出された候補の近傍にある候補は対象から除外する処理を行なう。そのようにして残った候補の中で、さらに鼻孔を基準とする場合には鼻孔との幾何学的な位置関係により、不適切なものを除外する。
【００６１】
第３に、最も分離度値が高いものを鼻頂点として出力する。検出されなかった場合には、基準点から推定した位置を出力する。
【００６２】
（２−４）鼻孔が検出されなかった場合
なお、前段の鼻孔検出において鼻孔の特徴点組候補が検出されなかった場合には、瞳の位置を基準として同様に鼻頂点位置を検出する。その後、その鼻頂点位置を用いて鼻孔の特徴点組候補を再度検出する。検出されなかった場合には、基準点から推定した位置を出力する。このようにして鼻ブロックにおいてどちらかが検出されなかった場合でも相互に補完し合うことにより、ブロック全体として検出することが可能である。
【００６３】
（３）効果
このように本実施形態に係わる顔特徴点検出装置１０によれば、複数の特徴点の配置を３次元モデル情報との整合性により評価することで、不適切な配置を簡単に除去できる。
【００６４】
また、特徴点グラフの利用により、親ブロックの情報を用いてスケールや探索範囲を絞ることができ、組合せの爆発も起きないため、全ての組合せを用いる場合に比較して現実的な処理時間で処理を行なうことが可能である。
【００６５】
また、最後に配置の整合性を求めるため、途中、検出できない特徴点があった場合には推定により求めることで、全体としてある程度整合性の取れた位置に検出することが可能である。
【００６６】
（４）変更例
それぞれの特徴点組候補は親ブロック（瞳の特徴点組候補）に対して複数検出してもよい。その場合には、式（５）においてそれぞれ異なるスコアを設定することで、後でその差を評価値Ｓｔｏｔａｌに反映させることが望ましい。
【００６７】
（第３の実施形態）
以下、本発明の第３の実施形態の顔特徴点検出装置１０について説明する。本実施形態において検出する顔特徴点は第１の実施形態と同様であり、また構成も同様である。第１の実施形態と異なるのは、対応付け誤差算出部１６の部分である。
【００６８】
第１の実施形態においては、対応付け誤差算出部１６において、式（１）を用いて、３次元モデル上の特徴点を２次元空間の画像上に射影し、射影した特徴点と検出された特徴点候補との距離を計算することにより誤差を算出していた。しかし、本実施形態においては逆に、検出された２次元空間の特徴点候補を３次元上のモデル座標上に変換する処理を行なう。この様子を図６に示す。
【００６９】
前記座標変換は、２次元座標上（画像上）の点を３次元モデル内の（Ｘ，Ｙ）平面内に射影することに相当し、式（１）において（ｘ，ｙ）から（Ｘ，Ｙ，Ｚ）を求めることになるが、この問題は未知数より式の数が少ないため、不良設定問題となる。しかしながら、変換後のＺが３次元モデル上の特徴点と等しいという仮定をおけば、式（６）で表わされる式によって（Ｘ，Ｙ）を求めることができる。
【数１】
2007233997.tif 000003
【００７０】
このようにして検出された特徴点を３次元モデル上に変換した点（Ｘ，Ｙ）が求められれば、３次元モデル上の特徴点の位置との距離を求めることで、第１の実施形態と同様に、対応付け誤差を算出することができる。第１の実施形態において瞳間距離で正規化していた代わりに３次元モデル空間内の瞳間距離で正規化する。モデルが同一であれば、瞳間距離は一定であるから毎回計算する必要もない。
【００７１】
さらに３次元モデル上に変換することで、測定空間が正規化されたものとなるため、Ｘ，Ｙ座標において距離を別々に測定して最大値を求めたり、特徴点毎に異なる誤差の分散に応じて正規化を調整したり、それぞれの距離の二乗和の平方根の全体誤差とするといった誤差の統合が可能となり、各誤差を統合した値に基づいて整合性のある特徴点組を選択できる。
【００７２】
（変更例）
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７３】
（１）変更例１
上記実施形態では、整合性判定に対応付け誤差の最大値を用いたが、これに限られるものではない。例えば誤差の平均値などを用いてもよい。
【００７４】
（２）変更例２
複数の特徴点のうち、信頼性が低いような特徴点、もしくは個人差が大きく、標準的な顔の３次元形状を用いると誤差が出やすい特徴点については評価から外すといったことも可能である。
【００７５】
（３）変更例３
上記第１の実施形態では６種類、第２の実施形態では７種類の特徴点からなる特徴点組を検出する例について示したが、特徴点の種類はこれらに限定されるものではない。人物の顔領域において定義可能な点であれば用いることが可能である。本実施形態で示した以外に、例えば目頭、目尻、眉端、口中点なども利用できる。
【００７６】
（４）変更例４
上記実施形態により検出された特徴点組候補は全体的な位置のバランスを重んじているため、個々の特徴点位置に関しての精度が他の特徴点の影響で悪化することもありうるが、検出された特徴点組に対して、さらにそれを初期値として精度の高い検出処理を後処理として加えてもよい。
【００７７】
本実施形態によりかなり近い位置に顔の特徴点が検出できるため、初期値依存が大きく、繰り返しを伴うような処理も有効である。
【００７８】
（５）変更例５
上記実施形態における整合性評価部１８は、全体的な判定を行なうのみであった。
【００７９】
これに代えて、例えば検出された特徴点組候補内において少数（例えば１点）のみが高い誤差を持つような場合には、その点のみを複数の特徴点組候補の別の点と入れ替え、または、推定された場合の点と入れ替えることにより、誤差が所定の範囲となる場合にはそのような入れ替え処理を行なってもよい。また、誤差が大きい特徴点に対して、誤差が少なくなるように、その位置を逐次的に移動させるといった処理を行なってもよい。例えば、射影された特徴点位置に近づくように移動させればよい。
【００８０】
（６）変更例６
上記実施形態における基準距離は瞳間の距離を用いたが、これに限られるものではなく、顔のサイズを表わすものであれば差し支えない。
【００８１】
（７）変更例７
上記実施形態においては単一の標準的な顔の３次元形状を用いたが、これは複数種類あっても差し支えない。複数ある場合はそれらのうち最も誤差が小さくなるものを採用するといった選択方法を用いることができる。
【００８２】
（８）変更例８
上記実施形態においては、画像入力部において入力された画像から直接、顔特徴点検出を行なったが、前段に顔領域検出を加えることで、当該領域のみを顔特徴点検出の対象領域としてもよい。また、顔領域を複数検出し、それぞれに対して顔特徴点検出を行なってもよい。
【図面の簡単な説明】
【００８３】
【図１】本発明の第１の実施形態に係わる顔特徴点検出装置の構成を示すブロック図である。
【図２】第１の実施形態の動作を示すフローチャートである。
【図３】運動行列により３次元形状上の特徴点を画像上に射影する様子を表わす図である。
【図４】第２の実施形態に係わる顔特徴点検出装置の構成を示すブロック図である。
【図５】第２の実施形態に係わる特徴点グラフの例である。
【図６】運動行列に関連付けられた変換により画像上の特徴点を３次元形状上に射影する様子を表わす図である。
【符号の説明】
【００８４】
１０      顔特徴点検出装置
１２      画像入力部
１４      特徴点組候補検出部
１６      対応付け誤差算出部
１８      整合性評価部
【図１】
2007233997.tif 000004
【図２】
2007233997.tif 000005
【図３】
2007233997.tif 000006
【図４】
2007233997.tif 000007
【図５】
2007233997.tif 000008
【図６】
2007233997.tif 000009