(57)【要約】【課題】隠蔽領域があると、特徴点を安定して検出できなかった。【解決手段】入力画像から対象物を検出する対象物検出部１０１と、前記対象物検出部が出力する尤度Ａを用いて各特徴点の重みを設定する重み設定部１０２Ａと、特徴点の統計的な位置関係を表す形状モデル、および、同各特徴点位置に対して予め定義された範囲の特徴量を表すプロファイルを保持する学習結果記憶部１０４と、各特徴点の最良な候補位置を探索する候補点探索部１０３と、候補点を形状モデルに整形係数を用いて射影する整形処理部１０５からなるものであり、前記重み設定部１０２Ａで設定した各特徴点に対する重みを用いて、同特徴点の候補位置と対応する形状モデル内の特徴点位置との差に対し重み付けし、前記整形係数を計算する。【選択図】図１
2011232845.tif 000002
【特許請求の範囲】
【請求項１】
対象物の特徴点の統計的な位置関係を表す形状モデルを保持する学習結果保持部と、
画像を入力する入力部と、
前記入力画像に応じて前記特徴点に重みを設定する重み設定部と、
前記入力画像の前記特徴点に対する候補位置を探索する候補点探索部と、
前記特徴点に対する重みに応じて、前記特徴点に対する候補位置を前記形状モデルに射影する
整形処理部とから構成される特徴点抽出装置。
【請求項２】
前記入力画像内の対象物が占める領域を対象物特徴量に基づき検出する対象物検出部とを有し、
前記重み設定部は前記対象物特徴量から前記特徴点に対する重みを設定し、
前記学習結果保持部はさらに、
前記特徴点位置に対して予め定義された範囲の特徴量を表す学習プロファイルと、前記特徴点の平均位置を保持し、
前記候補点探索部は前記特徴点位置に対する前記入力画像の探索基点から予め定義された範囲の特徴量を現す候補プロファイルと
前記学習プロファイルとから
前記特徴点の候補位置を探索し、
前記整形処理部は、前記特徴点に対する重みと前記候補位置と前記平均位置から整形係数を求め、
前記候補点探索部で得られた各特徴点の候補位置を
前記整形係数を用いることにより形状モデルへ射影することを特徴とする
前記請求項１に記載の特徴点抽出装置。
【請求項３】
前記重み設定部は、各特徴点位置周辺、前記対象物検出部で利用する対象物特徴量の統計により算出した尤度をもとに、重みを設定する前記請求項１または２に記載の特徴点抽出装置。
【請求項４】
前記対象物検出部は対象物の構成要素毎に対象物を検出し、
前記重み設定部は、前記対象物検出部において検出されなかった構成要素に
属する特徴点に対する重みを小さく、検出された構成要素に属する特徴点に対する重みを大きく設定する前記請求項１、２または３に記載の特徴点抽出装置。
【請求項５】
前記特徴点の候補位置におけるプロファイルおよび前記学習結果記憶部に保持されるプロファイルは、特徴点位置周辺の画像から算出される複数の構成要素からなり、
前記候補点探索部は、前記両プロファイルの構成要素同士の一致度により、最良の候補位置を探索し、前記重み設定部は、前記学習結果記憶部に保持されているプロファイルの構成要素の内、背景にあたる部分に対する重みを小さく設定する前記請求項１、２または３に記載の特徴点抽出装置。
【請求項６】
前記重み設定部は、学習用画像における各特徴点の統計的なばらつきに応じて重みを設定する前記請求項１、２または３に記載の特徴点抽出装置。
【請求項７】
前記対象物検出部が検出した画像内に占める対象物領域の大きさに応じて、前記候補点探索部および整形処理部で処理する特徴点の数を増減させる前記請求項１、２または３に記載の特徴点抽出装置。
【請求項８】
前記学習結果記憶部は、利用する特徴点の組み合わせごとに複数の形状モデルを保持する
前記請求項４、５または８の特徴点抽出装置。
【請求項９】
前記候補点探索部は、前記重み設定部で設定された各特徴点位置の重みに応じて、
候補点の探索を選択的に実施する前期請求項１、２または３の特徴点抽出装置。
【請求項１０】
前記重み設定部は、特徴点抽出装置のユーザが設定した対象物の部分隠蔽領域やズーム状態をもとに、重みを設定する前記請求項１、２または３に記載の特徴点抽出装置。
【請求項１１】
前記候補点探索部と前記整形処理部における処理を繰り返し行う場合、
前記重み設定部は、前の整形処理結果をもとに
重みを更新する前記請求項１、２または３に記載の特徴点抽出装置。
【請求項１２】
対象物の特徴点の統計的な位置関係を表す形状モデルを保持する学習結果保持ステップと、
画像を入力する入力ステップと、
前記入力画像に応じて前記特徴点に重みを設定する重み設定ステップと、
前記入力画像の前記特徴点に対する候補位置を探索する候補点探索ステップと、
前記特徴点に対する重みに応じて、前記特徴点に対する候補位置を前記形状モデルに射影する整形処理ステップとから構成される特徴点抽出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の中から対象物の特徴点を検出するための装置や方法やプログラム等に適用される技術に関するものである。
【背景技術】
【０００２】
画像から顔の特徴点(目、口、鼻の端点など)を抽出する際、一般的にはまず顔検出を行い、処理範囲を限定する。画像から検出された顔に対して徴点位置を得る方法（以下、「特徴点抽出方法」と呼ぶ）としては、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）と呼ばれる技術がある （非特許文献１）。上記特徴点抽出方法の手順を以下に説明する。
【０００３】
図１０はＡＳＭを実施するための特徴点抽出装置１０００の構成図である。
対象物検出部１００１は入力された画像から対象物（例えば顔）を検出し顔検出位置を算出する。
【０００４】
学習用の顔画像について取得された特徴点位置の統計的な位置関係を表す形状モデルと、同各特徴点位置に対して予め定義された範囲の特徴量を表すプロファイルが、学習結果記憶部１００４に保持される。前記形状モデルは、特徴点の平均的な位置を示す平均位置ベクトルと特徴点位置の統計的なばらつきを示す固有ベクトル行列からなる。
【０００５】
候補点探索部１００３は、学習結果記憶部１００４の保持する前記平均位置ベクトルと対象物検出部１００１が検出した顔検出位置から算出した初期位置を基点に、各特徴点の候補位置のプロファイルと前記学習記憶部に保持されるプロファイルとの差から各特徴点の最良な候補位置を探索する。
【０００６】
整形処理部１００５は、候補点と顔形状モデルにおいて対応する点との差分を用いて、候補点を顔形状モデルに射影する。射影後の候補点位置と新たな候補点位置との差が拘束条件を満たすまで、候補点探索および整形処理が繰り返し実行される。最終的な候補点位置が、特徴点の位置として判断される。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】S. Milborrow and F. Nicolls，”Locating Facial Features with an Extended Active Shape Model,” In Proceedings of ECCV，pp.504-513, 2008.
【非特許文献２】Jie Chen et al., "Modification of the AdaBoost-based Detector for Partially Occluded Faces," In Proceedings of IEEE ICPR, pp.516-519, 2006.
【非特許文献３】Kiyoto Ichikawa et al., "Component-based robust face detection using AdaBoost and decision tree," In Proceedings of IEEE FGR, pp.413-420, 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の技術には以下のような問題点がある。一般的に、マン・マシン・インタフェース等において、ユーザの動作や周辺環境によって、他の物体や拡大により顔の一部が隠れてしまったり、照明変動等で顔の一部が強く照らされたり、背景が学習用の画像と大きく異なる場合などがある。
【０００９】
一方、従来の技術では、図１０の候補点探索部１００３は顔全体の特徴点に対して候補位置探索を行い、取得される特徴点の候補位置は、保持されているプロファイルと探索範囲内で比較的一致度の高かった位置に過ぎない。つまり、偶然的に一致度が高ければ、どんな点でも候補点と成り得た。加えて、整形処理部１００５は、候補点と顔形状モデルにおいて対応する点との差分を直接利用して、候補点を顔形状モデルに射影するため、前述したユーザの動作や周辺環境に起因する候補点のずれは、全候補点の整形処理におけるずれを生じてしまっていた。
【００１０】
例えば、図１１のように、顔輪郭付近に壁や柱などのエッジや模様などがある複雑な背景１１０２の場合や、顎輪郭に似た襟などがある場合、候補点探索部１００３は顔領域から外れた位置を候補位置にとってしまい、最終的な特徴点抽出結果はその外れた位置１１０７に収束する。また、人の手などで顔が部分隠蔽された場合１１０１、候補点位置はそもそも顔ではない領域で取得されるので、大きくずれた候補点は部分隠蔽されていない領域の特徴点抽出に悪い影響を与えていた（１１０５）。
【００１１】
そこで本発明はこれらの問題を解決し、顔画像から特徴点の位置を、ユーザの動作や周辺環境に応じてより正確に検出することを可能とする装置やプログラム等を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の特徴点抽出装置は、対象物の特徴点の統計的な位置関係を表す形状モデルを保持する学習結果保持部と、画像を入力する入力部と、前記入力画像に応じて前記特徴点に重みを設定する重み設定部と、前記入力画像の前記特徴点に対する候補位置を探索する候補点探索部と、前記特徴点に対する重みに応じて、前記特徴点に対する候補位置を前記形状モデルに射影する整形処理部とを有している。
【００１３】
この構成により、前記候補位置を形状モデルに射影するという大域的な処理である整形処理に、前記入力画像に応じて設定された前記特徴点の重みを利用することで局所性も持たせることができるため、局所的な変動に強い特徴点抽出を実施することができる。
【００１４】
また、本発明の特徴点抽出装置は、前記入力画像内の対象物が占める領域を対象物特徴量に基づき検出する対象物検出部とを有し、前記重み設定部は前記対象物特徴量から前記特徴点に対する重みを設定し、前記学習結果保持部はさらに、前記特徴点位置に対して予め定義された範囲の特徴量を表す学習プロファイルと、前記特徴点の平均位置を保持し、前記候補点探索部は前記特徴点位置に対する前記入力画像の探索基点から予め定義された範囲の特徴量を現す候補プロファイルと前記学習プロファイルとから前記特徴点の候補位置を探索し、前記整形処理部は、前記特徴点に対する重みと前記候補位置と前記平均位置から整形係数を求め、前記候補点探索部で得られた各特徴点の候補位置を前記整形係数を用いることにより形状モデルへ射影することを特徴とするとしている。
【００１５】
この構成により、前記重み付け部は、前記対象物特徴量を利用することで、前記入力画像における各特徴点付近の局所的な状況を、候補点探索および整形処理に対するとして重みを設定できるため、部分隠蔽などの影響を受けにくい特徴点抽出を実施することができる。
【００１６】
さらに、本発明の特徴点抽出装置は、前記重み設定部は、各特徴点位置周辺、前記対象物検出部で利用する対象物特徴量の統計により算出した尤度をもとに、重みを設定する。
【００１７】
この構成により、対象物らしい領域に属する特徴点には高い重みを設定し、部分隠蔽領
域など対象物らしくない領域には低い重みを設定することで、対象物らしい領域に注力した特徴点抽出を実施することができる。
【００１８】
さらに、本発明の特徴点抽出装置は、前記対象物検出部は対象物の構成要素毎に対象物を検出し、前記重み設定部は、前記対象物検出部において検出されなかった構成要素に属する特徴点に対する重みを小さく、検出された構成要素に属する特徴点に対する重みを大きく設定する。
【００１９】
この構成により、ユーザの動きやカメラのズーム度合による対象物の構成要素の部位や大きさの変化に合わせて特徴点抽出を実施することができる。
【００２０】
さらに、本発明の特徴点抽出装置は、前記特徴点の候補位置におけるプロファイルおよび前記学習結果記憶部に保持されるプロファイルは、特徴点位置周辺の画像から算出される複数の構成要素からなり、前記候補点探索部は、前記両プロファイルの構成要素同士の一致度により、最良の候補位置を探索し、前記重み設定部は、前記学習結果記憶部に保持されているプロファイルの構成要素の内、背景にあたる部分に対する重みを小さく設定する。
【００２１】
この構成により、対象物の輪郭付近にある背景のエッジなどを特徴点として誤って抽出されるのを防ぐことができる。
【００２２】
さらに、本発明の特徴点抽出装置は、前記重み設定部は、学習用画像における各特徴点の統計的なばらつきに応じて重みを設定する。
【００２３】
この構成により、比較的ばらつきの大きい特徴点に対する重みを大きく設定することで、そのばらつきにより追従するように整形処理を施すことができる。
【００２４】
さらに、本発明の特徴点抽出装置は、前記対象物検出部が検出した画像内に占める対象物領域の大きさに応じて、前記候補点探索部および整形処理部で処理する特徴点の数を増減させる。
【００２５】
この構成により、対象物の構成要素が検出された場合、対象物全体が検出されたときよりも高い密度で特徴点を配置することで、精度の高い特徴点抽出をすることができる。
【００２６】
さらに、本発明の特徴点抽出装置は、前記学習結果記憶部は、利用する特徴点の組み合わせごとに複数の形状モデルを保持する。
【００２７】
この構成により、検出された対象物の構成要素の大きさや部位に応じて形状モデルを変えられるため、より精度の高い整形処理をすることができる。
【００２８】
さらに、本発明の特徴点抽出装置は、前記候補点探索部は、前記重み設定部で設定された各特徴点位置の重みに応じて、候補点の探索を選択的に実施する。
【００２９】
この構成により、候補点探索にかかる計算量を低減することができる。
【００３０】
さらに、本発明の特徴点抽出装置は、前記重み設定部は、特徴点抽出装置のユーザが設定した対象物の部分隠蔽領域やズーム状態をもとに、重みを設定する。
【００３１】
この構成により、ユーザが設定した重みに基づいて特徴点を抽出することができる。
【００３２】
さらに、本発明の特徴点抽出装置は、前記候補点探索部と前記整形処理部における処理を繰り返し行う場合、前記重み設定部は、前の整形処理結果をもとに重みを更新する。
【００３３】
この構成により、前記候補点探索部と前記整形処理部における処理を繰り返すことにより変化する候補点位置に合わせて、各位置での尤度に応じて動的に重みを更新しながら整形処理が実施できるため、より正確な特徴点抽出を
することができる。
【発明の効果】
【００３４】
本発明は、顔画像から特徴点の位置を、ユーザの動作や周辺環境に応じてより正確に検出できる効果がある。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施の形態における特徴点抽出装置のブロック図
【図２】本発明の第１の実施の形態における特徴点抽出装置の動作説明のためのフロー図
【図３】本発明の第１の実施の形態における重み設定部１０２Ａの説明のための図
【図４】顔画像から抽出された特徴点の例を示す図
【図５】本発明の第２の実施の形態における特徴点抽出装置のブロック図
【図６】本発明の第２の実施の形態における重み設定部１０２Ｂの説明のための図
【図７】本発明の第２の実施の形態における特徴点抽出装置を説明するために想定する状況を示すための図
【図８】本発明の第３の実施の形態を示す説明図
【図９】本発明の第３の実施の効果を示す説明図
【図１０】従来の技術における特徴点抽出装置のブロック図
【図１１】従来の技術における課題例と本発明の効果を示す図
【発明を実施するための形態】
【００３６】
（実施の形態１）
以下、本発明の実施例を、図面により詳細に説明する。図１は本発明を施した特徴点抽出装置１００の一実施例を示すブロック図である。
【００３７】
第１の実施の形態では、入力画像から対象物を検出する対象物検出部１０１と、前記対象物検出部が出力する尤度Ａを用いて各特徴点の重みを設定する重み設定部１０２Ａと、特徴点の統計的な位置関係を表す形状モデル、および、同各特徴点位置に対して予め定義された範囲の特徴量を表すプロファイルを保持する学習結果記憶部１０４と、各特徴点の最良な候補位置を探索する候補点探索部１０３と、候補点を形状モデルに射影する整形処理部１０５からなるものである。
【００３８】
なお、前記形状モデルは、数１に示される式に従って、特徴点の平均的な位置を示す平均位置ベクトルμと、数２に示される式のように特徴点位置の統計的なばらつきを示す固有ベクトル行列Ｐからなる。ここで、Ｎは顔画像の数あるいは特徴点ベクトルskの数、nは特徴点の数、jは特徴点番号、mは整形処理に利用する固有ベクトルの数、pmは固有ベクトルを示す。数１のように、特徴点ベクトルskは各特徴点のx,y座標から構成される。
【数１】
2011232845.tif 000003
【数２】
2011232845.tif 000004
【００３９】
以上のように構成された特徴点抽出装置について、図２に示すフローチャートを参照しながら、以下、その動作を説明する。
【００４０】
なお、本実施の形態では、図３に示すように、対象物は顔とし、遮蔽物で部分隠蔽されているとする。
【００４１】
まず、処理対象となる画像を読み込む(ステップＳ１０)。そして、対象物検出部１０１が同画像内での対象物の領域を検出する（ステップＳ１１）。対象物が顔の場合、非特許文献２が示すように、顔の部分領域毎に顔と非顔を識別する複数の顔特徴量が属しており、各部分領域で予め算出された顔特徴量の統計量から、同部分領域における顔らしさを示す尤度Ａjを算出し、各部分領域で顔か非顔の識別することで、部分的に隠蔽された顔をも検出を行うことができる。顔特徴量の具体例としては、Ｈａａｒ−ｌｉｋｅ特徴量やＬＢＰ特徴量などがある。具体的には、図３に示すように部分領域３０１としては、顔の左側、右側、左目、右目といった部分領域がある。
【００４２】
また、ここで算出される尤度Ａは、その値が高い領域には顔の一部があり、その値が低い領域には顔以外(例:背景)か隠蔽物である可能性が高いことを示す。
【００４３】
なお、非特許文献２に示す顔検出方法や特徴量は一例である。本発明は同方法によらず、尤度に基づき顔が検出できる方法であればどのような方法でも良い。現在アダブーストにより学習した様々な種類の顔特徴量を用いた顔検出方法が多く提案されているが、いずれの方法であっても、同顔特徴量に対する尤度に基づき顔検出を行っているので、本発明の対象物検出部として利用できる。
【００４４】
次に、重み設定部１０２Ａが、対象物検出部１０１によって算出される尤度Ａjを使って、各特徴点位置について重みｗjを設定する（ステップＳ１２）。対象物検出部１０１は、非特許文献２が示すように、顔の部分領域毎に顔と非顔を識別する複数の顔特徴量が属している。各部分領域で予め算出された顔特徴量の統計量から、同部分領域における顔らしさを示す尤度Ａjを算出し、各部分領域で顔か非顔の識別が行われる。
【００４５】
図３が示すように、各特徴点が示す部分に対応する対象物検出部１０１における部分領域３０１毎に、特徴点３０２を対応させておけば、各部分領域毎の尤度Ａjから各特徴点に対する重みｗjを要素とする重みベクトルｗを設定することができる。ここで、Ａminは各特徴点位置の尤度Ａjの最小値、Ａmaxは各特徴点位置の尤度Ａjの最大値である。
【００４６】
【数３】
2011232845.tif 000005
【００４７】
この結果、図３の３０２に示すように、部分隠蔽がある領域での尤度は低くなり、そうではない領域については尤度が高くなる。つまり、部分隠蔽がある領域では重みが低く設定されることになり、そうではない領域については重みが高く設定される。なお、各特徴点に対する重みｗjは、各特徴点の統計的なばらつきから決定しても良い。例えば、目や
口付近に位置する特徴点などに比べ、眉毛や鼻付近の特徴点は比較的変化が少ないため、つまりばらつきが小さい。このような場合、重みを高く設定しても良い。これにより、顔の領域毎の尤度に応じて特徴点抽出を行うことができるため、部分隠蔽されていない領域での特徴点抽出を優先的に実施することが可能になり、部分隠蔽による候補点位置の大きなずれの影響を抑えることができる。
【００４８】
次に、繰り返し回数iを１にし、各特徴点jにおける候補点探索の基点位置(xj,yj)を要素とするベクトルss(i)=[x1,…,xn,y1,…yn]を、平均ベクトルμの要素で初期化する（ステップＳ１３）。
【００４９】
次に、各特徴点について数４に示されるように、候補点探索部１０３は、入力画像において入力画像の探索基点(xj,yj)から、位置(x,y)毎に取得されるプロファイルｇ(x,y)と、学習結果記憶部１０４が保持するプロファイルｇとの非類似度f(x,y)をもとに、最も非類似度の低い最良な候補点位置(xj’,yj’)を探索し（ステップＳ１４）、最良な候補点位置(xj’,yj’)を要素とする候補点位置ベクトルをscで示す。ここで、Σｇは学習結果記憶部１０４が保持するプロファイルｇの共分散行列である。
【００５０】
【数４】
2011232845.tif 000006
【００５１】
なお、プロファイルは特徴点位置周辺の画像から算出される複数の構成要素（例えば画素値や微分画像）からなり、学習結果記憶部に保持されているプロファイルの構成要素の内、背景にあたる部分に対する寄与率を小さく設定しても良い。これにより、実環境における複雑な背景に含まれる紛らわしいエッジなどを候補点としてしまうのを防ぐことができる。なお、プロファイルとして利用される特徴量は、特徴点周辺の輝度やそれの微分値、ＳＩＦＴ特徴量などが利用される。
【００５２】
また、重み設定部１０２Ａで設定した重みが、事前に定義した閾値以下あるいは０である特徴点位置については、候補点位置を探索しなくても良い。これにより候補点位置探索の処理量を削減することが可能になる。
【００５３】
次に、整形処理部１０５が候補点位置（ｘ’、ｙ’）を形状モデルに射影する(ステップＳ１５)。整形処理部１０５は、数５に示される式によって、候補点位置ベクトルscを形状モデルに射影するための整形係数ｂを算出する。整形係数ｂは、候補点位置ベクトルscと平均ベクトルμとの差分ベクトルの各要素に、重みベクトルｗの各要素ｗjを掛け合わせたベクトルｄと、固有ベクトル行列Ｐとの積により算出する。
【００５４】
【数５】
2011232845.tif 000007
【００５５】
ここで、各特徴点位置に、当該特徴点周辺の顔検出の尤度に基づき決定した重みが差分ベクトルに掛け合わされている。このため、尤度が低く重みが小さい値に設定された特徴点位置に対する差分は、整形係数ｂ算出への影響度合いが小さくなる。その結果、対象物らしさの高い領域に位置する特徴点を重視した特徴点抽出が可能になり、部分隠蔽による整形処理への影響を抑えることができる。
【００５６】
次に、形状モデルに拘束条件を持たせるため、予め定義した閾値ｂMAXより整形係数ｂが小さいか否かを判定する(ステップＳ１６)。整形係数ｂがｂMAX以上の場合は、ｂ＝ｂMAXとして、形状モデルのばらつきを抑え、ステップＳ１８へ以降する（ステップＳ１７）。拘束条件を満たす場合は、そのまま、ステップＳ１８へ移行する。
【００５７】
ステップＳ１８では、繰り返し回数iを更新した後、数６に示される数式のように、数拘束条件内におさえられた整形係数ｂにより、候補点位置ベクトルscを形状モデルに射影して、候補点探索の新たな起点位置となるベクトルss(i)を計算する。
【００５８】
【数６】
2011232845.tif 000008
【００５９】
繰り返し回数iが最大繰り返し回数iMAXより下または候補点位置ベクトルscと探索の基点位置ベクトルss(i-1)の差|| ss(i-1)−sc ||が予め定義した閾値εよりも小さいか否かを判定して、条件を満たしていなければステップＳ１４へ移行し、条件を満たしていれば繰り返し処理を終了し、ss(i)を特徴点抽出結果として出力する(ステップＳ１９)。
【００６０】
以上のように、ステップＳ１９における拘束条件を満たすまで、ステップＳ１４〜Ｓ１９を繰り返し実施する。図４には、顔画像から抽出された特徴点の例を示す。
【００６１】
なお、候補点探索と整形処理の各繰り返しにおいて、候補点探索の基点が変化していくことから、対象物検出部１０１が有する各部分領域における尤度Ａjから重みｗjを再計算しても良い。特徴点抽出の過程において、候補点探索と整形処理を繰り返す度に特徴点抽出位置の精度は徐々に上がっていくことから、精度の高い重み付けが可能となり、より正確な特徴点抽出が期待できる。
【００６２】
なお、学習結果記憶部１０４は複数の形状モデルを保持し、顔の部分隠蔽領域の位置や大きさに応じて、候補点探索の起点として利用する形状モデルを選択しても良い。これにより、顔の部分隠蔽領域に応じて学習された形状モデルを使うことで、より精度の高い特徴点抽出が可能となる。
【００６３】
本実施の形態１によれば、上記の構成により、重み設定部１０２Ａで設定した各特徴点に対する重みを、整形処理部１０５で活用することで、部分隠蔽された顔の検出状況に応じた整形処理を可能にして、ユーザの動作や周辺環境に応じてより正確に検出することができる。
【００６４】
なお、本発明の実施の形態１では、対象物が顔である場合の例を挙げてその動作を説明しが、前記対象物は人または、手足、胴、肩を少なくとも含む人の構成要素、顔または、目・鼻・口・眉・顎・耳を少なくとも含む顔の構成要素、動物または、尾、目、鼻、口、耳を少なくとも含む動物の構成要素、車または、ボンネット、サイドミラー、ナンバープレートを少なくとも含む車の構成要素、レントゲン画像における内臓等、形状モデルを設定できるものあっても良い。
【００６５】
(実施の形態２)
図５は本発明を施した第２の実施形態における特徴点抽出装置２００の一実施例を示すブロック図である。第２の実施形態の特徴点抽出装置では、対象物検出部１０１から対象物部位情報Ｂを受け取って各特徴点に対する重みを設定する重み設定部１０２Ｂが備えら
れている。その他の構成は第１の実施形態（図１）と変わりがない。
【００６６】
対象物検出部１０１は実施の形態１同様に顔を検出する。以下、重み設定部１０２Ｂの動作を説明する。
【００６７】
本実施の形態では、図６に例を示す状況を想定する。
図６は、６０１と６０２にて、ユーザ６０３とカメラ６０４の位置とその時間変化を示し、それぞれの時間で対象物検出部へ入力される画像を６１１と６１２に示す。ユーザ６０３がカメラ６０４に近付くことにより、顔の構成要素が入力画像の大部分を占めるようになる。なお、カメラ６０４側がユーザ６０３の顔をズームアップすることで、図５と同様の状況になる場合も考えられる。
【００６８】
対象物検出部１０１は、非特許文献３に示されるように、顔に加えて、目、口、鼻など顔の構成要素毎に用意された識別器によって対象物検出を行う。図６の６０２の状況では、図７のように、左目と鼻を含む領域が対象物検出部１０１で検出される。非特許文献３は、顔の構成要素毎の対象物検出手法のみを論じたもので、これでは特徴点抽出はできない。
【００６９】
重み設定部１０２Ｂは、各特徴点がどの部位に対応するかの情報を保持しており、対象物検出部１０１から受け取った対象物部位情報Ｂに基いて、検出されなかった構成要素に属する特徴点に対する重みを小さく、検出された構成要素に属する特徴点に対する重みを大きく設定する。図７の例では、左目と鼻に属する特徴点の重みは高くなり、それ以外の部位である例えば口に属する部位の特徴点の重みは低くなる。
【００７０】
なお、顔の構成要素が占める領域の大きさに応じて、候補点探索部１０３および整形処理部１０５で処理する特徴点の数を増減させても良い。これにより、図６の６０２のように、顔の一部の領域しか特徴点抽出に利用できない場合でも、抽出する特徴点数を増加させることで、特徴点抽出の精度を高めることができる。例えば、顔の一部が大きく拡大される場合、拡大される前に利用していた特徴点間の画像上の距離は大きくなるため、もとの特徴点の間を補間するように特徴点を増加させることで、精度の向上を図ることができる。
【００７１】
なお、学習結果記憶部１０４は、特徴点数や組み合わせの異なる複数の形状モデルを保持つようにしても良い。これにより、特徴点数や組み合わせに応じて学習された形状モデルを、対象物検出部１０１が検出した対象物の大きさや位置に合わせて使うことで、ユーザの覗き込みやカメラによるズームアップのような変化に柔軟に対応することができ、より精度の高い特徴点抽出が可能となる。本実施の形態２によれば、上記の構成により、重み設定部１０２Ｂで設定した各特徴点に対する重みを、整形処理部１０３で活用することで、ユーザがカメラに覗き込むようにして顔の一部分が写りこむ状態になっても、動的に各特徴点に対する重みを変更して整形処理を行うことで、ユーザの動きに追従する形で特徴点抽出処理を行うことが可能になり、ユーザの動作や周辺環境に応じてより正確に検出することができる。
【００７２】
（実施の形態３）
図８、図９は本発明の実施の形態３を示している。実施の形態３で８０１はユーザ、８０２はカメラ、８０３はモニタを示しており、カメラ８０２で撮影された画像から特徴点抽出装置で特徴点を抽出しモニタ８０３に表示する。
実施の形態３では、ユーザ８０１が自らの顔を撮影してモニタ８０３に表示しながらお化粧をしている様子を示している。このとき、カメラ８０２で撮影してズームアップした目の画像において、特徴点の抽出を行い、この特徴点を元にして、お化粧するときのガイ
ドラインを表示することが可能になれば、図９に示すように、目や眉の特徴点１００２を抽出し、これを元にガイドライン１００１を正確に描画することが出来るという優れた効果がある。
【産業上の利用可能性】
【００７３】
以上のように、本発明に係る特徴点抽出装置および特徴点抽出方法は、顔が部分隠蔽されても、あるいは、ユーザがカメラに覗き込むようにして顔の一部分が写りこむ状態になっても、動的に各特徴点に対する重みを変更して整形処理を行うことで、ユーザの動きに追従する形で特徴点抽出処理を行うことが可能という効果を有し、監視カメラやスチルカメラ等に撮影される覗き込みや移動する撮影対象の特徴点抽出、および、同特徴点を用いた対象物認証、モーフィング、情報提示や化粧時のガイドライン表示などのＡＲ、アバターや似顔絵生成などに適用される技術として有用である。
【符号の説明】
【００７４】
１００  特徴点抽出装置
１０１  対象物検出部
１０２Ａ  重み設定部
１０３  候補点探索部
１０４  学習結果記憶部
１０５  整形処理部
【図１】
2011232845.tif 000009
【図２】
2011232845.tif 000010
【図３】
2011232845.tif 000011
【図４】
2011232845.tif 000012
【図５】
2011232845.tif 000013
【図６】
2011232845.tif 000014
【図７】
2011232845.tif 000015
【図８】
2011232845.tif 000016
【図９】
2011232845.tif 000017
【図１０】
2011232845.tif 000018
【図１１】
2011232845.tif 000019