(57)【要約】  本発明は人顔特徴点の位置決め方法、装置及び記憶媒体に関する。本発明による人顔特徴点の位置決め方法は、人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得することと、予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことと、フィッティング結果に基づいて人顔特徴点の位置決めを完成することと、を含む。本発明の有益な効果は、人顔検出と人眼のマッチングを同時に使用し、且つ予備位置決め情報に基づいてアピアランスモデルの少なくとも１つの特徴を組み合わせて、人顔の位置情報をより精確に位置決め、人顔特徴点の精確な位置決めを完成することにある。【選択図】図１
2015522200.tif 000002
【特許請求の範囲】
【請求項１】
人顔特徴点の位置決め方法であって、
人顔検出と人眼のマッチングを組み合わせて人顔の位置の予備位置決めをし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含むことを特徴とする人顔特徴点の位置決め方法。
【請求項２】
人顔検出と人眼のマッチングを組み合わせて人顔の位置の予備位置決めをし、且つ予備位置決め情報を取得するステップは具体的に、カスケード型特徴分類器によって人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得することであることを特徴とする請求項１に記載の人顔特徴点の位置決め方法。
【請求項３】
人顔検出技術と人眼のマッチング技術を組み合わせて人顔の位置を予備位置決めをし、且つ予備位置決め情報を取得する前記ステップの前に、ビデオを入力し、前記ビデオにおける対応の人顔画像情報を取得することをさらに含み、前記予備位置決めは双眼の初期位置、人顔の初期位置及び人顔の初期大きさを取得することを含むことを特徴とする請求項１又は２に記載の人顔特徴点の位置決め方法。
【請求項４】
前記の人顔検出と人眼のマッチングを組み合わせて人顔の位置を位置決めすることは、１つ前のフレーム画像で人眼を検出したか否かを判断し、ＹＥＳであれば、人眼のマッチング技術によって予備位置決めを行い、ＮＯであれば、人顔検出位置決めを行うことを含むことを特徴とする請求項１に記載の人顔特徴点の位置決め方法。
【請求項５】
前記の人眼のマッチングによって人顔の位置の予備位置決めをすることは、人眼の注目領域ＲＯＩ内で探索し、人眼の初期位置情報をマッチングし、人眼の初期位置情報に基づいて人顔特徴点のフィッティングを行うことを含むことを特徴とする請求項１又は４に記載の人顔特徴点の位置決め方法。
【請求項６】
前記の人顔検出位置決めを行うことは、人顔検出を行い、且つ人顔を検出したか否かを判断し、ＹＥＳであれば、人顔の初期位置情報と初期の人顔の大きさの情報を取得し、且つ人顔の初期位置情報と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点特徴を組み合わせて人顔特徴点のフィッティングを行い、ＮＯであれば、ビデオを改めて入力することを含むことを特徴とする請求項４に記載の人顔特徴点の位置決め方法。
【請求項７】
前記人顔特徴点のフィッティングを行った後で、人顔特徴点のフィッティングが成功したか否かを判断し、ＹＥＳであれば、フィッティング結果に基づいて人顔特徴点の位置決めを完成し、且つ人顔特徴点に基づいて人眼画像を取得し、１つ前のフレーム画像内の人眼画像をテンプレートとして人眼の注目領域内で１つ後のフレーム画像内の双眼の位置をマッチングし、ＮＯであれば、ビデオを改めて入力することをさらに含むことを特徴とする請求項３に記載の人顔特徴点の位置決め方法。
【請求項８】
人顔特徴点の位置決め装置であって、人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、前記人顔検出モジュールは人顔検出技術と人眼のマッチング技術によって人顔位置を予備位置決めすることに用いられ、前記特徴点フィッティングモジュールは予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことに用いられ、前記特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成することを特徴とする人顔特徴点の位置決め装置。
【請求項９】
前記人顔検出モジュールが人顔検出技術によって人顔位置を予備位置決めすることは、カスケード型特徴分類器によって人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得することであることを特徴とする請求項８に記載の人顔特徴点の位置決め装置。
【請求項１０】
前記人顔検出モジュールは人眼検出ユニットと人顔検出ユニットを備え、
前記人眼検出ユニットは１つ前のフレーム画像で人眼を検出したか否かを判断することに用いられ、ＹＥＳであれば、人眼の注目領域内で探索を行って、人眼の位置情報をマッチングし、ＮＯであれば、人顔検出ユニットによって人顔検出を行い、
前記人顔検出ユニットは人顔検出を行い、且つ人顔を検出したか否かを判断することに用いられ、ＹＥＳであれば、人顔の初期位置情報と初期の人顔の大きさの情報を取得し、ＮＯであれば、ビデオを改めて入力することを特徴とする請求項８又は９に記載の人顔特徴点の位置決め装置。
【請求項１１】
前記特徴点フィッティングモジュールは人眼フィッティングユニット及び人顔フィッティングユニットを備え、
前記人眼フィッティングユニットは人眼の初期位置情報に基づいて人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、
前記人顔フィッティングユニットは人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点特徴を組み合わせて人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられることを特徴とする請求項８又は９に記載の人顔特徴点の位置決め装置。
【請求項１２】
前記特徴点フィッティングモジュールは、フィッティング判断ユニットをさらに備え、
前記フィッティング判断ユニットは人顔特徴点のフィッティングが成功したか否かを判断することに用いられ、ＹＥＳであれば、特徴点位置決めモジュールによって人顔特徴点を位置決めし、ＮＯであれば、ビデオを改めて入力することを特徴とする請求項１１に記載の人顔特徴点の位置決め装置。
【請求項１３】
前記特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、人眼検出ユニットによって１つ前のフレーム画像中の人眼画像をテンプレートとして人眼の注目領域内で１つ後のフレーム画像中の双眼の位置をマッチングすることに用いられることを特徴とする請求項１１に記載の人顔特徴点の位置決め装置。
【請求項１４】
人顔特徴点の位置決め方法を実行することに用いられるコンピュータ実行可能な指令を含む１つ又は複数個の記憶媒体であって、該人顔特徴点の位置決め方法は、
人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含むことを特徴とするコンピュータ実行可能な指令を含む１つ又は複数個の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はインターネット技術分野に属し、特に人顔特徴点の位置決め方法、装置及び記憶媒体に関する。
【背景技術】
【０００２】
人顔面部の特徴点の位置決めは人顔認識研究における鍵となる問題であり、グラフィックスとコンピュータビジョン分野における基本的な問題でもある。人顔特徴点の位置決めは、デジタル画像処理とパタン認識等の技術を用いて１つのビデオストリームに人顔検出を行い、且つ人顔のキーポイントを精確に位置決めして追跡する技術であり、目的は位置決めした人顔の特徴点によって口などの主要器官の形状情報を確定・研究することにある。
【０００３】
従来の技術では人顔検出技術によって位置決めを行うが、人顔検出結果によって位置決めされる人顔の初期位置の精度が低いため、人顔のキーポイントの位置決めが精確ではないことをもたらし、人顔のキーポイントフィッティングの失敗を引き起こしやすくなる。また、従来の技術が人顔特徴点のフィッティングアルゴリズムはＡＳＭ手法を用い、ＡＳＭ手法は形状情報のみを配慮するものであるため、正確率が高くない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は人顔特徴点の位置決め方法、装置及び記憶媒体を提供し、従来の技術において人顔のキーポイントの位置決めの不精確による人顔のキーポイントのフィッティング失敗且つフィッティング正確率が高くない問題を解決することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は下記の通り実現される。人顔特徴点の位置決め方法であって、
人顔検出と人眼のマッチングを組み合わせて人顔位置の予備位置決めをし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む人顔特徴点の位置決め方法。
【０００６】
本発明のもう一つの実施形態の技術方案は、下記の通りである。人顔特徴点の位置決め装置であって、人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、前記人顔検出モジュールが人顔検出技術と人眼のマッチング技術によって人顔位置を予備位置決めすることに用いられ、前記特徴点フィッティングモジュールが予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことに用いられ、前記特徴点位置決めモジュールがフィッティング結果に基づいて人顔特徴点の位置決めを完成させる。
【０００７】
なお、本発明はコンピュータ実行可能な指令を含む記憶媒体をさらに提供し、該コンピュータ実行可能な指令は人顔特徴点の位置決め方法を実行することに用いられ、該人顔特徴点の位置決め方法は、
人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む。
【発明の効果】
【０００８】
本発明の技術方案は下記の利点又は有益な効果を有する。本発明実施形態による人顔特徴点の位置決め方法、装置及び記憶媒体は、人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置の予備位置決めをするため、人顔検出のみを用いる方法より人顔の位置情報をより精確に位置決めすることができ、予備位置決め情報に基づいて、グレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ法で人顔特徴点のフィッティングを行って人顔特徴点の精確な位置決めを完成させる。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ、角点特徴等のアピアランスモデルを増加することにより、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルフィッティング中で局所最小化になりやすく、及び耐干渉能力が悪い問題を有効に減らせる。
【図面の簡単な説明】
【０００９】
【図１】本発明第１実施形態による人顔特徴点の位置決め方法のフローチャートである。
【図２】本発明第２実施形態による人顔特徴点の位置決め方法のフローチャートである。
【図３】本発明実施形態による人顔特徴点の位置決め方法における人眼探索ＲＯＩ領域の模式図である。
【図４】本発明実施形態による人顔特徴点の位置決め方法における人顔特徴点のラベルポイント模式図である。
【図５】本発明実施形態による人顔特徴点の位置決め方法の人顔特徴点形状モデルのモデリングのフローチャートである。
【図６】本発明実施形態による人顔特徴点の位置決め装置の構造模式図である。
【発明を実施するための形態】
【００１０】
本発明の目的、技術方案及び利点を明らかに示すため、以下、図面及び実施形態を組み合わせて、本発明を更に詳しく説明する。理解すべきは、ここで述べた具体的な実施形態は本発明を説明するためのものだけであり、本発明は上記実施形態に限定されるものではない。
【００１１】
図１は、本発明第１実施形態による人顔特徴点の位置決め方法のフローチャートである。本発明第１実施形態による人顔特徴点の位置決め方法は下記ステップＳ１００〜Ｓ１２０を含み、
Ｓ１００は人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めするステップであり、
Ｓ１００において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を用いて人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報ｓを取得すると共に、人眼のマッチングアルゴリズムを用いて双眼の位置情報をマッチングするため、人顔検出方法のみを使用するのよりも位置決めがより精確である。
【００１２】
Ｓ１１０は予備位置決め情報及びＡＡＭ（アクティブアピアランスモデル）の少なくとも１つの特徴に基づいて人顔特徴点のフィッティングを行うステップであり、
Ｓ１１０において、ＡＡＭ（アクティブアピアランスモデル）の特徴がグレイスケール、勾配、エッジ及び角点等の特徴を含み、本発明実施形態はＡＡＭ手法と、グレイスケール値、ｘ、ｙ軸方向の勾配値、エッジ及び角点等の複数の特徴とを組み合わせて、ＡＡＭモデルのアピアランスモデルとすることにより、人顔特徴点のフィッティング位置をより精確にし、本発明実施形態において、Ｉｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成）アルゴリズムを使用して人顔特徴点のフィッティングを行う。
【００１３】
Ｓ１２０はフィッティング結果に基づいて人顔特徴点の位置決めを完成するステップである。
【００１４】
Ｓ１２０において、人顔特徴点が位置決めされた後、人顔特徴点の位置に基づいて双眼の画像が得られ、次フレームの画像において、１つ後のフレーム画像内人眼探索ＲＯＩ領域（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）を確定し、且つＲＯＩ領域内において１つ前のフレーム画像中の人眼画像をテンプレートとし、画像マッチングアルゴリズムを使用して、現フレームにおける双眼の位置が得られ、ＲＯＩ領域の確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、その中に、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βがＲＯＩ領域の大きさ制御係数であり、本技術方案ではα＝３、β＝２である。
【００１５】
本発明実施形態による人顔特徴点の位置決め方法は人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置の予備位置決めをし、人顔検出のみを用いる方法より、人顔位置情報をより精確に位置決めすることができる。
【００１６】
図２は、本発明第２実施形態による人顔特徴点の位置決め方法のフローチャートである。本発明第２実施形態による人顔特徴点の位置決め方法は下記ステップＳ２００〜Ｓ２７０を含み、
Ｓ２００はビデオを入力し、前記ビデオにおいて対応する人顔画像情報を取得するステップであり、
Ｓ２１０は、１つ前のフレーム画像において人眼を検出したか否かを判断し、ＹＥＳであれば、Ｓ２２０を実行し、ＮＯであれば、Ｓ２４０を実行するステップであり、
Ｓ２１０において、本発明実施形態が人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確である。
【００１７】
Ｓ２２０は人眼ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）領域内で探索を行って、人眼の初期位置情報をマッチングするステップであり、
Ｓ２２０において、ＲＯＩ領域の確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、その中で、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に、下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
【数１】
2015522200.tif 000003
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）においてベストマッチを取った位置である。
【００１８】
Ｓ２３０は人眼の初期位置情報に基づいてΑΑΜ人顔特徴点のフィッティングを行い、且つＳ２６０を実行するステップであり、
Ｓ２４０は人顔検出を行い、且つ人顔を検出したか否かを判断し、ＹＥＳであれば、Ｓ２５０を実行し、ＮＯであれば、改めてＳ２００を実行するステップであり、
Ｓ２４０において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を使用して人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得する。
【００１９】
Ｓ２５０は人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得し、且つ人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭ人顔特徴点のフィッティングを行うステップであり、
Ｓ２５０において、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をもっと精確的にする。アピアランスモデルはパラメータ化されたモデルであり、主成分分析により可変性対象の形状とテクスチャに統一モデリングを行い、且つ２ノルム最小化戦略を使用して未知対象をマッチングする。その中、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ、動的形状モデル）がベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉが第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔ラベルポイントを用い、詳細は図４を参照し、図４は本発明の人顔特徴点のラベルポイントの模式図である。ＡＡＭモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔の特徴点の位置座標を手動的にラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステス・アルゴリズムに基づいて幾何アライメントを行い、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ  ｃｏｍｐｏｎｅｎｔｓ  ａｎａｌｙｓｉｓ、主成分分析）学習を行って、
【数２】
2015522200.tif 000004
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程で異なったｐｉが計算されると相応なＡＳＭ形状モデルのベクトルＳを得ることができる。、詳細は図５を併せて参照。図５は本発明の人顔特徴点形状モデルのモデリング方法のフローチャートである。本発明の人顔特徴点形状モデルのモデリング方法は下記ステップＳ２５１〜Ｓ２５８を含み、
Ｓ２５１において、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系に移し、
Ｓ２５２において、１つのサンプルを初期の平均形状として選定し、且つ寸法を
【数３】
2015522200.tif 000005
であるように校正し、
Ｓ２５３において、初期推定の平均形状を
【数４】
2015522200.tif 000006
と表記し、且つこれを参照座標系とし、
Ｓ２５４において、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正し、
Ｓ２５５において、校正されたすべてのサンプルに対して平均形状を改めて計算し、
Ｓ２５６において、カレントの平均形状を
【数５】
2015522200.tif 000007
に校正し、且つ
【数６】
2015522200.tif 000008
であるようにさせ、
Ｓ２５７において、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、改めてＳ２５４を実行し、ＮＯであれば、Ｓ２５８を実行し、
Ｓ２５８において、ＰＣＡ方法によって位置を合わせたサンプルに対し、統計形状モデリングを行って、
【数７】
2015522200.tif 000009
を得て、
ＡＳＭ形状モデルが囲む領域内の点を平均形状にマッピングし、ＡＡＭアピアランスモデルＡを得、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよい。同様に、ＡＡＭアピアランスモデルにＰＣＡ学習を行って、
【数８】
2015522200.tif 000010
を得ることができ、
その中で、Ａ０は平均アピアランスであり、ＡｉはＡＡＭアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数である。
【００２０】
ＡＡＭアピアランスモデルのモデリング方法は具体的に下記の通りであり、各トレーニングサンプルを平均形状にマッピングし、次にそれぞれグレイスケール値、ｘ軸ｙ軸の勾配値、エッジ及び角点特徴値という３種類の特徴を計算してアピアランスモデルとし、その中で、グレイスケール値Ａｇｒａｙの計算方法は、Ｉ（ｘ,ｙ）が各サンプルを平均形状内にマッピングしたグレイスケール画像であると、グレイスケールアピアランスモデル値が、
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法は、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ  ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
【数９】
2015522200.tif 000011
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ＿ａｎｄ＿ｃｏｒｎｅｒの計算方法は、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）、
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）とし、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ）  、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
【数１０】
2015522200.tif 000012
を得て、
以下の公式によってエッジと角点特徴を算出することができる、
【数１１】
2015522200.tif 000013
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴は同一スケールで表すものではないため、計算された３種の特徴値を同一スケールに正規化する必要があり、本発明の実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
【数１２】
2015522200.tif 000014
であり、
正規化した後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルが３種類の特徴及び４つの特徴値に対応し、４つの特徴値のＡＡＭアピアランスモデルを得た後、ＰＣＡによって学習し、
【数１３】
2015522200.tif 000015
を得て、
本発明の実施形態において、Ｉｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成アルゴリズム、本分野において常用されるアルゴリズムである）アルゴリズムを使用して人顔の特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて得られた初期の４つのグローバルアフィン変換パラメータｑを得て、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、そうすると、
【数１４】
2015522200.tif 000016
となり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は、人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ））を計算し、
【数１５】
2015522200.tif 000017
を計算し、
その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）であり、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出するものであり、
【数１６】
2015522200.tif 000018
形状パラメータである
【数１７】
2015522200.tif 000019
を
【数１８】
2015522200.tif 000020
になるまで更新することを含む。
【００２１】
Ｓ２６０において、人顔特徴点のフィッティングが成功したか否かを判断し、ＹＥＳであれば、Ｓ２７０を実行し、ＮＯであれば、改めてＳ２００を実行し、
Ｓ２７０において、フィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像内の双眼の位置をマッチングする。
【００２２】
Ｓ２７０において、人顔特徴点の位置に基づいて双眼画像が得られ、１つ後のフレーム画像において１つ後のフレーム画像の人眼探索ＲＯＩ領域を確定し、且つＲＯＩ領域内で、１つ前のフレーム画像内の人眼画像をテンプレートとして、画像マッチングアルゴリズムを使用して、現フレーム内の双眼の位置を改めてマッチングする。
【００２３】
本発明実施形態の人顔特徴点の位置決め方法は予備位置決め情報に基づいて、グレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを使用して人顔特徴点のフィッティングを行って、人顔特徴点の精確な位置決めを完成する。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ角点特徴等のアピアランスモデルを増加させ、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルのフィッティング過程で局所最小化になりやすいこと、及び耐干渉能力が悪い問題を効果的に減らせる。
【００２４】
図６は、本発明による人顔特徴点の位置決め装置の構造模式図である。本発明の人顔特徴点の位置決め装置は人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、人顔検出モジュールは人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めすることに用いられ、人顔検出モジュールはカスケード型Ｈａｒｒ特徴分類器を用いて人顔を検出し、人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得すると共に、人眼のマッチングアルゴリズムを用いて双眼の位置情報をマッチングし、人顔検出方法のみを使用するよりも位置決めがより精確であり、特徴点フィッティングモジュールは予備位置決め情報に基づいてＡＡＭアピアランスモデルを組み合わせて人顔特徴点のフィッティングを行うことに用いられ、ＡＡＭアピアランスモデルはグレイスケール、勾配、エッジ及び角点等の特徴を備え、特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させる。
【００２５】
人顔検出モジュールは人眼検出ユニットと人顔検出ユニットとを備え、
人眼検出ユニットは１つ前のフレーム画像が人眼を検出したか否かを判断することに用いられ、ＹＥＳであれば、人眼ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）領域内で探索を行って人眼の位置情報をマッチングし、ＮＯであれば、人顔検出ユニットによって人顔検出を行い、本発明実施形態において人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確であり、ＲＯＩ領域確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、そのうち、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明の実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
【数１９】
2015522200.tif 000021
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）が最もマッチングする位置である。
【００２６】
人顔検出ユニットは人顔検出を行い、且つ人顔を検出したか否かを判断することに用いられ、ＹＥＳであれば、人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得し、ＮＯであれば、ビデオを改めて入力し、そのうち、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を使用して人顔を検出し、人顔の初期位置と初期の人顔の大きさの情報を取得する。
【００２７】
特徴点フィッティングモジュールは人眼フィッティングユニット、人顔フィッティングユニット及びフィッティング判断ユニットを備え、その中で、
人眼フィッティングユニットは人眼の初期位置情報に基づいてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、
人顔フィッティングユニットは人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、その中で、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をさらに精確にする。その中で、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ  Ｓｈａｐｅ  Ｍｏｄｅｌ、動的形状モデル）はベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉは第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔のラベルポイントを用いる。詳細は図４を参照ください。図４は本発明の人顔特徴点のラベルポイントの模式図である。ΑΑΜモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔特徴点の位置座標を手動でラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステスアルゴリズムを行って幾何アライメントし、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ  ｃｏｍｐｏｎｅｎｔｓ  ａｎａｌｙｓｉｓ、主成分分析）学習を行い、
【数２０】
2015522200.tif 000022
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程において、異なったｐｉが算出されると相応な形状モデルのベクトルＳが得られ、本発明の人顔特徴点形状モデルのモデリングは具体的に、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系下に移すことと、１つのサンプルを初期の平均形状として選択し、且つ寸法を
【数２１】
2015522200.tif 000023
であるように校正することと、初期推定の平均形状を
【数２２】
2015522200.tif 000024
と表記し、且つそれを参照座標系とすることと、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正することと、校正されたすべてのサンプルに対して平均形状を改めて計算することと、カレントの平均形状を
【数２３】
2015522200.tif 000025
に校正し、且つ
【数２４】
2015522200.tif 000026
であるようにさせることと、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、すべてのトレーニングサンプルの特徴点座標ベクトルを改めて変換校正し、ＮＯであれば、ＰＣＡ方法によってアライメントした後のサンプルに統計形状モデリングを行って、
【数２５】
2015522200.tif 000027
を得て、
形状モデルが囲む領域内の点を平均形状にマッピングし、アピアランスモデルＡを得、その中、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよいことと、同様に、アピアランスモデルにＰＣＡ学習を行うことができ、
【数２６】
2015522200.tif 000028
を得て、
その中、Ａ０は平均アピアランスであり、ＡｉはアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数であることとを含む。
【００２８】
アピアランスモデルのモデリング方法は具体的に下記の通りであり、各トレーニングサンプルを平均形状にマッピングし、次にそれぞれグレイスケール値、ｘ軸ｙ軸の勾配値、エッジ及び角点特徴値という３種類の特徴を計算してアピアランスモデルとし、その中で、グレイスケール値Ａｇｒａｙの計算方法は、Ｉ（ｘ,ｙ）が各サンプルの平均形状内にマッピングしたグレイスケール画像であり、グレイスケールアピアランスモデル値が、
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法としては、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ  ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
【数２７】
2015522200.tif 000029
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ_ａｎｄ_ｃｏｒｎｅｒの計算方法としては、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）と設置し、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ）、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
【数２８】
2015522200.tif 000030
を得て、
以下の公式によってエッジと角点特徴を算出し、
【数２９】
2015522200.tif 000031
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴が同一スケールでないため、計算された後、３つの特徴値を同一スケールに正規化する必要があり、本発明実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
【数３０】
2015522200.tif 000032
であり、
正規化された後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルは３種類の特徴及び４つの特徴値に対応し、４つの特徴値のアピアランスモデルを得た後、ＰＣＡによって学習し、
【数３１】
2015522200.tif 000033
を得、
本発明実施形態において、Ｉｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ（すなわち逆合成アルゴリズム、本分野において多用されるアルゴリズムである）アルゴリズムを使用して人顔特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて初期の４つのグローバルアフィン変換パラメータｑが得られ、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得て、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、
【数３２】
2015522200.tif 000034
であり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ）を計算し、
【数３３】
2015522200.tif 000035
を計算し、その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出し、
【数３４】
2015522200.tif 000036
形状パラメータの
【数３５】
2015522200.tif 000037
を
【数３６】
2015522200.tif 000038
になるまで更新することを含む。
【００２９】
フィッティング判断ユニットは人顔特徴点のフィッティングが成功したか否かを判断することに用いられ、ＹＥＳであれば、特徴点位置決めモジュールによって人顔特徴点を位置決めし、ＮＯであれば、ビデオを改めて入力し、
特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、人眼検出ユニットによって１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像中の双眼の位置をマッチングすることに用いられ、その中、人顔特徴点の位置に基づいて双眼の画像を得ることができ、１つ後のフレーム画像において、１つ後のフレーム画像の人眼探索ＲＯＩ領域を確定し、且つＲＯＩ領域内で１つ前のフレーム画像内の人眼画像をテンプレートとして、画像マッチングアルゴリズムを使用して、現フレーム中の双眼の位置を得る。
【００３０】
当業者は、上記実施形態の全部又は一部のステップの実現は、ハードウェアによって完成することができ、プログラムによって関連のハードウェアに指示を出して完成することもでき、前記プログラムはコンピュータ可読記憶媒体に記憶されることができ、且つ図１、図２及び図５に記載の方法フローを達成するように少なくとも１つのプロセッサによって実行される、ということを理解することができる。前記記憶媒体は読出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
【００３１】
本発明実施形態の人顔特徴点の位置決め方法、装置及び記憶媒体は人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置を予備位置決めし、人顔検出のみを使用するよりも人顔位置情報をより精確に位置決めすることができ、予備位置決め情報に基づいてグレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを使用して人顔特徴点のフィッティングを行って、人顔特徴点の精確な位置決めを完成させる。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ角点特徴等のアピアランスモデルを増加し、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルがフィッティング過程で局所最小化になりやすいこと、及び耐干渉能力が悪い問題を効果的に減らせる。
【００３２】
上記は本発明の好ましい実施形態にすぎず、本発明を限定するためのものではなく、本発明の精神と原則内で行われる種々の修正、均等置換及び改善などは、すべて本発明の保護範囲内に含まれるべきである。
【図３】
2015522200.tif 000039
【図４】
2015522200.tif 000040
【図１】
2015522200.tif 000041
【図２】
2015522200.tif 000042
【図５】
2015522200.tif 000043
【図６】
2015522200.tif 000044
【国際調査報告】
2015522200.tif 000045
2015522200.tif 000046
2015522200.tif 000047
2015522200.tif 000048