(57)【特許請求の範囲】
【請求項１】
顔の位置合わせの方法であって、
顔の画像と、該画像に関連付けられた初期ランドマークロケーションの組とを取得するステップと、
Ｌ個の大域位置合わせ教師あり降下法回帰エキスパートの組における各エキスパートごとに、前記画像における更新されたランドマークロケーションの組を得るステップであって、各エキスパートは、異なるプロトタイプ形状及び異なる回帰関数に関連付けられる、ステップであって、各エキスパートごとに、
ゲーティング関数を用いて、前記エキスパートごとに、割り当て重みを生成するステップと、
前記初期ランドマークロケーションの組を、前記プロトタイプ形状を有する顔のランドマークロケーションの組に大域的に位置合わせして、大域位置合わせパラメーターを得るステップと、
前記大域位置合わせパラメーターに従って、前記初期ランドマークロケーションの組及び前記画像の座標フレームからの前記画像を前記プロトタイプ形状の座標フレームにワープして、ワープされたランドマークロケーション及びワープされた顔画像を得るステップと、
前記ワープされたランドマークロケーションにおける前記ワープされた顔画像から特徴を抽出するステップと、
前記特徴に前記回帰関数を適用して、前記プロトタイプ形状の前記座標フレームにおける更新されたランドマークロケーションを得るステップと、
前記プロトタイプ形状の前記座標フレームにおける前記更新されたランドマークロケーションを前記画像の前記座標フレームにワープして、前記画像内の更新されたランドマークロケーションの前記エキスパートの組を得るステップと
を有するステップと、
前記割り当て重みを用いて、加重平均として、前記画像における前記更新されたランドマークロケーションのＬ個の組を結合して、前記更新されたランドマークロケーションを得るステップと
を含み、各前記ステップはプロセッサが実行する、方法。
【請求項２】
請求項１に記載の各前記ステップをＫ回の反復にわたって適用することを更に含み、ここで、Ｋ≧１であり、前記画像は全ての反復について用いられ、各反復ｋ＞１において、前記初期ランドマークロケーションの組は、反復ｋ−１中に得られた前記更新されたランドマークロケーションである、請求項１に記載の方法。
【請求項３】
エキスパートごとに、前記回帰関数は各反復において異なる、請求項２に記載の方法。
【請求項４】
前記初期ランドマークロケーションは、顔検出アルゴリズムを用いて求められる、請求項１に記載の方法。
【請求項５】
前記初期ランドマークロケーションは、顔パーツ検出アルゴリズムを用いて求められる、請求項１に記載の方法。
【請求項６】
前記大域位置合わせパラメーターは、２Ｄアフィン変換を表す、請求項１に記載の方法。
【請求項７】
前記Ｌ個のエキスパートの前記プロトタイプ形状は、最適化問題を解いて、トレーニングデータの組における前記ランドマークロケーションのアフィン不変クラスタリングを得ることによって求められる、請求項１に記載の方法。
【請求項８】
前記抽出することは、勾配方向ヒストグラム（ＨＯＧ）特徴を用いる、請求項１に記載の方法。
【請求項９】
前記特徴は、前記プロトタイプ形状のランドマークロケーションからの前記ワープされたランドマークロケーションの偏差
【数１】
0006584629.tif 000085
を符号化する更なる特徴を含み、λは、前記プロトタイプ形状からの前記ランドマークロケーションの偏差に対する制約の厳密さを制御する重みであり、
【数２】
0006584629.tif 000086
は前記ワープされたランドマークロケーションのベクトルであり、
【数３】
0006584629.tif 000087
は、前記プロトタイプ形状の前記ランドマークロケーションのベクトルであり、ｋは前記方法の反復をインデックス付けする、請求項１に記載の方法。
【請求項１０】
前記回帰関数は線形関数である、請求項１に記載の方法。
【請求項１１】
ｌ∈｛１，．．．，Ｌ｝である各エキスパートＥｌのゲーティング関数αｌは、初期ランドマークロケーションの組ｘｋと、エキスパートＥｌの前記プロトタイプ形状
【数４】
0006584629.tif 000088
の前記ランドマークロケーションとの間の大域位置合わせ誤差εｌ（ｘｋ）のソフトマックス変換であり、
【数５】
0006584629.tif 000089
ここで、エキスパートＥｌの前記大域位置合わせ誤差は
【数６】
0006584629.tif 000090
であり、ここで、
【数７】
0006584629.tif 000091
は、大域変換のクラスを表し、Ａは、特定の変換を表し、ｋは、前記方法の反復をインデックス付けする、請求項１に記載の方法。
【請求項１２】
前記大域変換のクラスは、全ての可能な２Ｄアフィン変換のクラスである、請求項１１に記載の方法。
【請求項１３】
前記回帰関数は、トレーニングデータの組を用いて学習され、該トレーニングデータの組は、顔のＮ個の画像の組と、該Ｎ個の画像の各々における顔ランドマークのグランドトゥルースロケーションとを含む、請求項１に記載の方法。
【請求項１４】
各エキスパートの前記回帰関数は、Ｎ個のトレーニング顔画像の組と、該Ｎ個のトレーニング顔画像の各々における顔ランドマークのグランドトゥルースロケーションとを含むトレーニングデータの組を用いて学習され、
前記トレーニングデータは、全てのトレーニング顔画像をＭ回繰り返すことによって拡張され、拡張されたトレーニングデータの組が生成され、
ｉ＝１，．．．，ＭＮである前記拡張されたトレーニングデータの組内の各画像Ｉｉについて、画像Ｉｉは、オフセット
【数８】
0006584629.tif 000092
だけ変位されたグランドトゥルースランドマークロケーション
【数９】
0006584629.tif 000093
を有し、
エキスパートごとに、前記回帰関数は、Ｌ２損失関数
【数１０】
0006584629.tif 000094
を最小化することによって学習され、
ここで、
【数１１】
0006584629.tif 000095
は、エキスパートｌの前記回帰関数のパラメーターであり、φは特徴であり、
【数１２】
0006584629.tif 000096
であり、
【数１３】
0006584629.tif 000097
は、前記グランドトゥルースランドマークロケーション
【数１４】
0006584629.tif 000098
及び前記画像の前記座標フレームからの変位ベクトル
【数１５】
0006584629.tif 000099
を、エキスパートｌのためのプロトタイプの前記座標フレームに変換する変換であり、
【数１６】
0006584629.tif 000100
は、エキスパートｌのための前記プロトタイプの前記座標フレームにおける前記変位されたグランドトゥルースランドマークロケーション
【数１７】
0006584629.tif 000101
から計算された、エキスパートｌのための割り当て重みであり、γは正則化項重みである、請求項１に記載の方法。
【請求項１５】
反復ｋ＝１において、前記オフセット
【数１８】
0006584629.tif 000102
は、ランダムに決定され、各反復ｋ≧２において、前記オフセット
【数１９】
0006584629.tif 000103
は、前回の反復後の残余である、請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、コンピュータービジョン及びその用途に関し、より詳細には、画像において顔を位置合わせすることに関する。
【背景技術】
【０００２】
当該技術分野において既知であるように、顔の位置合わせは、１組の所定の顔ランドマークに対応する画像内のピクセルを位置特定することを指す。各ランドマークは、鼻の先端、眼の端、眉毛のアーチ及び唇の曲率等の特定の顔特徴に関連付けられる。
【０００３】
顔の位置合わせは、一般に、顔認識、顔追跡、顔姿勢推定、表情解析及び顔モデリング、並びにヒューマン−コンピューターインターフェース（ＨＣＩ：Human-computer interfaces）等の多くのコンピュータービジョン用途にとって重要である。さらに、顔の位置合わせは、運転者監視及び先進運転支援システム（ＡＤＡＳ：Advanced driver assistance systems）等の車両に関連した用途において有用である。顔の位置合わせは、姿勢、表情、照明及び遮蔽物等の要因の大きな変動に起因して困難な問題である。
【０００４】
顔の位置合わせに対する従来のアプローチは、アクティブ形状モデル（ＡＳＭ：Active Shape Model）、アクティブ外観モデル（ＡＡＭ：Active Appearance Model）又は制約付きローカルモデル（ＣＬＭ：Constrained Local Model）等の様々な方法を用いてきた。ＣＬＭは、互いに対するランドマークのロケーションを制約する、ランドマークのロケーションに対する明示的な共同制約、例えば部分空間形状モデルを有する。ＣＬＭを基にして、ガウス−ニュートン変形可能パーツモデル（ＧＮ−ＤＰＭ：Gauss-Newton Deformable Part Model）は、ガウス−ニュートン最適化を用いて外観モデル及びグローバル形状モデルを共同で当てはめる。
【０００５】
近年、顔の位置合わせにおける焦点が、弁別的方法に向かってシフトしている。これらの方法の際立った特徴は、明示的な回帰関数が学習されることである。回帰関数は、以前に推定された顔ランドマークロケーションにおいて抽出された特徴に基づいて、ランドマークロケーションの推定値を更新する。
【０００６】
ツリーベースの回帰方法は、ランドマークロケーションを迅速に推定することができる。１つのツリーベースの方法において、ランダムフォレスト回帰を用いて、ランドマークロケーションの最終推定値のための線形回帰関数を共同で学習することにより、１組のローカルバイナリ特徴を学習することができる。ランダムフォレスト回帰は、トレーニング時点において多数の決定木を構築する。別の方法は、勾配ブースティングツリーアルゴリズムを用いて回帰木のアンサンブルを学習する。
【０００７】
教師あり降下法（ＳＤＭ：Supervised Descent Method））において、回帰関数のカスケードは、スケール不変特徴変換（ＳＩＦＴ：Scale Invariant Feature Transform）を用いて抽出された特徴に対し作用して、推定ランドマークロケーションを反復的に更新する。ＳＤＭでは、ランドマークのロケーションにおいて明示的な顔形状制約が存在しない。これは、隣接する顔ランドマークのロケーションが、回帰中に隔たっていく場合があるため、理想的ではない。
【０００８】
さらに、ＳＤＭにおいて、同じ線形回帰関数は、面内及び面外の双方の頭部回転を含む、表情及び姿勢における全ての生じ得る変動にわたって機能しなくてはならない。これは、大きく、多岐にわたるトレーニングデータセットを必要とし、また、学習された回帰関数を強制的に汎用にするため、正確度が限られる。
【発明の概要】
【０００９】
本発明の実施形態は、大域的に位置合わせされた回帰を用いた、顔の位置合わせ、すなわち、画像内の顔ランドマークのロケーションの推定のための方法を提供する。本方法は、大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ：Globally Aligned Supervised Descent Method）と呼ばれる。ＧＡ−ＳＤＭは、反復としても知られる、Ｋ個のステージのカスケードとして動作する。各ステージは、大域位置合わせステップ及び回帰関数を含む。
【００１０】
本方法は、例えば、カメラを用いて、又は以前に捕捉された画像を得て、顔の画像を取得する。本方法への入力は、初期ランドマークロケーションと呼ばれる、ランドマークのロケーションの組の初期推定値を含む。初期ランドマークロケーションの組は、プロトタイプ形状を有する顔ランドマークロケーションの組に対し大域的に位置合わせされ、大域位置合わせパラメーターが得られる。初期ランドマークロケーションの組及び画像は、大域位置合わせパラメーターに従って、画像の座標フレームから、プロトタイプ形状の座標フレームにワープされ、ワープされたランドマークロケーション及びワープされた顔画像が得られる。
【００１１】
ワープされたランドマークロケーションにおけるワープされた顔画像から特徴が抽出される。回帰関数が特徴に適用され、プロトタイプ形状の座標フレームにおける更新されたランドマークロケーションが得られる。次に、プロトタイプ形状の座標フレームにおける更新されたランドマークロケーションが、画像の元の座標フレームにワープされ、取得された画像において、更新されたランドマークロケーションが得られる。
【００１２】
位置合わせ精度を改善するために、好ましい実施形態は、各反復において異なる回帰関数を用いながら、Ｋ回の反復にわたってステップを繰り返す。
【００１３】
ランドマークロケーションは、ヒューマン−マシンインタラクション、ビデオ会議、ゲーム、アニメーション、視線追跡、感情解析及び健康監視と、運転者監視及び先進運転支援システム（ＡＤＡＳ）等の自動車に関連した用途と、顔認識、表情認識及び合成、並びに超解像度撮像を含む多数のコンピュータービジョンタスクとを含む複数の用途において用いることができる。顔の位置合わせは、表情の多くのバリエーションが存在するとき、並びに姿勢の多くのバリエーション、例えば、面内回転として知られる画像平面内の回転、及び面外回転として知られる画像平面外の回転が存在するときに特に困難となる。
【００１４】
この問題に対処するために、本発明のいくつかの実施形態は、以後、単に「エキスパート」と呼ばれるＬ個のＧＡ−ＳＤＭ回帰エキスパートの混合を提供する。ｌ∈｛１，．．．，Ｌ｝である各エキスパートＥｌは、カスケードのＫ個のステージの各々について異なる回帰関数｛Ｗ，ｂ｝を含む。ここで、Ｗ及びｂは、それぞれ、回帰関数の係数及び偏りを表す。
【００１５】
各エキスパートは、ランドマークロケーション、例えば、鼻の先端及び眼の端を大域的に位置合わせするための独自のプロトタイプ形状を有する。これにより、各エキスパートが、姿勢及び表情の共同空間の異なる部分に特化することを可能にする。いくつかの実施形態では、カスケードの各ステージにおけるエキスパートごとに別個の回帰モデルが学習される。いくつかの実施形態は、精度を増大させるために、弁別的な位置合わせフレームワーク内の変形制約も提供する。
【００１６】
本方法によって用いられる特徴は、
（１）本方法を、定義された大域変換の特化されたクラスに対し不変にする、回帰の各反復前の大域位置合わせステップと、
（２）回帰がプロトタイプ顔形状からの特徴ロケーションの偏差にペナルティを課すことを可能にする特徴ベクトルへの拡張と、
（３）各エキスパートが、入力データの異なるサブセットを位置合わせすることに特化した独自の回帰関数、例えば、姿勢及び表情の特定の範囲を有する、カスケードの各ステージにおけるエキスパート混合回帰と、
（４）エキスパートによって用いられるプロトタイプ顔形状を学習するためのアフィン不変クラスタリング手順と、
を含むことができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態による、画像のための顔の位置合わせの概略図である。
【図２Ａ】本発明の実施形態による、ＧＡ−ＳＤＭ方法のｋ番目の反復を用いた顔の位置合わせのための方法の流れ図である。
【図２Ｂ】図２Ａに示す方法に対応する擬似コードのブロック図である。
【図３】本発明の実施形態による、ＧＡ−ＳＤＭのＫ回の反復を用いた顔の位置合わせの流れ図である。
【図４Ａ】本発明の実施形態による、ＧＡ−ＳＤＭ回帰エキスパート（以後、「エキスパート」）の混合を適用することの１回の反復の流れ図である。
【図４Ｂ】各々が特定の姿勢又は表情に特化されたエキスパートの混合の概略図である。
【図４Ｃ】図４Ａの方法のＫ回の反復の擬似コードのブロック図である。
【発明を実施するための形態】
【００１８】
図１に示すように、本発明の実施形態は、大域的に位置合わせされた回帰を用いた顔の位置合わせ１００の方法を提供する。当該技術分野において、顔の位置合わせは、顔ランドマークの組に対応する画像内のピクセルを位置特定するプロセスを指す。各ランドマークは、鼻の先端、眼の端、並びに眉毛及び唇の端等の顔の特定のロケーションに関連付けられる。ランドマークロケーションが正しくない場合、顔の位置合わせは、本質的に、ランドマークロケーションを画像内のそれらの正しいロケーションに更新する。
【００１９】
本方法への入力１０１は、画像Ｉ、及びこの画像に関連付けられた初期ランドマークロケーションｘ１の組である。画像は、カメラによって取得することができる（１０６）か、又は他の手段によって若しくは他のソース、例えばメモリ転送若しくは無線若しくは無線通信から得ることができる。本明細書に記載の方法及びプロセスは、本質的に、画像と初期ランドマークロケーションの組とに対し作用する。
【００２０】
初期ランドマークロケーションは、例えば、顔のパーツの検出アルゴリズム又は顔検出アルゴリズムを用いて手動で又は自動でマーキングすることができる。後者の場合、初期ランドマークロケーションは、トレーニング顔画像の組からの各ランドマークの平均ロケーションであり、これらは、バウンディングボックスに合うように並進及びスケーリングされる。ランドマークの初期ロケーションは正確にマーキングされる必要がないことに留意されたい。
【００２１】
初期ランドマークロケーションｘ１１０１は、画像Ｉ内の全ての顔ランドマークのロケーションの初期推定値を表す。位置合わせ後、位置合わせされたランドマークロケーションｘＫ＋１１０２は、顔の画像Ｉの上に重ね合わされて示される。
【００２２】
図２Ａは、本発明の実施形態による、大域位置合わせ及び回帰を用いた、ＧＡ−ＳＤＭのステージｋ２００と呼ぶ１回の反復の流れ図を示す。画像Ｉにおける初期ランドマークロケーションｘｋ１０１を、プロトタイプ顔形状
【数１】
0006584629.tif 000002
１０３のランドマークロケーションに大域的に位置合わせし（１１０）、位置合わせパラメーターＡｋ１１１を生成する。好ましい実施形態では、以下で説明するように、プロトタイプ顔形状がトレーニング画像から学習される。他の実施形態では、プロトタイプ顔形状は、例えば、既存の２Ｄ又は３Ｄ顔モデルから得られるか又は適合され得る。
【００２３】
画像Ｉ及びランドマークロケーションｘｋは、位置合わせパラメーターＡｋ１１１に従ってワープされ（１２０）、プロトタイプ顔形状の座標フレームで表される画像Ｉ’及びランドマークロケーション
【数２】
0006584629.tif 000003
１２１が生成される。これらのロケーションを用いて、プロトタイプ顔形状の座標フレームで表されるワープされた画像Ｉ’から特徴
【数３】
0006584629.tif 000004
１３１が抽出される（１３０）。
【００２４】
ｋ番目の回帰関数が適用され（１４０）、プロトタイプ顔形状の座標フレームにおける更新されたランドマークロケーション
【数４】
0006584629.tif 000005
１４１が生成される。更新されたランドマークロケーションは、次にワープされ、パラメーターＡｋを用いた位置合わせ変換の逆数を表す
【数５】
0006584629.tif 000006
を用いて画像の座標フレームに戻される。これにより、元の画像Ｉの座標フレームにおいて、更新されたランドマークロケーションｘｋ＋１１５１が得られる。図２Ａ及び他の図面に示されるステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて実行することができる。
【００２５】
図２Ｂは、図２Ａの流れ図に対応するＧＡ−ＳＤＭの１回の反復（ステージｋ）のための擬似コードを示す。擬似コードにおいて用いられるステップ及び変数は、本明細書及び図面において記載される。
【００２６】
図３に示すように、ＧＡ−ＳＤＭ手順は、より良好な位置合わせのために各ステージにおいて異なる回帰関数を用いてＫ回反復される（１０４）。本方法は、ステージｋ＝１において、入力画像Ｉと、画像内のランドマークロケーションの初期推定値ｘ１１０１とを用いて開始する。これらは、ＧＡ−ＳＤＭの第１のステージ、すなわち、ｋ＝１であるＧＡ−ＳＤＭのステージｋ２００に対する入力１０５として用いられる。ＧＡ−ＳＤＭはＫ個のステージ（Ｋ≧１）にわたって反復される。ステージｋの出力は、ランドマークロケーションの更新された推定値ｘｋ＋１１５１である。ｋ＜Ｋであるとき、ステージ番号ｋは１だけインクリメントされ、前のステージの出力ｘｋ＋１１５１は、現在のステージの入力ｘｋ１０５となる。ＧＡ−ＳＤＭの（ｋ＝Ｋであるときの）ステージＫの終了時に、更新されたランドマークロケーションｘｋ＋１１５１は、ＧＡ−ＳＤＭの最終出力である、位置合わせされたランドマークロケーションｘＫ＋１１０２として用いられる。
【００２７】
図４Ａは、本発明の好ましい実施形態による、ＧＡ−ＳＤＭ回帰エキスパート（以後、「エキスパート」）の混合を適用することの１回の反復（ステージｋ）を示す。各々が独自のプロトタイプ形状
【数６】
0006584629.tif 000007
を有するＬ個のエキスパートＥｌ１５４が存在する。ここで、ｌ∈｛１，．．．，Ｌ｝である。画像Ｉ及びランドマークロケーションｘｋ１０５について、ゲーティング関数αｌ（ｘｋ）１６１が計算される（１６０）。ランドマークロケーションｘｋは、ＧＡ−ＳＤＭの１つのステージ（ステージｋ）２００を用いて各エキスパートＥｌによって位置合わせされ（１５５）、元の画像Ｉの座標フレームにおいて表される更新されたランドマークロケーション
【数７】
0006584629.tif 000008
１５６が得られる。次に、エキスパートの出力の加重平均が求められ（１７０）、更新されたランドマークロケーションｘｋ＋１１７１が生成される。
【００２８】
図４Ｂは、各々が特定の範囲の姿勢又は表情に特化されたＬ＝５個のエキスパートにそれぞれ対応する５つのプロトタイプ顔形状
【数８】
0006584629.tif 000009
１９０を概略的に示す。矢印１８０は、５つのエキスパートに対する各画像のランドマークロケーションの割り当て重みを示す。
【００２９】
本発明の方法は、好ましい実施形態が、現在推定されている特徴ロケーションの組において計算されるスケール不変特徴変換（ＳＩＦＴ）特徴に対し回帰のカスケードを行うという点で、従来技術による教師あり降下法（ＳＤＭ）に関連している。
【００３０】
本発明の方法は、複数の方法で従来技術によるＳＤＭに対し改善を加える。従来のＳＤＭにおいて、学習された線形回帰関数は、広範にわたる入力姿勢における顔を扱うことが可能でなくてはならない。
【００３１】
代わりに、本発明では、回帰ステップの前に、カスケードの各ステージにおいて大域位置合わせステップを用いる。これによって、本発明の方法が、大域変換のクラス全体に対して不変になる。いくつかの実施形態では、全ての可能な２Ｄアフィン変換のクラスを用いる。結果として、本発明の回帰関数は、姿勢における多くの大域変動を補正する必要がなく、それによって、回帰関数は、ランドマークロケーションにおける、より小さな変動を扱うように精密に調整することができる。
【００３２】
従来のＳＤＭは、複数のランドマークのロケーションを共同で制限するための明示的な大域制約を有しない。本発明の方法は、プロトタイプ顔形状からのランドマークロケーションの偏差にペナルティを課すことによってこの問題に対処する。本発明では、プロトタイプランドマークロケーションと、現在推定されているランドマークロケーションとの差を、モデルの厳密性を決定するスカラーによって重み付けしたものを含めるように特徴ベクトルを拡張することによって、回帰フレームワークにおいてこれを達成する。この顔形状の（すなわち、ランドマークロケーションの）大域正則化によって、特徴が隔たっていくことを防ぐ。
【００３３】
姿勢及び表情の変動に対処するように本発明のモデルの柔軟性を更に改善するために、カスケードの各ステージにおける単純な線形回帰関数を、エキスパート混合線形回帰関数と置き換える。混合における各エキスパートは、異なるプロトタイプ顔形状に対応し、例えば、各エキスパート関数は、異なる範囲の面外頭部回転（out-of-plane head rotations）及び表情を扱うことができる。
【００３４】
ここで、本発明の方法に関連する従来の教師あり降下法（ＳＤＭ）及び本明細書において用いられる表記について説明する。
【００３５】
Ｉを顔の画像とし、ｘを画像座標内のｐ個の顔ランドマークのロケーションの２ｐ×１ベクトルとする。ｘにおけるｐ個のランドマークロケーションの各々において、ｄ次元特徴ベクトル、例えば、ｄ＝１２８が抽出される。φ（Ｉ，ｘ）をｐｄ×１の統合された特徴ベクトルとする。これは、ランドマークロケーションｘにおける画像Ｉから抽出されたｐ個の特徴記述子の連結である。いくつかの実施形態では、特徴は、スケール不変特徴変換（ＳＩＦＴ）特徴である。他の実施形態では、特徴は、勾配方向ヒストグラム（ＨＯＧ：Histogram of Oriented Gradients）特徴である。
【００３６】
画像Ｉにおけるランドマークロケーションｘｋの現在の推定値を所与とすると、ＳＤＭは、位置合わせ問題を、更新ベクトルΔｘを求めることとして定式化し、それによって、更新された１組のランドマークロケーションｘｋ＋Δｘにおいて求められた特徴は、画像内のグランドトゥルースランドマークロケーション
【数９】
0006584629.tif 000010
の組において求められた特徴に、より良好に合致する。
【００３７】
対応する誤差を更新ベクトルΔｘの関数として表すことができる。
【数１０】
0006584629.tif 000011
ここで、
【数１１】
0006584629.tif 000012
である。関数ｆはニュートンの方法によって最小化することができる。それは、ヘシアン及びヤコビ関数の計算を必要とし、このために、ｆは２回微分可能でなくてはならない。一方、この微分可能条件は、常に成り立つとは限らない場合があり、φがＳＩＦＴ演算子である場合、明らかに成り立たない。したがって、その方法は、ヤコビ及びヘシアン行列の計算的に複雑な数値計算を必要とし、結果としての最小化手順の収束は低速である。
【００３８】
これは、明示的なヘシアン及びヤコビ計算の代わりに学習された降下方向を用いてｘｋを連続して更新することによってＳＤＭにおいて対処される。学習された降下方向を計算するのに用いられる線形関数及び特徴ベクトルの形態のための動機は、ニュートンの方法から得られる。
【００３９】
（１）に対する二次テイラー近似は以下となる。
【数１２】
0006584629.tif 000013
ここで、Ｊｆはｘに関するｆのヤコビ行列であり、Ｈはｆのヘシアン行列である。連鎖法則によって、以下の式が成り立つ。
【数１３】
0006584629.tif 000014
ここで、Ｊφはｘに関するφのヤコビであり、φｋ＝φ（Ｉ，ｘｋ）と定義する。
【００４０】
ニュートンステップは以下となる。
【数１４】
0006584629.tif 000015
ここで、ヘシアン及びヤコビからの引数ｘｋを省いてφｋに対する依存を強調する。
【００４１】
式（４）は、多変量線形回帰によって近似される。
【数１５】
0006584629.tif 000016
ここで、係数Ｗｋ及び偏りｂｋはｘｋの値に依拠しない。
【００４２】
ＳＤＭは、トレーニングデータを用いて、Ｋ個の線形回帰｛Ｗｋ，ｂｋ｝のカスケードを学習する。ここで、ｋ＝１，．．．，Ｋである。次に、学習された回帰を、カスケードの以前のステージによって出力されたランドマークロケーションにおいて計算された特徴に順次適用することによって、位置合わせが達成される。
【数１６】
0006584629.tif 000017
【００４３】
回帰｛Ｗｋ，ｂｋ｝を学習するために、トレーニングデータにおけるＮ個の顔の画像が、全てのトレーニング画像をＭ回繰り返すことによって拡張される。毎回、異なるランダム変位によってグランドトゥルースランドマークロケーションを摂動させる。グランドトゥルースランドマークロケーション
【数１７】
0006584629.tif 000018
を有するこの拡張されたトレーニングセット（ｉ＝１，．．．，ＭＮ）内の各画像Ｉｉについて、ランドマークが、ランダム変位
【数１８】
0006584629.tif 000019
によって摂動される。次に、Ｌ２損失関数
【数１９】
0006584629.tif 000020
を最小限にすることによって第１の回帰関数（ｋ＝１）が学習される。
【００４４】
ランダム摂動を用いるのではなく、後の回帰｛Ｗｋ，ｂｋ｝ｋ＝２，．．．，Ｋをトレーニングすることによって、更新ベクトル
【数２０】
0006584629.tif 000021
は、回帰カスケードの前回のステージ後の残余となる。
【００４５】
ここで、本発明のモデルを説明する。本発明のモデルは、従来技術の位置合わせの正確度及びロバスト性を大幅に改善する。好ましい実施形態は、
回帰の各ステージの前の大域位置合わせステップと、
回帰に対する学習された変形制約と、
カスケードの各ステージにおける、単一の線形回帰ではないエキスパート混合回帰と、
を用いる。
【００４６】
大域位置合わせ（Global Alignment）
従来のＳＤＭにおける回帰関数が、多岐にわたる顔の姿勢及び表情について顔ランドマークを位置合わせするように学習するために、トレーニングデータは、可能な変動の空間を覆うのに十分な顔の例を含まなくてはならない。
【００４７】
任意の姿勢において顔を位置合わせできることが所望の特性であるが、そのような機能を学習することは、全ての可能な顔姿勢を含むトレーニングデータを収集する（又は合成する）ことを必要とする。さらに、学習することは、トレーニングセット内に大きな変動が存在するときに、より困難なタスクとなり、このため、十分に複雑な回帰モデル（機能形式及び特徴数）が必要とされるか、又は全てのこれらの姿勢を位置合わせするために位置合わせ方法の正確度が損なわれる。
【００４８】
原則として、モデルの複雑度を高めることにより、汎化性能が悪化する。これにより、限られた範囲の姿勢について顔を位置合わせすることを学習する、より単純な又はより正則化されたモデルが、全ての姿勢に関してトレーニングされた汎用位置合わせモデルよりも、これらの姿勢について良好に機能することができることが提案される。
【００４９】
単純な例として、顔画像の複数の面内回転を用いてトレーニングされた回帰関数ではなく、顔の単一の直立画像を用いてトレーニングされる回帰関数を検討する。顔の単一の直立画像を用いてトレーニングされる回帰関数の場合、回帰関数は、直立姿勢についてルートを有しなくてはならないのに対し、顔画像の複数の面内回転を用いてトレーニングされた回帰関数の場合、回帰関数は、全ての面内回転についてルートを有しなくてはならない。
【００５０】
大域位置合わせによる本発明の目標は、任意の姿勢における顔を位置合わせすることを依然として可能にしながら、姿勢のより小さな組において各回帰をトレーニングすることである。これを行うために、各ステージの回帰関数の前に大域位置合わせステップを適用する。
【００５１】
大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ）
図２Ａ、図２Ｂ及び図３は、大域位置合わせ教師あり降下法（ＧＡ−ＳＤＭ）と呼ぶ、大域位置合わせ及び回帰を用いて顔を位置合わせするための本発明の方法を示す。図２Ａは、本方法の１回の反復（ステージｋ）のステップの流れ図を示し、図２Ｂは、対応する擬似コードを示す。
【００５２】
図３は、（Ｋ個のステージを有する）ＧＡ−ＳＤＭ法全体のための流れ図を示す。本方法におけるステップは、当該技術分野において既知のメモリ及び入出力インターフェースに接続されたプロセッサにおいて行うことができる。擬似コードにおいて用いられる全ての変数が本明細書に記載される。
【００５３】
図２Ａ及び図２Ｂに記載される方法を、ＧＡ−ＳＤＭの１つのステージ、ステージｋと呼ぶ。これはなぜなら、好ましい実施形態において、本方法がＫ回（ここで、Ｋ≧１）反復され、各反復ｋがＧＡ−ＳＤＭのステージｋと呼ばれるためである。図３は、Ｋ個のステージを含むＧＡ−ＳＤＭ法全体を示す。一方、図２Ａ及び図２Ｂに記載される方法は、独立型の方法として１回のみ行われる場合がある。これは、Ｋ＝１であるＧＡ−ＳＤＭの特殊な事例である。
【００５４】
ＧＡ−ＳＤＭのステージｋへの入力は、プロトタイプ顔形状
【数２１】
0006584629.tif 000022
１０３のランドマークロケーションのベクトルと、｛Ｗｋ，ｂｋ｝によって定義される線形回帰関数と、顔の画像Ｉと、画像内の特定された顔ランドマークの初期ロケーションｘｋとである。ここで、以下で更に説明するように、Ｗｋ及びｂｋはそれぞれ、回帰関数の係数及び偏りを表す。
【００５５】
プロトタイプ顔形状
【数２２】
0006584629.tif 000023
１０３は、ｐ個の顔ランドマークのロケーションを含む２ｐ×１ベクトルである。いくつかの実施形態では、プロトタイプ形状
【数２３】
0006584629.tif 000024
は、全ての画像に正準ロケーション及びスケールを共有させるために各トレーニング画像に均等スケーリング及び並進変換が適用された後の、トレーニングデータの組にわたる各ランドマークの平均ロケーションを含む。
【００５６】
好ましい実施形態は、以下で説明するように、大域位置合わせのための関数のクラスとしてアフィン変換を用いるが、他の実施形態は大域変換の他のクラスを用いてもよい。回帰の各ステージｋにおいて、プロトタイプランドマークロケーション
【数２４】
0006584629.tif 000025
への二乗距離の和を最小限にするために、前回の回帰ステージによって推定されたランドマークロケーションｘｋを変換するアフィン変換Ａｋ１１１を求める（１１０）。
【数２５】
0006584629.tif 000026
ここで、Ａは全てのアフィン変換の組を表す。
【００５７】
変換Ａｋを用いて、画像Ｉ及びランドマークロケーションｘｋ１０１をプロトタイプ形状座標フレーム：Ｉ’＝Ａｋ（Ｉ）及び
【数２６】
0006584629.tif 000027
にワープする（１２０）。ここで、ランドマークロケーションのベクトルの変換Ａｋ（ｘｋ）及び画像のワープＡｋ（Ｉ）の双方に同じアフィン変換演算子Ａｋを用いることによって僅かに記号の濫用を行うことに留意されたい。
【００５８】
次に、プロトタイプ座標フレームにおける推定ランドマークロケーション
【数２７】
0006584629.tif 000028
におけるワープされた画像Ｉ’から、特徴、例えば、ＳＩＦＴ特徴を抽出し（１３０）、線形回帰を適用する（１４０）。
【数２８】
0006584629.tif 000029
【００５９】
次に、
【数２９】
0006584629.tif 000030
、すなわち変換Ａｋの逆数を用いてワープして、画像座標に戻す（１５０）。画像座標フレームにおいて、更新されたランドマークロケーション１５１を出力する。これらは
【数３０】
0006584629.tif 000031
によって与えられる。
【００６０】
いくつかの実施形態では、線形回帰１４０は、カーネル回帰、ツリー回帰、回帰フォレスト、又はニューラルネットワーク回帰等の別のタイプの回帰関数と置き換えられてもよい。
【００６１】
変形制約の学習
ランドマークロケーションを追跡するための従来のＳＤＭは、近傍のランドマークの回帰挙動に対する明示的な制約を有しておらず、これにより、ランドマークが隔たっていく可能性が生じる。通常、これは、ランドマークの自由形態の変形に対する明示的な制約又はペナルティを導入することによって最適化設定において対処するべき単純な問題である。
【００６２】
低速となり得る最適化手順を利用するのではなく、回帰関数を用いて順方向予測の速度の利点を維持したい。回帰フレームワーク内の制約の効果を達成するために、回帰モデルがランドマークロケーションを制約することを学習することを可能にする更なる特徴を用いる。
【００６３】
式（１）におけるコスト項
【数３１】
0006584629.tif 000032
の形態で軟制約を用いる。
【数３２】
0006584629.tif 000033
これにより、ランドマークロケーションがプロトタイプ形状
【数３３】
0006584629.tif 000034
から隔たっていくときの二次ペナルティが課される。重みλは、プロトタイプ形状からのロケーションの偏差に対する制約の厳密さを制御する。制約された最適化において、「軟」制約は、制約が満たされない量にペナルティを課す項である。
【００６４】
この制約されたｆのためのニュートンステップは、
【数３４】
0006584629.tif 000035
であり、ここで、Ｈは、ｘに関するｆｃのヘシアン行列であり、Ｊφはｘに関するφのヤコビである。（５）によって（４）を近似したように、線形回帰関数によって、この制約付きニュートンステップ（１１）を近似することができる。
【数３５】
0006584629.tif 000036
ここで、制約付き特徴ベクトル
【数３６】
0006584629.tif 000037
は、以下となる。
【数３７】
0006584629.tif 000038
【００６５】
制約なしＳＤＭにおけるように、トレーニングデータを用いて回帰係数Ｗｋ及び偏りｂｋを学習することができる。制約付きの式（１２）と式（５）における制約なし回帰モデルとの間の唯一の差は、制約付きバージョンにおいて、プロトタイプ形状ランドマークロケーションからのランドマークロケーションの偏差を符号化する更なる特徴
【数３８】
0006584629.tif 000039
を含めるように特徴ベクトルを拡張することである。
【００６６】
制約付き回帰は、関連付けられた回帰係数のための負値を学習することによって、プロトタイプ形状に向けてランドマークロケーションを動かすことを学習する。学習された係数のノルムは、カスケードの初期回帰ステージの場合により大きく、後のステージにおいてより小さい。これにより、ランドマークロケーションがそれらの最終的な値に収束するにつれ、変形に対し課される制約が弱くなる。
【００６７】
重みλをＷｋに組み込み、
【数３９】
0006584629.tif 000040
をｂｋに組み込み、
【数４０】
0006584629.tif 000041
ではなくｘｋを有する特徴ベクトルφ＊のみを展開することが可能であることに留意されたい。一方、式（１３）におけるような差分ベクトル形式を維持する。これは、以下に説明するような正則化されたトレーニングにとって重要になる。
【００６８】
表記を統一するために、展開された特徴ベクトルφ＊を単純にφと呼ぶ。そのようにして、式（５）〜式（９）、図２Ａ、及び図２Ｂのアルゴリズム１を変更なしで制約付きモデルに適用する。φを用いる以下の式は、同様に、制約付きモデルに適用されるとみなすことができる。
【００６９】
好ましい実施形態は、展開された特徴ベクトルを、ＳＤＭの単純な拡張ではなく、本発明のＧＡ−ＳＤＭの一部として用いることに留意されたい。このため、好ましい実施形態では、特徴
【数４１】
0006584629.tif 000042
は、式（９）におけるように、プロトタイプ座標フレーム内のランドマークロケーション    
【数４２】
0006584629.tif 000043
（すなわち、ワープされたランドマークロケーション）におけるワープされた画像Ｉ’から抽出される。このため、好ましい実施形態において、展開された特徴ベクトルにおける追加の特徴は、実際に、プロトタイプ形状ランドマークロケーションからのワープされたランドマークロケーション
【数４３】
0006584629.tif 000044
の偏差を符号化した、形式
【数４４】
0006584629.tif 000045
を有する。
【００７０】
ＧＡ−ＳＤＭ回帰エキスパートの混合
上記で説明した大域位置合わせは、本発明のモデルが、顔のアフィン変換に対し不変の回帰関数を学習することを可能にする。それでも、例えば、面外回転及び表情に起因した、顔画像データにおける残りの変動が大きいため、単一の回帰関数が全ての顔を正確に位置合わせすることは困難である。
【００７１】
特に、画像の通常のトレーニングセットは、大きな面外回転又は極端な表情を有する顔よりもはるかに多くの無表情の正面の顔を含む。したがって、これらのトレーニングデータから導出されたプロトタイプ顔（例えば、平均顔）は、無表情の正面の顔に非常に近く、回帰関数は、より極端な姿勢及び表情について、あまり良好に機能しない傾向にある。
【００７２】
好ましい実施形態は、エキスパート混合回帰モデルを用いる。エキスパート混合回帰モデルでは、各エキスパートが、可能な姿勢及び表情の異なるサブセットに特化された回帰関数を有する。各エキスパートのサブセットは、エキスパートのためのプロトタイプ形状によって求められる。Ｌ個のプロトタイプ形状
【数４５】
0006584629.tif 000046
を構築し、それによって、データセット内のＮ個の顔の各々のグランドトゥルースランドマークロケーション
【数４６】
0006584629.tif 000047
が、プロトタイプ形状ランドマークのうちの１つと良好に位置合わせされる。プロトタイプ形状の決定は、以下の最適化問題として表すことができる。
【数４７】
0006584629.tif 000048
ここで、各
【数４８】
0006584629.tif 000049
は、可能なプロトタイプ形状を表す２ｐ×１ベクトルであり、すなわちｐ個の顔ランドマークのロケーションである。
【００７３】
【数４９】
0006584629.tif 000050
は、変換のクラス全体、例えば、全ての可能なアフィン変換の組を表すのに対し、Ａは、その組のメンバーである１つの特定の変換を表す。
【００７４】
変換
【数５０】
0006584629.tif 000051
のクラスが恒等変換のみを含む場合、この問題は、ランドマークロケーションに基づくトレーニングサンプルのユークリッドクラスタリングに還元される。
【００７５】
【数５１】
0006584629.tif 000052
がアフィン変換のクラスである場合、これをアフィン不変クラスタリング（affine-invariant clustering）と呼ぶ。この場合、式（１４）は、全ての変換及びプロトタイプ形状にゼロを割り当てるゼロ解を回避するためにプロトタイプ形状又は変換に対する更なる制約が必要となる同種最適化（homogeneous optimization）問題である。さらに、目的関数は、形状の共同最適化、及び形状へのトレーニングサンプルの割り当てに起因して非凸である。この問題を、２つの凸部分問題（convex sub-problems）に分割し、これらを反復的に解く。
【００７６】
第１の部分問題は、プロトタイプ形状
【数５２】
0006584629.tif 000053
が固定であると仮定して、全てのトレーニング顔画像ｎを、
【数５３】
0006584629.tif 000054
を介してプロトタイプ形状のうちの１つに割り当てる。この問題は、トレーニング顔ごとに独立して解くことができる。最適な割り当ては、顔のグランドトゥルースランドマークロケーションを、最小位置合わせ誤差でアフィン位置合わせすることができるプロトタイプ形状である。
【００７７】
第２の部分問題はプロトタイプ形状について解く。各プロトタイプ形状は、そのプロトタイプ形状に割り当てられた全てのトレーニング顔のグランドトゥルースロケーション
【数５４】
0006584629.tif 000055
にわたって二乗アフィン位置合わせ誤差の和を最小にするランドマークロケーションを含む。
【数５５】
0006584629.tif 000056
【００７８】
縮退を回避するために、プロトタイプ形状に対し線形制約を用いる。いくつかの実施形態では、これらの制約は、例えば、右の眉毛のランドマークの平均ロケーションと同様に左の眉毛のランドマークの平均ロケーション、および、唇のランドマークの平均垂直ロケーションが固定されることを強制する。これらの制約は、行列Ｃの行が、ランドマークロケーションのベクトル
【数５６】
0006584629.tif 000057
から眉毛及び唇のランドマークの座標を選択するとともに、行列Ｃの行に対応するベクトルｍの行が、固定された平均ロケーションを符号化するように、行列Ｃ及びベクトルｍを選択することによって、式（１７）を用いて表すことができる。この最適化は、線形制約を有する二次問題（quadratic problem）であり、最適解は、線形系を解くことによって計算される。２つの最適化部分問題は、割り当てが変化しなくなるまで交互に解かれる。通常、収束には２０回〜３０回の反復で十分である。
【００７９】
図４Ｃは、本発明の好ましい実施形態による、ＧＡ−ＳＤＭ回帰エキスパート、以後「エキスパート」の混合を適用するための方法である疑似コードアルゴリズム２を示す。本方法は、カスケードのステージと呼ぶＫ回の反復を含む。
【００８０】
図４Ａは、本方法のステージｋと呼ぶ１回の反復の流れ図を示す。ステージｋへの入力は、画像Ｉ及び初期ランドマークロケーションｘｋ１０５である。ｌ＝１，．．．，ＬであるエキスパートＥｌごとに、本発明のＧＡ−ＳＤＭのステージｋ２００が適用され（１５５）、各エキスパートの更新されたランドマークロケーション
【数５７】
0006584629.tif 000058
１５６が得られる。割り当てαｌ（ｘｋ）１６１は、以下に詳細に説明されるように、式（２０）及び式（２１）に従って求められ、Ｌ個のエキスパートの出力の重み付き平均１７０は、以下のように求められる。
【数５８】
0006584629.tif 000059
これは、式（２２）として以下に説明される。次に、更新されたランドマークロケーションｘｋ＋１が出力される（１７１）。
【００８１】
各エキスパートＥｌは、Ｌ個のプロトタイプ形状うちの１つに対応する、すなわち、ｌ∈｛１，．．．，Ｌ｝である。回帰カスケードの各ステージにおいて、エキスパートＥｌごとに別個の回帰が存在する。このため、プロトタイプ形状ロケーション
【数５９】
0006584629.tif 000060
に加えて、各エキスパートＥｌは、カスケードのＫ個のステージの各々について回帰関数
【数６０】
0006584629.tif 000061
を有する。
【数６１】
0006584629.tif 000062
【００８２】
カスケードの各ステージｋにおいて、各エキスパートＥｌが、そのエキスパートのプロトタイプ形状ロケーション
【数６２】
0006584629.tif 000063
及び回帰関数
【数６３】
0006584629.tif 000064
を入力として用いて、アルゴリズム１（図２Ｂ）、すなわち、ＧＡ−ＳＤＭのステージｋを実行する。
【数６４】
0006584629.tif 000065
【００８３】
式（１９）における表記は、
【数６５】
0006584629.tif 000066
がアルゴリズム１に対する入力（これは、図２Ｂに詳述されるように、ＧＡ−ＳＤＭのステージｋである）として提供され、
【数６６】
0006584629.tif 000067
が結果としての出力であることを示す。各エキスパートＥｌのためのゲーティング関数は、ランドマークロケーションｘｋと、各プロトタイプ形状のランドマークロケーション
【数６７】
0006584629.tif 000068
との間の大域位置合わせ誤差εｌ（ｘｋ）のソフトマックス変換によって与えられるソフト割り当てαｌ（ｘｋ）である。ソフト割り当ては、以下を用いて計算される。
【数６８】
0006584629.tif 000069
ここで、
【数６９】
0006584629.tif 000070
であり、ソフトマックス関数は範囲（０，１）内の実数値を返す。
【００８４】
ここで、式（８）において、
【数７０】
0006584629.tif 000071
は、全てのアフィン変換の組を表す。いくつかの実施形態では、
【数７１】
0006584629.tif 000072
は、大域変換の異なるクラスを表し得る。スコアαｌ（ｘｋ）の高い値は、ロケーションｘｋの現在の推定値が、ｌ番目のエキスパートのプロトタイプ形状に近く、このため、Ｅｌから得られる回帰結果が高い重みを割り当てられることを示す。図４Ｂにおいて、モデル内のエキスパートに対する２つの顔の割り当て重みを示す。
【００８５】
カスケードの各ステージｋにおいて、本発明の混合エキスパート位置合わせ方法は、全てのエキスパートの回帰関数をランドマークロケーションｘｋの開始推定値に適用し、次に、ゲーティング関数αｌ（ｘｋ）に従って出力を平均し、ランドマークロケーションｘｋ＋１の更新された推定値を得る。
【数７２】
0006584629.tif 000073
【００８６】
エキスパートのトレーニング
好ましい実施形態において、エキスパートの回帰関数は、Ｎ個の顔画像の組と、これらのＮ個の画像の各々における顔ランドマークのグランドトゥルースロケーションとを含むトレーニングデータを用いて学習される。エキスパートＥｌの回帰関数を学習するために、トレーニングデータ内のＮ個の顔画像が、異なるランダム変位によってグランドトゥルースランドマークロケーションを毎回摂動させて、全てのトレーニング画像をＭ回繰り返すことによって拡張される。グランドトゥルースランドマークロケーション
【数７３】
0006584629.tif 000074
を有するこの拡張されたトレーニングセットにおける画像Ｉｉ（ｉ＝１，．．．，ＭＮ）ごとに、ランドマークをランダムオフセット
【数７４】
0006584629.tif 000075
だけ変位させる。全てのエキスパートＥｌごとに、式（２０）及び式（２１）を用いて、プロトタイプ形状
【数７５】
0006584629.tif 000076
へのｉ番目のサンプルの摂動されたランドマークロケーションのソフト割り当て
【数７６】
0006584629.tif 000077
を計算する。
【数７７】
0006584629.tif 000078
【００８７】
このソフト割り当てを計算する間、
【数７８】
0006584629.tif 000079
が、プロトタイプ形状
【数７９】
0006584629.tif 000080
のランドマークロケーションに対するｉ番目のサンプルの摂動されたランドマークロケーションを最も良好に割り当てる式（２１）からの大域（アフィン）変換を表すものとする。
【数８０】
0006584629.tif 000081
を用いて、グランドトゥルースランドマークロケーション及び変位ベクトルを、エキスパートＥｌのプロトタイプ座標フレームに変換する。
【数８１】
0006584629.tif 000082
【００８８】
次に、第１の回帰関数（ｋ＝１）は、チコノフ正則化Ｌ２損失関数を最小にすることによって学習される。
【数８２】
0006584629.tif 000083
ｌ及びｋごとに、正則化項の重みγを、例えば２分割交差検証を用いた対数空間におけるグリッドサーチにより、選択することができる。
【００８９】
ランダム摂動を用いるのではなく、後の回帰｛Ｗｋ，ｂｋ｝ｋ＝２，．．．，Ｋをトレーニングするために、ターゲット
【数８３】
0006584629.tif 000084
は、カスケードの前回のステージの残余である。
【００９０】
トレーニングにおいて、回帰関数は、大きな残余を生成するいくつかのサンプルについて多岐にわたる可能性がある。これらの外れ値の当てはめを回避するために、各ステージｋにおいて、トレーニングセットから最も大きな残余を有するサンプルの２％を除去する。交差検証誤差をこれ以上低減することができなくなるまでトレーニングすることによって、回帰ステージＫの数を選択する。
【００９１】
トレーニングセットの主要な変形方向に沿ってグランドトゥルース顔ランドマークロケーションをランダムに摂動させることによって、トレーニングサンプルが生成される。これらは主要成分解析により求められる。さらに、ランダム回転、並進及び不均等スケーリングをランドマークロケーションに適用し、ｉ．ｉ．ｄ（独立同分布（independent and identically distributed））ガウス雑音を加える。このトレーニングセットのためのカスケードモデル（通例、Ｋ＝３個〜４個のステージ）を学習した後、小さな量のｉ．ｉ．ｄガウス雑音のみからなるトレーニングセットを用いて第２のカスケードモデルを学習し、このモデルをオリジナルモデルに付加する。第２のモデルは、１個〜２個のステージを有し、精密な位置合わせを改善する。
【００９２】
発明の効果
各々が、大域位置合わせと、それに続く回帰とを含む１つ以上の（Ｋ≧１）ステップからなる正確な顔の位置合わせ方法が説明される。さらに、Ｌ個のＧＡ−ＳＤＭ回帰エキスパートの混合を説明した。各エキスパートは、ランドマークロケーションをそのプロトタイプ形状に大域的に位置合わせし、カスタマイズされた回帰モデルを学習することによって、姿勢及び表情の共同空間の異なる部分に特化している。また、変形制約を弁別的位置合わせフレームワーク内に含める方法も提示する。拡張的な評価は、提案される方法が最新技術を大幅に改善することを示す。
【図１】
0006584629.tif 000104
【図２Ａ】
0006584629.tif 000105
【図２Ｂ】
0006584629.tif 000106
【図３】
0006584629.tif 000107
【図４Ａ】
0006584629.tif 000108
【図４Ｂ】
0006584629.tif 000109
【図４Ｃ】
0006584629.tif 000110