(57)【要約】オブジェクトのあるクラスに属するあるオブジェクトの特徴を目標画像内において位置特定する方法。本方法は：目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応し；そのクラスのオブジェクトの統計的モデルを使って特徴点の集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のあたりに位置される画像領域を含み；前記集合のテンプレート検出器を前記目標画像と比較し；前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む。
2009533724.tif 000002
【特許請求の範囲】
【請求項１】
オブジェクトのあるクラスに属するあるオブジェクトの特徴を目標画像内において位置特定する方法であって：
目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応し；
オブジェクトのそのクラスの統計的モデルを使って特徴点の集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のあたりに位置される画像領域を含むものであり；
前記集合のテンプレート検出器を前記目標画像と比較し；
前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む、
方法。
【請求項２】
前記統計的モデルを使って導出される前記集合のテンプレート検出器は、全体として、オブジェクトの前記クラスに属するオブジェクトの一部のみを表現する、請求項１記載の方法。
【請求項３】
前記統計的モデルを使って導出されるテンプレート検出器の前記集合は、全体として、オブジェクトの前記クラスに属するオブジェクトの全部を表現する、請求項１記載の方法。
【請求項４】
特徴点の前記更新された集合からテンプレート検出器の前記集合を導出し、前記集合のテンプレート検出器を前記目標画像と比較し、特徴点の前記集合を更新する諸段階を繰り返すことをさらに含む、請求項１ないし３のうちいずれか一項記載の方法。
【請求項５】
特徴点の前記集合を更新する前記段階のあとに、
更新された各特徴点の位置とその前の位置との間の平均的な差が所定の閾値未満であるかどうかを判定し；
前記平均的な差が前記閾値未満であれば特徴点の前記集合を特徴点の最終的な集合として出力することを含む、
請求項１ないし４のうちいずれか一項記載の方法。
【請求項６】
トレーニング画像の集合から前記統計的モデルを生成することをさらに含み、ここで、各トレーニング画像はオブジェクトのそのクラスのオブジェクトを含んでいる、請求項１ないし５のうちいずれか一項記載の方法。
【請求項７】
統計的モデルを生成する前記段階が、各トレーニング画像について：
トレーニング画像内のオブジェクトのある所定の特徴に対応する前記トレーニング画像内の特徴点の集合を識別し；
識別された特徴点のあたりに位置する前記トレーニング画像内の画像領域を含むテンプレートからなるテンプレートの集合を生成することを含む、
請求項６記載の方法。
【請求項８】
特徴点の集合を識別する前記段階が、人間のオペレーターが特徴点の前記集合を識別することを含む、請求項７記載の方法。
【請求項９】
特徴点の集合を識別する前記段階が、特徴点の前記集合を自動的に識別することを含む、請求項７記載の方法。
【請求項１０】
トレーニング画像の前記集合内の各トレーニング画像について、特徴点の前記集合から、トレーニング画像の前記集合についての特徴点の空間分布を表す形状モデルを生成することを含む、請求項７ないし９のうちいずれか一項記載の方法。
【請求項１１】
テンプレート検出器の集合を導出する前記段階が：
前記目標画像についてテンプレートの集合を生成し、ここで、各テンプレートは、前記目標画像内のある特徴点のあたりに位置する画像領域を含むものであり；
前記形状モデルを使って、トレーニング画像の前記集合内で、前記目標画像内の前記集合の特徴点に最も近い識別された特徴点を有するトレーニング画像の部分集合を識別し；
前記目標画像についての前記集合のテンプレートを、トレーニング画像の前記部分集合内の各トレーニング画像についての前記集合のテンプレートと相関させ；
トレーニング画像の前記部分集合から、前記目標画像についてのテンプレートの前記集合に最も相関したテンプレートの集合を有するトレーニング画像を選択し；
前記選択されたトレーニング画像についてのテンプレートの前記集合をテンプレート検出器の前記集合として設定することを含む、
請求項１０記載の方法。
【請求項１２】
トレーニング画像の前記集合内の各トレーニング画像についての特徴点の前記集合から、トレーニング画像の前記集合についての特徴点の空間分布を表現する形状モデルを生成し；
トレーニング画像の前記集合内の各トレーニング画像についてのテンプレートの前記集合から、トレーニング画像の前記集合内のテンプレートの前記集合についてテクスチャーの分布を表現するテクスチャー・モデルを生成し；
前記形状モデルおよび前記テクスチャー・モデルを組み合わせて組み合わされた形状およびテクスチャー・モデルを形成することを含む、
請求項７ないし９のうちいずれか一項記載の方法。
【請求項１３】
テンプレート検出器の集合を導出する前記段階が：
前記目標画像についてのテンプレートの集合を生成し、ここで、各テンプレートは前記目標画像内のある特徴点のあたりに位置される画像領域を含むものであり；
前記組み合わされた形状およびテクスチャー・モデルを使って、前記目標画像についての特徴点の前記集合およびテンプレートの前記集合から、モデル化されたテンプレートの集合を生成し；
前記生成されたテンプレートの集合を、テンプレート検出器の前記集合として設定する、
請求項１２記載の方法。
【請求項１４】
前記集合のテンプレート検出器を前記目標画像と比較する前記段階が：
各テンプレート検出器を前記目標画像の各領域と比較することを含む、
請求項１ないし１３のうちいずれか一項記載の方法。
【請求項１５】
前記集合のテンプレート検出器を前記目標画像と比較する前記段階が：
各テンプレート検出器を、別個に、前記目標画像内の対応する特徴点のあたりの一連の位置で、前記目標画像と相関させて応答画像を生成し、それにより応答画像の集合を形成し；
非線形最適化を使って各特徴点についての最良の相関の位置を位置特定し、それにより特徴点の更新された集合が生成され、特徴点の前記更新された集合がオブジェクトのそのクラスの諸オブジェクトについての特徴点の有効な集合を形成するようにすることを含む、
請求項１ないし１４のうちいずれか一項記載の方法。
【請求項１６】
特徴点の集合を初期化する前記段階が：
グローバルなオブジェクト検出器を使って前記オブジェクトを含む前記目標画像内の画像領域を識別し；
特徴点の前記集合を、前記グローバルなオブジェクト検出器によって識別される画像領域内の平均特徴点位置に初期化することを含む、
請求項１ないし１５のうちいずれか一項記載の方法。
【請求項１７】
特徴点の集合を初期化する前記段階がさらに：
特徴検出器の集合を使って、前記グローバルなオブジェクト検出器を使って識別された前記目標画像の前記領域内の、各特徴点を含む画像領域を識別し；
各特徴点を、前記特徴領域検出器によって識別された前記画像領域内の平均特徴位置に初期化することを含む、
請求項１６記載の方法。
【請求項１８】
一連の目標画像を有するビデオ・シーケンス内のあるオブジェクトの特徴を位置特定し；
第一の目標画像内の特徴点の集合を初期化し；
その後の目標画像についての特徴点の集合を、直前の目標画像からの更新された特徴点を使って初期化することを含む、
請求項１ないし１７のうちいずれか一項記載の方法。
【請求項１９】
オブジェクトのクラスが人間の顔を含む、請求項１ないし１８のうちいずれか一項記載の方法。
【請求項２０】
目標画像内の、オブジェクトのあるクラスに属するオブジェクトの視覚的外観をモデル化する方法であって：
目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応し；
オブジェクトのそのクラスの統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のあたりに位置される画像領域を含むものであり；
前記集合のテンプレート検出器を前記目標画像と比較し；
前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む、
方法。
【請求項２１】
目標画像内の人間の顔の視覚的外観をモデル化する方法であって：
目標画像中の特徴点の集合を初期化し、ここで、各特徴点は所定の顔の特徴に対応し；
人間の顔の統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器は顔の特徴の位置のあたりに位置される画像領域を含み；
前記集合のテンプレート検出器を前記目標画像と比較し；
前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む、
方法。
【請求項２２】
コンピュータを制御して請求項１ないし２１のうちいずれか一項記載の方法を実行させるコンピュータ可読コードを担持する担体媒体。
【請求項２３】
目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定するコンピュータ装置であって：
プロセッサ可読命令を記憶するプログラム・メモリと；
前記プログラム・メモリに記憶された命令を読み込み、実行するよう構成されたプロセッサとを有し；
前記プロセッサ可読命令は前記プロセッサを制御して、請求項１ないし２１のうちいずれか一項記載の方法を実行させる、
装置。
【請求項２４】
目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定する装置であって：
目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応する、手段と；
そのクラスのオブジェクトの統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のまわりに位置される画像領域を含むものである、手段と；
前記集合のテンプレート検出器を前記目標画像と比較する手段と；
前記比較の結果に応じて前記目標画像内の特徴点の集合を更新する手段とを有する、
装置。
【請求項２５】
目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定する方法であって、付属の図面を参照して本願明細書に実質的に記載されている方法。
【請求項２６】
目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの視覚的外観をモデル化する方法であって、付属の図面を参照して本願明細書に実質的に記載されている方法。
【請求項２７】
目標画像内の、人間の顔の視覚的外観をモデル化する方法であって、付属の図面を参照して本願明細書に実質的に記載されている方法。
【請求項２８】
目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定する装置であって、付属の図面を参照して本願明細書に実質的に記載されている装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの特徴を位置特定する方法に関する。より詳細には、排他的にではないが、本発明は、オブジェクトのクラスのあるモデル（外観モデルとも称される）を、そのクラス内のあるオブジェクトを含む目標画像にあてはめる（fit）方法に関する。
【背景技術】
【０００２】
外観の統計的モデルは、コンピュータ・ビジョンにおいて広く使用されており、医療画像の解釈や顔を含む画像の解釈を含め、多くの応用がある。多くの応用について、オブジェクトの特徴を位置特定することが有用であることがある。たとえば、顔を含む画像に関わる応用については、目の隅や口の隅といった顔の特徴を位置特定することが有用であることがある。
【０００３】
従来、オブジェクトのクラスの統計的モデルは、そのクラスのあるオブジェクトを含む画像または画像の一部にわたる強度（グレースケールまたはカラーの）および／または形の変動を表して構築される。顔の外観モデルの場合、顔の画像を使ってシステムをトレーニングし、それによりモデルを生成する。そうした画像はトレーニング画像として知られる。いかなる所与の画像についての変動も類似のパターンを含む傾向があり、モデルはそうしたパターンを表現する。ひとたびモデルが構築されると、目標画像内でそのクラスのオブジェクトの特徴の位置を識別するために、そのモデルが目標画像にあてはめられうる。
【０００４】
統計的外観モデルを生成し、そうしたモデルを顔の特徴または画像中の他の型のオブジェクトの特徴を識別および／または認識するために使う、いくつかの既知の方法がある。第一の既知のモデルは能動形状モデル（ASM:  Active  Shape  Model）で、これはT.  F.  Cootes,  A.  Hill,  C.  J.  Taylor,  and  J.  Haslam,  “The  use  of  active  shape  models  for  locating  structures  in  medical  images”,  Image  and  Vision  Computing,  12(6):  276-285,  July  1994およびT.  F.  Cootes,  C.  J.  Taylor,  D.  Cooper,  and  J.  Graham,  “Active  shape  models―their  training  and  application”,  Computer  Vision  and  Image  Understanding,  61(1):  38-59,  Jan.  1995に記載されている。ASMの両文献はここに参照により組み込まれる。
【０００５】
ASMが使う基本的な発想は、トレーニング集合から、所与のクラスの諸画像における形状の「正当な」変動のパターンおよび構造の空間的関係を確立することである（画像のクラスはたとえば、顔の画像または手の画像でありうる）。形状のコンパクトな表現を提供する、正当な変動のパターンの効率的なパラメータ化を与えるために統計的解析が使われる。統計的解析はまた、形状の制約をも提供する。形状の制約は、解析された画像中の構造の形状が関心のあるオブジェクト・クラスのもっともらしい例であるかどうかを判定するために使われる。
【０００６】
第二の既知のモデルは能動外観モデル（AAM:  Active  Appearance  Model）で、H.  Burkhardt  and  B.  Neumann（編）,  5th  European  Conference  in  Computer  Vision,  volume  2,  pp.484-498,  Springer,  Berlin,  1998所収のT.  F.  Cootes,  G.  J.  Edwards,  and  C.  J.  Taylor,  “Active  appearance  models”に記載されている。AAMは形状およびテクスチャーの組み合わされた統計モデルを使う。ASMもAAMも英国マンチェスターのヴィクトリア大学で開発された。これらのモデルはいずれも規格化された強度値の使用に基づいている。ASMもAAMもともに、固有顔（Eigen-face）モデルの一般化である。固有顔モデルは強度値の使用に基づいている。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の第一の側面によれば、オブジェクトのあるクラスに属するあるオブジェクトの特徴を目標画像内において位置特定する方法が提供される。本方法は：目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応し；オブジェクトのそのクラスの統計的モデルを使って特徴点の集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のあたりに位置される画像の領域を含み；前記集合のテンプレート検出器を前記目標画像と比較し；前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む。
【０００８】
有利なことに、本発明に基づくオブジェクトの特徴を位置特定する方法は、既知の技法と比べて計算量を著しく増すことなく、画像のシーケンスのより堅牢な検出およびよりよい追跡を与える。
【０００９】
「画像（image）」の用語は、画像または画像のうちの関心のある領域を意味することが意図される。画像中の関心のある位置は、識別のために有用な情報を提供すると期待される選択された領域であってもよい。
【００１０】
前記統計的モデルを使って導出されるテンプレート検出器の前記集合は、オブジェクトの前記クラスの前記オブジェクトを含む画像の前記領域の一部のみを集合的に表現してもよい。
【００１１】
前記統計的モデルを使って導出されるテンプレート検出器の前記集合は、オブジェクトの前記クラスの前記オブジェクトを含む画像の前記領域の全部を集合的に表現してもよい。
【００１２】
本方法はさらに、特徴点の前記更新された集合から、テンプレート検出器の前記集合を導出し、テンプレート検出器の前記集合を前記目標画像と比較し、特徴点の前記集合を更新する段階を繰り返すことを含んでいてもよい。
【００１３】
本方法はさらに、特徴点の前記集合を更新する前記段階のあとに、更新された各特徴点の位置とその前の位置との間の平均的な差が所定の閾値未満であるかどうかを判定し；前記平均的な差が前記閾値未満であれば特徴点の前記集合を特徴点の最終的な集合として出力することを含んでいてもよい。
【００１４】
本方法はさらに、トレーニング画像の集合から前記統計的モデルを生成することを含んでいてもよい。ここで、各トレーニング画像はオブジェクトのそのクラスのオブジェクトを含んでいる。
【００１５】
統計的モデルを生成する前記段階は、各トレーニング画像について、さらに：トレーニング画像内のオブジェクトのある所定の特徴に対応する前記トレーニング画像内の特徴点の集合を識別し、テンプレートの集合を生成することを含んでいてもよい。ここで、各テンプレートは、識別される特徴点のあたりに位置する前記トレーニング画像内の画像の領域を含むものである。
【００１６】
特徴点の集合を識別する前記段階はさらに、人間のオペレーターが特徴点の前記集合を識別することを含んでいてもよい。代替的に、特徴点の集合を識別する前記段階はさらに、特徴点の前記集合を自動的に識別することを含んでいてもよい。
【００１７】
本方法はさらに、トレーニング画像の前記集合内の各トレーニング画像について、特徴点の前記集合から、トレーニング画像の前記集合についての特徴点の空間分布を表す形状モデルを生成することを含んでいてもよい。
【００１８】
テンプレート検出器の集合を導出する前記段階はさらに：前記目標画像についてテンプレートの集合を生成し、ここで、各テンプレートは、前記目標画像内のある特徴点のあたりに位置する画像領域を含むものであり；前記形状モデルを使って、トレーニング画像の前記集合内で、前記目標画像内の前記集合の特徴点に最も近い識別された特徴点を有するいくつかのトレーニング画像の部分集合を識別し；前記目標画像についての前記集合のテンプレートを、トレーニング画像の前記部分集合内の各トレーニング画像についての前記集合のテンプレートと相関させ；トレーニング画像の前記部分集合から、前記目標画像についてのテンプレートの前記集合に最も相関したテンプレートの集合を有するトレーニング画像を選択し；前記選択されたトレーニング画像についてのテンプレートの前記集合をテンプレート検出器の前記集合として設定することを含んでいてもよい。
【００１９】
本方法はさらに、トレーニング画像の前記集合内の各トレーニング画像についての特徴点の前記集合から、トレーニング画像の前記集合についての特徴点の空間分布を表現する形状モデルを生成し；トレーニング画像の前記集合内の各トレーニング画像についてのテンプレートの前記集合から、トレーニング画像の前記集合内のテンプレートの前記集合についてテクスチャーの分布を表現するテクスチャー・モデルを生成し；前記形状モデルおよび前記テクスチャー・モデルを組み合わせて組み合わされた形状およびテクスチャー・モデルを形成することを含んでいてもよい。
【００２０】
テンプレート検出器の集合を導出する前記段階はさらに：前記目標画像についてのテンプレートの集合を生成し、ここで、各テンプレートは前記目標画像内のある特徴点のあたりに位置される画像領域を含むものであり；前記組み合わされた形状およびテクスチャー・モデルを使って、前記目標画像についての特徴点の前記集合およびテンプレートの前記集合から、モデル化されたテンプレートの集合を生成し；前記生成されたテンプレートの集合を、テンプレート検出器の前記集合として設定することを含んでいてもよい。
【００２１】
前記集合のテンプレート検出器を前記目標画像と比較する前記段階はさらに：各テンプレート検出器を前記目標画像の各領域と比較することを含んでいてもよい。
【００２２】
前記集合のテンプレート検出器を前記目標画像と比較する前記段階はさらに：各テンプレート検出器を、別個に、前記目標画像内の対応する特徴点のあたりの一連の位置で、前記目標画像と相関させて応答画像を生成し、それにより応答画像の集合を形成し；非線形最適化を使って各特徴点についての最良の相関の位置を位置特定し、それにより特徴点の更新された集合が生成され、特徴点の前記更新された集合がオブジェクトのそのクラスの諸オブジェクトについての特徴点の有効な集合を形成するようにすることを含んでいてもよい。
【００２３】
特徴点の集合を初期化する前記段階はさらに：グローバルなオブジェクト検出器を使って前記オブジェクトを含む前記目標画像内の画像領域を識別し；特徴点の前記集合を、前記グローバルなオブジェクト検出器によって識別される画像領域内の平均特徴点位置に初期化することを含んでいてもよい。
【００２４】
特徴点の集合を初期化する前記段階はさらに：特徴検出器の集合を使って、前記グローバルなオブジェクト検出器を使って識別された前記目標画像の前記領域内の各特徴点を含む諸画像領域を識別し；各特徴点を、前記特徴領域検出器によって識別された前記画像領域内の平均特徴位置に初期化することを含んでいてもよい。
【００２５】
本方法はさらに、一連の目標画像を有するビデオ・シーケンス内のあるオブジェクトの諸特徴を位置特定し；第一の目標画像内の特徴点の集合を初期化し；その後の目標画像についての特徴点の集合を、直前の目標画像からの更新された特徴点を使って初期化することを含んでいてもよい。
【００２６】
オブジェクトのクラスは人間の顔を含んでいてもよい。
【００２７】
本発明の第二の側面によれば、目標画像内の、オブジェクトのあるクラスに属するオブジェクトの視覚的外観をモデル化する方法が提供される。本方法は：目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応し；オブジェクトのそのクラスの統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のあたりに位置される画像領域を含むものであり；前記集合のテンプレート検出器を前記目標画像と比較し；前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む。
【００２８】
本発明の第三の側面によれば、目標画像内の人間の顔の視覚的外観をモデル化する方法が提供される。本方法は：目標画像中の特徴点の集合を初期化し、ここで、各特徴点は所定の顔の特徴に対応し；人間の顔の統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器は顔の特徴の位置のあたりに位置される画像領域を含み；前記集合のテンプレート検出器を前記目標画像と比較し；前記比較の結果に応じて前記目標画像内の特徴点の集合を更新することを含む。
【００２９】
本発明の第四の側面によれば、コンピュータを制御して上記の方法を実行させるコンピュータ可読コードを担持する担体媒体が提供される。
【００３０】
本発明の第五の側面によれば、目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定するコンピュータ装置であって：プロセッサ可読命令を記憶するプログラム・メモリと；前記プログラム・メモリに記憶された命令を読み込み、実行するよう構成されたプロセッサとを有し、前記プロセッサ可読命令は前記プロセッサを制御して、上記の方法を実行させる、装置が提供される。
【００３１】
本発明の第六の側面によれば、目標画像内の、オブジェクトのあるクラスに属するあるオブジェクトの特徴を位置特定する装置が提供される。本装置は、目標画像中の特徴点の集合を初期化し、ここで、各特徴点はオブジェクトのそのクラスの諸オブジェクトについての所定の特徴に対応する、手段と；オブジェクトのそのクラスの統計的モデルを使って特徴点の前記集合からテンプレート検出器の集合を導出し、ここで、各テンプレート検出器はオブジェクトのそのクラスに属するオブジェクトについてのある特徴点の位置のまわりに位置される画像領域を含むものである、手段と；前記集合のテンプレート検出器を前記目標画像と比較する手段と；前記比較の結果に応じて前記目標画像内の特徴点の集合を更新する手段とを含む。
【００３２】
本発明についてこれから、あくまでも例として、付属の図面を参照して記述する。
【発明を実施するための最良の形態】
【００３３】
本稿で記載される本発明の実施形態において、目の瞳または口の隅といった顔の特徴の自動的な位置特定が、静止画およびビデオの両用途について提供される。本発明の実施形態は、人間の顔に適用されるとき、いくつかの従来技術のアルゴリズムよりも堅牢で、精確であることが示されている。
【００３４】
従来技術のAAMは、ある画像中のあるオブジェクトにわたる強度の変動を、形状変動を補正するためにまず画像をゆがめてから統計的にモデル化することを使う。外観モデルは、オブジェクトのあたりの関心のある領域における画像構造を表現する。典型的には、AAMの場合、これはオブジェクトの全体または一部をカバーする2D領域である。
【００３５】
AAMは二段階プロセスに関わる。第一に、所与のクラスの諸オブジェクトについての外観モデルが構築される。第二に、そのモデルと同じオブジェクト・クラスのオブジェクトを位置特定するために目標画像が探索される。モデル構築および画像探索の両方の間、関心のある画像が関心のある各領域にわたってサンプリングされる。サンプル値は各領域における画像構造を表現するベクトルに入れられる。モデルと目標画像との間のテクスチャーの差、すなわち各点における画像強度の差を使って、可能な最良のマッチを得る改良されたモデル・パラメータが予測される。
【００３６】
本発明の諸実施形態は、テンプレート検出器の集合を生成し、それらのテンプレート検出器を使って目標画像内の特徴位置（たとえば顔の特徴の位置）を、その目標画像内でのそのオブジェクトについてのデフォルト位置から正しい特徴位置に向けて、逐次的に改良していくことに依拠している。テンプレート検出器の前記集合は、画像パッチの集合を含み、各画像パッチは特徴位置に対応する。各テンプレート検出器は、前記目標画像のその対応する特徴位置の現在位置のあたりの領域において、前記目標画像と相関される。
【００３７】
本発明のある種の実施形態は、本稿ではテンプレート選択追跡器（TST:  Template  Selection  Tracker）やテンプレート化された能動外観モデル（TAAM:  Templated  Active  Appearance  Model）と称される。これらの用語は、いかなる形であれ本発明の範囲を限定するものと解釈すべきではない。本発明の範囲は、明細書に照らして、本稿に付属の請求項によって定義される。
【００３８】
ここで、本発明のある実施形態を概観する。記載される方法は図１に示されている二つのフェーズを有する。
【００３９】
初期トレーニング・フェーズ（ステップＳ１）の間に、トレーニング画像例のトレーニング集合からモデルが生成される。各画像はオブジェクトのクラスに属するあるオブジェクトを表している。トレーニング集合には、1000のオーダーの画像があってもよい。これらのトレーニング画像は典型的には、トレーニング画像間で対応する特徴を定義する、手動でラベル付けされた特徴点を有する。オブジェクト・クラスが人間の顔である本発明の実施形態では、トレーニング集合中の各画像は、所定の特徴（たとえば、目の隅および口の隅）に対応する22個の特徴点をもって手動でラベル付けされる。本発明の代替的な諸実施形態では、トレーニング画像は特徴点を自動的にラベル付けされてもよい。
【００４０】
各特徴点のあたりで、画像の規格化された部分（またはテンプレート）がサンプリングされる。テンプレートは、トレーニング集合の画像どうしの間でのスケール変動を説明するオブジェクトの所定の寸法を基準にして、たとえば顔の画像については目の中心間の距離を基準にしてサンプリングされる。トレーニング集合内でのテクスチャー情報（すなわち、テンプレートにわたるピクセル強度の変動）および形状情報（すなわち、各画像についての特徴点の分布）が、モデルを生成するために使われる。
【００４１】
第二の、オブジェクト識別フェーズ（ステップＳ２）の間に、生成されたモデルを目標画像（すなわち、同じオブジェクト・クラスからの画像であるが、トレーニング画像の前記集合内には含まれていない画像）にあてはめ、それにより目標画像内の同じクラスのオブジェクトについての所定の特徴の位置を位置特定しようとする試みがなされる。本発明の諸実施形態は、目標画像内の所定の特徴を自動的に位置特定しようと試みる。
【００４２】
画像識別フェーズの第一ステップは、画像内でオブジェクトを位置特定することである。顔については、標準的な顔検出器が使用される。たとえば、Computer  Vision  and  Pattern  Recognition  Conference  2001,  Volume  1,  Kauai,  Hawaii  (2001),  pp.  511-518所収のViola,  P.,  Jones,  M.,  “Rapid  object  detection  using  a  boosted  cascade  of  simple  features”に記載されている既知のViolaおよびJonesの顔検出器である。この文献はここに参照によって組み込まれる。
【００４３】
ViolaおよびJonesの顔検出器を適用すると、オブジェクト識別フェーズは、二つのサブステップを有する：テンプレート選択ステップ（template  selection  step）Ｓ３および形状制約探索ステップ（shape  constrained  search  step）Ｓ４である。いずれも本発明の個別的な実施形態を参照してのちにより詳細に説明する。
【００４４】
ステップＳ１の初期トレーニング・フェーズによって生成されたモデルは、特徴テンプレート検出器の集合を生成するために使われ、特徴テンプレート検出器の集合は、ステップＳ２のオブジェクト識別フェーズの間に、同じオブジェクト・クラスからのオブジェクトを含む目標画像中の実際の特徴点を位置特定することにおいて使うものである（本発明の個別的な実施形態を参照してのちにより詳細に説明する）。
【００４５】
テンプレート検出器が目標画像に適用されると、応答面（テンプレート検出器当たり一つ）の集合が生成される。各テンプレート検出器は、現在の推定される特徴位置のあたりのある範囲の諸位置で目標画像に対して別個に相関される。各応答面は、現在の特徴点のあたりの各ピクセル位置において、その特徴点についてのテンプレート検出器と目標画像との間の相関の結果を含む。応答面の集合は、非線形最適化技法を使って改良された特徴点位置を計算するために使われる。（非線形最適化技法は、たとえば、6th  International  Conference  on  Automatic  Face  and  Gesture  Recognition  2004,  Seoul,  Korea,  pp.  375-380,  2004所収のD.  Cristinance  and  T.  Cootes,  “A  comparison  of  shape  constrained  facial  feature  detectors”に記載されるものがある。）最適化技法は、位置がモデル内の「正当な」例に対応するよう、特徴点が、モデル化された情報によって課される形状変動についての制約を受けることを保証する。
【００４６】
更新された特徴点は、次の反復でテンプレート検出器の新しい集合を生成するための現在の特徴点として使われるか、あるいは、本発明の実施形態の直前の反復からの特徴点に近いと見出される場合には、最終的な特徴点として出力される。
【００４７】
本発明の二つの実施形態についてこれからより詳細に述べる。
【００４８】
本発明の第一の実施形態は、テンプレート選択追跡器アルゴリズム（TST）と称される。TSTアルゴリズムは、初期トレーニング・フェーズ（のちにより詳細に説明する）の間にトレーニング画像の集合および手動でラベル付けされた顔画像から学習されたテンプレートの集合から生成される形状モデルを使う。画像識別フェーズの間に、TSTアルゴリズムはテンプレート選択ステップおよび形状制約探索ステップの二つのステップを含む。
【００４９】
テンプレート選択ステップの間に、TSTアルゴリズムは、目標画像の現在の特徴点を使って、形状モデルを目標画像にあてはめようと試みる。新しい目標画像のためには、特徴点はデフォルト位置に初期化される。トレーニング画像例の最近接近傍画像探索を実行するために、形状空間におけるユークリッド距離が使われる。すなわち、目標画像の現在の特徴点が逐次的にトレーニング集合内の各画像と比較され、目標画像の現在の特徴点に最も近い空間的相関をもつトレーニング画像の部分集合が識別される。トレーニング画像の部分集合は、約20のトレーニング画像であってもよい。形状によって選択されるトレーニング画像の部分集合は、現在の目標画像と相関され、最も近いテンプレート・テクスチャー・マッチがトレーニング集合から選択される。すなわち、前記部分集合の各トレーニング画像について、テクスチャー・テンプレートが目標画像テンプレートとの相関を調べられ、トレーニング画像のうちのどれが目標画像に対して最も近いテクスチャー・マッチを有するかが識別される。
【００５０】
ひとたび最も近いマッチのトレーニング画像が識別されると、そのトレーニング画像についての諸テンプレートが、目標画像内の特徴点を探すときにテンプレート検出器として使用される。目標画像の現在の特徴点を改良するために、形状制約探索ステップにおいて、テンプレート検出器は、規格化された相関を使って目標画像に相関させられる。形状制約探索ステップは、参照により本願に組み込まれる6th  International  Conference  on  Automatic  Face  and  Gesture  Recognition  2004,  Seoul,  Korea,  pp.  375-380,  2004所収のD.  Cristinance  and  T.  Cootes,  “A  comparison  of  shape  constrained  facial  feature  detectors”に記載されているものと同様である。
【００５１】
上に参照した論文で記載されている探索方法では、特徴テンプレートは探索の間固定であるが、本発明の記載される実施形態では、現在の特徴点と目標画像が与えられて適切なテンプレート検出器が生成される逐次反復的方式が実装される。さらに、形状モデル・パラメータが硬い制限を使って制約されるのではなく、形状モデル・パラメータは非線形最適化関数にソフトなペナルティ項を追加することによって制約される。ソフトなペナルティ項は、統計的な形状モデルに基づくと生起確率が低い形状を不利にする。
【００５２】
前記探索方法は、能動形状モデルにも関係する。しかしながら、ここでもまた、ASMは固定テンプレートを使い、各検出器について応答面全体を利用するのではなく、各検出器の最良マッチを計算したあとで特徴点を更新するために形状モデルを使用するのみである。
【００５３】
テンプレート検出器は、各テンプレート検出器のそれぞれの特徴点のあたりの目標画像の領域のあたりを増分的に動かされる。規格化された相関によって応答面の集合が生成される。モデルのあてはめの品質（すなわち、目標画像内の真の特徴点に対する現在の特徴点の位置の精度）は既知の方法を使って最適化される。特に、モデルのあてはめの品質は、Nelder-Mead単体（simplex）アルゴリズム（J.  A.  Nelder  and  R.  Mead,  “A  simplex  method  for  function  minimization”,  Computer  Journal,  7:308-313,  1965に記載されており、この文献は参照によってここに組み込まれる）を使って最適化される。Nelder-Mead単体アルゴリズムは、各点における応答の和を最大化する、すなわち目標画像と各テンプレート検出器との間の相関が最強になる位置を位置特定するよう形状モデルのパラメータを駆動する。これは目標画像についての新しい改良された特徴点の集合を生成する。現在の特徴点が目標画像内の安定な位置に収束していたら、プロセスは終了する。そうでなければ、新しいテンプレート検出器が新しいテンプレート選択ステップにおいて生成される。
【００５４】
顔を含む目標画像を最初に呈示されたときには、ViolaおよびJonesの顔検出器を使って、上記したような目標画像内の顔が見出される。検出された顔領域内で、より小さなViolaおよびJonesの特徴検出器を使って初期に推定された特徴位置が計算される。この、より小さなViolaおよびJonesの特徴検出器は、Felzenszwalb,  P.,  Huttenlocher,  D.,  “Pictorial  structures  for  object  recognition”,  International  Journal  of  Computer  Vision,  61  (2005)に記載されている絵的構造マッチング（PSM:  Pictorial  Structure  Matching）アプローチを使って制約される。
【００５５】
ここで、テンプレート選択追跡器アルゴリズムについてさらに詳細に述べる。
【００５６】
統合的な形状およびテクスチャー・モデルを構築する（図１のステップＳ１で）ために、まず、画像のトレーニング集合がいくつかの特徴点でラベル付けされる。図２はトレーニング集合からの四つの画像例を示している。トレーニング集合は顔を含む多数の（たとえば1052の）トレーニング画像を含む。トレーニング画像は、ある範囲の角度で、ある範囲の照明条件のもとで撮られたものであってよい。各トレーニング画像１は、識別可能な顔の特徴に対応する特徴点２（白い十字で示す）でラベル付けされる。
【００５７】
統計的形状モデルが、本願明細書に組み込まれる5th  European  Conference  in  Computer  Vision,  pp.484-498,  Springer,  June  1998所収のT.  Cootes,  G.  J.  Edwards,  and  C.  J.  Taylor,  “Active  appearance  models”に記載されている既知の方法を使って、トレーニング集合から構築される。各トレーニング画像は、トレーニング画像内の各特徴点の座標を連結することによって形成されるn次元の形状ベクトルxによって表される。主成分解析（PCA:  Principal  Component  Analysis）を使って、各形状ベクトルxは：
【００５８】
【数１】
2009533724.tif 000003
の形の線形モデルによって近似できる。
【００５９】
ここで、バー付きのxは平均形状、Pは形状変動の直交モードの集合、bは各トレーニング画像についての形状パラメータの集合である。これはトレーニング集合と類似した形状のパラメータ表現bを与える。新しい形状については、形状モデル・パラメータbは転置行列PTを使って推定できる。
【００６０】
オブジェクトのクラスの新しい例（たとえば、今の例では、新しい顔）は、トレーニング集合に見出される範囲内でbの値を選ぶことによって生成できる。
【００６１】
図２に示されたトレーニング集合中の各画像について、ラベル付けされた各特徴点のまわりに長方形のテンプレートが描かれる。テンプレートは、画像について、各特徴点のあたりでの局所化された領域におけるテクスチャー（すなわち、強度変動）情報を含んでいる。テンプレートはスケールについて規格化される（たとえば、目の中心間の規格化された距離を基準として規格化することによって）。各テンプレートの平均強度は、画像が記録されたときの照明条件の変動に対処するためにも規格化されてもよい。各トレーニング画像について特徴テンプレートが計算され、そのトレーニング画像についての対応する形状モデル・パラメータbとともに記憶される。
【００６２】
図１のステップＳ２のオブジェクト識別フェーズが図３のフローチャートで概略的に示されている。オブジェクト識別フェーズＳ２のはじめに、目標画像（すなわち、トレーニング集合に含まれない新しい画像であって、トレーニング集合と同じクラスのオブジェクト――今の例では顔――を含むもの）が同定されている。目標画像のうちオブジェクトを含む領域を識別するために、上記のViolaおよびJonesの顔検出器が使用できる。
【００６３】
オブジェクト識別フェーズは逐次反復プロセスであり（上で論じたように）、このプロセスにおいて、特徴点はテンプレート選択ステップＳ３および形状制約探索ステップＳ４を循環することによって逐次的に改良される。最初、目標画像はステップＳ５で任意の開始特徴点を与えられる必要がある。開始点は、ViolaおよびJonesの顔検出器によって検出された領域に対する平均特徴点（顔検出器を手動でラベル付けされた検証画像の集合に適用することによって学習される）であってもよいし、あるいは他の任意のデフォルト位置であってもよい。代替的に、（顔の全体領域ではなく）個々の顔特徴についてトレーニングされたViolaおよびJonesの検出器が初期開始点を与えるために使用できる。ビデオ・シーケンスにおいてあるフレームから次のフレームへと顔が追跡される用途では、開始点は、直前のフレームについての最終的な特徴点であってもよい（例外は最初のフレームで、その場合はデフォルトの特徴点で初期化する必要がある）。
【００６４】
ステップＳ６では、目標画像上での現在の（すなわち、初期にはデフォルトの）特徴点の形状情報および各特徴点のまわりのテンプレート内のテクスチャー情報がサンプリングされる。次いでプロセスはテンプレート選択ステップＳ３に進む。
【００６５】
TSTアルゴリズムについてのテンプレート選択ステップＳ３は、最近接近傍画像選択ステップ（nearest  neighbour  selection  step）Ｓ７を含む。現在の特徴点およびステップＳ６からのテクスチャーが与えられて、確からしい特徴テンプレートの集合が、トレーニング集合内のトレーニング画像の最近接近傍画像の探索を使って生成できる。形状モデルが現在の特徴点にあてはめられて、現在の形状パラメータbが得られる。これらのパラメータは次いで、トレーニング集合内の各画像についての記憶されている形状パラメータbと比較される。形状空間におけるユークリッド距離を使ってトレーニング集合からのK個の最も近いマッチする形状が選択される。このようにして、各トレーニング画像についての形状情報を目標画像中の現在の特徴点と比較することによって、トレーニング集合はまずトレーニング画像の部分集合に縮小される。
【００６６】
形状モデルによって選択された上位K個のトレーニング画像は次いで、各トレーニング画像についての諸テクスチャー・テンプレートを、規格化された相関を使って、ステップＳ６で目標画像から得られた諸特徴点についての諸テクスチャー・テンプレートに対して比較することによって試験する。このプロセスは、トレーニング画像の前記部分集合から、目標画像中の現在の諸特徴点のまわりの諸テンプレートに最も近くマッチする諸テンプレートをもつトレーニング画像を選択する。K個のトレーニング画像の部分集合からの最良のマッチするトレーニング画像の諸テンプレートは次いで、それぞれの顔特徴について、形状制約探索ステップＳ４で使うためのテンプレート検出器（template  detector）を与えるために使用される。
【００６７】
初期の（またはその後の反復では現在の）特徴点が与えられたとき、そのいくつかは目標画像についての真の特徴位置の近くにあるかもしれず、この単純な最近接近傍画像探索は、トレーニング集合中のテンプレート（すなわち、単一の画像から取られたテンプレートの集合）から、テンプレート検出器の確からしい候補となる集合を生成することになる。
【００６８】
パラメータK（形状モデルによって完全なトレーニング集合から識別される部分集合に含まれるトレーニング画像の数）を設定する必要がある。1052トレーニング画像のトレーニング集合については、K＝20が良好な結果を与えることが見出されている。
【００６９】
トレーニング集合からテンプレート選択ステップＳ３で選択されたテンプレート検出器は、形状制約探索ステップＳ４において、目標画像における現在の特徴点の位置を改善するために使われる。ステップＳ８でテンプレート検出器が目標画像に適用されて、ステップＳ９で応答面（response  surface）（各特徴について一つ）の集合が計算される。各テンプレート検出器は、その検出器に対応する現在の特徴点のあたりの領域にわたって系統的に走査される。特徴テンプレート検出器と目標画像との間の規格化された相関（テンプレート検出器の各位置での）が応答値を与える。応答値は各テンプレート検出器について応答面画像中に記憶される。各テンプレート検出器が目標画像に適用されたのち、これは前記応答面の集合を与える。
【００７０】
形状パラメータ最適化ステップ（Ｓ１０）は、形状モデルを現在の特徴点にあてはめ、形状パラメータを変動させて、高い応答面値をもつ特徴点位置を表しつつも「正当な」形状配位を表している形状パラメータを選択することをねらいとする。
【００７１】
(Xi,Yi)を目標画像中の特徴点iの位置（iはインデックス）、Ii(Xi,Yi)をその点におけるi番目の特徴テンプレートの応答画像の値とする。前記の位置は連結されてベクトルX:
【００７２】
【数２】
2009533724.tif 000004
にできる。
【００７３】
統計的形状モデルが、T.  F.  Cootes,  A.  Hill,  C.  J.  Taylor,  and  J.  Haslam,  “The  use  of  active  shape  models  for  locating  structures  in  medical  images”,  Image  and  Vision  Computing,  12(6):  276-285,  July  1994に記載されている技法を使って目標特徴点Xにあてはめられる。
【００７４】
形状モデルあてはめは、形状モデル・パラメータbおよび形状モデル系から目標画像系への変換Ttを与える。変換Ttはパラメータtをもつ相似変換である（すなわち、スケーリング、平行移動および回転に制約されている）。
【００７５】
Xは、形状パラメータbおよび相似変換Ttから
【００７６】
【数３】
2009533724.tif 000005
のようにして近似でき、新しい特徴点Xの集合を生成する。
【００７７】
Xの開始パラメータが統計的モデルによってよく表現されている場合には、
【００７８】
【数４】
2009533724.tif 000006
となる。相似変換のパラメータtおよび形状パラメータbは連結されて、一つの合成ベクトルp
【００７９】
【数５】
2009533724.tif 000007
を形成する。
【００８０】
したがって、事前計算された応答面I  i(X  i,Yi)をもつ目標画像における特徴点X′の集合は、pの関数として表現できる。pについての初期の開始値を与えられると、探索は、画像応答面Iiおよびトレーニング集合から学習された統計的形状モデルに基づいて関数f(p)を最適化することによって進行する。使用される関数は：
【００８１】
【数６】
2009533724.tif 000008
である。
【００８２】
第二項は、所与の形状パラメータbjおよび固有値λjの対数尤度の推定である。ここで、対数尤度は、形状パラメータbjが独立であり、ガウス分布していると想定した場合の、統計的形状モデルに基づくbによって表される所与の形状のもっともらしさの尺度である。パラメータRは、もっともらしい形状およびテンプレート検出器と目標画像との間の相関の品質の相対的な重要度を決める重みである。たとえば、R＝0については、前記関数は形状を無視し、諸特徴のいかなる構成をも選択する。Rの値が大きくなると、高い品質の検出器応答の代わりに、もっともらしい形状配位が優先される。分別あるRの値は、手動でラベル付けされた特徴点をもつ画像（図２に示したトレーニング集合画像と同様）からなる検証集合に適用されたときのf(p)の第一項と第二項との比を計算することによって決定できる。
【００８３】
式(5)は、上述した既知のNelder-Meade単体アルゴリズムを使ってステップＳ１０で最適化される。
【００８４】
式(5)は、既知の形状制約顔特徴検出器においてこれまで使用されてきた、形状パラメータbjに対して硬い制限を使う目的関数とは異なる。硬い制限を使うことは、形状と特徴応答との間のトレードオフの必要を回避するという利点があるが、硬い制限を使うことは、ありそうもない形状を許容することができ（たとえば、形状パラメータbjのすべてが個々の制限ぎりぎりの場合）、これは欠点である。
【００８５】
本発明のある種の実施形態では、追加される洗練は、応答面をなめらかにするための距離変換の使用である。テンプレート検出器応答に適用されたときの距離変換は、本願明細書に組み込まれているP.  Felzenszwalb,  D.  Huttenlocher,  “Pictorial  structures  for  object  recognition”,  International  Journal  of  Computer  Vision,  61  (2005)に記載されている特徴検出器の対の間での変形可能な形状変動を許容する。応答画像をなめらかにすることは、式(5)の最適化が偽の最小を回避するのを助け、形状モデルの残留変動にも対処する。形状モデルによって対処されない形状変動は、距離変換によって対処される。
【００８６】
ステップＳ１０での式(5)の最適化の結果は、目標画像についてのステップＳ１１での更新された特徴点の集合である。判断ステップＳ１２において、ステップＳ１１からの更新された点が、直前の反復と比較した点の動きに対する閾値を使って、収束について検査される。すなわち、特徴点が著しく動いていない場合、それらの特徴点は収束したと見なされる。目標画像についての特徴点が収束していた場合、ステップＳ１３において、ステップＳ１１からの更新された点が、最終的な点としてTSTアルゴリズムから出力される。特徴点が収束していない場合、Ｓ１１からの更新された点はＳ６において現在の特徴点として記憶され、現在の特徴点のまわりで目標画像からの新しいテンプレートが選択される。次いで、テンプレート選択ステップが再び走る。
【００８７】
本発明の第二の例示的な実施形態は、多くの点で第一の例示的な実施形態と同様である。したがって、一般に、アルゴリズムの相違点のみを詳細に説明し、共通する領域については上記の記述が参照される。
【００８８】
本発明の第二の実施形態は、ここではテンプレート化された能動外観モデル（TAAM）と称される。
【００８９】
TAAMアルゴリズムは、既知の能動外観モデルに関係している。第一の重要な相違は、TAAMモデルは各特徴点のまわりに位置する画像部分（すなわちテンプレート）における形状およびテクスチャー変動の合成モデルを含むということである。トレーニング画像のそれぞれについての強度および形状情報はベクトルに組み込まれ、それが次いでモデルを生成するために使用される。TSTのような本発明の代替的な実施形態では、このステップは生起しない。
【００９０】
逆に、AAMアルゴリズムは、オブジェクト領域全体にわたる形状およびテクスチャー変動からモデルを生成する。たとえば顔をモデル化するAAMアルゴリズムは、顔を、特徴点の間に位置する一連の三角形に分割し、各三角形全体にわたる形状およびテクスチャー変動をモデル化する。TAAMアルゴリズムはありそうな特徴テンプレートを生成するのに対し、AAMアルゴリズムはオブジェクト領域全体について画像ピクセルを近似しようと試みる。
【００９１】
モデルは、統合的モデルを使って新しいテンプレート検出器を生成することによって、逐次反復的な仕方で目標画像にあてはめられる。現在のパラメータが目標画像についての推定をする（本発明のTST実施形態のようにテンプレート検出器として使うための実際のテンプレートをトレーニング集合から選択するのではなく）。本発明のTSTの第一実施形態については、テンプレート検出器は目標画像と相関されて応答画像を生成し、形状パラメータは応答の和を最大化するよう最適化される。
【００９２】
本発明の第二実施形態は、図４においてフローチャートの形で概略的に示されている。本発明の第一実施形態と等価なステップは、図３と同じ符号を与えられており、詳細に述べはしない。
【００９３】
本発明の第一実施形態とは違って、テンプレート選択ステップＳ３の間、最近接近傍画像選択を実行してトレーニング集合内で単一の最も近い画像を同定する代わりに、第二実施形態は形状およびテクスチャー・モデルを使って、形状制約探索ステップＳ４においてテンプレート検出器として使うための新しい画像テンプレートを生成する。
【００９４】
テンプレート生成方法は、N.  Dowson,  R.  Bowden,  “Simultaneous  modelling  and  tracking  (SMAT)  of  feature  sets”,  International  Conference  on  Computer  Vision  and  Pattern  Recognition,  San  Diego,  USA,  June  2005に記載されている既知の技術に関係する。この文献は参照によってここに組み込まれる。しかしながら、SMAT技法は、オフライン・データを使うのではなく、ランタイムに構築されるガウス混合モデルを使って特徴外観をモデル化する。テンプレート検出器は、追跡器の前のマッチした諸フレームが与えられて更新されるので、精確な初期化が必要である。SMATはまた、形状配位のガウス混合モデルを構築し、これを使って、特徴テンプレート・モデルが更新されることのできるケースを制限する。TAAMアプローチは形状およびテクスチャーを明示的に組み合わせて、不正な例を生成できない堅牢な探索テンプレート生成方法を提供する。
【００９５】
ひとたびテンプレート検出器が生成されたら、これらは、本発明の第一実施形態についてと同様の形状制約探索ステップにおいて、特徴点の位置を改善するために、規格化された相関を使って目標画像と相関される。
【００９６】
本発明の第一実施形態についてと同様、最初に顔を含む目標画像を呈示されたときは、画像中に顔を見出すためにViolaおよびJonesの顔検出器を使用できる。検出された顔領域内で、（顔領域全体ではなく）個々の顔特徴に基づいてトレーニングされたViolaおよびJonesの特徴検出器が、ステップＳ５で初期特徴点を提供するために使用できる。これらの特徴点は次いで、本発明の第一実施形態について先に開示したのと同様の方法を使って洗練される。
【００９７】
ここで、TAAMアルゴリズムについてより詳細に述べる。
【００９８】
本発明の第一実施形態についてと同様、統合的な形状およびテクスチャー・モデルを構築するために、画像のトレーニング集合がまず、図２に示したように、いくつかの特徴点を用いてラベル付けされる必要がある（手動または自動で）。
【００９９】
前と同様に、統計的形状モデルが既知の方法を使ってトレーニング集合から構築される。各トレーニング画像は、トレーニング画像内の各特徴点の座標を連結することによって形成されるn次元の形状ベクトルxによって表される。主成分解析（PCA:  Principal  Component  Analysis）を使って、各形状ベクトルxは：
【０１００】
【数７】
2009533724.tif 000009
の形の線形モデルによって近似できる。
【０１０１】
ここで、バー付きのxは平均形状、Psは形状（shape）変動の直交モードの集合、bsは各トレーニング画像についての形状パラメータの集合である。
【０１０２】
オブジェクトのクラスの新しい例（すなわち新しい顔）は、トレーニング集合に見出される範囲内でbsの値を選ぶことによって生成できる。
【０１０３】
bsの最初の二つの成分を変えることによって生成される、形状モデルの変動の最初の二つのモードが図５に示されている。形状モデルの変動の最初の二つのモードの一方を平均値から±3標準偏差の範囲内で変えることは、形状の著しいゆがみを生じることが見て取れる。
【０１０４】
図２に示されたトレーニング集合中の各画像について、ラベル付けされた各特徴点のまわりに長方形のテンプレートが描かれる。テンプレートは、画像について、各特徴点のあたりでの局所化された領域におけるテクスチャー（すなわち、強度変動）情報を含んでいる。各トレーニング画像からの顔領域はまず、固定サイズの長方形に再サンプリングされる。トレーニング画像間のスケール変化を許容するためである。各テンプレートは、ピクセル値が平均0、分散1をもつよう正規化される。所与のトレーニング画像からのテンプレート・パッチが次いで連結されて、単一のグレー値ベクトルが形成される。このトレーニング・ベクトルの集合が、形状モデルについてと同様に、主成分解析を使ってグレーレベルのテクスチャー変動の線形モデルを構築するために使われる。
【０１０５】
【数８】
2009533724.tif 000010
バー付きのgは平均の規格化されたグレーレベル（grey  level）・ベクトル、Pgは変動の直交モードの集合、bgは各トレーニング画像についてのグレーレベル・パラメータの集合である。bgの最初の二つの成分を変えることによって生成される、テクスチャー・モデルの最初の二つの変動モードが図６に示されている。形状モデルの変動の最初の二つのモードの一方を平均値から±3標準偏差の範囲内で変えることは、テンプレート・テクスチャーの著しいゆがみを生じることが見て取れる。
【０１０６】
形状およびテンプレート・テクスチャー・モデルは、さらなる主成分解析ステップを使って組み合わされて、一つの統合モデルが生成される。統合モデルは
【０１０７】
【数９】
2009533724.tif 000011
の形をもつ。
【０１０８】
bは連結された形状およびテクスチャー・パラメータ・ベクトルであり、好適な重みWsが形状とテクスチャー単位との間の差を説明する。cは各トレーニング画像についての統合外観パラメータの集合である。PcはPCAを使って計算された直交行列であるが、二つの別個の行列PcsおよびPcgに区分される。これらが一緒になって、統合パラメータ・ベクトルcが与えられたときに形状およびテクスチャー・パラメータを計算する。
【０１０９】
統合パラメータcの所与の集合について、テクスチャーgおよび形状xをもつテンプレートの集合は：
【０１１０】
【数１０】
2009533724.tif 000012
のようにして計算できる。
【０１１１】
cの最初の二つの成分を変えることによって生成される、統合外観モデルの最初の二つの変動モードが図７に示されている。統合外観モデルの変動の最初の二つのモードの一方を平均値から±3標準偏差の範囲内で変えることは、テンプレート・テクスチャーおよび形状の著しいゆがみを生じることが見て取れる。
【０１１２】
オブジェクト識別フェーズＳ２が、本発明の実施形態に基づくTAAMアルゴリズムについて、図４のフローチャートに概略的に示されている。本発明の第一実施形態と同様、オブジェクト識別フェーズＳ２のはじめに、目標画像（すなわち、トレーニング集合に含まれない新しい画像であって、トレーニング集合と同じクラスのオブジェクト――今の場合は顔――を含むもの）が同定されている。オブジェクト識別フェーズは（上で論じたように）逐次反復プロセスであり、このプロセスにおいて、特徴点はテンプレート選択ステップＳ３および形状制約探索ステップＳ４を通じて循環することによって逐次的に改良される。上記のように、最初、目標画像はステップＳ５で任意の開始特徴点を与えられる必要がある。
【０１１３】
ステップＳ６では、目標画像上での現在の（すなわち、初期にはデフォルトの）特徴点の形状情報および各特徴点のまわりのテンプレート内のテクスチャー情報がサンプリングされる。次いでプロセスはテンプレート選択ステップＳ３に進む。
【０１１４】
TAAMアルゴリズムについてのテンプレート選択ステップＳ３は、統合モデルからテンプレート検出器を生成することを含む（ステップＳ１４）。統合モデルおよびステップＳ６からのデフォルト特徴点の初期集合をもつ目標画像が与えられて、統合モデルは、式(10)
【０１１５】
【数１１】
2009533724.tif 000013
に示されるように形状、テクスチャーおよび統合パラメータを推定することによって、画像にあてはめられることができる。
【０１１６】
統合パラメータcが与えられて、式(9)を使って、現在の特徴点を近似する形状をもつテンプレート検出器の集合が計算できる。
【０１１７】
テンプレート選択ステップＳ３において生成されたテンプレート検出器は、形状制約探索ステップＳ４において、本発明の第一実施形態についてと同じように現在の特徴点の位置を改良するために使用される。テンプレート検出器はステップＳ８で目標画像に適用されて、ステップＳ９で応答画像（各特徴について一つ）の集合が計算される。そのプロセスは次のようになる。
【０１１８】
(Xi,Yi)を目標画像中の特徴点iの位置（iはインデックス）、Ii(Xi,Yi)をその点におけるi番目の特徴テンプレートの応答画像の値とする。これらの位置は連結されてベクトルX:
【０１１９】
【数１２】
2009533724.tif 000014
にできる。
【０１２０】
第一実施形態についてと同様、次いでモデルが目標特徴点Ｘにあてはめられる。これは、形状モデル・パラメータbおよび形状モデル系から目標画像系への変換Ttを与える。
【０１２１】
Xは、形状パラメータbおよび相似変換Ttから
【０１２２】
【数１３】
2009533724.tif 000015
のようにして近似でき、新しい特徴点X′の集合を生成する。
【０１２３】
相似変換Ttのパラメータおよび形状パラメータbは連結されて、ベクトルp
【０１２４】
【数１４】
2009533724.tif 000016
に合成される。
【０１２５】
したがって、Xは、pの関数として表現できる。pについての開始値を与えられると、探索は、画像応答面Iiおよびトレーニング集合から学習された統計的形状モデルに基づいて関数f(p)を最適化することによって進行する。使用される関数は：
【０１２６】
【数１５】
2009533724.tif 000017
である。
【０１２７】
第二項は、所与の形状パラメータbjおよび固有値λjの対数尤度の推定である。形状パラメータbjは独立であり、ガウス分布していると想定されている。パラメータRは、もっともらしい形状および特徴検出器と目標画像との間の相関の品質の相対的な重要度を決める重みである。Rの値は、手動でラベル付けされた特徴点をもつ画像からなる検証集合に適用されたときのf(p)の第一項と第二項との比を計算することによって決定できる。
【０１２８】
式(14)は、上述した既知のNelder-Meade単体アルゴリズムを使ってステップＳ１０で最適化される。
【０１２９】
ステップＳ１０での式(5)の最適化の結果は、目標画像についてステップＳ１１での更新された特徴点の集合である。判断ステップＳ１２において、ステップＳ１１からの更新された点が、直前の反復と比較した点の動きに対する閾値を使って、収束について検査される。目標画像についての特徴点が収束していた場合、ステップＳ１３において、ステップＳ１１からの更新された点が、TSTアルゴリズムから最終的な点として出力される。特徴点が収束していない場合、Ｓ１１からの更新された点はＳ６において現在の特徴点として記憶され、テンプレート選択ステップが再び走る。
【０１３０】
本発明の上記の実施形態が精確に顔特徴を位置特定する能力は、二つの公衆に利用可能なデータ・セットにTSTアルゴリズムおよびTAAMアルゴリズムを適用することによって試験された。比較のため、既知のAAMアルゴリズムも前記二つのデータ・セットに適用された。前記データ・セットはいずれも顔を含む一連の画像を含んでいる。これらのデータ・セットは、TSTモデルおよびTAAMモデルの両者を生成するための初期トレーニング・フェーズＳ１で使用される画像のトレーニング集合とは完全に独立である。試験のために使われた第一のデータ・セットは、O.  Jesorsky,  K.  J.  Kirchberg  and  R.  W.  Frishholz,  “Robust  face  detection  using  the  hausdorff  distance”,  3rd  International  Conference  on  Audio-  and  Video-Based  Biometric  Person  Authentication,  2001に記載されているBIOIDデータ・セットである。使われた第二のデータ・セットは、K.  Messer,  J.  Matas,  J.  Kittler,  J.  Luettin  and  G.  Maitre,  “Xm2vtsdb:  the  extended  m2vts  database”,  Proc.  2nd  Conference  on  Audio-  and  Video-Based  Biometric  Personal  Verification,  Springer  Verlag,  1999に記載されているXM2VTSデータ・セットである。
【０１３１】
相対的な特徴局所化の精度を評価するために、容易に測定可能な距離計量が使われる。このパラメータは、自動的に位置特定される各特徴点から各特徴点の手動でラベル付けされた対応する正しい位置までの距離の関数である。距離計量は式(15)：
【０１３２】
【数１６】
2009533724.tif 000018
に従って計算される。
【０１３３】
diは、自動的に位置特定された特徴点からその特徴点の手動でラベル付けされた対応する正しい位置までの距離である。sは、左右の瞳の間の両眼距離であり、データ・セットから選ばれた手動でラベル付けされた目標画像から計算される。sで割ることは、データ・セット中の諸画像における顔オブジェクトの大きさの変動に対処するために距離計量を規格化するために必要である。nは特徴点の数である。BIOIDおよびXM2VTSデータ・セットを使って試験するためには、nは17である。これらの試験の目的のためには、顔内部（目、鼻および口のまわり）の特徴位置のみが距離計量を計算するために使用される。図２に示されるような顔の外側のまわりの特徴点は使用されない。
【０１３４】
静止画像について初期特徴点を生成するために使われる試験手順（Ｓ５）は、上記のViolaおよびJonesの顔検出器を適用し、次いで検出された顔領域内で同様のより小さな領域検出器を適用することである。より小さな領域検出器は、絵的構造マッチング（PSM）アプローチを使って制約される。これは、TSTおよびTAAMアルゴリズム両方そしてまた比較用のAAMアルゴリズムを初期化するもとになる点の集合を生成する。TSTおよびTAAMアルゴリズムは別個に試験された。
【０１３５】
TSTアルゴリズムについては、五つの異なる手順が評価された：
・AVG――データ・セット中の各画像についての距離計量が、単に、グローバルなViolaおよびJonesの顔検出器を使って計算された初期特徴点を使って計算される。
・PSM――データ・セット中の各画像についての距離計量が、前記のより小さな領域検出器を使ってViolaおよびJonesの顔領域内に見出されたPSMマッチング点を使って計算される。
・AAM――データ・セット中の各画像についての距離計量が、PSMマッチング点を使って初期化されたAAMアルゴリズムを使って計算される。
・TST固定――データ・セット中の各画像についての距離計量が、PSMマッチング点を使って初期化されているが、固定されたテンプレート検出器の使用（トレーニング集合の平均テンプレートの使用）に制約されたTSTアルゴリズムを使って計算される。これは、テンプレートのテクスチャーを逐次反復的に更新することなくTSTアルゴリズムが特徴点を位置特定する能力の指標を与える。
・TST――データ・セット中の各画像についての距離計量が、PSMマッチング点を使って初期化されたTSTアルゴリズムを使って計算される。今回はテンプレートの集合が各反復の間に更新されることを許容する。
【０１３６】
これらの各手順をBIOIDおよびXM2VTSデータ・セットにそれぞれ適用した結果が図８ａおよび図８ｂに示されている。各データ・セットについて、上記の五つの手順のそれぞれについて、特徴点が所与の距離計量以内に位置特定されたトレーニング集合内の画像の割合が距離計量に対してプロットされている。
【０１３７】
TAAMアルゴリズムについては、同じ最初の三つの手順（AVG、PSMおよびAAM）が次の手順とともに、各データ・セットについて評価された：
・TAAM固定――データ・セット中の各画像についての距離計量が、PSMマッチング点を使って初期化されているが、固定されたテンプレート検出器の使用（トレーニング集合の平均テンプレートの使用）に制約されたTAAMアルゴリズムを使って計算される。これは、テンプレートのテクスチャーを逐次反復的に更新することなくTAAMアルゴリズムが特徴点を位置特定する能力の指標を与える。
・TAAM――データ・セット中の各画像についての距離計量が、PSMマッチング点を使って初期化されたTAAMアルゴリズムを使って計算される。今回はテンプレートの集合が各反復の間に更新されることを許容する。
【０１３８】
これらの各手順をBIOIDおよびXM2VTSデータ・セットにそれぞれ適用した結果が、図８ａおよび図８ｂに対応する図９ａおよび図９ｂに示されている。
【０１３９】
図８ａ、図８ｂ、図９ａおよび図９ｂは、両方のデータ・セットについて最も成功しない手順が、個々の特徴点についての局所化された探索のない、グローバルな顔検出器からの単純な平均（average）特徴点であったことを示している（AVGライン）。検出された顔領域を与えられると、特徴点局所化精度は、PSM制約法（PSMライン）を用いた前記のより小さな領域検出器を使って、両方のデータ・セットについて改善される。
【０１４０】
四つのグラフはみな同様の傾向を示している。最も性能のよい手順は、反復毎に更新されたテンプレートをもつTSTおよびTAAMである。TSTアルゴリズムの成功率は、距離計量の値がme＜0.075ではAAMアルゴリズムよりも大きい。この値より上では、AAMアルゴリズムのほうがややうまくいく。固定されたテンプレートでのTSTアルゴリズムの使用はそこそこよい性能を発揮する（そして、計算量の面で比較的高価でないという利点がある）が、完全なTSTアルゴリズムに比べると常に成功率は低い。
【０１４１】
TAAMアルゴリズムは、meのすべての値についてAAMアルゴリズムよりよい性能を発揮する。TSTアルゴリズムについてと同様、固定されたテンプレートでのTAAMアルゴリズムはそこそこよい性能を示すが、完全なTSTアルゴリズムに比べると常に成功率は低い。
【０１４２】
図１０および図１１はそれぞれ、完全なTSTおよび完全なTAAMアルゴリズムが、たとえばBIOIDデータ・セットからの目標画像の特徴点の成功した探索に向かって収束していくところを示している。テンプレートは、各反復後に、目標画像に似るよう変化している。図１０および図１１はいずれも、目標画像を重ね合わされたテンプレートとともに、開始時（ａ）、最初の反復後（ｂ）、第二の反復後（ｃ）およびひとたび特徴点が最終的な値に収束したとき（ｄ）について示している。
【０１４３】
本発明の実施形態は、目標画像にマッチするよう、テンプレート検出器を自動的に選択または調整する。よって、本発明の実施形態は、ビデオ用途におけるオブジェクトについての特徴位置を追跡するのに好適である。というのも、あるビデオ・フレームから次のビデオ・フレームへと現在のテンプレートおよび特徴点が保持できるからである。一般に、あるフレームから次のフレームへと著しいオブジェクトの動きはない可能性が高い。結果として、第二のフレームについての初期特徴点は、第二のフレームがデフォルトの特徴点（画像全体の探索によって見出される）で初期化された場合よりも正しい特徴位置に近くなる。オブジェクトの追跡が失われるほどの著しい特徴の動きが起こる場合は、フレームはデフォルトの特徴点で再初期化できる。本発明の実施形態は、もっともらしい特徴テンプレートであり続けるために相変わらず生成されたモデルによって制約されながらも、テンプレート検出器が目標画像にマッチするよう学習するという意味において、自然な追跡方法である。
【０１４４】
本発明のTST実施形態およびTAAM実施形態は、自動車で運転している人の三つの異なるビデオ・シーケンスに両者を適用することによって、ビデオ用途について試験された。ビデオ・シーケンスの被写体はいずれもトレーニング集合には現れていない。各試験シーケンスは多量の照明変動および頭部の動きを伴っており、よって追跡するには困難なデータ・セットであった。各シーケンスは約1000フレーム（毎秒10フレームで撮影）を含む。
【０１４５】
図１２は、三つの試験ビデオ・シーケンスのそれぞれから三つずつのフレーム例を含んでいる。三つの試験ビデオ・シーケンスのそれぞれにおいて、顔は、何らかの時点でビデオの平面から回転して出る。したがって、顔の追跡（すなわち、顔特徴点の精確な局所化）が失われたかどうかを決定するために、あてはめの品質の尺度が使われる。顔の追跡が失われた場合、先に論じたViolaおよびJonesの顔検出器を使うことによってTSTまたはTAAMアルゴリズムを再初期化することが必要である。TSTおよびTAAMアルゴリズムについて使用されたあてはめの品質の尺度は、形状制約された応答スコア、すなわちそれぞれ式(5)または式(14)の出力である。AAMアルゴリズムについては、あてはめの品質の尺度は、テクスチャー・モデルと目標画像との間の差の和である。
【０１４６】
追跡の精度を調べるための基準点を定義するために、各シーケンスは10フレーム毎に、顔特徴点のすべてが見えれば、人間のオペレーターによって手動でラベル付けされる。手動でラベル付けされたそれぞれの顔について、そのフレームについて特徴点が位置特定されると想定して、距離計量meが計算される。ラベル付けされた顔が検出できない場合、距離計量meは無限大として記録される。この特徴点追跡実験の結果が図１３および図１４に、それぞれTSTアルゴリズムおよびTAAMアルゴリズムについて示されている。図１３および図１４は、各試験ビデオ・シーケンスについて、成功した探索の割合を、距離計量に対してプロットして示している。成功した探索の割合とは、所与の距離計量meについて、各シーケンスにおいて、特徴点がその距離計量以下のところに位置特定される手動でラベル付けされたフレームの割合である。図１３は、各シーケンスについて、TSTおよびTST固定テンプレート手順（上で論じたような）そしてまた比較用のAAM手順を使って得られた結果を示している。図１４は、各シーケンスについて、TAAMおよびTAAM固定テンプレート手順（上で論じたような）そしてまた比較用のAAM手順を使って得られた結果を示している。
【０１４７】
図１３は、TST手順が、TST固定テンプレート手順およびAAMのどちらよりも効果的であった（AAMは最も効果的でなかった）ことを示している。シーケンス１では、TST固定テンプレート手順は完全なTST手順と非常に似通った結果を示している。これはおそらく、シーケンス１の被写体が顔のテクスチャーをTSTモデルの平均テクスチャーの近くにもつことに起因するのであろう。
【０１４８】
図１４は、TAAM手順が平均的にはTAAM固定テンプレート手順およびAAM手順より効果的であることを示している。しかしながら、三つのシーケンスにわたって変動がある。図１３と同様、シーケンス１については、TAAM固定テンプレート手順を使った性能は完全なTAAMアルゴリズムについてと同様である。ここでもまた、これはおそらくは、シーケンス１の被写体が顔のテクスチャーをTAAMモデルの平均テクスチャーの近くにもつことに起因するのであろう。完全なTAAMアルゴリズムは、シーケンス２およびシーケンス３についてTAAM固定テンプレートアルゴリズムより性能で勝る。AAMはシーケンス１および２ではTAAMより悪く、シーケンス３では似通った性能を与える。
【０１４９】
静止画像を探索するとき、本発明の実施形態は、グローバルな探索を（ViolaおよびJonesの顔検出器を使って）実行し、次いで局所的な領域検出を実行するのに約120msかかる。次いで、TST、TAAMおよびAAM特徴点探索にかかるのはさらなる120msに満たないが、三つの場合すべてにおいて、要求される厳密な時間は要求される反復数に依存する。本発明のTSTおよびTAAM実施形態はそれぞれ、探索反復ごとに約40msかかる。静止画像については、TSTおよびTAAMアルゴリズムはいずれも、二回または三回の反復を必要とする。しかしながら、ビデオ・シーケンスにおいて顔特徴点を追跡するときは、通例、一回の反復しか必要とされない。したがって、平均して、P4  3GHzコンピュータ・プロセッサを使ってBIOIDデータ・セットからの単一の静止画像（384×286ピクセル）を探索するとき、完全な探索時間は約240msであった（毎秒約4フレーム）。TSTまたはTAAMアルゴリズムを使ってビデオ・シーケンスにおける特徴点を探すときには、平均探索時間は40msに下がる（必要とされる反復数が少なくなり、グローバルな顔探索が必要とされなくなるため）。これは毎秒約25フレームに相当する。
【０１５０】
本発明の実施形態は、自動的かつ精確に特徴点を位置特定することが必要な画像解釈タスクに好適である。そのような画像解釈タスクは、他にも数多くある中でも、顔認識および医療診断を含む。本発明の実施形態は、静止画像における顔の局所化および認識において格別の利点を有する。これは、セキュリティ用途、顔画像の自動編集および自動アバター生成のために特に重要となりうる。さらに、本発明のある種の実施形態の探索方法の内在的なオブジェクト追跡機構のため、探索方法は、ビデオ・シーケンスにおける顔の追跡および認識に特に好適である（特に、新しいフレームについての現在の特徴点が直前のフレームについての収束した特徴点に初期化されるとき）。たとえば、これは、顔のアニメーション、セキュリティ用途、行動モニタリングおよび疲労検出に適用できる。
【０１５１】
本発明の実施形態は、自動車産業における用途、たとえば自動車ドライバーの画像をモニタリングすることに特に好適である。ドライバーの顔の特徴点の位置を追跡することによって、ある範囲の用途が可能にされる。たとえば、ドライバーのまばたき率の変化をモニタリングすることによって、疲労が検出できる。本発明の実施形態はまた、ドライバーが見ている方向を検出するためにも使うことができる。たとえば、ドライバーが進行方向から目をそらしていて危険が検出される場合、アラームがトリガーできる。本発明の実施形態は、乗物のドライバーを顔認識によって識別するシステム内で使われることができる。
【０１５２】
本発明の実施形態の他の用途は、医療診断、たとえば疾病進行のモデル化および異常の検出を含む。
【０１５３】
本発明の実施形態が顔のモデル化を参照して例解されてきたが、これに限定されることは全くない。本発明の実施形態は、幅広い範囲のオブジェクト・クラスの特徴をモデル化および識別するために応用できる。本発明の実施形態は、オブジェクトの種々のインスタンスの間に顕著な対応する目印が存在するオブジェクト・クラスの特徴をモデル化および識別するのに特に好適である。本発明の実施形態のさらなる修正および用途は、付属の請求項の精神および範囲から外れることなく、本稿の教示から当業者にはすぐ明白となろう。
【図面の簡単な説明】
【０１５４】
【図１】本発明の実施形態に基づくオブジェクトの特徴を位置特定する方法のフローチャートである。
【図２】本発明の実施形態に基づく、統計的モデルを生成するために使われるトレーニング画像の集合からの四つの画像例を示す図である。
【図３】本発明の第一の個別的実施形態に基づく、目標画像内の特徴を位置特定する前記方法を、フローチャートの形で概略的に示す図である。
【図４】本発明の第二の個別的実施形態に基づく、目標画像内の特徴を位置特定する前記方法を、フローチャートの形で概略的に示す図である。
【図５】図４の実施形態に基づく、形状モデルについての変動の諸モードを概略的に示す図である。
【図６】図４の実施形態に基づく、テクスチャー・モデルについての変動の諸モードを概略的に示す図である。
【図７】図４の実施形態に基づく、組み合わされた形状およびテクスチャー・モデルについての変動の諸モードを概略的に示す図である。
【図８ａ】静止画像についての特徴点を位置特定する既知の諸方法の性能に比しての、静止画像についての特徴点を位置特定することにおける図３の実施形態の性能を示す図である。画像は第一の公衆に利用可能なデータ・セットから引かれている。
【図８ｂ】静止画像についての特徴点を位置特定する既知の諸方法の性能に比しての、静止画像についての特徴点を位置特定することにおける図３の実施形態の性能を示す図である。画像は第二の公衆に利用可能なデータ・セットから引かれている。
【図９ａ】静止画像についての特徴点を位置特定する既知の諸方法の性能に比しての、静止画像についての特徴点を位置特定することにおける図４の実施形態の性能を示す図である。画像は第一の公衆に利用可能なデータ・セットから引かれている。
【図９ｂ】静止画像についての特徴点を位置特定する既知の諸方法の性能に比しての、静止画像についての特徴点を位置特定することにおける図４の実施形態の性能を示す図である。画像は第二の公衆に利用可能なデータ・セットから引かれている。
【図１０】目標画像についての最終的な特徴位置に収束する図３の実施形態についてのテンプレート検出器を、目標画像に重ね合わせて概略的に示す図である。
【図１１】目標画像についての最終的な特徴位置に収束する図４の実施形態についてのテンプレート検出器を、目標画像に重ね合わせて概略的に示す図である。
【図１２】本発明の諸実施形態を試験するために使われる三つのビデオ・シーケンスからのフレーム例を示す図である。
【図１３】ビデオ・シーケンスについて特徴点を位置特定する既知の方法の性能に比しての、図１２に示された三つのビデオ・シーケンスのそれぞれについて特徴点を位置特定することにおける、図３の実施形態の性能を示す図である。
【図１４】ビデオ・シーケンスについて特徴点を位置特定する既知の方法の性能に比しての、図１２に示された三つのビデオ・シーケンスのそれぞれについて特徴点を位置特定することにおける、図４の実施形態の性能を示す図である。
【図１】
2009533724.tif 000019
【図２】
2009533724.tif 000020
【図３】
2009533724.tif 000021
【図４】
2009533724.tif 000022
【図５】
2009533724.tif 000023
【図６】
2009533724.tif 000024
【図７】
2009533724.tif 000025
【図８ａ】
2009533724.tif 000026
【図８ｂ】
2009533724.tif 000027
【図９ａ】
2009533724.tif 000028
【図９ｂ】
2009533724.tif 000029
【図１０】
2009533724.tif 000030
【図１１】
2009533724.tif 000031
【図１２】
2009533724.tif 000032
【図１３】
2009533724.tif 000033
【図１４】
2009533724.tif 000034
【国際調査報告】
2009533724.tif 000035
2009533724.tif 000036
2009533724.tif 000037