(57)【特許請求の範囲】
【請求項１】
選択されたターゲットオブジェクトを追跡するための方法であって、
前記ターゲットオブジェクトに関連付けられたイメージデータを含むカレントイメージフレームを受け取るステップと、
ターゲットオブジェクトの動きを、時間的に前記カレントイメージフレームに先行する、３より大きい比較的多数のイメージフレームにわたる複数のイメージデータによって算出されるパラメータを有する第１のイメージコンポーネント、及び時間的に前記カレントイメージフレームに先行する比較的少数のイメージフレームにわたる複数のイメージデータによって算出されるパラメータを有する第２のイメージコンポーネントを含む適応型アピアランスモデルを使用して評価するステップと、
前記第１及び第２のイメージコンポーネントを更新するステップと、
を有し、
前記第１のイメージコンポーネントが有するパラメータは、第１データパラメータと第１寄与パラメータを含み、
前記第２のイメージコンポーネントが有するパラメータは、第２データパラメータと第２寄与パラメータを含み、
前記更新するステップは、
前記カレントイメージフレームのイメージデータを前記第１のイメージコンポーネントの前記第１データパラメータと比較するステップと、
前記カレントイメージフレームのイメージデータと前記第１データパラメータの相違に応じて前記第１及び第２寄与パラメータを再計算するステップと、
を含むことを特徴とする方法。
【請求項２】
請求項１記載の方法において、
前記第１寄与パラメータは、時間的に前記カレントイメージフレームに先行する比較的多数のイメージフレームにわたる複数のイメージデータから算出される平均及び分散を含み、
前記比較するステップは、前記イメージデータと前記平均及び分散との相違に応じて尤度を決定するステップを含む
ことを特徴とする方法。
【請求項３】
複数の連続するイメージフレームに現れるオブジェクトを同定するための、プロセッサで制御される機械で実行される適応型アピアランスモデルであって、
前記適応型アピアランスモデルは、
３より大きい比較的多数の前記連続するイメージフレームにわたって安定なイメージデータから定義されるパラメータを有する第１イメージコンポーネントであり、前記パラメータは前記比較的多数の連続するイメージフレーム内の複数のイメージデータから計算される第１データパラメータを有する第１イメージコンポーネントと、
比較的少数の前記連続するイメージフレームにより定義されるパラメータを有する第２イメージコンポーネントと、
複数の連続するイメージフレームのカレントイメージフレームを受け取った後に、前記第１及び第２イメージコンポーネントを更新する手段と、
を有し、
前記第１イメージコンポーネントのパラメータは、前記第１データパラメータと第１寄与パラメータを含み、
前記第２イメージコンポーネントのパラメータは、第２データパラメータと第２寄与パラメータを含み、
前記更新する手段は、
前記カレントイメージフレームのイメージデータと前記第１データパラメータを比較する手段と、
前記カレントイメージフレームのイメージデータと前記第１データパラメータの相違に応じて前記第１及び第２寄与パラメータを再計算する手段
を有することを特徴とする適応型アピアランスモデル。
【請求項４】
請求項３記載の適応型アピアランスモデルにおいて、
前記第１寄与パラメータは、時間的に前記カレントイメージフレームに先行する複数の連続するイメージフレームの少なくともいくつかのイメージデータから計算される平均及び分散を含み、
前記カレントイメージフレームのイメージデータと前記平均及び分散との相違に応じて尤度を決定する手段
を含むことを特徴とする適応型アピアランスモデル。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、アピアランス・モデルを生成し、かつ更新するためのプロセッサ−ベースのテクニックに関し、より詳細には、複数のモデル・コンポーネントを使用してアピアランス・モデルを生成するためのプロセスに関する。
【背景技術】
【０００２】
自動化された視覚型追跡システムがしばしば使用されて、一連のイメージ・フレーム内に現れるターゲット・イメージの追跡が行われる。概して、ターゲット・オブジェクトが識別された後は、追跡システムが、当該ターゲット・オブジェクトを背景ならびにそのほかの非ターゲット・イメージ・データから区別することによって、連続するそれぞれのイメージ・フレーム内における当該ターゲット・オブジェクトのポジションを決定する。この種の追跡システムは、しばしば動き評価アルゴリズムを使用し、新しい（カレント）イメージ・フレーム内のターゲット・オブジェクトの動きを、当該新しいフレームに先行する２ないしはそれを超える数のイメージ・フレーム内におけるターゲット・オブジェクトの動きのパターンを解析することによって予測している。
【０００３】
必ずしもそれそのものとして述べられてはいないが、従来の動き評価および追跡システムは、何らかの形式のアピアランス・モデルを具体化しており、それが使用されて各イメージ・フレーム内のターゲット・オブジェクトが識別される。概して、アピアランス・モデルは、ターゲット・オブジェクトの記述であって、動き評価／追跡システムは、それを使用して、各イメージ・フレーム内のターゲット・オブジェクトを、当該ターゲット・オブジェクトを囲む非ターゲット・オブジェクトから区別することができる。ターゲット・オブジェクトがロケーションを変化させるとき、動き評価／追跡システムは、アピアランス・モデルによって提供されるすでに確立済みの記述を満足する新しいフレームの領域を識別することにより、それぞれの新しいロケーションを識別する。
【０００４】
動き評価および追跡システムのパフォーマンスを制限する主要な要因の１つは、アピアランス・モデルがターゲット・オブジェクトのアピアランスの変化に対する適応に失敗することである。３次元（３Ｄ）空間内に配置された３Ｄターゲット・オブジェクトによって２次元イメージ・フレーム内に伝えられるイメージは、通常、ターゲット・オブジェクトとイメージ・フレーム生成デバイス（たとえばカメラ）の間の相対的な変位によってもたらされるイメージのひずみの影響を受ける。たとえば、カメラとターゲット・オブジェクトのポジションの間の距離が変化するとターゲット・オブジェクトのサイズがより大きく、またはより小さくなる。同様に、形状および／またはターゲット・オブジェクトから反射される光についても、通常、カメラに対する相対的なターゲット・オブジェクトの向きの変化（たとえばターゲット・オブジェクトまたはカメラの回転もしくは平行移動）に起因して変化する。それに加えて、非ターゲット・オブジェクトによるターゲット・オブジェクトの部分的もしくは完全なオクルージョン（つまり、ターゲット・オブジェクトとカメラの間への介挿）が発生した場合にもイメージのひずみを生じる。さらに、複雑な自然オブジェクト（つまり、アピアランスが、顔の表情等の、ターゲット・オブジェクトとカメラの間における相対的な変位と独立した変化の影響を受けやすいオブジェクト）が、追加のアピアランスのバリエーションをもたらし、それについてもアピアランス・モデルによって説明が得られなければならない。以下に追加の詳細を述べるが、テンプレート・マッチング・モデル、グローバル統計モデル、２−フレームの動き評価、および時間的にフィルタリングされた動き補償イメージ・モデルといった従来のアピアランス・モデルは、これらのひずみの１ないしは複数の説明に失敗しており、その結果、動き評価および追跡システムが最終的にターゲット・オブジェクトの追跡を逃している。
【０００５】
テンプレート・マッチング・アピアランス・モデルは、ターゲット・オブジェクトの、あらかじめ学習済みの固定イメージ・モデル（「テンプレート」）であり、それが追跡システムによって使用されて、イメージ・フレーム内のターゲット・オブジェクトが識別（「マッチング」）され、それによってそのロケーションが決定される。この種の追跡システムは、短期間（つまり、ターゲット・オブジェクトのアピアランスが固定イメージ・モデルと無矛盾を維持する間）にわたって信頼に足るものとなり得るが、多くの応用に共通して生じる、より長い期間にわたるターゲット・オブジェクトのアピアランスの変化に良好に対処できない。これらの追跡システムの信頼性は、テンプレート内において各ピクセルの変動性を表現することによって改善することができる（特許文献１参照）。しかしながら、追跡に先行して学習段階が必要となり、そこではトレーニング・イメージ・データに関して各ピクセルにおけるイメージの輝度の分散の評価が行われる。
【０００６】
追跡システムの信頼性は、アピアランスの部分空間モデルの使用を伴って強化されることもある（たとえば、特許文献２参照）。一般に基本コンポーネント解析を用いて学習されるこの種のビュー・ベースのモデルは、ポーズおよび照明におけるバリエーションのモデリングに利点を有する。これらは、サーチだけでなく、逐次追跡にも使用することができる。しかしながら同時にそれらは、それらがオブジェクト固有であるという不利点、および部分空間の学習のために追跡に先行して行われるトレーニングを必要とするという不利点も有している。
【０００７】
カラー・ヒストグラム等のローカルならびにグローバル・イメージ統計も、ターゲット・オブジェクトの追跡のための粗いアピアランス・モデルとして使用されてきた（たとえば特許文献３参照）。これらのアピアランス・モデルは、イメージのひずみおよびオクルージョンが生じたときの堅牢性を提供し、学習が高速であり、かつサーチだけでなく追跡に使用することもできる。しかしながら、グローバルな統計的記述は、アピアランスの空間構造が欠けている；言い換えると、多数の類似するカラー・ピクセル（たとえば、高い比率の赤および青のピクセル）をそれらのカラー・ピクセルの空間的な関係（たとえば、青いズボンの上に配置される赤いシャツのイメージに関連付けされる青ピクセルのグループの上に垂直に配置される赤ピクセルのグループ）から区別する能力に欠けている。この表現能力の欠如は、多くの場合にグローバルな統計的記述の、ターゲット・オブジェクトにアピアランス・モデルを正確にレジストする能力を制限する。それに加えて、これらの粗いアピアランス・モデルは、類似の統計を近隣の領域と共有する注目領域内におけるオブジェクトの正確な追跡に失敗する可能性も有する。
【０００８】
動きベースの追跡方法は、時間を通して動き評価を調整する。２−フレームの動き評価の場合は、それぞれの連続するフレームのペアの間において動きが計算される。それぞれの連続するフレームのペアの間において動きが計算されることから、動きベースの追跡システムによって使用されるアピアランスの唯一のモデルは、最後のフレーム内の注目領域内におけるターゲット・オブジェクトのアピアランスである。その結果、この方法の誤差は、時間とともに急速に累積される可能性がある。２−フレームの動き評価におけるアピアランス・モデルは、アピアランスの急な変化に適応することができる。しかしながら、ターゲット・オブジェクトがアピアランスをすばやく変化させるときには、しばしばアピアランス・モデルがターゲット・オブジェクトからドリフトして離れる。その結果、しばしば注目領域がターゲット・オブジェクトからスライドして、背景もしくは別のオブジェクト上にはずれる。これは、特に、ターゲット・オブジェクトと背景の動きが類似しているときに問題をもたらすものとなる。
【０００９】
動きベースの追跡方法は、時間的に適応型アピアランス・モデルを蓄積することによって改善された。実際、最適動き評価を、同時的な動きおよびアピアランス両方の評価として公式化することが可能である（特許文献４参照）。この意味においては、前述の学習済みの部分空間アプローチと同様に、最適動き評価が、時間を通じて獲得されるアピアランス・モデルに対してイメージをレジストすることによって達成される。たとえば、安定化後のイメージのシーケンスを、動き評価から形成し、アピアランス・モデルを学習させることができる。この安定化後のイメージ・シーケンスは、ＩＩＲロー・パス・フィルタ等の再帰ロー・パス・フィルタを用いてスムージングし、いくつかのノイズの除去およびもっとも新しいフレームのアップ・ウェイトを行うことができる。しかしながら、線形フィルタリングは、オクルージョンおよび局所的なアピアランスのひずみに関して堅牢性をもたらす安定性の尺度を提供しない。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】２０００年６月にヒルトン・ヘッドで開催されたＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚およびパターン認識に関するＩＥＥＥ会議）の会報、第Ｉ巻、１８５〜１９２ページにあるＢ．Ｆｒｅｙ（Ｂ．フレイ）による「Ｆｉｌｌｉｎｇ  ｉｎ  Ｓｃｅｎｅｓ  ｂｙ  Ｐｒｏｐａｇａｔｉｎｇ  Ｐｒｏｂａｂｉｌｉｔｉｅｓ  Ｔｈｒｏｕｇｈ  Ｌａｙｅｒｓ  ｉｎｔｏ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌｓ（レイヤを介したアピアランス・モデル内への確率の伝播によるシーン内のフィリング）」
【非特許文献２】１９９８年のＩｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（インターナショナル・ジャーナル・オブ・コンピュータ・ビジョン）２６（１）：６３〜８４にあるＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「ＥｉｇｅｎＴｒａｃｋｉｎｇ：  Ｒｏｂｕｓｔ  Ｍａｔｃｈｉｎｇ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ａｒｔｉｃｕｌａｔｅｄ  Ｏｂｊｅｃｔｓ  ｕｓｉｎｇ  ａ  Ｖｉｅｗ  Ｂａｓｅｄ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ（固有追跡：ビュー−ベース表現を使用する連節オブジェクトの堅牢なマッチングおよび追跡）」
【非特許文献３】１９９８年６月にサンタバーバラで開催されたＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（コンピュータの視覚およびパターン認識に関するＩＥＥＥ会議）の会報、２３２〜２３７ページにあるＳ．Ｂｉｒｃｈｆｉｅｌｄ（Ｓ．バーチフィールド）による「Ｅｌｌｉｐｔｉｃａｌ  Ｈｅａｄ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ｉｎｔｅｎｓｉｔｙ  Ｇｒａｄｉｅｎｔｓ  ａｎｄ  Ｃｏｌｏｒ  Ｈｉｓｔｏｇｒａｍｓ（明暗度グラディエントおよびカラー・ヒストグラムを使用する長円頭部追跡）」
【非特許文献４】２００１年、ケンブリッジ、ＭＩＴプレスのＰｒｏｂａｂｉｌｉｓｔｉｃ  Ｍｏｄｅｌｓ  ｏｆ  ｔｈｅ  Ｂｒａｉｎ：  Ｐｅｒｃｅｐｔｉｏｎ  ａｎｄ  Ｎａｔｕｒａｌ  Ｆｕｎｃｔｉｏｎ（脳の蓋然論的モデル：知覚および自然関数）の８１〜１００ページにあるＹ．Ｗｅｉｓｓ（Ｙ．バイス）およびＤ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）による「Ｖｅｌｏｃｉｔｙ  Ｌｉｋｅｌｉｈｏｏｄｓ  ｉｎ  Ｂｉｏｌｏｇｉｃａｌ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｖｉｓｉｏｎ（生物学的およびマシンの視覚における速度尤度）」
【発明の概要】
【発明が解決しようとする課題】
【００１１】
必要とされているものは、複雑な自然オブジェクトの動きベースの追跡のための堅牢な適応型アピアランス・モデルである。そのアピアランス・モデルは、緩やかに変化するアピアランスをはじめ、観測されるイメージ構造の安定性の自然な評価の、追跡の間にわたる維持に適応する必要がある。またアピアランス・モデルは、オクルージョン、著しいイメージのひずみ、および顔の表情ならびに衣類に伴って生じるような自然なアピアランスの変化に関して堅牢である必要がある。アピアランス・モデルのフレームワークは、局所的な特徴追跡等の可能性のある各種応用に関する追跡および正確なイメージ・アライメントをサポートし、かつ人体の肢等の相対的なアライメントおよびポジションが重要になるモデルの追跡をサポートする必要がある。
【課題を解決するための手段】
【００１２】
本発明は、選択されたターゲットオブジェクトを追跡するための方法であって、前記ターゲットオブジェクトに関連付けられたイメージデータを含むカレントイメージフレームを受け取るステップと、ターゲットオブジェクトの動きを、時間的に前記カレントイメージフレームに先行する、３より大きい比較的多数のイメージフレームにわたる複数のイメージデータによって算出されるパラメータを有する第１のイメージコンポーネント、及び時間的に前記カレントイメージフレームに先行する比較的少数のイメージフレームにわたる複数のイメージデータによって算出されるパラメータを有する第２のイメージコンポーネントを含む適応型アピアランスモデルを使用して評価するステップと、前記第１及び第２のイメージコンポーネントを更新するステップとを有し、前記第１のイメージコンポーネントが有するパラメータは、第１データパラメータと第１寄与パラメータを含み、前記第２のイメージコンポーネントが有するパラメータは、第２データパラメータと第２寄与パラメータを含み、前記更新するステップは、前記カレントイメージフレームのイメージデータを前記第１のイメージコンポーネントの前記第１データパラメータと比較するステップと、前記カレントイメージフレームのイメージデータと前記第１データパラメータの相違に応じて前記第１及び第２寄与パラメータを再計算するステップとを含むことを特徴とする。
【００１３】
また、本発明は、複数の連続するイメージフレームに現れるオブジェクトを同定するための、プロセッサで制御される機械で実行される適応型アピアランスモデルであって、前記適応型アピアランスモデルは、３より大きい比較的多数の前記連続するイメージフレームにわたって安定なイメージデータから定義されるパラメータを有する第１イメージコンポーネントであり、前記パラメータは前記比較的多数の連続するイメージフレーム内の複数のイメージデータから計算される第１データパラメータを有する第１イメージコンポーネントと、比較的少数の前記連続するイメージフレームにより定義されるパラメータを有する第２イメージコンポーネントと、複数の連続するイメージフレームのカレントイメージフレームを受け取った後に、前記第１及び第２イメージコンポーネントを更新する手段とを有し、前記第１イメージコンポーネントのパラメータは、前記第１データパラメータと第１寄与パラメータを含み、前記第２イメージコンポーネントのパラメータは、第２データパラメータと第２寄与パラメータを含み、前記更新する手段は、前記カレントイメージフレームのイメージデータと前記第１データパラメータを比較する手段と、前記カレントイメージフレームのイメージデータと前記第１データパラメータの相違に応じて前記第１及び第２寄与パラメータを再計算する手段を有することを特徴とする。
【図面の簡単な説明】
【００１５】
【図１】発明の実施態様に従ったアピアランス・モデルを含む追跡システムを図示したブロック図である。
【図２】図１の追跡システム内において使用されるアピアランス・モデルの概略の動作を図示したフローチャートである。
【図３】アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。
【図４】アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。
【図５】アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。
【図６】アピアランス・モデルによって処理されるいくつかのイメージのひずみを示した写真である。
【図７】イメージ・データおよび関連するアピアランス・モデルの混合パラメータを示した説明図である。
【図８】イメージ・データおよび関連するアピアランス・モデルの混合パラメータを示した説明図である。
【図９】一連の時間値および関連するイメージ・データ値をリストした表である。
【図１０】比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１１】比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１２】比較的安定した初期期間に応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１３】短いオクルージョンに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１４】漸進的に変化するイメージ・データに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１５】長い期間にわたるイメージのひずみに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１６】長い期間にわたるイメージのひずみに応答して生成されたアピアランス・モデルのコンポーネント・パラメータを示した説明図である。
【図１７】振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。
【図１８】振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。
【図１９】振り返る３Ｄターゲット・オブジェクトの追跡を示したイメージである。
【図２０】図１７のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２１】図１７のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２２】図１８のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２３】図１８のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２４】図１９のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２５】図１９のイメージに関連付けされる混合確率および平均イメージ・データ値を示した説明図である。
【図２６】カメラに向かって移動する３Ｄオブジェクトの追跡を示した合成写真である。
【図２７】カメラに向かって移動する３Ｄオブジェクトの追跡を示した合成写真である。
【図２８】オクルージョンの前のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。
【図２９】図２８に示されているイメージ・データに関連付けされる混合確率、を示した説明図である。
【図３０】図２８に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。
【図３１】図２８に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。
【図３２】オクルージョンの開始時における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。
【図３３】図３２に示されているイメージ・データに関連付けされる混合確率を示した説明図である。
【図３４】図３２に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。
【図３５】図３２に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。
【図３６】オクルージョンの比較的長い期間の後における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。
【図３７】図３６に示されているイメージ・データに関連付けされる混合確率を示した説明図である。
【図３８】図３６に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。
【図３９】図３６に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。
【図４０】オクルージョンが解消された後における図２８のターゲット・オブジェクトに関連付けされるイメージ・データを含む写真である。
【図４１】図４０に示されているイメージ・データに関連付けされる混合確率を示した説明図である。
【図４２】図４０に示されているイメージ・データに関連付けされる平均データ値を示した説明図である。
【図４３】図４０に示されているイメージ・データに関連付けされるオーナーシップ・データを示した説明図である。
【図４４】自然なひずみを見せている対象の追跡を示したイメージである。
【図４５】自然なひずみを見せている対象の追跡を示したイメージである。
【図４６】自然なひずみを見せている対象の追跡を示したイメージである。
【図４７】図４４のイメージに関連付けされる混合確率を示した説明図である。
【図４８】図４４のイメージに関連付けされる平均イメージ・データ値を示した説明図である。
【図４９】図４５のイメージに関連付けされる混合確率を示した説明図である。
【図５０】図４５のイメージに関連付けされる平均イメージ・データ値を示した説明図である。
【図５１】図４６のイメージに関連付けされる混合確率を示した説明図である。
【図５２】図４６のイメージに関連付けされる平均イメージ・データ値を示した説明図である。
【発明を実施するための形態】
【００１６】
本発明は、コンピュータまたはワークステーションによって生成され、かつ更新され、当該コンピュータ／ワークステーションが読むことのできる１ないしは複数のメモリ・デバイスにストアされたパラメータによって定義されるアピアランス・モデルに指向されている。アピアランス・モデルの動作については、以下に、追跡システムとの関連から説明し、本発明の有益な特徴がいかにして複雑な自然のオブジェクトの動きベースの追跡を容易にするかということを例証する。しかしながら、追跡システムの範囲において説明されてはいるものの、本発明のアピアランス・モデルが、この機能に限定されることはなく、別の目的にも使用される可能性もある。たとえば、アピアランス・モデルを使用して、複雑な自然のオブジェクト（たとえば人間）の識別に用いることができる動的なイメージ・シグニチャを生成することができる。したがって、付随する特許請求の範囲は、限定が明示的に引用されている場合を除いて、本発明のアピアランス・モデルを追跡システムに、もしくは動き評価アプリケーションに限定するものと解釈されるべきではない。
【００１７】
図１は、イメージ追跡システム１１０を実装するべく構成されたコンピュータ１００を示した簡略化したブロック図であり、このイメージ追跡システムは、アピアランス・モデル１２０を使用して時間的に連続する一連のイメージ・データ・フレーム１０１内に現れる選択されたターゲット・オブジェクトを追跡するが、これらのイメージ・データ・フレームは、従来の方法の使用を介して適切にディジタル化され、コンピュータ１００内に入力される。また追跡システム１１０は、オプションの、カレント・イメージ・フレームを表すイメージ・ピクセル・データの配列に関連付けされた１ないしは複数のデータ・ストリームを生成するフィルタ／プロセッサ・サブシステム１５０、動きエスティメータ１６０、イメージ・ワーピング・ツール１７０、およびアピアランスモデル更新ツール１８０を含む複数のソフトウエア・サブシステム（ツール）を包含している。これらのサブシステムによって実行される個別の機能については後述する。これらのサブシステムは、協働して追跡機能を実行し、追加の詳細を以下に説明する方法に従ってアピアランス・モデル１２０を更新する。ここで注意が必要であるが、図１に示されている独立のサブシステム・ブロックは説明のみを目的として提供されており、これらのサブシステムのいくつかによって実行される少なくとも一部の機能が、公知のテクニックを使用して別のサブシステムに統合されることはあり得る。
【００１８】
本発明の一実施態様によれば、アピアランス・モデル１２０が、１ないしは複数のデータ・ストリームに関して、安定（Ｓ）コンポーネント１３０および１ないしは複数の推移コンポーネント１４０（たとえば「遊動」（Ｗ）コンポーネント１４０Ａおよび／または「迷子」（Ｌ）コンポーネント１４０Ｂ）を含んでおり、それらが集合的に選択されたターゲット・オブジェクトのオンライン・ディジタル表現を定義する。ここで用いている用語「オンライン」は、選択されたターゲット・オブジェクトのディジタル表現がカレント（つまりもっとも新しい）イメージ・フレームからのデータを使用して逐次更新されることを意味する。特に、最初の一連のイメージ・フレーム内において受け取ったデータを使用して（安定コンポーネント１３０および推移コンポーネント１４０のパラメータによって定義されるように）ターゲット・オブジェクトのディジタル表現を確立した後、確立済みディジタル表現が、新しいイメージ・フレームからの対応するデータと比較され、その後、先行する確立済みディジタル表現と新しいデータの間における差に従って確立済みディジタル表現が更新（変更）され、その結果、逐次「新しい」確立済みのディジタル表現が生成される。つまり、１ないしは複数のイメージ・フレームから以前に受け取ったデータ、およびカレント・フレームからの新しいデータの両方によって定義されるという意味において、このディジタル表現は「オンライン」である。
【００１９】
概して、安定コンポーネント１３０によって定義されるディジタル表現のコンポーネントが、推移コンポーネント１４０によるそれに比べて長い時間履歴（つまり、より長い時間スケール）に基づくことから、安定コンポーネント１３０と推移コンポーネント１４０は異なる。つまり、安定コンポーネント１３０のパラメータは、逐次確立されるディジタル表現のそれぞれにおけるイメージ・データの「安定性」を反映している。これらの用語「安定性」および「安定（した）」は、比較的長い時間スケールにわたって（たとえば５ないしはそれを超える数の連続イメージ・フレームにわたって）比較的変化しないイメージ・データ値を記述するためにここで用いられている。これに対して、推移コンポーネント１４０のパラメータは、逐次確立されるディジタル表現のそれぞれにおけるイメージ・データの相対的な推移を反映している。したがって、この用語「推移」は、不安定なイメージ・データ値（たとえばアウトライア）、あるいは比較的短い時間スケール（たとえば、５より少ない数の連続イメージ・フレーム）の間においてのみ安定しているイメージ・データを記述するためにここで用いられている。たとえば、以下に説明する例示の実施態様においては、Ｗコンポーネント１４０Ａが、カレント・イメージ・フレームおよびカレント・イメージ・フレームの直前に先行するイメージ・フレームのみを使用してパラメータが計算されるという点において従来の２−フレームの動きエスティメータと類似の態様で動作する。変形実施態様においては、Ｗコンポーネント１４０Ａを、カレント・イメージ・フレームに先行する少数の（たとえば２もしくは３）フレームからのデータとの比較を行うべく修正することもできる。それに代わり、以下に示す例示の実施態様の中で説明するように、Ｌコンポーネント１４０Ｂがアウトライア・データのストアに使用されて、したがって単一のイメージ・フレーム（つまりカレント・イメージ・フレーム）からのデータを使用して更新される。
【００２０】
本発明の別の側面によれば、選択されたデータ・ストリームからのイメージ・データの各断片が（たとえば、関連する表示ピクセルの相対的な輝度またはフィルタ出力を表すデータ）、安定コンポーネント１３０および推移コンポーネント１４０の両方によって集合的に表現される。言い換えると、安定コンポーネント１３０および推移コンポーネント１４０のそれぞれは、関連するコンポーネントによって表される関連するデータ値のパーセンテージを示す寄与パラメータ（たとえば混合確率）を含む。たとえば、所定のイメージ・データの断片は、寄与パラメータ１３２によって示される量の安定コンポーネント１３０、および対応する寄与パラメータ１４２Ａおよび１４２Ｂ（それぞれＷコンポーネント１４０ＡおよびＬコンポーネント１４０Ｂに関連付けされる）によって示される推移コンポーネント１４０で表される。アピアランス・モデル１２０を構成するすべてのコンポーネントの寄与パラメータ１３２、１４２Ａおよび１４２Ｂの合計は１（つまり１００パーセント）に等しい。これらの寄与パラメータは、所定のデータ値がターゲット・オブジェクトを記述している信頼性の尺度を示す。たとえば、詳細を後述するように、データ値が長時間にわたって安定していれば、寄与パラメータ１３２が、一時的な寄与パラメータ１４２Ａおよび１４２Ｂに比較して相対的に高くなる。これに対して、データ値が急峻に変化するとき、あるいはすばやい変化があるとき、通常は一時的な寄与パラメータ１４２Ａおよび１４２Ｂによって表されるパーセンテージが増加し、安定した寄与パラメータ１３２によって表されるパーセンテージが、それに応じて減少する。
【００２１】
本発明のさらに別の側面によれば、安定コンポーネント１３０が１ないしは複数の安定データ・パラメータ１３４を含み、それが使用されて、新しいデータが以前に受け取られたイメージ・データをどの程度良好に模しているかということが決定される。前述したように、安定コンポーネント１３０は、比較的多くのイメージ・フレームに基づいたターゲット・イメージのディジタル表現である。したがって、以下に説明する実施態様においては、統計的な方法を使用し、安定データ・パラメータ１３４が平均値μＳおよび標準偏差σＳパラメータとして表され、それらは、現在受け取っているイメージ・フレームに先行するあらかじめ決定済みの数（たとえば１５）のイメージ・フレームにわたって受け取られたデータ値を使用して計算され、計算に使用されるデータについては、あらかじめ決定済みの平均値の範囲内に含まれることを前提とする（つまりアウトライアが除外される）。それに代えて、安定データ・パラメータ１３４を、選択した（たとえば２つ置きに）データ値の平均等の代替方法を使用して計算することもできる。追加の詳細を以下に示すように、安定データ・パラメータ１３４は、新しいデータのそれぞれと比較され、比較の結果は、寄与パラメータ１３２、１４２Ａ、および１４２Ｂの更新に使用される。つまり、前述したように、安定データ・パラメータ１３４が新しいデータとまったく同一である場合には、新しいデータは、比較的安定であることを示し、寄与パラメータ１３２が増加する（あるいは最大値を維持する）傾向を持つ。その逆に、新しいデータが、安定データ・パラメータ１３４と著しく異なる場合には、寄与パラメータ１３２が減少する傾向となり、推移寄与パラメータ１４２Ａおよび１４２Ｂの一方もしくは両方の、それに応じた増加という結果がもたらされる。
【００２２】
本発明のさらに別の側面によれば、推移コンポーネント１４０が１ないしは複数の推移データ・パラメータ１４４Ａおよび１４４Ｂを含んでおり、それらはオプションで使用されて新しいデータが以前に受け取られたイメージ・データをどの程度良好に模しているかということについてさらに決定がなされる。たとえば、アピアランス・モデル１２０において使用される場合には、コンポーネント１４０Ａが平均μＷおよび標準偏差σＷパラメータを含み、それらが、比較的少数のフレームにわたって計算される。それに代えて、以下に説明する例示の実施態様において使用されているように、「平均」を単純に先行して受け取られているデータ値とし、「標準偏差」をあらかじめ決定済みの固定範囲とする。ここで注意が必要であるが、Ｌコンポーネント１４０Ｂについては、詳細を以下に述べるが、「平均」パラメータμＬが使用されることもあれば、省略されることもある。
【００２３】
再度図１を参照するが、追跡システム１１０は、概略において次のように動作する。イメージ・データ１０１がフィルタ／プロセッサ１５０に渡され、それが、たとえばノイズまたはそのほかの不要データを除去する確立済みのテクニックに従って当該イメージ・データのフィルタリングおよび／または処理を行う。以下に説明する例示の実施態様においては、このフィルタリング・プロセスが、続く追跡オペレーションに適した方法でイメージ・データを修正するウェーブレット−ベースのフィルタリング・テクニックを使用する。フィルタリング後／処理後のイメージ・データ（または、フィルタ／プロセッサが使用されない場合には生データ）は、続いて動きエスティメータ１６０に渡されるが、そこでは、アピアランス・モデル１２０によってストアされた現存するイメージ記述も受け取られる。動きエスティメータ１６０は、アピアランス・モデル１２０、およびターゲット・オブジェクトに関連付けされた動きの履歴を使用してカレント・イメージ・フレーム内におけるターゲット・オブジェクトの場所を決定するが、この履歴は、確立済みのテクニックに従って動きエスティメータ１６０によって生成される。イメージ・フレーム内のターゲット・オブジェクトのロケーションが決定されると、イメージ・ワーピング・ツール１７０が使用されてアピアランス・モデル１２０（もしくは新しいイメージ・データ）が修正され、動きベースのひずみ（たとえば、サイズおよび／または軸回転）の説明が行われる。ワーピングの実行後は、アピアランス・モデル１２０内に提供されるイメージ記述がモデル更新ツール１８０に渡され、それがアピアランス・モデル１２０を、ここで述べている方法に従って更新する。その後は、更新後のアピアランス・モデルのパラメータが使用されて、その後に続いて受け取られるデータ・フレームが処理される。
【００２４】
図２は、本発明の一実施態様に従ってアピアランス・モデル１２０（図１）の生成ならびに更新に使用される概略プロセスを示したフローチャートである。この単純化したフローチャートは、各繰り返しの間に単一のデータ・ポイントが処理されること、および追跡に関連付けされた機能（たとえば、動き評価およびイメージ・ワーピング）が省略されることを前提としている。次に、この例示のプロセスをより詳細に説明する。
【００２５】
図２の上側部分を参照すると、このプロセスは安定コンポーネントならびに推移コンポーネントのパラメータを初期化することによって開始する（ブロック２１０）。たとえば図１を参照すると、安定コンポーネント１３０の安定寄与コンポーネント１３２および安定データ・コンポーネント１３４を、あらかじめ決定済みの値にセットすることができる。ここで注意が必要であるが、安定寄与コンポーネント１３２用のあらかじめ決定済みの値は、リセット・オペレーション（後述）において使用される。
【００２６】
図２に戻るが、初期化の後、イメージ・データが前述の方法に従って受け取られ（ブロック２２０）、続いて確立済みコンポーネント・パラメータと比較される（ブロック２３０）。本発明の一実施態様によれば、この比較の間にログ尤度（「尤度」）値が、当該データと現存するデータ・パラメータ（１ないしは複数）の間における差に基づき、周知の統計学的方法に従って、それぞれのコンポーネントに関して計算される。この尤度値は、当該データが確立済みデータ・パラメータにどの程度良好に整合しているかを示す。たとえば、安定データ・パラメータが１４の平均値μＳおよび標準偏差２を有していると仮定する。そのときデータが１４に等しければ、計算される尤度値は、その安定コンポーネントに関して最大化される。それに対して、データが２４に等しいとすれば、尤度値は相対的に極めて低くなる。尤度値は、Ｗコンポ（使用される場合）に関しても類似の態様に従って計算されるが、Ｌコンポーネント（使用される場合）については省略されることがある。
【００２７】
続いてデータと確立済みデータ・パラメータの間における比較の結果が使用されて寄与パラメータ（以下、混合確率と言う）が更新され、さらにアピアランス・モデル・コンポーネントのそれぞれに関する新しいデータ・パラメータが生成される（ブロック２４０）。一実施態様においては、このプロセスが尤度値を使用する各コンポーネントに関するオーナーシップ値の計算を行うオプションのステップ（ブロック２４２）を含むが、それについての追加の詳細は後述する。次に（あるいは、それに代えて）それぞれのコンポーネントについて、新しい混合確率が、オーナーシップ確率および／または尤度値を使用して計算される（ブロック２４４）。その後、新しく計算された安定寄与値（たとえば、ｍＳ）と、あらかじめ定義済みの最小値の比較が行われる（ブロック２４５）。新しく計算された安定寄与値が、あらかじめ定義済みの最小値より小さい場合（ＹＥＳ）には、すべてのコンポーネント・パラメータがあらかじめ定義済みの値にリセットされる（ブロック２４６）。これに対して、新しく計算された安定寄与値が、あらかじめ定義済みの最小値より大きい場合（ブロック２４５のＮＯ）には、各コンポーネントのデータ・パラメータが更新されて、新しいデータが反映される（ブロック２４８）。
【００２８】
その後、上記のシーケンスが、新しいデータ・ストリームに関連付けされた新しいデータごとに繰り返される。ここで注意が必要であるが、コンポーネント・パラメータを更新するプロセス（ブロック２４０）は、最終的な結果を損なうことなく、データ・パラメータの再計算（ブロック２４８）の後に最小値の決定（ブロック２４５）を行う形に変形することができる。
【００２９】
新しく、かつ有益なアピアランス・モデルが、図２を参照して説明したプロセスとの組み合わせにおいて安定コンポーネントならびに少なくとも１つの推移コンポーネントを用いて生成されるが、現在のところ好ましい本発明の実施態様は、安定（Ｓ）コンポーネント１３０、遊動（Ｗ）コンポーネント１４０Ａ、および迷子（Ｌ）コンポーネント１４０Ｂ（図１参照）を以下の説明に従ってすべて組み込んだアピアランス・モデルを含む。その種のアピアランス・モデルを、ここでは「ＷＳＬアピアランス・モデル」と呼んでいる。
【００３０】
本発明のＷＳＬアピアランス・モデルについて、次に、単一の実数値のデータ観測を引用して紹介する。単一データ値を参照したＷＳＬアピアランス・モデルの動作の説明の後に、全データ・フレームの処理に向けて説明を移行させる。
【００３１】
図３〜６は、単純なパラメトリック動きモデルを使用した追跡領域（ターゲット・オブジェクト）として顔を示したイメージ・データ・フレームの断続シーケンスを表しており、ＷＳＬアピアランス・モデルによって説明されなければならない、典型的な、イメージをひずませる現象が図示されている。図３は、最初の、ＷＳＬアピアランス・モデルが安定することが許される、比較的安定した期間を表している。ここで、高いコントラストの領域、たとえば額領域３１０および口領域３２０等が、極めて安定したイメージ・データを生成する傾向にあることに注意されたい。図４は、部分的なオクルージョンを示しており、その間に対象の手が短時間にわたって口領域３２０の上に置かれたが、額領域３１０は、比較的ひずみを受けない状態に保たれている。図５は、リスタートを招く著しいアピアランスの不連続を表している（つまり、突然かつ急激な頭部の動きであり、その間に対象の頭部が傾けられ、カメラから離れる方向にすばやく動き、さらに目領域３３０からメガネが外された）。最後の図６は、自然のひずみの例として表情の変化を示している。特に領域３４０において、対象が大げさにほほえんでいるが、そのほかには目立った動きがない（図３の口領域３１０と対比）。
【００３２】
図３〜６に示した現象は、ＷＳＬアピアランス・モデルの各種のコンポーネント・データ・パラメータを誘導する。図３に示されている比較的安定したイメージは、Ｓコンポーネントを誘導し、それには、時間的に安定したイメージの観測の振る舞いを、それらが生じている時点および場所で取り込むことが意図されている。より詳細に述べれば、各フレームｔにおけるデータ値をｄｔで表し、安定コンポーネントが観測ｄｔを生成したと仮定すると、ｄｔに関する確率密度は、ガウス密度ｐｓ（ｄｔ｜μｓ，ｔ，σ２ｓ，ｔ）によってモデリングされる。これにおいて、μｓ，ｔ，σ２ｓ，ｔは、区分的に、緩やかに変化する関数であり、ガウス・モデルの平均および分散を指定する。
【００３３】
ＷＳＬアピアランス・モデルの第２のコンポーネントは、データのアウトライアを説明するが、これらは追跡の失敗またはオクルージョンに起因して生じることが予想される。前述したように、対応するランダム・プロセスを、ここではＷＳＬアピアランス・モデルの「迷子」またはＬコンポーネントと呼んでいる。Ｌコンポーネントの確率密度、すなわちｐｌ（ｄｔ）は、観測ドメインにわたって均一に分布しているものと考える。
【００３４】
図７に示した合成信号は、単一データ・ストリームに関するこれらの発生プロセスの理想化した例を示している。破線は、区分的に緩やかに変化するアピアランス信号ＡＳを表している。観測されたデータＯＤは、ガウス密度ｐｓ（ｄｔ｜μｓ，ｔ，σ２ｓ，ｔ）およびＬコンポーネントに関する広い分布ｐｌ（ｄｔ）の混合から形成されるテールの長いノイズによって改ざんされている。太い実線のラインは、Ｓコンポーネントに関する評価後の平均ＥＭである。前述の説明に従うと、イメージ・データ・フレームのシーケンスは、領域４００において開始され、その後、図３に関連付けされる比較的安定した段階（領域４１０）に入る。合成信号の領域４２０は、図４のオクルージョンに相似の、フレーム３００と３１５の間におけるアウトライアのバーストを示している。領域４３０は、図５のアピアランスの不連続に相似のフレーム６００におけるリスタートを示している。最後の領域４４０は、図６の顔の表情の変化によって生成された、局所的な信号のひずみを示している。
【００３５】
ＷＳＬアピアランス・モデルのＷコンポーネントは、アピアランス・モデルとイメージ−ベースの追跡アルゴリズムの統合に対する要求によって誘導される。つまり、選択されたイメージ領域に関して、ゴールは、その領域内の支配的な安定したイメージ構造に対してモデルを倣わせることであり、同時にそれを追跡することである。これは、最初の安定したアピアランス・モデルが提供されない場合、もしくはオブジェクトがどのように動くかについての情報が提供されない場合に困難なものとなる。Ｗコンポーネントは、その種の状態において何が追跡されるべきかを決定する。前述したように、実際上、Ｗコンポーネントは、アピアランス・モデルが充分な過去のデータ観測について説明しないとき、追跡システム（後述）が、２−フレームの動きトラッカまで優雅に低下することを可能にする。
【００３６】
Ｗコンポーネントは、Ｓコンポーネント・パラメータの信頼性のある評価に必要となる場合に比べて、より急峻な一時的な変動およびより短時間の履歴を許容する必要がある。そのためｄｔに関する確率密度が、それがＷコンポーネントによって生成されているとして、ガウス密度ｐｗ（ｄｔ｜ｄｔ−１）となるように選択される。ここでは、平均が単純に以前のフレームｄｔ−１からの観測となり、分散がσ２ｗに固定される。
【００３７】
３つのコンポーネントＷ、Ｓ、およびＬは、ｄｔに関する蓋然論的混合モデル内において結合される。
【００３８】
【数１】
0004824791.tif 000002
これにおいて、
ｍ＝（ｍｗ，ｍｓ，ｍｌ）は混合確率であり、
ｑｔ＝（μｓ，ｔ，σ２ｓ，ｔ）
は、このモデルの安定コンポーネントの平均ならびに分散パラメータを含む。
【００３９】
従来の追跡システムにおいてこのＷＳＬアピアランス・モデルを実装するためには、式（１）における発生モデルのパラメータ、すなわちデータｄｔの予測の平均および分散を、安定プロセス
ｑ＝（μｓ，σ２ｓ）
および混合確率
ｍ＝（ｍｗ，ｍｓ，ｍｌ）
によって評価することが必要になる。さらに、フィルタ応答に評価スキームを適用するためには、各観測に関して比較的小さなメモリしか必要としない単純な演算アルゴリズムが求められる。
【００４０】
再帰的定式化を予測し、モデル・パラメータの時間的適合を許容して、現在時にロケートされた指数包絡線、ｋ≦ｔに関するＳｔ（ｋ）＝αｅ−（ｔ−ｋ）／τの下においてデータ観測を考える。これにおいてτ＝ηｓ／ｌｏｇ２であり、ηｓはフレーム内の包絡線の半減期であり、α＝１−ｅ−１／τであり、その結果、包絡線の重みＳｔ（ｋ）の合計は１になる。この包絡線を用いると、観測履歴のログ尤度
ｄｔ＝｛ｄｋ｝ｔｋ＝０
を、式（１）における密度に従って表すことができる。
【００４１】
【数２】
0004824791.tif 000003
これにおいて
ｍｔ
および
ｑｔ
は、時間的な台の包絡線Ｓｔ（ｋ）の下におけるデータに関係するパラメータを表す。これらのパラメータは時間的に緩やかに変化するが、ＥＭアルゴリズム（たとえば、１９７７年のＪ．Ｒｏｙａｌ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ  Ｓｅｒｉｅｓ  Ｂ（王立統計学会シリーズＢ），３９：１〜３８の、Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ（Ａ．Ｐ．ディムスター）、Ｎ．Ｍ．Ｌａｉｒｄ（Ｎ．Ｍ．ラード）、およびＤ．Ｂ．Ｒｕｂｉｎ（ルービン）による「Ｍａｘｉｍｕｍ  Ｌｉｋｅｌｉｈｏｏｄ  ｆｒｏｍ  Ｉｎｃｏｍｐｌｅｔｅ  Ｄａｔａ  Ｖｉａ  ｔｈｅ  ＥＭ  Ａｌｇｏｒｉｔｈｍ（ＥＭアルゴリズムを介した不完全データからの最大尤度）」を参照されたい）が
ｍｔ
および
ｑｔ
の評価に考慮され、それにおいては、これらが時間ウインドウの下に一定であることが仮定される。これらのＥＭ更新の形式は、ここで述べているオンライン方法に関する基礎を提供する。
【００４２】
状態変数
ｍｔ
および
ｑｔ
に関する現在の推測（時間ウインドウにわたって一定）を前提とするとＥ−ステップは、ｉ∈｛ｗ，ｓ，ｌ｝に関して、各観測ｄｋに関するオーナーシップ確率を提供する。
【００４３】
【数３】
0004824791.tif 000004
これらのオーナーシップを条件とし、続いてＭ−ステップが、新しい最大尤度評価を
ｍｔ
および
ｑｔ
に関して計算する。まず、更新された最大確率ｍｔは、ｉ∈｛ｗ，ｓ，ｌ｝に関し、次式によって与えられる（表記
ｍｉ，ｔ
は、再利用されて更新された値を表す）。
【００４４】
【数４】
0004824791.tif 000005
同様に、平均および分散に関するＭ−ステップは次のようになる。
【００４５】
【数５】
0004824791.tif 000006
これにおいてＭｊ，ｔは、オーナーシップの重み付けがなされた、次式によって定義されるｊ次のデータ・モーメントである。
【００４６】
【数６】
0004824791.tif 000007
ここで、ゼロ番目のデータ・モーメント、すなわち安定プロセスの時間平均オーナーシップが、正確にＷＳＬアピアランス・モデルのＳコンポーネントに関する混合比率となり、Ｍ０，ｔ＝Ｍｓ，ｔとなることは注目に値する。したがって、標準ＥＭアルゴリズムは、式（３）〜（６）に概説したステップの繰り返しからなる。
【００４７】
このＥＭアルゴリズムは、先行する時間からのデータが保持されてｏｓ，ｔ（ｄｋ）の計算が行われることを必要とし、オンライン・アプローチにとってそれは実際的ではない。それに代えて式（３）〜（６）の近似が採用される。そのため、指数の台Ｓｔ（ｋ）に関する帰納式が利用されて次式が得られる。
【００４８】
【数７】
0004824791.tif 000008
過去のデータを保持しなければならないという要件を回避するために、過去のデータのカレント・オーナーシップが、そのデータが最初に観測された時点におけるオーナーシップによって近似される。すなわち、ｏｓ，ｔ（ｄｋ）がｏｓ，ｋ（ｄｋ）に置き換えられて、次の近似モーメントが得られる。
【００４９】
【数８】
0004824791.tif 000009
また、混合確率についても同様にｉ∈｛ｓ，ｗ，ｓ，ｌ｝に関して次のように近似される。
【００５０】
【数９】
0004824791.tif 000010
これらの式からの１つの大きなずれが使用されて単一の状態が回避される；すなわち、非ゼロの低い境界が、混合確率およびσｓ，ｔに強制される。
【００５１】
式（３）〜（６）内のバッチＥＭに対するこの近似においては、前述したように、過去の観測のオーナーシップが更新されない。したがって、モデル・パラメータが急激に変化したとき、このオンライン近似は不充分なものとなる。好都合にも、一般にこれは、データが安定でないときに現れ、通常はいずれの場合においてもＳコンポーネントに関する低い混合確率および広い分散をもたらす。これに対して、平均および分散が緩やかにドリフトしているときのオンライン近似は、通常、非常に良好なものとなる（図７参照）。
【００５２】
アピアランス内に急激な変化、または不安定なデータがあると、Ｓコンポーネントがしばしば平均の追跡を逃し、小さい混合確率が与えられる（後述する図８を参照されたい）。つまり、アピアランス・モデルを臨時にリスタートすることが必要になる。ここでは、安定した混合確率ｍｓ，ｔが固定スレッショルド（たとえば０．１）を下回ると必ずＷＳＬアピアランス・モデルがリスタートされる。これは、すべての状態変数の値を単純にリセットすることによってなされる。一実施態様においては、混合確率に関して使用される新しい値ｍｉ，ｔが、ｉ＝ｗ、ｓ、ｌについてそれぞれ０．４、０．１５、および０．４５になる。ｍｓ，ｔに対応する値が小さいことは、Ｓコンポーネントに関する初期の不確定性を反映している。モーメントＭｊ，ｔに関する新しい値は、ｊ＝０、１、２について、それぞれｍｓ，ｔ、ｄｔｍｓ，ｔおよびσ２ｓ，０ｍｓ，ｔとなるように取られる。実際、これが、カレント観測ｄｔによって与えられる平均、および一定のσ２ｓ，０によって与えられる分散を用いてＳコンポーネントをリスタートする。ここでは、σｓ，０＝σｗ／１．５が使用される。これらと同じ値が、最初のフレームにおける初期化に使用されている。
【００５３】
図８は、半減期ｎｓ＝８を使用する図７の１Ｄの例を参照するＥＭプロシージャを例示している。領域４０５に示されているスタートアップ期間（図７の領域４００に対応する）において、Ｗ、Ｓ、およびＬコンポーネントのそれぞれは、あらかじめ決定済みのリセット値を仮定する。最初は、Ｗコンポーネントの混合確率がリセット値から増加しており、領域４１５（図７の領域４１０に対応する）によって示されるようにＳコンポーネントが信頼性を得るまでの、そのデータの比較的より大きなオーナーシップを示す。領域４２５は、フレーム３００におけるアウトライアのバースト（図７の領域４２０に対応する）の間に、Ｌコンポーネントの混合確率が増加し、その後、安定な戻りとして降下することを示している。ここで、このオクルージョンは、オクルージョンを生じていない安定イメージ・データ（たとえば図４における領域３１０）のために、リスタートを起動するほど充分なものにならなかったことに注意が必要である。領域４３５は、フレーム６００におけるアピアランスの不連続（図７の領域４３０に対応する）に対する応答を示しており、それにおいてＳコンポーネントはデータの予測に関して不充分であり、その混合確率が急速に低下している。ここで注意が必要であるが、Ｗコンポーネントがデータを説明できることから、その混合確率が増加している。フレーム６２５においては、Ｓコンポーネントの混合確率がプロシージャのリスタートに充分な低さまで下がっており、その後、Ｓコンポーネントが真の状態に戻ってロックする。
【００５４】
図９〜１６は、別の簡略化した例を使用する、本発明のＷＳＬアピアランス・モデルにおける各種のデータ変化の効果を図示している。図９は、時間ｔ０とｔ１６の間に延びる時間シーケンスの間における選択されたピクセルの輝度（グレイスケール）を記述した連続データを示している。ここに示された各時点の間隔は、均一であってもよく、またそうでなくてもよいことに注意されたい。比較的安定した初期段階が、時間ｔ０〜ｔ５の間において提供され、その間に、図３を参照した前述の説明と同様に、アピアランス・モデルが安定することが可能になる。時間ｔ６において、図４を参照して説明したオクルージョンと類似の短時間のオクルージョンが導入され、比較的急峻でありかつ大きいが、短時間の、第１の安定値（たとえば１２）から第２の安定値（たとえば２４）へのイメージ・データの変化、および第１の安定値に戻る変化によって特徴付けされる。時間ｔ７とｔ１１の間は、漸進的な輝度の変化が示され、その間においては、イメージ・データが比較的緩慢に、比較的小さい範囲にわたって（たとえば１２から１４）変化する。最後に、時間ｔ１２にアピアランスの不連続が示されており、比較的急峻であり、かつ大きく、比較的固定した、第１の安定値（たとえば１４）から第２の安定値（たとえば２４）への変化によって特徴付けされる。
【００５５】
図１０、１１、および１２は、時間ｔ０〜ｔ５の初期安定期間の間におけるＳコンポーネント、Ｗコンポーネント、およびＬコンポーネントに対する調整をそれぞれ示したグラフである。リセット時（時間ｔ０）においては、寄与パラメータ（つまり混合確率であり、各グラフの垂直スケールによって示される）があらかじめ決定済みのリセット値を採用する。これらの値は、時間ｔ０における各コンポーネントの垂直位置によって示される。たとえば、図１０を参照すると、コンポーネントＳ（ｔ０）がグラフの低い部分に配置されており、リセット値０．１５にそろえられている。同様に、図１１および１２を参照すると、コンポーネントＷ（ｔ０）およびＬ（ｔ０）が、それぞれリセット値０．４および０．４５にそろえられている。再度ここで注意したいが、これらのリセット値は変更可能である。時間ｔ０に続いて、データが安定を保つことから、Ｓコンポーネントに関する寄与パラメータが時間ｔ５における極大値（頂点）０．８５まで漸進的に増加する。ただしこの極大値は、純粋に説明の目的から選択されたものである。それに加えて、この時間的期間にわたる一定のデータ値１２は、１２にセンタリングされたままとなる安定した平均パラメータμＳをもたらし、その一方で標準偏差が減少する（標準偏差パラメータ＋σＳおよび−σＳによって区切られるバーが、漸進的に短くなることによって示されている）。図１１および１２を参照すると、Ｓコンポーネントはこの極大値まで上昇するが、ＷコンポーネントおよびＬコンポーネントは、データの残りのオーナーシップ部分を奪い合う形になる。開示した例においては、データ値が安定してとどまることから、Ｗコンポーネントの寄与値がＬコンポーネントのそれよりすばやく増加し、一貫性のあるデータ値が受け取られるに従って緩やかに減少する。Ｗコンポーネントの、そのリセット値から最大値（コンポーネントＷ（ｔ１）によって示される）までの初期増加があり、その後、Ｓモデルが信頼性を獲得し、その最大値に達すると、最小値（たとえば０．１５）まで後退する。ここで注意されたいが、比較的長い安定期間を仮定するとＬコンポーネントが非常に小さい値まで後退するが、それがゼロになることはない。
【００５６】
図１３を参照すると、１２から２４へのデータ値のジャンプとして示されている時間ｔ１における短時間のオクルージョンが、ＳコンポーネントおよびＷコンポーネントの両方に関する寄与パラメータの縮小を招いている。より詳細には、データ値（つまり２４）がＳコンポーネントおよびＷコンポーネントの両方にとって分散の外になることから、データがアウトライアとして処理され、データ値のオーナーシップが優勢的にＬコンポーネントに割り当てられる。したがって、図１３の右側に示されているように、コンポーネントＬ（ｔ５）に、いくらかの、より大きな、たとえば０．３５といった寄与パラメータが割り当てられる。この増加されたＬコンポーネントによるオーナーシップは、ＳおよびＷコンポーネントの寄与パラメータにおける縮小をもたらし、それらが、それぞれＳ（ｔ５）およびＷ（ｔ５）によって示されている。開示している実施態様においては、時間ｔ５におけるデータ値がアウトライアと見なされることから、それがＳコンポーネントの平均および分散の再計算に使用されることはない。したがって、平均値μＳ（ｔ５）がデータ値１２にセンタリングされたままとどまり、分散がＳ（ｔ４）（図１０参照）から変化しない。オクルージョンが取り除かれ（時間ｔ６）、安定したデータが再び現れると、Ｓコンポーネントが再び信頼性を得て、その最大値に再び到達するまで（時間ｔ７）その寄与パラメータが増加し、逆にＬコンポーネントが減少する。これにおいても注意が必要であるが、Ｗコンポーネントの平均は、以前のデータ値によって決定され、したがって時間ｔ５においては平均μＷが１２にセンタリングされたままとどまり、その後、時間ｔ６において２４にシフトし、さらにその後、時間ｔ７において１２に戻る。
【００５７】
図１４に示されているように、図１３を参照して説明したオクルージョンとは対照的に、言い換えるとそのオクルージョンは、Ｓコンポーネントのデータ・パラメータを変化させなかったが、時間ｔ６とｔ１１の間における漸進的なデータの変化は、Ｓコンポーネントの平均値の移行をもたらし、標準偏差を増加させる。図１４に示した例は、Ｓコンポーネントの寄与パラメータが最大化されていることが前提となっており、そのため小さいデータ値の変化であってもＳモデルの信頼性を低下させ、関連する寄与パラメータの低減を招く。寄与パラメータが最大化されていなければ、新しいデータ値が以前に計算された平均と異なる場合であっても、それが実際に増加することもある。この例においては、時間ｔ７とｔ８の間におけるイメージ・データの変化（つまり、１２から１３への変化）がＳコンポーネントの標準偏差内に選択されていることから、Ｓコンポーネントのデータ・パラメータ（たとえば平均および標準偏差）が変化する。したがって、このイメージ・データの変化はアウトライアとして扱われることなく、新しい平均値μＳ（ｔ８）の計算に使用され、それが１２から１４に向かって漸進的にシフトされる。ここで注意が必要であるが、Ｓコンポーネントの寄与パラメータにおける減少は、データ値の変化に伴って平均値が移行するＷコンポーネントにおけるそれの増加によって説明される。イメージ・データが１４に再度安定してしばらくすると（たとえば時間ｔ１０）、Ｓコンポーネントの信頼性が戻り、平均値が、コンポーネントＳ（ｔ１１）によって示されるように、新しい安定した値にセンタリングされる。したがって、図１４に示されている例は、本発明に従って生成されるアピアランス・モデルのＳコンポーネントが、いかにして緩やかなイメージ・データの変化に適合し、それによって３Ｄオブジェクトの追跡を容易にしているかということを示している。
【００５８】
図１５および１６は、最後の例であり、それにおいてはイメージ・データが、１つの安定した値（たとえば時間ｔ１１の１４）から別の安定した値（たとえば時間ｔ１２の２４）へ大きく変化する。前述し、かつ図１５にも示したが、比較的大きなイメージ・データの変化の突然の出現は、ＷおよびＳコンポーネントの寄与パラメータにおける減少を生じさせ、Ｌコンポーネントの寄与にジャンプする。ここでも注意されたいが、新しいデータは、Ｓコンポーネントに関するデータ・パラメータ（平均および分散）の計算に含められない。データ値が２４に安定していることから、Ｓコンポーネントの寄与パラメータが継続的に降下し、Ｗコンポーネントが増加し始める（Ｌコンポーネントは減少する）。最終的に、Ｓコンポーネントの寄与パラメータが、あらかじめ決定済みのリセット値（図２のステップ２４５を参照されたい）より低くなり、その結果、時間ｔ１５においてリスタートが生じるが、それが図１６に示されている。ここで、リスタートにおいては、平均値μＳ（ｔ１６）が、もっとも新しいデータ値（つまり２４）にセンタリングされていることに注意されたい。続くアピアランス・モデルの再構築は、図１０、１１、および１２を参照して前述した説明と基本的に同一である。
【００５９】
以上、単一データ値を参照してＷＳＬアピアランス・モデルの各種パラメータ応答について説明してきたが、次に、追跡システム１１０（図１参照）におけるＷＳＬアピアランス・モデルの実装に使用するコンポーネントの導出について説明する。より詳細には、以下に示すように、フィルタ／プロセッサ１５０によって実行されるフィルタリング／処理が、以下に示すようなステアラブル・ピラミッドを使用して実装される。それに加えて、動きエスティメータ１６０およびイメージ・ワーピング・ツール１７０によって実行される動き評価およびイメージ・ワーピング機能についても説明する。
【００６０】
イメージ・アピアランスのプロパティは数多く存在し、それをデータ・ストリームとして使用することが可能であり、それから追跡およびオブジェクトのサーチに関してアピアランス・モデルを学習させることができる。例としては、局所的カラー統計、マルチスケール・フィルタ応答、および局在化したエッジ断片を挙げることができる。この研究においては、適用されたステアラブル・フィルタ・ピラミッドの応答からデータ・ストリームが導かれた（つまりＧ２およびＨ２フィルタに基づいている；参照によりこれに援用している１９９１年のＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ（パターン解析および機械知能に関するＩＥＥＥトランザクション）１３：８９１〜９０６、Ｗ．Ｆｒｅｅｍａｎ（Ｗ．フリーマン）およびＥ．Ｈ．Ａｄｅｌｓｏｎ（Ｅ．Ｈ．アデルソン）による「Ｔｈｅ  Ｄｅｓｉｇｎ  ａｎｄ  Ｕｓｅ  ｏｆ  Ｓｔｅｅｒａｂｌｅ  Ｆｉｌｔｅｒｓ（ステアラブル・フィルタの設計および使用）」を参照されたい）。ステアラブル・ピラミッドは、異なるスケールおよび向きにおけるイメージの記述を提供し、粗から密への差分動き評価に、また異なるスケールならびに異なる空間的ロケーションにおける安定性、および異なるイメージの向きの分離に有用である。ここでは、Ｇ２およびＨ２フィルタを２つのスケールにおいて、すなわち８および１６ピクセル（２および４の因数によってサブサンプルされる）の波長に調整して使用し、それぞれのスケールは４つの向きを伴う。
【００６１】
フィルタ出力から、本発明者らは選択を行い、アピアランス・モデルとして位相構造の表現を維持した。これは、振幅の自然な度合いおよび照度の独立性を提供し、かつ位相ベースの方法によって得られる正確なイメージ・アライメントに関する忠実度を提供する（たとえば、参照によりこれに援用されている１９９３年のＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＰＡＭＩ（ＰＡＭＩに関するＩＥＥＥトランザクション）１５（１２）：１２５３〜１２６８、Ｄ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「Ｓｔａｂｉｌｉｔｙ  ｏｆ  Ｐｈａｓｅ  Ｉｎｆｏｒｍａｔｉｏｎ（位相情報の安定性）」を参照されたい）。小さいフィルタ振幅に関連付けされる位相応答、あるいは引用したこれらの文献に説明されているテクニックに従って不安定であると見なされる位相応答は、アウトライアとして扱われた。
【００６２】
以下においては、イメージ・ピラミッドおよびターゲット領域Ｎｔを考え、
ｄｔ＝｛ｄ（ｘ，ｔ）｝ｘ∈Ｎｔ
がその領域内の時間ｔにおけるすべてのフィルタからの位相観測のセットを示すものとする。また
Ａｔ＝｛Ｍ（ｘ，ｔ），ｑ（ｘ，ｔ）｝ｘ∈Ｎｔ
は、Ｎｔのそれぞれの向き、スケールおよび空間ロケーションにおける位相のアピアランス・モデル全体を表すものとする。指数時間的な台Ｓｔ（ｋ）の半減期は、ｎｓ＝２０フレームにセットされた。オンラインＥＭエスティメータのそのほかのパラメータは：（１）［−π；π）において均一なアウトライア確率；（２）σｗ＝０．３５πを伴う平均ゼロのガウシアンとなるように取られる、位相差におけるＷコンポーネントの標準偏差；および（３）Ｓコンポーネントの最小標準偏差、σｓ，０＝０．１πである。後者のパラメータは、位相の使用に固有である。
【００６３】
次に本発明者らは、非剛体オブジェクトの追跡に関して、適応型位相ベースのアピアランス・モデルの振る舞いを立証する。この立証に関して、時間０における楕円領域Ｎ０は、マニュアルで指定される。その後、追跡アルゴリズムが、経時的にＮｔ内の支配的なイメージ構造を追跡する間に、イメージの動きおよびアピアランス・モデルの評価を行う。
【００６４】
動きは、フレーム対フレームのパラメータ化したイメージ・ワープに置き換えて表現される。より詳細には、ワープ・パラメータ
ｃｔ
を考えたとき、フレームｔ−１におけるピクセル
ｘ
は、時間ｔにおけるイメージ・ロケーション
ｘｔ＝ｗ（ｘ；ｃｔ）
に対応し、それにおいて
ｗ（ｘ；ｃｔ）
はワープ関数である。ここでは類似性変換が使用され、したがって、
ｃｔ＝（ｕｔ，θｔ，ρｔ）
は、それぞれ平行移動、回転およびスケール変換を記述する４次元ベクトルとなる。平行移動はピクセルにおいて、回転はラジアンにおいて指定され、スケール・パラメータは乗数を示すことから
η≡（０，０，０，１）
は、アイデンティティ・ワープである。追跡のために、ターゲット近隣が、各フレームにおいて動きパラメータによって前方に対流（つまりワープ）される。言い換えると、パラメータ・ベクトル
ｃｔ
を考えた場合、Ｎｔは、
ｗ（ｘ；ｃｔ）
によるＮｔ−１のワープによって提供される単なる楕円領域となる。このほかのパラメータ化されたイメージ・ワープ、およびこのほかのパラメータ化された領域表現を使用することもできる（たとえば、参照によりこれに援用されている１９９４年のＣＶＧＩＰ：Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ（イメージの理解）６０（２）：１１９〜１４０、Ｆ．Ｇ．Ｍｅｙｅｒ（Ｆ．Ｇ．メイヤー）およびＰ．Ｂｏｕｔｈｅｍｙ（Ｐ．バウスミー）による「Ｒｅｇｉｏｎ−Ｂａｓｅｄ  Ｔｒａｃｋｉｎｇ  Ｕｓｉｎｇ  Ａｆｆｉｎｅ  Ｍｏｔｉｏｎ  Ｍｏｄｅｌｓ  ｉｎ  Ｌｏｎｇ  Ｉｍａｇｅ  Ｓｅｑｕｅｎｃｅｓ（長いイメージ・シーケンスにおけるアフィン動きモデルを使用した領域ベースの追跡）」を参照されたい）。
【００６５】
最適ワープを見つけるため、データのログ尤度ならびにログ−プライア（原文：ｌｏｇ−ｐｒｉｏｒ）の合計が（局所的に）最大化され、遅い、なめらかな動きに関するプレファレンスが提供される。上に概説した動きおよびアピアランス・モデルに関して言えば、データのログ尤度は、次式のように表すことができる。
【００６６】
【数１０】
0004824791.tif 000011
これにおいては、表記の便宜上、以前のフレームからのデータをＤｔ−１≡｛ｄｘ，ｔ−１｝ｘ∈Ｎｔ−１として表しているが、個別のデータは
ｄｘ，ｔ−１≡ｄ（ｘ，ｔ−１）
である。同様に、参照している以前のフレームにワープ・バックされたカレント・データは、
ｄｘ，ｔ≡ｄ（ｗ（ｘ；ｃｔ），ｔ）
によって示され、最後に発明者らは、
Ａｘ，ｔ≡（ｍｘ，ｔ−１，ｑｘ，ｔ−１）
を定義している。直感的に、このログ尤度は、次のように理解することができる：カレント・フレームｔにおけるデータが、パラメータ
ｃｔ
に従ってフレームｔ−１の座標にワープ・バックされる。このワープ後のデータ
｛ｄｘ，ｔ｝ｘ∈Ｎｔ−１
のログ尤度が、その後、以前のフレーム内のターゲット領域
Ｎｔ−１
の参照しているフレーム内のアピアランス・モデル
Ａｔ−１
に関して演算される。
【００６７】
プライア（ｐｒｉｏｒ）が導入されて、主にオクルージョンが処理され、安定コンポーネントＳの持続性が利用される。発明者らは、時間ｔ−１における動き
ｃｔ−１
に調和された動きパラメータ
ｃｔ＝（ｕｔ，θｔ，ρｔ）
に関する事前密度を、２つの４Ｄガウシアンの積となるように設定した。
【００６８】
【数１１】
0004824791.tif 000012
最初のガウス因数は、その平均が単位元ワープ
η
に等しく、その共分散が
Ｖ１≡ｄｉａｇ（８２，８２，０．０５２，０．０１２）
によって与えられる、遅い動きを優先する。２番目のガウシアンは、
Ｖ２≡ｄｉａｇ（１，１，０．０２２，０．０１２）
を伴う、動き内の遅い変化を優先する。
【００６９】
ｃｔ
を評価するために、与えられたログ尤度およびログ−プライアの合計を次式によって最大化する。
【００７０】
【数１２】
0004824791.tif 000013
Ｅ（ｃｔ）
の最大化は、参照によりこれに援用されている１９９３年６月にニューヨークで開催されたＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＥＥＥコンピュータの視覚およびパターン認識）ＣＶＰＲ−９３の会報７６０〜７６１ページにある「Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ  ｆｏｒ  Ｏｐｔｉｃｌ  Ｆｌｏｗ  Ｃｏｍｐｕｔａｔｉｏｎ（オプティカル・フロー演算に関する混合モデル）」にＡ．Ｊｅｐｓｏｎ（Ａ．ジェプソン）およびＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊブラック）によって説明されているように期待−最大化（ＥＭ）アルゴリズムの単純な変形が使用される。これは、繰り返しの粗−密アルゴリズムであり、この方法の局所的な最小値内へのトラップのコントロールに使用されるアニーリングを伴う。簡単に述べると、Ｅ−ステップが逆方向ワープ済みデータ
Ｄｔ
に関するオーナーシップ確率を、前述の式（３）にあるように決定する。Ｍ−ステップは、これらのオーナーシップを使用して
ｃｔ
に対する更新に関する線形連立系を構成する。線形連立系のこれらのコンポーネントは、ＷおよびＳプロセスに関するオーナーシップ確率によって重み付けされる動き制約から獲得される。
【００７１】
ここでは、ＥＭアルゴリズムの導出が、次式を満足する
Ｅ（ｃｔ）
の極値を用いて開始する。
【００７２】
【数１３】
0004824791.tif 000014
ｄｘ，ｔ≡ｄ（ｗ（ｘ；ｃｔ），ｔ）
によって示されるワープ後のデータを用いると、式（１０）にあるようなログ尤度の導関数は次式のようになる。
【００７３】
【数１４】
0004824791.tif 000015
単位元を利用すると
∂（ｌｏｇ（ｆ（ｘ））／∂ｘ＝１／ｆ（ｘ）（∂（ｆ（ｘ））／∂ｘ）
となり、式（１）に従って尤度関数を拡張すると、式（１４）は次のように簡略化される。
【００７４】
【数１５】
0004824791.tif 000016
最後に、オーナーシップ確率を次のように定義し、
【数１６】
0004824791.tif 000017
ログ尤度のグラディエントに関する式が次のように簡略化される。
【００７５】
【数１７】
0004824791.tif 000018
式（１６）と、式（１１）から簡単に導かれるログ−プライアとを結合すると、次のように目的関数のグラディエントの式が提供される。
【００７６】
【数１８】
0004824791.tif 000019
ＥＭアルゴリズムは、
Ｅ（ｃｔ）
の最大化のための反復法である。Ｅ−ステップにおいて、動きパラメータに関するカレント推測値を
ｃｔ
とすると、オーナーシップ確率、
ｏｗ（ｄｘ，ｔ）
および
ｏｓ（ｄｘ，ｔ）
は、動きパラメータを固定したまま計算される。続くＭ−ステップにおいては、動きパラメータに対する更新
δｃ
が、オーナーシップ確率を一定に維持して目的関数を最大化することによって評価される。
【００７７】
ところで、Ｍ式は直接解くことができない。それに代えて、グラディエント−ベースの制約を用いてしばしばオプティカル・フローが評価される方法と同様に、近似の目的関数が最大化される。近似関数
□（δｃ；ｃｔ）
は、動きパラメータに関する初期推測
ｃｔ
についてカレント観測を線形化することによって得られる。より詳細には、
ｄ（ｗ（ｘ；ｃｔ），ｔ）
が、
ｃｔ
に関して取られるその１次のテーラー級数によって近似される。より数式的には、
【数１９】
0004824791.tif 000020
となり、それにおいては、
∇ｄ（ｘ，ｔ）≡（ｄｘ（ｘ，ｔ），ｄｙ（ｘ，ｔ））
が、データ観測の空間的な部分導関数を示し、
Ｗ＝δｗ／δｃｔ
が、
ｃｔ
におけるワープ・マップの２×４ヤコビアンを示す。
【００７８】
ｄ（ｗ（ｘ；ｃｔ＋δｃ），ｔ）
に関するこの近似を目的関数に代入することによって、アピアランス・モデルの安定コンポーネントに関する次の式が得られる。
【００７９】
【数２０】
0004824791.tif 000021
これにおいて、
δｄｓ≡ｄ（ｗ（ｘ；ｃｔ），ｔ）−μｓ，ｔ、
ｑ＝（μｓ，ｔ，σｓ，ｔ）
は、アピアランス・モデルのＳコンポーネントの平均および標準偏差であり、かつ
∇ｄ＝∇ｄ（ｗ（ｘ；ｃｔ），ｔ）
であり、κｓは、
ｃｔ
とは独立した定数である。同様に、アピアランス・モデルのＷコンポーネントについては次式が得られる。
【００８０】
【数２１】
0004824791.tif 000022
これにおいて、
δｄｗ≡ｄ（ｗ（ｘ；ｃｔ），ｔ）−ｄ（ｘ，ｔ−１）−ｄ（ｗ（ｘ，ｔ−１））
であり、かつκｗは、
ｃｔ
とは独立した定数である。
【００８１】
これらの線形化を用いると、近似目的関数が次式によって与えられる。
【００８２】
【数２２】
0004824791.tif 000023
これにおいてκは、
ｃｔ
とは独立した定数である。近似目的関数が更新
δｃ
に関する２次式であることから、その導関数は、次に示すように
δｃ
に関する線形連立方程式をもたらす。
【００８３】
【数２３】
0004824791.tif 000024
これに代えて、結果として得られる更新
δｃ
に関する線形方程式を次のように記述することができる。
【００８４】
【数２４】
0004824791.tif 000025
これにおいてＡｉは４×４のマトリクスであり、各
ｂｉ
は、ｉ＝ｗ，ｓ，ｐに関する４次元ベクトルである。
【００８５】
【数２５】
0004824791.tif 000026
この連立方程式の各線形方程式は、それぞれＷおよびＳコンポーネントに関するオーナーシップ確率によって重み付けされた、異なる動き制約から作られる。式（２３）におけるεは、Ｗコンポーネント制約に関する重み付け因数である。式（２１）の近似目的関数の最大化に関する数学的に適正なＭ−ステップは、重みε＝１を使用することになろう。発明者らは、ε＝１／ｎの因数により、Ｗコンポーネントによって所有されている制約のダウン・ウェイトを行うと有用であることを発見し、それにおいてｎｓは、アピアランス・モデル内において使用される指数時間ウインドウの半減期である。それに加えて、Ｄ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）およびＡ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）による「Ｓｔａｂｉｌｉｔｙ  ｏｆ  Ｐｈａｓｅ  Ｉｎｆｏｒｍａｔｉｏｎ（位相情報の安定性）」（上記引用）を使用して帯域信号で発生する局所的位相不安定性を検出する。局所的位相観測ｄｘ，ｔが不安定であると考えられるときは、常に対応するグラディエント制約が未定義になり、式（２３）に含められることはない。時間ｔ−１における不安定な観測を、カレント・ワープの下に時間ｔにおける良好な観測にマップすると、尤度
ｐｗ（ｄｘ，ｔ，ｄｘ，ｔ−１）
が未定義になる。それに代えて、以前の観測が不安定と考えられるとき、ｐｗ＝０，０５を使用する。また、それらの場合においては、対応するＷコンポーネントの制約を、εを０にセットすることによって線形連立系から除去する。
【００８６】
実際上は、局所的な最小値にはまり込むことを回避する補助のために、粗−密ストラテジを伴うＥＭアルゴリズムおよび決定論的アニーリングを、動きパラメータの当てはめに適用することが有用である（たとえば、参照によりこれに援用されている１９９３年６月にニューヨークで開催されたＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＥＥＥコンピュータの視覚およびパターン認識）ＣＶＰＲ−９３の会報７６０〜７６１ページにあるＡ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）およびＭ．Ｊ．Ｂｌａｃｋ（Ｍ．Ｊ．ブラック）による「Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ  ｆｏｒ  Ｏｐｔｉｃｌ  Ｆｌｏｗ  Ｃｏｍｐｕｔａｔｉｏｎ（オプティカル・フロー演算に関する混合モデル）」を参照されたい）。ワープ・パラメータに関する初期推測は、定速モデルを基礎とし、その結果、初期推測は、単純に以前のフレームからの評価済みワープ・パラメータに等しくなる。アニーリングのために、ＳおよびＷコンポーネントに関する式（２２）のオーナーシップならびにグラディエントの演算における分散σ２ｓ，ｔおよびσ２ｗの使用に代えて、パラメータσｓおよびσｗが使用される。ＥＭアルゴリズムの各繰り返しにおいては、これらの値が以下に従って減少する。
【００８７】
【数２６】
0004824791.tif 000027
これにおいて
σｓ
および
σｗ
は、カレントのＥＭの繰り返しにおいて獲得された動き評価を前提とする、ＳコンポーネントおよびＷコンポーネントの位相差の、全近隣Ｎｔにわたる最大尤度分散評価である。分散が最小値に達すると、アニーリングがオフになり、それらは、カレントの動きパラメータに従った揺動が許される。さらに、Ｓコンポーネントの分散が、各ＥＭの繰り返しにおけるデータ観測の空間的集合に従って減少することから、オーナーシップおよび尤度グラディエントの演算における各個別の観測に使用される分散は、対応する分散σ２ｓ，ｔより低くなることができない。
【００８８】
最後に、ワープ・パラメータ
ｃｔ
が決定された後は、アピアランス・モデルＡｔ−１が
ｃｔ
によって指定されるワープを使用して、カレント時間ｔに向かって前方に対流（ワープ）される。このワープを行うために、区分的な定数の補間値（原文：ｉｎｔｅｒｐｏｌａｎｔ）が、ＷＳＬ状態変数
ｍ（ｘ，ｔ−１）
および
σｓ（ｘ，ｔ−１）
に関して使用される。この補間は、安定プロセスに関する平均
μ（ｘ，ｔ−１）
の補間への使用には粗すぎることが予測されたため、区分的な線型モデルを使用して平均の補間が行われている。この補間に関する空間位相グラディエントは、イメージ・ピラミッドのサンプリング・グリッド上の希望ロケーション
ｘ
に対する最近ピクセルにおけるフィルタ応答のグラディエントから決定される（参照によりこれに援用されている１９９１年のＣｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｉｍａｇｅ  Ｕｎｄｅｒｓｔａｎｄｉｎｇ（コンピュータの視覚およびイメージの理解）５３（２）：１９８〜２１０にあるＤ．Ｊ．Ｆｌｅｅｔ（Ｄ．Ｊ．フリート）、Ａ．Ｄ．Ｊｅｐｓｏｎ（Ａ．Ｄ．ジェプソン）およびＭ．Ｊｅｎｋｉｎ（Ｍ．ジェンキン）による「Ｐｈａｓｅ−Ｂａｓｅｄ  Ｄｉｓｐａｒｉｔｙ  Ｍｅａｓｕｒｅｍｅｎｔ（位相ベースの不同測定）」を参照されたい）。
【００８９】
上に示したようにＷＳＬアピアランス・モデルを使用する追跡システムが、発明者らによって、Ｕｎｉｘ（登録商標）（読み：ユニックス（登録商標））オペレーティング・システムで動作するＳＵＮ（読み：サン）ワークステーションを使用して実装され、ＭａｔｌａｂＰｙｒＴｏｏｌｓおよびＭａｔＬａｂソフトウエア・ツールボックスの１ないしは複数を使用してＣプログラミング言語により記述された。この実装された追跡システムのパフォーマンスを記述する各種の例について次に説明する。
【００９０】
図１７〜１９は、第１の方向に歩行中（イメージ・フレーム内を左から右；図１７）の対象がカメラの方向に振り返り（図１８）、続いて逆方向に歩いて行く（つまり右から左；図１９）シーケンスから抽出したイメージを示している。この例は、Ｓコンポーネントが、３Ｄターゲット・オブジェクト（たとえば対象の頭部）の回転によって生じる漸進的なひずみに適合し得ることを例示している。図１７〜１９において、色が薄くなっている楕円は、最初のフレーム内においてマニュアルで選択された選択領域を示している。この楕円が、振り返るプロセスの間にわたって対象の頭部に貼り付いていることは、追跡が成功していることを表す。
【００９１】
図２０〜２５に例証されているように、追跡システムの成功は、対象の振り返り全体を通じて安定したイメージ構造を識別するＳコンポーネントの能力に大きく影響される。図２０および２１は、図１７のイメージ・フレームによって生成された複数のデータ・ストリームに関する混合確率および平均値をそれぞれ示している。図２０の色の濃い領域は、密に詰まっている比較的高い混合確率値（安定した構造を意味する）の領域を示し、色の薄い領域は低い混合確率値（不安定な構造を意味する）を示す。領域１１１０および１１２０内に示されるように、高度に安定した構造は、それぞれ対象の目および耳に関連付けされた高コントラストのエリア内において識別されている。図２２および２３は、対象の振り返り（図１８に示されている）に従って生じる混合確率および平均値に対する変化を示している。ここで注意が必要であるが、目の領域１２１０および耳の領域１２２０内の混合確率がそれぞれ高く、これらの領域内においては安定したイメージ・データが維持される。最後の図２４および２５は、対象の振り返りが完了（図１８に示されている）した後の混合確率および平均値に対する変化を示している。ここでは、数が大きく縮小されているにもかかわらず、目の領域１３１０および耳の領域１３２０から充分に安定したデータが獲得され、追跡の成功が促進されていることに注意されたい。
【００９２】
図２６および２７は、合成イメージであり、サイズおよび証明条件の著しい変化に抗して追跡システムの動きおよびアピアランスの結合評価が安定していることを示している。現在の方法にとってさらに困難なことは、ターゲット領域が（時々）小さくなること、および背景の動きからの、オブジェクトの動きの分離が小さいこと（フレーム当たり１ピクセル程度）である。また、ターゲット領域の概略半分に、茂みによるオクルージョンが時々生じている。カメラは、撮影の間にわたって静止しており、シーケンスは、それぞれ概略で２５０フレームである。図２６および２７に図示されている２つのランは、最後のフレームに重畳された選択フレームに関して、ターゲット領域を強調して示している。
【００９３】
図２８〜４３は、部分的なオクルージョンに応答した追跡システムの振る舞いを例示している。図２８、３２、３６、および４０は、対象がオクルージョンの生じていない初期状態（図２８）から、看板によって部分的なオクルージョンを生じ（図３２および３６）、最終的に看板の後方に再度現れる状態（図４０）まで移動する間のシーケンスから選択したイメージ・フレームである。図２９〜４１は、混合確率
ｍｓ（ｘ，ｔ）
をプロットしており、図３０〜４２は、平均
μｓ（ｘ，ｔ）
をプロットしており、図３１〜４３は、Ｓコンポーネントに関するオーナーシップ
ｏｓ，ｔ（ｘ，ｔ）
をプロットしている。
【００９４】
図２８〜３１は、約７０フレームの後の処理を示している。ｍｓ，ｔおよびｏｓ，ｔに関する著しい応答（図２９および３１）は、アピアランス・モデルが、通常はオブジェクト境界の内側となる、安定した構造の識別に成功したことを立証している。看板によって対象の部分的なオクルージョンが生じている図３２〜３５および３６〜３９を参照すると、
ｍｓ（ｘ，ｔ）
は、データのサポートがないことからオクルージョンの生じている領域内においてなめらかに減衰しているが、平均
μｓ（ｘ，ｔ）
は、ｍｓがプロットのスレッショルドより低く落ちるまで概略で一定に保たれている。これは、アピアランス・モデルの持続性を明確に例証している。図３６〜３９は、オクルージョンから約２０フレーム後の（ここで、このモデルの半減期がｎｓ＝２０であったことを思い出されたい）対象およびアピアランス・モデルを示しており、その時点まで、Ｓコンポーネント内のより弱いデータ・ポイントが消失している。しかしながら、このモデルは、このオクルージョンの発生を通じて追跡を継続しており、対象の見えている部分上（たとえば領域１７１０；図３９）に安定したモデルを維持している。図４０〜４３においては、オクルージョンの背後から人物が現れたとき、消散された安定したモデルをアピアランス・モデルが再構築している。
【００９５】
図４４〜５２は、図１９Ａ〜４６に示されている一連のイメージ内に現れている表情の変化等の、非剛体（たとえば自然）オブジェクトのイメージ内における安定したプロパティを追跡し、識別し得るＷＳＬアピアランス・モデルの能力を例示している。前述の例の場合と同様に、図４７、４９、および５１は、Ｓコンポーネントの混合確率を示し、図４７、４９、および５１は、それぞれの平均値を示している。図４７を参照すると、最初に口の領域２０１０が比較的安定であるとして識別されていることに気付く。図４９においては、対象がほほえんだ直後に、口の領域２０１０の安定性が大きく弱められている（より色の薄いシェーディングによって示されている）。図９１に示されているように、約２０フレームの間にわたって新しい表情が維持された後は、口の領域２０１０における安定性が再確立される。眉等の顔の残りの部分も類似の振る舞いを呈する。その逆に、生え際近傍および鼻のｍｓの値は、これらのイベント全体を通じて増加を続け、それらが持続的に安定していること、および全体として頭部が正確に追跡されていることを示している。
【００９６】
以上、１ないしは複数の具体的な実施態様との関係から本発明を説明してきたが、この説明は、いかなる意味においても本発明を限定する意図ではない。すなわち、ここに説明した本発明には、付随する特許請求の範囲内に含まれる、当業者にとって明らかなすべての修正および変形を包含することが意図されている。
【図１】
0004824791.tif 000028
【図２】
0004824791.tif 000029
【図９】
0004824791.tif 000030
【図１０】
0004824791.tif 000031
【図１１】
0004824791.tif 000032
【図１２】
0004824791.tif 000033
【図１３】
0004824791.tif 000034
【図１４】
0004824791.tif 000035
【図１５】
0004824791.tif 000036
【図１６】
0004824791.tif 000037
【図３】
0004824791.tif 000038
【図４】
0004824791.tif 000039
【図５】
0004824791.tif 000040
【図６】
0004824791.tif 000041
【図７】
0004824791.tif 000042
【図８】
0004824791.tif 000043
【図１７】
0004824791.tif 000044
【図１８】
0004824791.tif 000045
【図１９】
0004824791.tif 000046
【図２０】
0004824791.tif 000047
【図２１】
0004824791.tif 000048
【図２２】
0004824791.tif 000049
【図２３】
0004824791.tif 000050
【図２４】
0004824791.tif 000051
【図２５】
0004824791.tif 000052
【図２６】
0004824791.tif 000053
【図２７】
0004824791.tif 000054
【図２８】
0004824791.tif 000055
【図２９】
0004824791.tif 000056
【図３０】
0004824791.tif 000057
【図３１】
0004824791.tif 000058
【図３２】
0004824791.tif 000059
【図３３】
0004824791.tif 000060
【図３４】
0004824791.tif 000061
【図３５】
0004824791.tif 000062
【図３６】
0004824791.tif 000063
【図３７】
0004824791.tif 000064
【図３８】
0004824791.tif 000065
【図３９】
0004824791.tif 000066
【図４０】
0004824791.tif 000067
【図４１】
0004824791.tif 000068
【図４２】
0004824791.tif 000069
【図４３】
0004824791.tif 000070
【図４４】
0004824791.tif 000071
【図４５】
0004824791.tif 000072
【図４６】
0004824791.tif 000073
【図４７】
0004824791.tif 000074
【図４８】
0004824791.tif 000075
【図４９】
0004824791.tif 000076
【図５０】
0004824791.tif 000077
【図５１】
0004824791.tif 000078
【図５２】
0004824791.tif 000079