(57)【要約】  薄板スプライン（ＴＰＳ）変換を用いてオブジェクトの非剛体運動をモデル化するシステム及び方法である。ビデオシーケンスの第一の画像が受信され、テンプレートと呼ばれる関心領域が手動又は自動的に選択される。任意に選択された固定された基準点が、テンプレート上に位置付けされる。ビデオシーケンスのターゲット画像がテンプレートに対する運動推定のために選択される。テンプレートのピクセルに対応するターゲット画像におけるピクセルのセットが決定され、このピクセルのセットがバックワープされることによって、薄板スプラインに基づく技術を用いてテンプレートがマッチングされる。テンプレートとバックワープ画像との間の誤差は、勾配降下技術を用いて決定されて反復的に最小化される。ＴＰＳパラメータは、テンプレートとターゲット画像の対応領域との間の相対運動を推定するために使用可能である。一実施形態によると、強固−柔軟アプローチが、基準点がテクスチャのない領域にある場合や初期のＴＰＳパラメータが所望の値に近接していない場合に発生する不安定性を軽減させる。正則化パラメータの値は、局所的な非剛性変形を漸進的に強調するように、大きい値から小さい値まで変化され、ワープの性質を強固なものから柔軟なものに変える。【選択図】図２
2008544404.tif 000002
【特許請求の範囲】
【請求項１】
一以上の対象オブジェクトを表す、ピクセルを含むデジタル画像のシーケンスの二枚のデジタル画像間の薄板スプライン（ＴＰＳ）ワープを推定するためのコンピュータに基づく方法であって、
デジタル画像のシーケンスの第一の画像及び第二の画像を受信するステップと、
固定されたテンプレート領域を前記第一の画像内に決定するステップと、
固定された基準点のセットを前記固定されたテンプレート領域内に位置付けするステップと、
前記固定されたテンプレート領域に対応し、前期固定された基準点の射影のセットを含む、前記第二の画像内のピクセルの第一のセットを決定するステップと、
前記射影のセットからＴＰＳパラメータベクトルを決定するステップと、
前記ＴＰＳパラメータベクトルに基づいて前記ピクセルの第一のセットをワープさせることによって、バックワープ画像を決定するステップと、
を含むことを特徴とする方法。
【請求項２】
前記固定されたテンプレート領域と前記バックワープ画像との間の差に基づいて誤差関数を決定するステップと、
勾配降下技術を用い、前記誤差関数に基づいて前記ＴＰＳパラメータベクトルを更新するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
更新された前記ＴＰＳパラメータベクトルに基づいて前記バックワープ画像を再決定するステップ
をさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記基準点は、矩形格子上に配列されている
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記固定されたテンプレート領域は、自動的に決定される
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記テンプレート領域内のピクセルが前記基準点のセットの更新の貢献する度合いを決定する正則化パラメータの第一の値を決定するステップと、
前記バックワープ画像を決定するステップに続いて、前記正則化パラメータの第二の値を決定するステップと、
前記正則化パラメータの前記第二の値に基づいて、前記バックワープ画像を改良するステップと、
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記固定されたテンプレート領域は、非剛性オブジェクトを含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記非剛性オブジェクトの相対運動は、前記ＴＰＳパラメータベクトルに基づいて決定される
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記第二のデジタル画像内の基準点のセットは、前記第一の画像内の前記固定された基準点のセットに基づいて意決定される
ことを特徴とする請求項１に記載の方法。
【請求項１０】
相対運動は、前記固定された基準点のセットと、前記第二のデジタル画像内の前記基準点のセットと、に基づいて決定される
ことを特徴とする請求項９に記載の方法。
【請求項１１】
一以上の対象オブジェクトを表す、ピクセルを含むデジタル画像のシーケンスの二枚のデジタル画像間の薄板スプライン（ＴＰＳ）ワープを自動的に推定するための装置であって、
デジタル画像のシーケンスの第一の画像及び第二の画像を受信するように構成された入力モジュールと、
固定されたテンプレート領域を前記第一の画像内に決定し、
固定された基準点のセットを前記固定されたテンプレート領域内に位置付けし、
前記固定されたテンプレート領域に対応し、前期固定された基準点の射影のセットを含む、前記第二の画像内のピクセルの第一のセットを決定し、
前記射影のセットからＴＰＳパラメータベクトルを決定し、
前記ＴＰＳパラメータベクトルに基づいて前記ピクセルの第一のセットをワープさせることによって、バックワープ画像を決定する
ように構成されたプロセッサモジュールと、
を備えることを特徴とする装置。
【請求項１２】
一以上の対象オブジェクトを表す、ピクセルを含むデジタル画像のシーケンスの二枚のデジタル画像間の薄板スプライン（ＴＰＳ）ワープを自動的に推定するため装置であって、
デジタル画像のシーケンスの第一の画像及び第二の画像を受信する手段と、
固定されたテンプレート領域を前記第一の画像内に決定する手段と、
固定された基準点のセットを前記固定されたテンプレート領域内に位置付けする手段と、
前記固定されたテンプレート領域に対応し、前期固定された基準点の射影のセットを含む、前記第二の画像内のピクセルの第一のセットを決定する手段と、
前記射影のセットからＴＰＳパラメータベクトルを決定する手段と、
前記ＴＰＳパラメータベクトルに基づいて前記ピクセルの第一のセットをワープさせることによって、バックワープ画像を決定する手段と、
を備えることを特徴とする装置。
【請求項１３】
一以上の対象オブジェクトを表す、ピクセルを含むデジタル画像のシーケンスの二枚のデジタル画像間の薄板スプライン（ＴＰＳ）ワープを推定するための方法をコンピュータプロセッサに実行させるために具現化されたコンピュータプログラム命令を有するコンピュータ読み取り可能な媒体を備えるコンピュータプログラム製品であって、
前記方法は、
デジタル画像のシーケンスの第一の画像及び第二の画像を受信するステップと、
固定されたテンプレート領域を前記第一の画像内に決定するステップと、
固定された基準点のセットを前記固定されたテンプレート領域内に位置付けするステップと、
前記固定されたテンプレート領域に対応し、前期固定された基準点の射影のセットを含む、前記第二の画像内のピクセルの第一のセットを決定するステップと、
前記射影のセットからＴＰＳパラメータベクトルを決定するステップと、
前記ＴＰＳパラメータベクトルに基づいて前記ピクセルの第一のセットをワープさせることによって、バックワープ画像を決定するステップと、
を含むことを特徴とするコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、合衆国法典（ＵＳＣ）第３５編１１９条（ｅ）の下、２００５年６月２０日に出願された米国仮特許出願第６０／６９２，８９９号「薄板スプライン変換を用いて非剛体運動をモデル化するための直接的方法」、及び、２００６年６月９日に出願された米国特許出願第１１／ｘｘｘ，ｘｘｘ号「薄板スプライン変換を用いて非剛体運動をモデル化するための直接的方法」に基づいて優先権を主張するものであり、これらの内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００２】
本出願は、２００５年７月１１日に出願された米国特許出願第１１／１７９，８８１号「適応型識別生成モデル及び視覚追跡のための用途」に関連しており、この内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００３】
本出願は、２００４年１１月１５日に出願された米国特許出願第１０／９８９，９６６号「逐次的部分空間更新を用いた適応型確率的視覚追跡」に関連しており、この内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００４】
本出願は、一般的にはコンピュータに基づく視覚認知に関し、より詳細には、非剛性オブジェクトの外観及び運動のモデル化に関する。
【背景技術】
【０００５】
コンピュータ・ビジョンのコミュニティ内における課題の一領域としては、オブジェクトが剛体運動又は非剛体運動を行う際にオブジェクトの外観を効率的にモデル化することが挙げられる。剛体運動を処理するために多くの手法が開発されており、最近は、非剛体運動に関するアルゴリズムが提案されるようになった。アフィン変換は、大域的な剛体運動をモデル化するために適用されており、明らかに成功していた。しかし、モデル化されたオブジェクトが顔表現、人体の動作等といった非剛体運動を行う際にはアフィン変換は効率的ではないことが公知である。かかる運動は、視覚用途に関する重要な情報を伝達することがよくある。このように、変形パラメータを画像シーケンスから直接的に回復するための効率的なアルゴリズムに加え、非剛体変形に関する効率的なモデルを開発することが重要である。
【０００６】
視覚的キューから非剛体運動をモデル化するための従来のアプローチは、輪郭、外観及びオプティカルフローにわたるものである。輪郭に基づく手法は、対象オブジェクトの境界近傍又は境界上のエッジ情報を主に使用し、エネルギー関数を最小化することによってオブジェクト形状をマッチングさせる変形を探索する。スネーク、能動的形状モデリング、圧縮を有する能動的輪郭、測地輪郭等といったアルゴリズムが、非剛性オブジェクトをモデリングするために適用されてきた。これらの手法は、形状表現に対するアプローチの点で異なっており、かかるアプローチとしては、エッジ及び曲率に関して定義されたエネルギー関数、輪郭上の点の統計的分布、曲率法線、及び、レベルセットによって定義されたエネルギー関数が挙げられる。続いて、勾配降下アルゴリズムが、エネルギー関数を最小化するため、すなわち、モデルを画像に適合させるために適用される。又は、因子サンプリングに基づく手法が、画像観測結果をモデルに最適にマッチングさせるために適用可能である。前記した手法によって共有される欠点としては、オブジェクトの輪郭上又は輪郭近傍の点又はエッジの初期化が成功のために有用であることが挙げられる。さらに、これらの手法はマッチングのためにオブジェクトの輪郭のみを使用するので、これらの手法は、利用可能な豊富でリッチなテクスチャ情報を無視することになってしまう。これらの手法の概念の記述は、T. Coots, et al., Active Shape Models - Their Training and Application, Computer Vision and Image Understanding, 1995; M. Isard and A. Blake, Contour Tracking by Stochastic Propagation of Conditional Density, Proceedings of the Fourth European Conference on Computer Vision, LNCS 1064, Springer Verlag, 1996; M. Kass, et al., Snakes: Active Contour Models, International Journal of Computer Vision, 1(4), 1987; and N. Paragios and R. Deriche, Geodesic Active Contours and Level Sets for the Detection and Tracking of Moving Objects, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(3), 2000 に開示されており、これらの内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００７】
外観に基づく手法は、非剛性変形を推定するために、オブジェクトのテクスチャ情報を使用する。既存のアルゴリズムは、基準点を有する変形可能なテンプレート、局所的パラメトリック画像パッチ、三角メッシュ内のテクスチャ、弾性バンチグラフマッチング（elastic bunch graph matching）、又は、形状とテクスチャとの組み合わせを使用する。画像ワープは、テンプレートと観察された画像との間のピクセル値の平方差の合計を最小化することによって取得され、ここで、アフィン変換、グラフマッチング又は八変数射影モデルが使用される。しかし、テンプレートは経時的に更新されないので、結果として、（照明、視野角等といった）撮像条件が記憶されたテンプレート間で著しく異なる場合に問題を生じてしまう。さらに、これらのアプローチに伴い、基準点又は局所的パッチは、形状マッチングより前に自動的に分類されるべきである。これらの概念の記述は、M. Black and Y. Yacoob, Tracking and Recognizing Rigid and Non-Rigid Facial Motions Using Local Parametric Models of Image Motion, Proceedings of the Fifth IEEE International Conference on Computer Vision, 1995; T. Cootes, et al., Active Appearance Models, Proceedings of the Fifth European Conference on Computer Vision, volume 2, 1998; T. Cootes, et al., Active Appearance models, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2001; F. De La Torre, et al., A Probabilistic Framework for Rigid and Non-Rigid Appearance Based Tracking and Recognition, Proceedings of the Fourth International Conference on Automatic Face and Gesture Recognition, 2000; P. L. Hallinan, et al., Two- and Three- Dimensional Patterns of the Face, A. K. Peters, 1998; A. Lanitis, et al., Automatic Interpretation and Coding of Face Images Using Flexible Models, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7), 1997, S. Sclaroff and J. Isidoro, Active Blobs, Proceedings of the Sixth IEEE International Conference on Computer Vision, 1998; and L. Wiskott, et al., Face Recognition by Elastic Bunch Graph Matching, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7), 1997 に開示されており、これらの内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００８】
Weiss は、滑らかな流動場の混合物を時空の画像データに適合させることによって、期待値最大化に基づく運動分割法を開発した。オプティックフロー行列の下位制約を研究することによって、Bregler et al. は、非剛性オブジェクト追跡に関するアルゴリズムを提案した。これらの手法は特徴点を用いて非剛体運動をモデル化するのに成功したが、オプティカルフロー推定は、一般的には、照明変化、オクルージョン及びノイズの影響を受けやすく、それによって非剛体運動追跡に関するこれらの手法の有効性を制限してしまう。これらの概念の記述は、C. Bregler, et al., Recovering Non-rigid 3D Shape from Image Streams, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 2000; M. Irani, Multi-frame Optical Flow Estimation Using Subspace Constraints, Proceedings of the Seventh IEEE International Conference on Computer Vision, 1999; and Y. Weiss, Smoothness in Layers: Motion Segmentation Using Nonparametric Mixture Estimation, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, 1997 に開示されており、これらの内容は、参照によって本明細書に一体的に組み込まれるものとする。
【０００９】
二つの画像フレーム間の点をそれらの対応に基づいてマッピングする薄板スプライン（ＴＰＳ）ワープの使用は、Bookstein によって最初に提唱された。ＴＰＳワープは、画像アラインメント及び形状マッチングにおいて使用されてきた。２Ｄの点に対応するｎのセットを考慮すると、ＴＰＳワープは、２（ｎ＋３）個のパラメータによって記述され、かかるパラメータは、６個の大域的アフィン運動パラメータと、制御点に対応する２ｎ個の係数と、を備えている。これらのパラメータは、線形系を解くことによって算出される。ＴＰＳワープの魅力的特徴の一つとして、ＴＰＳワープはアフィンワープ変換及び非アフィンワーク変換からなり、それによって大域的な剛体運動と局所的な非剛体運動とを捕獲することができるということが挙げられる。したがって、ＴＰＳは、非剛体運動を推定するために、医学撮像等における形状マッチングに適用されてきた。このことの記述は、F. Bookstein, Principal Warps: Thin-plate Splines and the Decomposition of Deformations, IEEE Transactions on Pattern Analysis and Machine Intelligence, 11(6), 1989 に開示されており、この内容は、参照によって本明細書に一体的に組み込まれるものとする。
【００１０】
Chui 及びRangarajan は、ＥＭアルゴリズムを使用することによって点の対応及び非剛性ＴＰＳワープを同時に推定する手法を提示した。このことの記述は、H. Chui and A. Rangarajan, A New Algorithm for Non-Rigid Point Matching, Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, volume 2, 2000 に開示されており、この内容は、参照によって本明細書に一体的に組み込まれるものとする。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、形状変形及びポーズ変化を行うオブジェクトの非剛体運動においてその外観を回復する従来の手法は、点のセットの疎な対応関係とＴＰＳパラメータの計算とに依存している、かかる手法の重大な欠点として、ロボット工学等といったリアルタイム用途の計算が非常に高価であることが挙げられる。このように、オブジェクトの非剛体運動をモデル化するためのより効率的な手法が必要とされている。
【課題を解決するための手段】
【００１２】
本発明は、薄板スプライン（ＴＰＳ）変形を用いてデジタル画像のシーケンス内の非剛性オブジェクトの運動をモデル化するためのシステム及び方法を備えている。シーケンスの第一のデジタル画像が受信され、テンプレートと呼ばれる関心領域が選択される。テンプレートは、手動、又はオブジェクト検出部等の自動的手段によって決定可能である。
固定された制御点のセットが、テンプレート上に位置付けされる。制御点は、非剛性変形の量を決定するために使用されるので、特定の特徴点上に位置する必要がない。したがって、制御点は、本明細書では基準点とも呼ばれる。一実施形態において、基準点は、矩形格子等の規則的なパターンに配列されている。
【００１３】
シーケンスのターゲット画像が、運動推定のために受信される。テンプレートのピクセルに対応するターゲット画像フレームにおけるピクセルのセットが決定され、このピクセルのセットがバックワープされることによって、ＴＰＳパラメータベクトルに基づいてテンプレートがマッチングされる。基準点のセットは、テンプレートの基準点の対応して、ターゲット画像内に決定される。一実施形態において、テンプレートとバックワープ画像との間の誤差は、勾配降下技術を用いて繰り返し決定されて最小化される。最後のバックワープ画像に対応するＴＰＳパラメータは、テンプレートとターゲット画像フレームの対応領域との間の相対運動を推定するために使用可能である。このプロセスは、デジタル画像のシーケンス内の関心対象のターゲット画像の全てが処理されるまで繰り返すことができる。
【００１４】
一実施形態において、強固−柔軟アプローチが、基準点がテクスチャのない領域に位置する、又は、初期のＴＰＳパラメータが所望の値に近接していない際の不安定性を軽減するために適用される。相対的に大きい値の正則化パラメータが、ワープをより剛性を大きく、すなわち強固にするために最初に適用される。このことによって、ターゲット画像内の基準点は、局所的な特徴の運動ではなく、画像特徴の大域的な運動によって実質的に決定されることになる。続いて、正則化パラメータは小さくされ、ワープをより柔軟なものにする。このことによって、ターゲット画像内の基準点は、局所的な非剛性変形による影響をより強く受けるようになり、バックワープ画像の正確さが増す。正則化パラメータの値は、バックワープ画像の所望の正確さが得られるまで繰り返し適用可能である。
【００１５】
本明細書に記述された特徴及び利点は、全てを包括するものではなく、詳細には、特許請求の範囲、明細書及び図面を参照した当業者にとって、多くの追加的な特徴及び利点が自明であろう。さらに、本明細書で使用される言語は原則として読みやすさと説明を目的として選択されたものであり、本発明の構成要件を線引き又は制限するために選択されたものではないことに留意すべきである。
【発明を実施するための最良の形態】
【００１６】
図面及び以下の記述は、説明のみを目的として本発明の好ましい実施形態に言及するものである。図面においては、可能な限り同一又は類似した符号を用いており、かかる符号は同一又は類似した機能を示す。図面は、説明のみを目的として本発明の実施形態を描写している。当業者であれば、本明細書に記述された本発明の原理を逸脱しない範囲で、本明細書で説明された構造及び方法の別の実施形態が使用可能であることを、以下の記述から容易に理解するであろう。
【００１７】
以下、本発明の好ましい実施形態について、図面を参照して記述する。同一の参照符号は、同一又は機能的に同等な要素を示す。また、図面において、各参照符号の左端の数字は、当該参照符号が最初に用いられた図面に対応している。
【００１８】
本明細書における「一実施形態」又は「実施形態」という用語は、実施形態に関連して記述された特定の特徴、構造又は性質が本発明の実施形態の少なくとも一つに含まれることを意味する。本明細書の様々な場所における「一実施形態において」というフレーズの表現は、すべてが同一の実施形態に言及しているとは限らない。
【００１９】
以下の詳細な説明のいくつかの部分は、コンピュータメモリ内におけるデータビットの演算のアルゴリズム表現及び記号表現の用語で表現されている。これらのアルゴリズム記述及び表現は、データ処理分野の当業者によって他の当業者に作品の内容を最も効率的に伝えるために用いられる手段である。ここで、そして一般的にも、アルゴリズムは、所望の結果を導き出すステップ（指令）の自己無撞着なシーケンスであると考えられている。
ステップは、物理量の物理的操作を必要とする。大抵の場合、これらの量は、記録、伝送、結合、比較及びその他の操作が可能な電気信号、磁気信号又は光学信号の形態をとるが、これらに限定されない。主に共通利用のため、時として、これらの信号を、ビット、値、要素、記号、文字、用語、数字等として扱うと便利である。さらに、時として、物理量の物理的操作を必要とするステップの任意の配列を、一般性を損失することなく、モジュール又は符号化装置として扱うと便利である。
【００２０】
しかし、これらの全ての用語及び同様の用語は、好適な物理量に対応するべきであり、これらの量に適用される単に便利なラベルであると思うべきである。特に他に述べられない限り、以下の議論から明らかなように、記述を通して、「処理」、「算出」、「計算」、「決定」、「表示」等のような用語を用いた議論は、コンピュータシステムの記憶装置、レジスタ、他の情報記憶装置、伝送装置又は表示装置内の物理（電子）量として表されるデータを操作及び伝送するコンピュータシステム又は同様の電子計算装置の動作及び処理に関して言及する。
【００２１】
本発明の任意の態様は、アルゴリズムの形態で本明細書に記述された処理ステップ及び指令を含む。本発明の処理ステップ及び指令は、ソフトウェア、ファームウェア又はハードウェアにおいて具現化可能であり、ソフトウェアにおいて具現化された場合には、様々なオペレーティングシステムによって用いられる異なるプラットフォームからダウンロードされて常駐及び動作可能であることに留意されたい。
【００２２】
また、本発明は、本明細書の動作を実行するための装置に関する。この装置は、特に所望の目的のために構成されていてもよく、コンピュータ内に記憶されたコンピュータプログラムにより選択的に作動又は再構成される汎用コンピュータを備えていてもよい。かかるコンピュータプログラムは、限定されないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ及び光磁気ディスクを含む各種ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード又は光カード、特定用途向け集積回路（ＡＳＩＣｓ）、電子的指令を記憶するのに適し、コンピュータシステムバスにより互いに結合される各種メディア等のコンピュータ読み取り可能な記憶媒体に記憶されている。さらに、本明細書において記述されるコンピュータは、単一のプロセッサを備えていてもよく、計算能力を高めるために設計された複数のプロセッサを使用するアーキテクチャであってもよい。
【００２３】
本明細書で提示されるアルゴリズム及び表示は、特定のコンピュータ又は他の装置に本質的に関連するものではない。様々な汎用システムが本明細書の教示に従うプログラムとともに用いられてもよく、より特化した装置を所望の方法ステップを実行するために構成すると便利であることもわかっている。これらの多様なシステムに必要な構造は、以下の記述から明らかになるであろう。さらに、本発明は、特定のプログラム言語に関して記述されているわけではない。多様なプログラム言語が本明細書で記述された本発明の教示を実行するために使用可能であり、以下の特定の言語に対する言及は、本発明の実施可能性及びベストモードの開示のために提供されていることは明らかである。
【００２４】
さらに、本明細書で用いられる言語は、主として読みやすさ及び説明を目的として選択されたものであり、本発明の構成要件を線引きし限定するために選択されたわけではない。したがって、本発明の開示は、添付の特許請求の範囲に記載された本発明の範囲を説明することを意図したものであり、限定することを意図したものではない。
【００２５】
＜構造の概説＞
図１は、本発明の一実施形態に係るシステム１００を示す図である。コンピュータシステム１１０は、入力モジュール１１２と、メモリ装置１１４と、ストレージ装置１１８と、プロセッサ１２２と、出力モジュール１２４と、を備えている。他の実施形態において、画像処理プロセッサ１２０は、主プロセッサ１２２、すなわち、所望の画像フォーマットで記録されたデジタル画像として状況を把握する専用装置の一部とすることができる。同様に、メモリ装置１１４は、スタンドアロンのメモリ装置（例えば、ランダムアクセスメモリ（ＲＡＭ）チップ、フラッシュメモリ等）であってもよく、プロセッサ７１６を有するオンチップメモリ（例えば、キャッシュメモリ）であってもよい。ストレージ装置１１８は、ハードディスク、ＤＶＤ−Ｒ／ＲＷ、ＣＤ−Ｒ／ＲＷ、ＲＡＭ等のような任意の大容量ストレージ装置とすることができる。同様に、コンピュータシステム１１０は、サーバ、パーソナルコンピュータ等のようなスタンドアロンのシステムであってもよい。または、コンピュータシステム１１０は、例えば、視覚システムを有するロボット等のように巨大システムの一部であってもよい。
【００２６】
この実施形態によると、入力モジュール１１２は、データベース１４０から、デジタル化された画像等の情報を受信する。また、入力モジュール１１２は、例えば、ビデオシステム１３０ａ、デジタルカメラ１３０ｂ、画像スキャナ等といった撮像装置１３０からデジタル画像を直接受信する。または、入力モジュール１１２は、他のデータベース、他の視覚システム、インターネットサーバ等といったネットワークシステムから情報を受信するインターフェースであってもよい。ネットワークインターフェースは、ＵＳＢ、ＲＳ−２３２シリアルポート、イーサネット（登録商標）カード等のような有線インターフェースであってもよく、例えば、ブルートゥース、ＷｉＦｉ、ＩＥＥＥ８０２．１１等の無線プロトコルを用いて通信するように構成された無線装置のような無線インターフェースモジュールであってもよい。画像処理プロセッサ１２０は、入力モジュール１１２を介して受信したデジタル画像を前処理して、デジタル画像をプロセッサ１２２上で動作する好適なフォーマットに変換するために使用可能である。
【００２７】
情報は、メモリ装置１１４に記憶されており、プロセッサ１２２によって処理される。
プロセッサ１２２は、本発明に係る一以上の方法、例えば、画像間の薄板スプライン（ＴＰＳ）ワープの推定を実行する命令セットを適用する。メモリ装置１１４は、例えば、かかるＴＰＳワープを推定する命令のモジュール１１６を備えていてもよい。
【００２８】
プロセッサ１２２は、出力モジュール１２４を介して外部装置１５０（例えば、ネットワーク要素すなわちサーバ１５０ａ、ディスプレイ装置１５０ｂ、データベース１５０ｃ等）に出力する。入力モジュール１１２と同様に、出力モジュール１２４は、有線又は無線とすることができる。出力モジュール１２４は、ストレージドライブインターフェース（例えば、ハードドライブ又は光学式ドライブドライバ）、ネットワークインターフェース装置（例えば、イーサネット（登録商標）インターフェースカード、無線ネットワークカード等）、ディスプレイドライバ（例えば、グラフィックスカード等）、又は、情報若しくは決定された応答を出力するための他の装置であってもよい。
【００２９】
＜非剛体運動の決定＞
ここで図２を参照すると、本発明の一実施形態に係る非剛性オブジェクトの運動を決定する方法に関するフローチャート２００が示されている。以下の説明において、「画像」という用語は、ビデオシーケンス等といった画像のシーケンスの一枚の画像のデジタル表現に言及するものと理解される。第一の画像が受信される（２０８）。この第一の画像内において、テンプレートと称される参照範囲が、自動的に又はオブジェクト検出部によって選択される（２１２）。テンプレートは、オブジェクトと、動物等といった関心対象の領域又は特徴と、ヒト又はヒトの部位と、を備えることができる。テンプレート及びその基準点は、次の処理を通じて固定されているものと仮定される。連続画像内のテンプレートの非剛体運動は、ターゲット画像と呼ばれ、このテンプレートに関連して推定可能である。テンプレートを効率的に変換するＴＰＳワープを各ターゲット画像に関して求めることによって、テンプレートをターゲット画像における対応領域ときれいに合わせることが目的である。
【００３０】
基準点（制御点ともいう）は、テンプレート内に位置付けられる（２１６）。この実施形態において、基準点は、非剛性変形を決定するために使用されており、それゆえ、基準点は、特定の特徴点上に存在する必要がない。便宜上、基準点は、図３の画像３００において説明されるように、矩形格子上等、規則的な様式に配置可能である。または、基準点は、画像３００におけるヒトの手の指の外周上等、関心のある又は有意義な変形が生じる点に対応するように選択可能である。例えば図３のターゲット画像３２０によって説明されるように、ターゲット画像が選択される（２２０）。例えば図３の画像３４０によって説明されるように、ターゲット画像に関する最適なＴＰＳワープが、バックワープ画像（back-warped image）を構築する（２２４）ことによって決定される。一実施形態において、バックワープ画像は、図３のエラー画像３６０によって説明されるように、テンプレートとバックワープ画像との間の誤差を最小化する反復アルゴリズムによって決定される。ステップ２２４の詳細を以下に提供する。バックワープ画像が一旦構築されると、ＴＰＳパラメータ及び基準点のセットが、テンプレート画像とターゲット画像の対応部位との間の相対変形を決定する（２２８）ために使用可能である。前記プロセスは、関心対象の全てのターゲット画像が処理されるまで繰り返される（２３２）。
【００３１】
＜薄板スプラインワープ＞
平面
2008544404.tif 000003
におけるｎ個の基準点とこれらに対応する関数値
2008544404.tif 000004
を考えると、薄板スプライン補間ｆ（ｘ，ｙ）は、曲げエネルギーＥｆが最小となるマッピングｆ：ＩＲ２→ＩＲを特定し、ここで、
2008544404.tif 000005
であり、点（ｘ，ｙ）で補間された値は、
2008544404.tif 000006
によって与えられる。ここで、Ｕ（ｒ）＝ｒ２ｌｏｇｒ２である。補間されたスプライン関数は、ａによってパラメータ化されたアフィン変換と、ｗによって特定された非アフィンワープと、を備えている。
【００３２】
スプラインｆ（ｘ，ｙ）は、二回積分可能な二次導関数を有しているべきであり、以下の条件が課されている。
2008544404.tif 000007
【００３３】
ＴＰＳパラメータａ，ｗは、以下の線形方程式を解くことによって算出可能である。
2008544404.tif 000008
ここで、
2008544404.tif 000009
であり、Ｐの第ｉ行は
2008544404.tif 000010
であり、Ｏ，０は、それぞれ３×３のゼロ行列及び３×１のゼロ行列であり、ｗ，ａ，ｖは、それぞれｗｉ，ａ１，ａ２，ａ３，
2008544404.tif 000011
から生成されたベクトルである。式（１）における左端の（ｎ＋３）×（ｎ＋３）行列は、Ｋとして示される。ターゲット値
2008544404.tif 000012
にノイズが存在する場合には、正則化パラメータλが、ＴＰＳ円滑化の量を制御するために導入される。したがって、式（１）における部分行列Ａは、Ａ＋λＩによって置換され、ここで、Ｉは、ｎ×ｎ恒等行列である。このことに関する記述は、Bookstein に開示されており、前記したように参照されるものとする。
【００３４】
以下の解析において、ｎ個の制御点がそれぞれテンプレートとターゲットとの間の
2008544404.tif 000013
に対応すると考えると、２Ｄの点は、点（ｘ，ｙ）を（ｘ’，ｙ’）にマッピングすることを目的として、基準点の対によって定義されたＴＰＳを用いてワープされる。その目的のために、ＴＰＳ関数は、ｘ座標及びｙ座標に関して個別に適用される。式（１）から、
2008544404.tif 000014
を
2008544404.tif 000015
上にマッピングするＴＰＳワープは、
2008544404.tif 000016
によって回復可能である。ここで、
2008544404.tif 000017
2008544404.tif 000018
は、それぞれ
2008544404.tif 000019
2008544404.tif 000020
で生成されるベクトルである。
【００３５】
点（ｘｊ，ｙｊ）の変換された座標（ｘ’ｊ，ｙ’ｊ）は、
2008544404.tif 000021
によって与えられる。ここで、
2008544404.tif 000022
であり、Ｑの第ｊ行は、（１，ｘｊ，ｙｊ）であり、結果として得られるベクトルｘ’，ｙ’の第ｊ行は、それぞれ、補間されたｘ座標ｘ’ｊ及びｙ座標ｙ’ｊである。以下、行列［Ｂ  Ｑ］は、Ｍとして示される。
【００３６】
＜効率的なＴＰＳワープ推定＞
各ターゲット画像に関する最適なＴＰＳワープを求めるため、テンプレートに対応するターゲット画像内の領域が求められる。このことは、例えば、テンプレート画像における各ピクセルをワープし、ターゲット画像における隣接したピクセルの線形補間によってターゲット画像内の対応ピクセル値を求めることによって実現可能である。
【００３７】
式（２）及び式（３）を組み合わせることによって、基準点の位置を含み、ワープされたピクセルの位置に関する以下の式が生成される。
2008544404.tif 000023
前記式におけるターゲット画像の変換された座標（ｘ’ｊ，ｙ’ｊ）は、テンプレート画像
2008544404.tif 000024
における基準点の座標の線形結合の観点で表現可能である。テンプレートにおける基準点
2008544404.tif 000025
及び点（ｘｊ，ｙｊ）のセットが一定のままの場合には、行列Ｍ，Ｋは一定のままである。テンプレート及び基準点の恒常的な仮定による推定プロセスの間、ＴＰＳカーネル行列Ｍ，Ｋは一定のままであることに留意されたい。このように、この実施形態において、ＴＰＳワープは、ターゲット画像
2008544404.tif 000026
2008544404.tif 000027
における基準点の座標のみによって決定される。Ｋ等の大きい行列の逆変換は、膨大な計算を要する。このように、一実施形態において、ＭＫ−１は、初期段階中にあらかじめ算出されており、次のＴＰＳワープは、非常に効率的に算出可能である。
【００３８】
テンプレート画像をＩ０、ターゲット画像をＩによって表現すると、非剛体運動推定は、以下の誤差関数の最小化としてモデル化される。
2008544404.tif 000028
ここで、ｐ＝（ｘ，ｙ）は、テンプレート画像における点であり、ｗ（ｐ；μ）は、パラメータμによるＴＰＳワープである。パラメータμは、前記したように、成分ａ，ｗを備えるものとみなすことができる。式（４）から、ＴＰＳパラメータベクトルμは、
2008544404.tif 000029
であり、Ｋ−１のトップの（ｎ＋３）×ｎ部分行列は、Ｋ−１（ｎ＋３）×ｎとして示される。ワープされた座標は、
2008544404.tif 000030
として表現可能である。ここで、ＭＰは、あらかじめ算出された行列Ｍにおいてｐに対応する行である。
【００３９】
オブジェクトの外観を用いてアフィンパラメータを推定する直接的方法に続いて、勾配降下技術（gradient descent technique）が式（５）を最小化するμを求めるために適用可能である。このことに関する記述は、G. Hager and P. Belhumeur, Real-time Tracking of Image Regions with Changes in Geometry and Illumination, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1996 及びJ. Shi and C. Toamsi, Good Features to Track, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 1994 に開示されており、これらは参照によって本明細書に一体的に組み込まれるものとする。テイラー級数展開を用いると、ワープされた画像Ｉ（ｗ（ｐ；μ））は、
2008544404.tif 000031
として表現可能である。ここで、「ｈ．ｏ．ｔ」は、高次の項を表し、
2008544404.tif 000032
である。
【００４０】
（∂／∂μｉ）Ｉ（・）項のそれぞれは、Ｉの勾配画像を用いて算出可能である。式（５）に式（６）を代入して高次の項を無視すると、誤差関数Ｅ（μ）は、δμの観点で書き換え可能である。
2008544404.tif 000033
誤差関数を小さくするδμは、
2008544404.tif 000034
として算出可能である。
ここで、
2008544404.tif 000035
であり、Ｉｔは、第ｊ行の値としてＩ（ｗ（ｐｊ；μ０））−Ｉ０（ｐｊ）を有するベクトルである。
【００４１】
＜強固−柔軟アプローチ＞
ＴＰＳワープは、形状マッチングにおいて大きな柔軟性を示す。しかし、基準点のいくつかがテクスチャのない領域にある場合、又は、初期のＴＰＳパラメータμが所望の値に近接していない場合には、不安定性が防がれることに注意すべきである。新たなターゲット画像が選択されると（２２０）、初期のＴＰＳパラメータは、あらかじめ選択されたターゲット画像に関して取得された値に設定される。かかる点で、ビデオにおける画像内の運動は大抵の場合小さいので、ＴＰＳパラメータは、真の値に近接しているはずである。しかし、前記アルゴリズムの単純な適用は、所望の推定を求めることができないおそれがある。例えば、テクスチャがない基準点領域は、所望の収束に関して、十分な視覚情報を備えていないおそれがある。また、任意のテクスチャを有するオブジェクトが動き、制御点のいくつかが他とともには動かない場合には、開口（aperture）の問題が生じるおそれがある。
【００４２】
一実施形態によると、強固−柔軟アプローチ（stiff-to-flexible approach）が、正則化パラメータ（regularization parameter）λの値を変化させることによってかかる状況を緩和することができる。この実施形態は、最初に大きい値のλ（λ０と呼ばれる）を使用し、基準点を更新することによって、ワープをより剛性を高め、すなわち強固にすることによる、局所的ではなく大域的な運動が実質的に生じる。続いて、一以上の小さい値のλ（λｋと呼ばれる）を用いて繰り返すことによってアルゴリズムは柔軟なものとなり、局所的な非剛性変形を次第に捕獲できるようになる。このプロセスは、所望の推定が取得されるまで繰り返される。
【００４３】
λを変化させることによる効果が、各制御点での「サポートパターン」によって図４ａ，４ｂに示されている。より詳細には、図４ａ，４ｂは、テンプレートにおける各ピクセルでの画像勾配及び時間導関数が８×８制御点格子の更新にいかに貢献するかを示す図である。各パッチは、テンプレート画像における各ピクセルが最近傍の制御点の更新に貢献する度合いを表す。図４ａに示すように、大きい値のλは、推定されたワープをより強固に、すなわち剛性を大きくするので、各制御点の近辺における領域の重要性が大きくなる。λが大きくなると、サポートパターンは拡大し、より多くのピクセルが各制御点の更新に影響を及ぼすようになる。
【００４４】
λの値が小さくなると、推定されたワープはより柔軟になり、すなわち、各制御点の近辺における領域の重要性は小さくなる。このように、各制御点はより自由に移動できるようになり、外観が相対的に離れたように変化することによって影響を及ぼさないようになる。例えば、図４ｂは、相対的に小さいλを有するＴＰＳカーネルからの貢献を示す図である。
【００４５】
ここで、図５のフロー図を参照すると、本発明の一実施形態に係るバックワープ画像（２２４を構築する方法がまとめられている。テンプレート内のピクセルに対応するターゲット画像内のピクセルが、決定される（５０４）。正則化パラメータλが、最初の値のゼロ又は正の値に初期化される（５０８）。ＴＰＳワープパラメータμが、推定値μ０に初期化され（５１２）、δμが、ゼロに初期化される。前記したように、μは、成分ａ，ｗを備えている。このように、μ０は、初期の追跡領域に対応するａの値と、（非局所的変形に対応する）ゼロであるｗの値と、に基づいて決定可能である。バックワープ画像の第一のバージョンが生成される（５１６）。続いて、テンプレートとバックワープ画像との間の誤差が、式（７）に基づいて決定される（５２０）。μの値が、収束に関してテストされる（５２４）。μが収束しなかった場合には、式（８）に係るδμによって更新され（５１２）ステップ５１６，５２０が繰り返される。μが収束してλの次の値が適用されるべき場合には、ステップ５０８〜５２４が繰り返される。λの全ての選択された値が適用されてμがλの選択ごとに収束した場合には、バックワープ画像は、終了する。μの収束は、多くの手法によって評価可能である。例えば、ある繰り返し過程から次の繰り返し過程までのテンプレートとバックワープ画像との間の誤差の差分が閾値未満になったときにμが収束したと決定可能である。または、δμが閾値未満になったときにμが収束したと決定可能である。当業者であれば、μの収束を決定する他の手法が可能であることを理解するであろう。
【００４６】
＜実験結果＞
前記した手法が、大きい形状変形及びポーズ変化を有する動画ビデオにおける非剛体運動のモデル化に適用された。ある計算が、模擬的な手の運動のビデオシーケンスに関して行われた。図６のビデオシーケンスに示すように、手は、黒い背景を背にして、指を外向き及び内向きに伸ばすように動いている。図６における大きい画像は、ビデオシーケンスからの画像を示し、左上のテンプレート画像から始まり、様々なターゲット画像に進む。図６は、テンプレートにおいて初期化されて次のターゲット画像において推定されることによって手の非剛体運動を説明するＴＰＳ基準点を示す図である。テンプレートは、ニュートラルな手の画像を用いて初期化されており、６４個の基準点からなる８×８格子が、手の非剛体運動をモデル化するために使用される。図６のターゲット画像のいくつかのサイズは、全ての基準点が見えるように変更されている。しかし、このシーケンスの実際のターゲット画像は、同じサイズである。本発明の手法は、非剛体運動をモデル化するために特定の特徴点を必要とせずに、むしろバックワープ画像とテンプレートとの間のミスマッチ誤差を最小化する。このように、基準点がどのように配置されているかに関する制限が存在しない。ここでは、均一な格子が、簡潔さのため、及び、各制御点が同様に変形することができるために選択された。
【００４７】
図６の大きい画像のそれぞれの下は、左から右へ、第一の正則化パラメータを用いたバックワープ画像、最後の正則化パラメータを用いたバックワープ画像、テンプレートと最後の正則化パラメータを用いたバックワープ画像との間の誤差、及び、テンプレートを表す。直感に反して、多くの基準点が背景に位置付けされるので、単純な背景が安定化問題を発生する。背景に位置付けされた基準点近傍の情報はほとんどないので、かかる基準点は、画像ノイズの影響を受けやすい。それにもかかわらず、強固−柔軟アプローチを適用することによって、基準点の配列は、シーケンスを通じて正確に維持される。
【００４８】
画像におけるテクスチャ情報の不足に留意されたい。この場合、特徴を抽出したり画像間の特徴点の対応関係を構築することは困難である。したがって、特徴に依存するアルゴリズムは、かかる手の運動をうまくモデル化することができない。しかし、図６に示すように、本発明の方法は、模擬的な手の運動を安定的に追跡することができる。
【００４９】
図７に示すように、他の計算が、本発明を歩行している虎に適用した。図６と同様に、図７における大きい画像のそれぞれは、ビデオシーケンスからの画像であり、テンプレートを含む画像から始まっている。また、大きい画像のそれぞれの下は、左から右へ、第一の正則化パラメータを用いたバックワープ画像、最後の正則化パラメータを用いたバックワープ画像、テンプレートと最後の正則化パラメータを用いたバックワープ画像との間の誤差、及び、テンプレートである。本発明の方法は、虎の胴体領域の非剛体運動を説明することができるという結果が示されている。図６における手の運動と同様に、図７のシーケンスにおける胴体領域は、虎の歩行に応じて非剛性的に変形する。図７に示すように、本発明の方法は、胴体領域の詳細な運動を正確にモデル化しており、バックワープ画像領域がテンプレートによくマッチングされている。
【００５０】
図８のビデオシーケンスは、顔の表情及びポーズを変化させるヒトを含んでいる。アフィン変換だけでは、詳細な運動及び形状変形はうまくモデル化できない。それにもかかわらず、本方法は、図示されるように、詳細な運動を正確に説明することができる。図８において、大きい画像のそれぞれは、ビデオシーケンスからの画像であり、テンプレート画像から始まっている。底部の行の端部に位置付けされた追加的な点が顔領域の外側に位置するので、底部の行における基準点はほとんど使用されなかったことに留意されたい。前記したように、制御点は、矩形格子又は規則的な格子上に配列される必要がなく、ターゲット画像は、矩形である必要がない。図８における大きい画像のそれぞれの下は、左から右へ、正則化の三つの値（強固から柔軟）に対応する三枚のワープ画像、それに続くテンプレートと最後のワープ画像との間の誤差を表す。本発明は顔の表情及びポーズ変化によって生じる運動をモデル化することができるという結果が示されている。大きい画像それぞれの下の二行は、オンラインの外観学習アルゴリズムを用いて学習されて顔の運動の解析が可能となった、ＴＰＳワープに関する外観基盤（appearance basis）である。このことに関する記述は、J. Lim, et al., Incremental Learning for Visual Tracking, L. Saul, et al., editors, Advances in Neural Information Processing Systems, 17 MIT Press, 2005 に開示されており、この内容は参照によって本明細書に一体的に組み込まれるものとする。
【図面の簡単な説明】
【００５１】
【図１】本発明を具現化するためのコンピュータシステムの一実施形態を説明する図である。
【図２】本発明の一実施形態に係る、ビデオ画像のシーケンス内のオブジェクトの相対運動を決定する方法を説明するフローチャートである。
【図３】本発明の一実施形態に係る、薄板スプライン変換を用いて非剛体運動をモデル化する様々な態様を説明する図である。
【図４ａ】本発明の一実施形態に係る、正則化パラメータを変化させることの効果を説明する図である。
【図４ｂ】本発明の一実施形態に係る、正則化パラメータを変化させることの効果を説明する図である。
【図５】本発明の一実施形態に係る、画像間の薄板スプラインワープを推定する方法を説明するフローチャートである。
【図６】本発明の一実施形態の一実験的適用の結果の一部を説明する図である。
【図７】本発明の一実施形態の他の実験的適用の結果の一部を説明する図である。
【図８】本発明の一実施形態の他の実験的適用の結果の一部を説明する図である。
【図１】
2008544404.tif 000036
【図２】
2008544404.tif 000037
【図３】
2008544404.tif 000038
【図４ａ】
2008544404.tif 000039
【図４ｂ】
2008544404.tif 000040
【図５】
2008544404.tif 000041
【図６】
2008544404.tif 000042
【図７】
2008544404.tif 000043
【図８】
2008544404.tif 000044
【国際調査報告】
2008544404.tif 000045