(57)【要約】      （修正有）【課題】形状プライアーを用いて、形状の変化するオブジェクトの追跡を可能にすること。【解決手段】連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法において、先行する動きから、前記オブジェクトを表す埋込み関数の連続的に変化する挙動の時間的な統計形状モデルを構築し、構築した統計的形状モデルが不所望の現象の存在するときの前記オブジェクトの連続的な動きにマッチする確率を最大化することにより、不所望の現象の存在するときの前記オブジェクトの将来の連続的な動きに対して前記モデルを適用する。【選択図】図１３
2007042111.tif 000002
【特許請求の範囲】
【請求項１】
連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法において、
先行する動きから、前記オブジェクトを表す埋込み関数の連続的に変化する挙動の時間的な統計形状モデルを構築し、
構築した統計的形状モデルが不所望の現象の存在するときの前記オブジェクトの連続的な動きにマッチする確率を最大化することにより、不所望の現象の存在するときの前記オブジェクトの将来の連続的な動きに対して前記モデルを適用する、ことを特徴とする連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法。
【請求項２】
前記オブジェクトの観察可能な連続的に変化する境界の形状の先行する観察から、埋込み関数の時間発展の動的モデルを形成し、
つづいて、前記動的モデルを前記オブジェクトの将来における境界の形状に関する確率的推論に使用する、請求項１記載の方法。
【請求項３】
連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法であって、先行する動きから、前記オブジェクトを表す埋込み関数の連続的に変化する挙動の時間的な統計形状モデルを構築するようにした方法において、
前記オブジェクトの訓練形状及び該訓練形状の各々のレベルセット関数を示す手動でセグメント化された画像シーケンスを生成し、
前記レベルセット関数の主成分表現を含んだ形状ベクトルのシーケンスを計算し、
前記形状ベクトルのシーケンスについての動的モデルを推定し、
前記形状ベクトルのシーケンスの中から前記動的モデルにマッチする確率が最大であるシーケンスを求める、ことを特徴とする連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法。
【請求項４】
前記動的モデルの推定は形状ベクトルのシーケンスについての自己回帰モデルの使用を含んでいる、請求項３記載の方法。
【請求項５】
最大確率の算出は条件付き確率の最大化を含んでいる、請求項３記載の方法。
【請求項６】
最大確率の算出は条件付き確率の負の対数に勾配降下法を行うことを含んでいる、請求項３記載の方法。
【請求項７】
前記動的モデルの推定は、レベルセット関数のシーケンスの形状ベクトルαt≡αφtを、αt＝μ＋Ａ1αt-1＋Ａ2αt-2＋…＋Ａkαt-k＋ηに従って、ｋ次のマルコフ連鎖により近似することを含んでおり、ここで、ηは共分散Σを有するゼロ平均ガウス雑音であるものとする、請求項３記載の方法。
【請求項８】
画像シーケンスからの連続する画像Ｉt：Ω→Ｒと、先行する画像Ｉ1:t-1で得られたセグメンテーションα1:t-1と変換
【数１】
2007042111.tif 000027
を所与として、
最大確率の算出は、形状ベクトルαtと変換パラメータθtとに関して、条件付き確率
【数２】
2007042111.tif 000028
を最大化し、ただし、前記条件付き確率は、先行画像において得られた形状と変換とについてのパラメータ推定値を条件とした、時点ｔにおいて特定の形状αtと特定の変換θtが観察される確率を構成する下記の確率
【数３】
2007042111.tif 000029
としてモデル化される、請求項６記載の方法。
【請求項９】
条件付き確率の負の対数への勾配降下法の実行は、形状ベクトルαtを推定するための下記の微分方程式
【数４】
2007042111.tif 000030
に導く勾配降下法を使用することを含んでおり、ここで、τは物理的時間ｔに対して人工的な発展時間を表している、請求項６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広くはオブジェクト検出に、より詳細には変形可能なオブジェクトの検出及び追跡に関するものである。
【背景技術】
【０００２】
当該技術において周知のように、あるオブジェクトを他のオブジェクトの背景から及び／又は雑音の背景から検出し、セグメント化することが望ましいという場合が頻繁に生じる。その１つの例が、例えば、ＭＲＩである。ＭＲＩでは、例えば患者の脊椎のような、人間の患者の解剖学的特徴をセグメント化することが望ましい。他のケースでは、心臓のような変形可能な動く解剖学的特徴をセグメント化することが望ましい場合もあろう。
【０００３】
１９８８年に、Ｏｓｈｅｒ及びＳｅｔｈｉａｎは非特許文献１においてレベルセット法を導入した。ついでに述べておけば、レベルセット法の先駆は非特許文献２においてＤｅｒｖｉｅｕｘ及びＴｈｏｍａｓｓｅｔにより提案されていた。非特許文献２において、レベルセット法は、適切な埋込み関数φ：Ω×［０，Ｔ］→Ｒを発展させることにより、領域Ω⊂Ｒnの中の超曲面Ｃ（ｔ）を
Ｃ（ｔ）＝｛ｘ∈Ω｜φ（ｘ，ｔ）＝０｝            （１）
として陰的に伝播させるための手段として提案されている。
【０００４】
より一般的には、埋込み関数とは、輪郭Ｃが像平面内のφ（ｘ）＝０となるすべての点ｘに一致するように、すなわち、Ｃ＝｛ｘ｜φ（ｘ）＝０｝であるように、像平面の各点ｘにおいて定義された実数値高さ関数である。
【０００５】
これは輪郭Ｃを陰的に表す１つの方法である。これによれば、輪郭Ｃが操作される（輪郭を動かす等）のではなく、関数φが操作される。φの値を動かすことは事実上、「埋め込まれた」輪郭を動かすことである。それゆえに、φ（ｘ）は「埋込み関数」と呼ばれている。埋込み関数は輪郭を埋込み関数のゼロレベル、すなわち、値０の等値線として埋め込む。
【０００６】
したがって、陽的境界点を伝播させる常微分方程式は、高次元埋込み関数の発展をモデル化する偏微分方程式で置き換えられる。この手法の主要な利点は周知である。まず第１に、陰的境界表現は特定のパラメータ表示に依存せず、伝播の最中に、制御点を再グリッド化するメカニズムを導入する必要がない。第２に、埋込み関数を発展させることによって、埋め込まれた境界のスプリッティングやマージングのようなトポロジカルな変化をエレガントにモデル化することが可能である。形状のモデル化と形状の統計的学習のコンテキストでは、後者の特質によって、変化するトポロジーをもつ形状を扱うことのできる埋込み関数の上で定義された形状不同性測度の構築が可能となる。第３に、陰的表現、すなわち、式（１）は自然に３次元以上の次元の超曲面に一般化される。輪郭とその埋込み関数との間に一意対応を課すために、φを符号付き距離関数に制限する、すなわち、ほぼいたるところで｜∇φ｜＝１としてよい。
【０００７】
レベルセット法の画像セグメンテーションへの最初の適用は、９０年代の初頭に非特許文献２、非特許文献３、非特許文献４、及び非特許文献５において開拓された。Ｍｕｍｆｏｒｄ−Ｓｈａｈ汎関数のレベルセット法による実施（非特許文献６参照）は、Ｃｈａｎ及びＶｅｓｅ（非特許文献７参照）とＴｓａｉ他（非特許文献８参照）とにより独立に提案された。
【０００８】
近年、研究者たちは、不十分な低レベル情報に対処するために、レベルセットに基づいたセグメンテーション方法に統計的な形状知識を導入することを提案している。これらのプライアーはよく知られたオブジェクトのセグメンテーションを劇的に改善することが示されているが、これまでは時間的に静的な統計的形状プライアーに（すなわち、「プライアー」は何かに）焦点が当てられてきた。しかし、変形可能なオブジェクトの追跡のコンテキストでは、（ＭＲＩでの使用例における拍動する人間又は別の使用例での歩行者のシルエットのような）ある種のシルエットが時間の経過とともに多かれ少なかれ蓋然的になりうることは明らかである。Ｌｅｖｅｎｔｏｎ他は、非特許文献９において、訓練形状の主成分分析（ＰＣＡ）により埋込み関数をモデル化すること、及び、適切な駆動項をレベルセット発展方程式に加えることを提案した。Ｔｓａｉ他は、非特許文献１０において、最初のいくつかの固有モードの部分空間の中で直に最適化を実行することを提案した。Ｒｏｕｓｓｏｎ他は、非特許文献１１と非特許文献１２において、変分法レベルでの形状情報の導入を提案した。一方、Ｃｈｅｎ他は、非特許文献１３において、埋込み関数のゼロレベルによって与えられる輪郭に対して直接的に形状制限を課した。より最近では、Ｒｉｋｌｉｎ−Ｒａｖｉｖ他が、非特許文献１４において、符号付き距離関数をさまざまな角度でスライスすることにより射影不変性を提案した。
【０００９】
上記の研究において、統計的に学習された形状情報は、雑音、クラッタ、及びオクルージョンに起因する入力画像内の情報の欠落又は紛らわしい情報に対処することができることが示されている。形状プライアーは所与の画像におけるよく知られた形状のオブジェクトをセグメント化するために開発された。しかし、形状プライアーは画像シーケンス内のオブジェクトの追跡に使用することはできるものの（非特許文献１５，１６，及び１７参照）、このタスクにあまり適していない。というのも、形状プライアーは多数の変形する形状を特徴付けるシルエットの時間的一貫性を無視しているからである。
【００１０】
３次元の変形可能なオブジェクトを経時的に追跡する際、明らかに、ある任意の時間インスタンスにおいて、すべての形状が等しく蓋然的ということはない。例えば、定期的にサンプリングされた歩行者の画像は、連続する典型的なシルエットのパターンを示す。同様に、一定の速さで回転する３Ｄ剛体の投影像は一般に統計的な形状分布からの独立したサンプルではない。むしろ、結果として生じる一連のシルエットは強い時間的相関を有するものと予想される。
【非特許文献１】S. J. Osher and J. A. Sethian, "Fronts propagation with curvature dependent speed: Algorithms based on Hamilton-Jacobi formulations", J. of Comp. Phys., 79:12-49, 1998
【非特許文献２】A. Dervieux and F. Thomasset, "A finite element method for the simulation of Raleigh- Taylor instability", Springer Lect. Notes in Math., 771:145-158, 1979
【非特許文献３】V. Caselles, R. Kimmel, and G. Sapiro, "Geodesic active contour", Proc. IEEE Intl. Conf. on Comp. Vis., pages 694-699, Boston, USA, 1995
【非特許文献４】S. Kichenassamy, A. Kumar, P. J. Oliver, A. Tannenbaum, and A. J. Yezzi, "Gradient flows and geometric active contour models", Proc. IEEE Intl. Conf. on Comp. Vis., pages 810-815, 1995
【非特許文献５】N. Paragios and R. Deriche, "Geodesic active regions and level set methods for supervised texture segmentation ", Int. J. of Computer Vision, 46(3): 223-247, 2002
【非特許文献６】D. Mumford and J. Shah, "Optimal approximations by piecewise smooth functions and associated variational problems", Comm. Pure Appl. Math., 42:557-885, 1989
【非特許文献７】T. F. Chan and L. A. Vese, "Active contours without edges", IEEE Trans. Image Processing, 10(2):266-277, 2001
【非特許文献８】A. Tsai, A. Yezzi, W. Wells, C. Tempany, D. Tucker, A. Fan, E. Grimson, and A. Willsky, "Model-based curve evolution technique for image segmentation", Comp. Vision Patt. Recog., pages 463-468, Kauai, Hawaii, 2001
【非特許文献９】Leventon et al., "Geometry and prior-based segmentation", T. Pajdla and V. Hlavac eds., European Conf. on Computer Vision, volume 3024 of LNCS, pages 50-61, Prague, 2004
【非特許文献１０】A. Tsai, A. J. Yezzi, and A. S. Willsky, "Curve evolution implementation of the Mumford-Shah functional for image segmentation, de-noising, interpolation, and magnification", IEEE Trans. on Image Processing, 10(8): 1169-1186, 2001
【非特許文献１１】M. Rousson and N. Paragios, "Shape priors for level set representations", A. Heyden et al. eds, Proc. of the Europ. Conf. on Comp. Vis., volume 2351 of LNCS, pages 78-92, Copenhagen, May 2002. Springer Berlin.
【非特許文献１２】M. Rousson, N. Paragios, and R. Deriche, "Implicit active shape models for 3d segmentation in MRI imaging", MICCAI, pages 209-216, 2004
【非特許文献１３】Y. Chen, H. Tagare, S. Thiruvenkadam, F. Huang, D. Wilson, K. S. Gopinath, R. W. Briggs, and E. Geiser, "Using shape priors in geometric active contours in a variational framework", Int. J. of Computer Vision, 50(3):315-328, 2002
【非特許文献１４】T. Riklin-Raviv, N. Kiryati, and N. Sochen, "Unlevel set: Geometry and prior-based segmentation", T. Pajdla and V. Hlavac eds., European Conf. on Computer Vision, volume 3024 of LNCS, pages 50-61, Prague, 2004. Springer
【非特許文献１５】D. Cremers, T. Kohlberger, and C. Schnoerr, "Nonlinear shape statistics in Mumford-Shah based segmentation", A. Heyden et al. eds, Europ. Conf. on Comp. Vis., volume 2351 of LNCS, pages 93-108, Copenhagen, May 2002. Springer
【非特許文献１６】M. Moelich and T. Chan, "Tracking objects with the Chan-Vese algorithm", Technical Report 03-14, Computational Applied Mathematics, UCLA, Los Angeles, 2003
【非特許文献１７】D. Cremers, S. J. Osher, and S. Soatto, "Kernel density estimation and intrinsic alignment for knowledge-driven segmentation: Teaching level sets to walk", Pattern Recognition, volume 3175 of LNCS, pages 36-44. Springer, 2004
【非特許文献１８】A. Papoulis, "Probability, Random Variables, and Stochastic Processes", McGraw-Hill, New York, 1984
【非特許文献１９】A. Blake and M. Isard, "Active Contours", Springer, London, 1998
【非特許文献２０】Goldenberg, Kimmel, Rivlin, and Rudzsky, "Pattern Recognition", 38:1033-1043, July 2005
【非特許文献２１】S. C. Zhu and A. Yuille, "Region competition: Unifying snakes, region growing", IEEE Trans. Image Processing, 10(2):266-277, 2001
【非特許文献２２】Bayes, "MDL for multiband image segmentation", IEEE PAMI, 18(9):884-900, 1996
【非特許文献２３】Y. Rathi, N. Vaswani, A. Tannenbaum, and A. Yezzi, "Particle filtering for geometric active contours and application to tracking deforming objects", IEEE Int. Conf. on Comp. Vision and Patt. Recognition, 2005
【非特許文献２４】M. Leventon, W. Grimson, and O. Faugeras, "Statistical shape influence in geodesic active contours", CVPR, volume 1, pages 316-323, Hilton Head Island, SC, 2000
【非特許文献２５】M. Rousson and D. Cremers, "Efficient kernel density estimation of shape and intensity priors for level set segmentation", MICCAI, 2005
【非特許文献２６】A. Neumaier and T. Schneider, "Estimation of parameters and eigenmodes of multivariate autoregressive models", ACMT. on Mathematical Software, 27(1);27-57, 2001
【非特許文献２７】H. Akaike, "Autoregressive model fitting for control", Ann. Inst. Statist. Math., 23:163-180, 1971
【非特許文献２８】G. Schwarz, "Estimating the dimension of a model", Ann. Statist., 6:461-464, 1978
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の課題は、形状プライアーを用いて、形状の変化するオブジェクトの検出及び追跡を可能にすることである。
【課題を解決するための手段】
【００１２】
上記課題は、連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法において、先行する動きから、前記オブジェクトを表す埋込み関数の連続的に変化する挙動の時間的な統計形状モデルを構築し、構築した統計的形状モデルが不所望の現象の存在するときの前記オブジェクトの連続的な動きにマッチする確率を最大化することにより、不所望の現象の存在するときの前記オブジェクトの将来の連続的な動きに対して前記モデルを適用することにより解決される。
【発明を実施するための最良の形態】
【００１３】
本発明によれば、連続的に挙動の変化する変形可能なオブジェクトを検出及び追跡する方法が提供される。この方法は、先行する動きから、オブジェクトを表す埋込み関数の連続的に変化する挙動の時間的な統計形状モデルを構築し、構築した統計形状モデルが不所望な現象の存在するときのオブジェクトの連続的な動きにマッチする確率を最大化させることにより、不所望な現象の存在するときのオブジェクトの将来の連続的な動きに対してこのモデルを適用する。
【００１４】
本発明の別の特徴によれば、方法は、オブジェクトの観察可能な連続的に変化する境界の形状の先行する観察から、埋込み関数の時間発展の動的モデルを形成し、続いてこの動的モデルを将来のオブジェクトの境界形状に関する確率的推論に使用する。
【００１５】
前記方法は、オブジェクトの陰的に表現された形状の時間的な統計形状モデルを構築する。特に、任意の時点における形状確率は、以前の時点において観察されたオブジェクトの形状に依存する。
【００１６】
１つの実施形態では、この動的形状モデルは、レベルセットに基づいた画像シーケンスセグメンテーションのためのベイズ流のフレームワークの中で、セグメンテーションプロセスに組み込まれている。
【００１７】
１つの実施形態では、最適化はレベルセット関数の偏微分方程式により得られる。この最適化は、現在の画像の輝度情報と以前の動的形状の両方によって駆動される境界面の発展を含んでいる。なお、以前の動的形状は先行フレームで得られたセグメンテーションに依存している。
【００１８】
統計的形状プライアーを用いた既存のセグメンテーション手法に比べて、このような方法を使用することで、結果として生じるセグメンテーションは前に学習した形状に類似しているだけでなく、サンプルのシーケンスから推定した時間的相関とも整合する。結果として、セグメンテーションプロセスは大量の雑音とオクルージョンに対処することができる。なぜならば、このセグメンテーションプロセスは形状の時間的一貫性に関する事前知識を利用しており、また（各画像を独立に扱うのではなく）経時的に入力画像からの情報を集めるからである。
【００１９】
陰的に表現された形状の動的モデルの構築とベイズ流のフレームワークに基づいた画像シーケンスセグメンテーションへの組込みは、さまざまな分野における先行研究に多くを負っている。力学系の理論と時系列分析の文献は長い伝統を有している（例えば、非特許文献１８を参照）。自己回帰モデルは、なかでもとりわけＢｌａｋｅ及びＩｓａｒｄと彼らの共同研究者によって、陽的形状表現のために開発された（非特許文献１９）。これらの研究では、成功した追跡結果は、輝度画像から抽出したエッジ情報に基づいた粒子フィルタリングによって得られた。しかし、ここで、本発明の方法はこれらとは３つの点で異なっている：
・本発明では、動的モデルは陰的に表現された形状のためのものである。結果として、動的形状モデルは変化するトポロジーをもつ形状を自動的に扱うことができる。このモデルは点対応を決定する組合せ的問題と陽的形状表現に関連した制御点の再グリッド化の問題を扱う必要がないため、自明に高次元（例えば、３Ｄ形状）に拡張することができる。
・本発明による方法は、入力画像の輝度情報を［Zhu, Yuille 1996, Chan, Vese 1999］に触発された統計的定式化に組み込む。これはエッジに基づいた追跡スキームではなく、領域に基づいた追跡スキームをもたらす。統計的定式化は、この方法が−前提されている輝度モデルに関して−入力情報を最適に利用することを暗に意味している。この統計的定式化は発見的に定義された画像エッジ特性の事前計算に依存していない。しかし、前提される確率的輝度モデルは極めて単純である（すなわち、ガウス分布である）。また、オブジェクトの輝度、色、又はテクスチャならびに背景についてのより洗練されたモデルを使用してもよい。
・ベイズ流の事後最適化は、統計的なサンプリング技法によってではなく、勾配降下法による変分法的な設定において解決される。これは本発明により使用されるアルゴリズムを最も蓋然性の高い仮説の追跡のみに限定するとは言え、サンプリング法に内在的な計算量の激しい増大なしに、高次元形状表現への拡張を容易にする。
【００２０】
最近、Ｇｏｌｄｅｎｂｅｒｇ他（非特許文献２０）は、形状の周期的な動きの挙動を分類するために、整列された形状のシーケンスにＰＣＡを適用することに成功した。この研究は陰的に表現された動く形状を特徴付けることにも焦点を当てているが、形状がレベルセット埋込み関数よって表されていないこと、自己回帰モデルを使用していないこと、ならびに、動的形状プライアーを用いたセグメンテーション又は追跡ではなく事前にセグメント化された形状のシーケンスの挙動分類に焦点を合わせているという点で本発明とは異なっている。
【００２１】
本発明の１つ又は複数の実施形態の詳細は、添付した図面と以下の説明において明らかにされる。本発明の他の特徴、対象、及び利点は以下の説明、図面、及び請求項から明らかとなる。
【実施例】
【００２２】
図１３を参照すると、変形可能なオブジェクトを検出及び追跡する方法のフローチャートが示されている。ここでは、本方法の一例を示すために、オブジェクトは歩行者としてある。しかし、理解されなければならないことは、本方法は人間の拍動する心臓のような解剖学的オブジェクトを含めた他の変形可能なオブジェクトにも適用することができるということである。
【００２３】
図１３のステップを説明する前に、レベルセットに基づいた画像シーケンスセグメンテーションのベイズ流の定式化を紹介する。はじめに、埋込み関数の空間の中での一般的な定式化を論じ、その後、計算量の点で効率的な、低次元部分空間内での定式化の説明をする。
【００２４】
２．１  一般的な定式化
以下では、形状は、ある変換群を法として、閉じた２Ｄ輪郭の集合として定義される。前記変換群の元はパラメータベクトルθを用いてＴθと表される。用途に応じて、これらの元は剛体変換でもよいし、相似変換もしくはアフィン変換、又は、より大きな変換群であってもよい。形状は式（１）による埋込み関数φにより陰的に表される。したがって、関心対象はφ（Ｔθｘ）で与えられる。ここで、変換Ｔθはグリッドに対して作用し、陰的に表現された輪郭の相応する変換を生じさせる。ここで、形状φは意図的に変換パラメータθから切り離してある。それというのも、それぞれの時間発展を表現し、学習するために、異なるモデルを使用したい場合もあるからである。
【００２５】
画像シーケンスから連続する画像Ｉt：Ω→Ｒが与えられているとする。ただし、Ｉ1:tは異なる時点における画像の集合｛Ｉ1，Ｉ1，…，Ｉt｝を表すものとする。（Ｉ1:t-1を条件としたすべての式とともに）ベイズの公式を用いれば、現在フレームＩtをセグメント化する問題は、埋込み関数φtと変換パラメータθtとに関して、条件付き確率
【数１】
2007042111.tif 000003
を最大化することで処理することができる。（無限次元空間において確率分布をモデル化することは一般に未解決問題であり、適切な測度を定義するという問題と可積分性の問題を含んでいる。したがって、関数φは規則的なグリッドの上で埋込み関数をサンプリングすることによって得られる有限次元の近似と考えてよい。）簡単のために、ベイズ流のアプローチの哲学的解釈については論じない。ここでは、ベイズ流のフレームワークは確率的な設定における画像形成プロセスを逆転させたものとして見ることができると言うにとどめておく。
【００２６】
式（２）の分母は推定される量には依存しておらず、したがって最大化の際には無視してよい。さらに、分子の第２項はチャップマン・コルモゴロフ方程式（非特許文献１８）を用いて書き換えることができる：
【数２】
2007042111.tif 000004
【００２７】
以下では、式（２）の中の表現を簡単にする目的でいくつかの仮定を設け、推定問題を計算量の点でより実行しやすくする：
・画像Ｉ1:tは相互に独立していると仮定する：
Ｐ（Ｉt｜φt，θt，Ｉ1:t-1）＝Ｐ（Ｉt｜φt，θt）              （４）
・関心形状の輝度と背景の輝度は、未知の平均μ1，μ2と分散σ1，σ2をもった２つのガウス分布からの独立したサンプルであると仮定する。その結果、上記のデータ項は次のように書ける：
【数３】
2007042111.tif 000005
ここで、ヘヴィサイド階段関数Ｈφ≡Ｈ（φ）は面積を表すために導入されており、φは正（Ｈφ＝１）又は負（Ｈφ＝０）である。関連する輝度モデルは、とりわけ、非特許文献６、非特許文献２１、非特許文献２２、及び非特許文献７において提案されている。モデルパラメータμiとσiは形状φt及び変換θtとともに同時に推定される。それらの最適値は現在の形状の内側及び外側の輝度Ｉtの平均及び分散によって与えられる：
【数４】
2007042111.tif 000006
・同様に、μ2とσ2に関しては、Ｈφtを（１−Ｈφt）で置き換える。記法を単純にするため、これらのパラメータは動的変数の一部として表示されない。
・式（３）における可能なすべての中間形状φ1:t-1及び変換θ1:t-1を考慮する計算の負担を回避するために、以前の状態の分布はそれぞれの分布の最大値付近に強いピークを有するものと仮定する：
【数５】
2007042111.tif 000007
ここで
【数６】
2007042111.tif 000008
は過去のフレームに関して得られた形状と変換の推定値であり、δ（・）はディラックのδ関数を表す。この近似の別の正当化は以下の通りである。メモリの制限のゆえに、追跡システムは取得した画像を記憶できないため、形状及び変換の過去の推定値のみを記憶するものと仮定する。すると、時点ｔにおける推論の問題は、埋込関数φtと変換パラメータθtとに関して次の条件付き分布を最大化する問題に帰着する：
【数７】
2007042111.tif 000009
これは前記の近似（式（６））を制約条件とした元の推論問題（式（２））と等価である。
・本明細書の主な貢献は、以前の形状と変換とを条件とした形状φtと変換θtとについての結合プライアー（ｊｏｉｎｔ  ｐｒｉｏｒ）をモデル化することである。この目的のために、２つの近似が検討される：
第１のステップでは、形状と変換は互いに独立している、すなわち、Ｐ（φt，θt｜φ1:t-1，θ1:t-1）＝Ｐ（φt｜φ1:t-1）Ｐ（θt｜θ1:t-1）であることが仮定され、さらに、変換パラメータに関する一様プライアー、すなわち、Ｐ（θt｜θ1:t-1）＝ｃｏｎｓｔが仮定される。これは、これらの変換パラメータに対して時間的なモデルを提案する一方で、形状には何ら特定のモデルを課さないＲａｔｈｉ他の最近の研究（非特許文献２３）に従ったものである。
【００２８】
第２のステップでは、形状と変換との間の結合を考慮して、形状と変換パラメータの結合分布Ｐ（φt，θt｜φ1:t-1，θ1:t-1）のより一般的なケースが検討される。実験の結果から、これにより優れたオクルージョン処理能力が得られることが実証されている。
【００２９】
２．２  有限次元の定式化
（７）における条件付き確率
【数８】
2007042111.tif 000010
をサンプルデータから推定する際には、埋込み関数の有限次元近似に戻らなければならない。周知のように、統計モデルはモデルとデータの次元が低い場合にはより高い信頼性をもって推定され得る。その場合、ベイズ推論は一連のサンプル形状の最大の主固有モードによって張られる部分空間内で低次元の定式化に書き直される。トレーニングシーケンスは二重に利用される。第１に、トレーニングシーケンスは推定を行うべき低次元部分空間を決定するために使用される。また第２に、この部分空間内で、陰的形状の動的モデルを学習するために、プロセスがトレーニングシーケンスを使用する。
【００３０】
｛φ1，…，φN｝を訓練形状の時間的シーケンスとする。すべての訓練形状φiは符号付き距離関数であると仮定する。しかし、固有モードの任意の線形結合は一般に符号付き距離関数を形成しない。提案された統計形状モデルは訓練形状に近い（したがって、符号付き距離関数の集合に近い）形状を優先するものの、考察される部分空間においてサンプリングされたすべての形状が符号付き距離関数に一致する訳ではない。φ0は平均形状を表し、ψ1，…，ψnはｎ個の最大固有モードを表すものとする。ただし、ｎ≪Ｎ。すると、プロセスは各訓練形状を次のように近似する：
【数９】
2007042111.tif 000011
【００３１】
このようなＰＣＡに基づいたレベルセット関数の表現は、非特許文献２４、非特許文献８、非特許文献１２、及び、非特許文献２５において、統計的形状プライアーの構築に上手く使用されている。
【００３２】
以下では、最初のｎ個の固有モードのベクトルをψ＝（ψ1，…，ψn）と表す。したがって、各サンプル形状φiはｎ次元形状ベクトルαi＝（αi1，…，αin）によって近似される。同様に、任意の形状φは
αφ＝（φ−φ0，ψ）                          （１０）
の形式の形状ベクトルによって近似することができる。図１は歩行者のシーケンスからの一連のシルエットと最初の６つの固有モードによるそれらの近似を示している。この近似は確かに形状の詳細のいくつかを欠いた粗い近似であるが、これで十分であることが分かっている。より詳細には、図１の上半分の６つのシルエットからなるシーケンスは図１３のステップ１００に従った手動のトレーシングによるものであり、図１の下半分の６つのシルエットは図１３のステップ１０２におけるのと同じＰＣＡ近似である。したがって、図１は一連の訓練シルエットの低次元近似を示している。図１上部のシルエットは図１３のステップ１００に従って手動でセグメント化されたものであり、図１下部のシルエットはそれらの埋込み関数の最初の６つの主成分（ＰＣＡ）により近似されたものである（式（８）を参照せよ）。
【００３３】
前節で示した導出からの類推によって、この部分空間内での画像シーケンスセグメンテーションの目標を次のように述べることができる。画像シーケンスからの連続する画像Ｉt：Ω→Ｒと、先行画像Ｉ1:t-1で得られたセグメンテーションα1:t-1及び
【数１０】
2007042111.tif 000012
とが与えられると、プロセスは形状パラメータαtと変換パラメータθtとに関して条件付き確率
【数１１】
2007042111.tif 000013
を最大化する。条件付き確率は、先行画像で得られた形状及び変換のパラメータ推定値を条件として時点ｔにおける特定の形状αtと特定の変換θtが観察される確率を構成する
【数１２】
2007042111.tif 000014
としてモデル化される。
【００３４】
３．  動的統計形状モデル
時間的に相関した時系列をモデル化するために、数多の理論が開発されてきた。変形可能な形状をモデル化するために力学系を応用することは、とりわけ、非特許文献１９において提案されている。この文献では、プロセスは陰的に表現された形状に関する動的モデルを学習する。議論を簡単にするため、まずは形状の変形の動的モデルに焦点を絞ろう。言い換えれば、変換パラメータ上の一様分布を仮定し、単に条件付き分布Ｐ（αt｜α1:t-1）をモデル化する。
【００３５】
３．１  変形の動的モデル
再び図１３のステップ１００を参照すると、例えば連続的に変化する振動挙動を示す変形可能なオブジェクトの手動でセグメント化された画像シーケンスが、従来のいずれかの方法で取得される。より詳細には、セクション２．２で述べたように、｛φ1，…，φN｝を訓練形状の時間的シーケンスとする。歩行者を例とした場合の結果は図１に示されている。図１には、白を背景とした黒い訓練形状と各形状のレベルセット関数が示されている。セクション２．２で述べたように、φ0は平均形状を表し、ψ1，…，ψnはｎ個の最大固有モードを表すものとする。ただし、ｎ≪Ｎ。
【００３６】
ステップ１０２において、プロセスはレベルセット関数のＰＣＡ表現を用いて主成分を計算する。このレベルセット関数のＰＣＡ表現は式（９）及び（１０）の場合と同様に形状ベクトルと呼ばれる。シルエットのシーケンスのＰＣＡ表現は、図１の下側の６つの訓練形状に、ここでは、６つのシルエットに示されている。６つのシルエットのうちで上側右にある最後のシルエットの右足は、ＰＣＡでの近似のおかげで、下側の６つのシルエットのうちの最後のシルエットの右足よりも鮮明な足指を有していることに注意されたい。
【００３７】
このように、プロセスは上記の式（８）及び（９）のようにＰＣＡから各訓練形状を近似する。
【００３８】
ステップ１０４では、プロセスは形状ベクトルのシーケンスに関する動的（自己回帰）モデルを推定する。これは後述の式（１３）に示されている。図３は、入力シーケンスの形状ベクトル（左）と、モデルを用いて合成したシーケンスの形状ベクトル（右）を示している。より詳細には、図３はモデル比較である。元の形状シーケンス（上）と統計的に学習された２次マルコフ連鎖によって合成されたシーケンス（下）は、類似した振動挙動と振幅変調を示している。これらのプロットは１次、２次、及び６次の形状固有モードの時間発展を示している。
【００３９】
図５は、雑音が増加する画像シーケンスからのサンプルを示している。図５は、雑音の量が増大するシーケンスからの画像、ここでは、２５％、５０％、及び９０％の雑音を伴ったシーケンスからのサンプル入力フレームである。ここで、９０％の雑音とは、すべてのピクセルのうちの９０％が一様分布からサンプリングしたランダムな輝度で置き換えられていることを意味している。
【００４０】
より詳細には、プロセスは、先行する動きから、オブジェクトを表す埋込み関数の振動挙動の時間的な統計形状モデルを構築する。なお、ここではオブジェクトは歩行者である。
【００４１】
さらにより詳細には、プロセスはｋ次のマルコフ連鎖によってレベルセット関数の形状ベクトルαt≡αφtを近似する（非特許文献２６）ことにより、すなわち、
αt＝μ＋Ａ1αt-1＋Ａ2αt-2＋…＋Ａkαt-k＋η                （１３）
として、変形する形状の時間的な動特性を学習する。ここで、ηは共分散Σのゼロ平均ガウス雑音である。したがって、先行する時間ステップにおいて観察された形状を条件とした形状の確率は、相応するｋ次の自己回帰モデルによって与えられる：
【数１３】
2007042111.tif 000015
【００４２】
文献では、平均μ∈Ｒnと遷移及び雑音行列Ａ1，…，Ａk，Σ∈Ｒn×nによって与えられるモデルパラメータを推定するために、さまざまな方法が提案されている。ここでは、プロセスは非特許文献２６で提案されている段階的最小２乗アルゴリズムを使用する。モデルの当てはまりの正確度を定量化するために、異なるテストが考案されている。モデルの正確度に関する２つの確立された基準は、赤池の最終予測誤差（非特許文献２７参照）とシュワルツのベイズ基準（非特許文献２８参照）である。８次までの動的モデルを使用して、シュワルツのベイズ基準から、このプロセスを使用した訓練シーケンスは２次の自己回帰モデルによって最も良く近似されることが分かった。
【００４３】
１５１個の連続するシルエットから成る訓練シーケンスから、２次の自己回帰モデルのパラメータが推定される。続いて、このモデルはモデル化された各固有モードに対応した残差の自己相関関数をプロットすることにより評価される（図２参照）。これらの自己相関関数は残差が実質的に無相関であることを示している。したがって、図２に示されている自己相関関数を用いて、最初の４つの形状モードに対応する残差の自己相関関数をプロットすることにより、図１３のステップ１０４において提供された自己回帰モデルの妥当性を検査することができる。明らかに、これらの残差は統計的に相関している。
【００４４】
さらに、推定されたモデルパラメータにより、プロセスは式（１３）に従って歩行シーケンスを合成することが可能になる。初期条件への依存を取り除くため、最初の数百のサンプルは捨てた。図３には、入力シーケンス（左）と合成されたシーケンス（右）とにおける第１、第２、第６固有モードの時間発展が示されている。明らかに、２次のモデルは振動挙動の主要な要素のいくつかを捕らえている。元の形状シーケンス（左）とステップ１０４（図１３）に従って統計的に学習された２次のマルコフ連鎖によって合成されたシーケンス（右）は、類似した振動挙動と振幅変調を示している。これらのプロットは１次、２次、及び６次の形状固有モードの時間発展を示している。
【００４５】
合成されたシーケンスは歩行者の特徴的な動きを捕らえているものの、図４は個々の合成されたシルエットがすべての具体例において妥当な形状を模している訳ではないことを示している。このような限界は表示される入力シーケンスを強く圧縮するモデルからは予想され得ることであると思われる。２５６×２５６グリッド上に画定される１５１個の形状の代わりに、このモデルは単に平均形状φ0と、６つの固有モードψと、６次元平均と３つの６×６行列とによって与えられる自己回帰モデルパラメータを維持するだけである。このため、元のサイズの４．６％までの圧縮によれば、９８９５９３６個のパラメータが４５８８５１個のパラメータとなる。自己回帰モデルを使用した動的形状モデルの合成は以前に研究されているが（非特許文献１９）、形状の合成は陰的表現に基づいたものであることを述べておきたい。具体的には、本プロセスにより人工的に生成された歩行シーケンスが図４に示されている。サンプルシルエットは埋込み関数（式（１３）参照）に関する統計的に学習された２次マルコフモデルによって生成される。マルコフモデルは歩行者の典型的な振動挙動の多くを捕らえるものの、生成されたすべてのサンプルが許容される形状に一致する訳ではない（右下の最後の２つのシルエットを参照せよ）。しかし、以下のセクション５で説明するように、このモデルはセグメンテーションプロセスを適切に拘束するのに十分な正確度を有している。
【００４６】
図１４を参照すると、統計的に合成された埋込み関数のシーケンスが示されており、また、それぞれの曲面のゼロレベル線によって与えられる誘導輪郭も示されている。特に、この陰的表現は変化するトポロジーをもつ形状の合成を可能にする。例えば、図１４の左下のシルエットは２つの輪郭から成っている。シーケンスは２次の自己回帰モデルからサンプリングによって得られた統計的に生成された埋込み曲面であり、輪郭は合成された曲面のゼロレベル線によって与えられる。陰的定式化により、埋め込まれた輪郭はトポロジーを変化させることが可能である（左下の画像）。
【００４７】
３．２  変形と変換の結合動特性
前セクションでは、陰的に表現された形状の時間的動特性を捕らえるために自己回帰モデルが導入された。この目的のために、動的モデルの学習を行う前に、並進や回転のような変換に対応する自由度が取り払われる。結果として、学習は変形モードを取り込むだけで、ポーズや位置についてのすべての情報は無視する。例えば、図４の合成された形状は「その場で」歩行する歩行者を示している。
【００４８】
一般に、変形パラメータαtと変換パラメータθtは密に結合しているものと予想することができる。形状と変換の結合動特性を捕らえるモデルは、変換を無視するモデルよりも明らかに強力である。しかし、プロセスは並進、回転、及び他の変換に対して不変の動的形状モデルを学習する。この目的のために、変換は群を成すという事実を利用することができる。このことは、時点ｔにおける変換θtは増分変換Δθt：Ｔθtｘ＝ＴΔθtＴθt-1ｘを適用することにより先行する変換θt-1から得ることができることを意味している。絶対変換のモデルを学習する代わりに、プロセスは単純に更新変換Δθt（例えば、並進及び回転における変化）のモデルを学習する。構成上、このようなモデルはモデル化される形状の大域的なポーズ又は位置に関して不変である。
【００４９】
変換と変形を同時にモデル化するために、プロセスは単純に学習シーケンス内の各訓練形状について変形パラメータαiと変換の変化Δθiを取得し、式（１４）及び（１５）で与えられた自己回帰モデルを複合ベクトル
【数１４】
2007042111.tif 000016
に適合させる。
【００５０】
歩行者のケースでは−静止しているケースと同様に−２次の自己回帰モデルが最も良い当てはまりを示すことが分かった。このモデルからの合成によれば、図４に示されているシルエットと類似しているが、（ユーザにより指定された）任意の初期位置から空間内を前方に移動する歩行者のシルエットを生成することができる。
【００５１】
４．  変分法的セグメンテーションにおける動的形状プライアー
画像シーケンスからの画像Ｉtと、形状パラメータα1:t-1と変換パラメータθ1:t-1とをもつ以前にセグメント化された一連の形状とが与えられているとすると、追跡の目標は形状αtと変換θtとに関して条件付き確率式（１１）を最大化することである。これは式（１１）の負の対数を最小化することによって実行することができる。この負の対数は−定数の違いを除いて−以下の形式のエネルギーによって与えられる：
Ｅ（αt，θt）＝Ｅdata（αt，θt）＋νＥshape（αt，θt）        （１７）
付加的な重みνはプライアーとデータ項との間の相対的な重み付けのために導入されている。特に、輝度情報が仮定（オブジェクトと背景のガウス輝度分布）と矛盾する場合には、より大きな重みνが望ましい。データ項は
【数１５】
2007042111.tif 000017
で与えられる。ここで、記法を簡単にするため、変形パラメータαtと変換パラメータθtを用いて生成された形状の埋込み関数を表す下記の表現を導入する：
φαt,θt≡φ0（Ｔθtｘ）＋αtTψ（Ｔθtｘ）                  （１９）
自己回帰モデル式（１４）を用いれば、形状エネルギーは
【数１６】
2007042111.tif 000018
で与えられる。ただし、νは式（１５）で定義されたものである。セクション１で導入された変形と変換の結合モデルを取り入れるためには、νに関する上記表現を相対的変換Δθによって拡張する必要がある：
【数１７】
2007042111.tif 000019
ここで、μとＡiは変形と変換の結合空間に関して統計的に学習された平均と遷移行列を表しており、ｋはモデルの次数である。実験では、ｋ＝２のモデル次数を選択した。
【００５２】
２次の自己回帰モデルが時間離散の減衰調和振動子の確率論的バージョンとして解釈できることは容易に示すことができる。それゆえ、２次の自己回帰モデルは実質的に形状の振動性変形をモデル化するのに非常に適している。しかし、より高次の自己回帰モデルも定性的に類似の結果を提供することが分かった。
【００５３】
学習した動的モデルと整合するテストシーケンスの最適なセグメンテーションの計算は、式（１１）の条件付き確率を最大化する形状ベクトルを求めることにより行われる。最大化はこの確率の負の対数に勾配降下法を行うことによって実施される。これが式（２２）に示されている。直観的には、このプロセスは形状が現在画像と動的モデルの予測の両方と最も良くマッチするように形状を変形させる。各テスト画像の最適な形状は図９，１０，１１及び１３に示されている。
【００５４】
動的形状プライアーを用いた画像Ｉ1:tのシーケンス全体にわたる関心対象の追跡はエネルギー式（１７）を最小化することによって行うことができる。形状ベクトルαtを推定するための以下の微分方程式に導く勾配降下法を使用した：
【数１８】
2007042111.tif 000020
ここで、τは物理的時間ｔに対して人工的な発展時間を表している。データ項は
【数１９】
2007042111.tif 000021
によって与えられ、形状項は
【数２０】
2007042111.tif 000022
によって与えられる。ここで、νは式（２１）において与えられたものであり、１nはνの形状成分への射影をモデル化したｎ次元単位行列であり、ｎは形状モードの個数である。これらの２つの項は次のようにして形状の発展に影響を与える。第１の項は２つのガウス輝度モデルに従って画像輝度を分離するために形状を引っ張る。形状ベクトルαtの変化は固有モードψを介して形状に影響を与えるので、データ項はこれらの固有モードへの射影である。第２の項は、形状ベクトルαtを、以前の時間フレームで得られた形状ベクトルと変換パラメータとに基づいた動的モデルによって予測される最も蓋然性の高い形状へと緩める。
【００５５】
同様に、変換パラメータθtに関する最小化は、下記の式で与えられるそれぞれの勾配降下方程式を発展させることにより得られる：
【数２１】
2007042111.tif 000023
ここで、データ項は
【数２２】
2007042111.tif 000024
によって与えられ、プライアーからの駆動項は
【数２３】
2007042111.tif 000025
によって与えられる。ここで、上記のように、形状プライアーは動的モデルにより予測される最も蓋然性の高い変換への駆動力を与える。式（２６）におけるブロック対角行列は単純に、式（２１）で定義された結合ベクトルのｓ個の変換成分への射影をモデル化したものである。
【００５６】
５．  実験結果
５．１  動的な統計的形状プライアーｖｓ静的な統計的形状プライアー
以下では、上で導入した動的な統計的形状プライアーをレベルセットに基づいた追跡の目的で導入する。
【００５７】
形状プライアーを構成するために、本プロセスに従って、また図１３のステップ１１０において言及されているように、この例では、歩行者のシーケンスを手動でセグメント化し、各形状をセンタリング及び二進化する。つづいて、プロセスは各形状に関連した符号付き距離関数の集合｛φi｝i=1..Nを求め、図１３のステップ１０２において６つの主固有モードを計算する。各訓練形状をこれらの固有モードへ射影することにより、プロセスはステップ１０４において形状ベクトルのシーケンス｛αi∈Ｒ6｝i=1..Nを得る。プロセスは、平均ベクトルμ、遷移行列Ａ1，Ａ2∈Ｒ6x6、及び式（１４）で示された雑音共分散Σ∈∈Ｒ6x6を計算することにより、２次の多変量自己回帰モデルをこのシーケンスに当てはめる。つづいて、プロセスは、動的な統計的形状プライアーを用いた場合と用いない場合とで、６次元部分空間内でのセグメンテーションによって得られた雑音を伴ったシーケンスのセグメンテーションを比較する。
【００５８】
動的プライアーを用いないセグメンテーションは、非特許文献８において提案されているセグメンテーションのように、最初のいくつかの固有モードの部分空間内で静的な一様プライアーを用いて得られるセグメンテーションに相当する。静的形状プライアーには代替的モデル（例えば、非特許文献２４のガウスモデル、又は、非特許文献１７及び非特許文献２５のノンパラメトリック統計モデル）が存在するが、実験では、これらの代替モデルを画像シーケンスセグメンテーション（図７参照）に適用した場合、これらのすべてが定性的に同様の限界を示すことが判明した。これらの代替モデルは形状の時間的な相関を利用していないため、局所極小値に捕らわれてしまう傾向がある。
【００５９】
つづいて、ステップ１０８において、プロセスは構築した統計形状モデルが不所望な現象の存在するときのオブジェクトの連続的な動きにマッチする確率を最大化させることにより、不所望な現象の存在するときのオブジェクトの将来の連続的な動きに対してこのモデルを適用する。
【００６０】
図５を参照すると、２５％、５０％、及び９０％の雑音を伴ったシーケンスからのサンプル入力フレームが示されている（ここで、２５％の雑音とは、すべてのピクセルのうちの２５％が一様分布からサンプリングしたランダムな輝度で置き換えられていることを意味するということを述べておきたい。また、我々のアルゴリズムの確率的定式化はガウス雑音の仮定に基づいているが、一様雑音を容易に扱うこともできることに注意されたい。）図６は、２５％の雑音を伴ったシーケンス上で一様な静的形状プライアーを用いて得られた一連のセグメンテーションを示している。レベルセットの発展を低次元部分空間に制限することにより、ある一定の量の雑音に対処することが可能になる。動的プライアーを用いないこのセグメンテーションは雑音が控えめである場合には上手く行くが、図７の示すところによれば、動的プライアーを用いないセグメンテーションは雑音が増大すると最終的には失敗してしまう。図７は、５０％の雑音の場合について、静的形状プライアーを用いたセグメンテーションを示したものである。単に静的（一様）形状プライアーを用いることによっては、セグメンテーションスキームはより多量の雑音に対処することができない。セグメンテーションは最初の数フレーム後には局所極小値に捕らわれてしまう。静的形状プライアーは時間的な予測を提供しないため、先行画像で得られた形状推定値から離れられなくなる傾向がある。具体的には、図６に、２５％の雑音を伴った歩行シーケンス上での静的形状プライアーを用いたセグメンテーションが示されている。
【００６１】
図８には、２次の自己回帰モデルから導出された動的統計形状プライアーを用いて得られた図７のシーケンスと同じシーケンスのセグメンテーションが示されている。図８は、５０％の雑音の場合について、動的形状プライアーを用いたセグメンテーションを示している。図７に示されている静的プライアーを用いたセグメンテーションとは対照的に、（２次の自己回帰モデルを用いた）動的プライアーは、欠落した又は紛らわしい低レベル情報に対処するために、形状の発展の経時的な動特性に関して統計的に学習した情報を賦課する。
【００６２】
図９及び１０は、９０％の雑音の場合でも、統計的形状プライアーは良好なセグメンテーションをもたらすことを示している。明らかに、動的形状の時間的な統計量を利用することにより、セグメンテーションプロセスを欠落した情報や紛らわしい情報に対して非常にロバストにすることが可能である。具体的には、図８に、２次の自己回帰モデルに基づいた動的統計形状プライアーを用いたセグメンテーションが示されている。図７のセグメンテーションとは対照的に、プライアーは、紛らわしい低レベル情報に対処するために、形状の発展の経時的な動特性に関して統計的に学習した情報を賦課する。図９には、より多量の雑音に対処するために動的統計形状プライアーを用いた追跡が示されている。入力画像は９０％の雑音で汚染されていた。しかし、統計的に学習された動的形状モデルは低レベル情報の明確化を可能にする。これらの実験は、この追跡スキームが実際に人間の観察者の能力に匹敵しうるものであることを確証している。図９は、７５％の雑音の場合について、動的形状プライアーを用いた追跡を示している。統計的に学習された動的形状モデルは低レベル情報の明確化を可能にする。図１０は、９０％の雑音の場合について、動的形状プライアーを用いた追跡を示している。図１１の左側に示されている基礎的事実に関する定量的評価の示すところによれば、我々の追跡スキームは実際に人間の観察者の能力に匹敵しうるものであり、人間の観察者が失敗する場合でも信頼のできるセグメンテーションを提供する。動的形状プライアーを用いたセグメンテーションプロセスは時間の経過とともに画像情報（及びメモリ）を蓄積するため、最初の数フレームに関するセグメンテーション結果は不正確である。
【００６３】
５．２  雑音耐性の定量的評価
セグメンテーションの正確度を定量化するために、元のテストシーケンスでの手動セグメンテーションを用いた。つづいて、下記の誤差測度を定義した：
【数２４】
2007042111.tif 000026
ここで、Ｈは再びヘヴィサイド階段関数であり、φ0は真のセグメンテーションであり、φは推定されたセグメンテーションである。この誤差は集合の対称差の相対的面積、すなわち、２つのセグメンテーションの合併からその共通部分を引いたものを各セグメンテーションの面積で割ったものに相当する。セグメンテーション正確度の測度はたくさん存在しているが、この測度に決めたのは、明確に規定された範囲０≦ε≦１の中に値を有するからである。ここで、ε＝０は完璧なセグメンテーションに相当する。
【００６４】
図１１の左側には、テストシーケンス上で平均されたセグメンテーション誤差が雑音レベルの関数として示されている。セグメンテーションプロセスを初期位置の推定値で初期化して、変形及び変換の動的形状プライアー（セクション３．３）を使用した。プロットはいくつかのことを示している：まず第１に、雑音レベルが６０％未満の場合には、誤差はかなり一定している。これは、すべての実験においてプライアーの重みνが固定値に設定されているという事実に起因している（理想的には、雑音がより少なければ、より小さな重みを使用する）。したがって、推定された動的モデルと真のシーケンスとの間に約５％の残差が生じ、自己回帰モデルによる主成分近似によって持ち込まれた誤差が蓄積される。第２に、予想されるように、誤差はより大きな値の雑音については増大する。（特に９０％の雑音における）単調性からの逸脱は恐らく統計変動の影響である。初期ポーズ推定値を歩行の並進成分に関する事前知識と併用すれば、１００％の雑音の場合でさえ、誤差はランダムなセグメンテーションの誤差よりも小さい。図１１は、セグメンテーション正確度の定量的な評価を示したものである。雑音の量が増大する場合（左）と歩行速度が変化する場合（右）とについて、相対的なセグメンテーション誤差がプロットされている。１００％の雑音の場合でさえ、セグメンテーション誤差は１よりも十分小さいままである。これは、プロセスが初期位置の良好な推定値と並進運動のモデルを統合するからである。右側のプロットは、学習した速度ｖ0よりも遅い歩行速度νについては、（７０％の雑音を伴った）セグメンテーション誤差は小さいままであるが、より速い歩行シーケンスの場合には、正確度がゆっくりと下がることを示している。しかし、学習した歩行速度の５倍の速度を有するシーケンスの場合でも、動的プライアーを用いたセグメンテーションは静的プライアーを用いたセグメンテーションよりも性能が優れている。
【００６５】
５．３  周波数とフレームレートとにおける変化に対する耐性
動的形状プライアーは、最近の数フレームで得られたセグメンテーションを所与として、あるシルエットがどの程度の蓋然性を有しているのかに関して事前知識を導入する。プロセスが一定の歩行速度ν0のシーケンスから歩行者の動的モデルを学習したと仮定しよう。明らかに、推定されたモデルはこの特定の歩行速度に合わせられるだろう。しかし、このようなモデルを実際に使用する際、テストシーケンス中の人物が正確に同じ速度で歩くという保証はない。同様に、たとえ歩行速度が同じであったとしても、カメラのフレームレートが同じであると確信することができないかもしれない。実用的であるためには、提案されたプライアーは歩行周波数とフレームレートの変化に対してロバストでなければならない。
【００６６】
この耐性を確認するため、（歩調を速めるために）ある一定のフレームを捨てるか又はフレームを複製する（それによって、歩調を緩める）ことにより、歩行速度の異なるテストシーケンスを人工的に生成した。図１１の右側には、式（２７）で定義されたセグメンテーション誤差εが、７０％の雑音と訓練シーケンスの１／５の速度から元の速度の５倍まで変化する速度をもったテストシーケンス上で平均されて示されている。正確度はシーケンスの速度を下げることによっては影響されないものの、いったん速度が上昇すると正確度は次第に低下する。しかし、セグメンテーションプロセスはこのような速度の劇的変化に対して非常にロバストである。この耐性の根拠は二重である：第１に、セグメンテーションプロセスが入来する入力データにつねに適合するように、ベイズ流の定式化によってモデル予想と入力データを結び付けることが可能である。第２に、自己回帰モデルは、現在フレームの形状確率を求めるために、推定された最近のいくつかのシルエットにしか依存しない。自己回帰モデルは長期の時間的一貫性を措定しないので、歩行速度の変化するシーケンスを扱うことができる。実験の示すところによれば、元の歩行速度の５倍の速度を有するシーケンスの場合でも、動的モデルを用いたセグメンテーションは静的モデルを用いたセグメンテーションよりも性能が優れている。これは驚くべきことではない。静的モデルとは対照的に、動的モデルは形状の時間発展の予測を提供するからである。この予測は、非常に異なる歩行速度に対しては準最適になるかもしれないが、そでもセグメンテーションプロセスを向上させることができる。
【００６７】
５．４  変形と変換の結合動特性
セクション３．２では、変形パラメータと変換パラメータの同時発展を捕らえるために動的モデルが導入された。今までに示されたタスクでは、純粋な変形モデルと、変形と変換の結合モデルとで、同様のセグメンテーション結果がもたらされることが判明した。結合モデルが所与のある時間インスタンスにおいて最も蓋然性の高い変換パラメータに関するプライアーを提供するのに対して、純粋な変形モデルでは、これらのパラメータをデータだけから推定しなければならない。
【００６８】
最後の例として、オクルージョンが顕著なために変換パラメータを信頼できる形では推定することができない場合に、セグメンテーションタスクを発生させた。テストシーケンスは、８０％の雑音で汚染された、右から左へ歩く人物と左から右へ移動するオクルージョンバーを示している。図１２の上列には、変形と変換の両方を捕らえる動的形状プライアーを用いて得られたセグメンテーションが示されている。歩行シルエットが完全にオクルージョンを被っても、モデルは左へ歩いていくシルエットを生成することができ、再び人の姿が現れるとすぐに画像データに適応する。
【００６９】
他方で、図１２の下列には、形状の変形を取り入れるだけの動的モデルを用いた同じフレームのセグメンテーションが示されている。並進に関する何らの知識も仮定されていないので、セグメンテーションプロセスは変換パラメータを推定するために完全に画像情報に頼らなければならない。結果として、セグメンテーションプロセスは顕著なオクルージョンによって迷わされる。人物の姿がバーの背後から再び現れると、プロセスは左へ歩いていく人と右へ移動するバーとによってもたらされる並進に関する矛盾した情報を統合してしまう。関心のある人物の姿がいったん失われると、プライアーは単純に「その場で」歩行する人のシルエットの「幻影を生じさせる」（右下の最後の画像を参照せよ）。「失敗した」実験ではあるが、この結果は動的モデルと画像情報が画像シーケンスセグメンテーションのベイズ流の定式化にどのようにして融合されるのかを最もよく説明している。図１２はオクルージョンが存在している場合の追跡を示している。入力シーケンスは右へ移動するバーによるオクルージョンを被った左へ歩いていく人を示している。上列は変形と変換の両方を取り入れた動的プライアーを用いて生成されたものであるのに対して、下列は単に変形成分を捕らえるだけの動的プライアーを使用している。後者は並進運動に関する予測を提供しないため、並進の推定は純粋に画像データに基づいている。この推定はオクルージョンによって惑わされ、人物が再びバーの背後から現れても元の状態に戻ることはできない。
【００７０】
６．  結論
上で説明したプロセスによれば、動的統計形状モデルは陰的に表現された形状に対して使用される。陰的形状向けの既存の形状モデルとは対照的に、これらのモデルは、歩行者の連続するシルエットのような変形する形状を特徴付ける時間的相関を捕らえる。このような動的形状モデルは、ある時間インスタンスにおいて特定の形状を観察する確率は先行する時間インスタンスにおいて観察された形状に依存することがあるという事実に負っている。
【００７１】
統計形状モデルの構築のために、プロセスはマルコフ連鎖と自己回帰モデルの概念を陰的に表現された形状の領域にまで拡張する。それゆえ、結果として得られる動的形状モデルは、トポロジーの変化する形状を扱うことができる。さらに、これらの動的形状モデルは高次元の形状（例えば、曲面）に容易に拡張される。
【００７２】
推定された動的モデルによれば、任意の長さの形状シーケンスの合成が可能になる。歩行者の場合には、推定された動的モデルの正確度は、入力シーケンスの動的な形状発展をさまざまな形状固有モードの合成シーケンスの形状発展と比較し、残差が統計的に無相関であることを確かめることによって、確証された。合成された形状はすべての具体例において妥当な形状に一致する訳ではないが、それでも、よく知られた形状の発展に有利なようにセグメンテーション及び追跡のプロセスを制約するために動的モデルを使用することができる。
【００７３】
この目的のために、レベルセットに基づいた画像シーケンスセグメンテーションに対するベイズ流の定式化を構築した。これにより、セグメンテーションプロセスのための形状プライアーとして、統計的に学習された動的モデルを賦課することが可能である。追跡に対する既存のほとんどのアプローチとは対照的に、自己回帰モデルは（確率的な最適化法ではなく）局所勾配降下法によって最小化することのできる統計的プライアーとして変分法的なアプローチに組み込まれる。
【００７４】
実験結果は、大量の雑音が存在している下で歩行者を追跡する際に、動的形状プライアーの方が静的形状プライアーよりも優れていることを確証している。セグメンテーションの正確度の定量的な評価は雑音の関数として提供される。さらに、モデルに基づいたセグメンテーションプロセスはフレームレートと歩行速度の（５倍までの）大きな変化に対して非常にロバストであることも判明した。さらに、顕著なオクルージョンを潜って歩行者を追跡するにあたって、変形と変換の結合空間における動的プライアーの方が純粋に変形に基づいたプライアーよりも優れていることも示された。
【００７５】
本発明の多くの実施形態を説明してきたが、本発明の趣旨及び範囲を逸脱することなくさまざまな変更が為されうることが理解されなければならない。したがって、他の実施形態も以下の請求項の範囲内にある。
【図面の簡単な説明】
【００７６】
【図１】一連の訓練シルエットの低次元近似を示したものであり、上側のシルエットは手動でセグメント化されたものであり、下側のシルエットは本発明に従って埋込み関数のＰＣＡにより近似されたものである。
【図２】本発明による自己回帰モデルの妥当性を検査するために使用される自己相関関数を示したものであり、残差の自己相関関数は最初の４つの形状モードでプロットされている。
【図３】形状モデル、元の形状シーケンス（左）、ならびに、第１、第２、及び第６形状固有モードの時間発展を示す統計的に学習された本発明による２次のマルコフ連鎖により合成されたシーケンス（右）を示す。
【図４】本発明によるプロセスにより生成された歩行シーケンスを示したものであり、サンプルシルエットは統計的に学習された２次のマルコフ連鎖により生成されたものである。
【図５】雑音の量が増大する画像シーケンスからのサンプルを示す。
【図６】２５％の雑音の場合について、静的形状プライアーを用いた本発明によるセグメンテーションを示す。
【図７】５０％の雑音の場合について、静的形状プライアーを用いた本発明によるセグメンテーションを示す。
【図８】５０％の雑音の場合について、動的形状プライアーを用いた本発明によるセグメンテーションを示す。
【図９】７５％の雑音の場合について、動的形状プライアーを用いた本発明による追跡を示す。
【図１０】９０％の雑音の場合について、動的形状プライアーを用いた本発明による追跡を示す。
【図１１】本発明によるセグメンテーション正確度の定量的評価を示す。
【図１２】オクルージョンが存在している場合の本発明による追跡を示す。
【図１３】本発明によるプロセスのフローチャートを示す。
【図１４】本発明による２次の自己回帰モデルからサンプリングにより得られた統計的に生成された埋込み曲面と、合成された曲面のゼロレベル線により与えられる輪郭とを示したものであり、陰的定式化により、埋め込まれた輪郭はトポロジーを変化させることができる（左下画像）。
【図１】
2007042111.tif 000031
【図２】
2007042111.tif 000032
【図３】
2007042111.tif 000033
【図４】
2007042111.tif 000034
【図１１】
2007042111.tif 000035
【図１３】
2007042111.tif 000036
【図５】
2007042111.tif 000037
【図６】
2007042111.tif 000038
【図７】
2007042111.tif 000039
【図８】
2007042111.tif 000040
【図９】
2007042111.tif 000041
【図１０】
2007042111.tif 000042
【図１２】
2007042111.tif 000043
【図１４】
2007042111.tif 000044
【手続補正書】
【提出日】平成18年10月11日(2006.10.11)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図５
【補正方法】変更
【補正の内容】
【図５】
2007042111.tif 000045
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図６
【補正方法】変更
【補正の内容】
【図６】
2007042111.tif 000046
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図７
【補正方法】変更
【補正の内容】
【図７】
2007042111.tif 000047
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2007042111.tif 000048
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図９
【補正方法】変更
【補正の内容】
【図９】
2007042111.tif 000049
【手続補正６】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2007042111.tif 000050
【手続補正７】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2007042111.tif 000051
【手続補正８】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2007042111.tif 000052