(57)【要約】【課題】  本発明は、パーティクルフィルタを拡張することによりベイズ推論に基づく複数対象物追跡方法の提供を目的とする。【解決手段】  本発明は、パーティクル内の対象物の間のオクルージョンを明示的に表現し、観測の概念だけを組み込むのではなく、全く重なり合いの無い対象物から多数の重なり合いのある対象物までを柔軟に取り扱うことができる観測尤度関数を設計し、状態表現に隠れ変数を補強することによって、ビューや幾何学的変換に対して不変である観測モデルが生成する。この観測モデルは対象物のアピアランス（見え方）が変形したときに適応する。【選択図】          図２１
2005165688.tif 000002
【特許請求の範囲】
【請求項１】
画像シーケンス中の複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡方法であって、
対象物間のオクルージョンをパーティクルに明示的に記述し、
重なり合いの無い対象物から重なり合いのある対象物までを取り扱う観測尤度関数を設定し、
対象物アピアランス変形のダイナミクスをモデル化する隠れ表現を状態表現に組み込む、
ことを特徴とする複数対象物追跡方法。
【請求項２】
前記状態表現において、基本表現は画像内のすべての対象物を対象物コンフィギュレーションとして表現することによって増強され、オクルージョンはオクルージョンリストを前記対象物コンフィギュレーションに補強することによって明示的に取り扱われる、請求項１記載の複数対象物追跡方法。
【請求項３】
前記観測尤度は個数が変化しながら出現する対象物の尤度を反映する、請求項１又は２記載の複数対象物追跡方法。
【請求項４】
前記隠れ表現は確率的ランダム変数であり、ビューや幾何学的変換に対して不変である観測モデルを生成する、請求項１乃至３のうちいずれか１項記載の複数対象物追跡方法。
【請求項５】
画像シーケンス中の複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡方法であって、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張するステップと、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するステップと、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮するステップと、
を有する複数対象物追跡方法。
【請求項６】
画像シーケンスを入力して複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡処理部と、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する拡張処理部と、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するベイズ推論部と、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮する統合処理部と、
を有する複数対象物追跡システム。
【請求項７】
画像シーケンスを入力して複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡機能と、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する機能と、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するベイズ推論機能と、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮する統合機能と、
をコンピュータに実現させるためのプログラム。
【請求項８】
請求項７記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の対象物を追跡する方法及びシステムに係わり、特に、複数の対象物を同時に追跡する方法及びシステムに関する。
【背景技術】
【０００２】
視覚追跡は、ビデオ監視、人と機械の相互作用、及び、テレビ会議において広範囲に亘って研究され、コンピュータビジョンの分野における重要な研究テーマである。近年になって、単一対象物追跡に関して様々な成功事例が報告されているが、複数対象物追跡は、特に、複数の対象物が同一であるとき、或いは、複数の対象物が複雑な動きをするときの複数対象物追跡は、依然として興味深い研究テーマである。
【０００３】
頑健（ロバスト）な追跡アルゴリズムの設計は難しい。なぜならば、頑健な追跡アルゴリズムは、識別性の乏しい画像特徴、背景クラッター、不安定かつ不連続な動き、複数の遮蔽対象物、及び、その他の問題のような懸案事項を取り扱うメカニズムを要求するからである。推定技術は追跡の際に重要な役目を果たす。しかし、実世界の環境では、推定技術の性能は、素早い動き、邪魔、及び、オクルージョンのような視覚現象によって屡々妨害される。このため、対象物の画像投影を正確に識別することが困難になる。なお、素早い動きとは、トラッカー（追跡装置）の動的予測能力を超えた継続した対象物移動を意味する。素早い動きが発生すると推定処理が損なわれる。なぜならば、素早い動きは、画像投影の推定位置を不確定にさせ、効率的なセグメンテーションを複雑にするからである。明確なセグメンテーションの更なる妨げは、乱れや、追跡中の対象物と画像の見え方が類似しているその他のシーン要素である。最後に、別のシーン要素がカメラと追跡中の対象物の間に介在し、対象物の画像投影の一部を遮ると、オクルージョンが発生する。オクルージョンは、推定アルゴリズムへ供給されるデータを不完全にさせ、又は、推定アルゴリズムへデータが供給されないような結果を生ずる。
【０００４】
近年の複数対象物追跡システムは二つの基本的なタイプに大別することができる。第１のタイプは、複数台の単一対象物追跡装置を、ブートストラップ機構のインジェクションと組み合わせて使用する。このタイプのシステムの殆どは、動き対応付け問題が解決されているか、又は、動き対応付け問題は些細な問題であり、最近傍戦略が有効であることを想定している。ある種のケースでは、最近傍戦略が本当に適切である。例えば、このようなアプローチを使用して非常に多数のフレームに亘ってコーナー特徴を追跡することが提案されている（例えば、非特許文献９を参照。）。最近傍戦略は、通常、フレーム間の画像の動きが非常に小さいということを前提としている。しかし、フレーム間に著しい動きが現れた場合、曖昧さが急激に増加し得る。これらの曖昧さは、次のフレーム内で追跡特徴を検出するため、重み付き相関窓を使用することによって最小限に抑えられる（非特許文献１０を参照。）。相関技術は動き対応付けの曖昧さを著しく低減し得るが、部分的なオクルージョンや背景の著しい変化がこのような相関技術の場合に問題になり得る。その上、このような相関技術は、既存のトラッキングから測定量を検出するためには適切であるが、新しいトラックの検出のためには適切ではない。
【０００５】
動き対応付けに関するもう一つの種類のアプローチは、例えば、同時確率データ連想（ＪＰＤＡ）フィルタ（非特許文献１１）やトラッキング・スプリッティング・フィルタ（非特許文献１２）のような統計的データ連想技術であり、これらのアルゴリズムは、現在、特に、コンピュータビジョンの分野において幅広く注目されている。しかし、ＪＰＤＡは、トラックの個数が事前に既知であり、動きシーケンスの全体を通じて一定に保たれる場合に限り適切である。トラッキング・スプリッティング・フィルタは、より多くの証拠が利用可能になるまで対応付けの決定を先延ばしにするため追跡ツリーで使用される多重仮説追跡と類似している。しかし、トラッキング・スプリッティング・フィルタは、トラック間で測定結果を共有することが可能である。これは、物理的に現実的ではなく、追跡装置を一つの最も可能性の高い対象物に集中させる場合がある（例えば、非特許文献２を参照。）。また、幾何学的特徴は、ある時間フレーム内に唯一の測定ベクトルしか生じないことを仮定してもよい。この非同時性は、人の視覚における一般的な制約であり、ステレオ対応付けの場合には、一意性と呼ばれ（非特許文献１３）、動き対応付けの場合には、要素完全性原理と呼ばれる（非特許文献１４）。トラッキング・スプリッティング・アルゴリズムはこれらの制約を扱うことができず、ＭＨＴアプローチを使用しなければならない（非特許文献１５を参照。）。
【０００６】
ＭＨＴは、以下の１）〜５）の能力を統合した唯一の統計的データ連想アルゴリズムである。
１）追跡開始：新しい幾何学的特徴が視野に入ったとき、新しいトラックを自動的に生成する。
２）追跡終了：幾何学的特徴が長期間に亘って見えなくなったとき、追跡を自動的に終了する。
３）追跡継続：測定量が無いとき、数フレームに亘って追跡を継続する。そのため、このアルゴリズムは、一時的なオクルージョンをあるレベルでサポートすることができる。
４）偽測定値の明示的なモデル化
５）一意性制約の明示的なモデル化：ある測定値は単一のトラックだけに割り当てられ、あるトラックは１フレーム当たりに１個の測定値の発生源である。
【０００７】
このタイプの複数対象物追跡システムの利点は、殆どのケースにおいて、単一対象物の追跡装置が、複数対象物追跡問題の全体の、限定された視点、即ち、局所視点しか持たないことである。この結果として、準最適解が得られる。
【０００８】
第２のタイプの複数対象物追跡システムは、複数対象物追跡問題の完全なベイズ定式化を利用する。不確実性を予測する性質を本来的に備えているので、ベイズ理論は、クラッター環境下における対象物追跡の強力なツールである。大域的な完全なベイズモデルに基づく複数対象物追跡装置は、ドメインの完全なビューを有する。残念ながら、この大域的モデルは、高次元状態空間を利用しなければ獲得できないので、ベイズ推論が殆ど困難になる。近年のパーティクルフィルタリングの研究によれば、この問題に対する有望なソリューションが示されている。
【０００９】
パーティクルフィルタリングはクラッター環境下の対象物追跡にうまく適用されている（非特許文献１４及び１５を参照。）。元来のCondensation (Conditional Density Propagation)アルゴリズム及びその変形版は、基本状態表現として、一つの対象物状態を使用する。多数の対象物が存在することは、事後確率分布に多数のピークが現れることによって暗黙的に示される。Condensationアルゴリズムがこのような表現に適用された場合、ピークは、推定が長期間に亘って行われたとき、他のすべてのピークよりも支配的になる。事後確率分布が一定数のサンプルと共に伝搬する場合、最終的に、すべてのサンプルは支配的なピークの周辺に集まる。支配的ピークの問題の他に、追加、削除及びオクルージョンのような事象を当然には取り扱えない。サンプリングの枠組みと、複数のモードを維持し得る能力は、パーティクルフィルタリングがこのような問題に対処する手段を提供すべきであることを示す。しかしながら、このような手段は、これまでは十分に利用されていない。概略的に説明すると、複数のモードが生じる原因が二つある。第１の原因は、測定量が不十分であるか、又は、クラッターのために対象物状態に曖昧さが含まれることである。第２の原因は、測定量が複数の対象物に由来することである。第１の原因の場合、曖昧さが自然に解消されるまで、すべてのモードを追跡することが望ましい。第２の原因の場合、屡々、現れたすべての対象物を追跡することが要求される。これらの制限は、パーティクルフィルタリング処理から生じる制限ではなく、追跡装置によって使用される状態表現と観測モデルの両方から生じる制限である。
【非特許文献１】H.Tao, H.Sawhney, and R.Kumar, A sampling algorithm for tracking multiple objects, In proc ICCV workshop on vision algorithms, 1999
【非特許文献２】J.MacCormick, A.Blake, A probabilistic exclusion principle for tracking multiple objects, In proc 7th Int. Conf on computer vision, 1999.pp:572-578
【非特許文献３】D.Comaniciu. V.Ramesh, P.Meer, Real time tracking of non-rigid objects using mean shift, Proc Conf. on Computer Vision and Pattern recognition. Vol.2.pp:142-149,2000
【非特許文献４】M.Isard .J.MacCormick, A.Blake, BraMBle: A Bayesian multiple ?blob tracker, , In proc of Int. Conf on Computer Vision,.vol II:34-41, Vacouver, Canda, July. 2001
【非特許文献５】M.Spengler, B.Schiele, Multi-object tracking:Explicit knowledge representation and implementation for complexity reduction, ECCV 2002
【非特許文献６】C.Hue, J-P Le Cadre, Sequential Monte Carlo methods for multiple target tracking and data fusion, IEEE Trans. On Signal processing, vol.50,no.2, Feb 2002
【非特許文献７】Irani, M. and Anandan, A unified approach to moving object detection in 2D and 3D scenes. IEEE trans. On Pattern Analysis and Machine Intelligence, vol.20, no. 6,557-589
【非特許文献８】A.Senior, Tracking people with probabilistic appearance models, In proceedings of ECCV workshop on performance evaluation of tracking and Surveillance systems
【非特許文献９】C.Tomasi, and T. Kaneda, “Shape and motion from image streams under orthography: A factorization method”. Int’l J. of Computer Vision, vol.9, no.2, pp. 137-154
【非特許文献１０】Q.Zheng and R.Chellappa, Automatic feature point extraction and and tracking in image sequences from unknown camera motion,. Proc. Fourth Int’l Conference on Computer vision. ICCV(93), pp. 335-339
【非特許文献１１】T.E.Fortmann, Y.Bar-Shalom, and M.Scheffe, Sonar tracking of multiple targets using joint probabilistic data association, IEEE J of Oceanic Engineering, vol.8, no.3, pp.173-184, 1983
【非特許文献１２】Z.Zhang and O.D. Faugeras, Three-dimensional motion computation and object segmentation in a long sequences of stereo frames, Int’l J. Computer Vision, vol.7, no.3, pp.211-241, 1992
【非特許文献１３】J.E.W. Mayhew and J.P. Frisby, Psychophysical and computational studies towards a theory of human stereopsis, Artifical intelligence, vol.17, 1981
【非特許文献１４】M.R.W. Dawson, The how and why of what went where in apparent motion: Modeling solutions to the motion correspondence problem, Psychological Review, vol.98.no.4, pp:569-603,1991
【非特許文献１５】A.Doucet, N.de Freitas, and N.Gordon, editors, Sequential Monte Carlo Methods in Practice. Springer-Verlag, 2002
【非特許文献１６】M.A. Isard and A.Blake. Condensation-conditional density propagation for visual tracking. Int.J.Computer vision, 28(1):5-28,1998
【非特許文献１７】R.Fablet, M.J.Black, Automatic detection and tracking of human motion with a view-based representation, in European Conference on Computer Vision, pages 476-491, 2002
【非特許文献１８】M.Isard and A.Blake, Icondensation:unifying low level and high-level tracking in a stochastic framework. Lecture notes in Computer Science, 1406, 1998
【非特許文献１９】J.Vermaak, P.Perez, M.Gangnet, and A.Blake. Towards improved observation models for visual tracking: Selective adpaptation. In European Conference on Computer Vision, pages 645-660, 2002
【非特許文献２０】E.Koller-Merier and F.Ade. Tracking multiple objects using the Condensation algorithm. Journal of Robotics and Autonomous System, 34:93-105, (2-3) 2001
【非特許文献２１】S.Maskell, M.Rollason, D.Salmond, and N.Gordon. Efficient particle filtering for multiple target tracking with application to tracking in structured images. In SPIE Vol 4728. Signal and Data Processing of small targets, 2002
【非特許文献２２】P.Perez, C.Hue, J.Vermaak, and M.gangnet. Color-based probabilistic tracking. In European Conference on Computer Vision, pages 661-675, 2002
【非特許文献２３】Xue Jianru, Hand-drawing aided discussion in meeting room using smart assigner, TR, Fujixerox, 2003
【非特許文献２４】J.Vermaak, A.Doucet, P.Perez, Maintaining multi-modality through mixture tracking,  In International Conference on Computer Vision, 2003, Nice, France
【非特許文献２５】D.Tweed, A.Calway, Tracking many objects using subordinated Condensation, in British machine vision conference, 2002, pp 283:292
【非特許文献２６】Y.Wu, T.Yu, and G.Hua, Tracking appearance with occlusion, in Proc.of. IEEE Conference on CVPR’03, Madison,Wisconsin,2003
【非特許文献２７】D.Mumford, Pattern Theory: a unifying perspective, Perception as Bayesian Inference, D.Knill and W.Richards, eds., pp. 25-62, Cambridge Univ.Press, 1996
【非特許文献２８】B.Ripley, Pattern recognition and Neural networks, Cambridge Univ. Press, 1996
【非特許文献２９】Particle filtering tutorial
【非特許文献３０】Jun, Liu. Monte Carlo strategies in scientific computing,  Springer-Verlag,2001. ISBN 0-387-95230-6
【非特許文献３１】A.Kong, J.S.Liu, and W.H.Wong, Sequential imputation method and Bayesian missing data peoblems. J.Amer.Statis.Assoc., vol.29,no.1,pp.5-28
【非特許文献３２】J.S.Liu, Metropolized independent sampling with comparison to rejection sampling and importance sampling, Statist.Compu., vol.6.pp 113-119, 1996
【非特許文献３３】A.Doucet, On sequential simulation-based methods for Bayesian filtering, Signal Process, Group, Dept, Eng., Camberidge, U.K., Tech, Rep. CUED/F-INFENG/TR.310.1998
【非特許文献３４】N.Gordon, A hybrid bootstrap filter for target tracking in clutter. IEEE Trans. Aerosp, Electtron. Syst., vol.33, pp.353-359, Jan, 1997
【非特許文献３５】D.Schulz, W.Burgard, D.Fox, and A.B.Cremers, Tracking multiple moving targets with a mobile robot using particle filters and statistical data association. In Proc. IEEE. Int.Conf. Robotics Automat., Seoul, Korea, May 21-26, 2002, pp. 1665-1670
【非特許文献３６】A.Milistein, J.N.Sanchez, and E.T. Williamson, Robust global localization using clustered particle filtering. In Proceedings of AAAI/IAAI. Pages 581-586, 2002
【非特許文献３７】Y.Bar-Shalom and T.Fortmann, Tracking and data association, Academic Press, 1988
【非特許文献３８】D.Comaniciu, V.Ramesh, P.Meer, Kernel-based object tracking, IEEE Transaction on Pattern Analysis and Machine Intelligence, vol.25, no.5, May, 2003. pp:564-577
【非特許文献３９】S.Z.Li,X.G.Lv, and H.J.Zhang, View-based clustering of object appearances based on independent subspace analysis. In Proc IEEE Int’l Conf.on. Computer Vision, Vancouver, Canda, July,2001
【非特許文献４０】R.Fablet, M.J.Black, Automatic detection and tracking of human motion with a view based representation. ECCV 2002, LNCS 2350.pp.476-491.2002
【非特許文献４１】K.Toyama, A.Blake, Probabilistic tracking with exemplars in a metric space, International Journal of Computer Vision, 2002. in press
【非特許文献４２】B.J.Frey, N.Jojic, Learning Graphical models for images, video and their Spatial Transformations, In Proceedings of the sixteenth Conference on Uncertainty in Artificial Intelligence, 2001, Morgan Kaufmann, San Francisco,CA
【非特許文献４３】Andrew Blake, Michael Isard, Active Contours, Springer-Verlag, London, 1998
【非特許文献４４】T.Cootes, G.Edwards, and C.Taylor, Active appearance models. In Proc. European Conf. On Computer Vision, Pages 484-498, 1998
【非特許文献４５】A.Gelb, editor. Applied Optimal Estimation. MIT Press, Camberidge, MA, 1974
【非特許文献４６】C.Hue, J-P Le Cadre, Sequential Monte Carlo methods for multiple target tracking and data fusion, IEEE Trans. On Signal processing, vol.50,no.2, Feb 2002
【発明の開示】
【発明が解決しようとする課題】
【００１０】
従来の標準的な対象物追跡法であるパーティクルフィルタは、対象物追跡がベイズ推論問題として定式化できることを示している。そして、複数対象物の追跡も同様に定式化できる。しかし、パーティクルフィルタを複数対象物の追跡の定式化に使用するためには、非線形性のある確率的動的システムと、不完全な観測と、観測される複数対象物の次数及び割当の増大によって生ずるその他の困難な問題と、を解決しなければならない。
【００１１】
この問題点を解決するため、本発明は、多様相を維持し、任意の数の類似対象物を自然に効率的に取り扱うことがよりよくできる複数対象物追跡方法及び追跡システムを提案する。また、本発明は、このような追跡システムにおいて行われる処理をコンピュータに実現させるためのプログラム、及び、このプログラムを記録した記録媒体の提供を目的とする。
【課題を解決するための手段】
【００１２】
本発明は、これらの困難な問題に対処するため、次の三つの新規技術を導入することにより典型的なパーティクルフィルタの拡張を提供する。１番目の新規技術は、対象物の間のオクルージョンをパーティクルに明示的に表現する。第２の新規技術は、観測の概念だけを組み込むのではなく、全く重なり合い（オーバーラップ）の無い対象物から多数の重なり合いのある対象物までを柔軟に取り扱うことができる専用設計された観測尤度関数である。３番目の新規技術は、観測モデルに関する技術である。本発明によれば、状態表現に隠れ変数を補強することによって、ビューや幾何学的変換に対して不変である生成的観測モデルが開発された。この観測モデルは対象物のアピアランス（見え方）が変形したときに適応する。
【００１３】
請求項１に係る発明は、
画像シーケンス中の複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡方法であって、
対象物間のオクルージョンをパーティクルに明示的に記述し、
重なり合いの無い対象物から重なり合いのある対象物までを取り扱う観測尤度関数を設定し、
対象物アピアランス変形のダイナミクスをモデル化する隠れ表現を状態表現に組み込む、
ことを特徴とする。
【００１４】
本発明は、推論に確率推論を用いて複数の対象物を個別に識別しながら対象物をトラッキングする。各々の対象物は動きの特徴から識別できる。よって、形が同じ対象物であっても識別することができる。また、本発明によれば、オクルージョンの発生も認識できる。更に、本発明では、見えない変数（隠れ変数）を利用して幾何学的変換に影響を受けないモデルが実現されている。よって、本発明によれば、図形変換や傾きの変化に強い対象物追跡を実現することができる。
【００１５】
請求項２に係る発明によれば、前記状態表現において、基本表現は画像内のすべての対象物を対象物コンフィギュレーションとして表現することによって増強され、オクルージョンはオクルージョンリストを前記対象物コンフィギュレーションに補強することによって明示的に取り扱われる。表現を増強することによって、観測尤度計算のために必要な順序付き奥行き(ordering depths)を、オクルージョン関係に含まれる対象物のペアに分解することが可能になる。
【００１６】
請求項３に係る発明によれば、観測モデルは個数が変化しながら出現する対象物の尤度を反映する。一旦、このようなモデルを利用できるようになると、対象物の個数とコンフィギュレーションに関する事後確率分布を生成するために標準的なパーティクルを適用することができる。
【００１７】
請求項４に係る発明によれば、前記隠れ表現は確率的ランダム変数でもよく、ビューや幾何学的変換に対して不変である観測モデルを生成する。これにより、観測モデルは様々な種類の変形に適応する。サンプルの不足と、複数対象物の追跡の際に特に悪化する確率崩壊問題に対処するため、再重み付けされたサンプリングを複数対象物追跡の枠組みの中で具現化することができる。
【００１８】
請求項５に係る発明は、画像シーケンス中の複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡方法であって、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張するステップと、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するステップと、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮するステップと、
を有する。
【００１９】
請求項５に係る発明によれば、対象物間のオクルージョンをモデル化する隠れ過程と、各対象物の変換をモデル化する隠れ過程を、パーティクルフィルタ形式の基本動的ベイジアンネットワークに統合することによって、複数対象物追跡における、対象物間のオクルージョンと、幾何学的変換によって生じる可能性のある変形に対する適応性とを、ベイジアンネットワークの枠組みで取り扱い、複数対象物追跡方法を、例えば、逐次モンテカルロ解決法によって定式化することが可能になる。
【００２０】
請求項６記載の複数対象物追跡システムは、
画像シーケンスを入力して複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡処理部と、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する拡張処理部と、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するベイズ推論部と、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮する統合処理部と、
を有する。
【００２１】
請求項６に係る発明によれば、対象物間のオクルージョンをモデル化する隠れ過程と、各対象物の変換をモデル化する隠れ過程を、パーティクルフィルタ形式の基本動的ベイジアンネットワークに統合することによって、複数対象物追跡における、対象物間のオクルージョンと、幾何学的変換によって生じる可能性のある変形に対する適応性とを、ベイジアンネットワークの枠組みで取り扱い、複数対象物追跡方法を、例えば、逐次モンテカルロ解決法によって定式化するシステムを構築することが可能になる。
【００２２】
請求項７に係る発明は、
画像シーケンスを入力して複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡機能と、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する機能と、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するベイズ推論機能と、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮する統合機能と、
をコンピュータに実現させるためのプログラムである。
【００２３】
この請求項７に係る発明は、前記システムの様々な機能をコンピュータに実現させるためのプログラムを提供する。このプログラムは、通信回線や記録媒体を用いて前記システムに提供することが可能である。
【００２４】
また、請求項８に係る発明は、請求項７に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体を提供する。
【発明の効果】
【００２５】
発明によれば、状態表現に隠れ変数を補強することによって、ビューや幾何学的変換に対して不変である生成的観測モデルが開発された。この観測モデルは対象物のアピアランス（見え方）が変形したときに適応する。本発明によれば、非線形性のある確率的動的システムと、不完全な観測と、観測される複数対象物の次数及び割当の増加によって生ずるその他の困難な問題と、が解決されるので、複数対象物の追跡の定式化にパーティクルフィルタを使用することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明を実施するための最良の形態を図面と共に詳細に説明する。
【００２７】
本発明を実施するための最良の形態では、クラッター画像シーケンス中の同じタイプの多数対象物を追跡するためパーティクルフィルタリングを使用する。本発明の一つのアプリケーション分野は、自動会議要約への先駆けとして会議室で使用されるペン型入力装置によって生成された円のロバスト追跡である（非特許文献２３を参照。）。典型的に、画像シーケンスには、見分けることが難しい画像特徴が含まれる。このようなシーケンス内での複数対象物追跡は困難である。なぜならば、アピアランスモデルは、各対象物をサポートするため、同じタイプの画像特徴を使用し、対象物が遮蔽され始めたり、相互に側を通過したりするとき、測定量の曖昧さの範囲が非常に大きくなるからである。
【００２８】
本発明の一実施例は、従来の方法とは異なる以下の三つの新規技術を導入することによって複数対象物追跡を実現する。第１の新規技術は、状態表現のパーティクル内で対象物間のオクルージョンの明示的な表現を使用することである。この状態表現では、基本表現は、画像内のすべての対象物を対象物コンフィギュレーションとして表現することによって増強され、オクルージョンは、オクルージョンリストをそのコンフィギュレーションに補強することによって明示的に取り扱われる。表現を増強することによって、観測尤度計算のために必要な順序付き奥行き(ordering depths)を、オクルージョン関係に含まれる対象物のペアに分解することが可能になる。
【００２９】
第２の新規技術は、観測量の表記だけを組み込むのではなく、重なり合いのない対象物から多数の重なり合いのある対象物までスペクトルを柔軟に取り扱う観測尤度関数を設計することである。得られた観測モデルは、個数が変化しながら出現する対象物の尤度を正確に反映する。一旦、このようなモデルを利用できるようになると、対象物の個数とコンフィギュレーションに関する事後確率分布を生成するために標準的なパーティクルを適用可能であることがわかる。
【００３０】
第３の新規技術は観測モデルに関する技術である。オクルージョンリストの他に、幾何学的変形によって生じる対象物アピアランス変形のダイナミクスをモデル化する隠れ確率的ランダム変数を、状態表現に補強する。これにより、観測モデルは様々な種類の変形に適応する。サンプルの不足と、複数対象物の追跡の際に特に悪化する確率崩壊問題に対処するため、再重み付けされたサンプリングを複数対象物追跡の枠組みの中で具現化する。
【００３１】
実験結果から分かるように、あらゆる新規技術は、追跡をロバスト（頑健）にさせるだけではなく、対象物がビデオ内で実行する変換のクラスを追跡することが可能である。本発明の最良の実施の形態の性能は、多数の同一円追跡と、会議室内での人物追跡の二つの実施例を用いて実証されている。
【００３２】
以下では、本発明をより詳細に説明する。そのため、最初に関連技術を概説する。次に、複数対象物追跡のタスクをベイズ推論問題として定式化する。次に、状態表現及び観測尤度関数を説明する。更に、対象物の追加、削除及びオクルージョンの取り扱い方を詳細に説明する。最後に、実験結果と結論を説明する。
【００３３】
［１］  関連技術
一般的に、複数対象物追跡方法は二つのクラスに大別される。一つの方法は、多数の追跡システムの成功例で使用されている共通の方法であり、前景対象物を得るために背景差分を使用し、次に、データ連想問題を解法するため、多数仮説追跡によって各対象物にカルマンフィルタを帰属させる。対象物の表現モデルは、位置又は速度しか含まないので、更なる処理に必要な情報が不足している。もう一方の方法は、ベイズ推論に基づく追跡方法である。このクラスの追跡方法は、検出及び追跡を統合されたベイズ推論フレームワークに具現化し、将来に有望な手法である。本発明は、後者のベイズ推論に基づく追跡方法を重点的に取り扱う。
【００３４】
ベイズ推論フレームワークに基づく対象物追跡を扱う近年の研究は、二つのカテゴリーに大別される。第１のクラスは、単一対象物の追跡問題に取り組み（非特許文献１７、１８、１９及び２２）、第２のクラスは、複数対象物を同時に追跡する問題を取り扱う（非特許文献１、４、８、２０、２１、２４及び２５）。これらのシステムは、その他のシステムと同様に、非ガウス確率分布上のベイズ推論のために逐次モンテカルロ法を使用する。最初に、これらの二つのクラスのアルゴリズムについて簡単に説明する。
【００３５】
単一対象物追跡の研究では、通常、巧妙な対象物モデルに重点が置かれ、単一対象物状態を基本状態表現として使用し、複数対象物の存在は、事後確率分布の複数個のピークによって暗黙的に示される。注目対象物が人物である場合に、人物は３次元姿勢モデルを種々の視点からのオプティカルフロー情報と融合することによりモデル化される（例えば、非特許文献１７を参照。）。また、低レベル追跡手法と高レベル追跡手法の間のキャップをつなぐために重要度サンプリングが使用される（非特許文献１８）。クラッター環境下のロバスト追跡では、観測モデルの適応性が重要であると指摘されている（非特許文献１９）。
【００３６】
複数対象物追跡の殆どのアルゴリズムは二つのカテゴリーに大別される。第１のカテゴリーに属するアルゴリズムは、一般的に、すべての注目対象物のコンポーネントを包括するように状態空間を拡張することによって複数対象物追跡問題を解決する。これにより、複数対象物の問題はより簡単な単一対象物の問題に簡約化され、複数対象物が存在する場合に多様相に対処できないという単一対象物状態表現に基づくパーティクルフィルタの制限が克服される。対象物の個数の変化は、状態空間の次数をダイナミックに変化させることによって、又は、対象物の有無を表すインジケータ変数の組を対応付けることによって受け容れられる。
【００３７】
これに対して、第２のカテゴリーに属するアルゴリズムは、対象物の連結を避け、複数対象物を個別に、しかも、同時に追跡するパーティクルフィルタリングに基づくアルゴリズムである（非特許文献２０、２１、２４及び２５。）。複数対象物追跡装置は、単一対象物追跡アルゴリズムの複数のインスタンス化によって構築される。様々なレベルの高度化を伴う戦略は、オクルージョンや、重なり合う対象物が存在する場合に、得られた追跡装置の出力を解釈するために開発された。Condensationアルゴリズムは、ICondensationアルゴリズム（非特許文献１８）からアイデアを借用して複数対象物追跡に拡張され、突然の出現及び消失の状況に対処するため検出−追跡−検出スキームを利用する。近年、多様相を維持することができないパーティクルフィルタの欠点を解決するため非パラメトリック混合モデルが提案された（非特許文献２５）。
【００３８】
複数対象物追跡における不可避的な、興味深い問題は、複数の対象物と背景のオクルージョンである。従来の複数対象物追跡の拡張は、理論的に精密ではあるが、せいぜい２〜３個の対象物を取り扱うように設計され、より多数の対象物を取り扱えるように拡張することは容易ではなかった（非特許文献１、２、４、８及び２６）。複数の隠蔽する対象物を追跡する確率論的排他原理は、各パーティクルに２個の対象物、即ち、隠蔽する可能性のある前景背景物、及び、隠蔽される可能性のある背景対象物を収容することによって導入された（非特許文献２）。この原理によれば、画像の「特徴」は、２個の対象物のうちの多くても一方をサポートするため使用することができる。状態密度を因数分解することにより、分割サンプリングは、前景対象物である第１レベル及び背景対象物である第２レベルと共に使用することができる。Condensationアルゴリズムにパーティクル間のバインディングが導入され（非特許文献２５）、これにより、複数のオクルージョンを標準的なCondensationフレームワーク内で自然に取り扱えるようになるが、すべての２個のパーティクルの間のオクルージョン検出の計算は、必要なパーティクルの個数が増加したとき、集約的になる。
【００３９】
上記の従来技術に対して、本発明は、複数対象物追跡のための古典的なパーティクルフィルタリング方法の新規の拡張を提供する。図１は本発明の一実施例による複数対象物追跡方法のフローチャートである。本発明の一実施例は、排他原理を採用し（非特許文献２）、対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する（ステップ１０１）。これらを、排他原理に基づく専用設計された観測モデルと組み合わせ、動的ベイジアンネットワークを使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化する（ステップ１０２）。本発明の一実施例では複数対象物の追跡が取り扱われるので、全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化が、このフレームワーク内で考慮される（ステップ１０３）。
【００４０】
［２］  追跡のベイズ定式化とパーティクルフィルタ
ベイズの定理（非特許文献２７及び２８）は、次式（１）に示されるように、画像シーンIから世界Wを確率論的に推論するツールを提供する。
【００４１】
【数１】
2005165688.tif 000003
p（I）は他の項から推論できるので、p(I)は典型的に正規化定数1/kとして取り扱われる。世界の状態のMAP推定値は、観測された画像が与えられた場合に、１である可能性が最も確からしい。
【００４２】
【数２】
2005165688.tif 000004
追跡するため、観測器（オブサーバ）は、世界の小さい部分（以下では、対象物若しくは目標物と称される）に注目し、過去の画像を考慮に入れる。これは、隠れマルコフモデルと類似した動的ベイジアンネットワークによって説明することができる。図２は、追跡問題を隠れマルコフモデルと類似した動的ベイジアンネットワークを用いて表現した例の説明図である。
【００４３】
時点tにおいて、状態
【００４４】
【数３】
2005165688.tif 000005
は、対象物の特徴パラメータの現在推定値を表現する。ここまでに観測された画像特徴Ｚｔ、Ｚｔ−１…のシーケンスを使用して、MAP追跡タスクは、
【００４５】
【数４】
2005165688.tif 000006
を最大にさせる状態を推定する。特徴Ｚｔ、Ｚｔ−１…は、連続測定方程式：
【００４６】
【数５】
2005165688.tif 000007
によって状態Ｘと関係付けられた測定空間を定める。ベイズの定理を適用し、並び替えを行うことにより、以下の式（２）が得られる（非特許文献１６）。
【００４７】
【数６】
2005165688.tif 000008
式中、Ｘｔに関する事前知識を要約する式：
【００４８】
【数７】
2005165688.tif 000009
は、過去の状態推定値と状態の進展についての知識とに基づく予測である。フィルタリング理論において一般的であるように、時間刻みの間の期待される動きに対するモデルが採用され、このモデルは、ダイナミクスと呼ばれる条件付き確率分布
【００４９】
【数８】
2005165688.tif 000010
の形式で表される。ダイナミクスを使用して、式（２）は、次式（３）のように書き換えられる。
【００５０】
【数９】
2005165688.tif 000011
簡単化のために時間指数を省略すると、観測尤度
【００５１】
【数１０】
2005165688.tif 000012
は、現在状態が与えられたときに、時点tに特定の画像を観測する確率を記述する。これは、画像構成と、期待されたものを悪化させるノイズの物理的過程に依存する。特に周知であり、かつ、容易に実施されるカルマンフィルタのケースでは、観測密度
【００５２】
【数１１】
2005165688.tif 000013
はガウシアンであると仮定され、ダイナミクスは加法的ガウスノイズに関して線形であると仮定される。残念ながら、視覚追跡問題で生じる観測密度はガウシアンであるとは限らないということが経験的に分かっている。非正規性について考えられる原因と改善法が提案されている（非特許文献１６）。確率論的ダイナミクス及び非線形状態又は非ガウシアンノイズの測定方程式の状況下では、パーティクルフィルタ（非特許文献２９）が特に適切である。
【００５３】
説明の完全性のため、基本パーティクルフィルタについて簡単に説明する。パーティクルフィルタを裏付ける基本的な考え方は、モンテカルロ戦略（非特許文献３０）によって式（３）をシミュレーションすることである。このシミュレーションは、重み付きパーティクル集合：
【００５４】
【数１２】
2005165688.tif 000014
の考え方を使用する。パーティクル集合は、確率πiをもつ一つのxiを選択することは、分布ｐ（ｘ）からランダムサンプルを引くこととほぼ同じことであるという意味で、確率分布ｐ（ｘ）を表現するためのものである。式（３）をシミュレーションするためには、パーティクル集合に対して、「ダイナミクスとのコンボリューション」演算、及び、「観測密度による乗算」演算を実行する必要がある。これは非常に簡単であることが分かる。ダイナミクス
【００５５】
【数１３】
2005165688.tif 000015
とのコンボリューションのためには、各パーティクル
【００５６】
【数１４】
2005165688.tif 000016
を
【００５７】
【数１５】
2005165688.tif 000017
から引かれた乱数で置換するだけでよい。観測密度
【００５８】
【数１６】
2005165688.tif 000018
で乗算するためには、各重みπｉを
【００５９】
【数１７】
2005165688.tif 000019
で乗算し、新しい重みの合計が１になるように正規化するだけでよい。シミュレーションを事後確率分布により近づけるためには、再サンプリング、再重み付け、及び、棄却のようないくつかの演算が要求される（非特許文献３０）。パーティクル集合の悪化を評価するため、有効なサンプルサイズが規定されている（非特許文献３１及び３２）。図３は、適応的再サンプリングを伴う基本パーティクルフィルタのアルゴリズムの説明図である。また、再サンプリングステップは、図３に示されたアルゴリズムで実行されることが提案されている（非特許文献３３）。また、図４は、基本パーティクルフィルタの処理のフローチャートである。
【００６０】
次に、複数対象物追跡問題と、複数対象物追跡のための従来のパーティクルフィルタリング方法と、について簡単に説明する。複数対象物を並列に追跡することは非常に難しい。なぜならば、複数対象物は、複数の最大値を有する事後確率分布を生ずるからである。MAPソリューションは曖昧になり、その結果として非実用的になる。しかし、好都合に、単一対象物追跡を用いて複数対象物のケースで追跡を行う方法が存在する。複数対象物の同時追跡は、複数対象物により構成された「対象物複合」対象物のコンフィギュレーションとして説明することができる。但し、単一複合対象物追跡を用いて複数対象物追跡問題のモデル化を簡単化することは、状態空間の次元が目標数の関数として指数関数的に増大することの代償として達成される。対象物の個数が少数であっても計算的に殆ど解決困難な問題、「次元の呪い」とも呼ばれる現象を生ずる。
【００６１】
この複雑さは、シーン内に存在する対象物の個数が未知である場合には更に増大する。追跡される対象物の個数を制限することによって、問題の複雑さを予想することが可能になるが、システムの汎用性が制限される。これに対して、出現対象物の個数を事前予想することなく、追跡問題を解決する効率的な戦略を得ることは難しい。本発明の一実施例では、これらの問題に対処する手段を利用する。
【００６２】
［３］  複数対象物パーティクルフィルタ
追跡すべき対象物の個数をMで表し、最初に、このMは一定であると仮定する。次に、対象物の個数が可変である場合について説明する。以下の説明では、インデックスiはM個の目標物のなかの一つを指定し、常に、第１の上付き添え字として使用する。複数対象物の追跡では、すべての対象物の状態ベクトルを連結することにより作成された状態ベクトルを評価する。一般的に、対象物は独立したマルコフダイナミクスに従って運動することが仮定される。単一対象物追跡と同様に、複数対象物追跡は、図５に示されるようなグラフで表すことができる。
【００６３】
時点tにおいて、
【００６４】
【数１８】
2005165688.tif 000020
は、M個の部分方程式：
【００６５】
【数１９】
2005165688.tif 000021
に分解できる。ノイズ
【００６６】
【数２０】
2005165688.tif 000022
は、時間的かつ空間的に白色ノイズであり、ｉ≠ｉ´の場合に独立であると考えられる。
【００６７】
時点tに収集された観測ベクトルは、
【００６８】
【数２１】
2005165688.tif 000023
によって表され、インデックスｊはｍｔ個の測定量のうちの１個を参照するための第１の上付き添え字として使用される。ベクトルｚｔは検出測定量とクラッター測定量により構成される。各測定量の発生源は不明であるが、測定量と対象物の間の関連性を記述するためベクトルKtを導入する必要がある。各成分Ｋｔｊは、{０、．．．、Ｍ}の範囲の値を取るランダム変数である。かくして、Ｋｔｊ＝ｉは、ｚｔｊがｉ番目の対象物と関連付けられていることを示す。本例の場合、測定量ｚｔｊは、以下の確率過程：
【００６９】
【数２２】
2005165688.tif 000024
を表している。再び、ノイズWtj及びWtj'は、白色ノイズであり、j≠j'の場合に独立であると仮定する。インデックス付けに応じて、測定量は、所定の対象物モデルｉに関連付けられるべき同じ事前確率をもつ。時点tにおいて、これらの連想確率は、次のベクトル：
【００７０】
【数２３】
2005165688.tif 000025
を定める。かくして、ｉ＝１、．．．、Ｍに関して、すべてのｊ＝１、．．．ｍに対するｑｔｉ＝Ｋｔｊ＝１は、任意の測定量がｉ番目の対象物と関連付けられる離散確率である。データ連関を解明するため、［２］で説明した一般的な仮説を採用する。確率的排他原理（仮説５）に基づいて、即ち、単独の画像測定量（例えば、エッジ若しくは色ブロブ）は、相互に排他的な仮説を同時に補強しないという原理に基づいて、
【００７１】
【数２４】
2005165688.tif 000026
が得られる。別の仮説によると、１個の対象物は、同時に０個又は１個の測定量を生成し得るので、ｍｔはMとは異なり、特に、ｊ＝１、．．．ｍｔに対する連想変数Ｋｔｊは独立である。
【００７２】
多重仮説追跡アルゴリズムは連想仮説を再帰的に構築する（非特許文献１５）。このアルゴリズムの一つの利点は、新しい目標物のアピアランスは各ステップで仮説として立てられることである。しかし、このアルゴリズムの複雑さは、時間と共に指数関数的に増大する。連想の一部を除去するため、ある種の除去用ソリューションを見つける必要がある。JDPAF（非特許文献１１）は、測定量の規制を行い、予測の周りの楕円内部の測定量だけを通す。この規制は、測定量が予測状態に中心があるガウス則に従って分布することを仮定する。したがって、各連想Ktj=iの確率が推定される。
【００７３】
パーティクルフィルタリング方法は、パーティクル集合を用いて多重仮説を表現する本質的な能力を備えている。連想は所定の時間的反復のときだけ考慮すればよいので、データ連想の複雑さが軽減される。パーティクルが単一対象物状態空間に展開されるハイブリッド・ブートストラップ・フィルタが提案されている（非特許文献３５）。かくして、測定量が与えられた場合の目標物の事後確率則は、ガウス混合によって表現される。この法則の各モードは対象物のうちの一つに対応する。しかし、混合によって事後確率を表現する方法は、オクルージョン中に対象物のうちの一つを失う可能性がある（非特許文献３６）。隠蔽された対象物を追跡するパーティクルは非常に小さい重みが与えられるので、再サンプリングステップ中に放棄される。この問題にクラッターパーティクルの考え方を導入することが提案されている（非特許文献３７）。このアルゴリズムは、本質的に、パーティクルを、別々に追跡されるクラスタに分類する。各クラスタには、上位レベルで動作する別のモンテカルロフィルタによって追跡される確率が割り当てられる。
【００７４】
本発明の一実施例では、複数対象物追跡のためパーティクルフィルタを採用し、パーティクルの次数が各対象物に対応した個別の状態空間の和であるパーティクルを使用する（非特許文献１、２、４及び２６）。そして、従来技術とは異なり、各パーティクルサンプルに付加的な変数Occl_listを導入する。これは、対象物間のオクルージョンを明示し、対象物が互いに隠蔽することを許容し、観測尤度をどのように計算すべきであるかについて重要な手がかりを与える。Occl_listはコンフィギュレーションが与えられた場合に決定される。コンフィギュレーション空間が０個、１個、２個、．．．の対象物の考え得るすべてのコンフィギュレーションの和集合であるとすると、典型的な要素は、次式（５’）：
【００７５】
【数２５】
2005165688.tif 000027
のように記述される。式中、Ｍｔは現在時間ステップにおける対象物の個数を表し、Ｘｔはｉ番目の対象物の状態をエンコーディングするベクトルである。Ｘｔは、更に、位置を表現するサブベクトルｐｉと、形状を表現するサブベクトルＱｉと、当該オブジェクトがオクルージョンに関係しているかどうか、及び、オクルージョンに関係している場合にカメラに近い方はどちらのオブジェクトであるかを示す３値変数ｏｃｃｌ  （０、１、２）と、に分解できる。多数の円を追跡するような特定のアプリケーションでは、ｐｉは円の２次元位置であり、Ｑｉは半径を表現するパラメータである。Occl_listは、隠蔽する対象物と隠蔽される対象物のペアの間のオクルージョン関係を記録し、必要な奥行き順序情報（レイヤ化情報とも呼ばれる（例えば、非特許文献７を参照。））を後述の観測モデルに提供し、M行M列の２値行列であり、オクルージョン関係はその要素Ｏijの一つによって表現される。
【００７６】
【数２６】
2005165688.tif 000028
Oij=1は、i番目の対象物がj番目の対象物を隠蔽することを意味する。説明をより簡潔にするため、OijとOjiの両方に値１が与えられる状況は除外する。オクルージョンは、二つの対象物の各々と所定の最低閾値とのユークリッド距離を閾値化することによって検出される。図６は、隠れ過程{ot}によって動的ベイジアンネットワークにOccl_listが導入される例の説明図である。図７は、Occl_listが構築される例の説明図である。図６では、隠れ状態過程{ot}が動的ベイジアンネットワークに追加され、対象物間にオクルージョンが発生した状況が表現されている。図７では、両矢印付きの破線の両端の対象物がオクルージョン関係の候補を形成し、オクルージョンは、二つの対象物の各々と所定の最低閾値とのユークリッド距離を閾値化することにより容易に検出することができる。
【００７７】
式（２）から類推すると、複数対象物状態に対して（過去の画像に基づく条件を仮定すると）、
【００７８】
【数２７】
2005165688.tif 000029
が得られる。状態事前確率と呼ばれる右辺の最後の項は、連則確率のための式の同時実現可能性ロジックによってＪＰＤＡフィルタに具現化されている。観測尤度
【００７９】
【数２８】
2005165688.tif 000030
が次式（８）：
【００８０】
【数２９】
2005165688.tif 000031
として分解できるという仮説は、対象物が非常に接近しているとき、又は、重なり合っているときには破綻する。対象物をより正確に追跡するため、
【００８１】
【数３０】
2005165688.tif 000032
は、カメラに対する追跡されている対象物の奥行きの順序を考慮しなければならない。対象物が重なり合うとき、どちらの対象物が前方にあるかを特定することは、一体的な対象物から画像のアピアランスを適切に予測するために重要である。対象物の３次元表現からの差分により、それらの奥行き順序情報が得られる（非特許文献４）。本発明の一実施例は、この問題を解決するためランダム変数occlを使用する。同様の考え方が提案されている（非特許文献２）。occlの値はoccl_listに依存する。
【００８２】
再度式（３）を参照すると、対象物の動きは独立しているので、
【００８３】
【数３１】
2005165688.tif 000033
は、次式（９）：
【００８４】
【数３２】
2005165688.tif 000034
として書き換えられる。
【００８５】
上述の通り、オクルージョンがなければ、観測尤度は式（８）を用いて一意に決定することができる。しかし、オクルージョンが発生したとき、オクルージョン関係は、尤度を一意に計算する前に分かっていなければならない。即ち、尤度は隠れ過程{oi}に基づいて決まる（非特許文献２７）。本発明の一実施例では、オクルージョンは、確率過程ではなく、決定論的過程として取り扱われる（非特許文献２７）。なぜならば、本実施例の状態表現の場合、オクルージョンは簡単に検出することができ、これにより、後段のベイズ推論タスクが簡単化されるからである。
【００８６】
図７に示された動的ベイジアンネットワークの場合、M個の対象物に対応したM個の隠れマルコフ過程が存在する。図７における動的ベイジアンネットワークの厳密な確率論的推論は、観測尤度が複雑である場合には、非常に困難であろう。これに対して、確率論的逐次モンテカルロ戦略は、この問題に対して計算的なアプローチを提供し、確率は重み付きパーティクルの集合によって近似される。動的ベイジアンネットワークによるパーティクルの集合の展開は、動的システムの挙動を特徴付け、隠れ過程はパーティクルの集合から復元できる。
【００８７】
N個のパーティクルからなる初期パーティクル集合：
【００８８】
【数３３】
2005165688.tif 000035
は、i=1,...,Mに対する各成分S0n,iが他の成分とは独立に
【００８９】
【数３４】
2005165688.tif 000036
からサンプリングされている。ここで、
【００９０】
【数３５】
2005165688.tif 000037
が得られていると仮定する。各パーティクルは、次数：
【００９１】
【数３６】
2005165688.tif 000038
のベクトルであり、ここで、
【００９２】
【数３７】
2005165688.tif 000039
は、
【００９３】
【数３８】
2005165688.tif 000040
のi番目の成分を表し、
【００９４】
【数３９】
2005165688.tif 000041
は、目標物iの状態表現の次数を表す。
【００９５】
図３及び４に示したパーティクルフィルタリングアルゴリズムと同様に、各反復は、予測と重み付けのような二つの主要な演算を含む。予測は、プロポーザル密度fからのサンプリングによって実行され、これは、以下のダイナミクス（１０）と一致する。
【００９６】
【数４０】
2005165688.tif 000042
重み付けステップは、後述の観測尤度による乗算によって実行される。
【００９７】
［４］  適応的観測尤度
n番目のパーティクル
【００９８】
【数４１】
2005165688.tif 000043
に条件付けされた観測の尤度の計算について説明する。測定量の独立性だけを仮定すると、すべてのn=1,...,Nに対して、
【００９９】
【数４２】
2005165688.tif 000044
として表すことができる。
【０１００】
ここで、
【０１０１】
【数４３】
2005165688.tif 000045
及び
【０１０２】
【数４４】
2005165688.tif 000046
は、j番目の測定量の確率はクラッターと関連付けられていることを表す。この状況に対処するため、最初に、パーティクル内の対象物を、オクルージョンに関係していない対象物と、オクルージョンに関係している対象物の二つのクラスにラベル付けする。オクルージョンに関係していない対象物に対しては、式（１１）をそのまま使用することができる。しかし、オクルージョンに関係している対象物に関しては、オクルージョン検出ステップの後にoccl_listが与えられ、それらの同時観測尤度を考慮し、奥行き順序を考慮しなければならない。この演算と、ＰＤＡＦ及びＪＰＡＤＡＦの独立したアプローチとの重大な差は、本発明の一実施例による方法が対象物間のオクルージョンを判定する能力を備えている点である。一方の対象物が他方の対象物の前方に存在するという仮説が立てられたとき、隠蔽された対象物のアピアランスに関する期待値が変化する。
【０１０３】
第２のステップは、オクルージョンに関係している対象物に対する最も確からしい奥行き順序を選ぶことである。このため、オクルージョンに関係している対象物の奥行き順序の考えられるすべての並べ替えが列挙される。対象物間のオクルージョン関係をあらゆる２個の対象物へ分解するので、奥行き順序に関して残されている不確実性は、２状態過程であり、遷移行列
【０１０４】
【数４５】
2005165688.tif 000047
はオクルージョン関係の遷移をモデル化するため定義される。ここで、0<δ<1である。
【０１０５】
得られた奥行き順序を用いて、画像Iのサイズの２値マスクの集合
【０１０６】
【数４６】
2005165688.tif 000048
が誘導され、ここで、Majは対象物jに対応する。Ma(x,y)=1は、位置(x,y)での画素（画像ピクセル）が対象物jに由来することを表す。Ma(x,y)=0は、画素が別の対象物又は背景のいずれかに属することを表す。このようにして、遮られていると予測された画素は棄却され、見えていると予測された画素は正常にマッチングされる。更に、各画素は１個の対象物による証拠としてのみ使用されるべきであるという排他原理は、これらのマスクによって同時に保証され、オクルージョンに関係している対象物の同時観測尤度は、その固有のサポートマスクを用いて独立に処理される。したがって、後述の輪郭に基づく尤度及びアピアランスに基づく尤度では、単一対象物の状況だけを考慮すればよい。これらの二つの形態の尤度は、多数の追跡システムで採用されている（非特許文献２、３、４及び８）。
【０１０７】
［４．１］  輪郭に基づく観測モデル
この形式の対象物は輪郭を用いて記述され、輪郭はＢ−スプライン曲線としてモデル化される。形状空間は、低次元ベクトル空間Qsとしてパラメータ化され（非特許文献１６）、アフィン変換的な変形に制約される。このスプライン方式アプローチは、追跡される対象物の形状の任意の詳細記述を可能にするが、対象物の輪郭が剛性的、平面的な曲線であり、平行移動、拡大縮小、平面内の回転に限定されているならば、アフィン変換による制約は、モデルの自由度を効率的に固定する。図８は、画像上の輪郭観測と測定ラインに沿ったエッジ点の説明図である。式（１０）のようなプロポーザル密度fによって予測されたコンフィギュレーションQ∈Qsは、図８に示された方法によって測定され、画像座標のリストZ=(Z(1),...,Z(B))が得られる。Zの成分は、それ自体が、コンフィギュレーションQの固定測定ラインに沿って測定された測定量により構成されたベクトルz(b)  b∈{1,...,B}である（即ち、コンフィギュレーションQが与えられた場合、測定ラインの配置も固定されることを意味する（非特許文献１６を参照。）。）。図６において、点線の直線は測定ラインを表し、小さい丸点は測定ライン上のエッジ点を表す。番号が付されていない丸点は真の輪郭点を表している。円状の曲線（一部は隠れている）は仮定された輪郭である。
【０１０８】
ここで、２個の隠蔽する対象物を含むことが分かっている画像に配置された長さＬの１本の固定測定ラインについて考える。１次元のエッジ検出器がこのラインに適用され、ある特徴が画像座標z=(z1,...,zn)で検出される。一部のyiは目標対象物の境界に対応しているかもしれないが、その他は画像のクラッターによって生じたものである。
【０１０９】
異なる測定ラインには、異なる個数のこのような特徴点が存在するので、異なる輪郭仮説に対する観測尤度は同等ではないであろう。そのため、本発明の一実施例で使用される観測尤度は、{z1,...,zn}の位置の同時確率（非特許文献４３）とは異なる。{zi}  i=1,...,nのうちの高々１個が目標輪郭点xiによって生成され、その位置だけを考慮する必要があり、他の特徴点はポアソン過程によりモデル化されたクラッターと関連しているので、他の特徴点については、実際の位置ではなく、その個数だけを考慮すればよい。したがって、尤度を計算する観測は、（１）
１個のエッジ点の位置（未知である）と、（２）検出された特徴点の個数と、により構成される。
【０１１０】
検出された特徴点が測定ライン方向のクラッター分布と関連付けられ、ポアソン過程β（m：λ）に従う場合を考える。ここで、mは特徴の個数である。この仮説は従来技術でも使用されている（非特許文献２）。m個の特徴がクラッターと関連付けられている場合、
【０１１１】
【数４７】
2005165688.tif 000049
であり、m(L)は測定ラインに沿った特徴点の個数を表し、Cはクラッターを表す。
【０１１２】
さらに、目標輪郭点xiと関連した特徴点は、
【０１１３】
【数４８】
2005165688.tif 000050
によるウィンドウW内のガウス分布
【０１１４】
【数４９】
2005165688.tif 000051
によって生成される。ここで、m(W)はウィンドウ内の特徴点の個数を表す。しかし、これらの特徴のうちのせいぜい１個しか目標と関連付けられない。その特徴を
【０１１５】
【数５０】
2005165688.tif 000052
によって表す。したがって、i番目の測定ラインに対して、観測量Ziは、検出された特徴の個数m(L)と、ウィンドウW内の特徴zi*の位置と、により構成される。図９は測定ライン上のエッジ点を表す図である。
【０１１６】
W内部のどの特徴を目標に関連付けるべきであるかを決定できないので、すべての可能性を統合する。その上、目標に関連付けられた特徴の検出ミスを許容することは追跡をより頑健にすることができるので、事象φ0及びφ1を
【０１１７】
【数５１】
2005165688.tif 000053
として表す。φ0を条件として、尤度は、
【０１１８】
【数５２】
2005165688.tif 000054
として設定される。
【０１１９】
同様に、φ1を条件とする尤度は、
【０１２０】
【数５３】
2005165688.tif 000055
である。
【０１２１】
したがって、
【０１２２】
【数５４】
2005165688.tif 000056
として表される。
【０１２３】
測定ラインは独立であると仮定しているので、目標観測モデルは、
【０１２４】
【数５５】
2005165688.tif 000057
である。尚、オクルージョンに関係した対象物の同時観測尤度を計算するため式（１７）を使用するとき、固有のサポートマスク内の特徴だけが尤度に影響を与えることに注意すべきである。
【０１２５】
輪郭に基づく尤度の順応性に関しては、形状空間は既にアフィン変換によって生じた変化をモデル化しているので、変形が形状空間を獲得するため使用された学習集合に含まれているならば、形状空間は変形に対して多少頑健である。
【０１２６】
［４．２］  アピアランス観測モデル
近年、大域的なカラー基準モデルを使用する追跡装置は、頑健であり、計算コストが妥当であるため多目的に使えることが分かってきた（非特許文献３、８、２２及び３８を参照。）。これらの追跡装置は、特に、注目対象物が様々な種類の対象物であり、さらに、シーケンスの間に空間構造が姿勢変化や部分的オクルージョンなどによって急激に変化するタスクを追跡するために非常に有用である。
【０１２７】
アピアランスに基づく追跡用モデルの基本的な考え方は、現在フレームから、領域、即ち、カラー内容が基準カラーモデルと最もよく一致する固定形状可変サイズのウィンドウを探索することである。多種多様なパラメータ及び非パラメトリック確率論的技術が一様な着色領域のカラー分布をモデル化するため使用されている。その中で、カーネル密度推定技術、ある種の特定の非パラメトリック技術がコンピュータビジョン分野で近年注目されている。その理由は、この技術は、特定の分布を前提とするのではなく、推定が十分なサンプルをもつ任意の密度形状に収束し、特に、領域のカラー分布をパターンやカラーの混合によってモデル化するために適しているからである。したがって、この技術は、追跡の際の標準的な対象物表現方法になり始めている（非特許文献３、８、２２及び３８）。本発明の一実施例では、従来の対照表現方法（非特許文献８）を採用し、ビューの変化に適応するように僅かな変更を加える。
【０１２８】
領域Rは目標の画像投影として定義され、カラーモデルは、シェーディング効果から色情報を分離するため、色相−彩度−明度（HSV）色空間でヒストグラム化技術を用いて獲得される。画像位置p及び形状Qによってパラメータ化された幾何学的表現Rの内部の画素を収集した後、Rのカラー確率分布関数は、基準モデルになるように選択され、位置yで定められ、確率分布関数p(y)によって特徴付けられる予測領域と比較される。両方の確率密度関数pdfはデータから推定される。目標モデルのためのカラー確率密度関数と、領域候補は、次式（１８）及び（１９）のように予測される。
【０１２９】
【数５６】
2005165688.tif 000058
［４．２．１］  目標モデル
目標モデルとして定義された領域内での正規化画素位置を
【０１３０】
【数５７】
2005165688.tif 000059
で表す。領域の中心は０である。凸状の単調減少カーネルプロファイルk(x)（勾配に基づく探索アルゴリズムのためのプロファイル）を備えた等方性カーネルは、画素が中心から離れるのに応じて小さい重みを割り当てる。このような重みを使用すると、密度推定の頑健性（ロバスト性）が増大する。なぜならば、周辺画素の方が信頼性が低く、屡々、オクルージョン又は背景からの妨害による影響を受けるからである。
【０１３１】
関数
【０１３２】
【数５８】
2005165688.tif 000060
は、場所ｘi*における画素に、量子化特徴空間内の対応したビンのインデックスb(xi*)を関連付ける。目標モデル内の特徴u=1,...,mの確率は、
【０１３３】
【数５９】
2005165688.tif 000061
として計算される。
【０１３４】
正規化係数Cは、制約条件
【０１３５】
【数６０】
2005165688.tif 000062
を課すことによって導かれる。ここから、
【０１３６】
【数６１】
2005165688.tif 000063
が得られる。
【０１３７】
［４．２．２］  目標候補
現在フレーム内でyに中心が置かれた目標候補の正規化画素位置を
【０１３８】
【数６２】
2005165688.tif 000064
とする。帯域幅hだけが異なる同じカーネル関数を使用する。目標候補における特徴u=1...mの確率は、
【０１３９】
【数６３】
2005165688.tif 000065
によって与えられる。
【０１４０】
Chがyに依存しない点に注意すべきである。画素位置xiは規則的な格子に編成され、yは格子グリッドの一つである。したがって、Chは、所定のカーネルとhの種々の値に対して予め計算することができる。帯域幅hは、目標候補のスケール、即ち、局在化過程で考慮される画素数を定義する。
【０１４１】
［４．２．３］  観測尤度関数
類似度関数は、目標モデルと候補の間の距離を定義する。様々な目標間での比較が行えるようにするため、距離はメトリック構造を備えるべきである。Battachary係数に基づくメトリックは次式（２４）で定義される。
【０１４２】
【数６４】
2005165688.tif 000066
類似度関数は次式（２５）で定義される。
【０１４３】
【数６５】
2005165688.tif 000067
KL情報量(Kullback-Leibler divergence)とは対照的に、この距離は適切な距離であり、[0,1]の範囲に限定され、空ビンは重要ではない。従来の観測尤度（非特許文献２２）と同様に、本発明の一実施例における観測尤度は次式（２８）のように表される。
【０１４４】
【数６６】
2005165688.tif 000068
［４．３］  適応的観測モデル
アピアランスモデルを一例として考えると、上述のアピアランスモデルは、多数のアプリケーションを実現しているが、アピアランスモデルは、平行移動、回転、シヤリング及びワープのような入力画像の空間的変形又はトポロジカル変形に対し非常に敏感である。サブ空間に基づく技術が、ビューや大きいアピアランス変化に対して頑健なアピアランスに基づく表現を学習するため利用されている（非特許文献３９及び４０）。これらの表現は目標検出及び認識のために適しているが、追跡タスクの場合にサブ空間の次数は高くなる。
【０１４５】
コンピュータビジョン用のアピアランスに基づくモデルを構築するための別の方法は、グラフィカルモデルとそれらのダイナミックな変形方式であり、普及し始めている（非特許文献２６、４１及び４２）。離散的変換変数を使用して、これらのモデルに対する入力画像における地理的変換を考慮し、この変数を生成的グラフィカルモデル内で潜在的変数として構築し、次に、変換の集合についての例外を計算するためＥＭアルゴリズムを使用し、得られたモデルが、入力における変換に対して不変性のある形でクラスタリングと、次数削減と、時系列解析と、を実行することが提案されている（非特許文献４２）。生の学習データの選択された代表値として標本を獲得し、対象物コンフィギュレーションの確率混合分布を表現するためこの標本を使用し、生成的グラフィカルモデル内でのトラッキングを解決するため逐次モンテカルロ法を使用することも提案されている（非特許文献４１）。このアイデアをアピアランスに基づく追跡に利用することも提案されている（非特許文献２６）。もちろん、このアイデアは輪郭に基づく観測モデルにも拡張することができる。
【０１４６】
本発明の一実施例では、観測モデルを適合的にするため、変換された隠れマルコフモデル(THMM)を導入する。変換t（既知変換の集合）を、画素強度のベクトルに作用するスパース変換生成行列Gtを用いて表現する。例えば、画像の整数画素の平行移動は順列行列によって表現することができる。他のタイプの変換行列は、順列行列によって正確に表現できない場合もあるが、殆どの有用なタイプの変換はスパース変換行列によって表現できる。例えば、回転及びブラーは、１行あたりに小数の非零要素を有する行列によって表現できる。
【０１４７】
観測画像zは、無変換潜在的画像xと、変換インデックスt∈{1,...,L}に次式（２７）のようにリンクされる。
【０１４８】
【数６７】
2005165688.tif 000069
ここで、
【０１４９】
【数６８】
2005165688.tif 000070
は、Gixに中心があり、分散行列がΨであり、画素ノイズ分散の直交行列であるガウス分布である。変換の確率は潜在的画像に依存するので、潜在的画像xと、変換インデックスTと、観測画像zとに関する同時分布は、
【０１５０】
【数６９】
2005165688.tif 000071
である。図１０は対応したグラフィカルモデルの説明図である。同図には、観測画像zをモデル化するために離散的変換変数tを潜在的画像xに対する密度モデルp(x)に加える様子が示されている。
【０１５１】
ビデオシーケンスを解析する場合、対象物のアピアランスを決定する隠れ変数と、対象物の空間変換を表現する隠れ変数の両方に、時間的コヒーレンスを使用することは優れた考え方である。ＴＨＭＭは、時間的コヒーレンスをクラス変換及び空間変換に効率的に取り入れる。空間変換が非常にコヒーレントである場合、動的モデルにおける推論及び学習に要する時間は、同じ画像の集合に適用された等価的な静的モデルの場合と同じであることが分かる。図１１は、ビデオ処理のために動的ベイジアンネットワークの一実施例の説明図である。本例では、時点tにおけるクラスは、時点t-1におけるクラスに依存するが、時点t-1での変換には依存しない。
【０１５２】
ＴＨＭＭに組み込むことができる独立性には数種類のタイプがある。殆どのケースでは、動き（変換遷移）は画像クラスに依存する場合も、依存しない場合もあるが、クラス遷移は現在の変換インデックスから独立していることを仮定するのが適当である。
【０１５３】
【数７０】
2005165688.tif 000072
ここで、st=(ct,tt)は合成状態であり、ctは現在クラスであり、ttは現在変換である。本発明の一実施例では、現在変換は現在クラスに依存しないという仮定をする。即ち、
【０１５４】
【数７１】
2005165688.tif 000073
である。
【０１５５】
変換に時間的コヒーレンスをモデル化するため、相対運動のマップm(tt,tt-1)を使用して
【０１５６】
【数７２】
2005165688.tif 000074
が指定される。例えば、画像平行移動の場合、このマッピングは、単純に、二つの大域的平行移動の間の相対シフトに対応する。全部でM個の垂直シフトとM個の平行シフトが考えられる場合、変換の総数はL=M2個であり、変換は、t=iM+jとなるようにソーティングされる。ここで、i及びjは、それぞれ、適切な垂直シフト及びｂ水平シフトのインデックスを表す。
【０１５７】
次に、相対運動の大きさだけに関心がある場合には、マッピングを
【０１５８】
【数７３】
2005165688.tif 000075
として定義し、運動の方向も重要である場合には、マッピングをベクトル
【０１５９】
【数７４】
2005165688.tif 000076
として定義する。同様に、他のタイプの変換の距離測定量も定義することができる。
【０１６０】
そこで、異なる画像クラスに対して異なる動き特性を許容するかどうかに依存して、
【０１６１】
【数７５】
2005165688.tif 000077
を仮定する。連続的なフレームの間に小さい動きを仮定し、m>閾値(threshold)に対してp(m)=0を設定することにより、パラメータの個数と推論過程の計算負荷を大幅に削減することができる。
【０１６２】
ＴＨＭＭのパラメータは、c=1,...Cに対するucと、C個のクラスに対する平均画像と、各クラスの異なる画素に対する不確実性のレベルを定義するφcと、検出器ノイズを記述する対角共分散行列ψcと、s=(c,t)の場合の異なる状態の事前確率πsと、上述のように分解できる最終的な遷移確率as,s'=p(st=s'｜st-1=s)と、である。モデルの隠れ変数は、状態stと潜在的画像xtである。
【０１６３】
生成的モデルと、過去の状態が与えられると、クラスタインデックスctと変換インデックスttは、
【０１６４】
【数７６】
2005165688.tif 000078
からランダムに導かれる。次に、潜在的画像が
【０１６５】
【数７７】
2005165688.tif 000079
から得られ、最終フレームは、
【０１６６】
【数７８】
2005165688.tif 000080
から得られる。この処理はシーケンスの最後まで繰り返される。所与のシーケンスに対して最良のＴＨＭＭパラメータが得られた場合、動的クラス分け、方向検出、動作認識のようないくつかの興味深いコンピュータビジョンタスクが、ＴＨＭＭ内の推論によって実行される。
【０１６７】
基礎になる画像空間の変換集合{t}及び正規化画像のクラスタ{c}（又はクラス）への分割は、様々な形式で実現される。例えば、変換集合{t}は、幾何学的歪みをモデル化する形状空間でもよく、クラスタ{c}はテクスチャーの空間でもよい（非特許文献４４）。或いは、{t}は平面類似度変換の空間であり、{c}に歪みと、テクスチャー／シェーディングの分布を吸収させてもよい。{t}及び{c}の解析的な形式を得るため、ガウス混合、因子分析（確率的PCA）、及び、隠れマルコフモデルが屡々使用される。この考え方は、標本の集合から学習させることができるメトリックモデルを用いることにより更に拡張されている（非特許文献４２）。より詳しく説明すると、本発明の一実施例では、{t}と{c}の両方は既に解析的形式で分かっていることを前提とする。実際上、輪郭観測モデルの場合、{t}及び{c}は、既にＢ−スプライン曲線形状空間内に暗黙的に表現されている。しかし、{t}及び{c}が採用された場合、形状空間の次数は低下するであろう。
【０１６８】
当然、図１０に示された変換による影響を受けないモデルと、図６に示されたオクルージョンモデルを組み合わせることにより、新しい動的ベイジアンネットワークが得られる。図１２は、新しい動的ベイジアンネットワークの説明図である。隠れ変数ｔtmはパラメータctmによってインデックスが付けられた幾何学的変換であり、ここで、m∈[1,M]である。隠れ変数Otは異なる対象物の間のオクルージョン関係を制御する。
【０１６９】
図６に示された動的ベイジアンネットワークと比較すると、図１２の例では、三つ以上の隠れマルコフ処理が各対象物状態に付加されている。ここで、M*3+1個の隠れ処理
【０１７０】
【数７９】
2005165688.tif 000081
を、同図に矢印で示されるようなすべての条件付き確率に基づいて、観測データZtから推論する。より明瞭に説明するため、st=(ct、tt)を使用すると、以下の導出において式（３０）をそのまま使用し、図１２に示されたモデルよりも簡略化されたモデルを得ることができる。図１３は、図１２のグラフィカルモデルの簡略化されたモデルの説明図である。
【０１７１】
同時尤度
【０１７２】
【数８０】
2005165688.tif 000082
に基づいて、
【０１７３】
【数８１】
2005165688.tif 000083
が得られる。
【０１７４】
モデルを特徴付けるためには、各対象物のダイナミクス
【０１７５】
【数８２】
2005165688.tif 000084
と、遷移モデル
【０１７６】
【数８３】
2005165688.tif 000085
と、
【０１７７】
【数８４】
2005165688.tif 000086
と、観測尤度
【０１７８】
【数８５】
2005165688.tif 000087
と、をモデル化することが必要である。
【０１７９】
ここまでの説明では、対象物の個数が既知であり、追跡中にその個数が一定に保たれる場合を仮定していた。しかし、実際の対象物追跡アプリケーションでは、対象物がシーンに出入りするので、対象物の個数が絶えず変化することがある。予測モデル
【０１８０】
【数８６】
2005165688.tif 000088
は、各対象物が各時間ステップに確率λrでシーンに留まること、更に、新しい対象物が各時間ステップにシーンへ入ってくる確率はλiであることを表している。
【０１８１】
［５］  実施例の詳細な説明
以下では、二つの主要なステップ：予測ステップと重み付けステップの実施例を詳細に説明する。複数対象物用の完全なパーティクルフィルタは、図３及び４に示した生成的パーティクルフィルタに類似しているように思われるが、実際には相違点がある。これらの相違点について説明する。
【０１８２】
［５．１］  予測
本発明の一実施例では、
【０１８３】
【数８７】
2005165688.tif 000089
の平行移動的ダイナミクスを表すためにダンピングされた定数速度とガウスノイズとを利用し、形状係数（Ｂ−スプライン曲線）はARP(1)（１次の自己回帰過程）に従う。即ち、
【０１８４】
【数８８】
2005165688.tif 000090
である。ここで、
【０１８５】
【数８９】
2005165688.tif 000091
は、標準的なガウス分布ランダム変数のベクトルである。
【０１８６】
【数９０】
2005165688.tif 000092
は、Yule-Walker法（非特許文献４５）を使用して学習することができる。ηv及びζは、実験中に調整可能な固定パラメータであり、
【０１８７】
【数９１】
2005165688.tif 000093
は、対象物の水平速度及び垂直速度を定める速度ベクトルである。
【０１８８】
幾何学的変換に対し不変性のある観測モデルを導入しているので、sのダイナミクスも考慮しなければならない。もう一度式（３１）に戻り、相対運動が画像クラスcとは独立であることを仮定する。これにより、sのダイナミクスはcとvの二つのダイナミクスに分解できる。vのダイナミクスは次式（３６）
【０１８９】
【数９２】
2005165688.tif 000094
に示される。
【０１９０】
【数９３】
2005165688.tif 000095
に対するマルコフ行列Tcは遷移をヒストグラム化することにより学習される。
【０１９１】
本発明の一実施例では、対象物間のオクルージョンは、occl_list内の対象物のあらゆるペアの考えられるオクルージョンに分解されるので、簡略化された状況では、あらゆるオクルージョン遷移をモデル化するため固定マルコフ行列Tijを使用する。もちろん、Tijは遷移をヒストグラム化することによって学習することが可能である。
【０１９２】
［５．２］  観測尤度による重み付け
観測尤度
【０１９３】
【数９４】
2005165688.tif 000096
は、新規技術に基づいて、即ち、予測輪郭と、検出された実際の輪郭との間の不一致、又は、予測画像アピアランスと実際の画像観測量との間の不一致に基づいてモデル化される。
【０１９４】
２値マスク
【０１９５】
【数９５】
2005165688.tif 000097
が得られた後、観測尤度が直ちに計算される。例えば、アピアランスモデルが適用されている場合、
【０１９６】
【数９６】
2005165688.tif 000098
である内部画素だけが観測モデルに寄与する（非特許文献２６）。これは、輪郭に基づく観測モデルの場合と同じである。図１４は適応的再サンプリングを用いて個数が変化する対象物を追跡するパーティクルフィルタの説明図である。図１４には完全なアルゴリズムが示されている。
【０１９７】
初期化関数g(t)は、一意の識別子tを割り当て、対象物事前分布に従って位置、速度及び形状を生成する。位置は可視的シーンに対応した四角形から一意に得られ、形状は形状ＡＲＰの定常状態分布から得られる。例示であるため、パーティクル集合に存在し得る個別の対象物の総数をMmaxに制限し、本実施例では、Mt個の対象物を追跡する。｜Mt-1｜<Mmaxのときに限り、初期サンプルが生成される。時点t=0での初期化は簡単であり、各パーティクルには等しい重みが割り当てられ、対象物の個数は０個であると仮定する。
【０１９８】
図１５は不特定の数の対象物を追跡するパーティクルフィルタの処理のフローチャートである。
【０１９９】
［６］  実験
本発明の方法を２種類のアプリケーションに適用した。実験１は多数の円形領域を追跡するアプリケーションであり、実験２は会議室内の人物の行動を追跡するアプリケーションである。実験１は、複数の同一対象物を追跡する能力を調べるために使用された。なぜならば、円形領域は同じアピアランスを有するからである。円形の直径は追跡中に変化し、輪郭に基づく観測モデルが使用された。実験２では、本発明の方法は、複数の人物の動きと形状を追跡するために使用された。本実験で示されたもう一つの興味深い性質は、本発明の方法が、追跡中に副生成物として、対象物の動きと姿勢のクラスを出力し得ることである。
【０２００】
［６．１］  実験１：円形領域追跡
本実験では、対象物間のオクルージョンを考慮し、３通りの状況で結果を得た。図１６は、５８７フレーム長のテスト用ビデオシーケンスからの３フレームを表す図である。各フレームのサイズは３２０×２４０であり、３０フレーム／秒である。
【０２０１】
本実験１では、円形領域の外形、即ち、円が追跡されるので、各対象物の状態Xは円の３個のパラメータである。本実験１で使用した動的パラメータの数値は表１に示されている。
【０２０２】
【表１】
2005165688.tif 000099
第１の状況では、３個の円の中から指定された１個の円を追跡する。追跡の結果は図１７に示されている。追跡結果の円には番号１が付されている。図１７は、３個の円の中から指定された１個の円を追跡する処理の説明図であり、（ａ）から（ｃ）は、観測モデルにおいてオクルージョンと動きクラスを考慮しない場合の結果を表し、（ｄ）から（ｆ）はオクルージョンと動きクラスを考慮した観測モデルを用いた結果を表している。（ａ）から（ｃ）では、オクルージョンを考慮に入れていないので、追跡中の円が別の円に接近するフレーム１４１で追跡結果が離れ始め、最終的には、フレーム１４７において間違った円を追跡している。これに対して、適応的観測が適用された（ｄ）から（ｆ）では、追跡結果はすべてのシーケンスを通じて指定された円に合っている。
【０２０３】
第２の状況では、一定数の複数対象物を追跡する。その追跡結果は図１８に番号１〜３が付された円として示されている。本実験例では、各円のダイナミクスを別々に取り扱うので、それぞれの動的モデルは異なる。（ａ）から（ｃ）では、円１は２状態動的モデルで記述され、円２は３状態動的モデルで記述され、円３は１状態動的モデルで記述されている。追跡装置は、フレーム５０以降では円３を見失っているが、ビデオシーケンスの全体を通じてオクルージョンと交差が発生しても円１と円２を追跡し続けた。円３を見失う問題は、（ｄ）から（ｆ）において、円３の動的モデルを１状態動的モデルで置き換えることによって解決された。この実験は、時間的コヒーレンスが追跡の際に、特に、多数の同一対象物を追跡する際に、重要な役割を果たしていることを示している。
【０２０４】
最後に、図１９は、不特定の数の複数対象物を追跡する処理の説明図である。使用したテスト用ビデオは７００フレームの長さがあり、フレームサイズは上記の実験例と同じであり、輪郭に基づく適応的観測モデルを使用した。このビデオに使用された動的モデルは、円１に対しては２状態、円２に対しては３状態、円３に対しては３状態である。これらの動的モデルは３００フレームの学習用ビデオから学習した。図２０は、動的モデルを学習するために使用されたこれらの３個の移動円の軌跡を表す図である。
【０２０５】
［６．２］  実験２：人物追跡
本実験では、例えば、会議室内の３乃至５人の複数の人物の形状と動きを追跡するため本発明の方法を使用する。追跡装置は、姿勢と動きタイプ（例えば、歩行、会釈、席を見つけるための移動など）を出力する。
【０２０６】
［７］  複数対象物追跡システムの構成
本発明の複数対象物追跡方法は、この追跡方法の各ステップをコンピュータに実現させるためのプログラムを、コンピュータに接続されるハードディスク装置や、ＣＤ−ＲＯＭ、ＤＶＤ又はフレキシブルディスクなどの可搬型記憶媒体に格納し、本発明を実施する際にコンピュータにインストールし、又は、通信回線からコンピュータにダウンロードし、インストールして、コンピュータのＣＰＵ等でこのプログラムを実行することによって容易に実現される。
【０２０７】
また、図２１は、本発明の複数対象物追跡方法を実現するシステムの機能ブロック図であり、複数対象物追跡システムは、
画像シーケンスを入力して複数対象物を個別に同時に追跡するパーティクルフィルタリングに基づく複数対象物追跡処理部２１０１と、
対象物間に発生したオクルージョンに関するすべての仮説を維持するオクルージョンリストと、観測モデルが対象物のアピアランス変形によって変化しないようにさせる変数と、を個別の対象物のコンフィギュレーションの複合体の状態表現に導入することによって排他原理を複数対象物へ拡張する拡張処理部２１０２と、
動的ベイジアンネットワークを、排他原理に基づく専用設計された観測モデルと組み合わせ使用することにより、ベイズ推論フレームワークの範囲内で複数対象物追跡を定式化するベイズ推論部２１０３と、
全体的なオクルージョンが発生したときの曖昧さを軽減するための混合状態動的プロセスと、新たに到着した対象物を追跡するための再初期化を、同じ枠組みで考慮する統合処理部２１０４と、
を有する。
【０２０８】
以上で説明した実施例３は本発明を実施するための最良の形態の一つにすぎず、本発明はその趣旨を逸脱しない限り種々変形して実施可能である。
【０２０９】
［８］  まとめ
以上の通り、本発明では、典型的なパーティクルフィルタを拡張することにより複数対象物追跡方法を実現した。本発明は、対象物間のオクルージョンをモデル化する隠れ過程と、各対象物の変換をモデル化する隠れ過程を、パーティクルフィルタ形式の基本動的ベイジアンネットワークに統合することによって、複数対象物追跡における、対象物間のオクルージョンと、幾何学的変換によって生じる可能性のある変形に対する適応性とを、ベイジアンネットワークの枠組みで取り扱うことを可能にさせ、複数対象物追跡に対する逐次モンテカルロ解決法を見出した。
【図面の簡単な説明】
【０２１０】
【図１】本発明の一実施例による複数対象物追跡方法のフローチャートである。
【図２】追跡問題を隠れマルコフモデルと類似した動的ベイジアンネットワークを用いて表現した例の説明図である。
【図３】適応的再サンプリングを含む生成的パーティクルフィルタリングアルゴリズムの説明図である。
【図４】図３のパーティクルフィルタリングの処理のフローチャートである。
【図５】複数対象物追跡方法を表現する動的ベイジアンネットワークのグラフである。
【図６】対象物間にオクルージョンが発生した状況を示す隠れ状態過程が動的ベイジアンネットワークに追加された様子の説明図である。
【図７】Occl_listを構築する例の説明図である。
【図８】画像上の輪郭観測と測定ラインに沿ったエッジ点の説明図である。
【図９】測定ライン上のエッジ点の説明図である。
【図１０】観測画像をモデル化するために離散的変換変数を潜在的画像に対する密度モデルに加える様子を示すグラフィカルモデルを表す図である。
【図１１】変換の影響を受けないビデオ処理のための動的ベイジアンネットワークの一例の説明図である。
【図１２】新しい動的ベイジアンネットワークの説明図である。
【図１３】図１２のグラフィカルモデルの簡略化されたモデルの説明図である。
【図１４】適応的再サンプリングを用いて個数が変化する対象物を追跡するパーティクルフィルタの説明図である。
【図１５】適応的再サンプリングを用いて個数が変化する対象物を追跡するパーティクルフィルタの処理のフローチャートである。
【図１６】テスト用ビデオからの３フレームを示す図であり、（ａ）はフレーム２０、（ｂ）はフレーム１５０、（ｃ）はフレーム１６０である。
【図１７】３個の円の中から指定された１個の円を追跡する処理の説明図であり、（ａ）から（ｃ）は、観測モデルにおいてオクルージョンと動きクラスを考慮しない場合の結果を表し、（ｄ）から（ｆ）はオクルージョンと動きクラスを考慮した観測モデルを用いた結果を表している。
【図１８】一定数の円を追跡する処理の説明図であり、時間的コヒーレンスが追跡に重要な役割を果たし、（ａ）から（ｃ）では、円３はその動的モデルが原因で追跡結果が外れ、（ｄ）から（ｆ）では、円３の動的モデルを置換した結果が示され、どちらの場合でも観測モデルはオクルージョン下でも十分に機能することがわかる。
【図１９】不特定数の円を追跡する実験結果の説明図である。
【図２０】図１７の実験における動的モデルを学習するため使用された３個の円の軌跡を表す図である。
【図２１】本発明の複数対象物追跡方法を実現するシステムの機能ブロック図である。
【符号の説明】
【０２１１】
２１０１    複数対象物追跡処理部
２１０２    拡張処理部
２１０３    ベイズ推論部
２１０４    統合処理部
【図１】
2005165688.tif 000100
【図２】
2005165688.tif 000101
【図３】
2005165688.tif 000102
【図４】
2005165688.tif 000103
【図５】
2005165688.tif 000104
【図６】
2005165688.tif 000105
【図７】
2005165688.tif 000106
【図８】
2005165688.tif 000107
【図９】
2005165688.tif 000108
【図１０】
2005165688.tif 000109
【図１１】
2005165688.tif 000110
【図１２】
2005165688.tif 000111
【図１３】
2005165688.tif 000112
【図１４】
2005165688.tif 000113
【図１５】
2005165688.tif 000114
【図１６】
2005165688.tif 000115
【図１７】
2005165688.tif 000116
【図１８】
2005165688.tif 000117
【図１９】
2005165688.tif 000118
【図２０】
2005165688.tif 000119
【図２１】
2005165688.tif 000120