(57)【要約】【課題】複数の物体を遮蔽（オクルージョン）に拘らず効率的に追跡する物体追跡方法、物体追跡システム、及び物体追跡プログラムを提供する。【解決手段】追跡される複数の物体の各々に対応して、物体の少なくとも１つの特徴を含む物体モデルを生成し、複数の物体を含み得るグループ画像を連続して撮影して取得し、物体の特徴に基づいて、得られたグループ画像に亘って物体モデルの各々の存在を探索し、各物体モデルに対する条件付き存在確率を計算し、条件付き存在確率が所定値以上の物体モデルを選択し、選択された物体モデルについてグループ画像内での対応する物体の場所を決定し、選択されなかった物体モデルに対して、存在確率の計算と場所の決定とを繰り返し行い、異なる時間に撮影したグループ画像に対して同様の処理を行い、追跡される物体とグループ画像内での場所の履歴を用いて、グループ内の各物体を追跡する。【選択図】図３
2009015827.tif 000002
【特許請求の範囲】
【請求項１】
連続的に撮影された画像中における物体追跡の方法であって、
ａ．追跡される複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程と、
ｂ．複数の物体を含み得るグループの画像を撮影して得る工程と、
ｃ．前記少なくとも１つの特徴に基づいて、前記得られた複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの各々の存在を探索し、各物体モデルに対する条件付き存在確率を計算する工程と、
ｄ．前記条件付き存在確率が所定値以上の物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程と、
ｅ．工程ｄにて選択されなかった、少なくとも１つの前記物体モデルに対して、工程ｃ及びｄを繰り返す工程と、
ｆ．工程ｂの撮影を異なる時間に行って得られる前記複数の物体を含み得るグループの画像に対して工程ｄから工程ｅを行うことで、追跡される物体と前記複数の追跡される物体を含み得るグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程と、
を含む物体追跡方法。
【請求項２】
前記少なくとも１つの特徴は、前記物体を構成する画素毎の状態値の積算値を用いて計算されることを特徴とする、請求項１に記載の物体追跡方法。
【請求項３】
前記追跡されるの物体の存在確率は、目標物体の中心から離れる方が低下するように設定されることを特徴とする、請求項１又は２に記載の物体追跡方法。
【請求項４】
他の物体により遮蔽された前記追跡される物体の存在確率は、前記追跡される物体の過去に撮影された画像中で物体の中心に近い方が低下するように設定されることを特徴とする、請求項１〜３の何れか１項に記載の物体追跡方法。
【請求項５】
前記条件付き存在確率の所定値は、前記追跡される物体の輪郭の内側に含まれるピクセルの平均確率として計算されることを特徴とする、請求項１〜４の何れか１項に記載の物体追跡方法。
【請求項６】
前記条件付き存在確率の所定値は、前記追跡される物体の輪郭の内側に含まれるピクセルの同時確率として計算されることを特徴とする、請求項１〜４の何れか１項に記載の物体追跡方法。
【請求項７】
前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴とする、請求項１〜６の何れか１項に記載の物体追跡方法。
【請求項８】
前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴とする、請求項１〜６の何れか１項に記載の物体追跡方法。
【請求項９】
前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに含むことを特徴とする、請求項１〜８の何れか１項に記載の物体追跡方法。
【請求項１０】
前記物体は、人物であることを特徴とする、請求項１〜９の何れか１項に記載の物体追跡方法。
【請求項１１】
複数の物体を含み得るグループの画像を獲得するのに使用可能な少なくとも１つのカメラと、
下記工程ａ〜ｅを実行可能な処理ユニットと、
ａ．追跡され得る複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程
ｂ．前記少なくとも１つの特徴に基づいて、前記カメラにより獲得された前記複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの各々の存在を探索し、各物体モデルに対する条件付き存在確率を計算する工程
ｃ．前記条件付き存在確率が所定値以上となる物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程
ｄ．工程ｃにて選択されなかった、少なくとも１つの前記物体モデルに対して、工程ｂ及びｃを繰り返す工程
ｅ．前記カメラにより異なる時間に撮影を行って得られる前記複数の物体を含み得るグループの画像に対して工程ｃから工程ｄを行うことで、追跡される物体と前記複数の追跡される物体のグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程
を含む物体追跡システム。
【請求項１２】
前記少なくとも１つの特徴は、前記物体を構成する画素毎の状態値の積算値を含むことを特徴とする、請求項１１に記載の物体追跡システム。
【請求項１３】
前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴とする、請求項１１又は１２に記載の物体追跡システム。
【請求項１４】
前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴とする、請求項１１又は１２に記載の物体追跡システム。
【請求項１５】
前記処理ユニットは、前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに実行可能であることを特徴とする、請求項１１〜１４の何れか１項に記載の物体追跡システム。
【請求項１６】
前記物体は、人物であることを特徴とする、請求項１１〜１５の何れか１項に記載の物体追跡システム。
【請求項１７】
連続的に撮影された画像中における物体追跡のためのプログラムであって、
コンピュータにより、
ａ．追跡される複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程と、
ｂ．複数の物体を含み得るグループの撮影された画像を取得する工程と、
ｃ．前記少なくとも１つの特徴に基づいて、前記得られた複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの存在の各々を探索し、各物体モデルに対する条件付き存在確率を計算する工程と、
ｄ．前記条件付き存在確率が所定値以上の物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程と、
ｅ．工程ｄにおいて選択されなかった、少なくとも１つの物体モデルに対して、工程ｃ及びｄを繰り返す工程と、
ｆ．工程ｂの撮影を異なる時間に行って得られる前記複数の物体を含み得るグループの画像に対して工程ｄから工程ｅを行うことで、追跡される物体と前記複数の追跡される前記物体を含み得るグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程と、
を実行させるための物体追跡プログラム。
【請求項１８】
前記少なくとも１つの特徴は、前記物体を構成する画素毎に状態値の積算値を含むことを特徴とする、請求項１７に記載の物体追跡プログラム。
【請求項１９】
前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴とする、請求項１７に記載の物体追跡プログラム。
【請求項２０】
前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴とする、請求項１７に記載の物体追跡プログラム。
【請求項２１】
前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに含むことを特徴とする、請求項１７に記載の物体追跡プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体追跡方法、物体追跡システム、及び物体追跡プログラムに関し、より具体的には、複数の物体を遮蔽（オクルージョン）に拘らず効率的に追跡する物体追跡方法、物体追跡システム、及び物体追跡プログラムに関する。
【背景技術】
【０００２】
インテリジェント・ビジュアル監視システムの場合、自動的な映像内容の分析及び理解は、究極の目標である。この目的のためには、低レベルの物体検出及び追跡において、高レベルの処理のために信頼性のあるデータを生成しなければならない。追跡モジュールは、処理全体の速度に対して影響しないように、非常に効率的でなければならないし、また、同時に、オクルージョンに対するロバスト性が高くなければならない。なぜなら、実世界のビデオシーケンスは、物体（人々、車両、など）同士の間の複雑な相互作用及びオクルージョンを含むことが多いからである。
【０００３】
オクルージョンを含む複雑な混雑シーンでの物体追跡をこなすため、大規模なシステム及び方法が提案されてきた。一般に、それらの技法は、二つのアプローチとして分類することができると、Pierre Gabriel等は、その文献「ビデオシーケンスにおけるオクルージョン下の複数の物体追跡における到達技術水準、インテリジェント・ビジョン・システムの進歩した思想」で述べている。詳しくは、Pierre Gabriel, Jacques Verly, Justus Piater, Andre Genon、“Multiple Object Tracking Under Occlusion in Video Sequences, Advanced Concepts for Intelligent Vision Systems”pp. 166-173, 200を参照のこと。上記の二つのアプローチは、結合−分割（merge-split：ＭＳ法）及びストレート−スルー（straight-through：ＳＴ法）を含んでいる。
【０００４】
前者のＭＳアプローチでは、物体が遮蔽されていると判断されるとすぐに、その時点から、元の物体（複数の物体）は、新しいグループ・ブロブ（new group blob）内にカプセル化（結合）される。分割状態が生じた場合は、そのグループから分割された物体を識別することが問題となる。各物体の同一性（identity）を回復するためには、色、テクスチャ、形状などの「外観的な特徴」、及び運動方向、速度などの「動的な特徴」を使用できる。
【０００５】
上記の「外観的な特徴」は、Haritaoglu等の文献「人々及び彼らの活動のリアルタイム監視」及びS. McKenna等の文献「コンピュータ・ビジョンにおける人々のグループの追跡及び画像の理解」で記述されている。詳しくは、Haritaoglu, D. Harwood, and L. Davis. “W4: real-time surveillance of people and their activities”, IEEE Trans. on PAMI 22(8): pp. 809-830, Aug. 2000、及びS. McKenna, S. Jabri, Z. Duric, and H. Wechsler, “Tracking Groups of People. in Computer Vision and Image Understanding, 2000 ”を参照のこと。
【０００６】
上記の「動的な特徴」は、追跡及び監視の性能評価に関する第２回IEEE国際ワークショップにおける、J. H. Piater等の文献「ガウス近似を用いた相互作用目標の多重モデル追跡」で記述されている。詳しくは、J. H. Piater and J. L. Crowley,“Multi-modal tracking of interacting targets using Gaussian approximations”, Performance Evaluation of Tracking and Surveillance、Second IEEE International Workshop (PETS01), 2001、を参照のこと。
【０００７】
このＭＳアプローチは、結合し且つ分割する二つの物体については有効であるが、グループにおける物体の数が２より大きくなると、ＭＳ法では失敗する場合がよくある。これは、分割される各ブロブ内に何個の物体が存在するかを、識別するのが難しくなるためである。
【０００８】
後者のＳＴ法では、物体を結合しようとせずに、オクルージョンを介して個々の物体を追跡しなければならない。Csaba Beleznai等は、平均値シフト(Mean-Shift)クラスタリング手法を用いて、遮蔽する人間の最適なコンフィギュレーションを探索している。詳しくは、画像処理及びパターン認識に関するハンガリア・オーストラリア合同会議の第５回KEPAF及び第２９回OAGMワークショップにおける、Csaba Beleznai等の文献「混雑シーンにおける追跡のためのモデルに基づくオクルージョン処理」（Csaba Beleznai, Bernhard Fruhstuck, Horst Bischof, and Walter G. Kropatsch, “Model-Based Occlusion Handling for Tracking in Crowded scenes”, Joint Hungarian-Austrian Conference on Image Processing and Pattern Recognition, 5th KEPAF and 29th OAGM Workshop, pp. 227-234. 2005）を参照のこと。
【０００９】
R. Cucchiara等は、外観モデルを用いて、各ピクセルをある一定の軌跡に割り当てる。他の軌跡によるオクルージョンや背景物体によるオクルージョンは、区別されて異なるモデル更新機構に導かれる。以下の文献を参照のこと。映像監視及びセンサーネットワークに関するACM第２回国際ワークショップの議事録における、R. Cucchiara等「屋内監視における人々の追跡の洗練化のための、軌跡に基づく、及び物体に基づくオクルージョン」（R. Cucchiara, C. Grana, G. Tardini, “Track-based and object-based occlusion for people tracking refinement in indoor surveillance”, Proceedings of the ACM 2nd international workshop on Video surveillance & sensor networks (VSSN'04), pp. 81-87, New   York, NY, USA, 2004）。
【００１０】
A. Senior等は、軌跡に対して外観モデルを用いて、別個の物体の場所及びそれらの奥行きの順序を評価するアプローチを提供している。下記文献を参照のこと。追跡及び監視システムの性能評価に関する第２回IEEE国際ワークショップ（PETS01）,2001年12月の議事録に記載の「オクルージョン処理のための外観モデル」(A. Senior, A. Hampapur, Y-L Tian, L. Brown, S. Pankanti, R. Bolle, “Appearance Models for Occlusion Handling”, in Proceedings of Second International workshop on Performance Evaluation of Tracking and Surveillance systems (PETS01), December 2001）。
【００１１】
H. Tao等は、上方から観た時の外観モデルに依拠して、通過する車両の部分的オクルージョンを処理する動的レイヤー・アプローチについて述べている。下記文献を参照のこと。コンピュータ・ビジョン及びパターン認識に関するIEEE会議（CVPR00）の議事録に記載の「動的レイヤー表現と追跡への応用」（H. Tao, H. Sawhney, and R. Kumar, “Dynamic layer representation with applications to tracking”, in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR00), Volume: 2, pp.134-41 vol.2, Hilton Head Island, SC, USA, 2000）。
【００１２】
時間的な相関関係、カルマンフィルター及びモンテカルロ・アプローチ、並びに、粒子フィルタリングの例が、以下の文献に記載されている。（１）T. Zhao等、コンピュータ・ビジョン及びパターン認識に関するIEEE会議（CVPR01）の議事録に記載の「複雑な状況における複数の人間のセグメンテーション及び追跡」（T. Zhao, R. Nevatia, F. Lv, “Segmentation and Tracking of Multiple Humans in Complex Situations”, in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR01), Volume 2, pp.194-201, Kauai, HI, 2001）、（２）M. Isard等、コンピュータ・ビジョンに関するIEEE会議（ICCV01）の「BraMBLE：ベイジアン複数ブロブ・トラッカー」（M. Isard and J. MacCormick, “BraMBLE: a Bayesian multiple-blob tracker”, IEEE Conference on Computer Vision (ICCV01), Volume 2, pp. 34-41, 2001）、
【００１３】
及び（３）Kevin Smith等、コンピュータ・ビジョン及びパターン認識に関するIEEE会議（CVPR05）の議事録に記載の「変化する数の相互作用する人々に対する粒子を用いた追跡」（Kevin Smith, Daniel Gatica-Perez, and Jean-Marc Odobez, “Using Particles to Track Varying Numbers of Interacting People”, in Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR05), Volume 1, pp.962-969, San Diego, CA, USA, June 2005）。
【００１４】
【非特許文献１】ROBERT T. COLLINS, et al., “A system for video surveillance and monitoring,” VSAM final report, Carnegie Mellon University, Technical Report: CMU-RI-TR-00-12, 2000
【非特許文献２】PIERRE F. GABRIEL, et al., “The State of the Art in Multiple Object Tracking Under Occlusion in Video Sequence," Advanced Concepts for Intelligent Vision Systems, pp.166-173, 2003.                    １
【非特許文献３】ISMAIL HARITAOGLU, et al., “W4: Real-time surveillance of people and their activities," IEEE Trans. on PAMI22(8): pp.809-830, August 2000.
【非特許文献４】STEPHEN J. MCICENNA, et al., “Tracking Groups of People," in Computer Vision and Image Understanding，2000.
【非特許文献５】JUSTUS H.PIATER, et al., “Multi-modal tracking of interacting targets using Gaussian approximations," in Second IEEE International Workshop on Performance Evaluation of Tracking and Surveillance (PETS01), 2001.
【非特許文献６】CSABA BELEZNAI, et al., “Model-Based Occlusion Handling for Tracking in Crowded scenes," Joint Hungarian-Austrian Conference on Image Processing and Pattern Recognition, 5th KERAF and 29th OAGM Workshop,pp.227-234.2005.
【非特許文献７】R. CUCCHIARA, et al., “Track-based and object-based occlusion for people tracking refinement in indoor surveillance," Proceedings of the ACM 2nd international workshop on Video surveillance & sensor networks (VSSN'O4),pp.81-87, New York, NY, USA, 2004.
【非特許文献８】ANDREW SENIOR, et al., “Appearance Models for Occlusion Handling," in proceedings of Second International workshop on Performance Evaluation of Tracking and Surveillance systems(PETSO1), December 2001.
【非特許文献９】HAI TAO, et al., “Dynamic layer representation with applications to tracking," Proceedings of lEEE Conference on Computer Vision and Pattern Recognition (CVPROO). Volume:2, pp.134-41 vol.2, Hilton Head Island, SC, USA, 2000.
【非特許文献１０】TAO ZHAO, et al., “Segmentation and Tracking of Multiple Humans in Complex Situations," Proceedings of lEEE Conference on Computer Vision and Pattern Recognition (CVPR01), Volume: 2, pp.194-201, Kauai, HA,2001.
【非特許文献１１】M.ISARD, et al., “BraMBLE: ａ Bayesian multiple-blob tracker," IEEE Conference on Computer Vision(ICCVOl). Volume 2, pp.34-41, 2001.
【非特許文献１２】KEVIN SMITH, et al., “Using Particles to Track Varying Numbers of Interacting People," Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR05), Volume:1, pp.962-969, San Diego, USA, 20-25, June 2005.
【非特許文献１３】CHRIS STAUFFER, et al., “Learning Patterns of Activity Using Real-Time Tracking," IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume22, Issue8, pages 747-757, August 2000.
【非特許文献１４】TAO YANG, et al., “Real-time Multiple Objects Tracking with Occlusion Handling in Dynamic Scenes," IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPR05)，San Diego, USA, 20-25 June 2005.
【非特許文献１５】YAN HUANG, et al., “Tracking Multiple Objects through Occlusions," IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPR05). Vol2, pp.1051-1058, San Diego USA, 20-25, June2005.
【非特許文献１６】THOMAS H. CORMEN, , et al., “Introduction to Algorithms," Chapter 16 “Greedy Algorithms,” 2001.
【非特許文献１７】P. VIOLAM et al., “Rapid object detection using a boosted cascade of simple features," IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPRO1), Vol 1，pp.511-518, Kauai, Hawai, 2001.
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上記の技術的進歩にもかかわらず、既存の技術は、特に二以上の物体同士の間に大量のオクルージョンが有る場合に、物体追跡性能が劣るという特徴を有している。従って、二以上の物体同士の間に大量のオクルージョンが有る場合でも、追跡性能を顕著に改善する非常に効率的なオクルージョン処理スキームが必要とされている。
【００１６】
特に、混雑シーンにおける複数の物体の目視による追跡は、監視、ビデオ会議、及び人間とコンピュータとの相互作用を含む多くの用途で重要である。物体同士の間の複雑な相互作用は、部分的又は重大なオクルージョンを生じ、追跡を非常に挑戦的な問題にしている。
【００１７】
本発明は、物体追跡のための従来の技術に関連する上記の問題及びその他の問題のうちの少なくとも１つを実質的に防止する方法及びシステムを意図したものであり、本発明の目的は、複数の物体を遮蔽（オクルージョン）に拘らず効率的に追跡する物体追跡方法、物体追跡システム、及び物体追跡プログラムを提供することにある。
【課題を解決するための手段】
【００１８】
本発明の一態様によれば、オクルージョンを伴う物体追跡方法が提供される。
即ち、請求項１に記載された物体追跡方法は、連続的に撮影された画像中における物体追跡の方法であって、
ａ．追跡される複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程と、
ｂ．複数の物体を含み得るグループの画像を撮影して得る工程と、
ｃ．前記少なくとも１つの特徴に基づいて、前記得られた複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの各々の存在を探索し、各物体モデルに対する条件付き存在確率を計算する工程と、
ｄ．前記条件付き存在確率が所定値以上の物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程と、
ｅ．工程ｄにて選択されなかった、少なくとも１つの前記物体モデルに対して、工程ｃ及びｄを繰り返す工程と、
ｆ．工程ｂの撮影を異なる時間に行って得られる前記複数の物体を含み得るグループの画像に対して工程ｄから工程ｅを行うことで、追跡される物体と前記複数の追跡される物体を含み得るグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程と、
を含むことを特徴としている。
【００１９】
請求項２に記載された物体追跡方法は、請求項１に記載の発明において、前記少なくとも１つの特徴は、前記物体を構成する画素毎の状態値の積算値を用いて計算されることを特徴としている。
【００２０】
請求項３に記載された物体追跡方法は、請求項１又は２に記載の発明において、前記追跡されるの物体の存在確率は、目標物体の中心から離れる方が低下するように設定されることを特徴としている。
【００２１】
請求項４に記載された物体追跡方法は、請求項１〜３の何れか１項に記載の発明において、他の物体により遮蔽された前記追跡される物体の存在確率は、前記追跡される物体の過去に撮影された画像中で物体の中心に近い方が低下するように設定されることを特徴としている。
【００２２】
請求項５に記載された物体追跡方法は、請求項１〜４の何れか１項に記載の発明において、前記条件付き存在確率の所定値は、前記追跡される物体の輪郭の内側に含まれるピクセルの平均確率として計算されることを特徴としている。
【００２３】
請求項６に記載された物体追跡方法は、請求項１〜４の何れか１項に記載の発明において、前記条件付き存在確率の所定値は、前記追跡される物体の輪郭の内側に含まれるピクセルの同時確率として計算されることを特徴としている。
【００２４】
請求項７に記載された物体追跡方法は、請求項１〜６の何れか１項に記載の発明において、前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴としている。
【００２５】
請求項８に記載された物体追跡方法は、請求項１〜６の何れか１項に記載の発明において、前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴としている。      
【００２６】
請求項９に記載された物体追跡方法は、請求項１〜８の何れか１項に記載の発明において、前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに含むことを特徴としている。
【００２７】
請求項１０に記載された物体追跡方法は、請求項１〜９の何れか１項に記載の発明において、前記物体は、人物であることを特徴としている。
【００２８】
本発明の他の態様によれば、物体のグループの画像を獲得するのに使用可能な少なくとも１つのカメラ及び処理ユニットを含む物体追跡システムが提供される。
即ち、請求項１１に記載された物体追跡システムは、
複数の物体を含み得るグループの画像を獲得するのに使用可能な少なくとも１つのカメラと、
下記工程ａ〜ｅを実行可能な処理ユニットと、
ａ．追跡され得る複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程
ｂ．前記少なくとも１つの特徴に基づいて、前記カメラにより獲得された前記複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの各々の存在を探索し、各物体モデルに対する条件付き存在確率を計算する工程
ｃ．前記条件付き存在確率が所定値以上となる物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程
ｄ．工程ｃにて選択されなかった、少なくとも１つの前記物体モデルに対して、工程ｂ及びｃを繰り返す工程
ｅ．前記カメラにより異なる時間に撮影を行って得られる前記複数の物体を含み得るグループの画像に対して工程ｃから工程ｄを行うことで、追跡される物体と前記複数の追跡される物体のグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程
を含むことを特徴としている。
【００２９】
請求項１２に記載された物体追跡システムは、請求項１１に記載の発明において、前記少なくとも１つの特徴は、前記物体を構成する画素毎の状態値の積算値を含むことを特徴としている。
【００３０】
請求項１３に記載された物体追跡システムは、請求項１１又は１２に記載の発明において、前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴としている。
【００３１】
請求項１４に記載された物体追跡システムは、請求項１１又は１２に記載の発明において、前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴としている。
【００３２】
請求項１５に記載された物体追跡システムは、請求項１１〜１４の何れか１項に記載の発明において、前記処理ユニットは、前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに実行可能であることを特徴としている。
【００３３】
請求項１６に記載された物体追跡システムは、請求項１１〜１５の何れか１項に記載の発明において、前記物体は、人物であることを特徴としている。
【００３４】
本発明の更に他の態様によれば、オクルージョンを伴う物体追跡の方法を実施する命令をコンピュータにより実行するための物体追跡プログラムが提供される。
即ち、請求項１７に記載された物体追跡プログラムは、連続的に撮影された画像中における物体追跡のためのプログラムであって、
コンピュータにより、
ａ．追跡される複数の物体の各々に対応して、前記物体の少なくとも１つの特徴を含む物体モデルを生成する工程と、
ｂ．複数の物体を含み得るグループの撮影された画像を取得する工程と、
ｃ．前記少なくとも１つの特徴に基づいて、前記得られた複数の物体を含み得るグループの画像に亘って前記生成された物体モデルの存在の各々を探索し、各物体モデルに対する条件付き存在確率を計算する工程と、
ｄ．前記条件付き存在確率が所定値以上の物体モデルを選択し、選択された物体モデルについて前記複数の物体を含み得るグループの画像内での前記対応する物体の場所を決定する工程と、
ｅ．工程ｄにおいて選択されなかった、少なくとも１つの物体モデルに対して、工程ｃ及びｄを繰り返す工程と、
ｆ．工程ｂの撮影を異なる時間に行って得られる前記複数の物体を含み得るグループの画像に対して工程ｄから工程ｅを行うことで、追跡される物体と前記複数の追跡される前記物体を含み得るグループの画像内での場所の履歴を用いて、前記物体のグループ内の各物体を追跡する工程と、
を実行させるための物体追跡プログラムであることを特徴としている。
【００３５】
請求項１８に記載された物体追跡プログラムは、請求項１７に記載の発明において、前記少なくとも１つの特徴は、前記物体を構成する画素毎に状態値の積算値を含むことを特徴としている。
【００３６】
請求項１９に記載された物体追跡プログラムは、請求項１７に記載の発明において、前記少なくとも１つの特徴は、色ヒストグラムによって表わされる前記物体の色分布を含むことを特徴としている。
【００３７】
請求項２０に記載された物体追跡プログラムは、請求項１７に記載の発明において、前記少なくとも１つの特徴は、前記物体のテクスチャを含むことを特徴としている。
【００３８】
請求項２１に記載された物体追跡プログラムは、請求項１７に記載の発明において、前記物体の前記少なくとも１つの特徴を動的に更新する工程をさらに含むことを特徴としている。
【００３９】
本発明に係る追加の態様は、以下の説明で部分的に述べることになるし、以下の説明から明らかになるであろう。また、本発明に係る追加の態様は、本発明の実施から学ぶことができる。本発明の態様は、以下の詳細な説明及び添付のクレームで具体的に指摘された要素、各種の要素の組合せ及び態様により、実現し且つ達成することができる。
【００４０】
以上の説明及び以下の説明の何れもが、例示的であり且つ説明的なものであり、特許請求の範囲に記載された発明又はその応用を、如何なる場合にも限定する意図はないことを理解されたい。
【発明の効果】
【００４１】
本発明によれば、複数の物体を遮蔽（オクルージョン）に拘らず効率的に追跡する物体追跡方法、物体追跡システム、及び物体追跡プログラムが提供される。
【発明を実施するための最良の形態】
【００４２】
以下の詳細な説明において添付した図面を参照するが、図面において同じ機能的な要素には、同様の番号を付している。添付した図面は、本発明の原理と両立する特定の実施形態及び実装(implementation)を説明するために示すものであり、本発明を特定の実施形態及び実装に限定するものではない。これらの実装は、当業者が本発明を実施できるよう十分詳細に説明されている。また、他の実装が利用でき、各種要素の構造的な変更及び/又は置換が、本発明の範囲及び精神から逸脱することなく行なえるものである。従って、以下の詳細な説明は、限定的な意味で解釈すべきではない。また、説明するように本発明の各種の実施形態は、汎用コンピュータで動作するソフトウェアの形態、専用化されたハードウェアの形態、又はソフトウェアとハードウェアとの組合せの形態で、実施することができる。
【００４３】
本発明の一実施の形態は、遮蔽された物体の最適なコンフィギュレーション（configuration）を見出すための、迅速かつ確実なアプローチである。本発明の一実施の形態は、新規なオクルージョン処理スキームである。これは、二以上の物体間に大きな遮蔽部分がある場合でも、追跡性能を顕著に改善する。このスキームでは、遮蔽された物体の追跡は、共有の物体空間における軌跡に基づくセグメンテーションの問題として提起される。ベイジアン・フレームワークでは、追跡中に評価される特徴は、前景となる物体（foreground）を多層確率マスク（multiple layer probabilistic masks）に変換（interpret）するのに用いられる。確率マスク（probabilistic layers）において遮蔽された物体の最適なコンフィギュレーションを決定するための、非常に効率的な探索方法が提供される。さらに、探索プロセスにおける物体の存在確率は、インテグラル・イメージによって計算することができる。
【００４４】
＜技術的な詳細＞
図１は、本発明の物体追跡システムの一実施形態における好適な処理フローを示す。図１に示す本発明の物体追跡システム１００は、三つの主要な部分、即ち、（１）物体検出１０１、（２）データ関連付け１０２、及び（３）オクルージョン処理のための軌跡に基づくセグメンテーション１０５を含んでいる。本発明のシステムの一実施形態は、複数のモジュールを用いて実施することができ、各モジュールは、図１に示すシーケンスにおける処理ステップに対応している。物体検出、データ関連付け及び軌跡に基づくセグメンテーションに加えて、物体追跡シーケンス１００はまた、結合検出１０３、追跡結果の出力１０４及び１０６、及び以前の軌跡の処理１０７も含んでいる。
【００４５】
物体検出ステップ１０１は、背景モデル化及び変化検出のための各種のアルゴリズムを実施することができる。好適で適切なアルゴリズムが、下記文献に記載されている。（１）VSAM最終レポートにおける、Collins R等の「映像監視及びモニタリングのためのシステム」（Collins R et al, “A system for video surveillance and monitoring” VSAM final report, Carnegie Mellon University, Technical Report: CMU-RI-TR-00-12, 2000）、（２）パターン分析及びマシン・インテリジェンスに関するIEEEトランザクションにおける、C. Stauffer等の「リアルタイム追跡を用いた活動パターンの学習」（C. Stauffer, W. Eric L. Grimson, “Learning Patterns of Activity Using Real-Time Tracking”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 22, Issue 8, pages 747 -757, August 2000）、及び（３）コンピュータ・ビジョン及びパターン認識に関するIEEEコンピュータ・ソサイエティ会議(CVPR05)における、TaoYang等の「動的なシーンにおける複数の物体のリアルタイムな追跡とオクルージョン処理」（TaoYang, Stan.Z.Li, QuanPan, JingLi, “Real-time Multiple Object Tracking with Occlusion Handling in Dynamic Scenes”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPR05), San Diego, USA, 20-25, June 2005）。一実施形態では、上記のC. Stauffer等の文献に記載されている、ガウス混合モデル（Gaussian Mixture Model）を利用して参照背景を評価し、特徴レベルの比較技法を用いて前景ピクセルを得る。
【００４６】
データ関連付けステップ１０２では、「以前の軌跡Ｔ」と「現在の測定されたバウンディングボックスＭ」との間の「ブール対応マトリックス（Boolean correspondence matrix）Ｃ」を利用して、継続、出現、消滅、結合及び分割などの物体の相互作用の全ての有り得る状態を表わす。関連付けは、軌跡Ｔｉと測定値（measure）Ｍｊとの間の類似性が、閾値より大きい場合に確立される。類似性は、空間的特徴又は外観的特徴を用いて計算することができ、本発明のシステムでは、類似性は、下記式（１）に示すように、二つのバウンディングボックス同士の間のオーバーラップ率Ｏ（Ｔｉ，Ｍｊ）として計算される。
【００４７】
【数１】
2009015827.tif 000003
【００４８】
ここで、ＳTi∩Mj、ＳTi及びＳMjは、各々、オーバーラップした領域の面積、軌跡Ｔｉの面積、及び測定値Ｍｊの面積を表わす。上記のR. Cucchiara等の文献及びA. Senior等の文献に記載されているバウンディングボックス間の距離に基づく方法と比較すると、上記式（１）は、空間距離とサイズの相違を１つの式に融合している。
【００４９】
対応マトリックス（行列）Ｃの要素Ｃi,jは、対応する領域同士の間に関連が有る場合は「１」に設定され、関連が無い場合は「０」に設定される。多くの以前の研究、例えば、上記のR. Cucchiara等の文献、A. Senior等の文献、及びTaoYang等の文献、また、コンピュータ・ビジョン及びパターン認識に関するIEEEコンピュータ・ソサイエティ会議（CVPR05）における、Yan Huang等の文献「オクルージョンを貫いた複数の物体の追跡」（Yan Huang, Irfan A. Essa, “Tracking Multiple Objects through Occlusions”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPR05), Vol 2, pp.1051-1058, San Diego, USA, 20-25, June 2005）では、対応マトリックスＣの値を用いて物体の相互作用を分類することが論じられている。
【００５０】
５つの異なる場合が発生し得る。即ち、（１）「継続」で、この場合は、対応する列及び行は、１つの非ゼロ要素（non-zero element）だけを有している；（２）「出現」で、この場合は、対応する列は、全てのゼロ要素を有している；（３）「消滅」で、この場合は、対応する行は、全てのゼロ要素を有している；（４）「結合」で、この場合は、対応する列は、二以上の非ゼロ要素を有している；また、（５）「分割」で、この場合は、対応する行は、二以上の非ゼロ要素を有している。
【００５１】
＜オクルージョン処理のための軌跡に基づくセグメンテーション＞
軌跡に基づくセグメンテーションのステップ１０５では、結合検出の結果を用いて、どの物体がオクルージョンに関与しているかが判定される。また、各物体の追跡履歴から推定された情報を用いて「確率マスクレイヤー（probabilistic mask layer）」を作成する。本発明のシステムの一実施形態では、色分布（color distribution）ｑがこの目的のために選択される。
【００５２】
ｙを中心として、目標候補のピクセル位置を{ｘk}k=1,…,nhで表す。色分布ｑtuを、時間ｔにおける離散的なｍ個のビン（bin）の色ヒストグラムによって表す。ピクセル位置ｘkにおける色の色ビンをｂ（ｘｋ）で表す。この仮定の下では、色ｕの確率ｑは、下記式（２）で表わされる。
【００５３】
【数２】
2009015827.tif 000004
【００５４】
ここで「ｄ」は、下記式（３）に示す「正規化定数」である。ｋ：[0,∞）→Ｒは、目標の中心からより遠い場所により小さな重みを割り当てる、凸状で且つ単調減少する関数である。
【００５５】
【数３】
2009015827.tif 000005
【００５６】
多くの場合、物体が１つのカメラに最初に現れた時は、本体の一部しか見ることができない。また、異なる画像位置における照明の変化によって、物体色が異なる場合がある。従って、１つのフレームのセグメンテーションの結果を選択して、物体テンプレートの色モデルを作成するのは適切ではない。本発明のシステムの一実施形態では、色分布ｑtuはオクルージョンの発生前に動的に更新され、時間ｔにおける軌跡Ｔｉの色分布ｑtuが、下記式（４）で示される。
【００５７】
【数４】
2009015827.tif 000006
【００５８】
被追跡物体同士の間のオクルージョンが検出されて、データ関連付けモジュールが、グループＯg（ｇ＝１，・・・，Ｎ）はＮ個の物体を含んでいると判断した、と仮定しよう。これにより、最も有り得るコンフィギュレーションＯ*g の探索が、最大事後確率 (maximum aposteriori probability：ＭＡＰ)の推定問題となる。
【００５９】
【数５】
2009015827.tif 000007
【００６０】
この問題を解くため、上記のBeleznai 等の文献では、遮蔽された物体のウインドウ内に点のサンプルセットを作り出して、Mean-Shift手法を用いて遮蔽された物体のコンフィギュレーションを見出す。コンフィギュレーションの全てが評価され、最適のコンフィギュレーションが取得される。彼らの方法は、二つの物体のオクルージョンに対しては有効である。しかしながら、三つ以上の物体が遮蔽されたグループを形成している場合は、何千というコンフィギュレーションが必要であり、最適のコンフィギュレーションを求めるには長時間を要する。
【００６１】
物体間のオクルージョンが存在する可能性があるため、各物体Ｏiは、ｉ≠ｊの場合、他のどの物体Ｏｊからも条件付きで独立していない。条件付き確率を用いると、Ｐ（Ｏg｜Ｇ）は、以下のように記述される。
【００６２】
【数６】
2009015827.tif 000008
【００６３】
そして、上記式（５）は、下記式（７）に書き直すことができる。
【００６４】
【数７】
2009015827.tif 000009
【００６５】
動的なプログラミングは、徹底的であり且つ式（７）に示す解が見い出されることが保証されているが、非常に時間が掛かり追跡には適していない。本発明のシステムの一実施形態は、貪欲アルゴリズム（greedy algorithm）を利用して、全ステージにおいて最適のコンフィギュレーションを見出す。貪欲アルゴリズムは、大局的に最適な解を見出すために、各ステージで局所的に最適な選択を行なうアルゴリズムである。
【００６６】
最適のコンフィギュレーションＯ*g ＝{Ｏ*1 ,…,Ｏ*N} が見い出されたと仮定すると、Ｎ個の物体を、最適のコンフィギュレーションにおいて可視状態の物体モデルのフラクションとして計算されるそれらの可視状態の比に従って、Ｎ個の多層レイヤーに順序付けることができる。
【００６７】
一般に、グループ内でより高い可視状態の比を有する物体は、より高い観察確率を有することになる。従って、本実施の形態では、下記の式（８）によって、第１のステージにおける物体Ｏ*1を直接見出すことができる。
【００６８】
【数８】
2009015827.tif 000010
【００６９】
ここで、Ｐ（Ｏi｜Ｇ）は、前景グループＧに亘る物体Ｏi探索の最大事後確率である。
【００７０】
その後、本実施の形態では、各ステージにおける最大の確率を探索することによって、他のステージにおける物体の位置を見出すことができる。
【００７１】
【数９】
2009015827.tif 000011
【００７２】
本実施の形態では、ステージｍにおける確率Ｐ（Ｏi｜Ｇ, Ｏ*1,…, Ｏ*m-1）を計算するために、グループＧ全体に亘って各物体モデルをスキャンし、下記式（１０）を用いて確率を推定すればよい。
【００７３】
【数１０】
2009015827.tif 000012
【００７４】
ここで、ＦXC は、物体マスクの内部に在るカバーされた前景画像であり、前景画像の中心はピクセルｘｃに置かれている。Ｐ（Ｏi｜ＦXC）は、下記式（１１）に示すように、ピクセル全体に亘る平均確率として計算される。
【００７５】
【数１１】
2009015827.tif 000013
【００７６】
ここで、Ｉ（ｘk）は、ｘkに位置しているピクセルの強度値であり、ｗ、ｈは物体Ｏiの幅及び高さである。条件付き確率であるＰ（Ｏi｜Ｉ（ｘk））は、下記式（１２）に示すように、ベイズの定理を用いて次のように計算する。
【００７７】
【数１２】
2009015827.tif 000014
【００７８】
Ｐ（Ｏi｜ＦXC）を求める上記の方法は、１つの好適な方法である。しかしながら、異なる仮定による他の方法も使用できる。例えば、ピクセル全体に亘って平均確率を計算するのではなく、物体Ｏi におけるピクセル全体からの条件付き独立を仮定した場合には、上記式（１０）におけるＰ（Ｏi｜ＦXC） を、下記式（１２ａ）のように同時確率（joint probability）として計算することができる。
【００７９】
【数１３】
2009015827.tif 000015
【００８０】
上述した通り、条件付き確率Ｐ（Ｏi｜ＦXC）は、追跡される物体の輪郭の内側に含まれるピクセルの平均確率または同時確率として計算することができる。
【００８１】
実際には、Ｐ（Ｉ（ｘk）｜Ｏi）は、上記式（４）の物体Ｏi の色ヒストグラムによって推定される。Ｐ（Ｏi）は、オクルージョンが発生する前の物体の相対的なサイズ（comparative size）であり、上記式（１１）における物体を構成するピクセル確率の合計は、P.Viola等の以下の文献に記載されているように、２次元のインテグラル・イメージによってリアルタイムに計算される。即ち、物体を構成する画素毎の状態値の積算値を用いて計算される。コンピュータ・ビジョン及びパターン認識に関するIEEEコンピュータ・ソサイエティ会議における、P.Viola等、「簡単な特徴のブーストされたカスケードを用いる迅速な物体検出」（P.Viola and M.Jones, “Rapid object detection using a boosted cascade of simple features”, IEEE Computer Society Conference on Computer Vision and Pattern Recognition Conference (CVPR01), Vol 1, pp.511-518, Kauai, Hawaii, 2001）。
【００８２】
個々の物体の仮説（object hypotheses）の確率は独立的ではないため、以前のステージにおいて選択された物体によってカバーされたピクセルは、現在の探索空間から除去すべきである。物体の非剛性輪郭（non-rigid contour）を考慮すると、使用した長方形モデルは精密さに欠ける。従って、カバーされたピクセルを除去する代わりに、以前のステージにおいて選択された最も近い物体の中心までのそれらの距離に従って、それらの確率を低下させるように操作（punish）する。この操作（punishment）は、境界に近いピクセルは、遮蔽される可能性がより高いという仮定を基にしており、一般に、この仮定は多くの監視シナリオで有効である。従って、上記式（１２）は、ステージｉ（ここで、ｉ＞１）における物体に対して、下記式（１３）のように書き換えられる。
【００８３】
【数１４】
2009015827.tif 000016
【００８４】
ここで、Ｘｇ+は、以前のステージにおいて物体によってカバーされたピクセルのセットであり、Ｘｇ-は、カバーされなかったピクセルのセットを表わし、φ：[0,∞）→Ｒは、以前のステージにおいて選択された目標の中心ｒの近くの場所にはより小さな重みを割り当てる、凹状で且つ単調増大する関数である。
【００８５】
追跡されるの物体の存在確率は、目標物体の中心から離れる方が低下するように設定されるが、他の物体により遮蔽された物体の存在確率は、過去に撮影された画像中でその物体の中心に近い方が低下するように設定される。
【００８６】
図２（Ａ）は、人物のモデルを生成するための本発明のアルゴリズムの好適な一実施形態を示す。一人の人物を含む領域が、ステップ２０１で識別される。一実施形態では、ステップ２０１で識別された領域に基づいて、ステップ２０２で、人物の色ヒストグラムが生成される。この色ヒストグラムは、ステップ２０３で、人物のモデルを得るのに又は更新するのに利用される。ステップ２０１〜２０３のシーケンスは、人物のモデルを更新し続けるために、連続的に繰り返される。前述の結果として生じた人物のモデルは、人物の画像の各種の視覚的な特徴に基づいている。好適なステップ２０２で生成された色ヒストグラムに加えて、人物のモデルは、人物の他の画像特徴、並びに人物のテクスチャ特性に基づいて作成することができる。一実施形態では、人物のモデルは、人物の形状を単一の長方形として近似する。別の実施形態では、形状は、頂部に人物の頭部を表わすより小さな長方形を有するより大きな長方形として近似される。物体の場合は、モデルは、物体の形状に応じて、任意の適切な近似を用いることができる。
【００８７】
図２（Ｂ）は、オクルージョンの曖昧性を解消するための本発明のアルゴリズムを示す。具体的には、ステップ２０４では、図１に示したアルゴリズムのステップ１０３から人物達のブロブ（blob：ピクセルの塊）の画像を得る。オクルージョンの曖昧性の解消は、ステップ２０５で、前述のブロブの画像と、図２（Ａ）のステップ２０１〜２０３で作成したモデル２０７と、を用いて行なわれる。オクルージョンの曖昧性解消ステップ２０５の結果として、各人物に対応する領域が、ステップ２０６で決定される。これらの領域の場所は、本発明のトラッカー（追跡装置）によって追跡される。
【００８８】
図３は、オクルージョンの曖昧性を解消するためのアルゴリズムの好適な一実施形態を示す。具体的には、ステップ１０３で識別されたブロブにおける人物達に対応するモデルのセットから、ステップ３０１で、各人物のモデルが選択される。選択されたモデルの各々は、ステップ３０２で、ブロブ内の領域にマッチングされる。各マッチングは、ステップ３０３で上記のように採点される。全モデルに対して、ステップ３０１〜３０３が繰り返される（ステップ３０４参照）。ステップ３０５で、ベストスコアを有するモデルが選択される。なお、スコアが閾値を超える場合（物体モデルに対する条件付存在確率が所定値以上となる場合）に、モデルを選択するようにしても良い。オクルージョンの曖昧性解消で利用されるアルゴリズムの貪欲（greedy）な性質に従って、ステップ３０６で選択されたモデルをモデルのリストから除去する。ステップ３０７で、まだ他にモデルが残っていると判定された場合は、アルゴリズムは、ループ３０９に従って、それら残りのモデルを処理する。他にモデルが残っていなければ、ステップ３０８で、フレーム内の全ての物体の場所が示される。
【００８９】
本発明のシステムの好適な実施形態が、追跡される物体として人物を用いて、図２（Ａ）、図２（Ｂ）及び図３に示されていることに注目されたい。しかしながら、人物とは別の任意の種類の物体が使用できることは、当業者には明らかであろう。
【００９０】
＜物体追跡システムの実施形態＞
本発明のリアルタイム物体追跡システムの好適な一実施形態が、Ｃ＋＋プログラミング言語で開発された。実施形態に係るシステムは、３２０×２４０ピクセルの解像度において、３.０ＧＨｚの標準的なＰＣで、平均毎秒１５フレームで実行された。これまで、実施形態に係るシステムは、ＰＥＴＳ（Performance Evaluation of Tracking and Surveillance）２０００、ＰＥＴＳ２００６及びＩＢＭ性能評価データセットを含む、屋内環境及び屋外環境において、ベンチマーク・データセットの複数のシーケンスで試験されてきた。この項では、上記のデータセットにおけるその物体追跡の性能を説明する。
【００９１】
ＰＥＴＳ２００６のベンチマーク・データセットは、図４で示すように、１人離れて又は大きな一群の一部として歩いている人々で、適度に混雑した鉄道の駅を撮影したシーケンスを含んでいる。シナリオは、４台のカメラにより、異なる視点から獲得される。この例では、カメラ３からのシーケンスを用いる。第１行目は、入力画像及び追跡結果を示し、第２行目は、物体画像（foreground image）を含んでいる。オクルージョン発生前（図４（ａ）は、各人物の色特徴は、動的に更新される。図４（ｃ）では、３個の物体が、オクルージョンを伴うグループを形成している。さらに、物体９１、９２及び９４中には、同様の色が存在していることに注目されたい。結合及び分割（ＭＳ）に基づく方法は、この状態では上手くいかない場合がある。しかしながら、式（１２）及び（１３）を用いて、グループ内の各ピクセルの条件付き確率を計算することによって、各物体を識別する色特徴の確率が増大し、各物体が正確にセグメンテーションされる（図４（ｃ））。図４（ｄ）では、物体９４と９５との間に、単純な最隣接データの関連付けに起因する追跡エラーが現れていることに注目されたい。
【００９２】
図５及び図６のシーケンスは、ＩＢＭ性能評価データセットから取得したものである。図５では、二人の人物が、複雑な背景を有する異なる屋内事象シーンで、互いに他を横切って歩いている。両方のシーンにおいて、部分的なオクルージョンが発生している最中（図５（ｂ）、図５（ｃ）、図５（ｆ）、図５（ｇ））も、追跡は非常に良好に行なわれる。図６は、室内の三人の人物の追跡結果を示す。このシーケンスにおいては、一人の人物（図６の物体２６５）は立っており、他の二人は彼女（物体２６５）の周りを回っている。図６（ｃ）では、物体２６８は、物体２６７によってひどく遮蔽されている。そして、追跡エラーが、このフレーム（図６（ｃ））における物体２６８に現れていることに注目されたい。この状態では、Mean-Shiftなどの多くの局所的な最適探索法は、失敗する場合がある。本発明のアプローチは、オクルージョンが発生している各フレームのグループ全体に亘って、最適なコンフィギュレーションを探索するので、物体がひとたび再出現すると、システムは直ちに追跡エラーから回復することになる（図６（ｄ））。
【００９３】
ＰＥＴＳ２０００のベンチマーク・データセットは、本発明のシステムの一実施形態の性能を屋外シーンで試験するのに使用された。図７は、１つのシーケンスにおける、異なる人物と１台の車両の軌跡を示す。本発明のアプローチは、車両と人物との間の各種の相互作用を正確に処理することに注目されたい（図７（ｃ）、図７（ｆ））。
【００９４】
上記の実験結果から分かるように、本発明のトラッカー（追跡装置）は、部分的なオクルージョン又は完全なオクルージョンのように、異なる状態の下でも、複数の物体の複雑な相互作用を追跡することができる。オクルージョンが発生している物体のセグメンテーションは、グループ内の各物体の可視状態の比（visible ratio）に基づく貪欲探索法（greedy searching method）によって達成される。また、インテグラル・イメージを用いて、画像確率がリアルタイムに計算される。
【００９５】
以上の通り、本実施の形態では、変化する数の物体を、オクルージョンを考慮して追跡を行う新規で効率的なアプローチが提供されている。オクルージョンが発生中の物体追跡は、共有の物体空間における軌跡に基づくセグメンテーションの問題として提起される。前景（物体）は、外観モデルを用いて、ベイジアン・フレームワーク内の多層確率マスクに変換される。最適なセグメンテーションの解の探索が、リアルタイム計算のための貪欲な探索アルゴリズム及びインテグラル・イメージによって達成される。いくつかの挑戦的なビデオ監視シーケンスにおける有望な結果が実証されている。
【００９６】
＜好適なコンピュータプラットフォーム＞
図８は、本発明の物体追跡方法、物体追跡システム、物体追跡プログラムの一実施形態を実施することができるコンピュータ／サーバシステム８００の一実施形態を示すブロック図である。システム８００は、コンピュータ／サーバプラットフォーム８０１、周辺装置８０２及びネットワーク資源８０３を備えている。
【００９７】
コンピュータプラットフォーム８０１は、コンピュータプラットフォーム８０１の各種の部分を越えて又はそれらの中で情報を通信するためのデータバス８０４又は他の通信機構と、情報を処理すると共に他の計算及び制御タスクを行なうためのデータバス８０４と結合されたプロセッサ８０５と、を備えることができる。また、コンピュータプラットフォーム８０１は、プロセッサ８０５によって実行されるべき各種の情報並びに命令を記憶させるための、バス８０４に結合されたランダムアクセスメモリ（ＲＡＭ）又は他の動的な記憶装置などの揮発性記憶装置８０６も備えている。また、揮発性記憶装置８０６は、プロセッサ８０５による命令の実行中に一時的な可変数又は他の中間情報を記憶させるのに使用することもできる。コンピュータプラットフォーム８０１は、さらに、基本入出力システム（ＢＩＯＳ）、並びに、各種のシステム構成パラメータなどのプロセッサ８０５用の静的情報及び命令を記憶させるための、バス８０４に結合されたリードオンリーメモリ（ＲＯＭ又はＥＰＲＯＭ）８０７又は他の静的記憶装置を備えることができる。また、磁気ディスク、光ディスク、又はソリッドステート・フラッシュメモリデバイスなどの不揮発性（永続的）記憶装置８０８が、情報及び命令を記憶させるために設けられると共に、バス８０４に結合されている。
【００９８】
コンピュータプラットフォーム８０１は、バス８０４を介して、陰極線管（ＣＲＴ）、プラズマディスプレイ、又は液晶ディスプレイ（ＬＣＤ）などのディスプレイ８０９に結合して、コンピュータプラットフォーム８０１のシステム管理者又はユーザに情報を表示することができる。入力装置（キーボード）８１０（英数字及び他のキーを備えている）は、バス８０４に結合されて、情報及びコマンド選択をプロセッサ８０５に通信する。別のタイプのユーザ入力装置は、方向情報及びコマンド選択をプロセッサ８０４に通信すると共にディスプレイ８０９におけるカーソル移動を制御するための、マウス、トラックボール、又はカーソル方向キーなどのカーソル操作装置（マウス／位置決め装置）８１１である。この入力装置は、一般に、装置に平面内の位置を指定することを可能にする２軸、すなわち、第一の軸（例えば、ｘ）及び第二の軸（例えば、ｙ）において、自由度２を有している。
【００９９】
外部記憶装置８１２は、バス８０４を介して、コンピュータプラットフォーム８０１に接続して、コンピュータプラットフォーム８０１に、付加的な又はリムーバブルな記憶容量を与えることができる。コンピュータシステム８００の一実施形態では、外部のリムーバブル記憶装置８１２は、他のコンピュータシステムとのデータの交換を容易にするのに使用することができる。また、物体の画像を撮影するために、バス８０４を介して、少なくとも１台のカメラ８３０が接続されていてもよい。
【０１００】
本発明は、ここで述べた技法を実施するための、コンピュータシステム８００の使用に関する。一実施形態では、本発明のシステムは、コンピュータプラットフォーム８０１などの機械に組み込むことができる。本発明の一実施形態によれば、ここで述べた技法は、揮発性メモリ８０６に含まれている１つ又はそれ以上の命令の１つ又はそれ以上のシーケンスを実行するプロセッサ８０５に応答して、コンピュータシステム８００によって行なわれる。このような命令は、永続的記憶装置８０８などの別のコンピュータで読み取り可能な媒体から揮発性メモリ８０６に読み取ることができる。揮発性メモリ８０６に含まれている命令のシーケンスの実行は、プロセッサ８０５にここで述べた処理ステップを行なわせる。別の実施形態では、ハードワイヤード回路を、ソフトウェア命令の代わりに、あるいは、ソフトウェア命令と組み合わせて使用して、本発明を実施することができる。このように、本発明の実施形態は、ハードウェア回路とソフトウェアとのいかなる特定の組合せにも限定されない。
【０１０１】
ここで使用される用語「コンピュータで読み取り可能な媒体」は、プロセッサ８０５に命令を与えて実行させる工程に参加する任意の媒体を指す。コンピュータで読み取り可能な媒体は、ここで述べた方法及び（又は）技法のうちのいずれかを実施するための命令を実行可能なプログラム（本発明の物体追跡プログラム）を保持することができる、機械で読み取り可能な媒体の一例にすぎない。このような媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含む（しかしこれらに限定されない）多くの形態を取ることができる。不揮発性媒体の例としては、永続的記憶装置８０８などの光又は磁気ディスクが挙げられる。揮発性媒体の例としては、揮発性記憶装置８０６などの動的メモリが挙げられる。伝送媒体の例としては、同軸ケーブル、銅線及びファイバーオプティクスが挙げられ、データバス８０４を備えるワイヤが挙げられる。伝送媒体はまた、音響又は光波（無線及び赤外データ通信中に生成されるものなど）の形態も取ることができる。
【０１０２】
一般的な形態のコンピュータで読み取り可能な媒体の例としては、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気記録媒体、ＣＤ-ＲＯＭ、任意の他の光記録媒体、パンチカード、紙テープ、任意の他の孔パターンを有する物理的記録媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ-ＥＰＲＯＭ、フラッシュドライブ、メモリカード、任意の他のメモリチップ又はカートリッジ、以下に述べる搬送波、又はコンピュータがそれから読み取り得る任意の他の記録媒体が挙げられる。
【０１０３】
コンピュータで読み取り可能な各種の形態の媒体は、１つ又はそれ以上の命令の１つ又はそれ以上のシーケンスをプロセッサ８０５に運んで実行させる工程に関与することができる。例えば、命令は、初期的には、遠隔のコンピュータから磁気ディスクで運ぶことができる。別法として、遠隔のコンピュータは、命令をその動的メモリに搭載すると共にそれら命令をモデムを用いて電話回線を介して送信することができる。コンピュータシステム８００に対してローカルなモデムは、電話回線でデータを受信すると共に、赤外線送信器を用いてデータを赤外信号に変換することができる。赤外検出器は、赤外信号で運ばれるデータを受信することができると共に、適切な回路でデータをデータバス８０４上に乗せることができる。バス８０４は、データを揮発性記憶装置８０６に運び、そこからプロセッサ８０５は、命令を検索して実行する。揮発性メモリ８０６によって受信された命令は、オプションとして、プロセッサ８０５による実行の前又は後に、永続的記憶装置８０８に記憶させることができる。命令はまた、この技術で周知の各種のネットワークデータ通信プロトコルを用いて、コンピュータプラットフォーム８０１に、インターネットを介して、ダウンロードすることもできる。
【０１０４】
コンピュータプラットフォーム８０１はまた、データバス８０４に結合されたネットワークインタフェースカード８１３などの通信インタフェースも備えている。通信インタフェース８１３は、イントラネット等のローカルネットワーク（ＬＡＮ）８１５に接続されているネットワークリンク８１４への双方向データ通信結合を行う。例えば、通信インタフェース８１３は、対応するタイプの電話回線へのデータ通信接続を行うサービス総合ディジタル通信網（ＩＳＤＮ）カード又はモデムとすることができる。別の例としては、通信インタフェース８１３は、コンパチブルＬＡＮへのデータ通信接続を行うローカルエリアネットワークインタフェースカード（ＬＡＮ ＮＩＣ）とすることができる。ネットワーク実装のためには、既知の８０２.１１ａ、８０２.１１ｂ、８０２.１１ｇ及びブルートゥースなどの無線リンクを使用することもできる。任意のこのような実装では、通信インタフェース８１３は、さまざまなタイプの情報を表わすディジタルデータストリームを運ぶ電気、電磁気又は光信号を送信し且つ受信する。
【０１０５】
ネットワークリンク８１４は、一般に、少なくとも１つのネットワークを介して、他のネットワーク資源へのデータ通信を行う。例えば、ネットワークリンク８１４は、ローカルネットワーク８１５を介して、ホストコンピュータ８１６、又はネットワーク記憶装置／サーバ８２２への接続を行うことができる。追加的に又は別法として、ネットワークリンク８１４は、ゲートウェイ／ファイアウォール８１７を介して、インターネットなどのワイドエリア又はグローバルネットワーク８１８に接続することができる。このように、コンピュータプラットフォーム８０１は、遠隔ネットワーク記憶装置／サーバ８１９などの、インターネット８１８上のどこにでも在るネットワーク資源にアクセスすることができる。一方、コンピュータプラットフォーム８０１はまた、ローカルエリアネットワーク８１５及び（又は）インターネット８１８上のどこにでも在るクライアントからアクセスすることができる。ネットワーククライアント８２０及び８２１は、それら自体、プラットフォーム８０１と同様のコンピュータプラットフォームに基づいて実施することができる。
【０１０６】
ローカルネットワーク８１５及びインターネット８１８は、共に、ディジタルデータストリームを運ぶ電気、電磁気又は光信号を使用する。各種のネットワークを介した信号、及びネットワークリンク８１４上の信号及び通信インタフェース８１３を介した信号は、ディジタルデータをコンピュータプラットフォーム８０１に運ぶと共に、プラットフォーム８０１から運ぶものであり、情報を運ぶ好適な形態の搬送波である。
【０１０７】
コンピュータプラットフォーム８０１は、メッセージを送信すると共に、プログラムコードを含むデータを、インターネット８１８及びＬＡＮ８１５、ネットワークリンク８１４及び通信インタフェース８１３を含む各種のネットワーク（複数も可）を介して、受信することができる。インターネットの例では、プラットフォーム８０１が、ネットワークサーバとして働く場合は、プラットフォーム８０１は、インターネット８１８、ゲートウェイ／ファイアウォール８１７、ローカルエリアネットワーク８１５及び通信インタフェース８１３を介して、要求されたコード又はクライアント（複数も可）８２０及び（又は）８２１上で動作するアプリケーションプログラム用のデータを送信することができる。同様に、それは、他のネットワーク資源からコードを受信することができる。
【０１０８】
受信されたコードは、それが受信されたときに、プロセッサ８０５によって実行させることができる。及び（又は）、不揮発性又は揮発性記憶装置８０８及び８０６又は他の不揮発性記憶装置に記憶させて、後で実行させることができる。このやり方で、プラットフォーム８０１は、搬送波の形態でアプリケーションコードを得ることができる。
【０１０９】
最後に、ここで述べた処理及び技法は、いかなる特定の装置にも本来関わるものではなく、構成要素の任意の適当な組合せによって実施することができることを理解されたい。さらに、さまざまなタイプの汎用装置が、ここで述べた教示に従って使用可能である。ここで述べた方法工程を行うため専用化された装置を作製することが有利である、と分かる場合もある。本発明は、あらゆる点で、限定的ではなく説明的であることを意図した特定の例に関連して説明した。当業者であれば、ハードウェア、ソフトウェア、及びファームウェアの多くの異なる組合せが、本発明を実施するのに適切であることが理解できるであろう。例えば、記述したソフトウェアは、Assembler、C／C++、perl、shell、PHP、Ｊａｖａ（登録商標）、などの多種多様なプログラミング又はスクリプティング言語で、実施することができる。
【０１１０】
さらに、ここで開示した本発明の明細書及び実施形態を考慮すれば、当業者には、本発明の他の実装が明らかであろう。記述した実施形態の各種の態様及び（又は）構成要素は、コンピュータ化された物体追跡システムにおいて、単独で又は任意の組合せで使用することができる。明細書及び実施例は、特許請求の範囲に示される本発明の真の範囲及び主旨により、好適なものであるとのみ見なされることが意図されている。
【図面の簡単な説明】
【０１１１】
【図１】本発明の物体追跡システムの一実施形態における好適な処理の流れを示す図である。
【図２】本発明の画像処理アルゴリズムの好適な一実施形態を示す図である。
【図３】オクルージョンの曖昧性解消のためのアルゴリズムの好適な一実施形態を示す図である。
【図４】本発明の物体追跡システムの一実施形態による、オクルージョンを伴う物体追跡を、ベンチマーク・データセットからの映像を用いて示す図である。
【図５】本発明の物体追跡システムの一実施形態による、オクルージョンを伴う物体追跡を、別のベンチマーク・データセットからの映像を用いて示す図である。
【図６】本発明の物体追跡システムの一実施形態による、オクルージョンを伴う物体追跡を、また別のベンチマーク・データセットからの映像を用いて示す図である。
【図７】本発明の物体追跡システムの一実施形態による、オクルージョンを伴う物体追跡を、また別のベンチマーク・データセットからの映像を用いて示す図である。
【図８】本発明の物体追跡システム等を実施することができるコンピュータプラットフォームの好適な一実施形態を示す図である。
【図１】
2009015827.tif 000017
【図２】
2009015827.tif 000018
【図３】
2009015827.tif 000019
【図８】
2009015827.tif 000020
【図４】
2009015827.tif 000021
【図５】
2009015827.tif 000022
【図６】
2009015827.tif 000023
【図７】
2009015827.tif 000024