(57)【要約】      （修正有）【課題】物体構成追跡モデルの性能を向上させる。【解決手段】感覚入力データに基づく物体および物体構成の追跡のための方法であって、（１．１）基本補充：すでに追跡された物体によってまだカバーされていない感覚入力データ中の関心対象部分を検出し、これらの部分の状態を連続的に推定するためにこれらの部分の基本追跡モデルを増分的に初期設定するステップと、（１．２）追跡モデル複雑さ調整：実行時に、被追跡物体に対して、より複雑な予測モデルおよび、または測定モデルと、より単純な予測モデルおよび、または測定モデルをテストするステップと、（１．３）基本解除：トラッカの予測および測定のプロセスがある時間にわたって十分な感覚的裏付けを得られない感覚データの部分からトラッカを解除するステップとを含む。【選択図】図１
2011118891.tif 000002
【特許請求の範囲】
【請求項１】
ビデオカメラ（３０、３１）などといったストリーミングセンサから供給される感覚データ（３）に基づいて物体を追跡する方法であって、
それぞれがトラッカ予測および測定プロセスを含む１つまたは複数のトラッカモデル（９）を使用して前記感覚入力データ（３）を処理するステップと、
前記感覚データ（３）がトラッカモデル（９）によってまだカバーされていない関心対象部分を含むかどうか判断し（１６）、そうである場合に、新しいトラッカオブジェクトを初期設定するステップと、
前記トラッカの予測および測定のプロセスがある時間にわたって十分な感覚的裏付けを得られない場合に被追跡物体を解除する（２９）ステップと、
実行時により複雑な追跡モデルとより単純な追跡モデルをテストすることによって使用される前記追跡モデルの抽象レベルを調整するステップと、
を含む方法。
【請求項２】
前記追跡モデルの前記抽象レベルは、
長期記憶（１１）からの追跡モデルグラフを走査して、グラフ接続性の点で現在のモデルに関連する代替の追跡モデル候補を選択すること、
前記代替の追跡モデル候補の性能評価、および
前記代替モデルのうちの１つが所与の物体の追跡を続行するのに使用されるかどうか判断すること
によって調整される、
請求項１に記載の方法。
【請求項３】
前記抽象レベルは、独立に追跡される物体を結合してさらに単一の複合体として追跡される物体構成にすることによって調整される、
請求項１または２に記載の方法。
【請求項４】
感覚入力データ（３）に基づく物体および物体構成追跡のための方法であって、
（４．１）基本補充（１６）：すでに追跡された物体によってまだカバーされていない感覚入力データ（３）中の関心対象部分を検出し、前記まだ追跡されていない物体の状態を連続的に推定するためにこれらの部分の基本追跡モデルを増分的に初期設定する（１７）ステップと、
（４．２）追跡モデル複雑さ調整（１９）：実行時に、被追跡物体に対して、より複雑な予測および、または測定のモデルと、より単純な予測および、または測定のモデルをテストするステップと、
（４．３）基本解除（２９）：トラッカの予測および測定のプロセスがある時間にわたって十分な感覚的裏付けを得られない感覚データ（３）の部分からトラッカを解除するステップと、
を含む方法。
【請求項５】
ステップ（４．２）は、
適切な状況依存のモデルの集合の中から新しい予測および、または測定のモデル候補を選択すること、性能の評価および比較、ならびに代替の予測および、または測定モデルが物体または物体構成のさらなる追跡に使用されるかどうかの最終判断
を含む、
請求項４に記載の方法。
【請求項６】
前記状況依存の予測および、または確認のモデルの集合の前記選択は、
（６．１）（予測および、または測定のモデルを含む）追跡モデル自体および前記モデル間の近隣関係を記述する前記モデルの基本グラフ構造であり、設計によって作成されたものとすることも、学習システムによって取得されたものとすることもできる前記グラフ構造を記憶するステップと、
（６．２）物体追跡時（ステップ１）に、前記グラフ（６．１）において利用可能な前記モデルの中から予測および、または測定のモデルを選択するステップであり、各被追跡物体が、前記グラフの中からのどの（１つまたは複数の）モデルを使用するか（すなわち前記グラフにおける前記各被追跡物体の位置）の記憶を保持する前記ステップと、
（６．３）追跡モデル複雑さ調整時（ステップ１および４．２）に、前記追跡モデルの前記近隣関係および被追跡物体の前記グラフにおける前記位置を使用して、検査されるモデル候補の集合を系統的に縮小するステップと
を含むグラフ様の構造によってサポートされる、
請求項５に記載の方法。
【請求項７】
（６．１）からの前記グラフは、前記被追跡物体の統計および、または教育インスタンス（人または機械）からの指示データを評価することによって調整され、改善され、拡張される、
請求項６に記載の方法。
【請求項８】
予測および、または測定のモデルの前記グラフ構造は階層的であり、有向非循環グラフの形をしている、
請求項６または７に記載の方法。
【請求項９】
前記グラフ構造の各部分が構成性情報を表す、すなわち、いくつかの下位トラッカを、前記下位トラッカを制約／支配する上位（より高レベルの）トラッカによってマージすることができる、
請求項６乃至８のいずれかに記載の方法。
【請求項１０】
前記グラフ構造の各部分が、例えば、異なるカメラからの各物体を、前記各物体の感覚原因が上位トラッカで表される単一の物理的対象物であることを利用して結合するなど、異なる感覚様式からの異なる下位のトラッカをどのようにして結合すべきかに関する情報を表す、
請求項６乃至９のいずれかに記載の方法。
【請求項１１】
下位トラッカに対する上位トラッカの前記制約／支配は、例えば、３Ｄで動作し、２Ｄで動作する下位のトラッカを制約し、前記３Ｄから前記２Ｄのトラッカに情報を渡すときに３Ｄ／２Ｄ座標変換を必要とする上位トラッカの場合のように、前記下位トラッカの状態記述に適応する状態変換ステップを伴う、
請求項１０に記載の方法。
【請求項１２】
前記追跡モデルは、予測モデルの混合および評価のために、動的ベイズネットワーク、パーティクルフィルタ、複数スイッチング動的モデルなどといった確率的方法によって実施される、
請求項１乃至１１のいずれかに記載の方法。
【請求項１３】
前記感覚入力データはステレオ・ビデオ・カメラからのデータである、
請求項１乃至１２のいずれかに記載の方法。
【請求項１４】
コンピューティング機器上で実行されると請求項１乃至１３のいずれかに記載の方法を実施するコンピュータ・ソフトウェア・プログラム製品。
【請求項１５】
ビデオカメラなどといったストリーミングセンサを備え、請求項１から１３のいずれかに記載の方法を実施するように設計されたコンピューティングユニットを有するコンピュータベースの追跡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関与するモデル化レベルの複雑さを適応させる物体および物体構成を追跡するためのセンサベースのシステムに関する。この適応は、状況依存の調整と、追跡モデル間の原型的関係グラフとしての知識を組み込むこととによって自律的に行われる。
【０００２】
一般に、本発明における追跡システムは、感覚データを処理し、
センサに（１つまたは複数の）センサの入力フィールドにおいて１つまたは複数の標的を追跡させるための制御信号を生成し、または
（１つまたは複数の）センサの入力フィールドにおける１つまたは複数の追跡される標的の領域を表示する。
【背景技術】
【０００３】
視覚（ビデオベースの）標的追跡などといった標的追跡は、モニタリング、監視、誘導、障害物回避および場面解釈を伴う、主に大規模な一連のコンピュータビジョン領域に関連する主題である。その適用領域は、レーダ制御、交通モニタリング、視覚ベースのロボット工学といった多様な分野を含む。
【０００４】
物体を追跡することは、１）その物体のパラメータが時間の経過と共にどのように発展するか、ならびに２）物体の推定状態を感覚測定とどのように関連付けることができるかのモデル記述を伴う。これら２つのモデルは、例えば、その物体がニュートン物理学に従って弾道として振る舞うことを表示することによって、あるいは特有の既知の物体の色を使用した感覚測定などによって、追跡されるべき具体的物体とその動力学に合わせて調整される必要がある。
【０００５】
領域特有の用途では、関与するモデルの単一の定められた記述だけで十分である。しかし、複雑な視覚場面が関与する状況では、関与するモデルの動的なスイッチングおよび適応を可能にするシステムが必要とされる。その一例が、落下する間は弾道として運動するが、床に当たると跳ね返り、異なる運動モデルが必要になる、弾むボールを標的とする状況などである。
【０００６】
そのような状況を扱う現在の方法は、確率的に処理される混合モデル（非特許文献１）を導入し、追跡システムが感覚的観測と最も適合するモデルにより重きを置くことを可能にすることによるものである。
【０００７】
現在利用可能な追跡モデルの欠点は、混合に使用されるすべての可能な単一モデルを最初から追跡プロセスに直接統合する必要があること、およびそれらのモデルが同時に評価される必要があることである。
【０００８】
それでもなお、追跡することのできる物体の複雑度が定まっておらず、各物体を追跡可能な物体構成に編成することができ、この編成は、物体構成をさらに大きい追跡可能な集合体に編成することにより階層的に行われ得ると考える場合には、追跡モデルの潜在的空間は組み合わせ的に大きくなる。その場合、可能な追跡モデルの全範囲をカバーするための予め定められた追跡モデルの混合を考案することができない。
【０００９】
追跡することは、感覚入力から物体の動的パラメータを推定することである。その周知の例が動く物体の位置追跡である。この場合の目標は、物体を放さずに、物体の２Ｄまたは３Ｄ位置、速度などを正確に推定することである。
【００１０】
図１に典型的な追跡プロセスがその追跡モデルと共に示されている。
【００１１】
図１に示すように、物体１または物体構成２は、追跡システム４のための感覚入力を生成するセンサ装置３によって感知される。
【００１２】
「物体構成」２の下では、例えば、異なる運動（車体５の場合には単なる変位だけ、車輪６、６’の場合には変位と回転の組み合わせ）を行う車体５や車輪６、６’といった物体が、この例では車の変位がそうである１つの共通の追跡可能な運動を行う際にまとめてグループ化されるものと理解すべきである。
【００１３】
図１に示す追跡プロセスおよび追跡システムは本質的に、確認モジュール７と予測モデル８を備える。
【００１４】
追跡システム４は追跡モデル９を備える。前述のように、追跡モデル９は、物体パラメータが時間の経過と共にどのように発展するか、ならびに物体の推定状態を感覚入力とどのように関連付けることができるかの記述である。
【００１５】
図１に示すように、追跡は、以下で予測および確認または測定と呼び、やはり図１に示すそれらの対応する予測および確認または測定モデルによって定義される２つのステップを伴う。予測ステップでは、内部状態で表される物体の推定パラメータが、その状態がどのように時間的に変化すると予期されるか記述し、普通は一連の仮説的な未来の状態をもたらす選択された動的モデルによって未来に外挿される。確認ステップでは、その一連の仮説的な未来の状態が、感覚入力との適合性を有するかどうか比較され、次いで、未来の状態の良好な予測を提供する状態が現在の状態の推定を決定する。
【００１６】
約言すれば追跡プロセスは、標的の動的状態推定のための制約付き探索戦略であり、このプロセスでは事前設定モデルとして被追跡物体に関する事前知識に従って仮説が生成、確認され、モデルの品質が追跡プロセスの品質に大きな影響を及ぼす。したがって、所与の追跡タスクおよび状況のための適正なモデルを見つけることがきわめて重要である。同じ論法によれば、モデルの適正な粒度および抽象化のレベルを見つけることも重要である。トラッカ（ｔｒａｃｋｅｒ）は、例えば、車の各車輪をそれぞれ別個に推定することもできる。しかしこれはおそらく、その動力学を記述するのに最適な抽象化のレベルではない。というのは、各車輪の運動が共通の原因、この場合には各車輪が装着されている動く車によって発生することを示す内部予測モデルを有する方が好都合だからである。
【００１７】
あらゆる状況およびあらゆる粒度レベルに等しく適合する単一の追跡モデルは存在しない。さらに、動的な場面では、物体の運動は変動し、最適な追跡モデルも変動する。したがって、最適で、効率のよい追跡のためには、追跡プロセスに関与する記述モデルの自律的調整が必要である。
【００１８】
研究者らの確率論的主流は、動的ベイズ推論（非特許文献１）など）のレベルでの追跡に言及し、これを離散時間における確率状態推定問題として記述している。この場合、標的の状態ベクトルｘは、物体の位置、速度、加速度などといった物体のパラメータを含む。ベイズ法ではまず、状態予測モデルを使用して標的の新しい状態（すなわち、次の時間ステップにおける予期される状態、およびそれらの状態の発生確率）を予測する。次いで、標的の状態の測定値を使用して標的の予測状態を評価（すなわち確認または拒絶）する。
【００１９】
以下の例示的なベイズの式は、状態ｘ（時間的指数を有する）と、感覚測定値Ｚ（指数１：ｋを有するＺは時間ステップ１からｋまでのすべての測定値を表し、〜は「〜に比例する」を意味する）とに基づいて、この現在の追跡方法の２ステップ挙動を次のように記述する：
ｐ（ｘｋ｜Ｚ１：ｋ−１）＝∫ｐ（ｘｋ｜ｘｋ−１）ｐ（ｘｋ−１｜Ｚ１：ｋ−１）ｄｘｋ
ｐ（ｘｋ｜Ｚ１：ｋ）〜ｐ（Ｚｋ｜ｘｋ）ｐ（ｘｋ｜Ｚ１：ｋ−１）
第１行は、あらゆる過去の測定値が与えられた場合の新しい予測状態ｘの確率を与え（予測ステップ）るものであり、第２行は、現在の状態の確率が、いわゆる測定尤度と予測状態との乗法的（「Ｂａｙｅｓｉａｎ」）結合であることを表すものである。
【００２０】
ベイズの式の実施には、カルマンフィルタリング（Ｋａｌｍａｎ  ｆｉｌｔｅｒｉｎｇ）（非特許文献２）や、パーティクルフィルタ（ｐａｒｔｉｃｌｅ  ｆｉｌｔｅｒ）を使用した順次のモンテカルロ推定（Ｍｏｎｔｅ  Ｃａｒｌｏ  ｅｓｔｉｍａｔｉｏｎ）（非特許文献３）のような、関与するステップの線形性／非線形性に応じていくつかの方法が存在する。
【００２１】
最新技術の方法では、トラッカモデル（追跡モデル）の複雑度の増大は、状態ベクトルの、したがって間接的には、予測および確認のステップのための関連モデルの拡張を伴う。物体構成についてこれにどのように取り組むかの一例が（非特許文献４）に記載されている。またこの方法は、最大状態ベクトルを何にし得るか判断し、その知識をこの方法に直接組み込むことも伴う。
【００２２】
別の先行技術の手法が、複数スイッチング動的モデル（非特許文献５）またはＩＭＭ（ｉｎｔｅｒａｃｔｉｎｇ  ｍｕｌｔｉｐｌｅ  ｍｏｄｅｌｓ）法（非特許文献６）に基づく追跡アルゴリズムによって与えられる。これらは、いくつかの追跡モデル（予測モデルおよび、または尤度モデルなど）を並行して評価し、モデル自体の間での内部スイッチング動力学を含むハイブリッドフィルタリング法である。
【００２３】
先行する追跡アルゴリズムでも、追跡プロセスを改善するための多数の適応方法を利用している。例えば、特許文献１には、被追跡物体の外観の時間変化する固有値基底（Ｅｉｇｅｎｂａｓｉｓ）記述に基づいてその内部表現を学習し、内因性および外因性の変化に適応させるシステムが記載されている。しかし、本明細書で提案する発明において発明者らは、新規の態様として、異なる予測ごとの確認モデル間でのスイッチングのレベルにおける適応を提示し、この態様は、上位レベルのモデル、物体およびコンテキストの知識を、対応する階層知識ベースの形で組み込む方法を提供するものである。
【００２４】
最後に、コンピュータビジョン、追跡（特許文献２など）および確率モデル化では、主に視覚の低レベル感覚分解のためにグラフ表現が多用される。本発明では、モデル化プロセス間の関係を記述するためにグラフ表現を拡張する。本発明において、グラフ表現は、異なるモデルを表すノードと、モデル間の近隣関係、可能な遷移または依存関係を記述するための無向または有向のエッジを含む。階層的表現は、有向非循環グラフ（ＤＡＧ）で表すことのできるものなど、追跡モデルの特別な考察に値する。
【００２５】
米国特許第６２９５３６７Ｂ１号明細書（特許文献２）には、第１および第２の対応グラフを使用してビデオフレームのストリームからの場面における物体の運動を追跡するためのシステムおよび方法が開示されている。第１の対応グラフは、物体対応グラフといい、追跡されるべき物体の仮説である場面内の領域クラスタを表す複数のノードと、複数の軌道を含むものとして構成される。各軌道は、場面を通る物体の軌道セグメントを表す、連続したビデオフレームにおける順序付けられたノードのシーケンスを含む。第２の対応グラフは、軌道対応グラフといい、それぞれが第１の対応グラフ内の少なくとも１つの軌道に対応する複数のノードを含むものとして作成される。第２の対応グラフ内の順序付けられたノードのシーケンスを含む軌道は、場面を通る物体の経路を表す。場面内の人などの物体のための追跡情報は、第１の対応グラフおよび第２の対応グラフに基づいて蓄積される。
【先行技術文献】
【特許文献】
【００２６】
【特許文献１】Yang, M.-H., Lim J., Ross, D., Lin, R.-S.: "Adaptive probabilistic visual tracking with incremental subspace update", US patent 7,463,754
【特許文献２】Crabtree, R.N., Moed, M.C., Khosravi, M.: "System and method for tracking movement of objects in a scene using correspondence graphs", US patent 6,295,367
【非特許文献】
【００２７】
【非特許文献１】Arulampalam, S., Maskell, S., Gordon, N.: A Tutorial on Particle Filters for Online Nonlinear/Non-Gaussian Bayesian Tracking. IEEE Transactions on Signal Processing 50, p. 174-188, 2002
【非特許文献２】Kalman, R.E.: A New Approach to Linear Filtering and Prediction Problems. Transaction of the ASME, Journal of Basic Engineering, p. 35-45, 1960
【非特許文献３】Doucet, A., De Freitas, N., Gordon, N.J.: Sequential Monte Carlo Methods in Practice. Springer, 2001
【非特許文献４】Spengler, M., Schiele, B.; Multi-Object Tracking Based on a Modular Knowledge Hierarchy. In Proc. of International Conference on Computer Vision Systems, 2003
【非特許文献５】Ristic, B., Arulampalam, S., Gordon, N.: Beyond the Kalman Filter. In: Particle Filters for Tracking Applications. Artech House, London, 2004
【非特許文献６】Mazor, E., Averbuch, A., Bar-Shalom, Y., Dayan, J.: Interacting Multiple Model Methods in Target Tracking: a Survey. Aerospace and Electronic Systems, IEEE Transactions on, 34(1): 103-123, 1998
【発明の概要】
【発明が解決しようとする課題】
【００２８】
本発明の目的は、前述の追跡の問題を少なくとも軽減することである。この目的は、各独立請求項の特徴によって達成される。各従属請求項は、本発明の中心思想をさらに発展させるものである。
【課題を解決するための手段】
【００２９】
本発明は、物体または物体構成を追跡するのに必要とされるモデル複雑さの自律的適応調整のための方法を提案する。本発明の一態様は、システムに、追跡モデルの複雑度をどのようにして（例えば、さらなる動的制約条件を課すことによって、もしくは物体を物体構成に関与させることによって）増大させ、または（例えば、動的制約条件を緩めることによって、もしくは物体を物体構成から解除することによって）低減させることができるかに関する背景知識があり、上位レベルの、または下位レベルの追跡モデルの追跡成功に応じて、これらがしかるべく切り換えられるという考えに存したものである。
【００３０】
要約すると、本発明は、追跡プロセスを実行時に動的に適切な抽象レベルに適応させてより良い追跡性能を得ることを可能にする。また本発明は、モデルの階層に沿って適切なモデル化レベルを選択することにより、追跡モデルの複雑さ、正確さおよび計算コストをトレードオフすることも可能にする。適応構成追跡は、階層構造を利用して、被追跡物体を構成する部分および下位部分の特性の数の点で適正な複雑度に適応することができる。加えて、そのような追跡システムは、例えば、落下するボールが剛性面に当たってすぐにその軌道を急変させるときなどに、被追跡物体の動的挙動の外因性の変化に非常に効果的に適応し、物体動力学の別の予測モデルを要求することができる。
【００３１】
次に、添付の図面の各図を参照して本発明の目的、利点および特徴をさらに説明する。
【図面の簡単な説明】
【００３２】
【図１】典型的な追跡プロセスをその追跡モデルと共に示す図である。
【図２】多物体追跡システムのための短期感覚記憶と組み合わせた追跡モデルおよびそれらの関係に関する長期記憶知識データベースを示す図である。
【図３】本発明による２つの作業ループを備える追跡システムを示す図である。
【図４】結合２Ｄ／３Ｄ追跡のためのシステムの具体例を示す。
【発明を実施するための形態】
【００３３】
本発明は、最適な追跡のためのトラッカ（追跡者）モデル化レベルの自律的状況依存調整を利用した物体および物体構成追跡のための方法およびシステムを提案する。この調整は、近隣複雑度からのいくつかの追跡モデルを組み込んだ混合モデル評価によって行われ、適切な追跡モデルの選択を可能にする知識は、追跡モデルおよび各モデル間の関係のシステム固有のグラフ表現によって与えられる。
【００３４】
本発明は、多物体追跡システムのための短期感覚記憶１２（ＳＴＭ、図２のブロックＢ）と組み合わされた追跡モデル９および追跡モデル９間の関係に関する長期記憶知識データベース１１を提案する。
【００３５】
長期記憶１１は追跡モデル９間の関係を記憶するユニットであり、短期記憶は追跡プロセス自体のためのデータを有する。
【００３６】
長期記憶データベース１１は、追跡モデル９ごとに、追跡プロセスにおいて使用されるべき予測および、または確認のモデルの情報を含む。短期記憶１２内の多物体追跡システムは、現在追跡されている物体または物体構成に関する状況情報を含み、標的状態推定のために必要とされる（長期記憶１１からの対応する追跡モデルによって定義される）予測および確認の各ステップを実行する。確認ステップは、被追跡物体の内部表現を外界にある物体１と直接関連付ける。さらに、追跡モデル９は世界／コンテキストに関する追加情報を必要とする場合もあり、この追加情報はその場合、追加の短期および長期のコンテキスト記憶１０に含まれる（この例では、短期コンテキスト記憶１０だけが示されているが、長期記憶１１のための対応する記憶も存在し得る）。
【００３７】
追跡システムは２つの作業ループモジュール、すなわち、図３に示すような内側ループモジュール１５と外側ループモジュール１４を有する。どちらのループ１４、１５も感覚入力３を備える。
【００３８】
外側ループモジュール１４は基本トラッカ補充（ｂａｓｉｃ  ｔｒａｃｋｅｒ  ｒｅｃｒｕｉｔｍｅｎｔ）を決定し、よって、基本補充モジュール１６を備える。すなわち、外側ループモジュール１４は、すでに追跡された物体（すなわち、短期記憶１２内の表現を有する被追跡物体）によってまだカバーされていない供給感覚入力３中の関心対象部分を検出し、これらの部分（物体）のために基本トラッカ１７を初期設定する。
【００３９】
基本トラッカ１７は、状態確認を追跡するための感覚測定を直接伴う長期記憶１１内の追跡モデルグラフ表現（図２）のノード１８である。また、短期記憶１２における被追跡物体の存続期間を決定し、確認段階においてそれ以上十分な感覚的裏付けを得ることのない物体の追跡を解除２９するのも外側ループ１４のタスクである。トラッカ解除２９の理由は多岐にわたり、トラッカモデルの誤った選択や、感覚入力フィールド３からの物体の単なる消失といった、内部または外部のイベントに起因し得る。
【００４０】
内側ループモジュール１５は、短期記憶１２内の追跡モデルのための自律的複雑さ調整モジュール１９を備える。
【００４１】
これは、（ｉ）長期記憶１１からの追跡モデルグラフを走査して（グラフ接続性の点で）現在の追跡モデルに関連する代替の追跡モデル候補を選択すること、（ｉｉ）代替の追跡モデル候補の性能評価、および（ｉｉｉ）代替モデルのうちの１つが所与の物体の追跡を続行するのに使用されるかどうかの判断によって実現される。
【００４２】
複雑さ調整１９は、例えば、制約されない３Ｄ運動モデルの代わりに、街路上の車の場合に該当するような所与の支持体表面に対して直角に走行するように制約される３Ｄ運動のためのモデルを使用するなど、予測および、または確認のモデルの変更によって実現することができる。また、複雑さ調整１９は、いくつかの以前に独立して追跡された物体を結合して、各構成物体の可能な位置に関する制約条件が課される単一の複合体としてさらに追跡される物体構成とすることを含むこともできる。短期記憶１２内の追跡モデルの複雑さ低減は、例えば、より複雑でない／より制約条件の少ない運動モデルによって、あるいは物体構成トラッカをいくつかの単一物体トラッカに分割することによって実施されるはずである。
【００４３】
自律的複雑さ調整１９のために、動作に際して各被追跡物体または物体構成は、長期記憶１１からの現在および過去の（１つまたは複数の）追跡モデルへの記憶リンクを保持する（図２、ＬＴＭ１１とＳＴＭ１２の間のリンク２０）。これは、可能な代替追跡モデルのための長期記憶グラフの外装を可能にする。例えば、グラフにおいて現在使用されている追跡モデルに近接している追跡モデル９を評価することができ、物体の（１つまたは複数の）追跡モデルを変更することができる。その場合変更された記憶リンクは、（追跡性能評価モジュール２１によって評価された）被追跡物体性能に関する結果を有する。というのは、その追跡プロセスにおいて異なる予測および確認のモデルが使用されるからである。
【００４４】
追跡モデル複雑さ調整１９の過程においては、多くの場合、追跡モデルをある程度の間共存させることに気付く。本発明によるシステムにおいて、これは２つの追跡モデルが混合モードで並行して実行されることを意味する。第１の変形では、これらのモデルは相互に独立に実行され、物体状態推定の信頼度といった各モデルの確率的特性などに関して、各時間ステップにおいて別々に評価される。第２の変形では、２つのモデルを同時確率的（ｊｏｉｎｔ  ｐｒｏｂａｂｉｌｉｓｔｉｃ）枠組み（追跡のための複数スイッチング動的モデルの先行技術の記述を参照されたい）に混合することができるが、この場合もやはり、時間ステップごとの各モデルの性能の評価に至る。評価の時間的統合の後、どの（１つまたは複数の）追跡モデルを使用すべきかに関する判断が行われる。しかし、追跡性能が十分に高い（モジュール２１によって評価されるような）場合には、混合モデルを使用した物体の追跡を継続するのが望ましいことが多い。というのは、そのような方法を用いれば、あるモデルの時間的弱点を他のモデルによって迅速に補償することができるからである。この場合、追跡モデルの長期記憶グラフは、どのモデルを混合すべきか（グラフ関係の点で相互に近いモデルなど）に関する価値のある情報を提供する。
【００４５】
図４に、結合２Ｄ／３Ｄ追跡システムの具体例が示されている。（ストリーミングセンサの一例である）ステレオ・ビデオ・カメラ３０、３１が追跡システムに「両眼」２Ｄビデオデータを供給し、このビデオデータは「左」ビデオカメラ３０と「右」ビデオカメラ３１とを備える。追跡システム（すなわち図３に示す全システム）はこれらの供給ビデオデータ３０、３１を処理する。
【００４６】
長期記憶１１は２Ｄおよび３Ｄで動作するトラッカの追跡モデル記述、すなわち３Ｄ追跡モデル３２、左カメラ２Ｄ追跡モデル３３および右カメラ２Ｄ追跡モデル３４を含む。２Ｄで動作するトラッカ３３、３４は、カメラ画像上の物体の位置を記述するための単純な２Ｄ弾道予測モデルを含み、また、これらの画像上で各トラッカの測定モデルを直接適用して予期される位置を確認する。
【００４７】
３Ｄトラッカ３２は、３Ｄ世界座標で動作する弾道予測モデルを含む。その測定モデルは、それぞれが別々のカメラ３０、３１上で動作する２つの下位レベル２Ｄトラッカ３３、３４それぞれの２Ｄ位置の結果に基づくものである。
【００４８】
コンテキスト記憶（図２の１０）はこの場合、３Ｄトラッカによって必要とされる世界座標システムにおけるカメラの位置および向きに関する情報を含む。説明を簡単にするために、各カメラは両眼システムの場合のように配置され、これらを「左」および「右」と呼ぶものとする。
【００４９】
その場合３Ｄ追跡モデル３２は、図４に示すように、左右の２Ｄ追跡モデル３３、３４からの結果（推定の左右２Ｄカメラ位置）が感覚入力として送られ、上位レベルのトラッカ状態確認ステップに使用されるものと仮定する。同様に、３Ｄ追跡モデル３２の予測状態も左右の２Ｄ追跡モデル３３、３４に向けて（追跡モデルグラフ構造において）下方に投影され、これらのトラッカ３３、３４が物体を予期すべき２Ｄ領域を制約する。最後に、左右の２Ｄトラッカ３３、３４は、これらの測定モデルをそれぞれ左右のカメラ画像３０、３１上で適用することによってこれらの状態を確認しようとする。
【００５０】
動作に際しては、最初に、基本トラッカ補充モジュール（図３の１６）が、左右のカメラ３０、３１のために独立に識別可能な物体に対して２Ｄトラッカ３３、３４を設定する。追跡モデルの長期記憶グラフ（図２の１１）から、システムは、左カメラ３０からの被追跡物体を右カメラ３１からの被追跡物体と結合することができるものと推論する。次いでシステムは、被追跡３Ｄ物体をそれに対応する３Ｄ追跡モデルで初期設定しようと試みる（図３の１７）。次いで３Ｄトラッカ３２は、すでに初期設定された２Ｄトラッカ３３、３４を利用し、２Ｄトラッカ３３、３４の状態推定を３Ｄトラッカ３２自体の測定のための基礎として使用し、２Ｄトラッカ３３、３４の予測を制約する。２Ｄトラッカ３３、３４は混合モードで動作し、２Ｄトラッカ３３、３４自体の２Ｄ予測モデルを３Ｄトラッカ３２から送られた予測と結合することができる。ある意味、３Ｄトラッカ３２は、（２つの物体の組み合わせを使用するため）構成トラッカであると同時に上位レベルの追跡モデルでもある。というのは、３Ｄトラッカ３２が次に状態の予測および確認のために本物の３Ｄモデルを使用するからである。
【図１】
2011118891.tif 000003
【図２】
2011118891.tif 000004
【図３】
2011118891.tif 000005
【図４】
2011118891.tif 000006
【外国語明細書】
2011118891.tif 000007
2011118891.tif 000008
2011118891.tif 000009
2011118891.tif 000010
2011118891.tif 000011
2011118891.tif 000012
2011118891.tif 000013
2011118891.tif 000014
2011118891.tif 000015
2011118891.tif 000016
2011118891.tif 000017
2011118891.tif 000018
2011118891.tif 000019
2011118891.tif 000020
2011118891.tif 000021
2011118891.tif 000022
2011118891.tif 000023
2011118891.tif 000024
2011118891.tif 000025
2011118891.tif 000026
2011118891.tif 000027
2011118891.tif 000028
2011118891.tif 000029
2011118891.tif 000030
2011118891.tif 000031
2011118891.tif 000032
2011118891.tif 000033
2011118891.tif 000034