(57)【要約】  ビデオデータ中のターゲットを追跡する方法である。それぞれの一連のタイムステップについて、重み付けられた確率分布成分セットが得られる。それぞれのタイムステップにおいて、次のステップが実施される。最初に、ターゲットの所定の動作モデルに従って、前のタイムステップの成分から、新しい成分セットを得る。現在のタイムステップのビデオは、次いで、測定セットを得るために解析され、及び新しい成分セットは、所定の測定モデルに従った、測定値を使用して、更新される。最後に、ターゲットの追跡セットを得るために、それぞれのタイムステップにおいて得られた、成分セットが解析される。
2013522747.tif 000002
【特許請求の範囲】
【請求項１】
それぞれのタイムステップが、
前のタイムステップの成分から、ターゲットの所定の動作モデルに従って、新しい成分セットを得、
測定セットを得るために、現在のタイムステップのビデオを解析し、
所定の測定モデルに従った測定値を使用して、新しい成分セットを更新し、
ターゲットの追跡セットを得るために、それぞれのタイムステップにおいて得られた、成分セットを解析する、
ステップを有する、
それぞれの一連のタイムステップについて、重み付けられた確率分布成分セットを得る、ビデオデータ中のターゲットの追跡方法。
【請求項２】
前記確率分布成分がガウス分布であることを特徴とする請求項１に記載の方法。
【請求項３】
前記所定の動作モデルが、
前のタイムステップから生存しているターゲットの予測された行動をモデル化する生存モデル、及び
前のタイムステップにおいて存在していなかったターゲットの予測された行動をモデル化する外観モデル
を含むことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記外観モデルが、ターゲットがビデオデータによって捕捉されたエリアの境界上に現れることが予測されることを示すことを特徴とする請求項３に記載の方法。
【請求項５】
前記所定の動作モデルが、更に、
前のタイムステップから、追加的なターゲットを作るターゲットの予測された行動をモデル化する分岐モデルを含むことを特徴とする請求項３又は４に記載の方法。
【請求項６】
それぞれのタイムステップにおいて、所定値を下回る重みの成分を削除するステップを更に有することを特徴とする請求項１乃至５のいずれかに記載の方法。
【請求項７】
それぞれのタイムステップにおいて、所定の閾値内の成分を併合するステップを更に有することを特徴とする請求項１乃至６のいずれかに記載の方法。
【請求項８】
それぞれのタイムステップにおいて、最も高い重みを有する成分からなる所定数の成分を除いて、全て削除するステップを更に有することを特徴とする請求項１乃至７のいずれかに記載の方法。
【請求項９】
それぞれのタイムステップにおいて、当該タイムステップにて得られた成分セットにラベルをするステップを更に有することを特徴とする請求項１乃至８のいずれかに記載の方法。
【請求項１０】
前記動作モデルから得られた成分に、当該成分と由来を同じくする成分と同じラベルが付与されることを特徴とする請求項９に記載の方法。
【請求項１１】
前記動作モデルが生存モデルを有し、及び前記生存モデルから得られた成分に、当該成分と由来を同じくする成分と同じラベルが付与されることを特徴とする請求項１０に記載の方法。
【請求項１２】
前記動作モデルが外観モデルを有し、及び前記外観モデルから得られた成分に、新しい特有のラベルが付与されることを特徴とする請求項１０又は１１に記載の方法。
【請求項１３】
前記動作モデルが分岐モデルを有し、及び前記分岐モデルから得られた最も高い重みを有する成分に、当該成分と由来を同じくする成分と同じラベルが付与されることを特徴とする請求項１０乃至１２のいずれかに記載の方法。
【請求項１４】
追跡が、連続したタイムステップにおける、同じラベルを有する一連の成分に由来することを特徴とする請求項１０乃至１３のいずれかに記載の方法。
【請求項１５】
追跡が由来する成分の重みが、所定の閾値を下回る場合に、追跡が削除されることを特徴とする請求項１４に記載の方法。
【請求項１６】
２番目の追跡の始まりが、最初の追跡の終わりから、所定の時間及び距離内である場合には、最初の追跡及び２番目の追跡は、連結して１つの追跡を形成することを特徴とする請求項１乃至１５のいずれかに記載の方法。
【請求項１７】
前記動作モデルが、ターゲットの追跡に基づいて、更新されることを特徴とする請求項１乃至１６のいずれかに記載の方法。
【請求項１８】
前記請求項１乃至１７のいずれかに記載の方法のステップを実施するよう設計されたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオデータ中のターゲットの追跡方法に関する。ターゲットは、追跡されるビデオの中のあらゆるオブジェクトであることができる。ターゲットの例は、ＣＣＴＶ（有線テレビ）映像に録画された人物、及び体液サンプルの中を動く顕微鏡で観察された細胞を含むが、これらに限らない。
【０００２】
本発明は、ビデオ、映像、又はデータの中のターゲットの追跡、例えばビデオに録画されたオブジェクトの追跡に関する。ビデオデータは、例えば、前もって録画されたビデオクリップ、又はリアルタイムのビデオ放送であることができる。ビデオの各フレームは、１つ以上のターゲットが見える映像である。本発明は、ターゲットを識別し、ビデオによって捕捉されたエリアを通って動くにつれてターゲットを追跡するために、そのようなビデオのフレームを解析する方法に関する。
【０００３】
ビデオデータの中で追跡するターゲットの特有の特徴は、ビデオの任意の特有のフレームに存在するターゲットの数が未知であり、（例えば、顕微鏡によって捕捉された体液のエリアに出入りする細胞のように）経時変化することができることである。
【背景技術】
【０００４】
細胞の追跡方法は、非特許文献１に説明されている。この方法は、ビデオフレーム中の適当な細胞を、対照的な色及び／又は輝度の領域に識別する、例えば、細胞がそれぞれのフレームにおいて、輝点と識別され得る。細胞の経路は、次いで、フレームからフレームへと重なり合う領域を使用して識別される。
【０００５】
この方法に関連して、多数の問題が存在する。ビデオフレームはノイズを含むことから、これが領域を間違えて細胞と識別する原因となったり、反対に細胞を識別するのを失敗する原因となったりする。これは、経路を識別する際にエラーの原因となり、特有の問題は、損傷した経路（それは、１つの細胞の経路が幾つかの短い、別々の経路と識別され得ることである。）である。別の問題は、細胞はとても速く、例えば、最高で１秒間で彼らの身長の２００倍の距離を動けることである。これは、細胞がフレーム間で重なり合うために、とても高いフレームレートが要求されることを意味し、また、これはとても大きなビデオファイルが必要となったり、解析されるビデオの時間が事実上制限されたりするという不利益を生ずる。別の問題は、当該方法では、ごく接近した細胞を正確に追跡しているのか、又は経路が重複しているのかを区別するのが困難で、多数の細胞が存在するときには、信頼できなくなることである。
【０００６】
他の様々な細胞の追跡方法が知られているが、これらは、通常、ただ１つか又はごく少数の細胞しか追跡できない。
【０００７】
無作為の数の動くターゲットをモデル化する方法として知られているのは、確率仮説密度（ＰＨＤ）フィルターである。ＰＨＤフィルターは、従来、レーダー又はソナーで得られたデータ中の動くターゲットをモデル化するために使用されていた。他方、ＰＨＤフィルターを使用して、ＣＣＴＶデータ中のターゲットを追跡する方法は、非特許文献２及び非特許文献３で説明されている。これらの文献で説明されている方法は、「パーティクル」フィルターとして知られている、ＰＨＤフィルターの実装品を使用するものか、又は逐次モンテカルロ法である。これらの文献で説明されている方法には、多くの問題がある。これらの方法は、データがノイジーであるときは頑健でなく、損傷及び不正確に判断された追跡をもたらす。更に、これらの方法は、新しいターゲットが現れそうな場所についての以前の情報を考慮に入れることができない。これらの方法は、計算コストがとても高い。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】タボアダ、ポッジオ、カマレナ、コルキディ（Ｔａｂｏａｄａ、Ｐｏｇｇｉｏ、Ｃａｍａｒｅｎａ、Ｃｏｒｋｉｄｉ）、「オートマチック  トラッキング  アンド  アナリシス  システム  フォー  フリースイミング  バクテリア（Ａｕｔｏｍａｔｉｃ  ｔｒａｃｋｉｎｇ  ａｎｄ  ａｎａｌｙｓｉｓ  ｓｙｓｔｅｍ  ｆｏｒ  ｆｒｅｅ−ｓｗｉｍｍｉｎｇ  ｂａｃｔｅｒｉａ）」、プロシーディングス  オブ  ザ  ２５ｔｈ  アニュアル  インターナショナル  カンファレンス  オブ  ザ  ＩＥＥＥ  ＥＭＢＳ（Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２５ｔｈ  Ａｎｎｕａｌ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｆ  ｔｈｅ  ＩＥＥＥ  ＥＭＢＳ）、２００３年
【非特許文献２】ワング、ウー、カシム、ホアング（Ｗａｎｇ、Ｗｕ、Ｋａｓｓｉｍ、Ｈｕａｎｇ）、「データ  ドリブン  プロバビリティ  ハイポセシス  デンシティ  フィルター  フォー  ビジュアル  トラッキング（Ｄａｔａ−Ｄｒｉｖｅｎ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｈｙｐｏｔｈｅｓｉｓ  Ｄｅｎｓｉｔｙ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｖｉｓｕａｌ  Ｔｒａｃｋｉｎｇ）」、ＩＥＥＥ  トランザクションズ  オン  サーキッツ  アンド  システムズ  フォー  ビデオ  テクノロジー（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ）、２００８年
【非特許文献３】マッジオ、タジ、カバラロ（Ｍａｇｇｉｏ、Ｔａｊ、Ｃａｖａｌｌａｒｏ）、「エフィッシェント  マルチ  ターゲット  ビジュアル  トラッキング  ユージング  ランダム  フィニット  セッツ（Ｅｆｆｉｃｉｅｎｔ  ｍｕｌｔｉ−ｔａｒｇｅｔ  ｖｉｓｕａｌ  ｔｒａｃｋｉｎｇ  ｕｓｉｎｇ  Ｒａｎｄｏｍ  Ｆｉｎｉｔｅ  Ｓｅｔｓ）」、ＩＥＥＥ  トランザクションズ  オン  サーキッツ  アンド  システムズ  フォー  ビデオ  テクノロジー（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ）、２００８年
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上述した問題の一部又は全てを回避し又は軽減する、改善された、ターゲットの追跡方法を提供しようとするものである。
【課題を解決するための手段】
【００１０】
本発明の最初の態様によれば、それぞれのタイムステップが、前のタイムステップの成分から、ターゲットの所定の動作モデルに従って、新しい成分セットを得て、測定セットを得るために、現在のタイムステップのビデオを解析し、所定の測定モデルに従った測定値を使用して、新しい成分セットを更新し、ターゲットの追跡セットを得るために、それぞれのタイムステップにおいて得られた、成分セットを解析する、ステップを有する、それぞれの一連のタイムステップについて、重み付けられた確率分布成分セットを得る、ビデオデータ中のターゲットの追跡方法が提供される。
【００１１】
前記方法は、重み付けられた確率分布成分を使って、潜在的なターゲットをモデル化する。成分の重みは、成分によって示された位置に、ターゲットが本当にいることの根拠の量を表している。それぞれのタイムステップにおいて、成分がどのように行動すると予測されるかのモデル（所定の動作モデル）、及び（所定の測定モデルを使用して）ターゲットのビデオデータから得られた測定値を使用して、成分が更新される。それぞれのステップで生じた成分は、ターゲット追跡を得るために、即ち、ターゲットを追跡するために解析される。
【００１２】
前記方法を使用すれば、特に、ビデオがノイズを含み、不確実な測定結果となるような場合に、多数のターゲットをより確実に識別し、及び追跡できる。前記方法は、特に、ターゲットの経路全体、即ち、損傷した追跡に戻ることなく、及び、例えば、ターゲットの経路が交差するときに、区別できるターゲットを同じターゲットであると誤認することなく、ターゲットを追跡することに効果的である。更に、前記方法は、ターゲットがビデオのフレーム間で重なり合うことを要求しない。
【００１３】
前記方法は、体液サンプル中の細胞のような、顕微鏡対象物の動きを追跡するのに特に適している。
【００１４】
有利には、前記確率分布成分がガウス分布である。ガウス分布は、容易に特性化でき、及び簡単な特質を有するものであるが、なお効果的な方法であることから、計算効率の良いモデルを提供するものである。
【００１５】
好ましくは、前記所定の動作モデルが、前のタイムステップから生存しているターゲットの予測された行動をモデル化する生存モデル、及び前のタイムステップにおいて存在していなかったターゲットの予測された行動をモデル化する外観モデルを含む。これにより、ターゲットの予測された行動を効果的にモデル化できる。有利には、前記外観モデルが、ターゲットがビデオによって捕捉されたエリアの境界上に現れることが予測されることを示す。これは、境界内の測定において、（ノイズ又は既に存在しているターゲットである可能性が高いものを）新しいターゲットと誤認されるのを回避する、より頑健な方法を提供する。前記所定の動作モデルが、更に、前のタイムステップから、追加的なターゲットを作るターゲットの予測された行動をモデル化する分岐モデルを含み得る。これは、例えば、２又はそれ以上の細胞に分裂する細胞のように、新しい細胞を作るターゲットの追跡に効果的である。
【００１６】
好ましくは、前記方法は、それぞれのタイムステップにおいて、所定値を下回る重みの成分を削除するステップを更に有する。これにより、成分数が手に負えなくなるほど増えることを防止し、計算効率のよいモデルを提供する。好ましくは、前記方法は、それぞれのタイムステップにおいて、所定の閾値内の成分を併合するステップを更に有する。前記方法は、それぞれのタイムステップにおいて、最も高い重みを有する成分からなる所定数の成分を除いて、全て削除するステップを更に有することができる。
【００１７】
好ましくは、前記方法は、それぞれのタイムステップにおいて、当該タイムステップにて得られた成分セットにラベルをするステップを更に有する。これにより、成分に付けられたラベルを使用して追跡が得られるようになる。
【００１８】
好ましくは、前記動作モデルから得られた成分に、当該成分と由来を同じくする成分と同じラベルが付与される。有利には、前記動作モデルが生存モデルを有し、及び前記生存モデルから得られた成分に、当該成分と由来を同じくする成分と同じラベルが付与される。有利には、  前記動作モデルが外観モデルを有し、及び前記外観モデルから得られた成分に、新しい特有のラベルが付与される。前記動作モデルは分岐モデルを有することができ、及び前記分岐モデルから得られた最も高い重みを有する成分に、当該成分と由来を同じくする成分と同じラベルが付与される。有利には、追跡が、連続したタイムステップにおける、同じラベルを有する一連の成分に由来する。これにより、追跡を、連続するタイムステップにおいて同じラベルを保持する成分を識別することによって得ることができる。
【００１９】
有利には、追跡が由来する成分の重みが、所定の閾値を下回る場合に、追跡が削除される。これにより、追跡が、本物のターゲットに由来しそうではない成分に基づいて識別されることにより行われるのを防止する。
【００２０】
有利には、２番目の追跡の始まりが、最初の追跡の終わりから、所定の時間及び距離内である場合には、最初の追跡及び２番目の追跡は、連結して１つの追跡を形成する。これにより、前記方法によって、損傷した追跡を識別することを減少する。
【００２１】
有利には、前記動作モデルが、ターゲットの追跡に基づいて、更新される。これにより、動作モデルが、追跡される特有のターゲットの動きをより正確に予測することで、前記方法によるターゲットの追跡がより正確になる。
【００２２】
本発明の２つめの態様によれば、上述したいずれかの方法のステップを実施するよう設計されたコンピュータプログラム製品が提供される。
【００２３】
本発明の実施態様は、一例として、添付図面を参照して説明される。
【図面の簡単な説明】
【００２４】
【図１】図１は、本発明の最初の実施態様による、細胞の追跡方法を示すフローチャートである。
【図２】図２は、図１の方法において、成分の除去／併合をより詳細に示すフローチャートである。
【図３】図３は、図１の方法において、成分のラベリングを示すフローチャートである。
【図４】図４は、図１の方法において、追跡の表示及び連結を示すフローチャートである。
【発明を実施するための形態】
【００２５】
本発明の実施態様は、図１乃至図４を参照して説明される。
【００２６】
上述した通り、ＰＨＤフィルターは、動くターゲットをモデル化する方法として知られている。ＰＨＤフィルターの一般概念の説明は、次の通りである。
【００２７】
ＰＨＤは、確率論で使用される、周知の確率密度関数（ＰＤＦ）の通則である。連続確率変数のＰＤＦは、関数の領域の与えられた点における、確率変数が生ずる尤度を示す関数である。特定の値のセット内で、確率変数が生ずる確率は、それらの値のＰＤＦの積分によって得られる。確率関数の領域は、確率変数の可能値の完全集合であり、その結果、（確率変数が実際には、領域内のいずれかの点で必ず生ずることを反映して）その領域全体の確率密度関数の積分は１となる。これを本実施態様に当てはめると、確率変数は、映像内の細胞の位置になり得る。この確率変数の確率密度関数は、映像全体がその領域となり、映像の特定のエリアの確率密度関数の積分が、当該特定のエリア内に細胞が存在する確率を示す。
【００２８】
しかしながら、既に指摘したように、映像全体の確率密度関数の積分は１になるため、これは映像がちょうど１つの細胞を含む場合に限り適するものである。ＰＨＤは、無作為の数（０、１又は１以上）の細胞の位置をモデル化するのに使用され得る、確率密度関数の通則である。より一般的には、ＰＨＤは、特定の位置で生ずる無作為の数のターゲットの尤度を示すものである。ＰＨＤの特徴は、特定のエリアの積分が当該エリアにおけるターゲットの予測される数を示すことにあり、特に、エリア全体の積分が１になる必要はなく、１つのターゲットよりも少ない、又は多いこともあり得る。
【００２９】
ＰＨＤフィルターは、次に、以下のように連続的にＰＨＤを使用して、無作為の数の動くターゲットの動きをモデル化する方法を提供する。ＰＨＤの基礎となっているのは、ターゲットの状態のセットＸｔである。ターゲットの状態のセットＸｔは、時刻ｔにおける、それぞれのターゲットの状態（例えば、それらの位置及び速度）を示しているベクトルのセットである。
【００３０】
ターゲットの経時的な予測された行動は、次に示すように、基礎となる動作モデルによって得られる。
【００３１】
【数１】
2013522747.tif 000003
【００３２】
動作モデルは、前の時刻ｔ−１におけるターゲットの状態Ｘｔ−１に基づいて、時刻ｔにおけるターゲットの状態Ｘｔの確率分布を提供する。当該モデルは、ターゲットが以下に説明するような、３つの主要な行動を示し得ると仮定する。
【００３３】
Ｓｔ｜ｔ−１は、生存ターゲットのモデルである。特定のターゲットｘにおいて、Ｓｔ｜ｔ−１（ｘ）は、時刻ｔ−１におけるその状態に基づいて、時刻ｔにおけるターゲットの状態の確率分布を提供する。例えば、もしターゲットがエリアの境界を越えたら、それは消え得る。もしそれが消えないのであれば、それは新しい予測された位置及び速度を持つことになる。例えば、モデルは、次のようになる。
【００３４】
【数２】
2013522747.tif 000004
【００３５】
ここで、ｐ（ｘ）は、ターゲットが消える確率であり、もしそれが消えなかった場合、Ｆｔ｜ｔ−１は、その予測された新しい位置及び速度である。
【００３６】
Ｂｔ｜ｔ−１は、分岐ターゲットのモデルである。特定のターゲットｘにおいて、Ｂｔ｜ｔ−１（ｘ）は、ターゲットｘによって生じたターゲットの状態の確率分布を提供する。そのため、例えば、ある細胞が２つの細胞に分裂した場合、分岐モデルは、新しいターゲットを生み出したターゲットｘの尤度及び新しいターゲットの予測される状態を捕捉する。
【００３７】
最後に、Γｔは、新しいターゲットのモデルである。これは、例えば、エリアの境界に現れたターゲットのように、既存のターゲットから独立して作り出された新しいターゲットの状態を示す。これらの新しいターゲットは（分岐の結果、新しいターゲットが作り出されたのと異なり）、既存のターゲットとは独立して作り出されたものであることから、時刻ｔ−１におけるいずれのターゲットの状態にも依存していない。
【００３８】
測定モデルもＰＨＤフィルターの基礎となっている。測定モデルは、ターゲットの状態Ｘｔに基づいて、時刻ｔにおける測定値Ｚｔの確率分布を提供する。（測定値は、実際には、ターゲットを示すビデオデータの解析により得られる。）測定モデルは、以下のようになる。
【００３９】
【数３】
2013522747.tif 000005
【００４０】
ここで、Ｋｔは、ノイズ及びクラッタのモデルであり、Θｔは、ターゲット自身に起因する、受容した測定値のモデルである（何らかの理由でターゲットが検出されず、その結果、測定値が得られない確率を捕捉し得る）。
【００４１】
ターゲットの状態の基礎となるセットとして、動作モデル及び測定モデルが、次のように、ＰＨＤフィルターとともに使用され得る。それぞれの時刻ｔにおいて、当該タイムステップのビデオデータから、新しい測定値Ｚｔのセット、及び前のタイムステップｔ−１からＰＨＤが得られる。（最初のステップでは、当然、前のタイムステップのＰＨＤは無く、そのため、例えば、ＰＨＤがゼロであれば、どこにあるものでも使用し得る。）ターゲットの状態Ｘｔ−１の予測される基礎となるセットは、ＰＨＤから得られる。例えば、エリア全体のＰＨＤを統合すれば、予測されるターゲット数ｎが識別され、そしてＰＨＤの最高のピークｎをターゲットの位置及び速度と見做し得る。
【００４２】
基礎となる動作モデルは、次に、ターゲットの状態Ｘｔ−１のセットから、現在のターゲットの状態Ｘｔのセットの確率分布を得るために使用される。更に、基礎となる測定モデルは、測定値Ｚｔのセットから、ターゲットの状態Ｘｔ−１の条件付きの、受容した測定値の更なる確率分布（この場合通常、尤度関数と呼ばれる）を得るために使用される。Ｘｔの２つの確率分布が、次に、タイムステップｔのＰＨＤである、Ｘｔの最終的な確率分布を得るために、（ベイズ確率規則の式を使用して）組み合わされる。
【００４３】
説明してきた方法によって、原則として、ＰＨＤは複数のターゲットの動きをモデル化するために使用される。しかしながら、実際には、この方法は、コンピュータ的に実行不可能であることから、ＰＨＤフィルターに似せた実装品が使用される。本実施態様における実装品は、重み付けられたガウス成分セット、即ちガウス確率関数を使用してＰＨＤに似せている。これは、ＰＨＤフィルターの混合ガウス実装品、又はＧＭ−ＰＨＤとして知られている。例えば、ボ、マ（Ｖｏ、Ｍａ）、「ザ  ガウシアン  ミクスチャー  プロバビリティ  ハイポセシス  デンシティ  フィルター（Ｔｈｅ  Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｐｒｏｂａｂｉｌｉｔｙ  Ｈｙｐｏｔｈｅｓｉｓ  Ｄｅｎｓｉｔｙ  Ｆｉｌｔｅｒ）」、ＩＥＥＥ  トランザクションズ  シグナル  プロセシング（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、２００６年にて、ＧＭ−ＰＨＤが説明されている。
【００４４】
ＧＭ−ＰＨＤの実装品を説明しているフローチャートが図１に示される。ＧＭ−ＰＨＤの実装品では、それぞれのタイムステップのＰＨＤは、重み付けられたガウス成分１のセットによって、概算される。ガウス確率関数は、それらの平均値及び共分散によって完全に説明できる。そのため、それぞれの成分は、その重み、平均値及び共分散によって説明され得る。非常に大まかにいえば、成分は、潜在的ターゲットに対応する。当該ターゲットの位置は、成分の平均値によって得られ、また共分散は、当該平均値がターゲットの実際の位置であることの信頼性を示す（共分散が低いほど、ターゲットが平均値の位置に存在する可能性が高い）。重みは、そこに、とにかくターゲットが１つ存在することの信頼性を示す。そのため、例えば、低い共分散で低い重みの成分は、局所的に非常に集中したノイズに起因している可能性がある（そのため、そこには多分ターゲットは存在しない可能性があるが、しかし、もしそこに存在するのであれば、その位置は正確に知ることができる）。一方、高い重みで高い共分散の成分は、信頼できる一連の展開した測定に起因している可能性がある（そこにターゲットが存在している可能性が高いが、その位置は、それほど正確にはわからない）。
【００４５】
時刻ｔ−１において、そこには、Ｊｔ−１ガウス成分が存在すると考えられる。
【００４６】
【数４】
2013522747.tif 000006
【００４７】
ここで、ｗｔ−１、ｍｔ−１及びＰｔ−１は、それぞれの成分の重み、平均値及び共分散である。（ＰＨＤフィルターそれ自体によれば、最初のタイムステップにおいては、当然、前のガウス成分セットは存在しないため、空のセットが使用され得る。）最初の「前進した」ステップでは、ガウス成分は、それらの予測された行動に従って、即ち、ＰＨＤフィルターの基礎となる動作モデルに対応する動作モデルに基づいて、更新される。ＧＭ−ＰＨＤ実装品の対応する動作モデルは、以下の生存ターゲット、分岐ターゲット及び新しいターゲットの対応モデルを有する。
【００４８】
Ｊｔ−１ガウス成分５、即ち、それぞれの既存の成分に対応する成分がもたらす生存ターゲット２は、次の通り規定される。
【００４９】
【数５】
2013522747.tif 000007
【００５０】
ここで、ｐはターゲットが消失する確率であり、またＦは１つの生存ターゲットの予測された動作のモデルであり、またＱは１つのターゲットのプロセスノイズ共分散マトリクスである。（プロセスノイズ共分散マトリクスは、生存ターゲットの動作の不確実性を表す。）Ｐ、Ｆ及びＱ（即ち生存ターゲットモデル）は、追跡されたターゲットがどのように行動すると予測されているかに基づいて選択される。細胞を追跡する場合は、例えば、追跡された細胞がどのように行動すると予測されているかについては、ある程度の情報が既に知られているので、生存ターゲットモデルは、これに基づくことができる。特に、この場合、測定は、実際には通常、細胞を含む体液サンプルの一部のビデオによって行われる。この結果として、細胞がビデオ録画された部分の境界を単に越えただけで、それらが見えなくなることによって細胞が「死亡する」１つの態様となり、そのため、理想的には、これは選択されたモデルとして捕捉されるべきである。仮に、追跡された特定の種類の細胞の行動に関する情報が無い場合、又は追跡された細胞の種類が分からない場合には、標準モデル、例えばブラウン運動（即ち体液中の粒子の無作為の動き）に基づくモデルが使用され得る。
【００５１】
Ｊβ．Ｊｔ−１ガウス成分６、即ちＪβが識別可能な分岐モデルの数であるときに、それぞれの既存の成分のための成分Ｊβがもたらす、分岐ターゲットモデル３は、次の通り規定される。
【００５２】
【数６】
2013522747.tif 000008
【００５３】
ここで、ｐｊはターゲットが分岐する確率であり、Ｆｊは分岐により作り出されたターゲットの予測された動作のモデルであり、Ｑｊは更に１つのターゲットの（それぞれ、特定の分岐モデルｊの）プロセスノイズ共分散マトリクスである。更に、分岐モデルは、ターゲットがどのように動くと予測されるかに基づいて選択される。細胞を追跡する場合は、例えば、仮に細胞が分裂しないと予測されているときには、細胞が分岐することは予測されない。
【００５４】
最後に、次の通り、新しいターゲットモデル４が次の通り、Ｍガウス成分７によって、もたらされる。
【００５５】
【数７】
2013522747.tif 000009
【００５６】
更に、新しいターゲットモデルは、新しいターゲットがどのように発生すると予測されるかに基づいている。上述の通り、細胞を追跡する場合、実際には通常、細胞を含む体液サンプルの一部のビデオが解析されることにより行われている。そして、既存の細胞がビデオ録画された部分の境界を越えて動いたことによって、それらが見えるようになり、選ばれたモデルとしてこれが捕捉された結果、「新しい」細胞が生じ易くなる。
【００５７】
結果として生じたガウス成分５、６及び７のセットは、新しい時刻ｔにおけるターゲットの予測された行動に対応する。Ｊｔ｜ｔ−１を結果として生じたガウス成分５、６及び７の数であると仮定する。成分の重みの合計は、予測されたターゲットの数と等しくなる。
【００５８】
結果として生じたガウス成分５、６及び７のセットは、次に、時刻ｔにおいて得られた測定値、即ち、ビデオの現在のフレームの解析結果に基づいて更新される（図１のステップ８）。成分５、６及び７を次の通りとする。
【００５９】
【数８】
2013522747.tif 000010
【００６０】
成分の更新されたセットは、次の式から得られる。
【００６１】
【数９】
2013522747.tif 000011
【００６２】
それぞれの測定ｚにおいて、ｐはターゲットが検出される確率であり、Ｈ及びＲは１つのターゲットの測定値及び測定ノイズ共分散マトリクスであり、ｋはノイズモデルである。Ｎはガウス分布を表している。具体的には、Ｎ（ａ、ｂ）は、平均値ａ及び共分散ｂを伴うガウス分布を表している。
【００６３】
更に、検出ミスを考慮した、さらなるＪｔ｜ｔ−１成分のセットを有する。これらの成分は、次の式から得られる。
【００６４】
【数１０】
2013522747.tif 000012
【００６５】
動作モデルによって予測されたようにターゲットが動く可能性を捕捉することは変えずに、しかし、タイムステップｔにおいては、単に検出されなかったに過ぎない、それぞれの成分は、動作モデルの結果生じた成分５、６及び７に対応している。
【００６６】
ガウス成分を更新した結果は、ガウス成分９のセットである。測定値ｚがｎであると仮定した場合、当該セットは、（ｎ＋１）．Ｊｔ｜ｔ−１成分を含む。ガウス成分の数が手に負えなくなる位に増加するのを回避するために、次に、除去／併合のステップ１０が実施される。これは、図２においてより詳細に示される。
【００６７】
最初の除去のステップ５１は、単に所定の閾値Ｔよりも重みが低い成分を削除するだけである。併合ステップ５２は、次に、更に所定の閾値に従って、「接近」した成分同士を併合する。成分のセットは次の式から得られる。
【００６８】
【数１１】
2013522747.tif 000013
【００６９】
（除去ステップ５１の結果）、併合アルゴリズムは次の通りになる。
【００７０】
【数１２】
2013522747.tif 000014
【００７１】
ここで、併合の閾値はＵである。最後に、最も高い重みの所定の数Ｖの成分を除き、全てを単に削除する、制限ステップ５３が実施され得る。（他の実施態様において、併合ステップ５２及び／又は制限ステップ５３は省略され得る。又はこれらのステップは、例えば、併合ステップ５２を除去ステップ５１の前に実施するように、異なる順序で実施することも可能である。）
【００７２】
除去／併合ステップ１０の後に、ガウス成分１１のセットが残る。これがタイムステップｔにおけるガウス成分の最後のセットである。上述のプロセスは、次に、タイムステップｔ＋１における成分を付与するために繰り返され、その後更に繰り返される。
【００７３】
これまで説明してきたＧＭ−ＰＨＤの実装品のプロセスは、どのようにガウス成分がそれぞれのタイムステップにおいて得られるのかを示すものである。それぞれの段階で、ガウス成分は、実装品の最終生産物である追跡、即ち、細胞の追跡を得るために使用される。
【００７４】
時刻ｔ−１において、ガウス成分１のセットと同様に、追跡１２のセットも事前に得られる。ガウス成分１１の新しいセットは、追跡１２と共に、追跡１３の更新されたセットを得るために使用される。それぞれのガウス成分には、図３のフローチャートに示されるように特有のラベルが付与される。
【００７５】
成分１は、動作モデルによって、最初に更新される。生存ターゲットモデルによって更新されたガウス成分は、それらと由来を同じくする、前から存在している成分と同じラベルが付与される（ステップ１０１）。分岐ターゲットモデルによって作り出された成分及び新しいターゲットモデルには、新しい特有のラベルが付与される（ステップ１０２及び１０３）。
【００７６】
成分は、次に、測定モデルによって更新される。この場合、上で説明した通り、ｎ測定値は、それぞれの元の成分についてｎ＋１成分をもたらす。最も高い重みの成分には、それと由来を同じくする成分と同じラベルが付与され、他の成分には、新しい特有のラベルが付与される（ステップ１０４）。
【００７７】
最後に、併合された成分には、それらと由来を同じくする成分のうち最も高い重みの成分のラベルが付与される（ステップ１０５）。
【００７８】
それぞれのタイムステップにおいて得られたラベルされた成分は、ＧＭ−ＰＨＤの最終生産物である追跡を得るために使用される。
【００７９】
最初の実施態様では、ラベルされた成分は、いくつかの連続したタイムステップにおいて存在しているラベルと識別するために解析される。上述の通り、それぞれのガウス成分は、１つの潜在的ターゲットに対応すると、概して考えられていた。生存ターゲットモデルの結果物である成分が同じラベルを維持する場合、同じラベルを有する成分の配列は、１つのターゲットの動きを示す。そのため、同じラベルを有し、及び所定の閾値を上回る重みの成分の配列は、追跡であると判断され得る。（閾値は、実際のターゲットに対応していることの十分な根拠がある成分に基づく場合に限り、追跡であると判断されることを確実にする。）
【００８０】
別の有利な実施態様は、図４に示される。最初に、最初の実施態様と同様に、同じラベルを有する成分の配列は、潜在的追跡であると識別される（ステップ２０１）。所定の閾値を下回る重みの追跡は、本物の追跡である可能性が低いことから、次いで削除される（ステップ２０２）。（追跡が由来する成分の重みの合計が閾値を下回る場合、その追跡は閾値を下回ると考えられる。あるいは、追跡が由来する成分のうち最大の重みを有する成分が閾値を下回る場合、追跡は閾値を下回ると考えられる。）次に、本物らしき追跡は、他の追跡が終了した後直ぐに始まる追跡と識別するために、解析される。新しい追跡の始まりが古い追跡とごく接近している場合、及びそれらの追跡が所定の閾値よりも（距離及び時間の両条件において）接近している場合、それらの追跡は、１つ追跡を形成するために連結される（ステップ２０３）。この最後の追跡のセットが本方法の生産物である。
【００８１】
さらなる最終ステップでは、追跡は、ターゲットの動作に関する情報を抽出するために解析され得る。当該情報は、本方法の動作モデルを更新するのに使用され得る。
【図１】
2013522747.tif 000015
【図２】
2013522747.tif 000016
【図３】
2013522747.tif 000017
【図４】
2013522747.tif 000018
【国際調査報告】
2013522747.tif 000019
2013522747.tif 000020
2013522747.tif 000021