「画像の認識・理解シンポジウム (MIRU2008)」 2008 年 7 月

複数対象トラッキングと複数ダイナミクスの同時推定法
石黒

勝彦†

山田

武士†

上田

修功†

† NTT コミュニケーション科学基礎研究所, 京都府
E-mail: †{ishiguro,yamada,ueda}@cslab.kecl.ntt.co.jp
あらまし

従来の複数対象トラッキング手法は，全ての追跡対象について一つのダイナミクスモデルを適用することが多い．しかし，シーン内に存在する全ての対象が常に同一のダイナミクスに従うとは限らない．この問題に対処する
ためには複数のダイナミクスパターンが必要となるが，シーンの解析前に適切な数のダイナミクスパターンを全て人手で決定する事は困難であり，自動的に学習できることが望ましい．本論文では，複数の移動対象をトラッキングすると共に，各対象のダイナミクスパターンをクラスタリングして学習する確率的な生成モデルを提案する．人工デー
タ，および実動画データを用いた実験を通じて，提案モデルがトラッキングとダイナミクスの学習を同時に実現可能であること，またこのことでトラッキング自体の性能も向上することを示した．
キーワード 複数対象トラッキング, クラスタリング, 生成モデル, ノンパラメトリックベイズ, モデル推定

Multi-target tracking with multiple dynamics estimation
Katsuhiko ISHIGURO† , Takeshi YAMADA† , and Naonori UEDA†† NTT Communication Science Laboratories, Kyoto, 619-0237, Japan
E-mail: †{ishiguro,yamada,ueda}@cslab.kecl.ntt.co.jp
Abstract We present an on-line probabilistic generative model that simultaneously deals with both the clusteringand the tracking of an unknown number of moving objects. We assume that time series data are composed of a i)time-varying number of objects and that ii) each object is governed by an unknown number of diﬀerent patternsof dynamics. We utilize a nonparametric Bayesian model for clustering patterns of dynamics, and this clustering inturn improves the tracking. In experiments, proposed model successfully learned the hidden patterns and obtained
better tracking results than conventional models without clustering.
Key words Multi-target tracking, Clustering, Generative models, Nonparametric Bayes, Model estimation
を考えることができる．そのような手法が開発できれば，i) 多

1. ま え が き

くの移動物体がシーン中で観察され ii) 対象ごとに異なるダイ

複数移動対象の追跡はコンピュータービジョンにおいて重要

ナミクスに従って行動するような，より広範な動画像データでな問題の一つであり，監視カメラ画像の解析や動画像コンテンの追跡をモデル化することが可能となり，対象軌跡の予測，ひツの検索等応用のために多くの研究がなされている [1]〜[4]．

いては時系列データの理解に有利に働くと思われる．

複数対象のトラッキング手法としては，不連続な観測データ

本論文では，ダイナミクスパターンをクラスタリングしてそ系列に状態空間モデルのダイナミクスを当てはめることで，連の数とパラメータを推定すると同時に未知数の対象に対するト

続な (フィルタリングされた) 対象軌跡を確率的に推定する手

ラッキングも行うことができる，確率的な生成モデルを提案す法が一般的である [5], [6]．通常，当てはめに用いられる状態空る [9]．提案モデルでは，確率的な複数対象トラッキングモデ

間モデルは既知とされて運用される．一方で，追跡対象の数は

ルに，Dirichlet Process Mixture (DPM) によるクラスタリン

単一ながらフィッティングすべきダイナミクスを推定しながらグモデルを採り入れる．この組み合わせによって，ダイナミク

フィルタリングを行う手法も提案されている [7], [8]．この手法

スパターンの数とそのパラメータを推定しつつ，同時に個々のでは，ダイナミクスの混合を許容した上で混合数と各ダイナミ

移動対象軌跡を推定することが可能となる ( 図 1.)．パターン

クスのパラメータを推定できる．

はクラスタリングによって決定され、各要素は異なるパラメー

これら既存手法をさらに拡張したモデルとして，混合ダイナ

タを持ったカルマンフィルタである．隠れ変数と追跡対象の状

ミクスを推定しながら複数対象のトラッキングを実現する手法

態量の推定にはパーティクルフィルタ [10], [11] を用いる．人工294

データおよび実動画像データを用いた実験を通じて，提案モデ㓝ࠇᄌᢙࠍ↢ᚑ

ルの効果を確認する．

ㅊ〔ኻ⽎ߩჇᷫ

c(t)

Keep

Delete

Add

x (t)

x (t)

x (t)

1

3

2

ኻ⽎ߩേ૞ࡄ࠲࡯ࡦ z(t) pattern 1

pattern 2ξksystemࡄ࡜ࡔ࡯࠲ψkobservation

矩形上部の数字は対象の現在のダイナミクスパターンのインデッ᷹ⷰ㊂ߣㅊ〔ኻ⽎ߩ

クスを表す．提案デルでは複数対象の追跡と同時に，各対象の運

ኻᔕ㑐ଥ

j(t)

࠳ࠗ࠽ࡒࠢࠬߩ

図 1 既存のトラッキングシステムの結果 (a) と提案モデルの結果 (b)．

y(t)

y(t)

2

1

動パターンを逐次的に推定する．

㓝ࠇ⁁ᘒߣ᷹ⷰ㊂ࠍ↢ᚑ

2. 先 行 研 究

㓝ࠇ⁁ᘒ

x(t)

最初に，Särkkä らによる複数対象トラッキングのモデル [6]

᷹ⷰ㊂

y(t)

x1(t-1)

y(t)
x (t)
1

1

x (t)

y(t)

3

2

を説明する．このモデルでは，時間とともに追跡対象の数が変化する状況下での複数対象トラッキングを実現する例である．

図 2 提案するデータ生成モデルの概念図．複数対象の増減やダイナ

各時刻で複数の追跡対象および観測量が存在するため，隠れミクスの情報を表現する隠れ変数，および隠れ状態量と観測量

状態量には i，観測量には m の添字をつけて区別する．i 番目のを示す

対象 (隠れ状態) は xi (t)，m 番目の観測量を ym (t) とする．複数の追跡対象と観測量が存在する場合，どの対象がどの観測量ングされ，これらのパラメータのもとで隠れ状態と観測量が生を出力したのかという対応関係 (data Association) を解決しな成される．

ければならない．このモデルでは，追跡対象の数が変化する状

このモデルの特徴は，ダイナミクスの混合分布を表現する

況下での data association を解決するため，Rao-Blackwellized

ために Dirichlet Process Mixture (DPM) を用いた点である．

Particle ﬁlter を用いた確率モデルを提案している．ただし，彼DPM はノンパラメトリックベイズモデルの一つで，各混合コらの研究においては，全ての追跡対象についてその状態空間モ

ンポーネントの性質 (パラメータ) の推定だけでなく，混合数

デルが事前に固定された一つの Kalman ﬁlter [11] で表現できについてもベイズ的枠組で同時に推定できるというメリットがるものと仮定されている．先に述べたとおり，この仮定 (制約)ある．従って，このシステムは事前に混合モデルの混合数や各は一般に正しいとは限らない．

コンポーネントのパラメータを指定することなくダイナミクス

次に，Caron らによるモデル [8] を説明する．このモデルは，単一の追跡対象のみが存在する，あるいは single stream の時のパターンを学習可能である．著者らは論文中で MCMC を用いたオフライン推定と Particle ﬁlter を用いたオンライン推定

系列データのフィルタリングを念頭においたものである．対象の 2 つの推論方法を示している．しかし，本モデルには dataの隠れ状態は，未知の混合ダイナミクスパターンから生成されassociation を解決する仕組みがないために複数の追跡対象がたものと仮定される．ここで未知なのはダイナミクスの混合数

同時に存在する時系列データには適用できない．

ならびに各ダイナミクスのパラメータであり，隠れ状態の推定

3. 提 案 法とともにこれらの要素も同時に推定することを目的とする．

Särkkä らのモデルと対照的に，隠れ状態や観測量は単一で続いて，提案するモデルとその推定方法を説明する．本稿であるため x(t) や y(t) には添字が必要ない．一方でダイナミク

は大まかな説明にとどめるが，モデルの詳細については [9] をスが複数存在するため，添字 k をつけて区別する．各ダイナ

参照のこと。

ミクスは状態空間モデル，具体的には Kalman ﬁlter と仮定す

3. 1 モ デ ルる．状態モデルのパラメータ (正規分布の平均ベクトルおよび

我々の提案するモデル ( 図 2) は，隠れ変数とデータ (隠れ状

共分散行列) を {ξk }，観測モデルのパラメータ (やはり平均ベ態，観測量) およびパラメータからなる生成モデルである．i 番

クトルと共分散行列) を {ψk } で表す．x(t) (y(t)) はパラメー

目の対象の隠れ状態は xi (t)，m 番目の観測量は ym (t) とする．

タ ξk (ψk ) で特徴づけられた分布に従って生成される．データ

各時刻 t において，パラメータから隠れ変数とデータを生成

生成過程を簡単に説明すると，各時刻 t において，まずダイナするプロセスを説明する．まず最初に追跡対象数の増減 (生成とミクスパターンのインデックスを表す隠れ変数 zt = k が生成消滅) を表現する隠れ変数 ci (t) を生成する (式 (4))．ci (t) = 1

される．そして，zt に対応したパラメータ ξk ，ψk がサンプリの場合 i 番目の追跡対象がシーン中に存在し ci (t) = 0 の場合

295



シーン中に存在しないものとする．この変数 c(t) を制御するこ尤度 p y(t)|φ(t)(s) の計算は [6] に準じる．

とで，時系列データ内に存在する追跡対象の軌跡数を時間ごとパーティクルフィルタで重要なのは proposal distribution のモデル化である．簡単には p (φ(t)|Φ(t−1))，すなわち単純に事に変化させることができる．

前分布を用いることができる．proposal distribution を q(·) と続いて，シーン中に存在する追跡対象 (c(t) で決定された) がこの時刻で従うダイナミクスを決定する．すなわち，時刻 t にして，Φ(t)(s) をサンプリングする:

おいて i 番目の追跡対象 xi (t) を支配するダイナミクスパターン

φ(t)(s) ∼ q (φ(t)|Φ(t−1), Y (t)) .

のインデックス zi (t) = k の値を確率的に決定する (式 (6))．このプロセスは DPM の実現例の一つである Chinese Restaurant(3)

前節で述べた生成モデルに従って，条件付き分布 p (φ(t)|Φ(t−1))

Process (CRP) [12] を用いてモデル化する．

を次のように分解する:

次に，実際のダイナミクスパラメータ ξk と ψk をサンプリン
グする (式 (7))．本モデルでは状態空間モデルとして Kalmanp (φ(t)|Φ(t−1))  p (c(t)|C(t−1), Pb , Pd )ﬁlter を用いる．ξk と ψk はそれぞれ状態モデルおよび観測モ×デルの正規分布パラメータ，すなわち平均ベクトルと共分散行(4)

p (jm (t)|J(t−1))(5)

p (zi (t)|Z(t−1), γ, π)

(6)

m

列である．

×

隠れ状態 xi (t) は，対象 i がシーン中に存在する場合のみ生i成される．インデックス zi (t) = k で決定したパラメータ ξk に 

p ξk (t)|θkξ (t−1) p ψk (t)|θkψ (t−1)

×



(7)

k

従って隠れ状態の時間発展を計算する．
続いて m 番目の観測量 ym (t) の生成のために，data associ-3. 3 “Birth and Death” 変数 cation 変数 jm (t)(式 (5)) を生成する．jm (t) は [6] で導入され式 (4) の右辺は追跡対象の生成 (birth，addition) および消滅

た xi (t) と ym (t) の間の data association を表現する隠れ変数(death，deletion) を表現する変数 c(t) のサンプリング分布でである．m 番目の観測量が i 番目の隠れ状態に対応する場合ある．c(t) の時間発展は 2 段階のベルヌイ試行としてモデル化

jm (t) = i と表す．この時 ym (t) は xi (t) とパラメータ ψzi (t)する [6]．すなわち i) 前時刻においてシーン中に存在する追跡で規定された観測モデル方程式から生成する．このプロセスを

対象 (ci (t−1) = 1) は確率 Pd でシーンから消える (ci (t) = 0)．

全ての t について繰り返すことで，複数の異なるダイナミクス

そうでなければ ci (t) = 1 とする． ii) 新たな追跡対象が確率で支配された，複数対象の行動軌跡の重ね合わせからなる，一Pb で生成される．この場合，新しいインデック î を導入し，

般の複数対象の行動時系列データを生成することが可能である．

cî (t) = 1 とする．

3. 2 Particle Filter を用いた隠れ変数の推定手法

各時刻で新たに生成される追跡対象の数は高々1 に制限 [6] す続いて複数対象のトラッキングとダイナミクスモデルのクラると，次の式を得る:

スタリング・パラメータの推定をオンラインで行う方法を説明

p (c(t)|C(t−1), Pb , Pd )する．これ以降，各シンボルの大文字でもって，時刻 1 から時
刻 t までの集合を表す．例えば，X (t) = {x(1), x(2), . . . .x(t)}= Pd nd (1−Pd )ns Pb nb (1−Pb )1−nb .

であり，Y (t) = {y(1), y(2), . . . , y(t)} とする．

(8)

目的は事後分布 p (x(t)|Yt ) の推定である．時刻 t での隠れここで，ns はシーン中に現存している追跡対象の数，nd は時変数集合を φ(t) = {{ci (t)}, {jm (t)}, {zi (t)}, {ξk (t)}, {ψk (t)}}刻 t にシーンから消えた対象数，nb ∈ {0, 1} が新たに生成したと書く事として，Φ(t) = {φ(1), φ(2), . . . , φ(t)} とする．この記

追跡対象の数を表す．

3. 4 Data Association 変数 j

号を用いて，事後分布を次のように Particle ﬁlter で近似する:p (x(t)|Y (t)) =

次に data association 変数 j の分布を考える (式 (5))．本モ

p (x(t), Φ(t)|Y (t)) p (Φ(t)|Y (t)) dΦ(t)S

デルでは p (jm (t)|J(t−1)) を一様分布，すなわち一般に dataassociation に関して事前知識がない状況を想定する．ただし後

p x(t), Φ(t)(s) |Y (t) w(t)(s)(1)の実験では事前知識を導入した例を示す．

s=1

J の探索空間が広い場合には，疑似的に尤度を導入すること

ここで S はパーティクルの総数である．本モデルでは先行研

で外れ値を除外することも可能である (c.f. [13])．実験では，j

究 [5], [6] に従って，状態空間モデルを Kalman ﬁlter で定義すの proposal distribution として次のような分布を用いた [6]:るので，p (x(t), Φ(t)|Y (t)) は簡単に計算可能である．この分

q (jm (t) = i|J(t−1), ym (t))

布をサンプリングされた隠れ変数 Φ(t)(s) に対応した w(t)(s) で∝ p (ym (t)|x̂i (t)) p (jm (t) = i|J(t−1)) .

重みづけ平均して真の分布を近似する．

w(t)(s) = w(t−1)(s)×p y(t)|φ(t)

 
(s)

p φ(t)(s) |Φ(t−1)

q (φ(t)(s) |Φ(t−1), Y (t))(9)

上式では “代表的な” 状態ベクトル x̂i (t) における尤度を使って事後分布に近い分布を計算する．本モデルでは x̂i (t) として，.

xi (t) 予測分布 (フィルタリング前) の平均値を利用した．

(2)

296

3. 5 クラスタインデックス z

表1method式 (6) における z(t) の生成には Chinese Restaurant Process(CRP) [14] を利用する．CRP とは，ノンパラメトリックベイ
ズモデルの一種である Dirichlet Process Mixture (DPM) の実
現例で，サンプルの分割 (クラスタリング) の事前分布である．
理論的には可算無限個のクラスタ混合をモデル化可能であるが，実際にはデータの複雑度に応じた数のクラスタを生成する．
本モデルでは，Z(t−1) を事前の情報として，時刻 t における

no

no

yes

no

Clustered

yes

yes

サンプルされた ξk (t)，ψk (t) を用いて対象のトラッキングを実行した後に，トラッキングの結果からハイパーパラメータ θ の
簡単に計算可能である．



p (zi (t) = k|Z(t−1), γ) =⎩SingleIndividual

オンライン更新を行う．ξk (t) の事後分布 (θkξ (t)) は共役性から

zi (t) のサンプリングを次のように行う:⎧⎨ mk (t−1)

if mk (t−1) > 0γ|Z(t−1)|+γ

if mk (t−1) = 0.



NIW ψk ; θkψ (t)

(17)






(18)

これらの更新済みハイパーパラメータ θ(t) は次の時刻においてイズ総数，すなわち mk (t−1) の総和である．

式 (15)，式 (16) でのサンプリングに用いられる．

本モデルではダイナミクスの時間的な切替え頻度もモデル化
する．新しいパラメータ π を導入し，確率 π でダイナミクスの

4. 実

変更を行うこととする:

確率

∝ p (y(t)|ψk ，x(t)) NIW ψk ; θkψ (t−1) .

さである．また，|Z(t−1)| は時刻 t − 1 におけるクラスタのサzi (t) = zi (t−1)



同様に θkψ (t) に関しても次式で推定できる．

(10)

mk (t−1) は時刻 t − 1 までに得られた k 番目のクラスタの大き確率

NIW ξk ; θkξ (t) ∝ p (x(t)|ξk ) NIW ξk ; θkξ (t−1) .

|Z(t−1)|+γ

zi (t) ∼ CRP (Z(t−1), γ)

比較手法とそれぞれの特徴

Eqs. (17), (18) Eqs. (10), (11), (12)験

提案法の性能を人工データと実動画データを用いた実験で確

π

(11)

1−π

認する．

4. 1 比 較 手 法(12)提案モデルの比較対象として隠れ変数の数を制限した 2 モ

各時刻 t，各追跡対象 i ごとに上記の確率で zi (t) を決定してデルを用意し，ダイナミクスモデルのオンライン推定の効果を適切なダイナミクスのクラスタにアサインする．したがってある対象が時刻 t + 1 においてダイナミクスを変更した場合，zi (t + 1) =| zi (t) となって対象の所属クラスタを変更すること評価する．3 モデルの特徴を表 1 にまとめる．最初のモデル(Single) は固定パラメータのもとでの複数対象トラッキングモ
デル [6] とほぼ同様のモデルとなる．このモデルはダイナミクスが可能となる．

のハイパーパラメータ θ(t) の更新 (式 (17)，式 (18)) を行わず，

3. 6 Kalman Filter パラメータ ξ ，ψ常にデフォルトの初期値 θ(0) を用いる．さらに，CRP を用い

追跡対象 i の隠れ状態 xi (t) および観測量 ym (t) が k 番目のダ

たダイナミクスのクラスタリング (式 (10)，式 (11)，式 (12))

イナミクスから生成される (すなわち jm (t) = i かつ zi (t) = k

も行わない．結果として全ての追跡対象に対して ξ(t) と ψ(t)のとき) 過程を Kalman ﬁlter を用いてモデル化する．

は常に唯一つの初期分布よりサンプリングされる．

xi (t) = f (xi (t−1), ξk (t)) , ξk (t) = {q, Q}(13)

第二のモデル (Individual) は先節で示された θ(t) のオンラ

ym (t) = h (xi (t), ψk (t)) , ψk (t) = {r, R}.

(14)

イン推定を行う (式 (17)，式 (18)) が，zi (t) に対するクラスタ
リングを行わない．従って，追跡対象ごとに独立にハイパーパ

ここで，f と h は正規分布ノイズを持つ線形モデルである．シ

ラメータを学習するが, その数は 1 対象につき 1 つだけである．

ステムノイズの平均と共分散行列を ξk (t) = {q, Q}，観測ノイ

このモデルでは，最初のモデルにくらべ複数の追跡対象が異なズの平均と共分散行列を ψk (t) = {r, R} とする．これらのパるダイナミクスを持つことを表現できる点で複雑になっている

ラメータ推定のため，パラメータの事前分布に Normal Inverse

が，パラメータのパターン化 (クラスタリング) は行われない．

Wishart distribution (NIW) (c.f． [8]) を仮定する．各クラス

これは, 1 対象から得られるダイナミクスの情報は少ない (高々タのシステムノイズのハイパーパラメータを θkξ ，観測ノイズのハイパーパラメータを θkψ とする．また θk = {θkξ , θkψ } とする．
時 刻 t − 1 に お け る θ の 事 後 推 定 値 θk (t−1){θkξ (t−1), θkψ (t−1)}

フレーム長) ため, さらにクラスタに分割すると学習に必要な情報が少なくなると思われるためである．

=

最後に提案モデル (Clustered) では，先章までに説明したを用いて，時刻 t における真の ξk ，ψk

通り，ダイナミクスのクラスタリングとそれぞれのハイパーパの推定値 ξk (t) と ψk (t) をサンプリングする．式 (7) の各要素

ラメータをオンラインで推定する．第二のモデルとの相違点は，を次のようにモデル化してサンプリングを行う:

各追跡対象が共有した運動パターンを用いて軌跡を生成するよ













p ξk (t)|θkξ (t−1) = NIW ξk ; θkξ (t−1)

p ψk (t)|θkψ (t−1) = NIW ψk ; θkψ (t−1) .

うにモデル化している点にある．本モデルでは，対象固有のダ(15)

イナミクスを推定する代わりに, 複数対象間で推定に用いる情(16)報を集めることでクラスタ化されるダイナミクスの学習を安定

297

表2

人工データ生成に用いられたパラメータのパターン (4 種類)．各

表 3 人工データおよび実動画データ実験における平均対数尤度

Methodπsynthetic

Single-−115.218−95.617−54.543

Individual-−107.850−84.205−51.937

パターンにおいて r = 0 である

q

Q

R

real movie 1 real movie 2I{3.0，0.0}T

diag{1.0，1.0} diag{1.0，3.0}

II{−3.0，0.0}T

diag{1.5，1.5} diag{1.0，2.0}

0.1−96.678−79.710−50.297III{0.0，3.0}T

diag{0.5，0.5} diag{2.0，2.0}

0.2−96.369−80.925−50.740

0.5 −103.659−82.957−51.857

1.0 −110.313−83.931−52.130

IV {0.0，− 10.0}T

Clustereddiag{1.0，1.0} diag{0.5，3.5}

させる．

4. 2 人工データを用いた実験

4

この実験では，[0 : 200] × [0 : 200] の仮想 2 次元空間中の移2

動質点のトラッキングとクラスタリングをタスクとする．追跡0Y

対象 (質点) の隠れ状態は，各対象の位置を表す 2 次元ベクトルとする．また，観測量も 2 次元ベクトルである．これらはノ-2-4

イズによって劣化した対象位置の情報を表す．また，観測デー
タにはどの追跡対象にも属さないランダム観測も含まれる．各-6

対象は次のランダムウォークモデルに従う:-8xi (t) = xi (t−1) + v(t), v(t) ∼ N (q, Q)(19)

yi (t) = xi (t) + w(t), w(t) ∼ N (r, R) .

(20)

Ground Truth
Clst 0 Size 27
Clst 1 Size 387
Clst 2 Size 420
Clst 3 Size 107
Clst 4 Size 68
Clst 5 Size 532
Clst 6 Size 26
Clst 7 Size 0

-10
-4

-2

0

X

2

4

図 3 人工データ実験における速度ノイズの平均ベクトル分布．星印

ここで N (·) は正規分布を表す．

で示された真値 (Ground Truth) に近い位置に，大きなクラス

各対象は表 2 に示す上下左右への移動に対応する 4 つのダタが形成されていることが分かる

イナミクスパターンをランダムに切替えながら軌跡と出力を生成するものとした．なおすべてのパターンで r = 0 である.

NIW の初期値 θ(0) は，ξk (t) および ψk (t) の平均値が q = 0，
Q = diag{10.0, 10.0}，r = 0，R = diag{5.0, 5.0} となるよ

それらは人工データ生成時に用いられた真値 (Ground Truth)に近い値を得た．すなわち，提案モデルはダイナミクスパター
ンのクラスタリングとそれらのパラメータ推定に成功したというに設定する．時系列データは 300 ステップである．パーティえる．

クル数は S = 300，CRP の concentration parameter は γ = 2

4. 3 実動画像データによる実験とした．同時に追跡される対象数は 10 対象程度である．各時刻において Pb = 0.1 の確率で新しい追跡対象が発生するものとする．シーン中に存在する対象 (ci (t−1) = 1) は式 (21) で計算される確率でシーンから消滅するものとする (追跡対象の消滅確率 Pd ):Pd = 1−λet−tn .

(21)

tn は jm (·) = i となる観測量 ym が少なくとも一つ存在した最後の時刻を表す (λ = 0.1 とする)．

図4

続いて実験結果を検討する．データ対数尤度の時刻平均値を

実動画像データの実験で用いられたデータの例．(a) は第一の実
験，(b) は第二の実験で用いた動画像である．

表 3 の第 3 列に示す．表より，Kalman ﬁlter のパラメータ推
定およびそのクラスタリングが対数尤度を向上することが確認

次に，2 種類の実動画像データを用いた実験について説明すできる．これは，提案モデルがオンラインのトラッキングとクる．デジタルカメラで撮影された動画像を用いて，シーン中のラスタリングによってより良いモデルとパラメータを獲得した

歩行者から抽出される特徴点の追跡とクラスタリングを行う．

ことを示している．

第一の実験では，ほぼ直上から撮影された歩行者から抽出し

図 3 に示したのは提案法 (π = 0.2) における，正規分布ノイた特徴点を追跡する (図 4(a))．各フレームの大きさは 320×240

ズのパラメータ q の最終時刻における分布である．q は追跡対ピクセルである．動画像データを観察すると，まれに店に入る

象の平均速度バイアスを表しており，各プロット点は一つのダイため左右への方向転換が観察されたが，基本的な動きのパター

ナミクスクラスタの q の平均値を表している．図の Clst0 ∼ 9

ンは画面上下方向の 2 種であった．

は推定されたクラスタを表す．“size” で示された数字は各クラ目標となる特徴点は次のようにして抽出した．最初に背景差スタのデータサイズ (どれだけ多くの対象がそのクラスタに属したか) を表す．4 つの主要なクラスタ (size > 100) が獲得され，298分を行い，二値化によって前景ピクセルを抽出する．続いて，前景部分中から黒色のピクセルだけを選び，それらを mean shift

8

クラスタリングで少数のクラスタ中心へ量子化する．これらの

6

クラスタ中心座標を特徴点とする．おおよそ一人の歩行者から4

1 ∼ 3 個の特徴点が抽出された．

Height

本実験では j の分布 (式 (5)) に色モデルを設定した [4]．各特徴点の周辺ピクセルにおける RGB ヒストグラムと，前時刻に得られた追跡対象の RGB ヒストグラムの間の Bhattacharya20係数から association の確率を計算する．対象 i のヒストグラ

-4
-6



d (m, i) 2
P (jm (t) = i|J(t−1)) ∝ exp −
σ2

-8



Clst 0 Size 540
Clst 1 Size 225
Clst 2 Size 96
Clst 3 Size 472
Clst 4 Size 259
Clst 5 Size 82
Clst 6 Size 1
Clst 7 Size 10-2

ムは，jm (t−1) = i となった観測点のヒストグラムの平均とする．jm (t) = i となる確率を次式で定義した:

Downward

Right-to-Left

Upward
-10

-5

0

5

10

Width

.

ここで σ は事前に設定した定数パラメータ (σ = 0.15) で，d (m, i) は m 番目の観測値と i 番目の追跡対象のヒストグラム

図 5 実動画像データ実験における速度ノイズの平均値分布 (実験 2)．
大まかに上方向，下方向，および左方向への運動モデルが獲得された．図中の楕円によるクラスタリングは著者らによる間の Bhattacharya 係数である．
状態空間モデルは先の人工データ実験と同じものを用いる．

NIW の初期値 θ0 は，ξk (t) および ψk (t) の平均値が q = 0，

バイアスである q の分布を図 5(実験 2) に示す．実データであるため ground truth は存在しないが，上下方向，そして左向Q = diag{20.0, 20.0}，r = 0，R = diag{20.0, 20.0} となる

きの速度バイアスをもつ少数の dominant なダイナミクスのクように設定した．動画像のフレーム数は 200 フレーム (6FPS)

ラスタに分離している．またそのクラスタも上方向，下方向，である．パーティクルの総数は S = 500 個，CRP パラメータ

左方向へ速度ベクトルのバイアスがあるモデルであり，おおむ

は γ = 0.1 とした．新規追跡対象の生成確率は Pb = 0.1，追跡

ね動画像の観察から予想されたとおりのクラスタが得られた．

対象の消滅確率は式 (21) で計算する (λ = 0.1)．

最後に，第実動画像データ実験におけるトラッキング結果の第二の実験では，混雑した状況下での歩行者追跡をタスクと連続スナップショットを図 6(実験 1)，図 7(実験 2) に示す．対

した．先般の実験にくらべてより低い視点から交差点での歩行

象の推定位置は色の付けた矩形で示している．それぞれの矩形者を撮影したため，多くのオクルージョンが発生するデータにの色は追跡対象の ID(i) に対応する．また，矩形左上の数字はなっている (図 4(b))．各フレームの大きさは 640 × 480 ピクセ

ダイナミクスクラスタのインデックス (z) に対応する (図 5)．

ルである．動画像データを観察すると，ほとんどの歩行者は画

混雑した状況下でも，追跡対象のダイナミクスを区別した追跡

面内の上下方向，あるいは右から左へと歩いているため，獲得がある程度まで実現できていることがわかる．

される運動クラスタも上，下，および左方向へのバイアスがか

5. む す び

かったモデルが予想される．ただし，混雑での衝突を回避する
ため，細かい運動方向の変化も観察された．

複数のダイナミクスモデルで駆動される複数対象のトラッキ目標となる特徴点は，Histogram of Gradient 特徴を用いた

ングをモデル，対象数とも未知の状態で解決する確率的生成モ

人物検出法 [15] を利用して抽出する．著者らが配布しているデルを提案した．提案法では，ダイナミクスの混合モデルの混プログラムを撮影した動画像に適用し，各フレームから検出さ合数と各コンポーネントのパラメータをノンパラメトリックベれた人物形状の位置座標を特徴ベクトルとして利用した．オ

イズモデルの枠組で推論した．これによって，複数対象のトラッ

クルージョンが起こると検出に失敗しやすいためにミッシングキングと，これらの対象が従うダイナミクスのパターンを同時

データが多数存在するデータとなった．

に学習するモデルが実現された．人工データと実動画像データ

状態空間モデルはこれまでの実験と同じものを用いる．

を用いた実験によって，提案法の有効性を確認した．

NIW の初期値 θ0 は，ξk (t) および ψk (t) の平均値が q = 0，

今後は，線形ガウシアンモデルよりも更に複雑なモデルを組Q = diag{25.0, 25.0}，r = 0，R = diag{10.0, 10.0} となる

み込んで，物体のアピアランスや構造のオンライン学習にも発ように設定した．動画像のフレーム数は 300 フレーム (7.5FPS)

展させたいと考える．

である．パーティクルの総数は S = 1000 個，CRP のパラメー

文

タ γ = 1 とした．新規追跡対象の生成確率は Pb = 0.1 とし，
追跡対象の消滅確率は式 (21) で計算する (λ = 0.1)．
続いて実験結果を検討する．表 3 の右２列に計算された平均対数尤度を示す．人工データの実験の場合と同様，提案法によって対数尤度が向上することが確認できる．対数尤度が高いということは，モデルがデータに良く適合しているということになるので，精度の高い追跡が期待できる．次に，平均速度の299

献[1] A. Mittal and L. S. Davis: “M2tracker: A multi-view approach to segmenting and tracking people in a clutteredscene using region-based stereo”, International Journal ofComputer Vision, 51, 3, pp. 189–203 (2002).
[2] Z. Khan, T. Balch and F. Dellaert: “A Rao-Blackwellized
particle ﬁlter for eigentracking”, Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern
Recognition, pp. 980–986 (2004).
[3] Y. Li, H. Ai, T. Yamashita, S. Lao and M. Kawade: “Track-frame #0

frame #100

frame # 0

frame # 160

frame #25

frame #125

frame # 40

frame # 200

frame #50

frame #150

frame # 80

frame # 240

frame #75

frame #175

frame # 120

frame # 280

図 7 追跡結果の例 (第二の実動画像実験)．矩形の色は追跡対象の

図 6 追跡結果の例 (第一の実動画像実験)．矩形の色は追跡対象のID(i)，上部の数字がダイナミクスのインデックス (z) に対応す

ID(i)，上部の数字がダイナミクスのインデックス (z) に対応す

る．各ダイナミクスの詳細については図 5 を参照

る．この例では，ダイナミクスはほぼ画面垂直方向の動きのみであり，下方向 (1 番) と上方向 (2 番) のクラスタだけでほぼ全ての動きが表現された

[4]

[5]

[6]

[7]

[8]

[9]

ing in low frame rate video: A cascade particle ﬁlter withdiscriminative observers of diﬀerent lifespans”, Proceedingsof IEEE Computer Society Conference on Computer Vision
and Pattern Recognition, Minneapolis, USA (2007).
B. Leibe, N. Cornelis, K. Cornelis and L. V. Gool: “Dynamic 3D scene analysis from a moving vehicle”, Proceedings of IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, Minneapolis, USA (2007).
Z. Khan, T. Balch and F. Dellaert: “MCMC data association and sparse factorization updating for real time multitarget tracking with merged and multiple measurements”,
IEEE Transactions on Pattern Analysis and Machine Intelligence, 28, 12, pp. 1960–1972 (2006).
S. Särkkä, A. Vehtari and J. Lampinen: “Rao-Blackwellized
particle ﬁlter for multiple target tracking”, Information Fusion, 8, 1, pp. 2–15 (2007).
J. Ting, E. Theodorou and S. Schaal: “A Kalman ﬁlter
for robust outlier detection”, Proceedings of IEEE International Conference on Intelligent Robotics Systems, San
Diego, USA, pp. 1514–1519 (2007).
F. Caron, M. Davy, A. Doucet, E. Duﬂos and P. Vanheeghe:

[10]

[11]
[12]

[13]

[14]

[15]

300

“Bayesian inference for linear dynamic models with Dirichlet process mixtures”, IEEE Transactions on Signal Processing, 56, 1, pp. 71–84 (2008).
K. Ishiguro, T. Yamada and N. Ueda: “Simultaneous clustering and tracking unknown number of objects”, Proceedings of IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, Anchorage, USA, p. to appear (2008).
M. S. Arulampalam, S. Maskel, N. Gordon and T. Clapp:“A tutorial on particle ﬁlters for online nonlinear / nongaussian bayesian tracking”, IEEE Transactions on Signal
Processing, 50, 2, pp. 174–188 (2002).
北川：“時系列解析入門”, 岩波書店 (2005).
C. Kemp, J. B. Tenenbaum, T. L. Griﬃths, T. Yamada andN. Ueda: “Learning systems of concepts with an inﬁnite
relational model”, Proceedings of the 21st National Conference on Artiﬁcial Intelligence (2006).
M. K. Pitt and N. Shephard: “Filtering via simulation:
Auxiliary particle ﬁlters”, Journal of the American Statistical Association, 94, 446, pp. 590–599 (1999).
D. Blackwell and J. B. MacQueen: “Ferguson distributions
via Polya urn schemes”, The Annals of Statistics, 1, 2, pp.
353–355 (1973).
N. Dalal and B. Triggs: “Histograms of oriented gradients

for human detection”, Proceedings of IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Vol. 2, San Diego, USA, pp. 886–893 (2005).

301