SIFT 特徴量を用いた Mean-Shift 探索による特徴点追跡に関する研究
画像認識講座都築 勇司

1.はじめにめる．

特徴点追跡の手法として既に KLT 法が提案され，多くのアプリケーションで用いられている．しかし，KLT 法は対象物体の運動に回転やスケール変化を含む場合や，照明の変化による輝度値の変化が激しい場合，特徴点の追跡に失敗することがある．そこで，本研究では，対象とする運動を仮定する必要がなく，回転やスケール変化に対しても頑健な特徴点追跡を目的とする．提案手法は，SIFT(ScaleInvariant Feature Transform)[1] により記述された特徴量を重みとして Mean-Shift 探索することで特徴点の追跡を行う．また，特徴点追跡結果の応用として，人の流れである動線の可視化と，異常行動の検出について述べる．

2.SIFT 特徴を用いた Mean-Shift 追跡

SIFT は，スケールによって特徴を抽出する範囲を変えるため，追跡対象の画像上での大きさが変化する場合は，適応してスケール値を更新する必要がある．そこで，提案手法のMean-Shift 探索では，画像空間の移動量 ∆x = (∆x, ∆y)とスケール空間の移動量 ∆s を求める．SIFT 特徴量から求めた重み分布を用いて，画像空間とスケール空間の移動量を交互に求め，現フレームでの最適な位置とスケール値に移動するよう計算を繰り返す．
step1 画像空間の Mean-Shift
追跡中心 x の周辺画素 xi (i = 0, · · · , N ) 及び参照用スケー
ル s の SIFT 特徴ベクトルと x における参照用ベクトル vとの距離より重み ω(xi , s) を求める．

−d(xi , s)22σd2ω(xi , s)=expd(xi , s)=||SIFT(xi , s) − v||=(1) 127 (vi,k − vk )2(2)k=0

SIFT(xi , s)=vi = (vi,0 , · · · , vi,127 )(3)

σd は，SIFT の類似度を重みに変換するカーネル関数のパラメータである．SIFT(xi , s) は，座標 xi においてスケー
ル s で SIFT 特徴ベクトルを出力する関数である．求めた
重み ω(xi , s) を用いて画像空間上の移動量 ∆x を求める．
前フレームの追跡領域周辺に注目した探索を行うため，式(5) に示す画像空間のカーネル関数 Kloc (x, σxy ) を用い，移動量 ∆x を次式より求める．

N
∆x =

指導教授

Kloc(xi − x, σxy )ω(xi , s)(xi − x0 )

N

i=0

i=0

Kloc(xi − x, σxy )ω(xi , s)

Kloc (x, σxy ) = exp(4)

2−(x2 + y )22σxy(5)移動量 ∆x から，x = x + ∆x により，追跡点座標をシフトする．
step2 スケール空間の Mean-Shift
次に，Step1 より求めた移動後の座標 x でのスケール空間における移動量 ∆s を求める．∆s は追跡対象の大きさの変化に合わせる値であり，参照用スケール s と追跡対象の大きさの変化率を掛けた値が，推定すべき値となる．参照
用スケール s が大きければ ∆s の値も大きくなるため，スケール空間での探索をする場合，参照用スケール s に合わせて探索範囲を変えなくてはならない．
そこで，探索を行う空間の軸をスケール値ではなく，スケールの変化率 S とし，∆S を探索する．画像空間の場合と同様に，式 (1) を重みとして以下の式により変化率を求

∆S =

M
j=0

藤吉 弘亘

Kscale (Sj − 1, σs )ω(x , sSj )(Sj )

M

j=0

Kscale (Sj − 1, σs )ω(x , sSj )Kscale (S, σs ) = exp−S 22σs2(6)(7)ここで Sj (j = 0, · · · , M ) は，Sj = (· · · , 0.9, 1.0, 1.1, · · ·)のような，1.0 を中央として等間隔で増加する数列である．
これは参照用スケール s に対する倍率であり，1.0 は参照用
スケール s をそのまま用いる場合である．ただし S0 > 0 である．カーネル関数への入力に S − 1 を用いるのは，現在の値である S = 1 においてカーネル関数の出力が最大となるようにするためである．求めた変化率 ∆S から，s = s∆Sにより，スケールを更新する．
step3 繰り返し処理
Step1,Step2 の処理を |∆x| < xy ，|∆S − 1.0| < s を満たすまで各空間の Mean-Shift 探索を交互に繰り返し，最適な追跡点座標とスケールを求める．xy と s はしきい値である．

3.評価実験

合成画像を用いた実験により提案手法の有効性を示す．

3.1.実験方法

定量的に各手法の追跡精度を比較するため，合成画像による実験を行う．背景画像に追跡対象画像を貼り付けた画像を，追跡対象画像を 5 種類としたときの，平行移動，回転，拡大の動きを持つ合成画像を生成する．各シーケンスは 180 フレームである．提案手法と KLT 法により追跡を行い，追跡結果を比較する．本実験では追跡性能のみを評価するため，提案手法，KLT 法とも失敗点の削除は行わない．また，追跡対象の特徴点は KLT 法により求めたものとする．

3.2.実験結果

初期点と，実験用画像の合成に用いた変換行列より真値を求め，追跡実験結果との誤差（ユークリッド距離）を計算する．あるしきい値以下の誤差で追跡した点の割合を追跡成功率とし，特徴点追跡性能の評価に用いる．表 1 に追跡対象 5 種類のシーケンスでの全フレーム結果から求めた追跡成功率を示す．提案手法は，平行移動，回転において
表 1 : 追跡成功率 [%]
平行移動

回転

拡大

提案手法

98.387.372.0

KLT 法

93.462.774.3

KLT 法よりも高い追跡成功率を得た．また，拡大においては，本実験で用いた KLT 法で選択される追跡点はコーナー点が多く存在し，拡大による変化の影響を受けにくいため，KLT 法でも追跡が可能であるが，提案手法でも約70%の点を追跡することができた．

4.動線の可視化

動線等の人の流れを表現する際，人領域のセグメンテーションを必要とする．しかし，人領域を正しくセグメンテーションすることは難しい問題である．本稿では，特徴点追跡の結果を用い，人の流れである動線の可視化手法について述べる．

4.1.可視化手法

動線の可視化には，移動方向と頻度を読み取れることが重要である．しかし，人の特徴点追跡では，手や足の動き等の全体の動きとは異なる細かな動きが発生しやすい．このような点を可視化に用いると，助長な情報が多くなり見づらい表示となる．そこで，フレーム間で移動方向に急激な変化がない点を用いるために，以下の基準により追跡点を選択する．

vt · vt−1> th|vt ||vt−1 |vt = (xt , xt−1 ), vt−1 = (xt−1 , xt−2 )cos θ =(8)(9)

移動方向に大きな変動がなければ cos θ は 1 に近い値となる．本手法では，T h = 0.9 としたときの追跡点を用いる．
選択された追跡点の動きを表現するために，移動方向に対応した色相から色を決定する．移動方向 d は 8 方向とし，座標 x における方向 d の色強度 fd (x) を以下の式より求める．

fd (x) =NTδ(x − xti , si )規分布では正確な形状を表現することが出来ない．そこで，本手法では周期性を表現した正規分布として式 (13)(14) で表される正規分布を用いる．

floop (x, µ, σ) = √∆x =1∆x2exp − 22σ2πσ

360 − |µ − d||µ − d||µ − d| > 180|µ − d| ≤ 180

(13)
(14)

図 2 は EM アルゴリズムにより移動方向ヒストグラムにそれぞれの混合正規分布を当てはめた例である．

(10)t=1 i=1

T は総フレーム数，N は追跡点数である．xti はフレーム t
における i 番目の追跡点の座標，δ はガウス分布である．

4.2.可視化結果

図 1 に，動線を可視化した結果を示す．図 1(a) おける
左下の円は移動方向の色を示している．

図 2 : 混合正規分布の当てはめ結果
通常の正規分布では 240 °付近のヒストグラムがうまく表現できていない．これは 300 °以上のヒストグラムも 1つの分布で表現しようとするためである．一方，周期性を考慮した正規分布では 300 °以上のヒストグラムを 0 °付近の正規分布が補うため，240 °付近のヒストグラムをうまく表現するように当てはめが可能である．

5.2.異常行動の検出

観測された特徴点の移動方向に対して，K 個の分布の中からマッチする分布を探す．分布の平均 µi から 1.5 × σiの距離に特徴点の移動方向が含まれればその分布にマッチしたとみなす．分布にマッチした移動方向であれば定常行動，それ以外は異常行動である．図 3 に検出結果を示す．

図 1 : 可視化結果
図 1(a) は約 1 時間の追跡結果を可視化したものである．
図中 A の領域では左方向への移動がほとんどであり，B の領域では右側通行が行われている等，移動の傾向を確認することが出来る．また，図 1(b) は約 2 秒間の追跡結果の可視化画像である．歩行者の大まかな形状と，移動の軌跡が把握できる画像となっている．

5.特徴点追跡結果を用いた異常行動検出

特徴点追跡結果の応用として，異常行動の検出を行う．
異常行動を検出することで，犯罪や事故の予防，マーケティングへの応用が期待できる．

5.1.周期性を考慮した移動モデルの作成

異常行動は，多くの人が行う定常行動とは異なる動きといえる．そこで，特徴点追跡の結果を用いて定常的な移動をモデル化し，モデル外の動きを異常行動として検出する．
モデルの表現方法として，特徴点の移動方向の発生頻度を用いる．定常的な移動モデルの作成は，実際に検出を行う
環境にカメラを設置し，ある程度の時間の撮影を行う．ここで，特徴点追跡を行い，各ピクセルにおいて点の移動方向のヒストグラムを作成する．ヒストグラムに対し混合正規分布を当てはめることで移動モデルを作成する．式 (11)が分布数を K とした混合正規分布の式である．

P (x|Φ) =K

i=1

f (x, µ, σ) = √wi f (x, µi , σi )(11)

1(x − µ)2exp −2σ22πσ

図 3 : 異常行動の検出
図 1(a) における A の領域では左方向への移動が定常的な行動である．図 3 では左方向の歩行者は検出されず，右方向への歩行者が検出されていることがわかる．

6.おわりにSIFT 特徴を用いた Mean-Shift による特徴点追跡手法について提案した．提案手法は SIFT 特徴の頑健性により，平行移動，回転に対して精度良く追跡できることを確認した．また，特徴点追跡結果の応用例として，動線の可視化と異常行動の検出について示した．動線の可視化では，長時間の追跡結果を使用することで移動の傾向を，短時間の追跡結果を使用することで移動体の大まかな形状と移動の軌跡が表現可能である．異常行動検出では，周期性を考慮した正規分布を用いることで移動方向ヒストグラムより移動モデルを作成することができた．移動モデルを用いることにより異常行動の検出が可能であることを確認した．今後はマーケティングへの応用を行う予定である．

参考文献[1] David G. Lowe, “Distinctive image features fromscale-invariant keypoints” , Int. Journal of Computer Vision, Vol.60, No.2 (2004), pp. 91-110.

研究業績
(12)

式 (12) は通常の正規分布である．モデル化するデータは移動方向である．移動方向は周期性を持つため，通常の正[1] 都築勇司, 藤吉弘亘, 金出武雄, “SIFT 特徴量に基づく Mean-Shift 探索による特徴点追跡”, 情報処理学会
CVIM 論文誌第 20 号 (掲載予定).

(他 研究会技術報告 2 件)