(57)【要約】【課題】追跡器の精度を推定することなく、パーティクルの生成の際に、できる限り適切な追跡器を割り当てる物体追跡プログラム、装置及び方法を提供する。【解決手段】時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として定義する。追跡対象の物体が映る時系列の画像毎に、時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップを生成する応答マップ生成手段と、時刻tのN個の各矩形領域ｂtを、応答マップの中のM個の極大値ｐに対してサンプリングすると共に、各矩形領域ｂtに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓtを生成し、各パーティクルｓtに、各矩形領域ｂtに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、重みが最大となるパーティクルｓ^tを決定する位置決定手段を有する。【選択図】図３
2018200628.tif 000002
【特許請求の範囲】
【請求項１】
追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルｓ^tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする物体追跡プログラム。
【請求項２】
前記パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ1〜ｐMに対して、混合正規分布によって矩形領域ｂt1〜ｂtNをサンプリングする
ようにコンピュータを機能させることを特徴とする請求項１に記載の物体追跡プログラム。
【請求項３】
前記パーティクル生成手段における前記所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkrt1〜tkrtM、又は、
過去時刻に決定されたパーティクルｓ^1〜ｓ^t-1に基づく過去追跡器tkr^1〜tkr^t-1
であるようにコンピュータを機能させることを特徴とする請求項１又は２に記載の物体追跡プログラム。
【請求項４】
前記パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることを特徴とする請求項３に記載の物体追跡プログラム。
【請求項５】
前記パーティクル生成手段は、
前記過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
前記現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることを特徴とする請求項３又は４に記載の物体追跡プログラム。
【請求項６】
前記パーティクル生成手段について、前記重みは、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載の物体追跡プログラム。
【請求項７】
前記パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
前記応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
前記追跡モード判定手段は、前記パーティクルフィルタモードである場合、前記応答マップにおける加重分散varが第１の所定閾値以下であれば、前記パーティクルフィルタモードを解除する
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載の物体追跡プログラム。
【請求項８】
時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
前記パーティクル生成手段は、前記追跡信頼度判定手段によって真と判定された際に機能させる
ことを特徴とする請求項７に記載の物体追跡プログラム。
【請求項９】
前記追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、前記所定条件として前記最大値が所定閾値未満である場合に、前記追跡信頼度が低いと判定する
ようにコンピュータを機能させることを特徴とする請求項８に記載の物体追跡プログラム。
【請求項１０】
前記パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された前記追跡モード判定手段に続いて機能する状態予測手段を更に有し、
前記状態予測手段は、時刻t-1の矩形領域ｂt-11〜ｂt-1Nから、各パーティクルｓt1〜ｓtNの矩形領域ｂt1〜ｂtNへの遷移が、正規分布に基づくと仮定して、矩形領域ｂt1〜ｂtNの位置を予測して遷移させる
ようにコンピュータを機能させることを特徴とする請求項９に記載の物体追跡プログラム。
【請求項１１】
前記状態予測手段と前記位置決定手段との間で機能する重み更新手段として更に機能させ、
前記重み更新手段は、各パーティクルｓt1〜ｓtNの重みを、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることを特徴とする請求項１０に記載の物体追跡プログラム。
【請求項１２】
前記位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
前記リサンプリング手段は、各パーティクルｓt1〜ｓtNに割り当てられた重みを用いて、より大きい重みのパーティクルｓtほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂt1〜ｂtNをリサンプリングする
ようにコンピュータを機能させることを特徴とする請求項１から１１のいずれか１項に記載の物体追跡プログラム。
【請求項１３】
追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルｓ^tを決定する位置決定手段と
を有することを特徴とする物体追跡装置。
【請求項１４】
追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
前記装置は、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てる第２のステップと、
前記重みが最大となるパーティクルｓ^tを決定する第３のステップと
を実行することを特徴とする物体追跡方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追跡対象の物体が映る時系列の画像群を解析して、当該物体を追跡する物体追跡技術に関する。
【背景技術】
【０００２】
物体追跡は、監視カメラ、ヒューマンコンピュータインタラクションや、ロボティクス等における基礎技術である。時系列の画像群が入力されると、初期フレーム（画像）について追跡対象の物体が映る画像領域が決定され、それ以降のフレームではその画像領域が順次求められる。
物体追跡技術は、コンピュータビジョン分野の中でも最も実施困難な問題の１つである。物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、正確に物体を追跡できるべく、高いロバスト性が要求される。
【０００３】
近年、パーティクルフィルタを用いた物体追跡技術が広く利用されてきている。
「パーティクルフィルタ」とは、時間変化する観測対象の状態を推定する時系列フィルタの一種である。これは、複数のパーティクルを用いたモンテカルロ法によって、事前分布と事後分布とを近似することによって、「状態」を推定する。即ち、状態を、「物体の位置」と定義し、時間毎にその状態（位置）を推定することによって、物体を追跡する。
【０００４】
従来、パーティクルフィルタを用いた物体追跡技術として、単一ではなく複数の追跡器を用いて、追跡対象の見えや動きの変化に対するロバスト性を高めた技術がある（例えば非特許文献１参照）。この技術によれば、具体的には、事後分布を、追跡器の項と、状態の項とに分解する。最初に、最適な追跡器をモンテカルロ法によって推定し、次に、推定された追跡器を用いて状態を推定する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】J. Kwon, and K. M. Lee, “Tracking by Sampling Trackers,” In Proc ICCV, pp.1195-1202, 2011.
【非特許文献２】N. Dalal, and B. Triggs. “Histograms of Oriented Gradients for Human Detection,” In Proc CVPR, pp.886-893, 2005.
【非特許文献３】I. T. Jolliffe, “Principal Component Analysis,” 2nd edition, Springer, 2002.
【非特許文献４】J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, “High-speed tracking with kernelized correlation filters,” IEEE Transactions on PAMI, vol.37, no.3, pp.583-596, 2015.
【非特許文献５】Q. Tian, and M. N. Huhns, “Algorithms for subpixel registration,” Computer Vision, Graphics, and Image Processing, vol.35, no.2, pp.220-233, 1986.
【非特許文献６】S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Foundations and Trends in Machine Learning, vol.3, no.1, pp.1-122, 2010.
【非特許文献７】J. H. Holland, “Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence,” U Michigan Press, 1975.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
前述した非特許文献１に記載の技術によれば、物体が映る画像領域に係る追跡器は、評価用の指標に基づいて推定されるものであり、その指標は、予めオペレータによって設定されたものである。即ち、追跡器の推定精度は、その設定に大きく依存する。その設定によっては、状態（物体位置）のパーティクルの数を増加させたとしても、結果的に、追跡器の推定精度を高めることはできない。
【０００７】
そこで、本発明は、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる物体追跡プログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする。
【０００９】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ1〜ｐMに対して、混合正規分布によって矩形領域ｂt1〜ｂtNをサンプリングする
ようにコンピュータを機能させることも好ましい。
【００１０】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段における所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkrt1〜tkrtM、又は、
過去時刻に決定されたパーティクルｓ^1〜ｓ^t-1に基づく過去追跡器tkr^1〜tkr^t-1
であるようにコンピュータを機能させることも好ましい。
【００１１】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることも好ましい。
【００１２】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、
過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることも好ましい。
【００１３】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段について、重みは、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることも好ましい。
【００１４】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
追跡モード判定手段は、パーティクルフィルタモードである場合、応答マップにおける加重分散varが第１の所定閾値以下であれば、パーティクルフィルタモードを解除する
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明の物体追跡プログラムにおける他の実施形態によれば、
時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
パーティクル生成手段は、追跡信頼度判定手段によって真と判定された際に機能させる
ことも好ましい。
【００１６】
本発明の物体追跡プログラムにおける他の実施形態によれば、
追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する
ようにコンピュータを機能させることも好ましい。
【００１７】
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定手段に続いて機能する状態予測手段を更に有し、
状態予測手段は、時刻t-1の矩形領域ｂt-11〜ｂt-1Nから、各パーティクルｓt1〜ｓtNの矩形領域ｂt1〜ｂtNへの遷移が、正規分布に基づくと仮定して、矩形領域ｂt1〜ｂtNの位置を予測して遷移させる
ようにコンピュータを機能させることも好ましい。
【００１８】
本発明の物体追跡プログラムにおける他の実施形態によれば、
状態予測手段と位置決定手段との間で機能する重み更新手段として更に機能させ、
重み更新手段は、各パーティクルｓt1〜ｓtNの重みを、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることも好ましい。
【００１９】
本発明の物体追跡プログラムにおける他の実施形態によれば、
位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
リサンプリング手段は、各パーティクルｓt1〜ｓtNに割り当てられた重みを用いて、より大きい重みのパーティクルｓtほど、その周囲により多くのパーティクルが配置するようにパーティクルｓt1〜ｓtNをリサンプリングする
ようにコンピュータを機能させることも好ましい。
【００２０】
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^tを決定する位置決定手段と
を有することを特徴とする。
【００２１】
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
装置は、
時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けてパーティクルｓt＝(ｂt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
時刻tのN個の各矩形領域ｂt1〜ｂtNを、応答マップＹの中のM個の極大値ｐ1〜ｐMに対してサンプリングすると共に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成し、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てる第２のステップと、
重みが最大となるパーティクルｓ^tを決定する第３のステップと
を実行することを特徴とする。
【発明の効果】
【００２２】
本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物体位置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。
【図面の簡単な説明】
【００２３】
【図１】物体追跡システムの構成図である。
【図２】本発明における物体追跡装置の機能構成図である。
【図３】本発明の物体追跡処理を表す基本的フローチャートである。
【図４】特徴量抽出部の処理を表す説明図である。
【図５】応答マップ生成部の処理を表す説明図である。
【図６】本発明におけるパーティクル生成部の処理を表す第１の説明図である。
【図７】本発明におけるパーティクル生成部の処理を表す第２の説明図である。
【図８】本発明における追跡器の選択処理を表す説明図である。
【図９】本発明における位置決定部の処理を表す説明図である。
【図１０】相関フィルタ学習部の処理を表す説明図である。
【図１１】本発明の物体追跡処理を表す具体的フローチャートである。
【図１２】本発明における追跡信頼度判定部の処理を表す説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施形態について、図面を用いて詳細に説明する。
【００２５】
図１は、物体追跡システムの構成図である。
【００２６】
図１によれば、物体追跡システムは、物体追跡装置１と１台以上のカメラ２とが、ネットワークを介して接続されている。
各カメラ２は、追跡対象の物体を撮影可能であり、撮影した映像（時系列の画像群）を、物体追跡装置１へ送信する。カメラ２は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。勿論、カメラ２は、各画素のデプス値を出力するデプスカメラであってもよい。
【００２７】
カメラ２は、物体追跡装置１との間で、例えば無線ＬＡＮや有線ＬＡＮのように直接的に接続されるものであってもよいし、例えばアクセスネットワーク及びインターネットを介して接続されるものであってもよい。アクセスネットワークとしては、無線系のＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）であってもよいし、有線系の光ファイバ網やＡＤＳＬ（Asymmetric Digital Subscriber Line）であってもよい。
尚、別途備えられたカメラ制御装置（図示なし）が、複数のカメラ２から出力された映像を収集し、その映像を物体追跡装置１へリアルタイムに又はバッチ的に送信するものであってもよい。
【００２８】
ここで、追跡対象となる物体は、例えば人物、動物、乗り物のような移動可能な物理対象である。撮影場所も、特に限定されることなく、屋外でも屋内でもよい。また、追跡対象となり得る物体は、複数であってもよく、同行したり互いにすれ違ったり、撮影範囲の内外に移動するものであってもよい。
【００２９】
＜物体追跡装置１＞
物体追跡装置１は、カメラ２から映像（時系列の画像群）を受信する。そして、物体追跡装置１は、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体が映る画像領域の決定を繰り返す。そして、決定された画像領域から、追跡対象を分析する。
このとき、追跡に失敗する可能性の高まる状況、例えば、追跡対象の物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、当該物体の位置を予測しながら、複数候補の画像領域（複数の仮説、パーティクル）を決定する。それら画像領域から、当該物体を検出し、その移動を追跡する。
【００３０】
物体追跡装置１は、カメラ２から受信した画像内に張られた画像座標系x-yでの位置座標(x, y)を、実空間に張られた世界座標系Gx-Gy-Gzでの位置座標(gx, gy, gz)へ変換する（座標変換操作）。そして、追跡対象の物体が映る画像から、実空間での位置やその変移分等の位置を算出する。例えば、前時刻t−1における追跡対象の物体の画像内の位置(x, y)が、現在時刻tにおける位置(x', y')へ変化した場合、この物体は、実空間（観測対象空間）について、前時刻t−1での位置(gx, gy, gz)から、現在時刻tでの位置(gx', gy', gz')へ移動したことが推定される。
【００３１】
尚、カメラ２が、設置位置や、撮影向き、高さを変更可能なものである場合、画像座標系から世界座標系への座標変換は、予めキャリブレーションによって、カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておく。
【００３２】
図２は、本発明における物体追跡装置の機能構成図である。
【００３３】
図２によれば、物体追跡装置１は、大きく以下の機能を有する。
カメラ２と通信可能な通信インタフェース１Ａ
カメラ２から受信した時系列の画像群を記憶する画像蓄積部１Ｂ
物体追跡用の情報を記憶した記憶部１Ｃ
物体追跡処理を実行する制御部１Ｄ
物体追跡結果を利用するアプリケーション１Ｅ
【００３４】
記憶部１Ｃは、物体領域蓄積部と、追跡モード蓄積部と、回帰パラメータ列蓄積部と、テンプレート列蓄積部と、信頼度列蓄積部と、信頼度比列蓄積部とを有する。
物体領域蓄積部は、重みが最大のパーティクルの位置及び矩形を記憶する。
追跡モード蓄積部は、各時刻における追跡モードを記憶する。
回帰パラメータ列蓄積部は、各時刻における相関フィルタのパラメータαを記憶する。
テンプレート列蓄積部には、時刻毎に、追跡対象の物体が映る画像を記憶する。
信頼度列蓄積部及び信頼度比列蓄積部は、後述する過去の追跡器の信頼度列及び信頼度比列を記憶する。
制御部１Ｄは、カメラ２から受信した映像（画像群）について、時系列に、画像毎に物体追跡処理を繰り返す。
アプリケーション１Ｅは、画像と、矩形領域とを用いて処理する。
【００３５】
図３は、本発明の物体追跡処理を表す基本的フローチャートである。
【００３６】
図３によれば、制御部１Ｄは、特徴量抽出部１０と、応答マップ生成部１１１と、パーティクル生成部１２１と、位置決定部１３１と、追跡器記憶部１４と、相関フィルタ学習部１５とを有する。
これら機能構成部は、物体追跡装置１に搭載されたコンピュータによって機能されるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、物体追跡方法としても理解できる。
【００３７】
［特徴量抽出部１０］
特徴量抽出部１０は、画像毎に、学習した物体識別器によって、追跡対象の物体に対応する特徴量Zを出力する。例えば人物を追跡対象とする場合、物体識別器は、人物検出用に学習したものである。
【００３８】
物体検出のためには、例えばＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることも好ましい（例えば非特許文献２参照）。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。
【００３９】
図４は、特徴量抽出部の処理を表す説明図である。
【００４０】
図４によれば、時刻tの画像otについて、時刻t−1で推定された矩形領域ｂ^t-1の中心を固定したまま、当該画像領域を定数倍（例えば２倍）に拡大したものを、「ｂ^tの中心探索領域」に設定している。
そして、特徴量抽出部１０は、この「探索領域」内の画像についての特徴量Zを抽出する。この特徴量Zは、例えばＨＯＧ特徴量に対して公知の主成分分析（ＰＣＡ）（例えば非特許文献３参照）によって次元削減処理を施したものであってもよい。
【００４１】
追跡対象となる物体が検出された画像領域は、矩形に設定される。勿論、矩形以外の形状であってもよい。時刻tに、物体が映る画像の矩形領域を、ｂt(bounding box)と定義する。
ｂt＝(x, y, w, h)∈Ｒ4
x：画像座標系x-yにおける画像領域矩形の左上の頂点のx座標
y：画像座標系x-yにおける画像領域矩形の左上の頂点のy座標
（尚、x軸正方向が右向き、y軸正方向が下向きであるとする）
w：当該矩形の横幅
h：当該矩形の縦幅（高さ）
また、観測結果を画像と定義して、時刻tまでの観測を、以下のように画像ｏの群であるとする。
ｏt＝(o1, o2, ・・・, ot-1, ot)
更に、時刻tで推定された矩形領域ｂ^tを、以下のように表す。
ｂ^t＝(x^t, y^t, w^t, h^t)
尚、追跡対象物体が映る画像の矩形領域ｂ^tは、逐次、物体領域蓄積部に記憶される。
【００４２】
［応答マップ生成部１１１］
応答マップ生成部１１１は、時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する。
【００４３】
図５は、応答マップ生成部の処理を表す説明図である。
【００４４】
図５によれば、応答マップＹは、特徴量抽出部１０によって抽出された特徴量Zに対し、ベースサンプルXを用いたカーネル化処理と、学習済みのパラメータαの積算処理とを実行することによって、応答マップＹを算出する。応答マップＹは、以下のように表される。
Ｙ＝Ｆ-1（ｋ^XZ○α^）
Ｆ-1：逆フーリエ変換の関数
ｋ：ガウシアンカーネル
^：ベクトルのフーリエ変換
○：ベクトルの要素毎の積
X：ベースサンプル
Z：ＨＯＧ特徴量
α：学習済みのパラメータ
【００４５】
パラメータαは、後述する相関フィルタ学習部１５によって算出されたものであり、ＫＣＦ(Kernelized Correlation Filter)に基づくものである（例えば非特許文献４参照）。これは、例えば行列の巡回性、フーリエ変換及びカーネルトリックを用いたものである。
ベースサンプルXは、例えば時刻t−1で決定された矩形領域ｂ^t-1の画像とすることができる。
【００４６】
フーリエ変換前のX,Z間のカーネルｋXZは、以下のようにガウシアンカーネルとして算出される。
ｋXZ＝exp（−1/σ2（||X||2＋||Z||2−２Ｆ-1(ΣcX^*c○Z^c)））
下付きc：ＨＯＧ特徴量におけるチャネル成分
Xc：ＨＯＧ特徴量ベクトルＸのcチャネル成分
上付き*：複素共役
Σc：c（チャネル）についての総和（summation）
【００４７】
このように算出された応答マップＹは、図４の中心探索領域上の各位置における応答値となる。
【００４８】
尚、実装上、応答マップＹの生成の際に実行されるフーリエ変換及び逆フーリエ変換は、ＦＦＴ（Fast Fourier Transform）及びＩＦＦＴ（Inverse FFT）アルゴリズムを用いて高速に処理される。
【００４９】
［パーティクル生成部１２１］
＜１．パーティクルの定義＞
本発明によれば、時刻tにおける矩形領域ｂtに追跡器tkrtを対応付けた、パーティクルｓt＝(ｂt,tkrt)と定義する。
ｓt＝(ｂt,tkrt)：パーティクル（状態）
ｂt＝(xt, yt, wt, ht)∈Ｒ4：矩形領域
tkrt∈Ｎ
Ｎ：追跡器の数
これによって、各パーティクルで別々の追跡器を用いて追跡することができる。ｂt及びtrktはそれぞれ、別の方法でサンプリングした後、連結させて、１つのパーティクルｓtを生成する。
【００５０】
＜２．矩形領域ｂtのサンプリング＞
パーティクル生成部１２１は、応答マップＹ(x,y)の中から、M個の極大値ｐ1〜ｐMの集合を、大きいものから順（降順）に導出する。
ｐ＝(x,y)：応答マップＹの中の座標
これらM個の極大値の座標点の近辺の矩形領域には、追跡対象の物体が映っている可能性が高いと仮定する。
【００５１】
パーティクル生成部１２１は、これらの座標点の近辺にパーティクルが多く存在するようにサンプリングする。そのために、パーティクル生成部１２１は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ1〜ｐMに対して、時刻tのN個の矩形領域ｂt1〜ｂtNをサンプリングする。具体的には、以下のように、混合正規分布に従ってパーティクルをサンプリングする。
P(ｂt│ｐ1,ｐ2,・・・,ｐM)＝Σmπm Ｎ(ｂt;(ｐm,ｗ^t-1,ｈ^t-1),σ)
Ｎ：正規分布
Σ：分散共分散行列
σ：対角行列
これによって、以下のように表す。
diag(σ)=(w1/r,h1/r,0,0)
r：実数（r>0）
∀m,πm＝1/Mとするのが、最も単純な方法であるが、各極大値の値に比例させてπmを変化させて設定してもよい。
【００５２】
パーティクル数Nのうち、j番目（j＝1〜N）のパーティクルstjについて、各パーティクルの重みを、1/Nに設定する。
【００５３】
図６は、本発明におけるパーティクル生成部の処理を表す第１の説明図である。
【００５４】
図６によれば、N個のパーティクルの矩形領域ｂt1〜ｂtNが、M個の極大値ｐ1〜ｐMの周囲近辺にサンプリングされている。このように複数のパーティクルをサンプリングすることによって、ランダムな位置にサンプリングするよりも、追跡対象の物体に映る最適な位置に矩形領域ｂt1〜ｂtNをサンプリングすることができる。
【００５５】
＜３．追跡器tkr tの割り当て＞
パーティクル生成部１２１は、次に、各矩形領域ｂt1〜ｂtNに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓt1〜ｓtNを生成する。
【００５６】
図７は、本発明におけるパーティクル生成部の処理を表す第２の説明図である。
【００５７】
パーティクル生成部１２１における「所定の追跡器の候補」は、以下のものである。
現在時刻に任意に割り当てられたM個の現在追跡器tkrt1〜tkrtM、又は、
過去時刻に決定されたパーティクルｓ^1〜ｓ^t-1に基づく過去追跡器tkr^1〜tkr^t-1
【００５８】
過去追跡器も選択候補とした理由は、現在追跡器の追跡精度が低下した場合であっても、過去に選択された過去追跡器を用いることによって、追跡の精度の向上を期待したものである。
【００５９】
現在時刻tにおけるN個のパーティクルそれぞれに、現在追跡器又は過去追跡器の中から選択した１個の追跡器を割り当てる。ここで、追跡器は、任意の確率分布を用いて、２段階で選択される。
（Ａ）現在追跡器群又は過去追跡器群の選択
（Ｂ）追跡器の選択
【００６０】
（Ａ）現在追跡器群又は過去追跡器群の選択
最初に、確率分布として、例えばベルヌーイ分布を用いて、現在追跡器群又は過去追跡器群のいずれかから追跡器を選択するか、を決定する。
パーティクル生成部１２１は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定する。
μ：ハイパーパラメータ
ベルヌーイ分布によって出力される２値ｕ∈{0,1}が、平均μとなるように、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てられる。
Ｐ(u;μ)＝μu(１−μ)1-u
【００６１】
μの設定は、例えば現在の追跡器のみを用いる場合、μ＝0に設定すればよい。
一方で、過去の追跡器のみを用いる場合、μ＝1に設定すればよい。
過去追跡器と現在追跡器との両方を混ぜて用いる場合、0＜μ＜1に設定すればよい。
【００６２】
（Ｂ）追跡器の選択
次に、パーティクル生成部１２１は、例えば一様分布や最適化分布を用いて、現在追跡器群又は過去追跡器群のそれぞれの中から、１個の追跡器を選択する。以下では、それぞれの場合に分けて説明する。
（Ｂ１）過去追跡器（u＝1）の場合
（Ｂ２）現在追跡器（u＝0）の場合
【００６３】
図８は、本発明における追跡器の選択処理を表す説明図である。
【００６４】
（Ｂ１）過去追跡器（u＝1）の場合
複数の過去追跡器tkr^1〜tkr^t-1の中から、確率分布Ｄsnapに従って選択される。
Ｄsnap＝Ｐ(tkrt｜u＝１)
ここで、パーティクル生成部１２１は、複数の過去追跡器tkr^1〜tkr^t-1の中から一様分布又は最適化分布でいずれか1個の追跡器を選択する。
（Ｂ１ａ）一様分布
過去追跡器全てを、等確率Ｄsnap＝1/(t-1)で選択する（図８ａ参照）。
（Ｂ１ｂ）最適化分布
任意の指標を用いて過去追跡器に序列を付けて、Ｄsnapを算出する（図８ｂ参照）。
ｑ：求める確率分布
Ｃ＝(ｃ1,ｃ2,・・・)Ｔ：ｑに対応する追跡器の信頼度列
Ｒ＝(ｒ1,ｒ2,・・・)Ｔ：信頼度比列
目的関数は、L1正則化項を加えて、最適解として以下のように表す（例えば非特許文献６参照）。
maxqｑＴＣ＋αｑＴＲ＋β||ｑ||
＝maxqｑＴ(Ｃ＋αＲ）＋β||ｑ||
s.t.  Σnｑn＝１
α：信頼度比の重要性を制御するパラメータ
β：スパース性を制御するパラメータ
L1正則化項によって、求めた分布が「疎」になるため、使用する追跡器の数を減少させることができる。これによって、少ない追跡器で、効率良く、追跡することができる。尚、信頼度比は、後述する追跡器記憶部１４によって記憶される。そして、信頼度比が高い追跡器は、その後、選択される確率が高くなるようにＤsnapが設定される。
【００６５】
（Ｂ２）現在追跡器（u＝0）の場合
M個の現在追跡器tkrt1〜tkrtMの中から、一様分布を用いて1個の追跡器を選択する。その確率分布Ｄbranchは、例えば以下のように表される。
Ｄbranch＝Ｐ(tkrt｜u＝0)＝1/M
現在追跡器全てを、等確率Ｄbranch＝1/Mで選択する（図８ｃ参照）。
【００６６】
尚、パーティクル生成部１２１における追跡器のパラメータ自体は、全て同じ（時刻tにおける1つの追跡器を複製したもの）である。その後、後述する相関フィルタ学習部１５によって、追跡器毎にパラメータが学習される。そして、追跡器の各パーティクルへの割り当ては、前述した追跡器tkrtの割り当てに基づく。
【００６７】
＜４．パーティクルｓtに対する重みの割り当て＞
パーティクル生成部１２１は、各パーティクルｓt1〜ｓtNに、各矩形領域ｂt1〜ｂtNに基づく応答マップの値を、重みとして割り当てる。
「重み」は、具体的には、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値である。
【００６８】
［位置決定部１３１］
位置決定部１３１は、パーティクル生成部１２１によって算出された「重み」が、最大となるパーティクルｓ^tを決定する。そのパーティクルｓ^tの矩形領域は、ｂ^tと表す。
具体的には、重みが最大値となる位置は、パラボラフィッティングに基づくサブピクセル推定によって決定される（例えば非特許文献５参照）。これにより、ピクセル単位と比較して、細かな（正確な）位置座標値を決定することができる。
【００６９】
図９は、本発明における位置決定部の処理を表す説明図である。
【００７０】
時刻tにおける応答マップＹtの中で、重みが最大値となる（図９の●、正解位置を中心とする）パーティクルｓ^tの矩形領域ｂ^tを決定する。
ｗ^＝ｗ1、  ｈ^＝ｈ1
ｘ^＝ｉ^−ｗ^/2、  ｙ^＝ｊ^−ｈ^/2
（ｘ^，ｙ^）：時刻tに決定されたパーティクルｓtにおける矩形領域の左上頂点
ｗ^：時刻tに決定されたパーティクルｓtの矩形領域の横幅
ｈ^：時刻tに決定されたパーティクルｓtの矩形領域の縦幅（高さ）
（ｉ^，ｊ^）：時刻tに決定されたパーティクルｓtの矩形領域の中心
ｗ1：初期フレームで決定されたパーティクルｓtの矩形領域の横幅
ｈ1：初期フレームで決定されたパーティクルｓtの矩形領域の縦幅（高さ）
尚、ｗ1及びｈ1について、他の値として、例えば、時刻t−1で決定されたパーティクルの矩形領域の横幅及び縦幅を用いてもよい。
【００７１】
［追跡器記憶部１４］
追跡器記憶部１４は、時刻tにおけるパーティクルｓ^t毎に、相関フィルタのパラメータαtと、ベースサンプルｘtと、重みｃtと、信頼度比ｒtとをそれぞれ記憶する。
Ａ＝(α1,α2,・・・)Ｔ
Ｘ＝(ｘ1,ｘ2,・・・)Ｔ
Ｃ＝(ｃ1,ｃ2,・・・)Ｔ
Ｒ＝(ｒ1,ｒ2,・・・)Ｔ
【００７２】
［相関フィルタ学習部１５］
相関フィルタ学習部１５は、時刻tで決定されたパーティクルｓ^tの矩形領域について、ＫＦＣのパラメータαを更新する（例えば非特許文献３参照）。その後、繰り返される応答マップ生成部１１１は、時刻t+1で、更新されたパラメータαによって応答マップＹを生成する。
【００７３】
図１０は、相関フィルタ学習部の処理を表す説明図である。
【００７４】
相関フィルタ学習部１５は、最初に、決定されたパーティクルｓ^tの矩形領域ｂ^tについて、ＨＯＧ特徴量Xを算出する。前述した応答マップ生成部１１と同様に算出したカーネルｋXZを用いて、以下のようにパラメータαを更新する。
α^＝ｙ^／(ｋ^XZ＋λ)
ｙ：リッジ(Ridge)回帰の教師データ
λ：正則化項の係数
^：フーリエ変換
【００７５】
現在時刻tにおける追跡器tkrt1, tkrt2,・・・, tkrtM毎に、ＫＦＣのパラメータαを学習する。具体的には、全パーティクルの中をtkrtの値ごとに分割し、各分割の中で最も重みが高いパーティクルｓ^tの矩形領域ｂ^tに基づいてパラメータαを更新する。
【００７６】
尚、追跡の信頼度が低下している場合、相関フィルタの学習によって追跡位置のずれが増大する可能性もある。これに対して、相関フィルタの学習を実行する頻度を、例えば数フレームに１回といった頻度にまで低下させることもできる。これにより、追跡位置のずれの増大を抑制することができる。
【００７７】
図１１は、本発明の物体追跡処理を表す具体的フローチャートである。
【００７８】
図１１によれば、図３の基本フローチャートに、具体的な構成要素が追加されたものである。以下では、図３と異なる、以下の構成要素のみを説明する。
（特徴量抽出部１０）：図３と同様
（応答マップ生成部１１１）：図３と同様
［追跡モード判定部１１２］
［追跡信頼度判定部１１３］
（パーティクル生成部１２１）：図３と同様
［状態予測部１２２］
［重み更新部１２３］
（位置決定部１３１）：図３と同様
［リサンプリング部１３２］
（追跡器記憶部１４）：図３と同様
（相関フィルタ学習部１５）：図３と同様
【００７９】
［追跡モード判定部１１２］
前提として、パーティクルフィルタモード又は通常モードを表す「追跡モード」を定義する。パーティクル生成部１２１は、パーティクルを生成した後、追跡モードを、パーティクルフィルタモードへ移行させる。また、パーティクル生成部１２１は、追跡モードがパーティクルフィルタモードである場合、実行されない。
【００８０】
追跡モード判定部１１２は、応答マップ生成部１１１の次段として機能する。
追跡モード判定部１１２は、追跡モードがパーティクルモードでなければ、追跡信頼度判定部１１３へ処理を移行する。
また、追跡モード判定部１１２は、追跡モードがパーティクルフィルタモードであっても、応答マップにおける加重分散varが所定閾値ε以下であれば、パーティクルフィルタモードを解除する。即ち、通常モードへ移行する。そして、追跡信頼度判定部１１３へ処理を移行する。
一方で、追跡モード判定部１１２は、追跡モードがパーティクルモードであって、且つ、応答マップにおける加重分散varが所定閾値εよりも大きい場合、後述する状態予測部１２２へ処理を移行する。
尚、追跡モード判定部１１２は、パーティクルフィルタモードへ移行してから一定時間経過後に、パーティクルフィルタモードを解除し、通常モードへ移行するものであってもよい。
【００８１】
＜追跡モードの判定＞
追跡モード判定部１１２は、パーティクルの収束度によって、追跡モードを判定する。具体的には、パーティクルの加重分散を用いる。n番目のパーティクルの状態をｓnとすると、加重平均は以下ように表される。
mean＝Σnｗnｓn
矩形領域ｂと追跡器tkrとは、異なるものであるために、加重分散は、以下のように算出する。
var＝Σnｗnｄ(ｓn,mean)２
＝Σnｗn(ｓn−mean)ＴＳ−1(ｓn−mean)
Ｓ：分散共分散行列
加重分散を用いることによって、各次元のスケールが正規化され、適切に収束度を測ることができる。尚、追跡モード判定部１１２について、加重分散を例として説明したが、それに代えて、若しくは合せて、マハラノビス距離、ユークリッド距離やコサイン距離等の指標を使用してもよい。
【００８２】
var≦εであれば、パーティクルが十分に収束したとし、パーティクルフィルタモードを解除する。追跡モードを通常モードへ移行する場合、以後、全パーティクルの中で最も重みが大きいパーティクルｓ^tに対応する追跡器tkr^tを用いて追跡する。
【００８３】
［追跡信頼度判定部１１３］
追跡信頼度判定部１１３は、時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する。
具体的には、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する。
【００８４】
図１２は、本発明における追跡信頼度判定部の処理を表す説明図である。
【００８５】
前述したパーティクル生成部１２１は、追跡信頼度判定部１１３によって真と判定された場合にのみ機能する。即ち、パーティクル生成部１２１は追跡の信頼度が低下し、追跡に失敗する可能性が高まった時、実行される。例えば、追跡対象物体の遮蔽、回転や、変形、画像のブレや輝度変化等が生じた場合、次段で、パーティクルを生成し直すことができる。一方で、パーティクルが十分に収束していない場合には、現状の複数のパーティクルを用いて、追跡結果を安定的に出力することができる。
【００８６】
［状態予測部１２２］
状態予測部１２２は、パーティクル生成部１２１に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定部１１２に続いて機能する。
状態予測部１２２は、時刻t-1の矩形領域ｂt-11〜ｂt-1Nから、各パーティクルｓt1〜ｓtNの矩形領域ｂt1〜ｂtNへの遷移が、正規分布に基づくと仮定して、矩形領域ｂt1〜ｂtNの位置を予測して遷移させる。
【００８７】
状態予測部１２２は、パーティクル生成部１２１と同様に、矩形領域ｂtと追跡器tkrtとをそれぞれ、別々の方法でサンプリングする。
【００８８】
＜ｂtのサンプリング＞
ｂ^t-1を平均ベクトルとした正規分布に従ってパーティクルを生成する。時刻t-1におけるパーティクルの矩形領域ｂ^t-1から、時刻tにおけるパーティクルの矩形領域ｂtへの遷移は、正規分布に基づくランダムウォークを仮定し、次式のように予測される。
Ｐ(ｂt|ｂ^t-1)＝Ｎ(ｂt;ｂ^t-1，σ)
Ｐ：条件付き確率
Ｎ：正規分布
σ：対角行列
また、パーティクルの矩形領域の大きさを変化させない場合には、以下のように表される。
diag(Σ)＝［ｗ1/r, ｈ1/r, 0, 0］
ｗ1：初期フレームにおける矩形領域の横幅
ｈ1：初期フレームにおける矩形領域の縦幅（高さ）
r：  1≦r≦min(Lw, Lh)を満たす実数
【００８９】
＜追跡器tkrtのサンプリング＞
追跡器tkrtは、ベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいてサンプリングされる。
ｕ＝1の場合、一様分布又は最適化分布に従って、追跡器tkrtをサンプリングする。
ｕ＝0の場合、試行回数tkr^t-1に応じて成功確率1の二項分布に従って、追跡器tkrtをサンプリングする（図８（ｄ）参照)。
Ｄbranch＝Ｂ(tkr^t-1，1)
【００９０】
［重み更新部１２３］
重み更新部１２３は、状態予測部１２２の次段で機能する。
重み更新部１２３は、各パーティクルｓt1〜ｓtNの重みを、時刻tの各矩形領域ｂt1〜ｂtNと時刻t-1の矩形領域ｂ^t-1との相対位置における応答マップの値であるとして更新する（図７下段参照）。
【００９１】
応答マップＹは、特徴量抽出の際のパラメータcellSizeに依存して大きさが変化する。cellSizeは、特徴量Zを抽出した際のパラメータの１つであり、設定されたcellのサイズとなる（例えば３ピクセル（画素））。
res(ｏt,ｂt)＝Ｙ（(ｘt-ｘ^t-1)/cellsize＋ｗＹ，(ｙt-ｙ^t-1)/cellsize＋ｈＹ）
ｗＹ：横の長さ
ｈＹ：縦の長さ
重みresは、全パーティクルの和が1になるように正規化し、応答マップ値となる。
【００９２】
以上のように得られた「重みres」は、矩形領域ｂtのみを用いて算出され、追跡器tkrtを用いていない。このように、直接的に追跡器を評価しないことにより、最適な追跡器の指標をオペレータで設計する必要がなくなる。但し、結果として、間接的に追跡器を評価していることに相当する。
【００９３】
［リサンプリング部１３２］
リサンプリング部１３２は、位置決定部１３１に続いて機能する。
リサンプリング部１３２は、各パーティクルｓt1〜ｓtNに割り当てられた重みを用いて、より大きい重みのパーティクルｓtほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂt1〜ｂtNをリサンプリングする。
【００９４】
これによって、重みが低くなるような矩形領域や追跡器は淘汰されていく。
具体的に、リサンプリング部１３２は、累積重み曲線を用いて乱数に基づいて、パーティクルの再配置・再構成を行うルーレット選択を用いることができる（例えば非特許文献７参照）。
【００９５】
以上、詳細に説明したように、本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物体位置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。
【００９６】
尚、本発明によれば、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システムや、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々なアプリケーションに適用可能である。また、本発明は、ヒューマンコンピュータインタラクションや、ロボティクス等の技術分野についても、例えば、ロボット側の物体認識能力を大きく向上させることができる。
【００９７】
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００９８】
１  物体追跡装置
１Ａ  通信インタフェース
１Ｂ  画像蓄積部
１Ｃ  記憶部
１Ｄ  制御部
１Ｅ  アプリケーション
１０  特徴量抽出部
１１１  応答マップ生成部
１１２  追跡モード判定部
１１３  追跡信頼度判定部
１２１  パーティクル生成部
１２２  状態予測部
１２３  重み更新部
１３１  位置決定部
１３２  リサンプリング部
１４  追跡器記憶部
１５  相関フィルタ学習部
２  カメラ
【図１】
2018200628.tif 000003
【図２】
2018200628.tif 000004
【図３】
2018200628.tif 000005
【図４】
2018200628.tif 000006
【図５】
2018200628.tif 000007
【図６】
2018200628.tif 000008
【図７】
2018200628.tif 000009
【図８】
2018200628.tif 000010
【図９】
2018200628.tif 000011
【図１０】
2018200628.tif 000012
【図１１】
2018200628.tif 000013
【図１２】
2018200628.tif 000014