(57)【要約】【課題】  実環境における対象物に関連する物理量の観測値に基づいて、対象物の物理量の真の値を実時間で推定する推定方法を提供する。【解決手段】  コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により推定を行い、一方、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により対象物の物理量を抽出し追跡する。【選択図】        図５
2005044352.tif 000002
【特許請求の範囲】
【請求項１】
対象物の物理量に関連する特徴量の観測データを準備する手段と、
コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡する手段とを備える、推定装置。
【請求項２】
対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、
前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡する手段と、
前記コンデンセーション法による前記対象物の位置の推定値の分散が所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡する手段と、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の位置の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡する手段とを備える、推定装置。
【請求項３】
前記対象物の特徴量は、前記対象物の色である、請求項２記載の推定装置。
【請求項４】
対象物の物理量に関連する特徴量の観測データを準備するステップと、
コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、推定方法。
【請求項５】
対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の位置の推定値の分散が所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の位置の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡するステップとを備える、推定方法。
【請求項６】
前記対象物の特徴量は、前記対象物の色である、請求項５記載の推定方法。
【請求項７】
コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、前記プログラムは、
前記対象物の前記物理量に関連する特徴量の観測データを準備するステップと、
コンデンセーション法により前記対象物の特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の物理量の推定値の分散が所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の分散が所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、プログラム。
【請求項８】
対象物の物理量に関連する特徴量の観測データを準備する手段と、
コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡する手段と、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡する手段とを備える、推定装置。
【請求項９】
対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、
前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡する手段と、
前記コンデンセーション法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡する手段と、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡する手段とを備える、推定装置。
【請求項１０】
対象物の物理量に関連する特徴量の観測データを準備するステップと、
コンデンセーション法により前記対象物の前記特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、推定方法。
【請求項１１】
対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして前記対象物の位置を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記対象となる画像領域内において、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の位置を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の位置を実時間で推定して抽出し追跡するステップとを備える、推定方法。
【請求項１２】
コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、前記プログラムは、
前記対象物の前記物理量に関連する特徴量の観測データを準備するステップと、
コンデンセーション法により前記対象物の特徴量に関連する量を重みとして前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記コンデンセーション法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、前記コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により前記重みを用いて、前記対象物の物理量を実時間で推定して抽出し追跡するステップと、
前記オーグジリアリ  パーティクルフィルター法による前記対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、前記コンデンセーション法により前記重みを用いて前記対象物の物理量を抽出し追跡するステップとを備える、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象物に関連する物理量の観測値に基づいて、対象物の物理量の真の値を推定する推定装置、推定方法および推定プログラムに関し、より特定的には、カメラ等からの実画像を処理する画像処理に関連して、画像中の対象物を視覚追跡するための画像認識の分野に関する。
【背景技術】
【０００２】
撮影された実動画像中において、対象物や対象人物を時間の経過とともに追跡することは、画像認識における中心的な課題の１つである。
【０００３】
ここで、近年、非ガウス性雑音が加算された信号の時系列解析手法として、パーティクルフィルタが様々な分野から注目を集めている（たとえば、非特許文献１を参照）。実時間ビジョンの分野でも、カルマンフィルタでは行う事ができないノイズや障害物などの非ガウス性雑音で汚れた実画像上での物体運動の推定や予測を統計的に行う事ができるため、パーティクルフィルタによる応用研究が盛んになってきている（たとえば、非特許文献２および非特許文献３を参照）。
【０００４】
パーティクルフィルタはベイズフィルタの近似計算法であり、有限のパーティクルによって分布関数を表現し、それを用いて時系列推定や予測を行うものである。
【０００５】
すなわち、パーティクルフィルタはサンプリングに基づいたモンテカルロ法の一種であり、対象物体の推定位置の分布をパーティクルの位置と重みによる集合表現で近似するため、非ガウスな分布でも扱う事が可能である。
【非特許文献１】Ｎ．Ｊ．ゴールドン、Ｊ．Ｊ．サーモンド、Ａ．Ｆ．Ｍ．スミス：「非線形で非ガウシアンのベイズ状態評価への新たなアプローチ」、ＩＥＥＥプロシーディング  レーダーシグナルプロセッシング、第１４０巻、頁１０７−１１３（１９９３）（Gordon, N.J., Salmond, J.J. and Smith, A.F.M. : Novel approach to nonlinear non-Gaussian Bayesian state estimation, IEEE Proc Radar Signal Processing, vol.140, pp.107-113(1993)）
【非特許文献２】Ｍ．イザード、Ａ．ブレイク：「コンデンセーション−ビジュアルトラッキングに対する条件密度伝播」、インターナショナル  ジャーナル  オブ  コンピュータ  ビジョン、第２８巻、Ｎｏ．１、ｐｐ．５−２８（１９９８）（M. Isard and A. Blake: CONDASATION - Conditional Density Propagation for Visual Tracking, Int’l J. Computer Vision, vol. 28, no. 1, pp. 5-28(1998)）
【非特許文献３】Ｍ．Ｊ．ブラック、Ａ．Ｄ．ジェプソン  ：「コンデンセーションアルゴリズムを用いた時間軸上の軌跡認識」、ＩＥＥＥ  インターナショナル  カンファレンス  オートマティック  フェイス  ジェスチャー、ｐｐ．１６−２１（１９９８）（Black, M.J. and Jepson, A.D. : Recognizing temporal trajectories using the condensation algorithm, IEEE Int’l Conf Automat Face Gesture, pp. 16-21 (1998)）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、パーティクルの数を無限とすることはできず、それゆえにパーティクルフィルタの性質、正確さはサンプリング手法に大きく依存する。このことについては、パーティクルフィルタの中心的な問題点として活発な議論が行われている。
【０００７】
特に、対象物体（対象人物）の視覚追跡においては、有限計算資源、実時間計算という拘束条件、複雑な実環境における視覚追跡において、パーティクルフィルタを用いた視覚追跡を、以下のような条件に適合させつつ、実現すればよいかは、必ずしも明らかではない。
【０００８】
すなわち、まず第１には、追跡対象についての事前知識に基づき、パーティクル位置でのみ観測を行う事で、周辺の雑音（良く似た物体など）に影響されにくいロバストな追跡を行う必要がある。
【０００９】
さらに、第２には、計算量を少なく抑制しつつ、有限計算資源で実時間処理を行う必要がある。
【００１０】
それゆえに本発明の目的は、実環境における対象物に関連する物理量の観測値に基づいて、対象物の物理量の真の値を実時間で推定する推定装置、推定方法および推定プログラムを提供することである。
【００１１】
この発明の他の目的は、実環境で撮影された動画像に対して、計算量を抑制しつつ、ロバストな視覚追跡を行うことが可能な視覚追跡装置、視覚追跡方法および視覚追跡プログラムを提供することである。
【課題を解決するための手段】
【００１２】
この発明のある局面に従う推定装置は、対象物に関連する物理量の観測データを準備する手段と、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡する手段と、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡する手段とを備える。
【００１３】
この発明の他の局面に従う推定装置は、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の位置の推定値の分散が所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡する手段と、オーグジリアリ  パーティクルフィルター法による対象物の位置の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡する手段とを備える。
【００１４】
好ましくは、対象物の特徴量は、対象物の色である。
【００１５】
この発明のさらに他の局面に従う推定方法は、対象物に関連する物理量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。
【００１６】
この発明のさらに他の局面に従うと、推定方法であって、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の位置の推定値の分散が所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の位置の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡するステップとを備える。
【００１７】
好ましくは、対象物の特徴量は、対象物の色である。
【００１８】
この発明のさらに他の局面に従うと、コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、プログラムは、対象物に関連する物理量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の分散が所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の分散が所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。
【００１９】
この発明のさらに他の局面に従うと、対象物の物理量に関連する特徴量の観測データを準備する手段と、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡する手段と、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡する手段とを備える。
【００２０】
この発明のさらに他の局面に従うと、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備する手段と、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡する手段と、コンデンセーション法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡する手段と、オーグジリアリ  パーティクルフィルター法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡する手段とを備える。
【００２１】
この発明のさらに他の局面に従うと、対象物の物理量に関連する特徴量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。
【００２２】
この発明のさらに他の局面に従うと、対象物を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内において、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、対象となる画像領域内において、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の位置を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の位置の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の位置を実時間で推定して抽出し追跡するステップとを備える。
【００２３】
この発明のさらに他の局面に従うと、コンピュータに、対象物に関連する物理量を推定させる方法を実行させるためのプログラムであって、プログラムは、対象物の物理量に関連する特徴量の観測データを準備するステップと、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の物理量を実時間で推定して抽出し追跡するステップと、コンデンセーション法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値を越えることに応じて、コンデンセーション法に代えて、オーグジリアリ  パーティクルフィルター法により重みを用いて、対象物の物理量を実時間で推定して抽出し追跡するステップと、オーグジリアリ  パーティクルフィルター法による対象物の物理量の推定値の共分散行列の少なくとも１つの成分が対応する所定値以下となることに応じて、コンデンセーション法により重みを用いて対象物の物理量を抽出し追跡するステップとを備える。
【発明の効果】
【００２４】
本発明によれば、実時間、実環境における複雑な状況においても、予測を主としたコンデンセーションのロバスト性と観測を重視したオーグジリアリ  パーティクルフィルター法の収束の速さをうまく融合し、安定した追跡を行うことが可能となる。
【発明を実施するための最良の形態】
【００２５】
［実施の形態１］
［ハードウェア構成］
以下、本発明にかかる視覚追跡装置について説明する。この視覚追跡装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象実動画像から対象物（あるいは対象人物）を抽出し、実時間で追跡するためのものである。
【００２６】
ただし、以下の説明でも明らかとなるように、本発明は、具体例として説明する視覚追跡に限らず、より一般的に、対象物に関連する物理量の観測データに基づいて、この物理量の真の値を実時間で推定する場合に適用可能なものである。
【００２７】
図１に、この視覚追跡装置の外観を示す。
【００２８】
図１を参照してこのシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブ５０およびＦＤ（Flexible Disk ）ドライブ５２を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（固体撮像素子）を含むビデオカメラを用い、カメラ３０で撮影された動画像に対して、対象となる物体または対象となる人物を検出し、実時間で追跡する処理を行うものとする。
【００２９】
すなわち、カメラ３０により、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。
【００３０】
図２に、このシステム２０の構成をブロック図形式で示す。図２に示されるようにこのシステム２０を構成するコンピュータ本体４０は、ＣＤ−ＲＯＭドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０にはＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。
【００３１】
既に述べたようにこの視覚追跡装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより構成される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ６２、ＦＤ６４等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。
【００３２】
図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。
【００３３】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該視覚追跡装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて視覚追跡装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３４】
［本発明による視覚追跡の基本的原理］
まず、本発明の手続きの概略をまとめると、本発明では、視覚追跡において基本的なアルゴリズムの一つであるコンデンセーション（CONDENSATION）法と、その問題点の一部を改善したオーグジリアリ  パーティクルフィルター（Auxiliary Particle Filter、以下「ＡＰＦ」と呼ぶ）法とを視覚追跡に特有な状況の下で、適切な条件下で切換えて処理を実施する。コンデンセーションは、遮蔽などにロバストだが精度良く追跡ができない。それに対して、ＡＰＦ法は観測結果を重視し追跡対象に精度良く正確な追跡を行う事はできるが、遮蔽がある場合は、雑音に収束してしまう事が多い。そこで、この二つを、以下に説明するような条件で切り替えることで、各アルゴリズムの長所を生かし、実環境におけるより多くの状況においてロバストな実時間追跡を実施する。
【００３５】
以下では、まず、動画像中での視覚追跡という具体例を説明する前提として、コンデンセーション法とＡＰＦ法とを切り替える構成について、より一般的に説明した後に、それを動画像中での視覚追跡に適用するための構成について説明する。
【００３６】
（コンデンセーション法）
時刻ｔにおける追跡対象の連続値状態変数ベクトルｘtを以下のとおりと定義する。ここで、連続値状態変数ベクトルｘtは、本発明を視覚追跡に適用する場合は、たとえば、対象物の真の位置座標を示す。
【００３７】
【数１】
2005044352.tif 000003
【００３８】
さらに、連続値状態変数ベクトルｘtの履歴を以下のとおりとする。
【００３９】
【数２】
2005044352.tif 000004
【００４０】
同様に、観測変数ベクトルｚtを以下のとおりに定義する。ここで、観測変数ベクトルｚtは、本発明を視覚追跡に適用する場合は、たとえば、観測された対象物の位置座標を示す。
【００４１】
【数３】
2005044352.tif 000005
【００４２】
観測変数ベクトルｚtの履歴を以下のとおりとする。
【００４３】
【数４】
2005044352.tif 000006
【００４４】
以下の式（０）のような時刻ｔにおけるパーティクルと重みのセットを用いて、状態変数ベクトルｘtの観測値に対する事後分布を式（１）以下のように近似する。
【００４５】
【数５】
2005044352.tif 000007
【００４６】
ただし、δ（…）はディラックのデルタ関数を示す。すなわち、πt(n)は、重みを示し、ｓt(n)は、パーティクルの位置を示す。そして、πt(n)は、以下の式（２）を満たすものとする。
【００４７】
【数６】
2005044352.tif 000008
【００４８】
この時、追跡対象のダイナミクスが、以下の式（３）で表される一次のマルコフ性を持つ事と、式（４）で表される観測の条件付き独立性を満たすことを仮定する。
【００４９】
【数７】
2005044352.tif 000009
【００５０】
このとき、状態変数ベクトルｘtの事前分布は、以下の式（５）により近似することができる。
【００５１】
【数８】
2005044352.tif 000010
【００５２】
観測変数ベクトルｚtからベイズの定理により推定される事後分布は、以下の式（６）のように書くことができる。
【００５３】
【数９】
2005044352.tif 000011
【００５４】
ここで、ｋtは正規化のための定数である。式（５）と式（６）とを繰り返し用いる事で、任意の時刻ｔにおける状態変数ベクトルｘtの推定を行う事が出来る。
【００５５】
コンデンセーション法のようなサンプリング／インポータンス  リサンプリング（Sampling／Importance Resampling：以下、「ＳＩＲ」と呼ぶ）を用いたフィルタに特有の問題として、以下のような時刻（ｔ−１）におけるパーティクル｛ｓt-1(n)，ｎ＝１，…，Ｎ｝から再サンプリングを行い、時刻ｔにおける新たなパーティクル｛ｓt(j)，ｊ＝１，…，Ｎ｝を得る際の重みとなるπt-1(n)が各時刻の観測変数ベクトルｚtとは独立であるため、観測とは無関係に状態空間が探索される点がある。それ故にＳＩＲフィルタは外れ値に大きく影響され、しばしば追跡が非効率的になる。
【００５６】
（ＡＰＦ法）
コンデンセーション法の様なＳＩＲフィルタにおいて、外れ値をいかにして扱うかという問題に対する効果的な手法として、上述したＡＰＦ法がある。このＡＰＦ法については、文献：M.Pitt and N. Shephard: Filtering via Simulations: Auxiliary Particle Filters, Journal of American Statistical Association, (1999)に詳しく開示されているので、以下では、その大略について述べる。
【００５７】
このＡＰＦ法では平均値、モードなどの代表点を用いてダイナミクスを近似し、代表点での尤度をダイナミクスを用いて計算し、それを重みとして再びサンプリングを行う。代表点に注目することで外れ値にあまり影響されずに目標点に速やかに収束させることができる。
【００５８】
図３は、コンデンセーション法とＡＰＦ法のサンプリング法の違いによるパーティクルの分布の違いを示す図である。図３において、白丸は、コンデンセーションによって、白いひし形はＡＰＦ法によってサンプリングされたパーティクルの位置を表わす。
【００５９】
また、図４は、パーティクルの分布の違いから生じるターゲットへの収束速度の違いを示す図である。図４では、ある一つのパーティクルが対象を見付けてから推定値が対象の位置と一致するまでにかかるフレーム数とパーティクルの数の関係を示している。
【００６０】
今、ｍ＝１，…，Ｍがパーティクルのインデックスを表わすとすると、式（６）より各パーティクルについて、以下の式（７）が成り立つ。
【００６１】
【数１０】
2005044352.tif 000012
【００６２】
この時、μt(m)を以下のような式の代表点とする。
【００６３】
【数１１】
2005044352.tif 000013
【００６４】
このとき、上式の近似を行うと、以下の式（８）となる。
【００６５】
【数１２】
2005044352.tif 000014
【００６６】
この式（８）が、以下のように一段目の重みλt(m)となる。
【００６７】
【数１３】
2005044352.tif 000015
【００６８】
次のステップとして一段目の重みλt(m)に基づいてＮ回サンプリングを行い、新たに二段目の重みπt(n)を以下の式（９）のように決定する。
【００６９】
【数１４】
2005044352.tif 000016
【００７０】
ここで、式（９）において、以下の式で表されている値は、ｓt(n)と関連付けられるμt(m)である。
【００７１】
【数１５】
2005044352.tif 000017
【００７２】
（再サンプリング法の動的な切替え）
ＡＰＦ法が観測重視で追跡対象の状態を推定しているのに比べて、コンデンセーションは事前知識重視で追跡対象の状態推定を行う。ＡＰＦ法は追跡対象に精度良く正確な追跡を行うことができるが、遮蔽や追跡対象によく似た特徴が複数存在するような複雑な状況における視覚追跡においては観測結果よりも事前知識を重視した方が安定した追跡を行うことができると考えられる。
【００７３】
まず、以下の式で、時刻ｔにおけるｘの期待値を表すとする。
【００７４】
【数１６】
2005044352.tif 000018
【００７５】
このとき、以下のとおり、推定値の分散σestのｉ成分を式（１０）で表す。なお、本発明を視覚追跡に適用する場合は、ｉ成分とは、座標軸成分を示す。
【００７６】
【数１７】
2005044352.tif 000019
【００７７】
この推定値の分散σestを推定の精度を示す値として、再サンプリングアルゴリズムを以下のとおり、動的に切替える。
【００７８】
【数１８】
2005044352.tif 000020
【００７９】
このようにアルゴリズムを動的に切り替えることで、コンデンセーションの予測を主とした遮蔽に強い性質と、ＡＰＦ法の追跡対象への収束の速さをうまく融合できる。
【００８０】
ここで、切替えの判断のためのしきい値は、以下のとおり各成分に対するしきい値のベクトルとして表される。
【００８１】
【数１９】
2005044352.tif 000021
【００８２】
このようなしきい値ベクトルは、特に限定されないが、たとえば、実験的に所定の値を予め定めておくことができる。
【００８３】
また、推定値の分散σestは、各成分ごとにしきい値と比較するものとしたが、推定値の分散σestのベクトルの大きさそのものをしきい値γと比較することとしてもよい。
【００８４】
図５は、以上説明した本発明の切替えアルゴリズムを説明するためのフローチャートである。なお、図５では、本発明を視覚追跡に適用する場合について説明している。
【００８５】
なお、ここで、視覚追跡の場合に重みとして、何を採用するかについては、後に詳しく説明する。
【００８６】
図５を参照して、カメラ３０により準備された、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータに基づいて、視覚追跡が開始されると（ステップＳ１００）、システム２０は、コンデンセーション法による視覚追跡を実施する（ステップＳ１０２）。
【００８７】
続いて、システム２０は、少なくとも１つの空間軸で、推定値の分散が所定値を超えるか否かを判断する（ステップＳ１０４）。いずれの空間軸でも推定値の分散が所定値を超えていない場合、処理は、ステップＳ１０２に復帰する。
【００８８】
一方、少なくとも１つの空間軸で、推定値の分散が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を行う（ステップＳ１０６）。
【００８９】
続いて、システム２０は、すべての空間軸で、推定値の分散が所定値を超えるか否かを判断する（ステップＳ１０８）。いずれの空間軸でも推定値の分散が所定値以下である場合、処理は、ステップＳ１０２に復帰する。
【００９０】
一方、少なくとも１つの空間軸で、推定値の分散が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を継続する（ステップＳ１０６）。
【００９１】
（最尤推定によるダイナミクスの学習）
より多くの状況においてロバストな追跡を行うためには、追跡対象のダイナミクスを画像列より学習する事が必要である。追跡対象のダイナミクスとしてバイアス項を持つ以下の二次の線形方程式（１１）を仮定する。
【００９２】
【数２０】
2005044352.tif 000022
【００９３】
式（１１）のパラメータをまとめて、以下のとおりθで表し、さらに、ｗtを白色ガウスノイズとする。
【００９４】
【数２１】
2005044352.tif 000023
【００９５】
このとき、以下のＲtが平均０、分散Ｃのガウス分布に従う。
【００９６】
【数２２】
2005044352.tif 000024
【００９７】
このため、θの対数尤度は、以下の式（１２）となる。
【００９８】
【数２３】
2005044352.tif 000025
【００９９】
パラメータβの最尤推定値はこれを最大にする点を∂Ｌ／∂θ＝０を解くことにより求めればよい。これを直接求めることは困難であるが、以下のスムージング推定値をｘtの期待値とすることで求めることができる。
【０１００】
【数２４】
2005044352.tif 000026
【０１０１】
このとき、各パラメータについて以下の式（１３）〜（１６）が成り立つ。
【０１０２】
【数２５】
2005044352.tif 000027
【０１０３】
但しここで、以下のとおりとする。
【０１０４】
【数２６】
2005044352.tif 000028
【０１０５】
式（１３）〜（１６）により更新したパラメータを用いて再びフィルタリングを繰り返す。これをパラメータが収束するまで繰り返す。
【０１０６】
以上はバッチ学習であり、観測結果が全て得られた後にモデルパラメータの更新を行う場合の手続きである。
【０１０７】
しかし、実際の環境においてダイナミクスの学習を行いながら追跡を行うには、ダイナミクスの学習をオンラインで行う必要がある．そこで、時刻ｔにおけるフィルタリング推定値に固定ラグのカルマンスムージングをかけ、窓枠内で上記バッチ学習を一回適用して得られたＳi，Ｓijに学習係数ηを用いて、以下の式（１９）および（２０）とおりに書き直す。
【０１０８】
【数２７】
2005044352.tif 000029
【０１０９】
視覚追跡の場合、たとえば、窓の大きさを６０フレームとすればよいが、ある程度の大きさを持った密であれば安定した学習を行うことができる。
【０１１０】
システム２０は、式（１３）〜（１６）によるパラメータの更新を行う。これにより、ダイナミクスの学習をオンラインで行うことができる。
【０１１１】
なお、特に限定されないが、たとえば、以下の説明では、η＝０．０１とすることができる。
【０１１２】
（実画像を用いた実験）
状態変数として画像面上での追跡対象の位置（ｘ，ｙ）をとり、実画像を用いた実験結果について以下に説明する。
【０１１３】
以下の実験では、たとえば、パーティクルの個数Ｎ＝８００としている。この時１フレームの処理時間は、２ＧＨｚのクロックで動作するＣＰＵを搭載したパーソナルコンピュータでも、約８ｍｓｅｃであり、十分実時間で処理を行うことができる。以下の実験では、デジタルビデオカメラを用いて撮影した画像をパーソナルコンピュータに取り込み、得られた連続画像に対してパーティクルフィルタによる追跡とダイナミクスのオンライン学習を実行した。
【０１１４】
（カラーモデル）
視覚追跡の対象が人間である場合は、肌色を対象物の特徴量として、画像中の肌色らしさを重みとして推定を行えばよい。ただし、以下では、肌色そのものではなく、赤らしさ（「赤色度」）を重みとする例について説明する。
【０１１５】
もちろん、対象物の色に応じて、他の色を重みとして採用することも可能である。また、画像中で対象物（または対象人物）を特定できる特徴量であれば、必ずしも色に限定されるものでなく、たとえば、明るさ、形、模様、大きさのような特徴量を用いることもできる。
【０１１６】
時刻ｔにおける画像中の画素ｚtの赤緑青成分をそれぞれ、Ｒ（ｚt），Ｇ（ｚt），Ｂ（ｚt）とする。この時、画素ｚtの赤色度は、以下の式（２１）のように定義される。
【０１１７】
【数２８】
2005044352.tif 000030
【０１１８】
事前に得ておいた追跡対象の赤色度のヒストグラムの平均値μhと分散σh2を用いて、以下の式（２２）および（２３）のとおり正規分布を用いて表現する。
【０１１９】
【数２９】
2005044352.tif 000031
【０１２０】
但し、ｒ（ｘt）〜μhとし、ｒ（ｘt）は追跡対象の位置に依存しないとしている。
【０１２１】
（実験結果）
（実画像からのダイナミクスのオンライン学習）
先に述べたダイナミクスのオンライン学習を適用し、人間が左右に振るボール（画像面で直径約１６ピクセル（pixel））の追跡を行う。
【０１２２】
図６は、このようなオンライン学習の実験を行った環境下での画像の例を示す図である。
【０１２３】
なお、追跡アルゴリズムにはコンデンセーションを用いた。
【０１２４】
図７は、図６で示した実験で得られた推定値の軌跡を示す図である。
【０１２５】
図７には、ダイナミクスを  ｘt+2＝２ｘt+1―ｘt＋Ｂｗtと仮定した時の結果も合わせて示す（学習なし）。
【０１２６】
ダイナミクスのオンライン学習を行った場合、学習初期には追跡対象を見失う事もあるが、学習が進むにつれて速度方向が変わる部分においても安定した追跡ができるようになっている。
【０１２７】
図８は、学習の進行と推定値の標準偏差σestの関係を示す図である。
【０１２８】
学習が進むにつれてσestは小さくなり、確信を持って追跡を行うことができるようになっている。図８では、しきい値をγ＝（８８）Tとして切り替えアルゴリズム（図中、ＳＷＩＴＣＨ）を適用した時の結果も合わせて示している。学習初期においても追跡対象を見失うことなく安定し、追跡が可能である。
【０１２９】
また、図９は、この時の学習の進行とコンデンセーションとＡＰＦ法の切り替えの様子を示す図である。学習が進むにつれＡＰＦ法の選択されるフレーム数が減少し、観測を重視した追跡から事前知識を重視した追跡に変化している。
【０１３０】
（遮蔽がある場合の視覚追跡）
次に、赤いボール（画像中で直径約１６pixel）を単振動させたものの追跡を行った結果について説明する。なお、この実験では、ボールは遮蔽板（ボード）の後ろを通るため、一時ボールの観測は不可能になる。
【０１３１】
図１０は、実験環境を示す図であり、図１１は、推定値の軌跡を示す図である。切り替えアルゴリズムのしきい値は事前に同じ画像列にコンデンセーションを適用し、得られた結果によりγ＝（５５）Tとした。図１１中で色が付いている部分は、追跡対象が遮蔽板の後ろに隠れてしまう範囲を示す。
【０１３２】
コンデンセーションでは遮蔽を超えた後、追跡対象にパーティクルが収束する前に追跡対象が動いてしまい、見失ってしまう場合が多く見られたが、逆にＡＰＦ法の場合は遮蔽が越えられず雑音に誤って収束してしまうことが多かった。
【０１３３】
一方、本発明の切り替えアルゴリズムを用いると、両者の性質をうまく融合させ安定した追跡を行うことができている。
【０１３４】
表１は、このようなタスクを５０回繰り返し、遮蔽板を越えて正確にボールを追跡できた回数を示す。
【０１３５】
【表１】
2005044352.tif 000032
【０１３６】
以上説明したとおり、再サンプリング法を動的に切り替えることで、実時間、実環境における複雑な状況においても、予測を主としたコンデンセーションのロバスト性と観測を重視したＡＰＦ法の収束の速さをうまく融合し、安定した追跡を行うことが可能となる。本発明では二つのアルゴリズムを切り替えることで、計算量の増大を抑えて実時間での処理を十分に可能にしている。また、追跡対象のダイナミクスをオンラインで学習することにより、一定のダイナミクスを仮定するよりもロバストな追跡を行うことができる。
【０１３７】
［実施の形態１の変形例］
上述した実施の形態１の図５においては、切替えアルゴリズムにおける判断基準として、「少なくとも１つの空間軸で、推定値の分散が所定値を超えるか否か」（ステップＳ１０４）ということと、「すべての空間軸で、推定値の分散が所定値を超えるか否か」（ステップＳ１０８）とを用いていた。
【０１３８】
しかしながら、切替アルゴリズムとしては、式（１０）に示した推定値の分散σestのｉ成分に代えて、より一般に、推定値の共分散行列を判断基準として用いることができる。
【０１３９】
すなわち、推定値の共分散行列の（ｉ，ｊ）成分であるσest,i,j（ｔ）を用いて、共分散行列Ｖest（ｔ）が以下のように表されるものとする。なお、このときも、本発明を視覚追跡に適用する場合は、（ｉ，ｊ）成分において、ｉ，ｊはそれぞれ座標軸を示す。
【０１４０】
【数３０】
2005044352.tif 000033
【０１４１】
このとき、実施の形態１の変形例としては、以下の規則に従って、再サンプリングアルゴリズムを動的に切替える構成とする。ここで、γi,jは、σest,i,j（ｔ）に対応するしきい値であって、たとえば、事前に実験により定められた所定の定数とする。
【０１４２】
【数３１】
2005044352.tif 000034
【０１４３】
図１２は、実施の形態１の変形例の切替えアルゴリズムを説明するためのフローチャートであり、図５と対比される図である。なお、図１２でも、本発明を視覚追跡に適用する場合について説明している。
【０１４４】
図１２を参照して、カメラ３０により準備された、対象物（対象人物）を含む動画像であって対象となる画像領域内の各画素の値のデジタルデータに基づいて、視覚追跡が開始されると（ステップＳ１００）、システム２０は、コンデンセーション法による視覚追跡を実施する（ステップＳ１０２）。
【０１４５】
続いて、システム２０は、Ｖest（ｔ）の少なくとも１つの成分が対応する所定値γi,jを超えるか否かを判断する（ステップＳ１０４´）。いずれの成分も所定値を超えていない場合、処理は、ステップＳ１０２に復帰する。
【０１４６】
一方、少なくとも１つの成分が所定値を超える場合、システム２０は、ＡＰＦ法による視覚追跡を行う（ステップＳ１０６）。
【０１４７】
続いて、システム２０は、Ｖest（ｔ）のすべての成分が対応する所定値γi,jを超えるか否かを判断する（ステップＳ１０８´）。いずれの成分も対応する所定値γi,j以下である場合、処理は、ステップＳ１０２に復帰する。
【０１４８】
一方、少なくとも成分が、対応する所定値γi,jを超える場合、システム２０は、ＡＰＦ法による視覚追跡を継続する（ステップＳ１０６）。
【０１４９】
以上のような構成によっても、実施の形態１と同様の効果を奏することができる。
【０１５０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０１５１】
【図１】本発明の実施の形態にかかるシステムの外観図である。
【図２】本発明の実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。
【図３】コンデンセーション法とＡＰＦ法のサンプリング法の違いによるパーティクルの分布の違いを示す図である。
【図４】パーティクルの分布の違いから生じるターゲットへの収束速度の違いを示す図である。
【図５】本発明の切替えアルゴリズムを説明するためのフローチャートである。
【図６】オンライン学習の実験を行った環境下での画像の例を示す図である。
【図７】図６で示した実験で得られた推定値の軌跡を示す図である。
【図８】学習の進行と推定値の標準偏差σestの関係を示す図である。
【図９】学習の進行とコンデンセーション法とＡＰＦ法の切り替えの様子を示す図である。
【図１０】実験環境を示す図である。
【図１１】推定値の軌跡を示す図である。
【図１２】本発明の切替えアルゴリズムの変形例を説明するためのフローチャートである。
【符号の説明】
【０１５２】
２０  システム（視覚追跡装置）、３０  カメラ、４０  コンピュータ本体、４２  モニタ。
【図１】
2005044352.tif 000035
【図２】
2005044352.tif 000036
【図３】
2005044352.tif 000037
【図４】
2005044352.tif 000038
【図５】
2005044352.tif 000039
【図６】
2005044352.tif 000040
【図７】
2005044352.tif 000041
【図８】
2005044352.tif 000042
【図９】
2005044352.tif 000043
【図１０】
2005044352.tif 000044
【図１１】
2005044352.tif 000045
【図１２】
2005044352.tif 000046