(57)【要約】【課題】高精度で且つ安定性に優れた追跡処理を実現する。【解決手段】被写体追跡装置１００であって、動画像を構成する複数のフレーム画像のうちの何れか一のフレーム画像について、被写体の特定部位毎に生成された複数のパーティクルと何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う経路探索部５ｅと、探索結果に基づいて、何れか一のフレーム画像における特定部位の複数のパーティクルの尤度を修正する尤度修正部５ｆと、複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る特定部位の複数のパーティクルの尤度の修正後に、最終フレーム画像の特定部位の追跡結果に基づいて、複数のフレーム画像の各々の特定部位の追跡結果を特定する追跡結果特定部５ｇと、を備えている。【選択図】図１
2014160440.tif 000002
【特許請求の範囲】
【請求項１】
被写体の動画像を取得する取得手段と、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、
を備えたことを特徴とする被写体追跡装置。
【請求項２】
前記追跡手段は、更に、
前記修正手段により尤度が修正された前記何れか一のフレーム画像に係る前記複数のパーティクルに基づいて、前記何れか一のフレーム画像よりも後のフレーム画像の前記特定部位を追跡することを特徴とする請求項１に記載の被写体追跡装置。
【請求項３】
前記探索手段は、更に、
前記追跡手段により生成された前記何れか一のフレーム画像の前記特定部位の複数のパーティクルの各々について、前記複数のフレーム画像のうちの所定の基準フレーム画像から前記何れか一のフレーム画像までの経路の到達コストを動的計画法により算出し、
前記修正手段は、更に、
前記探索手段により算出された各パーティクル毎の経路の到達コストに基づいて、各パーティクルの尤度を修正することを特徴とする請求項１又は２に記載の被写体追跡装置。
【請求項４】
前記特定手段は、更に、
前記探索手段により算出された前記複数のフレーム画像のうちの最初のフレーム画像から前記最終フレーム画像までの各パーティクル毎の経路の到達コストに基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定することを特徴とする請求項１〜３の何れか一項に記載の被写体追跡装置。
【請求項５】
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記特定部位のテンプレートとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うことを特徴とする請求項１〜４の何れか一項に記載の被写体追跡装置。
【請求項６】
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルを重み付き有向グラフに逐次追加し、前記重み付き有向グラフ上で動的計画法により経路探索を行うことを特徴とする請求項１〜５の何れか一項に記載の被写体追跡装置。
【請求項７】
前記何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルの中で、前記特定部位のテンプレートとの相違度を基準として所定数のパーティクルを選択する選択手段を更に備え、
前記探索手段は、
前記選択手段により選択されたパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として前記経路探索を行うことを特徴とする請求項１〜６の何れか一項に記載の被写体追跡装置。
【請求項８】
被写体追跡装置を用いた被写体追跡方法であって、
被写体の動画像を取得する取得処理と、
前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、
前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、
前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、
を含むことを特徴とする被写体追跡方法。
【請求項９】
被写体追跡装置のコンピュータを、
被写体の動画像を取得する取得手段、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体追跡装置、被写体追跡方法及びプログラムに関する。
【背景技術】
【０００２】
従来、被写体の所定位置に取り付けられたマーカーを撮像して、当該マーカーを追跡することで被写体の動作を取得（キャプチャ）するモーションキャプチャが知られている（例えば、特許文献１参照）。
このモーションキャプチャは、近年盛んに実用化がなされており、例えば、コンピュータグラフィック（ＣＧ）を用いた映像作成にて、モーションキャプチャにより動作を取得して、その動作をＣＧに与えることにより動きのある映像を実現している。また、例えば、スポーツ分野では、モーションキャプチャにより取得した動作をコンピュータに取り込んで、その動作の解析に適用している。また、モーションキャプチャにより取得した動作を機器の操作とする活用もなされている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−５５６５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、撮像により生成された画像データ内でのマーカーの追跡は、テンプレートマッチングを用いて行われるが、テンプレートマッチングの結果からマーカー位置を特定するだけでは、外乱に強いシステムを構築することはできない。例えば、良好なテンプレートマッチングの結果が複数存在した場合、どれを選択するのが最良かの判断は困難である。
【０００５】
そこで、本願発明の課題は、高精度で且つ安定性に優れた追跡処理を実現することができる被写体追跡装置、被写体追跡方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る被写体追跡装置は、
被写体の動画像を取得する取得手段と、前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る被写体追跡方法は、
被写体追跡装置を用いた被写体追跡方法であって、被写体の動画像を取得する取得処理と、前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、を含むことを特徴としている。
【０００８】
また、本発明に係るプログラムは、
被写体追跡装置のコンピュータを、被写体の動画像を取得する取得手段、前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、として機能させることを特徴としている。
【発明の効果】
【０００９】
本発明によれば、高精度で且つ安定性に優れた追跡処理を実現することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明を適用した一実施形態の被写体追跡装置の概略構成を示すブロック図である。
【図２】図１の被写体追跡装置による被写体追跡処理に係る動作の一例を示すフローチャートである。
【図３】図２の被写体追跡処理の続きを示すフローチャートである。
【図４】図２の被写体追跡処理におけるパーティクル尤度修正処理に係る動作の一例を示すフローチャートである。
【図５】図２の被写体追跡処理を説明するための図である。
【図６】図２の被写体追跡処理を説明するための図である。
【発明を実施するための形態】
【００１１】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の被写体追跡装置１００の概略構成を示すブロック図である。
【００１２】
被写体追跡装置１００は、例えば、ワークステーションなどのコンピュータにより構成され、図１に示すように、中央制御部１と、メモリ２と、記憶部３と、操作入力部４と、追跡処理部５と、表示部６と、表示制御部７と、外部通信部８とを備えている。
【００１３】
中央制御部１は、被写体追跡装置１００の各部を制御するものである。具体的には、中央制御部１は、ＣＰＵ（Central Processing Unit；図示略）を備え、被写体追跡装置１００用の各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１４】
メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、中央制御部１、追跡処理部５等によって処理されるデータ等を一時記憶する。また、メモリ２は、外部機器２００から当該被写体追跡装置１００に対して送信されて、外部通信部８により受信された動画像データＤを一時記憶する。
【００１５】
記憶部３は、例えば、不揮発性メモリ（フラッシュメモリ）等により構成され、中央制御部１の動作に必要な各種プログラムやデータ（図示略）を記憶している。
【００１６】
操作入力部４は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部（図示略）を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部１に出力する。
【００１７】
追跡処理部５は、動画像取得部５ａと、テンプレート生成部５ｂと、追跡部５ｃと、パーティクル選択部５ｄと、経路探索部５ｅと、尤度修正部５ｆと、追跡結果特定部５ｇとを具備している。
なお、追跡処理部５の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００１８】
動画像取得部５ａは、被写体Ｓの動画像を取得する。
即ち、動画像取得部（第１取得手段）５ａは、複数のフレーム画像Ｆ、…を含む被写体Ｓの動画像データＤを取得する。具体的には、動画像取得部５ａは、メモリ２から外部機器２００により生成された被写体Ｓの動画像データＤを取得する。
ここで、動画像データＤには、被写体Ｓが所定の動作（例えば、ゴルフスイング等）をなす複数のフレーム画像Ｆ、…が記憶されている。
【００１９】
なお、外部機器２００としては、例えば、被写体Ｓの動画像を撮像する撮像装置や、この撮像装置から被写体Ｓの動画像データＤを取得するコンピュータ等が挙げられるが、被写体Ｓの動画像データＤを当該被写体追跡装置１００に送信可能なものであれば如何なる構成であっても良く、その詳細な説明は省略する。また、外部機器２００は、被写体Ｓの撮像により生成された動画像データＤを構成するフレーム画像Ｆを逐次送信する構成であっても良いし、被写体Ｓの撮像終了後に動画像データＤをまとめて送信する構成であっても良い。
また、動画像取得部５ａは、当該被写体追跡装置１００本体に対して着脱自在な記録媒体（図示略）などを介して取得するようにしても良い。
【００２０】
テンプレート生成部５ｂは、被写体Ｓの特定部位ＰのテンプレートＰｔを生成する。
具体的には、動画像取得部５ａにより取得された動画像データＤを構成する複数のフレーム画像Ｆ、…のうち、最初のフレーム画像Ｆ１（図５（ａ）参照）内で、ユーザによる操作入力部４の所定操作に基づいて追跡対象となる特定部位（例えば、左腕等）Ｐに係る初期位置（例えば、左手首、左肘、左肩等の関節位置；図５（ａ）中、黒丸で表す）が指定されると、テンプレート生成部５ｂは、当該最初のフレーム画像Ｆ１内から特定部位Ｐの色及び形状（太さ）をテンプレートＰｔとして生成する。例えば、テンプレート生成部５ｂは、最初のフレーム画像Ｆ１における初期位置から特定部位Ｐを構成する構成部分（例えば、上腕、前腕等）の色を特定した後、特定された色から前腕、上腕の太さを特定する（図５（ｂ）参照）。
即ち、予め被写体Ｓに対して、前腕、上腕はできる限り単一色となるようなもの（例えば、細かい模様などは、フィルタ処理にて除去可能）を着衣するように指示しておけば、テンプレート生成部５ｂは、初期位置として指定された左肩と左肘の間から上腕の色を特定し、左肘と左手首の間から前腕の色を特定することができる。そして、テンプレート生成部５ｂは、適当な幅の上腕や前腕等の形状を複数用意して比較し、最も一致度が大きいと判定されたものを上腕や前腕等の形状のものを採用する。
【００２１】
追跡部５ｃは、動画像データＤの複数のフレーム画像Ｆ、…の各々にて被写体Ｓの特定部位Ｐを追跡する。
即ち、追跡部（追跡手段）５ｃは、動画像取得部５ａにより取得された動画像データＤを構成する複数のフレーム画像Ｆ、…の各々にて、被写体Ｓの特定部位Ｐをパーティクルフィルタを用いた処理により追跡する。
ここで、パーティクルフィルタは、例えば、カルマンフィルタで扱うことのできない非ガウス性雑音が加算された信号の時系列解析にて有用である。また、パーティクルフィルタは、有限個のパーティクルＰｐを追跡候補として導入することにより対象の確率分布を表現し、それを用いて時系列推定や予測を行うことができるが、公知の技術であるので、ここでは詳細な説明は省略する。
【００２２】
具体的には、追跡部５ｃは、パーティクル生成部ｃ１と、相違度算出部ｃ２とを具備している。
【００２３】
パーティクル生成部ｃ１は、動画像データＤの複数のフレーム画像Ｆ、…のうち、最初のフレーム画像Ｆ１内で指定された追跡対象となる被写体Ｓの特定部位Ｐ毎に初期位置（例えば、左手首、左肘、左肩等）の位置座標にランダムノイズを加えて、パーティクルフィルタの枠組みの中で複数（例えば、N個；Nは２以上の自然数）の状態のパーティクルＰｐを生成する（図５（ｃ）参照）。
ここで、パーティクルＰｐとは、例えば、左腕、右腕、左脚、右脚、体幹部、頭部等の特定部位Ｐに係る一の状態を表す。具体的には、パーティクルＰｐは、例えば、特定部位Ｐの指定に係る初期位置（例えば、左肩、左肘、左手首等）の位置座標と、特定部位Ｐを構成する構成部分（例えば、上腕、前腕等）の幅の情報を含む。なお、図５（ｃ）には、左腕のパーティクルＰｐの一例を模式的に表す。
【００２４】
相違度算出部ｃ２は、特定部位Ｐ毎に、複数のパーティクルＰｐ、…の各々と処理対象となる特定部位ＰのテンプレートＰｔとの相違度を算出する。
即ち、相違度算出部ｃ２は、処理対象となる一のフレーム画像Ｆについて、特定部位Ｐ毎にパーティクル生成部ｃ１により生成された複数のパーティクルＰｐ、…と当該特定部位ＰのテンプレートＰｔとの相違度DIFFを算出する。具体的には、相違度算出部ｃ２は、例えば、差分二乗和SSD(Sum of Squared Differences)等を用いて相違度DIFFを算出する。
例えば、相違度算出部ｃ２は、左腕についての複数のパーティクルＰｐ、…のうち、何れか一のパーティクルＰｐ（例えば、左腕モデルの状態）から、上腕の状態及び前腕の状態を取り出して、テンプレート生成部５ｂにより生成されたテンプレートＰｔと比較して、上腕及び前腕の相違度UD、LDを算出する。そして、相違度算出部ｃ２は、算出された上腕及び前腕の相違度UD、LDに基づいて所定の演算を行って（例えば、相違度UDとLDを加算して）、当該パーティクルＰｐの相違度DIFFとして算出する。相違度算出部ｃ２は、他のパーティクルＰｐについても同様の処理を行って、それぞれの相違度DIFFを算出する。
【００２５】
また、追跡部５ｃは、尤度修正部５ｆにより尤度が修正された一のフレーム画像Ｆに係る複数（例えば、N個）のパーティクルＰｐに基づいて、当該一のフレーム画像Ｆよりも後のフレーム画像Ｆの特定部位Ｐを追跡する。具体的には、処理対象を次のフレーム画像Ｆに進める際に、パーティクル生成部ｃ１は、特定部位Ｐ毎に、尤度が修正された複数のパーティクルＰｐ、…にランダムノイズを付加し、追跡部５ｃは、これら複数のパーティクルＰｐ、…を用いて次のフレーム画像Ｆにて特定部位Ｐを追跡する。
【００２６】
パーティクル選択部５ｄは、特定部位Ｐ毎に、複数のパーティクルＰｐ、…の中で所定数のパーティクルＰｐを選択する。
即ち、パーティクル選択部（選択手段）５ｄは、処理対象となる一のフレーム画像Ｆについて、特定部位Ｐ毎にパーティクル生成部ｃ１により生成された複数のパーティクルＰｐ、…の中で、当該特定部位ＰのテンプレートＰｔとの相違度を基準として所定数のパーティクルＰｐを選択する。具体的には、パーティクル選択部５ｄは、複数（例えば、N個）のパーティクルＰｐ、…について相違度算出部ｃ２により算出された相違度DIFFを基準として、当該相違度DIFFの小さい方から順に所定数（例えば、K個；KはNより小さい自然数）のパーティクルＰｐを選択する。
図６（ａ）等には、パーティクル選択部５ｄにより選択された４個のパーティクルＰｐ（ノード11〜14、21〜24、31〜34等）を例示しているが、一例であってこれに限られるものではなく、選択個数は適宜任意に変更可能である。
【００２７】
経路探索部５ｅは、動的計画法により所定のグラフ上で経路探索を行って、各経路の到達コストを算出する。
即ち、経路探索部（探索手段）５ｅは、処理対象となる一のフレーム画像Ｆについて、特定部位Ｐ毎に追跡部５ｃにより生成された複数のパーティクルＰｐ、…と、複数のフレーム画像Ｆ、…を構成する当該一のフレーム画像Ｆよりも前の全てのフレーム画像Ｆにおける対応する領域との相違度を基準として動的計画法により所定のグラフ（例えば、重み付き有向グラフＧ等）上で経路探索を行う。
具体的には、経路探索部５ｅは、処理対象となる一のフレーム画像Ｆについて、特定部位Ｐ毎にパーティクル生成部ｃ１により生成された複数のパーティクルＰｐ、…を重み付き有向グラフＧに逐次追加していき、重み付き有向グラフＧ上で動的計画法により経路探索を行う。より具体的には、経路探索部５ｅは、各フレーム画像Ｆについて、特定部位Ｐ毎にパーティクル選択部５ｄにより選択されたK個のパーティクルＰｐを重み付き有向グラフＧに逐次追加していき、当該パーティクルＰｐと処理対象となるフレーム画像Ｆよりも前のフレーム画像Ｆにおける対応する領域との相違度を基準として経路探索を行う。また、経路探索部５ｅは、各フレーム画像Ｆについて、特定部位Ｐ毎にパーティクル生成部ｃ１により生成された複数のパーティクルＰｐ、…の各々と当該特定部位ＰのテンプレートＰｔとの相違度、即ち、相違度算出部ｃ２により算出された各パーティクルＰｐの相違度DIFFを基準として動的計画法により所定のグラフ上で経路探索を行う。
例えば、特定部位Ｐ毎に、パーティクル選択部５ｄにより選択されたK個（例えば、４個等）のパーティクルＰｐについて、相違度算出部ｃ２により算出された各パーティクルＰｐの相違度DIFFが重み付き有向グラフＧの各フレーム画像Ｆ（例えば、フレーム画像Ｆ１、Ｆ２、Ｆ３等）毎のノード（ノード11〜14、21〜24、31〜34等）となる（図６（ａ）等参照）。処理対象が次のフレーム画像Ｆに移ると、当該フレーム画像Ｆの特定部位Ｐ毎に、新たにK個のパーティクルＰｐの相違度DIFFが重み付き有向グラフＧのノードに追加される（図６（ａ）及び図６（ｂ）参照）。ノードどうしを結ぶエッジの方向は、新しく追加されたパーティクルＰｐに向かう方向となり、隣合う２つのフレーム画像Ｆ、Ｆ間の状態変化量に応じて重み（経路コストE）が変化する。
例えば、経路探索部５ｅは、下記式に従って、隣合う２つのフレーム画像Ｆ、Ｆの特定部位Ｐを構成する代表点（例えば、特定部位Ｐが左腕の場合、左肩、左肘、左手首等）の位置座標どうしの所定の色空間でのユークリッド距離（座標間距離）Dに調整パラメータαを乗算したものと、パーティクルＰｐの相違度DIFFとを加算した値をエッジの経路コストEとして設定する。
経路コストE＝相違度DIFF＋α×D
なお、図６（ａ）〜図６（ｃ）には、ノードを白丸で表し、エッジを実線で表している。また、各ノードは、パーティクルＰｐの尤度が高い順に上から下に並んでいるものとする。
【００２８】
また、経路探索部５ｅは、処理対象となるフレーム画像Ｆにて、特定部位Ｐ毎にパーティクル生成部ｃ１により生成された複数のパーティクルＰｐ、…の各々について、複数のフレーム画像Ｆ、…を構成する所定の基準フレーム画像（例えば、最初のフレーム画像Ｆ１）から当該処理対象のフレーム画像Ｆまでの経路の到達コストを動的計画法（Dynamic Programming法）により算出する。具体的には、経路探索部５ｅは、例えば、パーティクル選択部５ｄにより選択されたK個（例えば、４個等）のパーティクルＰｐについて、最初のフレーム画像Ｆ１から処理対象のフレーム画像Ｆ（例えば、３枚目のフレーム画像Ｆ３等）までの経路の到達コストを算出する（図６（ｂ）参照）。
図６（ｂ）には、最初のフレーム画像Ｆ１から処理対象となる３枚目のフレーム画像Ｆ３までの到達コストが最小となる最短経路を太線で表し、各ノード31〜34への到達コストを括弧内の数字で表している。
なお、動的計画法による経路探索は、公知の技術であるので、ここでは詳細な説明は省略する。
【００２９】
尤度修正部５ｆは、所定数のパーティクルＰｐの尤度を修正する。
即ち、尤度修正部（修正手段）５ｆは、経路探索部５ｅによる探索結果に基づいて、処理対象となる一のフレーム画像Ｆにおける特定部位Ｐの各パーティクルＰｐの尤度を修正する。具体的には、尤度修正部５ｆは、経路探索部５ｅにより算出されたパーティクルＰｐ毎の最初のフレーム画像Ｆ１から処理対象のフレーム画像Ｆまでの経路の到達コストに基づいて、各パーティクルＰｐの尤度を修正する。例えば、尤度修正部５ｆは、経路探索部５ｅにより算出されたパーティクルＰｐ毎の経路の到達コストの逆数の比を当該パーティクルＰｐの尤度として設定する。そして、尤度修正部５ｆは、各パーティクルＰｐの経路コストの逆数にNを乗算して正規化する。例えば、ノード31〜34のパーティクルＰｐの経路コストが120：340：100：800の場合、1/120：1/340：1/100：1/800＝0.37：0.13：0.44：0.06の比率の尤度となる。そして、尤度修正部５ｆは、ノード31〜34の各々の尤度にNを乗算して、総計N個のパーティクルＰｐを設定する。
【００３０】
追跡結果特定部５ｇは、動画像データＤを構成する複数のフレーム画像Ｆ、…における特定部位Ｐの追跡結果を特定する。
即ち、追跡結果特定部５ｇは、尤度修正部５ｆによる複数のフレーム画像Ｆ、…のうちの最終フレーム画像Ｆｎよりも前のフレーム画像Ｆの各々に係る特定部位Ｐの複数のパーティクルＰｐ、…の尤度の修正後に、追跡部５ｃによる最終フレーム画像Ｆｎの特定部位Ｐｐの追跡結果に基づいて、複数のフレーム画像Ｆ、…の各々の特定部位Ｐの追跡結果を特定する。具体的には、追跡結果特定部５ｇは、経路探索部５ｅにより算出された複数のフレーム画像Ｆ、…のうちの最初のフレーム画像Ｆ１から最終フレーム画像ＦｎまでのパーティクルＰｐ毎の経路の到達コストに基づいて、複数のフレーム画像Ｆ、…の各々の特定部位Ｐの追跡結果を特定する。
例えば、経路探索部５ｅによる最終フレーム画像ＦｎについてのパーティクルＰｐ毎の複数の経路の到達コストの算出後に、追跡結果特定部５ｇは、到達コストが算出された複数の経路の中で到達コストが最小となる最短経路を特定する（図６（ｃ）参照）。つまり、経路探索部５ｅは、最初のフレーム画像Ｆ１から最終フレーム画像Ｆｎの一つ前のフレーム画像Ｆｎ−１について修正後の各パーティクルＰｐ（ノード）の相違度DIFF及び各エッジの経路コストEに基づいて、最終フレーム画像ＦｎについてパーティクルＰｐ毎の各経路の到達コストを算出する。そして、追跡結果特定部５ｇは、到達コストが最小の最短経路を特定し、当該最短経路に係る各フレーム画像Ｆの各パーティクルＰｐを特定部位Ｐの追跡結果として特定する。
なお、図６（ｃ）には、全てのフレーム画像Ｆ１〜Ｆｎにおける到達コストが最小となる最短経路を太線で表している。
【００３１】
表示部６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）等のディスプレイから構成され、表示制御部７の制御下にて各種情報を表示画面に表示する。
【００３２】
表示制御部７は、表示用データを生成して表示部６の表示画面に表示させる制御を行う。
具体的には、表示制御部７は、例えば、ＧＰＵ（Graphics Processing Unit）やＶＲＡＭ（Video Random Access Memory）等を具備するビデオカード（図示略）を備えている。そして、表示制御部７は、中央制御部１からの表示指示に従って、動画像取得部５ａにより取得された動画像データＤに基づいて動画像の表示用データをビデオカードによる描画処理によって生成し、表示部６に出力する。
【００３３】
外部通信部８は、外部機器２００と所定の通信回線（例えば、ＬＡＮ（Local Area Network）等）を介して情報を送受信可能に接続される。具体的には、外部通信部８は、例えば、図示は省略するが、外部機器２００との接続用の端子（例えば、ＬＡＮ端子等）に装着された所定の通信ケーブル（例えば、ＬＡＮケーブル）を介してデータの送受信を行う。例えば、外部通信部８は、外部機器２００から送信された動画像データＤを受信する。外部通信部８により受信された動画像データＤは、メモリ２に転送されて一時的に記憶される。
【００３４】
＜被写体追跡処理＞
次に、被写体追跡装置１００による被写体追跡処理について、図２〜図６を参照して説明する。
図２及び図３は、被写体追跡処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、動画像データＤは、外部機器２００により取得された後、外部通信部８を介してメモリ２に一時記憶されているものとする。
【００３５】
図３に示すように、先ず、動画像取得部５ａは、メモリ２から被写体Ｓの動画像データＤを読み出して取得する（ステップＳ１）。
次に、動画像取得部５ａにより取得された動画像データＤの最初のフレーム画像Ｆ１（図５（ａ）参照）内で、ユーザによる操作入力部４の所定操作に基づいて追跡対象となる特定部位Ｐに係る初期位置（例えば、左手首、左肘、左肩等）が指定されると（ステップＳ２）、テンプレート生成部５ｂは、最初のフレーム画像Ｆ１における初期位置から特定部位Ｐを構成する構成部分（例えば、上腕、前腕等）の色及び前腕、上腕の太さを特定して、特定部位Ｐの色及び形状（太さ）をテンプレートＰｔとして生成する（ステップＳ３）。
【００３６】
続けて、追跡部５ｃのパーティクル生成部ｃ１は、追跡対象となる被写体Ｓの特定部位Ｐ毎に、指定された初期位置の位置座標にランダムノイズを加えてN個の状態のパーティクルＰｐを生成する（ステップＳ４）。
【００３７】
次に、追跡部５ｃは、動画像データＤを構成する複数のフレーム画像Ｆ、…のうち、開始フレーム（１枚目のフレーム画像Ｆ１）を処理対象のフレームとして指定した後（ステップＳ５）、追跡対象となる特定部位Ｐ（例えば、左腕等）の各々について、パーティクル生成部ｃ１により生成されたN個のパーティクルＰｐの中で何れか一のパーティクルＰｐを指定する（ステップＳ６）。
続けて、追跡部５ｃの相違度算出部ｃ２は、各特定部位Ｐ（例えば、左腕等）毎に、指定されたパーティクルＰｐとテンプレート生成部５ｂにより生成されたテンプレートＰｔとの相違度DIFFを算出する（ステップＳ７）。例えば、左腕を特定部位Ｐとした場合、相違度算出部ｃ２は、左腕を構成する上腕及び前腕個別にパーティクルＰｐとの相違度UD、LDを算出して、算出された上腕及び前腕の相違度UD、LDを加算して、当該パーティクルＰｐとの相違度DIFFとして算出する。
相違度算出部ｃ２は、各特定部位Ｐ毎に、算出された相違度DIFFをパーティクルＰｐの識別情報と対応付けて所定の格納手段（例えば、メモリ２等）に一時的に記憶する（ステップＳ８）。
【００３８】
次に、追跡部５ｃは、パーティクル生成部ｃ１により生成された全てのパーティクルＰｐについて相違度DIFFを算出する処理を行ったか否かを判定する（ステップＳ９）。
ここで、全てのパーティクルＰｐについて処理していないと判定されると（ステップＳ９；ＮＯ）、追跡部５ｃは、パーティクル生成部ｃ１により生成されたN個のパーティクルＰｐの中で、未処理の次のパーティクルＰｐを新たに指定する（ステップＳ１０）。その後、追跡部５ｃは、処理をステップＳ７に戻し、新たに指定されたパーティクルＰｐについて、上記と同様にしてステップＳ７、Ｓ８の各処理を実行する。
これにより、各特定部位Ｐ毎に、新たに指定されたパーティクルＰｐの相違度DIFFが算出されて所定の格納手段（例えば、メモリ２等）に一時的に記憶された状態となる。
上記の各処理は、ステップＳ９にて、全てのパーティクルＰｐについて処理したと判定されるまで繰り返し実行される。
【００３９】
一方、ステップＳ９にて、全てのパーティクルＰｐについて処理したと判定されると（ステップＳ９；ＹＥＳ）、図３に示すように、追跡処理部５は、処理対象のフレーム画像Ｆの一つ前のフレーム画像Ｆについて相違度を算出する処理を行ったか否かを判定する（ステップＳ１１）。
ここで、処理対象が動画像データＤの開始フレームである場合、一つ前のフレーム画像Ｆについて処理していないと判定され（ステップＳ１１；ＮＯ）、追跡処理部５は、パーティクル尤度修正処理（ステップＳ１２）をスキップして、動画像データＤを構成する全てのフレーム画像Ｆ１〜Ｆｎについて特定部位Ｐを追跡する処理を行ったか否かを判定する（ステップＳ１３）。
ここで、全てのフレーム画像Ｆ１〜Ｆｎについて処理していないと判定されると（ステップＳ１３；ＮＯ）、追跡部５ｃは、動画像データＤの複数のフレーム画像Ｆ、…の中で、未処理の次のフレーム画像Ｆ（例えば、２枚目のフレーム画像Ｆ２）を新たに指定する（ステップＳ１４）。
【００４０】
次に、パーティクル生成部ｃ１は、各特定部位Ｐ毎に、N個のパーティクルＰｐの各々にランダムノイズを付加し（ステップＳ１５）、その後、処理をステップＳ６に戻し、新たに指定されたフレーム画像Ｆ（例えば、２枚目のフレーム画像Ｆ２）について、上記と同様にしてステップＳ６〜Ｓ１０の各処理を実行する。
これにより、新たに指定されたフレーム画像Ｆ（例えば、２枚目のフレーム画像Ｆ２）の特定部位Ｐ毎に、パーティクルＰｐの相違度DIFFが算出される。
【００４１】
その後、ステップＳ１１にて、一つ前のフレーム画像Ｆ（例えば、２枚目のフレーム画像Ｆに対する１枚目のフレーム画像Ｆ１等）について処理したと判定されると（ステップＳ１１；ＹＥＳ）、追跡処理部５は、パーティクル尤度修正処理（図４参照）を行う（ステップＳ１２）。
【００４２】
＜パーティクル尤度修正処理＞
ここで、パーティクル尤度修正処理について図４を参照して説明する。
図４は、パーティクル尤度修正処理に係る動作の一例を示すフローチャートである。
【００４３】
図４に示すように、先ず、パーティクル選択部５ｄは、各特定部位Ｐ毎に、所定の格納手段（例えば、メモリ２等）からN個のパーティクルＰｐの相違度DIFFを取得して、これらN個のパーティクルＰｐの中で相違度DIFFの小さい方から順にK個（KはNより小さい自然数）のパーティクルＰｐを選択する（ステップＳ２１）。
【００４４】
次に、経路探索部５ｅは、各特定部位Ｐ毎に、選択されたK個のパーティクルＰｐを重み付き有向グラフＧのノードに追加して（ステップＳ２２）、各パーティクルＰｐの相違度DIFFと一つ前のフレーム画像Ｆとの座標間距離（ユークリッド距離D）に基づいて、ノードどうしを結ぶエッジの経路コストEを設定する（ステップＳ２３）。例えば、特定部位Ｐが左腕の場合、経路探索部５ｅは、処理対象のフレーム画像Ｆと一つ前のフレーム画像Ｆ（例えば、２枚目と１枚目のフレーム画像Ｆ１、Ｆ２等））との間で左腕における左肩、左肘、左手首等の位置座標どうしのユークリッド距離Dに調整パラメータαを乗算し、２枚目のフレーム画像Ｆに係るパーティクルＰｐの相違度DIFFを加算してエッジの経路コストEを算出する。
続けて、経路探索部５ｅは、各特定部位Ｐ毎に、K個（例えば、４個等）のパーティクルＰｐについて、最初のフレーム画像Ｆ１から処理対象のフレーム画像Ｆ（例えば、２枚目のフレーム画像Ｆ２等）までの経路の到達コストを算出する（ステップＳ２４）。
【００４５】
その後、尤度修正部５ｆは、経路探索部５ｅにより算出されたパーティクルＰｐ毎の経路の到達コストに基づいて、各パーティクルＰｐの尤度を修正して、N個のパーティクルＰｐを設定する（ステップＳ２５）。例えば、尤度修正部５ｆは、算出されたパーティクルＰｐ毎の経路の到達コストの逆数の比を当該パーティクルＰｐの尤度として設定し、各パーティクルＰｐの経路コストの逆数にNを乗算して正規化して、総計N個のパーティクルＰｐを設定する。
これにより、パーティクル尤度修正処理を終了する。
【００４６】
図３に戻り、ステップＳ１３にて、全てのフレーム画像Ｆ１〜Ｆｎについて処理していないと判定されると（ステップＳ１３；ＮＯ）、追跡部５ｃは、処理をステップＳ１４に移行し、動画像データＤの複数のフレーム画像Ｆ、…の中で、未処理の次のフレーム画像Ｆ（例えば、３枚目のフレーム画像Ｆ３）を新たに指定する（ステップＳ１４）。
次に、パーティクル生成部ｃ１は、各特定部位Ｐ毎に、尤度が修正されたN個のパーティクルＰｐの各々にランダムノイズを付加し（ステップＳ１５）、その後、処理をステップＳ６に戻し、新たに指定されたフレーム画像Ｆ（例えば、３枚目のフレーム画像Ｆ３）について、上記と同様にしてステップＳ６〜Ｓ１２の各処理を実行する。
これにより、３枚目のフレーム画像Ｆ３についてパーティクルＰｐの尤度が修正された状態となる。
上記の各処理は、ステップＳ１３にて、全てのフレーム画像Ｆ１〜Ｆｎについて処理したと判定されるまで繰り返し実行される。
【００４７】
一方、ステップＳ１３にて、全てのフレーム画像Ｆ１〜Ｆｎについて処理したと判定されると（ステップＳ１３；ＹＥＳ）、追跡結果特定部５ｇは、最終フレーム画像ＦｎでのK個（例えば、４個等）のパーティクルＰｐについての到達コストが最小となる最短経路（図６（ｃ）参照）を特定する（ステップＳ１６）。具体的には、追跡結果特定部５ｇは、経路探索部５ｅによる最終フレーム画像ＦｎについてのパーティクルＰｐ毎の複数の経路の到達コストの算出結果に基づいて、これら複数の経路の中で到達コストが最小となる最短経路を特定する。そして、追跡結果特定部５ｇは、当該最短経路に係る各フレーム画像Ｆの各パーティクルＰｐを特定部位Ｐの追跡結果として特定する（ステップＳ１７）。
追跡結果特定部５ｇは、算出された各特定部位Ｐの追跡結果を所定の格納手段（例えば、メモリ２等）に記憶して（ステップＳ１８）、被写体追跡処理を終了する。
【００４８】
以上のように、本実施形態の被写体追跡装置１００によれば、動画像データＤを構成する複数のフレーム画像Ｆ、…のうちの処理対象となる一のフレーム画像Ｆについて、被写体Ｓの特定部位Ｐ毎に生成された複数のパーティクルＰｐ、…と一のフレーム画像Ｆよりも前のフレーム画像Ｆにおける対応する領域との相違度を基準として動的計画法により所定のグラフ（例えば、重み付き有向グラフＧ）上で経路探索を行い、探索結果に基づいて、一のフレーム画像Ｆにおける特定部位Ｐの複数のパーティクルＰｐ、…の尤度を修正するので、尤度が修正された複数のパーティクルＰｐ、…に基づいて、一のフレーム画像Ｆよりも後のフレーム画像Ｆにて特定部位Ｐを高精度に追跡することができる。即ち、処理対象となる一のフレーム画像Ｆにおける特定部位Ｐのパーティクルフィルタを用いた追跡結果を当該一のフレーム画像Ｆよりも後のフレーム画像Ｆにおける特定部位Ｐのパーティクルフィルタを用いる追跡に反映させることができることとなって、後のフレーム画像Ｆの処理にて余計なノイズの原因となるパーティクルＰｐの撒布範囲を広げたりパーティクルＰｐの個数を増やす必要がなくなり、パーティクルフィルタを用いる処理のロバスト性を確保して、外乱等に影響されにくい安定した追跡を実現することができる。
そして、最終フレーム画像Ｆｎよりも前のフレーム画像Ｆの各々に係る特定部位Ｐの複数のパーティクルＰｐ、…の尤度の修正後に、最終フレーム画像Ｆｎの特定部位Ｐｐの追跡結果に基づいて、複数のフレーム画像Ｆ、…の各々の特定部位Ｐの追跡結果を特定することができる。具体的には、最初のフレーム画像Ｆ１から最終フレーム画像ＦｎまでのパーティクルＰｐ毎の経路の到達コストに基づいて、複数のフレーム画像Ｆ、…の各々の特定部位Ｐの追跡結果を特定することができる。これにより、複数のフレーム画像Ｆ、…の時間軸を考慮して各フレーム画像Ｆ内で最適な状態のパーティクルＰｐを経る経路を探索することができ、この結果、特定された経路に係る各フレーム画像ＦのパーティクルＰｐを特定部位Ｐの追跡結果として特定することができる。
このように、高精度で且つ安定性に優れた特定部位Ｐの追跡処理を実現することができる。
【００４９】
また、処理対象の一のフレーム画像Ｆについて、特定部位Ｐ毎に複数（例えば、N個）のパーティクルＰｐの中で特定部位ＰのテンプレートＰｔとの相違度を基準として所定数（例えば、K個）のパーティクルＰｐを選択して、選択されたパーティクルＰｐと一のフレーム画像Ｆよりも前のフレーム画像Ｆにおける対応する領域との相違度を基準として経路探索を行うので、処理対象のフレーム画像Ｆ内での複数のパーティクルＰｐ、…の状態を考慮して動的計画法による経路探索に用いられる所定数のパーティクルＰｐを適正に選択することができ、この結果、動的計画法による経路探索を適正に行うことができる。
【００５０】
また、処理対象となる一のフレーム画像Ｆの特定部位Ｐの複数のパーティクルＰｐ、…の各々について、複数のフレーム画像Ｆ、…のうちの所定の基準フレーム画像Ｆから一のフレーム画像Ｆまでの経路の到達コストを動的計画法により算出し、算出されたパーティクルＰｐ毎の経路の到達コストに基づいて、各パーティクルＰｐの尤度を修正するので、一のフレーム画像Ｆにおける特定部位Ｐの複数のパーティクルＰｐ、…の尤度の修正を到達コストを考慮して適正に行うことができる。
【００５１】
また、処理対象となる一のフレーム画像Ｆについて、特定部位Ｐ毎に生成された複数のパーティクルＰｐ、…と当該特定部位ＰのテンプレートＰｔとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うので、複数のパーティクルＰｐ、…と当該一のフレーム画像Ｆよりも前のフレーム画像Ｆにおける対応する領域との相違度、即ち、隣合う２つのフレーム画像Ｆ、Ｆ間の状態変化量に加えて、処理対象の一のフレーム画像Ｆ内での複数のパーティクルＰｐ、…の状態を考慮して、動的計画法による経路探索を適正に行うことができる。
【００５２】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像装置により撮像された動画像データＤを構成するフレーム画像Ｆの各々から逐次特定部位Ｐを追跡する場合には、特定部位Ｐの追跡状態を報知するようにしても良い。即ち、例えば、撮影中の最新のフレーム画像Ｆの処理による動的計画法で得られた最小の経路コストとなる状態を表示画面にリアルタイムで表示し、全ての撮影が終わった後に、最後のフレーム画像Ｆの処理で得られた経路による追跡過程を表示するようにしても良い。
【００５３】
さらに、被写体追跡装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体追跡装置１００として、ワークステーションなどのコンピュータを例示したが、これに限られるものではなく、一般的なパーソナルコンピュータや撮像装置などにより構成しても良い。
【００５４】
加えて、上記実施形態にあっては、取得手段、追跡手段、探索手段、修正手段、特定手段としての機能を、中央制御部１の制御下にて、動画像取得部５ａ、追跡部５ｃ、経路探索部５ｅ、尤度修正部５ｆ、追跡結果特定部５ｇが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ（図示略）に、取得処理ルーチン、追跡処理ルーチン、探索処理ルーチン、修正処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部１のＣＰＵを、被写体Ｓの動画像を取得する手段として機能させるようにしても良い。また、追跡処理ルーチンにより中央制御部１のＣＰＵを、取得された動画像を構成する複数のフレーム画像Ｆ、…の各々にて、被写体Ｓの特定部位Ｐをパーティクルフィルタを用いた処理により追跡する手段として機能させるようにしても良い。また、探索処理ルーチンにより中央制御部１のＣＰＵを、複数のフレーム画像Ｆ、…のうちの何れか一のフレーム画像Ｆについて、特定部位Ｐ毎に生成された複数のパーティクルＰｐ、…と何れか一のフレーム画像Ｆよりも前のフレーム画像Ｆにおける対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う手段として機能させるようにしても良い。また、修正処理ルーチンにより中央制御部１のＣＰＵを、探索結果に基づいて、何れか一のフレーム画像Ｆにおける特定部位Ｐの複数のパーティクルＰｐ、…の尤度を修正する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部１のＣＰＵを、複数のフレーム画像Ｆのうちの最終フレーム画像Ｆｎよりも前のフレーム画像Ｆの各々に係る特定部位Ｐの複数のパーティクルＰｐ、…の尤度の修正後に、最終フレーム画像Ｆｎの特定部位Ｐの追跡結果に基づいて、複数のフレーム画像Ｆ、…の各々の特定部位Ｐの追跡結果を特定する手段として機能させるようにしても良い。
【００５５】
同様に、選択手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５６】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５７】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
被写体の動画像を取得する取得手段と、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、
を備えたことを特徴とする被写体追跡装置。
＜請求項２＞
前記追跡手段は、更に、
前記修正手段により尤度が修正された前記何れか一のフレーム画像に係る前記複数のパーティクルに基づいて、前記何れか一のフレーム画像よりも後のフレーム画像の前記特定部位を追跡することを特徴とする請求項１に記載の被写体追跡装置。
＜請求項３＞
前記探索手段は、更に、
前記追跡手段により生成された前記何れか一のフレーム画像の前記特定部位の複数のパーティクルの各々について、前記複数のフレーム画像のうちの所定の基準フレーム画像から前記何れか一のフレーム画像までの経路の到達コストを動的計画法により算出し、
前記修正手段は、更に、
前記探索手段により算出された各パーティクル毎の経路の到達コストに基づいて、各パーティクルの尤度を修正することを特徴とする請求項１又は２に記載の被写体追跡装置。
＜請求項４＞
前記特定手段は、更に、
前記探索手段により算出された前記複数のフレーム画像のうちの最初のフレーム画像から前記最終フレーム画像までの各パーティクル毎の経路の到達コストに基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定することを特徴とする請求項１〜３の何れか一項に記載の被写体追跡装置。
＜請求項５＞
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記特定部位のテンプレートとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うことを特徴とする請求項１〜４の何れか一項に記載の被写体追跡装置。
＜請求項６＞
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルを重み付き有向グラフに逐次追加し、前記重み付き有向グラフ上で動的計画法により経路探索を行うことを特徴とする請求項１〜５の何れか一項に記載の被写体追跡装置。
＜請求項７＞
前記何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルの中で、前記特定部位のテンプレートとの相違度を基準として所定数のパーティクルを選択する選択手段を更に備え、
前記探索手段は、
前記選択手段により選択されたパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として前記経路探索を行うことを特徴とする請求項１〜６の何れか一項に記載の被写体追跡装置。
＜請求項８＞
被写体追跡装置を用いた被写体追跡方法であって、
被写体の動画像を取得する取得処理と、
前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、
前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、
前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、
を含むことを特徴とする被写体追跡方法。
＜請求項９＞
被写体追跡装置のコンピュータを、
被写体の動画像を取得する取得手段、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５８】
１００  被写体追跡装置
１      中央制御部
５      追跡処理部
５ａ    動画像取得部
５ｃ    追跡部
５ｄ    パーティクル選択部
５ｅ    経路探索部
５ｆ    尤度修正部
５ｇ    追跡結果特定部
【図１】
2014160440.tif 000003
【図２】
2014160440.tif 000004
【図３】
2014160440.tif 000005
【図４】
2014160440.tif 000006
【図５】
2014160440.tif 000007
【図６】
2014160440.tif 000008