(57)【特許請求の範囲】
【請求項１】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得部と、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第１尤度を算出する第１算出部と、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第２算出部と、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第１尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第１尤度および前記差分値の各々の重みを設定する第１設定部と、
前記探索領域内の各画素について、前記第１尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第３算出部と、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出部と、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定部と、を備える、
追跡装置。
【請求項２】
前記候補位置を含む第１部分領域を設定する第２設定部と、
前記第１部分領域の画像と、前記追跡対象物の画像との一致度を示す第２尤度を算出する第４算出部と、
前記第４算出部で算出された前記第２尤度に応じて、前記候補位置の画素に対応する前記統合尤度の値を補正する第１補正部と、をさらに備え、
前記決定部は、前記第１補正部による補正後の前記統合尤度の値に基づいて前記追跡対象物の位置を決定する、
請求項１の追跡装置。
【請求項３】
前記候補位置を含み、前記第１部分領域の少なくとも一部を含む第２部分領域内の各画素の前記統合尤度の値を所定量だけ減少させて、前記第２部分領域内の各画素の前記統合尤度を補正する第２補正部を更に備え、
前記検出部は、前記第２補正部による補正が行われた後、前記候補位置の検出を再び行う、
請求項２の追跡装置。
【請求項４】
前記候補位置と過去における前記追跡対象物の位置との距離に応じて決まる前記候補位置の移動速度と、前記追跡対象物の位置の履歴から求まる過去の前記追跡対象物の移動速度との一致度を示す第３尤度を算出する第５算出部と、
前記第３尤度の値に応じて、前記候補位置の画素に対応する前記統合尤度の値を補正する第３補正部と、をさらに備え、
前記決定部は、前記第３補正部による補正後の前記統合尤度の値に基づいて前記追跡対象物の位置を決定する、
請求項１の追跡装置。
【請求項５】
前記決定部は、前記候補位置の画素に対応する前記統合尤度の値が閾値を超えている場合に、当該候補位置を前記追跡対象物の位置として決定する、
請求項１乃至４のうちの何れか１項に記載の追跡装置。
【請求項６】
前記決定部は、前記候補位置が複数あり、前記候補位置の画素に対応する前記統合尤度が最大の値を示す前記候補位置を前記追跡対象物の位置として決定する、
請求項１乃至５のうちの何れか１項に記載の追跡装置。
【請求項７】
前記画素値は、前記画素の色を示す色値であり、
前記基準値は、前記追跡対象物の色分布である、
請求項１乃至６のうちの何れか１項に記載の追跡装置。
【請求項８】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得ステップと、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第１尤度を算出する第１算出ステップと、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第２算出ステップと、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第１尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第１尤度および前記差分値の各々の重みを設定する第１設定ステップと、
前記探索領域内の各画素について、前記第１尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第３算出ステップと、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出ステップと、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定ステップと、を備える、
追跡方法。
【請求項９】
追跡対象物を撮像して、時系列のフレーム単位で画像を取得する取得ステップと、
前記画像内において、前記追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、前記追跡対象物の特徴を示す基準値との一致度を示す第１尤度を算出する第１算出ステップと、
前記探索領域内の各画素について、当該画素の前記画素値と、過去のフレームにおける前記画像内の当該画素に対応する位置の前記画素値との差分を示す差分値を算出する第２算出ステップと、
前記探索領域内の各画素について、当該画素と、過去における前記追跡対象物の位置との距離が大きいほど、前記第１尤度の重みが小さくなるとともに前記差分値の重みが大きくなるように、前記第１尤度および前記差分値の各々の重みを設定する第１設定ステップと、
前記探索領域内の各画素について、前記第１尤度および前記差分値を前記重みで重み付けをして加算することで統合尤度を算出する第３算出ステップと、
前記探索領域内の各画素のうち、前記統合尤度が極大値を示す画素の位置を、前記追跡対象物の候補位置として検出する検出ステップと、
前記候補位置から、所定の基準に基づき前記追跡対象物の位置を決定する決定ステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、追跡装置、追跡方法およびプログラムに関する。
【背景技術】
【０００２】
従来、画像中の認識率を高めた対象物位置追跡に関する技術がある。類似色物体の誤認識を防ぎ、認識率を高めるために、探索矩形領域に上限値を設けることにより、複数の所定色領域をひとつの大きな所定色領域として誤認識することを防止可能な対象物位置追跡方法が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４５５９３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記技術では、対象物が動くことにより取得した画像にぶれが生じると、対象物に対応する確率分布上の位置周辺で確率分布の最大値が観測されなくなり、対象物の追跡に失敗してしまう。
【０００５】
本発明が解決しようとする課題は、対象物が動くことにより画像にぶれが生じた場合でも、安定して対象物を追跡することが可能な追跡装置、追跡方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００６】
実施形態の追跡装置は、取得部と第１算出部と第２算出部と設定部と第３算出部と検出部と決定部とを備える。取得部は、追跡対象物を撮像して、時系列のフレーム単位で画像を取得する。第１算出部は、画像内において、追跡対象物を探索すべき探索領域に含まれる各画素について、当該画素の画素値と、追跡対象物の特徴を示す基準値との一致度を示す第１尤度を算出する。第２算出部は、探索領域内の各画素について、当該画素の画素値と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分を示す差分値を算出する。第１設定部は、探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第１尤度の重みが小さくなるとともに差分値の重みが大きくなるように、第１尤度および差分値の各々の重みを設定する。第３算出部は、探索領域内の各画素について、第１尤度および差分値を前記重みで重み付けをして加算することで統合尤度を算出する。検出部は、探索領域内の各画素のうち、統合尤度が極大値を示す画素の位置を、追跡対象物の候補位置として検出する。決定部は、候補位置から、所定の基準に基づき追跡対象物の位置を決定する。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の追跡装置のブロック図。
【図２】生成部の構成例を示す図。
【図３】第１実施形態の追跡装置による処理動作例を示すフローチャート。
【図４】第２実施形態の追跡装置のブロック図。
【図５】第２尤度の算出方法の例を説明するための図。
【図６】第２実施形態の追跡装置による処理動作例を示すフローチャート。
【図７】第２実施形態の変形例の追跡装置のブロック図。
【図８】第２補正部による補正を説明するための図。
【図９】第３実施形態の追跡装置のブロック図。
【図１０】第３実施形態の追跡装置による処理動作例を示すフローチャート。
【図１１】第３実施形態の変形例の追跡装置のブロック図。
【図１２】第３実施形態の追跡装置による処理動作例を示すフローチャート。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照しながら、本発明に係る追跡装置、追跡方法およびプログラムの実施の形態を詳細に説明する。
【０００９】
（第１実施形態）
図１は、第１実施形態の追跡装置１の構成例を示すブロック図である。追跡装置１は、撮像部２で撮像される画像を用いて、追跡対象物の位置を追跡する装置である。以下では、人物（ユーザー）の手が追跡対象物である例を挙げて説明する。図１に示すように、追跡装置１は、取得部１０と、記憶部１１と、生成部２０と、検出部３０と、決定部４０とを含んで構成される。
【００１０】
取得部１０は、撮像部２が所定の周期（フレーム周期）で撮像する画像（各画像の単位を「フレーム」とも呼ぶ）を順次に取得する。撮像部２は、例えばＣＭＯＳイメージセンサ等の撮像デバイスを含んで構成される。記憶部１１は、取得部１０で取得された画像を記憶する。
【００１１】
生成部２０は、取得部１０で画像が取得されるたびに、その取得された画像内において、追跡対象物を探索すべき領域である探索領域に含まれる各画素について、当該画素の位置に追跡対象物が存在するか否かを判断するための統合尤度を生成する。より具体的には以下のとおりである。
【００１２】
図２は、生成部２０の詳細な構成の一例を示すブロック図である。図２に示すように、生成部２０は、第１算出部２０１と、第２算出部２０２と、追跡対象情報保持部２０３と、第１設定部２０４と、第３算出部２０５とを含んで構成される。
【００１３】
第１算出部２０１は、取得部１０で画像が取得されるたびに、その取得された画像の探索領域内の画素ごとに、当該画素の特徴を示す画素値と、追跡対象物の特徴を示す基準値との一致度を示す第１尤度を算出する。本実施形態では、第１算出部２０１は、取得部１０で取得された画像のうち、過去のフレームにおいて追跡対象物である「手」が存在した位置を中心とした所定の範囲を「探索領域」として設定する。また、本実施形態では、画素の色を示す色値が画素値として採用され、追跡対象物の色分布が基準値として採用される。
【００１４】
第１算出部２０１は、前述の探索領域内の画素ごとに、当該画素の色を示す色値を抽出する。そして、探索領域内の画素ごとに、当該画素の色と、追跡対象である人物の手の色とが一致する度合いを示す肌色尤度を第１尤度として算出する。ここでは、各画素の色は、ＹＵＶ色成分で表現されるが、これに限らず、各画素の色の表現方法は任意である。例えば各画素の色をＲＧＢ色成分で表現することもできる。また、大きな面積を持つ肌色領域を追跡し易くなるように、探索領域内の各画素の肌色尤度に対してガウシアンフィルタ等の処理を行ってもよい。
【００１５】
肌色尤度の算出にあたっては、例えば、事前に人物の手の画像から収集した複数の肌色画素におけるＹＵＶ値から共分散行列を生成し、これを用いて算出するといったことが考えられる。共分散行列生成に用いる肌色画素は、例えば、人物が掌を撮像部２に対して提示した時に、掌画像を検出する検出器により入力画像から掌の領域を検出し、領域内の所定の範囲の画素を収集することにより、人物による肌色の個体差に応じた共分散行列を自動的に生成することができる。ただし、本方法に限らず、例えば、あらかじめ多様な人物の肌色画素から共分散行列をオフラインで生成して用いたり、入力画像に対して手動で肌色領域を指定し、指定した領域内の画素を用いて共分散行列を生成したりしてもよい。なお、肌色尤度とは、画素の色値と、追跡対象物の色分布の中心の色値との一致度合いを示すものであると捉えることもできる。この場合、追跡対象物の色分布の中心の色値が基準値であると捉えることができる。
【００１６】
第２算出部２０２は、前述の探索領域内の画素ごとに、当該画素の画素値（ここでは一例として色値）と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分を示す差分値を算出する。本実施形態では、第２算出部２０２は、取得部１０で画像が取得されるたびに、その取得された画像の探索領域内の各画素について、当該画素の画素値を抽出するとともに、直前のフレームにおける画像内の当該画素に対応する位置の画素値を記憶部１１から読み出す。そして、探索領域内の画素ごとに、当該画素の画素値と、直前のフレームにおける画像内の当該画素に対応する位置の画素値との差分の絶対値を差分値として算出する。なお、差分値の算出の際に記憶部１１から読み出される過去のフレームにおける画像は、直前のフレームにおける画像に限られるものではない。ここで、大きな動きを持つ領域を追跡し易くなるように、探索領域内の各画素の差分値に対してガウシアンフィルタ等の処理を行ってもよい。
【００１７】
探索領域内の各画素の差分値の算出にあたっては、当該画素のＹＵＶ成分ごとに、直前のフレームにおける画素値との差分の絶対値を算出し、これらを加算することで求められる。ただし、画像ノイズの影響により追跡対象およびその他の物体の動きがない場合にも差分値が観測されることへの対策として、算出された差分値から、予め設定された所定のオフセット値を減じ、負の値になった時は差分値０として扱ったり、入力画像に対してフィルタリング処理を行ってノイズを除去した後に差分値を算出したりしても良い。
【００１８】
追跡対象情報保持部２０３は、過去のフレームにおける追跡対象物の位置および大きさ等の情報を格納する。第１設定部２０４は、前述の探索領域内の画素ごとに、当該画素の第１尤度および差分値の各々の重みを設定する。第３算出部２０５は、前述の探索領域内の画素ごとに、当該画素の肌色尤度および差分値を、第１設定部２０４で設定された重みで重み付けをして加算することで統合尤度を算出する。
【００１９】
ここで、追跡対象物をイメージセンサにより撮像する場合、一般に、追跡対象物の移動する速さが大きくなるにつれて追跡対象物の画像にぶれが生じやすくなる。追跡対象物の画像にぶれが生じると、領域内の画素に背景画像の成分が混合されることにより、本来の追跡対象の色とは異なる色が観測されるため、肌色尤度は低くなってしまう。一方、追跡対象物の移動する速さが大きくなると、前述の方法で生成した差分値はより高くなる。これらのことから、追跡対象物を追跡する際、追跡対象物が移動する速さが小さいときは肌色尤度を重視し、大きい時には差分値を重視することにより、追跡対象物を安定して追跡できると考えられる。
【００２０】
一方、追跡対象物の移動する速さは、過去のフレームにおける手（追跡対象物）の位置を基準とし、手領域の大きさに対する相対的な長さとしてあらわされる。そこで、第１尤度と差分値とを統合して統合尤度を生成する際に、前述の探索領域内の各画素について、当該画素と、過去のフレームにおける手の位置との距離を算出し、これに応じて肌色尤度と差分値の重みを変えながら加算して統合尤度を算出することにより、追跡対象物が移動する速さによらず、安定して追跡を行うことが可能となる。以下、重みの設定方法および統合尤度の算出方法の具体的な内容を説明する。
【００２１】
第１設定部２０４は、前述の探索領域内の画素ごとに、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第１尤度（ここでは肌色尤度）の重みが小さくなるとともに差分値の重みが大きくなるように、第１尤度および差分値の各々の重みを設定する。より具体的には、第１設定部２０４は、取得部１０で画像が取得されるたびに、過去の（例えば直前の）フレームにおける追跡対象物の位置を追跡対象情報保持部２０３から読み出す。そして、第１設定部２０４は、取得部１０で取得された画像の探索領域内の画素ごとに、当該画素と、過去のフレームにおける追跡対象物の位置との距離を算出し、その算出された距離に応じて、肌色尤度および差分値の各々の重みを設定する。例えば処理対象の画素の座標を（ｔｘ、ｔｙ）、過去のフレームにおける追跡対象物（ここでは「手」）の座標を（ｐｘ、ｐｙ）、追跡対象物のサイズ（画素面積）をｓとすると、重みを設定するための重みパラメータｗは、以下の式１で表される。
【数１】
0005498454.tif 000002
【００２２】
ここでは、式１で算出された重みパラメータｗが、肌色尤度の重み係数として設定され、（１−ｗ）が、差分値の重み係数として設定される。なお、これに限らず、肌色尤度および差分値の重みの設定方法は任意である。要するに、前述の探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、肌色尤度の重みが小さくなるとともに差分値の重みが大きくなるように、肌色尤度および差分値の各々の重みが設定されるものであればよい。
【００２３】
第３算出部２０５は、前述の探索領域内の画素ごとに、当該画素の肌色尤度および差分値を、第１設定部２０４で設定された重みで重み付けをして加算することで統合尤度を算出する。例えば処理対象の画素の統合尤度をＤｉ（ｔｘ、ｔｙ）、肌色尤度をＤｃ（ｔｘ、ｔｙ）、差分値をＤｍ（ｔｘ、ｔｙ）とすると、統合尤度Ｄｉ（ｔｘ、ｔｙ）は、以下の式２で表される。
【数２】
0005498454.tif 000003
前述したように、探索領域内の画素（ｐｘ、ｐｙ）と、過去における追跡対象物の位置との距離が大きいほど、肌色尤度Ｄｃ（ｔｘ、ｔｙ）の重み係数ｗは小さくなる一方、差分値Ｄｍ（ｔｘ、ｔｙ）の重み係数（１−ｗ）は大きくなる。したがって、画素（ｐｘ、ｐｙ）の位置に追跡対象物が存在していると仮定した場合の追跡対象物の移動速度が小さい場合は、肌色尤度Ｄｃ（ｔｘ、ｔｙ）が重要視され、追跡対象物の移動速度が大きい場合は、差分値Ｄｍ（ｔｘ、ｔｙ）が重要視される。
【００２４】
再び図１に戻って説明を続ける。検出部３０は、前述の探索領域内の各画素のうち、統合尤度が極大値を示す画素の位置を、追跡対象物の候補位置として検出する。本実施形態では、検出部３０は、前述の探索領域に含まれる複数の画素について、ｉ行（ｉ≧１）×ｊ列（ｊ≧１）のマトリクス状の画素ブロックごとに、当該画素ブロックの中心の画素の統合尤度が周辺の画素の統合尤度よりも大きい値を示すか否かを判定する。そして、画素ブロックの中心の画素の統合尤度が周辺の画素の統合尤度よりも大きい値を示す場合、検出部３０は、当該中心の画素の統合尤度は極大値を示していると判断し、当該中心の画素を、追跡対象物の候補位置として検出する。このようにして、検出部３０は、前述の探索領域内の各画素の中から、ｍ個（ｍ≧１）の候補位置を検出する。なお、必要に応じて、前述の探索領域内の各画素の統合尤度に対してガウシアンフィルタ等の処理を行うことにより、広い範囲で高い統合尤度が分布する領域を追跡し易くなる一方、画像に含まれるノイズにより局所的に統合尤度が高くなった点を除けることで、より安定に極大点を検出できる。
【００２５】
決定部４０は、検出部３０で検出された候補位置から、所定の基準に基づき追跡対象物の位置を決定する。本実施形態では、決定部４０は、検出部３０によって検出されたｍ個の候補位置のうち、統合尤度が最大の値を示す候補位置を選択する。そして、決定部４０は、その選択した候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。閾値以下の場合は、追跡に失敗したとみなして追跡を終了する。なお、追跡に失敗した場合、すぐに追跡を終了せず、所定のフレーム数だけ追跡を継続してもよい。なお、検出部３０で検出された候補位置が１個の場合（ｍ＝１の場合）は、当該候補位置の画素に対応する統合尤度の値が閾値を超えていれば、当該候補位置を追跡対象物の位置として決定することができる。要するに、決定部４０は、候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定することができる。
【００２６】
また、例えば上記のように選択した候補位置の画素に対応する統合尤度の値が閾値を超えていなくても、その選択した候補位置（複数の候補位置のうち、対応する統合尤度が最大の値を示す候補位置）を追跡対象物の位置として決定することもできる。要するに、決定部４０は、検出部３０で検出された候補位置が複数の場合、候補位置の画素に対応する統合尤度が最大の値を示す候補位置を追跡対象物の位置として決定することもできる。
【００２７】
次に、本実施形態の追跡装置１による処理動作の一例を説明する。図３は、追跡装置１による処理動作の一例を示すフローチャートである。図３に示すように、まず取得部１０で、追跡対象物（ここでは「手」）が撮像された画像が取得されると（ステップＳ１）、第１算出部２０１は、その取得された画像の探索領域内の画素ごとに、当該画素の色と、追跡対象である人物の手の色とが一致する度合いを示す肌色尤度を第１尤度として算出する（ステップＳ２）。また、第２算出部２０２は、ステップＳ１で取得された画像の探索領域内の画素ごとに、当該画素の画素値と、過去のフレームにおける画像内の当該画素に対応する位置の画素値との差分値を算出する（ステップＳ３）。
【００２８】
次に、第１設定部２０４は、ステップＳ１で取得された画像の探索領域内の画素ごとに、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第１尤度の重みが小さくなるとともに差分値の重みが大きくなるように、第１尤度および差分値の各々の重みを設定する（ステップＳ４）。次に、第３算出部２０５は、ステップＳ１で取得された画像の探索領域内の画素ごとに、当該画素の第１尤度および差分値を、ステップＳ３で設定された重みで重み付けをして加算することで統合尤度を算出する（ステップＳ５）。次に、検出部３０は、ステップＳ１で取得された画像の探索領域内の各画素のうち、統合尤度が極大値を示すｍ個（ｍ≧１）の画素を、候補位置として検出する（ステップＳ６）。次に、決定部４０は、ステップＳ６で検出されたｍ個の候補位置から、所定の基準に基づき追跡対象物の位置を決定する（ステップＳ７）。次に、決定部４０は、ステップＳ７で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部２０３へ格納する（ステップＳ８）。これにより、追跡対象情報保持部２０３には、現在のフレームにおける追跡対象物の位置を示す情報が格納される。
【００２９】
以上に説明したように、本実施形態では、取得部１０で取得された画像の探索領域内の各画素について、当該画素と、過去における追跡対象物の位置との距離が大きいほど、第１尤度（例えば肌色尤度）の重みが小さくなるとともに差分値の重みが大きくなるように、第１尤度および差分値の各々の重みが設定されるので、追跡対象物を追跡する際、追跡対象物が移動する速さが小さい場合は第１尤度が重視され、追跡対象物が移動する速さが大きい場合には差分値が重視される。これにより、追跡対象物が移動する速さに関わらず、安定して追跡対象物を追跡することができる。
【００３０】
（第２実施形態）
次に、第２実施形態について説明する。第２実施形態では、検出部３０で検出された候補位置を含む第１部分領域を設定し、第１部分領域の画像と、追跡対象物の画像との一致度に応じて、当該候補位置の統合尤度の値を補正する点で上述の第１実施形態と相違する。以下の説明において、第１実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
【００３１】
図４は、第２実施形態の追跡装置２００の構成例を示すブロック図である。図４に示すように、追跡装置２００は、第２設定部５０と、第４算出部６０と、第１補正部７０とをさらに備える点で第１実施形態と相違する。
【００３２】
第２設定部５０は、取得部１０で取得された画像において、検出部３０で検出された候補位置を含む第１部分領域を設定する。検出部３０で検出された候補位置が１つの場合は、１つの第１部分領域が設定され、検出部３０で検出された候補位置が複数の場合は、複数の第１部分領域が設定される。要するに、検出された候補位置と同数の第１部分領域が設定される。
【００３３】
例えば図５に示す画像Ｙが取得部１０で取得され、その取得された画像Ｙのうち人物の手に対応する領域内の画素ｚ１と、人物の腕に対応する領域内の画素ｚ２とが候補位置として検出された場合を想定する。この場合、第２設定部５０は、画素ｘ１を含む第１部分領域Ｃ１、および、画素ｘ２を含む第１部分領域Ｃ２を設定する。そして、第２設定部５０は、第１部分領域Ｃ１およびＣ２の各々の画像を、取得部１０で取得された画像から切り出して第４算出部６０へ入力する。
【００３４】
第４算出部６０は、第２設定部５０で設定された第１部分領域の画像と、追跡対象物の画像との一致度を示す第２尤度を算出する。検出部３０で検出された候補位置が複数の場合は、検出された候補位置ごとに、第２尤度が算出される。本実施形態では、第４算出部６０は、追跡対象物である人物の手の画像を予め保持している。そして、第４算出部６０は、第２設定部５０から入力された第１部分領域の画像と、予め保持していた手の画像（追跡対象物の画像）との一致度を示す第２尤度を算出する。図５の例では、第１部分領域Ｃ１の画像と手の画像との一致度を示す第２尤度はｆ（Ｃ１）と表記され、第１部分領域Ｃ２の画像と手の画像との一致度を示す第２尤度はｆ（Ｃ２）と表記されている。
【００３５】
第２尤度の算出方法は任意である。例えば、事前に追跡対象物に対応する複数の部分領域画像、および、非追跡対象物に対応する複数の部分領域画像から、例えばＨＯＧ特徴量（Histograms  of  Oriented  Gradients）に基づきＳＶＭ（Support  Vector  Machine）により学習することで生成された誤追跡識別器を用いて、第２設定部５０から入力された第１部分領域の画像が誤追跡である可能性を示す誤追跡尤度を得ることで、第２尤度を算出することもできる。例えば第１部分領域の画像ｘが第４算出部６０に入力された場合を想定する。この場合、入力された画像ｘに対して、誤追跡識別器により得られた識別値をｆ（ｘ）とすると、誤追跡尤度Ｄｆ（ｘ）は、例えば以下の式３により算出することができる。
【数３】
0005498454.tif 000004
本実施形態では、第４算出部６０は、（１−Ｄｆ（ｘ））を算出することにより得られた値を第２尤度として採用するので、誤追跡尤度Ｄｆ（ｘ）が高い候補位置については、第２尤度（１−Ｄｆ（ｘ））の値が小さくなる。なお、これに限らず、第２尤度は、第２設定部５０から入力された第１部分領域の画像と、追跡対象物の画像との一致度を示すものであればよい。
【００３６】
第１補正部７０は、第４算出部６０で算出された第２尤度に応じて、候補位置の画素に対応する統合尤度の値を補正する。本実施形態では、第１補正部７０は、検出部３０で検出された候補位置の画素に対応する統合尤度に対して、第２尤度である（１−Ｄｆ（ｘ））の値を乗算することで、当該候補位置の統合尤度の値を補正する。前述したように、誤追跡尤度Ｄｆ（ｘ）が高い候補位置については、第２尤度（１−Ｄｆ（ｘ））の値が小さくなるので、補正後の統合尤度の値は小さくなる。これにより、追跡対象物の画像と非類似である第１部分領域の画像に対応する候補位置が、追跡対象物の位置として誤って選択される可能性が低くなる。
【００３７】
次に、本実施形態の追跡装置２００による処理動作の一例を説明する。図６は、追跡装置２００による処理動作の一例を示すフローチャートである。図６のステップＳ１１〜ステップＳ１６の処理内容は、図３のステップＳ１〜ステップＳ６の処理内容と同様であるので、詳細な説明は省略する。
【００３８】
ステップＳ１７において、第２設定部５０は、ステップＳ１１で取得された画像において、ステップＳ１６で検出された候補位置を含む第１部分領域を設定する（ステップＳ１７）。ステップＳ１７で設定された第１部分領域の画像は、ステップＳ１１で取得された画像から切り出されて第４算出部６０へ入力される。第４算出部６０は、第２設定部５０から入力された第１部分領域の画像と、追跡対象物の画像との一致度を示す第２尤度を算出する（ステップＳ１８）。次に、第１補正部７０は、ステップＳ１８で算出された第２尤度に応じて、ステップＳ１６で検出された候補位置の画素に対応する統合尤度の値を補正する（ステップＳ１９）。次に、決定部４０は、ステップＳ１９の補正後の統合尤度の値に基づいて追跡対象物の位置を決定する（ステップＳ２０）。本実施形態では、ステップＳ１６で検出された候補位置が複数の場合、決定部４０は、第１補正部７０による補正後の統合尤度が最大の値を示す候補位置を選択し、その選択した候補位置の画素に対応する統合尤度の値が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。また、ステップＳ１６で検出された候補位置が１つの場合、決定部４０は、当該候補位置の画素に対応する統合尤度の補正（第１補正部７０による補正）後の値が閾値を超えている場合に、当該候補位置を追跡対象物として決定する。そして、決定部４０は、ステップＳ２０で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部２０３へ格納する（ステップＳ２１）。
【００３９】
以上に説明したように、本実施形態では、第３算出部２０で算出された統合尤度の値が高い候補位置であっても、当該候補位置を含む第１部分領域の画像と、追跡対象物の画像との一致度を示す第２尤度の値が低い（第１部分領域の画像と追跡対象物の画像とが非類似である）場合は、当該候補位置の画素に対応する統合尤度の値が低くなるように補正されるので、当該候補位置が、追跡対象物の位置として誤って選択されることを防止できる。
【００４０】
例えば追跡対象物が人物の手であって、人物が半袖などを着用しているなどにより人物の腕が露出していると、腕は追跡対象物である手とほぼ同様の色を有し、動きも類似しているので、取得部１０で取得された画像のうち人物の腕に対応する領域にも極大値が観測される場合がある。この場合、上述の第１実施形態の構成では、追跡対象物である手を正しく追跡することが困難となる。これに対して、本実施形態では、第３算出部２０で算出された統合尤度の値が高い候補位置（例えば人物の腕に対応する領域で検出された候補位置）であっても、当該候補位置を含む第１部分領域の画像と、追跡対象物の画像（手の画像）との一致度を示す第２尤度の値が低い場合は、当該候補位置の画素に対応する統合尤度の値が低くなるように補正されるので、当該候補位置が、追跡対象物の位置として誤って選択されることを防止できる。すなわち、本実施形態によれば、第３算出部２０で算出された統合尤度のみでは追跡対象物と区別することが困難な非追跡対象物についても区別することが可能になるので、より安定して追跡対象物を追跡できる。
【００４１】
（第２実施形態の変形例１）
図７は、第２実施形態の変形例の追跡装置２１０の構成例を示すブロック図である。図７に示すように、追跡装置２１０は、第２補正部８０をさらに備える。第２補正部８０は、検出部３０で検出された候補位置を含み、前述の第１部分領域の少なくとも一部を含む第２部分領域内の各画素の統合尤度の値を所定量だけ減少させて、第２部分領域内の各画素の統合尤度を補正する。そして、検出部３０は、第２補正部８０による補正が行われた後、候補位置の検出を再び行う。なお、第２部分領域は、前述の第１部分領域とは異なる領域であってもよい。例えば第１部分領域よりも面積が小さい領域を第２部分領域とすることもできる。また、第２部分領域は、第１部分領域と同じ領域であってもよい。要するに、候補位置を含み、第１部分領域の少なくとも一部を含む領域を第２部分領域とすることができる。
【００４２】
いま、図８（ａ）に示す画像が取得部１０で取得され、図８（ｂ）に示すように、人物の手および腕の各々の領域内に極大点が観測されずに手と腕とがひとつの物体とみなされ、その中心位置に極大点が観測された場合を想定する。この場合、候補位置として検出された位置は、追跡対象物の手の位置とは異なるので、上述の第２尤度の値は小さくなり、追跡に失敗してしまう可能性がある。特に、探索領域内の各画素の統合尤度（あるいは肌色尤度）に対してガウシアンフィルタ等の処理を行った場合は、広い範囲で高い統合尤度が分布する領域を追跡し易くなる反面、候補位置として検出された位置が、追跡対象物の手の位置と異なる可能性が高くなってしまう。
【００４３】
これに対して、本変形例では、図８（ｃ）に示すように、第２補正部８０は、検出部３０で検出された候補位置を含む周辺の領域（第２部分領域）内の各画素の統合尤度の値を所定量だけ減少させて、第２部分領域内の各画素の統合尤度を補正する。そして、第２補正部８０による補正の後、検出部３０は、改めて候補位置の検出を行い、図８（ｄ）に示すように、十分な統合尤度を有する極大点を検出した場合は、これを候補位置として検出する。すなわち、図８（ｅ）に示すように、１回目の検出処理で、手と腕が連続する領域の中心が候補位置として検出された場合でも、当該候補位置を含む第２部分領域内の各画素の統合尤度を所定量だけ減少させることにより、２回目の検出処理で、当該領域の中心を挟むように位置する２つの極大点が観測される可能性が高くなるので、２回目の検出処理では、追跡対象物である手が存在する可能性が高い画素が候補位置として検出され易くなる。
【００４４】
なお、図６のステップＳ１６において、上述の第２補正部８０による補正と２回目の検出処理を行った後に、ステップＳ１７以降の処理に移行してもよい。また、ステップＳ１６（１回目の検出処理）の後、そのままステップＳ１７以降の処理に移行してもよい。そして、ステップＳ２０において追跡に失敗したと判定された後に、再びステップＳ１６に戻って第２補正部８０による補正と２回目の検出処理を行った後、再びステップＳ１７以降の処理を繰り返してもよい。
【００４５】
（第２実施形態の変形例２）
上述の第２実施形態においては、検出部３０で検出された候補位置が複数の場合は、その検出された候補位置ごとに、誤追跡尤度を算出しているが、計算量（処理量）削減のため、統合尤度が低く追跡対象の位置として選択される可能性が低い候補位置については、誤追跡尤度を算出せずに（第１補正部７０による補正を行わずに）、統合尤度の値を０として候補位置から除外してもよい。なお、第１補正部７０による補正の対象（第２尤度の算出を行う対象）とするか否かの判定は、検出部３０で検出された候補位置のうち、例えば統合尤度の値が大きい候補位置を所定数だけ選択したり、統合尤度が所定の閾値を超えた候補位置を選択したり、統合尤度の最大値に対する相対値で所定の値を超えた候補値のみを選択したりすることができる。
【００４６】
（第３実施形態）
次に、第３実施形態について説明する。第３実施形態では、検出部３０で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度に応じて、当該候補位置の統合尤度の値を補正する点で上述の各実施形態と相違する。以下の説明において、上述の各実施形態と共通する部分については、同一の符号を付して適宜に説明を省略する。
【００４７】
図９は、第３実施形態の追跡装置３００の構成例を示すブロック図である。図９に示すように、追跡装置３００は、第５算出部９０と、第３補正部１００とをさらに備える点で上述の各実施形態と相違する。
【００４８】
第５算出部９０は、検出部３０で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度を示す第３尤度を算出する。検出部３０で検出された候補位置が複数の場合は、検出された候補位置ごとに、第３尤度が算出される。
【００４９】
本実施形態では、第５算出部９０は、直前のフレームにおける追跡対象物の位置を追跡対象情報保持部２０３から読み出し、検出部３０で検出された候補位置ごとに、当該候補位置と、追跡対象情報保持部２０３から読み出した直前のフレームにおける追跡対象物の位置との距離に基づいて当該候補位置の移動速度を求める。より具体的には、第５算出部９０は、検出部３０で検出された候補位置を、現在のフレームにおける追跡対象物の位置とみなし、直前のフレームから現在のフレームまでの間に、追跡対象物の位置がどれだけ変化したかを検出し、その検出結果に応じて、現在のフレームにおける追跡対象物の移動速度を決定（算出）する。そして、その決定された移動速度が、候補位置の移動速度となる。
【００５０】
なお、ここでは、第５算出部９０は、直前のフレームにおける追跡対象物の位置を用いて、候補位置の移動速度を算出しているが、これに限らず、例えば過去の数フレームの各々における追跡対象物の位置を用いて、候補位置の移動速度を求めてもよい。要するに、過去における追跡対象物の位置を用いて、候補位置の移動速度を求めるものであればよい。また、第５算出部９０は、追跡対象情報保持部２０３に保持された追加対象物の位置の履歴を読み出し、その読み出した履歴に基づいて、過去の追跡対象物の移動速度を算出する。そして、第５算出部９０は、検出部３０で検出された候補位置ごとに、当該候補位置の移動速度と、過去の追跡対象物の移動速度との一致度を示す第３尤度を算出する。
【００５１】
第３尤度の算出方法は任意である。例えば過去のフレームにおける追跡対象物の移動方向（角度）の変化量をＭｄ、移動速度の変化量をＭｓ、移動方向の値をＴｍｄ、移動速度の値をＴｍｓとすると、第３尤度Ｄｍは、以下の式４により算出することができる。
【数４】
0005498454.tif 000005
【００５２】
なお、式４におけるｃｄは、追跡対象物とみなされる候補位置の移動速度をＶ、しきい値をＴｃｄとした場合に、以下の式５により決定される。追跡対象物の動きが小さいとき、移動方向は安定して観測されないことから、第３尤度Ｄｍの算出を上記の式４を用いて行うことで、追跡対象物の移動速度が小さくｗｄが不安定な場合はｗｄの比重を下げている。
【数５】
0005498454.tif 000006
【００５３】
上記第３尤度Ｄｍの値は、候補位置の移動速度と、過去の追跡対象物の移動速度との一致度が高いほど大きい値を示す一方、候補位置の移動速度と、過去の追跡対象物の移動速度との一致度が低いほど小さい値を示す。そして、第３補正部１００は、検出部３０で検出された候補位置ごとに、第５算出部９０で算出された第３尤度に応じて統合尤度の値を補正する。本実施形態では、第３補正部１００は、候補位置ごとに、当該候補位置の統合尤度に対して第３尤度Ｄｍの値を乗算することで、当該候補位置の統合尤度の値を補正する。例えば第３尤度Ｄｍの値が大きい候補位置については、補正後の統合尤度の値は大きくする。すなわち、過去の追跡対象物の移動速度に近い候補位置ほど補正後の統合尤度の値が大きくなるので、追跡対象物の位置として選択される可能性が高くなる。
【００５４】
次に、本実施形態の追跡装置３００による処理動作の一例を説明する。図１０は、追跡装置３００による処理動作の一例を示すフローチャートである。図１０のステップＳ３１〜ステップＳ３６の処理内容は、図３のステップＳ１〜ステップＳ６の処理内容と同様であるので、詳細な説明は省略する。
【００５５】
ステップＳ３７において、第５算出部９０は、ステップＳ３６で検出された候補位置と過去における追跡対象物の位置との距離に応じて決まる当該候補位置の移動速度と、追跡対象物の位置の履歴から求まる過去の追跡対象物の移動速度との一致度を示す第３尤度を算出する（ステップＳ３７）。次に、第３補正部１００は、ステップＳ３７で算出された第３尤度に応じて、ステップＳ３６で検出された候補位置の画素に対応する統合尤度の値を補正する（ステップＳ３８）。次に、決定部４０は、ステップＳ３８の補正後の統合尤度の値に基づいて追跡対象物の位置を決定する（ステップＳ３９）。本実施形態では、ステップＳ３６で検出された候補位置が複数の場合、決定部４０は、第３補正部１００による補正後の統合尤度が最大の値を示す候補位置を選択し、その選択した候補位置の画素に対応する統合尤度の値（補正後の統合尤度の値）が閾値を超えている場合に、当該候補位置を追跡対象物の位置として決定する。また、ステップＳ３６で検出された候補位置が１つの場合、決定部４０は、当該候補位置の画素に対応する統合尤度の補正（第３補正部１００による補正）後の値が閾値を超えている場合に、当該候補位置を追跡対象物として決定する。そして、決定部４０は、ステップＳ３９で決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部２０３へ格納する（ステップＳ４０）。
【００５６】
以上に説明したように、本実施形態では、検出部３０で検出された候補位置ごとに、前述の第３尤度を算出し、その算出した第３尤度に応じて統合尤度の値を補正することにより、追跡対象物の移動速度の連続性も考慮して追跡対象物の位置を決定することができる。したがって、本実施形態によれば、第１実施形態および第２実施形態によっても追跡対象物を正しく追跡することが困難な場合にも、より安定して追跡対象物を追跡することができる。
【００５７】
（第３実施形態の変形例）
例えば第３実施形態の構成と第２実施形態の構成とを組み合わせることもできる。図１１は、この場合における追跡装置３０１の構成例を示すブロック図である。図１１に示すように、追跡装置３０１は、上述の第３実施形態の構成に加えて、第２設定部５０、第４算出部６０および第１補正部７０をさらに備える。図１２は、追跡装置３０１による処理動作の一例を示すフローチャートである。図１２のステップＳ４１〜ステップＳ４８の処理内容は、図１０のステップＳ３１〜ステップＳ３８の処理内容と同様である。また、図１２のステップＳ４９〜ステップＳ５１の処理内容は、図６のステップＳ１７〜ステップＳ１９の処理内容と同様である。要するに、本変形例の場合は、図１２のステップＳ４６で検出された各候補位置の統合尤度の値に対して第３補正部１００による補正が行われた後（ステップＳ４８）、さらに、第１補正部７０による補正が行われる（ステップＳ５１）。そして、決定部４０は、ステップＳ５１の補正後の統合尤度の値に基づいて追跡対象物の位置を決定し（ステップＳ５２）、その決定した追跡対象物の位置を示す座標などの情報を追跡対象情報保持部２０３へ格納する（ステップＳ５３）。
【００５８】
以上、本発明の実施形態を説明したが、上述の各実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００５９】
上述の各実施形態では、画素値の一例として、画素の色を示す色値が採用されているが、これに限らず、例えば赤外線カメラなどを用いて追跡対象物を撮像する場合においては、画素が有する熱量を示すパラメータや反射率などを画素値として採用することもできる。要するに、画素値は、画素の特徴を示すものであればよく、その種類は任意である。また、各画素について、複数種類の画素値を抽出し、その抽出した各画素値に基づいて、当該画素に追跡対象物が存在する可能性を示す複数種類の尤度を算出した上で、過去のフレームにおける追跡対象物の位置からの距離に応じて重み付けを変えながら、複数種類の尤度と、差分値とを統合することで統合尤度を算出してもよい。
【００６０】
また、上述の各実施形態では、人物の手が追跡対象物として採用されているが、これに限らず、追跡対象物の種類は任意である。例えば人物の顔などを追跡対象物として採用することもできる。
【００６１】
さらに、上述の各実施形態では、取得部１０で取得された画像のうち、過去のフレームにおいて追跡対象物である「手」が存在した位置を中心とした所定の範囲が「探索領域」として設定されているが、これに限らず、例えば取得部１０で取得された画像全体が探索領域として設定される構成であってもよい。
【００６２】
（ハードウェア構成およびプログラム）
上述の各実施形態および各変形例のコマンド発行装置は、ＣＰＵ（Central  Processing  Unit）などの制御装置と、ＲＯＭやＲＡＭなどの記憶装置と、ＨＤＤやＳＳＤなどの外部記憶装置と、ディスプレイなどの表示装置と、マウスやキーボードなどの入力装置と、通信Ｉ／Ｆなどの通信装置とを備えており、通常のコンピュータを利用したハードウェア構成となっている。上述した各部の機能は、追跡装置のＣＰＵがＲＯＭ等に格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、これらの機能のうちの少なくとも一部を個別の回路（ハードウェア）で実現することもできる。
【００６３】
また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上述の各実施形態および各変形例のコマンド発行装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。また、本実施形態における追跡装置は、ＣＰＵなどの制御装置と記憶装置を備え、撮像装置から取得される画像を処理する形態であれば、ＰＣ(Personal  Computer)に限らず、ＴＶ等にも適用可能である。
【符号の説明】
【００６４】
１  追跡装置
２  撮像部
１０  取得部
１１  記憶部
２０  第１算出部
２０  生成部
３０  検出部
４０  決定部
５０  第２設定部
６０  第４算出部
７０  第１補正部
８０  第２補正部
９０  第５算出部
１００  第３補正部
２００  追跡装置
２０１  第１算出部
２０２  第２算出部
２０３  追跡対象情報保持部
２０４  第１設定部
２０５  第３算出部
２１０  追跡装置
３００  追跡装置
３０１  追跡装置  
【図１】
0005498454.tif 000007
【図２】
0005498454.tif 000008
【図３】
0005498454.tif 000009
【図４】
0005498454.tif 000010
【図５】
0005498454.tif 000011
【図６】
0005498454.tif 000012
【図７】
0005498454.tif 000013
【図８】
0005498454.tif 000014
【図９】
0005498454.tif 000015
【図１０】
0005498454.tif 000016
【図１１】
0005498454.tif 000017
【図１２】
0005498454.tif 000018