(57)【要約】【課題】追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡する。【解決手段】映像解析装置１は、仮説生成部１０および仮説検証部２０を備える。仮説生成部１０は、映像から追跡対象の候補を決定する。仮説検証部２０は、追跡対象の候補について追跡対象としての妥当性を検証する。この仮説検証部２０は、空間的信頼度計算部２１、時間的信頼度計算部２２、および判断部２３を備える。空間的信頼度計算部２１は、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、空間的信頼度ＳＲを求める。時間的信頼度計算部２２は、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、時間的信頼度ＴＲを求める。判断部２３は、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、追跡対象の候補が追跡対象であるか否かを判断する。【選択図】図１
2016207140.tif 000002
【特許請求の範囲】
【請求項１】
映像中の追跡対象を追跡する映像解析装置であって、
前記映像から、追跡対象の候補を決定する仮説生成手段と、
前記仮説生成手段により決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する仮説検証手段と、を備え、
前記仮説検証手段は、
前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める空間的信頼度計算手段と、
前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める時間的信頼度計算手段と、
前記空間的信頼度計算手段により求められた空間的信頼度ＳＲと、前記時間的信頼度計算手段により求められた時間的信頼度ＴＲと、に基づいて、前記仮説生成手段により決定された追跡対象の候補が前記追跡対象であるか否かを判断する判断手段と、を備えることを特徴とする映像解析装置。
【請求項２】
ｋを、フレーム番号とし、
ｉを、前記仮説生成手段により決定された追跡対象の候補のそれぞれを区別するための添字とし、
Ｓｉ、ｋを、ｋフレームにおいて追跡対象の候補ｉを表示する画素数とし、
Ｋを、前記判断手段により前記追跡対象であると連続して判断されたフレーム数として、
前記空間的信頼度計算手段は、以下の数式（１）により、前記空間的信頼度ＳＲを算出することを特徴とする請求項１に記載の映像解析装置。
【数１】
2016207140.tif 000046
【請求項３】
ｋを、フレーム番号とし、
ａｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の観測値とし、
ａｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の観測値とし、
ａｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の観測値とし、
ｐｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の予測値とし、
ｐｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の予測値とし、
ｐｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の予測値として、
前記時間的信頼度計算手段は、以下の数式（２）により、前記時間的信頼度ＴＲを算出することを特徴とする請求項１または２に記載の映像解析装置。
【数２】
2016207140.tif 000047
【請求項４】
前記判断手段は、
前記空間的信頼度ＳＲが、予め定められた第１の閾値より大きいことと、
前記時間的信頼度ＴＲが、予め定められた第２の閾値より大きいことと、
のうち少なくともいずれかを満たす場合、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする請求項１から３のいずれかに記載の映像解析装置。
【請求項５】
前記判断手段は、前記空間的信頼度ＳＲと前記時間的信頼度ＴＲとの加算結果が、予め定められた第３の閾値より大きい場合、当該空間的信頼度ＳＲおよび当該時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする請求項１から３のいずれかに記載の映像解析装置。
【請求項６】
前記判断手段は、前記追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲのうち少なくともいずれかに乗算することを特徴とする請求項４または５に記載の映像解析装置。
【請求項７】
空間的信頼度計算手段、時間的信頼度計算手段、および判断手段を有する仮説検証手段と、仮説生成手段と、を備え、映像中の追跡対象を追跡する映像解析装置における映像解析方法であって、
前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、
前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、
前記第２のステップは、
前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、
前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、
前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、を備えることを特徴とする映像解析方法。
【請求項８】
空間的信頼度計算手段、時間的信頼度計算手段、および判断手段を有する仮説検証手段と、仮説生成手段と、を備え、映像中の追跡対象を追跡する映像解析装置における映像解析方法を、コンピュータに実行させるためのプログラムであって、
前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、
前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、
前記第２のステップは、
前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、
前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、
前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像解析装置、映像解析方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、スポーツ中継では、カメラにより取得された映像から選手やボールを解析してＣＧ（Computer  Graphics）を作成し、作成したＣＧを映像に重畳する技術が用いられている。この技術によれば、視聴者に、試合の状況を視覚的に分かりやすく伝えたり、高い演出効果を与えたりすることができる。
【０００３】
映像を解析する技術は、例えば、非特許文献１や非特許文献２で提案されている。非特許文献１に示されている技術は、サッカーの試合を対象としており、単眼カメラで撮影したパン動作を含む映像において、選手やボールの追跡を実現する。非特許文献２に示されている技術は、追跡対象のアピアランスモデルを用意し、モデルのパラメータが構成する空間における確信度分布で複数の仮説のそれぞれを表現し、各仮説の信頼度に基づいて追跡対象の追跡を実現する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】片岡裕雄，青木義満，“単眼カメラを用いたサッカー戦術解析のための複数選手とボールの追跡”，画像電子学会誌，Vol.41，No.2，pp.152-159，2012．
【非特許文献２】杉本晃宏，谷内清剛，松山隆司，“確信度付き仮説群の相互作用に基づく複数対象追跡”，情報処理学会論文誌，Vol.43,  No.SIG4，pp.69-84，2002．
【発明の概要】
【発明が解決しようとする課題】
【０００５】
サッカーの試合では、フィールド内に存在しているボールは１つである。
【０００６】
これに対して、サッカーの練習では、複数のグループに分かれ、それぞれのグループが１つずつボールを用いることがある。また、サッカーの練習では、練習に用いられているボールだけでなく、練習に用いられていないボールも、フィールド内に存在していることがある。このような場合、フィールド内には複数のボールが存在していることになる。また、複数のボールのそれぞれは、同一の特徴（大きさや色合いなど）を有していることが多い。
【０００７】
以上より、非特許文献１に示されている技術は、例えばサッカーの試合におけるボールのように、追跡対象と同一の特徴を有するオブジェクトが映像中に存在していない場合には、追跡対象の追跡が可能である。しかし、例えばサッカーの練習におけるボールのように、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合には、追跡対象の追跡精度が低下してしまうことがあった。
【０００８】
また、非特許文献２に示されている技術は、追跡対象のアピアランスモデルがそれぞれ異なっていることを前提としており、追跡対象のアピアランスモデルが同一の場合については想定していない。このため、非特許文献１に示されている技術と同様に、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合に、追跡対象の追跡精度が低下してしまうことがあった。
【０００９】
そこで、本発明は、上述の課題を鑑みてなされたものであり、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記の課題を解決するために、以下の事項を提案している。
（１）  本発明は、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）であって、前記映像から、追跡対象の候補を決定する仮説生成手段（例えば、図１の仮説生成部１０に相当）と、前記仮説生成手段により決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、を備え、前記仮説検証手段は、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）と、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）と、前記空間的信頼度計算手段により求められた空間的信頼度ＳＲと、前記時間的信頼度計算手段により求められた時間的信頼度ＴＲと、に基づいて、前記仮説生成手段により決定された追跡対象の候補が前記追跡対象であるか否かを判断する判断手段（例えば、図１の判断部２３に相当）と、を備えることを特徴とする映像解析装置を提案している。
【００１１】
この発明によれば、仮説生成手段により、映像から追跡対象の候補を決定し、仮説検証手段により、仮説生成手段により決定された追跡対象の候補について、追跡対象としての妥当性を検証することとした。
【００１２】
ここで、追跡対象がカメラに近づいている場合には、カメラで取得された映像において、追跡対象の大きさは大きくなる。一方、追跡対象がカメラから遠ざかっている場合には、カメラで取得された映像において、追跡対象の大きさは小さくなる。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの大きさは、フレームごとに一定の割合で変化していくと仮定することができる。そこで、この発明によれば、さらに、仮説検証手段において、空間的信頼度計算手段により、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、仮説生成手段により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求めることとした。
【００１３】
また、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの位置は、フレームごとに一定の距離ずつ変化していくと仮定することができる。そこで、この発明によれば、さらに、仮説検証手段において、時間的信頼度計算手段により、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、仮説生成手段により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求めることとした。
【００１４】
さらに、この発明によれば、仮説検証手段において、判断手段により、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成手段により決定された追跡対象の候補が追跡対象であるか否かを判断することとした。
【００１５】
このため、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定と、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定と、を追跡対象の候補がどれだけ満たしているかに応じて、追跡対象を見つけることができる。したがって、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、上述の２つの仮定を用いて追跡対象を高精度に追跡することができる。
【００１６】
（２）  本発明は、（１）の映像解析装置について、ｋを、フレーム番号とし、ｉを、前記仮説生成手段により決定された追跡対象の候補のそれぞれを区別するための添字とし、Ｓｉ、ｋを、ｋフレームにおいて追跡対象の候補ｉを表示する画素数とし、Ｋを、前記判断手段により前記追跡対象であると連続して判断されたフレーム数として、前記空間的信頼度計算手段は、以下の数式（１）により、前記空間的信頼度ＳＲを算出することを特徴とする映像解析装置を提案している。
【００１７】
【数１】
2016207140.tif 000003
【００１８】
この発明によれば、（１）の映像解析装置において、数式（１）を用いて空間的信頼度ＳＲを算出することができる。
【００１９】
（３）  本発明は、（１）または（２）の映像解析装置について、ｋを、フレーム番号とし、ａｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の観測値とし、ａｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の観測値とし、ａｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の観測値とし、ｐｘを、（ｋ＋１）フレームにおける前記追跡対象のｘ軸方向の座標の予測値とし、ｐｙを、（ｋ＋１）フレームにおける前記追跡対象のｙ軸方向の座標の予測値とし、ｐｚを、（ｋ＋１）フレームにおける前記追跡対象のｚ軸方向の座標の予測値として、前記時間的信頼度計算手段は、以下の数式（２）により、前記時間的信頼度ＴＲを算出することを特徴とする映像解析装置を提案している。
【数２】
2016207140.tif 000004
【００２０】
この発明によれば、（１）または（２）の映像解析装置において、数式（２）を用いて時間的信頼度ＴＲを算出することができる。
【００２１】
（４）  本発明は、（１）から（３）のいずれかの映像解析装置について、前記判断手段は、前記空間的信頼度ＳＲが、予め定められた第１の閾値より大きいことと、前記時間的信頼度ＴＲが、予め定められた第２の閾値より大きいことと、のうち少なくともいずれかを満たす場合、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする映像解析装置を提案している。
【００２２】
この発明によれば、（１）から（３）のいずれかの映像解析装置において、判断手段により、空間的信頼度ＳＲが第１の閾値より大きいことと、時間的信頼度ＴＲが第２の閾値より大きいことと、のうち少なくともいずれかを満たす場合、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。
【００２３】
（５）  本発明は、（１）から（３）のいずれかの映像解析装置について、前記判断手段は、前記空間的信頼度ＳＲと前記時間的信頼度ＴＲとの加算結果が、予め定められた第３の閾値より大きい場合、当該空間的信頼度ＳＲおよび当該時間的信頼度ＴＲが得られた追跡対象の候補が前記追跡対象ではないと判断することを特徴とする映像解析装置を提案している。
【００２４】
この発明によれば、（１）から（３）のいずれかの映像解析装置において、判断手段により、空間的信頼度ＳＲと時間的信頼度ＴＲとの加算結果が第３の閾値より大きい場合、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。
【００２５】
（６）  本発明は、（４）または（５）の映像解析装置について、前記判断手段は、前記追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、前記空間的信頼度ＳＲおよび前記時間的信頼度ＴＲのうち少なくともいずれかに乗算することを特徴とする映像解析装置を提案している。
【００２６】
この発明によれば、（４）または（５）の映像解析装置において、判断手段により、追跡対象として判断したフレーム数が大きくなるに従って小さくなる係数を、空間的信頼度ＳＲおよび時間的信頼度ＴＲのうち少なくともいずれかに乗算することとした。このため、追跡対象として判断したフレーム数が大きくなるに従って、追跡対象の候補が追跡対象であるとする信頼性を高くすることができる。
【００２７】
（７）  本発明は、空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）、時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）、および判断手段（例えば、図１の判断部２３に相当）を有する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、仮説生成手段（例えば、図１の仮説生成部１０に相当）と、を備え、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）における映像解析方法であって、前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、前記第２のステップは、前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、を備えることを特徴とする映像解析方法を提案している。
【００２８】
この発明によれば、上述した効果と同様の効果を奏することができる。
【００２９】
（８）  本発明は、空間的信頼度計算手段（例えば、図１の空間的信頼度計算部２１に相当）、時間的信頼度計算手段（例えば、図１の時間的信頼度計算部２２に相当）、および判断手段（例えば、図１の判断部２３に相当）を有する仮説検証手段（例えば、図１の仮説検証部２０に相当）と、仮説生成手段（例えば、図１の仮説生成部１０に相当）と、を備え、映像中の追跡対象を追跡する映像解析装置（例えば、図１の映像解析装置１に相当）における映像解析方法を、コンピュータに実行させるためのプログラムであって、前記仮説生成手段が、前記映像から、追跡対象の候補を決定する第１のステップと、前記仮説検証手段が、前記第１のステップにより決定された追跡対象の候補について、前記追跡対象としての妥当性を検証する第２のステップと、を備え、前記第２のステップは、前記空間的信頼度計算手段が、前記映像において前記追跡対象の大きさがフレームごとに一定の割合で変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲを求める第３のステップと、前記時間的信頼度計算手段が、前記映像において前記追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定に基づいて、前記第１のステップにより決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲを求める第４のステップと、前記判断手段が、前記第３のステップにより求められた空間的信頼度ＳＲと、前記第４のステップにより求められた時間的信頼度ＴＲと、に基づいて、前記第１のステップにより決定された追跡対象の候補が前記追跡対象であるか否かを判断する第５のステップと、をコンピュータに実行させるためのプログラムを提案している。
【００３０】
この発明によれば、上述した効果と同様の効果を奏することができる。
【発明の効果】
【００３１】
本発明によれば、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、追跡対象を高精度に追跡することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態に係る映像解析装置のブロック図である。
【図２】本発明の一実施形態に係る映像解析装置のフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施形態における構成要素は適宜、既存の構成要素などとの置き換えが可能であり、また、他の既存の構成要素との組み合せを含む様々なバリエーションが可能である。したがって、以下の実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００３４】
図１は、本発明の一実施形態に係る映像解析装置１のブロック図である。映像解析装置１は、カメラにより取得された映像において、追跡対象を追跡する。この映像解析装置１は、仮説生成部１０および仮説検証部２０を備える。
【００３５】
なお、本実施形態では、複数のカメラで映像が取得され、これら複数のカメラ間のキャリブレーションに必要なパラメータも取得されているものとする。
【００３６】
［仮説生成部１０の構成および動作］
仮説生成部１０は、カメラにより取得された映像から、追跡対象の候補を決定して、追跡対象の仮説を立てる。この仮説生成部１０は、追跡対象検出部１１および時間伝搬部１２を備える。
【００３７】
（追跡対象検出部１１の構成および動作）
追跡対象検出部１１は、追跡対象の候補を１つ以上仮定する。この追跡対象検出部１１は、単一フレーム処理または複数フレーム処理を行う。
【００３８】
まず、上述の単一フレーム処理について、以下に説明する。
【００３９】
例えばボールを追跡対象とした場合、ボールの色は競技によって異なる。また、同一のボールであっても、背景の色や日照条件といった撮影環境に応じて、映像内におけるボールの色情報が変化する。
【００４０】
そこで、単一フレーム処理では、追跡対象検出部１１は、まず、追跡対象を追跡する環境において取得された映像の中から、追跡対象を含む画像領域を、複数フレーム（例えば、５フレームから１０フレーム）に亘って予め切り出しておく。
【００４１】
追跡対象検出部１１は、次に、切り出した画像領域のそれぞれについて、色情報の平均値Ａｖｅｎと、色情報の分散値Ｖａｒｎと、を予め算出しておく。なお、ｎは、色空間（例えば、ＲＧＢ、ＹＵＶ、ＣＩＥ  Ｌ＊ａ＊ｂなど）における色成分のそれぞれを示し、例えば処理フレームがＲＧＢ色空間で表現されている場合には、ｎ＝０を赤、ｎ＝１を緑、ｎ＝２を青としてもよい。
【００４２】
追跡対象検出部１１は、次に、処理フレームにおける画素ごとに、追跡対象の候補となる色情報を以下の数式（３）により求める。
【００４３】
【数３】
2016207140.tif 000005
【００４４】
数式（３）において、ｃｏｌｎ（ｘ、ｙ）は、処理フレームにおける各画素の色成分ごとの色情報を示す。ｏｆｆｓｅｔｎは、色成分ごとのオフセット値を示し、ゼロであってもよい。
【００４５】
追跡対象検出部１１は、次に、処理フレームにおける各画素のうち全てのｎにおいてＩｎ（）＝１を満たす画素を、追跡対象の候補となる色情報を有している画素であると判定する。
【００４６】
追跡対象検出部１１は、次に、処理フレームにおいて、追跡対象の候補となる色情報を有していると判定した画素を含む領域のそれぞれに対してラベリングを施し、ラベルの画素数ｌａｂｅｌｉが、以下の数式（４）を満たすか否かを判定する。言い換えると、追跡対象検出部１１は、処理フレームにおいて、全てのｎにおいてＩｎ（）＝１を満たす画素が密集している領域を検索して、見つけた領域の画素数が以下の数式（４）を満たすか否かを判定する。
【００４７】
【数４】
2016207140.tif 000006
【００４８】
数式（４）において、ＴｈｍｉｎおよびＴｈｍａｘは、予め定められた閾値を示す。具体的には、Ｔｈｍｉｎは、追跡対象を表示する画素の数の下限値を示し、Ｔｈｍａｘは、追跡対象を表示する画素の数の上限値を示す。
【００４９】
追跡対象検出部１１は、次に、数式（４）を満たすと判定したラベルの全てを、追跡対象の候補として仮定して、仮定した追跡対象の候補のそれぞれの状態ベクトルＸｋを取得する。なお、追跡対象の候補の状態ベクトルＸｋは、以下の数式（５）により表すことができる。
【００５０】
【数５】
2016207140.tif 000007
【００５１】
数式（５）において、ｘｋは、ｋフレームにおける追跡対象の候補のｘ座標を示し、ｙｋは、ｋフレームにおける追跡対象の候補のｙ座標を示し、ｚｋは、ｋフレームにおける追跡対象の候補のｚ座標を示す。ｘｋ・（ただし、「・」はｘの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｘ軸方向の速度を示し、ｙｋ・（ただし、「・」はｙの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｙ軸方向の速度を示し、ｚｋ・（ただし、「・」はｚの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｚ軸方向の速度を示す。ｘｋ・・（ただし、「・・」はｘの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｘ軸方向の加速度を示し、ｙｋ・・（ただし、「・・」はｙの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｙ軸方向の加速度を示し、ｚｋ・・（ただし、「・・」はｚの直上にあるものとする）は、ｋフレームにおける追跡対象の候補のｚ軸方向の加速度を示す。
【００５２】
なお、ｙ軸は、鉛直方向に延在するものとする。また、ｚ軸は、鉛直方向と直交する平面上において奥行方向に延在するものとする。また、ｘ軸は、鉛直方向と直交する平面上においてｚ軸と直交する方向に延在するものとする。
【００５３】
次に、上述の複数フレーム処理について、以下に説明する。
【００５４】
例えばボールを追跡対象とした場合、映像に対するボールの大きさは非常に小さいため、ボールの色に似た色のオブジェクトが複数存在していると、ボールを識別するのが困難である。また、練習に用いられていないボールが映像中に存在している場合、追跡対象を認識する上で、練習に用いられていないボールの影響を受けやすい。
【００５５】
そこで、複数フレーム処理では、追跡対象検出部１１は、まず、（ｔ−１）フレームとｔフレームとの差分画像を生成し、閾値処理によって２値画像を得る。
【００５６】
追跡対象検出部１１は、次に、ｔフレームと（ｔ＋１）フレームとの差分画像を生成し、閾値処理によって２値画像を得る。
【００５７】
追跡対象検出部１１は、次に、上述の２つの２値画像を比較して、これら２つの２値画像の両方において真である領域を、動体領域として抽出する。
【００５８】
追跡対象検出部１１は、次に、抽出した動体領域のそれぞれに対してラベリングを施し、ラベルの画素数ｌａｂｅｌｉが、上述の数式（４）を満たすか否かを判定する。
【００５９】
追跡対象検出部１１は、次に、数式（４）を満たすと判定したラベルの全てを、追跡対象の候補として仮定して、仮定した追跡対象の候補のそれぞれの状態ベクトルＸｋを取得する。
【００６０】
（時間伝搬部１２の構成および動作）
時間伝搬部１２は、追跡対象検出部１１により仮定された追跡対象の候補を選別して、追跡対象の候補を決定する。この時間伝搬部１２は、追跡対象候補位置予測処理および追跡対象決定処理を行う。
【００６１】
まず、上述の追跡対象候補位置予測処理について、以下に説明する。
【００６２】
追跡対象候補位置予測処理では、時間伝搬部１２は、追跡対象検出部１１により追跡対象の候補を仮定したフレームをｋとすると、この追跡対象の候補の（ｋ＋１）フレームでの位置を予測する。この予測では、カルマンフィルタの予測と修正とを以下の数式（６）から（１６）を用いて繰り返して、後述のＦｋ、Ｇｋ、Ｈｋ、Ｑｋ、Ｒｋのそれぞれの更新を繰り返し、追跡対象の候補の（ｋ＋１）フレームでの位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）を予測する。
【００６３】
【数６】
2016207140.tif 000008
【００６４】
数式（６）において、Ｘｋ＋１は、（ｋ＋１）フレームにおける追跡対象の候補の状態ベクトルを示す。Ｇｋは、時間遷移に関する雑音モデルの行列を示し、カメラで取得された映像から得ることの難しい風や揚力などの影響を、追跡対象の候補に対して与えるためのノイズを表す。ωｋは、平均ゼロの正規分布に従うプロセスノイズの共分散行列Ｑｋを示し、上述のノイズの雑音を表す。Ｆｋは、時間遷移に関するモデルの行列を示し、以下の数式（７）で求められる。
【００６５】
【数７】
2016207140.tif 000009
【００６６】
数式（７）において、ｆ１１は、以下の数式（８）で表すことができ、ｆ１２は、以下の数式（９）で表すことができ、ｆ１３は、以下の数式（１０）で表すことができ、ｆ１４は、以下の数式（１１）で表すことができる。ｆ２１は、以下の数式（１２）で表すことができ、ｆ２２は、以下の数式（１３）で表すことができ、ｆ２３は、以下の数式（１４）で表すことができ、ｆ２４は、以下の数式（１５）で表すことができる。
【００６７】
【数８】
2016207140.tif 000010
【００６８】
【数９】
2016207140.tif 000011
【００６９】
【数１０】
2016207140.tif 000012
【００７０】
【数１１】
2016207140.tif 000013
【００７１】
【数１２】
2016207140.tif 000014
【００７２】
【数１３】
2016207140.tif 000015
【００７３】
【数１４】
2016207140.tif 000016
【００７４】
【数１５】
2016207140.tif 000017
【００７５】
数式（８）から（１１）において、Δｔは、データの取得周期（フレームレート）を示す。数式（１２）から（１５）において、ｍは、追跡対象の質量を示し、ｐは、空気密度を示し、Ｃｄは、抗力係数を示し、Ａは、追跡対象の前面投影面積を示す。
【００７６】
また、フレームｋにおいて、観測される追跡対象の位置Ｚｋは、以下の数式（１６）を満たすものとする。
【００７７】
【数１６】
2016207140.tif 000018
【００７８】
数式（１６）において、Ｈｋは、状態空間から観測空間に変換するモデルの行列であり、ｖｋは、平均ゼロの正規分布に従うプロセスノイズの共分散行列Ｒｋを示す。
【００７９】
なお、上述のｘｋ・・、ｙｋ・・、ｚｋ・・のそれぞれは、物体に一様に重力および抗力が働くと仮定した運動方程式をオイラー法で求めることで得られる式により、求めることができる。この式の導出については、数式（３０）から（３２）を用いて後述する。
【００８０】
なお、予測した（ｋ＋１）フレームでの追跡対象の候補の位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）が地面の下を示した場合、すなわちｙｋ＋１がマイナスの値である場合には、追跡対象が地面でバウンドしたものとして、以下の数式（１７）から（１９）を用いてＦｋの加速度成分を求め直し、位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）の予測をやり直す。
【００８１】
【数１７】
2016207140.tif 000019
【００８２】
【数１８】
2016207140.tif 000020
【００８３】
【数１９】
2016207140.tif 000021
【００８４】
数式（１７）から（１９）において、ｘ’ｋ＋１・（ただし、「・」はｘの直上にあるものとする）は、バウンド後の追跡対象の候補のｘ軸方向の速度を示し、ｙ’ｋ＋１・（ただし、「・」はｙの直上にあるものとする）は、バウンド後の追跡対象の候補のｙ軸方向の速度を示し、ｚ’ｋ＋１・（ただし、「・」はｚの直上にあるものとする）は、バウンド後の追跡対象の候補のｚ軸方向の速度を示す。ｅは、追跡対象と地面との間の反発係数を示し、λは、追跡対象と地面との間の滑り摩擦係数を示す。
【００８５】
ｙｋ＋１がマイナスの値である場合、時間伝搬部１２は、具体的には、まず、数式（１７）から（１９）により、ｘ軸方向の速度、ｙ軸方向の速度、およびｚ軸方向の速度を求める。次に、数式（１３）の１行目の要素を、ｘ軸方向の加速度として求め、数式（１４）の２行目の要素を、ｙ軸方向の加速度として求め、数式（１５）の３行目の要素を、ｚ軸方向の加速度として求める。次に、数式（６）により、位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）の予測をやり直す。
【００８６】
次に、上述の追跡対象決定処理について、以下に説明する。
【００８７】
追跡対象決定処理では、時間伝搬部１２は、まず、（ｋ＋１）フレームの映像において追跡対象の候補が実際に出現するのは、追跡対象候補位置予測処理により予測した（ｋ＋１）フレームでの追跡対象の候補の位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）の近傍であるものと仮定する。そして、位置（ｘｋ＋１、ｙｋ＋１、ｚｋ＋１）を中心とする探索範囲Ｔｈｄｉｓｔの範囲内に対して、上述の単一フレーム処理または上述の複数フレーム処理を行う。この結果、追跡対象の候補を１つ探索することができた場合には、時間的に連続した追跡対象の候補である、言い換えると探索できた追跡対象の候補は実際の追跡対象であろうと判定し、探索できた追跡対象の候補を、追跡対象の候補として決定する。また、上述の結果、追跡対象の候補を２つ以上探索することができた場合には、探索できた追跡対象の候補の全てを、追跡対象の候補として仮定する。
【００８８】
以上によれば、仮説生成部１０により、追跡対象の候補が決定され、追跡対象の仮説が立てられることになる。
【００８９】
［仮説検証部２０の構成および動作］
仮説検証部２０は、仮説生成部１０により決定された追跡対象の候補について、追跡対象としての妥当性を検証して、仮説生成部１０により立てられた仮説を検証する。この仮説検証部２０は、空間的信頼度計算部２１、時間的信頼度計算部２２、および判断部２３を備える。
【００９０】
（空間的信頼度計算部２１の構成および動作）
まず、空間的信頼度計算部２１について、以下に説明する。
【００９１】
追跡対象がカメラに近づいている場合には、カメラで取得された映像において、追跡対象の大きさは大きくなる。一方、追跡対象がカメラから遠ざかっている場合には、カメラで取得された映像において、追跡対象の大きさは小さくなる。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの大きさは、フレームごとに一定の割合で変化していくと仮定することができる。
【００９２】
そこで、空間的信頼度計算部２１は、以下の数式（２０）を用いて、仮説生成部１０により決定された追跡対象の候補を表示する画素数の変化の割合に関する空間的信頼度ＳＲ（Spatial  Reliability）を算出する。
【００９３】
【数２０】
2016207140.tif 000022
【００９４】
数式（２０）において、ｋは、フレーム番号を示し、ｉは、仮説生成部１０により決定された追跡対象の候補のそれぞれを区別するための添字を示す。Ｓｉ、ｋは、ｋフレームにおいて追跡対象の候補ｉを表示する画素の数を表したものを示す。Ｋは、追跡対象を継続して追跡することのできたフレーム数を示す。
【００９５】
ここで、数式（２０）を用いた空間的信頼度ＳＲの算出は、仮説生成部１０により決定された追跡対象の候補ごとに、追跡対象に対して運動を加えるオブジェクト（例えば、上述の選手）から追跡対象の候補までの距離が閾値Ｔｈｈｕｍａｎ以下になるまで繰り返される。
【００９６】
なお、追跡対象に対して運動を加えるオブジェクトは、空間的信頼度計算部２１により、以下の第１の処理および第２の処理を行って認識される。第１の処理では、空間的信頼度計算部２１は、上述のオブジェクトが存在していない状態でカメラにより取得された映像と、このオブジェクトが存在している状態でカメラにより取得された映像と、の差分画像を生成し、閾値処理によって２値画像を得てラベリングを施す。第２の処理では、空間的信頼度計算部２１は、ラベルの画素数ｌａｂｅｌｏｂｊが以下の数式（２１）を満たすラベルを、上述のオブジェクトとして認識する。
【００９７】
【数２１】
2016207140.tif 000023
【００９８】
数式（２１）において、Ｔｈｈｕｍａｎ，ｍｉｎおよびＴｈｈｕｍａｎ，ｍａｘは、予め定められた閾値を示す。具体的には、Ｔｈｈｕｍａｎ，ｍｉｎは、上述のオブジェクトを表示する画素の数の下限値を示し、Ｔｈｈｕｍａｎ，ｍａｘは、上述のオブジェクトを表示する画素の数の上限値を示す。
【００９９】
（時間的信頼度計算部２２の構成および動作）
次に、時間的信頼度計算部２２について、以下に説明する。
【０１００】
上述のオブジェクトにより運動を加えられた追跡対象は、運動法則に従って移動する。このため、例えばサッカーのボールを追跡対象とした場合には、ボールに対して選手が運動を加えると、次に選手がこのボールに触れるまで、このボールの位置は、フレームごとに一定の距離ずつ変化していくと仮定することができる。
【０１０１】
このため、上述のオブジェクトにより運動を加えられた追跡対象が空中を移動している場合、この追跡対象には、移動方向と逆向きに抗力が作用するとともに、移動方向と直角方向に揚力が作用し、鉛直方向に重力が作用する。このため、追跡対象に対して、以下の数式（２２）から（２５）に示す運動方程式が成り立つ。なお、追跡対象のスピン量は、追跡対象に作用する揚力を求めるために必要であるが、カメラにより取得された映像から求めることは困難であるため、本実施形態では求めないものとする。
【０１０２】
【数２２】
2016207140.tif 000024
【０１０３】
【数２３】
2016207140.tif 000025
【０１０４】
【数２４】
2016207140.tif 000026
【０１０５】
【数２５】
2016207140.tif 000027
【０１０６】
数式（２２）から（２５）において、ａｘは、追跡対象のｘ軸方向の加速度を示し、ａｙは、追跡対象のｙ軸方向の加速度を示し、ａｚは、追跡対象のｚ軸方向の加速度を示す。Ｖは、追跡対象の速度成分を示し、Ｖｘは、追跡対象のｘ軸方向の速度を示し、Ｖｙは、追跡対象のｙ軸方向の速度を示し、Ｖｚは、追跡対象のｚ軸方向の速度を示す。ｇは、重力加速度を示す。
【０１０７】
ここで、時刻ｔにおいて位置ｘ（ｔ）に存在している追跡対象がΔｔ後の時刻（ｔ＋１）において位置ｘ（ｔ＋１）に移動しているものとすると、時刻ｔから時刻（ｔ＋１）までに間における追跡対象の速度は、以下の数式（２６）により表すことができる。
【０１０８】
【数２６】
2016207140.tif 000028
【０１０９】
数式（２６）は、ｘ軸方向についての数式であるが、ｙ軸方向およびｚ軸方向について、数式（２６）と同様の数式がそれぞれ成り立つ。そこで、数式（２６）と、ｙ軸方向についての数式（２６）と同様の数式と、ｚ軸方向についての数式（２６）と同様の数式と、をそれぞれオイラー法で解くと、以下の数式（２７）から（２９）が得られる。
【０１１０】
【数２７】
2016207140.tif 000029
【０１１１】
【数２８】
2016207140.tif 000030
【０１１２】
【数２９】
2016207140.tif 000031
【０１１３】
また、時刻（ｔ＋１）における追跡対象の加速度は、以下の数式（３０）から（３２）で表すことができ、時刻（ｔ＋１）における追跡対象の速度は、以下の数式（３３）から（３５）で表すことができる。
【０１１４】
【数３０】
2016207140.tif 000032
【０１１５】
【数３１】
2016207140.tif 000033
【０１１６】
【数３２】
2016207140.tif 000034
【０１１７】
【数３３】
2016207140.tif 000035
【０１１８】
【数３４】
2016207140.tif 000036
【０１１９】
【数３５】
2016207140.tif 000037
【０１２０】
以上より、追跡対象に対して運動を加えるオブジェクトの近傍から最初に抽出された追跡対象の位置を（ｘ０、ｙ０）とすると、Δｔ後の追跡対象の位置を用いて追跡対象の速度（Ｖｘ０、Ｖｙ０、Ｖｚ０）を求め、上述の数式（２２）から（３５）を繰り返し解くことで、次フレームにおける追跡対象の位置（ｐｘ、ｐｙ、ｐｚ）を予測することができる。
【０１２１】
そこで、時間的信頼度計算部２２は、上述の数式（２２）から（３５）を繰り返し解き、以下の数式（３６）を用いて、仮説生成部１０により決定された追跡対象の候補の位置の変化に関する時間的信頼度ＴＲ（Temporal  Reliability）を算出する。
【０１２２】
【数３６】
2016207140.tif 000038
【０１２３】
数式（３６）において、（ａｘ、ａｙ、ａｚ）は、次フレームにおける追跡対象の観測値（絶対座標（グローバル座標））を示す。
【０１２４】
（判断部２３の構成および動作）
次に、判断部２３について、以下に説明する。
【０１２５】
判断部２３は、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成部１０により決定された追跡対象の候補が追跡対象であるか否かを判断する。具体的には、判断部２３は、以下の数式（３７）（３８）のうち少なくともいずれかを満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。これによれば、棄却された仮説において仮説生成部１０により決定された追跡対象の候補は、追跡対象ではないと判定されることになる。
【０１２６】
【数３７】
2016207140.tif 000039
【０１２７】
【数３８】
2016207140.tif 000040
【０１２８】
数式（３７）（３８）において、ＴｈｓｒおよびＴｈｔｒは、予め定められた閾値を示す。
【０１２９】
なお、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（３９）を用いてもよい。数式（３９）を用いる場合には、判断部２３は、数式（３９）を満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。
【０１３０】
【数３９】
2016207140.tif 000041
【０１３１】
数式（３９）において、ω０およびω１は、重み係数を示し、Ｔｈｒｅｊｅｃｔは、予め定められた閾値を示す。
【０１３２】
また、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（４０）（４１）を用いてもよい。数式（４０）（４１）を用いる場合には、判断部２３は、数式（４０）（４１）のうち少なくともいずれかを満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。
【０１３３】
【数４０】
2016207140.tif 000042
【０１３４】
【数４１】
2016207140.tif 000043
【０１３５】
数式（４０）（４１）において、ωｃｏｎｔｉｎｕｅは、以下の数式（４２）により求めることができる。このωｃｏｎｔｉｎｕｅは、追跡対象を継続して追跡することのできたフレーム数が大きくなるに従って小さくなる係数を示す。このωｃｏｎｔｉｎｕｅによれば、追跡対象を継続して追跡することのできたフレーム数が大きくなるに従って、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説の信頼性が高いものとして扱うことができる。
【０１３６】
【数４２】
2016207140.tif 000044
【０１３７】
数式（４２）において、μおよびβは、フレーム数だけＳＲ、ＴＲを減衰させるための定数を示す。μは、例えばμ＞０を満たすものとし、βは、例えば０＜β≦１を満たすものとしてもよい。
【０１３８】
また、判断部２３は、上述の数式（３７）（３８）の代わりに、以下の数式（４３）を用いてもよい。数式（４３）を用いる場合には、判断部２３は、数式（４３）を満たす場合に、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説を棄却する。
【０１３９】
【数４３】
2016207140.tif 000045
【０１４０】
以上によれば、仮説検証部２０により、仮説生成部１０により立てられた仮説が検証され、追跡対象としての信頼性が低い仮説が棄却されることになる。
【０１４１】
なお、映像解析装置１は、追跡対象と、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた仮説と、が１対１の関係になるまで、仮説生成部１０および仮説検証部２０による上述の処理を繰り返す。これによれば、追跡対象と１対１の関係になった仮説に関する追跡対象の候補が、実際の追跡対象であるとして追跡されることになる。なお、ｙ座標が閾値以下になった場合には、追跡対象が上述のようにバウンドする可能性があるため、仮説生成部１０および仮説検証部２０による処理の対象外としてもよい。
【０１４２】
図２は、映像解析装置１のフローチャートである。
【０１４３】
ステップＳ１において、映像解析装置１は、追跡対象検出部１１により、追跡対象の候補を１つ以上仮定し、ステップＳ２に処理を移す。
【０１４４】
ステップＳ２において、映像解析装置１は、時間伝搬部１２により、ステップＳ１において仮定した追跡対象の候補を選別して、追跡対象の候補を決定し、ステップＳ３に処理を移す。
【０１４５】
ステップＳ３において、映像解析装置１は、空間的信頼度計算部２１により、空間的信頼度ＳＲを算出し、ステップＳ４に処理を移す。
【０１４６】
ステップＳ４において、映像解析装置１は、時間的信頼度計算部２２により、時間的信頼度ＴＲを算出し、ステップＳ５に処理を移す。
【０１４７】
ステップＳ５において、映像解析装置１は、判断部２３により、ステップＳ３において算出した空間的信頼度ＳＲと、ステップＳ４において算出した時間的信頼度ＴＲと、に基づいて、ステップＳ２において決定した追跡対象の候補が追跡対象であるか否かを判断して、ステップＳ６に処理を移す。
【０１４８】
ステップＳ６において、映像解析装置１は、判断部２３により、追跡対象と、ステップＳ５において追跡対象ではないとは判断しなかった追跡対象の候補と、が１対１の関係にあるか否かを判定する。１対１の関係にあると判定した場合には、図２に示した処理を終了し、追跡対象と１対１の関係にあると判定した追跡対象の候補が、実際の追跡対象であるとして追跡されることになる。１対１の関係にないと判定した場合には、ステップＳ１に処理を戻す。
【０１４９】
以上の映像解析装置１によれば、以下の効果を奏することができる。
【０１５０】
映像解析装置１は、判断部２３により、空間的信頼度ＳＲおよび時間的信頼度ＴＲに基づいて、仮説生成部１０により決定された追跡対象の候補が追跡対象であるか否かを判断する。このため、映像において追跡対象の大きさがフレームごとに一定の割合で変化するという仮定と、映像において追跡対象の位置がフレームごとに一定の距離ずつ変化するという仮定と、を追跡対象の候補がどれだけ満たしているかに応じて、追跡対象を見つけることができる。したがって、追跡対象と同一の特徴を有するオブジェクトが映像中に存在している場合でも、上述の２つの仮定を用いて追跡対象を高精度に追跡することができる。
【０１５１】
また、映像解析装置１は、数式（２０）を用いて空間的信頼度ＳＲを算出することができる。
【０１５２】
また、映像解析装置１は、数式（３６）を用いて時間的信頼度ＴＲを算出することができる。
【０１５３】
また、映像解析装置１は、判断部２３により、閾値Ｔｈｓｒや閾値Ｔｈｔｒを用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することができる。
【０１５４】
また、映像解析装置１は、判断部２３により、閾値Ｔｈｒｅｊｅｃｔを用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することもできる。
【０１５５】
また、映像解析装置１は、判断部２３により、係数ωｃｏｎｔｉｎｕｅを用いて、空間的信頼度ＳＲおよび時間的信頼度ＴＲが得られた追跡対象の候補が追跡対象ではないと判断することもできる。このため、追跡対象として判断したフレーム数が大きくなるに従って、追跡対象の候補が追跡対象であるとする信頼性を高くすることができる。
【０１５６】
なお、本発明の映像解析装置１の処理を、コンピュータ読み取り可能な非一時的な記録媒体に記録し、この記録媒体に記録されたプログラムを映像解析装置１に読み込ませ、実行することによって、本発明を実現できる。
【０１５７】
ここで、上述の記録媒体には、例えば、ＥＰＲＯＭやフラッシュメモリといった不揮発性のメモリ、ハードディスクといった磁気ディスク、ＣＤ−ＲＯＭなどを適用できる。また、この記録媒体に記録されたプログラムの読み込みおよび実行は、映像解析装置１に設けられたプロセッサによって行われる。
【０１５８】
また、上述のプログラムは、このプログラムを記憶装置などに格納した映像解析装置１から、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネットなどのネットワーク（通信網）や電話回線などの通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
【０１５９】
また、上述のプログラムは、上述の機能の一部を実現するためのものであってもよい。さらに、上述の機能を映像解析装置１にすでに記録されているプログラムとの組み合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【０１６０】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
【０１６１】
例えば、上述の実施形態では、複数のカメラで映像が取得されるものとしたが、これに限らず、１つのカメラで映像が取得されるものとしてもよい。
【０１６２】
また、上述の実施形態では、追跡対象検出部１１は、複数フレーム処理において動体領域を抽出する際に、２つの２値画像を用いることとした。しかし、これに限らず、１つの２値画像を用いることとしてもよい。ただし、１つの２値画像を用いる場合には、追跡対象が小さい場合に、追跡対象とノイズとの判別が困難になる可能性がある。このため、２つの２値画像を用いた方が、１つの２値画像を用いる場合と比べて、動体領域をより正確に抽出することが可能になる。
【符号の説明】
【０１６３】
１・・・映像解析装置
１０・・・仮説生成部
１１・・・追跡対象検出部
１２・・・時間伝搬部
２０・・・仮説検証部
２１・・・空間的信頼度計算部
２２・・・時間的信頼度計算部
２３・・・判断部
【図１】
2016207140.tif 000048
【図２】
2016207140.tif 000049