(57)【特許請求の範囲】
【請求項１】
移動する被写体をカメラにより撮影したときの映像信号と前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの軌跡を計測し、その計測した映像オブジェクトの軌跡を表わす軌跡画像と前記カメラによって撮影される映像とを合成する映像オブジェクトの軌跡画像合成装置であって、
前記映像信号における映像フレーム内から前記映像オブジェクトを抽出して、前記映像オブジェクトの前記映像フレーム内での画像座標を取得するオブジェクト抽出手段と、
前記映像オブジェクトの画像座標を、前記映像オブジェクトを抽出した前記映像フレームが撮影されたときのカメラパラメータに基づいて、前記カメラの位置を原点とする視線ベクトルに変換するオブジェクト位置算出手段と、
移動する前記映像オブジェクトを撮影して得られた一連の映像フレーム群から、前記オブジェクト位置算出手段によって得られた複数の視線ベクトルからなる視線ベクトル群を記憶するオブジェクト位置記憶手段と、
前記オブジェクト位置記憶手段に記憶された視線ベクトル群に基づき、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応する画像座標における軌跡画像を作成する軌跡画像作成手段と、
前記軌跡画像作成手段で作成された軌跡画像と前記カメラにより撮影された映像とを合成した合成画像の映像を出力する軌跡画像合成手段と、
を備えていることを特徴とする映像オブジェクトの軌跡画像合成装置。
【請求項２】
前記軌跡画像作成手段は、
前記オブジェクト位置記憶手段に記憶された視線ベクトル群に基づき軌跡曲線を生成し、前記軌跡曲線を構成する軌跡構成点の視線ベクトル群を算出する軌跡曲線生成手段と、
前記軌跡曲線生成手段によって算出した軌跡構成点の視線ベクトル群を、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応する画像座標群に変換する画像座標変換手段と、
前記画像座標変換手段によって変換された軌跡構成点の画像座標群に基づいて、軌跡画像を作画する軌跡画像作画手段と、
を備えていることを特徴とする請求項１に記載の映像オブジェクトの軌跡画像合成装置。
【請求項３】
前記軌跡画像作成手段は、
前記オブジェクト位置記憶手段に記憶された視線ベクトル群に基づき軌跡曲線を生成し、前記軌跡曲線を構成する軌跡構成点の視線ベクトル群を算出する軌跡曲線生成手段と、
前記軌跡曲線生成手段で生成された軌跡構成点の視線ベクトル群を記憶する軌跡構成点記憶手段と、
前記軌跡曲線生成手段によって算出した軌跡構成点の視線ベクトル群を、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応する画像座標群に変換する画像座標変換手段と、
前記画像座標変換手段によって変換された軌跡構成点の画像座標群に基づいて、軌跡画像を作画する軌跡画像作画手段と、
を備えていることを特徴とする請求項１に記載の映像オブジェクトの軌跡画像合成装置。
【請求項４】
前記カメラにより撮影した映像フレームを参照して映像オブジェクトを指定し、前記指定した映像オブジェクトの画像座標を取得するオブジェクト指定手段を備え、
前記オブジェクト位置算出手段によって、前記オブジェクト指定手段により取得した映像オブジェクトの画像座標を、前記映像オブジェクトを指定したときに参照した前記映像フレームを撮影したときのカメラパラメータに基づいて、前記カメラの位置を原点とする視線ベクトルに変換し、
前記オブジェクト位置記憶手段に記憶された視線ベクトル群に追加記憶すること、
を特徴とする請求項１ないし請求項３の何れか一項に記載の映像オブジェクトの軌跡画像合成装置。
【請求項５】
前記オブジェクト位置算出手段は、２次元直交座標で表わされる画像座標を、２次元極座標で表わされる視線ベクトルに変換すること、
を特徴とする請求項１ないし請求項４の何れか一項に記載の映像オブジェクトの軌跡画像合成装置。
【請求項６】
前記映像フレームごとの前記映像オブジェクトの画像座標および大きさと、前記カメラパラメータとに基づいて、前記被写体の３次元位置を逐次予測する位置予測手段と、
前記位置予測手段で予測された３次元位置と、前記カメラの位置に基づいて予め定めた３次元空間座標とに基づいて、前記被写体の地面への落下点を検出する落下点検出手段と、
前記映像フレームを撮影したときのカメラパラメータに基づいて、前記落下点検出手段で検出された落下点を、前記映像フレーム内での画像座標に変換する座標変換手段と、
を備えていることを特徴とする請求項１ないし請求項５の何れか一項に記載の映像オブジェクトの軌跡画像合成装置。
【請求項７】
前記被写体を撮影しているカメラのカメラパラメータの変化量と予め定めた閾値との差分に基づいて、前記被写体の移動の開始を検出する被写体移動開始検出手段を備え、
前記位置予測手段は、前記被写体移動開始検出手段により前記被写体の移動の開始を検出したときに、前記被写体の位置の予測を開始すること、
を特徴とする請求項６に記載の映像オブジェクトの軌跡画像合成装置。
【請求項８】
請求項１ないし請求項７の何れか一項に記載の軌跡画像合成装置と、
前記軌跡画像合成装置で合成された合成画像の映像を表示する画像表示手段と、
を備えていることを特徴とする映像オブジェクトの軌跡画像表示装置。
【請求項９】
移動する被写体をカメラにより撮影したときの映像信号と前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの軌跡を計測し、その計測した映像オブジェクトの軌跡を表わす軌跡画像と前記カメラによって撮影される映像とを合成して表示するために、コンピュータを、
前記映像信号における映像フレーム内から前記映像オブジェクトを抽出して、前記映像オブジェクトの前記映像フレーム内での画像座標を取得するオブジェクト抽出手段、
前記映像オブジェクトの画像座標を、前記映像オブジェクトを抽出した前記映像フレームが撮影されたときのカメラパラメータに基づいて、前記カメラの位置を原点とする視線ベクトルに変換し、オブジェクト位置記憶手段に記憶するオブジェクト位置算出手段、
前記オブジェクト位置記憶手段に記憶された複数の視線ベクトルからなる視線ベクトル群に基づき、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応する画像座標における軌跡画像を作成する軌跡画像作成手段、
前記軌跡画像作成手段で作成された軌跡画像と前記カメラにより撮影された映像とを合成した合成画像の映像を出力する軌跡画像合成手段、
として機能させることを特徴とする映像オブジェクトの軌跡画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動する被写体をカメラで撮影して軌跡画像を作成し、軌跡画像とカメラで撮影した映像を合成する映像オブジェクトの軌跡画像合成装置、その合成画像を表示する映像オブジェクトの軌跡画像表示装置およびそのプログラムに関する。
【背景技術】
【０００２】
スポーツ番組等において、カメラが被写体を望遠で捉えながら撮影すると、被写体の全体的な動きが視聴者に伝わりにくい場合がある。例えば、ゴルフ中継番組でショートホール第一打のシーンでは一般にグリーン付近に設置されたカメラの映像が放送されるが、ゴルフボールは小さく、広角映像ではほとんど確認できないため、望遠でボールを追いながら撮影される。この望遠映像ではボールの部分的な動きは分るものの、落下点までどのようなコースで飛んできたのか、どれくらいの高さまで上がったのかといった全体的なボール軌道を把握することは難しい。
【０００３】
そこで、昨今のスポーツ中継番組では、カメラのパン・チルト・ズーム等のカメラの姿勢情報を基に、様々なバーチャル映像が制作されている。例えばゴルフ中継では、グリーン上でボールとカップ間の距離を表示したり、第一打の落下地点にバーチャルＣＧ（コンピュータ・グラフィックス）で距離線を引いたりして、カメラ映像だけでは伝わり難い距離感を分かりやすくする工夫がなされている。
ボールの軌跡を表示する装置として、非特許文献１においては、２台のカメラで打球を追いかけ、打球と２台のカメラを頂点とする三角形の内角と、２台のカメラ間の距離とに基づき、三角測量の原理によって、打球の３次元位置を適宜な時間間隔で計算する。そして、飛行中のボールの軌跡をリアルタイムに可視化するとともに、飛距離とカップまでの残り距離とを表示する装置が開示されている。
また、特許文献１においては、２台のカメラの位置、光軸方向、および画角に基づき、三角測量の原理によって、飛行するボールの３次元位置座標を算出する手法が開示されている。
さらに、特許文献２においては、ゴルフコース内の複数箇所に設置された電波レーダを用いて、電波をゴルフボールに当て、反射波のドップラー周波数および位相差からボールの飛行速度、距離を求め、三角測量の原理によって、ボールの３次元位置座標を算出する手法が開示されている。
【０００４】
【特許文献１】特開２００３−４２７１６号公報（段落００３２〜段落００３４、図３）
【特許文献２】特開平８−２６６７０１号公報（段落００３９〜段落００４０、図３）
【非特許文献１】山内、加藤、野口、安部、榎並，“飛翔体の軌跡表示システム「ショットビュー」ゴルフボールの３次元位置の可視化”，情報処理学会研究報告，Vol.1995, No.063, pp31-36
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、中継番組で使用する場合、既存の中継設備の範囲を超えないことが望ましい。すなわち、新たなセンサーカメラやカメラマンを追加することなく運用しなければならない。一般にゴルフ中継では１つのホールにつき１台のバーチャルカメラで運用している。非特許文献１および特許文献１によるボールの位置計測手法では、２台のカメラによるボールの撮影が必要であるため、カメラが２台必要であるとともに、それぞれのカメラを操作するために２人のカメラマンが必要となる。また、特許文献２によるボールの位置計測手法では、ゴルフ場の複数箇所に電波レーダ装置という特別な装置を設置する必要がある。
【０００６】
そこで本発明では、このような問題点に鑑み、１台のカメラで運用可能であり、全体的な動きを把握することが困難な小さな映像オブジェクトの移動軌跡をカメラ映像上へ重畳した画像を合成する映像オブジェクトの軌跡画像合成装置、その合成画像を表示する映像オブジェクトの軌跡画像表示装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は前記目的を達成するためになされたものであり、請求項１に記載の映像オブジェクトの軌跡画像合成装置は、移動する被写体をカメラにより撮影したときの映像信号と前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの軌跡を計測し、その計測した映像オブジェクトの軌跡を表わす軌跡画像と前記カメラによって撮影される映像とを合成する映像オブジェクトの軌跡画像合成装置であって、オブジェクト抽出手段と、オブジェクト位置算出手段と、オブジェクト位置記憶手段と、軌跡画像作成手段と、軌跡画像合成手段と、を備える構成とした。
【０００８】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、移動する被写体を撮影したときの映像信号およびその被写体を撮影したときのカメラの姿勢、すなわちカメラの撮影方向を示すパン角・チルト角、および画角に関するズーム量等の情報を含むカメラパラメータを入力する。例えば、ゴルフボールのように小さな被写体の移動軌跡の撮影においては、カメラマンは被写体に対応する映像オブジェクトの位置を精度よく計測できるよう、被写体につめた画角に（ズーム量を望遠側に）設定して追跡撮影する。
そして、軌跡画像合成装置は、オブジェクト抽出手段によって、ゴルフボール等の被写体に対応する映像オブジェクトの移動軌跡を計測するために、撮影した各映像フレームから画像処理手法を用いて映像オブジェクトを抽出し、映像フレーム内における映像オブジェクトの２次元座標（画像座標）を取得する。
【０００９】
そして、軌跡画像合成装置は、オブジェクト位置算出手段によって、オブジェクト抽出手段が取得した映像オブジェクトの画像座標を、その画像座標を取得した映像フレームを撮影したときのカメラパラメータに基づいて、カメラの位置を原点とする２次元の視線ベクトル、すなわちカメラ位置から見た映像オブジェクトの観察方向を示す位置座標に変換する。この変換においては、まず画角情報に基づいて、カメラの撮影方向（光軸方向）である映像フレームの中心からの変位を画像座標として算出する。そして、カメラの撮影方向を示すカメラの姿勢情報（パン角・チルト角）で表わされる位置座標（視線ベクトル）と、この変位とを加算することで、映像オブジェクトの正確な位置座標（視線ベクトル）を取得することができる。
【００１０】
このように取得した映像オブジェクトの視線ベクトルを、オブジェクト位置記憶手段に記憶する。移動する被写体を撮影した一連の映像フレーム群に対して、このような視線ベクトルの取得処理を順次行うことで、オブジェクト位置記憶手段に、映像オブジェクトの一連の軌跡点に関する情報を視線ベクトル群として得ることができる。
そして、軌跡画像合成装置は、軌跡画像作成手段によって、オブジェクト位置記憶手段に記憶された視線ベクトル群を読み出し、ＣＧ（コンピュータ・グラフィックス）の手法を用いて、軌跡画像を合成しようとする映像を撮影したカメラパラメータに対応する画像座標における軌跡画像を作成する。その後、軌跡画像合成手段によって、ＣＧで作成された軌跡画像を、合成の対象としたカメラ映像に重畳することで合成画像を生成し映像として出力する。
【００１１】
また、請求項２に記載の映像オブジェクトの軌跡画像合成装置は、請求項１に記載の映像オブジェクトの軌跡画像合成装置において、前記軌跡画像作成手段が、軌跡曲線生成手段と、画像座標変換手段と、軌跡画像作画手段と、を備える構成とした。
【００１２】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、軌跡画像作成手段の軌跡曲線生成手段によって、オブジェクト位置記憶手段に記憶された視線ベクトル群を読み出して軌跡曲線を生成する。
そして、軌跡画像合成装置は、軌跡画像作成手段の軌跡曲線生成手段によって、高速に移動するため離散的な軌跡点として取得された映像オブジェクトの視線ベクトル群に対して、ベジェ曲線、スプライン曲線、２次曲線等の曲線を軌跡曲線として適用する。これらの曲線を適用して計測で得られた軌跡点間を補間し、軌跡曲線を構成する軌跡構成点の視線ベクトル群を算出する。
【００１３】
そして、軌跡画像合成装置は、軌跡画像作成手段の画像座標変換手段によって、軌跡画像を重畳すべき映像を撮影したときのカメラパラメータ（パン角・チルト角・画角）に対応して、軌跡点を構成する視線ベクトル群を画像座標群に変換する。
さらに、軌跡画像合成装置は、軌跡画像作成手段の軌跡画像作画手段によって、軌跡点を構成する画像座標群のデータに基づいて、軌跡画像の色・線種・太さ・アニメーション表示等の条件を加味し、重畳すべき軌跡画像を作画する。
【００１４】
また、請求項３に記載の映像オブジェクトの軌跡画像合成装置は、請求項１に記載の映像オブジェクトの軌跡画像合成装置において、前記軌跡画像作成手段が、軌跡曲線生成手段と、軌跡構成点記憶手段と、画像座標変換手段と、軌跡画像作画手段と、を備える構成とした。
【００１５】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、軌跡曲線生成手段で生成された軌跡構成点の視線ベクトル群を軌跡構成点記憶手段に一旦記憶する。そして、軌跡画像合成装置は、画像座標変換手段によって、軌跡画像を重畳する映像のカメラパラメータに対応する画像座標群に変換する際に、視線ベクトル群を軌跡構成点記憶手段から読み出して用いる。軌跡画像を重畳すべき映像のカメラパラメータが変更された場合は、画像座標変換手段が、軌跡構成点記憶手段から視線ベクトル群を再度読み出し、軌跡構成点の視線ベクトル群から画像座標群へ変換し、軌跡画像作画手段が軌跡画像作画を作画する。
【００１６】
さらに、請求項４に記載の映像オブジェクトの軌跡画像合成装置は、請求項１ないし請求項３の何れか一項に記載の映像オブジェクトの軌跡画像合成装置において、さらに、オブジェクト指定手段を備える構成とした。
【００１７】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、オブジェクト指定手段によって、任意の映像フレーム内において所望の点を軌跡点として指定し、その映像フレーム内の画像座標を取得する。その取得した指定点の画像座標は、指定に用いた映像フレームを撮影したときのカメラパラメータに基づいて、オブジェクト位置算出手段によって視線ベクトルに変換される。そして、指定点の視線ベクトルは、オブジェクト抽出手段によって取得されてオブジェクト位置記憶手段に記憶される視線ベクトル群に追加記憶される。
【００１８】
また、請求項５に記載の映像オブジェクトの軌跡画像合成装置は、請求項１ないし請求項４の何れか一項に記載の映像オブジェクトの軌跡画像合成装置において、前記オブジェクト位置算出手段が、２次元直交座標で表わされる画像座標を、２次元極座標で表わされる視線ベクトルに変換する構成とした。
【００１９】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、オブジェクト位置算出手段によって、オブジェクト抽出手段で取得した２次元直交座標で表わされた画像座標を、その画像座標を取得した映像フレームを撮影したときのカメラパラメータに含まれる画角情報に基づいて、映像フレーム内の２次元極座標に変換する。なお、カメラの光軸方向（撮影方向）を示すパン角・チルト角は、撮影される映像フレームの中心の方向の２次元極座標の水平座標（水平角）・垂直座標（垂直角）に相当するから、パン角、チルト角を、それぞれ映像オブジェクトの前記映像フレーム内の２次元極座標の水平座標、垂直座標に加算することで、映像オブジェクトの視線ベクトルを算出することができる。
【００２０】
また、請求項６に記載の映像オブジェクトの軌跡画像合成装置は、請求項１ないし請求項５の何れか一項に記載の映像オブジェクトの軌跡画像合成装置において、さらに、位置予測手段と、落下点検出手段と、座標変換手段と、を備える構成とした。
【００２１】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、位置予測手段によって、映像フレームごとの映像オブジェクトの画像座標および大きさに基づいて、被写体の３次元位置を逐次予測する。この予測には、例えば、拡張カルマンフィルタを用いることができる。そして、軌跡画像合成装置は、落下点検出手段によって、位置予測手段で予測された３次元位置と、カメラの位置に基づいて予め定めた３次元空間座標とに基づいて、被写体の地面への落下点を検出する。すなわち、落下点検出手段は、被写体の位置が、３次元空間座標で予め定めた地面の座標平面に到達した段階で地面に落下したと判断する。
そして、軌跡画像合成装置は、座標変換手段によって、映像フレームを撮影したときのカメラパラメータに基づいて、落下点検出手段で検出された落下点を、映像フレーム内での２次元の画像座標に変換する。これによって、軌跡画像合成装置は、被写体の落下点を検出し、軌跡画像として合成することができる。
【００２２】
さらに、請求項７に記載の映像オブジェクトの軌跡画像合成装置は、請求項６に記載の映像オブジェクトの軌跡画像合成装置において、被写体移動開始検出手段を備え、前記位置予測手段が、被写体移動開始検出手段により前記被写体の移動の開始を検出したときに、被写体の位置の予測を開始する構成とした。
【００２３】
かかる構成によれば、映像オブジェクトの軌跡画像合成装置は、被写体移動開始検出手段によって、被写体を撮影しているカメラのカメラパラメータの変化量と予め定めた閾値との差分に基づいて、被写体の移動の開始を検出する。すなわち、カメラマンが被写体を撮影する際に、被写体の移動開始時に大きくカメラの向きが変化するため、その変化量が予め定めた閾値よりも大きくなった段階で、被写体が移動を開始したと判断する。
そして、軌跡画像合成装置は、位置予測手段によって、被写体が移動を開始したと判断した映像フレーム以降において、被写体の３次元位置を予測する。
【００２４】
また、請求項８に記載の映像オブジェクトの軌跡画像表示装置は、請求項１ないし請求項７の何れか一項に記載の軌跡画像合成装置と、前記軌跡画像合成装置で合成された合成画像の映像を表示する画像表示手段と、を備える構成とした。
【００２５】
かかる構成によれば、１台のカメラの運用のみで、映像オブジェクトの軌跡画像を作成し、同じカメラで撮影する映像に映像オブジェクトの軌跡画像を重畳した映像を表示することができる。
【００２６】
また、請求項９に記載の映像オブジェクトの軌跡画像表示プログラムは、移動する被写体をカメラにより撮影したときの映像信号と前記被写体を撮影したときの前記カメラの姿勢および画角に関する情報を含むカメラパラメータとから、前記被写体に対応する映像オブジェクトの軌跡を計測し、その計測した映像オブジェクトの軌跡を表わす軌跡画像と前記カメラによって撮影される映像とを合成して表示するために、コンピュータを、オブジェクト抽出手段、オブジェクト位置算出手段、軌跡画像作成手段、軌跡画像合成手段として機能させることを特徴とする。
【００２７】
かかる構成によれば、映像オブジェクトの軌跡画像表示プログラムは、移動する被写体を撮影したときの映像信号と撮影時のカメラの姿勢情報および画角情報を含むカメラパラメータとが入力されると、オブジェクト抽出手段によって、映像フレームごとに画像処理的手法を用いて被写体に対応する映像オブジェクトを抽出し、抽出した映像オブジェクトの映像フレーム内の画像座標を取得する。そして、取得された画像座標は、オブジェクト位置算出手段によって、カメラパラメータに基づいて視線ベクトルに変換する。この変換して得られた視線ベクトルはオブジェクト記憶手段に記憶する。
【００２８】
そして、軌跡画像表示プログラムは、オブジェクト抽出手段、オブジェクト位置算出手段およびオブジェクト位置記憶手段によって、移動する被写体を撮影した一連の映像フレーム群から映像オブジェクトの視線ベクトルを取得すると、映像オブジェクトの軌跡情報として一連の視線ベクトル群を得る。そして、軌跡画像作成手段によって、視線ベクトル群に基づいて、軌跡画像を重畳しようとするカメラ映像を撮影したときのカメラパラメータに対応する映像フレームの画像座標おける軌跡画像を作成し、軌跡画像合成手段によって、作成した軌跡画像をカメラ映像に重畳した合成画像の映像として出力する。
【発明の効果】
【００２９】
請求項１に記載の発明によれば、映像オブジェクトの軌跡画像合成装置は、１台のカメラによって撮影された被写体の映像から被写体に対応する映像オブジェクトの軌跡を測定し、同じ場所から撮影したカメラ映像に対して、そのカメラパラメータに応じた軌跡画像を作成して合成するため、１台のカメラを用いるだけで、カメラ画像に軌跡画像を重畳した合成画像映像を得ることができる。
また、軌跡画像を重畳する映像を現在撮影中のカメラ映像とした場合、撮影中のカメラ映像に合わせた軌跡画像を作成して重畳表示することができるため、生中継中の映像の視聴者に視点の移動を強要することなく軌跡画像を表示することができるという優れた効果を奏するものである。
【００３０】
請求項２に記載の発明によれば、計測した軌跡点に基づいて軌跡曲線を生成するため、軌跡点の計測に失敗した映像フレームがあっても、間を補間して滑らかな軌跡曲線を得ることができる。
【００３１】
請求項３に記載の発明によれば、軌跡曲線構成手段で生成された軌跡構成点の視線ベクトル群を軌跡構成点記憶手段に記憶するため、軌跡画像を重畳すべき映像のカメラパラメータが変更された場合は、軌跡構成点記憶手段から軌跡構成点の視線ベクトルを再度読み出して用いることができ、軌跡画像の作成のために必要な演算量が低減できるため、映像の撮影条件の変更に対して軌跡画像の作成を迅速に行うことができる。
【００３２】
請求項４に記載の発明によれば、オブジェクト指定手段により、軌跡点を追加するように構成したため、例えば、ゴルフボールの打点・落下点・静止点のように背景が複雑なため、オブジェクト抽出手段によって安定した自動抽出が困難な軌跡点についても、移動軌跡を撮影後に追加することができ、断絶のない軌跡画像を作成することができる。
【００３３】
請求項５に記載の発明によれば、オブジェクト位置算出手段は、２次元直交座標で表わされる画像座標を２次元極座標で表わされる視線ベクトルに変換するため、画像座標を直交座標から極座標に変換してパン角・チルト角を加算するだけで映像オブジェクトの視線ベクトルを算出することができる。
また、視線ベクトルを極座標で表わすため、カメラの撮影方向を全天の任意の方向に向けた場合でもその位置座標が表現可能であり、被写体が広範囲にわたって移動する場合でも、軌跡画像を生成することができる。
【００３４】
請求項６に記載の発明によれば、被写体の３次元空間上の位置を予測することで、被写体の地面への落下を検出できる。このため、この検出時を、軌跡画像を生成するタイミングとして用いることができ、手動で軌道画像の生成の開始を指示する場合に比べ、軌道画像を生成するまでの時間を短縮することができる。
【００３５】
請求項７に記載の発明によれば、カメラの動きに基づいて、被写体の位置の予測を開始することができる。このため、人手を介して予測開始のタイミングを設定する場合に比べ、確実に、被写体の移動開始を検出することができる。
【００３６】
請求項８または請求項９に記載の発明によれば、１台のカメラによって撮影された映像オブジェクトの映像から軌跡を測定し、同じ場所から撮影したカメラ映像に対して、そのカメラパラメータに応じた軌跡画像を作成して重畳表示するため、１台のカメラを用いるだけで、カメラ映像に軌跡画像を重畳した映像を表示することができる。
【発明を実施するための最良の形態】
【００３７】
以下、発明を実施するための最良の形態について図面を参照して説明する。なお、ここでは、移動する被写体をゴルフボールとし、カメラにより撮影されたゴルフボール（映像オブジェクト）の軌跡画像を映像に合成し表示する場合を例として説明する。
［第１の実施形態］
（本発明の原理）
はじめに、本発明の原理について説明する。
映像オブジェクトの軌跡を表示する場合、前記した従来技術のように、一般には移動中の被写体（ゴルフボール）の３次元位置座標が必要になる。なお、座標系は直交座標であっても極座標であっても構わないが、カメラを原点とする極座標で考えると、カメラのパン角・チルト角がそのままカメラの光軸の水平角・垂直角に相当するため都合がよい。ただし、カメラのパン軸・チルト軸の交点とレンズの光学主点が一致する理想状態であることとする。残るゴルフボールまでの奥行き情報が分れば３次元の極座標となるが、１台のカメラの情報だけではゴルフボールまでの距離を計算することができない。
【００３８】
また、水平角・垂直角の２次元極座標（視線ベクトル）は３次元座標上では線となる。しかし、その視線ベクトルを計測したカメラ画像上では点として表示される。従って、被写体の位置を計測するカメラと、軌跡を重畳表示する映像を撮影するカメラを同一（撮影するカメラの設置場所を同一）にすれば、被写体までの奥行き情報が得られなくとも軌跡を表示することが可能である。
【００３９】
（軌跡画像表示装置（軌跡画像合成装置を含む）の構成）
次に、図１を参照して、本発明の第１の実施形態に係る映像オブジェクトの軌跡画像表示装置（軌跡画像合成装置を含む）の構成について説明する。図１は本発明の第１の実施形態に係る映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の全体構成を示すブロック図である。ここでは、軌跡画像表示装置２において用いるカメラ３について説明した後、軌跡画像表示装置２の構成について説明を行うこととする。
【００４０】
（カメラ）
カメラ３は、ズーム機能を有するカメラレンズ３ｂを備えたカメラ本体３ａと、カメラ本体３ａを水平方向および垂直方向にそれぞれ独立して回転自在に支持するカメラ雲台３ｃから構成される。このカメラ３は、撮影した映像信号に併せて、カメラの撮影方向に関する姿勢情報であるパン角・チルト角、およびカメラの画角に関する情報であるズーム量を間断なく出力する。
【００４１】
ここでは、カメラ３は、カメラ本体３ａを支持する雲台の水平方向の回転角および垂直方向の回転角を、それぞれのカメラ雲台３ｃの回転部に備え付けられた図示しないロータリーエンコーダによって検知し、パン角・チルト角として出力する。なお、このロータリーエンコーダの代わりに、カメラ本体３ａにジャイロセンサを搭載して、カメラ動作の水平軸および垂直軸回りの角速度を検出し、検出した角速度を積分することで回転角を算出し、パン角・チルト角を求めるように構成することもできる。
また、カメラ３は、カメラレンズ３ｂの焦点距離の設定に応じ、ズーム量を出力する。なお、カメラ３は、ズーム機能を有するカメラレンズを備え、映像信号に併せて、カメラ３の撮影方向を表わす姿勢情報と、ズーム量のような画角値に対応する情報とを出力できるものであれば、どのような形態のものでもよい。
【００４２】
（軌跡画像表示装置の構成）
次に、軌跡画像表示装置の構成について説明する。この軌跡画像表示装置２は、カメラ３から入力される映像信号と、被写体が撮影されたときのカメラの姿勢情報（パン角・チルト角）およびカメラの画角に関する情報（ズーム量）を含むカメラパラメータとに基づいて、カメラ３が撮影する被写体（ここでは、ゴルフボール）の軌跡を画像上に合成し、表示するものである。ここでは、軌跡画像表示装置２は、オブジェクト抽出手段４と、オブジェクト位置算出手段５と、オブジェクト位置記憶手段６と、軌跡画像作成手段７と、オブジェクト指定手段８と、画角情報記憶手段９と、軌跡画像合成手段１０と、画像表示手段１１とを備えている。
【００４３】
オブジェクト抽出手段４は、カメラ３で被写体を撮影した映像信号において、映像フレームから画像処理の手法を用いて被写体に対応する映像オブジェクトを抽出するものである。なお、オブジェクト抽出手段４で抽出した映像オブジェクトの座標（画像座標）は、その画像座標を取得した映像フレームに対応したカメラパラメータとともにオブジェクト位置算出手段５に出力される。ただし、オブジェクト抽出手段４は、カメラパラメータの内のズーム量については、画角情報記憶手段９に予め記憶されたズーム量と画角値の関係を表わす画角情報を参照し、ズーム量に対応する映像フレームの画角値に変換してからオブジェクト位置算出手段５に出力する。
【００４４】
ここで、図２を参照して、オブジェクト抽出手段４の構成について詳細に説明する。図２は、オブジェクト抽出手段の構成を示すブロック図である。ここでは、オブジェクト抽出手段４は、クロマキー処理手段４１と、フィルタ処理手段４２と、重心算出手段４３とを備えている。
【００４５】
クロマキー処理手段４１は、クロマキー処理によって映像フレームから映像オブジェクトの候補を抽出するものである。例えば、クロマキー処理手段４１は、映像オブジェクトが飛翔中のゴルフボールの場合、ゴルフボールの色と背景となる空の色との違いを利用して映像オブジェクトを構成する画素を抽出する。なお、ここでは、クロマキー処理により映像オブジェクトの候補を抽出することとしたが、フレーム差分抽出等の他の抽出手法を用いても構わない。
【００４６】
フィルタ処理手段４２は、クロマキー処理手段４１で抽出された映像オブジェクト候補から所定の映像オブジェクトを抽出するものである。例えば、フィルタ処理手段４２は、映像オブジェクトの形状的特徴（ゴルフボールであれば、球体であるため平面画像上は円形である。）を利用し、２値化した画像や輪郭抽出した画像に対して形状認識処理を施すことで映像オブジェクトを抽出する。なお、フィルタ処理手段４２は、形状以外に、色や輝度等によって映像オブジェクトを抽出することとしてもよい。
【００４７】
重心算出手段４３は、フィルタ処理手段４２で抽出された映像オブジェクトの画像の重心を算出して映像オブジェクトの映像フレーム内における位置（画像座標）を検出するものである。
【００４８】
ここで、図３および図４を参照（適宜図２参照）して、映像フレームから映像オブジェクトの抽出および位置を検出する手法について説明する。図３は、映像フレームから映像オブジェクトの抽出および位置を検出する手法を説明するための図である。図４は、ゴルフボールを映像フレームから抽出する様子を示した図である。
【００４９】
図３（ａ）は、空を背景に、飛翔中のゴルフボールを撮影した映像フレームの様子を示す図である。オブジェクト抽出手段４は、第一段階として背景が青い空であることを利用し、クロマキー処理手段４１によって、映像オブジェクト候補を抽出する。第二段階として、フィルタ処理手段４２によって、抽出した映像オブジェクト候補に対し、ゴルフボールの色、輝度、形状を抽出するフィルタ処理を行い、特徴の異なる木等の映像オブジェクト候補から所望の映像オブジェクトであるゴルフボールを抽出する。このように映像フレームから抽出された映像オブジェクトＯＢＪの抽出画像を図３（ｂ）に示す。
【００５０】
図３(ｃ)は、映像オブジェクトＯＢＪと映像フレームの座標軸との関係を示す図である。ここで画像座標系は、映像フレームの中心を原点とし、水平および垂直方向にそれぞれｘ軸、ｙ軸を設定した直交座標である。抽出された映像オブジェクトは点ではなく面積を持つため、重心算出手段４３によって、この抽出画像の重心を算出することで映像オブジェクトの中心位置を特定し、映像フレーム内における２次元の画像座標を検出する。そして、図３（ｄ）に示すように、この画像座標系における映像オブジェクトＯＢＪの画像座標（２００，３００）を取得することができる。
【００５１】
なお、オブジェクト抽出手段４は、ゴルフのティーショットの映像からゴルフボールを映像オブジェクトとして抽出する場合、図４に示すように、一連の映像フレームＦＡ，ＦＢ１〜ＦＢ１７，ＦＣ，ＦＤごとに順次、ゴルフボールを抽出する。なお、Ａ点は打点、Ｂ点（Ｂ１〜Ｂ１７）は飛翔中の各点、Ｃ点は落下点、Ｄ点は静止点を示している。
図１に戻って、軌跡画像表示装置の構成について説明を続ける。
【００５２】
オブジェクト位置算出手段５は、オブジェクト抽出手段４または後記するオブジェクト指定手段８から入力される画像座標と、カメラの姿勢情報であるパン角・チルト角および画角とに基づいて、ゴルフボール（被写体）の検出方向を表わすカメラの位置を原点とする２次元の視線ベクトル（位置座標）を算出するものである。このオブジェクト位置算出手段５で算出された視線ベクトル（位置座標）は、オブジェクト位置記憶手段６に記憶される。
また、ここでは、オブジェクト位置算出手段５は、後記するオブジェクト指定手段８によって指定された挿入先に従って、オブジェクト位置記憶手段６に記憶されている視線ベクトル群に新たな視線ベクトルを追加する。
【００５３】
なお、視線ベクトルの座標系は、直交座標でも極座標でも、あるいは、他の座標系でもよいが、カメラの位置を原点とする極座標で考えると、カメラのパン角・チルト角がそのままカメラの光軸方向、すなわち映像フレームの中心点の座標値である水平角・垂直角に相当するため都合がよい。そこで、本実施の形態では視線ベクトルの座標系としてカメラの位置を原点とする２次元極座標を用いることとする。
ここでは、オブジェクト位置算出手段５は、画角値に基づいて２次元直交座標で表わされる画像座標を２次元極座標で表わされる誤差角度、すなわち映像フレームの画像中心から映像オブジェクトの位置までの水平・垂直角度に変換し、その誤差角度(水平・垂直角度)を、それぞれパン角・チルト角と加算して２次元極座標で表わされる視線ベクトルを算出することとする。
【００５４】
ここで、図６を参照して、オブジェクト位置算出手段５の構成について詳細に説明する。図６は、オブジェクト位置算出手段の構成を示すブロック図である。ここでは、オブジェクト位置算出手段５は、誤差角度算出手段５１と、加算手段５２とを備えている。
誤差角度算出手段５１は、画角値に基づいて画像座標を誤差角度に変換するものである。具体的には、誤差角度算出手段５１は、映像フレームの水平方向の画素数をＷＩＤ、映像オブジェクトの水平方向の座標（映像フレームの画像中心を原点とした２次元直交座標（画像座標））をｘ、水平方向の画角をＦＯＶとしたとき、水平方向の誤差角度ρｘを以下の式（１）で算出する。
【００５５】
【数１】
0004758842.tif 000002
【００５６】
加算手段５２は、誤差角度算出手段５１で変換された誤差角度と、パン角・チルト角とを加算して視線ベクトルを算出するものである。
具体的には、加算手段５２は、以下の式（２）に示すように、誤差角度算出手段５１で変換された誤差角度ρｘと、カメラのパン角ρｃａｍとを加算することで、カメラの位置を原点とした極座標上における映像オブジェクトの水平角度ρｏｂｊを算出する。
【００５７】
【数２】
0004758842.tif 000003
【００５８】
なお、映像オブジェクトが常に画像中心にあると仮定した場合、前記の例ではｘは常に“０”となる。従って、ρｘも“０”となるため、映像オブジェクトの水平角度はカメラのパン角に等しくなる。すなわち、映像オブジェクトが常に画像中心にあるとすれば、パン角をそのまま利用することができる。また、映像オブジェクトの垂直角度に関しても、チルト角を用いることで、同様の計算で求めることができる。
以上により、映像オブジェクトの２次元極座標（カメラの位置を原点とした水平・垂直方向の角度）表示された視線ベクトルを得ることができる。
図１に戻って、軌跡画像表示装置の構成について説明を続ける。
【００５９】
オブジェクト位置記憶手段６は、オブジェクト位置算出手段５で算出された視線ベクトル（位置座標）を記憶するものであって、一般的なハードディスク等の記憶装置である。
このオブジェクト位置記憶手段６は、時系列の情報を保持するために、各視線ベクトルの座標データと軌跡点列における番号とを関係付けて記憶する。なお、後記するオブジェクト指定手段８により、視線ベクトルの追加があった場合は、追加点の番号をその挿入先番号とし、以降の視線ベクトルに対する番号を順次繰り下げてからオブジェクト位置記憶手段６に記憶する。
ただし、カメラ映像に重畳する軌跡画像として、計測した軌跡点のみをプロットした静止画像とする場合は、視線ベクトル間の時系列情報は不要であるので、番号等を付与して記憶しなくともよい。
【００６０】
また、オブジェクト位置記憶手段６は、複数の軌跡に対応する視線ベクトル群を軌跡ごとに記憶する。これらの視線ベクトル群のデータは、軌跡画像作成手段７によって読み出される。
このように、視線ベクトル群をオブジェクト位置記憶手段６に記憶することで、後記するオブジェクト指定手段８のような修正手段を用いて、視線ベクトル群の修正が可能である。また、軌跡画像を重畳しようとする映像の場面（カメラパラメータ）を変えても、カメラパラメータに応じて適宜軌跡画像を作成しなおすことができる。さらに、複数の軌跡に対応する視線ベクトル群を読み出し、複数の軌跡を同時に描画することもできる。
【００６１】
軌跡画像作成手段７は、オブジェクト位置記憶手段６から読み出される映像オブジェクトの視線ベクトル群に基づいて、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応した軌跡画像を作成するものである。ここでは、軌跡画像作成手段７は、軌跡曲線生成手段７１と、軌跡構成点記憶手段７２と、画像座標変換手段７３と、軌跡画像作画手段７４とを備えている。
【００６２】
軌跡曲線生成手段７１は、オブジェクト位置記憶手段６から１つの軌跡に対応する一連の視線ベクトル群を読み出し、その視線ベクトル群にスプライン曲線、Ｂスプライン曲線、ベジェ曲線、２次曲線等の曲線関数を適用して軌跡曲線を定義し、その軌跡曲線を構成する点列の視線ベクトル群を算出するものである。
ここでは、曲線関数として３次のベジェ曲線を用いて軌跡曲線を生成する場合について説明する。３次のベジェ曲線は、２個の端点と２個の制御点を、１つの変数ｔを使用した方程式で表現される曲線であり、端点をＰ０，Ｐ３、制御点をＰ１，Ｐ２とすると、以下の式（３）で表わされる。
【００６３】
【数３】
0004758842.tif 000004
【００６４】
ここで、オブジェクトの視線ベクトルを４点ずつ式（３）に当てはめることで、それぞれの端点間の任意の点を計算することができ、滑らかな軌跡を描くことができる。そこで、軌跡曲線生成手段７１は、定義された曲線関数から数十点の視線ベクトル群をサンプリング（計算）し、それを軌跡構成点の視線ベクトル群として軌跡構成点記憶手段７２に記憶する。なお、軌跡曲線生成手段７１で算出された軌跡曲線の構成点の視線ベクトル群は、軌跡曲線ごとに管理された状態で軌跡構成点記憶手段７２に一旦記憶される。
【００６５】
軌跡構成点記憶手段７２は、軌跡曲線生成手段７１で算出された軌跡曲線の構成点の視線ベクトル群を記憶するものであって、一般的なハードディスク等の記憶装置である。この軌跡構成点記憶手段７２に記憶された視線ベクトル群は、軌跡画像作成手段７によって読み出される。
【００６６】
画像座標変換手段７３は、軌跡構成点記憶手段７２から読み出される視線ベクトル群の座標値を、極座標から、その視線ベクトル群を現在撮影中のカメラパラメータに対応した画像座標群に変換するものである。なお、カメラパラメータの内のズーム量は、後記する画角情報記憶手段９に予め記憶された画角情報を参照し、ズーム量に対応する映像フレームの画角値に変換して使用することとする。
【００６７】
ここで、図８を参照して、画像座標変換手段７３の構成について詳細に説明する。図８は、画像座標変換手段の構成を示すブロック図である。ここでは、画像座標変換手段７３は、減算手段７３ａと、画像座標算出手段７３ｂとを備えている。
減算手段７３ａは、視線ベクトルからパン角・チルト角を減算して誤差角度を算出するものである。ここでは、減算手段７３ａは、軌跡構成点の全点について各点ごとに、視線ベクトルから現在撮影中のカメラのパン角・チルト角を差し引き、各軌跡構成点が軌跡画像を重畳すべき映像フレームの画像中心から水平・垂直方向にそれぞれ何度ずれているかを示す誤差角度を算出する。
具体的には、減算手段７３ａは、注目する軌跡構成点群の一点の水平角度をρｏｂｊ、パン角をρｃａｍ、水平方向の誤差角度をρｓｕｂとしたとき、以下の式（４）により水平方向の誤差角度ρｓｕｂを算出する。
【００６８】
【数４】
0004758842.tif 000005
【００６９】
画像座標算出手段７３ｂは、画角値に基づいて、減算手段７３ａで算出された誤差角度を画像座標に変換するものである。
具体的には、画像座標算出手段７３ｂは、画角値をＦＯＶ、画像の水平方向の画素数をＷＩＤとすると、以下の式（５）により、軌跡構成点の軌跡画像を重畳すべき映像フレーム中に描画すべき位置のｘ座標を算出する。
【００７０】
【数５】
0004758842.tif 000006
【００７１】
このように、注目している軌跡構成点の軌跡画像を重畳すべき映像フレーム上における位置のｘ座標を求めることができる。なお、垂直方向についても同様に計算し、ｙ座標を得ることができる。これをすべての軌跡構成点について計算することで、現在撮影中の映像フレーム上での画像座標群を得ることができる。
図１に戻って、軌跡画像表示装置の構成について説明を続ける。
【００７２】
軌跡画像作画手段７４は、画像座標変換手段７３で算出された軌跡構成点群（画像座標）を用いて、軌跡画像（ＣＧ）を作画するものである。この軌跡画像作画手段７４は、軌跡構成点群の各点同士を互いにつなぐことで、連続的な軌跡曲線を作画する。
以上、軌跡画像作成手段７の構成について説明したが、カメラ映像に重畳する軌跡画像として、計測した軌跡点のみをプロットした静止画像とする場合は、軌跡曲線生成手段７１および軌跡構成点記憶手段７２は不要である。また、軌跡画像として計測した軌跡点の静止画像のみを作成するような装置においては、軌跡画像を重畳するカメラ映像のカメラパラメータの変更があると、オブジェクト位置記憶手段６から視線ベクトル群を読み出し、読み出した視線ベクトル群を軌跡画像作成手段７の画像座標変換手段７３でカメラパラメータに応じた画像座標群に変換し、この画像座標群の各点を軌跡画像作画手段７４によって丸や三角等の適宜な図形として作画（プロット）するように構成すればよい。
【００７３】
オブジェクト指定手段８は、オブジェクト抽出手段４によって自動的に検出できなかった映像オブジェクトの軌跡点を追加指定するものである。すなわち、オブジェクト指定手段８は、抽出が困難な場面等での映像オブジェクトの位置を手動で指定し、追加するもので、指定点の数や、オブジェクト抽出手段４で抽出に成功した抽出点列に対して、指定点の挿入先を任意に指定するものである。
なお、オブジェクト指定手段８は、追加指定された軌跡点に関する情報として、オブジェクト位置記憶手段６に記憶された視線ベクトル群における挿入先と、画像座標と、その軌跡点を指定したときに参照した映像フレームに対応するカメラパラメータとをオブジェクト位置算出手段５に出力する。ただし、オブジェクト指定手段８は、カメラパラメータの内のズーム量については、オブジェクト抽出手段４と同様に、画角情報記憶手段９に予め記憶された画角情報を参照し、ズーム量に対応する映像フレームの画角値に変換してからオブジェクト位置算出手段５に出力する。
【００７４】
ここで、図７を参照（適宜図１参照）して、オブジェクト指定手段８の構成について詳細に説明する。図７は、オブジェクト指定手段の構成を示すブロック図である。なお、オブジェクト指定手段８はＰＣ（パーソナル・コンピュータ）を用いて実現することができる。
ここでは、オブジェクト指定手段８は、画像記憶手段８１と、カメラパラメータ記憶手段８２と、挿入先指定手段８３と、オブジェクト位置指定手段８４と、カメラパラメータ取得手段８５とを備えている。
【００７５】
画像記憶手段８１は、移動する被写体を撮影した映像を録画（記憶）するものであって、一般的なハードディスク等の記憶装置である。
ここで映像を記憶しておくことで、時間的に順方向に映像フレームを辿って、映像フレーム中から映像オブジェクトを認識することが困難な場合でも、逆方向から遡って観察することで、映像オブジェクトであるボールの位置を認識することができる。
【００７６】
カメラパラメータ記憶手段８２は、移動する被写体を撮影した映像に対応するカメラパラメータを記憶するものであって、一般的なハードディスク等の記憶装置である。
【００７７】
挿入先指定手段８３は、オブジェクト抽出手段４によって抽出された映像オブジェクトの軌跡点群（視線ベクトル群）に対して、追加する軌跡点の挿入先を指定するものである。この挿入先指定手段８３は、オペレータ（カメラマン）によってＰＣのキーボード等の入力手段（図示せず）を介して、挿入先の指定を受け、すでに得られている視線ベクトル群に対して追加する軌跡点の挿入先をオブジェクト位置算出手段５に出力する。
【００７８】
オブジェクト位置指定手段８４は、映像フレームを参照して追加する軌跡点の画像座標を指定するものである。このオブジェクト位置指定手段８４は、所望の映像フレームをＰＣの表示装置に表示し、マウスをポインティングデバイスとして機能させ、マウスの動作に連動したカーソルを映像フレームが表示された画面上に重畳表示し、マウスに設けられたボタンが押下されたときに、カーソルが表示された点の映像フレーム上の座標を画像座標としてオブジェクト位置算出手段５に出力する。なお、ポインティングデバイスには、マウス以外にも、タッチパッド、トラックボール等でもよいし、表示画面上にタッチパネル設け、直接画面上の点をタッチして指示するように構成してもよい。
【００７９】
カメラパラメータ取得手段８５は、画像座標を指定したときに参照した映像に対応するカメラパラメータを、カメラパラメータ記憶手段８２またはカメラ３から取得するものである。すなわち、カメラパラメータ取得手段８５は、画像記憶手段８１に記憶した映像フレームを用いる場合、カメラパラメータ記憶手段８２からカメラパラメータを取得し、現在撮影中のカメラ映像の映像フレームを用いる場合は、カメラ３から出力されるカメラパラメータを直接取得する。
【００８０】
ここで、図４および図５を参照（適宜図７参照）して、オブジェクト指定手段８において、挿入点を指定する手法について説明する。
オブジェクト指定手段８は、オペレータが「打点」を選択した場合、挿入先指定手段８３によって、軌跡を構成する視線ベクトル群の一番目の点として指定した点を挿入する。また、オペレータが「静止点」を選択した場合、挿入先指定手段８３によって、視線ベクトル群の最後の点として指定した点を追加する。
【００８１】
例えば、図４において、飛翔中の軌跡点としてＢ１〜Ｂ１７が得られている状態で、「打点」を追加する場合、オペレータは「Ｂ１の前」を指示することで、挿入先を指定する。また、「落下点」を追加する場合、オペレータは「Ｂ１７の後」を指示することにより、挿入先を指定する。そして、「静止点」を追加する場合、オペレータは「落下点」を追加した後であれば、「Ｃの後」を指示することで、最後の点として挿入先を指定することができる。また、飛翔中の軌跡点中の挿入先を指定することも可能である。このように、指定する点の数、挿入先は任意に設定することができる。
【００８２】
また、図５は、オブジェクト抽出手段４（図１）によって抽出に成功した飛翔中の軌跡点Ｂ１〜Ｂ１７と、オブジェクト指定手段８によって、すでに追加した打点Ａの軌跡画像がその番号とともに表示した例を示している。この場合、オペレータは、次に追加する軌跡点として「落下点」を指定し、画面に表示された映像中にその位置をマウス等の入力手段によって指定する。例えば、オブジェクト指定手段８は、オブジェクト位置指定手段８４によって、画面に十字形のカーソルを表示し、マウスを操作されることで所望の位置にカーソルを移動させる。その後、マウスに設けられたボタンを押下することで「落下点」の画像座標が決定される。
なお、図５に表示された映像フレームは、移動軌跡全体を表示できる広角映像であるが、広角映像を参照しながら挿入先を指定した後、所望の望遠画像を表示して軌跡点の位置を指定することとしてもよい。
【００８３】
また、ここでは、オブジェクト指定手段８における軌跡点の追加をする機能について説明したが、不要な軌跡点を削除する機能を付加するようにしてもよい。不要な軌跡点を削除する場合は、軌跡点列をその番号とともにＰＣの画面上に表示し、削除したい軌跡点の番号をキーボードから指定するように構成することができる。
図１に戻って、軌跡画像表示装置の構成について説明を続ける。
【００８４】
画角情報記憶手段９は、カメラパラメータの内のズーム量と画角値との関係を予め記憶するものであって、一般的なハードディスク等の記憶装置である。例えば、ズーム量としてレンズのワイド端を“０．０”、テレ端を“１．０”とした場合、“０．０”〜“１．０”間のズーム量の値に対して、画角値を記憶しておく。例えば、ズーム量“０．１” の場合、画角値を“５０．０”とする。
【００８５】
軌跡画像合成手段１０は、軌跡画像作成手段７から入力された軌跡画像データに基づいて、図示しない軌跡画像用のフレームメモリ上に軌跡画像を描画するものである。この軌跡画像用のフレームメモリに描画された軌跡画像は、軌跡画像をカメラ３が撮影した映像信号と合成され、合成画像の映像信号として出力される。
【００８６】
画像表示手段１１は、軌跡画像合成手段１０によって軌跡画像が合成された映像信号を表示するものである。具体的には、ＣＲＴ（カソード・レイ・チューブ）モニタや液晶表示モニタ等の表示装置である。
以上、軌跡画像表示装置２の構成について説明したが、軌跡画像表示装置２から画像表示手段１１を省略することで、軌跡画像を生成する軌跡画像合成装置１として構成することもできる。
【００８７】
また、映像オブジェクトの軌跡画像合成装置１および映像オブジェクトの軌跡画像表示装置２は、一部またはすべてを専用のハードウェアを作成して実施することができるが、一般的なコンピュータプログラムを実行させ、コンピュータ内の演算装置、記憶装置、入力装置、画像表示装置等を動作させることにより実現することもできる。このプログラム（映像オブジェクトの軌跡画像表示プログラム）は、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。
【００８８】
(軌跡画像表示装置（軌跡画像合成装置）の動作)
次に、図１１を参照（適宜図１参照）して、映像オブジェクトの軌跡画像合成装置１を含む映像オブジェクトの軌跡画像表示装置２の動作を説明する。ここで、図１１は、映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の処理の流れを示すフロー図である。
軌跡画像表示装置２は、カメラ３から入力される映像信号（映像フレーム）およびカメラパラメータを映像フレームごとにオブジェクト抽出手段４に入力する（ステップＳ１０）。そして、オブジェクト抽出手段４によって、入力された映像フレームから所定の映像オブジェクトを抽出し、その映像フレーム内での映像オブジェクトの２次元座標（画像座標）を取得する（ステップＳ１１）。そして、オブジェクト抽出手段４は、取得した画像座標を、その画像座標を取得した映像フレームに対応したカメラパラメータとともにオブジェクト位置算出手段５に出力する。ただし、カメラパラメータの内のズーム量は、対応する画角値に変換されてからオブジェクト位置算出手段５に入力される。
【００８９】
また、軌跡画像表示装置２は、オブジェクト位置算出手段５によって、オブジェクト抽出手段４から入力される画像座標と、カメラ３の姿勢情報であるパン角・チルト角および画角とに基づいて、視線ベクトルを算出し（ステップＳ１２）、算出した視線ベクトル（オブジェクト位置）をオブジェクト位置記憶手段６に記憶する（ステップＳ１３）。ここで、オブジェクト抽出手段４は、１つの映像フレームから映像オブジェクトの視線ベクトルの算出が完了すると、次の映像フレームがあるか確認する（ステップＳ１４）。次の映像フレームがある場合は（ステップＳ１４でＹｅｓ）、ステップＳ１０に戻り、次の映像フレームの映像信号と対応するカメラパラメータを入力し、映像オブジェクトの抽出から視線ベクトルの算出・記憶までの処理（ステップＳ１０からステップＳ１３）を繰り返す。
【００９０】
一方、移動する被写体を撮影した一連の映像フレーム群から被写体に対応する映像オブジェクトの視線ベクトルの取得が終了すると（ステップＳ１４でＮｏ）、オブジェクト指定手段８によって、映像オブジェクトの軌跡点の追加があるかどうかを確認する（ステップＳ１５）。映像オブジェクトの軌跡点の追加がある場合は（ステップＳ１５でＹｅｓ）、オブジェクト指定手段８によって、オペレータが任意の映像フレームを参照しながら指定して追加する軌跡点に関する情報を取得する（ステップＳ１６）。
【００９１】
そして、軌跡画像表示装置２は、オブジェクト指定手段８において、追加指定された軌跡点に関する情報として、オブジェクト位置記憶手段６に記憶された視線ベクトル群における挿入先と、画像座標と、その軌跡点を指定したときに参照した映像フレームに対応するカメラパラメータとをオブジェクト位置算出手段５に出力する。ただし、カメラパラメータの内のズーム量は、画角情報記憶手段９に予め記憶された画角情報を参照し、ズーム量に対応する映像フレームの画角値に変換してからオブジェクト位置算出手段５に入力される。
【００９２】
そして、軌跡画像表示装置２は、オブジェクト位置算出手段５によって、オブジェクト指定手段８から入力された画像座標と、カメラの姿勢情報であるパン角・チルト角および画角とに基づいて視線ベクトルを算出し（ステップＳ１７）、算出した視線ベクトル（オブジェクト位置）を、オブジェクト指定手段８によって指定された視点ベクトル群における挿入先に従って、オブジェクト位置記憶手段６の視線ベクトル群に追加記憶する（ステップＳ１８）。そして、軌跡画像表示装置２は、指定された軌跡点のオブジェクト位置の記憶が終了すると、さらに、映像オブジェクトの軌跡点の追加があるかどうかを確認し（ステップＳ１５）、追加がある場合には（ステップＳ１５でＹｅｓ）、ステップＳ１６からステップＳ１８の処理を繰り返す。また、軌跡点の追加がない場合は（ステップＳ１５でＮｏ）、軌跡画像作成手段７によって軌跡画像作成処理を行う（ステップＳ１９）。
【００９３】
そして、指定点の追加がなくなると（ステップＳ１５でＮｏ）、軌跡画像表示装置２は、軌跡画像作成手段７によって、オブジェクト位置記憶手段６から読み出される映像オブジェクトの視線ベクトル群に基づいて、軌跡画像を重畳しようとする映像を撮影したときのカメラパラメータに対応した軌跡画像を作成する（ステップＳ２０）。なお、軌跡画像作成手段７の詳細な動作については後記する。
【００９４】
続いて、軌跡画像表示装置２は、軌跡画像合成手段１０によって、軌跡画像作成手段７により作成された軌跡画像と、カメラ３によって現在撮影中の映像信号とを合成し、合成画像の映像信号として出力する（ステップＳ２０）。
【００９５】
そして、軌跡画像表示装置２は、軌跡画像合成手段１０によって出力された軌跡画像が合成された映像信号を、必要に応じてＣＲＴ（カソード・レイ・チューブ）モニタや液晶表示モニタ等の画像表示手段１１によって表示する（ステップＳ２１）。なお、この軌跡画像が合成された映像信号は、テレビ放送電波やインターネット回線等を介して送信され、テレビ受像器やＰＣ（パーソナル・コンピュータ）等の受信器側の表示装置に表示される。
【００９６】
次に、図１１に示したフロー図のサブルーチンについて詳細に説明する。
＜オブジェクト抽出ステップ＞
オブジェクト抽出ステップＳ１１の詳細について、図１２を参照して説明する。ここで、図１２はオブジェクト抽出手段の処理の流れを示すフロー図である。
まず、オブジェクト抽出手段４は、第一段階としてクロマキー処理手段４１によって、入力された映像フレームから映像オブジェクト候補を抽出する（ステップＳ３０）。そして、第二段階として、フィルタ処理手段４２によって、抽出した映像オブジェクト候補に対しフィルタ処理を行い、クロマキー処理手段４１により抽出された映像オブジェクト候補から映像オブジェクトを抽出する（ステップＳ３１）。そして、重心算出手段４３によって、フィルタ処理手段４２により抽出された映像オブジェクトの抽出画像の重心を算出することで映像オブジェクトの中心位置を特定し、映像フレーム内における映像オブジェクトの２次元の画像座標を取得する（ステップＳ３２）。
【００９７】
＜オブジェクト位置算出ステップ＞
次に、オブジェクト位置算出ステップ（Ｓ１２およびＳ１７）の詳細について、図１３を参照して説明する。ここで、図１３はオブジェクト位置算出手段の処理の流れを示すフロー図である。
まず、軌跡画像表示装置２は、オブジェクト位置算出手段５によって、映像オブジェクトの画像座標とカメラパラメータが入力されると（ステップＳ４０）、カメラパラメータの内のズーム量を、ズーム量と画角値との関係を予め記憶した画角情報記憶手段９を参照し、画角値を取得する（ステップＳ４１）。そして、軌跡画像表示装置２は、オブジェクト位置算出手段５の誤差角度算出手段５１によって、その画角値に基づいて、画像座標を誤差角度に変換する（ステップＳ４２）。そして、オブジェクト位置算出手段５の加算手段５２によって、誤差角度算出手段５１で算出された水平・垂直方向の誤差角度を、それぞれパン角・チルト角値へ加算することで、映像オブジェクトの視線ベクトルを算出する（ステップＳ４３）。
【００９８】
＜オブジェクト指定ステップ＞
次に、オブジェクト指定ステップＳ１６の詳細について、図１４を参照して説明する。ここで、図１４はオブジェクト指定手段の処理の流れを示すフロー図である。
まず、軌跡画像表示装置２は、オブジェクト指定手段８において、挿入先指定手段８３によって、オペレータがＰＣのキーボード等の入力手段を介して行う指定により、すでに得られている視線ベクトル群に対して追加する軌跡点の挿入先を取得する（ステップＳ５０）。
【００９９】
そして、挿入先が指定されると、オブジェクト指定手段８は、軌跡点の位置を特定するために、オブジェクト位置指定手段８４に対して、オペレータの選択に従って参照する映像フレームを指示する（ステップＳ５１）。この参照する映像フレームとしては、現在撮影中の映像フレームを参照するか、画像記憶手段８１に録画しておいた、対象とする映像オブジェクトを撮影した一連の映像フレーム群から所望の映像フレームを読み出して参照するかを選択できる。
【０１００】
なお、画像記憶手段８１に録画された映像を参照する場合は、追加すべき映像オブジェクトが撮影された映像フレームを参照するのが望ましい。例えば、落下点を追加したい場合は、オブジェクト位置指定手段８４は、図４において落下点を撮影した映像フレームＦＣを画像記憶手段８１から取得して、ＰＣの表示装置に表示する（ステップＳ５２）。このときオペレータによってコマ送りが選択されると、オブジェクト位置指定手段８４は、画像記憶手段８１に録画された映像フレームを１枚ずつ読み出して表示するため、オペレータは所望の映像フレームを正確に指定することができる（ステップＳ５１〜ステップＳ５３の繰り返し）。
そして、軌跡画像表示装置２は、オブジェクト位置指定手段８４により、所望の映像フレームを取得してＰＣの画面上に表示すると（ステップＳ５３でＹｅｓ）、オペレータによるマウスの操作に連動してカーソルを移動させる。そして、オペレータによってマウスのボタンが押下されたときのカーソル表示点の映像フレーム上の座標を、追加する軌跡点の画像座標として取得する（ステップＳ５４）。
【０１０１】
そして、追加する軌跡点の画像座標が指定されると、カメラパラメータ取得手段８５によって、参照した映像フレームに対応するカメラパラメータを取得する（ステップＳ５５）。
なお、参照した映像フレームが画像記憶手段８１に録画された映像の場合は、カメラパラメータ取得手段８５は、カメラパラメータ記憶手段８２から参照した映像フレームに対応するカメラパラメータを取得する。
また、参照する映像フレームとして現在撮影中のカメラ映像を用いる場合は、カメラパラメータ取得手段８５は、カメラ３から出力されるカメラパラメータを直接取得する。
【０１０２】
また、オブジェクト指定手段８によって取得した、軌跡点として追加する点の画像座標、カメラパラメータおよび視線ベクトル群に対する挿入先の情報は、オブジェクト位置算出手段５に出力され、視線ベクトルが算出されると（図１１のステップＳ１７）、オブジェクト位置記憶手段６に記憶された視線ベクトル群に追加記憶される（図１１のステップＳ１８）。
【０１０３】
＜軌跡画像作成ステップ＞
次に、軌跡画像作成ステップＳ１９の詳細について、図１５を参照して説明する。ここで、図１５は軌跡画像作成手段の動作の流れを示すフロー図である。
まず、軌跡画像表示装置２は、軌跡画像作成手段７の軌跡曲線生成手段７１によって、オブジェクト位置記憶手段６から軌跡に対応する一連の視線ベクトル群を読み出し、その視線ベクトル群にベジェ曲線、スプライン曲線、２次曲線等の曲線関数を適用して軌跡曲線を定義し、その軌跡曲線を構成する点列の視線ベクトル群を算出する（ステップＳ６０）。この算出した視線ベクトル群は、軌跡構成点記憶手段７２に一旦記憶される（ステップＳ６１）。
【０１０４】
そして、軌跡画像表示装置２は、軌跡画像作成手段７の画像座標変換手段７３によって、軌跡構成点記憶手段７２に記憶された視線ベクトル群のデータを読み出し、極座標で表わされた視線ベクトル群を、現在撮影中のカメラパラメータに対応した画像座標群に変換する（ステップＳ６２）。
さらに、軌跡画像表示装置２は、軌跡画像作成手段７の軌跡画像作画手段７４によって、画像座標変換手段７３により算出した軌跡構成点群（画像座標）に基づいて、軌跡画像を作画する（ステップＳ６３）。
【０１０５】
そして、軌跡画像表示装置２は、軌跡画像作成手段７によって、他の軌跡も作画するかどうかを確認し（ステップＳ６４）、さらに作画すべき軌跡がある場合は（ステップＳ６４でＹｅｓ）、作画すべき軌跡の軌跡構成点群を指定して（ステップＳ６６）、軌跡構成点記憶手段７２から読み出した視線ベクトル群から画像座標群への変換処理（ステップＳ６２）と軌跡画像作画処理（ステップＳ６３）を順次行う。一方、他に作画すべき軌跡がない場合は（ステップＳ６４でＮｏ）、軌跡画像作成手段７は、軌跡画像を重畳すべき映像を撮影中のカメラパラメータに変更がないかを確認する（ステップＳ６５）。そして、カメラパラメータの変更がある場合は（ステップＳ６５でＹｅｓ）、作画すべき軌跡について軌跡構成点記憶手段７２から軌跡構成点を読み出し、再度変更されたカメラパラメータに対応する軌跡画像を作画する（ステップＳ６２〜ステップＳ６４、ステップＳ６６）。一方、カメラパラメータの変更がない場合は（ステップＳ６５でＮｏ）処理を終了し、カメラ３で撮像される映像と軌跡画像の合成を行う（図１１に示すフロー図のステップＳ２０）。
【０１０６】
以上の動作によって、映像オブジェクトの軌跡画像合成装置１は、映像オブジェクトの軌跡画像とカメラ映像を合成した合成画像の映像信号を出力し、また、映像オブジェクトの軌跡画像表示装置２は、は、その合成画像の映像を表示することができる。
これによって、軌跡画像表示装置２（軌跡画像合成装置１）は、軌跡画像（ＣＧ）を生成し、映像と合成することで、図９に示すような、被写体の軌跡を映像上に軌跡曲線として表示（合成）することができる。
また、この軌跡画像はＣＧであるため、軌跡の色、形、大きさ、線種等は任意に指定できる。例えば、図１０に示すように、ゴルフのティーショットにおいてプレーヤーごとに色を変えれば（図中では、線種を変えている）、選手の弾道の差を明確に示すことができる。また、軌跡画像表示装置２（軌跡画像合成装置１）は、打点から静止点までを徐々に作画することで、動画として表示することも可能である。
【０１０７】
なお、本実施の形態では、軌跡画像を重畳する映像は、カメラで現在撮影中の映像を例に説明したが、映像はカメラで撮影中の生映像に限られるものではなく、ハードディスク、光ディスク、ビデオテープ等の記憶手段に録画された映像に対しても、その映像を撮影したときのカメラパラメータを記憶しておき、読み出せる構成として本発明を適用することができる。
また、本実施の形態では、オブジェクト抽出手段４およびオブジェクト指定手段８によって取得された軌跡測定点の視線ベクトル群に基づき、ベジェ曲線等の曲線関数を適用して軌跡曲線を作成し、軌跡曲線を構成する点を再計算して描画するようにしたが、曲線関数を適用することなく、軌跡測定点のみ描画（プロット）するようにしてもよい。
また、業務用テレビカメラを用いて撮影した映像に限らず、パン・チルト・ズームの各機能を有する撮像手段であれば、屋内や市街地等に設置するウェブカメラを用いて撮像した映像にも適用することができる。
なお、本実施の形態ではゴルフ中継でのボール軌跡を例として説明したが、野球やサッカー等の他の競技にも適用することができる。また、競技に限らず、例えば人物や自動車のような移動体についても、映像フレームから抽出可能な移動体の軌跡表示にも適用することができる。
【０１０８】
［第２の実施形態］
（本発明の原理）
前記した第１の実施形態においては、図１のオブジェクト指定手段８によって、視線ベクトルの取得が終了した後、軌跡点に関する情報を追加している。この追加作業は、視線ベクトルの取得が終了したタイミングをリアルタイムで検出できれば、その作業を素早く開始することが可能になる。
また、ボールの落下点を追加する場合、落下時刻や落下位置を推定することで作業時間を短縮することができる。
そこで、ここでは、被写体が地面に落下したタイミングおよびその地点を検出することとする。
【０１０９】
（軌跡画像表示装置の構成）
まず、図１６を参照して、本発明の第２の実施形態に係る映像オブジェクトの軌跡画像表示装置（軌跡画像合成装置を含む）の構成について説明する。図１６は本発明の第２の実施形態に係る映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の全体構成を示すブロック図である。
図１６に示すように、軌跡画像表示装置２Ｂは、オブジェクト抽出手段４Ｂと、オブジェクト位置算出手段５と、オブジェクト位置記憶手段６と、軌跡画像作成手段７と、オブジェクト指定手段８と、画角情報記憶手段９と、軌跡画像合成手段１０と、画像表示手段１１と、オブジェクト落下位置予測手段１２とを備えている。オブジェクト抽出手段４Ｂおよびオブジェクト落下位置予測手段１２以外の構成については、図１で説明した軌跡画像表示装置２と同一のものであるため、同一の符号を付し、説明を省略する。
【０１１０】
オブジェクト抽出手段４Ｂは、映像フレームごとに、映像オブジェクトの２次元座標（画像座標）と、その大きさ（面積）を抽出するものである。ここで、図１７を参照（適宜図１６参照）して、オブジェクト抽出手段４Ｂの構成について説明する。図１７は、オブジェクト抽出手段の構成を示すブロック図である。
図１７に示すように、オブジェクト抽出手段４Ｂは、クロマキー処理手段４１と、フィルタ処理手段４２と、重心算出手段４３Ｂとを備えている。なお、重心算出手段４３Ｂ以外の構成については、図２で説明したオブジェクト抽出手段４と同一のものであるため、同一の符号を付し、説明を省略する。
【０１１１】
重心算出手段４３Ｂは、フィルタ処理手段４２で抽出された映像オブジェクトの重心の座標（画像座標）を算出し、その映像オブジェクトの面積とともに出力するものである。すなわち、重心算出手段４３（図２）では、重心の画像座標のみを出力していたものを、重心算出手段４３Ｂでは、映像オブジェクトの面積を併せて出力することとした。この重心の画像座標および面積はオブジェクト落下位置予測手段１２（図１６）に出力される。なお、重心の画像座標の他の出力先については、重心算出手段４３（図２）で説明した出力先と同様である。
図１６に戻って、軌跡画像合成装置１Ｂの構成について説明を続ける。
【０１１２】
オブジェクト落下位置予測手段１２は、オブジェクト抽出手段４Ｂで抽出された映像オブジェクトの重心の画像座標および面積に基づいて、映像オブジェクトとして抽出された被写体であるボールの地面への落下位置（予測落下位置）を予測するものである。このオブジェクト落下位置予測手段で予測された落下位置は、落下点の指定情報としてオブジェクト指定手段８へ出力される。
ここで、図１８を参照（適宜図１６参照）して、オブジェクト落下位置予測手段１２の構成について説明する。図１８は、オブジェクト落下位置検出手段の構成を示すブロック図である。
図１８に示すように、オブジェクト落下位置予測手段１２は、ショット検出手段１２１と、位置予測手段１２２と、落下点検出手段１２３と、座標変換手段１２４とを備えている。
【０１１３】
ショット検出手段（被写体移動開始検出手段）１２１は、被写体（ゴルフボール）を撮影しているカメラ３のカメラパラメータの変化量と予め定めた閾値との差分に基づいて、被写体の移動の開始を検出するものである。ここでは、被写体をゴルフボールとしているため、ショット検出手段１２１は、ゴルフボールが打たれたタイミングを検出することとする。ボールが打たれると、映像内にボールを捉えるため、カメラマンが急激にカメラ３を振り上げる動作をする。このとき、カメラパラメータのチルト角が急激に変化する。
【０１１４】
そこで、ここでは、ショット検出手段１２１は、単位時間（映像フレーム）ごとに、ある時刻ｔにおける映像フレームのチルト角θｔと、その直前（ｔ−１）の映像フレームのチルト角θｔ−１との差が、以下の式（６）に示すように、予め定めた閾値Ｔよりも大きくなった段階で、ゴルフボールが打たれたことを検出する。このショット検出手段１２１によって、ゴルフボールが打たれたことを検出した旨が、位置予測手段１２２に通知され、位置予測手段１２２が動作を開始する。
【０１１５】
【数６】
0004758842.tif 000007
【０１１６】
位置予測手段１２２は、オブジェクト抽出手段４Ｂで抽出された映像オブジェクトの重心の画像座標および面積と、その抽出されたときのカメラパラメータとに基づいて、被写体であるボールの３次元位置を予測するものである。ここでは、位置予測手段１２２は、拡張カルマンフィルタを用いてボールの３次元位置を逐次推定する。
ここで、以下の式（７）に示すように、拡張カルマンフィルタの状態量Ｘを、３次元直交座標上でのボールの位置座標（ｘ，ｙ，ｚ）、速度（ｖｘ，ｖｙ，ｖｚ）、加速度（ａｘ，ａｙ，ａｚ）とし、観測量Ｙを、オブジェクト抽出手段４Ｂで抽出された映像オブジェクトの重心の画像座標（Ｘｇ，Ｙｇ）および面積（Ａ）とする。なお、上付き添え字Ｔは行列の転置を表している。
【０１１７】
【数７】
0004758842.tif 000008
【０１１８】
また、ここでは、以下の式（８）に示すように、１フレームを単位時間とした状態遷移行列をＦとし、一定の重力ｇのもとでの放物運動にシステムノイズｖｔを加えたものを運動モデルとした。なお、システムノイズｖｔの共分散行列をＱとする。また、Ｉ，Ｏをそれぞれ３×３の単位行列、零行列とし、ｔをフレーム数とする。また、Ｅは期待値を示している。
【０１１９】
【数８】
0004758842.tif 000009
【０１２０】
そして、位置予測手段１２２は、単位時間ごとに以下の式（９）に示す状態推定式に従って、ボールの位置を逐次予測する。ここで、Ｐは状態量の誤差共分散行列である。なお、オブジェクト抽出手段４Ｂで抽出に失敗した（観測量が得られない）場合、誤差共分散行列Ｐの要素値は、システムノイズｖｔの共分散行列Ｑの値に従い増加することになる。
【０１２１】
【数９】
0004758842.tif 000010
【０１２２】
また、ここでは、以下の式（１０）に示すように、カメラパラメータ（パン角：φ、チルト角：θ、焦点距離：ｆ）による透視投影ｈ（Ｘ）に、共分散行列Ｒを持つ観測ノイズｗｔを加えたものを観測モデルとした。なお、ボールの初期位置座標（ｘ，ｙ，ｚ）は、撮影前にキャリブレーションにより予め決定しておく。また、ボールの初期速度（ｖｘ，ｖｙ，ｖｚ）および面積式の係数ｓは、撮影前に予め基準となるショット軌道から決定しておく。
【０１２３】
【数１０】
0004758842.tif 000011
【０１２４】
ここで、オブジェクト抽出手段４Ｂで抽出に成功した（観測量が得られた）場合、位置予測手段１２２は、以下の式（１１）に示した更新式に従って、状態量Ｘおよび誤差共分散行列Ｐの要素を更新する。なお、Ｈは観測感度行列である。
【０１２５】
【数１１】
0004758842.tif 000012
【０１２６】
このように、位置予測手段１２２は、前記した式（９）に示した状態推定式と、式（１１）に示した更新式とに基づいて、観測が得られた際には更新しながら逐次状態推定を行い、ボールの３次元位置を予測する。
【０１２７】
落下点検出手段１２３は、位置予測手段１２２で予測された３次元位置と、カメラ３の位置に基づいて予め定めた３次元空間座標とに基づいて、被写体（ボール）の地面への落下点を検出するものである。
すなわち、落下点検出手段１２３は、位置予測手段１２２で予測されたボールの位置（状態量Ｘの要素ｖｚ）が、カメラ３の位置を原点とする３次元空間座標で、予め地面として設定されている高さ（ｚ軸方向）よりも下回った段階で、ボールが落下したと判定する。この落下点検出手段１２３で検出された落下点の位置は、座標変換手段１２４に出力される。
なお、落下点検出手段１２３は、落下点を検出した映像フレームあるいは時刻を、オブジェクト位置記憶手段６に記憶しておくこととしてもよい。これによって、後からボールの落下時の映像を容易に検索することが可能になる。
【０１２８】
座標変換手段１２４は、カメラパラメータに基づいて、落下点検出手段１２３で検出された落下点（予測落下位置）を、映像フレーム内での画像座標に変換するものである。
すなわち、座標変換手段１２４は、カメラ３のカメラパラメータ（パン角：φ、チルト角：θ、焦点距離：ｆ）に基づいて、３次元直交座標で示される予測落下位置を、２次元の画像座標に変換する。なお、この画像座標は、前記式（１０）で示した透視投影ｈ（Ｘ）と同様の変換式を用いることで求めることができる。この予測落下位置を示す画像座標は、オブジェクト指定手段８へ出力される。
【０１２９】
以上説明したように、軌跡画像表示装置２Ｂは、ボールの落下時とその落下点を予測することができるため、落下を検出した段階で、オペレータ（カメラマン）は、軌跡点の挿入等の指定作業を素早く開始することができる。また、ボールの落下時とその落下点を予測することができるため、画像記憶手段８１（図７参照）から落下時の画像を素早く検索でき、落下位置の指定作業時間を短縮することができる。
なお、軌跡画像表示装置２Ｂは、誤差共分散行列の要素値に応じて、予測落下位置に対して、ボールが存在する可能性が高い範囲を予測範囲として、画面上に重畳表示することとしてもよい。例えば、図１９に示すように、予測落下位置Ｖを表示するとともに、誤差共分散行列の要素値の大きさに基づいて、予測範囲Ｗを表示する。これによって、オペレータ（カメラマン）は、落下位置の修正を行う場合に、予測範囲Ｗでボールを探索すればよいため、落下位置を素早く修正することができる。
また、軌跡画像表示装置２Ｂは、画像表示手段１１を省略して軌跡画像合成装置１Ｂとして構成することもできる。
【図面の簡単な説明】
【０１３０】
【図１】本発明の第１の実施形態に係る映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の全体構成を示すブロック図である。
【図２】オブジェクト抽出手段の構成を示すブロック図である。
【図３】映像フレームから映像オブジェクトの抽出および位置の検出をする様子を説明するための図である。（ａ）は映像オブジェクトと背景が撮影された映像フレームの原画像である。（ｂ）は映像フレームから映像オブジェクトを抽出した様子を示す図である。（ｃ）は抽出した映像オブジェクトと映像フレーム内の座標軸の関係を示す図である。（ｄ）は抽出した映像オブジェクトの画像座標を示す図である。
【図４】移動する被写体と、その被写体を追跡撮影する映像フレームの様子を示す図である。
【図５】移動する被写体を撮影した映像から計測した映像オブジェクトの軌跡点に対して、軌跡点の追加を指定する様子を示す図である。
【図６】オブジェクト位置算出手段の構成を示すブロック図である。
【図７】オブジェクト指定手段の構成を示すブロック図である。
【図８】画像座標変換手段の構成を示すブロック図である。
【図９】本発明に係る映像オブジェクトの軌跡表示装置による軌跡画像を重畳した映像を示す画面例である。
【図１０】本発明に係る映像オブジェクトの軌跡表示装置による複数の軌跡を重畳した映像を示す画面例である。
【図１１】本発明に係る映像オブジェクトの軌跡画像作成装置、映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の処理の流れを示すフロー図である。
【図１２】オブジェクト抽出手段の処理の流れを示すフロー図である。
【図１３】オブジェクト位置算出手段の処理の流れを示すフロー図である。
【図１４】オブジェクト指定手段の処理の流れを示すフロー図である。
【図１５】軌跡画像作成手段の処理の流れを示すフロー図である。
【図１６】本発明の第２の実施形態に係る映像オブジェクトの軌跡画像合成装置を含む映像オブジェクトの軌跡画像表示装置の全体構成を示すブロック図である。
【図１７】本発明の第２の実施形態に係るオブジェクト抽出手段の構成を示すブロック図である。
【図１８】オブジェクト落下位置予測手段の構成を示すブロック図である。
【図１９】本発明に係る映像オブジェクトの軌跡表示装置による予測落下位置および予測範囲を重畳した映像を示す画面例である。
【符号の説明】
【０１３１】
１      軌跡画像合成装置
２      軌跡画像表示装置
３      カメラ
４      オブジェクト抽出手段
５      オブジェクト位置算出手段
６      オブジェクト位置記憶手段
７      軌跡画像作成手段
７１    軌跡曲線生成手段
７２    軌跡構成点記憶手段
７３    画像座標変換手段
７４    軌跡画像作画手段
８      オブジェクト指定手段
９      画角情報記憶手段
１０    軌跡画像合成手段
１１    画像表示手段
１２    オブジェクト落下位置予測手段
１２１  ショット検出手段（被写体移動開始検出手段）
１２２  位置予測手段
１２３  落下点検出手段
１２４  座標変換手段
【図１】
0004758842.tif 000013
【図２】
0004758842.tif 000014
【図３】
0004758842.tif 000015
【図４】
0004758842.tif 000016
【図５】
0004758842.tif 000017
【図６】
0004758842.tif 000018
【図７】
0004758842.tif 000019
【図８】
0004758842.tif 000020
【図９】
0004758842.tif 000021
【図１０】
0004758842.tif 000022
【図１１】
0004758842.tif 000023
【図１２】
0004758842.tif 000024
【図１３】
0004758842.tif 000025
【図１４】
0004758842.tif 000026
【図１５】
0004758842.tif 000027
【図１６】
0004758842.tif 000028
【図１７】
0004758842.tif 000029
【図１８】
0004758842.tif 000030
【図１９】
0004758842.tif 000031