(57)【要約】【課題】  オクルージョンが頻繁に発生するオブジェクトを少ない固定カメラで好適に追跡することが可能なオブジェクト追跡装置を提供する。【解決手段】  オブジェクト追跡装置としてのオブジェクト追跡部５１は、逐次学習型の追跡手法によってオブジェクトを追跡する追跡部５１ｂと、現フレームに含まれるオブジェクトのサイズが大きいほど、次フレームにおけるオブジェクトの探索範囲のサイズが大きくなるように、固定カメラ映像のフレームに探索範囲を設定する探索範囲設定部５１ｃと、を備え、追跡部５１ｂは、探索範囲設定部５１ｃによってフレームに設定された探索範囲内において、オブジェクトを追跡する。【選択図】      図５
2018206285.tif 000002
【特許請求の範囲】
【請求項１】
固定カメラ映像に含まれるオブジェクトを追跡するオブジェクト追跡装置であって、
逐次学習型の追跡手法によって前記オブジェクトを追跡する追跡部と、
前記固定カメラ映像の現フレームに含まれる前記オブジェクトのサイズが大きいほど、次フレームにおける前記オブジェクトの探索範囲のサイズが大きくなるように、前記固定カメラ映像のフレームに前記探索範囲を設定する探索範囲設定部と、
を備え、
前記追跡部は、前記探索範囲設定部によって前記フレームに設定された前記探索範囲内において、前記オブジェクトを追跡する
ことを特徴とするオブジェクト追跡装置。
【請求項２】
前記オブジェクトの色に基づいて、前記フレームに含まれるオブジェクト候補を抽出したオブジェクト候補画像を生成するオブジェクト候補画像生成部を備え、
前記追跡部は、前記オブジェクト候補画像を用いて前記オブジェクトを追跡し、
前記探索範囲設定部は、前記オブジェクト候補画像において前記探索範囲を設定する
ことを特徴とする請求項１に記載のオブジェクト追跡装置。
【請求項３】
請求項１又は請求項２に記載のオブジェクト追跡装置と、
前記追跡部によって追跡された前記オブジェクトの座標を射影変換する射影変換装置と、
前記オブジェクト追跡装置によって追跡された前記オブジェクトの位置群、又は、前記オブジェクト追跡装置によって追跡されて前記射影変換装置によって射影変換された前記オブジェクトの位置群に基づいて、前記オブジェクトの軌跡を生成する軌跡生成装置と、
を備え、
前記射影変換装置は、
前記固定カメラ映像に含まれる前記オブジェクトの座標を、変換用の座標系に射影変換する第一の変換部と、
前記変換用の座標系に変換された前記オブジェクトの座標を、前記固定カメラ映像とは異なる視点からの座標系に射影変換する第二の変換部と、
を備えることを特徴とするオブジェクト軌跡生成システム。
【請求項４】
前記第一の変換部は、フィールドを一方側から撮影した前記オブジェクトの座標を、前記フィールドを上から見た前記変換用の座標系に変換し、
前記第二の変換部は、前記変換用の座標系に変換された前記オブジェクトの座標を、前記フィールドを一方側から異なる画角で見た座標系に変換する
ことを特徴とする請求項３に記載のオブジェクト軌跡生成システム。
【請求項５】
前記第一の変換部は、フィールドを一方側から撮影した前記オブジェクトの座標を、前記フィールドを上から見た前記変換用の座標系に変換し、
前記第二の変換部は、前記変換用の座標系に変換された前記オブジェクトの座標を前記フィールドの面内で１８０°回転させるとともに、１８０°回転した前記オブジェクトの座標を前記フィールドを前記一方側と対向する他方側から見た座標系に変換する
ことを特徴とする請求項３に記載のオブジェクト軌跡生成システム。
【請求項６】
前記軌跡生成装置は、スプライン補間によって前記オブジェクトの軌跡を生成する
ことを特徴とする請求項３から請求項５のいずれか一項に記載のオブジェクト軌跡生成システム。
【請求項７】
前記オブジェクトは、カーリングのストーンである
ことを特徴とする請求項３から請求項６のいずれか一項に記載のオブジェクト軌跡生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固定カメラの撮影結果からオブジェクトを追跡する技術に関する。
【背景技術】
【０００２】
映像解析技術の進展に伴い、カメラをセンサとした様々なアプリケーションが提案されている。ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラ映像をセンサとしてテニスボールを３次元的に追跡し、ジャッジに絡むイン／アウトの判定を行っている。また２０１４年のＦＩＦＡワールドカップで用いられたゴールラインテクノロジーは、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムへ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するトラッキングシステム（例えば、ＴＲＡＣＡＢ）等、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。
【０００３】
特許文献１，２には、カメラ映像内から物体像の重なりにより追跡が困難となるオクルージョン現象を回避しつつ、広域を移動する物体を追跡する手法が記載されている。これらの手法では、８台程度の多数のカメラ映像中から対象物を追跡し、オクルージョンが発生した際には、他のオクルージョンの発生していないカメラの情報を利用しながら頑健に追跡する。
【０００４】
特許文献３には、サッカーボールなどの追跡対象オブジェクトに送信機を取り付け、その位置をリアルタイムで計測する手法が記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−９４９７５号公報
【特許文献２】特開２０１６−１４４７号公報
【特許文献３】特表２００６−５０４０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１，２に記載の手法は、カメラを多数設置できる環境では有効であるが、カーリング競技場のようにカメラ台数に制約がある場合は利用が困難である。また、特許文献３に記載の手法は、カーリングのようにルールによって競技に用いる用具への加工が禁じられている場合には利用することができない。
【０００７】
本発明は、前記の点に鑑みてなされたものであり、オクルージョンが頻繁に発生するオブジェクトを少ない固定カメラで好適に追跡することが可能なオブジェクト追跡装置及びオブジェクト軌跡生成システムを提供することを課題とする。
【課題を解決するための手段】
【０００８】
前記した課題を解決するために、本発明のオブジェクト追跡装置は、固定カメラ映像に含まれるオブジェクトを追跡するオブジェクト追跡装置であって、追跡部と、探索範囲設定部と、を備える。
【０００９】
オブジェクト追跡装置は、前記追跡部により、逐次学習型の追跡手法によって前記オブジェクトを追跡し、前記探索範囲設定部により、前記固定カメラ映像の現フレームに含まれる前記オブジェクトのサイズが大きいほど、次フレームにおける前記オブジェクトの探索範囲のサイズが大きくなるように、前記固定カメラ映像のフレームに前記探索範囲を設定する。また、オブジェクト追跡装置は、前記追跡部により、前記探索範囲設定部によって前記フレームに設定された前記探索範囲内において、前記オブジェクトを追跡する。
【００１０】
オブジェクト追跡装置は、オブジェクト候補画像生成部を備える構成であってもよい。この場合には、オブジェクト追跡装置は、前記オブジェクト候補画像生成部により、前記オブジェクトの色に基づいて、前記フレームに含まれるオブジェクト候補を抽出したオブジェクト候補画像を生成し、前記追跡部により、前記オブジェクト候補画像を用いて前記オブジェクトを追跡し、前記探索範囲設定部により、前記オブジェクト候補画像において前記探索範囲を設定する。
【００１１】
また、本発明のオブジェクト軌跡生成システムは、前記オブジェクト追跡装置と、射影変換装置と、軌跡生成装置と、を備える。オブジェクト軌跡生成システムは、前記射影変換装置により、前記追跡部によって追跡された前記オブジェクトの座標を射影変換し、前記軌跡生成装置により、前記オブジェクト追跡装置によって追跡された前記オブジェクトの位置群、又は、前記オブジェクト追跡装置によって追跡されて前記射影変換装置によって射影変換された前記オブジェクトの位置群に基づいて、前記オブジェクトの軌跡を生成する。
【００１２】
また、前記射影変換装置は、第一の変換部と、第二の変換部と、を備える。射影変換装置は、前記第一の変換部により、前記固定カメラ映像に含まれる前記オブジェクトの座標を、変換用の座標系に射影変換し、前記第二の変換部により、前記変換用の座標系に変換された前記オブジェクトの座標を、前記固定カメラ映像とは異なる視点からの座標系に射影変換する。
【００１３】
前記射影変換装置は、前記第一の変換部により、フィールドを一方側から撮影した前記オブジェクトの座標を、前記フィールドを上から見た前記変換用の座標系に変換し、前記第二の変換部により、前記変換用の座標系に変換された前記オブジェクトの座標を、前記フィールドを一方側から異なる画角で見た座標系に変換する構成であってもよい。
【００１４】
また、前記射影変換装置は、前記第一の変換部により、フィールドを一方側から撮影した前記オブジェクトの座標を、前記フィールドを上から見た前記変換用の座標系に変換し、前記第二の変換部により、前記変換用の座標系に変換された前記オブジェクトの座標を前記フィールドの面内で１８０°回転させるとともに、１８０°回転した前記オブジェクトの座標を前記フィールドを前記一方側と対向する他方側から見た座標系に変換する構成であってもよい。
【００１５】
オブジェクト軌跡生成システムは、前記軌跡生成装置により、スプライン補間によって前記オブジェクトの軌跡を生成する構成であってもよい。
【００１６】
前記オブジェクトは、カーリングのストーンであってもよい。
【発明の効果】
【００１７】
本発明によると、オクルージョンが頻繁に発生するオブジェクトを少ない固定カメラで好適に追跡することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係るオブジェクト軌跡生成システムを示す模式図である。
【図２】（ａ）は、撮影画像の一例を示す図であり、（ｂ）は（ａ）のオブジェクト付近を示す拡大図である。
【図３】（ａ）は、撮影画像の一例を示す図であり、（ｂ）は（ａ）のオブジェクト付近を示す拡大図である。
【図４】（ａ）は、撮影画像の一例を示す図であり、（ｂ）は（ａ）のオブジェクト付近を示す拡大図である。
【図５】本発明の実施形態に係るオブジェクト軌跡生成システムを示すブロック図である。
【図６】探索範囲の設定手法を説明するための図であって、（ａ）はｔ−１枚目のオブジェクト候補画像におけるオブジェクト及び探索範囲の一例を示す図、（ｂ）はｔ枚目のオブジェクト候補画像におけるオブジェクト及び探索範囲の一例を示す図、（ｃ）はｔ＋１枚目のオブジェクト候補画像におけるオブジェクト及び探索範囲の一例を示す図である。
【図７】画角変化への対応手法及び軌跡の反転手法を説明するための図であって、（ａ）は固定カメラによるカーリングシートの撮影結果の一例を示す図、（ｂ）は上方視点座標系に射影変換されたカーリングシートの撮影結果の一例を示す図である。
【図８】画角変化への対応手法を説明するための図であって、他の画角の固定カメラの座標系に変換されたカーリングシートの撮影結果の一例を示す図である。
【図９】軌跡の反転手法を説明するための図であって、（ａ）は上方視点座標系に射影変換されたカーリングシートの撮影結果を反転させた一例を示す図、（ｂ）は他方の固定カメラの座標系に変換されたカーリングシートの撮影結果の一例を示す図である。
【図１０】オブジェクトの軌跡の合成画像の一例を示す図である。
【図１１】本発明の実施形態に係るオブジェクト軌跡生成システムの動作例を説明するフローチャートである。
【図１２】本発明の実施形態に係るオブジェクト軌跡生成システムの動作例を説明するフローチャートである。
【図１３】本発明の実施形態に係るオブジェクト軌跡生成システムの動作例を説明するフローチャートである。
【発明を実施するための形態】
【００１９】
本発明の実施形態について、本発明の装置及び装置を、オブジェクトとしてのカーリングのストーンの追跡に適用した場合を例にとり、図面を参照して詳細に説明する。以下の説明において、同一の要素には同一の符号を付し、重複する説明は省略する。
【００２０】
カーリングは、氷上でハウスと呼ばれるサークルにストーンを投げ合い、その位置に応じた得点を競う競技である。ストーンの投げやすさはその日のカーリングシートの状態や、投石によるカーリングシートの状況変化に大きく左右される。その場その場で投げやすいコースを見極めて投げつつ、逆に敵チームには投げにくいコースへ投げさせる状況を作ることが勝負の秘訣である。
【００２１】
カメラ映像だけでカーリングシートの状態や各チームの戦術を伝えきるには限界があるが、本発明のオブジェクト軌跡生成システムは、投石の軌跡を累積表示することにより、解説コメントを交えて視聴者に分かりやすく状況を伝えることができる。カーリング競技でのストーン軌跡表示は初の試みであり、その映像表現自体にも新規性を有する。
【００２２】
図１に示すように、本発明の実施形態に係るオブジェクト軌跡生成システム１は、カーリングにおける長さＬＡ約４５［ｍ］、幅ＷＡ約５［ｍ］のカーリングシート２の撮影結果に、オブジェクト４としてのストーンの軌跡を表示するためのシステムである。カーリングシート２の長さ方向両端部には、それぞれハウス３Ａ，３Ｂが設けられている。オブジェクト４は、奇数エンドにおいてハウス３Ｂ側からハウス３Ａへ向けて投じられ、偶数エンドにおいてハウス３Ａ側からハウス３Ｂへ向けて投じられる。オブジェクト軌跡生成システム１は、固定カメラ１０としての第一の固定カメラ１０Ａ及び第二の固定カメラ１０Ｂと、スイッチャ２０と、操作部３０と、表示部４０と、制御部５０と、インサータ６０と、を備える。
【００２３】
＜第一の固定カメラ＞
第一の固定カメラ１０Ａは、カーリングシート２の長さ方向一端部に設けられたハウス３Ａに向けて投じられたオブジェクト４を撮影するためのものであって、カーリングシート２をハウス３Ａ側から撮影する。第一の固定カメラ１０Ａの撮影結果は、スイッチャ２０へ出力される。
【００２４】
ここで、図２（ａ）〜図４（ａ）に示すように、第一の固定カメラ１０Ａの撮影結果において、オブジェクト４は、画面の奥側（かつ上側）から手前側（かつ下側）に向かって移動する。また、図２（ｂ）〜図４（ｂ）に示すように、オブジェクト４には、カーリングの選手等によってオクルージョン（隠れ）が発生する。
【００２５】
＜第二の固定カメラ＞
図１に示すように、第二の固定カメラ１０Ｂは、カーリングシート２の長さ方向他端部に設けられたハウス３Ｂに向けて投じられたオブジェクト４を撮影するためのものであって、カーリングシート２をハウス３Ｂ側から撮影する。第二の固定カメラ１０Ｂの撮影結果は、スイッチャ２０へ出力される。
【００２６】
＜第三の固定カメラ＞
なお、図１には、第三の固定カメラ１０Ｃが図示されている。第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａと同様に、カーリングシート２の長さ方向一端部に設けられたハウス３Ａに向けて投じられたオブジェクト４を撮影するためのものであって、カーリングシート２をハウス３Ａ側から撮影する。第三の固定カメラ１０Ｃの撮影結果は、スイッチャ２０へ出力される。すなわち、第一の固定カメラ１０Ａ及び第三の固定カメラ１０Ｃは、カーリングシート２を同一方向から異なる画角で撮影する。かかる第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａによって撮影されるカーリングシート２の隣のカーリングシート２を撮影したり、第一の固定カメラ１０Ａによって撮影されるカーリングシート２と同一のカーリングシート２を、異なる日に異なる画角で撮影したりするものである。
【００２７】
＜スイッチャ＞
スイッチャ２０は、第一の固定カメラ１０Ａ及び第二の固定カメラ１０Ｂの撮影結果を取得し、ユーザによる操作結果に基づいて、取得された撮影結果の一方を制御部５０及びインサータ６０へ出力する。本実施形態において、スイッチャ２０は、固定カメラ１０Ａ，１０Ｂの撮影結果のうち、オブジェクト４が奥側から手前側に移動する方（奇数エンドでは第一の固定カメラ１０Ａの撮影結果、偶数エンドでは第二の固定カメラ１０Ｂの撮影結果）の撮影結果（例えば、図２〜図４参照）を制御部５０及びインサータ６０へ出力する。
【００２８】
＜操作部及び表示部＞
操作部３０は、キーボード、マウス等によって構成されており、ユーザによる当該操作部３０の操作結果を制御部５０へ出力する。表示部４０は、モニタ等によって構成されており、制御部５０からの画像データに基づいて、画像を表示する。
【００２９】
＜制御部＞
制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read-Only Memory）、ＲＡＭ（Random Access Memory）、入出力回路等によって構成されている。図５に示すように、制御部５０は、機能部として、オブジェクト追跡部５１と、射影変換部５２と、軌跡生成部５３と、記憶部５４と、軌跡出力部５５と、を備える。
【００３０】
＜オブジェクト追跡部（オブジェクト追跡装置）＞
オブジェクト追跡部５１は、固定カメラ１０Ａ，１０Ｂによって撮影された映像に含まれるオブジェクト４を映像内において追跡する。オブジェクト追跡部５１は、オブジェクト候補画像生成部５１ａと、追跡部５１ｂと、探索範囲設定部５１ｃと、を備える。
【００３１】
≪オブジェクト候補画像生成部≫
オブジェクト候補画像生成部５１ａは、固定カメラ１０Ａ，１０Ｂの一方によって撮影された映像を構成するフレームである固定カメラ画像Ｉｔをスイッチャ２０を介して取得し、取得された固定カメラ画像Ｉｔからオブジェクト候補画像Ｓｔを生成する。ここで、ｔは、映像を構成するフレームの番号である。オブジェクト候補画像Ｓｔは、後記する探索範囲５（図６参照）内においてオブジェクト４の候補が抽出されている画像である。
【００３２】
まず、オブジェクト候補画像生成部５１ａは、オブジェクト４の色（例えば、赤色又は黄色）に基づいて、固定カメラ画像Ｉｔに含まれる物体の中からオブジェクト４と同色のものをオブジェクト候補として抽出する。続いて、オブジェクト候補画像生成部５１ａは、抽出されたオブジェクト候補以外の画像領域を、黒で塗り潰す処理を行う。
【００３３】
続いて、オブジェクト候補画像生成部５１ａは、オブジェクト候補が抽出された画像を表示部４０に表示させる。続いて、オブジェクト候補画像生成部５１ａは、表示部４０に表示された画像を見たオペレータによる操作部３０の操作結果に基づいて、１枚目の固定カメラ画像Ｉｔに関して、オブジェクト４の初期位置を指定するとともに、指定された当該オブジェクト４の位置を中心とする初期の探索範囲５（図６参照）を１枚目の固定カメラ画像Ｉｔに対して設定する。ここで指定されるオブジェクト４の初期位置は、初期の探索範囲５を設定するためのものである。また、探索範囲５の初期サイズ（縦及び横の寸法）は、予め記憶されている。
【００３４】
続いて、オブジェクト候補画像生成部５１ａは、探索範囲５（図６参照）内の画像領域にラべリング処理を施すとともに、面積及び形状に基づくフィルタリングを施すことによって、オブジェクト候補を絞り込む。ここで、オブジェクト候補画像生成部５１ａは、オブジェクト候補の面積が予め設定された最大値よりも大きい場合、オブジェクト候補の面積が予め設定された最小値よりも小さい場合、及び、オブジェクト候補の形状が予め設定された形状と異なる場合には、かかるオブジェクト候補を除外する。オブジェクト候補の面積の最大値及び最小値は、カーリングシート２の長さ方向の両端部に位置するオブジェクト４の面積に基づいて設定されており、予め記憶されている。続いて、オブジェクト候補画像生成部５１ａは、かかるフィルタリングによって除外されたオブジェクト候補を、黒で塗り潰す処理を行う。これにより、オブジェクト候補画像Ｓｔが得られる。
【００３５】
続いて、オブジェクト候補画像生成部５１ａは、１枚目の固定カメラ画像Ｉｔのオブジェクト候補画像Ｓｔに関して、オブジェクト候補のうち、探索範囲５（図６参照）の中心に最も近いものをオブジェクト４として抽出し、当該オブジェクト４のサイズ（例えば、一辺の長さ）を記憶する。
【００３６】
オブジェクト候補画像生成部５１ａは、２枚目以降のオブジェクト候補画像Ｓｔを、追跡部５１ｂへ出力する。
【００３７】
≪追跡部≫
追跡部５１ｂは、オブジェクト候補画像生成部５１ａから出力されたオブジェクト候補画像Ｓｔを取得し、逐次学習型の追跡手法、本実施形態では、改良されたＫＣＦ（Kernelized Correlation Filter）法に基づいて、オブジェクト候補画像Ｓｔに含まれるオブジェクト４を追跡する。ＫＣＦ法は、オブジェクト４自体の画像を逐次（随時）学習しながら追跡する手法である。そのため、ＫＣＦ法では、カーリングのようにスイーパーによるスイーピングによってオブジェクト４に頻繁にオクルージョンが発生する状況においても、最新のオブジェクト４の見え方を学習しながら当該オブジェクト４を頑健に追跡することができる。また、ＫＣＦ法では、Ｂｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、ＳＶＭ（Support Vector Machine）等といった一般的な２クラス識別器を用いた手法とは異なり、ＦＦＴ（Fast Fourier Transform）によってメモリ使用量を抑えつつ、高速にオブジェクト４を学習して追跡することができる。また、一般的な２クラス識別器を用いた手法では、オブジェクト４の予測位置の周辺からランダムに探索窓（subwindow）をサンプリングして識別処理を行うのに対し、ＫＣＦ法では、１画素ずつ密に探索窓をシフトさせた画像群をＦＦＴによって解析的に処理することで、オブジェクト４を高速に追跡することができる。
【００３８】
ＫＣＦ法を用いる追跡部５１ｂは、入力ｕ（オブジェクト候補画像Ｓｔの画素値の系列、特徴ベクトル等）に重みｗをかけるとともにバイアスｂを足すことによって出力値ｆ（ｘ）を得る。
ｆ（ｕ）＝〈ｗ，ｕ〉＋ｂ
＝ｗ１ｕ１＋ｗ２ｕ２＋…＋ｗｍｕｍ＋ｂ    …式（１）
また、ＫＣＦ法を用いる追跡部５１ｂは、得られた出力値ｆ（ｕ）に基づいて、画像中に映っている物体が対象のオブジェクト４であるか否かを判定する。
【００３９】
追跡部５１ｂは、重みｗ及びバイアスｂの最適値を、学習フェーズにおいて式（２）の目的関数を最小化することによって算出する。式（２）において、Ｌは、ロス関数であり、推定結果ｆ（ｕ）と真値ｖとの誤差が大きいほどＬも大きくなる。バイアスｂは、重みｗが大きな値をとることでｆ（ｕ）が複雑化することを防止するために付加される正則化項である。λは、正則化項（重みｗ）のバランスを決定するハイパーパラメータである。ハイパーパラメータλを大きくする程、正則化の効果が高くなる（重みｗの影響力が大きくなる）。
【００４０】
【数１】
2018206285.tif 000003
【００４１】
本実施形態において、追跡部５１ｂは、探索範囲５を追跡対象であるオブジェクト４の周辺で１ピクセルずつシフトした画像群を生成し、生成された画像群を式（３）の示す巡回行列（circulant matirixes）Ｃ（ｕ）として扱う。この巡回行列Ｃ（ｕ）において、各行は、１ピクセルずつシフトした画像に該当する。式（４）において、Ｆはフーリエ変換、Ｆ−１はフーリエ逆変換、＊は複素共役である。ｕは、前記入力であって、追跡対象のオブジェクト４の領域周辺で１ピクセルずつシフトした画像群である。ｖは、ｕの真値である。巡回行列Ｃ（ｕ）において、行列の各行は、１ピクセルずつシフトした画像に相当する。すなわち、式（４）の右辺は、入力ｕをフーリエ変換したものの複素共役と真値ｖをフーリエ変換したものとの要素ごとの積（アダマール積）をフーリエ逆変換したものである。
【００４２】
【数２】
2018206285.tif 000004
【００４３】
追跡部５１ｂは、巡回行列Ｃ（ｕ）と真値のベクトルｖとの積を、フーリエ空間のみにおいて式（４）によって計算することができる。空間領域の畳み込み演算は、周波数領域の乗除演算に等しいため、追跡部５１ｂは、かかる巡回行列の特性を用いることによって、繰り返し処理が不要な高速処理を実現することができる。オブジェクト４の追跡処理において、追跡部５１ｂは、学習フェーズで算出された重みｗ及びバイアスｂを用いてｆ（ｕ）を算出し、当該ｆ（ｕ）が最大となるｕをオブジェクト４の位置（座標）とする。
【００４４】
【数３】
2018206285.tif 000005
【００４５】
オブジェクト４の位置すなわち二次元座標（ｘ，ｙ）をＰｆＣ（ｉ）で表す。ここで、ｉは、オブジェクト４の位置の通し番号を表し、Ｃは、固定カメラ１０Ａ，１０Ｂの番号を表す。Ｃは、第一の固定カメラ１０Ａを示す「１」、第二の固定カメラ１０Ｂを示す「２」及び上方視点座標系の「Ｔ」の３通りの値をとる。ｆは、当該固定カメラから見て順方向の軌跡であることを示す。反転によって逆方向に延びる軌跡を表す際には、ｒ（reverse）を用いてＰｒＣ（ｉ）とする。
【００４６】
追跡部５１ｂは、オブジェクト４が静止するまで当該オブジェクト４を追跡し続ける。追跡部５１ｂは、オブジェクト４の速度をフレーム毎に算出し、算出されたオブジェクト４の速度に基づいて追跡終了を判定することができる。また、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて追跡を終了することができる。また、オブジェクト４が選手等に隠れた状態で静止した場合（オクルージョンが発生した場合）には、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて、オブジェクト４の静止位置を取得することができる。
【００４７】
≪探索範囲設定部≫
オブジェクト４であるカーリングのストーンは、画面の奥側から手前側に向かってサイズを拡大しながら移動する。ここで、既存のＫＣＦ法は、探索範囲５のサイズが固定であることを前提に設計されているため、カーリングのストーンを追跡する場合には、追跡が不安定になりやすい。そこで、探索範囲設定部５１ｃは、オブジェクト４のサイズｒに基づいて、探索範囲５のサイズＲ（図６参照）を更新する。
Ｒｔ＋１＝（ｒｔ／ｒｔ−１）・Ｒｔ    …式（５）
【００４８】
ここで、ｔは、フレームの番号、ｒｔ−１は、前フレームにおけるオブジェクト４の一辺（縦辺又は横辺）の長さ、ｒｔは、現フレームにおけるオブジェクト４の一辺（縦辺又は横辺）の長さ、Ｒｔは、現フレームにおける探索範囲５の一辺の長さ、Ｒｔ＋１は、次フレームにおける探索範囲５の一辺の長さである。
【００４９】
すなわち、探索範囲設定部５１ｃは、前フレームから現フレームにかけてのオブジェクト４のサイズ（ここでは、一辺の寸法）の拡大／縮小率に基づいて、現フレームから次フレームにかけての探索範囲５の拡大／縮小率を決定する。詳細には、探索範囲設定部５１ｃは、前フレームにおけるオブジェクト４のサイズｒｔ−１（図６（ａ）参照）、現フレームにおけるオブジェクトのサイズｒｔ（図６（ｂ）参照）及び現フレームにおける探索範囲５のサイズＲｔ（図６（ｂ）参照）をオブジェクト候補画像生成部５１ａ及び／又は追跡部５１ｂから取得し、取得された各サイズｒｔ−１，ｒｔ，Ｒｔに基づいて、次フレームにおける探索範囲５のサイズＲｔ＋１（図６（ｃ）参照）を算出し、算出されたサイズの探索範囲５を、次フレームの画像に設定する。すなわち、探索範囲設定部５１ｃによって設定（更新）された探索範囲５を用いて、追跡部５１ｂによるオブジェクト４の追跡が行われる。探索範囲５の形状は、縦辺及び横辺の長さが等しい正方形であってもよく、オブジェクト４の形状に合わせて縦辺及び横辺の長さを変化させる長方形であってもよい。
【００５０】
なお、探索範囲設定部５１ｃは、ｔ−１枚目のフレームとｔ枚目のフレームとの間におけるオブジェクトの移動ベクトル（速度）に基づいて、ｔ＋１枚目のフレームにおける探索範囲５の位置（中心位置）を設定することができる。
【００５１】
また、探索範囲設定部５１ｃは、ｔが所定数以下（例えば、３以上５以下）の場合には、所定サイズ（例えば、前記した初期サイズ）の探索範囲５を用いてオブジェクト４を追跡することができる。同様に、探索範囲設定部５１ｃは、ｔが所定数以下（例えば、３以上５以下）の場合には、指定されたオブジェクト４の初期位置を中心として探索範囲５を設定することができる。これにより、探索範囲設定部５１ｃは、特にｔ＝１，２における探索範囲５の設定を好適に行うことができる。
【００５２】
＜射影変換部（射影変換装置）＞
射影変換部５２は、オブジェクト４の位置ＰｆＣ（ｉ）の集合であるオブジェクト位置群ＰｆＣを取得し、取得されたオブジェクト位置群ＰｆＣを、オブジェクト４の軌跡のＣＧ描画に適した座標系に射影変換する。ここで、ＰｆＣ（ｉ）は、一の固定カメラ１０（例えば、１０Ａ）によって撮影された２次元座標系であるため、画角の異なる他の固定カメラ１０（例えば、１０Ｃ）によって撮影された画像に対して正確な位置にオブジェクト４の軌跡を描画することは困難である。そのため、射影変換部５２は、射影変換を用いて、一の固定カメラ１０によって撮影されたオブジェクト４の位置（座標）を、一旦、上方視点座標系へ変換し、その後、他の固定カメラ１０に対応する他の座標系へ変換する。ここで、上方視点座標系は、カーリングシート２をその中心部の上方から撮影した場合の座標系である。射影変換部５２は、第一の変換部５２ａと、第二の変換部５２ｂと、を備える。
【００５３】
≪第一の変換部≫
第一の変換部５２ａは、追跡部５１ｂから出力されたオブジェクト位置群ＰｆＣを取得し、取得されたオブジェクト位置群ＰｆＣを上方視点座標系へ射影変換し、変換結果を第二の変換部５２ｂへ出力する。変換後の座標を（ｘｐ，ｙｐ）、変換前の座標を（ｘｃ，ｙｃ）とすると、
ｘｐ＝（ｈ１ｘｃ＋ｈ２ｙｃ＋ｈ３）／（ｈ７ｘｃ＋ｈ８ｙｃ＋１）
ｙｐ＝（ｈ４ｘｃ＋ｈ５ｙｃ＋ｈ６）／（ｈ７ｘｃ＋ｈ８ｙｃ＋１）
となる。
この射影変換は平面から平面への写像であるため、変換後に得られる座標も２次元座標となる。ここで、３次元空間のＺ軸に垂直で原点を通過する平面を仮定すると、常にＺ＝０となるため、射影変換後の２次元座標が得られることによって、３次元座標上の１点を指定することができる。ここで、オブジェクト４としてのカーリングのストーンは氷上を平行移動するため、高さ方向をＺ軸としてＺ＝０と設定することによって、第一の固定カメラ１０Ａによって撮影された２次元座標系におけるオブジェクト４の位置から、オブジェクト４の三次元位置が算出可能である。かかる射影変換における射影変換行列Ｈにおいて、ｈ１，…，ｈ８は未知の射影変換パラメータである。８つの射影変換パラメータｈ１，…ｈ８は、変換前後の画像間の４点以上の対応関係に基づいて算出可能である。
【００５４】
第一の変換部５２ａは、第一の固定カメラ１０Ａによって撮影された画像を表示部４０に表示させる。また、第一の変換部５２ａは、表示部４０に表示された画像を見たオペレータによる操作部３０の操作結果に基づいて、第一の固定カメラ１０Ａによって撮影された画像における４点（例えば、カーリングシート２の四隅２ａ〜２ｄ）に変換前の座標を取得し、取得された変換前の座標と、予め記憶された変換後の座標と、に基づいて、射影変換行列Ｈを生成する。
【００５５】
≪第二の変換部≫
第二の変換部５２ｂは、第一の変換部５２ａの変換結果を取得し、取得された変換結果（上方視点座標系）を、さらに他の固定カメラ１０（例えば、第二の固定カメラ１０Ｂ又は第三の固定カメラ１０Ｃ）の座標系に射影変換する。
【００５６】
≪画角変化への対応≫
第二の変換部５２ｂは、前記した射影変換を用いることによって、第一の固定カメラ１０Ａによって撮影されたオブジェクト４の軌跡を、画角が異なる第三の固定カメラ１０Ｃの画像に対して正しい位置に描画することができるようにする。すなわち、射影変換部５２は、過去の試合において別の画角で撮影されたオブジェクト４の軌跡を、現在の固定カメラ１０Ｃの画角に合わせて表示することを可能とする。
【００５７】
まず、第一の変換部５２ａは、第一の画角に設定された第一の固定カメラ１０Ａに関して、射影変換行列Ｈ１を算出するとともに、第一の画角におけるオブジェクト位置群ＰｆＣをオブジェクト追跡部５１から取得する（図７（ａ）参照）。続いて、第二の変換部５２ｂは、第二の画角に設定された第三の固定カメラ１０Ｃに関して、射影変換行列Ｈ３を算出する。
【００５８】
続いて、第一の変換部５２ａは、オブジェクト位置群ＰｆＣをＨ１で射影変換することによって、上方視点座標系のオブジェクト位置群ＰｆＴを取得する（図７（ｂ）参照）。続いて、第二の変換部５２ｂは、オブジェクト位置群ＰｆＴをＨ３で逆射影変換することによって、第二の画角に設定された第三の固定カメラ１０Ｃでのオブジェクト位置群ＰｆＣ’を取得する（図８参照）。このように、射影変換部５２は、第二の画角の画像に描画するのに適したオブジェクト位置群ＰｆＣ’を得ることができる。
【００５９】
≪軌跡の反転≫
カーリングは１０エンドまで行われ、奇数エンド（１，３，５，７，９）と偶数エンド（２，４，６，８，１０）とでハウスの位置が交互に入れ替えられる。そのため、奇数エンドでの投石（オブジェクト４の軌跡）と偶数エンドの投石とは逆方向となり、一方の第一の固定カメラ１０Ａによるオブジェクト位置群を他方の第二の固定カメラ１０Ｂによる画像に単に合成し、奇数エンド及び偶数エンドのオブジェクト４の軌跡を同時に表示しようとすると、逆方向のオブジェクト４の軌跡が混在することとなる。
【００６０】
ここで、射影変換部５２は、奇数エンド及び偶数エンドの一方のオブジェクト位置群を点対象に１８０°回転させることによって、奇数エンド及び偶数エンドの両方のオブジェクト位置群を同一方向に向かう軌跡とする。
【００６１】
まず、第一の変換部５２ａは、カーリングシート２の一方側に設置された固定カメラ１０Ａに関して、射影変換行列Ｈ１を算出するとともに、オブジェクト位置群ＰｆＣをオブジェクト追跡部５１から取得する（図７（ａ）参照）。続いて、第一の変換部５２ａは、オブジェクト位置群ＰｆＣをＨ１で射影変換することによって、上方視点座標系のオブジェクト位置群ＰｆＴを取得する（図７（ｂ）参照）。続いて、第二の変換部５２ｂは、式（８）（９）によって、上方視点座標系におけるオブジェクト位置群を点対象に１８０°回転させる（図９（ａ）参照）。
ＰｒＴ（ｉ，ｘ）＝ＷＡ−ＰｆＴ（ｉ，ｘ）    …式（８）
ＰｒＴ（ｉ，ｙ）＝ＨＡ−ＰｆＴ（ｉ，ｙ）    …式（９）
ここで、ＰｆＴ（ｉ，ｘ）は、上方視点座標系における回転前のｘ座標、ＰｆＴ（ｉ，ｙ）は、上方視点座標系における回転前のｙ座標、ＰｒＴ（ｉ，ｘ）は、上方視点座標系における回転後のｘ座標、ＰｒＴ（ｉ，ｙ）は、上方視点座標系における回転後のｙ座標である。また、ＷＡは、カーリングシート２の幅（定数）であり、ＨＡは、カーリングシート２の高さ（定数）である。
【００６２】
続いて、第二の変換部５２ｂは、カーリングシート２の他方側に設置された固定カメラ１０Ｂに関して、射影変換行列Ｈ２を算出する。続いて、第二の変換部５２ｂは、オブジェクト位置群ＰｒＴをＨ２で逆射影変換することによって、カーリングシート２の他方側に設置された固定カメラ１０Ｂでのオブジェクト位置群ＰｒＣ’’を取得する（図９（ｂ）参照）。このように、射影変換部５２は、カーリングシート２の反対側からの画像に描画するのに適したオブジェクト位置群ＰｆＣ’を得ることができる。
【００６３】
なお、射影変換部５２における射影変換前及び射影変換後（２回の変換後）のオブジェクト位置群は、撮影対象である平面上のフィールド（カーリングシート２）の領域を、当該フィールドに直交する上下の領域から外れた位置（例えば、斜め上）から撮影した座標系によって表される。また、射影変換部５２における射影変換途中（１回の変換後）のオブジェクト位置群は、撮影対象である平面上のフィールド（カーリングシート２）の領域を、当該フィールドに直交する上下の領域から撮影した座標系（変換用の座標系。例えば、上方視点座標系、下方視点座標系）によって表される。
【００６４】
＜軌跡生成部（軌跡生成装置）＞
軌跡生成部５３は、得られたオブジェクト位置群を用いて、オブジェクト４の軌跡を生成し、生成された軌跡に関するデータを記憶部５４に記憶させる。ここで、検出された全てのフレームにおけるオブジェクト４の位置を繋ぐと、誤検出、検出漏れ等の影響が生じるため、滑らかな軌跡を描画することは困難である。そのため、軌跡生成部５３は、オブジェクト位置群の数点をサンプリングし、サンプリングされたオブジェクト位置にスプライン補間を行うことによって、オブジェクト４の軌跡を滑らかな曲線として描画可能に生成する。
【００６５】
スプライン補間は、与えられた点群の全てを用いて関数を決定するのではなく、局所的な数点のみを用いて局所の関数（曲線）を決定し、かつ、決定された複数の曲線が全体として滑らかに接続される手法である。スプライン補間は、点群の全てから単一の多項式を決定するのではなく、各区間を比較的低い次元の多項式で近似する。軌跡生成部５３は、３次スプライン補間を用いており、以下の式（１０）（１１）によってオブジェクト４の軌跡ｋを生成する。式（１０）（１１）において、ｋは、スプライン補間によって得られる軌跡を示す関数である。ｊは、スプライン補間に用いるのに選択された局所的な数点（ｎ個の点（ｘ，ｙ））の通し番号である。式（１０）（１１）において、軌跡ｋは、ｘ座標、ｙ座標ごとに分けて記述されている。
ｋｊ（ｘ）＝ｐｊ＋ｑｊ（ｘ−ｘｊ）＋ｒｊ（ｘ−ｘｊ）２＋ｓｊ（ｘ−ｘｊ）３    …式（１０）
ｋｊ（ｙ）＝ｐｊ＋ｑｊ（ｙ−ｙｊ）＋ｒｊ（ｙ−ｙｊ）２＋ｓｊ（ｙ−ｙｊ）３    …式（１１）
ここで、ｊ＝０，１，…，ｎ−１
軌跡生成部５３は、点（ｘｊ，ｙｊ）の全てを通り、係数ｐｊ，ｑｊ，ｒｊ，ｓｊの値が各点（ｘｊ，ｙｊ）で一致するように、係数ｐｊ，ｑｊ，ｒｊ，ｓｊを設定する。ここで、２乗の係数ｒｊの両端に関して、ｒ０＝ｒｎ−１＝０とする。
【００６６】
＜軌跡出力部＞
軌跡出力部５５は、オペレータによる操作部３０の操作結果に基づいて、記憶部５４に記憶された軌跡に関するデータ（ｋｊ（ｘ）及びｋｊ（ｙ）のセット）を読み出し、読み出された軌跡に関するデータをインサータ６０へ出力する。
【００６７】
＜インサータ＞
インサータ６０は、スイッチャ２０から出力された固定カメラ１０（例えば、第二の固定カメラ１０Ｂ又は第三の固定カメラ１０Ｃ）の画像、及び、軌跡出力部５５によって出力された軌跡に関するデータ（例えば、第一の固定カメラ１０Ａによって撮影されたオブジェクト４の軌跡に関するデータ）を取得し、取得された軌跡に関するデータに基づいて、当該軌跡を固定カメラ１０（例えば、第二の固定カメラ１０Ｂ又は第三の固定カメラ１０Ｃ）の画像上に合成し、合成画像を出力する）。図１０に示す例では、第二の固定カメラ１０Ｂによって撮影された画像に対して、１試合中に第一の固定カメラ１０Ａ及び第二の固定カメラ１０Ｂによって撮影された画像に含まれるオブジェクト４の軌跡の全て（例えば、第一の固定カメラ１０Ａによる軌跡が点線、第二の固定カメラ１０Ｂによる軌跡が実線）が合成されている。第一の固定カメラ１０Ａによって撮影されたオブジェクト４の軌跡は、実際にはハウス３Ｂ側からハウス３Ａへ向かうものであるが、かかる合成画像では、ハウス３Ｂ側からハウス３Ａへ向かうように変換されている。そのため、第一の固定カメラ１０Ａによって撮影されたオブジェクト４の軌跡と第二の固定カメラ１０Ｂによって撮影されたオブジェクト４の軌跡とが同一方向に向かうようになっており、かかる合成画像は、視聴者に対してカーリングのゲーム内容を好適に伝えることができる。オブジェクト４の軌跡が合成された画像は、図示しない表示装置に表示される。
【００６８】
＜動作例＞
続いて、本発明の実施形態に係るオブジェクト軌跡生成システム１の動作例について、オブジェクト４の追跡、オブジェクト４の軌跡（オブジェクト位置群）の射影変換の順に説明する。図１２及び図１３のフローは、それぞれ、図１１のフローの後に実行される。
【００６９】
≪オブジェクトの追跡≫
図１１に示すように、オブジェクト候補画像生成部５１ａは、固定カメラ１０によって撮影された固定カメラ画像Ｉｔを取得し、取得された固定カメラ画像Ｉｔからオブジェクト候補画像Ｓｔを生成する（ステップＳ１）。オブジェクト候補画像Ｓｔが１枚目である場合（ステップＳ２でＹｅｓ）において、オブジェクト候補画像生成部５１ａは、オブジェクト４の初期位置の手動指定を受けると（ステップＳ３でＹｅｓ）、オブジェクト４の初期位置を中心とした初期の探索範囲５を１枚目のオブジェクト候補画像Ｓｔに設定する（ステップＳ４）。
【００７０】
オブジェクト候補画像Ｓｔが２枚目以降である場合（ステップＳ２でＮｏ）と、ステップＳ４の実行後とには、オブジェクト候補画像生成部５１ａは、探索範囲５内のオブジェクト候補を絞り込む（ステップＳ５）。続いて、追跡部５１ｂは、ＫＣＦ法を用いて、オブジェクト候補画像Ｓｔからオブジェクト４を検出する（ステップＳ６）。
【００７１】
続いて、探索範囲設定部５１ｃは、検出されたオブジェクト４の位置及びサイズに基づいて、探索範囲５の位置及びサイズを更新する（ステップＳ７）。ステップＳ１〜Ｓ７は、オブジェクト４が静止する（ステップＳ８でＮｏ）まで繰り返される。
【００７２】
オブジェクト４が静止した場合（ステップＳ８でＹｅｓ）において、静止したオブジェクト４にオクルージョンが発生している場合（ステップＳ９でＹｅｓ）には、追跡部５１ｂは、オブジェクト４の最終位置の手動指定を受ける（ステップＳ１０）。静止したオブジェクト４にオクルージョンが発生していない場合（ステップＳ９でＮｏ）と、オブジェクト４の最終位置が手動指定された場合（ステップＳ１０でＹｅｓ）とには、本フローは終了する。
【００７３】
≪オブジェクトの軌跡の射影変換：画角変化への対応≫
図１２に示すように、第二の変換部５２ｂは、第三の固定カメラ１０Ｃの撮影結果の４点の手動指定を受けると（ステップＳ２１でＹｅｓ）、手動指定された４点の座標に基づいて、射影変換行列Ｈ３を生成する（ステップＳ２２）。続いて、第一の変換部５２ａは、予め得られた第一の固定カメラ１０Ａの撮影結果からのオブジェクト位置群ＰｆＣを予め算出された射影変換行列Ｈ１を用いて射影変換することによって、上方視点座標系におけるオブジェクト位置群ＰｆＴを算出する（ステップＳ２３）。続いて、第二の変換部５２ｂは、オブジェクト位置群ＰｆＴを射影変換行列Ｈ３を用いて逆射影変換することによって、第三の固定カメラ１０Ｃの座標系におけるオブジェクト位置群ＰｆＣ’を算出する（ステップＳ２４）。
【００７４】
≪オブジェクトの軌跡の射影変換：画角変化への対応≫
一方、図１３に示すように、第二の変換部５２ｂは、第二の固定カメラ１０Ｂの撮影結果の４点の手動指定を受けると（ステップＳ４１でＹｅｓ）、手動指定された４点の座標に基づいて、射影変換行列Ｈ２を生成する（ステップＳ４２）。続いて、第一の変換部５２ａは、予め得られた第一の固定カメラ１０Ａの撮影結果からのオブジェクト位置群ＰｆＣを予め算出された射影変換行列Ｈ１を用いて射影変換することによって、上方視点座標系におけるオブジェクト位置群ＰｆＴを算出する（ステップＳ４３）。続いて、第二の変換部５２ｂは、オブジェクト位置群ＰｆＴをカーリングシート２の中心を回転中心として１８０°回転させることによって、オブジェクト位置群ＰｒＴを算出する（ステップＳ４４）。続いて、第二の変換部５２ｂは、オブジェクト位置群ＰｒＴを射影変換行列Ｈ２を用いて逆射影変換することによって、第二の固定カメラ１０Ｂの座標系におけるオブジェクト位置群ＰｒＣを算出する（ステップＳ４５）。
【００７５】
本発明の実施形態に係るオブジェクト軌跡生成システム１は、逐次学習型の追跡手法であるＫＣＦ法によってオブジェクト４を追跡するとともに、オブジェクト４が大きくなるほど探索範囲５を大きく設定するので、撮影サイズが可変であるとともにオクルージョンが発生しやすいオブジェクト４を好適に追跡することができる。
【００７６】
また、オブジェクト軌跡生成システム１は、オブジェクト４の色に基づいて生成されたオブジェクト候補画像を用いてオブジェクト４を追跡するので、より高速にオブジェクト４を追跡することができる。
【００７７】
また、オブジェクト軌跡生成システム１は、変換用の座標系である上方視点座標系を介して射影変換を行うので、オブジェクト４の位置群を異なる視点からの座標系へ好適に変換することができる。
【００７８】
特に、オブジェクト軌跡生成システム１は、オブジェクト４の位置群を異なる画角からの固定カメラ１０の座標系に変換したり、カーリングシート２の反対側からにある固定カメラ１０の座標系に変換したりすることによって、オブジェクト４の位置群を他の固定カメラ１０の画像に合成するのに適した座標系に変換することができる。
【００７９】
また、オブジェクト軌跡生成システム１は、スプライン補間によってオブジェクト４の軌跡を生成するので、誤検出、検出漏れ等の影響を防ぎ、滑らかな軌跡を生成することができる。
【００８０】
また、オブジェクト軌跡生成システム１は、オブジェクト４としてカーリングのストーンを追跡するので、撮影サイズが可変であるとともにオクルージョンが発生しやすいカーリングのストーンを好適に追跡することができる。また、オブジェクト軌跡生成システム１は、異なる画角で撮影されたり反対方向から撮影されたりするカーリングのストーンの軌跡を、表示装置に好適に表示させることができる。
【００８１】
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されず、本発明の要旨を逸脱しない範囲で適宜変更可能である。例えば、追跡部５１ｂにおける逐次学習型の追跡手法は、改良されたＫＣＦ法に限定されない。また、記憶部５４に記憶されたオブジェクト４の位置群には、オペレータによる操作部３０の操作結果に基づいて、当該位置群の属性が付与されてもよい。属性としては、チーム（赤、黄）、ショットの種別（テイクショット、ドローショット）、選手名、ショット番号等が挙げられる。この場合、軌跡出力部５５は、オペレータによる操作部３０の操作結果に基づいて、操作結果で指定された属性を有するオブジェクト４の位置群を記憶部５４から読み出し、インサータ６０へ出力することができる。すなわち、インサータ６０は、特定の属性を有するオブジェクト４の軌跡を図示しない表示装置に表示させることができる。
【００８２】
また、変換用の座標系は、上方視点座標系に限定されず、例えば、カーリングシート２をその中心の下から仮想的に見る下方視点座標系であってもよい。
【００８３】
また、本発明のオブジェクト軌跡生成システム１、オブジェクト追跡部（オブジェクト追跡装置）５１、射影変換部（射影変換装置）５２及び軌跡生成部（軌跡生成装置）５３は、カーリングのストーン以外のオブジェクト４の追跡及び軌跡の生成に適用可能である。
【符号の説明】
【００８４】
１      オブジェクト軌跡生成システム
２      カーリングシート（フィールド）
３Ａ，３Ｂ  ハウス
４      オブジェクト（ストーン）
５      探索範囲
１０，１０Ａ，１０Ｂ，１０Ｃ  固定カメラ
５１    オブジェクト追跡部（オブジェクト追跡装置）
５１ａ  オブジェクト候補画像生成部
５１ｂ  追跡部
５１ｃ  探索範囲設定部
５２    射影変換部（射影変換装置）
５２ａ  第一の変換部
５２ｂ  第二の変換部
５３    軌跡生成部（軌跡生成装置）
【図１】
2018206285.tif 000006
【図２】
2018206285.tif 000007
【図３】
2018206285.tif 000008
【図４】
2018206285.tif 000009
【図５】
2018206285.tif 000010
【図６】
2018206285.tif 000011
【図７】
2018206285.tif 000012
【図８】
2018206285.tif 000013
【図９】
2018206285.tif 000014
【図１０】
2018206285.tif 000015
【図１１】
2018206285.tif 000016
【図１２】
2018206285.tif 000017
【図１３】
2018206285.tif 000018