(57)【要約】【課題】実軌跡に近いオブジェクトの軌跡を生成できるオブジェクト軌跡生成装置を提供する。【解決手段】オブジェクト軌跡生成装置５０は、オブジェクトを追跡する追跡部５１ｂと、追跡部５１ｂによって追跡されたオブジェクトの座標を射影変換する射影変換部５２と、オブジェクトの位置群の補正結果を予め機械学習した識別器５３ｄにより、オブジェクトの位置群を補正する位置補正部５３と、オブジェクトの位置群に基づいて、オブジェクトの軌跡を生成する軌跡生成部５４とを備える。【選択図】図５
2020191036.tif 000002
【特許請求の範囲】
【請求項１】
固定カメラ映像に含まれるオブジェクトの軌跡を生成するオブジェクト軌跡生成装置であって、
移動する前記オブジェクトの位置を追跡する追跡部と、
前記追跡部によって追跡された前記オブジェクトの位置群を射影変換する射影変換部と、
前記オブジェクトの位置群の補正結果を予め機械学習した識別器により、前記射影変換部が算出したオブジェクトの位置群を補正する位置補正部と、
前記位置補正部が補正したオブジェクトの位置群に基づいて、前記オブジェクトの軌跡を生成する軌跡生成部と、
を備えることを特徴とするオブジェクト軌跡生成装置。
【請求項２】
前記射影変換部は、
前記固定カメラ映像に含まれる前記オブジェクトの位置群を、固定カメラの撮影空間を上から見た変換用座標系に射影変換し、
前記変換用座標系に変換された前記オブジェクトの位置群を、前記固定カメラ映像と異なる視点の座標系に射影変換し、
前記位置補正部は、
前記固定カメラの座標系及び前記変換用座標系において、前記オブジェクトの各位置と、前記オブジェクトの各位置から前記オブジェクトの位置群の平滑化曲線までの距離と、前記オブジェクトの軌跡全長に対する前記オブジェクトの軌跡先頭から各位置までの長さの割合とが含まれる誤差特徴量を算出する誤差特徴量算出部と、
前記オブジェクトの位置が補正されたときの前記誤差特徴量を正例、及び、前記オブジェクトの位置が補正されなかったときの前記誤差特徴量を負例として予め機械学習した前記識別器により、前記射影変換部が算出したオブジェクトの位置群を前記平滑化曲線上に補正する補正部と、
を備えることを特徴とする請求項１に記載のオブジェクト軌跡生成装置。
【請求項３】
前記位置補正部は、正例及び負例の前記誤差特徴量を機械学習することで、前記識別器を生成する学習部、を備えることを特徴とする請求項２に記載のオブジェクト軌跡生成装置。
【請求項４】
前記オブジェクトは、カーリングのストーンであることを特徴とする請求項１から請求項３の何れか一項に記載のオブジェクト軌跡生成装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載のオブジェクト軌跡生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクトの軌跡を生成するオブジェクト軌跡生成装置及びそのプログラムに関する。
【背景技術】
【０００２】
映像解析技術の進展に伴い、カメラをセンサとした様々なアプリケーションが提案されている。ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラ映像をセンサとしてテニスボールを３次元的に追跡し、ジャッジに絡むIN/OUTの判定を行っている。また２０１４年のＦＩＦＡワールドカップで用いられたゴールラインテクノロジーは、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムへ多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するトラッキングシステム（例えば、ＴＲＡＣＡＢシステム）など、スポーツにおけるリアルタイム映像解析技術の高度化が進んでいる。
【０００３】
この映像解析技術を利用し、野球、ボウリング、ゴルフ、カーリングなどのスポーツ中継において、ボールやストーンの軌跡表示が行われている。カーリング競技でのストーン軌跡表示は、試合状況を分かりやすく可視化し、解説にも有用な映像表現である。すなわち、カメラ映像だけでカーリングシートの状態や各チームの戦術を伝えきるには限界があるが、投石の軌跡を累積表示することにより、解説を交えて視聴者に分かりやすく状況を伝えることができる。例えば、特許文献１では、カーリング競技において、オクルージョンが頻繁に発生するストーンを少数の固定カメラで好適に追跡することが可能なオブジェクト追跡装置が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−２０６２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ストーン軌跡表示の実現にあたっては、カーリング競技での一投一投を記録し、精度の高い軌跡を描画する必要がある（図１参照）。また、カーリング競技では、投石後に選手のスウィーピングにより、その軌跡が自然な放物軌道から逸れる場合がある（図２参照）。放物軌道を想定した自動補正では、実際の軌跡と異なることもあるため、人手による軌跡の補正作業を施すことで、実軌跡に近い軌跡ＣＧを描画している。しかし、カーリングの試合では、投石と投石とのインターバルが３０秒程度と短く、その間に軌跡の補正作業を完了する必要がある。この軌跡の補正作業は、画素単位の緻密な作業であり、時間的な制約もあることから、多大な労力を要するという問題がある。
【０００６】
そこで、本発明は、実軌跡に近いオブジェクトの軌跡を生成できるオブジェクト軌跡生成装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記した課題に鑑みて、本発明に係るオブジェクト軌跡生成装置は、固定カメラ映像に含まれるオブジェクトの軌跡を生成するオブジェクト軌跡生成装置であって、追跡部と、射影変換部と、位置補正部と、軌跡生成部と、を備える構成とした。
【０００８】
かかる構成によれば、追跡部は、移動するオブジェクトの位置を追跡する。
射影変換部は、追跡部によって追跡されたオブジェクトの位置群を射影変換する。
位置補正部は、オブジェクトの位置群の補正結果を予め機械学習した識別器により、射影変換部が算出したオブジェクトの位置群を補正する。この識別器は、人手によるオブジェクトの軌跡の補正結果を学習したものである。
軌跡生成部は、位置補正部が補正したオブジェクトの位置群に基づいて、オブジェクトの軌跡を生成する。
このように、オブジェクト軌跡生成装置は、人手によるオブジェクトの軌跡の補正結果を学習した識別器を用いるので、その補正結果がオブジェクトの軌跡に反映されることになる。
【０００９】
なお、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスクなどのハードウェア資源を、前記したオブジェクト軌跡生成装置として協調動作させるプログラムで実現することもできる。
【発明の効果】
【００１０】
本発明によれば、人手によるオブジェクトの軌跡の補正結果を学習した識別器を用いるので、その補正結果がオブジェクトの軌跡に反映され、実軌跡に近いオブジェクトの軌跡を生成することができる。
【図面の簡単な説明】
【００１１】
【図１】カーリング競技において、オブジェクトの軌跡を合成した画像の一例を示す図である。
【図２】カーリング競技において、オブジェクトの軌跡が逸れる一例を示す図である。
【図３】実施形態に係るオブジェクト軌跡生成システムを示す模式図である。
【図４】実施形態において、（ａ）は、撮影画像の一例を示す図であり、（ｂ）は（ａ）のオブジェクト付近を示す拡大図である。
【図５】実施形態に係るオブジェクト軌跡生成システムを示すブロック図である。
【図６】実施形態において、射影変換の手法を説明するための図であって、（ａ）は固定カメラによるカーリングシートの撮影結果の一例を示す図であり、（ｂ）は真上視点座標系へ射影変換されたカーリングシートの撮影結果の一例を示す図である。
【図７】実施形態において、オブジェクト位置の補正を説明する説明図である。
【図８】実施形態において、オブジェクト軌跡生成装置が生成した画像の一例を示す図である。
【図９】実施形態に係るオブジェクト軌跡生成装置の動作を示すフローチャートである。
【図１０】実施形態において、オブジェクト位置群の補正処理を示すフローチャートである。
【図１１】変形例において、オブジェクト軌跡生成装置が生成した画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
（実施形態）
本発明の実施形態について、オブジェクトとしてのカーリングのストーンの追跡に適用した場合を例にとり、図面を参照して詳細に説明する。以下の説明において、同一の要素には同一の符号を付し、重複する説明は省略する。
【００１３】
はじめに、カーリング競技の概要を説明する。図１に示すように、カーリングは、氷上でハウス３Ａ，３Ｂと呼ばれるサークルにストーンを投げ合い、その位置に応じた得点を競う競技である。ストーンの投げやすさはその日のカーリングシート２の状態や、投石によるカーリングシート２の状況変化に大きく左右される。その場その場で投げやすいコースを見極めて投げつつ、逆に敵チームには投げにくいコースへ投げさせる状況を作ることが勝負の秘訣である。
【００１４】
カメラ映像だけでは、カーリングシート２の状態や各チームの戦術を伝えきるには限界がある。そこで、オブジェクト軌跡生成システム１（図３）は、投石の軌跡Ｔ（ＴＡ，ＴＢ）を累積表示することにより、解説コメントを交えて視聴者に分かりやすく状況を伝えることができる。なお、図１では、一方のチームによる投石の軌跡ＴＡを実線で図示し、他方のチームによる投石の軌跡ＴＢを破線で図示した。
【００１５】
ここで、カーリング競技では、図２に示すように、投石後に選手のスウィーピングにより、その軌跡Ｔが自然な放物軌道から逸れてしまう場合がある。図２では、ハウス３Ｂの付近で軌跡Ｔが歪んでいる。そこで、オブジェクト軌跡生成システム１は、歪みが少なく自然な軌跡Ｔを生成する。
【００１６】
［オブジェクト軌跡生成システムの全体構成］
図３を参照し、実施形態に係るオブジェクト軌跡生成システム１の全体構成について説明する。
図３に示すように、オブジェクト軌跡生成システム１は、カーリングにおける長さＬＡ約４５［ｍ］、幅ＷＡ約５［ｍ］のカーリングシート２の撮影結果に、移動するオブジェクト４としてのストーンの軌跡を表示する。カーリングシート２の長さ方向両端部には、それぞれハウス３Ａ，３Ｂが設けられている。オブジェクト４は、奇数エンドにおいてハウス３Ｂ側からハウス３Ａへ向けて投じられ、偶数エンドにおいてハウス３Ａ側からハウス３Ｂへ向けて投じられる。オブジェクト軌跡生成システム１は、固定カメラ１０（１０Ａ〜１０Ｃ）と、スイッチャ２０と、操作部３０と、表示部４０と、オブジェクト軌跡生成装置５０と、インサータ６０と、を備える。
【００１７】
＜第一の固定カメラ＞
第一の固定カメラ１０Ａは、カーリングシート２の長さ方向一端部に設けられたハウス３Ａに向けて投じられたオブジェクト４を撮影するためのものであって、カーリングシート２をハウス３Ａ側から撮影する。第一の固定カメラ１０Ａの撮影結果は、スイッチャ２０へ出力される。ここで、図４（ａ）及び（ｂ）に示すように、第一の固定カメラ１０Ａの撮影結果において、オブジェクト４は、画面の奥側（ハウス３Ｂ側）から手前側（ハウス３Ａ側）に向かって移動する。
【００１８】
＜第二の固定カメラ＞
第二の固定カメラ１０Ｂは、カーリングシート２の長さ方向他端部に設けられたハウス３Ｂに向けて投じられたオブジェクト４を撮影するものであって、カーリングシート２をハウス３Ｂ側から撮影する。第二の固定カメラ１０Ｂの撮影結果は、スイッチャ２０へ出力される。
【００１９】
＜第三の固定カメラ＞
第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａと同様、ハウス３Ａに向けて投じられたオブジェクト４を撮影するものであって、カーリングシート２をハウス３Ａ側から撮影する。第三の固定カメラ１０Ｃの撮影結果は、スイッチャ２０へ出力される。すなわち、第一の固定カメラ１０Ａ及び第三の固定カメラ１０Ｃは、カーリングシート２を同一方向から異なる画角で撮影する。例えば、第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａで撮影したカーリングシート２に隣接するカーリングシート２を撮影する。また、第三の固定カメラ１０Ｃは、第一の固定カメラ１０Ａで撮影したカーリングシート２を、異なる時間に異なる画角で撮影してもよい。
【００２０】
＜スイッチャ＞
スイッチャ２０は、固定カメラ１０の撮影結果を取得し、ユーザによる操作結果に基づいて、取得した撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。奇数エンドでは、スイッチャ２０は、固定カメラ１０の撮影結果のうち、第一の固定カメラ１０Ａの撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。偶数エンドでは、スイッチャ２０は、固定カメラ１０の撮影結果のうち、第二の固定カメラ１０Ｂの撮影結果をオブジェクト軌跡生成装置５０及びインサータ６０へ出力する。
【００２１】
＜操作部及び表示部＞
操作部３０は、キーボード、マウス等によって構成されており、ユーザによる当該操作部３０の操作結果をオブジェクト軌跡生成装置５０へ出力する。
表示部４０は、モニタ等によって構成されており、オブジェクト軌跡生成装置５０から入力された画像を表示する。
【００２２】
＜オブジェクト軌跡生成装置＞
オブジェクト軌跡生成装置５０は、固定カメラ映像に含まれるオブジェクト４の軌跡Ｔを生成し、生成したオブジェクト４の軌跡Ｔをインサータ６０に出力する。なお、オブジェクト軌跡生成装置５０の詳細は後記する。なお、固定カメラ映像とは、固定カメラ１０で撮影された映像のことである。
【００２３】
＜インサータ＞
インサータ６０は、スイッチャ２０から入力された固定カメラ１０の画像、及び、軌跡出力部５６から入力された軌跡Ｔを取得する。そして、インサータ６０は、取得した軌跡Ｔを固定カメラ１０の画像上に合成し、合成画像を出力する。オブジェクト４の軌跡Ｔが合成された合成画像は、図示しない表示装置に表示される。
【００２４】
［オブジェクト軌跡生成装置の構成］
図５を参照し、オブジェクト軌跡生成装置５０の構成ついて説明する。
オブジェクト軌跡生成装置５０は、固定カメラ映像に含まれるオブジェクト４の軌跡を生成する。図５に示すように、オブジェクト軌跡生成装置５０は、オブジェクト追跡部５１と、射影変換部５２と、位置補正部５３と、軌跡生成部５４と、記憶部５５と、軌跡出力部５６と、を備える。
【００２５】
＜オブジェクト追跡部＞
オブジェクト追跡部５１は、固定カメラ映像に含まれるオブジェクト４の位置を映像内において追跡する。オブジェクト追跡部５１は、オブジェクト候補画像生成部５１ａと、追跡部５１ｂと、を備える。
【００２６】
＜＜オブジェクト候補画像生成部＞＞
オブジェクト候補画像生成部５１ａは、固定カメラ映像を構成するフレームである固定カメラ画像から、オブジェクト候補画像を生成する。オブジェクト候補画像は、予め設定された探索範囲内において、オブジェクト４の候補が抽出された画像である。
【００２７】
まず、オブジェクト候補画像生成部５１ａは、オブジェクト４の色（例えば、赤色又は黄色）に基づいて、固定カメラ画像に含まれる物体の中からオブジェクト４と同色のものをオブジェクト候補として抽出する。続いて、オブジェクト候補画像生成部５１ａは、抽出されたオブジェクト候補以外の画像領域を、黒で塗り潰す処理を行う。
【００２８】
続いて、オブジェクト候補画像生成部５１ａは、オブジェクト候補が抽出された画像を表示部４０に表示させる。すると、オペレータは、表示部４０に表示された画像を見ながら、操作部３０を操作して、１枚目の固定カメラ画像に関して、オブジェクト４の初期位置を指定する。続いて、オブジェクト候補画像生成部５１ａは、指定された当該オブジェクト４の位置を中心とする探索範囲を１枚目の固定カメラ画像に対して設定する。なお、指定されるオブジェクト４の初期位置は、探索範囲を設定するためのものである。また、探索範囲のサイズ（縦及び横の寸法）は、予め記憶されている。
【００２９】
続いて、オブジェクト候補画像生成部５１ａは、探索範囲内の画像領域にラベリング処理を施すとともに、面積及び形状に基づくフィルタリングを施すことによって、オブジェクト候補を絞り込む。ここで、オブジェクト候補画像生成部５１ａは、オブジェクト候補の面積が予め設定された最大値よりも大きい場合、又は、オブジェクト候補の面積が予め設定された最小値よりも小さい場合、そのオブジェクト候補を除外する。オブジェクト候補の面積の最大値及び最小値は、カーリングシート２の長さ方向の両端部に位置するオブジェクト４の面積に基づいて設定されている。さらに、オブジェクト候補画像生成部５１ａは、オブジェクト候補の形状が予め設定された形状と異なる場合、そのオブジェクト候補を除外する。さらに、オブジェクト候補画像生成部５１ａは、前記したフィルタリングで除外したオブジェクト候補を、黒で塗り潰す処理を行う。これにより、オブジェクト候補画像が得られる。
【００３０】
続いて、オブジェクト候補画像生成部５１ａは、１枚目の固定カメラ画像のオブジェクト候補画像に関して、オブジェクト候補のうち、探索範囲の中心に最も近いものをオブジェクト４として抽出する。そして、オブジェクト候補画像生成部５１ａは、１枚目の固定カメラ画像と同様にオブジェクト４を抽出した２枚目以降のオブジェクト候補画像を、追跡部５１ｂへ出力する。
【００３１】
なお、オブジェクト候補画像生成部５１ａは、探索範囲の中心に最も近いオブジェクト４のサイズ（例えば、一辺の長さ）を検出し、検出したサイズに応じて、探索範囲のサイズを変更してもよい。この手法は、特開２０１８−２０６２８５号公報に記載されているため、詳細な説明を省略する。
【００３２】
＜＜追跡部＞＞
追跡部５１ｂは、オブジェクト候補画像生成部５１ａから入力されたオブジェクト候補画像に逐次学習型の追跡手法を施し、オブジェクト候補画像に含まれるオブジェクト４の位置を追跡する。
【００３３】
本実施形態では、追跡部５１ｂは、逐次学習型の追跡処理として、ＫＣＦ（Kernelized Correlation Filter）法を用いることとする。ＫＣＦ法は、オブジェクト４自体の画像を逐次（随時）学習しながら追跡する手法である。そのため、ＫＣＦ法では、カーリングのようにスイーピングによってオブジェクト４に頻繁にオクルージョンが発生する状況でも、オブジェクト４の見え方を学習しながらオブジェクト４を頑健に追跡できる。また、ＫＣＦ法では、ＦＦＴ（Fast Fourier Transform）によってメモリ使用量を抑えつつ、高速にオブジェクト４を学習して追跡できる。この点、Ｂｏｏｓｔｉｎｇ、ＭＩＬ（Multiple Instance Learning）、サポートベクターマシン（ＳＶＭ：support vector machine）、等といった一般的な２クラス識別器を用いた手法とは異なる。さらに、ＫＣＦ法では、１画素ずつ密に探索窓をシフトさせた画像群をＦＦＴによって解析的に処理することで、オブジェクト４を高速に追跡できる。一方、一般的な２クラス識別器を用いた手法では、オブジェクト４の予測位置の周辺からランダムに探索窓（subwindow）をサンプリングして識別処理を行うので、処理速度がＫＣＦ法より遅くなる。
【００３４】
追跡部５１ｂは、以下の式（１）に示すように、入力ｕ（オブジェクト候補画像の画素値の系列、特徴ベクトル等）に重みｗを乗算してバイアスｂを加算することで、出力値ｆ（ｕ）を算出する（但し、ｍは要素数）。そして、追跡部５１ｂは、算出した出力値ｆ（ｕ）に基づいて、画像中に映っている物体がオブジェクト４であるか否かを判定する。
【００３５】
【数１】
2020191036.tif 000003
【００３６】
次に、追跡部５１ｂは、重みｗ及びバイアスｂの最適値を、学習フェーズにおいて式（２）の目的関数を最小化することによって算出する。式（２）において、Ｌは、ロス関数であり、推定結果ｆ（ｕ）と真値ｖとの誤差が大きいほどロス関数Ｌも大きくなる。バイアスｂは、重みｗが大きな値をとることで、ｆ（ｕ）が複雑化することを防止するために付加する正則化項である。λは、正則化項（重みｗ）のバランスを決定するハイパーパラメータである。ハイパーパラメータλを大きくする程、正則化の効果が高くなる（重みｗの影響力が大きくなる）。
【００３７】
【数２】
2020191036.tif 000004
【００３８】
本実施形態において、追跡部５１ｂは、探索範囲内において追跡対象であるオブジェクト４の周辺で１ピクセルずつシフトした画像群を生成し、生成された画像群を式（３）で示す巡回行列（circulant matirixes）Ｃ（ｕ）として扱う。
【００３９】
【数３】
2020191036.tif 000005
【００４０】
そして、追跡部５１ｂは、巡回行列Ｃ（ｕ）と真値のベクトルｖとの積を、フーリエ空間のみにおいて、式（４）によって計算する。式（４）において、Ｆはフーリエ変換、Ｆ−１はフーリエ逆変換、＊は複素共役である。ｕは、前記入力であって、追跡対象のオブジェクト４の領域周辺で１ピクセルずつシフトした画像群である。ｖは、ｕの真値である。巡回行列Ｃ（ｕ）において、行列の各行は、１ピクセルずつシフトした画像に相当する。すなわち、式（４）の右辺は、入力ｕをフーリエ変換したものの複素共役と真値ｖをフーリエ変換したものとの要素ごとの積（アダマール積）をフーリエ逆変換したものである。
【００４１】
【数４】
2020191036.tif 000006
【００４２】
空間領域の畳み込み演算は、周波数領域の乗除演算に等しいため、追跡部５１ｂは、かかる巡回行列の特性を用いることによって、繰り返し処理が不要な高速処理を実現することができる。オブジェクト４の追跡処理において、追跡部５１ｂは、学習フェーズで算出された重みｗ及びバイアスｂを用いてｆ（ｕ）を算出し、当該ｆ（ｕ）が最大となるｕをオブジェクト４の位置とする。
【００４３】
以下、固定カメラ１０のカメラ座標系におけるオブジェクト４の位置、すなわち、オブジェクト４の二次元座標（ｘ，ｙ）をＰｆＣ（ｉ）で表す。ここで、ｉは、オブジェクト４の位置の通し番号を表し、添え字Ｃは、各カメラ座標系の番号を表す。Ｃは、第一の固定カメラ１０Ａのカメラ座標系を示す「１」、第二の固定カメラ１０Ｂのカメラ座標系を示す「２」をとる。ｆは、当該固定カメラから見て順方向の軌跡Ｔであることを示す。また、オブジェクト位置ＰｆＣ（ｉ）の集合をオブジェクト位置群ＰｆＣとする。
【００４４】
オブジェクト位置群ＰｆＣは、追跡した全オブジェクト位置ＰｆＣ（ｉ）の集合としてもよく、１つのショットを代表する５〜８点のオブジェクト位置ＰｆＣ（ｉ）の集合としてもよい。全オブジェクト位置ＰｆＣ（ｉ）を用いると、誤差の影響で軌跡Ｔが波打つため、代表点を用いることが好ましい。ここで、一定距離又は時間間隔でサンプリングすることで、代表点を抽出できる。このとき、代表点には、初回検出点及び最終位置を含めるとよい。
【００４５】
追跡部５１ｂは、移動中のオブジェクト４が静止するまで当該オブジェクト４を追跡し続ける。追跡部５１ｂは、オブジェクト４の速度をフレーム毎に算出し、算出されたオブジェクト４の速度に基づいて追跡を終了する。また、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて追跡を終了する。オブジェクト４が選手等に隠れた状態で静止した場合（オクルージョンが発生した場合）には、追跡部５１ｂは、オペレータによる操作部３０の操作結果に基づいて、オブジェクト４の静止位置を取得する。追跡終了後、追跡部５１ｂは、オブジェクト４の追跡結果であるオブジェクト位置群ＰｆＣを第一の変換部５２ａに出力する。
【００４６】
＜射影変換部＞
射影変換部５２は、追跡部５１ｂによって追跡されたオブジェクト位置群ＰｆＣを射影変換する。射影変換部５２は、第一の変換部５２ａと、第二の変換部５２ｂと、を備える。
【００４７】
ここで、ＰｆＣ（ｉ）は、ある固定カメラ１０（例えば、固定カメラ１０Ａ）によって撮影された２次元座標系上の位置を示す。このため、画角の異なる他の固定カメラ１０（例えば、固定カメラ１０Ｂ）によって撮影された画像に対し、正確な位置にオブジェクト４の軌跡を描画することは困難である。そこで、射影変換部５２は、射影変換を用いて、ある固定カメラ１０によって撮影されたオブジェクト４の位置を真上視点座標系（変換用座標系）へ変換する。そして、射影変換部５２は、真上視点座標系に変換されたオブジェクト４の位置を他の固定カメラ１０に対応するカメラ座標系へ変換する。
【００４８】
なお、真上視点座標系とは、カーリングシート２をその中心部の真上から撮影した場合の座標系のことである。以下、真上視点座標系におけるオブジェクト４の二次元座標（ｘ，ｙ）をＰｆＴ（ｉ）で表し、オブジェクト位置ＰｆＴ（ｉ）の集合をオブジェクト位置群ＰｆＴとする。添え字Ｔは、真上視点座標系であることを表す。
【００４９】
＜＜第一の変換部＞＞
第一の変換部５２ａは、追跡部５１ｂから入力されたオブジェクト位置群ＰｆＣを真上視点座標系へ射影変換し、真上視点座標系のオブジェクト位置群ＰｆＴを誤差特徴量算出部５３ａへ出力する。また、第一の変換部５２ａは、追跡部５１ｂから入力されたカメラ座標系のオブジェクト位置群ＰｆＣを誤差特徴量算出部５３ａへ出力する。変換後の座標（ｘｐ，ｙｐ）は、変換前の座標を（ｘｃ，ｙｃ）とすると、以下の式（５）で表される。
【００５０】
【数５】
2020191036.tif 000007
【００５１】
この射影変換は、平面から平面への写像であるため、変換後に得られる座標も２次元座標となる。ここで、３次元空間のＺ軸に垂直で原点を通過する平面を仮定すると、常にＺ＝０となるため、射影変換後の２次元座標が得られることによって、３次元座標上の１点を指定することができる。ここで、オブジェクト４としてのカーリングのストーンが氷上を平行移動するため、高さ方向をＺ軸としてＺ＝０と設定する。これにより、第一の固定カメラ１０Ａによって撮影された２次元座標系におけるオブジェクト４の位置から、オブジェクト４の三次元位置を算出できる。この射影変換において、射影変換行列Ｈは、未知の射影変換パラメータｈ１，…，ｈ８を用いて、以下の式（６）で表される。８つの射影変換パラメータｈ１，…ｈ８は、変換前後の画像間の４点以上の対応関係に基づいて算出可能である。
【００５２】
【数６】
2020191036.tif 000008
【００５３】
ここで、第一の変換部５２ａは、図６（ａ）に示すように、第一の固定カメラ１０Ａによって撮影された画像を表示部４０に表示させる。すると、オペレータは、操作部３０を操作し、表示部４０に表示された画像上で４点（例えば、カーリングシート２の四隅２ａ〜２ｄ）を指定する。すると、第一の変換部５２ａは、オペレータが指定した４点の座標を変換前の座標として取得し、前記した手順により射影変換行列Ｈを生成し、図６（ｂ）に示すように真上視点座標系への射影変換を行う。
【００５４】
＜＜第二の変換部＞＞
第二の変換部５２ｂは、後記する補正部５３ｃから補正後のオブジェクト位置群ＰｆＴ´が入力された場合、真上視点座標系のオブジェクト位置群ＰｆＴ´を、他の固定カメラ１０に対応したカメラ座標系へ射影変換する。ここで、第二の変換部５２ｂは、第一の変換部５２ａと同様の手順で射影変換を行い、他の固定カメラ１０に対応したカメラ座標系のオブジェクト位置群ＰｆＣ´を軌跡生成部５４に出力する。
【００５５】
なお、カーリングは１０エンドまで行われ、奇数エンド（１，３，５，７，９）と偶数エンド（２，４，６，８，１０）とでハウス３Ａ，３Ｂの位置が交互に入れ替えられる。そのため、奇数エンドでの投石（オブジェクト４の軌跡Ｔ）と偶数エンドの投石とは逆方向となり、一方の第一の固定カメラ１０Ａによるオブジェクト位置群を他方の第二の固定カメラ１０Ｂによる画像に単に合成し、奇数エンド及び偶数エンドの軌跡Ｔを同時に表示しようとすると、逆方向の軌跡Ｔが混在することとなる。そこで、射影変換部５２は、奇数エンド及び偶数エンドの一方のオブジェクト位置群を点対象に１８０°回転させることによって、奇数エンド及び偶数エンドの両方の軌跡Ｔを同一方向にしてもよい。この手法は、特開２０１８−２０６２８５号公報に記載されているため、詳細な説明を省略する。
【００５６】
＜位置補正部＞
位置補正部５３は、後記する識別器５３ｄにより、射影変換部５２が算出したオブジェクト位置群ＰｆＴを補正し、補正後のオブジェクト位置群ＰｆＴ´を射影変換部５２に出力する。図５に示すように、位置補正部５３は、誤差特徴量算出部５３ａと、学習部５３ｂと、補正部５３ｃと、識別器５３ｄとを備える。
【００５７】
真上視点座標系のオブジェクト位置群ＰｆＴには位置ずれが生じていることが多く、その結果、オブジェクト４の軌跡Ｔが自然な放物軌道から逸れてしまう場合がある。この場合、オペレータが軌跡Ｔの代表点（オブジェクト４の位置）を補正しているが、どの代表点を補正するかはオペレータの判断に依存する。スウィーピングにより軌跡Ｔの後半が放物軌道とならないことも多く、補正の要否は代表点の位置と平滑化曲線との誤差に基づいて、オペレータが人手で判断している。そこで、この人手による判定を機械学習することで、修正作業の自動化を図る。
【００５８】
以下、誤差特徴量の算出と識別器５３ｄの学習手順を説明する。まず、真上視点座標系のオブジェクト位置群ＰｆＴを用いて、オブジェクト位置群ＰｆＴの平滑化曲線を真上視点座標系で算出する。平滑化曲線は、スプライン曲線、ベジェ曲線などの任意の曲線である。続いて、カメラ座標系のオブジェクト位置群ＰｆＣを用いて、オブジェクト位置群ＰｆＣの平滑化曲線をカメラ座標系で算出する。そして、真上視点座標系において、オブジェクト位置群ＰｆＴに含まれる各オブジェクト位置ＰｆＴ（ｉ）から平滑化曲線までの距離ＲｆＴ（ｉ）を算出する。さらに、カメラ座標系において、オブジェクト位置群ＰｆＣに含まれる各オブジェクト位置ＰｆＣ（ｉ）から平滑化曲線までの距離ＲｆＣ（ｉ）を算出する。その後、オブジェクト４の軌跡先頭から各位置までの長さを求め、オブジェクト４の軌跡Ｔ全長に対する各位置までの長さの割合Ｌを算出する。
【００５９】
そして、以下の式（７）で定義される誤差特徴量を算出する。この式（７）には、真上視点座標系の各オブジェクト位置ＰｆＴ（ｉ）、真上視点座標系での距離ＲｆＴ（ｉ）、カメラ座標系の各オブジェクト位置ＰｆＣ（ｉ）、カメラ座標系での距離ＲｆＣ（ｉ）、割合Ｌが含まれる。なお、オブジェクト４の位置ｉにおいて、ｘが水平座標（Ｘ座標）であり、ｙが垂直座標（Ｙ座標）である。また、Ｌは、軌跡Ｔの全長に対する点ｉの位置の割合（０．０〜１．０）である。
【００６０】
【数７】
2020191036.tif 000009
【００６１】
学習時において、オペレータが補正したオブジェクト位置の誤差特徴量を正例、及び、オペレータが補正しなかったオブジェクト位置の誤差特徴量を負例として機械学習することで、識別器５３ｄを生成する。識別時において、固定カメラ画像から求めたオブジェクト位置群ＰｆＴ，ＰｆＣの誤差特徴量を識別器５３ｄに入力することで、補正の要否を判定する。補正が必要と判断された場合、補正が必要なオブジェクト位置ＰｆＴ（ｉ）を真上視点座標系の平滑化曲線上で補正する。そして、補正後のオブジェクト位置群ＰｆＴ´を用いて、誤差特徴量を再度算出する。このように、位置補正部５３は、全オブジェクト位置で補正が必要ないと判定されるまで前記処理を繰り返し、補正後のオブジェクト位置群ＰｆＴ´を求める。
【００６２】
＜＜誤差特徴量算出部＞＞
学習時において、誤差特徴量算出部５３ａは、オペレータが補正したオブジェクト位置（正例）、及び、オペレータが補正しなかったオブジェクト位置（負例）が入力される。誤差特徴量算出部５３ａは、前記式（７）を用いて、オペレータが補正したオブジェクト位置の誤差特徴量を正例、及び、オペレータが補正しなかったオブジェクト位置の誤差特徴量を負例として算出する。そして、誤差特徴量算出部５３ａは、正例及び負例の誤差特徴量を学習部５３ｂに出力する。
【００６３】
識別時において、誤差特徴量算出部５３ａは、前記式（７）を用いて、第一の変換部５２ａから入力されたオブジェクト位置群ＰｆＴ，ＰｆＣの誤差特徴量を算出する。そして、誤差特徴量算出部５３ａは、算出した誤差特徴量を補正部５３ｃに出力する。
【００６４】
＜＜学習部＞＞
学習時において、学習部５３ｂは、誤差特徴量算出部５３ａから入力された正例及び負例の誤差特徴量を機械学習することで、識別器５３ｄを生成する。本実施形態では、学習部５３ｂは、サポートベクターマシン、ランダムフォレスト（Random Forest）、アダブースト（Adaboost）等の機械学習を用いて、識別器５３ｄを生成する。
【００６５】
＜＜補正部＞＞
識別時において、補正部５３ｃは、識別器５３ｄにより、射影変換部５２が算出したオブジェクト位置群ＰｆＴの補正の要否を判定し、補正が必要な場合、オブジェクトの位置ＰｆＴ（ｉ）を平滑化曲線上に補正する。
【００６６】
具体的には、補正部５３ｃは、誤差特徴量算出部５３ａが算出した誤差特徴量を識別器５３ｄに入力し、オブジェクト位置群ＰｆＴに含まれる各オブジェクト位置ＰｆＴ（ｉ）の補正の要否を判定する。以下、そのオブジェクト位置ＰｆＴ（ｉ）の補正が必要な場合について説明する。図７に示すように、補正部５３ｃは、真上視点座標系において、そのオブジェクト位置ＰｆＴ（ｉ）から最短距離となる平滑化曲線ＣＶ上の１点を補正後のオブジェクト位置ＰｆＴ（ｉ）´として求める。
【００６７】
ここで、補正部５３ｃは、全オブジェクト位置ＰｆＴ（ｉ）で補正が必要ないと判定されるまで、前記した補正を繰り返す。例えば、補正部５３ｃは、全オブジェクト位置ＰｆＴ（ｉ）の誤差特徴量を合計し、その合計値が予め設定した閾値以下であるか否かを判定する。
【００６８】
合計値が閾値以下の場合、補正部５３ｃは、全オブジェクト位置ＰｆＴ（ｉ）で補正が必要ないと判定し、補正後のオブジェクト位置群ＰｆＴ´を第二の変換部５２ｂに出力する。
合計値が閾値未満の場合、補正部５３ｃは、何れかのオブジェクト位置ＰｆＴ（ｉ）で補正が必要と判定する。この場合、補正部５３ｃは、全オブジェクト位置ＰｆＴ（ｉ）で補正が必要ないと判定されるまで、オブジェクト位置ＰｆＴ（ｉ）の補正を繰り返す。
【００６９】
＜＜識別器＞＞
識別器５３ｄは、オペレータによるオブジェクト位置群の補正結果を予め機械学習したものである。この識別器５３ｄは、学習部５３ｂによって生成され、補正部５３ｃによって参照される。
【００７０】
＜軌跡生成部＞
軌跡生成部５４は、第二の変換部５２ｂから入力されたオブジェクト位置群ＰｆＣ´に基づいて、オブジェクト４の軌跡Ｔを生成する。すなわち、軌跡生成部５４は、得られたオブジェクト位置群ＰｆＣ´を用いて、オブジェクト４の軌跡Ｔを生成し、生成した軌跡Ｔを記憶部５５に記憶させる。ここで、検出された全てのフレームにおけるオブジェクト位置ＰｆＣ（ｉ）´を繋ぐと、誤検出や検出漏れが発生するため、滑らかな軌跡を描画することは困難である。このため、軌跡生成部５４は、オブジェクト位置ＰｆＣ（ｉ）´の数点をサンプリングし、サンプリングされたオブジェクト位置ＰｆＣ（ｉ）´にスプライン補間を行う。これにより、滑らかなオブジェクト４の軌跡Ｔを生成できる。
【００７１】
スプライン補間は、与えられた点群の全てを用いて関数を決定するのではなく、局所的な数点のみを用いて局所の関数（曲線）を決定し、かつ、決定された複数の曲線が全体として滑らかに接続される手法である。スプライン補間は、点群の全てから単一の多項式を決定するのではなく、各区間を比較的低い次元の多項式で近似する。軌跡生成部５４は、以下の式（８）で表される３次スプライン補間により、オブジェクト４の軌跡Ｔを生成する。
【００７２】
【数８】
2020191036.tif 000010
【００７３】
式（８）において、ｚは、スプライン補間によって得られる軌跡を示す関数である。また、式（８）において、軌跡ｚは、水平座標（Ｘ座標）、垂直座標（Ｙ座標）に分けて記述されている。スプライン補間は、与えられた全ての点（ｘｉ，ｙｉ）を必ず通過し、微係数の値が全ての点（ｘｉ，ｙｉ）で一致するように、係数ｐｉ，ｑｉ，ｒｉ，ｓｉを予め設定する（但し、係数ｒ０＝ｒｎ−１＝０）。
【００７４】
＜記憶部及び軌跡出力部＞
記憶部５５は、軌跡生成部５４が生成した軌跡Ｔを記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。
軌跡出力部５６は、オペレータによる操作部３０の操作結果に基づいて、記憶部５５に記憶された軌跡Ｔを読み出し、読み出した軌跡Ｔをインサータ６０へ出力する。
【００７５】
以上より、オブジェクト軌跡生成装置５０は、実軌跡に近いオブジェクト４の軌跡Ｔを生成することができる。図８に示すように、オブジェクト軌跡生成装置５０が生成した軌跡Ｔは、図２に比べて、蛇行が少なく、自然な放物軌道となっている。
【００７６】
［オブジェクト軌跡生成装置の動作］
図９を参照し、オブジェクト軌跡生成装置５０の動作ついて説明する。なお、図９では、識別器５３ｄが学習済みであることとする。
【００７７】
図９に示すように、ステップＳ１において、オブジェクト追跡部５１は、固定カメラ映像に含まれるオブジェクト４の位置を映像内において追跡する。オブジェクト候補画像生成部５１ａは、固定カメラ映像を構成するフレームである固定カメラ画像から、オブジェクト候補画像を生成する。追跡部５１ｂは、オブジェクト候補画像生成部５１ａから入力されたオブジェクト候補画像に逐次学習型の追跡手法を施し、オブジェクト候補画像に含まれるオブジェクト４の位置を追跡する。
【００７８】
ステップＳ２において、射影変換部５２は、ステップＳ１で追跡したオブジェクト４の位置群を射影変換する。第一の変換部５２ａは、追跡部５１ｂから入力されたオブジェクト位置群を真上視点座標系へ射影変換する。
【００７９】
ステップＳ３において、位置補正部５３は、識別器５３ｄにより、ステップＳ２で算出したオブジェクト位置群を補正する。このステップＳ３の詳細は、後記する。
【００８０】
ステップＳ４において、射影変換部５２は、ステップＳ３で補正したオブジェクト位置群を射影変換する。第二の変換部５２ｂは、補正部５３ｃから入力されたオブジェクト位置群を、他の固定カメラ１０に対応したカメラ座標系へ射影変換する。
【００８１】
ステップＳ５において、軌跡生成部５４は、ステップＳ４で射影変換されたオブジェクト位置群に基づいて、オブジェクト４の軌跡Ｔを生成し、記憶部５５に記憶させる。軌跡出力部５６は、オペレータによる操作部３０の操作結果に基づいて、記憶部５５に記憶された軌跡Ｔを読み出し、読み出した軌跡Ｔをインサータ６０へ出力する。
【００８２】
＜オブジェクト位置群の補正＞
図１０を参照し、図９のオブジェクト位置群の補正処理について説明する。
図１０に示すように、ステップＳ３０において、誤差特徴量算出部５３ａは、真上視点座標系でオブジェクト位置群から平滑化曲線を算出し、オブジェクト４の各位置から平滑化曲線までの距離を算出する。
ステップＳ３１において、誤差特徴量算出部５３ａは、カメラ座標系でオブジェクト位置群から平滑化曲線を算出し、オブジェクト４の各位置から平滑化曲線までの距離を算出する。
ステップＳ３２において、誤差特徴量算出部５３ａは、前記式（７）を用いて、誤差特徴量を算出する。
【００８３】
ステップＳ３３において、補正部５３ｃは、ステップＳ３２で算出した各オブジェクト位置の誤差特徴量を識別器５３ｄに入力し、そのオブジェクト位置の補正の要否を判定する。例えば、補正部５３ｃは、全オブジェクト位置で誤差特徴量を合計し、その合計値が閾値以下であるか否かを閾値判定する。
【００８４】
補正が必要ない場合（ステップＳ３３でＮｏ）、補正部５３ｃは、補正後のオブジェクト位置群を射影変換部５２に出力し、処理を終了する。
補正が必要な場合（ステップＳ３３でＹｅｓ）、補正部５３ｃは、ステップＳ３４の処理に進む。
ステップＳ３４において、補正部５３ｃは、オブジェクトの位置群を平滑化曲線上に補正し、ステップＳ３０の処理に戻る。
【００８５】
［作用・効果］
以上のように、オブジェクト軌跡生成装置５０は、人手による軌跡Ｔの補正結果を学習した識別器５３ｄを用いるので、その補正結果が軌跡Ｔに反映され、実軌跡に近い軌跡Ｔを自動的に生成することができる。例えば、カーリングの試合において、オブジェクト軌跡生成装置５０は、オブジェクト４の軌跡Ｔの補正作業に要する労力を軽減することができる。
【００８６】
さらに、オブジェクト軌跡生成装置５０は、変換用の座標系である真上視点座標系を介して射影変換を行うので、オブジェクト４の位置群を異なる視点の座標系へ精度よく変換することができる。
さらに、オブジェクト軌跡生成装置５０は、正例及び負例の誤差特徴量を機械学習するので、高精度な識別器５３ｄを生成することができる。
【００８７】
さらに、オブジェクト軌跡生成装置５０は、カーリングのストーンなどのオブジェクト４の軌跡Ｔを可視化することが可能である。これにより、オブジェクト軌跡生成装置５０は、カーリング競技において、カメラ映像だけでは伝えきれない各チームの戦術やカーリングシート２の状態など、解説コメントを交えて分かりやすく伝えることができる。
【００８８】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、平滑化曲線がスプライン曲線であることとして説明したが、これに限定されない。例えば、平滑化曲線は、ベジェ曲線等の任意の曲線でもよい。
【００８９】
前記した実施形態では、カーリング競技において、ストーンの軌跡を生成することとして説明したが、これに限定されない。例えば、オブジェクト軌跡生成装置は、図１１に示すように、ゴルフのパッティングにおいて、ゴルフボールの軌跡を生成及び表示することもできる。ゴルフのパッティングでは、グリーンのアンジュレーション（地面の凹凸）により、ゴルフボールの軌跡が自然な放物軌道にならないため、オブジェクト軌跡生成装置が有効である。このように、オブジェクト軌跡生成装置は、カーリングのみならず、地面に接地したオブジェクトの軌跡を生成することができる。さらに、オブジェクト軌跡生成装置は、追跡したオブジェクト位置に誤差が含まれることが多く、その補正を行えるため、カーリング、ゴルフ以外にも汎用的に利用できる。
【００９０】
前記した実施形態では、オブジェクト軌跡生成装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したオブジェクト軌跡生成装置として協調動作させるプログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【産業上の利用可能性】
【００９１】
本発明は、スポーツ映像解析技術に関し、自動審判、スポーツ番組の放送、スポーツデータ生成・配信、コーチングなどのサービスに利用することができる。さらに、本発明は、スポーツ以外でも情報番組、ドラマ・映画での映像制作、ゲームなどのエンターテイメントといった幅広い演出にも利用することができる。
【符号の説明】
【００９２】
１  オブジェクト軌跡生成システム
１０  固定カメラ
１０Ａ  第一の固定カメラ
１０Ｂ  第二の固定カメラ
１０Ｃ  第三の固定カメラ
２０  スイッチャ
３０  操作部
４０  表示部
５０  オブジェクト軌跡生成装置
５１  オブジェクト追跡部
５１ａ  オブジェクト候補画像生成部
５１ｂ  追跡部
５２  射影変換部
５２ａ  第一の変換部
５２ｂ  第二の変換部
５３  位置補正部
５３ａ  誤差特徴量算出部
５３ｂ  学習部
５３ｃ  補正部
５３ｄ  識別器
５４  軌跡生成部
５５  記憶部
５６  軌跡出力部
６０  インサータ
【図１】
2020191036.tif 000011
【図２】
2020191036.tif 000012
【図３】
2020191036.tif 000013
【図４】
2020191036.tif 000014
【図５】
2020191036.tif 000015
【図６】
2020191036.tif 000016
【図７】
2020191036.tif 000017
【図８】
2020191036.tif 000018
【図９】
2020191036.tif 000019
【図１０】
2020191036.tif 000020
【図１１】
2020191036.tif 000021