(57)【要約】【課題】映像内に映る予め定めた指定色の移動体の軌跡を生成する移動体軌跡生成装置を提供する。【解決手段】移動体軌跡生成装置１は、映像のフレームごとに、背景画像との差分をとることで前景領域を抽出する背景差分手段１１と、すべての前景領域の重心点のリストを全重心点マップとして生成するとともに、指定色に対応する前景領域の重心点のリストを指定色重心点マップとして生成する重心点マップ生成手段１２と、指定色重心点マップを参照して、前フレームと次フレームとの間で近接する重心点を軌跡として対応付けるとともに、前フレームにおいて対応付けられなかった重心点について、全重心点マップを参照して、次フレームとの間で近接する重心点を軌跡として対応付ける重心点接続手段１３と、を備える。【選択図】図１
2019087205.tif 000002
【特許請求の範囲】
【請求項１】
映像内に映る予め定めた指定色の移動体の軌跡を生成する移動体軌跡生成装置であって、
前記映像のフレームごとに、背景画像との差分をとることで前景領域を抽出する背景差分手段と、
すべての前記前景領域の重心点のリストを全重心点マップとして生成するとともに、前記指定色に対応する前記前景領域の重心点のリストを指定色重心点マップとして生成する重心点マップ生成手段と、
前記指定色重心点マップを参照して、前フレームと次フレームとの間で近接する重心点を軌跡として対応付けるとともに、前記前フレームにおいて対応付けられなかった重心点については、前記全重心点マップを参照して、次フレームとの間で近接する重心点を軌跡として対応付ける重心点接続手段と、
を備えることを特徴とする移動体軌跡生成装置。
【請求項２】
前記重心点マップ生成手段は、
前記前景領域ごとに重心点を算出して、前記全重心点マップを生成する領域重心点算出手段と、
前記前景領域ごとの重心点から、対応するフレームの色が前記指定色である重心点を抽出して前記指定色重心点マップを生成する指定色フィルタリング手段と、
を備えることを特徴とする請求項１に記載の移動体軌跡生成装置。
【請求項３】
前記指定色は色相と彩度とで表される色分布であって、
前記指定色フィルタリング手段は、前記前景領域の重心点に対応するフレームの画素の色が、前記色分布に含まれる色である重心点を、すべての前記前景領域の重心点から抽出することを特徴とする請求項２に記載の移動体軌跡生成装置。
【請求項４】
前記重心点接続手段は、
前記指定色重心点マップを参照して、前フレームの重心点に対して予め定めた範囲で軌跡となる直近の次フレームの重心点が存在するか否かを判定する指定色重心点マップ接続判定手段と、
前記指定色重心点マップ接続判定手段で次フレームの重心点が存在しないと判定された前記前フレームの重心点に対して、前記全重心点マップを参照して予め定めた範囲で軌跡となる直近の次フレームの重心点が存在するか否かを判定する全重心点マップ接続判定手段と、
前記指定色重心点マップにおいて、前記前フレームの重心点に対応する軌跡と判定されなかった次フレームの重心点を軌跡の始点として設定する新規重心点設定手段と、
前記指定色重心点マップ接続判定手段または前記全重心点マップ接続判定手段で、前フレームの重心点に対して軌跡となると判定された次フレームの重心点を、前記前フレームの重心点と対応付けて軌跡として設定する重心点接続設定手段と、
を備えることを特徴とする請求項１から請求項３のいずれか一項に記載の移動体軌跡生成装置。
【請求項５】
コンピュータを、請求項１から請求項４のいずれか一項に記載の移動体軌跡生成装置として機能させるための移動体軌跡生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像内に映る移動体の軌跡を生成する移動体軌跡生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
従来、移動体（飛翔体、人物等）を撮影した映像から、移動体の軌跡を生成する場合、一般的には、トラッキング手法と呼ばれる手法が用いられる。
このトラッキング手法は、移動体の画像特徴（色、面積等）をテンプレートとして、テンプレートに類似する領域をフレームごとに探索し、類似する領域の位置を追跡することで軌跡を生成する。
通常、トラッキング手法は、他の物体によって移動体が一部隠蔽されたり、移動体の形状が変形したりすることで、正しく追跡することができない。
【０００３】
そこで、近年では、追跡対象である移動体に対して予め固定したテンプレートを用いるのではなく、ＫＣＦ（Kernelized Correlation Filter）等によって、フレームごとに移動体のテンプレートを逐次学習する手法が開示されている（非特許文献１，２参照）。
この移動体の特徴をフレームごとに学習することで、追跡対象に形状変化、外乱等が発生してもロバストに移動体を追跡することが可能である（非特許文献１参照）。また、この手法より、複数の人間が同時に移動する場合でも特定の人物をその特徴からロバストに追跡することが可能となる（非特許文献２参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高橋正樹，横澤真介，三ッ峰秀樹，三科智之，松久泰之，村松佐和子，“逐次学習を利用したカーリング競技でのストーン軌跡表示”，映像情報メディア学会年次大会講演予稿集，14D-2，2017.
【非特許文献２】J.F.Henriques, R.Caseiro, P.Martins, and J.Batista,“Exploiting the Circulant Ctructure of Tracking-by-detection with Kernels”, In proceedings of the European Conference on Computer Vision, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の移動体の軌跡を生成する手法は、トラッキング手法により、対象となる１つの移動体をその画像特徴により追跡するものである。そのため、従来の軌跡生成手法は、画像特徴が類似する複数の移動体が映った映像からは、個別に移動体の軌跡を生成することは困難である。例えば、従来の軌跡生成手法では、画像特徴が類似する複数の移動体が映った映像で、１つの移動体を追跡する場合、移動体同士が接近したり、交差したりすることで、追跡対象を誤ってしまう。
【０００６】
また、従来の軌跡生成手法では、画像特徴として色を用いた場合、移動体が光源に対して逆光になったり、移動体と背景との間でカラーブリーディングが発生したりすることで、移動体の色がテンプレートと異なってしまい、正しく移動体を追跡することができないという問題がある。
【０００７】
また、従来の軌跡生成手法として、移動体の一部が隠蔽されてもロバストにトラッキングを行うことで軌跡生成を可能とした手法は存在するが、完全に移動体が隠蔽された場合、追跡を完了してしまう。そのため、従来の軌跡生成手法は、完全に移動体が隠蔽された後に、移動体が再出現した場合、移動体を追跡することができず、軌跡を生成することができないという問題がある。
【０００８】
そこで、本発明は、画像特徴が類似する複数の移動体が映った映像であっても、移動体の色変化や隠蔽後の再出現等が発生する映像であっても、移動体の軌跡を生成することが可能な移動体軌跡生成装置およびそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明に係る移動体軌跡生成装置は、映像内に映る予め定めた指定色の移動体の軌跡を生成する移動体軌跡生成装置であって、背景差分手段と、重心点マップ生成手段と、重心点接続手段と、を備える構成とした。
【００１０】
かかる構成において、移動体軌跡生成装置は、背景差分手段によって、映像のフレームごとに、逐次的に学習した背景画像との差分をとることで前景領域を抽出する。このように背景画像との差分で抽出される前景領域は、動きを伴った移動体の領域とみなすことができ、移動体の色に関わらず、また、複数フレームに亘って移動体が完全に隠蔽された状態から再出現する場合でも、確実に移動体を検出することができる。
【００１１】
また、移動体軌跡生成装置は、重心点マップ生成手段によって、すべての前景領域の重心点のリストを全重心点マップとして生成する。また、移動体軌跡生成装置は、重心点マップ生成手段によって、指定色に対応する前景領域の重心点のリストを指定色重心点マップとして生成する。これによって、指定色に対応する移動体の重心点のリストは、指定色でフィルタリングされた指定色重心点マップとして生成され、指定色に対応する移動体の重心点を含むすべての重心点のリストは、指定色でフィルタリングされていない全重心点マップとして生成される。
【００１２】
そして、移動体軌跡生成装置は、重心点接続手段によって、指定色重心点マップを参照して、前フレームと次フレームとの間で近接する重心点を軌跡として対応付ける。これによって、同じ指定色に対応する重心点の軌跡が、移動体の軌跡として生成されることなる。また、移動体軌跡生成装置は、重心点接続手段によって、前フレームにおいて対応付けられなかった重心点については、全重心点マップを参照して、次フレームとの間で近接する重心点を軌跡として対応付ける。これによって、移動体の色に変化があった場合でも、同じ移動体として軌跡を生成することができる。
なお、移動体軌跡生成装置は、コンピュータを、前記した各手段として機能させるための移動体軌跡生成プログラムで動作させることができる。
【発明の効果】
【００１３】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、背景差分により移動体を検出して重心点を追跡するため、移動体が複数存在する場合でも、移動体が隠蔽され再出現する場合でも、移動体を確実に検出することができる。
また、本発明によれば、指定色でフィルタリングされた重心点で移動体を追跡し、フレーム上に追跡対象の重心点が存在しない場合、指定色でフィルタリングされていない重心点で移動体を追跡するため、移動体の色が変化した場合でも、移動体を検出することができる。
これによって、本発明は、映像中の移動体をロバストに検出し軌跡を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る移動体軌跡生成装置の構成を示すブロック構成図である。
【図２】移動体を含む映像の例を示す図であって、（ａ）は映像の任意のフレーム画像、（ｂ）はそれに対応する背景画像を示す。
【図３】背景差分法を説明するための説明図であって、（ａ）は背景画像、（ｂ）はフレーム画像、（ｃ）は差分画像を示す。
【図４】領域重心点算出手段が算出する前景領域の重心点を説明するための説明図である。
【図５】領域重心点算出手段が生成する全重心点マップの内容を示すデータ構造図である。
【図６】指定色フィルタリング手段によりフィルタリング後の重心点を説明するための説明図である。
【図７】指定色フィルタリング手段が生成する指定色重心点マップの内容を示すデータ構造図である。
【図８】重心点接続手段が生成する接続点リストの内容を示すデータ構造図である。
【図９】全重心点マップおよび指定色重心点マップの重心点をフレームごとに（ａ），（ｂ），（ｃ）の順に模式的に表した図である。
【図１０】図９の重心点の出現に対応して設定されるフレームごと（（ａ），（ｂ），（ｃ））の接続点リストの例を示す図である。
【図１１】本発明の実施形態に係る移動体軌跡生成装置が生成する移動体の軌跡を示す図である。
【図１２】本発明の実施形態に係る移動体軌跡生成装置が生成する他の移動体の軌跡を示す図である。
【図１３】本発明の実施形態に係る移動体軌跡生成装置の動作を示すフローチャートである。
【図１４】本発明の実施形態に係る移動体軌跡生成装置の動作のうち、重心点接続処理の動作を示すフローチャートである。
【図１５】本発明の実施形態に係る移動体軌跡生成装置の他の構成を示すブロック構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について図面を参照して説明する。
［移動体軌跡生成装置の構成］
まず、図１を参照して、本発明の実施形態に係る移動体軌跡生成装置１の構成について説明する。
【００１６】
移動体軌跡生成装置１は、撮像装置Ｃが撮像した、軌跡を生成したい対象となる移動体が映った映像から、移動体の軌跡を生成するものである。なお、この映像は、全時間に移動体が映っている必要はない。ここで、移動体は、色を特徴として指定可能な移動物体であれば特に限定するものではない。例えば、移動体は、ボール、ディスク（フリスビー）、ストーン（カーリング）等の物体、ユニホーム等で色指定が可能な選手（人物）等である。
ここでは、移動体軌跡生成装置１は、制御部１０と、記憶部２０と、を備える。
【００１７】
制御部１０は、移動体軌跡生成装置１全体を制御するものである。
ここでは、制御部１０は、背景差分手段１１と、重心点マップ生成手段１２と、重心点接続手段１３と、移動体別軌跡出力手段１４と、を備える。
【００１８】
背景差分手段１１は、入力された映像に対して、フレームごとに動きのない物体のみが記録されている背景画像との差分をとることで動きのある領域を抽出するものである。この背景差分手段１１は、一般的な背景差分法を用いて、動きのある領域（前景）を抽出すればよい。なお、背景画像は、背景画像記憶部２１に予め記憶しておく。例えば、図２に示すように、映像Ｖ（図２（ａ））に対して、背景画像Ｂｋ（図２（ｂ））を背景画像記憶部２１に予め記憶しておく。ここでは、映像Ｖとして、ロボットＲが発射するディスクＤで、台Ｔ上に載置したボールＢを飛ばして、ディスクＤを台Ｔに載せる競技の映像を例に説明する。
この場合、ロボットＲ、ディスクＤ、ボールＢが前景となる。なお、背景差分手段１１は、所定フレーム間で動きのない領域（画素）を、背景として、背景画像Ｂｋを逐次的に更新することが好ましい。これによって、動きの止まった移動体の不要な軌跡データを減らすことができる。
【００１９】
この背景差分手段１１は、背景差分法により、映像Ｖのフレームごとに、背景画像Ｂｋとの画素値の差分（相違度）が予め定めた閾値以下を背景、それ以外を前景とした差分画像（２値画像）を生成する。
例えば、ある時点で、背景画像が図３（ａ）に示す背景画像Ｂｋであって、映像のフレームが図３（ｂ）に示すフレーム画像Ｆｒであった場合、背景差分手段１１は、図３（ｃ）に示すように、動きのある領域（閉領域）Ｍ１，Ｍ２，Ｍ３を前景とし、他の領域を背景とした差分画像Ｄｉｆｆを生成する。なお、領域Ｍ１，Ｍ２は、ディスクＤ１，Ｄ２の移動により生成される領域であり、領域Ｍ３は、ロボットＲがディスクＤを発射する方向を変えることで生成される領域である。
背景差分手段１１は、フレーム単位で、生成した差分画像と、それに対応するフレーム画像とを重心点マップ生成手段１２に出力する。
【００２０】
重心点マップ生成手段１２は、背景差分手段１１で生成したフレームごとの差分画像から、動きのある領域の重心点のマップを生成するものである。ここでは、重心点マップ生成手段１２は、領域重心点算出手段１２１と、指定色フィルタリング手段１２２と、を備える。
【００２１】
領域重心点算出手段１２１は、背景差分手段１１で生成したフレームごとの差分画像から、動きのあるすべての領域に対して、領域ごとの重心点を算出するものである。
例えば、差分画像が、図３（ｃ）に示した動きのある領域Ｍ１，Ｍ２，Ｍ３を有する画像であった場合、領域重心点算出手段１２１は、領域Ｍ１，Ｍ２，Ｍ３のそれぞれについて、図４に示すように重心点Ｇ１，Ｇ２，Ｇ３を算出する。
【００２２】
なお、領域重心点算出手段１２１は、差分画像の座標系をｘｙ座標系としたとき、以下の式（１）に示すように、閉領域Ｍ内の座標位置の値を“１”、閉領域Ｍ外の座標位置の値を“０”として、以下の式（２）により、重心点Ｇの座標（ｘ−，ｙ−）を算出する。
【００２３】
【数１】
2019087205.tif 000003
【００２４】
【数２】
2019087205.tif 000004
【００２５】
領域重心点算出手段１２１は、図５に示すように、フレームを特定する情報（フレーム番号等）に当該フレームの重心点（座標）を対応付けて、全重心点マップＭａを生成する。すなわち、領域重心点算出手段１２１は、フレームの差分画像を入力するたびに、順次、フレームごとにすべての重心点の座標を対応付けて、記憶部２０の重心点マップ記憶部２３に全重心点マップＭａとして記憶する。
また、領域重心点算出手段１２１は、フレームごとにすべての重心点の座標を指定色フィルタリング手段１２２に出力する。もちろん、重心点マップ記憶部２３にフレームに対応する重心点の座標が記憶されているため、領域重心点算出手段１２１は、フレーム番号のみを指定色フィルタリング手段１２２に出力することとしてもよい。
【００２６】
指定色フィルタリング手段１２２は、領域重心点算出手段１２１で座標位置を算出したフレームごとの重心点から、軌跡を生成したい対象となる移動体として予め指定された色（指定色）に対応する重心点を抽出（フィルタリング）するものである。
ここでは、軌跡を生成したい対象となる移動体をディスクＤ（図２参照）とし、それぞれのディスクＤは同じ色であるとする。例えば、指定色フィルタリング手段１２２は、図４に示した重心点Ｇ１，Ｇ２，Ｇ３から、図６に示すように、軌跡を生成したい対象となるディスクＤの重心点Ｇ１，Ｇ２のみを抽出する。
【００２７】
指定色は、予め記憶部２０の指定色情報記憶部２２に記憶しておく。この指定色は、軌跡を生成したい対象となる移動体の色を特定可能な色情報であれば、特に限定するものではない。例えば、指定色は、ＨＳＶ色空間における色相（Ｈｕｅ）と彩度（Saturation）とで表される色分布とする。この色分布は、予め対象となる移動体を撮像した画像から求めておく。これによって、映像の明るさによる影響を抑えて、移動体を特定することができる。
この指定色フィルタリング手段１２２は、フレームごとのすべての重心点のうちで、フレーム画像の重心点が属する領域に対応する色が、指定色である重心点のみを抽出する。ここで、フレーム画像の重心点に対応する色が指定色であるか否かは、例えば、フレーム画像の重心点が属する領域に対応する画素集合の色の色相と彩度が、指定色である色相と彩度の色分布に含まれる比率により判定する。
【００２８】
指定色フィルタリング手段１２２は、図７に示すように、フレームを特定する情報（フレーム番号等）に当該フレームの指定色に対応する重心点（座標）を対応付けて、指定色重心点マップＭｃを生成する。すなわち、指定色フィルタリング手段１２２は、フレームの差分画像を入力するたびに、順次、フレームごとにフレーム内の指定色に対応する重心点を対応付けて、記憶部２０の重心点マップ記憶部２３に指定色重心点マップＭｃとして記憶する。
このとき、指定色重心点マップＭｃの重心点の集合をＭＣ、全重心点マップＭａの重心点の集合をＭＡとしたとき、常に、ＭＣ⊆ＭＡの包含関係が成立する。
重心点マップ生成手段１２は、入力された映像全体に対して重心点マップ（全重心点マップＭａ，指定色重心点マップＭｃ）を生成した後、重心点マップの生成が完了した旨を、重心点接続手段１３に通知する。
【００２９】
重心点接続手段１３は、重心点マップ生成手段１２で生成された重心点マップから、フレームごとに移動体の軌跡となる接続点として重心点同士を対応付ける（接続する）ものである。この重心点接続手段１３は、基本的には、移動体の移動に伴い、指定色重心点マップＭｃの重心点を接続点としてフレーム同士で接続する。しかし、重心点接続手段１３は、移動した移動体の指定色に対応する重心点が探索できない場合、全重心点マップＭａの重心点に探索対象を広げる。
ここでは、重心点接続手段１３は、指定色重心点マップ接続判定手段１３１と、全重心点マップ接続判定手段１３２と、新規重心点設定手段１３３と、重心点接続設定手段１３４と、を備える。
【００３０】
指定色重心点マップ接続判定手段１３１は、指定色重心点マップＭｃにおいて、フレーム間で移動体の重心点が接続可能か否かを判定するものである。
この指定色重心点マップ接続判定手段１３１における接続判定は、特に限定するものではない。例えば、指定色重心点マップ接続判定手段１３１は、接続可否判定の対象となるフレームの重心点と前フレームのすでに接続点と判定された重心点との間で、前フレームにおける接続点からの距離が予め定めた範囲内で最も近い次フレーム（探索対象フレーム）の重心点を接続可能と判定する。
【００３１】
また、指定色重心点マップ接続判定手段１３１は、前フレームと前々フレームとの間ですでに接続点と判定された重心点が存在する場合、前々フレームの接続点から前フレームの接続点までのベクトルの始点を前フレームの接続点に移動させ、当該ベクトルの終点からの距離が予め定めた範囲内で最も近い次フレーム（探索対象フレーム）の重心点を接続可能と判定してもよい。
【００３２】
この指定色重心点マップ接続判定手段１３１は、前フレームの接続点と接続可能な重心点が存在すると判定した場合、前フレームの接続点の座標と、接続可能な次フレームの重心点の座標とを、探索対象フレームのフレーム番号とともに、重心点接続設定手段１３４に出力する。
【００３３】
また、指定色重心点マップ接続判定手段１３１は、前フレームの接続点と接続可能な重心点が存在しないと判定した場合、前フレームの接続点の座標を、次フレーム番号とともに、全重心点マップ接続判定手段１３２に出力する。これによって、重心点接続手段１３は、指定色重心点マップＭｃから全重心点マップＭａに重心点の探索対象を広げる。
【００３４】
また、指定色重心点マップ接続判定手段１３１は、全重心点マップ接続判定手段１３２によっても、前フレームの接続点と接続可能と判定されなかった探索対象フレームの重心点を新規の重心点とし、重心点の座標を次フレーム番号とともに、新規重心点設定手段１３３に出力する。なお、前フレームに接続点が存在しない場合、あるいは、探索対象フレームが映像の最初のフレームである場合、指定色重心点マップ接続判定手段１３１は、探索対象フレームの重心点を新規の重心点とし、その重心点の座標を探索対象フレームのフレーム番号とともに、新規重心点設定手段１３３に出力する。
なお、指定色重心点マップ接続判定手段１３１は、１つのフレーム上におけるすべての重心点について接続判定処理が完了した時点で、次のフレームの処理を行う。
【００３５】
全重心点マップ接続判定手段１３２は、全重心点マップＭａにおいて、フレーム間で移動体の重心点が接続可能か否かを判定するものである。
この全重心点マップ接続判定手段１３２は、指定色重心点マップ接続判定手段１３１で前フレームの接続点と接続可能な重心点が探索対象フレームに存在しないと判定された場合に動作する。すなわち、全重心点マップ接続判定手段１３２は、指定色重心点マップ接続判定手段１３１で、接続点と接続可能な指定色の重心点が存在しない場合に、すべての重心点を対象として接続点と接続可能か否かを判定する。
なお、全重心点マップ接続判定手段１３２における接続判定は、指定色重心点マップ接続判定手段１３１と同様の手法を用いればよく、例えば、前フレームにおける接続点からの距離が予め定めた範囲内で最も近い次フレーム（探索対象フレーム）の重心点を接続可能と判定する。
【００３６】
この全重心点マップ接続判定手段１３２は、前フレームの接続点と接続可能な重心点が探索対象フレームに存在すると判定した場合、前フレームの接続点の座標と、接続可能な探索対象フレームの重心点の座標とを、探索対象フレームのフレーム番号とともに、重心点接続設定手段１３４に出力する。
一方、指定色重心点マップ接続判定手段１３１から入力された接続点に対して、接続可能な重心点が探索対象フレームに存在しないと判定した場合、全重心点マップ接続判定手段１３２は、指定色重心点マップ接続判定手段１３１に制御を戻す。
【００３７】
新規重心点設定手段１３３は、指定色重心点マップ接続判定手段１３１から入力される新規の重心点を、軌跡の始点となる接続点として設定するものである。
この新規重心点設定手段１３３は、移動体に固有の識別子（移動体識別）を割り当てて、フレーム番号に、移動体識別と接続点（重心点の座標）とを対応付けて、接続点リスト記憶部２４の接続点リストＬに登録する。
例えば、新規重心点設定手段１３３は、あるフレーム番号Ｎのフレームに新規の重心点Ｇ１が存在した場合、図８の接続点リストＬの例に示すように、新規の移動体識別ＩＤ１を接続点（重心点）Ｇ１に割り当てて、フレーム番号Ｎに対応付ける。なお、図８の例では、さらに、フレーム番号（Ｎ＋１）のフレームに新規の重心点Ｇ１０が存在し、新規の移動体識別ＩＤ２を接続点（重心点）Ｇ１０に割り当てた例を示している。
【００３８】
重心点接続設定手段１３４は、指定色重心点マップ接続判定手段１３１または全重心点マップ接続判定手段１３２から入力される前フレームの接続点と次フレーム（探索対象フレーム）の重心点とを対応付ける（接続する）ものである。
この重心点接続設定手段１３４は、次フレームの重心点を前フレームの接続点と接続可能な接続点として、接続点リスト記憶部２４の接続点リストＬに登録する。
例えば、重心点接続設定手段１３４は、フレーム番号（Ｎ＋1）のフレームで前フレームの接続点（重心点）Ｇ１と次フレームの重心点Ｇ２とが入力された場合、図８の接続点リストＬの例に示すように、フレーム番号（Ｎ＋１）において、前フレームの接続点（重心点）Ｇ１と同じ移動体識別ＩＤ１に次フレームの重心点Ｇ２を接続点として設定する。
【００３９】
ここで、図９および図１０を参照（適宜図１参照）して、重心点接続手段１３の処理内容についてより具体的に説明する。図９は、全重心点マップＭａおよび指定色重心点マップＭｃの重心点をフレームごとに画像上に模式的に表した図である。図９の（ａ−１），（ｂ−１），（ｃ−１）は、全重心点マップＭａのフレームごとの重心点を示す。図９の（ａ−２），（ｂ−２），（ｃ−２）は、指定色重心点マップＭｃのフレームごとの重心点を示す。図１０は、図９の重心点の出現に対応して設定される接続点リストＬの例を示す。
【００４０】
図９（ａ）の（ａ−２）に示すように、指定色重心点マップＭｃの１フレーム目に重心点Ｇ１，Ｇ２が存在した場合、指定色重心点マップ接続判定手段１３１は、探索対象フレームが最初のフレームであるため、探索対象フレームの重心点Ｇ１，Ｇ２の座標を新規の重心点と判定する。そして、新規重心点設定手段１３３は、図１０（ａ）に示すように、接続点リストＬにおいて、フレーム番号“１”に、固有の移動体識別ＩＤ１，ＩＤ２を新規に割り当てて、移動体識別ＩＤ１，ＩＤ２に対して重心点Ｇ１，Ｇ２を軌跡の始点となる接続点としてそれぞれ対応付ける。なお、このとき、図９（ａ）の（ａ−１）の全重心点マップＭａは利用されない。
【００４１】
次に、図９（ｂ）の（ｂ−２）に示すように、指定色重心点マップＭｃの２フレーム目に重心点Ｇ４が存在した場合、指定色重心点マップ接続判定手段１３１は、前フレームの接続点（重心点）Ｇ１からの距離が予め定めた範囲内で最も近い重心点Ｇ４を接続可能と判定する。なお、２フレーム目には、前フレームの接続点（重心点）Ｇ２の予め定めた範囲内に重心点が存在しない。そこで、次に、全重心点マップ接続判定手段１３２が、全重心点マップＭａを参照し、前フレームの接続点（重心点）Ｇ２からの距離が予め定めた範囲内で最も近い重心点Ｇ５を接続可能と判定する。そして、重心点接続設定手段１３４は、図１０（ｂ）に示すように、接続点リストＬにおいて、フレーム番号“２”に、移動体識別ＩＤ１と接続点（重心点）Ｇ４とを設定することで接続点Ｇ１，Ｇ４を対応付け、移動体識別ＩＤ２と接続点（重心点）Ｇ５とを設定することで接続点Ｇ２，Ｇ５を対応付ける。
【００４２】
次に、図９（ｃ）の（ｃ−２）に示すように、指定色重心点マップＭｃの３フレーム目に重心点Ｇ７，Ｇ８，Ｇ１０が存在した場合、指定色重心点マップ接続判定手段１３１は、図９（ｂ）と同様の判定で、接続点（重心点）Ｇ４と重心点Ｇ７とを接続可能と判定し、接続点（重心点）Ｇ５と重心点Ｇ８とを接続可能と判定する。また、重心点Ｇ１０は、前フレームの接続点と接続可能と判定されなかった重心点であるため、指定色重心点マップ接続判定手段１３１は、重心点Ｇ１０を新規の重心点と判定する。そして、重心点接続設定手段１３４は、図１０（ｃ）に示すように、接続点リストＬにおいて、フレーム番号“３”に、移動体識別ＩＤ１と接続点（重心点）Ｇ７とを設定することで接続点Ｇ４，Ｇ７を対応付け、移動体識別ＩＤ２と接続点（重心点）Ｇ８とを設定することで接続点Ｇ５，Ｇ８を対応付ける。また、新規重心点設定手段１３３は、図１０（ｃ）に示すように、接続点リストＬにおいて、フレーム番号“３”に、固有の移動体識別ＩＤ３を新規に割り当てて、移動体識別ＩＤ３に対して重心点Ｇ１０を軌跡の始点となる接続点として対応付ける。
【００４３】
これによって、図１０（ｃ）に示すように、フレーム番号１〜３において、移動体識別ＩＤ１で対応付けられた接続点Ｇ１，Ｇ４，Ｇ７、移動体識別ＩＤ２で対応付けられた接続点Ｇ２，Ｇ５，Ｇ８が、それぞれの移動体の軌跡として、接続点リストＬに設定されることになる。なお、図９（ｂ）では、指定色重心点マップＭｃに重心点Ｇ５は存在しない。しかし、重心点接続手段１３は、全重心点マップＭａに存在する重心点Ｇ５を接続点Ｇ２に接続する重心点として判定する。これによって、重心点接続手段１３は、逆光等で一時的に移動体の色が変化しても、継続的に移動体の重心点を接続することができる。
図１に戻って、移動体軌跡生成装置１の構成について説明を続ける。
【００４４】
移動体別軌跡出力手段１４は、移動体別の接続点の座標列を、移動体の軌跡として出力するものである。
この移動体別軌跡出力手段１４は、重心点接続手段１３が映像全体に対して接続点リストＬを生成した段階で、重心点接続手段１３からの指示、または、外部の図示を省略した出力指示装置からの指示により、記憶部２０の接続点リスト記憶部２４に記憶されている接続点リストＬを参照して、同じ移動体識別を同一の移動体として、移動体別に接続点の座標列を出力する。
なお、移動体別軌跡出力手段１４は、入力された映像の最終フレームに、接続点の座標列を線で結んだ軌跡を描画してもよい。
【００４５】
記憶部２０は、制御部１０の動作に必要な各種情報を記憶するもので、半導体メモリ等の記憶媒体で構成することができる。
この記憶部２０は、背景画像記憶部２１と、指定色情報記憶部２２と、重心点マップ記憶部２３と、接続点リスト記憶部２４と、を備える。なお、各記憶部２１〜２４が記憶する内容については、制御部１０の説明で行っているため、ここでは説明を省略する。
【００４６】
以上説明したように移動体軌跡生成装置１を構成することで、移動体軌跡生成装置１は、移動体が複数存在する場合でも、移動体が隠蔽され再出現する場合でも、背景差分手段１１によって、移動体を確実に検出することができる。
また、移動体軌跡生成装置１は、指定色重心点マップＭｃを用いることで、指定色で特定される移動体のみの軌跡を生成することができる。また、たとえ、移動体の色が変化する場合でも、全重心点マップＭａを用いることで、移動体の軌跡を生成することができる。
【００４７】
例えば、移動体軌跡生成装置１は、図２で説明した競技を上部に配置したカメラで撮影した映像で軌跡を生成した場合、図１１に示すように、複数の同じ色のディスクＤ１，Ｄ２，Ｄ３について、それぞれ個別に重心点を接続して、個別の軌跡ＴＲ１，ＴＲ２，ＴＲ３を生成することができる。
【００４８】
また、例えば、移動体軌跡生成装置１は、図１２に示すように、カーリング競技の指定色（例えば、赤）のストーンＳＴ１の投球軌跡と、それに伴って指定色のストーンＳＴ２，ＳＴ３がどのような軌跡で移動するのかを、個別に軌跡ＴＲ１，ＴＲ２，ＴＲ３として生成することができる。
【００４９】
［移動体軌跡装置の動作］
次に、図１３を参照（構成については適宜図１参照）して、移動体軌跡生成装置１の動作について説明する。なお、背景画像記憶部２１には、予め軌跡を生成する映像の背景画像が記憶されているものとする。また、指定色情報記憶部２２には、予め軌跡を生成する対象となる移動体の色情報が記憶されているものとする。
【００５０】
ステップＳ１において、制御部１０は、映像をフレームごとに入力する。
ステップＳ２において、背景差分手段１１は、ステップＳ１で入力したフレームごとに、背景差分法により、フレーム画像と背景画像記憶部２１に記憶されている背景画像とから前景領域を差分画像として生成する。
【００５１】
ステップＳ３において、重心点マップ生成手段１２の領域重心点算出手段１２１は、ステップ２で生成した差分画像のすべての前景領域に対して重心点を算出する。これによって、フレーム内の動きのあるすべての領域に対する重心点が算出される。
ここで、領域重心点算出手段１２１は、フレームごとにすべての重心点の座標を対応付けて、記憶部２０の重心点マップ記憶部２３に全重心点マップＭａ（図４，図５参照）として記憶する。
【００５２】
ステップＳ４において、重心点マップ生成手段１２の指定色フィルタリング手段１２２は、ステップＳ３で算出した重心点から、指定色情報記憶部２２に予め記憶されている移動体の色情報（指定色）に対応する重心点をフィルタリングする。これによって、フレーム内の動きのある領域のうちで、指定色の移動体の重心点が抽出される。
ここで、指定色フィルタリング手段１２２は、フレームごとにフィルタリングした重心点の座標を対応付けて、記憶部２０の重心点マップ記憶部２３に指定色重心点マップＭｃ（図６，図７参照）として記憶する。
【００５３】
ここで、次のフレームが入力された場合（ステップＳ５でＹｅｓ）、制御部１０は、ステップＳ１に戻って、動作を継続する。一方、映像の入力が完了した場合（ステップＳ５でＮｏ）、制御部１０は、ステップＳ６において、重心点マップ記憶部２３に記憶された全重心点マップＭａと、指定色重心点マップＭｃとにより、移動体に対応する重心点をフレーム間で接続する重心点接続処理を行う。これによって、移動体別に軌跡となる重心点を接続点としたフレームごとのリスト（接続点リストＬ；図８参照）が生成される。なお、このステップ６の重心点接続処理については後記する。
ステップＳ７において、移動体別軌跡出力手段１４は、ステップＳ５で生成した接続点リストＬを参照して、移動体別に接続点の座標列を出力する。
【００５４】
（重心点接続処理）
次に、図１４を参照（構成については適宜図１参照）して、移動体軌跡生成装置１の重心点接続処理の動作について説明する。この重心点接続処理は、図１３のステップＳ６の処理に相当し、重心点接続手段１３で行われる。
【００５５】
ステップＳ１０において、重心点接続手段１３は、映像を構成するフレームの数だけ処理をループするための変数（フレームループ変数）ｉを初期化（ｉ＝１）する。以下、フレームｉを映像のｉ番目のフレーム（探索対象フレーム）とする。
【００５６】
ステップＳ１１において、重心点接続手段１３は、ｉ＝１、または、ｉ＞１でフレーム（ｉ−１）に対応する接続点リストＬに接続点が存在しない場合、ステップＳ２０に動作を進める。すなわち、重心点接続手段１３は、接続点（重心点）の探索対象フレームが最初のフレームである場合、または、探索対象フレームに対して、直前のフレームに接続点がない場合、前フレームとの接続を行う必要がないため、動作をステップＳ２０に進める。
【００５７】
ステップＳ１２において、重心点接続手段１３は、接続点リストＬのフレーム（ｉ−１）における接続点の数だけ処理をループするための変数（接続点ループ変数）ｊを初期化（ｊ＝１）する。以下、接続点ｊをフレーム（ｉ−１）におけるｊ番目の接続点とする。
【００５８】
ステップＳ１３において、指定色重心点マップ接続判定手段１３１は、接続点リストＬのフレーム（ｉ−１）の接続点ｊと接続可能なフレームｉの重心点を、指定色重心点マップＭｃにおいて探索する。例えば、指定色重心点マップ接続判定手段１３１は、接続点ｊとの距離が予め定めた範囲内で最も近いフレームｉの重心点を探索する。
【００５９】
ここで、指定色重心点マップＭｃにおいて接続点ｊと接続可能な重心点が探索された場合（ステップＳ１４でＹｅｓ）、ステップＳ１５において、重心点接続設定手段１３４は、探索された重心点を、接続点ｊと対応付けてフレームｉの接続点に設定する。ここでは、重心点接続設定手段１３４は、接続点リストＬにおいて、フレームｉに対応付けて、フレーム（ｉ−１）の接続点と同じ移動体識別で重心点を接続点として設定する。そして、重心点接続手段１３は、ステップＳ１８に動作を進める。
一方、指定色重心点マップＭｃにおいて接続点ｊと接続可能な重心点が探索されなかった場合（ステップＳ１４でＮｏ）、ステップＳ１６において、全重心点マップ接続判定手段１３２は、接続点リストＬのフレーム（ｉ−１）の接続点ｊと接続可能なフレームｉの重心点を、全重心点マップＭａにおいて探索する。例えば、全重心点マップ接続判定手段１３２は、接続点ｊとの距離が予め定めた範囲内で最も近いフレームｉの重心点を探索する。
【００６０】
ここで、全重心点マップＭａにおいて接続点ｊと接続可能な重心点が探索された場合（ステップＳ１７でＹｅｓ）、重心点接続設定手段１３４は、先に説明したステップＳ１５の動作を行う。そして、重心点接続手段１３は、ステップＳ１８に動作を進める。
一方、全重心点マップＭａにおいて接続点ｊと接続可能な重心点が探索されなかった場合（ステップＳ１７でＮｏ）、重心点接続手段１３は、そのままステップＳ１８に動作を進める。
【００６１】
ステップＳ１８において、重心点接続手段１３は、変数ｊに“１”を加算する。
ステップＳ１９において、重心点接続手段１３は、フレーム（ｉ−１）におけるすべての接続点に対する接続処理が完了したか否かを判定する。ここで、変数ｊの値がフレーム（ｉ−１）における接続点数以下である場合（ステップＳ１９でＮｏ）、重心点接続手段１３は、ステップＳ１３に戻って動作を継続する。
一方、変数ｉの値がフレーム（ｉ−１）における接続点数を超過した場合（ステップＳ１９でＹｅｓ）、重心点接続手段１３は、ステップＳ２０に動作を進める。
【００６２】
このステップＳ１９までの動作によって、指定色重心点マップＭｃのフレームｉにおいて、フレーム（ｉ−１）の接続点と接続可能と判定されなかった重心点（未接続重心点）が存在する場合（ステップＳ２０でＹｅｓ）、新規重心点設定手段１３３は、未接続重心点を、軌跡の始点となる接続点としてフレームｉの接続点に設定する。ここでは、新規重心点設定手段１３３は、接続点リストＬにおいて、フレームｉに対応付けて、新規の移動体識別で重心点を接続点として設定する。そして、重心点接続手段１３は、ステップＳ２２に動作を進める。
一方、未接続重心点が存在しない場合（ステップＳ２０でＮｏ）、重心点接続手段１３は、そのままステップＳ２２に動作を進める。
【００６３】
ステップＳ２２において、重心点接続手段１３は、変数ｉに“１”を加算する。
ステップＳ２３において、重心点接続手段１３は、すべてのフレームに対する処理が完了したか否かを判定する。ここで、変数ｉの値が全フレーム数以下である場合（ステップＳ２３でＮｏ）、重心点接続手段１３は、ステップＳ１１に戻って動作を継続する。
一方、変数ｉの値が全フレーム数を超過した場合（ステップＳ２３でＹｅｓ）、重心点接続手段１３は、動作を終了する。
その後、移動体軌跡生成装置１は、図１３のステップＳ７へ動作を移行する。
以上の動作によって、移動体軌跡生成装置１は、映像が入力される全時間において、移動体の色変化、隠蔽等に対してロバストに移動体の軌跡を生成することができる。
【００６４】
以上、本発明の実施形態にかかる移動体軌跡生成装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
例えば、ここでは、移動体軌跡生成装置１は、入力される映像の全フレームに対しての重心点マップ（全重心点マップＭａ、指定色重心点マップＭｃ）を生成した後、重心点の接続を行った。
しかし、重心点の接続は、必ずしも全フレームに対する重心点マップが生成された後に行う必要はない。例えば、重心点マップ生成手段１２が１フレームごとに重心点マップを生成し、その重心点マップにより、重心点接続手段１３が逐次フレーム単位で重心点の接続を行うこととしてもよい。
【００６５】
また、ここでは、移動体軌跡生成装置１は、入力される映像の全フレームに対しての接続点リストＬを生成した後、移動体別軌跡出力手段１４により軌跡を出力した。
しかし、移動体軌跡生成装置１は、重心点接続手段１３が生成する接続点リストＬをフレーム単位で生成されるたびに順次出力することといてもよい。
すなわち、移動体軌跡生成装置１は、フレーム単位で、リアルタイムの移動体の軌跡を生成することも可能である。
【００６６】
また、ここでは、移動体軌跡生成装置１は、指定色を１つとし、１つの指定色で特定される移動体の軌跡を生成することとした。しかし、指定色を複数設定し、色の異なる複数の移動体に対して、同時に軌跡を生成することとしてもよい。
【００６７】
指定色を複数にする場合、図１５に示すように、移動体軌跡生成装置１Ｂとして構成すればよい。
移動体軌跡生成装置１Ｂは、移動体軌跡生成装置１に対して、指定色情報記憶部２２Ｂに、複数の指定色の色情報を記憶しておく。
また、移動体軌跡生成装置１Ｂは、指定色に応じた数の指定色フィルタリング手段１２２Ｂを備えた重心点マップ生成手段１２Ｂによって、複数の指定色重心点マップＭｃを生成する。
また、移動体軌跡生成装置１Ｂは、指定色に応じた数の重心点接続手段１３Ｂを備え、指定色別に接続点リストＬを生成する。
これによって、移動体軌跡生成装置１Ｂは、複数の指定色によって、２種類以上の移動体の軌跡を生成することができる。
【符号の説明】
【００６８】
１，１Ｂ    移動体軌跡生成装置
１０    制御部
１１    背景差分手段
１２，１２Ｂ    重心点マップ生成手段
１２１  領域重心点算出手段
１２２，１２２Ｂ  指定色フィルタリング手段
１３    重心点接続手段
１３１  指定色重心点マップ接続判定手段
１３２  全重心点マップ接続判定手段
１３３  新規重心点設定手段
１３４  重心点接続設定手段
１４    移動体別軌跡出力手段
２０    記憶部
２１    背景画像記憶部
２２，２２Ｂ    指定色情報記憶部
２３，２３Ｂ    重心点マップ記憶部
２４，２４Ｂ    接続点リスト記憶部
Ｍａ    全重心点マップ
Ｍｃ    指定色重心点マップ
Ｃ      撮像装置
Ｌ      接続点リスト
【図１】
2019087205.tif 000005
【図２】
2019087205.tif 000006
【図３】
2019087205.tif 000007
【図４】
2019087205.tif 000008
【図５】
2019087205.tif 000009
【図６】
2019087205.tif 000010
【図７】
2019087205.tif 000011
【図８】
2019087205.tif 000012
【図９】
2019087205.tif 000013
【図１０】
2019087205.tif 000014
【図１１】
2019087205.tif 000015
【図１２】
2019087205.tif 000016
【図１３】
2019087205.tif 000017
【図１４】
2019087205.tif 000018
【図１５】
2019087205.tif 000019