(57)【要約】【課題】  撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の対象領域における三次元の位置情報を的確に検出することができる移動体情報検出システムを提供すること。【解決手段】  移動体情報検出システム１００は、スポーツの試合が行われる対象となる一定の対象領域を撮像し、動画像データを出力する撮像カメラ装置２００と、撮像された動画像データに基づいて試合を行っている選手および当該試合に用いられているボールなどの当該スポーツの試合に関する移動体情報を検出する移動体情報検出装置３００と、から構成され、移動体情報検出装置３００は、特定された当該移動体および当該移動体の各部位における画像上の位置に基づいて、当該画像上の位置を、実際のグラウンドにおける平面上の位置と当該グラウンドの平面からの高さから構成される三次元の位置を示す情報として検出するようになっている。【選択図】      図１
2006285822.tif 000002
【特許請求の範囲】
【請求項１】
所定領域を撮像カメラ装置によって鳥瞰的に側方から撮像された動画像データに基づいて当該所定の領域内を移動する移動体の各部位の位置を位置情報として検出する移動体情報検出システムであって、
前記撮像カメラ装置によって撮像された動画像データをフレームデータ毎に取得する取得手段と、
前記フレームデータ毎に前記各移動体が前記所定領域内に存在する位置であって、当該各移動体の基準となる三次元の位置を基準位置情報として特定する特定手段と、
前記予め格納されている前記特徴情報に基づいて各移動体毎にかつ各部位毎に当該各部位の前記フレーム毎の動画像データにおける画像上の位置を部位位置情報として認識する認識手段と、
前記所定領域内を移動する各移動体の認識すべき各部位における表面の色情報または当該表面の輝度情報の少なくとも何れか一方の特徴情報が予め格納されている第１格納手段と、
前記各移動体における動画像データの画像上の前記基準位置情報によって示される位置を基準として、各部位が可動する可動パターンの当該画像上の位置を示す可動パターン情報が、前記認識すべき各部位毎に複数の情報として予め格納される第２格納手段と、
前記認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて前記予め格納されている当該部位の複数の可動パターン情報から一の可動パターンを決定する決定手段と、
前記各移動体の各部位毎に、決定された可動パターンと前記特定された当該移動体の基準位置情報に基づいて、前記フレームデータ毎に当該移動体の各部位における前記所定領域上の三次元の位置を前記位置情報として算出する算出手段と、
を備えることを特徴とする移動体情報検出システム。
【請求項２】
請求項１に記載の移動体情報検出システムにおいて、
前記決定手段が、前記各移動体の各部位毎に、前記取得されたフレームデータの前に取得された前フレームデータと当該取得されたフレームデータの現部位位置情報とに基づいて、前記予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定することを特徴とする移動体情報検出システム。
【請求項３】
請求項１または２記載の移動体情報検出システムにおいて、
前記算出手段が、前記各移動体の各部位毎に、決定された移動パターンに基づいて、各フレームデータ毎の部位位置情報から前記所定領域上における三次元の位置の情報に変換する演算処理を行うことによってフレームデータ毎に前記所定領域上の三次元の位置を前記位置情報として算出することを特徴とする移動体情報検出システム。
【請求項４】
請求項１乃至３の何れか一項に記載の移動体情報検出システムにおいて、
前記算出手段が、前記各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータにおける画像上の縦軸方向の位置を当該所定領域における平面に基づく高さを示す位置または当該所定領域における平面上の位置の何れか一方の位置に判断することによって前記三次元の位置情報を算出することを特徴とする移動体情報検出システム。
【請求項５】
請求項１に記載の移動体情報検出システムにおいて、
前記取得されたフレーム毎の動画像データの画像上における前記所定領域の奥行き方向の遠近によって生ずる対象物のサイズ比率を示すアスペクト比であって、前記特定された各移動体の基準位置における当該アスペクト比を移動体アスペクト比として設定する移動体アスペクト比設定手段を更に有し、
前記決定手段が、前記設定された移動体アスペクト比を用いて前記予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定すること特徴とする移動体情報検出システム。
【請求項６】
請求項１乃至５の何れか一項に記載の移動体情報検出システムにおいて、
前記認識手段が、
前記予め格納されている各移動体毎の各部位毎の位置パターン情報に基づいて、当該取得されたフレームデータの前に取得された前フレームデータにおける画像上の特定の位置と現フレームデータにおける画像上の特定の位置における画像変化を検出する検出手段と、
前記予め格納されている当該移動体の特定の部位における色データまたは輝度データの少なくとも一方の情報と前記検出された画像変化の位置とに基づいて各移動体毎の各部位を認識する部位認識手段と
を有することを特徴とする移動体検出システム。
【請求項７】
所定領域を撮像カメラ装置によって鳥瞰的に側方から撮像された動画像データに基づいて当該所定の領域内を移動する移動体の各部位の位置を位置情報として検出する移動体情報検出方法であって、
前記撮像カメラ装置によって撮像された動画像データをフレームデータ毎に取得する取得工程と、
前記フレームデータ毎に前記各移動体が前記所定領域内に存在する位置であって、当該各移動体の基準となる三次元の位置を基準位置情報として特定する特定工程と、
第１格納手段に予め格納されている前記所定領域内を移動する各移動体の認識すべき各部位における表面の色情報または当該表面の輝度情報の少なくとも何れか一方の特徴情報に基づいて各移動体毎にかつ各部位毎に当該各部位の前記フレーム毎の動画像データにおける画像上の位置を部位位置情報として認識する認識工程と、
前記認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて、第２格納手段に前記認識すべき各部位毎に複数の情報として予め格納されている記各移動体における動画像データの画像上の前記基準位置情報によって示される位置を基準として各部位が可動する可動パターンの当該画像上の位置を示す可動パターン情報から一の可動パターンを決定する決定工程と、
前記各移動体の各部位毎に、決定された可動パターンと前記特定された当該移動体の基準位置情報に基づいて、前記フレームデータ毎に当該移動体の各部位における前記所定領域上の三次元の位置を前記位置情報として算出する算出工程と、
を備えることを特徴とする移動体情報検出方法。
【請求項８】
コンピュータによって、所定領域を撮像カメラ装置によって鳥瞰的に側方から撮像された動画像データに基づいて当該所定の領域内を移動する移動体の各部位の位置を位置情報として検出する移動体情報検出プログラムであって、
前記コンピュータを、
前記撮像カメラ装置によって撮像された動画像データをフレームデータ毎に取得する取得手段、
前記フレームデータ毎に前記各移動体が前記所定領域内に存在する位置であって、当該各移動体の基準となる三次元の位置を基準位置情報として特定する特定手段、
第１格納手段に予め格納されている前記所定領域内を移動する各移動体の認識すべき各部位における表面の色情報または当該表面の輝度情報の少なくとも何れか一方の特徴情報に基づいて各移動体毎にかつ各部位毎に当該各部位の前記フレーム毎の動画像データにおける画像上の位置を部位位置情報として認識する認識手段、
前記認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて、第２格納手段に前記認識すべき各部位毎に複数の情報として予め格納されている記各移動体における動画像データの画像上の前記基準位置情報によって示される位置を基準として各部位が可動する可動パターンの当該画像上の位置を示す可動パターン情報から一の可動パターンを決定する決定手段、
前記各移動体の各部位毎に、決定された可動パターンと前記特定された当該移動体の基準位置情報に基づいて、前記フレームデータ毎に当該移動体の各部位における前記所定領域上の三次元の位置を前記位置情報として算出する算出手段、
として機能させることを特徴とする移動体情報検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スポーツの実況中継放送などの第三者が観覧することができる実際に行われている物事の状況を動画像データによって中継放送する際の技術に属し、特に、当該中継放送の対象となる選手またはオブジェクトなどの移動体の位置を検出する移動体情報検出装置の技術分野に属する。
【背景技術】
【０００２】
近年、野球、サッカー等のスポーツの試合内容は、地上波テレビジョン放送、衛星テレビジョン放送、ケーブルテレビジョン放送等によって、中継技術および放送端末装置によって、映像として視聴できるようになっている。また、スポーツの放送時間および放送内容は、テレビ局の編成および編集に依存している。
【０００３】
一方、最近では、インターネットなどのコンピュータ・ネットワークの発達とともに、携帯用電話装置などの携帯用通信端末装置の普及、および、ネットワーク技術の進歩などにより、当該携帯用通信端末装置によって他のコンピュータなどの通信端末装置によって提供される情報を取得、および、閲覧することが一般化してきている。例えば、携帯用電話装置などの携帯用通信端末装置によってＷＷＷ（World Wide Web）サーバ装置に提供されているホームページなどのドキュメントデータの取得または閲覧をすることができるようになっている。
【０００４】
特に、最近では、アニメーション画像を用いてスポーツの試合内容を通信端末装置によって閲覧するデータ配信システムが実用に供され始めており、放送の対象となるスポーツの各選手などの人またはボールやレースカーなどのオブジェクトの位置および状態を検出する技術の発達が所望されている。
【０００５】
従来、このような人または物などの移動体の位置を検出する移動体検出装置としては、人・物などの移動体を撮像して当該移動体の位置情報を抽出するものが知られている。具体的には、この移動体検出装置は、撮像カメラ装置にて撮影された動画像フレーム毎に、当該撮像された移動体の像の位置（以下、像位置という。）を認識し、当該認識された像位置の差分に基づいて移動体の移動除法を検出するようになっている（例えば、特許文献１）。
【特許文献１】特開２００２−１６３６７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の移動体検出装置は、野球場などの中継の対象となる領域（以下、競技場という。）において、選手やボールなどの移動体に対して、撮像カメラ装置にて撮像された平面的な動画像データから各移動体の部位の位置情報を的確に検出することができない。
【０００７】
本発明は、上記の各問題点に鑑みて為されたもので、その課題の一例としては、撮像カメラ装置にて撮像された平面的な動画像データから各移動体の部位の位置情報を的確に検出することができる移動体情報検出システムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の課題を解決するために、請求項１に記載の発明は、所定領域を撮像カメラ装置によって鳥瞰的に側方から撮像された動画像データに基づいて当該所定の領域内を移動する移動体の各部位の位置を位置情報として検出する移動体情報検出システムであって、前記撮像カメラ装置によって撮像された動画像データをフレームデータ毎に取得する取得手段と、前記フレームデータ毎に前記各移動体が前記所定領域内に存在する位置であって、当該各移動体の基準となる三次元の位置を基準位置情報として特定する特定手段と、前記予め格納されている前記特徴情報に基づいて各移動体毎にかつ各部位毎に当該各部位の前記フレーム毎の動画像データにおける画像上の位置を部位位置情報として認識する認識手段と、前記所定領域内を移動する各移動体の認識すべき各部位における表面の色情報または当該表面の輝度情報の少なくとも何れか一方の特徴情報が予め格納されている第１格納手段と、前記各移動体における動画像データの画像上の前記基準位置情報によって示される位置を基準として、各部位が可動する可動パターンの当該画像上の位置を示す可動パターン情報が、前記認識すべき各部位毎に複数の情報として予め格納される第２格納手段と、前記認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて前記予め格納されている当該部位の複数の可動パターン情報から一の可動パターンを決定する決定手段と、前記各移動体の各部位毎に、決定された可動パターンと前記特定された当該移動体の基準位置情報に基づいて、前記フレームデータ毎に当該移動体の各部位における前記所定領域上の三次元の位置を前記位置情報として算出する算出手段と、を備える構成を有している。
【０００９】
この構成により、請求項１に記載の発明は、認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて予め格納されている当該部位の複数の可動パターン情報から一の可動パターンを決定するとともに、各移動体の各部位毎に、決定された可動パターンと特定された当該移動体の基準位置情報に基づいて、フレームデータ毎に当該移動体の各部位における所定領域上の三次元の位置を位置情報として算出する。
【００１０】
通常、撮像カメラ装置によって所定領域を鳥瞰的に側方から撮像すると、当該所定領域は平面的な画像構成を有する動画像データにて表される一方、当該所定領域を三次元の軸を有する空間として視聴可能なデータとなる。また、一般的に、所定領域内を移動する移動体において、移動体の各部位の可動範囲は、当該移動体そのものまたは移動体の動きに制約される。すなわち、例えば、移動体が選手の場合に、膝または肘の可動範囲は予め想定することができるとともに、当該移動体がレースカーの場合であっても、タイヤウイングの各部位の可動範囲は予め想定することができる。
【００１１】
したがって、請求項１に記載の発明は、各移動体の各部位の可動パターンを決定することによって、各移動体の各部位における動作を決定することができるとともに、各移動体の基準位置に基づいて当該各移動体の部位における動画像データの画像上の位置を認識することができるので、各部位毎に予め想定する動きによる所定の演算処理を実行すれば、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【００１２】
また、請求項２に記載の発明は、請求項１に記載の移動体情報検出システムにおいて、前記決定手段が、前記各移動体の各部位毎に、前記取得されたフレームデータの前に取得された前フレームデータと当該取得されたフレームデータの現部位位置情報とに基づいて、前記予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定する構成を有している。
【００１３】
この構成により、請求項２に記載の発明は、各移動体の各部位毎に、取得されたフレームデータの前に取得された前フレームデータと当該取得されたフレームデータの現部位位置情報とに基づいて、予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定するので、的確に一の派同パターンを認識することができるとともに、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【００１４】
また、請求項３に記載の発明は、請求項１または２記載の移動体情報検出システムにおいて、前記算出手段が、前記各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータ毎の部位位置情報から前記所定領域上における三次元の位置の情報に変換する演算処理を行うことによってフレームデータ毎に前記所定領域上の三次元の位置を前記位置情報として算出する構成を有している。
【００１５】
この構成により、請求項３に記載の発明は、各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータ毎の部位位置情報から所定領域上における三次元の位置の情報に変換する演算処理を行うことによってフレームデータ毎に所定領域上の三次元の位置を位置情報として算出する。
【００１６】
したがって、請求項３に記載の発明は、各部位毎に予め想定する動きによる所定の演算処理を実行することができるので、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【００１７】
また、請求項４に記載の発明は、請求項１乃至３の何れか一項に記載の移動体情報検出システムにおいて、前記算出手段が、前記各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータにおける画像上の縦軸方向の位置を当該所定領域における平面に基づく高さを示す位置または当該所定領域における平面上の位置の何れか一方の位置に判断することによって前記三次元の位置情報を算出する構成を有している。
【００１８】
この構成により、請求項４に記載の発明は、各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータにおける画像上の縦軸方向の位置を当該所定領域における平面に基づく高さを示す位置または当該所定領域における平面上の位置の何れか一方の位置に判断することによって三次元の位置情報を算出する。
【００１９】
したがって、請求項４に記載の発明は、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【００２０】
また、請求項５に記載の発明は、請求項１に記載の移動体情報検出システムにおいて、前記取得されたフレーム毎の動画像データの画像上における前記所定領域の奥行き方向の遠近によって生ずる対象物のサイズ比率を示すアスペクト比であって、前記特定された各移動体の基準位置における当該アスペクト比を移動体アスペクト比として設定する移動体アスペクト比設定手段を更に有し、前記決定手段が、前記設定された移動体アスペクト比を用いて前記予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定する構成を有している。
【００２１】
この構成により、請求項５に記載の発明は、設定された移動体アスペクト比を用いて予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定する。  
【００２２】
通常、所定領域の三次元の軸を有する空間が撮像カメラ装置にて撮像されると、動画像データ上における撮像対象は、所定領域内の位置によって当該撮像対象のサイズが異なることになる。
【００２３】
したがって、請求項５に記載の発明は、移動体の動画像データ上の位置とともに当該移動体のサイズに基づいて、当該所定領域内に存在する移動体の位置を算出することができるので、撮像カメラ装置にて撮像された平面的な画像構成を有する動画像データから各移動体の対象領域における三次元の位置情報を的確に検出することができる。
【００２４】
また、請求項６に記載の発明は、請求項１乃至５の何れか一項に記載の移動体情報検出システムにおいて、前記認識手段が、前記予め格納されている各移動体毎の各部位毎の位置パターン情報に基づいて、当該取得されたフレームデータの前に取得された前フレームデータにおける画像上の特定の位置と現フレームデータにおける画像上の特定の位置における画像変化を検出する検出手段と、前記予め格納されている当該移動体の特定の部位における色データまたは輝度データの少なくとも一方の情報と前記検出された画像変化の位置とに基づいて各移動体毎の各部位を認識する部位認識手段と、を有する構成をしている。
【００２５】
この構成により、請求項６に記載の発明は、予め格納されている各移動体毎の各部位毎の位置パターン情報に基づいて、当該取得されたフレームデータの前に取得された前フレームデータにおける画像上の特定の位置と現フレームデータにおける画像上の特定の位置における画像変化を検出するとともに、予め格納されている当該移動体の特定の部位における色データまたは輝度データの少なくとも一方の情報と検出された画像変化の位置とに基づいて各移動体毎の各部位を認識する。
【００２６】
したがって、請求項６に記載の発明は、各部位の前フレームデータにおける位置を確認しつつ、各部位を認識することができるので、的確に、各移動体の各部位を認識することができる。
【発明を実施するための最良の形態】
【００２７】
次に、本発明に好適な実施の形態について、図面に基づいて説明する。
【００２８】
なお、以下に説明する実施の形態は、スポーツの試合内容としてことなどの一定の領域において行われるスポーツ、特に、サッカーを用いて説明するとともに、試合を行っている選手およびその試合で使用されるボールを移動体として検出し、当該移動体の位置及びその部位の位置を検出するためのシステム（以下、移動体情報検出システムという。）に対して本発明を適用した場合の実施形態である。
【００２９】
まず、図１および図２を用いて本実施形態における移動体情報検出システムの概略構成について説明する。
【００３０】
なお、図１は、本願に係る移動体情報検出システムの構成を示すブロック図である。また、図２は、撮像カメラ装置によって撮像されているサッカーの試合が行われるグラウンドの画像の一例であり、特に、当該グラウンドのハーフコートを撮像したものの一例である。
【００３１】
本実施形態の移動体情報検出システム１００は、図１に示すように、スポーツの試合が行われる対象となる一定の対象領域を撮像し、動画像データを出力する撮像カメラ装置２００と、撮像された動画像データに基づいて試合を行っている選手および当該試合に用いられているボールなどの当該スポーツの試合に関する移動体の情報（以下、移動体情報という。）を検出する移動体情報検出装置３００と、から構成される。
【００３２】
撮像カメラ装置２００は、競技場、体育館などのスポーツの試合が行われる会場に設けられたコートまたはグラウンドと呼ばれる一定の対象領域（以下、単にグラウンドという。）を当該対象領域の側方（以下、グラウンドサイドいう。）から鳥瞰的に撮像するようになっている。また、この撮像カメラ装置２００は、一台、または、複数台、グラウンドサイドに設けられ、基本的には、グラウンド全体を鳥瞰的に撮像するようになっており、スポーツの試合中に予め定められた撮像範囲を固定して撮像するようになっている。
【００３３】
なお、複数台にてグラウンド内を撮像する際には、本実施形態の撮像カメラ装置２００は、当該撮像するグラウンド内の予め定められた撮像範囲毎に、グラウンドサイドに設けられている。また、鳥瞰的に撮像するとは、グラウンドの面を基準として当該グラウンドの側方上部から当該グラウンド面を見下ろすように撮像することをいい、当該グラウンドからの高さについては特に限定はない。また、グラウンドの側方とは、一方の側方だけなく、他方の側方、例えば、サッカーの試合で言えば、サイドライン側だけでなく、エンドライン側も含むが、本願の撮像カメラ装置２００は、何れか一方の側方から撮像されるようになっている。
【００３４】
移動体情報検出装置３００は、各選手およびボールなどの複数の移動体がグラウンドサイドから鳥瞰的に撮像された動画像データに基づいて、当該動画像データの画像上における移動体を認識するようになっている。また、この移動体情報検出装置３００は、認識された移動体に基づいて、グラウンド上において三次元にて表される移動体の位置を示す移動体の位置情報（以下、移動体位置情報という。）および当該各移動体の予め定められた各部位のグラウンド上において三次元にて表される位置を示す位置情報（以下、部位位置情報という。）を算出するようになっている。そして、この移動体情報検出装置３００は、算出された移動体位置情報および部位位置情報に基づいて各移動体毎に当該各移動体の位置と当該各移動体の各部位の位置を移動体毎に移動体情報として出力するようになっている。
【００３５】
すなわち、本実施形態の移動体情報検出装置３００は、動画像データの画像上における移動体およびこの移動体の各部位を特定しつつ、当該移動体および当該移動体の各部位における画像上の位置を特定し、特定された当該移動体および当該移動体の各部位における画像上の位置を、実際のグラウンドにおける平面上の位置と当該グラウンドの平面からの高さから構成される三次元の位置を示す情報として検出するようになっている。
【００３６】
例えば、本実施形態の移動体情報検出装置３００は、図２に示すように、動画像データの画像上において認識された各移動体および当該各移動体における各部位の水平画素ライン方向のｓ軸および垂直画素ライン方向のｔ軸の位置情報を、後述するように、移動体のサイズを考慮しつつ、撮像カメラ装置２００によって撮像されているグラウンドサイド方向のＸ軸、当該グラウンドサイドに直交する他のグラウンドサイド方向のＹ軸、および、当該グラウンドの面の高さ方向のＺ軸の三次元の直交座標における座標値の位置情報に変換するようになっている。
【００３７】
すなわち、図２に示すように、移動体ａ１と移動体ａ２が同一のサイズであったとしても、移動体のグラウンド上の位置によっては、画像上のサイズが異なるので、または、移動体ａ０がＡ地点からＢ地点に移動した場合は、画像上のサイズが異なるので、本実施形態は、このサイズ比（後述するアスペクト比）を用いて、当該各移動体における各部位の水平画素ライン方向のｓ軸および垂直画素ライン方向のｔ軸の位置情報を、撮像カメラ装置２００によって撮像されているグラウンドサイド方向のＸ軸、当該グラウンドサイドに直交する他のグラウンドサイド方向のＹ軸、および、当該グラウンドの面の高さ方向のＺ軸の三次元の直交座標における座標値に変換するようになっている。
【００３８】
なお、動画像データの画像上の位置とは、当該画像が表示装置に表示される際に表示された面、すなわち、表示面上の平面的な画素の位置をいい、本実施形態では、以下、表示面上、水平方向の画素位置を水平画素位置または水平画素ライン、および、垂直方向の画素位置を垂直画素位置または垂直画素ラインという。
【００３９】
また、本実施形態の移動体情報検出装置３００から出力された移動体情報を、各選手および各選手の各部位の動作を表示するための画像データと連動させれば、スポーツの試合の中継をアニメーションなどの動画像データを用いて行うことができるようになっている。
【００４０】
次に、図１および図２とともに図３および図４を用いて本実施形態における移動体情報検出装置３００の構成について説明する。なお、図３は、本実施形態におけるデータ格納部３２０に格納された可動パターンデータにおける認識すべき各部位の例であり、図４は、アスペクト比とエンドライン方向の距離が対応したアスペクト比−エンドライン距離のグラフである。
【００４１】
本実施形態の移動体情報検出装置３００は、図１に示すように、撮像カメラ装置２００によって撮像されたグラウンド内の動画像データに対して所定の入力処理を行う入力処理部３１０と、移動体の移動体位置情報の抽出および当該移動体の部位位置情報の抽出を行うために用いる各種のデータが格納されているデータ格納部３２０と、動画像データの画像上におけるアスペクト比を設定するアスペクト比設定部３３０と、を有している。
【００４２】
また、この移動体情報検出装置３００は、移動体情報を抽出するために、入力処理された動画像データに基づいて各移動体の移動体位置情報を抽出する移動体位置情報抽出部３４０と、入力処理された動画像データに基づいて各移動体の予め定められた部位の位置を示す部位位置情報を抽出する部位位置情報抽出部３５０と、を有している。
【００４３】
そして、この移動体情報検出装置３００は、各移動体の移動体位置情報および当該各移動体の部位位置情報を移動体情報として外部に出力する出力処理部３６０と、ユーザが所定の操作を行う際に用いる操作部３７０と、各部を制御するとともに移動情報の移動体位置情報および部位位置情報を検出する処理（以下、移動情報検出処理という。）の制御を行うシステム制御部３８０と、ＲＯＭ／ＲＡＭ３９０と、とから構成され、システム制御部３８０は、各部とバスを介して接続されている。
【００４４】
なお、このアスペクト比とは、動画像データの画像上において、撮像カメラ装置２００がグラウンドを撮像しているグラウンドサイドを基準とした奥行き方向の遠近によって生ずる対象物の画像上のサイズ比率をいう。
【００４５】
また、例えば、本実施形態の入力処理部３１０は、本発明の入力処理手段を構成し、アスペクト比設定部３３０は、本発明のアスペクト比設定手段を構成する。さらに、例えば、本実施形態の部位位置情報抽出部３５０は、本発明の特定手段、認識手段、決定手段、算出手段および設定手段を構成し、データ格納部３２０は、本発明の第１格納手段および第２格納手段を構成する。
【００４６】
入力処理部３１０には、撮像カメラ装置２００から出力された動画像データが入力されるようになっており、この入力処理部３１０は、入力された動画像データに対して所定の処理を行い、予め定められたデータ形式に変換するようになっている。また、この入力処理部３１０は、データ形式が変換された動画像データを１／３０秒毎にフレームデータとして移動体位置情報抽出部３４０、および、部位位置情報抽出部３５０に出力するようになっている。
【００４７】
データ格納部３２０には、スポーツの試合においてグラウンドを特定するための試合環境に関する複数の環境データが予め格納されている環境データ領域と、スポーツの試合を行う各選手およびボールなどの移動体を特定するための移動体識別データが予め格納されている移動体識別データ領域と、各移動体の部位を特定するための予め定められた部位の可動範囲を位置情報としてパターン化した可動パターンデータが予め格納されている可動パターンデータ領域と、が設けられている。
【００４８】
具体的には、環境データ領域には、後述するように、移動体の移動体位置情報を特定する際に、または、当該移動体の部位位置情報を特定する際に、撮像された動画像データから当該動画像データの画像上におけるアスペクト比を決定するためのグラウンドに関する情報が格納されている。
【００４９】
例えば、スポーツの試合がサッカーの場合に、本実施形態の環境データ領域には、各競技場毎に、当該各競技場におけるサイドラインＳＬおよびエンドラインＥＬの長さを示す長さデータを含むグラウンドの面積のデータ（以下、面積データという。）、幅データおよび奥行きデータを含むペナルティエリアＰＡの面積のデータ（以下、ペナルティエリアデータという。）などとともに、グラウンド内の一定の領域をグラウンドの外の領域と区別するための白線の色およびその輝度を示すラインデータの各種のデータが格納されている。
【００５０】
なお、このラインデータは、時間帯、季節または天候などの異なる試合環境毎に格納されている。すなわち、昼と夜ではラインの色および輝度は同一の競技場であっても異なるため、このラインデータは、異なる試合環境毎に、データ格納部３２０の環境データ領域に格納されている。さらに、このラインデータは、競技場などの当該グラウンドが設置されている場所毎に格納されている。
【００５１】
一方、移動体識別データ領域には、スポーツの試合に登場する選手または当該スポーツの試合に用いられるボールなどの各移動体を特定するための各移動体のサイズに関する情報（以下、移動体サイズデータという。）が各移動体を示す名称情報に対応付けられて予め格納されているとともに、各移動体毎に、ボール表面、各選手のユニフォームその他の移動体における表面の色および輝度を示す移動体識別データが格納されている。
【００５２】
具体的には、本実施形態では、移動体識別データ領域には、ボールの直径または各選手の身長などの各移動体の実寸値が移動体サイズデータとして格納されている。また、この移動体識別データ領域には、各移動体毎に、当該各移動体を全方向から予め撮像された１／３０秒毎の各フレームデータに基づいて予め決定された各移動体の色および輝度の特性を示すスペクトルの分布を示すデータ（以下、スペクトルデータという。）が当該各移動体毎に格納されている。
【００５３】
例えば、スポーツの試合がサッカーの場合に、試合に登場する少なくとも２２人の各選手の異なる角度から撮像された１５０フレームの各フレームデータを用いて、各フレームデータから算出された各移動体のスペクトルデータが、移動体サイズデータとともに、各移動体の名称情報に対応付けて移動体識別データとして複数格納されている。
【００５４】
なお、同じチームの場合には、同一のユニフォームであるので、基本的には、各フレームデータの単位では、色および輝度は同一になることも想定されるが、同一のチームであっても各選手は、背番号や所定の部分に設けられた選手名の表示が異なるので、複数のフレームデータのスペクトル分布を総合的に勘案すると、完全に一致することない。したがって、本実施形態では、後述するように、各フレームデータから移動体を検出する際に、同一のチームの移動体、すなわち、同一のユニフォームを有する移動体であっても、異なる移動体と識別することができるようになっている。
【００５５】
他方、可動パターンデータ領域には、各移動体の各部位毎に、各移動体毎に各部位の表面における色データおよびその輝度データと、各部位を特定する上で必要となる特性を示す情報と、が各部位の特徴量情報として格納される。また、この可動パターンデータ領域には、移動体の所定の位置を基準としたフレームデータの画像上における各部位の可動範囲の位置を示す複数の位置データ（以下、可動パターンデータという。）が格納されている。
【００５６】
具体的には、可動パターンデータ領域には、各部位の色データおよび輝度データの他に、基準位置または基準となる部位から各部位までの距離のデータと各部位の他の部位とのフレームデータ上における位置的特性を示すデータとが、特徴量情報として各部位毎に格納されている。また、この可動パターンデータ領域には、各移動体の各部位毎に、動画像データの画像上において移動体が認識される際の基準となる画像上の画素位置（以下、基準位置という。）に基づいて、各部位の可動経路を構成している複数の位置データであって、当該基準位置における相対的なフレームデータの画像上の画素位置を示す複数の位置データから構成される可動パターンデータが複数格納されている。
【００５７】
例えば、スポーツの試合がサッカーの場合に、本実施形態の可動パターンデータ領域には、特徴量情報として、各移動体毎に、図３に示すように、頭Ｐ１、右肩Ｐ２、右肘Ｐ３、右手Ｐ４、腰の右側部（以下、右腰という。）Ｐ５、右膝Ｐ６、右足首Ｐ７、右の爪先Ｐ８、左肩Ｐ９、左肘Ｐ１０、左手Ｐ１１、左の爪先Ｐ１５、腰の左側部（以下、左腰Ｐ１２という。）、左膝Ｐ１３、左足首Ｐ１４、左の爪先Ｐ１５の全部で１５カ所の部位の色データおよび輝度データが格納されている。
【００５８】
また、この可動パターンデータ領域には、特徴量情報に含まれる位置的特性を示すデータとして、肩の部位の場合には、基準位置からの距離を示すデータと、当該色データおよび輝度データと同一の色および輝度を有する画素と他の画素との境が肩となることを示すデータとが、また、肘の部位であれば、基準となる肩の部位から当該肘までの距離のデータと、肩から肘までの画像上直線を引いた際の他の画素との境が肘になることを示すデータとが、格納されるようになっている。そして、この可動パターンデータ領域には、可動パターンデータとして、図３に示すように、頭Ｐ１、右肩Ｐ２、右肘Ｐ３、右手Ｐ４、腰の右側部（以下、右腰という。）Ｐ５、右膝Ｐ６、右足首Ｐ７、右の爪先Ｐ８、左肩Ｐ９、左肘Ｐ１０、左手Ｐ１１、左の爪先Ｐ１５、腰の左側部（以下、左腰Ｐ１２という。）、左膝Ｐ１３、左足首Ｐ１４、左の爪先Ｐ１５の全部で１５カ所の部位の位置を示す可動パターンデータが複数のパターン毎に格納されている。
【００５９】
なお、各部位の位置の可動パターンデータは、移動体の基準位置、例えば中心位置に基づいて、当該部位の移動経路を示す複数の位置情報であって、各フレームデータの画像上における図２に示すｓ軸およびｔ軸の複数の位置情報から構成されるようになっている。
【００６０】
また、本実施形態の一パターンに規定されている各位置データには、任意の基点となる位置に代えて、中心位置から順次各フレーム当該部位が可動するフレームデータにおける位置データが規定されていてもよい。
【００６１】
アスペクト比設定部３３０には、移動情報検出処理が実行される前に、撮像カメラ装置２００によってグラウンド全体をグラウンドサイドから鳥瞰的に撮像されたサイドラインおよびエンドラインを含むグラウンドの少なくとも一のフレームの動画像データ（以下、グラウンドフレームデータという。）が入力されるようになっている。このアスペクト比設定部３３０は、移動体情報の検出を行う前に、操作部３７０を介して予め設定されたスポーツの試合が行われるグラウンドに関する環境データを取得し、当該取得された環境データと入力されたグラウンドフレームデータとに基づいて、グラウンドの縦横の長さ（例えば、Ｘ軸方向の長さおよびＹ軸方向の長さ）を含む当該グラウンドのフレームデータ上の領域（以下、グラウンドデータ領域という。）を設定するようになっている。
【００６２】
また、このアスペクト比設定部３３０は、設定されたフレームデータ上のグラウンドデータ領域に基づいて、動画像データの画像上において、当該撮像カメラ装置２００がグラウンドを撮像しているグラウンドサイドを基準とした奥行き方向の遠近によって生ずる対象物のサイズ比率を示すアスペクト比を設定するようになっている。そして、このアスペクト比設定部３３０は、設定されたアスペクト比をアスペクト比情報として移動体位置情報抽出部３４０および部位位置情報抽出部３５０に設定するようになっている。
【００６３】
通常、図２に示すように、グラウンドのサイドライン側の側方からグラウンドを撮像している場合に、移動体が同一とすると、エンドライン方向の位置、すなわち、撮像方向における奥行き方向の位置によっては、当該移動体の大きさ（面積）が異なる、言い換えれば、任意の移動体が動画像データの画像上、手前側に存在する手前側サイドライン上に位置にする場合と奥側に存在する奥側サイドライン上に位置する場合とでは、そのサイズが異なるので、このアスペクト比設定部３３０は、そのときの比率をアスペクト比情報として算出するようになっている。
【００６４】
具体的には、アスペクト比設定部３３０は、上述のようにデータ格納部３２０に格納された環境データとして実際のグラウンドの面積に関するデータおよび当該グラウンドの領域をグラウンド外の領域と区別するための白線の色およびその輝度を示すラインデータに基づいて、グラウンドフレームデータの画像上におけるグラウンドの四隅の位置を特定するようになっている。
【００６５】
すなわち、このアスペクト比設定部３３０は、スポーツの試合が行われるグラウンドにおけるラインデータに基づいて、実際のグラウンドの面積データを用いつつ、グラウンドフレームデータにおける水平画素ラインおよび垂直画素ライン上の各サイドラインおよびエンドラインの端部の位置を特定し、フレームデータの画像上のグラウンドデータ領域を認識するようになっている。そして、このアスペクト比設定部３３０は、認識されたフレームデータの画像上におけるグラウンドデータ領域に基づいて、画像上の撮像方向における奥行き方向の画像上の水平画素ライン毎に、遠近によって生ずる対象物のサイズ比率をアスペクト比として設定するようになっている。
【００６６】
例えば、図２に示すように、スポーツの試合がサッカーの場合であって一方のサイドライン側からグラウンドを撮像している場合に、操作部３７０を介してサッカーの試合が行われる競技場として予め登録されていると、アスペクト比設定部３３０は、登録された競技場の環境データ、すなわち、上述の当該競技場の面積データ、ペナルティエリアデータおよびラインデータを取得するとともに、グラウンドフレームデータにおけるサイドラインおよびエンドラインのｓ軸およびｔ軸によって示される画像上の位置を特定するようになっている。
【００６７】
また、このアスペクト比設定部３３０は、特定されたグラウンドの撮像方向における奥行き方向に存在するライン、すなわち、グラウンドフレームデータにおける画像手前に存在するサイドライン（以下、手前側サイドラインという。）ＳＬ１と、当該グラウンドフレームデータにおける画像奥側に存在するサイドライン（以下、奥側サイドラインという。）ＳＬ２のサイドライン同士のサイズ比率（長さの比率）を「１」：「０．６５」などの数値にて算出するようになっている。
【００６８】
そして、このアスペクト比設定部３３０は、算出されたサイズ比率に基づいて撮像されている撮像方向における奥行き方向の画像上の画素ライン毎に、すなわち、グラウンドフレームデータの画像上における各水平画素ライン毎に、サイズ比率を設定するようになっている。
【００６９】
なお、各画素ライン毎のアスペクト比の比率は、グラウンドデータ領域の撮像方向における奥行き方向に一定とならないため、図３に示すように、本実施形態のアスペクト比設定部３３０は、所定のアスペクト比とエンドライン方向の距離が対応したグラフ（以下、アスペクト比−エンドライン距離のグラフという。）を用いて画像上の各水平画素ラインにおけるアスペクト比を算出するようになっている。
【００７０】
また、このラインデータは、上述のように、時間帯、季節または天候などの各試合環境毎に、データ格納部３２０に設定されており、予め操作部３７０を介してこの環境が設定されるようになっている。そして、このアスペクト比設定部３３０は、設定された環境におけるラインデータに基づいてグラウンドフレームデータにおけるアスペクト比情報を算出するようになっている。
【００７１】
さらに、例えば、本実施形態では、アスペクト比設定部３３０は、手前側サイドライン情報を基準として（比率１）としてエンドライン方向のアスペクト比を正規化して算出するようになっている。
【００７２】
移動体位置情報抽出部３４０には、フレームデータ毎の動画像データが順次入力されるようになっている。また、この移動体位置情報抽出部３４０は、アスペクト比設定部３３０によって移動体情報を抽出する際に用いるアスペクト比が設定されるようになっている。また、この移動体位置情報抽出部３４０は、設定されたアスペクト比、データ格納部３２０に格納された環境データおよび移動体識別データに基づいて、入力された各フレームデータにおける、各選手およびボールなどの予め設定された移動体を特定し、各特定された移動体の実際のグラウンド内における三次元の移動体位置情報を抽出するようになっている。そして、この移動体位置情報抽出部３４０は、各フレームにおける抽出された各移動体の移動体位置情報を部位位置情報抽出部３５０および出力処理部３６０に出力するようになっている。
【００７３】
なお、例えば、サッカーの試合の場合には、本実施形態の移動体位置情報抽出部３４０は、グラウンドのサイドライン方向をＸ軸、当該グラウンドのエンドライン方向をＹ軸、および、グラウンド面からの高さ方向をＺ軸の直交座標の位置を三次元の移動体位置情報として抽出するようになっている。また、本実施形態における移動体位置情報抽出部３４０の構成および動作の詳細については、後述する。
【００７４】
部位位置情報抽出部３５０には、入力処理部３１０から出力されたフレームデータが順次入力されるとともに、移動体位置情報抽出部３４０において各フレームデータにおける抽出された各移動体の移動体位置情報が入力されるようになっている。この部位位置情報抽出部３５０は、アスペクト比設定部３３０によって部位位置情報を抽出する際に用いるアスペクト比が設定される。また、この部位位置情報抽出部３５０は、各フレームデータ毎に、設定されたアスペクト比および入力された各移動体の位置情報とデータ格納部３２０に格納されている特徴量情報および可動パターンデータに基づいて、各移動体における予め定められている各部位を認識し、各移動体の基準位置に基づく当該各部位における三次元の位置を示す部位位置情報を抽出するようになっている。そして、この部位位置情報抽出部３５０は、抽出された各移動体の部位位置情報を出力処理部３６０に出力するようになっている。
【００７５】
例えば、スポーツの試合がサッカーの場合に、上述のように、本実施形態の部位位置情報抽出部３５０は、上述のように、可動パターンデータとして、頭Ｐ１、右肩Ｐ２、右肘Ｐ３、右手Ｐ４、右腰Ｐ５、右膝Ｐ６、右足首Ｐ７、右の爪先Ｐ８、左肩Ｐ９、左肘Ｐ１０、左手Ｐ１１、左腰Ｐ１２、左膝Ｐ１３、左足首Ｐ１４、左の爪先Ｐ１５の全部で１５カ所の部位の位置を示す情報を部位位置情報として出力処理部３６０に出力するようになっている。
【００７６】
なお、本実施形態では、部位位置情報抽出部３５０は、移動体の基準位置を「０」として、当該基準位置からの直交座標上の各部位の三次元の位置を部位位置情報として抽出するようになっており、本実施形態では、例えば、移動体の中心位置をこの基準位置にしている。また、本実施形態における部位位置情報抽出部３５０の構成およびその動作の詳細については、後述する。
【００７７】
出力処理部３６０には、移動体位置情報抽出部３４０において各フレームデータにおける抽出された各移動体の移動体位置情報と、部位位置情報抽出部３５０において各フレームデータ毎に抽出された各移動体の部位位置情報が入力されるようになっている。また、この出力処理部３６０は、入力された各移動体の移動体位置情報および部位位置情報に基づいて、各移動体毎に該当する各フレームデータの移動体位置情報と部位位置情報を一致させ、これらの各フレームデータの移動体位置情報と部位位置情報を移動体情報として外部に出力するようになっている。
【００７８】
具体的には、出力処理部３６０には、移動体位置情報抽出部３４０から各フレームにおける各移動体毎の移動体位置情報が実際のグラウンドにおける三次元の情報として入力されるとともに、部位位置情報抽出部３５０から各移動体の実際のグラウンドにおける三次元の位置を基準として各部位の三次元の位置の情報が部位位置情報として入力されるようになっている。また、この出力処理部３６０は、各移動体の移動体位置情報に基づいて、各フレームデータ毎に、入力された部位位置情報を基準位置に基づく相対的な位置情報から実際のグラウンドにおける三次元の位置情報に変換するとともに、各移動体毎に、当該移動体の基準位置と各部位の位置を示す位置情報を移動体情報として外部に出力するようになっている。
【００７９】
操作部３７０は、各種確認ボタン、各操作指令を入力する操作ボタン、テンキーおよびその他の数字キーなどの多数のキーにより構成され、本実施形態では、ユーザによって操作され、環境データ、移動体識別データおよび可動パターンデータの設定、登録、および修正の際に、または、移動体情報の出力を開始する際に用いられるようになっている。
【００８０】
システム制御部３８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、制御ポート等の各種入出力ポートを含み、移動体情報検出装置３００の全般的な機能を総括的に制御するようになっている。そして、このシステム制御部３８０は、ＲＯＭ／ＲＡＭ３９０に格納される制御プログラムを読み出すようになっており、当該ＲＯＭ／ＲＡＭ３９０に処理中のデータを一時的に保持しつつ、読み出された制御プログラムに基づいて各種の処理を実行するようになっている。
【００８１】
特に、本実施形態では、システム制御部３８０は、各移動体における各フレームデータの移動体位置情報を抽出する処理（以下、移動体位置情報検出処理という。）および各フレームデータ毎に各移動体における部位位置情報を抽出する処理（以下、部位位置情報検出処理という。）を含む移動情報の検出処理（以下、移動情報検出処理という。）の制御を行うようになっている。
【００８２】
なお、本実施形態におけるシステム制御部３８０の移動体情報検出処理、部位位置情報検出処理、および、移動情報検出処理の動作の詳細については後述する。
【００８３】
次に、同じく図１および図２とともに、図５を用いて本実施形態における移動体位置情報抽出部３４０の構成およびその動作について説明する。なお、図５は、フレームデータの画像上におけるｓ軸およびｔ軸の位置に基づいてグラウンド上における三次元方向のＸ軸、Ｙ軸およびＺ軸の位置を算出する原理を説明するための図である。
【００８４】
本実施形態の移動体位置情報抽出部３４０は、上述のように、データ格納部３２０に格納された環境データおよび移動体識別データに基づいて、入力されたフレームデータにおける各選手およびボールなどの移動体を特定するとともに、各移動体の実際のグラウンド内における三次元の移動体位置情報を抽出し、当該各フレームにおける抽出された各移動体の移動体位置情報を部位位置情報抽出部３５０および出力処理部３６０に出力するようになっている。
【００８５】
本実施形態の移動体位置情報抽出部３４０は、各フレームデータに基づいて各フレームデータにおける各移動体の当該フレームデータの画像上の基準位置を特定するとともに、各移動体の当該フレームデータの画像上に占める移動体のサイズを特定する移動体特定部３４１と、特定された各移動体の基準位置およびそのサイズと設定されたアスペクト比に基づいて各移動体のグラウンド内における三次元の位置を移動体位置情報として算出する移動体位置情報算出部３４２と、から構成される。
【００８６】
移動体特定部３４１には、移動体位置情報算出処理が実行される際に、入力処理部３１０から出力された各フレームデータが順次入力されるようになっており、この移動体特定部３４１は、入力された各フレームデータを数フレーム〜数十フレームのデータ分格納するメモリ（以下、特定用メモリという。）Ｍ１を有している。
【００８７】
この移動体特定部３４１は、データ格納部３２０に格納された移動体識別データに基づいて、各移動体の各フレームデータの画像上におけるサイズを特定するとともに、各移動体の各フレームデータの画像上の基準となる基準位置を特定するようになっている。
【００８８】
具体的には、この移動体特定部３４１は、入力されたフレームデータと特定用メモリＭ１に格納されている以前に入力されたフレームデータ（以下、前フレームデータという。）を比較するとともに、入力されたフレームデータにおける画像上の変化を検出し、当該画像上の変化の位置を移動体の位置であると認識して、当該入力されたフレームデータにおける各移動体を特定するようになっている。
【００８９】
また、この移動体特定部３４１は、入力されたフレームデータにおける画像上の変化を検出した場合に、当該変化が生じた画素（ピクセル）のみならず、隣接する複数の画素（ピクセル）における画像上の変化を検出し、一つの複数画素の纏まりを特定するようになっており、この一つの画素の纏まりを一の任意の移動体として特定するようになっている。そして、この移動体特定部３４１は、一の移動体として特定された複数の画素（以下、画素群という。）の基準となる画素位置、例えば、特定の色によって定められる位置または当該特定された移動体の中心位置を、基準位置として特定し、当該画素群に基づく移動体のサイズを特定するようになっている。
【００９０】
なお、例えば、本実施形態では、移動体特定部３４１は、移動体サイズとして、各フレームデータの画像上において占める面積に基づいて認識するようにしてもよいし、特定された基準位置と任意の位置とに基づく長さに基づいて認識するようにしてもよい。
【００９１】
一方、この移動体特定部３４１は、特定された基準位置および移動体サイズと、データ格納部３２０に格納された移動体識別データの各スペクトルデータに基づいて、各フレームデータおける基準位置を特定しつつ、各移動体を特定し、当該特定された各移動体に基づいて、複数フレーム毎に、各移動体を識別するようになっている。
【００９２】
具体的には、この移動体特定部３４１は、特定された各フレームデータにおける各移動体を、特定用メモリＭ１に格納されている複数のフレームデータ毎に、データ格納部３２０に格納されたスペクトルデータに基づいて、識別するようになっており、識別された各移動体の種別を、各フレーム毎に、基準位置情報および認識移動体サイズデータとともに、種別を示すデータを移動体位置情報算出部３４２に出力するようになっている。
【００９３】
また、本実施形態では、移動体特定部３４１は、前フレームデータにおいて特定された移動体におけるフレームデータの画像上の画素位置に基づいて、当該前フレームデータにおいて特定された移動体の次のフレームデータにおける基準位置となる画素位置を想定しつつ、各移動体を特定するようになっている。すなわち、移動体は、連続したフレームデータにおいては、前フレームにおいて特定された位置から次フレームにおいてその位置または当該位置の周辺に存在しなければならないので、本実施形態の移動体特定部３４１は、前フレーム位置を参照しつつ、各移動体を特定するようになっている。
【００９４】
具体的には、本実施形態の移動体特定部３４１は、当該フレームデータ群の次のフレームデータにおける基準位置となる画素位置を想定する際に、所定の演算処理を行うことによって各移動体を特定する際の補助的な処理を行うようになっている。
【００９５】
なお、本実施形態の移動体特定部３４１は、試合開始直後に入力されたフレームデータに基づいて各選手の特定を行うようになっており、たとえ、前フレームデータと現フレームデータにおいて画像変化が生じない場合であっても、すなわち、移動体が全く移動しない場合であっても、各移動体を特定し、識別することができるようになっている。
【００９６】
そして、この移動体特定部３４１は、各移動体の基準位置を示す情報（以下、認識移動体サイズデータという。）および各移動体のサイズ示す情報（以下、移動体サイズデータという。）を、特定された各移動体の種別を示すデータとともに、移動体位置情報算出部３４２に出力するようになっている。
【００９７】
移動体位置情報算出部３４２には、アスペクト比設定部３３０において算出されたアスペクト比が設定されるとともに、移動体特定部３４１において特定された各フレームの各移動体の基準位置情報および当該各移動体の認識移動体サイズデータとが順次入力されるようになっている。
【００９８】
この移動体位置情報算出部３４２は、入力された基準位置情報に基づいて撮像カメラ装置２００によって撮像している方向と直交し、グラウンド面に水平な面の方向の移動体の位置、すなわち、移動体の実際のグラウンドにおけるＸ軸方向の位置を算出するようになっている。
【００９９】
具体的には、本実施形態の移動体位置情報算出部３４２は、入力された基準位置が任意の画素からグラウンドのサイドライン方向、すなわち、Ｘ軸方向の画素に移動した際には、当該移動された画素位置をＸ軸の移動体位置情報として算出するようになっている。
【０１００】
一方、この移動体位置情報算出部３４２は、データ格納部３２０に格納されている該当する移動体識別データを参照しつつ、各移動体のサイズ比率を算出し、水平画素ライン毎に設定されたアスペクト比、当該算出された各移動体のサイズ比率、および、基準位置情報に基づいて各移動体の実際のグラウンドにおける撮像方向における奥行き方向（Ｙ軸方向）および当該グラウンドの高さ方向（Ｚ軸方向）の位置を算出するようになっている。
【０１０１】
具体的には、この移動体位置情報算出部３４２は、入力された認識移動体サイズデータとデータ格納部３２０に格納されているサイズ比率を算出する基準となる移動体サイズデータ（以下、基準移動体サイズデータという。）とを比較し、その比率（以下、サイズ比率という。）を算出するようになっている。そして、この移動台位置情報算出部３４２は、当該算出されたサイズ比率に対応するアスペクト比が、アスペクト比設定部３３０において設定されたフレームデータの画像上における水平画素ラインのアスペクト比と一致する場合には、当該水平画素ラインのＹ軸の位置を移動体のＹ軸の位置情報として決定するようになっている。
【０１０２】
なお、例えば、本実施形態では、移動体位置情報算出部３４２は、アスペクト比設定部３３０と同様に、本実施形態では、手前側サイドライン情報を基準として（比率１）として移動体のサイズ比率を算出するようになっている。
【０１０３】
他方、この移動体位置情報算出部３４２は、算出されたサイズ比率に対応する設定されたアスペクト比が、アスペクト比設定部３３０によって設定されたフレームデータの画像上における水平画素ラインのアスペクト比と不一致の場合には、フレームデータの画像上における当該アスペクト比が設定されている水平画素ラインと当該基準位置情報によって示されるフレームデータにおける画像上の水平画素ラインまでの距離に換算された位置をＺ軸の位置情報として算出するようになっている。
【０１０４】
例えば、移動体が高さ方向（Ｘ軸方向）に移動した場合と、エンドライン方向（Ｙ軸方向）に移動した場合には、両方の場合とも同様に、フレームデータの画像上、ｔ軸方向に移動体の基準位置が移動することになるが、実際に移動体がエンドライン方向（Ｙ軸方向）に移動している場合には、当該移動体のサイズ比率が変化することになる。逆に、実際に高さ方向（Ｚ軸方向）に移動体が移動している場合には、当該移動体のサイズ比率は変化することがない。
【０１０５】
したがって、本実施形態の移動体位置情報算出部３４２は、算出された移動体のサイズ比率に対応するアスペクト比が、アスペクト比設定部３３０によって設定されたフレームデータ上の水平画素ラインのアスペクト比に一致しない場合には、移動体が実際のグラウンドにおける高さ方向を示すＺ軸方向に移動したと判断してフレームデータの画像上のｔ軸方向の移動距離、すなわち、当該算出されたサイズ比率に対応するアスペクト比が設定されている水平画素ラインから入力された基準位置情報によって示される水平画素ラインまでのフレームデータの画像上における距離をＺ軸の移動体位置情報として算出するようになっている。
【０１０６】
上記に加えて、この移動体位置情報算出部３４２は、各移動体の移動経路を想定しつつ、フレーム毎に算出された各移動体毎のグラウンド上におけるＸ軸、Ｙ軸およびＺ軸の数値を算出する際の補正処理を行うようになっている。
【０１０７】
通常、動画像データの画像上の２次元の画素位置情報を実際のグラウンドを基準とした３次元の位置情報に変換する場合には、当該画像上の２次元平面においてｔ軸方向の動作が、実際のグランドにおけるエンドライン方向であるＹ軸方向の移動か若しくはグラウンドの高さ方面のＺ軸方向の移動かを判断することは難しい。しかしながら、移動体の経路において物理的にその経路を経由することができない場合もある。すなわち、選手の移動は所定の範囲に限定されるし、ボールにあっても選手が触れない限り、当該ボールの経路が急激に左右または上下に方向が変更されることはない。したがって、移動体の経路を推定することができれば、動画像データの画像上の２次元の画素位置情報を、算出された各移動体のグラウンドの横方向、縦方向および高さ方向の各位置情報に変換することができる。
【０１０８】
例えば、ボールが移動体の場合であって、当該ボールの移動体が実際に、図５に示すように、Ａ点からＢ点を経由してＣ点に到達しているとするフレームデータ上の画素位置は、Ａ点（ｓ１、ｔ１）、Ｂ点（ｓ２、ｔ２）およびＣ点（ｓ３、ｔ３）を認識位置として特定された場合には、Ｂ点において、選手が当該ボールに触れている、すなわち、当該ボールの画像上の近傍に選手が存在しないと、ボールがＢ点にていきなり所定の角度に曲がることはない。すなわち、選手が触れていない限り、実際のグラウンドにおいてエンドライン方向に移動しているボールが急激にサイドライン方向に方向を転換することはない。したがって、この場合には、Ｂ点はＺ軸方向に位置成分を有していると推定することができるので、本実施形態の移動体位置情報算出部３４２は、ボールはＡ点からＢ点に向かって上昇し、ＢからＣ点に向かって下降するという動作をしていると想定することができようになっている。
【０１０９】
本実施形態では、各移動体の移動方向に基づく演算処理が設定されており、移動体位置情報算出部３４２は、当該演算処理によって移動体の移動方向を想定しつつ、各フレームデータにおける移動体のグラウンド上におけるＸ軸、Ｙ軸およびＺ軸の数値を算出する際の補正処理を行うようになっている。
【０１１０】
そして、この移動体位置情報算出部３４２は、各フレームデータにおいて算出された各移動体毎のグラウンド上におけるＸ軸、Ｙ軸およびＺ軸の数値を移動体位置情報として部位位置情報抽出部３５０および出力処理部３６０に出力するようになっている。
【０１１１】
次に、同じく図１を用いて本実施形態における部位位置情報抽出部３５０の構成について説明する。
【０１１２】
本実施形態の部位位置情報抽出部３５０は、上述のように、各フレーム毎に、入力された各移動体の移動体位置情報およびデータ格納部３２０に格納されている可動パターンデータに基づいて、各移動体における予め定められている各部位を認識し、各移動体の基準位置に基づいて、当該各移動体毎の各部位における三次元の部位位置情報を抽出するようになっており、当該抽出された各移動体の部位位置情報を出力処理部３６０に出力するようになっている。
【０１１３】
本実施形態の部位位置情報抽出部３５０は、入力されたフレームデータから各移動体の基準位置に基づいて当該移動体毎に所定の領域を切り出し、当該各移動体毎に部分データを生成する部分データ生成部３５１と、アスペクト比設定部３３０において算出されたアスペクト比が設定され、当該設定されたアスペクト比に基づいて各切り出された部分データのアスペクト比（以下、部分アスペクト比という。）を算出する部分アスペクト比算出部３５２と、算出された部分アスペクト比およびデータ格納部３２０に格納された予め定められた特徴量情報および可動パターンデータに基づいて各移動体の部位を認識する部位認識部３５３と、認識された各移動体の各部位における位置を部位位置情報として算出する部位位置情報算出部３５４と、から構成される。
【０１１４】
なお、例えば、本実施形態の部分アスペクト比算出部３５２は、本発明の設定部を構成し、部位認識部３５３は、本発明の特定手段、認識手段、検出手段および部位認識手段を構成する。また、例えば、本実施形態の部位位置情報算出部３５４は、本発明の決定手段、および、算出手段を構成する。
【０１１５】
部分データ生成部３５１には、部位位置情報検出処理が実行される際に、入力処理部３１０から出力された秒毎の各フレームデータが順次入力されるとともに、移動体位置情報抽出部３４０において抽出された各移動体の移動体位置情報が入力されるようになっている。また、この部分データ生成部３５１は、入力された各移動体の移動体位置情報、すなわち、各移動体の基準位置を示す位置情報に基づいて、入力されたフレームデータから当該各移動体が存在する領域および当該移動体が存在する予め定められた周辺の領域を各移動体毎に切り出し、各部分データを生成するようになっている。そして、この部分データ生成部３５１は、生成された各部分データを移動体位置情報とともにフレームデータ毎に部位認識部３５３に出力するようになっている。
【０１１６】
具体的には、本実施形態の部分データ生成部３５１は、フレームデータにおいて、一の移動体と特定された画素群における各画素の位置情報と、当該一の移動体と特定された画素群の周辺の画素位置情報を部分データとして切り出して各移動体毎に部分データを生成するようになっている。
【０１１７】
部分アスペクト比算出部３５２には、フレームデータ毎に各移動体の移動体位置情報が入力されるとともに、アスペクト比設定部３３０において算出されたアスペクト比が設定されるようになっている。また、この部分アスペクト比算出部３５２は、設定されたアスペクト比および入力された移動体位置情報に基づいて部分データ生成部３５１において切り出しの対象となる部分データ毎の部分アスペクト比を算出するようになっている。そして、この部分アスペクト比算出部３５２は、算出された部分アスペクト比を部分アスペクト比情報として切り出された各移動体の部分データに対応付けて部位認識部３５３に出力するようになっている。
【０１１８】
具体的には、本実施形態の部分アスペクト比設定部３３０は、アスペクト比設定部３３０において設定されたフレームデータの画像上の水平画素ライン毎のアスペクト比に基づいて、部分データ生成部３５１において切り出しの対象となる各移動体における部分アスペクト比を算出するようになっている。
【０１１９】
部位認識部３５３には、部分データ生成部３５１において生成された移動体位置情報を含む各移動体毎の各部位の部分データと、部分アスペクト比算出部３５２において算出された当該各部分データに対応付けられた部分アスペクト比情報と、が入力されるようになっている。また、この部位認識部３５３は、移動体位置情報によって示される移動体の基準位置に基づいて、データ格納部３２０に格納されている各部位の各特徴量情報を参照しつつ、部分データ毎に、各部分データの画像上における各移動体における各部位の部分データの画像上における位置を特定するようになっている。そして、この部位認識部３５３は、特定された位置（以下、特定位置という。）を各部位の認識位置の情報（以下、認識位置情報という。）として部位位置情報算出部３５４に出力するようになっている。ただし、本実施形態の部位認識部３５３は、各移動体毎の各部位毎に基準位置に基づく相対的な画素の位置を特定位置として特定するようになっている。
【０１２０】
具体的には、本実施形態の部位認識部３５３は、各部位の特徴量情報が基準位置または基準となる部位との関係性を示す情報に基づいて各部位を特定するため、原則、基準位置から距離的に近い部位から順に、特定するようになっている。そして、この部位認識部３５３は、一の部分データが入力されると、予め定められた部位毎に、動画像データの画像上において移動体が認識される際の基準となる基準位置情報および基準となる部位の画素位置の情報に基づいて、入力された部分アスペクト比を参照しつつ、特徴量情報によって示される各部位の各基準位置または基準となる部位からの距離に属する複数の画素位置を特定すべき部位の位置の候補（以下、候補画素位置という。）として認定するようになっている。すなわち、部分アスペクト比の値に基づいて、各移動体の基準位置における相対的な画素位置として特定される当該移動体の各部位の特定すべき各部位の位置は変化するので、本実施形態の部位認識部３５３は、設定された部分アスペクト比に対応して各部位の候補画素位置を認定するようになっている。
【０１２１】
また、この部位認識部３５３は、各部位の候補画素位置を認定すると、データ格納部３２０に格納された該当する各部位を特定する上で必要となる特性を示す情報に基づいて、各部位毎に認定された複数の候補画素位置の画素および当該各候補画素位置における隣接する画素の色の変化および輝度の変化を検出するようになっており、当該各部位の特性を示す情報に合致する画素位置を認識位置情報として部位位置情報算出部３５４に出力するようになっている。
【０１２２】
例えば、本実施形態の部位認識部３５３は、スポーツの試合がサッカーの場合に、基準位置から距離的に近い部位から順に特定するようになっており、一の部分データ毎に、まず、基準位置から距離的に近い右肩Ｐ２、右腰Ｐ５、左肩Ｐ９、および左腰Ｐ１２の各部位を特定し、当該特定された各部位の位置に基づいて、右肘Ｐ３、右膝Ｐ６、左肘Ｐ１０、および、左膝Ｐ１３を特定するようになっている。そして、この部位認識部３５３は、これらの特定された各部位から右手Ｐ４、右足首Ｐ７、右の爪先Ｐ８、左手Ｐ１１、左足首Ｐ１４、および、左の爪先Ｐ１５を特定するようになっている。
【０１２３】
また、この部位認識部３５３は、肩の部位を特定する場合には、基準位置から特徴量情報によって示される距離を有する画素を当該部位の候補の画素と認定するとともに、当該認定された画素と当該認定された画素に隣接する画素の色および輝度と、当該特徴量情報によって示される色データおよび輝度データを比較するようになっている。そして、この部位認識部３５３は、当該色データおよび輝度データと同一の色および輝度を有する画素と非同一となる色および輝度を有する画素との関係性から、すなわち、部位の候補として認定された画素およびその周辺画素において、移動体の領域を示す画素と背景などのその他の領域を示す画素の境を検出し、当該検出した境にあって、色データおよび輝度データと同一の色および輝度を有する画素を肩の部位がある画素に特定するようになっている。
【０１２４】
さらに、この部位認識部３５３は、肘の部位を特定する場合には、肩として特定された位置から特徴量情報によって示される距離を有する画素を当該部位の候補の画素と認定するとともに、当該肩と特定された画素から当該認定された候補の画素までの色および輝度を、特徴量情報として格納される当該部位の色データおよび輝度データと比較し、肩の部位に基づく肘の画像上の方向を特定するようになっている。そして、この部位認識部３５３は、当該特定された方向にあり、当該肩から特徴量情報によって示される距離を有する画素および当該画素の周辺の画素と特徴量情報として格納される当該部位の色データおよび輝度データと比較し、肩の部位を特定するときと同様に、移動体の領域を示す画素と背景などのその他の領域を示す画素の境を検出し、当該検出した境にあって、色データおよび輝度データと同一の色および輝度を有する画素を肘の部位がある画素に特定するようになっている。
【０１２５】
部位位置情報算出部３５４には、各部分データ毎に、部位認識部３５３にて認識された各部位におけるフレームデータの画像上の認識位置情報が各移動体の位置情報とともに入力されるようになっている。この部位位置情報算出部３５４は、前フレームデータにおける各部分データの認識位置情報を格納する算出用メモリＭ２を有し、入力された各部分データ毎の各部位における認識位置情報と当該格納されている各部分データの認識位置情報に基づいて、各部分データ毎の各部位毎に、すなわち、各移動体毎の各部位毎に、一の可動パターンデータを決定するようになっている。また、この部位位置情報算出部３５４は、決定された各部位毎の可動パターンデータに基づいて、各移動体の位置情報によって示される基準位置に基づく当該各部位におけるグラウンド上において三次元にて表される部位位置情報を算出するようになっている。そして、この部位位置情報算出部３５４は、算出された各移動体の各部位毎の部位位置情報を出力処理部３６０に出力するようになっている。
【０１２６】
具体的には、本実施形態の部位位置情報算出部３５４は、入力された各移動体の各部位毎に、認識位置情報に基づいてデータ格納部３２０に格納されている該当する部位の複数の可動パターンデータから一の可動パターンデータを選択するようになっている。すなわち、この部位位置情報算出部３５４は、一の特定位置の変化を数フレームデータにおいて格納するようになっており、現フレームデータにおける部分データの各部位の認識位置情報と格納されている前フレームデータの各部位の認識位置情報とによって構成される当該部位の可動経路と、当該部位の複数の可動パターンデータの複数の位置データによって示される可動経路と、を比較し、当該可動経路同士が一致する可動パターンデータを各移動体の各部位毎に選択するようになっている。
【０１２７】
また、この部位位置情報算出部３５４は、選択された各部位毎の可動パターンデータに基づいて、動画像データの画像上において水平画素位置および垂直画素位置にて表された各部位毎の認識位置情報から当該移動体の各部位の実際のグラウンドにおける３次元の位置情報を算出するようになっている。すなわち、各可動パターンデータには、各部位の画素位置毎に、実際のグラウンドにおける３次元の位置情報が対応付けられており、本実施形態の部位位置情報算出部３５４は、特定された可動パターンに基づいて、各フレームデータにおける各部位の画素位置から実際のグラウンドにおける３次元の位置を特定するようになっている。
【０１２８】
なお、本実施形態の部位位置情報算出部３５４は、可動パターンデータが決定される毎に、当該決定された可動パターンデータの重み付けを変化させて決定する際の優先度を高くするようになっており、当該優先度の高い順に、当該可動パターンデータを決定するようになっている。このため、本実施形態では、位置情報を算出する際に、各移動体、すなわち、各選手の「癖」を考慮することができるようになっている。
【０１２９】
次に、図６を用いて本実施形態のシステム制御部３８０における移動体位置情報算出部３４２の処理動作について説明する。なお、図６は、本実施形態のシステム制御部３８０における移動情報検出処理の動作を示すフローチャートである。
【０１３０】
以下の動作において、既に撮像カメラ装置２００がサッカーのグラウンドをグラウンドサイドから鳥瞰的に撮像しているとともに、撮像カメラ装置２００によってグラウンドの撮像が終了すると、本動作は終了するものとする。
【０１３１】
なお、本動作では、データ格納部３２０には、当該本動作で使用する環境データ、移動体識別データおよび可動パターンデータの各種のデータが既に登録され、格納されているものとする。
【０１３２】
まず、ユーザが操作部３７０を操作することによって、サッカーのグラウンドを移動する選手またはボールなどの各移動体の検出を開始する指示が入力されると、システム制御部３８０は、当該指示を検出し（ステップＳ１１）、アスペクト比設定部３３０に入力処理部３１０を介して入力された一のフレームデータに基づいて画像上におけるアスペクト比を算出させる（ステップＳ１２）。
【０１３３】
次いで、システム制御部３８０は、アスペクト比設定部３３０に移動体位置情報抽出部３４０および部位位置情報抽出部３５０に対して算出されたアスペクト比を設定させ、操作部３７０を介して入力される試合開始の指示の入力を待機する（ステップＳ１３）。
【０１３４】
なお、このとき、システム制御部３８０は、外部に接続されたモニタまたはスピーカなどの図示しない外部装置を用いて試合開始の指示入力を待機している旨の表示または告知を行う。
【０１３５】
次いで、ユーザが操作部３７０を操作することによって試合開始の指示が入力され、システム制御部３８０が当該試合開始の指示を検出すると（ステップＳ１４）、当該システム制御部３８０は、入力処理部３１０に撮像カメラ装置２００によって撮像された動画像データをフレームデータとして移動体位置情報抽出部３４０および部位位置情報抽出部３５０に順次出力させ（ステップＳ１５）、各部を制御して各フレームデータに対して以下の処理を実行させる。
【０１３６】
まず、移動体位置情報抽出部３４０にフレームデータが入力されると、当該移動体位置情報抽出部３４０の各部は、システム制御部３８０の制御の下、移動体位置情報算出部３４２の処理を実行するための種々の処理を行う（ステップＳ１６）。具体的には、各フレームデータが入力されると、複数のフレーム毎に、移動体特定部３４１が各選手およびボールなどの予め設定された各移動体を特定するとともに、移動体位置情報算出部３４２が各特定された移動体の実際のグラウンド内における三次元の各フレームデータにおける移動体位置情報を抽出する。なお、本実施形態における移動体位置情報抽出部３４０における移動体位置情報算出処理の詳細については、後述する。
【０１３７】
次いで、システム制御部３８０は、移動体位置情報抽出部３４０において当該フレームデータにおける移動体位置情報が抽出されたか否かを判断し（ステップＳ１７）、何れの移動体位置情報も抽出されないと判断した場合には、ステップＳ１９の処理に移行する。
【０１３８】
一方、システム制御部３８０が、移動体位置情報抽出部３４０において当該フレームデータにおける少なくとも一の移動体位置情報が抽出されたと判断した場合には、当該システム制御部３８０は、部位位置情報抽出部３５０の各部を制御して、部位位置情報検出処理を実行するための種々の処理を行なわせる（ステップＳ１８）。具体的には、各フレームデータが入力されると、部位認識部３５３は、フレームデータ毎に、各移動体の予め定められている各部位を認識するとともに、部位位置情報算出部３５４は、各移動体の移動体位置情報（基準位置）に基づく当該各部位における三次元の部位位置情報を抽出する。なお、本実施形態における部位位置情報抽出部３５０における部位位置情報検出処理の詳細については、後述する。
【０１３９】
次いで、システム制御部３８０は、抽出された各移動体の移動体位置情報および部位位置情報に基づいて、各移動体毎に該当する各フレームデータの移動体位置情報と部位位置情報を一致させるとともに、部位位置情報を移動体位置に基づくグラウンド上の各位置情報に変換し、これらの各フレームデータの移動体位置情報と部位位置情報を移動体情報として外部に出力する（ステップＳ１９）。
【０１４０】
最後に、システム制御部３８０は、入力処理部３１０に処理すべきフレームデータがあるか否かを判断させ（ステップＳ２０）、処理すべきフレームデータ、すなわち、未処理のフレームデータがあると入力処理部３１０が判断した場合には、システム制御部３８０は、ステップＳ１５の処理に移行する。一方、未処理のフレームデータが無いと判断した場合には、試合が終了または中断されたとして、システム制御部３８０は、本動作を終了させる。
【０１４１】
次に、図７を用いて本実施形態の移動体位置情報抽出部３４０における移動体位置情報算出処理の動作について説明する。なお、図７は、本実施形態の移動体位置情報抽出部３４０における移動体位置情報算出処理の動作を示すフローチャートである。
【０１４２】
まず、移動体位置情報抽出部３４０にフレームデータが入力されると、移動体特定部３４１は、入力されたフレームデータを特定用メモリＭ１に格納するとともに、入力されたフレームデータと特定用メモリＭ１に格納されている以前のフレームデータとを比較し（ステップＳ２１）、入力されたフレームデータにおける画像上の移動体の有無を検出すする（ステップＳ２２）。
【０１４３】
具体的には、移動体特定部３４１は、入力されたフレームデータと特定用メモリＭ１に格納されている以前のフレームデータとを比較して入力されたフレームデータにおける画像上の変化の纏まりを検出するとともに、当該画素の纏まりの大きさおよび当該画素の纏まりの中心位置を特定し、データ格納部３２０に格納されている各スペクトルデータに基づいて、特定された移動体を識別する。
【０１４４】
例えば、移動体特定部３４１は、フレームデータの画像上の変化が生じた画素と当該画素の隣接する複数の画素（ピクセル）の変化を検出し、一つの画素上の纏まり（画素群）を移動体として特定する。そして、この移動体特定部３４１は、特定された画素群のスペクトルとスペクトルデータを比較して特定された各移動体を識別する。また、移動体特定部３４１が入力された画像上の変化を検出しない場合であっても、前フレームデータにおいて移動体を検出している場合には、移動体特定部３４１は、検出された移動体の周辺の画素を検索し、スペクトルデータに基づいて、当該前フレームにおいて検出された移動体の存在の有無を判断する。
【０１４５】
なお、移動体特定部３４１は、フレームデータの画像上における複数の画像変化を検出した場合には、各画像変化、すなわち、画像の変化が生じた画素群毎に、かつ、複数フレーム毎に各スペクトルデータと比較する。また、移動体特定部３４１は、何れの移動体を特定することができない場合には、本動作を終了させる。
【０１４６】
次いで、移動体特定部３４１が一以上の移動体を特定した場合には、当該移動体特定部３４１は、特定した各移動体に対して、当該移動体として特定された一の画素群の基準となる画素位置を基準位置として認識するとともに、当該画素群に基づく移動体のサイズを移動体サイズデータとして認識し、当該画素位置の基準位置情報および移動体サイズデータを移動体位置情報部に出力する（ステップＳ２３）。
【０１４７】
次いで、移動体位置情報算出部３４２は、移動体特定部３４１から出力された基準位置情報と移動体サイズデータが入力されると、入力された基準位置情報に基づいて撮像カメラ装置２００によって撮像している方向と直交し、グラウンド面に水平な面の方向における移動体の位置、すなわち、移動体の実際のグラウンドにおけるＸ軸方向の位置を算出する（ステップＳ２４）。
【０１４８】
次いで、この移動体位置情報算出部３４２は、入力された認識移動体サイズデータとデータ格納部３２０に格納されているサイズ比率を算出する基準となる基準移動体サイズデータとを比較し、そのサイズ比率を算出するとともに、算出されたサイズ比率とアスペクト比に基づいて各移動体の実際のグラウンドにおける撮像方向における奥行き方向（Ｙ軸方向）および当該グラウンドの高さ方向（Ｚ軸方向）の位置を算出する（ステップＳ２５）。
【０１４９】
最後に、この移動体位置情報算出部３４２は、各移動体毎に、算出された各移動体のＸ軸方向の位置、Ｙ軸方向の位置およびＺ軸方向の位置を部位位置情報抽出部３５０および出力処理部３６０に出力し（ステップＳ２６）、本動作を終了する。
【０１５０】
次に、図８を用いて本実施形態のシステム制御部３８０における部位位置情報算出処理の動作について説明する。なお、図８は、本実施形態のシステム制御部３８０における部位位置情報算出処理の動作を示すフローチャートである。
【０１５１】
まず、システム制御部３８０によって部位位置情報算出処理を実行する旨の指示が入力されると、部分データ生成部３５１は、一のフレームデータにおける各移動体の基準位置情報に基づいて、基準移動体データ入力されたフレームデータから当該各移動体が存在する領域および当該移動体が存在する予め定められた周辺の領域を各移動体毎に切り出して各部分データを生成し、当該生成された各部分データを部位認識部３５３に出力する（ステップＳ３１）。
【０１５２】
次いで、部分アスペクト比算出部３５２は、アスペクト比設定部３３０において設定されたアスペクト比と、一のフレームデータにおける各移動体の基準位置情報と、に基づいて、部分データ生成部３５１において切り出しの対象となる部分データ毎の部分アスペクト比を算出し、算出された部分アスペクト比を部分アスペクト比情報として切り出された各移動体の部分データに対応付け、入力された各移動体の基準位置情報とともに部位認識部３５３に出力する（ステップＳ３２）。
【０１５３】
次いで、部位認識部３５３は、一フレームデータにおける各部分データが各移動体位置情報とともに対応する各基準位置情報が入力されると、部位認識部３５３及び部位位置情報算出部３５４は、各移動体毎に、すなわち、各部分データ毎に以下の動作を行う。
【０１５４】
まず、部位認識部３５３は、上述のように、入力された未だ未処理の部分データと当該部分データに対応付けられた基準位置情報、基準となる部位の位置示す情報、部分アスペクト比情報および各部位の特徴量情報とに基づいて、予め定められた部位毎に、各部位の候補画素位置を認定しつつ、各部位を特定する上で必要となる特性を示す情報に基づいて各部位の画素位置を特定し、特定された画素位置を認識位置情報として部位位置情報算出部３５４に出力する（ステップＳ３３）。
【０１５５】
次いで、部位位置情報算出部３５４は、入力された各部分データ毎の各部位における認識位置情報を算出用メモリＭ２に格納すると共に、当該入力された各部分データ毎の各部位における認識位置情報に基づいて、各部分データ毎の各部位毎に、すなわち、各移動体毎の各部位毎に、一の可動パターンデータを決定する（ステップＳ３４）。
【０１５６】
具体的には、部位位置情報算出部３５４は、現フレームデータにおける部分データの各部位の認識位置情報と格納されている前フレームデータの各部位の認識位置情報とによって構成される当該部位の可動経路と、当該部位の複数の可動パターンデータの複数の位置データによって示される可動経路と、を比較し、当該可動経路同士が一致する可動パターンデータを各移動体の各部位毎に選択する。
【０１５７】
次いで、この部位位置情報算出部３５４は、決定された各部位毎の可動パターンデータを参照しつつ、各移動体の位置情報によって示される基準位置に基づいて、当該各部位のグラウンド上において三次元にて表される部位位置情報を算出し、この算出された各移動体の各部位毎の部位位置情報を出力処理部３６０に出力する（ステップＳ３５）。
【０１５８】
最後に、この部位認識部３５３は、当該部分データの各部位における部位位置情報が算出されると、未だ未処理の部分データがあるか否かを判断し（ステップＳ３６）、未だ未処理の部分データがある場合には、ステップＳ３３の処理を実行し、未処理の部分データがないと判断された場合には、本動作を終了する。
【０１５９】
以上本実施形態によれば、移動体情報検出システム１００は、移動体情報に基づいて移動体が撮像されている動画像データにおける画像上の位置を示す移動体位置および当該移動体の動画像データにおける画像上のサイズを示す移動体サイズを認識するとともに、認識された移動体位置および移動体サイズと設定されたアスペクト比とに基づいて当該移動体の所定領域における三次元の位置を示す位置情報を算出することができる。
【０１６０】
通常、撮像カメラ装置２００によって所定領域を鳥瞰的に側方から撮像すると、当該所定領域は平面的な画像構成を有する動画像データにて表される一方、当該所定領域を三次元の軸を有する空間として視聴可能なデータとなる。また、所定領域の三次元の軸を有する空間が撮像カメラ装置２００にて撮像されると、動画像データ上における撮像対象は、所定領域内の位置によって当該撮像対象のサイズが異なることになる。
【０１６１】
したがって、本実施形態の移動体情報検出システム１００は、移動体の動画像データ上の位置とともに当該移動体のサイズに基づいて、当該所定領域内に存在する移動体の位置を算出することができるので、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の対象領域における三次元の位置情報を的確に検出することができる。
【０１６２】
また、本実施形態の移動体情報検出システム１００は、所定領域と当該所定領域外の領域とを区別するための当該所定領域に関する予め格納された領域情報と取得された少なくとも一のフレームデータにおける動画像データの所定領域とを比較し、所定領域内におけるアスペクト比を設定することができる。
【０１６３】
したがって、本実施形態の移動体情報検出システム１００は、実際の所定領域の大きさなどの領域情報予め格納することによって、実際の所定領域の大きさと動画像データにおける画像情報の所定領域を比較することができるので、的確にアスペクトを設定することができる。
【０１６４】
また、本実施形態の移動体情報検出システム１００は、色情報および輝度情報のスペクトルデータに基づいて各フレームデータに画像上の位置を示す移動体位置および当該移動体の画像上のサイズを示す移動体サイズを認識することができる。
【０１６５】
通常、サッカーなどの団体スポーツにおいて、ユニフォームなど移動体が同一の表面色および同一の輝度値を有する場合であっても、名前が表示されている部分、または、背番号が表示されている部分などの当該移動体全体の表示色または表面色として捉えたときに、異なる部分が存在する。
【０１６６】
したがって、本実施形態の移動体情報検出システム１００は、各移動体が同一の表面色または輝度値を有する場合であっても、的確に各移動体を認識することができる。
【０１６７】
また、本実施形態の移動体情報検出システム１００は、認識された各移動体の各部位毎に、複数のフレームデータにおける部位位置情報に基づいて予め格納されている当該部位の複数の可動パターン情報から一の可動パターンを決定するとともに、各移動体の各部位毎に、決定された可動パターンと特定された当該移動体の基準位置情報に基づいて、フレームデータ毎に当該移動体の各部位における所定領域上の三次元の位置を位置情報として算出する。
【０１６８】
通常、撮像カメラ装置２００によって所定領域を鳥瞰的に側方から撮像すると、当該所定領域は平面的な画像構成を有する動画像データにて表される一方、当該所定領域を三次元の軸を有する空間として視聴可能なデータとなる。また、一般的に、所定領域内を移動する移動体において、移動体の各部位の可動範囲は、当該移動体そのものまたは移動体の動きに制約される。すなわち、例えば、移動体が選手の場合に、膝または肘の可動範囲は予め想定することができるとともに、当該移動体がレースカーの場合であっても、タイヤ、リヤスポイラ（リヤウィング）または車体の各部位の可動範囲は予め想定することができる。
【０１６９】
したがって、本実施形態の移動体情報検出システム１００は、各移動体の各部位の可動パターンを決定することによって、各移動体の各部位における動作を決定することができるとともに、各移動体の基準位置に基づいて当該各移動体の部位における動画像データの画像上の位置を認識することができるので、各部位毎に予め想定する動きによる所定の演算処理を実行すれば、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【０１７０】
また、本実施形態の移動体情報検出システム１００は、各移動体の各部位毎に、取得されたフレームデータの前に取得された前フレームデータと当該取得されたフレームデータの現部位位置情報とに基づいて、予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定するので、的確に一の可動パターンを認識することができるとともに、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【０１７１】
本実施形態の移動体情報検出システム１００は、各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータ毎の部位位置情報から所定領域上における三次元の位置の情報に変換する演算処理を行うことによって各フレームデータにおける所定領域上の三次元の位置を位置情報として算出する。
【０１７２】
したがって、本実施形態の移動体情報検出システム１００は、各部位毎に予め想定する動きによる所定の演算処理を実行することができるので、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【０１７３】
また、本実施形態の移動体情報検出システム１００は、各移動体の各部位毎に、決定された可動パターンに基づいて、各フレームデータにおける画像上の縦軸方向の位置を当該所定領域における平面に基づく高さを示す位置または当該所定領域における平面上の位置の何れか一方の位置に判断することによって三次元の位置情報を算出する。
【０１７４】
したがって、本実施形態の移動体情報検出システム１００は、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の各部位毎に、対象領域における三次元の位置情報を的確に検出することができる。
【０１７５】
また、本実施形態の移動体情報検出システム１００は、設定された移動体アスペクト比を用いて予め格納されている当該部位における複数の可動パターン情報を参照しつつ、複数の可動パターン情報から一の可動パターンを決定する。  
【０１７６】
通常、所定領域の三次元の軸を有する空間が撮像カメラ装置２００にて撮像されると、動画像データ上における撮像対象は、所定領域内の位置によって当該撮像対象のサイズが異なることになる。
【０１７７】
したがって、本実施形態の移動体情報検出システム１００は、移動体の動画像データ上の位置とともに当該移動体のサイズに基づいて、当該所定領域内に存在する移動体の位置を算出することができるので、撮像カメラ装置２００にて撮像された平面的な画像構成を有する動画像データから各移動体の対象領域における三次元の位置情報を的確に検出することができる。
【０１７８】
また、予め格納されている各移動体毎の各部位毎の位置パターン情報に基づいて、当該取得されたフレームデータの前に取得された前フレームデータにおける画像上の特定の位置と現フレームデータにおける画像上の特定の位置における画像変化を検出するとともに、予め格納されている当該移動体の特定の部位における色データまたは輝度データの少なくとも一方の情報と検出された画像変化の位置とに基づいて各移動体毎の各部位を認識する。
【０１７９】
したがって、本実施形態の移動体情報検出システム１００は、各部位の前フレームデータにおける位置を確認しつつ、各部位を認識することができるので、的確に、各移動体の各部位を認識することができる。
【０１８０】
なお、本実施形態では、ボールを使用するスポーツ、特に、サッカーの試合を用いて説明したが、短距離走およびマラソンに代表されるフィールド競技、格闘技の試合、または、モータスポーツなどのボールを用いないスポーツについても選手またはレースカーなどを移動体とすることによって適用することができる。
【０１８１】
また、本実施形態では、撮像カメラ装置２００は、基本的には、スポーツの試合中に予め定められた撮像範囲を固定して撮像するようになっているが、スポーツの試合中に、操作者の操作により、グラウンド内を移動する各選手またはボールなどの移動体を中心に一定の撮像範囲にて追従しつつ、撮像するようにしてもよい。
【０１８２】
この場合には、撮像カメラ装置２００によって移動体を中心に一定の撮像範囲にて追従する際に、移動体以外の画像に基づいて各フレームデータ毎のアスペクト比を算出し、当該算出されたアスペクト比を用いて各フレームデータ毎の移動体のグランドにおける三次元の位置情報を算出するようになっている。すなわち、移動体位置情報抽出部３４０は、部分アスペクト比算出部３５２と同様に、撮像された移動体における部分アスペクト比を算出するとともに、算出されたアスペクト比を用いて上述と同様に各移動体のグランドにおける三次元の位置情報を算出するようになっている。
【０１８３】
また、本実施形態では、移動体位置情報抽出部３４０は、移動体の位置を認識する際に、データ格納部３２０に予め格納された移動体の位置を認識する際の色情報および輝度情報のスペクトルデータに基づいて移動体の認識を行うようになっているが、色情報および輝度情報のスペクトルデータを順次更新するようにしてもよい。したがって、本実施形態の移動体位置情報抽出部３４０は、天候や時間帯によって変化する色または輝度にも対応させることができ、移動体の特定に関して精度良く行うことができる。通常、特定された移動体において、認定された移動体の識別を行う際に、当該予め格納された色情報および輝度情報のスペクトルデータが認定された移動体の画素の塊と不一致となった場合には、当該移動体の特定から除外するが、周辺に他の移動体が無い場合であって、前フレームデータにおける移動体の位置に隣接した位置に当該移動体がある場合には、当該移動体であることが想定されるため、このような場合には、当該予め格納された色情報および輝度情報のスペクトルデータが認定された移動体の画素の塊と不一致となったとしても、移動体の認定を変更することなく、色情報および輝度情報のスペクトルデータとして登録し、当該各スペクトルデータを更新するようになっている。
【０１８４】
また、本実施形態では、移動情報検出処理、移動体位置情報抽出処理および部位位置情報抽出処理の各動作を行うになっているが、当該移動体位置情報抽出処理および部位位置情報抽出処理の動作を規定するプログラムが記録された記録媒体と、それを読み取るコンピュータと、を備え、このコンピュータで当該プログラムを読み込むことによって上述と同様の移動体位置情報抽出処理および部位位置情報抽出処理の動作を行うようにしてもよい。
【図面の簡単な説明】
【０１８５】
【図１】本願に係る移動体情報検出システムの構成を示すブロック図である。
【図２】一実施形態の撮像カメラ装置によって撮像されているサッカーの試合が行われるグラウンドの画像の一例である。
【図３】一実施形態におけるデータ格納部に格納された可動パターンデータにおける認識すべき各部位の例である。
【図４】一実施形態におけるアスペクト比とエンドライン方向の距離が対応したアスペクト比−エンドライン距離のグラフである。
【図５】一実施形態における部位位置情報算出部においてフレームデータの画像上におけるｓ軸およびｔ軸の位置に基づいてグラウンド上における三次元方向のＸ軸、Ｙ軸およびＺ軸の位置を算出する原理を説明するための図である。
【図６】一実施形態のシステム制御部における移動情報検出処理の動作を示すフローチャートである。
【図７】一実施形態の移動体位置情報抽出部における移動体位置情報算出処理の動作を示すフローチャートである。
【図８】一実施形態のシステム制御部における部位位置情報算出処理の動作を示すフローチャートである。
【符号の説明】
【０１８６】
１００  …  移動体情報検出システム
２００  …  撮像カメラ装置
３００  …  移動体情報検出装置
３１０  …  入力処理部
３２０  …  データ格納部
３３０  …  アスペクト比設定部
３４０  …  移動体位置情報抽出部
３４１  …  移動体特定部
３４２  …  移動体位置情報算出部
３５０  …  部位位置情報抽出部
３５１  …  部分データ生成部
３５２  …  部分アスペクト比設定部
３５３  …  部位認識部
３５４  …  部位位置情報算出部
３６０  …  出力処理部
３７０  …  操作部
３８０  …  システム制御部
３９０  …  ＲＯＭ／ＲＡＭ
【図１】
2006285822.tif 000003
【図２】
2006285822.tif 000004
【図３】
2006285822.tif 000005
【図４】
2006285822.tif 000006
【図５】
2006285822.tif 000007
【図６】
2006285822.tif 000008
【図７】
2006285822.tif 000009
【図８】
2006285822.tif 000010