(57)【要約】  本発明は、特定エリア内の複数の物体の画像に基づく運動追跡に関する。幾つかの画像登録手段は、エリア内で発生するイベントの複数の同時表現に関するデータを繰り返し記録する。特に、少なくとも１対のステレオペアのカメラ（１０１ａ，１０１ｂ）はステレオ画像データ（Ｄ１’，Ｄ１’’）を繰り返し記録し、データ処理ユニット（１１０）はステレオ画像データに基づいて各物体のそれぞれの位置を繰り返し決定する。ステレオペア内の第１のカメラ（１０１ａ）及び第２のカメラ（１０１ｂ）は基準距離によって隔てられる。さらに、カメラ（１０１ａ，１０１ｂ）は、第１のカメラ（１０１ａ）の第１の像平面がエリアの一部分を登録し、そのエリアの一部分が第２のカメラ（１０１ｂ）の第２の像平面によって登録されたエリアの一部分と実質的に重なるように、基本的に平行であり、エリアの方へ向けられる。【選択図】  図７
2008520016.tif 000002
【特許請求の範囲】
【請求項１】
特定エリア（１００）内の複数の物体（ｐｉ，ｐｊ，Ｂ）のそれぞれによって行われた運動を追跡する装置であって、
前記特定エリア（１００）内で起こるイベントの複数の同時表現に関係があるデータ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）を繰り返し記録するようになっている複数の画像登録手段（１０１，１０２，１０３，１０４）と、
前記画像登録手段（１０１，１０２，１０３，１０４）によって記録された前記データ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）を受信し、それらに基づいて各物体（ｐｉ，ｐｊ，Ｂ）のそれぞれの位置（ｐｉ，ｊ（ｘ，ｙ））を繰り返し決定するようになっているデータ処理ユニット（１１０）と、
を備える、前記装置において、
少なくとも１台の前記画像登録手段（１０１，１０２，１０３，１０４）が、第１のカメラ（１０１ａ）が第２のカメラ（１０１ｂ）から基準距離（ｄＢ）によって隔てられ、前記第１のカメラ及び前記第２のカメラが、前記第１のカメラ（１１０ａ）の第１の像平面（３１０）が前記第２のカメラ（１０１ｂ）の第２の像平面（３２０）によって登録される前記エリア（１００）の一部分と実質的に重なる前記エリア（１００）の一部分を登録するように、基本的に平行であり、前記エリア（１００）の方へ向けられた、カメラのステレオペアを備えることを特徴とする装置。
【請求項２】
前記データ処理ユニット（１１０）が、前記第１のカメラ（１０１ａ）によって記録された第１の画像（Ｉ１）からのデータ（Ｄ１’）及び前記第２のカメラ（１０１ｂ）によって記録された第２の画像（Ｉ２）からのデータ（Ｄ１”）に基づいてステレオ画像（ＩＳ）を生成するようになっているステレオモジュール（７１０）を備え、第１の画像（Ｉ１）及び第２の画像（Ｉ２）が、特定の時点に記録されることを特徴とする、請求項１に記載の装置。
【請求項３】
前記ステレオ画像（ＩＳ）が前記エリア（１００）の静止表面（Ｓ）上の時間的に変化する標高の推定値（ｅ１，ｅ２，ｅ３，ｅ４）を表現することを特徴とする、請求項２に記載の装置。
【請求項４】
前記データ処理ユニット（１１０）が、前記エリア（１００）内に物体（ｐｉ，ｐｊ，Ｂ）が存在しないときに記録された前記画像登録手段（１０１，１０２，１０３，１０４）からのデータ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）に基づいて前記エリア（１００）の初期バックグラウンドモデル（Ｍ’Ｂ）を生成するようになっているシーン初期化モジュール（７３０）を備えることを特徴とする、請求項３に記載の装置。
【請求項５】
前記ステレオ画像（ＩＳ）において、
前記第１の画像（Ｉ１）内で前記表面（Ｓ）の特定のセグメントを表現していると推定される画像点に基づく各画像点が、前記特定のセグメントを表現していると推定される前記第２の画像（Ｉ２）内の画像点と同じ画像点に投影され、
前記表面（Ｓ）より上にある物体を表現していると推定される前記第１及び第２の画像（Ｉ１，Ｉ２）内の画像点が、前記表面（Ｓ）に対する前記物体の高度に依存する程度で、互いに少なくとも横へ平行移動させられるように、
前記ステレオモジュール（７１０）が、前記第１及び第２の画像（Ｉ１，Ｉ２）のうちの一方を、前記第１及び第２の画像（Ｉ１，Ｉ２）のうちのもう一方の表現と一致させるための変換を伴うプロシージャを用いて、前記ステレオ画像（ＩＳ）を生成するようになっていることを特徴とする、請求項４に記載の装置。
【請求項６】
前記データ処理ユニット（１１０）が、前記初期バックグラウンドモデル（Ｍ’Ｂ）に基づいて、前記表面（Ｓ）を表現する画像点の推定値を決定するようになっている第１の情報抽出モジュール（７４０）を備えることを特徴とする、請求項５に記載の装置。
【請求項７】
前記データ処理ユニット（１１０）が、前記ステレオ画像（ＩＳ）に基づいて、前記エリア（１００）内の前記物体（ｐｉ，ｐｊ）に関する候補位置（ｘ，ｙ）のそれぞれの確率関数（Ｐ（ｐ１），Ｐ（ｐ２），Ｐ（ｐ３），Ｐ（ｐ４），Ｐ（ｐ５））を表現する密度マップ（Ａ）を生成するようになっている密度モジュール（７２０）を備えることを特徴とする、請求項１〜６のいずれか一項に記載の装置。
【請求項８】
前記データ処理ユニット（１１０）が、前記確率関数（Ｐ（ｐ１），Ｐ（ｐ２），Ｐ（ｐ３），Ｐ（ｐ４），Ｐ（ｐ５））に基づいて前記物体（ｐｉ，ｐｊ）の位置（ｐｉ，ｊ（ｘ，ｙ））を区別するようになっている第２の情報抽出モジュール（７５０）を備えることを特徴とする、請求項７に記載の装置。
【請求項９】
前記第１の情報抽出モジュール（７４０）が、繰り返し的に、前のバックグラウンドモデル（Ｍ’Ｂ）と前記物体（ｐｉ，ｐｊ，Ｂ）の区別された位置（ｐｉ，ｊ（ｘ，ｙ））とに基づいて、更新されたバックグラウンドモデル（Ｍ”Ｂ）を決定し、前記更新されたバックグラウンドモデル（Ｍ”Ｂ）に基づいて前記表面（Ｓ）を表現する画像点の更新された推定値を決定するようになっていることを特徴とする、請求項８に記載の装置。
【請求項１０】
前記エリア（１００）が競技場であり、前記物体（ｐｉ，ｐｊ，Ｂ）が前記競技場で行われるスポーツイベントに参加している選手を含むことを特徴とする、請求項１〜９のいずれか一項に記載の装置。
【請求項１１】
前記スポーツイベントが少なくとも１個のボール（Ｂ）の使用を伴う球技であり、前記物体（ｐｉ，ｐｊ，Ｂ）が前記少なくとも１個のボール（Ｂ）をさらに含むことを特徴とする、請求項１０に記載の装置。
【請求項１２】
前記データ処理ユニット（１１０）が、前記複数の物体（ｐｉ，ｐｊ，Ｂ）に関係がある少なくとも一つのタイプの統計値及び／又は系統的な数量情報を記述する少なくとも１個のデータ信号をリアルタイムで発生するようになっており、前記少なくとも１個のデータ信号が、現時点より先行する時間の間に決定された前記複数の物体（ｐｉ，ｐｊ，Ｂ）の位置（ｐｉ，ｊ（ｘ，ｙ））に基づいていることを特徴とする、請求項１〜１１のいずれか一項に記載の装置。
【請求項１３】
特定エリア（１００）内の複数の物体（ｐｉ，ｐｊ，Ｂ）のそれぞれによって行われた運動を追跡する方法であって、
前記特定エリア（１００）内で起こるイベントの複数の同時表現に関係があるデータ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）を繰り返し登録するステップと、
前記登録されたデータ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）に基づいて各物体（ｐｉ，ｐｊ，Ｂ）のそれぞれの位置（ｐｉ，ｊ（ｘ，ｙ））を繰り返し決定するステップと、
を備える、前記方法において、
第１の像平面（３１０）が第２の像平面（３２０）によって登録された前記エリア（１００）の一部分と実質的に重なる前記エリア（１００）の一部分を登録し、前記第１及び第２の像平面（３１０，３２０）が互いに基準距離（ｄＢ）で隔てられるように、像平面（３１０，３２０）が基本的に平行である前記エリア（１００）の画像のステレオペアを用いて前記データ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）の少なくとも一部分を登録するステップによって特徴付けられる方法。
【請求項１４】
第１のカメラ（１０１ａ）によって記録された第１の画像（Ｉ１）からのデータ（Ｄ１’）と第２のカメラ（１０１ｂ）によって記録された第２の画像（Ｉ２）からのデータ（Ｄ１”）とに基づいてステレオ画像（ＩＳ）を生成するステップと、前記第１及び第２の画像（Ｉ１，Ｉ２）が特定の時点に記録されることとによって特徴付けられる、請求項１３に記載の方法。
【請求項１５】
前記エリア（１００）の静止表面（Ｓ）上の時間的に変化する標高の推定値（ｅ１，ｅ２，ｅ３，ｅ４）を表現する前記ステレオ画像（ＩＳ）によって特徴付けられる、請求項１４に記載の方法。
【請求項１６】
前記エリア（１００）内に物体（ｐｉ，ｐｊ，Ｂ）が存在しない場合に記録された画像登録手段（１０１，１０２，１０３，１０４）からのデータ（Ｄ１，Ｄ２，Ｄ３，Ｄ４）に基づいて前記エリア（１００）の初期バックグラウンドモデル（Ｍ’Ｂ）を生成するステップによって特徴付けられる、請求項１５に記載の方法。
【請求項１７】
前記ステレオ画像（ＩＳ）において、
前記第１の画像（Ｉ１）内で前記表面（Ｓ）の特定のセグメントを表現していると推定される画像点に基づく各画像点が、前記特定のセグメントを表現していると推定される前記第２の画像（Ｉ２）内の画像点と同じ画像点に投影され、
前記表面（Ｓ）より上にある物体を表現していると推定される前記第１及び第２の画像（Ｉ１，Ｉ２）内の画像点が、前記表面（Ｓ）に対する前記物体の高度に依存する程度で、互いに少なくとも横へ平行移動させられるように、
前記第１及び第２の画像（Ｉ１，Ｉ２）のうちの一方を、前記第１及び第２の画像（Ｉ１，Ｉ２）のうちのもう一方の表現と一致させるための変換を伴って前記ステレオ画像（ＩＳ）を生成するステップによって特徴付けられる、請求項１６に記載の方法。
【請求項１８】
前記初期バックグラウンドモデル（Ｍ’Ｂ）に基づいて前記表面（Ｓ）を表現する画像点の推定値を決定するステップによって特徴付けられる、請求項１７に記載の方法。
【請求項１９】
前記ステレオ画像（ＩＳ）に基づいて、前記エリア（１００）内の前記物体（ｐｉ，ｐｊ）に関する候補位置（ｘ，ｙ）のそれぞれの確率関数（Ｐ（ｐ１），Ｐ（ｐ２），Ｐ（ｐ３），Ｐ（ｐ４），Ｐ（ｐ５））を表現する密度マップ（Ａ）を生成するステップによって特徴付けられる、請求項１３〜１８のいずれか一項に記載の方法。
【請求項２０】
前記確率関数（Ｐ（ｐ１），Ｐ（ｐ２），Ｐ（ｐ３），Ｐ（ｐ４），Ｐ（ｐ５））に基づいて前記物体（ｐｉ，ｐｊ）の位置（ｐｉ，ｊ（ｘ，ｙ））を区別するステップによって特徴付けられる、請求項１９に記載の方法。
【請求項２１】
前のバックグラウンドモデル（Ｍ’Ｂ）と前記物体（ｐｉ，ｐｊ，Ｂ）の区別された位置（ｐｉ，ｊ（ｘ，ｙ））とに基づいて、更新されたバックグラウンドモデル（Ｍ”Ｂ）を決定するステップと、
前記更新されたバックグラウンドモデル（Ｍ”Ｂ）に基づいて前記表面（Ｓ）を表現する画像点の更新された推定値を決定するステップと、
を繰り返し的に備えることによって特徴付けられる、請求項２０に記載の方法。
【請求項２２】
前記エリア（１００）が競技場であり、前記物体（ｐｉ，ｐｊ，Ｂ）が前記競技場で行われるスポーツイベントに参加している選手を含むことによって特徴付けられる、請求項１３〜２１のいずれか一項に記載の方法。
【請求項２３】
前記スポーツイベントが少なくとも１個のボール（Ｂ）の使用を伴う球技であり、前記物体（ｐｉ，ｐｊ，Ｂ）が前記少なくとも１個のボール（Ｂ）を含むことによって特徴付けられる、請求項２２に記載の方法。
【請求項２４】
前記複数の物体（ｐｉ，ｐｊ，Ｂ）に関係がある少なくとも一つのタイプの統計値及び／又は系統的な数量情報を記述する少なくとも１個のデータ信号をリアルタイムで発生し、前記少なくとも１個のデータ信号が、現時点より先行する時間の間に決定された前記複数の物体（ｐｉ，ｐｊ，Ｂ）の位置（ｐｉ，ｊ（ｘ，ｙ））に基づいていることによって特徴付けられる、請求項１３〜２３のいずれか一項に記載の方法。
【請求項２５】
前記プログラムがコンピュータ上で実行されるときに、請求項１３〜２４のいずれか一項に記載のステップを実行するソフトウェアを備える、デジタルコンピュータの内部メモリに直接的にロード可能なコンピュータプログラム。
【請求項２６】
コンピュータに請求項１３〜２４のいずれか一項に記載のステップを実行させるプログラムが記録された、コンピュータ読み取り可能な媒体（５６０）。
【発明の詳細な説明】
【発明の背景と従来技術】
【０００１】
本発明は、一般に、複雑なシーンにおける画像に基づく運動追跡に関する。より詳細には、本発明は、請求項１のプリアンブルによる装置、及び、請求項１３のプレアンブルによる対応した方法に関する。本発明は、請求項２４によるコンピュータプログラム、及び、請求項２６によるコンピュータ読み取り可能な媒体にさらに関する。
【０００２】
最新の画像処理テクノロジーは、複雑なシーンからのデータの高度なリアルタイム抽出を可能にしている。例えば、異なるタイプの車両が、ビデオカメラによって記録された画像に基づいて自動的に識別され、追跡される。国際公開公報第９６／１３０２３号は、道路通行料金所のような制御ステーションでの車両の識別用装置について記載する。この場合、特殊な照明装置の明かりで少なくとも１台のビデオカメラが車両プロファイルを登録する。
【０００３】
さらに、個体が適切な画像処理機器とつながれたカメラを用いて自動的に追跡される。文献米国特許第６，３４９，６４７号は、マルチカメラ監視システムの範囲内の異なるカメラの視野の間で目標物体を追跡する能力を備えた、自動カメラハンドオフシステムを開示する。その結果、第２のカメラは、目標物体が第１のカメラの視野から離れ、第２のカメラの視野へ入ったと推定されるときに、画像を生成する責任を継承する。
【０００４】
その他のアプリケーションでは、代わりに、２台以上のカメラを用いて全く同一のシーンの画像を登録することに関連することがある。スポーツイベントは、異なる視野角がゲームのイベントに応じて関心を引くので、このような例の一つとなる。したがって、第１のカメラから第２のカメラへの切り換えが、たとえ、第１のカメラもまた特殊なイベントを登録するとしても、望ましいことがある。国際公開公報第０３／０５６８０９号は、サッカー競技場内を走るサッカー選手のような運動選手の運動をリアルタイム監視するシステムについて記載する。このシステムは、複数台のカメラのうち、競技場である特定のイベントの撮影を実行するため最も良い位置に合わされたカメラを自動的に決定する。よって、システムは、サッカー試合又は類似したゲームのテレビジョン記録／伝送を担うプロシージャを支援する。
【０００５】
それにもかかわらず、多くのスポーツでは、個々のスポーツ参加者によって行われる行動に関して、種々のタイプの統計値及び系統的な数量データ編集物を生成することもまた興味深い。例えば、サッカー、フットボール、バスケットボール、バレーボール、ホッケー、及び、テニスのようなゲームでは、カバーされるコートの範囲、総移動距離、ピークランニング速度、平均ランニング速度、ボールの支配時間、競技場に対する及び／又はその他の選手に対する特定選手の空間分布を決定することが望ましい。文献米国特許第５，３６３，２９７号は、このようなデータレコードを生成する自動カメラに基づく追跡システムを開示する。この場合、好ましくは、互いにおおよそ直交して位置合わせされた２台のカメラ（例えば、競技場の上からの視界を撮影する第１のカメラと、競技場の側面からの視界を撮影する第２のカメラ）が使用される。すなわち、それによって、陰になる危険性、及び、オクルージョン／重なり合うシルエットを伴う状況が最小限に抑えられる。
【０００６】
しかし、多くの場合に、サッカーのような屋外スポーツにおいて、頭上カメラを使用することは決して可能ではないか、又は、実際的ではない。さらに、屋外競技場は比較的広く、及び／又は、照明条件がこの場合に問題となる。その結果として、２台の直交配置された側方視界カメラは、通常は、十分な精度で個々の選手を追跡するために必要な画像解像度、又は、品質を提供する能力がない。所要解像度は、各選手及びボールが手動によるオペレータ介入によって特定の識別情報を割り当てられるならば、実質的に緩和される。さらに、長距離と、ことによると複雑な照明条件とに依存して、このタイプのシステムは、屋外アプリケーションにおいて、比較的直ぐに一人以上の選手及びボールを見失う可能性が高い。当然ながら、選手に取り付けられたトランスミッタ／レシーバを含む多種多様な独立した遠隔計測システムがカメラを補助するため利用される。それにもかかわらず、このような解決策は、次に、選手の不自由さを含む他の問題と結び付けられるので、特に望ましくない。
【発明の概要】
【０００７】
したがって、本発明の目的は、上記の問題を解決し、よって、所与のエリア内の複数の物体のそれぞれによって行われる運動を追跡する、確実かつ効率的な、画像に基づくソリューションを提供することである。
【０００８】
発明の一態様によれば、上記目的は、少なくとも一つの画像登録手段が、第１のカメラが第２のカメラから基準距離によって隔てられた、カメラのステレオペアを含む、冒頭に記載された装置によって達成される。第１のカメラ及び第２のカメラは、第１のカメラの第１の像平面が第２のカメラの第２の像平面によって登録されるエリアの一部分に実質的に重なるエリアの一部分を登録するように、基本的に平行であり、エリアの方へ向けられる。
【０００９】
本設計戦略によって獲得される重要な利点は、比較的高い解像度が適度な量のリソースによって達成されることである。その上、カメラの複数のステレオペアが利用されるならば、たとえ、物体が短時間の間に互いに覆い隠すとしても、確実な追跡が実現される。
【００１０】
発明の本態様の好ましい実施形態によれば、データ処理ユニットは、第１のカメラによって記録された第１の画像からのデータ及び第２のカメラによって記録された第２の画像からのデータに基づいてステレオ画像を生成するようになっているステレオモジュールを含む。第１の画像と第２の画像は共に特定の時点に記録されると仮定される。その結果、ステレオモジュールは、２枚の画像からの情報を、特定の物体の位置のような、上位レベル結論のため適した表現に合成する。好ましくは、ステレオ画像は、エリアの静止表面上の時間的に変化する標高の推定値を表現する。
【００１１】
発明の本態様の別の好ましい実施形態によれば、データ処理ユニットは、エリア内に物体が存在しないときに記録された画像登録手段からのデータに基づいてエリアの初期バックグラウンドモデルを生成するようになっているシーン初期化モジュールを含む。したがって、バックグラウンドモデルを用いて、移動物体、例えば、個体とボールは、本質的に静止した物体、例えば、競技場と、観客のための様々なスタンド及びプラットフォームとから区別される。
【００１２】
発明の本態様のさらに別の好ましい実施形態によれば、ステレオモジュールは、第１の画像と第２の画像のうちの一方を、第１の画像と第２の画像のうちのもう一方と一致させるための変換を伴うプロシージャを用いて、ステレオ画像を生成するようになっている。特に、この変換は、ステレオ画像において、第１の画像内で表面の特定のセグメントを表現していると推定される画像点に基づく各画像点が、特定のセグメントを表現していると推定される第２の画像内の画像点と同じ画像点に投影されるという結果を生じる。さらに、変換は、ステレオ画像において、表面より上の物体を表現していると推定される第１の画像及び第２の画像内の画像点が互いに少なくとも横へ平行移動させられるという結果を生じる。この場合の平行移動の度合いは表面に対する物体の高度に依存する。この表現は、移動物体、例えば、選手及びボールの区別を容易化するので有利である。
【００１３】
発明の本態様のさらに別の好ましい実施形態によれば、データ処理ユニットは、表面を表現する画像点がどれであるかについての推定値を決定するようになっている第１の情報抽出モジュールを含む。初期バックグラウンドモデルはこの決定のための入力データとして役立つ。
【００１４】
発明の本態様の別の好ましい実施形態によれば、データ処理ユニットは、ステレオ画像に基づいて密度マップを生成するようになっている密度モジュールを含む。密度マップは、エリア内の物体に関する候補位置の各確率関数を表現する。したがって、確率関数を調べることにより、各物体に関する位置が推定される。好ましくは、データ処理ユニット内の第２の情報抽出モジュールはこの演算を実行する。第２のモジュールは、確率関数に基づいて物体の位置を区別するようになっている。
【００１５】
発明の本態様のさらに別の好ましい実施形態によれば、第１の情報抽出モジュールは、前のバックグラウンドモデルと物体の区別された位置とに基づいて、更新されたバックグラウンドモデルを（例えば、一つおきのビデオフレームの後に）繰り返し決定するようになっている。第１の情報抽出モジュールは、更新されたバックグラウンドモデルに基づいて、表面を表現する画像位置がどれであるかについての更新された推定値を（例えば、一つおきのビデオフレームの後に）繰り返し決定するようになっている。このような更新は、それによって、高い追跡信頼性が維持されるので望ましい。通常は、エリア内で起こるイベントに基本的に無相関である照明条件及びその他の環境パラメータが長時間の間に変化する。したがって、バックグラウンドモデルは、移動物体の持続する正確な区別を可能にさせるため、更新される必要がある。
【００１６】
発明の本態様のその他の好ましい実施形態によれば、エリアは競技場であり、物体には、競技場で行われているスポーツイベント、例えば、球技に参加している選手が含まれる。したがって、物体には少なくとも１個のボールもまた含まれる。よって、選手とボールは試合中に追跡され、その結果、種々のタイプの統計値及び系統的な数量データ編集物が生成され得る。例えば、各選手に関して、以下のパラメータ、すなわち、カバーされるコートの範囲、総移動距離、ピークランニング時間、平均ランニング時間、ボールの支配時間、競技場に対する及び／又はその他の選手に対する空間分布が決定される。
【００１７】
発明の本態様のさらに別の好ましい実施形態では、データ処理ユニットは、複数の物体に関する少なくとも一つのタイプの統計値及び／又は系統的な数量情報を記述する、少なくとも１個のデータ信号をリアルタイムで発生するようになっている。少なくとも１個のデータ信号は、現時点より先行する時間の間に決定された物体の位置に基づいている。よって、例えば、球技における個々の選手の成果についての現在の統計値が生放送で、すなわち、進行中の試合の間にテレビ視聴者へ提示される。
【００１８】
発明の別の態様によれば、発明の目的は、データの少なくとも一部がエリアの画像のステレオペアを用いて登録される、冒頭に記載された方法によって達成される。これらの画像の像平面は、第１の像平面が第２の像平面によって登録されるエリアの一部分に実質的に重なるエリアの一部分を登録するように、基本的に平行である。さらに、第１の像平面及び第２の像平面は互いに基準距離によって隔てられる。
【００１９】
この方法の利点は、この方法の好ましい実施形態の利点と共に、提案された装置に関する以下の説明から明白である。
【００２０】
発明の別の態様によれば、発明の目的は、プログラムがコンピュータ上で実行されるときに、前述の方法を制御するソフトウェアを備える、デジタルコンピュータの内部メモリに直接的にロード可能なコンピュータプログラムによって達成される。
【００２１】
発明のさらに別の態様によれば、発明の目的は、コンピュータに前述の方法を実行させるプログラムが記録された、コンピュータ読み取り可能な媒体によって達成される。
【００２２】
本発明のさらなる利点、有利な特長、及び、応用は、以下の説明から明白である。
【００２３】
以下、本発明を、例として開示された好ましい実施形態を用いて、かつ、添付図面を参照して、より詳細に説明する。
【発明の好ましい実施形態の説明】
【００２４】
図１は、本発明の一実施形態により、複数の（好ましくは、ビデオカメラを含む）画像登録手段が周囲に配置されたサッカー競技場の形をしたエリア１００を示す。特に、この場合、４対のステレオペア１０１、１０２、１０３及び１０４にそれぞれ編成された８台のカメラが使用される。第１のステレオペア１０１は、第１のカメラ１０１ａ及び第２のカメラ１０１ｂを含み、エリア１００の第１のコーナーに近接して位置合わせされる。エリア１００が平均的なサッカー競技場のサイズ（すなわち、約９０〜１２０ｍの長さと約４５〜９０ｍの幅）を有するならば、カメラのステレオペア１０１、１０２、１０３、１０４のそれぞれは、好ましくは、このエリアから約３０ｍの位置、かつ、地面から約２５ｍ上方に設置される。さらに、発明によれば、特定のステレオペアのカメラ、例えば、カメラ１０１ａ及び１０１ｂは、互いに特定の距離で隔てられる。この分離距離は、一般に、基準距離と呼ばれ、好ましくは、約１０ｍである。
【００２５】
第１のカメラ１０１ａ及び第２のカメラ１０１ｂは、エリア１００の実質的に重なる部分を登録するように、基本的に平行であり、エリア１００へある角度を付けて向けられる。図１においてわかるように、第１のステレオペア中の第１のカメラ１０１ａは、エリア１００のおおよそ半分をカバーする第１の視野Ｖ１１を有し、第１のステレオペア中の第２のカメラ１０１ｂは、エリア１００の殆ど同じ半分をカバーする第２の視野Ｖ１２を有する。しかし、エリア１００内の各物体ｐｉ、ｐｊ及びＢに対する特定の角度は、第２のカメラ１０１ｂによって登録された画像と第１のカメラ１０１ａによって登録された画像との間で僅かに異なる。同様に、第２の画像登録手段１０２、第３の画像登録手段１０３及び第４の画像登録手段１０４のステレオペア中の個々のカメラは、それぞれ、図１に概略的に示されているように、視界Ｖ２１とＶ２２、Ｖ３１とＶ３２、及び、Ｖ４１とＶ４２を有する。ここで明らかにされた構成において、視野Ｖ１１、Ｖ１２、Ｖ２１、Ｖ２２、Ｖ３１、Ｖ３２、Ｖ４１及びＶ４２の所望の重なりは、カメラが従来型のテレビカメラであるならば、達成される。
【００２６】
画像登録手段１０１、１０２、１０３及び１０４は、エリア１００の範囲内で起こるイベントのそれぞれの画像データＤ１、Ｄ２、Ｄ３及びＤ４を繰り返して、かつ、同時に記録する。よって、データＤ１、Ｄ２、Ｄ３及びＤ４は、これらのイベントの複数の同時表現を構成する。データＤ１、Ｄ２、Ｄ３及びＤ４は、各物体ｐｉ、ｐｊ及びＢのそれぞれの位置を繰り返して決定するために適合したデータ処理ユニット１１０へ送信される。例えば、第１の物体ｐｉの組はホームチームの選手を含み、第２の物体ｐｊの組はビジターチームの選手を含み、第３の物体Ｂはボールである。何れにしても、発明によれば、各物体ｐｉ、ｐｊ及びＢは、データＤ１、Ｄ２、Ｄ３及びＤ４に基づいて自動的に追跡される。
【００２７】
画像登録手段１０１、１０２、１０３及び１０４からの出力データＤ１、Ｄ２、Ｄ３及びＤ４に関する画像解像度要件（すなわち、本質的にデータの量）を緩和するため、固有識別情報が、好ましくは、例えば、試合を開始する前に、各物体ｐｉ、ｐｊ及びＢに手動で割り当てられる。これは、システムが選手の着衣（又は、外見）の番号（又は、その他の特徴的な外観）を識別する能力を備える必要がないことを意味する。その代わりに、システムが各物体の一貫した追跡を維持することができるならば十分である。理論的には、物体毎に１ピクセルのオーダーの画像解像度はこのような追跡を達成するために十分である。しかし、実際には、多くの場合により高い解像度がロバスト性の理由のため望まれる。当然ながら、識別情報の割り当ては、試合の途中の間に、例えば、中断と関連した、いわゆるパイルアップ後に、及び、一人以上の選手が一人以上のその他の選手と交替させられたとき、時折更新されることがさらに必要である。
【００２８】
図２は、発明の一実施形態による、幾つかの画像登録手段１０１、１０２、１０３及び１０４が、エリア１００に対して位置合わせされる方法の別の例を示す。ここでは、第１の画像登録手段及び第２の画像登録手段（典型的にビデオカメラを含む）１０１及び１０２は、それぞれ、カメラの２対のステレオペアの視野Ｖ１１、Ｖ１２及びＶ２１、Ｖ２２が扇形状に重なるように、エリア１００の第１のコーナーに近接して設置される。ここで、各カメラは、前述の第１の例よりやや広いエリア１００の部分をカバーしなければならないので、カメラに僅かにより広角のレンズを装備することが好ましい。それにもかかわらず、十分なエリアカバレッジを保証し、第１の例と同じ追跡信頼性を達成するため、第３の画像登録手段１０３及び第４の画像登録手段１０４が、それぞれ、第１のコーナーの反対側にあるエリア１００のコーナーに近接して設置される。これらの２対のステレオペアの視野Ｖ３１、Ｖ３２及びＶ４１、Ｖ４２もまた図２に示されるように扇形状に重なる。好ましくは、カメラ１０１、１０２及び１０３、１０４のそれぞれで各グループにおける画像登録手段は、（図２に示されているように）インターリーブ型ステレオペアとなって配置されるので、第１のペア中のカメラの一方は第２のペア中のカメラの間に配置される。さらに、各グループ中の異なるステレオペアは、（視野の扇形状パターンが得られるように）エリア１００へ向かって僅かに異なる角度を有する。
【００２９】
図３は、発明の一実施形態による物理点ｐの画像がカメラのステレオペアの像平面３１０及び３２０上に投影される方法を概略的に示す。これは、両方のカメラが同じ焦点距離を有し、互いに平行する像平面及び光軸を有し、像平面が相対的に基準距離ｄＢだけシフトされた、標準的なカメラ構成の例である。カメラと記録された物体との間の角度が比較的小さく、したがって、第１の像平面３１０が第２の像平面３２０によって登録されたエリア１００の一部と実質的に重なるエリア１００の一部を登録するように、基準距離ｄＢは比較的短い。これは、両方のカメラによって見ることができる位置にあるエリア１００内の物理点ｐが、第１の像平面３１０及び第２の像平面３２０のそれぞれにおいて異なる画像点ｐ’１及びｐ’２に投影されることを意味する。点ｐが原点ＯＷに関するワールド座標系ＸＷ、ＹＷ、ＺＷにおいてある物理座標を有すると仮定するならば、点ｐは、第１の２Ｄ座標系Ｘｆ１、Ｙｆ１に関して表現された座標を有する第１の像平面３１０内の第１の画像点ｐ’１に投影される。同様に、点ｐは、第２の２Ｄ座標系Ｘｆ２、Ｙｆ２に関して表現された座標を有する第２の像平面３２０内の第２の画像点ｐ’２に投影される。第１の像平面３１０は、次に、座標系Ｘｃ１、Ｙｃ１、Ｚｃ１内に第１の焦点Ｏｃ１を有する。同様に、第２の像平面３２０は、座標系Ｘｃ２、Ｙｃ２、Ｚｃ２内に第２の焦点Ｏｃ２を有する。図示された標準的な構成では、基準距離ｄＢは、これらの座標系のそれぞれの一方の座標軸Ｙｃ１及びＹｃ２だけに沿うシフトを表現する。
【００３０】
図４ａは、前述の図３中の３１０のような画像のステレオペアの第１の像平面によって登録される第１の画像Ｉ１の例を示す。第１の画像Ｉ１は、サッカー競技場などのような表面Ｓ上で互いに比較的接近して位置している５個の異なる個体ｐ１、ｐ２、ｐ３、ｐ４及びｐ５を含む。第５の個体ｐ５は、ここでは、第４の個体ｐ４によってほぼ完全に隠されていることに気付く。
【００３１】
図４ｂは、例示の目的のため、前述の図３中の３２０のような画像のステレオペアの第２の像平面によって登録された画像が僅かに変換された画像を表現する第２の画像Ｉ２の例を示す。像平面３２０内に記録された実際の画像データに対して第２の画像Ｉ２において示された変換は、線形であり、表面Ｓを表現していると推定される全画像点が画像Ｉ１と画像Ｉ２の両方において同じ座標Ｘｆ１、Ｙｆ１及びＸｆ２、Ｙｆ２に投影されるように（すなわち、Ｘｆ１＝Ｘｆ１及びＹｆ１＝Ｙｆ１であるように）実行される。しかし、画像Ｉ１及びＩ２は、僅かに異なる角度から撮影されるが、表面より上で物体を表現していると推定される画像点は、この変換のため、第１の画像Ｉ１に関して、第２の画像Ｉ２内で少なくとも横へ平行移動させられる。換言すると、個体ｐ１、ｐ２、ｐ３、ｐ４及びｐ５は、画像Ｉ１及び画像Ｉ２内で異なる方向に「傾く」ように見えるが、足は同じ地点に置かれている。このことは、個体が位置しているフィールドが変換面として選択されているならば成り立つ。しかし、本発明によれば、その他の変換面、例えば、各個体を貫く垂直方向もまた選択される。
【００３２】
第１の画像と同じ時点で記録された第２の画像Ｉ２においてわかるように、第５の個体ｐ５が第４の個体ｐ４によって隠されている程度は第１の画像Ｉ１よりも少ない。このことは、良好な追跡可能性を保証する。カメラのステレオペアが互いに関して、かつ、エリア１００に関して適切に配置されるならば、この種の分離が通常は生じ、すなわち、第１の画像Ｉ１内の１個以上のオクルージョンが第２の画像Ｉ２内で解決され、逆もまた同様である。
【００３３】
好ましくは、本発明の一実施形態によれば、図４ｂを参照して説明された変換は、実際には、図５ｂを参照して以下で説明されるように、ステレオ画像ＩＳの生成と関連して行われる。
【００３４】
ステレオ画像ＩＳは、ステレオペア内の第１のカメラによって記録された第１の画像、例えば、Ｉ１からのデータと、第２のカメラによって記録された第２の画像、例えば、Ｉ２からのデータとに基づいて生成される。第１の画像Ｉ１及び第２の画像Ｉ２は特定の時点に記録される。
【００３５】
ステレオ画像ＩＳは、静止表面Ｓの一部分ではなく、エリア１００内での位置が時間と共に変化する物体（すなわち、移動物体）を記述する画像要素の推定値ｅ１、ｅ２、ｅ３及びｅ４を表現する。特に、ステレオ画像ＩＳの生成は、ステレオ画像ＩＳにおいて、第１の画像Ｉ１内で表面Ｓの特定のセグメントを表現すると推定される画像点に基づく各画像点が、特定のセグメントを表現すると推定される第２の画像Ｉ２内の画像点と同じ画像点に投影されるように、第１の画像Ｉ１と第２の画像Ｉ２の一方を、第１の画像Ｉ１と第２の画像Ｉ２のもう一方の表現と一致させるための変換を伴う。この変換のさらなる結果として、表面Ｓより上にある物体を表現していると推定される第１の画像Ｉ１及び第２の画像Ｉ２における画像点は、互いに少なくとも横へ平行移動させられる。この場合、変換の度合いは、表面Ｓに対する物体の高度に依存する。その結果、（直立しているサッカー選手のような）基本的に縦方向に延び、垂直方向に方向付けられた物体は、ステレオ画像ＩＳ内では、おおよそ反転された円錐状の形状によって表現される。
【００３６】
表面Ｓを表現する画像点がどれであるかを正確に推定することを可能にさせるため、本発明の好ましい実施形態によれば、バックグラウンドモデルが生成される。エリア１００の初期バックグラウンドモデルは、エリア１００内に物体ｐｉ、ｐｊ及びＢが存在しないときに記録された、画像登録手段１０１、１０２、１０３及び１０４からのデータＤ１、Ｄ２、Ｄ３及びＤ４に基づいている。したがって、表面Ｓを表現する画像点の最初の推定値は初期バックグラウンドモデルに基づく。その後、更新されたバックグラウンドモデルが物体ｐｉ、ｐｊ及びＢの区別された位置と組み合わせて前のバックグラウンドモデルに基づいて繰り返し決定される。更新されたバックグラウンドモデルに基づいて、今度は、表面Ｓを表現する画像点の更新された推定値が決定される。
【００３７】
図６は、本発明の一実施形態による密度画像Ａが図５のステレオ画像ＩＳに基づいて生成される方法を図示する。密度マップＡは、エリア１００内の物体ｐ１、ｐ２、ｐ３、ｐ４及びｐ５の候補位置についてのそれぞれの確率関数Ｐ（ｐ１）、Ｐ（ｐ２）、Ｐ（ｐ３）、Ｐ（ｐ４）及びＰ（ｐ５）を表現する。確率関数Ｐ（ｐ１）、Ｐ（ｐ２）、Ｐ（ｐ３）、Ｐ（ｐ４）及びＰ（ｐ５）は、今度は、ステレオ画像ＩＳの標高推定値ｅ１、ｅ２、ｅ３及びｅ４から導出される。本発明の一実施形態によれば、位置は、確率関数Ｐ（ｐ１）、Ｐ（ｐ２）、Ｐ（ｐ３）、Ｐ（ｐ４）及びＰ（ｐ５）に基づいて、エリアＡ内の各物体ｐ１、ｐ２、ｐ３、ｐ４及びｐ５に関して区別される。
【００３８】
当然ながら、一般的な場合に、物体の総数のうちの一部分だけが特定のカメラのステレオペアから見える。したがって、２台以上の画像登録手段から得られた情報は、エリア１００内に位置するすべての物体の位置を確定するためにデータ処理ユニット１１０（図１を参照せよ）に集められるべきである。
【００３９】
図７は、特定のエリア内の複数の物体のそれぞれによって行われる運動を追跡するようになっている、本発明の一実施形態による装置のブロック図を示す。図示された装置は、カメラ１０１ａ及び１０１ｂのステレオペアを含む画像登録手段と、データ処理ユニット１１０とを含む。説明を明瞭にするため、図７は、単一の画像データ処理回路だけを示す。しかし、本発明によれば、データ処理ユニット１１０は、好ましくは、例えば、図１及び２に示されているように、複数のステレオ画像ペアからの画像データを処理するようになっている。
【００４０】
画像登録手段内の第１のカメラ１０１ａは、エリア内で生じるイベントの表現に関係があるデータＤ１’を繰り返し記録し、画像登録手段内の第２のカメラ１０１ｂは、第１のカメラと同時に、しかし、（第１のカメラ１０１ａまでの基準距離と、登録された物体までの距離とによって与えられる）僅かに異なる角度で、これらのイベントに関係があるデータＤ１”をさらに記録する。何れの場合も、第１のカメラ１０１ａ及び第２のカメラ１０１ｂは、第１のカメラ１０１ａの第１の像平面が第２のカメラ１０１ｂの第２の像平面によって登録されるエリアの一部分と実質的に重なるエリアの一部分を登録するように、基本的に平行であり、エリアの方へ向けられる。
【００４１】
データ処理ユニット１１０は、カメラ１０１ａ及び１０１ｂからそれぞれデータＤ１’及びＤ１”を受け取る。特に、本発明の好ましい実施形態によれば、データ処理ユニット１１０内のシーン初期化モジュール７３０は、エリア内に物体が存在しない場合のデータＤ１’及びＤ１”を受け取る。このデータＤ１’及びＤ１”に基づいて、シーン初期化モジュール７３０は、エリアの初期バックグラウンドモデルＭ’Ｂを生成し、エリアの初期バックグラウンドモデルが、直接的に、又は、第１の情報抽出モジュール７４０を介して、記憶手段７４５へ送信される。
【００４２】
装置の定常状態動作では、カメラ１０１ａ及び１０１ｂからのデータＤ１’及びＤ１”は、データ処理ユニット１１０内のステレオモジュール７１０へも送信される。ステレオモジュール７１０は、データＤ１’及びＤ１”に基づいてステレオ画像ＩＳを生成する。前述のように、ステレオ画像ＩＳは、エリアの静止表面Ｓ上の時間的に変化する標高の推定値を表現する。
【００４３】
ステレオモジュール７１０は、ステレオ画像ＩＳにおいて、第１の画像Ｉ１内で表面Ｓの特定のセグメントを表現すると推定される画像点に基づく各画像点が、特定のセグメントを表現すると推定される第２の画像Ｉ２内の画像点と同じ画像点に投影されるように、第１の画像Ｉ１と第２の画像Ｉ２の一方を、第１の画像Ｉ１と第２の画像Ｉ２のもう一方の表現と一致させるための変換を伴うプロシージャを用いてステレオ画像ＩＳを生成する。さらに、この変換に起因して、表面Ｓより上にある物体を表現していると推定される第１の画像及び第２の画像内の画像点は、互いに少なくとも横に平行移動され、その平行移動の度合いは表面Ｓに対する物体の高度に依存する。
【００４４】
装置の定常状態動作では、第１の情報抽出モジュール７４０は、記憶手段７４５に格納された前のバックグラウンドモデルに基づいて、表面Ｓを表現する画像点の推定値を繰り返し決定する。したがって、第１の更新されたバックグラウンドモデルＭ”Ｂは初期バックグラウンドモデルＭ’Ｂに基づいている。好ましくは、第１の情報抽出モジュール７４０は、（記憶手段７４５に格納された）前のバックグラウンドモデルＭ’Ｂと、移動物体の区別された位置ｐｉ，ｊ（ｘ，ｙ）とに基づいて、更新されたバックグラウンドモデルＭ”Ｂを繰り返し決定する。モジュール７４０は、更新されたバックグラウンドモデルＭ”Ｂに基づいて、表面Ｓを表現する画像点の更新された推定値をさらに繰り返し決定する。
【００４５】
データ処理ユニット１１０内の密度モジュール７２０は、ステレオ画像ＩＳに基づいて密度マップＡを生成する。図５を参照して前述されたように、密度マップＡは、エリア内の移動物体に関する候補位置の確率関数を表現する。データ処理ユニット１１０内の第２の情報抽出モジュール７５０は、これらの確率関数に基づいて、移動物体の位置ｐｉ，ｊ（ｘ，ｙ）を区別する。
【００４６】
好ましくは、データ処理ユニット１１０は、長時間に亘って移動物体の区別された位置ｐｉ，ｊ（ｘ，ｙ）を蓄積するためにも適合している。すなわち、それによって、ユニット１１０は、物体の移動に関係がある異なるタイプの統計値及び系統的な数量情報を記述する種々のデータ信号を発生することができる。さらに好ましくは、データ処理ユニット１１０は、これらのデータ信号がリアルタイムで発生させられ得るような処理能力を有する。各データ信号は、現時点に先行する時間の間に決定された移動物体の位置に基づいている。したがって、例えば、球技における個々の選手の成果についての現在の（及び継続的に更新された）統計値が、生放送で、すなわち、進行中の試合の間に、テレビ視聴者へ提示される。
【００４７】
要約するため、本発明による特定のエリア内の複数の物体の運動を追跡する一般的な方法が今度は図８を参照して説明される。
【００４８】
第１のステップ８１０は、エリア内で発生するイベントの複数の同時表現に関係があるステレオ画像データを登録する。好ましくは、このデータは、２箇所以上のロケーションから、例えば、図１及び２にそれぞれ示されているような２又は４箇所から登録される。第２のステップ８２０は、登録されたステレオ画像データに基づいて各物体のそれぞれの位置を決定する。プロシージャは、次に、更新されたステレオ画像データを登録するステップ８１０へ戻る。
【００４９】
スポーツイベントの確実な追跡、したがって、高いデータ品質を達成するために、ステレオ画像データは比較的頻繁に、例えば、毎秒２５〜３０回のオーダーで更新されるべきである。
【００５０】
図８を参照して前述されたプロセスステップは、プログラムされたコンピュータ機器によって制御されてもよい。さらに、図面を参照して説明された本発明の実施形態は、コンピュータ機器と、コンピュータ機器内で実行されるプロセスとを備えるが、本発明は、このようにして、本発明を実現するようになっているコンピュータプログラム、特に、担体上又は担体内のコンピュータプログラムにも及ぶ。プログラムは、ソースコード、オブジェクトコード、コード中間ソース、及び、部分的にコンパイルされた形式のようなオブジェクトコードの形式でもよく、又は、本発明によるプロセスの実施に使用するため適するその他の形式でもよい。担体は、プログラムを搬送するどのようなエンティティ又はデバイスでもよい。例えば、担体は、フラッシュメモリ、ＣＤ（コンパクトディスク）若しくは半導体ＲＯＭなどのＲＯＭ（リードオンリーメモリ）、ＥＰＲＯＭ（消去可能型プログラマブルリードオンリーメモリ）、ＥＥＰＲＯＭ（電気的消去可能型プログラマブルリードオンリーメモリ）のような記憶媒体、又は、例えば、フレキシブルディスク若しくはハードディスクのような磁気記録媒体を備える。さらに、担体は、電気的又は光学的ケーブルによって、又は、無線若しくはその他の手段によって搬送される電気的又は光学的信号のような伝送可能な担体でもよい。プログラムが、ケーブル又はその他のデバイス若しくは手段によって直接的に搬送される信号に埋め込まれるとき、担体は、このようなケーブル又はデバイス又は手段によって構成される。代替的に、担体は、プログラムが埋め込まれ、関連したプロセスを実行するため、又は、関連したプロセスの実行に用いるため適合した集積回路でもよい。
【００５１】
本明細書において使用されたときの用語「備える／備えている」は、記載された機能、整数、ステップ又はコンポーネントの存在を指定するため利用されている。しかし、この用語は、１個以上の付加的な機能、整数、ステップ若しくはコンポーネント、又は、これらの群の存在又は追加を排除しない。
【００５２】
本発明は図面に記載された実施形態に限定されないが、請求項の範囲内で自由に変え得るものである。
【図面の簡単な説明】
【００５３】
【図１】本発明の一実施形態により、複数の画像登録手段がエリアに対して位置合わせされる方法の第１の例を示す。
【図２】本発明の一実施形態により、複数の画像登録手段がエリアに対して位置合わせされる方法の第２の例を示す。
【図３】本発明の一実施形態により、物理点がカメラのステレオペアの像平面に投影される方法を概略的に例示する。
【図４ａ】本発明の一実施形態により、カメラのステレオペアによって記録された第１の画像を一例として示す図である。
【図４ｂ】本発明の一実施形態により、カメラのステレオペアによって記録された第２の画像を一例として示す図である。
【図５】本発明の一実施形態により、ステレオ画像が図４ａ及び４ｂの第１の画像及び第２の画像に基づいて生成される方法を例示する。
【図６】本発明の一実施形態により、密度画像が図５のステレオ画像に基づいて生成される方法を例示する。
【図７】本発明の一実施形態による装置のブロック図を示す。
【図８】本発明による全体的な方法のフローチャートを示す。
【図１】
2008520016.tif 000003
【図２】
2008520016.tif 000004
【図３】
2008520016.tif 000005
【図４ａ】
2008520016.tif 000006
【図４ｂ】
2008520016.tif 000007
【図５】
2008520016.tif 000008
【図６】
2008520016.tif 000009
【図７】
2008520016.tif 000010
【図８】
2008520016.tif 000011
【国際調査報告】
2008520016.tif 000012
2008520016.tif 000013
2008520016.tif 000014
2008520016.tif 000015