(57)【特許請求の範囲】
【請求項１】
基準点に対する物体の相対位置を測定するための方法であって、
複数の画像を獲得するステップであって、前記画像がそれぞれ、前記基準点を表示するように適合されているステップと、
前記複数の獲得された画像の各画像を処理するステップと、
前記基準点に対する前記物体の前記相対位置を計算するステップと
を含み、各画像を処理する前記ステップがさらに、前記画像それぞれの内部で前記物体を認識して前記画像それぞれの内部での前記物体の位置を特定するステップを含み、前記物体を認識するステップが、分類器によって行われることを特徴とする方法。
【請求項２】
前記物体認識ステップが、前記画像それぞれを前処理するステップを含む請求項１に記載の方法。
【請求項３】
前記前処理ステップが、
前記画像それぞれの誤った肯定または誤った否定の測定に関連する難点を解析するステップと、
前記物体の探索領域を低減するように適合された前記画像それぞれの窓かけを行うステップと、
前記物体の識別情報を抽出するステップと
を含む請求項２に記載の方法。
【請求項４】
前記識別情報を抽出する前記ステップが、輪郭または領域解析に基づく技法によって行われる請求項３に記載の方法。
【請求項５】
前記分類器がＳＶＭタイプの技法に基づいている請求項１から請求項４までのいずれかに記載の方法。
【請求項６】
前記分類器がニューラル・ネットワーク・ベースのものである請求項１から請求項４までのいずれかに記載の方法。
【請求項７】
前記基準点に対する前記物体の前記相対位置を計算する前記ステップが、第１の定性タイプの意思決定システムによって行われる請求項１から請求項６までのいずれかに記載の方法。
【請求項８】
さらに、前記分類器を構成するように適合された、例を用いて訓練するステップを含む請求項１から請求項７までのいずれか一項に記載の方法。
【請求項９】
例を用いて訓練する前記ステップが、
複数の例示画像を撮影するステップと、
前記例示画像それぞれのヒストグラムを等化するステップと、
前記例示画像それぞれの誤った肯定または誤った否定の測定に関連する難点を量子化するステップと、
前記例示画像それぞれを前記分類器に提供するステップと
を含む請求項８に記載の方法。
【請求項１０】
前記複数の例示画像の各画像が、前記物体を含んでいる請求項９に記載の方法。
【請求項１１】
前記複数の例示画像の各画像が、前記基準点に対する前記物体の位置を映す請求項９に記載の方法。
【請求項１２】
さらに、前記基準点に対する前記物体の質量中心の３次元位置を測定するステップを含む請求項１−１１のいずれか一項に記載の方法。
【請求項１３】
前記測定ステップが、２つの観察点によって生成される視線の交点を計算するステップを含む請求項１２に記載の方法。
【請求項１４】
前記観察点それぞれに関して、前記視線の計算が、
第１の既知の３次元面（Γ）と画像面（Ｉi）上へのその投影像との間の第１の投影変換（ＨΓi）を推定するステップと、
第２の既知の３次元面（Π）と画像面（Ｉi）上へのその投影像との間の第２の投影変換（ＨΠi）を推定するステップと、
第１の投影変換（ＨΓi）によって、前記画像面（Ｉi）から前記既知の３次元面（Γ）への、前記物体の質量中心（Ｂ）の第１の投影像（ＢΓi）を推定するステップと、
第２の投影変換（ＨΠi）によって、前記画像面（Ｉi）から前記３次元面（Π）への、前記物体の質量中心（Ｂ）の第２の投影像（ＢΠi）を推定するステップと、
平面（Γ）との当該の交点と、面（Π）との当該の交点とから前記視線を推定するステップと
を含む請求項１３に記載の方法。
【請求項１５】
前記基準点に対する前記物体の前記相対位置を計算する前記ステップが、第２の計量タイプの意思決定システムによって行われる請求項１−１４のいずれか一項に記載の方法。
【請求項１６】
さらに、前記撮影された画像それぞれを格納するステップを含む請求項１−１５のいずれか一項に記載の方法。
【請求項１７】
基準点に対する物体の相対位置を測定するシステムであって、
１つまたは複数の画像獲得サブシステム（２、２’、２”、３、３’）であって、各サブシステムが、複数の画像を獲得するように適合され、前記画像がそれぞれ、前記基準点を表示する画像獲得サブシステム（２、２’、２”、３、３’）と、
前記獲得された画像を処理するためのユニット（４）と
を備え、前記処理ユニット（４）が、前記画像それぞれの内部で前記物体を認識して前記画像それぞれの内部での前記物体の位置を特定するための分類器を備えるシステム。
【請求項１８】
前記画像撮影サブシステムが、単眼タイプのサブシステム（２、２’、２”）である請求項１７に記載のシステム。
【請求項１９】
前記単眼サブシステム（２、２’、２”）が、単一の画像変換器（１１）を備える請求項１８に記載のシステム。
【請求項２０】
前記画像撮影サブシステムが、双眼タイプのサブシステム（３、３’）である請求項１７から請求項１９までのいずれか一項に記載のシステム。
【請求項２１】
双眼タイプのサブシステム（３、３’）が、２つの画像変換器（１１）を備える請求項２０に記載のシステム。
【請求項２２】
前記画像変換器がそれぞれ、カメラ（１１）である請求項１９から請求項２１までのいずれか一項に記載のシステム。
【請求項２３】
各カメラが、少なくとも５１２×５１２画素の解像度で少なくとも２６２画像／秒を撮影するように適合されている請求項２２に記載のシステム。
【請求項２４】
さらに、前記撮影された画像を格納するための手段（１２、１３；１２’、１３’）を備える請求項１７から請求項２３までのいずれか一項に記載のシステム。
【請求項２５】
画像撮影サブシステム（２、２’、２”、３、３’）がさらに、前記基準点に対する前記物体の前記相対位置を計算するように適合された計算手段（１４；１４’）を備える請求項１７から請求項２４までのいずれか一項に記載のシステム。
【請求項２６】
請求項１から請求項１６までのいずれか一項に記載の方法を実施するように適合された請求項１７から請求項２５までのいずれか一項に記載のシステム。
【請求項２７】
請求項１７から請求項２６までのいずれか一項に記載の、基準点に対する物体の相対位置を測定するためのシステムを備える競技場（１００）。
【発明の詳細な説明】
【０００１】
（詳細）
本発明は、所定の基準点に対する物体の相対位置を測定するためのシステムおよび方法に関する。
【０００２】
本発明によるシステムおよび方法の１つの例示的な適用例は、競技場の特定のラインに対するボールの相対位置を測定するものである。
【０００３】
いくつかのスポーツで、レフリーは、競技場の特定のラインに対するボールの相対位置に応じてイベントを確認する。例えば、サッカーで、レフリーは、ボールがゴール・ラインを越えたときにのみチームに得点を与える。
【０００４】
しかし、例えばネットの膨らみやゴール内に残っているボールによってゴールが明らかなときにのみ、レフリーは、自律的にゴールの得点を確認することができる。しかし、サッカー競技場上での一様でないリバウンド、ゴール・ポストとの接触、またはプレーヤーのクリアにより、ボールがゴール面を越え、ネットに触れずにすぐにゴール面から出ることも多い。
【０００５】
ボールの速度が過度に速くないとき（１２０Ｋｍ／ｈに達することもある）、レフリーは、対象のイベントを決定するために副審の助けを借りることができ、副審はしかし、理想的な観察状態をとっている、すなわちゴール・ライン上に位置し、視野にゴールが入っているべきである。そうでない場合、レフリーは、どちらかの決定をしなければならず、存在しない（錯覚の）得点ゴールを与える危険、または実際に得点したゴールを与えない危険がある。
【０００６】
この問題を解決するために、全て同じカテゴリーに関連するいくつかの知られているシステムは、ゴール構造内部に挿入されたセンサの使用を提供し、ボールがゴール・マウスを越えたときに、動いているボールに添付された送信機から信号を受信する。
【０００７】
しかし、そのようなシステムは、侵入性であるという明らかな欠点を伴い、電子デバイスをプレー構造（ゴールおよびボール）内に挿入する必要がある。したがって、これを使用するためには、競技場に対する全面的な修正および特定のボールの使用が必要である。これらのデバイスは、プレー構造に対して必要とされる修正がゲームのルールに干渉する可能性があるので、常に適用可能というわけではない。
【０００８】
さらに、既知の視覚タイプ・システムは、代りに、適切な位置にあるカメラによって競技場を観察することに依拠する。このシステムは、競技場の様々な領域の寸法に関する（推測的に知られている）情報を利用して、競技場面上へのボールの質量中心の垂直投影位置を求める。
【０００９】
しかし、このシステムは、ボールが所定のラインを越えたことを排他的に検出するという欠点を伴い、越えた際のボールの地上での高さに関する表示、ボールがゴール面を越えたことを確信をもって主張するために重要な情報を提供しない。
【００１０】
空間内の物体の位置を求めるための第１のシステムが、ＷＯ００／７２２６４によって知られている。そのようなシステムは、画像の領域をしきい値と比較することによって動作するいわゆるクロマキー・システムによって、画像内での物体の識別を提供する。
別のシステムがＥＰ０６６２６００で開示されている。そこでは、物体の絶対空間位置を求めるためのシステムが提供される。
それにもかかわらず、そのようなシステムはいくつかの欠点を有する。特に、このシステムは、所定の方向で単一の面上で移動する物体の位置を求めることしかできない。
さらに、獲得された画像内での物体の認識は、固定しきい値と比較することによってのみ行われ、環境条件に依存する結果をもたらす。
本発明の目的は、既知の技術の上述した問題を解決するために、基準点に対する物体の相対位置を測定するための方法であって、
複数の画像を獲得するステップであって、前記画像がそれぞれ、前記基準点を表示するように適合されているステップと、
前記複数の獲得された画像の各画像を処理するステップと、
前記基準点に対する前記物体の前記相対位置を計算するステップと
を含み、各画像を処理する前記ステップがさらに、前記画像それぞれの内部で前記物体を認識するステップを含み、前記物体を認識するステップが、分類器によって行われることを特徴とする方法を提供することである。
本発明はさらに、基準点に対する物体の相対位置を測定するためのシステムであって、
１つまたは複数の画像獲得サブシステムであって、各サブシステムが、複数の画像を獲得するように適合され、前記画像がそれぞれ、前記基準点を表示する画像獲得サブシステムと、
前記獲得された画像を処理するためのユニットと
を備え、前記処理ユニットが、前記画像それぞれの内部で前記物体を認識するための分類器を備えるシステムを提供する。
【００１１】
本発明はさらに、基準点に対する物体の相対位置を測定するためのシステムであって、
１つまたは複数の画像獲得サブシステムと、
前記獲得された画像を処理するためのユニットと
を備えるシステムを提供する。
【００１２】
したがって、そのようなシステムを備える競技場を提供することが有利である。
【００１３】
簡単にするために、本明細書では以後、サッカーにおいてシステムを適用する場合を参照する。当然、説明するシステムおよび方法が、同じ技術的問題を伴う任意の他の適用例でも有用であることを理解されたい。
【００１４】
本発明による方法およびシステムの主な利点は、競技場の任意の構成要素、またはボールに対する修正を伴わないということにある。
【００１５】
第２の利点は、得点記録されるゴール・イベントを確固として、信頼性高く検出することにある。前記方法は、（双眼システムによって得られる）３次元空間でのボールの位置の幾何学測定値を、（単眼システムによって得られる）観察されたイベントの定性評価に統合し、それにより最良の観察状態をとる観察者の活動を模倣する。前記システムによって提供される測定値の統合は、例えば１人または複数人のプレーヤーによる部分的なボール妨害の状況を含めた任意の状況での高い精度および最小の誤差確率を保証する。
【００１６】
第３の利点は、この方法が３次元座標を提供するので、基準点に対する物体の位置に関する情報の完全性にある。
【００１７】
第４の利点は、本発明によるシステムが、画像獲得のために、一般的なカメラおよび人の目に勝る性能の高速デジタル・カメラを使用することにある。
【００１８】
さらなる利点は、カメラの有利な位置決め、および観察されるシーンの付随する獲得によって得られる、イベント自体の客観的なデジタル記録を提供することにある。この記録は、シーンを後で自由に見直すことができるようにし、高い時間解像度および同時マルチビジョンを有するデジタル・ビューワの場合に通常そうであるように、合図されるイベント（ゴール／ノーゴール）を確証する。
【００１９】
本発明のさらなる利点、特徴、および動作モードは、添付図面の図を参照して、限定を加えない例によって与えられる、好ましい実施形態の以下の詳細な説明によって明らかになろう。
【００２０】
はじめに図１を参照すると、本発明によるシステムの第１の実施形態が示されている。
【００２１】
この実施形態によれば、システム１は、選択された基準点、特にゴール領域を含む、対象となる競技場の一部分の画像を付随して獲得するように適合された１つまたは複数のサブシステム２、３を備える。
【００２２】
サブシステム２は、単一の位置から獲得される画像を処理するように適合された単眼タイプのものであり、サブシステム３は、２つの異なる位置から獲得される画像の対を処理するように適合された双眼タイプのものである。この２タイプのサブシステムの動作を、本明細書で以後詳述する。
【００２３】
単眼サブシステム２および双眼サブシステム３は、互いに独立しており、それぞれが、当該の視野にボールが入ったときにボールの位置に関連する情報データを提供するように適合されている。
【００２４】
これらのデータは、それらを互いに比較して最終結果５を計算する処理ユニット４に転送される。
【００２５】
次に、図２は、単眼タイプ・サブシステム２を示すブロック図である。
【００２６】
サブシステム２は、画像変換器１１、例えばカメラを備える。このカメラ１１は、毎秒あたり最大可能数の画像を獲得することができるカメラの中から選択すべきであり、それにより２つの連続画像間のボール移動Δｓを最小にする。実際には、カメラは、ボールが少なくともΔｓ／２に等しい距離だけゴール・ラインを越えたときにのみ、ゴール得点事象を確実に検出することができる。
【００２７】
一例として、５３６×５１６画素の解像度で２６２画像／秒の獲得を可能にする「Ｄａｌｓａ  Ｍｏｔｉｏｎ（登録商標）Ｖｉｓｉｏｎ  ｐｒｏｇｒｅｓｓｉｖｅ  Ｓｃａｎ  Ａｒｅａ」タイプのカメラ、特にＣＡ−Ｄ６  ０５１２モデルを使用すると、１２０Ｋｍ／ｈの仮想ボール速度に関して、サブシステム２は、ボールがゴール・ラインを６．５ｃｍ越えたときにゴール得点事象を確実に検出することができる。
【００２８】
カメラによって出力されるデータの形式はデジタル形式であり、標準のＥＬＡ−６４４に合う。すなわち、獲得された画像の格納および処理のための他の電子装置とインターフェースするように適合されている。特に、例えば１００００ｒｐｍのディスク（Ｓｅａｇａｔｅ（登録商標））を用いるＵｌｔｒａ  ２  ＳＣＳＩ技術に基づく高速格納手段１２が提供される。それにより、獲得された画像は全て、データベース１３に格納される。
【００２９】
獲得された画像は、特定の計算手段１４によって処理される。そのような計算手段１４は、例えば以下のような専用システムを備える。
−ＤＡＴＡＣＵＢＥ  ＭＡＸＰＣＩ（登録商標）。いくつかの構成要素（重畳器、ＡＬＵ、Ｗａｒｐｅｒなど）からなるアーキテクチャに基づき、７ｍｓで５１２×５１２×８ビット画像に対する８×８重畳ステップを行うことができる。
−ＭＡＴＲＯＸ  ＧＥＮＥＳＹＳ（登録商標）。ＴＩ  Ｃ８０  ＤＳＰマルチプロセッサ・アーキテクチャに基づき、１００Ｂｏｐｓ性能で、最大６カードの各カードに関して最大３つのプロセッサを提供する。
−ＡＬＡＣＲＯＮ  ＦＡＮＴＩＳＭＡＧＥ（登録商標）。５００Ｍｆｌｏｐ性能を可能にするＰＣＩマルチプロセッサ（最大８）ＴＲＩＭＥＤＩＡ  １×１００アーキテクチャ（Ｐｈｉｌｉｐｓ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に基づく。
【００３０】
必要な計算がかなりの量であるので、結果のリアルタイム取得のために同様のアーキテクチャが必要である。
【００３１】
図３は、単眼サブシステム２使用中の競技場１００に対するカメラＡの好ましい位置決め、およびカメラＡによって獲得される競技場１００の画像Ｖａを示す。
【００３２】
システム１のこの第１の実施形態によれば、単眼サブシステム２は、ボールがゴール面を越えることによって表されるゴール得点事象を自律的に検出するように適合された、ゴール・ライン面上でゴールの方向に位置する光軸をもつように位置決めされたカメラＡを備える。
【００３３】
当然、改善されたシステム性能を得るために、他の配置を提供することもできる。
【００３４】
本明細書で説明するような単眼サブシステム２の使用により、測定をせずに、いくつかの固定基準点に対する、各画像で観察されるボールの位置を単に参照することによって、カメラによって得られた視覚情報に従ってゴール得点事象を検出する定性タイプの方法を実施することができる。この文脈では、基準点は、ゴール構造によって提供される。したがって、ハードウェアおよびソフトウェア処理手段は、第１の定性タイプの意思決定システムを実装する。意思決定システムは、画像を入力されると、リアルタイムで、その画像が考慮しているイベントのインスタンスであるかどうかを示す信号を出力する。
【００３５】
単眼サブシステム２の第１の実施形態によれば、獲得された画像の処理は、以下の２つの不可欠なステップを含む。
−画像内部で対象ボールを認識するステップ、および
−所定の基準点に対してボールを位置特定するステップ
【００３６】
対象ボールの認識は、輪郭または領域解析に基づく物体認識技術によって行うことができる。
【００３７】
これらの方法は、当業者によく知られており、したがってそのさらなる詳細は省略する。特に、単眼サブシステムのこの第１の実施形態によれば、ＳＶＭ（サポート・ベクトル・マシン）と呼ばれる実例学習に基づく認識技術が使用された。
【００３８】
次に、図４ａおよび４ｂは、このために使用される例示画像のいくつかの組を示す。
【００３９】
ボール認識ステップは、同様の適用例で直面する場合がある様々な問題を解決するために行われる。
【００４０】
特に、環境条件（撮影された領域の光の強度および方向、影の存在）、撮影されたシーンの背景に対するボールの不明瞭性、および「誤った肯定」および／または「誤った否定」の測定に関連する難点が考慮され、克服される。
【００４１】
この問題は、以下のことを狙いとするソフトウェアタイプ処理を実施することによって実施的に行われる、獲得された画像それぞれの前処理によって対処され、解決される。
−各画像での物体の探索領域を縮小すること、および
−画像内部での物体の検出および位置特定に有用な物体の識別情報を抽出すること
【００４２】
上述した問題を解決するために、グレー・トーンの解析、連続画像間の相関、および先行画像の位置の周りの窓かけに作用する前処理モジュールが提供される。
【００４３】
本発明による方法は、各画像を２つのクラスの一方に、最小の生じ得る誤差で類別するように適合された、例えば２クラス（ボール／ボールなし）タイプの分類器を実装することを狙いとする、例を用いた訓練ステップを提供する。
【００４４】
この訓練ステップは、以下のステップを含む。
−複数の例示画像、そこから抽出される対象ボールの正および否の例を獲得するステップ。
−ヒストグラムの等化、そのどちらともいえないレベルの量子化、およびエッジ効果をなくすためのマスキングからなる、抽出された例それぞれを前処理するステップ。
−ＳＶＭタイプの技法によって分類器を訓練するステップ。
【００４５】
したがって、考慮されるイベントを検出するための方法は、以下のことを提供する。
−ゴール領域の画像を連続的に獲得すること。
−獲得された各画像に関して、ＳＶＭボール認識訓練ステップ中に使用される例の寸法に等しい寸法を有する全ての実行可能なサブ画像を抽出すること。
−各サブ画像が上述したように前処理され、ＳＶＭ分類器によってボールまたはボールなし（ｎｏｎ−ｂａｌｌ）に分類される。
−サブ画像がボールの場合であるとき、（推測的に知られている）ゴールポストの位置に対する画像中のボールの位置を使用して、ゴール得点事象が生じているかどうか決定する。
【００４６】
単眼サブシステム２の第２の実施形態によれば、獲得された画像の処理が、各画像を２つのゴール／ノーゴール・クラスの一方に、最小の生じ得る誤差で類別するように適合された、特に２クラス・タイプの分類器を実装することを狙いとする訓練ステップを提供する。
【００４７】
前の実施形態に関して、この分類器は、最終結果、すなわち考慮されているイベントの発生に関する決定（ゴール／ノーゴール）を直接提供する。
【００４８】
この訓練ステップは、以下のステップを含む。
−後続の図５ａおよび５ｂに例示されるように、複数の画像、そこから抽出されるゴール得点概念の正および否の例を獲得するステップ。
−ヒストグラムの等化、およびそのどちらともいえないレベルの後続の量子化からなる、抽出された例それぞれを前処理するステップ。
−ニューラル・ネットワーク・ベースの技法によって分類器を訓練するステップ。
【００４９】
この場合、ゴール得点を検出する方法は、以下のことを提供する。
−ゴール領域の画像を連続的に獲得すること。
−獲得された各画像に関して、訓練ステップ中に使用される例のものと同様の寸法および形式を有する全ての実行可能なサブ画像を抽出すること。
−各サブ画像が本明細書で説明したように前処理され、ニューラル・ネットワークによってゴール／ノーゴールに分類される。
【００５０】
使用されるニューラル・ネットワークは、第１の入力レベル、第２の中間レベル、および第３の出力レベルの３つのレベルからなる。
【００５１】
レベルの節目の数は、対象の問題のサイズに従って決定される。第１のレベルは、入力サブ画像の寸法によって定義されるいくつかのノードを有し、出力レベルは、問題が２値タイプ（ゴール／ノーゴール）の応答を必要とするので単一の節目を有する。
【００５２】
ニューラル・ネットワークの動作原理は、当業者によく知られており、したがって本明細書では以後詳述しない。
【００５３】
図５ａおよび５ｂは、意思決定システムの訓練ステップ中にゴール得点のそれぞれ正の例および負の例として使用されるいくつかのサブ画像セットを示す。これらの例は、実質的に、全ての取り得る位置で、様々な視界条件の下で撮影された、ボールを伴うゴールの側面図を示す実画像からなる。
【００５４】
訓練ステップ中、ニューラル・ネットワーク分類器は、提供される例示画像に含まれる情報に従ってゴール得点事象の発生を認識するように学習する。
【００５５】
撮影された各画像は意思決定システムによって処理され、意思決定システムは、ゴール得点の実際の検出に関する応答を返す。
【００５６】
分類器訓練ステップ中に使用される画像セットは、生じ得るほとんどの実際の状況をカバーすべきであり、それにより、例えば理想的でない視界条件の下でさえシステムの正しい動作および信頼可能な応答を保証する。
【００５７】
当然、単眼サブシステム２の上述した２つの異なる実施形態で採用される分類技法（ＳＶＭおよびニューラル・ネットワーク）は、システムの全体的な動作原理を変えずに、２つの場合に同等に使用することができる。すなわち、ボール認識に関しても、ゴール得点事象の識別のためのニューラル・ネットワーク・ベースの分類器またはＳＶＭタイプの分類器を使用することができる。
【００５８】
しかし、対象となる問題に対処するのに有用なものは、上述した分類技法だけではない。実際、例学習技法に基づく任意の２クラス分類器を、本発明による単眼サブシステム２の両実施形態で使用することができる。
【００５９】
図６は、双眼サブシステム３のブロック図である。
【００６０】
一対の画像変換器１１、例えば上述したタイプの高速カメラが、対象となる競技場の領域の画像を獲得する。
【００６１】
これらの画像は、格納手段１２’によってファイル１３’に格納され、計算手段１４’によって処理される。
【００６２】
これらの計算手段は、単眼システムに関連して本明細書で説明したものと同様であり、したがって本明細書で以後、新たに詳述しない。
【００６３】
図７を参照すると、双眼サブシステム３は、異なる視点から領域を撮影する２つのカメラ１１によって生成される視線｛Ｒi｝の交点として取られるボールの質量中心Ｂの３次元位置の測定に基づいている。すなわち、
Ｂ＝Ｒ1×Ｒ2
である。
【００６４】
考慮する各視点に関して、視線Ｒiは、カメラの光学中心によって生成され、３次元空間内のボールの質量中心Ｂ、および画像面Ｉi上のボールの投影像の中心ｂiを通る。
【００６５】
各カメラに関して、ボール中心を通る視線は、ゴール面Πおよび競技場面Γとの２つの交点によって決定される。これらの交点は、画像面上のボールの位置と、ゴールポスト、およびゴール領域を画定するラインの空間位置に関する推測的に知られている情報とから推定される。
【００６６】
特に、各視線は、以下のように計算される。
−ユークリッド空間での位置が推測的に知られているゴール領域を画定する４つの直交競技場ライン｛Ｌj｝ｊ＝１，．．．，４の４つの交点｛Ｐj｝ｊ＝１，．．．，４と、画像Ｉi上の当該の投影像｛ｐj｝ｊ＝１，．．．，４との対応関係から、第１の既知の３次元面、例えば競技場面Γと、画像面Ｉi上でのその投影像との間での第１の投影変換ＨΓi（ホモグラフィＨΓi）を推定する。
−２つのゴールポストの外縁部が位置する２つの垂直ラインの、ゴール・ライン、およびクロスバーの外縁部が位置する水平ラインとの４つの交点｛Ｑj｝ｊ＝１，．．．，４と、画像Ｉi上での当該の投影像｛ｐj｝ｊ＝１，．．．，４との対応関係から、第２の既知の３次元面、例えばゴール面Πと、画像面Ｉi上でのその投影像との間での第２の投影変換ＨΠi（ホモグラフィＨΠi）を推定する。
−ホモグラフィＨΓiを用いて、画像ｂiを投影する、競技場面Γ上へのボールの質量中心Ｂの投影像ＢΓiを推定する。すなわち、
ＢΓi＝ＨΓiｂi
−ホモグラフィＨΠiを用いて、画像ｂiを投影する、ゴール面Π上へのボールの質量中心Ｂの投影像ＢΠiを推定する。すなわち、
ＢΠi＝ＨΠiｂi
−競技場面との交点ＢΓiと、ゴールが位置する面との交点ＢΠiとの２つの交点から視線Ｒiを推定する。すなわち、
Ｒi＝ＢΓi×ＢΠi
【００６７】
双眼サブシステムは、以下の情報入力を必要とする。
−２つの非較正カメラによって得られる２つの異なる視野に関する２つの画像（Ｉ１、Ｉ２）。
−単眼システムにおいて同様に使用されるＳＶＭアルゴリズムを用いた例学習に基づく技法を採用して推定される、ボール中心ｂiの任意の画像面上での座標。別法として、任意の１つの知られているパターン認識技法を採用することもできる。
−任意の画像面内での、ゴール領域を画定する競技場ラインの交点｛ｐij｝。
−任意の画像面内での、ゴールを画定するラインの交点｛ｑij｝。
−競技場のユークリッド面Γ上にゴール領域を画定する競技場ラインの交点｛Ｐj｝。
−３次元ユークリッド空間でゴール構造を画定するラインの交点｛Ｑj｝。
【００６８】
図８は、ゴール面からのボールの距離の推定の誤差を最小にするように適合された、ゴール付近での双眼サブシステム３の２つのカメラＢ、Ｃの有利な位置決めを示す競技場の上面図である。カメラは、図中のＶｂおよびＶｃで示されるものと同様の画像を獲得する。
【００６９】
図９は、開示した第１の実施形態によるシステム１を示し、単眼サブシステム２（カメラＡ）と双眼サブシステム３（カメラＢおよびＣ）の組合せ使用、および獲得される画像の当該の図Ｖａ、Ｖｂ、およびＶｃを提供する。
【００７０】
この場合も、特定の適用例に対してシステム動作をより良く調節するために、他の位置を提供することもできる。
【００７１】
双眼サブシステム３は、３次元位置決めの測定を使用する第２の計量タイプの意思決定システムによって、ボールがゴール・ラインを越えたことを意味するゴール得点事象を自律的に検出することができる。しかし、一般的に言って、これは、視覚的にアクセス可能な確認を提供することができない。
【００７２】
単眼サブシステム２は、ゴール面に対するボールの位置のみを自律的に求めることができ、関連する記録において客観的な確認を提供する。実際には、追加の視野を用いないと、ゴール・ラインを越えているがゴールの外側にあるボールが、ゴール内部にあるように見える場合がある。
【００７３】
第１の実施形態によれば、システム１は、２つのサブシステムを統合して、それぞれが個別に使用されるときに伴う制限を克服する。
【００７４】
単眼サブシステム２は、ゴール面に対するボールの位置を求めることしかできないので、双眼サブシステム３の視野の追加により、ゴールの外側で生じたゴール・ラインの越えも認識できるようになる。
【００７５】
双眼サブシステムへの単眼サブシステムの追加は、イベントの自動化検出の信頼性を高めることに加えて、さらに、有利な視覚確認を可能にする。
【００７６】
双眼サブシステム３と単眼サブシステム２は、ゴール・ラインの越えを独立して評価する。２つのサブシステムによって提供される評価の冗長性が、ゴール得点事象の自動化検出の信頼性を高める。本明細書で説明した２つのサブシステムによって提供される結果の統合によって、利用可能な最大の確実性で、イベントの単一の最終評価を得ることができる。
【００７７】
図１０を参照すると、本発明によるシステムの第２の実施形態が示されている。この実施形態によれば、システム１は、本明細書で説明したタイプの２つの単眼サブシステム２、２’を備える。
【００７８】
次に、図１１は、単眼サブシステム２および２’のカメラＡおよびＤが配置された競技場１００の平面図である。カメラＡおよびＤは、それぞれ図ＶａおよびＶｄに示されるのと同様の画像を獲得する。
【００７９】
特に、カメラＤは、ゴール面に垂直であって、ゴール面の中心を通過する光軸をもつように位置決めされる。
【００８０】
カメラＤによって獲得された画像の処理は、画像中のボールをゴール構造内部で選別することからなる。
【００８１】
このステップは、ゴールポストおよびクロスバーに対するボールの位置を参照して、ＳＶＭタイプの分類器を使用して実施される。
【００８２】
次いで、この情報が、単眼サブシステム２によって提供される情報、すなわちゴール面に対するボールの位置に関する情報と統合され、ボールがゴール・ラインを越えたことを定性的に検出することが可能になる。
【００８３】
図１２は、本発明によるシステム１の第３の実施形態を示す。この第３の実施形態によれば、システム１が３つの単眼サブシステム２、２’、および２”を備える。
【００８４】
この場合、システム１は、冗長な情報を提供し、しかしこの冗長性が、得点記録されるゴール・イベントの測定の信頼性を高める。
【００８５】
次に、図１３は、競技場１００の平面図、および３つの単眼サブシステムに関連する３つのカメラＡ、Ｅ、およびＤの好ましい位置決めを示す。図Ｖａ、Ｖｅ、およびＶｄは、３つのカメラによって獲得される画像の例である。
【００８６】
冗長な情報の使用は、２つの対称なカメラＡとＥの一方に関するボール妨害のケースを解決するのに有利である。
【００８７】
図１４および１５は、上で開示したタイプの２つの双眼サブシステム３、３’を備えるシステム１の第４の実施形態を示す。
【００８８】
この場合、４つのカメラＢ、Ｃ、Ｆ、およびＧが、競技場１００に配置され、それにより図Ｖｂ、Ｖｃ、Ｖｆ、およびＶｇに示されるものと同様の当該の画像を提供する。４つのカメラの組合せ使用、および提供される画像の処理が、得点記録されるゴール・イベントの検出の信頼性を高め、例えばボール妨害によって生じる非検出のインスタンスを低減する。
【００８９】
本発明を、限定を加えない例として好ましい実施形態に従って本明細書で説明してきた。他の実施形態を提供することもでき、しかし全てが、頭書の特許請求の範囲によって定義される保護範囲に入るとみなされるべきであることを理解されたい。
【図面の簡単な説明】
【図１】本発明によるシステムの第１の実施形態のブロック図である。
【図２】本発明による単眼サブシステムのブロック図である。
【図３】本発明による単眼サブシステムに関する、カメラの例示的位置決め、および観察されたシーンの関連する見え方を示す図である。
【図４】ａおよびｂは本発明による単眼サブシステムの第１の実施形態で使用される分類用のサポート・ベクトル・マシンの訓練ステップ中に処理される例のいくつかの画像を示す図である。
【図５】ａおよびｂは本発明による単眼サブシステムの第２の実施形態で使用されるニューラル・ネットワークの訓練ステップ中に処理される例のいくつかの画像を示す図である。
【図６】本発明による双眼サブシステムのブロック図である。
【図７】本発明による双眼サブシステムの動作原理を表す図である。
【図８】本発明による双眼サブシステムに関する、カメラの例示的位置決め、および観察されるシーンの見え方を示す図である。
【図９】図１のシステムに関する、カメラの例示的位置決め、および観察されるシーンの見え方を示す図である。
【図１０】本発明によるシステムの第２の実施形態のブロック図である。
【図１１】図１０のシステムに関する、カメラの例示的位置決め、および観察されるシーンの見え方を示す図である。
【図１２】本発明によるシステムの第３の実施形態のブロック図である。
【図１３】図１２のシステムに関する、カメラの例示的位置決め、および観察されるシーンの見え方を示す図である。
【図１４】本発明によるシステムの第４の実施形態のブロック図である。
【図１５】図１４のシステムに関する、カメラの例示的位置決めを、観察されるシーンの見え方と共に示す図である。
【図１】
0004465150.tif 000002
【図２】
0004465150.tif 000003
【図３】
0004465150.tif 000004
【図４ａ】
0004465150.tif 000005
【図４ｂ】
0004465150.tif 000006
【図５ａ】
0004465150.tif 000007
【図５ｂ】
0004465150.tif 000008
【図６】
0004465150.tif 000009
【図７】
0004465150.tif 000010
【図８】
0004465150.tif 000011
【図９】
0004465150.tif 000012
【図１０】
0004465150.tif 000013
【図１１】
0004465150.tif 000014
【図１２】
0004465150.tif 000015
【図１３】
0004465150.tif 000016
【図１４】
0004465150.tif 000017
【図１５】
0004465150.tif 000018