(57)【要約】  本発明は、運動行為中のイベント、特に、サッカー試合における「オフサイド」イベントを検出及び分類するためのシステムに関する。このシステムは、環境条件とオフサイドまで遡れるイベント動態との変動性を考慮することによって、そのようなイベントをリアルタイム且つ半自動的というコンテキストにおいて決定することを可能にする。本発明は、試合の通常の進行に適合した非侵襲的技法と共にそれ自体を提案する。
2008538623.tif 000002
【特許請求の範囲】
【請求項１】
領域内における１つ又は複数の対象の運動行為中に起こされるイベントの検出及び分類のための方法であって、前記イベントの発生した／しないは、所定の時間瞬間における前記運動及び前記対象の相互位置に関係する所定のルールに依存し、前記方法は、以下のステップ、即ち、
−前記行為の進行中に前記領域の系列である複数のデジタル画像を獲得するステップと、
−前記対象の各々を識別するのに適した第１の特徴と、前記領域内の前記対象の各々の瞬時位置を決定するのに適した第２の特徴とを抽出するために、前記複数の画像のうちの各画像を処理するステップと、
−前記第１及び／又は第２の特徴に基づいて前記対象を分類するステップと、
−前記第１及び第２の特徴並びに前記分類の結果に基づいて前記所定のルールを確認することによって、前記イベントの発生を評価するステップと、を含む方法。
【請求項２】
各画像を処理する前記ステップが、前記画像内の前記対象の各々を認識するステップを含む、請求項１に記載の方法。
【請求項３】
前記対象を認識する前記フェーズが、前記第１の特徴を抽出して、対象をそれぞれのサイズに基づいて区別することによって、第１のカテゴリの対象と第２のカテゴリの対象とを検出するために、点の連結性の分析手続きに基づいて、ノイズを除去するサブフェーズを含む、請求項２に記載の方法。
【請求項４】
前記対象を認識する前記フェーズが、
−前記対象を含む候補の前記画像の領域を抽出するサブフェーズと、
−前記候補領域内における前記対象の存在を確認するサブフェーズと、
−前記対象の動態を識別する１つ又は複数のパラメータと、後続の画像の処理中に同じ対象を認識するために利用されるパラメータとを計算するサブフェーズと、を含む、請求項３に記載の方法。
【請求項５】
前記対象を認識する前記フェーズが、基準画像を構成する追加のサブフェーズを含む、請求項４に記載の方法。
【請求項６】
前記対象を認識する前記フェーズが、前記対象を検出するために、最新の画像を前記基準画像と比較する追加のサブフェーズを含む、請求項５に記載の方法。
【請求項７】
基準画像を構成する前記サブフェーズが、最新の基準画像を常に使用するために定期的に繰り返される、請求項５又は請求項６に記載の方法。
【請求項８】
前記対象の動態を識別する１つ又は複数のパラメータを計算する前記サブフェーズが、手続き又は予測タイプに基づく、請求項３から請求項７までのいずれか一項に記載の方法。
【請求項９】
前記対象を認識する前記フェーズが、追加の影除去サブフェーズを含む、請求項４から請求項９までのいずれか一項に記載の方法。
【請求項１０】
前記影除去サブフェーズが、検査下の画像と前記基準画像の間の相関を用いて実行される、請求項９に記載の方法。
【請求項１１】
対象の前記第１のカテゴリに属する第１の対象を含む領域候補を抽出する前記サブフェーズが、有縁の画像を得ることによって、前記画像内に存在する前記対象の外郭を抽出するステップを含む、請求項４から請求項１０までのいずれか一項に記載の方法。
【請求項１２】
候補領域を抽出する前記サブフェーズが、前記第１の対象を空間的に特徴付けるのに適したフィルタを用いる有縁の画像の畳み込み操作を用いて、相関マップを構成するステップを含む、請求項１１に記載の方法。
【請求項１３】
前記フィルタが、前記第１の対象の次元及び空間情報を担う２次元畳み込みマスクによって構成される、請求項１２に記載の方法。
【請求項１４】
前記候補領域内における前記第１の対象の存在を確認する前記サブフェーズが、前記物体のテクスチャの１つ又は複数の特徴パラメータを計算するステップを含む、請求項１３に記載の方法。
【請求項１５】
前記計算が、ウェーブレット・タイプの変換操作を用いて実行される、請求項１４に記載の方法。
【請求項１６】
前記変換操作が、ハール変換に基づく、請求項１５に記載の方法。
【請求項１７】
前記候補領域内において前記第１の対象を確認する前記サブフェーズが、前記特徴パラメータに基づいた分類ステップを含む、請求項１４から請求項１６までのいずれか一項に記載の方法。
【請求項１８】
前記分類が、１つ又は複数の人工ニューラル・ネットワークを用いて実行される、請求項１７に記載の方法。
【請求項１９】
前記ニューラル・ネットワークが、「逆方向伝播」タイプのアルゴリズムを用いて事前トレーニングされる、請求項１８に記載の方法。
【請求項２０】
対象の前記第２のカテゴリに属する第２の対象を含む領域候補を抽出する前記サブフェーズが、各画像点の輝度レベルを分析するステップを含む、請求項４から請求項１９までのいずれか一項に記載の方法。
【請求項２１】
各画像点の輝度レベルを分析する前記ステップが、バイエル格子の形態をとるセンサを用いて獲得されたグレー・レベル画像上で実行される、請求項２０に記載の方法。
【請求項２２】
各画像点の輝度レベルを分析する前記ステップが、ＲＧＢバンド上で動作するカラー画像上で実行される、請求項２０又は請求項２１に記載の方法。
【請求項２３】
各画像点の輝度レベルを分析する前記ステップが、ＨＩＳバンド上で動作するカラー画像上で実行される、請求項２０から請求項２２までのいずれか一項に記載の方法。
【請求項２４】
前記候補領域内における前記第２の対象の存在を確認する前記ステップが、前記第２の物体に関する統計情報を抽出する手続きに基づく、請求項２０から請求項２３までのいずれか一項に記載の方法。
【請求項２５】
前記統計情報が、前記候補領域に関係する前記画像の各行について計算された平均及び標準偏差を含む、請求項２４に記載の方法。
【請求項２６】
前記平均及び前記標準偏差を計算する前記ステップが、ＲＧＢカラーの各バンドに対して実行される、請求項２５に記載の方法。
【請求項２７】
前記平均及び前記標準偏差を計算する前記ステップが、各ＨＩＳバンドに対して実行される、請求項２５又は請求項２６に記載の方法。
【請求項２８】
前記候補領域内における前記第２の対象の存在を確認する前記サブフェーズが、前記統計パラメータに基づいた分類ステップを含む、請求項２４から請求項２７までのいずれか一項に記載の方法。
【請求項２９】
前記物体を分類する前記ステップが、管理されない分類器（ＳＯＭ）を利用する、請求項２８に記載の方法。
【請求項３０】
前記物体を分類する前記ステップが、管理されないクラスタリング・アルゴリズム（ｋ平均法）を利用する、請求項２８又は請求項２９に記載の方法。
【請求項３１】
前記分類器が、前記統計パラメータに関する正規化された例を用いてトレーニングされる、請求項２９又は請求項３０に記載の方法。
【請求項３２】
領域内における１つ又は複数の対象の運動行為中に起こされるイベントの検出及び分類のためのシステムであって、前記イベントの発生した／しないは、所定の時間瞬間における前記運動及び前記対象の相互位置に関係する所定のルールに依存し、前記システムが、前記行為の進行中に前記領域のデジタル画像を獲得するための１つ又は複数のユニットを含み、前記ユニットの各々が、
−前記対象の各々を識別するのに適した第１の特徴と、前記領域内の前記対象の各々の瞬時位置を決定するのに適した第２の特徴とを抽出するために、前記複数の画像のうちの各画像を処理する手段と、
−前記第１及び／又は第２の特徴に基づいて前記対象を分類する手段と、を含み、
前記システムが、前記第１及び第２の特徴並びに前記分類の結果に基づいて前記所定のルールを確認することによって、前記イベントの発生を評価する監視ユニットをさらに含むシステム。
【請求項３３】
前記獲得ユニットの各々が、高解像度カメラを含む、請求項３２に記載のシステム。
【請求項３４】
前記カメラが、ＣＡＭＥＲＡＬＩＮＫ（登録商標）読み取り標準に従って、１９２０×１０８０の解像度で動作する、請求項３３に記載のシステム。
【請求項３５】
前記獲得画像をリアルタイムに保存するための１つ又は複数のユニットをさらに含む、請求項３２から請求項３４までのいずれか一項に記載のシステム。
【請求項３６】
前記獲得ユニットを前記監視ユニットに接続するための手段をさらに含む、請求項３２から請求項３５までのいずれか一項に記載のシステム。
【請求項３７】
前記監視ユニットが、前記結果の表示及び／又は分析用のインタフェース手段をさらに含む、請求項３２から請求項３６までのいずれか一項に記載のシステム。
【請求項３８】
請求項１から請求項３１までのいずれか一項に記載の方法を実施するのに適した、請求項３２から請求項３６までのいずれか一項に記載のシステム。
【請求項３９】
プロセッサ上で動作した時に、請求項１から請求項３１までのいずれか一項に記載の方法を実施するのに適した、コンピュータ用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、試合ルール、特に、サッカー試合におけるいわゆる「オフサイド」ルールの違反を検出するために、運動行為中のイベントを検出及び分類するためのシステム及び方法に関する。
【背景技術】
【０００２】
本発明を開発する際、本発明は、
・目的にとって適切な撮像及び計算技法、
・自動及び手動タイプ両方の本発明の動作モード、
・主審及び２人の線審がシステムを使用するためのモード、
・システム全体の性能及びコスト
の点で評価がなされた。導入及び例として、以降、ＦＩＦＡ規則によるオフサイド・ルールが示され、オフサイドを決定する際の人的過誤が分析される。さらに本発明では、説明を簡潔にするために、オフサイド・イベント及びオフサイドの決定が引き続き言及される。しかし、本発明は、規則の相違に起因する明瞭且つ当然の相違を、実施において明らかに伴う他のイベントにも、本発明の中核自体を修正したり、又は本発明の概念を変更したりせずに、適用可能であると見なされるべきことが意図されている。
【０００３】
オフサイド・ポジションにいることは、それ自体では違反でない。
【０００４】
サッカー選手は、ボール及び最後から２番目の敵側選手の両方に関して、敵側ゴールのラインに最も近い時に、オフサイド・ポジションにいる。反対に、サッカー選手は、
・試合フィールドの自陣内にいる時、又は
・最後から２番目の敵側選手と同一ラインにいる時、又は
・最終２人の敵側選手と同一ラインにいる時は、
オフサイド・ポジションにいない。
【０００５】
サッカー選手のオフサイド・ポジションは、味方選手の１人がボールに触れた時又はボールを扱った時に、サッカー選手が、主審の見解によれば、
・試合に介入することによって、又は
・敵側選手に影響を与えることによって、又は
・その位置から利益を得ることによって、
試合に対して能動的な役割をとった場合に限って、反則をとられなければならない。
【０００６】
反対に、サッカー選手が、
・ゴール・キック時に、又は
・スロー・イン時に、又は
・コーナ・キック時に、
直接サッカーボールを受けた時は、オフサイドの違反ではない。
【０００７】
現在、違反を検出する際に主審及び２人の線審を助けるツールはなく、審判ら自身に高いレベルの自由裁量権が存在する。
【０００８】
オフサイド検出における根本的問題は、
−ボールと、サッカー選手が味方選手に好都合となるようにボールを扱った瞬間とを検出すること、
−パス時点におけるフィールド内のサッカー選手の位置を決定すること、及び
−ボールが扱われた時、パスを受けた選手の位置が反則になるかどうかを確認すること、である。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、そのような違反を決定するために、独立請求項１で規定される、所定ルールに違反するイベントを検出及び分類するための方法を提供することによって、典型的に見出される問題を解決することを目的とする。
【００１０】
本発明は、独立請求項３２で規定される、所定ルールに違反するイベントを検出及び分類するためのシステムにも関する。
【００１１】
本発明のさらなる目的は、請求項３９で規定される、コンピュータ用のプログラムである。
【００１２】
本発明の副次的な特徴は、対応する従属請求項で定義される。
【課題を解決するための手段】
【００１３】
本発明は、周囲条件とオフサイドまで遡れるイベント動態との変動性を考慮することによって、サッカー又は他のスポーツの試合の典型的なイベントを、リアルタイム且つ／又は半自動的なコンテキストにおいて、具体的且つ客観的な方法で評価することを可能にする。
【００１４】
提案される技術的解決策は、非侵襲的な種類のものであり、通常の試合の進行に適合する。
【００１５】
本発明のさらなる利点並びに特徴及び適用モードは、限定的な目的からではなく、例として示された本発明の好ましい実施例についての、同封の図面を参照する以下の詳細な説明から明らかであろう。
【実施例】
【００１６】
以降、本発明の説明では、上で言及された図が参照される。
【００１７】
具体的には、図１Ａは、背番号９の味方選手からボールを受けた攻撃側選手は、ゴールに対向するボール及び最後から２番目の守備側選手のラインにより近く、そのことは彼がその位置から利益を得ることを可能にするので、反則をとられるオフサイド・ポジションにいる。
【００１８】
図１Ｂで表される状況では、背番号８の味方選手によってサッカーボールが蹴られた時、攻撃側選手は、オフサイド・ポジションにいるものの、彼は能動的に試合に参加しておらず、ゴールキーパーの動きを妨害していないので、反則をとられない。
【００１９】
図１Ｃで表される状況では、背番号９の攻撃側選手は、ゴールキーパーの動きを妨害することによって、試合に参加しているので、反則をとられるオフサイド・ポジションにいる。
【００２０】
図１Ｄで表される状況では、背番号９の攻撃側選手は、ゴールキーパーの動きを妨害しているので、反則をとられるオフサイド・ポジションにいる。
【００２１】
図１Ａで表される状況では、背番号８の味方選手からボールを受けた攻撃側選手は、ボールが扱われた時、最後から２番目の守備側選手と同一ラインにいるので、オフサイド・ポジションにいない。
【００２２】
図１Ｆで表される状況では、背番号９の攻撃側選手は、背番号７の味方選手が彼にボールをパスした時、最後から２番目の守備側選手と同一ラインにいるので、オフサイド・ポジションにいない。
【００２３】
図１Ｇで表される状況では、攻撃側選手は、ボールが背番号１０の味方選手によって扱われた時、オフサイド・ポジションにいるものの、能動的に試合に参加しておらず、その位置から利益を得ることはないので、反則をとられない。
【００２４】
図１Ｈで表される状況では、背番号６のサッカー選手のシュートがポストでバウンドし、味方選手の方へ来ているが、この選手は、能動的に試合に参加しており、ボールが蹴られた時にいたオフサイド・ポジションから利益を得るので、反則をとられる。
【００２５】
図１Ｉで表される状況では、味方選手のシュートが、敵側ゴールキーパーによって跳ね返されて、背番号８のサッカー選手の方へ来ているが、この選手は、能動的に試合に参加しており、ボールが蹴られた時にいたそのポジションから利益を得るので、オフサイド・ポジションによって反則をとられる。
【００２６】
本発明は次に、オフサイド検出中に出会う問題、特に、以下の局面に取り組むことを目的とする。
・オフサイド・イベントの感知に関する人的過誤の分析。
・撮影位置及びビデオ系列のデジタル記録用の電子装置にカメラを接続するためのモードのロジスティック面（ｌｏｇｉｓｔｉｃ  ａｓｐｅｃｔ）も考慮することによる、イベントのより良い捕捉のための撮影最適解（ｓｈｏｏｔｉｎｇ  ｏｐｔｉｍａｌ  ｓｏｌｕｔｉｏｎ）の検討。
・指令位置（画像獲得集中装置、並びにサーバ及び複数モニタ操作卓の位置）から数１００メートルの所に配置された複数のカメラによって獲得されるビデオ系列のリアルタイムの撮像、記録、及び処理のための技術的解決策の分析及び選択。
・ボールの自動検出及びボールの運動学パラメータの評価の方策。
・行為者（選手、並びに主審及び２人の線審）を自動的に検出及び識別するための方策。
・ボールを追跡し、選手に関連するボール状況を決定し、選手の位置を評価し、その後、ＦＩＦＡ規則に従ってオフサイド・イベントを最終的に評価するための方策。
・進化したマン−マシン・インタフェース。
【００２７】
検討された解決策の実現可能性を確認するため、上述された機能を用いてボール及び行為者の自動検出用に画像をリアルタイムに処理する様々なアルゴリズムと共に、ハードウェア及びソフトウェアの実物製品も開発された。最後に、提案された方策及びアルゴリズムを検証するため、フレーム・レートが６０画像毎秒の高空間解像度（１６００×６００ピクセル）のカメラを使用して、いくつかの現実の試合を撮影することによって、実験的な撮影が実行された。
【００２８】
本発明の態様をより良く理解するため、オフサイド決定において見出され得る／起こり得る過誤が、以下で１つずつ分析される。
【００２９】
オフサイド決定における人的過誤の分析
これ以降、サッカー試合におけるオフサイド・イベントの、人間の線審による不正確な評価に寄与する過誤タイプが、分析される。
【００３０】
人間の視覚系は、ステレオ双眼の種類に属し、その場合、どの選手がゴール・ラインに最も近いかを評価する遠隔測定を行うことができるが、実際には、可能なイベント動態に関して、及び選手とプレー・フィールドのサイド・ラインの縁に位置付けられた観測者との間の距離を考慮することによって必要とされる三角測定に関して、視覚系は制限され、不十分である。双眼視覚系は、「基線」とも呼ばれる眼間距離によって、及び不均等測定（２つの網膜上に投影される場面点は、同じ水平線上にあるが、基線測定に依存する異なる観測位置のために不均等なある値だけシフトされる）によって、特徴付けられる。
【００３１】
視覚系では、基線距離は、５０／６０ｍｍに等しく、線審と選手の間の大きな距離も考慮すると、適切な距離測定を得るためには非常に小さい。
【００３２】
実際には、オフサイド決定に関する生物学的視覚系は、視差が最小である場合にのみ正確に動作できる単眼視覚系としてあたかも利用されていることになる。図２は、正確なオフサイド評価のために選手（攻撃側選手Ａ及び守備側選手Ｄ）と観測者（線審Ｓｉ）が整列させられた、視覚系が理想的に作動可能な配置を示している。
【００３３】
そのことを述べて、これ以降、人間の線審の主な過誤の源が分析される。
【００３４】
視野−視差
この過誤は、人間の視覚系の光学器官によって引き起こされ、フィールドのサイド・エッジからの観測時に、選手が実際には離れている場合に、ゴール・ラインに平行な想像上のラインに対して選手が整列していると感知し、又は反対に、選手が実際には整列している場合に、選手が離れていると感知する。この実質的に視覚的な過誤は、線審自身の視野に含まれる選手の位置に対する線審の位置に依存する。この過誤は、線審の専門的熟練（ｐｒｏｆｅｓｓｉｏｎａｌｉｓｍ）とは無関係である。
【００３５】
図３Ａから図３Ｈを参照すると、線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野が、明確に示されている。図３Ａから図３Ｈでは、可能な視野の各々について、選手と線審の間の理想的配置（スケッチ線（ｓｋｅｔｃｈｅｄ  ｌｉｎｅ））も、明確に示されている。
【００３６】
全体で、８つの視野配置が、選手と線審の位置に基づいて、オフサイド決定のために区別できる。そのような配置は、以下の表１に列挙されており、記号ＦＧは「オフサイド」（ＦｕｏｒｉＧｉｏｃｏ）位置を示し、表示ＮＦＧは「非オフサイド」（「ＮＯＮ−ＦｕｏｒｉＧｉｏｃｏ」）位置を示す。さらに、Ａは攻撃側選手、Ｄは守備側選手、Ｐはゴールキーパー、Ｓは線審を示す。スケッチ線は、代わりに、観測者Ｓｉが守備側選手と整列する理想的配置を示す。
【００３７】
【表１】
2008538623.tif 000003
【００３８】
図３Ａから図３Ｈでは、線審がオフサイド・イベントを評価するために留まり得る可能な配置が示されている。
【００３９】
視覚系の視差は、４つの可能な過誤配置を引き起こす。具体的には、配置１及び４では、実際には、非オフサイド（ＮＦＧ）であるのに、線審は、オフサイド・イベント（ＦＧ）を感知し、反対に、配置５及び８では、実際には、オフサイドであるのに、線審は、ＮＦＧを感知する。視差によって引き起こされる、フォールス・ポジティブ誤りとも呼ばれる誤り１及び４に関する第１のケースでは、線審は、網膜上に整列せずに投影された２人の選手（攻撃側選手及び守備側選手）を見る。理想的な位置にいた場合、線審Ｓｉは、彼らが整列していると感知する。反対に、フォールス・ネガティブ誤りとも呼ばれる、配置５及び８に関する誤りタイプでは、線審は、網膜の同じ点に投影された２人の選手を見るので、彼らが整列していると感知する。オフサイド・ルールに関して、理想的な位置にいた場合、線審Ｓｉは、彼らが離れていると感知する。
【００４０】
配置２及び３では、選手は整列した結果になっており、即ち、彼らはゴール・ラインの一方と平行な直線上に来ており、従って、オフサイド状態下にはないが、線審は、彼らが整列していないと感知する。どちらのケースも、線審は、守備側選手に対して攻撃側選手がより後方の位置にいると見なし、従って、視差状態下にあるにも関わらず、判定は、現実と一致した非オフサイド（ＮＦＧ）となる。
【００４１】
配置６及び７では、実際には、選手は整列しておらず、守備側選手が攻撃側選手よりもゴール・ラインに近いにも関わらず、線審は、選手が整列しており、従って、オフサイド状態下にはない（ＮＦＧ）と感知する。これら２つのケースでも、視野は誤った評価を生み出すことが導かれる。
【００４２】
これらの考察から、視差は、考察された８つの誤りタイプに属する状況の数が確率的に等しいならば、オフサイド評価において５０％に等しい確率で誤りを生じさせることになる。実際には、試合毎に、考察された８つの配置は、異なる頻度で起こることがあり、従って、オフサイド評価における可能な誤りは、生じた配置に依存する。
【００４３】
オフサイド・イベントが線審に対してより遠い場所で起こる場合、試合においてオフサイド・イベント自体が多数の誤りをもたらすという意味で、選手と線審の間の距離が、様々な配置の確率をさらに違ったものにすることがあることもさらに強調される。
【００４４】
人間の視覚系の反応性
視差に加えて、オフサイド検出が行われるイベントの動態が考察される。オフサイド評価は、ボールを蹴る選手からの玉離れと、反則状態を潜在的に生み出し得る選手の位置の決定という、同時に起こる２つのイベントの感知に基づいた複雑なイベントである。これら２つの同時イベントが線審の視野内で観測できるならば、可能な過誤の源は、イベント動態に対して数秒の分数のオーダに制限される人間の視野の反応性になじまない場面動態の速さ（ボール及び選手の速度）に起因する。この過誤は、線審の専門的熟練とは無関係であり、経験があったとしても、ある限界内で異なる遂行能力（ｐｅｒｆｏｒｍａｎｃｅ）になることがある。
【００４５】
ボールの速度は、１２０ｋｍ／ｈにすら達することがある。その結果、オフサイド評価の目的でこのイベントを適切に決定する際に、「選手からの玉離れ」イベントの動態と人間の反応性の限界の分析が、考察されなければならない。
【００４６】
図４のグラフは、横軸にｋｍ／ｈ単位のボール速度（ボールが選手から離れる時の可能速度）を、縦軸に２５から１０００画像／秒（ｆｒａｍｅ／ｓｅｃ）の間で、獲得できる視覚システムの異なる時間解像度におけるボール移動を示している。人間の視覚系は、約２５ｐｓで作動し、図１２から、２つのフレームの間に経過する時間（１／２５秒）におけるボール移動は、ボールが制限された速度（４０ｋｍ／ｈ）で運動しているとしても、感知可能（４０ｃｍ）であることが分かる。
【００４７】
同時に選手の位置及び動態を評価しなければならないという問題も、それに劣らず無視してよい。図５のグラフでは、オフサイドの状況において達することのできる選手間の相対速度（２人の選手が反対方向に１５ｋｍ／ｈで動くことができると見なすことによって、最大で３０ｋｍ／ｈと仮定されている）が、横軸に示され、他の選手と比較した選手の相対移動である走行距離が、縦軸に示されている。グラフの異なる直線は、線審の異なる反応時間において、２人の選手によって走られた距離を表す。即時反応能力という理想的ケースにおいてのみ、線審は、選手の位置を正確に捕捉することができる。実際には、反応時間は、１秒の分数のオーダであるにせよ、一貫した誤差を引き起こす可能性があり、選手が１５ｋｍ／ｈの速度で動いている場合に、０．２５秒の反応性を仮定すると、２人の選手の間で生じる相対移動は、約１メートルである。
【００４８】
図６Ａから図６Ｆは、サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られたいくつかの写真を示しており、反応時間が、短縮されているにせよ、どのように線審の過誤を引き起こすことができるかを明示的に実証している。
【００４９】
示された写真は、０．１６秒間隔で記録されている。実際には、最初と最後の写真の間には、０．８３秒だけしか経過していないが、フィールドにおける選手の配置は、大きく変化しており、実際に、１人の選手は、非オフサイドの状況から最終的なオフサイドの状況に移行している。
【００５０】
制限された視野
選手からの玉離れイベントと、潜在的にオフサイド配置にいる選手の位置の評価は、線審の視野内にあることができない可能性があり、特にイベント動態がごく限られた時間で生じ、人間の視覚的感知の時間解像度に適合しない場合に、オフサイド・イベントを決定する上で致命的な遅延を実質的に導入することによって、そのようなイベントを順次的方法で観測することを、線審は強いられる。ある限界内で異なる遂行能力になることがあるとしても、この過誤は、線審の専門的熟練とは無関係である。
【００５１】
視野の限界が、人間の視覚系の反応性の限界に追加される。プレー・フィールドの広がりを考えると、「選手からの玉離れ」と「選手の位置の評価」という決定されるべき同時イベントが、線審の視野内で常に起こるとは限らない。このことは、同時的方法ではなく、やはり数秒の分数のオーダの付加的な遅延を導入することによって順次的方法で、これらのイベントを観測することを線審に強いる。定量的な目的で、人間の視覚系の反応性の限界、即ち、反応時間と移動の間の関係についての図４のグラフに対して行われる同じ考察が有効である。反応時間は、この場合、反応性時間とイベント観測順次性時間の和と見なされる。
【００５２】
視差は、全体として線審の遂行能力に依存するが、反応性及び視野の限界に起因する過誤は、そのような遂行能力によって部分的に影響を受けることがあるだけであり、特定の方法により、制限された視野に関係する過誤は、回避することができない。
【００５３】
本発明は、デジタル画像の系列をリアルタイムに処理するためのアルゴリズムの使用に基づいている。そのようなアルゴリズムは、主題の問題の特殊性に適合しなければならず、さらに起こり得る環境的可視性の様々なシナリオ、及びプレー行為中におけるイベントの様々な可能な配置を考慮しなければならない。
【００５４】
そのようなイベントは、非常に限られた時間間隔のうちに記録及び捕捉されるために、標準的ではない遠隔検出システムの使用を課すように、動態変数を有することができる。
【００５５】
従って、その結果、技術的問題の解決にできるだけ適するように、画像のデジタル捕捉技術を選択し（撮像）、画像自体を処理する（画像処理）ことが必要である。これを行う際に、光の状態の可能な変化、デジタル・ビデオ系列を処理するのに必要とされる計算量の抑制（ｃｏｎｔａｉｎｍｅｎｔ）、プレー行為の自然な進行にとって典型的な時間制限といった、問題によって課される異なる制約を考慮する必要がある。
【００５６】
オフサイド問題解決のための方法
オフサイド・イベントの複雑さを考慮すると、そのようなイベントを識別するための全体的プロセスは、基本的なサブプロセスに分割される。特に、本発明によれば、領域内における１つ又は複数の対象の運動行為中に起こされるイベントの検出及び分類のための方法が提供され、前記イベントの発生した／しないは、所定の時間瞬間における前記運動及び前記対象の相互位置に関係する所定のルールに依存し、前記方法は、以下のステップ、即ち、
−前記行為の進行中に前記領域の系列である複数のデジタル画像を獲得するステップと、
−前記対象の各々を識別するのに適した第１の特徴と、前記領域内の前記対象の各々の瞬時位置を決定するのに適した第２の特徴とを抽出するために、前記複数の画像のうちの各画像を処理するステップと、
−前記第１及び／又は第２の特徴に基づいて前記対象を分類するステップと、
−前記第１及び第２の特徴並びに前記分類に基づいて前記所定のルールを確認することによって、前記イベントの発生した／しないを評価するステップと、を含む。
【００５７】
特に、オフサイド検出の場合、上述の対象は、２つのカテゴリに分割することができる。ボールは、例えば、第１のカテゴリに属し、選手（さらに、チームに基づいて分類される）、ゴールキーパー、主審、及び線審は、第２のカテゴリに属する。対象の間の区別は、連結性分析に基づいたノイズ低減手続きによって、対象のサイズに基づいて実行される。
【００５８】
この場合、そのような活動は、以下のように分節（ａｒｔｉｃｕｌａｔｅ）される。
１．ボール検出。この活動は、さらに、以下のフェーズに分節される。
ａ．ビデオ系列におけるボール認識。
ｂ．系列の様々な画像におけるボール位置確認。
ｃ．様々な可能なプレー動態におけるボール・トラッキング、瞬間的な遮蔽時でさえも行う。
２．ボール動態の分析：基本イベントの検出。この活動は、ボールが蹴られた瞬間を検出し、その後、オフサイドの状況が始まり得る瞬間を検出するための、ボール軌跡の決定及び運動学パラメータの計算にその本質がある。
３．選手、主審、及び線審の検出。デジタル画像の系列の分析から、運動構造（ボール、選手、ゴールキーパー、主審、及び副審）が識別され、これらの構造のいくつかについて、定性的及び定量的見地（それの軌跡、速度、又は速度変化の推定）から、その動態が決定される。そのような目的を達成するため、以下のアルゴリズムが検討された。
−オフサイドの状況にとって適切な背景モデル、及びモデルの初期化。
−背景の更新。
−オフサイドに含まれる構造の決定及び位置確認。
−先に決定及び位置確認された構造（選手及びゴールキーパー）の認識。
−構造トラッキング、並びにいくつかの運動学及び動態パラメータ（軌跡、動きなど）の計算。
４．オフサイド・イベントの検出。ボールの検出及びトラッキング、選手の検出及びトラッキング、並びに選手からの玉離れの時間の検出といった先のアルゴリズムによって取得されたすべての情報が、試合ルールに従って定性的評価及び定量的評価を与える、オフサイドの可能性のあるイベントの最終評価のために処理される。
【００５９】
撮像技術及びデジタル画像の系列を処理するための技術に関する限り、本発明によれば、非侵襲タイプの技術が使用される。オフサイド・イベントの動態は、プレー・フィールドから遠く離れた、スタジアム内の異なる場所に配置された遠隔検出システムを使用することによって獲得される。
【００６０】
獲得された系列を含む、様々な遠隔検出システムの結果は、現地及び／又は地理的に離れた場所で容易に使用可能になるように、固定及び移動マルチメディア・インタフェースを介して、ユーザ（試合の審判員、連盟など）から利用可能にされる。
【００６１】
この態様は、オフサイドの可能性のあるイベント及び見掛けのオフサイドについて客観的クロスチェックを行うためにも、基本的である。
【００６２】
使用されるアルゴリズム、とりわけ、高度な技術を用いる視聴システムを妥当なコストで使用する可能性にも、撮像技術の選択は、強く依存する。ハードウェアは、構造（選手及びボール）を自動的に認識するためのアルゴリズムの性能と適合していなければならず、ボール（１２０ｋｍ／時の速度にさえ達し得る）及び選手（５０ｋｍ／時に達し得る）の動態を考慮した時に、捕捉されるプレー・イベントによって要求される時間解像度で動作できなければならない。
【００６３】
決定されるイベントの時間解像度は、少なくともオフサイド・イベントを識別及び記録するためには、リアルタイムでも動作可能でなければならない、画像を獲得及び処理するためのシステムに強く影響する。
【００６４】
オフサイドの自動検出は、フィールド内の選手の位置を瞬間毎に管理することを必要とするが、ゴール・シュート及びパスなどの、それからオフサイドが生じる重大なイベントを検出するために、もちろん、プレー・フィールド内のボールの位置及び動態を評価することも必要とする。
【００６５】
特に、ボールに関して、
−各画像において、ボールの絶対位置及びフィールド内の選手に対するボールの相対位置を検出すること、
−選手がシュート又はパスによってボールの動きを変更したかどうかを決定するために、ボールの運動学を検討すること、
−パスを受け取る選手を確定し、それによって、オフサイド・イベントの発生した／しないを確定することを可能にする、１人１人の選手のデータと組み合わされる、移動の軌跡を決定すること、が必要である。
【００６６】
そのようなステップの各々に関して、本明細書で提案される可能な解決策についての詳細な説明が以下で与えられる。
【００６７】
「パターン認識」問題としての画像におけるボール決定
獲得された画像内部でのボール探索は、既知構造（パターン）を検出するための感知データの分析にその本質がある「パターン認識」と呼ばれる広い検査分野に含まれる。
【００６８】
このプロセスは主に、２つのステップ、即ち、感知データ（画像、レーダ信号、音響信号など）の獲得と、データの推移（ｃｏｕｒｓｅ）を探索されるパターンに関連する推移と比較するための異なる表現領域におけるデータの検討とによって構成される。
【００６９】
決定されるパターンの認識は、外郭条件（音、照明、他の物体との近さ、運動など）を変化させた際のパターン属性の時間持続性と、探索されるパターンがデータ内に存在する他のパターンとどれだけ類似しているかによって、強く左右される。
【００７０】
本発明の目的は、その場合、他の可能なパターンに対してパターンを一義的により良く決定し、外郭条件が変化しても、おそらく変化せずにいる、パターン特徴を選択することである。しばしば、この第２の要件は、満足させるのが難しく、この理由のため、いくつかの実際の適用例では、多かれ少なかれ、外郭条件に対する限定的な制約（一定の照明、静止した物体、ノイズのない信号など）が必要であり、それがないと、設計されたアルゴリズムの性能は低下する。
【００７１】
ボールを検出する問題では、入力データは、デジタル・カメラを用いて獲得された画像であり、探索されるパターンは、ボールである。
【００７２】
行うべき最初の考察は、パターン認識のすべての古典的な適用例（テキスト文字、顔、又はペン、電話などの簡単な物体の認識）とは反対に、ボール認識の場合は、外郭条件に制約を課すことは可能でないということである。まず第１に、ボールは、同一試合中に、（曇天又は晴天による）太陽の直接照明のあり／なし、人工照明のあり／なしといった、大きな照明の変化をこうむり、ボール及びその他に投影される影は、やはり小さな時間変化を考えると、ボールがその見掛けを大きく変える原因となる。
【００７３】
さらに、ボールの動きは、物理的特性又は獲得システムの技術的限界のせいで、獲得される画像におけるボールの形状歪みの原因となり得、ボール特徴の可観測性を明らかに損なうボールの一部又は全部が遮蔽される可能性も考慮する必要がある。
【００７４】
今述べたことに加えて、サッカー試合用に承認されたボールには異なるタイプが存在し、いくつかの属性（サイズ、色など）は、あるタイプから別のタイプになることによって変化することも強調されるべきである。
【００７５】
最後に、問題点についてのこの導入的説明を終えるため、この応用的状況では、高い毎秒当たりの画像数（少なくとも６０画像毎秒）を処理し、動作の動態及び可能な重大イベントの存在を正確に検出することを可能にする最適検出性能を提供する、利用可能なシステムを有することが望ましいことについて強調する必要がある。画像の獲得及びその後の処理のスピードは、問題の根本点であり、この概念を明らかにするには、１２０ｋｍ／ｈで動いているボールが１／１０００秒のうちに約３ｃｍ進むことを認めれば十分である。これは、毎秒たかだか２５画像（テレビ周波数）が処理されるとすると、画像と他の画像との間に、ボールは１メートルより長い距離を動くことができ、従って、関心のあるイベント（偏差など）の検出は、無意味となり得ることを意味する。
【００７６】
もちろん、高速獲得問題には技術的限界が存在し、獲得画像の解像度を下げることによって、より高い速度が達成され得ることは、容易に推測することができる。
【００７７】
デジタル画像処理の分野におけるパターン認識問題に対する古典的手法は、テクスチャ分析に基づいた手法、形状分析に基づいた手法、及び画像の時間動態の分析に基づき、単一画像インスタンスには基づかない手法という、３つのカテゴリに分類することができる。
【００７８】
これらの技法の各々は、長所及び短所を有し、そのため、各技法は、決められた状況においてのみ有効な用途を見出すことができる。
【００７９】
上述の問題のため、ボール検出が、パターン認識分野において重要な応用例であることを考慮して、本発明は、古典的手法の短所を最大限制限することによって、３つの古典的手法の長所を組み合わせる。
【００８０】
ボールを検出するための本発明の基礎をなす手法は、グレー・レベル画像（深さ８ビット、ピクセル当たり２５５グレー・レベル）を利用し、３つの動作モジュールによって構成され、第１のモジュールは、場面内で、ボール半径と一致する半径を有する円形形状の運動物体を検出する。第２のモジュールは、形状及びテクスチャ特徴に基づいて、モジュール１から取り出された領域が実際にボールを含んでいるかどうかを確認する。第３のモジュールは、利用可能な空間情報に基づいて、フレーム毎にボールの動態を記述するパラメータを計算し、その結果、それ以降の画像における同じボールの探索をより正確なものにする。
【００８１】
グレー・レベル画像の使用は、各単一写真内の情報を制限することによって、より高い獲得周波数での動作を可能にする。実際、カラー画像の使用は、グレー・レベル画像を用いる現行の情報の約３倍に等しい情報を処理しなければならないことを意味し、計算に必要とされる時間は、より長くなり、各秒に処理される画像の数は、より少なくなる。
【００８２】
本発明による方法の全体的レイアウトが、図７に示されている。
【００８３】
獲得画像の系列が、形状情報に基づいてボールがある可能性のより高い画像領域を抽出するためのモジュールに入力される。その後、抽出領域がニューラル技法を用いて確認され、抽出領域がボールを含む場合、オフサイドを検出するのに役立つ運動学情報（速度、軌跡など）が抽出される。
【００８４】
以下のサブセクションは、ボールを含む領域を抽出及び確認するための技法と、取得された実験結果とを詳細に説明する。ボールの運動学に関係する問題と、本発明による関係する解決策が、代わりに、以降の説明において詳細に述べられる。
【００８５】
ボールを含む領域候補の抽出
ボールと予想される物体と一致する形状を有する物体を含む領域の検出は、本発明による方法の基本ステップである。
【００８６】
従来、決められた形状（直線、楕円、円周、．．．）を検出するために初めに置かれるアルゴリズムは、画像をパラメータ空間にマッピングすることによって機能するハフ変換（Ｈｏｕｇｈ  ｔｒａｎｓｆｏｒｍ）に基づいている。
【００８７】
そのような方法の主な制限は、相当な計算負荷、良く定義された形状（半径が固定された円周など）のみしか探せないこと、及び形状と背景の間に存在するコントラストに結果が依存することである。
【００８８】
サッカーの試合中、照明状態の制御は行われないこと、従って、影が、基本的曲線を用いて記述できない形状をボールに装わせることによって、ボールの見掛けを変化させる可能性があることを考慮して、本発明は、ハフ変換という理論的基礎から出発して、一般的形状を検出することを可能にする、より堅牢な解決策を提示する。このようにして、直径が異なるボールを有することができるという問題も、解決される。
【００８９】
図８Ａ及び図８Ｂでは、外郭条件を変化させた際のボールの見掛けの変化を見ることが可能である。具体的には、図８Ａは、人工照明を当てられたボールを表し、一方、図８Ｂは、太陽照明を当てられ、サッカー選手の介在によって一部が遮蔽されたボールを示している。
【００９０】
使用技法の理論的原理
すでに述べたように、ハフ変換に基づいた従来の技法は、輪郭を抽出するための予備演算と、集積パラメトリック空間（ａｃｃｕｍｕｌａｔｉｏｎ  ｐａｒａｍｅｔｒｉｃ  ｓｐａｃｅ）へのその後の変換とを用いて、既知の形状（即ち、解析的方法で表現できる形状）を見つけることが可能である。
【００９１】
例えば、円周の場合、解析的記述は、以下のようになり、
（ｘ−ａ）２＋（ｙ−ｂ）２＝ｒ２
ここで、ａ及びｂは、半径がｒの円の中心の座標である。
【００９２】
ハフ変換は、ｘ−ｙ空間における画像表現から、３次元空間であるパラメータａ、ｂ、ｒからなる空間における画像表現に移ることを可能にする。しかし、与えられた半径を有する円周の探索時には、空間は、パラメータａ、ｂからなる平面に縮小する。
【００９３】
アルゴリズムは、各輪郭点（ｘ，ｙ）についてｒを固定して、各ａについてｂの値を計算する（これは単に、先の式をｂに関して解く問題であり、その他の項は既知である）。実際には、アルゴリズムは、ｘ及びｙの値が与えられると、パラメトリック空間において、半径がｒである円周の中心のすべての可能な位置を計算する。
【００９４】
このマッピング・プロセスが終わると、可能な集積中心の先の計算においてより高い出現回数を有する（ａ，ｂ）対が選択され、パラメトリック空間のその点に寄与したすべての点（ｘ，ｙ）が選択される。そのような点（ｘ，ｙ）は、最初の空間の中で探していた半径がｒの円周に属する点である。
【００９５】
計算負荷と、検出される多数のフォールス・ポジティブとを減らすために、昨年、このアルゴリズムに対するいくつかの修正が提案された。例えば、円周の場合、輪郭の向きについての情報の使用は、パラメトリック空間において、点（ａ，ｂ）を探す際に非常に有益であり、同様に、畳み込みを用いる実施は、計算時間を短縮することが可能である。
【００９６】
本発明によれば、画像におけるボール・サイズの変化の問題を除くために、半径ｒが固定された円周ばかりでなく、［Ｒｍｉｎ，Ｒｍａｘ］タイプの与えられた区間内に半径を有する円周も探すことができる、演算子が定義された。
【００９７】
演算子は、
【数１】
2008538623.tif 000004
と定義することができ、ここで、領域Ｄ（ｘ，ｙ）は、
【数２】
2008538623.tif 000005
となり、勾配ベルソル（ｇｒａｄｉｅｎｔ  ｖｅｒｓｏｒ）
【数３】
2008538623.tif 000006
は、
【数４】
2008538623.tif 000007
となり、また
【数５】
2008538623.tif 000008
は、固定半径が範囲［Ｒｍｉｎ，Ｒｍａｘ］内にあるすべての円周を探索することを保証する正規化係数を含む畳み込みのカーネルを記述するベクトルであり、
【数６】
2008538623.tif 000009
となる。
【００９８】
勾配ベルソルの使用は、探索される円周のエッジと背景の間に存在するコントラストから、その結果が独立である演算子を取得するために導入された。この選択は、アルゴリズムを照明条件及び獲得条件にあまり敏感でないようにすることを可能にし、それによって、ボール検出問題に対するアルゴリズムの適合性をより大きくすることを可能にする。
【００９９】
カーネル・ベクトル（ｋｅｒｎｅｌ  ｖｅｃｔｏｒ）を構成するマスクの２つの実施例が、図９Ａ及び図９Ｂに示されている。
【０１００】
マスク・サイズは、（２・Ｒｍａｘ＋１）×（２・Ｒｍａｘ＋１）であり、実質的に、マスクは、中心からの距離によってスケールされる半径ベクトルの方向を、各点において表す。場面内の物体のエッジを含む画像とこれらのマスクとの間の畳み込みは、画像内のいくつの点が、マスクを用いて表される１組の円周の勾配方向と一致する勾配方向を有するかを評価することを可能にする。
【０１０１】
集積空間におけるピークは、ボールを含む領域候補の中心を表す。
【０１０２】
この技法の際立った利点は、単に畳み込みマスクを変更することによって、任意の形状を有する物体を探すことが可能なことである。これは、ボールが常に変わらない外観を有することの不可能性に関して述べられたことを考えるならば、大きな利点である。
【０１０３】
説明された理論的考察を確認するために、以下で詳細に述べられる３つのタイプの実験が実行された。カーネル・ベクトルを構成する使用されたマスクは、図９Ａ及び図９Ｂに示されたマスクである。
【０１０４】
実験で使用されたいくつかの画像が、図１０Ａから図１０Ｃに示されている。
【０１０５】
実験１（図１０Ａ）
実験は、サッカー・イタリア・チャンピオンシップ２００３／２００４のＵｄｉｎｅｓｅ対Ｂｏｌｏｇｎａの試合中に獲得されたテレビ画像（２５画像毎秒の、インターレース・モード）について実施された。画像は、７２０×５７６ピクセルのサイズを有する。試験は、直径が１８から２２ピクセルの間で変化するボールを含む約５００画像について実施された。
【０１０６】
候補領域の正しい抽出（即ち、候補領域が実際にボールを含んでいたケース）のパーセンテージは、完全なボール可視性の条件下で９３％であり、部分遮蔽の条件下で８０％であった。
【０１０７】
実験２（図１０Ｂ）
実験は、サッカー・イタリア・チャンピオンシップ２００３／２００４のＵｄｉｎｅｓｅ対Ｃｈｉｅｖｏの試合中に固定及び移動可能カメラを用いて特別に獲得された画像（２５画像毎秒の、インターレース・モード）について実施された。画像は、７２０×５７６ピクセルのサイズを有する。試験は、約５０００画像について実施された。画像は、ボールに５から２０ピクセルの間で変化する直径を保証することができる焦点を用いて獲得された。
【０１０８】
候補領域の正しい抽出（即ち、候補領域が実際にボールを含んでいたケース）のパーセンテージは、ボールの直径が１０ピクセルより大きい場合、完全なボール可視性の条件下で９０％であり、部分遮蔽の条件下で７５％であった。予想されたように、ボールの直径が１０ピクセルより小さくなると、いくつかのパターンがボールの見掛けに近づき、さらにそのような低い解像度を有する形状情報を維持するのが困難であるため、性能は失望させるようなものになる。
【０１０９】
実験３（図１０Ｃ）
実験は、ＢａｒｉにあるＳａｎ  Ｎｉｃｏｌａスタジアムで行われた練習試合中に固定及び移動可能カメラを用いて特別に獲得された画像（６０画像毎秒の、非インターレース・モード）について実施された。画像は、１２８０×７６８ピクセルのサイズを有する。試験は、約１５０００画像について実施された。試験で使用された画像では、ボールは、８から１０ピクセルの間で変化する直径を有する。
【０１１０】
候補領域の正しい抽出（即ち、候補領域が実際にボールを含んでいたケース）のパーセンテージは、完全なボール可視性の条件下で９０％であり、部分遮蔽の条件下で８０％であった。このケースでは、候補領域を抽出する際にエラーが起こされた画像の大部分は、獲得システムが最良の条件下で作動することを妨げる異なる照明領域（影になった広い領域と太陽に照らされた縞領域とが交替する）によって特徴付けられる。
【０１１１】
先に説明された技法を用いてボール候補の物体を含む領域を検出した後、その球形状からだけでなく、その他の属性、とりわけ、そのテクスチャからもボールを認識することを可能にする、確認技法を導入することが必要である。
【０１１２】
この目的のため、これらの追加情報を抽出するための技法と、特徴に基づいてボール物体を第１のフェーズからの他のすべての候補物体から分離する管理された分類器とが、使用される。
【０１１３】
本発明によれば、特徴の抽出技法は、情報を時間領域と周波数領域の両方におけるパターンに抽出することを可能にする、「ウェーブレット解析」と呼ばれる線形技法である。この技法を用いる分析から抽出された係数は、その後、係数をボールに関係する係数として又は場面の他の物体として分類するために事前にトレーニングされた、ニューラル・ネットワークに入力される。
【０１１４】
２次元ウェーブレット変換は、近似（ａｐｐｒｏｘｉｍａｔｉｏｎ）と、水平詳細、垂直詳細、及び対角詳細の３つの詳細（ｄｅｔａｉｌ）とによる、画像分解を可能にする。４つの異なる部分的且つ個別の表現による画像分解は、第１のレベルの分解と呼ばれ、適切に選択されたフィルタを用いる水平及び垂直画像畳み込みによって実施される。図１１では、画像は（０）によって、近似は（１，０）によって、水平詳細は（１，１）によって、垂直詳細は（１，２）によって、対角詳細は（１，３）によって示されており、第１のインデックスはレベルを示し、第２のインデックスは分解タイプを示す。一方、図１２は、レベル３までの画像のウェーブレット分解を表している。
【０１１５】
近似はさらに、画像の新しい部分表現を得るために、分割することができる。部分表現の各々は、いくつかの画像特徴を強調し、その総和は、全体画像を再構成する。このプロセスを繰り返すことによって、さらに後続レベルの分割が得られる。最も簡単なウェーブレット変換は、ハール変換（Ｈａａｒ  ｔｒａｎｓｆｏｒｍ）である。
【０１１６】
２Ｄ画像の場合、１Ａレベルのハール変換は、画像を４つのサブ信号に分解する。
−近似ＬＬ：これは、低周波数を表し、ローパス・フィルタを用いる水平及び垂直フィルタリングによって取得される。近似画像は、原信号に類似し、原信号のエネルギーの大部分を獲得する。
−水平詳細ＬＨは、水平方向の高周波数を表し、ローパス・フィルタを用いる水平フィルタリングと、ローパス・フィルタを用いる後続の垂直フィルタリングによって取得される。
−垂直詳細ＨＬは、垂直方向の高周波数を表し、ハイパス・フィルタを用いる水平フィルタリングと、ローパス・フィルタを用いる後続の垂直フィルタリングによって取得される。
−対角詳細ＬＬは、対角方向の高周波数を表し、ハイパス・フィルタを用いる後続の水平及び垂直フィルタリングによって取得される。
【０１１７】
後続レベルにおける分解は、直前のレベルの近似画像に対する分解を繰り返すことによって取得される。
【０１１８】
ウェーブレット方法による分解を終えた後、開始画像の新しい表現が、人工ニューラル・ネットワークに入力として与えられる。
【０１１９】
人工ニューラル・ネットワーク（ＡＮＮ：Ａｒｔｉｆｉｃｉａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）は、多数の独立ユニットによって形成され、コネクションによってユニットを他のユニットに接続する。これは、人間の脳の構造に類似しており、人間の脳では、ユニットは、ニューロンであり、コネクションは、軸策及びシナプスである。各ユニットは、他のユニットに接続され、自らの「前方」に配置されたユニットからの十分な強度の刺激（入力）が存在すると、活性化され、接続されたユニットに信号を送る。コネクションは、信号を減衰させる能力を有し、その結果、信号は異なる経路に従って進み、いくつかの「方向」ではオフに切り替わる（即ち、どのニューロンを活性化するにも十分でない）。ニューラル・ネットワークの一例が、図１３に示されている。
【０１２０】
ニューラル・ネットワークは、その場合、コネクションの重み（減衰）を変更するアルゴリズムを有し、その結果、決められた入力に応答して一定の出力を提供するように適合する。様々なタイプのニューラル・ネットワークが存在し、従って、それらを分類する様々なモードが存在する。最も普通の分類は、それらを管理されるタイプと管理されないタイプとに分割する分類である。
【０１２１】
入力が第１のカテゴリのネットワークに示され、生成された出力が観測されるが、この時点で、望んでいた出力を考慮することによって、コネクションの重みが更新され、新しい入力がネットワークに示される。この手続きは、ネットワーク「トレーニング」と呼ばれる。「管理」はまさに、決められた入力からどの応答が期待されるべきかを知っていることにその本質がある。ニューラル・ネットワークは、その後、トレーニング・フェーズ中に提示されたことのない入力に対してさえ、一貫した応答を与えることができる。この種類に属する最も普通のネットワークは、最も有名なものでもある、順方向伝播（フィード・フォワード）を用いるマルチレイヤ・ネットワーク（即ち、一般に２つ又は３つ、最大で４つの平行な層にノードが配置される）であり、既知の１組のデータに対して起こしたエラーを最小化することによってネットワークをトレーニングすることを可能にする、逆方向伝播を用いる学習アルゴリズムを備えている。
【０１２２】
実験結果
ボールを含む領域候補の確認フェーズでは、ハフ変換を用いて計算された最大集積点を取り囲む、２５×２５ピクセルのサイズの領域が、入力として考察される。サイズは、一定の数のウェーブレット係数を有することを可能にするために固定され、試験用に考察される画像内に存在するすべてのボールを含むことができるほど十分に大きい。確認は、フィード・フォワード・タイプの３層を有するニューラル・ネットワークを用いて行われ、ボールの例及び「非ボール」（選手のシャツ、広告ボード、その他を含む領域）の例を使用することによって、逆方向伝播アルゴリズムを用いてトレーニングされる。
【０１２３】
試験フェーズとトレーニング・フェーズの両方で、候補領域は、ウェーブレット変換を用いて処理され、抽出係数が、入力としてネットワークに与えられた。
【０１２４】
トレーニング・フェーズでは、出力値１が、ボールを含む領域に関連付けられ、０が、場面のその他の物体を含む領域に関連付けられた。ネットワークは、その後、入力がボールを含む領域に関連付けられた入力に類似している場合に、１に近い値を有するように、ニューロンを接続するためのパラメータを設定する。試験フェーズでは、トレーニング・フェーズとは異なる領域が評価され、判定閾値は０．７に設定され、ボールを含む方への入力の分類は、閾値を上回るネットワークの出力に対応して行われ、ボールを含まない方への入力の分類は、閾値を下回るネットワークの出力に対応して行われた。
【０１２５】
導入された方法を一般化する能力、即ち、トレーニング・フェーズ中に学習した特徴とは異なる特徴も有するパターンを認識するシステム能力を評価するために、一連の実験が実行され、その結果が以下で報告される。
【０１２６】
実験１：試験フェーズにおける使用パターンと類似するトレーニングにおける使用パターン
そのような実験は、ＵｄｉｎｅにあるＦｒｉｕｌｉスタジアムにおける、セリエＡシーズン２００４／２００５のチャンピオンシップのＵｄｉｎｅｓｅ対Ｆｉｏｒｅｎｔｉｎａの試合中に獲得された、一連の系列について実施された。悪天候条件のせいで、試合全体が、人工照明の条件下で捕捉された。
【０１２７】
トレーニング・セットは、約６００例（ボールの２００例と非ボールの４００例）によって構成された。試験は、約１５０００フレームについて実施され、ボールを正しく認識するパーセンテージは９９％に近く、フォールス・ポジティブ（ボールが存在しない時にボールがあるとシステムが判定する）の数は非常に小さく、検査ケースの０．５％未満に等しかった。
【０１２８】
実験２：試験フェーズにおける使用パターンと異なるトレーニングにおける使用パターン
この実験では、実験１で説明したのと同じトレーニング・セットが使用され、やはりセリエＡシーズン２００４／２００５のチャンピオンシップのＬｅｃｃｅ対Ｓａｍｐｄｏｒｉａの試合中に獲得された、いくつかの系列についてボール出現を検査した。
【０１２９】
具体的には、実験は、２つのフェーズで実施された。第１のフェーズでは、人工照明の条件下で獲得された１００００画像が、試験用に使用された。そのような条件下では、このケースでボールを正しく認識するパーセンテージは９０％に低下し、異なる照明に起因するトレーニングと試験とにおける、ボールに関連するパターンの大きな見掛けの差のせいで、ボールを誤認識（フォールス・ネガティブ）する数はより大きくなった。
【０１３０】
フォールス・ポジティブの数は、代わりに、実験１に対して一定に維持された。
【０１３１】
第２のフェーズでは、代わりに、人工照明の条件下の試合の第２ハーフから抽出された系列が使用された。このケースでは、照明条件はパターンの見掛けを大きく変化させることができるので、照明条件が管理すべき最も重要な変量であることを踏まえることによって、認識のパーセンテージは、実験１で示されたパーセンテージと一致するまで回復した。一方、システムがボールのテクスチャに敏感であるという結果は生じない。
【０１３２】
実験３：異なる照明条件を用いる異なる試合において獲得された異なるボール・タイプを含む、トレーニングにおける使用パターン。トレーニングにおける使用パターンの一部と類似するパターンでの試験。
そのようなケースでは、トレーニング・セットは、Ｕｄｉｎｅｓｅ対Ｆｉｏｒｅｎｔｉｎａの試合中、及びＬｅｃｃｅ対Ｓａｍｐｄｏｒｉａの試合中に獲得された、系列の両方から抽出されたパターンを使用することによって構成された。自然光及び人工光の両方の条件下で抽出されたパターンが使用された。
【０１３３】
試験は、その後、約２５０００フレーム、即ち、実験１及び２で使用されたのと同じフレームについて実施された。
【０１３４】
認識のパーセンテージは、９５％に近かったが、それと並行して、フォールス・ポジティブの数も、実験１及び２に対して増加した（約２％）。
【０１３５】
図１４は、実験３のニューラル・ネットワークをトレーニングするのに使用された、いくつかの肯定的な例（第１行）と、否定的な例（第２行）とを示している。
【０１３６】
図１５は、ハフ変換を用いてボールが肯定的にそこから抽出され、その後、説明したばかりのニューラル手法を用いてボールが認識された、いくつかの画像を示している。画像において、白い長方形は、ボールが認識された領域を示す。
【０１３７】
これまで説明されたボールを探索するためのすべてのアルゴリズムは、画像を獲得するためのカメラに接続された処理ユニットの各々において実施される。
【０１３８】
カメラの配置が同じ場面の２重撮影を可能にすることを考慮して、アルゴリズムをより堅牢にするために、異なるカメラから来る情報の一貫性を検査することを可能にする解釈レベルは有益である。
【０１３９】
この目的のため、カメラに接続された処理ステーションの各々から、ボール検出データを入力として受け取った後、データの一貫性を検査し、そのような方法で、実験フェーズ中に発生した検出の失敗又は誤りの偶発ケースを除去することを可能にする、管理プロセスが導入される。
【０１４０】
これは、このボール検出フェーズがオフサイド検出プロセス全体において有する重要性を考えた場合、非常に望ましい、１００％に近い最適検出性能を得ることを可能にする。
【０１４１】
隣り合うカメラ間の連携を利用してボール探索領域を限定することによって、ボール探索プロセスを最適化する、スーパーバイザによって提供される可能性は、少なからず重要である。
【０１４２】
実際、このケースでは、計算時間を相当短縮することを可能にするマルチビュー・トラッキング概念を導入することによって、ボール探索は、他のカメラから来る情報に基づいて、ボールが視野に入る可能性のより高い領域だけに限定することができる。
【０１４３】
先に説明された実験は、ボールを正しく認識する良好なシステム能力を強調したが、同時に、異なるボール照明条件に対する鋭敏性の問題を引き起こした。同じ試合中に、照明条件が様々な回数変化し得る（晴天と曇天の交替、人工照明のオンとオフ、．．．）ことを考慮して、システムは、各々が異なる照明条件下でボールを認識するようにトレーニングされた、一連のニューラル・ネットワークを備えることができ、照明センサが、システムに自律的にニューラル・ネットワークを選択させるべきである。このようにして、実験１で得られた認識性能が保証される。もちろん、ネットワーク数及び関連トレーニング・セットの選択は非常に複雑であるが、予測し得ない状況も存在し得る。
【０１４４】
別の代替策は、異なる照明条件下でボールを認識するようにトレーニングされた単一のニューラル・ネットワークを利用するものとすることができる。
【０１４５】
得られた結果は、認識性能は僅かにより低く（実験１の９９％に対して実験３の９５％）、とりわけ、他の物体を含むパターンにおけるボール検出であるフォールス・ポジティブが、いくつか導入されることを示してはいるが、これらのエラーのいくつかは、マルチビュー監視を用いて全体的に、且つボール及び選手の運動を分析する以下で説明されるモジュールを始めとする、他のシステム・モジュールから来る情報の統合を用いて局所的に、制御され得ることを考慮することが必要である。
【０１４６】
ボール検出及び認識に関して先に説明されたことは、光学システムによって獲得された各単一フレームに含まれる情報の分析に基づいている。
【０１４７】
しかし、サッカーの試合におけるオフサイド自動検出は、一瞬一瞬のボール位置を認識するばかりでなく、そこにおいて「オフサイド」イベントが発生したり、しなかったりすることができるようなイベントである、シュート、パス、ボール逸れ（ｂａｌｌ  ｄｅｖｉａｔｉｏｎ）などの基本イベントを検出できるシステムを構成することも必要とする。
【０１４８】
しかし、これらの基本イベントの検出は、選手とボール自体の間の相互作用に帰すことができる軌道及び速度変化を決定するために、ボールの動きについての情報が、ボールの位置についての情報に追加されることを必要とする。
【０１４９】
導入される方法の基礎
ボール動態の検討は、画像平面での速度及び軌道の計算に基づいている（実際、撮像システムは、とりわけ計算量のせいでこの文脈では強くは推奨されない、同じ場面の複数の獲得−立体視−を提供しないので、３Ｄ空間の場面においてボール軌道を推定することは可能でない）。
【０１５０】
ボール速度は、以下の式に従って計算され、
【数７】
2008538623.tif 000010
ここで、Ｐｘｔは、時刻ｔにおける、Ｘ軸に関するボール位置を表し、Ｐｙｔは、Ｙ軸に関するボール位置を表す。Ｔは、関係
【数８】
2008538623.tif 000011
によって計算することができる、２つの連続するフレームの間に経過した時間を表し、秒単位で表現される。
【０１５１】
その結果、速度は、ピクセル毎秒単位で表現されることになる。考察される基準系は、解像度が１６００×６００ピクセルの画像について図１６に例示されたように、画像の左上に配置されたピクセルに中心が定められる。
【０１５２】
移動方向は、代わりに、
【数９】
2008538623.tif 000012
として得ることができ、ここで、θは、ベクトル理論の通常の規約に従って反時計回りに測定される、移動ベクトルとＸ軸によって形成される角度である（図１７を参照）。
【０１５３】
時刻ｔにおいて計算された移動速度及び方向についての情報は、最初に、既知のボール位置と一緒に、時刻ｔ＋１におけるボール位置（トラッキング）を予測するために利用され、その後、オフサイドの状況がそこから生じ得る一連の基本イベント（シュート、パス、逸れ、．．．）の発生を決定するために利用される。
【０１５４】
ボール・トラッキング
本発明によれば、先行する画像から得られた利用可能な情報に基づいて、ボールを見出す確率が最大になる、時刻ｔ＋１において獲得される画像の領域を計算するための関係が導入される。
【０１５５】
時刻ｔ＋１に獲得される画像において、検索ウィンドウ（ボール半径の２倍に等しい）の中心が置かれる点の横座標及び縦座標は、それぞれ、
Ｐｘｔ＋１＝Ｐｘｔ＋Ｖｘ、及びＰｙｔ＋１＝Ｐｙｔ＋Ｖｙ
によって与えられる。
【０１５６】
ボールの動きの予測を用いて検出された領域におけるボール検出の失敗は、示された式を用いて得られた点に依然として中心を置いたまま、検索領域を漸進的に拡大することを結果として伴う。
【０１５７】
具体的には、ウィンドウは、速度１２０Ｋｍ／ｈで動くボールの、２つの連続するフレーム間の移動に等しい値だけ、ウィンドウを記述する正方形の辺を引き延ばすことによって、（画像の端に達するまで）拡大される。そのような移動は、明らかに撮像システムに依存し、従って、時間毎に変化し得る。
【０１５８】
明らかに、ボール検出の失敗が長引いたことが原因で、検索領域が画像全体に等しくなった場合、実際には、場面動態についての情報が利用可能でない状態が返される。
【０１５９】
イベントの検出（シュート、パス、逸れ、．．．）
単一の画像におけるボール検出方法の信頼性及び実行速度を高めることの他に、ボール動態についての情報は、パス、逸れ、又はシュートなどの基本イベントを特徴付ける「玉離れ」イベントを自動的に検出するソフトウェア・モジュールを導入するためにも利用される。このモジュールの出力データは、その後、様々なイベントを区別し、その結果、オフサイド・イベントが生じたような状態が存在するかどうかを検出するために、フィールド内の行為者（選手）の動き動態についての情報と組み合わされることができる。
【０１６０】
「玉離れ」イベントは、２つの条件を論理ＯＲで検査することによって検出され、
１）瞬間ｔにおけるボール速度と直前ｎ回の検出におけるボールの平均速度との比較、
２）時刻ｔにおけるボール方向と最後の入手可能な検出におけるボール方向との比較、に基づいている。
【０１６１】
項目１）に関する限り、時刻ｔにおける速度Ｖは、以下の関係に従って得られる速度と比較される。
【０１６２】
【数１０】
2008538623.tif 000013
【０１６３】
先の関係において、Ｎは、平均の計算に寄与する測定の回数を表す。
【０１６４】
Ｖと
【数１１】
2008538623.tif 000014
の比較は、適応閾値に基づいて取得される。
【０１６５】
実際には、
【数１２】
2008538623.tif 000015
の場合に、イベントが検出される。具体的には、
【数１３】
2008538623.tif 000016
の場合である。
【０１６６】
実際には、選手による玉離れイベントは、それ以前に検出された平均速度の少なくとも４０％に等しい速度変化がそれに関連付けられた場合に検出される。
【０１６７】
先に述べたように、玉離れイベントは、可能な動き方向の変化を観測することによっても検出することができる。
【０１６８】
この場合、開発されたモジュールは、それまでの方向に対して少なくとも
【数１４】
2008538623.tif 000017
ラジアンに等しい方向変化が存在する場合に、玉離れイベントを検出する。
【０１６９】
実験結果
今紹介された方法の実験フェーズは、トラッキング・モジュールを確認するフェーズと、玉離れイベントの自動検出用のモジュールを試験するフェーズという、２つの別個のフェーズで都合良く説明することができる。
【０１７０】
第１のフェーズでは、実際には、ボール検出モジュールを説明される知的トラッキング・モジュールと統合することによって、先の実験が繰り返された。
【０１７１】
３つの実験すべてで、実際に、ボール誤検出（フォールス・ポジティブ）の数は、ゼロにされ、検出失敗の数は、実験１では９９％から１００％に、実験２では９０％から９２％に、実験３では９５％から９７％に推移した。
【０１７２】
さらに、画像を処理するための時間は、リアルタイムで動作する（即ち、獲得用に使用された撮像システムによって獲得された６０フレームすべてを１秒で処理する）ことを可能にすることによって、平均で５０％短縮された。
【０１７３】
図１８では、Ｕｄｉｎｅｓｅ対Ｆｉｏｒｅｎｔｉｎａの試合の系列から抽出された約８００フレームのボール速度のグラフを観察することが可能である。−１に等しい速度値は、ボール速度を計算するのに十分な情報を欠いていることを示す。
【０１７４】
図１９は、代わりに、図１８と同じフレームにおけるボール移動方向に関するグラフを示している。このケースでも、−１に等しい縦座標の値は、移動方向を計算するのに十分な情報を欠いていることを示す。
【０１７５】
２つのグラフにおいて強い不連続性を持たない区域は、ボールがフィールド内で選手との相互作用を受けずに動いているプレー・フェーズに関係し、そのようなフェーズでは、ボール・トラッキング・アルゴリズムは、性能及び計算に関して利益を得ることを可能にすることによって、正しく動作する。コースの偶発的且つ多かれ少なかれ強い不連続性は、（選手との相互作用に帰すことができる）外力がボールの動きを変えた瞬間に関係する。そのような瞬間において、トラッキング方法はうまく動作しないが、それらは、シュート、パスなど、サッカーの試合の基本イベントを自動的に検出するための基本ツールである。
【０１７６】
実験の第２のフェーズは、これらのイベントを検出するためのモジュールの試験に関係する。このケースでも、実験は、Ｕｄｉｎｅｓｅ対Ｆｉｏｒｅｎｔｉｎａ、及びＬｅｃｃｅ対Ｓａｍｐｄｏｒｉａの試合から抽出された系列について実施された。
【０１７７】
表２は、基本イベントの検出について得られた結果を示している。
【０１７８】
【表２】
2008538623.tif 000018
【０１７９】
行われた実験では、ゴール・シュートの場合、イベントの検出失敗は、ボールが大きな速度で動いており、その結果、ボールを検出するためのシステムが失敗する状態が生じたという事実による。これ以降、そのような不都合を回避するための可能な解決策が説明される。
【０１８０】
他のケースでは、代わりに、イベントの前後でボールが光軸に平行な動きの下にあったため、基本イベントがシステムによって検出されない。
【０１８１】
これらのケースでは、獲得された画像によって感知される速度変化はほとんどなく、移動方向も変わらないままであることを考えると、人間の眼であっても、ボール・タッチが実際に起こったかどうか、いつ起こったかを正確に決定することはできない。
【０１８２】
しかし、いずれのケースも、これらのケースは、オフサイドの状況がそこから生じることはできないので、重要性はあまりないことを強調しておかなければならない。
【０１８３】
２つのケースで、実際には選手がボールと相互作用していない時に、選手との相互作用に帰すことができるイベントをシステムが検出した（フォールス・ポジティブ）という事実を強調することも重要である。
【０１８４】
２つのエラーは、垂直方向でのシュート（しばしば「チップ・シュート」と呼ばれる）の場合に、重力に起因するボール速度及び方向の変化が存在する時に生じた。
【０１８５】
そのような不都合は、稀にオフサイド検出システムの誤動作を生じさせることがあっても、これ以降で説明されるモジュールから得られる、場面内の選手の位置についての情報が考慮されれば、除去することができる。選手がボールの近くにいない場合、ボール速度及び方向の変化はフィールド内の選手の介入のせいではないと推論し、その結果、オフサイド・イベントを検出する可能性を排除することは容易である。
【０１８６】
図２０Ａ及び図２０Ｂでは、玉離れイベントの自動検出が追加された先の図と同じグラフを認識することが可能である。１に等しい値は、玉離れイベントの発生を示し、値−１に関連付けられる非検出ケースから区別される。
【０１８７】
シュート、パス、及びその他の種類のボールと選手の間の相互作用などの基本イベントは、しばしば、速度及び方向の変化の両方によって特徴付けられることを観察することが可能である。
【０１８８】
行われた実験から、本発明によるシステムが、シュート、パス、逸れ、その他など、オフサイドがそこから生じ得るイベントが起こる瞬間を正確に検出することができると結論することが可能である。さらに、ボール動態の検討に基づいた技法は、ボールの正確な検出の性能をさらに改善することを可能にした。
【０１８９】
さらなる改善は、以下で説明される技法及び方法を用いて得られるフィールド内の選手に関係する情報を統合することによって行うことができる。
【０１９０】
すでに述べたように、選手及びその他の行為者（主審、線審、．．．）は、対象の第２のカテゴリに属する。それらの正確な検出は、オフサイド行為を検出するための基本ステップである。実際、一方で、パス又はシュートが行われた時点を理解するために、ボール位置を検出し、常に追い続けることが必要であるとすれば、同時に、選手がオフサイドの状況に直面しているか、いないかを決定するために、選手とプレー・グラウンド上におけるその位置を検出することも基本的に重要である。
【０１９１】
この意味で、
１．どのような照明及び天候条件でも、場面に存在する行為者を検出すること、
２．チーム若しくは別のチームに属するとして、又は主審及び２人の線審に属するとして検出された様々な行為者を分類すること、
３．それらの作用者の間の可能な（あり得る）遮蔽を扱うこと、
４．オフサイドの状況が存在するか、しないかを決定できるように、選手自身の位置を明確且つ一義的に決定すること、
を自動的に行えるシステム・モジュールを事前構成することが必要である。
【０１９２】
容易に推察できるように、これら４つの項目は、すべて等しく重要であり、密に相関し、従って、最良に機能するためには、これらのステップの各々が一貫した結果を提供することが必要である。例えば、システムは、照明の交換に対処することができない場合、場面における物体の存在を正確に検出することはできず、その結果、選手を正確に検出及び分類することはできず、従って、全体として、許容可能な結果を提供しない。
【０１９３】
これ以降、この繊細なフェーズを扱う手法が提案され、さらに、提案される方法と共に得られるいくつかの予備結果が提供される。さらに、提案されるアルゴリズムの重大な態様が、適切な制約及び動作可能性条件を評価することによって強調される。
【０１９４】
第２のカテゴリに属する対象を認識するためのそのようなフェーズの場合も、検査中の画像の各点の輝度レベルの分析に基づいて、そのような第２の対象を含む領域候補を抽出するためのサブフェーズが提供される。そのような分析は、バイエル格子（Ｂａｙｅｒ  ｇｒｉｄ）の形態のセンサを用いて獲得される、グレー・レベルによる画像に対して実行することができる。代替として、分析は、ＲＧＢ又はＨＳＩバンド上で動作することによって、カラー画像に対して実行することもできる。
【０１９５】
図２１は、フィールド内の行為者を検出及び分類するプロセスの顕著なステップからなるフローチャートを表している。そのようなプロセスは、オフサイド検出システムの全体的方式に統合される。
【０１９６】
図を観察することから明らかなように、行為者を分類するシステムは、以下の主なステップを提供する。
・運動物体の検出（動き検出）
・運動物体の分類
・トラッキング
【０１９７】
第１のフェーズは、動く輪郭を検出及び抽出することにその本質がある。そのような操作は、「動き検出」と呼ばれ、以下本明細書で詳細に分析される一連のステップによって構成される。そのようなフェーズの目的は、画像を区分化すること、即ち、場面内に存在する運動物体の各々を個別に検出及びラベル付けすることである。やはりそのようなフェーズでも、可能なノイズを除去すること、及び各輪郭から影残余（ｓｈａｄｏｗ  ｒｅｓｉｄｕｅ）を除去することが提供される。
【０１９８】
そのようにして得られた輪郭は、分類される準備ができている。まず最初に、十分に代表的な特徴が、そこから抽出され、その結果、そのような特徴は、ニューラルＳＯＭネットワーク・ベースの分類器に送られる。このフェーズの終了時には、各輪郭は、関連する所属クラス（チームＡ、チームＢ、主審、及び線審クラス）に割り当てられる。
【０１９９】
この情報を得た後、先行する瞬間に関係する情報に基づいて、後続する瞬間におけるフィールド内選手の位置を予測するために、各輪郭は、フィールド内選手の移動の動態の分析を扱うモジュールに渡される。このモジュールは、各運動物体の運動学パラメータを抽出及び検査することによって、プレー動態の進展を解釈し、この処理フェーズに含まれる他のアルゴリズムのタスクを促進することも可能にする。
【０２００】
各行為者の画像平面上での位置確認、各行為者の所属クラス、及び各行為者の移動方向が、プロセスの全体的出力である。
【０２０１】
この情報は、ボール認識及びトラッキングと、シュート及びパスなどの基本イベントの検出との両方に関係する、先に説明されたモジュールから来る情報と組み合わされて、システムが可能なオフサイド・ポジションを自動的に決定できるようにする基礎を構成する。
【０２０２】
提案されたアルゴリズムについてのさらなる詳細が以下で提供され、セリエＡ  ２００４／２００５のイタリア・サッカー・チャンピオンシップの異なる試合において獲得された画像で得られた結果が説明される。
【０２０３】
場面の内部で行為者の分類を得るための第１のステップは、図２１から明らかなように、できるだけ詳細且つ信頼性のある方法で動く輪郭を抽出することであり、それを行うために、動き検出アルゴリズムが使用される。そのようなアルゴリズムが、図２２に図示されている。
【０２０４】
図２２のチャートの分析から、このアルゴリズムの顕著なステップを見つけることが可能である。
・背景モデルの生成
・背景の減算
・背景モデルの更新
・影の除去
・動く輪郭の区分間
【０２０５】
文献では、そのような問題は、非常に時局的で、依然として未解決であり、例えば、遠隔監視、交通制御など、多くの応用例にとって非常に重要である。
【０２０６】
それは、瞬間ｔにおいて検出された色値と、獲得状況、とりわけ照明条件の変化を自動的に扱うために動的に構成され、常に更新される基準モデル（背景）の色値との点対点の減算（ｐｕｎｃｔｕａｌ  ｓｕｂｔｒａｃｔｉｏｎ）を用いる動き検出に基づいている。
【０２０７】
このプロセスの出力は、選手の輪郭を含む有縁の画像（ｂｏｒｄｅｒｅｄ  ｉｍａｇｅ）であるが、あり得るノイズ、とりわけ、動く画像の部分ではあるが、輪郭の形状情報及び内容を変化させ、その後の分類及び位置確認を不可能にする影を除去するために、さらなる処理を必要とする。
【０２０８】
このプロセスの後、基準モデルに対して強い色差を有する画像ピクセルは、空間情報に基づいて領域に集約される。
【０２０９】
この動き検出フェーズの終了時に、場面内に存在する行為者の輪郭は、利用可能となり、その後、後続の分類及びトラッキング・モジュールに渡すことができる。
【０２１０】
この時点で、後続ステップは、チームＡの選手、チームＢの選手、審判、チームＡのゴールキーパー、チームＢのゴールキーパーという５つの可能なクラスの１つに選手を分類することである。
【０２１１】
背景モデルの生成（背景生成）
運動物体の検出（動き検出）は、コンピュータ・ビジョンの分野における古典的問題である。この問題の解決策に関するより効率的な手法の１つは、各獲得画像に対して、背景画像と呼ばれる基準画像を減算することにその本質がある（この理由で、この技法は文献では背景減算として示される）。
【０２１２】
そのような技法の最初のステップは、適切な方法でまさに背景画像を生成することである。そのようなフェーズは、動き検出プロセス全体にとって基本的役割を有し、実際、誤った背景モデルから始めると、運動物体は正しく検出されることができず、又は検出されたとしても、形状を維持することができず、オフサイド・ケースの検出を要求される後続の処理を不可能にする。
【０２１３】
オペレータの監視を提供して背景モデルを生成する既存の技法の大部分とは異なり、本発明による技法は、代わりに、非監視タイプのモデル構築に基づいている。
【０２１４】
数百の画像から始めて、３つのＲＧＢチャネルの時間平均を実行し、各点についての平均及び分散値を保存することを選択した。そのようにして生成されたモデルから選手を除外するために、時間ウィンドウ（幅が写真１００枚分に等しい）が、トレーニング系列全体の上でスクロールさせられ、今度は、ウィンドウ全体の統計点に関する平均及び分散値を保存した。このようにして、選手又は他の運動物体が、計算から除外された。そのようなウィンドウは、上記の統計値が画像のすべての点に正しく割り当てられるまで、複数回スクロールさせられる。そのようにして得られたモデルは、非常に堅実且つ堅牢であり、背景減算アルゴリズムによって利用される。形式的には、Ｉ０がＷ個のフレームからなる各系列の最初の写真を示す場合、モデルは、以下のような結果になる。
【０２１５】
【数１５】
2008538623.tif 000019
【０２１６】
ＮＷは、長さがＷフレームに等しいウィンドウにおいて、点（ｘ，ｙ）が一定であり続けた回数を表す。そのような値がＷの９０％よりも高い場合、値ＭＲは、バンドＲにおける点（ｘ，ｙ）の平均輝度値の信頼できる評価と考えられ、それ以外の場合は廃棄され、値ＭＲは、Ｗフレームからなる後続ウィンドウで再計算される。同様の説明が、他の２つのカラー・バンド（Ｇ及びＶ）、並びに様々な変動についても行われる。アルゴリズムの各ステップで、平均及び分散統計値が割り当てられるピクセルの数は増加する。検査下の状況（非常に動きの速い対象）の特徴及び数多く実行されたテキスト（ｔｅｘｔ）は、背景を完全にモデル化するには比較的少ない写真で十分であることを明確に示した。実行された各試験におけるそのような数は、１０００より多くなったこと、即ち、サイズ１００のウィンドウについて１０回より多い繰り返しとなることはなかった。獲得速度（６０フレーム／秒）を考えると、これは、基準モデルを生成するには、約１５〜１７秒の観測で十分なことを意味する。
【０２１７】
そのような技法は、フィールドの縁に動画の広告ボードが存在するなど、難しい条件下でも、堅牢であることを明らかにした。
【０２１８】
背景減算及び更新
基準モデルは、先に説明したように生成された後、現在の画像から減算される。このようにして、差画像が得られ、差画像において、各ピクセルは、サッカー試合画像の場合、選手、並びに主審及び線審に一致する運動物体に属するとしてラベル付けされ、又はラベル付けされない。
【０２１９】
このフェーズのために選択された手法は、３つのＲＧＢカラー・バンドで別々に動作し、３つのバンドの少なくとも１つにおいてモデル希望値から逸脱した場合（実際には、３つのバンドの各々について得られた結果の間の論理ＯＲで具体化する）、ピクセルを動いているものと見なす。言い換えると、ピクセルは、バンドの少なくとも１つが、分散値の少なくとも２倍だけ希望値から逸脱した場合に、動いているものとしてラベル付けされ、各ピクセルの各バンドにおける希望値及び分散は、先の段落で説明されたモデル生成フェーズで自動的に取得される。その場合、この手法は、異なる獲得状況を自動的に扱うことを不可能にする非適応閾値を確立しなければならないという、文献に見出される問題を排除する。形式的には、ＩＯＵＴ（ｘ，ｙ）が、減算演算のバイナリ出力（１＝静止点、０＝運動）、ＭＲ及びＶＲがそれぞれ、検査下の点のバンドＲに関する平均及び分散を示す場合（他の２バンドについても類似の表記）、以下の式が得られる。
【０２２０】
【数１６】
2008538623.tif 000020
【０２２１】
動くピクセル（我々にとって、現在のところ、それはまだ単一のピクセルであり、物体ではないことを思い出すことは価値がある）が検出された後、背景モデルの更新を実行する必要があるが、そのようなフェーズは、実際のところ、背景画像の時間一貫性について責任を負うので、基本的な役割を有する。そのような更新を行わない場合、（上で説明したように）環境条件が連続的に変化する傾向にあることを考えると、数フレーム後に、生成された背景モデルが、新しい条件に対して古くなり、その後、システムが、現在の画像とモデルの間の減算について、オフサイド検出用には使用できない、非常にノイズの多い減算結果を提供し始める可能性は非常に高い。
【０２２２】
言い換えると、各環境変化は、背景モデルに継続的に取り込まれ（ｅｎｇｌｏｂｅ）なければならず、環境変化の下で、自然と人工両方の照明変化ばかりでなく、大気要因に起因する、又はカメラの物理的捕捉条件における各変化も、意味付けされなければならない。背景モデルの更新を実行するように提案されたシステムでは、指数フィルタが利用されて、背景画像における現在値と現在フレームにおける記録値とを、異なる重みによって調停する。このようにして、係数重みの値に働きかけることによって、履歴の値よりもむしろ現在の値により大きな重要性を与えると考えることができる。形式的には、αが係数重みを示す場合、（すべてが同じ瞬間において参照され、すべての値について等しいため、先の式では式に負担をかけないように省略されていたが、今は必要な時間表示を除いて）先に見たのと同じ表記を保つことによって、以下の式が得られる。
【０２２３】
【数１７】
2008538623.tif 000021
【０２２４】
文献に存在するいくつかの方法で起こったように、ある数のフレームにわたって場面に留まっている物体が背景に取り込まれることを避けるため、先行フェーズが静止しているとして検出したピクセルに対してだけ、更新が実行される。このようにして、運動物体が、かなり長い期間にわたって止まっていなければならないとしても、決して背景モデルの一部となることはなく、従って、常に運動物体として見られ続ける。そのような観察を更新式に含むことを望む場合、式は以下のようになる。
【０２２５】
【数１８】
2008538623.tif 000022
【０２２６】
同様の説明が、分散についても行われ、その後、残りのカラー・バンドに拡張される。
【０２２７】
このような手順は、その後、ある数のフレームにわたって静止し続ける選手、例えば、ゴールキーパーを、背景モデルに含まないことを可能にする。
【０２２８】
その他の色空間への一般化
先に説明された手法は、ＲＧＢカラーを有する３つのバンドに働くことによって、最初に実施された。異なる状況で動作するシステムを事前構成するために、他の動作環境でも背景減算手続きを実施することが選択された。
【０２２９】
第１の手法として、別の色空間、特にＨＳＩにおいて動作することが選択された。先に説明された手続きは、実質的に変わりはないが、ただ、３つ組情報は、以前は各点がＲＧＢ色成分によって形成されることを特徴としたが、今は３つのＨＩＳ成分によって形成される。現在の画像と基準背景モデルの間の比較結果は、それらの間の論理ＯＲにかけられ、その結果、その点が運動として分類されるには、３つの成分の１つが、希望値から逸脱していることで十分である。形式的には、以下のようになる。
【０２３０】
【数１９】
2008538623.tif 000023
【０２３１】
その後、他の可能な解決策を事前構成するために、とりわけ計算時間に関連する可能な問題に取り組むために、背景モデル化及び背景減算の手続きを、光学センサによって獲得されたネイティブ画像、即ちバイエル格子に対して直接実施することが選択された。このケースでは、先に説明されたすべての演算は、それがグレー・レベルを有する画像であるかのように、各単一点に対して作用する。このフェーズの結果は、どの画像部分が着色されなければならず、どの部分がその必要がないかを決定するために次に利用される、バイナリ・マスクである（このようにすると、一方では、着色に関する時間は画像の一部だけを着色するために提供されるので、着色時間が増やされ、他方では、３つの成分ではなく単一の成分に対して作用することは、モデル化、モデルの減算、及び更新のための計算時間を大きく短縮する、という２重の利点がある）。
【０２３２】
区分化
先の段落で説明した手続きに従って、背景モデルに対して強い変化を有するピクセルを各フレーム内で検出した後、どのピクセルが同じ物体に属するかを決定するために、動くピクセル間の空間関係を確立する必要がある。このフェーズは、文献ではしばしば区分化として報告されており、区分化を実行するために、接続性分析に基づいた手法が選択された。
【０２３３】
接続性分析は、ピクセルの距離に基づいて隣接ピクセルを関連付ける方法であり、その後、動くピクセルのマップから始めて、場面内の物体を検出及びラベル付けすることを可能にし、さらに獲得システムによってシステムに導入されたノイズのせいで、本当の運動物体に関連付けることのできない可能性のあるピクセルを、画像から取り除くことを可能にする。この最後のステップは、フィールド内の人物のサイズのみと一致する面積を保つことを可能にする、検出領域の面積について閾値を生成することによって実行される。
【０２３４】
実際には、手続きは、運動点としてラベル付けされた点を探して画像全体をスキャンし、それが見つかると、この点から始めて、点に一義的コードでマークを付ける、再帰的アルゴリズムが起動し（反復的なより簡単なバージョンが実施された）、アルゴリズムは、その点と隣接する、まだラベル付けされていないすべての点を検査し、それらも運動点である場合は、今度はそれらがラベル付けされ、検査される。この手続きが終了すると、画像全体のメイン・スキャンが、中断されていたところから再開して、検査／ラベル付けされていない運動点を再び探す。このプロセスは、画像全体を検査するまで継続する。
【０２３５】
区分化は、各検出物体をラベル付けし、後続のトラッキング・フェーズでその後役に立つ追加情報（面積、重心の座標、幅、高さ、．．．）を計算するタスクも有する。
【０２３６】
実際には、区分化手続きを用いて、ピクセル概念から領域概念に移行した１つのレベルによるデータ解釈が引き起こされ、そのような重要なステップの後にのみ、場面を解釈し、可能なオフサイドの状況を決定するための基本ステップである、選手並びに主審及び線審を分類する手続きを起動することが可能である。
【０２３７】
サッカー選手並びに主審及び線審を検出するための方法の評価
サッカー選手の区分化によって得られた結果に関する試験が今から説明される。試験は、図２３にその詳細が示された４つの異なる系列を含む。
【０２３８】
図２４は、図２３に示された試験系列から抽出されたいくつかの画像上で得られた、先に説明された区分化フェーズの結果を示している。
【０２３９】
具体的には、Ｕｄｉｎｅｓｅ対Ｃｈｉｅｖｏ、及びＬｅｃｃｅ対Ｓａｍｐｄｏｒｉａの試合に関する系列に対して実行された実験は、Ｂａｒｉにあるスタジアムで獲得された系列を用いて得られた結果に比べ、一般により信頼性の高い結果を示した。これは、とりわけ、上記２つの試合を撮影するのに使用されたより優れた品質の光学機器のためである。図３の画像ａ）を調べると、関連する系列には、大きな問題が存在しないことは明らかであり、唯一の曖昧なケースは、２人の選手が重なり合った時の、単一の輪郭の不明瞭なもの（ｂｌｏｂ）の検出である。
【０２４０】
そのような状況は、これ以降で詳細に説明される特別な方法（トラッキング）を用いて、選手の動きの動態を分析することによって、対処することができる。
【０２４１】
ＢａｒｉにあるＳａｎ  Ｎｉｃｏｌａスタジアムで獲得された画像ｂ）を調べると、代わりに、左端において、選手の影が、本当の物体であるかのように、検出されていることが分かる。物体の輪郭を大きく変え、その結果、選手位置の測定値を大きく変える影の存在は、オフサイド評価という目的に関して、一連のエラーを引き起こすことがあり、この目的のため、これ以降で説明される特別な技法が開発された。さらに、出力画像の全体的検査から、Ｂａｒｉのスタジアムの照明条件は、結果の信頼性を、Ｕｄｉｎｅｓｅ対Ｃｈｉｅｖｏの試合の画像を用いて得られた結果よりも、僅かに低くすることが、結果として得られた。
【０２４２】
特に、光と影が推移する領域では、時々、本当は何も存在しないのに、動きの存在が検出され、やはり完全ではない照明のせいで、時々、選手が、２つの隣接する輪郭の不明瞭なものに分割された。しかし、これらの問題は共に、トラッキングに関連するモジュールを実施することによって解決された。
【０２４３】
表３は、各単一の処理フェーズに関連する計算時間を示している。含まれる各動作について、（同じ画像上で同じアルゴリズムを５０回実行して評価された）使用時間の平均がｍｓ単位で示されている。試験画像のサイズは、１６００×６００ピクセルである。試験プラットフォームは、７６８ＭｂのＲＡＭメモリと、Ｗｉｎｄｏｗｓ（登録商標）  ＸＰ（登録商標）オペレーティング・システムを備えた、Ｉｎｔｅｌ  Ｐｅｎｔｉｕｍ（登録商標）ＩＶ  １．５ＧＨｚベースのＰＣである。
【０２４４】
しかし、簡単な方法で表現したため、表３は、リアルタイムで実行される必要があるフェーズによって必要とされる計算時間を示すのみである。個々の計算要求が含まれない動作（例えば、試合開始数分前にフィールド内で１度実行されるだけでよい背景初期モデルの生成）は、表から除外された。
【０２４５】
【表３】
2008538623.tif 000024
【０２４６】
表３に示されたデータは、コードに何の最適化も施さずに得られたものを純粋に表しており、例えば、
・フレーム毎ではない、定期的な背景モデル更新の実行、
・処理中の動的割り当ての最小化、
・処理が実行されるべき画像面積を制限するための、トラッキングに関する情報の利用など、計算時間を短縮するための一連の改良を考案することもできる。
【０２４７】
しかし、それらは、実施されるアルゴリズムの計算量について概略の表示を与えており、どのような妥協又は専用ハードウェアにも頼ることなく、リアルタイムで作業する可能性に扉を開いている。
【０２４８】
影除去
先に見たように、運動物体の区分化フェーズは、検査下の画像と利用可能な背景モデルとの比較から得られる情報を利用する。このようにして、選手は、その影と一緒に抽出され、このことは、選手の分類とその後のオフサイド検出とにとって重大な結果を有する、選手自体の物理的特徴の変更を伴う。従って、異なる照明条件（人工光、強烈な自然光、柔らかい自然光）の存在下でも動作可能な、影を除去するための特別なアルゴリズムを導入することが必要であるという結果に帰着する。影を除去するために導入されるアルゴリズムは、２つの異なる手法に基づいており、第１のアルゴリズムは、テクスチャ分析に基づき、一方、第２のアルゴリズムは、領域トポロジの検討に基づいている。両方の手法が、以下の２つのサブ段落で詳細に説明される。
【０２４９】
テクスチャ分析
影領域を除去するのに使用される第１の手法は、影は、場面上に存在する他の物体のようにそれ独自の着色及びテクスチャ特徴を持たず、テクスチャ及び着色特徴が背景モデルに対してほとんど変化しない、光輝度の変化のみが存在する領域以外の何ものでもないという観察から開始する。
【０２５０】
言い換えると、影は、それ独自の特徴を持たず、各点のスペクトル内容に変化があるだけの（点の場合、影の存在下ではグラウンドに広がる光の量は少なくなるので、薄暗くなる）、対応する背景領域の特徴を単に維持している。
【０２５１】
影領域のこの特徴を利用することによって、「動く」領域として検出された各領域のために開発された技法は、テクスチャに関する内容を制御し、そのようなテクスチャが、同じ領域内の背景モデルと異なる場合、それ独自の良く定義された特徴を有する物体、例えば、選手である可能性が高く、反対に、そのような領域が、現在の画像と背景モデルとで同じテクスチャを有する場合、影領域である可能性が高い。そのような制御を実行するため、検査下の領域は最初に、測光利得（ｐｈｏｔｏｍｅｔｒｉｃ  ｇａｉｎ）
【数２０】
2008538623.tif 000025
の一様性に基づいて、一連のサブ領域に分割され、ここで、Ｉｔ＋１（ｘ，ｙ）は、検査下のピクセルのスペクトル内容であり、Ｂｔ（ｘ，ｙ）は、背景モデルにおける対応する値である。
【０２５２】
このようにして、影領域を物体の残りの部分（おそらく同様に複数のサブ領域に分割される）から分離するという目的で、このように各動く領域をサブ領域に分割することによって、同じ測光利得を有する領域がグループ化される。
【０２５３】
この時点で、先に検出されたサブ領域の各々について、テクスチャ内容が評価され、そのような内容が、現在の画像と背景画像とで同じである場合、サブ領域は、「影」としてラベル付けされ、除去される。
【０２５４】
テクスチャ間のそのような比較は、様々な方法で、例えば、領域間の相関レベルを評価することによって実行することができるが、特に複雑な計算によってシステムに負荷をかけないように、同じ領域の隣接ピクセル間の比較に基づいた、計算の観点からあまり煩雑でないアルゴリズムを実施することが選択された。
【０２５５】
実際には、同じサブ領域に属する隣接ピクセル間の関係を比較することによって、そのような値が、現在の画像と背景画像とで同じである場合、その点は影の候補である。形式的には、検査下のサブ領域の各点について、
【数２１】
2008538623.tif 000026
が評価され、Ｄがある閾値より大きい場合、点（ｉ，ｊ）は、点（ｘ，ｙ）と密に相関しており、従って、それらは、影点としてマーク付けされる。
【０２５６】
この制御が終了すると、各サブ領域において影としてラベル付けされたピクセルの数の確認が、サブ領域が除去されなければならないか否かを決定することを可能にする（例えば、サブ領域は、影点を９０％含む場合、除去される）。
【０２５７】
図２５は、図２３（Ｄ）と同じ画像を示しているが、影の除去を実行した後であり、左下の選手は今では互いに分離され、関連する境界ボックスが、影のない本当の輪郭を正確に中央に取り囲んでいることが分かる。
【０２５８】
システムをより堅牢にするために、先に説明されたアルゴリズムの変形が試験された。具体的には、影を輪郭の残りの部分から分離するために各物体をサブ領域に区分化することに関して、スペクトルの一様性に基づく技法が、良好に実施された。サブ領域の生成は、測光利得の一様性ではなく、スペクトル内容の一様性に基づき、ＲＧＢの３つ組に関して同様の内容を有する隣接ピクセルが、単一の領域に一塊りにされた。そのような技法は、科学的観点からはあまり堅実には思えないが、特定の適用可能状況のおかげで良好な結果を保証し、実際、サッカー・フィールドでは、プレー・グラウンドが色合いについてほとんど一様であることは仮定できず、従って、影領域の存在下でも同じことが生じる。この方向に進むことによって、測光利得の一様性に基づいた先に見た区分化に類似する、非常に良好な区分化が得られた。
【０２５９】
トポロジ分析
影を除去するための説明された技法は、主に人工光又はあまり強くない自然光（例えば、曇天）での試合中、特にマーク付けされない影の存在下で、最良の結果を生む。強い太陽照明の場合、ヒストグラムは低い値に向かって飽和する傾向にあり、影領域は常にほとんど完全な黒に見えるので、影領域のテクスチャ内容は失われる。
【０２６０】
影領域におけるこれらの条件下では、画像内に存在する微細構造を区別することは、もはや可能でなく、信号対ノイズの関係は、きわめて低い値をとる傾向にある。
【０２６１】
これらの照明条件下でも影を除去するために、画像内の影位置の幾何学的スペクトル予測（ｇｅｏｍｅｔｒｉｃａｌ−ｓｐｅｃｔｒａｌ  ｐｒｅｄｉｃｔｉｏｎ）に基づいた、代替技法が実施された。試合日時である確かなデータ（即ち、プレー・フィールドに対する光源の位置）から始めて、太陽照明のモデルを人工的に構成し、サッカー選手の影の形状及び方向を予測することが可能である。そのような幾何学的情報は、その後、背景画像に対してＲＧＢの３つ組の輝度レベルが実際に低下した、影として除去される候補を、点の中から選択することを目標として、スペクトル・タイプの制御によって統合される。
【０２６２】
そのような技法も、試験系列上で試験され、そのような場合も、結果は疑問の余地がなかった。
【０２６３】
分類
システム全体が可能なオフサイドの状況を検出することができるために、すでに説明された区分化アルゴリズムを用いて、先に検出された物体の分類モジュールを導入することが必要である。
【０２６４】
分類フェーズの目的は、色情報に基づいて、選手、審判、ゴールキーパーといった、場面上に存在する動作主のタイプを区別することである。
【０２６５】
図２６を観察することから明らかなように、このフェーズが、分類される物体をより良く表す特徴を抽出することを目標とするサブプロセスと、本当の分類にその本質がある別のサブプロセスの、２つのサブプロセスによって構成されているように見えることを述べておく必要がある。これ以降、フェーズが１つずつ、詳細に検査される。
【０２６６】
特徴抽出
そのようなフェーズの目的は、認識される物体、我々のケースでは、サッカー選手及び審判を最も良く特徴付ける情報を検出することである。
【０２６７】
選択された特徴は、十分に明確な属性を持たなければならず、特に、それらは、
・容易且つ迅速に抽出されなければならず、この要件は、リアルタイムで動作する各々の可能性を事前に排除しないために、基本的な重要性を持つ。
・認識プロセスを容易にするために、各動く領域の色特徴の「空間」分布についての情報を保持しなければならない。そのような賢さは、例えば、黄色いシャツと黒いショーツを着けた選手が、黒いシャツと黄色いショーツを着けた選手と混同されることを回避するが、そうした混同は、選択された特徴が、輪郭の着色について、物理的分布に関する言及のない、専ら全体的な情報のみを含む時には、非常に起こりそうなことである。
・十分に表現的でなければならず、即ち、出力空間を明確に分離されたｎ個（探索されるクラスの数）の部分空間（ｉｐｅｒｓｐａｃｅ）に、それの重なり合い（クラスタのコンペネトレーション（ｃｏｍｐｅｎｅｔｒａｔｉｏｎ））を起こさずに（又は最低限に制限して）、分割する能力を持たなければならない。
【０２６８】
本発明による解決策は、垂直ヒストグラムの投影の変形を利用するものである。具体的には、ｈ行３列の行列は、分類される各輪郭に関連付けられ、ここで、ｈは検査下の輪郭の高さである。次に、行毎に、３つの対応する値は、検査下の物体の点の、ＲＧＢカラーのバンド毎の、平均値を含む。形式的には、ｘ（ｉ，ｊ）は、行列の位置（ｉ，ｊ）の要素を表し、それは、
【数２２】
2008538623.tif 000027
によって与えられ、ここで、Ｎは、行ｉにおける物体のピクセル数であり、表記Ｉｊ（ｉ，ｋ）は、元の画像の位置（ｉ，ｋ）のピクセルの、カラーｊのバンドに関する、輝度値を表す。
【０２６９】
ＲＧＢ空間が目的に適さないことを示した場合に、新しい状況のための環境を準備するため、ここで説明された特徴を抽出するための手続きが、ＨＳＩ色空間でも完全に同様の方法で示された。
【０２７０】
分類器
場面内の各動く領域の記述的特徴が決定された後、適切に分類器を選択することによって、探索されるクラスを区別する能力を確認することが必要である。
【０２７１】
通常は、管理される手法がより正確且つ迅速であるとしても、本発明によれば、管理されないタイプの手法、即ちＳＯＭ分類器が使用される。
【０２７２】
そのような選択は、問題の性質、及び人間の介入を最低限に制限する必要によって命じられた。実際には、最終ユーザによる使用を大幅に簡単化する利点のために、システム設計フェーズの複雑さを増大させることが選択された。
【０２７３】
具体的には、分類器の本質的な特徴から得られる利点と一緒に、全体をさらに増強する一連の装置を有する、システムを実施することを目標とした。そのような解決策の主な利点は、
・分類フェーズにおける高い柔軟性。トレーニング・フェーズが終了すると、システムは、出力空間を適切に分割し、これらのクラスの各々の代表を構成した。この時点で、各新しい要素は、様々な代表と比較され、最も類似するものが、勝者と見なされる。
・トレーニング・セットの定量的特徴への低い依存性。そのようなクラスにとっていかに重要であっても、代表を得るには、物体の各タイプの少数の要素で十分である。
・獲得条件、特に照明に対する低い鋭敏性。時間の経過に伴い、試合における光の条件は、極端な場合は自然光で開始して光で終了することがあり得るほど、かなり変化する。この意味で、実行された各分類に信頼性指標（ｒｅｌｉａｂｉｌｉｔｙ  ｉｎｄｅｘ）を割り当てることが行われる。指標が結果的に非常に高くなった（発明者らの実験では９５％より高い）各要素は、再びトレーニング・セットに挿入され、まさにそのような変化に取り組むために、新しいトレーニングが定期的に実行された。
・高いトレーニング柔軟性。人間のオペレータの手動介入は要求されず、すべてが要素の自動選択に基づいているので、トレーニングは、試合開始前、チームがフィールド内で準備をしている時に直ちに実行することができる。反対に、管理される手法の場合、試合前におそらく提供されるシャツ、ショーツなどについての情報に基づいて、事前に手動でトレーニングを準備する必要がある。従って、各チームのすべての可能なユニフォームのデータベースを、すべてのチームについて、すべての可能な照明条件の下で扱う問題も生じ、これは非常に煩雑な作業であり、扱うのが難しい。
【０２７４】
ＳＯＭ分類器
ＳＯＭ（自己組織化マップ（Ｓｅｌｆ  Ｏｒｇａｎｉｚｉｎｇ  Ｍａｐ））分類器は、古典的なニューラル・ネットワークの特性の大部分もその内部に含む、特定の管理されない分類器である。
【０２７５】
ＳＯＭネットワークは、共通の１組の入力に接続された２次元のニューロンの層によって構成される（図２７）。
【０２７６】
各入力ベクトルは、ニューロンの局所グループを「興奮」させる。ネットワークに入力セットの提示を与える管理されない学習フェーズの後、マップの興奮させられたニューロンのグループの空間位置が、入力ベクトルのトポロジカル・マップを表すという意味で、マップは自己組織化を行う。これは、入力のｎ次元空間における距離関係が、ニューラル２次元マップ上の距離関係によって近似的に表されることを意味する。
【０２７７】
ニューラル・マップは、ニューロンの２次元グリッドである。グリッドの位置ｌにおけるニューロンの応答は、入力ベクトルＸとニューロンの重みベクトルＷｌとのスカラ積
ｙｌ＝Ｘ・Ｗｌ＝｜Ｘ｜｜Ｗｌ｜ｃｏｓθ
である。θは、ＸとＷｌの間に含まれる角度である。重みＷｌは、入力とニューロンの間のコネクションの重みである。
【０２７８】
学習プロセスは、入力Ｘの提示と一緒に、グリッドの位置ｍに近いニューロンの重みを変更することを行い、従って、応答Ｘ・Ｗｍは最大値をとる。より正確には、重みは、ｍからのニューロンの距離によって調整される。この目的で、ｍに近い位置ｌに関してより大きな値をとる関数ｈｌｍが利用され、通常、関数はガウス関数
【数２３】
2008538623.tif 000028
であり、分散σ／２は、興奮させられるニューロンのグループの半径を制御する。
【０２７９】
関数ｈｌｍは、その内部ではニューロンの重みがｍからの距離に伴って軽くなるように適合される、点ｍの近傍を定義する。具体的には、近傍のニューロンの重みのベクトルは、入力ベクトルにより近づけられる。
【０２８０】
その結果、「近い」ニューロンは、類似した入力の認識を専門とする傾向にある。この専門化は、学習プロセスの終了時に、入力の空間とマップの離散化空間の間のマッピングを定義することを可能にし、各ベクトルＸは、ニューロンに関連付けられた位置ｍにマップされ、従って、Ｘ・Ｗｍは最大値をとる。そのようなニューロンは、「勝者ニューロン」と呼ばれる。
【０２８１】
実際には、ＳＯＭでは、マップ内において近いニューロンは、入力の空間において近い領域の認識を学習するということが起こる。このようにして、先に述べたことから理解できるように、自己組織化マップは、それを用いてマップがトレーニングされるベクトルの分布とトポロジの両方を学習する。
【０２８２】
ＳＯＭネットワークを、通常の管理されないクラスタリング・アルゴリズムから区別する主な要因は、以下の２つであることを述べておく必要がある。
・勝者選択は、メトリック（距離）及びそのような値の平凡な閾値の定義を単に用いるだけでは行われないが、ここ数年に開発されたニューラル・ネットワークのすべての理論が示すように、はるかに複雑であるが、より堅牢且つ信頼性のある動作であるニューラル・プロセスを用いて行われる。
・更新は、勝者ノードばかりでなく、勝者との距離に比例する仕方で、勝者ノードの近傍に存在するすべてのノードにも関連する。そのような近傍が有する半径の定義は、非常に重要である。あまりにも大きな値は、別のクラスの物体を認識するように定められたノードに対する更新までも伴い、クラスの不正確な定義に変換され得る、トレーニング・フェーズにおける危険な振動の原因となり得る。反対に、あまりにも小さな値は、ニューロンの適切（且つ高速）なグループ化を不可能とする結果を有することがあり、その結果、はるかに長く且つ忍耐を要するトレーニングを必要とする。
【０２８３】
分類フェーズの実験結果
先に説明された分類システムが、セリエＡチャンピオンシップ２００４−２００５のＬｅｃｃｅ対Ｓａｍｐｄｏｒｉａのサッカー試合中にスタジアムで獲得された、実際の画像に対して試験された。
【０２８４】
具体的には、特徴を抽出するフェーズ中に、運動領域が入力として提供され、その各々に対して、関連する行列が抽出された。
【０２８５】
その後、ニューラル・ネットワークであって、事前に定められた数の入力を含むという分類器の特徴に鑑みて、トレーニング用にランダムに選択された要素の輪郭が、皆が同じ長さを持つように、正規化された。言い換えると、輪郭の同じ部分に属する領域どうしを比較するために、サッカー選手の身長の正規化が実行された。ネットワークの同じ入力は、例えば、１つのケースでは、サッカー選手の腹部、別の選手の頭部、又はさらに別の選手のショーツにすら関する情報を含むことができるので、そのような操作を行わないと、結果が一貫性を持たなくなり、従って、そのような入力に関連するすべての意味が存在するとは限らない。
【０２８６】
そのようにして得られたベクトルが、ＳＯＭネットワークに渡された。本発明によれば、９×１１個のニューロンからなる行列によって構成される、格子状トポロジを有する２次元ネットワークが使用される。トレーニング・フェーズの終わりに、平面上の隣接ニューロンからなるブロックを同じ出力クラスに論理的に関連付けるために、クラスタリング・アルゴリズムを使用することが必要になった。
【０２８７】
実際には、トレーニング・フェーズの後にシステムに起こることは、ニューロンが最初の配置から移動し、出力クラスと同じ一定の数のグループにグループ化されることである。この時点で、その他の試験要素をシステムに提供することによって、応答として、最も興奮したニューロンを結果として得るが、ニューロンの各グループを特定のクラスに論理的に関連付けるために、クラスタリングがあらかじめ実行されていないと、この情報は重要性を失う。
【０２８８】
クラスタリング・アルゴリズムとして、文献で最も良く知られたアルゴリズムであるｋ平均法を使用することが選択された。このケースでは、望まれる出力クラスの数を固定することが必要であり、我々のケースでは、５である（チームＡのサッカー選手、チームＢのサッカー選手、チームＡのゴールキーパー、チームＢのゴールキーパー、主審及び線審）。
【０２８９】
本発明によれば、システムは、念のため、ＳＯＭを使用せず、クラスタリング手続きだけを用いて動作するように事前構成される。このケースでは、特徴ベクトルは、ｋ平均法アルゴリズムに直接入力され、その後、アルゴリズムは、ＳＯＭによって提供されるニューラルの寄与なしに、特徴ベクトルを事前に定められた数のクラスに分配する。ＳＯＭをトレーニングするのに必要なトレーニングは非常に高く、従って、分類器自体のトレーニングを修正するために試合の進行を利用することを考えることができないので、より速く且つより増大する解決策を選択する場合、ＳＯＭを用いて得られる結果と非常に類似した結果を結局は提供したそのような技法が（そのことは、特徴の質が、むしろ分類器それ自体よりも、関連のある重要性を持つことを意味する）、必要になり得る。これは、代わりに、クラスタリング・アルゴリズムだけを用いて作業することを決定した場合に、行われることができる。
【０２９０】
試験は、自然光を用いた第１ハーフから人工光を用いた第２ハーフに移るといった、試合中に照明条件が大きく変化したサッカー試合の前に獲得された画像に基づいて実施された。
【０２９１】
全体として、その各々に数人の行為者（サッカー選手、主審、．．．）が存在する１０６８０枚の画像が検査された。表４は、分類プロセスから得られた結果を示しており、一方、表５は、トレーニング・セットの詳細な特徴の要約を示している。検査された画像にはチームＢのゴールキーパーは存在せず、それが、出力クラスの数を４に制限することを選択した理由であることを述べておく必要がある。
【０２９２】
【表４】
2008538623.tif 000029
【０２９３】
【表５】
2008538623.tif 000030
【０２９４】
実行された試験がどのように分布するかについてのきわめて即座の表現は、散布行列を分析することによって得ることができる。
【０２９５】
【表６】
2008538623.tif 000031
【０２９６】
分類器の評価
結果の正確な分析が、以下の結論をもたらした。
・２つのチームの選手は、大部分のケースで完全に認識される。
・サッカー選手の姿勢は、特段の重要性を持たない。サッカー選手は、例えば、スライディング姿勢などの独特な姿勢にあるとしても、又はヘディングするために跳び上がっている時であっても、正確に認識されることが認められた。
・サッカー選手の大きさは、認識位置に影響しない。そのような観察の重要性は、サッカー選手がカメラに最も近いフィールド部分にいても（最も大きな輪郭）、最も遠くにいても（より小さな輪郭）、その両方でサッカー選手が正しく認識される点にある。撮像フェーズに関して実行される選択が、同じ視界内でその相対的サイズが異なり過ぎない輪郭を持つことを可能にした。しかし、それにも関わらず、以下の表において特にチームＢのサッカー選手を観察した時に認められるように、いくつかの変動が存在するが、そのような変動は、とりわけ特徴を抽出するフェーズ中に実行される輪郭を正規化するプロセスのおかげで、全体として分類の目的に影響しない。
・述べるに値する独特なエラーは、「主審及び線審」クラスで発生し、このクラスは、「チームＡのゴールキーパー」と認識されることが時々あった。これは、トレーニング・セットの特徴による可能性がきわめて高く、後で実行されたクロスチェックから、トレーニング・セットが、ごく少数の「チームＡのゴールキーパー」クラス及び「主審及び線審」クラスの要素によってまさに構成されたことが確かめられた。従って、システムが、ごく僅かの例から始めたことで、とりわけ視覚的に非常に類似したものについて、これら２つのクラスの目立った特徴を推定することができなかったことは非常に納得がいく。より広範且つより多様なトレーニング・セットの使用が、この問題の解決をもたらす。
・サッカー選手間の遮蔽を扱う問題は、未解決のままである。今のところ、システムは、同じ領域内で重なり合う２人以上のサッカー選手の存在を認識することができない。そのような問題は、サッカー選手についてトラッキング・モジュールを実施することによって解決された。
【０２９７】
図２８は、正しく分類されたサッカー選手の例を示しており、一方、図２９には、分類器が失敗するケースが提示されている。
【０２９８】
追加的な分類技法：管理された手法
管理されない手法を用いて最適な分類結果が得られるとしても、特定の予期せぬ条件が管理されない学習フェーズを信頼できないものにする場合、システム初期化フェーズ中に使用することができる管理された分類アルゴリズムも実施された。
【０２９９】
そのような管理されたアルゴリズムは、最小距離での分類器の実施に基づいており、開始特徴は先に見られたものと同じであるが、今回は、オペレータの手動介入を用いて、関連クラスに分類される。
【０３００】
そのような介入を用いて、システムは、トレーニング・フェーズにおいて、各クラスの代表のプロトタイプを生成することができ、試験フェーズにおいて、分類される要素を、代表が最小距離にあるクラスに割り当てることができる。
【０３０１】
形式的には、先に見られたのと同じ表記を続けると、認識される輪郭に関連する一般ベクトルｘとクラスタの１つの代表に関連するベクトルｒの間の距離は、
【数２４】
2008538623.tif 000032
によって与えられる。
【０３０２】
代表の各々についてこの値が評価された後、勝者クラスは、試験要素から最小距離にある、即ち、
【数２５】
2008538623.tif 000033
である代表に対応するクラスである。
【０３０３】
各分類の終わりに、分類の信頼性を表す係数が計算され、そのような値が事前に定められた閾値より高い場合、分類されたばかりの要素がトレーニング・セットに挿入され、その結果、クラス代表を再び定義するのに寄与する。
【０３０４】
このようにして、クラスの最新の代表のプロトタイプの存在をどの瞬間にも保証することによって、代表のスペクトル特徴は、試合中の照明条件の変化に適合する。
【０３０５】
以下の表は、上記の管理されないアルゴリズムが試験されたのと同じ試験系列に基づいて、管理された分類器によって得られた結果を示す。
【０３０６】
具体的には、代表の教導された生成について、表６に示されるように、クラス毎に１５の要素が使用され、一方、表７は、関連する散布行列を用いて、数値結果を示している。
【０３０７】
分かるように、分類のパーセンテージは、システムは本当に信頼可能であると見なすことができるところまで、さらに改善される。エラーは、突発的なものであり、検査下にある選手の輪郭の奇妙な利点（ａｓｓｅｔ）に起因する。おそらく、より十分なトレーニング・セットの使用が、さらに分類を改善することができよう。
【０３０８】
【表７】
2008538623.tif 000034
【０３０９】
【表８】
2008538623.tif 000035
【０３１０】
【表９】
2008538623.tif 000036
【０３１１】
トラッキング
運動領域の区分化及び分類の方法の後、画像内に存在する各物体を積極的に追跡するために、トラッキング・アルゴリズムが実施された。
【０３１２】
このフェーズの目的は、場面内に存在する各物体を一義的にラベル付けすること、及び後続の写真において物体の軌道を追うことである。
【０３１３】
トラッキング・モジュールは、いくつかの利点を可能にし、特に、先の段落で強調された状況を解決することを可能にする。詳細には、トラッキングを用いて、
・それ以前のフレームで得られた情報に基づいて動きを見つけることが可能な画像領域だけに、選手を探索するフェーズを制限することができる。このようにして、区分化及び分類フェーズのための計算時間が、大幅に短縮されることができる。
・選手間の可能な遮蔽を提供することができ、特に、遮蔽が同じチームの２人の選手間で起こるか、それとも異なるチームの２人の選手間で起こるかを提供することができる。これは、「あるサッカー選手と守備側選手の体幹がゴール・ラインに平行に整列するという結果を生じている時、両者は一直線をなしており、従って、オフサイドの状況は存在しない」という、規則で述べられていることを思い出せば、オフサイドの目的にとって基本的である。
・選手とボールの間の可能な遮蔽を提供することができ、そのようなケースで、まさにボールが選手の体の所にあるために、ボールを探索するシステムが失敗した場合、トラッキング・アルゴリズムは、選手自身の位置のトレースを保つことによって、ボール探査を容易にする（それは、そのような選手の所でより大規模に実行されることができる）。
・先行するフェーズの各々を増強し、確認することができ、トラッキングのおかげで、各選手についての「履歴」情報が存在し、従って、可能な突発的な分類エラーに対処することができる（それ以前のｎ個のフレームでチームＡに属するとしてラベル付けされていた選手が、現在のフレームでは、それと異なるようにラベル付けされる場合、確かに分類エラーに直面している）。
【０３１４】
場面上の各物体についてトラッキングを実行するために、以下の情報が保存される。
・重心の座標
・高さ及び幅
・面積
・速度
・所属クラス
【０３１５】
そのような方法で、各動く選手は、一義的にラベル付けされ、後続の写真において、各選手の履歴情報と現在のフレームにおけるその選手の期待情報との照合を行うことが可能である。
【０３１６】
このようにして、各選手の物理的情報（重心の座標、高さ、及び幅）と、運動学（速度）との簡単な制御を用いて、２人以上のサッカー選手のオーバーラップを提供することができ、その結果、オフサイド目的に対して行動することができる。
【０３１７】
多視点を用いた監視
これまで説明されたすべてのアルゴリズムは、オフサイドを検出するために割り当てられた機械の各々で動作しなければならない。
【０３１８】
この意味で、図３１から分かるように、採用されたカメラ配置は、フィールドの網掛け（ｎｅｕｒａｌｇｉｃ）領域における各行為が、各時点で２台のカメラによって同時に観測されることを示唆している。
【０３１９】
この観察は、これまで述べられたことのすべて、とりわけ、選手のトラッキングを、まさにこの多視点概念を利用することによって強化することが可能であることを示唆している。
【０３２０】
各機械は、それ自体の処理を実行した後、得られた結果を管理プロセスに送信し、管理プロセスは、所有する情報を用いて、すべてのステーションをまとめて、調整する責任を負う。
【０３２１】
管理プロセスが、各瞬間において（我々の文脈では、各写真について）、各ワークステーション上での同時処理から得られるすべての情報を利用可能であるという事実は、それが、動作全体を組み合わせ（ｃｏａｄｉｕｖａｔｅ）、調整して、その他の方法では単一のワークステーションが持つことができない一連の追加情報を用いて、単一のワークステーションを助けることができることの原因となる。
【０３２２】
これは、各選手の分類及び各選手のトラッキングに関するあらゆることが、同じフィールド部分を別の（正面）位置から見ている、他のカメラから代わりに得られた同じ結果との照合から利点を得ることを意味する。
【０３２３】
これとは別に、スーパーバイザは、選手があるカメラの視界から出て、隣のカメラの視界に入った時を理解することができ、そのような情報を利用することによって、選手のトラッキングは、単一の画像内だけでなく、フィールド全体で実行され、これまで説明されたアルゴリズムの能力及び信頼性に関して、明らかに有利である。
【０３２４】
サッカー選手並びに主審及び線審の検出は、かなり複雑な動作であり、相互に依存する一連のモジュールの連結として見ることができる。
【０３２５】
まず最初に、動き検出モジュールが、背景減算を用いて、運動点を検出し、その後、区分化アルゴリズムを用いて、場面上に存在するｎ個の物体を検出し、ラベル付けすることによって、ピクセル概念から領域概念に推移する。従って、影を除去するアルゴリズムが、各物体から、それ自体の影又は照明条件に起因する他の可能なノイズを除去することを提供する。
【０３２６】
この時点で、各選手の所属クラスが、ＳＯＭネットワークを用いる管理されない方法で決定される。遮蔽などの扱いにくい状況を回避するため、選手を追跡する特別のアルゴリズムが開発された。
【０３２７】
これらのモジュールの終わりに、場面上に存在する行為者は、影及び照明条件の変化などの非常に危うい状況が存在しても、正しく検出され、分類されることができる。
【０３２８】
本発明によれば、サッカー試合において、オフサイドの状況を検出する際に審判を助けるための、リアルタイム統合ビューイング・システムがさらに提供される。
【０３２９】
ビューイング・システムは、先に説明された技法及び方法の良好な動作を保証するための、最低限の仕様を満たすことができなければならない。
【０３３０】
レンズの焦点距離、フレームに収められる視野、１秒間に獲得されるフレームの数（フレーム・レート）、及びＴＶカメラの解像度の選択は、実験されるアルゴリズムによって要求される最低限の必要を考慮することによって行われなければならない。
【０３３１】
ボール検出に関する限り、以下で説明される実験的な試験は、画像平面上で少なくとも１０ピクセルの直径でボールを表現する必要を強調した。サッカー試合のルールが、ボールを「最小円周が６８ｃｍ、最大円周が７０ｃｍの球体」と定義していることを考えると、これは、ボールの直径が、最小の２１．６ｃｍから最大の２２．２ｃｍまで変化することができ、従って、獲得システムのパラメータの選択は、各ピクセルが２ｃｍ２以下の場面部分を描写可能であることを保証するようでなければならないことを意味する。
【０３３２】
別の非常に重要な側面は、ボール最大速度の定義である。ボールが（１２０ｋｍ／ｈにもなる）高速度で移動することができることを考えると、１秒当たり多数のフレームを獲得することができ、さらに高速運動物体に対しても良好な画質を保証することができる、技術的に高度な電子装置を利用することが必要である。
【０３３３】
毎秒当たり獲得される非常に多数のフレームは、イベントが出現する非常に短い時間間隔を考えると、少数のフレームでは失われることがあり得るイベントを、検出する可能性を保証する。この概念をより良く理解するため、図３０は、ボール速度対ボール移動距離とフレーム・レートの関係のグラフを示している。明らかに、画像上の結果は、２つの連続するフレームにおける、より少数又は多数のピクセル分のボール移動距離である。
【０３３４】
グラフから、例えば、標準的カメラ（２５ｆｐｓ）が利用される場合、１００ｋｍ／ｈで移動するボールは、フレームと別のフレームの間に１メートルより多く進むことを理解することができる。このように、場面動態を正しく検出することは困難であり、例えば、ボールが蹴られた瞬間を検出することはほとんど不可能であり、その結果、試合の進行及び可能なオフサイド・ケースを解釈することも困難である。
【０３３５】
このような前提に鑑みて、ボールを検出及びトラッキングするためのビューイング・システムを決定する際に設けられる問題は、以下の通りである。ボールが１０ピクセルの最小サイズを有すると仮定する場合、ボールが蹴られた瞬間を正しく決定し得るには、どれだけの最大速度を持たなければならないか？
【０３３６】
先に述べられたことに基づいて、ボールが選手によって蹴られたかどうかを決定するには、加速度を計算することが必要であり、これを行うには、ほぼ３回のボール連続検出が必要とされる。
【０３３７】
ボールが蹴られた時、（確実に、より大きいとしても）少なくとも１メートルの移動の間は、ボールは一様に加速された運動の下にあると仮定する。これは、ＴＶカメラによって獲得された３つの連続フレームが、１メートルをカバーしなければならないことを意味する。従って、２つの連続フレームでは、ボールは、約３０ｃｍだけ移動する。グラフを分析することによって、５０ｆｐｓのＴＶカメラは、ボールが６０ｋｍ／ｈで移動している場合、３０ｃｍの移動を決定することが可能であることが分かる。９０ｆｐｓのＴＶカメラは、ボールが１００ｋｍ／ｈで移動している場合、３０ｃｍの移動を決定することが可能である。従って、５０〜９０ｆｐｓの範囲は、６０〜１００ｋｍ／ｈの速度（ボール速度の可能な間隔）で発生し得るイベントを記録することができるＴＶカメラにとって必要な範囲である。
【０３３８】
別の決定側面は、ＴＶカメラによってフレームに収められる視野である。それは、ボールの左側及び右側にどれだけの空間がフレームに収められるかである。そのようなパラメータは、ＴＶカメラの解像度に関係する。最小１０ピクセルのボールを仮定すると、各ピクセルは、
（ボールの直径）／（１０ピクセル）＝（２２．２ｃｍ）／１０＝２．２２ｃｍ
の領域を張っている。
【０３３９】
標準解像度のＴＶカメラは、７６８×５７６ピクセルを有する。これは、行に沿って最大でフレームに収めることのできる視野が、
７６８ピクセル×２．２２ｃｍ＝１７．０４ｍ
列に沿って
５７６ピクセル×２．２２ｃｍ＝１２．７８ｍ
であることを意味する。
【０３４０】
固定フレーミングを維持し（即ち、移動、回転、ズームを行わず）、左から入り、右から出て行く、６０ｋｍ／ｈ（＝１６．６６ｍ／ｓ）で移動するボールを見る、ＴＶカメラを考える。ＴＶカメラが５０ｆｐｓ（１７．０４／０．３３＝５１．６３フレーム）を獲得する場合、２つのフレームの間に経過する時間は、１／５０ｓ＝０．０２ｓに対応し、従って、２つの連続フレームの間の移動は、１６．６６ｍ／ｓ×０．０２ｓ＝０．３３ｍであるという結果になる。視野の１７．０４ｍの空間は、５０フレームを用いて獲得された結果であり、ボールは視野内に１秒間留まるという結果になる。
【０３４１】
ボールが１００ｋｍ／ｈで移動する場合、同じＴＶカメラ（５０ｆｐｓ）を用いると、３０フレームが必要であり、ボールは視野を横断するのに０．６秒かかる。
【０３４２】
フレーム・レートはより高い（９０ｆｐｓ）が、解像度は同じ（７６８×５７６）ＴＶカメラを用いると、より多くのフレームが獲得されるが（ボールが６０ｋｍ／ｈで移動する場合は１００フレーム、ボールが１００ｋｍ／ｈで移動する場合は６３フレーム）、ボールは視野内に同じ時間だけ留まる。
【０３４３】
ボールが視野を横断するのにかかる時間は、処理時間、即ち、画像内のボールを決定するために処理技法によって使用される時間が、その時間に関係するので重要である。ボールが蹴られた状況を確認するのに３回の連続検出が必要とされる場合、ボールが６０ｋｍ／ｈで移動するケースでは、処理時間は、最短で１．０２／３＝０．３４ｓである。ボールが１００ｋｍ／ｈで移動するケースでは、そのような時間は、０．６／３＝０．２ｓである。
【０３４４】
アルゴリズムの信頼性を損なわないためにはアルゴリズムの計算量を減らすことはできないので、アルゴリズムの性能を高めるために、より強力な計算ハードウェアを利用することが必要である。
【０３４５】
代替策は、ＴＶカメラの解像度を増やすことによって、視野を横断する時間を増やすことであるが、これもコストの増大を伴う。１０２４×７６８ピクセルのＴＶカメラが使用された場合、視野は２２．７３ｍであり、１．３秒（６０ｋｍ／ｈのボール）及び０．８２秒（１００ｋｍ／ｈのボール）で横断される。表８は、市販のＴＶカメラのいくつかの解像度について、そのようなデータを要約している。
【０３４６】
【表１０】
2008538623.tif 000037
【０３４７】
常にボールをフレーム内に捕らえておける（トラッキング）ように、ＴＶカメラの向きを変えるためにサーボ機構が使用される場合、ステッピング・モータを作動させるための時間は画像獲得に関する時間よりも大きいので、横断時間の増加は基本的である。
【０３４８】
視覚システムを選択する際に、ボール検出アルゴリズムから課される制約について行われた考察は、選手並びに主審及び線審の検出の問題に関する限り、ほとんど繰り返すことができる。
【０３４９】
まず最初に、信頼性のある自動検出のために、サッカー選手のピクセル単位の最小サイズがどれだけかを定義する必要がある。人の輪郭を区分化するアルゴリズムは、最小サイズが高さは５０ピクセル、幅は２０ピクセルであることを課す。人が平均で１７０ｃｍの身長であることを考えると、各ピクセルは、３．４０ｃｍの領域を張る。
【０３５０】
サッカー試合のルールによれば、
「プレー・フィールドは長方形でなければならない。いずれの場合も、サイド・ラインの長さは、ゴール・ラインの長さよりも長くなければならない。
長さ：最小９０ｍ
最大１２０ｍ
幅：最小４５ｍ
最大９０ｍ
国際試合
長さ：最小１００ｍ
最大１１０ｍ
幅：最小６４ｍ
最大７５ｍ」
【０３５１】
最大長が１２０ｍであると考えると、ＴＶカメラの視野は、６０ｍでなければならない。表９は、市販のＴＶカメラの視野を示している。
【０３５２】
【表１１】
2008538623.tif 000038
【０３５３】
フレーム・レートに関する限り、走るサッカー選手の速度は３０ｋｍ／ｈであり、従って、考えられる最速イベントは、２人のサッカー選手が互いに逆方向に最大速度で走ることであり（一方が他に向かって）、従って、相対速度は６０ｋｍ／ｈであることが考慮されなければならない。従って、５０ｆｐｓのＴＶカメラ（グラフ１を参照）は、最悪のケースで３０ｃｍに等しいサッカー選手間の隔たりを識別するのに確実に十分であり、よい価格性能関係を有する。
【０３５４】
説明されたイベントは極端なケースであるので、より速い状況では、サッカー選手は静止姿勢から走り始め、又は同じ方向に移動しているため、確実にサッカー選手間の隔たりはより小さい。従って、３０ｋｍ／ｈの平均速度では、言及されたＴＶカメラによって認識されることができるサッカー選手間の隔たりは、約１３ｃｍである。
【０３５５】
カバーされる視野（６０ｍ）に関する限り、いくつかの選択が使用されることができる。
・単一のＴＶカメラ、この場合、唯一の可能性は１６００×１２００のカメラである。
・例えば、３台の６４０×４８０のカメラなど、解像度を下げた複数のカメラの結合。
【０３５６】
確実に、最後の解決策が最も安価な解決策であり、さらに、単一カメラを選択しても、より多くのカメラを選択しても、認識技法の性能には影響しない。
【０３５７】
本発明で提案される解決策は、サッカー選手及びボールのサイズ、並びに適切なフレーム・レートに基づいた分析技法によって課される制約に明らかに従うことによって、プレー・フィールド全体をカバーするように配置された、複数の静止ＴＶカメラの使用を提供する。その配置は、図３１に示される配置である。
【０３５８】
主な制約が、イベントを検出する速度であり、従って、先に述べられたことの速度であることを考えると、よい妥協案は、フレーム・レートが５０〜９０ｆｐｓの間からなり、６０ｋｍ／ｈのボール速度において、２０〜２５ｃｍの空間解像度を持つことを可能にする、ＴＶカメラを使用することである（図１を参照）。別の制約は、分析技法によって要求されるように、最小でそれぞれ７０ピクセル及び１０ピクセルでなければならない、サッカー選手及びボールのピクセル単位のサイズに関係する。そのようなパラメータは、使用されるレンズの焦点距離（広角対ズーム）と、明らかにシュートが行われた位置に関係する。最後の制約は、プレー・フィールド全体をカバーするのに必要なＴＶカメラの数を示す、フレームに収められる視野である。そのようなパラメータは、ＴＶカメラの解像度に関係する。
【０３５９】
さらに、獲得画像は、ボールを決定するためと、サッカー選手を区分化するために利用されるので、それらはカラー画像でなければならない。
【０３６０】
上述された制約に関して適切なＴＶカメラは、ＤＡＬＳＡ  ２Ｍ３０であり、その特徴が以下に列挙される。
・２メガピクセル解像度：１６００×１２００ピクセル、７．４μｍ×７．４μｍサイズ
・最大３０ｆｐｓのフレーム・レート、又は対象領域（ａｒｅａ  ｏｆ  ｉｎｔｅｒｅｓｔ）を使用する場合、最大２５０ｆｐｓ
・Ｃａｍｅｒａ  Ｌｉｎｋ（登録商標）高速シリアル・インタフェースを介した２×４０ＭＨｚのデータ・レート
・「ストップ・アクション（Ｓｔｏｐ  Ａｃｔｉｏｎ）」撮像用の電子グローバル非回転シャッタ
・プログラム可能な対象領域
・単一の１１Ｖから２５Ｖの電源
・ビニング（ＤＳ−２１−０２Ｍ３０のみ）
・堅牢且つコンパクトな設計
・カラー選択（ＤＳ−２２−０２Ｍ３０）
【０３６１】
そのようなＴＶカメラは、バイエルン・パター（ｂａｙｅｒｎ  ｐａｔｔｅｒ）を用いて着色する単一のＣＣＤを有し、我々の文脈では、６０ｆｐｓのフレーム・レートを獲得するために１６００×６００ピクセルの解像度で使用することができる。図３２は、獲得された画像の一例である。
【０３６２】
その場合、定義されるパラメータは、スタジアムにおけるＴＶカメラの位置、使用されるレンズ、必要とされるＴＶカメラの数である。ＴＶカメラが（事前に定められた距離で）サイド・ライン沿いに配置されなければならないことを考えると、ＴＶカメラの各々は、深度について最大で（２つのゴールの中央を通る理想線に関して）フィールド半分を解像しなければならない。従って、ボール及びサッカー選手がピクセル単位の必要サイズを持たなければならない最小位置は、フィールド半分の高さ（ｈｅｉｇｈｔ）に関係する。
【０３６３】
そのような制約を課すことによって、以下の値が得られる。
§ＴＶカメラの位置は、フィールド中央から約１００メートルのスタンドに位置付けられる。明らかに、そのような位置は、特定のスタジアムに依存する。例えば、Ｕｄｉｎｅでは、１００ｍの所にＴＶカメラを配置することが可能であるが、Ｌｅｃｃｅでは、可能な最大距離は７０ｍである。ＴＶカメラの位置付けについては、図３５を参照されたい。
§距離に応じて２２から３３ｍｍの焦点。
§スタジアムに応じて各サイドに２から５（全部で４から１０）台のＴＶカメラ数。
【０３６４】
ハードウェア構成
ＴＶカメラの各ステーションは、独立の獲得、記録、及び処理ユニットであり、以下のハードウェアを含む。
１．ＴＶカメラＤＡＬＳＡ  ２Ｍ３０  １６００×１２００
２．各々が少なくとも３ＧＨｚの２重プロセッサ、１ＧＢ  ＲＡＭ、ＰＣＩ−Ｘバス、チャネル当たりのディスクが最大３つの、ＲＡＩＤ  ０をサポートする２つのＳＣＳＩ  Ｕ３２０チャネル、７３ＧＢ  ＳＣＳＩ  Ｕ３２０  ＳＣＡ  １００００ＲＰＭを有する６Ｄｉｓｋｓ  Ｓｅａｇａｔｅ
３．ＰＣをＴＶカメラに対して遠隔位置に移すための光リンク
４．Ｘ６４  Ｃｏｒｅｃｏ収集カード
【０３６５】
各ユニットは、現在の画像を処理し、その結果を、それらの統合のために、ＬＡＮを介して他のユニットに送信する。
【０３６６】
獲得システムのアーキテクチャ
本発明による装置は、互いに同期した任意の数のカメラを受け入れるのに適した、全体的にデジタル且つモジュール型のスロー・モーション・システムである。各カメラは、サッカー試合中に発生するイベントを以前には見られなかった時間解像度で撮影するために、テレビ標準より高い１秒当たりのフレーム数で、カラー画像を撮影する特徴を有する。ピクセル単位の画像解像度も優れている。実際、そのようなアーキテクチャを確認するために、１６００×６００ピクセルの画像解像度で、１秒当たり５７枚の写真を獲得することを可能にするカメラＤＡＬＳＡ，２Ｍ３０が試験された。そのような解像度は、１６００×１２００ピクセルに達するまで増加させることができる。比較のため、テレビ画像の解像度が７６８×５７６ピクセルであることに言及することができる。
【０３６７】
撮影システムのモジュール性を保証するために、図３３及び図３４に図式化されたような、３レベルのアーキテクチャを実施することを考えた。第１のレベルは、単体の獲得ユニットによって形成される。第２のレベルは、ネットワーク・アーキテクチャによって形成され、第３のレベルは、マルチメディア・インタフェース及び画像処理システムによって形成される。
【０３６８】
獲得レベル
獲得レベルは、大きくなる数字によってラベル付けされたＮ個の個別ユニットによって構成される。各ユニットは、サッカー場に設置されたカメラを表し、従って、視界を表す。そのようなユニットは、カメラによって獲得された画像を記録し、マルチモニタ・マルチメディア・インタフェースによって決定された時間及びモードで、その画像を表示することだけに専従する。そのようなユニットは、コマンドがネットワークを介して与えられるので、キーボード及びマウスは装備されない。ユニットの各々は、代わりに、獲得されたもの及びいくつかの追加情報を表示するのに十分なサイズを有するモニタを有する。
【０３６９】
その場合、一般的なユニットは、以下の構成要素を含むことができる。
−原画像の転送機能を有するＣＣＤカラー・カメラ
−２ファイバ・カメラ・リンク・リピータ
−Ｘ６４  Ｃｏｒｅｃｏカードを有する獲得サーバ・デュアル・プロセッサＸＥＯＮチップセットＩｎｔｅｌ  ７５２０
−各々が７３ＧＢ  ＳＣＳＩ  ＳＣＡ  １０Ｋの３つのディスクを有するＲＡＩＤ  ０内のディスクの２つのバッテリ
−ＯｐｅｎＧＬ  ２．０標準モニタと互換性のあるプログラマブル・グラフィック・カード
−モニタ
【０３７０】
異なるカメラの性能を立証することによって、複数の試験が行われた。さらに、すべての要求される動作を要求される時間内で実行することが、確実に成功するように、ＲＡＩＤ  ０上での書き込み試験が実行されて、アーキテクチャ性能を評価した。
【０３７１】
これ以降、最も目立った特徴を有する選択されたユニットと、実行された試験が報告される。
【０３７２】
カメラＤＡＬＳＡ  ２Ｍ３０
ＤＡＬＳＡ  ２Ｍ３０は、獲得画像を再着色することなくバイエル・モザイク（Ｂａｙｅｒ  ｍｏｓａｉｃ）で直接送信する、単一のＣＣＤカラー・カメラである。ＤＡＬＳＡ  ２Ｍ３０は、すでに３００ｎｍから始まり１０００ｎｍにまで達する、５００ｎｍの所に感度ピークを有する、光放射に対する感度を有する。ＣＣＤは、任意の紫外、可視、及び赤外での使用に適するように、可視スペクトルに対する特別なフィルタの適用なしに売られている。特定のケースでは、周波数が４００ｎｍより低く、７５０ｎｍより高い、帯域通過フィルタの適用が必要になった。そのようなフィルタは、現実の色と完全に整合した画像色を有することを可能にするが、カメラの全体的な輝度を１０％だけ低下させる。
【０３７３】
カメラは、４２ｍｍマウントを有するレンズを受け入れることができるが、（同じＤＡＬＳＡによって提供される）Ｆパス（Ｆ−ｐａｓｓ）マウントが存在する。適切な場合、絞りの手動開放を可能にするために発明者らによって修正された、カメラ・ボディへのレンズ・クラッチを有する、デジタル・カメラ用に作成されたレンズを使用した。焦点距離の選択は、そのような機器を装備するサッカー・スタジアムの幾何学的形状を考慮することによって行われた。例えば、Ｕｄｉｎｅのスタジアムでは、３５ｍｍに位置付けられた２４〜７０ｍｍズームが使用された。
【０３７４】
カメラ通信バスは、ＣａｍｅｒａＬｉｎｋであり、獲得された画像を転送するために、２つのタップが必要である。１６００×１２００ピクセルの解像度で、カメラは３０ｆｐｓを獲得する。選択された解像度、即ち、１６００×６００ピクセルで、カメラは５７ｆｐｓの速度で動作する。転送レートは、約５３メガバイト／秒である。その場合、記録システム・アーキテクチャは、この平均負荷をサポートしなければならない。
【０３７５】
光カメラ・リンク
各カメラは、動作するために計算機（ｃａｌｃｕｌａｔｏｒ）を必要とする。計算機は、ＣａｍｅｒａＬｉｎｋインタフェースを用いて、すべてのカメラのパラメータを調整し、フレーム獲得を制御する。フレームは、獲得されると、同じＣａｍｅｒａＬｉｎｋインタフェースを介して、カメラ自体からＰＣに送信される。その場合、プログラマは、画像を操作し、ストリーム・ビデオ、保存ストリーム、又は処理ストリームとすることができる要求されるチャネルに画像を正しく運ぶ（ｖｅｈｉｃｕｌａｔｅ）作業だけを有する。そのようなバスは、データ伝送速度のために１５ｍを超えることができない、６ｍｍ多極直径（ｍｕｌｔｉｐｏｌａｒ  ｄｉａｍｅｔｅｒ）を有するケーブルのようである。従って、ＰＣとカメラを２つの光ファイバ・リピータを用いて結合（ｄｉｓｃｏｕｐｌｅ）することが、ＰＣをカメラから物理的に引き離すために必要であると信じられる。そのようなリピータは、一方の側で光ファイバ・カメラから来る信号を変換し、他方の側で光ファイバ信号を元のフォーマット（ＣａｍｅｒａＬｉｎｋ）に再変換することを可能にする。光ファイバは、５００ｍの最大距離を持つことができ、それを超える場合は、光信号増幅器を挿入することが必要である。選択されたリピータは、Ｍｉｋｒｏｔｒｏｎ製であり、その動作が、２Ｍ３０カメラ及びＣｏｒｅｃｏ  ＩｍａｇｉｎｇのフレームグラッバーＸ６４の両方を用いて、同じ製造元によって試験された。
【０３７６】
獲得サーバ
獲得サーバは、制御室に配置された計算機である。獲得サーバは、フレームを獲得し、フレームを記録し、最後に獲得されたフレームを表示するために、カメラのすべての制御機能を扱う。さらに、マルチモニタ・マルチメディア・インタフェースのコマンドで、サーバは依然として獲得動作に従事しながら、すでにディスク上に保存された画像の系列を表示することが可能である。
【０３７７】
一般的な獲得サーバは、ＣｏｒｅｃｏのＸ６４カードと、２つのＵｌｔｒａ  ＳＣＳＩ  ３２０バスとを備えなければならず、バス毎に、ＲＡＩＤ  ０ハードウェアに構成される各々が７３ＧＢのＨＤを３つ、合計２２０ＧＢのディスクを備える。その場合、カメラは、各々が２２０ＧＢの２つの仮想ディスクを扱う。
【０３７８】
獲得サーバは、低レベルの以下のタスク、即ち、
−画像をカメラから収集し、１６００×６００ピクセルの解像度の画像について５７フレーム／秒の最大速度まではフレームを失うことなく、それらをＨＤに連続的に記録すること、
−記録を続けながら、先に獲得された画像を回復し、記録プロセスを速度低下させることなく、それを表示すること、
−記録プロセスを速度低下させることなく、常にカラー画像を表示すること、を実行しなければならないので、適切に構成されなければならない。
【０３７９】
単一のカメラにこれらの活動を集中することが可能かどうかを確認するため、以下のようにして成る実験用機器（ｄｅｍｏｎｓｔｒａｔｏｒ）も構成された。
−Ｓｕｐｅｒｍｉｃｒｏ  Ｘ６ＤＨ８−Ｇ２−Ｏマザー・ボード
−２つのＩｎｔｅｌ  Ｘｅｏｎ  ３．０ＧＨｚ  １ＭＢ  ８００ＭＨｚ  Ｂｏｘ  Ｐａｓｓ
−チャネル当たりの最大ディスク数が３つの、ＲＡＩＤ  ０をサポートする２つのＳＣＳＩ  Ｕ３２０チャネル
−各ＳＣＳＩチャネル当たり３つの、６つのＨＤ  Ｓｅｇａｔｅ  ７３ＧＢ  ＳＣＳＩ  Ｕ３２０  ＳＣＡ  １００００ＲＰＭ
−Ｘ６４  Ｃｏｒｅｃｏフル・ガード
−ＮＶＩＤＩＡ  ７８００  ＧＴグラフィック・カード
【０３８０】
その後、いくつかの試験が実行された。まず最初に、書き込みフェーズ中及び読み取りフェーズ中の両方で、持続的転送レートに関して最大性能を得ることができる特別のプログラムを作成することによって、ＨＤ書き込み機能が試験され、従って、ディスクへの非同期のバッファリングされない書き込みを実行することができるソフトウェア・クラスが開発された。そのようなクラスは、読み取り／書き込みデータ・ブロックが１セクタの多様なサイズを有することの制限だけを有する。最後に、書き込み速度が試験され、１８４ＭＢ／秒を持続することに成功した。
【０３８１】
しかし、カメラから来る原画像は、バイエル格子によって符号化される。そのような画像は、表示目的での画像のその後の処理及び利用のために、解釈され、ＲＧＢ画像に変換されなければならない。
【０３８２】
コンピュータの観点からは通常は高価である着色プロセスは、システム内に存在するプロセッサ上でＳＩＭＤ（単一命令多重データ）タイプの命令の使用に頼ること、及び獲得システムに接続される他のユニットに計算を付託することで加速される。ＳＩＭＤ命令を用いるローカル着色の利点は、すでに利用可能なデータ上で動作する可能性から生じ、システムに接続された外部ユニットの介入を必要とする解決策は、何らかの種類のバス上での情報の受け渡しを必要とするが、プロセッサを着色フェーズから完全に解放する利点を有する。Ｐｃｉ−Ｅｘｐｒｅｓｓなどの高性能バスの出現が、問題のタスクに良く適合する時間内にデータ移動を実行することを可能にする。これは、着色タスクを他のユニットに付託して、システム・プロセッサを他の活動のために解放することを可能にする。
【０３８３】
可能性の１つは、これらのタスクをプログラマブル・グラフィック・カードに委ねることである。そのような文脈では、カメラから来るデータは、グラフィック・カードに送信され、グラフィック・カードは、適切にプログラムされ、必要であれば表示用の着色を実行し、その場合、ＲＧＢフォーマットでカラー画像を返す。
【０３８４】
さらに、その後の画像処理フェーズで使用される着色情報（ＨＳＬカラー・システムにおけるＨチャネルＨ）をＲＧＢ画像から抽出するために、グラフィック・プロセッサを利用することも可能である。
【０３８５】
ネットワーク・レベル
ネットワーク・レベルは、獲得レベルを、処理及びマルチモニタ・マルチメディア・インタフェース・レベルと通信させる目的を有する。ネットワーク・レベルは、物理的には、機器をポイント・ツー・ポイントで接続することができるギガスイッチ・イーサネット（登録商標）によって表される。高速計算を用いて、ネットワーク・レベルは、画像を交換する２台の機器をポイント・ツー・ポイントで接続することができることが示され得る。実際、フレームが１６００×６００バイトのサイズを有し、画像が５７ｆｐｓで獲得されることを仮定すると、必要とされるスループットは４１７．５ＭＢｐｓである。ネットワークは、１ＧＢｐｓ帯域を有し、従って、ネットワーク帯域の半分より少ない帯域が必要とされるに過ぎない。
【０３８６】
マルチモニタ・マルチメディア・インタフェース及び処理レベル
本発明によるマルチモニタ・マルチメディア・インタフェース（図３５及び図３６）は、記録、表示活動を調整し、必要であれば、画像処理と、ディスプレイ上への結果の視覚化とを調整するレベルである。画像処理に関する限り、プロセッサが他の動作に従事することが原因で、いくつかのフレームが失われる恐れがあるため、獲得計算機をより過負荷にせず、又は無益に占有しないように処理動作を構成する必要が生じる。従って、どのユニットが処理に使用されなければならないかが決定されると、そのようなユニットは、獲得ＰＣとイーサネット（登録商標）通信を確立し、処理されるフレームが送信され、表示される情報がフレームと一緒に受信されるという意味である。
【０３８７】
これを行うことによって、獲得ユニットは、３つの動作モードを有する。
−獲得ユニットは、フレームを記録して、最後に獲得されたフレームを、与えられたＣＰＵタイムに従って表示周波数をサブサンプリングして表示する。
−獲得ユニットは、フレームを記録して、代わりに、マルチモニタ・マルチメディア・インタフェースが要求するフレームを表示する。
−獲得ユニットは、フレームを記録して、選択されたフレームを処理ユニットに送信する。必要とされる情報を受信すると、獲得ユニットは、特別なグラフィック・フォーマットで強く印象付ける情報と一緒にフレームを表示する。
【０３８８】
処理ユニットの作業を加速するため、コンピュータの観点からは高価であるが、処理ユニットは、画像のデジタル処理を専門とする特別なカードを使用することによって、ハードウェアで実装される。
【０３８９】
マルチモニタ・マルチメディア・ステーションについてのさらなる詳細が、これ以降で説明される。
【０３９０】
先に説明されたことに従って、オフサイドを検出するために提案されるシステムは、
１）デジタル画像の同期獲得及び保存用のハードウェア及びソフトウェア・ツールを装備する１組のステーションと、
２）獲得及び記録ステーションの活動の監視及び調整用のマルチモニタ・マルチメディア操作卓と、
３）獲得画像を処理するためのソフトウェア・モジュールと、を含む。
【０３９１】
提案されるシステムのアーキテクチャが、図３３に概略的に示されている。これまでは、画像を処理するためのソフトウェア・モジュールに関するアルゴリズム及び方法の詳細（ボール検出、基本イベント検出、選手並びに主審及び選手の検出及び分類）と、画像獲得及び記録ステーションに関する技法及び技術の詳細が提供された。
【０３９２】
反対に、これ以降は、可能な処理モードに基づいて、マルチモニタ・マルチメディア操作卓が説明される。さらに、サッカー・イタリア・チャンピオンシップ２００４／２００５のデジタル・ビデオ系列を分析することによって得られた、第１の実験結果が示される。
【０３９３】
マルチモニタ・マルチメディア操作卓
基本構成（ＦＧ／ＭＡＮ）
マルチメディア操作卓（図３６）の基本要素は、
・様々なカメラによって獲得された系列を表示するためのモニタ、
・系列を操作するためのマルチメディア・インタフェース、
・デジタル獲得ユニットとのビデオ系列の通信及びコンピュータ負荷の最適化を扱うのに適した計算ユニット、
・異なるシステムの機能への迅速な集中化されたアクセスのためのジョグル型装置（図３９）、である。
【０３９４】
マルチメディア操作卓の各モニタは、獲得又は保存ステーションに配置された異なるカメラの１つによって獲得された場面を表示する。
【０３９５】
市場では、１つ又は複数のモニタをサポートするビデオ・カードが存在するが、一般に、それらは、グラフィック加速の観点から許容可能な性能を保証することができない。この理由で、２つのビデオ・カードの使用が便利であり、その一方は、仮想ビュー用に使用されるグラフィック・ライブラリ（ＯｐｅｎＧＬ）との互換性の観点から最適な結果と、最適な加速品質とを保証する、単一のモニタを専門に扱い、他方は、マルチモニタ機能を備えるが、３Ｄ加速の観点から必要とされる特定の機能はそこに存在しない。
【０３９６】
モニタの推奨サイズは、表示画面が１７”以上のもの、おそらくは（単独で１６００×６００ピクセルの解像度を有し、４：３の通常フォーマットでの表示にあまり適さない）画像を表示するのにより適するように、１６：９以上の「ワイドスクリーン」タイプのものである。
【０３９７】
様々なカメラから来る画像とは別に、マルチメディア操作卓は、分離されたモニタ上に、系列を扱うための制御ウィンドウを提供する。
【０３９８】
制御ウィンドウ上には、普通のＤＶＤビデオ・リーダ又はビデオ・レコーダに見られるものと全く類似した機能を果たす、一連のビデオ制御（停止、再生、一時停止）が存在する。
【０３９９】
制御ウィンドウを介して、先に獲得された系列を見ること、及び場面を最も良く解釈するために、系列を構成するフレームを異なるフレーム・レートでスクロールすることが可能である。
【０４００】
これらのコマンドは、たいていは試合系列の一部を表示するためのものであり、いかなる場合でも、それらが、各カメラに関連付けられた事前構成ユニット上で試合の通常の進行と常に同時に行われるライブ記録活動を妨げないことに留意されたい。
【０４０１】
図３６は、この実現可能性検討のために準備され、使用されたマルチメディア操作卓の写真を示している。左の２つのモニタは、２つの異なるカメラによって獲得された同期系列を表示しており、一方、右のモニタは、系列を表示するための制御ウィンドウを含んでいる（拡大した系列を図３７に見ることが可能である）。
【０４０２】
その場合、制御ウィンドウは、システムと対話するための第１の高度ツールを表し、マルチメディア・ステーションのすべてのモニタ上での獲得画像のリアルタイム表示（「ライブ・モード」）から、特定の系列のリプレー表示（「スロー・モーション・モード」）に移行することを可能にする。この第２の表示モードでは、すべてのモニタが、ユーザ系列の間でのナビゲーションの要求に応答するように事前構成されるが、一方、記録用の周辺ユニットは、リアルタイムで画像を獲得し、記録し続ける。
【０４０３】
「スロー・モーション」モードでは、モニタを介して提供される様々な視界が、常に同期され、従って、すべての利用可能な視界から先に獲得された系列を何度も繰り返し見ることが可能である。
【０４０４】
同期された視界を伴うマルチモニタ・マルチメディア操作卓の使用は、線審の主な過誤の源、即ち、限られた人間の視野、反応時間、及び視野の歪みという問題を同時に解決することを可能にする。このようにして、玉離れの瞬間と、オフサイドに関連する選手の位置とを、視野の歪みのない専用の視野を利用することによって、同時に観測することが可能である。
【０４０５】
図３８は、可能なオフサイドの状況を解釈するためにＦＧ／ＭＡＮシステムの同期された多視界を使用する利点を理解するのに役立つ一実施例を示している。実施例は、２つの異なる同期された視界の使用に関する。
【０４０６】
観察できるように、オフサイド目的で管理されるボール及び選手は、線審の同じ視野内にいない。さらに、選手及びボールは、線審が（視野誤差を回避するために）最終の守備側選手と一直線に並び続け、（その終了反応時間によって）イベントを正しく感知することを困難にする、高い運動力学を有する。
【０４０７】
制御ウィンドウの機能によって組み合わされる多視界を用いて行為を観測することによってのみ、誤った解釈の可能性を最低限にまで減らして、場面を分析することが可能である。
【０４０８】
図３８では、場面分析を容易にするために、オペレータ（例えば、第５の人）が、フィールドのエンド・ラインと平行な線を画像上に配置することを可能にする、ＦＧ／ＭＡＮシステムの追加機能を認めることも可能である。図では、視界１において、攻撃側選手（白）が味方選手に向かって深いスローを行った時に、視界２において、オペレータによって最終の守備側選手（黄−赤）の所に平行線が配置された。この場合、重ね合わされた線が、攻撃側選手と守備側選手の間の整列をより良く感知することを可能にし、その結果、非オフサイドの状況を宣言できるようにする。
【０４０９】
ユーザとシステムの対話を容易にするため、「ジョグル」型の特別な周辺ユニット（図３９）をマルチメディア操作卓に備えることを考えた。
【０４１０】
この種類の周辺ユニットは、例えば、監視システムに接続されることができ、新しいビデオ・レコーダ又はビデオ編集を行うためのハイレベル・コントローラで起こることと全く類似した方法で、リプレーの系列をスクロールすることを可能にし、フレーム単位で系列内を前進及び後退することを可能にする。
【０４１１】
問題の装置は、ノブを右及び左に回すことができる他、ノブ自体の押下も感知（ｉｎｔｅｒｃｅｐｔ）し、これらの単純な動きの異なる組み合わせを解釈する。
【０４１２】
このような方法で感知され得るイベントは６種になる。
・左
・右
・クリック（押下）
・ダブル・クリック（短い間隔で２回繰り返して押下）
・クリック＋左
・クリック＋右
【０４１３】
この単一の周辺ユニットにリプレーに必要な大部分の機能を集中化して、システムの使い勝手を最大化するために、これらの異なる組み合わせを利用することが可能である。
【０４１４】
特定の行為をこれらの構成の各々に関連付けることができ、具体的には、以下のようになる。
・右：手動で１度に１フレームずつ順方向に巻く。
・左：手動で１度に１フレームずつ巻き戻す。
・クリック＋右：可変速度で連続的に順方向に巻く。
・クリック＋左：可変速度で連続的に巻き戻す。
・クリック：ライブ表示モードからリプレーへの切り換え、及び反対の切り換えを行う。
【０４１５】
ダブル・クリックなどのイベントも感知できる可能性は、先に生じた別の「スロー・モーション」状況への直接的ジャンプの可能性など、装置に関連付けることができる行為のさらなる具現化（ｐｅｒｓｏｎａｌｉｚａｔｉｏｎ）を可能にすることができる。
【０４１６】
オフサイド手動通知モードにおいてオフサイド・ラインを移動するためのジョグル型装置に加えて、グラフィックス・タブレットなどの装置、又はペン・ディスプレイさえも利用することが可能である。グラフィックス・タブレットの使用は、ジョグルの使用の代わり又は補助として、オフサイド・ラインのより迅速な位置付けを可能にする。
【０４１７】
可能なトラッキング・モードは２つである。
−プレー・フィールドに関して：タブレット領域は、仮想プレー・フィールドを識別する。センタがミッドフィールドを識別し、右端及び左端にそれぞれのゴールが存在する。オフサイド・ラインはペンの動きを追う。
−単一のカメラに関して：操作卓を用いて、オペレータは、アクティブなカメラのどの１つが基準として使用されなければならないかを選択する。タブレット領域は、フレームに納められるフィールド領域を識別する。オフサイド・ラインはペンの動きを追う。ペン上に存在するボタンは、基準カメラを変更すること、又はオフサイド手動通知モードから出ることを可能にする。
【０４１８】
単一のカメラに関してのみ動作する、単純なタブレットの代わりのペン・ディスプレイの使用は、オフサイド・ラインが位置付けられなければならない場所を画像上で直接選択することを可能にする。この方法では、ペン・ディスプレイは、ＵＳＢを用いて操作卓に接続されるが、操作卓は、ｎ＋１の入力画像を用いるビデオ切り換えによって利用されるビデオ・フローを受け取り、ここで、ｎは接続カメラに対応し、１は操作卓及び（ペン・ディスプレイによって表示される）唯一の出力に対応する。切り換えプログラミングは、操作卓に委ねられ、操作卓は、ペン・ディスプレイ及び他の入力装置から来る入力に基づいて、ｎ＋１のビデオ入力の１つを表示する。
【０４１９】
基本構成におけるマルチモニタ・マルチメディア操作卓は、実際には、通常に動作し続けるデジタル検出及び記録システムを妨害することなく行われる、サッカー試合のイベント（特にオフサイド）のリアルタイムでの客観的クロスチェック用の「デジタル」スロー・モーションである。
【０４２０】
半自動高度構成（ＦＧ／ＳＥＭ）
先の段落で説明された基本構成におけるマルチモニタ・マルチメディア操作卓は、獲得された系列を迅速に検査して、そこに含まれるイベントを、同期された視界を利用することによって最も良く解釈するための強力なツールである。
【０４２１】
従って、それは、系列の獲得、保存、及び表示技術を利用するが、先に説明された画像を処理するためのアルゴリズムを使用していない。
【０４２２】
ＦＧ／ＳＥＭと呼ばれる高度構成において提案されるシステムは、デジタル・ビデオ系列を処理するためのアルゴリズムを実施するソフトウェアを含むことによって、代わりに半自動方法で動作する。ＦＧ／ＳＥＭのマルチメディア操作卓は、ＦＧ／ＭＡＮのように、オフサイドに関係するビデオ系列を表示するが、イベントを客観的にクロスチェックするため、及び第５の人の最終決定を最適にサポートするための豊富なグラフィック絵図情報と統合されたビデオ系列を表示することによって、ユーザ（例えば、第５の人）が「進化した」インタフェースを利用できるようにする。
【０４２３】
そのような進化したインタフェースは、以下の追加要素を含む。
１）すべての行為者（選手、主審、線審）の現実の位置、及び事前配置されたカメラの各々の視野の表示を伴う、プレー・フィールドの仮想視界
２）以下のものを示す、獲得された系列に重ね合わされるグラフィック絵図要素を用いる通知装置
ａ．ボールの位置、速度、及び移動方向
ｂ．フィールド内の各行為者の分類、位置、及び移動
ｃ．接触を推定し得るようなボールが運動学的変化を受けた瞬間（ボール・スロー（ｂａｌｌ  ｔｈｒｏｗ）瞬間）
ｄ．検出イベント（ボール・スロー）の時点でボールに最も近い選手
ｅ．可能なオフサイドの状況にいる選手、及び効力のあるオフサイド・ルールに基づいた相対距離
【０４２４】
ＦＧ／ＳＥＭシステムでは、マルチメディア操作卓も、オフサイド・イベントを決定するための表示系列分析の目的にとって重要な視界を、自動的に選択することができる。
【０４２５】
実際には、各時点で、マルチメディア操作卓のモニタの１つに、オペレータによって検査されるイベントを含むビデオ系列が出現する。複数のカメラを含むことによって動作が行われる場合、イベントに関連するカメラによる同期されたビデオ系列が、モニタ上に出現する。
【０４２６】
グラフィック絵図ツールを用いて、前の章で説明された画像を処理するためのアルゴリズムを用いて推定された情報（項目２）が、重要な視界の各々に重ね合わされる。
【０４２７】
この情報はすべて、現実の画像の系列において、またすべての行為者及び関連するカメラの視野が可視であるグローバル仮想視界において可視である。
【０４２８】
以下の段落では、マルチモニタ・マルチメディア操作卓を使用するためのいくつかの具体的な実施例が示され、そのたびに、グラフィック絵図機能を用いて利用可能にされる情報についてのより詳しい詳細が提供される。
【０４２９】
自動高度構成（ＦＧ／ＡＵＴ）
オフサイド検出システムのこの自動高度構成は、ハードウェア及びソフトウェア構成要素については、実質的にＦＧ／ＳＥＭシステムと同じである。実質的な相違は、自動動作モード、即ち、可能なオフサイド状態を「自動」方法で示唆する監視ソフトウェア構成要素の存在によって構成される。それぞれＦＧ／ＭＡＮ及びＦＧ／ＳＥＭシステムにおける先の構成では、操作卓のグラフィック絵図ツールによって、イベントの客観的クロスチェックが、第５の人に提供され、その人が、それを分析するが、自動高度構成では、ＦＧ／ＡＵＴシステムが、可能なオフサイド状態を自動方法で通知する。
【０４３０】
実験結果
実験が、実際の動作条件下で、限られた数のカメラを用いて、２００４年１２月１９日にＬｅｃｃｅのＶｉａ  ｄｅｌ  Ｍａｒｅのスタジアムで行われた、セリエＡ  Ｌｅｃｃｅ対Ｓａｍｐｄｏｒｉａのイタリア・サッカー・チャンピオンシップの試合を捕捉することによって行われた。
【０４３１】
具体的には、利用されるシステムの構成は、同じフィールド・サイドに配置され、実験用機器の仮想視界を用いて図４０で明確に示されるフィールド部分をカバーできる、２台のカメラの使用を提供した。もちろん、プレー・エリアの完全なカバーを保証するには、フィールドの反対サイドに配置される少なくともさらに２台のカメラが必要とされる。
【０４３２】
オフサイド検出におけるシステム機能を明確に示すため、対象の試合からまさに推定される、いくつかの具体的な実施例を今から見ることにする。
【０４３３】
実施例１：システム及び線審が非オフサイドの状況を正しく決定する。
第１の実施例（図４１）では、Ｓａｍｐｄｏｒｉａの選手Ａ１が、味方選手Ａ２に深いスローを行っている。下部に部分的に見えるだけの線審は、スローが行われた時、Ｌｅｃｃｅの最終守備側選手Ｄ１と一直線に並んでおり、整列状態を維持しようと懸命に走っている。
【０４３４】
このケースでは、線審の技能のおかげで、視差は無視することができ、攻撃側選手と守備側選手が存在する位置に近い位置からボールが出たので、過誤を回避するための理想的な状態が存在する。
【０４３５】
現実のことを述べると、一瞬の躊躇はあったが、離れた地点間で迅速に同意を交わした後、行為は正しく進行された。
【０４３６】
図４１では、オフサイドの状況がそこから発生し得る決定的なスロー・イベントをシステムが検出した時の、高度構成におけるマルチメディア操作卓の出力を観察することが可能である。
【０４３７】
このケースでは、前の章で説明された、デジタル画像を処理するためのアルゴリズムは、抽出されたすべての情報を画像に重ね合わせることによって、スローの「決定的」瞬間を正しく決定した。
【０４３８】
図４１では、システムによって自動的に重ね合わされたグラフィック絵図情報が良く見える。この情報の分析から、スローの瞬間、Ｓａｍｐｄｏｒｉａの選手が反則にならない位置にいることが推定され得る（システムは、この選手の重心が、Ｌｅｃｃｅの最終守備側選手に対して２１ｃｍさらに後方にあることを検出した）。
【０４３９】
図４１では、左側の第１の数字（３２１）は、検査対象の系列内のフレーム位置を表し、一方、さらに右側には、スローの時点におけるボール速度（３７ｋｍ／ｈ）と、示された基準系に対するスロー方向を見ることが可能である。
【０４４０】
ボール方向及び移動速度も、ボールの中心に位置する作用点と、ボール移動の方向と一致する方向と、ボールの瞬間速度に比例する大きさ（ｍｏｄｕｌｅ）とを有する緑色の速度ベクトルを用いて、グラフィカルに表現される。
【０４４１】
ＦＧ／ＭＡＮ手動モードでシステムを用いた場合、第５の人は、ＦＧ／ＳＥＭシステムの進化したインタフェースによって提供される追加のグラフィック絵図情報なしに、図４１の同じ場面を見る。図４２は、実施例１に関するＦＧ／ＡＵＴシステム・インタフェースの出力を示している。最終守備側選手と一致して、ゴール・ラインと平行な線が、オペレータによって（ジョグル装置を用いて）手動で配置されている。
【０４４２】
実施例２：非オフサイドの疑わしい状況でシステムが線審の決定を確認する。
第２の実施例（図４３）では、Ｓａｍｐｄｏｒｉａの選手Ａ１が、味方選手Ａ２への長い縦スローにより動作を起こす。このケースでは、線審は、最終守備側選手Ｄ１と正しく一直線に並んでいるが、そのことを見ず、実験用機器が、ボールが動き始めた決定的瞬間におけるすべての場面情報に基づいて通常通り、線審が正しいことを認める。
【０４４３】
スローは系列のフレーム１２７で自動的に検出され、ボールは２２度の傾斜角を持って７７ｋｍ／ｈで動いており、２人の選手の間の距離は１５ｃｍである。
【０４４４】
実施例３：線審によるオフサイド・イベントの誤った評価。
第３の実施例でも、Ｓａｍｐｄｏｒｉａの選手Ａ２が、味方選手Ａ１によるスローを受けている。
【０４４５】
このケースでは、線審（最初は見えない）が、オフサイドの行為を停止させる。主審及び線審の決定の正しさについて多くの疑いがあり、実際、Ｓａｍｐｄｏｒｉａの選手が激しく抗議する。
【０４４６】
図４４は、スロー時点における、マルチモニタ・ステーションの２つのモニタのスクリーンショットを示している。
【０４４７】
このケースでは、先に検討したケースとは反対に、行為は、カメラ１によって検出されたスローで開始し、一方、監視される選手は、カメラ２の視野内にいる。
【０４４８】
このケースでは、オフサイドを検出するための自動システムは、攻撃側選手の重心が、最終守備側選手の重心に対して「僅か」１１ｃｍだけ前方にあることを検出する。
【０４４９】
２人の重心の間の距離は、一直線をなすと見なされ得るフリー・スペースしか２人の選手の間に存在しないことをルールに従って明言し得る最小閾値より小さいので、システムは、攻撃側選手の位置は反則にならないことを、正しく示して／指示している。この考察は、図４４における選手の相互位置の観察から、客観的クロスチェックを見出し、従って、行為は反則ではないと見なされるべきであり、そのまま続けさせなければならないと結論付けることができる。
【０４５０】
線審の誤りは、主に３つの要因、即ち、視差、視野、及び場面の激しい動態に起因する。
【０４５１】
最終守備側選手は、より前方の攻撃側選手へのパスの意図を察知した時、速やかにミッドフィールドの方向へ移動し、新たに取った位置に対してより前方の位置に線審を置き去りにしたため、スロー時点で、線審は最終守備側選手と一直線に並んでいないことが観察され得る。実際には、線審は、守備側選手の方向を向いて古い位置に留まっており、その結果、攻撃側選手と守備側選手の間の相対距離について歪んだ視覚を有する。線審は、実際には、視野誤差がそのために生じる位置にいる。
【０４５２】
第２に、パスを行う選手とパスが向けられた選手は、線審の同じ視野内に同時に存在しておらず、その結果、線審は、スローの正確な瞬間における選手の位置を確実に正確に決定することができない。これに加えて、しばしば起こるように、守備側選手と攻撃側選手が反対方向に素早く移動する場合、線審がボールから選手に視線を移すその僅かな時間に、場面は大きく変化し、線審を誤らせることが理解できる。このタイプの過誤は、先に分析され、最終決定は主観的基礎に基づいており、純粋に偶然の評価であるという系統だった結論と共に、このタイプのイベントを正しく決定することは人間には不可能であることが明らかにされた。
【０４５３】
特定のケースでは、線審は、スローの１．２５秒後にフラッグを上げ、その時までに、実際には、Ｓａｍｐｄｏｒｉａの攻撃側選手Ａ２は、Ｌｅｃｃｅの守備側選手Ｄ１に対して６メートル以上もさらに前方にいる。図４５は、線審によって感知された距離の測定を用いて、線審がイベントを検出したフレームを示している。
【０４５４】
提案されるシステムは、様々なカメラを介してリアルタイムでプレー・フィールドのすべての領域を観測することによって、誤りを導入することなく、玉離れイベントと選手の位置とを同時に決定し、示すことができることが明確に示された。
【０４５５】
イベントのクロスチェックは実現可能であり、最終決定を客観的基礎の上に置くために使用することができる。
【０４５６】
実施例４：システムが線審のオフサイド決定を確認し、攻撃側選手の激しい抗議がそこから起こった、すべての疑いを鎮静させる。
この実施例では、また別の時間に、Ｓａｍｐｄｏｒｉａの選手Ａ１が、味方選手Ａ２に深いスローを行っている。この行為は、両方の利用可能な視界に関連する（図４６）。
【０４５７】
線審は、スロー時点で、攻撃側選手がオフサイドの状態にあると決定する。
【０４５８】
Ｓａｍｐｄｏｒｉａの攻撃側選手は、明らかなゴール機会が妨げられるのを見ており、攻撃側選手の位置が反則でないと信じて激しく抗議する。システムは、すべての疑いを鎮静させるその場面の明白な解釈を提供する。進化したインタフェースから利用可能になるグラフィック絵図情報から、スロー時点で、攻撃側選手Ａ２が最終守備側選手Ｄ１に対してさらに約１ｍだけ前方にいることを客観的に見出すことが可能である。従って、線審の解釈は正しい。
【０４５９】
実施例５：クリティカルな照明状態下における、非オフサイドの状況に関する線審の正しい解釈についてのシステムの客観的クロスチェック。
ここで報告される最後の実施例は、最も簡単な解釈を伴った、線審及び提案されるシステムの両方に関する実施例である（図４７）。攻撃側選手Ａ１のスロー時、攻撃側選手Ａ２の位置は、実際に、守備側選手の１人Ｄ１に対して明らかに反則ではなく（約１メートル）、本発明のシステム同様に、線審も試合が続行できることを指示する。
【０４６０】
この実施例は、場面の照明状況が大きく変化する場合も、提案されるシステムは正しく動作すると言うための手掛かりを提供する。この実施例では、実際に、先の実施例とは反対に、場面は自然光を用いて照明され、Ｌｅｃｃｅのスタジアムの建築構造に起因する異なる色強度を有する領域が存在する。
【０４６１】
しかし、これらの望ましくない条件にも関わらず、選手及びボールの動態の進展は、正しく分析され、オフサイド・イベントは、問題なく監視される。
【０４６２】
前の章において、マルチモニタ・マルチメディア操作卓について検討し、実際の画像で実験を行って、提案されるシステムの潜在的可能性を具体的に検査した後なので、以下では、可能な使用シナリオが略述される。
【０４６３】
オフサイド検出システムを使用する３つのシナリオは、手動、半自動、及び自動である。
【０４６４】
各シナリオは、マルチメディア操作卓の構成タイプ（基本又は高度）について、及び高度構成を使用した場合に、第５の人によって受け取られた画像を処理するためのアルゴリズムによって、情報が利用可能にされる方法について特徴を有する。
【０４６５】
手動モード：ＦＧ／ＭＡＮ
手動動作モードでは、検出システムは、ビデオ系列を捕捉し、それらをオペレータが基本構成のマルチモニタ・マルチメディア操作卓を介して使用できるようにする。
【０４６６】
カメラによって獲得されたビデオ系列は、マルチメディア操作卓のモニタ上でリアルタイムに同時に見ることができる。システムが記録している間、オペレータは、マルチモニタ・マルチメディア操作卓を介して、何の制約も受けずに、イベントの客観的クロスチェック及びイベントの評価のために、１つ又は複数のカメラによってすでに獲得された同期されたビデオ系列を表示することができる。オペレータは、特定の制御ウィンドウ及びジョグル型装置を利用して、系列を選択し、フレーム系列の間を容易に移動し、場合によっては、検査されるイベントをより読み取り易くするために、選択されたビデオ画像上にグラフィック絵図情報を重ね合わせる。
【０４６７】
例えば、選手と一致するように、オペレータは、一方の側のラインと平行な線を重ね合わせ、視野及び何人かの選手の位置に関する定性的及び定量的な情報を得ることができる。
【０４６８】
手動動作モードでは、マルチメディア操作卓によって提供されるビデオ系列に基づいてイベントの大局的な評価を行うのは、オペレータの責任である。
【０４６９】
システムは、オフサイドについて構成される、カメラを用いて獲得されたビデオ系列の同期記録だけを自動的に実行する。
【０４７０】
半自動モード：ＦＧ／ＳＥＭ
半自動動作モードでは、システムは、手動モードと同じデジタル及び記録構成要素を含むが、マルチメディア操作卓を高度構成で、即ち、リアルタイム画像系列を専門に処理する追加の計算装置及びソフトウェアを用いて利用する。
【０４７１】
専門的な計算装置は先に説明された。ソフトウェアは、ボールの自動検出、オフサイド識別用の基本イベントの自動検出、誤りの検出及び分類のためのすべてのモジュールを含む。ＦＧ／ＳＥＭシステムを用いた場合、オペレータは、ＦＧ／ＭＡＮシステムの場合と同様に、常にビデオ場面を分析し、イベントを評価するが、この動作モードでは、オペレータは、「知的」ソフトウェア構成要素によって助けられる。ＦＧ／ＳＥＭシステムは、リアルタイムにビデオ系列から豊富なグラフィック絵図情報を自動的に抽出し、グラフィック絵図情報は、より効果的且つ迅速な方法でイベントを評価するために、オペレータ操作卓を介して見ることができる。
【０４７２】
オペレータは、ボール及びイベントに関わる選手の動態についての情報を有するイベントを、定性的及び定量的な方法で検査するために、高度構成のマルチメディア操作卓の利点を使用することができる。
【０４７３】
ＦＧ／ＳＥＭシステムは、オフサイド潜在イベントをオペレータに明確に示すことによって継続的に動作し、イベント評価についての最終決定は、オペレータに委託される。
【０４７４】
自動モード：ＦＧ／ＡＵＴ
この動作モードは、ＦＧ／ＳＥＭシステムと同じハードウェア及びソフトウェア構成要素を必要とする。
【０４７５】
この動作モードでは、システムは、フィールド内におけるイベントの動態からオフサイド状態が生じた場合、自動的且つリアルタイムに決定する。
【０４７６】
そのような動作モードでは、オフサイド・イベントの決定及び評価は、ＦＧ／ＡＵＴシステムに委ねられる。最初の２つの動作モードは、第５の人によって即座に使用されることができ、プレー行為の進行に影響を持たないが、自動動作モードでは、ＦＧ／ＡＵＴシステムは、プレー・イベントについてのいくつかの情報を主審及び線審にリアルタイムに通知する。
【０４７７】
最終決定は、自らが感知したこと及びシステムによって提供された情報に基づいて、結局は主審及び線審が常に行う。
【０４７８】
ＦＧ／ＭＡＮ及びＦＧ／ＳＥＭシステムは、試合の進行に何ら影響を持たないので、第５の人によるイベントのクロスチェックは別にして、第５の人によって即座に使用されることができるが、ＦＧ／ＡＵＴ自動モードのシステムの場合は、システムによって自動的に検出された情報がどのように使用できるかを、試合の通常の進行を変えることなく、人が具体的に評価しなければならない。
【０４７９】
ここまで本発明が、限定の目的ではなく、例として示された、その好ましい実施例によって説明された。添付の特許請求の範囲によって確定される本発明の保護範囲にすべてが属するその他の実施例も提供し得ることが意図されている。
【図面の簡単な説明】
【０４８０】
【図１Ａ】オフサイド・ルール違反に対応する試合状況を示す図である。
【図１Ｂ】オフサイド・ルール違反に対応しない試合状況を示す図である。
【図１Ｃ】オフサイド・ルール違反に対応する試合状況を示す図である。
【図１Ｄ】オフサイド・ルール違反に対応する試合状況を示す図である。
【図１Ｅ】オフサイド・ルール違反に対応しない試合状況を示す図である。
【図１Ｆ】オフサイド・ルール違反に対応しない試合状況を示す図である。
【図１Ｇ】オフサイド・ルール違反に対応しない試合状況を示す図である。
【図１Ｈ】オフサイド・ルール違反に対応する試合状況を示す図である。
【図１Ｉ】オフサイド・ルール違反に対応する試合状況を示す図である。
【図２】視覚系が理想的に作動する配置を示す図である。
【図３Ａ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｂ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｃ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｄ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｅ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｆ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｇ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図３Ｈ】線審の観測点に対する選手の様々な位置を考察することによって生じ得る可能な視野を図式化した図である。
【図４】物体の速度と移動の間の関係を示すグラフである。
【図５】移動と応答時間の間の関係を示すグラフである。
【図６Ａ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図６Ｂ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図６Ｃ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図６Ｄ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図６Ｅ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図６Ｆ】サッカーのチャンピオンシップ・セリエＡ  ２００４／２００５の試合から得られた写真を再現した図である。
【図７】本発明による方法の全体的レイアウトの図である。
【図８Ａ】外郭条件を変化させた際のボールの見掛けの変化を示す図である。
【図８Ｂ】外郭条件を変化させた際のボールの見掛けの変化を示す図である。
【図９Ａ】畳み込みマスクの一実施例を示す図である。
【図９Ｂ】畳み込みマスクの一実施例を示す図である。
【図１０Ａ】実験で利用された画像を示す図である。
【図１０Ｂ】実験で利用された画像を示す図である。
【図１０Ｃ】実験で利用された画像を示す図である。
【図１１】画像のウェーブレット分解レイアウトの図である。
【図１２】レベル３までの画像のウェーブレット分解を表す図である。
【図１３】ニューラル・ネットワークの一例である。
【図１４】ニューラル・ネットワークをトレーニングするのに使用された、いくつかの肯定的な例（第１行）と、否定的な例（第２行）とを示す図である。
【図１５】ハフ変換を用いてボールが肯定的にそこから抽出され、その後、ニューラル手法を用いてボールが認識された、いくつかの画像を示す図である。
【図１６】基準系を表す図である。
【図１７】ベクトル計算を示す図である。
【図１８】獲得されたフレームに関するボール速度のグラフである。
【図１９】獲得されたフレームに関するボール方向のグラフである。
【図２０Ａ】玉離れイベントの自動検出がさらに追加された先の図（１７）と同じ図である。
【図２０Ｂ】玉離れイベントの自動検出がさらに追加された先の図（１８）と同じ図である。
【図２１】フィールド内の対象を検出及び分類するプロセスの顕著なステップからなるフローチャートである。
【図２２】動き検出アルゴリズムを図示する図である。
【図２３】本発明に従って処理されるいくつかの画像系列を示す図である。
【図２４】区分化フェーズの結果を示す図である。
【図２５】影を除去するための操作の結果を示す図である。
【図２６】本発明による、特徴抽出及び分類のためのステップを図式化した図である。
【図２７】ＳＯＭネットワークの図式化を示す図である。
【図２８】正しく分類された選手の例を示す図である。
【図２９】分類器が失敗するケースを提示する図である
【図３０】サッカーボールの速度対移動距離とフレーム・レートとの関係を示すグラフである。
【図３１】フィールドに対して可能なカメラ配置を示す図である。
【図３２】サッカー試合中に獲得された画像を示す図である。
【図３３】本発明によるシステム・アーキテクチャを概略的に示す図である。
【図３４】本発明によるシステム・アーキテクチャを概略的に示す図である。
【図３５】本発明によるマルチメディア・ステーションの実施を示す図である。
【図３６】本発明によるマルチメディア・ステーションの実施を示す図である。
【図３７】示されるインタフェース表示を示す図である。
【図３８】示されるインタフェース表示を示す図である。
【図３９】本発明で使用されるジョグル型装置を示す図である。
【図４０】監視ユニット上に再現されたプレー・フィールドの仮想視界を示す図である。
【図４１】本発明に従って処理される画像の例を示す図である。
【図４２】本発明に従って処理される画像の例を示す図である。
【図４３】本発明に従って処理される画像の例を示す図である。
【図４４】本発明に従って処理される画像の例を示す図である。
【図４５】本発明に従って処理される画像の例を示す図である。
【図４６】本発明に従って処理される画像の例を示す図である。
【図４７】本発明に従って処理される画像の例を示す図である。
【図２】
2008538623.tif 000039
【図３Ａ】
2008538623.tif 000040
【図３Ｂ】
2008538623.tif 000041
【図３Ｃ】
2008538623.tif 000042
【図３Ｄ】
2008538623.tif 000043
【図３Ｅ】
2008538623.tif 000044
【図３Ｆ】
2008538623.tif 000045
【図３Ｇ】
2008538623.tif 000046
【図３Ｈ】
2008538623.tif 000047
【図８Ａ】
2008538623.tif 000048
【図８Ｂ】
2008538623.tif 000049
【図９Ａ】
2008538623.tif 000050
【図９Ｂ】
2008538623.tif 000051
【図１０Ａ】
2008538623.tif 000052
【図１０Ｂ】
2008538623.tif 000053
【図１０Ｃ】
2008538623.tif 000054
【図１４】
2008538623.tif 000055
【図１５】
2008538623.tif 000056
【図２４】
2008538623.tif 000057
【図２５】
2008538623.tif 000058
【図３１】
2008538623.tif 000059
【図３２】
2008538623.tif 000060
【図３６】
2008538623.tif 000061
【図３７】
2008538623.tif 000062
【図３９】
2008538623.tif 000063
【図４１】
2008538623.tif 000064
【図４２】
2008538623.tif 000065
【図４３】
2008538623.tif 000066
【図４４】
2008538623.tif 000067
【図４６】
2008538623.tif 000068
【図４７】
2008538623.tif 000069
【図１Ａ】
2008538623.tif 000070
【図１Ｂ】
2008538623.tif 000071
【図１Ｃ】
2008538623.tif 000072
【図１Ｄ】
2008538623.tif 000073
【図１Ｅ】
2008538623.tif 000074
【図１Ｆ】
2008538623.tif 000075
【図１Ｇ】
2008538623.tif 000076
【図１Ｈ】
2008538623.tif 000077
【図１Ｉ】
2008538623.tif 000078
【図４】
2008538623.tif 000079
【図５】
2008538623.tif 000080
【図６Ａ】
2008538623.tif 000081
【図６Ｂ】
2008538623.tif 000082
【図６Ｃ】
2008538623.tif 000083
【図６Ｄ】
2008538623.tif 000084
【図６Ｅ】
2008538623.tif 000085
【図６Ｆ】
2008538623.tif 000086
【図７】
2008538623.tif 000087
【図１１】
2008538623.tif 000088
【図１２】
2008538623.tif 000089
【図１３】
2008538623.tif 000090
【図１６】
2008538623.tif 000091
【図１７】
2008538623.tif 000092
【図１８】
2008538623.tif 000093
【図１９】
2008538623.tif 000094
【図２０Ａ】
2008538623.tif 000095
【図２０Ｂ】
2008538623.tif 000096
【図２１】
2008538623.tif 000097
【図２２】
2008538623.tif 000098
【図２３】
2008538623.tif 000099
【図２６】
2008538623.tif 000100
【図２７】
2008538623.tif 000101
【図２８】
2008538623.tif 000102
【図２９】
2008538623.tif 000103
【図３０】
2008538623.tif 000104
【図３３】
2008538623.tif 000105
【図３４】
2008538623.tif 000106
【図３５】
2008538623.tif 000107
【図３８】
2008538623.tif 000108
【図４０】
2008538623.tif 000109
【図４５】
2008538623.tif 000110