(57)【要約】  競技場内で、スポーツイベントの選手を視覚的に追跡し、放送可能な映像を自動的に取り込むためのシステムおよび方法が提供される。本システムは、コンポーネントの各々が処理システムと通信している、少なくとも１つの固定追跡カメラ、遠隔制御の放送カメラ、およびスコアボードカメラを含む。本方法は、競技場を複数の対象区域に分割するステップと、対象区域中の個別選手を視覚的に追跡するステップと、対象区域内の選手のグループを識別するステップと、最も多い個別選手を包含する対象区域を判断するステップと、最も多い選手を有する対象区域中の選手の動きを分析するステップと、所定のゲームプレーシナリオのセットから選手の動きに対応する現在のゲームプレーシナリオを選択するステップと、現在のゲームプレーシナリオに応じて放送カメラのパン、チルト、およびズームを調節するステップと、を含む。【選択図】図１
2017531979.tif 000002
【特許請求の範囲】
【請求項１】
競技場内でスポーツイベントの放送可能な映像を自動的に取り込むための方法であって、前記方法は、
前記競技場を複数の対象区域に分割するステップと、
少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手のそれぞれの位置を判断することによって、前記競技場中の個別選手を視覚的に追跡するステップと、
個別選手のそれぞれの位置に基づいて、前記対象区域内の選手のグループを識別するためクラスタ分析を実施するステップと、
最も多数の個別選手を包含する、前記対象区域の所与の１つを判断するステップと、
該所与の１つの対象区域内の個別選手および選手のグループの動きを分析するステップであって、該動きに対応する現在のゲームプレーシナリオを選択するために前記動きを分析するステップであり、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択されるステップと、
前記現在のゲームプレーシナリオに基づいて、リアルタイムで放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込むステップと、
を含む方法。
【請求項２】
前記現在のゲームプレーシナリオが、前記対象区域の前記所与の１つに関して、少なくとも一人の前記個別選手又は少なくとも一つの前記選手のグループの現在の位置、速度、または方向に基づいて選択される、請求項１に記載の方法。
【請求項３】
相隣接する対象区域の間で移動している個別選手または選手のグループを識別することをさらに含み、前記現在のゲームプレーシナリオが、前記相隣接区域の間で移動している前記個別選手または選手のグループの現在の位置、速度、または方向に基づいて選択される、請求項１または２に記載の方法。
【請求項４】
第一および第二隣接区域の間での前記個別選手または選手のグループの移動を予測することをさらに含み、前記個別選手および選手のグループの前記動きが、前記現在のゲームプレーシナリオを選択するために、前記第一および第二区域内の両方で分析される、請求項３に記載の方法。
【請求項５】
前記個別選手を視覚的に追跡することが、
前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出することと、
前記追跡映像の前記フレーム内の前記前景ブロッブの位置に基づいて、それらの配置を判断することと、
前記前景ブロッブの各々を前記個別選手のそれぞれの１人に関連付けることと、
追跡された選手のリストを維持することであって、前記リスト中の各追跡された選手は、前記選手の最後の既知の位置の所定の番号に関連付けられることと、
を含む、請求項１〜４のいずれか１項に記載の方法。
【請求項６】
前記前景ブロッブを関連付けることが、前景ブロッブの前記位置を、前記リスト中の前記前景ブロッブに最も近い最新の既知の位置を有する選手と照合し、一致が見出された場合、前記選手に関連付けられた最新の既知の位置が、前記前景ブロッブの前記位置に対応するように前記リストを更新し、一致が見出されない場合、前記前景ブロッブの前記位置に対応する最新の既知の位置とともに、前記リストに新規の追跡された選手を追加することを含む、請求項５に記載の方法。
【請求項７】
前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出することが、差分画像を得るため前記追跡映像の連続するフレームを減算すること、および
背景上の前記前景ブロッブのバイナリ画像を得るため、前記差分画像に閾値を適用することと、
ノイズを除去するため、前記バイナリ画像をぼかすことと、
前記ブロッブを抽出するために、前記バイナリ画像に輪郭アルゴリズムを実行することと、
によって、前記差分画像から前記前景ブロッブを抽出することを含む、請求項５または６に記載の方法。
【請求項８】
動いている選手に対応する動いているブロッブ、および静止している選手に対応する静止ブロッブを識別することをさらに含み、前記動いているブロッブは前記差分画像から抽出され、前記静止ブロッブは前記追跡映像の単一のフレームから抽出される、請求項７に記載の方法。
【請求項９】
前記現在のゲームプレーシナリオを選択するステップが、前記個別選手および選手のグループの前記動きを、ゲームプレーシナリオの前記所定のセット中の或る特定のゲームプレーシナリオに関連付けられた所定のパターンと照合することを含む、請求項１〜８のいずれか１項に記載の方法。
【請求項１０】
前記競技場は、前記対象区域が前記競技場内の競技フィールドのゾーンに対応するように分割される、請求項１〜９のいずれか１項に記載の方法。
【請求項１１】
追跡領域を前記競技場内の競技フィールド上にマッピングすることにより、前記少なくとも１つの固定追跡カメラを校正することをさらに含み、前記追跡領域は、その中では前記個別選手を視覚的に追跡するために追跡映像が用いられ、その外側では前記追跡映像は無視される領域である、請求項１〜１０のいずれか１項に記載の方法。
【請求項１２】
前記個別選手が複数の固定追跡カメラを使って追跡され、前記複数の追跡カメラ全体に亘って追跡データをノーマライズするステップと、前記競技場内で全体的に前記個別選手を追跡するために、前記複数の追跡カメラ全体からの追跡データを統合するステップと、をさらに含む、請求項１〜１１のいずれか１項に記載の方法。
【請求項１３】
前記競技場内の選手の全体的グループを識別するため個別選手の前記位置のクラスタ分析を実施することと、前記全体的グループの現在の位置、速度、または方向に基づいて前記ゲームプレーシナリオを選択することと、をさらに含む、請求項１〜１２のいずれか１項に記載の方法。
【請求項１４】
スコアボード映像を取り込み、前記スコアボード映像を前記放送可能な映像上に合成することをさらに含み、前記スコアボード映像は前記競技場内のスコアボードの映像を含む、請求項１〜１３のいずれか１項に記載の方法。
【請求項１５】
前記放送カメラの前記パン、チルト、またはズームは、前記視野が前記対象区域の前記所与の１つ内のまたは前記競技場内の左端の選手、右端の選手、最上部の選手、および最底部の選手を包含して境界されるように調節される、請求項１〜１４のいずれか１項に記載の方法。
【請求項１６】
前記放送可能な映像を、ネットワークを介してライブフィードとして放送することをさらに含む、請求項１〜１５のいずれか１項に記載の方法。
【請求項１７】
競技場内でスポーツイベントの放送可能な映像を自動的に取り込むためのシステムであって、前記システムは、
前記競技場中の選手の追跡映像を取り込むよう構成された少なくとも１つの固定追跡カメラと、
前記スポーツイベントの前記放送可能な映像を取り込むよう構成された放送カメラであって、前記放送カメラは、そのパン、チルト、およびズームを調節するため遠隔で制御可能な、前記放送カメラと、
前記少なくとも１つの追跡カメラおよび前記放送カメラに動作可能に連結された処理システムと、
を含み、
前記処理システムが、
前記競技場を複数の対象区域に分割し、
前記少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手のそれぞれの位置を判断することによって、前記競技場中の前記個別選手を視覚的に追跡し、
前記個別選手の前記それぞれの位置に基づいて、前記対象区域内の選手のグループを識別するため、クラスタ分析を実施し、
最も多数の前記個別選手を包含する、前記対象区域の所与の１つを判断し、
前記対象区域の前記所与の１つ内の前記個別選手および選手のグループの動きに対応する現在のゲームプレーシナリオを選択するため、前記動きを分析し、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択され、
前記現在のゲームプレーシナリオに基づいて、リアルタイムで前記放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込む、
ように構成された、
システム。
【請求項１８】
前記少なくとも１つの追跡カメラが複数の追跡カメラであり、該複数の追跡カメラの各々は、前記競技場中の前記複数の対象区域の特定の１つの追跡映像を取り込むことを割り当てられる、請求項１７に記載のシステム。
【請求項１９】
前記少なくとも１つの追跡カメラが、視覚的追跡モジュールを含み、該視覚的追跡モジュールは、
前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出し、
前記追跡映像の前記フレーム内の前記前景ブロッブの位置に基づいて、それらの配置を判断し、
前記前景ブロッブの前記位置の座標を前記処理システムに送信し、前記追跡映像を一緒に送信することなく、前記座標が前記処理システムに送信される、
ように構成された、請求項１７または１８に記載のシステム。
【請求項２０】
前記処理システムに動作可能に連結されたスコアボードカメラをさらに含み、該スコアボードカメラは前記競技場内のスコアボードのスコアボード映像を取り込むように構成され、前記処理システムが、前記スコアボード映像を前記放送可能な映像上に合成するようにさらに構成された、請求項１７〜１９のいずれか１項に記載のシステム。
【請求項２１】
命令の１つ以上のシーケンスを搬送する非一時的機械可読媒体であって、前記命令のシーケンスは、スポーツイベントの間に競技場中で、少なくとも１つの追跡カメラ、および遠隔制御可能な放送カメラに動作可能に接続された１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
前記競技場を複数の対象区域に分割するステップと、
前記少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手のそれぞれの位置を判断することによって、前記競技場中の前記個別選手を視覚的に追跡するステップと、
前記個別選手の前記それぞれの位置に基づいて、前記対象区域内の選手のグループを識別するため、クラスタ分析を実施するステップと、
最も多数の前記個別選手を包含する、前記対象区域の所与の１つを判断するステップと、
前記対象区域の前記所与の１つ内の前記個別選手および選手のグループの動きに対応する現在のゲームプレーシナリオを選択するため、前記動きを分析するステップであって、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択される、ステップと、
前記現在のゲームプレーシナリオに基づいて、リアルタイムで前記放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込むステップと、
を遂行させる、
非一時的機械可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は視覚的な追跡に関し、さらに具体的には、競技場内のスポーツイベントの放送可能な映像を自動的に取り込むための区域ベースの視覚的追跡に関する。
【背景技術】
【０００２】
スポーツイベントを記録し放送することは、プロのレベルではごくありふれた作業である。観客は、別な方法では生で観戦できなかったイベントを体験することができ、過去のイベントからの胸躍る瞬間を再観戦することもできる。これは、当該イベントをずっと広範な観衆に開放し、潜在的観戦率を増やし、チームおよび競技連盟の両方のプラスになる。また、ライブでイベントを観ている観客も、追加の好適な観戦位置を得ることによって、また、素晴らしい瞬間の再生を見られることによって自分たちの体験を高めることができる。同様に、選手およびコーチも、自分たちの戦術を改良するため、重要なプレーを再観戦し検討できることによって利益を得る。
【０００３】
通常、スポーツイベントの高品質の放送は、かなりの量の装置とマンパワーとを必要とする。イベントの種類によっては、競技場全体に亘って２０台以上のカメラを展開することになることがあり、それらの多くは、ゲームの動きを追うために、人間のカメラマンによって手動で操作しなければならない。各カメラからの入力は中央制御室で受信され、制御室では、幾人かのオペレータがゲーム中に展開される動きを最良に表現するために適切な入力を選択する。この入力は、観客が彼らのテレビジョン、コンピュータ、または携帯デバイス上で追うことのできる放送可能な産物を生成するために、臨機応変に編集する必要がある。
【０００４】
不都合なことに、高品質の放送を生成するための高いコストは、より低レベルのスポーツではかかる作業を負担しきれないものにしている。マイナーなプロ競技連盟は、より少ないカメラの使用とより低い品質の放送の使用に頼っている。セミプロ、ジュニア、青少年、およびアマチュアの競技連盟は、多くの場合、ゲームを記録または放送するゆとりが全くなく、個別の観客およびコーチが試合を再観戦して検討することを望む場合、その人達にその試合を撮影する負担をゆだねている。
【０００５】
スポーツイベントの放送をもっと利用し易くするために、いくつかの取り組みが行われてきた。これらの取り組みの大半は、必要な人間の労力の量を減らすために、プロセスの多くを自動化することを含む。具体的には、競技中のプレーを追跡し自動的に放送可能な入力を生成するために、コンピュータ制御のカメラを用いる特殊化されたシステムが開発されてきた。
【０００６】
例えば、米国特許出願公開第２０１０／００２６８０９号は、選手の位置を三次元で個別に追跡するために、選手の備品内に組み込まれた、トランシーバ、加速計、トランスポンダ、および／またはＲＡＤＡＲ検知可能な素子の使用を開示している。ゲームプレーを取り込むために、様々な位置の２Ｄカメラのパン、傾斜、およびズームを制御するコンピュータシステムに、位置情報が入力される。
【０００７】
別の例に米国特許第６，５６７，１１６号があり、これも三次元での選手の追跡を開示している。このシステムは、マーカーとしての役割をさせるため、選手の備品に貼り付けられた周波数選択性反射パッチ、ステッカ、またはテープの使用を採用している。競技場全体に亘って分散された追跡カメラが、マークされたオブジェクトおよび選手を識別し位置を見つけるため、反射された放射を検出する。この位置情報は、続いて、マークされたオブジェクトをそれらの背景から分離できるコンピュータシステムに入力される。関連する特許、米国特許第７，４８３，０４９号は、競技イベントを取り込み、記録するために、複数の固定式の調節可能サイドビューカメラを指向する追跡システムの使用を開示している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許出願公開第２０１０／００２６８０９号
【特許文献２】米国特許第６，５６７，１１６号
【特許文献３】米国特許第７，４８３，０４９号
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術のこれらのシステムは、不都合なことに、スポーツの全てのレベルに使用し得るにはまだまだ高価すぎる。これらのシステムを動作するのに必要のマンパワーはより少なくて済むが、これらは、複数の追跡カメラ、組み込み追跡デバイス、または反射パッチなどの追加の装置を必要とし、それらがシステムのコストおよび複雑性を増大する。さらに、従来技術の完全自動化システムは、望ましい視角の選択を観察者に依存し、したがって、人間の干渉無しにゲームの最適の視像を与える高品質の映像放送を生成することはできない。
【００１０】
したがって、人間の干渉がなく、低減された設備コストで、スポーツイベントの高品質の映像放送を自動的に生成することが可能でありながら全体的コストを低減する、スポーツ競技場内で使用するための改良された選手追跡システムが必要性とされている。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、競技場内でスポーツイベントの放送可能な映像を自動的に取り込むための方法が提供される。該方法は、前記競技場を複数の対象区域に分割するステップと、少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手達（ｐｌａｙｅｒｓ）のそれぞれの位置を判断することによって、前記競技場中の個別選手達（ｐｌａｙｅｒｓ）を視覚的に追跡するステップと、個別選手達（ｐｌａｙｅｒｓ）のそれぞれの位置に基づいて、前記対象区域内の選手のグループ（ｇｒｏｕｐｓ）を識別するためクラスタ分析を実施するステップと、最も多数の個別選手を包含する、前記対象区域の所与の１つを判断するステップと、該所与の１つの対象区域内の個別選手達（ｐｌａｙｅｒｓ）および選手のグループ（ｇｒｏｕｐｓ）の動きを分析するステップであって、該動きに対応する現在のゲームプレーシナリオを選択するために前記動きを分析するステップであり、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択されるステップと、前記現在のゲームプレーシナリオに基づいて、リアルタイムで放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込むステップと、を含む。
【００１２】
本発明の一態様では、前記現在のゲームプレーシナリオが、前記対象区域の前記所与の１つに関して、少なくとも一人の前記個別選手又は少なくとも一つの前記選手のグループの現在の位置、速度、または方向に基づいて選択される。
【００１３】
本発明の一態様では、該方法は、相隣接する対象区域の間で移動している個別選手達（ｐｌａｙｅｒｓ）または選手のグループ（ｇｒｏｕｐｓ）を識別すること、及び、前記現在のゲームプレーシナリオを、前記相隣接区域の間で移動している前記個別選手達（ｐｌａｙｅｒｓ）または選手のグループ（ｇｒｏｕｐｓ）の現在の位置、速度、または方向に基づいて選択することを含む。
【００１４】
本発明の一態様では、該方法は、第一および第二隣接区域の間での前記個別選手達（ｐｌａｙｅｒｓ）または選手のグループ（ｇｒｏｕｐｓ）の移行を予測すること、及び、前記個別選手達（ｐｌａｙｅｒｓ）および選手のグループ（ｇｒｏｕｐｓ）の前記動きを、前記現在のゲームプレーシナリオを選択するために、前記第一および第二区域内の両方で分析することを含む。
【００１５】
本発明の一態様では、前記個別選手達（ｐｌａｙｅｒｓ）を視覚的に追跡することが、前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出するステップと、前記追跡映像の前記フレーム内の前記前景ブロッブの位置に基づいて、それらの配置を判断するステップと、前記前景ブロッブの各々を前記個別選手達（ｐｌａｙｅｒｓ）のそれぞれの１人に関連付けるステップと、追跡された選手達（ｐｌａｙｅｒｓ）のリストを維持するステップであって、前記リスト中の各追跡された選手は、前記選手の最後の既知の位置の所定の番号に関連付けられるステップとを含む。
【００１６】
本発明の一態様では、前記前景ブロッブを関連付けることが、前景ブロッブの前記位置を、前記リスト中の前記前景ブロッブに最も近い最新の既知の位置を有する選手と照合し、一致が見出された場合、前記選手に関連付けられた最後の既知の位置が前記前景ブロッブの前記位置に対応するように前記リストを更新し、一致が見出されない場合、前記前景ブロッブの前記位置に対応する最新の既知の位置とともに、前記リストに新規の追跡された選手を追加することを含む。
【００１７】
本発明の一態様では、前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出することが、差分画像を得るため前記追跡映像の連続するフレームを減算すること、および、背景上の前記前景ブロッブのバイナリ画像を得るために前記差分画像に閾値を適用するステップと、ノイズを除去するため、前記バイナリ画像をぼかすステップと、前記ブロッブを抽出するために、前記バイナリ画像に輪郭アルゴリズムを実行するステップとを実行することによって、前記差分画像から前記前景ブロッブを抽出することを含む。
【００１８】
本発明の一態様では、該方法は、動いている選手達（ｐｌａｙｅｒｓ）に対応する動いているブロッブ、および静止している選手達（ｐｌａｙｅｒｓ）に対応する静止ブロッブを識別することをさらに含む。動いているブロッブは前記差分画像から抽出され、前記静止ブロッブは前記追跡映像の単一のフレームから抽出される。
【００１９】
本発明の一態様では、前記現在のゲームプレーシナリオを選択するステップが、前記個別選手達（ｐｌａｙｅｒｓ）および選手のグループ（ｇｒｏｕｐｓ）の前記動きを、ゲームプレーシナリオの前記所定のセット中の或る特定のゲームプレーシナリオに関連付けられた所定のパターンと照合することを含む。
【００２０】
本発明の一態様では、該方法は、前記競技場を、前記対象区域が前記競技場内の競技フィールドのゾーンに対応するように分割することを含む。
【００２１】
本発明の一態様では、該方法は、追跡領域を前記競技場内の競技フィールド上にマッピングすることにより、前記少なくとも１つの固定追跡カメラを校正（ｃａｌｉｂｒａｔｅ）するステップをさらに含み、前記追跡領域は、その中では前記個別選手達（ｐｌａｙｅｒｓ）を視覚的に追跡するために追跡映像が用いられ、その外側では前記追跡映像は無視される領域である。
【００２２】
本発明の一態様では、前記個別選手達（ｐｌａｙｅｒｓ）が複数の固定追跡カメラを使って追跡され、該方法は、前記複数の追跡カメラ全体に亘って追跡データをノーマライズするステップと、前記競技場内で全体的に前記個別選手達（ｐｌａｙｅｒｓ）を追跡するために、前記複数の追跡カメラ全体からの追跡データを統合するステップと、を含む。
【００２３】
本発明の一態様では、該方法は、前記競技場内の選手達（ｐｌａｙｅｒｓ）の全体的グループを識別するため個別選手達（ｐｌａｙｅｒｓ）の前記位置のクラスタ分析を実施することと、前記全体的グループの現在の位置、速度、または方向に基づいて前記ゲームプレーシナリオを選択することと、を含む。
【００２４】
本発明の一態様では、該方法は、スコアボード映像を取り込み、前記スコアボード映像を前記放送可能な映像上に合成するステップを含み、前記スコアボード映像は前記競技場内のスコアボードの映像を含む。
【００２５】
本発明の一態様では、該方法は、前記放送カメラの前記パン、チルト、またはズームを、前記視野が前記対象区域の前記所与の１つ内のまたは前記競技場内の左端の選手、右端の選手、最上部の選手、および最底部の選手を包含して境界されるように調節するステップを含む。
【００２６】
本発明の一態様では、該方法は、前記放送可能な映像を、ネットワークを介してライブフィードとして放送することを含む。
【００２７】
該方法のさらなる一態様は、上記態様のいかなる組み合わせを含むことができる。
【００２８】
本発明の一態様によると、競技場内でスポーツイベントの放送可能な映像を自動的に取り込むためのシステムが提供される。前記システムは、少なくとも１つの固定追跡カメラ、放送カメラ及び処理システムを含む。該少なくとも１つの固定追跡カメラは、前記競技場中の選手達（ｐｌａｙｅｒｓ）の追跡映像を取り込むよう構成されている。前記放送カメラは、前記スポーツイベントの前記放送可能な映像を取り込むよう構成され、そのパン、チルト、およびズームを調節するため遠隔で制御可能である。該処理システムは、前記少なくとも１つの追跡カメラおよび前記放送カメラに動作可能に連結されている。前記処理システムは、前記競技場を複数の対象区域に分割し、前記少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手達（ｐｌａｙｅｒｓ）のそれぞれの位置を判断することによって、前記競技場中の前記個別選手達（ｐｌａｙｅｒｓ）を視覚的に追跡し、前記個別選手達（ｐｌａｙｅｒｓ）前記それぞれの位置に基づいて、前記対象区域内の選手のグループ（ｇｒｏｕｐｓ）を識別するため、クラスタ分析を実施し、最も多数の前記個別選手を包含する、前記対象区域の所与の１つを判断し、前記対象区域の前記所与の１つ内の前記個別選手達（ｐｌａｙｅｒｓ）および選手のグループ（ｇｒｏｕｐｓ）の動きに対応する現在のゲームプレーシナリオを選択するため、前記動きを分析し、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択され、前記現在のゲームプレーシナリオに基づいて、リアルタイムで前記放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込む。
【００２９】
本発明の一態様では、複数の追跡カメラがあり、該複数の追跡カメラの各々は、前記競技場中の前記複数の対象区域の特定の１つの追跡映像を取り込む。
【００３０】
本発明の一態様では、前記少なくとも１つの追跡カメラが、視覚的追跡モジュールを含む。該視覚的追跡モジュールは、前記少なくとも１つの固定追跡カメラによって取り込まれた追跡映像のフレームから前景ブロッブを抽出し、前記追跡映像の前記フレーム内の前記前景ブロッブの位置に基づいて、それらの配置を判断し、前記前景ブロッブの前記位置の座標を前記処理システムに送信し、前記追跡映像を一緒に送信することなく、前記座標が前記処理システムに送信される、ように構成されている。
【００３１】
本発明の一態様では、該システムは、前記処理システムに動作可能に連結されたスコアボードカメラを含み、該スコアボードカメラは前記競技場内のスコアボードのスコアボード映像を取り込むように構成されている。前記処理システムは、前記スコアボード映像を前記放送可能な映像上に合成するように構成されている。
【００３２】
該システムのさらなる一態様は、上記態様のいかなる組み合わせを含むことができる。
【００３３】
本発明の一態様によると、命令の１つ以上のシーケンスを搬送する非一時的機械可読媒体が提供される。スポーツイベントの間に競技場中で、少なくとも１つの追跡カメラ、および遠隔制御可能な放送カメラに動作可能に接続された１つ以上のプロセッサによって実行されると、該命令は、前記１つ以上のプロセッサに、前記競技場を複数の対象区域に分割するステップと、前記少なくとも１つの固定追跡カメラを使って、前記対象区域内の個別選手達（ｐｌａｙｅｒｓ）のそれぞれの位置を判断することによって、前記競技場中の前記個別選手達（ｐｌａｙｅｒｓ）を視覚的に追跡するステップと、前記個別選手達（ｐｌａｙｅｒｓ）の前記それぞれの位置に基づいて、前記対象区域内の選手のグループ（ｇｒｏｕｐｓ）を識別するため、クラスタ分析を実施するステップと、最も多数の前記個別選手を包含する、前記対象区域の所与の１つを判断するステップと、前記対象区域の前記所与の１つ内の前記個別選手達（ｐｌａｙｅｒｓ）および選手のグループ（ｇｒｏｕｐｓ）の動きに対応する現在のゲームプレーシナリオを選択するため、前記動きを分析するステップであって、前記現在のゲームプレーシナリオは、ゲームプレーシナリオの所定のセットから選択される、ステップと、前記現在のゲームプレーシナリオに基づいて、リアルタイムで前記放送カメラのパン、チルト、またはズームを調節し、これにより前記放送カメラの視野を変更し、前記スポーツイベントの前記放送可能な映像を取り込むステップと、を遂行させる。
【図面の簡単な説明】
【００３４】
【図１】或る実施形態による、競技場内で、スポーツイベントの放送可能な映像を自動的に取り込むためのシステムの概略図である。
【図２】図１のシステム中で使われる追跡カメラの概略図である。
【図３】図３Ａおよび３Ｂは、競技フィールドへの対象区域のマッピングを示す概略図である。
【図４】或る実施形態による、競技場内で、スポーツイベントの放送可能な映像を自動的に取り込むための方法を示すフローチャートである。
【図５】図４の方法において有用な、個別の選手を視覚的に追跡するための方法を示すフローチャートである。
【図６】図５の方法において有用な、追跡映像のフレームから前景ブロッブを抽出するための方法を示すフローチャートである。
【図７】図４の方法において有用な、ゴール突進に対応するゲームプレーシナリオを識別するための方法を示すフローチャートである。
【図８】図４の方法において有用な、所定のゲームプレーシナリオのセットから或るゲームプレーシナリオを選択し、放送カメラに対するパン、傾斜、およびズーム値を調節するための方法を示すフローチャートである。
【図９Ａ】放送カメラの視野を変更するために、該カメラのパン、傾斜、およびズーム値を調節するステップを示す概略図である。
【図９Ｂ】放送カメラの視野を変更するために、該カメラのパン、傾斜、およびズーム値を調節するステップを示す概略図である。
【図９Ｃ】放送カメラの視野を変更するために、該カメラのパン、傾斜、およびズーム値を調節するステップを示す概略図である。
【図１０】スポーツイベントの放送可能な映像上に合成されたスコアボード映像を示す概略図である。
【発明を実施するための形態】
【００３５】
以下に、本発明の諸態様の好適な実施形態を説明する。これらは、本発明を実装するための多くの態様の一部である。しかして、これらの提示例は、いかなる意味でも本発明の範囲を限定すると解釈されるべきではない。
【００３６】
システム
本発明の一態様によれば、競技場内で、スポーツイベントの放送可能映像を自動的に取り込むためのシステムが提供される。本システムは、競技場内の選手を追跡し、ゲームの動きを記録し、ゲームの動きの映像入力を視聴者に放送するように構成される。図１を参照すると、システム１００の一実施形態が概略的に示されている。システム１００は、この場合はホッケーアリーナであるスポーツ競技場１０１に設置されている。例えば、フットボール、サッカー、野球スタジアムなど、他の種類のスポーツ競技場であってもよい。スポーツ競技場１０１は、この場合はホッケーリンクである競技フィールド１０２を含む。他の実施形態では、バスケットコート、またはサッカー、フットボール、もしくは野球場など、他の種類の競技フィールドも可能である。通常、スポーツ競技場１０１は、観客、および選手のための休息場など、他の要素を含む。また、競技場は、試合のスコアを見えるように表示するためのスコアボード１０９も含み得る。
【００３７】
システム１００は、競技フィールド１０２に面する、少なくとも１つの固定追跡カメラ２００を含む。これら少なくとも１つの追跡カメラ２００は、特定の場所に位置付けられて調整されており移動されるようには設計されていないので、固定であるといわれる。言い換えれば、該少なくとも１つの追跡カメラの視野（ＦＯＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）は、これら少なくとも１つの追跡カメラがパンまたは傾斜させることはできない点で、望ましくは静的である。この例示の実施形態では、３つの固定追跡カメラ２００があるが、他の実施形態では、もっと多いまたは少ない追跡カメラを設けることも可能である。本実施形態において、追跡カメラ２００は、競技フィールド１０２の片側に等距離にスペースを置かれている。また、これらは、競技面の縁から、追跡カメラ２００の水平および垂直ＦＯＶに基づいて、最適の取り込み範囲を得るような距離で上方に離れて配置される。本実施形態では、各追跡カメラは、望ましくは、競技フィールド１０２の約三分の一をカバーするが、但し、これらの視野にオーバーラップがあってもよい。
【００３８】
図３Ａおよび３Ｂを参照すると、追跡カメラ２００は、競技場の特定の追跡領域３００をカバーするように、配置し調整することができる。本実施形態では、追跡カメラ２００は、競技フィールド１０２上の追跡領域３００をマップ（ｍａｐ）するように配置され調整される。こうすることで、被写体は、それらが追跡領域３００内に所在する場合にだけ追跡される。例えば、スタンド中の観客またはベンチ上の選手３０４など、追跡領域３００の外側の被写体は無視または除外することが可能である。
【００３９】
追跡カメラ２００は、それらのそれぞれが、特定の対象区域の追跡映像の取り込みを割り当てられるようにさらに構成することができる。本実施形態では、競技フィールド１０２は、３つの対象区域、３０１、３０２、および３０３に分割されている。これらの対象区域のそれぞれは、競技フィールドの１つのゾーンに対応する。本実施形態において、第一対象区域３０１は、ホッケーリンクのディフェンシブゾーンに対応し、第二対象区域３０２は、ニュートラルゾーンに対応し、第三対象区域３０３は、オフェンシブゾーンに対応する。当然ながら、他の区域分割も可能である。例えば、他の対象区域を、試合開始サークルに対応させることもできよう。追跡カメラ２００’、２００”、および２００’”の各々は、主としてその割り当て対象区域中の追跡映像を取り込むように位置付けられる。これらカメラのＦＯＶがオーバーラップしている場合、各カメラは、その視野内の動きを、その動きが当該カメラの割り当て対象区域の外側で生じている場合には、無視するように個々に調整することができる。
【００４０】
本発明の範囲は、他の実施形態において、カメラの数およびそれらの位置を変えることを可能にする。例えば、所与の競技フィールド上で、１などの少ない、または「ｎ」などの多い、追跡カメラを用いることが可能である。ｎのカメラに対しては、各カメラは、各カメラのＦＯＶの間のあり得るオーバーラップで、フィールドのおよそ１／ｎをカバーすることができる。さらに、各追跡カメラの間の間隔は必ずしも等距離である必要はない。一部のカメラは、くっつけてより近付けることができ、一方他のカメラはより遠くに離して間隔取りされる。例えば、いくつかのカメラは、フィールドの行き来の多いエリアを追跡するために、群がらせることができようし、行き来の少ないエリアを追跡するためには、より遠くに離して分散することができよう。当然ながら、カメラの間の間隔が等距離でない場合、各カメラの間のＦＯＶオーバーラップはかなり変わり得よう。
【００４１】
追跡カメラ２００の機能は、競技フィールド１０２上の選手の動きについての情報をシステムに供給することである。図２を参照すると、各追跡カメラユニット２００は、追跡映像取り込みモジュール２０４、視覚的追跡モジュール２０６、および通信モジュール２０８を含むビデオカメラ２０２から成る。ビデオカメラ２０２は、例えば、映像を、可視スペクトル、赤外線スペクトル、またはその両方で取り込むように構成することができる。追跡映像取り込みモジュール２０４は、追跡カメラ２００中に備えられたセンサを使って追跡映像を取り込む役割を担う。視覚的追跡モジュール２０６は、取り込みモジュール２０４から映像信号を受信し、映像信号中のブロッブを追跡するために機械視覚アルゴリズムを実行する。本実施形態において、視覚的追跡モジュール２０６の出力は、映像中で識別されたブロッブのｘとｙとの位置およびサイズの３−タプルから成る。これらは、ブロッブの位置または座標と称することができる。また一方、他の実施形態では、これら座標は、例えば、ｚ位置または方向など、他のパラメータを含むことができる。追跡モジュール２０６の出力は、通信モジュール２０８を介し、有線またはワイヤレス接続２１０を通してさらなる処理のため処理システムに送信される。なお、本実施形態では、追跡映像自体でなく、座標の３−タプルだけが接続２１０を介して送信され、必要な回線容量の量を低減している。
【００４２】
本実施形態では、単一の追跡カメラユニット２００が、取り込みモジュール２０４、追跡モジュール２０６、および通信モジュール２０８を含む。言い換えれば、生の追跡映像入力およびブロッブの視覚的追跡の処理は、カメラ２００上でローカルに行われる。これらのモジュールは、ビデオカメラ２０２の一体部分とすることができ、または、例えば、ビデオカメラ２０２に取り付けられた単一ボードのコンピュータの一部とすることもできよう。
【００４３】
図１に戻って参照すると、システム１００は、スポーツイベントの映像を取り込むための２つのさらなるカメラも含む。その第一は、フィールドの中央部近く、望ましくは追跡カメラと同じ側に配置されたビデオカメラである放送カメラ１０６である。この放送カメラ１０６は可動で、そのパン、チルト、およびズーム（ＰＴＺ：ｐａｎ，ｔｉｌｔ  ａｎｄ  ｚｏｏｍ）を調節するため、アプリケーションプログラミングインターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ  ｐｒｏｇｒａｍｍｉｎｇ  ｉｎｔｅｒｆａｃｅ）を介して遠隔で制御が可能である。可能な実施形態によれば、ＰＴＺは、アクチュエータを使いカメラまたはレンズを物理的に動かすことによって、または映像効果を適用することによってデジタルに、調節することができる。放送カメラ１０６は、スポーツイベント中の動きの映像入力を取り込む役割をする。第二のさらなるカメラは、スコアボードカメラ１０８である。スコアボードカメラ１０８は、競技場１０１中のスコアボード１０９に向けられたビデオカメラである。これは、後で、放送カメラからの映像入力上に合成が可能な、スコアボード１０９の映像入力を取り込む役割をする。
【００４４】
追跡カメラ２００、放送カメラ１０６、およびスコアボードカメラ１０８は、それぞれ処理システム１１０と通信している。本実施形態において、処理システムは、例えばサーバなどのコンピューティングユニット１１０である。コンピューティングユニット１１０との通信は、ローカルネットワークを介して達成することができ、有線またはワイヤレス接続のいずれであってもよい。コンピューティングユニット１１０は、少なくともプロセッサとメモリとを含む。このコンピューティングユニットは、追跡カメラ２００のそれぞれから、ｘ，ｙ、およびサイズデータの形で追跡データを受信するように構成される。次に、コンピューティングユニット１００は、ゲームプレーを判断するため、追跡データにソフトウェア実装の方法を実行し、次いで、ゲームの動きの最適の視像を得るため、放送カメラ１０６のＰＴＺを制御する。また、コンピューティングユニット１１０は、放送カメラ１０６およびスコアボードカメラ１０８の両方からの映像入力を受信することができ、これらからゲームの動きおよび現在のスコアの両方を示す合成画像を生成することが可能である。得られた合成画像は、例えばインターネットなどのネットワーク１１１を介して、コンピュータ、スマートフォン、タブレット、または他のこのようなデバイスなどのクライアントデバイス１１２に配信または放送される前に、他の効果またはグラフィックスを加えるため、さらに操作することができる。
【００４５】
いくつかの実施形態において、この映像は、コンテンツ配信ネットワーク（ＣＤＮ：ｃｏｎｔｅｎｔ  ｄｅｌｉｖｅｒｙ  ｎｅｔｗｏｒｋ）を使いインターネットを介して放送することが可能である。このような実施形態において、放送カメラ１０６およびスコアボードカメラ１０８によって取り込まれた映像はＣＤＮに流される。映像は、カメラから直接流すこともできようし、またはコンピューティングユニット１１０を介して流すこともできよう。このとき、ＣＤＮは、様々なプラットフォームとの整合のため映像をコード変換し、該映像をクライアントデバイス１１２に配信する役割を担う。映像は、クライアントデバイス１１２上で実行されているネイティブアプリケーションに配信され、また、ウェブアプリケーションを介して利用可能にできる。いくつかの実施形態において、映像は、スポーツイベントのライブ映像フィードの形でクライアントデバイス１１２に配信できる。
【００４６】
システム１００は、放送される映像をさらに向上させるため、他のデバイスまたはセンサをさらに含むことが可能である。例えば、本システムは、スポーツイベントおよび観客の音声を取り込むために、マイクロフォンまたはマイクロフォンのアレイを備えることができる。これらのマイクロフォンは、指向性でもまたは非指向性でもよく、競技場全体を通して戦略的に配置することが可能である。いくつかの実施形態において、放送カメラ１０６には、放送カメラ１０６の視界中の音声が取り込まれるように、指向性マイクロフォンを設けることができよう。また、本システムには、ゲームの動きを追うために、放送カメラ１０６と類似の仕方で、処理システム１１０によって制御可能なパン、傾斜、およびズームのできるマイクロフォンを含めるとよい。
【００４７】
本発明の利点は、必要性の変化に応じて縮小拡大するため、違いのある諸実施形態を可能にできることにある。例えば、他の実施形態において、本システムは、競技フィールドの周囲または上方の他の好適な観戦位置に配置された複数の放送カメラを含むことができる。さらに、より大きなフィールドに対してはより多くの追跡カメラを用い、より小さなフィールドに対してはより少ないカメラを用いればよい。いくつかの実施形態において、コンピューティングユニットは、オンサイトに配置することが可能である。他の実施形態では、コンピューティングユニットはオフサイトとすることができ、必要なハードウェアの量をさらに減らすために、クラウドベースとすることが可能である。可能な実施形態によれば、これらのカメラの各々は、ＨＤ、または２Ｋもしくは４Ｋなどより高い解像度とすることができる。最後に、追跡カメラおよび放送カメラは、コストおよび必要な設備の量をさらに低減するために、単一のユニットに組み込むことが可能である。
【００４８】
方法
本発明の一態様によれば、競技場内で、スポーツイベントの放送可能な映像を自動的の取り込むための方法が提供される。本方法は、選手を追跡するためのステップと、ゲームの動きを記録するためのステップと、映像入力を視聴者に放送するためのステップとを含む。本方法は、望ましくは、上記で説明したようなシステム上で遂行される。
【００４９】
図４を参照して大まかに説明すると、本方法は、競技場を対象区域に分割するステップ４０２と、個別の選手達（ｐｌａｙｅｒｓ）を視覚的に追跡するステップ５００と、対象区域内の選手のグループを識別するステップ４０６と、最も多くの選手を包含する対象区域を判断するステップ４０８と、最も多くの選手を有する対象区域中の動きを分析するステップ４１０と、その動きに対応するゲームプレーシナリオを選択するステップ４１２と、そのゲームプレーシナリオに基づいて、放送カメラのパン、チルト、およびズームを調節するステップ４１４と、を含む。５００〜４１４の間のステップは、選手が連続的に追跡され、放送カメラのＰＴＺがリアルタイムで更新されながら、連続して繰り返される。
【００５０】
図５を参照すると、個別の選手達（ｐｌａｙｅｒｓ）を視覚的に追跡するステップ５００は、追跡映像を取り込むステップ５０２と、追跡映像のフレームから前景ブロッブを抽出するステップ６００と、前景ブロッブの位置を判断するステップ５０４と、ブロッブ位置を処理システムに送信するステップ５０６と、複数の追跡カメラからの追跡データを統合するステップ５０８と、ブロッブを個別の選手に関連付けるステップ５１０と、追跡された選手のリストを維持するステップ５１２と、を含むことができる。これらのステップは連続して繰り返すことが可能である。
【００５１】
これらのステップの多くは、中央処理システム上で遂行することが可能であるが、一部のステップは、追跡カメラ上の専用モジュールなど、他の専用モジュールにオフロードされてもよい。一実施形態において、本方法は、選手達（ｐｌａｙｅｒｓ）または選手のグループ（ｇｒｏｕｐｓ）に対応するブロッブのｘ，ｙ、およびサイズの情報を判断するため、追跡カメラユニット上の映像データを分析するステップを最初に含むことができる。次に、処理システムが、複数のカメラユニットからブロッブ情報を受信し、ゲームの動きを分析するためにソフトウェア実装の処理を実行する。最後に、処理システムは、そのゲームの動きの最適の視像を提供するように放送カメラを制御する。
【００５２】
現在説明している実施形態において、本方法の第一部分を各追跡カメラユニット上で実行することができる。図５および６を参照すると、追跡カメラユニットの視覚的追跡モジュールは、
ａ）映像フレーム画像を読み取り、別の映像フレーム画像読み取る前に少し間を置くステップ５０２と、
ｂ）絶対差分画像を得るため２つの連続する画像の減算を行うステップ６０４と、
ｃ）該差分画像をバイナリ画像に変換するために閾値を適用するステップ６０６と、
ｄ）ノイズを除去するために該バイナリ画像にぼかしフィルタを適用するステップ６０８と、
ｅ）バイナリ画像をシャープにするために別の閾値を適用するステップ６１０と、
ｆ）背景から前景ブロッブを抽出するために輪郭処理を実行するステップ６１２と、
ｇ）望ましくないノイズおよび「ｎ」画素よりサイズの小さいブロッブを除去するため、ブロッブのサイズに基づいてそれらを分別するステップと、
ｈ）画像の幅および高さに基づいて、ブロッブの絶対値画素ｘ，ｙ位置を、正規化された０．０〜１．０の値の変換するステップ５０４と、
ｉ）ゲームプレーを判断すべくソフトウェア実装の処理に使用するため、各ブロッブのｘ，ｙ位置、およびサイズの３−タプルを処理システムに流すステップ５０６と、
ｊ）ステップａ）からの繰り返しと、
を実施することができる。
【００５３】
一実施形態において、本方法は、動くブロッブを抽出するためのものとは異なる、静的なブロッブを抽出するための画像処理技法を用いるステップを含むことができる。これは、システムが、動きのない選手をよりうまく取り扱うことを可能にする。図６を参照すると、本方法は、ブロッブが動いているかどうかを判断するステップ６０２を含むことができる。ブロッブが動いている場合、前述したように、ステップａ）〜ｊ）が順当に遂行される。ブロッブが動いていない場合、その位置は追跡映像の単一のフレームの分析から判断される。しかして、差分画像に対する分析は実施されず、連続する画像の減算のステップはスキップされる。
【００５４】
本実施形態において、本方法の第二部分を処理システム上で実施することができる。本処理システムの機能は、追跡カメラから選手の位置情報を受信し、ゲームプレーの判断するための処理を実行し、放送カメラのＰＴＺを制御することである。ゲームプレーは、対象区域内の選手の動きを分析し、ゲームプレーシナリオの所定のセットから１つのゲームプレーシナリオを選択することによって判断することができる。このシナリオのセットには、例えば、フェイスオフ、ゴール突進（ブレークアウェイ）、または選手の動きを含めることができる。シナリオは、対象区域中の選手達（ｐｌａｙｅｒｓ）のパターン、または選手達もしくは選手のグループ（ｇｒｏｕｐｓ）のでき事（ｅｖｅｎｔｓ）のシーケンスに基づいて選択することができる。シナリオが選択されたならば、そのシナリオに基づいて、ゲームの動きの最適の視像を提供するため、放送カメラのＰＴＺが調節される。
【００５５】
一実施形態において、処理システムによって、次のステップを連続的なループで実行することが可能である。本実施形態において、本システムは、ディフェンシブゾーン（区域１）、ニュートラルゾーンのディフェンシブゾーンに近い方の半分（区域２）、ニュートラルゾーンのオフェンシブゾーンに近い方の半分（区域３）、およびオフェンシブゾーン（区域４）の４つの対象区域中の選手を追跡するための４つの追跡カメラを含む。
【００５６】
処理システムは、追跡カメラユニットの各々から、非同期でデータを受信する。該データは、追跡カメラユニットに検出されたブロッブの各々のｘ，ｙ位置およびサイズによる３−タプルのリストの形をとる。
【００５７】
各ブロッブのｘおよびｙ位置は、カメラのＦＯＶの画素幅および高さに基づいて正規化される。
−  ブロッブ位置ｘ＝０は、追跡カメラの水平方向ＦＯＶの最左端画素を指す。
−  ブロッブ位置ｘ＝１．０は、追跡カメラの水平方向ＦＯＶの最右端画素を指す。
−  ブロッブ位置ｙ＝０は、追跡カメラの垂直方向ＦＯＶの最上部画素を指す。
−  ブロッブ位置ｙ＝１．０は、追跡カメラの垂直方向ＦＯＶの最底部画素を指す。
【００５８】
本実施形態では、ｙ位置は、全４つの追跡カメラに対して同じであり、変えられていない。但し、他の実施形態では、ｙ位置はノーマライズ（標準化）される必要があり得る。ｘ位置は全４つの追跡カメラに亘ってノーマライズされる必要があり、この場合は、
−  カメラ１、ｘ位置は０〜０．２５の範囲である。
−  カメラ２、ｘ位置は０．２５〜０．５０の範囲である。
−  カメラ３、ｘ位置は０．５０〜０．７５の範囲である。
−  カメラ４、ｘ位置は０．７５〜１．０の範囲である。
【００５９】
正規化されたブロッブのデータは、作業ブロッブリストに加えられる。
【００６０】
処理システムは、次いで、どのブロッブが同じであり、だが空間的および時間的にオフセットされているかを判断するために、過去のデータと現在のデータ（作業ブロッブリスト、または追跡された選手のリスト）とを照合する、選手追跡処理を実行する。この処理は、サイズ＞「ｎ」画素に基づきブロッブを取捨選別し、選別されたブロッブをリスト中に加える。「ｎ」の値は、選手のブロッブの相対的サイズに基づいて選び、追跡カメラの位置および解像度に基づいて調整することが可能である。例えば、「ｎ」の値は、１０〜２５画素の間の範囲とすることができよう。或る例示的な実施形態において、「ｎ」は１０．７画素とし、これによりサイズが１０．７平方画素より小さな全てのブロッブをノイズと見なすことが可能である。このブロッブ追跡処理は、過去のブロッブとリスト中のブロッブとの間の最適の一致性を見出すために、最小距離計算を用いる。距離計算が最小限度よりも小さければ、一致性があり、そのブロッブはプレイヤーオブジェクトを割り当てられ、選手のブロッブのリストに加えられる。リストに加えられたブロッブは、その結果、追跡された選手の最新の既知の位置に対応する。過去のデータと一致性のないブロッブは、新規と見なされ、或るプレイヤーオブジェクトに割り当てられる。選手のブロッブリストは、「ｎ」の最新ブロッブ（ｂｌｏｂｓ）による最大長さに保持される。言い換えれば、追跡された選手のリストにおいて、各追跡された選手は、彼らの最後の既知の位置の所定の番号「ｎ」に関連付けられる。この文脈での「ｎ」の値は、選手の動きの方向を確認するのに必要な以前の情報の最小の量に基づいて選ぶことが可能である。「ｎ」のこの値は、例えば、５〜１０の間の、最後のブロッブの範囲とすることができよう。或る例示的な実施形態において、５の「ｎ」が選ばれ、したがって、各選手のブロッブリストは、その選手の最後の既知の位置に対応する５つのブロッブだけを包含する。
【００６１】
選手のブロッブリストは、その選手の速度と方向とを計算するのに使われる。選手のｘまたは水平方向の計算は、選手のブロッブリストを通してのループ処理、および新規のｘ位置と前のｘ位置と間の差分の加算に基づいている。
【００６２】
【数１】
2017531979.tif 000003
【００６３】
同様に、選手のｙまたは垂直方向の計算は、選手のブロッブリストを通してのループ処理、および新規のｙ位置と前のｙ位置と間の差分の加算に基づいている。
【００６４】
【数２】
2017531979.tif 000004
【００６５】
正のｘＤｉｒ値は、選手が、追跡カメラの画像内で左から右へ移動していることを意味する。負のｘＤｉｒ値は、選手が、追跡カメラの画像内で右から左へ移動していることを意味する。ゼロ値は、選手が水平方向には動いていないことを意味する。ｘＤｉｒの大きさは、水平方向の速度である。
【００６６】
正のｙＤｉｒ値は、選手が、追跡カメラの画像内で上から下へ移動していることを意味する。負のｙＤｉｒ値は、選手が、追跡カメラの画像内で下から上へ移動していることを意味する。ゼロ値は、選手が垂直方向には動いていないことを意味する。ｙＤｉｒの大きさは、垂直方向の速度である。
【００６７】
処理の複雑さを軽減するために、簡易クラスタリングを適用してもよい。或る実施形態において、各追跡カメラを潜在的なクラスタまたは選手のグループと見なすことが可能である。１つの追跡カメラが、０のクラスタまたは１選手グループを構成することができる。これにより、全追跡カメラを通して、最小０の選手グループ、最大で４の選手グループがあり得る。他の実施形態において、選手群は、いくつかの選手グループに分割することができる。１つの対象区域または競技フィールド全体に対しクラスタ分析を行うことにより、対象区域内の選手のグループ、または競技場全体内の選手の全体的グループの識別を可能にできる。グルーピングは、サブグループにさらに分割することができる。
【００６８】
追跡カメラが選手達（ｐｌａｙｅｒｓ）を検出すると、個別の選手の速度と方向とからそのグループの速度と方向とが計算される。左に移動している全選手の和を平均し、右に移動している全選手の和を平均し、この２つの平均の最大値を取ればそれが当該グループの速度および方向である。全追跡カメラに対して、速度および方向が計算される。
【００６９】
全選手のｘおよびｙ位置の値に基づいて、最左端の選手、最右端の選手、最上部の選手、および最底部の選手が判定される。これら左および右の選手のｘ位置、および上部および底部の選手のｙ位置は、カメラの潜在的（ｐｏｔｅｎｔｉａｌ）ＦＯＶを計算するのに使われる。狭いＦＯＶは、該左の選手と右の選手とが相対的に近いｘ位置を有する、または該上部の選手と底部の選手とが相対的に近いｙ位置を有することを意味する。広いＦＯＶは、これらのｘまたはｙ位置が遠く離れていることを意味する。
【００７０】
潜在的ＦＯＶは、いくつかのゲームプレーシナリオにおいて競技フィールドにいる全選手の大要を与え、または特定の対象区域内の全選手の概観（ｏｖｅｒｖｉｅｗ）を与えるため用いることができる。選手が動き回るにつれ、潜在的ＦＯＶは、全ての選手を包含して境界されるように変化する。しかして、このように計算されるＦＯＶは、選手群が氷面の一端から他端に移動するような通常のゲームプレーに対し良好な視像を提供する。
【００７１】
潜在的ＦＯＶは、区域中の全ての選手を包含して、または、競技フィールド上の全ての動いている選手を包含して境界されるように計算することができる。図９Ａおよび９Ｂを参照すると、第一ＦＯＶ９０２は、オフェンシブゾーン３０３内の全ての選手を包含して境界されるように計算することが可能である。この構成において、選手９０４は左端におり、選手９０５は右端におり、選手９０６は最上部におり、選手９０７は最底部にいる。かかるＦＯＶは、例えば、攻撃シナリオ、またはパワープレーを表現するのに有用であり得る。図９Ａおよび９Ｃを参照すると、第二ＦＯＶ９０１は、それが、競技フィールド１０２上の全ての動いている選手を境界するように計算することが可能である。この構成において、選手９０８が代わりに左端におり、ＦＯＶは、オフェンシブゾーン３０３およびニュートラルゾーン３０２のビューを含む。かかるＦＯＶは、例えば、脱出プレーシナリオに対して有用であり得る。
【００７２】
最多の選手を有する追跡カメラが、ゲームプレーを判断し、現在のゲームプレーシナリオを選択するためのソフトウェア実装の処理に用いられる追跡カメラ区域として指定される。残りの区域におけるデータは、例えば、処理の複雑さを低減するため、ゲームプレーを判定する目的の上では無視されてもよい。
【００７３】
選手達（ｐｌａｙｅｒｓ）が１つの対象区域（追跡カメラ区域ともいう）から別の区域に移行しつつあるかどうかを判断するために、変数を使って前の対象区域が格納される。前の区域のＩＤが現在の区域のＩＤよりも小さければ、選手達は右に移動している。前の区域のＩＤが現在の区域のＩＤよりも大きければ、選手達は左に移動している。前の区域のＩＤが現在の区域のＩＤと同じであれば、選手達は同じ追跡カメラ区域内で移動している。このアプローチは、遅い動きの選手達の移行を検出するには十分であるが、速い動きの選手達に対しては、十分でないことがある。速い動きの選手達または選手のグループ（ｇｒｏｕｐｓ）を検出するには、予測処理が必要となり得る。
【００７４】
１つの区域から別の区域に移行している選手達の検出を容易にするために、左および右ｘ位置のトリガマーカーが使われる。選手のグループが或る区域内で移動している場合（ｘ方向が０でない）且つ、グループのｘ位置がマーカーおよび関連する区域の縁内に含まれる場合、且つ、該グループの速度が限度より大きな場合、予測は、そのグループは新しいカメラ区域に移行しつつあるということになる。
【００７５】
現在の追跡カメラ区域および予測される移行先追跡カメラ区域は、ゲームプレーを判断するための処理に用いることができる。
【００７６】
いくつかの実施形態において、追跡カメラは、動いていない選手を検出する能力がなく、したがって、動かない選手に対するブロッブデータを処理システムに送信することはない。処理システムは、選手が動いていないとき、選手達の速度および方向を追跡することによってそれを検出しなければならない。選手の現在速度が、０〜限度ｘの値に接近すると、その選手は停止すると見なされ、該選手の現在の位置、速度、および方向が選手停止リスト中に格納される。選手追跡の過程で新しい選手が検出されると、その位置が停止リスト中の選手と対比される。一致がある場合、その新しい選手は、前に停止した選手である。停止リスト中の選手の値は存続期間を有し、時間「ｔ」の後、それらの値が動いている選手と一致しない場合、その選手の値は削除される。
【００７７】
これらの停止選手達は、幾人かの停止選手がいて単一のオフィシャルまたは選手が新しい位置に移動している、フェイスオフの処理に用いることができる。純粋な優先順位動きベースの処理において、動いている一オフィシャルまたは選手は、放送カメラがその動きを追うように、パン、チルト、およびズーム値を生成する処理を引き起こすことになろう。本方法では、この処理は、試合開始サークル中に選手が停止していると認識し、試合開始のゲームプレーシナリオを選択する。この試合開始のゲームプレーシナリオにおいて、放送カメラは、選手、選手のグループが所在する試合開始エリアに焦点を合わせるため、パンされ、傾斜され、ズームされる。単一人の選手の動きがある場合でも、本処理では、その単一の選手の動きを追う代わりに、現在の放送カメラのパン、チルトの値を維持することになろう。かかる状態は、試合開始が終了するまで維持され、次いで本処理は異なるゲームプレーシナリオを選択する。
【００７８】
ゴール突進のゲームプレーシナリオは、双方の選手グループのダイナミクス（速度および位置）と単一の選手の行動との組み合せなどの動きを分析することによって識別することができる。図７を参照すると、ゴール突進の予測をするためには、以下のでき事（事象。ｅｖｅｎｔｓ）のシーケンス７００が生じなければならない。
−  全選手（グループ）が、追跡カメラ区域１または４（エンドゾーン（端部区域））のいずれか１つに、或る経過時間「ｔ」の間いる、７０２。
−  １人の選手（突進選手）が別の区域（２または３）に、選手のグループより速い速度で７０４、且つグループから「ｄ」より大きな距離を取って７０６移行する。
−  選手グループが、突進選手と同じ方向に「エンドゾーン」内で移動、または別の区域に移行しなければならない、７０８。
【００７９】
当該選手およびグループの動きの検討において、本システムは、選手の大多数を包含する単一の対象区域中の選手およびグループのダイナミクスを分析することが可能である。競技が急速にシフトするシナリオにおいて、このシーケンスは、選手または集団が区域２または３へ移動しているかどうかを予測するステップ７１０を含むことができる。移動している場合、本システムは、予測された区域および現在最多の選手を包含する区域両方内の動きを分析することが可能である。
【００８０】
ゲームプレーシナリオは、競技の間に頻繁に変わり得る。したがって、ゲームプレーシナリオの選択は、適切なシナリオを選択するために、ゲームプレーの動きの連続的な分析を伴い得る。この選択には、特定のシナリオを示すでき事のパターンまたはシーケンスを識別する意思決定ツリーを含めるとよい。シナリオが選択されたならば、放送可能な映像のフレーム内に現在のゲームプレーを最適に表現するように、放送カメラのＰＴＺを調節することが可能である。
【００８１】
図８を参照すると、現在のゲームプレーのシナリオを選択するための方法は、特定のゲームプレーシナリオを識別し、それに従って放送カメラのＰＴＺ値を調節するため、前述したパラメータを使用する。選手達（ｐｌａｙｅｒｓ）が動いており８０２、且つ選手達がフェイスオフエリアの外に出つつある場合８０４、選択されるシナリオは、フェイスオフの完了である。カメラは、より大きな氷面が見えるように、フェイスオフエリアからズームアウトする８０６。選手達は動いているが８０２、フェイスオフエリアから外に出ていない場合８０４、選択されるシナリオは標準的なプレーである。カメラは、選手達の動きを追うため、パンされ、チルトされ、ズームされる８２２。図７中に記載されたでき事のシーケンスが生じた場合、選択されるシナリオはブレークアウェイ（ゴール突進）８１８である。ゴール突進選手および区域が見出され８２０、カメラは、そのゴール突進選手に焦点を当てるため、パンされ、チルトされ、ズームされる８２２。
【００８２】
プロセスの開始時で選手達は動いておらず８０２、選手達がフェイスオフエリア中にいる８１０場合、選択されるシナリオはフェイスオフである。放送カメラは、フェイスオフサークルに焦点を当てるため、パンされ、チルトされ、ズームされる。選手達がフェイスオフサークル中にいない８１０場合、カメラは、それに応じて動きを追うために、チルトされ、ズームされる８１４。
【００８３】
さらに図８を参照すると、ＰＴＺ値が計算されたならば、それらの値は、コンピュータから、ＡＰＩを介して放送カメラに送信される８０８。
【００８４】
本方法は、放送カメラによって記録された映像の最上部にスコアボード映像を合成する追加のステップをさらに含むことができる。図１０を参照すると、合成された映像１０００は、放送カメラによって取り込まれた映像１００２の一部の上に重ねられたスコアボードの映像入力１００４を含むことが可能である。このように、この映像を観ている観客は、常時、試合のスコアを見ることができるようになる。この例示の実施形態では、スコアボードカメラからの入力は、放送カメラからの入力上に直接に合成される。好ましくは、スコアボード映像は、それが放送カメラからの映像を視覚的に妨げないように位置付けられる。スコアボードの入力は、スコアボード映像が放送カメラの映像を妨げる可能性がある、例えば選手を覆う可能性がある、と判定された場合には、フェードするまたは一時的に非表示にすることが可能である。或る実施形態において、スコアボード映像は、それが表示する情報を抽出するための処理をすることができよう。この情報を用いて、放送カメラからの映像上に重ねるための、スコアボードのカスタムなグラフィック表現を自動的に生成することが可能である。合成されたならば、得られた映像は、インターネットまたは別のネットワークを介してクライアントデバイスに放送することができる。これは、試合のライブフィードの形で放送する、または後日の放送のため保存することが可能である。
【００８５】
リストされたステップは、本記載の発明の、だがその一部の可能な実施形態である。他の実施形態では、これらステップの一部を異なる順序で実施すること、それらを異なるコンポーネント上で実施すること、またはいくつかのステップを単一のコンポーネント上で実施することが可能である。例えば、ブロッブデータは、追跡カメラユニット中の別個のコンピューティングモジュール上で生成する代わりに、ゲームプレーを判断するのと同じコンピューティングユニット上で生成してもよい。
【００８６】
他の可能な実施形態によれば、ホッケー以外のスポーツを追跡するために本方法を用いるときは、その特定のスポーツに固有の異なるゲームプレーシナリオを識別し選択するため、追加のステップを含めればよい。また、他の実施形態によれば、様々な処理の中で使われる閾値および画素サイズは、相当に変わり得ようし、システムの必要性に応じて調整することも必要となり得る。前述で提示した実施形態中に記載された具体的な値は、例示のためだけのものであって、いかなる面でも本発明の範囲を限定すると解釈されるべきでない。
【図１】
2017531979.tif 000005
【図２】
2017531979.tif 000006
【図３】
2017531979.tif 000007
【図４】
2017531979.tif 000008
【図５】
2017531979.tif 000009
【図６】
2017531979.tif 000010
【図７】
2017531979.tif 000011
【図８】
2017531979.tif 000012
【図９】
2017531979.tif 000013
【図９Ａ】
2017531979.tif 000014
【図１０】
2017531979.tif 000015
【国際調査報告】
2017531979.tif 000016
2017531979.tif 000017
2017531979.tif 000018
2017531979.tif 000019