(57)【特許請求の範囲】
【請求項１】
放送中に興味を引く対象を追跡し、タグ付けする方法であって、
カメラを用いて映像認識または動作感知型追跡によって、一つ又は複数の動いている対象を追跡し、
前記一つ又は複数の動いている対象に関して興味を引く対象を決定し、
前記一つ又は複数の動いている対象に対して、若しくは当該対象に関するグラフィックスをレンダーするとともに、
前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
前記グラフィックスは、前記対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
前記一つ又は複数の対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とする方法。
【請求項２】
前記グラフィックスは、プレー、若しくは、グラウンド上のプレイヤーのパフォーマンスに関するものである請求項１に記載の方法。
【請求項３】
前記追跡は自動化されるとともに、インターフェースによってオペレータが一つ又は複数の対象を選択可能又は自動選択を確認可能である請求項１に記載の方法。
【請求項４】
前記オペレータは、前記インターフェースによって前記統計データを提供する請求項３に記載の方法。
【請求項５】
前記インターフェースは前記オペレータに提供される、又は、一つ又は複数の予め選択されたオプションを実行する請求項３に記載の方法。
【請求項６】
前記グラフィックスは、放送中又は放送後のビデオオーバーレイとして提供される請求項１に記載の方法。
【請求項７】
前記追跡された対象は、部分的に表示されるものである請求項６に記載の方法。
【請求項８】
前記ビデオオーバーレイは、薄く表示される請求項６に記載の方法。
【請求項９】
前記ビデオオーバーレイは、少なくとも部分的にフェーズアウトされる請求項６に記載の方法。
【請求項１０】
前記グラフィックスは、前記対象が動いている間は完全には追従しない請求項６に記載の方法。
【請求項１１】
オペレータは、関連付けられた追跡システムと無線接続される無線機器を介して前記対象をタグ付けすることによって興味を引く対象を決定する請求項１に記載の方法。
【請求項１２】
前記一つ又は複数の対象は、プレイヤー、ボール、フィールドマーク、フィールド以外のマーク、コーチ、ファン、コメンテーター、及び、フィールド以外でのイベントのうち少なくとも一つを含む請求項１に記載の方法。
【請求項１３】
前記追跡された対象は、予め認識された統計データ又は重要性に関連付けられる請求項１に記載の方法。
【請求項１４】
前記グラフィックスは、名前表示、ゲーム中の統計データ、シーズンの統計データ、プレイヤーコメント、コーチコメント、及び、カスタムテキストのうち少なくとも一つを含む請求項１に記載の方法。
【請求項１５】
イベントにおける複数のカメラの映像、キャプチャー、又はリプレイを選択するユーザーインターフェースであって、
放送中の一つ又は複数の追跡された対象を光学的に表示する、一つ又は複数のモニター、若しくは、タッチスクリーンディスプレイを備えるとともに、
オペレータによる前記一つ又は複数の対象の選択を示す、若しくは、自動選択又は自動選択の確認を示し、
前記一つ又は複数の光学的に追跡された対象に対して、若しくは当該対象に関するグラフィックスをレンダーし、
前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
前記グラフィックスは、前記動いている対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
前記一つ又は複数の光学的に追跡された対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とするユーザーインターフェース。
【請求項１６】
ホットキー、オートモード、マニュアルモード、ハイライト、スワップ、オーディオ、ディスクモード、エクストラモード、アニメーション、及び、統計データの選択のうち少なくとも一つを含む選択可能な特徴を有する請求項１５に記載のユーザーインターフェース。
【請求項１７】
イベントにおける複数のカメラの映像、キャプチャー、又はリプレイを選択するシステムであって、
放送中の一つ又は複数の追跡された対象を表示し、かつ、オペレータによる前記一つ又は複数の対象の選択を示す、一つ又は複数のモニター若しくはタッチスクリーンディスプレイと、
放送用の画像を提供するカメラ群と、
動いている前記対象を追跡する光学追跡モジュールと、を備え、
前記光学追跡モジュールおよび一つ又は複数のモニター若しくはタッチスクリーンディスプレイは、前記一つ又は複数の光学的に追跡された対象に対して、若しくは当該対象に関するグラフィックスをレンダーし、
前記グラフィックスは、前記一つ又は複数の動いている、動いていた、若しくは動き出す対象に関する統計データに関するものであり、
前記グラフィックスは、前記動いている対象が動いている間に画面下から移動して表示される、若しくは、薄く表示されて徐々に消えていくように変化し、
前記一つ又は複数の光学的に追跡された対象の追跡及びタグ付けは、放送中に表示される部分よりも大きい範囲で行われ、
前記追跡及びタグ付けされる対象のうち少なくとも一つは、放送映像の範囲内に入り込む又は当該放送映像の範囲外に出るものであることを特徴とするシステム。
【請求項１８】
前記光学追跡モジュールは、映像認識及び動作感知型追跡の何れか一方又は両方を利用する請求項１７に記載のシステム。
【請求項１９】
前記一つ又は複数のモニター若しくはタッチスクリーンディスプレイと関連付けられるユーザーインターフェースとネットワークを介して接続されたレンダリング用コンピューターを少なくとも一つ備える請求項１７に記載のシステム。
【請求項２０】
前記放送は、ＨＤよりも大きい解像度を有するものであるとともに、一つ又は複数の選択可能な抽出ウインドーを使用する請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送内で対象を追跡及びタグ付けするシステム及び方法に関する。具体的には、本発明は、放送映像をシステマチックに解析する方法、特に、フィールド上のスポーツ選手をトラッキングし、かつ、これらの選手を選択的にタギングする方法に関する。
【背景技術】
【０００２】
放送される映像内で対象を認識する手法は一般的に知られているが、未だ改良の余地が残されている。例えば、後述するように放送中に一つ若しくは二つ以上の対象を選択して追跡し、対象にタグ付けしたままその対象に関連する付加的な情報を含めることで改善することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従って、本発明は、一つ若しくは二つ以上の対象、例えば、放送映像内のフィールド上の一人若しくは二人以上のフットボールプレイヤー、を追跡する技術を提供し、放送内での動きのある追跡及びプレイヤーに関する統計データ等の情報を提供する。
【課題を解決するための手段】
【０００４】
上述のように、本発明は、放送内で興味を引く対象を追跡し、タグ付けするシステム及び方法を提供する。以下では、アスリートに関するものを開示しているが、本発明はこれに限定されるものではない。本発明は、一般的に対象となるものを追跡し、タグ付けするものに広く適用可能である。
【０００５】
本実施形態では、放送内の一つ若しくは二つ以上の対象をその情報とともに追跡、タグ付けする。情報とは、例えばプレーに関する情報、フィールド内でのアスリートのパフォーマンスに関する情報である。
【０００６】
自動化されたシステムでは、一人、複数、若しくはフィールド上の全てのプレイヤーを追跡でき、オペレータは、放送中に一人若しくは複数のプレイヤーを簡単に選ぶことができる。このような選択において、オペレータは、事前に選択することも可能であり、選択することで、例えば、一般的なプレーにおける統計データ、又は特定のプレーに関する統計データ（レシーバーの一般的な状況、又は特定の状況でのパス成功数等）、そして、特定のプレイヤーに関する統計データを提供することができる。
【０００７】
他の実施形態では、プレイヤーの統計データ、名前等の統計データに関する情報を放送中又は放送後にビデオオーバーレイによって表示する。そのビデオは静的、動的のどちらでも良く、画面全体に表示しても部分的に表示しても良い（ビデオオーバーレイのタイミングは、例えば、プレイヤーが画面外に移動したときである）。さらに、画面上に濃く表示しても薄く表示しても良く、フェーズイン若しくはフェーズアウトさせて表示しても良い。
【０００８】
別実施形態では、フィールドを横切る一人若しくは複数のプレイヤーを追跡する。ここで、上記ビデオ情報は、プレー中の動きに完全に追従しても、途中で追従するのをやめても良い。追従を途中でやめる場合は、タックルをかいくぐる、パスカットする、突破する等のプレイヤーの動きを敏感に検知する必要がある場合等、特定の状況に適している。さらに、統計グラフを戦略的に準備して、画面下から移動させて表示させたり薄く表示して徐々に消したりすることで、プレーの見逃しを予防し、放送内容の控えめな二次情報を提供することにつなげることができる。
【０００９】
上述の構成及び他の特徴、そしてそれによって奏する効果は、当業者によって下記の詳細な説明及び図面から理解されるものである。
【００１０】
次に、図面について説明する。技術要素は図面中に符号を付して表示する。
【００１１】
図面は以下の通りである。
【図面の簡単な説明】
【００１２】
【図１】プレイフィールドで追跡されるアスリートを示す。
【００１３】
【図２】プレイフィールドで追跡されるアスリートを示す。
【００１４】
【図３】薄く表示された統計データが付加された状態で追跡されているアスリートを示す。
【００１５】
【図４】アスリートに関する他の統計データが付加された状態で追跡されているアスリートを示す。
【００１６】
【図５】薄く表示された統計データが付加された状態で追跡されているアスリートを示す。
【００１７】
【図６】複数の追跡されているアスリートを示す。
【００１８】
【図７】部分的に表示された統計データが付加された状態で追跡されるアスリートを示す。
【００１９】
【図８】ゲームの統計データが付加された状態で追跡されているアスリートを示す。
【００２０】
【図９】薄くなって消えていく統計データが付加された状態で追跡されているアスリートを示す。
【００２１】
【図１０】リプレイ機能を示す。
【００２２】
【図１１】グラフィックス機能を示す。
【００２３】
【図１２】オペレータのユーザーインターフェースを示す。
【００２４】
【図１３】カメラ及びセットアップを示す。
【００２５】
【図１４】カメラ及びキャプチャーされた画像を示す。
【００２６】
【図１５】本発明の一実施形態に係るシステムプランを示す。
【００２７】
【図１６】本発明の別実施形態に係るシステムプランを示す。
【００２８】
【図１７】本発明の一実施形態に係るワークステーションのレイアウトを示す。
【００２９】
【図１８】本発明の別実施形態に係るワークステーションのレイアウトを示す。
【００３０】
【図１９】７２０ｐの抽出ウインドーを用いて４Ｋでキャプチャーされた画像のグラフィックユーザーインターフェースを示す。
【００３１】
【図２０】相対抽出の実施形態を示す。
【００３２】
【図２１】４Ｋ画像をオフサイトのプロセッサ及びグラフィックユーザーインターフェースでキャプチャーして伝送する第一のシステムを示す。
【００３３】
【図２２】４Ｋ画像をオンサイトでキャプチャーして、高精細度画像をオフサイトで伝送する第二のシステムを示す。
【発明を実施するための形態】
【００３４】
上述のように、本実施形態は、放送内の一つ若しくは二つ以上の興味のある対象をトラッキングし、タギングするシステム及び方法に関する。以下の実施形態では、スポーツ選手を参照して説明を進めるが、これに限定されることはない。事実、本実施形態は、あらゆる対象を追跡し、タグ付けする手法に対して広く適用されるものである。
【００３５】
本実施形態では、放送内の一つ若しくは二つ以上の対象をその情報とともに追跡、タグ付けする。情報とは、例えばプレーに関する情報、フィールド内でのアスリートのパフォーマンスに関する情報である。
【００３６】
自動化されたシステムでは、一人、複数、若しくはフィールド上の全てのプレイヤーを追跡でき、オペレータは、放送中に一人若しくは複数のプレイヤーを簡単に選ぶことができる。このような選択において、オペレータは、事前に選択することも可能であり、選択することで、例えば、一般的なプレーにおける統計データ、又は特定のプレーに関する統計データ（レシーバーの一般的な状況、又は特定の状況でのパス成功数等）、そして、特定のプレイヤーに関する統計データを提供することができる。
【００３７】
他の実施形態では、プレイヤーの統計データ、名前等の統計データに関する情報を放送中又は放送後にビデオオーバーレイによって表示する。そのビデオは静的、動的のどちらでも良く、画面全体に表示しても部分的に表示しても良い（ビデオオーバーレイのタイミングは、例えば、プレイヤーが画面外に移動したときである）。さらに、画面上に濃く表示しても薄く表示しても良く、フェーズイン若しくはフェーズアウトさせて表示しても良い。
【００３８】
画面を部分的に情報画面とすることは、放送中に画面表示方法が選択されているかどうかに関わらず、タグ付けが必ずしも表示されている放送映像に特別に関連付けられる必要はなく、記録された映像と関連付けられるという技術思想である。追跡及びタグ付けは、放送の表示部分を超えて行うことも可能であり、要望の有無に関わらず、放送映像に入り込む若しくは映像範囲から出ることも可能である。さらに、オペレータ又はアニメータが対象となるプレイヤーをタグ付けするために、追跡を遅らせること、放送を遅らせることも可能であり、当事者にとって必要でなければリアルタイムでなくても良い。そのようなタグ付けは、接続された機器、又はタブレット等の無線機器を介して行うことができる。これらの入力機器は、一般的にネットワークと関連付けられるもの、若しくは、ネットワークによって識別されるものであり、例えば、特定のアニメータ、オペレータ等に割り当てられるものである。
【００３９】
別実施形態では、フィールドを横切る一人若しくは複数のプレイヤーを追跡する。ここで、上記ビデオ情報は、プレー中の動きに完全に追従しても、途中で追従するのをやめても良い。追従を途中でやめる場合は、タックルをかいくぐる、パスカットする、突破する等のプレイヤーの動きを敏感に検知する必要がある場合等、特定の状況に適している。さらに、統計グラフを戦略的に準備して、表示させたり消したりすることで、プレーの見逃しを予防し、放送内容の控えめな二次情報を提供することにつなげることができる。添付の図面には、アンドリュー・ホーキンスのキックオフリターンでの部分的なエントリについて示されている（評判のゲームにおいてシミュレートされたオーバーレイである）。
【００４０】
例えば、図１は、アンドリュー・ホーキンス１００がパントリターンにより右手側から画面フレームに入り込む状況を示している。この段階では、ホーキングが追跡され、オーバーレイ１０２は、情報の一部のみを選択的に表示している（画面フレーム内に入っただけの状態であるため）。フレーム内に入り込んでいくにつれて、図２に示すように、オーバーレイ情報１０２には、チーム１０４、背番号１０６、名前１０８が表示される。図３では、１０から１５ヤードの間でのタックル１１０が示され、選択的に、彼の情報を薄くなり、放送からフェードアウトする。
【００４１】
図４及び図５に同様の例が示され、アントーン・スミス１００がファーストダウンのポジションにいる状況が示される。ここでは、ディフェンスのスプレッド以外の特定のプレーが行われない状況であり、全ての情報を含むオーバーレイ１０２、つまり、チーム１０４、背番号１０６、名前１０８、ラッシュ数１１２、獲得ヤード数１１４が表示されているが、動きを優先してフェードアニメーションで図５に示されるように一般的な情報が示されたオーバーレイ１１６に移行する。
【００４２】
図６及び図７は、複数のプレイヤー１００・１１８を追跡する実施形態について示しているが、追跡する対象の種類（ボール、ライン、フィールドマーク、コーチ、他のマークなど）、及びプレイヤーの数は限定されるものではない。この例では、アサンテ・サミュエル１００とＡ．Ｊ．グリーン１１８が対面している。図７では、放送映像がシフトし、タグ付けされた情報１０２が一部放送映像外に移動している。
【００４３】
図８及び図９は、タグ付けに関する別の実施形態について示している。グレッグ・ジェニングス１００がプレーのシフト中に情報１０２によってタグ付けされており、図９では、プレーを邪魔しないように、タグ付けされた情報１０２が薄く表示される。
【００４４】
本実施形態のシステム及び方法では、任意の数の対象（プレイヤー）を追跡することが好ましい。例えば、バスケットボールでは、試合の両サイド５名ずつ追跡することができる。その他、各５名ずつに「シックスマン」を加えることも可能であり、特定のファン、若しくはファン全体、ディック・ビテール等のコメンテーターを追跡し、フィールド外の面白いイベントを自動又は手動で認識することができ、潜在的に放送するに値する価値を有するものとして認識することができる。自動認識は、予め認識される統計データ、重要性と関連付けることもできる（例えば、ゲーム、シリーズ、統計、ソーシャルメディアの関連性、セレブリティステータス等）。
【００４５】
本実施形態のシステム及び方法では、複数のリプレイ機能を有することが好ましい。例えば、図１０に示すように、名前表示１０８、ハイライトサークル１２６、プレイヤーの移動軌跡及びスピード１２８である。さらに、種々のグラフィックス機能を備えることができる。例えば、図１１に示すように、名前表示１０８、ゲーム中のスタッツ１２０、シーズンのスタッツ１２２、プレイヤーコメント、コーチコメント等のカスタムテキスト１２４である。
【００４６】
また、高度な編集ソフトウェアを備えることが好ましい。ここに限定されるものではないが、例えば、カメラの切り換え、仮想カメラアングル、ストップモーション動画、テレストレーション、画像解析等を行うものである。本実施形態は、プリプロダクション、スタジオライブ、大規模イベント等に適用できる。
【００４７】
さらに、種々の機能を制御するインターフェースとしてタッチスクリーンを使用する等、以下に示す実施形態を含め、種々の実施形態の存在は無視できない。
【００４８】
図１２は、ユーザーインターフェース（ＵＩ）１３０を示す。ユーザーインターフェースでは、イベント中の複数のカメラの選択画面１３２のビューセレクト１３１、キャプチャー、リプレイ１３３が含まれる。図面から分かるように、本実施形態では、１０人のプレイヤー（オフェンス側１３４とディフェンス側１３６）を追跡しており、オペレータによって一人又は複数を選択できる。本実施形態では、オペレータに対して一人又は複数のモニターを加えることで、複数のプレイヤーを追跡することを容易にしている。また、ＵＩには、ホットキー１３８が設けられており、オートモード１４０、マニュアルモード１４２、ハイライト１４４、スワップ１４６、オーディオ１４８、ディスクモード１５０、エクストラモード１５２、アニメーションコマンド１５４等が簡単に選択できるようになっている。追跡されるプレイヤーに対しては、ゲーム（スタッツ）１５８、シーズン（スタッツ）１６０、テキスト１６２に関する統計データ１５６が表示される。なお、ＵＩに表示する項目は、これらの例には限定されない。
【００４９】
図１３は、カメラ群１６４のセットアップ及びフットボール用のカメラ吊り下げ器具１６６のセットアップ（センターラインの２１フィート上方）の実施形態を示す。図１４は、カメラ１７０からキャプチャーされた画像１６８を示す。
【００５０】
図１５から図１８は、スタジアム内コンポーネント１７２、Ａユニットコンポーネント１７４、Ｂユニットコンポーネント１７６、Ｃユニットコンポーネント１７８を含むシステムの制御構成の実施形態を示す。図１５及び図１６は、カメラ群１８０、オペレータラップトップ１８２、Ｌ３ボックス１８４を介したＡユニット内のルーター１８８への接続１８６及びファイアウォール１９０を示す。Ｂユニットは、制御エンジン１９２、Ｖｉｚエンジン１９４、Ｖｉｚトリオ１９６、ＴｏｐＦｏｎｔのカメラ処理システム１９８、及び、ＵＩコンピューター２００を含む。Ｃユニットは、ＳｐｏｒｔＶｉｓｉｏｎシステム２０２を示す。スタッツ用のラップトップ２０４はＢユニット内に含まれる。
【００５１】
図１７は、グラフィックス処理ラック２０６を示す。グラフィックス処理ラックは、オーディオサブミックス２０８、テクニカルディレクター２１０、ディレクター２１２、プロデューサー２１４、セカンドガイ２１６、ＡＤ２１８、重役２２０、テクニカルマネージャー２２２、スタッツ班２２４、ＦｏｘＢｏｘオペレータ２２６、ＴｏｐＦｏｎｔオペレータ２２８、スタッツオペレータ２３０、ＶｉｚＢＡ２３２、Ｖｉｚオペレータ２３４等、種々のスタジオ班に囲まれ、編集室２３８には、ＳｐｏｒｔＶｉｓｉｏｎ２３６が、その他、４Ｋオペレータ２４０、ゲームエディター２４２が配置される。
【００５２】
本実施形態では、ネットワーク接続性と閉鎖型ネットワークの対立がある。閉鎖型ネットワークは、フィールドの視界を邪魔しないように、カテゴリー５ケーブルによってカメラに接続すること、光ファイバーによってカメラに接続すること、光ファイバーをトラックに持ち込むこと等を含み、全てのレンダーの予告を表示するモニター、プログラムモニター、ＩＳＯフォーマット（２チャンネルベルトパック又はＫＰパネル）をＴｏｐＦｏｎｔオペレータに渡すＰＬステーションを含む。二つ又はそれ以上のシングルモードの光ファイバーをモニタリングのために用いている。これにより、第３世代のＲＶＯＮ  ＫＰパネルに載せることが可能である。
【００５３】
本実施形態では、光学追跡によりグラウンド上を動く対象を追跡する。これは、映像認識、動作感知型追跡等、種々の追跡方法を含んでいる。
【００５４】
以下、実施例１に好適なシステムを示す。
【００５５】
［実施例１：範囲］
本プロシージャは、「Ａ」クルーに適用されるが、ＴｒａｃＡＢが望まれるあらゆる放送について適用され得る。
【００５６】
本システムは、目で見て操作を行う例に適用される。そして、関係者と連携する中での機械の中の作業が想定される。
【００５７】
［実施例１：役割］
ＴｒａｃＡＢオペレータ
主に、イベント中のＴｒａｃＡＢカメラの配列及びプレイヤーのタグ付けを行う。ＴｏｐＦｏｎｔオペレータと追跡中の対象に関するステータスについてコミュニケーションを取る。スタジアム内のフィールド観戦の邪魔にならない位置に配置される。建物内の光ファイバーを利用可能な班と連携する。作業位置でのインカムのセットアップに関してスポーツオーディオ班と連携する。必要に応じてＴｒａｃＡＢシステムのトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャーに連絡する。
【００５８】
ＴｏｐＦｏｎｔオペレータ
主に、タッチスクリーンインターフェースが提供される集団を用いて放送中にＴｏｐＦｏｎｔを挿入する。プロデューサー、ディレクター、スタッツ班、グラフィックス処理班と連携し、どのグラフィックスが、いつ必要か、についてコミュニケーションを取る。また、リレー中継の向上のためにテープ室と連携する。ＴｒａｃＡＢオペレータと各シリーズにおいてタグ付けすべきキープレイヤーについてコミュニケーションを取る。必要に応じてＴｏｐＦｏｎｔシステムのトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャーに連絡する。
【００５９】
ファーストダウンオペレータ
４箇所でカメラの三脚及び雲台を設置する。ファーストダウンシステム及びＴｏｐＦｏｎｔシステムの両方に使えるように、雲台及びカメラのキャリブレーションを行う。ＴｏｐＦｏｎｔシステムとの接続を確認する。ゲーム中にファーストダウンシステムを運用する。必要に応じてファーストダウンシステム、雲台、チルト、ズーム等のトラブルシューティングを行う。設備のセットアップ又は作業に関するタイムリーなあらゆる問題についてテクニカルマネージャー、テクニカルディレクター、及びＥＩＣに連絡する。
【００６０】
ＥＶＳオペレータ
全ての機器がＲＰ−１８８タイムコードを適切に記録し、再生できるようにセットアップできているかを確認する。テクニカルディレクター及びＴｏｐＦｏｎｔオペレータと日付の設定についてテストを行う。設備の作業に関するタイムリーなあらゆる問題についてテクニカルマネージャー、及びＥＩＣに連絡する。
【００６１】
モバイルユニットエンジニア
映像の立場及びネットワークの立場からシステムを放送に統合する。全ての信号が存在し、受信できるかどうかを確認する。ＴｒａｃＡＢオペレータ、ＴｏｐＦｏｎｔオペレータ、ファーストダウンオペレータのトラブルシューティングを必要に応じて支援する。
【００６２】
［実施例１：定義及び略語］
ＴｒａｃＡＢ
２つのカメラ群、処理用のコンピューター、及び追跡用のコンピューターによって構成される光学追跡システムである。本例では、対象（プレイヤー）の位置情報を３次元で認識し、情報グラフィックスを挿入する。これらの装置は、閉鎖型ネットワーク内でギガビットイーサネットを用いたネットワークによって接続される。処理用のコンピューターは、２番目のＮＩＣを介してグラフィックスネットワークと接続される。
【００６３】
ＴｏｐＦｏｎｔ
ＴｏｐＦｏｎｔは、４人の独立したレンダラーによって４つのカメラのうち一つのＨＤ−ＳＤＩ方式として提供される。このシステムは、タッチスクリーンを備えるユーザーインターフェースコンピューターと４つのレンダリング用コンピューターとによって構成される。これらの５つのコンピューターは、ギガビットイーサネットを用いたネットワークによって接続され、グラフィックスネットワークに切り換えられる。
【００６４】
ファーストダウン
本システムは、最新のダウン及び獲得ヤード（「黄色のライン」）を挿入する。
【００６５】
メディアコンバーター
光学−電子コンバーターである。本例では、イーサネットをスタジアム内の光ファイバーに変換し、さらにトラックで光ファイバーをイーサネットに変換する。
【００６６】
ＢＤＮ
ＮＦＬのゲームで使われるグラフィックスネットワークとして用いられるＦｏｘの放送データネットワークである。
【００６７】
光ファイバーケーブル
本願において、光ファイバーケーブルは、シングルモード光ファイバーであれば良く、特別なものではない。
【００６８】
ＧＢＥスイッチ
ポート間を１ｇｂｐｓの転送速度でスイッチするものである。
【００６９】
［実施例１：プロシージャステップ］
［実施例１：初期統合］
処理用コンピューターに４ＲＵの空きがあるか確認する。ラックに処理用コンピューターを設置する。閉鎖型ネットワークにＧＢＥスイッチを設置する。各処理用コンピューターのＮＩＣ１を閉鎖型ネットワークのＧＢＥスイッチに接続する。処理用コンピューターのグラフィックスネットワークへのＩＰ情報を用いてシステムのＮＩＣ２上のＩＰアドレスを設定する。
【００７０】
ＨＤ−ＳＤＩ入力及び出力は、各レンダラーに接続され、プロダクションスイッチャー及びルーティングスイッチャーに利用可能となる必要がある。各ＴｏｐＦｏｎｔレンダラーの出力プレビューは、スキャンコンバージョンされた出力によって行われる。これは、ルーティングスイッチャーによって利用可能となる。
【００７１】
ファーストダウンシステムは普通のものがインストールされる。ファーストダウンシステムは、２０ＲＵにはカウントされない。
【００７２】
グラフィックスネットワークのＩＰ情報を用いて、各コンピューター（レンダリングエンジン、ユーザーインターフェースコンピューター）にＩＰアドレス情報を設定する。（好ましくは、ＩＰアドレス情報は、出荷前に取得されるものであるが、重要ではない）
【００７３】
各コンピューターを、グラフィックスネットワークを含むギガビットイーサネットスイッチに接続する。ＴｏｐＦｏｎｔオペレータのユーザーインターフェースを接続する。全てのコンピューターの電源を入れて、トラック内の全ての機器間でのネットワークへの接続を確認する。
【００７４】
［実施例１：週刊ＴｒａｃＡＢセットアップ］
ＴｒａｃＡＢの設置位置は、スタジアムの職員及びテクニカルマネージャーによって確認される。ＴｒａｃＡＢカメラはＣユニットから外され、スタジアム内に移送される。ＴｒａｃＡＢカメラ群が設置される。
【００７５】
ＴｒａｃＡＢカメラ群の参照用写真を撮影する。その際、各ＴｒａｃＡＢカメラ群に電力が必要である。イーサネットケーブルでＴｒａｃＡＢカメラ群同士を接続する。
【００７６】
ＧＢＥ信号が届かない距離にある場合、若しくはカメラ間をカテゴリー５ケーブルで物理的に接続できない場合は、カメラ間にＧＢＥ対応のメディアコンバーターを複数設置する。一方のＴｒａｃＡＢカメラ群をギガビット対応のメディアコンバーターを介してトラック内の閉鎖型Ｈｅｇｏシステムネットワークに接続する。他方のＴｒａｃＡＢカメラ群はイーサネットケーブルを介してＴｒａｃＡＢオペレータのラップトップに接続する。ＧＢＥ信号が届かない距離にある場合、若しくはカメラと作業位置との間をカテゴリー５ケーブルで物理的に接続できない場合は、カメラと作業位置との間、又はトラックと作業位置との間にＧＢＥ対応のメディアコンバーターを複数設置する。
【００７７】
ＴｒａｃＡＢオペレータは、ビデオモニター、ラップトップ、及びインカムを作業位置にセットアップする。ＴｒａｃＡＢオペレータは、カメラ群のキャリブレーションを行い、ＴｒａｃＡＢシステムが正常に機能するかどうかを確認する。ＴｒａｃＡＢオペレータは、システムが完全に機能する場合にテクニカルマネージャーに報告する。
【００７８】
以下、プレイヤーをタグ付けするための好ましいユーザーインターフェース（ＵＩ）について説明する。
【００７９】
カメラは、プレイヤーを追跡し、コンピューターに情報を送信する。コンピューターのオペレータは、プレイヤーを手動でタグ付けする、自動タグ付けを監視する、若しくは、自動タグ付けを承認する。このデータは、オペレータが適切なグラフィックスをレンダーして放送できるようにコンピューターに送られる。
【００８０】
光学追跡によって、グラウンド上を移動する対象を追跡する。これにより、手動で適切なプレイヤーを正しく動く対象に対して割り当てることが可能となる。しかしながら、以下に示すように付加的な実施形態も採用できる。
【００８１】
すなわち、プレイヤーのタグ付けを素早く行うことができるプロセス及びワークフローである。これは、スタンドでの作業又はカメラ映像を用いた作業に換えて、物理的にタグ付けするプロセスをトラックに移動させるものである。本実施形態は、ゲームカメラを用いてプレイヤーをタグ付けするための種々の方法について提案するものである。例えば、適切なゲームカメラをオペレータに割り振ることで、より効率的なタグ付けを行うことができる。
【００８２】
本実施形態は、プレイヤーを追跡する全く異なる手法を提供する。例えば、グラフィックスにより、オペレータが自身のユーザーインターフェースから、例えばタッチスクリーンを用いて、プレイヤーをタグ付けできる方法である。
【００８３】
本実施形態は、逆タグ付け方法を想定している。つまり、フィールドのスクリーン上プレイヤーに対して、タグ付けコンピューターに他のコンピューターでタッチされたフィールド上の位置にどのプレイヤーが最も近いかを尋ねる方法である。これにより、フィールド上で最も近い対象を適切なプレイヤーとしてタグ付けすることができる。
【００８４】
さらに、本技術は、ＨＤ技術よりも高い技術に対して効果を奏する。特に興味のあるハイライトエリアにおいて、効果を発揮する。
【００８５】
好ましいプロセスは以下の通りである。
【００８６】
４Ｋビデオのような、ＨＤビデオよりも大きいフルラスタ解像度で開始する。
【００８７】
興味のあるエリアを示すグラフィックスボックス又はカーソルが現れる。
【００８８】
映像がボックス内を埋めるようにズームされる。
【００８９】
ＨＤよりも大きい画像を扱うシステム及び方法は、以下の通りである。初期画像又は初期映像は、初期解像度でキャプチャーされる。この初期解像度は、高精細度ビデオよりも大きく、かつ、所定の放送表示解像度よりも大きいものである。初期画像又は初期映像の所望の箇所がより低い解像度で次の画像又は映像として表示される。この解像度は、所定の放送表示解像度よちも小さく、かつ、それに近いものである。従って、キャプチャーされた画像の選択された箇所は、放送表示解像度若しくはそれに近いものとして表示される（つまり、所定の放送表示解像度と比較して、画像の細部のロスを最小化又は排除することができる）。
【００９０】
図１９は、フルラスタの４Ｋ動画のスクリーンショット画像１０を示す。７２０ｐ動画として抽出するウインドー１２として４Ｋ画像の一部が選択されて表示されている。このように、最初の画像キャプチャーは、ＨＤ解像度よりも大きく、７２０ｐの抽出ウインドーによって選択表示されている箇所は、ＨＤ解像度よりも大きい。図１７は４Ｋキャプチャー及び７２０ｐ抽出ウインドーを示しているが、これらの両方又は片方は、他の解像度を有するものである。図２０は、同様の抽出ウインドー１３を示している。
【００９１】
また、一つの抽出ウインドーが図１９に示されているが、同一のキャプチャー画像に対して複数の抽出ウインドーを同時に適用することも可能である。
【００９２】
さらに別の実施形態では、選択可能な抽出ウインドー（図１９における符号１２）がグラフィックユーザーインターフェース（図２１及び図２２におけるＧＵＩ１４）で示される。これにより、オペレータは、キャプチャーされた画像の範囲内に導かれるとともに、表示するキャプチャー画像の箇所を選択することができる。そのような実施形態では、抽出ウインドーは、オペレータが抽出ウインドーのサイズ及び位置を調整できる。他の実施形態では、抽出ウインドーは、追跡又は動いている画像を横断してスキャンできるように設計され、スポーツイベントの最中に、プレー又は興味を引く対象を追いかけることができる。その他の実施形態では、複数のオペレータが同一のＧＵＩ又は複数のＧＵＩを介して、同一の画像からそれぞれ抽出することが可能である。
【００９３】
図２１及び図２２を参照して、キャプチャーされた画像の処理が視認外（図２１）又は視認内（図２２）で実行される構成について説明する。図２１に示すシステムは、４Ｋ画像をオンサイト、例えばスポーツイベントのフィールド１８、でキャプチャーするカメラ１６を備える。伝送機構２０、例えばフルバンド幅の４Ｋビデオを伝送する光ファイバーケーブル、は、キャプチャーされた画像を作業ベース（ＯＢ２２）、例えばフィールド１８から離れたトラック、に伝送する。
【００９４】
画像レコーダー２４は、キャプチャーされた画像をサーバ上のデータストリームとして記録し、それにより、オペレータは記録に遅れることなくキャプチャーされた画像の選択箇所を精査することができる。そのような制御は、ＧＵＩ１４及びレコーダー２４と連結されるプロセッサ２６を通じてＧＵＩ１４を介してオペレータに提供される。実施形態では、レコーダー、プロセッサ、及びＧＵＩは、オペレータが記録された映像において放送用に選択された箇所に即座に戻ることができるように構成されている。
【００９５】
例えば、図２１に示すように、トラックのオペレータがＧＵＩを用いてフルラスタの４Ｋ画像を、カーソルと似たような方法で、興味のあるエリアを１６：９の抽出ウインドーで選択することができる。本実施形態では、ＧＵＩは、抽出ウインドーが、ライブ映像及び録画映像のうち少なくとも一方から興味のあるエリアを選択できるように構成されている。また、上述のように、本実施形態は、抽出ウインドーのサイズ変更及び表示倍率変更が可能である。他の実施形態において、本システムは、例えば、カメラを左右に回転させること、ズームすること等で、画像内で重要なフレームをマークし、所望の動きをマッピングできる。
【００９６】
図２２に示すように、システムの出力２８（例えば、４Ｋキャプチャー画像に対して７２０ｐ／５９．９４の出力）は、ルーター３０を介して提供される。ルーターは、出力をライブでスイッチャー３２に提供し、若しくは、遅れた出力としてサーバ（ＥＶＳ）３４に提供する。また、結果として生じる映像は、サーバ３４又はオペレータ側で（プロセッサ２６を介して）、リプレイのためにスローダウンさせたり、画像としてレンダーされたりする。
【００９７】
図２２は、別実施形態を示しており、初期画像のキャプチャー、伝送、記録はオンサイト（例えば、スポーツイベントのフィールド１８）で行われる。オンサイトプロセッサ２６は、オペレータの作業ベース２２（例えば、トラックであり、任意の便利な場所からアクセスされるＧＵＩを介して）内のＧＵＩ１４によって提供し、インターネット接続する。そして、映像から参照用のビデオ３８を提供しオペレータが抽出ウインドーを介して画像を操作する。出力２８は、その後、フィールドからオフサイトのルーター３０に伝送される。
【００９８】
他の実施形態では、少なくとも一つのＧＵＩがシステムのナビゲーションツールとしてのタブレット制御装置からアクセスされる。タブレット制御装置は、ワイヤレスかつポータブルにすることで、メイン又はサブのナビゲーションツールとして柔軟に利用することができる。
【００９９】
他の代表的な実施形態では、複数のカメラをなる視点からの画像をキャプチャーするように配置し、システム内で抽出ウインドーを複数のキャプチャー画像に対して作成して、異なる視点からのネイティブ画像に対して表示する箇所を選択する。
【０１００】
さらに別の実施形態では、リアルタイム又はそれに近い対象の追跡を提供する（特定のプレイヤー、選択されたプレイヤー、又は、予めタグ付けされたプレイヤー、若しくは、ゲーム中にボールを自動的に追跡する）。また、操作され、自動的に追跡された対象に対して仮想的に指示することで、ライブ放送全体に切り込むことができる。その際には、バックエンドのソフトウェア、及び、カメラマンによる操作と同様の方法で操作可能な仮想ファインダーを提供する追跡技術を活用する。そのような処理は、一つの特定の対象を追跡する等の単純な追跡、若しくは、人手による操作と似た方法で行う抽出ウインドーのパン、チルト、ズーム等、カメラマンの操作に近づけた複雑な操作を行うための技術に用いられる。これらの４Ｋキャプチャーを用いた例において、カメラキャプチャーは、特定の４Ｋカメラを用いたものである。カメラは、対象をより多く捕らえるためにより広角のものが好ましく、既成品を再構成又は改良することで適用することもできる。異なるレンズを異なるアプリケーションに特有のものとして用いることも可能である。
【０１０１】
それらのプロセスは、上述の複数のカメラ及び／又は複数の抽出ウインドーを用いることも可能であるし、特定の一つのカメラ及び／又は一つの抽出ウインドーについて処理を行うことも可能である。そのようにして、人工知能が、抽出ウインドーを仮想ファインダーとして利用することで、自動的に放送用のマテリアルをキャプチャーし、抜き出して、表示することができる。
【０１０２】
他の代表的な実施形態は、４Ｋ又は８Ｋのカメラと二つの出力ウインドー等を用いて、仮想的な３次元抽出を行う。
【０１０３】
別実施形態では、画像キャプチャーのフレームレートが放送用のフレームレートよりも増えることは、上述した画像キャプチャーの解像度が大きくなることと同等である又は代わりになる。
【０１０４】
そのような実施形態では、第一のビデオは、所定の放送用のフレームレートよりも高い第一のフレームレートでキャプチャーされる。第一のビデオの所望の箇所は、所定の放送用のフレームレートよりも低い若しくはそれに近い値の第二のフレームレートで表示される。第一のビデオにおける所望の箇所は、ネイティブのキャプチャービデオを横断するフレームを抽出する抽出ウインドーでキャプチャーされる。そのようにして、抽出されたビデオは、滑らか、かつ、鮮明であり、エッジが立っておらず、かつ、ぼんやりとしたフレームではないビデオとなる。キャプチャーされる第一のビデオのフレームレートは、所定の放送用のフレームレートよりも大きいものであれば良い。
【０１０５】
さらに代表的な実施形態では、第一のビデオは、スーパーモーション又はハイパーモーションの第一のフレームレートでキャプチャーされる。伝統的なビデオでは、これは１８０ｆｐｓ（スーパーモーション）又はそれ以上（ハイパーモーション、ウルトラモーション）に等しい。具体的には、ハイパーモーションは、プレーバックするべく、撮影対象が動く瞬間をトリガーにしてキャプチャーできるように離散時間で記録される。現状のシステムは、リプレイ再生のために十分な時間、例えば１５分以上、３０分以上、１時間以上、１時間半以上、２時間以上、をハイパーモーションでフルタイム録画している。
【０１０６】
他の実施形態では、少なくとも一つのカメラの生データを用いて、その画質を放送特性に応じて（ペイント可能に）調整する。具体的には、放送処理は、生データを放送の色温度、色合い、ガンマ値により適するように作用させるシステムに組み込まれている。
【０１０７】
以上のように、本発明は、ネイティブ画像を部分的に選択してキャプチャーし、表示することで、放送製品又は他のアプリケーションを提供するシステム及び方法を提供する。ＧＵＩを通じて選択可能な抽出ウインドーを使用することで、オペレータは表示したいネイティブ画像の範囲内の全ての箇所で完全な制御を行うことができる。また、高解像度（４Ｋ等）よりも大きい画像をキャプチャーすることで、オペレータによって選択された所望の箇所が高解像度又はそれに近いもの（つまり、画質の劣化を伴わない）として表示可能となる。さらに、キャプチャーした画像のフレームレートが所定の放送用フレームレートよりも大きいことで、その画像から抽出されたビデオを、角がなく滑らか、かつ、フレームのぼやけがなく鮮明なものとして提供できる。ひいては、興味のある対象の自動追跡、複数のＧＵＩを用いること、若しくは、キャプチャーされた画像に対して一つ又は複数の（異なる視点からの）抽出ウインドーを用いること等、拡張されたＧＵＩの特徴を利用することで、製品の柔軟性及び利点を保証できる。
【０１０８】
以上、代表的な実施形態について説明したが、本願発明の属する分野において通常の知識を有する者が行う種々の変更、変形は、本発明の技術思想又は範囲から逸脱しない範囲で本明細書に記載された発明に含まれることは言うまでもない。また、上述した実施形態は、その構成及び方法について限定するものではない。従って、種々の実施形態が図示によって示されているが、これに限定されるものではない。
【０１０９】
特許請求の範囲を、次の書類に示す。  
【図１】
0006412001.tif 000002
【図２】
0006412001.tif 000003
【図３】
0006412001.tif 000004
【図４】
0006412001.tif 000005
【図５】
0006412001.tif 000006
【図６】
0006412001.tif 000007
【図７】
0006412001.tif 000008
【図８】
0006412001.tif 000009
【図９】
0006412001.tif 000010
【図１０】
0006412001.tif 000011
【図１１】
0006412001.tif 000012
【図１２】
0006412001.tif 000013
【図１３】
0006412001.tif 000014
【図１４】
0006412001.tif 000015
【図１５】
0006412001.tif 000016
【図１６】
0006412001.tif 000017
【図１７】
0006412001.tif 000018
【図１８】
0006412001.tif 000019
【図１９】
0006412001.tif 000020
【図２０】
0006412001.tif 000021
【図２１】
0006412001.tif 000022
【図２２】
0006412001.tif 000023