(57)【要約】本発明は、スポーツ番組の物体を追跡する及び適切なカメラ視野を選択する技術を提供する。一般的には、ユーザにより選択された嗜好に応じて、スポーツイベント内の特定の物体が追跡される。追跡される物体だけでなく、ユーザの嗜好に従って、その物体についての統計データも集められ、そして、表示される。更に、ユーザは見るために特定のカメラを選択でき又は、見るために競技フィールドの特定の位置を選択できる。
2004537222.tif 000002
【特許請求の範囲】
【請求項１】
番組内の物体を追跡し且つ適切なカメラ視野を選択する方法であって、
−  １つ又はそれ以上のユーザの嗜好を入力するステップと、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択するステップと、
−  １つ又はそれ以上の選択されたカメラ視野を表示するステップと、
を有する方法。
【請求項２】
前記番組は、複数の物体を有するスポーツ番組であり、更に、複数の物体の少なくとも１つを追跡するステップと、少なくとも１つの物体の表現と競技領域の表現を有するシーン再構成を生成するステップとを有する、請求項１に記載の方法。
【請求項３】
更に、解析者シーン再構成を生成し且つ解析者シーン再構成と少なくとも１つの物体を有するシーン再構成を重ねるステップを有する、請求項２に記載の方法。
【請求項４】
１つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択する前記ステップは、更に、１つ又はそれ以上の編集規則に基づいて、１つ又はそれ以上のカメラ視野を選択するステップを有する、請求項１に記載の方法。
【請求項５】
１つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択する前記ステップは、更に、カメラ視野間の変化を編集するステップを有する、請求項１に記載の方法。
【請求項６】
前記嗜好の１つは、スポーツ番組内の複数の物体の特定の物体を追跡することに関連し、前記１つの物体は、複数のカメラ視野内にあり、選択するステップは更に、複数のカメラ視野の１つを選択するために投票するステップを有する、請求項１に記載の方法。
【請求項７】
複数のユーザの嗜好があり、複数のユーザの嗜好は順番にあり、最高の嗜好はカメラ視野により満足されることができず、選択するステップは更に、最高の嗜好以外の嗜好に基づいてカメラ視野を選択するステップを有する、請求項１に記載の方法。
【請求項８】
更に、複数のカメラ視野の各々を送信するステップと、複数のカメラ視野の各々を受信するステップを有する、請求項１に記載の方法。
【請求項９】
前記番組はスポーツ番組であり、ユーザの嗜好の１つは、フィールドの領域を示すことであり、選択するステップは更に、複数のカメラ視野から、前記フィールドの領域を示すカメラ視野を選択することを有する、請求項１に記載の方法。
【請求項１０】
更に、少なくとも１つのカメラ視野を使用して、少なくとも１つの物体を追跡するステップを有し、入力するステップは更に、少なくとも１つの物体を追跡するためのユーザの嗜好を入力するステップを有し、選択するステップは更に、少なくとも１つの物体を示すカメラ視野を選択することを有する、請求項１に記載の方法。
【請求項１１】
更に、少なくとも１つの物体についての追跡情報を決定するステップと、少なくとも１つの物体についての追跡情報を送信するステップと、少なくとも１つの物体についての追跡情報を受信するステップとを有する、請求項１０に記載の方法。
【請求項１２】
更に、少なくとも１つのカメラ視野を使用して、少なくとも１つの物体を追跡するステップと、少なくとも１つの物体の追跡を使用することによる統計情報を決定するステップとを有し、統計情報は、少なくとも１つの統計値を有し、ユーザの嗜好を入力するステップは更に少なくとも１つの統計値を見るために嗜好を入力することを有し、表示するステップは更に、少なくとも１つの統計値表示するステップを有する、請求項１に記載の方法。
【請求項１３】
前記入力するステップは更に、１つのカメラ視野についての嗜好を入力することを有し、選択するステップは前記１つのカメラ視野を選択することを有する、請求項１に記載の方法。
【請求項１４】
前記番組はスポーツ番組であり、前記スポーツ番組は複数の物体を有し、更に、物体の各々を追跡するステップと、物体の各々についての追跡情報を決定するステップと、物体の各々についての追跡情報を送信するステップと、物体の各々についての追跡情報を受信するステップとを有し、入力するステップは更に、１つ又はそれ以上の物体を示されるべき嗜好を入力するステップを有し、選択するステップは更に、示されるための嗜好を有する１つ又はそれ以上の物体を選択するステップを有する、請求項１に記載の方法。
【請求項１５】
前記番組はスポーツ番組であり、前記スポーツ番組は、複数の物体を有し、少なくとも１つの物体はそれに取りつけられた無線周波数タグを有する、請求項１に記載の方法。
【請求項１６】
−  コンピュータ読み出し可能なコードを記憶する媒体を有し、
−  機能的に前記媒体に結合されたプロセッサを有し、前記プロセッサは、前記コンピュータ読み出し可能なコードを実行するように構成され、前記コンピュータ読み出し可能なコードは、
−  １つ又はそれ以上のユーザの嗜好を入力し、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択し、
−  １つ又はそれ以上の選択されたカメラ視野を表示する、
ように構成されるシステム。
【請求項１７】
製造物であって、
−  その上に具体化されたコンピュータ読み出し可能なコード手段を有するコンピュータ読み出し可能な媒体を有し、前記コンピュータ読み出し可能なプログラムコード手段は、
−  １つ又はそれ以上のユーザの嗜好を入力するステップと、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択するステップと、
−  １つ又はそれ以上の選択されたカメラ視野を表示するステップとを有する、
製造物。
【請求項１８】
−  １つ又はそれ以上のユーザの嗜好を入力する手段と、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択する手段と、
−  １つ又はそれ以上の選択されたカメラ視野を表示する手段と、
を有するシステム。
【請求項１９】
受信機で適切なカメラ視野を選択する方法であって、
−  １つ又はそれ以上のユーザの嗜好を入力するステップと、
−  複数のカメラ視野を受信するステップと、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択するステップと、
−  １つ又はそれ以上の選択されたカメラ視野を表示するステップと、
を有する方法。
【請求項２０】
１つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択する前記ステップは、更に、カメラ視野間の変化を編集するステップを有する、請求項１９に記載の方法。
【請求項２１】
受信機で適切なカメラ視野を選択するシステムであって、
−  コンピュータ読み出し可能なコードを記憶する媒体を有し、
−  機能的に前記媒体に結合されたプロセッサを有し、前記プロセッサは、前記コンピュータ読み出し可能なコードを実行するように構成され、前記コンピュータ読み出し可能なコードは、
−  １つ又はそれ以上のユーザの嗜好を入力し、
−  複数のカメラ視野を受信し、
−  １つ又はそれ以上のユーザの嗜好に基づいて、複数のカメラ視野の１つ又はそれ以上のカメラ視野を選択し、
−  １つ又はそれ以上の選択されたカメラ視野を表示する、
ように構成されるシステム。
【発明の詳細な説明】
【０００１】
本発明は、マルチメディアに関連し、特に、スポーツ番組内で物体を追跡し且つ適切なカメラ視野を選択する方法及び装置に関連する。
【０００２】
スポーツのゲームを含む、多くの生のテレビジョン番組では、複数のカメラが、イベントを記録するのに使用されそして、”最も興味のある”視野を反映するために、カメラの１つが番組編集者により、手動で選択される。”最も興味のある視野”は、しかしながら、主観的な事項であり、人毎に変わる。
【０００３】
複数の供給を有する１つのシステムがあり、そして、ユーザが供給の１つを選択することを可能とする。各供給は、更に、番組編集者により制御されるが、しかし、このシステムは、ユーザへ、番組がどのように見られるかのある制御を許す。しかしながら、ユーザに与えられた制御の量は、小さい。例えば、ユーザは、好みのプレーヤを有しそして、常にこのプレーヤを映すことを好む。現在のシステムでは、これは可能ではない。
【０００４】
示されたスポ−ツ統計の形式をわたるユーザにとっての制御は少ない。多くのスポーツ統計は、実際にゲームを見ている人により集められそして、統計をコンピュータ又は紙の上に入力する。ユーザは、統計者により集められた統計のみを見るが、ネットワークは最も重要と考えられる。
【０００５】
それゆえに、番組で何を見るかの制御をユーザに提供し且つ現在提供されているよりも多くの統計情報を提供する技術についての必要がある。
【０００６】
本発明は、スポーツ番組で物体を追跡しそして適切なカメラ視野を選択する技術を提供する。一般的には、ユーザにより選択された嗜好に応じて、スポーツイベントの特定の物体が追跡される。更に加えて、ユーザの嗜好に従って、物体に関する統計データが集められそして、表示され得る。更にユーザは、見るための特定のカメラを選択でき又は、見るための競技フィールドのある部分を選択できる。
【０００７】
本発明は、更に完全な理解が、本発明の更なる特徴と利点と共に、以下の詳細な説明と図面を参照して得られる。
【０００８】
本発明は、特にスポーツ番組の、番組内の物体が追跡されることを可能とする。スポーツ番組に限定されないが、本発明の特に、生で、複数のカメラを有し、大量の統計情報を有するような、スポーツ番組に適する。追跡される物体は、ユーザにより選択される。
【０００９】
特定の物体が追跡されるので、物体についての追加の統計が発生され得る。例えば、物体がプレーヤである場合には、フィールド上の時間の量、走った距離、ボールヒット、走るのに費やした時間が、決定され得る。
【００１０】
一実施例では、送信機はこの情報を有効なカメラ視野から集める。送信機は、追跡情報と統計をパッケージ化しそして、このデータを異なるカメラ視野と共にユーザに送る。ユーザにより制御される受信機は、そして、表示するために、カメラ視野統計を選択することにより、ユーザの嗜好を実行する。受信機は、統計と追跡情報を決定することも可能である。しかしながら、これは、更に進んだ受信機を必要とし、そして、一般的には、多くのそのような受信機があるので、これは、単一の進んだ受信機と比較的単純な受信機よりもさらに高価である。
【００１１】
更に、ユーザは、単一のカメラ視野又は、競技フィールドの一部を選択することが許される。これらの選択は、前に説明した選択と共に、ユーザに、どのようにスポーツイベントを表示するかのほぼ完全な制御を許す。
【００１２】
図１を参照すると、本発明の好ましい実施例に従って、スポーツ番組（及び他のコンテンツ）内の物体を追跡し、適切なカメラ視野を選択する方法１００が示されている。方法１００は、カメラ視野を集め、物体を追跡し、そしてそれらの物体に関する統計を集め、そして、ユーザの嗜好に基づいて、カメラ視野又は適切な統計又は両方を表示のために選択するのに使用される。
【００１３】
方法１００は、送信機が物体を追跡しそして物体に関する統計データを集めるとする。そして、受信機は、どのカメラ視野が及びどの統計が表示されるかを決定する。上述のように、これらの仮定は変更されることが可能である。
【００１４】
方法１００は、ステップ１０５で開始し、カメラ視野が集められる。方法１００は、単純に、すべての可能なカメラ視野を集めそして、物体を追跡し及び統計を決定するときにこれらの視野を使用する。選択的に、全体の競技領域を恒久的に補足することによりこの処理を容易にする１つのカメラがある。
【００１５】
ステップ１１０では、潜在的に興味の各物体が追跡される。例示のスポーツ番組の実施例では、物体はボール、パック、他のスポーツ用品、プレーヤ又は、レフェリーである。基本的に、固定の物体を含む、カメラ視野内のものは追跡できる。ステップ１１０で発生する追跡は、当業者に知られる機構で実行され得る。例えば、顔、番号又は、物体認識が使用される。そのような技術は当業者に知られている。例えば、顔追跡はＣｏｍａｎｉｃｉｕ他により、ビジュアルサーベイランスに関する第３回ＩＥＥＥ国際ワークショップ、１１−１８（２０００）の「アクティブカメラでの人間の顔のロバスト検出及び追跡（Ｒｏｂｕｓｔ  ｄｅｔｅｃｔｉｏｎ  ａｎｄ  ｔａｃｋｉｎｇ  ｏｆ  ｈｕｍａｎ  ｆａｃｅｓ  ｗｉｔｈ  ａｎ  ａｃｔｉｖｅ  ｃａｍｅｒａ）」に開示され；物体追跡は、Ｐａｒｋ他により、民生電子に関するＩＥＥＥトランザクション７８５−７９０（２０００）「ディジタルビデオの高速物体追跡（Ｆａｓｔ  ｏｂｊｅｃｔ  ｔｒａｃｋｉｎｇ  ｉｎ  ｄｉｇｉｔａｌ  ｖｉｄｅｏ）」に開示されている。
【００１６】
物体を追跡するのに有益な比較的簡単な技術は、物体上に無線周波数タグ（ＲＦタグ）を配置することである。ＲＦタグは、現在非常に小さく、そして、ユニフォーム又はボールの内側に、目立たずに配置できる。技術的に知られているように、ＲＦタグは、送受信するＲＦ波から少量の電力を生成する。ＲＦタグは、この電力を自身のＲＦ波を送信するのに使用する。各ＲＦタグに特定のコード又は、潜在的に異なる周波数を送信させることにより、一連のＲＦ受信機は、ＲＦタグがどこに位置するかを決定するのに使用されることが可能である。
【００１７】
ステップ１１５では、集められた追跡データは、送信される出力に追加される。例示の追跡データと出力は、図２に特に示されている。簡単に、どのカメラ視野が興味の物体を有するを決定するために有益である。物体は一般的には、どのカメラ視野が物体を有するか及び物体はカメラ視野内かとともに、個々にリストされる。
【００１８】
ステップ１２０では、統計は、ステップ１１０で追跡された各物体について決定さえれる。物体は追跡されているので、その物体についての統計情報を集めるのは比較的簡単である。例えば、プレーヤによる走った距離は、平均速度、最高速度、休みの時間、競技フィールド上の時間、行ったショット、戻したボール、及びヒットの数と共に、簡単に追跡される。
【００１９】
ステップ１２５では、これらの統計が出力に加えられる。統計を出力に加えるのに使用され得る種々の技術がある。１つの例示の技術を図２に示す。一般的には、統計は、物体毎の基準で送信され、これは、統計が物体について集められ、他の物体の統計から別に送られることを意味する。しかしながら、種々の物体についての統計が、１つの位置情報にパッケージ化されるように、統計は集められることが可能である。統計が特定の物体について関連されうる限り、統計を送信するどのような技術も使用され得る。
【００２０】
ステップ１２０と１２５は、データストリームに追加の特徴を加えるのに使用され得ることに注意すべきである。例えば、ホッケーパックを追跡しそして、パックを表示するのによりよく使用されるライン又は場所を加えることを可能とする。この技術は、現在利用できそして以前に使用される。同様に、フットボールゲームのフィールドの放送視野に”ファーストダウン”ラインを加え、トラック競技会又は水泳イベントの放送視野に”世界記録”ラインを加える技術が存在する。これらのラインが放送画像から分離されそして、データとして送られる場合には、ユーザはラインを消すかどうかを決定することができる。従って、ステップ１２０と１２５は、ホッケーパック又はボールについてのハイライト及びファーストダウン及び記録についてのラインのような、追跡イベントを加えることができる。ユーザはこれらの追跡イベントを活性化することを選択できる。
【００２１】
ステップ１２７では、カメラ視野により生成されたシーンが、再構成される。シーン再構成は、スポーツイベントのプレーヤが、抽象化されそして、高レベルで示されることを可能とする。これは、ユーザをゲームの技術的な面に非常に親しませる。シーン再構成は、当業者に知られた技術を通して実行される。例えば、物体はすでに追跡され、そして、物体が全体のシーンに相対的にどこにあるかを決定することが可能である。言いかえると、物体と特定のカメラ視野を全体のシーンモデルにマップすることが可能である。ステップ１２８では、シーン再構成情報が出力に加えられる。分析者はスポーツイベントを見なおしそして適切な再構成の自身の分析を加えることもできることに注意すべきである。この方法で、実際のシーン再構成は、分析者により決定された”理想的な”再構成と比較される。
【００２２】
ステップ１３０では、カメラ視野、追跡情報、統計情報、及びシーン再構成は、送信される。一般的には、アナログシステムでは、カメラ視野は、カメラがその画像を受信するときとカメラ視野が送信されるときの間にほとんど遅延がないように、常に送信される。これは、物体追跡と統計情報がカメラ画像に対して僅かに遅延されうることを意味する。代わりに、カメラ視野からのデータは、追跡と統計情報が参照するところへカメラ画像と同時送られることを保証するために、短い期間の間保持される。
【００２３】
カメラ視野の送信は、アナログ信号からディジタル信号への変換とディジタル信号の圧縮を必要とする。これは、一般的に、特に、衛星リンクを介して送信するときに、実行される。これは、信号を圧縮するのにかかる時間が、おそらく、追跡及び統計情報が決定されるのに十分に長いという、利益がある。
【００２４】
ステップ１３５では、送信されたカメラ視野、物体追跡情報、及び統計情報が、受信される。一般的には、この情報は、衛星受信機によるような、ディジタル的に受信される。衛星受信機は、ユーザの家屋にあり又は、ローカルケーブルテレビジョン会社にある。ケーブルテレビジョン会社は、受信された信号からアナログ信号を生成することができ又は、ディジタル信号をローカルユーザへ送ることができる。一般的には、特に物体追跡と統計情報のためのディジタル信号は、ユーザへ送られるがしかし，アナログ信号も可能である。
【００２５】
ステップ１４０では、ユーザは、ユーザの嗜好を入力する。これらの嗜好は、通常はある種のセットトップボックスに入力される。セットトップボックスは、一般的には、可能な嗜好のリストを有し、そして、このリストは衛星又はローカルケーブルテレビジョン会社からダウンロードされる。ユーザの嗜好は、どの物体が追跡されるべきか、どの統計がもし有れば示されるべきか、どの追跡ベントがイネーブル又はディスエーブルされるべきか、特定のカメラ視野が好まれるか及びそのようであれば、どのカメラ視野が好まれるか、及び、フィールドの特定の領域が好まれるか及びそのようであれば、どのフィールドの領域が好まれるか、を示す。ユーザの嗜好は各イベントついてユーザにより規定され又は、ユーザのふるまいを観測することにより自動的に発生されそしてユーザプロファイルに記録される。
【００２６】
嗜好は順序も含む。例えば、ユーザが球技フィールドのホームチーム側を示されることを好む場合には、そのフィールドの部分に向けられたカメラが無いときがある。この場合には、ユーザの第２の嗜好が、ユーザ１人の特定のプレーヤを見ることを選択することを示すことができる。
【００２７】
ステップ１４５では、物体追跡が任意の物体に可能化されるかどうかが決定される。そのような場合（ステップ１４５＝ＹＥＳ）には、物体を含むカメラ視野又は複数の視野が、選択される。一般的には、受信された物体追跡情報は、もしあれば、どのカメラ視野が物体を含むかを決定するのに使用される。これは、ステップ１５０で発生する。このステップは、物体を追跡しそして、その物体の統計情報を決定することに注意すべきである。しかしながら、これは、かなり高度な受信機又はセットトップボックスを必要とし、これは、多くの受信機と少ない送信器があるので、多くの回数繰返されねばならない。従って、送信機は通常は、物体追跡と統計的決定が実行され得るよりよい場所にある。
【００２８】
ステップ１５５では、物体が1つのカメラ視野に含まれるかが、決定される。物体が1つのカメラ視野に含まれない場合（ステップ１５５＝ＮＯ）には、どのカメラ視野が選択されるべきかを決定するのに投票機構が使用される（ステップ１６０）。これは、例えば、物体を有するカメラ視野がない場合に、又は、１より多くのカメラ視野が物体を含む場合に発生する。前者の場合には、ステップ１６０は、どのカメラ視野を選択するかを決定するために投票する。ユーザの嗜好は、そのような状況についての嗜好を含む可能であり、そして、投票機構はこれらを使用することが可能である。代わりに、投票機構は、どのカメラ視野が物体に”最も近いか”又は、カメラ視野は将来の場面で、物体を含み得るかを決定することが可能である。この投票は、例えば、物体の前の軌跡に基づいて実行されるが、これは、カメラがどこに配置されているかに関する幾つかの指示を要求しそうである。物体を含む２つ又はそれ以上のカメラ視野の場合については、ステップ１６０の投票システムは、どのカメラ視野が物体の最もよい視野であるかを決定するために投票する。代わりに投票システムは、前に選択されたカメラ視野にどのカメラ視野が最も近いかに基づいて投票できる。この方法で、カメラアングルは、ユーザに高速の変化を耐えさせる代わりに、ゆっくりしたペースでの変化をする。
【００２９】
ステップ１４５から１６５は、ユーザが表示するために競技フィールドの一部を選択する場合に、どのカメラ視野が示すかを決定するのに使用されることに注意すべきである。競技フィールドの一部が1より多くのカメラ視野にある又はカメラ視野がない場合に（ステップ１５５＝ＹＥＳ）、投票機構は、競技フィールドの正しい領域の視野を含まない、どのカメラ視野を表示するかを、決定するために使用される（ステップ１６０）。
【００３０】
物体が１つの視野にある場合（ステップ１５５＝ＹＥＳ）又は、投票ステップ１６０が適切な視野を選択した場合には、選択された視野はステップ１６５で示される。更に、物体追跡がイネーブルされていない場合には（ステップ１４５＝ＮＯ）、ステップ１７０で、特定の視野が選択されるかどうかが決定される。そのような場合には（ステップ１７０＝ＹＥＳ）、選択されたカメラ視野は、ステップ１６５で表示される。これは、ユーザが１つのカメラ視野を選択することを可能とする。ある視野が選択されていない場合には（ステップ１７０＝ＮＯ）、方法１００はステップ１７５へ進む。
【００３１】
ステップ１６５では、カメラ視野間での変化により発生された効果を減らすために編集が実行されうる。例えば、黒又はグレーのフレームがカメラ視野間に挿入される。他の編集規則が、番組の全体的な表示をもっと訴えるようにするために使用され得る。これは、図３を参照して以下に更に詳細に説明される。
【００３２】
ステップ１７５では、任意の統計がユーザにより見られるために選択される。そのような場合には（ステップ１７５＝ＹＥＳ）、ステップ１８０は、どの統計が選択されたか及びどのプレーヤについてに選択されたかを決定する。ステップ１８５では、選択された統計は、フォーマットされそして表示される。
【００３３】
ステップ１９０では、追加のデータが選択されるかが決定される。そのような追加のデータは、前述の”ファーストダウン”又は、”世界記録”ラインのような追跡イベントを含む。追加の情報が選択された場合には（ステップ１９０＝ＹＥＳ）、ステップ１９５で表示される。ここで含まれうる追加のデータは、追跡情報それ自身である。例えば、追跡情報は、プレーヤ及びボール又は他の物体により取られる経路を決定するために、使用され得る。これは、セットプレーヤの再構成を可能とし、攻撃と防御位置を見ることを可能とし、潜在的に悪い又はよい判断がプレーヤになされる。これは、分析者の十分な専門知識で、実際に起こっているものの場所に何が起こるべきかを重ねることも可能とする。
【００３４】
最後に、望ましい場合には、送信機による出力は編集コマンドそれ自身を送ることも可能である。例えば、通常の放送では、編集者は、カメラ視野が放送されるべき中央位置を述べる。編集者が1つのカメラ視野から他へ変更するときには、この変更は記録される。この記録はデータとして受信機に送られうる。ユーザは、編集者により選択されたカメラ視野を見ることを好むかどうかを、ユーザが選択できる。編集者は、発生されている複数のカットを有しえ又は、それら自身のカメラ視野をわたり制御する複数の編集者がいる。ユーザは編集者からのカットの１つを選択することを選ぶ。この追加のデータは、ステップ１４０で選択されることが可能であり、そして、ステップ１９０で実行される。
【００３５】
追加のデータが選択されない場合には（ステップ１９０＝ＮＯ）、方法は終了する。
【００３６】
図２に移ると、本発明の好ましい実施例に従ったスポーツ番組（又は他のコンテンツ）内の物体を追跡し且つ適切なカメラ視野を選択する装置の送信部２００のブロック図が示されている。送信部２００は、以下の：サッカーフィールド２０５を見ている４つのカメラ２２０、２２５、２３０及び２３５；カメラ信号２２１、２２６，２３１、及び２３６；送信機２４０；物体追跡データストリーム２７５；統計データストリーム２８０；及び抽象データストリーム２８５を有する。プレーヤ２１０は、フィールド２０５上にいて、そして、フィールド２０５の部分２１５は、ユーザにより選択されている。送信機２４０は、物体追跡システム２４５と統計決定システム２６０を有する。物体追跡システム２４５は、幾つかの物体追跡エントリ２５０、２５５及び抽象２４６を有する。各物体追跡エントリ２５０、２５５は、物体識別２５１、２５６、カメラ識別２５２、２５７、位置又は複数の位置２５３、２５８及びフレーム位置２５４，２５９を有する。抽象２４６は、シーン再構成２４７と分析者比較２４８を有する。統計決定システム２６０は、第1プレーヤと以下の例示の統計情報：キックされた平均距離２７１、走った距離２７２、フィールド上の時間２３７及びゴールのショット２７４、についての統計情報２７０を有する。
【００３７】
各カメラ２２５、２３０及び２３５が、1つの特定の時間で示され、そして各カメラはサッカーフィールド２０５の特定の視野を有する。カメラ２２５と２３０は、プレーヤ２１０が現在ボールを有するフィールドの領域を撮影している。カメラ２３５は、フィールド２０５の反対の端を撮影している。
【００３８】
カメラ２２０は、物体を追跡を助けるのに使用されるオプションのカメラである。このカメラは、固定されそして、全体のフィールド２０５の一定の視野を維持する。この視野は、カメラ２２０以外の物体の視野を有するカメラのない時が可能なように、物体の位置を決定することを容易にする。例えば、位置２１５の値近くにしかしカメラ２３５の視野から離れて立っている人は、カメラ２２０以外のカメラの視野内にはない。更に、その位置と視野が固定しているので、全ての物体がカメラ２２０の視野内にあるので、物体を追跡することが簡単である。
【００３９】
カメラ２２０、２２５、２３０及び２３５は、ディジタル又は、アナログである。各カメラ２２０、２２５、２３０及び２３５は、カメラ信号２２１、２２６，２３１及び２３６をそれぞれ発生する。これらの信号は、送信機２４０へ送られ、送信機は、それらを、物体を追跡し且つその物体の統計を決定するのに使用する。アナログの場合には、これらの信号は、ディジタルに変換される。更に、それらは、送信機２４０により圧縮される。物体追跡システム２４５は、物体を追跡するのに当業者に知られた技術を使用する。そのような技術は、顔、数、外形認識及び無線周波数（ＲＦ）タグ決定及び追跡を含む。物体についての追跡情報は、パッケージ化されそして受信機に送信される。
【００４０】
追跡情報をパッケージ化する１つの例示のシステムは、図２に示されている。幾つかの物体追跡エントリ２５０、２５５が、発生される。各物体についての１つの物体追跡エントリ２５０、２５５がある。各エントリ２５０、２５５は、物体を唯一に識別する、物体識別２５１、２５６を有する。示されていないが、物体のリストとそれらの身元は一般的には送信される。各エントリ２５０、２５５は、カメラ識別２５２，２５７も有する。物体が複数のカメラ視野にある場合には、複数のカメラ識別がエントリに配置される。各エントリ２５０、２５５は、物体が存在する、ビデオフレーム内の1つの位置を含む、位置又は複数の位置２５３、２５８を有する。代わりに、”ファーストダウン”ラインのようなラインが生成されうるように、複数の位置がありうる。
【００４１】
各エントリ２５０、２５５は、フレーム位置２５４，２５９を有する。フレーム位置２５４，２５９は、受信機に、エントリが参照するフレームを通知する。これは、時間又は他のインジケータでもよい。重要なものは、受信機は、エントリ２５０、２５５を特定のカメラからのビデオの特定の部分と関連させることである。
【００４２】
統計決定システム２６０は、物体追跡システム２４５により生成された追跡情報を使用して、物体に関する統計を決定する。例示の統計２７０は、第１プレーヤについて示されている。これらの統計は、キックされた平均距離２７１、走った距離２７２、フィールド上の時間２３７及びゴールのショット２７４を有する。一旦、物体が追跡されると、集められうる多くの異なる形式の統計がある。
【００４３】
抽象２４６は、シーンの高レベルの視野であり、そして、全体の視野領域の適切なレイアウトと共に、カメラ信号２２６、２３１、及び２３６（及び潜在的にカメラ信号２２１）からの物体の物体追跡を使用して生成される。物体を視野領域の完全な表現にマッピングすることにより、シーン再構成２４７は、決定される。望む場合には、分析者比較２４８も生成される。分析者比較２４８は、”理想的な”シーンの、視野領域の完全な表現を使用する、シーンの再構成である。これは、例えば、それがどのように実際に進展するのかに対して、ユーザがどのようにスポーツイベント内のプレイが進展されるべきかを見ることを可能とする。
【００４４】
抽象データ２８５は、それゆえに、シーン再構成情報２４７とおそらく、分析者による再構成２４８を含む。シーン再構成情報２４７は、全体の視野領域上に、物体の動きが抽象化されることを可能とする。説明的に、シーン再構成情報２４７は、視野領域内の位置を各物体の時間情報を有する。例えば、情報は、以下の：”時間１で、物体Aが位置Aであり物体Ｂが位置Bであった；時間２で、物体Aと物体Ｂが位置Cであった”ということを含むことが可能である。位置は、通常は視野領域のレイアウトに対しており、しかし他の位置決め機構も可能である。視野領域自身のレイアウトと寸法は、抽象データストリーム２８５にパッケージ化されうるが、レイアウトと寸法は、おそらく1回のみ送られねばならない。この情報の全ては、全体のシーンが再構成されることを可能とする。更に、分析者は、データストリーム２８５に追加されるコメントともに、”理想的な”シーン再構成２４８を生成できる。ユーザは、そして、”理想的な”シーン再構成２４８を実際のシーン再構成２４７と比較できる。抽象データストリーム２８５は、例えば、再生を開始し、そして、再生の最後が決定されることを可能とする、”開始”と”停止”データも含むことができることに注意すべきである。
【００４５】
図２の例では、物体追跡データは、それ自身の物体追跡データストリーム２７５として送出され、統計は、それ自身の統計データストリーム２８０として送信されそして、抽象は、それ自身の抽象データストリーム２８５として送信される。しかしながら、これは単に例である。それらは、カメラ信号２２１，２２６、２３１及び２３６に結合又は追加されうる。
【００４６】
図３に移ると、本発明に従った好ましい実施例に従って、スポーツ番組（又は他のコンテンツ）内の物体を追跡し適切なカメラ視野を選択する装置の受信部３００のブロック図を示す。受信部３００は以下の：カメラ信号２２１、２２６、２３１及び２３６；物体追跡データストリーム２７５；統計データストリーム２８０；抽象データストリーム２８５；２つの視野コントローラ３１０、３５０；及び２つのディスプレイ３３０、３７０を有する。両視野コントローラ３１０、３５０は、カメラ信号２２１、２２６、２３１及び２３６、データストリーム２７５、統計データストリーム２８０を受信する。
【００４７】
視野コントローラ３１０と３５０は、それぞれのディスプレイ３３０、３７０にどの視野を表示するかを決定する。視野コントローラ３１０と３５０は、は、適切な視野を決定するために編集エージェント３１２、３５２を使用し、そして、編集エージェント３１２、３５２は、ユーザの嗜好３１５と３５５を考慮する。
【００４８】
視野コントローラ３１０は、編集エージェント３１２とユーザの嗜好３１５を有する。編集エージェント３１２は、選択的であるがしかし有益である。編集エージェント３１２は、編集規則３１４を有する。編集エージェント３１２は、編集者のソフトウェア版のように動作する。編集規則３１４を使用して、編集エージェント３１２は、カメラ視野間の目障りな変化を減少し又は防止し、そして、ユーザの嗜好３１５と最良の視野を守って維持するのに役立つ。ディスプレイ３３０に適切な出力を生成するために、編集エージェント３１２は、編集規則３１４とユーザの嗜好３１５を考慮する。
【００４９】
編集規則は、いつそしてどのようにカメラ視野が送信されるべきかを決定する規則である。例えば、編集規則は、”追跡されている物体をカメラ視野が含む限りカメラ視野を維持し、物体が第２のカメラの視野に移らないと、第２のカメラへ切り換わる”である。他の規則は、”フィールドの端のカメラからフィールドの他の端のカメラに移るときには、中間カメラが追跡される物体の視野を有する限り少なくとも３秒の間中間カメラを選択する”である。更に他の規則は、”フィールドが明るい及び暗い両領域を有するときには、好ましくは暗い領域を示すカメラ視野を選択する”である。他の規則は、”高速移動物体が素早く方向を変えるときには、物体と、フィールドの小さな視野を有する視野に変化する前のフィールドの大きな視野とを有するカメラ視野を選択する”である。最後の規則は、”カメラ視野を変えるときには、１フレームを落とし、そして、それを黒い色のフレームで置き換える”である。
【００５０】
このように、編集エージェント３１２はカメラ視野の間の変化を柔軟にしそしてよりよい全体のユーザの経験を提供するように動作する。編集エージェント３１２は、ディスプレイ３３０へ出力し、そして編集エージェント３１２は、ユーザの嗜好３１５のどの嗜好も無効にせずに、その義務を実行する。衝突が発生する場合には、一般的には、ユーザの嗜好３１５が制御する。
【００５１】
ユーザが編集エージェント３１２、３５２上で、ある制御を有することが可能であることに注意すべきである。例えば、ユーザは、どのくらい悪いカメラ間の変化かに関わらず、編集エージェント３１２、３５２を物体の最良の視野を選択することに向けうる。他の例として、ユーザは、編集エージェント３１２、３５２を、可能な限り、カメラ視野を保持するようにさせうる。これらのユーザの嗜好は、ユーザの嗜好３１５、３５５に記憶され又は、編集エージェント３１２、３５２と共に記憶され得る。
【００５２】
ユーザの嗜好３１５は、追跡嗜好３２０と統計嗜好３２５を有する。この例では、追跡嗜好３２０は、オンされたボール追跡、嗜好の命令されたリストと、幾つかのシーン再構成嗜好を有する。命令されたリストは、”（１）ホーム側を見る”及び”（２）編集者カットを見る”を含む。これは、ホーム側の視野を有するカメラがないのではない限り、ホーム側（図２の部分２１５）が見られることを意味する。図２から、カメラ２２０は、全体のフィールド２０５の視野を有することがわかる。しかしながら、カメラ２２０は、部分２０５からフィールドの反対側にある。従って、カメラ２３５が部分２０５の視野を有しない場合には、視野コントローラ３１０は、編集者カットを選択する。”編集者カット”は、”編集エージェント３１２”では、なくスポーツイベントで編集者により作られた版である。カメラ信号２２１、２２６、２３１及び２３６の１つは、編集者カットに専用である。代わりに、編集者カットは、一連の命令として送られ、視野コントローラ３１０に特定の時間に特定のカメラ信号へ換えることを告げる。この例では、カメラ２３５（図２参照）は、部分２１５の良好な視野を有し、それにより、このカメラ視野は領域３３１内のディスプレイ３３０で示される。ユーザの嗜好３１５は、統計嗜好３２５内にオフされた統計を有し、それにより、統計はディスプレイ３３１で示されない。
【００５３】
しかしながら、追跡嗜好３２０は嗜好”シーン再構成をオンする”及び”分析者比較をオフする”嗜好を有する。”シーン再構成をオンする”嗜好は、抽象データストリーム２８５からの情報は、ディスプレイ３３０上にシーン再構成３３２を生成するのに使用されることを意味する。この例では、ボールの飛行は、再構成される。プレーヤ位置と移動も、再構成される。この例では、ユーザが特徴をオフしたので、分析者比較はない。
【００５４】
編集エージェント３５２と編集規則３５４は、編集エージェント３１２と編集規則３１４と同様である。視野コントローラ３５０は、異なるユーザ嗜好３５５を有する。ユーザ嗜好３６０を追跡することは、このユーザは、プレーヤ１を見ることを望み、そして、プレーヤ１が示されることができない場合には、プレーヤ２を見ることを望むことを示す。この例では、プレーヤ１は図２のプレーヤ２１０であり、それにより、プレーヤ２１０の視野を有する３つのカメラ２２０、２２５及び２３０がある。図１を参照して記載したように、投票機構が、どのカメラ視野が実際に示されるかを決定するために使用される。ユーザは、”角度：側”嗜好を選択し、これは、ユーザが示されたフィールドの側をむしろ有することを意味する。この嗜好を使用して、視野コントローラ３５０は、カメラ視野２２５を選択しそして、これをディスプレイ３７０上の位置３７１に表示する。
【００５５】
このユーザも、統計嗜好３６５を有する。これらの統計嗜好３６５は、”フィールド上の時間”及び”走った距離”である。この統計嗜好３６５ではプレーヤが選択されていないので、追跡嗜好３６０で選択された２人のプレーヤが統計が示されるプレーヤであると仮定される。これは、ユーザにより簡単に変更されることが可能である。この例では、プレーヤ１とプレーヤ２の両プレーヤについてのこれらの２つの統計統計位置３７５に示される。
【００５６】
図４を参照すると、本発明に従った実施例を実行するのに適する例示のシステム４００のブロック図が示されている。システム４００は、図１から３に開示された幾つかの又は全ての方法とシステムにより使用されうる。システム４００はコンピュータシステム４１０とコンパクトディスク（ＣＤ）４５０を有する。コンピュータシステム４１０は、プロセッサ４２０、メモリ４３０及びビデオディスプレイ４４０を有する。
【００５７】
技術的に知られているように、ここに開示された方法と装置は、その上に実現されたコンピュータ読み出し可能なコード手段を有するコンピュータ読み出し可能な媒体を有する製造物として配布されるうる。コンピュータ読み出し可能なコード手段は、コンピュータシステム４１０のようなコンピュータシステムと共に動作し、方法を実行する全ての又は幾つかのステップを実行し又は、ここに記載の装置を形成する。コンピュータ読み出し可能な媒体は、記録可能な媒体（例えば、フレキシブルディスク、ハードドライブ、コンパクトディスク、又は、メモリカード）又は、伝送媒体（例えば、光ファイバを含むネットワーク、ワールドワイドウェブ、ケーブル又は、時分割多重アクセス、符号分割多重アクセスを有する無線チャネル又は、他の無線周波数チャネル）である。コンピュータシステムで使用するのに適する情報を記憶できる知られた又は開発された媒体が、使用されうる。コンピュータ読み出し可能なコード手段は、磁気媒体の磁気変化又は、コンパクトディスク４５０のようなコンパクトディスクの面の高さ変化のような、コンピュータが命令及びデータを読みことを可能とするための任意の機構である。
【００５８】
メモリ４３０は、プロセッサ４２０を、ここに開示された方法、ステップ及び機能実行するように構成する。メモリ４３０は、分散され又は、ローカルにされ、及び、プロセッサ４２０は、分散され又は単一である。メモリ４３０は、電気的、磁気的又は、光学的メモリ又は、これらの組み合わせ又は、他の形式の記憶装置である。更に用語”メモリ”は、プロセッサ４１０によりアクセスされるアドレス空間内のアドレスから読み出し又はそこへ書き込むことができる情報を含むのに十分に広く解釈されるべきである。この定義で、プロセッサ４２０はネットワークから情報を取り出すことができるので、ネットワーク上の情報は、更にメモリ４３０内である。プロセッサ４２０を構成する各分散されたプロセッサは、一般的には、自身のアドレス可能なメモリ空間を有することに注意すべきである。幾つかの又はすべてのコンピュータシステム４１０は、特定用途向け又は汎用集積回路に組み込まれることが可能であることに注意すべきである。
【００５９】
ビデオディスプレイ４４０は、システム４００の人間のユーザと対話するのに適する任意の形式のビデオディスプレイである。一般的には、ビデオディスプレイ４４０は、コンピュータモニタ又は、他の類似のビデオディスプレイである。
【００６０】
示された及びここに開示された実施例及び変形は、単位本発明の原理を説明するものであり、種々の修正が、本発明の範囲と精神から離れることなしに、当業者により実行されうることは理解されよう。
【図面の簡単な説明】
【００６１】
【図１】本発明の好ましい実施例に従って、スポーツ番組内の物体を追跡し且つ適切なカメラ視野を選択する方法のフローチャートである。
【図２】本発明の好ましい実施例に従って、スポーツ番組内の物体を追跡し且つ適切なカメラ視野を選択する装置の送信部分のブロック図である。
【図３】本発明の好ましい実施例に従って、スポーツ番組内の物体を追跡し且つ適切なカメラ視野を選択する装置の受信部分のブロック図である。
【図４】本発明の全て又は一部を実行するのに適すシステムのブロック図である。
【図１】
2004537222.tif 000003
【図２】
2004537222.tif 000004
【図３】
2004537222.tif 000005
【図４】
2004537222.tif 000006
【国際公開パンフレット】
2004537222.tif 000007
2004537222.tif 000008
2004537222.tif 000009
2004537222.tif 000010
2004537222.tif 000011
2004537222.tif 000012
2004537222.tif 000013
2004537222.tif 000014
2004537222.tif 000015
2004537222.tif 000016
2004537222.tif 000017
2004537222.tif 000018
2004537222.tif 000019
2004537222.tif 000020
2004537222.tif 000021
2004537222.tif 000022
2004537222.tif 000023
2004537222.tif 000024
2004537222.tif 000025
2004537222.tif 000026
2004537222.tif 000027
2004537222.tif 000028
2004537222.tif 000029
【国際調査報告】
2004537222.tif 000030
2004537222.tif 000031