(57)【要約】  本発明は、ビデオストリームをクライアント側で合成するための装置および方法に関する。本方法は、ビデオ表示デバイス１０３によって、遠隔のビデオサーバ１０２から多重化データストリームを受信するステップを含む。多重化データストリームは、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを含むサブストリームを含む。本方法は、ビデオ表示デバイス１０３によって、記述子サブストリームに従って多重化データストリームをサブストリームに逆多重化するステップと、ビデオ表示デバイス１０３によって、少なくとも１つのメディアサブストリームの合成についての命令を含む合成命令サブストリームに従って、表示スクリーン１０４上で少なくとも１つのメディアサブストリームを表示するステップとをさらに含む
2013543700.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ表示デバイス（１０３）によって、メディアストリームをクライアント側で合成するための方法であって、
ビデオ表示デバイス（１０３）によって、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを含むサブストリームを含む多重化データストリームを遠隔のビデオサーバ（１０２）から受信するステップと、
ビデオ表示デバイス（１０３）によって、記述子サブストリームに従って多重化データストリームをサブストリームに逆多重化するステップと、
ビデオ表示デバイス（１０３）によって、少なくとも１つのメディアサブストリームの合成についての命令を含む合成命令サブストリームに従って、表示スクリーン（１０４）上で少なくとも１つのメディアサブストリームを表示するステップとを含む、方法。
【請求項２】
表示するステップが、少なくとも１つのメディアサブストリームをオンスクリーン表示またはピクチャインピクチャとして、合成命令サブストリームによって指示される表示スクリーン（１０４）のエリアの中に表示する、請求項１に記載の方法。
【請求項３】
ビデオ表示デバイス（１０３）によって、少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更する第１の命令コマンドをユーザから受信するステップをさらに含み、表示するステップが、変更された合成に従って少なくとも１つのメディアサブストリームを表示する、請求項１に記載の方法。
【請求項４】
第１の命令コマンドが、多重化データストリームの中に含まれたメディアサブストリームの削除を指示する、請求項３に記載の方法。
【請求項５】
第１の命令コマンドが、少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状または表示位置のうちの少なくとも１つの変更を指示する、請求項３に記載の方法。
【請求項６】
ビデオサーバ（１０２）によって、メディアストリームをクライアント側で合成するための方法であって、
ビデオサーバ（１０２）によって、少なくとも１つのメディアサブストリームの合成についての命令を含む合成命令サブストリームを生成するステップと、
ビデオサーバ（１０２）によって、記述子サブストリーム、少なくとも１つのメディアサブストリームおよび合成命令サブストリームを多重化するステップと、
ビデオサーバ（１０２）によって、合成命令サブストリームに従って表示スクリーン（１０４）上で表示されるべき多重化データストリームを送信するステップとを含む、方法。
【請求項７】
合成命令サブストリームが、少なくとも１つのメディアサブストリームをオンスクリーン表示またはピクチャインピクチャとして表示するための表示スクリーン（１０４）のエリアを指示する、請求項６に記載の方法。
【請求項８】
ビデオサーバ（１０２）によって、少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更する第１の命令コマンドをビデオ表示デバイス（１０３）から受信するステップをさらに含み、生成するステップが、変更された合成を指示する更新された合成命令サブストリームを生成する、請求項６に記載の方法。
【請求項９】
第１の命令コマンドが、多重化データストリームの中に含まれた少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状または表示位置のうちの少なくとも１つの変更を指示する、請求項８に記載の方法。
【請求項１０】
第１の命令コマンドが、多重化データストリームへのメディアサブストリームの追加を指示する、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリームをクライアント側で合成するための装置および方法に関する。
【背景技術】
【０００２】
多くのビデオ配信システムでは、すべてのビデオ合成をサーバで実行する。しかしながら、そのようなサーバ側での合成ではしばしば、最終的な合成ビデオがクライアントのデバイスまたはクライアントの個人的な好みに合わせてよく調整されていないものとなる。
【０００３】
たとえば、放送ネットワークが野球の試合を放送する場合、クライアントデバイスはしばしば試合の現在の状態（たとえば、現在のスコア、現在のボールおよびストライクの数など）を含む１つまたは２つの情報ボックスを表示する。これらのオンスクリーン表示（ＯＳＤ）は、表示スクリーンのずっと左上およびずっと右上の隅に表示されるようになっている。従来の方形の四角いテレビセットで野球の試合を見ている場合、ＯＳＤはこの場所に表示される。しかしながら、より新しいワイドスクリーンのテレビセットで野球の試合を見ている場合、ＯＳＤは表示スクリーンのずっと左上およびずっと右上の隅に配置されない場合がある。むしろ、ＯＳＤは表示スクリーンのより中心近くに表示される場合がある。この挙動は、ＯＳＤがすべての種類の表示スクリーン上で見られるように、ビデオ画像が意図的にビデオサーバで合成されているために生じる。ワイドスクリーンのテレビセットは従来の方形のテレビセットよりも横長の表示エリアを持っているため、ＯＳＤはワイドスクリーンディスプレイのより中心近くにあるように見える。したがって、ビデオストリームを表示するための最良の方法は、しばしば、クライアントデバイスの表示スクリーンの種類に応じたものであることがわかる。別の例では、ユーザは放送局によって送信されるＯＳＤを見たくないことがあり得る。残念ながら、従来のサーバで合成する方法では、ユーザはＯＳＤが表示されるかどうかを制御することはできない。さらに別の例では、ユーザは自分が使用しているクライアントデバイスの種類に応じて動画のフォーマットを切り替えたい場合がある。たとえば、動画がワイドスクリーンフォーマットで撮影され、ユーザが従来の方形のテレビセットを持っている場合、ユーザは、動画をレターボックスフォーマットで表示するのか、それとも方形フォーマットで表示するのかを選択できるようにしたい場合がある。残念ながら、ユーザの好みに従って表示画像の合成を変更することは、従来のシステムでは制限されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ビデオストリームをクライアント側で合成するための装置および方法に関する。
【課題を解決するための手段】
【０００５】
本方法は、ビデオ表示デバイスによって、多重化データストリームを遠隔のビデオサーバから受信するステップを含む。多重化データストリームは、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを含むサブストリームを含む。本方法は、ビデオ表示デバイスによって、記述子サブストリームに従って多重化データストリームをサブストリームに逆多重化するステップと、ビデオ表示デバイスによって、少なくとも１つのメディアサブストリームの合成についての命令を含む合成命令サブストリームに従って、表示スクリーン上で少なくとも１つのメディアサブストリームを表示するステップとをさらに含む。
【０００６】
表示するステップは、少なくとも１つのメディアストリームをオンスクリーン表示またはピクチャインピクチャとして、合成命令サブストリームによって指示される表示スクリーンのエリアの中に表示してもよい。
【０００７】
本方法はさらに、ビデオ表示デバイスによって、ユーザから第１の命令コマンドを受信するステップをさらに含んでもよい。第１の命令コマンドは、少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更し、表示するステップは、変更された合成に従って少なくとも１つのメディアサブストリームを表示する。また第１の命令コマンドは、多重化データストリームの中に含まれたメディアサブストリームの削除を指示してもよい。また第１の命令コマンドは、少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状または表示位置のうちの少なくとも１つの変更を指示してもよい。さらに、第１の命令コマンドは、多重化データストリームへのメディアサブストリームの追加を指示してもよい。
【０００８】
別の実施形態では、多重化データストリームは複数のメディアサブストリームを含んでもよい。複数のメディアサブストリームの各々は、異なる表示アスペクト比に従った同じビデオデータを含む。表示ステップは、合成命令サブストリームに基づいてビデオ表示デバイスに最も近い表示アスペクト比を持つ複数のメディアサブストリームのうちの少なくとも１つを表示する。
【０００９】
本発明の実施形態はまた、ビデオサーバによってメディアストリームをクライアント側で合成するための方法も含む。本方法は、ビデオサーバによって合成命令サブストリームを生成するステップを含む。合成命令サブストリームは、少なくとも１つのメディアサブストリームの合成についての命令を含む。本方法は、ビデオサーバによって、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを多重化するステップと、ビデオサーバによって、合成命令サブストリームに従って表示スクリーンに表示されるべき多重化データストリームを送信するステップとをさらに含む。
【００１０】
合成命令サブストリームは、少なくとも１つのメディアストリームをオンスクリーン表示またはピクチャインピクチャとして表示するための表示スクリーンのエリアを指示してもよい。
【００１１】
本方法は、ビデオサーバによって、第１の命令コマンドをビデオ表示デバイスから受信するステップをさらに含んでもよい。第１の命令コマンドは少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更し、生成するステップは、変更された合成を指示する更新された合成命令サブストリームを生成する。第１の命令コマンドは、送信された多重化データストリームの中に含まれたメディアサブストリームの削除を指示してもよい。また第１の命令コマンドは、多重化データストリームの中に含まれた少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状または表示位置のうちの少なくとも１つの変更を指示してもよい。また第１の命令コマンドは、多重化データストリームへのメディアサブストリームの追加を指示してもよい。
【００１２】
別の実施形態では、多重化データストリームは複数のメディアサブストリームを含む。複数のメディアサブストリームの各々は、異なる表示アスペクト比に従った同じビデオデータを含む。合成命令サブストリームは、表示デバイスに最も近い表示アスペクト比を持つ複数のメディアサブストリームのうちの１つを選択するために、ビデオ表示デバイスのための命令を含んでもよい。
【００１３】
本発明の実施形態はまた、メディアストリームをクライアント側で合成するためのビデオ表示デバイスを含む。ビデオ表示デバイスは、多重化データストリームをサブストリームに逆多重化するように構成されたデマルチプレクサを含む。サブストリームは、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを含む。合成命令サブストリームは、少なくとも１つのメディアサブストリームの合成についての命令を含む。ビデオ表示デバイスはまた、合成命令サブストリームに従って表示スクリーン上に少なくとも１つのメディアサブストリームを表示するように構成されたコントローラを含む。コントローラは、合成命令サブストリームによって指示された表示スクリーンのエリアの中に、オンスクリーン表示またはピクチャインピクチャとして少なくとも１つのメディアサブストリームを表示してもよい。
【００１４】
またビデオ表示デバイスは、第１の命令コマンドをユーザから受信するように構成されてもよい。第１の命令コマンドは、少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更し、コントローラは、変更された合成に従って少なくとも１つのメディアサブストリームを表示する。第１の命令コマンドは、多重化データストリームの中に含まれたメディアサブストリームの削除を指示してもよい。第１の命令コマンドは、少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状または表示位置のうちの少なくとも１つの変更を指示してもよい。また第１の命令コマンドは、多重化データストリームへのメディアサブストリームの追加を指示してもよい。
【００１５】
別の実施形態によれば、多重化データストリームは複数のメディアサブストリームを含む。複数のメディアサブストリームの各々は、異なる表示アスペクト比に従った同じビデオデータを含み、コントローラは、合成命令サブストリームに基づいてビデオ表示デバイスに最も近い表示アスペクト比を持つ複数のメディアサブストリームのうちの少なくとも１つを表示する。
【００１６】
本発明の実施形態はまた、メディアストリームをクライアント側で合成するためのビデオサーバを含む。ビデオサーバは、合成命令サブストリームを生成するように構成されたコントローラを含む。合成命令サブストリームは、少なくとも１つのメディアサブストリームの合成についての命令を含む。ビデオサーバはまた、記述子サブストリームと、少なくとも１つのメディアサブストリームと、合成命令サブストリームとを多重化するように構成され、合成命令サブストリームに従って表示スクリーン上に表示されるべき多重化データストリームを送信するように構成されたマルチプレクサを含む。
【００１７】
合成命令サブストリームは、少なくとも１つのメディアサブストリームをオンスクリーンオブジェクトまたはピクチャインピクチャとして表示するための表示スクリーンのエリアを指示してもよい。
【００１８】
ビデオサーバはまた、第１の命令コマンドをビデオ表示デバイスから受信するように構成される。第１の命令コマンドは、少なくとも１つのメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更し、コントローラは、変更された合成を指示する更新された合成命令サブストリームを生成する。第１の命令コマンドは、送信された多重化データストリームの中に含まれたメディアサブストリームの削除を指示してもよい。第１の命令コマンドはまた、多重化データストリームの中に含まれた少なくとも１つのメディアサブストリームの表示サイズ、表示色、表示形状および表示位置のうちの少なくとも１つの変更を指示してもよい。さらに、第１の命令コマンドは、多重化データストリームへのメディアサブストリームの追加を指示してもよい。
【００１９】
別の実施形態では、多重化データストリームは複数のメディアサブストリームを含む。複数のメディアサブストリームの各々は、異なる表示アスペクト比に従った同じビデオデータを含む。合成命令サブストリームは、表示デバイスに最も近い表示アスペクト比を持つ複数のメディアサブストリームのうちの１つを選択するために、ビデオ表示デバイスのための命令を含む。
【００２０】
例示的な実施形態が、本明細書で以下に示す詳細な説明、および同様の要素が同様の参照符号によって表されている添付の図面から、より完全に理解されよう。これらは、例示のためだけに示され、したがって本発明を限定するものではない。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態によるデータストリームをビデオ表示デバイスに送信するためのシステムの様々な構成要素を示す図である。
【図２】本発明の実施形態によるビデオ表示デバイスを示す図である。
【図３】本発明の実施形態によるビデオサーバを示す図である。
【図４】本発明の実施形態による多重化データストリームを示す図である。
【図５】本発明の実施形態による複数のメディアサブストリームを持つ多重化データストリームを示す図である。
【図６】本発明の実施形態によるデータストリームのクライアント利用変更の例を示す図である。
【図７】本発明の実施形態によるデータストリームのサーバ利用変更の例を示す図である。
【発明を実施するための形態】
【００２２】
ここで、添付の図面を参照して本発明の様々な実施形態をより完全に説明する。図面上の同様に要素には同様の参照符号が付いている。
【００２３】
本明細書で使用する際、文脈が明らかに他を示していない限り、単数形「ａ」、「ａｎ」および「ｔｈｅ」は複数形も含むものとする。さらに、「ｃｏｍｐｒｉｓｅｓ（備える、含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」、「ｉｎｃｌｕｄｅｓ（含む）」および／または「ｉｎｃｌｕｄｉｎｇ（含む）」という用語は、本明細書で使用する際、記載した機能、整数、ステップ、動作、要素および／または構成要素の存在を特定するが、１つまたは複数の他の機能、整数、ステップ、動作、要素、構成要素および／またはそれらのグループの存在または追加を排除しないということを理解されたい。
【００２４】
ここで、添付の図面を参照しながら本発明について説明する。様々な構造、システムおよびデバイスは説明のためだけに、また当業者によく知られている詳細によって本発明を不明瞭にしないために、図面の中で概略的に示している。しかしながら、添付の図面は、本発明の例示的な実施例を説明および解説するために含まれている。本明細書で使用する単語およびフレーズは、関連技術の当業者によるそれらの単語およびフレーズの理解と一致する意味を持つと理解および解釈すべきである。用語またはフレーズが特別な意味、すなわち当業者によって理解されるもの以外の意味を持つものとされる範囲で、そのような特別な定義は、用語またはフレーズのために特別な定義を直接的かつ明白に示す明細書の中で明示的に記載される。
【００２５】
例示的な実施形態は、ユーザが表示スクリーン上でのビデオ画像の表示をより細かく制御することができる方法および装置を提供する。たとえば、本発明の実施形態は、ビデオサーバとは対照的に、ビデオ表示デバイス上でメディアデータストリームのうちの少なくとも１つを合成する。たとえば、以下で説明するように、本発明の実施形態はビデオ表示デバイス（クライアント側）で合成動作の一部またはすべてを実行できるようにし、それによって合成動作の間にクライアントのデバイスおよび好みがより考慮されることが可能になり、その結果、クライアントのデバイスおよび好みに合わせて調整された最終的な合成ビデオが得られる。
【００２６】
図１は、本発明の実施形態によるデータストリームをビデオ表示デバイスに送信するためのシステムの様々な構成要素を示す。たとえば図１は、通信インターフェースを介して多重化データストリームをビデオ表示デバイス１０３の表示スクリーン１０４上で表示されるべき少なくとも１つのビデオ表示デバイス１０３に送信する少なくとも１つのビデオサーバ１０２を示す。表示スクリーン１０４はビデオ表示デバイス１０３、または有線および／またはワイヤレス接続を介してビデオ表示デバイス１０３に接続された別個のデバイスの中に含まれてもよい。多重化データストリームは、少なくとも１つのメディアストリームを表してもよい。メディアストリームは、限定されないが、オンスクリーン表示（ＯＳＤ）のためのオーディオ／ビジュアル（Ａ／Ｖ）ストリームおよびテキスト／グラフィックストリームを含む任意の種類のメディアストリームであってもよい。メディアストリームは、ＭＰＥＧまたはＨＴＭＬなどの任意の数および種類のコーデックをカバーする（たとえば、本発明はコーデック中立である）。多重化データストリームの詳細は、以下でさらに説明する。
【００２７】
ビデオ表示デバイス１０３は、送信されたデータストリームを処理および表示することができる任意の種類のシステムを含んでもよい。たとえば、ビデオ表示デバイス１０３はテレビ１０３−１もしくはパーソナルコンピュータ１０３−３、または任意のそれらの組み合わせをたとえば含んでもよい。テレビ１０３−１は、任意の種類の従来型テレビセットであってもよい。またテレビ１０３−１は、たとえばケーブルボックス、衛星放送受信機またはゲーム機などの任意の種類のセットトップボックス１０３−２と組み合わせて使用されてもよい。パーソナルコンピュータ１０３−３は、プロセッサ、メモリ、および送信された多重化データストリームを表示するための表示スクリーンを持つ任意の種類のパーソナルコンピュータであってもよい。ビデオサーバ１０２は、ビデオデータの配信に専用のコンピュータベースデバイス（「ホスト」とも呼ばれる）である。
【００２８】
ビデオサーバ１０２は、たとえばワイヤレス／有線インターネット接続、無線送信（たとえば、放送または衛星）、またはケーブル接続などの任意の種類の通信インターフェースを介して、多重化データストリームを少なくとも１つのビデオ表示デバイス１０３に送信する。
【００２９】
本発明の実施形態によれば、すべてのデータストリームをビデオサーバ１０２で合成する代わりに、ビデオ表示デバイス１０３は、ビデオサーバ１０２で生成される合成命令サブストリームに従ってメディアストリームのうちの少なくとも１つを合成し、表示する。たとえば、所与の時点で、ビデオサーバ１０２からビデオ表示デバイス１０３に送信される多重化データストリームは、１つの多重記述子サブストリーム（記述子サブストリーム）と、ゼロ以上のメディアサブストリームと、ゼロまたは１つの合成命令サブストリームとを含む。記述子サブストリームは、常に多重化データストリームの中に存在する。しかしながら、所与の時点で、データストリームはさらに１つまたは複数のメディアサブストリームおよび／または合成命令サブストリームを含んでもよい。合成命令サブストリームは、１つまたは複数のメディアサブストリームの合成についての命令を含む。すなわち、合成命令サブストリームは、どのように１つまたは複数のメディアサブストリームを合成するのかについての命令のセットを含む。一般に、多重化データストリームは、以下でさらに説明するように、ビデオサーバ１０２が合成命令を変更しなければならない場合に合成命令サブストリームを含む。
【００３０】
記述子サブストリームは、多重化データストリームの中に現在存在する各種サブストリームの数、およびメディアストリームの場合には、各々のそのようなサブストリームのために使用される符号化などの多重化データストリームの現在のコンテンツを記述する。サポートされるメディア符号化は、最低でもＭＰＥＧおよびＨＴＭＬである。しかしながら、本発明の実施形態は任意の種類の符号化／復号化を包含する。
【００３１】
図２は、本発明の実施形態によるビデオ表示デバイス１０３を示す。たとえば、ビデオ表示デバイス１０３はデマルチプレクサ２０１と、コンポジタ２０３と、コントローラ２０２と、ユーザインターフェース２０４と、図２に示していない表示スクリーン１０４とを含む。ビデオ表示デバイス１０３はまた、たとえば送信された多重化データストリームを受信するためのチューナおよび／またはアンテナ、ビデオデータを復号するためのデコーダ、および復号されたビデオデータのフレームを保存するためのメモリ／バッファなどの当業者にはよく知られている他の構成要素を含む。ビデオ表示デバイス１０３の構成要素は、当業者の技能の範囲内にある仕方で、テレビ１０３−１、セットトップボックス１０３−２、および／またはパーソナルコンピュータ１０３−３の中で実装されてもよい。
【００３２】
図２を参照すると、ビデオ表示デバイス１０３は、チューナまたはレシーバアンテナ（図示せず）を介して多重化データストリームを受信する。上で示したように、所与の時点で、多重化データストリームは１つの記述子サブストリームと、ゼロ以上のメディアストリームと、ゼロまたは１つの合成命令サブストリームとを含む。デマルチプレクサ２０１は、記述子サブストリームに従って多重化データストリームをサブストリームに逆多重化する。記述子サブストリームは、たとえば、多重化データストリームの中に含まれたサブストリームの数および種類についての情報を含む。記述子サブストリームはまた、レシーバが多重化データストリームの中に含まれたメディアストリームを適切に復号できるようにするために必要なコーデック情報を含む。最初に、デマルチプレクサ２０１は、多重化データストリームの中に存在することがわかっている多重記述子を取り出す。次いで、デマルチプレクサ２０１は、多重化データストリームの中に含まれた他のコンテンツを見つけるために記述子を読み込む。デマルチプレクサ２０１は、多重化データストリームの残りの部分を逆多重化するために、この情報を使用する。たとえば、デマルチプレクサ２０１は、記述子サブストリームに基づいて、（ＡＶ１からＡＶＮへ、ＯＤＳ１からＯＳＤＮへ）メディアサブストリームを逆多重化する。図面ではメディアストリームをＯＳＤのためのＡ／Ｖストリームおよびテキスト／グラフィックストリームとして示しているが、本発明の実施形態はいかなる種類のメディアストリームもカバーする。たとえば、各メディアストリームは１つの符号化を有し、各々は合成命令に従って合成される。Ａ／ＶおよびＯＳＤの分類は、説明のためのものであるに過ぎない。デマルチプレクサ２０１はまた、合成命令サブストリームＩＮＳＴＲを、このサブストリームが多重化データストリームの中に存在する場合に、多重化データストリームから逆多重化する。図２を参照すると、サブストリームは（ゼロを含む）任意の数のメディアサブストリームを含む。図示していないが、ビデオ表示デバイス１０３は、ビデオ表示デバイス１０３のバッファメモリの中に保存され得るフレームを生成するために、選択されたメディアサブストリームを復号する。
【００３３】
次に、コントローラ２０３は、本明細書の中で後に説明するように、変更されてもよい合成命令サブストリームに従ってビデオ表示デバイス１０３の表示スクリーン１０４上に逆多重化メディアサブストリームを表示する。たとえば、多重化データ信号の中に存在するメディアサブストリームは、逆多重化された後、コンポジタ２０３で受信される。コントローラ２０２は、合成命令サブストリームに従ってメディアサブストリームを合成するために、コンポジタ２０３を制御する。合成命令は、メディアサブストリームの合成のために合成命令のセットを含む。合成は、たとえば、メディアサブストリームの表示サイズ、表示色、表示形状および表示位置に関連してもよい。しかしながら、合成命令は、メディアサブストリームの表示に関連する任意の種類の合成命令を含んでもよい。たとえば、合成命令は、多重化データストリームの中の少なくとも１バイトを含む事前定義された符号または構文であってもよい。たとえば、定義された符号（たとえば１、０１、１０１など）は、特定の種類の命令に関連するものとして、ビデオ表示デバイス１０３またはビデオサーバ１０２によって認識されてもよい。特定の種類の命令の例は、本明細書の中で後に論じる。
【００３４】
メディアサブストリームが合成命令に従ってコンポジタ２０３の中で合成された後、グラフィック表示サブシステム（図示せず）は、ビデオ表示デバイス１０３の表示スクリーン１０４上に合成表示信号を表示する。
【００３５】
さらに、ビデオ表示デバイス１０３は、たとえばコンピュータマウスまたはリモートコントローラなどの入力デバイスからユーザの入力を受信するように構成されたユーザインターフェース２０４を含む。さらに、ユーザは、ビデオ表示デバイス１０３自体の制御ボタンを押すことによって、ビデオ表示デバイス１０３に直接入力を与えてもよい。ビデオ表示デバイス１０３は、ユーザがメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更できるようにするメニューを表示してもよい。
【００３６】
ユーザからのユーザ信号に基づいて、ビデオサーバ１０２またはビデオ表示デバイス１０３は合成変更を実行してもよい。この機能は、本明細書の中で後に説明される。
【００３７】
図３は、本発明の実施形態によるビデオサーバ１０２を示す。ビデオサーバ１０２は、コントローラ３０２とマルチプレクサ３０１とを含む。ビデオサーバ１０２はまた、ビデオサーバの中でよく知られている他の構成要素を含む。コントローラ３０２は、どのサブストリームが多重化データ信号に結合されるためにマルチプレクサ３０１によって選択されるのかを制御する。たとえば、コントローラ３０２は、任意の数のメディアサブストリームを多重化データストリームに多重化するようにマルチプレクサ３０１に命じる。さらに、ビデオサーバ１０２は、任意の知られている符号化技法を使用してメディアサブストリームを符号化するためのエンコーダ（図示せず）を含んでもよい。
【００３８】
コントローラ３０２は、メディアサブストリームとともに多重化されるべき合成命令サブストリームＩＮＳＴＲおよび記述子サブストリームを生成する。たとえば、コントローラ３０２は、データストリームの設計者の入力に基づいて、合成命令サブストリームＩＮＳＴＲを生成する。先に示したように、合成命令サブストリームは、メディアサブストリームがビデオ表示デバイス１０３によってどのように合成されるべきかについての命令を含む。コントローラ３０２は、多重化データストリームの中に含まれるべき各種メディアサブストリームの数、および適用されるべき符号化の種類に基づいて記述子サブストリームを生成する。ビデオサーバ１０２は、通信インターフェースを介して、多重化データストリームをビデオ表示デバイス１０３に送信する。
【００３９】
さらに、ビデオサーバ１０２は多重化データストリームの中に複数のメディアストリームを含んでもよく、各サブストリームは同じビデオコンテンツに対応しても、対応していなくてもよい。本発明の一実施形態では、各メディアサブストリームはテレビプログラムの同じプライマリビューに対応してもよいが、異なるサイズの表示スクリーンのために異なる表示アスペクト比に関連する。異なる表示スクリーンは異なるアスペクト比を持つので、各ビデオ表示デバイス１０３はメディアサブストリームを表示スクリーンのサイズまでトリミングまたはストレッチしなければならない。しかしながら、望ましくないトリミングまたはストレッチを防ぐために、ビデオサーバ１０２は異なる表示アスペクト比に従った同じビデオデータを含む複数のメディアサブストリームを含んでもよく、ビデオ表示デバイス１０３は、合成命令サブストリームに基づいて、ビデオ表示デバイス１０３の表示スクリーン１０４に最も近い表示アスペクト比を持つメディアサブストリームを表示する。たとえば、コントローラ３０２は、ビデオ表示デバイス１０３に、ビデオ表示デバイス１０３の表示スクリーン１０４の最も近い表示アスペクト比を持つメディアサブストリームを選択するように指示する命令のセットを含むために、合成命令サブストリームを生成する。
【００４０】
図４は、本発明の実施形態による多重化データストリームを示す。Ａの時間で、多重化データストリームは、要求ごとに常に存在するＭＰＥＧメディアサブストリーム２と記述子サブストリーム１つを含む。ＭＰＥＧメディアサブストリーム２は、野球の試合のオーディオおよびビデオコンテンツに対応すると仮定する。Ｂの時間で、試合の現在の状態（現在のスコア、現在のボールおよびストライク数など）を含むオンスクリーン表示が最初に表示される（たとえば、テキスト／グラフィックサブストリーム３およびテキスト／グラフィックサブストリーム４）。時間Ｂで、多重化データストリームは合成命令サブストリーム０と、多重記述子１と、ＭＥＰＧメディアサブストリーム２と、ＨＴＭＬサブストリーム３と、ＨＴＭＬサブストリーム４とを含む。
【００４１】
合成命令サブストリーム０は、ＨＴＭＬサブストリーム３およびＨＴＭＬサブストリーム４を表示スクリーン１０４の表示エリアの中にオンスクリーン表示として表示する方法についての命令を含んでもよい。たとえば、合成命令サブストリームは以下を指定する命令を含んでもよい：「ＨＴＭＬサブストリーム３を左上隅に合成し、ＨＴＭＬサブストリーム４を右上隅に合成し、そこでそれを合成することをさらなる通知があるまで続けなさい」。上で識別された合成命令、および説明した実施形態によって包含される任意の他の合成命令は、少なくとも１バイトを含む少なくとも１つの事前定義された符号によって表されてもよい。
【００４２】
時間Ｃで、ＨＴＭＬテキスト／グラフィックサブストリーム３および第２のＨＴＭＬテキスト／グラフィックサブストリーム４に対応するオンスクリーン表示は、試合のスコアの変化により更新されなければならないと仮定する。この時に、多重化データストリームは合成命令サブストリーム０と、多重記述子１と、ＭＰＥＧメディアサブストリーム２と、更新された情報を含むＨＴＭＬメディアサブストリーム３とを含む。時間Ｃで合成命令サブストリームは、以下の合成命令を含んでもよい：「前のＨＴＭＬメディアサブストリーム４を合成から削除し、新しいサブストリーム３を右上隅に合成し、そこでそれを合成することをさらなる通知があるまで続けなさい」。
【００４３】
図５は、本発明の実施形態による複数のメディアサブストリームを有する多重化データストリームを示す。たとえば、１つのＭＰＥＧサブストリームに関連した画像データを、別のＭＰＥＧサブストリームのピクチャインピクチャとして表示したいと思うかもしれない。これを達成するために、時間Ｂで、ビデオサーバ１０２は以下の多重化データストリームを送信する：合成命令サブストリーム０、記述子サブストリーム１、ＭＰＥＧメディアサブストリーム２、および別のＭＰＥＧメディアサブストリーム３。合成命令サブストリームは、ＭＰＥＧメディアサブストリーム２とともにＭＰＥＧメディアサブストリーム３を合成する方法についての命令を含む。たとえば、合成命令サブストリームは以下の合成命令を含んでもよい：「ストリーム３を右下隅に合成しなさい」。時間Ｃで、合成命令サブストリームは、ＭＰＥＧサブストリーム３の合成を中止してもよい。
【００４４】
先に示したように、ビデオ表示デバイス１０３は、ユーザがメディアサブストリームの合成を合成命令サブストリームによって指示される合成と異なる合成に変更できるようにするメニューを表示してもよい。たとえば、ユーザは入力デバイスを介して、またはビデオ表示デバイス１０３自体の上で自分の選択を与え、それはユーザインターフェース２０４によって受信される。このユーザコマンドは、コントローラ２０２へ転送される。
【００４５】
ユーザからのユーザコマンドに基づいて、ビデオサーバ１０２またはビデオ表示デバイス１０３は合成変更を実行してもよい。ビデオサーバ１０２が変更を実行する場合、それはサーバ利用視聴者変更と呼ばれてもよい。ビデオ表示デバイス１０３が変更を実行する場合、それはクライアント利用視聴者変更と呼ばれてもよい。
【００４６】
図２を参照すると、クライアント利用視聴者変更で、コントローラ２０２は、ユーザの好みに従ってメディアサブストリームを合成するようにコンポジタ２０３を制御する。たとえば、ユーザが特定のメディアサブストリームを表示しないことを指示していた場合、コンポジタ２０３はそのメディアサブストリームを最終的な表示信号に合成しない。さらに、コントローラ２０２は、ユーザの命令コマンドに基づいて、メディアストリームを異なる表示位置、表示形状、表示サイズ、表示色などで合成するようにコンポジタ２０３を制御してもよい。
【００４７】
図６は、本発明の実施形態によるデータストリームのクライアント利用変更の例を示す。図６を参照すると、時間Ａで、多重化データストリームは記述子サブストリーム１と１つのＭＰＥＧメディアサブストリーム２とを含む。時間Ｂで、多重化データストリームは、記述子サブストリーム１と、ＭＰＥＧメディアサブストリーム２と、合成命令サブストリーム０と、２つのＨＴＭＬサブストリーム３および４とを含む。合成命令サブストリーム０は、２つのＨＴＭＬサブストリーム３および４のための表示位置についての命令を含んでもよい。時間Ｃで、ユーザは入力デバイスを使用して表示メニューをプルダウンし、「ＭＰＥＧビデオストリーム２のみを表示する」または「ＯＳＤをオフにする」を選択する。再び図２を参照すると、コントローラ２０２は次に、すべての他のメディアストリームを最終的な表示信号に合成することを中止するようにコンポジタ２０３に指示する。しかしながら、ビデオサーバ１０２は多重化データストリームの中のこれらのデータストリームを送信し続ける。
【００４８】
ネットワーク帯域幅を節約するために、コントローラ２０２は、ビデオサーバ１０２がどのサブストリームを送信すべきで、どのサブストリームを送信すべきでないのかを示すビデオサーバ１０２への命令信号をユーザ制御チャネル上で送信してもよい。ユーザ制御チャネルは、視聴者の入力をビデオサーバ１０２へ運ぶために使用されるものと同じアップストリーム制御チャネルであってもよい。
【００４９】
サーバ利用変更で、ビデオサーバ１０２はユーザが開始する変更を実行する。たとえば、コントローラ２０２がメディアサブストリームの合成を変更するようにコンポジタ２０３に命じる代わりに、コントローラ２０２は、ユーザ制御チャネル上でユーザの変更を含む命令信号をビデオサーバ１０２に送信する。次いで、ビデオサーバ１０２はメディアサブストリームの合成に対して適切な変更を行う。たとえば、ビデオサーバ１０２はユーザによって指示される、さらなるメディアサブストリームを追加してもよい。またビデオサーバ１０２は、ユーザによって指示される任意の種類のメディアストリームを削除してもよい。またビデオサーバ１０２は、任意のメディアサブストリームの表示位置、表示形状、表示サイズ、表示色などを変更してもよい。
【００５０】
図７は、本発明の実施形態によるデータストリームのサーバ利用変更の例を示す。図７では、時間Ｃで、ユーザは、入力デバイスを使用してサーバが提供するメニューをプルダウンし、「ＨＴＭＬサブストリーム３および４を表示しない」を選択する。それに応答して、ビデオ表示デバイス１０３は、ユーザ制御チャネルを介して命令信号をビデオサーバ１０２に送信する。図３を参照すると、コントローラ３０１は、「メディアサブストリーム３および４の合成を中止する」などのテキストサブストリーム３および４を表示しない命令のセットを含む合成命令サブストリームを生成する。図７で、合成命令は時間Ｄにクライアントに到着する。さらに、ビデオサーバ１０２はメディアサブストリーム３および４の送信を中止してもよい。その結果、ビデオサーバ１０２は多重化データストリームの中でこのメディアサブストリームを送信しない。
【００５１】
本発明の例示的実施形態の変形は、本発明の例示的実施形態の趣旨および範囲からの逸脱とみなされるべきではなく、当業者には明らかなように、すべてのそのような変形は本発明の範囲に含まれるものとする。
【図１】
2013543700.tif 000003
【図２】
2013543700.tif 000004
【図３】
2013543700.tif 000005
【図４】
2013543700.tif 000006
【図５】
2013543700.tif 000007
【図６】
2013543700.tif 000008
【図７】
2013543700.tif 000009
2013543700.tif 000010
2013543700.tif 000011
2013543700.tif 000012
2013543700.tif 000013
2013543700.tif 000014
2013543700.tif 000015
2013543700.tif 000016
2013543700.tif 000017
2013543700.tif 000018
2013543700.tif 000019
2013543700.tif 000020
2013543700.tif 000021
【手続補正書】
【提出日】平成25年9月11日(2013.9.11)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2013543700.tif 000022
【図２】
2013543700.tif 000023
【図３】
2013543700.tif 000024
【図４】
2013543700.tif 000025
【図５】
2013543700.tif 000026
【国際調査報告】
2013543700.tif 000027
2013543700.tif 000028