(57)【要約】  サーバ又はプロキシサーバ（200）が、ストリーミング映像データを伝送する。所定の映像セグメントのデータストリーム（210、220）が伝送されるリンクの平均若しくは最小の利用可能帯域、又はデータストリームが伝送される受信ホスト（240、250、260）の性能のうちのいずれかについて識別が行われる。選択された範囲が識別された平均の最小利用可能帯域を含むような、複数の所定の範囲の帯域のうちの対応する１つ、又は識別された受信ホスト（240、250、260）の性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式（210、220）のうちの対応する１つのいずれかについて選択が行われる。データストリームは、選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、符号化される。符号化されたデータストリームはリンク上で受信側に伝送される。
2005515714.tif 000002
【特許請求の範囲】
【請求項１】
映像データを伝送するための方法であって、
(a)(1)所定の映像セグメントのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域と、
(2)前記データストリームが伝送される受信ホストの性能と
を有するグループのうちの１つを識別するステップと、
(b)(1)選択された範囲が前記識別された平均又は最小の利用可能帯域を含むような、複数の所定の範囲の帯域のうちの１つと、
(2)前記識別された前記受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式のうちの１つと
を有するグループのうちの対応する１つを選択するステップと、
(c)選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、前記データストリームを符号化するステップと、
(d)前記受信ホストに前記リンク上で前記符号化されたデータストリームを伝送するステップと
を有する方法。
【請求項２】
請求項１に記載の方法であって、
ステップ(c)がステップ(a)に先行し、
ステップ(c)が、前記複数の所定の範囲の帯域のうちのそれぞれ異なる１つにそれぞれ対応する複数のデータストリームを符号化することを有する方法。
【請求項３】
請求項２に記載の方法であって、
スケーラブル符号化技術が使用され、
前記複数のデータストリームのうちの２つが、共通の下位レイヤと、それぞれ異なる上位レイヤとを有する方法。
【請求項４】
請求項３に記載の方法であって、
前記２つのデータストリームのうちの第１のものが、特定のビットレートの範囲に対して対象を絞る周波数重み付け、選択的拡張、又はその他の品質改善ツールを備えた上位レイヤを有し、
前記２つのデータストリームのうちの第２のものが、周波数重み付けのない上位レイヤを有する方法。
【請求項５】
請求項１に記載の方法であって、
ステップ(a)がステップ(c)に先行し、
ステップ(a)と(b)と(c)が、前記映像セグメントの要求に応じて、リアルタイム又はほぼリアルタイムで実行される方法。
【請求項６】
請求項１に記載の方法であって、
ステップ(a)がステップ(c)に先行し、
ステップ(a)と(b)と(c)と(d)が、同じ映像セグメントについて第１と第２の繰り返しで実行され、
それぞれ異なる平均若しくは最小の利用可能帯域又は受信ホストの性能が、前記第１と第２の繰り返しのそれぞれの間に、ステップ(a)で識別され、
それぞれ異なる符号化データストリームが、前記第１と第２の繰り返しのそれぞれの間に、ステップ(c)で同じ映像セグメントについて提供される方法。
【請求項７】
請求項１に記載の方法であって、
前記リンクが確立された際に、ステップ(a)が、前記リンクの平均若しくは最小の利用可能帯域の識別又は受信ホストの性能の識別を、前記受信ホストから受信することを有する方法。
【請求項８】
請求項１に記載の方法であって、
前記識別された性能が、動き補償を実行する機能である方法。
【請求項９】
請求項１に記載の方法であって、
ステップ(a)が、前記データストリームのうちの１つが伝送されるリンクの平均又は最小の利用可能帯域を判断することを有し、
ステップ(b)が、前記映像データが伝送される前記リンクのデータレートに適応され得る前記複数の範囲の中から、最大のデータレートを有する前記複数の範囲のうちの１つを選択することを有し、
ステップ(c)が、細粒スケーラビリティ技術を使用して複数のデータストリームを符号化することを有し、前記複数のデータストリームのそれぞれが、前記データストリームが伝送されるそれぞれ異なる範囲のデータレートに対応する方法。
【請求項１０】
映像データを伝送するためのシステムであって、
(a)(1)所定の映像セグメントのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域と、
(2)前記データストリームが伝送される受信ホストの性能と
を有するグループのうちの１つを識別するための手段と、
(b)(1)選択された範囲が前記識別された帯域を含むような、複数の所定の範囲の帯域のうちの１つと、
(2)前記識別された前記受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式のうちの１つと
を有するグループのうちの対応する１つを選択するための手段と、
(c)選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、前記データストリームを符号化するための手段と、
(d)前記受信ホストに前記リンク上で前記符号化されたデータストリームを伝送するための手段と
を有するシステム。
【請求項１１】
コンピュータプログラムコードを有する機械読み取り可能媒体であって、
前記コンピュータプログラムコードがプロセッサにより実行されると、前記プロセッサが映像データを伝送するために、
(a)(1)所定の映像セグメントのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域と、
(2)前記データストリームが伝送される受信ホストの性能と
を有するグループのうちの１つを識別するステップと、
(b)(1)選択された範囲が前記識別された帯域を含むような、複数の所定の範囲の帯域のうちの１つと、
(2)前記識別された前記受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式のうちの１つと
を有するグループのうちの対応する１つを選択するステップと、
(c)選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、前記データストリームを符号化するステップと、
(d)前記受信ホストに前記リンク上で前記符号化されたデータストリームを伝送するステップと
を有する方法を実行する機械読み取り可能媒体。
【請求項１２】
コンピュータプログラムコードを表すデータで符号化された信号であって、
前記コンピュータプログラムコードがプロセッサにより実行されると、前記プロセッサが映像データを伝送するために、
(a)(1)所定の映像セグメントのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域と、
(2)前記データストリームが伝送される受信ホストの性能と
を有するグループのうちの１つを識別するステップと、
(b)(1)選択された範囲が前記識別された帯域を含むような、複数の所定の範囲の帯域のうちの１つと、
(2)前記識別された前記受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式のうちの１つと
を有するグループのうちの対応する１つを選択するステップと、
(c)選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、前記データストリームを符号化するステップと、
(d)前記受信ホストに前記リンク上で前記符号化されたデータストリームを伝送するステップと
を有する方法を実行する信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して映像符号化に関するものであり、特に映像ストリーミング用のスケーラブル映像符号化方法に関するものである。
【背景技術】
【０００２】
インターネットプロトコル（IP）ネットワーク上の映像ストリーミングは、広範囲のマルチメディアアプリケーションを可能にしてきた。インターネット映像ストリーミングは、インターネット上でサービス品質（QoS）の欠如を補いつつ、連続的なマルチメディアコンテンツのリアルタイムの配信及び提示を提供する。IPネットワーク上の帯域とその他の性能パラメータ（例えばパケット損失率）の変化と予測不能のため、一般的に多くの提案されたストリーミング方法は、ある形式の階層化（又はスケーラブル）映像符号化方法に基づく。
【０００３】
インターネット上の映像のマルチキャストは、２１世紀の多くのマルチメディアアプリケーションにとって重要な技術分野になると期待される。そのアプリケーションには、世界中の多数のインターネットユーザによって主要なテレビイベントを視聴することが含まれる。このレベルの拡散を達成するために、マルチキャストのインターネット映像は、高品質のスケーラブル映像符号化アルゴリズムの開発を必要とする。
【０００４】
いくつかの映像スケーラビリティ方法がMPEG-2やMPEG-4やH.263のような映像圧縮規格に採用されてきた。時間的、空間的及び高品質（SNR）スケーラビリティ形式が前記規格に規定されている。すべての前記形式のスケーラブル映像は、下位レイヤ（BL）と１つ以上の上位レイヤ（EL）とを有する。スケーラブル映像ストリームのBL部分は、一般的にそのストリームをデコードするために必要な最小量のデータを表す。ストリームのEL部分は、更なる情報を表し、それ故に受信機でデコードされる際に映像信号表示を拡張する。
【０００５】
細粒スケーラビリティ（FGS）は、ストリーミングアプリケーションのためのMPEG-4規格により最近採用された新しい映像圧縮フレームワークである。FGSは、一般的にIPベースのネットワーク、特にインターネットを特徴付ける広範囲の帯域変化の場合に対応可能である。この形式のスケーラビリティで符号化された映像は、進行的にデコードされることができる。すなわち、デコーダは非常に小さい量のデータを受信した後に、デコードと表示を開始することができる。デコーダが更にデータを受信すると、完全な情報が受信され、デコードされ、表示されるまで、デコードされる映像の品質が次第に拡張される。先導する国際規格の中で、進行的映像符号化は、JPEGと静止画像、及びMPEG-4映像のテキスト符号化ツールに対応する１つの様式である。
【０００６】
インターネットと新しい無線及び移動ネットワークとの収束は、マルチメディア通信における全く新しいレベルの異質性を作っている。この更なるレベルの異質性は、符号化と伝送の双方の目的でスケーラブル適応的映像方法の必要性を強めている。しかし、一般的にスケーラビリティのレベルとスケーラブル映像ストリームの品質との間に、本質的なトレードオフが存在する。換言すると、帯域変化が大きいほど、望ましい帯域の範囲に対応するために必要なスケーラブルストリームの全体的な映像品質が低下する。
【０００７】
図１は、例示的な先行技術のスケーラブル符号化システムのブロック図である。ストリーミングサーバ100は、フレーム内符号化（I）パケット108と、予測符号化（P）パケットと、双方向符号化（B）パケット（図示なし）とを有するデータストリームを符号化し、下位レイヤ101と複数の上位チャネル103-107を有する上位レイヤ102を形成する。この先行技術のシステム100において、コンテンツ（例えば映像セグメント）は、スケーラブル符号化方法を使用して多数のビットレートについて一度符号化される。次に、一式の個々のマルチキャストチャネル101、103-107にBL101とEL102を分割することにより、このスケーラブルコンテンツが多様な帯域又は性能を有する一式の受信機120、130、140にマルチキャストされ得る。
【０００８】
図１に示されている通り、多様なクライアント120、130、140は、異なる数のチャネルを許容する。クライアント120は下位レイヤ101と最初の３つのEL103-105とを受信する。クライアント130は下位レイヤ101と全ての５つのEL103-107とを受信する。１つのみのスケーラブルストリームでコンテンツ108、109を符号化することにより、FGSの動き補償（MC）の欠如のため、非スケーラブルコーデック性能とFGSとの間で高い符号化効率の不利益が生じる。
【０００９】
その他、FGSの品質を改善するために、MC-FGS構成や、周波数重み付けや、選択的拡張や、それと同様なもののような、異なる方法が使用され得る。しかし、これら全ての技術は、選択されたビットレートの範囲のみにおける品質に利益がある。
【００１０】
更に、特定のセットの端末が特定の性能（例えば強力なMC機能）を有する場合、先行技術は、ストリーミングサーバ100がその性能を欠く受信ホストによってデコードされ得るデータストリームを配信しなければならないため、ストリーミングサーバ100が前記受信側の性能を利用することを可能にしない。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ストリーミングデータ伝送を提供するための改善された方法が望まれる。
【発明を解決するための手段】
【００１２】
本発明は、映像データを伝送するための方法とシステムである。(1)所定の映像セグメントのデータストリームが伝送されるリンクの平均若しくは最小の利用可能帯域、又は(2)データストリームが伝送される受信ホストの性能のうちのいずれかについて識別が行われる。(1)選択された範囲が識別された平均の最小利用可能帯域を含むような、複数の所定の範囲の帯域のうちの対応する１つ、又は(2)識別された受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるような、複数の異なるデータストリーム形式のうちの対応する１つのいずれかについて選択が行われる。データストリームは、選択された又は選択される帯域の範囲又はデータストリームの形式を利用するように、符号化される。符号化されたデータストリームはリンク上で受信側に伝送される。
【発明を実施するための最良の形態】
【００１３】
本発明の例示的な実施例において、伝送／符号化効率を改善し、受信機の複雑性の要件の変化を制限するために、スケーラビリティの範囲が制限される。
【００１４】
図２は、本発明による映像データを伝送するためのシステムのブロック図である。前記システムは、同じコンテンツ（例えば映像セグメント）の複数のストリーム210、220を符号化して保存してもよいストリーミングサーバ200を有し、異なるリンク帯域又は異なる受信ホストグループの性能を有する異なる受信グループを対象にする。サーバ200は、性能又はサーバに受信側を接続するリンクの利用可能な“平均”ビットレートに基づいて、どのデータストリーム（コンテンツの表示）を一式の受信側にマルチキャストするかを決定する。
【００１５】
サーバ200は、同じコンテンツ（例えば映像セグメント）を表す２つ以上の異なるデータストリームを符号化することができる。２つのみのデータストリーム210と220が示されているが、３つ以上のストリームが使用されてもよい。
【００１６】
サーバ200について、例えば多様なビットレートの“範囲”（好ましくは非常に広い範囲ではない）を対象とした一式のFGS、進行的FGS（P-FGS）又は動画圧縮FGS（MC-FGS）ストリームは、事前に符号化されてその後の使用のために保存され、又は要求に応じて個々にリアルタイムに符号化される。また、多様な品質改善ツールが使用され得る。次に、クライアント240、250又は260が接続を設定することを要求すると、クライアントは、その性能と平均の利用可能帯域の双方についてサーバ200に通知する。次に、サーバ200がどの“帯域の範囲”にクライアント240、250、260が置かれているか（又はどの性能をクライアントが有しているか）を決定し、それぞれのクライアント又はクライアントグループについて一式のチャネルを選択する。そして、映像データがこの帯域の範囲（又はクライアントの性能）に対象を絞られる。
【００１７】
前記システムはマルチキャスト環境において特に有用であり、ユニキャストモード（単一の受信側に最善に供給するためにデータストリームの調整を可能にする）とブロードキャストモード（全ての受信グループについて単一のデータストリームを符号化することにより、ストリーミングサーバの最も効率の良い符号化を可能にする）との間のバランスをとる。
【００１８】
先行技術のシステムにおいて、高ビットレートの範囲で１つのみのスケーラブル符号化されたストリームを使用する不利点は、品質の不利なギャップを生じることである。有利には、システム200は、受信グループ毎に端末の性能又は利用可能な“平均”ビットレートを考慮に入れたビットストリームを多様な受信機240、250、260に送信することができる。システム200は、前記パラメータにストリームの対象を絞る。この方法は、どの映像データストリームが受信側のそれぞれのグループにアクセス可能な複数のチャネルを通じて伝送され、割り当てられるべきであるかを決めるときに、クライアント／受信機の“平均”の利用可能帯域を考慮に入れる。前記例示的な方法は、受信機側でのより高い品質とより効率の良いリソースの使用を結果として生じる。
【００１９】
例えば、図２に示す通り、クライアント240と260が大きい平均利用可能帯域を有する受信グループに属し、クライアント250が小さい平均利用可能帯域を有する受信グループに属することを仮定する。低ビットレートを有する受信機のセット（例えば250）について、４つのチャネルが送信され、１つのチャネル211は下位レイヤのデータ228を有し、次のチャネル223がFGSデータの最上位ビット（MSG）を有し、その他の２つのチャネル224と225がより下位のFGS上位レイヤを有する。６個のチャネルが高ビットレートを有する他の受信機のセット240、260に送信され、下位レイヤのデータを有する１つのチャネル218を有し、１つのレイヤ213はFGSのELデータのMSBを有し、他の４つのチャネル214-217はより下位のFGSのELデータを有する。
【００２０】
映像セグメントについて単一のデータストリームのみが符号化される先行技術のシステムと異なり、システム200において、双方のデータストリームが同じコンテンツ（例えば映像セグメント）を表すとしても、データストリーム210の個々のレイヤ211、213、214、215は、データストリーム220の対応するレイヤ221、223、224、225と同じである必要がない。本発明のいくつかの実施例において、多様なストリームは全て、同じBLを共有するが、それぞれ異なるELを有する。他の実施例において、ストリームはそれぞれ異なるBLを有してもよい。異なるBLを有する例はMC-FGSの場合であり、その場合、ELの一部がBLの予測のためのストリームのうちの１つのBLに含まれる。この場合、BLは２つのストリームで異なる。例えば、データストリーム210は周波数重み付けなしに符号化されてもよく、データストリーム220は周波数重み付けで符号化されてもよく、又はその逆も同様である。同様に、データストリーム220は、選択的拡張又は特定のビットレートの範囲に対象を絞ったその他の品質改善ツールで符号化されてもよい。
【００２１】
図２に示されているもの以外に、多くの他の変形形態が可能であり、当業者に容易に認識され得る。他の例において、低データレートのストリーム220は２つのチャネルを有し、１つは下位レイヤのデータを有し、他方は周波数重み付けを備えたFGSデータのMSBを有する。高データレートのストリーム210は４つのチャネルを有し、１つは下位レイヤのデータを有し、次のレイヤは（周波数重み付けのない）FGSのELデータのMSBを有し、その他の２つのチャネルはより下位のFGSのELデータを有する。これらは単なる例であり、限定するものではない。
【００２２】
マルチキャストグループ（MG）の如何なる所定の受信側について、データストリームが何であるべきかを決定することが、受信側の組み合わせに基づく方法論に従う。例えば、MGを聴取する1000個の装置が存在し、その10%が100kbpsくらい低い帯域を有することを仮定する。残りのその90%は300kbpsと1.0Mbpsとの間の帯域を有する。MC-FGSストリームは第１のデータストリーム（低データレートのユーザ）について100kbpsのBLで使用されるべきであり、第２のデータストリーム（高データレートのユーザ）について300kbpsの拡張されたBLが使用されるべきである。他の例において、30%以上の装置が300kbpsより小さい帯域を有する場合、100kbpsのBLでFGSストリームを伝送することがより適切である。従って、アルゴリズムは多様なスケーラブルストリームを探し、前記ストリームの複雑性又は効率性に基づいてどれをストリームするかを決定するべきである。
【００２３】
システム200は、１つのみのストリームが全ての受信機に送信される先行技術のシステムより多くの帯域を使用するが、システム200は、非スケーラブルに基づくストリーミング環境（例えばユニキャスト伝送）における各データストリームの個々の調整の場合より小さい帯域を使用する。従って、システム200は、ネットワークを通じた帯域の使用と、受信機240、250、260で達成される品質との間の良い妥協案を提供する。
【００２４】
図３と４は、４つのステップからなるシステム200を使用するための２つの例示的な方法を示したものである。前記４つのステップは、図３と４においてそれぞれ異なる順序で実行される。１つのステップは、リンクの帯域又は受信ホストの性能を識別することを有する。帯域の場合、所定の映像セグメントのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域が識別される。その他に、データストリームが送信される受信ホストの性能が識別されてもよい。
【００２５】
その他のステップは、帯域の範囲又はデータストリーム形式のいずれかを選択することを有する。帯域の範囲は、選択された範囲が識別された平均又は最小の利用可能帯域を含むように、帯域の複数の所定の範囲のうちの１つであってもよい。データストリーム形式は、識別された受信ホストの性能が選択されたデータストリーム形式のデータを処理するために使用されるように、複数の異なるデータストリーム形式のうちの１つであってもよい。
【００２６】
その他のステップは、選択された又は選択される帯域の範囲又はデータストリームの形式を利用する方法でデータストリームを符号化することを有する。符号化ステップが選択ステップに先行する場合、以前に符号化されたデータストリームの同じグループから選択が行われる。
【００２７】
残りのステップは、受信側にリンク上で符号化されたデータストリームを伝送することを有する。
【００２８】
図３は、符号化ステップが選択ステップに先行する第１の例示的な方法を示したものである。
【００２９】
ステップ300において、サーバ200は複数のデータストリームを符号化する。複数のデータストリームは、帯域の範囲のそれぞれの異なる組み合わせ及び／又は一式の受信側の性能にそれぞれ対応する。
【００３０】
ステップ302において、複数のデータストリームがサーバ200内に保存される。
【００３１】
ステップ304において、ストリーミングセッションを開始するための要求が、映像データの受信機又は受信機のユーザグループから受信される。
【００３２】
ステップ306において、受信機又は受信機のユーザグループが、最小若しくは平均の利用可能帯域及び／又は受信機の特定の性能を識別する。このことは、例えばどのストリームが送信側で利用可能であるか（すなわち受信機でどのオプションが利用可能であるか）に関する、受信機と送信機との間の通信を含む。この通信／交渉は、RTSP又はそれと同様のプロトコルを通じて行われ得る。その後、受信機が特定の（一式の）スケーラブル映像トラックを受け入れることができる。
【００３３】
ステップ304と306は、最初にステップ300と302が実行される前又は後に開始されてもよい。好ましくは、ステップ300と302が最初に実行される。いずれにしても、図３の実施例において、ステップ306（性能と帯域の識別）がステップ308の前に実行される。
【００３４】
ステップ308において、サーバは特定のMGに伝送される適切なストリームを選択する。その選択は、簡単な基準の適用に減少され得る。例えば、対象の帯域の範囲でデータストリームが異なる場合、ユーザ（又はユーザグループ）のリンクのデータレートを超えない更に大きい帯域の範囲を有するデータストリームが選択される。対象の帯域の範囲と性能の双方でデータストリームが異なる場合、双方の基準が適用される。
【００３５】
ステップ310において、ユーザ又はユーザグループについて最適なスケーラブル映像ストリーム（すなわち、受信側又は受信グループの帯域及び／又は性能を最大限に利用した利用可能なストリーム）がユーザにストリーミングされる。
【００３６】
最初にステップ300-310が実行された後に、更なる受信側にデータをストリーミングする場合、ステップ304-310が繰り返される。新しいデータストリームが追加されない限り、ステップ300と302を繰り返す必要はない。
【００３７】
従って、図３の方法において、同じ映像セグメントを表す多様なデータストリームが事前に符号化され得る。所定のMGの帯域又は性能の識別により、そのMGへの即座のストリーミングについて適切なデータストリームが利用可能になる。受信機は、特定のスケーラブルストリームの要求に基づくMGにグループ化され得る。
【００３８】
図３の方法の詳細（非限定的な例）は、細粒スケーラビリティ技術を使用して複数のデータストリームを符号化し、それぞれの複数のデータストリームが、データストリームが伝送されるデータレートのそれぞれ異なる範囲に対応し、１つのデータストリームが伝送されるリンクの平均又は最小の利用可能帯域を判断し、映像データが伝送されるリンクのデータレートにより適応され得る複数の範囲の全ての中から最も大きいデータレートを有する複数の範囲のうちの１つを選択し、選択された範囲に対応するデータストリームをストリーミングすることを有する。
【００３９】
図４は、本発明による第２の例示的な方法のフローチャートである。図４の方法において、識別ステップが符号化ステップに先行する。帯域又は性能を識別するステップと、帯域の範囲又はデータストリーム形式を選択するステップと、帯域の範囲又はデータストリームの形式を利用したデータストリームを符号化するステップとは、映像セグメントの要求に応じてリアルタイム又はほぼリアルタイムで実行される。
【００４０】
図４の方法を使用して、識別と選択と符号化のステップは、第１と第２の繰り返しのそれぞれの間に識別されたそれぞれ異なる平均若しくは最小の利用可能帯域又は受信ホストの性能で、同じ映像セグメントについて第１と第２の繰り返しで実行され得る。それぞれ異なる符号化データストリームが、同じ映像セグメントについて第１と第２の繰り返しのそれぞれの間に提供される。従って、個々の受信側又は受信グループに調整される２つの異なるスケーラブルデータストリームを符号化することが同様に可能である。
【００４１】
ステップ400において、受信機のユーザ又は受信機のグループがセッションを要求する。
【００４２】
ステップ402において、リンクが確立されると、サーバ200（又はプロキシサーバ）は、リンクの平均若しくは最小の利用可能帯域の識別又は受信ホストの性能の識別を、受信ホストから受信する。
【００４３】
ステップ404において、そのユーザ又はユーザグループの適切な帯域及び／又は性能（すなわち、受信側又は受信グループの帯域及び／又は性能を最大限に利用した限られた数の所定の帯域／性能の組み合わせのうちの１つ）が選択される。
【００４４】
ステップ406において、サーバ200は、受信側の選択された帯域及び／又は性能のためにデータストリームを符号化する。
【００４５】
ステップ408において、符号化されたデータストリームがユーザ又はユーザグループに伝送される。ステップ400から408が繰り返される。それ毎に、異なる組み合わせの帯域及び／又は性能が、限られた数の帯域及び／又は性能を有する所定の一式から選択されてもよい。
【００４６】
図３と４において、性能（例えば特定のQoSレベルに支払うことを望む金額）又は経験的に得られた帯域（これはチャネル評価機構とRTCPレポートとそれと同様のものにより判断され得る）に基づいて、帯域が受信機により指示される。
【００４７】
以下の例は、全てが同じ映像セグメントを表す３つの異なるデータストリーム（QCIFとCIFとSD）の場合である。
【００４８】
quarter  common  interchange  format（QCIF）解像度画像（すなわち176×144ピクセル）の場合、
10kbps  FGS
30kbps  FGS
10+30MCFGS
common  interchange  format（CIF）解像度画像（すなわち352×288ピクセル）の場合、
100kbps  FGS
300kbps  FGS
100+300MCFGS
Standard  Definition（SD）解像度画像（すなわち720×480ピクセル）の場合、
1Mbps  FGS
3Mbps  FGS
5Mbps  FGS
前述の例において、３つのデータストリームは、それぞれ異なるBLとそれぞれ異なるELとを有する。しかし、全ての場合についてBLが同じである周波数重み付けについてのもののような例が設計され得る。
【００４９】
図５は、複雑性と効率性との間のトレードオフがどのようにFGSデータストリームのデータストリーム形式の選択に影響を与えるかを示した図である。その方法の適用の例は以下の通りである。MGを聴取する1000個の装置が存在し、その90%が300kbpsと1Mbpsとの間の帯域を有することを仮定する。残りは100kbpsほど小さい帯域を有する。MC-FGSストリームは、100kbpsのBLと300kbpsの拡張されたBLで使用されるべきである。拡張された下位レベルは、通常のBL情報と、１つ以上のELから得られた追加情報とを有する。その他に、30%以上の装置が300kbpsより小さい帯域を有する場合、100kbpsのBLでFGSストリームを伝送することがより適切である。従って、帯域に基づいてFGSとMC-FGSの構成の間を切り替えること（すなわちFGSストリーム又はMC-FGSストリームのいずれかを選択すること）が企図される。
【００５０】
従って、アルゴリズムは多様なスケーラブルストリームを探し、前記ストリームの複雑性又は効率性に基づいてどれをストリームするかを決定するべきである。
【００５１】
クライアントに利用可能な帯域が動的に変化する場合、任意的に、どのデータストリームが特定の受信機に送信されるかについての決定がセッション内で“再実行”され得る。このことは、そのクライアントに異なるストリームを送信することを決定することによって、例えば切り替えによって達成されることがある。その他に、そのクライアントは、より類似した帯域／性能の特性を備えた異なるMGに接続されてもよい。
【００５２】
サーバ200は、CPUとメモリとコプロセッサ（動き補償、フレームレートのアップコンバータ、後処理、及びそれと同様のもの）とを含むがそれに限定されない、多様な異なる受信機の性能に最適化されたストリームを符号化してもよい。どのストリームを所定のマルチキャストグループ（MG）に送信するかを決定する際に、同じ性能が考慮される。従って、全体のビットレート範囲を通じてFGS品質を改善することができることがある。
【００５３】
例示的なシステム200はインターネット上でデータストリームを伝送するが、前記方法はまた、無線リンクのためのスケーラブルメディアストリーミングに有利である。
【００５４】
前述の例はFGSを有するが、本発明は、ウェーブレット（wavelet）に基づくスケーラブル映像符号化（例えば3D  SPIHT（Set  Partitioning  Into  Hierarchical  Trees）及びそれと同様のもの）や、MPEG4とそれと同様のものに基づくハイブリッド時間的SNR空間的スケーラビリティ技術のような、他のスケーラブル形式に適用され得ることが企図される。
【００５５】
例示的なシステム200はサーバ内に多様なデータストリームを保存するが、その他にデータストリームはプロキシサーバに保存されていてもよい。プロキシサーバは、例えばルータ若しくはゲートウェイ、又は無線ネットワークの基地局であってもよい。プロキシサーバは、それぞれ異なる組み合わせの帯域及び／又はクライアント性能に対象を絞られたそれぞれのストリームで、多様なデータストリームを無線クライアント装置（例えば電話、パームトップコンピュータ、個人情報端末、無線モデム、及びそれと同様のもの）に提供してもよい。
【００５６】
２つ又は３つのストリームを有するシステムは、効率性を大きく犠牲にすることなく、より大きい帯域又は更なる処理性能を有する受信側に改善された映像を提供する。サーバが４個又は５個以上のストリームを保存してもよいことも企図される。
【００５７】
受信側は、デスクトップ、ラップトップ又はパームトップコンピュータ、テレビ、セットトップ変換ボックス、ビデオテープレコーダ又はデジタルビデオレコーダのようなビデオ画像保存装置、TiVO装置、それらの組み合わせ、及びそれと同様のものを含むが、それらに限定されない如何なる多様な装置であってもよいことがわかる。
【００５８】
本発明は、前記処理を実行するためのコンピュータ実装処理及び装置の形式で具現化されてもよい。本発明はまた、フロッピー（登録商標）ディスク、読み取り専用メモリ（ROM）、CD-ROM，ハードディスクドライブ、ZIP（商標）ドライブ、又はその他のコンピュータ読み取り可能保存媒体のような、具体的な媒体に具現化されたコンピュータプログラムコードの形式で具現化されてもよく、そのコンピュータプログラムコードがコンピュータにロードされて実行されると、コンピュータが本発明を実行する装置になる。本発明はまた、例えば保存媒体に保存されようと、コンピュータにロード及び／又は実行されようと、又はいくつかの伝送媒体上で（電線又はケーブル上で、光ファイバを通じて、又は電磁放射を通じて等）伝送されようと、コンピュータプログラムコードの形式で具現化されてもよく、コンピュータプログラムコードがコンピュータにロードされて実行されると、コンピュータが本発明を実行する装置になる。汎用目的プロセッサで実行されると、そのコンピュータプログラムコードのセグメントはプロセッサを構成し、特定の論理回路を作る。
【００５９】
本発明は例示的な実施例について説明されたが、それに限定されない。むしろ、特許請求の範囲は広く解釈されるべきであり、本発明の均等の範囲から逸脱することなく、当業者によって行われ得る本発明の他の変形形態と実施例を含む。
【図面の簡単な説明】
【００６０】
【図１】インターネット上でストリーミングデータを伝送するための従来のシステムのブロック図である。
【図２】本発明による例示的なシステムのブロック図である。
【図３】本発明による第１の例示的な方法のフローチャートであって、複数のデータストリームが受信側にストリーミングを行うストリームの形式を選択する前に符号化される。
【図４】本発明による第２の例示的な方法のフローチャートであって、受信側にストリーミングを行うストリームの形式がデータストリームを符号化する前に選択される。
【図５】複雑性と効率性との間のトレードオフがどのようにFGSデータストリームのデータストリーム形式の選択に影響を与えるかを示した図である。
【図１】
2005515714.tif 000003
【図２】
2005515714.tif 000004
【図３】
2005515714.tif 000005
【図４】
2005515714.tif 000006
【図５】
2005515714.tif 000007
【国際調査報告】
2005515714.tif 000008
2005515714.tif 000009
2005515714.tif 000010