(57)【要約】多重記述符号化とスケーラブル符号化の間の切り換えのためのシステムおよび方法が提供される。切り換えは、ネットワーク特性に依存し、前方誤り訂正（ＦＥＣ：Forward Error Correction）と、スケーラブルな、または優先順位付けされた画像を使用する。
2006510301.tif 000002
【特許請求の範囲】
【請求項１】
ゲートウェイを、多重記述および保護送信のための多重チャンネルストリーミングシステムと、スケーラブル映像および保護送信のための多重チャンネルストリーミングシステムとの間で、ネットワークチャンネル状態に基づき切り換えるための装置であって、
ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームのスケーラブル映像および保護フォーマットと、ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームの多重記述および保護フォーマットの、少なくとも２つの符号化フォーマットを送信および受信する、多重チャンネルストリーミングシステムと、
受信した多重チャンネル映像ストリームのスケーラブル映像および多重記述フォーマットの間で、ＦＥＣ−ＭＤＣ符号化された優先順位付けされた前記符号化パケットストリームの映像データ符号化およびチャンネル符号化を保つようにマッピングを行う、マッピング機構と、を備え、
ゲートウェイによって多重チャンネルパケットストリームが受信され、ネットワークチャンネル状態が、前記パケットストリームのフォーマットの変更が必要であることを示している場合、受信された前記ストリームが、前記マッピング機構により前記多重記述フォーマットと前記スケーラブル映像フォーマットの間でマッピングされ、その後、前記ゲートウェイにより前記多重チャンネルストリーミングシステムを用いて送信される、ことを特徴とする装置。
【請求項２】
前記多重チャンネルストリーミングシステムは、複数のヒンティングトラックをさらに備え、前記複数のヒンティングトラックのそれぞれは、少なくとも２つの前記符号化フォーマットのうちの少なくとも１つに関連付けられている、ことを特徴とする請求項１に記載の装置。
【請求項３】
前記多重チャンネルストリーミングシステムは、
前記スケーラブル映像および保護フォーマットに従って映像ストリームを送信および受信するための第１多重チャンネルストリーミングシステムと、
前記多重記述および保護フォーマットに従って映像ストリームを送信および受信するための第２多重チャンネルストリーミングシステムと、をさらに備える、ことを特徴とする請求項１に記載の装置。
【請求項４】
前記第１多重チャンネルストリーミングシステムは、
優先順位付けされた層を、個別のストリームとして送信するための複数のチャンネルと、
ＦＥＣコードを備える少なくとも１つの個別ストリームを送信するための、良好なネットワークチャンネル状態に基づいてＦＥＣパケットを捨てることが可能な、少なくとも１つのＦＥＣチャンネルと、
受信した前記映像ストリームの少なくとも最も重要な映像パケットを送信するための、遅れて送信される自動再送要求（ＡＲＱ：Automatic Repeat reQuest）チャンネルと、を更に備える、ことを特徴とする請求項３に記載の装置。
【請求項５】
生の映像ストリームを送信するために符号化し、符号化された前記ストリームを、ネットワークチャンネル状態に基づいて、多重チャンネルストリーミングシステムを介して送信する、ソースのための装置であって、
生の映像ストリームを、重要度が漸進的に低下するｎ個の区分に符号化および優先順位付けするエンコーダと、
前記ｎ個の区分を、ｎ個の記述のセットにわたって展開し、ｎ個の記述向けのチャンネルコードを、強度が低下するｎ個のチャンネルコードによって前記ｎ個の区分を保護するように計算する、ＭＤ−ＦＥＣエンコーダと、
ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームのスケーラブル映像および保護フォーマットと、ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームの多重記述および保護フォーマットの、少なくとも２つの符号化フォーマットを送信および受信する、多重チャンネルストリーミングシステムと、
ＭＤ−ＦＥＣ符号化されたｎ個の前記記述を、少なくとも２つの前記符号化フォーマットのうちの１つに、ネットワークチャンネル状態に基づいてマッッピングする、マッピングと、を備え、
前記ソースは、前記エンコーダを使用して、生の映像ストリームから、優先順位付けされた映像ストリームをＭＤ−ＦＥＣ符号化し、ネットワークチャンネル状態に基づき、前記マッピングを使用して、ＭＤ−ＦＥＣ符号化された前記ストリームを、少なくとも２つの前記符号化フォーマットのうちの１つにマッピングし、前記多重チャンネルストリーミングシステムを使用して、フォーマットされた前記ストリームを、ネットワークを介して送信する、ことを特徴とする装置。
【請求項６】
前記多重チャンネルストリーミングシステムは、複数のヒンティングトラックをさらに備え、複数の前記ヒンティングトラックのそれぞれは、前記少なくとも２つの符号化フォーマットのうちの少なくとも１つに関連付けられている、ことを特徴とする請求項５に記載の装置。
【請求項７】
前記多重チャンネルストリーミングシステムは、
前記スケーラブル映像および保護送信ならびに受信のための、第１多重チャンネルストリーミングシステムと、
前記多重記述および保護送信ならびに受信のための、第２多重チャンネルストリーミングシステムと、をさらに備える、ことを特徴とする請求項５に記載の装置。
【請求項８】
前記第１多重チャンネルストリーミングシステムは、
優先順位付けされた層を、個別のストリームとして同時に送信するための複数のチャンネルと、
ＦＥＣコードを備える少なくとも１つの個別ストリームを送信するための、良好なチャンネル状態に基づいてＦＥＣパケットを捨てることが可能な、少なくとも１つのＦＥＣチャンネルと、
受信した前記映像ストリームの少なくとも最も重要な映像パケットを送信するための、遅れて送信される自動再送要求（ＡＲＱ：Automatic Repeat reQuest）チャンネルと、を更に備える、ことを特徴とする請求項７に記載の装置。
【請求項９】
ネットワークであって、
少なくとも１つの生の映像ストリームの少なくとも１つのソースノードにおいて、請求項５に記載の装置を備え、前記多重チャンネルストリーミングシステムを用いて、少なくとも１つの前記生映像ストリームを符号化および前記ネットワークを介して送信する、ソースノードと、
請求項１に記載の装置を備え、ネットワーク状態に応じてＭＤ−ＦＥＣ符号化ストリームを受信し、マッピングし、送信する少なくとも１つのゲートウェイノードと、
を備えることを特徴とするネットワーク。
【請求項１０】
ネットワークであって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードにおいて、請求項６に記載の装置を備え、前記多重チャンネルストリーミングシステムを用いて、少なくとも１つの前記生映像ストリームを符号化および前記ネットワークを介して送信する、ソースノードと、
請求項２に記載の装置を備え、ネットワーク状態に応じてＭＤ−ＦＥＣ符号化ストリームを受信し、マッピングし、送信する少なくとも１つのゲートウェイノードと、
を備えることを特徴とするネットワーク。
【請求項１１】
ネットワークであって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードにおいて、請求項７に記載の装置を備え、前記多重チャンネルストリーミングシステムを用いて、少なくとも１つの前記生映像ストリームを符号化および前記ネットワークを介して送信する、ソースノードと、
請求項３に記載の装置を備え、ネットワーク状態に応じてＭＤ−ＦＥＣ符号化ストリームを受信し、マッピングし、送信する少なくとも１つのゲートウェイノードと、
を備えることを特徴とするネットワーク。
【請求項１２】
ネットワークであって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードにおいて、請求項８に記載の装置を備え、前記多重チャンネルストリーミングシステムを用いて、少なくとも１つの前記生映像ストリームを符号化および前記ネットワークを介して送信する、ソースノードと、
請求項４に記載の装置を備え、ネットワーク状態に応じてＭＤ−ＦＥＣ符号化ストリームを受信し、マッピングし、送信する少なくとも１つのゲートウェイノードと、
を備えることを特徴とするネットワーク。
【請求項１３】
ネットワークチャンネル状態に基づいて、多重記述および保護送信のための多重チャンネルストリーミングシステムと、スケーラブル映像および保護送信のための多重チャンネルストリーミングシステムとを切り換えるための方法であって、
ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームのスケーラブル映像および保護フォーマットと、ＦＥＣ−ＭＤＣエンコーダによってさらに符号化された、優先順位付けされた符号化パケットストリームの多重記述および保護フォーマットの、少なくとも２つの符号化フォーマットを有する、多重チャンネルストリーミングシステムを提供するステップと、
少なくとも２つの前記符号化フォーマットのうち１つに従ってフォーマットされた多重チャンネルパケットストリームを受信するステップと、
ネットワークを調査して、チャンネル状態を得るステップと、
前記スケーラブル映像および多重記述フォーマットの間を、受信した前記多重チャンネル映像ストリームのフォーマットによって決められる通りに、ＦＥＣ−ＭＤＣ符号化された優先順位付けされた前記符号化パケットストリームの映像データ符号化およびチャンネル符号化を保つようにマッピングするステップと、
マッピングされた前記映像ストリームを、提供された前記多重チャンネルストリーミングシステムにより再送信するステップと、
を備えることを特徴とする方法。
【請求項１４】
多重チャンネルストリーミングシステムを提供する前記ステップは、複数のヒンティングトラックを提供するステップをさらに備え、前記複数のヒンティングトラックのそれぞれは、前記少なくとも２つの符号化フォーマットのうちの少なくとも１つに関連付けられている、ことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記多重チャンネルストリーミングシステムを提供する前記ステップは、
前記スケーラブル映像および保護フォーマットに従って映像ストリームを送信および受信するための第１多重チャンネルストリーミングシステムを提供するステップと、
前記多重記述および保護フォーマットに従って映像ストリームを送信および受信するための第２多重チャンネルストリーミングシステムを提供するステップと、をさらに備える、ことを特徴とする請求項１３に記載の方法。
【請求項１６】
ソースによって、生映像ストリームを送信するために符号化し、符号化された前記ストリームを、ネットワークチャンネル状態に基づいて多重チャンネルストリーミングシステムを介して送信するための方法であて、
生映像ストリームを、重要性が漸進的に低下するｎ個の区分に符号化および優先順位付けするステップと、
ｎ個の前記区分を、ｎ個の記述のセットにわたって展開し、ｎ個の記述向けのチャンネルコードを、強度が低下するｎ個のチャンネルコードによってｎ個の前記区分を優先順位付けおよび保護するように計算するステップと、
スケーラブル映像および保護フォーマットと、多重記述および保護フォーマットの、少なくとも２つの符号化フォーマットを送信および受信するための多重チャンネルストリーミングシステムを提供するステップと、
ｎ個の前記記述を、少なくとも２つの前記符号化フォーマットのうちの１つに、ネットワークチャンネル状態に基づいてマッピングするステップと、
マッピングされたｎ個の前記記述を、提供された前記多重チャンネルストリーミングシステムにより送信するステップと、
を備えることを特徴とする方法。
【請求項１７】
前記多重チャンネルストリーミングシステムを提供する前記ステップは、複数のヒンティングトラックを提供するステップをさらに備え、前記複数のヒンティングトラックのそれぞれは、前記少なくとも２つの符号化フォーマットのうちの少なくとも１つに関連付けられている、ことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記多重チャンネルストリーミングシステムを提供する前記ステップは、
前記スケーラブル映像および保護送信ならびに受信のための、第１多重チャンネルストリーミングシステムを提供するステップと、
前記多重記述および保護送信ならびに受信のための第２多重チャンネルストリーミングシステムを提供するステップと、をさらに備える、ことを特徴とする請求項１６に記載の方法。
【請求項１９】
ネットワークを提供するための方法であって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードを提供するステップと、
少なくとも１つの前記ソースノードが、請求項１６に記載の方法を実行し、前記多重チャンネルストリーミングシステムを使用して、少なくとも１つの前記生映像ストリームを、符号化、保護および前記ネットワークを介して送信するステップと、
少なくとも１つのゲートウェイノードを提供するステップと、
少なくとも１つの前記ゲートウェイノードが、請求項１３に記載の方法を実行し、ネットワーク状態に応じて、前記符号化および保護映像ストリームを受信し、マッピングし、再送信するステップと、
を備えることを特徴とする方法。
【請求項２０】
ネットワークを提供するための方法であって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードを提供するステップと、
少なくとも１つの前記ソースノードが、請求項１７に記載の方法を実行し、前記多重チャンネルストリーミングシステムを使用して、少なくとも１つの前記生映像ストリームを、符号化、保護および前記ネットワークを介して送信するステップと、
少なくとも１つのゲートウェイノードを提供するステップと、
少なくとも１つの前記ゲートウェイノードが、請求項１３に記載の方法を実行し、ネットワーク状態に応じて、前記符号化および保護映像ストリームを受信し、マッピングし、再送信するステップと、
を備えることを特徴とする方法。
【請求項２１】
ネットワークを提供するための方法であって、
少なくとも１つの生映像ストリームの少なくとも１つのソースノードを提供するステップと、
少なくとも１つの前記ソースノードが、請求項１８に記載の方法を実行し、前記多重チャンネルストリーミングシステムを使用して、少なくとも１つの前記生映像ストリームを、符号化、保護および前記ネットワークを介して送信するステップと、
少なくとも１つのゲートウェイノードを提供するステップと、
少なくとも１つの前記ゲートウェイノードが、請求項１３に記載の方法を実行し、ネットワーク状態に応じて、前記符号化および保護映像ストリームを受信し、マッピングし、再送信するステップと、
を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多重記述符号化（ＭＤＣ：Multiple Description Coding）と、スケーラブル符号化（ＳＣ：Scalable Coding）の間を、チャンネル特性に基づいて、オンザフライで切り換えるためのシステムおよび方法に関する。本発明のシステムおよび方法は、スケーラブルな、または優先順位付けされた符号化ストリームおよび前方誤り訂正（ＦＥＣ：Forward Error Correction）保護を用いて、実現することもできる。
【背景技術】
【０００２】
多重記述符号化（ＭＤＣ：Multiple Description Coding）は、ベストエフォート型ネットワークを介した送信を目的としており、一方で、スケーラブル符号化（ＳＣ：Scalable Coding）は、多くの場合、いくらかのＱｏＳ（Quality of Service）保証を有するネットワークを介した送信を目的としている。多重記述符号化（ＭＤＣ：Multiple Description Coding）は、映像を、それぞれ固有の予測処理および状態を有する複数の独立した復号可能ストリームにコード化することによって、誤り伝播の問題を抑制するように設計された、ＭＤ符号化の一形態である。１つのストリームが失われた場合でも、他のストリームを復号して、使用可能な映像を生成することができ、そして、最も重要なことに、正しく受信されたストリームは、壊れたストリームの改善された状態回復を可能にする双方向（過去および未来）情報を供給する。パケットネットワーク用の経路（path）ダイバーシティ送信システムを、ＭＤＣ送信のために用いることができ、このシステムは、パケットが単一経路に沿って進行するデフォルトシナリオに対抗して、異なるパケットのサブセットを、異なる経路を介して送信し、これにより、終端間映像アプリケーションが、事実上、改善された損失特性を有する仮想チャンネルを見ることを可能にする。例えば、アプリケーションは、事実上、平均的な経路挙動を見るが、これは一般的に、個別のランダム経路の挙動を見ることよりも、より良い性能を提供する。
【０００３】
階層化またはスケーラブル手法は、データに、基本的な優先順位付けを行い、これにより、データのインテリジェントな廃棄をサポートする（使用可能な映像を維持している間、拡張データが損失または廃棄される）。しかしながら、ベース層に誤りがあった場合、映像を完全に失う可能性がある。
【０００４】
多重記述符号化は、この問題を、信号を複数のビットストリームに符号化することによって克服することを試みるものであり、いずれか１つのビットストリームを用いて、ベースライン信号を復号することができ、追加のビットストリームは、再構築された信号の品質に基づいて改善される。
【０００５】
ＭＤＣは、スケーラブル符号化と良好に組み合わせることもでき、経路ダイバーシティを用いることが可能な場合に、スケーラブル符号化の符号化効率を改善する。例えば、ネットワークがパケットに優先順位付けを行うことができる場合、スケーラブル符号化を用いて、様々な記述を符号化することができる。
【０００６】
前方誤り訂正（ＦＥＣ：Forward Error Correction）コードを用いる、一般化された多重記述（ＭＤ：Multiple Description）ソース符号化技術は、ベストエフォート型ネットワーク（例えばインターネット）において頑強で効率的な映像ストリーミングおよびマルチキャストを達成するために提示された、１つの手法である。１９９９年１０月にカリフォルニア（CA）州パシフィックグローブ（Pacific Grove）で行われた、信号、システムおよびコンピュータに関する第３３回アシロマ会議（33rd Asilomar Conference on Signals, Systems and Computers）、おける、Ｒ．プリ（Puri）およびＫ．ラムチャンドラン（Ramchandran）らの文献“Multiple Description Source Coding Through Forward Error Correction Codes”を参照されたい。この文献は、ここに完全に説明されたものとして、参考のために引用される。この手法では、ソースコーダからのプログレッシブビットストリームを、Ｎ層または品質レベルに区分し、スケーラブルに符号化することも、しないことも可能である。これらのストリームは、図１に示すように優先順位付けできる。次いで、ＦＥＣを用いて、Ｎ個の区分が作成される（図２を参照）。次に、これらのＮ個の区分は、異なるチャンネル（例えば異なる物理的経路または異なるルート）を用いて送信される。
【０００７】
あるいは、プログレッシブビットストリームを用いて、異なるチャンネルを使用する送信の優先順位付けを行うこともでき、ＦＥＣを用いて、符号化に追加的な弾性を与えることもできる。２０００年３月にユタ（UT）州スノーバード（Snowbird）にて行われたＤＣＣにおける、Ｐ．Ａ．チョウ（Chou）、Ａ．Ｅ．ホー（Hohr）、Ａ．ワン（Wang）およびＳ．メロトラ（Mehrotra）らの文献“FEC and Pseudo-ARQ for Receiver Driven Hierarchical FEC”を参照されたい。この文献は、ここに完全に説明されたものとして、参考のために引用される。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ＭＤＣ符号化は、ベストエフォート型送信を対象とし、一方で、ＳＣは、優先順位付けされた送信および／または差分保護をサポートするＱｏＳを有するネットワークを介した送信に焦点を当てている。したがって、ストリームが異なるネットワークを通過する際に、チャンネル特性が、動的に、または、ネットワーク全体にわたって変化した場合、一方または他方の方法が、非効率となる可能性があり、もはや頑強ではなくなってしまう。本発明のシステムおよび方法は、これらの変化するチャンネル特性への柔軟な適合を可能にし、一方で、映像およびチャンネルデータは、一度だけコード化すればよく、映像ストリームを、変化するネットワーク特性に、なおも適合させることができる、という利点も提供する。
【課題を解決するための手段】
【０００９】
本発明は、一対の多重チャンネル送信プロトコル（図４および図５を参照）と、ＭＤＣ符号化ストリーム（図２を参照）の記述とＳＣ符号化ストリーム（図３を参照）の層の間のマッピング（図６を参照）とを備え、これらは、ＦＥＣを、最初のスケーラブルまたは優先順位付けされた映像ストリームに加えるものとして使用する。適切な多重チャンネル送信プロトコルを用いて、符号化ストリームが送信され、このストリームは、ゲートウェイで受信されると、ネットワーク状態指示としてＭＤＣとＳＣの間でマッピングされる。図７を参照されたい。
【００１０】
好適な実施形態においては、生の映像ストリームが符号化され、コード化情報に優先順位付け７０３がなされる。次いで、この優先順位付けされた映像ストリーム７０３は、ＭＤＣまたはＳＣストリームのいずれかとして、チャンネル状態に応じて、図２および図３の各フォーマットと、図５および図４の各多重チャンネルストリーミングモデルとをそれぞれ用いて、再構成および送信される。このストリームのパケットがゲートウェイに到着すると、ＭＤＣまたはＳＣの選択が、その場の現在のネットワーク状態７０７を考慮に入れて再評価される。状態が、送信プロトコルがもはや効率的でないことを示すと、ＭＤＣおよびＳＣ符号化ストリーム間のマッピングが行われ、データを再構成し、適切な多重チャンネルストリーミングシステムを用いて、再構成された映像データが送信される。基礎となる優先順位付けされた映像ストリームの符号化は、変更されない。
【００１１】
本発明は、頑強なストリーミング映像を必要とするマルチメディアゲートウェイや、ネットワーク化された記憶装置からの媒体を再生するマルチメディアサーバの実施に使用することができる。
【発明を実施するための最良の形態】
【００１２】
現在、インターネットにおけるネットワークスイッチ（ゲートウェイ）は、パケットの構造および内容のいずれも解釈せず、すべてのパケットを同じように扱う。さらに、ゲートウェイは、混雑状況のフィードバックを提供しない。末端間フィードバック（すなわちレシーバからの）のみが、センダにとって利用可能であり、センダは通常、ネットワークを調査して、接続状態に関する情報を得る必要がある。ひとたび符号化されると、符号化映像ストリームは、変化するネットワーク状態に適応するための変化において、再フォーマットすることができない。
【００１３】
この、ストリーミング映像およびインターネット転送プロトコルの必要性の間のミスマッチは、本発明のシステムおよび方法によって解決される。本発明によると、優先順位付けされた符号化映像ストリームは、ＭＤＣ（図２）とＳＣ（図３）の最良の選択を用いてフォーマットされ、次いで、フォーマットおよびストリーミングプロトコルの両方が、本発明のシステムおよび方法に従う、対応する多重チャンネルストリーミングプロトコルシステム（それぞれ図５および図４）に準じて送信さる。そして、センダからレシーバへの経路上の各ゲートウェイにおいて、ＭＤＣとＳＣの選択が、既存のチャンネル状態を考慮に入れて再評価され、他のフォーマットへの変更が示された場合は、ＭＤＣとＳＣの間の基礎となる優先順位付けされた符号化ストリームのマッピングが、達成される。図６を参照されたい。マッピングは、例えばパケットのブロックごとに、フレーム全体に対して、オンザフライで達成される。したがって、マッピングされたストリーム、およびマッピングされたストリーム４０１，４０２の送信のために、十分なバッファ空間が、各ゲートウェイに必要である。いずれのゲートウェイにおいても、どのような映像データまたはチャンネル符号化の記録／トランスコード化も、必要でない。
【００１４】
ＦＥＣベースのＭＤ符号化は、“優先順位付け”された多重解像度ビットストリームを、“優先順位付けされていない”ＭＤパケットストリームに変換する。それぞれ解像度層の品質に対応するｎ箇所の異なる位置１０が標識付けされた、プログレッシブビットストリームがあるとする。図２を参照されたい。ｉ個の記述が通される際に、第ｉ層が復号可能でなければならない。これは、第ｉ品質層を、ｉ個の同等部分１１に分割し、リードソロモン（Reed Solomon）符号化を適用して、第ｉレベルからｎ個の記述のそれぞれへの貢献（contribution）を得ることを必要とする。ｎの品質レベルのそれぞれからの貢献を連結して、図２に示されるように、ｎ個の記述を形成する。このようにして、好適な実施形態のＭＤ−ＦＥＣエンコーダが、入力されるプログレッシブＳＣ符号化ビットストリームを、頑強なパケットＭＤストリームに変換する。
【００１５】
本発明のシステムおよび方法は、ユニキャストおよびマルチキャスト適用の両方の送信を可能にする。
【００１６】
したがって、本発明の好適な実施形態は、以下の２つのシナリオを解決する。
【００１７】
Ａ．ベストエフォート→ゲートウェイ→ＱｏＳネットワーク
最初に、データは、ストリームに優先順位付けする任意の符号化方法を用いて符号化される。これにより、優先順位付けされたストリームのコンポーネントを、ｎ個の記述にわたってマッピングし、ＦＥＣ符号化することができる。限定でなく例として、図２に示すように、プログレッシブストリームを、ＳＣ符号化し、ベース層ＢＬおよび様々な拡張層ＥＬのパケットを、多重記述に分割しＦＥＣ符号化する。次いで、これらの多重記述は、図５に示されるように、多重チャンネルＭＤＣストリームとして送信される。
【００１８】
ＳＣ映像ストリームを、多重記述に分割するに当たり、重要性が低下するＮ個のソース層２０を、強度が低下するＮ個のチャンネルコードにより保護する。ＦＥＣを用いる理由は、その送信遅延が比較的小さいためである。ＦＥＣは、圧縮された映像ビットストリームに冗長情報を加えて、パケットが失われた場合に元の映像を再構築できるようにする。
【００１９】
次に、ストリームがゲートウェイに達した際に、ネットワーク状態における変化が、ＭＤＣからＳＣへの変更を示した場合、種々のストリームを、図３に示されるフォーマットに集め、個別の層、個別のＦＥＣストリームとして再送信し、また、図４に示される多重チャンネルＳＣストリーミングモデルを用いて、ＡＲＱストリームさえも含むことができる。すなわち、図２のＦＥＣパケットが、個別のトラックで送信される。チャンネル状態が良好な場合、ＦＥＣパケットのいくつかを捨てることができる。また、もっとも重要な映像パケットのいくつかをコピーして、これらを遅らせて送信することにより、個別の自動再送要求（ＡＲＱ：Automatic Repeat reQuest）トラックを送信することもできる。
【００２０】
Ｂ．ＱｏＳネットワーク→ゲートウェイ→ベストエフォート
生の映像ストリームを、プログレッシブ符号化し、優先順位付けされた層を、図３に示すようにＦＥＣ符号化および組織化し、図４に示すように、層、ＦＥＣコードおよびＡＲＱストリームを、多重チャンネルＳＣストリームとして送信する。次いで、ゲートウェイにおいて、チャンネル状態が、変更が必要であることを示した場合、本発明のマッピングを用いてＳＣストリームが再組織化され（図６を参照）、図５に示されるように、ＭＤＣ専用の多重ストリーミングシステムを用いて送信される。
【００２１】
Ｃ．ＭＤＣとＳＣの間のマッピング
いずれのシナリオにおいても、ＭＤＣとＳＣの間の変更は、オンザフライで行うことができ、映像データまたはチャンネル符号化の、どのような記録／トランスコード化も必要としない（図６を参照）。
【００２２】
Ｄ．多重チャンネルストリーミングモデル
他の好適な実施形態において、多重チャンネルストリーミングシステムは、２つの映像符号化およびチャンネル符号化フォーマットに関係する多重ヒンティングトラックを、可能にすることにより、ＭＤＣまたはＳＣのいずれでも多重チャンネル送信ができるように設計される。
【００２３】
Ｅ．生の映像ストリームの符号化
この実施形態は、符号化情報を優先順位付けできる任意のコーダで実現できる。例えば、スケーラブルコーダ（例えばＦＧＳ、小波コーディング）または非スケーラブルコーダ（例えばＩ，ＰおよびＢフレームの優先順位付け、または、例えばデータ区分化等を使用し、異なる優先順位を使用して複数の区分のデータの優先順位付けを行うコーダ）を使用することができる。
【００２４】
特定のネットワーク要件および環境に適した、他の修正および変更が、当業者にとって明白となることから、本発明は、本開示を目的として選択された例に限定されないものと考慮され、また、添付される特許請求の範囲内にある、すべての変更および修正を包含する。
【図面の簡単な説明】
【００２５】
【図１】図１は、Ｎ層または品質レベルに区分されたソースコーダからのプログレッシブビットストリームを示している。
【図２】図２は、前方誤り訂正（ＦＥＣ：Forward Error Correction）符号を用いた、Ｎ個の記述の一般化されたＭＤ符号化を示している。
【図３】図３は、ＦＥＣによって提供される、同等でない異なる誤り保護を用いた、スケーラブル符号化（ＳＣ：Scalable Coding）ストリームの送信を示している。
【図４】図４は、スケーラブル映像および保護送信のための多重チャンネルストリーミングシステムを示している。
【図５】図５は、多重記述および保護送信のための多重チャンネルストリーミングシステムを示している。
【図６】図６は、本発明に係る、ＭＤＣおよびＳＣパケットストリームの間のマッピングを示している。
【図７】図７は、本発明に係る、センダおよびレシーバ間の生映像ストリームの送信に関わる端末間送信および処理イベントを示している。
【図１】
2006510301.tif 000003
【図２】
2006510301.tif 000004
【図３】
2006510301.tif 000005
【図４】
2006510301.tif 000006
【図５】
2006510301.tif 000007
【図６】
2006510301.tif 000008
【図７】
2006510301.tif 000009
【国際調査報告】
2006510301.tif 000010
2006510301.tif 000011
2006510301.tif 000012