(57)【要約】本発明は、可変レートの変調スキームを使用して、エンコードされたビデオデータを転送するためのシステム及び方法に関する。１つの実施の形態では、送信機が提供され、この送信機は、該エンコードされたビデオデータを複数のストリームに分割するためのシステム、該複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステム、該決定された優先度に基づいて、該複数のエンコードされたビデオデータストリームのそれぞれに異なる変調レートを割り当てるためのシステムを有している。特に、平均レートが維持されるように、より高い優先度のストリームには、より低い、よりロバスト性の高い変調が使用されることが好ましく、より低い優先度のストリームには、より高い、よりロバスト性の低い変調が使用されることが好ましい。
2005506773.tif 000002
【特許請求の範囲】
【請求項１】
エンコードされたビデオ信号を転送するためのシステムであって、
エンコードされたビデオ信号を複数のストリームに分割するためのシステムと、
複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステムと、
該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに可変の変調レートを割り当てるためのシステムと、
を有するシステム。
【請求項２】
相対的に高い優先度を有するとして決定されたストリームには、相対的に低い優先度を有するとして決定されたストリームよりも低い変調レートが割り当てられる、
請求項１記載のシステム。
【請求項３】
相対的に低い優先度を有するとして決定されたストリームには、相対的に高い優先度を有するとして決定されたストリームよりも高い変調レートが割り当てられる、
請求項１記載のシステム。
【請求項４】
平均の変調レートが該複数のストリームについての所定の目標レートに一致することを確保するシステムをさらに有する、
請求項１記載のシステム。
【請求項５】
該分割するためのシステムは、フレームタイプ間の差異、ヘッダデータとヘッダではないデータの間の差異、スケーラブル符号化ビデオに存在するベースレイヤストリームとエンハンスメントレイヤストリームの間の差異、及び少なくとも１つのマクロブロックに対応するデータを含んでいるビデオパケットにおける差異から構成されるグループから選択された基準に基づいて、該エンコードされたビデオデータを分割する、
請求項１記載のシステム。
【請求項６】
それぞれのストリームの優先度は、ＭＰＥＧフレームタイプに基づいて決定され、Ｉフレームを含むストリームは、Ｐフレームを含むストリームよりも相対的に高い優先度を有することが決定され、Ｐフレームを含むストリームは、Ｂフレームを含むストリームよりも相対的に高い優先度を有することが決定される、
請求項１記載のシステム。
【請求項７】
少なくとも１つのマクロブロックを含むストリームの優先度は、該マクロブロックに含まれる動き情報及びテクスチャ情報に基づいて決定される、
請求項１記載のシステム。
【請求項８】
該優先度を決定するためのシステムは、ヘッダではないＭＰＥＧデータに割り当てられる優先度よりも相対的に高い優先度をＭＰＥＧヘッダデータに割り当てる、
請求項１記載のシステム。
【請求項９】
ストリームの優先度は、ベースレイヤ及びエンハンスメントレイヤに基づいており、ベースレイヤには、エンハンスメントレイヤに割り当てられる優先度よりも相対的に高い優先度が割り当てられる、
請求項１記載のシステム。
【請求項１０】
ビデオデータをエンコードして、転送するためのエンコーダであって、
ビデオエンコーダの符号化ビットレートを選択するためのシステムと、
エンコードされたビデオデータを複数のストリームに分割するためのシステムと、
複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステムと、
該決定された優先度に基づいて、該複数のエンコードされたビデオデータストリームのそれぞれについて、複数の可能な変調レートのうちの１つを割り当てるためのシステムと、
を有するエンコーダ。
【請求項１１】
該複数の可能な変調レートは、該符号化ビットレートよりも低い変調レートであって、該符号化ビットレートよりも高い変調レートを含む、
請求項１０記載のエンコーダ。
【請求項１２】
相対的に高い優先度を有するとして決定されたストリームには、低い変調レートが割り当てられる、
請求項１１記載のエンコーダ。
【請求項１３】
相対的に低い優先度を有するとして決定されたストリームには、高い変調レートが割り当てられる、
請求項１１記載のエンコーダ。
【請求項１４】
平均の変調レートが該複数のストリームについて該符号化ビットレートで維持されることを確保するシステムをさらに有する、
請求項１１記載のエンコーダ。
【請求項１５】
実行されたときに、エンコードされたビデオを転送するためのシステムを含む記録可能な媒体に記憶されたプログラムプロダクトであって、
複数のエンコードされたビデオデータのそれぞれについて優先度を決定するための手段と、
該決定された優先度に基づいて、該複数のエンコードされたビデオデータストリームのそれぞれについて、一組の変調レートから１つの変調レートを割り当てるための手段と、
を有するプログラムプロダクト。
【請求項１６】
該複数のストリームの符号化ビットレートを決定するエンコード手段をさらに有し、該符号化ビットレートは、該一組の変調レートの上限と下限の間で選択される、
請求項１５記載のプログラムプロダクト。
【請求項１７】
平均の変調レートが該複数のストリームについて該符号化ビットレートで維持されることを確保するための手段をさらに有する、
請求項１６記載のプログラムプロダクト。
【請求項１８】
該割り当て手段は、より低い優先度のストリームには、より高い変調レートを割り当て、より高い変調レートには、より低い変調レートを割り当てる、
請求項１５記載のプログラムプロダクト。
【請求項１９】
ビデオデータをエンコードして転送する方法であって、
利用可能な一組の変調レートの上限と下限の間で符号化ビットレートを選択するステップと、
該選択された符号化ビットレートで、該ビデオデータをエンコードするステップと、
複数のエンコードされたビデオデータストリームのそれぞれについて、優先度を決定するステップと、
該決定された優先度に基づいて、該複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるステップと、
を有する方法。
【請求項２０】
該複数のストリームについて、平均の転送レートが該選択された符号化ビットレートと実質的に一致することを確保するステップをさらに有する、
請求項１９記載の方法。
【請求項２１】
異なるストリームから構成されるエンコードされたビデオデータをデコードするためのデコーダであって、該異なるストリームは、それぞれのストリームの優先度に基づいて異なる変調スキームを使用して転送され、該デコーダは、該異なる変調スキームを検出して、デコードするためのシステムを含む、
デコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、エンコードされたビデオの転送に関し、より詳細には、可変の変調レートを使用したＭＰＥＧビデオを転送するシステム及び方法に関する。
【背景技術】
【０００２】
ワイヤレスネットーワーク（たとえば、セルラー）とワイアドネットワーク（たとえば、インターネット）の両者を通して伝達されるビデオアプリケーションの要求が増加するにつれて、ビデオデータを効率的に転送するための能力が重要な問題となってきている。対処されるべき特定の問題のなかには、大部分のビデオアプリケーションのために要求される広い帯域幅、ビデオデータを伝達するネットワークに関する誤りを生じる傾向にある特性、及びロバストにビデオイメージを転送しようとする願望が含まれる。
【０００３】
帯域幅の制限は、ＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ．２６１等を含んだ公知の符号化規格を使用してビデオデータを圧縮することで一般に対処されている。ＭＰＥＧ規格により提供されるスキームのようなエンコードされたビデオスキームは、相対的に変化する優先度の異なるストリームに分割される。符号化されたビデオデータのビットストリームは、他の方法の間でも特に、（ａ）基準フレーム及び動き予測フレーム（Ｉ，Ｐ及びＢ）のようなフレームタイプ、（ｂ）ヘッダデータ及びヘッダではないデータ、（ｃ）（時間、空間、ＳＮＲ、又は粒状度（fine granular））スケーラブル符号化ビデオに存在するベースレイヤストリームとエンハンスメントレイヤのストリームに基づいて、（ｄ）１以上のマクロブロックに対応するデータを含んでいるビデオパケットに分割することができる。現在、ビデオフレームストリームが転送されたとき、（たとえば、チャネル状態に基づいて）特定の変調スキームが選択され、該選択された変調スキームを使用して、全体のストリームが転送される。残念なことに、ビデオフレームの相対的な重要性における固有な差異が利用されていない。したがって、今日のシステムを使用して、変調スキームが一旦選択されると、ビデオイメージの全体のロバスト性を容易に拡張することができず、優先度の高いビデオデータの伝送誤りを低減するための能力には、十分に対処されていない。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ワイヤレスを含む多くのネットワーク規格により、可変の変調スキーム（したがって、可変の転送レート）の使用が可能となっているが、これらの利用可能な変調スキームをいかに最適に選択して、転送されているデータの特性に動的に整合させることは規定されていない。したがって、大部分のネットワークを通して利用可能な可変の変調スキームを利用して、エンコードされたビデオデータのロバスト性を改善することができるシステムが必要とされている。
【課題を解決するための手段】
【０００５】
本発明は、先に説明された問題に対処するものであり、異なる変調スキームを使用してエンコードされたビデオデータのストリームを転送するシステム及び方法を提供するものである。ここで、変調スキームの選択は、それぞれのストリームに関して決定された優先度に基づいて決定される。
【０００６】
第一の観点では、本発明は、エンコードされたビデオ信号を転送するためのシステムを提供する。このシステムは、エンコードされたビデオデータを複数のストリームに分割するためのシステム、複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステム、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに異なる変調レートを割り当てるためのシステムを有している。
【０００７】
第二の観点では、本発明は、ビデオデータをエンコードして転送するためのエンコーダを提供する。このエンコーダは、符号化ビットレートを選択するためのシステム、エンコードされたビデオデータを複数のストリームに分割するためのシステム、複数のエンコードされたビデオデータストリームのそれぞれについて優先度を決定するためのシステム、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるためのシステムを有している。
【０００８】
第三の観点では、本発明は、実行されたときに、エンコードされたビデオを転送するためのシステムを含む、記録媒体に記憶されたプログラムプロダクトを提供する。このプログラムプロダクトは、エンコードされたビデオを複数のストリームに分割するための手段、複数のエンコードされたビデオストリームのそれぞれに優先度を決定するための手段、及び該決定された優先度に基づいて、複数のエンコードされたビデオストリームに可変の変レートを割り当てるための手段を有している。
【０００９】
第四の観点では、本発明は、ビデオデータをエンコードして転送する方法を提供する。この方法は、利用可能な一組の変調レートの上限と下限の間で符号化ビットレート選択するステップ、該選択された符号化ビットレートで、該ビデオデータをエンコードするステップ、複数のエンコードされたビデオデータストリームのそれぞれに優先度を決定するステップ、及び該決定された優先度に基づいて、複数のエンコードされたビデオデータストリームのそれぞれに複数の可能な変調レートのうちの１つを割り当てるステップを有している。
【００１０】
第五の観点では、本発明は、異なるストリームから構成されるエンコードされたビデオデータをデコードするためのデコーダを提供する。この異なるストリームは、それぞれのストリームの優先度に基づいて割り当てられた異なる変調スキームを使用して転送される。また、このデコーダは、異なる変調スキームを検出してデコードするためのシステムを含んでいる。
【００１１】
本発明の好適な実施の形態は、以下に添付図面を参照しながら記載される。この添付図面では、同じ参照符号は同じ構成要素を示している。
【発明を実施するための最良の形態】
【００１２】
以下により詳細に説明されるように、本発明は、可変の変調レートを利用して、エンコードされたビデオのロバストな転送を提供する。これを達成するために、エンコードされたビデオストリームは、優先度が変化する複数のストリームに分割される。したがって、たとえば、同じ変調（すなわち、レート）を使用して全ての異なる優先度のストリームを転送する代わりに、より高い優先度のストリームには、より低い、よりロバスト性の高い変調が使用されることが好ましく、より低い優先度のストリームには、より高い、よりロバスト性の低い変調が使用されることが好ましい。より低いレートで、より高い優先度のストリームを転送するために要求される時間の増加は、より高いレートで、より低い優先度のストリームを転送するために要求される時間の減少により適切に補償される。このようにして、平均の転送レートは、全てのストリームが単一の変調で転送される場合に使用される目標のレートと等しく維持される。以下の実施の形態は、２つの変調レート（すなわち、「高い」及び「低い」）を含むシステムを一般的に説明しているが、本発明は、任意の数の変調スキーム（たとえば、「非常に高い」、「高い」、「低い」及び「非常に低い」）を使用して実施することができることを理解されたい。
【００１３】
図面を参照して、図１は、エンコードされたビデオデータ１２を受信機２０に転送するための送信機１０を示している。エンコードされたビデオデータ１２は、たとえば、Ｈ．２６１、Ｈ．２６３、Ｈ．２６Ｌ等といった、任意のタイプの圧縮されたビデオデータ、すなわちエンコードされたビデオデータを含んでいる場合がある。エンコードされたビデオデータ１２が送信機１０により受信された後、ストリーム分割システム１５は、所定の基準に基づいて異なるストリームにビデオデータ１２を分割する。たとえば、この分割は、（１）フレームタイプ（Ｉ、Ｐ及びＢフレーム）、（２）ヘッダデータ及びヘッダではないデータ、（３）（時間、空間、ＳＮＲ、又は粒状度）スケーラブル符号化ビデオにおけるベースレイヤ及び１以上のエンハンスメントレイヤ、等に基づいている場合がある。しかし、当業者に公知の任意の分割スキームが使用される場合があることを理解されたい。
【００１４】
複数のストリームが分割された後、ストリーム優先度決定システム１４により優先度が決定される。ストリーム優先度決定システム１４は、任意のやり方でストリームの優先度を決定することができる。たとえば、ＭＰＥＧシステムでは、Ｉフレームは、一般に、Ｐフレームよりも重要であり、Ｐフレームは、一般に、Ｂフレームよりも重要である。したがって、Ｉフレームには、Ｐフレームよりも高い優先度が割り当てられ、Ｐフレームには、Ｂフレームよりも高い優先度が割り当てられる。同様に、ヘッダデータには、ヘッダではないデータよりも高い優先度が割り当てられ、ベースレイヤには、エンハンスメントレイヤよりも高い優先度が割り当てられる。
【００１５】
ストリームの優先度が決定された後、これらのストリームは、スキーム選択システム１６に送出され、スキーム選択システム１６は、それぞれのストリームに変調スキームを割り当てる。スキーム選択システム１６は、任意のスキーム又は規格を含んでいる場合があり、これら任意のスキーム又は規格により、データ通信するときに異なる変調を割り当てることができる。たとえば、ワイヤレスローカルエリアネットワーク（ＬＡＮ）規格であり、複数の変調レートを提供するＩＥＥＥ規格８０２．１１ａ及び８０２．１１ｂを利用することができる。図１に示される一般的な例では、２つの可能な変調スキームとして、スキーム１（高いレート）及びスキーム２（低いレート）が存在する。たとえば、スキーム１は、２Mbit/secのビットレートを有しており、スキーム２は、１Mbit/secのビットレートを有している。多くのワイヤレスネットワーク規格により、本実施の形態で提案されるような可変の変調スキームの使用が可能となっている。したがって、かかるシステムの詳細は、当業者には公知であるものとし、更に詳細には説明されない。スキーム選択システム１６は、１つのストリームに関して決定された優先度に基づいて、１つのスキームを１つのストリームに割り当てる。特に、より高い優先度のストリームには、低いレート、より高いロバスト性のスキームが割り当てられることが好ましい。より低い優先度のストリームには、高いレート、より低いロバスト性のスキームが割り当てられている。低いレートの変調スキームは、よりロバストにデータを送出するため、高いレートの変調スキームよりも誤りが生じる可能性が少ない。
【００１６】
たとえば、ストリームがＩフレームを有している場合、このストリームは、高い優先度が与えられ、スキーム２、すなわち低い変調スキームを使用して転送されることが好ましい。なお、Ｉフレームを転送するために、より低いレートが利用されるため（及びＩフレームは、Ｐ及びＢフレームよりも一般に大きいため）、Ｉフレームを転送するための時間的に有意な増加が生じる場合がある。この時間的な増加は、符号化ビデオデータが典型的にある所定の遅延の制約の中で転送される必要があるため、問題を引き起こす場合がある。本発明は、より高いレートの変調、すなわちスキーム１を使用して、より低い優先度のストリームを送出することで、時間的な増加を相殺している。したがって、たとえば、低い優先度として識別されるＰ及び／又はＢフレームは、より高い転送レートで送出することができる。この送出には、転送するためにより短い時間を要する。複数のストリームの全体の組について平均転送レートが許容可能な目標レートで維持されるか、該目標レートと実質的に一致する限り、所定の遅延の制約に適合することができる。高い優先度のストリームを転送するための時間的な増加を相殺するための方法は、先に説明された他の分割方法にさらに適用することができる。
【００１７】
平均の転送レートが目標レートで維持されることを確保するプロセスは、制御システム１８により処理される。特に、コントロールシステム１８は、目標レートが維持されているかを判定するために処理されているデータストリームを連続的にモニタすることができ、スキーム選択システム１６に対して、スキーム選択処理における調整を行わせる。たとえば、目標レートに合致する利用可能な低い優先度のストリームが十分に存在しない場合には、高い優先度のストリームの一部は、低い優先度のスキーム（すなわち、高いレート）を使用して送出することができる。
【００１８】
受信側では、受信機２０は、可変レートのストリームを受信する。スキーム検出システム２２は、異なるスキームを検出して、これに応じて該ストリームを復調するために利用される場合がある。
【００１９】
ここで、図２を参照して、第二の実施の形態が示されており、ビデオデータ３２をエンコードして、デコーダ２０に転送するためのエンコーダ３０を有している。この実施の形態では、ビデオデータ３２が受信され、たとえば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６１，Ｈ２６３等の任意の公知のやり方で、データエンコードシステム４０によりエンコードされる。エンコードシステムの一部として、符号化レートは、符号化レート選択システム４２により決定され、エンコードされたビデオデータが転送される全体のレートを指示する。符号化レートは、エンコードされたデータの転送のために利用可能な転送レートの上限と下限の間のどこかで選択されることが好ましい。たとえば、所与のプロトコルが１Mbit/secと２Mbit/secの２つの転送スキームを提供している場合、符号化レートは、１Mbit/secと２Mbit/secの間のどこか、たとえば１．５Mbit/secで選択することができる。選択されたレートは、分割及び優先度の決定の後に得られる低い優先度のストリームと高い優先度のストリームの相対的なレートに依存する。
【００２０】
図１に関して説明された実施の形態に類似して、エンコードされたデータは、その後、分割され、優先度が決定される。分割は、ストリーム分割システム３３により処理され、このストリーム分割システムは、先に説明されたやり方を含め、任意の公知のやり方でエンコードされたデータをデータストリームに分割する。優先度の決定は、ストリーム優先度決定システム３４により、先に説明されたやり方を含めて任意のやり方で処理される。次いで、スキーム選択システム３６は、割り当てられたストリームの優先度に基づいて、左記に説明された同様のやり方を含めて、それぞれのストリームに変調スキームを割り当てる。したがって、高い優先度のストリーム（たとえば、Ｉフレーム）には、低いレートの変調スキームが割り当てられることが好ましく、低い優先度のストリーム（たとえば、Ｐ及びＢフレーム）には、高いレートの変調スキームが割り当てられることが好ましい。先の例では、高い優先度のデータは、１Mbit/secで送出され、低い優先度のデータは、２Mbit/secで送出される。制御システム３８は、転送されたストリームの平均の転送レートは、選択された符号化レート（たとえば、１．５Mbit/sec）に従うことを確保する。このスキームにより、１Mbit/sec又は２Mbit/secのいずれかの送信機に比較して、受信機で良好なビデオの品質が得られる。１Mbit/secのケースでは、低レートの変調のために転送は非常にロバストであるが、ビデオが符号化される低減されたビットレートにより、品質が低下する。２Mbit/secのケースでは、ソース符号化されたビデオの画質は非常に良好であるが、高いレートでの変調による転送のために引き起こされる伝送誤りにより、受信ビデオの品質の低下を生じる。中間的なレートの選択、及び優先度が決定された転送により、先の２つのケースの間のバランスが提供される。
【００２１】
データが転送された後、デコーダ５０は、可変レートのデータを受信して、デコードする。デコーダ５０は、どのレートで、どのストリームがデコードされたかを判定するためのスキーム検出システム５２を有している。その後、デコードされたデータ４４が出力される。
【００２２】
本実施の形態で説明されたシステム、機能、方法及びモジュールは、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせで実現することができる。これらは、任意のタイプのコンピュータシステム、又は本実施の形態で説明された方法を実行するために適合される他の装置により実現される場合がある。ハードウェアとソフトウェアとの一般的な組み合わせは、ロードされて実行されたときに本実施の形態で説明された方法を実行するコンピュータシステムを制御するコンピュータプログラムを有する汎用のコンピュータシステムとすることができる。代替的に、本発明の機能的なタスクのうちの１つ以上を実行するための専用ハードウェアを含んでいる特定用途のコンピュータを使用することもできる。また、本発明は、コンピュータプログラムプロダクトで実現される場合がある。このプログラムプロダクトは、本実施の形態で説明された方法及び機能の実現を可能にする全ての特徴を有しており、コンピュータシステムにロードされたとき、これらの方法及び機能を実行することができる。コンピュータプログラム、ソフトウェアプログラム、プログラム、プログラムプロダクト、又はソフトウェアは、本明細書の文脈では、（ａ）別の言語、コード又は表記への変換、及び／又は（ｂ）異なる素材形式での複製のいずれか又は両者について、直接又は間接的に特定の機能を情報処理能力を有するシステムに実行させることが意図される一組の命令からなる任意の言語、コード又は表記での任意の表現を意味している。
【００２３】
本発明の好適な実施の形態に関する上述した説明は、例示及び記載の目的で示されている。これらは、本発明を排他するものではなく、すなわち開示された特定の形態に制限するものではなく、明らかに、多くの変更及び変形が先の教示に照らして可能である。当業者にとって明らかであるかかる変更及び変形は、添付された特許請求の範囲で定義されるように、本発明の範囲内で含まれる場合がある。
【図面の簡単な説明】
【００２４】
【図１】本発明の第一の実施の形態に係る送信機及び受信機のブロック図である。
【図２】本発明の第二の実施の形態に係る送信機及び受信機のブロック図である。
【図１】
2005506773.tif 000003
【図２】
2005506773.tif 000004
【国際公開パンフレット】
2005506773.tif 000005
2005506773.tif 000006
2005506773.tif 000007
2005506773.tif 000008
2005506773.tif 000009
2005506773.tif 000010
2005506773.tif 000011
2005506773.tif 000012
2005506773.tif 000013
2005506773.tif 000014
2005506773.tif 000015
2005506773.tif 000016
2005506773.tif 000017
【国際調査報告】
2005506773.tif 000018
2005506773.tif 000019
2005506773.tif 000020
2005506773.tif 000021