(57)【要約】  映像および音声通信ネットワーク用ジッタバッファ構成は、それぞれがある特定の層のスケーラブルに符号化されたデータストリームをバッファに格納するように指定された複数のジッタバッファと、受信されたスケーラブルに符号化されたデータストリームを層ごとに復号するように結合されたデコーダとを含む。
2009545204.tif 000002
【特許請求の範囲】
【請求項１】
電子通信ネットワークにおける受信エンドポイント用ジッタバッファ構成であって、
受信したスケーラブルに符号化されたデータストリームの特定の層をバッファに格納するように各ジッタバッファが指定された複数個のジッタバッファと、
前記受信したスケーラブルに符号化されたデータストリームを層ごとに復号するように構成された、前記複数個のジッタバッファに結合されたデコーダとを備えるジッタバッファ構成。
【請求項２】
前記スケーラブルに符号化されたデータストリームが、映像データストリーム、音声データストリームまたはその組合せのうちの少なくとも1つを備える、請求項1に記載のジッタバッファ構成。
【請求項３】
前記複数個のジッタバッファが前記デコーダに先行する、請求項1に記載のジッタバッファ構成。
【請求項４】
前記複数個のジッタバッファが前記デコーダに後続し、前記デコーダの出力を層ごとにバッファに格納する、請求項1に記載のジッタバッファ構成。
【請求項５】
前記複数個の各ジッタバッファがある決められた長さを有し、少なくとも2つのジッタバッファが異なる決められた長さを有する、請求項1に記載のジッタバッファ構成。
【請求項６】
前記複数個の各ジッタバッファが、ネットワーク状態に応じて動的に調整されたある長さを有する、請求項1に記載のジッタバッファ構成。
【請求項７】
第1および第2のジッタバッファがそれぞれベース層およびエンハンスメント層をバッファに格納するように指定された、請求項1に記載のジッタバッファ構成。
【請求項８】
前記第1および第2のジッタバッファの前記決められた長さが、前記ネットワークを介して受信された映像ストリームのジッタの統計的概算に基づく、請求項7に記載のジッタバッファ構成。
【請求項９】
前記第1のバッファの前記決められた長さが、前記第2のジッタバッファの前記決められた長さの一部である、請求項7に記載のジッタバッファ構成。
【請求項１０】
電子通信ネットワークにおける受信エンドポイントでジッタバッファ遅延を管理するための方法であって、
受信したスケーラブルに符号化されたデータストリームのある特定の層をバッファに格納するように各ジッタバッファが指定された複数個のジッタバッファを提供するステップと、
前記受信したスケーラブルに符号化されたデータストリームを層ごとに復号するように構成されたデコーダを前記複数個のジッタバッファに結合するステップとを含む方法。
【請求項１１】
前記スケーラブルに符号化されたデータストリームが、映像データストリーム、音声データストリームまたはその組合せのうちの少なくとも1つを備える、請求項10に記載の方法。
【請求項１２】
前記複数個のジッタバッファが前記結合されたデコーダに先行する、請求項10に記載の方法。
【請求項１３】
前記複数個のジッタバッファが前記結合されたデコーダに後続し、前記方法が、前記デコーダの出力を層ごとにバッファに格納するステップをさらに含む、請求項10に記載の方法。
【請求項１４】
複数個のジッタバッファを提供するステップが、それぞれがある決められた長さを有する複数個のジッタバッファを提供するステップを含み、少なくとも2つのジッタバッファが異なる決められた長さを有する、請求項10に記載の方法。
【請求項１５】
複数個のジッタバッファを提供するステップが、それぞれがある決められた長さを有する複数個のジッタバッファを提供するステップを含み、前記決められた長さをネットワーク状態に応じて動的に調整するステップをさらに含む、請求項10に記載の方法。
【請求項１６】
複数個のジッタバッファを提供するステップが、それぞれベース層およびエンハンスメント層をバッファに格納するように指定された、第1および第2のジッタバッファを提供するステップを含む、請求項10に記載の方法。
【請求項１７】
前記ネットワーク上に伝送された映像ストリームのジッタの統計的概算に基づき前記ジッタバッファに前記決められた長さを割り当てるステップをさらに含む、請求項16に記載の方法。
【請求項１８】
前記第2のジッタバッファに割り当てられた前記決められた長さの一部である、前記第1のバッファに決められた長さを割り当てるステップをさらに含む、請求項16に記載の方法。
【請求項１９】
請求項10から請求項18の少なくとも一項に記載のステップを実行するための命令セットを含む、コンピュータ可読メディア。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、2005年7月20日出願の米国仮特許出願第60/701,110号の利益を主張する。さらに、本願は、同時に出願された米国特許出願第[SVCSystem]号、[SVC]号および[base trunk]号に関する。前記の優先権および関連出願のすべてを、参照により本明細書に全体として組み込む。
【０００２】
本発明は、マルチメディアおよび遠隔通信技術に関する。詳しくは、本発明は音声および映像データ通信システムに関し、特に映像の符号化/復号化システムにおけるジッタバッファの使用に関する。
【背景技術】
【０００３】
従来の電子通信ネットワーク(インターネットプロトコル(「IP」)ネットワークなど)を介して送信されたデータパケット/信号(音声信号および映像信号など)は、信号の整合性および品質を劣化させる望ましくない現象の影響を受けやすい。望ましくない現象としては、例えば、変動遅延(すなわち、各データパケットごとに異なる遅延が生じることであり、「ジッタ」としても知られる)、連続パケットの故障受信、およびパケット損失がある。
【０００４】
従来のストリーミングビデオ方式では、ネットワークデバイスは通常、ネットワークからマルチメディアパケットまたは映像パケットを受信し、これらのパケットをバッファに格納する。バッファは、故障パケットまたは遅延パケットが到着するのに十分な時間を割り当てる。次いでバッファは再生する一定の速度でマルチメディア/ビデオのデータをリリースまたは送り込むことができる。ある特定のデータフレームが2つ以上のパケットで届けられる場合、バッファは、各フレームのすべての部分が到着するのに十分な時間を割り当てなければならない。ジッタバッファの長さ/遅延は、IP通信システムにおける終端間遅延全体の大部分を占めることがある。
【０００５】
通常、ジッタバッファの長さ(すなわち遅延)は、フレームのほとんどすべてのフラグメントが、次のフレームが画面表示のために復号されるべきその前に到着するように、十分な時間を見込むように調整される。
【０００６】
スケーラブル符号化技術では、データ信号(例えば音声信号および/または映像データ信号)を多層形式で伝送するために符号化および圧縮することが可能である。対象となるデータ信号の情報の内容は、符号化された複数の層のすべての層に分配される。複数の層のそれぞれまたは層の組合せを、それぞれのビットストリーム内で伝送することができる。「ベース層」ビットストリームは、設計上、もとの音声信号および/または映像信号の所望の最低品質水準または基本品質水準の復元に十分な情報を、復号時に伝送することができる。他の「エンハンスメント層」ビットストリームは、もとの音声信号および/または映像信号の基本レベルの品質での再生をより良いものにするために使うことができる追加情報を伝送することができる。
【０００７】
スケーラブルオーディオ符号化(SAC)およびスケーラブルビデオ符号化(SVC)は、電子通信ネットワーク上で実施される音声会議システムおよび/またはテレビ会議システムに用いることができる。同時に出願された米国特許出願第[SVCSystem]号および[SVC]号は、例示的な音声会議および/またはテレビ会議用途の、音声および映像のスケーラブル符号化のためのシステムおよび方法を説明している。この参照した特許は、会議を行っているエンドポイント間のSAC層ビットストリームおよびSVC層ビットストリームの伝送を取り持つように設計された特定のIPベースのマルチポイント制御ユニット(MCU)、スケーラブルオーディオコンファレンシングサーバー(SACS)およびスケーラブルビデオコンファレンシングサーバー(SVSC)を説明している。
【０００８】
エンハンスメント層を生じさせるための他の方法はまた、以下のものを含むことに留意されたい。a)ベース層情報を使用せず、高品質信号を完全表記する方法で、「同報」としても知られる方法、またはb)表示そのものに関するサブセットは「ベース層」、残りの表示はエンハンスメントとみなされる、相関性は最低限であるが同様の品質の同じ信号を2つ以上表記する方法。この後者の方法は「多重記述符号化」としても知られている。簡略のため、本明細書ではこれらの方法をすべて、ベース層符号化およびエンハンスメント層符号化という。
【０００９】
次に、映像通信システムに用いられるジッタバッファの設計の改良について考察する。特に、スケーラブル符号化された映像ストリームを伝送する通信システムにおいて効果的なジッタバッファの設計に注目されたい。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
スケーラブル符号化された映像ストリームを伝送する映像通信システムにおける、ジッタバッファの長さまたは遅延の低減のための、システムおよび方法を提供する。
【課題を解決するための手段】
【００１１】
本発明のシステムおよび方法は、一般に、受信機/エンドポイントに複数個のジッタバッファを配置して、受信したSVCストリームの2つ以上の層を別々にバッファに格納することを含む。さらに、この複数個のジッタバッファを、例えば、個々の層ストリームの異なる損失率に対応するように、異なる遅延設定で構成することができる。
【００１２】
本発明の例示的実施形態においては、SVCデータを受信するシステム(例えば受信端末またはエンドポイント)は、複数のジッタバッファを含み、そのそれぞれが、受信したSVCデータストリームの層のうちの1つをそれぞれバッファに格納するよう指定されている。これらのジッタバッファは、システム全体の遅延を低減する形で異なる長さ/遅延で構成されている。受信端末/エンドポイントはまた、バッファに格納された映像データストリームを層ごとに復号することができるデコーダを含む。このデコーダは、表示された映像の品質に対する影響を最小限にしながらシステムの遅延性能が向上する形で、エンハンスメント層の情報を選択的にドロップさせるように構成されている。
【００１３】
特に断りのない限り、図示する実施形態の同様の特徴、要素、部品または部分を示すために同じ参照番号および文字を複数の図面を通して使用する。さらに、以下、これらの図面を参照して本発明を詳細に説明するが、この説明は例示的実施形態に関して説明するものである。
【発明を実施するための最良の形態】
【００１４】
映像通信システムにおける遅延を低減するように設計されたジッタバッファ構成が提供される。このジッタバッファ構成は、ベース層およびエンハンスメント層のスケーラブル符号化など、多層フォーマットに符号化された映像データストリームを受信する、映像受信端末または通信システムのエンドポイントで実施することができる。エンハンスメント層を生じさせる他の方法はまた、とりわけ、同報および多重記述符号化などを含むことに留意されたい。簡略のため、本明細書ではこれらの方法をすべて、ベース層およびエンハンスメント層符号化という。
【００１５】
このジッタバッファ構成は、複数の独立したジッタバッファを含み、そのそれぞれが、入力映像データストリームの特定の層(または特定の層の組合せ)のためのデータパケットをバッファに格納するよう指定される。このジッタバッファ構成はさらに、バッファに格納されたデータパケットを独立したジッタバッファごとに復号するように設計されたデコーダを含むか、あるいはそのようなデコーダに関連付けられる。
【００１６】
図1Aおよび図1Bは、受信端末またはエンドポイント(例えばそれぞれエンドポイント110および120)に組み込むことができる例示的ジッタバッファ/デコーダ構成100Aおよび100Bを示す。構成100Aおよび100Bはどちらも、(例えばベース層150Aおよびエンハンスメント層150Bから150Dのような)多層フォーマットにスケーラブルに符号化された映像データストリーム150を受信し、復号し、表示するように設計されている。どちらの構成も、入力映像データストリーム150の映像パケットを層ごとにバッファに格納するための複数のジッタバッファ130を含む。例えば、図のジッタバッファ130Aおよび130Bは、映像ストリームベース層150Aに対応するベースジッタバッファと、それぞれ映像ストリームエンハンスメント層150Bから150Dに対応するジッタバッファ1、2および3とを含む。構成100Aおよび100Bはどちらも、デコーダ140を含む。構成100Aでは、デコーダ140がジッタバッファ130Aに先行し、その結果、入力映像ストリーム層150AからDはバッファに格納される前に復号される。反対に、構成100Bでは、デコーダ140がジッタバッファ130Bに後続し、その結果、映像ストリーム層150AからDはバッファに格納され、その後、復号される。構成100Aおよび100Bの出力はマルチプレクサー(例えばMUX150)で多重化され、表示のために復元された映像ストリーム160を生成し得る。
【００１７】
さらに、エンドポイント110/120は、それぞれのバッファ内のベース層およびエンハンスメント層の映像ストリームパケットに異なるバッファリング時間、すなわち待ち時間を考慮する、適切なジッタバッファ管理アルゴリズムを含んでもよい。層によって待ち時間(すなわちジッタバッファの長さ/遅延)の配分を選択して、システムの全体的な遅延を最小限にすることができる。例えば、エンハンスメント層の許容エラー率(すなわち、遅延到着パケットが廃棄されたか、ジッタバッファによりドロップしたと考えられる率)が、ベース層に容認されるエラー率よりも高くなるように、ジッタバッファ/デコーダ構成100Aおよび100Bを構成することができる。この方式は、実際にはベース層パケットはエンハンスメント層パケットより小さい傾向があり、それ故にもともとジッタの影響を受けにくいことを認識し、かつベース層パケットはたいていの場合にはパケット損失およびジッタが起こりにくい良質のリンクまたはチャンネルを通して伝送されることを認識するものである。
【００１８】
ジッタバッファの長さ/遅延の値およびそれらの配分は、ネットワークの状態(例えば損失率またはトラヒック負荷)またはその他のどんな要因に応じても、動的に調整することができる。
【００１９】
本発明のジッタバッファ構成では、受信フレームに含まれるデータが表示または再生可能となる以前の全体的な通信システム遅延を大幅に低減することができる。このような低減された遅延は、すべての音声通信システムおよび映像通信システム、とりわけ、テレビ会議または音声通信用途などリアルタイムで動作するシステムにおいて望ましい品質特性である。
【００２０】
本発明のジッタバッファ構成により、有利には、別々にバッファに格納されたベース層およびエンハンスメント層を別々に復号することもできる。受信エンドポイント110/120は、他の層が到着するのを待たずに、ベース層およびエンハンスメント層のうちのいずれかの復号を始めることができる。この特徴により、デコーディングCPUまたはDSP(例えばデコーダ140)のアイドルタイムの量を低減または最小限にし、それにより全体的な稼働率を増やすことができる。この特徴により、複数のCPUまたはCPUコアの使用も容易になる。
【００２１】
本発明の例示的実施形態によれば、異なるジッタバッファを、映像ストリームのうちの異なる品質の層のそれぞれと関連付けることができる。ネットワーク状態に応じ、別個の値を異なるジッタバッファ遅延または長さに割り当てることができ、その結果、映像フレームに関連するベース層パケットは、関連するエンハンスメント層パケットの偶発的な損失を容認または許容しても、適時に受信する可能性が非常に高くなる。
【００２２】
あらためて図1Aおよび1Bに言及すると、構成100Aは、並列の入力映像ストリーム層150Aから150Bを復号するデコーダ140と、それぞれの復号された層ストリームをバッファに格納する複数のジッタバッファ130Aとを含む。構成100Bでは、デコーダ140は層の復号を行うが、この処理は相互依存している(すなわち、他の層を復号するためにある層が必要とされる)。どちらの構成でも、映像データの特定の層と関連するジッタバッファ用の動作パラメータと、映像データの他の層と関連するジッタバッファに用いられる動作パラメータとが異なってもよい。ジッタバッファ用の動作パラメータ(例えば遅延または長さの設定)は、ネットワーク状態に応じて、または特定の実施のための他の事柄に対処するために、適切に選択または調整することができる。
【００２３】
ジッタバッファの長さ/遅延の選択および割り当てのための処理手順の例を、本明細書では、スケーラブルビデオコーディングを使用した例示的ビデオシステムBと、スケーラブルビデオコーディングを使用しない対照的なビデオシステムAとを参照して説明する。システムAまたはシステムBはどちらも、複数の伝送されたデータパケット(例えば3つのパケット)が、所与の映像フレームに関連する情報すべてを取り込むことができる。システムAでは、その伝送されたパケットのすべてが、フレームを表示するために必要とされる。フレームに関連するパケットが、同程度だが無相関の到着可能性を有するとして、受信機が正しい表示を得る可能性Pは
P=(1-p)n
によって与えられ、式中、pは、そのフレームに関連する単一のパケットがあるジッタバッファ遅延dより遅れて到着する可能性であり、それより遅く到着したパケットはすべてロストしたとみなされ、nは、フレームを復元するために必要なパケットの数である。システムAでは、数字nはそのフレームに関連する伝送されたパケットの合計数である。対照的に、システムBでは、数字nは1(すなわちベース層)である。したがって、フレームがシステムBに正しく表示されるであろう可能性Pは、その一部(1-p)で、フレームがシステムAに正しく表示されるであろう可能性(1-p)nよりも大きい。
【００２４】
スケーラブルビデオコーディングを使用する、システムBのための適切なジッタバッファの長さ/遅延を選択するための設計手順では、可能性pは、ジッタの統計値が正規分布であるとの仮定の下で、ジッタバッファ遅延dの関数として誤差関数を用いて計算することができる。
【００２５】
図2は、1つから3つのパケットの1つの映像フレームに対する計算されたエラー率またはフレームドロップ率(1-P)の例を、ジッタの適切な測定により正規化された、ジッタバッファの長さ/遅延Dの関数として示すものである。このジッタの適切な測定は、ネットワークにおけるパケットの到着遅延の1つの標準偏差として定義される。図2からわかるように、上で定義したシステムAに対するジッタバッファ遅延Dを一方で約1標準偏差に設定するとき、システムBに対するジッタバッファ遅延Dを約1/3標準偏差に設定することによって、システムAとシステムB双方で類似したフレームドロップ率が得られる。この2つのシステムが類似したフレームドロップ率を得るのは、システムAが適切なフレームの復元と表示のために3つのパケットすべての受信を待たなければならないのに対し、エンハンスメント層のパケットの損失を許容するシステムBはベース層の受信のみを待つ必要があるだけだからである。したがって、システムAが30ミリ秒のジッタを示す場合、システムBではその遅延から約10ミリ秒を引いたものになる。
【００２６】
エンハンスメント層を受信せずにシステムBで映像フレームを再生および表示することは、「解像度低下率」に結びつけられる(すなわち、ベース層パケットは遅れずに到着するが、エンハンスメント層パケットは遅れて到着する場合である)。図2を参照すると、許容できるベース層ドロップ率が1％に設定されるとして、解像度低下率もせいぜい数パーセントポイントである。
【００２７】
本発明の他の例示的な実施形態では、ネットワーク状態に応じて、異なる長さ/遅延を、ベース層およびエンハンスメント層とそれぞれ関連する個々のジッタバッファに割り当てることができる。本明細書での説明を簡単にするために、例えば、ベース層フレームが1つのパケットに含まれ、エンハンスメント層フレームがすべて第2のパケットにフレームとして含まれるとする。そうすると、1つの対応するベース層ジッタバッファと、1つの対応するエンハンスメント層バッファが存在するだけとなる。この例では、ベース層からデータがドロップしないか、せいぜい無視できる量のデータしかドロップしないように(すなわち、ほとんどフレームドロップ率ゼロを達成するように)ベース層ジッタバッファの長さを構成することができ、その結果、解像度低下率のシステムパフォーマンスが満足できるものとなる。エンハンスメント層ジッタバッファのための長さ/遅延は、ベース層ジッタバッファのための長さ/遅延の2倍に設定することができる。
【００２８】
さらに、この例では、ベース層またはエンハンスメント層の1つのフレームが1つのパケットに含まれるので、フレームドロップ率はパケットドロップ率と同じである。図3は、ベース層とエンハンスメント層の異なる組合せのシナリオに対する、算出されたフレームドロップ率を(ベースジッタに対し正規化された)dの関数として示すグラフである。
【００２９】
図3からわかるように、約2.7の正規化されたジッタバッファの長さ/遅延の比は、1×10-4のベース層ドロップ率に相当する(例えば、1-3パケットフレーム構成では300秒ごとに1つのフレームがドロップする)。層化されていないシステム、またはジッタバッファの長さがベース層およびエンハンスメント層の両方に対して同じであるシステムで同じ低エラー率を得るためには、合計のジッタバッファの長さ/遅延は、本例ではベース層ジッタの2倍であるエンハンスメント層ジッタに対応するには少なくとも2倍でなければならないことになる。本発明の例示的実施形態は、映像表示にこの余分な2倍の遅れが導入されることを防止している。
【００３０】
以上、本発明の好ましいと考えられる実施形態を説明してきたが、当業者には理解されるように、発明の趣旨から外れることなく他のさらなる変更および修正を加えることができる。また、本発明の真の範囲に入るすべての変更および修正を特許請求することが企図されている。例えば、本発明のジッタバッファ構成は、本明細書ではマルチレイヤーフォーマットに符号化された映像データストリームに関して説明された。しかしながら、本発明のジッタバッファ構成を、マルチレイヤーフォーマットに符号化された音声データストリームにも実施できることが容易に理解されよう。
【００３１】
また、本発明によれば、このジッタバッファおよびデコーダ構成を、ハードウェアおよびソフトウェアの任意の適切な組合せを用いて実施することができることも理解されよう。前述のジッタバッファおよびデコーダ構成を実施し操作するためのソフトウェア(すなわち命令)は、ファームウェア、マイクロコントローラ、マイクロプロセッサー、集積回路、ASIC、オンラインダウンロード可能なメディアおよび他の使用可能のメディアを含むがこれらに限定されない、コンピュータ可読のメディアにおいて提供することができる。
【図面の簡単な説明】
【００３２】
【図１】AおよびBは、本発明の原理により設計されたジッタバッファの構成を含む、スケーラブルに符号化された映像データの受信機の例を示す構成図である。
【図２】本発明のジッタバッファの構成の利点を説明する、エラー率のグラフである。
【図３】本発明のジッタバッファの構成の利点を説明する、エラー率のグラフである。
【図１】
2009545204.tif 000003
【図２】
2009545204.tif 000004
【図３】
2009545204.tif 000005
【国際調査報告】
2009545204.tif 000006