(57)【特許請求の範囲】
【請求項１】
スケーラブル映像符号化のための仮想リファレンスデコーダの実現方法であって、
ｉを整数として、スケーラブルレイヤｉの従属レイヤ、テンポラルレイヤ及びクオリティレイヤを示すビットストリームに含まれる変数の値を決定する段階と、
前記スケーラブルレイヤｉに対応する仮想リファレンスデコーダを定義するために必要とされるパラメータを決定する段階とを含み、
決定されたパラメータは、少なくとも１つのビットレートパラメータを含み、前記ビットレートパラメータは、前記スケーラブルレイヤｉ及びその従属レイヤのビットに基づいて決定され、
前記決定されたパラメータは、最初の符号化ピクチャバッファ（ＣＰＢ）の引き抜き遅延及び最初のＣＰＢの引き抜き遅延のオフセット、ＣＰＢの引き抜き遅延、及び復号化ピクチャバッファ（ＤＰＢ）の出力遅延を更に含み、前記ＣＰＢの引き抜き遅延及び前記ＤＰＢの出力遅延は、異なる空間レイヤ及びクオリティレイヤに対応するスケーラブルレイヤについて変化しない、方法。
【請求項２】
前記ビットストリームにおいて多数の相互運用のポイントが存在し、前記多数の相互運用ポイントは、互いに関してスケーラビリティを示す、
請求項１記載の方法。
【請求項３】
前記示されるスケーラビリティは、空間スケーラビリティ、時間スケーラビリティ及びＳＮＲスケーラビリティのうちの１以上を含む、
請求項２記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮映像システムにおけるスケーラブル映像符号化用の仮想リファレンスデコーダに関する。  
本出願は、2007年1月5日に提出された米国特許仮出願第60/878729号の利益を請求するものであり、この米国仮出願は、引用によりその完全な形で盛り込まれる。
【背景技術】
【０００２】
仮想リファレンスデコーダは、ある規格に準拠するために符号化ビットストリームを有効にする役割を果たすため、圧縮映像システムにおいて重要である。H.264/AVCのような符号化規格では、その規格のスケーラブル映像符号化の特徴による様々な相互運用のポイント（interoperability points）が存在する。H.264/AVC規格は、HRDを定義する（要件、制約、又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。SVCビットストリームは、典型的に、少なくとも部分的にビットストリームがスケーラブルであるという事実のため、多数の相互運用のポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである場合がある。スケーラブルな態様に対応するサブビットストリームは、ビットストリームから抽出される場合がある。前のHRDは、AVCにおけるSVCのビットストリームのような、ビットストリームを有効にするための十分なルールを有していない。
【発明の開示】
【課題を解決するための手段】
【０００３】
この開示は、SVCの仮想リファレンスデコーダ（HRD: Hypothetical Reference Decoder）を提供する少なくとも１つの実現を記載する。１つの係る実現は、SVCとの使用向けに、H.264/AVC HRDを変更するすることを提案する。その実現は、SVCのそれぞれの相互運用のポイントのためにHRDの制約を定義する。特に１つの実現が記載されるが、他の実現も可能であり、この開示により考案される。この開示の第一の部分は、空間、時間及びSNRスケーラビリティのそれぞれの変更を記載する。この開示の第二の部分は、仕様のテキストにより後続される関連されるHRDパラメータへの変更を記載する。
【０００４】
H.264/AVC規格は、HRDを定義する（要件、制約又は動作の仕様とも呼ばれる）ルールを有する。HRDの振る舞いは、規範的なものである。AVCビットストリームは、ルールに従って構築されたHRDに準拠する必要がある。SVC（Scalable Video Coding）は、AVC規格に対する拡張（Annex G）である。この開示は、SVC向けのHRDのルールを提供する１以上の実現を記載する。少なくとも１つの実現は、AVC-HRDのルールに対する変更としてSVC-HRDルールを提案する。ユーザは、提案されたSVC-HRDのルールを使用してSVC-HRDを構築し、SVC準拠のためにビットストリームをテストする場合がある。
【図面の簡単な説明】
【０００５】
【図１】AVC系列のシーケンスパラメータセットを示す表である。
【図２】AVCのバッファリング期間SEIメッセージを示す表である。
【図３】提案されるHRDパラメータを示す表である。
【図４】提案されるVUIパラメータを示す表である。
【図５】提案されるbuffer_periodSEIメッセージを示す表である。
【図６】提案されるピクチャタイミングSEIメッセージを示す表である。
【発明を実施するための最良の形態】
【０００６】
SVCビットストリームは、典型的に、少なくとも部分的に、ビットストリームがスケーラブルであるという事実のため、（動作ポイントとも呼ばれる）多数の相互運用ポイントを有する。係るビットストリームは、たとえば空間、時間及びSNRにおいてスケーラブルである。スケーラブルなアスペクトに対応するサブビットストリームは、ビットストリームから抽出される。１つの実現では、それぞれの相互運用のポイントは、SVCコンプライアンスを保証するため、HRDによりチェックされる。HRDは、それぞれのチェックポイントのHRDの制約を個別に定義する場合がある。また、幾つかのチェックポイントは、１つのHRDの制約に従う場合がある。この開示で記載される少なくとも１つの実現では、個別のHRDの制約は、それぞれのチェックポイントについて提案される。個別のHRDの制約の使用は動作を容易にする場合があり、H.263+のアプローチに対する幾つかの類似点を提供する場合がある。
【０００７】
この部分において、１つの特定の実現のコンテクストでは、空間、SNR及び時間のスケーラビリティのそれぞれからのSVCにおけるHRDを満たすため、H.264/AVCにおけるHRDから変更すべきか、及び何を変更すべきかが分析される。これは、各種の多数の可能なタイプのスケーラビリティを調べる１つの概念的な視点からの記載を提供するものであり、他の概念的な視点も可能である。
【０００８】
１．空間SVC
１.１  VUIメッセージにおけるHRD：
VUIメッセージは、SPSに含まれる（表１におけるvui_parameters()を参照）。それぞれの空間SVCレイヤについて、ピクチャサイズは他のレイヤとは異なるため、その対応するSPSは、他のレイヤのものとは異なる。したがって、AVCにおけるVUIのHRDは、変更なしに、空間SVCのVUIのHRDに直接に適用することができる。それぞれのチェックポイントについて、表１に示されるように、AVCのHRDルールを通して正しいVUIメッセージを取得することができる。
【０００９】
１.２  バッファリング期間SEIメッセージ：
seq_parameter_set_idは、バッファリング期間SEIメッセージにある。それぞれの空間SVCレイヤに対応するSPSにおけるseq_parameter_set_idを索引付けすることで、それぞれの空間SVCレイヤのバッファリング期間を得ることができる。したがって、空間SVCについて、AVCにおけるHRDのバッファリング期間SEIメッセージは、空間SVCについて直接的に適用することができる。それぞれのチェックポイントについて、表２に示されるように、現在のHRDを変更することなしに、正しいバッファリング期間SEIメッセージを得ることができる。
【００１０】
１.３  ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるレイヤについて同じである（表６参照）。したがって、空間スケーラビリティについて変更が必要とされない。
【００１１】
２．SNRスケーラビリティ
２.１  VUIメッセージ：
SNR SVCについて、dependency_id又はquality_levelによりクオリティレイヤを示すことができる。異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表３参照）。
【００１２】
２.２  バッファリング期間SEIメッセージ：
SNR SVCについて、異なるクオリティレイヤ／レベルは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全てのクオリティレイヤ／レベルについてHRD情報を含むように変更される（表５）。
【００１３】
２.３  ピクチャタイミングSEIメッセージ：
cpb_removal_delay及びdpb_output_delayは、同じアクセスユニットにおける異なるクオリティレイヤ／レベルについて同じである。したがって、空間スケーラビリティについて変更が必要とされない。
【００１４】
３．時間SVC
３.１  VUIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、AVCにおけるVUIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表３参照）。
【００１５】
３.２  バッファリングSEIメッセージ：
時間SVCについて、異なる時間レイヤは、同じSPSを共有することができ、したがって、バッファリング期間SEIメッセージに存在するseq_parameter_set_idとの１対１のマッピングを有さない。バッファリング期間SEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表５参照）。
【００１６】
３.３  ピクチャタイミングSEIメッセージ：
時間SVCについて、フレームレートは、それぞれの時間レイヤについて異なる。下位の時間レイヤは、上位の時間レイヤに従属するレイヤとしての役割を果たすことができるため、これは、所与のtemporal_levelをもつ１つのNALユニットが幾つかのフレームレートについて機能する場合があることを意味する。ピクチャタイミングSEIメッセージは、全ての時間レイヤについてHRD情報を含むように変更される（表６参照）。
【００１７】
３.４  VUIメッセージでは、timing_info_present_flagが真であるとき、正しいフレームレート情報を反映するため、num_units_in_tick、time_scale及びfixed_frame_rate_flagを変更することを考える（表４参照）。
【００１８】
（空間、時間及びSNR）スケーラビリティの全ての３つの概念的なレベルは、AVC-HRDルールに対する以下の変更において結合される。表３〜表６は、AVC規格から採用されており、AVC-HRDに関連する。AVC規格に加えて、イタリック体を使用して表が示される。他の実現が削除を有する場合があるが、AVC規格の表からの削除はない。太字の項は、ビットストリームで実際に送出されるシンタックスである。見ることができるように、表３〜表６のそれぞれは、可変の“profile_idc”をテストする“if-then”ループを導入することでAVC規格が変更されていることを示す。“profile_idc”が“SVC”に等しい場合、１以上のポイントをテストするためにｉｆループが１以上の回数で実行される。“profile_idc”が“SVC”に等しくない場合、“AVC”が関連する規格であると推測され、（既存のAVC-HRDルールを使用して）AVCコンプライアンスについて１つのポイントをテストするため、“else”ループが実行される。表３では、変数“dependency_id[i]”、“temporal_level[i]”、及び“quality level[i]”は、各種のスケーラブルなオプションを提供する。これらの変数は結合された８ビットの長さを有するため、SVCビットストリームについて２**８チェックポイントまでになる。実現は、８ビットを使用して０〜２５５までループすることができる。これは、AVCビットストリームについて１つのチェックポイントに比較される。
【００１９】
１．VUIメッセージでは、HRDパラメータは、表３で示されるように、同じSPSを共有するそれぞれの従属のレイヤ、時間レイヤ及びクオリティレイヤについて指示される。timing_infor_present_flagが真であるとき、num_units_in_tick、time_scale及びfixed_frame_rate_flagは、表４で示されるように、それぞれの時間レイヤについて指示される。
【００２０】
２．バッファリング期間SEIメッセージにおいて、HRDに関連するパラメータは、表５に示されるように、同じsequence_parameter_set_idを共有するそれぞれの従属レイヤ、時間レイヤ及びクオリティレイヤについて指示される。
【００２１】
３．ピクチャタイミングSEIメッセージにおいて、HRDに関連するパラメータは、表６に示されるように、それぞれの時間レイヤについて指示される。
【００２２】
表３〜表６の動作が概説される。表３は、それぞれのチェックポイント／レイヤについてビットレート及びｃｐｂ（符号化ピクチャバッファ）サイズを定義する。表４は、それぞれの時間レイヤについてフレームレートを定義する。表５は、それぞれのチェックポイント／レイヤについて最初のｃｐｂ遅延及び最初のｄｐｂ（復号化ピクチャバッファ）遅延を定義する。表６は、それぞれのチェックポイント／レイヤについてｃｐｂ引き抜き遅延及びｄｐｂ出力遅延を定義する。それぞれのチェックポイント／レイヤについて、先のパラメータがＨＲＤルールにおいて使用され、同じことがＡＶＣについて行われ、ビットストリームが準拠するかがテストされる。
【００２３】
num_layer_minus1に１を加えたものは、このhrd_parameters()を含むＳＰＳにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。
【００２４】
dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのdependency_idに等しい。
【００２５】
temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのtemporal_levelに等しい。
【００２６】
quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるＮＡＬユニットのquality_levelに等しい。
【００２７】
cpb_cnt_minus1[i], bit_rate_scale[i],
cpb_size_scale[i], bit_rate_value_minus[i][SchedSelldx],
cpb_size_value_minus[i][SchedSelldx], cbr_flag[i][SchedSelldx],
initial_cpb_removal_delay_length_minus1[i], cpb_removal_delay_length_minus1[i],
dpb_output_delay_length_minus1[i], time_offset_length[i]は、スケーラブルレイヤｉのそれらの対応する値にそれぞれ等しい*1。（*１）：定義において、ビットレートは、スケーラブルレイヤｉ及びその従属レイヤのビットを含む、
num_temporal_layer_minus1に１を加えたものは、ビットストリームによりサポートされる時間レイヤの数を示す。これは、ビットストリームにおけるNALユニットの最大のtemporal_levelに等しい。
【００２８】
timing_info_present_flag[i],
num_units_in_tick[i], time_scale[i], fixed_frame_rate_flag[i]は、時間レイヤｉについてそれらの対応する値にそれぞれ等しい。
【００２９】
num_layer_minus1に１を加えたものは、buffer_period SEIメッセージにおける同じseq_parameter_set_idを参照するビットストリームによりサポートされるスケーラブルレイヤ又はプレゼンテーションポイントの数を示す。
【００３０】
dependency_id[i]は、スケーラブルレイヤｉの従属（CGS）レイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのdependency_idに等しい。
【００３１】
temporal_level[i]は、スケーラブルレイヤｉのテンポラルレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのtemporal_levelに等しい。
【００３２】
quality_level[i]は、スケーラブルレイヤｉのクオリティレイヤを示す。これは、スケーラブルレイヤｉにおけるNALユニットのquality_levelに等しい。
【００３３】
initial_cpb_removal_delay[i][SchedSelldx],
initial_cpb_removal_delay_offset[i][SchedSelldx]は、スケーラブルレイヤｉについてそれらの対応する値にそれぞれ等しい。
【００３４】
num_temporal_layer_minus1に１を加えたものは、そのアクセスユニットがこのピクチャタイミングSEIメッセージと関連付けされるNALユニットに依存するテンポラルレイヤの数を示す。
【００３５】
temporal_layer[i]は、テンポラルレイヤｉのテンポラルレベルを示す。
【００３６】
cpb_removal_delay[i], dpb_output_delay[i]は、テンポラルレイヤｉについてそれらの対応する値にそれぞれ等しい。
【００３７】
様々な実現は、この開示により意図され、これらの実現は、この開示で記載される１以上の特徴を含む場合がある。係る実現は、方法、装置又は命令からなるプログラムの形式である場合があり、たとえばハードウェア、ソフトウェア又はその組み合わせを使用して実現される場合がある。幾つかの可能性のある実現は、以下の特許請求の範囲に示される。
【図１】
0005535646.tif 000002
【図２】
0005535646.tif 000003
【図３】
0005535646.tif 000004
【図４】
0005535646.tif 000005
【図５】
0005535646.tif 000006
【図６】
0005535646.tif 000007