(57)【要約】  Ｈ．２６４／ＳＶＣ標準によりビデオデータをスケーラブルに符号化する方法である。該方法は、各レイヤへの少なくとも１つの参照と付加情報メッセージへのリンクとを含む、前記データストリームの各レイヤのスケーラブルネスティング付加情報メッセージを挿入する段階と、前記ネスティング付加情報メッセージに続けて、前記レイヤのビデオ表示情報を含む各スケーラブルネスティング付加情報メッセージの前記付加情報メッセージを挿入する段階とを含む。
2010531554.tif 000002
【特許請求の範囲】
【請求項１】
Ｈ．２６４／ＳＶＣ標準によりビデオデータをスケーラブルに符号化する方法であって、
各レイヤへの少なくとも１つの参照と付加情報メッセージへのリンクとを含む、前記データストリームの各レイヤのスケーラブルネスティング付加情報メッセージを挿入する段階と、
前記ネスティング付加情報メッセージに続けて、前記レイヤのビデオ表示情報を含む各スケーラブルネスティング付加情報メッセージの前記付加情報メッセージを挿入する段階とを含むことを特徴とする方法。
【請求項２】
前記付加情報メッセージは、前記レイヤがリンクしているシーケンスパラメータセットへの参照を含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記付加情報メッセージは、Ｈ．２６４／ＳＶＣ標準で規定されたビデオ表示情報を含むことを特徴とする、請求項２に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオデータをスケーラブルに符号化する方法に関する。
【背景技術】
【０００２】
本発明は、データをスケーラブルに符号化できるビデオ符号化の技術分野にかかわる。
【０００３】
複数レイヤによるビデオデータの符号化は、そのデータの利用を想定する複数の端末の機能が異なり、完全なデータストリームを復号できず一部のみしか復号できない場合に、大いに役立つ。ビデオデータを複数のレイヤによりスケーラブルに符号化した場合、受信端末は、受信ビットストリームからそのプロファイルによりデータを取り出すことができる。
【０００４】
今日、ビデオデータを複数のレイヤ及び／またはプロファイルで符号化するビデオ符号化標準がある。その１つとして、Ｈ．２６４／ＳＶＣがあり、ＩＴＵ−Ｔ  Ｈ．２６４標準とも呼ばれている。
【０００５】
しかし、受信側が必要とするデータ以上のデータを送信するオーバーロードが問題となっている。
【０００６】
Ｈ．２６４／ＳＶＣまたはＭＶＣの場合（ＳＶＣはスケーラブルビデオ符号化を表し、ＭＶＣはマルチビュービデオ符号化を表す）、複数レイヤの送信には、異なるレイヤが必要とするパラメータをすべて送信するために多数のヘッダを送信する必要がある。標準の現行版では、１つのヘッダがすべてのレイヤに対応するパラメータを含む。そのため、ベースレイヤのみを送信する必要がある時でも、エンハンスメントレイヤに関する情報もすべて送信しなければならない。それゆえ、データの宛先であるデバイスがすべてのレイヤのデータを要求しなくても、すべてのレイヤのすべてのパラメータを送信するため、ネットワークに大きな負荷がかかる。
【０００７】
本発明はこうした欠点のうち少なくとも１つを解消することを提案するものである。
【発明の開示】
【課題を解決するための手段】
【０００８】
この目的を達成するため、本発明は、Ｈ．２６４／ＳＶＣ標準によりビデオデータをスケーラブルに符号化する方法を提案する。本発明によると、該方法は、各レイヤへの少なくとも１つの参照と付加情報メッセージへのリンクとを含む、前記データストリームの各レイヤのスケーラブルネスティング付加情報メッセージを挿入する段階と、前記ネスティング付加情報メッセージに続けて、前記レイヤのビデオ表示情報を含む各スケーラブルネスティング付加情報メッセージの前記付加情報メッセージを挿入する段階とを含む。
【０００９】
好ましい一実施形態によると、前記付加情報メッセージは、前記レイヤがリンクしているシーケンスパラメータセットへの参照を含む。
【００１０】
好ましい一実施形態によると、前記付加情報メッセージは、Ｈ．２６４／ＳＶＣ標準で規定されたビデオ表示情報を含む。
【００１１】
一部の符号化方法では、いくつのレイヤが送信されようが、すべてのレイヤのパラメータが全体としてすべて送信される。それゆえ、ネットワークに大きなオーバーロードが発生する。これは主に、パラメータの一部がレイヤに依存し、その他のパラメータがすべてのレイヤに共通であり、すべてのパラメータに対して１つのヘッダが規定されており、レイヤに依存するパラメータも依存しないパラメータも一緒に送信されることによる。
【００１２】
本発明により、すべてのレイヤのパラメータを含むヘッダ全体を送信するのではなく、レイヤに依存するパラメータを必要な時にのみ、すなわちこれらのレイヤにより符号化されたデータが送信される時にのみ、送信する。
【図面の簡単な説明】
【００１３】
本発明の他の特徴及び利点は、添付した図面を参照して例示する、本発明の限定的ではない実施形態の説明により明らかになるだろう。
【図１】先行技術によるスケーラブルレイヤ符号化に用いられるＮＡＬユニットの構成を示す図である。
【図２】本発明で提案する構成の一実施形態を示す図である。
【図３】本発明の好ましい実施形態によるスケーラブルビデオ符号化器の概要を示す図である。
【図４】本発明の好ましい実施形態によるデータストリームの概要を示す図である。
【図５】本発明の好ましい実施形態によるビットストリームの一例を示す図である。
【発明を実施するための形態】
【００１４】
ここに説明する好ましい実施形態では、ビデオデータはＨ２６４／ＳＶＣにより符号化される。ＳＶＣは複数の空間的レベル、時間的レベル、質的レベルによるビデオデータの送信を提案している。一空間的レベルは複数の時間的レベルで符号化でき、各時間的レベルは複数の質的レベルで符号化できる。それゆえ、ｍ個の空間的レベルと、ｎ個の時間的レベルと、Ｏ個の質的レベルとが定義されているとき、ビデオデータはｍ＊ｎ＊Ｏ個の異なるレベルで符号化される。クライアントの機能に応じて、その最大値に対応するレベルまでの異なるレイヤを送信する。
【００１５】
本発明の先行技術を示す図１に示したように、現在、ＳＶＣにおいては、ＳＰＳは、各スライスヘッダ中のpic_parameter_set_idシンタックスエレメントが参照するピクチャパラメータ中のseq_parameter_set_idシンタックスエレメントにより決まるゼロ以上の全体符号化ビデオシーケンス（entire  coded  video  sequences）に付随するシンタックス要素を含むシンタックス構成である。ＳＶＣでは、ＳＰＳで送られる（conveyed）シンタックスエレメントの値はレイヤに依存する。これらのシンタックスエレメントは、タイミング情報、ＨＲＤ（「仮想参照デコーダ」の略）パラメータ、ビットストリーム制限情報を含むがこれらに限定されない。それゆえ、各レイヤの上記シンタックスエレメントを送信する必要がある。
【００１６】
シーケンスパラメータセット（ＳＰＳ）は、対応するすべての空間的レベル（Ｄｉ）、時間的レベル（Ｔｉ）、質的レベル（Ｑｉ）に必要なパラメータをすべて含む。
【００１７】
ＳＰＳはすべてのレイヤのＶＵＩ（ビデオ表示情報の略）パラメータを含む。ＶＵＩパラメータは、すべてのレイヤのＨＲＤパラメータを含むため非常に重要なデータ量を表す。実際のアプリケーションでは、チャネルレートには制約があるので、一部のレイヤのみがネットワークを介して送信される。ＳＰＳは、ＳＶＣにおける基本的なシンタックスエレメントを示すので、全体として送信される。それゆえ、どのレイヤが送信されようが、すべてのレイヤのＨＲＤパラメータが送信される。
【００１８】
図２に示したように、シーケンスパラメータセット（ＳＰＳ）のオーバーロードを減らしてスケーラブルビデオ符号化をするために、本発明は、nesting_seiプレフィックス／サフィックスＮＡＬを用い、ＶＵＩパラメータをＳＥＩメッセージに格納することを提案する。
【００１９】
scalable_nestingはネスティングＳＥＩとも呼ばれ（図ではＮＳＥＩとして示す）、レイヤ情報を示すプレフィックス／サフィックスタイプのＮＡＬユニットのヘッダとして機能する。scalable_nestingは、vui_parameter_sei()フィールドにより、ネスティングＳＥＩにより指定されたレイヤの全特性を含むvui_parameter_seiメッセージにリンクされている。
【００２０】
次の表１はプレフィックス／サフィックスＮＡＬにより規定されるscalable_nestingを示す。
【００２１】
【表１】
2010531554.tif 000003
スケーラブルネスティングＳＥＩメッセージはアクセスユニットに関する。このＳＥＩは、このＳＥＩメッセージは、対応するアクセスユニットのＶＣＬ  ＮＡＬユニットの前に現れる。スケーラブルネスティングＳＥＩはＮＡＬユニットに含まれている。ネストされたＳＥＩメッセージが適用される範囲は、シンタックスエレメントであるall_pictures_in_au_flag、num_pictures、dependency_id[i]、及びquality_id[i]があれば、それにより示される。
【００２２】
−all_pictures_in_au_flagが１であるとき、ネストされたＳＥＩメッセージがアクセスユニットの全符号化ピクチャに適用されることを示す。all_pictures_in_au_flagが０であるとき、ネストされたＳＥＩメッセージの適用範囲がシンタックスエレメントnum_pictures、dependency_id[i]、及びquality_id[i]によりシグナリングされることを示す。
【００２３】
−num_pictures_minus1はネストされたＳＥＩメッセージが適用される符号化ピクチャ数を示す。
【００２４】
−dependency_id[i]とquality_id[i]は、ネストされたＳＥＩメッセージが適用されるｉ番目の符号化ピクチャのdependency_id（空間的レベル）とquality_idをそれぞれ示す。
【００２５】
−sei_nesting_zero_bitは０である。
【００２６】
次の表は各レイヤに特有のパラメータを含むｓｅｉメッセージを示す。
【００２７】
【表２】
2010531554.tif 000004
sequence_parameter_set_idは、現在のvui_parameter_seiメッセージがマッピングするシーケンスパラメータセット（ＳＰＳ）を特定し、現在のレイヤの共通シーケンスパラメータ特性を含む。
【００２８】
表２のその他のパラメータはＨ．２６４／ＳＶＣ標準で規定されている。
【００２９】
次の表３は、Ｈ．２６４／ＳＶＣ標準で現在規定されているsei_payloadの既存の定義に対する修正を示す。vui_parameter_seiはタイプ３０と定義されている。本発明の他の実施形態では、Ｈ．２６４／ＳＶＣ標準で利用できるその他のどのフィールドであってもよい。
【００３０】
【表３】
2010531554.tif 000005
図３は、本発明によるスケーラブルビデオ符号化器１の一実施形態を示す。
【００３１】
ビデオは、スケーラブルビデオ符号化器１の入力で受け取られる。
【００３２】
ビデオは複数の異なる空間的レベルで符号化される。空間的レベルは、主に同じビデオの複数の異なる解像度レベルを指す。例えば、スケーラブルビデオ符号化器の入力として、それぞれ１つの空間的レベルを表すＣＩＦシーケンス（３５２対２８８）またはＱＣＩＦ（１７６対１４４）を用いることができる。
【００３３】
各空間的レベルは、階層的動き補償予測モジュールに送られる。空間的レベル１は階層的動き補償予測モジュール２”に送られる。空間的レベル２は階層的動き補償予測モジュール２’に送られる。空間的レベルｎは階層的動き補償予測モジュール２に送られる。
【００３４】
空間的レベルはdependency_idを用いて３ビットで符号化されるので、空間的レベルの最大数は８である。
【００３５】
階層的動き予測保証を行うと、２種類のデータが生成される。１つは異なるレイヤ間の相違を説明する動きであり、もう１つはテクスチャである。これは予測エラーである。
【００３６】
各空間的レベルでは、データはベースレイヤとエンハンスメントレイヤとにより符号化される。空間的レベル１の場合、データはエンハンスメントレイヤ符号化器３”とベースレイヤ符号化器４”により符号化される。空間的レベル２の場合、データはエンハンスメントレイヤ符号化器３’とベースレイヤ符号化器４’により符号化される。空間的レベル１の場合、データはエンハンスメントレイヤ符号化器３とベースレイヤ符号化器４により符号化される。
【００３７】
符号化後、ヘッダが準備され、各空間的レイヤに対して、ＳＰＳメッセージとＰＰＳメッセージと、及びNSEI-VUI_SEIメッセージとが生成される。
【００３８】
空間的レベル１では、図３に示したように、ＳＰＳとＰＰＳ５”が生成され、本発明の本実施形態ではNSEI-VUI_SEI11、NSEI-VUI_SEI12、・・・NSEI-VUI_SEI1m*Oも生成される。
【００３９】
空間的レベル２では、図３に示したように、ＳＰＳとＰＰＳ５’が生成され、本発明の本実施形態ではNSEI-VUI_SEI21、NSEI-VUI_SEI22、・・・NSEI-VUI_SEI2m*Oも生成される。
【００４０】
空間的レベルｎでは、図３に示したように、ＳＰＳとＰＰＳ５が生成され、本発明の本実施形態ではNSEI-VUI_SEIn1、NSEI-VUI_SEIn2、・・・NSEI-VUI_SEInm*Oも生成される。
【００４１】
グローバルビットストリームにおいて、ベースレイヤ符号化モジュールとエンハンスメントレイヤ符号化モジュールにより符号化されたビットストリームは、複数のＳＰＳヘッダ、ＰＰＳヘッダ、及びＳＵＰ＿ＳＰＳヘッダに続く。
【００４２】
図３では、８”は、ＳＰＳ及びＰＰＳ５”、NSEI-VUI_SEI11、NSEI-VUI_SEI12、・・・、NSEI-VUI_SEI1m６”、及びビットストリーム７”を含み、これらが空間的レベル１に関するすべての符号化データを構成する。
【００４３】
図３では、８’は、ＳＰＳ及びＰＰＳ５’、NSEI-VUI_SEI21、NSEI-VUI_SEI22、・・・、NSEI-VUI_SEI2m６’、及びビットストリーム７’を含み、これらが空間的レベル２に関するすべての符号化データを構成する。
【００４４】
図３では、８は、ＳＰＳ及びＰＰＳ５、NSEI-VUI_SEIn1、NSEI-VUI_SEIn2、・・・、NSEI-VUI_SEInm６、及びビットストリーム７を含み、これらが空間的レベルｎに関するすべての符号化データを構成する。
【００４５】
NSEI-VUI_SEIヘッダは上記の表に記載したヘッダに準拠している。
【００４６】
図４は、図３のスケーラブルビデオエンコーダにより符号化されたビットストリームを表す。
【００４７】
ビットストリームは、各空間的レベルに対して１つのＳＰＳを含む。ｍ個の空間的レベルを符号化した場合、ビットストリームはＳＰＳ１、ＳＰＳ２、及びＳＰＳｍを含み、図４では１０、１０’及び１０”で示した。
【００４８】
ビットストリームには、空間的レベルに関する一般的情報を符号化した各ＳＰＳの次にNSEI-VUI_SEIタイプのヘッダ１０が続き、その次に、１つの時間的レベルと１つの質的レベルに対応する符号化ビデオデータが続く。
【００４９】
それゆえ、１つの質的レベルに対応する１つのレベルが送信されないと、対応するヘッダも送信されない。各レベルに対応する１つのヘッダNSEI-VUI_SEIがあるからである。
【００５０】
図５に示したように、一例を挙げて送信されるデータストリームを説明する。
【００５１】
図５は以下のレベルの送信を示している。ビットストリーム中の参照番号は図２で用いた参照番号に対応している。
【００５２】
以下のレイヤが送信される：
・空間的レイヤ１
■時間的レベル１
○質的レベル１
■時間的レベル２
○質的レベル１
・空間的レイヤ２
■時間的レベル１
○質的レベル１
・空間的レイヤ３
■時間的レベル１
○質的レベル１
■時間的レベル２
○質的レベル１
■時間的レベル３
○質的レベル１
それゆえ、すべてのレイヤのすべてのパラメータが送信されるのではなく、ＳＰＳメッセージではなくNSEI-VUI_SEIメッセージに含まれ、要求されたレイヤに対応するパラメータのみが送信されることが分かる。
【図１】
2010531554.tif 000006
【図２】
2010531554.tif 000007
【図３】
2010531554.tif 000008
【図４】
2010531554.tif 000009
【図５】
2010531554.tif 000010
【国際調査報告】
2010531554.tif 000011
2010531554.tif 000012