(57)【特許請求の範囲】
【請求項１】
ビデオ復号方法において、
精細粒度スケーラビリティ(Fine Granularity Scalability)(ＦＧＳ）ベース層を復号して第１の空間分解能でビデオを定義するベース層ビデオブロックを再構成することと、
１つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号して前記第１の空間分解能より大きいあるいはそれに等しい第２の空間分解能でビデオを定義するエンハンスメント層ビデオブロックを再構成することと、
前記再構成されたベース層ビデオブロックを前記第２の空間分解能にアップサンプリングして前記ＦＧＳエンハンスメント層の１つの現在のイントラ符号化されたビデオブロックに関する第１の予測ブロックを具備するアップサンプリングされたベース層ビデオブロックを形成することと、ここにおいて、前記第１の予測ブロックは前記アップサンプリングに起因する補間されたピクセルを具備する、ここにおいて、前記符号化において、異なるブロックからの係数が相互にインターリーブされる、
前記ＦＧＳエンハンスメント層の１つにおいて前記現在のイントラ符号化されたビデオブロックに隣接する前記エンハンスメント層ビデオブロック内のピクセルから第２の予測ブロックを形成することと、ここにおいて、前記第２の予測ブロックは前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置するピクセルを具備する、
前記第１の予測ブロックと前記第２の予測ブロックの重みづけされた和に基づいて前記現在のイントラ符号化されたビデオブロックを予測することと、ここにおいて前記現在のイントラ符号化されたビデオブロックを予測することは、
前記第１の予測ブロックの前記補間されたピクセルに第１の重みを適用して第１の重みづけされた値を形成することと、
前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記第２の予測ブロックの前記ピクセルに第２の重みを適用して第２の重みづけされた値を形成することと、
前記第１の重みづけされた値と前記第２の重みづけされた値を加算して前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記現在のイントラ符号化されたビデオブロックのピクセルに関する予測値を生成することと、
前記予測されたイントラ符号化されたビデオブロックに基づいて前記ビデオを復号することと
を具備する方法。
【請求項２】
前記第２の空間分解能は前記第１の空間分解能より大きく、その方法はさらに前記ベース層ビデオブロックをアップサンプリング(upsampling)することを含み、そして前記第１の予測ブロックは前記アップサンプリングされたベース層ビデオブロックから形成される、請求項１記載の方法。
【請求項３】
前記復号されたＦＧＳベース層及び前記少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成することをさらに含む、請求項２記載の方法。
【請求項４】
前記ＦＧＳベース層は第１の品質レベルを持つ前記ビデオを定義し、そして前記ＦＧＳエンハンスメント層の少なくとも１つは前記第１の品質レベルより大きい第２の品質レベルを持つビデオを定義する、請求項２記載の方法。
【請求項５】
前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいてビデオを生成することをさらに含む、請求項４記載の方法。
【請求項６】
前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成することと、前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいてビデオを生成することとをさらに含む、請求項４記載の方法。
【請求項７】
ＤＣ係数が符号器及び復号器の双方に既知の初期設定値（a default value）から予測され、且つＡＣ係数が隣接ブロックから計算された予測なしで復号される、特別ＤＣモードを使用して前記ＦＧＳエンハンスメント層におけるブロックを復号することをさらに含む、請求項２記載の方法。
【請求項８】
前記ベース層からの有意性マップ(significance map)をアップサンプリング(upsampling)すること、及び前記エンハンスメント層の１つ以上を復号するために前記アップサンプリングされた有意性マップを使用することをさらに含む、請求項２記載の方法。
【請求項９】
前記ベース層からの有意性マップをリセットすること、及び前記エンハンスメント層の１つ以上においてゼロ係数あるいは精製係数なしの非ゼロ重要係数としてのみ係数を復号することをさらに含む、請求項１記載の方法。
【請求項１０】
空間スケーラビリティに関するＦＧＳ符号化の使用を表す１ビットのシンタックスエレメントを前記エンハンスメント層の少なくとも１つからビデオ復号デバイスが受信することをさらに含む、請求項２記載の方法。
【請求項１１】
ビデオ復号デバイスにおいて、
精細粒度スケーラビリティ(Fine Granularity Scalability)(ＦＧＳ）ベース層を復号して第１の空間分解能でビデオを定義するベース層ビデオブロックを再構成するユニットと、
１つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号して前記第１の空間分解能より大きいあるいはそれに等しい第２の空間分解能でビデオを定義するエンハンスメント層ビデオブロックを再構成するユニットと、
前記再構成されたベース層ビデオブロックを前記第２の空間分解能にアップサンプリングして前記ＦＧＳエンハンスメント層の１つの現在のイントラ符号化されたビデオブロックに関する第１の予測ブロックを具備するアップサンプリングされたベース層ビデオブロックを形成するユニットと、ここにおいて、前記第１の予測ブロックは前記アップサンプリングに起因する補間されたピクセルを具備する、ここにおいて、前記符号化において、異なるブロックからの係数が相互にインターリーブされる、
前記ＦＧＳエンハンスメント層の１つにおいて前記現在のイントラ符号化されたビデオブロックに隣接する前記エンハンスメント層ビデオブロック内のピクセルから第２の予測ブロックを形成するユニットと、ここにおいて、前記第２の予測ブロックは前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置するピクセルを具備する、
前記第１の予測ブロックと前記第２の予測ブロックの重みづけされた和に基づいて前記現在のイントラ符号化されたビデオブロックを予測するユニットと、ここにおいて、前記現在の符号化されたビデオブロックを予測するユニットは、前記第１の予測ブロックの前記補間されたピクセルに第１の重みを適用して第１の重みづけされた値を形成し、前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記第２の予測ブロックの前記ピクセルに第２に重みを適用して第２の重みづけされた値を形成する、
前記第１の重みづけされた値と前記第２の重みづけされた値を加算して前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記現在のイントラ符号化されたビデオブロックのピクセルに関する予測値を生成するユニットと、
前記予測されたイントラ符号化されたビデオブロックに基づいて前記ビデオを復号するユニットと
を具備する復号器を含むビデオ復号デバイス。
【請求項１２】
前記第２の空間分解能は前記第１の空間分解能より大きく、前記ベース層ビデオブロックを形成するユニットは、前記ベース層ビデオブロックをアップサンプリング(upsampling)し、そして前記第１の予測ブロックを前記アップサンプリングされたベース層ビデオブロックから形成する、請求項１１記載のデバイス。
【請求項１３】
前記エンハンスメント層ビデオブロックを再構成するユニットは、前記復号されたＦＧＳベース層及び前記少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成する、請求項１２記載のデバイス。
【請求項１４】
前記ＦＧＳベース層は第１の品質レベルを持つ前記ビデオを定義し、そして前記ＦＧＳエンハンスメント層の少なくとも１つは前記第１の品質レベルより大きい第２の品質レベルを持つ前記ビデオを定義する、請求項１２記載のデバイス。
【請求項１５】
前記エンハンスメント層ビデオブロックを再構成するユニットは前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいてビデオを生成する、請求項１４記載のデバイス。
【請求項１６】
前記エンハンスメント層ビデオブロックを再構成するユニットは前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成し、そして前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいて前記ビデオを生成する、請求項１４記載のデバイス。
【請求項１７】
前記イントラ符号化されたビデオブロックを予測するユニットはそれぞれの前記イントラ符号化ビデオブロックと同じ層における同じフレームから得られたビデオ情報を使用することなくイントラ符号化ビデオブロックを予測する、請求項１３記載のデバイス。
【請求項１８】
前記ビデオを復号するユニットは、ＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックからの計算された予測なしで復号される、特別ＤＣモードを使用して前記ＦＧＳエンハンスメント層におけるブロックを復号する、請求項１２記載のデバイス。
【請求項１９】
前記ビデオを復号するユニットは、エンハンスメント層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームからの情報を使用することなく空間直接モードだけを前記エンハンスメント層に適用する、請求項１２記載のデバイス。
【請求項２０】
前記アップサンプリングするユニットは、前記ベース層から有意性マップをアップサンプリング(upsampling)し、そして前記エンハンスメント層の１つ以上を復号するために前記アップサンプリングされた有意性マップを使用する、請求項１２記載のデバイス。
【請求項２１】
前記ビデオを復号するユニットは、前記ベース層からの有意性マップをリセットし、そして前記エンハンスメント層の１つ以上においてゼロ係数あるいは精製係数なしの非ゼロ重要係数としてのみ係数を復号する、請求項１１記載のデバイス。
【請求項２２】
空間スケーラビリティに関するＦＧＳ符号化の使用を表す１ビットのシンタックスエレメントを前記エンハンスメント層の少なくとも１つから前記ビデオ復号デバイスが受信する、請求項１１記載のデバイス。
【請求項２３】
コンピュータ読取可能記録媒体において、
精細粒度スケーラビリティ(Fine Granularity Scalability)(ＦＧＳ）ベース層を復号して第１の空間分解能でビデオを定義するベース層ビデオブロックを再構成することと、
１つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号して前記第１の空間分解能より大きいあるいはそれに等しい第２の空間分解能でビデオを定義するエンハンスメント層ビデオブロックを再構成することと、
前記再構成されたベース層ビデオブロックを前記第２の空間分解能にアップサンプリングして前記ＦＧＳエンハンスメント層の１つの現在のイントラ符号化されたビデオブロックに関する第１の予測ブロックを具備するアップサンプリングされたベース層ビデオブロックを形成することと、ここにおいて、前記第１の予測ブロックは前記アップサンプリングに起因する補間されたピクセルを具備する、ここにおいて、前記符号化において、異なるブロックからの係数が相互にインターリーブされる、
前記ＦＧＳエンハンスメント層の１つにおいて前記現在のイントラ符号化されたビデオブロックに隣接する前記エンハンスメント層ビデオブロック内のピクセルから第２の予測ブロックを形成することと、ここにおいて、前記第２の予測ブロックは前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置するピクセルを具備する、
前記第１の予測ブロックと前記第２の予測ブロックの重みづけされた和に基づいて前記現在のイントラ符号化されたビデオブロックを予測することと、ここにおいて前記現在のイントラ符号化されたビデオブロックを予測することは、前記第１の予測ブロックの前記補間されたピクセルに第１の重みを適用して第１の重みづけされた値を形成することと、前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記第２の予測ブロックの前記ピクセルに第２の重みを適用して第２の重みづけされた値を形成することと、を備える、
前記第１の重みづけされた値と前記第２の重みづけされた値を加算して前記第１の予測ブロックの前記補間されたピクセルと同じロケーションに位置する前記現在のイントラ符号化されたビデオブロックのピクセルに関する予測値を生成することと、
前記予測されたイントラ符号化されたビデオブロックに基づいて前記ビデオを復号することと
をプロセッサに動作させる命令を具備する、コンピュータ読取可能記録媒体。
【請求項２４】
前記第２の空間分解能は前記第１の空間分解能より大きく、前記命令は前記ベース層ビデオブロックをアップサンプリングするためにさらに前記プロセッサを作動させ、そして前記第１の予測ブロックは前記アップサンプリングされたベース層ビデオブロックから形成される、請求項２３記載のコンピュータ読取可能記録媒体。
【請求項２５】
前記命令は前記復号されたＦＧＳベース層及び前記少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成するように前記プロセッサを作動させる、請求項２４記載のコンピュータ読取可能記録媒体。
【請求項２６】
前記ＦＧＳベース層は第１の品質レベルを持つ前記ビデオを定義し、そして前記ＦＧＳエンハンスメント層の少なくとも１つは前記第１の品質レベルより大きい第２の品質レベルを持つ前記ビデオを定義する、請求項２５記載のコンピュータ読取可能記録媒体。
【請求項２７】
前記命令は前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいてビデオを生成するように前記プロセッサを作動させる、請求項２６記載のコンピュータ読取可能記録媒体。
【請求項２８】
前記命令は、前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の空間分解能においてビデオを生成し、そして前記復号されたＦＧＳベース層及び少なくとも部分的に復号されたＦＧＳエンハンスメント層に基づいて前記第２の品質レベルにおいて前記ビデオを生成するように前記プロセッサを作動させる、請求項２６記載のコンピュータ読取可能記録媒体。
【請求項２９】
前記命令は前記ベース層からのピクセルのみを使用して前記イントラ符号化ビデオブロックを予測するように前記プロセッサを作動させる、請求項２４記載のコンピュータ読取可能記録媒体。
【請求項３０】
前記命令はＤＣ係数が符号器及び復号器の双方に既知の初期設定値から予測され、且つＡＣ係数が隣接ブロックからの計算された予測なしで復号される、特別ＤＣモードを使用して前記ＦＧＳエンハンスメント層におけるブロックを復号するように前記プロセッサを作動させる、請求項２４記載のコンピュータ読取可能記録媒体。
【請求項３１】
前記命令はエンハンスメント層が双予測（Ｂ）スライスにおいて符号化されるならば、参照フレームから情報を使用せずに空間直接モードだけを前記エンハンスメント層に適用するように前記プロセッサを作動させる、請求項２４記載のコンピュータ読取可能記録媒体。
【請求項３２】
前記命令は前記ベース層からの有意性マップをアップサンプリング(upsampling)し、そして前記エンハンスメント層の１つ以上を復号するために前記アップサンプリングされた有意性マップを使用するように前記プロセッサを作動させる、請求項２４記載のコンピュータ読取可能記録媒体。
【請求項３３】
前記命令は前記ベース層からの有意性マップをリセットし、そして前記エンハンスメント層の１つ以上においてゼロ係数あるいは精製係数なしの非ゼロ重要係数としてのみ係数を復号するように前記プロセッサを作動させる、請求項２３記載のコンピュータ読取可能記録媒体。
【請求項３４】
前記命令は空間スケーラビリティに関するＦＧＳ符号化の使用を表す１ビットのシンタックスエレメントを前記エンハンスメント層の少なくとも１つから受信するように前記プロセッサを作動させる、請求項２８記載のコンピュータ読取可能記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は「一般的な精細粒度空間スケーラビリティによるビデオ符号化（VIDEO CODING WITH GENERIC FINE GRANULARITY SCALABILITY）」と題し、２００６年１月１１日出願の米国仮特許出願番号第６０／７５８，３２３号に対する優先権を主張する。
【０００２】
この発明はビデオ、特にディジタル・ビデオの符号化に関係する。
【背景技術】
【０００３】
ディジタル・ビデオ機能はディジタル・テレビ、ディジタル直接放送システム、無線通信デバイス、携帯情報機器（ＰＤＡ）、ラップトップ・コンピュータ、デスクトップ・コンピュータ、ディジタル・カメラ、ディジタル記録デバイス、セルラーまたは衛星無線電話等を含めて、広範囲のデバイスに組込まれている。ディジタル・ビデオ・デバイスは動画ビデオ信号系列を効率的に作成し、修正し、伝送し、記憶し、記録し、且つ表示するのに従来のアナログ・ビデオ・システムに対して顕著な改善を行うことができる。
【０００４】
精細粒度スケーラビリティ（fine granularity scalability：ＦＧＳ）は一般に或るビット・レート範囲内でビデオ品質の素直な低下を達成するためにビデオ・ビットストリームを任意に切り詰める能力のことを云う。ＦＧＳ符号化ビデオ・ビットストリームは指定品質のベース層（base layer）、及びベース層に連係する一つ以上のエンハンスメント層（enhancement layers）を含む。エンハンスメント層はベース層の品質を精緻化する追加データを含む。一つ以上のエンハンスメント層を介して、より多くのＦＧＳビットストリームが受取られ、且つ復号化されるので、復号ビデオの品質は向上する。
【発明の概要】
【０００５】
一般に、本発明は一般化精細粒度スケーラビリティ（ＦＧＳ）手法を用いて空間スケーラビリティを支援するビデオ符号化技術に関する。この発明によれば、様々な程度の空間スケーラビリティが一般化ＦＧＳフォーマットで空間的スケーラブルエンハンスメント層を送ることによって達成される。空間スケーラビリティ層は連続的に改善されたビデオ品質によって空間スケーラビリティを可能にする離散的エンハンスメント層よりむしろＦＧＳエンハンスメント層として符号化される。
【０００６】
ビデオ符号化技術はそうでなければ部分的復号によって生じる誤り伝搬を低減させるために一つ以上の機能によって補完される。例えば、ビデオ符号化技術はドリフトエラーを低減するイントラ・フレーム予測、空間誤り伝搬を低減するイントラ・ブロックの特定ＤＣモード、及びイントラ予測のためにベース層内のピクセルのみを使用することの制限に関して漏洩予測手法を適用する。
【０００７】
空間スケーラビリティエンハンスメント層（spatial scalability enhancement layer）を再構成するのに必要な係数及びシンタックスエレメント（syntax elements）は一般化ＦＧＳフォーマットに埋め込まれる。エンハンスメント層を介して受取られた追加ビットは符号化ビデオが空間解像度を増加し、そして異なる空間解像度に亘って連続的にビデオ品質を改善することを可能にする。空間的スケーラブルエンハンスメントビットストリームはネットワークまたはチャネル条件に順応するように、或いは復号器能力に順応するようにあらゆる点において任意に切り詰められる。
【０００８】
一実施例において、本発明は第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きいか、または等しい第二の空間解像度においてビデオを定義するエンハンスメント層ビデオ・ブロックを再構成するために一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号すること、及びベース層ビデオ・ブロックから形成された第一の予測ブロックとエンハンスメント層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの加重和に基づいてイントラ符号化ビデオ・ブロックを予測することを含むビデオ符号化方法を提供する。いくつかの実施例において、第二の空間解像度は第一の空間解像度より大きく、そしてその方法はベース層ビデオ・ブロックをアップサンプリング（upsampling）することを含み、その場合には第一の予測ブロックはアップサンプリングベース層ビデオ・ブロックから形成される。
【０００９】
別の実施例では、本発明は第一の空間解像度においてビデオを定義するベース層ビデオ・ブロックを再構成するために精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きいか、または等しい第二の空間解像度においてビデオを定義するエンハンスメント層ビデオ・ブロックを再構成するために一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号し、そしてベース層ビデオ・ブロックから形成された第一の予測ブロックとエンハンスメント層ビデオ・ブロックにおける隣接ピクセルから形成された第二の予測ブロックの加重和に基づいてイントラ符号化ビデオ・ブロックを予測する復号器を含むビデオ符号化デバイスを提供する。いくつかの実施例において、第二の空間解像度は第一の空間解像度より大きく、そして復号器はベース層ビデオ・ブロックをアップサンプリングし、その場合には第一の予測ブロックはアップサンプリングベース層ビデオ・ブロックから形成される。
【００１０】
追加実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義するエンハンスメント層ビデオ・ブロックを含む一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号すること、及び同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測することを含む方法を提供する。
【００１１】
別の実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義するエンハンスメント層ビデオ・ブロックを含む一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号し、そして同じ層における同じフレームから得られたビデオ情報を使用しないでイントラ符号化ビデオ・ブロックを予測する復号器を含むデバイスを提供する。
【００１２】
更なる実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号すること、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義するエンハンスメント層ビデオ・ブロックを含む一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号すること、及びＤＣ係数が符号器と復号器の双方に既知の初期設定値（default value）から予測され、且つＡＣ係数は隣接ブロックから計算された予測なしで復号される特定ＤＣモードを使用してＦＧＳエンハンスメント層におけるいくつかのブロックを復号することを含む方法を提供する。
【００１３】
別の実施例では、本発明は第一の空間解像度においてビデオ情報を定義するベース層ビデオ・ブロックを含む精細粒度スケーラビリティ（ＦＧＳ）ベース層を復号し、第一の空間解像度より大きい第二の空間解像度においてビデオ情報を定義するエンハンスメント層ビデオ・ブロックを含む一つ以上のＦＧＳエンハンスメント層を少なくとも部分的に復号し、そしてＤＣ係数が符号器と復号器の双方に既知の初期設定値から予測され、且つＡＣ係数は隣接ブロックから計算された予測なしで復号される特定ＤＣモードを使用してＦＧＳエンハンスメント層におけるいくつかのブロックを復号する復号器を含むデバイスを提供する。
【００１４】
本発明に記載された技術はハードウェア、ソフトウェア、ファームウェア、またはそのあらゆる組合せにおいて実施される。ソフトウェアにおいて実施されるならば、そのソフトウェアはディジタル信号プロセッサ（ＤＳＰ）のようなプロセッサにおいて実施される。その技術を実行するソフトウェアはコンピュータ可読媒体に初めに記憶され、そしてプロセッサに搭載され、且つ実行される。従って、この発明はまた一般化ＦＧＳ手法を使用して空間スケーラビリティを達成するための技術を実行する命令を含むコンピュータ可読媒体を想定する。
【００１５】
本発明の一つ以上の実施例の詳細は下記の付随の図及び説明に示される。本発明の他の特徴、対象、及び利点はその説明と図から、そして請求項から明白になるであろう。
【図面の簡単な説明】
【００１６】
【図１】ビデオ符号化及び復号化システムを例示するブロック図である。
【図２】ビデオ・ビットストリームの多層ＦＧＳ符号化を例示する図である。
【図３】ベース層及びエンハンスメント層符号器及び復号器を含む図１のシステムをさらに詳細に例示するブロック図である。
【図４】ビデオ・フレームのＦＧＳ符号化に使用されるジグザグ走査ブロックを例示する図である。
【図５】ジグザグ順序に配列された異なるビデオ・ブロックに関するＦＧＳ層におけるシンタックスエレメント及び係数の典型的な符号化順序を例示する図である。
【図６】伝送順に異なるビデオ・ブロックが配列されたＦＧＳ層におけるシンタックスエレメント及び係数の典型的な符号化順序を例示する図である。
【図７Ａ】典型的な多層空間スケーラビリティ・ビットストリームを例示する図である。
【図７Ｂ】図７Ａの空間スケーラビリティ・ビットストリームに関するレート-歪み特性を例示する図である。
【図８Ａ】符号器及び復号器において異なる参照信号の使用によって引き起こされたドリフトエラー問題を例示する図である。
【図８Ｂ】図８Ａに示されたドリフトエラー問題を減らすベース層からの部分的予測を例示する図である。
【図９】隣接ブロックの部分的復号によって引き起こされたドリフトエラーを例示する図である。
【図１０】イントラ符号化ブロックにおけるドリフトエラー問題を減らす漏洩予測技術を例示する図である。
【図１１】図１０に示された漏洩予測技術の動作を例示するフローチャートである。
【図１２】特定ＤＣモードのビデオ・ブロックへの適用を例示する図である。
【図１３】異なるイントラ予測モードに関して図１２の特別なＤＣモードの使用を例示する図である。
【図１４】ベース層におけるフレームからのイントラ予測を例示する図である。
【図１５】イントラ１６×１６予測モードによるマクロブロックにおける輝度ＤＣブロックを例示する図である。
【発明を実施するための形態】
【００１７】
図１はビデオ符号化及び復号化システム１０を例示するブロック図である。システム１０は一般化精細粒度スケーラビリティ（ＦＧＳ）手法を使用して空間スケーラビリティを支援するビデオ符号化技術を適用するために構成される。図１に示したように、システム１０はチャネル１６を経由して符号化ビデオを受信デバイス１４へ伝送する発信デバイス（source device）１２を含む。発信デバイス１２はビデオ・キャプチャー・デバイス１８、ビデオ符号器２０及び送信器２２を含む。受信デバイス１４は受信器２４、ビデオ復号器２６及びビデオ表示デバイス２８を含む。
【００１８】
システム１０では、様々な程度の空間スケーラビリティが離散的エンハンスメント層の復号化に頼るのではなく、空間的スケーラブルエンハンスメント層を一般化ＦＧＳフォーマットで送ることによって達成される。ベース層は最小の品質レベルを持つビデオ信号系列を持つ。エンハンスメント層は高い品質レベルを支援するために追加ビットストリームを搬送する。その上、この発明に従って、 一つ以上のエンハンスメント層によって搬送される追加ビットストリームは増加空間スケーラビリティを支援する。
【００１９】
ビデオ符号器２０及びビデオ復号器２６は任意に切り詰められた空間的スケーラブルエンハンスメントビットストリームを提供するために構成される。一つ以上のエンハンスメント層を介して受取られる追加ビットは適用可能なネットワーク条件、チャネル条件、及び／または復号器能力によって許される空間解像度の増加及び異なる空間解像度に亘る連続的なビデオ品質の改善によって符号化ビデオが再構築されることを可能にする。
【００２０】
後述するように、システム１０はエンハンスメント層の部分的復号化に起因するドリフトエラーを低減させるために様々な手法を適用する。空間スケーラビリティエンハンスメント層を再構築するのに必要な係数、及びシンタックスエレメントは一般化ＦＧＳフォーマットに埋め込まれる。一般化ＦＧＳフォーマット、及び適当なドリフトエラー制御手法によって、空間解像度はシステム条件に応じて連続的な品質改善または漸進的な品質低下によって増加或いは減少する。
【００２１】
システム１０は空間スケーラビリティを達成するためにそれらの全体で符号化されなければならない離散的エンハンスメント層の使用を回避する。いくつかの実施例では、しかしながら、システム１０は一般化ＦＧＳ手法または離散的エンハンスメント層のいずれかを使用して、例えば、選択基準によって空間スケーラビリティを支援するために構成される。
【００２２】
図１の例では、通信チャネル１６は無線周波数（ＲＦ）スペクトルまたは 一つ以上の物理的伝送回線、または無線及び有線媒体のあらゆる組合せといった、あらゆる無線または有線通信媒体を含む。チャネル１６はローカル・エリア・ネットワーク、広域ネットワークといったパケット基準のネットワーク、またはインターネットのようなグローバル・ネットワークの一部を形成する。通信チャネル１６は一般に発信デバイス１２から受信デバイス１４へビデオ・データを伝送するためにあらゆる適当な通信媒体、または異なる通信媒体の集合を表す。
【００２３】
発信デバイス１２はビデオ・データを符号化し、且つ伝送することが可能なあらゆるディジタル・ビデオ・デバイスである。ビデオ・キャプチャー・デバイス１８はビデオ信号系列を獲得し、そして獲得された信号系列をビデオ符号器２０によるアクセスのためにメモリ（示されていない）に記憶する。ビデオ・キャプチャー・デバイス１８はビデオ・カメラ、ビデオ記録、または、例えば、テレビ、ビデオ・ディスク・レコーダ、ビデオ・カセット・レコーダ、ビデオ・カメラ、または別のビデオ・デバイスからのアナログ・ビデオ・データをディジタル・ビデオ・データへ変換するビデオ変換器である。各々の場合において、ビデオ符号器２０は受信デバイス１４への効率的伝送のために獲得されたビデオを符号化する。
【００２４】
発信デバイス１２は記録保存された、もしくは実時間のビデオ信号系列を通信チャネル１６上で伝送するために構成される。実時間ビデオ信号系列に関して、発信デバイス１２及び受信デバイス１４は実時間、双方向ビデオ電話通信（video telephony：ＶＴ）及び／または実時間、一方向ビデオ・ストリーミングに対応するように構成される。非実時間ビデオ・ストリーミングに関して、発信デバイス１２及び受信デバイス１４はビデオ・クリップ再生またはビデオ・メールのようなアプリケーションに対応し、そして再生、停止、早送り、及び早戻しボタンのような適切な制御手段を含む。
【００２５】
ビデオ符号器２０及び復号器２６はビデオ・キャプチャー・デバイス１８によって取得されたビデオを符号化するのに適した様々なハードウェア、ソフトウェア及び／またはファームウェアを含む。ビデオ符号器２０はビデオ符号化のためにプログラム可能なソフトウェア・モジュールを実行する一つ以上のディジタル信号プロセッサ（ＤＳＰ）を含む。関連するメモリ及び論理回路はビデオ符号化処理を制御する際にＤＳＰを支援するために提供される。いくつかの実施例において、ビデオ符号器１８は結合されたビデオ符号器-復号器 （ＣＯＤＥＣ）の一部を形成する。
【００２６】
ビデオ符号器２０及びビデオ復号器２６はＭＰＥＧ-１、ＭＰＥＧ-２、ＭＰＥＧ-４、ＩＴＵ-Ｔ Ｈ．２６３もしくはＩＴＵ-Ｔ Ｈ．２６４規格、または他の規格に一般に順応する技術といった一つ以上の符号化技術を適用するために構成される。特別な例として、ビデオ符号器２０及び復号器２６はＩＴＵ-Ｔ Ｈ．２６４／ＭＰＥＧ-４ Ｐａｒｔ １０、即ち、高度ビデオ符号化（ＡＶＣ）、ディジタル・ビデオ・コーデック規格に順応し、それは合同ビデオ・チーム（ＪＶＴ）として知られる集約共同努力の成果としてＩＳＯ／ＩＥＣ動画専門家グループ（Moving Picture Experts Group：ＭＰＥＧ）と共にＩＴＵ-Ｔビデオ符号化専門家グループ（Video Coding Experts Group：ＶＣＥＧ）によって策定された。ＩＴＵ-Ｔ Ｈ．２６４規格及びＩＳＯ／ＩＥＣ ＭＰＥＧ-４ Ｐａｒｔ １０規格は技術的に同じである。
【００２７】
現在、合同ビデオ・チーム（ＪＶＴ）はＩＴＵ-Ｔ Ｈ．２６４／ＡＶＣへのスケーラブル・ビデオ符号化（scalable video coding ：ＳＶＣ）拡張に取組んでいる。Ｈ．２６４／ＡＶＣと進展中のＳＶＣ拡張の両方の仕様は共同文書（Joint Draft：ＪＤ）の形式である。ＪＶＴによって創られた合同拡張ビデオ・モデル（Joint Scalable Video Model：ＪＳＶＭ）は拡張ビデオにおいて使用するためのツールを実装し、そして本発明において示した様々な符号化タスクに関するシステム１０によって使用される。ＪＳＶＭは様々なスケーラビリティの特徴を支援する。精細粒度ＳＮＲスケーラビリティ（ＦＧＳ）符号化に関係する詳細な情報は合同文書に見られる。しかしながら、ＦＧＳのいくつかの基本概念及び特異な特質は例示の目的のためにここに述べられるであろう。
【００２８】
ビデオ信号系列は一連のビデオ・フレームを含む。ビデオ符号器２０はビデオ・データを符号化するために個々のビデオ・フレーム中のピクセルのブロックに作用する。ビデオ・ブロックは固定もしくは可変のサイズを持ち、そして指定の符号化規格に基づいてサイズが異なる。例として、ＩＴＵ-Ｔ Ｈ．２６４は輝度成分に関して１６と１６、８と８、４と４、及び色度成分に関して８×８といった様々なブロック・サイズでのイントラ・フレーム予測、同様に輝度成分に関して１６と１６、１６と８、８と１６、８と８、８と４、４と８及び４と４、及び色度成分に関して対応するスケーラブル・サイズなど、様々なブロック・サイズにおいてインター・フレーム予測を支援する。小さなビデオ・ブロックは良好な解像度を提供し、より高い詳細レベルを含むビデオ・フレームの場所に使用される。予測の後、８×８の残りブロックまたは４×４の残りブロックに関して変換が行われ、その上、イントラ１６×１６予測モードが使用されれば、色度成分または輝度成分に関して４×４ブロックのＤＣ係数に変換が適用される。
【００２９】
さらに図１を参照すると、送信器２２は（線または無線の）チャネル１６上で符号化ビデオを伝送するために適切なモデム及び駆動回路を含み、或いは有線と無線媒体の組合せを含む。無線応用に関して、送信器２２は符号化ビデオ・データを搬送する無線データを伝送するためにＲＦ回路を含む。いくつかの実施例では、発信デバイス１２は 一つ以上のサーバ、ワークステーション、デスクトップ・コンピュータ、モバイル・コンピュータ、携帯情報機器 （ＰＤＡ）、無線電話、衛星電話、または他の有線または無線通信デバイスの形をとる。
【００３０】
受信デバイス１４では、発信デバイス１２のビデオ符号器２０と同様に、ビデオ復号器２６はＣＯＤＥＣの一部を形成する。受信デバイス１４は一つ以上のワークステーション、デスクトップ・コンピュータ、モバイル・コンピュータ、携帯情報機器（ＰＤＡ）、無線電話、衛星電話、または他の有線または無線通信デバイスといった、あらゆるディジタル・ビデオ・デバイスまたはビデオ・データを受取り、且つ復号することが可能なデバイスの組合せの形を取る。
【００３１】
送信器２２と同様に、受信器２４はチャネル１６上で符号化ビデオを受取るために適切なモデム及び駆動回路を含み、そして無線アプリケーションにおける符号化ビデオ・データを搬送する無線データを受取るためのＲＦ回路を含む。いくつかの実施例において、発信デバイス１２及び受信デバイス１４は各々がチャネル１６上で伝送される符号化ビデオ及び他の情報に関して発信デバイス及び受信デバイスの両方として役立つように逆の送信及び受信回路を含む。この場合には、発信デバイス１２及び受信デバイス１４の双方はビデオ信号系列を符号化し、伝送し、受取り、且つ復号する。
【００３２】
ＬＣＤまたはプラズマ・フラットパネル・ディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、または他のどれかのディスプレイといった表示デバイス２８はビデオをユーザーに提示するために適したデバイスである。その上、表示デバイス２８は受信デバイス１４と統合され、或いは有線または無線結合によって受信デバイス１４に接続された離散的デバイスとして提供される。表示デバイス２８はまた受信デバイス１４にとってユーザー・インタフェースの一部として役立つ。発信デバイス１２もまた受信されたビデオの視聴及び発信デバイス１２とのユーザー相互動作を可能にする表示デバイスを含む。
【００３３】
符号器２０及び復号器２６は精細粒度スケーラビリティ（ＦＧＳ）を支援するように構成される。ＦＧＳによってビットストリームは或るビット・レート範囲内で殆ど任意に切り詰められることが可能になる。ＦＧＳの一つの形は信号対雑音比（ＳＮＲ）スケーラビリティに適用される。共通のシナリオは或る品質レベルを有するベース層、及び同じ解像度でベース層に精製を提供する一つ以上のＦＧＳエンハンスメント層を持つビデオ・ビットストリームを符号化することを含む。例えば、共通の中間フォーマット（common intermediate format：ＣＩＦ）解像度に関して符号化されたベース層によって、ＦＧＳエンハンスメント層を介した追加ビットストリームの伝送はＣＩＦ解像度ビデオの品質、例えば、ＳＮＲを改善する。
【００３４】
この発明に従って、ＦＧＳは一般化ＦＧＳ手法に従って伝送される一つ以上のエンハンスメント層を介して空間スケーラビリティを支援するために利用される。例えば、４分の１共通中間フォーマット（quarter common intermediate format：ＱＣＩＦ）解像度で符号化されたベース層はビデオの空間解像度を、例えば、ＱＣＩＦ解像度からＣＩＦ解像度にエンハンスメントするために追加ビットストリームを含む一つ以上のＦＧＳエンハンスメント層によってエンハンスメントされる。空間スケーラビリティＦＧＳエンハンスメント層はまたＱＣＩＦ及び／またはＣＩＦ解像度に関してビデオの品質を高めるのに十分な追加ビットストリームを含む。従って、この発明において述べる一般化ＦＧＳ手法は空間スケーラビリティを支援するが、ＳＮＲスケーラビリティもまた支援する。特に、符号器２０及び復号器２６は一つ以上のエンハンスメント層の部分的復号に起因するドリフトエラーを緩和するように構成される。
【００３５】
図２はビデオ・ビットストリームの多層ＦＧＳ符号化を例示する図である。図２に示したように、ビデオ・ビットストリームのＦＧＳ符号化はベース層３０及び一つ以上のエンハンスメント層３２Ａ〜３２Ｎ（まとめて層３２）をもたらす。ベース層３０は或るビット・レートについて最小の品質レベルを持つビデオ・ビットストリームを符号化する一連のフレーム３６Ａ〜３６Ｎを含む。各々のエンハンスメント層３２はベース層３０によって提供された最初の品質を次第に上げるために復号器２６によって使用される追加ビデオ・ビットストリーム情報を提供する。復号器２６によって処理されるエンハンスメント層３２の数は発信デバイス１４によって伝送されたエンハンスメント層の数、例えば、或るチャネル条件または他の制限、及び復号器２６によって処理される受信エンハンスメント層の数に依存する。
【００３６】
一般に、各それぞれのエンハンスメント層３２Ａ〜３２Ｎ、またはその一部は、復号器によって処理されるが、この発明に従ってＳＮＲ及び／または空間解像度に関して、ベース層３０から取得されたビデオの品質に付加して増加する。離散的のエンハンスメント層としてその全体で各エンハンスメント層３２Ａ〜３２Ｎを処理する代りに、この発明は空間スケーラブルエンハンスメント層が一般化ＦＧＳ手法を用いて符号化され、伝送され、且つ処理されることを可能にするシステム１０を想定する。このように、空間解像度は精細粒度によって一定基準化され、空間エンハンスメント層の部分的復号に対して連続的な品質改善を提供する。これから述べるように、部分的復号はこの発明においてもまた提示された一つ以上の手法を用いて扱われる誤り伝搬問題を提示する。
【００３７】
図３はベース層及びエンハンスメント層符号器及び復号器を含めて、図１のシステム１０をさらに詳細に例示するブロック図である。特に、図３の例では、ビデオ符号器２０はベース層符号器３８及びエンハンスメント層符号器４０を含む。ビデオ復号器２６はベース層復号器４２及びエンハンスメント層復号器４４を含む。デバイス１２及び１４はその他の点では一般に図１と同じである。さらに、発信デバイス１２及び受信デバイス１４は逆送信／受信及び符号化／復号化要素を各々含む。図１と同様に、しかしながら、図３は例示を容易にするために発信／符号化デバイスとして一つのデバイス１２を提示し、そして受信／復号化デバイスとして他のデバイス１４を提示する。
【００３８】
ベース層符号器３８は最小レベルの品質及び／または或るビット・レートに関して最小空間サイズを提供するためにビデオ・カメラ１８から取得されたビデオ・ビットストリームの少なくとも一部を符号化する。エンハンスメント層符号器４０は、復号されたならば、付加品質を提供し、且つ／または一つ以上のより大きな空間フォーマットを可能にするエンハンスメント層を作成するためにビデオ・ビットストリームの追加部分を符号化する。エンハンスメント層はそれらが復号されるに従って次第に増加する品質をその層が提供するという意味で階層的である。全てのエンハンスメント層の復号は、例えば、最大の品質及び最大の空間サイズを造出し、一方、最初のエンハンスメント層のみの復号はベース層のみの復号と比較して品質の漸進的な増加を造出するであろう。
【００３９】
エンハンスメント層は画像フレーム品質の増加と共に第一のサイズから第二のサイズへの空間スケーラビリティを可能にする。代りに、いくつかの実施例では、エンハンスメント層は第一のサイズから第二のサイズへ、第二のサイズから第三のサイズへ、そして恐らくは第三のサイズから一つ以上のより大きなサイズへの空間スケーラビリティを可能にする。例えば、エンハンスメント層によってビデオ・フレームまたは系列は単にＱＣＩＦからＣＩＦへ、または単にＣＩＦからＶＧＡ（video graphics array）へ、または単にＶＧＡからＳＶＧＡ（super VGA ）へ基準化されることが可能になる。代りに、エンハンスメント層によってビデオはＱＣＩＦからＣＩＦへ、ＣＩＦからＶＧＡへ、そしてＶＧＡからＳＶＧＡへ基準化されることが可能になる。 ＱＣＩＦ、ＣＩＦ、ＶＧＡ、及びＳＶＧＡは例示の目的のために述べているけれども、他の空間サイズ及びフォーマットもこれに代るもの、または追加として可能である。
【００４０】
動作では、ベース層復号器４２は表示デバイス２８に提示のためにビデオ・カメラ１８によって取得されたビデオ・ビットストリームの一部を造出するためにチャネル１６を介して受取られたベース層を復号する。利用可能であるならば、エンハンスメント層復号器４４は一つ以上のエンハンスメント層を復号することによって復号ビデオの品質を増加させる。さらに、受信デバイス１４によって受信されるエンハンスメント層の数はチャネル条件または他の制約に依存する。その上、エンハンスメント層復号器４４によって処理された受信エンハンスメント層の数は復号器の制約に依存する。一般に、ベース層の符号化及び復号化は、選択された数のエンハンスメント層と結合して、復号ビデオのＳＮＲ品質の漸進的な改善を可能にする。
【００４１】
ＳＮＲスケーラビリティに加えて、空間スケーラビリティを提供することもまた望ましい。この発明に従って、システム１０は一般化ＦＧＳ符号化手法を介して空間スケーラビリティを支援するように構成される。これから述べるように、システム１０は多層ＦＧＳ符号化ビデオにおける各エンハンスメント層がベース層のビデオ品質を一様に改善させることを保証するために異なるビデオ・ブロックに関する符号化係数及びシンタックスエレメントを循環してインタリーブすることによって、一部、空間スケーラビリティを達成することができる。
【００４２】
ＦＧＳによって空間スケーラビリティを達成する部分的復号は誤りを生み出す。この理由のために、システム１０は浮動を減少させるためにイントラ・フレーム予測における漏洩予測、空間誤り伝搬を減少させるために内部ブロックに関する特定のＤＣモード、及びイントラ予測に関してベース層におけるピクセルだけを使用することの制限を含めて、誤り伝搬を抑制する一つ以上の方法を適用する。システム１０はいかにエンハンスメント層が予測されるべきであるか、例えば、それがインター-またはイントラ-予測であるか、そしていかにブロックが分割されたかを記述するシンタックスエレメントを送る。システム１０はまた選択に基づいてＦＧＳ空間スケーラビリティまたは離散的空間スケーラビリティを支援する。言い換えれば、システム１０はネットワーク条件、チャネル条件、復号器能力または他の考察に基づいてＦＧＳ空間スケーラビリティと離散的エンハンスメント層を介する空間スケーラビリティを支援し、そしてその間を移行する。
【００４３】
図４はビデオ・フレームのＦＧＳ符号化において使用されるジグザグ走査ブロックを例示する図である。図４の例では、ブロック４６Ａ、４６Ｂ、及び４６Ｃはビデオ・フレームのエンハンスメント層における最初の３ブロックであることが仮定される。この例では、各ブロック４６Ａ、４６Ｂ、４６Ｃは４行４列の係数ブロックである。ブロック４６Ａ、４６Ｂ及び４６Ｃは変換領域に描かれている。従って、ブロック４６Ａ、４６Ｂ、４６Ｃにおける数または変数は無損失エントロピー符号化処理によって符号化されるべき量子化係数である。文字「Ｓ」で始まるラベルを持つ係数は、例えば、ブロック４６Ａにおける参照数字４１によって示されるように、非ゼロの有意係数（significant coefficient）である。このブロック４６ＡはＦＧＳ ＳＮＲスケーラビリティエンハンスメント層にあるので、ブロックにおける各係数について、ベース層において対応する係数がある。
【００４４】
非ゼロの有意係数に関して、その値は非ゼロであり、そしてその対応するベース層係数はゼロである。例えば、係数「Ｓ０，１」はジグザグ走査指数「１」においてブロック「０」における非ゼロの有意係数に対応する。「０」とラベル付けされた係数はゼロ係数であり、そしてその対応するベース層係数はまたゼロである。文字「Ｒ」で始まるラベルを持つ係数は、例えば、ブロック４６Ａにおける参照数字４３によって示されたように、非ゼロである、即ち、有意の対応ベース層係数を持つ改良係数（refinement coefficient）である。改良係数の値はゼロか非ゼロのいずれかである。例えば、係数「Ｒ２，２」はジグザグ走査指数「２」においてブロック「２」における改良係数であるエンハンスメント層係数の分類において、有意性マップ（significance map）がしばしば使用される。このマップは既にベース層において有意になった係数の場所を示す。エンハンスメント層におけるこれらの場所の係数は改良係数である。
【００４５】
ここに述べたように、エンハンスメント層符号器４０はベース層を符号化する際に使用されるエントロピー符号器、例えば、ＩＴＵ-Ｔ Ｈ．２６４規格によって想定されるエントロピー符号器に対する拡張と見なされる。特に、エンハンスメント層において使用されるブロック分割、変換及び量子化はベース層において使用されるそれらと類似している。ゼロをより効率的に符号化するために、符号化ブロック・フラグ（coded block flag：ＣＢＦ）及びブロック終端（end of block：ＥＯＢ）といったシンタックスエレメントが使用される。同様のシンタックスエレメントはまたベース層符号化においても使用される。ＣＢＦは各ブロックについて一度送られ、そしてブロックにおいて非ゼロの有意係数の存在を示す。ＣＢＦが０であるならば、非ゼロの有意係数はない；他の場合は、少なくとも一つの非ゼロの有意係数がある。ＥＯＢフラグはまさに符号化された非ゼロの有意係数が走査順序における最後の非ゼロの有意係数であるかどうかを示すために使用される。
【００４６】
ベース層符号器３８とエンハンスメント層符号器４０との間の一つの差異はＦＧＳ層及び符号化順序において他の係数からの改良係数の分離にある。ベース層において、ブロックは次のブロックが符号化される前に完全に符号化される。この発明の実施例に従って、しかしながら、エンハンスメント層符号器４０の一つの特徴は異なるブロックからの係数が相互にインタリーブされることである。ブロックの係数は巡回して符号化される。各サイクルにおいて、或るブロックからのいくつかの係数だけが符号化される。このように、エンハンスメント層符号器４０は一旦ビットストリームが切り詰められると、ビデオ品質への改善がより一様であることを保証する。
【００４７】
図５はジグザグ順に配列された異なるビデオ・ブロック４６Ａ、４６Ｂ、４６Ｃに関するシンタックスエレメント及び係数の典型的な符号化順序を例示する図である。図６はシンタックスエレメントの伝送に関する典型的な符号化順序を例示し、その中で各ブロックからの係数はジグザグ順に水平に配列されている。各係数は図５及び６においてブロックによって表される。図５及び６の例では、高々一つの非ゼロ係数は一つのサイクルにおいて或るブロックについて符号化され、そしてサイクル指数はジグザグ走査指数とたまたま同じである。しかしながら、サイクル指数もまた異なって定義され、そして一つ以上の非ゼロ係数は設計考察に応じて符号化される。図５における各サイクルは図４のジグザグ順序で一つの係数から別の係数へ移行する或る矢印に対応する。
【００４８】
図５に示したように、サイクル０に関して、ＣＢＦは各ブロック４６Ａ、４６Ｂ、４６Ｃについて一度送られ、そしてブロックに非ゼロ有意係数があることを示す。例えば、ＣＢＦ ０／１は第一のブロック０に対応し、そしてブロックに非ゼロ有意係数があることを示す。その上、ブロック０からのゼロ係数「０」及び非ゼロ係数「Ｓ０，１」（それはジグザグ走査指数「１」におけるブロック「０」中の非ゼロ有意係数に対応する）はサイクル０において送られる。しかしながら、ＣＢＦ ０／１は第二のブロック１に対応し、そしてブロックに非ゼロ有意係数がないことを示す。従って、次のサイクルにはブロック１について送られる係数はない。サイクル０はさらにＣＢＦ ２／１を含み、ブロック２が非ゼロ有意係数Ｓ２，０、及び係数Ｓ２，０それ自体を含むことを示す。
【００４９】
サイクル１はブロック２に関するＥＢＯフラグ（ＥＢＯ ２／０）を含み、サイクル０においてまさに符号化された非ゼロ有意係数（それはＳ２，０である）は走査順序において最後の非ゼロ有意係数ではないことを示す。残りのサイクルに亘って、ブロックの符号化は走査ジグザグ順序に従って続き、そして適切であるとして、ＣＢＦ及びＥＯＢといったシンタックスエレメントを含む。図４、５及び６はビデオ・フレームのエンハンスメント層における最初の三つの４×４ブロックと関係がある。しかしながら、図４〜６に例示した一般的な手法はより多数のブロックと同様により大きなサイズを持つブロックに適用できる。
【００５０】
図６は、伝送の順番が異なるビデオ・ブロックについて配列されたシンタックスエレメント及び係数の符号化順序を例示する図である。図６における符号化順序は或るサイクルで送られたシンタックスエレメント及び係数が水平に記載されるようにシンタックスエレメント及び係数が再配列されることを除けば図５のものと同等である。図６の図において、シンタックスエレメント及び係数は最上部から最下部へサイクル指数順序が増加するように送られ、そして各サイクルに関して、左から右へ送られる。
【００５１】
例えば、サイクル０は最初のブロックに関するＣＢＦ ０／１を示し、ゼロ係数が続き、Ｓ０，１が続き、それはジグザグ走査指数「１」においてブロック「０」における非ゼロ有意係数に対応する。サイクル０はさらにブロックＣＢＦ １／０を含み、ブロック１における非ゼロ有意係数、及びＣＢＦ ２／１及びＳ２，０を示さず、それはブロック２に関する非ゼロ有意係数を示し、そして提供する。処理はジグザグ走査順でサイクル１〜１５について継続し、そこでは各サイクルは図４における一つの矢印の推移に対応する。
【００５２】
空間スケーラビリティによってビデオ復号器２６はスケーラブル・ビデオ・ビットストリームからエンハンスメント層ビットストリームを復号することによって、４分の１共通中間フォーマット（ＱＣＩＦ）の代わりに高空間解像度のビデオ信号、例えば、ＣＩＦを再構成し、且つ表示することが可能になる。図４〜６におけるシンタックスエレメント及び係数の典型的な順序付けは空間スケーラビリティ及びＦＧＳ ＳＮＲスケーラビリティの両方に関して一般化ＦＧＳフォーマットの使用を支援する。ベース層ビットストリームを復号することによって復号器２６はより低い空間解像度ビデオを取得することが可能となり、一方、一つ以上のエンハンスメント層の復号化によって復号器はベース層空間解像度のＳＮＲを改善し、且つ／または空間解像度をより大きなフォーマットに増大させることが可能となる。
【００５３】
図７Ａは空間スケーラビリティエンハンスメント層ビットストリームを含む多層ビットストリームを例示する図である。図７Ｂは図７Ａの空間スケーラビリティ・ビットストリームに関するレート-歪み（Ｒ-Ｄ）特性を例示する図である。図７Ａ及び７Ｂは空間スケーラビリティとＦＧＳ ＳＮＲスケーラビリティの両方の例を提供する。ベース層４５を復号することは図７Ａのビットストリーム１を生成し、それは復号器２６が最小品質（ＳＮＲ）レベルで、比較的低い空間解像度ビデオ、例えば、毎秒３０フレーム（ｆｐｓ）でＱＣＩＦ空間解像度を取得することを可能にする。図７Ａにおけるビットストリーム２はＱＣＩＦビデオ品質（ＳＮＲ）をいくらか、例えば、３ｄＢだけ改善する最初のＦＧＳエンハンスメント層ビットストリーム４７において提供される。
【００５４】
エンハンスメント層４９の復号は空間スケーラビリティを支援する追加ビットストリーム３を提供する。図７Ａのエンハンスメント層４９においてビットストリーム３を復号することは復号器２６がより高い空間解像度ビデオ、例えば、３０ｆｐｓでＣＩＦ空間解像度を取得することを可能にする。エンハンスメント層５１はＦＧＳ ＳＮＲスケーラビリティを同じく持つ追加ビットストリーム４を提供する。エンハンスメント層５１の復号はさらにＣＩＦビデオ品質を改善するが、その結果生じるビデオの空間解像度には影響しない。図７Ａに示したように、ベース層４５、エンハンスメント層４７、エンハンスメント層４９及びエンハンスメント層５１は完全な伝送のために毎秒９６キロビット（ｋｂｐｓ）、１９２ｋｂｐｓ、３８４ｋｂｐｓ、及び５１２ｋｂｐｓのチャネル帯域幅をそれぞれ必要とする。その例では、エンハンスメント層のビット・レートはより低い層の全てのビット・レートを含む。例えば、層４７の１９２ｋｂｐｓビット・レートは層４５の９６ｋｂｐｓを含む。同様に、層４９の３８４ｋｂｐｓビット・レートは層４７の１９２ｋｂｐｓビット・レート及び層４５の９６ｋｂｐｓビット・レートを含む。
【００５５】
システム１０はこの発明に従って一般化精細粒度スケーラビリティ（Fine Granularity Scalability：ＦＧＳ）を支援するように構成される。この意味で、システム１０は空間スケーラビリティが離散的エンハンスメント層を送ることによってのみ実現される他のシステムに対する改善を提供する。ＦＧＳに関して、その全体で離散的エンハンスメント層を処理する代りに、実質的にあらゆる点で空間スケーラビリティエンハンスメント層を切り詰めることが可能である。従って、ＦＧＳに関して、復号器２６は全体のエンハンスメント層ビットストリームを解析し、且つ復号することなくビデオフレームの空間解像度を増加させる。しかしながら、システム１０はさらに部分的復号化による誤り伝搬を低減させるために一つ以上の手法を実施する。
【００５６】
図７Ｂは異なるビット・レート及び空間解像度についてデシベル（ｄＢ）でピーク信号対雑音比（ＰＳＮＲ）を示す。特に、図７ＢはＣＩＦ及びＱＣＩＦレート-歪み（Ｒ-Ｄ）曲線を示す。図７Ｂの例では、ＣＩＦ及びＱＣＩＦレート-歪み曲線はビット・レート推移に関してばらばらになっている。図７Ｂの参照数字５３はＱＣＩＦ ＳＮＲスケーラビリティ経路を特定し、一方、参照数字５５はＣＩＦ ＳＮＲスケーラビリティ経路を特定する。参照数字５７はＱＣＩＦとＣＩＦとの間の漸進的で実質的に連続なＦＧＳ空間スケーラビリティ経路を示し、一方、参照数字５９は急激な離散的エンハンスメント層空間スケーラビリティ経路を示す。
【００５７】
図７Ｂにおける表記はＳＮＲ及び／または空間スケーラビリティを一つの点から別の点へ増加させるために使用されるベース層及びエンハンスメント層の組合せを図７Ａに示した層を参照して示す。例えば、「１のみ」は図７Ａのベース層ビットストリームのみが最小ＳＮＲ品質のＱＣＩＦビデオ・フレームを造出することを示す。表記「１＋部分的２」はベース層ビットストリーム及び最初のエンハンスメント層ビットストリームの一部の両方がエンハンスメントＳＮＲ品質を持つＱＣＩＦビデオ・フレームを造出するために復号され、一方、「１＋２」はエンハンスメントＳＮＲ品質を達成するためにベース層ビットストリーム及び最初のエンハンスメント層ビットストリームの両方の完全な復号化を示す。表記「１＋２＋部分的３」は、この発明に従って、一般化ＦＧＳ手法を使用してエンハンスメント層３を部分的復号することによって許されたＱＣＩＦからＣＩＦへの空間スケーラビリティ経路を同定する。
【００５８】
システム１０は、この発明に述べたように、ＦＧＳフォーマットで空間スケーラブルエンハンスメント層を送ることによって空間解像度エンハンスメントのために一般化ＦＧＳを提供する。この手法によって空間スケーラブルエンハンスメントビットストリームは或るネットワーク／チャネル条件及び／または復号器能力に適合するためにあらゆる点で切り詰めることが可能になる。このように、より良いネットワーク／チャネル条件及び／またはより高い能力を持つ復号器はより高い空間解像度及び連続して改善されたビデオ品質を持つビデオを再構築することができ、さらに多くのビットが受信され、且つ復号される。空間スケーラビリティのための一般化ＦＧＳ手法の使用は離散的エンハンスメント層の完全復号化に対してかなりの改善を行う。
【００５９】
空間解像度エンハンスメントのための一般化ＦＧＳによって、異なる空間解像度を持つビデオに関するＲ-Ｄ曲線はビット・レート推移に関して結合されるであろう。このように、空間解像度エンハンスメントのための一般化ＦＧＳは曲線５９のような分離したＲ-Ｄ曲線ではなく、異なる空間解像度ビデオ、例えばＱＣＩＦ及びＣＩＦの間の実質的に連続なＲ-Ｄ曲線を持つ連続的に改善されたビデオ品質を提供する。特に、図７Ａのベース層及び最初のエンハンスメント層の完全な復号を示すＱＣＩＦ ＳＮＲ曲線５３上の点１＋２と図７Ａのベース層及び第二のエンハンスメント層の完全な復号を示す離散的空間エンハンスメント層上の点１＋３との間の間隙に注目せよ。
【００６０】
一例として、図７Ａの図及び図７Ｂの関連グラフに関して、ベース層１によって提供されたＱＣＩＦビデオよりもむしろ、ＣＩＦビデオを造出することが望ましいと仮定する。しかしながら、チャネル条件は離散的エンハンスメント層４９の完全な伝送及び復号化のために必要とされる毎秒３８４キロビット（ｂｐｓ）を支援しないであろうとさらに仮定する。この場合には、ＦＧＳエンハンスメント層４７は３８４ｋｂｐｓ以下のビット・レートによってＣＩＦビデオを取得するために許容レベルまで切り詰められる。これは２８８ｋｂｐｓ（ビットストリーム２の０％が送られるとき）と３８４ｋｂｐｓ（ビットストリーム２の１００％が送られるとき）の間で連続的な品質改善を許容すると同時に、そのようなビットストリーム切り詰めのＲＤ性能は図７Ｂにおいて曲線５９（１＋部分的２＋３）によって示されたように次善のものである。この場合には、１＋部分的２＋３はベース層１の完全な復号、ＦＧＳエンハンスメント層２の部分的復号及び離散的エンハンスメント層３の完全な復号を表す。そのようなＲ-Ｄ性能は望ましくない。一般化ＦＧＳを許容して、離散的エンハンスメント層３を完全に復号する代りに、二つの空間解像度を結合するＲ-Ｄ性能曲線は曲線５９（１＋部分的２＋３）から曲線５７（１＋２＋部分的３）へ改善され、それは実質的にＱＣＩＦ曲線５３とＣＩＦ曲線５５との間の全体の空間規模に及んでいる。
【００６１】
従って、異なる空間解像度ビデオ間の分離されたＲ-Ｄ曲線を避けるために、且つ／またはあまり望ましくない符号化性能を避けるために、システム１０は空間解像度強化のために一般化ＦＧＳを提供するように構成される。良い符号化性能を持つ一般化ＦＧＳを使用して空間スケーラビリティを達成するために、一つ以上の独特の符号化手法が、単独でまたは組合わせて、誤り伝搬を抑制するために適用される。ＦＧＳ空間スケーラビリティを支援するエンハンスメント層の部分的復号は重大な誤り伝搬を造出する。この発明において述べる追加手法はそうでない場合には連続的に改良されたビデオ品質を持つ空間スケーラビリティを達成する一般化ＦＧＳの使用に起因するであろう誤り伝搬を抑制する際に効果的である。
【００６２】
例えば、一実施例では、システム１０は浮動を減少させるためにイントラ・フレーム予測において漏洩予測手法、空間誤り伝搬を減少させるためにイントラ・ブロックに関して特定のＤＣモード、及び／またはイントラ予測についてベース層のピクセルのみを使用する制限を適用する。その上、システム１０はいかにエンハンスメント層が予測されるべきであるか、例えば、それがインター、-またはイントラ-予測であるかどうか、そしていかにブロックが分割されたかを記述するシンタックスエレメントを送る。いくつかの実施例では、システム１０は選択に基づいてＦＧＳ空間スケーラビリティ、または離散的空間スケーラビリティを支援する。これらの追加の誤り減少手法の各々は下記でさらに詳細に述べる。
【００６３】
ＦＧＳ層ビットストリームは量子化された残余変換係数のみを含むが、モード及び動き情報は含まない。ＦＧＳを使用して空間スケーラビリティを達成するために、モード及び動き情報もまた送られなくてはならない。これは離散的エンハンスメント層について定義されたものと類似した構文を用いて達成される。マクロブロック・モードに関してイントラ（Ｉ）モード（Ｉ_Ｎ×Ｎ，Ｉ_１６×１６）、イントラ（Ｉ）_ＢＬ（ベース層）モード、及びインター（ＰまたはＢ）モードが支援される。Ｉ_ＢＬモードはインター-層テクスチャ予測モードである。このモードでは、エンハンスメント層におけるピクセルのブロックはベース層における再構成ピクセルから予測される。エンハンスメント層の解像度がベース層のそれと異なるならば、ベース層再構成ピクセルはエンハンスメント層解像度に適切にアップサンプリングされなければならない。エンハンスメント層の解像度がベース層と同じであるならば、漏洩予測技術を有効にするベース層のアップサンプリングは必要ではない。その代りに、漏洩予測はアップサンプリングなしで達成される。結局、アップサンプリングは必要であり、様々な内挿技術のどれもがアップサンプリングするために使用される。動きベクトル及び参照画像指数について、それらはベース層ビットストリームから得られ、或いは精錬され、もしくは直接エンハンスメント層ビットストリームで送られる。
【００６４】
図８ＡはＦＧＳエンハンスメント層の部分的復号により符号器及び復号器における異なる参照フレームの使用によって引き起こされる浮動問題を例示する図である。図８Ｂは図８Ａに示した浮動問題を軽減するために、ベース層からの部分的予測、即ち、漏洩予測を例示する図である。ＦＧＳビットストリームの部分的な復号、即ち、ビットストリーム切り詰めは浮動問題を引き起こす。特に、復号器２６がマクロブロックを再構成するために部分的に受信したエンハンスメント層ビットストリームを使用し、そしてインター-予測において同じマクロブロックを後で使用するとき、 図８Ａに示した符号器と復号器の間に不整合がある。漏洩予測手法は、この発明に従って、少なくとも部分的に浮動問題を低減させる。漏洩予測では、図８Ｂに示したように、予測信号はＦＧＳエンハンスメント層から（例えば、因数α（０≦α＜１）によって）部分的に形成され、ベース層から（例えば、因数１−αによって）部分的に形成される。ベース層信号が完全に常に受信されるので、エンハンスメント層の部分的な復号によるあらゆる誤りＥは因数「α」だけ減少され、そして次のフレームにおいてα＊Ｅ、α2＊Ｅ、α3＊Ｅ等になるであろう。
【００６５】
図９は隣接ピクセルの部分的復号によって引き起こされるドリフトエラーを例示する図である。図１０はドリフトエラーを減少するために漏洩予測手法を使用する隣接ピクセルの形成を例示する図である。システム１０はマクロブロック間と同様に、マクロブロック内に漏洩予測を拡張するように構成される。図９の例では、参照数字５０は現在のＩ_４×４ブロックを示し、参照数字５２は符号器側で予測に使用される隣接ピクセルを示し、そして参照数字５４は復号器側で予測に使用される隣接ピクセルを示す。イントラ予測に関して、ブロックのピクセルは前に復号された隣接ブロックの端部ピクセルから予測される。エンハンスメント層の部分的復号はビデオ・ブロックのイントラ予測のために復号器によって使用された隣接ピクセルが符号器によって使用されたものと異なる原因となり、ドリフトエラーをもたらす。
【００６６】
図９は漏洩予測手法に関するイントラ（Ｉ）_４×４対角線モードの一例を示す。図９の例では、現在のブロック５０について、隣接ブロックを表すエンハンスメント層ビットの部分的復号は復号器側におけるＩ_４×４対角線モードにおいて使用される隣接ピクセル５４が符号器側において使用される隣接ピクセル５２と異なる原因となる。云い換えれば、或るブロック５０を予測するために使用される隣接ピクセルは復号器がエンハンスメント層ビットを部分的に復号するとき復号器及び符号器において異なる。従って、予測４×４ブロックは変更され、再構成ブロックにおけるドリフトエラーの原因となる。現在のブロック５０におけるピクセルが復号器側において次のブロックの予測に使用されるとき、そのようなドリフトエラーは再び隣接の４×４ブロックに伝搬され、潜在的に厳しい誤り伝搬をもたらす。
【００６７】
漏洩問題を減少するために、図１０は４×４予測ブロック５８がエンハンスメント層隣接ピクセル５４から構築された予測ブロック及びアップサンプリングベース層予測ブロック５６の（荷重要素αによる）荷重平均によって形成される漏洩予測技術のアプリケーションを例示する。予測ブロックを形成するために使用されるアップサンプリングベース層ピクセルは予測されるべき実際のブロックに対応するピクセルである。エンハンスメント層から構築された予測ブロックを形成するために使用されるピクセルは予測されるべき実際のブロックの端部に沿って前に復号されたブロックからの隣接ピクセルである。復号器側では、結果として生じる予測ブロック５８におけるピクセル値は因数αによって乗算したエンハンスメント層ビデオ・ブロックの隣接ピクセルから再構成された予測ブロックと因数１−αによって乗算したアップサンプリングベース層予測ブロック５６の和である。
【００６８】
各場合において、エンハンスメント層予測ブロックからの隣接ピクセルはイントラ・ブロックを予測するためにアップサンプリングベース層予測ブロックと組合せて使用される。エンハンスメント層について、必ずしも全てのブロックが受取られるとは限らず、部分的復号だけが行われる。ベース層については、全てのブロックが受取られるが、エンハンスメント層より低い解像度である。エンハンスメント層予測ブロック及びアップサンプリングベース層予測ブロックの隣接ピクセルの荷重平均は再構成ブロック５８におけるドリフトエラーを減少させるのに役立ち、そして空間ＦＧＳ符号化におけるエンハンスメント層の部分的復号によって提示された潜在的な問題を軽減する。
【００６９】
従って、漏洩予測手法では、エンハンスメント層隣接ピクセルから形成された予測ブロック及びアップサンプリングベース層ピクセルから形成された予測ブロックは符号化において使用する実際の予測ブロックを造出するために重み付けされる。ベース層ピクセルのアップサンプリングはエンハンスメント層予測ブロックと同じ解像度でベース層予測ブロックを提供する。いくつかの実施例では、しかしながら、ベース層及びエンハンスメント層が同じ空間解像度を持つならば、ベース層ピクセルがアップサンプリングされる必要はない。その代りに、漏洩予測はアップサンプリングなしで実行される。エンハンスメント層によって定義されたビデオがベース層によって定義されたビデオの解像度より大きい解像度にあるならば、ベース層ピクセルのアップサンプリングが実行される。イントラ_４×４予測は図９及び１０における例として使用されているけれども、漏洩予測手法は輝度標本のイントラ_８×８または１６×１６予測、或いは色度イントラ予測といった、他のイントラ予測形式に適用することができる。図１０の例において、復号器２６はドリフトエラーを軽減する予測ブロックを造出するために荷重αを持つエンハンスメント層隣接ピクセルから構築された予測ブロックを重み付けし、そして荷重１−αを持つアップサンプリングベース層予測ブロックを重み付けするために漏洩予測を適用する。しかしながら、他の因数または重み付けは、さらに複雑な重み付け関数を含めて、例えば、下記に述べるようにドリフトエラーを減少させるために使用される。
【００７０】
イントラ-符号化ブロックに関する漏洩予測は、図９及び１０に示したように、誤り伝搬を抑制し、そして一般化ＦＧＳ技術において品質の改善を促進する。ビットストリームが部分的に復号されるとき、他の技術が使用されるであろう。エンハンスメント層ビットストリームの有意量が受取られないならば、或る点において、いくつかのブロックについて、隣接予測はベース層予測より悪いであろう。予測材料（predictors）を計算する際に使用される重み付け因子（それは隣接のピクセルから構築された予測材料及びベース層予測材料である）は動的に調整可能にされる。重み付け因子の値は復号されたビットストリームの量によって決まる。より多くのビットストリームが復号されるならば、隣接ピクセルから構築された予測材料に関する重み付け因子はより高い。全体のエンハンスメント層ビットストリームが復号されるとき使用される重み付け因子はまた内容に依存する。例えば、イントラ-予測に適用される重み付け因子の値はいかにベース層が予測されたかによって決まる。
【００７１】
図１１は図１０に示した漏洩予測技術の動作を例示するフローチャートである。図１１に示したように、復号器２６はベース層ビデオ・ブロックを再構成するためにＦＧＳベース層を復号し（５７）、エンハンスメント層ビデオ・ブロックを再構成するために一以上のＦＧＳエンハンスメント層ビデオ・ブロックを少なくとも部分的に復号する（５９）。ＦＧＳエンハンスメント層は単に部分的に復号されるので、復号器２６はイントラ-符号化ブロックの復号化のために漏洩予測技術を適用する。この理由から、イントラ-符号化予測ブロックを再構成するために部分的に復号されたエンハンスメント層からの隣接ピクセルに対する依存は符号器及び復号器側上の異なるピクセルの使用の可能性による重大なドリフトエラーをもたらすであろう。
【００７２】
漏洩予測技術を実施するために、典型的実施例では、復号器２６はベース層ピクセルをアップサンプリングし（６１）、そしてアップサンプリングベース層ピクセルから第一の予測ブロックを形成する（６３）。ベース層ピクセルはエンハンスメント層の解像度にアップサンプリングされ、エンハンスメント層解像度がベース層解像度より大きいならば、予測されるべきイントラ-符号化ブロックの解像度に対応する予測ブロックを造出する。エンハンスメント層及びベース層の解像度が等しいならば、ベース層ピクセルをアップサンプリングする必要はない。その代りに、漏洩予測技術はアップサンプリングされないベース層ピクセルから形成された予測ブロックに基づいて進行する。従って、ベース層ピクセルのアップサンプリングは任意であり、そしてエンハンスメント層解像度がベース層解像度より大きいとき適用される。図１をさらに参照して、復号器２６はまた対応するエンハンスメント層ビデオ・ブロックの隣接ピクセルから第二の予測ブロックを形成する（６５）。特に、復号器２６は予測されるべきイントラ-符号化ブロックに隣接する復号エンハンスメント層におけるピクセルを選択する。第一及び第二の予測ブロックを使用して、復号器２６はイントラ-符号化ブロックを予測する（６７）。
【００７３】
特に、図１１の例で示したように、復号器２６はアップサンプリングベース層ピクセルから造出された第一の予測ブロック及びエンハンスメント層ブロックにおける隣接ピクセルから造出された第二の予測ブロックの加重和に基づいてイントラ・ブロックを予測する。このように、ベース層とエンハンスメント層ピクセルを結合することによって、復号器２６はそうでなければエンハンスメント層の部分的復号化のために生じるであろうドリフトエラーの量を減少させる。漏洩予測技術はビデオ・スライス（video slice）におけるいくつか、または全てのイントラ-符号化ブロックに適用される。各場合において、エンハンスメント層隣接ピクセル及びベース層ピクセルの異なる結合は予測されるべきイントラ-符号化ブロックに対応するように選択される。
【００７４】
漏洩予測に加えて、空間スケーラビリティに関する一般化ＦＧＳ手法は空間誤り伝搬を防ぐためにイントラ・マクロブロックについて特定のＤＣモードを提供する。ベース層情報を使用する漏洩予測に関してさえも、ドリフトエラーはなお誤り発生源からの距離が増大するとともに累積される。ＤＣ係数はブロックの左上角の係数を通常は参照し、そして隣接ブロックから得られた予測によって符号化される。
【００７５】
空間誤り伝搬を軽減するために、システム１０は一般化ＦＧＳに関する特別ＤＣモードを提供するように構成される。全てはイントラ・マクロブロック形式（Ｉ_４×４、Ｉ_８×８及びＩ_１６×１６を含む）はこの特別なＤＣモードを使用することができる。特別なＤＣモードが使用されるとき、Ｎ×Ｎブロック（Ｎ＝４、８、または１６）のＤＣ係数は隣接ブロックにおける情報から得られたあらゆる値の代わりに符号器と復号器の両方に既知の初期設定値から予測され、そしてＡＣ係数はあらゆる予測なしで符号化される。従って、特別ＤＣモードは隣接ブロックから値の導出を回避し、そしてその代りに所定の初期設定値に頼る。この発明では、特別ＤＣモードが誤り伝搬を制御するために使用され、そして全ての必要な隣接ブロックが利用可能であっても使用される。ＤＣ値を符号化するのに必要なビットの数は量子化パラメータに依存する。一旦、ビットの数が決定されれば、ＤＣ値は固定長符号化（fixed-length coding）を使用して符号化される。ＤＣ値はまた他の可変長符号（Variable Length Codes） を使用して符号化される。
【００７６】
図１２はビデオ・ブロックの特別ＤＣモードのアプリケーションを例示する図である。特に、図１２は例として４×４ブロックを使用して、Ｉ_４×４特別ＤＣモードの符号化を示す。図１２の例について、Ｉ_８×８特別ＤＣモードは８×８ブロック変換が使用され、且つＤＣ係数が８×８ブロックか計算されることを除けば、Ｉ_４×４特別ＤＣモードに類似している。Ｉ_１６×１６特別ＤＣモードについて、ＩＴＵ-Ｔ Ｈ．２６４において定義された変換手法が使用され、そしてＤＣ係数は、例えば、図１５に示したように、Ｈａｄａｍａｒｄ変換のアプリケーションに従うブロック９４におけるＤＣ係数である。
【００７７】
特別ＤＣモードは別モード（extra mode）として、即ち、他の確立されたイントラ予測に加えて、符号化ビットストリームと共に送られる。例えば、ＩＴＵ-Ｔ Ｈ．２６４規格では、当業者には既知の九つの確立されたＩ_４×４予測モードがある。特別ＤＣモードが別モードであるならば、それは第１０モードである。Ｉ_１６×１６マクロブロックについて、特別ＤＣモードは第５モードである。代りの実施によれば、特別ＤＣモードは既に確立されたモードに置き換えられる。さらなる代りとして、特別ＤＣモードはビットストリームから得られる特定の条件の下で元のＤＣモードに置き換えられる。
【００７８】
図１２に示したように、符号器２０はＩ_４×４ブロック６０を符号化するために特別ＤＣモードを適用する符号器２０は４×４ブロック変換６１をブロック６０に適用し、そして予測器７０によってＤＣ係数予測６２を適用し、それは符号器と復号器の両方に既知の初期設定ＤＣ係数値を造出する。符号器２０はＤＣ予測の後、量子化６３を変換ブロックに適用し、それから伝送されるであろう符号化ブロックを造出するためにエントロピー符号器６４を適用する。逆処理がブロックを再構成するために使用される。例えば、復号器２６は初期設定ＤＣ係数予測器７０によって造出された値を使用して逆ＤＣ係数値予測６７に続いて、エントロピー復号６５及び逆量子化６６を適用する。従って、符号器２０及び復号器２６各々は符号器及び復号器の両方に既知である初期設定ＤＣ係数値を造出するために初期設定ＤＣ係数予測器７０として機能する機能ユニットを含む。逆ＤＣ予測６７の後で、復号器２６は予測ブロック６９を造出するために４×４ブロック逆変換を行う。ＤＣ係数予測はまたブロックの全てのピクセルから予測値を減算することによってピクセル領域において同等に行われる。
【００７９】
図１３は異なるイントラ予測モードに関して特別ＤＣモードの使用を例示する図である。いくつかのシステムは単一ループ復号選択肢を有する。例えば、ビットストリームは異なる解像度の二つの層を有する。ユーザーが単に高解像度ビデオに関心があり、且つビットストリームが単一ループ復号を支援しているならば、高解像度層においてのみ動き補償を行うことが必要である。これは或る予測制限を実施することによって達成される。例えば、一つの制限は、イントラ・マクロブロックが隣接インター・マクロブロックから予測できないこと、及びベース層マクロブロックが通常のイントラ・モードまたはイントラ_ＢＬモードで符号化される場合のみイントラ_ＢＬ（ベース層）モードがエンハンスメント層において使用されることを必要とし、その結果ベース層におけるこのマクロブロックは動き補償を行わずに再構成され、且つ予測に使用される。
【００８０】
単一ループ復号化が使用され、且つ対応するベース層マクロブロックがイントラ-符号化されないならば、漏洩予測は利用可能なベース層ピクセルがないので使用することができない。この場合には、空間隣接ブロックからの誤り伝搬を制限するために、エンハンスメント層マクロブロックは、一実施例では、Ｉ_４×４であることが信号通信されるとき、七つの境界４×４ブロックが特別ＤＣモードにあることが推定される。単一ループ復号では、エンハンスメント層マクロブロックがイントラ・ブロックであるとき、境界ブロック（図１３の濃いブロック７２）は特別ＤＣモードにあることが推定される。非境界ブロック１４は上で提示された適切な誤り制御手法と共にどのイントラ予測モードもなお使用することができる。
【００８１】
同様に、エンハンスメント層マクロブロックがＩ_８×８であると信号通信されるとき、三つの境界８×８ブロック７６は特別ＤＣモードにあると推定され、一方、ブロック７８は上で提示された適切な誤り制御手法と共にどのイントラ予測モードも使用することができる。参照数字８０によって示したように、エンハンスメント層マクロブロックがＩ_１６×１６であるとき、特別ＤＣモードが使用されることが推定される。図１３では、それぞれのマクロブロックにおいて他の非境界４×４または８×８ブロックがなお他のイントラ予測モードを使用することができる。別の実施例では、あらゆる場所のブロックは特別なＤＣモードであり、そしてそのモードは、明白に信号通信される。
【００８２】
図１４はベース層におけるフレーム８２からの内部-予測を例示する図である。図１４はアップサンプリングブロック８６を造出するためにベース層のフレーム８２におけるブロック８４のアップサンプリングを示す。アップサンプリングブロック８６はエンハンスメント層のフレーム９０において符号化されるべきブロック８８の予測に使用される。図１４に示したように、イントラ-層イントラ予測を使用しない制約がエンハンスメント層において適用される。一実施例では、例えば、設計を単純化するためにその予測が予測されるべきブロックと同じ層からのピクセル、またはそのピクセルから得られた他の情報によって形成されないように一つの制限が強要される。
【００８３】
云い換えれば、エンハンスメント層中のブロックは予測されるべきブロックと同じフレーム及び同じ層から取得されたピクセル及び他の情報を用いて予測されない。この場合、その予測はベース層のフレームまたは既に符号化された他のフレーム或いは双方の組合せのいずれかからのピクセル、またはそのピクセルから得られた他の情報によって形成される。このように、復号器２６はイントラ予測のためにベース層におけるピクセルのみを使用する制限を適用する。ベース層におけるフレーム８２は同じ解像度か、または異なる解像度である。
【００８４】
一般化ＦＧＳを使用して空間スケーラビリティを支援するために、様々なマクロブロックシンタックスエレメントはいかに各マクロブロックが復号器によって予測されるべきであるかを信号通信するために符号化ビットストリームにおいて伝送される。シンタックスエレメントはマクロブロックがインター予測されるか、またはイントラ予測されるかどうかといった情報を含む。マクロブロックがインター予測されるならば、いかにマクロブロックが分割されるか、及び各分割の動きベクトルや参照フレーム指数といった追加情報もまた伝送されなければならない。マクロブロックがイントラ予測されるならば、同じ時間位置におけるフレーム、しかしベース層におけるフレームから、もしくは同じ層における同じフレームからのいずれかから、イントラ予測モードのような追加情報が送られる。
【００８５】
シンタックスエレメントの伝送は異なる方法で達成される。例えば、 一実施例では、あらゆるテクスチャ情報（それは変換係数に関係した情報である）が伝送される前に、フレームまたはスライスの全てのシンタックスエレメントが伝送される。別の実施例では、シンタックスエレメントはテクスチャ情報とインタリーブされる。しかしながら、符号化ビットストリームはなお一般的にＦＧＳフォーマットに適合し、符号化技術の構造及びフォーマットを大幅に再設計する必要性を回避する。
【００８６】
Ｈ．２６４実施において、マクロブロックはＢスライス、即ち、過去のスライス、未来のスライス、或いは両者を使用する双方向または双予測符号化スライスにおける直接モードにある。Ｂスライスはビデオ・フレームの一部からのものであるか、或いは全体のビデオ・フレームを被包する。マクロブロックがＢスライスにおいて直接モードにあるとき、このマクロブロックの動きベクトル及び参照フレーム指数は既に符号化されている情報から得られる。動きベクトル及び参照フレーム指数を得るために使用される情報は同じフレームから、そして時にまた参照フレームからのものである。マクロブロック（ＭＢ）が空間直接モードにあるならば、各分割の動きベクトルは隣接ＭＢからの動きベクトルから得られる。しかしながら、得られた各動きベクトルはまた参照フレームにおける共に位置するブロックの動きベクトルによって制約される。時間的直接モードにおいて、動きベクトルは現在のフレームとその参照フレームとの間の時間関係に基づいて参照フレームにおける共に位置するブロックの動きベクトルから得られる。
【００８７】
得られた動きベクトルの参照フレームの情報に依存する一つの問題は参照フレームが復号器２６において切り詰められることである。その結果、符号器２０に利用可能な情報は復号器２６に利用可能ではない。動きベクトルの誤った再構成は通常大きな誤りをもたらす。一実施例では、エンハンスメント層がＢスライスにおいて符号化されるならば、空間直接モードのみが使用され、そして得られた動きベクトルは参照フレームからの情報によって全く制限されない。云い換えれば、エンハンスメント層が双予測（Ｂ）スライスにおいて符号化されるならば、復号器２６は修正空間直接モード（それは参照フレームからの情報を全く使用しない）のみを適用する。
【００８８】
エンハンスメント層はより高い空間解像度を示すので、一実施例では、ベース層からの有意性マップはＦＧＳ符号化処理において使用される前にアップサンプリングされる。別の実施例では、有意性マップは空間エンハンスメント層におけるＦＧＳビットストリームが符号化される前に消去される。この場合には、係数は増加した空間解像度のＦＧＳエンハンスメント層における精製係数として符号化されない。従って、ベース層からの有意性マップはリセットされ、そして係数は一以上の増補層におけるゼロ係数または精製係数のない非ゼロ有意性係数としてのみ復号される。
【００８９】
いくつかのシステムでは、ＦＧＳ空間エンハンスメント層に加えて、選択に基づいて、離散的空間エンハンスメント層を符号化する能力を維持することが望ましい。例えば、複雑さの考慮はいくつかのシステムにおいて離散的空間エンハンスメント層の選択を保証する。この場合には、システム１０は離散的空間エンハンスメント層によって両立性を支援するように構成される。エンハンスメント層が確実に届けられるならば、離散的空間エンハンスメント層の使用はより高い符号化を提供する。離散的空間エンハンスメント層符号化の選択は伝送ビットストリームにおいて信号通信される。例えば、ビットストリームは、ここに述べたように、離散的空間エンハンスメント層符号化またはＦＧＳ空間エンハンスメント層符号化がビットストリームについて支援されるかどうかを示す信号通信情報を含む。一つの例はＦＧＳ符号化がスライスにおいて使用されるかどうかを示すために新しいフラグをスケーラブル・スライス・ヘッダに導入することである。
【００９０】
図１５はイントラ１６行１６列予測モードを持つマクロブロックにおける輝度ＤＣブロックを例示する図である。イントラ_１６×１６マクロブロック９２に関して、輝度ＤＣ係数はＨａｄａｍａｒｄ変換される。図１５に示したように、マクロブロックが１６×１６モードを使用して予測されるならば、輝度予測残余は最初に１６個の４×４ブロックに変換され、そして１６ブロックのＤＣ係数は別の４×４ブロック９４を形成する。この追加４×４ブロックはこの討論ではイントラ１６×１６ＤＣブロックとして参照される。ＩＴＵ-Ｔ Ｈ．２６４によれば、ＤＣブロックはＡＣブロックとは別に符号化される。ＩＴＵ-Ｔ Ｈ．２６４に関して、この分離の追加実施の複雑さは最小である。しかしながら、実施の複雑さの影響はそれがその特別な設計のためにＦＧＳ符号器において別々に符号化されるならばさらに大きい。
【００９１】
従って、ＦＧＳ符号化では、追加変換がＤＣ係数に行われるけれども、ＤＣ係数は別々に符号化されない。これは伝統的なＦＧＳにとっての問題ではなく、それはただ同じ解像度のビデオへの精製を支援する。しかしながら、それはイントラ１６×１６予測を支持するいくつかのビデオ内容について一般化ＦＧＳを介して空間スケーラビリティの性能に著しく影響を及ぼす。過度の複雑さを導入することなくＦＧＳ空間スケーラビリティを提供するための一つの方法はＩＴＵ-Ｔ Ｈ．２６４ベース層においていかにそれが符号化される方法と類似した方法でイントラ１６×１６ＤＣブロックを符号化することである。例えば、一旦イントラ１６×１６ＤＣブロックの最初の係数に出会うと、全体のブロックは他の係数が符号化される前に符号化される。
【００９２】
この発明は一般化ＦＧＳ符号化を使用する空間スケーラビリティのための技術を述べる。一般化ＦＧＳフォーマットの使用によってビデオ符号器は異なる空間解像度に亘って連続的な品質改善を達成することが可能となる。この発明において述べたように、一般化ＦＧＳ符号化を使用する空間スケーラビリティの技術は受容可能な性能及び複雑性によって空間スケーラビリティを支援するためにいくつかの異なる手法を利用する。例えば、その技術は、エンハンスメント層隣接ピクセルによって形成された予測材料及び上位変換ベース層予測材料の荷重平均を使用するイントラ符号化マクロブロックに関する漏洩予測、部分的復号における予測源の適応切替、及び残余ドリフトエラーによる空間誤り伝搬を阻止する特別ＤＣモードを含めて、部分的復号による誤り伝搬を抑制する手法を組入れている。
【００９３】
いくつかの実施例では、設計を単純化するために、予測が同じ層の同じフレームからのピクセル、或いはそのようなピクセルから得られた他の情報によって形成されないように、制限が実施される。その上、エンハンスメント層がＢスライスにおいて符号化されるならば空間直接モードが使用され、そして得られた動きベクトルは参照フレームからの情報によって全く制限されない。さらなる特徴として、ベース層画像からの有意性マップは符号化性能を改善させるためにアップサンプリングされ、そしてエンハンスメント層残余のＦＧＳ符号化において使用される。代りに、空間エンハンスメント層における係数は精製係数なしで符号化される。同じく、特別な１ビット構文は空間スケーラビリティ層がＦＧＳ層を使用しているか、或いはＦＧＳ符号化を使っているか、もしくは離散的空間エンハンスメント層として役立つかどうかを復号器に信号通信するためにスケーラブル・スライス・ヘッダに付加される。
【００９４】
この発明において述べた技術はハードウェア、ソフトウェア、ファームウェア、またはそのあらゆる組合せにおいて実施される。特に、ここに述べたように、符号器または復号器は様々なハードウェア、ソフトウェア及びファームウェア要素によって実現される。例えば、様々な技術の形態は一つ以上のマイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）、または他の同等の集積もしくは離散的の論理回路構成、同様にそのような構成部品のあらゆる組合せの中で実施される。用語「プロセッサ」または「処理回路」は一般に前述の論理回路構成、他の論理回路構成と単独もしくは組合せ、または他のあらゆる同等の回路構成を参照する。いくつかの実施例では、ここに述べた機能性は符号化及び復号化のために構成され、または一体化ビデオ符号器-復号器 ( コーデック ) に組込まれた専用ソフトウェア・モジュールまたはハードウェア・ユニットの中で提供される。
【００９５】
ソフトウェアにおいて実施されるとき、その技術は、プロセッサによって実行されるとき、上で述べた一つ以上の機能を実行するプログラム・コードまたは命令を含むコンピュータ可読媒体によって一部実現される。そのようなプログラム・コードまたは命令を記憶するコンピュータ可読媒体は同期式ダイナミック・ランダム・アクセス・メモリ（ＳＤＲＡＭ）、読出し専用メモリ（ＲＯＭ）、不揮発性ランダム・アクセス・メモリ（ＮＶＲＡＭ）、電気的消去可能読出し専用メモリ（ＥＥＰＲＯＭ）、ＦＬＡＳＨメモリ、磁気または光学データ記憶媒体 、またはそのようなメモリまたは記憶媒体を含む。
【００９６】
様々な発明の実施例を述べてきた。これらや他の実施例は次の請求項の範囲内にある。
【図１】
0005497101.tif 000002
【図２】
0005497101.tif 000003
【図３】
0005497101.tif 000004
【図４】
0005497101.tif 000005
【図５】
0005497101.tif 000006
【図６】
0005497101.tif 000007
【図７Ａ】
0005497101.tif 000008
【図７Ｂ】
0005497101.tif 000009
【図８Ａ】
0005497101.tif 000010
【図８Ｂ】
0005497101.tif 000011
【図９】
0005497101.tif 000012
【図１０】
0005497101.tif 000013
【図１１】
0005497101.tif 000014
【図１２】
0005497101.tif 000015
【図１３】
0005497101.tif 000016
【図１４】
0005497101.tif 000017
【図１５】
0005497101.tif 000018