(57)【要約】  本発明の形態は、符号化パラメータに基づいて量子化パラメータを選択的に判定するシステムおよび方法に関する。一実施形態では、量子化パラメータの選択は、他のパラメータのみならず非ゼロ変換係数の存在にも基づく。一実施形態は、変換係数を参照しながら選択した量子化パラメータを用いて、マルチレイヤビットストリームを単一レイヤのビットストリームに書き換えることに関する。一実施形態では、スケーラブルなマルチレイヤビデオシーケンスを、レガシーデバイスと互換性のある、単一レイヤの非スケーラブルなビデオシーケンスに変換する。
2010521077.tif 000002
【特許請求の範囲】
【請求項１】
画像ビットストリームの処理方法であって、
（ａ）マルチレイヤ画像ビットストリームから、画像部分に関連するシンボルを抽出するステップと、
（ｂ）上記シンボルから変換係数を生成するステップと、
（ｃ）上記変換係数が非ゼロ係数を含んでいるかどうかを判定するステップと、
（ｄ）上記変換係数が非ゼロ係数を含んでいる場合、上記シンボルにおいて識別された量子化パラメータを用いて上記画像部分を処理するステップと、
（ｅ）上記変換係数が非ゼロ係数を含まない場合、前の画像部分から得たデフォルトの量子化パラメータを用いて上記画像部分を処理するステップと、を含む画像ビットストリームの処理方法。
【請求項２】
上記画像部分を処理するステップは、ループ内フィルタリングを行うステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項３】
上記画像部分を処理するステップは、次の画像部分のための量子化オフセットパラメータを伝達するステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項４】
上記変換係数は、第１レイヤ係数および第２レイヤ係数を含んでおり、
上記第１レイヤ係数をスケーリングするステップと、
スケーリングされた上記第１レイヤ係数を上記第２レイヤ係数と統合するステップと、をさらに含む請求項１に記載の画像ビットストリームの処理方法。
【請求項５】
上記画像部分が画像ブロックである、請求項１に記載の画像ビットストリームの処理方法。
【請求項６】
上記画像部分を処理するために選択した上記量子化パラメータを、次の画像部分のためのデフォルトの量子化パラメータとして格納するステップをさらに含む、請求項１に記載の画像ビットストリームの処理方法。
【請求項７】
上記画像部分を処理するステップは、第２のビットストリーム内に上記変換係数を格納するステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項８】
上記変換係数に基づいて画像強度値を決定するステップと、
上記画像強度値をフィルタリングするステップと、をさらに含む請求項１に記載の画像ビットストリームの処理方法。
【請求項９】
画像ビットストリームの処理方法であって、
（ａ）マルチレイヤの画像ビットストリームから、画像部分に関連するシンボルを抽出するステップと、
（ｂ）上記シンボルから変換係数を生成するステップと、
（ｃ）上記画像部分がパルス符号変調で符号化されていないという第１の条件を判定するステップと、
（ｄ）マルチレイヤから単一レイヤへの書き換え処理が有効であるという第２の条件を判定するステップと、
（ｅ）上記画像部分が画像の最初の画像部分ではないという第３の条件を判定するステップと、
（ｆ）上記画像部分が１６×１６ブロックを用いた画面内予測モードで符号化されていないという第４の条件を判定するステップと、
（ｇ）上記変換係数が非ゼロ係数を全く含んでいないという第５の条件を判定するステップと、
（ｈ）上記第１の条件を満たさない場合、第１の量子化パラメータを用いて上記画像部分を処理するステップと、
（ｉ）上記第１の条件を満たすが上記第２の条件から第５の条件までの少なくとも１つの条件を満たさない場合、上記シンボルにおいて識別された量子化パラメータを用いて上記画像部分を処理するステップと、
（ｊ）上記第１の条件から第５の条件までの全ての条件を満たす場合、前の画像部分から得た量子化パラメータを用いて上記画像部分を処理するステップと、を含む画像ビットストリームの処理方法。
【請求項１０】
上記画像部分がパルス符号変調で符号化されていないという第１の条件を判定する上記ステップは、I_PCM flagを読み出すステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１１】
マルチレイヤから単一レイヤへの書き換え処理が有効であるという第２の条件を判定する上記ステップは、tcoeff_level_prediction_flagに１が設定されていることを判定するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１２】
上記画像部分が画像の最初の画像部分ではないという第３の条件を判定する上記ステップは、マクロブロックアドレスが０よりも大きいことを判定するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１３】
上記画像部分が１６×１６ブロックを用いた画面内予測モードで符号化されていないという第４の条件を判定する上記ステップは、マクロブロックタイプフラグを読み出すステップを含む、請求項９に記載の画像ビットストリームの処理方法。
【請求項１４】
上記変換係数が非ゼロ係数を含んでいないという第５の条件を判定する上記ステップは、上記変換係数内の非ゼロ変換係数の数を計算するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１５】
マルチレイヤのビットストリーム中におけるビットストリームの基本レイヤとビットストリームのエンハンスメント・レイヤとを統合する方法であって、
（ａ）上記マルチレイヤのビットストリームから基本レイヤの変換係数を生成するステップと、
（ｂ）上記マルチレイヤのビットストリームからエンハンスメント・レイヤの残差係数を生成するステップと、
（ｃ）上記基本レイヤの変換係数と上記エンハンスメント・レイヤの残差係数とを統合して、統合レイヤ係数を生成するステップと、
（ｄ）上記統合レイヤ係数が非ゼロ係数を含んでいるかどうかを判定するステップと、
（ｅ）上記統合レイヤ係数が非ゼロ係数を含む場合、上記統合レイヤを量子化パラメータで符号化して、上記量子化パラメータを量子化パラメータ識別子と共に伝達するステップと、
（ｆ）上記統合レイヤ係数が非ゼロ係数を含まない場合、上記統合レイヤを、前のブロックから得たデフォルトの量子化パラメータで符号化するステップと、を含む方法。
【請求項１６】
上記基本レイヤの変換係数をスケーリングするステップをさらに含む請求項１５に記載の方法。
【請求項１７】
上記ビットストリームの現在の部分に対するループ内フィルタリングのために、上記量子化パラメータまたは上記デフォルトの量子化パラメータを用いるステップをさらに含む請求項１５に記載の方法。
【請求項１８】
次のビットストリーム部分のための量子化オフセットパラメータを伝達するために、上記量子化パラメータまたは上記前のブロックから得たデフォルトの量子化パラメータを用いるステップをさらに含む請求項１５に記載の方法。
【請求項１９】
上記スケーリングは、上記基本レイヤおよび上記エンハンスメント・レイヤの量子化パラメータに基づいて行われる請求項１６に記載の方法。
【請求項２０】
上記統合レイヤ係数をエントロピー符号化するステップをさらに含む請求項１５に記載の方法。
【請求項２１】
上記基本レイヤおよび上記エンハンスメント・レイヤは、ＳＶＣ準拠のビットストリームの一部であり、上記統合レイヤは、ＡＶＣ準拠のビットストリームの一部である請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、変換係数に基づいて、場合によっては他のパラメータに基づいて、量子化パラメータを選択する方法およびシステムに関するものである。ある実施形態では、スケーラブルなビットストリームを非スケーラブルなビットストリームに書き換える。またある実施形態は、ＪＶＴ  ＳＶＣ準拠のビットストリームをＪＶＴ  ＡＶＣ準拠のビットストリームに書き換える方法およびシステムを有する。
【背景技術】
【０００２】
「高度動画像圧縮符号化標準」（Advanced Video Coding; AVC）は、市場に大きく浸透している。なお、ＡＶＣは、その別称として、Ｈ．２６４、Ｈ．２６Ｌ、およびＭＰＥＧ−４、ｐａｒｔ１０とも称される。ＡＶＣ標準は、ＪＶＴ／ＭＰＥＧ標準化団体によって策定される。また、スケーラブル・ビデオ符号化（Scalable Video Coding; SVC）の標準化プロジェクトが、ＪＶＴ／ＭＰＥＧ標準化団体により現在進められている。なお、本発明の典型的な実施形態は、ＡＶＣ｜Ｈ．２６４動画像圧縮符号化標準のスケーラブル・ビデオ拡張（ＳＶＣを含む）に関連する可能性がある。
【０００３】
これらＳＶＣ拡張に関する現状では、非ゼロの変換係数のレベル値を含むマルチレイヤビットストリームを、ゼロ値の変換係数のレベル値のみを含むブロックの単一レイヤ表現に書き換えるときに問題が発生する。
【発明の概要】
【０００４】
本発明に係る実施形態では、量子化パラメータを、非ゼロの変換係数、場合によっては他のパラメータに基づいて、選択する方法およびシステムを有する。
【０００５】
また、本発明に係る実施形態では、シーケンスの全てを再構成することなく、スケーラブルなビットストリームを非スケーラブルなビットストリームに書き換える。また、本発明に係る実施形態では、劣化させることも、伝送した画像シーケンスを完全に再構成させることもなくマルチレイヤのビットストリームを単一レイヤのビットストリームに書き換える。また、本発明に係る実施形態では、非ゼロの変換係数のレベル値を含む、マルチレイヤのビットストリームにおけるマクロブロック（画像ブロック）固有の問題を考慮する。しかしながら、当該ブロックの単一レイヤ表現では、ゼロ値の変換係数のレベル値のみを含んでいる。
【０００６】
また、本発明に係る実施形態では、ゼロ値の変換係数のレベル値のみを含むが、スケーラブルなビットストリームのマルチレイヤ中に非ゼロの変換係数のレベル値を伴って伝送される、単一レイヤ・ブロックの特殊なケースについて取り扱う。
【０００７】
本発明に係る上記した目的や他の目的、特徴、ならびに効果は、本発明に関する以下の詳細な説明を添付図面と併せて参酌すれば、より容易に理解されるだろう。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態を示すものであり、変換領域係数のスケーリングを示す図である。
【図２】本発明の実施形態を示すものであり、量子化された変換係数の累積、および量子化された変換領域係数のスケーリングを示す図である。
【図３】本発明の実施形態を示すものであり、変換領域係数のスケーリングと、再構成なしでのビットストリームの書き換えとを示す図である。
【図４】本発明の実施形態を示すものであり、量子化された変換係数またはインデックスの累積と、再構成なしでのビットストリームの書き換えとを示す図である。
【図５】本発明の実施形態を示すものであり、変換係数に基づき量子化パラメータが選択される処理を示す図である。
【図６】本発明の実施形態を示すものであり、変換係数および他のパラメータに基づき量子化パラメータが選択される処理を示す図である。
【発明を実施するための形態】
【０００９】
本明細書にて概略的に記述し図中に示すように、本発明の構成を、多種多様な異なる構成とし、設計することができるということは容易に理解できよう。したがって、本発明に係る方法およびシステムの実施形態に関する以下のより詳細な説明は、発明の範囲を限定するものではなく、単に、現時点における本発明の好ましい実施形態を示すものである。
【００１０】
本発明の実施の形態で示す構成部材は、ハードウェア、ファームウェア、およびソフトウェアのうちの少なくともいずれか１つによって実現できる。ここで開示した典型的な実施形態は、これらの形態の１つについて記述したものにすぎず、当業者であれば、発明の範囲内でありさえすれば、これらの形態の何れにおいてもこれらの構成部材を適用できることが理解できるであろう。
【００１１】
本願では、ＳＶＣは、ＪＶＴ／ＭＰＥＧ標準化団体において現在進められている「スケーラブル・ビデオ符号化」プロジェクトを意味する。ＡＶＣは、市場に大きく浸透している「高度動画像圧縮符号化標準」標準を意味する。ＡＶＣの別称としては、Ｈ．２６４、Ｈ．２６Ｌ、およびＭＰＥＧ−４、ｐａｒｔ１０が挙げられる。典型的には、本発明の実施形態は、ＡＶＣ｜Ｈ．２６４および他のビデオ符号化標準のためのスケーラブルなビデオ拡張に関連する。これら拡張のいくつかについては、T. Wiegand, G. Sullivan、J. Reichel, H. Schwarz and M. Wien," Joint Draft９ of SVC amendment（revision 2）", JVT-V201, Marrakech, Morocco, January 13 -19, 2007に記載されている、ＳＶＣおよびＳＶＣシステムの説明により一般的に知られており、参照により本明細書に組み込まれるものとする。
【００１２】
ISO/IEC JTC１/SC29/WG11 Information Technology - Coding of Audio-Visual Objects - Part 10: Advanced Video Coding, ISO / IEC14496-10, 2005も、参照により本明細書に組み込まれるものとする。
【００１３】
ITU-T Recommendation H.264: "Advanced video coding for generic audio visual services"、March 2003も、参照により本明細書に組み込まれるものとする。
【００１４】
本発明に係る一実施形態では、劣化させることも、伝送した画像シーケンスを完全に再構成させることもなくマルチレイヤのビットストリームを単一レイヤのビットストリームに書き換える。また、本発明に係る一実施形態では、非ゼロの変換係数のレベル値を含むが、単一レイヤのビットストリームに書き換えられるときにはゼロ値の変換係数のレベル値のみを含む、マルチレイヤのビットストリームにおけるマクロブロック固有の問題を解決する。なお、このシナリオは、本願に開示されるように特殊な取り扱いを必要とする。
【００１５】
現在のＳＶＣシステムは、ＡＶＣデバイスをサポートするために基本レイヤ以外に他のいかなるレイヤにおいてもトランスコーディングを必要とする。本発明の実施形態では、粗粒度スケーラブル・レイヤのシンタックスおよびセマンティックス(意味)を変更する。これらの変更により、ＳＶＣビットストリームをＡＶＣ準拠のビットストリームに書き換え可能とする。すなわち、本発明に係る一実施形態では、ネットワークデバイスは、ドリフトなしに、かつシーケンスの強度値を再構成する必要もなく、ＳＶＣデータをＡＶＣビットストリームへ書き換えることができる。これは、多数の粗粒度スケーラブル・レイヤを統合することにより実現できる。また、一実施形態では、書き換えは、第１レイヤまたはビットストリームから画像データを読み出すステップと、このデータを第２または代替のビットストリームに格納するステップとを含む。また、変換係数も、第２のビットストリームに格納することができる。
【００１６】
すなわち、本発明の一実施形態では、以下の点を含む：
１．ループ内フィルタリングのための量子化パラメータに関し修正した定義；および
２．単一レイヤのビットストリームに書き込まれる量子化パラメータに関し修正した定義。
【００１７】
本明細書において詳細に記載する典型的な実施形態では、ＳＶＣからＡＶＣへのビットストリームの書き換えに焦点が当てられる。他の実施形態では、他のビデオ符号化標準および拡張を使用することを含む。ＳＶＣからＡＶＣへのビットストリームへの書き換えプロセスは、ＳＶＣビットストリームを入力として取得するステップ、およびＡＶＣビットストリームを出力として生成するステップを含む。これは概念的にトランスコーディングに類似している。しかしながら、本発明に係る一実施形態では、ＳＶＣの単一ループ構造を活用し、ＳＶＣビットストリームをＡＶＣシンタックス要素上に直接マッピングすることができる。また、本発明に係る一実施形態では、ドリフトをもたらすことなく、かつビデオシーケンスの強度値を再構成することなく行うことができる。
【００１８】
〔フレーム間符号化ブロック〕
本発明に係る一実施形態では、特にフレーム間符号化ブロックを扱う。これらの実施形態では、１以上の、以下のプロセスまたは制限を含む：
１．基本レイヤ・ブロックから推定されるブロックは、基本レイヤ・ブロックと同じ変換を用いなければならない。例えば、粗粒度スケーラブル・レイヤ中のブロックが１に等しいbase_mode_flagを有しており、かつ同じ場所にある基本レイヤ・ブロックが４×４変換を用いる場合、エンハンスメント・レイヤ・ブロックも４×４変換を用いなければならない。
２．基本レイヤ・ブロックから推定され、かつ残差予測を用いるブロックの再構成が、変換領域で生じなければならない。これまでは、基本レイヤ・ブロックを空間領域で再構成し、次いで、残差をエンハンスメント・レイヤで伝送していた。ここでは、基本レイヤ・ブロックの変換係数を、デコーダでスケーリングし、エンハンスメント・レイヤにおける情報によって微調整を行い、次いで逆変換する。
３．avc_rewrite flagが１の場合は、smoothed_reference_flagを０とする。
【００１９】
〔画面内符号化ブロック〕
本発明に係る一実施形態では、特に画面内符号化ブロックを扱う。画面内符号化ブロックは、ＳＶＣからＡＶＣへの書き換えの問題にさらなる障害を生じさせる。上記粗粒度スケーラビリティ（ＣＧＳ）システム内では、エンハンスメント・レイヤ中のブロックをIntraBLモードで符号化してもよい。このモードでは、基本レイヤにおける画面内符号化ブロックを復号し、予測に使用するべきであることを伝える。その後、追加の残差を、エンハンスメント・レイヤにおいて伝えることができる。ＳＶＣからＡＶＣへの書き換えを行うシステムでは、再構成された画面内符号化ブロックを、その近傍の空間的予測に、伝達された残差を加えたものとして記述することができないため、困難性を伴う。したがって、画面内符号化ブロックをＳＶＣからＡＶＣへトランスコードしなければならない。このことはさらなる計算上の複雑さを要求する。さらに、動き補償を介して伝播する符号化誤差が生じる。
【００２０】
本発明の一実施形態について図１を参照して説明する。この実施形態では、基本レイヤ（１）およびエンハンスメント・レイヤの残差（３）を、デコーダまたはリライタ（書き換え部）で受信する。基本レイヤデータを逆量子化し（５）、変換係数をエンハンスメント・レイヤの特性と整合するようにスケーリングする（６）。また、本発明に係る一実施形態では、整合される特性には、量子化パラメータの特性が含まれる。エンハンスメント・レイヤの残差（３）もまた逆量子化し（１１）、スケーリングされた基本残差係数に加えて（７）、統合した係数（統合係数）を生成する。次いで、これらの統合された係数を解析して、非ゼロ変換係数が存在するかどうかを判定する（５０）。非ゼロ変換係数が存在する場合、ビットストリームで示された量子化パラメータを用いて、その画像部分を処理する（５２）。非ゼロ変換係数が存在しない場合、前すなわち直前の画像部分から得た量子化パラメータを用いて（５１）、その画像部分を処理する。
【００２１】
一実施形態では、統合係数（変換係数）を逆変換して（１０）、空間領域の強度値を生成する。また、一実施形態では、不要であるときには基本レイヤ情報を無視することができる。次いで、ブロッキングアーチファクトの除去または他の理由のために、上記空間領域強度値をフィルタリングする（１２）。このフィルタリングは、非ゼロ変換係数を参照して、選択された量子化パラメータを利用、あるいはこれに依存することができる（５１、５２）。
【００２２】
次に、本発明に係る一実施形態について図２を参照して説明する。これらの実施形態では、基本レイヤ１およびエンハンスメント・レイヤ３の残差を、デコーダまたはリライタ（書き換え部）で受信する。これらの実施形態では、基本レイヤ１の量子化変換係数を、エンハンスメント・レイヤの特性と整合するようにスケーリングする（１３０）。また、本発明に係る一実施形態では、整合される特性は、量子化パラメータ特性を含んでいる。また、エンハンスメント・レイヤの量子化された変換係数３を、スケーリングされた基本レイヤの量子化変換係数に加算して（１３１）、統合量子化係数を生成することができる。次いで、これらの統合量子化係数を解析して、非ゼロ変換係数が存在するかどうかを判定する（５０）。非ゼロ変換係数が存在する場合は、ビットストリームにおいて示された量子化パラメータを用いて、その画像部分を処理する（５２）。非ゼロ変換係数が存在しない場合は、前、すなわち直前の画像部分から得た量子化パラメータを用いて（５１）、その画像部分を処理する。
【００２３】
次いで、統合量子化係数を逆量子化して（１３２）、量子化されていない統合係数を生成する。そして、量子化されていない統合係数を逆変換して（１３３）、統合された空間領域値を生成することができる。次に、これら空間領域値をフィルタリングして（１３４）、ブロックキングアーチファクトまたは他のアーチファクトを除去することができる。このフィルタリング（１３４）は、当該プロセス内の前の段階で選択された量子化パラメータを利用することができる（５１、５２）。
【００２４】
ＳＶＣからＡＶＣへの書き換えにおけるIntraBLブロックの問題に対処するために、本発明に係る実施形態は、IntraBLブロック内で予測を生成するための代替の方法を含む。このプロセスでは、基本レイヤ・ブロックを再構成する必要はない。その代わりに、画面内予測モードおよび伝達された残差がエンハンスメント・レイヤに直接コピーされる。これについて、図３および４を参照しながら説明する。
【００２５】
本発明に係る一実施形態について図３を参照しながら説明する。この実施形態では、ビットストリームを、画像について完全に再構成することなく再符号化する。この実施形態では、基本レイヤ（ＢＬ）１のデータを、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイスまたはモジュールで受信することができる。エンハンスメント・レイヤ（ＥＬ）３のデータも、上記したデバイスまたはモジュールで受信することができる。この実施形態では、ＢＬ１の残差を逆量子化して（５）、ＢＬの変換係数を生成することができる。そして、これらのＢＬの変換係数をエンハンスメント・レイヤの特性と整合するようにスケーリングする（６）。一実施形態では、このエンハンスメント・レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤをエンハンスメント・レイヤに関連付ける何らかの他のパラメータであってもよい。さらにまた、エンハンスメント・レイヤ３のデータを逆量子化して（１１）、エンハンスメント・レイヤの係数１８を生成する。そして、スケーリングされたＢＬ係数１６を、ＥＬ係数１８と統合して（１９）、統合係数１７を生成する。
【００２６】
次に、これらの統合係数を解析して、非ゼロ変換係数が存在するかどうかを判定する（５０）。非ゼロ変換係数が存在する場合、ビットストリームにおいて示された量子化パラメータを用いて、その画像部分を処理する（５２）。非ゼロ変換係数が存在しない場合、前すなわち直前の画像部分から得た量子化パラメータを用いて（５１）、その画像部分を処理することができる。
【００２７】
そして、ビットストリーム・エンコーダ１３が、これらの統合係数を、レイヤ数を削減した、または単一レイヤのビットストリームに書き換えることができる。一実施形態では、ビットストリーム・エンコーダ１３は、さらに予測データをビットストリームに書き込むことができる。なお、ビットストリーム・エンコーダ１３の機能として、量子化機能、エントロピー符号化機能、および他の機能をさらに含んでもよい。
【００２８】
本発明に係る一実施形態について図４を参照して説明する。この実施形態では、ビットストリームを、画像の完全な再構成をすることなく、かつ逆量子化することなしに、再符号化することができる。この実施形態では、基本レイヤ（ＢＬ）のデータ３６を、デコーダ、トランスコーダ、エンコーダのデコーダ部分、もしくは他のデバイス、またはモジュールで受信することができる。エンハンスメント・レイヤ（ＥＬ）のデータ３７も、上記デバイスまたはモジュールで受信することができる。またこの実施形態では、ＢＬの信号３６およびエンハンスメント・レイヤの信号３７をエントロピー復号して、量子化係数またはインデックス２１および２３を生成することができる。その後、ＢＬの量子化インデックス２１をエンハンスメント・レイヤの特性と整合するようにスケーリングする（２０）。一実施形態では、このエンハンスメント・レイヤの特性は、量子化パラメータであってもよく、解像度パラメータであってもよく、基本レイヤをエンハンスメント・レイヤに関連付ける何らかの他のパラメータであってもよい。その後、スケーリングされたＢＬインデックス２６とＥＬのインデックス２３とを統合して（２４）、統合インデックス２７を生成する。
【００２９】
次に、これらの統合インデックス２７を解析して、非ゼロインデックスが存在するかどうかを判定することができる（５０）。非ゼロインデックスが存在する場合、ビットストリームにおいて示された量子化パラメータを用いて、その画像部分を処理することができる（５２）。非ゼロインデックスが存在しない場合、前、すなわち直前の画像部分から得た量子化パラメータを用いて（５１）、その画像部分を処理することができる。
【００３０】
そして、ビットストリーム・エンコーダ２５が、これらの統合係数を、レイヤが削減された、または単一レイヤのビットストリーム２８に書き換える。一実施形態では、ビットストリーム・エンコーダ２５は、さらに予測データ３５をビットストリーム中に書き込むことができる。なお、ビットストリーム・エンコーダ２５の機能としては、量子化機能、エントロピー符号化機能、および他の機能が含むことができる。
【００３１】
この実施形態では、基本レイヤ・ブロックを完全に再構成する必要はない。その代わりに、画面内予測モードおよび残差データが両方とも、エンハンスメント・レイヤにマッピングされる。その後、エンハンスメント・レイヤから追加の残差データが加算される。そして最後に、上記ブロックが再構成される。このアプローチの利点は、損失なしで、かつ基本レイヤを完全に復号する必要がなく、エンハンスメント・ブロックを単一レイヤのビットストリームに書くことができるということである。
【００３２】
これらの図から分かるように、本発明に係る一実施形態では、ブロックを再構成することなしに、画面内予測モードおよび残差データを基本レイヤからエンハンスメント・レイヤに直接再マッピングする。そして、エンハンスメント・ビットストリームにおける追加の残差情報が（必要に応じて）復号される。そして最後に、上記ブロックが再構成されて、最高品質レベルまで高められる。
【００３３】
また、本発明に係る一実施形態では、残差予測フラグを使用しない。
【００３４】
すなわち、一実施形態では、これまでの方法との間に、以下の差分を含む：
１．基本レイヤからエンハンスメント・レイヤに向かって画面内予測モードを伝播させる、改良IntraBL方法。なおこのとき、画面内予測をエンハンスメント・レイヤで行う。
２．IntraBLブロックの変換タイプは、同じ場所にある基本レイヤ・ブロックと同じでなければならないというセマンティック要件。例えば、基本レイヤ・ブロックが８×８変換を用いる場合、エンハンスメント・レイヤ・ブロックも８×８変換を用いなければならない。
３．ビットストリームの独立した処理を可能にするために、８×８変換フラグも依然としてエンハンスメント・レイヤにおいて伝送することができる。
４．基本レイヤにおける１６×１６変換によって符号化されたブロックは、エンハンスメント・レイヤにおいても１６×１６変換によって符号化される。しかしながら、エンハンスメント・レイヤ・ブロックは４×４の走査パターンおよび方法で伝送される。すなわち、１６×１６ブロックのＤＣ係数およびＡＣ係数が別々に送信されない。
【００３５】
本発明に係る一実施形態について図５を参照して説明する。この実施形態では、マルチレイヤの画像ビットストリームを受信する（４０）。この処理は、典型的には、デコーダまたはビットストリームリライタにおいて実行される。次に、マルチレイヤビットストリームからシンボルを抽出する（４１）。この処理は、逆エントロピー符号化またはその他の処理によって行うことができる。次に、上記シンボルを用いて変換係数を生成する（４２）。そして、これらの変換係数が解析される。この解析は、非ゼロ変換係数があるかどうかの判定（４３）を含む。現在の画像部分に関して復号したビットストリームに非ゼロ変換係数が存在する場合、その画像部分を処理するために、ビットストリームにおいて示された量子化パラメータを用いる（４５）。非ゼロ変換係数が存在しない場合、前の画像部分に用いられた量子化パラメータを、現在の画像部分用の、デフォルトの量子化パラメータとして用いることができる（４４）。次に、この処理において選択された量子化パラメータを用いて、現在の画像部分を処理することができる。一実施形態では、この処理は、現在の画像部分の非量子化を含む。また、一実施形態では、この処理は、現在の画像部分に対するループ内フィルタリングの実行を含む。また、一実施形態では、この処理は、次の画像部分のための量子化パラメータオフセットを伝達することを含む。
（量子化器管理）
上記したシステムにおいて発生する困難性としては以下の点が挙げられる。すなわち、再構成された画像の変換係数が、ビットストリームの下位レイヤにおいて、変換係数レベル値を再構成されたレイヤにマッピングし、そして信号で伝えられた微調整を加えることによって生成される点である。このマッピング処理の一部として、下位レイヤおよび再構成されたレイヤの量子化パラメータは、マッピングオペレータを特徴づけるにあたり重要な役割を果たす。
【００３６】
最先端のビデオ符号化システムでは、下位レイヤおよび再構成されたレイヤでの量子化パラメータは、空間的に異なっている。このため、エンコーダは、各画像フレーム内のビデオシーケンスのレートおよび／または品質を適合させることができる。この機能はＡＶＣおよびＳＶＣシステム仕様に組み込むことができ、それは、各マクロブロックに対する量子化オフセットパラメータを伝送することで実現できる。この量子化オフセットパラメータとは、現在のブロックのための量子化パラメータと前の量子化パラメータとの差を定義する。なお、前の量子化パラメータとは、前のブロックの量子化パラメータであってもよく、スライスレイヤにおいて伝達された量子化パラメータであってもよい。すなわち、前の量子化パラメータに関しての他のどのような定義であってよい。
【００３７】
符号化効率を改善するために、ビットストリームにおける他の情報から量子化オフセットパラメータを推定することができる。特に、ＡＶＣおよびＳＶＣ仕様は、マクロブロックが量子化された変換係数（変換係数レベルまたは変換係数レベル値としても知られる）を含まないときには、量子化オフセットパラメータは０であるものと定義する。この場合、現在のＡＶＣおよびＳＶＣ仕様は、ゼロ値である変換係数レベルのみを有するマクロブロックのビットストリームには、量子化オフセットパラメータが存在しないと定義する。
【００３８】
量子化オフセットパラメータの伝送の制限は、ビットストリーム書き換えシステムを複雑にする。特に、次のシナリオを考慮されたい：（１）１以上の、非ゼロの変換係数レベルを有するブロックを、下位レイヤで伝送し、（２）下位レイヤ・ブロックから変換係数レベルを予測するブロックを、再構成されるレイヤで伝送し、（３）再構成されたレイヤにおける上記ブロックが、非ゼロである変換係数レベル値を含み、（４）再構成されたレイヤにおける上記ブロックが、非ゼロ量子化オフセットパラメータを含み、そして（５）予測された変換係数レベルと、伝送された変換係数レベルとの加算によって、ゼロ値である変換係数レベルのみを得る。
【００３９】
前段落で説明した実施形態の場合、ビットストリームの書き換えに関する発明は、マルチレイヤのビットストリームと完全に整合する単一レイヤのビットストリームを生成することができない。これは、エンハンスメント・レイヤのビットストリーム中のブロックが、以前の量子化パラメータとは異なる量子化パラメータを含んでいるという事実に起因するためである。しかしながら、単一レイヤのビットストリームは、このブロック位置に対する以前の量子化パラメータと異なる量子化パラメータを有することが禁じられている。これは、上記ブロックの単一レイヤバージョンが、非ゼロ変換係数レベル値を含んでいないからである。各ブロックに対する量子化パラメータがループ内フィルタリング処理による出力をもたらすので、この結果、単一レイヤで復号化された出力とマルチレイヤで復号化された出力との間にドリフトが生じる。
【００４０】
本発明の実施形態では、この問題に対処する。すなわち、一実施形態では、次のように処理する。まず初めに、マルチレイヤのデコーダが各下位レイヤおよび各再構成／エンハンスメント・レイヤのマクロブロックに関してエントロピー符号を復号する。次に、（ビットストリーム内でこの処理を利用するように伝達された際に）上記デコーダは、マクロブロック毎に、再構成／エンハンスメント・レイヤ・ブロックに関する変換係数レベル値を下位レイヤ・ブロックから予測する。そして、ビットストリーム内で伝達された、下位レイヤと再構成／エンハンスメント・レイヤとに関する量子化パラメータを用いて予測が行われる。二番目に、マルチレイヤのデコーダが、非ゼロ変換係数の数を計算する。これは、本明細書に盛り込んだＡＶＣおよびＳＶＣにおいて定義されるように、符号化したブロックパターンあるいは他の任意のデータ表現で表すことができる。三番目に、非ゼロ変換係数を含まないブロックに関して、マルチレイヤのデコーダが前の量子化パラメータを識別する。ここで、忘れないように確認として、上記した前のという文言について適切に定義するものとする。例えば、一実施形態において、現在のピクチャ内におけるマクロブロックが再構成されていない場合、上記した前の量子化パラメータを、スライス量子化パラメータに設定することができる。四番目に、現在のブロックを処理するとき、この前の量子化パラメータはループ内フィルタリング処理で利用される。五番目に、上記した前の量子化パラメータは、後続のブロックに量子化オフセットパラメータを伝達するために利用される。
【００４１】
本発明の典型的な一実施形態に関する擬似コードの例は、以下の通りである。
if ((rcMbDataAccess.getSH().getAVCRewriteFlag()
&&(rcMbDataAccess.getSH().getBaseLayerId() ! = MSYS_UINT_MAX))
{
if(( rcMbDataAccess.getMbData().getMbExtCbp() == 0 ) && (!
rcMbDataAccess.getMbData().isIntra16x16()))
rcMbDataAccess.getMbData().setQp( 
rcMbDataAccess.getLastQp());
}
ここで、例示した実施形態では、（ｉ）非ゼロ変換係数がないとき（例えば、符号化ブロックパターンが０であるとき）、（ｉｉ）ブロックモードがイントラ１６×１６ではないとき、もしくは（ｉｉｉ）その他の条件にあるときに、現在の量子化パラメータを、直前の量子化パラメータと等しくなるように設定する。
【００４２】
代替の実施形態では次のように処理が実行される。エンコーダが、マクロブロック毎に、単一レイヤ表現における非ゼロ変換係数の数を計算する。単一レイヤ表現にゼロ変換係数のみを含むブロックに関しては、エンコーダは、エンハンスメント・レイヤのビットストリームにおいて量子化オフセットパラメータを０となるように制限する。
【００４３】
また、本発明の一実施形態では、以下の入力を受け入れる方法およびシステムを含む。すなわち、
−現在復号された、もしくは部分的に復号された依存表現におけるマクロブロックのマクロブロックタイプを特定する、PicSizelnMbs要素を有した１次元配列mbType、
−現在復号された、もしくは部分的に復号された依存表現におけるマクロブロックの輝度量子化パラメータを特定する、PicSizelnMbs要素を有した１次元配列tQPy、
−現在復号された、もしくは部分的に復号された依存表現におけるマクロブロックの変換係数レベル値を特定する、（PicSizelnMbs）×（２５６＋２ * MbWidthC * MbHeightC）配列tCoeffLevel。
【００４４】
この実施形態における出力は以下を含む。
すなわち、
−現在復号された、もしくは部分的に復号された依存表現におけるマクロブロックのデブロッキングフィルタ処理に用いられる輝度量子化パラメータを特定する、PicSizelnMbs要素を有した一次元配列qpDBy、
−ChromaArrayTypeが０と等しくないときに、現在復号された、もしくは部分的に復号された依存表現におけるマクロブロックのデブロッキングフィルタ処理に用いられる色量子化パラメータを特定する、PicSizelnMbs要素を有した２つの１次元配列qpDBcbおよびqpDBcr。
【００４５】
マクロブロックアドレスmbAddrは、値０..（PicSizelnMbs - 1 ）に及ぶ範囲をとり、mbAddrの各値に関しては以下の順序のステップで特定される。
【００４６】
変数qpDBγ[ mbAddr ]は、以下のように取得される。
−mbType[ mbAddr ]がI_PCMと等しい場合、qpDBγ[ mbAddr ]は０に等しく設定される。
−そうでない場合、tcoeff_level_prediction_flagが１と等しく（tcoeffは変換係数を意味する）、mbAddrは０よりも大きく、mbType[ mbAddr ]はI_１６×l６と等しくなく、かつ、全要素tCoeffLevel[ mbAddr ] [ i ] ，i = O..（２５５ +２ * MbWidthC * MbHeightC）は０と等しい場合、qpDBγ[ mbAddr ]はqpDBγ[ mbAddr - 1 ]と等しく設定される。
−そうでない場合、qpDBγ[ mbAddr ]は、tQPγ [ mbAddr ]と等しく設定される。
【００４７】
本発明の一実施形態について図６を参照しながら説明する。この実施形態では、マルチレイヤビットストリームからシンボルを抽出する（６０）。そして、抽出したシンボルから変換係数を生成する（６１）。そして、いくつかの条件を満たすか否かについて判定する。すなわち、現在の画像部分を変換することなしに直接、符号化したかどうかについて確認するための第１の判定を行う（６２）。換言すると、第１の判定（６２）では、現在の画像部分がパルス符号変調で符号化されていないという第１の条件を判定する。なお、一実施形態では、この第１の判定（６２）を、システムI_PCM flagを読み出すことによって行うことができる。ここでPCMとは、パルス符号変調を意味している。そして、直接、画像部分を符号化する場合は、所定の量子化パラメータを用いる（６９）。つまり、直接、現在の画像部分を符号化しない場合に、この条件を満たすこととなる。
【００４８】
また、一実施形態では、第２の判定も行うことができる（６３）。この第２の判定では、レイヤ削減書き換え機能が有効であるか否かについて判定する。一実施形態では、このステップは、マルチレイヤから単一レイヤへの書き換え処理が有効となるか否か判定する。また、一実施形態では、このステップは、tcoeff_level_prediction_flagが設定されているか否かの判定を含むことができる。つまり、上記レイヤ削減書き換えが有効な場合、この条件を満たすこととなる。
【００４９】
また、一実施形態では、第３の判定を行うことができる（６４）。第３の判定では、現在の画像部分が第１の画像部分であるか否かについて判定する。一実施形態では、この判定処理では、現在の画像部分がフレーム内の第１のスライスであるか否かを判定する。また、一実施形態では、この判定処理を、マクロブロックアドレスを読み出すことによって行う。すなわち、一実施形態では、[mbaddr] flagを読み出すことによって判定する。つまり、現在の画像部分が画像の第１の部分ではない場合に、この条件を満たすこととなる。
【００５０】
一実施形態では、第４の判定を行うことができる（６５）。第４の判定では、現在の画像部分が１６×１６のブロックサイズを用いた画面内予測を利用して符号化されたか否かについて判定する。一実施形態では、このステップは、マクロブロックタイプのフラグを読み出すステップを含む。つまり、１６×１６の画面内予測モードを用いていない場合、この条件を満たすこととなる。
【００５１】
一実施形態では、第５の判定も行うことができる（６６）。この実施形態では、抽出されたシンボル（６０）から生成された変換係数（６１）内に、非ゼロ変換係数が存在するか否かについて判定する。一実施形態では、これは、現在の画像部分のためにビットストリームから生成された非ゼロ変換係数の数を計算することによって行うことができる。つまり、現在の画像部分内に非ゼロ変換係数がない場合、この条件を満たすこととなる。
【００５２】
本発明に係る一実施形態では、これらの判定を１つ以上行う場合、量子化パラメータはその判定に基づいて設定することができる。また、一実施形態では、第１の条件から第５の条件までの全ての条件を満たす場合、現在の画像部分を処理するために、直近の画像部分から得た量子化パラメータ（第１の量子化パラメータ）を用いることができる。また、一実施形態において、第２の条件から第５の条件までのいずれの条件も満たさない場合、現在の画像部分を処理するために現在の画像部分のビットストリーム中で伝達される量子化パラメータを用いる。
【００５３】
なお、明細書中で用いた文言や表現は、単に発明を説明するために用いたものであり、発明を制限するものではない。つまり、このような文言および表現の使用は、ここで示し、記述した発明の特徴あるいはその一部と等価なものを含む文言および表現を除外することを意図するものではない。つまり、本発明の範囲は、特許請求の範囲によってのみ規定され制限される点について認識されたい。
【図１】
2010521077.tif 000003
【図２】
2010521077.tif 000004
【図３】
2010521077.tif 000005
【図４】
2010521077.tif 000006
【図５】
2010521077.tif 000007
【図６】
2010521077.tif 000008
【手続補正書】
【提出日】平成21年9月9日(2009.9.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像ビットストリームの処理方法であって、
（ａ）マルチレイヤ画像ビットストリームから、画像部分に関連するシンボルを抽出するステップと、
（ｂ）上記シンボルから変換係数を生成するステップと、
（ｃ）上記変換係数が非ゼロ係数を含んでいるかどうかを判定するステップと、
（ｄ）上記変換係数が非ゼロ係数を含んでいる場合、上記シンボルにおいて識別された量子化パラメータを用いて上記画像部分を処理するステップと、
（ｅ）上記変換係数が非ゼロ係数を含まない場合、前の画像部分から得た量子化パラメータを用いて上記画像部分を処理するステップと、を含む画像ビットストリームの処理方法。
【請求項２】
上記画像部分を処理するステップは、ループ内フィルタリングを行うステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項３】
上記画像部分を処理するステップは、次の画像部分のための量子化オフセットパラメータを伝達するステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項４】
上記変換係数は、第１レイヤ係数および第２レイヤ係数を含んでおり、
上記第１レイヤ係数をスケーリングするステップと、
スケーリングされた上記第１レイヤ係数を上記第２レイヤ係数と統合するステップと、をさらに含む請求項１に記載の画像ビットストリームの処理方法。
【請求項５】
上記画像部分が画像ブロックである、請求項１に記載の画像ビットストリームの処理方法。
【請求項６】
上記画像部分を処理するために選択した上記量子化パラメータを、次の画像部分のための量子化パラメータとして格納するステップをさらに含む、請求項１に記載の画像ビットストリームの処理方法。
【請求項７】
上記画像部分を処理するステップは、第２のビットストリーム内に上記変換係数を格納するステップを含む請求項１に記載の画像ビットストリームの処理方法。
【請求項８】
上記変換係数に基づいて画像強度値を決定するステップと、
上記画像強度値をフィルタリングするステップと、をさらに含む請求項１に記載の画像ビットストリームの処理方法。
【請求項９】
画像ビットストリームの処理方法であって、
（ａ）マルチレイヤの画像ビットストリームから、画像部分に関連するシンボルを抽出するステップと、
（ｂ）上記シンボルから変換係数を生成するステップと、
（ｃ）上記画像部分がパルス符号変調で符号化されていないという第１の条件を判定するステップと、
（ｄ）マルチレイヤから単一レイヤへの書き換え処理が有効であるという第２の条件を判定するステップと、
（ｅ）上記画像部分が画像の最初の画像部分ではないという第３の条件を判定するステップと、
（ｆ）上記画像部分が１６×１６ブロックを用いた画面内予測モードで符号化されていないという第４の条件を判定するステップと、
（ｇ）上記変換係数が非ゼロ係数を全く含んでいないという第５の条件を判定するステップと、
（ｈ）上記第１の条件を満たさない場合、第１の量子化パラメータを用いて上記画像部分を処理するステップと、
（ｉ）上記第１の条件を満たすが上記第２の条件から第５の条件までの少なくとも１つの条件を満たさない場合、上記シンボルにおいて識別された量子化パラメータを用いて上記画像部分を処理するステップと、
（ｊ）上記第１の条件から第５の条件までの全ての条件を満たす場合、前の画像部分から得た量子化パラメータを用いて上記画像部分を処理するステップと、を含む画像ビットストリームの処理方法。
【請求項１０】
上記画像部分がパルス符号変調で符号化されていないという第１の条件を判定する上記ステップは、I_PCM flagを読み出すステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１１】
マルチレイヤから単一レイヤへの書き換え処理が有効であるという第２の条件を判定する上記ステップは、tcoeff_level_prediction_flagに１が設定されていることを判定するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１２】
上記画像部分が画像の最初の画像部分ではないという第３の条件を判定する上記ステップは、マクロブロックアドレスが０よりも大きいことを判定するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１３】
上記画像部分が１６×１６ブロックを用いた画面内予測モードで符号化されていないという第４の条件を判定する上記ステップは、マクロブロックタイプフラグを読み出すステップを含む、請求項９に記載の画像ビットストリームの処理方法。
【請求項１４】
上記変換係数が非ゼロ係数を含んでいないという第５の条件を判定する上記ステップは、上記変換係数内の非ゼロ変換係数の数を計算するステップを含む請求項９に記載の画像ビットストリームの処理方法。
【請求項１５】
マルチレイヤのビットストリーム中におけるビットストリームの基本レイヤとビットストリームのエンハンスメント・レイヤとを統合する方法であって、
（ａ）上記マルチレイヤのビットストリームから基本レイヤの変換係数を生成するステップと、
（ｂ）上記マルチレイヤのビットストリームからエンハンスメント・レイヤの残差係数を生成するステップと、
（ｃ）上記基本レイヤの変換係数と上記エンハンスメント・レイヤの残差係数とを統合して、統合レイヤ係数を生成するステップと、
（ｄ）上記統合レイヤ係数が非ゼロ係数を含んでいるかどうかを判定するステップと、
（ｅ）上記統合レイヤ係数が非ゼロ係数を含む場合、上記統合レイヤを量子化パラメータで符号化して、上記量子化パラメータを量子化パラメータ識別子と共に伝達するステップと、
（ｆ）上記統合レイヤ係数が非ゼロ係数を含まない場合、上記統合レイヤを、前のブロックから得た量子化パラメータで符号化するステップと、を含む方法。
【請求項１６】
上記基本レイヤの変換係数をスケーリングするステップをさらに含む請求項１５に記載の方法。
【請求項１７】
上記ビットストリームの現在の部分に対するループ内フィルタリングのために、上記量子化パラメータまたは上記量子化パラメータを用いるステップをさらに含む請求項１５に記載の方法。
【請求項１８】
次のビットストリーム部分のための量子化オフセットパラメータを伝達するために、上記量子化パラメータまたは上記前のブロックから得た量子化パラメータを用いるステップをさらに含む請求項１５に記載の方法。
【請求項１９】
上記スケーリングは、上記基本レイヤおよび上記エンハンスメント・レイヤの量子化パラメータに基づいて行われる請求項１６に記載の方法。
【請求項２０】
上記統合レイヤ係数をエントロピー符号化するステップをさらに含む請求項１５に記載の方法。
【請求項２１】
上記基本レイヤおよび上記エンハンスメント・レイヤは、ＳＶＣ準拠のビットストリームの一部であり、上記統合レイヤは、ＡＶＣ準拠のビットストリームの一部である請求項１５に記載の方法。
【国際調査報告】
2010521077.tif 000009
2010521077.tif 000010
2010521077.tif 000011