【手続補正書】
【提出日】平成21年7月2日(2009.7.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
レイヤ間テクスチャ予測を使って、近接するブロックのうちの少なくとも１つを符号化する空間的スケーラビリティエンハンスメントレイヤ内の近接するブロック間のブロック境界の特徴を定めるための方法であって、
ａ）前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って、前記近接するブロックのいずれかのルミナンスサンプルを符号化するときに、
第１の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
ｂ）ｉ）前記レイヤ間テクスチャ予測以外のイントラ予測モードを使って、前記近接するブロックのいずれかのルミナンスサンプルを符号化しないとき、および
ｉｉ）前記近接するブロックのいずれかが非ゼロ変換係数を有するときに、
第２の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
ｃ）ｉ）前記レイヤ間テクスチャ予測のイントラ予測モードを使って、前記ルミナンスサンプルを符号化しないとき、および
ｉｉ）前記近接するブロックの全てが非ゼロ変換係数を有しないときに、
第３の境界強度インジケータにより前記ブロック境界の特徴を定めるステップと、
を備えるブロック境界の特徴を定めるための方法。
【請求項２】
前記ブロック境界に対してデブロッキングフィルタを適用するときに、前記第１の境界強度インジケータは、前記第２の境界強度インジケータよりも強いデブロッキングフィルタを適用させ、
前記第２の境界強度インジケータは、前記第３の境界強度インジケータよりも強いデブロッキングフィルタを適用させること
を特徴とする請求項１に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】近接するブロック間のブロック境界の特徴を定める方法
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明の実施例は、画像ブロック境界フィルタリング制御のための方法に関する。本発明の一部の実施例は、逆ブロックキングフィルタ演算を制御するための、空間的スケーラビリティエンハンスメントレイヤ内の近接ブロック間のブロック境界の特徴を定めるための方法を含む。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
H.264/MPEG-4 AVC［ITU-T VCEGおよびISO/IEC MPEGのJoint Video Team、「高度ビデオ符号化（AVC）−第４版」、ITU-T 勧告H.264およびISO/IEC14496-10（MPEG-4-Part10）、2005年1月］（この規格を本明細書で参考例として援用する）は、ビデオコーデック仕様であり、この仕様は、マクロブロック予測を使用しており、マクロブロック予測の次に残差符号化が行われ、圧縮効率のためにビデオシーケンス内の時間的および空間的冗長性を低減するようになっている。空間的スケーラビリティとは、サポートされた任意の空間解像度でレート歪性能を維持しながら、ビットストリームの一部を除去できる機能を意味する。単一レイヤのH.264/MPEG-4 AVCは、空間的スケーラビリティをサポートしていない。空間的スケーラビリティは、H.264/MPEG-4 AVCのスケーラブルなビデオ符号化（SVC）拡張によってサポートされている。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
図３は、デブロックフィルタリングを選択的にスキップするかどうかの判断をするのに使用できる符号化パラメータの別の例を示す。図２において、前に示したように、画像フレーム４０からの画像ブロック４４と動きベクトルＭＶ１が指し示した基準フレーム４２からの基準ブロック４４’とを比較する。画像ブロック４４と基準ブロック４４’と比較することから、残差ブロック４４”が出力される。残差ブロック４４”に対して変換５０を実行し、変換係数をもつ変換されたブロック４４”を作成する。一実施例では、変換５０は離散的コサイン変換であり、変換されたブロック４４’’’は直流成分５２と交流成分５３とを含む。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正の内容】
【００２３】
直流成分５２は、残差ブロック４４”内の最低周波数の変換係数を意味する。例えば残差ブロック４４”内の平均エネルギーを示す係数である。交流成分５３は、残差ブロック４４”内のより高い周波数の成分を表す変換係数を示す。例えば残差ブロック４４”内のピクセル間の大きいエネルギー差を表す変換係数のことである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
図４は、変換された残差ブロック４４’’’および４６’’’を示す。これら２つの変換ブロック４４’’’および４６’’’からの直流成分５２はプロセッサ５４で比較される。直流成分が同一であるか、または互いにある範囲内にある場合、プロセッサ５４は２つの隣接するブロック４４と４６の境間のデブロックフィルタリングをスキップすることをデブロックフィルタ演算５６に通知する。直流成分５２が類似していなければ、スキップの通知を開始せず、ブロック４４と４６との間の境をデブロックフィルタリングする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】変更
【補正の内容】
【００２５】
一例では、国際通信連合（ＩＴＵ−Ｔ）の通信セクタが提案したH.26L符号化方式にスキップモードフィルタリングを組み込んでもよい。このH.26L方式は４×４の整数離散コサイン変換（DCT）ブロックを使用するものである。所望する場合、隣接する２つのブロックの直流成分だけをチェックできる。しかしながら、特に画像ブロックがより大きいサイズ、例えば８×８ブロックまたは１６×１６ブロックであるときに、ある限定された低周波交流係数を同様にチェックすることができる。例えばブロック４４’’’に対する上部直流成分５２および３つの低周波数の交流変換係数５３とブロック４６’’’に対する上部直流成分５２および３つの低周波数の交流変換係数５３とを比較することができる。直流変換係数および／または任意の交流変換係数との異なる組み合わせを使用し、２つの隣接するブロック４４と４６との間の相対的類似性を識別できる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
図６は、図５内の符号化および復号内のフィルタ７８、９０および／または９４内でどのようにスキップモードフィルタリングを使用できるかを、更に詳細に示している。まず、ボックス１００内では、任意の２つの隣接するブロック“ｊ”と“ｋ”との間のブロック間境界が識別される。画像フレーム内では、これら２つのブロックは水平方向または垂直方向に隣接することがある。判断ボックス１０２は、ブロックｊのための動きベクトルｍｖ（ｊ）と、ブロックｋのための動きベクトルｍｖ（ｋ）とを比較する。まず、２つの隣接するブロックｊとｋとが、同じ基準フレームを指示する同じ動きベクトルを有するかどうかを判断する。換言すれば、隣接するブロックのための動きベクトルは同一基準フレーム（ｒｅｆ（ｊ）＝ｒｅｆ（ｋ））内の隣接ブロック（ｍｖ（ｊ）＝ｍｖ（ｋ））を指示する。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
動きベクトルが同一の基準フレームを指し示している場合、更にフィルタリングプロセスの限定をするために変換係数が比較される。本例では、離散的コサイン変換（ＤＣＴ）方法またはその他の方法を使って得られた直流変換係数が隣接するブロックに対して比較される。直流変換係数が類似していない場合（１８７）、デブロックフィルタリングを実行できる（１８６）。直流変換係数が類似している場合、フィルタリングをスキップし、この方法およびシステムは次のステップ１８８に進むことができる。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
本発明の一部の実施例では、使用する画像のフォーマットおよびカラースペースに応じて１つの画像を種々のルミナンスチャンネルおよびクロミナンスチャンネルに分離できる。次の実施例では、ＹＵＶカラースペースについて説明する。しかしながら、これら実施例では他の多くのフォーマットおよびカラースペースが使用される。CIELAB、YCrCbおよび他のスペースも使用できる。別の実施例では、ＲＧＢのようなカラースペースも使用できる。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
一例として、図２１を参照し、実施例について説明する。これら実施例では、画像は別個のルミナンス（Ｙ）チャンネルおよび多数のクロミナンス（Ｕ、Ｖ）チャンネルに分割されている（２６０）。これら実施例では、各チャンネルに対応する画像内で隣接するブロックを識別する（２６２、２７２、２８２）。各チャンネルにおけるこれらのブロックに対して動きベクトルデータのような符号化パラメータも識別される（２６４、２７４、２８４）。これら符号化パラメータを比較し、他の実施例の場合のように類似性を判断できる。これら実施例では、各チャンネルにおけるフィルタリングオプションを決定するために、チャンネル固有の動きベクトルに対する動きベクトルの類似性を使用できる。チャンネル画像に対する動きベクトルが類似していない場合、隣接するブロック間の特定のチャンネル内でフィルタリングが実行される（２７０、２８０、２９０）。動きベクトルが類似している場合、ターゲット基準フレームを比較する（２６８、２７８、２８８）。チャンネル内の隣接するブロックに対するベクトルが同一基準フレームを指し示している場合、フィルタリングをスキップする。ベクトルが異なる基準フレームを指し示している場合、フィルタリングを実行する（２７０、２８０、２９０）。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
本発明の実施例は２つ以上の連続する空間レイヤ、より低いレイヤ（ベースレイヤとして見なされる）２５３およびより高いレイヤ（エンハンスメントレイヤとして見なされる）２５１に関係する。これらレイヤは次の幾何学的関係によってリンクできる（図２３に示されている）。エンハンスメントレイヤピクチャの幅２５０および高さ２５２は、それぞれｗｅｎｈおよびｈｅｎｈとして定義できる。同様に、ベースレイヤピクチャのディメンジョンもｗｂａｓｅ２５４およびｈｂａｓｅ２５６として定義できる。ベースレイヤ２５３は、エンハンスメントレイヤピクチャの座標系における座標２６２（ｘｏｒｉｇ、ｙｏｒｉｇ）に位置するディメンジョンｗｅｘｔｒａｃｔ２５８およびｈｅｘｔｒａｃｔ２６０のエンハンスメントレイヤピクチャ２５１のサブ領域のサブサンプリング２６４されたバージョンとし得る。パラメータ（ｘｏｒｉｇ、ｙｏｒｉｇ、ｗｅｘｔｒａｃｔ、ｈｅｘｔｒａｃｔ、ｗｂａｓｅ、ｈｂａｓｅ）は、より高いレイヤのピクチャ２５１とより低いレイヤのピクチャ２５３との間の幾何学的関係を定める。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
本発明の実施例によって用意される問題は、復号されたベースレイヤを知ることによってエンハンスメントレイヤのマクロブロックを符号化／復号することである。エンハンスメントレイヤのマクロブロックは、図２４に示されるように、ベースレイヤに対応するブロックを有しないか（エンハンスメントレイヤピクチャの境上に）、または１個〜数個のベースレイヤに対応するマクロブロックを有し得る。従って、WD-1.0［MPEG Doc.N6901］におけるものとは異なるレイヤ間予測の管理が必要である。図２４は、点線２７４によりマクロブロックの境界をマークしたアップサンプリングベースレイヤピクチャ２７２と、マクロブロックの境界を実線２７６でマークしたエンハンスメントレイヤピクチャ２７０との間にオーバーラップするマクロブロックを示す。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
これまでに［MPEG Doc.ml1669］において、ｗｅｘｔｒａｃｔおよびｈｅｘｔｒａｃｔを１６の倍数に制限することが提案されている。この制限は、ピクチャレベルの適応化を制限する。この代わりに、本発明の実施例は、ｗｅｘｔｒａｃｔおよびｈｅｘｔｒａｃｔを２の倍数に制限するものである。クロミナンスのアップ／ダウンサンプリングにおける起こり得るフェーズシフトを調整する際の複雑さを解消するために、更に本発明の実施例は、ｘｏｒｉｇおよびｙｏｒｉｇを２の倍数にすることをさらに要求する。クロミナンスフェーズシフトの問題は、これまでには取り組まれていない。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
動きベクトルのスケーリング
上記のように導いた予測マクロブロックＭＢ＿ｐｒｅｄの現在のどの動きベクトルに対しても、動きベクトルのデスケーリングを実行できる。次の式を使ってベクトルｖｍｓ＝（ｄｓｘ、ｄｓｙ）において、動きベクトルｍｖ＝（ｄｘ、ｄｙ）をスケーリングできる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０２１６
【補正方法】変更
【補正の内容】
【０２１６】
ＪＶＴのＳＶＣ拡張に関係する本発明の実施例では、ＳｐａｔｉａｌＳｃａｌａｂｉｌｉｔｙＴｙｐｅが０に等しくなく、ルミナンスサンプルｐ０またはｑ０がＩ＿ＢＬマクロブロック予測モードを使用して符号化されたマクロブロック内にある場合、変数Ｂｓは次のように導かれる。
・ルミナンスサンプルｐ０またはｑ０がＩ＿ＢＬモード以外のイントラ予測モードを使用して符号化されたマクロブロック内にある場合、４に等しいＢｓの値が出力となる。
・以下の条件の１つが成り立つ場合、２に等しいＢｓの値が出力となる。
ｉ．サンプルｐ０を含むルミナンスブロックまたはサンプルｑ０を含むルミナンスブロックが０でない変換係数レベルを含む。
ｉｉ．サンプルｐ０を含むルミナンスブロックまたはサンプルｑ０を含むルミナンスブロックに対し、シンタックス要素ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅは２０に等しく、ｒｅｓｉｄｕａｌ＿ｐｒｅｄｉｃｔｉｏｎ＿ｆｌａｇは１に等しく、予測アレイｒｅｓＰｒｅｄＸはサブ章Ｓ.８.５.１４で導かれたように０でないサンプルを含む。ここで、Ｘは適用可能な成分Ｌ、ＣｂまたはＣｒを示す。
・次の条件のうちの１つが成り立つ場合、１に等しいＢｓの値が出力となる。
ｉ．ルミナンスサンプルｐ０またはｑ０のいずれかが、インター予測モードを使用して符号化されたマクロブロック内にある。
ｉｉ．ルミナンスサンプルｐ０またはｑ０は、異なるｂａｓｅ＿ｉｄ＿ｐｌｕｓ１を有する２つの別個のスライス内にある。
・そうでない場合、０に等しいＢｓの値が出力となる。
・サンプルｐ０およびｑ０の双方が、Ｉ＿ＢＬマクロブロック予測モードを使用して符号化されたマクロブロック内にある場合、１に等しいＢｓの値が出力となる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０２１７
【補正方法】変更
【補正の内容】
【０２１７】
図２８を参照し、本発明の一部の実施例について説明する。これら実施例では、空間的スケーラビリティエンハンスメントレイヤ内の近接するブロックの間の境界は、種々のフィルタリング方法を適用するために特徴づけられる。これらフィルタリング方法は、種々のフィルタリング方法をトリガーするか、またはフィルタリングパラメータを調節するために使用できる境界強度インジケータ３１２、３１６および３２０、３２２に関連付けできる。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０２２２
【補正方法】変更
【補正の内容】
【０２２２】
ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法で符号化されておらず（３１１）、近接するブロックのいずれもがまたは近接するブロックのうちの１つを予測したブロックが０でない変換係数を有しておらず（３１４）、異なる基準ブロックを参照して近接するブロックを予測していない（３１８）場合、第４の境界強度インジケータを使ってターゲット境界の特徴を定める（３２２）。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】０２２４
【補正方法】変更
【補正の内容】
【０２２４】
図２９を参照し、本発明の一部の実施例について説明する。これら実施例では、空間的スケーラビリティエンハンスメントレイヤ内の近接するブロックの間の境界が種々のフィルタリング方法の適用に対して特徴づけられる。種々のフィルタリング方法をトリガーするか、またはフィルタリングパラメータを調節するのに使用できる境界強度インジケータ３３６、３４０、３４４、３４８および３５２、３５４に、これらフィルタリング方法を関連付けできる。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】０２３０
【補正方法】変更
【補正の内容】
【０２３０】
ブロックのうちの１つがレイヤ間テクスチャ予測以外のイントラ予測方法では符号化されておらず（３３４）、近接するブロックのいずれもがまたは近接するブロックのうちの１つを予測したブロックが０でない変換係数を有しておらず（３３８、３４２）、ブロックがインター予測モードで符号化されない場合（３４６）、異なる基準ブロックを参照して、近接するブロックを予測するかどうかを決定する判断を行うことができる（３５０）。異なる基準ブロックを参照して近接するブロックを予測する場合（３５０）、第５の境界強度インジケータを使ってターゲット境界の特徴を定める（３５２）。
【手続補正２２】
【補正対象書類名】図面
【補正対象項目名】図２５
【補正方法】変更
【補正の内容】
【図２５】
2008533909.tif 000001
【手続補正２３】
【補正対象書類名】図面
【補正対象項目名】図２９Ａ
【補正方法】変更
【補正の内容】
【図２９Ａ】
2008533909.tif 000002
【手続補正２４】
【補正対象書類名】図面
【補正対象項目名】図２９Ｂ
【補正方法】変更
【補正の内容】
【図２９Ｂ】
2008533909.tif 000003
【手続補正２５】
【補正対象書類名】図面
【補正対象項目名】図３０Ａ
【補正方法】変更
【補正の内容】
【図３０Ａ】
2008533909.tif 000004
【手続補正２６】
【補正対象書類名】図面
【補正対象項目名】図３０Ｂ
【補正方法】変更
【補正の内容】
【図３０Ｂ】
2008533909.tif 000005