(57)【要約】【課題】量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。【解決手段】量子化パラメータ導出部２０５は、逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する。逆量子化・逆直交変換部２０９は、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する。イントラＰＣＭ復号部２０７は、非圧縮で符号化されたブロックの画像信号を復号する。デブロッキングフィルタ部２１１は、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施す。【選択図】図２
2013223097.tif 000002
【特許請求の範囲】
【請求項１】
ブロック単位で画像信号を復号する画像復号装置であって、
逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する量子化パラメータ導出部と、
圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部と、
非圧縮で符号化されたブロックの画像信号を復号する第２の復号部と、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部とを含むことを特徴とする画像復号装置。
【請求項２】
前記量子化パラメータ導出部は、量子化パラメータ情報を送るべき符号化ブロックの最小サイズ未満の非圧縮で符号化される符号化ブロックにおいて、量子化パラメータを復号しないことを特徴とする請求項１に記載の画像復号装置。
【請求項３】
前記量子化パラメータ導出部は、量子化パラメータ情報を送るべき符号化ブロックの最小サイズ未満の符号化ブロックにおいて、量子化パラメータ情報を復号して導出される量子化パラメータを、１つのグループとして扱われる複数の符号化ブロックの量子化パラメータに設定することを特徴とする請求項１に記載の画像復号装置。
【請求項４】
ブロック単位で画像信号を復号する画像復号方法であって、
逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含むことを特徴とする画像復号方法。
【請求項５】
ブロック単位で画像信号を復号する画像復号プログラムであって、
逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、
圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、
非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させることを特徴とする画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号技術に関し、特にフィルタリングを利用した画像復号技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−２  ビデオ、ＭＰＥＧ−４  ビジュアル、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の規格がある。これらの規格では、ピクチャを複数の矩形ブロックに分割してブロック単位で符号化／復号を行う。ブロック単位で、イントラ予測、インター予測、直交変換、量子化を行うことで符号化を行うために、ブロックの境界に歪が生じる。この歪はブロック歪と呼ばれている。ブロック歪は、ブロック境界を挟む上下、または左右の２つのブロック間のイントラ／インター等のモード、インター予測で参照する画像、インター予測で用いられる動きベクトル、量子化の際の量子化パラメータ等の差によって、歪が発生する。復号後の画像に対して、このブロック歪を除去または減少する処理をデブロッキングフィルタ法と呼ぶ。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【０００４】
量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、ブロック歪みを低減するためにフィルタリング強度を適切に設定することのできる画像符号化技術およびそれに対応する画像復号技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像復号装置は、ブロック単位で画像信号を復号する画像復号装置であって、逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する量子化パラメータ導出部（２０５）と、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号部（２０４、２０９）と、非圧縮で符号化されたブロックの画像信号を復号する第２の復号部（２０３、２０７）と、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタ部（２１１）とを含む。
【０００７】
本発明の別の態様は、画像復号方法である。この方法は、ブロック単位で画像信号を復号する画像復号方法であって、逆量子化されるブロックに対応する量子化パラメータ情報を復号するともに、非圧縮で復号されるブロックに対応する量子化パラメータ情報を復号して、ブロックの量子化パラメータを導出する量子化パラメータ導出ステップと、圧縮して符号化されたブロックの画像信号を前記量子化パラメータに基づき逆量子化して復号する第１の復号ステップと、非圧縮で符号化されたブロックの画像信号を復号する第２の復号ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータを用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックの復号済み画像信号にフィルタリング処理を施すデブロッキングフィルタステップとを含む。
【０００８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００９】
本発明によれば、フィルタリング強度を適切に設定してブロック歪みを低減することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態の画像符号化装置の構成を示すブロック図である。
【図２】実施の形態の画像復号装置の構成を示すブロック図である。
【図３】本実施の形態で規定するツリーブロック、及び符号化ブロックを説明する図である。
【図４】本実施の形態で規定する分割モードを説明する図である。
【図５】量子化グループブロックの一例を説明する図である。
【図６】量子化パラメータの決定および符号化処理手順を説明するフローチャートである。
【図７】本実施の形態の第１の実施例のイントラＰＣＭブロックの符号化処理手順を説明するフローチャートである。
【図８】量子化パラメータ情報および符号化ブロック内の変換ブロックの符号化処理手順を説明するフローチャートである。
【図９】量子化パラメータの復号・導出処理手順を説明するフローチャートである。
【図１０】本実施の形態の第１の実施例のイントラＰＣＭブロックの復号処理手順を説明するフローチャートである。
【図１１】量子化パラメータ情報および符号化ブロック内の変換ブロックの復号処理手順を説明するフローチャートである。
【図１２】図６のステップＳ１１０９、図９のＳ１４０６の量子化パラメータの予測値の導出処理手順を説明するフローチャートである。
【図１３】ブロック境界の画素の一例を説明する図である。
【図１４】画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の処理手順を説明するフローチャートである。デブロッキングフィルタ処理手順を説明するフローチャートである。
【図１５】符号化ブロック毎のデブロッキングフィルタ処理手順を説明するフローチャートである。
【図１６】符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。
【図１７】符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。
【図１８】図１５のステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。
【図１９】図１８のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。
【図２０】インデックスindexBと変数βを対応づけた表を説明する図である。
【図２１】インデックスindexTcと変数ｔｃを対応づけた表を説明する図である。
【図２２】図１９のステップＳ３１１４のライン毎の信号のフィルタリング処理手順を示すフローチャートである。
【図２３】本実施の形態の第２の実施例のイントラＰＣＭブロックの符号化処理手順を説明するフローチャートである。
【図２４】本実施の形態の第２の実施例のイントラＰＣＭブロックの復号処理手順を説明するフローチャートである。
【発明を実施するための形態】
【００１１】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形に分割したブロック単位で、後述するイントラ予測、インター予測、直交変換、量子化を行うことで符号化を行う。
【００１２】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００１３】
（ツリーブロック、符号化ブロックについて）
実施の形態では、図３に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を再帰的に４分割（縦横に２分割ずつ）して、小さなサイズのブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００１４】
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに再帰的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００１５】
実施の形態の説明においては、色差フォーマットが４：２：０で、ツリーブロックのサイズを輝度信号で６４×６４画素、色差信号で３２×３２画素と設定し、最小の符号化ブロックのサイズを輝度信号で８×８画素、色差信号で４×４画素と設定する。図３では、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素となり、符号化ブロックＢのサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素となり、符号化ブロックＣのサイズは輝度信号で１６×１６画素、色差信号で８×８画素となり、符号化ブロックＤのサイズは輝度信号で８×８画素、色差信号で４×４画素となる。なお、色差フォーマットが４：４：４の場合、各符号化ブロックの輝度信号と色差信号のサイズが等しくなる。色差フォーマットが４：２：２の場合、符号化ブロックＡのサイズは色差信号で３２×６４画素となり、符号化ブロックＢのサイズは色差信号で１６×３２画素となり、符号化ブロックＣのサイズは色差信号で８×１６画素となり、最小の符号化ブロックである符号化ブロックＤのサイズは色差信号で４×８画素となる。
【００１６】
（予測モードについて）
符号化ブロック単位で、符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）のピクチャを用いずに符号化／復号対象ピクチャ内で符号化するイントラモード（MODE_INTRA）、及び符号化／復号済みのピクチャの復号画像信号を参照してインター予測を行うことにより符号化するインターモード（MODE_INTER）を切り替える。このイントラモード（MODE_INTRA）とインターモード（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラモード（MODE_INTRA）、またはインターモード（MODE_INTER）を値として持ち、選択して符号化できる。
【００１７】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測及びインター予測を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この必要に応じて分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて８種類の分割モード（PartMode）を定義する。
【００１８】
図４（ａ）に示す符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなした分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）と定義する。図４（ｂ）、（ｃ）、（ｄ）に示す符号化ブロックの輝度信号を上下に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれ２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）と定義する。ただし、２Ｎ×Ｎ分割（PART_2NxN）は上下に１：１の比率で分割した分割モードであり、２Ｎ×ｎＵ分割（PART_2NxnU）は上下に１：３の比率で分割した分割モードであり、２Ｎ×ｎＤ分割（PART_2NxnD）は上下に３：１の比率で分割した分割モードである。図４（ｅ）、（ｆ）、（ｇ）に示す符号化ブロックの輝度信号を左右に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）と定義する。ただし、Ｎ×２Ｎ分割（PART_Nx2N）は左右に１：１の比率で分割した分割モードであり、ｎＬ×２Ｎ分割（PART_nLx2N）は左右に１：３の比率で分割した分割モードであり、ｎＲ×２Ｎ分割（PART_nRx2N）は左右に３：１の比率で分割した分割モードである。図４（ｈ）に示す符号化ブロックの輝度信号を上下左右に４分割して、４つの予測ブロックとした分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。
【００１９】
なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００２０】
予測モード（PredMode）がインターモード（MODE_INTER）では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）を定義する。最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００２１】
予測モード（PredMode）がイントラモード（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ（本実施の形態では輝度信号で８×８画素）以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）だけを定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００２２】
（イントラ予測、イントラ予測モードについて）
イントラ予測では同じピクチャ内の周囲の復号済みのブロックの画素の値から処理対象ブロックの画素の値を予測する。本実施の形態の符号化装置及び復号装置では３４通りのイントラ予測モードから選択して、イントラ予測する。イントラ予測モード（intraPredMode）は、上の復号済みのブロックから垂直方向に予測する垂直予測（イントラ予測モードintraPredMode=0）、左の復号済みのブロックから水平方向に予測する水平予測（イントラ予測モードintraPredMode=1）、周囲の復号済みのブロックから平均値を算出することにより予測する平均値予測（イントラ予測モードintraPredMode=2）、周囲の復号済みのブロックから斜め４５度の角度で予測する平均値予測（intraPredMode=3）に加えて、周囲の復号済みのブロックから様々な角度で斜め方向に予測する３１通りの角度予測（イントラ予測モードintraPredMode=4…34）を定義する。
【００２３】
イントラモード（MODE_INTRA）で符号化／復号済みの周囲の画像信号から予測を行うイントラ予測の際に用いられるイントラ予測モードは、輝度信号、色差信号それぞれに用意し、輝度信号用のイントラ予測モードをイントラ輝度予測モード、色差信号用のイントラ予測モードをイントラ色差予測モードと定義する。イントラ輝度予測モードの符号化、および復号においては、周辺のブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で周辺のブロックのイントラ輝度予測モードから予測できると判断された場合は参照するブロックを特定する情報を伝送し、周辺のブロックのイントラ輝度予測モードから予測するよりもイントラ輝度予測モードに別の値を設定した方が良いと判断された場合に、さらにイントラ輝度予測モードの値を符号化、または復号する仕組みを用いる。周辺のブロックのイントラ輝度予測モードから符号化・復号対象ブロックのイントラ輝度予測モードを予測することにより、伝送する符号量を削減できる。一方、イントラ色差予測モードの符号化、および復号においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側でイントラ輝度予測モードから予測できると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断した場合に、イントラ色差予測モードの値を符号化、または復号する仕組みを用いる。イントラ輝度予測モードからイントラ色差予測モードを予測することにより、伝送する符号量を削減できる。
【００２４】
（イントラＰＣＭ符号化について）
実施の形態では、イントラモード（MODE_INTRA）では、符号化／復号済みの周囲の画像信号から予測を行うイントラ予測を用いて符号化するイントラ予測符号化に加えて、イントラ予測、インター予測、直交変換、量子化等の圧縮処理を用いずに、画像信号を非圧縮でＰＣＭ信号としてそのまま符号化するイントラＰＣＭ符号化を定義する。イントラＰＣＭでは符号化ブロックのサイズとＰＣＭ信号のビット深度によって符号量が固定長となるため、所定単位の符号量を保証する緊急モードとして活用できる。また、細かな量子化をした際に符号量が大きくなる場合には、非圧縮のイントラＰＣＭ符号化を選択した方が、小さな符号量で符号化することができることもある。さらに、すべての画像信号をイントラＰＣＭ符号化することでロスレス符号化としても対応できる。イントラＰＣＭ符号化は符号化ブロック単位で行われる。イントラＰＣＭにより符号化される符号化ブロックをイントラＰＣＭブロックと定義する。
【００２５】
（変換ブロック）
従来と同様に、本実施の形態でもＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）等の、離散信号を周波数領域へ変換する直交変換とその逆変換を用いて、符号量の削減を図る。符号化ブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じて符号化ブロック内の輝度信号、及び色差信号を再帰的に４分割して、小さなブロック単位で、変換、または逆変換を行うことができる。この必要に応じて分割された直交変換または逆直交変換の対象となるブロックを変換ブロックと定義する。
【００２６】
（量子化パラメータ）
実施の形態では、直交変換された係数を量子化する際の量子化ステップの大きさを導出するための量子化パラメータを下記の量子化グループブロック単位で設定して伝送する。符号化側でこの量子化パラメータの値を制御することにより、量子化ステップの大きさを制御することができ、符号量を制御したり、主観画質を制御することが可能である。量子化パラメータの値を小さく設定することで、量子化ステップが小さくなり細い量子化が行われる。この場合、多くの符号量を要するが、画像の劣化を低く抑えることができ、ブロック歪やモスキート歪等の符号化歪が目立ちにくくなる。一方、量子化パラメータの値を大きく設定することで、量子化ステップが大きくなり粗い量子化が行われる。この場合、少ない符号量で符号化が可能となるが、画像の劣化は高くなり、ブロック歪やモスキート歪等の符号化歪が目立ちやすくなる。実施の形態では、量子化パラメータＱＰＹは-QpBdOffsetYから５１までの値をとることができる。ただし、変数QpBdOffsetYは符号化される映像信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetY = 6 * bit_depth_luma_minus8
ただし、変数bit_depth_luma_minus8は符号化される輝度信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される輝度信号のビット深度の値から８を減算した値を持つ。輝度信号のビット深度が８ビットでは、bit_depth_luma_minus8、 QpBdOffsetYの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetYの値は１２となる。
さらに、量子化、逆量子化の際に実際に用いられる輝度信号の量子化パラメータＱＰＹ'=、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ'、ＱＰＣｒ'は次式により導出される。
ＱＰＹ'= ＱＰＹ+ QpBdOffsetY
ＱＰＣｂ'=ＱＰＹ + cb_qp_offset + QpBdOffsetC
ＱＰＣｒ'=ＱＰＹ + cr_qp_offset + QpBdOffsetC
ただし、変数QpBdOffsetCは符号化される色差信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetC = 6 * bit_depth_chroma_minus8
ただし、変数bit_depth_chroma_minus8は符号化される色差信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される色差信号のビット深度の値から８を減算した値を持つ。色差信号のビット深度が８ビットでは、bit_depth_chroma_minus8、QpBdOffsetCの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetCの値は１２となる。また、輝度信号の量子化パラメータＱＰＹ'は０から５１＋QpBdOffsetYまでの値をとることができる。また、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ'、ＱＰＣｒ'は０から５１＋QpBdOffsetCまでの値をとることができる。
【００２７】
（量子化グループブロック）
実施の形態では、符号化ブロック毎に量子化パラメータを設定し、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する。ただし、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する符号化ブロックの最小サイズ、すなわち量子化パラメータを設定する符号化ブロックの最小サイズ（以下、MinCUDQPSizeとする）を設定し、設定された最小サイズMinCUDQPSize未満の符号化ブロックについては設定された最小サイズにグループ化された複数の符号化ブロックで量子化パラメータの値を共有する。量子化パラメータを設定する単位である量子化グループブロックを定義し、量子化グループブロック毎に量子化パラメータを設定する。量子化グループブロックは設定された最小サイズMinCUDQPSize以上の符号化ブロック１つまたは設定された最小サイズMinCUDQPSize未満の複数の符号化ブロックで構成される。
【００２８】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号のピクチャの一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。実施の形態においては、色差フォーマットの種類やブロックの形状、大きさにかかわらず、定義した輝度信号のブロックの座標と色差信号のブロックの座標のｘ成分とｙ成分の値が共に同一の場合にだけ、これらのブロックは同じ位置にあると定義する。
【００２９】
図１は実施の形態に係る画像符号化装置の構成を示すブロックである。実施の形態の画像符号化装置は、画像メモリ１０１、量子化パラメータ決定部１０２、イントラ予測部１０３、イントラＰＣＭ符号化部１０４、インター予測部１０５、符号化方法決定部１０６、残差信号生成部１０７、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、復号画像信号重畳部１１０、デブロッキングフィルタ部１１１、符号化情報格納メモリ１１２、第１の復号画像メモリ１１３、第２の復号画像メモリ１１４、第１の符号化ビット列生成部１１５、第２の符号化ビット列生成部１１６、第３の符号化ビット列生成部１１７、符号化ビット列多重化部１１８、スイッチ１１９を備える。
【００３０】
画像メモリ１０１では、時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１に格納された符号化対象の画像信号は符号化順序に並べ替えられて、設定に応じた複数の組み合わせでそれぞれの符号化ブロック単位に分割され、さらに、それぞれの予測ブロック単位に分割されて、イントラ予測部１０３、インター予測部１０５、残差信号生成部１０７に供給される。
【００３１】
量子化パラメータ決定部１０２では、符号量制御、適応量子化等の観点から量子化グループブロック単位で量子化パラメータを決定する。決定された量子化パラメータは符号化方法決定部１０６、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９に供給されると共に、符号化情報格納メモリ１１２に格納される。
【００３２】
イントラ予測部１０３は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた予測ブロック単位で、第１の復号画像メモリ１１３に格納された復号済みの画像信号から符号化対象の予測ブロックの輝度信号、色差信号それぞれについて複数のイントラ輝度予測モード、及びイントラ色差予測モードに応じたそれぞれのイントラ予測を行い、イントラ予測信号を得る。
【００３３】
予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のイントラ予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のイントラ予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのイントラ予測の候補として、選択されたイントラ予測モードに対応するイントラ予測情報、イントラ予測信号、及びイントラ予測の評価値を符号化方法決定部１０６に供給する。
【００３４】
イントラＰＣＭ符号化部１０４は符号化ブロック単位でＰＣＭ信号として符号化するためのＰＣＭ信号を配列する。イントラＰＣＭ符号化部１０４で生成されるＰＣＭ信号は符号化ブロックのサイズと信号のビット深度で符号量が一意に決まる。また、符号化劣化は無く、符号化歪は発生しないので、歪量を０とする。これら符号量と歪量をイントラＰＣＭ符号化の評価値として、ＰＣＭ信号と共に符号化方法決定部１０６に供給する。
【００３５】
インター予測部１０５は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた単位、即ち予測ブロック単位で、第２の復号画像メモリ１１４に格納された復号済みの画像信号から複数のインター予測モード（Ｌ０予測、Ｌ１予測、両予測）、及び参照画像に応じたそれぞれのインター予測を行い、インター予測信号を得る。その際、動きベクトル探索を行い、探索された動きベクトルに応じてインター予測を行う。なお、両予測の場合は、２つのインター予測信号を画素毎に平均、または重み付け加算することにより、両予測のインター予測を行う。予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のインター予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のインター予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのインター予測の候補として、選択されたインター予測モードに対応するインター予測情報、インター予測信号、及びインター予測の評価値を符号化方法決定部１０６に供給する。
【００３６】
符号化方法決定部１０６は複数の符号化ブロック単位におけるそれぞれの予測ブロック毎に選択されたイントラ予測情報に対応するイントラ予測評価値、インター予測情報に対応するインター予測評価値に基づき、最適な符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）、ＰＣＭ信号として符号化するか否か、変換ブロックの分割方法を決定し、決定に応じた符号化ブロックの分割方法、ＰＣＭ信号として符号化するか否かを示す情報を含むイントラ予測情報、またはインター予測情報を含む符号化情報を第２の符号化ビット列生成部１１６に供給するとともに、符号化情報格納メモリ１１２に格納し、決定に応じたイントラ予測またはインター予測された予測信号を残差信号生成部１０７、及び復号画像信号重畳部１１０に供給する。さらに、決定に応じた量子化パラメータ、変換ブロックの分割方法を直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、第３の符号化ビット列生成部１１７に供給するとともに、符号化情報格納メモリ１１２に格納する。また、イントラＰＣＭ符号化が選択された場合は、第２の符号化ビット列生成部１１６に供給する。
【００３７】
残差信号生成部１０７は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化する画像信号からイントラ予測またはインター予測された予測信号を画素毎に減じて残差信号を生成し、直交変換・量子化部１０８に供給する。
【００３８】
直交変換・量子化部１０８は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化方法決定部１０６から供給される残差信号に対して量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ'、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ'、ＱＰＣｒ'を用いて、ＤＣＴやＤＳＴ等の周波数領域に変換する直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３の符号化ビット列生成部１１７、及び逆量子化・逆直交変換部１０９に供給する。
【００３９】
第１の符号化ビット列生成部１１５は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値を算出し、算出した各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第１の符号化ビット列を生成し、符号化された第１の符号化ビット列を符号化ビット列多重化部１１８に供給する。量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する符号化ブロックの最小サイズ、すなわち量子化グループブロックの最小サイズを導出する際に用いられるシンタックス要素も符号化される。
【００４０】
第２の符号化ビット列生成部１１６は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック単位の符号化情報に加えて、予測ブロック毎に符号化方法決定部１０６によって決定された符号化情報に関するシンタックス要素の値を導出する。具体的には、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）等の符号化ブロック単位の符号化情報に加えて、予測ブロック単位の符号化情報に関するシンタックス要素の値を導出する。予測モード（PredMode）がイントラモード（MODE_INTRA）でイントラ予測符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを０とし、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに関するシンタックス要素の値を導出し、イントラモード（MODE_INTRA）でイントラＰＣＭ符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを１とし、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報に関するシンタックス要素の値を導出する。導出された各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第２の符号化ビット列を生成し、符号化された第２の符号化ビット列を符号化ビット列多重化部１１８に供給する。さらに、イントラＰＣＭ符号化の場合、量子化パラメータ情報およびＰＣＭ信号を符号化する。イントラＰＣＭ符号化の場合に、量子化パラメータ情報を符号化する詳細な処理については後述する。
【００４１】
第３の符号化ビット列生成部１１７は、変換ブロックの分割情報、量子化パラメータ情報を導出して符号化する。直交変換及び量子化された残差信号を規定のシンタックス規則に従って可変長符号化、算術符号化等によるエントロピー符号化を行い、第３の符号化ビット列を生成して、第３の符号化ビット列を符号化ビット列多重化部１１８に供給する。量子化パラメータ情報を導出して符号化する詳細な処理については後述する。
【００４２】
符号化ビット列多重化部１１８で、第１の符号化ビット列と第２の符号化ビット列、及び第３の符号化ビット列を規定のシンタックス規則に従って多重化してビットストリームを生成し、多重化されたビットストリームを出力する。
【００４３】
逆量子化・逆直交変換部１０９は、直交変換・量子化部１０８から供給された直交変換・量子化された残差信号を量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ'、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ'、ＱＰＣｒ'を用いて、逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１０に供給する。復号画像信号重畳部１１０は、符号化方法決定部１０６による決定に応じてイントラ予測またはインター予測された予測信号と逆量子化・逆直交変換部１０９で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、第１の復号画像メモリ１１３に格納する。
【００４４】
デブロッキングフィルタ部１１１は符号化情報格納メモリ１１２に格納された符号化情報に応じて第１の復号画像メモリ１１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ１１４に格納される。デブロッキングフィルタ部１１１の詳細な処理については後述する。
【００４５】
図２は図１の画像符号化装置に対応した実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、符号化ビット列分離部２０１、第１の符号化ビット列復号部２０２、第２の符号化ビット列復号部２０３、第３の符号化ビット列復号部２０４、量子化パラメータ導出部２０５、イントラ予測部２０６、イントラＰＣＭ復号部２０７、インター予測部２０８、逆量子化・逆直交変換部２０９、復号画像信号重畳部２１０、デブロッキングフィルタ部２１１、符号化情報格納メモリ２１２、第１の復号画像メモリ２１３、第２の復号画像メモリ２１４、およびスイッチ２１５、２１６、２１７を備える。
【００４６】
符号化ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、シーケンス、ピクチャ、及びスライス単位の符号化情報を示す第１の符号化ビット列が第１の符号化ビット列復号部２０２に供給され、符号化ブロック単位の符号化情報を含む第２の符号化ビット列が第２の符号化ビット列復号部２０３に供給され、直交変換及び量子化された残差信号を含む第３の符号化ビット列が第３の符号化ビット列復号部２０４に供給される。
【００４７】
第１の符号化ビット列復号部２０２は、シンタックス規則に従って、供給された第１の符号化ビット列をエントロピー復号して、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、復号されたシーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値から、シーケンス、ピクチャ、及びスライス単位の符号化情報を算出する。第１の符号化ビット列復号部２０２は符号化側の第１の符号化ビット列生成部１１５に対応する符号化ビット列復号部であり、第１の符号化ビット列生成部１１５で符号化されたシーケンス、ピクチャ、及びスライス単位の符号化情報を含む符号化ビット列からそれぞれの符号化情報に戻す機能を有する。第１の符号化ビット列復号部２０２で得られるシーケンス、ピクチャ、及びスライス単位の符号化情報は符号化情報格納メモリ２１２に供給されると共に、図示していないがすべてのブロックで用いられる。量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する符号化ブロックの最小サイズ、すなわち量子化グループブロックの最小サイズを導出する際に用いられるシンタックス要素も復号される。
【００４８】
第２の符号化ビット列復号部２０３は、シンタックス規則に従って、供給された第２の符号化ビット列をエントロピー復号して、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック、及び予測ブロック単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、供給された符号化ブロックの分割情報を復号し、符号化ブロック単位、及び予測ブロック単位の符号化情報に関するシンタックス要素の値から、符号化ブロック単位、及び予測ブロック単位の符号化情報を算出する。第２の符号化ビット列復号部２０３は符号化側の第２の符号化ビット列生成部１１６に対応する符号化情報算出部であり、第２の符号化ビット列生成部１１６で符号化された符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ビット列からそれぞれの符号化情報に戻す機能を有する。具体的には、第２の符号化ビット列を規定のシンタックス規則に従って復号することにより得られる各シンタックス要素から、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）を復号する予測モード（PredMode）がイントラモード（MODE_INTRA）の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを復号する。pcm_flagが０ならイントラ予測符号化であり、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードを得る。pcm_flagが１ならイントラＰＣＭ符号化であり、量子化パラメータ情報およびＰＣＭ信号を得る。一方、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報を得る。予測モード（PredMode）がイントラモード（MODE_INTRA）でpcm_flagが０の場合、スイッチ２１５を通じて、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードをイントラ予測部２０６に供給し、予測モード（PredMode）がインターモード（MODE_INTER）の場合、スイッチ２１５を通じて、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報をインター予測部２０８に供給する。イントラＰＣＭ符号化ならＰＣＭ信号をイントラＰＣＭ復号部２０７に供給する。イントラＰＣＭ符号化の場合に、量子化パラメータ情報を復号し、導出する詳細な処理については後述する。
【００４９】
第３の符号化ビット列復号部２０４は、供給された符号化ビット列を復号して変換ブロックの分割情報、量子化パラメータ情報、直交変換・量子化された残差信号を取得し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０９に供給する。さらに、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを量子化パラメータ導出部２０５に供給する。量子化パラメータ導出部２０５は、供給される量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_delta、及び第１の符号化ビット列復号部２０２で得られる符号化情報から量子化パラメータＱＰＹを導出し、逆量子化・逆直交変換部２０９に供給されるとともに、符号化情報格納メモリ２１２に格納される。量子化パラメータ情報を復号し、導出する詳細な処理については後述する。
【００５０】
イントラ予測部２０６は、供給されるイントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに応じて第１の復号画像メモリ２１３に格納されている復号済みの周辺ブロックからイントラ予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。また、本実施の形態ではイントラ輝度予測モードの値からイントラ色差予測モードの値を予測する際に、色差フォーマットに応じてイントラ色差予測モードの導出方法が異なる。この場合、色差フォーマットに応じて異なる方法により導出されたイントラ予測モードを用いてイントラ予測を行う。
【００５１】
イントラＰＣＭ復号部２０７は入力された信号の復号処理を行い、符号化ブロック単位のＰＣＭ信号を得る。得られた符号化ブロック単位のＰＣＭ信号をスイッチ２１７を通じて、第１の復号画像メモリ２１３に格納する。
【００５２】
インター予測部２０８は、供給されるインター予測モード、参照ピクチャを特定する情報、動きベクトル等のインター予測情報を用いて第２の復号画像メモリ２１４に格納されている復号済みの参照ピクチャから動き補償を用いたインター予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。なお、両予測の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を乗算して重畳し、最終的な予測画像信号を生成する。
【００５３】
逆量子化・逆直交変換部２０９は、量子化パラメータ導出部２０５から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ'、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ'、ＱＰＣｒ'を用いて、第３の符号化ビット列復号部２０４で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００５４】
復号画像信号重畳部２１０は、イントラ予測部２０６、またはインター予測部２０８で予測された予測画像信号と、逆量子化・逆直交変換部２０９により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、スイッチ２１７を介して、第１の復号画像メモリ２１３に格納する。
【００５５】
デブロッキングフィルタ部２１１は第１の復号画像メモリ２１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ２１４に格納される。第２の復号画像メモリ２１４に格納された復号画像信号は、出力順で出力される。
【００５６】
次に、実施の形態のポイントの１つである量子化グループブロックについて詳細に説明する。
【００５７】
前述したように、本実施の形態では、符号化ブロック毎に量子化パラメータを設定し、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する。ただし、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する符号化ブロックの最小サイズ（以下、MinCUDQPSizeとする）、すなわち量子化パラメータを設定する符号化ブロックの最小サイズを設定し、設定された最小サイズ未満の符号化ブロックについては設定された最小サイズMinCUDQPSizeにグループ化された複数の符号化ブロックで量子化パラメータの値を共有する。量子化パラメータを設定する単位である量子化グループブロックを定義し、量子化グループブロック毎に量子化パラメータを設定する。量子化グループブロックは設定された最小サイズ以上の符号化ブロック１つまたは設定された最小サイズMinCUDQPSize未満の複数の符号化ブロックで構成される。ただし、設定された最小サイズMinCUDQPSizeが対象となる符号化ブロックのサイズよりも小さい場合は、対象となる符号化ブロックに対応する量子化グループブロックのサイズはその符号化ブロックと同じサイズである。また、設定された最小サイズMinCUDQPSizeが対象となる符号化ブロックのサイズよりも小さい場合は、対象となる符号化ブロックに対応する量子化グループブロックのサイズは最小サイズMinCUDQPSizeと同じサイズである。本実施の形態では、量子化パラメータの差分に関する情報を示す後述するシンタックス要素cu_qp_deltaを伝送する符号化ブロックの最小サイズは量子化グループブロックの最小サイズと同じであるので、以下、量子化グループブロックの最小サイズMinCUDQPSizeとする。図５は本実施の形態で定義する量子化グループブロックの一例を説明する図である。図５では、実線で描かれたブロックＡ、Ｂ０、Ｂ１、Ｂ２、Ｃ０、Ｃ１、Ｃ２及びＤ０、Ｄ１、Ｄ２、Ｄ３は符号化ブロックであり、点線で描かれたブロックが量子化グループブロックの最小サイズMinCUDQPSizeと同じ大きさのブロックである。図５に示す例においては、ツリーブロックのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素と設定する。符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものであり、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素である。符号化ブロックＢ０、Ｂ１、Ｂ２は、ツリーブロックを４分割してできた符号化ブロックであり、符号化ブロックＢ０、Ｂ１、Ｂ２のサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素である。符号化ブロックＣ０、Ｃ１、Ｃ２は、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックであり、符号化ブロックＣ０、Ｃ１、Ｃ２のサイズは輝度信号で１６×１６画素、色差信号で８×８画素である。符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３は、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３のサイズは輝度信号で８×８画素、色差信号で４×４画素である。図５に示す例においては、量子化グループブロックの最小サイズMinCUDQPSizeを１６（色差フォーマットが４：２：０の場合、輝度信号で１６��１６画素、色差信号で８×８画素）と設定する。
【００５８】
本実施の形態においては、量子化グループブロックと同じ位置に存在する符号化ブロックおよび変換ブロックの量子化パラメータは同一である。量子化グループブロックの最小サイズMinCUDQPSizeはツリーブロックのサイズと同じに設定しても良いし、小さく設定してもよい。さらに、量子化グループブロックのサイズは符号化ブロックのサイズと同じになることもあり、符号化ブロックのサイズより大きくなることもある。
【００５９】
設定された量子化グループブロックの最小サイズが対応する符号化ブロックのサイズよりも大きい場合、量子化グループブロックには複数の符号化ブロックが含まれるが、これらの符号化ブロックの量子化パラメータは同じ値となる。図５に示す例においては、最も右下の量子化グループブロックより小さい４つの符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３の量子化パラメータは同じ値に設定される。
【００６０】
量子化グループブロックの最小サイズが対応する符号化ブロックのサイズよりも小さい場合、量子化グループブロックのサイズは対応する符号化ブロックのサイズと同一である。図５に示す例においては、符号化ブロックＡに対応する量子化グループブロックのサイズは符号化ブロックＡのサイズと同じ６４×６４画素であり、符号化ブロックＡ内では共通の量子化パラメータを用いる。符号化ブロックＢ０に対応する量子化グループブロックのサイズは符号化ブロックＢ０のサイズと同じ３２×３２画素であり、符号化ブロックＢ０内では共通の量子化パラメータを用いる。
【００６１】
本実施の形態においては、イントラＰＣＭ符号化では量子化しないが、デブロックフィルタの際に、量子化パラメータを用いる。そこで、イントラＰＣＭの符号化ブロックにも量子化パラメータを設定する。イントラＰＣＭ符号化でない符号化ブロックの量子化パラメータと同様に、イントラＰＣＭの符号化ブロックを含む量子化グループブロックの量子化パラメータをイントラＰＣＭの符号化ブロックの量子化パラメータとみなすこととする。
【００６２】
次に、実施の形態の第１の実施例の量子化パラメータの決定・符号化／復号・導出について説明する。
【００６３】
まず、本実施の形態におけるイントラＰＣＭブロックのサイズと量子化グループブロックのサイズの関係と量子化パラメータの値について説明する。
【００６４】
本実施の形態においては、デブロックフィルタのフィルタリング強度をより適切に設定してブロック歪みを低減するために、符号化ブロックがイントラＰＣＭ符号化の場合においても、量子化パラメータＱＰＹの値を符号化／復号する。その場合、符号化／復号される量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【００６５】
対象の符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ以上の場合、イントラＰＣＭブロック毎に画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの量子化パラメータの差分に関する情報を示すシンタックス要素cu_qp_deltaを符号化し、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【００６６】
対象の符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ未満の場合、対応する量子化グループブロックの内で量子化パラメータが符号化されていない場合であっても、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの量子化パラメータ情報の符号化処理を省略する。符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ未満の場合、イントラＰＣＭブロックで量子化パラメータ情報を符号化しなくても、同じ量子化グループブロック内のイントラＰＣＭ符号化でない符号化ブロックに含まれる変換ブロックが非０の係数の場合、量子化パラメータの差分に関する情報を示すシンタックス要素cu_qp_deltaが符号化されるからである。
【００６７】
対象の符号化ブロックがイントラＰＣＭ符号化でなく、符号化ブロック内の変換ブロックが非０の係数（０でない係数）を含み、対応する量子化グループブロックの内で量子化パラメータが符号化されていない場合に、量子化パラメータの差分に関する情報を示すシンタックス要素cu_qp_deltaを符号化し、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【００６８】
次に、量子化パラメータの決定および符号化処理の方法を説明する。図６は量子化パラメータの決定および符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置の量子化パラメータ決定部１０２、第２の符号化ビット列生成部１１６及び第３の符号化ビット列生成部１１７で行われる。ピクチャ内のスライス毎にステップＳ１１０２からＳ１１１８までの処理を行う（ステップＳ１１０１〜Ｓ１１１９）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１１０３からＳ１１１７までの処理を行う（ステップＳ１１０２〜Ｓ１１１８）。
【００６９】
まず、符号化ツリーブロック内の量子化グループブロック毎に量子化パラメータＱＰＹ量子化を決定する（ステップＳ１１０３〜Ｓ１１０５）。これらの処理は画像符号化装置の量子化パラメータ決定部１０２で行われる。量子化パラメータＱＰＹは符号量制御において、発生符号量を下げる場合には、量子化パラメータＱＰＹに大きい値を設定し、発生符号量を上げる場合には、量子化パラメータＱＰＹに小さい値を設定する。主観画質を調整するための適応量子化の際には符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに大きい値を設定し、符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに小さい値を設定する。
【００７０】
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１１０７からＳ１１１６までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを符号化する（ステップＳ１１０６〜Ｓ１１１７）。これらの処理は画像符号化装置では第２の符号化ビット列生成部１１６および第３の符号化ビット列生成部１１７で実施される。量子化パラメータＱＰＹを符号化する際には、量子化パラメータの差分に関する情報を示すシンタックス要素cu_qp_deltaを導出し、この導出されたシンタックス要素cu_qp_deltaを符号化する。
【００７１】
まず、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭の場合（ステップＳ１１０７のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックのＱＰＹに対応するシンタックス要素cu_qp_deltaが符号化されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１１０８）、量子化パラメータの予測値ＱＰPREDを導出する（ステップＳ１１０９）。ステップＳ１１０９の処理については図１２のフローチャートを用いて詳細に説明する。
【００７２】
続いてステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ１１２の量子化グループブロックのＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１１１０）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
【００７３】
一方、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭でない場合（ステップＳ１１０７のＮＯ）、ステップＳ１１１１に進む。
【００７４】
続いて、ステップＳ１１１１〜Ｓ１１１４ではイントラＰＣＭ符号化に係る処理を行う。予測モード（PredMode）がイントラモード（MODE_INTRA）であり、分割モード（PartMode）が２Ｎ×２Ｎ分割（PART_2Nx2N）であり、符号化ブロックのサイズが設定された最小イントラＰＣＭブロックのサイズ以上で設定された最大イントラＰＣＭブロックのサイズ以下である場合（ステップＳ１１１１のＹＥＳ）、ステップＳ１１１２に進み、そうでない場合（ステップＳ１１１１のＮＯ）、イントラＰＣＭ符号化を行わず、ステップＳ１１１２〜Ｓ１１１４をスキップして、ステップＳ１１１５に進む。
【００７５】
続いて、ステップＳ１１１２では、符号化ブロックをイントラＰＣＭ符号化として符号化するかどうかを示すシンタックス要素pcm_flagを符号化する（ステップＳ１１１２）。符号化ブロックをイントラＰＣＭブロックとして符号化する場合、pcm_flagに１が設定され、符号化ブロックをイントラＰＣＭブロックとして符号化しない場合、pcm_flagに０が設定される。符号化ブロックをイントラＰＣＭブロックとして符号化する場合（ステップＳ１１１３のＹＥＳ）、イントラＰＣＭブロックの符号化処理を行い（ステップＳ１１１４）、符号化ブロックをイントラＰＣＭブロックとして符号化しない場合（ステップＳ１１１３のＮＯ）、ステップＳ１１１５に進む。ステップＳ１１１４のイントラＰＣＭブロックの符号化処理について図７のフローチャートを用いて詳細に説明する。
【００７６】
図７は本実施の形態の第１の実施例のイントラＰＣＭブロックの符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置のイントラＰＣＭ符号化部１０４および第２の符号化ビット列生成部１１６で行われる。
【００７７】
まず、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭブロック（イントラＰＣＭで符号化される符号化ブロック）が連続する数NumPCMBlockから１を減算して、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭで符号化される符号化ブロックが後に続く数を示すシンタックス要素num_subsequent_pcmの値を導出し（ステップＳ１２０１）、シンタックス要素num_subsequent_pcmをエントロピー符号化する（ステップＳ１２０２）。なお、シンタックス要素num_subsequent_pcmの値は０から３までの範囲とする。
【００７８】
続いて、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズ以下の場合（ステップＳ１２０３のＹＥＳ）、符号化するイントラＰＣＭブロック毎に、ステップＳ１２０５とＳ１２０６の処理を行う（ステップＳ１２０４〜ステップＳ１２０７）。図６のステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１２０５）。図６のステップＳ１１１０で符号化情報格納メモリ１１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。さらに、符号化パラメータＱＰＹを符号化する（ステップＳ１２０６）。ステップＳ１２０６の符号化パラメータＱＰＹの符号化処理に関しては、固定長で符号化パラメータＱＰＹを符号化してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、後述する図８のステップＳ１３０５〜Ｓ１３０６のように、シンタックス要素cu_qp_deltaを導出して、シンタックス要素cu_qp_deltaをエントロピー符号化することもできる。
【００７９】
一方、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズより大きい場合（ステップＳ１２０３のＮＯ）、ステップＳ１２０４〜Ｓ１２０７の処理をスキップして、ステップＳ１２１２の処理に進む。
【００８０】
続いて、符号化ビット列をバイト境界にアラインする（ステップＳ１２１２）。
【００８１】
続いて、連続するイントラＰＣＭブロック毎に、ステップＳ１２１４とＳ１２１５の処理を行う（ステップＳ１２１３〜ステップＳ１２１６）。イントラＰＣＭブロックの輝度信号を固定長でＰＣＭ符号化し（ステップＳ１２１４）、続いて、イントラＰＣＭブロックの色差信号を固定長でＰＣＭ符号化する（ステップＳ１２１５）。すべての連続するNumPCMBlock個のイントラＰＣＭブロックのＰＣＭ符号化が完了したら、本イントラＰＣＭブロックの符号化処理が終了し、図６のステップＳ１１１５の処理に進む。
【００８２】
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１１１５のＮＯ）、ステップＳ１１１６の処理をスキップしてステップＳ１１１７に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１１１５のＹＥＳ）、量子化パラメータ情報および変換ブロックの符号化処理を行う（ステップＳ１１１６）。ステップＳ１１１６の量子化パラメータ情報および変換ブロックの符号化処理について図８のフローチャートを用いて詳細に説明する。
【００８３】
図８は本実施の形態の第１の実施例の量子化パラメータ情報および符号化ブロック内の変換ブロックの符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置の第３の符号化ビット列生成部１１７で行われる。量子化パラメータ情報および変換ブロック符号化処理では、符号化ブロック内の変換ブロック毎にステップＳ１３０２からＳ１３０８までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを導出するためのシンタックス要素cu_qp_deltaを符号化する（ステップＳ１３０１〜Ｓ１３０９）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１３０２）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１３０２のＹＥＳ）、ステップＳ１３０３からＳ１３０８までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１３０２のＮＯ）、ステップＳ１３０３からＳ１３０８までの処理をスキップして、ステップＳ１３０９に進む。
【００８４】
ステップＳ１３０３では、変数IsCuQpDeltaCodedを判定し（ステップＳ１３０３）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１３０３のＹＥＳ）、ステップＳ１３０４からＳ１３０７までの量子化パラメータ符号化処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１３０３のＮＯ）、ステップＳ１３０４からＳ１３０７までの処理をスキップして、ステップＳ１３０８に進む。
【００８５】
次に、図６のステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREV、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１３０４）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。図６のステップＳ１１１０で符号化情報格納メモリ１１２に格納された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。
【００８６】
ステップＳ１３０５では、次式によりシンタックス要素cu_qp_deltaを導出する（ステップＳ１３０５）。
ＱＰDIFF=ＱＰＹ−ＱＰPRED
cu_qp_delta = (ＱＰDIFF + 78 + QpBdOffsetY + (QpBdOffsetY/2)) % (52 + QpBdOffsetY) - 26 - (QpBdOffsetY/2);
ただし、ＱＰDIFFは量子化パラメータの差分値である。また、t変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数であり、８ビットでは０、１０ビットでは１２となる。また、'％'は剰余算の演算子（整数精度の除算の余りを求める演算子）である。
【００８７】
続いて、シンタックス要素cu_qp_deltaをエントロピー符号化し（ステップＳ１３０６）、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１３０７）、変換ブロックの係数を符号化する（ステップＳ１３０８）。
【００８８】
符号化ブロック内のすべての変換ブロックの処理が完了したら、図８の量子化パラメータ情報および変換ブロック符号化処理が完了する。続いて、図６のステップＳ１１１７に進み、次の符号化ブロックの処理を行う。
【００８９】
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１１１８に進み、次の符号化ツリーブロックの処理を行う。
【００９０】
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１１１９に進み、次のスライスの処理を行う。
【００９１】
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ決定・符号化処理が終了する。
【００９２】
次に、量子化パラメータの復号・導出処理の方法を説明する。図９は量子化パラメータの復号・導出処理手順を説明するフローチャートである。これらの処理は画像復号装置の量子化パラメータ導出部２０５で行われる。ただし、ステップＳ１６０４のエントロピー復号処理は画像復号装置の第３の符号化ビット列復号部２０４で行われる。ピクチャ内のスライス毎にステップＳ１４０２からＳ１４１５までの処理を行う（ステップＳ１４０１〜Ｓ１４１６）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１４０３からＳ１４１４までの処理を行う（ステップＳ１４０２〜Ｓ１４１５）。
【００９３】
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１４０４からＳ１４１３までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し導出する（ステップＳ１４０３〜Ｓ１４１４）。これらの処理は画像復号装置では第２の符号化ビット列復号部２０３、第３の符号化ビット列復号部２０４及び量子化パラメータ導出部２０５で実施される。量子化パラメータＱＰＹを導出する際には、量子化パラメータの予測値ＱＰPREDを導出し、シンタックス要素cu_qp_deltaを復号し、この復号されたシンタックス要素cu_qp_deltaを用いて量子化パラメータＱＰＹを導出する。
【００９４】
まず、対象となる符号化ブロックが復号順で量子化グループブロックの先頭の場合（ステップＳ１４０４のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックの量子化パラメータＱＰＹに対応するシンタックス要素cu_qp_deltaが復号されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１４０５）、量子化パラメータＱＰＹの予測値ＱＰPREDを導出する（ステップＳ１４０６）。ステップＳ１４０６の処理については図１２を用いて詳細に説明する。
【００９５】
続いて、ステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１４０７）。この符号化情報格納メモリ２１２に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
【００９６】
一方、対象となる符号化ブロックが復号順で量子化グループブロックの先頭でない場合（ステップＳ１４０４のＮＯ）、ステップＳ１４０８に進む。
【００９７】
続いて、ステップＳ１４０８〜Ｓ１４１１ではイントラＰＣＭ符号化に係る処理を行う。予測モード（PredMode）がイントラモード（MODE_INTRA）であり、分割モード（PartMode）が２Ｎ×２Ｎ分割（PART_2Nx2N）であり、符号化ブロックのサイズが設定された最小イントラＰＣＭブロックのサイズ以上で設定された最大イントラＰＣＭブロックのサイズ以下である場合（ステップＳ１４０８のＹＥＳ）、ステップＳ１４０９に進み、そうでない場合（ステップＳ１４０８のＮＯ）、イントラＰＣＭ符号化を行わず、ステップＳ１４０９〜Ｓ１４１１をスキップして、ステップＳ１４１２に進む。
【００９８】
続いて、ステップＳ１４０９では、符号化ブロックをイントラＰＣＭ符号化として符号化するかどうかを示すシンタックス要素pcm_flagを復号する（ステップＳ１４０９）。符号化ブロックがイントラＰＣＭブロックとして符号化される場合、pcm_flagに１が設定され、符号化ブロックがイントラＰＣＭブロックとして符号化される場合、pcm_flagに０が設定される。符号化ブロックがイントラＰＣＭブロックとして符号化されている場合（ステップＳ１４１０のＹＥＳ）、イントラＰＣＭブロックの復号処理を行い（ステップＳ４１１）、符号化ブロックがイントラＰＣＭブロックとして符号化されている場合（ステップＳ１４１０のＮＯ）、ステップＳ１４１２に進む。ステップＳ１４１１のイントラＰＣＭブロックの復号処理について図１０のフローチャートを用いて詳細に説明する。
【００９９】
図１０はイントラＰＣＭブロックの復号処理手順を説明するフローチャートである。これらの処理は画像復号装置の第２の符号化ビット列復号部２０３およびイントラＰＣＭ復号部２０７で行われる。
【０１００】
まず、復号対象の符号化ブロックと同じサイズのイントラＰＣＭで符号化される符号化ブロックが後に続く数を示すシンタックス要素num_subsequent_pcmをエントロピー復号し（ステップＳ１５０１）、シンタックス要素num_subsequent_pcmに１を加算して、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭブロック（イントラＰＣＭで符号化される符号化ブロック）が連続する数NumPCMBlockを算出する（ステップＳ１５０２）。
【０１０１】
続いて、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズ以下の場合（ステップＳ１５０３のＹＥＳ）、復号するイントラＰＣＭブロック毎に、ステップＳ１５０５とＳ１５０６の処理を行う（ステップＳ１５０４〜ステップＳ１５０７）。対応する設定されたそれぞれの符号化パラメータＱＰＹを復号し（ステップＳ１５０５）、復号されたそれぞれの符号化パラメータＱＰＹを符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１５０６）。図９のステップＳ１４０７で符号化情報格納メモリ２１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。ステップＳ１５０５の符号化パラメータＱＰＹの復号処理に関しては、固定長で符号化された量子化パラメータＱＰＹを復号してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、後述する図１１のステップＳ１６０４〜Ｓ１６０５のように、エントロピー符号化されたシンタックス要素cu_qp_deltaをエントロピー復号して量子化パラメータＱＰＹを導出することもできる。
【０１０２】
一方、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズより大きい場合（ステップＳ１５０３のＮＯ）、ステップＳ１５０４〜Ｓ１５０７の処理をスキップして、ステップＳ１５１２の処理に進む。
【０１０３】
続いて、符号化ビット列をバイト境界にアラインする（ステップＳ１５１２）。
【０１０４】
続いて、連続するイントラＰＣＭブロック毎に、ステップＳ１５１４とＳ１５１５の処理を行う（ステップＳ１５１３〜ステップＳ１５１６）。イントラＰＣＭブロックの輝度信号を固定長でＰＣＭ復号し（ステップＳ１５１４）、続いて、イントラＰＣＭブロックの色差信号を固定長でＰＣＭ復号する（ステップＳ１５１５）。すべての連続するNumPCMBlock個のイントラＰＣＭブロックのＰＣＭ復号が完了したら、本イントラＰＣＭブロックの復号処理が終了し、図９のステップＳ１４１２の処理に進む。
【０１０５】
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１４１２のＮＯ）、ステップＳ１４１３の処理をスキップしてステップＳ１４１４に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１４１２のＹＥＳ）、量子化パラメータ情報および変換ブロックの復号処理を行う（ステップＳ１４１３）。ステップＳ４１３の量子化パラメータ情報および変換ブロックの復号処理について図１１のフローチャートを用いて詳細に説明する。
【０１０６】
図１１は量子化パラメータ情報および符号化ブロック内の変換ブロックの復号処理手順を説明するフローチャートである。これらの処理は画像復号装置の第３の符号化ビット列復号部２０４で行われる。量子化パラメータ情報および変換ブロック符号化処理では、符号化ブロック内の変換ブロック毎にステップＳ１６０２からＳ１６０８までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し、導出する（ステップＳ１６０１〜Ｓ１６０９）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１６０２）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１６０２のＹＥＳ）、ステップＳ１６０３からＳ１６０８までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１６０２のＮＯ）、ステップＳ１６０３からＳ１６０８までの処理をスキップして、ステップＳ１６０９に進む。
【０１０７】
ステップＳ１６０３では、変数IsCuQpDeltaCodedを判定し（ステップＳ１６０３）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１６０３のＹＥＳ）、ステップＳ１６０４からＳ１６０７までの処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１６０３のＮＯ）、ステップＳ１６０４からＳ１６０７までの処理をスキップして、ステップＳ１６０８に進む。
【０１０８】
続いて、シンタックス要素cu_qp_deltaをエントロピー復号する（ステップＳ１６０４）。
【０１０９】
続いて、次式により量子化グループブロックの量子化パラメータＱＰＹを導出する（ステップＳ１６０５）。
ＱＰＹ= ( ( (ＱＰPRED + cu_qp_delta + 52 + 2 * QpBdOffsetY )%( 52 + QpBdOffsetY ) ) - QpBdOffsetY
ただし、変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数である。
【０１１０】
ステップＳ１６０５で導出された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ２１２に量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１６０６）。この符号化情報格納メモリ２１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。図９のステップＳ１４０７で符号化情報格納メモリ２１２に格納された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。
【０１１１】
続いて、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１６０７）、変換ブロックの係数を復号する（ステップＳ１６０８）。
【０１１２】
符号化ブロック内のすべての変換ブロックの処理が完了したら、図１１の量子化パラメータ情報および変換ブロック復号処理が完了する。続いて、図９のステップＳ１４１４に進み、次の符号化ブロックの処理を行う。
【０１１３】
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１４１５に進み、次の符号化ツリーブロックの処理を行う。
【０１１４】
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１４１６に進み、次のスライスの処理を行う。
【０１１５】
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ復号・導出処理が終了する。
【０１１６】
図１２は図６のステップＳ１１０９、図９のＳ１４０６の量子化パラメータの予測値の導出処理手順を説明するフローチャートである。これらの処理は画像符号化装置の第３の符号化ビット列生成部１１７及び画像復号装置の量子化パラメータ導出部２０５で行われる。まず、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている符号化／復号済みの量子化パラメータを用いて、量子化パラメータの予測値を導出する。
【０１１７】
左に隣接する量子化グループブロックが利用できるかどうかを判定し、左に隣接する量子化グループブロックが利用できる場合（ステップＳ１７０１のＹＥＳ）、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている左に隣接する量子化グループブロックの量子化パラメータＱＰLEFTの値を量子化パラメータＱＰＡに設定し（ステップＳ１７０２）、利用できない場合（ステップＳ１７０１のＮＯ）、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＡに設定する（ステップＳ１７０３）。
【０１１８】
上に隣接する量子化グループブロックが利用できるかどうかを判定し、上に隣接する量子化グループブロックが利用できる場合（ステップＳ１７０４のＹＥＳ）、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている上に隣接する量子化グループブロックの量子化パラメータＱＰUPPERの値を量子化パラメータＱＰＢに設定し（ステップＳ１７０５）、利用できない場合（ステップＳ１７０４のＮＯ）、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＢＱＰＢに設定する（ステップＳ１７０６）。
【０１１９】
続いて、次式により、量子化パラメータＱＰＡと量子化パラメータＱＰＢの平均値を算出し、量子化パラメータの予測値ＱＰPREDとし（ステップＳ１７０７）、本量子化パラメータ導出処理を終了する。
ＱＰPRED = (ＱＰＡ +ＱＰＢ + 1) >> 1
【０１２０】
次に、実施の形態のポイントの１つであるデブロッキングフィルタの符号化／復号について詳細に説明する。本実施の形態においては、輝度信号において、ピクチャを８×８画素ブロックに区切った際の境界上にある変換ブロックおよび予測ブロックの境界を導出し、デブロッキングフィルタ処理を行う。図１３はブロック境界の画素の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、図１３（ａ）に示すように垂直境界を挟んで左側のブロックをブロックＰ、右側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素をブロックの境界から左へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素をブロックの境界から右へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も上の１ラインのみを示したが、垂直境界を跨ぐそれぞれのラインについてフィルタリングを行う。一方、水平エッジのフィルタリング処理を行う場合は、図１３（ｂ）に示すように水平境界を挟んで上側のブロックをブロックＰ、下側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素をブロックの境界から上へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素をブロックの境界から下へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も左の１ラインのみを示したが、水平境界を跨ぐそれぞれのラインについてフィルタリングを行う。
【０１２１】
図１４、図１５、図１８、および図１９は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の処理手順を説明するフローチャートである。画像符号化装置では、符号化対象のピクチャのすべての復号画像信号が第１の復号画像メモリ１１３に格納された後に、デブロッキングフィルタ部１１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ１１４に格納される。画像復号装置では、復号対象のピクチャのすべての復号画像信号が第１の復号画像メモリ２１３に格納された後に、デブロッキングフィルタ部２１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ２１４に格納される。
【０１２２】
まず、図１４のデブロッキングフィルタ処理手順について説明する。画像符号化装置の第１の復号画像メモリ１１３または画像復号装置の第１の復号画像メモリ２１３に格納されている復号されたピクチャ内の符号化ブロック毎に、ステップＳ２１０２とＳ２１０３の処理を繰り返す（ステップＳ２１０１〜Ｓ２１０４）。垂直エッジの水平方向のフィルタリング処理を行い（ステップＳ２１０２）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０３）。この際、中間データ一時保存用の画像メモリに格納される。続いて、デブロックフィルタ処理されたピクチャ内の符号化ブロック毎に、ステップＳ２１０６とＳ２１０７の処理を繰り返す（ステップＳ２１０５〜Ｓ２１０８）。水平エッジの垂直方向のフィルタリング処理を行い（ステップＳ２１０６）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０７）。この際、画像符号化装置の第２の復号画像メモリ１１４または画像復号装置の第２の復号画像メモリ２１４に格納される。ステップＳ２１０２の垂直エッジの水平方向のフィルタリング処理とステップＳ２１０６の水平エッジの垂直方向のフィルタリング処理は処理の方向が違うのみで、処理手順は共通であり、図１５、図１８、および図１９を用いて詳細に説明する。
【０１２３】
図１５の符号化ブロック毎のデブロッキングフィルタ処理手順について説明する。まず、符号化情報格納メモリ１１２または符号化情報格納メモリ２１２に格納されている符号化情報を用いて、符号化ブロック内の変換ブロックの境界を導出する（ステップＳ２２０１）。図１６は符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１６（ａ）の太線で示される符号化ブロック内の変換ブロックの境界を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１６（ｂ）の太線で示される符号化ブロック内の変換ブロックの境界を導出する。
【０１２４】
続いて、予測ブロック境界を導出する（ステップＳ２２０２）。図１７は符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１７（ａ）の太線で示される符号化ブロック内の予測ブロックの境界を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１７（ｂ）の太線で示される符号化ブロック内の予測ブロックの境界を導出する。
【０１２５】
続いて、変換ブロックおよび予測ブロック予測のそれぞれのブロック境界の強度を導出する（ステップＳ２２０３）。それぞれのブロック境界について、一様に同じ強さのデブロックフィルタ処理を行うのではなく、それぞれのブロック境界の条件にもとづいてどの程度の強さのデブロックフィルタ処理を行うべきかを決定する。
【０１２６】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を２に設定する。２は最も強い強度を示す値である。
【０１２７】
そうでなければ、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。１は最も中程度の強度を示す値である。
【０１２８】
そうでなければ、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと異なる参照ピクチャ、または異なる予測ブロックの動きベクトル数の場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
【０１２９】
そうでなければ、画素ｐ０を含む予測ブロックの動きベクトルの値と、画素ｐ０を含む予測ブロックの動きベクトルの動きベクトルの値が所定の値以上に異なる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
【０１３０】
そうでなければ、ブロック境界の強度を示す変数ｂＳの値を０に設定する。０は最も弱い強度を示す値である。
【０１３１】
続いて、輝度信号のフィルタリングを行う（ステップＳ２２０４）。ステップＳ２２０４の輝度信号のフィルタリング処理手順については図１８を用いて詳細に説明する。続いて、色差信号のフィルタリングを行い（ステップＳ２２０５）、本デブロックフィルタ処理手順を終了する。色差信号のフィルタリングについても輝度信号のフィルタリングとほぼ同様の手法をとることとし、詳細については省略する。
【０１３２】
図１８はステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。符号化ブロック内の８×８ブロック毎に（ステップＳ２３０１〜Ｓ２３０３）、輝度ブロックエッジのフィルタリングを行う（ステップＳ２３０２）。
【０１３３】
図１９はステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。まず、画素ｐを含むブロックの量子化パラメータＱＰＰを取得する（ステップＳ３１０１）。画素ｑを含むブロックの量子化パラメータＱＰＱを取得する（ステップＳ３１０２）。続いて次式により、量子化パラメータＱＰＰと量子化パラメータＱＰＱの平均値を導出し、ＱＰAVEとする（ステップＳ３１０７）。
ＱＰAVE= (ＱＰＰ+ＱＰＱ+ 1 ) >> 1
【０１３４】
続いて、変数βを導出する（ステップＳ３１０８）。変数βはデブロッキングフィルタの強さを決める際に用いる変数である。量子化パラメータの平均値ＱＰAVEが大きくなるほど変数βの値が大きくなる。変数βの導出においては、次式によりインデックスindexBを導出し、インデックスindexBが０より小さい場合は０、５１より大きい場合は５１にクリッピングして、図２０の表を参照することにより、変数βを導出する。
indexB =ＱＰAVE + ( beta_offset_div2 << 1 )
ただし、beta_offset_div2はシーケンス単位で符号化されるシンタックス要素であり、−１３から１３の値を持つ。βの値が小さい場合、後述するようにフィルタがかからなくなりやすく、ウィークフィルタが選ばれやすくなる。
【０１３５】
続いて、変数ｔｃを導出する（ステップＳ３１０９）。変数ｔｃの値はデブロッキングフィルタの強さを決める際に用いる変数であり、量子化パラメータの平均値ＱＰAVEや境界強度を示す変数ｂＳの値が大きくなるほど変数ｔｃの値が大きくなる。変数ｔｃの導出においては、次式によりインデックスindexTcを導出し、インデックスindexTcが０より小さい場合は０、５３より大きい場合は５３にクリッピングして、図２１の表を参照することにより、変数ｔｃを導出する。
indexTc =ＱＰAVE + 2 * ( bS - 1) + ( tc_offset_div2 << 1)
ただし、tc_offset_div2はシーケンス単位で符号化されるシンタックスであり、−１３から１３の値を持つ。
【０１３６】
続いて、境界近傍の画素値の関係から評価値ｄを導出する（ステップＳ３１１０）。評価値ｄが変数β以上の場合（ステップＳ３１１１のＮＯ）、入力画素をそのまま出力画素とし（ステップＳ３１１６）、本輝度信号のフィルタリング処理を終了する。変数βの値が小さければ、フィルタがかからなくなりやすい。
【０１３７】
評価値ｄが変数βより小さい場合（ステップＳ３１１１のＹＥＳ）、境界近傍の画素値と変数βの関係からデブロックフィルタの種類を決定する（ステップＳ３１１２）。本実施の形態ではストロングフィルタとウィークフィルタの２種類のフィルタを切り替えて用いる。変数βの値が大きければ、ストロングフィルタが選ばれやすくなり、変数βの値が小さければ、ウィークフィルタが選ばれやすくなる。
【０１３８】
続いて、フィルタリングブロックのライン毎に信号をフィルタリングする（ステップＳ３１１３〜Ｓ３１１５）。ライン毎の信号のブロック境界を挟む画素ｐ０、ｐ１、ｐ２、ｐ３、ｑ０、ｑ１、ｑ２、ｑ３のフィルタリングを行う（ステップＳ３１１４）。
【０１３９】
図２２はステップＳ３１１４のライン毎の輝度信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。フィルタがかけられた画素をそれぞれｐ'、ｑ'とする。
【０１４０】
続いて、フラグpcm_loop_filter_disable_flagの値を判定する（ステップＳ３２０４）。pcm_loop_filter_disable_flagはイントラＰＣＭで符号化される画素にデブロックフィルタやその他のループフィルタをかけるかどうかを示すフラグであり、シーケンス、ピクチャまたはスライス単位で設定され、符号化される。pcm_loop_filter_disable_flagが１の場合（ステップＳ３２０４のＹＥＳ）、ステップＳ３２０５に進み、pcm_loop_filter_disable_flagが０の場合（ステップＳ３２０４のＮＯ）、ステップＳ３２０５〜Ｓ３２０８の処理をスキップし、フィルタがかけられた画素ｐ'、ｑ'を出力画素として、本フィルタリング処理手順を終了する。
【０１４１】
画素ｐを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０５のＹＥＳ）、入力画素ｐの画素値を出力画素ｐ'に設定する（ステップＳ３２０６）。即ち、イントラＰＣＭブロックの画素ｐにフィルタがかからない状態で、そのまま出力画素として出力する。画素ｐを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０５のＹＥＳ）、フィルタがかけられた画素ｐ'がそのまま出力画素となりステップＳ３２０７に進む。
【０１４２】
画素ｑを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０７のＹＥＳ）、入力画素ｑの画素値を出力画素ｑ'に設定する（ステップＳ３２０８）。即ち、イントラＰＣＭブロックの画素ｑにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｑを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０７のＹＥＳ）、フィルタがかけられた画素ｑ'がそのまま出力画素となり、本フィルタリング処理手順を終了する。
【０１４３】
本実施の形態では、イントラＰＣＭブロックでも量子化パラメータ情報を符号化し、その量子化パラメータを利用するので、適切な強さのフィルタを施すことができる。例えば、図１３（ａ）または（ｂ）において、輝度信号のビット深度が８ビットで、ブロックＰがイントラＰＣＭ符号化で符号化パラメータＱＰＰの値が２０、ブロックＱがイントラ予測モードで符号化パラメータＱＰＱの値が３０、シンタックス要素beta_offset_div2の値が０の場合、符号化パラメータＱＰAVEの値は２５となり、変数βの値は１５となる。この場合、ブロックＱに適切なフィルタがかかり、ブロック歪が除去される。また符号化劣化のないイントラＰＣＭブロックに関しては、pcm_loop_filter_disable_flagに１を設定することで、常にフィルタリングされていない画素を出力するので、イントラＰＣＭブロックに関しても符号化劣化は生じない。
【０１４４】
本実施の形態では、フラグpcm_loop_filter_disable_flagにもとづいてイントラＰＣＭで符号化された画素にデブロックフィルタを施すかどうかを切り替えることができるため、特に高いビットレートの際に、フラグpcm_loop_filter_disable_flagに０を設定することで、ブロックがイントラＰＣＭかどうかの判定を省略することができ、演算量を削減することが可能である。
【０１４５】
本実施の形態では、フラグpcm_loop_filter_disable_flagを設定したが、ステップＳ３２０４のフラグpcm_loop_filter_disable_flagの判定処理を省略することもできる。フラグpcm_loop_filter_disable_flagの判定処理を省略した場合、常に、ステップＳ３２０５、Ｓ３２０７の判定処理を行い、符号化劣化のないイントラＰＣＭブロックに関しては、常にフィルタリングされていない画素を出力する。
【０１４６】
本実施の形態の第１の実施例においては、対象の符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ未満の場合、対応する量子化グループブロックの内で量子化パラメータが符号化されていない場合であっても、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの量子化パラメータ情報を示すシンタックス要素cu_qp_deltaの符号化処理を省略した。
【０１４７】
本実施の形態の第２の実施例においては、対象の符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ未満の場合、量子化グループブロック内で量子化パラメータが符号化されていない場合に、量子化パラメータ情報を示すシンタックス要素cu_qp_deltaを符号化する。符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックの最小サイズ未満の場合、対応する量子化グループブロックの内で量子化パラメータが符号化されていない場合に、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの量子化パラメータ情報を符号化することにより、同じ量子化グループブロック内のイントラＰＣＭ符号化でない符号化ブロックに含まれるすべての変換ブロックが０の係数の場合でも、シンタックス要素cu_qp_deltaが符号化される。その際、画像符号化装置の量子化パラメータ決定部１０２で導出された量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。符号化ブロックのサイズが量子化グループブロックのサイズ未満の場合にイントラＰＣＭブロックで量子化パラメータ情報を符号化する方法について、図２３および図２４を用いて詳細に説明する。
【０１４８】
本実施の形態の第２の実施例の画像符号化装置においても、本実施の形態の第２の実施例と同様に図６に示す処理手順に従って量子化パラメータの決定および符号化処理を行う。ただし、図６のステップＳ１１１４において、図２３に示す処理手順に従って、イントラＰＣＭブロックの符号化処理を行う点が異なる。図２３は本実施の形態の第２の実施例のイントラＰＣＭブロックの符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置のイントラＰＣＭ符号化部１０４および第２の符号化ビット列生成部１１６で行われる。図７とはステップＳ１２０８〜Ｓ１２１１の処理が追加されている点が異なる。
【０１４９】
まず、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭブロック（イントラＰＣＭで符号化される符号化ブロック）が連続する数NumPCMBlockから１を減算して、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭで符号化される符号化ブロックが後に続く数を示すシンタックス要素num_subsequent_pcmの値を導出し（ステップＳ１２０１）、シンタックス要素num_subsequent_pcmをエントロピー符号化する（ステップＳ１２０２）。なお、シンタックス要素num_subsequent_pcmの値は０から３までの範囲とする。
【０１５０】
続いて、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズ以下の場合（ステップＳ１２０３のＹＥＳ）、符号化するイントラＰＣＭブロック毎に、ステップＳ１２０５とＳ１２０６の処理を行う（ステップＳ１２０４〜ステップＳ１２０７）。図６のステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１２０５）。図６のステップＳ１１１０で符号化情報格納メモリ１１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。さらに、符号化パラメータＱＰＹを符号化する（ステップＳ１２０６）。ステップＳ１２０６の符号化パラメータＱＰＹの符号化処理に関しては、固定長で符号化パラメータＱＰＹを符号化してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、図８のステップＳ１３０５〜Ｓ１３０６のように、シンタックス要素cu_qp_deltaを導出して、シンタックス要素cu_qp_deltaをエントロピー符号化することもできる。
【０１５１】
一方、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズより大きい場合（ステップＳ１２０３のＮＯ）、連続する符号化するイントラＰＣＭブロックは１つの量子化グループブロックに含まれるものとして、ステップＳ１２０９とＳ１２１０の処理を行う。図６のステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１２０９）。図６のステップＳ１１１０で符号化情報格納メモリ１１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。さらに、符号化パラメータＱＰＹを符号化する（ステップＳ１２１０）。ステップＳ１２１０の符号化パラメータＱＰＹの符号化処理に関しては、固定長で符号化パラメータＱＰＹを符号化してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、図８のステップＳ１３０５〜Ｓ１３０６のように、シンタックス要素cu_qp_deltaを導出して、シンタックス要素cu_qp_deltaをエントロピー符号化することもできる。
【０１５２】
続いて、符号化ビット列をバイト境界にアラインする（ステップＳ１２１２）。
【０１５３】
続いて、連続するイントラＰＣＭブロック毎に、ステップＳ１２１４とＳ１２１５の処理を行う（ステップＳ１２１３〜ステップＳ１２１６）。イントラＰＣＭブロックの輝度信号を固定長でＰＣＭ符号化し（ステップＳ１２１４）、続いて、イントラＰＣＭブロックの色差信号を固定長でＰＣＭ符号化する（ステップＳ１２１５）。すべての連続するNumPCMBlock個のイントラＰＣＭブロックのＰＣＭ符号化が完了したら、本イントラＰＣＭブロックの符号化処理が終了し、図６のステップＳ１１１５の処理に進む。
【０１５４】
本実施の形態の第２の実施例の画像復号装置においても、本実施の形態の第２の実施例と同様に図９に示す処理手順に従って量子化パラメータの復号・導出処理を行う。ただし、図９のステップＳ１４１１において、図２４に示す処理手順に従って、イントラＰＣＭブロックの復号処理を行う点が異なる。図２４は本実施の形態の第２の実施例のイントラＰＣＭブロックの復号処理手順を説明するフローチャートである。これらの処理は画像復号装置の第２の符号化ビット列復号部２０３およびイントラＰＣＭ復号部２０７で行われる。図１０とはステップＳ１５０８〜Ｓ１５１１が追加されている点が異なる。
【０１５５】
まず、復号対象の符号化ブロックと同じサイズのイントラＰＣＭで符号化される符号化ブロックが後に続く数を示すシンタックス要素num_subsequent_pcmをエントロピー復号し（ステップＳ１５０１）、シンタックス要素num_subsequent_pcmに１を加算して、符号化対象の符号化ブロックと同じサイズのイントラＰＣＭブロック（イントラＰＣＭで符号化される符号化ブロック）が連続する数NumPCMBlockを算出する（ステップＳ１５０２）。
【０１５６】
続いて、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズ以下の場合（ステップＳ１５０３のＹＥＳ）、復号するイントラＰＣＭブロック毎に、ステップＳ１５０５とＳ１５０６の処理を行う（ステップＳ１５０４〜ステップＳ１５０７）。対応する設定されたそれぞれの符号化パラメータＱＰＹを復号し（ステップＳ１５０５）、復号されたそれぞれの符号化パラメータＱＰＹを符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１５０６）。図９のステップＳ１４０７で符号化情報格納メモリ２１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。ステップＳ１５０５の符号化パラメータＱＰＹの復号処理に関しては、固定長で符号化された量子化パラメータＱＰＹを復号してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、図１１のステップＳ１６０４〜Ｓ１６０５のように、エントロピー符号化されたシンタックス要素cu_qp_deltaをエントロピー復号して量子化パラメータＱＰＹを導出することもできる。
【０１５７】
一方、設定された量子化グループブロックの最小サイズが符号化ブロックのサイズより大きい場合（ステップＳ１５０３のＮＯ）、連続する符号化するイントラＰＣＭブロックは１つの量子化グループブロックに含まれるものとして、ステップＳ１５０９とＳ１５１０の処理を行う。符号化パラメータＱＰＹを復号し（ステップＳ１５０９）、量子化グループブロックの対応する設定された符号化パラメータＱＰＹを符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに設定する（ステップＳ１５１０）。図９のステップＳ１４０７で符号化情報格納メモリ２１２に設定された量子化グループブロックの量子化パラメータＱＰＹ、および符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVに上書きされる。ステップＳ１５０９の符号化パラメータＱＰＹの符号化処理に関しては、固定長で符号化された量子化パラメータＱＰＹを復号してもよい。なぜなら、ＩＰＣＭブロックの符号化／復号に関しては、所定単位の符号量を保証する緊急モードの目的で用いられるためである。なお、図１１のステップＳ１６０４〜Ｓ１６０５のように、エントロピー符号化されたシンタックス要素cu_qp_deltaをエントロピー復号して量子化パラメータＱＰＹを導出することもできる。
【０１５８】
続いて、符号化ビット列をバイト境界にアラインする（ステップＳ１５１２）。
【０１５９】
続いて、連続するイントラＰＣＭブロック毎に、ステップＳ１５１４とＳ１５１５の処理を行う（ステップＳ１５１３〜ステップＳ１５１６）。イントラＰＣＭブロックの輝度信号を固定長でＰＣＭ復号し（ステップＳ１５１４）、続いて、イントラＰＣＭブロックの色差信号を固定長でＰＣＭ復号する（ステップＳ１５１５）。すべての連続するNumPCMBlock個のイントラＰＣＭブロックのＰＣＭ復号が完了したら、本イントラＰＣＭブロックの復号処理が終了し、図９のステップＳ１４１２の処理に進む。
【０１６０】
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。
【０１６１】
画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する画像受信装置とが設けられる。
【０１６２】
画像送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
【０１６３】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１６４】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１６５】
１０１  画像メモリ、１０２  量子化パラメータ決定部、  １０３  イントラ予測部、  １０４  イントラＰＣＭ符号化部、１０５  インター予測部、  １０６  符号化方法決定部、  １０７  残差信号生成部、  １０８  直交変換・量子化部、  １０９  逆量子化・逆直交変換部、  １１０  復号画像信号重畳部、  １１１  デブロッキングフィルタ部、  １１２  符号化情報格納メモリ、  １１３  第１の復号画像メモリ、  １１４  第２の復号画像メモリ、  １１５  第１の符号化ビット列生成部、  １１６  第２の符号化ビット列生成部、  １１７  第３の符号化ビット列生成部、  １１８  符号化ビット列多重化部、  １１９  スイッチ、  ２０１  符号化ビット列分離部、  ２０２  第１の符号化ビット列復号部、  ２０３  第２の符号化ビット列復号部、  ２０４  第３の符号化ビット列復号部、  ２０５  量子化パラメータ導出部、  ２０６  イントラ予測部、  ２０７  イントラＰＣＭ復号部、  ２０８  インター予測部、  ２０９  逆量子化・逆直交変換部、  ２１０  復号画像信号重畳部、  ２１１  デブロッキングフィルタ部、  ２１２  符号化情報格納メモリ、  ２１３  第１の復号画像メモリ、  ２１４  第２の復号画像メモリ、  ２１５  スイッチ、  ２１６  スイッチ。
【図１】
2013223097.tif 000003
【図２】
2013223097.tif 000004
【図３】
2013223097.tif 000005
【図４】
2013223097.tif 000006
【図５】
2013223097.tif 000007
【図６】
2013223097.tif 000008
【図７】
2013223097.tif 000009
【図８】
2013223097.tif 000010
【図９】
2013223097.tif 000011
【図１０】
2013223097.tif 000012
【図１１】
2013223097.tif 000013
【図１２】
2013223097.tif 000014
【図１３】
2013223097.tif 000015
【図１４】
2013223097.tif 000016
【図１５】
2013223097.tif 000017
【図１６】
2013223097.tif 000018
【図１７】
2013223097.tif 000019
【図１８】
2013223097.tif 000020
【図１９】
2013223097.tif 000021
【図２０】
2013223097.tif 000022
【図２１】
2013223097.tif 000023
【図２２】
2013223097.tif 000024
【図２３】
2013223097.tif 000025
【図２４】
2013223097.tif 000026