(57)【要約】【課題】量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。【解決手段】量子化パラメータ決定部１０２は、ブロックの量子化パラメータを設定する。直交変換・量子化部１０８は、ブロックの画像信号を量子化パラメータに基づき量子化し、圧縮して符号化する。ＰＣＭ符号化部１０４は、ブロックの画像信号を非圧縮で符号化する。デブロッキングフィルタ部１１１は、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、ブロック境界の両側のブロックにフィルタリング処理を施す。デブロッキングフィルタ部１１１は、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とする。【選択図】図１
2013229865.tif 000002
【特許請求の範囲】
【請求項１】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化装置であって、
ブロックの量子化パラメータを設定する量子化パラメータ決定部と、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化部と、
ブロックの画像信号を非圧縮で符号化する第２の符号化部と、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタ部とを含み、
前記デブロッキングフィルタ部は、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする画像符号化装置。
【請求項２】
前記デブロッキングフィルタ部は、前記非圧縮で符号化されたブロックに対してフィルタ処理を無効にするか否かを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記フィルタリング処理を施した後の入力信号を出力し、前記フラグが無効にすることを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の前の入力信号をそのまま出力信号とすることを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記デブロッキングフィルタ部は、前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出することを特徴とする請求項１、又は請求項２に記載の画像符号化装置。
【請求項４】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化装置であって、
ブロックの量子化パラメータを設定する量子化パラメータ決定部と、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化部と、
ブロックの画像信号を非圧縮で符号化する第２の符号化部と、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタ部とを含み、
前記デブロッキングフィルタ部は、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とすることを特徴とする画像符号化装置。
【請求項５】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法であって、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含み、
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする画像符号化方法。
【請求項６】
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックに対してフィルタ処理を無効にするか否かを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施した後の入力信号を出力し、前記フラグが無効にすることを示すときは、前記フィルタリング処理を施す前の前の入力信号をそのまま出力信号とすることを特徴とする請求項５に記載の画像符号化方法。
【請求項７】
前記デブロッキングフィルタステップは、前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出することを特徴とする請求項５、又は請求項６に記載の画像符号化方法。
【請求項８】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法であって、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含み、
前記デブロッキングフィルタステップは、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とすることを特徴とする画像符号化方法。
【請求項９】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化プログラムであって、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする画像符号化プログラム。
【請求項１０】
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックに対してフィルタ処理を無効にするか否かを示すフラグに基づいて、前記フラグが無効にしないことを示すときは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施した後の入力信号を出力し、前記フラグが無効にすることを示すときは、前記フィルタリング処理を施す前の前の入力信号をそのまま出力信号とすることを特徴とする請求項９に記載の画像符号化プログラム。
【請求項１１】
前記デブロッキングフィルタステップは、前記ブロック境界の両側のブロックのそれぞれに設定されている前記量子化パラメータ値の平均値を用いて前記フィルタリング強度を導出することを特徴とする請求項９、又は請求項１０に記載の画像符号化プログラム。
【請求項１２】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化プログラムであって、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとをコンピュータに実行させ、
前記デブロッキングフィルタステップは、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とすることを特徴とする画像符号化プログラム。
【請求項１３】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法により符号化された符号化ビット列をパケット化して符号化ストリームを得るパケット処理部と、
パケット化された前記符号化ストリームを送信する送信部とを備え、
前記画像符号化方法は、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含み、
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする送信装置。
【請求項１４】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法により符号化された符号化ビット列をパケット化して符号化ストリームを得るパケット処理ステップと、
パケット化された前記符号化ストリームを送信する送信ステップとを備え、
前記画像符号化方法は、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含み、
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする送信方法。
【請求項１５】
ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法により符号化された符号化ビット列をパケット化して符号化ストリームを得るパケット処理ステップと、
パケット化された前記符号化ストリームを送信する送信ステップとをコンピュータに実行させ、
前記画像符号化方法は、
ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、
ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、
ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、
ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含み、
前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とすることを特徴とする送信プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化技術に関し、特にフィルタリングを利用した画像符号化技術に関する。
【背景技術】
【０００２】
動画像の圧縮符号化方式の代表的なものとして、ＭＰＥＧ−２  ビデオ、ＭＰＥＧ−４  ビジュアル、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４等の規格がある。これらの規格では、ピクチャを複数の矩形ブロックに分割してブロック単位で符号化／復号を行う。ブロック単位で、イントラ予測、インター予測、直交変換、量子化を行うことで符号化を行うために、ブロックの境界に歪が生じる。この歪はブロック歪と呼ばれている。ブロック歪は、ブロック境界を挟む上下、または左右の２つのブロック間のイントラ／インター等のモード、インター予測で参照する画像、インター予測で用いられる動きベクトル、量子化の際の量子化パラメータ等の差が原因となって発生する。復号後の画像に対して、このブロック歪を除去または減少する処理をデブロッキングフィルタ法と呼ぶ。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】ISO/IEC 14496-10 Information technology -- Coding of audio-visual objects -- Part 10: Advanced Video Coding
【発明の概要】
【発明が解決しようとする課題】
【０００４】
量子化により生じるブロック歪みを低減するためにはデブロッキングフィルタリングの強さを量子化パラメータに応じて適切に設定する必要があった。
【０００５】
本発明はこうした状況に鑑みてなされたものであり、その目的は、ブロック歪みを低減するためにデブロッキングフィルタリングの強さ（フィルタリング強度）を適切に設定することのできる画像符号化技術およびそれに対応する画像復号技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像符号化装置は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化装置であって、ブロックの量子化パラメータを設定する量子化パラメータ決定部（１０２）と、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化部（１０８）と、ブロックの画像信号を非圧縮で符号化する第２の符号化部（１０４）と、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタ部（１１１）とを含む。前記デブロッキングフィルタ部（１１１）は、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とする。
【０００７】
本発明の別の態様もまた、画像符号化装置である。この装置は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化装置であって、ブロックの量子化パラメータを設定する量子化パラメータ決定部（１０２）と、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化部（１０８）と、ブロックの画像信号を非圧縮で符号化する第２の符号化部（１０４）と、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタ部（１１１）とを含む。前記デブロッキングフィルタ部（１１１）は、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とする。
【０００８】
本発明のさらに別の態様は、画像符号化方法である。この方法は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法であって、ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含む。前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とする。
【０００９】
本発明のさらに別の態様もまた、画像符号化方法である。この方法は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法であって、ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を決定し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含む。前記デブロッキングフィルタステップは、前記ブロックが非圧縮で符号化するブロックであれば、フィルタリング前の入力信号をそのまま出力信号とする。
【００１０】
本発明のさらに別の態様は、送信装置である。この装置は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法により符号化された符号化ビット列をパケット化して符号化ストリームを得るパケット処理部と、パケット化された前記符号化ストリームを送信する送信部とを備える。前記画像符号化方法は、ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含む。前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とする。
【００１１】
本発明のさらに別の態様は、送信方法である。この方法は、ブロック単位で輝度信号と色差信号とを含む画像信号を符号化する画像符号化方法により符号化された符号化ビット列をパケット化して符号化ストリームを得るパケット処理ステップと、パケット化された前記符号化ストリームを送信する送信ステップとを備える。前記画像符号化方法は、ブロックの量子化パラメータを設定する量子化パラメータ決定ステップと、ブロックの画像信号を前記量子化パラメータに基づき量子化し、圧縮して符号化する第１の符号化ステップと、ブロックの画像信号を非圧縮で符号化する第２の符号化ステップと、ブロック境界の両側のブロックのそれぞれに設定されている量子化パラメータ値を用いてフィルタリング強度を導出し、前記ブロック境界の両側のブロックにフィルタリング処理を施すデブロッキングフィルタステップとを含む。前記デブロッキングフィルタステップは、前記非圧縮で符号化されたブロックでは前記フィルタリング処理を施す前の入力信号をそのまま出力信号とする。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
本発明によれば、フィルタリング強度を適切に設定してブロック歪みを低減することができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態の画像符号化装置の構成を示すブロック図である。
【図２】実施の形態の画像復号装置の構成を示すブロック図である。
【図３】本実施例で規定するツリーブロック、及び符号化ブロックを説明する図である。
【図４】本実施例で規定する分割モードを説明する図である。
【図５】量子化グループブロックの一例を説明する図である。
【図６】量子化パラメータの決定および符号化処理手順を説明するフローチャートである。
【図７】量子化パラメータの復号・導出処理手順を説明するフローチャートである。
【図８】図６のステップＳ１１０９、図７のステップＳ１２０６における量子化パラメータの予測値の導出処理の手順を説明するフローチャートである。
【図９】ブロック境界の画素の一例を説明する図である。
【図１０】画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１が行う処理の手順を説明するフローチャートである。
【図１１】符号化ブロック毎のデブロッキングフィルタ処理手順を説明するフローチャートである。
【図１２】符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。
【図１３】符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。
【図１４】図１１のステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。
【図１５】第１の実施例の図１４のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。
【図１６】インデックスindexBと変数βを対応づけた表を説明する図である。
【図１７】インデックスindexTcと変数ｔｃを対応づけた表を説明する図である。
【図１８】第１の実施例の図１５のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。
【図１９】第２の実施例および第３の実施例の図１４のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。
【図２０】第２の実施例の図１９のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。
【図２１】第３の実施例の図１９のステップＳ３１１４におけるライン毎の信号のフィルタリング処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１５】
本実施の形態では、動画像の符号化に関し、特にピクチャを任意のサイズ、形状の矩形に分割したブロック単位で、後述するイントラ予測、インター予測、直交変換、量子化を行うことで符号化を行う。
【００１６】
まず、本実施の形態において使用する技術、及び技術用語を定義する。
【００１７】
（ツリーブロック、符号化ブロックについて）
実施の形態では、図３に示されるように、ピクチャ内を任意の同一サイズの正方の矩形の単位にて均等分割する。この単位をツリーブロックと定義し、ピクチャ内での符号化／復号対象ブロック（符号化処理においては符号化対象ブロック、復号処理においては復号対象ブロックのことである。以下、断りのない限り、この意味で用いる。）を特定するためのアドレス管理の基本単位とする。モノクロを除きツリーブロックは１つの輝度信号と２つの色差信号で構成される。ツリーブロックのサイズはピクチャサイズやピクチャ内のテクスチャに応じて、２のべき乗のサイズで自由に設定することができる。ツリーブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じてツリーブロック内の輝度信号、及び色差信号を再帰的に４分割（縦横に２分割ずつ）して、小さなサイズのブロックにすることができる。このブロックをそれぞれ符号化ブロックと定義し、符号化及び復号を行う際の処理の基本単位とする。モノクロを除き符号化ブロックも１つの輝度信号と２つの色差信号で構成される。符号化ブロックの最大サイズはツリーブロックのサイズと同一である。符号化ブロックの最小のサイズとなる符号化ブロックを最小符号化ブロックと呼び、２のべき乗のサイズで自由に設定することができる。
【００１８】
図３においては、符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものである。符号化ブロックＢは、ツリーブロックを４分割してできた符号化ブロックである。符号化ブロックＣは、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックである。符号化ブロックＤは、ツリーブロックを４分割してできたブロックをさらに再帰的に２度４分割してできた符号化ブロックであり、最小サイズの符号化ブロックである。
【００１９】
実施の形態の説明においては、色差フォーマットが４：２：０で、ツリーブロックのサイズを輝度信号で６４×６４画素、色差信号で３２×３２画素と設定し、最小の符号化ブロックのサイズを輝度信号で８×８画素、色差信号で４×４画素と設定する。図３では、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素となり、符号化ブロックＢのサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素となり、符号化ブロックＣのサイズは輝度信号で１６×１６画素、色差信号で８×８画素となり、符号化ブロックＤのサイズは輝度信号で８×８画素、色差信号で４×４画素となる。なお、色差フォーマットが４：４：４の場合、各符号化ブロックの輝度信号と色差信号のサイズが等しくなる。色差フォーマットが４：２：２の場合、符号化ブロックＡのサイズは色差信号で３２×６４画素となり、符号化ブロックＢのサイズは色差信号で１６×３２画素となり、符号化ブロックＣのサイズは色差信号で８×１６画素となり、最小の符号化ブロックである符号化ブロックＤのサイズは色差信号で４×８画素となる。
【００２０】
（予測モードについて）
符号化ブロック単位で、符号化／復号済み（符号化処理においては符号化した信号を復号したピクチャ、予測ブロック、画像信号等に用い、復号処理においては復号したピクチャ、予測ブロック、画像信号等に用いる。以下、断りのない限り、この意味で用いる。）のピクチャを用いずに符号化／復号対象ピクチャ内で符号化するイントラモード（MODE_INTRA）、及び符号化／復号済みのピクチャの復号画像信号を参照してインター予測を行うことにより符号化するインターモード（MODE_INTER）を切り替える。このイントラモード（MODE_INTRA）とインターモード（MODE_INTER）を識別するモードを予測モード（PredMode）と定義する。予測モード（PredMode）はイントラモード（MODE_INTRA）、またはインターモード（MODE_INTER）を値として持ち、選択して符号化できる。
【００２１】
（分割モード、予測ブロック、予測ユニットについて）
ピクチャ内をブロックに分割してイントラ予測及びインター予測を行う場合、イントラ予測及びインター予測の方法を切り替える単位をより小さくするために、必要に応じて符号化ブロックを分割して予測を行う。この符号化ブロックの輝度信号と色差信号の分割方法を識別するモードを分割モード（PartMode）と定義する。さらに、この必要に応じて分割されたブロックを予測ブロックと定義する。図４に示すように、符号化ブロックの輝度信号の分割方法に応じて８種類の分割モード（PartMode）を定義する。
【００２２】
図４（ａ）に示す符号化ブロックの輝度信号を分割せず１つの予測ブロックとみなした分割モード（PartMode）を２Ｎ×２Ｎ分割（PART_2Nx2N）と定義する。図４（ｂ）、（ｃ）、（ｄ）に示す符号化ブロックの輝度信号を上下に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれ２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）と定義する。ただし、２Ｎ×Ｎ分割（PART_2NxN）は上下に１：１の比率で分割した分割モードであり、２Ｎ×ｎＵ分割（PART_2NxnU）は上下に１：３の比率で分割した分割モードであり、２Ｎ×ｎＤ分割（PART_2NxnD）は上下に３：１の比率で分割した分割モードである。図４（ｅ）、（ｆ）、（ｇ）に示す符号化ブロックの輝度信号を左右に並ぶ２つの予測ブロックに分割する分割モード（PartMode）をそれぞれＮ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、ｎＲ×２Ｎ分割（PART_nRx2N）と定義する。ただし、Ｎ×２Ｎ分割（PART_Nx2N）は左右に１：１の比率で分割した分割モードであり、ｎＬ×２Ｎ分割（PART_nLx2N）は左右に１：３の比率で分割した分割モードであり、ｎＲ×２Ｎ分割（PART_nRx2N）は左右に３：１の比率で分割した分割モードである。図４（ｈ）に示す符号化ブロックの輝度信号を上下左右に４分割して、４つの予測ブロックとした分割モード（PartMode）をＮ×Ｎ分割（PART_NxN）とそれぞれ定義する。
【００２３】
なお、各分割モード（PartMode）毎に輝度信号の縦横の分割比率と同様に色差信号も分割する。
【００２４】
予測モード（PredMode）がインターモード（MODE_INTER）では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）を定義する。最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）、２Ｎ×Ｎ分割（PART_2NxN）、２Ｎ×ｎＵ分割（PART_2NxnU）、２Ｎ×ｎＤ分割（PART_2NxnD）、Ｎ×２Ｎ分割（PART_Nx2N）、ｎＬ×２Ｎ分割（PART_nLx2N）、及びｎＲ×２Ｎ分割（PART_nRx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００２５】
予測モード（PredMode）がイントラモード（MODE_INTRA）では、最小の符号化ブロックである符号化ブロックＤ（本実施例は輝度信号で８×８画素）以外では、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）だけを定義し、最小の符号化ブロックである符号化ブロックＤのみ、分割モード（PartMode）は２Ｎ×２Ｎ分割（PART_2Nx2N）に加えてＮ×Ｎ分割（PART_NxN）を定義する。なお、最小の符号化ブロック以外にＮ×Ｎ分割（PART_NxN）を定義しない理由は最小の符号化ブロック以外では、符号化ブロックを４分割して小さな符号化ブロックを表現できるからである。
【００２６】
（イントラ予測、イントラ予測モードについて）
イントラ予測では同じピクチャ内の周囲の復号済みのブロックの画素の値から処理対象ブロックの画素の値を予測する。本実施例の符号化装置及び復号装置では３４通りのイントラ予測モードから選択して、イントラ予測する。イントラ予測モード（intraPredMode）は、上の復号済みのブロックから垂直方向に予測する垂直予測（イントラ予測モードintraPredMode=0）、左の復号済みのブロックから水平方向に予測する水平予測（イントラ予測モードintraPredMode=1）、周囲の復号済みのブロックから平均値を算出することにより予測する平均値予測（イントラ予測モードintraPredMode=2）、周囲の復号済みのブロックから斜め４５度の角度で予測する平均値予測（intraPredMode=3）に加えて、周囲の復号済みのブロックから様々な角度で斜め方向に予測する３１通りの角度予測（イントラ予測モードintraPredMode=4…34）を定義する。
【００２７】
イントラモード（MODE_INTRA）で符号化／復号済みの周囲の画像信号から予測を行うイントラ予測の際に用いられるイントラ予測モードは、輝度信号、色差信号それぞれに用意し、輝度信号用のイントラ予測モードをイントラ輝度予測モード、色差信号用のイントラ予測モードをイントラ色差予測モードと定義する。イントラ輝度予測モードの符号化、および復号においては、周辺のブロックのイントラ輝度予測モードとの相関性を利用し、符号化側で周辺のブロックのイントラ輝度予測モードから予測できると判断された場合は参照するブロックを特定する情報を伝送し、周辺のブロックのイントラ輝度予測モードから予測するよりもイントラ輝度予測モードに別の値を設定した方が良いと判断された場合に、さらにイントラ輝度予測モードの値を符号化、または復号する仕組みを用いる。周辺のブロックのイントラ輝度予測モードから符号化・復号対象ブロックのイントラ輝度予測モードを予測することにより、伝送する符号量を削減できる。一方、イントラ色差予測モードの符号化、および復号においては、色差信号の予測ブロックと同じ位置の輝度信号の予測ブロックのイントラ輝度予測モードとの相関性を利用し、符号化側でイントラ輝度予測モードから予測できると判断された場合はイントラ輝度予測モードの値からイントラ色差予測モードの値を予測し、イントラ輝度予測モードから予測するよりもイントラ色差予測モードに独自の値を設定した方が良いと判断した場合に、イントラ色差予測モードの値を符号化、または復号する仕組みを用いる。イントラ輝度予測モードからイントラ色差予測モードを予測することにより、伝送する符号量を削減できる。
【００２８】
（イントラＰＣＭ符号化について）
実施の形態では、イントラモード（MODE_INTRA）では、符号化／復号済みの周囲の画像信号から予測を行うイントラ予測を用いて符号化するイントラ予測符号化に加えて、イントラ予測、インター予測、直交変換、量子化等の圧縮処理を用いずに、画像信号を非圧縮でＰＣＭ信号としてそのまま符号化するイントラＰＣＭ符号化を定義する。イントラＰＣＭでは符号化ブロックのサイズとＰＣＭ信号のビット深度によって符号量が固定長となるため、所定単位の符号量を保証する緊急モードとして活用できる。また、細かな量子化をした際に符号量が大きくなる場合には、非圧縮のイントラＰＣＭ符号化を選択した方が、小さな符号量で符号化することができることもある。さらに、すべての画像信号をイントラＰＣＭ符号化することでロスレス符号化としても対応できる。イントラＰＣＭ符号化は符号化ブロック単位で行われる。
【００２９】
（変換ブロック）
従来と同様に、本実施の形態でもＤＣＴ（離散コサイン変換）、ＤＳＴ（離散サイン変換）等の、離散信号を周波数領域へ変換する直交変換とその逆変換を用いて、符号量の削減を図る。符号化ブロックはピクチャ内のテクスチャに応じて、符号化処理を最適にすべく、必要に応じて符号化ブロック内の輝度信号、及び色差信号を再帰的に４分割して、小さなブロック単位で、変換、または逆変換を行うことができる。この必要に応じて分割された直交変換または逆直交変換の対象となるブロックを変換ブロックと定義する。
【００３０】
（量子化パラメータ）
実施の形態では、直交変換された係数を量子化する際の量子化ステップの大きさを導出するための量子化パラメータを下記の量子化グループブロック単位で設定して伝送する。符号化側でこの量子化パラメータの値を制御することにより、量子化ステップの大きさを制御することができ、符号量を制御したり、主観画質を制御することが可能である。量子化パラメータの値を小さく設定することで、量子化ステップが小さくなり細い量子化が行われる。この場合、多くの符号量を要するが、画像の劣化を低く抑えることができ、ブロック歪やモスキート歪等の符号化歪が目立ちにくくなる。一方、量子化パラメータの値を大きく設定することで、量子化ステップが大きくなり粗い量子化が行われる。この場合、少ない符号量で符号化が可能となるが、画像の劣化は高くなり、ブロック歪やモスキート歪等の符号化歪が目立ちやすくなる。実施の形態では、量子化パラメータＱＰＹは-QpBdOffsetYから５１までの値をとることができる。ただし、変数QpBdOffsetYは符号化される映像信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetY = 6 * bit_depth_luma_minus8
ただし、変数bit_depth_luma_minus8は符号化される輝度信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される輝度信号のビット深度の値から８を減算した値を持つ。輝度信号のビット深度が８ビットでは、bit_depth_luma_minus8、QpBdOffsetYの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetYの値は１２となる。
さらに、量子化、逆量子化の際に実際に用いられる輝度信号の量子化パラメータＱＰＹ’、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ’、ＱＰＣｒ’は次式により導出される。
ＱＰＹ’= ＱＰＹ+ QpBdOffsetY
ＱＰＣｂ’= ＱＰＹ + cb_qp_offset + QpBdOffsetC
ＱＰＣｒ’= ＱＰＹ + cr_qp_offset + QpBdOffsetC
ただし、変数QpBdOffsetCは符号化される色差信号のビット深度にもとづいて設定される変数であり、次式により導出される。
QpBdOffsetC = 6 * bit_depth_chroma_minus8
ただし、変数bit_depth_chroma_minus8は符号化される色差信号のビット深度にもとづいて設定されるシンタックス要素であり、符号化される色差信号のビット深度の値から８を減算した値を持つ。色差信号のビット深度が８ビットでは、bit_depth_chroma_minus8、QpBdOffsetCの値は共に０となり、１０ビットでは、bit_depth_luma_minus8の値は２、QpBdOffsetCの値は１２となる。また、輝度信号の量子化パラメータＱＰＹ’は０から５１＋QpBdOffsetYまでの値をとることができる。また、色差信号Ｃｂ、Ｃｒの量子化パラメータＱＰＣｂ’、ＱＰＣｒ’は０から５１＋QpBdOffsetCまでの値をとることができる。
【００３１】
（量子化グループブロック）
実施の形態では、量子化パラメータの基本単位である量子化グループブロックを定義し、量子化グループブロック毎に１つの量子化パラメータを設定する。
【００３２】
（ツリーブロック、符号化ブロック、予測ブロック、変換ブロックの位置）
本実施の形態のツリーブロック、符号化ブロック、予測ブロック、変換ブロックを始めとする各ブロックの位置は、輝度信号のピクチャの一番左上の輝度信号の画素の位置を原点（０，０）とし、それぞれのブロックの領域に含まれる一番左上の輝度信号の画素の位置を（ｘ，ｙ）の二次元座標で表す。座標軸の向きは水平方向に右の方向、垂直方向に下の方向をそれぞれ正の向きとし、単位は輝度信号の１画素単位である。輝度信号と色差信号で画像サイズ（画素数）が同じである色差フォーマットが４：４：４の場合ではもちろんのこと、輝度信号と色差信号で画像サイズ（画素数）が異なる色差フォーマットが４：２：０、４：２：２の場合でも色差信号の各ブロックの位置をそのブロックの領域に含まれる輝度信号の画素の座標で表し、単位は輝度信号の１画素である。この様にすることで、色差信号の各ブロックの位置が特定できるのはもちろんのこと、座標の値を比較するだけで、輝度信号のブロックと色差信号のブロックの位置の関係も明確となる。実施の形態においては、色差フォーマットの種類やブロックの形状、大きさにかかわらず、定義した輝度信号のブロックの座標と色差信号のブロックの座標のｘ成分とｙ成分の値が共に同一の場合にだけ、これらのブロックは同じ位置にあると定義する。
【００３３】
図１は実施の形態に係る画像符号化装置の構成を示すブロックである。実施の形態の画像符号化装置は、画像メモリ１０１、量子化パラメータ決定部１０２、イントラ予測部１０３、ＰＣＭ符号化部１０４、インター予測部１０５、符号化方法決定部１０６、残差信号生成部１０７、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、復号画像信号重畳部１１０、デブロッキングフィルタ部１１１、符号化情報格納メモリ１１２、第１の復号画像メモリ１１３、第２の復号画像メモリ１１４、第１の符号化ビット列生成部１１５、第２の符号化ビット列生成部１１６、第３の符号化ビット列生成部１１７、符号化ビット列多重化部１１８、スイッチ１１９を備える。
【００３４】
画像メモリ１０１では、時間順に供給された符号化対象の画像信号を一時格納する。画像メモリ１０１に格納された符号化対象の画像信号は符号化順序に並べ替えられて、設定に応じた複数の組み合わせでそれぞれの符号化ブロック単位に分割され、さらに、それぞれの予測ブロック単位に分割されて、イントラ予測部１０３、インター予測部１０５、残差信号生成部１０７に供給される。
【００３５】
量子化パラメータ決定部１０２では、符号量制御、適応量子化等の観点から量子化グループブロック単位で量子化パラメータを決定する。決定された量子化パラメータは符号化方法決定部１０６、直交変換・量子化部１０８、逆量子化・逆直交変換部１０９に供給されると共に、符号化情報格納メモリ１１２に格納される。
【００３６】
イントラ予測部１０３は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた予測ブロック単位で、第１の復号画像メモリ１１３に格納された復号済みの画像信号から符号化対象の予測ブロックの輝度信号、色差信号それぞれについて複数のイントラ輝度予測モード、及びイントラ色差予測モードに応じたそれぞれのイントラ予測を行い、イントラ予測信号を得る。
【００３７】
予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のイントラ予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のイントラ予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのイントラ予測の候補として、選択されたイントラ予測モードに対応するイントラ予測情報、イントラ予測信号、及びイントラ予測の評価値を符号化方法決定部１０６に供給する。
【００３８】
ＰＣＭ符号化部１０４は符号化ブロック単位でＰＣＭ信号として符号化するためのＰＣＭ信号を配列する。ＰＣＭ符号化部１０４で生成されるＰＣＭ信号は符号化ブロックのサイズと信号のビット深度で符号量が一意に決まる。また、符号化劣化は無く、符号化歪は発生しないので、歪量を０とする。これら符号量と歪量をイントラＰＣＭ符号化の評価値として、ＰＣＭ信号と共に符号化方法決定部１０６に供給する。
【００３９】
インター予測部１０５は複数の符号化ブロック単位におけるそれぞれの分割モード（PartMode）に応じた単位、即ち予測ブロック単位で、第２の復号画像メモリ１１４に格納された復号済みの画像信号から複数のインター予測モード（Ｌ０予測、Ｌ１予測、両予測）、及び参照画像に応じたそれぞれのインター予測を行い、インター予測信号を得る。その際、動きベクトル探索を行い、探索された動きベクトルに応じてインター予測を行う。なお、両予測の場合は、２つのインター予測信号を画素毎に平均、または重み付け加算することにより、両予測のインター予測を行う。予測ブロック単位に供給された符号化対象の信号から、予測ブロック単位のインター予測信号を画素毎に減算して、予測残差信号を得る。その予測残差信号を用いて符号量と歪量を評価するための評価値を算出し、予測ブロック単位で、複数のインター予測モードの中から最も符号量、及び歪量の観点で最適なモードを選択し、当該予測ブロックのインター予測の候補として、選択されたインター予測モードに対応するインター予測情報、インター予測信号、及びインター予測の評価値を符号化方法決定部１０６に供給する。
【００４０】
符号化方法決定部１０６は複数の符号化ブロック単位におけるそれぞれの予測ブロック毎に選択されたイントラ予測情報に対応するイントラ予測評価値、インター予測情報に対応するインター予測評価値に基づき、最適な符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）、ＰＣＭ信号として符号化するか否か、変換ブロックの分割方法を決定し、決定に応じた符号化ブロックの分割方法、ＰＣＭ信号として符号化するか否かを示す情報を含むイントラ予測情報、またはインター予測情報を含む符号化情報を第２の符号化ビット列生成部１１６に供給するとともに、符号化情報格納メモリ１１２に格納し、決定に応じたイントラ予測またはインター予測された予測信号を残差信号生成部１０７、及び復号画像信号重畳部１１０に供給する。さらに、決定に応じた量子化パラメータ、変換ブロックの分割方法を直交変換・量子化部１０８、逆量子化・逆直交変換部１０９、第３の符号化ビット列生成部１１７に供給するとともに、符号化情報格納メモリ１１２に格納する。また、イントラＰＣＭ符号化が選択された場合は、第２の符号化ビット列生成部１１６に供給する。
【００４１】
残差信号生成部１０７は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化する画像信号からイントラ予測またはインター予測された予測信号を画素毎に減じて残差信号を生成し、直交変換・量子化部１０８に供給する。
【００４２】
直交変換・量子化部１０８は、符号化方法決定部１０６でイントラ予測またはインター予測で符号化すると決定された際に、符号化方法決定部１０６から供給される残差信号に対して量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、ＤＣＴやＤＳＴ等の周波数領域に変換する直交変換及び量子化を行い直交変換・量子化された残差信号を生成し、第３の符号化ビット列生成部１１７、及び逆量子化・逆直交変換部１０９に供給する。
【００４３】
第１の符号化ビット列生成部１１５は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値を算出し、算出した各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第１の符号化ビット列を生成し、符号化された第１の符号化ビット列を符号化ビット列多重化部１１８に供給する。
【００４４】
第２の符号化ビット列生成部１１６は、シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック単位の符号化情報に加えて、予測ブロック毎に符号化方法決定部１０６によって決定された符号化情報に関するシンタックス要素の値を算出する。具体的には、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）等の符号化ブロック単位の符号化情報に加えて、予測ブロック単位の符号化情報に関するシンタックス要素の値を算出する。予測モード（PredMode）がイントラモード（MODE_INTRA）でイントラ予測符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを０とし、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに関するシンタックス要素の値を算出し、イントラモード（MODE_INTRA）でイントラＰＣＭ符号化の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを１とし、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報に関するシンタックス要素の値を算出する。算出された各シンタックス要素の値をシンタックス規則に従って、可変長符号化、算術符号化等によるエントロピー符号化を行い、第２の符号化ビット列を生成し、符号化された第２の符号化ビット列を符号化ビット列多重化部１１８に供給する。さらに、イントラＰＣＭ符号化の場合、ＰＣＭ信号を符号化する。
【００４５】
第３の符号化ビット列生成部１１７は、変換ブロックの分割情報、量子化パラメータ情報を符号化する。直交変換及び量子化された残差信号を規定のシンタックス規則に従って可変長符号化、算術符号化等によるエントロピー符号化を行い、第３の符号化ビット列を生成して、第３の符号化ビット列を符号化ビット列多重化部１１８に供給する。量子化パラメータ情報を符号化する詳細な処理については後述する。
【００４６】
符号化ビット列多重化部１１８で、第１の符号化ビット列と第２の符号化ビット列、及び第３の符号化ビット列を規定のシンタックス規則に従って多重化してビットストリームを生成し、多重化されたビットストリームを出力する。
【００４７】
逆量子化・逆直交変換部１０９は、直交変換・量子化部１０８から供給された直交変換・量子化された残差信号を量子化パラメータ決定部１０２から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、逆量子化及び逆直交変換して残差信号を算出し、復号画像信号重畳部１１０に供給する。復号画像信号重畳部１１０は、符号化方法決定部１０６による決定に応じてイントラ予測またはインター予測された予測信号と逆量子化・逆直交変換部１０９で逆量子化及び逆直交変換された残差信号を重畳して復号画像を生成し、第１の復号画像メモリ１１３に格納する。
【００４８】
デブロッキングフィルタ部１１１は符号化情報格納メモリ１１２に格納された符号化情報に応じて第１の復号画像メモリ１１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ１１４に格納される。デブロッキングフィルタ部１１１の詳細な処理については後述する。
【００４９】
図２は図１の画像符号化装置に対応した実施の形態に係る画像復号装置の構成を示すブロックである。実施の形態の画像復号装置は、符号化ビット列分離部２０１、第１の符号化ビット列復号部２０２、第２の符号化ビット列復号部２０３、第３の符号化ビット列復号部２０４、量子化パラメータ導出部２０５、イントラ予測部２０６、ＰＣＭ復号部２０７、インター予測部２０８、逆量子化・逆直交変換部２０９、復号画像信号重畳部２１０、デブロッキングフィルタ部２１１、符号化情報格納メモリ２１２、第１の復号画像メモリ２１３、第２の復号画像メモリ２１４、およびスイッチ２１５、２１６、２１７を備える。
【００５０】
符号化ビット列分離部２０１に供給されるビットストリームは規定のシンタックスの規則に従って分離し、シーケンス、ピクチャ、及びスライス単位の符号化情報を示す第１の符号化ビット列が第１の符号化ビット列復号部２０２に供給され、符号化ブロック単位の符号化情報を含む第２の符号化ビット列が第２の符号化ビット列復号部２０３に供給され、直交変換及び量子化された残差信号を含む第３の符号化ビット列が第３の符号化ビット列復号部２０４に供給される。
【００５１】
第１の符号化ビット列復号部２０２は、シンタックス規則に従って、供給された第１の符号化ビット列をエントロピー復号して、シーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、復号されたシーケンス、ピクチャ、及びスライス単位の符号化情報に関するシンタックス要素の値から、シーケンス、ピクチャ、及びスライス単位の符号化情報を算出する。第１の符号化ビット列復号部２０２は符号化側の第１の符号化ビット列生成部１１５に対応する符号化ビット列復号部であり、第１の符号化ビット列生成部１１５で符号化されたシーケンス、ピクチャ、及びスライス単位の符号化情報を含む符号化ビット列からそれぞれの符号化情報に戻す機能を有する。第１の符号化ビット列復号部２０２で得られるシーケンス、ピクチャ、及びスライス単位の符号化情報は符号化情報格納メモリ２１２に供給されると共に、図示していないがすべてのブロックで用いられる。
【００５２】
第２の符号化ビット列復号部２０３は、シンタックス規則に従って、供給された第２の符号化ビット列をエントロピー復号して、それぞれのツリーブロック毎に、符号化ブロックの分割情報、符号化ブロック、及び予測ブロック単位の符号化情報に関するシンタックス要素のそれぞれの値を得る。シンタックス要素の意味、導出方法を定義するセマンティクス規則に従って、供給された符号化ブロックの分割情報を復号し、符号化ブロック単位、及び予測ブロック単位の符号化情報に関するシンタックス要素の値から、符号化ブロック単位、及び予測ブロック単位の符号化情報を算出する。第２の符号化ビット列復号部２０３は符号化側の第２の符号化ビット列生成部１１６に対応する符号化情報算出部であり、第２の符号化ビット列生成部１１６で符号化された符号化ブロック、及び予測ブロック単位の符号化情報を含む第２の符号化ビット列からそれぞれの符号化情報に戻す機能を有する。具体的には、第２の符号化ビット列を規定のシンタックス規則に従って復号することにより得られる各シンタックス要素から、符号化ブロックの分割方法、予測モード（PredMode）、分割モード（PartMode）を復号する予測モード（PredMode）がイントラモード（MODE_INTRA）の場合、イントラＰＣＭ符号化かどうかを示すシンタックス要素pcm_flagを復号する。pcm_flagが０ならイントラ予測符号化であり、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードを得る。pcm_flagが１ならイントラＰＣＭ符号化であり、ＰＣＭ信号を得る。一方、予測モード（PredMode）がインターモード（MODE_INTER）の場合、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報を得る。予測モード（PredMode）がイントラモード（MODE_INTRA）でpcm_flagが０の場合、スイッチ２１５を通じて、イントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードをイントラ予測部２０６に供給し、予測モード（PredMode）がインターモード（MODE_INTER）の場合、スイッチ２１５を通じて、インター予測モード、参照画像を特定する情報、動きベクトル等のインター予測情報をインター予測部２０８に供給する。イントラＰＣＭ符号化ならＰＣＭ信号をＰＣＭ復号部２０７に供給する。
【００５３】
第３の符号化ビット列復号部２０４は、供給された符号化ビット列を復号して変換ブロックの分割情報、量子化パラメータ情報、直交変換・量子化された残差信号を取得し、直交変換・量子化された残差信号を逆量子化・逆直交変換部２０９に供給する。さらに、量子化パラメータ情報（後述するシンタックス要素cu_qp_delta）を量子化パラメータ導出部２０５に供給する。量子化パラメータ導出部２０５は、供給される量子化パラメータ情報（後述するシンタックス要素cu_qp_delta）、及び第１の符号化ビット列復号部２０２で得られる符号化情報から量子化パラメータＱＰＹを導出し、逆量子化・逆直交変換部２０９に供給されるとともに、符号化情報格納メモリ２１２に格納される。
【００５４】
イントラ予測部２０６は、供給されるイントラ輝度予測モード、及びイントラ色差予測モードを含むイントラ予測モードに応じて第１の復号画像メモリ２１３に格納されている復号済みの周辺ブロックからイントラ予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。また、本実施の形態ではイントラ輝度予測モードの値からイントラ色差予測モードの値を予測する際に、色差フォーマットに応じてイントラ色差予測モードの導出方法が異なる。この場合、色差フォーマットに応じて異なる方法により導出されたイントラ予測モードを用いてイントラ予測を行う。
【００５５】
ＰＣＭ復号部２０７は入力された信号の復号処理を行い、符号化ブロック単位のＰＣＭ信号を得る。得られた符号化ブロック単位のＰＣＭ信号をスイッチ２１７を通じて、第１の復号画像メモリ２１３に格納する。
【００５６】
インター予測部２０８は、供給されるインター予測モード、参照ピクチャを特定する情報、動きベクトル等のインター予測情報を用いて第２の復号画像メモリ２１４に格納されている復号済みの参照ピクチャから動き補償を用いたインター予測により予測画像信号を生成し、スイッチ２１６を介して、予測画像信号を復号画像信号重畳部２１０に供給する。なお、両予測の場合は、Ｌ０予測、Ｌ１予測の２つの動き補償予測画像信号に適応的に重み係数を乗算して重畳し、最終的な予測画像信号を生成する。
【００５７】
逆量子化・逆直交変換部２０９は、量子化パラメータ導出部２０５から供給される量子化パラメータＱＰＹにもとづいて導出される輝度信号の量子化パラメータＱＰＹ’、および色差信号Ｃｂ、Ｃｒの色差信号の量子化パラメータＱＰＣｂ’、ＱＰＣｒ’を用いて、第３の符号化ビット列復号部２０４で復号された直交変換・量子化された残差信号に対して逆直交変換及び逆量子化を行い、逆直交変換・逆量子化された残差信号を得る。
【００５８】
復号画像信号重畳部２１０は、イントラ予測部２０６、またはインター予測部２０８で予測された予測画像信号と、逆量子化・逆直交変換部２０９により逆直交変換・逆量子化された残差信号とを重畳することにより、復号画像信号を復号し、スイッチ２１７を介して、第１の復号画像メモリ２１３に格納する。
【００５９】
デブロッキングフィルタ部２１１は第１の復号画像メモリ２１３に格納された復号画像に対して符号化によるブロック歪等を減少させるフィルタリング処理を施して、第２の復号画像メモリ２１４に格納される。第２の復号画像メモリ２１４に格納された復号画像信号は、出力順で出力される。
【００６０】
次に、実施の形態のポイントの１つである量子化グループブロックについて詳細に説明する。
【００６１】
前述したように、本実施の形態では、量子化パラメータを符号化する単位である量子化グループブロックを定義し、量子化グループブロック毎に量子化パラメータを設定する。図５は量子化グループブロックの一例を説明する図である。図５では、実線で描かれたブロックＡ、Ｂ０、Ｂ１、Ｂ２、Ｃ０、Ｃ１、Ｃ２及びＤ０、Ｄ１、Ｄ２、Ｄ３は符号化ブロックであり、点線で描かれたブロックが量子化グループブロックである。図５に示す例においては、ツリーブロックのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素と設定する。符号化ブロックＡは、ツリーブロックを分割せず、１つの符号化ブロックとしたものであり、符号化ブロックＡのサイズは輝度信号で６４×６４画素、色差信号で３２×３２画素である。符号化ブロックＢ０、Ｂ１、Ｂ２は、ツリーブロックを４分割してできた符号化ブロックであり、符号化ブロックＢ０、Ｂ１、Ｂ２のサイズは輝度信号で３２×３２画素、色差信号で１６×１６画素である。符号化ブロックＣ０、Ｃ１、Ｃ２は、ツリーブロックを４分割してできたブロックをさらに４分割してできた符号化ブロックであり、符号化ブロックＣ０、Ｃ１、Ｃ２のサイズは輝度信号で１６×１６画素、色差信号で８×８画素である。符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３は、ツリーブロックを４分割してできたブロックをさらに階層的に２度４分割してできた符号化ブロックであり、符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３のサイズは輝度信号で８×８画素、色差信号で４×４画素である。図５に示す例においては、量子化グループブロックのサイズを輝度信号で３２×３２画素、色差信号で１６×１６画素と設定する。
【００６２】
本実施の形態においては、量子化グループブロックと同じ位置に存在する符号化ブロックおよび変換ブロックの量子化パラメータは同一である。量子化グループブロックのサイズはツリーブロックのサイズと同じに設定しても良いし、小さく設定してもよい。さらに、量子化グループブロックのサイズは符号化ブロックのサイズと同じでも良いし、符号化ブロックのサイズより大きくてもよいし、小さくてもよい。
【００６３】
量子化グループブロックのサイズが符号化ブロックのサイズよりも大きい場合、量子化グループブロックには複数の符号化ブロックが含まれるが、これらの符号化ブロックの量子化パラメータは同じ値となる。図５に示す例においては、最も右上の量子化グループブロックより小さい４つの符号化ブロックＤ０、Ｄ１、Ｄ２、Ｄ３の量子化パラメータは同じ値に設定される。
【００６４】
量子化グループブロックのサイズが符号化ブロックのサイズよりも小さい場合、符号化ブロックには複数の量子化グループブロックが含まれるが、これらの量子化グループブロックの量子化パラメータは同じ値とする。図５に示す例においては、符号化ブロックＡに含まれる１６個の量子化グループブロックの量子化パラメータは同じ値に設定され、符号化ブロックＢ０に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定され、符号化ブロックＢ１に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定され、Ｂ２に含まれる４個の量子化グループブロックの量子化パラメータは同じ値に設定される。
【００６５】
次に、実施の形態のポイントの１つである量子化パラメータの決定・符号化／復号・導出について詳細に説明する。
【００６６】
図６は量子化パラメータの決定および符号化処理手順を説明するフローチャートである。これらの処理は画像符号化装置の量子化パラメータ決定部１０２及び第３の符号化ビット列生成部１１７で行われる。ピクチャ内のスライス毎にステップＳ１１０２からＳ１１２２までの処理を行う（ステップＳ１１０１〜Ｓ１１２３）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１１０３からＳ１１２１までの処理を行う（ステップＳ１１０２〜Ｓ１１２２）。
【００６７】
まず、符号化ツリーブロック内の量子化グループブロック毎に量子化パラメータＱＰＹ量子化を決定する（ステップＳ１１０３〜Ｓ１１０５）。これらの処理は画像符号化装置の量子化パラメータ決定部１０２で行われる。量子化パラメータＱＰＹは符号量制御において、発生符号量を下げる場合には、量子化パラメータＱＰＹに大きい値を設定し、発生符号量を上げる場合には、量子化パラメータＱＰＹに小さい値を設定する。主観画質を調整するための適応量子化の際には符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに大きい値を設定し、符号化劣化が目立ちやすい量子化グループブロックは量子化パラメータＱＰＹに小さい値を設定する。
【００６８】
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１１０７からＳ１１２０までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを符号化する（ステップＳ１１０６〜Ｓ１１２１）。これらの処理は画像符号化装置では第３の符号化ビット列生成部１１７で実施される。量子化パラメータＱＰＹを符号化する際には、シンタックス要素cu_qp_deltaを導出し、この導出されたシンタックス要素cu_qp_deltaを符号化する。
【００６９】
まず、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭の場合（ステップＳ１１０７のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックのＱＰＹに対応するシンタックス要素cu_qp_deltaが符号化されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１１０８）、量子化パラメータの予測値ＱＰPREDを導出する（ステップＳ１１０９）。ステップＳ１１０９の処理については図８を用いて詳細に説明する。
【００７０】
続いてステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ１１２の量子化グループブロックのＱＰＹに設定する（ステップＳ１１１０）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
【００７１】
一方、対象となる符号化ブロックが符号化順で量子化グループブロックの先頭でない場合（ステップＳ１１０７のＮＯ）、ステップＳ１１１１に進む。
【００７２】
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１１１１のＮＯ）、ステップＳ１１１２からＳ１２２０までの処理をスキップしてステップＳ１２２１に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１１１１のＹＥＳ）、符号化ブロック内の変換ブロック毎にステップＳ１１１３からＳ１１１９までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを符号化する（ステップＳ１１１２〜Ｓ１１２０）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１１１３）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１１１３のＹＥＳ）、ステップＳ１１１４からＳ１１１９までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１１１３のＮＯ）、ステップＳ１１１４からＳ１１１９までの処理をスキップして、ステップＳ１１２０に進む。
【００７３】
ステップＳ１１１４では、変数IsCuQpDeltaCodedを判定し（ステップＳ１１１４）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１１１４のＹＥＳ）、ステップＳ１１１５からＳ１１１８までの処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１１１４のＮＯ）、ステップＳ１１１５からＳ１１１８までの処理をスキップして、ステップＳ１１１９に進む。
【００７４】
ステップＳ１１０４で設定された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ１１２の量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１１１５）。この符号化情報格納メモリ１１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。ステップＳ１１１０で符号化情報格納メモリ１１２に格納された量子化グループブロックの量子化パラメータＱＰＹに上書きされる。
【００７５】
ステップＳ１１１６では、次式によりシンタックス要素cu_qp_deltaを導出する（ステップＳ１１１６）。
ＱＰDIFF=ＱＰＹ−ＱＰPRED
cu_qp_delta = (ＱＰDIFF + 78 + QpBdOffsetY + (QpBdOffsetY/2)) % (52 + QpBdOffsetY) - 26 - (QpBdOffsetY/2);
ただし、変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数であり、８ビットでは０、１０ビットでは１２となる。
【００７６】
続いて、シンタックス要素cu_qp_deltaをエントロピー符号化し（ステップＳ１１１７）、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１１１８）、変換ブロックの係数を符号化する（ステップＳ１１１９）。
【００７７】
符号化ブロック内のすべての変換ブロックの処理が完了したら、ステップＳ１１２１に進み、次の符号化ブロックの処理を行う。
【００７８】
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１１２２に進み、次の符号化ツリーブロックの処理を行う。
【００７９】
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１１２３に進み、次のスライスの処理を行う。
【００８０】
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ決定・符号化処理が終了する。
【００８１】
図７は量子化パラメータの復号・導出処理手順を説明するフローチャートである。これらの処理は画像復号装置の量子化パラメータ導出部２０５で行われる。ただし、ステップＳ１２１２のエントロピー復号処理は画像復号装置の第３の符号化ビット列復号部２０４で行われる。ピクチャ内のスライス毎にステップＳ１２０２からＳ１２１９までの処理を行う（ステップＳ１２０１〜Ｓ１２２０）。さらに、スライス内の符号化ツリーブロック毎にステップＳ１２０３からＳ１２１８までの処理を行う（ステップＳ１２０２〜Ｓ１２１９）。
【００８２】
続いて、符号化ツリーブロック内の符号化ブロック毎にステップＳ１２０４からＳ１２１７までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し導出する（ステップＳ１２０３〜Ｓ１２１８）。これらの処理は画像復号装置では第３の符号化ビット列復号部２０４及び量子化パラメータ導出部２０５で実施される。量子化パラメータＱＰＹを導出する際には、量子化パラメータの予測値ＱＰPREDを導出し、シンタックス要素cu_qp_deltaを復号し、この復号されたシンタックス要素cu_qp_deltaを用いて量子化パラメータＱＰＹを導出する。
【００８３】
まず、対象となる符号化ブロックが復号順で量子化グループブロックの先頭の場合（ステップＳ１２０４のＹＥＳ）、対象となる符号化ブロックに対応する量子化グループブロックの量子化パラメータＱＰＹに対応するシンタックス要素cu_qp_deltaが復号されたかどうかを示す変数IsCuQpDeltaCodedに０を設定し（ステップＳ１２０５）、量子化パラメータＱＰＹの予測値ＱＰPREDを導出する（ステップＳ１２０６）。ステップＳ１２０６の処理については図８を用いて詳細に説明する。
【００８４】
続いて、ステップＳ１１０９で導出した量子化パラメータの予測値ＱＰPREDの値を符号化情報格納メモリ２１２の量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１２０７）。この符号化情報格納メモリ２１２に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータの予測値ＱＰPREDの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。
【００８５】
一方、対象となる符号化ブロックが復号順で量子化グループブロックの先頭でない場合（ステップＳ１２０４のＮＯ）、ステップＳ１２０８に進む。
【００８６】
続いて、符号化ブロックがイントラＰＣＭ符号化の場合（ステップＳ１２１０のＮＯ）、ステップＳ１２０９からＳ１２１７までの処理をスキップしてステップＳ１２１８に進む。符号化ブロックがイントラＰＣＭ符号化でない場合（ステップＳ１２１０のＹＥＳ）、符号化ブロック内の変換ブロック毎にステップＳ１２１０からＳ１２１６までの処理を行うことで、量子化グループブロックの量子化パラメータＱＰＹを復号し、導出する（ステップＳ１２０９〜Ｓ１２１７）。まず、対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crの値を判定する（ステップＳ１２１０）。ここで、変数cbf_lumaは対象の輝度の変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_cbは対象の色差Ｃｂの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。変数cbf_crは対象の色差Ｃｒの変換ブロックが非０の係数（０でない係数）を含み、係数が符号化される場合に１、非０の係数を含まず、係数が符号化されない場合に０となる変数である。対象となる変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれかが１の場合（ステップＳ１２１０のＹＥＳ）、ステップＳ１２１１からＳ１２１６までの処理を行い、変換ブロックの変数cbf_luma、cbf_cb、cbf_crのどれも１でない場合、すなわちすべて０の場合（ステップＳ１２１０のＮＯ）、ステップＳ１２１１からＳ１２１６までの処理をスキップして、ステップＳ１２１７に進む。
【００８７】
ステップＳ１２１１では、変数IsCuQpDeltaCodedを判定し（ステップＳ１２１１）、変数IsCuQpDeltaCodedが０の場合（ステップＳ１２１１のＹＥＳ）、ステップＳ１２１２からＳ１２１５までの処理を行い、変数IsCuQpDeltaCodedが１の場合（ステップＳ１２１１のＮＯ）、ステップＳ１２１２からＳ１２１５までの処理をスキップして、ステップＳ１２１６に進む。
【００８８】
続いて、シンタックス要素cu_qp_deltaをエントロピー復号する（ステップＳ１２１２）。
【００８９】
続いて、次式により量子化グループブロックの量子化パラメータＱＰＹを導出する（ステップＳ１２１３）。
ＱＰＹ= ( ( (ＱＰPRED + cu_qp_delta + 52 + 2 * QpBdOffsetY )%( 52 + QpBdOffsetY ) ) - QpBdOffsetY
ただし、変数QpBdOffsetYは映像信号のビット深度にもとづいて設定される変数である。
【００９０】
ステップＳ１２１３で導出された量子化グループブロックの量子化パラメータＱＰＹの値を符号化情報格納メモリ２１２に量子化グループブロックの量子化パラメータＱＰＹに設定する（ステップＳ１２１４）。この符号化情報格納メモリ２１２への設定に際しては、量子化グループブロックのサイズよりも符号化ブロックのサイズの方が大きければ、同じ量子化パラメータＱＰＹの値を符号化ブロックに含まれるすべての量子化グループブロックの量子化パラメータＱＰＹに設定する。ステップＳ１２０７で符号化情報格納メモリ２１２に格納された量子化グループブロックの量子化パラメータＱＰＹに上書きされる。
【００９１】
続いて、変数IsCuQpDeltaCodedに１を設定し（ステップＳ１２１５）、変換ブロックの係数を復号する（ステップＳ１２１６）。
【００９２】
符号化ブロック内のすべての変換ブロックの処理が完了したら、ステップＳ１２１８に進み、次の符号化ブロックの処理を行う。
【００９３】
符号化ツリーブロック内のすべての符号化ブロックの処理が完了したら、ステップＳ１２１９に進み、次の符号化ツリーブロックの処理を行う。
【００９４】
スライス内のすべての符号化ツリーブロックの処理が完了したら、ステップＳ１２２０に進み、次のスライスの処理を行う。
【００９５】
ピクチャ内のすべてのスライスの処理が完了したら、本量子化パラメータ復号・導出処理が終了する。
【００９６】
図８は図６のステップＳ１１０９、図７のＳ１２０６の量子化パラメータの予測値の導出処理手順を説明するフローチャートである。これらの処理は画像符号化装置の第３の符号化ビット列生成部１１７及び画像復号装置の量子化パラメータ導出部２０５で行われる。まず、画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納されている。
【００９７】
左に隣接する量子化グループブロックが利用できるかどうかを判定し、左に隣接する量子化グループブロックが利用できる場合（ステップＳ１３０１のＹＥＳ）、左に隣接する量子化グループブロックの量子化パラメータＱＰLEFTの値を量子化パラメータＱＰＡに設定し（ステップＳ１３０２）、利用できない場合（ステップＳ１３０１のＮＯ）、符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＡに設定する（ステップＳ１３０３）。
【００９８】
上に隣接する量子化グループブロックが利用できるかどうかを判定し、上に隣接する量子化グループブロックが利用できる場合（ステップＳ１３０４のＹＥＳ）、上に隣接する量子化グループブロックの量子化パラメータＱＰLEFTの値を量子化パラメータＱＰＢに設定し（ステップＳ１３０５）、利用できない場合（ステップＳ１３０４のＮＯ）、符号化／復号順で直前の量子化グループブロックの量子化パラメータＱＰPREVの値を量子化パラメータＱＰＢに設定する（ステップＳ１３０６）。
【００９９】
続いて、次式により、量子化パラメータＱＰＡと量子化パラメータＱＰＢの平均値を算出し、量子化パラメータの予測値ＱＰPREDとし（ステップＳ１３０７）、本量子化パラメータ導出処理を終了する。
ＱＰPRED = (ＱＰＡ + ＱＰＢ + 1) >> 1
【０１００】
イントラＰＣＭ符号化では量子化しないが、本実施の形態においては、デブロックフィルタの際に、量子化パラメータを用いる。そこで、イントラＰＣＭの符号化ブロックにも量子化パラメータを設定する。イントラＰＣＭ符号化でない符号化ブロックの量子化パラメータと同様に、イントラＰＣＭの符号化ブロックを含む量子化グループブロックの量子化パラメータをイントラＰＣＭの符号化ブロックの量子化パラメータとみなすこととする。
【０１０１】
イントラＰＣＭブロックのサイズと量子化グループブロックのサイズの関係と量子化パラメータの値について説明する。
【０１０２】
符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックのサイズ以上の場合、シンタックス要素cu_qp_deltaが符号化されることは無く、イントラＰＣＭブロックの量子化パラメータＱＰＹの値は量子化パラメータの予測値ＱＰPREDと等しくなり、その量子化パラメータの予測値ＱＰPREDと等しい量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【０１０３】
符号化ブロックがイントラＰＣＭ符号化で、符号化ブロックのサイズが量子化グループブロックのサイズ未満の場合、同じ量子化グループブロック内のイントラＰＣＭ符号化でない符号化ブロックでシンタックス要素cu_qp_deltaが符号化される可能性があり、イントラＰＣＭ符号化の符号化ブロックの量子化パラメータＱＰＹの値は量子化パラメータの予測値ＱＰPREDの値と等しいとは限らず、符号化／復号される量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【０１０４】
なお、デブロックフィルタのフィルタリング強度をより適切に設定してブロック歪みを低減するために、符号化ブロックがイントラＰＣＭ符号化の場合においても、量子化パラメータＱＰＹの値を符号化／復号することにしてもよい。その場合、符号化／復号される量子化パラメータＱＰＹの値が画像符号化装置の符号化情報格納メモリ１１２または画像復号装置の符号化情報格納メモリ２１２に格納される。
【０１０５】
次に、実施の形態のポイントの１つであるデブロッキングフィルタの符号化／復号について詳細に説明する。本実施の形態においては、輝度信号において、ピクチャを８×８画素ブロックに区切った際の境界上にある変換ブロックおよび予測ブロックの境界を導出し、デブロッキングフィルタ処理を行う。図９はブロック境界の画素の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、図９（ａ）に示すように垂直境界を挟んで左側のブロックをブロックＰ、右側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素ｐをブロックの境界から左へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素ｑをブロックの境界から右へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も上の１ラインのみを示したが、垂直境界を跨ぐ、垂直方向の各ラインについて水平方向にフィルタリングを行う。一方、水平エッジのフィルタリング処理を行う場合は、図９（ｂ）に示すように水平境界を挟んで上側のブロックをブロックＰ、下側のブロックをブロックＱとする。さらに、ブロックＰに含まれるフィルタリング対象となる垂直境界の画素ｐをブロックの境界から上へ順に画素ｐ０、ｐ１、ｐ２、ｐ３とし、ブロックＱに含まれる画素ｑをブロックの境界から下へ順に画素ｑ０、ｑ１、ｑ２、ｑ３とする。最も左の１ラインのみを示したが、水平境界を跨ぐ、水平方向の各ラインについて垂直方向にフィルタリングを行う。
【０１０６】
第１の実施例について説明する。図１０、図１１、図１４、図１５および図１８は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第１の実施例の処理手順を説明するフローチャートである。画像符号化装置では、符号化対象のピクチャのすべての復号画像信号が第１の復号画像メモリ１１３に格納された後に、デブロッキングフィルタ部１１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ１１４に格納される。画像復号装置では、復号対象のピクチャのすべての復号画像信号が第１の復号画像メモリ２１３に格納された後に、デブロッキングフィルタ部２１１でデブロッキングフィルタ処理を行い、第２の復号画像メモリ２１４に格納される。
【０１０７】
まず、図１０のデブロッキングフィルタ処理手順について説明する。画像符号化装置の第１の復号画像メモリ１１３または画像復号装置の第１の復号画像メモリ２１３に格納されている復号されたピクチャ内の符号化ブロック毎に、ステップＳ２１０２とＳ２１０３の処理を繰り返す（ステップＳ２１０１〜Ｓ２１０４）。垂直エッジの水平方向のフィルタリング処理を行い（ステップＳ２１０２）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０３）。この際、中間データ一時保存用の画像メモリに格納される。続いて、デブロックフィルタ処理されたピクチャ内の符号化ブロック毎に、ステップＳ２１０６とＳ２１０７の処理を繰り返す（ステップＳ２１０５〜Ｓ２１０８）。水平エッジの垂直方向のフィルタリング処理を行い（ステップＳ２１０６）、出力画素ｐ'、ｑ'を画像メモリに格納する（ステップＳ２１０７）。この際、画像符号化装置の第２の復号画像メモリ１１４または画像復号装置の第２の復号画像メモリ２１４に格納される。ステップＳ２１０２の垂直エッジの水平方向のフィルタリング処理とステップＳ２１０６の水平エッジの垂直方向のフィルタリング処理は処理の方向が違うのみで、処理手順は共通であり、図１１、図１４、図１５および図１８を用いて詳細に説明する。
【０１０８】
図１１の符号化ブロック毎のデブロッキングフィルタ処理手順について説明する。まず、符号化情報格納メモリ１１２または符号化情報格納メモリ２１２に格納されている符号化情報を用いて、符号化ブロック内の変換ブロックの境界を導出する（ステップＳ２２０１）。図１２は符号化ブロック内の変換ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１２（ａ）の太線で示される、符号化ブロック内の変換ブロックの垂直方向の境界３１０１を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１２（ｂ）の太線で示される、符号化ブロック内の変換ブロックの水平方向の境界３１０２を導出する。
【０１０９】
続いて、予測ブロック境界を導出する（ステップＳ２２０２）。図１３は符号化ブロック内の予測ブロックの垂直境界と水平境界の一例を説明する図である。垂直エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び左側の辺上の図１３（ａ）の太線で示される、符号化ブロック内の予測ブロックの垂直方向の境界３２０１を導出する。一方、水平エッジのフィルタリング処理を行う場合は、符号化ブロックの内部及び上側の辺上の図１３（ｂ）の太線で示される、符号化ブロック内の予測ブロックの水平方向の境界３２０２を導出する。
【０１１０】
続いて、変換ブロックおよび予測ブロックのそれぞれのブロック境界の強度を導出する（ステップＳ２２０３）。それぞれのブロック境界について、一様に同じ強さのデブロックフィルタ処理を行うのではなく、それぞれのブロック境界の条件にもとづいてどの程度の強さのデブロックフィルタ処理を行うべきかを決定する。
【０１１１】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を２に設定する。２は最も強い強度を示す値である。
【０１１２】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれない場合、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。１は中程度の強度を示す値である。
【０１１３】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれない場合、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと異なる参照ピクチャ、または異なる予測ブロックの動きベクトル数の場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
【０１１４】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれず、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと同じ参照ピクチャで同じ予測ブロックの動きベクトル数の場合、画素ｐ０を含む予測ブロックの動きベクトルの値と、画素ｑ０を含む予測ブロックの動きベクトルの動きベクトルの値が所定の値以上に異なる場合、ブロック境界の強度を示す変数ｂＳの値を１に設定する。
【０１１５】
画素ｐ０またはｑ０がイントラ予測モードで符号化される符号化ブロックに含まれず、画素ｐ０またはｑ０が非０の変換係数を含む変換ブロックに含まれず、画素ｐ０を含む予測ブロックが、画素ｑ０を含む予測ブロックと同じ参照ピクチャで同じ予測ブロックの動きベクトル数で画素ｐ０を含む予測ブロックの動きベクトルの値と、画素ｑ０を含む予測ブロックの動きベクトルの動きベクトルの値が所定の値以上に異ならない場合、ブロック境界の強度を示す変数ｂＳの値を０に設定する。０は最も弱い強度を示す値である。
【０１１６】
続いて、輝度信号のフィルタリングを行う（ステップＳ２２０４）。ステップＳ２２０４の輝度信号のフィルタリング処理手順については図１４を用いて詳細に説明する。続いて、色差信号のフィルタリングを行い（ステップＳ２２０５）、本デブロックフィルタ処理手順を終了する。色差信号のフィルタリングについても輝度信号のフィルタリングとほぼ同様の手法をとることとし、詳細については省略する。
【０１１７】
図１４はステップＳ２２０４の信号のフィルタリング処理手順を示すフローチャートである。符号化ブロック内の８×８ブロック毎に（ステップＳ２３０１〜Ｓ２３０３）、輝度ブロックエッジのフィルタリングを行う（ステップＳ２３０２）。
【０１１８】
図１５は第１の実施例のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。まず、画素ｐ（画素ｐ０、ｐ１、ｐ２、ｐ３）を含むブロックＰの量子化パラメータＱＰＰを取得する（ステップＳ３１０１）。画素ｑ（画素ｑ０、ｑ１、ｑ２、ｑ３）を含むブロックＱの量子化パラメータＱＰＱを取得する（ステップＳ３１０２）。画素ｐを含むブロックＰがイントラＰＣＭブロックの場合（ステップＳ３１０３のＹＥＳ）、量子化されず、符号化劣化が無いので、量子化パラメータＱＰＰに０を設定する（ステップＳ３１０４）。同様に、画素ｑを含むブロックＱがイントラＰＣＭブロックの場合（ステップＳ３１０５のＹＥＳ）、量子化されず、符号化劣化が無いので、量子化パラメータＱＰＱに０を設定する（ステップＳ３１０６）。なお、ブロックＰやブロックＱを含む符号化ブロックがイントラＰＣＭブロックの場合に、ステップＳ３１０４およびステップＳ３１０６において、イントラＰＣＭブロックの量子化パラメータＱＰＰ、ＱＰＱに０を設定したが、特に、後述するシンタックス要素beta_offset_div2及びtc_offset_div2の値の取りうる範囲が広い場合、イントラＰＣＭブロックの量子化パラメータＱＰＰ、ＱＰＱに０の代わりに量子化パラメータＱＹの最小値である-QpBdOffsetYをすることで、後述する変数βおよび変数ｔｃの値が小さくなる。その際、画質劣化のないイントラＰＣＭブロックにかかるフィルタ強度が弱くなることで、デブロックフィルタのフィルタリング強度をより適切に設定することができる。続いて次式により、量子化パラメータＱＰＰと量子化パラメータＱＰＱの平均値を導出し、ＱＰＡとする（ステップＳ３１０７）。
ＱＰＡ= ( ＱＰＰ + ＱＰＱ + 1 ) >> 1
【０１１９】
続いて、変数βを導出する（ステップＳ３１０８）。変数βはデブロッキングフィルタの強さを決める際に用いる変数である。量子化パラメータの平均値ＱＰＡが大きくなるほど変数βの値が大きくなる。変数βの導出においては、次式によりインデックスindexBを導出し、インデックスindexBが０より小さい場合は０、５１より大きい場合は５１にクリッピングして、図１６の表を参照することにより、変数βを導出する。
indexB = ＱＰＡ + ( beta_offset_div2 << 1 )
ただし、beta_offset_div2はシーケンス単位で符号化されるシンタックス要素であり、−１３から１３の値を持つ。ブロックＰやブロックＱを含む符号化ブロックがイントラＰＣＭブロックの場合に、イントラＰＣＭブロックの量子化パラメータＱＰＰまたはＱＰＱを-QpBdOffsetYまたは０と設定することにより、量子化パラメータの平均値ＱＰＡの値が小さくなり、βの値が小さくなる。βの値が小さい場合、後述するようにフィルタがかからなくなりやすく、ウィークフィルタが選ばれやすくなる。
【０１２０】
続いて、変数ｔｃを導出する（ステップＳ３１０９）。変数ｔｃの値はデブロッキングフィルタの強さを決める際に用いる変数であり、量子化パラメータの平均値ＱＰＡや境界強度を示す変数ｂＳの値が大きくなるほど変数ｔｃの値が大きくなる。変数ｔｃの導出においては、次式によりインデックスindexTcを導出し、インデックスindexTcが０より小さい場合は０、５３より大きい場合は５３にクリッピングして、図１７の表を参照することにより、変数ｔｃを導出する。
indexTc = ＱＰＡ + 2 * ( bS - 1) + ( tc_offset_div2 << 1)
ただし、tc_offset_div2はシーケンス単位で符号化されるシンタックスであり、−１３から１３の値を持つ。
【０１２１】
続いて、境界近傍の画素値の関係から評価値ｄを導出する（ステップＳ３１１０）。評価値ｄが変数β以上の場合（ステップＳ３１１１のＮＯ）、入力画素をそのまま出力画素とし（ステップＳ３１１６）、本輝度信号のフィルタリング処理を終了する。変数βの値が小さければ、フィルタがかからなくなりやすい。
【０１２２】
評価値ｄが変数βより小さい場合（ステップＳ３１１１のＹＥＳ）、境界近傍の画素値と変数βの関係からデブロックフィルタの種類を決定する（ステップＳ３１１２）。本実施の形態ではストロングフィルタとウィークフィルタの２種類のフィルタを切り替えて用いる。変数βの値が大きければ、ストロングフィルタが選ばれやすくなり、変数βの値が小さければ、ウィークフィルタが選ばれやすくなる。
【０１２３】
続いて、フィルタリングブロックのライン毎に信号をフィルタリングする（ステップＳ３１１３〜Ｓ３１１５）。ライン毎の信号のブロック境界を挟む画素ｐ（画素ｐ０、ｐ１、ｐ２、ｐ３）、画素ｑ（画素ｑ０、ｑ１、ｑ２、ｑ３）のフィルタリングを行う（ステップＳ３１１４）。
【０１２４】
図１８は第１の実施例のステップＳ３１１４のライン毎の信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。フィルタがかけられた画素ｐ'（画素ｐ０'、ｐ１'、ｐ２'、ｐ３'）、画素ｑ'（画素ｑ０'、ｑ１'、ｑ２'、ｑ３'）を出力画素とし、本フィルタリング処理手順を終了する。
【０１２５】
次に、第２の実施例について説明する。図１０、図１１、図１４、図１９、図２０は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第２の実施例の処理手順を説明するフローチャートである。第１の実施例とは、図１０、図１１、図１４が同じで、図１５の代わりに図１９となり、図１８の代わりに図２０となっている。同じ処理（ステップ）には同じ番号が振られている。第２の実施例の図１９は第１の実施例の図１５のステップＳ３１０３〜Ｓ３１０６のブロックＰおよびブロックＱを含む符号化ブロックがイントラＰＣＭブロックかどうかを判定し、イントラＰＣＭの場合に量子化パラメータＱＰＰまたはＱＰＱを０に設定する処理が省かれている点が異なる。第２の実施例の図２０は第１の実施例の図１８に対して、ステップＳ３２０５〜Ｓ３２０８の処理が追加されている点が異なる。
【０１２６】
図１９は第２の実施例のステップＳ２３０２のブロックエッジのフィルタリング処理手順を示すフローチャートである。まず、画素ｐを含むブロックＰの量子化パラメータＱＰＰを取得する（ステップＳ３１０１）。画素ｑを含むブロックＱの量子化パラメータＱＰＱを取得する（ステップＳ３１０２）。図１９のステップＳ３１０７以降の処理は第１の実施例の図１５と同じであるので説明を省く。
【０１２７】
図２０は第２の実施例のステップＳ３１１４のライン毎の輝度信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。フィルタがかけられた画素ｐ'、ｑ'を出力画素とする。
【０１２８】
画素ｐを含むブロックＰがイントラＰＣＭブロックの場合（ステップＳ３２０５のＹＥＳ）、入力画素ｐの画素値を出力画素ｐ'に設定する（ステップＳ３２０６）。即ち、イントラＰＣＭブロックの画素ｐにフィルタがかからない状態で、そのまま出力画素として出力する。画素ｐを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０５のＹＥＳ）、フィルタがかけられた画素ｐ'がそのまま出力画素となりステップＳ３２０７に進む。
【０１２９】
画素ｑを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０７のＹＥＳ）、入力画素ｑの画素値を出力画素ｑ'に設定する（ステップＳ３２０８）。即ち、イントラＰＣＭブロックの画素ｑにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｑを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０７のＹＥＳ）、フィルタがかけられた画素ｑ'がそのまま出力画素となり、本フィルタリング処理手順を終了する。
【０１３０】
第１の実施例では、ブロックＰまたはブロックＱのいずれか一方がイントラＰＣＭの場合、イントラＰＣＭブロックの量子化パラメータを０または量子化パラメータの最小値として変数βの値を算出するため、イントラＰＣＭでない他方のブロックでも、変数βの値が小さくなり、フィルタがかからなくなったり、ウィークフィルタが選ばれやすくなり、適切にデブロッキングフィルタを施せないという課題があった。例えば、図９（ａ）または（ｂ）において、輝度信号のビット深度が８ビットで、ブロックＰがイントラＰＣＭ符号化で量子化パラメータＱＰＰの値が３０、ブロックＱがイントラ予測モードで符号化パラメータＱＰＱの値が３０、シンタックス要素beta_offset_div2の値が０の場合、量子化パラメータＱＰＰの値が０に設定され、符号化パラメータＱＰＡの値は１５となり、変数βの値は０となる。この場合、ブロックＰだけでなくブロックＱにもフィルタがかからず、ブロック歪が除去されない。
【０１３１】
一方、第２の実施例では、イントラＰＣＭか否かを区別せず、量子化パラメータを利用するので、適切な強さのフィルタを施すことができる。例えば、図９（ａ）または（ｂ）において、輝度信号のビット深度が８ビットで、ブロックＰがイントラＰＣＭ符号化で符号化パラメータＱＰＰの値が３０、ブロックＱがイントラ予測モードで符号化パラメータＱＰＱの値が３０、シンタックス要素beta_offset_div2の値が０の場合、符号化パラメータＱＰＡの値は３０となり、変数βの値は２２となる。この場合、ブロックＱに適切なフィルタがかかり、ブロック歪が除去される。また符号化劣化のないイントラＰＣＭブロックに関しては、常にフィルタをかけないので、イントラＰＣＭブロックに関しても符号化劣化は生じない。
【０１３２】
次に、第３の実施例について説明する。図１０、図１１、図１４、図１９、図２１は画像符号化装置のデブロッキングフィルタ部１１１及び画像復号装置のデブロッキングフィルタ部２１１の第３の実施例の処理手順を説明するフローチャートである。第２の実施例とは、図１０、図１１、図１４、図１９が同じで、図２０の代わりに図２１となっている。同じ処理（ステップ）には同じ番号が振られている。第２の実施例の図２１は第２の実施例の図２０に対して、ステップＳ３２０４の処理が追加されている点が異なる。図１０、図１１、図１４、図１９の処理は第２の実施例と同じであり、説明を省く。
【０１３３】
図２１は第３の実施例のステップＳ３１１４のライン毎の輝度信号のフィルタリング処理手順を示すフローチャートである。ストロングフィルタをかける場合（ステップＳ３２０１のＹＥＳ）、ストロングフィルタをかける（ステップＳ３２０２）。そうでない場合（ステップＳ３２０１のＮＯ）、ウィークフィルタをかける（ステップＳ３２０３）。
【０１３４】
続いて、フラグpcm_loop_filter_disable_flagの値を判定する（ステップＳ３２０４）。pcm_loop_filter_disable_flagはイントラＰＣＭで符号化される画素にデブロックフィルタやその他のループフィルタをかけるかどうかを示すフラグであり、シーケンス、ピクチャまたはスライス単位で設定され、符号化される。pcm_loop_filter_disable_flagが１の場合（ステップＳ３２０４のＹＥＳ）、ステップＳ３２０５に進み、pcm_loop_filter_disable_flagが０の場合（ステップＳ３２０４のＮＯ）、フィルタがかけられた画素ｐ'、ｑ'を出力画素とし、本フィルタリング処理手順を終了する。
【０１３５】
画素ｐを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０５のＹＥＳ）、入力画素ｐの画素値を出力画素ｐ'に設定する（ステップＳ３２０６）。即ち、イントラＰＣＭブロックの画素ｐにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｐを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０５のＹＥＳ）、フィルタがかけられた画素ｐ'がそのまま出力画素となりステップＳ３２０７に進む。
【０１３６】
画素ｑを含むブロックがイントラＰＣＭブロックの場合（ステップＳ３２０７のＹＥＳ）、入力画素ｑの画素値を出力画素ｑ'に設定する（ステップＳ３２０８）。即ち、イントラＰＣＭブロックの画素ｑにフィルタがかからない状態で、そのまま出力画素として出力される。画素ｑを含むブロックがイントラＰＣＭブロックでない場合（ステップＳ３２０７のＹＥＳ）、フィルタがかけられた画素ｑ'がそのまま出力画素となり、本フィルタリング処理手順を終了する。
【０１３７】
第３の実施例では、フラグpcm_loop_filter_disable_flagにもとづいてイントラＰＣＭで符号化された画素にデブロックフィルタを施すかどうかを切り替えることができるため、特に高いビットレートの際に、フラグpcm_loop_filter_disable_flagに０を設定することで、ブロックがイントラＰＣＭかどうかの判定を省略することができ、演算量を削減することが可能である。
【０１３８】
なお、第１の実施例において、図１８のライン毎の信号のフィルタリング処理手順の代わりに第３の実施例で説明した図２１のライン毎の信号のフィルタリング処理手順を実施することもできる。フラグpcm_loop_filter_disable_flagにもとづいてイントラＰＣＭで符号化された画素にデブロックフィルタを施すかどうかを切り替えることができるため、特に低いビットレートの際に、フラグpcm_loop_filter_disable_flagに１を設定し、イントラＰＣＭブロックに対してデブロックフィルタを施さないことにより、画質劣化を抑えることができる。
【０１３９】
以上述べた実施の形態の画像符号化装置が出力する画像の符号化ビット列は、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、画像符号化装置に対応する画像復号装置がこの特定のデータフォーマットの符号化ビット列を復号することができる。
【０１４０】
画像符号化装置と画像復号装置の間で符号化ビット列をやりとりするために、有線または無線のネットワークが用いられる場合、符号化ビット列を通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ビット列を通信路の伝送形態に適したデータ形式のパケット化された符号化ストリームに変換してネットワークに送信する画像送信装置と、ネットワークからパケット化された符号化ストリームを受信して符号化ビット列に復元して画像復号装置に供給する画像受信装置とが設けられる。
【０１４１】
画像送信装置は、画像符号化装置が出力する符号化ビット列をバッファするメモリと、符号化ビット列をパケット化するパケット処理部と、パケット化された符号化ストリームをネットワークを介して送信する送信部とを含む。画像受信装置は、パケット化された符号化ストリームをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
【０１４２】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。
【０１４３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【０１４４】
１０１  画像メモリ、１０２  量子化パラメータ決定部、  １０３  イントラ予測部、  １０４  ＰＣＭ符号化部、１０５  インター予測部、  １０６  符号化方法決定部、  １０７  残差信号生成部、  １０８  直交変換・量子化部、  １０９  逆量子化・逆直交変換部、  １１０  復号画像信号重畳部、  １１１  デブロッキングフィルタ部、  １１２  符号化情報格納メモリ、  １１３  第１の復号画像メモリ、  １１４  第２の復号画像メモリ、  １１５  第１の符号化ビット列生成部、  １１６  第２の符号化ビット列生成部、  １１７  第３の符号化ビット列生成部、  １１８  符号化ビット列多重化部、  １１９  スイッチ、  ２０１  符号化ビット列分離部、  ２０２  第１の符号化ビット列復号部、  ２０３  第２の符号化ビット列復号部、  ２０４  第３の符号化ビット列復号部、  ２０５  量子化パラメータ導出部、  ２０６  イントラ予測部、  ２０７  ＰＣＭ復号部、  ２０８  インター予測部、  ２０９  逆量子化・逆直交変換部、  ２１０  復号画像信号重畳部、  ２１１  デブロッキングフィルタ部、  ２１２  符号化情報格納メモリ、  ２１３  第１の復号画像メモリ、  ２１４  第２の復号画像メモリ、  ２１５  スイッチ、  ２１６  スイッチ。
【図１】
2013229865.tif 000003
【図２】
2013229865.tif 000004
【図３】
2013229865.tif 000005
【図４】
2013229865.tif 000006
【図５】
2013229865.tif 000007
【図６】
2013229865.tif 000008
【図７】
2013229865.tif 000009
【図８】
2013229865.tif 000010
【図９】
2013229865.tif 000011
【図１０】
2013229865.tif 000012
【図１１】
2013229865.tif 000013
【図１２】
2013229865.tif 000014
【図１３】
2013229865.tif 000015
【図１４】
2013229865.tif 000016
【図１５】
2013229865.tif 000017
【図１６】
2013229865.tif 000018
【図１７】
2013229865.tif 000019
【図１８】
2013229865.tif 000020
【図１９】
2013229865.tif 000021
【図２０】
2013229865.tif 000022
【図２１】
2013229865.tif 000023