(57)【要約】【課題】画像復号装置側に伝送する量子化パラメータの情報量の大幅な増加を招くことなく、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を高めることができるようにする。【解決手段】マクロブロック毎に量子化パラメータＱＰを決定する一方、マクロブロックの画像特徴量にしたがって量子化パラメータＱＰを変更する当該マクロブロック内の矩形領域を特定するとともに、その量子化パラメータの変移値ｄＱＰを算出し、当該マクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する。【選択図】図１
2012191500.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を構成しているマクロブロック毎に予測処理を実施して予測画像を生成し、当該マクロブロックの画像と上記予測画像の差分画像を生成する差分画像生成手段と、マクロブロック毎に量子化パラメータを決定する量子化パラメータ決定手段と、マクロブロックの画像特徴量にしたがって量子化パラメータを変更する当該マクロブロック内の矩形領域を特定するとともに、上記量子化パラメータの変移値を算出し、当該マクロブロックの量子化パラメータと上記変移値から、上記矩形領域に含まれている直交変換ブロックの量子化パラメータを算出する量子化パラメータ変更手段と、上記差分画像生成手段により生成された差分画像を直交変換し、上記差分画像の直交変換結果である変換係数のうち、上記矩形領域に含まれている直交変換ブロックの変換係数については、上記量子化パラメータ変更手段により算出された直交変換ブロックの量子化パラメータを用いて量子化し、上記矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、上記量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータを用いて量子化する量子化手段と、上記量子化手段により量子化された変換係数、上記量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータ、上記量子化パラメータ変更手段により算出された量子化パラメータの変移値、上記矩形領域を特定する矩形領域特定情報及び上記差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報をエントロピー符号化してビットストリームを生成するエントロピー符号化手段とを備えた画像符号化装置。
【請求項２】
量子化パラメータ変更手段は、マクロブロック内の位置又は大きさが異なる複数の矩形領域を識別する矩形領域番号を記憶しており、量子化パラメータを変更するマクロブロック内の矩形領域を識別する矩形領域番号を矩形領域特定情報としてエントロピー符号化手段に出力することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
量子化パラメータ変更手段は、マクロブロック内の位置又は大きさが異なる複数の矩形領域に関する情報として、複数の矩形領域の起点座標と、複数の矩形領域の水平／垂直方向サイズ又は複数の矩形領域の終点座標と、複数の矩形領域を識別する矩形領域番号とを記憶しており、量子化パラメータを変更するマクロブロック内の矩形領域を識別する矩形領域番号を矩形領域特定情報としてエントロピー符号化手段に出力することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
エントロピー符号化手段は、量子化パラメータ変更手段に記憶されている矩形領域に関する情報が更新された場合、更新後の矩形領域に関する情報をエントロピー符号化してビットストリームに含めることを特徴とする請求項３記載の画像符号化装置。
【請求項５】
エントロピー符号化手段は、更新後の矩形領域に関する情報をピクチャ又はスライスのヘッダ情報に多重することを特徴とする請求項４記載の画像符号化装置。
【請求項６】
エントロピー符号化手段は、マクロブロック単位で、量子化パラメータの変移値と矩形領域番号をエントロピー符号化することを特徴とする請求項２または請求項３記載の画像符号化装置。
【請求項７】
エントロピー符号化手段は、ピクチャ又はスライス単位で、量子化パラメータの変移値をエントロピー符号化することを特徴とする請求項２または請求項３記載の画像符号化装置。
【請求項８】
エントロピー符号化手段は、ピクチャ又はスライス単位で、量子化パラメータの変移値と矩形領域番号をエントロピー符号化することを特徴とする請求項２または請求項３記載の画像符号化装置。
【請求項９】
エントロピー符号化手段は、先にピクチャ又はスライスで使用する１以上の矩形領域番号をヘッダ情報に多重して送信している場合、上記矩形領域番号に対応する小番号を用意しておき、マクロブロック単位で、量子化パラメータを変更するマクロブロック内の矩形領域を識別する矩形領域番号に対応する小番号をエントロピー符号化することを特徴とする請求項２または請求項３記載の画像符号化装置。
【請求項１０】
量子化パラメータ変更手段は、量子化パラメータを変更するマクロブロック内の矩形領域が複数個存在する場合、複数の矩形領域について量子化パラメータの変移値を算出し、当該マクロブロックの量子化パラメータと上記変移値から、複数の矩形領域に含まれている直交変換ブロックの量子化パラメータを算出することを特徴とする請求項１から請求項９のうちのいずれか１項記載の画像符号化装置。
【請求項１１】
ビットストリームをエントロピー復号し、上記ビットストリームの復号データである量子化された変換係数、マクロブロックの量子化パラメータ、上記量子化パラメータの変移値、矩形領域を特定する矩形領域特定情報及び予測画像が生成される際に用いられた予測画像生成用情報を出力するエントロピー復号手段と、上記エントロピー復号手段から出力されたマクロブロックの量子化パラメータと上記変移値から、上記矩形領域に含まれている直交変換ブロックの量子化パラメータを演算する量子化パラメータ演算手段と、上記エントロピー復号手段から出力された変換係数のうち、上記矩形領域特定情報が示す矩形領域に含まれている直交変換ブロックの変換係数については、上記量子化パラメータ演算手段により演算された直交変換ブロックの量子化パラメータを用いて逆量子化し、上記矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、当該マクロブロックの量子化パラメータを用いて逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化手段と、上記エントロピー復号手段から出力された予測画像生成用情報を用いて、予測画像を生成する予測画像生成手段と、上記予測画像生成手段により生成された予測画像と上記逆量子化手段の逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成手段とを備えた画像復号装置。
【請求項１２】
量子化パラメータ演算手段は、エントロピー復号手段から複数の矩形領域についての量子化パラメータの変移値が出力されている場合、マクロブロックの量子化パラメータと上記変移値から、複数の矩形領域に含まれている直交変換ブロックの量子化パラメータを演算することを特徴とする請求項１１記載の画像復号装置。
【請求項１３】
差分画像生成手段が、入力画像を構成しているマクロブロック毎に予測処理を実施して予測画像を生成し、当該マクロブロックの画像と上記予測画像の差分画像を生成する差分画像生成処理ステップと、量子化パラメータ決定手段が、マクロブロック毎に量子化パラメータを決定する量子化パラメータ決定処理ステップと、量子化パラメータ変更手段が、マクロブロックの画像特徴量にしたがって量子化パラメータを変更する当該マクロブロック内の矩形領域を特定するとともに、上記量子化パラメータの変移値を算出し、当該マクロブロックの量子化パラメータと上記変移値から、上記矩形領域に含まれている直交変換ブロックの量子化パラメータを算出する量子化パラメータ変更処理ステップと、量子化手段が、上記差分画像生成処理ステップで生成された差分画像を直交変換し、上記差分画像の直交変換結果である変換係数のうち、上記矩形領域に含まれている直交変換ブロックの変換係数については、上記量子化パラメータ変更処理ステップで算出された直交変換ブロックの量子化パラメータを用いて量子化し、上記矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、上記量子化パラメータ決定処理ステップで決定されたマクロブロックの量子化パラメータを用いて量子化する量子化処理ステップと、エントロピー符号化手段が、上記量子化処理ステップで量子化された変換係数、上記量子化パラメータ決定処理ステップで決定されたマクロブロックの量子化パラメータ、上記量子化パラメータ変更処理ステップで算出された量子化パラメータの変移値、上記矩形領域を特定する矩形領域特定情報及び上記差分画像生成処理ステップで予測画像が生成される際に用いられた予測画像生成用情報をエントロピー符号化してビットストリームを生成するエントロピー符号化処理ステップとを備えた画像符号化方法。
【請求項１４】
エントロピー復号手段が、ビットストリームをエントロピー復号し、上記ビットストリームの復号データである量子化された変換係数、マクロブロックの量子化パラメータ、上記量子化パラメータの変移値、矩形領域を特定する矩形領域特定情報及び予測画像が生成される際に用いられた予測画像生成用情報を出力するエントロピー復号処理ステップと、量子化パラメータ演算手段が、上記エントロピー復号処理ステップで出力されたマクロブロックの量子化パラメータと上記変移値から、上記矩形領域に含まれている直交変換ブロックの量子化パラメータを演算する量子化パラメータ演算処理ステップと、逆量子化手段が、上記エントロピー復号処理ステップで出力された変換係数のうち、上記矩形領域特定情報が示す矩形領域に含まれている直交変換ブロックの変換係数については、上記量子化パラメータ演算処理ステップで演算された直交変換ブロックの量子化パラメータを用いて逆量子化し、上記矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、当該マクロブロックの量子化パラメータを用いて逆量子化し、逆量子化後の変換係数を逆直交変換する逆量子化処理ステップと、予測画像生成手段が、上記エントロピー復号処理ステップで出力された予測画像生成用情報を用いて、予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が、上記予測画像生成処理ステップで生成された予測画像と上記逆量子化処理ステップでの逆直交変換結果である差分画像を加算して復号画像を生成する復号画像生成処理ステップとを備えた画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を符号化する画像符号化装置及び画像符号化方法と、画像符号化装置により符号化された画像を復号する画像復号装置及び画像復号方法とに関するものである。
【背景技術】
【０００２】
図１３は、例えば、以下の非特許文献１に記載されている量子化処理の様子を示す説明図である。
例えば、画像符号化方式の国際標準規格であるＨ．２６４では、符号化を行うフレーム、あるいは、フィールドを１６画素×１６ラインの画素で構成される「マクロブロック」と呼ばれるブロックに分割し、マクロブロック毎に変更可能な量子化パラメータＱＰを用いて、マクロブロックの画像と予測画像との差分画像の直交変換結果である変換係数を量子化する。
ただし、マクロブロックの内部において、４画素×４ラインの直交変換ブロックや、８画素×８ラインの直交変換ブロックの量子化を行う場合、全ての直交変換ブロックで共通の量子化パラメータＱＰを使用して量子化を行う。
図１４はマクロブロックに含まれている直交変換ブロックを示す説明図であり、直交変換ブロック内の番号は符号化を行う順番を示している。
【０００３】
Ｈ．２６４では、全ての直交変換ブロックで共通の量子化パラメータＱＰを使用して量子化を行うが、マクロブロック内に複雑な絵柄と平坦な絵柄が混在している場合、それぞれの絵柄を含む直交変換ブロックの量子化パラメータを変更することが可能であれば、当該部分の主観画質を向上させることができる。
例えば、マクロブロックが図１４に示すような４画素×４ラインに分割されているとき、当該マクロブロックが図１５に示すような画像である場合、平坦な背景が描かれている直交変換ブロック（番号が０、１、２、４、５、８、１０、１１、１４、１５の直交変換ブロック）と、細かな模様が描かれている直交変換ブロック（番号が３、６、７、９、１２、１３の直交変換ブロック）とが混在しているため、各々の直交変換ブロックの量子化パラメータを変更することが可能であれば、当該部分の主観画質を向上させることができる。
【０００４】
Ｈ．２６４では、マクロブロックのサイズが１６画素×１６ラインであるが、将来的には、１６画素×１６ラインよりも大きなサイズのマクロブロックを使用する符号化方式も考えられる。
そのような方式においては、マクロブロック内に異なる特徴を有する絵柄が混在する可能性が高くなるため、各々の直交変換ブロックの量子化パラメータを変更できれば、更に有用となる。
【０００５】
４画素×４ラインあるいは８画素×８ラインの直交変換ブロック単位に量子化パラメータを変更する方法が以下の特許文献１に開示されている。
しかし、特許文献１に開示されている方法では、マクロブロック内の直交変換ブロック毎に量子化パラメータの変更を行うと、直交変換ブロック単位で量子化パラメータを伝送する必要がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】ＷＯ２００８／１２６１３５Ａ１
【非特許文献】
【０００７】
【非特許文献１】画像符号化方式の国際標準規格であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）の勧告書（ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像符号化装置は以上のように構成されているので、マクロブロック内の直交変換ブロック毎に量子化パラメータの変更を行うことで、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を向上させることができる。しかし、直交変換ブロック単位で量子化パラメータを伝送する必要があるため、画像復号装置側に伝送する量子化パラメータの情報量が大幅に増加してしまうなどの課題があった。
【０００９】
この発明は上記のような課題を解決するためになされたもので、画像復号装置側に伝送する量子化パラメータの情報量の大幅な増加を招くことなく、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、上記の画像符号化装置に適用可能な画像復号装置及び画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１０】
この発明に係る画像符号化装置は、入力画像を構成しているマクロブロック毎に予測処理を実施して予測画像を生成し、当該マクロブロックの画像と予測画像の差分画像を生成する差分画像生成手段と、マクロブロック毎に量子化パラメータを決定する量子化パラメータ決定手段と、マクロブロックの画像特徴量にしたがって量子化パラメータを変更する当該マクロブロック内の矩形領域を特定するとともに、その量子化パラメータの変移値を算出し、当該マクロブロックの量子化パラメータと上記変移値から、その矩形領域に含まれている直交変換ブロックの量子化パラメータを算出する量子化パラメータ変更手段と、差分画像生成手段により生成された差分画像を直交変換し、その差分画像の直交変換結果である変換係数のうち、その矩形領域に含まれている直交変換ブロックの変換係数については、量子化パラメータ変更手段により算出された直交変換ブロックの量子化パラメータを用いて量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータを用いて量子化する量子化手段とを設け、エントロピー符号化手段が、量子化手段により量子化された変換係数、量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータ、量子化パラメータ変更手段により算出された量子化パラメータの変移値、矩形領域を特定する矩形領域特定情報及び差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報をエントロピー符号化してビットストリームを生成するようにしたものである。
【発明の効果】
【００１１】
この発明によれば、入力画像を構成しているマクロブロック毎に予測処理を実施して予測画像を生成し、当該マクロブロックの画像と予測画像の差分画像を生成する差分画像生成手段と、マクロブロック毎に量子化パラメータを決定する量子化パラメータ決定手段と、マクロブロックの画像特徴量にしたがって量子化パラメータを変更する当該マクロブロック内の矩形領域を特定するとともに、その量子化パラメータの変移値を算出し、当該マクロブロックの量子化パラメータと上記変移値から、その矩形領域に含まれている直交変換ブロックの量子化パラメータを算出する量子化パラメータ変更手段と、差分画像生成手段により生成された差分画像を直交変換し、その差分画像の直交変換結果である変換係数のうち、その矩形領域に含まれている直交変換ブロックの変換係数については、量子化パラメータ変更手段により算出された直交変換ブロックの量子化パラメータを用いて量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータを用いて量子化する量子化手段とを設け、エントロピー符号化手段が、量子化手段により量子化された変換係数、量子化パラメータ決定手段により決定されたマクロブロックの量子化パラメータ、量子化パラメータ変更手段により算出された量子化パラメータの変移値、矩形領域を特定する矩形領域特定情報及び差分画像生成手段により予測画像が生成される際に用いられた予測画像生成用情報をエントロピー符号化してビットストリームを生成するように構成したので、画像復号装置側に伝送する量子化パラメータの情報量の大幅な増加を招くことなく、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を高めることができる効果がある。
【図面の簡単な説明】
【００１２】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
【図３】この発明の実施の形態１による画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
【図５】マクロブロックが図１５に示すような画像である場合の４画素×４ライン単位の画素の分散値の一例を示す説明図である。
【図６】マクロブロック内の位置又は大きさが異なる複数の矩形領域を示す説明図である。
【図７】矩形領域情報格納部３２に記憶されている矩形領域情報を示す説明図である。
【図８】マクロブロック内の８個の矩形領域を示す説明図である。
【図９】矩形領域情報格納部３２に記憶されている８個の矩形領域情報を示す説明図である。
【図１０】矩形領域番号に対応する小番号の送信例を示す説明図である。
【図１１】複雑な絵柄と平坦な絵柄が混在しているマクロブロックの一例を示す説明図である。
【図１２】２個の矩形領域を使用して、２個の複雑な絵柄を覆っている例を示す説明図である。
【図１３】非特許文献１に記載されている量子化処理の様子を示す説明図である。
【図１４】マクロブロックに含まれている直交変換ブロックを示す説明図である。
【図１５】複雑な絵柄と平坦な絵柄が混在しているマクロブロックの一例を示す説明図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１では、画像符号化方式の国際標準規格であるＨ．２６４（ＭＰＥＧ−４ＡＶＣ）に適用している画像符号化装置の例を示しているが、他の画像符号化方式に適用している画像符号化装置であってもよい。
図１において、符号化部１は符号化制御部２の指示の下、入力画像に対してマクロブロック単位で符号化処理を実施する。
符号化制御部２はマクロブロック毎に量子化パラメータＱＰを決定する処理のほか、量子化パラメータＱＰを変更するマクロブロック内の矩形領域を特定して、その量子化パラメータＱＰの変移値ｄＱＰを算出するとともに、マクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出するなどの処理を実施する。なお、符号化制御部２は量子化パラメータ決定手段及び量子化パラメータ変更手段を構成している。
【００１４】
符号化部１のイントラ予測部１１は入力画像を構成しているマクロブロック毎に、最適なイントラ予測モードを選択し、そのイントラ予測モードによって、既に符号化が終了している局部復号画像（当該マクロブロックの周辺のマクロブロックの局部復号画像）から予測画像を生成し、当該マクロブロックの画像と予測画像の差分画像を生成する処理を実施する。
動き探索部１２は入力画像を構成しているマクロブロック毎に、当該マクロブロックの画像とフレームメモリ２３により格納されている局部復号画像を比較することで動き探索を実施して、動きベクトルを算出する処理を実施する。
【００１５】
動き補償予測部１３は動き探索部１２により算出された動きベクトルを用いて、マクロブロックと同じか、あるいは、マクロブロックよりサイズが小さいパーティションの単位で、フレームメモリ２３により格納されている局部復号画像に対する動き補償予測処理を実施することで、予測画像を生成する処理を実施する。
差分器１４は入力画像を構成しているマクロブロック毎に、当該マクロブロックの画像と動き補償予測部１３により生成された予測画像の差分を求めることで差分画像を生成する処理を実施する。
なお、イントラ予測部１１、動き探索部１２、動き補償予測部１３及び差分器１４から差分画像生成手段が構成されている。
【００１６】
イントラ／インター判定部１５はイントラ予測部１１により生成された予測画像とマクロブロックの画像を比較するとともに、動き補償予測部１３により生成された予測画像とマクロブロックの画像を比較し、双方の比較結果を参照して最適な予測画像を判定する処理を実施する。
また、イントラ／インター判定部１５は最適な予測画像を示す判定結果をスイッチ１６及びエントロピー符号化部２４に出力するとともに、最適な予測画像がイントラ予測部１１により生成された予測画像であれば、その予測画像を加算器２１に出力し、最適な予測画像が動き補償予測部１３により生成された予測画像であれば、その予測画像を加算器２１に出力する処理を実施する。
【００１７】
スイッチ１６はイントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により生成された差分画像を選択して直交変換部１７に出力し、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、差分器１４により生成された差分画像を選択して直交変換部１７に出力する処理を実施する。
【００１８】
直交変換部１７はスイッチ１６から出力された差分画像を直交変換して、その差分画像の直交変換結果である変換係数を量子化部１８に出力する処理を実施する。
量子化部１８はマクロブロック内の直交変換ブロック毎に、符号化制御部２の量子化制御部３３から出力された量子化パラメータを用いて、直交変換部１７から出力された変換係数を量子化する処理を実施する。
即ち、量子化部１８は直交変換部１７から出力された変換係数のうち、符号化制御部２の量子化制御部３３により特定された矩形領域に含まれている直交変換ブロックの変換係数については、量子化制御部３３により算出された直交変換ブロックの量子化パラメータＱＰｔを用いて量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、量子化制御部３３により決定されたマクロブロックの量子化パラメータＱＰを用いて量子化する処理を実施する。
なお、直交変換部１７及び量子化部１８から量子化手段が構成されている。
【００１９】
逆量子化部１９はマクロブロック内の直交変換ブロック毎に、量子化部１８と同様の量子化パラメータを用いて、量子化部１８により量子化された変換係数を逆量子化し、直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部２０に出力する処理を実施する。
逆直交変換部２０は逆量子化部１９から出力された変換係数を逆直交変換することで、スイッチ１６から出力された差分画像に相当する差分画像（逆直交変換結果）を加算器２１に出力する処理を実施する。
【００２０】
加算器２１は逆直交変換部２０から出力された差分画像とイントラ／インター判定部１５により選択された予測画像を加算して局部復号画像を生成する処理を実施する。
デブロッキングフィルタ部２２は加算器２１により生成された局部復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の局部復号画像をフレームメモリ２３に格納する処理を実施する。
フレームメモリ２３は歪み補償後の局部復号画像を格納する記録部である。
【００２１】
エントロピー符号化部２４は量子化部１８により量子化された変換係数と、符号化制御部２の量子化制御部３３から出力された矩形領域番号（矩形領域特定情報）、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰと、イントラ／インター判定部１５から出力された判定結果と、予測画像が生成される際に用いられた予測画像生成用情報（イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出されたパーティションの種類、そのパーティションのインデックス及び動きベクトル）とをエントロピー符号化してビットストリームを生成する処理を実施する。なお、エントロピー符号化部２４はエントロピー符号化手段を構成している。
送信バッファ２５は例えば回線などの外部の伝送手段や蓄積メディアと接続されており、エントロピー符号化部２４により生成されたビットストリームを一時的に保持してから、そのビットストリームを出力する処理を実施する。
【００２２】
符号化制御部２の画像特徴量演算部３１は入力画像を構成しているマクロブロック毎に、当該マクロブロックの画像特徴量を演算する処理を実施する。
矩形領域情報格納部３２はマクロブロック内の位置又は大きさが異なる複数の矩形領域に関する情報（以下、「矩形領域情報」と称する）として、複数の矩形領域の起点座標（例えば、マクロブロック内での矩形領域の左上の座標）と、複数の矩形領域の水平／垂直方向サイズ（例えば、矩形領域の水平方向の画素数、垂直方向の画素数）と、複数の矩形領域を識別する矩形領域番号とを記憶している。
ここでは、複数の矩形領域の水平／垂直方向サイズを記憶している例を示しているが、水平／垂直方向サイズの代わりに、複数の矩形領域の終点座標（例えば、マクロブロック内での矩形領域の右下の座標）を記憶するようにしてもよい。
【００２３】
量子化制御部３３は入力画像を構成しているマクロブロック毎に、送信バッファ２５に蓄積されているビットストリームのバッファ量、マクロブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などにしたがってマクロブロックの量子化パラメータＱＰを決定する処理を実施する。
また、量子化制御部３３は画像特徴量演算部３１により演算された画像特徴量にしたがってマクロブロック内の各直交変換ブロックをグループ分けして（例えば、複雑な絵柄が描かれている直交変換ブロックのグループと、平坦な絵柄が描かれている直交変換ブロックのグループとに分ける）、量子化パラメータを変更する当該マクロブロック内の矩形領域（例えば、複雑な絵柄が描かれている直交変換ブロックを含む領域）を特定し、矩形領域情報格納部３２に記憶されている矩形領域情報が示す矩形領域の中で、その特定した矩形領域と最も近い矩形領域を選択する処理を実施する。
【００２４】
また、量子化制御部３３は画像特徴量演算部３１により演算された画像特徴量を用いて、マクロブロックの量子化パラメータＱＰの変移値ｄＱＰを算出し、そのマクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その選択した矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する処理を実施する。
なお、量子化制御部３３はマクロブロックの量子化パラメータＱＰ及び矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを量子化部１８に出力し、その選択した矩形領域を識別する矩形領域番号、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰをエントロピー符号化部２４に出力する。
【００２５】
図１の例では、画像符号化装置の構成要素である符号化部１及び符号化制御部２の各処理部（イントラ予測部１１、動き探索部１２、動き補償予測部１３、差分器１４、イントラ／インター判定部１５、スイッチ１６、直交変換部１７、量子化部１８、逆量子化部１９、逆直交変換部２０、加算器２１、デブロッキングフィルタ部２２、エントロピー符号化部２４、画像特徴量演算部３１、量子化制御部３３）のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されるようにしてもよい。
この場合、符号化部１及び符号化制御部２の各処理部の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
【００２６】
図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
図３において、受信バッファ５１は図１の画像符号化装置により生成されたビットストリームを受信して、そのビットストリームをエントロピー復号部５２に出力する処理を実施する。
エントロピー復号部５２は受信バッファ５１から出力されたビットストリームをエントロピー復号して、ビットストリームの復号データのうち、図１の画像符号化装置の量子化部１８により量子化された変換係数を逆量子化部５５に出力し、量子化制御部３３から出力された矩形領域番号（矩形領域特定情報）、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰを逆量子化パラメータ生成部５４に出力し、イントラ／インター判定部１５の判定結果をスイッチ５９に出力する処理を実施する。
また、エントロピー復号部５２はイントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５７に出力し、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるパーティションの種類、そのパーティションインデックス及び動きベクトルをインター予測画像生成部５８に出力する処理を実施する。
なお、エントロピー復号部５２はエントロピー復号手段を構成している。
【００２７】
矩形領域情報格納部５３は図１の画像符号化装置における矩形領域情報格納部３２と同一の矩形領域情報を格納している記録部である。
即ち、矩形領域情報格納部５３はマクロブロック内の位置又は大きさが異なる複数の矩形領域に関する矩形領域情報として、複数の矩形領域の起点座標（例えば、マクロブロック内での矩形領域の左上の座標）と、複数の矩形領域の水平／垂直方向サイズ（例えば、矩形領域の水平方向の画素数、垂直方向の画素数）と、複数の矩形領域を識別する矩形領域番号とを記憶している。
ここでは、複数の矩形領域の水平／垂直方向サイズを記憶している例を示しているが、水平／垂直方向サイズの代わりに、複数の矩形領域の終点座標（例えば、マクロブロック内での矩形領域の右下の座標）を記憶するようにしてもよい。
【００２８】
逆量子化パラメータ生成部５４は矩形領域情報格納部５３から、エントロピー復号部５２から出力された矩形領域番号に対応する矩形領域の起点座標及び水平／垂直方向サイズを読み出して、その矩形領域に含まれている直交変換ブロックを特定し、エントロピー復号部５２から出力されたマクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その直交変換ブロックの量子化パラメータＱＰｔを算出する処理を実施する。
また、逆量子化パラメータ生成部５４は直交変換ブロックの量子化パラメータＱＰｔを算出すると、その直交変換ブロックの量子化パラメータＱＰｔとマクロブロックの量子化パラメータＱＰを逆量子化部５５に出力する処理を実施する。
なお、逆量子化パラメータ生成部５４は量子化パラメータ演算手段を構成している。
【００２９】
逆量子化部５５はエントロピー復号部５２から出力された変換係数のうち、矩形領域番号に対応する矩形領域に含まれている直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力された直交変換ブロックの量子化パラメータＱＰｔを用いて逆量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力されたマクロブロックの量子化パラメータＱＰを用いて逆量子化する処理を実施する。
逆直交変換部５６は逆量子化部５５から出力された逆量子化後の変換係数を逆直交変換することで、図１の画像符号化装置におけるスイッチ１６から出力された差分画像に相当する差分画像（逆直交変換結果）を加算器６０に出力する処理を実施する。
なお、逆量子化部５５及び逆直交変換部５６から逆量子化手段が構成されている。
【００３０】
イントラ予測画像生成部５７はエントロピー復号部５２からイントラ予測モードが出力された場合、加算器６０により既に復号が終了している周辺のマクロブロックの復号画像から、そのイントラ予測モードによって図１の画像符号化装置におけるイントラ予測部１１により生成される予測画像に相当する予測画像を生成する処理を実施する。
インター予測画像生成部５８はエントロピー復号部５２から動きベクトルが出力された場合、その動きベクトルを用いて、マクロブロックと同じか、あるいは、マクロブロックよりサイズが小さいパーティションの単位で、フレームメモリ６２により格納されている復号画像に対する動き補償予測処理を実施することで、図１の画像符号化装置における動き補償予測部１３により生成される予測画像に相当する予測画像を生成する処理を実施する。
【００３１】
スイッチ５９はエントロピー復号部５２から出力されたイントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測画像生成部５７により生成された予測画像を加算器６０に出力し、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、インター予測画像生成部５８により生成された予測画像を加算器６０に出力する処理を実施する。
なお、イントラ予測画像生成部５７、インター予測画像生成部５８及びスイッチ５９から予測画像生成手段が構成されている。
【００３２】
加算器６０はスイッチ５９から出力された予測画像と逆直交変換部５６から出力された差分画像を加算して復号画像を生成する処理を実施する。なお、加算器６０は復号画像生成手段を構成している。
デブロッキングフィルタ部６１は加算器６０により生成された復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の復号画像をフレームメモリ６２に格納する処理を実施する。
【００３３】
フレームメモリ６２は歪み補償後の復号画像を格納する記録部である。
スイッチ６３はデブロッキングフィルタ部６１による歪み補償後の復号画像又はフレームメモリ６２により格納されている復号画像を表示順に選択して、選択した復号画像を出力する処理を実施する。
【００３４】
図３の例では、画像復号装置の構成要素であるエントロピー復号部５２、逆量子化パラメータ生成部５４、逆量子化部５５、逆直交変換部５６、イントラ予測画像生成部５７、インター予測画像生成部５８、スイッチ５９、加算器６０、デブロッキングフィルタ部６１及びスイッチ６３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成されるようにしてもよい。
この場合、エントロピー復号部５２、逆量子化パラメータ生成部５４、逆量子化部５５、逆直交変換部５６、イントラ予測画像生成部５７、インター予測画像生成部５８、スイッチ５９、加算器６０、デブロッキングフィルタ部６１及びスイッチ６３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図４はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
【００３５】
次に動作について説明する。
最初に、画像符号化装置の処理内容を説明する。
符号化部１のイントラ予測部１１は、入力画像を構成しているマクロブロック毎に、最適なイントラ予測モードを選択し、そのイントラ予測モードによって、既に符号化が終了している周辺のマクロブロックの局部復号画像から予測画像を生成する（図２のステップＳＴ１）。ただし、最適なイントラ予測モードを選択して予測画像を生成する技術は、公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。
イントラ予測部１１は、局部復号画像から予測画像を生成すると、入力画像を構成しているマクロブロックの画像と予測画像の差分画像を生成し、その差分画像をスイッチ１６に出力する（ステップＳＴ２）。また、最適なイントラ予測モードをエントロピー符号化部２４に出力する。
【００３６】
動き探索部１２は、入力画像を構成しているマクロブロック毎に、当該マクロブロックの画像とフレームメモリ２３により格納されている局部復号画像を比較することで動き探索を実施して、動きベクトルを算出する。動きベクトルの算出処理も公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。
動き補償予測部１３は、動き探索部１２が動きベクトルを算出すると、その動きベクトルを用いて、マクロブロックと同じか、あるいは、マクロブロックよりサイズが小さいパーティションの単位でフレームメモリ２３により格納されている局部復号画像に対する動き補償予測処理を実施することで、予測画像を生成する（ステップＳＴ３）。動き補償予測処理についても公知の技術であるため詳細な説明を省略する（例えば、Ｈ．２６４を参照）。
差分器１４は、動き補償予測部１３が予測画像を生成すると、当該マクロブロックの画像と予測画像の差分を求めることで差分画像を生成し、その差分画像をスイッチ１６に出力する（ステップＳＴ４）。
【００３７】
イントラ／インター判定部１５は、イントラ予測部１１及び動き補償予測部１３が予測画像を生成すると、イントラ予測部１１により生成された予測画像とマクロブロックの画像を比較するとともに、動き補償予測部１３により生成された予測画像とマクロブロックの画像を比較し、双方の比較結果を参照して最適な予測画像を判定する。
最適な予測画像の判定処理として、一般的に広く行われている方法は、マクロブロックの画像と予測画像の同一画素位置における画素の差分絶対値あるいは差分自乗値をブロック分累算した値を評価値として使用するものである。この場合、評価値が小さくなる方の予測画像が最適な予測画像であると判定する。
イントラ／インター判定部１５は、最適な予測画像を判定すると、その予測画像を加算器２１に出力する。また、最適な予測画像を示す判定結果をスイッチ１６及びエントロピー符号化部２４に出力する。
【００３８】
スイッチ１６は、イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ５）、イントラ予測部１１により生成された差分画像を選択して直交変換部１７に出力する（ステップＳＴ６）。
一方、判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ５）、差分器１４により生成された差分画像を選択して直交変換部１７に出力する（ステップＳＴ７）。
【００３９】
直交変換部１７は、スイッチ１６から差分画像を受けると、図１４に示すような直交変換ブロック（４×４ブロック、または、８×８ブロック）の単位で、その差分画像を直交変換して、その差分画像の直交変換結果である変換係数を量子化部１８に出力する（ステップＳＴ８）。
【００４０】
符号化制御部２の画像特徴量演算部３１は、入力画像を構成しているマクロブロック毎に、当該マクロブロックの画像特徴量を演算する。
例えば、マクロブロックの画像特徴量として、マクロブロックを構成している直交変換ブロック毎に、当該直交変換ブロックの画素の分散値などを演算する。
分散値が小さい直交変換ブロックは、平坦な絵柄が描かれているブロックであることを表し、分散値が大きい直交変換ブロックは、細かな模様が描かれているブロックであることを表している。
例えば、マクロブロックが図１４に示すような４画素×４ラインに分割されているとき、当該マクロブロックが図１５に示すような画像である場合、番号が０、１、２、４、５、８、１０、１１、１４、１５の直交変換ブロックの分散値が小さくなり、番号が３、６、７、９、１２、１３の直交変換ブロックの分散値が大きくなる。
図５はマクロブロックが図１５に示すような画像である場合の４画素×４ライン単位の画素の分散値の一例を示す説明図である。
【００４１】
量子化制御部３３は、入力画像を構成しているマクロブロック毎に、送信バッファ２５に蓄積されているビットストリームのバッファ量、マクロブロック毎の目標符号量や、実際に発生しているビットストリームの符号量などにしたがってマクロブロックの量子化パラメータＱＰを決定する（ステップＳＴ９）。
マクロブロックの量子化パラメータＱＰを決定する処理としては、例えば、ＭＰＥＧ−２の検証試験で使用されているＴＭ５と呼ばれる方法がある（例えば、テレビジョン学会誌、１９９５年４月号、Ｖｏｌ４９、Ｎｏ４を参照）。
【００４２】
量子化制御部３３は、画像特徴量演算部３１がマクロブロックの画像特徴量を演算すると、その画像特徴量にしたがってマクロブロック内の各直交変換ブロックをグループ分けして、量子化パラメータを変更する当該マクロブロック内の矩形領域を特定する。
例えば、複雑な絵柄が描かれている直交変換ブロックのグループと、平坦な絵柄が描かれている直交変換ブロックのグループとに分けて、複雑な絵柄が描かれている直交変換ブロックを含む領域を、量子化パラメータを変更するマクロブロック内の矩形領域として特定する。
上述したように、平坦な背景では分散値が小さく、細かい模様の部分では分散値が大きいので、例えば、０〜９、１０〜１９、・・・のように分散値を区切り、各直交変換ブロックの分散値がどの分類に入るかによってグループ化を行う。
あるいは、１６個の直交変換ブロックの分散値の平均を求め、その平均値と各直交変換ブロックの分散値との大小を比較することで、各直交変換ブロックを２つにグループに分類する。
【００４３】
ここで、矩形領域情報格納部３２には、図６に示すように、マクロブロック内の位置又は大きさが異なる複数の矩形領域に関する矩形領域情報が記憶されている。図６の例では、３個の矩形領域が表されている。
即ち、矩形領域情報格納部３２には、図７に示すように、複数の矩形領域の起点座標（例えば、マクロブロック内での矩形領域の左上の座標）と、複数の矩形領域の水平方向サイズ及び垂直方向サイズ（例えば、矩形領域の水平方向の画素数、垂直方向の画素数）と、複数の矩形領域を識別する矩形領域番号とが記憶されている。
【００４４】
量子化制御部３３は、マクロブロック内の各直交変換ブロックをグループ分けして、量子化パラメータを変更する当該マクロブロック内の矩形領域を特定すると、矩形領域情報格納部３２に記憶されている矩形領域情報が示す矩形領域の中で、その特定した矩形領域と最も近い矩形領域を選択する。
例えば、図８及び図９に示すように、予め、マクロブロック内の矩形領域が８個定義されており、８個の矩形領域を識別する矩形領域番号が矩形領域情報格納部３２に記憶されている場合において、量子化制御部３３によって、図５の太線枠で示す領域が矩形領域であるとして特定されていれば、その矩形領域と最も近い矩形領域として、矩形領域番号が「４」の矩形領域が選択される。
なお、量子化制御部３３は、マクロブロック毎に選択した矩形領域の矩形領域情報を１フレーム分記憶しておき、そのフレームにおいて選択した矩形領域の個数が多い順に、矩形領域の順位付けを行う。その順位に従って、次のフレームで矩形領域情報格納部３２に保持しておく矩形領域の矩形領域情報を決定する。
【００４５】
量子化制御部３３は、量子化パラメータを変更するマクロブロック内の矩形領域を特定し、矩形領域情報格納部３２に記憶されている矩形領域情報が示す矩形領域の中で、その特定した矩形領域と最も近い矩形領域を選択すると、画像特徴量演算部３１により演算された画像特徴量を用いて、マクロブロックの量子化パラメータＱＰの変移値ｄＱＰを算出する。
例えば、選択した矩形領域に含まれている直交変換ブロックの分散値の平均値を算出し、その平均値が大きい程、大きな変移値ｄＱＰを得るようにする。
【００４６】
量子化制御部３３は、マクロブロックの量子化パラメータＱＰの変移値ｄＱＰを算出すると、下記に示すように、そのマクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その選択した矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する（ステップＳＴ１０）。
ＱＰｔ＝ＱＰ＋ｄＱＰ
ここで、ｄＱＰは正負の値をとることができる。算出結果である直交変換ブロックの量子化パラメータＱＰｔが規格により規定されているレンジを超えている場合には、レンジに収まるようにリミット処理を行うものとする。
【００４７】
量子化制御部３３は、直交変換ブロックの量子化パラメータＱＰｔを算出すると、その直交変換ブロックの量子化パラメータＱＰｔとマクロブロックの量子化パラメータＱＰを量子化部１８に出力する。
また、選択した矩形領域を識別する矩形領域番号、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰをエントロピー符号化部２４に出力する。
【００４８】
量子化部１８は、マクロブロック内の直交変換ブロック毎に、符号化制御部２の量子化制御部３３から出力された量子化パラメータを用いて、直交変換部１７から出力された変換係数を量子化する（ステップＳＴ１１）。
即ち、量子化部１８は、直交変換部１７から出力された変換係数のうち、量子化制御部３３により選択された矩形領域に含まれている直交変換ブロック（例えば、図１４の番号３、６、７、９、１２、１３の直交変換ブロック）の変換係数については、量子化制御部３３により算出された直交変換ブロックの量子化パラメータＱＰｔを用いて量子化する。
一方、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロック（例えば、図１４の０、１、２、４、５、８、１０、１１、１４、１５の直交変換ブロック）の変換係数については、量子化制御部３３により決定されたマクロブロックの量子化パラメータＱＰを用いて量子化する。
【００４９】
逆量子化部１９は、量子化部１８が差分画像の変換係数を量子化すると、マクロブロック内の直交変換ブロック毎に、量子化部１８と同様の量子化パラメータを用いて、量子化部１８により量子化された変換係数を逆量子化することで、直交変換部１７から出力された変換係数に相当する変換係数を逆直交変換部２０に出力する。
逆直交変換部２０は、逆量子化部１９から変換係数を受けると、その変換係数を逆直交変換することで、スイッチ１６から出力された差分画像に相当する差分画像（逆直交変換結果）を加算器２１に出力する。
【００５０】
加算器２１は、逆直交変換部２０から出力された差分画像とイントラ／インター判定部１５により選択された予測画像を加算して局部復号画像を生成する。生成された局部復号画像はデブロッキングフィルタ部２２に出力されると同時に、イントラ予測における予測画像生成のためにイントラ予測部１１に対しても出力される。
デブロッキングフィルタ部２２は、加算器２１が局部復号画像を生成すると、その局部復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の局部復号画像をフレームメモリ２３に格納する。
【００５１】
エントロピー符号化部２４は、以下の情報をエントロピー符号化してビットストリームを生成する（ステップＳＴ１２）。
・量子化部１８により量子化された変換係数
・マクロブロックの量子化パラメータＱＰ
・矩形領域番号
・量子化パラメータＱＰの変移値ｄＱＰ
・イントラ／インター判定部１５の判定結果
・予測画像の生成に用いられた予測画像生成用情報（イントラ／インター判定部１５から出力された判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、イントラ予測部１１により選択されたイントラ予測モード、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、動き探索部１２により算出されたパーティションの種類、そのパーティションのインデックス及び動きベクトル）
【００５２】
送信バッファ２５は、エントロピー符号化部２４がビットストリームを生成すると、そのビットストリームを一時的に保持してから、例えば、回線などの外部の伝送手段を介して、そのビットストリームを画像復号装置に送信する。
【００５３】
以上で明らかなように、この実施の形態１によれば、マクロブロック毎に量子化パラメータＱＰを決定する一方、マクロブロックの画像特徴量にしたがって量子化パラメータＱＰを変更する当該マクロブロック内の矩形領域を特定するとともに、その量子化パラメータの変移値ｄＱＰを算出し、当該マクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する量子化制御部３３を設け、量子化部１８が、直交変換部１７から出力された変換係数のうち、その矩形領域に含まれている直交変換ブロックの変換係数については、量子化制御部３３により算出された直交変換ブロックの量子化パラメータＱＰｔを用いて量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、量子化制御部３３により決定されたマクロブロックの量子化パラメータＱＰを用いて量子化するように構成したので、画像復号装置側に伝送する量子化パラメータの情報量の大幅な増加を招くことなく、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を高めることができる効果を奏する。
即ち、マクロブロック内において、視覚的に画質劣化が顕著な直交変換ブロックの画質を改善することができる効果を奏する。
【００５４】
次に、画像復号装置の処理内容を説明する。
受信バッファ５１は、図１の画像符号化装置から送信されたビットストリームを受信し、そのビットストリームをエントロピー復号部５２に出力する。
エントロピー復号部５２は、受信バッファ５１からビットストリームを受けると、そのビットストリームをエントロピー復号する（図４のステップＳＴ２１）。
【００５５】
エントロピー復号部５２は、ビットストリームの復号データのうち、図１の画像符号化装置の量子化部１８により量子化された変換係数を逆量子化部５５に出力し、量子化制御部３３から出力された矩形領域番号、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰを逆量子化パラメータ生成部５４に出力し、イントラ／インター判定部１５の判定結果をスイッチ５９に出力する。
また、エントロピー復号部５２は、イントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるイントラ予測モードをイントラ予測画像生成部５７に出力し、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば、予測画像生成用情報であるパーティションの種類、そのパーティションインデックス及び動きベクトルをインター予測画像生成部５８に出力する。
【００５６】
逆量子化パラメータ生成部５４は、エントロピー復号部５２から矩形領域番号、マクロブロックの量子化パラメータＱＰ及び量子化パラメータＱＰの変移値ｄＱＰを受けると、矩形領域情報格納部５３から矩形領域番号に対応する矩形領域の起点座標と、水平方向サイズ及び垂直方向サイズを読み出して、その矩形領域に含まれている直交変換ブロックを特定する。
そして、逆量子化パラメータ生成部５４は、エントロピー復号部５２から出力されたマクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その直交変換ブロックの量子化パラメータＱＰｔを算出する（ステップＳＴ２２）。
ＱＰｔ＝ＱＰ＋ｄＱＰ
逆量子化パラメータ生成部５４は、直交変換ブロックの量子化パラメータＱＰｔを算出すると、その直交変換ブロックの量子化パラメータＱＰｔとマクロブロックの量子化パラメータＱＰを逆量子化部５５に出力する。
【００５７】
逆量子化部５５は、逆量子化パラメータ生成部５４から直交変換ブロックの量子化パラメータＱＰｔとマクロブロックの量子化パラメータＱＰを受けると、マクロブロック内の直交変換ブロック毎に、直交変換ブロックの量子化パラメータＱＰｔ又はマクロブロックの量子化パラメータＱＰを用いて、エントロピー復号部５２から出力された変換係数を逆量子化する（ステップＳＴ２３）。
即ち、逆量子化部５５は、エントロピー復号部５２から出力された変換係数のうち、矩形領域番号に対応する矩形領域に含まれている直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力された直交変換ブロックの量子化パラメータＱＰｔを用いて逆量子化する。
一方、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力されたマクロブロックの量子化パラメータＱＰを用いて逆量子化する処理を実施する。
【００５８】
逆直交変換部５６は、逆量子化部５５から逆量子化後の変換係数を受けると、その変換係数を逆直交変換することで、図１の画像符号化装置におけるスイッチ１６から出力された差分画像に相当する差分画像（逆直交変換結果）を加算器６０に出力する（ステップＳＴ２４）。
【００５９】
イントラ予測画像生成部５７は、エントロピー復号部５２からイントラ予測モードを受けると、加算器６０により既に復号が終了している周辺のマクロブロックの復号画像から、そのイントラ予測モードによって図１の画像符号化装置におけるイントラ予測部１１により生成される予測画像に相当する予測画像を生成する（ステップＳＴ２５）。
インター予測画像生成部５８は、エントロピー復号部５２から動きベクトルを受けると、その動きベクトルを用いて、マクロブロックと同じか、あるいは、マクロブロックよりサイズが小さいパーティションの単位で、フレームメモリ６２により格納されている復号画像に対する動き補償予測処理を実施することで、図１の画像符号化装置における動き補償予測部１３により生成される予測画像に相当する予測画像を生成する（ステップＳＴ２６）。
【００６０】
スイッチ５９は、エントロピー復号部５２から出力されたイントラ／インター判定部１５の判定結果が、イントラ予測部１１により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ２７）、イントラ予測画像生成部５７により生成された予測画像を加算器６０に出力する（ステップＳＴ２８）。
一方、イントラ／インター判定部１５の判定結果が、動き補償予測部１３により生成された予測画像が最適な予測画像である旨を示していれば（ステップＳＴ２７）、インター予測画像生成部５８により生成された予測画像を加算器６０に出力する（ステップＳＴ２９）。
【００６１】
加算器６０は、スイッチ５９から出力された予測画像と、逆直交変換部５６から出力された差分画像とを加算して復号画像を生成し、その復号画像をデブロッキングフィルタ部６１に出力する（ステップＳＴ３０）。
デブロッキングフィルタ部６１は、加算器６０から復号画像を受けると、その復号画像に対するデブロッキングフィルタ処理を実施して圧縮に伴う歪みを補償し、歪み補償後の復号画像をフレームメモリ６２に格納する。
スイッチ６３は、加算器６０により生成された復号画像又はフレームメモリ６２により格納されている復号画像を表示順に選択して、その選択した復号画像を出力する。
【００６２】
以上で明らかなように、この実施の形態１によれば、矩形領域情報格納部５３から、エントロピー復号部５２から出力された矩形領域番号に対応する矩形領域の起点座標及び水平／垂直方向サイズを読み出して、その矩形領域に含まれている直交変換ブロックを特定し、エントロピー復号部５２から出力されたマクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、その直交変換ブロックの量子化パラメータＱＰｔを算出する逆量子化パラメータ生成部５４を設け、逆量子化部５５が、エントロピー復号部５２から出力された変換係数のうち、矩形領域番号に対応する矩形領域に含まれている直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力された直交変換ブロックの量子化パラメータＱＰｔを用いて逆量子化し、その矩形領域に含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力されたマクロブロックの量子化パラメータＱＰを用いて逆量子化するように構成したので、複雑な絵柄と平坦な絵柄が混在しているマクロブロックの主観画質を高めることができる効果を奏する。
即ち、マクロブロック内において、視覚的に画質劣化が顕著な直交変換ブロックの画質を改善することができる効果を奏する。
【００６３】
この実施の形態１では、Ｈ．２６４を適用する画像符号化装置を示したが、Ｈ．２６４では、マクロブロック内の直交変換ブロックが、４×４ブロック又は８×８ブロックのいずれか一つに固定されている。
しかし、今後の符号化方式においては、その他の大きさの直交変換ブロック（例えば、１６×１６）を含めて、マクロブロック内に複数種類の直交変換ブロックが混在することもあり得る。
【００６４】
また、マクロブロックのサイズが現状の１６×１６ブロックよりも大きい３２×３２ブロック等に拡張された場合には、細かい絵柄と平坦な絵柄が同一のマクロブロックに混在することが多くなると想定されるため、直交変換ブロック単位で量子化パラメータを変更できることが、より画質改善において効果的となる。
【００６５】
この実施の形態１では、入力画像を構成しているマクロブロック毎に、当該マクロブロックの量子化パラメータＱＰから直交変換ブロックの量子化パラメータＱＰｔに変換するための変移値ｄＱＰをビットストリームに含めて画像復号装置側に送信しているものを示したが、その変移値ｄＱＰをピクチャあるいはスライス毎に送信するようにしてもよい。
この場合には、矩形領域番号によらず、ピクチャあるいはスライスにおける全てのマクロブロック内の矩形領域に対して、同一の変移値ｄＱＰが適用されることになるが、マクロブロック毎に変移値ｄＱＰを送信しないため、その分だけビット伝送量が削減される。
あるいは、矩形領域番号と変移値ｄＱＰのセットをピクチャあるいはスライスごとに送信するようにしてもよい。
この場合には、マクロブロック毎に変移値ｄＱＰを送信しないため、その分だけビット伝送量が削減される上に、矩形領域の種類に応じて異なる量子化パラメータを適用することができる。
【００６６】
この実施の形態１では、矩形領域情報が矩形領域情報格納部３２に格納されているものを示したが、例えば、入力画像から求められるピクチャやスライス毎の統計量に基づいて、矩形領域情報が更新（新規追加を含む）されることがある。矩形領域情報の更新は、ピクチャあるいはスライスの周期で行われる。
エントロピー符号化部２４は、矩形領域情報格納部３２に格納されている矩形領域情報が更新された場合、更新後の矩形領域情報をエントロピー符号化する。
なお、エントロピー符号化部２４は、更新後の矩形領域情報をピクチャ又はスライスのヘッダ情報に多重して画像復号装置側に送信する。
これにより、画像復号装置の矩形領域情報格納部５３は、更新後の矩形領域情報を格納する。
【００６７】
この実施の形態１では、矩形領域情報格納部３２が記憶している矩形領域情報の個数を特に限定していないが、矩形領域情報の個数が多くなると、それらの矩形領域を識別する矩形領域番号を表すためのビット量も多くなる。
そこで、予め、ピクチャ又はスライスで使用する１以上の矩形領域番号をピクチャあるいはスライスのヘッダ情報に多重して画像復号装置側に送信し、その矩形領域番号に対応する小番号を用意する。
マクロブロック単位では、量子化パラメータを変更するマクロブロック内の矩形領域を識別する矩形領域番号を送信する代わりに、その矩形領域番号に対応する小番号を画像復号装置側に送信することで、矩形領域番号を表すためのビット量を削減するようにする。
具体的には、以下の通りである。
【００６８】
例えば、図１０に示すように、矩形領域情報格納部３２に記憶されている矩形領域番号が０〜３１までの３２個であるとする。
この場合、３２個の矩形領域番号を表すには５ビット必要になり、マクロブロック毎に矩形領域番号を送信しようとすると、マクロブロック毎に５ビットの情報量を伝送する必要がある。
しかし、ピクチャあるいはスライスで使用する矩形領域番号が３２個ではなく、例えば、「１」、「５」、「１３」、「２４」の４個に限られるような場合がある。
このような場合、予め、４個の矩形領域番号をピクチャあるいはスライスのヘッダ情報に多重して画像復号装置側に送信する。
【００６９】
また、４個の矩形領域番号に対応する小番号を用意する。図１０の例では、矩形領域番号「１」に対応する小番号「０」、矩形領域番号「５」に対応する小番号「１」、矩形領域番号「１３」に対応する小番号「２」、矩形領域番号「２４」に対応する小番号「３」を用意している。
エントロピー符号化部２４は、マクロブロック単位で量子化パラメータを変更するマクロブロック内の矩形領域を識別する矩形領域番号を送信する際、その矩形領域番号を送信する代わりに、その矩形領域番号に対応する小番号をビットストリームに多重して画像復号装置側に送信する。
例えば、量子化パラメータを変更する矩形領域を識別する矩形領域番号が「１」であれば、小番号「０」を送信し、その矩形領域番号が「５」であれば、小番号「１」を送信し、矩形領域番号が「１３」であれば、小番号「２」を送信し、矩形領域番号が「２４」であれば、小番号「３」を送信する。
「０」〜「３」の小番号は、２ビットで表現することができるため、伝送ビット量を削減することができる。
ここでは、「０」〜「３」の小番号を用意している例を示しているが、矩形領域番号「１」、「５」、「１３」、「２４」より小さな番号であれば、「０」〜「３」の小番号に限るものではない。
【００７０】
なお、この実施の形態１では、画像特徴量演算部３１がマクロブロックの画像特徴量として、マクロブロックを構成している直交変換ブロック毎に、当該直交変換ブロックの画素の分散値を演算するものを示したが、分散値を演算するものに限るものではなく、例えば、マクロブロックの画像特徴量として、直交変換部１７から出力される直交変換ブロックの変換係数の分布などを演算するようにしてもよい。
【００７１】
実施の形態２．
上記実施の形態１では、量子化制御部３３が、量子化パラメータを変更するマクロブロック内の矩形領域を１個特定し、矩形領域情報格納部３２に記憶されている矩形領域情報が示す矩形領域の中で、その特定した１個の矩形領域と最も近い矩形領域を選択するものを示したが、量子化パラメータを変更するマクロブロック内の矩形領域を複数個特定して、複数個の矩形領域と最も近い矩形領域をそれぞれ選択するようにしてもよい。
この場合、選択した複数個の矩形領域のそれぞれについて、量子化パラメータの変移値ｄＱＰを算出して、マクロブロックの量子化パラメータＱＰと変移値ｄＱＰから、複数個の矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔをそれぞれ算出する。
具体的には、以下の通りである。
【００７２】
量子化制御部３３は、画像特徴量演算部３１がマクロブロックの画像特徴量を演算すると、その画像特徴量にしたがってマクロブロック内の直交変換ブロックのグルーピングを行う。
例えば、マクロブロックのサイズが６４画素×６４ラインなど、Ｈ．２６４よりも大きなサイズのマクロブロックを選択することができる画像符号化では、マクロブロック内の絵柄がより複雑になると考えられる。
【００７３】
ここで、図１１は複雑な絵柄と平坦な絵柄が混在しているマクロブロックの一例を示す説明図であり、図１１の例では、複雑な絵柄が２個描かれている。
複雑な絵柄が複数個描かれている場合、１個の矩形領域で効率よく覆うことは困難である。
このような場合には、複数個の矩形領域を使用することで効率よく覆うことができる。図１２は２個の矩形領域を使用して、２個の複雑な絵柄を覆っている例を示している。
【００７４】
量子化制御部３３は、２個の矩形領域（矩形領域番号Ｍの矩形領域、矩形領域番号Ｎの矩形領域）を選択すると、矩形領域番号Ｍの矩形領域についての変移値ｄＱＰを算出して、その矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出し、また、矩形領域番号Ｎの矩形領域についての変移値ｄＱＰを算出して、その矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する。
【００７５】
変移値ｄＱＰ及び量子化パラメータＱＰｔの算出処理は、上記実施の形態１と同様であるが、図１２に示すように、矩形領域番号Ｍの矩形領域と矩形領域番号Ｎの矩形領域との一部が重なっている場合、重なっている部分の変移値ｄＱＰは、矩形領域番号Ｍの矩形領域についての変移値ｄＱＰ又は矩形領域番号Ｎの矩形領域についての変移値ｄＱＰのいずれか一方を選択して、その重なっている部分の量子化パラメータＱＰｔを算出するようにする。
例えば、画像符号化装置と画像復号装置の間で、矩形領域番号が大きい方の矩形領域についての変移値ｄＱＰを選択する取り決めがあれば、矩形領域番号が大きい方の矩形領域についての変移値ｄＱＰを選択し、矩形領域番号が小さい方の矩形領域についての変移値ｄＱＰを選択する取り決めがあれば、矩形領域番号が小さい方の矩形領域についての変移値ｄＱＰを選択する。
【００７６】
エントロピー符号化部２４は、量子化制御部３３が複数個の矩形領域を選択して、複数個の量子化パラメータの変移値ｄＱＰを算出すると、複数個の矩形領域番号と、複数個の量子化パラメータの変移値ｄＱＰとをエントロピー符号化して、画像復号装置側に送信する。
図１２の例では、矩形領域番号Ｍ，Ｎと、矩形領域番号Ｍ，Ｎの矩形領域についての変移値ｄＱＰをエントロピー符号化して、画像復号装置側に送信する。
【００７７】
画像復号装置のエントロピー復号部５２は、ビットストリームをエントロピー復号し、そのビットストリームの復号データのうち、複数個の矩形領域番号と、複数個の量子化パラメータの変移値ｄＱＰと、マクロブロックの量子化パラメータＱＰとを逆量子化パラメータ生成部５４に出力する。
図１２の例では、矩形領域番号Ｍ，Ｎと、矩形領域番号Ｍ，Ｎの矩形領域についての変移値ｄＱＰと、マクロブロックの量子化パラメータＱＰとを逆量子化パラメータ生成部５４に出力する。
【００７８】
逆量子化パラメータ生成部５４は、エントロピー復号部５２から複数個の矩形領域番号と、複数個の量子化パラメータの変移値ｄＱＰと、マクロブロックの量子化パラメータＱＰとを受けると、マクロブロックの量子化パラメータＱＰと複数個の量子化パラメータの変移値ｄＱＰとから、複数個の矩形領域番号の矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する。
図１２の例では、マクロブロックの量子化パラメータＱＰと、矩形領域番号Ｍの矩形領域についての変移値ｄＱＰとから、矩形領域番号Ｍの矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する。
また、マクロブロックの量子化パラメータＱＰと、矩形領域番号Ｎの矩形領域についての変移値ｄＱＰとから、矩形領域番号Ｎの矩形領域に含まれている直交変換ブロックの量子化パラメータＱＰｔを算出する。
【００７９】
図１２の例では、逆量子化部５５は、エントロピー復号部５２から出力された変換係数のうち、矩形領域番号Ｍの矩形領域に含まれている直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力された矩形領域番号Ｍの矩形領域内の直交変換ブロックの量子化パラメータＱＰｔを用いて逆量子化する。
矩形領域番号Ｎの矩形領域に含まれている直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力された矩形領域番号Ｎの矩形領域内の直交変換ブロックの量子化パラメータＱＰｔを用いて逆量子化する。
矩形領域番号Ｍ，Ｎのいずれにも含まれていない当該マクロブロック内の直交変換ブロックの変換係数については、逆量子化パラメータ生成部５４から出力されたマクロブロックの量子化パラメータＱＰを用いて逆量子化する。
【００８０】
複数個の矩形領域番号と量子化パラメータの変移値ｄＱＰのセットを送信することにより、伝送するビット量が増加するが、６４画素×６４ラインのような大きなマクロブロックサイズでは、１６画素×１６ラインの場合のマクロブロックの１６個分となるため、全体で見れば、それほど大きな増加分とはならない。
さらに、４画素×４ラインの直交変換ブロック単位で量子化パラメータを送信する場合と比較すれば、大幅なビット量の削減になる。
【００８１】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００８２】
１  符号化部、２  符号化制御部（量子化パラメータ決定手段、量子化パラメータ変更手段）、１１  イントラ予測部（差分画像生成手段）、１２  動き探索部（差分画像生成手段）、１３  動き補償予測部（差分画像生成手段）、１４  差分器（差分画像生成手段）、１５  イントラ／インター判定部、１６  スイッチ、１７  直交変換部（量子化手段）、１８  量子化部（量子化手段）、１９  逆量子化部、２０  逆直交変換部、２１  加算器、２２  デブロッキングフィルタ部、２３  フレームメモリ、２４  エントロピー符号化部（エントロピー符号化手段）、２５  送信バッファ、３１  画像特徴量演算部、３２  矩形領域情報格納部、３３  量子化制御部、５１  受信バッファ、５２  エントロピー復号部（エントロピー復号手段）、５３  矩形領域情報格納部、５４  逆量子化パラメータ生成部（量子化パラメータ演算手段）、５５  逆量子化部（逆量子化手段）、５６  逆直交変換部（逆量子化手段）、５７  イントラ予測画像生成部（予測画像生成手段）、５８  インター予測画像生成部（予測画像生成手段）、５９  スイッチ（予測画像生成手段）、６０  加算器（復号画像生成手段）、６１  デブロッキングフィルタ部、６２  フレームメモリ、６３  スイッチ。
【図１】
2012191500.tif 000003
【図２】
2012191500.tif 000004
【図３】
2012191500.tif 000005
【図４】
2012191500.tif 000006
【図５】
2012191500.tif 000007
【図６】
2012191500.tif 000008
【図７】
2012191500.tif 000009
【図８】
2012191500.tif 000010
【図９】
2012191500.tif 000011
【図１０】
2012191500.tif 000012
【図１１】
2012191500.tif 000013
【図１２】
2012191500.tif 000014
【図１３】
2012191500.tif 000015
【図１４】
2012191500.tif 000016
【図１５】
2012191500.tif 000017