(57)【要約】【課題】ローカルデコード画像を記憶する際に符号化効率を高めても、復号時に良好な画質のデコード画像を得ることができるようにする。【解決手段】符号化処理部は、入力画像と予測画像との差分画像を符号化して符号化データを生成する。復号処理部は、符号化データの復号を行いローカルデコード画像を生成する。ローカルデコード画像符号化部２５は、ローカルデコード画像を符号化してメモリに記憶させる。ローカルデコード画像復号部２７は、メモリに符号化して記憶されているローカルデコード画像の復号を行う。符号化歪み制御部２８は、ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて符号化データの生成を制御して、符号化歪みの影響を低減させる。【選択図】        図１
2012253722.tif 000002
【特許請求の範囲】
【請求項１】
入力画像と予測画像との差分画像を符号化して符号化データを生成する符号化処理部と、
前記符号化データの復号を行いローカルデコード画像を生成する復号処理部と、
前記ローカルデコード画像を符号化してメモリに記憶させるローカルデコード画像符号化部と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する制御部と
を備える画像符号化装置。
【請求項２】
前記制御部は、前記符号化歪み情報に応じて前記差分画像の符号化に用いる量子化パラメータを調整する
請求項１記載の画像符号化装置。
【請求項３】
前記制御部は、前記符号化歪み情報に応じて前記差分画像の符号化に用いる量子化パラメータの範囲を制限し、
前記符号化処理部は、前記範囲の制限結果を用いて前記量子化パラメータの符号化を行う
請求項１記載の画像符号化装置。
【請求項４】
前記ローカルデコード画像のフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記制御部は、前記符号化歪み情報に応じて前記デブロッキングフィルタのフィルタ強度を変更する
請求項１記載の画像符号化装置。
【請求項５】
前記符号化処理部は、前記復号後のローカルデコード画像を用いてイントラ予測画像とインター予測画像を生成し、
前記制御部は、前記符号化歪み情報に応じて前記イントラ予測画像またはインター予測画像を選択して前記予測画像とする
請求項１記載の画像符号化装置。
【請求項６】
入力画像と予測画像との差分画像を符号化して符号化データを生成する工程と、
前記符号化データの復号を行いローカルデコード画像を生成する工程と、
前記ローカルデコード画像を符号化してメモリに記憶させる工程と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行う工程と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する工程と
を含む画像符号化方法。
【請求項７】
入力画像と予測画像との差分画像を符号化して符号化データを生成する手順と、
前記符号化データの復号を行いローカルデコード画像を生成する手順と、
前記ローカルデコード画像を符号化してメモリに記憶させる手順と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行う手順と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する手順と
をコンピュータで実行させるプログラム。
【請求項８】
符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する復号処理部と、
前記デコード画像をローカルデコード画像として符号化してメモリに記憶させるローカルデコード画像符号化部と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する制御部と
を備える画像復号装置。
【請求項９】
前記制御部は、前記符号化歪み情報に応じて量子化パラメータの範囲を制限し、
前記復号処理部は、前記符号化ストリームに符号化して含められている量子化パラメータの復号を前記範囲の制限結果を用いて行い、得られた量子化パラメータを用いて復号を行い差分画像を生成する
請求項８記載の画像復号装置。
【請求項１０】
前記ローカルデコード画像のフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記制御部は、前記符号化歪み情報に応じて前記デブロッキングフィルタのフィルタ強度を変更する
請求項８記載の画像復号装置。
【請求項１１】
前記復号処理部は、前記復号後のローカルデコード画像を用いて前記イントラ予測画像とインター予測画像を生成し、
前記制御部は、前記符号化歪み情報に応じて前記イントラ予測画像またはインター予測画像を選択して前記予測画像とする
請求項８記載の画像復号装置。
【請求項１２】
符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する工程と、
前記デコード画像をローカルデコード画像として符号化してメモリに記憶させる工程と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行う工程と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する工程と
を含む画像復号方法。
【請求項１３】
符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する手順と、
前記デコード画像をローカルデコード画像として符号化してメモリに記憶させる手順と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行う手順と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する手順と
をコンピュータで実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この技術は、画像符号化装置と画像復号装置およびその方法とプログラムに関する。詳しくは、ローカルデコード画像を記憶する際に符号化効率を高めても、復号時に良好な画質のデコード画像を得られるようにする。
【背景技術】
【０００２】
近年、画像情報をディジタルとして取り扱い、効率の高い情報の伝送や蓄積を行う装置、例えばＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）やＨ．２６４／ＡＶＣ（Advanced Video Coding)等の方式に準拠した装置が広く普及している。ＭＰＥＧ等のようにフレーム間相関を用いる符号化方式では、動き補償を行うために参照する画像例えば１フレーム前のローカルデコード画像を一度メモリなどの記憶装置に記憶することが行われている。
【０００３】
メモリなどの記憶装置は、容量、データ帯域（１秒あたりに読み書きできるデータ量）に制約があり、利用するデータ容量、帯域が少ないほどコストを下げることが可能である。そこで、特許文献１や特許文献２では、ローカルデコード画像を符号化して記憶装置に記憶させる行うことが提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１３５８８５号公報
【特許文献２】特開平１０−２７１５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、符号化では、可逆符号化方式や非可逆符号化方式が用いられている。非可逆符号化方式は、データの欠落を許容することで可逆符号化方式よりも符号化効率を高められることから、利用するデータ容量や帯域を少なくしてコストダウンをはかることができる。しかし、ローカルデコード画像の符号化において非可逆符号化方式を用いた場合、データの欠落を許容することから、同じ圧縮方式の非可逆符号化を利用しない符号化装置では、復号時にデコード画像の画質劣化を生じるおそれがある。
【０００６】
そこで、この技術では、ローカルデコード画像を記憶する際に符号化効率を高めても、復号時に良好な画質のデコード画像を得ることができる画像符号化装置と画像復号装置およびその方法とプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この技術の第１の側面は、入力画像と予測画像との差分画像を符号化して符号化データを生成する符号化処理部と、前記符号化データの復号を行いローカルデコード画像を生成する復号処理部と、前記ローカルデコード画像を符号化してメモリに記憶させるローカルデコード画像符号化部と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する制御部とを備える画像符号化装置にある。
【０００８】
この技術においては、入力画像と予測画像との差分画像を符号化して符号化データが生成される。また、符号化データの復号を行いローカルデコード画像が生成されて、ローカルデコード画像が符号化されてメモリに記憶させる。また、メモリに符号化して記憶されているローカルデコード画像が復号されて、このローカルデコード画像を用いて予測画像の生成が行われる。ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、符号化歪みの影響が低減するように例えば差分画像の符号化に用いる量子化パラメータの調整が行われる。また、符号化歪み情報に応じて量子化パラメータの範囲が制限されて、制限結果を用いて量子化パラメータの符号化が行われる。また、符号化歪み情報に応じてデブロッキングフィルタのフィルタ強度の変更や、イントラ予測画像またはインター予測画像の選択が行われる。
【０００９】
この技術の第２の側面は、入力画像と予測画像との差分画像を符号化して符号化データを生成する工程と、前記符号化データの復号を行いローカルデコード画像を生成する工程と、前記ローカルデコード画像を符号化してメモリに記憶させる工程と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行う工程と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する工程とを含む画像符号化方法にある。
【００１０】
この技術の第３の側面は、入力画像と予測画像との差分画像を符号化して符号化データを生成する手順と、前記符号化データの復号を行いローカルデコード画像を生成する手順と、前記ローカルデコード画像を符号化してメモリに記憶させる手順と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行う手順と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する手順とをコンピュータで実行させるプログラムにある。
【００１１】
この技術の第４の側面は、符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する復号処理部と、前記デコード画像をローカルデコード画像として符号化してメモリに記憶させるローカルデコード画像符号化部と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する制御部とを備える画像復号装置にある。
【００１２】
この技術においては、符号化ストリームの復号を行い差分画像が生成されて、この差分画像に予測画像を加えてデコード画像が生成される。また、デコード画像をローカルデコード画像として符号化してメモリに記憶される。また、メモリに符号化して記憶されているローカルデコード画像が復号されて、このローカルデコード画像を用いて予測画像の生成が行われる。ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、例えば量子化パラメータの範囲が制限されて、符号化ストリームに符号化して含められている量子化パラメータの復号が範囲の制限結果を用いて行われて、復号後の量子化パラメータを用いて復号を行い差分画像が生成される。また、符号化歪み情報に応じてデブロッキングフィルタのフィルタ強度が変更される。さらに、符号化歪み情報に応じてイントラ予測画像またはインター予測画像が選択されて予測画像として用いられる。
【００１３】
この技術の第５の側面は、符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する工程と、前記デコード画像をローカルデコード画像として符号化してメモリに記憶させる工程と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行う工程と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する工程とを含む画像復号方法にある。
【００１４】
この技術の第６の側面は、符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する手順と、前記デコード画像をローカルデコード画像として符号化してメモリに記憶させる手順と、前記メモリに符号化して記憶されているローカルデコード画像の復号を行う手順と、前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する手順とをコンピュータで実行させるプログラムにある。
【００１５】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【発明の効果】
【００１６】
この技術によれば、符号化時には、入力画像と予測画像間の差分情報を符号化して生成された符号化データの復号を行いローカルデコード画像が生成される。ローカルデコード画像は符号化してメモリに記憶されたのち読み出されて復号される。このローカルデコード画像の符号化／復号処理によって生じる符号化歪みに応じて符号化データの生成が制御されて、符号化歪みの影響が低減される。また、符号化ストリームの復号処理では、復号処理を行って生成されたデコード画像がローカルデコード画像として符号化してメモリに記憶されたのち読み出されて復号される。このローカルデコード画像の符号化／復号処理によって生じる符号化歪みに応じて、デコード画像の生成が符号化時と同様に制御される。したがって、ローカルデコード画像を記憶する際に符号化効率を高めても、復号時に良好な画質のデコード画像を得ることができるようになる。
【図面の簡単な説明】
【００１７】
【図１】画像符号化装置の構成を示す図である。
【図２】画像符号化装置の動作を示すフローチャートである。
【図３】量子化パラメータの制限動作を例示したフローチャートである。
【図４】画像復号装置の構成を示す図である。
【図５】画像符号化装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像符号化装置の構成
２．画像符号化装置の動作
３．量子化パラメータの調整動作
４．量子化パラメータの制限動作
５．符号化歪みによる影響の他の低減処理動作
６．画像復号装置の構成
７．画像復号装置の動作
８．量子化パラメータの制限が行われた場合の復号動作
９．符号化時に符号化歪みの影響の低減処理が行われた場合の復号動作
１０．ソフトウェア処理の場合
【００１９】
＜１．画像符号化装置の構成＞
図１は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、ローカルデコード画像符号化部２５、メモリ部２６、ローカルデコード画像復号部２７、符号化歪み制御部２８、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
【００２０】
Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
【００２１】
画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とレート制御部１８およびイントラ予測部３１と動き予測・補償部３２に出力する。
【００２２】
減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された入力画像の画像データと予測画像・最適モード選択部３３から供給された予測画像の画像データとの差分である差分画像の画像データ（予測誤差データ）を算出して、直交変換部１４に出力する。
【００２３】
直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
【００２４】
量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８から量子化パラメータ（量子化スケール）が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８で設定された量子化パラメータに応じて量子化データのビットレートを変化させる。
【００２５】
可逆符号化部１６には、量子化部１５から量子化データ、イントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と動きベクトル情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードやブロックサイズ情報等が含まれる。
【００２６】
可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や動きベクトル情報等の可逆符号化を行う。さらに、可逆符号化部１６は、量子化パラメータに関する情報の可逆符号化を行う。可逆符号化部１６は、可逆符号化後の情報を符号化ストリームに含める。例えば可逆符号化部１６は、符号化ストリームのヘッダに含める。
【００２７】
蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
【００２８】
レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量が少なくなっている場合には量子化データのビットレートが低下して、空き容量が十分大きい場合には量子化データのビットレートが高くなるように量子化パラメータを設定して量子化部１５に出力する。また、レート制御部１８は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータの調整や制限を行う。レート制御部１８は、量子化パラメータ情報の符号化効率を高めるために、量子化パラメータの制限に関する情報を可逆符号化部１６に供給してもよい。なお、量子化パラメータの制限に関する情報は、符号化歪み制御部２８から可逆符号化部１６に供給してもよい。
【００２９】
逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
【００３０】
逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを加算部２３に出力する。
【００３１】
加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算してローカルデコード画像の画像データを生成して、デブロッキングフィルタ２４とイントラ予測部３１に出力する。なお、加算部２３で生成されたローカルデコード画像は、イントラ予測またはインター予測において参照画像として用いられる。
【００３２】
デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをローカルデコード画像符号化部２５に出力する。また、デブロッキングフィルタ２４は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じてフィルタ強度の調整を行う。
【００３３】
ローカルデコード画像符号化部２５は、デブロッキングフィルタ２４でフィルタ処理が行われた画像データを、非可逆符号化方式で符号化してメモリ部２６に出力する。また、ローカルデコード画像符号化部２５は、符号化歪みの程度を示す符号化歪み情報をメモリ部２６に出力する。なお、ローカルデコード画像符号化部２５は、符号化歪み情報を符号化してからメモリ部２６に出力すれば、メモリ部２６に記憶するデータ量を少なくできる。符号化歪み情報は、例えばＪＰＥＧ(Joint Photographic Experts Group)方式を用いて画像データの符号化を行う場合にはＱ値（Quality Number）を用いる。また、ビットプレーン符号化方式を用いて画像データの符号化を行う場合には、ビット切捨て位置を示す情報を用いる。
【００３４】
メモリ部２６は、ローカルデコード画像符号化部２５から供給された符号化データと符号化データに対応する符号化歪み情報を保持する。メモリ部２６から読み出された符号化データと符号化データに対応する符号化歪み情報は、ローカルデコード画像復号部２７に出力される。
【００３５】
ローカルデコード画像復号部２７は、メモリ部２６から供給された符号化データの復号処理を行い、得られた画像データを動き予測・補償部３２に参照画像データとして供給する。また、ローカルデコード画像復号部２７は、メモリ部２６から読み出された符号化歪み情報を符号化歪み制御部２８に出力する。なお、符号化歪み情報が符号化されている場合、ローカルデコード画像復号部２７は、符号化歪み情報の復号処理を行う。
【００３６】
符号化歪み制御部２８は、符号化歪み情報に基づき制御信号を生成してレート制御部１８やデブロッキングフィルタ２４、予測画像・最適モード選択部３３に出力することで、符号化データの生成を制御して符号化歪みの影響を低減させる。
【００３７】
イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データを用いて、候補となる全てもしくは一部のイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
【００３８】
動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとメモリ部２６から供給された参照画像データを用いて動き予測等を行い、候補となる全てもしくは一部のインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報と動きベクトル情報を可逆符号化部１６に出力する。
【００３９】
予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切替えを行う。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に基づいて最適モードを指定する処理を行う。なお、符号化歪み制御部２８からの信号に基づき、予測画像・最適モード選択部３３、イントラ予測部３１の中の最適モードを選択しても良い。
【００４０】
このように、画像符号化装置１０では、イントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３によって予測画像の生成処理が行われる。また、生成された予測画像と入力画像を用いて、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７およびレート制御部１８で処理が行われて符号化データが生成される。また、画像符号化装置１０では、逆量子化部２１、逆直交変換部２２、加算部２３によって、ローカルデコード画像の生成が行われる。
【００４１】
＜２．画像符号化装置の動作＞
次に、画像符号化装置の動作について、図２に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
【００４２】
ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
【００４３】
ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並び替えられた入力画像の画像データと予測画像・最適モード選択部３３で選択された予測画像の画像データとの差分を算出して差分画像の画像データすなわち予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を符号化することができる。
【００４４】
ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
【００４５】
ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
【００４６】
ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
【００４７】
ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
【００４８】
ステップＳＴ１８において加算部２３は、参照画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、ローカルデコード画像の画像データ（参照画像データ）を生成する。
【００４９】
ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【００５０】
ステップＳＴ２０において、ローカルデコード画像符号化部２５は、デブロッキングフィルタ２４でフィルタ処理が行われた画像データの符号化処理を行う。ローカルデコード画像符号化部２５は、符号化効率の高い非可逆符号化方式で画像データを符号化して出力する。また、ローカルデコード画像符号化部２５は、符号化歪みの程度を示す符号化歪み情報を生成して出力する。なお、ローカルデコード画像符号化部２５は、符号化歪み情報を符号化すれば、データ量を削減できる。
【００５１】
ステップＳＴ２１においてメモリ部２６は、データを記憶する。メモリ部２６は、ローカルデコード画像符号化部２５から出力された符号化後の画像データと符号化歪み情報を記憶する。
【００５２】
ステップＳＴ２２においてローカルデコード画像復号部２７は、復号処理を行う。メモリ部２６から読み出された符号化データの復号処理を行う。また、ローカルデコード画像復号部２７は、メモリ部２６から読み出された符号化歪み情報が符号化されている場合、符号化歪み情報の復号処理を行う。
【００５３】
ステップＳＴ２３において符号化歪み制御部２８は、符号化歪み情報に基づいた制御を行う。符号化歪み制御部２８は、符号化歪み情報に基づき制御信号を生成してレート制御部１８やデブロッキングフィルタ２４、予測画像・最適モード選択部３３に出力することで、符号化／復号処理によって生じる符号化歪みによる影響を低減させる。
【００５４】
ステップＳＴ２４においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
【００５５】
ステップＳＴ２５において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、最適イントラ予測モードを最適モードとして選択する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、減算部１３と加算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
【００５６】
ステップＳＴ２６において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ符号化される。また、可逆符号化部１６は、ステップＳＴ２５で選択された予測画像データに対応する予測モード情報等の可逆符号化を行い、量子化データを可逆符号化して生成された符号化ストリームに、予測モード情報等の可逆符号化データが含められる。
【００５７】
ステップＳＴ２７において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは、適宜読み出されて伝送路を介して復号側に伝送される。
【００５８】
ステップＳＴ２８においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化パラメータＱＰを設定して量子化部１５に出力することで量子化動作のレートを制御する。また、レート制御部１８は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じて量子化パラメータＱＰの調整や制限等を行う。
【００５９】
＜３．量子化パラメータの調整動作＞
次に、符号化歪み情報に応じた量子化パラメータの調整動作について説明する。レート制御部１８は、例えばＭＰＥＧ２のＴＭ５で定められている符号量制御方式を用いて、量子化パラメータの設定を行う。ＭＰＥＧ２のＴＭ５において定められているレート制御方式では、ステップ１〜ステップ３の処理が示されている。
【００６０】
ステップ１では、ＧＯＰ（Group Of Pictures）内の各ピクチャに対する割当ビット量を、割当対象ピクチャを含めて、まだ符号化されていないピクチャに対して、割り当てられるビット量Ｒを基にして配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返す。その際、２つの仮定を用いて、各ピクチャへの符号量割当を行っている。なお、第１の仮定は、各ピクチャを符号化する際に用いる、平均量子化スケールコードと発生符号量との積は、画面が変化しない限り、ピクチャタイプ毎に一定となるという仮定である。また、第２の仮定は、Ｉピクチャの量子化スケールコードを基準としたＰ，Ｂピクチャの量子化スケールコードの比率ＫＰ，ＫＢが、式（１）に定める値になる時、常に全体の画質が最適化されると仮定である。
ＫＰ＝１．０；ＫＢ＝１．４    ・・・（１）
【００６１】
ステップ２では、ステップ１で求めた、各ピクチャに対する割当ビット量（ＴＩ，ＴＰ，ＴＢ）を、実際の符号量に一致させるため量子化スケールコードを求める。量子化スケールコードは、ピクチャタイプ毎に、独立に設定した３種類の仮想バッファの容量を基に、マクロブロック単位のフィードバック制御により求める。
【００６２】
ステップ３では、ステップ２で求めた量子化スケールコード（量子化パラメータ）を視覚的に劣化の目立ちやすい平坦部分でより細かく量子化を行い、劣化の目立ちにくい絵柄の複雑な部分でより粗かなるように、各マクロブロックのアクティビティに応じて変化させる。
【００６３】
レート制御部１８は、マクロブロック毎に求めた量子化パラメータＱＰorgを、符号化歪み情報ｄｑに応じて補正して各マクロブロックの量子化パラメータＱＰを求める。例えば式（２）の演算を行うことで、量子化パラメータを求める。ここで、αは任意に決めることができる定数であり、画質調整において決定される値である。
ＱＰ＝ＱＰorg×α×ｄｑ      ・・・（２）
【００６４】
このように、符号化歪み情報ｄｑに応じて量子化パラメータを調整することで、画像復号装置で生成されるデコード画像において、ローカルデコード画像の符号化／復号処理に基づく符号化歪みの影響を低減できる。例えば、符号化／復号によってローカルデコード画像の画質が劣化した場合、量子化ステップが小さくなるように量子化パラメータを調整すれば、量子化パラメータの調整を行わない場合に比べて、画像復号装置で生成されるデコード画像の画質劣化を少なくできる。
【００６５】
＜４．量子化パラメータの制限動作＞
量子化パラメータの制限動作は、符号化歪み制御部２８で符号化歪み情報に応じて量子化パラメータの制限範囲を設定して、設定した制限範囲を制御信号によってレート制御部１８に通知する。また、符号化歪み制御部２８から符号化歪み情報を制御信号によってレート制御部１８に通知して、通知された符号化歪み情報に基づきレート制御部１８で量子化パラメータの制限範囲を設定してもよい。さらに、量子化パラメータの制限動作を行う場合、量子化パラメータの制限に関する情報を可逆符号化部１６に供給する。
【００６６】
図３は、符号化歪み制御部２８とレート制御部１８によって行われる量子化パラメータの制限動作を例示したフローチャートであり、図３に示す処理を行うことで１つのマクロブロックあたりの量子化パラメータを決定する。なお、以下の説明では、符号化歪み制御部２８で量子化パラメータの制限範囲の設定を行っている。
【００６７】
ステップＳＴ３１で符号化歪み制御部２８は、符号化歪み情報ｄｑを取得する。符号化歪み制御部２８は、ローカルデコード画像復号処理部２７で復号された画像データに対応する符号化歪み情報をローカルデコード画像復号部２７から取得する。
【００６８】
ステップＳＴ３２で符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ１未満であるか判別する。符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ１未満である場合にステップＳＴ３５に進み、符号化歪み情報ｄｑの値が閾値ＴＨ１以上である場合にステップＳＴ３３に進む。
【００６９】
ステップＳＴ３３で符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ１以上であり閾値ＴＨ２未満であるか判別する。符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ１以上で閾値ＴＨ２未満である場合にステップＳＴ３６に進み、符号化歪み情報ｄｑの値が閾値ＴＨ２以上である場合にステップＳＴ３４に進む。
【００７０】
ステップＳＴ３４で符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ２以上で閾値ＴＨ３未満であるか判別する。符号化歪み制御部２８は、符号化歪み情報ｄｑの値が閾値ＴＨ２以上で閾値ＴＨ３未満である場合にステップＳＴ３７に進み、符号化歪み情報ｄｑの値が閾値ＴＨ３以上である場合にステップＳＴ３８に進む。
【００７１】
ステップＳＴ３５で符号化歪み制御部２８は、量子化パラメータを「ＱＰa1〜ＱＰa2」の範囲に制限して、制限範囲を制御信号によってレート制御部１８に通知する。
【００７２】
ステップＳＴ３６で符号化歪み制御部２８は、量子化パラメータを「ＱＰb1〜ＱＰb2」の範囲に制限して、制限範囲を制御信号によってレート制御部１８に通知する。
【００７３】
ステップＳＴ３７で符号化歪み制御部２８は、量子化パラメータを「ＱＰc1〜ＱＰc2」の範囲に制限して、制限範囲を制御信号によってレート制御部１８に通知する。
【００７４】
ステップＳＴ３８で符号化歪み制御部２８は、量子化パラメータを「ＱＰd1〜ＱＰd2」の範囲に制限して、制限範囲を制御信号によってレート制御部１８に通知する。
【００７５】
ステップＳＴ３９でレート制御部１８は、制限範囲内で量子化パラメータを決定する。レート制御部１８、符号化歪み制御部２８から通知された量子化パラメータの制限範囲内で、蓄積バッファ１７から出力する符号化ストリームが所望のレートとなるように量子化パラメータを決定して量子化部１５に出力する。
【００７６】
また、量子化パラメータの制限動作は、図３に示すように、量子化パラメータの上限と下限を規定する場合に限らず、上限または下限の一方のみを制限するようにしてもよい、例えば、符号化歪み情報ｄｑの値に応じて、または符号化歪み情報ｄｑの値と閾値の比較結果に応じてオフセット量を設定する。さらに、設定したオフセット量を量子化パラメータに対して加算または減算すれば、量子化パラメータの上限または下限を制限できる。
【００７７】
このように、量子化パラメータの制限動作が行われる場合、可逆符号化部１６は、量子化パラメータの制限に関する情報を利用して量子化パラメータ情報の符号化を行う。量子化パラメータの範囲が制限されている場合、制限されていない場合に比べて量子化パラメータ情報に対する符号長を短くできる。したがって、量子化パラメータの範囲を制限することで、量子化パラメータ情報の符号化効率を高めることが可能となる。
【００７８】
＜５．符号化歪みによる影響の他の低減処理動作＞
上述の説明では、符号化歪み情報ｄｑに応じて量子化パラメータの調整や制限を行っているが、符号化歪み情報に基づいてデブロッキングフィルタ２４や予測画像・最適モード選択部３３の動作を制御して、符号化／復号処理によって生じる符号化歪みの影響を低減させることもできる。
【００７９】
デブロッキングフィルタ２４は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じてフィルタ強度の調整を行う（図２のＳＴ１９において、同じ調整を行う）。例えば、ＪＰＥＧ方式を用いてローカルデコード画像の符号化を行い、符号化歪み情報によって符号化歪みが大きいことが示された場合、フィルタ強度を高めてブロック境界における高域成分をより多く減衰させる。このように高域成分をより多く減衰するようにフィルタ強度を設定すると、次のフレームのローカルデコード画像の符号化を行ったとき、高域成分がより多く減衰されていることから、符号化／復号処理によって生じる画質劣化を少なくできる。
【００８０】
また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に基づいて最適モードを指定する処理を行う（図２のＳＴ２５において、同じ処理を行う）。例えば、符号化／復号処理によって生じる画質劣化が大きい場合、符号化対象画像と参照画像の相違が大きくなって符号化効率が低下してしまう。したがって、符号化歪み情報に基づき、画質劣化が大きくなる場合が想定される場合は、イントラ予測を指定して、符号化効率の低下を防止する。
【００８１】
このように、符号化歪み情報ｄｑに応じて、デブロッキングフィルタ２４のフィルタ強度の調整や予測画像の選択を行うことで、画像復号装置で生成されるデコード画像において、ローカルデコード画像の符号化／復号処理に基づく符号化歪みの影響を低減できる。
【００８２】
また、画像符号化装置１０は、符号化歪み情報に基づき、量子化パラメータの変更や制限、デブロッキングフィルタのフィルタ強度の変更、予測モードの選択を組み合わせて行うようにしてもよい。
【００８３】
＜６．画像復号装置の構成＞
次に、画像符号化装置から出力される符号化ストリームの復号処理を行う画像復号装置について説明する。入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
【００８４】
図４は、符号化ストリームの復号処理を行う画像復号装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。また、画像復号装置５０は、ローカルデコード画像符号化部６１、メモリ部６２、ローカルデコード画像復号部６３、符号化歪み制御部６４を備えている。さらに、画像復号装置５０は、イントラ予測部７１、動き補償部７２、セレクタ７３を備えている。
【００８５】
蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図３に示す可逆符号化部１６の符号化方式に対応する方式で復号する。
【００８６】
可逆復号部５２は、情報取得部として動作を行い符号化ストリームから種々の情報を取得する。例えば、可逆復号部５２は、符号化ストリームを復号して得られた予測モード情報等をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られた量子化パラメータ情報と量子化データを逆量子化部５３に出力する。また、可逆復号部５２は、量子化パラメータの範囲が制限されて量子化パラメータ情報の符号化が行われている場合、後述する符号化歪み制御部６４から供給された制御信号を利用して、量子化パラメータ情報の復号を行う。
【００８７】
逆量子化部５３は、量子化パラメータを用いて、図３に示す量子化部１５の量子化方式に対応する方式で、可逆復号部５２から供給された量子化データの逆量子化を行う。逆直交変換部５４は、図３に示す直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
【００８８】
加算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算してデコード画像の画像データを生成してデブロッキングフィルタ５６とイントラ予測部７１に出力する。
【００８９】
デブロッキングフィルタ５６は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５から供給された画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データを画面並べ替えバッファ５７とローカルデコード画像符号化部６１に出力する。また、デブロッキングフィルタ５６は、後述する符号化歪み制御部６４からの制御信号に基づき、符号化歪み情報に応じてフィルタ強度の調整を行う。
【００９０】
画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３に示す画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
【００９１】
Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することでデコード画像を表示させる。
【００９２】
ローカルデコード画像符号化部６１は、図３に示すローカルデコード画像符号化部２５と同様に構成されている。ローカルデコード画像符号化部６１は、デブロッキングフィルタ５６でフィルタ処理が行われたデコード画像の画像データをローカルデコード画像の画像データとして用いて、符号化効率の高い非可逆符号化方式で符号化してメモリ部６２に出力する。また、ローカルデコード画像符号化部６１は、符号化歪みの程度を示す符号化歪み情報をメモリ部６２に出力する。なお、ローカルデコード画像符号化部６１は、符号化歪み情報を符号化してからメモリ部６２に出力すれば、メモリ部６２に記憶するデータ量を少なくできる。符号化歪み情報は、上述のように、例えばＪＰＥＧ方式を用いて画像データの符号化を行う場合にはＱ値（Quality Number）等を用いる。また、ビットプレーン符号化方式を用いて画像データの符号化を行う場合には、ビット切捨て位置を示す情報等を用いる。
【００９３】
メモリ部６２は、ローカルデコード画像符号化部６１から供給された符号化データと符号化データに対応する符号化歪み情報を保持する。メモリ部６２から読み出された符号化データと符号化データに対応する符号化歪み情報は、ローカルデコード画像復号部６３に出力される。
【００９４】
ローカルデコード画像復号部６３は、図３に示すローカルデコード画像復号部２７と同様に構成されている。ローカルデコード画像復号部６３は、メモリ部６２から供給された符号化データの復号処理を行い、得られた画像データを動き補償部７２に参照画像データとして供給する。また、ローカルデコード画像復号部６３は、メモリ部６２から読み出された符号化歪み情報を符号化歪み制御部６４に出力する。なお、符号化歪み情報が符号化されている場合、ローカルデコード画像復号部６３は、符号化歪み情報の復号処理を行う。
【００９５】
符号化歪み制御部６４は、図３に示す符号化歪み制御部２８と同様に構成されている。符号化歪み制御部６４は、符号化歪み情報に基づき、ローカルデコード画像の符号化／復号処理による符号化歪みの影響を低減させるために制御信号を生成してデブロッキングフィルタ５６、セレクタ７３に出力する。
【００９６】
イントラ予測部７１は、可逆復号部５２から供給された予測モード情報と加算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
【００９７】
動き補償部７２は、可逆復号部５２から供給された予測モード情報と動きベクトル情報に基づきローカルデコード画像復号部６３から供給された画像データを用いて動き補償を行い、予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。
【００９８】
セレクタ７３は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。また、セレクタ７３は、後述する符号化歪み制御部６４からの制御信号に基づき、予測画像データの選択を行う。
【００９９】
このように、画像復号装置５０は、イントラ予測部７１と動き補償部７２、セレクタ７３によって予測画像の生成処理が行われる。また、生成された予測画像と符号化ストリームを用いて、逆量子化部２１と逆直交変換部２２と加算部２３およびデブロッキングフィルタ２４で復号処理を行うことで、デコードの生成が行われる。
【０１００】
＜７．画像復号装置の動作＞
次に、図５のフローチャートを参照して、画像復号装置５０の動作について説明する。ステップＳＴ５１で蓄積バッファ５１は、供給された符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを復号する。すなわち、図３に示す可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、符号化ストリームに含まれている予測モード情報等の可逆復号を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報や動きベクトル情報を動き補償部７２に出力する。
【０１０１】
ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図３に示す量子化部１５の特性に対応する特性で逆量子化する。
【０１０２】
ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３に示す直交変換部１４の特性に対応する特性で逆直交変換する。
【０１０３】
ステップＳＴ５５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
【０１０４】
ステップＳＴ５６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
【０１０５】
ステップＳＴ５７において、ローカルデコード画像符号化部６１は、デブロッキングフィルタ５６でフィルタ処理が行われた画像データの符号化処理を行う。ローカルデコード画像符号化部６１は、画像符号化装置１０のローカルデコード画像符号化部６１と同様に構成されており、符号化効率の高い符号化方式で画像データを符号化して出力する。また、ローカルデコード画像符号化部６１は、符号化歪みの程度を示す符号化歪み情報を生成して出力する。
【０１０６】
ステップＳＴ５８においてメモリ部６２は、データを記憶する。メモリ部６２は、ローカルデコード画像符号化部６１から出力された符号化後の画像データと符号化歪み情報を記憶する。
【０１０７】
ステップＳＴ５９においてローカルデコード画像復号部６３は、メモリ部６２から読み出された符号化データの復号処理を行う。また、ローカルデコード画像復号部６３は、メモリ部６２から読み出された符号化歪み情報が符号化されている場合、符号化歪み情報の復号処理を行う。
【０１０８】
ステップＳＴ６０において符号化歪み制御部６４は、符号化歪み情報に基づいた制御を行う。符号化歪み制御部６４は、符号化歪み情報に基づき制御信号を生成して可逆復号部５２やデブロッキングフィルタ５６、セレクタ７３に出力することで、符号化／復号処理によって生じる符号化歪みの影響を低減させる。
【０１０９】
ステップＳＴ６１においてイントラ予測部７１と動き補償部７２は、予測画像生成処理を行う。イントラ予測部７１と動き補償部７２は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測画像生成処理を行う。
【０１１０】
すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報と動きベクトル情報に基づき動き補償を行い、予測画像データを生成する。
【０１１１】
ステップＳＴ６２において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像データと動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを加算部５５に供給して、上述したように、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。また、セレクタ７３は、符号化歪み制御部６４からの制御信号に基づき、符号化／復号処理によって生じる画質劣化が大きい場合は、イントラ予測部７１から供給された予測画像データを選択する。
【０１１２】
ステップＳＴ６３において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３に示す画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
【０１１３】
ステップＳＴ６４において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
【０１１４】
＜８．量子化パラメータの制限が行われた場合の復号動作＞
画像復号装置５０は、画像符号化装置１０において、量子化パラメータの範囲を制限することで量子化パラメータ情報の符号化効率を高める処理が行われても、符号化ストリームから正しく量子化パラメータ情報を復号できるように処理を行う。
【０１１５】
画像復号装置５０の符号化歪み制御部６４は、画像符号化装置１０の符号化歪み制御部２８と同様な処理を行い、符号化歪み情報に応じて量子化パラメータの範囲を画像符号化時と等しく制限する。さらに、符号化歪み制御部６４は、量子化パラメータの制限に関する情報を可逆復号部５２に出力する。
【０１１６】
可逆復号部５２は、符号化歪み制御部６４から供給された量子化パラメータの制限に関する情報を利用して、可逆符号化部１６で行われた符号化処理に対応する復号処理を行い、符号化ストリームから量子化パラメータ情報を生成する。
【０１１７】
このように、量子化パラメータの符号化時に用いられた量子化パラメータの制限に関する情報を符号化歪み制御部６４で生成して可逆復号部５２に供給することで、可逆復号部５２は、符号化ストリームから量子化パラメータ情報を正しく生成できる。すなわち、量子化パラメータの範囲を制限することで、量子化パラメータ情報の符号化効率を高める処理が画像符号化時に行われても、画像復号装置５０では、符号化ストリームから正しく量子化パラメータ情報を生成できるので、画質の良好なデコード画像を得ることができる。
【０１１８】
＜９．符号化時に符号化歪みの影響の低減処理が行われた場合の復号動作＞
画像復号装置５０は、上述の説明では、符号化歪み情報ｄｑに応じて量子化パラメータの調整や制限を行っているが、符号化歪み情報に基づいてデブロッキングフィルタ２４や予測画像・最適モード選択部３３の動作を制御して、符号化／復号処理によって生じる符号化歪みの影響を低減させることもできる。
【０１１９】
デブロッキングフィルタ２４は、後述する符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に応じてフィルタ強度の調整を行う（図２のＳＴ１９において、同じ調整を行う）。例えば、ＪＰＥＧ方式を用いてローカルデコード画像の符号化を行い、符号化歪み情報によって符号化歪みが大きいことが示された場合、フィルタ強度を高めてブロック境界における高域成分をより多く減衰させる。このように高域成分をより多く減衰するようにフィルタ強度を設定すると、次のフレーフレームのローカルデコード画像の符号化を行ったとき、高域成分がより多く減衰されていることから、符号化／復号処理によって生じる画質劣化を少なくできる。
【０１２０】
また、予測画像・最適モード選択部３３は、符号化歪み制御部２８からの制御信号に基づき、符号化歪み情報に基づいて最適モードを指定する処理を行う（図２のＳＴ２５において、同じ調整を行う）。例えば、符号化／復号処理によって生じる画質劣化が大きい場合、符号化対象画像と参照画像の相違が大きくなって符号化効率が低下してしまう。したがって、符号化歪み情報に基づき、画質劣化が大きくなることが想定される場合は、イントラ予測を指定して（図２のＳＴ２５において、同じ調整を行う）、符号化効率の低下を防止する。
【０１２１】
また、画像符号化装置１０のローカルデコード画像符号化部２５と画像復号装置５０のローカルデコード画像符号化部６１を、等しい符号化率で符号化処理を行うように設定しておき、画像復号装置５０は、画像符号化装置１０と同様に、ローカルデコード画像の符号化／復号処理と、符号化歪み情報に応じて量子化パラメータの調整や制限、デブロッキングフィルタのフィルタ強度の調整、予測モードの切替えを行う。また、画像符号化方法や画像復号方法でも同様な処理を行うようにすれば、符号化ストリームに符号化歪み情報に応じて量子化パラメータやデブロッキングフィルタおよび予測モードを制御するための情報を含めておく必要がないので符号化効率を向上させることができる。
【０１２２】
また、画像復号装置５０は、符号化歪み情報に基づき、量子化パラメータの変更や制限、デブロッキングフィルタのフィルタ強度の変更、予測モードの選択を組み合わせて行うようにしてもよい。なお、組み合わせは、画像符号化装置１０と同様とすることで、画像符号化装置と画像復号装置で同じルールで入力画像の符号化／復号処理を行うことができる。
【０１２３】
＜１０．ソフトウェア処理の場合＞
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２４】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【０１２５】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１２６】
本技術は、上述した実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【０１２７】
なお、本技術は以下のような構成も取ることができる。
（１）入力画像と予測画像との差分画像を符号化して符号化データを生成する符号化処理部と、
前記符号化データの復号を行いローカルデコード画像を生成する復号処理部と、
前記ローカルデコード画像を符号化してメモリに記憶させるローカルデコード画像符号化部と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて前記符号化データの生成を制御する制御部と
を備える画像符号化装置。
（２）前記制御部は、前記符号化歪み情報に応じて前記差分画像の符号化に用いる量子化パラメータを調整する（１）記載の画像符号化装置。
（２）前記制御部は、前記符号化歪み情報に応じて前記差分画像の符号化に用いる量子化パラメータの範囲を制限し、
前記符号化処理部は、前記範囲の制限結果を用いて前記量子化パラメータの符号化を行う（１）または（２）記載の画像符号化装置。
（４）前記ローカルデコード画像のフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記制御部は、前記符号化歪み情報に応じて前記デブロッキングフィルタのフィルタ強度を変更する（１）乃至（３）の何れかに記載の画像符号化装置。
（５）前記符号化処理部は、前記復号後のローカルデコード画像を用いてイントラ予測画像とインター予測画像を生成し、
前記制御部は、前記符号化歪み情報に応じて前記イントラ予測画像またはインター予測画像を選択して前記予測画像とする（１）乃至（４）の何れかに記載の画像符号化装置。
（６）符号化ストリームの復号を行い差分画像を生成して、該差分画像に予測画像を加えてデコード画像を生成する復号処理部と、
前記デコード画像をローカルデコード画像として符号化してメモリに記憶させるローカルデコード画像符号化部と、
前記メモリに符号化して記憶されているローカルデコード画像の復号を行うローカルデコード画像復号部と、
前記ローカルデコード画像の符号化／復号処理によって生じる符号化歪みの程度を示す符号化歪み情報に応じて、前記差分画像または予測画像の生成を制御する制御部と
を備える画像復号装置。
（７）前記制御部は、前記符号化歪み情報に応じて量子化パラメータの範囲を制限し、
前記復号処理部は、前記符号化ストリームに符号化して含められている量子化パラメータの復号を前記範囲の制限結果を用いて行い、得られた量子化パラメータを用いて復号を行い差分画像を生成する（６）に記載の画像復号装置。
（８）前記ローカルデコード画像のフィルタ処理を行うデブロッキングフィルタをさらに備え、
前記制御部は、前記符号化歪み情報に応じて前記デブロッキングフィルタのフィルタ強度を変更する（６）または（７）に記載の画像復号装置。
（９）前記復号処理部は、前記復号後のローカルデコード画像を用いて前記イントラ予測画像とインター予測画像を生成し、
前記制御部は、前記符号化歪み情報に応じて前記イントラ予測画像またはインター予測画像を選択して前記予測画像とする
請求項（６）乃至（８）の何れかに記載の画像復号装置。
【産業上の利用可能性】
【０１２８】
この技術の画像符号化装置と画像復号装置およびその方法とプログラムによれば、符号化時には、入力画像と予測画像間の差分情報を符号化して生成された符号化データの復号を行いローカルデコード画像が生成される。ローカルデコード画像は符号化してメモリに記憶されたのち読み出されて復号される。このローカルデコード画像の符号化／復号処理によって生じる符号化歪みに応じて符号化データの生成が制御されて、符号化歪みの影響が低減される。また、符号化ストリームの復号処理では、復号処理を行って生成されたデコード画像がローカルデコード画像として符号化してメモリに記憶されたのち読み出されて復号される。このローカルデコード画像の符号化／復号処理によって生じる符号化歪みに応じて、デコード画像の生成が符号化時と同様に制御される。したがって、ローカルデコード画像を記憶する際に符号化効率を高めても、復号時に良好な画質のデコード画像を得ることができるようになる。したがって、動画像の記録再生や編集等を行う電子機器に適している。
【符号の説明】
【０１２９】
１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・ローカルデコード画像符号化部、２６，６２・・・メモリ部、２７，６３・・・ローカルデコード画像復号部、２８，６４・・・画像歪み制御部、３１，７１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５２・・・可逆復号部、５８・・・Ｄ／Ａ変換部、７２・・・動き補償部、７３・・・セレクタ
【図１】
2012253722.tif 000003
【図２】
2012253722.tif 000004
【図３】
2012253722.tif 000005
【図４】
2012253722.tif 000006
【図５】
2012253722.tif 000007