(57)【要約】【課題】ポストフィルタの回路規模を小さく、適応処理に対応しやすい構成とする。【解決手段】画像復号化装置１００は、符号化データを可変長復号化する可変長復号化部２と、可変長復号化部２の出力を逆量子化及び逆直交変換し１１ビット精度の差分画素値を生成する逆量子化逆直交変換部１３と、１１ビット精度の差分画素値を９ビット精度に変換する画像データ変換部１１と、８ビット精度の参照画像を保持するメモリ５と、参照画像と９ビット精度の差分画素値とを加算し、メモリ５に参照画像として保持させる加算部４と、メモリ５に保持される参照画像と１１ビット精度の差分画素値とを加算し１０ビット精度のマクロブロック単位の画像データを生成する加算部１４と、マクロブロック単位の画像データにフィルタ処理を行うポストフィルタ２０と、フィルタ処理された画像データを蓄積し、フィールド単位又はフレーム単位で出力するメモリ１５とを備える。【選択図】図１
2009017509.tif 000002
【特許請求の範囲】
【請求項１】
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、
前記第１のビット精度の１以上の参照画像を保持する第１メモリ手段と、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算手段と、
前記第２加算手段により生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタ手段と、
前記フィルタ手段によりフィルタ処理された前記マクロブロック単位の画像データを蓄積し、前記第２のビット精度のフィールド単位又はフレーム単位の画像データを出力する第２メモリ手段とを備える
ことを特徴とする画像復号化装置。
【請求項２】
前記フィルタ手段は、前記マクロブロック単位の画像データに対応する前記量子化直交変換係数を逆量子化した際に、前記逆量子化逆直交変換手段において用いられた量子化パラメータに応じて、前記マクロブロックの画像データに施すフィルタ処理特性を変化させる
ことを特徴とする請求項１記載の画像復号化装置。
【請求項３】
前記フィルタ手段は、前記量子化パラメータに含まれる、量子化の間隔を示す量子化ステップの大きさに対応して異なるフィルタ特性のフィルタ処理を施す
ことを特徴とする請求項２記載の画像復号化装置。
【請求項４】
前記逆量子化逆直交変換手段は、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第２のビット精度の前記差分画素値を生成する第１逆量子化逆直交変換手段と、
前記第１逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値を、前記第１のビット精度の差分画素値に変換する変換手段とを備える
ことを特徴とする請求項１記載の画像復号化装置。
【請求項５】
前記逆量子化逆直交変換手段は、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第１のビット精度の前記差分画素値を生成する第１逆量子化逆直交変換手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第２のビット精度の前記差分画素値を生成する第２逆量子化逆直交変換手段とを備える
ことを特徴とする請求項１記載の画像復号化装置。
【請求項６】
前記画像復号化装置は、さらに、
前記第１加算手段により加算された画像データのマクロブロック境界のノイズを低減するデブロックフィルタを備え、
前記第１メモリ手段は、前記デブロックフィルタによりノイズを低減された画像データを参照画像として保持する
ことを特徴とする請求項１記載の画像復号化装置。
【請求項７】
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、
前記第１のビット精度の１以上の参照画像を第１メモリ手段に保持する第１の蓄積ステップと、
第１メモリ手段に保持される１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算ステップと、
前記第２加算ステップで生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタステップと、
前記フィルタステップでフィルタ処理された前記マクロブロック単位の画像データを第２メモリ手段に蓄積する第２の蓄積ステップと、
前記第２メモリ手段に蓄積される前記第２のビット精度の画像データを、フィールド単位又はフレーム単位で出力する出力ステップとを含む
ことを特徴とする画像復号化方法。
【請求項８】
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、
前記第１のビット精度の１以上の参照画像を第１メモリ手段に保持する第１の蓄積ステップと、
第１メモリ手段に保持される１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算ステップと、
前記第２加算ステップで生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタステップと、
前記フィルタステップでフィルタ処理された前記マクロブロック単位の画像データを第２メモリ手段に蓄積する第２の蓄積ステップと、
前記第２メモリ手段に蓄積される前記第２のビット精度の画像データを、フィールド単位又はフレーム単位で出力する出力ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【請求項９】
符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、
前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、
前記第１のビット精度の１以上の参照画像を保持する第１メモリ手段と、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、
前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算手段と、
前記第２加算手段により生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタ手段と、
前記フィルタ手段によりフィルタ処理された前記マクロブロック単位の画像データを蓄積し、前記第２のビット精度のフィールド単位又はフレーム単位の画像データを出力する第２メモリ手段とを備える
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号化装置及び画像復号化方法に関し、特に、第１のビット精度の画像データの入出力が規定された画像符号化規格に準拠する画像復号化装置であり、且つ第１のビット精度より精度の高い第２のビット精度の画像データが符号化された符号化データを第２のビット精度の画像データに復号化する画像復号化装置に関する。
【背景技術】
【０００２】
近年、カメラによって得られた動画像を符号化処理して得られた圧縮ストリームを、地上波放送、衛星放送又はインターネットなどで配信するサービスが普及している。また、カメラによって得られた動画像を符号化処理して得られた圧縮ストリームを、デジタル信号のまま記録媒体に記録するデジタルビデオカメラ及びデジタルビデオレコーダが普及している。このような符号化処理に用いられる方法として、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ  １３８１８−２）、ＭＰＥＧ４（ＩＳＯ／ＩＥＣ  １４４９６−２）、及びＨ．２６４（ＩＴＵ−Ｔ  Ｒｅｃ．Ｈ．２６４）などの動き検出及び動き補償を用いた画像符号化方法がある。これらの画像符号化方法では、フレーム内での隣接画素間の相関に加え、動画におけるフレーム間又はフィールド間の時間的な相関も利用して画像符号化を行う。
【０００３】
このような画像符号化を行う画像符号化装置として、例えば、非特許文献１に記載の画像復号化装置が知られている。
【０００４】
以下、従来の画像符号化装置について説明する。
図７は、従来の画像符号化装置の構成を示すブロック図である。
【０００５】
図７に示す従来の画像符号化装置４００は、画像入力部５１と、減算部５２と、直交変換量子化部５３と、可変長符号化部５４と、符号出力部５５と、逆量子化逆直交変換部５６と、加算部５７と、メモリ５８と、動き補償部５９とを備える。
【０００６】
画像入力部５１は、８ｂｉｔ精度の入力画像データのフレーム順の並び替えを行う。また、画像入力部５１は、フレーム単位の入力画像データから、動き補償処理及び直交変換処理に用いられるマクロブロック単位の入力画像データを切り出す。
【０００７】
減算部５２は、画像入力部５１により切出された入力画像データから、動き補償部５９から出力される８ｂｉｔ精度の予測画像データを減算することで９ｂｉｔ精度の差分画素値を生成する。
【０００８】
直交変換量子化部５３は、減算部５２により生成された９ｂｉｔ精度の差分画素値に直交変換処理及び量子化処理を行うことで、量子化直交変換係数を生成する。
【０００９】
可変長符号化部５４は、直交変換量子化部５３により生成された量子化直交変換係数を可変長符号化する。
【００１０】
符号出力部５５は、可変長符号化部５４により可変長符号化された符号化データを圧縮ストリームとして出力する。符号出力部５５から出力された符号化データは、伝送及び記録に用いられる。
【００１１】
逆量子化逆直交変換部５６は、直交変換量子化部５３により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。
【００１２】
加算部５７は、逆量子化逆直交変換部５６により生成された９ビット精度の差分画素値と、動き補償部５９から出力される８ｂｉｔ精度の予測画像データとを加算することで、８ｂｉｔ精度のマクロブロック単位のローカルデコード画像を生成する。
【００１３】
メモリ５８は、加算部５７により生成されたローカルデコード画像を蓄積する。メモリ５８は、複数のマクロブロック単位のローカルデコード画像をフレーム単位の参照画像フレームとして蓄積する。
【００１４】
動き補償部５９は、メモリ５８に蓄積される参照画像フレームを用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。
【００１５】
以上により、従来の画像符号化装置４００は、８ビット精度の入力画像データを符号化し、符号化データを出力する。
【００１６】
次に、従来の画像復号化装置について説明する。
図８は、従来の画像復号化装置の構成を示すブロック図である。
【００１７】
図８に示す画像復号化装置は、図７に示す画像符号化装置４００により生成された符号化データを復号化する。画像復号化装置５００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部３と、加算部４と、メモリ５と、動き補償部６と、ポストフィルタ２１と、画像出力部７とを備える。
【００１８】
符号入力部１は、図７に示す画像符号化装置４００から出力された符号データを蓄積する。また、符号入力部１は、画像符号化装置４００から出力された符号データに対して、ヘッダの分離及び解析を行う。
【００１９】
可変長復号化部２は、符号入力部１によりヘッダの分離及び解析が行われた符号化データを可変長復号化し、量子化直交変換係数を生成する。
【００２０】
逆量子化逆直交変換部３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。
【００２１】
加算部４は、逆量子化逆直交変換部３により生成された９ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、８ｂｉｔ精度のマクロブロック単位のデコード画像データを生成する。
【００２２】
メモリ５は、加算部４により生成されたデコード画像データを蓄積する。メモリ５は、複数のマクロブロック単位のデコード画像データをフレーム単位又はフィールド単位のデコード画像として蓄積する。
【００２３】
動き補償部６は、メモリ５に蓄積されるデコード画像を用いて、後から入力されるフレームの画像に対する８ｂｉｔ精度のマクロブロック単位の予測画像データを生成する。
【００２４】
ここで、加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置４００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。
【００２５】
ポストフィルタ２１は、メモリ５に蓄積されるフレーム単位又はフィールド単位のデコード画像に対して、符号化処理によって発生したノイズを低減するためのフィルタ処理を施す。
【００２６】
画像出力部７は、ポストフィルタ２１によりノイズを低減されたデコード画像を８ｂｉｔ精度の画像データとして出力する。
【００２７】
以上により、従来の画像復号化装置５００は、８ビット精度の画像データが符号化された符号化データを復号化し８ビット精度の画像データを出力する。
【００２８】
また、従来の画像符号化装置及び画像復号化装置として、８ｂｉｔ精度の画像符号化方式と互換性を持たせつつ、１０ｂｉｔ精度の画像データの符号化処理及び復号処理を行う画像符号化装置及び画像復号化装置が知られている（例えば、特許文献１参照。）。特許文献１記載の画像符号化装置及び画像復号化装置は、画像符号化規格に準拠し、且つ高画質な符号化及び復号化を行うことができる。
【００２９】
図９は、特許文献１記載の従来の画像符号化装置の構成を示すブロック図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００３０】
図９に示す画像符号化装置６００は、画像入力部６１と、減算部６２と、直交変換量子化部６３と、可変長符号化部５４と、符号出力部５５と、逆量子化逆直交変換部５６と、加算部５７と、メモリ５８と、動き補償部５９とを備える。
【００３１】
画像入力部６１は、１０ｂｉｔ精度の入力画像データのフレーム順の並び替えを行う。また、画像入力部６１は、フレーム単位の入力画像データから、動き補償処理及び直交変換処理に用いられるマクロブロック単位の入力画像データを切り出す。
【００３２】
減算部６２は、画像入力部６１により切出された入力画像データから、動き補償部５９から出力される８ｂｉｔ精度の予測画像データを減算することで１１ｂｉｔ精度の差分画素値を生成する。
【００３３】
直交変換量子化部６３は、減算部６２により生成された１１ｂｉｔ精度の差分画素値に直交変換処理及び量子化処理を行うことで、量子化直交変換係数を生成する。
【００３４】
可変長符号化部５４は、直交変換量子化部６３により生成された量子化直交変換係数を可変長符号化する。
【００３５】
符号出力部５５は、可変長符号化部５４により可変長符号化された符号化データを圧縮ストリームとして出力する。符号出力部５５から出力された符号化データは、伝送及び記録に用いられる。
【００３６】
逆量子化逆直交変換部５６は、直交変換量子化部６３により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。
【００３７】
以上により、従来の画像符号化装置６００は、８ビット精度の予測画像データを用いて１０ビット精度の画像データを符号化し、符号化データを出力する。これにより、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９から成るループ状の処理は、画像復号化装置５００の加算部４、メモリ５及び動き補償部６からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。これにより、画像符号化装置６００により符号化された符号化データを、図８に示す従来の画像復号化装置５００で復号化することができる。すなわち、画像符号化装置６００は、１０ビット精度の画像データを、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化することができる。
【００３８】
次に、画像符号化装置６００により符号化された符号化データを復号化する従来の画像復号化装置について説明する。
【００３９】
図１０は、画像符号化装置６００により符号化された符号化データを復号化する従来の画像復号化装置の構成を示すブロック図である。なお、特許文献１にはポストフィルタに関する記述はないが、特許文献１記載の画像復号化装置が、図８に示す従来の画像復号化装置５００と同様のフレーム単位又はフィールド単位でフィルタ処理を行うポストフィルタを備えた場合の構成を図１０に示している。
【００４０】
図１０に示す画像復号化装置７００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、画像データ変換部１１と、加算部４と、メモリ５と、動き補償部６と、加算部１４と、メモリ１５と、ポストフィルタ２２と、画像出力部１７とを備える。なお、図８と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【００４１】
符号入力部１は、図９に示す画像符号化装置６００から出力された符号データを蓄積する。また、符号入力部１は、画像符号化装置６００から出力された符号データに対して、ヘッダの分離及び解析を行う。
【００４２】
可変長復号化部２は、符号入力部１によりヘッダの分離及び解析が行われた符号化データを可変長復号化し、量子化直交変換係数を生成する。
【００４３】
逆量子化逆直交変換部１３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、１１ビット精度の差分画素値を生成する。
【００４４】
画像データ変換部１１は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値を９ビット精度の差分画素値に変換する。
【００４５】
加算部４は、画像データ変換部１１により変換された９ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、８ｂｉｔ精度のマクロブロック単位のデコード画像データを生成する。
【００４６】
メモリ５は、加算部４により生成されたデコード画像データを蓄積する。メモリ５は、複数のマクロブロック単位のデコード画像データをフレーム単位又はフィールド単位の参照画像として蓄積する。
【００４７】
動き補償部６は、メモリ５に蓄積される参照画像を用いて、後から入力されるフレームの画像に対する８ｂｉｔ精度のマクロブロック単位の予測画像データを生成する。
【００４８】
ここで、加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とが一致する。
【００４９】
加算部１４は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、１０ｂｉｔ精度のマクロブロック単位のデコード画像データを生成する。
【００５０】
メモリ１５は、加算部１４により生成されたデコード画像データを蓄積する。メモリ１５は、複数のマクロブロック単位のデコード画像データをフレーム単位又はフィールド単位のデコード画像として蓄積する。
【００５１】
ポストフィルタ２２は、メモリ１５に蓄積されフレーム単位又はフィールド単位のデコード画像に対して、符号化処理によって発生したノイズを低減するためのフィルタ処理を施す。
【００５２】
画像出力部１７は、ポストフィルタ２２によりノイズを低減されたデコード画像を１０ｂｉｔ精度の画像データとして出力する。
【００５３】
以上により、従来の画像復号化装置７００は、１０ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化し１０ビット精度の画像データを出力する。
【非特許文献１】株式会社アスキー「最新ＭＰＥＧ教科書」ｐ１３８、１９９４
【特許文献１】特開２０００−１７５２００号公報
【発明の開示】
【発明が解決しようとする課題】
【００５４】
しかしながら、図８に示す従来の画像復号化装置５００では、ポストフィルタ２１は、メモリ５に蓄積された後のフィールド単位又はフレーム単位のデコード画像に対して、フィルタ処理を行う。メモリ５に蓄積される前のマクロブロック単位のデコード画像に対してフィルタ処理を行った場合、加算部４、メモリ５及び動き補償部６から成るループ状の処理の中にフィルタ処理が入ってしまうために、画像復号化装置５００のループ状の処理と、画像符号化装置４００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理とが同一にならない。これにより、規格に準拠しなくなる。よって、ポストフィルタ２１において垂直方向のフィルタ処理を行う場合にはフィールド又はフレームにおけるラインメモリをポストフィルタ２１に内蔵する必要があり、ポストフィルタ２１の回路規模が大きくなるという問題がある。
【００５５】
同様に、図１０に示す従来の画像復号化装置７００では、ポストフィルタ２２は、メモリ１５に蓄積されるフィールド単位又はフレーム単位のデコード画像に対して、フィルタ処理を行う。これにより、ポストフィルタ２２の回路規模が大きくなるという問題がある。さらに、ポストフィルタ２２は、入力される１０ビット精度のデコード画像にフィルタ処理を行う必要があるので、図８に示す画像復号化装置５００のポストフィルタ２１より、回路規模がさらに大きくなってしまう。
【００５６】
また、量子化パラメータはマクロブロック単位、又はさらに細分化したブロック単位に対して与えられるものである。よって、ポストフィルタ２２において、量子化に用いるパラメータを利用して適応的なフィルタ処理を行おうとした場合、処理対象であるフィールド単位又はフレーム単位の画像に対して、マクロブロック単位又はブロック単位で処理の切替を行う必要があるので、制御が複雑になる。
【００５７】
そこで、本発明は、ポストフィルタの回路規模を小さくすることができるとともに、量子化パラメータを利用した適応的なフィルタ処理をより簡単な制御で実現可能とした画像復号化装置及び画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００５８】
上記目的を達成するために、本発明に係る画像復号化装置は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、前記第１のビット精度の１以上の参照画像を保持する第１メモリ手段と、前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算手段と、前記第２加算手段により生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタ手段と、前記フィルタ手段によりフィルタ処理された前記マクロブロック単位の画像データを蓄積し、前記第２のビット精度のフィールド単位又はフレーム単位の画像データを出力する第２メモリ手段とを備える。
【００５９】
この構成によれば、フィルタ手段は、マクロブロック単位の画像データに対してフィルタ処理を行う。これにより、本発明に係る画像復号化装置は、従来のフレーム単位又はフィールド単位の画像データに対してフィルタ処理を行う画像復号化装置に比べ、フィルタ手段（ポストフィルタ）の回路規模を小さくすることができる。例えば、画素の画素信号が順番に読み出される方向（例えば、水平方向）と、直交する方向（例えば、垂直方向）のフィルタ処理を行う場合、従来の画像復号化装置では、フレームの横方向の画素数分の遅延回路が必要になるのに対して、本発明に係る画像復号化装置は、マクロブロックの横方向の画素数分の遅延回路を備えればよい。
【００６０】
また、前記フィルタ手段は、前記マクロブロック単位の画像データに対応する前記量子化直交変換係数を逆量子化した際に、前記逆量子化逆直交変換手段において用いられた量子化パラメータに応じて、前記マクロブロックの画像データに施すフィルタ処理特性を変化させてもよい。
【００６１】
この構成によれば、本発明に係る画像復号化装置は、マクロブロック単位で決定される量子化パラメータを用いて、マクロブロック単位で入力される画像データに対するフィルタ処理の特性を決定する。これにより、本発明に係る画像復号化装置は、量子化パラメータを用いた適応的なフィルタ処理をより簡単な制御で実現できる。
【００６２】
また、前記フィルタ手段は、前記量子化パラメータに含まれる、量子化の間隔を示す量子化ステップの大きさに対応して異なるフィルタ特性のフィルタ処理を行ってもよい。
【００６３】
この構成によれば、フィルタ手段は、例えば、量子化ステップが粗く符号化の精度が低い場合には、高周波成分のゲインを大きく下げたフィルタ処理を行うことで、符号化の際に生じるノイズを低減し、量子化ステップが細かく符号化の精度が高い場合には、高周波成分のゲインを余り下げないフィルタ処理を行うことで、精度の高い画像データをそのまま出力するといった適応処理を行うことができる。すなわち、本発明に係る画像復号化装置は、符号化の精度に応じた最適なフィルタ処理を行うことができる。
【００６４】
また、前記逆量子化逆直交変換手段は、前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第２のビット精度の前記差分画素値を生成する第１逆量子化逆直交変換手段と、前記第１逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値を前記第１のビット精度の差分画素値に変換することで、前記第１のビット精度の前記差分画素値を生成する変換手段とを備えてもよい。
【００６５】
この構成によれば、変換手段は、ビット精度の高い第２のビット精度の差分画素値の下位ビットを丸める等の簡単な処理により、第１のビット精度の差分画素値を形成することができる。よって、本発明に係る画像復号化装置は、第１のビット精度及び第２のビット精度の差分画素値を容易に生成することができる。
【００６６】
また、前記逆量子化逆直交変換手段は、前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第１のビット精度の前記差分画素値を生成する第１逆量子化逆直交変換手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、前記第２のビット精度の前記差分画素値を生成する第２逆量子化逆直交変換手段とを備えてもよい。
【００６７】
また、前記画像復号化装置は、さらに、前記第１加算手段により加算された画像データのマクロブロック境界のノイズを低減するデブロックフィルタを備え、前記第１メモリ手段は、前記デブロックフィルタによりノイズを低減された画像データを参照画像として保持してもよい。
【００６８】
この構成によれば、本発明に係る画像復号化装置は、Ｈ．２６４規格の画像データを復号化することができる。
【００６９】
また、本発明に係る画像復号化方法は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化ステップと、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換ステップと、前記第１のビット精度の１以上の参照画像を第１メモリ手段に保持する第１の蓄積ステップと、第１メモリ手段に保持される１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算ステップと、前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換ステップで生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算ステップと、前記第２加算ステップで生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタステップと、前記フィルタステップでフィルタ処理された前記マクロブロック単位の画像データを第２メモリ手段に蓄積する第２の蓄積ステップと、前記第２メモリ手段に蓄積される前記第２のビット精度の画像データを、フィールド単位又はフレーム単位で出力する出力ステップとを含む。
【００７０】
これによれば、フィルタステップで、マクロブロック単位の画像データに対してフィルタ処理を行う。これにより、本発明に係る画像復号化方法は、従来のフレーム単位又はフィールド単位の画像データに対してフィルタ処理を行う画像復号化方法に比べ、フィルタ処理を行うフィルタ手段（ポストフィルタ）の回路規模を小さくすることができる。例えば、画素の画素信号が順番に読み出される方向（例えば、水平方向）と、直交する方向（例えば、垂直方向）のフィルタ処理を行う場合、従来の画像復号化方法では、フィルタ手段に、フレームの横方向の画素数分の遅延回路が必要になるのに対して、本発明に係る画像復号化方法では、フィルタ手段がマクロブロックの横方向の画素数分の遅延回路を備えればよい。
【００７１】
また、本発明に係る集積回路は、符号化データを可変長復号化することで量子化直交変換係数を生成する可変長復号化手段と、前記量子化直交変換係数を逆量子化及び逆直交変換することで、第１のビット精度の差分画素値及び前記第１のビット精度より精度の高い第２のビット精度の差分画素値を生成する逆量子化逆直交変換手段と、前記第１のビット精度の１以上の参照画像を保持する第１メモリ手段と、前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第１のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算し、前記第１メモリ手段に参照画像として保持させる第１加算手段と、前記第１メモリ手段に保持される前記１以上の参照画像のうち前記逆量子化逆直交変換手段により生成された前記第２のビット精度の前記差分画素値に対応する参照画像と、当該差分画素値とを加算することで、前記第２のビット精度のマクロブロック単位の画像データを生成する第２加算手段と、前記第２加算手段により生成された前記マクロブロック単位の画像データにノイズを低減するためのフィルタ処理を行うフィルタ手段と、前記フィルタ手段によりフィルタ処理された前記マクロブロック単位の画像データを蓄積し、前記第２のビット精度のフィールド単位又はフレーム単位の画像データを出力する第２メモリ手段とを備える。
【００７２】
この構成によれば、フィルタ手段は、マクロブロック単位の画像データに対してフィルタ処理を行う。これにより、本発明に係る集積回路は、従来のフレーム単位又はフィールド単位の画像データに対してフィルタ処理を行う集積回路に比べ、フィルタ手段（ポストフィルタ）の回路規模を小さくすることができる。例えば、画素の画素信号が順番に読み出される方向（例えば、水平方向）と、直交する方向（例えば、垂直方向）のフィルタ処理を行う場合、従来の集積回路では、フレームの横方向の画素数分の遅延回路が必要になるのに対して、本発明に係る集積回路は、マクロブロックの横方向の画素数分の遅延回路を備えればよい。
【００７３】
なお、本発明は、このような画像復号化装置及び画像復号化方法として実現することができるだけでなく、画像復号化方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【発明の効果】
【００７４】
本発明は、ポストフィルタの回路規模を小さくすることができるとともに、量子化パラメータを利用した適応的なフィルタ処理をより簡単な制御で実現可能とした画像復号化装置及び画像復号化方法を提供することができる。
【発明を実施するための最良の形態】
【００７５】
以下、本発明に係る画像復号化装置の実施の形態について、図面を参照しながら詳細に説明する。
【００７６】
（実施の形態１)
本発明の実施の形態１に係る画像復号化装置は、マクロブロック単位のデコード画像に対して、フィルタ処理を行うポストフィルタを備える。これにより、ポストフィルタの回路規模を小さくすることができる。
【００７７】
まず、本発明の実施の形態に係る画像復号化装置の構成を説明する。
図１は、本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。なお、図１０と同様の要素には同一の符号を付している。
【００７８】
図１に示す画像復号化装置１００は、８ビット精度の画像データの入出力が規定された画像符号化規格（例えば、ＭＰＥＧ２）に準拠した画像復号化装置であり、８ビット精度の画像データを符号化して得られた符号データを復号化する。また、画像復号化装置１００は、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠しつつ、１０ビット精度の画像データを符号化して得られた符号化データを復号化し、１０ビット精度の画像データを出力する。
【００７９】
例えば、画像復号化装置１００は、図９に示す画像符号化装置６００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。同時に、画像復号化装置１００は、８ビット精度の画像データが入力された場合にも、画像データを１０ビット精度で出力する。例えば、画像復号化装置１００は、図７に示す画像符号化装置４００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。
【００８０】
画像復号化装置１００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、画像データ変換部１１と、加算部４と、メモリ５と、動き補償部６と、加算部１４と、メモリ１５と、ポストフィルタ２０と、画像出力部１７とを備える。
【００８１】
符号入力部１は、図９に示す画像符号化装置６００から出力された圧縮ストリームに含まれる符号データを蓄積する。また、符号入力部１は、画像符号化装置６００から出力された符号データに対して、ヘッダの分離及び解析を行う。
【００８２】
可変長復号化部２は、符号入力部１によりヘッダの分離及び解析が行われた符号化データを可変長復号化することで、マクロブロック単位の量子化直交変換係数を生成する。
【００８３】
逆量子化逆直交変換部１３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、１１ビット精度のマクロブロック単位の差分画素値を生成する。
【００８４】
画像データ変換部１１は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値を９ビット精度の差分画素値に変換することで、９ビット精度のマクロブロック単位の差分画素値を生成する。具体的には、画像データ変換部１１は、１１ビット精度の差分画素値の下位２ビットを丸めることで、９ビット精度の差分画素値を生成する。
【００８５】
動き補償部６は、メモリ５に蓄積される参照画像を用いて、後から入力されるフレームの画像に対する８ビット精度のマクロブロック単位の予測画像データを生成する。具体的には、動き補償部６は、逆量子化逆直交変換部１３により生成された９ビット精度の差分画素値に対応する参照画像フレームから、当該差分画素値のマクロブロックに対応する８ビット精度の予測画像データを生成し、加算部４及び１４に出力する。
【００８６】
加算部４は、画像データ変換部１１により生成された９ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、８ｂｉｔ精度のマクロブロック単位の画像データであるデコード画像データを生成する。
【００８７】
メモリ５は、加算部４により生成されたデコード画像データを蓄積する。メモリ５は、複数のマクロブロック単位のデコード画像データを蓄積し、フレーム単位又はフィールド単位の参照画像として保持する。
【００８８】
ここで、加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像データとは一致する。
【００８９】
加算部１４は、逆量子化逆直交変換部１３により生成された１１ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、１０ｂｉｔ精度のマクロブロック単位のデコード画像データを生成する。
【００９０】
ポストフィルタ２０は、加算部１４により生成されたデコード画像データに、符号化処理によって発生したノイズを低減するためのフィルタ処理を行う。具体的には、ポストフィルタ２０は、デコード画像データに含まれる高周波成分を低減する処理を行う。例えば、ポストフィルタ２０は、デコード画像データの垂直方向及び水平方向のそれぞれに対して、複数の画素の平均値を算出し、重み付けを行うことで、高周波成分を低減する。
【００９１】
また、ポストフィルタ２０は、逆量子化逆直交変換部１３において、所定のマクロブロックに対応する量子化直交変換係数の逆量子化に用いられた量子化パラメータに応じて、所定のマクロブロックのデコード画像データのフィルタ処理特性を変化させる。
【００９２】
メモリ１５は、ポストフィルタ２０によりフィルタ処理されたデコード画像データを蓄積する。メモリ１５は、複数のマクロブロック単位のデコード画像データをフレーム単位又はフィールド単位のデコード画像として蓄積する。
【００９３】
画像出力部１７は、メモリ１５に蓄積されるフレーム単位又はフィールド単位のデコード画像を１０ｂｉｔ精度の画像データとして出力する。
【００９４】
次に、本発明の実施の形態１に係る画像復号化装置１００のポストフィルタ２０の詳細な動作を説明する。
【００９５】
図２はポストフィルタの処理イメージを示す図である。
図２（ａ）は、図１０に示す従来の画像復号化装置７００のポストフィルタ２２が、メモリ１５に蓄積されるフレーム単位のデコード画像であるデコード画像フレーム２０１に対して、３タップの垂直フィルタを掛けた場合の処理イメージを示す図である。なお、図２（ａ）では、２次元のイメージで表現しているが、実際は、デコード画像の各画素の画像データに対応する信号である画素信号が、順次入力される。具体的には、図２（ａ）に示したデコード画像フレーム２０１の左上端の画素２１１の画素信号から順番に右方向の画素の画素信号がメモリ１５から読み出される。デコード画像フレーム２０１の右端の画素までの画素信号が読み出されると、次のラインの左端の画素２１２から順番に右方向の画素の画素信号が読み出される。
【００９６】
図２（ａ）に示すように、ポストフィルタ２２により垂直フィルタ処理が行われる各画素間の距離はフレームの横方向の画素数分離れる。例えば、画素２１１と画素２１２との間の画素数は、デコード画像フレーム２０１の横方向の画素数Ｎｆｈ分だけ離れる。これにより、ポストフィルタ２２は、画素数Ｎｆｈ分の遅延回路を備える必要がある。なお、図８に示す従来の画像復号化装置５００のポストフィルタ２１の動作もポストフィルタ２２の動作と同様である。
【００９７】
図２（ｂ）は、本発明の実施の形態１に係る画像復号化装置１００のポストフィルタ２０が、メモリ１５に蓄積される前のマクロブロック単位のデコード画像データ２２１に対して、３タップの垂直フィルタを掛ける場合の処理イメージを示す図である。なお、図２（ｂ）では、２次元のイメージで表現しているが、実際は、図２（ｂ）に示したデコード画像データ２２１の左上端の画素２１１の画素信号から順番に右方向の画素の画素信号がポストフィルタ２０に入力される。デコード画像データ２２１の右端の画素までの画素信号が入力されると、次のラインの左端の画素２１２から順番に右方向の画素の画素信号が入力される。このようにして、デコード画像データ２２１の右下端までの全ての画素の画素信号が入力されると、続いて左隣のデコード画像データ２２２の左上端の画素の画素信号から順番に右方向の画素の画素信号が入力される。
【００９８】
図２（ｂ）に示すように、ポストフィルタ２０により垂直フィルタ処理が行われる各画素間の距離はマクロブロックの横方向の画素数分離れる。例えば、画素２１１と画素２１２との間の画素数は、デコード画像データ２２１の横方向の画素数Ｎｍｂｈ分だけ離れる。これにより、ポストフィルタ２０は、画素数Ｎｍｂｎ分の遅延回路を備えればよいので、従来のポストフィルタ２２に比べ、遅延回路の回路規模を縮小することができる。
【００９９】
すなわち、従来の画像復号化装置７００では、３タップの垂直フィルタ処理を図２に示す画素２１１、２１２及び２１３に行う場合には、１フレームの２ライン分の画素＋１画素、すなわち、２×Ｎｆｈ＋１画素の画像データを保持する必要がある。一方、本発明の実施の形態１に係る画像復号化装置１００では、１マクロブロックの２ライン分の画素＋１画素、すなわち、２×Ｎｍｂ＋１画素の画像データを保持すればよい。よって、本発明の実施の形態１に係る画像復号化装置１００は、フィルタ処理に用いるメモリの容量を削減することができる。
【０１００】
例えば、ハイビジョン画像に対して一般的に用いられるＭＰＥＧ２及びＨ．２６４の符号化及び復号化の場合、１フレームの横方向の画素数Ｎｆｈは、有効部のみで１９２０画素となるのに対し、１マクロブロックの横方向の画素数Ｎｍｂｈは１６画素分なので、ポストフィルタ２０の遅延回路及びメモリの規模を、ポストフィルタ２２の遅延回路及びメモリの規模より大幅に減少させることができる。
【０１０１】
また、符号化の際の量子化パラメータは、マクロブロック単位で決定される。よって、従来の画像復号化装置７００では、画素信号がフレームの横方向に順番に入力されるため、フィルタ処理中に入力される画素信号が複数のマクロブロックを跨ぐことになり、適応的なフィルタ処理が行いにくい。一方、本発明の実施の形態１に係る画像復号化装置１００では、マクロブロック単位で画素信号が入力されるので、量子化パラメータにあわせた適応的フィルタ処理が単純な制御により実現可能である。
【０１０２】
以下、ポストフィルタ２０の量子化パラメータにあわせた適応的なフィルタ処理の詳細について説明する。
【０１０３】
図３は、ポストフィルタ２０のフィルタ処理の流れを示すフローチャートである。
図３に示すように、まず、ポストフィルタ２０は、フィルタ処理を行うデコード画像データの、逆量子化逆直交変換部１３において逆量子化に用いられた量子化パラメータ３０を取得する（Ｓ１０１）。すなわち、ポストフィルタ２０は、画像符号化装置６００の直交変換量子化部６３において量子化に用いられた量子化パラメータを取得する。なお、量子化パラメータは、符号入力部１に入力された符号化データに含まれ、逆量子化逆直交変換部１３における逆量子化に用いられる。
【０１０４】
次に、ポストフィルタ２０は、取得された量子化パラメータ３０に応じたフィルタ処理を行う。具体的には、量子化パラメータ３０に含まれる量子化ステップが所定の値より粗い場合（Ｓ１０２でＹｅｓ）、ポストフィルタ２０は、高周波成分のゲインを大きく下げたフィルタ処理をデコード画像データに施す（Ｓ１０３）。ここで、量子化ステップとは、量子化の間隔を示す。すなわち、量子化ステップが粗い場合には符号化の精度が低く、量子化ステップが細かい場合には符号化の精度が高くなる。例えば、ポストフィルタ２０は、ローパスフィルタのカットオフ周波数が下がる係数を選択しフィルタ処理を行う。具体的には、ポストフィルタ２０は、垂直３タップフィルタ処理において、垂直方向の連続する３画素に対して１：２：１の重み付け係数を用いる。これにより、符号化の精度が低い場合には、高周波成分のゲインを大きく下げたフィルタ処理により符号化ノイズを低減することができる。
【０１０５】
また、量子化パラメータ３０に含まれる量子化ステップが所定の値より細かい場合（Ｓ１０２でＮｏ）、ポストフィルタ２０は、ステップＳ１０３のフィルタ処理より高周波成分のゲインを余り下げないフィルタ処理をデコードブロックに行う（Ｓ１０４）。例えば、ポストフィルタ２０は、ローパスフィルタのカットオフ周波数が上がる係数を選択しフィルタ処理を行う。具体的には、ポストフィルタ２０は、垂直３タップフィルタ処理において、垂直方向の連続する３画素に対して１：５：１の重み付け係数を用いる。これにより、符号化の精度が低い場合には、フィルタ処理において高周波成分のゲインを余り下げないようにすることにより詳細な信号が保存される。
【０１０６】
以上のように、本発明の実施の形態１に係る画像復号化装置１００は、量子化パラメータに応じて適応的なフィルタ処理を行うことができる。また、上述したようにポストフィルタ２０は、マクロブロック単位のデコード画像データに対してフィルタ処理を行うので、マクロブロック単位で決定される量子化パラメータに合わせたフィルタ処理を適応的に、単純な制御により実現することができる。
【０１０７】
ここで、加算部４により生成されるデコード画像データと、画像符号化装置６００の加算部５７により生成されるローカルデコード画像とは一致させる必要がある。よって、加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と同じにする必要がある。例えば、図８に示す従来の画像復号化装置５００においてポストフィルタ２１をメモリ５の前段に配置すると、画像復号化装置５００のループ状の処理と、画像符号化装置４００のループ状の処理とが異なることになる。すなわち、従来の画像復号化装置５００において、ポストフィルタ２１をメモリ５の前段に配置し、マクロブロック単位でフィルタ処理を行うことはできない。
【０１０８】
一方、本発明の実施の形態１に係る画像復号化装置１００では、ループ状の処理に含まれない、１０ビット精度の画像データを復号化するために必要であるメモリ１５の前段にポストフィルタ２０を配置することで、マクロブロック単位でフィルタ処理を行う。すなわち、本発明の実施の形態１に係る画像復号化装置１００は、加算部４、メモリ５及び動き補償部６から成るループ状の処理を、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と同じにしたまま、マクロブロック単位でのフィルタ処理が可能となる。
【０１０９】
以上より、本発明の実施の形態１に係る画像復号化装置１００は、符号化データを、８ビット精度の予測画像データを用いて復号化し、１０ビット精度の画像データを出力する。すなわち、画像復号化装置１００の加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置６００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とは一致する。これにより、画像復号化装置１００は、画像符号化装置６００により符号化された符号化データを復号化することができる。すなわち、画像復号化装置１００は、１０ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化することができる。
【０１１０】
また、画像復号化装置１００の加算部４、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置４００の加算部５７、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。よって、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像とは一致する。これにより、画像復号化装置１００は、画像符号化装置４００により符号化された符号化データを復号化することができる。すなわち、画像復号化装置１００は、８ビット精度の画像データが、８ビット精度の画像データの入出力が規定された画像符号化規格に準拠して符号化された符号化データを復号化することができる。
【０１１１】
すなわち、本発明の実施の形態１に係る画像復号化装置１００は、通常の符号化方式との互換性を維持したまま（規格準拠したまま）で、高ビット精度の画像を復号化することができる。よって、本発明の実施の形態１に係る画像復号化装置１００を備える再生装置は、符号化方式が既に規格化された放送及び記録メディアであっても、従来の再生装置と互換性を損なうことなく、より高精度かつ圧縮歪の少ない良好な画像の送受信または記録再生が可能となる。
【０１１２】
さらに、本発明の実施の形態１に係る画像復号化装置１００のポストフィルタ２０は、メモリ１５に蓄積される前の、マクロブロック単位のデコード画像データにフィルタ処理を行う。これにより、本発明の実施の形態１に係る画像復号化装置１００は、従来のフレーム単位又はフィールド単位のデコード画像に対してフィルタ処理を行う画像復号化装置７００に比べ、ポストフィルタ２０の回路規模を小さくすることができる。例えば、画素の画素信号が順番に読み出される水平方向と直交する垂直方向のフィルタ処理を行う場合、従来の画像復号化装置７００では、フレームの横方向の画素数Ｎｆｈ分の遅延回路が必要になるのに対して、本発明の実施の形態１に係る画像復号化装置１００は、マクロブロックの横方向の画素数Ｎｍｂｈ分の遅延回路を備えればよい。
【０１１３】
さらに、本発明の実施の形態１に係る画像復号化装置１００は、マクロブロック単位で決定される量子化パラメータ３０を用いて、マクロブロック単位で入力されるデコード画像データに対するフィルタ処理を行う。これにより、本発明に係る画像復号化装置１００は、量子化パラメータを用いた適応的なフィルタ処理をより簡単な制御で実現できる。
【０１１４】
さらに、本発明の実施の形態１に係る画像復号化装置１００のポストフィルタ２０は、量子化ステップが粗く符号化の精度が低い場合に高周波成分のゲインを大きく下げたフィルタ処理を行う。これにより、精度が低い符号化の際にデコード画像に生じるノイズを低減することができる。また、ポストフィルタ２０は、量子化ステップが細かく符号化の精度が高い場合には高周波成分のゲインを余り下げないフィルタ処理を行う。これにより、精度の高い画像データをそのまま出力することができる。すなわち、本発明の実施の形態１に係る画像復号化装置１００は、符号化の精度に応じた最適なフィルタ処理を行うことができる。
【０１１５】
さらに、本発明の実施の形態１に係る画像復号化装置１００では、ビット精度の高い１１ビット精度の差分画素値の下位ビットを丸める等の簡単な処理により、画像データ変換部１１が９ビット精度の差分画素値を形成する。よって、本発明の実施の形態１に係る画像復号化装置１００は、９ビット精度及び１１ビット精度の差分画素値を容易に生成することができる。
【０１１６】
なお、上記説明では、ポストフィルタ２０は、３タップの垂直フィルタ処理を行うとしたが、タップ数は３タップに限定されるものではない。また、ポストフィルタ２０は、水平フィルタ処理を行ってもよい。また、ポストフィルタ２０は、フィールド間のフィルタ処理及びフレーム間の時間方向を含めたフィルタ処理を用いてもよい。
【０１１７】
また、上記説明では、ポストフィルタ２０は、量子化ステップに応じたフィルタ処理を行うとしたが、符号化データのピクチャタイプに応じてフィルタ処理を行ってもよい。具体的には、ポストフィルタ２０は、ピクチャタイプがＢピクチャの場合には、高周波成分のゲインを大きく下げたフィルタ処理を行う。具体的には、ポストフィルタ２０は、ローパスフィルタのカットオフ周波数が下がる係数を選択しフィルタ処理を行う。例えば、ポストフィルタ２０は、垂直３タップフィルタ処理において、垂直方向の連続する３画素に対して１：２：１の重み付け係数を用いる。また、ポストフィルタ２０は、ピクチャタイプがＩピクチャ又はＰピクチャの場合には、高周波成分のゲインを余り下げないフィルタ処理を行う。具体的には、ポストフィルタ２０は、ローパスフィルタのカットオフ周波数が上がる係数を選択しフィルタ処理を行う。例えば、ポストフィルタ２０は、垂直３タップフィルタ処理において、垂直方向の連続する３画素に対して１：５：１の重み付け係数を用いる。なお、Ｉピクチャはフレーム内での予測符号化を行うピクチャであり、Ｐピクチャは１方向のフレーム間で予測符号化を行うピクチャであり、Ｂピクチャは２方向のフレーム間で予測を行うピクチャである。
【０１１８】
（実施の形態２）
本発明の実施の形態２に係る画像復号化装置は、実施の形態１に係る画像復号化装置１００の変形例である。本発明の実施の形態２に係る画像復号化装置は、マクロブロック単位のデコード画像データにポストフィルタ処理を加えるという本発明の特徴を変更せずに、画像復号化装置の構成を変更した例である。
【０１１９】
図４は、本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２０】
図４に示す画像復号化装置２００は、図１に示す画像復号化装置１００に対して、画像データ変換部１１の代わりに逆量子化逆直交変換部３を備える。
【０１２１】
画像復号化装置２００は、８ビット精度の画像データの入出力が規定された画像符号化規格（例えば、ＭＰＥＧ２）に準拠した画像復号化装置であり、８ビット精度の画像データを符号化して得られた符号データを復号化する。また、画像復号化装置２００は、１０ビット精度で可変長符号化された画像データを復号化し、１０ビット精度の画像データを出力する。例えば、画像復号化装置２００は、図９に示す画像符号化装置６００により符号化された符号化データを１０ビット精度の画像データに復号化し出力する。
【０１２２】
画像復号化装置２００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部３と、と、加算部４と、メモリ５と、動き補償部６と、逆量子化逆直交変換部１３と、加算部１４と、メモリ１５と、ポストフィルタ２０と、画像出力部１７とを備える。
【０１２３】
逆量子化逆直交変換部３は、可変長復号化部２により生成された量子化直交変換係数に、逆量子化処理及び逆直交変換処理を行うことで、９ビット精度の差分画素値を生成する。
【０１２４】
加算部４は、逆量子化逆直交変換部３により生成された９ビット精度の差分画素値と、動き補償部６から出力される８ｂｉｔ精度の予測画像データとを加算することで、８ｂｉｔ精度のマクロブロック単位のデコード画像データを生成する。
【０１２５】
以上の構成より、本発明の実施の形態２に係る画像復号化装置２００は、実施の形態１に係る画像復号化装置１００と同様に、通常の符号化方式との互換性を維持したままで、高ビット精度の画像を復号化することができる。また、本発明の実施の形態２に係る画像復号化装置２００は、従来のフレーム単位又はフィールド単位の画像データに対してフィルタ処理を行う画像復号化装置７００に比べ、ポストフィルタ２０の回路規模を小さくすることができる。また、本発明の実施の形態２に係る画像復号化装置２００は、量子化パラメータを用いた適応的なフィルタ処理をより簡単な制御で実現できる。
【０１２６】
（実施の形態３）
本発明の実施の形態３に係る画像復号化装置は、実施の形態１に係る画像復号化装置１００の変形例である。本発明の実施の形態３では、マクロブロック単位のデコード画像データにポストフィルタ処理を加えるという本発明の特徴を変更せずに、デブロックフィルタを用いた画像符号化規格（例えば、Ｈ．２６４規格）に対応する画像復号化装置について説明する。
【０１２７】
まず、Ｈ．２６４規格に対応した画像符号化装置について説明する。
図５は、Ｈ．２６４規格に対応した画像符号化装置の構成を示すブロック図である。なお、図９と同様の要素には同一の符号を付しており、詳細な説明は省略する。
【０１２８】
図５に示す画像符号化装置６０１は、図９に示す画像符号化装置６００の構成に加え、さらに、デブロックフィルタ７１を備える。
【０１２９】
デブロックフィルタ７１は、加算部５７により生成されたローカルデコード画像のマクロブロック境界に生じるノイズを低減する。デブロックフィルタ７１のフィルタ特性は画像符号化装置６０１が決定し、その特性を示すフィルタ特性データが画像符号化データとともに画像符号化装置６０１から出力される。
【０１３０】
メモリ５８は、デブロックフィルタ７１によりノイズを低減されたローカルデコード画像を蓄積する。
【０１３１】
以上の構成により、画像符号化装置６０１は、Ｈ．２６４規格に対応した１０ビット精度の画像データを符号化し、符号化データを出力する。
【０１３２】
次に、本発明の実施の形態３に係る画像復号化装置について説明する。
図６は、本発明の実施の形態３に係る画像復号化装置の構成を示すブロック図である。なお、図１と同様の要素には同一の符号を付しており詳細な説明は省略する。
【０１３３】
図６に示す画像復号化装置３００は、図１に示す画像復号化装置１００の構成に加えて、さらに、デブロックフィルタ３１を備える。
【０１３４】
図６に示す画像復号化装置３００は、Ｈ．２６４規格の、８ビット精度の画像データの入出力が規定されたプロファイルに準拠した画像復号化装置である。すなわち、画像復号化装置３００は、８ビット精度の画像データがＨ．２６４により符号化された符号データを復号化する。また、画像復号化装置３００は、１０ビット精度で可変長符号化された画像データを復号化し、１０ビット精度の画像データを出力する。例えば、画像復号化装置３００は、図５に示す画像符号化装置６０１により符号化された符号化データを復号化し１０ビット精度の画像データを出力する。
【０１３５】
画像復号化装置３００は、符号入力部１と、可変長復号化部２と、逆量子化逆直交変換部１３と、画像データ変換部１１と、加算部４と、メモリ５と、動き補償部６と、加算部１４と、メモリ１５と、ポストフィルタ２０と、画像出力部１７と、デブロックフィルタ３１とを備える。
【０１３６】
デブロックフィルタ３１は、加算部４により生成されたデコード画像データのマクロブロック境界に生じるノイズを低減する。このとき、画像復号化装置３００は、画像符号化装置６０１から出力されたフィルタ特性データを用いて、デブロックフィルタ３１のフィルタ特性を決定する。従って、画像符号化装置６０１におけるデブロックフィルタ７１のフィルタ特性と、画像復号化装置３００におけるデブロックフィルタ３１のフィルタ特性とが一致する。
【０１３７】
メモリ５は、デブロックフィルタ３１によりノイズを低減されたデコード画像データを蓄積する。
【０１３８】
ここで、加算部４、デブロックフィルタ３１、メモリ５及び動き補償部６から成るループ状の処理は、画像符号化装置６０１の加算部５７、デブロックフィルタ７１、メモリ５８及び動き補償部５９からなるループ状の処理と、入力信号、処理内容及びｂｉｔ精度が同一である。これにより、加算部５７により生成されるローカルデコード画像と、加算部４により生成されるデコード画像データとは一致する。
【０１３９】
以上の構成より、本発明の実施の形態３に係る画像復号化装置３００は、Ｈ．２６４規格に対応した復号化を行うことができる。
【０１４０】
また、本発明の実施の形態３に係る画像復号化装置３００は、実施の形態１に係る画像復号化装置１００と同様に、通常の符号化方式との互換性を維持したままで、高ビット精度の画像を復号化することができる。また、本発明の実施の形態３に係る画像復号化装置３００は、従来のフレーム単位又はフィールド単位の画像データに対してフィルタ処理を行う画像復号化装置７００に比べ、ポストフィルタ２０の回路規模を小さくすることができる。また、本発明の実施の形態３に係る画像復号化装置３００は、量子化パラメータを用いた適応的なフィルタ処理をより簡単な制御で実現できる。
【産業上の利用可能性】
【０１４１】
本発明は、画像復号化装置に適用でき、特に、デジタルテレビ、デジタルビデオカメラ及びデジタルビデオレコーダに用いられる画像復号化装置として適用できる。
【図面の簡単な説明】
【０１４２】
【図１】本発明の実施の形態１に係る画像復号化装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る画像復号化装置のポストフィルタ及び従来の画像復号化装置のポストフィルタによるフィルタ処理の処理イメージを示す図である。
【図３】本発明の実施の形態１に係る画像復号化装置のポストフィルタのフィルタ処理の流れを示すフローチャートである。
【図４】本発明の実施の形態２に係る画像復号化装置の構成を示すブロック図である。
【図５】Ｈ．２６４規格に対応した画像符号化装置の構成を示すブロック図である。
【図６】本発明の実施の形態３に係る画像復号化装置の構成を示すブロック図である。
【図７】従来の画像符号化装置の構成を示すブロック図である。
【図８】従来の画像復号化装置の構成を示すブロック図である。
【図９】画像符号化規格に準拠し、且つ高画質な符号化を行う従来の画像符号化装置の構成を示すブロック図である。
【図１０】画像符号化規格に準拠し、且つ高画質な復号化を行う従来の画像復号化装置の構成を示すブロック図である。
【符号の説明】
【０１４３】
１００、２００、３００、５００、７００  画像復号化装置
４００、６００、６０１  画像符号化装置
１  符号入力部
２  可変長復号化部
３、１３、５６  逆量子化逆直交変換部
４、１４、５７  加算部
５、１５、５８  メモリ
６、５９  動き補償部
７、１７  画像出力部
１１  画像データ変換部
２０、２１、２２  ポストフィルタ
３０  量子化パラメータ
３１、７１  デブロックフィルタ
５１、６１  画像入力部
５２、６２  減算部
５３、６３  直交変換量子化部
５４  可変長符号化部
５５  符号出力部
２０１  デコード画像フレーム
２１１、２１２、２１３  画素
２２１、２２２  マクロブロック単位のデコード画像データ
【図１】
2009017509.tif 000003
【図２】
2009017509.tif 000004
【図３】
2009017509.tif 000005
【図４】
2009017509.tif 000006
【図５】
2009017509.tif 000007
【図６】
2009017509.tif 000008
【図７】
2009017509.tif 000009
【図８】
2009017509.tif 000010
【図９】
2009017509.tif 000011
【図１０】
2009017509.tif 000012