(57)【要約】【課題】小さな回路・メモリの追加で、任意の歪除去処理を施した画像を出力する復号化装置を実現すること。【解決手段】参照画像を生成するために、復元画像に対して歪除去処理を行う歪除去ループフィルタ５と、参照画像を保持するフレームメモリ６と、復元画像に対して前記歪除去手段とは異なった歪除去を行い、出力画像を生成する出力画像用歪除去フィルタ１０と、参照画像と出力画像の差分画像を保持する差分画像メモリ１１と、参照画像に差分画像を加算することにより出力画像を再構成する出力画像生成部１２とを備える。【選択図】図１
2009130571.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して直交変換・量子化処理した後に、逆量子化・逆直交変換処理した画像を参照画像として用いる予測符号化により圧縮した圧縮画像データを復号する画像復号化装置であって、
前記圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去手段と、
前記参照画像を保持する参照画像蓄積手段と、
前記歪除去手段で行う歪除去処理とは異なる歪除去処理を前記復元画像に対して行う出力画像用歪除去手段と、
前記参照画像と、前記出力画像用歪除去手段により生成された画像との差分画像を保持する差分画像蓄積手段と、
前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成手段とを備えることを特徴とする画像復号化装置。
【請求項２】
前記歪除去手段において歪除去処理に用いた情報を、前記出力画像用歪除去手段においての歪除去処理にも用いることを特徴とする請求項１記載の画像復号化装置。
【請求項３】
前記差分画像蓄積手段に入力される前記差分画像の各画素値が所定の範囲外の値である場合には、前記画素値を所定の範囲内の値に修正する入力データ値制限手段をさらに備えることを特徴とする請求項１記載の画像復号化装置。
【請求項４】
入力画像に対して直交変換・量子化処理した後に、逆量子化・逆直交変換処理した画像を参照画像として用いる予測符号化により圧縮した圧縮画像データを復号する画像復号化方法であって、
前記圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成し保持し、
前記参照画像を生成する際の歪除去処理とは異なる歪除去処理を、前記復元画像に対して行い、
前記参照画像と、前記復元画像に対して行った歪除去処理により生成された画像との差分画像を生成し保持し、
前記参照画像に前記差分画像を加算することにより出力画像を生成することを特徴とする画像復号化方法。
【請求項５】
入力画像に対して直交変換・量子化処理した後に、逆量子化・逆直交変換処理した画像を参照画像として用いる予測符号化により圧縮した圧縮画像データを復号する画像復号化プログラムであって、
前記圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去ステップと、
前記参照画像を保持する参照画像蓄積ステップと、
前記歪除去ステップで行う歪除去処理とは異なる歪除去処理を前記復元画像に対して行う出力画像用歪除去ステップと、
前記参照画像と、前記出力画像用歪除去ステップにより生成された画像との差分画像を保持する差分画像蓄積ステップと、
前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成ステップとを備えることを特徴とする画像復号化プログラム。
【請求項６】
入力画像に対して直交変換・量子化処理した後に、逆量子化・逆直交変換処理した画像を参照画像として用いる予測符号化により圧縮した圧縮画像データを復号する画像復号化集積回路であって、
前記圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去手段と、
前記参照画像を保持する参照画像蓄積手段と、
前記歪除去手段で行う歪除去処理とは異なる歪除去処理を前記復元画像に対して行う出力画像用歪除去手段と、
前記参照画像と、前記出力画像用歪除去手段により生成された画像との差分画像を保持する差分画像蓄積手段と、
前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成手段とを備えることを特徴とする画像復号化集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像に関するデータを復号する画像復号化装置に関し、特にループフィルタを用いる画像復号化装置に関する。
【背景技術】
【０００２】
一般に動画像を圧縮するための符号化では、画像の冗長性を削減することによってデータ量を削減している。画像の時間的な冗長性の削減を目的とする画面間予測符号化では、まず画像を所定のブロックに分割し、ブロックごとに前方・後方の画像を参照してその動きを検出する。そして、動き検出結果を用いて参照画像から予測画像を生成し（動き補償）、得られた予測画像と符号化対象のブロックとの差分値に対して符号化を行う。しかし、参照画像に符号化に際して発生する歪が含まれている場合、符号化効率が低下する。
【０００３】
そこで、近年規格化されたＨ．２６４／ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）等の符号化方式では、ループフィルタを用いている。ループフィルタを用いた画像符号化では、歪除去処理を行った参照画像を用いて動き検出および動き補償を行うため、符号化により歪が生じる場合でも符号化効率が大きく劣化しない。ただし、ループフィルタを用いた画像符号化方法では、歪除去処理のために映画素材の画像におけるフィルム・グレイン等の画像の細かな質感を損なうという問題がある。そこで、ループフィルタを用いる画像復号化装置において画像の質感を損なうことなく、画像データを復号するための技術が開示されている（例えば、特許文献１）。
【０００４】
図４は、従来の画像復号化装置の機能的な構成を示す機能ブロック図である。従来の画像復号化装置の動作の概要を以下に説明する。
【０００５】
図４に示す従来の画像復号化装置１０００では、まず入力された圧縮画像データを可変長復号化部１で可変長復号する。復号された量子化値は、逆量子化部２で変換係数に戻される。この変換係数は、逆直交変換部３で実空間データにされた後、復元画像生成部４において画面内予測部７または画面間予測部８から出力される予測画像と加算され、復元画像が生成される。この復元画像は歪除去ループフィルタ５により歪除去された後、フレームメモリ６に保持され、画面内予測部７や画面間予測部８で用いられる。また、歪除去ループフィルタ５による歪除去処理を施される前の復元画像は、出力画像メモリ１０１に保持され表示順に出力される。出力画像に歪除去前の復元画像を用いるため、画像の質感を損なうことなく画像を出力できる。
【特許文献１】特開２００４−３３６７０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記従来の技術では、出力画像に対して歪除去処理を行わないため、画像によっては目立った歪が生じる場合がある。そこで、画像の質感を損なうことなく歪を除去できるようなフィルタ処理を行おうとしても、ループフィルタでの歪除去処理後の画像を参照画像として用いるため、ループフィルタを符号化に用いた規格に定められたものから変更できない。また、前記従来の技術では、参照画像を保持するメモリとは別に出力画像を保持するメモリが必要なため、ハードウェアに実装する場合には、その回路規模が課題となる。
【０００７】
本発明は、前記従来の課題を解決するもので、小さな回路・メモリの追加で、任意の歪除去処理を施した画像を出力する復号化装置を実現することを目的とする。
【課題を解決するための手段】
【０００８】
前記従来の課題を解決するために、本発明の画像復号化装置は、入力画像に対して直交変換・量子化処理した後に、逆量子化・逆直交変換処理した画像を参照画像として用いる予測符号化により圧縮した圧縮画像データを復号する画像復号化装置であって、前記圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去手段と、前記参照画像を保持する参照画像蓄積手段と、前記歪除去手段で行う歪除去処理とは異なる歪除去処理を前記復元画像に対して行う出力画像用歪除去手段と、前記参照画像と、前記出力画像用歪除去手段により生成された画像との差分画像を保持する差分画像蓄積手段と、前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明の画像復号化装置は、圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去手段と、前記参照画像を保持する参照画像蓄積手段と、前記歪除去手段で行う歪除去処理とは異なる歪除去処理を前記復元画像に対して行う出力画像用歪除去手段と、前記参照画像と、前記出力画像用歪除去手段により生成された画像との差分画像を保持する差分画像蓄積手段と、前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成手段を有する構成である。
【００１０】
このような構成により、本発明の画像復号化装置は、出力画像用歪除去手段により出力画像用の歪除去処理をするため、ループフィルタとは異なる任意の歪除去処理を行える。そして、参照画像生成用の歪除去処理と出力画像生成用の歪除去処理を並行して行えるため、参照画像生成用の歪除去処理で用いる情報を、メモリなどに一旦保持することなく出力画像生成用の歪除去処理で用いることができる。
【００１１】
また、画像出力用のメモリは、参照画像と出力画像との差分画像を保持するため、この差分画像は一般に小さな値となることから、従来の画像符号化装置における出力画像メモリに比べて小さな容量とすることができる。
【００１２】
以上のように、本発明の画像復号化装置によれば、小さな回路・メモリの追加で任意の歪除去処理を施した画像を出力できる。
【発明を実施するための最良の形態】
【００１３】
本発明の画像復号化装置は、圧縮画像データに対して、逆量子化・逆直交変換処理して生成した復元画像に対して歪除去処理を行って参照画像を生成する歪除去手段と、前記参照画像を保持する参照画像蓄積手段と、前記歪除去手段で行う歪除去処理とは異なる歪除去処理を行う前記復元画像に対して出力画像用歪除去手段と、前記参照画像と、前記出力画像用歪除去手段により生成された画像との差分画像を保持する差分画像蓄積手段と、前記参照画像に前記差分画像を加算することにより出力画像を生成する出力画像生成手段を有する構成である。
【００１４】
この構成により、本発明の画像復号化装置は、出力画像用歪除去手段により出力画像用の歪除去処理をするため、ループフィルタとは異なる任意の歪除去処理を行える。そして、参照画像生成用の歪除去処理と出力画像生成用の歪除去処理を並行して行えるため、参照画像生成用の歪除去処理で用いる情報を、メモリなどに一旦保持することなく出力画像生成用の歪除去処理で用いることができる。
【００１５】
また、画像出力用のメモリは、参照画像と出力画像との差分画像を保持するため、この差分画像は一般に小さな値となることから、従来の画像符号化装置における出力画像メモリに比べて小さな容量とすることができる。
【００１６】
さらに、前記歪除去手段において歪除去処理に用いた情報を、前記出力画像用歪除去手段においての歪除去処理にも用いるように構成しても構わない。
【００１７】
この構成により、復元画像に対して行う、参照画像を生成するための歪除去処理と、出力画像を生成するための歪除去処理とを、同等の処理を行うことができる。
【００１８】
さらに、前記差分画像蓄積手段に入力される前記差分画像の各画素値が所定の範囲外の値である場合には、前記画素値を所定の範囲内の値に修正する入力データ値制限手段を備えるように構成しても構わない。
【００１９】
この構成により、差分画像蓄積手段に入力される値が制限されることで、差分画像蓄積手段は入力の可能性があるすべての値に対応するように構成する必要がなくなるため、さらに小さなメモリ容量とすることができる。
【００２０】
以上のように、本発明の画像復号化装置によれば、小さな回路・メモリの追加で任意の歪除去処理を施した画像を出力できる。
【００２１】
なお、本発明は、以上のような画像復号化装置として実現することができるだけでなく、集積回路や、画像復号化方法、その方法をコンピュータに実行させるプログラム、そのプログラムが記録された記録媒体として実現することもできる。そして、そのプログラムをインターネット等の伝送媒体またはＤＶＤ等の記録媒体を介して配信することができるのは言うまでもない。
【００２２】
以下、本発明を実施するための最良の形態について、図面を参照しながら説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１における画像復号化装置の機能的な構成を示す機能ブロック図である。本実施の形態１における画像復号化装置１００は、可変長復号化部１と、逆量子化部２と、逆直交変換部３と、復元画像生成部４と、歪除去ループフィルタ５と、フレームメモリ６と、画面内予測部７と、画面間予測部８と、出力画像用歪除去フィルタ１０と、差分画像メモリ１１と、出力画像生成部１２とを備える。
【００２４】
画像復号化装置１００において、まず入力された圧縮画像データは、可変長復号化部１で可変長復号され、量子化値が出力される。この量子化値は、逆量子化部２で変換係数に戻される。この変換係数は、逆直交変換部３で実空間データにされる。その後、復元画像生成部４において、画面内予測部７または画面間予測部８から出力される予測画像と、この実空間データとが加算され、復元画像が生成される。この復元画像は歪除去ループフィルタ５により歪除去された後、フレームメモリ６に保持され、画面内予測部７や画面間予測部８で用いられる。また、歪除去ループフィルタ５による歪除去処理を施される前の復元画像は、出力画像用歪除去フィルタ１０において歪除去され、出力画像用歪除去フィルタ１０の出力と歪除去ループフィルタ５の差分が差分画像メモリ１１に保持される。出力画像生成部１２は、フレームメモリに保持されている参照画像に差分画像メモリ１１に保持されている差分画像を加算し、出力画像を再構成する。
【００２５】
歪除去ループフィルタ５において符号化時に使用した参照画像を生成すると共に、出力画像用歪除去フィルタ１０において任意の歪除去処理を行うことが可能となる。また、差分画像メモリ１１には、参照画像と出力画像との差分画像を保持する。この差分画像は一般に小さな値となるため、従来の画像復号化装置における出力画像メモリ１０１に比べて小さな容量でよい。さらに、参照画像生成用の歪除去処理と出力画像生成用の歪除去処理を並行して行えるため、歪除去ループフィルタ５で用いる情報を、メモリなどに一旦保持することなく出力画像用歪除去フィルタ１０でも用いることができる。
【００２６】
歪除去ループフィルタ５で用いる情報は、例えば、Ｈ．２６４／ＡＶＣ符号化方式では、可変長復号化部１において得られる量子化パラメータや、隣接するブロックの符号化タイプ、復元画像生成部４において得られるブロック境界に存在する画素値などである。このように、多くの情報がループフィルタで用いられるが、本発明の実施の形態１のように構成した画像復号化装置１００によれば、メモリの追加なしに、これらの情報を出力画像用歪除去フィルタ１０でも用いることができる。
【００２７】
上述の通り、本発明の実施の形態１における画像復号化装置では、ループフィルタでの歪除去処理と並行して、出力画像用の歪除去処理を行い、参照画像と出力画像の差分画像をメモリに保持することにより、小さな回路・メモリの追加で、任意の歪除去処理を施した画像を出力できる。
【００２８】
（実施の形態２）
図２は、本発明の実施の形態２における画像復号化装置の機能的な構成を示す機能ブロック図である。図２において、図１と同じ構成要素については同じ符号を用い、説明を省略する。図２において、画像復号化装置２００は、本発明の実施の形態１で説明した画像復号化装置が有する構成要素に加えて、入力データ値制限部１３を備える。
【００２９】
入力データ値制限部１３は、入力される差分画像の各画素値が所定の範囲外の値である場合に、入力データを所定の範囲内の値に修正する。これにより、差分画像メモリ１１に入力されるデータのビット幅は、出力画像用歪除去フィルタ１０の処理によらず所定の範囲内に制限される。
【００３０】
入力データ値制限部１３に入力される値は、出力画像用歪除去フィルタ１０と歪除去ループフィルタ５の出力画像の各画素値の差分である。出力画像用歪除去フィルタ１０と歪除去ループフィルタ５ではともに歪除去処理を行うため、これらから出力される画像の画素値は似た値となる場合が多く、その差分値が大きな値となる可能性は低い。しかし、差分画像メモリ１１は、入力の可能性があるすべての値に対応できなければ正しく値を保存できず出力画像に歪・雑音が生じる可能性がある。このため、差分画像メモリ１１は入力の可能性の低い値も保持できるような容量を持つ必要がある。
【００３１】
ここで、差分画像メモリ１１への入力値を入力される可能性の高い値域に制限することで、さらにメモリ容量を削減できる。入力データ値制限部に所定の範囲外の値が入力された場合は、完全に任意の歪除去を施した画像を出力できない。しかし、適切に入力値の範囲を設定すればその可能性は非常に低くできる。また、たとえ差分画像メモリ１１への入力値が所定の範囲を超え、画素値が所定の範囲内の値に制限される場合においても、出力画像生成部１２から出力される画像の各画素値は、図３に示す通り出力画像用歪除去フィルタ１０の出力画素値と歪除去ループフィルタ５の出力画素値の中間にある値となる。このため、出力画像に目立った歪や雑音は生じることはなく、画質に大きな影響は与えない。
【００３２】
上述の通り、本実施の形態の画像復号装置では、差分画像メモリへの入力データ値を制限することにより、さらに小さなメモリ容量で任意の歪除去処理を施した画像を出力できる。
【産業上の利用可能性】
【００３３】
本発明は、動画像に関する圧縮データを復号する画像復号化装置等に利用することができ、ループフィルタを用いる画像復号化装置等に有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の実施の形態１の画像復号化装置の機能的な構成を示す機能ブロック図
【図２】本発明の実施の形態２の画像復号化装置の機能的な構成を示す機能ブロック図
【図３】差分画像メモリへの入力値を制限した場合の出力画像の一例を示す図
【図４】従来の画像復号化装置の機能的な構成を示す機能ブロック図
【符号の説明】
【００３５】
１  可変長復号化部
２  逆量子化部
３  逆直交変換部
４  復元画像生成部
５  歪除去ループフィルタ
６  フレームメモリ
７  画面内予測部
８  画面間予測部
１０  出力画像用歪除去フィルタ
１１  差分画像メモリ
１２  出力画像生成部
１３  入力データ値制限部
１００、２００  画像復号化装置
【図１】
2009130571.tif 000003
【図２】
2009130571.tif 000004
【図３】
2009130571.tif 000005
【図４】
2009130571.tif 000006