(57)【要約】【課題】  動画像の圧縮符号化において、空間スケーラビリティを容易に実現する。【解決手段】  この画像符号化装置は、画像を階層的に空間周波数成分に変換するウェーブレット変換部３と、変換により得られた空間周波数成分を量子化する量子化部４と、量子化された空間周波数成分を逆量子化する逆量子化部６と、逆量子化された空間周波数成分を、逆変換階層レベル設定部８で設定された階層まで逆変換するウェーブレット逆変換部７と、逆変換階層レベル設定部８で設定された階層の低周波成分を参照画像拡大部９で拡大して参照画像を生成し、この参照画像を用いて動き予測を行う動き予測部１２とを備える。【選択図】  図１
2006108811.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数の空間周波数帯域に分割する第１のステップと、
分割された空間周波数帯域のうち任意の周波帯域を、更に複数の空間周波数帯域に分割する第２のステップと、を含み、
前記第１のステップ又は第２のステップによって得られた最も低い周波数帯域成分から参照画像を生成し、前記画像と異なる時間に入力された画像に対して動き予測を行う画像符号化方法。
【請求項２】
前記任意の周波数帯域は、前記分割された空間周波数帯域のうち最も低い周波数帯域であることを特徴とした請求項１又は２に記載の画像符号化方法。
【請求項３】
前記動き予測の結果を符号化することを特徴とした請求項１又は２に記載の画像符号化方法。
【請求項４】
前記第２のステップは、所定の回数繰り返して行われることを特徴とした請求項１から３のいずれかに記載の画像符号化方法。
【請求項５】
符号化されたデータに対し、前記参照画像を生成した低周波帯域成分がどのステップによって得られたものかを示す情報を付加することを特徴とした請求項１から４のいずれかに記載の画像符号化方法。
【請求項６】
前記参照画像を前記異なる時間に入力された画像と同じ解像度に拡大した上で前記動き予測を行うことを特徴とした請求項１から５のいずれかに記載の画像符号化方法。
【請求項７】
前記異なる時間に入力された画像を前記参照画像と同じ解像度に縮小した上で前記動き予測を行うことを特徴とした請求項１から６のいずれかに記載の画像符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の圧縮符号化において空間スケーラビリティの実現が容易な画像符号化方法に関する。
【背景技術】
【０００２】
動画像において、ＭＰＥＧ−４やＨ．２６４など、これまで高い圧縮効率を実現する圧縮符号化方式の標準化が主になされてきた。そして、今後は高い圧縮効率を維持しつつ、スケーラビリティを重視した圧縮方式の標準化に注目が集まると予想される。特許文献１には、変換符号化方式として、高い圧縮効率とスケーラビリティとを容易に両立できる離散ウェーブレット変換（ＤＷＴ：Discrete Wavelet Transform）を使用し、予測符号方式として動き予測符号化を使用した動画像符号化方法が開示されている。
【特許文献１】特開平８−１８２００１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に開示された動画像符号化方法では、動き予測符号化を行う際、符号化対象である原画像に対して動き予測を行い、動きベクトルを検出して符号化している。このため、この符号化画像を復号する場合は、結局原画像の解像度まで復号しなければならない。すなわち、変換符号化方式としてスケーラビリティの容易なＤＷＴを用いているにも関わらず、動き予測符号化方式には空間スケーラビリティがないために、動画像符号化方法全体として空間スケーラビリティを容易に実現することはできない、という問題があった。
【０００４】
この発明は、上記のような課題を解決するためになされたものであり、動画像の圧縮符号化において、空間スケーラビリティの実現が容易な画像符号化方法を提供することである。
【課題を解決するための手段】
【０００５】
本発明のある態様は、画像符号化方法に関する。この方法は、画像を複数の空間周波数帯域に分割する第１のステップと、分割された空間周波数帯域のうち最も低い周波帯域を、更に複数の空間周波数帯域に分割する第２のステップと、を含み、前記第１のステップ又は第２のステップによって得られた任意の周波数帯域成分から参照画像を生成し、前記画像と異なる時間に入力された画像に対して動き予測を行って、この動き予測の結果を符号化する。
【０００６】
この態様によれば、動き予測に用いる参照画像は、第１のステップ又は第２のステップで得られた最も低い周波数帯域成分を使用するので、この方法によって符号化された画像を復号する場合、少なくとも参照画像を生成した空間周波数帯域成分さえ復号できれば、以後の復号を継続して行うことができる。これにより、この符号化画像から任意の画像サイズで画像を復号するために、動画像を構成する１枚の画像の復号を途中で止め、次の画像の復号を開始することが可能である。したがって、この態様の画像符号化装置は、空間スケーラビリティを容易に実現することができる。
【０００７】
この態様において、前記任意の周波数帯域は、前記分割された空間周波数帯域のうち最も低い周波数帯域であってもよい。一般的に、画像を空間周波数帯域に分割すると、この中で最も低い周波数帯域に多くの情報が集まる。したがって、最も低い周波数帯域を更に複数の空間周波数帯域に分割すれば、より高効率に画像を圧縮することができる。
【０００８】
この態様において、前記動き予測の結果を符号化してもよい。これにより、復号側で動き予測の結果を取得し、これに基づいて動き補償を行うことが可能である。
【０００９】
この態様において、前記第２のステップは、所定の回数繰り返して行われてもよい。これにより、最も低い周波数帯域を繰り返し複数の空間周波数帯域に分割した画像を得ることができ、このような方法で複数の空間周波数帯域に分割された画像を符号化した場合においても、空間スケーラビリティを容易に実現することが可能である。  この態様において、符号化されたデータに対し、前記参照画像を生成した低周波帯域成分がどのステップによって得られたものかを示す情報を付加してもよい。これにより、符号化側で設定した参照画像を生成するために必要な階層レベルを、復号側に伝えることが可能となる。
【００１０】
この態様において、前記参照画像を前記異なる時間に入力された画像と同じ解像度に拡大した上で前記動き予測を行ってもよい。これにより、精度のよい動き予測が可能となる。
【００１１】
また、この態様において、前記異なる時間に入力された画像を前記参照画像と同じ解像度に縮小した上で前記動き予測を行ってもよい。これにより、動き予測部の演算量を削減することができ、低コスト化・低消費電力化を図ることができる。
【００１２】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１３】
動画像の圧縮符号化において、空間スケーラビリティを容易に実現することができる。
【発明を実施するための最良の形態】
【００１４】
（実施の形態１）
図１は、実施の形態１に係る画像符号化装置１００の構成図を示したものである。画像符号化装置１００に入力される原画像ＯＩは、一連のフレームで構成される動画像であり、画像符号化装置１００によって各フレーム毎に圧縮符号化されて、符号化画像ＣＩが出力される。画像処理装置１００の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリのロードされた復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１５】
画像符号化装置１００は、原画像ＯＩを構成するフレームが入力されると、そのフレームをフレーム内符号化、若しくはフレーム間符号化によって圧縮符号化する。フレーム内符号化を行う場合、ＳＷ１はＩｎｔｒａノードに接続され、原画像ＯＩはウェーブレット変換部３に入力されて、後述の通り階層化される。一方、フレーム間符号化を行う場合は、ＳＷ１はＩｎｔｅｒノードに接続される。この時、原画像ＯＩは減算器２に入力され、原画像ＯＩと後述の動き予測部１２で得られた予測画像との差分（予測誤差と言う）を算出する。この予測誤差がウェーブレット変換部３に入力され、階層化される。
【００１６】
ウェーブレット変換部３はドベシィ(Daubechies)フィルタを利用したもので、図２にも示すとおり、このフィルタは画像のｘ、ｙそれぞれの方向において、同時にローパスフィルタおよびハイパスフィルタとして作用し、ひとつの画像を４つの周波数サブバンドへ分割する。これらのサブバンドは、ｘ、ｙの両方向において低周波成分を有するＬＬサブバンドと、ｘ、ｙのいずれかひとつの方向において低周波成分を有し、かつもう一方の方向において高周波成分を有するＨＬおよびＬＨサブバンドと、ｘ、ｙの両方向において高周波成分を有するＨＨサブバンドである。各サブバンドの縦横の画素数は処理前の画像のそれぞれ１／２であり、一回のフィルタリングで解像度、すなわち解像度が１／４のサブバンド画像が得られる。
【００１７】
ウェーブレット変換部３は、こうして得られたサブバンドのうち、ＬＬサブバンドに対して再度フィルタリング処理を行い、これをさらにＬＬ、ＨＬ、ＬＨ、ＨＨの４つのサブバンドに分割する。フィルタリングは所定の回数行われ、最後のフィルタリングで生じたＬＬサブバンドが原画像ＯＩにおいて最もＤＣ成分に近い画像として取得される。以下、同一階層の各サブバンド、すなわち同じ回数フィルタリングを施して得られた４つのサブバンドはＨＨ、ＨＬおよびＬＨ、ＬＬの順に次第に低周波成分を含み、階層が深くなるにつれて、より低周波成分を含む画像が生成されていく。図２の例でいえば、右下から順に左上へいくほど低周波成分を含む画像として階層化画像が得られる。
【００１８】
ここで、フィルタリング処理をｎ回施した時に得られる階層化画像を、第ｎ階層レベルの画像と呼ぶ。図２の例でいえば、１回フィルタリング処理を施して得られた画像ＷＩ１を第１階層レベルの画像、２回フィルタリング処理を施して得られた画像ＷＩ２を第２階層レベルの画像、３回フィルタリング処理を施して得られた画像ＷＩ３を第３階層レベルの画像と呼ぶ。
【００１９】
量子化部４は、ウェーブレット変換部３から出力される空間周波数成分を量子化する。符号化部５は、例えばビットプレーン符号化および算術符号化器によって、量子化された空間周波数データを符号化し、この符号データを、所定の順序に並び替える。
【００２０】
一方、動き予測符号化を行うための参照画像を生成するために、量子化部４で量子化された空間周波数成分は、逆量子化部６で逆量子化された後、ウェーブレット逆変換部７に入力される。ウェーブレット逆変換部７は、階層化された画像を、図２とは逆の流れで逆変換する。例えば、第３階層レベルまで階層化された画像ＷＩ３がウェーブレット逆変換部７に入力された場合、まずＬＬ、３ＬＨ、３ＨＨ、３ＨＨの４つのサブバンドに対して逆変換を行い、第２階層レベルの画像ＷＩ２を得る。続いて、第２階層レベルの画像ＷＩ２のＬＬ、２ＬＨ、２ＨＬ、２ＨＨの４つのサブバンドに対して逆変換を行い、第１階層レベルの画像ＷＩ１を得る。最後に、第１階層レベルの画像ＷＩ１のＬＬ、ＬＨ、ＨＬ、ＨＨの４つのサブバンドに対して逆変換を行い、原画像の解像度の画像若しくは予測誤差が復号される。
【００２１】
このウェーブレット逆変換部７は、逆変換階層レベル設定部８で設定された階層レベルまで逆変換を行う。例えば、ウェーブレット逆変換部７に第３階層レベルまで階層化された画像が入力された時に、逆変換階層レベル設定部８で第１階層レベルまで逆変換を行うように設定されると、ウェーブレット逆変換部７は第１階層レベルの画像が得られた段階で逆変換処理を終了する。また、逆変換階層レベル設定部８が第３階層レベルまで逆変換を行うように設定された場合は、ウェーブレット逆変換部７に入力された画像が第３階層レベルまで階層化されているので、ウェーブレット逆変換部７は逆変換を行わずに処理を終了する。ウェーブレット逆変換部７は、処理が終わった段階で得られた階層レベルのＬＬサブバンド成分を参照画像拡大部９に送る。
【００２２】
逆変換階層レベル設定部８で設定する階層レベルは、参照画像を生成するために必要な階層レベルを示している。どの階層レベルのＬＬ成分を使用するかは、空間スケーラビリティの範囲と符号量とのバランスによって決められる。すなわち、小さな解像度から大きな解像度まで容易に復号できるように空間スケーラビリティの範囲を大きくした場合は、できるだけ深い階層レベルのＬＬ成分から参照画像を生成するようにするとよい。ただしこの場合、参照画像の精度が悪くなるため、予測誤差が大きくなり符号量が大きくなる問題がある。逆に符号量を抑えるためには、できるだけ原画像に近いサイズをもつ階層レベルのＬＬ成分から参照画像を生成するとよい。ただし、この場合は空間スケーラビリティの範囲が狭くなる。
【００２３】
したがって、逆変換階層レベル設定部８は、空間スケーラビリティの範囲と符号化量とのバランスを考慮しつつ、原画像の解像度やウェーブレット変換部３で変換した階層レベルの深さ、或いは画像符号化装置１００の処理能力などに応じて自動で決定される。もしくは、ユーザによって手動で設定されてもよい。
【００２４】
参照画像拡大部９は、入力されたＬＬサブバンド成分を、原画像ＯＩと同じ解像度となるように拡大処理する。第ｎ階層レベルのＬＬサブバンド成分が参照画像拡大部９に入力された場合、このＬＬサブバンド成分の解像度は原画像の解像度の１／２ｎである。したがって、ＬＬサブバンド成分に対して、解像度が２ｎとなるように拡大処理を行う。入力されたＬＬサブバンド成分の階層レベルは、逆変換階層レベル設定部８より取得する。
【００２５】
参照画像拡大部９で拡大処理されたデータがフレーム内符号化で得られる予測誤差を復号したものである場合、このデータは加算器１０に入力され、この予測誤差を算出する際に使用した予測画像と足し合わされる。この時、ＳＷ２はＩｎｔｅｒノードに接続され、加算器１０によって得られた画像を新たな参照画像としてフレームメモリ１１に記憶する。一方、参照画像拡大部９で拡大処理されたデータがフレーム間符号化した画像を復号したものである場合は、ＳＷ２をＩｎｔｒａノードに接続し、この拡大処理された画像を新たな参照画像としてフレームメモリ１１に記憶する。
【００２６】
動き予測部１２は、画像符号化装置１００に入力された原画像ＯＩのフレームに対しフレーム内符号化を行う時に、このフレームとフレームメモリ１１に記憶された参照画像とを比較して動き予測を行い、予測画像を減算器２と加算器１０に出力する。また、動きベクトル情報を符号化部５に出力する。参照画像は、符号化対象のフレームよりも１フレームもしくは数フレーム前に画像符号化装置１００に入力されたフレームを用いてもよいし、或いは１フレームもしくは数フレーム後に入力されるフレームを用いてもよい。或いは、これら複数のフレームから参照画像を生成してもよい。
【００２７】
符号化部５は、前述の通り、量子化部４で量子化された空間周波数データを符号化し、この符号データを所定の順序に並び替えるとともに、符号化対象のフレームがフレーム内圧縮もしくはフレーム間圧縮のどちらによって圧縮されたかを示す情報と、フレーム間圧縮した場合は、逆変換階層レベル設定部８で設定した参照画像の生成に必要な階層レベル、動き予測部１２で求めた動きベクトル、動き予測方向、及び参照画像に使用するフレームなどの符号化条件を示すパラメータを付加して符号データストリームを生成する。この階層レベルは、ストリーム（若しくはシーケンス）に対して１つ付加してもよいし、フレームの集合（例えばＧＯＰ）に対して１つ付加してもよいし、フレーム毎に付加してもよい。こうして、最終的な符号化画像ＣＩ（Coded Image）が出力される。
【００２８】
斯かる構成に基づき、図１に示した画像符号化装置１００の動作を以下に説明する。原画像ＯＩを構成するフレームをフレーム内圧縮で符号化する場合、このフレームはＳＷ１のＩｎｔｒａノードを介してウェーブレット変換部３に入力される。ここで、符号化対象のフレームは複数段に階層化されたサブバンドに分割される。ウェーブレット変換部３によって得られたデータは、量子化部４、符号化部５を経由して符号化画像ＣＩが生成される。
【００２９】
また、量子化部４によって量子化されたデータは、参照画像を生成するために逆量子化部６によって逆量子化され、ウェーブレット逆変換部７でウェーブレット逆変換が施される。この時、ウェーブレット逆変換部７は、逆変換階層レベル設定部８にて設定された階層レベルまで逆変換を行う。そして、この階層のＬＬサブバンド成分を動き予測の参照画像として利用するために、このＬＬサブバンド成分を参照画像拡大部９で拡大し、この拡大されたＬＬサブバンド成分をＳＷ２のＩｎｔｒａノードを介してフレームメモリ１１に格納する。
【００３０】
一方、原画像ＯＩを構成するフレームをフレーム間圧縮で符号化する場合、このフレームは減算器２に送られ、動き予測部１２で生成された予測画像が減算されて、予測誤差が出力される。この予測誤差は、ＳＷ１のＩｎｔｅｒノードを介してウェーブレット変換部３によって複数段に階層化されたサブバンドに分割される。ウェーブレット変換部３によって得られたデータは、量子化部４、符号化部５を経由して符号化画像ＣＩが生成される。
【００３１】
また、量子化部４によって量子化されたデータは、参照画像を生成するために逆量子化部６によって逆量子化され、ウェーブレット逆変換部７でウェーブレット逆変換が施される。この時、ウェーブレット逆変換部７は、逆変換階層レベル設定部８にて設定された階層レベルまで逆変換を行う。そして、この階層のＬＬサブバンド成分と動き予測部１２で生成された予測画像とを加算器１０で足し合わせて参照画像を生成するために、このＬＬサブバンド成分は参照画像拡大部９によって拡大される。そして、加算器１０で生成された参照画像はＳＷ２のＩｎｔｅｒノードを介してフレームメモリ１１に格納される。
【００３２】
動き予測部１２は、逆変換階層レベル設定部８で設定された階層レベルのＬＬサブバンド成分をもとに生成された参照画像をフレームメモリ１１から読み出して、動き予測を行う。
【００３３】
次に、図１の画像符号化装置１００によって得られた符号化画像ＣＩを復号するための装置について説明する。図３に示した画像復号装置２００は、画像符号化装置１００で符号化された画像ＣＩを復号するための装置の一例である。画像復号装置２００は、符号化画像ＣＩを復号部５１に入力し、符号化画像ＣＩに付加された符号化条件を示すパラメータや量子化された空間周波数データを復号する。符号化条件を示すパラメータには、参照画像を生成するために必要な階層レベル、動きベクトル、動き予測方向、及び参照画像に使用するフレームが含まれる。参照画像を生成するために必要な階層レベルはウェーブレット逆変換部５３、参照画像拡大縮小部５６、動き補償部５９に入力される。また動きベクトル、動き予測方向、及び参照画像に使用するフレームは動き補償部５９に入力される。
【００３４】
量子化された空間周波数データは、逆量子化部５２で逆量子化された後、ウェーブレット逆変換部５３に入力される。復号画像階層レベル設定部５４は、画像復号装置１００の状態や、復号した画像を表示する表示装置の画素数などに応じて、復号画像の階層レベルを設定する。ウェーブレット逆変換部５３は、復号画像階層レベル設定部５４で設定された階層レベルまで逆変換を行う。この時、途中の階層レベルまで逆変換を行った場合は、そのＬＬ成分を逆変換の結果としてＳＷ３もしくは加算器５５に送る。また、原画像の解像度まで逆変換された場合は、逆変換された結果をすべてＳＷ３もしくは加算器５５に送る。
【００３５】
逆変換したフレームがフレーム内符号化の場合、ＳＷ３をＩｎｔｒａノードに接続し、ウェーブレット逆変換部５３で逆変換された結果がそのまま復号画像ＤＩとして出力される。また、フレーム間符号化の場合は、ＳＷ３はＩｎｔｅｒノードに接続され、ウェーブレット逆変換部５３で逆変換された結果と後述の動き補償部５９で得られた予測画像とを加算器５５で足し合わせた結果が復号画像ＤＩとして出力される。
【００３６】
ウェーブレット逆変換部５３は、復号部５１から入力された参照画像に必要な階層レベルを基に、その階層レベルのＬＬ成分を参照画像拡大縮小部５６に入力する。この時、参照画像に必要な階層レベルが復号画像の階層レベルと同等もしくは小さい場合は、復号の際に参照画像に必要な階層レベルの画像が得られるため、それを利用する。逆に、参照画像に必要な階層レベルが復号画像の階層レベルよりも大きい場合は、復号の際に参照画像に必要な階層レベルの画像が得られないため、ウェーブレット逆変換部５３は参照画像に必要な階層レベルまで逆変換を行う。
【００３７】
参照画像拡大縮小部５６は、復号画像の階層レベルと参照画像に必要な階層レベルを比較し、ウェーブレット逆変換部５３から入力されたＬＬ成分を復号画像の解像度と同じになるように拡大・縮小する。例えば、参照画像に必要な階層レベルが図２の第２階層レベルＷＩ２の時、ウェーブレット逆変換部５３から第２階層レベルＷＩ２のＬＬ成分が入力される。そして、復号画像の階層レベルが図２の第１階層レベルＷＩ１である場合は、ウェーブレット逆変換部５３から入力されたＬＬ成分を縦・横とも２倍に拡大処理する。また、復号画像の階層レベルが図２の原画像レベルＯＩである場合は、ウェーブレット逆変換部５３から入力されたＬＬ成分を縦・横とも４倍に拡大処理する。一方、復号画像の階層レベルが図２の第３階層レベルＷＩ３である場合は、ウェーブレット逆変換部５３から入力されたＬＬ成分を縦・横とも１／２に縮小処理する。
【００３８】
復号しているフレームがフレーム内符号化の場合、ＳＷ４はＩｎｔｒａノードに接続され、参照画像拡大縮小部５６の結果がフレームメモリ５８に格納される。また、復号しているフレームがフレーム間符号化の場合は、ＳＷ４はＩｎｔｅｒノードに接続され、参照画像拡大縮小部５６の結果と後述の動き補償部５９で得られた予測画像とが加算器５７で足し合わされて、その結果がフレームメモリ５８に格納される。
【００３９】
動き補償部５９は、復号部５１から動きベクトル、動き予測方向、及び参照画像に使用するフレームの情報を受け取り、フレームメモリ５８から必要な画像を読み出して、予測画像を生成する。予測画像は加算器５５、５７に送られる。
【００４０】
斯かる構成に基づき、図３に示した画像符号化装置２００の動作を以下に説明する。復号部５１は符号化画像ＣＩが入力されると、まず復号対象のフレームがフレーム内圧縮されたものかフレーム間圧縮されたものかを判断し、フレーム内圧縮されたものであれば、ＳＷ３とＳＷ４をＩｎｔｒａノードにスイッチし、フレーム間圧縮されたものであれば、ＳＷ３とＳＷ４をＩｎｔｅｒノードにスイッチする。
【００４１】
復号部５１はさらに量子化係数を復号し、逆量子化部５２によって逆量子化された後、ウェーブレット逆変換部５３によってウェーブレット逆変換される。このとき、ウェーブレット逆変換部５３は復号画像階層レベル設定部５４にて設定された階層レベルまで逆変換を行い、ＳＷ３がＩｎｔｒａノードにスイッチされている場合は、その階層のＬＬサブバンド成分が復号画像ＤＩとして出力される。また、ＳＷ３がＩｎｔｅｒノードにスイッチされている場合は、その階層のＬＬサブバンド成分と動き補償部５９によって生成された予測画像とを加算器５５で加算した後、この加算されたデータが復号画像ＤＩとして出力される。
【００４２】
一方、動き補償用の参照画像を生成するために参照画像拡大縮小部５６は、復号部５１で復号された参照画像を生成するために必要な階層レベルのＬＬサブバンド成分をウェーブレット逆変換部５３から得て、復号画像の解像度と同じになるように拡大縮小を行う。ＳＷ４がＩｎｔｒａノードにスイッチされている場合、この拡大縮小されたＬＬサブバンド成分が参照画像としてフレームメモリ５８に格納される。また、ＳＷ４がＩｎｔｅｒノードにスイッチされている場合は、加算器５７によって、この拡大縮小されたＬＬサブバンド成分に、動き補償部５９によって生成された予測画像が加算され、この加算されたデータが参照画像としてフレームメモリ５８に格納される。
【００４３】
動き補償部５９は、復号部５１によって復号した動きベクトルと、参照画像を生成するために必要な階層レベルのＬＬサブバンド成分をもとに生成された参照画像から予測画像を生成し、加算器５５と加算器５７に送る。
【００４４】
以上、画像符号化装置１００に係る構成によれば、画像符号化装置１００は階層化された画像を原画像の解像度に戻すことなく、途中の階層レベル（すなわち、逆変換階層レベル設定部８で設定される階層レベル）のＬＬ成分を使用して参照画像を生成する。したがって、画像符号化装置１００によって出力された符号化画像ＣＩを画像復号装置２００で復号する場合も、ウェーブレット逆変換によって得られる途中の階層レベルのＬＬ成分を使用すれば参照画像を生成することができる。このことは、例えば、画像復号装置２００の処理能力が小さかったり、復号画像を表示する表示装置の解像度が小さい場合、画像復号装置はウェーブレット逆変換を途中で止めても、参照画像を生成できる階層レベル以上に逆変換されていれば、復号を継続することができる。
【００４５】
このように、この画像符号化装置１００は、これによって出力された符号化画像を復号する際、空間スケーラビリティを容易に実現することができる。
【００４６】
（実施の形態２）
図４は、実施の形態２に係る画像符号化装置１１０の構成図である。この画像符号化装置１１０は、実施の形態１に係る画像符号化装置１００の参照画像拡大部９を取り除き、代わりに原画像縮小部１４及び予測画像拡大部１５が付加された構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。
【００４７】
この画像符号化装置１１０は、逆変換レベル設定部８で設定した階層レベルのＬＬサブバンド成分の解像度のまま動き予測を行う。原画像縮小部１４は、原画像を逆変換レベル設定部８で設定した階層レベルのＬＬサブバンド成分の解像度まで縮小する。例えば、変換レベル設定部８で設定した階層レベルが第ｎ階層レベルであれば、原画像縮小部１４は１／２ｎまで縮小する。
【００４８】
予測画像拡大部１５は、動き予測部１２で得られた予測画像の解像度を、原画像の解像度に合わせるために拡大処理を行う。すなわち、動き予測部１２で得られた予測画像の解像度は、動き予測は逆変換階層レベル設定部８で設定された階層レベルの解像度であるため、その設定された階層レベルを基に拡大処理する。例えば、逆変換階層レベル設定部８で設定された階層レベルが第ｎ階層レベルであれば、予測画像拡大部１５は予測画像の解像度が２ｎ倍となるように拡大処理する。この拡大処理された予測画像は、減算器２に入力される。
【００４９】
斯かる構成に基づき、図４に示した画像符号化装置１１０の動作を以下に説明する。量子化部４の量子化結果から参照画像を生成するとき、逆量子化部６で逆量子化した後、ウェーブレット逆変換部７にて逆変換階層レベル設定部８で設定された階層レベルまで逆変換される。処理しているフレームがフレーム内圧縮されたものである場合、ＳＷ２はＩｎｔｒａノードに接続され、ウェーブレット逆変換部７で得られた階層レベルのＬＬ成分がそのままフレームメモリ１１に格納される。逆に、処理しているフレームがフレーム間圧縮されたものであれば、ＳＷ２はＩｎｔｅｒノードに接続され、加算器１０にてウェーブレット逆変換部７で得られた階層レベルのＬＬ成分と予測画像が足し合わされた後、フレームメモリ１１に格納される。したがって、フレームメモリ１１に格納される参照画像の解像度は、原画像の解像度に拡大されたものではなく、逆変換階層レベル設定部８で設定された階層レベルのＬＬ成分相当の解像度となる。
【００５０】
原画像は原画像縮小部１４で逆変換階層レベル設定部８で設定された階層レベルのＬＬ成分相当の解像度まで縮小される。
【００５１】
動き予測部１２は、フレームメモリ１１に格納された参照画像と原画像縮小部１４で縮小された原画像とを比較して動き予測を行う。すなわち、動き予測は逆変換階層レベル設定部８で設定された階層レベルの解像度で行われる。動き予測部１２はその動き予測の結果から、動きベクトルを符号化部５に送り、動きベクトルに基づいて生成された予測画像を、加算器１０と予測画像拡大部１５に送る。
【００５２】
予測画像拡大部１５は、動き予測部１２で得られた予測画像の解像度を、原画像の解像度に合わせるために拡大処理を行い、拡大処理された予測画像は、減算器２に入力される。
【００５３】
図５は、画像符号化装置１１０によって得られた符号化画像ＣＩを復号するための画像復号装置２１０の構成図である。この画像復号装置２１０は、実施の形態１に係る画像復号装置２００から参照画像拡大縮小部５６を取り除き、代わりに予測画像拡大縮小部６１を付加した構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。
【００５４】
予測画像拡大縮小部６１は、参照画像に必要な階層レベルと復号画像の階層レベルを比較し、予測画像の解像度を復号画像の解像度と同じになるように、予測画像を拡大・縮小する。例えば、参照画像に必要な階層レベルが図２の第２階層レベルＷＩ２の時、復号画像の階層レベルが図２の第１階層レベルＷＩ１である場合は、予測画像を縦・横とも２倍に拡大処理する。また、復号画像の階層レベルが図２の原画像レベルＯＩである場合は、予測画像を縦・横とも４倍に拡大処理する。一方、復号画像の階層レベルが図２の第３階層レベルＷＩ３である場合は、予測画像を縦・横とも１／２に縮小処理する。
【００５５】
斯かる構成に基づき、図５に示した画像符号化装置２１０の動作を以下に説明する。フレームメモリ５８に格納される参照画像は、原画像の解像度まで拡大されず、ウェーブレット逆変換部５３で得られた参照画像に必要な階層レベルのＬＬ成分の解像度のまま格納される。そして、動き補償も動き補償部５９にて参照画像に必要な階層レベルのＬＬ成分の解像度で行われ、その解像度を持つ予測画像が加算器５７と予測画像拡大縮小部６１に出力される。
【００５６】
そして、予測画像拡大縮小部６１は、予測画像の解像度を復号画像の解像度と同じになるように、予測画像を拡大・縮小した上で、加算器５５に拡大・縮小された画像を送る。
【００５７】
以上、画像符号化装置１１０及び画像復号装置２１０に係る構成によれば、参照画像を原画像の解像度まで拡大せずに、低解像度のままフレームメモリ１１ないしフレームメモリ５８に格納し、動き予測ないし動き補償を行うことができる。すなわち、フレームメモリの容量を少なくでき、また動き予測・動き補償においては、その精度が落ちるもの演算量を小さくすることができる。したがって、実施の形態１の効果に加えて、画像符号化装置、画像復号装置の低コスト化、低消費電力化を図ることができる。加えて、画像を復号する際に、復号途中で復号画像の階層レベル（すなわち復号画像の解像度）が変更となった場合でも、参照画像は常に同じ解像度の画像がフレームメモリに格納されるため、正しく復号を継続することができる。
【００５８】
（実施の形態３）
図６は、実施の形態３に係る画像符号化装置１２０の構成図である。この画像符号化装置１２０は、実施の形態１に係る画像符号化装置１００の参照画像拡大部９をウェーブレット逆変換部７と加算器１０との間から、フレームメモリ１１と動き予測部１２との間に移動させ、さらに画像符号化装置１００に予測画像縮小部１６を付加した構成である。実施の形態１と同じ構成については同符号を付し、実施の形態１とは異なる構成と動作を説明する。
【００５９】
この画像符号化装置１２０は、参照画像を逆変換階層レベル設定部８で設定さえた階層レベルのＬＬサブバンド成分の解像度のまま参照画像を生成し、フレームメモリ１１に格納した後、動き予測部１０で動き予測を行う前に、参照画像を原画像と同じ解像度に拡大処理する。
【００６０】
予測画像縮小部１６は、フレーム内予測符号化されたフレームから参照画像を生成する場合、その予測画像と予測誤差とを足し合わせるために、予測画像の解像度（原画像ＯＩの解像度に相当）を予測誤差の解像度（逆変換階層レベル設定部８で設定された階層レベルの解像度に相当）に合わせる。すなわち、逆変換階層レベル設定部８で設定された階層レベルが第ｎ階層レベルであった場合は、動き予測部１２で得られた予測画像を１／２ｎだけ縮小処理する。この縮小された予測画像は加算器１０に入力され、新たな参照画像が生成される。
【００６１】
斯かる構成に基づき、図６に示した画像符号化装置１２０の動作を以下に説明する。量子化部４の量子化結果から参照画像を生成するとき、逆量子化部６で逆量子化した後、ウェーブレット逆変換部７にて逆変換階層レベル設定部８で設定された階層レベルまで逆変換される。処理しているフレームがフレーム内圧縮されたものである場合、ＳＷ２はＩｎｔｒａノードに接続され、ウェーブレット逆変換部７で得られた階層レベルのＬＬ成分がそのままフレームメモリ１１に格納される。逆に、処理しているフレームがフレーム間圧縮されたものであれば、ＳＷ２はＩｎｔｅｒノードに接続され、加算器１０にてウェーブレット逆変換部７で得られた階層レベルのＬＬ成分と予測画像が足し合わされた後、フレームメモリ１１に格納される。したがって、フレームメモリ１１に格納される参照画像の解像度は、原画像の解像度に拡大されたものではなく、逆変換階層レベル設定部８で設定された階層レベルのＬＬ成分相当の解像度となる。
【００６２】
参照画像拡大部９は、参照画像の解像度を原画像の解像度に合わせるために、実施の形態１に係る画像符号化装置１００の参照画像拡大部９と同様の方法で拡大処理を行う。ただし、画像符号化装置１００の場合は、ウェーブレット逆変換部７で得られた結果を拡大処理するのに対し、実施の形態３に係る画像符号化装置１２０の参照画像拡大部９は、フレームメモリ１１に格納された参照画像を拡大処理する点が異なる。
【００６３】
動き予測部１２は、原画像ＯＩと参照画像拡大部９で拡大された参照画像とを原画像ＯＩの解像度のレベルで比較し、動き予測を行う。これによって得られた動きベクトルは符号化部５に送られ、予測画像は減算器２と予測画像縮小部１６に送られる。
【００６４】
予測画像縮小部１６は、前述のように予測画像の解像度を予測誤差の解像度（逆変換階層レベル設定部８で設定された階層レベルの解像度に相当）に合わせるために、予測画像を縮小する。そして、この縮小された予測画像は加算器１０に入力され、新たな参照画像が生成される。
【００６５】
図７は、画像符号化装置１２０によって得られた符号化画像ＣＩを復号するための画像復号装置２２０の構成図である。この画像復号装置２２０は、実施の形態１に係る画像復号装置２００の参照画像拡大縮小部５６をウェーブレット逆変換部５３と加算器５７との間から、フレームメモリ５８と動き補償部５９との間に移動させ、さらに画像復号装置２００に予測画像拡大縮小部６２を付加した構成である。実施の形態１と同じ構成については同符号を付し、説明を省略する。
【００６６】
予測画像拡大縮小部６２は、復号画像階層レベル設定部５４で設定された階層レベルの解像度を持つ予測画像を、参照画像に必要な階層レベルの解像度に合うように拡大縮小処理する。例えば、参照画像に必要な階層レベルが図２の第２階層レベルＷＩ２の時、復号画像の階層レベルが図２の第１階層レベルＷＩ１である場合は、予測画像を縦・横とも１／２に縮小処理する。また、復号画像の階層レベルが図２の原画像レベルＯＩである場合は、予測画像を縦・横とも１／４に縮小処理する。一方、復号画像の階層レベルが図２の第３階層レベルＷＩ３である場合は、予測画像を縦・横とも２倍に拡大処理する。
【００６７】
斯かる構成に基づき、図６に示した画像符号化装置１２０の動作を以下に説明する。フレームメモリ５８に格納される参照画像は、原画像の解像度まで拡大されず、ウェーブレット逆変換部５３で得られた参照画像に必要な階層レベルのＬＬ成分の解像度のまま格納される。そして、動き補償部５９で動き補償を行う前に、参照画像拡大縮小部５６によって、参照画像を復号画像階層レベル設定部５４で設定された階層レベルの解像度まで拡大する。参照画像拡大縮小部５６の動作は、画像復号装置２００の参照画像拡大縮小部５６と同じである。また、動き補償部５９も画像復号装置２００の動き補償部５９と同じ処理し、動き補償部５９で得られた予測画像を加算器５５へ出力し、ウェーブレット逆変換部５３で得られた予測誤差と足し合わされて復号画像ＤＩが生成される。
【００６８】
また、予測画像は予測画像拡大縮小部６２にも送られ、前述の通り予測画像を参照画像に必要な階層レベルの解像度に合うように拡大縮小処理する。予測画像拡大縮小部６２で拡大・縮小処理された予測画像は、加算器５７に送られ、ウェーブレット逆変換部５３で得られた予測誤差と足し合わされた、新たな参照画像が生成される。
【００６９】
以上、画像符号化装置１２０及び画像復号装置２２０に係る構成によれば、参照画像を原画像の解像度まで拡大せずに、低解像度のままフレームメモリ１１ないし５８に格納する一方、動き予測は原画像の解像度で行い、また動き補償は復号画像の解像度にあわせて行うことができる。すなわち、フレームメモリの容量を少なくできる一方、また動き予測・動き補償は、高い精度で行うことができる。したがって、実施の形態１の効果に加えて、低コストかつ高精度な画像符号化装置、画像復号装を実現することができる。加えて、画像を復号する際に、復号途中で復号画像の階層レベル（すなわち復号画像の解像度）が変更となった場合でも、参照画像は常に同じ解像度の画像がに格納されるため、正しく復号を継続することができる。
【００７０】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形が可能なこと、またそうした変形も本発明の範囲にあることは当業者に理解されるところである。そのような変形例を以下に示す。
【００７１】
上記の実施の形態において、生成した参照画像に対し、フィルタリング処理を施してもよい。このフィルタリング処理は、生成した参照画像をフレームメモリに書き込む前に行ってもよいし、参照画像をフレームメモリから読み出した後に行ってもよい。上記の実施の形態で生成される参照画像は、高周波成分がカットされた画像となるため、参照画像から生成される予測画像と原画像との差分である予測誤差に、多くの高周波成分が含まれる可能性がある。したがって、圧縮効率が落ちる問題がある。そこで、参照画像にフィルタリング処理を施し、エッジ強調などを行うことにより、参照画像の高周波成分を補うことによって、予測誤差の高周波成分を減らし、圧縮効率を上げることができる。
【００７２】
上記の実施の形態では、変換符号化方式として離散ウェーブレット変換を用いたが、これに限るものではなく、原画像を階層化して変換する方式であれば、本発明の目的を達することができる。例えば、原画像を階層化する方式として、ＱＭＦ（Quadrature Mirror Filter）などがある。
【００７３】
上記の実施の形態では、参照画像を生成するために必要な画像の階層レベルを符号化画像ＣＩに付加する例を示した。この参照画像を生成するために必要な画像の階層レベルは、参照画像を生成するために必要なウェーブレット逆変換の回数を規定する、と言い換ええることもできる。したがって、符号化画像ＣＩに、参照画像を生成するために必要なウェーブレット逆変換の回数を付加してもよい。画像復号装置では、この回数をもとに参照画像の生成に必要な画像の階層レベルを特定し、ウェーブレット逆変換部５３からその階層レベルの画像を取り出して参照画像を生成する。
【００７４】
上記の実施の形態では、逆変換階層レベル設定部８で参照画像を生成するために必要な階層レベルを設定できるようにしたが、この階層レベルを常にウェーブレット変換部３で階層化した一番深い階層レベルとしてもよい。この場合、ウェーブレット逆変換部７はなくてもよく、逆量子化部６で得られた一番深い階層のＬＬ成分を、参照画像を生成するために使用すればよい。また、符号化部５で参照画像を生成するために必要な階層レベルを付加しなくてもよい。この符号化画像ＣＩを復号する場合は、逆量子化部５２で得られた一番深い階層のＬＬ成分を、参照画像を生成するために使用すればよい。
【図面の簡単な説明】
【００７５】
【図１】実施の形態１に係る画像符号化装置１００の構成図である。
【図２】ウェーブレット変換を説明するための図である。
【図３】実施の形態１に係る画像復号装置２００の構成図である。
【図４】実施の形態２に係る画像符号化装置１１０の構成図である。
【図５】実施の形態２に係る画像復号装置２１０の構成図である。
【図６】実施の形態３に係る画像符号化装置１２０の構成図である。
【図７】実施の形態３に係る画像復号装置２２０の構成図である。
【符号の説明】
【００７６】
２  減算器
３  ウェーブレット変換部
４  量子化部
５  符号化部
６  逆量子化部
７  ウェーブレット逆変換部
８  逆変換階層レベル設定部
９  参照画像拡大部
１０  加算器
１１  フレームメモリ
１２  動き予測部
１４  原画像縮小部
１５  予測画像拡大部
１６  予測画像縮小部
５１  復号部
５２  逆量子化部
５３  ウェーブレット逆変換部
５４  復号画像階層レベル設定部
５５  加算器
５６  参照画像拡大縮小部
５７  加算器
５８  フレームメモリ
５９  動き補償部
６１  予測画像拡大縮小部
６２  予測画像拡大縮小部
１００、１１０、１２０  画像符号化装置
２００、２１０、２２０  画像復号装置
【図１】
2006108811.tif 000003
【図２】
2006108811.tif 000004
【図３】
2006108811.tif 000005
【図４】
2006108811.tif 000006
【図５】
2006108811.tif 000007
【図６】
2006108811.tif 000008
【図７】
2006108811.tif 000009