(57)【要約】【課題】  フレーム間相関を利用することにより、符号化効率に優れ、任意の有理数倍の解像度での復号を可能にする。【解決手段】  本発明は、動画像の符号化・復号化において、動画像のフレーム間相関を利用して、ウェーブレットフィルタにより原画像を２Ｄ個の帯域に等分割した後、最低周波数帯域間で時間方向のウェーブレット変換を行う。【選択図】  図１
2006135807.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、ウェーブレットフィルタにより２Ｄ個の帯域に等分割し、
２Ｄ個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。
【請求項２】
前記復号化装置において、
前記符号化されたデータの復号時においてＮ／２Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２Ｕ帯域（Ｕは、Ｎ＜２Ｕを満たす最小の整数）を合成し、
各種解像度変換方法を用いてＮ／２Ｕ倍の解像度変換を行い、Ｎ／２Ｄ倍の解像度画像を生成する請求項１記載のスケーラブル動画像符号化・復号化方法。
【請求項３】
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
前記符号化装置において、
入力された原画像を、フィルタバンクによりＭ個の帯域に等分割し、
最低周波数帯域間で時間方向のウェーブレット変換を行い、
前記復号化装置において、
前記符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号することを特徴とするスケーラブル動画像符号化・復号化方法。
【請求項４】
前記復号化装置において、
前記符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する請求項３記載のスケーラブル動画像符号化・復号化方法。
【請求項５】
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、ウェーブレットフィルタにより２Ｄ個の帯域に等分割する等帯域分割手段と、
２Ｄ個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、を有し、
前記復号化装置は、
前記符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。
【請求項６】
前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてＮ／２Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２Ｕ帯域（Ｕは、Ｎ＜２Ｕを満たす最小の整数）を合成する帯域合成手段と、
各種解像度変換方法を用いてＮ／２Ｕ倍の解像度変換を行い、Ｎ／２Ｄ倍の解像度画像を生成するデシメーション処理手段と、を含む請求項５記載のスケーラブル動画像符号化・復号化システム。
【請求項７】
入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
前記符号化装置は、
入力された原画像を、フィルタバンクによりＭ個の帯域に等分割する帯域等分割手段と、
最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
前記復号化装置は、
前記符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する復号化手段を有することを特徴とするスケーラブル動画像符号化・復号化システム。
【請求項８】
前記復号化装置の前記復号化手段は、
前記符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する帯域合成手段を含む請求項７記載のスケーラブル動画像符号化・復号化システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スケーラブル動画像符号化・復号化方法及びシステムに係り、特に、動画像を効率よく伝送・蓄積するための符号化及び復号化を行うスケーラブル動画像符号化・復号化方法及びシステムに関する。
【背景技術】
【０００２】
画像符号化の国際標準規格として、
（１）動画像を対象としたＭＰＥＧ（映像メディア学会編、「ＭＰＥＧ」、オーム社、1996
年4月）、Ｈ．２６４（H.264/AVC教科書、大久保榮監修、インプレス社、2004）；
（２）静止画像を対象としたＪＰＥＧ２０００（ISO/IEC 15444-1 JPEG2000 Part I:Core coding system 2000-12-15）
はよく知られている。MPEG／Ｈ.264は、動き補償と直交変換を用いた手法で、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。一方、JPEG2000は、ウェーブレット変換とEBCOTと呼ばれる埋込型のエントロピー符号化を用いた手法であり、フレーム間相関を利用していないためMPEG/H.264と比較すると符号化効率は劣るものの、MPEG/H.264にはない空間・ＳＮＲスケーラビリティなど様々な有効な機能を持つ。動画像への適用も可能としたMotion JPEG2000も提案されており、JPEG2000と同様な機能を持つ。
【０００３】
JPEG2000で用いられるスケーラビリティは埋込型と呼ばれ、符号器は一度符号化するのみで個々の解像度に応じて圧縮データを作り直す必要がない。単一の圧縮ファイルから、様々な解像度・SNRの復号画像が得られ、ファイル容量の削減、計算量の軽減にもつながる。図１７には、JPEG2000の解像度スケーラビリティ機能を示す。原画像の解像度がK×Lの場合、復号器ではK/2n×L/2nの解像度の画像が復元可能となる。
【０００４】
しかしながら、通常、復号側で必要される画像の解像度は、原画像の大きさの1/2n倍のみにとどまらない。そこで、より一般的な有理数倍（原画像に対してN/M倍、但し、M，Nは正の整数）の解像度で復元可能な埋込型の符号化法も検討されている。
【０００５】
1つの方法として、M帯域分割フィルタバンクとN帯域合成フィルタバンクならびに、EBCOTと呼ばれる埋込型のエントロピー符号化法を用いて、有理数倍の空間解像度で復号が可能な符号化方法及び復号化方法を実現している（例えば、特許文献1参照）。しかしながら、国際標準規格JPEG2000との互換性は全くなく、新たにエンコーダならびにデコーダを実装する必要がある。一方、JPEG2000(PartII)と互換性を持ち有理数倍の空間解像度で復号が可能な符号化方法及び復号化を行う方法もある。（*当該方法（２００３−３７２９９５）は公開されていないので願番を表記できません）
【特許文献１】JP2004/00154(国際出願番号)PCT出願
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、上記の２つの方法は、有理数倍の空間解像度で復号が可能であり、マルチメディアユースに適した符号化法である。しかし、これらの手法は単一の圧縮ファイルから様々な解像度・SNRの復号画像が復号可能な優れた性質を有するものの、フレーム間相関を利用していないため、MPEG/H.264と比較すると符号化効率が劣る。
【０００７】
本発明は、上記の点に鑑みなされたもので、フレーム間相関を利用することにより、符号化効率に優れ、任意の有理数倍の解像度で復号可能なスケーラブル動画像符号化・復号化方法及びシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理説明図である。
【０００９】
本発明（請求項１）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
符号化装置において、
入力された原画像を、ウェーブレットフィルタにより２Ｄ個の帯域に等分割し（ステップ１）、
２Ｄ個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行い（ステップ２）、
復号化装置において、
符号化装置から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する（ステップ３）。
【００１０】
本発明（請求項２）は、請求項１の復号化装置において、
符号化されたデータの復号時においてＮ／２Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２Ｕ帯域（Ｕは、Ｎ＜２Ｕを満たす最小の整数）を合成し、
各種解像度変換方法を用いてＮ／２Ｕ倍の解像度変換を行い、Ｎ／２Ｄ倍の解像度画像を生成する。
【００１１】
本発明（請求項３）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置における動画像符号化・復号化方法において、
符号化装置において、
入力された原画像を、フィルタバンクによりＭ個の帯域に等分割し、
最低周波数帯域間で時間方向のウェーブレット変換を行い、
復号化装置において、
符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する。
【００１２】
また、本発明（請求項４）は、請求項３の復号化装置において、
符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する。
【００１３】
図２は、本発明の原理構成図である。
【００１４】
本発明（請求項５）は、入力された動画像を符号化して送出する符号化装置１００と、該符号化装置１００で符号化されたデータを復号する復号化装置２００からなる符号化・復号化システムであって、
符号化装置１００は、
入力された原画像を、ウェーブレットフィルタにより２Ｄ個の帯域に等分割する等帯域分割手段１０と、
２Ｄ個の帯域に等分割された画像を最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段１１と、を有し、
復号化装置２００は、
符号化装置１００から取得した符号化されたデータを任意の有理数倍の空間解像度で復号する復号化手段２１０を有する。
【００１５】
また、本発明（請求項６）は、請求項５の復号化装置２００の復号化手段２１０において、
符号化されたデータの復号時においてＮ／２Ｄ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して低域から２Ｕ帯域（Ｕは、Ｎ＜２Ｕを満たす最小の整数）を合成する帯域合成手段２８と、
各種解像度変換方法を用いてＮ／２Ｕ倍の解像度変換を行い、Ｎ／２Ｄ倍の解像度画像を生成するデシメーション処理手段２９と、を含む、
本発明（請求項７）は、入力された動画像を符号化して送出する符号化装置と、該符号化装置で符号化されたデータを復号する復号化装置からなる符号化・復号化システムであって、
符号化装置は、
入力された原画像を、フィルタバンクによりＭ個の帯域に等分割する帯域等分割手段と、
最低周波数帯域間で時間方向のウェーブレット変換を行う時間方向ウェーブレット変換手段と、
復号化装置は、
符号化装置から取得した符号化されたデータを、任意の有理数倍の空間解像度で復号する復号化手段を有する。
【００１６】
また、本発明（請求項８）は、請求項７の復号化装置の復号化手段において、
符号化されたデータの復号時においてＮ／Ｍ倍の解像度画像の帯域合成する際に、Ｎ＋１帯域以上の信号を破棄して符号化時とは異なる分割数を持つＮ帯域等分割フィルタバンクにより復号する帯域合成手段を含む。
【発明の効果】
【００１７】
上記のように、本発明によれば、画像の効率の良い符号化ができ、少ないディスク容量で保存が可能となる。空間解像度スケーラビリティを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。低域から任意の帯域まで復号すると、原画像よりも低い空間解像度の画像で再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。
【００１８】
また、画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみが必要とされる。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また、符号化ビットストリームを伝送する場合は必要なデータの身を伝送すればよいため、伝送レートも小さくなる。
【発明を実施するための最良の形態】
【００１９】
以下、図面と共に本発明の実施の形態を説明する。
【００２０】
図３は、本発明の有理数倍の変換が可能な解像度スケーラビリティを示す図であり、本発明により実現可能な解像度スケーラビリティ機能を示している。符号化器１００では、解像度がK×Lの画像を符号化し、単一の圧縮データを生成し、復号側（復号化器２００）に送出する。復号側では、N/M倍解像度変換に必要な圧縮データの一部のビットストリームを取り出すことで、解像度が原画像の有理数倍すなわちN/M倍（但し、N，Mは正の整数）の画像を得ることができる。
【００２１】
[第１の実施の形態]
図４は、本発明の第１の実施の形態における動画像スケーラブル符号器の基本構成を示しており、動画像スケーラブル符号器は、任意の有理数倍の空間解像度で復号可能な機能を有する。
【００２２】
同図に示す動画像スケーラブル符号器は、帯域分割部１０、フレーム間符号化部３０、フレーム内符号化部５０、インタリーブ１９、及びレート制御部７０から構成される。
【００２３】
フレーム間符号化部３０は、時間方向のウェーブレット変換部（ＭＣＴＦ）１１、空間内ウェーブレット変換部１２、量子化部１３、埋込型エントロピー符号化部１４、動き推定部１５、動きベクトル符号化部１６を有する。
【００２４】
フレーム内符号化部５０は、量子化部１７、埋込型エントロピー符号化部１８を有する。
【００２５】
以下それぞれの構成要素について説明する。
【００２６】
入力された原画像は、帯域分割部１０において、２Ｄ個の等帯域に分割される。分割には、ウェーブレットフィルタ（例：ウェーブレット９７非可逆フィルタ、ウェーブレット５３可逆フィルタ）を用いる。ウェーブレットフィルタを用いた等帯域分割を図５に示す。JPEG2000においては、帯域分割としてウェーブレット変換を用いている。ウェーブレット変換は、図６（ａ）に示すMallat分割と呼ばれる分割法により帯域分割を行う。Mallat分割では、１次元の２分割フィルタを用いて低域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。Ｄ回分割することによって、原画像に対して１/2Dの大きさの空間解像度を持つ画像まで分割可能となる。この処理を、水平方向及び垂直方向にそれぞれ施す。復号側では、低域側から順次復号する。
【００２７】
復号側でＵ回復号することによって、原画像に対して２Ｕ／２Ｄ＝１／２ｎ倍の大きさの空間解像度を持つ画像が復元できる。本発明においては、図６（ｂ）に示すように、低域側だけでなく高域側に対しても同様にウェーブレットフィルタを再帰的に適用し、等帯域に画像を分割する。それぞれ２π／２Ｄの帯域幅を持ち、原画像を等間隔な帯域へ分割する。
【００２８】
次に、最低周波数帯域に対しては、フレーム間符号化、それ以外の高周波数帯域に対してはフレーム符号化を施す。これは、一般に自然画像では最低周波数帯域間のフレーム間相関が強く、それ以外の周波数帯域では弱い性質を利用している。また、発明者らが普及を推進するディジタルシネマのコンテンツには、グレインノイズと呼ばれるフィルム固有の信号が存在し、以下の性質があることが報告されている。
【００２９】
・空間的に高周波数帯域に存在；
・時間方向にほぼ無相関；
以上の特性から、計算量の増加に対する符号化効率の向上率が小さいことを考慮し、最低高周波数帯域以外の帯域に対しては、フレーム間符号化を行わない。
【００３０】
フレーム間符号化部３０では、まず、時間方向のウェーブレット変換部（ＭＣＴＦ）１１が、時間方向の物体の動きに沿ってウェーブレット変換を行うMCTF(Motion-Compensated Time Filtering)（例えば、文献［S.T.Hsiang. J.W. Woods and J.R. Ohm,”Invertible temporal subband/wavelet filter banks with half-pixel-accurate motion compensation,” IEEE trans. Image Processing, No.8, pp.1018-1028, Aug.2004］）を施す。MCTFは、オープンループの構造であるため、MPEGやH.264などのクロースループの動き補償と比較してドリフトが存在せず、スケーラブル符号化に適しているといえる。動き推定は、動き推定部１５において、以下のステップにより実行される。
【００３１】
１）後向き動き推定：
階層的可変サイズブロックマッチングHVSBM(Hierachical Variable Size Block Matching)（例えば、文献［S.T.Hsiang. J.W. Woods and J.R. Ohm,”Invertible temporal subband/wavelet filter banks with half-pixel-accurate motion compensation,” IEEE trans. Image Processing, No.8, pp.1018-1028, Aug.2004］）を用いて動き推定を行う。HVSBMにおいては、まず、１６×１６画素の小ブロック単位で動きベクトルを推定する。推定には、SAD(Sum of Absolute Difference)値を計算し、最小のＳＡＤ値を与えるベクトルが動きベクトルとして選ばれる。さらに、そのブロックを4つの小ブロック８×８に分割し、各小ブロックで動きベクトルの偏差を求める。このプロセスを４×４の小ブロックまで求める。
【００３２】
２）結合画素と非結合画素の特定：
図７は、本発明の第1の実施の形態における時間方向フィルタリングの画素対応を示す。同図より、動きベクトルの推定に全く関与しない画素や、逆に複数の画素と関連する画素が存在することがわかる。ここで、一つの画素と対応関係がある画素を単一結合画素、２つ以上の画素と対応関係がある画素を複数結合画素、対応関係がない画素を非結合画素と呼ぶ。完全再構成を実現するためには、これらを特定する必要があり、MCTFにおいて利用する。
【００３３】
MCTF１１では、動き推定部１５により推定された動きベクトルを用いて、物体の動きに沿ってウェーブレット変換を施す。単一結合画素間では、以下の演算を行う。ここでは、表記を簡略化して、現フレームの注目画素を「Ｂ」、参照フレームの注目画素を「Ａ」（*ご提案書では［Ｂ］となっておりましたがＡでよろしいですか？）としている。
【００３４】
・低域通過フィルタ：Ｌ＝（Ａ＋Ｂ）／√２
・高域通過フィルタ：Ｈ＝（Ｂ−Ａ）／√２
複数結合画素では、動きベクトルの推定時の差分絶対値和ＳＡＤが小さい方の画素との間で、上記の演算を行う。また、非結合画素の変換値は、Ｌ＝Ａ／√２とし、低域通過フィルタの出力とする。連続する２フレーム間で上記のフィルタリング処理を行い、さらに得られた低域通過フィルタの出力信号間に対して、同様な処理を繰り返す。図８は、分解レベルを4としたときのフィルタリングの様子を示している。このとき連続する１６枚のフレームに対してウェーブレット変換を施したことになり、ここでは、その処理単位をＧＯＰ(Group Of Pictures)と呼ぶ。
【００３５】
次に、空間内ウェーブレット変換部１２は、ＭＣＴＦ１１により時間方向に変換された各フレーム信号に対して空間内ウェーブレット変換を施す。ウェーブレット変換としては、（9，７）非可逆ＬＰＦ、（5，３）可逆ＬＰＦなどを用いる。最終的に、ＧＯＰ内の信号は、図９に示すように3次元サブバンド分解された信号列として与えられる。
【００３６】
最低周波数帯域の３次元サブバンド分解された信号列は必要に応じて量子化部１３で量子化され、埋込型エントロピー符号化部１４において、埋込型エントロピー符号化され、圧縮データを生成する。埋込型エントロピー符号化部１４とは、復号器側において圧縮データの一部分を取り出すだけで自由に復号画像の空間解像度やＳＮＲを設定できる機能を実現するエントロピー符号化法である。なお、埋込型エントロピー符号化を用いることによって、圧縮データ量の制御が量子化を行わなくても可能であるために、量子化部１３を省略してもよい。
【００３７】
フレーム内符号化部５０では、等帯域分割部１０で分割された最低周波数帯域以外の帯域の信号列が必要に応じて量子化部１７で量子化され、埋込型エントロピー符号化部１８で埋込型エントロピー符号化される。
【００３８】
レート制御部７０では、所望のビットレートに対して、再生画質のＰＳＮＲが高くなるようにフレーム間符号化部３０とフレーム内符号化部５０のビット割り当てが決定される。ビット割り当ては、フレーム内及びフレーム間符号化の埋込型エントロピー符号化に対して行われる。また、提案法においては、スケーラビリティの単位として、
・Ｌ：ＳＮＲを基準としたレイヤ
・Ｒｓ：空間解像度レベル
・Ｒｔ：時間解像度レベル
・Ｃ：色
の４つを定義する。これらをどのような優先順で並べるかによって何種類のスケーラビリティを実現できる。ここでは空間解像度に関して優先的にスケーラビリティを持たせるため、図１０に示すＲｓＲｔＬＣ構造とする。ＧＯＰ＝１６（図９）のとき、時間解像度レベルは図１１に示すように定義される。デコーダ側では、例えば、フレームレートを１／８に落としたい場合、Ｒｔ０、Ｒｔ１のみを抽出すればよい。これらは時間方向のＬＬＬＬとＬＬＬＨ成分に対応し、ＭＣＴＦの逆変換により低周波信号が復号される。また、空間解像度レベルは、分割レベルがＤ＝２のとき、図１２のように定義される。
【００３９】
［第２の実施の形態］
図１３は、本発明の第２の実施の形態における復号器の基本構成図であり、任意の有理数倍の空間解像度で復号可能な動画像スケーラブル復号器を示している。
【００４０】
同図に示す復号器２００は、ビットストリーム抽出部２０、フレーム間復号部４０、フレーム内復号部６０、Ｎ帯域合成部２８、デシメーション処理部２９から構成される。
【００４１】
フレーム間復号部４０は、埋込型エントロピー復号化部２１、逆量子化部２２、逆ウェーブレット変換部２３、ＭＴＣＦ合成部２４、動きベクトル復号部２５を有する。
【００４２】
フレーム内復号部６０は、埋込型エントロピー復号部２６と逆量子化部２７を有する。
【００４３】
ビットストリーム抽出部２０においては、入力された圧縮データからＮ／２Ｄ倍の空間解像度を復号するのに必要なデータのみを取り出し、最低周波数帯域のデータは、フレーム間復号部４０の埋込型エントロピー復号部２１に引き渡す。また、最低周波数帯域以外のデータは、フレーム間復号部４０の埋込型エントロピー復号部２６に引き渡す。埋込型エントロピー復号部２６とは、埋込型のエントロピー符号器１４により圧縮されたデータを復号するもので、圧縮データの一部分を取り出すだけで自由に復号画像の空間解像度やＳＮＲを設定できるエントロピー復号化法である。
【００４４】
フレーム間復号部４０の埋込型エントロピー復号部２１で復号されたデータは、逆量子化部２２と逆ウェーブレット変換部２３を経て、ＭＣＴＦの合成部２４において最低周波数帯域の信号を復号する。また、フレーム内復号部６０の埋込型エントロピー復号化部２６で復号されたデータは、逆量子化部２７を経て、最低周波数帯域以外の帯域の信号を復号する。
【００４５】
これらのフレーム間復号部４０ならびにフレーム内復号部６０で復号された信号は、Ｎ帯域合成部２８で合成される。図１４には、分割数が２レベルの場合の帯域分割部１０と帯域合成部２８の関係を図示している。この場合、２Ｄ＝４，Ｎ＝３であり、Ｎ帯域合成部２８においては低周波側の３つの帯域を合成する。このとき、Ｎ帯域合成部２８の出力画像の解像度は原画像と同じサイズになるが、Ｎ帯域合成部２８から出力される信号は、高周波数帯域の信号が破棄されたものになる。Ｎ帯域合成部２８の出力画像の解像度は、原画像と同じサイズになるものの、伝送すべきデータは低周波側の３帯域分でよく、符号化効率の観点から望ましいといえる。なお、Ｎ帯域合成部２８では、必ずしも原画像と同じ解像度まで復号する必要はなく、以下の条件を満たすＵステージ分だけ復号すればよい。
【００４６】
Ｎ＜２Ｕを満たす最小の整数値Ｕ
例えば、
Ｎ＝１，２のとき、Ｕ＝１
Ｎ＝３，４のとき、Ｕ＝２
Ｎ＝５〜８のとき、Ｕ＝３
Ｎ帯域合成部２８のステージ数は、符号化器の分割数（すなわち２Ｄ）には依存せず、Ｎによってのみ決まることがわかる。
【００４７】
最後に、Ｎ帯域合成部２８の出力画像は、デシメーション処理部２９において処理され、Ｎ／２Ｄ倍の解像度画像が得られる。デシメーション処理部２９では、これまでに提案されている既存の方法を用いることができる。
【００４８】
［第３の実施の形態］
本実施の形態では、フィルタバンクを用いた例を説明する。符号器の基本構成は、前述の第１の実施の形態と同様に図４に示す方法となる。第１の実施の形態と比較すると、等帯域分割部１０に用いるフィルタが異なる。ここでは、図１５（ａ）に示すＭ分割フィルタバンクを用いる。引き続く処理は、第１の実施の形態と同様である。
【００４９】
［第４の実施の形態］
本実施の形態では、フィルタバンクを用いた復号器について説明する。図１６に、フィルタバンクを用いた復号器の基本構成を示す。同図に示す構成と第２の実施の形態の図１３に示す構成と比較すると、デシメーション処理を必要としない点と、Ｎ帯域合成部３８で用いるフィルタに違いがある。フィルタバンクを用いて、原画像に対してＮ／Ｍ倍の解像度の画像を得るためには、合成フィルタバンクを図１５（ｂ）に示す構成になる。すなわち、Ｎ／Ｍ倍の解像度変換は、Ｍ分割分析フィルタバンクとＮ分割合成フィルタバンクを用いることによって実現できる。Ｎ倍にアップサンプリングされた信号は、それぞれ２π／Ｎの帯域幅を持つ各合成フィルタを通り、加算され、出力を得る。このとき、原画像のＮ／Ｍ倍の解像度の空間解像度を持つ画像となる。
【００５０】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５１】
本発明は、動画像をネットワーク上で伝送する、例えば、ディジタルシネマのようなコンテンツ流通システムに適用可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明の原理説明図である。
【図２】本発明の原理構成図である。
【図３】本発明の有理数倍の変換が可能な解像度スケーラビリティである。
【図４】本発明の第１の実施の形態における符号化器の基本構成図である。
【図５】本発明の第１の実施の形態におけるウェーブレットフィルタを用いた等帯域分割を示す図である。
【図６】本発明の第１の実施の形態におけるMallat分割と等帯域分割を示す図である。
【図７】本発明の第１の実施の形態における時間方向フィルタリングの画素対応関係を示す図である。
【図８】本発明の第１の実施の形態における時間方向フィルタイリングMCTFを示す図である。
【図９】本発明の第１の実施の形態における３次元サブバンド分解を示す図である。
【図１０】本発明の第１の実施の形態におけるRsRtLC構造を示す図である。
【図１１】本発明の第１の実施の形態における時間解像度レベルを示す図である。
【図１２】本発明の第１の実施の形態における空間解像度レベルを示す図である。
【図１３】本発明の第２の実施の形態における復号器の基本構成図である。
【図１４】本発明の第２の実施の形態における等帯域分割部とＮ帯域合成部の関係を示す図である。
【図１５】本発明の第３の実施の形態におけるフィルタバンクを用いたＮ／Ｍ倍解像度変換を示す図である。
【図１６】本発明の第４の実施の形態におけるフィルタバンクモデル復号化基本構成図である。
【図１７】ＪＰＥＧ２０００の解像度スケーラビリティである。
【符号の説明】
【００５３】
１０  等帯域分割手段、等帯域分割部
１１  時間方向ウェーブレット変換手段、時間方向のウェーブレット変換部（ＭＣＴＦ）
１２  空間内ウェーブレット変換部
１３  量子化部
１４  埋込型エントロピー符号化部
１５  動き推定部
１６  動きベクトル符号化部
１７  量子化部
１８  埋込型エントロピー符号化部
１９  インタリーブ
２０  ビットストリーム抽出部
２１  埋込型エントロピー復号化部
２２  逆量子化部
２３  逆ウェーブレット変換部
２４  ＭＣＴＦ合成部
２５  動きベクトル復号化部
２６  埋込エントロピー復号化部
２７  逆量子化部
２８  帯域合成手段、Ｎ帯域合成部
２９  デシメーション処理手段、デシメーション処理部
３０  フレーム間符号化部
３１  埋込型エントロピー復号化部
３２  逆量子化部
３３  逆ウェーブレット変換部
３４  ＭＣＴＦ合成部
３５  動きベクトル復号化部
３６  埋込型エントロピー復号化部
３７  逆量子化部
３８  Ｎ帯域合成部
３９  ビットストリーム抽出部
４０  フレーム間復号部
５０  フレーム内符号化部
６０  フレーム内復号部
７０  レート制御部
８０  フレーム間復号部
９０  フレーム内復号部
９５  レート制御
１００  符号化器、符号化装置
２００  復号化器、復号化装置
２１０  復号化手段
【図１】
2006135807.tif 000003
【図２】
2006135807.tif 000004
【図３】
2006135807.tif 000005
【図４】
2006135807.tif 000006
【図５】
2006135807.tif 000007
【図６】
2006135807.tif 000008
【図７】
2006135807.tif 000009
【図８】
2006135807.tif 000010
【図９】
2006135807.tif 000011
【図１０】
2006135807.tif 000012
【図１１】
2006135807.tif 000013
【図１２】
2006135807.tif 000014
【図１３】
2006135807.tif 000015
【図１４】
2006135807.tif 000016
【図１５】
2006135807.tif 000017
【図１６】
2006135807.tif 000018
【図１７】
2006135807.tif 000019