(57)【特許請求の範囲】
【請求項１】
入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像と同じ解像度で再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨｋの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
からなることを特徴とする動画像符号化方法。
【請求項２】
請求項１記載の動画像符号化方法により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、復号化手段において、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
からなることを特徴とする動画像復号化方法。
【請求項３】
入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送ステップと、
からなることを特徴とする動画像符号化方法。
【請求項４】
請求項３記載の動画像符号化方法により符号化されたデータを原画像の１／２n倍の解像度毎に段階的に再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、復号化手段において、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号ステップと、
からなることを特徴とする動画像復号化方法。
【請求項５】
入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号化側において原画像と同じ解像度で再生する場合に、
前記帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が、所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
を有することを特徴とする動画像符号化装置。
【請求項６】
請求項５記載の動画像符号化装置により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
前記最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
を有することを特徴とする動画像復号化装置。
【請求項７】
入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
前記帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送手段と、
を有することを特徴とする動画像符号化装置。
【請求項８】
請求項７記載の動画像符号化装置により符号化されたデータを原画像の１／２n倍の解像度に段階的に再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、前記符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
前記第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ、同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号手段と、
を有することを特徴とする動画像復号化装置。
【請求項９】
コンピュータを、
請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させることを特徴とする動画像処理プログラム。
【請求項１０】
コンピュータを、
請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させるプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、動画像を効率よく伝送、復号するための動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
原画像を無歪みで再生できる可逆符号化は、医療、美術、印刷などの高精細な画像が要求される静止画像の領域において特に必要とされ、様々な手法が提案されている（例えば、非特許文献１，２，３参照）。
【０００３】
一方、動画像に対しては非可逆符号化の研究が活発に行われてきたが、近年はディジタル放送やディジタルシネマのアーカイブ、編集などにおいて動画像可逆符号化が必要とされている。
【０００４】
可逆符号化法は、静止画像を対象として様々な手法が提案されており、国際標準符号化としてJPEG-LS（非特許文献１参照）、JPEG2000ロスレスモード（非特許文献２参照）等の規格がある。
【０００５】
JPEG-LSは、非線形予測符号化とコンテクストモデリングに基づく方式で画像の局所的性質変化に追従した予測が可能であり、JPEG2000ロスレスモードと比較して演算が高速で符号化効率に優れる（例えば、非特許文献４参照）。
【０００６】
一方、JPEG2000は、解像度スケーラビリティやSNRスケーラビリティをはじめ画像の領域毎に圧縮率を可変にできるROI（Region Of Interest）機能などJPEG-LSにはない様々な高度な機能を持つ。
【０００７】
一方、符号化効率の観点からすると、フレーム間相関を利用することが望ましく、より高い圧縮率が得られると予想される。フレーム間相関を利用した可逆動画像符号化法は、解像度スケーラビリティ機能は持たないものの、フレーム間相関の除去に動き補償を用いて符号化効率を改善した手法である（例えば、非特許文献５，６参照）。
【０００８】
また、フレーム間相関を利用した可逆動画像符号化法は、解像度スケーラビリティ機能を有し、符号化効率に優れる機能がある（例えば、非特許文献７参照）。ウェーブレット変換と予測符号化を組み合わせたハイブリッド符号化であり、ウェーブレットの最低周波数帯域で適応的にフレーム内相関とフレーム間相関を除去し、低演算量で効率よくエントロピーを低減する。これは、自然画像が最低周波数帯域間でフレーム間相関が強く、それ以外の帯域では弱い性質を利用している。この方法は、多重解像度可逆ビデオ符号化法MLVC(Multiresolution Lossless Video Coding)と呼ばれている。
【０００９】
一方で、各周波数帯域間のフレーム間相関は高い周波数帯域では弱い傾向にあるものの、その大きさは一定ではなく画像によって異なる。MLVCを拡張し対象画像の統計的性質に応じてフレーム内相関とフレーム間相関を除去する帯域を適応的に変化させることにより符号化効率を改善した手法が提案されている（例えば、非特許文献８参照）。
【００１０】
この方法は、多重解像度可変可逆ビデオ符号化法Ex-MLVC(Extended Multiresolution Lossless Video Coding)と呼ばれている。
【非特許文献１】ISO/ITC JTC1/SC29 FCD14495, Lossless and near-lossless coding of continuous tone still images (JPEG-LS), ISO/IEC JTC1/SC29/WG1, July 1997.
【非特許文献２】ISO/IEC JTC1/SC29 WG1 N1646R, JPEG2000 Part I Final Committee Draft Ver, 1.0, ISO/IEC JTC1/SC29 WG1, March 2000.
【非特許文献３】T. Nakachi, T,Fujii and J. Suzuki, “Pel adaptive predictive coding based on image segmentation for lossless compression,” IEICE Trans. on Fundamentals, vol. E82-A, no.6, June 1999.
【非特許文献４】D. Santa-Cruz and T. Ebrahimi, “A study of JPEG2000 still image coding versus other standards," vol. 2, pp.673-676, Tampere, Finland, EUSIPCO-2000, Sep. 2000.
【非特許文献５】小野尚紀、八島由幸、“動き補償を用いたロスレス符号化の性能評価”、信学技法、IE95-18, pp.21-27, 1995.
【非特許文献６】中嶋淳一、八島由幸、小林直樹、“MPEG-2符号化パラメータに基づく階層的ロスレス符号化の検討” 信学技法、IE99-124, pp.25-30, 2000.
【非特許文献７】T. Nakachi, T. Sawabe, T. Fujii and T. Fujii, “Multiresolution lossless video coding using inter/intra frame adaptive prediction, ”IEICE Trans. on Fundamentals, vol. E85-A, no.8, pp.1822-1830, Aug, 2002.
【非特許文献８】T. Nakachi, T. Sawabe and T. Fujii, “A Study on Multiresolution Lossless Video Codiong Using Inter/Intra Frame Adaptive Prediction,” VCIP 2003, vol.5150, pp.1685-1696, June 2003.
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、MLVC、 Ex-MLVCの両手法とも、空間解像度スケーラビリティを有するものの、符号化データの効率的な伝送順序については規定していない。なお、空間解像度スケーラビリティを有するとは、一つの符号化ビットストリームから異なる空間解像度の画像を段階的に復号化可能であることを示す。
【００１２】
本発明は、上記の点に鑑みなされたもので、空間解像度スケーラビリティを有する動画像可逆符号化・復号化において、符号化データを効率的に伝送することが可能な動画像符号化方法及び装置及び復号化方法及び装置及び動画像処理プログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１３】
図１は、本発明の原理を説明するための図である。
【００１４】
本発明（請求項１）は、入力された原画像をウェーブレット変換により帯域分割し（ステップ１）、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像と同じ解像度で再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が、所定の閾値より大きい場合には（ステップ２、Ｙｅｓ）、フレーム間予測を行い（ステップ３）、該フレーム間相関が所定の閾値より小さい場合には（ステップ２、Ｎｏ）、フレーム内予測を行い（ステップ４）、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数おし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップ（ステップ５）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨｋの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップ（ステップ６）と、からなる。
【００１５】
本発明（請求項２）は、請求項１記載の動画像符号化方法により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップ（ステップ７）と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップ（ステップ８）と、からなる。
【００１６】
本発明（請求項３）は、入力された原画像をウェーブレット変換により帯域分割し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化方法であって、
復号化側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
符号化手段において、帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化ステップと、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送ステップと、からなる。
【００１７】
本発明（請求項４）は、請求項３記載の動画像符号化方法により符号化されたデータを原画像の１／２n倍の解像度毎に段階的に再生するために復号する動画像復号化方法であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、復号化手段において、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号ステップと、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号ステップと、からなる。
【００１８】
図２は、本発明の原理構成図である。
【００１９】
本発明（請求項５）は、入力された原画像をウェーブレット変換により帯域分割する帯域分割手段２０を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号化側において原画像と同じ解像度で再生する場合に、
帯域分割手段２０により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段３０と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段５１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段５２と、を有する。
【００２０】
本発明（請求項６）は、請求項５記載の動画像符号化装置により符号化されたデータを原画像と同じ解像度で再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上Ｎ以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段６１と、
最低周波数帯域より高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを２番目以降に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段６２と、を有する。
【００２１】
本発明（請求項７）は、入力された原画像をウェーブレット変換により帯域分割する帯域分割手段を有し、分割された帯域毎にフレーム内およびフレーム間予測を画素毎に行う動画像符号化装置であって、
復号側において原画像の１／２n倍の解像度毎に段階的に再生する場合に、
帯域分割手段により分割された帯域の符号化対象画素近傍信号のフレーム間相関が所定の閾値より大きい場合には、フレーム間予測を行い、該フレーム間相関が所定の閾値より小さい場合には、フレーム内予測を行い、符号化する符号化手段と、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に伝送する第１の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に伝送する第２の伝送手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ同一レベル内では、ＨＬk、ＬＨk、ＨＨkの順番に伝送する第３の伝送手段と、を有する。
【００２２】
本発明（請求項８）は、請求項７記載の動画像符号化装置により符号化されたデータを原画像の１／２n倍の解像度に段階的に再生するために復号する動画像復号化装置であって、
Ｎを正の整数でウェーブレット分割レベル数とし、ｋを１以上（Ｎ−１）以下の整数として、符号化されたデータを符号化された各フレーム毎に、
最低周波数帯域ＬＬNの符号化されたデータを１番目に復号する第１の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNの符号化されたデータを２ないし４番目に、各帯域のフレーム間予測のフレーム内予測に対する処理回数の比率が大きい順番に復号する第２の復号手段と、
第Ｎレベルの３つの周波数帯域ＨＬN、ＬＨN、ＨＨNより高い周波数帯域ＨＬk、ＬＨk、ＨＨkの符号化されたデータを５番目以降に、低周波数帯域から高周波数帯域の順にレベル毎に、かつ、同一レベル内ではＨＬk、ＬＨk、ＨＨkの順番に復号する第３の復号手段と、を有する。
【００２３】
本発明（請求項９）は、コンピュータを、請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させる動画像処理プログラムである。
【００２４】
本発明（請求項１０）は、コンピュータを、請求項５乃至８のいずれか１項に記載の動画像処理装置として機能させるプログラムを格納したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００２５】
上記のように本発明によれば、空間解像度スケーラビリティを有する動画像可逆符号化方法・復号化方法において、符号化データの効率的な段階的伝送を実現することができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面と共に本発明の実施の形態を説明する。
【００２７】
[第１の実施の形態]
本実施の形態では、Ex-MLVCにおける符号化データの効率的な段階的伝送方法について説明する。以下では、Ex-MLVCの基礎であるMLVCの可逆符号化器を用いて説明する。
【００２８】
図３は、本発明の第１の実施の形態におけるMLVCの可逆符号化器の構成を示す。
【００２９】
同図に示すMLVC可逆符号化器は、可逆カラー変換部１０、可逆ウェーブレット変換部２０、時空間適応予測符号化部３０、エントロピー符号化部４０及び多重化部５０から構成される。
【００３０】
可逆カラー変換部１０は、入力された原画像のカラー成分間の相関を減少させ、その信号を可逆ウェーブレット変換部２０に出力する。
【００３１】
可逆ウェーブレット変換部２０は、可逆フィルタを用いて、入力された動画像の信号を帯域分割し、解像度スケーラビリティを実現すると共に、フレーム内相関を減少させ、最低周波数帯域を時空間適用予測符号化部３０に出力し、最低周波数帯域以外はエントロピー符号化部４０に出力する。最低周波数帯域以外の信号については、フレーム間相関が弱く、時間計算の増加に対する符号化効率の向上率が小さいことを考慮して時空間適応予測符号化は行わない。
【００３２】
時空間適応予測符号化部３０は、符号化対象画素近傍信号のフレーム間相関が所定の値より大きい場合はフレーム間予測を行い、フレーム間創刊が所定の値より小さい場合にはフレーム内予測を行い符号化し、多重化部５０に出力する。
【００３３】
エントロピー符号化部４０は、最低周波数帯域以外の信号に対してはエントロピー符号化を行い、多重化部５０に出力する。
【００３４】
多重化部５０は、時空間適応予測符号化部３０とエントロピー符号化部４０からの信号を多重化して、符号化ビットストリームを復号化器に出力する。
【００３５】
本実施の形態では、ランダムアクセス機能を実現するために、適当な間隔でフレーム内符号化（Inter-coded picture：Iフレーム）を行う。フレーム内符号化間の画像の集まりはGOP(Group Of Pictures)と呼ばれ、本実施の形態では、フレーム内符号化とフレーム間予測符号化フレーム（Predictive-coded picture：Pフレーム）の２種類のフレームにより構成する。
【００３６】
本実施の形態では、解像度スケーラビリティ実現の容易さから、可逆ウェーブレット変換部２０の変換方式としてウェーブレットを用いる。可逆符号化を実現するために、（５，３）可逆フィルタ（例えば、A.R. Calderbank et. al., "Wavelet transforms that map integers to integers," vol. E85-A, no.8, pp.1822-1830, Aug. 2002.）を使用し、画像の縦横方向で同一のものを用いる。ウェーブレット分割の方法は、１次元ウェーブレット変換を画像の縦横各方向に独立に施すことにより画像を４つの周波数帯域に分割し、最低周波数を担う周波数帯域を再帰的に４つの周波数帯域に分割するMallat分割（例えば、S.G. Mallat, "A Theory for multiresolution signal decomposition: The wavelet representation," IEEE Trans. Pattern Analysis & Machine Intelligence, vol. 11, pp. 674-693, July 1989）を用いる。
【００３７】
図４に２レベルのMallat分割の例を示す。当該可逆ウェーブレット変換部２０では、最低周波数帯域（LL）の信号を時空間適応予測符号化部３０に出力し、それ以外の帯域の信号をエントロピー符号化部４０に出力する。
【００３８】
可逆符号化に関する静止画像国際標準規格JPEG-LSは、非線形予測符号化とコンテクストモデリングに基づく方式で画像の局所的な性質変化に追従した予測が可能であり、JPEG2000ロスレスモードと比較して演算が高速で符号化効率に優れることが知られている。MLVCでは、JPEG-LSで用いられている非線形予測器を３次元間予測に拡張することにより、高い符号化効率を実現している。
【００３９】
MLVCの時空間適応予測符号化部３０は、図５に示すような構成を有する。時空間適応予測符号化部３０は、２次元予測器３１、３次元予測器３２、動き推定部３３、相関係数計算部３４、シフト演算子３５、エントロピー符号化部３６から構成され、予測符号化法を最低周波数帯域の信号に適用する。Iフレームおいては、２次元予測器３１（フレーム内相関を除去）を適用する。また、符号化効率を高めるため、Pフレームにおいては、２次元予測器３１と３次元予測器３２（フレーム内相関とフレーム間相関を同時に除去）を適応的に切り替え、残差信号を生成する。MLVCでは、この方法を「時空間適応予測符号化」と呼ぶ。
【００４０】
当該時空間適応予測符号化部３０における２次元予測器３１と３次元予測器３２の切り換えは、相関係数計算部３４において、図６に示す現フレームａ内の近傍信号値ｘ1〜ｘ4と参照フレームｂ内の近傍信号値ｙ１〜ｙ4の相関係数Ｒを計算して決定する。ここでｙ１〜ｙ4は、動き推定部３３の動き推定の結果をもとにシフト演算子３５によりシフトした信号列を用いる。相関係数計算部３４において相関係数を求め、相関係数がある閾値Ｔｈ以上の場合、フレーム間相関が大きいと判断し、３次元予測器３２を用いる。それ以外は２次元予測器３１を用いる。
【００４１】
つまり、
・相関係数Ｒ＜Ｔｈの場合は２次元予測器３１を用いる。
・相関係数Ｒ≧Ｔｈの場合は３次元予測器3２を用いる。
【００４２】
但し、
【００４３】
【数１】
0004522951.tif 000002
２次元及び３次元予測は、以下のように行う。
【００４４】
１）２次元予測：
本発明では、画像の局所的な性質変化に追従した予測を行うため、予め用意された複数の予測器を適応的に切り替える非線形予測器を用いる。ここでは、JPEG-LSと同じ非線形予測器を利用する。JPEG-LSでは、３種類の予測器を、符号化対象画素近傍信号の状態により切り換え、残差信号を生成する。縦方向及び横方向にエッジがあると判断された場合は、それぞれのエッジ方向に隣接する１画素を用いて予測し、輝度変化が滑らかであると判断した場合は隣接する３画素を用いて予測する。
【００４５】
【数２】
0004522951.tif 000003
ここで、ｘ1、x2、ｘ3は符号化対象画素近傍の信号値であり、「４」で定義される。
【００４６】
２）３次元予測：
３次元予測の場合にも２次元予測と同様に、符号化対象画素の近傍信号値の状態により予測器を切り換える非線形予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームａ及び参照フレームｂのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームｂの縦方向の差分絶対値│ｙ0−ｙ3│と横方向の差分絶対値│ｙ0−ｙ１│を比較して、ある閾値よりも大きい方向をエッジと判断する。縦方向のエッジ（以下の条件ｉの場合）と判断された場合は、現フレームａ及び参照フレームｂとの縦方向の信号ｘ3，ｙ0，ｙ3に関して、２次元予測と同様な方法で予測信号を選択する。横方向のエッジ（以下の条件iiの場合）の場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の3画素（ｘ1，ｘ3，ｙ0）の平均値を予測値とする。
【００４７】
条件ｉ：│ｙ0−ｙ1│−│ｙ0−ｙ3│＞Ｔの場合：
【００４８】
【数３】
0004522951.tif 000004
条件ii：│ｙ0−ｙ1│−│ｙ0−ｙ3│＜−Ｔの場合：
【００４９】
【数４】
0004522951.tif 000005
条件iii：条件ｉ,ii以外の場合
【００５０】
【数５】
0004522951.tif 000006
MLVCでは、最低周波数帯域以外の信号については、フレーム間相関が弱く、計算時間の増加に対する符号化効率の向上率が小さいことを考慮し、時空間適応予測符号化部３０による、時空間適応予測符号化を行わない。
【００５１】
Ex-MLVCでは、更なる符号化効率の向上を目的として、時空間適応予測符号化の適応帯域を画像の統計的性質に応じて適応的に変化させるモデルを提供している。
【００５２】
Ex-MLVCでは、最低周波数帯域については、MLVCと同様に、時空間適応予測符号化部３０で時空間適応予測処理を行い、それ以外の帯域においては、フレーム間相関が強い帯域では、時空間適応予測処理を行い、弱い帯域ではエントロピー符号化部３０でウェーブレット係数を直接符号化する。但し、
１）計算量をできるだけ低く抑え、
２）付加情報量をなくす、
ために各帯域において直接フレーム間相関は計算しない。
【００５３】
図７に示すように、ウェーブレット係数が最低周波数帯域を基準にして同一方向の帯域間には相関があることを利用して、1レベル低い周波数帯域での３次元予測と２次元予測の処理回数の比率に応じて切り換えを行う。
【００５４】
１）1レベル低周波数帯のRinter≧THの場合は、時空間適応予測を行う。
【００５５】
２）1レベル低周波数帯のRinter<THの場合は、ウェーブレット係数符号化を行う。
但し、
【００５６】
【数６】
0004522951.tif 000007
ここで、Inter、Intraは、それぞれ３次元予測器３２及び２次元予測器３１の処理回数を表す。なお、これらの処理回数は、それぞれ時空間適応予測符号化部３０内のメモリ（図示せず）に格納されており、Ｒinterの計算を行う際に読み出される。
【００５７】
Rinterの値が大きい場合は、３次元予測器３２の処理回数が多いことを表す。即ち、フレーム間相関が強いことを意味している。また、上記の１）、２）のTHは所定の閾値を表す。
【００５８】
次に、帯域単位処理手順について説明する。
【００５９】
可逆ウェーブレット変換部２０におけるウェーブレット分割レベル数が「２」の場合を例に説明する。
【００６０】
図８は、本発明の第１の実施の形態における時空間適応予測の帯域単位処理を説明するための図（帯域分割＝２レベル）である。同図に示す矢印の方向に向かって、時空間適応予測処理を行うか否かを判断する。
【００６１】
図９は、本発明の第１の実施の形態における帯域単位の処理手順を示す。
【００６２】
まず、最初に、Ex-MLVCでは、最低周波数帯域LL2においては、MLVCと同様に時空間適応予測符号化部３０で時空間適応予測処理を行う。全ての処理が終了後、Rinterを計算する（ステップ１０１）。
【００６３】
RInter≧THの場合（ステップ１０２、Yes）、HL2、LH2、HH2帯域において時空間適応予測処理を行う（ステップ１０３，１０６，１０９）。RInter＜THの場合（ステップ１０２、No）は終了する。
【００６４】
時空間適応予測処理を行った場合は、時空間適用予測符号化部３０の相関係数計算部３４において、HL2、LH2、HH2帯域のそれぞれについて、RInterを計算する。それぞれの帯域においてRInter≧THの条件を満たすか否かを判断し（ステップ１０４，１０７，１１０）、HL1、LH1、HH1帯域において時空間適用予測処理を行うかどうかを決定する。
【００６５】
次に、小ブロック単位処理手順について説明する。
【００６６】
ウェーブレット変換領域おいては、各周波数帯の同じ空間位置に対応する成分は相関が強いことが知られている。この性質を利用して、小ブロック単位で時空間適用予測を行うかどうかの判断を行う。
【００６７】
図１０は、本発明の第１の実施の形態における時空間適応予測ブロック単位の処理を説明するための図である。同図では、分割レベル数が「２」の場合の処理方向を示している。
【００６８】
図１１は、本発明の第１の実施の形態におけるブロック単位の処理手順を示す。
【００６９】
処理手順は、図９に示す方法をブロック毎に行い、全ブロック数（N）になるまで繰り返す。
【００７０】
これにより、画像の局所的性質に追従させることが可能となり、符号化効率が改善する。
【００７１】
以上の帯域単位処理または小ブロック単位処理により生成された残差信号またはウェーブレット係数は、エントロピー符号化部４０により、符号化データとして出力される。
【００７２】
Ex-MLVCでは、スケーラビリティ機能により伝送時や復号時の時間優先度を自由に設定できる。スケーラビリティの単位として、C：色、R：空間解像度の２つを定義している。
【００７３】
図１２は、本発明の第１の実施の形態における空間解像度を優先的に並べたRC構造の例を示す。但し、これは１例であり、LLやHHなどの各成分をどのような順序で、符号化器による伝送あるいは、復号化器で復号するかはユーザに任されており、Ex-MLVCでは規定していない。ここでは、空間解像度の各成分（LL2、HL2、LH2、…）を効率よく、伝送並びに復号する順序について述べる。本発明では、空間解像度スケーラビリティを実現する際に、
１）原画像と同じ解像度で再生する場合；
２）原画像の１/２n倍の解像度毎に段階的に再生する場合；
の２つの技術を提供する。
【００７４】
まず、本実施の形態では、上記の１）の場合について説明する。
【００７５】
Ｉピクチャの場合、その伝送（符号化器）または復号（復号化器）する順序は固定であり、以下の２つの条件を満たすように並べる。
【００７６】
・低周波数帯域から高周波数帯域；
・同一レベル内の周波数帯域では、HL→LH→HH；
図１２（ａ）にはウェーブレットレベル＝２の場合のＲＣデータ構造を示す。図１３（ａ）には、図１２（ａ）に対応するウェーブレット領域での順序を示す。
【００７７】
また、Ｐピクチャの場合は、以下の条件を満たすように並べ替えを行う。
【００７８】
・１番目は、最低周波数帯域LLN（但し、Ｎは正の整数でウェーブレット分割レベル数）；
・２番目以降の周波数帯域は、RInterの降順；
即ち、符号化器の多重化部５０から伝送（出力）する際には、予めメモリ等に格納された上記の条件を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に伝送する。同様に、復号化器でも、予め上記の条件が格納されたメモリ等を参照して、最低周波数帯域LLN以外は、RInterが大きい周波数帯域ほど先に復号する。
【００７９】
ここで、RInterは、３次元予測器３２及び２次元予測器３１の処理回数比率を表し、RInterが大きいほど、３次元予測器３２の処理回数が多いことを意味している。即ち、上記の条件は、３次元予測器３２が２次元予測器３１よりも符号化効率に大きく寄与することを前提としている。
【００８０】
ウェーブレット分割レベル数が「２」で、RInterの大きさに関して、
・HL2→LH2→HL1→HH2→LH1→HH1
の場合、周波数帯域の伝送または復号の順序は、図１２（ｂ）ならびに、図１３（ｂ）のようになる。
【００８１】
［第２の実施の形態］
第２の実施の形態として、上記の空間解像度スケーラビリティを実現する際の「２）の原画像の１／２ｎの解像度毎に段階的に再生する場合」について説明する。
【００８２】
Ｉピクチャに関しては、前述の「１）原画像と同じ解像度で再生する場合」と同じ基準のもと、固定した順序に並べる。Ｐピクチャの場合は、以下の条件を満たすように並べ替えを行う。
【００８３】
・低周波数帯域から高周波数帯域；
・１番目は、最低周波数帯域LLN(但し、Ｎは正の整数でウェーブレット分割レベル数)；
・２−４番目は、HLN、LHN、HHNに関してRInterの降順；
・５番目以降の順番は、各レベル内の周波数帯域HL、LH、HHを、対応するレベルのHL、LH、HHの順序；
に準じる。
【００８４】
ウェーブレット分割レベル数が「２」でRInterの大きさに関して、
・HL２→LH２→HH2
の場合、各周波数帯域の符号化器における伝送または、復号化器における復号の順序は、図１２（ｃ）並びに図１３（ｃ）のようになる。つまり、多重化部５０は、予め上記の条件が格納されたメモリ等を参照して符号化ビットストリームを伝送する。また、復号化器においても、予め上記の条件が格納されたメモリ等を参照して、入力されたデータを復号する。
【００８５】
また、上記の符号化器及び復号化器の動作をプログラムとして構築し、符号化器、復号化器として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００８６】
また、構築されたプログラムをハードディスク装置や、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールする、または、配布することが可能である。
【００８７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００８８】
本発明は、動画像の符号化・復号化技術に適用可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態におけるMLVC符号化器の構成図である。
【図４】本発明の第１の実施の形態におけるMallet分割（２レベル）の例である。
【図５】本発明の第１の実施の形態における時空間適応予測符号化部のブロック図である。
【図６】本発明の第１の実施の形態における符号化対象信号ｘと近傍信号を示す図である。
【図７】本発明の第１の実施の形態における帯域間の相関関係を示す図である。
【図８】本発明の第１の実施の形態における時空間適応予測の帯域単位の処理を説明するための図（帯域分割＝２レベル）である。
【図９】本発明の第１の実施の形態における帯域単位の処理手順（帯域分割＝２レベル）である。
【図１０】本発明の第１の実施の形態における時空間適応予測のブロック単位の処理（帯域分割＝２レベル）である。
【図１１】本発明の第１の実施の形態におけるブロック単位の処理手順（帯域分割＝２レベル）である。
【図１２】本発明の第１・第２の実施の形態における空間解像度と優先的に並べたＲ−Ｃ構造の例（ウェーブレット分割レベル＝２の場合）である。
【図１３】本発明の第１・第２の実施の形態における空間解像度成分の伝送順序・復号化順序の例（ウェーブレット領域表現）である。
【符号の説明】
【００９０】
１０  可逆カラー変換部
２０  可逆ウェーブレット変換部、帯域分割手段
３０  時空間適応予測符号化部、符号化手段
４０  エントロピー符号化部
５０  多重化部
５１  第１の伝送手段
５２  第２の伝送手段
６１  第１の復号手段
６２  第２の復号手段
３１  ２次元予測器
３２  ３次元予測器
３３  動き推定部
３４  シフト演算子
【図１】
0004522951.tif 000008
【図２】
0004522951.tif 000009
【図３】
0004522951.tif 000010
【図４】
0004522951.tif 000011
【図５】
0004522951.tif 000012
【図６】
0004522951.tif 000013
【図７】
0004522951.tif 000014
【図８】
0004522951.tif 000015
【図９】
0004522951.tif 000016
【図１０】
0004522951.tif 000017
【図１１】
0004522951.tif 000018
【図１２】
0004522951.tif 000019
【図１３】
0004522951.tif 000020