(57)【要約】【課題】画像フレーム中の比較的大きな高周波数成分が連続した領域においては、ベースレイヤから得られる画像フレームでは十分な予測処理を行うことができないか、差分情報を表現するための情報量が増大する。【解決手段】エンハンスメントレイヤエンコード部１０６は、映像入力からエンハンスメントレイヤの符号化対象となる空間解像度をもつ画像フレームと、空間インターポレーション部１０４及び空間高周波数成分推定拡大部１０５から取得した、ベースレイヤからの高周波数成分推定済み信号との相関を利用したエンハンスメントレイヤとしての符号化を行う。本発明は、ベースレイヤもしくはエンハンスメントレイヤから推定することができる高周波数成分を予め取り除くことにより、レイヤ間の差分を求めた際の符号化レイヤ間の予測誤差信号の信号振幅を抑制する。【選択図】図１
2007174634.tif 000002
【特許請求の範囲】
【請求項１】
空間解像度が互いに異なる複数の符号化レイヤにより画像信号を符号化する階層符号化装置であって、
前記複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤでは、
当該符号化レイヤより下位の下位符号化レイヤからの符号化信号を復号して前記下位符号化レイヤの復号信号を生成する復号部と、
前記復号部によって生成された下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成する空間インターポレーション部と、
前記復号部によって生成された下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って高周波数成分信号を生成する空間高周波数成分推定拡大部と、
当該符号化レイヤの空間解像度に応じた前記画像信号と、前記空間インターポレーション部からの前記拡大復号画像信号と、前記空間高周波数成分推定拡大部からの前記高周波数成分信号とを入力して、前記入力画像信号から前記拡大復号画像信号と前記高周波数成分信号とを減算した予測誤差信号を、当該符号化レイヤの空間解像度にて符号化して符号化ビットストリームとして出力する符号化部と、
を有する階層符号化装置。
【請求項２】
請求項１の階層符号化装置において、
前記符号化部は、前記予測誤差信号を当該符号化レイヤの空間解像度にて符号化した際、符号量を計算し、計算した符号量に基づいて前記空間高周波数成分推定拡大部に対し前記推定拡大処理を行う際の推定拡大パラメータを変更して前記推定拡大処理を再度実行するよう再計算指示を出力すると共に、計算した符号量が最小となる場合の符号化ビットストリームを出力し、
前記空間高周波数成分推定拡大部は、前記符号化部より前記再計算指示が入力された場合、前記推定拡大処理を行う際の推定拡大パラメータを変更して前記推定拡大処理を再度実行すると共に、前記符号化部によって計算された符号量が最小となる場合の推定拡大パラメータを出力し、
さらに、前記符号化部によって符号化された符号化ビットストリームと、前記空間高周波数成分推定拡大部から出力された前記推定拡大パラメータとを多重化する多重化部を有する階層符号化装置。
【請求項３】
請求項１または請求項２記載の階層符号化装置において、
前記複数の符号化レイヤは、２つの符号化レイヤであり、
前記当該符号化レイヤとは、エンハンスメントレイヤであり、
前記下位符号化レイヤとは、前記当該符号化レイヤである前記エンハンスメントレイヤより下位で前記エンハンスメントレイヤより空間解像度が小さいベースレイヤである階層符号化装置。
【請求項４】
請求項１または請求項２記載の階層符号化装置において、
前記複数の符号化レイヤは、３つ以上の符号化レイヤであり、
前記当該符号化レイヤとは、空間解像度の異なる２つ以上のエンハンスメントレイヤであり、
前記下位符号化レイヤとは、前記当該符号化レイヤである前記２つ以上のエンハンスメントレイヤより下位で前記２つ以上のエンハンスメントレイヤより空間解像度が小さいベースレイヤである階層符号化装置。
【請求項５】
空間解像度が互いに異なる複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤにて、当該符号化レイヤの空間解像度に応じた入力画像信号から、当該符号化レイヤより下位の下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って生成された拡大復号画像信号と、前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って生成された高周波数成分信号とが減算された予測誤差信号を当該符号化レイヤの空間解像度にて符号化した符号化ビットストリームを入力して復号する動画像の階層復号化装置であって、
前記空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤに対応する復号レイヤでは、
当該復号レイヤより下位の下位復号レイヤの復号部によって生成された復号信号に対し当該復号レイヤに対応した空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成する空間インターポレーション部と、
前記下位復号レイヤの復号部によって生成された復号信号に対し高周波数成分の推定拡大処理を行って高周波数成分信号を生成する空間高周波数成分推定拡大部と、
当該復号レイヤの空間解像度に応じた前記符号化ビットストリームと、前記空間インターポレーション部からの前記拡大復号画像信号と、前記空間高周波数成分推定拡大部からの前記高周波数成分信号とを入力して、前記符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し前記拡大復号画像信号と前記高周波数成分信号とを加算することで、当該復号レイヤを復号する復号部と、
を有する階層復号化装置。
【請求項６】
請求項５の階層復号化装置において、
さらに、前記符号化ビットストリームを復号レイヤ毎に分離すると共に、前記符号化ビットストリームに、推定拡大パラメータが多重化されている場合、前記符号化ビットストリームから前記推定拡大パラメータを分離するエクストラクト部を有し、
前記推定拡大パラメータが分離された復号レイヤの前記空間高周波数成分推定拡大部は、前記下位復号レイヤの復号部によって生成された復号信号に対し、前記推定拡大パラメータに基づいて高周波数成分の推定拡大処理を行って高周波数成分信号を生成する階層復号化装置。
【請求項７】
空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する際の動画像の階層符号化方法であって、
前記複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤでは、
当該符号化レイヤより下位の下位符号化レイヤからの符号化信号を復号して前記下位符号化レイヤの復号信号を生成するステップと、
前記下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成するステップと、
前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成するステップと、
当該符号化レイヤの空間解像度に応じた前記画像信号と、前記拡大復号画像信号と、前記高周波成分信号とを入力して、前記入力画像信号から前記拡大復号画像信号と前記高周波成分信号とを減算した予測誤差信号を、当該符号化レイヤの空間解像度にて符号化するステップと、
を有する階層符号化方法。
【請求項８】
空間解像度が互いに異なる複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤにて、当該符号化レイヤの空間解像度に応じた入力画像信号から、当該符号化レイヤより下位の下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って生成された拡大復号画像信号と、前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って生成された高周波成分信号とが減算された予測誤差信号を当該符号化レイヤの空間解像度にて符号化した符号化ビットストリームを入力して復号する際の動画像の階層復号方法であって、
前記空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤに対応する復号レイヤでは、
当該復号レイヤより下位の下位復号レイヤによって生成された復号信号に対し当該復号レイヤに対応した空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成するステップと、
前記下位復号レイヤによって生成された復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成するステップと、
当該復号レイヤの空間解像度に応じた前記符号化ビットストリームと、前記空間インターポレーション部からの前記拡大復号画像信号と、前記空間高周波数成分推定拡大部からの前記高周波成分信号とを入力して、前記符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し前記拡大復号画像信号と前記高周波成分信号とを加算することで、当該復号レイヤを復号するステップと、
を有する階層復号方法。
【請求項９】
コンピュータに、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化させるための動画像の階層符号化プログラムであって、
前記複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤでは、
当該符号化レイヤより下位の符号化レイヤからの符号化信号を復号して前記下位符号化レイヤの復号信号を生成するステップと、
前記下位の符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成するステップと、
前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成するステップと、
当該符号化レイヤの空間解像度に応じた前記画像信号と、前記拡大復号画像信号と、前記高周波成分信号とを入力して、前記入力画像信号から前記拡大復号画像信号と前記高周波成分信号とを減算した予測誤差信号を、当該符号化レイヤの空間解像度にて符号化するステップと、
をコンピュータに実行させる階層符号化プログラム。
【請求項１０】
コンピュータに、空間解像度が互いに異なる複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤにて、当該符号化レイヤの空間解像度に応じた入力画像信号から、当該符号化レイヤより下位の下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って生成された拡大復号画像信号と、前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って生成された高周波成分信号とが減算された予測誤差信号を当該符号化レイヤの空間解像度にて符号化した符号化ビットストリームを入力させて復号させるための動画像の階層復号プログラムであって、
前記空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤに対応する復号レイヤでは、
当該復号レイヤより下位の下位復号レイヤによって生成された復号信号に対し当該復号レイヤに対応した空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成するステップと、
前記下位復号レイヤによって生成された復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成するステップと、
当該復号レイヤの空間解像度に応じた前記符号化ビットストリームと、前記空間インターポレーション部からの前記拡大復号画像信号と、前記空間高周波数成分推定拡大部からの前記高周波成分信号とを入力して、前記符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し前記拡大復号画像信号と前記高周波成分信号とを加算することで、当該復号レイヤを復号するステップと、
をコンピュータに実行させる階層復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する階層符号化装置、階層符号化方法、階層符号化プログラム、及び空間解像度が互いに異なる複数の符号化レイヤにより符号化された符号化ビットストリームを復号する動画像の階層復号化装置、階層復号方法及び階層復号プログラムに関する。
【背景技術】
【０００２】
従来、映像符号化において空間解像度、時間解像度及びＳＮＲ（信号対雑音比）それぞれのスケーラビリティを実現する符号化方式が数多く提案されており、様々な分野でこれらの実用化がなされている。なかでも、空間解像度のスケーラビリティに関しては、静止画像の符号化を含め、その適用範囲が広い。
【０００３】
映像の空間解像度スケーラビリティを実現する階層符号化装置及び復号装置として、例えば、ベースレイヤとエンハンスメントレイヤの２層の階層符号化装置において、ベースレイヤの復号信号を空間的にインターポレーション（補間）してエンハンスメントレイヤの空間解像度にした信号と、エンハンスメントレイヤの映像信号との間で相関を利用した予測を行い、その予測誤差信号を符号化して符号化ビットストリームを復号装置へ伝送し、復号装置ではその符号化ビットストリームを復号するものがある（例えば、特許文献１参照。）。
【０００４】
【特許文献１】特開平７−１６２８７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、ベースレイヤの符号化対象として用意する画像フレームにおいては、エンハンスメントレイヤで扱う画像フレームに含まれるような高い周波数成分は、ベースレイヤの空間解像度に縮小（デジメーション）する際、周波数帯域制限によって除去される。また、ベースレイヤにおける符号化の結果、あまり重要でないと判断された高い周波数成分は、量子化などの符号化処理の過程で除去される。
【０００６】
そのため、このようなベースレイヤの符号化信号を復号し、さらにインターポレーション（補間）してエンハンスメントレイヤの空間解像度にした信号との相関を利用してエンハンスメントレイヤの動画像信号を符号化する場合、ベースレイヤの信号とエンハンスメントレイヤの信号との間で予測処理を行った予測誤差信号には、低周波数成分を多く含む領域に対しては正しい予測処理が行われている可能性が高いが、比較的大きな高周波数成分が連続した領域、例えばエッジ部などを含む領域においては、ベースレイヤから得られる信号では高周波成分が除去されているため、十分な予測処理を行うことができず、予測誤差信号の情報量が増大し、符号量が増大する、という問題がある。
【０００７】
本発明は以上の点に鑑みなされたもので、符号化レイヤ間の画像信号の予測誤差信号を符号化する場合に、予測誤差信号の情報量を削減し、符号量を削減して効率良く符号化を行うことができる階層符号化装置、階層符号化方法、階層符号化プログラム、およびかかる符号化により符号化された符号化ビットストリームを復号することができる階層復号化装置、階層復号方法及び階層復号プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本発明の階層符号化装置、階層符号化方法、階層符号化プログラムは、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する際、前記複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤでは、当該符号化レイヤより下位の下位符号化レイヤからの符号化信号を復号して前記下位符号化レイヤの復号信号を生成し、前記下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成し、前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成し、当該符号化レイヤの空間解像度に応じた前記画像信号と、前記拡大復号画像信号と、前記高周波成分信号とを入力して、前記入力画像信号から前記拡大復号画像信号と前記高周波成分信号とを減算した予測誤差信号を、当該符号化レイヤの空間解像度にて符号化するものである。
【０００９】
ここで、前記予測誤差信号を当該符号化レイヤの空間解像度にて符号化した際、符号量を計算し、計算した符号量に基づいて前記推定拡大処理を行う際の推定拡大パラメータを変更して前記推定拡大処理を再度実行するよう再計算指示を出力すると共に、計算した符号量が最小となる場合の符号化ビットストリームを出力し、前記符号化部より前記再計算指示が出力された場合、前記推定拡大処理を行う際の推定拡大パラメータを変更して前記推定拡大処理を再度実行すると共に、前記符号量が最小となる場合の推定拡大パラメータを出力し、前記符号量が最小となる場合の前記符号化ビットストリームと前記推定拡大パラメータとを多重化して受信側または復号側へ送信するようにしても良い。
【００１０】
また、前記下位符号化レイヤは、当該符号化レイヤより１つ下位の下位符号化レイヤでも良いし、当該符号化レイヤより２つ以上下位の下位符号化レイヤでも良い。
【００１１】
また、前記複数の符号化レイヤを、２つの符号化レイヤで構成した場合、前記当該符号化レイヤはエンハンスメントレイヤであり、前記下位符号化レイヤは、前記当該符号化レイヤである前記エンハンスメントレイヤより下位で前記エンハンスメントレイヤより空間解像度が小さいベースレイヤとなる一方、３つ以上の符号化レイヤで構成した場合、前記当該符号化レイヤは空間解像度の異なる２つ以上のエンハンスメントレイヤであり、前記下位符号化レイヤは前記当該符号化レイヤである前記２つ以上のエンハンスメントレイヤより下位で前記２つ以上のエンハンスメントレイヤより空間解像度が小さいベースレイヤとなる。
【００１２】
また、上記の目的を達成するため、本発明の階層復号化装置、階層復号方法及び階層復号プログラムでは、空間解像度が互いに異なる複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤにて、当該符号化レイヤの空間解像度に応じた入力画像信号から、当該符号化レイヤより下位の下位符号化レイヤの復号信号に対し当該符号化レイヤの空間解像度に変換するための拡大処理である空間インターポレーションを行って生成された拡大復号画像信号と、前記下位符号化レイヤの復号信号に対し高周波数成分の推定拡大処理を行って生成された高周波成分信号とが減算された予測誤差信号を当該符号化レイヤの空間解像度にて符号化した符号化ビットストリームを入力して復号する際、前記空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤに対応する復号レイヤでは、当該復号レイヤより下位の下位復号レイヤによって生成された復号信号に対し当該復号レイヤに対応した空間解像度に変換するための拡大処理である空間インターポレーションを行って拡大復号画像信号を生成し、前記下位復号レイヤによって生成された復号信号に対し高周波数成分の推定拡大処理を行って高周波成分信号を生成し、当該復号レイヤの空間解像度に応じた前記符号化ビットストリームと、前記空間インターポレーション部からの前記拡大復号画像信号と、前記空間高周波数成分推定拡大部からの前記高周波成分信号とを入力して、前記符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し前記拡大復号画像信号と前記高周波成分信号とを加算することで、当該復号レイヤを復号するものである。
【００１３】
ここで、さらに、前記符号化ビットストリームを復号レイヤ毎に分離すると共に、前記符号化ビットストリームに、推定拡大パラメータが多重化されている場合、前記符号化ビットストリームから前記推定拡大パラメータを分離し、前記推定拡大パラメータが分離された復号レイヤでは、前記下位復号レイヤの復号部によって生成された復号信号に対し、前記推定拡大パラメータに基づいて高周波数成分の推定拡大処理を行って高周波数成分信号を生成するようにしても良い。
【発明の効果】
【００１４】
本発明の階層符号化装置、階層符号化方法、階層符号化プログラムによれば、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する際、複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤ以外の少なくとも１の符号化レイヤでは、当該符号化レイヤの空間解像度に応じた入力画像信号と、下位符号化レイヤの復号信号を当該符号化レイヤの空間解像度に拡大した拡大復号画像信号と、当該符号化レイヤの空間解像度で高周波成分を推定拡大した高周波成分信号とを入力して、前記入力画像信号から前記拡大復号画像信号と前記高周波成分信号とを減算した予測誤差信号を、当該符号化レイヤの空間解像度にて符号化するようにしたため、レイヤ間の差分を求めた際の符号化レイヤ間の予測誤差信号の信号振幅が抑制されるので、その予測誤差信号の情報量が従来より減少し、効率良く符号化を行うことができる。
【００１５】
なお、本発明の階層復号化装置、階層復号方法及び階層復号プログラムによれば、かかる符号化により符号化された符号化ビットストリームを正しく復号することができる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施の形態について図面と共に説明する。
【００１７】
図１は、本発明になる階層符号化装置及び階層復号装置の一実施の形態のブロック図を示す。
【００１８】
同図において、本発明の一実施の形態の階層符号化装置１００が、通信回線又は記録媒体等のメディア３００を介して本発明の一実施の形態の階層復号装置２００に接続されている。階層符号化装置１００には、オリジナルの動画像の映像信号が入力され、階層符号化装置１００で符号化処理を行うことで生成されたビットストリームが、通信回線又は記録媒体等のメディア３００を介して階層復号装置２００に伝送される。階層復号装置２００は供給されたビットストリームから復号に必要な情報を抽出した後に復号を行うことで、表示装置の性能に見合った空間解像度及びフレームレートをもつ復号映像信号を出力する。なお、本実施の形態１では、説明の便宜上、本発明の階層符号化装置及び階層復号化装置を、ベースレイヤと、エンハンスメントレイヤが１層の２層で説明するが、これに限定されるものではなく、ベースレイヤと、エンハンスメントレイヤが２層以上で構成するようにしても勿論良い、
【００１９】
本実施の形態の階層符号化装置１００は、図１に示すように、空間デシメーション（空間的縮小）部１０１、ベースレイヤエンコード部１０２、ベースレイヤデコード部１０３、空間インターポレーション（空間的拡大）部１０４、空間高周波数成分推定拡大部１０５、エンハンスメントレイヤエンコード部１０６及び多重化部１０７を有している。
【００２０】
また、本発明の階層復号化装置の一実施の形態である階層復号化装置２００は、図１に示すように、少なくともエクストラクト部２０１、ベースレイヤデコード部２０２、空間インターポレーション部２０３、空間高周波数成分推定拡大部２０４、及びエンハンスメントレイヤデコード部２０５を有している。
【００２１】
次に、本実施の形態１の階層符号化装置１００に含まれる各部の動作について、図２のフローチャートを用いて説明する。
【００２２】
まず、本実施の形態１の階層符号化装置１００では、エンハンスメントレイヤが符号化対象とする空間解像度をもつ画像フレーム若しくは画像フィールドの動画像信号を取得する。取得した動画像信号は、空間デシメーション部１０１及びエンハンスメントレイヤエンコード部１０６に供給される。
【００２３】
空間デシメーション部１０１は、映像入力として映像を構成する画像フレーム若しくは画像フィールドの動画像信号を取得する機能を有しており、以降の説明では説明を簡単にするため、画像フレームが入力されるものとする。
【００２４】
空間デシメーション部１０１は、取得したエンハンスメントレイヤの空間解像度の画像フレームに対して、取得したエンハンスメントレイヤの空間解像度よりも低い空間解像度をもつベースレイヤの画像フレームを生成するための画像の縮小（デジメーション）処理を行う（ステップＳ１０１）。この画像フレームの縮小処理においては、空間方向に対する折り返し歪みの発生を抑えるため、空間方向に対する周波数の帯域制限を伴う縮小処理であることが望ましい。空間デシメーション部１０１は、このような縮小処理に基づいて、ベースレイヤにおける入力画像フレームを生成し、それをベースレイヤエンコード部１０２に通知する機能を有する。
【００２５】
ベースレイヤエンコード部１０２は、空間デシメーション部１０１が生成したベースレイヤ用の入力画像フレームを取得し、その取得したベースレイヤ用の入力画像フレームに対してベースレイヤの符号化を行い（ステップＳ１０２）、ベースレイヤの符号ビットストリームを生成し、ベースレイヤの符号ビットストリームをベースレイヤデコード部１０３及び多重化部１０７にそれぞれ供給する。
【００２６】
ここで、ベースレイヤエンコード部１０２によるベースレイヤの符号化は、空間方向の相関を利用した符号化方式であれば、特に限定されるものではなく、ＭＰＥＧ２やＭＰＥＧ４，Ｈ．２６４等の空間および時間方向の相関を利用した符号化方式の他、モーションＪＰＥＧやモーションＪＰＥＧ２０００等の時間方向の相関を利用しない符号化方式でも良い。例えば、ＭＰＥＧ符号化方式の場合には、動き推定や動き補償、直交変換や量子化、逆直交変換や逆量子化、エントロピー符号化等を行う各部をベースレイヤエンコード部１０２内に少なくとも備えるように構成し、画像フレームの空間方向及び時間方向の相関を利用してベースレイヤの符号化を行うことになる。なお、このことは、エンハンスメントレイヤエンコード部１０６でも同様である。
【００２７】
ベースレイヤデコード部１０３は、ベースレイヤエンコード部１０２からビットストリームを取得し、その取得したベースレイヤのビットストリームに対して復号を行うことで、ベースレイヤの復号画像フレームを生成する（ステップＳ１０３）。ここで、ベースレイヤのビットストリームの復号は、ベースレイヤエンコード部１０２が生成したビットストリームを正しく復号する復号方式であれば、特に限定されるものではない。ベースレイヤデコード部１０３は、生成した復号画像フレームを空間インターポレーション部１０４及び空間高周波数成分推定拡大部１０５にそれぞれ供給する。
【００２８】
空間インターポレーション部１０４は、ベースレイヤデコード部１０３から復号画像フレームであるローカルデコード信号を取得し、そのローカルデコード信号に対し、空間デシメーション部１０１で縮小処理を行う前の元の空間解像度（すなわち、１階層上のエンハンスメントレイヤが持つ空間解像度）に拡大処理して、拡大画像フレーム信号を生成する（ステップＳ１０４）。この復号画像フレームであるローカルデコード信号の拡大処理においては、一般にシンク関数などの補間関数を利用することで、不足する空間方向の画素を復号画像フレームの各画素を利用して補間することで、拡大処理を実現する。空間インターポレーション部１０４は、このような拡大処理に基づいて、取得した復号画像フレームから拡大画像フレーム信号を生成して、エンハンスメントレイヤエンコード部１０６に供給する。
【００２９】
また、空間高周波数成分推定拡大部１０５は、ベースレイヤデコード部１０３から復号画像フレームであるローカルデコード信号を取得し、そのローカルデコード信号に対して、後述するように所定の空間方向に対する高周波数成分推定拡大処理を行って、空間デシメーション部１０１で縮小処理を行う前の元の空間解像度をもつ画像フレームに対応する推定された高周波成分信号を含むフレームである高周波数成分信号を生成し、それをエンハンスメントレイヤエンコード部１０６に供給する（ステップＳ１０５）。
【００３０】
すると、図１に示すように、エンハンスメントレイヤエンコード部１０６に入力する前に、空間インターポレーション部１０４が生成した拡大画像フレーム信号に、空間高周波数成分推定拡大部１０５が生成した高周波数成分信号が加算され（ステップＳ１０６）、ベースレイヤからの高周波数成分推定済み信号としてエンハンスメントレイヤエンコード部１０６に入力する。なお、本実施の形態１では、図１に示すように、空間インターポレーション部１０４が生成した拡大画像フレーム信号と、空間高周波数成分推定拡大部１０５が生成した高周波数成分信号とが加算され、ベースレイヤからの高周波数成分推定済み信号としてエンハンスメントレイヤエンコード部１０６に入力するように構成しているが、これに限らず、エンハンスメントレイヤエンコード部１０６に、空間インターポレーション部１０４が生成する拡大画像フレーム信号と、空間高周波数成分推定拡大部１０５が生成する高周波数成分信号とが別々に入力するように構成しても良い。ただし、この場合には、ステップＳ１０６の加算処理は不要になる。
【００３１】
エンハンスメントレイヤエンコード部１０６は、映像入力から元の画像フレームであるエンハンスメントレイヤの空間解像度の画像フレームを取得すると共に、空間インターポレーション部１０４から拡大画像フレーム信号と空間高周波数成分推定拡大部１０５から高周波数成分信号、もしくは拡大画像フレーム信号と高周波数成分信号とを加算した高周波数成分推定済み信号（図１の場合）をそれぞれ取得する。そして、エンハンスメントレイヤエンコード部１０６は、取得したエンハンスメントの空間解像度の画像フレームと、空間インターポレーション部１０４から拡大画像フレーム信号および空間高周波数成分推定拡大部１０５から高周波数成分信号と、もしくは拡大画像フレーム信号と高周波数成分信号とを加算した高周波数成分推定済み信号との相関を利用したエンハンスメントレイヤとしての符号化を行い（ステップＳ１０７）、エンハンスメントレイヤの符号化結果であるビットストリームを生成し、多重化部１０７に供給する。
【００３２】
つまり、エンハンスメントレイヤエンコード部１０６は、エンハンスメントの空間解像度の画像フレームと、空間インターポレーション部１０４から拡大画像フレーム信号および空間高周波数成分推定拡大部１０５から高周波数成分信号と、もしくは拡大画像フレーム信号と高周波数成分信号とを加算した高周波数成分推定済み信号との間で予測処理を行い、エンハンスメントの空間解像度の画像信号から空間インターポレーション部１０４からの拡大復号画像信号と、空間高周波数成分推定拡大部１０５から高周波数成分信号とを減算した予測誤差信号を符号化する。
【００３３】
これにより、本実施の形態１のエンハンスメント符号化は、エンハンスメントの空間解像度の画像フレームから空間インターポレーション部１０４からの拡大画像フレーム信号を減算した予測誤差信号を符号化する従来のエンハンスメント符号化と比較して、さらにエンハンスメントの空間解像度の画像フレームから空間高周波数成分推定拡大部１０５から高周波数成分信号を減算した予測誤差信号を符号化することになり、従来と較べ、高周波成分もより予測誤差が小さくなるように予測することが可能となり、生成される符号化ビットストリームの符号量を小さくすることができる。
【００３４】
そして、多重化部１０７は、ベースレイヤエンコード部１０２及びエンハンスメントレイヤエンコード部１０６からそれぞれのビットストリームを取得し、その取得した両ビットストリームに対して多重化処理を行い、エンベデッド構成をもつ多重化ビットストリームを生成して、生成した多重化ビットストリームを通信回線または記録媒体等のメディア３００を介して階層復号化装置２００へ送信する（ステップＳ１０８）。これで、本実施の形態１の一連の符号化処理が完了する。
【００３５】
次に、本実施の形態１の階層復号化装置２００に含まれる各部の動作について、図３のフローチャートを用いて説明する。
【００３６】
エクストラクト部２０１は、階層符号化装置１００の多重化部１０７が生成した多重化ビットストリームを、通信回線又は記録媒体等のメディア３００を介して取得し、階層復号装置２００やディスプレイなどの最終的に出力される受像機の性能に応じて、その取得した多重化ビットストリーム全体から復号に必要なものを切り出し、分割してそれぞれをベースレイヤデコード部２０２及びエンハンスメントレイヤデコード部２０５にそれぞれ供給する（ステップＳ２０１）。
【００３７】
ベースレイヤデコード部２０２は、エクストラクト部２０１で切り出されたベースレイヤの符号化ビットストリームを入力して復号し、復号映像信号を空間インターポレーション部２０３および空間高周波数成分推定拡大部２０４へ出力すると共に、必要に応じてディスプレイ等へ出力する（ステップＳ２０２）。
【００３８】
ここで、ベースレイヤデコード部２０２での復号は、対応する階層符号化装置１００のベースレイヤエンコード部１０２が生成したビットストリームを正しく復号する復号方式であれば特に限定されるものではない。つまり、ベースレイヤデコード部２０２は、ベースレイヤエンコード部１０２の構成に対応し、動き補償、逆直交変換や逆量子化、エントロピー復号を行うための手段をベースレイヤデコード部２０２内に少なくとも備え、ベースレイヤのビットストリームを正しく復号するような構成であれば良い。
【００３９】
空間インターポレーション部２０３は、ベースレイヤデコード部２０２からベースレイヤの復号画像信号を取得し、その復号画像フレームを、階層符号化装置１００の空間デシメーション部１０１で縮小処理を行う前の元の空間解像度、すなわちエンハンスメントレイヤの空間解像度に拡大処理して、拡大画像フレーム信号を生成する（ステップＳ２０３）。なお、空間インターポレーション部２０３は、階層符号化装置１００の空間インターポレーション部１０４と同じものであり、一般にｓｉｎｃ関数などの補間関数を利用することで、不足する空間方向の画素を復号画像フレームの各画素を利用して補間し、拡大処理を実現する。空間インターポレーション部２０３は、このような拡大処理に基づいて、取得した復号画像フレームから拡大画像フレーム信号を生成し、生成した拡大画像フレーム信号をエンハンスメントレイヤデコード部２０５に出力する。
【００４０】
一方、空間高周波数成分推定拡大部２０４は、ベースレイヤデコード部２０２からベースレイヤの復号画像信号を取得し、その復号画像信号に対し、所定の空間方向に対する高周波数成分推定拡大処理を行う（ステップＳ２０４）。空間高周波数成分推定拡大部２０４は、階層符号化装置１００の空間高周波数成分推定拡大部１０５と同じもので、この高周波数成分推定拡大処理により、階層符号化装置１００の空間デシメーション部１０１で縮小処理を行う前の元の空間解像度、すなわちエンハンスメントレイヤの空間解像度をもち、かつ、ベースレイヤの復号画像信号からその高周波成分が推定および拡大された高周波数成分信号を出力する。
【００４１】
すると、加算器２０６では、空間インターポレーション部２０３からの拡大画像フレーム信号に対して、空間高周波数成分推定拡大部２０４からの高周波数成分信号を加算して、ベースレイヤからの高周波数成分推定済み信号としてエンハンスメントレイヤデコード部２０５へ出力する（ステップＳ２０５）。なお、階層復号化装置２００側でも、階層符号化装置１００の場合と同様に、加算器２０６にて空間インターポレーション部２０３からの拡大画像フレーム信号と、空間高周波数成分推定拡大部２０４からの高周波数成分信号とが加算されてベースレイヤからの高周波数成分推定済み信号としてエンハンスメントレイヤデコード部２０５へ出力されるように構成しても良いし、加算器２０６を介さずに空間インターポレーション部２０３からの拡大画像フレーム信号と、空間高周波数成分推定拡大部２０４からの高周波数成分信号とが別々にエンハンスメントレイヤデコード部２０５へ出力されるように構成しても勿論良い。
【００４２】
エンハンスメントレイヤデコード部２０５では、エクストラクト部２０１から得られるエンハンスメントレイヤの符号化ビットストリームを取得すると共に、空間インターポレーション部２０３から拡大画像フレーム信号および空間高周波数成分推定拡大部２０４から高周波数成分信号、もしくはこれらを加算した高周波数成分推定済み信号を取得し、取得したエンハンスメントレイヤのビットストリームと、空間インターポレーション部２０３から拡大画像フレーム信号および空間高周波数成分推定拡大部２０４から高周波数成分信号、ベースレイヤからの高周波数成分推定済み信号とからエンハンスメントレイヤの復号を行うことで、エンハンスメントレイヤの復号画像フレームを生成し、デコード映像信号を必要に応じてディスプレイ等への出力する（ステップＳ２０６）。
【００４３】
つまり、階層復号化装置２００に入力する本実施の形態１のエンハンスメントレイヤの符号化ビットストリームは、階層符号化装置１００にてエンハンスメントレイヤの動画像信号から空間インターポレーション部２０３からの拡大画像フレーム信号と、空間高周波数成分推定拡大部２０４からの高周波数成分信号とを減算した予測誤差信号が符号化されたものであるので、エンハンスメントレイヤデコード部２０５は、エンハンスメントレイヤの符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し、空間インターポレーション部１０４からの拡大復号画像信号と、空間高周波数成分推定拡大部１０５からの高周波数成分信号とを加算することで、エンハンスメントレイヤを復号する。
【００４４】
これにより、階層復号化装置２００に入力する本実施の形態１のエンハンスメントレイヤの符号化ビットストリームが、エンハンスメントレイヤの動画像信号から空間インターポレーション部２０３からの拡大画像フレーム信号と、空間高周波数成分推定拡大部２０４からの高周波数成分信号とを減算した予測誤差信号を符号化した信号であっても、正しく復号することができる。
【００４５】
なお、エンハンスメントレイヤデコード部２０５におけるエンハンスメントレイヤの復号は、階層符号化装置１００に含まれるエンハンスメントレイヤエンコード部１０６に対応するものであり、このエンハンスメントレイヤエンコード部１０６が生成したエンハンスメントレイヤのビットストリームを正しく復号できる復号方式であれば特に限定されるものではない。
【００４６】
最後に、このエンハンスメントレイヤデコード部２０５により復号して得られた復号画像フレームは、所定の映像出力装置に出力されることで、本実施の形態の一連の復号処理が完了する。また、必要であれば、ベースレイヤデコード部２０２により復号して得られた復号画像フレームも、所定の映像出力装置に出力するような構成とし、必要に応じてエンハンスメントレイヤからの復号画像フレームと切り替えて映像出力装置に出力、若しくは双方を同時に映像出力装置に出力しても構わない。
【００４７】
次に、本実施の形態１の階層符号化装置１００の空間高周波数成分推定拡大部１０５、及び階層復号装置２００の空間高周波数成分推定拡大部２０４のより詳細な構成及び動作について説明する。ただし、ここでは、階層符号化装置１００に含まれる空間高周波数成分推定拡大部１０５と、階層復号装置２００に含まれる空間高周波数成分推定拡大部２０４の構成及び動作は、同一であるものとして話を進めるため、以下、空間高周波数成分推定拡大部１０５について代表して説明する。
【００４８】
なお、空間高周波数成分推定拡大処理の基本的な考えは、例えば、「高周波数成分推定を伴う任意倍率可能な画像拡大法』（高橋靖正,田口亮著,信学論(A),vol.J84-A,no.9,pp.1192-1201,Sep.2001.参照）や「PARAMETERSTIMATIONS FOR SUPER RESOLUTION BASED ON THE LAPLACIAN PYRAMID REPRESENTATION」(Shuai Yuan, Yasumasa Takahashi*, Akira Taguchi著)等に掲載されている。これは、階層符号化におけるラプラシアンピラミッドの考え方を応用したものである。階層間のラプラシアン成分の相関が強いことを利用して、注目する階層の信号のみから空間解像度が一つ高い階層のラプラシアン成分の推定を成し遂げる方法である。
【００４９】
図４は、空間高周波数成分推定拡大部１０５の一実施の形態のブロック図を示す。同図に示すように、空間高周波数成分推定拡大部１０５は、少なくとも第１のハイパスフィルタリング部１０５１、インターポレーション部１０５２、振幅制限・定数倍処理部１０５３、及び第２のハイパスフィルタリング部１０５４を有している。
【００５０】
次に、本発明の階層符号化装置１００に含まれる空間高周波数成分推定拡大部１０５、及び階層復号化装置２００に含まれる空間高周波数成分推定拡大部２０４の動作について、図４に示した空間高周波数成分推定拡大部１０５を代表して図５のフローチャートを用いて説明する。
【００５１】
第１のハイパスフィルタリング部１０５１は、ベースレイヤの復号画像フレーム信号に含まれる高周波数成分において、次の上位階層の符号化対象であるエンハンスメントレイヤの画像フレーム信号に含まれる高周波数成分と相関が高く、推定に適した高周波数成分を抽出する（ステップＳ３０１）。ここでは、推定に適した高周波数成分を表現するための情報として、拡大対象のオリジナルの信号３１０を入力として受け、入力信号のラプラシアン成分を抽出する機能を有することが望ましい。
【００５２】
ここで、入力信号のラプラシアン成分の抽出は、例えば、次のように行う。説明を簡単にするために、１次元の信号モデルを例にして、入力信号をＧ0(ｘ)、入力信号から抽出されるラプラシアン成分をＬ0(ｘ)とすると、ラプラシアン成分Ｌ0(ｘ)は、次の（１）式及び（２）式で演算される。なお、（２）式中のρは、ガウシアンフィルタの帯域を調整するためのパラメータで、ハーフバンドフィルタとなる値に設定されている。
【００５３】
【数１】
2007174634.tif 000003
【００５４】
ここで、第１のハイパスフィルタリング部１０５１は、入力信号から抽出した推定に適した高周波数成分を表現するための情報をインターポレーション部１０５２へ通知する。ここでは、推定に適した高周波数成分を表現するための情報として抽出したラプラシアン成分Ｌ0(ｘ)の信号をインターポレーション部１０５２へ通知する。
【００５５】
インターポレーション部１０５２は、第１のハイパスフィルタリング部１０５１より出力される推定に適した高周波数成分を表現するための情報を取得すると、その信号をエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションを行う（ステップＳ３０２）。ここでは、ラプラシアン成分Ｌ0(ｘ)の信号を入力として受け、その入力信号がエンハンスメントレイヤの空間解像度となるように、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rのインターポレーションを行う。
【００５６】
ここで、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rへのインターポレーションは、次のように行うことが望ましいが、必ずしもこの方法に限定するわけではない。
【００５７】
つまり、（エンハンスメントレイヤの空間解像度／ベースレイヤの空間解像度）の倍率rにインターポレーションした補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)は、入力ラプラシアン成分をＬ0(ｘ)とすると、次の（３）式、（４）式及び（５）式により演算算出される。
【００５８】
【数２】
2007174634.tif 000004
ここで、int()は整数部分を取り出す操作を示す。
【００５９】
インターポレーション部１０５２は、このようにして生成したインターポレーションされた補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を振幅制限・定数倍処理部１０５３へ出力する。
【００６０】
振幅制限・定数倍処理部１０５３は、インターポレーション部１０５２から出力される補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を取得し、その取得した補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)から未知の高周波数成分を推定するための第１の工程を実施する（ステップＳ３０３）。この未知の高周波数成分を推定する第１の工程の処理は、入力される補間信号(ＥＸＰＡＮＤ)rＬ0(ｘ)に対して、次の（６）式で示したような振幅制限と定数倍処理を行うことにより実現する。
【００６１】
【数３】
2007174634.tif 000005
【００６２】
すなわち、振幅制限・定数倍処理部１０５３は、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅が、振幅制限のためのパラメータＴと−Ｔとの間にあるときには、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)を定数倍処理のためのパラメータαr倍した信号を出力し、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅がＴ以上であるときには、αr・Ｔのレベルの信号を出力し、入力信号(ＥＸＰＡＮＤ)rＬ0(ｘ)の振幅が−Ｔ以下であるときには、αr・（−Ｔ）のレベルの信号を出力する。ここで、振幅制限のためのパラメータＴ及び定数倍処理のためのパラメータαrは、例えば前記非特許文献１中で実験的に求められているような値を利用するようにしても構わない。なお、パラメータαrは、拡大率に応じて可変である。
【００６３】
振幅制限・定数倍処理部１０５３により、上記のように振幅制限・定数倍処理された信号は、第２のハイパスフィルタリング部１０５４に供給される。
【００６４】
第２のハイパスフィルタリング部１０５４は、未知の高周波数成分を推定するための第２の工程を実施する（ステップＳ３０４）。この第２のハイパスフィルタリング部１０５４による第２の工程の処理は、振幅制限・定数倍処理部１０５３から取得した信号、すなわち、未知の高周波数成分を推定するための第１の工程が実施された信号から、不必要な低域成分を取り除き、本来求めようとしている高周波数成分のみを得るためのものである。これは、入力される信号に対してハイパスフィルタリングを行うことにより実現する。
【００６５】
第２のハイパスフィルタリング部１０５４によるハイパスフィルタリングが行われて、第２のハイパスフィルタリング部１０５４から出力される、推定された未知の高周波数成分は、次の（７）式で表されることが望ましい。
【００６６】
【数４】
2007174634.tif 000006
で与えられる。ここで、Ｗ(i)は式(２)に示したものである。
【００６７】
そして、第２のハイパスフィルタリング部１０５４は、推定された未知の高周波数成分を高周波数成分画像フレーム３１１として、加算器２０６へ出力する。
【００６８】
このように、従来の階層符号化装置及び階層復号装置ではブロック単位で符号化・復号処理が行われていたため、ブロック単位でラプラシアン成分の強調処理を行うと、ブロック境界に対しては十分な解析や強調処理を行うことが難しかった。これに対し、本実施の形態では、以上説明したように、ベースレイヤの復号画像を求め、この復号画像をエンハンスメントレイヤの画像サイズまでインターポレーションを行った後に、ラプラシアン成分の強調処理を行うための解析を行って高周波数成分を推定するようにしたため、符号化レイヤ間の予測誤差信号の信号振幅を抑制することができ、これにより周囲の符号化レイヤ間の予測誤差信号との相関が高まり、結果としてエントロピーを抑制し、符号化を行う際により少ないビット数で符号化対象を表現することができるため、符号化効率が向上するという効果を生じる。
【００６９】
また、周囲の符号化レイヤ間の予測誤差信号との相関が高まり、その結果、予測誤差信号を符号化した際には、エントロピーが抑制され、エントロピー符号化を行う際により少ないビット数で符号化対象を表現することができる。
【００７０】
また、符号化対象となる符号化レイヤ間の予測誤差信号の信号振幅が、従来の階層符号化における符号化レイヤ間の予測誤差信号と比較して抑制されるため、量子化時に生じる量子化誤差に起因する復号時の影響も抑えることができる。
【００７１】
このように、本実施の形態１の階層符号化装置１００によれば、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する際、複数の符号化レイヤのうち、エンハンスメントレイヤエンコード部１０６では、当該符号化レイヤの空間解像度に応じた入力画像信号から、下位符号化レイヤであるベースレイヤエンコード部１０２の復号信号をエンハンスメントレイヤの空間解像度に拡大した拡大復号画像信号と、エンハンスメントレイヤの空間解像度で高周波成分を推定拡大した高周波成分信号とを減算した予測誤差信号をエンハンスメントレイヤの空間解像度にて符号化するようにしたため、レイヤ間の差分を求めた際の符号化レイヤ間の予測誤差信号の信号振幅が抑制される。
【００７２】
この符号化レイヤ間の予測誤差信号は、信号振幅が抑制されることで周囲の符号化レイヤ間の予測誤差信号との相関が高まり、結果としてエントロピーを抑制することができる。
【００７３】
従って、本実施の形態１の階層符号化装置１００によれば、符号化を行う際により少ないビット数で符号化対象を表現することができるため、従来に比べて効率良く符号化を行うことができる。また、符号化対象となる符号化レイヤ間の予測誤差信号の信号振幅が一般的な階層符号化における符号化レイヤ間の予測誤差信号と比較して抑制されていることから、量子化時に生じる量子化誤差に起因する復号時の影響を抑えることができる。
【００７４】
また、本実施の形態１の階層復号化装置２００によれば、本実施の形態１の階層符号化装置１００によって符号化された符号化ビットストリームを正しく復号することができる。
【００７５】
実施の形態２．
上記実施の形態１では、本発明の階層符号化装置および階層復号化装置を、ハードウエア的に構成して説明したが、本発明では、これに限らず、ソフトウエア的に構成しても良い。よって、この実施の形態２では、本発明の階層符号化装置および階層復号化装置を、ソフトウエア的に構成した場合について説明する。
【００７６】
つまり、本実施の形態２では、上記の実施の形態１の階層符号化装置１００の機能を、例えば、図６に示すようにコンピュータの中央処理制御装置（ＣＰＵ）４０３がプログラムを実行することにより、上記の実施の形態１の階層復号装置２００の機能を、例えば、図７に示すようにコンピュータの中央処理制御装置（ＣＰＵ）５０３がプログラムを実行することにより達成するものである。
【００７７】
図６は、本発明になる階層符号化プログラムにより動作する情報処理装置の一例の構成図を示す。
【００７８】
同図において、情報処理装置４００は、各種の情報を入力するための入力装置４０１と、各種の情報を出力するための出力装置４０２と、本発明の階層符号化プログラムにより動作する中央処理制御装置４０３と、外部記憶装置４０４と、中央処理制御装置４０３による演算処理の際の作業領域など用いる一時記憶装置４０５と、外部と通信するための通信装置４０６とを、双方向のバス４０７により接続して構成されている。
【００７９】
次に動作を説明すると、まず、本発明の階層符号化プログラムは、記録媒体から、あるいは通信ネットワークを介して配信されて通信装置４０６により情報処理装置４００内に取り込まれ、ハードディスクやメモリ等の外部記憶装置４０４や一時記憶装置４０５に格納される。
【００８０】
すると、中央処理制御装置４０３は、外部記憶装置４０４や一時記憶装置４０５に格納された本発明の階層符号化プログラムを実行することにより、実施の形態１の階層符号化装置１００の空間デシメーション部１０１に相当する空間デシメーション手段４１１、ベースレイヤエンコード部１０２に相当するベースレイヤエンコード手段４１２、ベースレイヤデコード部１０３に相当するベースレイヤデコード手段４１３、空間インターポレーション部１０４に相当する空間インターポレーション手段４１４、空間高周波数成分推定拡大部１０５に相当する空間高周波数成分推定拡大手段４１５、エンハンスメントレイヤエンコード部１０６に相当するエンハンスメントレイヤエンコード手段４１６、多重化部１０７に相当する多重化手段４１７等として機能して、実施の形態１の階層符号化装置１００と同様の動作をソフトウェア処理により実行する。
【００８１】
図７は、本発明になる階層復号プログラムにより動作する情報処理装置の一例の構成図を示す。
【００８２】
同図において、情報処理装置５００は、各種の情報を入力するための入力装置５０１と、各種の情報を出力するための出力装置５０２と、本発明の階層復号プログラムにより動作する中央処理制御装置５０３と、外部記憶装置５０４と、中央処理制御装置５０３による演算処理の際の作業領域など用いる一時記憶装置５０５と、外部と通信するための通信装置５０６とを、双方向のバス５０７により接続して構成されている。
【００８３】
次に動作を説明すると、本発明の階層符号化プログラムが記録媒体から、あるいは通信ネットワークを介して配信されて通信装置５０６により情報処理装置５００内に取り込まれ、ハードディスクやメモリ等の外部記憶装置５０４や一時記憶装置５０５に格納される。
【００８４】
中央処理制御装置５０３は、外部記憶装置５０４や一時記憶装置５０５に格納された本発明の階層復号プログラムを実行することにより、実施の形態１の階層復号化装置２００のエクストラクト部２０１に相当するエクストラクト手段５１１、ベースレイヤデコード部２０２に相当するベースレイヤデコード手段５１２、空間インターポレーション部２０３に相当する空間インターポレーション手段５１３、空間高周波数成分推定拡大部２０４に相当する空間高周波数成分推定拡大手段５１４、エンハンスメントレイヤデコード部２０５に相当するエンハンスメントレイヤデコード手段５１５として各機能を有し、階層復号装置２００と同様の動作をソフトウェア処理により実行する。
【００８５】
このように、実施の形態２では、中央処理装置４０３，５０３を有する情報処理装置４００，５００がそれぞれ本発明の階層符号化プログラムまたは階層符号化装置および階層復号化装置を実行する場合でも、ソフトウエア的に構成することができる。このことは、以下に説明する実施の形態３〜５の階層符号化装置及び階層復号化装置でも同様であり、これらの実施の形態３〜５でも、ソフトウエア的に構成することができる。
【００８６】
実施の形態３．
以上の実施の形態１，２では、説明を簡単にするために、図１に示すようなベースレイヤ及びエンハンスメントレイヤの２階層構造の階層符号化装置１００及び階層復号装置２００について説明したが、本発明は、ベースレイヤ及びエンハンスメントレイヤの２階層構造に限定されるものではない。よって、この実施の形態３では、本発明のより一般的な階層符号化装置及び階層復号装置の構成例について説明する。
【００８７】
図８は、実施の形態３の階層符号化装置の一般的な構成のブロック図を示す。
【００８８】
同図中、図１と同一構成部分には同一名称を付してある。図８に示すように、この階層符号化装置６００は、１個のベースレイヤと、Ｎ＋１（Ｎは自然数）個のエンハンスメントレイヤとを併せたＮ＋２個の空間解像度の異なる符号化レイヤで、動画像信号を符号化するものである。
【００８９】
そのため、図８に示す実施の形態３の階層符号化装置６００では、ベースレイヤから第Ｎエンハンスメントレイヤの各符号化レイヤに、動画像信号を各符号化レイヤの空間解像度に縮小（デシメーション）する空間デシメーション部１０１〜１０１−Ｎがそれぞれ設けられている。
【００９０】
そして、第１〜第Ｎ＋１のエンハンスメントレイヤには、それぞれ、第１エンハンスメントレイヤエンコード部１０２−１〜第Ｎ＋１エンハンスメントレイヤエンコード部１０２−(Ｎ＋1)と、第１エンハンスメントレイヤデコード部１０３−１〜第Ｎエンハンスメントレイヤデコード部１０３−(Ｎ＋1)と、空間インターポレーション部１０４−１〜１０４−(Ｎ＋1)と、空間高周波成分推定拡大部１０５−１〜１０５−(Ｎ＋1)とが設けられている。
【００９１】
ここで、第１エンハンスメントレイヤは、ベースレイヤより１階層上の符号化レイヤであり、以下同様に、第２エンハンスメントレイヤ、第３エンハンスメントレイヤ、・・・、第Ｎエンハンスメントレイヤ、第Ｎ＋１エンハンスメントレイヤの順で空間解像度の高い、すなわち上位階層の符号化レイヤとなる。
【００９２】
次に動作を説明すると、上記実施の形態１，２の場合と同様に、ベースレイヤエンコード部１０２からは空間デシメーション部１０１−１で縮小処理された第１ベースレイヤの空間解像度の画像フレームを符号化した符号化ビットストリームが出力される。また、第１エンハンスメントレイヤエンコード部１０２−１からは、空間デシメーション部１０１で縮小処理された第１エンハンスメントレイヤの空間解像度の画像フレームと、レイヤが一つ下のベースレイヤの空間インターポレーション部１０４からの拡大画像フレーム信号と、ベースレイヤの空間高周波成分推定拡大部１０５からの高周波成分信号との相関を利用した予測誤差信号、すなわち第１エンハンスメントレイヤの空間解像度の画像フレームからレイヤが一つ下のベースレイヤの拡大画像フレーム信号と高周波成分信号とを減算した予測誤差信号を符号化した符号化ビットストリームが出力される。
【００９３】
同様に、第２エンハンスメントレイヤエンコード部１０２−２から第Ｎ＋１エンハンスメントレイヤエンコード部１０２−(Ｎ＋1)からは、それぞれ、各符号化レイヤの空間解像度の画像フレームと、各符号化レイヤより一つ下のレイヤの空間インターポレーション部１０４−１〜１０４−Ｎからの拡大画像フレーム信号と、空間高周波成分推定拡大部１０５−１〜１０５−Ｎからの高周波成分信号との相関を利用した予測誤差信号、すなわち各符号化レイヤの空間解像度の画像フレームから各符号化レイヤより一つ下のレイヤの拡大画像フレーム信号と高周波成分信号とを減算した予測誤差信号を符号化した符号化ビットストリームが出力される。
【００９４】
これにより、多重化部１１０には、ベースレイヤエンコード部１０２からの符号ビットストリームと、第１エンハンスメントレイヤエンコード部１０２−１から第Ｎ＋１エンハンスメントレイヤエンコード部１０２−(Ｎ＋1)からの各符号化レイヤの空間解像度の画像フレームから各符号化レイヤより一つ下のレイヤの拡大画像フレーム信号と高周波成分信号とを減算した予測誤差信号を符号化したＮ＋１個の符号化ビットストリームとが入力されて多重化され、多重化ビットストリームとして出力されることになる。
【００９５】
図９は、本発明になる階層復号装置の一般的な構成のブロック図を示す。
【００９６】
同図中、図１と同一構成部分には同一名称を付してある。図９に示すように、この階層復号装置７００は、図８に示すＮ＋２層の階層符号化装置６００により階層符号化され多重化された多重化ビットストリームを入力して復号するもので、１個のベースレイヤと、Ｎ＋１（Ｎは自然数）個のエンハンスメントレイヤとを併せたＮ＋２個の空間解像度の異なるレイヤで動画像信号を復号するものである。
【００９７】
そのため、図９に示す実施の形態３の階層復号化装置６５０は、図８に示すＮ＋２層の階層符号化装置６００により階層符号化され多重化された多重化ビットストリームを入力してＮ＋２個のレイヤの符号化ビットストリームに分離するエクストラクト部２０１と、ベースレイヤデコード部２０２および第１エンハンスメントレイヤから第Ｎ＋１エンハンスメントレイヤの各復号レイヤそれぞれに、第１〜第Ｎ＋１エンハンスメントレイヤデコード部２０２−１〜２０２−(Ｎ＋１)と、空間インターポレーション部２０３−１〜２０３−(Ｎ＋１)と、空間高周波数成分推定拡大部２０４−１〜２０４−(Ｎ＋１)とを有している。
【００９８】
次に動作を説明すると、図９に示す実施の形態３の階層復号化装置６５０では、図８に示すＮ＋２層の階層符号化装置６００により階層符号化され多重化された多重化ビットストリームが入力すると、まず、エクストラクト部２０１が空間解像度の異なるＮ＋２個レイヤの符号化ビットストリームに分離して、それぞれ、空間解像度が対応するベースレイヤデコード部２０２、第１〜第Ｎ＋１エンハンスメントレイヤデコード部２０２−１〜２０２−(Ｎ＋１)に出力する。
【００９９】
ベースレイヤデコード部２０２は、上記実施の形態１，２の場合と同様に、エクストラクト部２０１からのベースレイヤの空間解像度の符号化ビットストリームをそのまま復号して出力する。
【０１００】
一方、第１〜第Ｎ＋１エンハンスメントレイヤデコード部２０２−１〜２０２−(Ｎ＋１)では、それぞれ、それぞれのエンハンスメントレイヤの空間解像度の符号化ビットストリームを入力すると共に、それぞれのレイヤより一つ下位のレイヤの復号信号を空間インターポレーション部２０３−１〜２０３−(Ｎ＋１)にてインターポレーションした拡大画像フレーム信号と、空間高周波成分推定拡大部２０４−１〜２０４−(Ｎ＋１)にて高周波成分を推定して拡大した高周波成分信号とを入力して、図８に示す第１エンハンスメントレイヤエンコード部１０２−１から第Ｎ＋１エンハンスメントレイヤエンコード部１０２−(Ｎ＋1)とは逆に、それぞれのエンハンスメントレイヤの空間解像度の符号化ビットストリームを復号し、復号によって得られる予測誤差信号に、各符号化レイヤより一つ下のレイヤの拡大画像フレーム信号と高周波成分信号とを加算することで、下位の復号レイヤから順次各レイヤの空間解像度の映像信号を復元する。
【０１０１】
これにより、ベースレイヤデコード部２０２、および第１〜第Ｎ＋１エンハンスメントレイヤデコード部２０２−１〜２０２−(Ｎ＋１)からは、それぞれ、各復号レイヤの空間解像度の映像信号が復元されて出力されることになる。
【０１０２】
以上のように、本発明は、階層数に関しては特に限定するものではなく、図８及び図９のように、容易に拡張できるものである。
【０１０３】
このように、本実施の形態３の階層符号化装置６００によれば、空間解像度の異なる符号化レイヤが３以上ある場合でも、実施の形態１，２と同様に、空間解像度が互いに異なる複数の符号化レイヤにより動画像信号を符号化する際、各エンハンスメントレイヤエンコード部１０２−１〜１０２−(Ｎ＋１)では、当該符号化レイヤの空間解像度に応じた入力画像信号から、１つ下位符号化レイヤからの復号信号を各エンハンスメントレイヤの空間解像度に拡大した拡大復号画像信号と、各エンハンスメントレイヤの空間解像度で高周波成分を推定拡大した高周波成分信号とを減算した予測誤差信号を各エンハンスメントレイヤの空間解像度にて符号化するようにしたため、レイヤ間の差分を求めた際の符号化レイヤ間の予測誤差信号の信号振幅が抑制され、各エンハンスメントレイヤの符号量を削減することができる。
【０１０４】
また、本実施の形態３の階層復号化装置６５０によれば、本実施の形態３の階層符号化装置６００の各エンハンスメントレイヤエンコード部１０２−１〜１０２−(Ｎ＋１)によって符号化された符号化ビットストリームを、第１エンハンスメントレイヤエンコード部１０２−１から第Ｎ＋１エンハンスメントレイヤエンコード部１０２−(Ｎ＋1)とは逆に、それぞれのエンハンスメントレイヤの空間解像度の符号化ビットストリームを復号し、復号された予測誤差信号に各符号化レイヤより一つ下のレイヤの拡大画像フレーム信号と高周波成分信号とを加算するので、下位の復号レイヤから順次各レイヤの空間解像度の映像信号を正しく復元することができる。
【０１０５】
実施の形態４．
以上の実施の形態１〜３では、階層符号化装置の各符号化レイヤの空間高周波数成分推定拡大部が予め決められた推定拡大パラメータにより振幅制限および定数倍処理を行うように説明したが、実施の形態４では、各符号化レイヤのエンハンスメントレイヤエンコード部が空間高周波数成分推定拡大部に振幅制限および定数倍処理の推定拡大パラメータを変更させて空間高周波数成分推定拡大処理を実行させ、符号量が最小となる符号化ビットストリームを出力すると共に、推定拡大パラメータを使用するようにしたものである。
【０１０６】
図１０は、本発明に係る実施の形態４の階層符号化装置および階層復号化装置の構成例を示すブロック図である。基本的な構成要素は、図１に示す実施の形態４の階層符号化装置１００と同様であるので、同一構成要素には、同一名称を付して共通な処理の説明を省略する。
【０１０７】
つまり、本実施の形態４の場合、エンハンスメントレイヤエンコード部１０６は、実施の形態１の場合と同様に、エンハンスメントの空間解像度の画像信号から空間インターポレーション部１０４からの拡大復号画像信号と、空間高周波数成分推定拡大部１０５から高周波数成分信号とを減算した予測誤差信号を当該符号化レイヤの空間解像度にて符号化した際、符号量を計算する。
【０１０８】
エンハンスメントレイヤエンコード部１０６は、図示していないが、符号化要素として、直交変換・量子化部や、エントロピー符号化部を有しているので、符号量は、直交変換・量子化部にて上記予測誤差信号を直交変換および量子化した後の符号量、もしくは、上記予測誤差信号を直交変換および量子化し、さらにエントロピー符号化部にてエントロピー符号化した後の符号量どちらでも良い。後者の符号量ほど実際に出力する符号化ビットストリームの符号量に近付くが、計算量が多くなる。
【０１０９】
本実施の形態４のエンハンスメントレイヤエンコード部１０６は、上記のように符号量を計算すると、計算した符号量に基づいて、空間高周波数成分推定拡大部１０５に対し推定拡大処理を行う際の推定拡大パラメータを変更して推定拡大処理を再度実行するよう再計算指示を出力する。再計算指示は、推定拡大処理を３，４回等、所定回数行うように出力しても良いし、さらには、計算した符号量が所定値より小さい場合や、あるいは前回の値より小さい場合に出力するようにしても良い。
【０１１０】
そして、本実施の形態４のエンハンスメントレイヤエンコード部１０６は、空間高周波数成分推定拡大部１０５に対し推定拡大処理を行う際の推定拡大パラメータを変更して推定拡大処理を再度実行させて、推定拡大パラメータを変更した高周波数成分信号を出力させて、それぞれの予測誤差信号を符号化した際の符号量を計算して、符号量が最小となるときの符号化ビットストリームを多重化部１０７へ出力する。
【０１１１】
一方、本実施の形態４の空間高周波数成分推定拡大部１０５は、例えば、図１１に示すように構成されており、エンハンスメントレイヤエンコード部１０６より再計算指示が入力された場合、振幅制限・定数倍処理部１０５３がその再計算指示を入力して推定拡大処理を行う際の推定拡大パラメータを変更して推定拡大処理を再度実行する。
【０１１２】
つまり、本実施の形態４の振幅制限・定数倍処理部１０５３は、再計算指示を入力して推定拡大処理を行う際の推定拡大パラメータである上記（６）式のパラメータＴ及び定数倍処理のためのパラメータαrを適宜変更して振幅制限・定数倍処理を実行して、第２のハイパスフィルタリング部１０５４へ出力する。ここで、振幅制限・定数倍処理部１０５３は、推定拡大処理を行う際の推定拡大パラメータである上記（６）式のパラメータＴ及び定数倍処理のためのパラメータαrのセットを幾つか予め記憶しておいても良いし、再計算指示によりパラメータＴ及び定数倍処理のためのパラメータαrの値を所定値ずつ変更するようにしても良い。
【０１１３】
そして、本実施の形態４の振幅制限・定数倍処理部１０５３は、パラメータＴ及び定数倍処理のためのパラメータαrを適宜変更して振幅制限・定数倍処理を実行して、エンハンスメントレイヤエンコード部１０６にてそれぞれ符号量が計算されて符号量が最小の場合が求まると、エンハンスメントレイヤエンコード部１０６からの指示により、符号量が最小となるときの推定拡大パラメータを多重化部１０７へ出力する。
【０１１４】
すると、本実施の形態４の多重化部１０７は、エンハンスメントレイヤエンコード部１０６によって符号化された符号量が最小の符号化ビットストリームと、空間高周波数成分推定拡大部１０５から出力された符号量が最小となるときの推定拡大パラメータとを多重化して多重化ビットストリームとして階層復号化装置７５０へ出力する。
【０１１５】
これにより、本実施の形態４の階層符号化装置７００によれば、エンハンスメントレイヤエンコード部１０６から出力される符号化ビットストリームの符号量を小さくできるので、結果として多重化部１０７から出力される多重化ビットストリームの伝送レートを向上させることができる。
【０１１６】
一方、本実施の形態４の階層復号化装置７５０では、その多重化ビットストリームを受信して、エクストラクト部２０１が符号化ビットストリームをそれぞれの復号レイヤのベースレイヤデコード部２０２およびエンハンスメントレイヤデコード部２０５へ出力する一方、推定拡大パラメータを空間高周波数成分推定拡大部２０４へ出力する。
【０１１７】
本実施の形態４の空間高周波数成分推定拡大部２０４は、例えば、図１２に示すように構成されており、振幅制限・定数倍処理部２０４３がエクストラクト部２０１にて分離された推定拡大パラメータに基づいて下位復号レイヤからの復号信号に対し高周波数成分推定拡大処理を行って高周波数成分信号をエンハンスメントレイヤデコード部２０５へ出力する。
【０１１８】
また、本実施の形態４のエンハンスメントレイヤデコード部２０５では、エクストラクト部２０１にて分離されたエンハンスメントレイヤの符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し、空間インターポレーション部１０４からの拡大復号画像信号と、空間高周波数成分推定拡大部２０４からの高周波数成分信号とを加算することで、エンハンスメントレイヤの映像信号を復元する。
【０１１９】
これにより、本実施の形態４の階層復号化装置７５０では、入力するエンハンスメントレイヤの符号化ビットストリームに、推定拡大パラメータが多重化されている場合には、空間高周波数成分推定拡大部２０４がその推定拡大パラメータに基づいてベースレイヤデコード部２０２にて復号された復号信号に対し高周波数成分推定拡大処理を行った結果を利用して符号化ビットストリームを復号するので、本実施の形態４の階層符号化装置７００のエンハンスメントレイヤエンコード部１０６にて符号化された符号化ビットストリームを正しく復号することができる。
【０１２０】
なお、本実施の形態４では、多重化部１０７は、空間高周波数成分推定拡大部１０５から出力された推定拡大パラメータを多重化して多重化ビットストリームとして階層復号化装置７５０へ出力するように説明したが、エンハンスメントレイヤエンコード部１０６が空間高周波数成分推定拡大部１０５に対し推定拡大パラメータを直接指示する場合には、エンハンスメントレイヤエンコード部１０６からの推定拡大パラメータを多重化して多重化ビットストリームとして階層復号化装置７５０へ出力することになる。
【０１２１】
実施の形態５．
以上の実施の形態４では、符号量が最小となる推定拡大パラメータを求めて符号化ビットストリームを符号化および復号するベースレイヤ及びエンハンスメントレイヤの２階層構造の階層符号化装置８００及び階層復号化装置８５０について説明したが、実施の形態５では、上記実施の形態２の場合と同様に、３階層以上の一般的な階層符号化装置及び階層復号化装置において、号量が最小となる推定拡大パラメータを求めて符号化ビットストリームを符号化および復号する構成例について説明する。
【０１２２】
図１３は、本発明に係る実施の形態５の階層符号化装置８００の構成例を示すブロック図である
【０１２３】
各符号化レイヤのエンハンスメントレイヤエンコード部１０２−１〜１０２−（Ｎ＋１）では、それぞれ、上記実施の形態４のエンハンスメントレイヤエンコード部１０２と同様に、符号量を計算すると共に、空間高周波数成分推定拡大部１０５−１〜１０５−（Ｎ＋１）に対し再計算指示を出力する。
【０１２４】
一方、その高周波数成分推定拡大部１０５−１〜１０５−（Ｎ＋１）は、再計算指示により成分推定パラメータを変更して高周波数成分推定拡大処理を複数回行って高周波数成分信号をエンハンスメントレイヤエンコード部１０２−１〜１０２−（Ｎ＋１）に対し出力する。なお、高周波数成分推定拡大部１０５−１〜１０５−（Ｎ＋１）は、図１１に示す実施の形態４の高周波数成分推定拡大部１０５と同様に構成されている。
【０１２５】
そして、各符号化レイヤのエンハンスメントレイヤエンコード部１０２−１〜１０２−（Ｎ＋１）では、それぞれ、その複数回の高周波数成分推定拡大処理のうち符号量が最小となる符号量ビットストリームを多重化部１１０へ出力する一方、高周波数成分推定拡大部１０５−１〜１０５−（Ｎ＋１）は、符号量が最小となるときの推定拡大パラメータを多重化部１１０へ出力して、多重化され、多重化ビットストリームとなる。
【０１２６】
図１４は、本発明に係る実施の形態５の階層復号化装置８５０の構成例を示すブロック図である。
【０１２７】
実施の形態５の階層復号化装置８５０では、図１３に示す実施の形態５の階層符号化装置８００からの多重化ビットストリームを受信して、エクストラクト部２０１が符号化ビットストリームをそれぞれの復号レイヤのベースレイヤデコード部２０２、エンハンスメントレイヤデコード部２０２−１〜２０２−（Ｎ＋１）へ出力する一方、推定拡大パラメータを空間高周波数成分推定拡大部２０４−１〜２０４−（Ｎ＋１）へ出力する。
【０１２８】
本実施の形態５の空間高周波数成分推定拡大部２０４−１〜２０４−（Ｎ＋１）では、エクストラクト部２０１にて分離された推定拡大パラメータに基づいて下位復号レイヤからの復号信号に対し高周波数成分推定拡大処理を行って高周波数成分信号をエンハンスメントレイヤデコード部２０２−１〜２０２−（Ｎ＋１）へ出力する。なお、高周波数成分推定拡大部２０４−１〜２０４−（Ｎ＋１）は、図１２に示す実施の形態４の高周波数成分推定拡大部２０４と同様に構成されている。
【０１２９】
すると、各エンハンスメントレイヤデコード部２０２−１〜２０２−（Ｎ＋１）では、それぞれ、エクストラクト部２０１にて分離されたそれぞれの復号レイヤの符号化ビットストリームを復号し、復号によって得られる予測誤差信号に対し、空間インターポレーション部２０３−１〜２０３−（Ｎ＋１）からの拡大画像フレーム信号と、空間高周波数成分推定拡大部２０４−１〜２０４−（Ｎ＋１）からの高周波数成分信号とを加算することで、各エンハンスメントレイヤの映像信号を復元する。
【０１３０】
これにより、本実施の形態４の階層符号化装置８００および階層復号化装置８５０によれば、各エンハンスメントレイヤデコード部２０２−１〜２０２−（Ｎ＋１）から出力される符号化ビットストリームの符号量を小さくでき、結果として多重化部１１０から出力される多重化ビットストリームの伝送レートを向上させることができると共に、かかる符号化ビットストリームでも正しく復号することができる。
【０１３１】
尚、以上説明した実施の形態１〜５では、複数の符号化レイヤのうち、空間解像度が最も小さい最下位符号化レイヤであるベースレイヤ以外の１または複数の全てのエンハンスメントレイヤで、各当該符号化レイヤの空間解像度に応じた入力画像信号と、一つ下位の下位符号化レイヤの復号信号を各符号化レイヤの空間解像度に拡大した拡大復号画像信号と、各符号化レイヤの空間解像度で高周波成分を推定拡大した高周波成分信号とを入力して、入力画像信号から拡大復号画像信号と高周波成分信号とを減算した予測誤差信号を各符号化レイヤの空間解像度にて符号化するように説明したが、本発明では、これに限らず、エンハンスメントレイヤが複数あってもその複数のエンハンスメントレイヤのうちの任意のエンハンスメントレイヤで本発明の符号化を行っても良いし、さらには、一つ下位の下位符号化レイヤの復号信号を用いるのではなく、２つ以上下位の下位符号化レイヤの復号信号を用いるようにしても勿論よい。
【０１３２】
また、以上説明した実施の形態１〜５では、符号化対象の画像信号として動画像信号を一例に説明したが、本発明では、これに限らず、空間的相関を利用して圧縮する静止画信号も符号化対象とすることができる。
【図面の簡単な説明】
【０１３３】
【図１】本発明の実施の形態１である階層符号化装置及び階層復号装置の構成例を示すブロック図である。
【図２】本発明の階層符号化方法の一例を示すフローチャートである。
【図３】本発明の階層復号方法の一例を示すフローチャートである。
【図４】図１中の空間高周波数成分の推定及び拡大処理を行う空間高周波数成分推定拡大部の一例を示すブロック図である。
【図５】図４に示す空間高周波数成分推定拡大部の処理の一例を示すフローチャートである。
【図６】本発明の実施の形態２である階層符号化プログラムを実行する情報処理装置の一例を示す機能ブロック図である。
【図７】本発明の実施の形態２である階層復号プログラムを実行する情報処理装置の一例を示す機能ブロック図である。
【図８】本発明の実施の形態３である一般的な多階層構成の階層符号化装置の構成例を示すブロック図である。
【図９】本発明の実施の形態３である一般的な多階層構成の階層復号化装置の構成例を示すブロック図である。
【図１０】本発明の実施の形態４である階層符号化装置及び階層復号化装置の構成例を示すブロック図である。
【図１１】図１０に示す実施の形態４の階層符号化装置の空間高周波数成分推定拡大部の構成例を示すブロック図である。
【図１２】図１０に示す実施の形態４の階層復号化装置の空間高周波数成分推定拡大部の構成例を示すブロック図である。
【図１３】本発明の実施の形態５である多階層構成の階層符号化装置の構成例を示すブロック図である。
【図１４】本発明の実施の形態５である多階層構成の階層復号化装置の構成例を示すブロック図である。
【符号の説明】
【０１３４】
１００  階層符号化装置
１０１、１０１−１〜１０１−Ｎ  空間デシメーション部
１０２  ベースレイヤエンコード部
１０３、２０２  ベースレイヤデコード部
１０４、１０４−１〜１０４−Ｎ、２０３、２０３−１〜２０３−Ｎ  空間インターポレーション部
１０５、１０５−１〜１０５−Ｎ、２０４、２０４−１〜２０４−Ｎ  空間高周波数成分推定拡大部
１０６  エンハンスメントレイヤエンコード部
１０６−１〜１０６−(N+1)  第１〜第Ｎ＋１エンハンスメントレイヤエンコード部
１０７、１１０  多重化部
２００  階層復号化装置
２０１  エクストラクト部
２０５  エンハンスメントレイヤデコード部
２０２−１〜２０２−(N+1)  第１〜第Ｎ＋１エンハンスメントレイヤデコード部
３００  通信回線又はメディア
４００、５００  情報処理装置
４０３  本発明の階層符号化プログラムにより動作する中央処理制御装置
５０３  本発明の階層復号プログラムにより動作する中央処理制御装置
１０５１  第１のハイパスフィルタリング部
１０５２  インターポレーション部
１０５３  振幅制限・定数倍処理部
１０５４  第２のハイパスフィルタリング部
【図１】
2007174634.tif 000007
【図２】
2007174634.tif 000008
【図３】
2007174634.tif 000009
【図４】
2007174634.tif 000010
【図５】
2007174634.tif 000011
【図６】
2007174634.tif 000012
【図７】
2007174634.tif 000013
【図８】
2007174634.tif 000014
【図９】
2007174634.tif 000015
【図１０】
2007174634.tif 000016
【図１１】
2007174634.tif 000017
【図１２】
2007174634.tif 000018
【図１３】
2007174634.tif 000019
【図１４】
2007174634.tif 000020