(57)【要約】      （修正有）【課題】空間解像度スケーラビリティを有し、符号化効率に優れる動画像可逆符号化とその復号化を行う。【解決手段】帯域分割部１０は原信号を複数の空間解像度の帯域に分割する。時空間適応予測符号化分割部１１は各帯域毎に設けられて、対象物体の動き推定を小ブロック単位で行い動きベクトルを求める。動きベクトルは最低周波数帯域の動きベクトルを基準にする。現フレームと動きベクトルでシフトした参照フレームからフレーム間の相関係数Ｒを計算し、このＲと閾値を比較してフレーム間相関が強い場合には３次元予測を行い、弱い場合には２次元予測を行って、予測残差信号を生成する。エントロピー符号化部１２は、分割した帯域毎に、時空間適応予測符号化部１１で生成された予測残差信号と時空間適応予測符号化部１１で用いた動きベクトルをエントロピー符号化して、符号化ビットストリームを出力する。【選択図】図１
2008211810.tif 000002
【特許請求の範囲】
【請求項１】
動画像を対象とする可逆符号化方法において、
原画像を帯域分割し、
該分割した帯域のうち最低周波数帯域についてブロック単位にＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔより大きいＳＡＤ値を与えるブロック内の画素は２次元予測を行い、所定の閾値Ｔ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化し、
二番目に低い周波数帯域の符号化では、最低周波数帯域において２次元予測を行ったブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔ２より大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、前記閾値Ｔ２以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化し、
以降の高周波数帯域の符号化では、直前に符号化された周波数帯域において直接符号化したブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、周波数帯域ごとに定められた閾値Ｔｘより大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、所定の閾値Ｔｘ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する際に、
該時空間適応予測では、前記ＳＡＤ計算で求めた動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法。
【請求項２】
閾値より大きいＳＡＤ値が得られたブロックの符号化信号に、時空間適応予測処理をしなかったことを示す符号を付加することを特徴とする請求項１に記載の動画像可逆符号化方法。
【請求項３】
動画像を出力する可逆復号化方法において、
請求項１記載の動画像可逆符号化方法により符号化された帯域別の直接符号化ブロック、予測残差信号および動きベクトルを受信し、
最低周波数帯域から最高周波数帯域の順番で、該帯域別に、直接符号化ブロック、予測残差信号および動きベクトルを復号し、予測残差信号と動きベクトルからさらに時空間適応予測復号を行い、
復号された帯域を帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法。
【請求項４】
動画像を対象とする可逆符号化装置に、
原画像を帯域分割する手順、
該分割した帯域のうち最低周波数帯域についてブロック単位にＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔより大きいＳＡＤ値を与えるブロック内の画素は２次元予測を行い、所定の閾値Ｔ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順、
二番目に低い周波数帯域の符号化では、最低周波数帯域において２次元予測を行ったブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔ２より大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、前記閾値Ｔ２以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順、
以降の高周波数帯域の符号化では、直前に符号化された周波数帯域において直接符号化したブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、周波数帯域ごとに定められた閾値Ｔｘより大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、所定の閾値Ｔｘ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順を実行させ、さらに、
該時空間適応予測では、前記ＳＡＤ計算で求めた動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手順を実行させるためのプログラム。
【請求項５】
動画像を出力する可逆復号化装置に、
請求項１記載の動画像可逆符号化方法により符号化された帯域別の直接符号化ブロック、予測残差信号および動きベクトルを受信させる手順、
最低周波数帯域から最高周波数帯域の順番で、該帯域別に、直接符号化ブロック、予測残差信号および動きベクトルを復号し、予測残差信号と動きベクトルからさらに時空間適応予測復号を行わせる手順、
復号された帯域を帯域合成して動画像を復号する手順を実行させ、さらに、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化する手順を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を効率よく伝送、蓄積するための、符号化および復号化の技術に関する。
【背景技術】
【０００２】
可逆画像符号化方式としては、ＪＰＥＧ−ＬＳやＪＰＥＧ２０００の可逆符号化モードが知られている。ＪＰＥＧ−ＬＳは、フレーム内予測器を使用して、予測器の出力である予測信号と原信号の差を符号化している。フレーム内予測器を使用していることにより、フレーム内の信号の相関を利用して符号化効率を高めている。ＪＰＥＧ２０００では、ロスレスＷａｖｅｌｅｔ変換を行い、Ｗａｖｅｌｅｔ係数を符号化している。Ｗａｖｅｌｅｔ変換を用いて画像信号を空間周波数帯域で分割し帯域毎に符号化を行っているために、空間解像度スケーラビリティを有する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の両方式とも静止画像を対象としているために、動画に適応した場合、フレーム間の信号相関を利用することができない。動画像の非可逆符号化としては、空間解像度スケーラビリティを有し、フレーム間相関を利用した方法として、サブバンド領域で動き補償を行う方法があるが、動き補償はブロック単位に予測を行うことから符号化効率は必ずしも良くない。空間解像度スケーラビリティを有するとは、一つの符号化ビットストリームから異なる空間解像度の画像を直接復号化可能であることを示す。
【０００４】
本発明は、空間解像度スケーラビリティを有し、符号化効率に優れる動画像可逆符号化方法とその復号化方法、及びそれらのプログラムを提案することが課題である。
【課題を解決するための手段】
【０００５】
上記の課題を解決するために、請求項１に係る発明は、動画像を対象とする可逆符号化方法において、
原画像を帯域分割し、
該分割した帯域のうち最低周波数帯域についてブロック単位にＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔより大きいＳＡＤ値を与えるブロック内の画素は２次元予測を行い、所定の閾値Ｔ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化し、
二番目に低い周波数帯域の符号化では、最低周波数帯域において２次元予測を行ったブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔ２より大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、前記閾値Ｔ２以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化し、
以降の高周波数帯域の符号化では、直前に符号化された周波数帯域において直接符号化したブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、周波数帯域ごとに定められた閾値Ｔｘより大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、所定の閾値Ｔｘ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する際に、
該時空間適応予測では、前記ＳＡＤ計算で求めた動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出することを特徴とする動画像可逆符号化方法である。
【０００６】
また、請求項２に係る発明は、請求項１において、閾値より大きいＳＡＤ値が得られたブロックの符号化信号に、時空間適応予測処理をしなかったことを示す符号を付加することを特徴とする動画像可逆符号化方法である。
【０００７】
また、請求項３に係る発明は、動画像を出力する可逆復号化方法において、
請求項１記載の動画像可逆符号化方法により符号化された帯域別の直接符号化ブロック、予測残差信号および動きベクトルを受信し、
最低周波数帯域から最高周波数帯域の順番で、該帯域別に、直接符号化ブロック、予測残差信号および動きベクトルを復号し、予測残差信号と動きベクトルからさらに時空間適応予測復号を行い、
復号された帯域を帯域合成して動画像を復号する際に、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化することを特徴とする動画像可逆復号化方法である。
【０００８】
また、請求項４に係る発明は、動画像を対象とする可逆符号化装置に、
原画像を帯域分割する手順、
該分割した帯域のうち最低周波数帯域についてブロック単位にＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔより大きいＳＡＤ値を与えるブロック内の画素は２次元予測を行い、所定の閾値Ｔ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順、
二番目に低い周波数帯域の符号化では、最低周波数帯域において２次元予測を行ったブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、所定の閾値Ｔ２より大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、前記閾値Ｔ２以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順、
以降の高周波数帯域の符号化では、直前に符号化された周波数帯域において直接符号化したブロックと対応する空間位置のブロックの画素は直接符号化し、それ以外のブロックはＳＡＤ計算を行って動きベクトルを求め、周波数帯域ごとに定められた閾値Ｔｘより大きいＳＡＤ値を与えるブロック内の画素は直接符号化し、所定の閾値Ｔｘ以下のＳＡＤ値を与えるブロック内の画素は時空間適応予測を行って予測残差信号を求め、該予測残差信号と該時空間適応予測で用いた動きベクトルとを符号化する手順を実行させ、さらに、
該時空間適応予測では、前記ＳＡＤ計算で求めた動きベクトルを用いて現フレームと、シフト手段でシフトした参照フレームの被符号化対象画素近傍信号値の相関係数を計算し、相関係数が大きい場合には、現フレームと参照フレームの被符号化対象画素近傍信号値を用いて予測を行う３次元予測に切換え、相関係数が小さい場合には、現フレームの被符号化対象画素近傍信号値のみを用いて予測を行う２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレームの被符号化対象画素近傍信号値から画素毎に複数の２次元予測器を切換えて予測残差信号を算出し、
該３次元予測に切換えられた場合には、現フレームと参照フレームの被符号化対象画素近傍信号値から画素毎に複数の３次元予測器を切換えて予測残差信号を算出する手順を実行させるためのプログラムである。
【０００９】
また、請求項５に係る発明は、動画像を出力する可逆復号化装置に、
請求項１記載の動画像可逆符号化方法により符号化された帯域別の直接符号化ブロック、予測残差信号および動きベクトルを受信させる手順、
最低周波数帯域から最高周波数帯域の順番で、該帯域別に、直接符号化ブロック、予測残差信号および動きベクトルを復号し、予測残差信号と動きベクトルからさらに時空間適応予測復号を行わせる手順、
復号された帯域を帯域合成して動画像を復号する手順を実行させ、さらに、
該時空間適応予測復号では、該動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値と、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値との相関係数を計算し、相関係数が大きい場合には３次元予測に切換え、相関係数が小さい場合には２次元予測に切換え、
該２次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値から、画素毎に複数の２次元予測器を切換えて予測信号を算出し、
該３次元予測に切換えられた場合には、現フレーム内信号の復号済み信号からなる復号化対象画素近傍信号値と、動きベクトルを用いてシフトした参照フレームの復号化対象画素近傍信号値から、画素毎に複数の３次元予測器を切換えて予測信号を算出し、
該予測信号に該予測残差信号を付加して対象信号を復号化する手順を実行させるためのプログラムである。
【００１０】
本発明では、空間解像度スケーラビリティを実現するために、画像を空間解像度の帯域で分割し、帯域毎に符号化を行う。符号化には、画素毎にフレーム内予測（２次元予測）とフレーム間予測（３次元予測）を切換える時空間適応予測符号化を用いて符号化効率を高める。
【発明の効果】
【００１１】
本発明によれば、動画像の効率の良い可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティ性を有するために、画像表示機器の性能や用途に応じた空間解像度で、画像を復号化することが可能である。低域から任意の帯域までを復号化すると、原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号化すると、原画像と同じ解像度の画像が再生される。画像表示装置の精度や用途に応じて原画像より低い解像度の画像を再生したい場合は、必要な帯域までに対する復号化のみが必要であり、復号化を行えば画像を符号化データより直接復号化でき、原画像と同じ解像度の画像を再生してから解像度変換を行うよりも処理時間が短くなる。また、符号化ビットストリームを伝送する場合は、必要なデータのみを伝送するので、伝送レートも小さくなる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００１３】
［第１実施形態例］
図１に空間解像度スケーラビリティを持つ動画像符号化方法を実現するための基本構成を示す。図１において、１０は帯域分割部、１１は分割された帯域毎に設けた時空間適応予測符号化部、１２はエントロピー符号化部である。
【００１４】
図１の構成の動作例としての動画像符号化方法を以下に示す。まず、入力された画像信号は帯域分割部１０において、複数の空間解像度の帯域に分割される。次に、分割した帯域毎に、時空間適応予測符号化部１１で生成される残差信号をエントロピー符号化部１２において符号化する。
【００１５】
帯域分割部１０では、図２で示すオクターブ分割を画像の水平方向、垂直方向にそれぞれ適用する。オクターブ分割では、２分割フィルタを用いて次々に帯域を分割することによって、入力信号を複数の帯域に分割することができ、最終的に、図３で示すように帯域が分割される。
【００１６】
図３において、Ｌは低周波数成分、Ｈは高周波数成分を示す。ここで用いる２分割フィルタと復号化側で用いる帯域合成フィルタは、可逆性を保つために完全再構成フィルタとする。
【００１７】
時空間適応予測符号化部１１では、以下の式で予測を行う。
【００１８】
ｆ（ａ０，ａ１，ａ２，ａ３，……，ｂ０，ｂ１，ｂ２，ｂ３，……）
但し、
ｆ：予測関数
ａ０，ａ１，ａ２，ａ３，……：符号化対象のフレームの画素の値
ｂ０，ｂ１，ｂ２，ｂ３，……：参照フレームの画素の値
参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。予測に用いる画素の位置は以下の条件で決定する。符号化対象の画素の位置を（ｘ，ｙ）とする（ｘは水平方向の位置、ｙは垂直方向の位置）。符号化対象のフレームの場合、近傍かつ復号側で先に復号化する画素とする。例えば、１行目の左端の画素から右へと復号し、次に２行目を左から右へと行毎に復号する場合は、予測に用いる画素の位置（ｘａ，ｙａ）は、以下の条件を満たす必要がある。
【００１９】
ｙ−ｙ０＜ｙａ＜ｙかつｘ−ｘ０＜ｘａ＜ｘ＋ｘ１
または、
ｙａ＝ｙかつｘ−ｘ２＜ｘａ＜ｘ
但し、
ｙ０：垂直方向の近傍の範囲を定める適当な整数
ｘ０，ｘ１，ｘ２：水平方向の近傍の範囲を定める適当な整数
参照フレームの予測に用いる画素の位置（ｘｂ，ｙｂ）は以下の条件を満たす必要がある。
【００２０】
ｙ＋ｖｙ−ｙ３＜ｙａ＜ｙ＋ｖｙ＋ｙ４かつｘ＋ｖｘ−ｘ３＜ｘａ＜ｘ＋ｖｘ＋ｘ４
但し、
ｙ３，ｙ４：垂直方向の近傍の範囲を定める適当な整数
ｘ３，ｘ４：水平方向の近傍の範囲を定める適当な整数
Ｖ（ｖｘ，ｖｙ）：参照フレームヘの動きベクトル
動きベクトルＶ（ｖｘ，ｖｙ）は、参照フレームヘの動き推定を行うことによって得られる。
【００２１】
エントロピー符号化部１２では、各帯域の残差信号と時空間適応予測符号化部１１で用いた動きベクトルをエントロピー符号化して、符号化ビットストリームを作成する。
【００２２】
図５に時空間適応予測符号化方法を実現する時空間適応予測符号化部の基本構成を示す。図５において、３１はブロック単位動き推定手段、３２はシフト手段、３３は２次元予測器、３４は動き推定３次元予測器、３５は相関係数Ｒ計算手段、３６は第１の判断分岐手段、３７は加減算手段、３８は加減算手段である。
【００２３】
予測器としては、３種類の２次元予測器、７種類の３次元予測器を用意し、フレーム間相関により予測器を切換える。
【００２４】
３次元予測器は、フレーム間相関が強い場合には有効であるが、フレーム間相関が弱い場合には逆に残差信号が大きくなる可能性がある。そのために、フレーム間相関が弱い場合には２次元予測器に切換える方法を採用する。２次元予測器と３次元予測器とを切換えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。相関係数が大きい場合、すなわち、現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行う。それ以外の場合には、２次元予測を行う。
【００２５】
各予測器の予測方法と予測器の具体的切換え方法について以下に説明する。各予測器の予測方法を次に示す。
【００２６】
２次元予測器０  予測信号ｙ＝ｍｉｎ（ａ，ｂ）  …（１）
２次元予測器１  予測信号ｙ＝ｍａｘ（ａ，ｂ）  …（２）
２次元予測器２  予測信号ｙ＝ａ＋ｂ−ｃ  …（３）
３次元予測器３  予測信号ｙ＝ｍｉｎ（ａ，ｘ’）  …（４）
３次元予測器４  予測信号ｙ＝ｍａｘ（ａ，ｘ’）  …（５）
３次元予測器５  予測信号ｙ＝ａ＋ｘ’−ａ  …（６）
３次元予測器６  予測信号ｙ＝ｍｉｎ（ｂ，ｘ’）  …（７）
３次元予測器７  予測信号ｙ＝ｍａｘ（ｂ，ｘ’）  …（８）
３次元予測器８  予測信号ｙ＝ｂ＋ｘ’−ｂ  …（９）
３次元予測器９  予測信号ｙ＝（ａ＋ｂ＋ｘ’）／３  …（１０）
ここで用いたａ，ｂ，ｃは、図７（ａ）で示すように、被符号化対象の画素ｘに隣接する上、左、右上の画素の復号値である。ａ’，ｂ’，ｘ’は、参照フレームの画素の復号値であり、被符号化対象のフレームと参照フレーム間の動きベクトル（ｋ，ｌ）（ｋ：水平方向、ｌ：垂直方向）から画素位置を定める。動きベクトルは、Ｌ×Ｌ画素の小ブロック単位であらかじめブロックマッチング法などにより計算し、付加情報として伝送する。被符号化対象の画素ｘの位置を（ｉ，ｊ）とすると、ｘ’の位置は（ｉ＋ｋ，ｊ＋ｌ）となる。また、図７（ｂ）に示す通り、ａ’，ｂ’は、ｘ’の隣接する上、左の画素である。参照フレームとしては、時間的に前方のフレーム、後方のフレーム、前方と後方のフレームの両方のいずれかを用いるが、復号器側では、参照フレームは先に復号する必要がある。
【００２７】
Ｒ≦Ｔ０かつｃ≧ｍａｘ（ａ，ｂ）の場合  ２次元予測器０を選択
Ｒ≦Ｔ０かつｃ≦ｍｉｎ（ａ，ｂ）の場合  ２次元予測器１を選択
Ｒ≦Ｔ０かつｍｉｎ（ａ，ｂ）＜ｃ＜ｍａｘ（ａ，ｂ）の場合  ２次元予測器２を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≧ｍａｘ（ａ，ｘ’）の場合  ３次元予測器３を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつａ’≦ｍｉｎ（ａ，ｘ’）の場合  ３次元予測器４を選択
Ｒ＞Ｔ０かつＳ＞Ｔ１かつｍｉｎ（ａ，ｘ’）＜ａ’＜ｍａｘ（ａ，ｘ’）の場合  ３次元予測器５を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≧ｍａｘ（ｂ，ｘ’）の場合  ３次元予測器６を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｂ’≦ｍｉｎ（ｂ，ｘ’）の場合  ３次元予測器７を選択
Ｒ＞Ｔ０かつＳ＜−Ｔ１かつｍｉｎ（ｂ，ｘ’）＜ｂ’＜ｍａｘ（ｂ，ｘ’）の場合  ３次元予測器８を選択
Ｒ＞Ｔ０かつ−Ｔ１＜Ｓ＜Ｔ１の場合  ３次元予測器９を選択
但し、
Ｒ＝ａａ’＋ｂｂ’＋ｃｃ’＋ｄｄ’−（ａ＋ｂ＋ｃ＋ｄ）（ａ’＋ｂ’＋ｃ’＋ｄ’）  …（１１）
Ｓ＝｜ｘ’−ｂ’｜−｜ｘ’−ａ’｜  …（１２）
Ｔ０，Ｔ１：閾値
ａ，ｂ，ｃ，ｄ，ａ’，ｂ’，ｃ’，ｄ’，ｘ’：図７に示す画素の復号値
である。
【００２８】
ここで、Ｒは相関係数であり、Ｒが閾値Ｔ０より大きい場合には、３次元予測器を選択する。それ以外の場合には、２次元予測器を選択する。この選択は、実際には２段階で行われている。つまり、図５中の第１の判断分岐手段３６によりＲ値によって第１の判断分岐を行い、２次元予測器か３次元予測器かをまず切換えて２次元予測器３３または３次元予測器３４内で残る第２の判断分岐を行って各予測器１〜９の一つを選択する。
【００２９】
２次元予測器の３つの予測器の切換え方法は、既に提案されているものであり、静止画像可逆圧縮国際標準規格ＪＰＥＧ−ＬＳにおいて採用された方法と同じである。縦方向および横方法にエッジがあると判断された場合には、それぞれのエッジ方向に隣接する１画素を用いて予測し、それ以外の場合には隣接する３画素を用いて予測している。
【００３０】
３次元予測の場合にも２次元予測器と同様に、被符号化対象画素の近傍信号値の状態により予測器を切換える適応予測を行う。縦方向または横方向にエッジがあると判断された場合は、現フレームおよび参照フレームのそれぞれのエッジ方向に隣接する信号を用いて予測する。エッジの方向は、参照フレームの縦方向の差分絶対値｜ｘ’−ａ’｜と横方向の差分絶対値｜ｘ’−ｂ’｜を比較して、閾値Ｔ１よりも大きい方向をエッジと判断する。式（１２）のＳはそれらの差分値であり、エッジ方向を判断するパラメータとなる。エッジ方向を判断する縦方向のエッジと判断された場合、現フレームおよび参照フレームの縦方向の信号に関して、２次元予測器と同様な方法で予測信号を選択する。横方向のエッジの場合も同様な方法で予測器を選択する。エッジでないと判断された場合には、近傍の３画素の平均値を予測値とする。
【００３１】
加減算手段３７または３８は、予測器の出力である予測信号と原フレーム信号の差、すなわち予測残差信号を出力する。予測残差信号は、図略の量子化器で量子化する。量子化された残差信号と、３次元予測器で用いた動きベクトルを、図１のエントロピー符号化部１２に入力し、符号化ビットストリームを出力する。量子化器の量子化ステップを１にした場合は、本符号化方法は可逆符号化法になる。
【００３２】
［第２実施形態例］
図４に、上記第１実施形態例で符号化されたデータを復号する復号化方法を実現するための基本構成を示す。図４において、２０はエントロピー復号部、２１は帯域毎に設けた時空間適応予測復号化部、２２は帯域合成部である。
【００３３】
図４の構成の動作例としての復号化方法を以下に示す。最初にエントロピー復号化部２０において符号化ビットストリームから予測に用いる動きベクトルと予測残差信号を求める。次に、時空間適応予測符号化部２１において既に復号化された画像信号と残差信号を用いて被符号化信号を復号する。次に帯域合成部２２に、各時空間適応予測符号化部２１の出力を合成して画像を復号化する。
【００３４】
図６に、時空間適応予測復号化部の基本構成を示す。図６において、４１はシフト手段、４２は２次元予測器、４３は加算手段、４４は動き推定３次元予測器、４５は加算手段、４６は相関係数Ｒ計算手段、４７は第１の判断分岐手段である。
【００３５】
図６の動作例としての時空間適応予測復号化方法は、以下のとおりである。まず、２次元予測器４２を用いるか３次元予測器４４を用いるかを判断するために、動きベクトルを用いてシフト手段４１でシフトした参照フレーム内信号と現フレーム内信号の復号済み信号から、相関係数Ｒ計算手段４６により相関係数Ｒを計算する。第１の判断分岐手段４７は、相関係数Ｒが閾値Ｔ０より大きい場合には、動き推定３次元予測器４４側に切換えて３次元予測を行い、それ以外の場合には２次元予測器４２側に切換えて２次元予測を行う。２次元予測器４２および動き推定３次元予測器４４の構成と内部に用意した複数の予測器の切換えは第１実施形態例のものと同様である。動き推定３次元予測器４４では、現フレーム内信号の復号済み信号と動きベクトルを用いてシフトした参照フレーム内信号を用いて予測信号を生成し、加算手段４５は、この予測信号に残差信号を付加することで、現フレームの対象信号を復元する。２次元予測器４２では、現フレーム内信号の復号済み信号を用いて予測信号を生成し、加算手段４３がこの予測信号に残差信号を付加することで、現フレームの対象信号を復元する。
【００３６】
［第３実施形態例］
本実施形態例では、第１実施形態例の時空間適応予測符号化部１１において、各帯域における対象物体の動きをブロックマッチング法により推定する。ブロックマッチング法においては、動きベクトルを求めるために、次のＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）値を計算する。
【００３７】
ＳＡＤ（ｋ，ｌ）＝Σi=1LΣj=1L｜ｘ（ｉ，ｊ）−ｙ（ｉ＋ｋ，ｊ＋ｌ）｜  …（１３）
ここで、（ｋ，ｌ）を−ｗ＜ｋ，１＜ｗの範囲（ｗはウインドウサイズ）でＳＡＤ（ｋ，ｌ）を計算し、最小のＳＡＤ値を与えるベクトル（ｋ，ｌ）が動きベクトルとして選ばれる。３次元予測器の予測精度を向上させるために、通常、ＳＡＤは各帯域毎に計算される。ＳＡＤの計算には、かなりの時間を要する。これを考慮に入れ、符号化効率の低下をできるだけ抑えたうえで、計算時間を削減するために以下の３つの簡易符号化の手法（１），（２），（３）を提案する。
【００３８】
（１）帯域分割された信号のフレーム間相関ならびにフレーム内相関は、低域ほど強く、高域ほど弱い。最低周波数帯域以外の信号はフレーム間相関ならびにフレーム内相関が弱いことから、時空間適応予測符号化の効果がそれほど顕著に現れてこない。その性質を利用して、時空間適応予測符号化を最低周波数帯域のみに適用する。ＳＡＤの計算量が極端に減少するとともに、２次元および３次元予測処理時間も減少する。最低周波数帯域の動きベクトルと予測残差信号はエントロピー符号化され、最低周波数帯域以外の信号は、直接エントロピー符号化される。
【００３９】
図８に本方法を実現するための基本構成図を示す。図８において、５０は帯域分割部、５１は最低周波数帯域用の時空間適応予測符号化部、５２はエントロピー符号化部５２である。まず、入力された画像信号は帯域分割部５０において、複数の空間解像度の帯域に分割される。次に、分割した帯域のうち最低周波数帯域についてのみ時空間適応予測符号化部５１で残差信号を生成し、エントロピー符号化部５２でエントロピー符号化する。それ以外の帯域の信号はエントロピー符号化部５２において直接符号化する。
【００４０】
（２）動き推定を最低周波数帯域のみにて行い、動きベクトルを求める。他の帯域では、最低周波数帯域の動きベクトルを基準にした動きベクトルを用いて時空間適応予測符号化を行う。対象物体の動きは、帯域毎に変化するわけではないので、高域の物体の動きも低域の物体の動きも等しいはずである。すなわち、低域から高域に向けて同じ方向に存在する小ブロック動きベクトルは同じであると仮定する。例えば、図３の矢印で示した小ブロックの動きはほぼ等しい。但し、一つ高域に帯域が上がる毎に、画素数は縦および横方向に２倍になるので、一つ高域での動きベクトルは、
（２ｋ，２ｌ）
となる。Ｎ段高域の動きベクトルは、
（Ｎ×ｋ，Ｎ×ｌ）
となる。
【００４１】
本方法を実現するための基本構成図は、図１と同様であるが、各帯域毎の時空間適応予測符号化部１１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。最低周波数帯域の動きベクトルおよび全帯域の予測残差信号はエントロピー符号化部１２でエントロピー符号化される。
【００４２】
（３）ＳＡＤを計算するときに低域から高域に向かって行う。図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順となる。まず、最低周波数帯域の各小ブロックに対してＳＡＤを計算する。ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔ（閾値）  …（１４）
の小ブロック内の信号に関してはフレーム間相関が弱いと判断し、時空間適応予測処理は行わず２次元予測を行う。および対応する高域の小ブロックの信号に関しては時空間適応予測符号化を行わず、直接エントロピー符号化を行う。
【００４３】
式（１４）を満たさないブロック内の信号に関しては、通常どおり、時空間適応予測符号化を行う。引き続く高帯域のブロックにおいて、ＳＡＤが、
ＳＡＤ（ｋ，ｌ）＞Ｔｘ（高帯域での閾値。帯域によって閾値は異なる。）  …（１５）
の場合にはフレーム間相関が弱いと判断し、時空間適応予測符号化を行わず、直接エントロピー符号化を行う。なお、対応する低域のブロックのＳＡＤが既に式（１４）を満足している場合には、直接エントロピー符号化を行うことが確定しているため、ＳＡＤの計算ならびに式（１５）の判断は行わない。
【００４４】
式（１４）および（１５）の条件を満足する小ブロックは、付加情報として動きベクトルの代りに固有の符号ＬＩＭＩＴを伝送し、対応する高域の小ブロックでは付加情報を伝送しない。動きベクトルならびに固有の符号ＬＩＭＩＴ、予測残差信号がエントロピー符号化される。
【００４５】
本方法を実現するための基本構成図は、図１と同様であるが、各時空間適応予測符号化器１１は、ブロック単位動き推定において、低域から高域に向かってＳＡＤを計算する機能、時空間適応予測符号化を行うか否かの判断機能、及び固有の符号ＬＩＭＩＴを伝送する機能等を有する。エントロピー符号化部１２は、各時空間適応予測符号化器１１からの、動きベクトルまたは固有の符号ＬＩＭＩＴ、時空間適応予測符号化されない信号または予測残差信号をエントロピー符号化する。
【００４６】
［第４実施形態例］
第３実施形態例による簡易符号化の手法で符号化された信号の簡易復号化方法を示す。
【００４７】
（１）図９に、簡易符号化（１）で符号化された信号を復号するための基本構成図を示す。図９において、６０はエントロピー復号部、６１は最低周波数帯域用の時空間適応予測復号化部、６２は帯域合成部である。
【００４８】
本方法では、エントロピー復号部６０でエントロピー復号化された動きベクトルと予測残差信号を用いて、最低周波数帯域は時空間予測復号化部６１により信号を復号する。それ以外の帯域は、エントロピー復号部６０でエントロピー復号化により、直接復号される。帯域合成部６２は、各帯域の出力を合成して画像を復号化する。
【００４９】
（２）簡易符号化（２）で符号化された信号を復号する復号化方法を実現するための基本構成図は、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１で用いる動きベクトルは最低周波数帯域の動きベクトルを基準にした動きベクトルを用いる。すなわち、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）をもとにして、Ｎ段高域の動きベクトルを、
（Ｎ×ｋ，Ｎ×ｌ）
により計算する。その結果をもとに、各帯域毎に時空間適応予測復号化部２１で復号処理を行い、帯域合成部２２において、各帯域の出力を合成して画像を復号化する。
【００５０】
（３）簡易符号化（３）で符号化された信号を復号する復号化方法を実現するための基本構成図も、図４と同様であるが、各帯域毎の時空間適応予測復号化部２１では、エントロピー復号部２０でエントロピー復号化された最低周波数帯域の動きベクトル（ｋ，ｌ）ならびに予測残差信号を用いて、最低周波数帯帯域から最高周波数帯域の順番（図３の例においては、ＬＬ３→ＨＬ３→ＬＨ３→ＨＨ３→ＨＬ２→ＬＨ２→ＨＨ２→ＨＬ１→ＬＨ１→ＨＨ１の順）で、時空間適応予測復号処理を行って出力するか、または固有符号ＬＩＭＩＴにより、エントロピー復号化された高周波数帯域の信号を直接出力する。帯域合成部２２は、各帯域の出力を合成して画像を復号化する。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１実施形態例による動画像符号化方法を実現するための基本構成を示す図である。
【図２】オクターブ分割を説明する図である。
【図３】画像の帯域分割を説明する図である。
【図４】本発明の第２実施形態例による動画像復号化方法を実現するための基本構成を示す図である。
【図５】本発明における時空間適応予測符号化部の基本構成を示す図である。
【図６】本発明における時空間適応予測復号化部の基本構成を示す図である。
【図７】（ａ），（ｂ）は、予測に用いる信号を説明する図である。
【図８】本発明の第３実施形態例による簡易符号化（１）を実現するための基本構成を示す図である。
【図９】本発明の第４実施形態例による簡易復号化（１）を実現するための基本構成を示す図である。
【符号の説明】
【００５２】
１０…帯域分割部
１１…時空間適応予測符号化部
１２…エントロピー符号化部
２０…エントロピー復号部
２１…時空間適応予測復号化部
２２…帯域合成部
３１…ブロック単位動き推定手段
３２…シフト手段
３３…２次元予測器
３４…動き推定３次元予測器
３５…相関係数Ｒ計算手段
３６…第１の判断分岐手段
３７…加減算手段
３８…加減算手段
４１…シフト手段
４２…２次元予測器
４３…加算手段
４４…動き推定３次元予測器
４５…加算手段
４６…相関係数Ｒ計算手段
４７…第１の判断分岐手段
５０…帯域分割部
５１…時空間適応予測符号化部
５２…エントロピー符号化部
６０…エントロピー復号部
６１…時空間適応予測復号化部
６２…帯域合成部
【図１】
2008211810.tif 000003
【図２】
2008211810.tif 000004
【図３】
2008211810.tif 000005
【図４】
2008211810.tif 000006
【図５】
2008211810.tif 000007
【図６】
2008211810.tif 000008
【図７】
2008211810.tif 000009
【図８】
2008211810.tif 000010
【図９】
2008211810.tif 000011