(57)【要約】【課題】付加情報量を増加させることなく、画像の統計的性質に応じて適応的にフレーム間相関を除去する帯域を変化させ、符号化効率を改善する。【解決手段】原画像を帯域分割し、帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向ＬＨ，ＨＬ．ＨＨへの帯域間に相関があることを利用し、帯域予測処理部１１〜１４は帯域分割部１０で分割した帯域ＬＬから最低周波数帯域へ向かうＬＨ，ＨＬ．ＨＨ方向へ１レベル低い周波数帯域のフレーム間相関を判定部１７で判定し、この相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化する。帯域を小ブロック単位に分割して行うこと、フレーム間相関判定に代えて、帯域のインターフレーム処理とイントラフレーム処理の割合で判定することも含む。【選択図】  図１
2004158946.tif 000002
【特許請求の範囲】
【請求項１】
動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
【請求項２】
動画像を出力とする復号化において、請求項１記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
【請求項３】
請求項１記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
【請求項４】
動画像を出力とする復号化において、請求項３記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
【請求項５】
動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする動画像符号化方法。
【請求項６】
動画像を出力とする復号化において、請求項５記載の動画像符号化方法により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間璋応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする動画像復号化方法。
【請求項７】
請求項５記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする動画像符号化方法。
【請求項８】
動画像を出力とする復号化において、請求項７記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする動画像復号化方法。
【請求項９】
動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
【請求項１０】
動画像を出力とする復号化において、請求項９記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
【請求項１１】
請求項９記載の動画像符号化において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
【請求項１２】
動画像を出力とする復号化において、請求項１１記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
【請求項１３】
動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小フロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
【請求項１４】
動画像を出力とする復号化において、請求項１３記載の動画像符号化装置により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
【請求項１５】
請求項１３記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする動画像符号化装置。
【請求項１６】
動画像を出力とする復号化において、請求項１５記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を効率よく伝送、蓄積するための符号化および復号化に関する。
【０００２】
【従来の技術】
動画像の代表的な符号化法として、
（１）ＭＰＥＧに代表される動き補償とＤＣＴを用いた手法。
【０００３】
（２）ＭｏｔｉｏｎＪＰＥＧ２０００に代表されるウェーブレット変換を用いた手法。
はよく知られている。
【０００４】
動き補償とＤＣＴを用いた手法はこれまで数々のモデルが提案され、フレーム間相関とフレーム相関を効率よく除去することにより高い符号化効率を実現している。
【０００５】
一方、ＭｏｔｉｏｎＪＰＥＧ２０００など、ウェーブレットを用いた手法は、動き補償とＤＣＴを用いた手法にはない空間・時間・ＳＮＲスケーラビリティなど様々な有効な機能を持つ。
【０００６】
しかしながら、ＭｏｔｉｏｎＪＰＥＧ２０００はフレーム内相関のみを利用するため、動き補償とＤＣＴを用いた手法よりも符号化効率が劣ることが知られている。ウェーブレットを用いて、かつフレーム間相関を除去し、符号化効率を改善した方法としては、時空間適応予測がある（例えば、非特許文献１参照）。
【０００７】
この方法は、可逆符号化として提案された手法であるが、非可逆符号化にも適用可能な手法であり、効率よくフレーム間相関を除去することが可能である。
【０００８】
【非特許文献１】
仲地孝之、澤邊知子、藤井竜也、藤井哲郎、“解像度スケーラビリティーを有する動画像可逆符号化法の検討”、第１６回ディジタル信号処理シンポジウム講演論文集、ｐｐ．４３９−４４４，２００１年１１月
【０００９】
【発明が解決しようとする課題】
時空間予測符号化は、ウェーブレット係数領域において非線形予測を適用することによってフレーム間相関を除去する。ウェーブレット変換を用いているため空間スケーラビリティ機能が実現でき、かつフレーム間相関も除去しているため符号化効率も高い方式である。
【００１０】
しかしながら、時空間予測を行う帯域が固定のために、必ずしも種々の画像に適した方式とはなっていない。また、帯域を可変としたモデルも提案されている（例えば、非特許文献１）。しかし、この手法では、付加情報量が必要であり効率的ではない。
【００１１】
本発明の目的は、付加情報量を増加させることなく、画像の統計的性質に応じて適応的にフレーム間相関を除去する帯域を変化させ、符号化効率を改善した時空間予測による動画像符号化方法とその復号化方法、およびそれらの装置を提供することにある。
【００１２】
【課題を解決するための手段】
上記の問題を解決するため、本発明は、以下の動画像符号化方法、動画像復号化方法、およびそれらの装置を特徴とする。
【００１３】
（１）動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１４】
（２）動画像を出力とする復号化において、上記（１）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１５】
（３）上記（１）記載の動画像符号化方法において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする。
【００１６】
（４）動画像を出力とする復号化において、上記（３）記載の動画像符号化方法により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする。
【００１７】
（５）動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化し、フレーム間相関が低い場合には直接符号化することを特徴とする。
【００１８】
（６）動画像を出力とする復号化において、上記（５）記載の動画像符号化方法により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間璋応予測にて復号化し、フレーム間相関が低い場合には直接復号化することを特徴とする。
【００１９】
（７）上記（５）記載の動画像符号化方法において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化することを特徴とする。
【００２０】
（８）動画像を出力とする復号化において、上記（７）記載の動画像符号化方法により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化し、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化することを特徴とする。
【００２１】
（９）動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、最低周波数帯域から空間的に同一方向の帯域間に相関があることを利用して該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２２】
（１０）動画像を出力とする復号化において、上記（９）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のフレーム間相関が高い場合には該帯域を時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２３】
（１１）上記（９）記載の動画像符号化において、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２４】
（１２）動画像を出力とする復号化において、上記（１１）記載の動画像符号化装置により符号化された信号を、該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には該帯域を時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２５】
（１３）動画像を対象とする符号化において、原画像を帯域分割し分割した帯域ごとに非線形予測器を用いてフレーム間相関を除去する時空間適応予測において、時空間予測を行うか直接符号化を行うかを小ブロック単位に判断し、該帯域の小フロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて符号化する手段と、フレーム間相関が低い場合には直接符号化する手段を有することを特徴とする。
【００２６】
（１４）動画像を出力とする復号化において、上記（１３）記載の動画像符号化装置により符号化された信号を、時空間予測復号を行うか直接復号を行うかを小ブロック単位に判断し、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロックのフレーム間相関が大きい場合には時空間適応予測にて復号化する手段と、フレーム間相関が低い場合には直接復号化する手段を有することを特徴とする。
【００２７】
（１５）上記（１３）記載の動画像符号化において、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて符号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接符号化する手段を有することを特徴とする。
【００２８】
（１６）動画像を出力とする復号化において、上記（１５）記載の動画像符号化装置により符号化された信号を、該帯域の小ブロックが該帯域から最低周波数帯域へ向かって１レベル低い周波数帯域における空間的に同一位置にある小ブロック内のインターフレーム処理の割合がイントラフレーム処理に対して高い場合には時空間適応予測にて復号化する手段と、インターフレーム処理の割合がイントラフレーム処理に対して低い場合には直接復号化する手段を有することを特徴とする。
【００２９】
【発明の実施の形態】
（第１実施形態）
図１及び図２に時空間適応予測による動画像符号化装置および方法を実現するための基本構成図を示す。図１は非可逆符号化用、図２は可逆符号化用であり、本発明による時空間適応予測符号化法は可逆および非可逆のどちらにも適用可能である。
【００３０】
図１または図２において、１０は帯域分割部、１１〜１４は分割された帯域ごとに設けた時空間適応予測処理部、１６はエントロピー符号化部である。非可逆符号化の場合には、量子化部１５においてウェーブレット係数または時空間適応予測による差分信号を量子化する。さらに、非可逆符号化の場合には、エントロピー符号化として、ＪＰＥＧ２０００で用いられているＥＢＣＯＴを用いることにより、空間およびＳＮＲスケーラビリティを実現できる。可逆符号化においては、量子化を行わず、ウェーブレット係数または時空間適応予測による差分信号を直接エントロピー符号化する。
【００３１】
入力された原画像は、帯域分割部１０において複数の空間解像度の帯域に分割される。この帯域分割には、図３に示すオクターブ分割を用いる。オクターブ分割では、１次元の２分割フィルタを用いて低帯域方向に次々に分割することによって、入力信号を複数の帯域に分割することができる。この処理を、水平方向および垂直方向にそれぞれ施す。
【００３２】
次に、分割された各帯域において時空間適応予測により符号化を行う。まず、最低周波数帯域ＬＬ（ｎ）に対して（ｎは、帯域分割レベル数）適応予測符号化を行う。ここで、適応予測符号化は、前記非特許文献１に示される方法を利用することができる。この方法を説明すると、時空間適応予測符号化法では、２次元予測器と３次元予測器を用意し、画像信号の局所的性質により予測器を切り替える。この２次元予測器と３次元予測器を切り替えるために、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算する。この計算で、相関係数が大きい場合、すなわち現フレーム内信号と参照フレーム内信号の波形が似ている場合には、予測精度が向上すると考えられることから、３次元予測を行い、それ以外の場合には２次元予測を行う。これにより、画像の局所的性質に適応することができ、予測精度が向上する。
【００３３】
次に、最低周波数帯域における適応予測符号化が終了後、フレーム間相関判定部１７で現フレームと参照フレームの最低周波数帯域におけるフレーム間相関を計算する。フレーム間相関が大きいか小さいかを判断するにはいくつかの方法が考えられるが、一例を後の（第５実施形態）として示す。
【００３４】
まず、最低周波数帯域におけるフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において、適応予測符号化を行うかどうか決定する。
【００３５】
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化して処理終了する。
【００３７】
この理由は、最低周波数帯域の信号と隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の信号には相関が存在することを利用している。すなわち、最低周波数帯域においてフレーム間相関が大きい場合は、隣接する３つの帯域においてもフレーム間相関が強いことが予想される。この手法では、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において時空間適応予測を行うかどうかは最低周波数帯域によって決定され、エンコーダおよびデコーダで共有した情報を利用できるため、新たな付加情報量も必要としない。
【００３８】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。ウェーブレットにおいては、最低周波数帯域から見て同一方向の周波数帯域間には相関が存在することが知られている。すなわち、
ＬＨ（ｎ）、ＬＨ（ｎ−１）、…、ＬＨ（１）
の帯域間には相関が存在し、同様にＨＬ方向間、ＨＨ方向間、すなわち
ＨＬ（ｎ）、ＨＬ（ｎ−１）、…、ＨＬ（１）の間
ＨＨ（ｎ）、ＨＨ（ｎ−１）、…、ＨＨ（１）の間
に、それぞれ相関は存在する。この性質を利用して、各帯域において時空間適応予測を行うか行わないかを、それぞれの周波数帯域の１レベル低い周波数帯域のフレーム間相関の大きさによって判断する。すなわち、
・フレーム間相関が大きい場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００３９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００４０】
以上の処理を高帯域へ向かって行い、フレーム間相関が小さいか、最高周波数帯域ＬＨ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。
【００４１】
以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図４であり、フレーム間相関の計算処理２３、２４、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図５は、それぞれの帯域の相関関係を図示したもので、矢印の方向に向かって以上に示した処理を進める。また、図６には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００４２】
以上の方法においては、帯域時空間適応予測処理を行うかどうかは１レベル低い周波数帯域のフレーム間相関の大きさによって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない、
上記までの処理終了後、図１または図２のエントロピー符号化部１６においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００４３】
（第２実施形態）
図７および図８に、上記の第１実施形態例で符号化されたデータを復号するための動画像復号化装置および方法を実現するための基本構成図を示す。図７は非可逆復号化用、図８は可逆復号化用である。図７または図８において、３０はエントロピー復号化部、３１〜３４は分割された帯域ごとに設けた時空間適応予測復号化部、３５は帯域合成部、３７はフレーム間相関判定部である。
【００４４】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、例えば、前記の非特許文献１に示す方法を利用することができる。この方法を説明すると、時空間適応予測復号化においては、時空間適応予測符号化と同様に、現フレームと参照フレームの被符号化対象画素近傍の復号済み信号の相関係数を計算して予測器を選択する。この計算で、相関係数が大きい場合には３次元予測を行い、小さい場合には２次元予測を行う。得られた予測値に、差分信号を逆量子化した信号を加えることにより、最低周波数帯域の信号が復元される。
【００４５】
次に、時空間適応予測復号化部３１は、引き続く高周波数帯域の復号を時空間予測復号化で行うか、直接ウェーブレット係数を復号するか判断するために、フレーム間相関判定部３７で最低周波数帯ＬＬ（ｎ）におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化して処理終了する。
【００４７】
フレーム間相関が大きい場合、引き続く高周波数帯域では以下のように処理を進める。
【００４８】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるフレーム間相関を計算する。この計算で、
・フレーム間相関が大きい場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００４９】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００５０】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図９であり、フレーム間相関判定部４３、４４、…によりの計算により、ＬＨ方向の帯域時空間適応予測復号化処理４０〜４２を行うか行わないかを判断し、フレーム間相関が小さいか、または最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１０には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００５１】
上記までの処理終了後、図７または図８の帯域合成部３５においては、各帯域の出力を合成して画像を復号化する。
【００５２】
（第３実施形態）
前記の第１実施形態例においては、適応予測符号化を行うかウェーブレット係数を直接符号化するかは各周波数帯域で帯域ごとに行っていた。本実施形態例では、最低周波数帯域以外において適応予測符号化を行うかウェーブレット係数を直接符号化するかの判断を小ブロック単位で行う。小ブロック単位の処理によって、より画像の局所的性質に適応した符号化が可能となり、符号化効率が向上する。
【００５３】
ウェーブレットにおいては、同じ空間位置に対応する各周波数成分は互いに相関があることが知られている、この性質を利用して、図１１に示すように各周波数帯域の同じ空間位置に対応する小ブロック単位で処理を行う。
【００５４】
まず、最低周波数帯域は、すべて第１実施形態例と同様に、すべて時空間適応予測符号化を施す。
【００５５】
次に、最低周波数帯域をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・フレーム間相関が大きい場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００５６】
・フレーム間相関が小さい場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００５７】
フレーム間相関が大きい場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１２には分割レベルが２レベルの場合の帯域適応処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００５８】
エントロピー符号化においては、適応予測符号化出力の残差信号またはウェーブレット係数、および動き推定ベクトルを符号化し、符号化ビットストリームを生成する。
【００５９】
（実施形態４）
本実施形態例では、前記の第３実施形態例による小ブロック単位処理により符号化された信号の復号化方法を示す。基本構成は、図７または図８に示す第３実施形態例に等しいが、最低周波数帯域以外の処理が小ブロック単位になる点が異なる。
【００６０】
最初にエントロピー復号化部３０において符号化ビットストリームから残差信号またはウェーブレット係数、および動きベクトルを復号する。引き続き、非可逆符号化の場合には、逆量子化部３５においてウェーブレット係数または時空間適応予測による差分信号を逆量子化する。
【００６１】
最低周波数帯ＬＬ（ｎ）の時空間適応予測復号化部３１の処理は、第３実施形態例に全く等しく、前記の非特許文献１に示す方法を利用することができる。
【００６２】
次に、復号化された最低周波数帯域の信号をＬ×Ｌ画素の小ブロック単位に分割する。図の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのフレーム間相関を計算する。それぞれの小ブロックのフレーム間相関の大きさによって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
フレーム間相関が大きい場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００６３】
・フレーム間相関が小さい場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００６４】
フレーム間相関が大きい場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１３には分割レベルが２レベルの場合の帯域時空間適応予測復号化処理のフローチャートを示し、ＬＬ（２）の小ブロックＭＢ（ｎ）についての予測処理でフレーム間の相関が大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにフレーム間相関の大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００６５】
これら判定処理後、帯域合成部３６においては、各帯域の出力を合成して画像を復号化する。
【００６６】
（第５実施形態）
本実施形態例では、前記の第１実施形態において、フレーム間相関の大きさとして、以下に示すフレーム間の相関係数Ｒｉｎｔｅｒを用いた場合の動画像符号化装置および方法の実施形態を示す。
【００６７】
Ｒｉｎｔｅｒ＝Ｉｎｔｅｒ／（Ｉｎｔｅｒ＋Ｉｎｔｒａ）
ここで、Ｉｎｔｅｒはインターフレーム処理（３次元予測）の処理回数、Ｉｎｔｒａはイントラフレーム処理（２次元予測）の処理回数を表す。インターフレーム処理を行うかイントラフレーム処理を行うかは、被符号化画素近傍の２枚の連続するフレーム間の信号値の相関係数によって決定され、相関係数が大きい場合にはインターフレーム処理、小さい場合にはフレーム内処理を行う。
【００６８】
したがって、Ｒｉｎｔｅｒが大きい場合、すなわち、インターフレーム処理の処理回数が多い場合には、フレーム間相関が大きいと判断する。この最低周波数帯域でのＲｉｎｔｅｒ値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）において適応予測符号化を行うかどうか決定する。すなわち、
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００６９】
・Ｒｉｎｔｅｒ＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７０】
ここで、ＴＨは閾値であり、０＝＜ＴＨ＝＜１の値をとる。
【００７１】
Ｒｉｎｔｅｒ＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７２】
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
時空間適応予測符号化処理し、高帯域への処理に移る。
【００７３】
・Ｒｉｎｔｅｒ＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００７４】
以上の処理を高帯域へ向かって行い、Ｒｉｎｔｅｒ＜ＴＨの条件を満足するか、最高周波数帯域ＨＬ（１）まで処理を終了するか、いずれかの条件を満足するとＬＨ方向の処理は終了する。以上のＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理を図示したのが図１４であり、Ｒｉｎｔｅｒによる相関判定部２５、２６、…の計算結果の大きさによりＬＨ方向の帯域時空間適応予測処理２１〜２２を行うか行わないかを判断する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１５には分割レベルが２レベルの場合の帯域時空間適応予測処理のフローチャートを示し、ＬＬ（２）での予測処理でＲｉｎｔｅｒ値がＴＨ以上に大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲｉｎｔｅｒ値とＴＨとの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００７５】
以上の方法においては、時空間適応予測を行うかどうかは１レベル低い周波数帯域のＲｉｎｔｅｒ値によって決定されるため、この処理においてもエンコーダおよびデコーダで共有した情報を利用でき、新たな付加情報量も必要としない。
【００７６】
（第６実施形態）
本実施形態例では、第２実施形態において、フレーム間相関の大きさとして、Ｒｉｎｔｅｒを用いた場合の動画像復号化装置および方法の実施形態を示す。Ｒｉｎｔｅｒによる相関判定部２５、２６において最低周波数帯ＬＨ（ｎ）におけるＲｉｎｔｅｒ値を計算する。この結果で、
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００７７】
・Ｒｉｎｔｅｒ＜ＴＨの場合、ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００７８】
Ｒｉｎｔｅｒ＞＝ＴＨの場合、引き続く高周波数帯域では以下のように処理を進める。
【００７９】
ＬＨ方向、ＨＬ方向、ＨＨ方向の各帯域間で、それぞれ低周波帯域から高周波数帯域へ向かって、１レベル低い周波数帯域におけるＲｉｎｔｅｒ値を計算し、その値が、
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
時空間適応予測復号化処理し、高帯域への処理に移る。
【００８０】
・Ｒｉｎｔｅｒ＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８１】
なお、ＬＨ（ｎ−１）、ＬＨ（ｎ−２）、…、ＬＨ（１）帯域部の処理例を図１６に示した。Ｒｉｎｔｅｒ＜ＴＨの条件を満足するかまたは最高周波数帯域ＬＨ（１）の処理を終了するか、いずれかの条件を満足すると、ＬＨ方向の処理は終了する。ＨＬ方向およびＨＨ方向の処理も同様に行うことができる。図１７には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）での予測処理でＲｉｎｔｅｒ値がＴＨより大きい場合に、ＨＬ（２）とＬＨ（２）およびＨＨ（２）について予測処理を行い、さらにＲｉｎｔｅｒの大小からＨＬ（１）とＬＨ（１）およびＨＨ（１）での予測処理を行うか行わないかを判定する。
【００８２】
（第７実施形態）
本実施形態例では、第３実施形態において、フレーム間相関の大きさとして、Ｒｉｎｔｅｒを用いた場合の動画像符号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲｉｎｔｅｒ値を計算する。それぞれの小ブロックのＲｉｎｔｅｒ値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測符号化を行うかどうか決定する。すなわち、
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
小ブロック内を時空間適応予測符号化処理し、高帯域への処理に移る。
【００８３】
・Ｒｉｎｔｅｒ＜ＴＨの場合
ウェーブレット係数を直接符号化し、残りの高帯域のウェーブレット係数も全て直接符号化し、処理終了する。
【００８４】
Ｒｉｎｔｅｒ＞＝ＴＨの場合、引き続く高周波数帯域で、ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、以上の処理を行う。図１８には分割レベルが２レベルの場合の帯域時空間適応符号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲｉｎｔｅｒ値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲｉｎｔｅｒの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８５】
（第８実施形態）
本実施形態例では、第４実施形態において、フレーム間相関の大きさとして、Ｒｉｎｔｅｒを用いた場合の動画像復号化装置および方法の実施形態を示す。図１１の左から右、上から下の方向へ向かうラスタースキャンの順で、それぞれの小ブロックのＲｉｎｔｅｒ値を計算する。それぐれの小ブロックのＲｉｎｔｅｒ値によって、隣接する帯域ＬＨ（ｎ）、ＨＬ（ｎ）、ＨＨ（ｎ）の対応する空間位置の小ブロックにおいて適応予測復号化化を行うかどうか決定する。すなわち、
・Ｒｉｎｔｅｒ＞＝ＴＨの場合
小ブロック内を時空間適応予測復号化処理し、高帯域への処理に移る。
【００８６】
・Ｒｉｎｔｅｒ＜ＴＨの場合
ウェーブレット係数を直接復号化し、残りの高帯域のウェーブレット係数も全て直接復号化し、処理終了する。
【００８７】
Ｒｉｎｔｅｒ＞＝ＴＨの場合、引き続く高周波数帯域で、小ブロック単位で同様な処理を進める。ラスタースキャン順序で全ての小ブロックに関して、これらの処理を行う。図１９には分割レベルが２レベルの場合の帯域時空間適応復号化処理のフローチャートを示し、ＬＬ（２）ＭＢ（ｎ）での予測処理でＲｉｎｔｅｒ値がＴＨより大きい場合に、ＨＬ（２）ＭＢ（ｎ）とＬＨ（２）ＭＢ（ｎ）およびＨＨ（２）ＭＢ（ｎ）について予測処理を行い、さらにＲｉｎｔｅｒの大小からＨＬ（１）ＭＢ（ｎ）とＬＨ（１）ＭＢ（ｎ）およびＨＨ（１）ＭＢ（ｎ）での予測処理を行うか行わないかを判定する。
【００８８】
【発明の効果】
以上の説明で明らかなように、本発明によれば、動画像の効率の良い非可逆符号化および可逆符号化ができ、少ないディスク容量で保存が可能となる。さらに、空間解像度スケーラビリティーを有するために、画像表示機器の性能や用途に応じた空間解像度で画像を復号することが可能である。
【００８９】
また、低域から任意の帯域まで復号すると原画像よりも低い空間解像度の画像を再生でき、全てのデータを復号すると、原画像と同じ解像度の画像が再生される。画像表示機器の性能や用途に応じて、原画像よりも低い空間解像度の画像を再生したい場合は、必要な帯域までに対応する符号化データの復号のみで済む。原画像と同じ解像度の画像を再生して解像度変換を行うよりも処理時間が短く、また符号化ビットストリームを伝送する場合は必要なデータのみを伝送すれば良いため、伝送レートも小さくなる。
【図面の簡単な説明】
【図１】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（非可逆符号化用）。
【図２】本発明の第１実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図３】オクターブ分割による帯域分割の模式図。
【図４】帯域時空間適応予測符号化処理の要部構成図。
【図５】分割帯域のフレーム間相関関係図。
【図６】フレーム間相関による帯域時空間適応予測符号化処理のフローチャート。
【図７】本発明の第２実施形態における動画像復号化装置・方法の基本構成図（非可逆符号化用）。
【図８】本発明の第２実施形態における動画像符号化装置・方法の基本構成図（可逆符号化用）。
【図９】帯域時空間適応予測復号化処理の要部構成図。
【図１０】フレーム間相関による帯域時空間適応予測復号処理のフローチャート。
【図１１】小ブロック分割帯域のフレーム間相関関係図。
【図１２】小ブロックによる帯域時空間適応予測符号化処理のフローチャート。
【図１３】小ブロックによる帯域時空間適応予測復号化処理のフローチャート。
【図１４】相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測符号化処理の要部構成図。
【図１５】相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測符号化処理のフローチャート。
【図１６】相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測復号化処理の要部構成図。
【図１７】相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測復号化処理のフローチャート。
【図１８】小ブロックと相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測符号化処理のフローチャート。
【図１９】小ブロックと相関係数Ｒｉｎｔｅｒによる帯域時空間適応予測復号化処理のフローチャート。
【符号の説明】
１０…帯域分割部
１１〜１４、２０〜２２…帯域時空間適応予測部
１５…量子化部
１６…エントロピー符号化部
１７…フレーム間相関判定部
２３、２４…フレーム間相関判定部
２５、２６…Ｒｉｎｔｅｒによる相関判定部
３０…エントロピー復号化部
３１〜３４…帯域時空間適応予測復号化部
３５…逆量子化部
３６…帯域合成部
３７…フレーム間相関判定部
４０〜４２…帯域時空間適応予測復号化部
４３、４４…フレーム間相関判定部
【図１】
2004158946.tif 000003
【図２】
2004158946.tif 000004
【図３】
2004158946.tif 000005
【図４】
2004158946.tif 000006
【図５】
2004158946.tif 000007
【図６】
2004158946.tif 000008
【図７】
2004158946.tif 000009
【図８】
2004158946.tif 000010
【図９】
2004158946.tif 000011
【図１０】
2004158946.tif 000012
【図１１】
2004158946.tif 000013
【図１２】
2004158946.tif 000014
【図１３】
2004158946.tif 000015
【図１４】
2004158946.tif 000016
【図１５】
2004158946.tif 000017
【図１６】
2004158946.tif 000018
【図１７】
2004158946.tif 000019
【図１８】
2004158946.tif 000020
【図１９】
2004158946.tif 000021