(57)【要約】【課題】動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換する。【解決手段】帯域分析装置１０は、垂直分析フィルタ部１３において、Ｎライン分のラインデータＤ１２に対して垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行い、水平分析フィルタ部１４において、低域成分及び高域成分Ｄ１３に対して水平方向の低域分析フィルタリングと高域分析フィルタリングとを行うことにより、ビデオ信号Ｄ１０を構成する各ピクチャをウェーブレット変換する。この際、帯域分析装置１０は、現ピクチャ及び現ピクチャの各サブバンドの下端ラインでの対称拡張処理のタイミングを早めることにより、次ピクチャが入力される前に、現ピクチャのウェーブレット変換を終了させる。【選択図】図１
2007311924.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクチャで構成される動画像信号を入力する入力手段と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段とを備え、
上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする帯域分析装置。
【請求項２】
上記ウェーブレット変換手段は、リフティング構成により実現されることを特徴とする請求項１記載の帯域分析装置。
【請求項３】
上記ウェーブレット変換手段は、垂直方向のライン数が所定数に達する毎に、垂直方向の低域分析フィルタリング及び高域分析フィルタリングを行って低域成分及び高域成分を生成し、生成された低域成分及び高域成分の水平方向のサンプル数が所定数に達する毎に、水平方向の低域分析フィルタリング及び高域分析フィルタリングを行い、複数のサブバンドを生成することを特徴とする請求項１記載の帯域分析装置。
【請求項４】
上記ウェーブレット変換手段は、水平方向のサンプル数が所定数に達する毎に、水平方向の低域分析フィルタリング及び高域分析フィルタリングを行って低域成分及び高域成分を生成し、生成された低域成分及び高域成分の垂直方向のライン数が所定数に達する毎に、垂直方向の低域分析フィルタリング及び高域分析フィルタリングを行い、複数のサブバンドを生成することを特徴とする請求項１記載の帯域分析装置。
【請求項５】
上記動画像信号はビデオ信号であり、
該ビデオ信号の垂直ブランク信号を検出することにより各ピクチャの終端を検知する検知手段をさらに備える
ことを特徴とする請求項１記載の帯域分析装置。
【請求項６】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程とを有し、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする帯域分析方法。
【請求項７】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と
を有する帯域分析処理をコンピュータに実行させることを特徴とするプログラムであって、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とするプログラム。
【請求項８】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に、垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と
を有する帯域分析処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする記録媒体。
【請求項９】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力手段と、
上記複数のサブバンドの係数データに対して、各サブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、
上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする帯域合成装置。
【請求項１０】
上記ウェーブレット逆変換手段は、リフティング構成により実現されることを特徴とする請求項９記載の帯域合成装置。
【請求項１１】
上記動画像信号はビデオ信号であり、
上記ウェーブレット逆変換手段によって生成された各ピクチャ間に垂直ブランク信号を挿入し、ビデオ信号を復元する垂直ブランク信号挿入手段をさらに備える
ことを特徴とする請求項９記載の帯域合成装置。
【請求項１２】
上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻が現ピクチャの各サブバンドの下端ラインの合成フィルタリングを行う時刻よりも後になるように、次ピクチャの１つ以上の分割レベルのサブバンドの上端の１つ以上のラインの合成フィルタリングを所定期間停止することを特徴とする請求項９記載の帯域合成装置。
【請求項１３】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程とを有し、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする帯域合成方法。
【請求項１４】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
を有する帯域合成処理をコンピュータに実行させることを特徴とするプログラムであって、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とするプログラム。
【請求項１５】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
を有する帯域合成処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする記録媒体。
【請求項１６】
複数のピクチャで構成される動画像信号を入力する入力手段と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段と、
上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化手段とを備え、
上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする画像符号化装置。
【請求項１７】
上記符号化手段は、上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを量子化して量子化係数データを生成する量子化手段と、生成された量子化係数データをエントロピー符号化し、符号化コードストリームを生成するエントロピー符号化手段とを有することを特徴とする請求項１６記載の画像符号化装置。
【請求項１８】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程とを有し、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする画像符号化方法。
【請求項１９】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程と
を有する画像符号化処理をコンピュータに実行させることを特徴とするプログラムであって、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とするプログラム。
【請求項２０】
複数のピクチャで構成される動画像信号を入力する入力工程と、
各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換工程と、
上記ウェーブレット変換工程にて生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化工程と
を有する画像符号化処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記ウェーブレット変換工程では、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う
ことを特徴とする記録媒体。
【請求項２１】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力手段と、
上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号手段と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、
上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする画像復号装置。
【請求項２２】
上記復号手段は、上記符号化コードストリームをエントロピー復号して上記複数のサブバンドの量子化係数データを生成するエントロピー復号手段と、生成された量子化係数データを逆量子化して上記複数のサブバンドの係数データを生成する逆量子化手段とを有することを特徴とする請求項２１記載の画像復号装置。
【請求項２３】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程とを有し、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする画像復号方法。
【請求項２４】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
を有する画像復号処理をコンピュータに実行させることを特徴とするプログラムであって、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とするプログラム。
【請求項２５】
動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力工程と、
上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号工程と、
上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換工程と
を有する画像復号処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
上記ウェーブレット逆変換工程では、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う
ことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を構成する各ピクチャをフィルタバンクによって帯域分析し、複数のサブバンドに分割する帯域分析装置及びその方法、複数のサブバンドに分割されたピクチャをフィルタバンクによって帯域合成する帯域合成装置及びその方法、動画像を構成する各ピクチャをフィルタバンクによって帯域分析して符号化し、符号化コードストリームを生成する画像符号化装置及びその方法、符号化コードストリームを復号し、フィルタバンクによって帯域合成し、動画像を復元する画像復号装置及びその方法、並びにプログラム及び記録媒体に関する。
【背景技術】
【０００２】
従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（Descrete Cosine Transform；ＤＣＴ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年ではフィルタバンクと呼ばれる低域フィルタと高域フィルタとを組み合わせたフィルタによって画像を複数の帯域（サブバンド）に分割し、サブバンド毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴ変換のように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴ変換に代わる新たな技術として有力視されている。
【０００４】
２００１年１月に国際標準化が完了したＪＰＥＧ２０００方式は、このウェーブレット変換と、高能率なエントロピー符号化（ビットプレーン単位のビットモデリングと算術符号化）とを組み合わせた方式を採用しており、ＪＰＥＧ方式に比べて符号化効率の大きな改善を実現している。
【０００５】
【特許文献１】特開２００１−１９７４９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、ＪＰＥＧ２０００方式は、基本的に静止画像を符号化するための規格であり、衛星画像や地図画像、証明用写真の画像等に応用が期待されているが、動画像を構成する各ピクチャをＪＰＥＧ２０００方式に従って符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００方式も、ＪＰＥＧ２０００方式の拡張版のパート３規格として標準化されている。
【０００７】
しかしながら、ビデオ信号等の動画像をＪＰＥＧ２０００方式で符号化するためには、連続して入力される各ピクチャをリアルタイムに符号化しなければならない。特に、ＪＰＥＧ２０００方式で用いられているウェーブレット変換は、圧縮効率を向上させるために、各ピクチャを所望の分割レベルまで帯域分割することが一般的であるため、現ピクチャの最終分割レベルの分析フィルタリングを次ピクチャが入力される前に終了していなければならない。
【０００８】
このことは、ＪＰＥＧ２０００方式に限らず、動画像を構成する各ピクチャをウェーブレット変換によって複数のサブバンドに分割し、サブバンド毎に符号化を行う他の画像圧縮方式においても同様である。
【０００９】
ここで、専用のハードウェアの場合には、ハードウェアの処理クロック数を上げてウェーブレット変換の動作速度を向上させることで対応可能であるが、処理クロック数を上げると消費電力が大きくなるという問題がある。また、ＦＰＧＡ（Field Programmable Gate Array）やＰＬＤ（Programmable Logic Device）などのプログラマブルなハードウェアでは、処理クロックが低いために対応できないという問題もある。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換する帯域分析装置及びその方法、帯域合成装置及びその方法、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換しながら符号化・復号する画像符号化装置及びその方法、画像復号装置及びその方法、並びにプログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した目的を達成するために、本発明に係る帯域分析装置は、複数のピクチャで構成される動画像信号を入力する入力手段と、各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段とを備え、上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことを特徴とする。
【００１２】
また、上述した目的を達成するために、本発明に係る帯域合成装置は、動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより生成した複数のサブバンドの係数データを入力する入力手段と、上記複数のサブバンドの係数データに対して、各サブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことを特徴とする。
【００１３】
また、上述した目的を達成するために、本発明に係る画像符号化装置は、複数のピクチャで構成される動画像信号を入力する入力手段と、各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより、複数のサブバンドを生成するウェーブレット変換手段と、上記ウェーブレット変換手段によって生成された複数のサブバンドの係数データを符号化し、符号化コードストリームを生成する符号化手段とを備え、上記ウェーブレット変換手段は、次ピクチャの上端ラインの分析フィルタリングを行う時刻よりも前に現ピクチャの下端ラインの分析フィルタリングが終了するように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことを特徴とする。
【００１４】
また、上述した目的を達成するために、本発明に係る画像復号装置は、動画像信号を構成する各ピクチャに対して、上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の分析フィルタリングを所望の分割レベルまで階層的に行うことにより複数のサブバンドを生成し、該複数のサブバンドの係数データを符号化して生成された符号化コードストリームを入力する入力手段と、上記符号化コードストリームを復号して上記複数のサブバンドの係数データを生成する復号手段と、上記複数のサブバンドの係数データに対して、各分割レベルのサブバンドの上端ライン側から下端ライン側に向けて所定ライン数毎に垂直方向及び水平方向の合成フィルタリングを階層的に行うことにより、上記動画像信号の各ピクチャを生成するウェーブレット逆変換手段とを備え、上記ウェーブレット逆変換手段は、次ピクチャの各サブバンドの上端ラインの合成フィルタリングを行う時刻よりも前に現ピクチャの各サブバンドの下端ラインの合成フィルタリングが終了するように、現ピクチャの各サブバンドの下端ラインで対称拡張される補填元のサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことを特徴とする。
【００１５】
また、本発明に係るプログラムは、上述した帯域分析処理、帯域合成処理、画像符号化処理、画像復号処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【発明の効果】
【００１６】
本発明によれば、次ピクチャをウェーブレット変換・ウェーブレット逆変換する時刻よりも前に現ピクチャのウェーブレット変換・ウェーブレット逆変換が終了するため、動画像信号をリアルタイムにウェーブレット変換・ウェーブレット逆変換することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００１８】
（第１の実施の形態）
第１の実施の形態では、入力されたビデオ信号を分析フィルタバンクによって帯域分析し、複数のサブバンドに分割する帯域分析装置について説明する。
【００１９】
第１の実施の形態における帯域分析装置の概略構成を図１に示す。図１に示すように、帯域分析装置１０は、画像ライン入力部１１と、ラインバッファ部１２と、垂直分析フィルタ部１３と、水平分析フィルタ部１４とから構成されている。
【００２０】
画像ライン入力部１１は、ビデオ信号Ｄ１０をライン毎に入力し、画像ラインのデータ列Ｄ１１をラインバッファ部１２に供給する。
【００２１】
ビデオ信号は通常規格で定められており、例えば現在我々が視聴しているテレビジョン放送の規格はＮＴＳＣ（National Television Standards Committee）方式である。また、ＨＤＴＶ（High Definition TeleVision）方式は、米国の規格化団体ＳＭＰＴＥ（The Society of Motion Picture and Television Engineers）によってＳＭＰＴＥ２７４Ｍという規格番号で標準化されている。以下ではＨＤＴＶ方式（１９２０×１０８０の解像度）を例に取って説明する。
【００２２】
ＨＤＴＶ方式のＳＭＰＴＥ２７４Ｍ規格の信号のうち、インタレース信号の信号分布図を図２に示す。この図２において、上段は第１フィールド、下段は第２フィールドを示す。第１フィールドの実際の信号は、図中２２Ｈとある２２ライン分の垂直ブランク信号（V_BLK1）の後ろの図中の２１ライン目から５６０ライン目まで（５６０−２１＋１＝５４０ライン）に位置する。一方、第２フィールドの実際の信号は、図中２３Ｈとある２３ライン分の垂直ブランク信号（V_BLK2）の後ろの図中の５８４ライン目から１１２３ライン目まで（１１２３−５８４＋１＝５４０ライン）に位置する。
【００２３】
このように、ビデオ信号は、実際のデータの前後に垂直ブランク信号が存在している。第１、第２フィールドの実画像領域とブランク領域とを図３に示す。この図３には、上述のV_BLK1、V_BLK2についても併せて図示している。
【００２４】
なお、帯域分析装置１０におけるウェーブレット変換は、ビデオ信号を構成するピクチャ（フィールド、フレーム）単位で行われるため、ピクチャの終端を検出し、分析フィルタリングの動作をリセットする必要がある。そこで、画像ライン入力部１１は、ビデオ信号の垂直ブランク信号を検出することにより、ピクチャの終端を検出する。
【００２５】
ラインバッファ部１２は、画像ラインのデータ列Ｄ１１をライン毎に記憶・保持し、図４に示すように、垂直フィルタリングに必要なライン数（Ｎライン）分だけ記憶するまで、これを継続する。
【００２６】
垂直分析フィルタ部１３は、Ｎライン分のラインデータＤ１２を順次読み出し、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、図５に示すように、垂直分割結果の低域成分（Ｌ）及び高域成分（Ｈ）Ｄ１３が生成される。
【００２７】
水平分析フィルタ部１４は、低域成分及び高域成分Ｄ１３の水平方向のサンプル数が水平フィルタリングに必要なサンプル数（Ｍサンプル）になり次第、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、図６に示すように、水平分割結果の低域成分（１ＬＬ）Ｄ１４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１５とが生成される。なお、図６における“Ｌ”及び“Ｈ”の順序は、前側が水平フィルタリングを行った結果の帯域を示し、後側が垂直フィルタリングを行った結果の帯域を示す。また、“Ｌ”及び“Ｈ”の前の数字は分割レベルを示す。
【００２８】
以上が分割レベル＝１の分析フィルタリングであり、この結果、垂直フィルタ部１４において低域成分（１ＬＬ）Ｄ１４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ１５とが生成される。
【００２９】
通常、ウェーブレット変換では、所望の分割レベルまで低域成分が階層的に分割される。したがって、本実施の形態においても、低域成分（１ＬＬ）Ｄ１４は、分析フィルタバンクによってさらに分割するため、ラインバッファ部１２に供給される。そして、ラインバッファ部１２において再び垂直方向の分析フィルタリングが可能になるだけのライン数がバッファリングされた時点で、直ちに分割レベル＝２の分析フィルタリングが行われる。このように、低域成分が繰り返し分割されるのは、画像信号のエネルギの大部分が低域成分に集中しているためである。
【００３０】
分割レベル＝２の分析フィルタリングでは、垂直分析フィルタ部１３は、図６に示すように、Ｎ／２ライン分のラインデータＤ１２を順次読み出し、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。そして、水平分析フィルタ部１４は、低域成分及び高域成分Ｄ１３の水平方向のサンプル数がＭサンプルになり次第、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、図７に示すように、低域成分（２ＬＬ）と、高域成分（２ＨＬ、２ＬＨ、２ＨＨ）とが生成される。図７から分かるように、分割レベル＝１の１ＬＬのサブバンドが、２ＬＬ、２ＨＬ、２ＬＨ、２ＨＨの４つのサブバンドに分割され、計７つのサブバンドが生成されている。
【００３１】
さらに分割レベル数を増やす場合には、低域成分に対して繰り返し分析フィルタリングを行えばよい。実際の画像を分析フィルタリングによって分割レベル＝３まで帯域分割した例を図８に示す。
【００３２】
なお、ラインバッファ部１２に記憶・保持される各サブバンドのライン数Ｎは、分割レベルが１つ小さくなる毎に２倍になる。したがって、図８のように、分割レベル＝３のサブバンドにおけるライン数が１ラインであるとき、分割レベル＝２のサブバンドでは２ラインとなり、分割レベル＝１では４ラインとなる。これは、ウェーブレット変換の原理に起因する。
【００３３】
ここで、上述した分析フィルタリングで最も一般的な演算方法は、畳み込み演算と呼ばれる方法である。この畳み込み演算は、デジタルフィルタの最も基本的な実現手段であり、フィルタのタップ係数に実際の入力データを畳み込み乗算するものである。しかしながら、この畳み込み演算では、タップ長が長いとその分計算負荷が増えるという問題がある。
【００３４】
この問題を解決する方法として、論文「W. Swelden,“The lifting scheme: A custom-design construction of Biorthogonal wavelets.”, Appl. Comput. Harmon. Anal., vol.3, no.2, pp.186-200, 1996」で紹介されたウェーブレット変換のリフティング技術が知られている。
【００３５】
ＪＰＥＧ２０００規格でも採用されている９×７分析フィルタのリフティング構成を図９に示す。９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングについて、この図９を用いて概略的に説明する。
【００３６】
図９において、１段目（最上段）は入力画像のサンプル群を示し、２，３段目はそれぞれステップ１，２の処理で生成される成分を示す。また、４段目はステップ３の処理で生成される高域成分出力を示し、５段目（最下段）はステップＳ４の処理で生成される低域成分出力を示す。１段目は、入力画像のサンプル群に限らず、先の分析フィルタリングで得られた係数であってもよい。ここでは、１段目が入力画像のサンプル群であるものとし、四角印（■）が偶数番目のサンプル又はライン、丸印（●）が奇数番目のサンプル又はラインとする。
【００３７】
９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングでは、ステップ３の処理で高域成分が得られ、ステップ４の処理で低域成分が得られる。なお、ステップ１〜４の処理は、以下の計算式で表される。
ステップ１：ｄｉ１＝ｄｉ０＋α（ｓｉ０＋ｓｉ＋１０）
ステップ２：ｓｉ１＝ｓｉ０＋β（ｄｉ−１１＋ｄｉ１）
ステップ３：ｄｉ２＝ｄｉ１＋γ（ｓｉ１＋ｓｉ＋１１）
ステップ４：ｓｉ２＝ｓｉ１＋δ（ｄｉ−１２＋ｄｉ２）
この図９に示すリフティング構成を利用した分析フィルタリングにより、１つの分割レベルでの分析が行えるため、これを多段階に行うことで所望の分割レベルまでの分析フィルタリングを行うことができる。
【００３８】
なお、以下の説明では、例えば表示デバイス等において画面の左上隅の画素を先頭として、各画素が画面の左端から右端に向けて走査されて１ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて１画面が構成されるものとする。
【００３９】
９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル＝２まで行った例を図１０に示す。図９と異なり、図１０では入力画像のラインを図中縦方向に示している。すなわち、分析フィルタリングは、垂直分析フィルタを用いて画面上をサンプルが縦に走査されて行われる。
【００４０】
分割レベル＝１の分析フィルタリングでは、図中上から下の方向に、高域成分（１）→低域成分（２）→高域成分（３）→低域成分（４）→・・・の順序で各成分が生成される。また、分割レベル＝２の分析フィルタリングでは、図中上から下の方向に、高域成分（１）→低域成分（２）→高域成分（３）→低域成分（４）→・・・の順序で各成分が生成される。なお、実際には分析レベル＝１の分析フィルタリングを行いながら分析レベル＝２の分析フィルタリングが行われるが、ここでは説明を省略する。
【００４１】
図１０から分かるように、分割レベル＝２で高域成分及び低域成分が生成されるタイミングは、分割レベル＝１で高域成分及び低域成分が生成されるタイミングの２倍に遅くなっている。これは、リフティング構成を利用した分析フィルタリングの特徴でもある。
【００４２】
前述したように、ウェーブレット変換では各ピクチャを所望の分割レベルまで帯域分割することが一般的である。しかしながら、上述のように分割レベルが大きくなるほど高域成分及び低域成分の生成されるタイミングが２倍ずつ遅くなるため、ビデオ信号Ｄ１０をウェーブレット変換する場合には、現ピクチャのウェーブレット変換が図２に示した垂直ブランク期間内に終了せず、次ピクチャが入力される虞がある。
【００４３】
現ピクチャのウェーブレット変換が、次ピクチャが入力されるまでに終了しない例を図１１に示す。この図１１では、現ピクチャと次ピクチャとをウェーブレット変換するときの分割レベル＝４までの処理を時系列的に示している。図中のライン番号は、図２のＳＭＰＴＥ２７４Ｍ規格から引用したものである。図１１に示すように、次ピクチャの分割レベル＝１の分析フィルタリングが行われる時点で、現ピクチャの分割レベル＝３，４の分析フィルタリングが終了していない。
【００４４】
そこで、本実施の形態における帯域分析装置１０では、図１２に示すように、現ピクチャの各分割レベルの分析フィルタリングにおいて、下端ラインの分析フィルタリングのタイミングを早める。これにより、次ピクチャの分割レベル＝１の分析フィルタリングが行われる時点までに、現ピクチャの分割レベル＝４までの分析フィルタリングを終了させることができる。
【００４５】
以下、現ピクチャの各分割レベルの分析フィルタリングにおいて、下端ラインの分析フィルタリングのタイミングを早める方法について説明する。
【００４６】
図１０と同様に、９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル＝４まで行った例を図１３に示す。この図１３では、現ピクチャの下端１１２３ライン目と、その後ろの２２ラインの垂直ブランク信号、さらにその後ろの２１ライン目からの次ピクチャのサンプルが示されている。
【００４７】
分割レベル＝１の下端ラインの分析フィルタリングでは、図中の（１０）→（１１）→（１２）の順序で各成分が生成され、最後に高域成分（１３）と低域成分（１４）とが生成される。同様に、分割レベル＝２の下端ラインの分析フィルタリングでは、図中の（２０）→（２１）→（２２）の順序で各成分が生成され、最後に高域成分（２３）と低域成分（２４）とが生成される。分割レベル＝３の下端ラインの分析フィルタリングでは、図中の（３０）→（３１）→（３２）の順序で各成分が生成され、最後に高域成分（３３）と低域成分（３４）とが生成される。また、分割レベル＝４の下端ラインの分析フィルタリングでは、図中の（４０）→（４１）→（４２）の順序で各成分が生成され、最後に高域成分（４３）と低域成分（４４）とが生成される。
【００４８】
この図１３では、現ピクチャからブランク期間内の画素に向けて矢印があるが、これはサンプルが対称拡張されたことを意味している。ここで、対称拡張とは、ピクチャ又はサブバンドの境界領域で分析フィルタリングを行う際、実際にサンプルが存在しない部分を画像領域から対称拡張して補填するものである。その結果、補填されたサンプルと補填元のサンプルとは鏡像関係の位置にあることになる。また、図１３において、現ピクチャの領域内で例えば（１０’）という成分は、ブランク期間内の（１０）という成分の補填元になったことを意味している。同様に、分割レベル＝１では、（１１’）→（１１）、（１２’）→（１２）、（１３’）→（１３）、（１４’）→（１４）という対称拡張が行われる。他の分割レベルについても同様である。
【００４９】
図１３では、分割レベル＝４の分析フィルタリングはブランク期間内に終了しているが、分割レベル＝５まで分析フィルタリングを行った場合には、ブランク期間内に終了しないことになる。また、ブランク期間のライン数が少ない場合にも同様の問題が生じる。
【００５０】
そこで、本実施の形態における帯域分析装置１０では、この下端ラインでの対称拡張処理のタイミングを早めることにより、現ピクチャの下端ラインでの分析フィルタリングのタイミングを早める。すなわち、図１４に示すように、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行う。
【００５１】
これにより、帯域分析装置１０では、分割レベル数が大きい場合等であっても、次ピクチャの上端ラインの分析フィルタリングを行う前に、現ピクチャの最終分割レベルまでの分析フィルタリングを終了することができる。
【００５２】
（第２の実施の形態）
第２の実施の形態では、ウェーブレット変換により生成される係数データを圧縮符号化する画像符号化装置について説明する。
【００５３】
第２の実施の形態における画像符号化装置の概略構成を図１５に示す。図１５に示すように、画像符号化装置２０は、分析フィルタバンク部２１と、量子化部２２と、エントロピー符号化部２３と、レート制御部２４とから構成されている。
【００５４】
分析フィルタバンク部２１は、図１に示した帯域分析装置１０と同様の構成とされる。すなわち、分析フィルタバンク部２１は、入力したビデオ信号Ｄ２０に対して分析フィルタリングを行い、分析後の係数データＤ２１を量子化部２２に供給する。特に、分析フィルタバンク部２１は、現ピクチャ及び現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの分析フィルタリングを行うことにより、次ピクチャの先頭ラインの分析フィルタリングを行う前に、現ピクチャの最終分割レベルまでの分析フィルタリングを終了させる。
【００５５】
量子化部２２は、分析フィルタバンク部２１によって生成される係数データＤ２１を例えば量子化ステップサイズで除算することにより量子化し、量子化係数データＤ２２を生成する。
【００５６】
エントロピー符号化部２３は、量子化部２２で生成された量子化係数データＤ２２を情報源符号化し、圧縮された符号化コードストリームＤ２３を生成する。情報源符号化としては、例えばＪＰＥＧ方式やＭＰＥＧ（Moving Picture Experts Group）方式で用いられているハフマン符号化や、ＪＰＥＧ２０００方式で用いられているさらに高精度な算術符号化を用いることができる。
【００５７】
レート制御部２４は、最終的に目標のビットレート又は圧縮率に合わせるための制御を行い、レート制御後の符号化コードストリームＤ２４を外部に出力する。例えば、このレート制御部２４は、ビットレートを上げる場合には量子化ステップサイズを小さくし、ビットレートを下げる場合には量子化ステップサイズを大きくするように、量子化部２２に対して制御信号Ｄ２５を送信する。
【００５８】
（第３の実施の形態）
第３の実施の形態では、第１の実施の形態における帯域分析装置１０に対応した帯域合成装置について説明する。
【００５９】
第３の実施の形態における帯域合成装置の概略構成を図１６に示す。図１６に示すように、帯域合成装置３０は、コラムバッファ部３１と、水平合成フィルタ部３２と、ラインバッファ部３３と、垂直合成フィルタ部３４と、垂直ブランク信号挿入部３５とから構成されている。
【００６０】
コラムバッファ部３１は、低域成分Ｄ３０及び高域成分Ｄ３１をコラム（列）毎に記憶・保持し、Ｍサンプル分だけ記憶するまで、これを継続する。なお、ラインバッファ部３１に低域成分Ｄ３０が入力されるのは最低域のサブバンドについてのみであり、以降は合成フィルタリングによって生成された低域成分Ｄ３５が垂直合成フィルタ部３４から供給される。
【００６１】
水平合成フィルタ部３２は、Ｍサンプル分のコラムデータＤ３２を順次読み出し、水平方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この水平フィルタリングにより、水平合成結果の低域成分及び高域成分Ｄ３３が生成される。
【００６２】
ラインバッファ３３は、水平合成結果の低域成分及び高域成分Ｄ３３をライン毎に記憶・保持し、Ｎライン分だけ記憶するまで、これを継続する。
【００６３】
垂直合成フィルタ部３４は、Ｎライン分のラインデータＤ３４を順次読み出し、垂直方向の低域合成フィルタリングと高域合成フィルタリングとを行う。この垂直フィルタリングにより、垂直合成結果の低域成分Ｄ３５が生成される。この低域成分Ｄ３５は、コラムバッファ部３１に供給され、次の分割レベルの合成フィルタリングが実行されるまで記憶・保持される。
【００６４】
ウェーブレット逆変換では、例えば分割レベル＝４から分割レベル＝１まで、ウェーブレット変換とは逆の順序で合成フィルタリングが行われる。そして、低域成分Ｄ３５と高域成分Ｄ３１とから１段階小さい分割レベルでの低域信号を生成する処理を繰り返すことにより、最終的に画像データ列Ｄ３５が生成される。この画像データ列Ｄ３５は、垂直ブランク信号挿入部３５に供給される。
【００６５】
垂直ブランク信号挿入部３５は、図２に示したように、画像データ列Ｄ３５に対して所定のタイミングで垂直ブランク信号を挿入し、生成したビデオ信号Ｄ３６を外部に出力する。
【００６６】
ここで、合成フィルタリングにおいては、上述と同様にリフティング技術が適用される。しかしながら、リフティング構成を利用した合成フィルタリングでは、分割レベルが大きくなるほど高域成分及び低域成分の生成されるタイミングが２倍ずつ遅くなるため、現ピクチャのウェーブレット逆変換が図２に示した垂直ブランク期間内に終了せず、次ピクチャが入力される虞がある。
【００６７】
現ピクチャのウェーブレット逆変換が、次ピクチャが入力されるまでに終了しない例を図１７に示す。この図１７では、現ピクチャと次ピクチャとをウェーブレット逆変換するときの分割レベル＝４までの処理を時系列的に示している。図中のライン番号は、図２のＳＭＰＴＥ２７４Ｍ規格から引用したものである。図１７に示すように、次ピクチャの分割レベル＝１の合成フィルタリングが行われる時点で、現ピクチャの分割レベル＝２，１の分析フィルタリングが終了していない。
【００６８】
そこで、本実施の形態における帯域合成装置１０では、図１８に示すように、現ピクチャの各分割レベルの合成フィルタリングにおいて、下端ラインの合成フィルタリングのタイミングを早める。これにより、次ピクチャの分割レベル＝４の合成フィルタリングが行われる時点までに、現ピクチャの分割レベル＝１までの合成フィルタリングを終了させることができる。なお、図１８では、さらに次ピクチャの所定の１つ以上の分割レベル（分割レベル＝４，３）の合成フィルタリングのタイミングを遅らせている。
【００６９】
以下、現ピクチャの各分割レベルの合成フィルタリングにおいて、下端ラインの合成フィルタリングのタイミングを早める方法について説明する。
【００７０】
９×７合成フィルタに対してリフティング技術を適用したときの合成フィルタリングを分割レベル＝４から分割レベル１まで行った例を図１９に示す。
【００７１】
分割レベル＝４の下端ラインの分析フィルタリングでは、図中の（４０）→（４１）→（４２）の順序で各成分が生成され、最後に低域成分（４３）と高域成分（４４）とが生成される。同様に、分割レベル＝３の下端ラインの分析フィルタリングでは、図中の（３０）→（３１）→（３２）の順序で各成分が生成され、最後に低域成分（３３）と高域成分（３４）とが生成される。分割レベル＝３の下端ラインの分析フィルタリングでは、図中の（２０）→（２１）→（２２）の順序で各成分が生成され、最後に低域成分（２３）と高域成分（２４）とが生成される。また、分割レベル＝１の下端ラインの分析フィルタリングでは、図中の（１０）→（１１）→（１２）の順序で各成分が生成され、最後に低域成分（１３）と高域成分（１４）とが生成される。
【００７２】
この図１９では、分割レベル＝４の合成フィルタリングがブランク期間内に終了しておらず、この結果、次ピクチャが入力されるまでに現ピクチャのウェーブレット逆変換が終了しない。
【００７３】
そこで、本実施の形態における帯域合成装置３０では、下端ラインでの対称拡張処理のタイミングを早めることにより、現ピクチャの下端ラインでの合成フィルタリングのタイミングを早める。すなわち、図２０に示すように、現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行う。
【００７４】
さらに、本実施の形態における帯域合成装置３０では、図１８に示したように、次ピクチャの所定の１つ以上の分割レベルの合成フィルタリングのタイミングを遅らせることにより、現ピクチャのウェーブレット逆変換と次ピクチャのウェーブレット逆変換とで時間的な重なりが生じないようにする。すなわち、図２１に示すように、例えば分割レベル＝４，３の上端の１つ以上のラインの合成フィルタリングを停止することにより、現ピクチャのウェーブレット逆変換との間で時間的な重なりが生じないようにする。その後は、その１つ以上のラインの合成フィルタリングを含め、合成フィルタリングの処理タイミングを早めることにより、さらに次のピクチャとの間での時間的な重なりを防止する。
【００７５】
これにより、帯域合成装置３０では、分割レベル数が大きい場合等であっても、次ピクチャの上端ラインの合成フィルタリングを行う前に、現ピクチャの分割レベル＝１までの合成フィルタリングを終了することができる。
【００７６】
なお、下端ラインでの対称拡張処理のタイミングを早めるのみで、現ピクチャのウェーブレット逆変換と次ピクチャのウェーブレット逆変換とで時間的な重なりが生じなくなる場合には、図２１に示したように次ピクチャの所定の分割レベルの合成フィルタリングのタイミングを遅らせなくても構わない。
【００７７】
（第４の実施の形態）
第４の実施の形態では、第２の実施の形態における画像符号化装置２０に対応した画像復号装置について説明する。
【００７８】
第４の実施の形態における画像復号装置の概略構成を図２２に示す。図２２に示すように、画像復号装置４０は、エントロピー復号部４１と、逆量子化部４２と、合成フィルタバンク部４３とから構成されている。
【００７９】
エントロピー復号部４１は、入力した符号化コードストリームＤ４０を情報源復号し、量子化係数データＤ４１を生成する。情報源復号としては、上述したように、ハフマン復号や高効率な算術復号などを用いることができる。
【００８０】
逆量子化部４２は、量子化係数データＤ４１に量子化ステップサイズを乗算することにより逆量子化し、係数データＤ４２を生成する。この量子化ステップサイズは、通常、符号化コードストリームのヘッダなどに記述されている。
【００８１】
合成フィルタバンク部４３は、図１６に示した帯域合成装置３０と同様の構成とされる。すなわち、合成フィルタバンク部４３は、係数データＤ４２に対して合成フィルタリングを行って画像データ列を生成し、さらに垂直ブランク信号を挿入して、生成したビデオ信号Ｄ４３を外部に出力する。特に、合成フィルタバンク部４３は、現ピクチャの各サブバンドの下端ラインで対称拡張の補填元になるサンプルが生成され次第、対称拡張処理を行い、各分割レベルでの合成フィルタリングを行うことにより、次ピクチャの先頭ラインの合成フィルタリングを行う前に、現ピクチャの分割レベル＝１までの合成フィルタリングを終了させる。この際、合成フィルタバンク部４３は、上述と同様に次ピクチャの所定の１つ以上の分割レベルの合成フィルタリングのタイミングを遅らせるようにしても構わない。
【００８２】
以上、本発明を実施するための最良の形態について説明したが、本発明は上述した第１〜第４の実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００８３】
例えば、上述した第１の実施の形態における帯域分析装置１０では、垂直フィルタリングを行った後に水平フィルタリングを行うものとして説明したが、水平フィルタリングを行った後に垂直フィルタリングを行うようにしても構わない。この場合の帯域分析装置の概略構成を図２３に示す。
【００８４】
帯域分析装置５０において、画像ライン入力部５１は、ビデオ信号Ｄ５０をライン毎に入力し、画像ラインのデータ列Ｄ５１をコラムバッファ部５２に供給する。コラムバッファ部５２は、画像ラインのデータ列Ｄ５１をコラム毎に記憶・保持し、Ｍサンプル分だけ記憶するまで、これを継続する。水平分析フィルタ部５３は、Ｍサンプル分のコラムデータＤ５２を順次読み出し、水平方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この水平フィルタリングにより、水平分割結果の低域成分及び高域成分Ｄ５３が生成される。垂直分析フィルタ部５４は、低域成分及び高域成分Ｄ５３のライン数がＮラインになり次第、垂直方向の低域分析フィルタリングと高域分析フィルタリングとを行う。この垂直フィルタリングにより、垂直分割結果の低域成分（１ＬＬ）Ｄ５４と、高域成分（１ＨＬ、１ＬＨ、１ＨＨ）Ｄ５５とが生成される。低域成分（１ＬＬ）Ｄ５４は、分割レベル＝２の分析フィルタリングを行うため、コラムバッファ部５２に供給される。
【００８５】
このように、垂直フィルタリングを行った後に水平フィルタリングを行った場合であっても、水平フィルタリングを行った後に垂直フィルタリングを行った場合であっても、生成されるサブバンドは同一である。
【００８６】
また、上述した実施の形態では、ハードウェアの構成として説明したが、一連の処理をソフトウェアにより実行するようにしても構わない。この場合、そのソフトウェアを構成するプログラムをコンピュータの専用ハードウェア、例えばＲＯＭ（Read Only Memory）やハードディスクに予め組み込むようにしてもよく、また、各種プログラムをインストールすることで各種機能を実行することが可能な汎用のパーソナルコンピュータなどに対して、ネットワークや記録媒体を介してインストールするようにしてもよい。記録媒体としては、例えば磁気ディスク（フレキシブルディスクを含む）、光ディスク（ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）及びＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク（ＭＤ（Mini-Disk）（商標）を含む）、或いは半導体メモリなどのパッケージメディアが利用可能である。
【産業上の利用可能性】
【００８７】
以上説明した本発明は、動画像を圧縮して伝送し、受信して伸長する装置に好適に適用することができる。具体的には、モバイル通信機、テレビジョン会議システム、監視カメラ・レコーダシステム、医用遠隔医療診断、放送局内のビデオ圧縮・伝送、ライブ映像の配信、生徒と教師間のインタラクティブ通信、無線での画像伝送、対話型ゲームアプリケーション等に適用可能である。
【図面の簡単な説明】
【００８８】
【図１】第１の実施の形態における帯域分析装置の概略構成を示す図である。
【図２】ＳＭＰＴＥ２７４Ｍ規格の信号のうちインタレース信号の信号分布図と、垂直ブランク信号の挿入位置とを示す図である。
【図３】第１、第２フィールドの実画像領域とブランク領域とを示す図である。
【図４】Ｎライン毎にバッファリングする様子を示す図である。
【図５】分割レベル＝１の分析フィルタリングにおける垂直フィルタリングを説明する図である。
【図６】分割レベル＝１の分析フィルタリングにおける水平フィルタリングを説明する図である。
【図７】分割レベル＝２まで分析フィルタリングを行った結果を示す図である。
【図８】実際の画像に対して分割レベル＝３まで分析フィルタリングを行った結果を示す図である。
【図９】９×７分析フィルタのリフティング構成を示す図である。
【図１０】９×７分析フィルタに対してリフティング技術を適用したときの分析フィルタリングを分割レベル＝２まで行った例を示す図である。
【図１１】従来において、現ピクチャのウェーブレット変換が次ピクチャが入力されるまでに終了しない例を示す図である。
【図１２】本実施の形態において、下端ラインの分析フィルタリングのタイミングを早めることにより、現ピクチャのウェーブレット変換が次ピクチャが入力されるまでに終了する例を示す図である。
【図１３】従来における、現ピクチャの下端ラインでの分析フィルタリングのタイミングを示す図である。
【図１４】本実施の形態における、現ピクチャの下端ラインでの分析フィルタリングのタイミングを示す図である。
【図１５】第２の実施の形態における画像符号化装置の概略構成を示す図である。
【図１６】第３の実施の形態における帯域合成装置の概略構成を示す図である。
【図１７】従来において、現ピクチャのウェーブレット逆変換が次ピクチャが入力されるまでに終了しない例を示す図である。
【図１８】本実施の形態において、下端ラインの合成フィルタリングのタイミングを早めることにより、現ピクチャのウェーブレット逆変換が次ピクチャが入力されるまでに終了する例を示す図である。
【図１９】従来における、現ピクチャの下端ラインでの合成フィルタリングのタイミングを示す図である。
【図２０】本実施の形態における、現ピクチャの下端ラインでの合成フィルタリングのタイミングを示す図である。
【図２１】次ピクチャの所定の１つ以上の分割レベルの合成フィルタリングのタイミングを遅らせる例を示す図である。
【図２２】第４の実施の形態における画像復号装置の概略構成を示す図である。
【図２３】帯域分析装置の他の構成を示す図である。
【符号の説明】
【００８９】
１０  帯域分析装置、１１  画像ライン入力部、１２  ラインバッファ部、１３  垂直分析フィルタ部、１４  水平分析フィルタ部、２０  画像符号化装置、２１  分析フィルタバンク部、２２  量子化部、２３  エントロピー符号化部、２４  レート制御部、３０  帯域合成装置、３１  コラムバッファ部、３２  水平合成フィルタ部、３３  ラインバッファ部、３４  垂直合成フィルタ部、３５  垂直ブランク信号挿入部、４０  画像復号装置、４１  エントロピー復号部、４２  逆量子化部、４３  合成フィルタバンク部
【図１】
2007311924.tif 000003
【図２】
2007311924.tif 000004
【図３】
2007311924.tif 000005
【図４】
2007311924.tif 000006
【図５】
2007311924.tif 000007
【図６】
2007311924.tif 000008
【図７】
2007311924.tif 000009
【図８】
2007311924.tif 000010
【図９】
2007311924.tif 000011
【図１０】
2007311924.tif 000012
【図１１】
2007311924.tif 000013
【図１２】
2007311924.tif 000014
【図１３】
2007311924.tif 000015
【図１４】
2007311924.tif 000016
【図１５】
2007311924.tif 000017
【図１６】
2007311924.tif 000018
【図１７】
2007311924.tif 000019
【図１８】
2007311924.tif 000020
【図１９】
2007311924.tif 000021
【図２０】
2007311924.tif 000022
【図２１】
2007311924.tif 000023
【図２２】
2007311924.tif 000024
【図２３】
2007311924.tif 000025