(57)【要約】【課題】  動き補償付き時間方向帯域分割に基づく符号化方法では、符号化部と復号部にて異なる信号を扱うため、量子化雑音が他の画像に伝播され量子化雑音の最適制御処理の遅延が長くなる。【解決手段】  動画像を構成する複数画像における時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割手段と、時間方向高周波数帯域信号と時間方向低周波数帯域信号を所定の方法で符号化することで圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化手段とを具備し、時間方向帯域分割手段は、圧縮高周波数帯域信号を伸張することで復元高周波数帯域信号を生成する復号手段を含み、復元高周波数帯域信号と、第１の画像及び第２の画像のいずれかとから、時間方向低周波数帯域信号を生成する。【選択図】  図３
2005217940.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、
前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割手段と、
前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化手段とを具備する動画像符号化装置であって、
前記時間方向帯域分割手段は、前記圧縮高周波数帯域信号を伸張することで復元高周波数帯域信号を生成する復号手段を含み、前記復元高周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向低周波数帯域信号を生成することを特徴とする動画像符号化装置。
【請求項２】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、
前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割手段と、
前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化手段とを具備する動画像符号化装置であって、
前記時間方向帯域分割手段は、前記圧縮低周波数帯域信号を伸張することで復元低周波数帯域信号を生成する復号手段を含み、前記復元低周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向高周波数帯域信号を生成することを特徴とする動画像符号化装置。
【請求項３】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、
前記第１の画像から前記第２の画像を引き算することで、時間方向高周波数帯域信号を生成する引き算手段と、
前記時間方向高周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号を生成する符号化手段と、
前記圧縮高周波数帯域信号を所定の方法で伸張することで、復元高周波数帯域信号を生成する復号手段と、
前記第２の画像を増幅することで、増幅画像信号を生成する増幅手段と、
前記増幅画像信号と前記復元高周波数帯域信号とを加算することで、時間方向低周波数帯域信号を生成する加算手段と、
を具備することを特徴とする動画像符号化装置。
【請求項４】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、
前記第１の画像と第２の画像を加算することで、時間方向低周波数帯域信号を生成する加算手段と、
前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮低周波数帯域信号を生成する符号化手段と、
前記圧縮低周波数帯域信号を所定の方法で伸張することで、復元低周波数帯域信号を生成する復号手段と、
前記第１の画像を増幅することで、増幅画像信号を生成する増幅手段と、
前記増幅画像信号と前記復元低周波数帯域信号との差分を算出することで、時間方向高周波数帯域信号を生成する引き算手段と、
を具備することを特徴とする動画像符号化装置。
【請求項５】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力ステップと、
前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割ステップと、
前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化ステップとを具備する動画像符号化方法であって、
前記時間方向帯域分割ステップでは、
前記圧縮高周波数帯域信号を伸張することで復元高周波数帯域信号を生成し、
前記復元高周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向低周波数帯域信号を生成する、
ことを特徴とする動画像符号化方法。
【請求項６】
動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力ステップと、
前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割ステップと、
前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化ステップとを具備する動画像符号化方法であって、
前記時間方向帯域分割ステップでは、
前記圧縮低周波数帯域信号を伸張することで復元低周波数帯域信号を生成し、
前記復元低周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向高周波数帯域信号を生成する、
ことを特徴とする動画像符号化方法。
【請求項７】
請求項１〜４の何れか一項に記載の動画像符号化装置において実行される処理を、当該動画像符号化装置に備えたコンピュータに実行させるための動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化方法及び動画像符号化プログラムに関するもので、特に、動き補償付き時間方向帯域分割を用いた動画像符号化処理に関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために、圧縮符号化技術が用いられる。動画像の場合はＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。一方、サブバンド分割やウェーブレット分解の手法を用いた動画像符号化の方式もある。
【０００３】
サブバンドやウェーブレット符号化では、一枚の画像に対し、所定のフィルタ・バンクを用いて、画面内において複数の周波数帯域に分割した上で、各周波数帯域の信号を量子化して符号化を行う（以下、「画面内サブバンド符号化」と呼ぶ）。同様に、時間方向における帯域分割の手法もある。この場合、時間方法で隣り合う２枚の画像に、所定のフィルタをかけて、「時間方向高周波数帯域信号」と「時間方向低周波数帯域信号」に分解する。時間方向高周波数帯域信号は、上述した画面内サブバンド符号化方法やＭＰＥＧで用いられる離散コサイン変換を利用して符号化を行う。一方、時間方向低周波数帯域信号については、異なる２枚の画像から生成された別の時間方向低周波数帯域信号とを一組として、時間方向に所定のフィルタをかけて帯域分割を行う。この処理を、生成された時間方向低周波数帯域信号に繰り返し適用することによって、時間方向にスケーラブルな動画像符号化データを作ることができる。この場合、動画像符号化データより部分的なデータを取り出しても画像を再生できる長所がある。
【０００４】
時間方向帯域分割を行う際に、従来の動き検出・補償を施すこともある。この方法を「動き補償付き時間方向帯域分割」と呼ぶ。この手法を用いた符号化に関する方式は、下記の非特許文献１に記述されている。
【非特許文献１】Seung-Jong Choi and John W. Woods, “Motion-Compensated 3-D Subband Coding of Video”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 2, FEBRUARY 1999
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、上述した動き補償付き時間方向帯域分割に基づいた符号化方法においては、（ア）符号化部と復号部にて異なる信号を扱うことによる不整合が生じ、（イ）各画像における量子化雑音が他の画像に伝播され、（ウ）ビット数を最適に配分するには複数枚の画像にわたり解析を行う必要があり、遅延時間が長くなる課題がある。
【０００６】
図１は従来の動き補償付き時間方向帯域分割を用いた符号化装置、図２はその復号装置のブロック図を示す。図１に示す時間方向周波数帯域分割器１０２ａ、１０２ｂ、１０２ｃは同じ機能を有し、以下では時間方向周波数帯域分割器１０２ａについてのみ詳細を説明する。
【０００７】
図１に示すように、動画像を構成する時間方向に隣り合う２枚の画像ｘ０とｙ０の原画像を利用して、時間方向帯域分割を行い、時間方向高周波数帯域信号ｈ０と時間方向低周波数帯域信号ｒ０を生成する。具体的な処理について以下に説明する。時間方向周波数帯域分割器１０２ａにおいて、入力画像ｘ０が入力端子１０４ａに、入力画像ｙ０が入力端子１０５ａに入力される。次に動き検出・補償器１０６にて、入力画像ｘ０に合わせて入力画像ｙ０に動き検出・補償を施す。このように得られた動き補償の画像を、引き算器１０７にて入力画像ｘ０から減算され、高周波数帯域信号ｈ０を生成する。ｈ０は、信号変換器１１１と量子化器１１２にて、離散コサイン変換された後に量子化処理が施される。その結果は出力端子１１３ａより出力され、可変長符号化器（不図示）に送られエントロピー符号化される。
【０００８】
一方、動き検出・補償器１０９にて、引き算器１０７の出力であるｈ０に対し、入力画像ｙ０に合わせて動き検出・補償の処理が施される。同時に、入力画像ｙ０は増幅器１０８にて２倍増幅される。次に、加算器１１０では、動き補償されたｈ０と２倍増幅されたｙ０を加算することで、低周波数帯域画像ｒ０を生成する。このように生成された低周波数帯域画像ｒ０は次の階層にある時間方向周波数帯域分割器１０２ｃに入力される。
【０００９】
同様に、時間方向周波数帯域分割器１０２ｂでは、入力画像ｘ１とｙ１を、時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する。時間方向高周波数帯域信号はライン１２８ｂを経由して可変長符号化器（不図示）に送られ、時間方向低周波数帯域信号はライン１２９ｂを経由して時間方向周波数帯域分割器１０２ｃに入力される。時間方向周波数帯域分割器１０２ｃでは、その入力信号に対し上述と同じ処理が施される。
【００１０】
このように、時間方向周波数帯域分割器を多段に接続していくと、いわゆるスケーラブルな符号化データを生成することができる。
【００１１】
図２の復号装置では、エントロピー符号化されたデータが入力され、時間方向周波数帯域合成器２０１ａにて再生画像に復元される。入力端子２１０ａにて入力された信号は可変長復号処理が施されたものとする。この入力信号は逆量子化器２０３にて逆量子化され、逆信号変換器２０４にて逆離散コサイン変換される。逆離散コサイン変換された信号は、動き補償器２０５にて動き補償された後に、入力端子２１１ａから入力された信号から減算され、差分信号を生成する。この差分信号は、増幅器２０７にて１／２倍にされ出力される。同時に、増幅器２０７の出力は、動き補償器２０８にて動き補償された後に、加算器２０９にて逆信号変換器２０４の出力に加算され、出力される。このように得られた２つの出力信号は次の階層にある時間方向周波数帯域合成器２０１ｂと２０１ｃに送られる。符号化時に用いられた時間方向周波数帯域分割器の階層数に合わして合成処理を繰り返していけば、再生画像２３０を復元することができる。
【００１２】
しかしながら、上述の構成では次の問題点を有する。（ア）図１における時間方向周波数帯域の分割は入力画像の原画像を用いて行うことに対し、図２では逆量子化・逆信号変換の処理後のデータを用いて時間方向周波数帯域の合成が行われる。（イ）図２の基本構成を多段に接続していくと、量子化雑音がほかの画像に影響を及ぼす。（ウ）量子化雑音がほかの画像に伝播されるため、符号化側ではその雑音を最適に抑えるには、影響されうるすべての画像を考慮したうえで行う必要がある。その結果、処理の遅延が長くなる。当然ながら、符号化装置には復号機能が備えられていないので、雑音の最適抑制を行うには復号装置を別途用意しなければならない。
【００１３】
本発明は、上記の課題を解決し、符号化装置と復号装置との整合性を保ちながら、量子化雑音の拡散を防止することで、量子化雑音を最適に制御するための処理時間を抑えることができる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するために、本発明に係る第１の動画像符号化装置は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割手段と、前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化手段とを具備する動画像符号化装置であって、前記時間方向帯域分割手段は、前記圧縮高周波数帯域信号を伸張することで復元高周波数帯域信号を生成する復号手段を含み、前記復元高周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向低周波数帯域信号を生成することを特徴とする。
【００１５】
上記第１の動画像符号化装置は、時間方向周波数帯域分割処理を行う際に、原画像で得られた高周波数帯域信号の原信号の代わりに、圧縮した後に復元される信号（時間方向帯域分割手段に含まれた復号手段によって生成された信号）を用いて低周波数帯域信号を生成することを特徴とする。
【００１６】
また、本発明に係る第２の動画像符号化装置は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割手段と、前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化手段とを具備する動画像符号化装置であって、前記時間方向帯域分割手段は、前記圧縮低周波数帯域信号を伸張することで復元低周波数帯域信号を生成する復号手段を含み、前記復元低周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向高周波数帯域信号を生成することを特徴とする。
【００１７】
上記第２の動画像符号化装置は、時間方向周波数帯域分割処理を行う際に、原画像で得られた低周波数帯域信号の原信号の代わりに、圧縮した後に復元される信号（時間方向帯域分割手段に含まれた復号手段によって生成された信号）を用いて高周波数帯域信号を生成することを特徴とする。
【００１８】
前述した第１の動画像符号化装置の構成は、より具体的には、以下のように記述することもできる。即ち、本発明に係る動画像符号化装置は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、前記第１の画像から前記第２の画像を引き算することで、時間方向高周波数帯域信号を生成する引き算手段と、前記時間方向高周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号を生成する符号化手段と、前記圧縮高周波数帯域信号を所定の方法で伸張することで、復元高周波数帯域信号を生成する復号手段と、前記第２の画像を増幅することで、増幅画像信号を生成する増幅手段と、前記増幅画像信号と前記復元高周波数帯域信号とを加算することで、時間方向低周波数帯域信号を生成する加算手段とを具備することを特徴とする。
【００１９】
また、前述した第２の動画像符号化装置の構成は、より具体的には、以下のように記述することもできる。即ち、本発明に係る動画像符号化装置は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力手段と、前記第１の画像と第２の画像を加算することで、時間方向低周波数帯域信号を生成する加算手段と、前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮低周波数帯域信号を生成する符号化手段と、前記圧縮低周波数帯域信号を所定の方法で伸張することで、復元低周波数帯域信号を生成する復号手段と、前記第１の画像を増幅することで、増幅画像信号を生成する増幅手段と、前記増幅画像信号と前記復元低周波数帯域信号との差分を算出することで、時間方向高周波数帯域信号を生成する引き算手段とを具備することを特徴とする。
【００２０】
前述した第１の動画像符号化装置に係る発明は、方法の発明の視点から見ると、以下のように記述することができる。即ち、本発明に係る動画像符号化方法は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力ステップと、前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割ステップと、前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化ステップとを具備する動画像符号化方法であって、前記時間方向帯域分割ステップでは、前記圧縮高周波数帯域信号を伸張することで復元高周波数帯域信号を生成し、前記復元高周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向低周波数帯域信号を生成することを特徴とする。
【００２１】
また、前述した第２の動画像符号化装置に係る発明は、方法の発明の視点から見ると、以下のように記述することができる。即ち、本発明に係る動画像符号化方法は、動画像を構成する複数画像における、時間的に隣り合う第１の画像と第２の画像を入力する入力ステップと、前記第１の画像と第２の画像を時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割する時間方向帯域分割ステップと、前記時間方向高周波数帯域信号と前記時間方向低周波数帯域信号を所定の方法で符号化することで、圧縮高周波数帯域信号と圧縮低周波数帯域信号とを生成する符号化ステップとを具備する動画像符号化方法であって、前記時間方向帯域分割ステップでは、前記圧縮低周波数帯域信号を伸張することで復元低周波数帯域信号を生成し、前記復元低周波数帯域信号と、前記第１の画像及び第２の画像のいずれかとから、前記時間方向高周波数帯域信号を生成することを特徴とする。
【００２２】
さらに、本発明に係る動画像符号化プログラムは、上述した各々の動画像符号化装置において実行される処理を、当該動画像符号化装置に備えたコンピュータに実行させることを特徴とする。
【発明の効果】
【００２３】
本発明によれば、時間方向周波数帯域分割処理を行う際に、原画像で得られた高周波数帯域信号の原信号の代わりに、圧縮した後に復元される信号を用いて低周波数帯域信号を生成することにより、符号化側と復号側とで整合性を保つことができると同時に、複数の画像にわたる量子化雑音の拡散を防止できる効果が得られる。その結果として、量子化雑音を最適に制御するための処理時間を抑えることができる。
【００２４】
また同様に、時間方向周波数帯域分割処理を行う際に、原画像で得られた低周波数帯域信号の原信号の代わりに、圧縮した後に復元される信号を用いて高周波数帯域信号を生成することにより、符号化側と復号側とで整合性を保つことができると同時に、複数の画像にわたる量子化雑音の拡散を防止できる効果が得られる。その結果として、量子化雑音を最適に制御するための処理時間を抑えることができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態について、図３から図７を用いて説明する。
【００２６】
図３は本発明の第１実施形態による動き補償付き時間方向帯域分割を用いた符号化装置のブロック図を示す。この図３において、３０２ａ、３０２ｂ、３０２ｃは時間方向周波数帯域分割器、３０４ａ、３０４ｂ、３０４ｃ、３０５ａ、３０５ｂ、３０５ｃは入力端子、３０６は第１動き検出・補償器、３０７は引き算器、３０８は増幅器、３０９は第２動き検出・補償器、３１０は加算器、３１１は信号変換器、３１２は量子化器、３３０は逆量子化器、３３１は逆信号変換器を示す。
【００２７】
以上のように構成された符号化装置について、以下、その動作を述べる。図３には３つの時間方向周波数帯域分割器３０２ａ、３０２ｂ、３０２ｃが示されている。これらの時間方向周波数帯域分割器３０２ａ、３０２ｂ、３０２ｃは同じ機能を有するため、以下では、時間方向周波数帯域分割器３０２ａについてのみ詳細を説明する。
【００２８】
図３に示すように、時間方向周波数帯域分割器３０２ａは、動画像を構成する時間方向に隣り合う２枚の画像ｘ０とｙ０の画像を利用して、時間方向周波数帯域分割を行い、時間方向高周波数帯域信号ｈ０と時間方向低周波数帯域信号ｒ０を生成する。ここでは、時間方向低周波数帯域信号ｒ０を生成する際に時間方向高周波数帯域信号ｈ０の復元された信号を用いることが特徴である。
【００２９】
図３の時間方向周波数帯域分割器３０２ａにおいて、入力画像ｘ０が入力端子３０４ａに、入力画像ｙ０が入力端子３０５ａに入力される。次に動き検出・補償器３０６にて、入力画像ｘ０に合わせて入力画像ｙ０に動き検出・補償を施す。本実施の形態では、従来のような動き検出・補償処理を実施する。即ち、画像ｘ０を８×８画素のブロックに分割し、各ブロックについて画像ｙ０を参照して、差分値が最も小さくなる予測信号を求め、動き補償画像を生成する。図示されていないが、動き検出で得られた動き情報は別途符号化され、ほかのデータとともに伝送される。このようにして得られた動き補償の画像を引き算器３０７に入力し入力画像ｘ０から減算され、高周波数帯域信号ｈ０を生成する。ｈ０は、信号変換器３１１と量子化器３１２に入力され、離散コサイン変換された後に量子化される。これによって圧縮高周波数帯域信号が生成される。圧縮高周波数帯域信号は出力端子１１３ａより出力され、可変長符号化器（不図示）に送られエントロピー符号化される。
【００３０】
一方、量子化器３１２の出力である圧縮高周波数帯域信号は、逆量子化器３３０に入力され、逆量子化された後に逆信号変換器３３１にて周波数領域の信号から画素領域の信号に復元される。逆信号変換器３３１の出力は高周波数帯域信号ｈ０の復元信号（以下では「復元高周波帯域信号」と呼ぶ）になる。次に、復元高周波帯域信号をライン３３４経由で動き検出・補償器３０９に入力する。ここでは、復元高周波帯域信号に対し、入力画像ｙ０に合わせて、動き補償の処理が施される。本実施の形態では入力画像ｙ０を８×８画素のフロックに分割し、各ブロックについて画像ｘ０を参照して、差分値が最も小さくなる予測信号を与える動き情報を求める。この動き情報を用いて、復元高周波帯域信号に動き補償を施して動き補償画像を生成し、ライン３２６経由で加算器３１０に送られる。同時に入力画像ｙ０は増幅器３０８にて２倍増幅される。加算器１１０では、動き補償された復元高周波帯域信号と２倍増幅されたｙ０の信号とを加算することで、低周波数帯域信号ｒ０を生成する。このようにして生成された低周波数帯域信号ｒ０は次の階層にある時間方向周波数帯域分割器３０２ｃに入力される。
【００３１】
同様に、時間方向周波数帯域分割器３０２ｂでは、入力画像ｘ１とｙ１が、時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割される。時間方向高周波数帯域信号はライン３２８ｂを経由して可変長符号化器（不図示）に送られ、時間方向低周波数帯域信号はライン３２９ｂを経由して時間方向周波数帯域分割器３０２ｃに入力される。時間方向周波数帯域分割器３０２ｃでは、その入力信号に対し上述と同じ処理が施される。
【００３２】
本実施の形態では、時間方向に隣り合う４つの画像ｘ０、ｙ０、ｘ１、ｙ１を入力とし、２階層までの時間方向周波数帯域分割を行い、出力端子３１３ａ、３１３ｂ、３１３ｃ、３１３ｄより符号化されたデータが出力される。この基本構造を多段につないで、多階層の時間方向周波数帯域分割を行うことも可能である。また、４つの画像の代わりに時間方向に隣り合う８つの画像や１６個の画像を入力として時間方向周波数帯域分割を行うことも可能である。また、時間方向周波数帯域分割器が一段のみ使用される場合、生成された高周波数帯域信号と低周波数帯域信号の両方を符号化し伝送することになる。
【００３３】
ここでは、時間方向の周波数帯域分割方法としてＨａａｒ変換を用いたが、それ以外の周波数帯域分割方法を用いてもよい。
【００３４】
なお、本実施の形態では、動き検出・補償器３２３、３０９を用いているが、動き検出・補償を行わなくてもよい。また、動き検出・補償器３２３、３０９では、同じ動き情報を用いてもよい。この場合、動きベクトルの大きさは同じであるが、その向きが逆である。
【００３５】
さらに、離散コサイン変換の代わりに高周波数帯域信号ｈ０に対し画面内ウェーブレット変換を行ってもよい。
【００３６】
図５は、第１実施形態による時間方向帯域分割を用いた符号化処理を示す流れ図である。この流れ図は図３の時間方向周波数帯域分割器３０２ａにおける処理を表す。まずステップ５０２では、時間的に隣り合う２枚の画像を入力する。ここでは画像（ｔ）と（ｔ＋１）を入力する。ステップ５０３では、画像（ｔ＋１）を参照画像として、画像（ｔ）の各ブロックについて動き検出を行う。得られた動き情報を用いて画像（ｔ＋１）を動き補償することで、予測信号を生成する。画像（ｔ）とこの予測信号との差分を算出することで、時間方向高周波数帯域信号を生成する。そして、次のステップ５０４では、このようにして得られた時間方向高周波数帯域信号を符号化することで圧縮高周波数帯域信号を生成する。符号化の方法は上述した通りである。次にステップ５０５では、符号化された時間方向高周波数帯域信号を復号することで、復元高周波数帯域信号を生成する。ステップ５０６では、復元高周波数帯域信号を動き補償した上で、画像（ｔ＋１）とから時間方向低周波数帯域信号を生成する。次に時間方向低周波数帯域信号を符号化し（ステップ５０７）、最後に符号化された時間方向低周波数帯域信号と高周波数帯域信号を出力する（ステップ５０８）。
【００３７】
このようにして、復号された時間方向高周波数帯域信号を用いて低周波数帯域信号を生成することにより、時間方向高周波数帯域信号の量子化による量子化雑音を符号化時に制御することができる。また実際に理論解析を行うことにより、量子化雑音は従来技術と異なり、隣接する画像に拡散されないことがわかる。そのために、量子化雑音を制御するために考慮すべき画像が少なく、遅延時間を抑えることができる。
【００３８】
図４は本発明の第２実施形態による動き補償付き時間方向帯域分割を用いた符号化装置のブロック図を示す。この図４において、４０１ａ、４０１ｂ、４０１ｃ、４０２ａ、４０２ｂ、４０２ｃ、４０７a、４０７ｂ、４０７ｃは入力端子、４０３ａ、４０３ｂ、４０３ｃは時間方向周波数帯域分割器、４０４a、４０４ｂ、４０４ｃ、４０５a、４０５ｂ、４０５ｃ、４０６a、４０６ｂ、４０６ｃは出力端子、４０８は第１動き検出・補償器、４０９は加算器、４１０は増幅器、４１１は引き算器、４１２は第２動き検出・補償器、４１３は信号変換兼量子化器、４１４は時間方向周波数帯域合成器、４１５は逆信号変換兼逆量子化器、４１６は第１動き補償器、４１７は加算器、４１８は増幅器、４１９は第２動き補償器、４２０は引き算器を示す。
【００３９】
以上のように構成された符号化装置について、以下、その動作を述べる。図４には３つの時間方向周波数帯域分割器４０３ａ、４０３ｂ、４０３ｃが示されている。これらの時間方向周波数帯域分割器４０３ａ、４０３ｂ、４０３ｃは同じ機能を有するため、以下では、時間方向周波数帯域分割器４０３ａについてのみ詳細を説明する。
【００４０】
図４に示すように、時間方向周波数帯域分割器４０３ａは、動画像を構成する時間方向に隣り合う２枚の画像ｘ０とｙ０の画像を利用して、時間方向周波数帯域分割を行い、時間方向高周波数帯域信号ｈ０と時間方向低周波数帯域信号ｒ０を生成する。ここでは、時間方向高周波数帯域信号ｈ０を生成する際に時間方向低周波数帯域信号ｒ０の復元された信号を用いることが特徴である。
【００４１】
図４の時間方向周波数帯域分割器４０３ａにおいて、入力画像ｘ０が入力端子４０１ａに、入力画像ｙ０が入力端子４０２ａに入力される。次に第１動き検出・補償器４０８にて、入力画像ｙ０に合わせて入力画像ｘ０に動き検出・補償を施す。本実施の形態では、従来のような動き検出・補償処理を実施する。このようにして得られた動き補償の画像を加算器４０９に入力し入力画像ｙ０と加算され、低周波数帯域信号ｒ０を生成する。信号ｒ０は出力端子４０６ａを経由して次の階層の時間方向周波数帯域分割器４０３ｃに送られる。
【００４２】
一方、高周波数帯域信号ｈ０は次のように生成される。入力画像ｘ０は増幅器４１０にて増幅され、引き算器４１１に送られる。第２動き検出・補償器４１２には、復元された低周波数帯域信号ｒ＊０（「ｒ＊０」はｒ０が復元されたものを意味する。詳細については後述）が入力され、入力画像ｘ０に合わせて動き検出・補償された後に引き算器４１１に送られる。引き算器４１１では、ライン４３４と４３５を経由して送られる信号の差分を求め、高周波数帯域信号ｈ０を生成する。高周波数帯域信号ｈ０は信号変換器兼量子化器４１３に入力され、離散コサイン変換された後に量子化される。量子化後の信号は、時間方向周波数帯域合成器４１４に送られると同時に、可変長符号化器（不図示）に送られエントロピー符号化される。
【００４３】
次に、時間方向周波数帯域合成器４１４の処理について説明する。時間方向周波数帯域合成器４１４は局所復号処理を行う。具体的には、信号変換器兼量子化器４１３の出力を、逆信号変換兼逆量子化器４１５に入力され、逆量子化されたのちに周波数領域の信号から画素領域の信号に復元される。これが高周波数帯域信号ｈ０の復元信号（以下では「復元高周波帯域信号」と呼ぶ）である。一方、第１動き補償器４１６にて、復元された低周波数帯域信号ｒ＊０が入力され、第２動き検出・補償器４１２と同じ動き補償を行う。その出力は加算器４１７に入力され、ライン４３９経由で送られた復元高周波帯域信号と加算される。その結果を増幅器４１８にて１／２倍にすると、入力画像ｘ０を復元した画像ｘ＊０が得られる。上述したｒ＊０の信号は、時間方向周波数帯域分割器４０３ｃにて同じ処理で復元されたものである。一方、ｘ＊０は第２動き補償器４１９に送られ、第１動き検出・補償器４０８と同じ動き補償された上で、引き算器４２０にてｒ＊０（ライン４３６経由）から引き算される。この処理により、圧縮された入力画像ｙ０を復元しｙ＊０が得られる。
【００４４】
同様に、時間方向周波数帯域分割器４０３ｂでは、入力画像ｘ１とｙ１が、時間方向高周波数帯域信号と時間方向低周波数帯域信号に分割される。時間方向低周波数帯域信号は出力端子４０６ｂを経由して時間方向周波数帯域分割器４０３ｃに入力される。時間方向周波数帯域分割器４０３ｃでは、その入力信号に対し上述と同じ処理が施され、その復元結果をそれぞれ端子４０４ｃと４０５ｃを経由して、時間方向周波数帯域分割器４０３ａと時間方向周波数帯域分割器４０３ｂに送られる。
【００４５】
なお、図４の時間方向周波数帯域合成器４１４は復号処理を行うことから、受信側の復号装置としても使用できる。また、時間方向周波数帯域分割器が一段のみ使用される場合、生成された高周波数帯域信号と低周波数帯域信号の両方を符号化し伝送することになる。
【００４６】
図６は、第２実施形態による時間方向帯域分割を用いた符号化処理を示す流れ図である。この流れ図は図４の時間方向周波数帯域分割器４０３ａにおける処理を表す。まずステップ６０２では、時間的に隣り合う２枚の画像を入力する。ここでは画像（ｔ）と（ｔ＋１）を入力する。ステップ６０３では、画像（ｔ＋１）を参照画像として、画像（ｔ）の各ブロックについて動き検出を行う。得られた動き情報を用いて画像（ｔ＋１）を動き補償することで、予測信号を生成する。画像（ｔ）とこの予測信号との和を算出することで、時間方向低周波数帯域信号を生成する。そして、次のステップ６０４では、このようにして得られた時間方向低周波数帯域信号を符号化することで、圧縮低周波数帯域信号を生成する。符号化の方法は上述した通りである。次にステップ６０５では、符号化された時間方向低周波数帯域信号を復号することで、復元低周波数帯域信号を生成する。ステップ６０６では、復元低周波数帯域信号を動き補償した上で、画像（ｔ＋１）との差分により時間方向高周波数帯域信号を生成する。次に時間方向高周波数帯域信号を符号化し（ステップ６０７）、最後に符号化された時間方向低周波数帯域信号と高周波数帯域信号を出力する（ステップ６０８）。
【００４７】
このようにして、復号された時間方向低周波数帯域信号を用いて高周波数帯域信号を生成することにより、時間方向低周波数帯域信号の量子化による量子化雑音は、符号化時に制御することができる。また実際に理論解析を行うことにより、量子化雑音は、従来技術と異なり、隣接する画像に拡散されないことがわかる。そのために、量子化雑音を制御するために考慮すべき画像が少なく、遅延時間を抑えることができる。
【００４８】
図７は、上記実施形態の動き補償付き時間方向帯域分割を用いた符号化処理プログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより当該符号化処理を実施する場合を説明するための図である。
【００４９】
図７（ｂ） は、フレキシブルディスクケースの正面図、断面図、及び該ケースに収納されたフレキシブルディスクを示し、図７（ａ） は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックＴｒは円周方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムを記述したデータが記録されている。
【００５０】
また、図７（ｃ） は、フレキシブルディスクＦＤに記録された上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓからフレキシブルディスクドライブを介して、上記プログラムを記述したデータを書き込む。また、フレキシブルディスク内のプログラムにより上記符号化装置あるいは復号化装置をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００５１】
なお、上記説明では、データ記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【図面の簡単な説明】
【００５２】
【図１】従来技術の動き補償付き時間方向帯域分割を用いた符号化装置を示すブロック図である。
【図２】従来技術の動き補償付き時間方向帯域分割を用いた復号装置を示すブロック図である。
【図３】本発明の第１実施形態による時間方向帯域分割を用いた符号化装置を示すブロック図である。
【図４】本発明の第２実施形態による時間方向帯域分割を用いた符号化装置を示すブロック図である。
【図５】本発明の第１実施形態による時間方向帯域分割を用いた符号化方法を示す流れ図である。
【図６】本発明の第２実施形態による時間方向帯域分割を用いた符号化方法を示す流れ図である。
【図７】第１、第２実施形態の画像信号処理方法をコンピュータシステムにより実現するためのプログラムの格納用のデータ記録媒体を説明するための図であり、（ａ）は記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示す図、（ｂ）はフレキシブルディスクケースの正面図、断面図、及び該ケースに収納されたフレキシブルディスクを示す図、（ｃ）はフレキシブルディスクに記録されたプログラムの記録再生を行うための構成を示す図である。
【符号の説明】
【００５３】
３０２ａ、３０２ｂ、３０２ｃ…時間方向周波数帯域分割器、３０４ａ、３０４ｂ、３０４ｃ、３０５ａ、３０５ｂ、３０５ｃ…入力端子、３０６…第１動き補償器、３０７…引き算器、３０８…増幅器、３０９…第２動き補償器、３１０…加算器、３１１…信号変換器、３１２…量子化器、３３０…逆量子化器、３３１…逆信号変換器。
【図１】
2005217940.tif 000003
【図２】
2005217940.tif 000004
【図３】
2005217940.tif 000005
【図４】
2005217940.tif 000006
【図５】
2005217940.tif 000007
【図６】
2005217940.tif 000008
【図７】
2005217940.tif 000009