(57)【要約】【課題】  動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置を提供する。【解決手段】  一実施形態に係る動画像符号化装置では、動画像における複数の画像が二つずつ符号化対象とされる。符号化対象の画像は、帯域分割処理によって高帯域信号と低帯域信号に帯域分割される。高帯域信号は第１の符号化処理によって圧縮高帯域信号とされ、低帯域信号は第２の符号化処理によって圧縮低帯域信号とされる。圧縮低帯域信号は、第２の復号処理によって再生低帯域信号とされる。第２の符号化処理では、符号化対象の低帯域信号の予測信号が他の低帯域信号に基づく再生低帯域信号から生成され、符号化対象の低帯域信号と当該再生低帯域信号との差分に基づく残差信号が符号化される。【選択図】  図１
2006108923.tif 000002
【特許請求の範囲】
【請求項１】
動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
前記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、
前記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、
を備え、
前記第２の符号化手段は、前記第１の画像及び第２の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第１の画像及び第２の画像とは異なる前記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
動画像符号化装置。
【請求項２】
動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
前記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、
前記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、
前記低帯域信号を再生するための第２の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、
を備え、
前記第２の符号化手段は、前記第１の画像及び第２の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第１の画像及び第２の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
動画像符号化装置。
【請求項３】
動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
前記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、
前記圧縮高帯域信号を再生するための第１の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号手段と、
前記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、
前記低帯域信号を再生するための第２の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、
前記第１の復号手段によって生成された再生高帯域信号と前記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第１の画像及び第２の画像各々の再生画像を生成する帯域合成手段と、
を備え、
前記第２の符号化手段は、前記第１の画像及び第２の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第１の画像及び第２の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
動画像符号化装置。
【請求項４】
動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、
前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、
を備え、
前記第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
動画像復号装置。
【請求項５】
動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、
前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、
前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、
を備え、
前記第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
動画像復号装置。
【請求項６】
帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、
第１の符号化手段が、前記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化ステップと、
第１の復号手段が、前記圧縮高帯域信号を再生するための第１の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号ステップと、
第２の符号化手段が、前記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化ステップと、
第２の復号手段が、前記低帯域信号を再生するための第２の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号ステップと、
帯域合成手段が、前記第１の復号手段によって生成された再生高帯域信号と前記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第１の画像及び第２の画像各々の再生画像を生成する帯域合成ステップと、
を含み、
前記第２の符号化ステップにおいて、前記第２の符号化手段が、前記第１の画像及び第２の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第１の画像及び第２の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
動画像符号化方法。
【請求項７】
第１の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号ステップと、
第２の復号手段が、前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号ステップと、
帯域合成手段が、前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップと、
を含み、
前記第２の復号ステップにおいて、前記第２の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
動画像復号方法。
【請求項８】
コンピュータを、
動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、
前記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、
前記圧縮高帯域信号を再生するための第１の復号処理を前記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号手段と、
前記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、
前記低帯域信号を再生するための第２の復号処理を前記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、
前記第１の復号手段によって生成された再生高帯域信号と前記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、前記第１の画像及び第２の画像各々の再生画像を生成する帯域合成手段と、
として機能させ、
前記第２の符号化手段は、前記第１の画像及び第２の画像に基づく前記低帯域信号を符号化対象の低帯域信号とし、前記第１の画像及び第２の画像とは異なる前記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、前記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する、
動画像符号化プログラム。
【請求項９】
コンピュータを、
動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、
前記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、
前記再生高帯域信号と前記再生低帯域信号とを帯域合成することによって、前記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、
として機能させ、
前記第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する、
動画像復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償付き時間方向帯域分割処理を用いた動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラムに関するものである。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うための技術として、種々の圧縮符号化技術が知られている。例えば、ＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４に採用された動画像符号化技術、及びサブバンド分割やウェーブレット分割を用いた動画像符号化技術等が知られている。
【０００３】
サブバンド分割やウェーブレット分割を用いた動画像符号化方式では、動画像を構成する複数の画像が一つずつ符号化対象となる。符号化対象の画像は、所定のフィルタを用いて複数の周波数帯域に分割される。分割された各信号は、量子化され、更に符号化される。この符号化を「画面内サブバンド符号化方式」という。
【０００４】
一方、時間方向帯域分割と称される処理に基づく符号化方式がある。この方式では、動画像を構成する複数の画像が二つずつ符号化対象となる。符号化対象の二つの画像は、所定のフィルタを用いて時間方向に帯域分割されることによって、高周波数帯域信号（以下、高帯域信号という）と低周波数帯域信号（以下、低帯域信号という）とに分割される。高帯域信号は、離散コサイン変換を用いて符号化される。低帯域信号は、符号化対象の二つの画像とは異なる二つの画像から同様に生成された低帯域信号と一組とされ、さらに時間方向に帯域分割される。かかる方式では、低帯域信号の時間方向での帯域分割が繰り返されることによって、良好な符号化性能が達成される。
【０００５】
上述した時間方向帯域分割に、従来の動き検出、動き補償が加えられた「動き補償付き時間方向帯域分割」と称される処理を用いた動画像符号化方式が、下記の非特許文献１に記載されている。
【０００６】
動き補償付き時間方向帯域分割によれば、低帯域信号では入力画像が本来所有する雑音信号が軽減され、かつ、高帯域信号では予測誤差が小さくなるため圧縮符号化効率が高くなる。
【非特許文献１】Seung-Jong Choi and John W. Woods, “Motion-Compensated 3-D Subband Coding of Video”, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 8, NO. 2, FEBRUARY 1999。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した動き補償付き時間方向帯域分割を用いた動画像符号化の圧縮符号化効率を高めるためには、低帯域信号の帯域分割の処理回数を多くする必要がある。
【０００８】
図２０は従来の動き補償付き時間方向帯域分割処理の流れを模式的に示す図である。図２０において、ａ０、ｂ０、ａ１、ｂ１、ａ２、ｂ２、ａ３、ｂ３、ａ４、ｂ４は、それぞれ、動画像を構成する各画像を表す。それらのうち二つの画像ａｉ、ｂｉ（ｉ＝０，１，２，３，…）は、帯域分割処理２００１によって、高帯域信号ｈｉ（ｉ＝０，１，２，３，…）と低帯域信号ｒｉ（ｉ＝０，１，２，３，…）とに分割される。隣り合う２つの低帯域信号ｒｉは、帯域分割処理２００２によって、さらに高帯域信号と低帯域信号とに分割される。例えば、ｒ０とｒ１は帯域分割処理２００２によって、高帯域信号ｈ０１と低帯域信号ｒ０１とに分割される。同様に、ｒ２とｒ３は帯域分割処理２００２によって、高帯域信号ｈ２３と低帯域信号ｒ２３とに分割される。圧縮率を高めるために、ｒ０１とｒ２３は帯域分割処理２００３によって、高帯域信号ｈ０１２３と低帯域信号ｒ０１２３とに分割される。このようにして分割された画像信号ｒ０１２３、ｈ０１２３、ｈ０１、ｈ２３、ｈ０、ｈ１、ｈ２、ｈ３は、所定の方法で圧縮符号化される。帯域分割処理２００１、２００２、２００３としては、一般的にはＨａａｒ変換が用いられる。
【０００９】
図２０からわかるように、最終の低帯域信号ｒ０１２３を生成するためには、ａ０、ｂ０、ａ１、ｂ１、ａ２、ｂ２、ａ３、ｂ３の８コマの画像が必要となる。さらに圧縮率を高めるためには、１６コマの画像が必要となる。
【００１０】
このように、従来の動き補償付き時間方向帯域分割を用いた符号化は、圧縮率を高めるために、低帯域信号の分割回数を多くする必要がある。したがって、映像伝送の遅延時間が大きくなる。また、最終の低帯域信号の分割が終了するまで入力画像や中間処理画像を記憶するために、大容量のフレームメモリが必要となる。
【００１１】
このような問題は、動き補償付き時間方向帯域分割に基づくデータを復号する際にも同様に生じる。
【００１２】
そこで、本発明は、動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムを提供することを目的としている。また、本発明は、この動画像符号化装置によって生成されたデータから、少ない処理遅延で動画像を復元可能な動画像復号装置、動画像復号方法、動画像復号プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１３】
本発明の一側面に係る動画像符号化装置は、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、を備え、（ｄ）上記第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００１４】
また、本発明の別の一側面に係る動画像符号化方法は、（ａ）帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、（ｂ）第１の符号化手段が、上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化ステップと、（ｃ）第２の符号化手段が、上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化ステップと、を含み、（ｄ）上記第２の符号化ステップにおいて、上記第２の符号化手段が、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００１５】
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、として機能させるためのプログラムである。ここで、（ｄ）第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して既に生成済みの低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００１６】
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象の画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第２の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
【００１７】
本発明の一側面に係る動画像符号化装置は、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、（ｄ）上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、を備え、（ｅ）上記第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００１８】
また、本発明の別の一側面に係る動画像符号化方法は、（ａ）帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、（ｂ）第１の符号化手段が、上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化ステップと、（ｃ）第２の符号化手段が、上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化ステップと、（ｄ）第２の復号手段が、上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号ステップと、を含み、（ｅ）上記第２の符号化ステップにおいて、上記第２の符号化手段が、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００１９】
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、（ｄ）上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、として機能させるためのプログラムである。ここで、（ｅ）第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号を参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００２０】
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第２の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
【００２１】
本発明の一側面に係る動画像符号化装置は、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記圧縮高帯域信号を再生するための第１の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｄ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、（ｅ）上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、（ｆ）上記第１の復号手段によって生成された再生高帯域信号と上記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第１の画像及び第２の画像各々の再生画像を生成する帯域合成手段と、を備え、（ｇ）上記第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００２２】
また、本発明の別の一側面に係る動画像符号化方法は、（ａ）帯域分割手段が、動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割ステップと、（ｂ）第１の符号化手段が、上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化ステップと、（ｃ）第１の復号手段が、上記圧縮高帯域信号を再生するための第１の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号ステップと、（ｄ）第２の符号化手段が、上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化ステップと、（ｅ）第２の復号手段が、上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号ステップと、（ｆ）帯域合成手段が、上記第１の復号手段によって生成された再生高帯域信号と上記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第１の画像及び第２の画像各々の再生画像を生成する帯域合成ステップと、を含み、（ｇ）上記第２の符号化ステップにおいて、上記第２の符号化手段が、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つ再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００２３】
また、本発明の更に別の一側面に係る動画像符号化プログラムは、コンピュータを、（ａ）動画像において時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像とし、該第１の画像及び第２の画像を時間方向に帯域分割することによって、高帯域信号と低帯域信号とを生成する帯域分割手段と、（ｂ）上記高帯域信号に第１の符号化処理を適用することによって、圧縮高帯域信号を生成する第１の符号化手段と、（ｃ）上記圧縮高帯域信号を再生するための第１の復号処理を上記圧縮高帯域信号に適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｄ）上記低帯域信号に第２の符号化処理を適用することによって、圧縮低帯域信号を生成する第２の符号化手段と、（ｅ）上記低帯域信号を再生するための第２の復号処理を上記圧縮低帯域信号に適用することによって、再生低帯域信号を生成する第２の復号手段と、（ｆ）上記第１の復号手段によって生成された再生高帯域信号と上記第２の復号手段によって生成された再生低帯域信号とを帯域合成することによって、上記第１の画像及び第２の画像各々の再生画像を生成する帯域合成手段と、として機能させるためのプログラムである。ここで、（ｇ）第２の符号化手段は、上記第１の画像及び第２の画像に基づく上記低帯域信号を符号化対象の低帯域信号とし、上記第１の画像及び第２の画像とは異なる上記動画像の二つの画像に対して生成済みの再生低帯域信号、及び、該二つの画像に対して生成済みの二つの再生画像のうち少なくとも一つを参照することによって、上記符号化対象の低帯域信号の予測信号を生成し、該符号化対象の低帯域信号と該予測信号との差分に基づく残差信号を符号化することによって圧縮低帯域信号を生成する。
【００２４】
本発明によれば、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第２の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号及び再生画像の少なくとも一つに基づく予測信号との差分に基づく残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
【００２５】
本発明の一側面に係る動画像復号装置は、（ａ）動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｂ）上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、を備え、（ｃ）上記第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明に係る動画像復号装置は、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つ再生画像を生成する帯域合成手段を更に備えてもよい。
【００２６】
また、本発明の別の一側面に係る動画像復号方法は、（ａ）第１の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号ステップと、（ｂ）第２の復号手段が、上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号ステップと、を含み、（ｃ）上記第２の復号ステップにおいて、上記第２の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明に係る動画像復号方法は、帯域合成手段が、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップを更に含んでもよい。
【００２７】
また、本発明の更に別の一側面に係る動画像復号プログラムは、コンピュータを、（ａ）動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｂ）上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、として機能するためのプログラムである。ここで、（ｃ）第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号を参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。なお、本発明の形態に係る動画像復号プログラムは、コンピュータを、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段として更に機能させるためのプログラムであってもよい。
【００２８】
本発明では、復号対象の圧縮低帯域信号を復号した信号（再生残差信号）に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号を参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。このように、一度の復号処理によって再生低帯域信号が生成されるので、本発明によれば、再生低帯域信号の復元における遅延が削減される。なお、本発明において、帯域合成手段を更に備える場合では、この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、動画像の復元における遅延が削減される。
【００２９】
本発明の一側面に係る動画像復号装置は、（ａ）動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｂ）上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、（ｃ）上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、を備え、（ｄ）上記第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
【００３０】
また、本発明の別の一側面に係る動画像復号方法は、（ａ）第１の復号手段が、動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号ステップと、（ｂ）第２の復号手段が、上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号ステップと、（ｃ）帯域合成手段が、上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成ステップと、を含み、（ｄ）上記第２の復号において、上記第２の復号手段が、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
【００３１】
また、本発明の更に別の一側面に係る動画像復号プログラムは、コンピュータを、（ａ）動画像において時間方向に順に並ぶ二つの画像が帯域分割されてなる高帯域信号が符号化されてなる圧縮高帯域信号に第１の復号処理を適用することによって、再生高帯域信号を生成する第１の復号手段と、（ｂ）上記二つの画像が帯域分割されてなる低帯域信号が符号化されてなる圧縮低帯域信号に第２の復号処理を適用することによって、再生低帯域信号を生成する第２の復号手段と、（ｃ）上記再生高帯域信号と上記再生低帯域信号とを帯域合成することによって、上記二つの画像を各々再生してなる二つの再生画像を生成する帯域合成手段と、として機能させるためのプログラムである。ここで、（ｄ）第２の復号手段は、復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から既に生成済みの再生低帯域信号、及び、該再生低帯域信号と該再生低帯域信号に対応の再生高帯域信号とから生成済みの二つの再生画像の少なくとも一つを参照することによって、復号対象の圧縮低帯域信号の予測信号を生成し、該復号対象の圧縮低帯域信号を復号してなる信号と該予測信号とを加算することによって該復号対象の圧縮低帯域信号に対する再生低帯域信号を生成する。
【００３２】
本発明では、復号対象の圧縮低帯域信号を復号した信号（再生残差信号）に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号及び再生画像の少なくとも一つを参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、本発明によれば、動画像の復元における遅延が削減される。
【発明の効果】
【００３３】
以上説明したように、本発明によれば、動き補償付き時間方向帯域分割の処理遅延を低減し、且つ高い符号化効率で動画像を符号化することが可能な動画像符号化装置、動画像符号化方法、動画像符号化プログラムが提供される。また、この動画像符号化装置によって生成されたデータから、少ない処理遅延で動画像を復元可能な動画像復号装置、動画像復号方法、動画像復号プログラムが提供される。
【００３４】
本発明によれば、符号化及び復号に要する時間が短縮されるので、映像伝送の遅延時間が大幅に短縮される。更に、符号化及び復号の際に入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
【発明を実施するための最良の形態】
【００３５】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、各図面において同一又は相当の部分に対しては同一の符号を附すこととする。
【００３６】
＜第１の実施形態＞
【００３７】
図１は本発明の第１の実施形態に係る符号化装置の構成を示す図である。図１に示す動画像符号化装置１２０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置１２０は、携帯電話といった移動通信端末、あるいはＤＶＤ記録装置といった機器であってもよい。すなわち、動画像符号化装置１２０には、情報処理可能な装置が広く適用される。
【００３８】
図１に示すように、動画像符号化装置１２０は、機能的に、入力端子１０１、入力画像記憶部１０２、帯域分割部（帯域分割手段）１０３、第１の符号化部（第１の符号化手段）１０４、第１の復号部（第１の復号手段）１０５、第２の符号化部（第２の符号化手段）１０６、第２の復号部（第２の復号手段）１０７、多重化部１０８、帯域合成部（帯域合成手段）１０９、出力端子１１０、及び、記憶部１１６を備える。
【００３９】
入力端子１０１には、複数の画像を含む動画像が入力される。入力端子１０１は、ラインＬ１０１経由で入力画像記憶部１０２に動画像を出力する。
【００４０】
入力画像記憶部１０２は、ラインＬ１０１経由で受けた動画像を一時的に記憶する。入力画像記憶部１０２は、記憶された動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像を符号化対象の第１の画像及び第２の画像（以下、画像Ｋ及び画像Ｌという）として出力する。
【００４１】
帯域分割部１０３は、ラインＬ１１９経由で受けた画像ＫとラインＬ１０２経由で受けた画像Ｌとを時間方向に帯域分割することによって、高帯域信号ＨＫＬと低帯域信号ＬＫＬとを生成する。図２は帯域分割部１０３の構成を示す図である。図２に示すように、帯域分割部１０３は、動き補償器２０１と、減算器２０２と、増幅器２０３と、動き補償器２０４と、加算器２０５とを有する。
【００４２】
動き補償器２０１は、画像Ｌの予測画像を動き補償処理によって生成する。動き補償器２０１は、この動き補償処理において、画像Ｋを参照する。動き補償器２０１は、例えばブロックマッチング法に基づく動き補償処理を実行することできる。具体的に、動き補償器２０１は、画像Ｌをｎ×ｍ（本実施の形態ではｎ＝ｍ＝８とする）画素からなるブロックに分割する。そして、動き補償器２０１は、画像Ｌの各ブロックついて、そのブロック内の部分画像に対する誤差が最も小さい部分画像をもつ領域を画像Ｋから求める。動き補償器２０１は、更に、各ブロックについて、そのブロックと求めた対応の領域との間のベクトルを動きベクトルとし、当該領域内の部分画像を予測画像とする。
【００４３】
減算器２０２は、ラインＬ１０２経由で受けた画像Ｌの各ブロックの部分画像とラインＬ２０３経由で受けた対応の予測画像との差分を求めることによって、高帯域信号ＨＫＬを生成する。
【００４４】
増幅器２０３は、ラインＬ１１９経由で受けた画像Ｋの画素値を２倍に増幅することによって、画像Ｋ２を生成する。
【００４５】
動き補償器２０４は、高帯域信号ＨＫＬに動き補償処理を適用することによって、動き補償信号を生成する。なお、動き補償器２０４は、この動き補償処理において、動き補償器２０１によって生成された動きベクトルの方向を逆にしたベクトルを動きベクトルとして用いる。
【００４６】
加算器２０５は、ラインＬ２０５経由で受けた上記画像Ｋ２とラインＬ２０６経由で受けた動き補償信号とを加算することによって、低帯域信号ＬＫＬを生成する。
【００４７】
図１に戻り、帯域分割部１０３は、動きベクトルをラインＬ１２０経由で多重化部１０８及び帯域合成部１０９に出力する。
【００４８】
第１の符号化部１０４は、ラインＬ１０３経由で受けた高帯域信号ＨＫＬに第１の符号化処理を適用することによって、圧縮高帯域信号ＨＫＬＣを生成する。具体的に、この第１の符号化処理において、第１の符号化部１０４は、高帯域信号ＨＫＬを複数のブロックに分割する。そして、第１の符号化部１０４は、各ブロックについて、そのブロック内の信号に対して離散コサイン変換を施すことによって変換係数を生成し、当該変換係数を量子化することによって量子化変換係数を生成し、当該量子化変換係数を可変長符号化することによって、圧縮高帯域信号ＨＫＬＣを生成する。なお、離散コサイン変換の代わりにウェーブレット変換が適用されてもよい。
【００４９】
第１の復号部１０５は、ラインＬ１０５経由で受けた圧縮高帯域信号ＨＫＬＣに第１の復号処理を適用することによって、再生高帯域信号ＨＫＬＲを復元する。第１の復号処理では、第１の符号化処理と対称の処理である。したがって、第１の復号部１０５は、第１の復号処理において、圧縮高帯域信号ＨＫＬＣを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に対して逆離散コサイン変換を施すことによって、再生高帯域信号ＨＫＬＲを復元する。
【００５０】
第２の符号化部１０６は、ラインＬ１０６経由で受けた低帯域信号ＬＫＬに第２の符号化処理を適用することによって、圧縮低帯域信号ＬＫＬＣを生成する。また、第２の符号化部１０６は、第２の符号化処理で生成された動きベクトル及び参照画像識別情報をラインＬ１１７経由で出力する。
【００５１】
第２の復号部１０７は、ラインＬ１１４経由で受けた圧縮低帯域信号ＬＫＬＣに第２の復号処理を適用することによって、再生低帯域信号ＬＫＬＲを復元する。なお、第２の符号化部１０６と第２の復号部１０７の詳細については、後述する。
【００５２】
多重化部１０８は、ラインＬ１０４経由で受けた圧縮高帯域信号ＨＫＬＣと、ラインＬ１１３経由で受けた圧縮低帯域信号ＬＫＬＣと、ラインＬ１２０経由で帯域分割部１０３から受けた動きベクトルと、ラインＬ１１７経由で第２の符号化部１０６から受けた動きベクトル及び参照画像識別情報とを多重化することによって、動画像の圧縮データを生成する。該圧縮データは、ラインＬ１０８経由で出力端子１１０に出力される。
【００５３】
帯域合成部１０９は、ラインＬ１０９経由で受けた再生高帯域信号ＨＫＬＲと、ラインＬ１１０経由で受けた再生低帯域信号ＬＫＬＲとを帯域合成することによって、画像Ｋ及び画像Ｌ各々の再生画像を生成する。以下、画像Ｋの再生画像を再生画像ＫＲとし、画像Ｌの再生画像を再生画像ＬＲと称する。なお、帯域合成部１０９は、帯域合成の際、ラインＬ１２０経由で帯域分割部１０３から受けた動きベクトルを用いる。
【００５４】
図３は帯域合成部１０９の構成を示す図である。図３に示すように、帯域合成部１０９は、動き補償器３０１と、減算器３０２と、増幅器３０３と、動き補償器３０４と、加算器３０５とを備える。
【００５５】
動き補償器３０１は、ラインＬ１０９経由で受けた再生高帯域信号ＨＫＬＲに動き補償処理を適用することによって、動き補償信号を生成する。なお、動き補償器３０１の動き補償処理は、動き補償器２０４の動き補償処理と同じ処理である。すなわち、動き補償器３０１は、Ｌ１２０経由で受けた動きベクトル（図１参照）を用いて、動き補償処理を行う。
【００５６】
減算器３０２は、ラインＬ１１０経由で受けた再生低帯域信号ＬＫＬＲと、ラインＬ３０３経由で受けた動き補償信号との差分を求めることによって、画像Ｋ２の再生信号を生成する。
【００５７】
増幅器３０３は、ラインＬ３０５経由で受けた画像Ｋ２の再生信号の信号値を１／２倍することによって、再生画像ＫＲを生成する。
【００５８】
動き補償器３０４は、帯域分割部１０３から受けた動きベクトルを用いて、再生画像ＫＲに動き補償処理を適用することによって、再生画像ＬＲの予測画像を生成する。なお、動き補償器３０４の動き補償処理は、動き補償器２０１の動き補償処理と同じ処理である。
【００５９】
加算器３０５は、ラインＬ１０９経由で受けた再生高帯域信号ＨＫＬＲと、ラインＬ３０６経由で受けた予測画像とを加算することによって、再生画像ＬＲを生成する。
【００６０】
図１に戻り、記憶部１１６は、ラインＬ１１０経由で受けた再生低帯域信号ＬＫＬＲと、ラインＬ１２２及びＬ１０７経由で受けた再生画像ＫＲ及び再生画像ＬＲとを記憶する。
【００６１】
以下、図１を参照して、第２の符号化部１０６を詳細に説明する。図１に示すように、第２の符号化部１０６は、動き検出器１１１と、減算器１１２と、符号化器１１３と、動き補償器１１７とを備える。
【００６２】
以下、画像Ｋ及び画像Ｌとは異なる動画像の二つの画像であって、動画像符号化装置１２０によって画像Ｋ及び画像Ｌより先に処理される二つの画像を画像Ｍ及び画像Ｎと称する。動画像符号化装置１２０は、画像Ｋ及び画像Ｌを処理する前に、画像Ｍ及び画像Ｎを帯域分割することによって生成された低帯域信号を再生してなる再生低帯域信号ＬＭＮＲ、画像Ｍを再生してなる再生画像ＭＲ、及び、画像Ｎを再生してなる再生画像ＮＲを記憶部１１６に記憶しているものとする。
【００６３】
動き検出器１１１は、ラインＬ１０６経由で符号化対象の低帯域信号ＬＫＬを受け、ラインＬ１１６経由で再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲを受ける。動き検出器１１１は、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲを参照することによって、低帯域信号ＬＫＬの動き検出処理を実行する。動き検出器１１１は、この動き検出処理にブロックマッチング法を用いることができる。
【００６４】
具体的に、動き検出器１１１は、この動き検出処理において、低帯域信号ＬＫＬの各ブロックについて、そのブロック内の信号に対する誤差が最も小さい信号をもつ領域を、上記再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから求める。動き検出器１１１は、低帯域信号ＬＫＬの各ブロックと求めた対応の領域との間のベクトルを動きベクトルとし、当該対応の領域が上記再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちの何れから選択されたものであるかを特定するための情報、すなわち参照画像識別情報を生成する。
【００６５】
動き補償器１１７は、動き補償処理によって、低帯域信号ＬＫＬの予測信号を生成する。具体的に、この動き補償処理において、動き補償器１１７は、ラインＬ１１７経由で受けた参照画像識別情報及び動きベクトルに基づき、ラインＬ１１８経由で受けた再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから上記領域を特定して、当該領域内の信号を予測信号とする。
【００６６】
減算器１１２は、ラインＬ１０６経由で受けた低帯域信号ＬＫＬの各ブロックの信号と、ラインＬ１１２経由で受けた対応の予測信号との差分を求めることによって、残差信号を生成する。
【００６７】
符号化器１１３は、ラインＬ１１１経由で受けた上記残差信号に符号化処理を適用することによって、圧縮低帯域信号ＬＫＬＣを生成する。本実施の形態では、符号化器１１３は、残差信号に離散コサイン変換を施すことによって変換係数を生成し、当該変換係数を量子化することによって量子化変換係数を生成し、当該量子化変換係数を可変長符号化することによって、圧縮低帯域信号ＬＫＬＣを生成する。なお、離散コサイン変換の代わりにウェーブレット変換が適用されてもよい。
【００６８】
以下、図１を参照して、第２の復号部１０７を詳細に説明する。図１に示すように、第２の復号部１０７は、復号器１１４と、加算器１１５とを備える。
【００６９】
復号器１１４は、ラインＬ１１４経由で受けた圧縮低帯域信号ＬＫＬＣに復号処理を適用することによって、再生残差信号を復元する。復号器１１４の復号処理は、符号化器１１３の符号化処理と対称の処理である。本実施の形態では、復号器１１４は、圧縮低帯域信号ＬＫＬＣを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に逆離散コサイン変換を施すことによって再生残差信号を復元する。
【００７０】
加算器１１５は、ラインＬ１１２経由で受けた予測信号とラインＬ１１５経由で受けた再生残差信号とを加算することによって、再生低帯域信号ＬＫＬＲを生成する。
【００７１】
以下、動画像符号化装置１２０の動作について説明する、併せて第１の実施形態に係る動画像符号化方法について説明する。図４は、本発明の第１の実施形態に係る動画像符号化方法のフローチャートである。
【００７２】
図４に示すように、この動画像符号化方法では、まず、複数の画像を含む動画像が入力され、入力画像記憶部１０２によって当該動画像が一時的に記憶され、記憶された動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像が符号化対象の画像Ｋ及び画像Ｌとして出力される。（ステップＳ０１）。
【００７３】
次いで、帯域分割部１０３によって、画像Ｋと画像Ｌが時間方向に帯域分割されることによって、高帯域信号ＨＫＬ、低帯域信号ＬＫＬ、及び動きベクトルが生成される（ステップＳ０２）。ステップＳ０２の詳細については後述する。
【００７４】
次いで、第１の符号化部１０４によって、高帯域信号ＨＫＬに上述した第１の符号化処理が適用されることによって、圧縮高帯域信号ＨＫＬＣが生成される（ステップＳ０３）。
【００７５】
次いで、第１の復号部１０５によって、圧縮高帯域信号ＨＫＬＣに上述した第１の復号処理が適用されることによって、再生高帯域信号ＨＫＬＲが復元される（ステップＳ０４）。
【００７６】
次いで、第２の符号化部１０６によって、低帯域信号ＬＫＬに第２の符号化処理が適用されることによって、圧縮低帯域信号ＬＫＬＣ、動きベクトル、及び、参照画像識別情報が生成される（ステップＳ０５）。ステップＳ０５の詳細については後述する。
【００７７】
次いで、第２の復号部１０７によって、圧縮低帯域信号ＬＫＬＣに第２の復号処理が適用されることによって、再生低帯域信号ＬＫＬＲが復元される（ステップＳ０６）。ステップＳ０６の詳細については後述する。
【００７８】
次いで、多重化部１０８によって、圧縮高帯域信号ＨＫＬＣと、圧縮低帯域信号ＬＫＬＣと、帯域分割部１０３から受けた動きベクトルと、第２の符号化部１０６から受けた動きベクトル及び参照画像識別情報とが多重化されることによって、圧縮データが生成される（ステップＳ０７）。
【００７９】
次いで、帯域合成部１０９によって、再生高帯域信号ＨＫＬＲと、再生低帯域信号ＬＫＬＲとが帯域合成されることによって、上記画像Ｋ，画像Ｌ各々の再生画像ＫＲ，再生画像ＬＲが生成される（ステップＳ０８）。この帯域合成においては、帯域分割部１０３から受けた動きベクトルが用いられる。なお、ステップＳ０８の詳細は後述する。
【００８０】
次いで、記憶部１１６によって、再生低帯域信号ＬＫＬＲと、再生画像ＫＲ、及び、再生画像ＬＲが記憶される。（ステップＳ０９）。
【００８１】
以下、ステップＳ０２の帯域分割について詳細に説明する。図５は、帯域分割に関するフローチャートである。まず、動画像を構成する複数の画像のうち、時間方向に順に並ぶ二つの画像が符号化対象の画像Ｋ及び画像Ｌとして入力される（ステップＳ０２−１）。
【００８２】
次いで、動き補償器２０１によって、上述した動き補償処理が実行される（ステップＳ０２−２）。すなわち、画像Ｋを参照することによって画像Ｌの予測画像が生成される
【００８３】
次いで、減算器２０２によって、画像Ｌの各ブロックの部分画像と対応の予測画像との差分が求められることによって、高帯域信号ＨＫＬが生成される（ステップＳ０２−３）。
【００８４】
次いで、増幅器２０３によって、画像Ｋの画素値が２倍に増幅されることによって、画像Ｋ２が生成される（ステップＳ０２−４）。
【００８５】
次いで、動き補償器２０４によって、高帯域信号ＨＫＬに上述の動き補償処理が適用されることによって、動き補償信号が生成される。（ステップＳ０２−５）。
【００８６】
次いで、加算器２０５によって、画像Ｋ２と動き補償信号とが加算されることによって、低帯域信号ＬＫＬが生成される（ステップＳ０２−６）。
【００８７】
以下、ステップＳ０５の第２の符号化処理について詳細に説明する。図６は、第２の符号化処理に関するフローチャートである。まず、符号化対象の低帯域信号ＬＫＬと、画像Ｍ及び画像Ｎに対して生成済みの再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び再生画像ＮＲが入力される（ステップＳ０５−1）。
【００８８】
次いで、動き検出器１１１によって、上述した動き検出処理が実行されることによって、動きベクトル及び参照画像識別情報が生成される（ステップＳ０５−２）。
【００８９】
次いで、動き補償器１１７によって、上述した動き補償処理が実行される（ステップＳ０５−３）。この動き補償処理では、動き検出器１１１によって生成された動きベクトル及び参照画像識別情報によって特定される領域内の信号が予測信号とされる。
【００９０】
次いで、減算器１１２によって、低帯域信号ＬＫＬの各ブロックの信号と、対応の予測信号との差分が求められることによって、残差信号が生成される（ステップＳ０５−４）。
【００９１】
次いで、符号化器１１３によって、減算器１１２によって生成された残差信号に上述した符号化処理が適用されることによって、圧縮低帯域信号ＬＫＬＣが生成される（ステップＳ０５−５）。
【００９２】
以下、ステップＳ０６の第２の復号処理について詳細に説明する。図７は、第２の復号処理に関するフローチャートである。まず、圧縮低帯域信号ＬＫＬＣが入力される（ステップＳ０６−１）。
【００９３】
次いで、復号器１１４によって、圧縮低帯域信号ＬＫＬＣに復号処理が適用されることによって、再生残差信号が復元される（ステップＳ０６−２）。復号器１１４の復号処理は、符号化器１１３の符号化処理と対称の処理である。本実施の形態では、復号器１１４によって、圧縮低帯域信号ＬＫＬＣが可変長復号されることによって再生量子化変換係数が生成され、当該再生量子化変換係数が逆量子化されることによって再生変換係数が生成され、当該再生変換係数に逆離散コサイン変換が施されることによって再生残差信号が復元される。
【００９４】
次いで、加算器１１５によって、上記予測信号と上記再生残差信号が加算されることによって、再生低帯域信号ＬＫＬＲが生成される（ステップＳ０６−３）。
【００９５】
以下、ステップＳ０８の帯域合成について詳細に説明する。図８は、帯域合成に関するフローチャートである。まず、再生高帯域信号ＨＫＬＲ、再生低帯域信号ＬＫＬＲ、帯域分割部から受けた動きベクトルが入力される（ステップＳ０８−１）。
【００９６】
次いで、動き補償器３０１によって、再生高帯域信号ＨＫＬＲに上述した動き補償処理が適用されることによって、動き補償信号が生成される（ステップＳ０８−２）。
【００９７】
次いで、減算器３０２によって、再生低帯域信号ＬＫＬＲと、上記動き補償信号との差分が求められることによって、画像Ｋ２の再生信号が生成される（ステップＳ０８−３）。
【００９８】
次いで、増幅器３０３によって、画像Ｋ２の再生信号の信号値が１／２倍されることによって、再生画像ＫＲが生成される（ステップＳ０８−４）。
【００９９】
次いで、動き補償器３０４によって、再生画像ＫＲに上述した動き補償処理が適用されることによって、再生画像ＬＲの予測画像が生成される（ステップＳ０８−５）。この動き補償処理では、帯域分割部１０３からの動きベクトルが用いられる。
【０１００】
次いで、加算器３０５によって、再生高帯域信号ＨＫＬＲと上記予測画像とが加算されることによって、再生画像ＬＲが生成される（ステップＳ０８−６）。
【０１０１】
次に、コンピュータを動画像符号化装置１２０として動作させるための動画像符号化プログラムについて説明する。図９は、本発明の第１の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
【０１０２】
図９に示すように、動画像符号化プログラムＰ１００は、記録媒体１０に格納されて提供される。記録媒体１０としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【０１０３】
図１０は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図であり、図１１は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
【０１０４】
図１０に示すように、コンピュータ３０は、フロッピーディスクドライブ装置、ＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置１２と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）１４と、記録媒体１０に記憶されたプログラムを記憶するメモリ１６と、ディスプレイといった表示装置１８と、入力装置であるマウス２０及びキーボード２２と、データ等の送受を行うための通信装置２４と、プログラムの実行を制御するＣＰＵ２６とを備えている。コンピュータ３０は、記録媒体１０が読取装置１２に挿入されると、読取装置１２から記録媒体１０に格納された動画像符号化プログラムＰ１００にアクセス可能になり、当該動画像符号化プログラムＰ１００によって、動画像符号化装置１２０として動作することが可能になる。
【０１０５】
図１１に示すように、動画像符号化プログラムＰ１００は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムＰ１００をメモリ１６に格納し、当該動画像符号化プログラムＰ１００を実行することができる。
【０１０６】
図９に示すように、動画像符号化プログラムＰ１００は、入力画像記憶モジュールＰ１０と、帯域分割モジュールＰ２０と、第１の符号化モジュールＰ３０と、第１の復号モジュールＰ４０と、第２の符号化モジュールＰ５０と、第２の復号モジュールＰ６０と、多重化モジュールＰ７０と、帯域合成モジュールＰ８０と、記憶モジュールＰ９０とを備えている。また、帯域分割モジュールＰ２０は、動き補償サブモジュールＰ２１と、減算サブモジュールＰ２２と、増幅サブモジュールＰ２３と、動き補償サブモジュールＰ２４と、加算サブモジュールＰ２５とによって構成され、第２の符号化モジュールＰ５０は、動き検出サブモジュールＰ５１と、動き補償サブモジュールＰ５２と、減算サブモジュールＰ５３と、符号化サブモジュールＰ５４とによって構成され、第２の復号モジュールＰ６０は、復号サブモジュールＰ６１と、加算サブモジュールＰ６２とによって構成され、帯域合成モジュールＰ８０は、動き補償サブモジュールＰ８１と、減算サブモジュールＰ８２と、増幅サブモジュールＰ８３と、動き補償サブモジュールＰ８４と、加算サブモジュールＰ８５とによって構成される。
【０１０７】
入力画像記憶モジュールＰ１０、帯域分割モジュールＰ２０、第１の符号化モジュールＰ３０、第１の復号モジュールＰ４０、第２の符号化モジュールＰ５０、第２の復号モジュールＰ６０、多重化モジュールＰ７０、帯域合成モジュールＰ８０、記憶モジュールＰ９０、動き補償サブモジュールＰ２１、減算サブモジュールＰ２２、増幅サブモジュールＰ２３、動き補償サブモジュールＰ２４、加算サブモジュールＰ２５、動き検出サブモジュールＰ５１、動き補償サブモジュールＰ５２、減算サブモジュールＰ５３、符号化サブモジュールＰ５４、復号サブモジュールＰ６１、加算サブモジュールＰ６２、動き補償サブモジュールＰ８１、減算サブモジュールＰ８２、増幅サブモジュールＰ８３、動き補償サブモジュールＰ８４、及び、加算サブモジュールＰ８５がコンピュータに実現させる機能はそれぞれ、上述した入力画像記憶部１０２、帯域分割部１０３、第１の符号化部１０４、第１の復号部１０５、第２の符号化部１０６、第２の復号部１０７、多重化部１０８、帯域合成部１０９、記憶部１１６、動き補償器２０１、減算器２０２、増幅器２０３、動き補償器２０４、加算器２０５、動き検出器１１１、動き補償器１１７、減算器１１２、符号化器１１３、復号器１１４、加算器１１５、動き補償器３０１、減算器３０２、増幅器３０３、動き補償器３０４、及び、加算器３０５のうち対応要素と同様である。
【０１０８】
以下、動画像符号化装置１２０の作用及び効果を説明する。動画像符号化装置１２０では、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象の画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第２の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの再生低帯域信号及び再生画像の少なくとも一つに基づく予測信号とのによる残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
【０１０９】
したがって、符号化に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、符号化の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
【０１１０】
以上、動画像符号化装置１２０について説明したが、動画像符号化装置１２０は、最初の符号化対象の二つの画像を符号化する際、記憶部１１６に信号を記憶していないので、本実施の形態では、動画像符号化装置１２０は、最初の符号化対象の二つの画像から生成した低帯域信号には、Ｈ．２６４に採用されている画面内予測を適用する。
【０１１１】
また、第２の符号化部１０６は、生成済みの再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから低帯域信号ＬＫＲの予測信号を生成するが、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうち少なくとも一つを用いて予測信号を生成してもよい。また、図２１に示すように、第２の符号化部１０６は、再生低帯域信号ＬＭＮＲのみから予測信号を生成してもよい。この場合の動画像符号化装置１２０ａは、第１の復号部１０５及び帯域合成部１０９を削減可能である。
【０１１２】
また、符号化対象の画像Ｋ及び画像Ｌは、時間方向に隣接する２枚の画像であってもよく、時間方向に離れた２つのフレームの画像であってもよい。
【０１１３】
また、第１の符号化部１０４は、第２の符号化部１０６と異なる構成となっているが、第２符号化部１０６と同じ構成になっていてもよい。この場合には、第１の符号化部１０４は、高帯域信号ＨＫＬに対する予測信号を、画像Ｍ及びＮから既に生成済みの再生高帯域信号ＨＭＮ等を参照することによって生成する。また、この場合には、第１の復号部１０５が、第２の復号部１０７と同様の構成とされる。
【０１１４】
＜第２の実施形態＞
【０１１５】
次に、本発明の第２の実施形態に係る動画像符号化装置について説明する。図１２は本発明の第２の実施形態に係る符号化装置の構成を示す図である。図１２に示す動画像符号化装置１２２０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像符号化装置１２２０は、携帯電話といった移動通信端末、あるいはＤＶＤ記録装置といった機器であってもよい。すなわち、動画像符号化装置１２２０には、情報処理可能な装置が広く適用される。
【０１１６】
図１２に示すように、動画像符号化装置１２２０は、機能的には、入力端子１０１、入力画像記憶部１０２、帯域分割部（帯域分割手段）１０３、第１の符号化部（第１の符号化手段）１０４、第２の符号化部（第２の符号化手段）１２０６、多重化部１０８、出力端子１１０、及び、記憶部１２１６を備える。
【０１１７】
入力端子１０１、入力画像記憶部１０２、帯域分割部１０３、第１の符号化部１０４、及び、多重化部１０８は、動画像符号化装置１２０における対応の要素と同様の要素である。
【０１１８】
第２の符号化部１２０６は、ラインＬ１０６経由で受けた低帯域信号ＬＫＬに第２の符号化処理を適用することによって、圧縮低帯域信号ＬＫＬＣを生成する。また、第２の符号化部１２０６は、第２の符号化処理によって生成された動きベクトルをラインＬ１１７経由で出力する。
【０１１９】
記憶部１２１６は、ラインＬ１０６経由で受けた低帯域信号ＬＫＬを記憶する。
【０１２０】
以下、第２の符号化部１２０６について詳細に説明する。図１２に示すように、第２の符号化部１２０６は、動き検出器１２１１と、減算器１２１２と、符号化器１２１３と、動き補償器１２１７とを備える。
【０１２１】
以下、動画像符号化装置１２２０は、画像Ｋ及び画像Ｌを処理する前に、画像Ｍ及び画像Ｎを帯域分割することによって生成される低帯域信号ＬＭＮを記憶部１２１６に記憶しているものとする。
【０１２２】
動き検出器１２１１は、ラインＬ１０６経由で符号化対象の低帯域信号ＬＫＬを受け、ラインＬ１１６経由で低帯域信号ＬＭＮを受ける。動き検出器１２１１は、低帯域信号ＬＭＮを参照する動き検出処理を実行する。すなわち、動き検出器１２１１による動き検出処理は、第１の実施形態の動き検出器１１１による動き検出処理と、参照する信号が異なる。この動き検出処理によって、動き検出器１２１１は、低帯域信号ＬＫＬの各ブロックと低帯域信号ＬＭＮ内の対応の領域との間のベクトルを求め、当該ベクトルを動きベクトルとする。
【０１２３】
動き補償器１２１７は、動き補償処理を実行することによって、低帯域信号ＬＫＬの予測信号を生成する。この動き補償処理において、動き補償器１２１７は、ラインＬ１１７経由で受けた動きベクトルから、ラインＬ１１８経由で受けた低帯域信号ＬＭＮ内の領域を特定し、当該領域内の信号を予測信号とする。
【０１２４】
減算器１２１２は、ラインＬ１０６経由で受けた低帯域信号ＬＫＬの各ブロックの信号と、ラインＬ１２１２経由で受けた対応の予測信号との差分を求めることによって、残差信号を生成する。
【０１２５】
符号化器１２１３は、ラインＬ１２１１経由で受けた残差信号に符号化処理を適用することによって、圧縮低帯域信号ＬＫＬＣを生成する。この符号化処理は、符号化器１１３による符号化処理と同様である。
【０１２６】
次に、動画像符号化装置１２２０の動作について説明する。併せて、第２の実施形態に係る動画像符号化方法について説明する。図１３は、本発明の第２の実施形態に係る動画像符号化方法のフローチャートである。
【０１２７】
図１３に示すように、この動画像符号化方法では、まず、ステップＳ０１からステップＳ０３までの処理については、第１の実施形態の対応の処理と同様である。
【０１２８】
次いで、第２の符号化部１２０６によって、低帯域信号ＬＫＬに第２の符号化処理が適用されることによって、圧縮低帯域信号ＬＫＬＣ及び動きベクトルが生成される（ステップＳ１０５）。
【０１２９】
続くステップＳ０７の処理は、第１の実施形態における対応の処理と同様である。ステップＳ０７に続き、記憶部１２１６によって、低帯域信号ＬＫＬが記憶される（ステップＳ１０９）。
【０１３０】
以下、ステップＳ１０５の第２の符号化処理について詳細に説明する。図１４は、第２の符号化処理に関するフローチャートである。まず、符号化対象の低帯域信号ＬＫＬと、画像Ｍ及び画像Ｎに対して生成済みの低帯域信号ＬＭＮが入力される（ステップＳ１０５−1）。
【０１３１】
次いで、動き検出器１２１１によって、上述した動き検出処理が実行されることによって、動きベクトルが生成される（ステップＳ１０５−２）。
【０１３２】
次いで、動き補償器１２１７によって、上述した動き補償処理が実行されることによって、低帯域信号ＬＫＬの予測信号が生成される（ステップＳ１０５−３）。
【０１３３】
次いで、減算器１２１２によって、低帯域信号ＬＫＬの各ブロックの信号と、対応の予測信号との差分が求められることによって、残差信号が生成される（ステップＳ１０５−４）。
【０１３４】
次いで、符号化器１２１３によって、残差信号に上述した符号化処理が適用されることによって、圧縮低帯域信号ＬＫＬＣが生成される（ステップＳ１０５−５）。
【０１３５】
次に、コンピュータを動画像符号化装置１２２０として動作させる動画像符号化プログラムについて説明する。図１５は、本発明の第２の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
【０１３６】
図１５に示すように、動画像復号プログラムＰ３００は、記録媒体１０に格納されて提供される。記録媒体１０としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【０１３７】
動画像符号化プログラムＰ２００が、図１０及び図１１に示すコンピュータ３０の読取装置１２に挿入されると、コンピュータ３０は、記録媒体１０に格納された動画像符号化プログラムＰ２００にアクセス可能になる。当該動画像符号化プログラムＰ２００によって、コンピュータ３０は、動画像符号化装置１２２０として動作することが可能になる。なお、図１１に示すように、動画像符号化プログラムＰ２００は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像符号化プログラムＰ２００をメモリ１６に格納し、当該動画像符号化プログラムＰ２００を実行することができる。
【０１３８】
図１５に示すように、動画像符号化プログラムＰ２００は、入力画像記憶モジュールＰ１０と、帯域分割モジュールＰ２０と、第１の符号化モジュールＰ３０と、第２の符号化モジュールＰ１５０と、多重化モジュールＰ７０と、及び、記憶モジュールＰ１９０とを備えている。また、第２の符号化モジュールＰ１５０は、動き検出サブモジュールＰ１５１と、動き補償サブモジュールＰ１５２と、減算サブモジュールＰ１５３と、符号化サブモジュールＰ１５４とによって構成される。
【０１３９】
入力画像記憶モジュールＰ１０、帯域分割モジュールＰ２０、第１の符号化モジュールＰ３０、第２の符号化モジュールＰ１５０、多重化モジュールＰ７０、記憶モジュールＰ１９０、動き検出サブモジュールＰ１５１、動き補償サブモジュールＰ１５２、減算サブモジュールＰ１５３、及び、符号化サブモジュールＰ１５４がコンピュータに実現させる機能はそれぞれ、上述した入力画像記憶部１０２、帯域分割部１０３、第１の符号化部１０４、第２の符号化部１２０６、多重化モジュール１０８、記憶部１２１６、動き検出器１２１１、動き補償器１２１７、減算器１２１２、及び、符号化器１２１３のうち対応要素と同様である。
【０１４０】
以下、動画像符号化装置１２２０の作用及び効果を説明する。動画像符号化装置１２２０では、動画像を構成する複数の画像が二つずつ符号化対象の画像とされ、当該符号化対象画像の帯域分割が一回のみ実行される。したがって帯域分割に伴う遅延が少なくなっている。また、第２の符号化処理では、符号化対象の画像に基づく低帯域信号と、符号化対象の画像とは異なる動画像の二つの画像に対して既に生成済みの低帯域信号に基づく予測信号との差分による残差信号が符号化される。したがって、低帯域信号の帯域分割処理の回数が一度であっても、低帯域信号が効率良く符号化される。
【０１４１】
したがって、符号化に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、符号化の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
【０１４２】
＜第３の実施形態＞
【０１４３】
次に、本発明の第３の実施形態に係る動画像復号装置について説明する。図１６は、本発明の第３の実施形態に係る動画像復号装置の構成を示す図である。図１６に示す動画像復号装置１６２０は、動画像符号化装置１２０によって生成された圧縮データから動画像を再生可能な装置である。
【０１４４】
動画像復号装置１６２０は、物理的には、ＣＰＵ（中央処理装置）、メモリといった記憶装置、ディスプレイといった表示装置、通信装置等を備えるコンピュータであることができる。また、動画像復号装置１６２０は、携帯電話といった移動通信端末、ＤＶＤ再生装置といった機器であってもよい。すなわち、動画像復号装置１６２０には、情報処理可能な装置が広く適用される。
【０１４５】
図１６に示すように、動画像復号装置１６２０は、機能的には、入力端子１６０１と、データ解析部１６０２と、第１の復号部（第１の復号手段）１６０３と、第２の復号部（第２の復号手段）１６０４と、記憶部１６０７と、帯域合成部（帯域合成手段）１６０９と、出力端子１６１０及び１６１１とを備える。
【０１４６】
入力端子１６０１には、動画像符号化装置１２０によって生成された圧縮データが入力される。入力端子１６０１は、ラインＬ１６０１経由で圧縮動画像データをデータ解析部１６０２に出力する。
【０１４７】
データ解析部１６０２は、ラインＬ１６０１経由で受けた圧縮データを解析することによって、圧縮高帯域信号ＨＫＬＣをラインＬ１６０２経由で第１の復号部１６０３へ、圧縮低帯域信号ＬＫＬＣをラインＬ１６１２経由で第２の復号部１６０４へ、動画像符号化装置１２０の第２の符号化部１０６で生成された動きベクトル及び参照画像識別情報をラインＬ１６１１経由で第２の復号部１６０４へ、動画像符号化装置１２０の帯域分割部１０３で生成された動きベクトルをラインＬ１６１０経由で帯域合成部１６０９へ出力する。
【０１４８】
第１の復号部１６０３は、ラインＬ１６０２経由で受けた圧縮高帯域信号ＨＫＬＣに第１の復号処理を適用することによって、再生高帯域信号ＨＫＬＲを生成する。第１の復号処理では、動画像符号化装置１２０の第１の符号化処理と対象の処理が実行される。したがって、第１の復号部１６０３は、圧縮高帯域信号ＨＫＬＣを可変長復号することによって再生量子化変換係数を生成し、当該再生量子化変換係数を逆量子化することによって再生変換係数を生成し、当該再生変換係数に対して逆離散コサイン変換を施すことによって、再生高帯域信号ＨＫＬＲを復元する。
【０１４９】
第２の復号部１６０４は、ラインＬ１６１２経由で受けた圧縮低帯域信号ＬＫＬＣに第２の復号処理を適用することによって、再生低帯域信号ＬＫＬＲを生成する。第２の復号部１６０４の詳細な構成については、後述することとする。
【０１５０】
帯域合成部１６０９は、ラインＬ１６０３経由で受けた再生高帯域信号ＨＫＬＲと、ラインＬ１６０５経由で受けた再生低帯域信号ＬＫＬＲとを帯域合成することによって、画像Ｋ，画像Ｌの再生画像ＫＲ，再生画像ＬＲを生成する。なお、帯域合成部１６０９は、帯域合成の際、ラインＬ１６１０経由で受けた動きベクトルを用いる。帯域合成部１６０９の処理は、動画像符号化装置１２０の帯域合成部１０９の処理と同じ処理である。
【０１５１】
記憶部１６０７は、ラインＬ１６０５経由で受けた再生低帯域信号ＬＫＬＲと、ラインＬ１６０８及びＬ１６０９経由で受けた再生画像ＫＲ及び再生画像ＬＲとを記憶する。
【０１５２】
以下、第２の復号部１６０４について詳細に説明する。第２の復号部１６０４は、復号器１６０５と、加算器１６０６と、動き補償器１６０８とを備える。
【０１５３】
動画像復号装置１６２０は、圧縮低帯域信号ＬＫＬＣに第２の復号処理を適用する前に、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲを記憶部１６０７に記憶しているものとする。
【０１５４】
復号器１６０５は、ラインＬ１６１２経由で受けた圧縮低帯域信号ＬＫＬＣに復号処理を適用することによって、再生残差信号を復元する。この復号処理は、動画像符号化装置１２０の符号化器１１３の符号化処理と対象の処理である。
【０１５５】
動き補償器１６０８は、ラインＬ１６１１経由で受けた参照画像識別情報及び動きベクトルに基づき、ラインＬ１６０６経由で受けた再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから、領域を特定して、当該領域内の信号を予測信号とする。
【０１５６】
加算器１６０６は、ラインＬ１６０４経由で受けた再生残差信号とラインＬ１６０７経由で受けた予測信号とを加算することによって、再生低帯域信号ＬＫＬＲを生成する。
【０１５７】
次に、動画像復号装置１６２０の動作について説明する。併せて、第３の実施形態に係る動画像復号方法について説明する。図１７は、本発明の第３の実施形態に係る動画像復号方法のフローチャートである。
【０１５８】
図１７に示すように、この動画像復号方法では、まず、圧縮データが入力される（ステップＳ２０１）。
【０１５９】
次いで、データ解析部１６０２によって、圧縮動画像データが解析されることによって、圧縮高帯域信号ＨＫＬＣが第１の復号部１６０３へ、圧縮低帯域信号ＬＫＬＣが第２の復号部１６０４へ、動画像符号化装置１２０の第２の符号化部１０６で生成された動きベクトル及び参照画像識別情報が第２の復号部１６０４へ、動画像符号化装置１２０の帯域分割部１０３で生成された動きベクトルが帯域合成部１６０９へ出力される（ステップＳ２０２）。
【０１６０】
次いで、第１の復号部１６０３によって、圧縮高帯域信号ＨＫＬＣに上述した第１の復号処理が適用されることによって、再生高帯域信号ＨＫＬＲが復元される。（ステップＳ２０３）。
【０１６１】
次いで、第２の復号部１６０４によって、圧縮低帯域信号ＬＫＬＣに上述した第２の復号処理が適用されることによって、再生低帯域信号ＬＫＬＲが復元される（ステップＳ２０４）。ステップＳ２０４の詳細は後述する。
【０１６２】
次いで、帯域合成部１６０９によって、再生高帯域信号ＨＫＬＲと再生低帯域信号ＬＫＬＲとが帯域合成されることによって、画像Ｋ及び画像Ｌ各々の再生画像が生成される（ステップＳ２０５）。
【０１６３】
次いで、記憶部１６０７によって、上記再生低帯域信号ＬＫＬＲ、再生画像ＫＲ、及び、再生画像ＬＲが記憶される。（ステップＳ２０６）。
【０１６４】
以下、ステップＳ２０４の第２の復号について詳細に説明する。図１８は、第２の復号処理に関するフローチャートである。まず、圧縮低帯域信号ＬＫＬＣ、動画像符号化装置１２０の第２の符号化部１０６で生成された動きベクトル及び参照画像識別情報、上記再生低帯域信号ＬＫＬＲ、再生画像ＫＲ、及び、再生画像ＬＲが入力される（ステップＳ２０４−１）。
【０１６５】
次いで、復号器１６０５によって、圧縮低帯域信号ＬＫＬＣに復号処理が適用されることによって、再生残差信号が復元される。この復号処理は、動画像符号化装置１２０の符号化器１１３の符号化処理と対象の処理である（ステップＳ２０４−２）。
【０１６６】
次いで、動き補償器１６０８によって、参照画像識別情報及び動きベクトルに基づき、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから、領域が特定され、当該領域内の信号が予測信号とされる（ステップＳ２０４−３）。
【０１６７】
ついで、加算器１６０６によって、上記再生残差信号と上記予測信号が加算されることによって、再生低帯域信号ＬＫＬＲが生成される（ステップＳ２０４−４）。
【０１６８】
次に、本発明の実施形態に係る動画像復号プログラムについて説明する。図１９は、本発明の実施形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。
【０１６９】
図１９に示すように、動画像復号プログラムＰ３００は、記録媒体１０に格納されて提供される。記録媒体１０としては、フロッピーディスク、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
【０１７０】
動画像復号プログラムＰ３００が、図１０及び図１１に示すコンピュータ３０の読取装置１２に挿入されると、コンピュータ３０は、記録媒体１０に格納された動画像復号プログラムＰ３００にアクセス可能になる。当該動画像復号プログラムＰ３００によって、コンピュータ３０は、動画像復号装置１６２０として動作することが可能になる。なお、図１１に示すように、動画像復号プログラムＰ３００は、搬送波に重畳されたコンピュータデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合、コンピュータ３０は、通信装置２４によって受信した動画像復号プログラムＰ３００をメモリ１６に格納し、当該動画像復号プログラムＰ３００を実行することができる。
【０１７１】
図１９に示すように、動画像復号プログラムＰ３００は、データ解析モジュールＰ２１０と、第１の復号モジュールＰ２２０と、第２の復号モジュールＰ２３０と、帯域合成モジュールＰ２４０と、記憶モジュールＰ２５０とを備えている。また、第２の復号モジュールＰ２３０は、復号サブモジュールＰ２３１と、動き補償サブモジュールＰ２３２と、加算サブモジュールＰ２３３とを備えている。
【０１７２】
データ解析モジュールＰ２１０、第１の復号モジュールＰ２２０、第２の復号モジュールＰ２３０、帯域合成モジュールＰ２４０、記憶モジュールＰ２５０、復号サブモジュールＰ２３１、動き補償サブモジュールＰ２３２、及び、加算サブモジュールＰ２３３がコンピュータに実現させる機能はそれぞれ、上述したデータ解析部１６０２、第１の復号部１６０３、第２の復号部１６０４、帯域合成部１６０９、記憶部１６０７、復号器１６０５、動き補償器１６０８、加算器１６０６のうち、対応の要素と同様である。
【０１７３】
以上、動画像復号装置１６２０について説明したが、動画像復号装置１６２０は、最初の画像を再生する際に、記憶部１６０７に信号を記憶していないので、本実施の形態では、動画像復号装置１６２０は、最初の画像の再生に際しては、Ｈ．２６４で適用されている画面内予測復号処理を用いる。
【０１７４】
また、第２の復号部１６０４は、生成済みの再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうちから予測信号を生成するが、動画像符号化装置の第２の符号化部による第２の符号化処理に応じて、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲのうち少なくとも一つから予測信号を生成することができる。更に、再生低帯域信号ＬＭＮＲ、再生画像ＭＲ、及び、再生画像ＮＲに限定せずに、これらの再生信号と異なる複数の再生低帯域信号ＬＸＹＲ、再生画像ＸＲ、及び、再生画像ＹＲを参照画像として用いてもよい。ここで、Ｘ≠Ｍ又はＮ、Ｙ≠Ｍ又はＮとする。
【０１７５】
以下、動画像復号装置１６２０の作用及び効果を説明する。動画像復号装置１６２０では、復号対象の圧縮低帯域信号を復号した信号（再生残差信号）に、当該復号対象の圧縮低帯域信号とは異なる圧縮低帯域信号から生成済みの再生低帯域信号及び再生画像の少なくとも一つを参照することによって生成された予測信号を加算することによって、再生低帯域信号が生成される。この再生低帯域信号が、対応の再生高帯域信号に帯域合成されることによって、二つの再生画像が生成される。このように、一度の帯域合成処理によって二つの再生画像が生成されるので、動画像の復元における遅延が削減されている。
【０１７６】
したがって、復号に要する時間が短縮され、映像伝送の遅延時間が大幅に短縮される。更に、復号の際、入力画像や中間処理画像を記憶するためのフレームメモリの容量が大幅に削減される。
【０１７７】
以上、好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置及び詳細において変更され得ることができることは、当業者によって認識される。本発明は実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲及びその精神の範囲から来るすべての修正及び変更に権利を請求する。
【図面の簡単な説明】
【０１７８】
【図１】図１は、本発明の第１の実施形態に係る動画像符号化装置の構成を示す図である。
【図２】図２は、帯域分割部の構成を示す図である。
【図３】図３は、帯域合成部の構成を示す図である。
【図４】図４は、本発明の第１の実施形態に係る動画像符号化方法のフローチャートである。
【図５】図５は、帯域分割に関するフローチャートである
【図６】図６は、第２の符号化処理に関するフローチャートである。
【図７】図７は、第２の復号処理に関するフローチャートである。
【図８】図８は、帯域合成に関するフローチャートである。
【図９】図９は、本発明の第１の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
【図１０】図１０は、記録媒体に記録されたプログラムを実行するためのコンピュータのハードウェア構成を示す図である。
【図１１】図１１は、記録媒体に記憶されたプログラムを実行するためのコンピュータの斜視図である。
【図１２】図１２は、本発明の第２の実施形態に係る符号化装置の構成を示す図である。
【図１３】図１３は、本発明の第２の実施形態に係る動画像符号化方法のフローチャートである。
【図１４】図１４は、第２の符号化処理に関するフローチャートである。
【図１５】図１５は、本発明の第２の実施形態に係る動画像符号化プログラムの構成を、記録媒体と共に示す図である。
【図１６】図１６は、本発明の第３の実施形態に係る動画像復号装置の構成を示す図である。
【図１７】図１７は、本発明の第３の実施形態に係る動画像復号方法のフローチャートである。
【図１８】図１８は、第２の復号処理に関するフローチャートである。
【図１９】図１９は、本発明の実施形態に係る動画像復号プログラムの構成を、記録媒体と共に示す図である。
【図２０】図２０は、従来の動き補償付き時間方向帯域分割処理の流れを模式的に示す図である。
【図２１】図２１は、本発明の第１の実施形態に係る動画像符号化装置の一変形例の構成を示す図である。
【符号の説明】
【０１７９】
１２０…動画像符号化装置、１０１…入力端子、１０２…入力画像記憶部、１０３…帯域分割部、１０４…第１の符号化部、１０５…第１の復号部、１０６…第２の符号化部、１０７…第２の復号部、１０８…多重化部、１０９…帯域合成部、１１０…出力端子。
【図１】
2006108923.tif 000003
【図２】
2006108923.tif 000004
【図３】
2006108923.tif 000005
【図４】
2006108923.tif 000006
【図５】
2006108923.tif 000007
【図６】
2006108923.tif 000008
【図７】
2006108923.tif 000009
【図８】
2006108923.tif 000010
【図９】
2006108923.tif 000011
【図１０】
2006108923.tif 000012
【図１１】
2006108923.tif 000013
【図１２】
2006108923.tif 000014
【図１３】
2006108923.tif 000015
【図１４】
2006108923.tif 000016
【図１５】
2006108923.tif 000017
【図１６】
2006108923.tif 000018
【図１７】
2006108923.tif 000019
【図１８】
2006108923.tif 000020
【図１９】
2006108923.tif 000021
【図２０】
2006108923.tif 000022
【図２１】
2006108923.tif 000023