(57)【特許請求の範囲】
【請求項１】
入力映像を符号化する符号化装置であって、
時間的に前後する第２入力映像のピクセルと第１入力映像のピクセルとのマッチングにより、上記第２入力映像内のピクセルの位置及び上記第１入力映像内のマッチしたピクセルの位置に対応する動きベクトルを算出する動きベクトル算出手段と、
上記第１及び第２入力映像内の夫々等しく加重されたピクセルを加算することによって、第１出力映像のピクセルを生成し、上記第１及び第２入力映像内の夫々等しく加重されたピクセルを減算することによって、第２出力映像のピクセルを生成する符号化手段と、
第１出力映像の各上記ピクセルは、第１入力映像内の同位置のピクセルと、対応する動きベクトルによって決定される、第２入力映像内のそれにマッチしたピクセルとを加算することによって生成し、第２出力映像の各上記ピクセルは、第２入力映像内の同位置のピクセルを、対応する動きベクトルによって決定される、第１入力映像内のそれにマッチしたピクセルから減算することによって生成するように、上記符号化手段を制御する符号化制御手段と、
１以上の動きベクトルと対応する第１入力映像内のピクセル位置を識別し、該ピクセル位置の各々について、上記対応する動きベクトルの１つを当該ピクセル位置に対する最有力ベクトルとして選択する選択手段と
を具え、
上記符号化制御手段は、第１入力映像内のピクセル位置に１以上の動きベクトルが対応する場合、第１出力映像内の同位置ピクセルを、上記最有力ベクトルに対応するピクセル同士の加算によって生成するように、上記符号化手段を制御する
符号化装置。
【請求項２】
上記選択手段は、１以上の動きベクトルと対応する各上記ピクセル位置について、大きさが最も小さいベクトルを当該ピクセル位置に対する最有力ベクトルとして選択する
請求項１の符号化装置。
【請求項３】
上記選択手段は、当該ピクセル位置と対応する残りのベクトルを下位ベクトルとして選択する
請求項１の符号化装置。
【請求項４】
上記選択手段は、当該ピクセル位置と対応する残りのベクトルを下位ベクトルとしてフラグを付加する
請求項１の符号化装置。
【請求項５】
上記選択手段は、第１入力映像内のマッチしないピクセルの位置を更に識別し、
上記符号化制御手段は、第１入力映像内のマッチしないピクセルと同位置の第１出力映像のピクセルを該マッチしないピクセルから直接生成するように、上記符号化手段を制御する
請求項１の符号化装置。
【請求項６】
上記符号化制御手段は、出力映像のピクセルを入力映像内のピクセルの加算又は減算によって生成するとき、上記符号化手段が入力映像内のピクセルをｘの乗算加重係数で加重し、第１入力映像内のマッチしないピクセルと同位置の第１出力映像のピクセルを該マッチしないピクセルから直接生成するとき、上記符号化手段が入力映像内のピクセルを２ｘの乗算加重係数で加重するように、上記符号化手段を制御する請求項５の符号化装置。
【請求項７】
ｘ＝１／２である請求項６の符号化装置。
【請求項８】
請求項１の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
第１及び第２出力映像を取得して、第１入力映像に対応する第１復号映像のピクセルを、上記第１及び第２出力映像内で等しく加重されたピクセル同士の加算によって生成し、第２入力映像に対応する第２復号映像のピクセルを、上記第１及び第２出力映像内で等しく加重されたピクセル同士の減算によって生成する復号手段と、
上記第１及び第２入力映像のマッチしたピクセルの位置に対応する動きベクトルを取得して、第１復号映像の各ピクセルは、第１出力映像内の同位置ピクセルと、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第１入力映像内のピクセルにマッチしたピクセル位置にある第２出力映像内のピクセルとを加算することによって生成し、第２復号映像の各ピクセルは、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１出力映像内のピクセルから減算することによって生成するように、上記復号手段を制御する復号制御手段と具え、
上記復号制御手段は、１以上の動きベクトルが第１入力映像内のピクセル位置に対応する場合、第１復号映像内の対応するピクセルを、上記最有力ベクトルに対応する位置にある出力映像内のピクセル同士の加算によって生成するように、上記復号手段を制御する
復号装置。
【請求項９】
請求項２の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
上記復号制御手段は、１以上の動きベクトルが第１入力映像内のピクセル位置に対応する場合、第１復号映像内の対応するピクセルを、上記最有力ベクトルとして選択された大きさが最も小さいベクトルに対応する位置にある出力映像内のピクセル同士の加算によって生成するように、上記復号手段を制御する
請求項８の復号装置。
【請求項１０】
請求項３の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
上記復号制御手段は、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１復号映像内のピクセルから減算することによって、上記下位ベクトルに対応する位置にある第２入力映像内のピクセルに対応する第２復号映像内のピクセルを生成するように、上記復号手段を制御する
請求項８の復号装置。
【請求項１１】
請求項４の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
上記復号制御手段は、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１復号映像内のピクセルから減算することによって、上記フラグによって示される上記下位ベクトルに対応する位置にある第２入力映像内のピクセルに対応する第２復号映像内のピクセルを生成するように、上記復号手段を制御する
請求項８の復号装置。
【請求項１２】
請求項５の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
上記復号制御手段は、第１入力映像のマッチしないピクセルに対応する第１復号映像のピクセルを直接第１出力映像内の同位置ピクセルから生成するように、上記復号手段を制御する
請求項８の復号装置。
【請求項１３】
請求項３の符号化装置によって入力映像が符号化された出力映像を復号する復号装置であって、
上記復号制御手段は、下位ベクトルに対応する位置にある第２入力映像のピクセルに対応する第２復号映像のピクセルを作成する場合、第１復号映像を第２復号映像の前に作成し、第２復号映像のピクセルは、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、第２復号映像のピクセルに対応する第２入力映像のピクセルにマッチしたピクセル位置にある第１復号映像から減算して作成し、且つ、この減算の前に、第２出力映像内の上記ピクセルを４ｘの乗算加重係数で加重し、第１復号映像内の上記ピクセルを２ｘの乗算加重係数で加重するように、上記復号手段を制御する請求項８の復号装置。
【請求項１４】
ｘ＝１／２である請求項１３の復号装置。
【請求項１５】
入力映像を符号化する符号化方法であって、
時間的に前後する第２入力映像のピクセルと第１入力映像のピクセルとのマッチングにより、上記第２入力映像内のピクセルの位置及び上記第１入力映像内のマッチしたピクセルの位置に対応する動きベクトルを算出する第１のステップと、
１以上の動きベクトルと対応する第１入力映像内のピクセル位置を識別し、該ピクセル位置の各々について、上記対応する動きベクトルの１つを当該ピクセル位置に対する最有力ベクトルとして選択する第２のステップと、
上記第１及び第２入力映像内の夫々等しく加重されたピクセルを加算することによって、第１出力映像のピクセルを生成し、上記第１及び第２入力映像内の夫々等しく加重されたピクセルを減算することによって、第２出力映像のピクセルを生成する第３のステップとを含み、
上記第３のステップでは、第１出力映像の各上記ピクセルは、第１入力映像内の同位置のピクセルと、対応する動きベクトルによって決定される、第２入力映像内のそれにマッチしたピクセルとを加算することによって生成し、第２出力映像の各上記ピクセルは、第２入力映像内の同位置のピクセルを、対応する動きベクトルによって決定される、第１入力映像内のそれにマッチしたピクセルから減算することによって生成し、第１入力映像内のピクセル位置に１以上の動きベクトルが対応する場合、第１出力映像内の同位置ピクセルを、上記最有力ベクトルに対応するピクセル同士の加算によって生成する符号化方法。
【請求項１６】
上記第２のステップで、１以上の動きベクトルと対応する各上記ピクセル位置について、大きさが最も小さいベクトルを当該ピクセル位置に対する最有力ベクトルとして選択する
請求項１５の符号化方法。
【請求項１７】
上記第２のステップで、当該ピクセル位置と対応する残りのベクトルを下位ベクトルとして選択する
請求項１５の符号化方法。
【請求項１８】
上記第２のステップで、当該ピクセル位置と対応する残りのベクトルを下位ベクトルとしてフラグを付加する
請求項１５の符号化方法。
【請求項１９】
上記第２のステップで、第１入力映像内のマッチしないピクセルの位置を更に識別し、
上記第３のステップで、第１入力映像内のマッチしないピクセルと同位置の第１出力映像のピクセルを該マッチしないピクセルから直接生成する
請求項１５の符号化方法。
【請求項２０】
上記第３のステップでは、出力映像のピクセルを入力映像内のピクセルの加算又は減算によって生成するとき、入力映像内のピクセルをｘの乗算加重係数で加重し、第１入力映像内のマッチしないピクセルと同位置の第１出力映像のピクセルを該マッチしないピクセルから直接生成するとき、入力映像内のピクセルを２ｘの乗算加重係数で加重する請求項１９の符号化方法。
【請求項２１】
ｘ＝１／２である請求項２０の符号化方法。
【請求項２２】
請求項１５の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
第１及び第２出力映像と、上記符号化方法によって生成された、マッチしたピクセルの位置に対応する動きベクトルとを取得する第１のステップと、
第１入力映像に対応する第１復号映像のピクセルを、上記第１及び第２出力映像内で等しく加重されたピクセル同士の加算によって生成し、第２入力映像に対応する第２復号映像のピクセルを、上記第１及び第２出力映像内で等しく加重されたピクセル同士の減算によって生成する第２のステップとを含み、
上記第２のステップでは、第１復号映像の各ピクセルは、第１出力映像内の同位置ピクセルと、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第１入力映像内のピクセルにマッチしたピクセル位置にある第２出力映像内のピクセルとを加算することによって生成し、第２復号映像の各ピクセルは、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１出力映像内のピクセルから減算することによって生成し、１以上の動きベクトルが第１入力映像内のピクセル位置に対応する場合、第１復号映像内の対応するピクセルを、上記最有力ベクトルに対応する位置にある出力映像内のピクセル同士の加算によって生成する
復号方法。
【請求項２３】
請求項１６の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
上記第２のステップでは、１以上の動きベクトルが第１入力映像内のピクセル位置に対応する場合、第１復号映像内の対応するピクセルを、上記最有力ベクトルとして選択された大きさが最も小さいベクトルに対応する位置にある出力映像内のピクセル同士の加算によって生成する
請求項２２の復号方法。
【請求項２４】
請求項１７の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
上記第２のステップで、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１復号映像内のピクセルから減算することによって、上記下位ベクトルに対応する位置にある第２入力映像内のピクセルに対応する第２復号映像内のピクセルを生成する
請求項２２の復号方法。
【請求項２５】
請求項１８の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
上記第２のステップで、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、生成しようとするピクセルに対応する第２入力映像内のピクセルにマッチしたピクセル位置にある第１復号映像内のピクセルから減算することによって、上記フラグによって示される上記下位ベクトルに対応する位置にある第２入力映像内のピクセルに対応する第２復号映像内のピクセルを生成する
請求項２２の復号方法。
【請求項２６】
請求項１９の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
上記第２のステップで、第１入力映像のマッチしないピクセルに対応する第１復号映像のピクセルを直接第１出力映像内の同位置ピクセルから生成する
請求項２２の復号方法。
【請求項２７】
請求項１７の符号化方法によって入力映像が符号化された出力映像を復号する復号方法であって、
上記第２のステップで、
上記第２のステップで、下位ベクトルに対応する位置にある第２入力映像のピクセルに対応する第２復号映像のピクセルを作成する場合、第１復号映像を第２復号映像の前に作成し、第２復号映像のピクセルは、第２出力映像内の同位置ピクセルを、対応する動きベクトルによって決定される、第２復号映像のピクセルに対応する第２入力映像のピクセルにマッチしたピクセル位置にある第１復号映像から減算して作成し、且つ、この減算の前に、第２出力映像内の上記ピクセルを４ｘの乗算加重係数で加重し、第１復号映像内の上記ピクセルを２ｘの乗算加重係数で加重する請求項２２の復号方法。
【請求項２８】
ｘ＝１／２である請求項２７の復号方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、ビデオ信号の符号化及び復号方式（方法及び装置）に関し、例えはデジタルビデオ圧縮及び伸長処理に適用されるものである。
【０００２】
【従来の技術】
公知のビデオ圧縮技法は、ビデオ信号の空間的（即ち、映像内）及び（又は）時間的（即ち、映像間）符号化を含んでいる。公知の空間的符号化方法の１つは、２次元空間周波数領域におけるビデオ映像（即ち、ビデオ信号のフィールド又はフレーム）のサブバンド周波数分割を必要としている。所望数のサブバンド（小帯域）への周波数分割は、水平映像方向におけるフィルタリング（ろ波処理）が垂直映像方向におけるフィルタリングとは別個に行われるフィルタ装置を用いて達成できる。各水平及び垂直フィルタリングのために、該フィルタ装置は、樹枝構造に配設された一連のフィルタ段で構成され、各フィルタ段は相補的なロー及びハイパスフィルタを含んでいる。水平フィルタ装置の第１フィルタ段にて上記ロー及びハイパスフィルタに供給されるビデオ映像は、２つの水平周波数バンド（帯域）即ちローパスバンド及びハイパスバンドに分割され、それらは各フィルタの出力側で別々にデシメート（サブサンプリング）される。これらの各バンドはそれから、類似のフィルタ段に供給され、更に低及び高周波成分に再分割され、この処理が所望数の水平サブバンドが得られるまで繰返される。各サブバンド成分はそれから、垂直フィルタ装置に送られ垂直バンドに再分割され、最後に入力映像は、２次元空間周波数領域内で所望数の空間周波数成分へと非相関化される。
【０００３】
フィルタ装置の構成に応じて、映像は、均一又は不均一のサイズのサブバンド成分に分離される。後者の場合の周波数分割処理は、対数的又は「ウェーブレット」符号化として知られている。どちらの場合も、空間周波数成分データにそれから量子化処理を施すが、種々異なる空間周波数成分に対する量子化度を、種々異なる空間周波数における人間の視覚感度によって決め、得た量子化データをそれからエントロピー符号化して圧縮したデータを送信したり、蓄積したりしている。伸長（圧縮解除）処理では、圧縮処理の種々の段階を逆にして原映像データを再構成している。
【０００４】
上述の周波数分割技法は単なる空間符号化処理にすぎず、連続するビデオ映像間の類似性による時間軸に沿って冗長度を考慮していない。標準化のための国際機構によって開発されたＭＰＥＧ（映像専門家グループ）標準方式は、特にビデオ圧縮に対する規格を定めており、空間的及び時間的両方の処理を含む方式を提案している。このＭＰＥＧ方式は、「Communications of the ACM 」April 1991,Volume 34,No.4 の47〜58ページに要約されている。
【０００５】
１つのＭＰＥＧ案は、添付の図１に示すようなフレーム単位ＤＰＣＭループを用いるものである。この案によれば、連続ビデオ映像間の差を計算して幾つかの時間的冗長度をなくすようにし、その差信号に空間的符号化処理を施す。差信号におけるエントロピーを確実に低くするために、この方式では、動きベクトル推定を使用して連続ビデオ映像間のピクセルブロック（又は「マクロブロック」）の映像内容の動きを表す動きベクトルを導出し、上記の差を１ブロック毎に動きベクトルの方向に沿って計算する。
【０００６】
図１において、１対の連続ビデオフレームが動きベクトル発生器１に供給され、そこで公知の動きベクトル推定技法を用いて、第２入力フレームの各マクロブロック（ここでは、１６×１６ピクセルアレイ）に対し第２フレーム及び第１フレーム間の当該マクロブロックの動きを表す（水平及び垂直映像方向におけるピクセル数で表す）動きベクトルを導出する。第１フレームをそれから減算器２を介して空間的符号化器３に出力し、そこで空間（的）符号化処理が行われ、空間符号化されたフレームは出力４ａに供給され、蓄積、送信その他の処理に供される。符号化された第１フレームはまた、復号器５を介して動き補正器６にフィードバックされる。復号器５では、符号化器３によって行われた空間符号化処理の逆を行う。動き補正器６はまた、動きベクトル発生器１によって導出されベクトル出力４ｂに供給される動きベクトルを受取る。
【０００７】
第２フレームは、１ブロックずつ動きベクトル発生器１により次に出力されることになり、第２フレームの各ブロック及び第１フレームのブロック間の差は、第２フレームの当該ブロックに関する動きベクトルによって「指し示された」位置で、計算されることになる。こうして、第２フレームの各連続ブロックに対し、動き補正器６は、当該ブロックに対して供給された動きベクトルを用いて第１フレームの適正ブロックを識別し、それを補正遅延回路７ａに出力する。そして、第２フレームの各ブロックが減算器２に出力されるにつれて、当該ブロックに関する動きベクトルによって指し示された位置における、第１フレームのピクセルブロックが、遅延回路７ａを介して減算器２の負入力に出力される。これらのピクセルはそれから、減算器２の正入力に供給された第２フレームのマクロブロックにおける対応ピクセルから減算され、得られた差値は空間符号化器３に出力される。
【０００８】
この処理は、動きベクトル発生器１から出力される第２フレームの全マクロブロックについて繰返される。こうして、第１及び第２フレーム間の差が１ブロックずつ動きベクトルの方向に沿って計算され、差値（空間符号化後の）が出力４ａに供給されると共に加算器７ｂの一方の入力にループを回ってフィードバックされる。遅延回路７ａから減算器２に出力された第１フレームのピクセルブロックはまた、加算器７ｂの他方の入力にも供給される。こうして、第１フレームのピクセルブロックは第２フレームとの差値に加算され、動き補正器６に供給される第２フレームを再構成する。この処理を繰返して第３フレーム及び第２フレーム間の差を得る等々のことを行うことができる。
【０００９】
【発明が解決しようとする課題】
上述のＭＰＥＧ案は、時間（的）符号化処理に動き補正を用いることにより低エントロピーを達成するが、この案には幾つかの欠点がある。第１点は、ＤＰＣＭ処理が非対称的である、即ち処理が行き当たりばったりで、第２出力「フレーム」を第１フレームから、第３フレームを第２フレームから、以下同様に計算することである。したがって、どこかの処理段階で入ってきたエラーがその後段全部に伝搬されることになる。更に、ＤＰＣＭ処理はフレームを時間的周波数バンドに分割しないので、例えば量子化処理において人間の視覚組織の時間的特性を利用できない。
よって、本発明の課題は、これらの欠点を改善することである。
【００１０】
【課題を解決するための手段及び作用】
本発明は、一面において、次の構成要素を具える入力映像を符号化する符号化装置を提供する。該装置は、
時間的に前後する第２入力映像のピクセルと第１入力映像のピクセルとのマッチングにより、上記第２入力映像内のピクセルの位置及び上記第１入力映像内のマッチしたピクセルの位置に対応する動きベクトルを算出する動きベクトル算出手段と、
上記第１及び第２入力映像内の夫々等しく加重されたピクセルを加算することによって、第１出力映像のピクセルを生成し、上記第１及び第２入力映像内の夫々等しく加重されたピクセルを減算することによって、第２出力映像のピクセルを生成する符号化手段と、
第１出力映像の各上記ピクセルは、第１入力映像内の同位置のピクセルと、対応する動きベクトルによって決定される、第２入力映像内のそれにマッチしたピクセルとを加算することによって生成し、第２出力映像の各上記ピクセルは、第２入力映像内の同位置のピクセルを、対応する動きベクトルによって決定される、第１入力映像内のそれにマッチしたピクセルから減算することによって生成するように、上記符号化手段を制御する符号化制御手段と、
１以上の動きベクトルと対応する第１入力映像内のピクセル位置を識別し、該ピクセル位置の各々について、上記対応する動きベクトルの１つを当該ピクセル位置に対する最有力ベクトルとして選択する選択手段と
を具え、
上記符号化制御手段は、第１入力映像内のピクセル位置に１以上の動きベクトルが対応する場合、第１出力映像内の同位置ピクセルを、上記最有力ベクトルに対応するピクセル同士の加算によって生成するように、上記符号化手段を制御する。
【００１１】
本発明は、動きベクトルを時間的フィルタリング処理に適用し、ビデオ信号のサブバンド周波数分割を、上述の技法と同様にして、ただし空間符号化でなく時間符号化で可能にしようとするものである。この着想は、時間的エイリアスのレベルが高く連続ビデオ列にて編集処理できるという要求があるため、時間軸に沿った符号化については多タップ付きフィルタは望ましくないので、簡単な２タップ・フィルタを使用するということから始まっており、該フィルタも係数１，１をもつＨａａｒ型のものがよい。
【００１２】
本発明をもっと詳細に考察する前に、図２〜５を参照してＨａａｒフィルタ装置を用いる時間デシメーション及び再構成の基本原理を述べる。
【００１３】
図２は、１つのデシメーション段８ａ及び１つの再構成段８ｂより成る基本的Ｈａａｒフィルタ装置のブロック図である。デシメーション段８ａは、係数１，１をもつローパスフィルタ（ＬＰＦ）９ａと、共通入力に接続された係数１，−１をもつ相補的なハイパスフィルタ（ＨＰＦ）１０ａとを有する。各フィルタ９ａ，１０ａの出力は、２で割るユニット１１及びデシメータ１２に接続される。再構成段８ｂは、同じように、夫々係数１，１及び１，−１をもつＬＰＦ９ａ及びＨＰＦ１０ｂを有する。各フィルタ９ｂ，１０ｂの入力には補間器１３が接続され、該フィルタの出力は、再構成段の出力を供給する加算器１４に接続される。
【００１４】
基本的な時間フィルタリング処理は、空間における同じ位置のサンプル、ここでは、フィルタの入力に供給されるビデオ信号の連続フレームにおける同じ位置のサンプルを連続的に一直線に並べることに頼っている。即ち、図２のフィルタ９，１０は、図３に示すように、フレーム遅延器（Ｆ）１５を具えており、デシメータ１２は、フィルタ９ａ，１０ａから出力される１つおきのフレームを除去し、補間器１３は、デシメータにより除去されたフレームに対応する０値フレームを挿入する。
【００１５】
図３を考察すると、１対のフレームＡ，Ｂが連続してデシメータ段８ａの入力に供給される場合、低周波路における出力は（Ａ＋Ｂ）／２で与えられる。即ち、２フレームＡ，Ｂ内の同位置ピクセルは、１ピクセルずつ合算され、２で割算される。デシメーション段８ａの高周波路における出力は、（Ａ−Ｂ）／２で与えられる。即ち、フレームＢの各ピクセルはフレームＡの同位置ピクセルから減算され、得られた値は２で割算される。デシメータ段８ａの出力が再構成段８ｂの対応する低及び高周波路に供給されると、加算器１４から出力される第１フレームは｛（Ａ＋Ｂ）／２｝＋｛（Ａ−Ｂ）／２｝＝Ａとなり、加算器１４から出力される第２フレームは｛（Ａ＋Ｂ）／２｝−｛（Ａ−Ｂ）／２｝＝Ｂとなることが分かるであろう。
【００１６】
上述の簡単な処理は、多段システムにおける対数的、即ちウェーブレット・デシメーション処理に対しても、次段だけが前段の合算項をデシメートする（間引く）ことを保証することにより、容易にこれを適用することができる。８つのフレームＦ0 〜Ｆ7 のグループに対するこの処理を、図４の模式図により説明する。８つのフレームＦ0 〜Ｆ7 は、対数的デシメーション処理の第１段階を形成する４つのデシメーション段８ａに１対ずつ入力される。各デシメーション段８ａは、図４の段１に示すように、１ピクセルずつ２入力フレームの和の半分に対応する低周波出力と、１ピクセルずつ２入力フレーム間の差の半分に対応する高周波出力とを生成する。段１の低周波出力はそれから、２つのデシメーション段８ａに対で供給され、更に低及び高周波数成分（夫々和と差成分に対応する）に再分割される（図４の段２参照）。段２の低周波出力はそれから、もう１つのデシメーション段８ａに供給され、段３に示すように、低周波バンド及び高周波バンドに再分割される。ただし、図では略して低及び高周波バンドを単に「＋」及び「−」で示した。
【００１７】
図４に示す処理は、図５に模式的に示すように、低周波バンドのプログレッシブ（連続又は順次）デシメーションをもたらす。ここで、「Ｌ」は低周波数、「Ｈ」は高周波数、ωn はナイキスト周波数を表す。図５に示す如く、段３の出力におけるＬＬＬ及びＬＬＨバンドは夫々１フレームより成り、ＬＨバンドは２フレームより成り、Ｈバンドは４フレームより成る。即ち、ビデオ信号の原８フレームの列は、時間軸に沿ってウェーブレット符号化され、サイズが異なる４つの周波数サブバンドとなり、各サブバンドは、原８フレーム列の異なる時間的周波数成分を表す。フレームＦ0 〜Ｆ7 は勿論、該サブバンドを相補的な多段再構成フィルタに加え、周波数分割処理と逆を行って再生成することができる。
【００１８】
時間軸に沿ってウェーブレット符号化のこの簡単な処理でさえ、前述の単なるフレーム内、即ち空間符号化処理より幾らか改良された可視画像を生成する。ただし、得られる画質はＭＰＥＧ規格には合わない。しかし、本発明によれば、１対の入力ビデオ映像を組合せて低及び高周波成分に夫々対応する和成分及び差成分を生成するとき、出力ピクセルの少なくとも幾つかは、２入力フレーム内でマッチ（整合）したピクセル、即ち動きベクトルにより結ばれたピクセル同士を加算及び減算することにより、生成する。換言すると、上述の簡単な時間フィルタ段８ａにおける如く、同位置のピクセル同士を加算又は減算するように時間軸に平行な方向に時間フィルタリングを行うのではなく、本発明は、実効的に動きベクトルの方向に沿う時間フィルタリングを１ピクセルずつ行うものである。
【００１９】
動きベクトルの使用をフレーム間処理に適用すると、高周波信号におけるエネルギ内容を、上述の基本的時間フィルタリング処理に比べて相当に減少させることができ、したがって、ＭＰＥＧ規格に従った画質を、図１に示したＭＰＥＧ・ＤＰＣＭシステムの欠点なしに達成できる。詳しくいえば、時間フィルタリング処理が、時間的に対称であって、圧縮処理にて行われる可能性のある、ビデオ信号のどんな空間処理からも完全に分離されており、本発明の具体構成では、フィルタリング処理によって生成される種々異なる時間周波数バンドに対する人間の視覚感度における変化を利用することができる。よって、システムの性能に著しい利点をもたらす。
【００２０】
一方、本発明によれば、少なくとも幾つかの出力ピクセルが上述の如くマッチしたピクセル同士の加算・減算により生成されるが、例えば映像素材の性質及び動きベクトル発生処理によっては、第１入力映像におけるピクセルの全部が第２映像におけるピクセルとマッチしないことがある。与えられた機器に要求される画質に応じ、第１映像内のマッチしないピクセルを処理するのに種々の方法が考えられるが、装置に、第１入力映像内にマッチしないピクセルがあればその位置を識別する手段を含め、且つ、第１入力映像内のマッチしないピクセルと同位置の、第１出力映像のピクセルを直接マッチしないピクセルから生成するように、符号化器を制御する符号化制御器を配するのがよい。
【００２１】
更に、動きベクトル発生処理の結果、第１入力映像のピクセルの中に第２入力映像内の１以上のピクセルとマッチするものがある。この問題を処理するのに色々なシステムが考えられるが、装置に、第１入力映像内に１以上の動きベクトルと結び付いた（対応した）ピクセルがあればそのピクセル位置を識別し、かかる各ピクセル位置に対し、対応する動きベクトルの１つを当該ピクセル位置に関する最有力ベクトルとして選択し、当該ピクセル位置に対応する残りのベクトル又は各ベクトルに下位ベクトルとしてフラグを付ける手段を含め、且つ、第１入力映像内のピクセル位置に１以上のベクトルが対応している場合、第１出力映像内の同位置ピクセルを上記最有力ベクトルと対応するベクトル同士の加算により生成するように、符号化器を制御する符号化制御器を配するのがよい。
【００２２】
本発明はまた、請求項８〜１４に記載した如き、上述の符号化装置によって入力映像が符号化された出力映像を復号する復号装置をも提供する。
【００２３】
前述のとおり、動きベクトル発生処理から来るマッチしないピクセル及び１以上のベクトルに対応するピクセルに関する問題を処理するのに、種々の方法が考えられるが、本発明の好適な具体構成により実施される符号化及び復号装置は、後述のように、ビデオ映像のいわゆる「完全再構成」を可能とするものである。
【００２４】
本発明は、他の面からみて、次の如きステップを含む入力映像を符号化する符号化方法を提供する。該方法は、
時間的に前後する第２入力映像のピクセルと第１入力映像のピクセルとのマッチングにより、上記第２入力映像内のピクセルの位置及び上記第１入力映像内のマッチしたピクセルの位置に対応する動きベクトルを算出する第１のステップと、
１以上の動きベクトルと対応する第１入力映像内のピクセル位置を識別し、該ピクセル位置の各々について、上記対応する動きベクトルの１つを当該ピクセル位置に対する最有力ベクトルとして選択する第２のステップと、
上記第１及び第２入力映像内の夫々等しく加重されたピクセルを加算することによって、第１出力映像のピクセルを生成し、上記第１及び第２入力映像内の夫々等しく加重されたピクセルを減算することによって、第２出力映像のピクセルを生成する第３のステップとを含み、
上記第３のステップでは、第１出力映像の各上記ピクセルは、第１入力映像内の同位置のピクセルと、対応する動きベクトルによって決定される、第２入力映像内のそれにマッチしたピクセルとを加算することによって生成し、第２出力映像の各上記ピクセルは、第２入力映像内の同位置のピクセルを、対応する動きベクトルによって決定される、第１入力映像内のそれにマッチしたピクセルから減算することによって生成し、第１入力映像内のピクセル位置に１以上の動きベクトルが対応する場合、第１出力映像内の同位置ピクセルを、上記最有力ベクトルに対応するピクセル同士の加算によって生成する方法である。
【００２５】
本発明はまた、本発明による符号化方法によって入力映像が符号化された出力映像を復号する復号方法を提供する。
【００２６】
一般に、本明細書において本発明による装置について特徴を述べる場合は、本発明方法により対応する特徴が与えられ、その逆も同様であることを理解されたい。
【００２７】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、以前に提案されたビデオ信号符号化装置を示す略式ブロック図である。
図２は、ビデオ信号のデシメーション及び再構成用の簡単なＨａａｒフィルタ装置を示すブロック図である。
図３は、図２のフィルタ装置の詳細を示すブロック図である。
図４は、ビデオ信号の８フレームのグループについて行われるウェーブレット符号化処理を示す模式図である。
図５は、図４のウェーブレット符号化処理によるサブバンド周波数分割を示す模式図である。
図６は、本発明によるビデオ信号処理装置を示すブロック図である。
【００２８】
図６に示すビデオ信号処理装置は、動き補正符号化装置２０と動き補正復号装置２１を具える。動き補正符号化装置２０は、動きベクトル発生器２２とベクトル駆動符号化器２３を有する。符号化装置２０の入力２４に供給される入力ビデオ映像、ここではビデオフレームＡ，Ｂは、映像内容の２入力映像間の動きを表す動きベクトルを発生する動きベクトル発生器２２に供給される。動きベクトルは後述のように処理され、得られたベクトルデータはベクトル駆動符号化器２３に供給される。該符号化器はまた、動きベクトル発生器２２から入力フレームＡ，Ｂを受ける。ベクトル駆動符号化器２３は、実質的に動きベクトルの方向に沿って入力フレームＡ，Ｂの時間フィルタリングを行い、その出力２６に２出力フレームＣ，Ｄを生成するベクトル駆動デシメーション・フィルタ段である。
【００２９】
動きベクトル発生器２２により生成されベクトル駆動符号化器２３に供給されたベクトルデータは、符号化装置２０の出力２８に送られる。出力２８のベクトルデータは、出力２６に供給されたフレームＣ，Ｄと共に符号化装置２０から出力され、蓄積、送信、その他の処理３０に供される。
【００３０】
動き補正復号装置２１は実質的に、フレームＣ，Ｄ及び符号化装置２０から最初に発生されたベクトルデータを夫々入力３１，３３に受けるベクトル駆動再構成フィルタ段である。復号装置２１は、動きベクトルに応じてフレームＣ，Ｄを組合せ、原入力ビデオフレームＡ，Ｂに対応する復号もしくは再構成されたフレームＡ′，Ｂ′を生成する。復号されたフレームＡ′，Ｂ′は、本具体構成では原フレームＡ，Ｂの完全に再構成されたものとなり、復号装置の出力３４に供給される。
【００３１】
符号化装置２０及び復号装置２１の構成及び動作を一層詳しく述べる前に、本発明による符号化及び復号処理の基本原理を、図７の簡単な図解により説明する。
【００３２】
図７は、符号化装置２０に供給される入力フレームＡ，Ｂのピクセル、符号化装置２０から出力される符号化されたフレームＣ，Ｄのピクセル、及び復号装置２１から出力される復号されたフレームＡ′，Ｂ′のピクセルを表す。同図において、ピクセルは丸で示した。各フレームＡ，Ｂ，Ｃ，Ｄ，Ａ′．Ｂ′は、説明を容易にするため各フレームが単一のピクセル・コラムとして示されるように、１次元方向に表した。図７の左側コラム（縦列）は、各フレームを表す１次元アレイ内のピクセルの横列番号を示し、各フレームのピクセルの隣に示す数字は、ピクセル値を表す。本処理装置の動作原理をこの１次元表示により説明するが、実際は勿論、各フレームがピクセルの２次元アレイを有するので、処理動作は２次元で行われる。
【００３３】
まず入力フレームＡ，Ｂを考えると、符号化装置２０の動きベクトル発生器２２は、第２フレームＢ内の各ピクセルの該フレームＢ及び第１フレームＡ間の動きを表す動きベクトル（図では矢印で表す）を導出する。（勿論フレームＡ，Ｂのどちらか一方が、ビデオ信号により表される映像列に関して時間的に先である。）図９により更に後述するように、この処理は、フレームＢのピクセルをフレームＡのピクセルと突合せること（matching）によって行う。動きベクトルは、各フレームＢのピクセルに対して導出され、当該ピクセルをフレームＡ内のそれにマッチしたピクセルと結ぶ。即ち、例えば図において列０のフレームＢピクセルと列０のフレームＡピクセルとがマッチし、列２のフレームＢピクセルと列１のフレームＡピクセルとがマッチする等々である。
【００３４】
映像の素材及び動きベクトル推定処理の性質により、各フレームＢピクセルが対応する動きベクトルを有するのに、フレームＡピクセルの中には、フレームＢピクセルとマッチしないもの、即ち合わないものが残る。これらのピクセル（図では黒丸で示す。）に関しては、対応する動きベクトルがない。同様に、フレームＡピクセルの中に１以上のフレームＢピクセルと合うものがあり、これらのピクセルは１以上の動きベクトルと対応することになる。これらのピクセル、例えばフレームＡの列０及び列７のピクセルについては、結び付けられた動きベクトルの１つを最有力ベクトルとして選択し、残りのベクトルは、更に後述する如く下位ベクトルとしてフラグを付ける。（勿論、フレームＡピクセルに対応するベクトルが１つしかない場合は、当該ベクトルが最有力ベクトルであり、下位ベクトルはない。）図７では、下位ベクトルを破線で示し、最有力ベクトルを実線で示す。
【００３５】
符号化装置２０は、入力フレームＡ，Ｂから出力フレームＣ，Ｄを次のようにして発生する。第１出力フレーム即ちフレームＣのピクセルは、２入力フレームＡ，Ｂ内の同等に加重されたピクセル同士を加算することにより発生する。ただし、フレームＡ内のマッチしないピクセルと同じ位置にあるフレームＣピクセルは除く。具体的にいえば、マッチしたフレームＡピクセルと同位置のフレームＣピクセルをまず考えると、これらフレームＣピクセルは夫々、フレームＡ内の同位置のピクセルと、対応する動きベクトルにより決定される、フレームＢ内のそれにマッチしたピクセルとを加算して生成される。１以上の動きベクトルが適正なフレームＡピクセルに対応している場合は、最有力ベクトルを用いる。
【００３６】
加算されてフレームＣピクセルを生成するフレームＡ及びフレームＢのピクセルは、係数ｘで等しく加重される（ただし、数学的過剰を防ぐためｘ＝１／２とする。）。加重は、加算の前又は後のどちらかに行ってもよい（ただし、後で行う方がよい。）。こうして、例えば列０のフレームＣピクセルを考えると、出力ピクセル値は、列０のフレームＡピクセルと列０のフレームＢピクセルとを加算し、２で割ることにより得られ、図に示す如く１の出力ピクセル値を与える。列１のフレームＣピクセルは、列１のフレームＡピクセルと、列２のフレームＢピクセルとの値を加算し、２で割ることにより生成され、図に示す如く２の出力ピクセル値を与える。
【００３７】
（上述のように、この好適な例では、フレームＣピクセルを生成するのに数学的過剰を防ぐためｘ＝１／２の加重係数を用いた。しかし、これは分数値を生じる可能性があり、不十分な解像度の具体例では、これに対処するのに小さな丸めエラーが入ってくる。したがって、代替策として、算術的処理がより大きな値を受入れうるならば、フレームＣピクセルを生成するのにｘ＝１という加重係数を用いてもよい。そのときは、１／２という増減係数を、後述の復号処理のあとで適用すべきである。こうすれば、数字的精確度が保たれ、完全な再構成が達成できる。）
【００３８】
フレームＡのマッチしないピクセルと同位置のフレームＣピクセルは、マッチしないフレームＡピクセルから直接作る。本例の場合、他のフレームＣピクセルを作るのに用いた加重係数の２倍、即ち２ｘ＝２×（１／２）＝１の加重係数で作る。こうして、例えば図に示すように、列４のフレームＣピクセルは単に列４のマッチしないフレームＡピクセルの値を取り、列６のフレームＣピクセルは列６のマッチしないフレームＡピクセルの値を取る。
【００３９】
第２出力フレーム即ちフレームＤのピクセルは、符号化器２３において２入力フレームＡ，Ｂ内の等しく加重された夫々のピクセルを減算することにより、発生される。詳しくいえば、各フレームＤピクセルは、同位置のフレームＢピクセルを、最有力であれ下位であれ対応する動きベクトルによって決定される、フレームＡ内のそれにマッチしたピクセルから差引いて作る。この例では、このときの加重係数はｘ、即ち１／２である。即ち、各フレームＤピクセルは、減算の前又は（好ましくは）後にｘ＝１／２の係数をフレームＡ及びＢピクセルに乗じて生成される。例えば、列０のフレームＤピクセルは、列０のフレームＢピクセルを列０のフレームＡピクセルから減じ、２で割って作り、図に示す如く出力ピクセル値０を与える。列２のフレームＤピクセルは、列２のフレームＢピクセルを列１のフレームＡピクセルから減じ、２で割って作り、図示の如く−１のフレームＤピクセル値を与える。列６のフレームＤピクセルは、列６のフレームＢピクセルを列７のフレームＡピクセルから減じ、２で割って作り、１のフレームＤピクセル値を与える。以下同様である。
【００４０】
図７から、符号化器２３の動作は、図２及び３について述べたＨａａｒフィルタ段８ａの動作とおおむね対応するベクトル駆動フィルタ段の動作であるが、ただ、動きベクトルの方向に沿って時間フィルタリングが行われ、特別な符号化規則がマッチしないフレームＡピクセルに適用されていることが分かるであろう。即ち、フレームＣは、図７に示す如くフレーム和（Ａ＋Ｂ）／２におおむね対応し、したがって入力フレーム対の低周波成分に対応する。同様に、フレームＤは、フレーム差（Ａ−Ｂ）／２におおむね対応し、したがって入力フレーム対の高周波成分に対応する。よって、符号化器の作用は、入力フレーム対を２つの時間的周波数サブバンドに分割することである。
【００４１】
図７の右側に、図６の復号装置２１により復号されたフレームＡ′，Ｂ′を示す。前述のとおり、この好適な例では、復号フレームＡ′，Ｂ′は原入力フレームＡ，Ｂの完全に再構成されたものとなる。再構成されたフレームＡ′，Ｂ′は、原入力フレームＡ，Ｂについて導出された動きベクトルに応じて符号化されたフレームＣ，Ｄから作られる。説明を容易にするため、上述では動きベクトルを入力フレームＡ，Ｂ内の個々のピクセルに結び付いて（対応して）いるとしたが、動きベクトルは実際には入力フレーム内のピクセル位置に結び付いている。理解し易いように、図７では、動きベクトルを符号化されたフレームＣ，Ｄ及び復号されたフレームＡ′，Ｂ′内の対応ピクセル位置に関連させて示してある。
【００４２】
復号装置２１は、符号化されたフレームＣ，Ｄから復号フレームＡ′，Ｂ′を次のように発生する。第１復号フレームＡ′のピクセルは、フレームＣ，Ｄの夫々等しく加重されたピクセルを加算して作る。ただし、原入力フレームＡ内のマッチしないピクセルに対応するＡ′フレームピクセルは、直接フレームＣ内の同位置ピクセルから作る。もっと具体的にいえば、まずマッチしたＡフレームピクセルに対応するＡ′フレームピクセルを考えるに、これらの各ピクセルは、同位置のＣフレームピクセルと、対応する動きベクトルによって決定される、生成すべき（生成しようとする）Ａ′フレームピクセルに対応するＡフレームピクセルにマッチしたピクセル位置にあるＤフレームピクセルとを加算して生成する。
【００４３】
対応するＡフレームピクセルに１以上の動きベクトルが対応している場合、最有力ベクトルを使用する。フレームＡ′ピクセルを作るために加算されたフレームＣ，Ｄは、本例では加重係数２ｘ＝２×（１／２）＝１をピクセル値に乗じて加重する。こうすると、確実に過剰又は丸めエラーがなくなる。即ち、例えば列０のフレームＡ′ピクセルは、列０のフレームＣピクセルと列０のフレームＤピクセルとを加算して作り、再構成されたピクセル値は図示の如く１となる。同様に、列１のフレームＡ′ピクセルは、列１のフレームＣピクセルと列２のフレームＤピクセルとを加算して作り、図示の如く１の再構成ピクセル値を与える。
【００４４】
マッチしないフレームＡピクセルに対応するフレームＡ′ピクセルは、同位置のフレームＣピクセルから直接作られる。この場合も、加重係数は２ｘ、即ち１である。即ち、列４のフレームＡ′ピクセルは単に列４のフレームＣピクセルの値を取り、列６のフレームＡ′ピクセルは列６のフレームＣピクセルの値を取る。
【００４５】
再構成されたフレームＢ′ピクセルは、フレームＢ内の対応ピクセルが最有力又は下位ベクトルに対応するかどうかによって、作り方が異なる。まず、最有力ベクトルに対応する位置にあるフレームＢピクセルに対応するフレームＢ′ピクセルを考えるに、これらフレームＢ′ピクセルは、２フレームＣ，Ｄ内の夫々等しく加重されたピクセルの減算によって作られる。詳しくいえば、これらフレームＢ′ピクセルは、フレームＤ内の同位置ピクセルを、対応する動きベクトルにより決定される、作ろうとするフレームＢ′ピクセルに対応するフレームＢピクセルにマッチしたピクセル位置にあるフレームＣピクセルから減じることにより、作成する。この場合もまた、加重係数は２ｘ、即ち１である。このようにして、例えば列０のフレームＢ′ピクセルは、列０のフレームＤピクセルを列０のフレームＣピクセルから差引いて作り、図示の如く１の再構成ピクセル値を得る。列３のフレームＢ′ピクセルは、列３のフレームＤピクセルを、列２のフレームＣピクセルから減じて作り、６の再構成値を与える。
【００４６】
下位ベクトルに対応する位置にあるフレームＢピクセルに対応するフレームＢ′ピクセルを作成するには、本例では復号フレームＡ′にアクセスする必要がある。即ち、フレームＡ′はフレームＢ′の前に作られる。このフレームＢ′ピクセルは、フレームＤ内の同位置ピクセルを、対応する動きベクトルによって決定される、作ろうとするピクセルに対応するフレームＢピクセルにマッチしたピクセル位置にあるフレームＡ′ピクセルから減じて作る。フレームＤ及びＡ′ピクセルは、減算の前に適正に加重され、フレームＡ′ピクセルに対する加重係数は２ｘ、即ち１であり、フレームＤピクセルに対する加重係数は４ｘ、即ち２である。このようにして、例えば列１のフレームＢ′ピクセルは、列１のフレームＤピクセルに２を乗じて得た値を列０のフレームＡ′ピクセルから減じて作り、フレームＢ′ピクセルに１の値を与える。同様に、列６のフレームＢ′ピクセルは、列６のフレームＤピクセルに２を乗じて得た値を列７のフレームＡ′ピクセルから減じて作り、図示の如く１の再構成ピクセル値を与える。
【００４７】
図７から、復号装置３４の動作は、図２及び３について述べたＨａａｒフィルタ段８ｂの動作におおむね対応したベクトル駆動再構成フィルタの動作であるが、ただ、動きベクトルの方向に沿って時間フィルタリングが行われ、マッチしないフレームＡ′ピクセルと、下位ベクトルに対応する位置にあるフレームＢ′ピクセルとに特別な符号化規則が適用されていることが分かるであろう。即ち、フレームＡ′は図示の如くおおむね和フレーム（Ｃ＋Ｄ）に対応し、フレームＢ′はおおむね差フレーム（Ｃ−Ｄ）に対応する。しかし、この好適な例では、フレームＡ′，Ｂ′及びフレームＡ，Ｂを比較すると、マッチしないピクセル位置及び下位ベクトルについて適用した特別な符号化規則と、処理の各段階に用いた加重係数とによって、原入力フレームＡ，Ｂが完全に再構成されていることが分かる。即ち、フレームＡ′はフレームＡの、フレームＢ′はフレームＢの完全に再構成されたものである。
【００４８】
上述システムの動作は、図７に示すサンプル値を全部用いて確認できる。勿論前述のとおり、実際は各フレームはピクセルの２次元アレイであるが、２次元における本装置の動作は、上述の簡略した１次元の例から容易に想像できるであろう。
【００４９】
符号化装置２０の動きベクトル発生器２２の詳細を図８に示す。動きベクトル発生器２２は、動きベクトル推定器４０、ベクトルデータメモリ４１及びベクトルデータ解析器４２を含む。動きベクトル推定器４０は、フレームＡ，Ｂを受け２フレーム間の映像内容の動きを表す動きベクトルを発生する。詳しくは、動きベクトル推定器は、フレームＢのピクセルをフレームＡのピクセルと突合せ、フレームＡ，Ｂ間におけるフレームＢピクセルの動きを表す動きベクトルを導出する。適切な動きベクトル推定方法は周知である。しかし、簡単にいえば、動きベクトル推定器は、フレームＢ内のピクセルブロックの内容をフレームＡ内のピクセルブロックと比較し、フレームＡ内のどの位置のフレームＢブロックが最も良くマッチする（合う）かを決める動作を行う。この処理は、ブロック突合せ（block matching）として知られている。最良のマッチは、フレームＡ内のフレームＢブロックの各位置について、比較したブロック間の絶対差、即ち、２フレーム内の対応ピクセル間の絶対差を上記ブロック領域にわたって合計したものを計算することにより、決定できる。（他の方法では、平均自乗誤差（mse)技法を用いる。この場合は、まず対応ピクセル間の差を自乗し、常に正の値としてからアキュムレータで加算する。）このようにすると、最低の絶対差値（又はｍｓｅ技法における最低誤差）が最良のマッチを表し、動きベクトルは、フレームＢブロックの位置とマッチしたフレームＡブロックの位置との間の変位（水平及び垂直方向のピクセル数で表す。）として決定される。こうして、動きベクトルは、実際上個々のピクセルではなくフレームＢピクセルブロック（通常１６×１６ピクセルブロック）と結び付け（対応させ）られるが、各動きベクトルは、当該ブロック内の全フレームＢピクセルに対して使用される。したがって、動きベクトルは、実効的に各フレームＢピクセルについて導出されている。対応する動きベクトルは、各フレームＢピクセルについて、ブロック突合せ処理で決められたマッチしたフレームＡピクセルを「指し示す」（即ち、そのベクトルオフセットを与える）。
【００５０】
図７について前述したとおり、後続の処理動作のために、フレームＡ，Ｂ内の所与のピクセル位置に対応する動きベクトルを知らねばならない。この目的のために、各動きベクトルを動きベクトル推定器４０で決定するにつれて、対応するＡ，Ｂピクセル位置に関する該ベクトルをベクトルデータメモリ４１に記録する。ベクトルデータメモリ４１は、２つのメモリアレイ、Ａアレイ４４及びＢアレイ４５を有する。Ａアレイ４４は、フレームＡの各ピクセル位置に対するアレイ位置を含み、Ｂアレイ４５は、フレームＢの各ピクセル位置に対するアレイ位置を含む。動きベクトル推定器４０によりベクトルデータメモリ４１に供給された動きベクトルは、動きベクトルと結び付けられたＡピクセル位置に対応するＡアレイ４４内の位置に記憶されると共に、動きベクトルに結び付けられたＢピクセル位置に対応するＢアレイ４５内の位置に記憶される。よって、動きベクトル推定処理が終わると、Ｂアレイ４５は、各Ｂピクセル位置に対応する動きベクトルを収納し、Ａアレイ４４は、すべてのマッチしたフレームＡピクセル位置に対する動きベクトルを収納する。動きベクトルを収納しないＡアレイ４４内のメモリ位置があれば、それはマッチしないＡピクセル位置を示す。
【００５１】
図７について述べたように、後続処理では、最有力及び下位ベクトルを区別する必要がある。よって、ベクトルメモリ４１にベクトルを蓄積したのち、ベクトルデータ解析器４２がＡアレイ４４に記憶されたデータの全Ａピクセル位置を巡回する。１以上のベクトルがどれかのＡピクセル位置と対応しておれば、ベクトルデータ解析器は、最低の大きさのベクトル（即ち、最低のベクトルオフセット）を最有力ベクトルとして選ぶ。（この最低の大きさをもつベクトルが１つ以上ある場合、これらをどれも最有力ベクトルとして選んでもよい。）
【００５２】
残りのベクトル、即ち最有力ベクトルとして選ばれなかった各ベクトルは下位ベクトルに対応するので、これらのベクトルに後続処理のためそれを示すフラグを付けなければならない。即ち、Ａアレイ４４内のＡピクセル位置にある各下位ベクトルに対し、ベクトルデータ解析器４２は、Ａピクセル位置及び動きベクトルからマッチしたＢピクセル位置を計算する。ベクトルデータ解析器はそれから、Ｂアレイ４５内の適当なＢピクセル位置にアクセスし、当該ベクトルが下位ベクトルであることを示すフラグを当該位置に記憶されたベクトルに対してセットする。ベクトルデータ解析器は次に、Ａアレイ４４内の対応するＡピクセル位置に再アクセスし、最有力ベクトルの外は皆削除する。
【００５３】
この処理を全Ａピクセル位置について反復し終わると、Ａアレイ４４は、マッチした各Ａピクセル位置に対応する最有力ベクトルのみを収容し、Ｂアレイ４５は、各Ｂピクセル位置に対応するベクトルを、適切ならば、下位ベクトルを示す下位ベクトルフラグと一緒に収容する。勿論、下位ベクトルにフラグを付けず、最有力ベクトルにそれを示すフラグを付けてもよい。同様に、マッチしないＡピクセル位置を示す「空（から）」Ａアレイ位置に頼らずに、マッチしないピクセル位置に対応するＡアレイ位置に「非整合フラグ」をセットすることもできる。また、他の方法を最有力ベクトルの選択に使用してもよい。例えば、動きベクトル発生器を、前述した最低絶対差値又は最低ｍｓｅ値に対応するベクトル、即ち「最良マッチ」に対応するベクトルを最有力ベクトルとして選ぶように構成することもできる。
【００５４】
一旦ベクトルデータ（動きベクトル及び対応するＡ，Ｂピクセル位置を含む。）を上述の如く決定し終わると、ベクトルデータは動きベクトル発生器２２からベクトル駆動符号化器２３に出力される（図６）。原入力フレームＡ，Ｂも動きベクトル発生器２２からベクトル駆動符号化器２３に遅延器（ＤＥＬ）２５を介して出力される。ＤＥＬ２５は、動きベクトル推定器及びベクトルデータ解析器の処理時間に従って入力フレームを遅らせる。
【００５５】
動きベクトル発生器２２及びベクトル駆動符号化器２３を有する符号化装置２０の詳細を図９に示す。ベクトル駆動符号化器２３は、動きベクトル発生器２２からベクトルデータを受けるアドレス制御器５０を有する。アドレス制御器５０は、２フレームメモリ、フレームＡメモリ５１及びフレームＢメモリ５２に対するデータの書込み及び読出しを制御する。フレームメモリ５１，５２は、動きベクトル発生器２２から入力フレームＡ，Ｂを受けるように接続される。フレームＡメモリ５１の出力は、減算器５３の正入力に接続され、該減算器の負入力は、動きベクトル発生器２２から直接入力フレームを受けるように接続される。フレームＢメモリ５２の出力は、アドレス制御器５０により後述のように制御されるクリアレジスタ（ＣＬＲ  ＲＥＧ）５５に接続される。
【００５６】
クリアレジスタ５５の出力は、加算器５６の一方の入力に接続され、該加算器の他方の入力は、２つの１フレーム遅延器Ｆ１，Ｆ２を介して入力フレームを受けるように接続される。減算器５３及び加算器５６の出力は夫々、２で割るユニット５９，６０に接続され、ユニット６０はアドレス制御器５０によって制御される。２で割るユニット５９，６０はセレクタ（ＳＥＬ）６１の入力となり、該セレクタは、アドレス制御器５０の制御の下にその入力の一方を符号化装置の出力２６に選択的に接続する。アドレス制御器５０のもう１つの出力は符号化装置の出力２８となり、該出力に、蓄積、送信、その他の処理など３０のためのベクトルデータが、出力２６に供給されるフレームＣ，Ｄと共に出力される。
【００５７】
符号化装置２０の動作は、次のとおりである。入力フレームＡ，Ｂが動きベクトル発生器２２に供給され、そこで図８により述べたベクトルデータが発生される。入力フレームＡ，Ｂは、ベクトルデータを発生する動きベクトル発生器２２によって遅らされ、遅れたフレームがベクトルデータと共にベクトル駆動符号化器２３に出力される。ベクトルデータは、アドレス制御器５０に記憶される。第１のフレーム、フレームＡが符号化器２３に供給されると、このフレームはフレーム遅延器Ｆ１及びフレームＡメモリ５１に入力される。フレームＡメモリ５１は、アドレス制御器５０によりイネーブル（可能化）される。フレームＢが動きベクトル発生器２２から出力されると、このフレームは、フレームＡが遅延器Ｆ１によって遅延器Ｆ２に出力されるに従い、フレーム遅延器Ｆ１に入力される。フレームＢもフレームＢメモリ５２に書込まれ、フレームＢメモリはアドレス制御器５０により適正な時間にイネーブルされ、フレームＢはまた減算器５３の負入力に直接供給される。
【００５８】
符号化されたフレームＤが本装置の出力２６にまず発生され、そのあと符号化されたフレームＣが続く。これらの出力フレームのピクセルは、図７について前述したように発生される。図９の符号化装置２０の下部によるフレームＤの発生について、先に説明する。
【００５９】
フレームＤピクセルは、動きベクトル発生器２２によりフレームＢとして出力され、減算器５３の負入力に１ピクセルずつ供給される。このとき、フレームＡは既にフレームＡメモリに記憶されている。各フレームＢピクセルが減算器５３に供給されるにつれて、アドレス制御器５０は、フレームＡメモリを制御して、対応する動きベクトルにより決定されるマッチしたフレームＡピクセルを出力する。フレームＢピクセルは、減算器５３に順次供給されるので、どの時点に出力されるフレームＢピクセルの位置も既知である。したがって、出力されるべき適正なフレームＡピクセルの位置は、Ｂピクセル位置及びベクトルデータで示される対応動きベクトルから、アドレス制御器５０によって計算することができる。
【００６０】
こうして、各フレームＢピクセルが減算器５３の負入力に供給されるに従って、対応する動きベクトルにより決定される、それにマッチしたフレームＡピクセルが減算器５３の正入力に供給される。よって、そのマッチしたフレームＡピクセルからフレームＢピクセルが減算され、得られた値が２で割るユニット５９に供給される。ユニット５９は、入力ピクセル値に１／２の係数を乗じて加重し、得た値をフレームＤのピクセルとしてセレクタ６１に送る。こうして、各フレームＤピクセルは、フレームＡ内のマッチしたピクセルから同位置のフレームＢピクセルを減じ、２で割ることにより、発生される（図７に関する説明参照）。セレクタ６１は、アドレス制御器５０によって制御され、２で割るユニット５９の出力をこの処理の間本装置の出力２６に接続する。したがって、フレームＤの連続するピクセルは、出力２６に供給される。
【００６１】
上述のフレームＤの発生は、フレームＢが動きベクトル発生器２２より出力されるに従って行われる。この処理の終わりに、フレームＢはフレームＢメモリ５２及び遅延器Ｆ１に記憶され、フレームＡは遅延器Ｆ２に記憶される。これより、符号化装置２０の上部による符号化フレームＣの発生について述べる。
【００６２】
次のフレーム（符号化装置２０により処理されている連続フレーム列における）が動きベクトル発生器２２により出力されるにつれて、フレームＡが遅延器Ｆ２より１ピクセルずつ出力される。まず、マッチしたフレームＡピクセルを考えるに、これら各Ａフレームピクセルが遅延器Ｆ２から出力されるに従い、それにマッチしたフレームＢピクセルが、アドレス制御器５０の制御の下にフレームＢメモリ５２から読出される。フレームＡは遅延器Ｆ２から１ピクセルずつ出力されるので、アドレス制御器５０は、出力されるべきフレームＢピクセルの位置を、フレームＡピクセルの位置及びベクトルデータによって示される当該Ａピクセル位置に対応する動きベクトルから、決定することができる。よって、各Ａフレームピクセルが加算器５６の一方の入力に供給されるに従って、対応動きベクトルによって決定される、それにマッチしたＢフレームピクセルが、クリアレジスタ５５を介して加算器５６の他方の入力に供給される。ピクセル値は、加算器５６で合算され、２で割るユニット６０で係数１／２により加重され、フレームＣのピクセルとしてセレクタ６１に供給される。この処理は、連続するＡフレームピクセルについて反復され（後述のマッチしないピクセルは別にして）、連続するＣフレームピクセルを生成する。
【００６３】
こうして、マッチしたＡフレームピクセルと同位置の各Ｃフレームピクセルが、同位置のＡフレームピクセルと、対応する最有力動きベクトルによって決定される、それにマッチしたフレームＢ内のピクセルとを合算し、２で割ることにより、発生される（図７に関する前述参照）。しかし、アドレス制御器５０に記憶されたベクトルデータが、遅延器Ｆ２より出力すべき個々のＡフレームピクセルがマッチしないピクセル（前述の如く、当該ピクセルに関する対応動きベクトルの不在又はマッチしないピクセルのフラグにより示される。）であることを示す場合、アドレス制御器５０は、クリアレジスタ５５を作動させて加算器５６にゼロ値サンプルを出力させる。アドレス制御器５０はまた、２で割るユニット６０を制御して当該ピクセルに対する加重係数を１に調整し、即ち２で割る動作を取止め、図７で前述したとおり、マッチしないＡフレームピクセルを直接同位置のＣフレームピクセルとして出力する。このようにして、フレームＣが出力２６に１ピクセルずつ発生され、セレクタ６１は、アドレス制御器５０により、２で割るユニット６０の出力をこの処理の間本装置の出力２６に接続するよう制御される。
【００６４】
上述より、図７の方式に従って符号化されたフレームＣ，Ｄは、前述の如く原入力フレーム対Ａ，Ｂの低及び高時間周波数成分に対応することが分かるであろう。フレームＣ，Ｄはセレクタ６１により順次、アドレス制御器５０により出力されるベクトルデータと一緒に出力される。（出力２６における符号化フレームの順序Ｄ，Ｃは、単に図９に示す実施上の問題で、動作に対し基本的なことではない。下方の信号路に適当な遅延器を付加すれば、順序をＣ，Ｄに容易に変えられるであろう。）
【００６５】
図１０は、図６の動き補正復号装置２１の詳細を示す。本装置２１は、符号化装置２０により符号化された原入力フレームＡ，Ｂに対応する復号されたフレームＡ′，Ｂ′を生成する。本装置２１は、３つのフレームメモリ、フレームＣメモリ７２、フレームＤメモリ７１及びフレームＡ′メモリ７３を有する。アドレス制御器７４の形の復号制御器が、原入力フレームＡ，Ｂ内のピクセル位置に対応する動きベクトルを含むベクトルデータを受けるように配置され、フレームメモリ７１〜７３に対するデータの書込み及び読出しを制御する。
【００６６】
フレームＤメモリ７１は、入力３１における符号化フレームを受けるように接続され、その出力は、アドレス制御器７４により制御されるクリアレジスタ（ＣＬＲ  ＲＥＧ）７９に接続される。クリアレジスタ７９の出力は、加算器７５の一方の入力に接続される。加算器７５の他方の入力は、直接入力３１に接続される。フレームＣメモリ７２は、入力３１における符号化フレームを受けるよう接続され、その出力は、セレクタ（ＳＥＬ）７７を介して減算器７８の正入力に接続される。減算器７８の負入力は、２つの１フレーム遅延器Ｆ３，Ｆ４及び２を乗じる乗算器７０（アドレス制御器７４により制御される。）を介して入力３１に接続される。
【００６７】
加算器７５及び減算器７８の出力は、セレクタ（ＳＥＬ）８２の夫々の入力に接続される。セレクタ８２は、アドレス制御器７４により制御され、その入力の一方を、復号装置２１の出力３４を形成するその出力に選択的に接続する。出力３４はまた、フレームＡ′メモリ７３の入力にも接続され、フレームＡ′メモリ７３の出力はまた、セレクタ７７の第２入力に接続される。セレクタ７７は、アドレス制御器７４により制御され、その入力の一方をその出力に、したがって減算器７８に接続する。
【００６８】
動作時、符号化装置２０より出力された符号化フレームＤ，Ｃは、記憶、送信その他の処理のあと復号装置２１の入力３１に順次供給される。同様に、符号化装置により原入力フレームＡ，Ｂから発生されたベクトルデータも、入力３３を介してアドレス制御器７４に供給される。フレームＤが入力されると、このフレームは、アドレス制御器７４の制御の下にフレームＤメモリに書込まれると共に、フレーム遅延器Ｆ３に入力される。次にフレームＣが入力されると、このフレームは、フレームＣメモリ７２に記憶されると共に、加算器７５に直接供給される。同時に、フレームＣは、フレームＤがフレーム遅延器Ｆ４に出力されるに従ってフレーム遅延器Ｆ３に入力される。
【００６９】
図７について前述したとおり、復号フレームＡ′はフレームＢ′の前に発生され、Ａ′フレームピクセルは、符号化フレームＣ，Ｄ内の等しく加重されたピクセルの加算によって発生されるが、原入力フレームＡ内のマッチしないピクセルに対応するＡ′フレームピクセルには、異なる符号化規則を適用する。詳しくいえば、マッチしないＡフレームピクセルに対応しない各Ａ′フレームピクセルは、同位置のＣフレームピクセルと、対応する動きベクトルによって決定される、再構成しようとするピクセルに対してマッチしたピクセル位置にあるＤフレームピクセルとを加算して作る。ただし、この具体例では加重係数は１である。図１０において、フレームＡ′は、フレームＣが入力３１から１ピクセルずつ加算器７５に供給されるにつれて発生される。フレームＤは、この段階で既にフレームＤメモリ７１に記憶されている。各Ｃフレームピクセルが加算器７５に供給されるに従い、アドレス制御器７４は、フレームＤメモリ７１を制御し、再構成すべきピクセルに対するマッチしたピクセルの位置にあるＤフレームピクセルを出力させる。
【００７０】
再構成しようとするＡ′フレームピクセルは、現在加算器７５に供給されているＣフレームピクセルと同位置であるので、アドレス制御器は、Ｃピクセル位置と、原入力フレームＡにおける当該位置に対応する最有力動きベクトルとから、適正なＤフレームピクセルの位置を決定する。Ｄフレームピクセルは、クリアレジスタ７９を介して加算器７５の他方の入力に供給される。したがって、これらのピクセルは、加算されたのちＡ′フレームピクセルとしてセレクタ８２を介して本装置の出力３４に供給される。この処理は、フレームＣが１ピクセルずつ入力されるに従って繰返され、出力３４に次々にＡ′フレームピクセルが発生される。しかし、加算器７５に供給されるＣフレームピクセルの位置が、アドレス制御器７４に記憶されたベクトルデータによって示される、原入力フレーム内のマッチしないピクセルの位置に対応するときは、アドレス制御器７４は、クリアレジスタ７９を作動させてゼロ値サンプルを加算器７５に出力させる。セレクタ８２の出力３４に発生されるＡ′フレームピクセルはそのとき、単なる同位置のＣフレームピクセルである。
【００７１】
したがって、復号されたフレームＡ′は、１ピクセルずつ図７で述べた方式に従って復号装置２１により発生される。フレームＡ′が発生されると、アドレス制御器７４は、フレームＡ′メモリ７３をイネーブルしてフレームＡ′をこれに書込ませる。こうして、フレームＡ′が復号装置２１から出力され終わると、フレームＡ′はフレームＡ′メモリ７３に記憶され、フレームＣはフレームＣメモリ７２に記憶され、フレームＤはフレーム遅延器Ｆ４に保持される。
【００７２】
次の符号化フレーム対が（連続して）復号装置２１に供給されると、フレームＤが１ピクセルずつ遅延器Ｆ４から出力され、これらのピクセルは、乗算器７０にて係数１又は２により選択的に加重され、減算器７８の負入力に供給される。遅延器Ｆ４より出力される各Ｄフレームピクセルに関して、アドレス制御器７４は、フレームＣメモリ７２及びフレームＡ′メモリ７３を制御して、適正なＣフレームピクセルとＡ′フレームピクセルとを出力させ、セレクタ７７を介してＤフレームピクセルと選択的に組合せ、フレームＢ′のピクセルを発生する。図７について前述したとおり、最有力ベクトルに対応する位置にあるＢフレームピクセルに対応するＢ′フレームピクセルは、同位置のＤフレームピクセルを、対応動きベクトルにより決定される、再構成しようとするピクセルに対してマッチしたピクセル位置にあるＣフレームピクセルから減じることにより、作る。
【００７３】
遅延器Ｆ４から出力されるＤフレームピクセルの位置はいつでも既知であるから、アドレス制御器７４は、原入力フレームＢ内のＤフレームピクセル位置に対応する動きベクトルから、適正なＣフレームピクセルの位置を決定する。適正なＣフレームピクセルは、フレームＣメモリ７２からセレクタ７７の一方の入力に出力され、対応するＡ′フレームピクセルは、フレームＡ′メモリ７３からセレクタ７７の他方の入力に出力される。この場合必要とされるのはＣフレームピクセルであるから、アドレス制御器７４は、セレクタ７７を制御して、Ｃフレームピクセルを減算器７８の正入力に供給させる。同様に、アドレス制御器７４は、乗算器７０を制御して、加重係数を１に調節し、即ち２を乗じる動作を取止め、Ｄフレームピクセルを直接減算器７８の負入力に供給させる。したがって、これらの場合、減算器７８は、Ｄフレームピクセルを適正なＣフレームピクセルから差引いて出力３４にＢ′フレームピクセルを発生し、セレクタ８２は、アドレス制御器７４により制御されて、減算器７８の出力を本装置の出力３４に接続する。
【００７４】
この処理は、遅延器Ｆ４から出力される全Ｄフレームピクセルについて反復され、最有力ベクトルに結び付いたＢフレームピクセルに対応する同位置のＢ′フレームピクセルを生成する。しかし、再構成すべきＢ′フレームピクセル、したがって現在遅延器Ｆ４から出力されているＤフレームピクセルが、下位ベクトルに結び付いた位置にあるＢフレームピクセルに対応する場合（アドレス制御器７４に供給されるベクトルデータ内の下位ベクトルフラグによって示される。）Ｂ′フレームピクセルは、フレームＤ及びフレームＡ′の適正に加重されたピクセルを組合せて発生される。詳しくいえば、図７について述べた如く、各Ｂ′フレームピクセルは、同位置のＤフレームピクセルに加重係数２を乗じたものを、対応する動きベクトルにより決定される、再構成すべきピクセルにマッチしたピクセル位置にあるＡ′フレームピクセルから減ずることにより、発生される。
かかるＢ′フレームピクセルに関し、同位置のＤフレームピクセルが遅延器Ｆ４より出力されるにつれて、アドレス制御器７４は、乗算器７０を制御して２を乗じる動作をさせ、加重されたＤフレームピクセルを減算器７８の負入力に供給させる。アドレス制御器７４はまた、セレクタ７７を制御して、Ｃフレームピクセルでなく、これに供給される適正な位置にあるＡ′フレームピクセルを減算器７８の正入力に出力させる。再び、フレームＡ′メモリ７３から出力される適正なＡ′フレームピクセルの位置が、Ｄフレームピクセルの既知の位置と適正な下位動きベクトルとから決定される。このようにして、本例では、減算器７８は、加重し同位置のＤフレームピクセルを適正なＡ′フレームピクセルから減じてＢ′フレームピクセルを発生し、該Ｂ′フレームピクセルをセレクタ８２を介して出力３４に供給する。
【００７５】
復号装置２１はこうして、図７の方式に従って１ピクセルずつ出力３４にフレームＡ′，Ｂ′を発生する働きをする。先に図７を参照して説明したように、この特定の好適な実施例では、復号されたフレームＡ′，Ｂ′は原入力フレームＡ，Ｂの完全に再構成されたものである。
【００７６】
本発明の実施例を、１つの低及び１つの高周波時間サブバンドを生じる単一の時間デシメーション段と単一の再構成段とを含む簡単な処理に関連して述べてきたが、勿論本発明を多段処理に適用することもできる。例えば、入力映像列をサイズが不同の多数のサブバンドに周波数分割する、図４に示したウェーブレット符号化処理にも適用できる。この場合、図４の各デシメーション・ステップは図９に示す符号化装置２０によって行われるが、ベクトルデータは、符号化処理の各段階で符号化されたフレーム対について再計算されることになる。再構成処理は符号化処理を逆にして行われ、サブバンド成分は、図１０に示すように、再構成の各段階において復号装置２１に、対応するベクトルデータと一緒に対をなして供給され、原入力フレーム列が得られるまで続けられる。８フレームのソース列を用いる方法は確認されたが、他の長さのフレーム列でもそれが２の整数乗（integer power)に基くものである限り使用することができる。
【００７７】
上述のように、ベクトル駆動時間処理は、時間的に対称であり、行われるどんな空間符号化処理からも全く分離しており、時間軸に平行な時間（的）フィルタリングに優るかなり改善された画質を提供する。本発明による時間デシメーション処理により発生されたサブバンド周波数成分は、量子化処理を受けるが、再構成段階では対応する逆量子化処理が行われる。詳しくは、図４に示した如きウェーブレット符号化処理では、各バンドの量子化エラーによって生じる人工雑音に対する目視者の感度に従って、各サブバンドに種々異なる量子化パラメータを適用してもよい。更に、時間圧縮（即ち、サブバンド分割及び量子化など）の後、所望により空間符号化処理を時間符号化されたフレームに施してもよい。そのときは、再構成についての時間復号処理に先立ち、相補的な空間復号処理を行う。
【００７８】
勿論、本発明は、特許請求の範囲内において前述の実施例に種々の変形、変更を加えうるものである。例えば、図１０の乗算器１０が行うように復号処理で幾つかのフレームＤピクセルに４ｘ（ここでは２）の加重係数を適用する代わりに、これらのピクセルに対し、図９の符号化装置２０で行う２で割る動作を止めてもよい。即ち、下位ベクトルに対応する位置にあるＢフレームピクセルと同位置のＤフレームピクセルを作るのに、２ｘ（即ち、上の例では１）の加重係数を用いることもできる。そのとき復号装置２１では、復号フレームのピクセルを作るのに用いられた全ピクセルに対する加重係数が２ｘ（即ち、上の例では１）であってもよい。
【００７９】
【発明の効果】
以上述べたとおり、本発明によれば、時間フィルタリング処理が時間的に対称であって、該処理により生成される種々異なる時間周波数バンドに対する人間の視覚感度の変化を利用することができる。
【図面の簡単な説明】
【図１】ビデオ信号符号化装置の従来例を示すブロック図である。
【図２】ビデオ信号のデシメーション及び再構成用の簡単なＨａａｒフィルタ装置を示すブロック図である。
【図３】図２のフィルタ装置の詳細ブロック図である。
【図４】ビデオ信号の８フレームのグループに行ったウェーブレット符号化処理を示す模式図である。
【図５】図４のウェーブレット符号化によるサブバンド周波数分割を示す模式図である。
【図６】本発明によるビデオ信号処理装置を示す簡略ブロック図である。
【図７】図６の装置による符号化及び復号処理を示す原理図である。
【図８】図６の動きベクトル発生器の詳細ブロック図である。
【図９】図６の符号化装置の詳細ブロック図である。
【図１０】図６の復号装置の詳細ブロック図である。
【符号の説明】
２０  ビデオ信号符号化装置
２２  動きベクトル発生器
２３  （ベクトル駆動）符号化器
５０  符号化制御器
２１  ビデオ信号復号装置
７４  復号制御器
【図１】
0003845458.tif 000002
【図２】
0003845458.tif 000003
【図３】
0003845458.tif 000004
【図４】
0003845458.tif 000005
【図５】
0003845458.tif 000006
【図６】
0003845458.tif 000007
【図７】
0003845458.tif 000008
【図８】
0003845458.tif 000009
【図９】
0003845458.tif 000010
【図１０】
0003845458.tif 000011