(57)【要約】  いくつかの予測および符号化の手法を組み合わせて、速度と歪みと計算量とのトレードオフの点で性能を最適化する。動きベクトル（MV）の時間的な予測及び符号化の特定の手法を、オーバーコンプリート・ウェーブレット・ビデオ符号化の新たな符号化パラダイムと組み合わせる。２つの予測及び符号化の手法を本明細書及び特許請求の範囲に記載する。第１の予測及び符号化の手法は、空間スケールにわたる予測を利用する。第２の予測及び符号化の手法は、種々の方向サブバンドにわたる、動きベクトルの予測及び符号化を利用する。ビデオ符号化手法は、統合予測及び統合符号化を利用して速度と歪みと計算量とを同時に最適化する。
2007503736.tif 000002
【特許請求の範囲】
【請求項１】
フルモーションビデオ系列内のフレームについて動きベクトルを計算する方法であって、
1つ又は複数の時間スケール予測動きベクトルに関連した算出コスト関数に基づいて時間スケールにわたる予測を用いて算出される1つ又は複数の時間スケール予測動きベクトルを用いるか否かを判定する工程と、
1つ又は複数の空間的近傍予測動きベクトルに関連した算出コスト関数に基づいて空間的近傍にわたる予測を用いて算出される1つ又は複数の空間的近傍予測動きベクトルを用いるか否かを判定する工程と、
用いることが判定される予測動きベクトル全てを組み合わせ、該組み合わせた予測を用いて現行動きベクトルを推定し、符号化する工程とを備えることを特徴とする方法。
【請求項２】
請求項1記載の方法であって、
1つ又は複数の空間スケール予測動きベクトルと関連した算出コスト関数に基づいて空間スケールにわたる予測を用いて算出される1つ又は複数の空間スケール予測動きベクトルを用いるか否かを判定する工程を更に備えることを特徴とする方法。
【請求項３】
請求項1記載の方法であって、
1つ又は複数の方向サブバンド予測動きベクトルと関連した算出コスト関数に基づいて
別の方向サブバンドからの予測を用いて算出される1つ又は複数の方向サブバンド予測動きベクトルを用いるか否かを判定する工程を更に備えることを特徴とする方法。
【請求項４】
請求項2記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを用いるか否かを判定する工程が、
第１の、４つの動きベクトルの群を判定する工程と、
該第１の群に基づいて第5の動きベクトルを推定する工程と、
前記第１の動きベクトル群における各動きベクトルを符号化する工程と、
前記第５の動きベクトルの精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項５】
請求項2記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを用いるか否かを判定する工程が、
第１の、４つの動きベクトルの群を判定する工程と、
前記第１の動きベクトルの群における動きベクトルの各々が最小数のビットを必要とするように第５の動きベクトルを推定する工程と、
該第５の動きベクトルを符号化する工程と、
該第１の動きベクトルの群における前記動きベクトルの前記各々に対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項６】
請求項2記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを用いるか否かを判定する工程が、
３つの動きベクトルを判定する工程と、
該３つの動きベクトルの精緻化値として２つの更なる動きベクトルを推定する工程と、
前記３つの動きベクトルの各々を符号化する工程と、
前記２つの更なる動きベクトルに対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項７】
請求項3記載の方法であって、
前記1つ又は複数の方向サブバンド予測動きベクトルを用いるか否かを判定する工程が、
第１の動きベクトルを判定する工程と、
該第１の動きベクトルの精緻化値として２つの更なる動きベクトルを推定する工程と、
前記第１の動きベクトルを符号化する工程と、
前記２つの更なる動きベクトルに対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項８】
請求項1記載の方法であって、
前記判定する工程の各々におけるコスト関数が、速度と、歪みと、計算量との関数を備えることを特徴とする方法。
【請求項９】
請求項1記載の方法であって、
前記組み合わせる工程が、用いることが判定される予測動きベクトル全ての加重平均を算出する工程を備えることを特徴とする方法。
【請求項１０】
請求項1記載の方法であって、
前記組み合わせる工程が、用いることが判定される予測動きベクトル全ての平均を算出する工程を備えることを特徴とする方法。
【請求項１１】
フルモーションビデオ系列内のフレームについて複数の動きベクトルを計算する方法であって、
1つ又は複数の空間スケール予測動きベクトルと、該1つ又は複数の空間スケール予測動きベクトルの関連したコストとを計算する工程と、
1つ又は複数の方向サブバンド予測動きベクトルと、該1つ又は複数の方向サブバンド予測動きベクトルの関連したコストとを計算する工程と、
予測動きベクトル全てを組み合わせ、該組み合わせた予測を用いて現行の動きベクトルを推定し、符号化する工程とを備えることを特徴とする方法。
【請求項１２】
請求項11記載の方法であって、
1つ又は複数の時間スケール予測動きベクトルと、該1つ又は複数の時間スケール予測動きベクトルの関連したコストとを計算する工程を更に備えることを特徴とする方法。
【請求項１３】
請求項11記載の方法であって、
1つ又は複数の空間的近傍予測動きベクトルと、該1つ又は複数の空間的近傍予測動きベクトルの関連したコストとを計算する工程を更に備えることを特徴とする方法。
【請求項１４】
請求項11記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを計算する工程が、
第１の、４つの動きベクトルの群を判定する工程と、
該第１の群に基づいて第5の動きベクトルを推定する工程と、
前記第１の動きベクトル群における各動きベクトルを符号化する工程と、
前記第５の動きベクトルの精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項１５】
請求項11記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを計算する工程が、
第１の、４つの動きベクトルの群を判定する工程と、
前記第１の動きベクトルの群における動きベクトルの各々が最小数のビットを必要とするように第５の動きベクトルを判定する工程と、
該第５の動きベクトルを符号化する工程と、
該第１の動きベクトルの群における前記動きベクトルの前記各々に対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項１６】
請求項11記載の方法であって、
前記1つ又は複数の空間スケール予測動きベクトルを計算する工程が、
３つの動きベクトルを判定する工程と、
該３つの動きベクトルの精緻化値として２つの更なる動きベクトルを推定する工程と、
前記３つの動きベクトルの各々を符号化する工程と、
前記２つの更なる動きベクトルに対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項１７】
請求項11記載の方法であって、
前記1つ又は複数の方向サブバンド予測動きベクトルを計算する工程が、
第１の動きベクトルを判定する工程と、
該第１の動きベクトルの精緻化値として２つの更なる動きベクトルを推定する工程と、
前記第１の動きベクトルを符号化する工程と、
前記２つの更なる動きベクトルに対する精緻化値を符号化する工程とを備えることを特徴とする方法。
【請求項１８】
請求項11記載の方法であって、
前記計算する工程の各々におけるコスト関数が、速度と、歪みと、計算量との関数を備えることを特徴とする方法。
【請求項１９】
請求項11記載の方法であって、
前記組み合わせる工程が、前記予測動きベクトル全ての加重平均を算出する工程を備えることを特徴とする方法。
【請求項２０】
請求項11記載の方法であって、
前記組み合わせる工程が、前記予測動きベクトル全ての平均を算出する工程を備えることを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオを符号化する方法及び装置に関し、特に、動きベクトルの推定及び符号化を行う予測ベース・アルゴリズムを用いてビデオを符号化する方法及び装置に関する。
【背景技術】
【０００２】
動きベクトル（MV）の推定及び符号化を行ううえでの（近傍からの）空間予測は、現行のビデオ符号化標準において広く用いられている。例えば、近傍からのMVの空間予測がMPEG2、MPEG  4やH.263などの多くの予測符号化標準において用いられている。時間スケールにわたるMVの予測及び符号化は、その内容全体を本明細書及び特許請求の範囲中で繰り返すかのように本明細書及び特許請求の範囲に援用する、西暦2002年10月7日付出願の米国特許仮出願第60/416,592号明細書において本願の発明者によって開示されている。内容を同様に本明細書及び特許請求の範囲に援用する関連出願（すなわち、上記米国特許仮出願第60/416.592号明細書に関連する出願）は、本願の発明者によって上記出願と同一の日付で出願されている。
【０００３】
空間スケールにわたってMVの予測及び符号化を行う手法の１つは、添付図面も備える、その内容全体を本明細書及び特許請求の範囲中で繰り返すかのように本明細書及び特許請求の範囲に援用する、Zhang及びZafarによる米国特許第5,477,272号明細書によって紹介されている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ビデオ符号化におけるこれらの改良にもかかわらず、ビデオ符号化において処理効率を向上させて、品質を犠牲にすることなく処理速度及び符号化利得を低減させることが引き続き要求されている。
【０００５】
本発明はよって、ビデオ符号化における処理効率を、品質を犠牲にすることなく向上させる方法及び装置を開発するという課題に関する。
【課題を解決するための手段】
【０００６】
本発明は、いくつかの予測及び符号化の手法と、これらの種々の手法を組み合わせて、速度と、歪みと、計算量とのトレードオフの点で性能を最適化する方法とを備えることによってこれらや他の課題を解決する。
【０００７】
動きベクトル（MV）の時間的な予測及び符号化を行う特定の手法は、米国特許出願第60/416,592号明細書に開示されている。オーバーコンプリート・ウェ―ブレット・ビデオ符号化という新たな符号化パラダイムとの組み合わせで、２つの予測及び符号化の手法を本明細書及び特許請求の範囲中に表している。第１の予測及び符号化の手法は、空間スケールにわたる予測を用いる。第２の予測及び符号化の手法は、種々の方向サブバンドにわたる、動きベクトルの予測及び符号化を用いる。本発明のなお別の局面によれば、ビデオ符号化手法は、統合予測及び統合符号化を利用して、速度と歪みと計算量とを同時に最適化する。
【発明を実施するための最良の形態】
【０００８】
なお、本明細書及び特許請求の範囲中の「one  embodiment」や「an  embodiment」への言及は何れも、本願の実施例に関して説明する特定の特徴、構造又は特性が本発明の少なくとも１つの実施例に備えられるということを意味する。本明細書中の種々の箇所において「in  one  embodiment」の句が生起することは必ずしも、全てが同じ実施例を表す訳ではない。
【実施例】
【０００９】
最近、オーバーコンプリート動き補償ウェーブレット・ビデオ符号化がもたらしている関心は高い。この手法では、空間的分解がまず行われ、次に、マルチ分解能動き補償時間フィルタリング（MCTF）が、結果として生じる空間サブバンドの各々に対して別個に行われる。そうした手法では、動きベクトルは、種々の分解能及び方向で利用可能なものとして存在し、それによって、種々の空間・時間分解能での良好な品質の復号化が可能になる。更に、エッジなどの重要な特徴を維持するようテクスチャ情報に留意して、時間フィルタリングを行い得る。しかし、そうした手法によれば、符号化することが必要な動きベクトルの数の点でオーバーヘッドがずっと大きくなる。
【００１０】
動き推定（ME）を行うために、オーバーコンプリート離散ウェーブレット変換（ODWT）が、分解能スケーラビリティを前提として、参照フレームのクリティカル・サンプリングされる分解から構成される。ODWTは、離散ウェーブレット変換（DWT）から、コンプリート・オーバーコンプリート離散ウェーブレット変換（CODWT）と呼ばれる手順を用いて構成される。この手順は、参照フレームについて符号器側と復号器側とで行われる。よってCODWTの後、参照サブバンド
【００１１】
【数１】
2007503736.tif 000003
（すなわち、ウェーブレット分解レベルdからのフレームk）が、４つのクリティカル・サンプリングされるサブバンド
【００１２】
【数２】
2007503736.tif 000004
と、
【００１３】
【数３】
2007503736.tif 000005
と、
【００１４】
【数４】
2007503736.tif 000006
と、
【００１５】
【数５】
2007503736.tif 000007
として表す。括弧内の下付添え字は、垂直方向及び水平方向におけるダウンサンプリング後に確保されるポリフェーズ成分（偶数=0、奇数=0）を示す。動き推定は、これらの４つのクリティカル・サンプリングされる参照サブバンドの各々において行われ、最善のマッチが選ばれる。
【００１６】
よって、各動きベクトルは、4つの成分のうちの、最善のマッチが属する成分を示す、関連した数も有する。動き推定及び動き補償（MC）の手順は、レベル単位で、サブバンド（LL、LH、HL及びHH）の各々について行われる。この手法では、MCTFがまず行われる方法と同様に、可変のブロック・サイズ及びサーチ範囲を分解能レベル毎に用いることができる。
【００１７】
しかし、良好な時間無相関を備えるうえで、こうした拡張は、更なる動きベクトル（MV）群を符号化する必要がある。双方向動き推定は複数の空間時間レベルで行われるので、更なるMVビットの数は、分解レベルの数とともに増加する。同様に、フィルタリング中に用いる参照フレームの数が大きいほど、符号化することを必要とするMVの数は大きくなる。
【００１８】
こうした手法によって符号化することを必要とするMVフィールドの数を、（ハイブリッド符号化手法におけるMVフィールドの数と同じ、）ハール分解におけるMVフィールドの数によって除算したものとして「時間的冗長度係数」Rtを定義することができる。その場合、Dt個の時間分解レベルと、双方向フィルタリングと、
【００１９】
【数６】
2007503736.tif 000008
のGOPサイズ倍数とによって、この係数は、
【００２０】
【数７】
2007503736.tif 000009
となる。
【００２１】
同様に、この冗長度係数を種々の分解構造について計算し得る。そうしたオーバーコンプリート・ウェーブレット符号化手法の空間動きベクトル冗長度係数Rsも同様に定義し得る。空間分解レベルがDs個の手法は、サブバンドの総数が3Ds＋1である。各々が異なる冗長度係数を備えるこれらのサブバンドに対して動き推定及び時間フィルタリングを行ううえで多くの方法がある。
【００２２】
1.  空間分解レベル数を増加させて、最小ブロック・サイズを1/4に削減する。このことによって、同じ数の動きベクトルを各サブバンドが有するようにする。そうした場合には、冗長度係数は、Rs=3Ds＋1である。効率の低減を犠牲にしてこの冗長度を低減させるうえでの1つの方法として、各レベルで３つの高周波サブバンドからのブロックについて１つの動きベクトルを用いるというものがある。そうした場合には、冗長度係数は、Rs=Ds＋1に低減される。
【００２３】
2.  空間分解レベル全てで同じ最小ブロック・サイズを用いる。そうした場合には、動きベクトルの数は、連続する分解レベル各々で1/4に低減される。そうした場合には、総冗長度は、
【００２４】
【数８】
2007503736.tif 000010
として計算し得る。しかし、種々の空間レベルで同じブロック・サイズを維持することによって、動き推定及び時間フィルタリングの品質をかなり低下させかねない。同時に、各レベルで３つの高周波サブバンドのブロックについて1つの動きベクトルのみを用いるという制約を更に課す場合、冗長度係数は、
【００２５】
【数９】
2007503736.tif 000011
に低減される。
【００２６】
重要なことは、この冗長度係数Rsが、上記で導き出した時間冗長度係数Rtとは無関係であるということである。双方向フィルタリング等がこのフレームワークで用いられる場合、結果として生じる冗長度係数は、RtとRsとの積である。
【００２７】
要約すれば、ビデオ系列の効率的な時間フィルタリングには、多くの更なるMV群を符号化する必要がある。この開示では、その間で空間と時間と方向とスケールとの相関の一部を利用する、MVの種々の予測手法及び符号化手法を紹介する。そうした手法は、種々の寸法におけるMVスケーラビリティも可能にする一方で、MVを相当に符号化するのに必要なビットを削減することができる。同時に、符号化の、効率と、品質と、計算量との間でのトレードオフもこれらの手法によって調べることができる。
【００２８】
空間スケールにわたる予測
これらの、MV予測及びMV符号化の手法は、多くの空間スケールにわたってMEが行われる時間フィルタリング領域において適用可能である。異なるスケールでのサブバンド間の類似性によって、これらのスケールにわたってMVを予測し得る。記載を単純にするために、図2で動きベクトルの一部を検討する。
【００２９】
図2では、２つの別々の空間分解レベルを示し、２つのレベルにおける同じ領域に相当するブロックを示す。別々の空間レベルでの動き推定（ME）に同じブロック・サイズを用いる場合にこの例を検討する。別々の空間分解レベルでブロック・サイズを削減する場合、空間レベル全てで同数の動きベクトルを有し（、MV5は、レベルdで４つの小サブブロックについて４つのMVに分離され）、本明細書及び特許請求の範囲で規定する予測及び符号化の手法は、その場合に容易に拡張し得る。
【００３０】
時間スケールにわたる予測と同様に、トップダウン予測手法と、ボトムアップ予測手法と、ハイブリッド予測手法とを規定することができる。
【００３１】
トップダウンの予測及び符号化
この手法では、空間レベルd−1でのMVを用いて時間レベルdでのMVを予測すること等を行う。図2における本願の例を用いれば、図6に示すように、この処理60は、
a.  MV1、MV2、MV3及びMV4を判定する工程（エレメント61）と、
b.  これらの４つのMVに基づいた精緻化値としてMV5を推定する工程（エレメント62）と、
c.  MV1、MV2、MV3、MV4を符号化する工程（エレメント63）と、
d.  MV5の精緻化値を符号化する（か、精緻化を行わない）工程（エレメント64）として記述し得る。
【００３２】
トップダウンの時間予測及び時間符号化と同様に、この手法は、高効率を有する可能性が高いが、空間スケーラビリティをサポートするものでない。更に、推定処理中にも動きベクトル（MV）予測、すなわち、MV１，MV2、MV3、MV4に基づいた、MV5のサーチ中心及びサーチ範囲の予測を用い続けることができる。
【００３３】
ハイブリッド：トップダウン推定、ボトムアップ符号化
図6に示すような、空間スケールにわたる予測を用いた方法の別の例示的な実施例70を図7に示す。
【００３４】
a.  MV1、MV2、MV3及びMV4を判定する工程（エレメント71）
b.  MV1、MV2、MV3及びMV4が必要とするビット数が少なくなるようにMV5を判定する工程（エレメント72）
c.  MV5を符号化する工程（エレメント73）
d.  MV1、MV2、MV3及びMV4の精緻化値を符号化するか、精緻化を全く行わない工程（エレメント74）
混合予測：種々のレベルからのMVを合わせて予測子として用いる
図6乃至図７に示すような、空間スケールにわたる予測を用いた方法の別の例示的な実施例80を図8に示す。
【００３５】
a.  MV1、MV2及びMV5を判定する工程（エレメント81）
b.  MV1、MV2及びMV5に基づいた精緻化値としてMV3及びMV4を推定する工程（エレメント82）
c.  MV5、MV2及びMV1を符号化する工程（エレメント83）
d.  MV3及びMV4の精緻化値を符号化するか、精緻化を全く行わない工程（エレメント84）
こうした手法の一部の、効果及び欠点は、時間予測及び時間符号化について開示703530に規定されたものと同様である。
【００３６】
同じ空間レベルでの種々の方向サブバンドにわたる予測及び符号化
図5を参照すれば、種々の方向サブバンドにわたって予測及び符号化を行う処理を示す。MVの予測及び符号化を行う上記手法は、オーバーコンプリート時間フィルタリング領域における同じ空間分解レベルでのサブバンドの動き情報における類似性を利用する。一レベルでの種々の高周波空間サブバンドは、LH、HL及びHHである。これらは、同じフレームにおける別々の指向性周波数（方向）に相当するため、相関したMVを有する。よって、予測及び符号化は、合わせて、すなわち、これらの指向性サブバンドにわたって行うことができる。
【００３７】
図3に示すように、MV1、MV2及びMV3は、種々の周波数サブバンド（種々の方向）における同じ空間位置内のブロックに相当する動きベクトルである。図5に示す予測符号化及び推定の方法の１つは、次のように処理する。
【００３８】
a.  MV1を判定する工程（エレメント51）
b.  MV1に基づいた精緻化値としてMV2及びMV3を推定する工程（エレメント52）
c.  MV1を符号化する工程（エレメント53）
d.  MV2及びMV3の精緻化値を符号化する（か、精緻化を全く行わない）工程（エレメント54）
上記は、MV1をMV2又はMV3によって置き換えることによって書き換え得る。更に、この手法は、３つのうちの２つが第3のMVの予測子として用いられるように容易に修正し得る。
【００３９】
方向サブバンドの動きベクトルの推定
オーバーコンプリート・ウェーブレット符号化フレームワークでは、動き推定及び動き補償は、空間ウェーブレット変換後に行われる。例として、図9では、ウェーブレット変換の１レベルの後のフォアマン系列からの2つのフレームを示す。２つのフレームは別々のサブバンド、すなわち、LL（近似）サブバンドと、LH、HL及びHHのサブバンド（詳細サブバンド）とに分解される。LLサブバンドを更に複数レベルに分解して、マルチレベル・ウェーブレット変換を得てもよい。
【００４０】
３つの詳細サブバンドLH、HL及びHHは、（垂直方向の周波数、水平方向の周波数及び対角線方向の周波数の各々を捕捉するため）指向性サブバンドとも呼ばれる。動き推定及び動き補償は、これらの３つの方向サブバンドの各々におけるブロックに対して行う必要がある。このことは、図10及び図11におけるLHサブバンドについて図示する。
【００４１】
同様に、HL及びHHのサブバンドにおけるブロック毎に、相当するMV及び最善のマッチを、参照フレームにおけるHL及びHHのサブバンドから探索しなければならない。しかし、それらのサブバンドの間には依存関係が存在するので、これらの別々のサブバンド内の同じ位置におけるブロックは、同様な動きベクトルを有する可能性が高いことが明白に分かり得る。よって、これらの別々のフレームからのブロックのMVは、お互いから予測し得る。
【００４２】
MVの統合予測及び統合符号化
図4を参照すれば、本発明の別の局面による動きベクトルの統合予測及び統合符号化を用いる方法40を示す。要約すれば、MVの予測及び符号化の手法には、４つの大分類が存在する。
【００４３】
●  MPEG2、MPEG  4やH.263などの予測符号化標準において用いる公知の手法である、空間的近傍（SN）からの予測
●  米国特許出願第60/483,795号（US020379）に記載されている、時間スケール（TS）にわたる予測
●  空間スケール（SS）にわたる予測（図6乃至図8参照。）
●  （図5を参照しながら前述した、）種々の方向サブバンド(OS)にわたる予測
これらの分類のうちの1つ又は複数からの手法を、符号器で合わせて用いて、現行のMVをより良好な予測を取得し得る。このことを図4の流れ図として示し得る。
【００４４】
種々の予測の各々に関連したコストは、速度、歪み及び計算量の関数として定義する。
Cost=f(Rate,Distortion,Complexity)
厳密なコスト関数は、アプリケーションの要件に基づいて選ばなければならないが、一般的には、これらのパラメータのコスト関数の大半は、十分なものとなる。
【００４５】
予測動きベクトルとそのコストとの各々を算出した後、組み合わせたバージョンにおいてこれらの算出動きベクトルを用いるか否かを、コスト関数に基づいて判定することができる。
【００４６】
種々の関数を用いて、これらの大分類の各々からの、利用可能な予測（シェーディングされた部分）を組み合わせ得る。2つの例としては、加重平均及びメジアンの関数がある。
【００４７】
PMV=αSNPMVSN+αTSPMVTS+αSSPMVSS+αOSPMVOS
又は、PMV=median(PMVSN,PMVTS,PMVSS,PMVOS)
そうした組み合わせ（αs）などの間に用いる重みは、予測ストラテジの各々に関連したコストに基づいて、かつ、符号器及び復号器がサポートする必要がある所望の特徴にも基づいて判定されることとする。例えば、時関予測手法は、関連コストが高い場合、小さな重みを割り当てることとする。同様に、空間スケーラビリティが要件である場合、ボトムアップ予測手法が、トップダウン予測手法よりも優先することとする。
【００４８】
この、利用可能な予測手法、組み合わせ関数及び割り当てられる重みの選択は、MV残差を正確に復号化することができるように復号器に送る必要がある。
【００４９】
これらの種々の予測手法を動作可能にすることによって、速度と歪みと計算量との間のトレードオフを利用し得る。例として、現行MVの予測を精緻化しない場合、現行MVの動き推定を行わなくてよい、すなわち、計算量をかなり削減することができる。同様にMVを精緻化しないことによって、（その場合残差はゼロとなるので）MVを符号化するのに必要なビット数は少なくなる。しかし、これらのことは何れも、品質マッチが低下することを犠牲とする。よって、符号器及び復号器の要件及び機能に基づいて賢明なトレードオフを行う必要がある。
【００５０】
上記方法及び処理は、スケーラブルなビデオ記憶モジュールや、インターネット/無線ビデオ伝送モジュールに限定されないがそれらを例として備える何れかのフレーム間/オーバーコンプリート・ウェーブレット・コデック・ベースの製品に適用可能である。
【００５１】
種々の実施例を本明細書及び特許請求の範囲において特に例証し、説明しているが、本発明の修正及び変形が、上記教示によって備えられており、本発明の、技術思想と、意図される範囲とから逸脱することなく、本特許請求の範囲の範囲内に収まることが分かるものである。例えば、上記方法を利用し得る特定の製品を説明しているが、他の製品が、本明細書及び特許請求の範囲記載の方法から恩恵を受け得る。例えば、この例は、本特許請求の範囲によって備えられる、本発明の修正及び変形を限定するものとして解釈されず、考えられる変形を例証するに過ぎない。
【図面の簡単な説明】
【００５２】
【図１】本発明の一局面による、CODWTを用いて動きベクトル推定符号化を行う処理を表す構成図である。
【図２】本発明の別の局面による、空間スケールにわたって動きベクトル推定符号化を行う処理を表す構成図である。
【図３】本発明の更に別の局面による、同じ空間スケールでのサブバンドにわたって動きベクトル推定符号化を行う処理を表す構成図である。
【図４】本発明の更に別の局面による、複数の手法を用いて動きベクトル推定符号化を行う処理を表す流れ図である。
【図５】本発明の別の局面による、種々の方向サブバンドにわたって予測及び符号化を行う処理を表す流れ図である。
【図６】空間スケールにわたる予測を用いて動きベクトルを算出する方法の例示的な実施例を表す図である。
【図７】空間スケールにわたる予測を用いて動きベクトルを算出する方法の例示的な実施例を表す別の図である。
【図８】空間スケールにわたる予測を用いて動きベクトルを算出する方法の例示的な実施例を表す更に別の図である。
【図９】本発明の更に別の局面による、２つのフレームが種々のサブバンドに分解される、ウェーブレット変換の１レベル後のフォアマン系列からの２つのフレームを表す図である。
【図１０】本発明の別の局面による、種々の方向サブバンドにわたる予測に用いる参照フレームを表す図である。
【図１１】本発明の別の局面による、種々の方向サブバンドにわたる予測に用いる現行フレームを表す図である。
【図１】
2007503736.tif 000012
【図２】
2007503736.tif 000013
【図３】
2007503736.tif 000014
【図４】
2007503736.tif 000015
【図５】
2007503736.tif 000016
【図６】
2007503736.tif 000017
【図７】
2007503736.tif 000018
【図８】
2007503736.tif 000019
【図９】
2007503736.tif 000020
【図１０】
2007503736.tif 000021
【図１１】
2007503736.tif 000022
【国際調査報告】
2007503736.tif 000023
2007503736.tif 000024
2007503736.tif 000025