(57)【特許請求の範囲】
【請求項１】
ビデオ信号を受ける第１の解析フィルタ段（２）、フィルタリングされた信号から予測された信号（Ｐ）を減算する減算器（５）、減算された信号を符号化して符号化された信号を得る符号化回路（３）、前記符号化された信号を復号化する復号化回路（７）及び前記復号化された信号に前記予測された信号を加算する加算器（１３）を有する主符号化回路（１）と、異なる解像度レベルの画像に関連する予測ループであって、加算された信号を受ける合成フィルタ段（１２，１３）、フィルタリングされた加算信号を記憶する記憶手段（１４，１５）、記憶された信号と運動予測器（２４）で計算された運動ベクトルとを受ける運動補正器（１６，１７）、及び運動補正された信号を受け、フィルタリングされた運動補正された信号を前記予測された信号（Ｐ）として供給する第２の解析フィルタ段（１８，１９）を有する少なくとも２つの予測ループ（８，９）とを含む型のビデオ信号のサブバンド両立式符号化用のコーダであって、
前記コーダは、前記予測ループに記憶される、異なる解像度をもつ現在の画像を生成する手段（２５，２６，２７）を備え、
前記運動予測器は、第１の複数の入力として多解像度の画像からなる第１のピラミッド（Ｐ１）を構成する、前記予測ループに記憶されている画像と、第２の複数の入力として多解像度の画像からなる第２のピラミッド（Ｐ２）を構成する、対応する解像度をもつ現在の画像とを入力し、所与の解像度レベルについて計算された動きベクトルを上位の解像度レベルに伝達することにより、入力した解像度の異なる画像を利用して階層的な運動予測を実行する、
ことを特徴とするコーダ。
【請求項２】
前記第２のピラミッド（Ｐ２）を構成している画像は、サブバンド符号化用の前記第１の解析フィルタ段（２）を通して得られる、
ことを特徴とする請求項１記載のコーダ。
【請求項３】
前記階層的運動予測器は、前記ビデオ信号に対応する現在の原画像（Ｉｎ）の全解像度レベルよりも高い解像度レベルに対応するサブ画素精度を与える双一次内挿段を更に備える、
ことを特徴とする請求項１記載のコーダ。
【請求項４】
２つの多解像度の画像からなる前記ピラミッド（Ｐ１及びＰ２）を構築するための手段は、前記ビデオ信号に対応する前記現在の原画像（Ｉｎ）を前記画像（Ｉｎ）の行及び列にそれぞれ対応する前記画像（Ｉｎ）の水平方向（Ｘ）及び垂直方向（Ｙ）に沿って等しい偶数個のサブバンド（Ｍ）に分割する第１の手段（２）、前記第１の手段（２）による結果を使用して、前段の復号化された画像（Ｉｎ−１）と、解像度に従って配列され、前記前段の復号化された画像（Ｉｎ−１）から構築される異なる解像度の指定された数の画像とを含む、前記第１のピラミッド（Ｐ１）を形成する第１の画像の群を再構成する第２の手段（８，９，１０及び１１）、並びに前記第１の手段（２）により分割される全解像度の現在の原画像（Ｉｎ）から、解像度に従って配列される異なる解像度の指定された数の画像を含む第２の画像の群を再構成する第３の手段（２５，２６及び２７）を含み、前記現在の原画像（Ｉｎ）と異なる解像度からなる前記第２の画像の群とは前記第２のピラミッド（Ｐ２）を形成する、
ことを特徴とする請求項１記載のコーダ。
【請求項５】
前記第１の手段は、前記画像（Ｉｎ）の行及び列にそれぞれ対応して前記画像の水平方向（Ｘ）に沿って、次いで垂直方向（Ｙ）に沿ってサブバンドに分割される、前記現在の原画像（Ｉｎ）の連続的な解析を可能にする２次元の個別の解析フィルタ段（２）を含む、
ことを特徴とする請求項４記載のコーダ。
【請求項６】
前記第２の手段は、指定された数の符号化ループ（８，９，１０及び１１）を含み、それぞれの符号化ループは、指定されたフォーマットで画像を再構成する合成フィルタ段（１２，１３，２０及び２１）、再構成された画像を記憶するイメージメモリ（１４，１５，２２及び２３）、それぞれのイメージメモリ（１４，１５，２２及び２３）の出力は、前記第１のピラミッド（Ｐ１）を形成するため、前記符号化ループ（８，９，１０及び１１）のフォーマットにより決定される解像度をもつ画像をそれぞれ伝達する、
ことを特徴とする請求項４記載のコーダ。
【請求項７】
前記第３の手段は、指定された数の合成フィルタ段（２５，２６及び２７）を含み、それぞれの合成フィルタは、前記解析フィルタ段（２）により分割された全解像度の現在の原画像（Ｉｎ）から解像度の異なる画像を再構成する、
ことを特徴とする請求項４記載のコーダ。
【請求項８】
前記ピラミッド（Ｐ１及びＰ２）のそれぞれは、最も低い解像度レベルから最も高い解像度レベルまで、ＤＣフォーマットによる解像度Ｒ＝１／６４のレベル（ｎ＝１）の画像に対応する第１の画像、ＶＴフォーマットによる解像度Ｒ＝１／１６のレベル（ｎ＝２）の画像に対応する第２の画像、ＴＶフォーマットによる解像度Ｒ＝１／４のレベル（ｎ＝３）の画像に対応する第３の画像、及びＨＤフォーマットによる全解像度Ｒ＝１のレベル（ｎ＝４）の画像に対応する第４の画像を含む、
ことを特徴とする請求項１乃至７のいずれか記載のコーダ。
【請求項９】
前記第２のピラミッド（Ｐ２）のうちの最初の３つのレベル（ｎ＝１〜３）は、前記解析フィルタ段により前記画像の水平方向（Ｘ）及び垂直方向（Ｙ）に沿って６４バンド（Ｍ）、８バンド（Ｍ）に分割される前記現在の原画像から得られ、前記ＤＣ、ＶＴ及びＴＶ対応の合成フィルタの段（２７，２６及び２５）によりそれぞれ個別に再構成され、前記第１のピラミッド（Ｐ１）の４つのレベル（ｎ＝１〜４）は、前記ＤＣ，ＶＴ，ＴＶ及びＨＤフォーマットにそれぞれ対応する４つの符号化ループ（１１，１０，９及び８）により、ＨＤ対応の解析フィルタ（２）で分割された前段の復号化された画像（Ｉｎ−１）からそれぞれ得られる、
ことを特徴とする請求項８記載のコーダ。
【請求項１０】
階層的な運動予測を行う前記予測器（２４）からの、転送されるべき動きベクトルは、ツリー構造に従って符号化される、
ことを特徴とする請求項１乃至９のいずれか記載のコーダ。
【発明の詳細な説明】
本発明は、テレビ画像サブバンド両立式符号化用エンコーダ／デコーダ及びツリー構造による階層的運動符号化へのその応用に関するものである。
本発明は、デジタル伝送システム及び特にデジタル画像シーケンスの伝送に使用される。
広帯域デジタルネットワークの発展と共にデジタル伝送に関する最近の技術の進歩は、デジタル圧縮の役割に重要な位置を与えている。データ伝送に割り当てられたビット伝送速度は減少し続けているが、一方、符号化の品質に関する要求は増大している。従って、デジタル画像シーケンス伝送に関して、開発されたアルゴリズムは、通常、運動予測と共に時間冗長度を活用することに基づく、より強化された複雑な技術を使用することを必要とする。これは、例えば、「フレームスキップ（frame skip）」と呼ばれる画像飛越し技術を使用する両方向符号化または時間内挿技術を使用する場合である。
しかし、これらの技術は運動予測に関して新しい制約の出現を伴う。特に処理されている画像が高品位（High Definition）（ＨＤ）フォーマットである時、両方向符号化は、大きな振幅の運動を予測する能力を要求する。「フレームスキップ」及び時間内挿は、可能限り物理フィールドに類似した正確なベクトルフィールドを要求する。また、伝送されるべき運動情報がかなり大きくなると、運動フィールドを符号化するコストを可能な限り少なくすることが重要である。このために最も有効な手段は、可能な限り均質にすることである。精度、均質性、大きな大きさ及び物理フィールドへの適合性は、運動予測器によって考慮されるべき特性である。
公知の画像エンコーダ／デコーダの大多数は、画像をブロックに区画する技術を示す「ブロックマッチング型」運動予測技術と共に、内部（intra）または相互（inter）モードで作動するＤＣＴと略称されている離散コサイン変換（Discrete Cosine Transform）符号化技術を使用する。ブロックにつき１つの運動ベクトルが、相関計算によって測定される。この技術によって、特に「イメージコミュニケーション（Image Communication）４」（1992年）161〜174頁に発表された『画像シーケンス符号化のための運動予測及び補正（Motion estimation and compensation for image sequence coding）』に展開された整数の画素またはより稀にはペル再帰（pel-recursive）型（ペル（pel）は、画素（pixel）の略称である）によって計算された運動ベクトルを得ることが可能になる。ペル再帰法では、輪郭運動のレベルで十分な精度を得ることができず、また、ノイズに対する余りに影響を受けやすい。
予測エラーを減少させることに関して良好な結果を与えるより普及した技術は、「ブロックマッチングフルサーチ（block matching full search）」として知られる技術である。しかし、この技術は大きさが大きい運動を予測することはできない。また、「フルサーチ（full search）」技術は、近接するブロックから生じるベクトル間の空間相関を考慮しないが、これは真の運動から掛け離れたノイズの多いフィールドとして示されることがしばしばある。サーチウィンドのサイズを大きくすることは、予測したフィールドの不均質性を強調するだけであり、従って、その符号化のコストは低いビット伝送速度では無視できない。従って、「フルサーチ」は、もはや新しい制約に適していない。
より大きなベクトル偏位を可能にする、より複雑だが、迅速な「ブロックマッチング」技術は、複数の論文に展開されており、特にキュー．ワン（Q.Wang）及びアール．ジェー．クラーク（R.J.Clarke）による『画像シーケンス符号化のための運動予測及び補正（Motion estimation and compensation for image sequence coding）』（「イメージコミュニケーション（Image Communicaon）4」（1992年）161〜174頁）及びエル．リー（L.Lee）、ジェー．ワン（J.WANG）、ジェー．リー（J.Lee）及びジェー．シー（J. Shie）による『ブロックマッチングアルゴリズムのためのダイナミックサーチウィンドアジャストメント及びインターレース式サーチ（Dynamic Search Window Adjustment and Interlaced Search for Block MatchingAlgorithm）』（「ＨＤＴＶに関するインターナショナルワークショップ'93、会報第２巻（International Workshop on HDTV '93, Proceedings vol.2）」（1992年11月）カワサキ（Kawasaki）に記載されている。
これらの技術の目的は、ブロックごとにテストする位置の数の最小にすることである。これらの方法の利点は、完全なサーチを排除することにある。しかし、それらの技術は、運動フィールドにより大きな一貫性を与えることがなく、反対に、運動予測器の分散の可能性を大きくする。しかし、階層的予測技術によって、運動フィールドの符号化に関する上記の制約を満たすことが可能である。
これらの符号化技術及び予測技術を使用するcodec（エンコーダ／デコーダ（coder/decoder）の略称）は、２つの予測ループを有する両立式の構造を備え、従って、ＨＤＴＶ（High Definition TeleVision（高画質テレビ）の略称）エンコーダと呼ばれる第１のループの“全解像度”コーダと標準型とされるＴＶ（TeleVisionの略称）デコーダと呼ばれる第２のループの“４分の１解像度”デコーダとの間のドリフトを防ぐ。そのような構造は、『ＴＶ／ＨＤＴＶ両立式符号化方法の草案仕様書（Draft Specification of TV/HDTV Compatible Coding Scheme）』（「ＣＭＴＴ／２−ＳＲＧ文献（Document CMTT/2-SRG）」1992年7月）に記載されている。
このcodecによって使用される符号化原理は、ソース画像のスペクトルをサブバンドに分割することからなり、その各バンドは別々に符号化されている。codecは、最初に符号化モード、すなわち、“内部”モードまたは“相互”モードを選択し、次に内部モードの場合はバンドそれ自体を、または相互モードの場合はこのバンドに関する予測エラーを量子化する。次に、ＶＬＣ（可変長符号化（Variable Length Coding）の略称）符号化後、伝送チャネルを介してバンドを順番に次々に伝送する。
相互予測モードでは、codecは伝送された係数から解像度の異なる２つの画像、すなわちＨＤＴＶループの“全解像度”画像及びＴＶループの“４分の１解像度”画像を再構築する。“全解像度”画像は、伝送される全周波数帯域を使用する合成フィルタの段によって得られる。“４分の１解像度”画像は、伝送されたサブバンドのちょうど４分の１だけを使用する。
次に、これらの２つのデコードされた画像はメモリに記憶され、直前のデコードされた画像と現在のソース画像の間の運動の予測及び補正の後、次のソース画像の相互予測を提供するために使用される。２つの画像は、次に再整列し、サブバンドに分割される。ＴＶループは、低い周波数に対応するサブバンドの４分の１を与え、サブバンドの残りはＨＤＴＶループから派生する。
この型のcodecでは、両立式の“４分の１解像度”画像は、予測後、“全解像度”画像間で予測されるベクトルを使用することによって相互予測のために再整列させる。しかし、対応する再整列は、“全解像度”レベルに良好に適合していることはあるが、必ずしも“４分の１解像度”レベルに適合しているわけではない。
また、“全解像度”画像に関して伝送される全運動ベクトルもまた両立式デコーダによってデコードされなければならず、これは低いビット伝送速度での両立式部分に対応するピット伝送速度をかなり大きくする。
本発明の目的は、上記の問題点を解消することにある。
このため、本発明の目的は、２つの連続したソース画像すなわち前段の画像及び現在の画像間の階層的運動予測器に接続された特定のフォーマットの主符号化回路及び符号化ループを備える型のテレビ画像のサブバンド両立式符号化のエンコーダ／デコーダであって、前段のデコード画像及び現在のソース画像から各々その解像度によって同一の番号を付けた同じ特定の数の画像を含む解像度の異なる画像ピラミッドを各々構成するための手段を備え、その各画像は、画像の水平方向及び鉛直方向で前段の解像度レベルの半分の解像度レベルに対応し、各ピラミッドは、各々運動ベクトルを出力する階層的運動予測器の第１及び第２の直列入力に各々入力され、その運動ベクトルの大きさは、２つのピラミッド間で予測された運動に比例することを特徴とするエンコーダ／デコーダである。
本発明によって、一方では多解像度ピラミッドを生成するための知られている二重ループcodecの構造によることができ、一方では所定のビット伝送速度で、特に両立式部分のレベルで画像の品質に関してcodecの性能を改良することができるという利点がある。
本発明のその他の特徴及び利点は、添付図面を参照して行なう下記の説明から明らかになろう。
第１図は、本発明によるエンコーダ／デコーダの１実施例を図示したものであり、
第２図は、本発明によるエンコーダ／デコーダによって使用される階層的運動予測器を介した空間予測子の選択を示す画像ピラミッドの１部分の２次元表示である。
第１図には、多解像度階層的運動予測器を備える本発明による４つの解像度レベルを有するエンコーダ／デコーダすなわちcodecの１実施例が図示されている。
この実施例は、ジェー．モー（J.Mau）による『完全な再構成変調フィルタ段（Perfect Reconstruction Modulated Filter Banks）』（ＩＣＡＳＳＰ、1992年３月、サンフランシスコ（SanFrancisco））に記載されたサブバンド分割原理を使用する。
画像は、２次元の分離可能なフィルタ段の使用に基づく並列構造によってサブバンドに分割される。そのような段は、解析フィルタと合成フィルタを備える。解析フィルタの段は、画像を、画像の水平方向Ｘ及び垂直方向Ｙに沿って所定の数Ｍのバンドに分解する。従って、各々Ｍ行とＭ列を決定する。フィルタの分離可能な特徴によって、画像の行及び列を別々に処理することができる。画像をサブバンドＭ×Ｍへ分割するため、解析フィルタは１次元であり、Ｍ個のサブバンドに画像の行を分割し、次に連続してＭ個のサブバンドに列を分割する。サブバンドは、各方向Ｘ及びＹにおいて、バンド数Ｍによってサブサンプリングされる。
同様に、画像は、数Ｍのサブバンドに対応する数Ｍの１次元合成フィルタを含む段と、サブバンド数Ｍの特定のファクタによる内挿とによって再構成される。分析及び合成フィルタは、同一リニアフェイズ低域原型フィルタを変調することによって計算される。解析及び合成の変調位相は反対であり、従って、画像再構成中のスペクトル後退を除去する。
“全解像度”画像をＭ×Ｍ個のサブバンドに分割することから出発して、本発明によるｃｏｄｅｃは、Ｍが偶数ならば“４分の１解像度”のサブ画像を再構成する。このため、ｃｏｄｅｃはこのレベルの解像度に対応するＭ／２×Ｍ／２のサブバンドを選択するが、このサブバンドは低周波数に対応する。ｃｏｄｅｃは、“全解像度”合成段から単純に演繹された合成段を計算する。Ｍ／２合成フィルタ段は、Ｍ個のサブバンドへの分割のため当初の原型フィルタの２つづサブサンプリングされた型を変調することによって得られる。Ｍが２の累乗である時、方法は反復され、１×１の合成段の使用まで16番目の解像度サブ画像等を生成する。
本発明によるｃｏｄｅｃの実施例は、点線によって区画された主符号化回路１を備える。この主符号化回路によって、伝送チャネルを介して、内部モードでは符号化された現在のソース画像Ｉｎを、相互モードでは現在のソース画像Ｉｎと前段のデコード画像Ｉｎ−１に基づいて形成された予測から生じる画像との間の差から生成する符号化されたエラー信号を送ることができる。
主符号化回路は、入力Ｅから出力Ｓまで、現在のソース画像Ｉｎをその入力に受け、その出力に64個のバンド、すなわち、画像の水平なＸ方向に８個及びＹ方向に８個のバンドに分割された同じ“全解像度”画像を出力する第１の高品位解析フィルタ段すなわちＨＤ解析段２を備える。ＨＤ解析段２の出力は、ｃｏｄｅｃによって選択された「内部モード」位置でスイッチ４によって量子化回路すなわち量子化器３に直接接続されるか、または、ｃｏｄｅｃによって選択された「相互モード」位置でスイッチ４を介して出力が量子化器３の入力に接続された減算演算子すなわち減算器５の第１のオペランド入力に接続される。
内部モードでは分割され量子化されたＨＤ画像をまたは相互モードでは量子化されたエラー信号を出力する量子化器３の出力は、一方ではマルチプレクサＭＵＸを内蔵し、出力が伝送チャネルに接続された可変長符号化装置すなわちＶＬＣ６の第１の入力に接続され、もう一方では出力がｃｏｄｅｃによって選択された「内部モード」位置では第２のスイッチ12を介して、点線内に各々図示された４つの符号化ループ８〜11の入力に直接接続されるかまたは出力がｃｏｄｅｃによって選択された「相互モード」位置では各々高品位（High Definition）フォーマット、テレビジョン（Television）フォーマット、ビデオ電話（Videotelephone）フォーマット及び信号の平均が零であることを意味する「直流（Direct Current）」フォーマットを意味するＨＤ、ＴＶ、ＶＴ及びＤＣフォーマットに関する４つの符号化ループ８〜11の入力に接続されている加算演算子すなわち加算器13の第１のオペランド入力に接続される。
各ループ８〜11は、前段のデコードされた画像Ｉｎ−１から再構成された画像を出力し、ＨＤフォーマットでは“全解像度”画像を、ＴＶフォーマットでは“４分の１解像度”画像を、ＶＴフォーマットでは“16分の１解像度”画像を及びＤＣフォーマットでは“64分の１解像度”画像を各々構成する。第１及び第２のループ８及び９は、各々、ＨＤ予測ループ及びＴＶ予測ループに対応する。
ＨＤ予測ループ８及びＴＶ予測ループ９は、各々、入力から出力までにサブバンドに分割された“全解像度”画像からＨＤフォーマット“全解像度”画像Ｒ＝１画像及びＴＶフォーマット“４分の１解像度”画像Ｒ＝４分の１画像を再構成するための合成フィルタ段すなわち合成段12及び13を備える。
合成段12及び13は、各々前段のＨＤ及びＴＶフォーマットの画像の記憶を可能にする画像メモリ14及び15の入力に接続される。各画像メモリ14及び15の出力は、各々運動補正装置16及び17の第１の入力に接続されており、その運動補正装置16及び17は、運動補正装置16及び17の第２の入力に達する運動ベクトルＶの形の制御信号により、現在のソース画像Ｉｎと前段のデコードされた画像Ｉｎ−１との間で実行される運動予測に基づいて、ＨＤ及びＴＶフォーマット画像を再整列させることを可能にする。運動ベクトルＶは、そのままの大きさで、ＨＤループの運動補正装置16に入力され、この大きさの半分は、ＴＶループ解像度が、画像の両方向Ｘ及びＹのＨＤループの解像度の半分を示すので、ＴＶループの運動補正装置17に入力される。それら運動補正装置16及び17の出力は、解析段18及び19の入力にそれぞれ接続されている。２つの再整列されたＨＤ及びＴＶフォーマット画像は、次にサブバンドに分割され、次のソース画像Ｉｎの予測として役立つ。
解析段18及び19の各出力は、共通接続されており、また、一方では減算器５の第２のオペランド入力に、もう一方では加算器１３の第２のオペランド入力に接続されている。第３及び第４のループ10及び11は、各々、ＶＴ及びＴＣフォーマットのループに対応し、各々合成段20及び21を備える。各合成段20及び21の出力は、各々、画像メモリ22及び23の入力に接続されている。
４つのループ８、９、10及び11に関する画像メモリ14、15、22及び23の出力は、各々、多解像度階層的運動予測器24の第１の組の４つの番号の付いた入力に接続されている。
４つのループ８、９、10及び11の出力は、第１の多解像度ピラミッドＰ１を生成する。そこでは、各ループ８、９、10及び11に再構成された画像は、そのピラミッドＰ１の４つのレベルｎ＝１〜４の１つに対応する。第１のレベルｎ＝１はＨＤフォーマットを有する“全解像度”Ｒ＝１画像に、第２のレベルｎ＝２はＴＶフォーマットを有する“４分の１解像度”Ｒ＝１／４画像に、第３のレベルｎ＝３はＶＴフォーマットを有する“16分の１解像度”画像Ｒ＝“１／16”画像に、そして、第４のレベルｎ＝４はＤＣフォーマットを有する“64分の１解像度”画像Ｒ＝“１／64”画像に対応する。
予測器24は、第１の組の４つの前述した入力と同様に、第２の組の４つの順番の付いた入力に、第２の多解像度ピラミッドＰ２を受ける。
第１の入力は、主符号化回路１のＨＤ解析段２によるサブバンド分割の前の“全解像度”の現在のソース画像Ｉｎを受ける。その他の３つの連続した入力は、各々、順番に主符号化回路１の解析段２によってＭ×Ｍ個のサブバンドに分割されてそれらの入力に入力された現在のソース画像Ｉｎから、それぞれＴＶ合成段25、ＶＴ合成段26及びＤＣ合成段27によって再構成された画像を受ける。
次に、予測器24によって現在のソース画像Ｉｎと前もって符号化されたソース画像Ｉｎ−１との間の階層的運動予測を実施する。この最後のデコードされた画像Ｉｎ−１に対応する第１のピラミッドＰ１は、既にＨＤループ８に存在するデコードされた“全解像度”画像、ＴＶループ９に存在する“４分の１解像度”画像及びＤＣループ11の合成フィルタ21の係数から直接得られるＤＣ画像を含む。ｃｏｄｅｃは、ＶＴループ10の合成段20に基づく16分の１の解像度画像だけを再構成する。
２つの多解像度ピラミッドＰ１及びＰ２に基づいて実施される運動予測から生じる運動ベクトルＶを生成する予測器24の出力は、一方では第１のＨＤ予測ループ８の画像メモリ16の第２の入力に接続され、もう一方では主符号化回路１のＶＬＣの第２の入力に接続される。同じベクトルＶは、その大きさが２分の１に分割されて、また第２のＴＶ予測ループ９の画像メモリ17の第２の入力に接続される。
本発明によるｃｏｄｅｃでの多解像度階層的予測器の使用は、予測アルゴリズムの構造の変更を必要としない。すなわち、ＴＶフォーマットと両立する画像のために使用される運動ベクトルＶは、再拡張されたＨＤフォーマットの“全解像度”画像のベクトルである。ベクトルＶのフィールドは、ベクトルＶの拡張後、“全解像度”画像及び“ＴＶ両立式”画像との両方に対して再整列を確保する。特に、第１のピラミッドＰ１の様々なレベルｎ＝１〜ｎ＝４は、実際両立式画像から再構成される。特に、最後のレベルｎ＝４で予測されたベクトルＶは、前のレベルｎ＝３で計算されたベクトルを使用して初期化され、従って、ＴＶ両立式画像の最高の再整列を確実にする。従って、ＴＶ両立式画像の再整列のため再拡張された時、“全解像度”運動ベクトルＶのフィールドは、第１のピラミッドＰ１の後ろから２番目のレベルｎ＝３で予測されるような真のフィールドに似る各機会を有する。
予測方法の実施例を下記に記載する。ソース画像は、特定の数のブロックに分割される。各ブロックは行及びその各列の交点によって区画され、そのサイズは全ての解像度レベルで同じである。この実施例では、運動予測は、“全解像度”画像の場合、漸進フォーマットでは16×16ブロックごとに、または交差フォーマットでは16×８ブロックごとに、１つの運動ベクトルで最高に達しなければならない。サーチは、最も低い解像度レベルで開始する。
予測器は、サーチを初期化するために１ブロックにつき１つの時間予測子を含む。この予測値の値は、前の予測中の同じブロック及び同じ解像度レベルに対応するベクトルの値である。シーケンスの開始時に、時間予測子は０に設定される。次に、予測器は、略称ＤＦＤで知られている、時間予測に対応する変位した内部画像差を、零変移に対応する差と共に計算する。最小のＤＦＤを有するベクトルが得られる。次に、このベクトルは、水平方向Ｘで±ｘ及び垂直方向Ｙで±ｙの大きさのサーチウィンドによって抽出され、ベクトルの先端に中心が合わせられる。最小のＤＦＤを形成する補正されたベクトルを取り出し、次の解像度レベルでサーチを初期化するために使用する。この技術は、特に、ピー．アナンダン（P.Anandan）によって「ＳＰＩＥ第521巻  インテリジェントロボットとコンピュータヴィジョン（ＳＰＩＥ Vol.521 Intelligent Robot and Computer Vision）」（1986年）に発表された『閉塞を含む場で信頼予測で密度の濃い変位フィールドを計算する（Computing dense displacement fields with confidence measures in scenes containing occlusions）』に記載されている。
２つの連続したレベルｎ−１及びｎでは、高いレベルｎの各ブロックは４つの予測子、すなわち、低いレベルｎ−１で実施された前段の予測から派生する１つの時間予測子及び３つの空間予測子を有する。低いレベルｎ−１の各ブロックに高いレベルｎの４つのブロックが対応する。低いレベルｎ−１のブロックに割り当てられたベクトルは、ベクトルを拡張した後、高いレブルの４つのブロックの各々に伝搬される。３つの空間予測子の割当は、高いレベルｎの各ブロックごとに決定される。
図２の実施例では、低いレベルｎ＝１の１〜９の番号の付いた９個のブロックを線影をつけて図示した。各ブロック１〜９には、各々同じ
0003766686.tif 000002
によって示す上位レベルｎ＝２の４つのブロック、すなわち、右上ブロック、左上ブロック、左下ブロック及び右下ブロックが対応する。
ブロック５には、各々
0003766686.tif 000003
によって示される４つのブロックが対応する。そのブロック５の中心は、上位レベｎ＝２の４つのブロック上に中心がある。３つの空間予測子は、
0003766686.tif 000004
によって示される４つのブロックの各々に割り当てられる。第１の空間予測子は各々、上位レベルｎ＝２の
0003766686.tif 000005
によって示される４つのブロックの１つに対応し、他の２つの空間予測子は各々第１の予測子に近接する２つのブロックに対応する。４×３個の予測子の組は、上位レベルｎ＝２で十字を形成する。残りのサーチは、下位レベルｎ＝１の他のブロックについて同様に続行され、続く上位レベルｎ＝３及び４でも同じ作業が実施される。しかし、レベルｎ＝４に対応する“全解像度”レベルでは、予測器はもはや時間予測子を使用せず、３つの空間予測子だけを使用して、サーチを初期化する。従って、実施の複雑さを最小にする。従って、ｎ＝１〜ｎ＝４の４つのレベルで、16×16または16×８のブロックにつき１つの整数ベクトルが得られる。
サブ画素精度を得るためには、双一次内挿または類似のものを使用して、前段で発見された整数ベクトルの周囲の対応する位置をテストすることができる。
この階層的予測器によって予測されるベクトルの最大整数の大きさは、下記の通りである。
レベルｎ＝１では、｜Ｖ１ｘ｜＋ｘ      ｜Ｖ１ｙ｜＋ｙ
レベルｎ＝２では、２｜Ｖ１ｘ｜＋３ｘ  ２｜Ｖ１ｙ｜＋３ｙ
レベルｎ＝３では、４｜Ｖ１ｘ｜＋７ｘ  ４｜Ｖ１ｙ｜＋７ｙ
及び
レベルｎ＝４では、８｜Ｖ１ｘ｜＋15ｘ  ８｜Ｖ１ｙ｜＋15ｙ
（但し、｜Ｖ１ｘ｜及び｜Ｖ１ｙ｜は、各々、Ｘ方向でのベクトルＶ１の基準及びＹ方向でのベクトルＶ１の基準を示す。
従って、水平及び鉛直に±３の画素の大きさを有するウィンドでは、漸進の場合、予測器はその大きさが各方向に±45画素に達することがあるベクトルを予測することができる。実際、ピラミッドの第１のレベルで時間予測子を使用することによって、より大きさの大きいベクトル予測が可能である。予測される最大の大きさは、予測器の発散の危険性を小さくするためにはやはりピラミッドの全レベルで制限されなければならない。
本発明によるｃｏｄｅｃは、例えば、「４進木（quadtree）」型のツリー構造を使用する運動ベクトルフィールドの符号化に使用される。
この用途では、両立式部分に使用されるベクトルはツリー構造を介して直接伝送されなければならない。この用途は、従来の示差符号化に対して全フィールドを符号化するコストを減少する観点から利点があり、さらに大きな利点は両立式デコーダは全運動情報をデコードする必要がなく、単に根から所望の解像度レベルまで伸びるツリー部分だけをデコードすればよいということである。
【図１】
0003766686.tif 000006
【図２】
0003766686.tif 000007