(57)【特許請求の範囲】
【請求項１】
元の画像のシーケンスに対応するとともに、対応するラベルに関連した輪郭及び閉じた領域を前記画像中で識別するセグメント化画像符号化方法であって、二つの連続する画像間の区画の動きの時間発展を規定する第１の規定ステップと、連続する区画の前記領域の動き、輪郭及びテクスチャを符号化する第２の符号化ステップとを具え、以前の区画に関して考察される現在の区画の各々に対して、前記１のステップが、
（１）動き補償された区画を規定するために、以前の区画から生じた各領域に対して、前記現在の区画中の領域の中心位置をマーキングする動き推定及び補償サブステップと、
（２）投影された区画を規定するために、現在の区画の補償によって以前に規定された前記領域を時間的に拡張する時間拡張サブステップと、
（３）動き及びテクスチャ基準に基づいて、前記投影された区画を統合又は再セグメント化することにより反復的に形成された追加の区画を決定し、前記追加の区画及び投影された区画が区画ツリーのレベルを形成する、反復的な区画トポロジー規定サブステップと、
（４）最適区画の領域の選択を、前記区画ツリーの任意のレベルに含まれる領域及び前記最適区画の各領域を符号化するのに最適なストラテジの提案の範囲内で行い、連続的な前記最適区画が、符号化すべき区画のシーケンスを構成する決定サブステップとを縦続的に具え、
前記決定サブステップが、前記区画ツリーに含まれる前記投影された区画及び前記追加の区画の間で最適区画の選択を行う決定ツリー規定サブステップと、前記最適区画の各領域に関する最適符号化ストラテジを選択する最適化サブステップとを具え、
前記第２ステップは、前記区画の各領域に対して伝送し及び／又は記憶する必要がある符号化情報を規定する決定符号化サブステップを具えることを特徴とするセグメント化信号符号化方法。
【請求項２】
前記動き推定及び補償サブステップは、ブロック整合法による動き推定処理と、以前の区画の領域ごとに、前記現在の区画の前記領域の中心位置を、以前の区画と同一のラベルでマーキングする最大接続成分のみから保持する動き補償処理とを具え、前記時間拡張サブステップは、watershed処理の実行を具えることを特徴とする請求の範囲１記載のセグメント化信号符号化方法。
【請求項３】
前記最適区画の各領域に適用すべきテクスチャ符号化法を、平均値による近似法、多項式近似法、形状適合離散余弦変換法、及び２値双方向性小波変換法を具えるリストの範囲内で選択することを特徴とする請求の範囲２記載のセグメント化信号符号
化方法。
【請求項４】
前記第１規定サブステップは、
（１）前記動き推定及び補償サブステップの前に行われ、全ての領域が所定の基準に従って均一となるまで粗区画と称される現在の区画をセグメント化して、いわゆる密区画を形成できるようにする追加のセグメンテーションサブステップと、
（２）前記時間拡張サブステップと前記区画トポロジー規定サブステップとの間で行われ、前記密区画の前記投影された領域を統合して、いわゆる投影粗区画を規定できるようにする追加の統合サブステップとを縦続して具えることを特徴とする請求の範囲１記載のセグメント化信号符号化方法。
【請求項５】
前記追加のセグメンテーションをサイズ的に適合させたものとし、サイズのパラメータを、領域の平均に対する画素の平均２乗誤差のような画素のグレーレベルの均一に関連する所定の均一基準に到達するまで、順次減少させるようにしたことを特徴とする請求の範囲４記載のセグメント化信号符号化方法。
【請求項６】
元の画像のシーケンスに対応するとともに、対応するラベルに関連した輪郭及び閉じた領域を前記画像中で識別するセグメント化画像符号化システムであって、このセグメント化画像符号化システムは、二つの連続する画像間の区画の動きの時間発展を規定する第１のサブシステムと、現在の区画のそれぞれに対して伝送し及び／又は記憶すべき符号化情報が符号化信号を具える、動き、輪郭及びテクスチャを符号化する第２のサブシステムとを具え、その符号化信号は、隣接する領域の動き及びテクスチャ基準に従って以前の区画の動き推定及び補償によって決定された主要区画の領域又はその主要区画の領域を統合し若しくは再セグメント化することによって形成した追加の区画の領域によって構成した最適区画に対応し、前記第１のサブシステムは、前記動き推定及び補償によって決定された主要区画の領域並びに統合又は再セグメント化によって反復的に形成される追加の区画の領域を具える提案された領域間で最適区画を選択する手段を具え、前記提案された領域は、区画ツリーのレベルを構成し、前記符号化信号は、統合順序及び分割情報の形態の各領域の由来の適切な表示を含むことを特徴とするセグメント化画像符号化システム。
【請求項７】
以前の区画に関して考察される現在の区画の各々に対して、
（Ｉ）前記第１のサブシステムは、
（Ａ）第１の区画予処理サブアセンブリを具え、この第１の区画予処理サブアセンブリは、
（１）（ａ）動き推定回路、
（ｂ）動き補償回路、及び
（ｃ）前記主要区画を規定するいわゆる投影区画を構成する出力を発生させる時間拡張回路を具える時間発展規定装置と、
（２）（ｄ）少なくとも一つの統合回路、及び、
（ｅ）少なくとも一つの再セグメント化回路を具え、
前記投影区画及び前記統合回路と再セグメント化回路とによって形成された追加の区画からなる区画ツリーを構成する出力部を有する区画トポロジー規定装置とを具え、
（Ｂ）第２の決定サブアセンブリを具え、この第２の決定サブアセンブリは、
（ｆ）決定ツリー構成回路、及び
（ｇ）最適化回路を具え、
前記第２の符号化サブシステムに送信される最適区画を発生させる出力を具え、その最適区画を、前記区画ツリーの種々のレベルからの領域の結合によって得るようにした第２の決定サブアセンブリを具え、
（II）前記第２のサブシステムは、
（Ｃ）（４）第１の決定符号化装置、
（５）第２の動き符号化装置、
（６）第３の輪郭符号化装置、
（７）第４のテクスチャ符号化装置、
（８）及び、前記第４の符号化装置の符号化出力信号のマルチプレクサを具える第３の符号化サブアセンブリを具えることを特徴とする請求の範囲６記載のセグメント化画像符号化システム。
【請求項８】
前記統合回路は、動き推定段及び統合処理段を具え、その統合処理段に、第２の同様な統合回路などを続けて、前記投影された区画から同様な動きを有する隣接区画を統合することにより前記区画ツリーの上側レベルを構成するようにしたことを特徴とする請求の範囲７記載のセグメント化画像符号化システム。
【請求項９】
前記決定ツリー構成回路は、歪み演算段、レート演算段、及びメモリを具え、このメモリを、前記区画ツリーの各領域のテクスチャの符号化処理を行うために選択するテクスチャ符号化法の関連のリストの長さと同一の長さを有する歪みのリスト及びレートのリストを決定ツリーの形態で記憶するために設け、前記最適化回路は、前記決定ツリーの各ノードの局所的な分析を行う演算サブ段と、前記区画の領域の全セットから符号化すべき前記最適区画を構成する領域の最終セットを規定する決定サブ段とを具えることを特徴とする請求の範囲７記載のセグメント化画像符号化システム。
【請求項１０】
複数の領域及び関連のラベルを具えるとともに連続的な区画を規定するセグメント化された画像のシーケンスに対して、前記シーケンスの現在の区画の各領域に対応する符号化信号を記憶する記憶媒体であって、その符号化信号は多重化信号からなり、その多重化信号は、
（Ａ）前記連続的な区画間のセグメンテーションの発展を特徴づけるとともにいわゆる投影された区画を規定することができる動きモデルの推定に対応する符号化動き情報と、
（Ｂ）レート及び歪み基準に基づいて、現在の区画に対応する投影された区画から構成した追加のより密の及びより粗の区画の階層の全ての領域の間で選択された最適区画の各領域のテクスチャ及び輪郭情報に対応する符号化区画情報と、
（Ｃ）前記レート及び歪み基準に関連する符号化コスト及び品質に基づいて、投影された及び追加の区画の前記選択された領域の各々に対して規定された符号化ストラテジに対応する符号化決定情報とを具えることを特徴とする記憶媒体。
【請求項１１】
対応するラベルに関連する輪郭及び閉じた領域とを元の画像の関連のシーケンス内で識別するセグメント化された画像に対応するとともに、符号化方法によって以前に符号化された信号を復号化する信号復号化方法であって、この信号復号化方法は、以前の区画に関して考察される現在の区画の各々に対して、動き推定及び補償と補償された区画の時間拡張によって得られた投影された区画及びその投影された区画の統合され又は再セグメント化された領域によって形成された追加の区画を規定するとともに、前記投影された追加の区画から形成された区画ツリーの任意のレベルに含まれる領域を構成する最適区画を選択する第１の規定ステップと、連続的な最適区画の各々の各領域に対して伝送し及び／又は記憶する必要がある符号化情報を規定する第２の符号化ステップとを具え、前記信号復号化方法は、各最適区画の各領域に対して以前に用いられた符号化ストラテジを規定する第１の決定復号化ステップと、第２の動き復号化ステップと、第３の区画復号化ステップと、第４のテクスチャ復号化ステップとを具えることを特徴とする信号復号化方法。
【請求項１２】
前記第３の区画復号化サブステップは、Ｎ個の領域が存在する場合にはラベル１〜Ｎのみを用いることによって各領域にラベル値を再び割り当てることによりラベル番号の値を制限する第１の再ラベル付けサブステップと、オーダを統合する第２の統合サブステップと、第３のイントラ領域復号化サブステップと、第４の動き補償及び補償された誤差の復号化サブステップと、復号化された補償誤差区画のラベル付サブステップとを具えることを特徴とする請求の範囲１３記載の信号復号化方法。
【請求項１３】
対応するラベルに関連する輪郭及び閉じた領域とを元の画像の関連のシーケンス内で識別するセグメント化された画像に対応する信号を復号化する信号復号化システムであって、その信号は、現在の区画の各々に対して、以前の区域の動き推定及び補償並びに補償された区画の時間拡張によって決定された主要区画の領域又は前記主要区画の統合され若しくは再セグメント化された領域によって形成された追加の区画の領域によって構成された最適区画に対応する符号化情報を具え、前記信号復号化システムは、前記符号化情報を記憶出力及びデマルチプレクサ処理する入力バッファと、前記最適区画を符号化するのに用いられるストラテジに対応する情報を復号化する決定復号化装置と、動き復号化装置と、区画復号化装置と、テクスチャ復号化装置とを具えることを特徴とする信号復号化装置。
【発明の詳細な説明】
本発明は、元の画像のシーケンスに対応するとともに、対応するラベルに関連した輪郭及び閉じた領域を前記画像中で識別するセグメント化画像符号化方法であって、二つの連続する画像間の区画の動きの時間発展を規定する第１の規定ステップと、連続する区画の前記領域の動き、輪郭及びテクスチャを符号化する第２の符号化ステップとを具えるセグメント化画像符号化方法及びそれに対応する符号化システムに関するものである。また、本発明は、このような符号化システムによって符号化された符号化信号を記憶する記憶媒体、この符号化信号を復号化する方法及びそれに対応する復号化システムに関するものである。
元の画像に対応する信号を画像と同一の（輪郭及び領域のような）特徴を用いる成分に分解した後にそれら成分を個別に符号化する方法及び装置は、例えば、欧州特許出願公開明細書第0389044号に記載されている。しかしながら、このような従来のセグメント化された画像の符号化方法は、適用したセグメンテーションのタイプすなわち元の画像の相違する区域に対する符号化のタイプに対して柔軟性を有しない。特に、これら方法及び装置は、非常に低いビットレート（その制限は一般に１Ｍｂｉｔ／ｓ付近と考誤差れる。）のインタラクティブマルチメディアアプリケーションを目的とするＭＰＥＧ４（Moving Picture Expert Group）を精巧に行う可能な解決としては、適切な技術的な提案ではない。
本発明の第１の目的は、シーン成分、その複雑さ又は画像フォーマットについての任意の特定の仮定なく、シーンの区画に基づく表示を有効に取り扱うことができ（シーンは、任意の関係、位置及び動きを有する任意の数のオブジェクトを有することができる。）、かつ、特に将来の規格ＭＰＥＧ４で意図される種々の機能にアドレスするために適合した符号化アプローチとすることができる符号化方法を提案することである。
このために、本発明は、本明細書の冒頭部で記載した符号化方法に関するものであり、以前の区画に関して考察される現在の区画の各々に対して、前記１のステップが、
（１）動き補償された区画を規定するために、以前の区画から生じた各領域に対して、前記現在の区画中の領域の中心位置をマーキングする動き推定及び補償サブステップと、
（２）投影された区画を規定するために、現在の区画の補償によって以前に規定された前記領域を時間的に拡張する時間拡張サブステップと、
（３）動き及びテクスチャ基準に基づいて、前記投影された区画を統合又は再セグメント化することにより反復的に形成された追加の区画を決定し、前記追加の区画及び投影された区画が区画ツリーのレベルを形成する、反復的な区画トポロジー規定サブステップと、
（４）最適区画の領域の選択を、前記区画ツリーの任意のレベルに含まれる領域及び前記最適区画の各領域を符号化するのに最適なストラテジの提案の範囲内で行い、連続的な前記最適区画が、符号化すべき区画のシーケンスを構成する決定サブステップとを縦続的に具え、
前記決定サブステップが、前記区画ツリーに含まれる前記投影された区画及び前記追加の区画の間で最適区画の選択を行う決定ツリー規定サブステップと、前記最適区画の各領域に関する最適符号化ストラテジを選択する最適化サブステップとを具え、
前記第２ステップは、前記区画の各領域に対して伝送し及び／又は記憶する必要がある符号化情報を規定する決定符号化サブステップを具えることを特徴とするものである。
この方法は、ユーザの観点から、主に画像シーケンスの好適な予処理に基づく非常に顕著な柔軟性を示す。さらに、次の決定ステップに対して提案されるとともに考察されるあらゆる階層的なレベルに輪郭が保持される区画の階層により、最終的な符号化ステップを最適方法で処理することができる。実際、符号化形態は、非常に相違する状況を収容することができ、任意の所定の符号化コスト及びあらゆる利用できる符号化技術のセットに対して最適な画像表示となる。
特定例において、上記符号化方法は、前記動き推定及び補償サブステップは、ブロック整合法による動き推定処理と、以前の区画の領域ごとに、前記現在の区画の前記領域の中心位置を、以前の区画と同一のラベルでマーキングする最大接続成分のみから保持する動き補償処理とを具え、前記時間拡張サブステップは、watershed処理の実行を具えることを特徴とするものである。
提案した方法の符号化原理によれば、複数のテクスチャ符号化技術を選択することができる。好適には、前記最適区画の各領域に適用すべきテクスチャ符号化法を、平均値による近似法、多項式近似法、形状適合離散余弦変換法、及び２値双方向性小波変換法を具えるリストの範囲内で選択する。
最終的には、元の領域が均一のグレーレベルでない場合に考察することができる実現例において、前記第１規定サブステップは、
（１）前記動き推定及び補償サブステップの前に行われ、全ての領域が所定の基準に従って均一となるまで粗区画と称される現在の区画をセグメント化して、いわゆる密区画を形成できるようにする追加のセグメンテーションサブステップと、
（２）前記時間拡張サブステップと前記区画トポロジー規定サブステップとの間で行われ、前記密区画の前記投影された領域を統合して、いわゆる投影粗区画を規定できるようにする追加の統合サブステップとを縦続して具え、前記追加のセグメンテーションをサイズ的に適合させたものとし、サイズのパラメータを、領域の平均に対する画素の平均２乗誤差のような画素のグレーレベルの均一に関連する所定の均一基準に到達するまで、順次減少させるようにする。
本発明の他の目的は、上記符号化方法を実現することができる符号化システムを提案することである。このために、本発明は、元の画像のシーケンスに対応するとともに、対応するラベルに関連した輪郭及び閉じた領域を前記画像中で識別するセグメント化画像符号化システムであって、このセグメント化画像符号化システムは、二つの連続する画像間の区画の動きの時間発展を規定する第１のサブシステムと、現在の区画のそれぞれに対して伝送し及び／又は記憶すべき符号化情報が符号化信号を具える、動き、輪郭及びテクスチャを符号化する第２のサブシステムとを具え、その符号化信号は、隣接する領域の動き及びテクスチャ基準に従って以前の区画の動き推定及び補償によって決定された主要区画の領域又はその主要区画の領域を統合し若しくは再セグメント化することによって形成した追加の区画の領域によって構成した最適区画に対応し、前記第１のサブシステムは、前記動き推定及び補償によって決定された主要区画の領域並びに統合又は再セグメント化によって反復的に形成される追加の区画の領域を具える提案された領域間で最適区画を選択する手段を具え、前記提案された領域は、区画ツリーのレベルを構成し、前記符号化信号は、統合順序及び分割情報の形態の各領域の由来の適切な表示を含むことを特徴とするセグメント化画像符号化システムに関するものである。
好適な実現によれば、この符号化システムのサブシステムを、以前の区画に関して考察される現在の区画の各々に対して、
（Ｉ）前記第１のサブシステムは、
（Ａ）第１の区画予処理サブアセンブリを具え、この第１の区画予処理サブアセンブリは、
（１）（ａ）動き推定回路、
（ｂ）動き補償回路、及び
（ｃ）前記主要区画を規定するいわゆる投影区画を構成する出力を発生させる時間拡張回路を具える時間発展規定装置と、
（２）（ｄ）少なくとも一つの統合回路、及び
（ｅ）少なくとも一つの再セグメント化回路を具え、
前記投影区画及び前記統合回路と再セグメント化回路とによって形成された追加の区画からなる区画ツリーを構成する出力部を有する区画トポロジー規定装置とを具え、
（Ｂ）第２の決定サブアセンブリを具え、この第２の決定サブアセンブリは、
（ｆ）決定ツリー構成回路、及び
（ｇ）最適化回路を具え、
前記第２の符号化サブシステムに送信される最適区画を発生させる出力を具え、その最適区画を、前記区画ツリーの種々のレベルからの領域の結合によって得るようにした第２の決定サブアセンブリを具え、
（II）前記第２のサブシステムは、
（Ｃ）（４）第１の決定符号化装置、
（５）第２の動き符号化装置、
（６）第３の輪郭符号化装置、
（７）第４のテクスチャ符号化装置、
（８）及び、前記第４の符号化装置の符号化出力信号のマルチプレクサを具える第３の符号化サブアセンブリを具えるようにして構成する。
この実現において、前記統合回路は、動き推定段及び統合処理段を具え、その統合処理段に、第２の同様な統合回路などを続けて、前記投影された区画から同様な動きを有する隣接区画を統合することにより前記区画ツリーの上側レベルを構成する。
実現するものは何でも、この符号化システムの決定サブアセンブリを、前記決定ツリー構成回路は、歪み演算段、レート演算段、及びメモリを具え、このメモリを、前記区画ツリーの各領域のテクスチャの符号化処理を行うために選択するテクスチャ符号化法の関連のリストの長さと同一の長さを有する歪みのリスト及びレートのリストを決定ツリーの形態で記憶するために設け、前記最適化回路は、前記決定ツリーの各ノードの局所的な分析を行う演算サブ段と、前記区画の領域の全セットから符号化すべき前記最適区画を構成する領域の最終セットを規定する決定サブ段とを具えるようにして構成する。
本発明の他の目的は、上記符号化信号を記憶する記憶媒体を提案することである。
また、本発明の他の方法は、既に説明した符号化方法を実現する符号化システムの出力部に生じる多重符号化ビットストリームに適用することができる復号化方法を提案することである。このために、本発明は、対応するラベルに関連する輪郭及び閉じた領域とを元の画像の関連のシーケンス内で識別するセグメント化された画像に対応するとともに、符号化方法によって以前に符号化された信号を復号化する信号復号化方法であって、この信号復号化方法は、以前の区画に関して考察される現在の区画の各々に対して、動き推定及び補償と補償された区画の時間拡張によって得られた投影された区画及びその投影された区画の統合され又は再セグメント化された領域によって形成された追加の区画を規定するとともに、前記投影された追加の区画から形成された区画ツリーの任意のレベルに含まれる領域を構成する最適区画を選択する第１の規定ステップと、連続的な最適区画の各々の各領域に対して伝送し及び／又は記憶する必要がある符号化情報を規定する第２の符号化ステップとを具える信号復号化方法に関するものである。
本発明によれば、前記信号復号化方法は、各最適区画の各領域に対して以前に用いられた符号化ストラテジを規定する第１の決定復号化ステップと、第２の動き復号化ステップと、第３の区画復号化ステップと、第４のテクスチャ復号化ステップとを具え、好適には、前記第３の区画復号化サブステップは、Ｎ個の領域が存在する場合にはラベル１〜Ｎのみを用いることによって各領域にラベル値を再び割り当てることによりラベル番号の値を制限する第１の再ラベル付けサブステップと、オーダを統合する第２の統合サブステップと、第３のイントラ領域復号化サブステップと、第４の動き補償及び補償された誤差の復号化サブステップと、復号化された補償誤差区画のラベル付サブステップとを具える。
本発明の他の目的は、最終的には、上記復号化方法を実現することができる復号化システムを提案することである。このために、本発明は、対応するラベルに関連する輪郭及び閉じた領域とを元の画像の関連のシーケンス内で識別するセグメント化された画像に対応する信号を復号化する信号復号化システムであって、その信号は、現在の区画の各々に対して、以前の区域の動き推定及び補償並びに補償された区画の時間拡張によって決定された主要区画の領域又は前記主要区画の統合され若しくは再セグメント化された領域によって形成された追加の区画の領域によって構成された最適区画に対応する符号化情報を具え、前記信号復号化システムは、前記符号化情報を記憶出力及びデマルチプレクサ処理する入力バッファと、前記最適区画を符号化するのに用いられるストラテジに対応する情報を復号化する決定復号化装置と、動き復号化装置と、区画復号化装置と、テクスチャ復号化装置とを具えることを特徴とする信号復号化装置に関するものである。
本発明のこれら及び他の態様を、後に説明する実施の形態及び添付図面を参照して明らかにする。
図１を参照すると、三つの主要なサブアセンブリを具えるシステムを図示する。（それ自体が元のテクスチャ画像Ｐ（ｔ−ｊ）,...,Ｐ（ｔ−１），Ｐ（ｔ），Ｐ（ｔ＋１）...に対応する）セグメント化したフレームすなわち画像Ｓ（ｔ−ｊ）,...,Ｓ（ｔ−１），Ｓ（ｔ），Ｓ（ｔ＋１）...の入来シーケンスを受信するために設けた、第１の区画を予め処理するサブアセンブリ１は、時間発展規定装置１１及び区画トポロジー規定装置１２を具える。第２の決定サブアセンブリ２を、上記第１のサブアセンブリ１から生じた区画のセットを受信するとともに符号化ストラテジを規定するために設ける。選択した上記区画及びこの選択した区画に関連する符号化ストラテジに関する決定を受信するために設けた第３の符号化サブアセンブリ３は、決定符号化装置３１、動き符号化装置３２、区画（又は輪郭）符号化装置３３、テクスチャ符号化装置３４、及びマルチプレクサ３５を具える。
既に引用したサブアセンブリを満足する一般的な符号化方法を、図１に関連して図２を参照して説明する。装置１１によって実行される時間発展規定サブステップを、現在の区画の領域の時間的な発展に従うように設ける。説明した例において、処理遅延及び演算負荷をできるだけ制限するために、時間（ｔ−１）における以前に符号化した画像又はフレーム及びその区画のみを用いて、時間ｔにおける区画の時間発展を規定する。時間発展規定サブステップを、現在の時間に対する（この場合以前のフレームＳ（ｔ−１）の）以前のフレームの区画に適合させるために設け、フレームＳ（ｔ−１）（より一般的にはｔ−ｉ）のこの区画は、以前の画像に対して選択した最終区画に対応する（本発明による符号化方法を予め実行した後、符号化サブアセンブリ３の符号化装置の出力信号を、サブアセンブリ１を予め処理する最初の区画に帰還させる。）。したがって、上記サブステップは、新たな領域を導入することなく、画像Ｓ（ｔ）のデータに対するＳ（ｔ−１）の区画を収容する。以前のフレームの区画のこのような適合は、三つの処理で実行される。先ず、動き推定処理１１１ａを元のフレームＳ（ｔ−１）とＳ（ｔ）との間で実行する。次いで、以前の区画を動き補償し（処理１１２ａ）、最後に、以前の領域の現在のフレームへの発展処理１１３ａを行う。
第１の動き推定処理１１１ａは、動き推定回路１１１で行われる。この動きは、例えば以前に適用されたブロック整合プロセスによって、以前のフレームＳ（ｔ−１）（一般的な場合には以前のフレームＳ（ｔ−ｊ））とセグメント化する予定のある次のフレームＳ（ｔ）との間で推定される。このような技術は、例えば、１９９５年５月に刊行されたIEEE Transactions on Consumer Electronics,vol.41, No.2の248〜257頁の“A VLSI archtecture for hierarchical motion estimation”に記載されている。フレームＳ（ｔ）は画像素子の小ブロック（通常、１７６×１４４画素のＱＣＩＦフォーマットに対して８×８画素）に分割され、その小ブロックの各々に対して、フレームＳ（ｔ−１）の所定の窓内で検索を行って、そのフレーム内で最も整合するブロックを配置する。このようにして得られた動き情報は、一つより多いオブジェクトを含むブロックの動きが厳密には一様でない場合でも十分な近似となる。この動き情報は、考察されたフレームの全てのブロックに対してそれぞれ推定された動きベクトルの形態で与誤差れる。
第２の動き補償処理１１２ａは、得られた動きベクトルを領域に適用することによって動き補償回路１１２で実行され、以前のフレームに起因する各領域に対して、その以前のフレームとして同一ラベルを付した接続成分を含むフレームを最終結果として得る。これら成分の各々を以下のようにして得る。Ｐ（ｔ−１）が以前の画像であり、かつ、Ｓ（ｔ−１）がその区画（又はラベルのセットの形態のセグメント化したフレーム）である場合、現在のフレームの各画素は、以前のフレームからの一つの画素のみによって（以前の動き推定の後）カバーされる。しかしながら、このような補償により、補償された区画の各々で一般には領域の輪郭に近接する小さい非接続成分を発生させるおそれがあることは、明らかである。これら非接続パーツにより誤ったラベルの拡張が生じるおそれがあり、これらを、Ｐ（ｔ−１）の各領域から補償区画Ｐ’（ｔ−１）の最大の接続成分のみを保持する取り除き処理によって除去する必要がある（この処理によりＰ’（ｔ−１）にラベルが付されていない画素が生じるが、処理１１２ａに続く処理１１３ａに対する初期化としてのみこの区画が用いられるので、それはなんら問題がない。）。Ｐ（ｔ−１）の領域に対して多くても一つの接続成分が存在する最終的に得られる動き補償区画は、以前のフレームに起因する各領域に対して、現在のフレームのこの領域のコアをマークする。
第３の拡張処理１１３ａを時間拡張回路１１３で実行して、動き補償された区画から投影された領域の境界を規定する。このような現在のフレームの補償された区画の拡張を、例えばwatershed処理(watershed line method)と称される通常の形態ツールを用いることによって行うことができ、これは、例えば１９９４年９月に英国のエディンバラで開催されたEUSIPCO 94, VIth European Signal Processing ConferenceにおいてM.Pardas及びP.Salembierによる論文“Time-Recursive Segmentation of Image Sequences”に記載されている。このようにして得た接続成分は、同一領域の存在を識別する特別のラベルにより、取り出そうとする領域のコアを規定するマーカのセットを構成する。引用した論文に記載したように、Ｐ（ｔ−１）及びＰ（ｔ）が時間（ｔ−１）及びｔにおける画像であり、Ｓ（ｔ−１）及びＳ（ｔ）がそれぞれ（時間ｔ−１における）既に既知の区画及び決定する必要がある（時間ｔにおける）未知の区画であることを（図３を参照して）思い出すと、二つの３次元信号を、画像Ｐ（ｔ−１）及びＰ（ｔ）を共にグループ化して時間的な規模におけるサイズ２の時間ブロックＰを形成するとともに（ブロックＰをセグメント化するのに用いる必要があるマーカのセットとして考察されるブロックＳを形成するために）区画Ｓ（ｔ＝１）及び不明確なフレームを表す空フレームＳ（．）を同様にグループ化することにより構成する。このようなフレームは、このフレームの画素が所定のマーカにまだ対応しないのでこのように称される。
watershed処理ＷＭを実行することにより、マーカが空フレームの全ての利用できるスペースを専有するまで、これら画素を所定のマーカに割り当てる成長プロセスが実行される。各画素は特定の領域に割り当てられる。その理由は、それはこの領域のマーカの付近に存在するものであり、（特定の基準によって規定された意味で）その付近の他のマーカに対応する他の任意の区域に比べてこのマーカによって規定された区域により類似したものであるからである。あり得る同様な基準を、例えば考察中の画素とこの領域に既に割り当てられた画素の平均との間のグレートーン差Ｄ、又は重み係数“α”を導く変更した基準とすることができる。この最後の解決により、もはやＤのみを考慮せず、重み付けした和（α×Ｄ）＋（１−α）Ｃを考慮する。この場合、Ｃを、例えば考察した画素を特定の領域に割り当たる場合に加誤差れる輪郭点の数を考察することにより複雑に得られる輪郭に対応する不利益項であり、したがってグレーレベルの目安又は輪郭の複雑性に対して多かれ少なかれ重要となる不利益項である。
したがって、投影された区画ＰＪ（ｔ）は、第３の処理１１３ａが完了すると利用できる。この投影された区画から区画ツリーを構成して、第２の決定サブアセンブリ２が後の画像を符号化するために最も便利な領域を選択する相違する区画を（動き及びテクスチャ基準を用いて）設ける。その最も便利な領域は、区画ツリーの相違するレベルから発生した領域からなる最終区画を構成する。この構成プロセスを、区画トポロジー規定装置１２で実行し、その目的は、（純粋にイントラの手順によって）投影された区画から二つの相違する種類の以下の区画を形成することである。
−  投影された区画から領域を統合することによって形成されるとともに区画ツリーの上側レベルを規定する区画。後に説明するような動き基準に基づくこの統合により、同様な動きを有する隣接領域をグループ化するより大きな領域を得ることができる（これら隣接領域間の内部の輪郭をもはや符号化する必要がない）。
−  （以前の領域に存在しない新たな領域を現在の区画中で得ることができる）投影された区画を再セグメント化することによって形成されるとともに区画ツリーの下側レベルを規定する区画。これら新たな領域を得ることによりシーン中に新たなオブジェクトを誘導することができ（これらのテクスチャは一般に隣接するオブジェクトのテクスチャと相違する。）、すなわち非常に相違するテクスチャによって特徴づけられたが以前のフレームにおいて同様に動きしたために統合された二つの領域が現在のフレームで突然動きが相違するおそれがあり、これらを同一の動きパラメータを用いて符号し続ける場合、非常に大きな補償誤差が生じる。
装置１２によってこのように実行される区画トポロジー規定サブステップを、二つの処理、第１の（少なくとも一つの）統合処理１２１ａ及び第２の（少なくとも一つの）再セグメンテーション処理１２２ａで実行する。
統合処理１２１ａを統合回路１２１で行う。図４を参照すると、同様な動きの隣接領域を統合することを目的とするこの回路１２１は、動き推定段１２１１及び統合提案段１２１２を具える。二つの元の構成の画像Ｐ（ｔ−１）及びＰ（ｔ）並びに区画Ｓ（ｔ−１）を付与すると、段１２１１は、装置１１から生じた投影された区画ＰＪ（ｔ）の動きパラメータを算出する。この動き推定処理は、投影された区画の各領域に対して、（ｔ−１）とｔとの間の情報領域の動きを説明する動きパラメータのセットにリターンする。段１２１１で実現される動き推定ステップを、例えば仏国特許出願公開明細書第9604194号に記載されたタイプのものとし、その内容を、本明細書の補遺Ａ及び図１２〜１５を参照して説明する。
投影された区画の動きパラメータが既知となると、隣接領域の統合のコストの推定を統合提案段１２１２で行う。隣接領域の各対に対して、統合コストが算出され、要求される統合機会の数が、統合基準に基づいて最小統合コストの隣接領域の対を選択することによって得られる。これら領域が単一のものと考誤差れるとき（すなわち、これらが同一の動きパラメータのセットを用いて補償された動きであるとき）に生じた予測誤差の符号化のコストは、領域間に位置する輪郭の符号化のコストより低い。実際には、符号化方法はまだ既知でないので、基準はわずかに変更される。統合によって生じた補償誤差（及びもはや正確でない符号化コスト）が考慮される。より正確には、考察されるコストは、二つの領域が個別に補償されるときの平均２乗補償誤差に対する統合領域の平均２乗補償誤差の増加である（演算を簡単にするために、統合領域に対応する新たな動きパラメータは算出されない。二つの領域を統合する際に生じた補償誤差は、二つの領域に対応する既知の動きパラメータの二つのセットのうちの一つのみを用いて算出され、それは、より小さい補償誤差を発生させる。）。イントラフレームの場合には、動きは統合の提案に考慮されない。符号化が任意の動き情報を用いないので、統合オプションはテクスチャに基づいて提案される。コストは、隣接領域の平均グレーレベル値の差を考慮することによって算出される。
既に説明したように、符号化方法は既知でない。符号化コストに関する二つの領域の統合の実際の決定は、決定サブアセンブリ２において最終的に決定され、複数の統合提案が各レベルで生じる。最終的な統合手順を区画ツリーの各レベルに対して繰り返すので、図４に図示するように、現在投影された区画及び以前の画像の区画に対して統合を行って、統合区画ＰＭ１（ｔ−１）及びＰＭ１（ｔ）とし、それは、第２の統合回路１２１ｂの手順のあり得る繰り返しに対する他の入力（他の動き推定段１２１１ｂの他の動き推定、他の統合提案段１２１２ｂの他の統合提案）を構成し、区画ツリーの上側レベルの全セットに対するもの、等々となる。
再セグメント化回路１２２で行われるとともに新たなオブジェクトが現れるとき又は二つの領域が突然相違する動きを選ぶときに行う必要がある再セグメンテーション処理１２２ａにおいて、同一でないテクスチャの領域を分離する必要がある。したがって、この再セグメンテーション手順はテクスチャ基準に基づく。それを、例えば投影された区画から開始する階層テクスチャを用いて実行され、これにより、以前のレベルの輪郭を変更することなく各レベルの区画に新たな領域を順次導き出すことができる。この再セグメンテーション手順は、対応する段で実行される４ステップからなる。これらの段は、残余算出段１２２１、簡単化段１２２２、マーカ取出段１２２３、及び決定段１２２４である。図５に図示したように、これら段に符号ＲＣ，ＳＰ，ＭＥ及びＤＣを付す。
新たに有効な領域を導入することにより各レベルが以前のレベルのセグメンテーションを改善する必要があることは既知であるので、投影された区画の各領域には、平均グレーレベル値又は多項式のようなグレーレベル関数を充填する。残余は、元の画像Ｐ（ｔ−１）とモデル化されたものとの間の差及び区画Ｓ（ｔ１）として（段１２２１で）得られる。イメージモデル化によるこのような残余算出の一例は、例えば欧州特許出願公開明細書第0627693号に記載されている。他の処理（セグメントより簡単な区画を形成するために実行される簡単化、同一領域の存在を検出するとともに特定区域のラベル化によってそのコアを識別するために実行されるマーカ抽出、任意の領域にまだ割り当てられていない不確定な区域を取り扱うとともに領域の輪郭の回りの画素に対応するために行われる決定）は既に引用した文献“Time-Recursive Segmentation...”, EUSIPCO 94に記載されている。統合処理に関して、手順を繰り返す。サイズの基準を、コントラストの基準が用いられる最後のものを除く全ての再セグメンテーションレベルに対して用いる（この繰り返し手順の各レベルでは、この差は、小さいすなわちコントラストの低い領域を順次導き出すために減少される単なる簡単化強度である。）。一旦統合及び再セグメンテーションが行われると、引用した欧州特許出願明細書第0627693号に記載された動きの微細な区別を、全ての区画レベルの各領域に対して適用する。
区画トポロジー規定装置１２で組立プロセスを行うときにわかるように、投影された区画から発生したあり得る領域のセットを規定する区画ツリーが得られる。装置１２で実行される処理を簡単に行って、あり得る新たな領域の輪郭を規定する提案を得る。この際、符号化すべき実際の区画を関する任意の決定を行うことがない。この装置の目的は最適区画の一部である領域のセットを規定することであるので、一方ではこのセットを減少させて、後に行われる決定の算出的な複雑さを制限し、他方では区画の提案を慎重に形成して、十分な決定ができるようにする。
区画ツリーがこの際利用でき、動き及びテクスチャ基準に基づいて相違する区画を設けるので、これら区画から、決定サブアセンブリ２は、元の画像を符号化する際に最適な領域を選択し、選択された最終区画は、最終的には区画ツリーの相違するレベルから発生した領域から構成される（元の投影された区画の輪郭は決して変更されない。）。このサブアセンブリ２の目的は、二つの連続的なパーツを区別することができる決定サブステップを実現することにより符号化ストラテジを規定することである。これらサブステップでは、先ず、区画ツリーに含まれる提案内の最適区画を選択し、次に、この結果得られる区画の各領域を符号化する際の最適ストラテジを決定する。
したがって、この決定サブステップは、第１決定ツリー規定処理２２１ａ及びそれに続く第２決定ツリー規定処理２２２ａにある二つの処理からなる。第１処理２２１ａを決定ツリー構成回路２２１で行う。図６に図示したように、領域に関する選択を規定した区画ツリーＰＴから（点線は、投影された区画ＰＪ（．）の元の領域に関連する統合されたすなわち再セグメント化した領域を表す。図６では、簡単のために四つのみ示す。）、階層テクスチャにおいて全てのあり得る符号化選択を集結する決定ツリーＤＴは、以下のようにして減少される。決定ツリーの各ノードは、決定ツリーによって与誤差れるノード間（親ノードと子ノードとの間）の関係に関して、区画ツリーの領域に対応する。これらの関係は、所定のレベル（図６において、投影された区画ＰＪ（．）のレベルを含む５レベルを示す。）でのある領域がどのようにして種々の領域（すなわち子領域）に分割されるか、又は統合してより大きな領域（すなわち親領域）を形成するかを規定する。さらに、（レート−歪みに関して）符号化ストラテジを規定するために、決定ツリーは、ｎ個のあり得るテクスチャ符号化技術の符号化コスト及び各品質（すなわち歪み）についての情報を運ぶ。したがって、レートのリスト（rate list R1,R2,...,Rn）及び歪みのリスト（dist list D1,D2,...,Dn）を上記ノードの各々に割当てる。両リストはテクスチャ符号化技術ＴＣＴとして同一の長さを有し、これらｎ個の技術の各々を、図６において簡単のために＃１，＃２,..,...,＃ｎを付す。
実際には、区画ツリーの各領域を、全ての提案された技術によって（、各領域の動きが区画ツリーの形成中に推定されるので、イントラ又はインターモード内で）符号化され、対応するレート及び歪みは決定ツリー内に記憶される。
したがって、回路２２１の決定ツリーの構成のこのステップは、簡単に各技術の各利点の評価の処理となり、その瞬時に決定は行われない。この回路２２１は、歪み算出段２２１１、レート算出段２２１２、及びメモリ２２１３を具える。段２２１１において、輝度及びクロミナンスの平均２乗誤差基準を用いる。その理由は、それは加算基準だからである（明らかなように、決定ツリー規定処理に従う最適処理は、加算すべき歪みの目安を必要とする。領域Ａを種々の領域Ｂiにセグメント化する場合、Ａで測定された歪みは、全てのＢiで測定された歪みの和に等しくなる。）。段２２１２において、領域の全体的な符号化コストを与えるレートを算出することを目的とする。レートは、主に各領域に対して三つの成分からなる。
−  テクスチャ符号化のコスト。一般的には、サブ段２２１２ｃにおいて係数のエントロピーを測定することによってそれを簡単に推定することができる。
−  動きパラメータのコスト。これも、サブ段２２１２ｄにおいてモデルパラメータのエントロピー推定によって与誤差れる。
−  区画符号化のコスト。この区画符号化の最後の場合はより複雑なものとなる。その理由は、形状及び位置情報は各領域に対して個別に符号化されないからである。全区画が全体的に符号化されるので、区画ビットストリームに対する所定の領域の寄与を直接推定しない。したがって、領域区画コストの理想的な推定は上記領域の周辺に比例すると考誤差れ、比例係数は、領域が補償されているか否かに依存する。テクスチャ符号化がイントラモード又はインターモードで実行されることによって、区画コストはこの場合、１，３又は０．７ビット／輪郭点に等しいと仮定される。
一旦、決定ツリーの全てのノードに算出されたレート及び歪みのリストが適用されると、実最適処理２２２ａは最適回路２２２で開始することができる。この最適化の問題を、（例えば１９９３年４月にIEEE Transaction on Image Processing, vol.2, No.2の160〜175頁のK.Ramchandran及びM.Vetterliによる論文“Best Wavelet Packet Bases in a Rate-Distortion Sense”に記載されたように）画像の歪みＤを最小にする際の検索として公式化することができ、この際、全コストＲtを各フレームに対して規定された所定のバゲット（budget）より下にする必要があるという制限があり、それをラグランジアンＤ＋ＬoＲtの最小化として再公式化される。この場合、Ｌをいわゆるラグランジェパラメータとする（両方の公式化された問題は、Ｒtがバゲットに等しい又は非常に近くなるようなＬoを見つける場合には同一の解決を有する。）。この問題は、最終的には決定ツリーを用いて（区画を形成する）領域のセット及びＤ＋ＬoＲtを最小にするテクスチャ符号化技術のセットを見つけることからなる。このために、最適処理２２２ａは以下のサブステップを具える。
−  演算サブ段２２２１で実行される第１のサブステップ２２２１ａにより、局所的な分析を行うとともに決定ツリーの各ノードに対して各テクスチャ符号化技術に対するラグランジアンを算出することができる。最低のものを与える技術は、このノードに対して最適なものと考誤差れ、このラグランジアンが記憶される。
−  決定サブ段２２２２で実行される第２サブステップ２２２２ａにより、決定ツリーの底上げ分析による最適区画を規定する。この底上げ分析は、図７に示すように、最低レベルから開始する符号化ストラテジの局所決定のセットとなる。上記最低レベルの二つのノードがアクティブである（これは、これらノードが最終区画の一部であると考誤差れることを意味する。このようなノードを黒点で示す。）と仮定すると、上側レベルに位置する単一ノードによって表される単一領域として二つの領域によって表される区域を符号化するのが好ましくないか否かを知りたいときには二つの状況が生じるおそれがある。
（ａ）上側ノード（Ｄo＋ＬＲo）のラグランジアンが下側レベルのラグランジアンの和より低い場合、単一領域として区域を符号化するのが実際好ましく、上側ノードは、アクティブでない二つの下側ノードの位置でアクティブとある（図７の左側）。
（ｂ）上側ノードのラグランジアンが上記和より高い場合、二つの領域として区域を符号化するのが好ましく、上側ノードはアクティブでない状態（図７の右側）であり、同時に新たなラグランジアンは下側レベルのノードのラグランジアンの和となる（レート及び歪みの加算を全最適処理中に仮定したことを思い出すことができる。）。
この手順は、決定ツリーの最高レベルに到達するまで繰り返される。アクティブノードのセットは、最低区画を規定する領域の最終セットを提供する。全てのアクティブノードに対する最適技術のレートを加算することによって算出した符号化コストがバゲットに等しい又は非常に近い場合、最適手順を終了し、この最適区画が符号化される。符号化コストがバゲットに比べて著しく上又は下である場合、ラグランジアンパラメータＬを変形するとともに最適化を再び行う必要がある。Ｌの便利な定義を、非常に高い値ＬH及び非常に低い値ＬLで開始する勾配検索アルゴリズムを用いて行うことができ、これら非常に高い値ＬH及び非常に低い値ＬLは、バゲットより下及び上にそれぞれレートＲH及びＲLを与える二つの対応する符号化ストラテジとなる。これらレートのうちの一つが既にバゲットに十分近い場合を除いて、新たなラグランジェパラメータはＬ＝（ＤH−ＤL）／（ＲH−ＲL）として規定され、バゲットに近いレート（例えば、レートの５％の距離内）を与えるあるストラテジが見つかるまで手順が繰り返される。
装置２２で実行されるような全決定サブステップの説明を図８に示す。区画ツリーＰＴから全ての領域を取り出して（分析ステップＡＳ）、決定ツリーＤＴを形成し、符号ＴＣＴによって表された複数の組織符号化技術（これらの数を以前にはｎと称した。）を、各領域に対して考察する。次いで、区画ツリーの種々のレベルからの領域Ｒsを選択し（選択ステップＣＳ）、最適最終区画ＢＦＰ（すなわち最適区画）を、最適符号化技術ＢＣＴとともに各領域に対して一つ決定する。
区画ツリーに含まれる提案から形成されたこの最適区画及び各領域に対する符号化ストラテジが一旦規定されると、画像シーケンスを復号化するのに必要な情報を受信器（又は記憶媒体。この場合、復号化プロセスを後に実行する。）に送信する必要がある。第３の符号化サブアセンブリ３で処理される情報は、
（ａ）符号化ストラテジそれ自体。決定符号化装置３１で符号化されるこの情報は、各領域に適応すべき符号化技術についての情報を受信部（受信器又は記憶媒体）に提供する。
（ｂ）補償する必要がある領域に対する動きパラメータ。インターモードで符号化された全ての領域に対して、動き符号化装置３２で符号化された動きパラメータのセットを、例えば転換、拡大、上下動き、及び回転の組合せのような動きを処理することができる多項式の動きモデルに従って、受信器に送信することができる。
（ｃ）区画。区画符号化装置３３は、現在の区画、すなわち各領域の位置及びその輪郭を元に戻すために受信部に必要な全ての情報を発生させる。また、領域を迅速に追跡するとともに動き補償によってカバーされない領域を取り扱うために、識別番号（すなわちラベル）を各領域に転送する。
（ｄ）各領域のテクスチャパラメータ。多数の領域に基づく符号化形態を用いることにより、テクスチャ符号化装置３４でテクスチャを符号化することができる（この場合、領域に基づく小波分解、形状適合直接余弦変換、又は正規直交に基づく分解のような符号化技術を用いることができる。）。
決定符号化装置３１に関して、最終区画を、符号化し及び転送する（及び／又は記憶させる）必要がある区画とする必要がある。符号化プロセスを助けるために、装置３１は、各領域の発生についての情報を受信部に提供する。最終区画に属する領域は、投影された区画（投影された領域）に起因するか、又は投影された区画の上に配置された区画ツリーのレベル（統合領域）と投影された区画の下に配置された区画ツリーのレベル（再セグメント化領域）のうちのいずれかから起因することができる。投影された領域に対して、ラベルは、単に、投影によって規定されたラベルとなる。新たなラベルを付した全ての新たな領域である統合し及びセグメント化した領域に対して、テクスチャを常にイントラモードで送信する必要がある。この状況を回避するために、装置３１は領域の区画及び変換の実際のヒストリー、すなわち統合オーダ及び分解情報を受信部に送る。統合オーダを、例えば時間ｔにおける領域Ｘを時間（ｔ−１）における領域ｘiの結合によって結成することを表す番号のセットとして、受信部が同一の統合プロセスを以前に符号化された区画の領域ｘiに適用できるようにする（区画符号化が動き補償に頼るので、統合順次は区画の符号化に役に立つ。以前の符号化区画を動き補償する前に、その領域を、統合順序に含まれる命令に従って統合する。）。分割情報はある特定情報を含まず、それは、時間ｔでの区画の領域ｘiのセットが時間（ｔ−１）における所定の領域Ｘに起因することだけを表し、その画素により、テクスチャ補償中に全ての領域ｘiの全ての画素を予測することができる。
動き符号化装置３２に関して、有効な表示を有するために、区画及びテクスチャを補償する必要があることを思い出す必要がある。（利用できるセグメンテーション及び動き情報が既知である）最終符号化画像から最も可能性が高い動き予測画像を構成することを目的とするこの動き補償は、符号化プロセス中及び復号化プロセス中に有効であり、したがって符号化し及び伝送する必要がある。それは、最終符号化画像、現在の区画の各領域に関連する動きパラメータ及び動きパラメータそれ自体についての情報のみを用いる。動きパラメータを有する区画の各領域は、既に引用した仏国特許出願公開明細書第9604194号に記載されたように予測される（イントラ領域を当然予測する必要がないので、領域は既知である。実際、他のプロセスに対して、これら領域は、補償された画像に付された特定のラベルによって識別される。）。この動作は、最終符号化画像の三つの成分（輝度：Ｙ、クロミナンス：Ｕ及びＶ）で実行されて、最終Ｙ−Ｕ−Ｖ動き補償画像を得る。
区画符号化装置３３に関して、次のことを思い出す必要がある。（ａ）以前の動き推定により、領域の時間発展を説明するために、各領域に対して一つの動きモデルのみとなる（動きモデルが転換の場合には領域ごとに一つのみのベクトルとなり、動きモデルが更に複雑な場合には各画素に対して一つのベクトルのセットとなる。）。（ｂ）これらベクトルによって実行される補償を前方モード又は後方モードで行うことができる（これらモードの主な差は画素位置の量子化に関するものである。動きベクトルが、整数画素位置から開始するが非整数画素位置を指定しないので、現在再構成された区画の画素の位置を前方モードの場合には量子化する必要があり、それに対して、後方モードの場合には予め再構成された区画の画素の位置は量子化される。）。（ｃ）区画を補償するためにどの種類の情報を用いることができるかを規定する必要かある。
実際、領域内の画素の動き（テクスチャ動き）とその形状の動きとの間の区別を行う必要がある。両方の動きは、固定した前景領域の場合には一致するが、背景領域に対しては一致しない。その理由は、その形状又はその輪郭の変更かその前景の領域の動きによって規定されるからである。１９９４年１１月に米国のテキサス州のオースチンで刊行されたIEEE International Conference on Image processingのM.Pardas,P.Salembier及びB.Gonzalezによる論文“Motion and region overlapping estimation for segmentation-based video coding”は、背景領域に対して二つの相違する動き推定を行うために実際に回避されるオブジェクトに基づくビデオ符号化システムを記載している。輪郭に対する動き評価は、領域間のオーダ関係と称される追加情報に置き換誤差れ、これにより、隣接領域の各対に対していずれが前景領域にあるかを知ることができ（このために、例えば二つの隣接領域間の各境界に対して、二つのあり得るオーダ関係に対して各領域の予測誤差を計算すること及び最低オーダを選択することからなる二つの推測検査を行う。）、このオーダ情報をテクスチャ動きに関連させて、区画とテクスチャの両方を補償する（明らかに、このオーダを受信部で用いて、補償されたラベル間のあり得る局所的な不一致を解決する。）。
情報方法又は（１９９５年８月２日に出願された）欧州特許出願公開明細書第95401813.1号に記載されるとともに図１６を参照して本明細書の補遺Ｂで説明する技術的な解決のようなオプションによって一旦オーダが推定されると、区画符号化装置３３を作動させることができる。
区画の各領域内のグレーレベル又はカラー情報を符号化するために設けたテクスチャ符号化装置３４に関して、既に説明したように、本発明による全体の符号化装置に対してある程度の柔軟性を与えるために複数のテクスチャ符号化方法が可能である。平均値による近似と称される第１の方法は、各領域に属する画素の平均値のみを伝送することからなる。直交に基づく多項式の近似と称されるとともに例えば１９８９年９月に刊行されたSignal Processing: Image Communicationのvol.1, No.2のM.Gilge等による“Coding of arbitrarily shaped image segments based on a generalized orthogonal transform”に記載された他の方法は、直交多項式関数による各領域内のテクスチャの近似に依存し、この関数の係数のみが受信部に送られる。
形状適合ＤＣＴ（離散余弦変換）と称される第３の方法は、各領域を（例えば８×８画素のサイズの）ブロックに分割するとともに、領域に属するブロック上で通常のＤＣＴを行うことからなる。画素がベクトルでオーダされるので、水平及び垂直ＤＣＴは各ベクトルで独立に行われ（１次元的なＤＣＴの目安はベクトルの長さに等しい。）、得られる係数は量子化され及び伝送される。
２値の双方向小波変換である第４のテクスチャ符号化方法により、関連の信号をサブバンド信号のセットによって表すことができ、その各々は、所定の解像度のレベル及び特定の周波数範囲の入力信号を表す。小波は通常ブロック又は画像に適用されるが、この適用は領域を基準にした形態に拡張され、各領域は独立して処理される（多分解分析の各レベルの画像のフィルタ処理及びダウンサンプリングは各領域で独立して行われる。）。
最後に、装置３１〜３４の出力信号はマルチプレクサ３５に送信され、その出力は、受信システムに送られ（る及び／又は記憶され）るＭＣＯＢ（マルチプレクサ符号化出力ビットストリーム）を構成する。
実際には、本発明は上記符号化システムの出力に規定したような符号化信号にも関することに注意する必要がある。直接伝送する必要がなく後に伝送するために記憶させる、すなわち受信側に直接伝送するのに用いなく、したがって記憶させるこの符号化信号は、この場合、セグメント化した画像の考誤差れるシーケンスに対して、このシーケンスの現在の区画の各領域に対応し、複数の種類の情報を具える多重信号からなる。複数の情報のうち、動き情報は、連続する区画間のセグメンテーションの発展を特徴づけるとともに投影された区画を規定する動きモデルの推定に対応し、区画情報は、選択された最適区画の各領域のテクスチャ及び輪郭情報に対応し、決定情報は、この最適区画の選択された領域の各々に対して規定された符号化ストラテジに対応する。既に説明したように、このような符号化信号を記憶することができ、その結果、本発明は、この信号を記憶する記憶媒体に関するものでもある。
さらに、本発明は、上記実施の形態に限定されるものではなく、復号化画像を再構成することができるこのような符号化信号を復号化する方法及び図９〜１１を参照して説明する対応するシステムにも関するものである。（伝送チャネルを介して及び／又は受信部及び／又は記憶媒体に送られたビットストリームＭＣＯＢに対応する）ＲＭＣＢ（受信多重符号化ビットストリーム）は、先ず入力バッファ８０（図９参照）で受け取られ、その後決定復号化装置８１に送られる。この決定復号化装置８１に、動き復号化装置８２、区画復号化装置８３、及びテクスチャ復号化装置８４が直列に続き、テクスチャ復号化装置８４の出力は、復号化システムの出力復号化信号及び区画復号化装置８３の（図９に図示しない）他の入力を構成する（これら主要な四つのステップは、図１の符号化サブアセンブリの四つの符号化装置に対応する。）。先ず、符号化ストラテジ情報及び動きが装置８１及び８２で復号化される。その後、区画及びテクスチャ情報は装置８３及び８４でそれぞれ連続的に復号化される。図１０は、復号化プロセスを理解することができるループを示し、図１１は、区画復号化それぞれ８３の詳細を示す。
区画復号化装置８３に関して、それは、伝送された符号化信号を記憶するバッファ８０の出力信号及びＲＥＣ（ｔ−１）と称される予め復号化され及び再構成された区画を受信し、この区画は、テクスチャ復号化装置８４の出力部でラベルのリストの形態で利用できる。上記装置８３は、図１１に示す以下の連続的なステップを実行する。
図１０にも図示したラベル付回路１０１で実行される第１ステップは、以前に再構成された区画のラベルを変更することからなる。このようなリフレッシュステップを次の理由により行う。ある領域が符号化側で形成又は除去されるので、ラベルの最大値が増大する。好適には、ラベル番号の値を制限するために、領域にラベルが付され、技術的な理由により、Ｎ個の領域が存在する場合にラベル１〜Ｎのみを用いるのは、各復号化ループの開始時にラベル値を再び割り当てるのにより簡単かつより便利である。したがって、ラベル付ステップは、簡単にラベル“１”を１番目に出くわした領域に割り当て、ラベル“２”を２番目に出くわした領域に割り当てる、等々。
統合回路１０２で実行される第２ステップは、バッファ８０に含まれる統合オーダを実行する。第３ステップ中、イントラフレームモードで伝送された領域が復号化される（イントラ領域復号化回路１０３）。第４ステップ中、以前に符号化された区画は動き補償され（動き補償回路１０４）及び補償誤差は復号化される（イントラ領域復号化回路１０５）。第５の最終ステップは、復号化誤差ラベル付回路１０６で実行される復号化補償誤差区画のラベル付を行う。好適には、符号化側で実行されるときに補償が行われる。補償は、各領域に対して規定した動きパラメータに依存し、二つのラベル間に不一致が生じる度に、どのラベルを保持するかを知ることができる決定のためにオーダ情報を用いる。装置８３の出力区画は、ＲＥＣ（ｔ）と称される現在の再構成区画となる。
この出力された現在の区画は、テクスチャ復号化装置８４によって受信され、この場合、テクスチャ補償８４−１が先ず実行され（図１０）、その後テクスチャ復号化ステップ８４−２が実行される。複数の符号化技術（平均値による近似、直交に基づく多項式の近似、形状適合ＤＣＴ、領域に基づく小波）が提案される符号化パートに対して、同一方法を用いる。例えば、平均値による近似を考慮すると、この方法は、現在の領域の全ての画素に対する画素強度としてこの平均値を置くことからなる。多項式近似方法に関しては、一旦輪郭情報が復号化されると、関数に基づく直交セットを、関数に基づく非直交セット及び形状情報から復元し、その後、伝送された量子化ＤＣ及びＡＣ係数によって重み付けされて、各領域の再構成されたテクスチャを発生させることができる（既に引用した１９８９年１０月に刊行された論文“Signal Processing: Image Communication”を再び参照のこと。）。その他の各テクスチャ復号化方法に関して、復号化プロセスは符号化プロセスと同様である。各領域が一旦同様に処理されると、装置８４の出力情報により復号化画像が発生する。
明らかに、本発明は、これまで説明した上記実施の形態に限定されるものではなく、種々の変形及び変更が本発明の範囲内で可能である。例えば、上記最適化処理２２２ａにおいて、主要パラメータを、各フレームに対して与誤差れているものと仮定されるバゲットとする。このバゲットに基づいて、符号化ストラテジを、変動しうる品質の符号化シーケンスを形成する歪みを最小にするように規定する。一定の品質のシーケンスにする符号化ストラテジを規定したい場合、あり得る変形は、各フレームに対するターゲット歪み値を規定するとともに上記説明のＤ及びＲtの位置を反転することからなる。所定の歪みに到達するために符号化コストを最小にする。また、フレームごとの固定コストの作動も可能である。この場合、最適化により、基本的には固定公称バゲットに基づいて作用し、この公称バゲットで各フレームに対して既に規定した最小の信号対雑音比に到達しない場合、バゲットを例えば５パーセントのステップで順次増大させる。最適ストラテジ
−  歪みが最小。
−  バゲッドが少なくとも公称バゲットに等しい。
−  信号対雑音比が所定のしきい値より上である。
を見つけるとこの手順を中止する。
装置３２で実行される動き符号化ステップ３２ａに対して他のオプションを提案することができる。属する領域の動きを有する各画素を制限なしで補償していたのに対して、この他のオプションを用いると、予測のラベルと現在のラベルとが一致する場合のみ上記画素の補償を行う。したがって、このような制限を有する補償を、以前のフレームと現在のフレームとの間の一致を確立することができる画素に対してのみ適用される。これらは同一ラベルを有する、すなわち、これらは、統合又は分割された領域に属する（分割及び統合情報は、決定符号化ステップ３１ａ中にはバッファ内に含まれ、したがって、領域の数に関して現在のフレームに一致する以前のフレームの区画を再構成するのに用いることができる）。
動き補償されずにホール(hole)として現れる画素に対して、これらホールを、伝達により、すなわち、付近で見つけることができる情報に関して充填する必要がある。このような伝達ステップは次のように行われる。先ず、全画像中の補償されたテクスチャの拡張を、各領域のホールをこの領域の補償された全ての画素の平均値によって完全にすることによって行い、完全にされた画像を、例えば形態的なフィルタ処理によって平滑化する。その後、平滑化されたテクスチャを、画素ごとに、八つの隣接する補償されていない画素に適用する（領域の境界のアーティファクトを回避するために、同一領域に属する画素間のみでテクスチャを伝播させる。）。ある領域の画素がこのオプションで規定された制限に関して補償された動きでない場合が生じると、全領域はこれら制限を考慮することなく補償される。
他の改善は、投影された区画ＰＪ（ｔ）を規定する処理に関するものである。その処理により、領域の時間発展を規定することができる。しかしながら、このような規定は、領域が均一のグレーレベル（これを、均一のテクスチャと称する場合もある。）である場合にのみ有効であり、常にこうであるとは限らない。既に説明したように、いわゆる区画ツリー以外の領域を選択することにより、決定サブステップ２２ａ中に連続的な区画を形成する。区画ツリーの領域を、グレーレベルの均一（セグメント化領域）又は動きの均一（統合領域）とすることができる。その結果、投影された種々の区画は、グレーレベル又は動きが均一の領域の組合せで構成される。
この問題を解決するために、以下の手順を実行することができる。先ず、投影すべき区画を、全ての領域が同一のグレーレベルとなるまでセグメント化し、これにより、粗区画と称することができる元の区画に対抗する密区画を形成する。次いで、この密区画を、既に説明した手順によって投影する。最後に、投影された粗区画を、密区画の投影された領域を統合することによって形成する。
上記説明に関して追加する最初及び最後のステップを詳細に説明する。
（ａ）粗区画のセグメンテーション。
全ての領域が均一のグレーレベルである場合により更に良質な区画を形成することを目的とする。このために、区画ツリーの下側レベルを形成するのに用いられるのと同様なセグメンテーション技術を用いる。これを実行するに当たり、サイズに適応したセグメンテーションを用いる。サイズパラメータを、所定の同一基準に到達するまで順次減少させる。均一基準（この場合領域の平均に対する画素の平均２乗誤差）は、画素のグレーレベルの均一を言及する必要がある。この手順の終了時に、粗及び密区画が利用でき、さらに、分割のセットは、例えば粗区画の所定の領域が密区画の小領域のセットの結合に対応することに関連する。
（ｂ）投影された粗区画の基準。
密領域の投影後、投影された粗区画を形成する必要がある。簡単なストラテジは分割関係のセットを用いることにある。すなわち、投影された密領域は、分割関係を用いて互いに統合されて、粗領域を形成する。しかしながら、このストラテジは、粗領域が一つの接続成分からなることを補償しない。したがって、各領域の最大接続成分のみが保持され、残りの接続成分が除去される。形成された空の孔は、空間的な領域成長アルゴリズムに関して分水法によって処理される。
補遺Ａ
以下の説明は、１９９６年４月３日に出願された仏国特許出願公開明細書第9604194号に記載された動き推定方法に関するものである。この方法の主要態様は以下のようなものである。
（Ａ）動き推定の一般論：
（１）動き推定ステップの目的：
時間（ｔ−１）及びｔで二つのテクスチャ画像Ｐ（ｔ−１）及びＰ（ｔ）並びに時間ｔにおける投影から導かれた区画Ｓ（ｔ）を与えると、動き推定プロセスは、Ｓ（ｔ）の各領域Ｒi（図１２におけるｉ＝０〜６）に対して、（ｔ−１）及びｔ間のＲiの動きを説明する動きパラメータのセットをリターンする。このプロセスを、符号化中に二つの僅かに相違する状況で用いる。
−  最初に、投影から得られた区画（以下、この区画を、区画ツリーの投影レベルと考慮する。）に対する動きを推定する。
−  次いで、直前に行った推定の結果を知ることにより、区画ツリーの他のレベルの各々で動きを再び推定する。
いずれの場合も、動き情報が伝送バッファに記憶される方法も説明している。
（２）動きモデル及びパラメータ表示：
区画Ｓ（ｔ）の各領域Ｒiにおいて、（ｔ−１）及びｔ間のＲiの動きは、
Ｌ（ｘ，ｙ，ｔ）＝Ｌ（ｘ−Ｄｘ，ｙ−Ｄｙ，ｔ−１）  （１）
のような（Ｄｘ，Ｄｙ）として理論的に規定される。この場合、Ｌ（ｘ，ｙ，ｔ）を、位置（ｘ，ｙ）におけるＰ（ｔ）の輝度とする（この動き表示を示す図１３参照。）。動きに基づくブロックが領域と切り離されているおそれがあるので、これを回避するとともに一致した状態にする唯一の方法は、動きの領域に基づく表示を選択することである。このモデルは、コンパクトであるとともに非常に複雑な３次元の動きを取り扱うことができる必要がある。この解決は、多項式動きモデルを用いることである。実際、それは、（Ｄｘ，Ｄｙ）が次数０，１又は２（すなわち２，６又は１２のパラメータによって規定された）の二つの多項式であることを意味する。結局、動きのタイプは用いられる動きモデルの種類を表す（すなわち、０次の多項式すなわち２個のパラメータに対する転換、１次多項式すなわち６個のパラメータに対する疑似変換、２次多項式すなわち１２個のパラメータに対する２次）。動きパラメータは、多項式の一対（Ｄｘ，Ｄｙ）の係数のセットである。動きパラメータのセットは常にＰ（ｔ）の所定の領域に関連する。
（３）動きパラメータの推定：
動きパラメータの数が一つの領域を特徴づけるので、動きを評価するのに従来の整合方法を用いるのは困難であり、それとは異なる方法が好適である。この方法は、部分的に線形化した式（１）の勾配の方向に従うことにより各領域の動きを繰り返し先鋭化する。しかしながら、この方法は、慎重に実行しない場合には重大な欠点を有する。局所的な最小化において収束がトラップされるおそれがある。以下の区画（Ｂ）において、この欠点を最小にする方法が記載されている。
（Ｂ）動き推定（投影されたレベル）の実行ステップ
二つの所定の画像Ｐ（ｔ−１）及びＰ（ｔ）間の動き推定を構成するステップを図１４に図示する。既に説明したように、相違する方法の収束は困難になるおそれがある。それは、動きパラメータのいわゆる「先鋭化」を有効に実行できないことも意味し、したがって、適切に初期化された多分解にはめ込まれる。先ず、「初期化」ステップ（ＩＮＩＴ）は、Ｐ（ｔ）の各領域に対して、動き推定プロセスを良好に開始する動きパラメータのセットに関連させる。次いで、動きパラメータは、多分解を用いて順次先鋭化され、これは、連続的な動き先鋭化の繰り返しがフィルタ処理された及びフィルタ処理されていない画像の相違する対で行われることを意味し、これは、「予処理」ステップ（ＰＰＲＯ）（図１４におけるＰ’（ｔ）及びＰ’（ｔ−１））で計算される。最終「先鋭化」ステップ（ＲＥＦＴ）を、二つの元々与誤差れた画像間で行う。
（１）パラメータの初期化：
このステップＵＮＩＴの目的は、各領域に対して、推定を開始するのに最適な動きパラメータを決定することである。最適パラメータは、領域上で最小予測誤差となるものである。したがって、初期化の原理は以下の通りである。各領域Ｒiにおいて、予測（その原理を動きパラメータ先鋭化区画で説明する。）を、動きパラメータの複数の提案を用いて行い、Ｒiの推定を開始するために、この領域上の最小２乗予測誤差となるパラメータを保持する。それらを相補うとともに既に利用できる情報から導くべき簡単化のために選択された四つの提案が各領域上で検査される。物理的には、これら提案は以下の場合を考慮する。
−  領域が動きを有しない。
−  領域の動きが最終フレームから変化しない（すなわち、領域の隣接部に最終フレームが存在しない。）。
−  領域が現在前景に固定されている、すなわちその動きが輪郭の一般的な動きに近い。
−  これらのケースのいずれでもない：この場合、動きの最適近似は、適合したブロック整合によって領域上で計算された密動きフィールドから導き出される。
実際には、各領域に対する以下の動きが試みられる。
−  動きなし：零多項式。
−  以前の動き：（ｔ−１）における現在の領域及び（ｔ−１）におけるそれに隣接する全ての部分の動き。
−  ラベル動き：時間（ｔ−１）とｔとの間の領域の重心の転換動き。
−  密フィールド：可変サイズのブロック整合によって計算されたベクトルの領域の多項式近似であり、ブロックのサイズは、領域内で適合するために領域周辺で減少される（これらの値の多項式に適合させる方法は、多項式好適符号化に用いられるものと同一である。）。
（２）画像の予処理：フィルタ処理ＰＰＲＯの目的は、元の輝度信号と相違させることなく（その結果、推定する動きが元のものに非常に近い状態である。）、信号が動き処理により適切である（すなわち収束を満足させる理論によって要求される数学的な仮説の確証に近くなる。）場合に画像を形成することである。このために、ガウシアンのものを近似する低域通過再帰等方性フィルタを用いる。画像のエッジの円滑化とその位置の保持との間の良好なトレードオフを実現するのに好適である。等方性は、画像平面の四つの主要な方向で正確である。連続的なフィルタ処理及び関連の先鋭化ステップは本例では以下のように構成される。
−  ３回の先鋭化の繰り返しを、１．５の分散でフィルタ処理した画像上で実行する。
−  ５回の先鋭化の繰り返しを、フィルタ処理されていない画像上で行う。
−  ３回の先鋭化の繰り返しを、０．８の分散でフィルタ処理した画像上で実行する。
−  ５回の先鋭化の繰り返しを、フィルタ処理されていない画像上で行う。
フィルタ処理した画像上でパラメータを先鋭化した後、これら先鋭化されたパラメータを維持したいか否か、又は実際には最初のものが良好であるかを決定する必要がある。このために、先鋭化の繰り返しの任意のステップの前に、各領域の現在の動きパラメータを記憶させる。各領域上の先鋭化の後、先鋭化されたパラメータは、フィルタ処理されていない画像上の領域のより小さい平均２乗予測誤差となっている場合のみ、予め記録されたものに代わる。
（３）動きパラメータ先鋭化：
このステップＲＥＦＴにより、線形的なｎ個の質問のセットとなり、所定の領域の動きパラメータの分散は、この従来の線形システムの解決となる。［Ａ］．［ｘ］＝［Ｂ］。この場合、マトリックス項は、現在の画素の座標、Ｐ（ｔ−１）の以前の画素位置の水平及び垂直勾配、並びにＰ（ｔ）及びＰ（ｔ−１）の位置の輝度値に依存する。Ｐ（ｔ）、関連の動きパラメータ、及びＰ（ｔ−１）を既知であるので、現在の画像の各画素の輝度の動き補償された値を計算することができるようにする必要がある。以後、この処理を予測と称する。全画像に適用されるので、予測により、動き予測された、すなわち動き補償された画像が提供される。このプロセスを、二つの相違するステップに分割することができる。
（ｉ）先ず、補償された値を取り入れる以前の画像の位置を決定する。現在の画素は、時間ｔで位置（ｘ，ｙ）にあり、それが属する領域の動きは、
(Dx,Dy)=(a1+a2.x+a3.y,a4+a5.x+a6.y)  （２）
によって規定される。この際、時間（ｔ−１）における画素位置は、
(x-Dx,y-Dy)=(-a1+(1-a2)x-a3.y,-a4+(1-a5)x-a6.y)（３）
によって与誤差れる。この第１ステップによってリターンされる位置は非整数値である。
（ii）したがって、輝度を補間して、例えばバイキュービック(bicubic)フィルタ（後にFiltMot0と称する）を用いて時間（ｔ−１）で現在の画素の最終値を見つける。フィルタ処理が水平方向及び垂直方向で行われ、二つの補間値の間の平均が最終的に保持される。勾配値も、非整数位置で補間する必要がある。用いられるフィルタを、FiltMot0の導関数とする。補間法は、水平方向のフィルタ処理の結果及び垂直方向のフィルタ処理の結果が独立して用いられる点を除いて（したがって、平均が計算されない。）、予測中に用いられるものと同一である。一旦マトリックスが組み立てられると、システムを解決する必要がある。マトリックス［Ａ］が特異なものでない場合、例えばハウスホルダー法によって反転し、
［ｘ］＝［Ａ］-1［Ｂ］  （４）
によって解決する。［Ａ］が特異なものである場合、［ｘ］は零ベクトルであり、動きパラメータは、現在の繰り返しの後この領域上で変化しないままである。
動きパラメータの新たなセットとなる動き先鋭化をある領域Ｒi上で行った後、Ｒiに対する最適動きを選択する必要があり、この新たなセットを隣接領域の評価に役立てることができるか否か確認する必要がある（「疑似緩和」ステップ）。先ず、Ｒiに対して保持された動きは、前記新たなセット、Ｒiの以前の動き、及びＲiの全ての隣接する動きの間のＲiに対して最小の予測誤差となるものとする。次いで、全ての隣接する領域が、Ｒiに対して保持されたこの動きを用いて予測され、それらの動きは、それが最小の予測誤差となる場合にはこれよって置換される。
先鋭化ステップ中、動きパラメータを、関連の領域に対して局所的に表現する必要がある。動きの多項式表現により、画素の座標の値は、置換の程度に及ぼす動きのオーダの各々が有する影響を調整する。したがって、相違するオーダ間の良好なバランスを見つけるとともに画像の領域の位置に依存しない推定プロセスを保持するためにこれらの値を正規化することは重要である。図１５は、ここで用いる、すなわち２に等しい正規化係数の場合の図示したような領域に対する局所的な軸及びスケールを示す。
（Ｃ）再推定プロセスの特異性：
再推定プロセスを、投影されたレベルで動きが推定された後に行う。これは、この段階において、統合又は再セグメント化することによってここで考察される区画Ｓ（ｔ）に関連する投影に関連した動きが既知であり、これにより現在の動きの非常に良好な初期化を行うことができることを意味する。推定の原理は同一のままである。実行は簡単である。その理由は、推定される動きに非常に近いと考えることができるからである。これらの実行の相違を次のように要約することができる。
−  初期化ステップ：既に説明された「動きなし」及び「密フィールド」の仮定が各領域上で検査される。この場合、Ｓ（ｔ）が再セグメント化区画である場合、Ｓ（ｔ）の各領域ＲiにおけるＲiの親領域の動き及びＲiの各隣接部の親領域の動きも検査される。そうでない場合、Ｓ（ｔ）が統合区画である場合、Ｓ（ｔ）の各領域ＲiにおけるＲiの子の動き及びそれに隣接する全ての子の動きも検査される。
−  予処理ステップ：フィルタ処理が行われず、二つの先鋭化反復が、フィルタ処理されていない画像上で実行される。
先鋭化ステップは当然同一のままである。
補遺Ｂ
以下の説明は、１９９５年８月２日に出願された欧州特許出願公開明細書第95401813.1号に記載された符号化方法に関するものである。この方法の主な態様を、以下の表記を用いなから説明する。
−  時間（Ｔ−１），Ｔ,...,の元の画像を、ＯＲＩＧ（−１），ＯＲＩＧ（０）,...,等々と称する。
−  区画を、時間Ｔの現在の区画に対するＳＥＧ（０）、時間Ｔ−１の以前の区画に対するＳＥＧ（−１）、他の時間の他の区画に対して必要な場合の等々と称する。
−  同様に、ＲＥＣ（０）及びＲＥＣ（−１）は、伝送後に受信側で再構成されるとともに符号化装置で得られる際の現在（時間Ｔ）及び以前（時間（Ｔ−１））の区画を示す（明らかに、ＲＥＣ（０），ＲＥＣ（１）,...,は、区画符号化プロセス中に消失が起こる場合にはＳＥＧ（０），ＳＥＧ（−１）,..,と全く同一ではない。
−  ＭＯＴ（０）を、（Ｔ−１）とＴとの間の（すなわち、ＳＥＧ（−１）からＳＥＧ（０）を導き出すことができる）区画の発展を特徴づける動き情報とし、一般には以前の区画ＳＥＧ（−１）の各領域に割り当てたパラメータのセットによって表す。
図１６に線形的に図示したこの符号化方法は、次のステップを縦続に具える。最初の（５０１ｃ〜５０３ｅの）各領域の伝送モードの規定、及びその後の（５０４ｃ〜５０４ｅの）オーダ算出。伝送モードの規定の第１ステップに対して、入力データを、（対応する元の画像ＯＲＩＧ（０）から得られる）現在のセグメント化した区画ＳＥＧ（０）、以前に再構成した区画ＲＥＣ（−１）、及び区画ＳＥＧ（−１）に関連する動き情報ＭＯＴ（０）とする。この最初のステップの目的は、２値情報を送信することによって各領域の伝送モード（イントラフレームモード又はインターフレームモード）を規定することであり、この２値情報を、輪郭符号化のためにイントラフレームモードで領域を伝送するか否かを受信器に知らせるために用いるとともに、例えば動き情報ＭＯＴ（０）内に記憶させる。したがって、この動き情報ＭＯＴ（０）は、（既に説明したような）各領域に対する動きパラメータのセットと、関連の輪郭の伝送モードを表す２値情報とを含む。この伝送モードについての情報を、イントラフレームモードで送られたか又はインターフレームモードで送られたかに応じて各領域のコストを比較することにより、輪郭のコストに基づいて取り出す。図１６に図示したように、三つのサブステップをこの第１ステップで考察する。
二つの処理５０１ｃ及び５０１ｄを具えるこの第１サブステップを、全区画を補償するために行う。以前に再構成された区画ＲＥＣ（−１）、動き情報ＭＯＴ（０）、及びＯＲＤ（０）と称されるオーダ情報に基づいて、後に詳細に説明するこの区画補償により、ＲＥＣＣＯＭＰ（０）と称される補償区画となる。第２サブステップ５０２において、補償誤差ＥＲＲ（０）はＳＥＧ（０）とＲＥＣＣＯＭＰ（０）との間の減算によって算出される。最後に、三つの処理５０３ｃ，５０３ｄ，５０３ｅを具える第３サブステップを、ＳＥＧ（０）（イントラフレームモード）又はＥＲＲ（０）（インターフレームモード）で規定したように各領域の符号化コストを推定し及び算出するために行う。イントラフレーム及びインターフレームモードの推定（処理５０３ｃ）を、情報を実際に符号化するとともに結果的に得られる情報量を測定することにより、又は（例えば、コストが領域の輪郭の長さに比例すると仮定することによる）コストの近似を行う他の技術を用いることにより行うことができる。両方の推定が一旦行われると、補償及び選択（処理５０３−ｄ）を行うことができ、その結果得られる決定を、動き情報ＭＯＴ（０）を更新する追加の２値情報として記憶させる（処理５０３ｅ）。
伝送モードの規定の第１ステップに、オーダ算出の第２ステップを続け、この第２ステップを、図１６に図示したように（二つの処理５０４ｃ，５０４ｄを具える）第１サブステップと、第２サブステップ５０５に分解することかできる。この第１サブステップを、オーダパラメータのセットを推定するために行い、第２サブステップを、伝送のオーダ情報を量子化するために行う。第１サブステップ（５０４ｃ，５０４ｄ）は二重ループに依存し、第１のループは、そのラベルによって規定された領域を走査し、第２のループは、画像スペースの位置（ｉ，ｊ）を走査する。この第１サブステップは、二つの処理を縦続に含む。
第１処理５０４ｃを、関連のラベルに対応する領域の各位置（ｉ，ｊ）に対する動きベクトルを規定するために行う。動き情報ＭＯＴ（０）は、処理（ｉ，ｊ）の関数である動きモデルを各領域に対して与える。例えば、所定の領域に対する動きモデルを変換（ｄｘ，ｄｙ）とする場合、この動きベクトルを画像の全ての点（ｉ，ｊ）に割り当てる。動きモデルが疑似モデル（ａ1，ａ2，ａ3，ａ4，ａ5，ａ6）である場合、点（ｉ，ｊ）の動きフィールドは、Ｖｘ（ｉ，ｊ）＝ａ1ｉ＋ａ2ｊ＋ａ3及びＶｙ（ｉ，ｊ）＝ａ4ｉ＋ａ5ｊ＋ａ6として規定される。領域をイントラフレームモードで伝送する必要がある場合、この動きフィールドの拡張が行われない。
第２処理５０４ｄを、関連領域に対応するオーダを更新するために行う。オーダ情報は、不一致のあり得る領域のリストから、すなわち動き補償中に他の領域に重なるおそれがあるＲＥＣ（−１）の領域からなる。このようなオーダリストを、プロセスの開始時に零に設定する。現在の区画ＳＥＧ（０）の現在の画素（ｉ，ｊ）の領域ラベル及び以前に再構成された区画ＲＥＣ（−１）の画素（ｉ−Ｖｘ（ｉ，ｊ），ｊ−Ｖｙ（ｉ，ｊ））の領域ラベルをＬＡＢＳＥＧ（０）及びＬＡＢＲＥＣ（−１）によって表す場合、ラベルＲＥＧＮＵＭ（ＲＥＧＮＵＭを、現在の区画ＳＥＧ（０）で順次考察される各領域に関連する作動ラベルとする。）の領域と現在のラベルＬＡＢＳＥＧ（０）を有する領域との間の不一致に対応するリストエントリーは、以下の状況が満足されると更新される。
（ａ）現在のラベルＬＡＢＳＥＧ（０）が、イントラモードで伝送された領域の任意のラベルと相違する。この状況において（すなわち、現在の区画ＳＥＧ（０）の点（ｉ，ｊ）が、イントラフレームモードで伝送される領域に対応する場合）、このような位置にある任意の補償されたラベルは放棄される。
（ｂ）以前のラベルＬＡＢＲＥＣ（−１）がラベルＲＥＧＮＵＭと同一である。この場合、現在の区画ＳＥＧ（０）の点（ｉ，ｊ）はこのラベルＲＥＧＮＵＭを受信する候補となる。
（ｃ）現在のラベルＬＡＢＳＥＧ（０）がラベルＲＥＧＮＵＭと同一でない。この場合、画素（ｉ，ｊ）の正確なラベルはＲＥＧＮＵＭではなく、第１のラベルは第２のラベルの前景にあるので、現在のラベルＬＡＢＳＥＧ（０）及びラベルＲＥＧＮＵＭ（＝ＬＡＢＲＥＣ（−１））は不一致領域となる（この場合、ラベルＬＡＢＳＥＧ（０）とＲＥＧＮＵＭとの間の不一致に対応するリストエントリーは、１単位増分される。）。
オーダリストは、所定の領域が他の領域の前景にあることを宣言することができる回数を最終的に与えるので、この手順は、全ての点（ｉ，ｊ）及び全てラベルＲＥＧＮＵＭに対して繰り返される。
次いで、第２サブステップ５０５を、オーダを量子化するために、最初のサブステップ（５０４ｃ，５０４ｄ）と縦続して行う（受信器は、動き補償中に不一致ラベルを用いてこの状況を解決することができるようにするために２値限定のみを必要とする。）。この量子化を、ラベルの各対に対して、第１のラベルが第２のラベルの前景にあることを宣言する回数と第２のラベルが第１のラベルの背景にあることを宣言する回数とを比較することによって行う。二つの関連領域の間の最終オーダを、最多回数に対応するものと規定する。その後、このオーダＯＲＤ（０）を、サブステップ（５０１ｃ，５０１ｄ）の入力として用いるために後方に送って、上記オーダ情報により輪郭伝送モードの規定を更新することができる反復ループを構成する（演算負荷を増大させたくない場合には反復数を少なくする。実際には、２，３回の反復で十分である。）。反復ループの場合、オーダ情報ＯＲＤ（０）が未知である場合には区画補償することができない。この問題を解決するために、最初の反復において、全ての新たな領域（すなわち、ＳＥＧ（０）に存在するがＲＥＣ（−１）に存在しない領域）をイントラフレームモードで伝送するとともに、他の全ての領域をインターフレームモードで伝送すると簡単に仮定し、これは、ＯＲＤ（０）に、図１６で符号ＯＲＤ0を復号した初期値を与えることに等しい。
ここで、情報区画補償を詳細に説明する。サブステップ（５０１ｃ，５０１ｄ）は、以前に再構成された区画ＲＥＣ（−１）の補償を実現するとともに複数の処理を具えることを目的とするものである。第１の処理５０１ｃを、単一領域であるラベルＲＥＧＮＵＭの現在のものに割り当てられた動きパラメータを用いながら、全画像に対する動きフィールドを規定するために行う。以前に説明した処理と同様なこの規定処理（第２ステップ「オーダ算出」の第１サブステップの第１の処理５０４ｃ）に、第２の処理５０１ｄ（補償処理）を続ける。この処理によれば、補償された区画ＲＥＣＣＯＭＰ（−１）の各画素（ｉ，ｊ）に対して、補償されたラベルを以下のように規定する（手順を、全ての画素（ｉ，ｊ）及び全ての領域に対して、すなわち全てのラベルＲＥＧＮＵＭに対して繰り返す）。
（ａ）画素（ｉ，ｊ）が、イントラフレームモードで伝送された領域に対応する場合、その領域内にある任意の補償されたラベルを放棄する。
（ｂ）以前の区画ＲＥＣ（−１）の以前のラベルＬＡＢＲＥＣ（−１）（すなわち、画素（ｉ−Ｖｘ（ｉ，ｊ），Ｖｙ（ｉ，ｊ）））が現在のラベルＲＥＧＮＵＭと同一である場合、画素（ｉ，ｊ）をラベルＲＥＧＮＵＭを受信する候補とする。
（ｃ）補償された区画の位置（ｉ，ｊ）が空である場合、ラベルＬＡＢＲＥＣ（−１）をその位置に割り当てる必要がある。
（ｄ）位置（ｉ，ｊ）が既にラベルを受信した場合、このラベル以前のラベルＲＡＢＲＥＣ（−１）に一致しないが、この不一致を、ＯＲＤ（０）に記憶されたオーダ情報によって解決することができる。
この手順の終了時に、最終的に補償された区画ＲＥＣＣＯＭＰ（０）を有する。オーダ情報が一旦規定されると、図１６で符号５０６を付した符号化方法の符号化ステップを、例えば、１９９４年１１月に米国のテキサス州オースチンで発行されたIEEE International Conference on Image Processingの428〜432頁のM.Pardas,P.Salembier及びB.Gnazalezによる論文“Motion and region overlapping estimation for segmentation-based video coding”に記載された輪郭／テクスチャ符号化アプローチに従うことによって実行することかできる。
【図面の簡単な説明】
図１は、本発明によるシステムの一般的な表示である。
図２は、対応する符号化方法を示す。
図３は、領域の時間拡張処理を示す。
図４は、統合処理を示す。
図５は、再セグメンテーション処理を示す。
図６は、決定ツリー構成処理を示す。
図７は、符号化ストラテジの局所的な決定を行う方法を示す。
図８は、最適区画を導くために実行される決定プロセスを示す。
図９は、復号化装置のテクスチャの線形図であり、対応する復号化方法を示す。
図１０は、区画及びテクスチャ復号化プロセスをより詳細に示す図である。
図１１は、区画復号化装置の実施の形態である。
図１２は、セグメント化した画像の非常な簡単な例である。
図１３は、二つの連続的な画像Ｐ（ｔ−１）とＰ（ｔ）との間の動きのタイプを線形的に示す図である。
図１４は、図４の統合処理中に実行される動き推定ステップの実現するあり得る解決を示す。
図１５は、２に等しい係数を正規化する所定の領域に対する局所的な軸及びスケールを示す。
図１６は、オーダ推定の特定のタイプを有する符号化方法を示す。
【図１】
0003929492.tif 000002
【図２】
0003929492.tif 000003
【図３】
0003929492.tif 000004
【図４】
0003929492.tif 000005
【図５】
0003929492.tif 000006
【図７】
0003929492.tif 000007
【図６】
0003929492.tif 000008
【図８】
0003929492.tif 000009
【図９】
0003929492.tif 000010
【図１０】
0003929492.tif 000011
【図１１】
0003929492.tif 000012
【図１２】
0003929492.tif 000013
【図１３】
0003929492.tif 000014
【図１４】
0003929492.tif 000015
【図１５】
0003929492.tif 000016
【図１６】
0003929492.tif 000017