映像情報を符号化し、該映像情報を復号化するコーデックであって、該映像情報は、複数のフレームを含み、フレームは、該映像情報の画像を表し、a第1のフレームおよび第2のフレームを含む前記映像情報を受信するように動作可能な入力と、b前記第1のフレームをセグメント化するように動作可能なセグメンタであって、該第1のフレームのセグメントは、画素値または画像内容に基づく前記第1のフレームの画素とセグメントとの関連付けを表す、セグメンタと、c前記第1のフレームから前記第2のフレームへの画像セグメントの位置の変化を表す動力学情報を生成するように動作可能な動力学情報生成器と、d前記第1のフレームを符号化して、第1の符号化フレームを形成する論理と、e前記第2のフレームを符号化して、第2の符号化フレームを形成する論理であって、該第2の符号化フレームは、前記動力学情報のうちの少なくとも一部を含む、論理と、を備えるエンコーダと、a前記第1の符号化フレームおよび前記第2の符号化フレームを受信する入力と、b前記第1の符号化フレームを復号化して、第1の再構築されたフレームを形成する論理と、c前記第1の再構築されたフレームの少なくとも一部をセグメント化して複数のセグメントを生成するように動作可能なセグメンタと、d前記デコーダの前記セグメンタによって生成された前記セグメント化と、前記第2の符号化フレームにおいて符号化された前記動力学情報の前記少なくとも一部とを用いて、該第2の符号化フレームを復号化して第2の再構築されたフレームを形成する論理と、を備えるデコーダを備え、前記セグメンタは、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成するように構成され、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、コーデック。映像情報を符号化するエンコーダであって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表し、少なくとも第1のフレームおよび第2のフレームを含む映像情報を受信する入力部と、前記第1のフレームを符号化して、第1の符号化フレームを形成する論理と、第1の再構築されたフレームを判定する論理であって、該第1の再構築されたフレームは、前記第1の符号化フレームの復号化から得られるフレームである、論理と、少なくとも前記第1の再構築されたフレームをセグメント化して複数のセグメントを生成するセグメンタであって、セグメント化は、少なくとも画素値または画像内容に基づくフレームの画素とセグメントとの関連付けを表す、セグメンタと、前記第1の再構築されたフレームと前記第2のフレームとの間のセグメントの位置の変化を表す動力学情報を生成する動力学情報生成器と、前記第2のフレームを符号化して、第2の符号化フレームを形成する論理であって、該第2の符号化フレームは、前記動力学情報の少なくとも一部を含み、かつ、前記第2のフレームが、前記第1の再構築されたフレームについて前記デコーダによって生成されたセグメント化情報を用いて、前記第2の符号化フレームから再構築可能となるように符号化される、論理を備えるエンコーダであって、前記セグメンタは、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成するように構成され、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、エンコーダ。前記第2のフレームを符号化する差異論理を前記論理内にさらに備え、該差異論理は、前記第1の再構築されたフレームのセグメント化と前記第2のフレームのセグメント化との間の差異からなる残余部情報を用いるように動作可能である、請求項2に記載のエンコーダ。映像情報を復号化するデコーダであって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表し、第1の符号化フレームおよび第2の符号化フレームを受信する入力と、前記第1の符号化フレームを復号化して、第1の再構築されたフレームを形成する論理と、少なくとも前記第1の再構築されたフレームをセグメント化して複数のセグメントを生成するセグメンタと、前記デコーダのセグメンタによって生成されたセグメント化と、前記第2の符号化フレームにおいて符号化された動力学情報の少なくとも一部とを用いて、前記第2の符号化フレームを復号して、第2の再構築されたフレームを形成する論理を備えるデコーダであって、前記セグメンタは、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成するように構成され、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、デコーダ。映像情報を符号化する方法であって、該映像情報は、複数のフレームを含み、各フレームは、該映像情報の画像を表し、前記複数のフレーム中の第1のフレームを入手する工程と、前記第1のフレームを符号化して符号化された第1のフレームを形成する行程と、前記符号化された第1のフレームから前記第1のフレームを再構築して、再構築された第1のフレームを生成する行程と、前記再構築された第1のフレームに関連するセグメント化情報を入手する工程と、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成する行程であって、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、行程と、前記複数のフレーム中の第2のフレームを入手する工程と、前記第2のフレームを符号化する行程と、前記第1のフレームおよび前記第2のフレームの動力学情報を計算する工程であって、該動力学情報は、前記第1のフレームおよび前記第2のフレームのセグメントに関連する、工程と、前記動力学情報の少なくとも一部を含む符号化された映像情報を生成する工程であって、前記第2のフレームが、前記再構築された第1のフレームに関する前記セグメント化情報を用いて、前記符号化された第2のフレームから再構築可能となるように符号化される、工程と、を含む方法。符号化された前記映像情報は、前記複数のフレーム中の他のフレームと独立して符号化された少なくとも1つのキーフレームを含む、請求項5に記載の方法。前記生成する工程は、セグメント化情報を入手する前記工程において判定されたセグメント境界に対する画像内容の位置に適応させることによって前記複数のフレームの画像内容を適応的に符号化する工程を含む、請求項5に記載の方法。映像情報を復号化する方法であって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表し、該複数のフレームは、キーフレームとして指定されたフレームを少なくとも1つ含み、符号化されたキーフレームを入手する工程と、前記符号化されたキーフレームからキーフレームを再構築する工程と、前記再構築されたキーフレームから該キーフレームに関するセグメント化情報を計算する工程であって、該セグメント化情報は、該キーフレームの画像内容に基づいて生成された該キーフレームの画像の複数のセグメントに関連する、工程と、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成する行程であって、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、行程と、符号化された中間フレームを入手する工程であって、該中間フレームは、前記キーフレームと前記中間フレームとの間のセグメントに関連する差異情報を含む、工程と、前記動力学情報の少なくとも一部および前記セグメント化情報の少なくとも一部を用いて前記符号化された中間フレームから中間フレームを再構築する工程を含む方法。映像情報の符号化方法であって、映像情報の第1のフレームを符号化して符号化された第1のフレームを形成する行程であって、該映像情報は、複数のフレームを含み、各フレームは、該映像情報の画像を表す、行程と、前記符号化された第1のフレームを再構築して、再構築された第1のフレームを形成する行程と、前記再構築された第1のフレームをセグメント化して複数のセグメントを生成する行程と、前記第1のフレームと前記映像情報の第2のフレームとの間のセグメントの位置の差異を少なくとも表すモーション情報を用いて前記第2のフレームを符号化する行程と、符号化された前記映像情報に、前記複数のセグメント中の1つのセグメントに関連付けられたコマンドを組み込む行程を含む方法。映像情報の符号化方法であって、映像情報の第1のフレームを符号化する行程であって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表す、行程と、前記符号化された第1のフレームを再構築して、再構築された第1のフレームを生成する行程と、前記再構築された第1のフレームをセグメント化して複数のセグメントを生成する行程と、前記第1のフレームに対する前記映像情報の第2のフレームの画像内容を示す一組の基底関数の係数を用いて前記第2のフレームを符号化する行程であって、前記一組の基底関数はセグメント化に関連する、行程と、符号化された前記映像情報に、前記複数のセグメント中の1つのセグメントに関連付けられたコマンドを組み込む行程を含む方法。前記エンコーダのセグメンタおよび前記デコーダのセグメンタは、所与の画像フレームに対して同一のセグメント化を生成するように動作可能である、請求項1に記載のコーデック。前記エンコーダは、前記第1のフレームについてのセグメント化増強情報を生成するための論理を含み、前記デコーダは、少なくとも前記第1の再構築されたフレームのセグメント化を生成する際に使用するための前記セグメント化増強情報を復号化する論理を含む、請求項1に記載のコーデック。前記エンコーダのセグメンタおよび前記デコーダのセグメンタは、セグメントの順序付けされたリストを生成し、および、所与の画像フレームについて同じ順序付けされたリストを生成する、請求項1に記載のコーデック。前記エンコーダのセグメンタおよびデコーダのセグメンタは、セグメントを分類し、および、所与の画像フレームについて同じグループ化を生成する、請求項1に記載のコーデック。前記動力学情報は、複数のセグメントのグループに関連付けられたグループ動きベクトル、及び、該グループ内のセグメントに関連付けられた少なくとも1つの動きベクトルオフセットを含み、該少なくとも1つの動きベクトルオフセットは、前記グループの動きに対する前記セグメントの動きを表わす、請求項1に記載のコーデック。映像情報の符号化方法であって、映像情報の第1のフレームを符号化する行程であって、該映像情報は、少なくとも複数のフレームを含み、各フレームは、該映像情報の画像を表す、行程と、前記符号化された第1のフレームを再構築して、再構築された第1のフレームを生成する行程と、前記再構築された第1のフレームをセグメント化して複数のセグメントを生成する行程と、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成する行程であって、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、行程と、前記第1のフレームと前記映像情報の第2のフレームとの間の画像のセグメントの位置の差を少なくとも表わす情報を用いて、前記第2のフレームを符号化する行程と、符号化された前記映像情報に、前記複数のセグメント中の1つのセグメントに関連付けられたコマンドを組み込む行程を含む方法。セグメントの位置の差を少なくとも表わす前記情報は、基底関数および動力学情報の少なくとも1つの適応可能な変換に基づく、請求項16に記載の方法。映像情報の符号化方法であって、映像情報の第1のフレームを符号化する行程であって、該映像情報は、少なくとも複数のフレームを含み、各フレームは該映像情報の画像を表わす、行程と、前記符号化された第1のフレームを再構築して、再構築された第1のフレームを生成する行程と、前記再構築された第1のフレームをセグメント化して複数のセグメントを生成する行程と、マルチスケールグループ化を用いて、少なくとも1つのセグメントを、該セグメントより小さなセグメントのグループから形成する行程であって、該より小さなセグメントの各々は、疎なスケールでは不可視であるが、グループ化されると可視状態となる、行程と、前記第1のフレームに対する前記映像情報の第2のフレームの画像内容を記述する基底関数のセットに対する係数を用いて前記第2のフレームを符号化する行程であって、前記基底関数のセットはセグメント化に関連する、行程と、符号化された前記映像情報に、前記複数のセグメント中の1つのセグメントに関連付けられたコマンドを組み込む行程を含む方法。3.本発明の利点本発明は、ビデオ圧縮の問題に関する様々な利点を提供する。上記で記載したように、ビデオ圧縮の目標は、ビデオフレームのシーケンスを最小のビットストリームつまりビデオ情報フローで正確に表すことである。前に述べたように、上記の空間的冗長性削減方法は、動画圧縮には不適切である。さらに、MPEGなどの現在の時間的および空間的冗長性削減方法は、多くのオーバーヘッド情報を送信する必要によって貴重なビットストリームのスペースを無駄使いする。従って、増加された圧縮効率、削減されたオーバーヘッドおよびより小さなエンコードされたビットストリームを示すビデオデータをエンコードおよび復号化するための改良された技術に対する必要がある。発明の要旨ディジタル動画の圧縮は、関連したビデオフレームのシーケンス内に含まれる、空間的および時間的両方の無用なまたは冗長な情報が削減されるプロセスである。ビデオ圧縮によって、目に見える十分な方法で再構成される性能を保持しながら、フレームのシーケンスが、削減されたビットストリームつまりデータフローによって表され得る。ビデオ圧縮の従来の方法は、デコーダを最小限に使用しながら、エンコーダに例えば、計算のおよび/または送信の圧縮負荷の多くを課している。従来のビデオエンコーダ/デコーダシステムにおいて、デコーダはダムつまり受動的である。エンコーダは、すべての計算を行い、デコーダにその決定を伝え、次に各画像の再構成についての命令と共に、エンコーダへビデオデータを送信する。対照的に、本発明は、他の方法ではエンコーダに要求される送信および命令負荷の多くを行うスマートつまりアクティブデコーダを含む。従ってオーバーヘッドを削減し、結果的にはるかに小さなエンコードされたビットストリームとなる。従って、本発明の相当するすなわち、互換性のあるエンコーダは、非常に削減されたオーバーヘッドでエンコードされたビットストリームを生成し得る。このことは、画像に本来備わっている構造的情報例えば、画像セグメント化、幾何学的構造、色、および/または輝度に基づいてレファレンスフレームをエンコードし、次に構造的情報に関連する他のフレームを予測することによって達成される。典型的には、予測されるフレームの説明は、基となるレファレンスフレームから相当する構造例えば、画像セグメントの運動を表す例えば、セグメントの動きデータ、および/または前にふさがれた領域を取り出す結果生じる関連した残余部、および/または不正確なマッチング、および新しい情報の露出、などの運動情報を含む。デコーダは、予測されるフレームの基となる構造的情報およびそれらの間の関係を独立して判定し得るために、そのような情報は、デコーダに明白に通信される必要はない。そうではなく、エンコーダは、デコーダがそれ自身で判定し得ないとエンコーダが知っている情報を送信する必要があるだけである。本発明の別の局面または実施形態において、デコーダおよびエンコーダの両方は、関連した画像の前のシーケンスに基づいて後の画像について同じ予測をし、そして構造的情報それ自体ではなく、または加えてこれらの予測は、後の画像の実際の値をエンコードするための基礎として使用される。従って、エンコーダは、予測値と実際の値との間の差を送信し得るだけで、このことによってもまたビットストリームは削減される。本発明のさらに他の局面または実施形態において、デコーダは、セグメントの順序づけまたはセグメントの連関付け/分離に関するエンコーダによって行われる決定を再生し得、それによりそのような決定はデコーダに送信される必要がなくなる。本発明のさらに別の局面または実施形態において、エンコーダは、様々な圧縮技術を使用して予測をエンコードし、そしてデコーダに相当する解凍技術を使用するように命令し得る。本発明の前述および他の局面および実施形態は、以下にさらに詳細に記載される。具体的な実施形態の説明1.概要以下のセクションは、エンコーダ、デコーダ、および構造情報本実施形態において以後セグメントと呼ぶを使用して、本実施形態に特定の詳細であるが、本発明の別の実施形態において必ずしも必要ではない特定の詳細を含む本発明の1実施形態の記載を提供する。1.1エンコーダ図1は、図3、図4を参照しながら後に記載されるように、互換可能なデコーダとともに用いるための例示的なエンコーダのブロック図であり、図2は、図1のエンコーダの操作の概要である。ステップ201において、エンコーダ100は、第1の例えば、参照画像フレームを取得する。ステップ202において、エンコーダ100の機能ブロック102は、ステップ201からの画像フレームをエンコードする。ステップ203において、ステップ202からエンコードされた画像が、デコーダが画像を再構築するのと同じやり方にて、エンコーダ100の機能ブロック103によって再構築される。ステップ204において、エンコーダ100の機能ブロック104は、セグメント化、すなわち再構築された画像からの構造的な情報を取得し、そのセグメントはセグメントの動力学例えば、運動および/または残余部データの観点から以後のフレームを予測するための基礎として使用する。当業者は、本明細書において詳細に記載される必要のない、エッジ検出、エッジリンキング、領域併合、またはウォーターシェッド方法watershedmethodなどの技術を使用して、画像のセグメント化をいかに実行するかを容易に理解する。あるいは、ステップ203が飛び越され、エンコーダがステップ201からのオリジナルの参照画像フレームをセグメント化する。これは、セグメント再構築ステップを排除することで、エンコーダの効率をいくらか上げると同時に、デコーダで再構築された画像にさらに十分に類似した画像を予測するための基礎を提供して、重大な誤りを回避する。ステップ205において、ステップ204で判定されたセグメントは、デコーダがそのセグメントを順序化するのと同じやり方で、エンコーダ100の機能ブロック105によって順序化される。1実施形態において、エンコーダおよびデコーダ双方に知られる、予め決められた標準的な順序化スキームに従って実行される。ステップ206において、エンコーダ100の機能ブロック106は、セグメント化された参照フレームに対応してエンコードされるべき新しい例えば、第2の画像フレームを取得する。ステップ207において、ステップ204で生成されたセグメントのそれぞれに関する運動関連情報は、運動マッチングによってエンコーダ100の機能ブロック107によって判定される。すなわち、運動マッチングは、一方のフレームから他方のフレームまでの画像セグメントのロケーションの変化を判定するプロセスである。運動マッチングは、前方、後方および/またはシーケンシャルでないフレームに対し、適応され得る。ステップ208において、エンコーダ100の機能ブロック108は、運動関連情報をエンコードする。ステップ209において、ステップ208からの運動関連情報に基づいて、参照フレームにおける以前には隠れていた領域以後、バックグラウンド残余部と呼ぶが、新しいフレームで露出し得る。ステップ210において、エンコーダ100の機能ブロック110は、デコーダが共通の予め決められた標準的な順序化スキームを使用して、順序化するのと同じやり方にてバックグラウンド残余部を順序化する。ステップ211において、エンコーダ100は、直線技術、多項式技術、または他の推定的な技術などの技術を使用して、既知のセグメント値から外挿することによって、バックグラウンド残余部のそれぞれを補充しようとする。補充はまた、新しく露出した領域を囲むセグメントの順序化または階層に関する情報を考慮することによって支援される。セグメントの順序化はZ順序化として知られる深さ情報を定義する。例えば、画像が図7の車の運動の航空写真である場合、車を表すセグメントの運動によって露出する領域セグメント71は、車の下にある道路セグメント72を表すセグメントに基づいて予測され得る。ステップ212において、エンコーダは、各バックグラウンド残余部領域の実際値および予測値の差を判定する。以前には塞がれていた領域の露出によって生じるバックグラウンド残余部に付け加え、ローカル残余部も存在し得る。ローカル残余部は、例えば不正確なマッチングおよび新しい情報の露出に関連する。それ故、セグメントの全体的な完全な記述は、運動データおよび残余部データバックグラウンドおよびローカルの双方の考察を含み、そのすべてが、反動速度論情報として集合的に示されるものとする。ステップ213において、エンコーダは、セグメント運動関連情報から、第2画像フレームのローカル残余部領域を判定する。ステップ214において、エンコーダ100の機能ブロック110は、デコーダが共通の予め決められた標準的な順序化スキームを使用して、順序化するのと同じやり方にてステップ113からのローカル残余部を順序化する。ステップ215において、エンコーダ100の機能ブロック115は、ステップ212からのバックグラウンド残余部およびステップ213から得たローカル残余部をエンコードする。1実施形態において、エンコーディングは、デコーダによって即座に判定される特定の残余部構造に基づいて選択された多くの利用可能な技術の内の1つを使用し得る。第2フレームの画像が残余部情報からの援助を用いて、主に運動関連情報から合理的に再構築され得る場合、ステップ216において、エンコーダは、以下の情報を直接的に例えば、テレビ会議アプリケーションで、または間接的に例えば、後に再生する際に復号化されるべき記憶媒体に書き込んで伝送する。aフレームがキーフレームではないことを示すフラグ、bセグメントのための運動関連情報、c必要ならばバックグラウンド残余部情報随意、使用されるコーディング技術を示すフラグとともに、およびd必要ならばローカル残余部情報随意、使用されるコーディング技術を示すフラグとともに。伝送後、エンコーダは、以前の参照フレームに関して、エンコードされるべき新しい例えば、第3の画像フレームを用いて、ステップ206で始まる、このサイクルを繰り返す。以前の参照フレームは、既存のキーフレームまたは非キーフレームすなわち、再構築されたビデオフレームであり得る。しかしながら、第2画像が残余部情報の援助を用いて、主に運動関連情報から合理的に再構築され得ない場合、ステップ217において、画像はキーフレームとしてエンコードされ、フレームがキーフレームであることを示すフラグとともに、デコーダに伝送される。伝送後、エンコーダは、ステップ203で始まる、このサイクルを繰り返す。伝送はまた、機能ブロック118によって、フレームに関連付けられた任意の特定の命令の伝送を含み得る。あるいは、図1および2に記載されるように、第1フレームのセグメントからの動力学情報を判定する代わりに、エンコーダは、第1フレームからの構造情報を使用し、第2フレームを記述するための基底関数または形成ブロックの最良の組を判定する。この組の基底関数は、デコーダが判定するものと同じ組であり、それ故に第2フレームの係数のみがエンコーダからデコーダへ伝送される必要がある。1.2デコーダ図3は、図1および図2に記載されるように、互換可能なデコーダとともに使用する例示的なデコーダのブロック図であり、図4は、図3のデコーダの操作の概観である。ステップ401において、デコーダ300の機能ブロック301は、エンコードされた画像フレーム例えば、図2のステップ202において生成されたエンコードされた参照フレームを受信する。ステップ402において、ステップ401からのエンコードされた画像フレームは、エンコーダと同じやり方にて、デコーダ300の機能ブロック302によって再構築される。ステップ403において、ステップ402からの再構築された画像フレームの構造情報は、エンコーダと同じやり方にて、デコーダ300の機能ブロック303によって判定および順序化される。ステップ404において、デコーダは、以後の画像フレーム例えば、エンコーダ記述子のステップ206を参照のことがキーフレームであるか否かを記述するエンコーダからフラグを受信する。キーフレームである場合、デコーダは、ステップ401へと戻る。キーフレームでない場合、デコーダはステップ405において継続する。ステップ405において、デコーダ300の機能ブロック305は、セグメントのための運動関連情報例えば、運動および/または残余部データを受信する。ステップ406において、デコーダはステップ403において取得されるセグメント、およびステップ405において取得される動力学情報の運動の部分を使用して、以後の画像フレームを再構築し始める。ステップ407において、ステップ404からの運動関連情報に基づいて、ステップ403で判定されたセグメントに関して、デコーダは、以前には隠れていた画像部分が、もしあれば、ここで露出するロケーションを判定する。これらは、バックグラウンド残余部ロケーションとして知られている。ステップ408において、ステップ407から計算されたバックグラウンド残余部ロケーションは、共通の予め決められた標準的なプロトコルを使用して、エンコーダによって順序化されるのと同じやり方にて順序化される。ステップ409において、エンコーダによって使用される技術と同じ予測を満たす技術タイプを使用して、バックグラウンド残余部ロケーション例えば、バックグラウンド残余部情報を予測するを補充することを試みる。ステップ410において、デコーダは、予測されるバックグラウンド残余部情報に対応してエンコードされたバックグラウンド残余部情報を受信し、さらにエンコーダ図2、ステップ216cからコーディング方法を表示するフラグを受信する。ステップ411において、デコーダ300の機能ブロック311は、受信されたバックグラウンド残余部情報を復号化する。ステップ412において、予測される計算されたバックグラウンド残余部情報が、もしあれば、受信されたバックグラウンド残余部情報に付け加えられ、全体的なバックグラウンド残余部情報を判定し、これは次いで第2画像フレームに追加される。ステップ413において、ステップ404において受信された運動関連情報に基づいて、ステップ403で判定されたセグメントに関して、デコーダは、機能ブロック311において、ローカル残余部のロケーションを、もしあれば、判定する。ステップ414において、ローカル残余部ロケーションは、エンコーダが共通の予め決められた標準的な順序化スキームを使用して、順序化されるのと同じやり方にて順序化される。ステップ415において、デコーダは、エンコードされたローカル残余部情報、および各ローカル残余部ロケーションのための、コーディング方法を示すフラグを受信する。ステップ416において、デコーダはローカル残余部情報を復号化する。ステップ417において、復号化されたローカル残余部情報は第2フレームに付け加えられる。ステップ418において、デコーダ300の機能ブロック318は、任意の特定の命令を受信し、その命令を第2フレームへ付け加える。ステップ419において、機能ブロック319は、第2フレームの再構築を完了する。ステップ420において、さらなるフレームがあれば、ルーチンはステップ404で継続する。あるいは、図3および4に記載されるように、第1フレームのセグメントから動力学情報を受信する代わりに、デコーダは、第1フレームからの構造的な情報を使用し、第2フレームを記述するための基底関数または形成ブロックの最良の組を判定する。この組の基底関数は、エンコーダが判定するものと同じ組であり、それ故にデコーダはこれらの基底関数の係数を受信し、再構築を開始することのみが必要である。1.3エンコーダデコーダ前述のセクションは、エンコーダおよびデコーダを別々に記載しているが、エンコーダは互換可能なデコーダの存在を前提にし、且つ互換可能なデコーダによって復号化されるように画像をエンコードし、その逆も同様であるという点で、双方は密接に関連している。したがって、図2および4の種々のステップ間の相互関係を考慮することが有用である。したがって、図5は、本発明の例示的なエンコーダデコーダコーデックアーキテクチャを示し、図6は、図5の例示的なコーデックの動作を示す。ステップ601において、エンコーダは、参照フレームを取得、エンコード、および伝送し、デコーダは参照フレームを受信する。ステップ602において、ステップ602からの参照フレームは、エンコーダおよびデコーダ双方によって再構築される。ステップ603において、参照フレームにおいて同一のセグメントがエンコーダおよびデコーダ双方によって判定される。ステップ604において、ステップ603からのセグメントはエンコーダおよびデコーダ双方によって同じ方法で順序化される。ステップ605において、エンコーダは新しい画像フレームを取得する。ステップ606において、エンコーダはステップ603からのセグメントの運動関連情報を、ステップ605から得たフレームにマッチングする運動によって判定する。ステップ607において、エンコーダは運動関連情報をエンコードする。ステップ608において、ステップ606からの運動関連情報に基づいて、エンコーダは、第2フレームに現在露出する、以前には隠れていた領域バックグラウンド残余部ロケーションのロケーションを判定する。ステップ609において、エンコーダは、バックグラウンド残余部ロケーションを順序化させる。ステップ610において、エンコーダは、バックグラウンド残余部領域における画像を数学的に予測することを試みる。ステップ611において、エンコーダは、数学的予測が正しいか否かを、予測と実際のバックグラウンド残余部情報との差に基づいて判定する。エンコーダは、必要ならば追加のバックグラウンド残余部情報が計算されるように、この違いを送信する。ステップ612において、ステップ606からの運動関連情報に基づいて、エンコーダは、ローカル残余部の構造情報を判定する。ステップ613において、ステップ612からのローカル残余部の構造的な情報は、エンコーダによって順序化される。ステップ614において、エンコーダはローカル残余部をエンコードする。ステップ615において、エンコーダは伝送し、デコーダはステップ601において伝送されそして受信されたフレームが、動力学運動および残余部情報を使用して表示されるべきか、またはキーフレームとして表示されるべきかを識別するフラグを受信する。キーフレームの場合、システムはステップ601に戻る。キーフレームでない場合には、システムはステップ616において続行する。ステップ616において、エンコーダは伝送し、デコーダはエンコーダからのセグメント運動関連情報を受信する。ステップ617において、デコーダは、ステップ608および609においてエンコーダが行ったやり方と同じやり方にて、バックグラウンド残余部ロケーションを判定および順序化する。ステップ618において、デコーダは、エンコーダがバックグラウンド残余部に関してステップ610にて行った予測と同じ予測を行う。ステップ619において、もしあれば、ローカル残余部情報を、およびコーディングスキームを表示するフラグを、エンコーダは伝送し、デコーダは受信する。ステップ620において、デコーダは、ステップ612および613において、エンコーダが行ったやり方と同じやり方にて、ローカル残余部情報を判定および順序化する。ステップ621において、ローカル残余部情報およびコーディングスキームを表示するフラグを、エンコーダは伝送し、デコーダは受信する。ステップ622において、特定の命令を、もしあれば、エンコーダは伝送し、デコーダは受信する。ステップ632において、動力学情報に基づいて、エンコーダおよびデコーダ双方がフレームを同様に再構築する。ステップ624において、追加のフレームがエンコードされる場合、ステップ622で再構築されたフレームは参照フレームとなり、ルーチンがステップ605で継続する。あるいは、エンコーダデコーダシステムは、第1フレームのセグメントからの動力学情報を利用する代わりに、エンコーダデコーダは第1フレームからの構造的な情報を使用し、第2フレームを記述するための基底関数または形成ブロックの最良の組を判定する。エンコーダおよびデコーダ双方は別々にこれらの基底関数を判定し、それ故に基底関数の係数のみが伝送される必要がある。2.エンコーダエンコーダの動作が概して上述されてきたが、これはエンコーディングプロセスの特定のステップの詳述であると同様、いくつかの特定画像例に関する動作を示す命令でもある。2.1参照フレーム伝送図7を参照し、エンコーダは参照フレーム、この場合、バックグラウンドに太陽があり、車が左から右へと動く画像、を受信する。参照フレームは概して、それに対して、他の任意のフレームが記述されるフレームを示す。エンコーダサイクルの第1通路において、参照フレームは概してキーフレームである。あるいは、引き続く通路においては、参照フレームは以前にエンコードされた非キーフレームであり得る。図8は、エンコーダが初めにキーフレームを処理するプロシージャを示すフロー図である。ステップ810において、エンコーダは図7に示されるフレームを受信する。ステップ820において、エンコーダはフレームをエンコードする。ステップ830において、エンコーダは、エンコードされたフレームを受容体に例えば、デコーダまたは引き続くデコーディングのための記憶媒体に伝送する。エンコーダは、ステップ840においてエンコードされたフレームを再構築する。2.2セグメント化セグメント化は、デジタル画像が構成要素、すなわち、各セグメントが、図10に示される画像内の値における急激な変化によって制限される領域を表すセグメント、へと下位分割されるプロセスである。コンピュータビジョンの当業者は、セグメント化が複数の方法で実行され得ることを認識する。例えば、そのような1方法は、いわゆるウォーターシェッド方法であり、ウォーターシェッド方法はwww.csu.edu.au/ci/vol3/csc96f/csc96f.htmlにおいて記載されている。本発明で利用可能なこのセグメント化技術およびその他のセグメント化技術は当業者には公知であり、本明細書において詳細に記載される必要はない。ここで図9を参照すると、ステップ910において、エンコーダは再構築された参照フレームをセグメント化し、画像固有の構造特徴を判定する。あるいは、ステップ910において、エンコーダは、同じ目的でオリジナルの画像フレームをセグメント化する。エンコーダは、図7のセグメントが車、後輪、前輪、後部ウィンドウ、前部ウィンドウ、道、太陽、およびバックグラウンドであることを判定する。あるいは、ステップ910において、エンコーダはオリジナルフレームおよび再構築されたフレーム双方をセグメント化し、双方のフレーム間のセグメント化の違いを判定する。この場合、エンコーダは、この違いを運動関連情報の1部としてデコーダに伝送する。この違いは、本明細書においてセグメント化増強として示される。ステップ920において、エンコーダは任意の予め決められた基準に基づいてセグメントを順序化し、図10に示されるように、セグメント1001から1008までそれぞれを表す。セグメント化は、本記載においてさらに説明されるように、エンコーダが効果的な運動マッチング、Z順序化、運動予測、および効果的な残余部コーディングを実行することを可能にする。2.3動力学情報一旦セグメント化が完了すると、エンコーダは、各フレームごとの進展に関する、動力学情報を判定およびエンコードする。動力学情報は、運動関連情報および残余部情報の記述を含む。運動関連情報は、必要ならばセグメント、Z順序化情報、セグメント化増強など運動データから成り得る。残余部情報は、以前には塞がれていた領域および/または不正確なマッチングおよび新しい情報の露出、ならびに本質的に運動によって捉えられないセグメント発展の部分の情報から成る。2.3.1マッチングおよびセグメントモーションデータ動力学情報のモーション部分は、モーションマッチングとして公知のプロセスを経て判定される。モーションマッチングは、類似の領域セグメントである場合が多いを1つのフレームから別のフレームまでマッチングさせるプロシージャである。デジタル画像フレーム内の各画素において、画像が数値として表される。1つのフレーム中の領域が別のフレーム中の領域と同一または充分に類似する画素値を有する場合、マッチングが発生する。例えば、セグメントが異なるフレーム中の別のセグメントにマッチングすると見なすことができるのは、第1のセグメントが適切に移動されて第2のセグメント上に配置され、画素値の差の絶対値の平均を計算して、その平均値が所定の閾値未満に収まる場合である。画素値の差の絶対値の平均がよく用いられるのは類似性の簡単な基準となるからであるが、他の任意の数の基準でも充分である。マッチングを判定するために用いられ得るような基準は当業者にとって明らかであり、これ以上言及する必要はない。図11は、フレーム1110とフレーム1120との間での灰色熱気球のモーションマッチングの一例を示す。フレーム1110において、灰色熱気球1111があり、フレーム1120において、灰色熱気球1121の隣に白色球1122がある。灰色熱気球1121は、灰色熱気球1111よりもやや小型で、ねじれている。熱気球1111が白色球1122上に移動すると、フレーム1110中の灰色熱気球1121内に含まれる画素値からフレーム1120内の白色球1122内に含まれる画素値が減算され、その結果、ゼロではない差が得られる。そのため、灰色熱気球と白色球はマッチングしない。しかし、灰色熱気球1110が灰色熱気球1120上に移動すると、フレーム1110中の灰色熱気球1111からフレーム1120中の灰色熱気球1121が減算され、その結果、エッジおよびバスケット近隣の小領域以外では、殆どがゼロの値およびゼロに近い値の結果が得られる。これにより、これら2つの灰色熱気球はマッチングしたと見なされる。2.3.2グループ化関連するセグメントを1つのグループとして見なし、これにより、エンコーダが、当該グループに関するモーション関連情報を個々のセグメント用の任意のさらなるリファインメントがある場合で必要な場合はそれと共に伝送するだけですむようにすれば、デコーダへと伝送されるモーション関連情報を低減することが可能である。例えば、セグメントモーションデータの場合、エンコーダは、代表的モーションベクトルまたは特徴的モーションベクトルをモーションベクトルオフセットがある場合はそれと共にデコーダに伝送し、これにより、グループ内の各セグメントの個々のモーションを表すだけでよい。特徴的モーションベクトルは実質的に任意の種類でよく、例えば、単一のベースセグメントまたはグループ全体の平均の特徴的モーションベクトルでよい。グループ化が可能となるのは、セグメント周囲に以前に動力学情報がある場合またはセグメント周囲にマルチスケール情報がある場合である。マルチスケールについては、下記のセクション2.3.4において説明する。本発明のこの特定の実施形態にこれ以上限定することなく、モーションベクトルグループ化のみについてさらに説明する。図12を参照して、工程1210において、エンコーダは、第1のフレームがキーフレームであるか否かすなわち、他のフレームに関連して記述されていないかどうかを判定する。第1のフレームがキーフレームである場合、モーショングループ化ルーチンは、マルチスケーリング情報を可能であれば用いてセグメントをグループ化する。第1のフレームがキーフレームではない場合、グループセグメントにとって利用可能な何らかの以前のモーションデータが提供される。従って、第1のフレームがキーフレームではない場合、工程1220において、セクション2.3.2において後述するモーショングループ化ルーチンが実行される。しかし、以前のモーションデータを用いても、マルチスケーリングをさらなるグループ化用に利用することは妨げられない。しかし、第1のフレームがキーフレームである場合、工程1230において、エンコーダは、利用可能なマルチスケール情報があるか否かを判定する。利用可能なマルチスケール情報がある場合、次いで、工程1240において、セクション2.3.4において後述するマルチスケーリングルーチンを実行する。利用可能なマルチスケール情報が無い場合、工程1250において、エンコーダはセグメントのグループ化を行なわない。2.3.2.1モーションベースのグループ化モーションベースのグループ化は、以前のモーション関連情報が有り、エンコーダが関連付け対象セグメントを判定することが可能である場合のみに発生する。デコーダも、エンコーダが行うのと同様の様式でセグメントのグループ化を行う。モーションベースのグループ化は、図13中の工程1310から開始し、各セグメントの以前のモーションデータが検討される。工程1320において、類似のモーションベクトルを示すセグメントをグループ化する。2.3.2.2マルチスケールグループ化マルチスケーリンググループ化は、以前のモーションを用いたセグメントのグループ化の代替である。さらに、マルチスケーリングは、モーショングループ化と協働させて用いることも可能である。マルチスケーリングは、画像のより低い解像度のバージョンを生成するプロセスである。マルチプルスケールを作成する例示的工程は、平滑smoorthing機能の反復適用を経る。より低い解像度の画像の生成の結果、解像度は低減し、大型で支配的なフィーチャのみが可視状態となる。従って、例えば、解像度が低い場合、フットボールの縫い目は見えなくるが、フットボールそのものは認識可能である。マルチスケールプロセスの一例を以下に示す。図15を参照して、工程1510において、エンコーダは、例えば、当該フレームについて、最も疎な画像スケールすなわち、最低解像度を検討し、工程1520において、可視状態のままのセグメントを判定する。このような疎な画像スケールの場合、通常、主要なオブジェクトの外郭として結合する最も大きく最も支配的なフィーチャのみが可視状態で残り、通常、主要オブジェクトを構成するフィーチャに対応する非支配的セグメントは、認識不可能となる。工程1530において、最も疎なスケールにおいて不可視状態となり、かつ、所与の可視セグメントを共に含むセグメントは、1つのグループと関連付けられる。これは、小さくて不可視状態となったセグメントは、大きなオブジェクトと関係を共有する場合が多く、類似の動力学情報を有する傾向があるためである。そのため、より疎なスケールの画像表示物は、より微細なスケールのクラスタを表すと見なされる。工程1540において、判定がなされる。より可視度が高いセグメントがある場合、工程1550において、エンコーダは、次のセグメントを検討し、工程1530へと進む。より可視度が高いセグメントが無い場合、マルチスケーリンググループ化プロセスは終了する。上記の例示的実施形態では疎な画像スケールを用いたが、これは、もちろん、特定の画像に用いられる特定の範囲のマルチスケーリングに従う。別の例示的実施形態において一つ以上の他のスケールも利用可能であることは明らかである。デコーダは、エンコーダが行うのと同一または類似の様式でグループ化を行う。2.3.3モーション予測図14を参照して、工程1410において、エンコーダはセグメントを検討する。工程1420において、エンコーダは、当該セグメントについて以前のモーション関連情報が有るか否かを判定し、そのモーションを予測できるようにする。デコーダは、エンコーダと同一または類似の様式で、セグメントのモーションまたはセグメントのグループを予測する。以前のモーション関連情報が無い場合、エンコーダは、下記のように工程1460へと進む。以前のモーション関連情報が有る場合、エンコーダは、工程1430においてセグメントのモーションを予測し、予測結果をセグメントの実際のモーションと比較する。モーションベクトルオフセットは初めは、工程1440において、実際のモーションベクトルと予測されたモーションベクトルとの間の差として計算される。工程1450において、エンコーダは、さらに、上記のモーションベクトルオフセットを、上記のモーションベクトルオフセットと関連する特徴的またはグループモーションベクトルとの間の差として表す。工程1460において、エンコーダは、まだセグメントが有るか否かを判定する。まだセグメントが有る場合、工程1470において、エンコーダは、次のセグメントを検討し、工程1420へと進む。セグメントがそれ以上無い場合、予測ルーチンは終了する。2.3.2.1.1モーション関連情報符号化グループ化および予測が発生した後、グループ化および予測を利用leverageして、取り出されたモーション関連情報の大部分を符号化する再のオーバーヘッドを低減することが可能である。例えば、個々のセグメントの代わりにグループを基準にすることで、セグメント化の増強augmentationをより効率的に記述することが可能である。工程1330において、当該グループ内の全モーションベクトルの代表的フィーチャを計算することにより、グループのモーションベクトルを入手する。従って、グループ内の各セグメントについて、モーションベクトルの差のみすなわち、セグメントのモーションベクトル但し、存在すればであるがと特性あるいはグループモーションベクトルとの差を伝送する工程1340を参照。特性モーションベクトルの一例は、平均モーションベクトルである。モーション予測と予測されたモーションに関する符号化モーションオフセットのみとを用いれば、モーションベクトルにおいてさらなる改善を達成することが可能である。2.3.4Z-順序化Z-順序化は、各画像が占有する画像フレーム内の相対的深さ位置を指す。エンコーダは、Z-順序化情報を判定および伝送し、これにより、構造情報が1つのフレームから別のフレームへと変化するにつれて、構造情報内に含まれる深さ情報が保存される。2.3.5残余部の符号化残余部情報は、以前に塞がれたoccluded領域中の情報ならびに/または不正確なマッチングおよび新規情報の外観appearanceと、運動そのものによって捕獲されないセグメント発展の一部分と、などからなる。2.3.5.1バックグラウンド残余部図16に示すように、セグメントが移動すると、今まで隠蔽または遮断obstructされていた領域が初めて可視状態となる。図16において、車両が移動するにつれ、3つの領域が可視状態となる。これらの3つの領域は車両の背後にある領域であり、その領域の2つは車輪の背後にある領域である。これらの3つの領域をそれぞれ、領域1601~1603として印を付ける。図17を参照して、工程1710において、エンコーダは、以前に隠蔽された画像領域が発生した場所を判定する。工程1720において、エンコーダは、所定の順序化システムを用いて、領域を順序化する。工程1730において、1つの領域を包囲する領域単数または複数に対応する情報を用いて、エンコーダは、以前に隠蔽された領域の構造について数学的予測を行う。エンコーダはさらに、当該領域において露出した画像も正確に認識する。従って、工程1740において、エンコーダは、領域を検討し、予測された画像と実際の画像とを比較することにより、数学的予測が充分であったか否かを判定する。予測結果が実際の画像に近くない場合、工程1770において、エンコーダは、領域または差を符号化し、工程1780において、符号化メカニズムを示すフラグと共に符号化された情報を格納する。また、予測結果が実際の画像に近い場合、工程1745において、エンコーダは、その旨を示すフラグを格納する。工程1750において、エンコーダは、新規に遮断されていない領域がまだあるか否かを判定する。新規に遮断された領域がまだある場合、次の領域が検討され、ルーチンは工程1760へと進み、そうでない場合、ルーチンは終了する。2.3.5.2ローカル残余部ローカル残余部情報は、不正確なマッチングからの情報および新規情報の外観などからなる。例えば、図18において、車両および太陽は、フレーム1802のものの方がフレーム1801のものよりも小さい。残余部情報の構造は、新規セグメントと以前のセグメントとの差の程度によって異なり、良好に規定された領域であったり、領域のセットであったり、あるいはまだら状であったりし得る。ローカル残余部の種類に応じて異なる種類の符号化方法を用いるのが理想的である。デコーダは、セグメントモーションを認識しているため、ローカル残余部の多くが位置する場所を認識する。エンコーダは、このデコーダの構造情報に関する知識例えば、考慮対象となり得るセグメント境界位置を用いて、ローカル残余部符号化の効率を向上させる。図19を参照して、工程1910において、エンコーダは、ローカル残余部の位置を判定する。工程1920において、エンコーダは、所定の順序化方式を用いて、ローカル残余部が発生した領域を順序化する。工程1930において、エンコーダは、第1のローカル残余部を検討して、そのローカル残余部を符号化する最も効率的な方法を判定し、次いで、工程1940においてそのローカル残余部を符号化する。工程1950において、エンコーダは、符号化された残余部と、符号化メカニズムを示すフラグとを格納する。工程1960においてまだローカル残余部の位置が有る場合、工程1970において、次のローカル残余部の位置を検討して、ルーチンは工程1940へと進む。ローカル残余部の位置が無い場合、ルーチンは終了する。2.3.6特殊命令エンコーダは、各セグメントに関するコマンドおよび命令を、必要に応じてビットストリームに埋め込む。これらのコマンドの例としては、静的ウェブページの入手、別の映像ビットストリームの入手、テキストの待機等を含む但し、これらに限定されない。エンコーダは、セグメントを判定した後、これらのコマンドをビットストリーム内部の任意のポイントに埋め込み、エンコーダが判定することが可能な内容を利用することができる。図20は、コマンドがデータストリーム中に埋め込まれたポイントの一例である。図20を参照して、工程2010において、エンコーダは、第1のセグメントを検討する。工程2020において、エンコーダは、特殊命令フラグを伝送する。工程2030において、エンコーダは、当該セグメントについて特殊命令があるか否かを判定する。当該セグメントについて特殊命令がある場合、工程2040において、命令がデコーダへと伝送され、工程2050において、エンコーダは、セグメントがまだ他にも有るか否かを判定する。工程1730において当該セグメントと関連付けられた特殊命令がない場合、エンコーダは直接工程2050へと進む。工程2050においてまだ他にもセグメントがある場合、工程2060において、エンコーダは、工程2060において次のセグメントを検討し、工程2020へと進み、そうでない場合、ルーチンは終了する。2.4伝送動力学なモーションおよび残余部の情報の判定および符号化の後、フレーム情報の伝送に関する判定を行う。図21を参照して、工程2110において、残余部情報からの支援によって画像を主にモーション関連情報から合理的に再構築することが可能な場合、工程2190において、エンコーダは、当該フレームに関する動力学情報を伝送する。残余部情報からの支援によって画像を主にモーション関連情報から合理的に再構築することが不可能な場合、当該フレームはキーフレームとして符号化され、工程2185において、その動力学情報は廃棄される。2.5代替あるいは、エンコーダは、第1のフレームからのセグメントからの動力学情報を用いる代わりに、例えば第1のフレームからのセグメント化を含む情報等の構造情報を用いて、最良の基本的機能セットを作成および順序化するか、または、第2のフレームを描画するブロックを構築する。この工程は、適応型符号化方法または適応型変換transform符号化方法と呼ばれ得、これは、デコーダの能力に関するエンコーダの知識に基づいて、適切な基本的機能セットを作成するか、またはデコーダにとって利用可能な構造情報に基づいてブロックを構築するものである。エンコーダおよびデコーダはどちらとも、これらの基本的機能を独立して判定するため、基本的機能の係数のみを伝送するだけですむ。3.デコーダ3.1参照フレームの受信reception図22は、デコーダが参照フレームを受信するプロセスを示す。参照フレームは一般的には、他の後に生成されるフレームが描画される際の基準となるフレームである。工程2210において、デコーダは、符号化された参照フレームを受信する。工程2220において、デコーダは、その符号化された参照フレームを再構築する。工程2230において、デコーダは、キーフレームフラグを受信する。このフラグは、次のフレームがキーフレームであるか否かまたは次のフレームが動力学情報から再構築可能であるか否かを示す。次のフレームがキーフレームである場合、デコーダは工程2210へと戻り、次のフレームを受信する。次のフレームがキーフレームではない場合、このルーチンは終了する。3.2セグメント化上述したように、セグメント化は、デジタル画像をその構成要素部分すなわち、セグメントに細分化するプロセスであり、各セグメントは、当該画像中の値の劇的な変化または急激な変化によって結合する領域を示す。図23を参照して、工程2310において、デコーダは、再構築された参照デコーダをセグメント化して、当該画像の固有の構造的フィーチャを判定する。例えば、デコーダは、図7中のセグメントが車両、後輪、前輪、リアウィンドウ、フロントウィンドウ、道路、太陽、およびバックグラウンドであると判定する。工程2320において、デコーダは、エンコーダが用いる所定の基準と同じ基準に基づいてセグメントを順序化し、図10に示すようにセグメント1001~1007にそれぞれ印を付ける。3.3モーション関連情報セグメント化が達成された後、エンコーダは、各セグメントに関するモーション関連情報を受信する。モーション関連情報は、デコーダに、以前フレームにおけるセグメント位置に対する新規フレーム中のセグメント位置を伝える。図24は、モーション関連情報を受信するプロセスを示す。工程2410において、デコーダは、1つのセグメントを検討する。工程2420において、デコーダは、当該セグメントについて以前のモーションデータが有るか否かを判定する。当該セグメントについて以前のモーションデータが無い場合、デコーダは、工程2450に進む。当該セグメントについて以前のモーションデータが有る場合、デコーダは、工程2430においてセグメントのモーションを予測し、工程2440においてモーションベクトル修正を受信し、次いで工程2450へと進む。工程2450において、デコーダは、他にセグメントがあるか否かを判定する。他にセグメントがある場合、デコーダは、工程2460において次のセグメントを検討し、次いで工程2420へと進む。そうでない場合、ルーチンは終了する。関連するモーションを有するセグメントを共にグループ化し、1つのモーションベクトルによって表すと、動力学情報を低減することが可能である。デコーダによって受信される動力学情報は、いくつかの要素すなわち、1以前の参照デコーダがキーデコーダであるか否かすなわち2以前の参照デコーダがキーデコーダでない場合、マルチスケーリング情報が利用可能か否かによって変化する。図25を参照して、工程2510において、デコーダは、参照フレームがキーフレームすなわち、他の任意のフレームに関連して規定されていないフレームであるか否かを判定する。参照フレームがキーフレームである場合、セグメントの潜在的グループ化対象となる以前のモーションに関連する情報は存在しない。しかし、このような情報が利用可能な場合、デコーダは、マルチスケール情報をセグメントグループ化対象として用いることを試みる。工程2520において、デコーダは、利用可能なマルチスケール情報が有るか否かを判定する。参照フレームがキーフレームであり、かつ、デコーダにとって利用可能なマルチスケール情報がある場合、工程2530において、デコーダは、先ず、エンコーダに関して前述したように、マルチスケールルーチンを用いて、関連するセグメントを共にグループ化する。次いで、工程2540において、デコーダは、モーションベクトルおよびモーションベクトルオフセットを受信する。逆に言えば、参照フレームにとって利用可能なマルチスケール情報が無い場合、工程2550において、オフセット無しのモーションベクトルが、デコーダによって受信される。しかし、工程2510においてデコーダが第1のフレームはキーフレームではないと判定した場合、工程2560において、デコーダは、以下に説明するようなモーションベクトルグループ化ルーチンを実行する。このモーションベクトルグループ化ルーチンの代わりにまたはこのモーションベクトルグループ化ルーチンに加えて、デコーダは、上述したマルチスケールグループ化を用いることもできる。図26は、モーションベクトルグループ化ルーチンを示す。工程2610において、デコーダは、各セグメントの以前のモーションベクトルを検討する。工程2620において、デコーダは、類似の以前のモーションベクトルを有するセグメントを共にグループ化する。工程2630において、デコーダは、グループモーションが予測可能か否かを判定する。グループモーションが予測不可能な場合、工程2680において、デコーダは、モーションベクトルおよびオフセット但し、もし有ればを受信し、次いで工程2660へと進む。グループモーションが予測可能な場合、デコーダは、工程2640においてグループモーションを予測し、次いで、工程2650において予測修正を受信し、次いで工程2660へと進む。工程2660において、デコーダは、他にグループが有るか否かを判定する。他にグループが有る場合、デコーダは、工程2670において次のグループを検討し、工程2630へと進む。他にグループが無い場合、ルーチンは終了する。3.4残余部モーション関連情報を受信した後、デコーダは、残余部情報を受信する。残余部は2種類すなわち、バックグラウンド残余部およびローカル残余部に分類される。3.4.1バックグラウンド残余部図16に示すように、車両が移動すると、以前に隠蔽または遮断されたいた領域がはじめて可視状態となる。デコーダは、これらの領域の場所を認識しており、これらの領域を、所定の順序化スキームを用いて順序化する。図16において、3つの領域の遮断が無くなり、特に、車両の背後および2つの車輪の背後の部分の遮断が無くなる。これらの領域に、領域1601~1603として印を付ける。図27を参照して、工程2710において、デコーダは、バックグラウンド残余部領域を検討し、次いで、工程2720において領域を順序化する。工程2730において、デコーダは、第1のバックグラウンド残余部領域の構造について数学的予測を行う。工程2740において、デコーダは、予測がいかに充分であるかおよび修正が必要であるかを示すフラグを受信する。工程2750において、デコーダは、予測が充分か否かについて判定を行う。予測が充分である場合、ルーチンは工程2770へと進む。予測が充分でない場合、工程2760において、デコーダは、符号化された領域と符号化方式を示すフラグとを受信し、必要に応じて再構築を行い、次いで、工程2770へと進む。工程2770において、デコーダは、他にバックグラウンド残余部領域が有るか否かを判定する。他にバックグラウンド残余部領域が有る場合、デコーダは、工程2780において、次の領域を検討し、工程2730へと進む。そうでない場合、ルーチンは終了する。3.4.2ローカル残余部残余部情報は、不正確なマッチングから生じた情報および新規情報の外観からなる。図18において、車両および太陽は、フレーム1802のものの方がフレーム1801のものよりも小さく見える。残余部の構造は、新規セグメントと以前のセグメントととの間の差異の程度によって異なる。デコーダは、ローカル残余部の大部分がセグメントの境界に露出することを認識している。デコーダの有する構造情報例えば、セグメント境界の位置に関するデコーダの知識を考慮に入れて、ローカル残余部符号化の効率を高めることが可能である。図28を参照して、工程2810において、デコーダは、第1のセグメントを検討する。工程2820において、デコーダは、必要ならば符号化方法を示すフラグを受信し、当該セグメントの符号化されたローカル残余部を受信する。工程2830において、デコーダは、他にもセグメントが有るか否かを判定する。他にもセグメントが有る場合、デコーダは、工程2840において次のセグメントを検討し、次いで、工程2820へと進む。そうでない場合、ルーチンは終了する。3.4Z-順序化Z-順序化は、画像フレーム内の各セグメントの深さ位置を示す。デコーダは、Z-順序化情報を用いて、完璧に可視状態になるセグメントと、部分的または完全に隠蔽されるセグメントとを判定する。3.5再構築最後に、判定されたモーション関連情報および残余部に基づき、フレームを再構築する。3.6特殊命令およびオブジェクトベースの操作画像に関する構造情報に加えて、デコーダは、ビットストリーム中に埋め込まれ、様々なセグメントと関連付けられたコマンドを受信および実行することが可能である。エンコーダおよびデコーダが同期され、同じ参照フレームで動作する場合、エンコーダは、コマンドと関連付けられた構造情報を伝送しなくてよい。また、ユーザ駆動型イベント例えば、マウスのクリックが発生するまで、埋め込まれたコマンドを一時停止状態に保持することも可能である。図29は、本発明の1つの実施形態による、埋設コマンドを処理するプロシージャを示す。工程2910において、デコーダは、第1のセグメントを検討する。工程2920において、デコーダは、特殊命令フラグを受信する。工程2930において、デコーダは、当該セグメントと関連付けられた特殊な命令またはコマンドが有るか否かを判定する。当該セグメントと関連付けられた特殊な命令またはコマンドが有る場合、デコーダは、工程2940においてコマンド単数または複数を受信し、次いで、工程2950へと進む。そうでない場合、デコーダは、工程2950へと直接進み、他にもセグメントが有るか否かを判定する。他にもセグメントが有る場合、デコーダは、工程2960において次のセグメントを検討し、その後工程2920へと戻る。他にセグメントが無い場合、ルーチンは終了する。図30は、本発明の1つの実施形態による、ユーザ駆動型イベントを処理するプロシージャを示すフローチャートである。工程3010において、デコーダは、ユーザ駆動型イベントが発生したか否かを判定する。ユーザ駆動型イベントが発生した場合、工程3020において、デコーダは、当該ユーザ駆動型イベントがどのセグメントを参照したか判定する。次いで、工程3030において、関連するコマンドが実行される。次いで、工程3040において、デコーダは、終了シーケンスが発生したか否かを判定する。終了シーケンスが発生した場合、工程3010においてツールが再開する。そうでない場合、ルーチンは終了する。工程3010においてデコーダがユーザ駆動型イベントが発生しなかったと判定した場合、デコーダは、工程3040へと直接進む。デコーダが有するセグメント化等の構造情報を計算する能力を利用して、構造情報に添付され得る特殊命令と共に構造情報の大部分を送らなければならないオーバーヘッドを大幅に低減することが可能である。例えば、別個のセグメントによって表される画像中のオブジェクトまたは異なるフィーチャは、別個のエンティティとして便利に操作可能である。このような操作として、aフレーム内の編集、b他の画像またはアプリケーションへのエクスポート、およびcユーザ入力に基づいた双方向オペレーション等があるただし、これらに限定されない。エンコーダおよびデコーダを同期させるシステムにおいて、操作されたオブジェクトまたはフィーチャをすぐに再符号化して、これにより、現在の映像ストリームまたはいくつかの他の映像ストリームに再導入することが可能である。このような様式で、本発明の技術は、従来の映像符号化のビットまたは画素の利用による制約の問題を解消し、従来の映像符号化を、実際のオブジェクトのモデル化のためのツールとして有用なものにする。あるいは、デコーダは、映像フレームの構造情報を判定した後、第2の映像フレームを描画するために用いられ得る基本的機能の最良の組み合わせを判定する。次いで、デコーダは、エンコーダから係数を受信し、第2の画像フレームを再構築する。エンコーダおよびデコーダはどちらとも、利用可能な構造情報からの同一の基本的機能を独立して作成および順序化するため、基本的機能の係数のみを伝送するだけでよい。これは、適応型符号化または適応型変換符号化方法である。4.0映像フォーマット本明細書中に開示される本発明では、映像データを伝送するための新規な映像フォーマットについても説明した。この映像フォーマットは、画像フレームの構造情報に関連付けられた動力学情報からなる。この構造情報としては、例えば、モーションに関連する情報、残余部情報、および特殊命令があるただし、これらに限定されない。あるいは、この新規映像フォーマットは、基本的機能の組み合わせから導出される係数のシーケンスからなり得る。5.0結論上記のセクションにおいて、フローチャートを用いて、エンコーダおよびデコーダの動作について主に説明してきた。説明は、当業者がこれらのエンコーダおよびデコーダを実質的に任意のコンピュータベースの環境でインプリメントできるように行った。このようなインプリメンテーションは、特定のソフトウェア環境および/またはハードウェア環境に限定されない。例えば、このようなインプリメンテーションは、実質的に任意のプログラミング言語を用いて、一連の機能モジュール例えば、I/Oモジュール、モーションマッチングモジュール、残余部モジュール等として、ソフトウェア全体として汎用コンピュータ上にインプリメント可能である。あるいは、より高速な動作が得られるよう、このようなインプリメンテーションをハードウェア全体として例えば、カスタムVLSIチップとしてインプリメントすることも可能である。さらに他のインプリメンテーションが、特定の速度、コスト、および特定の動作環境の伝送ニーズによって判定する実質的に任意のソフトウェアおよびハードウェアの組み合わせを含み得る。上記の記載は全て、本発明の例示的実施形態および用途を示したものであり、これらの記載から得られる関連する改変、改良および変更は、本発明の意図および範囲を逸脱することなく、当業者にとって明らかである。従って、本発明は、上記の開示内容に限定されるのではなく、本明細書中の特許請求の範囲によって解釈されるべきである。