"ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を有する符号化されたビデオシーケンスを生成するための装置であって、前記装置は、現在のピクチャ中のマクロブロックがピクチャの群中の別のピクチャに関してどのように動いたかを示すベース動きデータを計算するためのベース動き補償器1006と、前記ベース動きデータを用いて残差ピクチャのベースシーケンスを計算するためのベース動き予測器1012と、残差ピクチャの前記ベースシーケンスから前記符号化されたベーススケーリングレイヤ1002を計算するように形成されているベースピクチャコーダ1010と、拡張動きデータを決定するための拡張動き補償器1014と、残差ピクチャの拡張シーケンスを計算するための拡張動き予測器1016と、残差ピクチャの前記拡張シーケンスを用いさらに残差ピクチャの前記ベースシーケンスについての情報1026を用いて拡張予測残差ピクチャを計算するための中間レイヤ予測器1018と、前記符号化された拡張スケーリングレイヤ1004を得るために前記拡張予測残差ピクチャを符号化するための拡張ピクチャコーダ1028とを備える、装置。前記ベースピクチャコーダ1010は、ベース量子化パラメータ1034を用いて量子化を実行するように形成され、前記拡張ピクチャコーダ1028は、拡張量子化パラメータ1036を用いて量子化を実行するように形成され、前記拡張量子化パラメータ1036は、前記ベース量子化パラメータ1034よりも細かな量子化を実行することができ、前記ベースピクチャコーダ1010は、再構成されたベースシーケンスを得るために第1量子化パラメータを用いて量子化された残差ピクチャの前記ベースシーケンスを再構成するように形成され、さらに前記中間レイヤ予測器1026は、残差ピクチャの前記拡張シーケンスを用い、さらに残差ピクチャの前記再構成されたベースシーケンスを残差ピクチャの前記ベースシーケンスについての情報として用いて、前記拡張予測残差ピクチャを計算するように形成されている、請求項1に記載の装置。前記ピクチャの群の解像度を間引きするためのデシメータ1032であって、前記デシメータ1032は、前記拡張動き補償器1014に提供されるピクチャの群の拡張解像度よりも低いベース解像度を有するピクチャの群を前記ベース補償器1006に提供するように形成されているデシメータと、残差ピクチャの補間されたベースシーケンスを得るために残差ピクチャの前記ベースシーケンスまたは残差ピクチャの再構成されたベースシーケンスを空間的に補間するための補間器1022であって、残差ピクチャの補間されたベースシーケンスを残差ピクチャの前記ベースシーケンスについての情報1026として前記中間レイヤ予測器1018に供給することができる補間器とをさらに備える、請求項1または請求項2に記載の装置。前記ベース動きデータを前記拡張解像度に適応するための動きデータアップサンプラ1042をさらに備える、請求項3に記載の装置。前記ベース動き補償器1006は、マクロブロックに対して2次元の動きベクトルを計算するように形成されている、先行する請求項のいずれかに記載の装置。前記ベース動き予測器1012は、残差ピクチャの前記ベースシーケンスの残差ピクチャのマクロブロックを得るために前記ベース動きデータを用いて予測されるマクロブロックを現在のマクロブロックから差し引くように形成されている、先行する請求項のいずれかに記載の装置。前記中間レイヤ予測器1018は、残差ピクチャの前記拡張シーケンスからのブロックの使用と比較して予測を適用することによってコーダ利得を増加することができるかどうかを、ブロックに対して適応的に決定するように形成されている、先行する請求項のいずれかに記載の装置。前記中間レイヤ予測器1018は、拡張予測残差ピクチャのマクロブロックを得るために、残差ピクチャの前記ベースシーケンス、残差ピクチャの前記再構成されたベースシーケンス、残差ピクチャの前記補間されたベースシーケンスまたは残差ピクチャの前記再構成され補間されたベースシーケンスからのマクロブロックを用いて予測されるマクロブロックを、残差ピクチャの前記拡張シーケンスの現在のマクロブロックから差し引くように形成されている、先行する請求項のいずれかに記載の装置。前記ベース動き補償器1006は、前記ベース量子化パラメータ1034、ひずみ数式項および前記ベース動きデータを送信するためのデータレートに基づいて、前記ベース動きデータを計算するように形成されている、請求項2に記載の装置。前記拡張動き補償器1006は、前記拡張量子化パラメータ1036、ひずみ数式項および前記拡張動きデータを送信するためのデータレートに基づいて、前記拡張動きデータを計算するように形成されている、請求項2または請求項9に記載の装置。前記拡張動き補償器1006は、前記ベース動きデータまたはモード制御信号に基づくスケールされた動きデータを使用するように形成されている、先行する請求項のいずれかに記載の装置。前記ベーススケーリングレイヤ1002は、前記拡張スケーリングレイヤ1004より低い解像度を有し、前記拡張動き補償器1014は、制御信号1048に基づく残余動きデータを決定するように形成され、さらに前記拡張ピクチャコーダ1028は、前記残余動きデータを前記拡張スケーリングレイヤ1004に符号化するように形成されている、先行する請求項のいずれかに記載の装置。前記ベース動き予測器1012および前記拡張動き予測器1016は、動き補償予測操作を実行するように形成されている、先行する請求項のいずれかに記載の装置。前記ベース動き予測器1012および前記拡張動き予測器は、少なくとも1つのローパスおよびいくつかのハイパスピクチャへの動き補償時間的分解を得るために、前記動き補償予測操作は別として動き補償更新操作を実行するように形成されている、請求項1ないし請求項12のいずれかに記載の装置。ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を有する符号化されたビデオシーケンスを生成するための方法であって、前記方法は、現在のピクチャ中のマクロブロックがピクチャの群中の別のピクチャに関してどのように動いたかを示すベース動きデータを計算するステップ1006と、前記ベース動きデータを用いて残差ピクチャのベースシーケンスを計算するステップ1012と、残差ピクチャの前記ベースシーケンスから前記符号化されたベーススケーリングレイヤ1002を計算するために残差ピクチャの前記ベースシーケンスについての情報を符号化するステップ1010と、拡張動きデータを決定するステップ1014と、残差ピクチャの拡張シーケンスを計算するステップ1016と、残差ピクチャの前記拡張シーケンスを用いさらに残差ピクチャの前記ベースシーケンスについての情報1026を用いて拡張予測残差ピクチャを計算するステップ1018と、前記符号化された拡張スケーリングレイヤ1004を得るために前記拡張予測残差ピクチャを符号化するステップ1028とを備える、方法。ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を有する符号化されたビデオシーケンスを復号化するための装置であって、前記装置は、残差ピクチャの復号化されたベースシーケンスおよびベース動きデータを得るために前記ベーススケーリングレイヤを復号化するためのベースピクチャデコーダ1060と、前記ベース動きデータおよび残差ピクチャの前記復号化されたシーケンスを用いて前記ベーススケーリングレイヤのピクチャのシーケンスを得るためのベース動き結合器1064と、拡張予測残差ピクチャを得るために前記拡張スケーリングレイヤを復号化するための拡張ピクチャデコーダ1066と、残差ピクチャの拡張シーケンスを得るために、残差ピクチャの前記復号化されたベースシーケンスまたは残差ピクチャの補間されたベースシーケンスと前記拡張予測残差ピクチャとを結合するための中間レイヤ結合器1074と、残差ピクチャの前記拡張シーケンスおよび拡張動きデータを用いて前記拡張スケーリングレイヤのピクチャのシーケンスを得るように形成されている拡張動き結合器1076とを備える、装置。前記ベースピクチャデコーダ1060は、拡張量子化パラメータより大きいベース量子化パラメータを用いて逆量子化するように形成され、さらに前記中間レイヤ結合器1074は、残差ピクチャの前記復号化されたベースシーケンスまたは残差ピクチャの補間されたバージョンを用いるように形成されている、請求項16に記載の装置。前記ベーススケーリングレイヤ1002のピクチャは、前記拡張スケーリングレイヤ1004のピクチャより低い解像度を有することができ、さらに残差ピクチャの前記復号化されたベースシーケンスを高い解像度に補間するための残余値補間器1070をさらに有する、請求項16または請求項17に記載の装置。前記ベーススケーリングレイヤのピクチャは、前記拡張スケーリングレイヤのピクチャより低い解像度を有し、さらに前記拡張動きデータまたは前記拡張動きデータの予測を得るために前記ベース動きデータを前記拡張解像度に変換するための動きデータアップサンプラ1086をさらに有する、請求項16ないし請求項18のいずれかに記載の装置。前記符号化されたビデオシーケンスは残余動きデータを有し、さらに前記拡張動きデータを決定するために前記残余動きデータと前記拡張動きデータの前記予測とを結合するための動きデータ決定器1078を有する、請求項19に記載の装置。前記ベース動き結合器1064および前記拡張動き結合器は、逆の予測操作だけ、または、逆の予測操作および逆の更新操作を実行するように形成されている、請求項16ないし請求項20のいずれかに記載の装置。補間器1070が、補間されるピクセルの環境において複数のピクセルを用いて補間フィルタ操作を用いるように形成されている、請求項18ないし請求項20のいずれかに記載の装置。前記補間フィルタは、他の変換ブロックのピクセルが補間されるピクセルの近くに存在する場合に、他の変換ブロックのピクセルの代わりに合成された値を用いるように形成されている、請求項22に記載の装置。前記符号化されたビデオシーケンスは、マクロブロックに対する拡張動きデータを有し、動きデータ制御信号1070は、予測信号が前記ベース動きデータのスケールされた動きベクトルから導出される前記拡張動きデータの基礎をなしているかどうかを、または、予測信号が前記ベース動きデータから導出されない前記拡張動きデータの基礎をなしているどうかを示す前記拡張動きデータに関連付けられ、さらに、前記装置は、前記動きデータ制御信号1070を読み取り、さらに前記ベース動きデータの前記スケールされたバージョンを用いて前記制御信号に基づいて前記拡張動きデータを計算するように形成されている、請求項16ないし請求項23のいずれかに記載の装置。マクロブロックに対する前記符号化されたビデオシーケンスは、マクロブロックが中間レイヤ予測によりまたは中間レイヤ予測なしで生成されたかどうかを示す、前記拡張スケーリングレイヤにおいて中間レイヤ予測制御信号1030を有し、さらに前記装置は、前記中間レイヤ予測制御信号1030が考慮されたマクロブロックに対する中間レイヤ予測を示す場合にだけ、前記中間レイヤ結合器1074をアクティブにするようにさらに形成されている、請求項16ないし請求項24のいずれかに記載の装置。ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を有する符号化されたビデオシーケンスを復号化するための方法であって、前記方法は、残差ピクチャの復号化されたベースシーケンスおよびベース動きデータを得るために前記ベーススケーリングレイヤを復号化するステップ1060と、前記ベース動きデータおよび残差ピクチャの前記復号化されたシーケンスを用いて前記ベーススケーリングレイヤのピクチャのシーケンスを得るためにベース動き結合1064を実行するステップと、拡張予測残差ピクチャを得るために前記拡張スケーリングレイヤを復号化するステップ1066と、残差ピクチャの拡張シーケンスを得るために、残差ピクチャの前記復号化されたベースシーケンスまたは残差ピクチャの補間されたベースシーケンスと前記拡張予測残差ピクチャとを結合するステップ1074と、残差ピクチャの前記拡張シーケンスおよび拡張動きデータを用いて前記拡張スケーリングレイヤのピクチャのシーケンスを得るために拡張動き結合1076を実行するステップとを備える、方法。請求項15または請求項26に記載の方法がコンピュータ上で実行されるときに、前記方法を実行するためのコンピュータプログラム。ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を有する符号化されたビデオシーケンスを有するコンピュータ読み取り可能な媒体であって、前記符号化されたビデオシーケンスは、請求項16に記載の復号化するための装置で復号化される場合に、復号化された第1スケーリングレイヤおよび復号化された第2スケーリングレイヤを生成するように形成されている、媒体。本発明の目的は、スケーラブル概念であるという事実にもかかわらず、できるだけ低いビットレートを提供する柔軟性のある符号化/復号化するための概念を提供することである。この目的は、請求項1による符号化されたビデオシーケンスを生成するための装置、請求項15による符号化されたビデオシーケンスを生成するための方法、請求項16による符号化されたビデオシーケンスを復号化するための装置、請求項26による符号化されたビデオシーケンスを復号化するための方法、請求項27によるコンピュータプログラムまたは請求項28によるコンピュータ読み取り可能な媒体によって達成される。本発明は、ビットレート削減が、スケーリングレイヤ内で実行される動き補償予測によって得られるだけでなく、一定のピクチャ品質を有するさらなるビットレート削減が、ベースレイヤのような低位レイヤの、拡張レイヤのような高位レイヤへの動き補償予測の後で、残余ピクチャの中間スケーリングレイヤ予測を実行することによって得られるという知見に基づいている。個別に考慮された異なるスケーリングレイヤ、これらは望ましくは解像度に関してまたは信号ノイズ比に関してスケールされるものであるが、これらの残余値は、同じ時間スケーリングレイヤ内において、動き補償予測後の残余値の間で相関を有するということが発見された。本発明では、デコーダ側の中間レイヤ結合器に対応する中間レイヤ予測器を拡張スケーリングレイヤに対してコーダ側に備えることによって、これらの相関が有利に活用される。望ましくは、この中間レイヤ予測器は、適応的に設計され、たとえば、各々のマクロブロックに対して、中間レイヤ予測が価値のあるものかどうか、あるいは予測することがむしろビットレートの増加につながるのかどうかを決定するようになっている。後者の場合は、予測残余信号がその後のエントロピーコーダに関して拡張レイヤの元の動き補償残余信号より大きくなる場合である。しかしながら、この状態は多くの場合には起こらず、中間レイヤ予測器がアクティブにされて大きなビットレート削減をもたらす。さらに、本発明の好適な実施の形態において、拡張レイヤの動きデータの予測も、実行される。このように、それは、SNRまたは解像度に関するように、異なる品質スケーリングレイヤ中で、異なるスケーリングレイヤにおけるモーションフィールドが、互いに相関を有し、動きデータ予測子を提供することによって本発明によるビットレート削減に有利に用いられうることをさらに示す。この実施において、予測は個別の動きデータが拡張レイヤに対して計算されないという点で実行することができるが、ベースレイヤの動きデータは最終的にアップサンプリングの後に送信される。しかしながら、これは、動きデータが特に拡張レイヤに対して計算される場合よりも拡張レイヤにおける動き補償残余信号が大きくなるという事実になる。しかしながら、この不利な点は、伝送の間に拡張レイヤのために節約される動きデータによる節減がおそらくより大きな残余値によって生じるビットレート増加より大きい場合に、差が生じない。しかしながら、個別のモーションフィールドは、実施において拡張レイヤのために計算することができ、ベースレイヤのモーションフィールドは、計算に組み入れられるか、または、モーションフィールド残余値だけを送信する予測器として用いられる。この実施は、2つのスケーリングレイヤの動きデータ相関が完全に利用され、動きデータの残余値が動きデータ予測の後にできるだけ小さいという効果を有する。しかしながら、この概念の不利な点は、追加の動きデータ残余値を送信しなければならないという事実である。本発明の好適な実施の形態において、さらに、SNRスケーラビリティが用いられる。これは、量子化が拡張レイヤにおいてよりも、より粗い量子化パラメータを有するベースレイヤにおいて実行されることを意味する。より粗い量子化器ステップ幅によって量子化され、再構成されるベース動き予測の残余値は、このことにより中間レイヤ予測器に対する予測信号として用いられる。純粋なSNRスケーラビリティの場合、それは、コーダ側の全てのスケーリングレイヤに対して1つのモーションフィールドを計算するために十分でありうる。拡張レイヤの動きデータに関して、これは、また、さらなる拡張動きデータを送信する必要がないが、ベースレイヤからの拡張動きデータが拡張レイヤに対する逆の動き補償のためにコーダ側に完全に用いられうることを意味する。しかしながら、動きデータの計算が用いられる場合、異なる量子化パラメータが、量子化パラメータが導入される異なるモーションフィールドをもたらす。空間スケーラビリティが用いられる場合、ベーススケーリングレイヤが拡張スケーリングレイヤより粗い空間解像度を有することを意味し、拡張スケーリングレイヤのより低い空間解像度から変換し次にそれを中間レイヤ予測器に提供することを意味するベース動き予測の残余値を補間することが好ましい。さらに、各スケーリングレイヤに対して動き情報の個別の計算を実行することが好ましい。しかしながら、本発明の好適な実施の形態において、動きデータ予測がデータレート削減のためにここで用いられ、それは、予測されない動きデータより低いデータレートを要求する動きデータ残余値だけを送信するために、スケーリング後の低位のスケーリングレイヤの動きデータの完全な伝送にあり、または、より高位のスケーリングレイヤの動きベクトルを予測するためのより低位のスケーリングレイヤのアップサンプルされた動きベクトルを使用することからなりうる。この場合、中間レイヤ予測器および拡張動きデータ予測器の両方を適応的に設計することが好ましい。本発明の好適な実施の形態において、ベーススケーリングレイヤおよび拡張スケーリングレイヤが、空間解像度において、さらに、用いられた量子化器ステップ幅を意味する用いられた量子化パラメータにおいて異なるという点で、結合されたスケーラビリティが用いられる。この場合、たとえば、ラグランジュ最適化によるベーススケーリングレイヤに対する前の量子化パラメータから始まって、ベースレイヤのための量子化パラメータ、ひずみおよびベースレイヤの動きデータのためのビット要求の結合が計算される。動き補償予測の後に得られる残余値および用いられるベース動きデータは、それにより、より高位のスケーリングレイヤのそれぞれのデータの予測のために用いられ、より高位のスケーリングレイヤのためのより細かなスケーリングパラメータから再び始まって、動きデータのビット要求、量子化パラメータおよびひずみの結合、拡張動きデータが計算されうる。本発明の好適な実施の形態が添付図面に関して以下において説明される。図1aは、ベーススケーリングレイヤおよび拡張スケーリングレイヤを有する符号化されたビデオシーケンスを生成するための装置の好適な実施の形態を示す。8、16または任意の数のピクチャの群を有する元のビデオシーケンスは、入力端1000を介して送り込まれる。出力側では、符号化されたビデオシーケンスは、ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を含む。拡張スケーリングレイヤ1004およびベーススケーリングレイヤ1002は、出力側に単一のスケーラブルビットストリームを生成するビットストリームマルチプレクサに供給される。ただし、実施によっては、2つのスケーリングレイヤの別々の伝送も可能であり、一部の場合には有用である。図1aは、2つのスケーリングレイヤ、すなわち、ベーススケーリングレイヤおよび拡張スケーリングレイヤを生成するためのコーダを示す。必要な場合、1つまたはいくつかのさらなる拡張レイヤを生成するコーダを得るためには、図1に示す拡張スケーリングレイヤ1004にベーススケーリングレイヤ1002によりデータが供給されるように、拡張スケーリングレイヤの機能が繰り返され、より高次の拡張スケーリングレイヤに必ず1段下の拡張スケーリングレイヤによりデータが供給される。SNRスケーラビリティ、または空間スケーラビリティ、または空間およびSNRスケーラビリティを結合したスケーラビリティのような、各種スケーリングタイプの内容に言及する前に、まず、本発明の基本原理について説明する。最初に、コーダは、ベース動きデータを計算するためのベース動き補償器またはベース動き推定器1006を含み、これは、ベース動き補償器1006が入力側から得るピクチャの群の中の別のピクチャに関して、現在のピクチャ中のマクロブロックがどのように動いたかを示す。動きデータを計算するための技法、具体的には、基本的にデジタルビデオピクチャ中のピクセルの領域であるマクロブロックに対する動きベクトルを計算するための技法が知られている。望ましくは、ビデオ符号化規格H.264/AVCの中に標準化されているように、動き補償計算が用いられる。これによって、後のピクチャのマクロブロックが考慮され、先のピクチャと比較してマクロブロックがどのように動いたかが決定される。この動きxy方向におけるは、2次元の動きベクトルで示され、ブロック1006によってあらゆるマクロブロックに対して計算され、さらに動きデータライン1008を介してベースピクチャコーダ1010に供給される。次に、次のピクチャに対して、前のピクチャから次のピクチャにマクロブロックがどのように動いたかが計算される。1つの実施において、この新しい動きベクトルは、ある意味では第2から第3ピクチャへの動きを示し、2次元ベクトルとして送信することもできる。ただし、効率上の理由から、動きベクトル差分だけを送信することが望ましく、この差分とは、第2から第3ピクチャへのマクロブロックの動きベクトルと、第1から第2ピクチャへのマクロブロックの動きベクトルとの差分のことである。また、これに換えて、直前のピクチャでなく、さらに先行するピクチャへ参照し、それらとの差分をそれぞれ使用することもできる。ブロック1006によって計算された動きデータは、次にベース動き予測器1012に供給され、この予測器は、動きデータおよびピクチャの群を使用するために、残差ピクチャのベースシーケンスを計算するように設計されている。このように、ベース動き予測器は動き補償を実行するが、この動き補償は、ある意味では動き補償器および動き推定器それぞれによって準備されたものである。次に、この残差ピクチャのベースシーケンスは、ベースピクチャコーダに供給される。ベースピクチャコーダは、その出力端にベーススケーリングレイヤを出力するように形成されている。さらに、本発明のコーダは、拡張動きデータを検知するための拡張動き補償器または拡張動き推定器1014を含む。これらの拡張動きデータは、拡張動き予測器1016に供給され、この拡張動き予測器は、出力側に残差ピクチャの拡張シーケンスを生成し、さらにこれらを下流の中間レイヤ予測器1018に供給する。このように、拡張動き予測器は動き補償を実行するが、この動き補償は、ある意味では動き補償器および動き推定器それぞれによって準備されたものである。中間レイヤ予測器は、出力側に拡張予測残差ピクチャを計算するように形成されている。実施によっては、中間レイヤ予測器は、ブロック1016から得るデータに加え、すなわち残差ピクチャの拡張シーケンスに加え、点線のバイパスライン1020を介してブロック1012から供給される残差ピクチャのベースシーケンスを用いる。またこれに換えて、ブロック1018は、ブロック1012の出力端から供給され、補間器1022によって補間された残差ピクチャの補間されたシーケンスも用いることができる。同様に、上記に換えて、中間レイヤ予測器は、ベースピクチャコーダ1010の出力端1024から提供されるように、残差ピクチャの再構成されたベースシーケンスを提供することもできる。図1aから分かるように、残差ピクチャのこの再構成されたベースシーケンスは、補間されること1022も補間されないこと1020もできる。このように、一般的に、中間レイヤ予測器は、残差ピクチャのベースシーケンスを用いて動作し、中間レイヤ予測器の入力端1026での情報は、たとえば、ブロック1012の出力端からの残差ピクチャのベースシーケンスの再構成または補間によって導出される。中間レイヤ予測器1018の下流に、拡張ピクチャコーダ1028があり、これは、符号化された拡張スケーリングレイヤ1004を得るために、拡張予測残差ピクチャを符号化するように形成されている。本発明の好適な実施の形態において、中間レイヤ予測器は、マクロブロック毎およびピクチャ毎に、中間レイヤ予測器1018が拡張動き予測器1016から得るそれぞれの信号からその出力端1026の信号を差し引くように形成されている。この減算結果で得られる信号は、拡張予測残差ピクチャのピクチャ中のマクロブロックを表している。本発明の好適な実施の形態において、中間レイヤ予測器は適応的に形成されている。あらゆるマクロブロックに対して、中間レイヤ予測フラグ1030が提供され、この中間レイヤ予測フラグは、中間レイヤ予測器に対して、予測を実行する必要があることを示すか、または、他の表示状態で、予測を実行する必要はないが、拡張動き予測器1016の出力端での対応するマクロブロックがさらなる予測をしないでそのまま拡張ピクチャコーダ1028に供給されることを示す。この適応実施では、中間レイヤ予測が有用な場合にだけ実行されるという効果があり、中間レイヤ予測が実行されないが拡張動き予測器1016の出力データが直接的に符号化される場合に比べて、予測残余信号が低い出力ピクチャレートになる。空間スケーラビリティの場合、デシメータ1032は、拡張スケーリングレイヤとベーススケーリングレイヤとの間に備えられ、入力端における特定の空間解像度を有するビデオシーケンスを、出力端におけるより低い解像度を有するビデオシーケンスに変換するように形成されている。純粋なSNRスケーラビリティが用いられている場合、すなわち、2つのスケーリングレイヤに対するベースピクチャコーダ1010および1028が、それぞれ異なる量子化パラメータ1034および1036で動作する場合には、デシメータ1032は備えられない。これは、図1aのバイパスライン1038によって概略的に示されている。さらに、空間スケーラビリティの場合では、補間器1022を備える必要がある。純粋なSNRスケーラビリティの場合では、補間器1022は備えられない。代わりに、図1aに示すように、バイパスライン1020が採用される。1つの実施において、拡張動き補償器1014は、個々のモーションフィールドを全部計算するか、あるいは、ベース動き補償器1006によって計算されるモーションフィールドを直接的にバイパスライン1040またはアップサンプラ1042によってアップサンプリングした後に用いるように形成されている。空間スケーラビリティの場合は、ベース動きデータの動きベクトルをより高い解像度にアップサンプルするために、たとえばスケールするために、アップサンプラ1042を備える必要がある。たとえば、拡張解像度がベース解像度の2倍の高さおよび幅であれば、拡張レイヤ中のマクロブロック16×16輝度サンプルが、ベースレイヤ中のサブマクロブロック8×8輝度サンプルに対応するピクチャの領域をカバーすることになる。このように、拡張スケーリングレイヤのマクロブロックに対してベース動きベクトルの使用を可能にするために、ベース動きベクトルは、そのx成分およびy成分において2倍にされ、すなわち2倍にスケールされる。これについては、図6bを参照しながらさらに詳しく説明する。一方、SNRスケーラビリティだけの場合には、全てのスケーリングレイヤに対してモーションフィールドは同じである。そのため、これは一度しか計算する必要がなく、高位のあらゆるスケーリングレイヤは、より低位のスケーリングレイヤが計算したものを直接使用することができる。中間レイヤ予測のために、ベース動き予測器1012の出力端の信号を用いることもできる。これに換えて、ライン1024上の再構成された信号を用いることもできる。これらの2つの信号のうちのいずれを予測に用いるかの選択は、スイッチ1044によって行われる。ライン1024上の信号は、それが既に量子化過程を経ているという点で、ブロック1012の出力端の信号とは異なっている。このことは、ブロック1012の出力端の信号と対比すると、ライン1024上の信号は量子化エラーを有することを意味する。中間レイヤ予測のためにライン1024上の信号を用いる選択には、SNRスケーラビリティが単独でまたは空間スケーラビリティと結合して用いられている場合に特に利点があり、その理由は、この場合、ベースピクチャコーダ1010によって発生される量子化エラーは、より高位のスケーリングレイヤに持ち運ばれる、すなわち、ブロック1018の出力信号は、第1スケーリングレイヤによって発生される量子化エラーを含み、次にそれが入力端1036において通常はより細かな量子化ステップ幅および違った量子化パラメータ2をそれぞれ有する拡張ピクチャコーダによって量子化され、さらに拡張スケーリングレイヤ1004に書き込まれることになるからである。中間レイヤ予測フラグ1030と似たように、動きデータフラグ1048がピクチャコーダに送り込まれ、動きデータについての対応する情報が拡張スケーリングレイヤ1004に含められ、後でデコーダに使用されることになるが、このことについては、図2を参照して説明する。純粋な空間スケーラビリティが用いられる場合、ベース動き予測器1012の出力信号すなわち残差ピクチャのベースシーケンスを、ライン1024上の信号の代わりに、すなわちベース残差ピクチャの再構成されたシーケンスの代わりに用いることができる。実施に応じて、このスイッチの制御を、手動でまたは予測利益関数に基づいて行うことができる。なお、望ましくは、全ての予測、すなわち、動き予測、拡張動きデータ予測および中間レイヤ残余値予測は、適応的に設計されている。具体的には、たとえば、残差ピクチャのベースシーケンスのピクチャ中において、必ずしもあらゆるマクロブロックまたはサブマクロブロックに対して、動きデータ予測残余値が存在する必要はない。このように、残差ピクチャのベースシーケンスのピクチャは、残差ピクチャと呼ばれているにもかかわらず、予測されないマクロブロックおよびサブマクロブロックをもそれぞれ含むことができる。この状況は、たとえば、ピクチャの中に新しいオブジェクトが生じたことが検知された場合に起こることになる。ここでは、動き補償予測は役立たなく、その理由は、予測残差信号が、ピクチャにおいて元の信号よりも大きくなってしまうからである。ブロック1016での拡張動き予測では、このような場合、このブロックたとえばマクロブロックまたはサブマクロブロックに対する予測演算子および最終的には更新演算子の双方が非アクティブにされる。ここで、明確化のために、たとえば、残差ピクチャのベースシーケンスが、仮に、動き予測残余信号を実際に含む1つのブロックを有する残差ピクチャのベースシーケンスの1枚の残差ピクチャだけであったとしても、これを残差ピクチャのベースシーケンスということにする。ただし、典型的なアプリケーションの場合、実際には、どの残差ピクチャも動き予測残余データを有する多数のブロックを有する。本発明の意味において、これを残差ピクチャの拡張シーケンスに対しても適用する。あのように、拡張レイヤにおける状態もベースレイヤの状態と同様なことになる。このように、本発明の意味において、残差ピクチャの拡張シーケンスは、ピクチャのシーケンスということになり、極端な場合には、単一の残差ピクチャの単一のブロックだけが動き予測残余値を有し、このピクチャ中の他の全てのブロック中さらには他の全ての残差ピクチャ中には、他の全てのピクチャ/ブロックに対して動き補償付予測および必要な場合に動き補償更新が非アクティブにされているので、残差が存在しないこともある。本発明では、これは、拡張予測残差ピクチャを計算する中間レイヤ予測器にも適用する。典型的には、拡張予測残差ピクチャは、シーケンスとして存在することになる。一方、中間レイヤ予測器も、望ましくは、同様に適応的に形成される。たとえば、ベースレイヤから拡張レイヤへのベースレイヤの残余データ予測が、単一の残差ピクチャの単一のブロックだけに有用であり、このピクチャの他の全てのブロックに対して、および、必要に応じて拡張予測残差ピクチャのシーケンスの他の全てのピクチャに対しては、中間レイヤ残余データ予測が非アクティブにされていることが検知された場合、本発明の文脈において、明確化のために、このシーケンスでも拡張予測残差ピクチャということにする。なお、これに関連して、中間レイヤ予測器が残余データを予測できるのは、ベースレイヤ中の残差ピクチャの対応するブロックにおいて動き補償残余値が既に計算され、さらにこのブロックに対応するブロックたとえば同一のx、y位置に対する動き補償予測も拡張シーケンスの残差ピクチャ中で既に実行されて、このブロックにおいて残差値が動き補償予測による拡張レイヤ中に存在する場合だけである。実際の動き補償予測残余値が、考慮される双方のブロックに存在する場合においてだけ、望ましくは中間レイヤ予測器がアクティブになり、ベースレイヤのピクチャ中の残差値のブロックを拡張レイヤのピクチャ中の残差値のブロックに対する予測子として用い、次にこの予測の残余値だけすなわち考慮されたピクチャのこのブロック中の拡張予測残差データだけを拡張ピクチャコーダに送信する。以下に、図1bを参照しながら、ベースピクチャコーダ1010、拡張ピクチャコーダ1028およびその他のピクチャコーダの詳細事例を説明する。ピクチャコーダは、入力側で、残差ピクチャの群を受信し、それらをマクロブロック毎に変換器1050に供給する。次に、変換されたマクロブロックは、ブロック1052においてスケールされ、さらに量子化パラメータ1034、1036、を用いて量子化される。ブロック1052の出力端からは、用いられた量子化パラメータ、すなわち、マクロブロックに対して用いられた量子化ステップ幅およびマクロブロックのスペクトル値に対する量子化インデックスが出力される。次に、この情報は、図1bには示されていないが、エントロピーコーダステージに供給され、これはハフマンコーダ、望ましくは算術コーダを含み、H.264/AVCによる周知のCABAC概念で動作する。また、手段1052の出力信号はブロック1054にも供給され、ここでは逆スケーリングおよび再量子化が実行されて、量子化インデックスを量子化パラメータとともに数値に変換し、次に、それはブロック1056の逆変換器に供給されて、残差ピクチャの再構成された群を得る。これは、残差ピクチャの元の群に比べて、変換ブロック1050の入力端での量子化エラーを有し、量子化エラーは、量子化パラメータおよび量子化ステップ幅にそれぞれ依存する。本発明の残余値予測を実行するために、スイッチ1044の制御によって、1つの信号または他の信号が補間器1022または直接に中間レイヤ予測器1018に供給される。中間レイヤ予測器フラグ1030の簡単な実施が図1cに示されている。中間レイヤ予測フラグがセットされていると、中間レイヤ予測器1018はアクティブにされる。しかしながら、フラグがセットされていなければ、中間レイヤ予測器は非アクティブにされ、このマクロブロックまたはそのマクロブロックに従属するサブマクロブロックに対して、同時キャスト操作が実行される。前述のように、この理由は、予測によるコーダ利得が実際にはコーダ損失になってしまう、すなわち、ブロック1016の出力端での対応するマクロブロックを伝送した方が、予測残余値が用いられる場合よりも後のエントロピー復号化において、より良いコーダ利得が提供されるということである。動きデータフラグ1030の簡単な実施が図1dに示されている。フラグがセットされていると、拡張レイヤの動きデータがベースレイヤのアップサンプルされた動きデータから導出される。SNRスケーラビリティの場合、アップサンプラ1042は必要ない。ここで、フラグ1048がセットされていると、拡張レイヤの動きデータを、ベース動きデータから直接導出することができる。なお、この動きデータ導出は、動きデータの直接引用であることも、動きデータ予測値を得るために、ブロック1014がベースレイヤから得られる動きベクトルをブロック1014によって計算された拡張スケーリングレイヤに対して対応する動きベクトルから差し引くという実際の予測であることもある。拡張レイヤの動きデータどのようなタイプの予測も実行されなかった場合または予測の残余値実際の予測が実行された場合が、図1aに示した出力端を介して拡張ピクチャコーダ1028に供給され、最後には、拡張スケーリングレイヤビットストリーム1004に含まれることになる。しかしながら、スケーリングの有無にかかわらず、ベーススケーリングレイヤから動きデータの全面的な引き継ぎが実行される場合、それらは拡張スケーリングレイヤビットストリーム1004の中に書き込まれる必要はない。拡張スケーリングレイヤビットストリーム中の動きデータフラグ1048によってそのことを信号伝達するだけで十分である。図2は、ベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004を含む符号化されたビデオシーケンスを復号化するための装置を示す。拡張スケーリングレイヤ1004およびベーススケーリングレイヤ1002は、ビットストリームデマルチプレクサから取り出すことができ、これは、共通のビットストリームからベーススケーリングレイヤ1002および拡張スケーリングレイヤ1004の両方を抽出するために、両方のスケーリングレイヤをそれぞれ有するスケーラブルビットストリームを分離する。ベーススケーリングレイヤ1002は、ベースピクチャデコーダ1060に供給され、ベースピクチャデコーダは、残差ピクチャのベースシーケンスおよびベース動きデータを得るためにベーススケーリングレイヤを復号化するように形成され、これらは出力ライン1062に適用される。次に、ライン1062上の出力信号は、ベース動き結合器1064に供給され、ベース動き結合器は、出力側に第1スケーリングレイヤの復号化されたピクチャを出力するために、ブロック1012のコーダ中に導入されたベース動き予測子をキャンセルする。さらに、本発明のデコーダは、出力ライン1068に拡張予測残差ピクチャを得るために、拡張スケーリングレイヤ1004を復号化するための拡張ピクチャデコーダ1066を含む。さらに、出力ライン1068は、動きデータフラグ1070、または、拡張スケーリングレイヤ1004中に拡張動きデータまたは拡張動きデータ残余値が実際に存在する場合にはこれらの拡張動きデータなどの動きデータ情報を含む。一方、ライン1062上の復号化されたベースシーケンスは、補間器1070によって補間され、または、図1aの中間レイヤ予測器1018によって実行される中間レイヤ予測をキャンセルするために、変更されないままライン1072中間レイヤ結合器1074に供給されることになる。このように、中間レイヤ結合器は、残差ピクチャの拡張シーケンスを得るために、拡張予測残差ピクチャと、ライン1062上の補間された1070またはされてない1072復号化されたベースシーケンスについての情報とを結合するように形成されている。この拡張シーケンスは、最終的に、拡張動き結合器1076に提供され、その拡張動き結合器は、ベース動き結合器1064と同様に、拡張レイヤ中に実行されている動き補償をキャンセルする。拡張動き結合器1076は、ブロック1076中の動き結合のための動きデータを提供するために、動きデータ決定手段1078に結合する。この動きデータを、実際に、出力端1068から拡張ピクチャデコーダによって提供される拡張レイヤに対する全拡張動きデータとすることができる。これに換えて、拡張動きデータを、動きデータ残余値とすることもできる。双方の場合とも、対応するデータは、拡張動きデータライン1080を介して動きデータ決定手段1078に供給される。ただし、動きデータフラグ1070が、拡張レイヤに対して個別拡張動きデータが送信されていないと信号伝達している場合、必要な動きデータは、ベースレイヤから、ライン1082を介して、用いられたスケーラビリティに応じて、直接ライン1084、または、アップサンプラ1086によるアップサンプリングの後に、取られる。さらに、イントラブロックの中間レイヤ予測の場合、動きデータ残余値がなく、拡張動き結合器1076とベース動き結合器1064との間の対応するつながりはデコーダ側に設けられ、デコーダは、空間スケーラビリティのある場合には補間器1090を、または、SNRスケーラビリティだけが用いられている場合にはバイパスラインを有する。2つのレイヤの間の選択的イントラブロック予測の場合には、予測残余信号だけがそのイントラブロックに対する拡張レイヤに送信され、ビットストリーム中の対応する信号伝達情報によってイントラブロックが示される。この場合、拡張動き結合器も、以下に説明する機能に加えて、このマクロブロックに対する加算を実行し、すなわち、マクロブロック残余値と低位のスケーリングレイヤからのマクロブロック値との結合を実行し、さらに得られたマクロブロックを実際の逆動き補償処理に供給する。以下に、図3~図5dを参照しながら、ベース動き予測器1012または拡張動き予測器1016、および、逆処理エレメント、すなわち拡張動き結合器1076またはベース動き補償器1064の好適な実施の形態を説明する。基本的には、任意の動き補償予測アルゴリズムを、すなわち、図9の92に示した動き補償アルゴリズムも用いることができる。このように、従来の動き補償アルゴリズムも、図1に示したシステムに追随するが、図4に参照番号45で示した更新演算子Uは非アクティブにされる。これにより、ピクチャの群は、元のピクチャと、残余ピクチャと、予測残余信号とに、または、ピクチャによっては残差ピクチャとに変換される。しかしながら、図4に示したような更新演算子がアクティブであり、たとえば図5a~図5dに例示したように計算される、既知の動き補償スキームで拡張が実施される場合、標準的な動き補償予測計算は、動き補償時間フィルタリングともいわれるいわゆるMCTF処理となる。ここで、元のピクチャは更新演算子によって重み付けされた予測残余信号と結合されるので、従来の動き補償の標準ピクチャおよびイントラピクチャは、それぞれ、更新演算を介してローパスピクチャとなる。本発明の好適な実施の形態において、図1aおよび図2に関して既に説明したように、このようなMCTF処理は、あらゆるスケーリングレイヤに対して実行され、MCTF処理は、望ましくは、図3~図5dおよび図7~図8を参照して説明するようなやり方で実行される。以下に、図4およびその後の図5a~図5dを参照しながら動き補償予測フィルタの好適な実施の形態を説明する。既に説明したように、動き補償時間フィルタMCTFは、3つのステップ、すなわち多相分解、予測および更新の3ステップを有する一般的なリフティングスキームで構成される。対応する分析/合成フィルタバンク構造を図4に示す。分析側では、所定の信号の奇数サンプルは、予測演算子Pとハイパス信号Hとを用いて、偶数サンプルの一次結合によって予測残余値にろ波される。対応するローパス信号lは、更新演算子を用いて、予測残余値hの一次結合を、入力信号sの偶数サンプルに加えることによって形成される。変数hおよびlの数式的な関係を図4に示し、演算子PおよびUの基本的な実施の形態を図5aに示す。予測ステップおよび更新ステップの双方とも完全に逆処理することが可能なので、対応する変換を、厳密にサンプルされた完全な再構成フィルタバンクと見なすことができる。合成フィルタバンクは、合算プロセスにおいて、逆の順に配置された逆符号の予測演算子および更新演算子のアプリケーションを含み、その合算プロセスでは偶数および奇数の多相成分が用いられる。ハイパス/ローパス成分の正規化のために、対応するスケーリングファクタFlおよびFhが用いられる。これらのスケーリングファクタを必ず用いる必要はないが、符号化の過程で量子化ステップサイズを選択する際にそれらを用いることができる。f[x、k]は、空間座標x=x,yTを示し、kは時間座標である。ヘアウェーブレットのリフティング表現を用いた時間的分解に対する予測演算子Pおよび更新演算子Uは、図5bの左側に示す式で与えられる。5/3変換については、対応する演算子が図5bの右側に示すように得られる。動き補償時間フィルタリングに対する拡張は、図5cに示すように、予測演算子および更新演算子を変形することにより得られる。具体的には、r>0の参照インデックスを参照することになり、これにより一般的ピクチャ適応動き補償フィルタリングが可能となる。これらの参照インデックスを介し、図4に示したシナリオにおいて、時間的に引き続く2つのピクチャをハイパスピクチャとローパスピクチャとに分解できるだけでなく、たとえば、第1ピクチャを動き補償されたやり方で、シーケンスの第3ピクチャでろ波することができる。これに換えて、参照インデックスを適切に選択することによって、たとえば、シーケンス群のあるシーケンスの同じ1つのピクチャを、動きベクトルに対するベースとして活用できるようにすることができる。このことは、参照インデックスによって、たとえば、全ての動きベクトルがシーケンスの第4ピクチャに関連付けられている8ピクチャのシーケンスにおいて、これらの8ピクチャを図4のフィルタスキームで処理した結果として、単一のローパスピクチャを得、さらに7ハイパスピクチャ拡張ピクチャおよび元のシーケンスの同じ1つのピクチャに関連する全ての動きベクトルを得ることができ、1つの拡張ピクチャがあらゆる動きベクトルに関連付けられている。このように、あるシーケンスの同じ1つのピクチャがいくつかのさらなるピクチャのフィルタリングのための基準として用いられる場合、これは2のファクタによらない時間的解像度スケーリングにつながり、ある種のアプリケーションには有利である。常に、同一のピクチャ、すなわち、たとえば8ピクチャのシーケンスの第4ピクチャが、図4の分析フィルタバンクの下側ブランチに送り込まれる。ローパスピクチャは、あらゆるフィルタリングにおいて同一であり、言い換えれば、ピクチャのシーケンスの最終的に必要な単一のローパスピクチャである。更新パラメータがゼロの場合、ベースピクチャは、下側ブランチを通って通過となる。これに対して、ハイパスピクチャは、常に、元のシーケンスの対応する他のピクチャと予測演算子とに依存し、入力ピクチャに関連付けられる動きベクトルが予測に用いられる。このように、この場合、最終的に得られたローパスピクチャは、ピクチャの元のシーケンスの特定のピクチャに関連付けられ、また、各々のハイパスピクチャも、元のシーケンスのピクチャに関連付けられ、元のピクチャの偏差は、シーケンスの選択されたベースピクチャこれは図4の分析フィルタバンクの下側ブランチに供給されるからのシーケンス動き補償にまさに対応する。あらゆる更新パラメータM01、M11、M21およびM31がゼロに等しい場合、それは、第4レベルの下側ブランチ73中に送り込まれるピクチャが、底部に向けて通過となることである。ある意味では、ローパスピクチャTP1は繰り返してフィルタバンクに供給され、一方、他のピクチャは、参照インデックスによって制御され、1つずつ図3の入力端64に導入される。前の式からも分かるように、動き補償フィルタリングに対する予測および更新演算子は、それぞれ、2つの異なるウェーブレットに対して異なった予測を提供する。ヘアウェーブレットが用いられる場合、一方向動き補償予測が達成される。しかしながら、5/3スプラインウェーブレットが用いられる場合、2つの演算子は双方向動き補償予測を特定する。双方向補償予測は、通常、一方向予測と比べて、予測残余値のエネルギーを低減するが、動きベクトルレートを増加するので、一方向および双方向予測の間での切り替えをダイナミックに行うことが望ましく、このことは、ピクチャに依存している制御信号に依存する5/3スプラインウェーブレットおよびヘアウェーブレットのリフティング表現の間での切り替えを可能にすることを意味する。本発明の概念は、時間フィルタリングに対する閉じたフィードバックループを用いずに、2つのウェーブレットの間でこのマクロブロック毎の切り替えを可能にし、また、柔軟性および特にデータレートの節減をサポートし、信号適応的なやり方で最適に実行することができる。モーションフィールドまたは一般に動き予測データフィールドMPおよびMUを理想的に表現するために、H.264/AVC中のBスライスの既存のシンタックスを使用することができる。ペアワイズピクチャ分解ステージをカスケードすることによって、2項分解的なツリー構造が得られ、これにより、8ピクチャの群に対する例を図7に示すように、2nピクチャの群は、2n1残余ピクチャと単一のローパスまたはイントラピクチャとに分解される。具体的には、図7は、第1レベルのフィルタの出力端22における第1レベルのハイパスピクチャHP1、および第1レベルのフィルタの出力端24における第1レベルのローパスピクチャを示している。第2レベルのフィルタの出力端16における2つのローパスピクチャTP2、および第2レベルから得られたハイパスピクチャが、第2レベルのピクチャとして図7に示されている。第3レベルのローパスピクチャは、第3レベルのフィルタの出力端76に適用され、第3レベルのハイパスピクチャは、処理されたフォームで出力端75に適用される。8ピクチャの群はもともと8ピクチャで構成することができ、そのため、図3のデコーダは第4レベルのフィルタなしに用いられる。ただし、8ピクチャの群が、第4レベルのフィルタの出力端73で用いられるような8ローパスピクチャの群である場合、本発明のMCTF分解を、ベース動き予測器、拡張動き予測器として、さらに、ベース動き結合器または拡張動き結合器として、それぞれ用いることができる。このように、この分解では、2nピクチャの群、2n12モーションフィールド記述、2n1残余ピクチャおよび単一のローパスまたはイントラピクチャが送信される。ベース動き補償器および拡張動き補償器の双方は、望ましくは、ベース制御パラメータおよび拡張制御パラメータによってそれぞれ制御され、量子化パラメータ1034または1036および動き情報の最適な結合が計算され、この結合は特定のレートに固定されている。これは、特定の最大ビットレートに関して最適の比率を得るために、以下の方法に従って実行される。このように、比較的粗い量子化パラメータを意味する低いビットレートにおいては、比較的細かい量子化パラメータが取られる高位のスケーリングレイヤに対するよりも、動きベクトルがより重要であることが分かる。このように、粗い量子化、従ってより低いビットレートの場合、より高位のスケーリングレイヤに対するよりも、少ない動きデータが計算される。そこで、より高位のスケーリングレイヤでは、高位のスケーリングレイヤの場合に比べて残余データに関して動きデータが比例的に重要である低ビットレートの場合よりも、良好な品質および高ビットレートでの最適状態のために、ある程度多くの動きデータを計算するためにサブマクロブロックモードに移行することが望ましい。以下に、これについて説明する。元のピクチャまたは前の分析ステージで生成されるローパス信号を表すピクチャであるピクチャAおよびBが与えられる。さらに、ルマサンプルa[]およびb[]の対応する配列が提供される。動き記述Mi0は、次のようにマクロブロック毎に推定される。ピクチャB内のマクロブロックiの可能な全てのマクロブロックおよびサブマクロブロックパーティションに対して、関連動きベクトルは、ラグランジュ関数を最小化することによって計算され、ここで、劣化数式項は次式で与えられる。ここで、Sは、参照ピクチャA内の動きベクトル検索領域を特定する。Pは、考慮されたマクロブロックパーティションまたはサブマクロブロックパーティションによってカバーされる領域である。Ri,mは、動きベクトルmの全ての成分を送信するために必要なビット数を特定し、λは固定ラグランジュ乗数である。最初に、動き検索が所定の検索領域S中の全ての整数サンプルの正確な動きベクトルを通して進む。次に、最善の整数動きベクトルを用いて、8つの周囲の半分サンプルの正確な動きベクトルがテストされる。最後に、最善の半分サンプルの正確な動きベクトルを用いて、8つの周囲の4分の1サンプルの正確な動きベクトルがテストされる。半分および4分の1の正確な動きベクトルの改善に対する数式項は、補間演算子として解釈される。一般に、マクロブロックモードおよびサブマクロブロックに対するモード決定は、同じアプローチをたどる。次のラグランジュ関数を最小化するモードpiは、可能なマクロブロックまたはサブマクロブロックモードSmodeの所定のセットから選択される。劣化数式項は、次式で与えられ、ここで、Pは、マクロブロックまたはサブマクロブロック領域を特定し、m[p,x,y]は、マクロブロックまたはサブマクロブロックのモードpおよびルマ位置x,yを含むパーティションまたはサブマクロブロックパーティションに関連付けられる動きベクトルである。レート数式項Ri,pは、コーダモードpの選択に関連付けられるビット数を表す。動き補償コーダモードでは、同モードは、マクロブロックモード適用される場合と、サブマクロブロックモードおよびその複数モード適用される場合のそれぞれと、動きベクトルおよびその複数ベクトルのそれぞれとに対するビットを含む。イントラモードでは、同モードは、マクロブロックモードと量子化されたルマおよびクロマ変換係数レベルの配列とに対するビットを含む。可能なサブマクロブロックモードのセットは、で与えられる。可能なマクロブロックモードのセットは、で与えられ、ここで、INTRAモードは、予測ステップで用いられるモーションフィールド記述Mi0が推定される場合にだけ用いられる。ラグランジュ乗数λは、モーションフィールドが推定される分解ステージのハイパスピクチャまたはピクチャQPHiに対するベースレイヤ量子化パラメータに基づいて、次式に従って設定される。本発明によれば、図8に示す分解スキームが用いられ、これは、時間スケーラビリティとコーダ効率との間で賢明な折衷ができるよう想定されたものである。元のピクチャのシーケンスは、入力ピクチャA、B、A、B、A、B、、A、Bのシーケンスとして取り扱われる。このように、このスキームでは、最適な時間スケーラビリティローパスピクチャ間の等距離のステージを提供する。ローパスピクチャのシーケンスは、以降の全ての分解ステージに対して入力信号として用いられるが、入力ピクチャB、A、A、B、B、A、A、Bのシーケンスとして取り扱われ、以降の2チャンネル分析スキームでは、分解されるローパスピクチャ間のスペースは、図8で分かるように、小さく保たれている。以下に、動きデータ中間レイヤ予測および残余データ中間レイヤ予測の双方の好適な実施に関して、図6a~図6dを参照する。空間およびSNRスケーラビリティをそれぞれ得るために、基本的には、低位のスケーリングレイヤの動きデータおよびテクスチャデータは、高位のスケーリングレイヤの予測のために用いられる。ここで、特に空間スケーラビリティにおいて、動きデータが空間拡張レイヤの復号化のための予測として用いられる前に、動きデータのアップサンプリングが必要となる。ベースレイヤ表現の動き予測データは、AVCの既存のBスライスシンタックスのサブセットを用いて送信される。望ましくは、2つの追加マクロブロックモードが、拡張レイヤのモーションフィールドの符号化のために導入される。第1マクロブロックモードは、base_layer_modeであり、第2モードは、qpel_refinement_modeである。これらの2つの追加マクロブロックモードを信号伝達するために、図1に示すように、シンタックスエレメントmb_modeに先立って、2つのフラグ、すなわちBLFlagおよびQrefFlagがマクロブロックレイヤシンタックスに加えられる。このように、第1フラグBLFlag1098は、ベースレイヤモードを信号伝達し、もう一方のフラグ1100は、Qpelrefinementmodeを記号表示する。このようなフラグがセットされると、その値は1となり、データストリームは図6aに示すようになる。このように、フラグ1098が1の値である場合、フラグ1100およびシンタックスエレメントマクロブロックモード1102はこれ以上重要性がない。一方、フラグ1098の値がゼロの場合、そのフラグはセットされておらず、フラグ1100が用いられ、フラグ1100がセットされれば、エレメント1102に再びブリッジをすることになる。しかしながら、双方のフラッグ1098および1100の値がゼロ場合、すなわち両方ともセットされていない場合、マクロブロックモードは、シンタックスエレメント1102において評価される。BLFlag=1の場合、対応するマクロブロックに対して、ベースレイヤモードが用いられ、さらなる情報は用いられない。このマクロブロックモードは、ベースレイヤの対応するマクロブロックのマクロブロックパーティションを含む動き予測情報が、このようにして拡張レイヤのために直接用いられていることを示す。なお、本明細書のこの箇所および全体を通して、ベースレイヤという用語は、現在考慮されている拡張レイヤに関して1段低位のレイヤを表す。ベースレイヤが半分の空間解像度を有するレイヤを表す場合、動きベクトルフィールド、すなわちマクロブロックパーティションを含む動きベクトルのフィールドは、図6bに示すように、それに応じてスケールされる。この場合、現在のマクロブロックは、ベースレイヤのモーションフィールドの8×8サブマクロブロックと同じ領域を含む。このように、対応するベースレイヤのマクロブロックが、直接的に16×16、16×8または8×16モードに符号化されている場合、または、対応するベースレイヤのサブマクロブロックが、8×8モードまたは直接8×8モードに符号化されている場合、現在のマクロブロックに対して16×16モードが用いられる。一方、ベースレイヤのサブマクロブロックが8×4、4×8または4×4モードに符号化されている場合、現在のマクロブロックに対するモードは、マクロブロックモード=16×8、8×16または8×8ただし全てのサブマクロブロックモード=8×8となる。ベースレイヤのマクロブロックがINTRAマクロブロックを表している場合、現在のマクロブロックは、INTRA_BASE、すなわち、ベースレイヤからの予測を有するマクロブロックに設定される。現在マクロブロックのマクロブロックパーティションについては、ベースレイヤブロックの対応するマクロブロック/サブマクロブロックパーティションに対するのと同じ参照インデックスが用いられる。関連動きベクトルは2倍にされる。この倍率は、図6bに示す状況、すなわち、ベースレイヤ1102が、拡張レイヤ1104の半分のピクセル領域およびピクセル数をそれぞれ含む状況で適用される。ベースレイヤ空間解像度の拡張レイヤ空間解像度に対する比率が1/2でない場合、対応するスケーリング倍率が動きベクトルに対して用いられる。しかしながら、フラグ1098がゼロに等しく、フラグ1100が1に等しい場合、マクロブロックモードqpel_refinement_modeが信号伝達される。フラグ1100は、望ましくは、ベースレイヤが現在レイヤの半分の空間解像度を有するレイヤを表す場合にだけ存在する。そうでない場合は、マクロブロックモードqpel_refinement_modeは、実施可能なマクロブロックモードのセットには含まれない。この場合のマクロブロックは、ベースレイヤモードと同様である。マクロブロックパーティション、参照インデックスおよび動きベクトルは、ベースレイヤモードにおけるように導出される。ただし、各々の動きベクトルに対して、あらゆる動きベクトル成分に対するさらなる4分の1サンプルの動きベクトルのリファインメント-1.0または1があり、これは追加して送信され、導出された動きベクトルに加えられる。フラグ1098=0でフラグ1100=0の場合、すなわち、フラグ1100が存在しない場合、通常通り、マクロブロックモードと、対応参照インデックスと、動きベクトル差分とが特定される。このことは、動きデータの全体セットが、ベースレイヤに対して行われたのと同様に、拡張レイヤに対して送信されることを意味する。しかしながら、本発明によれば、空間動きベクトル予測子の代わりに現在の拡張レイヤ動きベクトルに対する予測子として、ベースレイヤ動きベクトルを用いる可能性が提供される。このように、リストXXは0から1までの間の値により、考慮された動きベクトルの参照インデックスリストが特定される。引き続くすべての状態が真であれば、図6cに示すように、あらゆる動きベクトルの差分について、次のようなフラグMvPrdFlagが送信される。-現在のマクロブロック/サブマクロブロックパーティションを含むベースレイヤマクロブロックは、INTRAマクロブロックモードでは符号化されない。-現在のマクロブロック/サブマクロブロックパーティショの上部左のサンプルをカバーするベースレイヤマクロブロック/サブマクロブロックパーティションは、リストXまたは双予測を使用する。-現在のマクロブロック/サブマクロブロックパーティションの上部左のサンプルを含むベースレイヤマクロブロック/サブマクロブロックパーティションのリストX参照インデックスは、現在のマクロブロック/サブマクロブロックパーティションのリストX参照インデックスに等しい。図6cのフラグ1106が存在しない場合、または、このフラグ1106=0の場合、AVC規格と同様に空間動きベクトル予測子が特定される。そうでない場合、フラグ1106が存在して=1の場合、動きベクトル予測子として対応するベースレイヤベクトルが用いられる。この場合、現在のマクロブロック/サブマクロブロックパーティションのリストX動きベクトルX=0または1は、ベースレイヤマクロブロック/サブマクロブロックパーティションの場合によってスケールされたリストX動きベクトルに、送信されたリストX動きベクトル差分を加算することによって得られる。このように、フラグ1098、1100および1106は、併せて、図1aにそれぞれ概略的に示したような動きデータフラグ1048および動きデータ制御信号1048を実施できるやり方を表している。もちろん、異なった他の信号伝達のやり方もあり、送信器と受信器との間で、当然一定の取り決めを用いて信号伝達情報を削減することができる。ここで、図1の拡張動き補償器1014および図2の拡張動きデータ決定手段1078それぞれの具体的な実施について、さらなる詳細を図1e、1fおよび1gに関して説明する。図1eを参照すると、拡張動き補償器1014は、基本的に2つのことを行わなければならないことが分かる。すなわち、それは、第一に、拡張動きデータ、典型的には全動きベクトルを計算し、さらにそれを拡張動き予測器1016に供給しなければならなく、その結果、それは、従来技術では通常ブロック毎に適応的に実行される残差ピクチャの拡張シーケンスを得るために、符号化されていないフォームのこれらのベクトルを用いることができる。もう一方の事項は、拡張動きデータを処理すること、すなわち、次に、動き補償予測に用いられる動きデータをできるだけ圧縮してビットストリームに書き込むことである。何かをビットストリームに書き込むためには、図1eに示すように、それぞれのデータを拡張ピクチャコーダ1028に送り込む必要がある。このように、拡張動きデータ処理手段1014bは、拡張動きデータ計算手段1014aが決定した拡張動きデータに含まれる冗長性を、ベースレイヤに関して、できる限り削減するための機能を有する。本発明によれば、ベース動きデータまたはアップサンプルされたベース動きデータについては、拡張動きデータ計算手段1014aが、実際に用いられる拡張動きデータの計算に用いることもでき、または、拡張動きデータの処理、すなわち拡張動きデータの圧縮のためだけに用いることもできるが、これらのことは拡張動きデータの計算には重要ではない。図1gの1.および2.の2つの可能性は、拡張動きデータの計算において、ベース動きデータおよびアップサンプルされたベース動きデータが用いられている実施の形態を示し、図1bの3.は、ベース動きデータについての情報が拡張動きデータの計算に用いられないが、残余データの符号化およびキャプチャだけにそれぞれ用いられる場合を示す。図1fは、拡張動きデータ決定手段1078のデコーダ側の実施を示し、これはブロック毎の制御を行うための制御モジュール1078aを有し、これにはビットストリームからと拡張ピクチャデコーダ1066からとの信号情報伝達がそれぞれ含まれる。さらに、拡張動きデータ決定手段1078は、拡張動きデータ再構成手段1078bを含み、これは、復号化されたベース動きデータまたは復号化されたアップサンプリングベース動きデータだけを用いて、または、復号化されたベース動きデータについての情報と拡張動きデコーダ1066によって拡張スケーリングレイヤ1004から抽出された残余データからの情報とを結合することによって、拡張動きデータフィールドの動きベクトルを実際に決定し、次に、この動きベクトルを、コーダ側の動き補償予測を逆処理するための共通結合器として形成することができる拡張動き結合器1076によって、用いることができる。以下に、図1gに概略を示す各種の実施の形態を参照する。図6aに関して既に説明したように、BLFlag1098は、拡張動き予測のためのアップスケールされたベース動きデータの全面的な引き継ぎを信号伝達する。この場合、手段1014aは、ベース動きデータを全面的に引き継ぐように、さらに、異なるレイヤからの異なる解像度の場合には、アップスケールされたフォームで動きデータを引き継ぎ、これらをそれぞれ手段1016に送信するように形成されている。しかしながら、モーションフィールドまたは動きベクトルについての情報は、拡張ピクチャコーダには送信されない。代わりに、マクロブロックまたはサブマクロブロックのどちらかの各ブロックに対して個別のフラグ1098だけが送信される。デコーダ側では、図1fの手段1078aが1つのブロックに対してフラグ1098を復号化し、それがアクティブであった場合、ベースレイヤにある復号化されたベース動きデータ、または、復号化されたアップサンプルされたベース動きデータを用いて、拡張動きデータを計算し、次に、それをブロック1076に供給する。この場合、手段1078は、動きベクトル残余データを必要としない。本発明の第2の実施の形態では、フラグQrefFlag1100によって信号伝達され、ベース動きベクトルは、手段1014aによって実行される拡張動きデータ計算に組み入れられる。図1gの部分2.および上記で説明したように、動きデータ計算および動きベクトルmの計算は、それぞれ、数式項の最小値を検索することによって実行される。現在のピクチャBのブロックと、特定の潜在的な動きベクトルによりシフトされた先行するおよび/または後続するピクチャのブロックとの差分は、ひずみ数式項Dに導入される。図1aの1036で示した拡張ピクチャコーダの量子化パラメータは、ファクタλに導入される。数式項Rは、潜在的な動きベクトルを符号化するために用いられるビット数についての情報を提供する。通常、検査は、いろいろな潜在的な動きベクトルの間で実行され、あらゆる新しい動きベクトルに対してひずみ数式項Dが計算され、レート数式項Rが計算され、一定であることが望ましいが変化させることもできる拡張量子化パラメータ1036が検討される。上記の合計数式項がいろいろな潜在的な動きベクトルに対して評価され、最小結果の合計を提供する動きベクトルが用いられる。次に、本発明によれば、ベースレイヤからの対応するブロックのベース動きベクトルも、このインタラクティブな検索に組み入れられる。ベクトルが検索基準を満たす場合、先と同様に、フラグ1100だけを送信しなければならないが、このブロックに対する残余値または他のどんなものも送信してはならない。このように、ベース動きベクトルがブロックに対する基準前の数式項の最小化を満たす場合、手段1014aは、それを手段1016に送信するために動きベクトルを用いる。ただし、フラッグ1100だけが拡張ピクチャコーダに送信される。デコーダ側では、手段1078bがベース動きデータからのこのブロックに対する動きベクトルを決定するためにフラグ1100を復号化する場合、手段1078aが手段1078bを制御するが、その理由は拡張ピクチャデコーダが残余データを送信していないからである。第2の実施の形態の変形例において、ベース動きベクトルだけでなく、そのベース動きベクトルから導出されわずかに違いのある複数のベース動きベクトルも検索に組み入れられる。実施によっては、動きベクトルのどの成分も、個別に1インクリメント増加させたり低減させたりでき、または同じままにしておくことができる。このインクリメントは、動きベクトルの特定の粒度、たとえば、解像度ステップ、半分解像度ステップまたは4分の1解像度ステップを表すことができる。このような違いのあるベース動きベクトルが検索基準を満たす場合、その違い、すなわち1、0または-1のインクリメントの値が残余データとしてフラグ1100に追加して送信される。フラグ1100によってアクティブにされて、デコーダは、データストリーム中のインクリメントを探し、さらにベース動きベクトルまたはアップサンプルされたベース動きベクトルをリカバーし、拡張レイヤにおける対応するブロックに対する動きベクトルを得るために、ブロック1078において、そのインクリメントと対応するベース動きベクトルとを結合する。フラグ1106によって信号伝達される第3の実施の形態において、動きベクトルの決定を、基本的には任意に実行することができる。この全面的な柔軟性に関して、手段1014aは、拡張動きデータを、たとえば、第2の実施の形態に関連して説明した最小化オブジェクトに従って決定することができる。次に、決定された動きベクトルは、ベースレイヤからの情報を配慮することなく、コーダ側の動き補償予測に用いられる。ただし、この場合、拡張動きデータ処理1014aは、実際の算術符号化の前の冗長度削減のための動きベクトル処理にベース動きベクトルを組み入れるように形成される。このように、H.264/AVC規格に従って、動きベクトル差分の伝送が実行され、隣接するブロックの間の差分はピクチャ内で決定される。この実施において、この差分をいろいろな隣接するブロックの間で形成し、その中で最小の差分を選択することができる。次に、本発明によれば、ピクチャ中の対応するブロックに対するベース動きベクトルは、動きベクトル差分に対して最も好適な予測子のためのこの検索に組み入れられる。そのベース動きベクトルが、予測子として最小の残差値を提供するという基準を満たす場合、それがフラグ1106によって信号伝達され、その残差値だけがブロック1028に送信される。そのベース動きベクトルがこの基準を満たさない場合、フラグ1106はセットされず、空間動きベクトル差分計算が実行される。しかしながら、より簡単なコーダ実施においては、インタラクティブな検索の代わりに、単に常に適応的に決定されたブロックに対して、それぞれのベース動きベクトルおよびそのアップサンプルされたそれぞれのバージョンを予測子として用いることができる。本発明によれば、残余データの中間レイヤ予測も実行される。これについては、以下に説明する。動き情報が1つのレイヤから次のレイヤへと変更される場合、残余情報を予測することが有利なことも不利になることもあり、MCTF分解の場合、ベースレイヤからの拡張レイヤのハイパス情報のそれぞれの予測がそうである。現在のレイヤのブロックに対する動きベクトルが、対応するベースレイヤの動きベクトルに類似し、さらに、マクロブロック毎に、対応するベースレイヤの対応する動きベクトルに類似している場合、符号化されたベースレイヤ残余信号ハイパス信号が拡張残余信号拡張ハイパス信号の予測に用いられ、これにより、拡張残余信号とベースレイヤ再構成図1aのライン1024との差分だけが符号化されれば、コーダ効率が上がる可能性が高い。しかしながら、動きベクトルが類似していない場合、残余信号の予測が、コーダ効率を向上させる可能性は非常に低いものとなる。その結果、残余信号およびハイパス信号それぞれの予測には、適応アプローチが用いられる。この適応アプローチ、すなわち中間レイヤ予測器がアクティブか否かによる適応アプローチについては、差分信号に基づく利点の実際の計算により実行することができ、または、マクロブロックに対するベーススケーリングレイヤの動きベクトルが、拡張スケーリングレイヤ中の対応するマクロブロックに対して、どのくらい違っているかの推定に基づいて実行することができる。この差異が特定の閾値より小さい場合、中間レイヤ予測器が制御ライン130を介してアクティブにされる。しかしながら、この差異が特定の閾値より大きい場合、このマクロブロックに対する中間レイヤ予測器は非アクティブにされる。フラグResPrdFlag1108が送信される。このフラグ1108=1の場合、ベースレイヤの再構成された残余信号が、拡張レイヤの現在のマクロブロックの残余信号の予測のために使用され、拡張レイヤの現在の残余信号とそのベースレイヤの再構成との間の差分の近似値だけが符号化される。そうでない場合には、フラグ1108は存在しないかまたはゼロに等しい。ここで、拡張レイヤ中の現在のマクロブロックの残余信号は、ベースレイヤからの予測なしに符号化される。ベースレイヤが、拡張レイヤの半分の空間解像度を有するレイヤを表す場合、残存信号は、補間フィルタを用いてアップサンプルされ、その後、ベースレイヤのアップサンプルされた残余信号が予測信号として用いられる。このフィルタは、6タップを有する補間フィルタであって、より低い解像度によるベースレイヤ中には存在しなかった拡張レイヤのより高い空間解像度の値を補間するために、周囲からの値ができるだけ良好な補間データを得るために用いられる。しかしながら、変換ブロックのエッジの値が補間され、さらに補間フィルタが補間のための別の変換ブロックの値しか使用できないときは、これをやめるが、考慮されたブロックの外側で補間フィルタの値を合成して、できるだけアーチファクトの発生が少ない補間が起こるようにすることが望ましい。いわゆるコア実験に基づいて、動きおよび残余値の中間レイヤ予測によって、AVCベースのMCTFアプローチにおいてコーダ効率が大幅に改善されることが判明した。特定のテストポイントに対して、1dBより高いPSNRゲインが得られた。特に、あらゆる空間解像度に対してベースレイヤを例外として非常に低いビットレートでは、再構成品質の改善が明確に確認できた。状況によっては、本発明の方法は、ハードウエアまたはソフトウエアで実施しうる。この実施は、その方法が実行されるように、プログラム可能なコンピュータシステムと協働する、電子的に読み取り可能な制御信号を有する、デジタル記憶媒体、特に、ディスクまたはCD上で実行することができる。そのため、本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み取り可能なキャリアに格納された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品にも存在する。言い換えると、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、この方法を実行するためのプログラムコードを有するコンピュータプログラムとして実現することができる。さらに、本発明は、関連制御文字とともに第1スケーリングレイヤおよび第2スケーリングレイヤを有するスケーラブルデータストリームが各種のデコーダ側の手段のために格納されたコンピュータ読み取り可能な媒体に関する。このように、コンピュータ読み取り可能な媒体を、データストリームがプロバイダから受信者に送信されるデータキャリアまたはインターネットとすることもできる。"