第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するアップサンプラと、動き補償された第二の解像度の予測を形成する動き予測手段と、前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、第二の解像度のデコードされた画像ブロックを形成する加算手段と、動き補償された第一の解像度の予測を形成する第二の動き予測手段と、前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、第一の解像度のデコードされた画像ブロックを形成する第二の加算手段と、を備えることを特徴とする空間スケーラブルビデオデコーダ。前記加算手段は、前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、総和信号を形成する第一の加算手段と、第二の解像度のエンハンスメントレイヤの誤差信号を前記総和信号に加えて、前記第二の解像度のデコードされた画像ブロックを形成する第三の加算器と、を有する請求項1記載の空間スケーラブルビデオデコーダ。前記第二の解像度のエンハンスメントレイヤの誤差信号は、イントラ符号化される、請求項2記載の空間スケーラブルビデオデコーダ。ビデオストリームを解凍するエントロピーデコーダと、解凍されたビデオストリームに含まれるデコードされた第二の解像度の動きベクトルを受信して、受信された第二の解像度の動きベクトルの精度を低減して第一の解像度の動きベクトルを形成する動きベクトル解像度低減手段と、第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するアップサンプラと、前記第二の解像度の動きベクトルを使用して、動き補償された第二の解像度の予測を形成する動き予測手段と、前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、第二の解像度のデコードされた画像ブロックを形成する加算手段と、前記第一の解像度の動きベクトルを使用して、動き補償された第一の解像度の予測を形成する第二の動き予測手段と、前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、第一の解像度のデコードされた画像ブロックを形成する第二の加算手段と、を備えることを特徴とする空間スケーラブルビデオデコーダ。第一の解像度の予測の残差を使用して、第二の解像度のデコードされた画像ブロックと第一の解像度のデコードされた画像ブロックの少なくとも一方を形成するステップを含む空間スケーラブルビデオの復号化方法であって、前記第二の解像度のデコードされた画像ブロックは、前記第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するステップ、動き補償された第二の解像度の予測を形成するステップ、及び前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップにより形成され、前記第一の解像度のデコードされた画像ブロックは、動き補償された第一の解像度の予測を形成するステップ、及び前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、前記第一の解像度のデコードされた画像ブロックを形成するステップにより形成される、ことを特徴とする方法。前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成する前記ステップは、前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、総和信号を形成するステップと、第二の解像度のエンハンスメントレイヤの誤差信号を前記総和信号に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップと、を含む請求項5記載の方法。前記第二の解像度のエンハンスメントレイヤの誤差信号は、イントラ符号化される、請求項6記載の方法。ビデオストリームを解凍するステップと、解凍されたビデオビットストリームに含まれるデコードされた第二の解像度の動きベクトルを受信し、受信された第二の解像度の動きベクトルの精度を低減して、第一の解像度の動きベクトルを形成するステップと、第一の解像度の予測の残差を使用して、第二の解像度のデコードされた画像ブロックと第一の解像度のデコードされた画像ブロックの少なくとも一方を形成するステップとを含む空間スケーラブルビデオの復号化方法であって、前記第二の解像度のデコードされた画像ブロックは、前記第一の解像度の予測の残差をアップサンプルして、アップサンプリングされた予測の残差を形成するステップ、前記第二の解像度の動きベクトルを使用して動き補償された第二の解像度の予測を形成するステップ、及び前記アップサンプリングされた予測の残差を前記動き補償された第二の解像度の予測に加えて、前記第二の解像度のデコードされた画像ブロックを形成するステップにより形成され、前記第一の解像度のデコードされた画像ブロックは、前記第一の解像度の動きベクトルを使用して動き補償された第一の解像度の予測を形成するステップ、及び前記第一の解像度の予測の残差を前記動き補償された第一の解像度の予測に加えて、前記第一の解像度のデコードされた画像ブロックを形成するステップにより形成される、ことを特徴とする方法。従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、複雑度スケーラブルビデオ符号化及び復号化の装置及び方法に向けられる本発明により対処される。本発明の1実施の形態の態様によれば、以下のステップを含む画像ブロックのビデオビットストリームを復号化する方法が提供される。ビデオビットストリームをデコードするステップ、デコードされたビットストリームを逆量子化及び逆変換して予測の残余を形成するステップ、予測の残余をアップサンプリングし、アップサンプリングされた予測の残余predictionresidualを形成するステップ、デコードされたビデオビットストリームから動き補償されたフル解像度の予測を形成するステップ、アップサンプリングされた予測の残余を動き補償されたフル解像度の予測と結合し、デコードされた画像ブロックを取得するステップ。本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。本発明は、以下の例示的な図面に従って良好に理解される。本発明は、スケーラブル複雑度ビデオ符号化及び復号化の装置及び方法に向けられる。本実施の形態の記載は、本発明の原理を例示するものである。当業者であれば、本実施の形態で明示的に記載又は図示されないが、本発明の原理を実施し、本発明の精神及び範囲に含まれる様々な構成を考案することができることが理解される。本実施の形態で引用される全ての例及び条件付き言語は、本発明の原理を理解することにおいて読者を支援する教育的な目的のために意図され、かかる特に引用された例及び条件に限定されることがないとして解釈されるべきである。さらに、本発明の原理、態様及び実施の形態をここで述べる全ての説明は、その特定の例と同様に、本発明の構造的かつ機能的に等価なものの両者を包含することが意図される。さらに、かかる等価なものは、現在知られている等価なもの、及び将来的に開発される等価なもの、すなわち構造に関わらず同じ機能を実行する開発されたエレメントの両者を含むことが意図される。したがって、たとえば、ここで与えられるブロック図は、本発明の原理を実施する例示的な回路の概念的なビューを表すことは、当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、かかるコンピュータ又はプロセッサが明示的に示されるか否かで、コンピュータ読取り可能なメディアで実質的に表現され、したがってコンピュータ又はプロセッサにより実行される様々なプロセスを表すことが意図される。図面で示される様々なエレメントの機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プセッサにより提供されるとき、機能は、単一の専用プロセッサ、単一の共有のプロセッサ、又はそのうちの幾つかが供給される場合がある複数の個々のプロセッサにより提供される場合がある。さらに、用語プロセッサ又はコントローラの明示的な使用は、ソフトウェアを実行可能なハードウェアを明示的に示すことが解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサDSPハードウェア、ソフトウェアを記憶するためのリードオンリメモリROM、ランダムアクセスメモリRAM、及び不揮発性ストレージを暗黙に含む場合がある。他のハードウェア、慣習的及び/又はカスタムが含まれる場合もある。同様に、図に示される何れかのスイッチは、概念的のみである。それらの機能は、プログラムロジックの動作、専用ロジック、プログラム制御及び専用ロジックのインタラクション、又は手動を通して実行される場合があり、特定の技術は、コンテクストから更に詳細に理解されるように実現するものより選択される。本発明の請求項では、特定の機能を実行する手段として表現された何れかのエレメントは、たとえばaその機能を実行する回路エレメントの組み合わせ、又はb機能を実行するそのソフトウェアを実行する適切な回路で結合される、ファームウェア、マイクロコード等を含む何れかの形式でソフトウェアを含めて、その機能を実行する何れかのやり方を包含することが意図される。かかる請求項により定義される本発明は、様々な引用される手段により提供される機能が結合され、請求項が呼び出す方式で集められる。出願人は、それらの機能を提供することができる何れかの手段は本実施の形態で示されるものに等価であると認識している。本発明は、符号化効率を維持しつつ、多様な異なったユーザエンドポイント装置をもつブロードキャストビデオシステムをイネーブルにする点で有効である。一般性を失うことなしに、少なくとも2つのデコーダ複雑度及び解像度の異なるレベルをサポートするシステムを考える。低解像度デコーダは、小さいディスプレイサイズを有し、非常に厳密なデコーダ複雑度の制約を有する。フル解像度のデコーダは、より大きなディスプレイサイズを有し、厳密さはないが重要なデコーダの複雑度の制約を有する。ブロードキャスト又はマルチキャストシステムは、ビットレートBRbaseをもつベースレイヤ及びビットレートBRenhanをもつエンハンスメントレイヤである、2つのビットストリームを送信する。2つのビットストリームは、互いに多重化され、1つのトランスポートストリームで送出される場合がある。図8に戻り、複雑度スケーラビリティブロードキャストシステムは、参照符号800により一般的に示される。システム800は、本発明の原理に係る、複雑度スケーラブルビデオエンコーダ及び低解像度デコーダ並びにフル解像度デコーダを含む。複雑度スケーラビリティブロードキャストシステム800は、複雑度スケーラブルビデオエンコーダ810を含む。複雑度スケーラブルビデオエンコーダ810の第一の出力は、マルチプレクサ820の第一の入力との信号通信において接続される。複雑度スケーラブルビデオエンコーダ810の第二の出力は、マルチプレクサ820の第二の入力との信号通信において接続される。マルチプレクサ820の出力は、ネットワーク830との信号通信において接続される。ネットワーク830の出力は、第一のデマルチプレクサ840の入力との信号通信、及び第二のデマルチプレクサ850の入力との信号通信において接続される。第一のデマルチプレクサ840の出力は、低解像度デコーダ850の入力との信号通信において接続される。第二のデマルチプレクサ860の第一の出力は、フル解像度のデコーダ870の第一の入力との信号通信において接続される。第二のマルチプレクサ860の第二の出力は、フル解像度のデコーダ870の第二の入力との信号通信において接続される。低解像度デコーダ850は、ベースレイヤビットストリームのみを処理し、フル解像度デコーダ870は、ベースレイヤのビットストリームとエンハンスメントレイヤのビットストリームの両方を処理する。このシステムの鍵となる目標は、BRbaseBRenhanを最小にすることである。これは、典型的なスケーラビリティシステムとは幾分異なり、BRbase自身を最小にすることは、図1に示されるように重要であると考えられ、低解像度装置は、低帯域幅ネットワークを介して接続される。複雑度スケーラビリティシステム800では、ベースレイヤとエンハンスメントレイヤの両方がブロードキャストされ、したがってベースレイヤビットストリームのビットレートは高く制約されない。本発明では、動き予測/補償の後に形成されるビデオの残余の符号化のために使用されるビットは、低解像度デコーダ850及びフル解像度のデコーダ870の両者で使用される。ベースレイヤビットストリームで伝送される動きベクトルmvsは、低解像度デコーダ850及びフル解像度デコーダ870の両者で使用され、低解像度デコーダ850においてよりもフル解像度デコーダ870において高い精度である。また、動き補償予測は、低解像度デコーダ850において低解像度で行われ、高解像度デコーダ870において高解像度で行われる。低解像度での動きブロックは、高解像度で大きなブロックに対応する。したがって、H.264/MPEGAVCのコーデックに適用されるとき、たとえば許容可能な動きブロックサイズ16×16、16×8、8×16、8×8、8×4、4×8及び4×4は、低解像度ベースレイヤで使用されるが、フル解像度では、大きなブロックサイズ32×32、32×16、16×32、16×16、16×8、8×16及び8×8に対応する。低解像度デコーダ850は、ベースレイヤビットストリームのみを使用する。更なるエンハンスメントレイヤビットストリームは、たとえば、フル解像度のデコーダ870における使用向けに16×16マクロブロックを使用して伝送される。エンハンスメントレイヤのビットストリームは、フル解像度の動き補償と行われる、ベースレイヤのビットストリームのデコードの結果に加算されるべき、フル解像度のエラー信号を含む。エンハンスメントレイヤのビットレートは、ベースレイヤのそれよりも低くなる場合があり、このことは、ベースレイヤのビットレートがエンハンスメントレイヤのビットレートと比較して典型的に小さい典型的な空間スケーラビリティのケースとは異なる。フル解像度エラー信号は、それぞれ符号化されたマクロブロック又はスライス/ピクチャについて必ずしも送出されない。図9に戻り、低解像度の複雑度スケーラブルビデオデコーダは、参照符号900により一般的に示される。ビデオデコーダ900は、ビデオ系列を受信するためにエントロピーデコーダ910を含む。エントロピーデコーダ910の第一の出力は、逆量子化/変換器920の入力との信号通信において接続される。逆量子化/変換器920の出力は、サミングジャンクション加算器、又は信号結合/比較のための他の手段940の第一の入力との信号通信において接続される。サミングジャンクション940の出力は、基準ピクチャストア950との信号通信、及びデブロッキングフィルタ990との信号通信において接続される。基準ピクチャストア950は、動き補償器960の第一の入力との信号通信において接続される。動き補償器960の出力は、サミングジャンクション940の第二の入力との信号通信において接続される。エントロピーデコーダ910の第二の出力は、動きベクトルMVの解像度低減手段999の入力との信号通信において接続される。MV解像度低減手段999の出力は、動き補償器960の第二の入力との信号通信において接続される。デブロッキングフィルタ990の出力は、ビデオデコーダ900の出力を提供する。ベースレイヤのビットストリームは、エントロピーデコーダ910によりエントロピー復号化される。動きベクトルは、動きベクトルの解像度低減手段999により丸められ、低解像度に対応するために動きベクトルの精度が低減される。残りのブロックは、逆量子化及び逆変換、動き補償及びデブロッキングフィルタを含めて、標準的なビデオデコーダで発見されるブロックに類似している。低解像度のスケーラブルデコーダ900の複雑度は、動きベクトルのスケーリングが非常に低い複雑度であるので、非スケーラブルデコーダの複雑度に非常に類似している。低解像度とフル解像度の間のそれぞれのディメンジョンにおける解像度の比においてファクタ2が使用される場合、システムにおいて切り上げが選択されたか、切り下げが選択されたかに依存して、丸めはちょうど右シフト又は加算と右シフトで実現することができる。本発明の代替的な実施の形態では、ベースレイヤで伝送された動きベクトルは、高解像度のベクトルではない。このケースでは、低解像度デコーダは、既存の符号化規格と完全に後方互換性がある。しかし、かかるシステムは、更なるビット精度のフル解像度の動きベクトルがエンハンスメントレイヤのビットストリームで伝送される必要があるので、低い符号化効率からなる場合がある。このケースでは、エンハンスメントレイヤは、Pスライスに類似して符号化され、動きベクトルは、第一にたとえば、対応する低解像度レイヤmvに対して異なって符号化されるといったレイヤ予測に基づいて、第二にたとえば隣接するmvsに対して、又は隣接する差mvsに対して異なって符号化されるといった空関予測を使用して異なって符号化される。図10に進み、高解像度の複雑度スケーラブルビデオデコーダ1000は、参照符号1000により一般的に示されている。ビデオデコーダ1000は、ベースレイヤのビットストリームを受信するために第一のエントロピーデコーダ1005を含む。第一のエントロピーデコーダ1005の出力は、第一の逆の量子化/変換1010の入力との信号通信において接続される。第一の逆の量子化/変換器1010の出力は、アップサンプラ1015の入力との信号通信において接続される。アップサンプラ1015の出力は、第一のサミングジャンクション加算器、又は信号結合/比較のための他の手段の第一の入力との信号通信において接続される。第一のサミングジャンクション1020の出力は、第二のサミングジャンクション加算器、又は信号結合/比較の他の手段の第一の入力との信号通信において接続される。フル解像度の基準ピクチャストア1030の出力は、動き補償器1035の第一の入力との信号通信において接続される。エントロピーデコーダ1005の第二の出力は、動き補償器1035の第二の入力との信号通信において接続される。動き補償器1035の出力は、第一のサミングジャンクション1020の第二の入力との信号通信において接続される。第二のエントロピーデコーダ1040の入力は、エンハンスメントレイヤビットストリームを受信するためのものである。第二のエントロピーデコーダ1040の出力は、第二の逆量子化/変換器1045の入力との信号通信において接続される。第二の逆量子化/変換器1045の出力は、第二のサミングジャンクション1025の第二の入力との信号通信で接続される。デブロッキングフィルタ1050への入力は、フル解像度の基準ピクチャストア1030の入力との信号通信、又は第二のサミングジャンクション1025の出力との信号通信において接続される。デブロッキングフィルタ1050の出力は、ビデオデコーダ1000の出力を提供する。ベースレイヤビットストリームで動作するデコーダ1000の部分は、RRUデコーダに類似している。エントロピー復号化及び逆量子化及び逆変換の後、残余がアップサンプリングされる。動き補償は、フル解像度の予測を形成するため、フル解像度の基準ピクチャに適用され、アップサンプリングされた残余は、予測に加えられる。フル解像度のエラー信号がエンハンスメントレイヤビットストリームに存在する場合、エントロピー復号化及び逆量子化及び変換され、RRU再構築された信号に加えられる。デブロッキングフィルタが次いで適用される。フル解像度エラー信号の存在は、スキップマクロブロックモードの使用によりマクロブロックレベルで合図される。マクロブロックがスキップされたとしてマークされた場合、更なるエラー信号が存在せず、マクロブロックがマークされない場合、delta_quant、符号化されたブロックパターン及び実際の残余が送信される必要がある。スキップマクロブロックは、効率を更に高めるためにランレングス符号化される。方向性予測を実行しない更なるイントラ指向性の予測モードがつくられる場合がある。エンハンスメントレイヤにおけるマクロブロックがスキップされる場合に更なる予測を実行しないことは更に効率が高いが、更なる予測は、隣接するマクロブロックを考慮することで推論される。たとえば、H.264で記載された全てのイントラ予測モードが利用可能である場合、最終的な予測を生成するためにRRU再構成された信号に加えられる隣接するマクロブロックすなわち最小の方向性の予測の予測モードから導出することができるスキップのための更なる予測が生成される。同様に、エラー信号の送信を更に許容しつつ、隣接するマクロブロックからその方向性の予測モードを導出する更なるダイレクトイントラモードが使用される。このアーキテクチャの従来の空間スケーラブルデコーダとの大きな違いは、基準ピクチャストア及び動き補償ユニットの2つのセットの必要がないことである。このフル解像度デコーダは、フル解像度の基準ピクチャストアのみを含み、フル解像度で1度だけ動き補償を実行するのみである。対照的に、図3の空間スケーラビリティデコーダは、フル解像度及び低解像度の基準ピクチャストアの両者を含み、フル解像度及び低解像度の両者で動き補償を実行する。これは、従来の空間スケーラブルデコーダに比較して、本発明に係るフル解像度のデコーダの計算、メモリ、メモリ帯域幅における大幅な低減につながる。フル解像度のスケーラブルデコーダのデコーダの複雑度は、同じ解像度の通常のビデオデコーダの複雑度に類似する。ベースレイヤビットストリームの逆量子化及び逆変換ブロックは、数ブロックで動作するので低解像度からなる。しかし、更なるエントロピー復号化及び逆量子化及び逆変換は、エンハンスメントレイヤのビットストリームについて必要とされる。動き補償及びデブロッキングフィルタは、最も計算上複雑なデコーダのブロックであり、通常のデコーダから変化されない。本発明の実施の形態では、イントラ符号化されたIスライスがベースレイヤで存在するとき、エンハンスメントレイヤビットストリームのフル解像度のエラー信号のみが送出される。Iスライスのみについてエンハンスメントレイヤの使用を制限することは、ソフトウェア実現についてデコーダの複雑度が制限される。Iスライスは、P及びBスライスよりも少ない計算を一般に必要とし、したがって、更なるエントロピー復号化及び逆量子化及び逆変換動作のために利用可能な余分のCPUサイクルが存在する。図11に進み、複雑度スケーラブルビデオエンコーダは、参照符号1100により一般的に示される。ビデオエンコーダ1100への入力は、第一のサミングジャンクション加算器、又は信号結合/比較のための他の手段の非反転入力との信号通信において接続される。第一のサミングジャンクション1105の出力は、ダウンサンプラ1112の入力との信号通信において接続される。ダウンサンプラ1112の出力は、第一の変換器/量子化器1115の入力との信号通信において接続される。第一の変換器/量子化器1115の出力は、第一のエントロピーコーダ1120の入力との信号通信において接続され、第一のエントロピーコーダ1120の出力は、ベースレイヤのビットストリームのためのエンコーダ1100の外部で利用可能な出力である。第一の変換器/量子化器1115の出力は、第一の逆変換/量子化器1125の入力との信号通信において更に接続される。第一の逆変換/量子化器1125の出力は、アップサンプラ1155の入力との信号通信で接続される。アップサンプラ1155の出力は、第三のサミングジャンクション加算器、又は信号結合/比較のための他の手段1199の第一の入力との信号通信において接続される。第三のサミングジャンクション1199の第一の出力は、第二のサミングジャンクション加算器、又は信号結合/比較のための他の手段1160の第一の非反転入力との信号通信において接続される。第三のサミングジャンクション1199の第二の出力は、第三のサミングジャンクション1165の第一の非反転入力との信号通信において接続される。ビデオエンコーダ1100への入力は、第二のサミングジャンクション1160の非反転入力との信号通信において更に接続される。第二のサミングジャンクション1160の出力は、スイッチ1162の入力との信号通信において接続される。スイッチ1162の出力は、第二の変換/量子化器1170への入力との信号通信において接続される。第二の変換/量子化器1170の出力は、第二のエントロピーコーダ1175の入力との信号通信において接続され、第二のエントロピーコーダ1175の出力は、エンハンスレイヤのビットストリームについてエンコーダ1100の外部で利用可能な出力である。第二の変換/量子化器1170の出力は、第二の逆変換/量子化器1180の入力との信号通信において更に接続される。第二の逆変換/量子化器1180の出力は、第三のサミングジャンクション1165の第二の非反転入力との信号通信で接続される。ビデオエンコーダ1100への入力は、動き予測器1185の第一の入力との信号通信において更に接続される。動き予測器1185の出力は、動き補償器1190の第一の入力との信号通信において接続される。動き補償器1190の出力は、第一のサミングジャンクション1105の反転入力との信号通信、及び第三のサミングジャンクション1199の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア1192の第一の出力は、動き予測器1185の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア1192の第二の出力は、動き補償器1190の第二の入力との信号通信において接続される。フル解像度の基準ピクチャストア1192の入力は、デブロッキングフィルタ1195の出力との信号通信において接続される。デブロッキングフィルタ1195の入力は、スイッチ1191の出力との信号通信において接続される。スイッチ1191の別の入力は、第三のサミングジャンクション1165の出力との信号通信において接続される。エンコーダ1100は、低解像度のビデオ品質よりはむしろフル解像度のビデオ品質を最適化しようとする。動き予測は、フル解像度のビデオピクチャで実行される。入力ピクチャから動き補償された予測の減算の後、予測の残余がダウンサンプリングされる。RRUコーデックにおけるのとは異なり、ダウンサンプリングは、低解像度のデコーダがデコードすべきピクチャを常に有するように、全てのピクチャに適用される。ダウンサンプリングされた残余は、変換、量子化及びエントロピー符号化される。これにより、ベースレイヤのビットストリームが形成される。逆量子化及び逆変換が適用され、次いで、符号化された残余は、フル解像度にアップサンプルされる。エンコーダは、ピクチャ又はスライスについてエンハンスメントレイヤのフル解像度のエラー信号を送出するか、否かを選択することができる。一般に、エンハンスメントレイヤのフル解像度のエラー信号は、全てのIスライスについて符号化され、フル解像度の入力ピクチャがデコードされたアップサンプルされたものを引いたとき、エラー信号の大きさに基づいてP及びBスライスについて任意に送出される。エンハンスメントレイヤのフル解像度のエラー信号が符号化される場合、符号化されたベースレイヤがアップサンプリングされた符号化されたピクチャは、入力のフル解像度のピクチャから減算される。次いで、差が量子化され、変換され、エントロピー符号化されてエンハンスメントレイヤのビットストリームが形成される。エンハンスメントレイヤのビットストリームは、イントラ符号化されたスライスのみを含むとして見ることができる。代替的な実施の形態では、低解像度ピクチャとフル解像度ピクチャの両者の結合最適化が行われる。それは、スケーラブルエンコーダ、低解像度の基準ピクチャストア、及び更なる低解像度の動き補償ブロックの内側のフル低解像度のデコーダモデルの追加を必要とする。たとえば、双一次補間、ゼロ次ホールド、又はマルチタップフィルタといった、幾つかの異なるアップサンプリング及びダウンサンプリングフィルタの何れかを使用することができる。更なるデブロッキングフィルタは、エンハンスメントレイヤエラー信号の追加の前に、フル解像度デコーダ及びスケーラブルエンコーダで追加される。デブロッキングは、このケースでは、使用されるエンハンスメントレイヤのマクロブロックモードを考慮しており、すなわち、全ての影響されたブロックがスキップされた場合、更なるデブロッキングが適用されず、さもなければ、残余又は低解像度の構築されたブロックでアップスケーリングが実行されたかに依存して、異なる強度のフィルタリングが適用される。H.264/MPEGAVCに適用されたとき、フル解像度のデコーダにおけるイントラ予測のために使用するため、1を超える可能性のある方法が存在する。イントラ予測は、H.264/MPEGAVC仕様におけるのと同じ予測画素を使用して低解像度で印加される。代替的に、別の方法が使用され、イントラ予測はフル解像度で適用され、フル解像度での多数の画素が予測で使用される。代替的な実施の形態では、フル解像度のデコーダは、ベースレイヤの復号化すなわち16×16マクロブロックと同じ解像度及び方法を使用してマクロブロックの動き補償を実行することを決定する場合があり、これは次いで、フル解像度にアップサンプリングされる。アップサンプリングは、双一次又は長タップフィルタを使用して実行される。必要な場合、フル解像度のエラー信号が追加される。すなわちスキップモードから離れて、RRUマクロブロックモード、及び低解像度のマクロブロックモードの存在によりマクロブロックレベルでの更なるシグナリングを通して判定が行われる。このプロセスは、所定のケースについて望まれ、この場合、ハイモーション及びテクスチャ詳細のため、残余のアップサンプリングは、望まれない高周波及びアーチファクトの生成につながる。にもかかわらず、これは、フル解像度のデコーダが低解像度のリファレンスを記憶するか、又はオンザフライで、低解像度のリファレンスを生成することができることを必要とする。また、長タップフィルタは、動き補償が小さなブロックについて実行される事実から部分的に補償できるが、複雑度を更に被る。第二に、しかし、同じ問題に対する更にシンプルな相対的なソリューションは、フル解像度で動き補償を実行すること、ベースレイヤの残余をエントロピー復号化及び逆量子化及び逆変換することであるが、フル解像度エラーを最終的に追加する前に、動き補償された信号に追加しない。この方法は、残りの残余のデコードのためのエントロピーコンテクストモデルを更新するため、ベースレイヤの残余のデコードを必要とする。この後のソリューションは、低解像度マクロブロックモードを置き換えるか、又はフル解像度の残余のエンコードの更なるモードとして共存する。先の記載及び図面は、2つのレイヤのスケーラビリティを想定しているが、このコンセプトは、任意の数のレイヤに拡張することができる。図12に進み、ビデオ符号化プロセスは、参照符号1200により一般的に示される。プロセスは、ループリミットブロック1210に制御を移す開始ブロック1205を含む。ループリミットブロック1210は、判定ブロック1215に制御を移し、判定ブロックは、現在の入力ブロックがイントラ符号化されたか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックのイントラ予測を形成する機能ブロック1220に移り、制御を機能ブロック1230に移す。さもなければ、現在の入力ブロックがイントラ符号化された場合、制御は、現在の入力ブロックの動き補償された予測を形成する機能ブロック1225に移り、制御を機能ブロック1230に移す。機能ブロック1230は、現在の入力ブロックの予測を現在の入力ブロックから引いて予測の残余を形成し、次いで制御は機能ブロック1235に移る。機能ブロック1235は、予測の残余をダウンサンプルし、制御を機能ブロック1240に移す。機能ブロック1240は、ダウンサンプリングされた予測の残余を変換及び量子化し、制御を機能ブロック1245に移す。機能ブロック1245は、予測の残余をエントロピー符号化し、制御を機能ブロック1250に移す。機能ブロック1250は、予測の残余を逆変換及び逆量子化し、符号化された予測残余を形成し、制御を機能ブロック1255に移す。機能ブロック1255は、符号化された予測の残余をアップサンプリングしてアップサンプリングされた符号化された予測の残余を形成し、次いで、制御を機能ブロック1260に移す。機能ブロック1260は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック1265に移す。ループリミットブロックは、制御をエンドブロック1270に移す。図13に進み、空間スケーラビリティによるビデオ符号化プロセスは、参照符号1300により一般に示される。プロセスは、ループリミットブロック1310に制御を移す開始ブロック1305を含む。ループリミットブロック1310は、判定ブロック1315に制御を移し、判定ブロックは、現在の入力ブロックがイントラ符号化されているか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックのイントラ予測を形成する機能ブロック1320に移り、次いで、制御を機能ブロック1330に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの動き補償された予測を形成する機能ブロック1325に移り、次いで、制御を機能ブロック1330に移す。機能ブロック1330は、現在の入力ブロックの予測を現在の入力ブロックから引いてベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック1335に移す。機能ブロック1335は、ベースレイヤの予測の残余をダウンサンプルし、次いで、制御を機能ブロック1340に移す。機能ブロック1340は、ダウンサンプリングされたベースレイヤの予測の残余を変換及び量子化し、次いで、制御を機能ブロック1345に移す。機能ブロック1345は、ベースレイヤ予測の残余をエントロピー符号化し、次いで、制御を機能ブロック1350に移す。機能ブロック1350は、予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック1355に移す。機能ブロック1355は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック1360に移す。機能ブロック1360は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたベースレイヤブロックを形成し、次いで、制御を機能ブロック1365に移す。機能ブロック1365は、符号化されたベースレイヤブロックを現在の入力ブロックから引いてエンハンスレイヤの予測の残余を形成し、次いで、制御を機能ブロック1370に移す。機能ブロック1370は、ダウンサンプリングされたエンハンスレイヤの予測の残余を変換及び量子化し、次いで、制御を機能ブロック1375に移す。機能ブロック1375は、エンハンスレイヤの予測の残余をエントロピー符号化し、次いで、制御を機能ブロック1380に移す。機能ブロック1380は、エンハンスレイヤの予測の残余を逆変換及び逆量子化して符号化されたエンハンスレイヤの予測の残余を形成し、次いで、制御を機能ブロック1385に移す。機能ブロック1385は、符号化されたエンハンスレイヤのブロックを追加し、次いで、制御をループリミットブロック1390に移す。ループリミットブロック1390は、制御を終了ブロック1395に移す。図14に進み、高解像度のビデオ復号化プロセスは、参照符号1400により一般に示される。プロセスは、制御をループリミットブロック1410に移す開始ブロック1405を含む。ルームリミットブロック1410は、制御を機能ブロック1415に移し、機能ブロック1415は、符号化されたベースレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック1420に移す。機能ブロック1420は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を機能ブロック1425に移す。機能ブロック1425は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック1430に移す。判定ブロック1430は、現在の入力ブロックがイントラ符号化されたか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックの高解像度の動き補償された予測を形成する機能ブロック1435に移り、次いで、制御を機能ブロック1440に移す。さもなければ、現在の入力ブロックがイントラ符号化された場合、制御は、現在の入力ブロックの高解像度のイントラ予測を形成する機能ブロック1445に移り、次いで、制御は、機能ブロック1440に移る。機能ブロック1440は、アップサンプリングされた符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック1450に移す。ループリミットブロック1450は、終了ブロック1455に移す。図15に進み、低解像度のビデオ復号化プロセスは、参照符号1500により一般に示される。プロセスは、制御をループリミットブロック1510に移す開始ブロック1505を含む。ループリミットブロック1510は、機能ブロック1515に制御を移し、機能ブロック1515は、符号化されたベースレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック1520に移す。機能ブロック1520は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック1525に移す。判定ブロック1525は、現在の入力ブロックがイントラ符号化されたか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、現在の入力ブロックについて動きベクトルをスケーリングする機能ブロック1530に制御を移し、次いで、制御を機能ブロック1535に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの低解像度のイントラ予測を形成する機能ブロック1540に移り、次いで、制御は、機能ブロック1545に移る。機能ブロック1535は、現在の入力ブロックの低解像度の動き補償された予測を形成し、次いで、制御を機能ブロック1545に移す。機能ブロック1545は、符号化された予測の残余を現在の入力ブロックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック1550に移す。ループリミットブロック1550は、制御を終了ブロック1555に移す。図16に進み、空間スケーラビリティをもつ高解像度のビデオ復号化プロセスは、参照符号1600により一般に示される。プロセスは、ループリミットブロック1610に制御を移す開始ブロック1605を含む。ループリミットブロック1610は、機能ブロック1615に制御を移し、機能ブロック1615は、符号化されたベースレイヤの予測の残余をエントロピー復号化し、次いで、制御を機能ブロック1620に移す。機能ブロック1620は、ベースレイヤの予測の残余を逆変換及び逆量子化して符号化されたベースレイヤの予測の残余を形成し、次いで制御を機能ブロック1625に移す。機能ブロック1625は、符号化されたベースレイヤの予測の残余をアップサンプリングしてアップサンプリングされた符号化されたベースレイヤの予測の残余を形成し、次いで、制御を判定ブロック1630に移す。判定ブロック1630は、現在の入力ブロックがイントラ符号化されているか否かを判定する。現在の入力ブロックがイントラ符号化されていない場合、制御は、現在の入力ブロックの高解像度の動き補償された予測を形成する機能ブロック1635に移り、次いで、制御を機能ブロック1640に移す。さもなければ、現在の入力ブロックがイントラ符号化されている場合、制御は、現在の入力ブロックの高解像度のイントラ予測を形成する機能ブロックに1645に移り、次いで、制御を機能ブロック1640に移す。機能ブロック1640は、アップサンプリングされた符号化された予測の残余を現在の入力ブックの予測に加えて符号化されたピクチャブロックを形成し、次いで、制御を機能ブロック1646に移す。機能ブロック1646は、フル解像度の符号化されたエンハンスレイヤの予測の残余ビットストリームをエントロピー復号化し、次いで、制御を機能ブロック1650に移す。機能ブロック1650は、フル解像度のエンハンスメントレイヤの予測の残余を逆変換及び逆量子化してフル解像度の符号化されたエンハンスメントレイヤの予測の残余を形成し、次いで、制御を機能ブロック1655に移す。機能ブロック1655は、符号化されたベースレイヤのピクチャブロックをフル解像度の符号化されたエンハンスメントレイヤの予測の残余に加えて符号化されたピクチャブロックを形成し、次いで、制御をループリミットブロック1660に移す。ループリミットブロック1660は、終了ブロック1665に制御を移す。本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態での教示に基づいて当業者により確定される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせの様々な形態で実現される場合があることを理解されたい。最も好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで有形に実施されるアプリケーションプログラムとして実現されることが好ましい。アプリケーションプログラムは、適切なアーキテクチャを有するマシンにアップロードされる、マシンにより実行される場合がある。好ましくは、マシンは、1以上の中央処理装置CPU、ランダムアクセスメモリRAM、及び入力/出力I/Oインタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。コンピュータプロラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載された様々な処理及び機能は、CPUにより実行される場合がある、マイクロ命令コードの一部、又はアプリケーションプログラムの一部、若しくはその組み合わせのいずれかである場合がある。さらに、様々な他の周辺装置は、付加的なデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。要素たるシステムコンポーネント及び添付図面に示される方法の幾つかはソフトウェアで実現されることが好ましいため、システムコンポーネント又はプロセスの機能ブロックとの間の実際のコネクションは、本発明がプログラムされる方式に依存して異なる場合があることが更に理解される。本実施の形態での教示が与えられると、当業者であれば本発明のこれらの実現又はコンフィギュレーション、並びに類似の実現又はコンフィギュレーションを考案することができる。例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更が本発明の範囲又は精神から逸脱することなしに当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べた本発明の範囲に含まれることが意図される。