"圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供する方法であって、ビデオシーケンスを表すスケーラブル圧縮信号を、ネットワークに接続されたサーバ計算機システムを介して、前記ネットワークに利用可能にするステップと、ビデオシーケンスとして伸張して見るために、前記スケーラブル圧縮信号の一部を、前記ネットワークに接続されたクライアント計算機システムを介して選択するステップと、前記クライアントによる選択を監視するステップと、前記クライアントにとって対象となるスケーラブル圧縮信号のさらなる部分を、前記クライアントを介して選択するステップと、を備える方法。前記サーバが、前記クライアントによる前記信号の前記一部の選択を監視するステップをさらに含み、それによって、前記クライアントが、対象となる特定の領域の信号のさらなる部分を要求すると、前記サーバは、信号の最も適切な部分を前記クライアントに提供することができる、請求項1に記載の方法。前記信号は、複数の次元でスケーラブルであり、前記方法は、前記クライアントが、対象となる前記領域の次元に関連する前記部分を選択するステップをさらに含む、請求項1に記載の方法。前記次元は、ビデオの空間エリアおよび時間エリアを含む、請求項3に記載の方法。前記クライアント計算機システムは、前記スケーラブル圧縮信号の受信した部分をキャッシュするステップをさらに備え、それによって、前記スケーラブル圧縮信号の前記さらなる部分は、対象となる前記領域のビデオを生成する伸張を行うために前記キャッシュされた部分に追加することができる、請求項1に記載の方法。前記サーバ計算機システムは、前記クライアント計算機システムによってキャッシュされているデータの状況を把握し、前記ネットワークの資源をより効率的に利用するために、この情報を用いて、前記クライアント計算機システムに送信する最も適切な情報を決定する、請求項5に記載の方法。前記圧縮されたディジタルビデオ信号は、前記ビデオシーケンスを入力信号に構成するステップと、動きの冗長を利用する形式で、前記入力信号を一組の時間周波数帯域に分解するステップと、前記分解された入力信号にスケーラブル符号化方法を適用して、前記スケーラブル圧縮ビデオ信号を生成するステップと、を含む方法によって圧縮される、請求項1に記載の方法。前記入力信号を分解する前記ステップは、前記時間周波数帯域を空間周波数帯域にさらに分解し、その結果として空間-時間周波数帯域にするステップをさらに備える、請求項7に記載の方法。前記入力信号を一組の時間周波数帯域に前記分解するステップは、前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離するステップと、一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シーケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、および、その逆も同様に行うことを交互に行うステップと、を含む請求項7に記載の方法。圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供するシステムであって、ネットワークに接続されるように構成され、クライアント計算機システムに向けて前記ネットワーク上に配信するためのビデオシーケンスを表すスケーラブル圧縮信号を提供する手段を含むサーバ計算機システムと、前記スケーラブル圧縮信号の一部を選択する選択手段と、ビデオシーケンスとして見るために前記スケーラブル信号を伸張する伸張装置とを含むクライアント計算機システムであって、前記選択手段は、該クライアントの対象となる領域に関連する前記スケーラブル信号のさらなる部分を選択するように構成される、クライアント計算機システムと、を備えるシステム。前記クライアントは、前記スケーラブル信号の一部を記憶するように構成されたキャッシュを含み、前記サーバは、前記信号のどの部分が前記クライアントのキャッシュに記憶されているかを判断することを可能にするために、前記クライアントを監視するように構成されたキャッシュモニタを含み、それによって、前記サーバは、ビデオの対象となる領域に対する前記クライアントのリクエストがあると、前記対象となる領域を再生するために必要とされる信号の前記さらなる部分のみを前記クライアントに送信し得る、請求項10に記載のシステム。前記圧縮されたビデオ信号は、前記ビデオシーケンスを入力信号に構成するステップと、動きの冗長を利用する形式で、前記入力信号を一組の時間周波数帯域に分解するステップと、前記分解された入力信号にスケーラブル符号化方法を適用して、スケーラブル圧縮ビデオ信号を生成するステップと、を含む方法によって圧縮される、請求項10に記載のシステム。前記入力信号を分解する前記ステップは、前記時間周波数帯域を空間周波数帯域にさらに分解し、その結果として空間-時間周波数帯域にするステップをさらに備える、請求項12に記載のシステム。前記入力信号を一組の時間周波数帯域に前記分解するステップは、前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離するステップと、一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シーケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、および、その逆も同様に行うことを交互に行うステップと、を含む請求項12に記載のシステム。本発明の目的は、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供することである。第1の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する方法であって、ビデオシーケンスを入力信号に構成するformingステップと、動きの冗長を利用する形式で、入力信号を一組の時間周波数帯域に分解するステップと、分解された入力信号にスケーラブル符号化方法を適用して、スケーラブル圧縮ビデオ信号を生成するステップとを含み、前記入力信号を一組の時間周波数帯域に分解するステップは、前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離するステップと、一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シーケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、および、その逆も同様に行うことを交互に行うステップと、を含む方法を提供する。本発明の重要な特徴の1つは、動きの冗長性が、時間周波数帯域への分解によって直接利用されることである。これにより、予測フィードバックの必要性が回避される。したがって、分解された入力信号を、スケーラブルな形式で符号化することができる。入力信号を分解するステップは、時間周波数帯域を空間周波数帯域に分解して、空間-時間周波数帯域を提供するステップをさらに備えることが好ましい。後述するように、さまざまな低減されたサイズ空間解像度のビデオへの効率的なアクセスを可能にするように、時間および空間の分解のステップを並べ替えることが望ましい場合がある。動き補償は、入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離し、かつ一連の動き補償リフティング演算を適用して、偶数フレームの部分シーケンスに基づいて奇数フレームの部分シーケンスを更新すること、およびその逆も同様に行うことを交互に行うことにより組み込まれることが好ましい。低い時間周波数帯域は、リフティング演算を再帰的に適用することにより、予め定められた数の分解レベルに向けてさらに分解されることが好ましい。時間帯域を空間周波数帯域にさらに分解した後、その結果としての空間-時間周波数帯域には、スケーラブル符号化方法が施され、スケーラブル圧縮ビデオ信号が生成される。それぞれの空間-時間周波数帯域に属するサンプルは、ブロックに分割され、各ブロックが、他のブロックから独立して符号化されるようになっていることが好ましい。ブロックは、ビデオ内の対象となる領域への効率的なアクセスを提供するような形式で選択されるブロックの空間および時間の次元を有する。ブロックは、組み込み形式で符号化され、ディジタルビットストリームの組み込みサブセットに増加コントリビューションを提供することが好ましい。このようにして、所望の利用可能な増減された解像度および品質で、組み込みサブセットは、計算機システムによって選択的に復号されることが可能となり、ユーザは、ビデオの所望の部分を見ることが可能となる。したがって、好ましい実施形態では、スケーラブルビットストリームは、異なる時間帯、異なる解像度時間および空間の双方ならびに異なる品質レベルに対応する別個のサブセットを含み、クライアントは、最も興味のある特定の時間セグメントと関連した品質を洗練することをインタラクティブに選択することができる。さらに、スケーラブルビットストリームは、異なる空間領域に対応する別個のサブセットを含むこともでき、クライアントは、クライアントの興味のあるレベルによって、特定の時間帯にわたる特定の空間領域と関連した品質を洗練することをインタラクティブに選択することができる。例えば、練習用ビデオでは、ネットワークの遠隔クライアントは、ビデオの所定のセグメントにインタラクティブに立ち戻ることができ、これらセグメントのより高品質の情報を、何らの遅延も受けることなく、ネットワークサーバからストリーミングを続けることができる。本発明による高度なスケーラブル圧縮ビデオ信号の提供によって、例えばインターネットのようなネットワーク上のコンピュータによるビデオ信号のインタラクティブなブラウジングを容易にすることができる。本発明の第2の態様によると、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供する方法であって、ビデオシーケンスを表すスケーラブル圧縮信号を、ネットワークに接続されたサーバ計算機システムを介して、ネットワークに利用可能にするステップと、ビデオシーケンスとして伸張して見るために、スケーラブル圧縮信号の一部を、ネットワークに接続されたクライアント計算機システムを介して選択するステップと、クライアントによる選択を監視するステップと、クライアントにとって対象となるスケーラブル圧縮信号のさらなる部分を、クライアントを介して選択するステップとを備える方法が提供される。クライアントは、これまでに見た信号部分を記憶することができるキャッシュを含むことが好ましい。クライアントが、ビデオの同じエリアと関連する信号のさらに別の部分空間領域だけでなく時間領域も含み得るを見たいならば、クライアントには、例えば、解像度または品質を増加させ、ビデオのより正確なレンディションを提供するのに十分なさらに別の部分の信号のみが必要とされる。クライアントは、全ての信号を再送信される必要はない。サーバは、クライアントが信号のどの部分を既に受信しているかを知り、増減された信号のさらにどの部分が必要とされるかを判断できるように、クライアントのキャッシュの状態を監視するキャッシュ監視手段も含むことが好ましい。本発明の第3の態様によると、本発明の第2の態様に従った方法であって、スケーラブル圧縮信号は、本発明の第1の態様の方法によって圧縮される方法が提供される。第4の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する方法であって、ビデオシーケンスを、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離することにより、ビデオシーケンスを一組の時間周波数側の帯域に分解するステップと、一連の動き補償リフティング演算を適用して、動きに反応する形式で、偶数フレームシーケンスに基づいて奇数フレームシーケンスを更新すること、およびその逆も同様に行うことを交互に行うステップと、符号化方法を適用して、圧縮ビデオ信号を生成するステップとを含む方法を提供する。第5の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成するシステムであって、該システムは、ビデオシーケンスを入力信号に構成する手段と、動きの冗長を利用する形式で、入力信号を一組の時間周波数帯域に分解する手段と、分解された入力信号にスケーラブル符号化方法を適用して、スケーラブル圧縮ビデオ信号を生成する手段とを備え、前記入力信号を一組の時間周波数帯域に前記分解する手段は、前記入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離し、かつ、一連の動き補償リフティング演算を適用して、動きに反応する形式で、前記偶数フレームの部分シーケンスに基づいて前記奇数フレームの部分シーケンスを更新すること、およびその逆も同様に行うことを交互に行うように構成されるリフティング手段を含むシステムを提供する。第6の態様によると、本発明は、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングを提供するシステムであって、ネットワークに接続されるように構成され、クライアント計算機システムに向けてネットワーク上に配信するためのビデオシーケンスを表すスケーラブル圧縮信号を提供する手段を含むサーバ計算機システムと、スケーラブル圧縮信号の一部を選択する選択手段と、ビデオシーケンスとして見るためにスケーラブル信号を伸張する伸張装置とを含むクライアント計算機システムであって、選択手段は、該クライアントの対象となる領域に関連するスケーラブル信号のさらなる部分を選択するように構成される、クライアント計算機システムとを備えるシステムを提供する。第7の態様によると、本発明は、ビデオシーケンスを圧縮して、圧縮ビデオ信号を生成する装置であって、ビデオシーケンスを一組の時間帯域に分解する手段と、入力信号を、偶数でインデックスされたフレームの部分シーケンスおよび奇数でインデックスされたフレームの部分シーケンスに分離する手段と、一連の動き補償リフティング演算を適用して、動きに反応する形式で、偶数フレームシーケンスに基づいて奇数フレームシーケンスを更新すること、およびその逆も同様に行うことを交互に行う手段とを備える装置を提供する。第8の態様によると、本発明は、本発明の第1の態様に従った方法ステップの逆である方法ステップを適用するステップを備える方法を含む、本発明の第1の態様に従った方法を提供する。第9の態様によると、本発明は、本発明の第8の態様に従った方法を適用する手段を含む伸張システムを提供する。第10の態様によると、本発明は、計算機システムにロードされると、該計算機システムを制御して、本発明の第1の態様に従った方法を実施するように構成されたコンピュータプログラムを提供する。第11の態様によると、本発明は、本発明の第10の態様に従ったコンピュータプログラムを提供するように構成されたコンピュータ読み取り可能媒体を提供する。第12の態様によると、本発明は、システムであって、クライアントは、スケーラブル信号の一部を記憶するように構成されたキャッシュを含み、サーバは、信号のどの部分がクライアントのキャッシュに記憶されているかを判断することを可能にするために、クライアントを監視するように構成されたキャッシュモニタを含み、それによって、サーバは、ビデオの対象となる領域に対するクライアントのリクエストがあると、対象となる領域を再生するために必要とされる信号のさらなる部分のみをクライアントに送信し得る、システムを提供する。本発明の特徴および利点は、添付図面を参照して、単なる一例として説明される、以下の本発明の実施形態から明らかになるであろう。本発明によれば、圧縮されたディジタルビデオ信号のインタラクティブな遠隔ブラウジングが提供される。既に言及したように、効果的なスケーラブルビデオ圧縮技術の開発に対する最も基本的な障害は、高度なスケーラブルフレームワーク内でフレーム間冗長を利用することが困難なことである。MCPに代わって、過去に最も効を奏したアプローチは、時間領域におけるハールウェーブレットHaarWaveletの使用に焦点を合わせ、隣接するフレームの平均および差分に対応する時間的な低域通過副帯域lowpasssubbandおよび高域通過副帯域highpasssubbandを生成するものである。ウェーブレット変換は、低域通過チャネルに沿って繰り返され、再帰的な形式で、低域通過チャネルからさらに低域通過副帯域および高域通過副帯域を生成する。必要メモリを最小にするために、これは、最も低周波の時間副帯域が、8個の隣接するフレームの平均を表すように、通常、2回または3回の繰り返しに対してのみ続けられる。動き補償を行うために、個々のフレームは、隣接するフレームの共通の空間的特徴を揃えるように、プリワープprewarpされることがある。これは、DTaubmanおよびAZakhor著Multirate3DsubbandcodingofvideoIEEETransImageProcessingvol3pp572588September1994の重要なアイデアであり、JOhm著ThreedimensionalsubbandcodingwithmotioncompensationIEEETransImageProcessingvol3pp559571September1994のアプローチに関連する。しかしながら、効率的な圧縮を確実にし、かつオリジナルのビデオシーケンスが、次の符号化段階の間に導入される量子化誤差なしに再生できることを確実にするために、ワープは、可逆的でなければならないか、またはほぼ可逆的でなければならない。可逆性の要件は、空間的なワープ、および、したがって取り込むことができる場面の動きのタイプを、変換および回転角へのスキュー近似に制限する。カメラのズームと関連した部分的な拡大および縮小、ならびに、個々のフレームをワープすることを通じた場面のオブジェクトの動きを、可逆性の要件に反することなく取り込むことは不可能である。いくつかの提案された方式、例えば、JTham、SRanganathおよびAKassim著HighlyscalablewaveletbasedvideocodeforverylowbitrateenvironmentIEEEJournalonSelectedAreasinCommunicationsvol16January1998pp1227には、可逆性の要件に故意に反し、その結果、高品質の再構成が不可能となるようなものがある。複雑な場面の動きの下で、フレーム間冗長を効率的に利用するために、本発明では、時間ウェーブレット変換および動き補償演算が共同して実行される。我々は、その結果の変換を、動き補償時間ウェーブレット変換MCTWTMotionCompensatedTemporalWaveletTransformと呼ぶ。MCTWTの実施は、ウェーブレット変換を実現するリフティングメカニズムに基づいている。これについては、RCalderbank、IDaubechies、WSweldensおよびBYeo著WavelettransformsthatmapintegerstointegersAppliedandComputationalHarmonicAnalysisvol5pp332369July1998を参照されたい。ハールウェーブレットの特定の場合に、本発明は、周知のS-変換STransformの一般化として最も容易に理解される。具体的には、xk[m,n]を、ビデオシーケンスからのフレームのシーケンスとする。MCTWTのリフティングステップは、偶数フレームの部分シーケンスx2k[m,n]および奇数フレームの部分シーケンスx2k1[m,n]を、それぞれ低域通過時間副帯域lowpasstemporalsubbandおよび高域通過時間副帯域highpasstemporalsubbandに変換する。Wijを、Wijxi[m,n]≒xj[m,n],∀m,nとなるような、フレームxi[m,n]の、フレームxj[m,n]の座標系への動き補償写像とする。i<jならば、写像Wijは、基本動き補償予測アルゴリズムで使用されるような前方動き補償forwardmotioncompensationとして一般に知られているものに対応する。ijならば、写像Wijは、双方向動き補償予測アルゴリズムで使用されるような後方動き補償backwardmotioncompensationとして一般に知られているものに対応する。本発明のさまざまな実施形態において、これらの動き補償写像は、基本をなす動きモデルが区分的定数である従来のブロックベースの動き補償に対応することもできるし、または、基本をなす動きモデルが制御グリッド上の動きベクトルの連続補間である、より複雑なメッシュベースの動き補償に対応することもできる。また、他の動き補償写像も、本発明のさまざまな実施形態に適用することができ、本発明は、特定のタイプのいずれにも制限されない。MCTWTの状況において、高域通過副帯域のフレームは、以下の式によって与えられる。一方、低域通過時間副帯域のサンプルは、以下の式によって与えられる。明らかに、動きがなく、Wijがすべてのi、jに対して恒等演算子となるような場合には、この2つのリフティングステップのシーケンスは、ハールウェーブレット変換に倍率までなる。このアプローチは、より多くのリフティングステップまたはより大きなカーネルを有するリフティングステップを含むより複雑なウェーブレット変換に容易に拡張される。さらに別の例は、周知の双直交5-3ウェーブレット変換に基づいている。これは、完全のためであり、かつ、この例が、本発明のいくつかの実施形態に対して上記で与えられたハールの例にとって、より好ましくなり得るからであるとの双方の理由による。この場合、高域通過MCTWTサンプルは、次の式となる。一方、低域通過時間副帯域サンプルは、次の式によって与えられる。ここでも、動きがない場合には、この2つのリフティングステップのシーケンスは、5-3双直交ウェーブレット変換になる。ハールの例の場合の高域通過副帯域が、従来の動き補償予測と整合した形で形成される一方、5-3の例の場合の高域通過副帯域は、双方向動き補償予測と整合した形で形成されることに着目することは興味深い。しかしながら、動き補償予測方式と異なり、本実施形態は、既存のビデオ圧縮規格において、効果的なスケーラブル圧縮に不利に働くフィードバックループを導入することなく、完全な再構成を達成する。従来のIDウェーブレット変換と同様に、MCTWTは、低域通過副帯域に再帰的に適応され、時間解像度レベルの階層を生成することができる。好ましい実施形態では、最も低周波の時間副帯域が、オリジナルのビデオシーケンスのフレームレートの8分の1または16分の1のフレームレートを有するように、このプロセスは、3回または4回続けられる。上述したMCTWTによって生成される時間副帯域は、空間ウェーブレット変換によって空間副帯域spatialsubbandにさらに分解される。あるいは、離散コサイン変換DCTのような他の変換が使用されてもよい。これらの空間変換ならびにそれらのさまざまな形式はおよび構造は、当業者に周知である。その結果、オリジナルのビデオシーケンスは、空間-時間副帯域の集まりに分割される。空間-時間副帯域のそれぞれを表すフレームのシーケンスは、符号ブロックに分割される。ここで、それぞれの符号ブロックは、所定の空間的および時間的な範囲を有する。本発明のさまざまな実施形態において、符号ブロックの範囲は、副帯域ごとに変化し、1つまたは2つ以上の副帯域では、例えば、それぞれの副帯域の単一フレームに広がっていてもよい。本発明の好ましい実施形態では、符号ブロックは、数千のサンプルからなる全ボリュームに対して、比較的小さな空間的および時間的な範囲を有する。例えば、空間的範囲は、4フレームの時間的範囲に対して、32×32または16×16である。すべての符号ブロックに対して、完全に独立した組み込みビットストリームが生成される。それぞれの符号ブロックに対する組み込みビットストリームBiは、多くの個別の長さの任意のものRniに切り捨てられ、それぞれの切り捨てられたビットストリームが、レート歪みの意味で、オリジナルサンプル値の適切な効率的表現に対応するようになっていてもよい。効率的な組み込みブロック符号化アルゴリズムは、EBCOTアルゴリズムの形式で画像圧縮用に発表されている。これについては、DTaubman著のEBCOTEmbeddedblockcodingwithoptimisedtruncationISOIECJTC1SC29WG1N1020ROctober1998およびJPEG2000画像圧縮規格を参照されたい。同様の組み込みブロック符号化アルゴリズムは、本発明の好ましい実施形態で使用される。しかしながら、さまざまな実施形態において、ビットストリームBiを生成するために、同様の性質を有する任意の組み込みエントロピー符号化アルゴリズムを使用することができる。組み込みブロック符号化の最も重要な属性の1つは、全体のビットレートの所定の制約に対する歪みを最小にするように、個々の組み込みビットストリームを最適に切り捨てることができることである。さらに、それぞれの符号ブロックの最適な切捨て長は、目的のビットレートの非減少関数である。これは、全体の圧縮ビットレートRに対応する最適に切り捨てられたブロックビットストリームが、例えば全体の圧縮ビットレート2Rなどの最適に切り捨てられたブロックビットストリームのサブセットを構成することを意味する。これは、まさしく、上記で論じた遠隔ビデオブラウジングアプリケーションを可能にするために必要とされるスケーラビリティの性質そのものである。所定のビットレートに対して歪みを最小にしようとするか、または、所定のレベルの歪みに対してビットレートを最小にしようとするブロック切捨て戦略は、ポスト圧縮レート歪みPCRDPostCompressionRateDistortion最適化戦略として知られている。知覚によるビデオ品質を最適化するPCRD最適化方式は、個々のアプリケーション[visua199]で記述される。しかしながら、さまざまな実施形態では、異なる戦略を用いて、ブロック切捨て点を決定してもよい。独立した組み込みブロックのビットストリームからなる圧縮されたビデオビットストリームは、遠隔ビデオブラウジングアプリケーションに非常に関連のある多くの付加的な属性を有する。ビデオシーケンスの低解像度バージョンは、低い空間解像度に対して高い空間周波数の副帯域または低い時間解像度に対して高い時間周波数の副帯域に対応する符号ブロックを廃棄することによって再構成することができる。関連する組み込みビットストリームの追加部分を取り出すことにより、異なる時間セグメントについて、再構成されたビデオ品質の改善を選択的に要求できるように、それぞれの符号ブロックは、明確な時間的範囲フレーム数を有する。最後に、それぞれの符号ブロックは、明確な空間的範囲を有する。具体的には、対象となっている所定の空間領域を再構成するために必要とされる符号ブロックの組は、符号ブロックの次元、ウェーブレット基底関数のサポート、および関連する動きパラメータから計算することができる。これにより、再構成されるビデオの品質が、対象となっている特定の空間領域でのみ選択的に改善されるインタラクティブなブラウジング様式が可能となる。既に言及したように、全体的に連続して高いビデオビットレートまたは品質レベルに対応して、複数の組の最適なブロック切捨て点を生成するために、PCRD最適化方式を使用することができる。これらは、最終的な圧縮ビデオビットストリーム内において品質レイヤにグループ化される。最初の品質レイヤは、最小ビットレートに対応する、切り捨てられたブロックのビットストリームを含む。これに続く複数の品質レイヤは、全体的に高いビットレートで高い再構成ビデオ品質を連続的に達成するために必要とされるそれぞれの符号ブロックの組み込みビットストリームからの増加コントリビューションを含む。このようにして、最終的なビットストリームは、ビデオシーケンスの空間的および時間的範囲の全体にともに広がる符号ブロックの集まりから構成され、このビデオシーケンスの組み込みビットストリームは、品質レイヤに分割される。最後のステップは、ビットストリームの関連する部分を除くすべてを取り除いて、ある特定のユーザまたはアプリケーションのニーズに合致させることができるように、ビットストリームを、符号ブロックのそれぞれのレイヤコントリビューションを効率的に識別するメカニズムによって増強することである。さまざまな実施形態はこの情報の表現を異なる方法で選択することができる。図2は、上述した本発明の実施形態の実施を示している。図2に示すブロックは、計算機デバイスまたは計算機システムの適切なソフトウェアおよびハードウェアによって実施できることが理解されるであろう。図2を参照して、参照番号10は、MCTWTを実施する装置を示す。このブロックは、ビデオフレームのシーケンスを処理し、2つまたは3つ以上の時間副帯域を生成する。最も単純なケースでは、2つの副帯域が存在し、それぞれは、オリジナルのビデオシーケンスの半分のフレームレートを有する。低周波副帯域は、最大フレームレートの半分のフレームレートによるビデオの良好なレンディションを含む一方、他方高周波の副帯域は、低周波副帯域から予測できない詳細を含む。上述したように、低周波副帯域は、高周波成分および低周波成分に分割されることが好ましい。そして、このような分割は、予め定められた個数の時間分解レベルの間、継続する。ブロック11は、ブロック10によって生成されたそれぞれの時間副帯域の各フレームを処理し、各フレームを、空間副帯域に分解する。ブロック12は、ブロック11によって生成されたそれぞれの空間-時間副帯域内のサンプルを、所定の個数のフレームに広がり、かつ、その副帯域内の所定の幅および高さを有するブロックにグループ化する。これらブロックは、相互に独立に符号化される。異なる実施形態および異なる副帯域が、異なるブロックの次元を使用できることに留意されたい。ブロック13は、それぞれの符号ブロックについての組み込みビットストリームを生成する。組み込みビットストリームは、ビットストリームが多く受信される復号器に利用可能になるにつれて、符号ブロックによって表される副帯域のサンプルの品質が、次第に良くなるという性質を有する。ブロック14は、それぞれの符号ブロックの組み込みビットストリームから最適な個数のビットを決定し、圧縮ビットレートまたは再構成されるビデオの品質の制約を受ける最終的な圧縮データストリームに含める。好ましい実施形態では、上述したように、PCRD最適化アルゴリズムのブロックが、複数回実行され、それぞれのレイヤが、それぞれの符号ブロックの組み込みビットストリームからのコントリビューションの最適な分配を含むように、圧縮データストリーム内の連続した層を生成し、全体的に連続して高い圧縮ビットレートおよびビデオ品質を表す。好ましい実施形態では、PCRDアルゴリズムは、ビデオ内の動きの関数として、異なる空間-時間副帯域の視聴者に対する相対的な重要度に反応するであろう。ブロック15は、その長さがブロック14によって最適化されている符号ブロックコントリビューションを、最終的な圧縮データ表現に組み立てる。この最終的な圧縮データ表現は、それぞれのレイヤと関連した符号ブロックコントリビューションをデータストリームから再生するために必要なすべて情報と共に、1つまたは2つ以上のビデオ品質レイヤから構成される。この識別情報により、連続的に低いビットレートおよびビデオの低品質のレンディションに対応して、最終的な圧縮データストリームのサブセットを容易に抽出することが可能となる。伸張は、圧縮の逆であり、当業者は、上記圧縮方法および圧縮装置の記述から、適切な伸張装置を設計でき、適切な伸張方法を実施できることが理解されるであろう。可逆性は、圧縮プロセスと関連した前方変換演算を実施するために使用されるリフティング構造の直接の結果である。ネットワークを介して送信できる高度なスケーラブル圧縮ビデオ信号の提供により、圧縮ビデオのインタラクティブな遠隔ブラウジングが容易になる。本発明のさらに別の側面は、スケーラブル圧縮ビデオのインタラクティブな遠隔ブラウジングのシステムおよび方法に関係する。図3は、ネットワーク22によって接続されたサーバ計算機システム20およびクライアント計算機システム21を示すブロック図である。図示するように、サーバ20およびクライアント21は、スケーラブル圧縮ビデオのインタラクティブな遠隔ブラウジングに関する本実施形態によるシステムの重要な要素を示している。クライアント21は、接続マネージャ24、クライアントキャッシュ25、伸張装置26およびグラフィカルユーザインタフェース27を含む。サーバ21は、接続マネージャ28、クライアントのキャッシュ25の状態に関する情報を保持するサブシステム29、およびファイルサーバ30を含む。接続マネージャ24および28は、サーバ21とクライアント22との間のスケーラブル圧縮データストリームから要素の転送を管理する。接続マネージャは、サーバ21側のコンポーネントおよびクライアント22側のコンポーネントの2つのコンポーネントを含む。接続マネージャは、圧縮データのネットワーク送信、受信データの肯定応答、ネットワークの状態の監視などを操作する。さまざまな実施形態は、通信媒体および効果的なユーザとの相互作用に必要とされる応答性のレベルに応じて、このブロックをさまざまに実施することができる。クライアントキャッシュ25は、サーバ21によって送信された圧縮データを記憶し、キャッシュが一杯になりすぎると、古いデータを廃棄する広告ポリシーを実施する。さまざまな実施形態は、異なるキャッシュ戦略を使用することができ、このキャッシュ戦略は、サーバ21が、クライアント22のキャッシュの性能に関する知識を有し、その性能からクライアント22のキャッシュの状態のいずれかまたはすべてを予測するという要件のみを対象とする。クライアントキャッシュ状態追跡ブロック29は、クライアントのキャッシュ25の状態の鏡像を保持し、クライアント22が受信し、記憶したと確信される圧縮データ要素の識別情報を記録する。このエレメントは、クライアント22によって使用される広告キャッシュ戦略を複製し、クライアントのキャッシュから廃棄された可能性のある要素を特定する。クライアント22は、必ずしもこれらを廃棄する必要はないが、サーバのキャッシュ追跡ブロック29が、キャッシュされていると予測するであろう要素を廃棄してはならない。ファイルサーバ30は、スケーラブル圧縮ビデオデータストリームと相互作用し、クライアントキャッシュ状態追跡装置29とも相互作用する。そして、ファイルサーバ30は、ビデオ内において対象となっているクライアントの現在の領域の知識を用いて、知覚されるビデオ品質を最大にするために、圧縮データストリームのどの要素をクライアントに送信するべきかを決定する。これらの要素は、ブロック29を介して接続マネージャに送信される。ブロック29は、クライアントのキャッシュの内容についてのそのモデルを途中で更新する。伸張装置26は、クライアントキャッシュ25と相互作用して、現時刻、解像度、およびビデオがユーザ定義のビューポートにレンダリングされる空間領域に関連する圧縮データストリームの要素を再生し、それら要素を必要に応じて伸張し、レンダリングする。グラフィカルユーザインタフェース27は、ユーザと対話し、ビデオ内の対象となっているユーザの領域対象となっている空間解像度および時間解像度を含むを特定するコマンドを受け付けて解釈する。そして、グラフィカルユーザインタフェース27は、この情報をサーバに周期的に送信し、キャッシュにおいて利用可能なすべての関連する情報を用いて必要なビデオコンテンツをレンダリングするために、伸張装置26を起動する。また、グラフィカルユーザインタフェース27は、圧縮データストリームから少なくともいくつかの関連する要素をダウンロードする時間をサーバに与えるために、ユーザリクエストと利用可能なデータのレンダリングとの間の適切な遅延を決定する役割も担っている。レンダリングが開始可能となる前に、関連するすべての圧縮データが取り出されている必要はない。遅れてキャッシュに到着する圧縮データは、対話ユーザが、ビデオシーケンスの同じ部分に戻って、それを再びレンダリングするようにシステムに指示した場合に、有用であると判明することがある。動作中、ユーザは、対象となっている空間時間領域を指定する。この空間時間領域には、対象となっている最大空間解像度および最大時間解像度に関する情報が、オプションとして含まれる。対象となっている領域は、ビデオシーケンス全体を含むこともできるし、または、空間または時間におけるビデオシーケンスの任意のサブセットを含むこともできる。対象となっている領域のリクエストは、伸張装置に伝達される。伸張装置は、クライアントのキャッシュにリクエストを送信し、返信される符号ブロックコントリビューションが到着すると、当該符号ブロックコントリビューションを、ユーザのリクエストを満たすように伸張する。次に、キャッシュは、サーバから要求されなければならない符号ブロックコントリビューションを特定し、ネットワーク接続マネージャを介してサーバに送信される適切でコンパクトなリクエストを形成する。このサーバリクエストは、ビデオ配信のストリーミングを高い確率で可能にするために、キャッシュの現在の内容および接続状態の評価に基づいて形成される。したがって、対象となっている領域がまったく新しく、すべての情報をサーバから直接取り出さなければならない場合には、スケーラブルビットストリームの最初の品質レイヤのみが、リクエストされることになる。他方、対象となっている領域が、以前アクセスされている場合には、サーバは、キャッシュにこれまでに存在しないコンポーネントのみを、制限されたネットワーク接続を介して供給する必要があるので、より高い品質サービスが、実時間で維持できることになる。サーバは、オプションとして、クライアントのキャッシュの内容のマップを保持する。これにより、サーバは、クライアントのキャッシュに既に記憶されている情報を再送信することなく、リクエストを満たすために必要とされる実際の符号ブロックコントリビューションを決定できるので、クライアントは、そのリクエストをコンパクトな形式で送信することが可能になる。素材がサーバからストリーミングされると、クライアントにおける実時間の伸張処理を容易にするために、サーバは、必要とされる符号ブロックセグメントを適切なシーケンスに編成する。本発明の実施形態の中には、サーバが、クライアントが沈黙状態の場合におけるアイドル期間中に、クライアントに代わって、自動的にリクエストを生成できるものがある。例えば、リクエストが一旦満たされると、サーバは、さらに別のリクエストが受信されるまで、リクエストの目的点近くの符号ブロックから、連続的に高い品質レイヤを送信することができる。このように、リクエストが一旦満たされると、ユーザの要求した対象となっている領域の最終フレームは、絶え間なく品質を改善することに経験する。本発明の他の実施形態では、沈黙したクライアントがもしあれば、当該クライアントに送信される情報の性質を決定するために、代わりのポリシーを定義してもよい。図2を参照して上記で説明した実施形態では、空間ウェーブレット変換によって生成される高い空間周波数の副帯域のいくつかを廃棄した後、低減された空間解像度でビデオを再構成することができる。しかしながら、このアプローチの1つの重要な欠点は、動き情報の量が、空間解像度と共に増減しないことである。空間解像度のスケーラビリティを必要とするアプリケーションについては、まず、マルチ解像度変換が使用されて、それぞれのオリジナル画像フレームxk[m,n]が空間副帯域に分解され、次に、MCTWTが、その副帯域に適用される本発明の代替的な実施形態が好ましい。以下の議論では、マルチ解像度空間変換として、2次元離散ウェーブレット変換DWTDiscretewavelettransformが用いられる。図4は、空間解像度スケーラブル圧縮を実施するシステムのブロック図である。図4に示すように、それぞれのオリジナルフレームxk[m,n]は、まず、LH1k[m,n]、HL1k[m,n]およびHH1k[m,n]で表す3つの高周波の詳細画像と共に、低減された解像度の画像LL1k[m,n]に変換される。これらの副帯域画像のそれぞれは、オリジナル画像の次元の約半分の次元を有し、すべての副帯域の全サンプル数は、オリジナル画像のサンプル数と同一である。我々は、空間ウェーブレット解析のこの初期段階を以下の式として表す。解析演算子を繰り返し適用することにより、LL1k[m,n]は、付加的な詳細副帯域detailsubbandLH2k[m,n]、HL2k[m,n]およびHH2k[m,n]と共に、さらに低い解像度画像LL2k[m,n]に分解される。このようにして続けることにより、Dレベル変換は、中間の副帯域LL1k[m,n]からLLD1k[m,n]をカウントしないで、合計3D1個の副帯域を生成する。重要なことに、それぞれの解析段階は、可逆的である。逆の演算子は、合成段階として知られ、それらの演算は、次の式として表される。ここで、xk[m,n]は、好都合に、レベル0の副帯域LL0k[m,n]と同一に扱われる。本発明の好ましい実施形態では、図4に示すように、前に開発されたMCTWT技術は、まず、最も低い解像度の副帯域フレームLLDKに直接用される。このMCTWTは、LLDKフレームの空間解像度と一致するように調整されたそれ自身の動きの情報を使用する。動き補償時間5-3ウェーブレット変換の特定の例では、方程式3および4は、以下の方程式4および5になる。接頭文字H-およびL-は、ここでは、高域通過時間副帯域および低域通過時間副帯域をそれぞれ特定するために使用されることに留意されたい。動き補償写像演算子WDijの上付き文字Dは、それらの演算子を、DレベルDWTの最も低い空間解像度のフレームと関連付ける。および詳細副帯域LHdk、HLdkおよびHHdkの各連続組は、集合的に、解像度レベルRd1kを形成する。ここで、dは、Dから1までの範囲を有する。解像度レベルRd1kは、空間解像度をLLdkからLLd1kに空間副帯域合成を通じて増強するために必要とされる情報を保持する。図4に示すように、それぞれの解像度レベルは、LLd1kフレームの空間解像度と一致するように調整されたそれ自身の動き情報と共に、それ自身のMCTWTを有する。関連する動き補償写像演算子は、Wd1ijで表される。任意の所定の解像度レベルRd1kについてのMCTWTは、効果的な動き補償が、空間的に合成されたフレームLLd1kの領域で実行されることになる点を除いて、これまでに説明したものと原理において同様である。時間リフティングステップは、詳細副帯域に直接適用されるが、動き補償が必要とされるときはいつでも、その解像度レベルの詳細副帯域は、ともに空間合成を受け、LLd1kと同じ解像度を有するベースバンド画像を再生する。動き補償は、この領域に適用され、副帯域の解析がそれに続く。副帯域の解析は、動き補償された詳細副帯域を生成する。動き補償の品質、および、したがって変換全体の圧縮効率と干渉し得る空間エイリアシング効果を最小にするために、図4に示すように、ある情報が、低解像度フレームLLdkから借用される。低い空間解像度は、高い空間解像度を参照することなく、最初に再構成することができるので、この情報は、圧縮装置および伸張装置の双方で利用可能である。例示するため、再び動き補償5-3ウェーブレット変換を検討する。解像度レベルRd1kについてのリフティングステップは、動き補償演算子Wd1ijを用い、それらの演算子を、以下の方程式7および8に従って適用する。および上記方程式8に現れる項は、合成されたフレームを作成するためのものであり、この合成されたフレームに対して、動き補償が実際に適用される。この項は、当該リフティングステップがビデオ解像度LLd1kに直接適用された場合に現れる項に似ている。変換全体が可逆的であるためには、は、ビデオ解像度LLdkからの情報にのみ基づいていることが不可欠である。実施形態の中には、詳細副帯域が合成され、動き補償され、かつ再解析される際に、いくつかのエイリアシング効果が補償されないことを犠牲にして、これらの項がすべて零に設定され得るものがある。他の実施形態では、は、副帯域H-LLDk、H-LHDk、...、H-HHd1kを空間合成することによって得ることができる。好ましい実施形態では、H-LLdkは、LLdkフレームこれらは、再構成後、圧縮装置および伸張装置の双方で利用可能であるを、すべての詳細副帯域を0に設定して空間合成の1つの段階を通じて補間し、動き補償時間リフティングステップをこの補間された領域に適用し、次に、分析演算子によって生成される詳細副帯域を廃棄する、時間副帯域H-LLd1kの空間DWT解析を通じてH-LLdkを再生することにより得られる。この特定の実施形態の、前の実施形態を上回る利点は、H-LLd1kおよびそこからH-LLdkを導出するために使用される動き補償リフティングステップが、より高密度の写像演算子Wd1ijと関連した動き情報のすべてを利用できることである。上述したアイデアは、任意の個数のリフティングステップおよび任意の個数の時間分解のレベルを有する任意の時間ウェーブレット変換に自然に拡張される。このような一般化は、当業者には明らかであろう。最終的な3次元変換の性質は、ビデオフレームが、演算子{WDij}から{Wdij}に対応する動き情報のみを用いて任意の所定のビデオ解像度LLdkで再生できるように常になっている。これにより、動き情報の全体量例えば、ブロック動きベクトル、メッシュノード速度などの総数は、最終的な圧縮データストリーム内の対象となっている解像度と共に増減することが可能となる。上記議論は、モノクロビデオソースの状況に限定されているが、これは、説明を簡単にするためにすぎない。カラービデオに必要とされるコンポーネントを含む複数のコンポーネントへの一般化は、当業者には明らかであろう。上記議論は、動画情報の変換および圧縮に関するものであるが、本発明は、画像のシーケンスが圧縮される他の用途に適用できることは明らかである。特定の対象の例として、容積測定医学用画像およびイメージベースの3次元レンダリングアプリケーションによって使用される画像が含まれる。特定の実施形態によって示された本発明に対して、多くの変形および/または変更を、広く記述された本発明の精神および範囲から逸脱することなく行い得ることは、当業者によって理解されるであろう。したがって、本実施形態は、あらゆる点で例示であり、制限的でないとみなされるべきである。"