(57)【要約】符号化復号化方法及び装置は、ビデオフレームを符号化及び復号化するために提供される。符号化方法７００及び装置１１０は、ビデオフレームを圧縮するためにオーバコンプリートウェーブレット領域における３次元のリフティングを使用する。また、復号化方法８００及び装置１１８は、ビデオフレームを伸張するため、オーバコンプリートウェーブレット領域において３次元リフティングをも使用する。
2006521039.tif 000002
【特許請求の範囲】
【請求項１】
ビデオフレームからなる入力ストリームを圧縮するための方法であって、
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換するステップと、
それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレームと複数のローパスフレームを生成するため、少なくとも幾つかのウェーブレットバンドに動き補償時間フィルタリングを実行するステップと、
ネットワークにわたる伝送のために、前記ハイパスフレームと前記ローパスフレームを圧縮するステップと、
を有することを特徴とする方法。
【請求項２】
前記動き補償時間フィルタリングの間に使用される１以上のオーバコンプリートウェーブレット展開を生成するステップと、
前記動き補償時間フィルタリングの間に１以上の動きベクトルを生成するステップと、
前記１以上の動きベクトルを圧縮するステップと、
圧縮されたハイパスフレーム、ローパスフレーム、及び１以上の動きベクトルを１つのビットストリームに多重化するステップと、
を更に有する請求項１記載の方法。
【請求項３】
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するステップを更に有する、
請求項１記載の方法。
【請求項４】
ビデオストリームを伸張するための方法であって、
複数の圧縮されたハイパスフレーム及びローパスフレームを有するビデオストリームを受けるステップと、
圧縮されたハイパスフレームとローパスフレームを分解するステップと、
１以上の分解レベルと関連され、最も低い分解レベルで開始して生成されるウェーブレットバンドであって、ビデオフレームに関連する複数のウェーブレットバンドを生成するため、少なくとも幾つかの分解されたハイパスフレーム及びローパスフレームに動き補償時間フィルタリングと逆の処理を実行するステップと、
前記ウェーブレットバンドを１以上の回復されたビデオフレームに変換するステップと、
を有することを特徴とする方法。
【請求項５】
１以上の圧縮された動きベクトルと圧縮されたハイパスフレーム及びローパスフレームをビットストリームから分離するステップと、
前記１以上の圧縮された動きベクトルを伸張し、１以上の動きベクトルを前記動き補償時間フィルタリングの逆の処理の間に使用するステップと、
１以上のオーバコンプリートウェーブレット展開を生成し、該１以上のオーバコンプリートウェーブレット展開を前記動き補償時間フィルタリングの逆の処理の間に使用するステップと、
を更に有する請求項４記載の方法。
【請求項６】
それぞれ異なってシフトされる複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するステップを更に有する、
請求項４記載の方法。
【請求項７】
ビデオフレームからなる入力ストリームを圧縮するためのビデオエンコーダであって、
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換するために作用するウェーブレット変換器と、
少なくとも幾つかのウェーブレットバンドを処理し、それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレームと複数のローパスフレームを生成するために作用する複数の動き補償時間フィルタと、
ネットワークにわたる伝送のために、ハイパスフレームとローパスフレームを圧縮するために作用するエンコーダと、
を有することを特徴とするビデオエンコーダ。
【請求項８】
１以上の動きベクトルを生成するために作用する動き補償時間フォルタにより使用される１以上のオーバコンプリートウェーブレット展開を生成するために作用するローバンドシフタと、
前記１以上の動きベクトルを圧縮するために作用する第二のエンコーダと、
圧縮されたハイパスフレーム、ローパスフレーム、及び１以上の動きベクトルを出力ストリームに多重化するために作用するマルチプレクサと、
を更に有する請求項７記載のビデオエンコーダ。
【請求項９】
前記ローバンドシフタは、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するために作用する、
請求項８記載のビデオエンコーダ。
【請求項１０】
ビデオストリームを伸張するためのビデオデコーダであって、
前記ビットストリームに含まれる複数の圧縮されたハイパスフレームとローパスフレームを伸張するために作用するデコーダと、
少なくとも幾つかの伸張されたハイパスフレーム及びローパスフレームを処理し、１以上の分解レベルと関連し、最も低い分解レベルで開始して生成されるウェーブレットバンドであって、ビデオフレームに関連する複数のウェーブレットバンドを生成するために作用する複数の逆動き補償時間フィルタと、
前記ウェーブレットバンドを１以上の回復されたビデオフレームに変換するために作用するウェーブレット変換器と、
を有するビデオデコーダ。
【請求項１１】
１以上の圧縮された動きベクトルと圧縮されたハイパスフレーム及びローパスフレームを前記ビットストリームから分離するために作用するデマルチプレクサと、
１以上の圧縮された動きベクトルを伸張するために作用する第二のデコーダと、
前記１以上の動きベクトルを使用して前記ウェーブレットバンドを生成するために作用する逆動き補償時間フィルタと、
前記逆動き補償時間フィルタにより使用される１以上のオーバコンプリートウェーブレット展開を生成するために作用するローバンドシフタと、
を更に有する請求項１０記載のビデオデコーダ。
【請求項１２】
前記ローバンドシフタは、
それぞれが異なってシフトされる複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するために作用する、
請求項１１記載のビデオデコーダ。
【請求項１３】
ビデオフレームからなるストリームを提供するために作用するビデオフレームソースと、
前記ビデオフレームを圧縮するために作用するビデオエンコーダであって、前記ビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換するために作用するウェーブレット変換器、少なくとも幾つかのウェーブレットバンドを処理して、それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレーム及び複数のローパスフレームを生成するために作用する複数の動き補償時間フィルタ、及びハイパスフレームとローパスフレームを圧縮するために作用するエンコーダを含むビデオエンコーダと、
ネットワークにわたる伝送のため、圧縮されたビデオフレームを受信及び記憶するために作用するバッファと、
を有することを特徴とするビデオ送信機。
【請求項１４】
前記ビデオエンコーダは、前記動き補償時間フィルタにより使用された１以上のオーバコンプリートウェーブレット展開を生成するために作用するローバンドシフタを更に有し、
前記ローバンドシフタは、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するために特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数とをインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するために作用する、
請求項１３記載のビデオ送信機。
【請求項１５】
ビデオビットストリームを受信及び記憶するために作用するバッファと、
ビデオビットストリームを伸張し、回復されたビデオフレームを生成するために作用するビデオデコーダであって、ビットストリームに含まれる複数の圧縮されたハイパスフレームとローパスフレームを伸張するために作用するデコーダ、少なくとも幾つかの伸張されたハイパスフレームとローパスフレームを処理し、１以上の分解レベルに関連し、最も低い分解レベルで開始して生成されるウェーブレットバンドであって、ビデオフレームに関連する複数のウェーブレットバンドを生成するために作用する複数の逆動き補償時間フィルタ、及び前記ウェーブレットバンドを１以上の回復されたビデオフレームに変換するために作用するウェーブレット変換器を含むビデオデコーダと、
回復されたビデオフレームを提供するために作用するビデオディスプレイと、
を有することを特徴とするビデオ受信機。
【請求項１６】
前記ビデオデコーダは、前記逆動き補償時間フィルタにより使用された１以上のオーバコンプリートウェーブレット展開を生成するために作用するローバンドシフタを更に有し、
前記ローバンドシフタは、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するために作用する、
請求項１５記載のビデオ受信機。
【請求項１７】
コンピュータ読取り可能な媒体で実現され、プロセッサにより実行されるように作用するコンピュータプログラムであって、
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換し、
それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレーム及び複数のローパスフレームを生成するため、少なくとも幾つかのウェーブレットバンドに動き補償時間フィルタリングを実行し、
ネットワークにわたる伝送のため、ハイパスフレームとローパスフレームを圧縮する、
ためのコンピュータ読取り可能なプログラムコードを有するコンピュータプログラム。
【請求項１８】
コンピュータ読取り可能な媒体で実現され、プロセッサにより実行されるように作用するコンピュータプログラムであって、
ビデオストリームに含まれる複数の圧縮されたハイパスフレームとローパスフレームを伸張し、
１以上の分解レベルに関連され、最も低い分解レベルで開始して生成されるウェーブレットバンドであって、ビデオフレームに関連する複数のウェーブレットバンドを生成するため、少なくとも幾つかの伸張されたハイパスフレームとローパスフレームに動き補償時間フィルタリングと逆の処理を実行し、
前記ウェーブレットバンドを１以上の回復されたビデオフレームに変換する、
ためのコンピュータ読取り可能なプログラムコードを有するコンピュータプログラム。
【請求項１９】
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換するステップと、
それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレームと複数のローパスフレームを生成するため、少なくとも幾つかのウェーブレットバンドに動き補償時間フィルタリングを実行するステップと、
ネットワークにわたる伝送のため、ハイパスフレーム及びローパスフレームを圧縮するステップと、
により生成される送信可能なビデオ信号。
【請求項２０】
前記ローバンドシフタは、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトするステップと、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブするステップと、
によりオーバコンプリートウェーブレット展開を生成するために作用する、
請求項１９記載の送信可能なビデオ信号。
【請求項２１】
コンピュータ読取り可能な媒体で実現され、プロセッサにより実行されるために作用するコンピュータプログラムであって、
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換し、
それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレームと複数のローパスフレームを生成するため、少なくとも幾つかのウェーブレットバンドに動き補償時間フィルタリングを実行し、
ネットワークにわたる伝送のために、前記ハイパスフレームと前記ローパスフレームを圧縮する、
ためのコンピュータ読取り可能なプログラムコードを有するコンピュータプログラム。
【請求項２２】
前記動き補償時間フィルタリングの間に使用される１以上のオーバコンプリートウェーブレット展開を生成し、
前記動き補償時間フィルタリングの間に１以上の動きベクトルを生成するステップと、
前記１以上の動きベクトルを圧縮し、
圧縮されたハイパスフレーム、ローパスフレーム、及び１以上の動きベクトルを１つのビットストリームに多重化する、
ためのコンピュータ読取り可能なプログラムコードを更に有する、
請求項２１記載のコンピュータプログラム。
【請求項２３】
１以上のオーバコンプリートウェーブレット展開を生成するためのコンピュータ読取り可能なプログラムコードであって、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトし、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットバンドにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数をインタリーブする、
ためのコンピュータ読取り可能なプログラムを有する
請求項２２記載のコンピュータプログラム。
【請求項２４】
コンピュータ読取り可能な媒体に実現され、プロセッサにより実行されるように作用するコンピュータプログラムであって、
複数のビデオフレームと関連する複数の圧縮されたハイパスフレームとローパスフレームを伸張し、
１以上の分解レベルに関連され、最も低い分解レベルで開始して生成されるウェーブレットバンドであって、ビデオフレームに関連される複数のウェーブレットバンドを生成するため、少なくとも幾つかの伸張されたハイパスフレームとローパスフレームに動き補償時間フィルタリングとは逆の処理を実行し、
前記ウェーブレットバンドを１以上の回復されたビデオバンドに変換する、
ためのコンピュータ読取り可能なプログラムコードを有するコンピュータプログラム。
【請求項２５】
前記ビットストリームから１以上の圧縮された動きベクトルと圧縮されたハイパスフレーム及びローパスフレームを分離し、
１以上の圧縮された動きベクトルを伸張し、１以上の動きベクトルを前記動き補償時間フィルタリングの逆の処理の間に使用し、
動き補償時間フィルタリングの逆の処理の間に使用される１以上のオーバコンプリートウェーブレット展開を生成する、
ためのコンピュータ読取り可能なプログラムコードを更に有する、
請求項２４記載のコンピュータプログラム。
【請求項２６】
１以上のオーバコンプリートウェーブレット展開を生成するためのコンピュータ読取り可能なコードであって、
それぞれ異なってシフトされた複数のシフトされたウェーブレットバンドを生成するため、特定の１つのウェーブレットバンドを複数回にわたりシフトし、
オーバコンプリートウェーブレット展開を表すオーバコンプリートウェーブレット係数のセットを生成するため、特定のウェーブレットにおけるウェーブレット係数とシフトされたウェーブレットバンドのそれぞれにおけるウェーブレット係数とをインタリーブする、
ためのコンピュータ読取り可能なプログラムコードを有するコンピュータプログラム。
【請求項２７】
複数のビデオフレームのそれぞれを複数のウェーブレットバンドに１以上の分解レベルで変換するステップと、
それぞれの分解レベルでのローパスフレームがその分解レベルでのハイパスフレームを使用して生成される、複数のハイパスフレームと複数のローパスフレームを生成するため、少なくとも幾つかのウェーブレットバンドに動き補償時間フィルタリングを実行するステップと、
ネットワークにわたる伝送のため、ハイパスフレームとローパスフレームを圧縮するステップと、
により生成される送信可能なビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ符号化システム全般に関し、より詳細には、３次元リフティング（lifting）を使用したビデオ符号化に関する。  
本出願は、２００３年２月２５日に提出された米国特許出願シリアル番号６０／４４９，６９６号の３５ＵＳＣ§１１９（ｅ）の下での利益を請求するものである。
【背景技術】
【０００２】
データネットワークを通してマルチメディアコンテンツのリアルタイムストリーミングは、近年において益々増加している共通の用途となってきている。たとえば、ニュース・オン・デマンド、ライブネットワークテレビジョンビューイング、及びビデオ会議のようなマルチメディアアプリケーションは、ビデオ情報のエンド間のストリーミングに頼る。ビデオアプリケーションのストリーミングは、典型的に、ネットワークを通してビデオ信号を符号化して、該ビデオ信号をリアルタイムで復号化して表示するビデオ受信機に送信する。
【０００３】
スケーラブルビデオ符号化は、典型的に、多くのマルチメディアアプリケーション及びサービスについて望まれる機能である。スケーラビリティにより、より低い計算能力をもつプロセッサは、ビデオストリームのサブセットのみを復号化することができ、より高い計算能力をもつプロセッサは、全体のビデオストリームを復号化することができる。別のスケーラビリティの使用は、可変の伝送帯域幅をもつ環境においてである。それらの環境では、より低いアクセス帯域幅をもつ受信機は、ビデオストリームのサブセットのみを受信及び復号化し、より高いアクセス帯域幅をもつ受信機は、全体のビデオストリームを受信及び復号化する。
【０００４】
幾つかのビデオスケーラビリティのアプローチは、ＭＰＥＧ−２及びＭＰＥＧ−４のような先導となるビデオ圧縮規格により適合されている。時間、空間、及び品質（たとえば、信号−雑音比すなわち“ＳＮＲ”）スケーラビリティのタイプは、これらの規格で定義されている。これらのアプローチは、ベースレイヤ（ＢＬ）及びエンハンスメントレイヤ（ＥＬ）を典型的に含んでいる。ビデオストリームのベースレイヤは、一般に、そのストリームを復号化するために必要とされる最小のデータ量を表している。ストリームのエンハンスメントレイヤは、更なる情報を表しており、受信機により復号化されたときにビデオ信号の表現を拡張する。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
多くの現在のビデオ符号化システムは、ベースレイヤについて動き補償された予測符号化を使用し、エンハンスメントレイヤについて離散コサイン変換（ＤＣＴ）残余符号化を使用する。これらのシステムでは、時間的な冗長度は、動き補償を使用して低減され、空間解像度は、動き補償の残余を変換符号化することで低減される。しかし、これらのシステムは、典型的に、エラー伝播（すなわちドリフト）、真のスケーラビリティがない問題となる傾向にある。
【課題を解決するための手段】
【０００６】
この開示は、改善された符号化システムを提供するものであって、３次元（３Ｄ）リフティングを使用するものである。１つの態様では、３Ｄリフティング構造は、オーバコンプリートウェーブレットドメインにおける分数精度（fractional-accuracy）の動き補償時間フィルタリング（MCTF:  Motion  Compensated  Temporal  Filtering）のために使用される。３次元リフティング構造は、動き予測のための異なる精度を許容することで回復力と効率との間のトレードオフを提供する場合があり、変動するチャネル状態にわたるストリーミングの間に利用する場合がある。  
この開示を更に完全に理解するため、添付図面と共に行われる以下の記載に対して参照がなされる。
【発明を実施するための最良の形態】
【０００７】
図１〜図８は、以下に説明されるように、本明細書で記載される各種の実施の形態は、例示的なものであって、本発明に範囲を限定するいずれかのやり方で解釈されるべきではない。当業者であれば、本発明の原理がいずれか適切に構成されたビデオエンコーダ、ビデオデコーダ、又は他の装置、デバイス又は構造で実現される場合があることを理解されるであろう。
【０００８】
図１は、本発明の１実施の形態に係るビデオ伝送システム１００を示している。例示される実施の形態では、システム１００は、ストリーミングビデオ送信機１０２，ストリーミングビデオ受信機１０４，及びデータネットワーク１０６を含んでいる。他の実施の形態のビデオ送信システムは、本開示の範囲から逸脱することなしに使用される場合がある。
【０００９】
ストリーミングビデオ送信機１０２は、ネットワーク１０６を通してストリーミングビデオ受信機１０４にビデオ情報を送出する。また、ストリーミングビデオ送信機１０２は、ストリーミングビデオ受信機１０４にオーディオ又は他の情報を送出する場合もある。ストリーミングビデオ送信機１０２は、データネットワークサーバ、テレビジョンステーション送信機、ケーブルネットワーク、又はデスクトップパーソナルコンピュータを含む、多様なビデオフレームのソースを含んでいる。
【００１０】
例示される例では、ストリーミングビデオ送信機１０２は、ビデオフレームソース１０８、ビデオエンコーダ１１０、ビデオバッファ１１２及びメモリ１１４を含んでいる。ビデオフレームソース１０８は、テレビジョンアンテナ及び受信ユニット、ビデオカセットプレーヤ、ビデオカメラ、又は「生の」ビデオクリップを記憶可能なディスクストレージデバイスのような、一連の圧縮されていないビデオフレームを発生又は提供可能ないずれかの装置又は構造を表している。
【００１１】
圧縮されていないビデオフレームは、所与のピクチャレート（又は“ストリーミングレート”）でビデオエンコーダ１１０に入力され、ビデオエンコーダ１１０により圧縮される。ビデオエンコーダ１１０は、次いで、エンコーダバッファ１１２に圧縮されたビデオフレームを送信する。ビデオエンコーダ１１０は、ビデオフレームを符号化するために適切なエンコーダを表している。実施の形態のなかには、ビデオエンコーダ１１０は、オーバコンプリートウェーブレットドメインにおける分数精度のＭＣＴＦのための３次元リフティングを使用するものがある。ビデオエンコーダ１１０の１つの例は、図２に示されており、これは以下に記載される。
【００１２】
エンコーダバッファ１１２は、ビデオエンコーダ１１０から圧縮されたビデオフレームを受信し、データネットワーク１０６にわたる送信の前にビデオフレームをバッファリングする。エンコーダバッファ１１２は、圧縮されたビデオフレームを記憶するために適切なバッファを表している。
【００１３】
ストリーミングビデオ受信機１０４は、ストリーミングビデオ送信機１０２によりデータネットワーク１０６を通して送出された圧縮ビデオフレームを受ける。例示される例では、ストリーミングビデオ受信機１０４は、デコーダバッファ１１６、ビデオデコーダ１１８、ビデオディスプレイ１２０、及びメモリ１２２を含んでいる。用途に依存して、ストリーミングビデオ受信機１０４は、テレビジョン受信機、デスクトップパーソナルコンピュータ、又はビデオカセットレコーダを含む、多様なビデオフレーム受信機を表している場合がある。デコーダバッファ１１６は、データネットワーク１０６を通して受信された圧縮されたビデオフレームを記憶している。次いで、デコーダバッファ１１６は、圧縮されたビデオフレームをビデオデコーダ１１８に要求されるように送信する。デコーダバッファ１１６は、圧縮されたビデオフレームを記憶するために適切なバッファを表している。
【００１４】
ビデオデコーダ１１８は、ビデオエンコーダ１１０により圧縮されたビデオフレームを伸張する。圧縮されたビデオフレームは、スケーラブルであって、ビデオデコーダ１１８は、圧縮されたビデオフレームの一部又は全部を復号化することができる。次いで、ビデオデコーダ１１８は、プレゼンテーションのためにビデオディスプレイ１２０に伸張されたフレームを送出する。ビデオデコーダ１１８は、ビデオフレームを復号化するために適切なデコーダを表している。実施の形態のなかには、ビデオデコーダ１１８がコンプリートウェーブレットドメインにおいて分数精度の逆ＭＣＴＦのために３Ｄリフティングを使用するものがある。ビデオデコーダ１１８の１例は、図４に示されており、これは以下に記載される。ビデオディスプレイ１２０は、テレビジョン、ＰＣスクリーン又はプロジェクタのような、ビデオフレームをユーザに提供するために適切なデバイス又は構造を表している。
【００１５】
実施の形態のなかには、ビデオエンコーダ１１０は、標準的なＭＰＥＧエンコーダのような従来のデータプロセッサにより実行されるソフトウェアプログラムとして実現されるものがある。これらの実施の形態では、ビデオエンコーダ１１０は、メモリ１１４に記憶される命令のような、複数のコンピュータ実行可能な命令を含んでいる。同様に、実施の形態のなかには、ビデオデコーダ１１８は、標準的なＭＰＥＧデコーダのような、従来のデータプロセッサにより実行されるソフトウェアプログラムとして実現されるものがある。これらの実施の形態では、ビデオデコーダ１１８は、メモリ１２２に記憶された命令のような、複数のコンピュータ実行可能な命令を含んでいる。メモリ１１４，１２２は、固定された磁気ディスク、取り外し可能な磁気ディスク、ＣＤ、ＤＶＤ、磁気テープ又はビデオディスクのような、揮発性又は不揮発性の記憶及び検索デバイスをそれぞれ表している。他の実施の形態では、ビデオエンコーダ１１０及びビデオデコーダ１１８は、ハードウェア、ソフトウェア、ファームウェア、又はその組み合わせでそれぞれ実現される。
【００１６】
データネットワーク１０６は、システム１００のコンポーネント間の通信を容易にする。たとえば、ネットワーク１０６は、インターネットプロトコル（ＩＰ）パケット、フレームリレーフレーム、同期転送モード（ＡＴＭ）セル、又はネットワークアドレス又はコンポーネント間の他の適切な情報を伝達する場合がある。ネットワーク１０６は、１以上のローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットのようなグローバルネットワークの全部又は一部、若しくは１以上のロケーションでの他の通信システムを含んでいる場合がある。ネットワーク１０６は、Ｅｔｈｅｒｎｅｔ（登録商標）、ＩＰ、Ｘ．２５、フレームリレー、又は他のパケットデータプロトコルのような、いずれか適切なタイプのプロトコルに従って動作する場合もある。
【００１７】
図１は、ビデオ伝送システム１００の１例を示しているが、図１に対して他の変更がなされる場合がある。たとえば、システム１００は、いずれかの数のストリーミングビデオ送信機１０２、ストリーミングビデオ受信機１０４、及びネットワーク１０６を含んでいる場合がある。
【００１８】
図２は、本発明の１実施の形態に係る例示的なビデオエンコーダ１１０を示している。図２に示されるビデオエンコーダ１１０は、図１に示されるビデオ伝送システム１００で使用される場合がある。他の実施の形態のビデオエンコーダ１１０がビデオ伝送システム１００で使用されることもあり、図２に示されるビデオエンコーダ１１０が、本発明の範囲から逸脱することなしに、他の適切なデバイス、構造、又はシステムで使用することもできる。
【００１９】
説明される例では、ビデオエンコーダ１１０は、ウェーブレット変換器２０２を含んでいる。ウェーブレット変換器２０２は、圧縮されていないビデオフレーム２１４を受け、空間領域からウェーブレット領域にビデオフレーム２１４を変換する。この変換は、ウェーブレットフィルタリングを使用して、複数の帯域２１６ａ〜２１６ｎにビデオフレーム２１４を空間的に分解し、そのビデオフレーム２１４のそれぞれのバンド２１６は、一セットのウェーブレット係数により表される。ウェーブレット変換器２０２は、適切な変換を使用し、複数のビデオ又はウェーブレットバンド２１６にビデオフレーム２１４を分解する。実施の形態のなかには、フレーム２１４は、ロウ−ロウ（ＬＬ）バンド、ロウ−ハイ（ＬＨ）バンド、ハイ−ロウ（ＨＬ）バンド、及びハイ−ハイ（ＨＨ）バンドを含む第一の分解レベルに分解される。１以上のこれらのバンドは、ＬＬバンドがＬＬＬＬ，ＬＬＬＨ，ＬＬＨＬ及びＬＬＨＨサブバンドに更に分解されるときのような、更なる分解レベルに更に分解される。
【００２０】
ウェーブレットバンド２１６は、複数の動き補償時間フィルタ（ＭＣＴＦ）２０４ａ〜２０４ｎに提供される。ＭＣＴＦ２０４は、ビデオバンド２１６を時間的にフィルタリングし、フレーム２１４の間の時間的な相関を除く。たとえば、ＭＣＴＦ２０４は、ビデオバンド２１６をフィルタリングし、ビデオバンド２１６のそれぞれについてハイパスフレーム及びローパスフレームを発生する。
【００２１】
実施の形態になかには、グループ・オブ・フレームがＭＣＴＦ２０４により処理される。特定の実施の形態では、それぞれのＭＣＴＦ２０４は、動き予測器及び時間フィルタを含んでいる。ＭＣＴＦ２０４における動き予測器は、１以上の動きベクトルを発生し、この予測器は、現在のビデオフレームと参照フレームとの間の動きの量を予測し、１以上の動きベクトルを生成する。ＭＣＴＦ２０４における時間フィルタは、この情報を使用して、動きの方向においてグループ・オブ・ビデオフレームを時間的にフィルタリングする。他の実施の形態では、ＭＣＴＦ２０４は、制約されていない動き補償時間フィルタ（ＵＭＣＴＦ）により置き換えられる。
【００２２】
実施の形態のなかには、動き予測器における補間フィルタは、異なる係数値を有することができるものがある。異なる帯域２１６は、異なる時間的な相関を有する場合があるので、これは、ＭＣＴＦ２０４の符号化性能を改善するのに役立つ。また、異なる時間フィルタは、ＭＣＴＦ２０４で使用される場合がある。実施の形態のなかには、低い方のバンド２１６について双方向の時間フィルタが使用され、高い方のバンド２１６について順方向のみの時間フィルタが使用される。時間フィルタは、歪み測定又は複雑さの測定を最小にする望みに基づいて選択することができる。時間フィルタは、効率／複雑さの制約を増加又は最適化するため、それぞれのバンド２１６について異なって設計される予測ステップ及び更新ステップを使用するリフティングフィルタのような適切なフィルタを表すことができる。
【００２３】
さらに、互いにグループ化され、ＭＣＴＦ２０４により処理されるフレーム数は、それぞれのバンド２１６について適応的に決定することができる。実施の形態のなかには、低い方のバンド２１６は、互いにグループ化される多数のフレームを有し、高い方のバンドは、互いにグループ化される少数のフレームを有する。これにより、たとえば、バンド２１６当たり互いにグループ化されるフレーム数は、フレーム２１４の系列の特性、若しくは複雑さ又は回復力の要件に基づいて変化することができる。また、高い方の空間周波数バンド２１６は、より長期間の時間フィルタリングから省略することができる。特定の例として、ＬＬ，ＬＨ及びＨＬ及びＨＨバンド２１６におけるフレームは、８フレーム、４フレーム及び２フレームのそれぞれのグループに置かれることができる。これにより、３，２，１のそれぞれの最大の分解レベルが可能となる。バンド２１６のそれぞれについて時間の分解レベルの数は、フレームコンテンツ、ターゲットディストーションメトリック、又はそれぞれのバンド２１６について時間スケーラビリティの所望のレベルのような、適切な基準を使用して決定することができる。別の特定の例として、ＬＬ、ＬＨ及びＨＬ及びＨＨバンド２１６のそれぞれにおけるフレームは、８フレームのグループで配置される場合がある。
【００２４】
図２に示されるように、ＭＣＴＦ２０４は、ウェーブレットドメインで動作する。従来のエンコーダでは、ウェーブレットドメインでの動き予測及び補償は、ウェーブレット係数がシフト不変ではないため、典型的に効率的ではない。この非効率さは、ローバンドシフト技術を使用して達成される場合がある。例示される実施の形態では、ローバンドシフタ２０６は、入力ビデオフレーム２１４を処理し、１以上のオーバコンプリートウェーブレット展開２１８を生成する。ＭＣＴＦ２０４は、動き予測の間に参照フレームとしてオーバコンプリートウェーブレット展開２１８を使用する。オーバコンプリートウェーブレット展開２１８を参照フレームとして使用することで、ＭＣＴＦ２０４は、精度の変動レベルに対する動きを予測することができる。特定の例として、ＭＣＴＦ２０４は、ＬＬバンド２１６における動き予測について１６分の１の画素精度を採用し、他のバンド２１６における動き予測について８分の１の画素精度を採用する。
【００２５】
実施の形態のなかには、入力ビデオフレーム２１４の低い方のバンドをシフトすることで、ローバンドシフタ２０６がオーバコンプリートウェーブレット展開２１８を発生するものがある。図３Ａ〜図３Ｃでは、ローバンドシフタ２０６によるオーバコンプリートウェーブレット展開２１８の生成が示されている。この例では、特定の空間的なロケーションで同じ分解レベルに対応する異なるシフトされたウェーブレット係数は、「クロスフェーズウェーブレット係数」と呼ばれる。図３Ａに示されるように、オーバコンプリートウェーブレット展開２１８のそれぞれのフェーズは、次の精密なレベルＬＬのバンドのウェーブレット係数をシフトし、１つのレベルのウェーブレット分解を適用することで生成される。たとえば、ウェーブレット係数３０２は、シフトなしにＬＬバンドの係数を表している。ウェーブレット係数３０４は、（１，０）シフト、すなわち１つのポジションの右へのシフトの後のＬＬバンドの係数を表している。ウェーブレット係数３０６は、（０，１）シフト、すなわち１つのポジションの下へのシフトの後のＬＬバンドの係数を表している。ウェーブレット係数３０８は、（１，１）シフト、すなわち１つのポジションの右へのシフトと下へのシフトの後のＬＬバンドの係数を表している。
【００２６】
図３Ａにおけるウェーブレット係数３０２−３０８の４つのセットが増加又は結合されて、オーバコンプリートウェーブレット展開２１８が生成される。図３Ｂは、ウェーブレット係数３０２−３０８がオーバコンプリートウェーブレット展開２１８を生成するためにどのように増加又は結合される場合があるかに関する１例を示している。図３Ｂに示されるように、２セットのウェーブレット係数３３０，３３２がインタリーブされ、１セットのオーバコンプリートウェーブレット係数３３４が生成される。オーバコンプリートウェーブレット係数３３４は、図３Ａに示されるオーバコンプリートウェーブレット展開２１８を表している。インタリーブは、オーバコンプリートウェーブレット展開２１８における新たな座標がオリジナルの空間領域における関連されるシフトに対応するように実行される。また、このインタリーブ技術は、それぞれの分解レベルで再帰的に使用することもでき、２Ｄ信号について直接的に拡張することができる。オーバコンプリートウェーブレット係数３３４を発生するためのインタリーブの使用は、近隣のウェーブレット係数の間のクロスフェーズの依存性を考慮することができるため、ビデオエンコーダ１１０及びビデオデコーダ１１８における更に最適なサブピクセル精度の動き予測を可能にする。図３Ｂは、インタリーブされる２セットのウェーブレット係数３３０，３３２を例示しているが、４セットのウェーブレット係数のような、オーバコンプリートウェーブレット係数３３４を形成するため、いずれかの数の係数のセットを互いにインタリーブすることができる。
【００２７】
ローバンドのシフト技術の一部は、図３Ｃに示されるウェーブレットブロックの生成を含んでいる。実施の形態のなかには、ウェーブレット分解の間、（最も高い周波数バンドにおける係数を除いて）所与のスケールでの係数は、より精密なスケールでの同じオリエンテーションの係数のセットに関連することができる。従来のコーダでは、この関係は、「ウェーブレットツリー」と呼ばれるデータ構造として係数を表現することで利用される。ローバンドのシフト技術では、最も低いバンドに位置されるそれぞれのウェーブレットツリーの係数は、図３Ｃに示されるように、ウェーブレットブロック３５０を形成するために再配置される。他の係数は、更なるウェーブレットブロック３５２，３５４を形成するために同様にグループ化される。図３Ｃに示されるウェーブレットブロックは、そのウェーブレットブロックにおけるウェーブレット係数と、それらの係数がある画像において空間的に表すものとの間の直接的な関連性を提供する。特定の実施の形態では、全てのスケール及びオリエンテーションで関連される係数は、ウェーブレットブロックのそれぞれに含まれる。
【００２８】
実施の形態のなかには、図３Ｃに示されるウェーブレットブロックがＭＣＴＦ２０４による動き予測の間に使用されるものがある。たとえば、動き予測の間、それぞれのＭＣＴＦ２０４は、現在のウェーブレットブロックと参照フレームにおける参照ウェーブレットブロックとの間の最小平均絶対値差（Mean  Absolute  Difference）を生成する動きベクトル（ｄｘ，ｄｙ）を見つける。たとえば、図３Ｃにおけるｋ番目のウェーブレットブロックの平均絶対値の差は、以下のように計算することができる。
【００２９】
【数１】
2006521039.tif 000003
この場合、たとえば、ＬＢＳ＿ＨＬref(i)（ｘ，ｙ）は、先に記載されたインタリーブ技術を使用した、参照フレームの拡張されたＨＬバンドを示す。式（１）は、先のロウバンドのシフト技術が機能しない一方で、（ｄｘ，ｄｙ）が非整数値であるときでさえ機能する。また、特定の実施の形態では、ウェーブレットブロックによるこの符号化スキームを使用することは、動きベクトルのオーバヘッドを受ける。
【００３０】
図２を参照して、ＭＣＴＦ２０４は、フィルタリングされたビデオバンドをエンベデッド・ゼロ・ブロック・コーディング（EZBC:  Embedded  Zero  Block  Coding）コーダ２０８を提供する。ＥＺＢＣコーダ２０８は、フィルタリングされたビデオバンドを分析し、フィルタリングされたバンド２１６内、及びフィルタリングされたバンド２１６間の相関を識別する。ＥＺＢＣコーダ２０８は、この情報を使用して、フィルタリングされたバンド２１６を符号化及び圧縮する。特定の例として、ＥＺＢＣコーダ２０８は、ＭＣＴＦ２０４により生成されたハイパスフレーム及びローパスフレームを圧縮する。
【００３１】
ＭＣＴＦ２０４は、動きベクトルを動きベクトルエンコーダ２１０に提供する。動きベクトルは、ビデオエンコーダ１１０に提供されるビデオフレーム２１４の系列で検出された動きを表している。動きベクトルエンコーダ２１０は、ＭＣＴＦ２０４により生成された動きベクトルを符号化する。動きベクトルエンコーダ２１０は、ＤＣＴ符号化のようなテクスチャベースの符号化技術のような、適切な符号化技術を使用する。
【００３２】
総合すると、ＥＺＢＣコーダ２０８により生成された圧縮及びフィルタリングされたバンド２１６、及び動きベクトルエンコーダ２１０により生成された圧縮された動きベクトルは、入力ビデオフレーム２１４を表している。マルチプレクサ２１２は、圧縮及びフィルタリングされたバンド２１６及び圧縮された動きベクトルを受け、それらを１つの出力ビットストリーム２２０に多重化する。次いで、ビットストリーム２２０は、データネットワーク１０６にわたりストリーミングビデオ受信機１０４にストリーミングビデオ送信機１０２により送信される。
【００３３】
図４は、本発明の１実施の形態に係るビデオデコーダ１１８の１例を説明している。図４に示されるビデオデコーダ１１８は、図１に示されるビデオ伝送システム１００で使用される場合がある。他の実施の形態のビデオデコーダ１１８は、ビデオ伝送システム１００に使用されることがあり、図４に示されるビデオデコーダ１１８は、本発明の範囲から逸脱することなしに、他の適切なデバイス、構造又はシステムで使用することができる。
【００３４】
一般に、ビデオデコーダ１１８は、図２のビデオエンコーダ１１０により実行される機能とは逆の機能を実行し、これにより、エンコーダ１１０により符号化されるビデオフレーム２１４を復号化する。説明される例では、ビデオデコーダ１１８は、デマルチプレクサ４０２を含んでいる。デマルチプレクサ４０２は、ビデオエンコーダ１１０により生成されるビットストリーム２２０を受ける。デマルチプレクサ４０２は、ビットストリーム２２０を分解し、符号化されたビデオバンドと符号化された動きベクトルを分離する。
【００３５】
符号化されたビデオバンドは、ＥＺＢＣデコーダ４０４に提供される。ＥＺＢＣデコーダ４０４は、ＥＺＢＣコーダ２０８により符号化されるビデオバンドを復号化する。たとえば、ＥＺＢＣデコーダ４０４は、ビデオバンドを回復するためにＥＺＢＣコーダ２０８により使用される符号化技術の逆の技術を実行する。特定の例として、符号化されたビデオバンドは、圧縮されたハイパスフレームとローパスフレームを表し、ＥＺＢＣデコーダ４０４は、ハイパス及びローパスフレームを圧縮しない場合がある。同様に、動きベクトルは、動きベクトルデコーダ４０６に供給される。動きベクトルデコーダ４０６は、動きベクトルエンコーダ２１０により使用される符号化技術の逆の技術を実行することで動きベクトルを復号化及び回復する。
【００３６】
回復されたビデオバンド４１６ａ〜４１６ｎ及び動きベクトルは、複数の逆動き補償時間フィルタ（逆ＭＣＴＦ）４０８ａ〜４０８ｎに提供される。逆ＭＣＴＦ４０８は、ビデオバンド４１６ａ〜４１６ｎを処理及び回復する。たとえば、逆ＭＣＴＦ４０８は、ＭＣＴＦ２０４により行われる時間フィルタリングの作用を逆にするため、時間的な合成を実行する。逆ＭＣＴＦ４０８は、動きをビデオバンド４１６に再び導入するため、動き補償を実行する場合もある。特に、逆ＭＣＴＦ４０８は、ビデオバンド４１６を回復するため、ＭＣＴＦ２０４により生成されるハイパス及びローパスフレームを処理する場合がある。他の実施の形態では、逆ＭＣＴＦ４０８は、逆ＵＭＣＴＦにより置き換えられる場合がある。
【００３７】
回復されたビデオバンド４１６は、逆ウェーブレット変換４１０に提供される。逆ウェーブレット変換器４１０は、ウェーブレット領域から空間領域にビデオバンド４１６を変換するための変換機能を実行する。たとえば、ビットストリーム２２０で受信される情報量及びビデオデコーダ１１８の処理能力に依存して、逆ウェーブレット変換器４１０は、１以上の異なるセットの回復されたビデオ信号４１４ａ〜４１４ｃを生成する場合がある。実施の形態のなかには、回復されたビデオ信号４１４ａ〜４１４ｃが異なる解像度を有するものがある。たとえば、第一の回復されたビデオ信号４１４ａは、低い解像度を有する場合があり、第二の回復されたビデオ信号４１４ｂは、中間の解像度を有する場合があり、第三の回復されたビデオ信号４１４ｃは、高い解像度を有する場合がある。このようにして、異なる処理機能及び異なる帯域幅のアクセスをもつ異なるタイプのストリーミングビデオ受信機１０４がシステム１００で使用される場合がある。
【００３８】
回復されたビデオ信号４１４は、ローバンドシフタ４１２に提供される。先に記載されたように、ビデオエンコーダ１１０は、１以上のオーバコンプリートウェーブレット展開２１８を使用して入力ビデオフレーム２１４を処理する。ビデオデコーダ１１８は、同一又は近似的に同一のオーバコンプリートウェーブレット展開４１８を生成するため、回復されたビデオ信号４１４における先に回復されたビデオフレームを使用する。オーバコンプリートウェーブレット展開４１８は、ビデオバンド４１６の復号化における使用のために逆ＭＣＴＦ４０８に提供される。
【００３９】
図２〜図４は、例示的なビデオエンコーダ、オーバコンプリートウェーブレット展開、ビデオデコーダを例示しているが、様々な変形が図２〜図４に対してなされる場合がある。たとえば、ビデオエンコーダ１１０は、いずれかの数のＭＣＴＦ２０４を含むことができ、ビデオデコーダ１１８は、いずれかの数の逆ＭＣＴＦ４０８を含むことができる。また、他のオーバコンプリートウェーブレット展開がビデオエンコーダ１１０及びビデオデコーダ１１８により使用することができる。さらに、ビデオデコーダ１１８における逆ウェーブレット変換器４１０は、いずれかの数の解像度を有する回復されたビデオ信号４１４を生成する。特定の例として、ビデオデコーダ１１８は、ｎセットの回復されたビデオ信号４１４を生成する。ここでｎはビデオバンド４１６の数を表している。
【００４０】
図５は、本発明の１実施の形態に係る例示的な動き補償時間フィルタリングを示している。この動き補償された時間フィルタリングは、たとえば、図２のビデオエンコーダ１１０におけるＭＣＴＦ２０４、又は他の適切なビデオエンコーダにより実行される場合がある。
【００４１】
図５に示されるように、動き補償時間フィルタリングは、前のビデオフレームＡから現在のビデオフレームＢへの動き予測を含んでいる。時間フィルタリングの間、ビデオフレームにおける画素５０２の幾つかは、複数回参照されるか、全く参照されないものがある。これは、たとえば、ビデオフレームに含まれる動き、及び画像における対象物のカバーリング又はアンカバーリングのためである。これらの画素５０２は、典型的に、「接続されていない画素“unconnected  pixel”」と呼ばれ、一度参照された画素５０４は、典型的に、「接続された画素“connected  pixel”」と呼ばれる。典型的な符号化システムでは、ビデオフレームにおける接続されていない画素の存在は、符号化効率を低減する特定の処理を必要とする。
【００４２】
動き予測の品質を改善するため、３Ｄリフティングスキームを使用して、サブピクセル精度の動き予測が採用され、これにより、圧縮されたビデオフレームの精度の高い再構成又は完全再構成が可能となる。ビデオエンコーダ１１０で空間領域のＭＣＴＦが使用されるとき、動きベクトルがサブピクセル精度を有する場合、リフティングスキームは、以下の式を使用してビデオフレームについてハイパスフレーム（Ｈ）及びロウパスフレーム（Ｌ）を発生する。
【００４３】
【数２】
2006521039.tif 000004
ここで、Ａは前のビデオフレームを示し、Ｂは現在のビデオフレームを示し、
【００４４】
（外１）
2006521039.tif 000005
はＡビデオフレームにおける位置（ｘ，ｙ）での補間された画素値を示し、Ｂ（ｍ，ｎ）はＢビデオフレームにおける位置（ｍ，ｎ）での画素値を示し、（ｄm，ｄn）はサブピクセル精度の動きベクトルを示し、
【００４５】
（外２）
2006521039.tif 000006
は最も近い整数値の格子への近似値を示している。
【００４６】
ビデオデコーダ１１８で、前のビデオフレームＡは、以下の式を使用してＬ及びＨから再構成される。
【００４７】
【数３】
2006521039.tif 000007
前のビデオフレームＡが再構成された後、以下の式を使用して現在のビデオフレームＢが再構成される。
【００４８】
【数４】
2006521039.tif 000008
この例では、現在のフレームＢにおける接続されていない画素は、式（２）に示されるように処理され、前のフレームＡにおける接続されていない画素は、以下のように処理される。
【００４９】
【数５】
2006521039.tif 000009
ビデオエンコーダ１１０でのウェーブレット領域におけるオーバコンプリートウェーブレット展開２１８の使用は、ウェーブレット領域におけるそれぞれのビデオバンド２１６についてサブピクセルの動き予測を実行することができるＭＣＴＦ２０４の動き予測における補間フィルタを必要とする場合がある。実施の形態のなかには、これらの補間フィルタは、ビデオバンド２１６内の隣接する画素からの画素と他のバンド２１６における隣接する画素からの画素を畳み込みする。
【００５０】
例として、図６Ａは、例示的なウェーブレット分解を示しており、ビデオフレーム６００は、１つの分解レベル内で４つのウェーブレットバンド２１６に分解される。オーバコンプリートウェーブレット領域のためのリフティング構造は、式（２）〜（６）を修正することで発生することができる。たとえば、式（２）を単に拡張することで、ｊ番目の分解レベルのためのハイパスフレームが以下のように表される。
【００５１】
【数６】
2006521039.tif 000010
ここで、ｄij（ｍ）＝ｄm／２j，ｄij（ｎ）＝ｄn／２j、及び（ｄm，ｄn）は、空間領域における動きベクトルを示している。しかし、式（７）におけるＡijフレームの補間は、クロスフェーズウェーブレット係数の依存性を取り込まないため、最適ではない場合がある。先に記載されたインタリーブ技術を使用して、ｊ番目の分解レベルについて更に最適なハイパスフレームは、以下のように表される。
【００５２】
【数７】
2006521039.tif 000011
ここでＬＢＳ＿Ａijはインタリーブされたオーバコンプリートウェーブレット係数を示し、
【００５３】
（外３）
2006521039.tif 000012
は位置［２jｍ−ｄm，２jｎ−ｄn］でのその補間された画素値を示している。インタリーブの後、補間動作は、隣接するウェーブレット係数の１つの空間領域の補間を表している。
【００５４】
同様に、ロウパスフィルタリングされたフレームは、以下のように表される。
【００５５】
【数８】
2006521039.tif 000013
ここでｄij（ｍ）＝ｄm／２j，ｄij（ｎ）＝ｄn／２j、及びＬＢＳ＿Ｈijは、Ｈijフレームのインタリーブされたオーバコンプリートウェーブレット係数を示している。
【００５６】
デコーダ側で、以下の式を使用して再構成を実行することができる。
【００５７】
【数９】
2006521039.tif 000014
実施の形態のなかには、ビデオエンコーダ１１０及びビデオデコーダ１１８が同じサブピクセル補間技術を使用するときにビデオデコーダ１１８で完全再構成を得ることができるものがあり、どの補間技術がエンコーダ１１０側で使用されるかは問題ではない。この例では、現在のフレームＢにおける接続されていない画素は、式（９）に示されるように処理され、前のフレームＡにおける接続されていない画素は、以下のように処理される。
【００５８】
【数１０】
2006521039.tif 000015
式（９）は、ロウパスフレームを生成するために補間されたハイパスフレームを使用する。結果として、実施の形態のなかには、同じ分解レベルで４つの時間的なハイパスフレームＨij，ｉ＝０，．．．，３が式（８）を使用して生成される。その後、式（９）に従って時間的なハイパスフレームを使用して、４つのローパスフレームＬij，ｉ＝０，．．．，３が生成される。
【００５９】
ビデオエンコーダ１１０及びビデオデコーダ１１８により処理されるビデオフレームは、１以上の分解レベルを有する。たとえば、図６Ｂは、例示的なウェーブレット分解を示しており、ビデオフレーム６５０は、２つの分解レベルに分解される。この例では、Ａ10バンドは、複数のサブバンドＡ2j，ｊ＝０，．．．，３に分解される。複数の分解レベルをもつ、このビデオフレーム及び他のビデオフレームについて、リフティング構造を実現する式（８）〜（１１）は、最も低い解像度の画像で始まり、再帰的に実行される。言い換えれば、式（８）〜（１１）は、Ａ10バンドにおけるサブバンドＡ2j，ｊ＝０，．．．，３について一度実行される。ひとたび完了すると、式（８）〜（１１）は、バンドＡ1j，ｊ＝０，．．．，３について再び実行される。
【００６０】
要約すると、ビデオエンコーダ１１０で、Ｌ分解レベルを有するビデオフレームのための３Ｄシフティングアルゴリズムは、以下のように表される。
【００６１】
【表１】
2006521039.tif 000016
同様に、ビデオデコーダ１１８で、Ｌ分解レベルを有するビデオフレームのための３Ｄシフティングアルゴリズムは、以下のように表される。
【００６２】
【表２】
2006521039.tif 000017
この要約及び先の式（８）〜（１１）に示されるように、ビデオエンコーダ１１０からビデオデコーダ１１８への送信の間に特定の分解レベルでのバンドが破壊又は喪失された場合、デコーダ１１８でのビデオフレームの再構成は、エラーを受ける。これは、式（８）〜（１１）により、ビデオデコーダ１１８でビデオエンコーダ１１０におけるのと同じ参照フレームを生成しないためである。エラー回復を提供するため、（ＬＢＳ＿Ａijのような）拡張された参照は、次の更に精錬されたレベルのサブバンドをシフトすることなしに（Ａijのような）対応するサブバンドから生成される。これにより、システム１００のロバストネスが増加され、ビデオエンコーダ１１０及びデコーダ１１８の複雑さを低減する場合がある。
【００６３】
図７は、本発明の１実施の形態に係るオーバコンプリートウェーブレット領域において３Ｄリフティングを使用してビデオ情報を符号化するための例示的な方法７００を示している。本方法７００は、図１のシステム１００で動作する図１のビデオエンコーダ１１０に関して記載される。
【００６４】
ビデオエンコーダ１１０は、ステップ７０２でビデオ入力信号を受ける。このことは、たとえば、ビデオフレームソース１０８からビデオデータの複数のフレームを受けるビデオエンコーダ１１０を含んでいる場合がある。
【００６５】
ビデオエンコーダ１１０は、ステップ７０４でそれぞれのビデオフレームをバンドに分割する。このことは、たとえば、ビデオフレームを処理してフレームをｎの異なるバンド２１６に分割するウェーブレット変換器２０２を含んでいる場合がある。ウェーブレット変換器２０２は、フレームを１以上の分解レベルに分解する。
【００６６】
ビデオエンコーダ１１０は、ステップ７０６でビデオフレームの１以上のオーバコンプリートウェーブレット展開を生成する。このことは、たとえば、ビデオフレームを受け、低いバンドのビデオフレームを識別し、異なる量で低いバンドをシフトし、オーバコンプリートウェーブレット展開を生成するための低いバンドを互いに増加するローバンドシフタ２０６を含んでいる場合がある。
【００６７】
ビデオエンコーダ１１０は、ステップ７０８でビデオフレームのベースレイヤを圧縮する。これは、たとえば、最も低い解像度のウェーブレットバンド２１６ａを処理してハイパスフレームＨ0L及びローパスフレームＬ0Lを生成するＭＣＴＦ２０４ａを含んでいる場合がある。
【００６８】
ビデオエンコーダ１１０は、ステップ７１０でビデオフレームのエンハンスメントレイヤを圧縮する。これは、たとえば、残りのビデオバンド２１６ａ〜２１６ｎを受ける残りのＭＣＴＦ２０４ｂ〜２０４ｎを含んでいる場合がある。これは、式（８）を使用して最も低い分解レベルで残りの時間的なハイパスフレームを生成し、次いで式（９）を使用してその分解レベルで残りの時間的なローパスフレームを生成する残りのＭＣＴＦ２０４を含んでいる場合がある。
【００６９】
これは、いずれか他の分解レベルについて更なるハイパスフレーム及びローパスフレームを生成するＭＣＴＦ２０４を更に含んでいる場合がある。さらに、これは、ビデオフレームにおける動きを識別する動きベクトルを発生するＭＣＴＦ２０４を含んでいる場合がある。
【００７０】
ビデオエンコーダ１１０は、ステップ７１２でフィルタリングされたビデオバンドを符号化する。これは、ＭＣＴＦ２０４からハイパスフレームとローパスフレームのようなフィルタリングされたビデオバンド２１６を受け、フィルタリングされたバンド２１６を圧縮するＥＺＢＣコーダ２０８を含んでいる。ビデオエンコーダ１１０は、ステップ７１４で動きベクトルを符号化する。これは、たとえば、ＭＣＴＦ２０４により生成された動きベクトルを受け、動きベクトルを圧縮する動きベクトルエンコーダ２１０を含んでいる場合がある。ビデオエンコーダ１１０は、ステップ７１６で出力ビットストリームを生成する。これは、たとえば、圧縮されたビデオバンド２１６と圧縮された動きベクトルを受け、これらをビットストリーム２２０に多重化するマルチプレクサ２１２を含んでいる場合がある。この時点で、ビデオエンコーダ１１０は、データネットワーク１０６を通してビットストリームを伝送するためにバッファに伝達するような、適切なアクションを取る場合がある。
【００７１】
図７は、オーバコンプリートウェーブレット領域で３Ｄリフティングを使用してビデオ情報を符号化するための方法７００の１例を示しているが、図７に対して様々な変更がなされる。たとえば、図７に示される様々なステップは、ステップ７０４及び７０６のようなビデオエンコーダ１１０においてパラレルに実行される。また、ビデオエンコーダ１１０は、エンコーダ１１０により処理されたそれぞれのグループ・オブ・フレームについて１度のような、符号化プロセスの間にオーバコンプリートウェーブレット展開を複数回生成する。
【００７２】
図８は、本発明の１実施の形態に係るオーバコンプリートウェーブレット領域における３Ｄリフティングを使用したビデオ情報を復号化するための例示的な方法８００を示している。本方法８００は、図１のシステム１００で動作する図４のビデオデコーダ１１８に関して記載される。本方法８００は、他の適切なデコーダにより、他の適切なシステムにおいて使用される場合がある。
【００７３】
ビデオデコーダ１１８は、ステップ８０２でビデオストリームを受ける。これは、たとえば、データネットワーク１０６を通してビットストリームを受けるビデオデコーダ１１０を含んでいる場合がある。
【００７４】
ビデオデコーダ１１８は、ステップ８０４でビットストリームにおける符号化されたビデオバンドと符号化された動きベクトルを分離する。これは、たとえば、ビデオバンドと動きベクトルを分離して、これらをビデオデコーダ１１８における異なるコンポーネントに送出するマルチプレクサ４０２を含んでいる場合がある。
【００７５】
ビデオデコーダ１１８は、ステップ８０６でビデオバンドをデコードする。これは、たとえば、ＥＺＢＣコーダ２０８により実行される符号化を逆にするため、ビデオバンドに逆の動作を実行するＥＺＢＣデコーダ４０４を含んでいる場合がある。ビデオデコーダ１１８は、ステップ８０８で動きベクトルをデコードする。これは、たとえば、動きベクトルエンコーダ２１０により実行された符号化を逆にするため、動きベクトルに逆の動作を実行する動きベクトルデコーダ４０６を含んでいる場合がある。
【００７６】
ビデオデコーダ１１８は、ステップ８１０でビデオフレームのベースレイヤを分解する。これは、たとえば、ハイパスフレームＨ0L及びローパスフレームＬ0Lを使用して、前のビデオフレームと現在のビデオフレームの最も低い解像度のバンド４１６を処理する逆ＭＣＴＦ４０８ａを含んでいる場合がある。
【００７７】
ビデオデコーダ１１８は、ステップ８１２で（可能である場合）ビデオフレームのエンハンスメントレイヤを分解する。これは、たとえば、残りのビデオバンド４１６ｂ〜４１６ｎを受ける逆ＭＣＴＦ４０８を含んでいる場合がある。これは、１つの分解レベルで前のフレームの残りのバンドを回復し、次いでその分解レベルで現在のフレームの残りのバンドを回復する逆ＭＣＴＦ４０８を含んでいる場合がある。これは、いずれか他の分解レベルについてフレームを回復する逆ＭＣＴＦ４０８を更に含んでいる場合がある。
【００７８】
ビデオデコーダ１１８は、ステップ８１４で回復されたビデオバンドを変換する。これは、ウェーブレット領域から空間領域にビデオバンド４１６を変換する逆ウェーブレット変換器４１０を含んでいる場合がある。これは、回復された信号４１４からなる１以上のセットを生成する逆ウェーブレット変換器４１０を含んでいる場合もあり、ここで、回復された信号４１４からなる異なるセットは、異なる解像度を有している。
【００７９】
ビデオデコーダ１１８は、ステップ８１６で回復された信号４１４における回復されたビデオフレームの１以上のオーバコンプリートウェーブレット展開を生成する。これは、たとえば、ビデオフレームを受け、ローバンドのビデオフレームを識別し、異なる量で低い方のバンドをシフトし、低い方のバンドを増加するローバンドシフタ４１２を含んでいる場合がある。次いで、オーバコンプリートウェーブレット展開は、更なるビデオ情報を復号化する使用のために、逆ＭＣＴＦ４０８に提供される。
【００８０】
図８は、オーバコンプリートウェーブレット領域における３Ｄリフティングを使用して、ビデオ情報を復号化するための方法８００の１例を示しているが、図８に対して様々な変化がなされる場合がある。たとえば、図８に示される様々なステップは、ステップ８０６及び８０８のようなビデオデコーダ１１８でパラレルに実行される。また、ビデオデコーダ１１８は、デコーダ１１８により復号化されるそれぞれのグループ・オブ・フレームについて１つのような、復号化プロセスの間にオーバコンプリートウェーブレット展開を複数回生成する。
【００８１】
本特許明細書で使用されている所定の単語及び句の定義を述べることは有利である場合がある。単語「含む“include”」及び「有する“comprise”」並びにその派生語は、制限することのない包含を意味している。単語「又は“or”」は包括的であって、「及び／又は」を意味している。句「〜と関連する“associated  with”“associated  therewith”」及びその派生語は、「〜に含まれる“be  included  within”」、「〜と相互接続される“interconnect  with”」、「含む“contain”」、「〜内に含まれる“be  contained  within”」、「〜に又は〜と接続する“connect  to  or  with”」、「〜に結合又は〜と結合する“couple  to  or  with”」、「〜と通信する“be  communicate  with”」、「〜と共に動作する“cooperate  with”」、「インタリーブする“interleave”」、「並置する“juxtapose”」、「〜の近くに“be  proximate  to”」、「〜に結合又は〜と結合する“be  bound  to  or  with”」、「有する“have”」、「〜の特性を有する“have  a  property  of”」等を含むことを意味している場合がある。所定の単語及び句の定義は、この特許明細書全体にわたり提供される。当業者であれば、大部分ではないが多くの場合、かかる定義は従来と同様にかかる定義された単語及び句の将来的な使用に適用されることを理解されたい。
【００８２】
本開示は、所定の実施の形態及び一般に関連する方法を記載しているが、これらの実施の形態及び方法の代替及び配置は当業者にとって明らかであろう。したがって、例示的な実施の形態の先の記載は、この開示を定義又は制約するものではない。特許請求の範囲により定義されるように、この開示の精神及び範囲から逸脱することなしに、他の変形、置換及び代替も可能である。
【図面の簡単な説明】
【００８３】
【図１】本発明の１実施の形態に係る例示的なビデオ伝送システムを説明する図である。
【図２】本発明の１実施の形態に係る例示的なビデオエンコーダを説明する図である。
【図３】図３Ａ〜図３Ｃは、本発明の１実施の形態に係るオーバコンプリートウェーブレット展開による例示的な参照フレームの生成を説明する図である。
【図４】本発明の１実施の形態に係る例示的なビデオデコーダを説明する図である。
【図５】本発明の１実施の形態に係る例示的な動き補償時間フィルタリングを説明する図である。
【図６】図６Ａ〜図６Ｂは、本発明の１実施の形態に係る例示的なウェーブレット分解を説明する図である。
【図７】本発明の１実施の形態に係るオーバコンプリートウェーブレットドメインにおける３Ｄリフティングを使用したビデオ情報を符号化するための例示的な方法を説明する図である。
【図８】本発明の１実施の形態に係るオーバコンプリートウェーブレットドメインにおける３Ｄリフティングを使用したビデオ情報を復号化するための例示的な方法を説明する図である。
【図１】
2006521039.tif 000018
【図２】
2006521039.tif 000019
2006521039.tif 000020
【図４】
2006521039.tif 000021
【図５】
2006521039.tif 000022
2006521039.tif 000023
【図７】
2006521039.tif 000024
【図８】
2006521039.tif 000025
【国際調査報告】
2006521039.tif 000026
2006521039.tif 000027
2006521039.tif 000028