(57)【要約】３次元ウェーブレット変換の実施例が開示される。
2005500718.tif 000002
【特許請求の範囲】
【請求項１】
３次元離散ウェーブレット変換（ＤＷＴ）を複数のビデオ画像に適用する方法であって、前記複数はフレームを含み、前記フレームは行と列を含み、前記方法は、
複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、
各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、
ＤＷＴ係数のブロックを発生した後に、ＤＷＴ係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、
ことによりＤＷＴ係数の複数のブロックを発生する方法。
【請求項２】
サブサンプリングは、対応するフィルタ動作の後に、１つおきのフレーム、１つおきの列及び、１つおきの行を落とすことを含む、請求項１に記載の方法。
【請求項３】
複数のブロックは、８ブロックを含む、請求項１に記載の方法。
【請求項４】
フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの１つを適用することを含む、請求項１に記載の方法。
【請求項５】
集積回路であって、
３次元離散ウェーブレット変換（ＤＷＴ）を複数のビデオ画像に適用し且つＤＷＴ係数の複数のブロックを発生する構造を有し、前記複数はフレームを含み、前記フレームは行と列を含み、
前記構造は、（ａ）各フィルタ動作について、高域通過フィルタと低域通過フィルタの１つを使用して、複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタし、（ｂ）各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、（ｃ）ＤＷＴ係数のブロックを発生した後に、ＤＷＴ係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用するように適応される、集積回路。
【請求項６】
前記構造は、少なくとも１つの下記の：ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項５に記載の集積回路。
【請求項７】
前記構造の前記サブサンプリング能力は、対応するフィルタ動作の後に、１つおきのフレーム、１つおきの列及び、１つおきの行を落とすように適応される、請求項６に記載の集積回路。
【請求項８】
複数のブロックは、８ブロックを含む、請求項６に記載の集積回路。
【請求項９】
フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの１つを適用することを含む、請求項６に記載の集積回路。
【請求項１０】
複数の変換されたビデオ画像サブブロックに、３次元逆離散ウェーブレット変換（３ＤＩＤＷＴ）を適用する方法であって、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、前記方法は、
（１）ＤＷＴ係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたＤＷＴ係数に、ビットベースの条件復号を適用し、
（２）行、列及びフレームごとに、ＤＷＴ係数マトリクスの個々のサブブロックをアップサンプリングし、
（３）各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、
（４）１つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに（３）を再適用し、
（５）次のより高い解像度でブロックを発生するために、１つの残りのアップサンプルされたサブブロックを８により乗算する、
ことにより、変換されたビデオ画像のサブブロックを逆変換することを含む、方法。
【請求項１１】
ＤＷＴマトリクスの個々のサブブロックは、８サブブロックを含む、請求項１０に記載の方法。
【請求項１２】
アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの１つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項１０に記載の方法。
【請求項１３】
アップサンプリングは、１つおきのフレーム、１つおきの列及び、１つおきの行を挿入することを含む、請求項１０に記載の方法。
【請求項１４】
集積回路であって、
複数の変換されたビデオ画像サブブロックに、３次元逆離散ウェーブレット変換（３ＤＩＤＷＴ）を適用する構造を有し、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、
（ａ）ＤＷＴ係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたＤＷＴ係数に、ビットベースの条件復号を適用し、（ｂ）行、列及びフレームごとに、ＤＷＴ係数マトリクスの個々のサブブロックをアップサンプリングし、（ｃ）各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、（ｄ）１つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに（ｃ）を再適用し、（ｅ）次のより高い解像度でブロックを発生するために、１つの残りのアップサンプルされたサブブロックを８により乗算する、
ことにより、前記構造は変換されたビデオ画像のサブブロックを逆変換するように適用される、集積回路。
【請求項１５】
前記構造は、少なくとも１つの下記の：ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項１４に記載の集積回路。
【請求項１６】
ＤＷＴ係数マトリクスの個々のサブブロックは、８サブブロックを含む、請求項１５に記載の集積回路。
【請求項１７】
アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの１つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項１５に記載の集積回路。
【請求項１８】
アップサンプリングは、１つおきのフレーム、１つおきの列及び、１つおきの行を挿入することを含む、請求項１５に記載の集積回路。
【請求項１９】
命令がその上に記憶された記憶媒体を有する物であって、前記命令は、以下を行うことにより、コンピュータプラットフォームにより実行されたときに、複数のビデオ画像に３次元離散ウェーブレット変換（ＤＷＴ）を適用する結果となり、前記複数はフレームを含み、前記フレームは行と列を含み：
複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、
各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、
ＤＷＴ係数のブロックを発生した後に、ＤＷＴ係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、
ことによりＤＷＴ係数の複数のブロックを発生する、
記憶媒体を有する物。
【請求項２０】
複数のサブブロックは、８サブブロックを含む、請求項１９に記載の物。
【請求項２１】
アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの１つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項１９に記載の物。
【請求項２２】
命令がその上に記憶された記憶媒体を有する物であって、以下を行うことにより、前記命令は、コンピュータプラットフォームにより実行されたときに、複数の変換されたビデオ画像のサブブロックに３次元逆離散ウェーブレット変換（３ＤＩＤＷＴ）を適用する結果となり、前記サブブロックは変換されたフレームを含み、前記フレームは行と列を含み：
（１）ＤＷＴ係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたＤＷＴ係数に、ビットベースの条件復号を適用し、
（２）行、列及びフレームごとに、ＤＷＴ係数マトリクスの個々のサブブロックをアップサンプリングし、
（３）各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、
（４）１つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに（３）を再適用し、
（５）次のより高い解像度でブロックを発生するために、１つの残りのアップサンプルされたサブブロックを８により乗算する、
記憶媒体を有する物。
【請求項２３】
ＤＷＴ係数マトリクスの個々のサブブロックは、８サブブロックを含む、請求項２２に記載の物。
【請求項２４】
アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの１つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項２２に記載の物。
【請求項２５】
システムであって、
集積回路、メモリ、及び、前記集積回路とメモリを結合するバスを有し、
前記集積回路は、３次元離散ウェーブレット変換（ＤＷＴ）を複数のビデオ画像に適用し且つＤＷＴ係数の複数のブロックを発生する構造を有し、前記複数はフレームを含み、前記フレームは行と列を含み、
前記構造は、（ａ）各フィルタ動作について、高域通過フィルタと低域通過フィルタの１つを使用して、複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタし、（ｂ）各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、（ｃ）ＤＷＴ係数のブロックを発生した後に、ＤＷＴ係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用するように適応される、システム。
【請求項２６】
前記構造は、少なくとも１つの下記：ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項２５に記載のシステム。
【請求項２７】
前記構造の前記サブサンプリング能力は、対応するフィルタ動作の後に、１つおきのフレーム、１つおきの列及び、１つおきの行を落とすように適応される、請求項２６に記載のシステム。
【請求項２８】
複数のブロックは、８ブロックを含む、請求項２６に記載のシステム。
【請求項２９】
フィルタ動作を適用することは、各フィルタ動作について、高域通過フィルタと低域通過フィルタの１つを適用することを含む、請求項２６に記載のシステム。
【請求項３０】
システムであって、
集積回路、メモリ、及び、前記集積回路とメモリを結合するバスを有し、
前記集積回路は、複数の変換されたビデオ画像サブブロックに、３次元逆離散ウェーブレット変換（３ＤＩＤＷＴ）を適用する構造を有し、前記サブブロックは、変換されたフレームを含み、前記フレームは行と列を含み、
（ａ）ＤＷＴ係数マトリクスを得るために、そのブロックの埋め込みゼロツリー符号化されたＤＷＴ係数に、ビットベースの条件復号を適用し、（ｂ）行、列及びフレームごとに、ＤＷＴ係数マトリクスの個々のサブブロックをアップサンプリングし、（ｃ）各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、（ｄ）１つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに（ｃ）を再適用し、（ｅ）次のより高い解像度でブロックを発生するために、１つの残りのアップサンプルされたサブブロックを８により乗算する、
ことにより、前記構造は変換されたビデオ画像のサブブロックを逆変換するように適用される、システム。
【請求項３１】
前記構造は、少なくとも１つ下記の：ハードウェア、ソフトウェア、ファームウェア及び、それらの任意の組み合わせを含む、請求項３０に記載のシステム。
【請求項３２】
ＤＷＴ係数マトリクスの個々のサブブロックは、８サブブロックを含む、請求項３１に記載のシステム。
【請求項３３】
アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合することは、その組みの１つのアップサンプルされたサブブロックに逆低域通過フィルタを適用しそして、その組みの他のアップサンプルされたサブブロックへ高域通過フィルタを適用することを含む、請求項３１に記載のシステム。
【請求項３４】
アップサンプリングは、１つおきのフレーム、１つおきの列及び、１つおきの行を挿入することを含む、請求項３１に記載のシステム。
【発明の詳細な説明】
【０００１】
関連出願
本特許出願は、１９９９年９月３日にＡｃｈａｒｙａ他により出願された、発明の名称「ウェーブレットデータのゼロツリー符号化（Ｚｅｒｏｔｒｅｅ  Ｅｎｃｏｄｉｎｇ  ｏｆ  Ｗａｖｅｌｅｔ  Ｄａｔａ）」の米国特許出願番号０９／３９０，２５５と、２０００年１１月２７日にＡｃｈａｒｙａ他により出願された、発明の名称「ウェーブレット変換された誤差データの符号化（Ｅｎｃｏｄｉｎｇ  ｏｆ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｅｒｒｏｒ  Ｄａｔａ）」の米国特許出願番号０９／７２３，１２３、及び、Ａｃｈａｒｙａ他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｄｉｎｇ  ｏｆ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）」の米国特許出願番号０９／８６７，７８１（弁護士名簿番号０４２３９０．Ｐ１１７０６）に関連し、前述の出願のすべては、現在請求されている主題の譲受人に譲渡されている。Ａｃｈａｒｙａ他により同時に出願されている、発明の名称「ウェーブレット変換された係数の符号化方法及び装置（Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｄｉｎｇ  ｏｆ  Ｗａｖｅｌｅｔ  Ｔｒａｎｓｆｏｒｍｅｄ  Ｃｏｅｆｆｉｃｉｅｎｔｓ）」の米国特許出願番号０９／８６７，７８１（弁護士名簿番号０４２３９０．Ｐ１１７０６）は、参照によりここに組み込まれる。
【０００２】
背景
本開示は３次元（３Ｄ）が像及び／又はビデオ変換に関連する。
【０００３】
３Ｄサブバンド符号化、２Ｄサブバンド符号化の拡張は、最近、以下の理由により、少なくとも部分的に、注目が増加している。第１に、典型的には、ブロック歪み（ｂｌｏｃｋ  ａｒｔｉｆａｃｔｓ）が少なく、これは、特に低ビットレートで、動き補償（ＭＣ）及び、離散コサイン変換（ＤＣＴ）アプローチのような、代わりの符号化方法で共通の問題である。第２に、ＭＣ補償法と異なり、別の動き推定段階を使用しない。第３に、空間と時間の両方でスケーラブルである。ウェーブレットベースの符号の効率は、例えば、ウェーブレット係数を効率よく符号化する、Ｓｈａｐｉｒｏによる論文”（ウェーブレット係数のゼロツリーを使用する埋め込み画像符号化）Ｅｍｂｅｄｄｅｄ  Ｉｍａｇｅ  Ｃｏｄｉｎｇ  Ｕｓｉｎｇ  Ｚｅｒｏｔｒｅｅｓ  ｏｆ  Ｗａｖｅｌｅｔ  Ｃｏｅｆｆｉｃｉｅｎｔｓ”、ＩＥＥＥ信号処理論文誌（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ）、Ｖｏｌ．４１，Ｎｏ．１２，ｐｐ．３４４５−３４５９、１９９３年１２月、に記載されているような、適用される符号化機構内にある。
【０００４】
残念ながら、低エネルギー内容のウェーブレット係数を扱うときには、これらの技術の性能は、低い。更に、観察は、３Ｄウェーブレット変換により発生されるウェーブレット係数は低エネルギー内容であることを示す。例えば、多数のウェーブレット変換係数値は、ゼロであるか又は、小さな大きさの値を有する。標準的な方法は、幾つかのパスでこれらのフレームを符号化し、そして、これらのパスの各々は現在のしきい値をこの低値係数と比較する。これは、より低い圧縮比と符号化効率となる。従って、符号化効率と圧縮比を少なくとも概略維持するアプローチが必要である。
【０００５】
主題は特に明細書に最終的な部分に示されそして明確に請求されている。しかしながら、目的、特徴及び、利点と共に、請求された主題、構成と方法の動作の両方は、添付の図面と共に読むときに、以下の詳細な説明を参照して最も良く理解されよう。
【０００６】
詳細な説明
以下の詳細な説明では、請求項の主題の徹底的な理解を提供するために、多くの特定の詳細が示されている。しかしながら、請求項の主題は、これらの特定の詳細なしに実行されうることは当業者に理解されよう。他の例では、良く知られた方法、手続、構成要素及び、回路は、請求項の主題を曖昧にしないようにするために、詳細には説明しない。
【０００７】
多重解像度のウェーブレット表現は、画像を理解するための単純な階層的フレームワークを提供する。異なる解像度で、画像の細部は一般的には、シーンの異なる物理的構造を特徴化しうる。粗いから精密な符号化へのアプローチは、例えば、効果的な圧縮を補助することにより、変換された画像の符号化を補助する。同様なアプローチがビデオシーケンスに適用されるときには、３−Ｄ変換を発生することが含まれうる。そのような表現はシーケンスの異なる物理的な構造も示し得るが、しかし、エッジ情報よりも、時間でのエッジの動きを示すサブブロックが発生されうる。３−Ｄウェーブレット変換を実行する手順の一実施例は、次のようであるが、請求項の主題は、この特定のアプローチ又は実施例の範囲に限定されない。例えば、３次元離散ウェーブレット変換（ＤＷＴ）を複数のビデオ画像に適用する方法の実施例は、以下を含みうる。複数のビデオ画像はフレームを含み、そして、フレームは行と列を含みうる。そのような方法では、ＤＷＴ係数の複数のブロックは、：複数のビデオ画像の、フレームのシーケンス、列のシーケンス及び、行のシーケンスに沿って、個々に且つ連続してフィルタリングし、；各フィルタ動作を適用した後に、フィルタ動作を適用した結果をサブサンプリングし、；ＤＷＴ係数のブロックを発生した後に、ＤＷＴ係数を埋め込みゼロツリー符号化するために、ビットベースの条件符号化を適用する、ことにより発生される。これを、図２と共に以下に詳細にに説明する。
【０００８】
ここではＶで示されている、入力ビデオシーケンスは、時間位置にしたが実質的に配置されている異なるフレームを有する３−Ｄブロックとして扱われる。このシーケンスは、図２に示されているように、この特定の実施例では、図２でＰ１とＰ２で示されている、２つのパスへ送られる。ここではＰ１の、１つのパスに沿って、この実施例ではフィルタ関数ｇ（ｎ）の、時間軸に沿ったフィルタリングが与えられる。フィルタされたデータは、再び、この特定の実施例では、ここでは、２により、サブサンプルされる。このように、この実施例では、ブロックの１つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図２でＰ３とＰ４で示されている、２つのパスへ送られる。
【０００９】
ここではＰ３のような１つのパス又はサブパスに沿って、、再びフィルタ関数ｇ（ｎ）で、行に沿ってフィルタリングが適用される。フィルタされたデータは、再び、この特定の実施例では、ここでは、２により、サブサンプリングされる。ここで、マトリクス又はフレームの１つおきの列が保持される。この減少されたマトリクスは、図２でＰ５とＰ６で示されている、２つのパスへ送られる。
【００１０】
方向Ｐ５に沿って、ここでは、フィルタリングは、フィルタ関数ｇ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ１を発生する。
【００１１】
ここではＰ６の、他の方向に沿って、フィルタリングは、この特定の実施例では、フィルタ関数ｈ（ｎ）で列に沿って適用される。フィルタされたデータは、この特定の実施例では再び、２によりサブサンプルされる。マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ２を発生する。
【００１２】
ここではＰ４の、他のサブパスでは、フィルタリングは、フィルタ関数ｈ（ｎ）で行に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。マトリクスの１つおきの列が、保持される。この減少されたマトリクスは、図２でＰ７とＰ８で示されている、２つのパスへ再び分割される。
【００１３】
１つの方向Ｐ７に沿って、フィルタリングは、ここでは、フィルタ関数ｇ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。ここでは、
マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ３を発生する。
【００１４】
ここではＰ８の、他の方向に沿って、フィルタリングは、フィルタ関数ｈ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ４を発生する。
【００１５】
ここではＰ２の、他のパスで、この実施例ではフィルタ関数ｈ（ｎ）で、時間軸に沿ってフィルタリングが与えられる。フィルタされたデータは、この実施例では、２により、サブサンプルされる。ブロックの１つおきのフレームが、保持される。この減少されたブロックからのフレームは、再び、ここでは、図２でＰ９とＰ１０で示されている、２つのパスへ送られる。
【００１６】
１つのサブパスＰ９では、この実施例では、フィルタ関数ｇ（ｎ）で、行に沿ってフィルタリングが適用される。フィルタされたデータは、２により、サブサンプリングされる。そして、マトリクス又はフレームの１つおきの列が保持される。この減少されたマトリクスは、図２でＰ１１とＰ１２で示されている、２つのパスへ再び送られる。
【００１７】
ここではＰ１１の１つの方向で、フィルタリングは、ここではフィルタ関数ｇ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。そして、マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ５を発生する。
【００１８】
ここではＰ１２の、他の方向にでは、フィルタリングは、フィルタ関数ｈ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。そして、マトリクスの１つおきの行が、保持される。これは、詳細信号Ｄ６を発生する。
【００１９】
他のサブパスＰ１０では、フィルタリングは、ここではｈ（ｎ）を使用して、行に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。マトリクスの１つおきの列が、保持される。この減少されたマトリクスは、図２でＰ１３とＰ１４で示されている、２つのパスへ再び分割される。
【００２０】
ここではＰ１３の１つの方向沿では、フィルタリングは、フィルタ関数ｇ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。１つおきの行が、保持される。これは、詳細信号Ｄ７を発生する。
【００２１】
他の方向Ｐ１４では、フィルタリングは、この実施例では、フィルタ関数ｈ（ｎ）で列に沿って適用される。フィルタされたデータは、２によりサブサンプルされる。従って、マトリクスの１つおきの行が、保持される。これは、詳細信号Ｖ’を発生する。
【００２２】
このように、例えば、水平、垂直及び、対角、時間のような、エッジ情報の変化を提供する、７つの詳細なサブブロックが、抽出される。この実施例の、他の又は第８番目の、サブブロック又は構成要素は、この実施例ではｈ（ｎ）のような低域通過フィルタリングによる、低解像度での適用されたビデオシーケンスである。以下に更に詳細に説明するように、これらのブロックを発生するために圧縮を適用することは、例えば、それゆえに、３−Ｄ符号化を生じうる。
【００２３】
観測は、そのような３Ｄウェーブレット変換を適用することにより発生されたウェーブレット係数は、例えば、典型的には、低エネルギー内容であることがわかることを示す。例えば、多数のウェーブレット変換係数値は、ゼロ又は、小さな大きさの値である。標準的な方法は、典型的には、幾つかのパスでこれらのフレームを符号化し、そして、現在のしきい値と低値係数を比較する。これは、低圧縮比と符号化効率となる。このように、改善された結果は、低エネルギ内容係数と取り組む機構又は技術を適用することにより得られうる。
【００２４】
３Ｄウェーブレット変換の前述の実施例の特徴は、以下を含みうる。離散３Ｄ−ウェーブレット変換は、画像を、１つは、低周波数サブバンド（ＬＬＬ）及び、７つの高周波数サブバンド（ＬＬＨ，ＬＨＬ，ＬＨＨ  ＨＬＬ，ＨＬＨ，  ＨＨＬ，ＨＨＨ）の７つのサブバンドに分解する。ＬＬＬサブバンドは、元の画像の特徴を含み、そして、更に複数のレベルへ分解されうる。一例の応用では、図４に示されたように、例えば、分解は、４レベルまでのｑｃｉｆビデオに適用される（寸法１４４＊１７６＊ｘ、ここでｘはそれぞれサイズ１６又は３２である）。
【００２５】
例示の変換のレベルは、図４に番号付けされている。係数の走査パターンは、変換の埋め込み特性に影響を与えうる。係数は、この特定の実施例では、図４に示されたように、粗いレベルの係数の前に精密なレベルの係数が走査されないように、走査されうる。前述の同時に出願されている、米国特許出願番号０９／８６７，７８１（弁護士名簿番号０４２３９０．Ｐ１１７０６）で使用されているアプローチのような、ゼロツリー検索（ＺＴＳ）についての親子関係は、図４のように、以下で与えられる。もちろん、これは、一例であり、請求項の主題はこの特定のＺＴＲ又は走査アプローチに限定されない。また、この特定のアプローチでは、ＬＬＬバンドは、符号化シーケンスの一部ではない。例えば、無損失符号化法がその伝送に適用されうる。この実施例での、符号化のための開始しきい値は、１としてとられる。連続するパスでは、しきい値は、例えば２のような、１より大きい乗算係数により増加される。そのようなパスの合計数は、そのような実施例については、
【数１】
2005500718.tif 000003
により与えられ、ここでｍａｘは、符号化される係数の大きさの中の最大値を示す。前述の米国特許出願番号０９／８６７，７８１（弁護士名簿番号０４２３９０．Ｐ１１７０６）でのように、ビットベースの条件符号化機構が適用されるが、しかし、再び、請求項の主題はこれに関する範囲に限定されない。そのようなアプローチでは、しかしながら、真又は偽である特定の条件に従って、前述の出願に記載されているように、ビット１又は０が符号化される。
【００２６】
復号と再構成については、この実施例について、逆の手順が適用されうる。例えば、復号器は、係数マトリクスを再構成するために、符号化器により発生されたビットストリームの復号を開始する。そのような復号機構は、前述の米国特許出願番号０９／８６７，７８１（弁護士名簿番号０４２３９０．Ｐ１１７０６）で詳細に説明されるが、しかし再び、請求項の主題はこのアプローチの範囲に限定されない。一般的には、しかしながら、符号化に使用されているアプローチとシーケンスを復号するのに使用されるアプローチの間のある程度の対応又は関連は、典型的には、発生する。
【００２７】
再構成又は復号については、以下に示されそして図３に示された、技術又はアプローチが、適用されうる。例えば、１つの特定の実施例については、逆３次元離散ウェーブレット変換（３ＤＩＤＷＴ）を、複数の変換されたビデオ画像サブブロックに適用する方法は、サブブロックは変換されたフレームを含みそしてフレームは行と列を含み、以下を含みうる。変換されたビデオ画像サブブロックは、：行、列及びフレームごとに、個々のサブブロックをアップサンプリングし、；各それぞれの組みに対応するアップサンプルされたサブブロックを発生するために、アップサンプルされたサブブロックの１つ又はそれ以上の個々の組みをフィルタリングし且つ結合し、；１つのアップサンプルされたサブブロックが残るまで、発生されたアップサンプルされたサブブロックの組みに前を再適用し、；次のより高い解像度でブロックを発生するために、１つの残りのアップサンプルされたサブブロックを８により乗算する、ことにより逆変換される。
【００２８】
このアプローチを、以下のように、図３を参照して説明するが、請求項の主題はこの特定のアプローチの範囲に限定されない。詳細信号Ｄ１は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数ｇ（ｎ）で列に沿ってフィルタされる。詳細信号Ｄ２は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数ｈ（ｎ）で列に沿ってフィルタされる。Ｄ１とＤ２へ前述の処理を適用した結果の出力信号は、図３に示されたように加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、仮の信号Ｉ１を発生するために、フィルタ関数ｇ（ｎ）で行に沿ってフィルタされる。
【００２９】
詳細信号Ｄ３は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数ｇ（ｎ）で列に沿ってフィルタされる。詳細信号Ｄ４は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数ｈ（ｎ）で列に沿ってフィルタされる。Ｄ３とＤ４へ前述の処理を適用した結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数ｈ（ｎ）で行に沿ってフィルタされる。結果の出力信号は、仮の信号Ｉ１と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、仮の信号Ｉ２を発生するために、フィルタ関数ｇ（ｎ）でフレームに沿ってフィルタされる。
【００３０】
詳細信号Ｄ５は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数ｇ（ｎ）で列に沿ってフィルタされる。詳細信号Ｄ６は、アップサンプルされる。例えば、ゼロの行が、隣接する行の間に挿入される。このサブブロックは、そして、フィルタ関数ｈ（ｎ）で列に沿ってフィルタされる。Ｄ５とＤ６へ前述の処理を適用した結果の出力信号は、図３に示されたように、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、隣接する列の間に挿入される。このマトリクスは、そして、フィルタ関数ｇ（ｎ）で行に沿ってフィルタされる。このマトリクスは、そして、仮の信号Ｉ３を発生するために、フィルタ関数ｇ（ｎ）で行に沿ってフィルタされる。
【００３１】
詳細信号Ｄ７は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数ｇ（ｎ）で列に沿ってフィルタされる。詳細信号V’は、アップサンプルされる。例えば、ゼロの行が、行の間に挿入される。このサブブロックは、そして、フィルタ関数ｈ（ｎ）で列に沿ってフィルタされる。結果の出力信号は、加算される。結果のサブブロックは、アップサンプルされる。例えば、ゼロの列が、列の間に挿入される。このマトリクスは、そして、フィルタ関数ｈ（ｎ）で行に沿ってフィルタされる。結果の出力信号は、仮の信号Ｉ３と加算される。結果のサブブロックはアップサンプルされる。例えば、ゼロのフレームが、フレーム間に挿入される。このマトリクスは、そして、フィルタ関数ｈ（ｎ）でフレームに沿ってフィルタされる。結果の出力信号は、仮の信号Ｉ２と、加算される。結果のサブブロックは、次のレベルの解像度へのサブマトリクスを得るために、８により乗算される。
【００３２】
結果において、再構成のために、逆変換手順が適用されうる。例えば、この特定の実施例では、前述の特許出願で記載されているように、ビットベースの条件復号が適用されうる。詳細信号は、一旦有効になると、より高解像度での再構成された画像を得るために、低解像度画像と結合されうる。
【００３３】
前述の特定の実施例は、２つの一般的なビデオシーケンス：ミスアメリカ（中程度の動き）及び自動車シーケンス（高速の動き）に適用された。圧縮性能は、図５の表に示されている。このテーブルは、非常に大きな圧縮が、目に見える雑音の増加なしに達成されうることも示す。
【００３４】
請求項の主題は、記載されそして示された特定の実施例の範囲に制限されないが、しかし、これらの実施例は多くの潜在的な利点を提供する。適用される３Dウェーブレット変換技術は、空間と時間の冗長度を利用することにより、画像シーケンス内の冗長度を減少させることが示された。この特定の実施例では、計算的に複雑な動き推定／補償技術を使用していない。同様に、動き推定／補償ベースのＤＣＴ技術が適用されないので、再構成されたビデオは一般的には、より少ない視覚的な妨害又はブロック歪みを有する。多くの部分については、前に記載の符号化機構が、計算的に高速であり、そして、少ないビットを使用することにより３Ｄウェーブレット変換された係数を効率的に符号化する。これゆえに、それは、圧縮性能を改善する。更に、前述の実施例は、更に、例えば、初期パスを順次落とすことにより、更に修正される。更に、前述の同時に出願されている特許出願に開示されているように、ビット面処理を適用することにより、前述の技術に対して小修正で、並行する実行が使用されうる。同様にビット面符号化及び復号のアプローチは、ビデオ符号化器のそのような実施例を、順次符号化環境について適するようにする。
【００３５】
もちろん特定の実施例が記載されたが、請求項の主題は、特定の実施例又は実行への範囲に限定されないことは、理解されよう。例えば、一実施例は、集積回路チップで動作して実行されるような、ハードウェアであり、一方他の実施例はソフトウェアでもよい。同様に、実施例は、例えば、ファームウェア又は、ハードウェア、ソフトウェア又は、ファームウェアの組み合わせでも良い。同様に、請求項の主題はこれに関する範囲に限定されないが、一実施例は、記憶媒体のような物を含みうる。例えば、ＣＤ−ＲＯＭ又はディスクのような、そのような記憶媒体は、その上に記憶された命令を有し、これは、例えば、コンピュータシステム又はプラットフォーム又は、画像化又はビデオシステムのような、システムにより実行されたときに、前述のような例えば、ビデオ又は画像処理の方法の実施例ような、請求項の主題に従って方法の実施例が実行されることとなる。例えば、画像又はビデオ処理プラットフォーム又は他の処理システムは、ビデオ又は画像処理ユニット、ビデオ又は画像入力／出力装置及び／又はメモリを含みうる。
【００３６】
請求項の主題のある特定の特徴が説明されここで開示されたが、多くの修正、代替、変更及び、等価物は、当業者は思いつくであろう。従って、添付の請求項は、そのような修正及び変更を、請求項の主題の精神の範囲内であるようにカバーすると考えられることは、理解されよう。
【図面の簡単な説明】
【００３７】
【図１】そのサブブロックを有する1レベルの３Ｄウェーブレット変換の概略を示す図である。
【図２】３Ｄウェーブレット変換の符号化を実行する方法の一実施例の処理フローである。
【図３】３Ｄウェーブレット変換の復号を実行する方法の一実施例の処理フローである。
【図４】３Ｄウェーブレット変換についてのブロックとサブブロックの間の親子関係を示す概略図である。
【図５】３Ｄウェーブレット変換を符号化する方法の一実施例を適用する代表的な結果を示すテーブルである。
【図２】
2005500718.tif 000004
【図３】
2005500718.tif 000005
【図４】
2005500718.tif 000006
【図５】
2005500718.tif 000007
【国際公開パンフレット】
2005500718.tif 000008
2005500718.tif 000009
2005500718.tif 000010
2005500718.tif 000011
2005500718.tif 000012
2005500718.tif 000013
2005500718.tif 000014
2005500718.tif 000015
2005500718.tif 000016
2005500718.tif 000017
2005500718.tif 000018
2005500718.tif 000019
2005500718.tif 000020
2005500718.tif 000021
2005500718.tif 000022
2005500718.tif 000023
2005500718.tif 000024
2005500718.tif 000025
2005500718.tif 000026
2005500718.tif 000027
2005500718.tif 000028
2005500718.tif 000029
2005500718.tif 000030
2005500718.tif 000031
2005500718.tif 000032
2005500718.tif 000033
2005500718.tif 000034
2005500718.tif 000035
2005500718.tif 000036
2005500718.tif 000037
【国際公開パンフレット（コレクトバージョン）】
2005500718.tif 000038
【国際調査報告】
2005500718.tif 000039
2005500718.tif 000040
2005500718.tif 000041