(57)【要約】  オーバーコンプリート・ウェーブレット・ビデオ符号器内でビデオ信号をディジタル符号化するシステム及び方法を備える。３次元形態学演算を用いて、有意ウェーブレット係数のクラスタを識別する。ビデオ符号化アルゴリズム装置365が、空間及び時間にわたって有意ウェーブレット係数を見出す。ビデオ符号化アルゴリズム装置(365)は更に、動き情報を用いて、動きの方向において空間及び時間にわたって有意ウェーブレット係数を見出す。3次元構造化要素の長さは、下にあるビデオ・データの特性に応じて適応的に変え得る。本発明は、符号化効率を向上させ、復号化ビデオの品質を向上させる。
2007507925.tif 000002
【特許請求の範囲】
【請求項１】
オーバコンプリート・ウェーブレット・ビデオ符号器内でビデオ信号をディジタル符号化するディジタル・ビデオ送信器における装置であって、該装置は、空間及び時間にわたって、少なくとも１つの有意ウェーブレット係数クラスタにおいて有意ウェーブレット係数を見出すことができるビデオ符号化アルゴリズム装置を備えることを特徴とする装置。
【請求項２】
請求項1記載の装置であって、前記ビデオ符号化アルゴリズム装置は、3次元形態的有意性符号化手法を施して前記有意ウェーブレット係数を見出すことができることを特徴とする装置。
【請求項３】
請求項2記載の装置であって、前記ビデオ符号化アルゴリズム装置は、現行ビデオ・フレームにおいて見出される第１の有意ウェーブレット係数に対して3次元構造化要素をアラインし、
前記ビデオ符号化アルゴリズム装置は、前記３次元構造化要素内の更なる有意ウェーブレット係数をサーチすることを特徴とする装置。
【請求項４】
請求項3記載の装置であって、前記ビデオ符号化アルゴリズム装置は、前記現行ビデオ・フレームにおいて見出される前記第１の有意ウェーブレット係数に対して前記3次元構造化要素の第１の部分の中央に位置する部分をアラインし、
前記ビデオ符号化アルゴリズム装置は、前記現行フレーム後の後続フレームに対して前記3次元構造化要素の第２の部分をアラインし、
前記ビデオ符号化アルゴリズム装置は、前記現行フレーム前の先行フレームに対して前記３次元の構造化要素の第３の部分をアラインすることを特徴とする装置。
【請求項５】
請求項4記載の装置であって、前記ビデオ符号化アルゴリズム装置は、動き情報を用いて、前記後続フレームに対して前記3次元構造化要素の前記第２の部分をアラインし、動き情報を用いて、前記先行フレームに対して前記3次元構造化要素の前記第３の部分をアラインすることを特徴とする装置。
【請求項６】
請求項3記載の装置であって、前記3次元構造化要素は、第１の空間領域においてNxの長さを有し、第２の空間領域においてNyの長さを有し、時間領域においてNtの長さを有する矩形の形状を備え、
前記3次元構造化要素の長さNx、Ny及びNtの各々は、下にあるビデオ・データの特性に応じて適応的に変え得ることを特徴とする装置。
【請求項７】
請求項6記載の装置であって、前記3次元構造化要素を、４つ以上の複数部分に分割して複数参照フレームを用いることができるようにし得ることを特徴とする装置。
【請求項８】
請求項6記載の装置であって、前記3次元構造化要素は、単一方向動き推定ができるようにするよう時間領域において単一方向であることを特徴とする装置。
【請求項９】
請求項1記載の装置であって、前記ビデオ符号化アルゴリズム装置は、動きの方向において空間及び時間にわたって少なくとも１つの有意ウェーブレット係数クラスタにおいて有意ウェーブレット係数を見出すことができることを特徴とする装置。
【請求項１０】
ディジタル・ビデオ送信器においてオーバコンプリート・ウェーブレット・ビデオ符号器内でビデオ信号をディジタル符号化する方法であって、該方法は、
現行ビデオ・フレームにおいて第１の有意ウェーブレット係数を検出する工程と、
空間及び時間にわたって有意ウェーブレット係数クラスタにおいて更なる有意ウェーブレット係数を見出す工程とを備えることを特徴とする方法。
【請求項１１】
請求項10記載の方法であって、
3次元形態的有意性符号化手法を施して、前記有意ウェーブレット係数クラスタにおいて前記更なる有意ウェーブレット係数を見出す工程を更に備えることを特徴とする方法。
【請求項１２】
請求項11記載の方法であって、
前記現行ビデオ・フレームにおいて見出される前記第１の有意ウェーブレット係数に対して3次元構造化要素をアラインする工程と、
前記3次元構造化要素内の前記更なる有意ウェーブレット係数をサーチする工程とを更に備えることを特徴とする方法。
【請求項１３】
請求項12記載の方法であって、
前記現行ビデオ・フレームにおいて見出される前記第１の有意ウェーブレット係数に対して前記3次元構造化要素の第１の部分の中央に位置する部分をアラインする工程と、
前記現行フレーム後の後続フレームに対して前記３次元構造化要素の第２の部分をアラインする工程と、
前記現行フレーム前の先行フレームに対して前記3次元構造化要素の第３の部分をアラインする工程とを備えることを特徴とする方法。
【請求項１４】
請求項13記載の方法であって、
動き情報を用いて、前記後続フレームに対して前記3次元構造化要素の前記第２の部分をアラインする工程と、
動き情報を用いて、前記先行フレームに対して前記３次元構造化要素の前記第３の部分をアラインする工程とを備えることを特徴とする方法。
【請求項１５】
請求項12記載の方法であって、前記3次元構造化要素は、第１の空間領域においてNxの長さを有し、第２の空間領域においてNyの長さを有し、時間領域においてNtの長さを有する矩形の形状を備え、前記方法は、
下にあるビデオ・データに応じて前記3次元構造化要素の長さNx、Ny及びNtの各々を適応的に変える工程を更に備えることを特徴とする方法。
【請求項１６】
請求項15記載の方法であって、
前記3次元構造化要素を、４つ以上の複数部分に分割して、複数の参照フレームを用いることができるようにする工程を更に備えることを特徴とする方法。
【請求項１７】
請求項15記載の方法であって、前記3次元構造化要素は、単一方向動き補償ができるようにするよう時間領域において単一方向であることを特徴とする方法。
【請求項１８】
請求項10記載の方法であって、動きの方向において空間及び時間にわたって少なくとも１つの有意ウェーブレット係数クラスタにおける有意ウェーブレット係数を見出す工程を更に備えることを特徴とする方法。
【請求項１９】
ディジタル・ビデオ送信器においてオーバコンプリート・ウェーブレット・ビデオ符号器内でビデオ信号をディジタル符号化する方法によって生成されるディジタル符号化ビデオ信号であって、前記方法は、
現行ビデオ・フレームにおいて第１の有意ウェーブレット係数を検出する工程と、
空間及び時間にわたって有意ウェーブレット係数のクラスタにおいて更なる有意ウェーブレット係数を見出す工程とを備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２０】
請求項19記載のディジタル符号化ビデオ信号であって、前記方法は、
3次元形態的有意性符号化手法を施して、前記有意ウェーブレット係数クラスタにおいて前記更なる有意ウェーブレット係数を見出す工程を更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２１】
請求項20記載のディジタル符号化ビデオ信号であって、前記方法は、
前記現行ビデオ・フレームにおいて見出される前記第１の有意ウェーブレット係数に対して3次元構造化要素をアラインする工程と、
前記3次元構造化要素内の前記更なる有意ウェーブレット係数をサーチする工程とを更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２２】
請求項21記載のディジタル符号化ビデオ信号であって、前記方法は、
前記現行ビデオ・フレームにおいて見出される前記第１の有意ウェーブレット係数に対して前記3次元構造化要素の第１の部分の中央に位置する部分をアラインする工程と、
前記現行フレーム後の後続フレームに対して前記３次元構造化要素の第２の部分をアラインする工程と、
前記現行フレーム前の先行フレームに対して前記3次元構造化要素の第３の部分をアラインする工程とを更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２３】
請求項22記載のディジタル符号化ビデオ信号であって、前記方法は、
動き情報を用いて、前記後続フレームに対して前記3次元構造化要素の前記第２の部分をアラインする工程と、
動き情報を用いて、前記先行フレームに対して前記３次元構造化要素の前記第３の部分をアラインする工程とを更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２４】
請求項21記載のディジタル符号化ビデオ信号であって、前記3次元構造化要素は、第１の空間領域においてNxの長さを有し、第２の空間領域においてNyの長さを有し、時間領域においてNtの長さを有する矩形の形状を備え、前記方法は、
下にあるビデオ・データに応じて前記3次元構造化要素の長さNx、Ny及びNtの各々を適応的に変える工程を更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２５】
請求項22記載のディジタル符号化ビデオ信号であって、前記方法は、
前記3次元構造化要素を、４つ以上の複数部分に分割して、複数の参照フレームを用いることができるようにする工程を更に備えることを特徴とするディジタル符号化ビデオ信号。
【請求項２６】
請求項22記載のディジタル符号化ビデオ信号であって、前記3次元構造化要素は、単一方向動き推定ができるようにするよう時間領域において単一方向であることを特徴とするディジタル符号化ビデオ信号。
【請求項２７】
請求項19記載のディジタル符号化ビデオ信号であって、前記方法は、動きの方向において空間及び時間にわたって少なくとも１つの有意ウェーブレット係数クラスタにおける有意ウェーブレット係数を見出す工程を更に備えることを特徴とするディジタル符号化ビデオ信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にディジタル信号伝送システムに関し、特に、3次元(3D)形態的有意符号化手法を用いて、オーバコンプリート・ウェーブレット・ビデオ符号化フレームワーク内で空間及び時間にわたって有意係数のクラスタを伸張させるシステム及び方法に関する。
【背景技術】
【０００２】
ディジタル・ビデオ通信では、オーバコンプリート・ウェーブレット・ビデオ符号化は、非常に柔軟でかつ効率的なビデオ伝送用フレームワークを備える。オーバコンプリート・ウェーブレット・ビデオ符号化は、先行して存在するフレーム間ウェーブレット符号化手法の一般化とみなし得る。オーバコンプリート・ウェーブレット領域における空間分解後に動き補償時間フィルタリングをサブバンド単位で別個に行うことによって、ウェーブレット変換のシフトの偏差の課題を解決することができる。
【０００３】
形態的有意性マップ符号化は、有意なウェーブレット係数が形態的演算を用いてお互いにクラスタ化される画像符号化に導入されている。2次元(2D)形態的演算を用いて、有意ウェーブレット係数をクラスタ化し、別々の空間スケールにわたって有意性を予測している。形態的演算は、エッジのような重要な特徴を保つうえでよりロバストであることが明らかになった。
【０００４】
以前は、形態的有意性符号化のビデオへの既存の応用は、別々のフレームを別個の画像又は別個の残差フレームとみなしている。よって、従来技術の手法は、フレーム間の依存関係を効率的に活用するものでない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
よって、形態的有意性演算をビデオ符号化に施して符号化効率を向上させることができるシステム及び方法に対する必要性が当該技術分野において存在する。形態的有意性演算をビデオ符号化に施して、ウェーブレット・ベースのビデオ符号化手法の復号化ビデオの品質を向上させることができるシステム及び方法に対する当該技術分野における必要性も存在する。
【課題を解決するための手段】
【０００６】
上記従来技術の欠点を解決するために、本発明のシステム及び方法は、3次元(3D)形態的有意性符号化手法をビデオ符号化に施す。本発明のシステム及び方法は、空間及び時間にわたって有意ウェーブレット係数のクラスタを伸張させることができる。
【０００７】
本発明のシステム及び方法は、ビデオ送信器のビデオ符号器内に配置されたビデオ符号化アルゴリズム装置を備える。ビデオ符号化アルゴリズム装置は、空間及び時間にわたって有意ウェーブレット係数の少なくとも１つのクラスタにおいて有意ウェーブレット係数を見出すことができる。本発明のビデオ符号化アルゴリズム装置は、ビデオ符号化アルゴリズムが最初の有意ウェーブレット係数を現行フレームにおいて見つけるまでサブバンドをサーチする。ビデオ符号化アルゴリズム装置は更に、3次元（３Ｄ）形態学有意性符号化手法を用いて、別の有意ウェーブレット係数を有意ウェーブレット係数のクラスタにおいて見出す。
【０００８】
本発明のビデオ符号化アルゴリズム装置は、現行ビデオ・フレームにおいて見出された最初の有意ウェーブレット係数に対して３次元構造化要素をアラインし、３次元構造化要素内の別の有意ウェーブレット係数をサーチする。
【０００９】
本発明の１つの効果的な実施例では、ビデオ符号化アルゴリズム装置は、(1)現行ビデオ・フレームに見出された最初の有意ウェーブレット係数に対して、3次元構造化要素の第１の部分の中央に位置する一部分をアラインし、(2)現行フレームに後続するフレームに対して、3次元構造化要素の第２の部分をアラインし、(3)現行フレームの前の先行フレームに対して、3次元構造化要素の第３の部分をアラインする。ビデオ符号化アルゴリズム装置は、3次元構造化要素の３つの部分の各々内の更なる有意ウェーブレット係数をサーチする。
【００１０】
本発明のシステム及び方法の別の効果的な実施例では、ビデオ符号化アルゴリズム装置は、現行フレームから後続フレームへの動きベクトルを用いて、現行フレーム後の後続フレームに対して、3次元構造化要素の第２の部分をアラインする。ビデオ符号化アルゴリズム装置は更に、現行フレームから先行フレームへの動きベクトルを用いて、現行フレームの前の先行フレームに対して、3次元構造化要素の第３の部分をアラインする。
【００１１】
本発明のシステムの更に別の効果的な実施例では、ビデオ符号化アルゴリズム装置は、3次元構造化要素のサイズを適応的に変更して、下にあるビデオ・データの特性を利用することができる。
【００１２】
本発明の目的は、3次元(3D)形態的有意性符号化手法をビデオ符号化に用いるシステム及び方法を備えるというものである。
【００１３】
本発明の別の目的には、空間及び時間にわたって有意ウェーブレット係数のクラスタを見出すよう、オーバコンプリート・ウェーブレット・ビデオ符号化フレームワーク内でビデオ信号をディジタル符号化する、ディジタル・ビデオ送信器におけるシステム及び方法を備えるというものもある。
【００１４】
本発明の目的には、動きの方向における空間及び時間にわたって、有意ウェーブレット係数のクラスタを見出すよう、オーバコンプリート・ウェーブレット・ビデオ符号化フレームワーク内でビデオ信号をディジタル符号化する、ディジタル・ビデオ送信器におけるシステム及び方法を備えるというものもある。
【００１５】
本発明の別の目的には、3次元(3D)形態的構造化要素を備えるというものもある。
【００１６】
本発明の目的には、3次元(3D)形態的構造化要素のサイズを適応的に変更して、下にあるビデオ・データの特性を利用するシステム及び方法を備えるというものもある。
【発明を実施するための最良の形態】
【００１７】
上記では、以下の本発明の詳細な説明を当業者がよりよく分かり得るように本発明の特徴及び技術的効果を幾分広く概説している。本発明の請求項の対象を形成する、本発明の更なる特徴及び効果は、以下に説明することとする。
【００１８】
本発明のまさにその目的を実施する他の構造を修正又は企図する基礎として開示されている着想及び特定の実施例を容易に用い得るということを当業者は分かるものである。そうした均等な構成が、最も広い形態での本発明の技術思想及び範囲から逸脱するものでないということも当業者は分かるものである。
【００１９】
本発明の詳細な説明を始める前に、本明細書及び特許請求の範囲を通して用いる特定の語句の定義を表すことが効果的であり得る。「include」及び「comprise」の語とその派生形は、限定なしでの包含を表す。「or」の語は含めるという意味であり、及び/又は、を表す。「associated  with」及び「associated  therewith」の句とその派生形は、有する、中に有する、〜と相互接続する、〜と接続する、〜と結合する、〜と通信可能である、〜と協働する、インタリーブする、併置する、〜の近くにある、〜に結びつけられる、〜の特性を有する等を表し、「controller」、「processor」又は「apparatus」の語は、少なくとも1つの動作を制御する何れかの装置、システム又はその一部を表し、そうした装置は、ハードウェア、ファームウェア若しくはソフトウェア、又はそうしたもののうちの少なくとも２つの何れかの組み合わせで実施し得る。なお、何れかの特定のコントローラに関連した機能は、局所にあっても遠隔にあっても、集中していても分散していてもよい。特に、コントローラは、1つ又は複数のアプリケーション・プログラム及び/又はオペレーティング・システム・プログラムを実行する、1つ又は複数のデータ・プロセッサ及び、関連した入出力装置及びメモリを備え得る。特定の語句の定義は、本明細書を通して備える。そうした定義が、大半の場合においてでなくても多くの場合において、そのように定義された語句の、従来の用法及び将来の用法にあてはまるということを当業者は分かるものである。
【００２０】
本発明とその効果が更に徹底的に分かるように、以下の記載を添付図面とともに参照する。添付図面では同じ番号は同じ対象を表す。
【００２１】
以下に記載する図１乃至図１０と、本明細書において本発明の原理を表すのに用いている種々の実施例は、例証の目的のものに過ぎず、如何なるかたちによっても、本発明の範囲を限定するものとして解するものでない。本発明は、何れかのディジタル・ビデオ信号符号器又はディジタル・ビデオ信号トランスコーダにおいて用い得る。
【実施例】
【００２２】
図１は、本発明の効果的な実施例による、ストリーミング・ビデオ送信器110からデータ・ネットワーク120を介したストリーミング・ビデオ受信器130へのストリーミング・ビデオのエンドツーエンド伝送を示す構成図である。アプリケーションに応じて、ストリーミング・ビデオ送信器110は、データ・ネットワーク・サーバ、テレビジョン・ステーション、ケーブル・ネットワーク、デスクトップ型パソコン(PC)等を含む広範囲にわたる各種ビデオ・フレーム源のうちの何れか１つであり得る。
【００２３】
ストリーミング・ビデオ送信器110は、ビデオ・フレーム源112、ビデオ符号器114及び符号器バッファ116を備える。ビデオ・フレーム源112は、テレビジョンのアンテナ及び受信器の装置、ビデオ・カセット・プレイヤ、ビデオ・カメラ、「生」ビデオ・クリップを記憶することができるディスク記憶装置等を含む、非圧縮ビデオ・フレーム系列を生成することができる何れかの装置であり得る。非圧縮ビデオ・フレームは、ビデオ符号器114に特定のピクチャ・レート（又は「ストリーミング・レート」）で入力され、MPEG-4符号器などの何れかの公知の圧縮アルゴリズム又は圧縮装置によって圧縮される。ビデオ符号器114は更に、データ・ネットワーク120の両端間で伝送することに備えてバッファリングするよう、圧縮ビデオ・フレームを符号器バッファ116に伝送する。データ・ネットワーク120は、何れかの適切なIPネットワークであり得るものであり、インターネットなどのパブリック・データ・ネットワークと、企業が保有するローカル・エリア・ネットワーク（LAN）又はワイド・エリア・ネットワーク（WAN）などのプライベート・データ・ネットワークとの一部分を有し得る。
【００２４】
ストリーミング・ビデオ受信器130は、復号器バッファ132、ビデオ復号器134及びビデオ・ディスプレイ136を備える。復号器バッファ132はデータ・ネットワーク120からのストリーミング圧縮ビデオ・フレームを受信し、記憶する。復号器バッファ132は更に、必要に応じて、圧縮ビデオ・フレームをビデオ復号器134に伝送する。ビデオ復号器134は、ビデオ・フレームがビデオ符号器114によって圧縮されたレートと（理想的には）同じレートでビデオ・フレームを復元する。ビデオ復号器134は、ビデオ・ディスプレイ136の画面上で再生するよう、復元フレームをビデオ・ディスプレイ136に送る。
【００２５】
図2は、本発明の効果的な実施例による例示的なビデオ符号器114を示す構成図である。例示的なビデオ符号器114は、ソース符号器200及び伝送符号器230を備える。ソース符号器200は、波形符号器210及びエントロピ符号器220を備える。ビデオ信号は、（図1に示す）ビデオ・フレーム源112からビデオ符号器114のソース符号器200に供給される。ビデオ信号は波形符号器210に入力され、波形符号器では、ビデオ信号は、以下に更に十分に説明するように、本発明の原理によって処理される。
【００２６】
波形符号器210は、変換変数を用いて元のビデオを表し、量子化を施すことによってビットレートを削減する非可逆的な装置である。波形符号器210は、離散コサイン変換(DCT)又はウェーブレット変換を用いて変換符号化を行い得る。波形符号器210からの符号化ビデオ信号は更に、エントロピ符号器220に送られる。
【００２７】
エントロピ符号器220は、符号化する対象のシンボルの統計的分布によって、波形符号器210からの出力シンボルを2値符号語にマッピングする可逆的な装置である。エントロピ符号化手法の例として、ハフマン符号化と、算術符号化と、DCT及び動き補償予測を用いるハイブリッド符号化手法がある。エントロピ符号器220からの符号化ビデオ信号は更に、伝送符号器230に送られる。
【００２８】
伝送符号器230は、チャネル符号化と、パケット化及び/又は変調と、特定の伝送プロトコルを用いた伝送レベル制御とを行う装置群を表す。伝送符号器230は、ソース符号器200からのビットストリームを、伝送にふさわしいデータ装置に変換する。伝送符号器230から出力されるビデオ信号は、データ・ネットワーク120を介してビデオ受信器130に最終的に伝送するよう、符号器バッファ116に送られる。
【００２９】
図3は、本発明の効果的な実施例による例示的なオーバコンプリート・ウェーブレット符号器210を示す構成図である。オーバコンプリート・ウェーブレット符号器210は、現行フレーム320のウェーブレット変換を生成する離散ウェーブレット変換装置310と、コンプリート・ツー・オーバコンプリート離散ウェーブレット変換装置330とを備える分岐を備える。コンプリート・ツー・オーバコンプリート離散ウェーブレット変換装置330の第１の出力は動き推定装置340に供給される。コンプリート・ツー・オーバコンプリート離散ウェーブレット変換装置330の第２の出力は、時間フィルタリング装置350に供給される。動き推定装置340及び時間フィルタリング装置350は併せて、動き補償時間フィルタリング(MCTF)を備える。動き推定装置340は、動きベクトル（及びフレーム参照番号）を時間フィルタリング装置350に供給する。
【００３０】
動き推定装置340は、動きベクトル（及びフレーム参照番号）を動きベクトル符号器装置370を備えるものでもある。動きベクトル符号器装置370の出力は伝送装置390に供給される。時間フィルタリング装置350の出力は、サブバンド符号器360に供給される。サブバンド符号器360は、ビデオ符号化アルゴリズム装置365を備える。ビデオ符号化アルゴリズム装置365は、本発明のビデオ符号化アルゴリズムを処理する例示的な構造を備える。サブバンド符号器360の出力は、エントロピ符号器380に供給される。エントロピ符号器380の出力は、伝送装置390に供給される。オーバコンプリート・ウェーブレット符号器210の他の種々の構成要素の構造及び動作は、当該技術分野において周知である。
【００３１】
本発明のビデオ符号化アルゴリズムの動作をより良く理解するために、先行技術による2次元(2D)ビデオ符号化アルゴリズムの説明をまず記載することとする。図4は、有意ウェーブレット係数のクラスタを見出すための2次元(2D)形態的有意性マップの単純な数値例を示す。
【００３２】
従来技術による2次元(2D)処理では、符号器は、ウェーブレット係数（すなわち、非ゼロのウェーブレット係数）を見出すまでラスタ・スキャン順序においてサブバンドを走査する。符号器は、第１の有意ウェーブレット係数を取り囲む特定の領域内の他の有意ウェーブレット係数を更に探す。図4に示す例では、特定の領域は、第１の有意ウェーブレット係数を中心とした3x3の正方形を備える構造化要素内に見出される、最も近くにある8個の近傍ウェーブレット係数を備える。
【００３３】
近傍係数は、ゼロである（すなわち、有意でない）場合、無視される。近傍係数が非ゼロである（すなわち、有意である）場合、処理は、見出される新たな値各々に再帰的に施される。クラスタにおける有意係数全てが、再帰的に施される処理を用いて見出された場合、サブバンド全てが走査されるまで、有意でない係数のラスタ・スキャンが再開する。この処理は、時には、形態的伸張として表す。形態的伸張処理は、サブバンドにおける有意係数のクラスタ全てを捕捉することができる。
【００３４】
図4A乃至図4Gは、2次元(2D)形態的伸張処理の動作の例を備える。図4Aに示すブロックにおける係数群を符号化するものとする。ブロックは、5x8の係数ブロックにおいて、6個の有意係数と、３４個の有意でない（すなわち、ゼロの）係数とを備える。3x3のブロックの構造化要素は、値が40である係数のある場所に配置される。図4Bは、構造化要素内に配置された有意係数が、25と、−20と、10との値を有するということを示す。図4Bの下の係数の行は、40の係数を中心とする構造化要素内に見出される係数を示す。こうした係数は、処理の第１の工程で得られる係数として伝送される。
【００３５】
構造化要素は、係数25を中心とするように更に移動させる。この位置は、図4Cに示す。まだ記録されていない新たな有意係数で唯一のものは、−５の値を有する。−5の値を備える係数と、4個の新たなゼロ係数は、図４Cの下の係数行に示す。こうした係数は、処理の第２の工程で得られる係数として伝送される。係数の隣にある小さな黒点は、既に伝送されており、かつ、よって、再伝送しなくてよい係数を示すのに用いている。
【００３６】
構造化要素は、係数-5を中心とするように更に移動させる。この位置は、図4Dに示す。図4D乃至図4Gは、群における各有意係数を中心とする伸張演算子を施すことによって当該処理が係数クラスタ領域を伸張させ続ける方法を示す。伸張処理は、図4Gに示すように、当該処理が走査を完了した時点までにブロックにおける有意係数全てを検出している。
【００３７】
2次元(2D)形態的有意性符号化は、従来、ビデオに施されている。一例は、「Significance-Linked  Connected  Component  Analysis  for  Very  Low  Bit-Rate  Wavelet  Video  Coding,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Volume  9,  Pages  630-647,  June  1999」と題する、J.Vass他による論文において表され、説明されている。Vassのシステムはまず、時間フィルタを施し、更に、2次元(2D)形態的有意性符号化を用いることによって時間フィルタ化フレームをクラスタ化する。Vassのシステムは、別々のビデオ・フレームを別個の画像又は別個の残差フレームとみなす。Vassのシステムは、フレーム間依存関係を効率的に活用するものでない。
【００３８】
先行技術による他のシステムも同様な形態的有意性符号化手法を施している。例えば、「Image  Coding  Based  on  a  Morphological  Representation  of  Wavelet  Data,IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  Volume  8,  Pages  1161-1174,  September  1999」と題する、S.  D.  Servetto他による論文参照。
【００３９】
従来技術と対照的に、本発明は、3次元(3D)形態的有意性符号化手法を活用することができる。更に十分に説明するように、本発明のシステム及び方法は、空間及び時間にわたって、有意ウェーブレット係数のクラスタを伸張させることができる。本発明のビデオ符号化アルゴリズムは、(1)符号化効率を向上させ、(2)ウェーブレット・ベースのビデオ符号化手法の復号化ビデオ品質を向上させる。
【００４０】
図5は、本発明の原理による例示的な3次元(3D)構造化要素500の効果的な実施例を示す。構造化要素500は、立方体の各面上の３つのブロックに分割される3次元（３D）立方体を表す。各ブロックは単一の画素に相当する。そうした（すなわち、３つの立方体の）ブロックは構造化要素500内に27個存在する。図5に示すように、構造化要素500は、「x」方向（空間方向）と、「y」方向（空間方向）と、「t」方向（時間方向）とに延びる。(x,y,t)座標系の向きも図5に示す。
【００４１】
構造化要素500を処理すると、構造化要素500内の、（図5に示していない）中央に位置するブロックは、第１の有意ウェーブレット係数上に位置する。このことは、考察しなければならない近傍位置が26個、中央に位置するブロックの周りに存在することになるということを意味する。
【００４２】
図6は、3次元(3D)構造化要素500を用いて、空間及び時間にわたって有意ウェーブレット係数のクラスタを伸張させ得る方法の、１つの効果的な実施例を示す。（図6中で濃い色の小さな球体によって識別される、）中央に位置するブロックは、現行フレーム600における第１の有意ウェーブレット係数上に位置する。現行フレーム600もフレームNとして表す。フレーム600内の中央に位置するブロックを取り囲む、フレーム600における近傍ブロックは8個存在する。フレーム600における、中央に位置するブロック及び８つの近傍ブロックは、構造化要素500の第１の部分を備える。
【００４３】
後続フレーム610では、フレーム600内の中央に位置するブロックからアクセスし得る近傍ブロックが9個存在する。後続フレーム610は、フレームN+1としても表す。後続フレーム610内の9個の近傍ブロックは、構造化要素500の第２の部分を構成する。同様に、先行フレーム620では、フレーム600内の中心に位置するブロックからアクセスし得る近傍ブロックが９個存在する。先行フレーム620もフレームＮ−1として表す。先行フレーム620内の9個の近接ブロックは、構造化要素500の第３の部分を構成する。
【００４４】
本発明のビデオ符号化アルゴリズムは、3次元(3D)形態的有意性符号化手法を活用して、第１の有意ウェーブレット係数の周りの他の有意ウェーブレット係数を見出し、クラスタ化する。特に、アルゴリズムは、中央に位置するブロックの周りで、８つの近傍ブロックを現行フレーム600内でサーチし、９つの近傍ブロックを後続ブロック610内でサーチし、９つの近傍ブロックを先行フレーム620内でサーチする。アルゴリズムは、それによって、空間及び時間にわたって有意ウェーブレット係数のクラスタを伸張させることができる。前述の構造化要素500を用いることは、形態的有意性符号化手法を第３の次元（すなわち、時間次元）に直接拡張することを表す。
【００４５】
図5及び図6を参照しながら説明する直接拡張手法は、動き情報を利用することによって拡充させ得る。フレーム間で動きが存在するということと、動き推定処理中に動きが識別されるということは公知である。直接拡張手法の効率は、構造化要素を修正して動き情報を考慮することによって向上させ得る。
【００４６】
図7は、3次元(3D)構造化要素500を用いて、動きの方向において空間及び時間にわたって、有意ウェーブレット係数のクラスタを伸張させ得る方法を示す、本発明の、１つの効果的な実施例を示す。構造化要素500は３つの部分に分割される。構造化要素500の第１の部分は、現行フレーム600内の構造化要素500の中央部分を備える。第１の部分は参照数字700によって表す。（図7中で濃い色の小さな球体によって識別される）中央に位置するブロックは、現行フレーム600内の第１の有意ウェーブレット係数上に位置する。現行フレーム600は、フレームNとしても表す。フレーム600内の中央に位置するブロックを取り囲む、フレーム600内の近傍ブロックは8個存在する。中央に位置するブロックと、８つの近傍ブロックは、第１の部分700を構成する。
【００４７】
構造化要素500の第２の部分は、後続フレーム610内の構造化要素500の3ブロックx3ブロックの、分離した部分を備える。第２の部分は参照番号710によって表す。第２の部分710では、第１の部分700内の中央に位置するブロックからアクセスし得る近傍ブロックが９個存在する。第２の部分710の第１の部分700からの変位は、動きベクトル730によって測定される。すなわち、現行フレーム600と後続フレーム610との間の動きベクトル730の大きさ及び方向を用いて、第１の部分700に対して第２の部分710を位置特定する。形態的有意性符号化は、動き補償位置での第２の部分710で行われる。
【００４８】
同様に、構造化要素500の第３の部分は、先行フレーム620内の構造化要素500の3x3ブロックの、分離した部分を備える。第３の部分は参照番号720によって表す。第３の部分720では、第１の部分700内の中央に位置するブロックからアクセスし得る近傍ブロックが９個存在する。第３の部分720の第１の部分700からの変位は、動きベクトル740によって測定される。すなわち、現行フレーム600と先行フレーム620との間の動きベクトル740の大きさ及び方向を用いて、第１の部分700に対して第３の部分720を位置特定する。形態的有意性符号化は、動き補償位置での第３の部分720内で行われる。
【００４９】
動きベクトル(730,740)がゼロに等しい場合、図7に示す動きベクトル手法は、図5及び図6に示す直接拡張手法に変わる。
【００５０】
動きの方向において空間及び時間にわたってウェーブレット係数クラスタを伸張させるということの効果は、形態的有意性マップを非常に効率的に表すという点である。このことによって、符号化性能が対応して向上する。データは更に、標準的なエントロピ符号化手法を用いて後に符号化し得る。この処理は、埋め込み符号化の場合、ビットプレーン単位で繰り返し得る。
【００５１】
上記本発明の効果的な実施例では、構造化要素500は、全てが一様のサイズの、3ブロックx3ブロックx3ブロックの固定のサイズを有している。本発明の別の実施例では、構造化要素のサイズを、3次元全てにおいて適応的に変更して、下にあるデータの特性を利用することができる。一般的に、構造化要素のサイズは、第１の空間方向（「x」）においてNxの長さを有し、第２の空間方向（「ｙ」）においてNyの長さを有し、時間方向においてNtの長さを有する矩形体積として規定し得る。３つの値（すなわち、NxとNyとNt）は、下にあるデータの特性に応じて適応的に変え得る。
【００５２】
構造化要素の時間サイズが動き情報に基づいている場合を考える。まず、下にある動きがわずかである場合、Ntの値を増加させ得る。下にある動きは、(1)x方向における動きベクトルの絶対値が2以下であり、かつ、(2)y方向における動きベクトルの絶対値が2以下である場合、わずかであるとみなし得る。
【００５３】
第２に、下にある動きが非常に規則正しい場合、Ntの値を増加させ得る。下にある動きは、(1)x方向における動きベクトルの分散が閾値T以下であり、かつ、(2)y方向における動きベクトルの分散が閾値T以下である場合、非常に規則正しいものとみなし得る。閾値Tは、ビデオ系列の特性に基づいて選び得る。
【００５４】
第3に、図7に示す例では、構造化要素(700,710,720)は、時間的に双方向である。しかし、単一方向動き推定を行う場合、構造化要素も単一方向（すなわち、非対称）でなければならない。
【００５５】
第4に、図7に示す例では、構造化要素(700,710,720)には、3つの部分がある。しかし、複数の参照フレームを用いる場合、構造化要素も修正して複数の参照フレームを用いることができるようにしなければならない。例えば、一実施例において５つのフレームが用いられる場合、５つのフレームは、N-2、N-1、N、N+1及びN+2として表すことになる。１つの現行フレームNと、２つの先行フレームN-2及びN-1と、２つの後続フレームN+1及びN+2が存在することになる。
【００５６】
次に、構造化要素の空間サイズを、データの空間特性に基づいて適合させる場合を考える。まず、下にあるデータが、長い水平方向のクラスタを備える場合、Nxのサイズを増加させ得る一方、Nyのサイズを減少させ得る。第２に、下にあるデータが、長い垂直方向のクラスタを備える場合、Nyのサイズを増加させ得る一方、Nxのサイズを減少させ得る。
【００５７】
第３に、対象のサブバンドが、粗いスケールに相当する場合、Nx及びNyは小さい値を用いなければならない。第４に、対象のサブバンドが、細かいスケールに相当する場合、Nx及びNyは大きい値を用いなければならない。
【００５８】
図8は、本発明の効果的な実施例の第1の方法の工程を示す流れ図を示す。工程は併せて参照数字800によって表す。方法の第１の工程では、本発明のビデオ符号化アルゴリズムは、第１の有意ウェーブレット係数が現行フレームにおいて見出されるまでラスタ・スキャン順序でサブバンドを走査する（工程810）。更に、ビデオ符号化アルゴリズムは、3次元(3D)構造化要素500の中央ブロックを第１の有意ウェーブレット係数に対してアラインする（工程820）。アルゴリズムは更に、現行フレーム内の構造化要素500の第１の部分の近傍ブロックにおける更なる有意ウェーブレット係数をサーチする（工程830）。
【００５９】
アルゴリズムは更に、後続フレーム内の構造化要素500の第２の部分の近傍ブロックにおける更なる有意ウェーブレット係数をサーチする（工程840）。アルゴリズムは更に、先行フレーム内の構造化要素500の第３の部分の近傍ブロックにおける更なる有意ウェーブレット係数をサーチする（工程850）。アルゴリズムは更に、近傍ブロック全てにおいて見出された有意ウェーブレット係数全てを識別する（工程860）。
【００６０】
アルゴリズムは更に、識別された有意ウェーブレット係数各々に対して構造化要素500を順次再アラインし、クラスタ内の有意ウェーブレット係数全てが見出されるまで有意ウェーブレット係数各々のサーチ処理を繰り返す（工程870）。
【００６１】
図9は、本発明の効果的な実施例の第２の方法の工程を示す流れ図を示す。工程は併せて参照数字900によって表す。方法の第１の工程では、本発明のビデオ符号化アルゴリズムは、第１の有意ウェーブレット係数が現行フレームにおいて見出されるまでラスタ・スキャン順序でサブバンドを走査する（工程910）。更に、ビデオ符号化アルゴリズムは、3次元(3D)構造化要素500の第１の部分の中央ブロックを、現行フレーム内の第１の有意ウェーブレット係数に対してアラインし、更なる有意ウェーブレット係数について第１の部分における近傍ブロックのサーチを行う（工程920）。
【００６２】
アルゴリズムは更に、現行フレームから後続フレームへの動きベクトルを用いて後続フレーム内の3次元(3D)構造化要素500の第２の部分をアラインし、更なる有意ウェーブレット係数について第２の部分における近傍ブロックのサーチを行う（工程930）。
【００６３】
アルゴリズムは更に、現行フレームから先行フレームへの動きベクトルを用いて先行フレーム内の3次元(3D)構造化要素500の第３の部分をアラインし、更なる有意ウェーブレット係数について第３の部分における近傍ブロックのサーチを行う（工程940）。
【００６４】
アルゴリズムは更に、近傍ブロック全てにおいて見出された有意ウェーブレット係数全てを識別する（工程950）。
【００６５】
アルゴリズムは、識別された有意ウェーブレット係数各々に対して構造化要素500を順次再アラインし、クラスタ内の有意ウェーブレット係数全てが見出されるまで（動きベクトルを用いた構造化要素500の第2の部分及び第３の部分のアラインを含む、）有意ウェーブレット係数各々のサーチ処理を繰り返す（工程960）。
【００６６】
図10は、本発明の原理を実施するのに用い得るシステム1000の例示的な実施例を示す。システム1000は、テレビ受信機、セットトップ・ボックス、デスクトップ型、ラップトップ型又はパームトップ型のコンピュータ、携帯情報端末（PDA）、ビデオ・カセット・レコーダ（VCR）、ディジタル・ビデオ・レコーダ（DVR）、TiVO装置等などのビデオ/画像記憶装置や、こうした装置や他の装置の一部分又は組み合わせを表し得る。システム1000は、1つ又は複数のビデオ/画像源1010、1つ又は複数の入出力装置1060、プロセッサ1020及びメモリ1630を含む。ビデオ/画像源1010は、例えば、テレビジョン受信器、VCRや他のビデオ/画像記憶装置を表し得る。あるいは、ビデオ/画像源1010は、1つ又は複数のサーバからビデオを、例えば、インターネットなどのグローバル・コンピュータ通信ネットワーク、ワイド・エリア・ネットワーク、地上放送システム、ケーブル・ネットワーク、衛星ネットワーク、無線ネットワークや、電話ネットワークや、こうした種類や他の種類のネットワークの一部分又は組み合わせを介して受信する１つ又は複数のネットワーク接続を表し得る。
【００６７】
入出力装置1060、プロセッサ1020及びメモリ1030は、通信媒体1050を介して通信し得る。通信媒体1050は、例えば、バス、通信ネットワーク、1つ又は複数の、回路の内部接続、回路カード又は他のデバイスや、こうした通信媒体や他の通信媒体の一部分及び組み合わせを表し得る。ソース1010からの入力ビデオ・データを、メモリ1030に記憶され、プロセッサ1020によって実行される1つ又は複数のソフトウェア・プログラムによって処理して、表示装置1040に供給される出力ビデオ/画像を生成する。
【００６８】
好ましい実施例では、本発明の原理を用いる符号化及び復号化は、システムによって実行されるコンピュータ判読可能コードによって実施し得る。コードは、メモリ1030に記憶してもよく、CD-ROMやフロッピー（登録商標）・ディスクなどのメモリ媒体からの読み取り/ダウンロードを行ってもよい。他の実施例では、ハードウェア回路をソフトウェア命令の代わりに用いるかソフトウェア命令と組み合わせて用いて本発明を実施し得る。例えば、本明細書及び特許請求の範囲記載の構成要素も別個のハードウェア要素として実施し得る。
【００６９】
本発明は、その特定の実施例に関して詳細に説明したが、本発明のその最も広い形態における概念及び範囲から逸脱することなく本発明における種々の変更、置換、修正、改変及び適合を行うことができるということを当業者は分かるものである。
【図面の簡単な説明】
【００７０】
【図１】本発明の効果的な実施例による、ストリーミング・ビデオ送信器からデータ・ネットワークを介したストリーミング・ビデオ受信器へのストリーミング・ビデオのエンドツーエンド伝送を示す構成図である。
【図２】本発明の効果的な実施例による、例示的なビデオ符号器を示す構成図である。
【図３】本発明の効果的な実施例による例示的なオーバコンプリート・ウェーブレット符号器の構成図である。
【図４Ａ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｂ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｃ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｄ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｅ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｆ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図４Ｇ】2次元(2D)形態的有意性マップを用いて有意なウェーブレット係数のクラスタを見出す、従来技術による方法を示す図である。
【図５】本発明の効果的な実施例による例示的な３D形態的構造化要素を示す図である。
【図６】本発明の3D形態的構造化要素を用いて、空間及び時間にわたって有意係数のクラスタを伸張させ得る方法を示す図である。
【図７】本発明の3D形態的構造化要素を用いて、動きの方向において空間及び時間にわたって有意係数のクラスタを伸張させ得る方法を示す。
【図８】本発明の効果的な実施例の第１の方法の工程を示す流れ図である。
【図９】本発明の効果的な実施例の第２の方法の工程を示す流れ図である。
【図１０】本発明の原理を実施するのに用い得るディジタル伝送システムの例示的な実施例を示す図である。
【図１】
2007507925.tif 000003
【図２】
2007507925.tif 000004
【図３】
2007507925.tif 000005
【図４Ａ】
2007507925.tif 000006
【図４Ｂ】
2007507925.tif 000007
【図４Ｃ】
2007507925.tif 000008
【図４Ｄ】
2007507925.tif 000009
【図４Ｅ】
2007507925.tif 000010
【図４Ｆ】
2007507925.tif 000011
【図４Ｇ】
2007507925.tif 000012
【図５】
2007507925.tif 000013
【図６】
2007507925.tif 000014
【図７】
2007507925.tif 000015
【図８】
2007507925.tif 000016
【図９】
2007507925.tif 000017
【図１０】
2007507925.tif 000018
【国際調査報告】
2007507925.tif 000019
2007507925.tif 000020