(57)【要約】本発明は、３次元ウェーブレット変換によるビデオシーケンスの圧縮のための符号化方法に関する。本方法は、階層的なピラミッドを構成する変換係数に導く階層的なサブバンド符号化処理に基づく。ルートが近接するサブバンドの画素を用いて形成され、これらの画素の子はより高いサブバンドの画素を用いて形成される空間−時間方向ツリーは、前記ピラミッド内の空間−時間関係を定義する。前記ウェーブレット変換の最初のサブバンド構造は、符号化処理において、前記ツリー中に形成された親子依存性を尊重する順序で次々と前記サブバンドを走査することにより維持され、フラグ「オフ／オン」が前記係数の最上位ビットのプログレッシブな伝送を考慮して前記ツリーの各係数に追加される。本発明によれば、付加的な特定の１つのフラグが各サブバンドに、該サブバンドの係数の全体的な状態についての情報を与えるために追加される。各サブバンドの親子依存性についての前記付加的な情報は次いで、前記フラグが該フラグの２つのとり得る値のうちの第１の値を持つ場合前記サブバンドを処理するために、又は前記フラグが前記２つのとり得る値のうちの第２の値を持つ場合前記サブバンドをスキップするために利用される。
2005535155.tif 000002
【特許請求の範囲】
【請求項１】
３次元ウェーブレット変換によって分解されたフレームの群に分割されたビデオシーケンスの圧縮のための符号化方法であって、該ウェーブレット変換は前記変換の分解レベルに対応する所定の数の連続的な分解能レベルに導くものであり、前記方法は各前記フレームの群の画素の元のセットから階層的なピラミッドを構成する変換係数へと導く階層的なサブバンド符号化処理に基づき、空間−時間方向ツリーが前記階層的なピラミッド内の空間−時間的な関係を定義し、ここで該空間−時間方向ツリーにおいて前記３次元ウェーブレット変換に起因する近接するサブバンドの画素を用いて形成されかつ該画素のそれぞれの子が該ルートの画素によって定義される画像ボリュームに対応するより高いサブバンドの画素を用いてルートが形成され、前記３次元ウェーブレット変換の最初のサブバンド構造は前記空間−時間ツリー中に形成された親子依存性を尊重する順序で次々に前記サブバンドを走査することにより保存され、特定の１つのビットフラグが前記空間−時間ツリーの各係数に該係数の最上位ビットのプログレッシブな送信を考慮して追加され、当該フラグは該フラグの少なくとも１つが画素のセットの状態を記述し少なくとも他の１つが単一の画素の状態を記述するようなものである方法において、前記符号化方法は更に、前記空間−時間ツリーの各サブバンドに該サブバンドの係数の全体的な状態についての情報を与えるために付加的な特定の１つのビットフラグが追加され、各サブバンドの前記親子依存性についての付加的な情報は次いで、
各サブバンドの前記付加的なフラグが「オン」と呼ばれる２つのとり得る値のうちの第１の値を持つ場合当該サブバンドは処理される必要があるという決定のために利用され、ここで当該サブバンドの係数のうちの少なくとも１つは係数フラグ「オン」を持ち、
また各サブバンドの前記付加的なフラグが「オフ」と呼ばれる２つのとり得る値のうちの第２の値を持つ場合当該サブバンドはスキップされる必要があるという決定のために利用され、ここで当該サブバンドの係数フラグの全ては「オフ」であることを特徴とする符号化方法。
【請求項２】
２つのフラグが画素のセットの状態を記述し、前記フラグは、前記空間−時間ツリーの各係数(x,y,z)について、D(x,y,z)が依然重要でないか否かを示すFS1と、L(x,y,z)が依然重要でないか否かを示すFS2とであり、
ここでD(x,y,z)はノード(x,y,z)の全ての子孫の座標のセットであり、L(x,y,z)=D(x,y,z)-O(x,y,z)であり、ここでO(x,y,z)はノード(x,y,z)の直接の子の座標のセットであり、
２つのフラグが単一の画素の状態を記述し、前記フラグは、当該画素が重要であるか否かを示すFP3と、当該画素が重要でないか否か又は当該画素の重要さが解析されるべきであるか否かを示すFP4とである、請求項１に記載の符号化方法において、前記符号化方法は更に、フラグFP4が最低の空間−時間サブバンドの全ての係数に対して設定され、フラグFS1が前記最低の空間−時間サブバンドの８個の係数のうち７個に対して設定され、前記付加的なフラグが前記最低の空間−時間サブバンドについては該フラグの２つの値のうちの第１の値「オン」に設定され他の全てのサブバンドについては第２の値「オフ」に設定され、最大の重要さレベルMSLが算出され、前記走査の順序に従って実施される前記空間−時間ツリーの探査は以下のステップ、即ち、
n=MSLから０まで、空間−時間ツリーの完全な探査を実行し、ここで各サブバンドについて、
Ａ）前記付加的なフラグが該フラグの値のうちの前記第２の値を持つ場合、当該サブバンドをスキップし、前記空間−時間ツリー中の次のサブバンドに直接進む；
Ｂ）前記付加的なフラグが該フラグの値のうちの前記第１の値を持つ場合、前記空間−時間ツリーの各係数(x,y,z)について、以下の動作が提供される：
ａ）セットの重要さ：
１）フラグFS1がオンであるならば、出力＝Sn(D(x,y,z))；
Sn(D(x,y,z))=1であるならば：
- 各(x’,y’,z’)∈O(x,y,z)についてフラグFP4を設定；
- (x,y,z)からフラグFS1を除去；
- L(i,j)≠0であるならば、フラグFS2を設定；
- 各(x’,y’,z’)∈O(x,y,z)を含む各サブバンドについて前記付加的なフラグを該フラグの値のうちの前記第１の値に設定；
２）フラグFS2がオンであるならば、出力＝Sn(L(x,y,z))；
Sn(L(x,y,z))=1であるならば：
- 各(x’,y’,z’)∈O(x,y,z)についてフラグFS1を設定；
- (x,y,z)からフラグFS2を除去；
- 各(x’,y’,z’)∈O(x,y,z)を含む各サブバンドについて前記付加的なフラグを該フラグの値のうちの前記第１の値に設定；
ｂ）画素の重要さ：
１）フラグFP3がオンであるならば、出力＝(x,y,z)のｎ番目のビット。
２）フラグFP4がオンであるならば、出力＝Sn(x,y,z)。
Sn(x,y,z)=1であるならば：
フラグFP3をオンに設定；
sign(x,y,z)を出力；
フラグFP4を削除；
を含むことを特徴とする符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元ウェーブレット変換によって分解されたフレームの群に分割されたビデオシーケンスの圧縮のための符号化方法であって、該ウェーブレット変換は前記変換の分解レベルに対応する所定の数の連続的な分解能レベルに導くものであり、前記方法は各前記フレームの群の画素の元のセットから階層的なピラミッドを構成する変換係数へと導く階層的なサブバンド符号化処理に基づき、空間−時間方向ツリーが前記階層的なピラミッド内の空間−時間的な関係を定義し、ここで該空間−時間方向ツリーにおいて前記３次元ウェーブレット変換に起因する近接するサブバンドの画素を用いて形成されかつ該画素のそれぞれの子が該ルートの画素によって定義される画像ボリュームに対応するより高いサブバンドの画素を用いてルートが形成され、前記３次元ウェーブレット変換の最初のサブバンド構造は前記空間−時間ツリー中に形成された親子依存性を尊重する順序で次々に前記サブバンドを走査することにより保存され、特定の１つのビットフラグが前記空間−時間ツリーの各係数に該係数の最上位ビットのプログレッシブな送信を考慮して追加され、当該フラグは該フラグの少なくとも１つが画素のセットの状態を記述し少なくとも他の１つが単一の画素の状態を記述するようなものである方法に関する。
【背景技術】
【０００２】
異種のネットワークに渡るビデオストリーミングは高いスケーラビリティ能力を必要とする。高いスケーラビリティ能力とは即ち、ビットストリームの一部がシーケンスの完全な復号化なしに復号化されることができ、より低い空間若しくは時間分解能（空間スケーラビリティ、時間スケーラビリティ）で又はより低い品質で（ＳＮＲ又はビットレートスケーラビリティ）当初のビデオ情報を再構築するために結合されることができることを意味する。これら３つのタイプのスケーラビリティ（空間、時間、ＳＮＲ）の全てを達成する便利な方法は、入力ビデオシーケンスの動き補償の後の、前記入力ビデオシーケンスの３次元（３Ｄ又は２Ｄ＋ｔ）ウェーブレット分解（wavelet decomposition）である。国際特許出願公開WO01/84847(PHFR000044)の文献は、ビデオ符号化の完全にスケーラブルな方法を記載している。該方法によれば、各時間分解能レベルにおいて（又は最高の空間分解能レベルにおいて）動き補償を実行することにより、時間（又は空間）スケーラビリティが得られる。結果の空間−時間ツリー（spatio-temporal tree）の階層的な符号化は、完全スケーラブルゼロツリー（Fully Scalable Zerotree、ＦＳＺ）と呼ばれる手法に基づく新たな符号化モジュールによって実行される。当該完全スケーラブル符号化方法の概要は、V.Bottreau、M.Benetiere、B.Felts及びB. Pesquet-Popescuによる「A Fully Scalable 3D Subband Video Codec」（「2001 International Conference on Image Processing」（ギリシア、Thssaloniki、2001年10月7-10日）の「IEEE Signal Processing Society」のプロシーディング、1017-1020頁）においても見出されることができる。
【０００３】
この以前の手法は、いわゆるＳＰＩＨＴ（Set Partitioning In Hierarchical Trees）アルゴリズムによってもたらされた。該アルゴリズムの原理は最初に思い起こされる必要がある。元のＳＰＩＨＴアルゴリズムは、例えばA. Said及びW. A. Pearlmanによる「A new, fast, and efficient image codec based on set partitioning in hierarchical trees」（「IEEE Transaction on Circuits and Systems for Video Technology」、Vol.6、No.3、1996年6月、243-250頁）に、及び３Ｄの場合への拡張としては、例えばB. J. Kim及びW. A. Pearlmanによる「An embedded wavelet video coder using three-dimensional set partitioning in hierarchical trees (SPIHT)」（「Data Compression Conference」（1999年米国、Utah、Snowbird、1997年3月25-27日）のプロシーディング、251-260頁）に記載されており、減少する大きさに従った係数（coefficient）の部分的なソート、及び自然の画像中に固有の自己類似性を利用することによるウェーブレット分解のスケールに渡る重要な（significant）情報の不在の予測という、キーとなる発想に基く。このことは、ウェーブレット分解の最低のスケールにおいて係数が重要でない場合、他のスケールにおける同一の領域に対応する係数も重要でない高い確率を持つことを意味する。基本的にＳＰＩＨＴは、異なる分解能における同一の画像領域に対応する画素のセットを「重要さのレベル（level of significance）」と呼ばれる値と比較するステップを含む、時間−空間分解ツリーにおいて見出される最高の重要さのレベルから０までの反復的なアルゴリズムである。与えられたレベル又はビットプレーン（bitplane）について、２つのパスが実行される。即ち、ゼロツリー又はサブツリーを探して重要でない係数及び重要な係数をソートするソートパス、及び前記重要な係数のプレシジョンビット（precision bit）を送信するリファインメント（refinement）パスである。ＳＰＩＨＴアルゴリズムは、分解の最高のレベルから最低のレベルまで、ウェーブレット係数を検査する。このことは、最初に、分解能を増大させながら、最小のスケールのサブバンドにおいて配置された重要な詳細に対応する係数を考慮し、次いでより細かな詳細に対応する最小の係数を検査することに対応する。このことは前記アルゴリズムの「階層的な」指定を正当化し、ビットは該ビットが表す詳細の重要さを減少させることにより送信され、プログレッシブなビットストリームがかくして形成される。
【０００４】
空間（又は３Ｄの場合には空間−時間）方向ツリーと呼ばれるツリー構造は、ウェーブレット係数の階層ピラミッド内の空間的な（又は空間−時間的な）関係を定義する。前記ツリーのルートは最低の分解能における近接サブバンド（「ルート」サブバンド）の画素によって形成され、一方前記ルートの画素によって定義された画像領域（３Ｄの場合には画像体積）に対応するより高いサブバンドの画素は、当該画素の子孫を形成する。ＳＰＩＨＴアルゴリズムの３Ｄのバージョンにおいては、葉以外のいずれのサブバンドの各画素も８個の子の画素を持ち、各画素は１つのみの親を持つ（この規則については、ルートの場合には、８個のうちの１つの画素は子を持たない、という１つの例外がある）。以下の記述は親子関係を記載する：
O(x,y,z)：ノード(x,y,z)の直接の子の座標のセット、
D(x,y,z)：ノード(x,y,z)の全ての子孫の座標のセット、
H(x,y,z)：空間−時間方向ツリーの全てのルートの座標のセット（最高のピラミッドレベルにおけるノード：空間−時間近接サブバンド）、
L(x,y,z)＝D(x,y,z)−O(x,y,z)
（更にこれらの依存状態の図は図１において３次元の場合について示される。ここでの表記は以下のとおりである：TF＝時間フレーム、TAS＝時間近接サブバンド、CFTS＝空間−時間近接サブバンドにおける係数（又はルート係数）、TDS.LRL＝分解の最後の分解能レベルにおける時間詳細サブバンド、TDS.HR＝最高の分解能における時間詳細サブバンド）。
【０００５】
ＳＰＩＨＴアルゴリズムは３つのリスト、即ちＬＩＳ（重要でないセットのリスト）、ＬＩＰ（重要でない画素のリスト）、及びＬＳＰ（重要な画素のリスト）を利用する。これら全てのリストにおいて、各エントリは座標(x,y,z)のセットによって識別される。ＬＩＰ及びＬＩＳにおいて、(x,y,z)は一意な係数を表し、ＬＩＳにおいては空間−時間ツリーのサブツリーである係数のセットD(x,y,z)又はL(x,y,z)を表す。これらの間の差として、ＬＩＳのエントリは、D(x,y,z)を表す場合はタイプＡのものであり、L(x,y,z)を表す場合はタイプＢのものである。第１のパス（ソートパス）の間は、ＬＩＰの全ての画素がテストされ、重要となったものはリストＬＳＰに移動させられる。同様に、重要となったＬＩＳのセットはリストＬＩＳから除去され、ＬＩＳの最後に配置されるサブセットに分割され、それぞれ順番に検査される。ＬＳＰは「洗練」されるべき重要な画素のリストを含み、係数のｎ番目のビットがレベルｎに対して重要である場合には該ビットは送信される。
【０００６】
ビデオ符号化システムの全体の圧縮率を改善するために、通常次いでゼロツリー符号化モジュールに算術符号化器を追加することが助言される。他のアプローチにおいては、殆どの場合、階層的及び算術的な符号化モジュールは別個に考慮される。これらを単一の符号化システムに十分に結合させるために、元のＳＰＩＨＴアルゴリズムに対して幾つかの変更が実行される必要がある。ＳＰＩＨＴにおけるリストＬＩＳ、ＬＩＰ及びＬＳＰの利用は分類タスクを容易化するが、これらのリストは前記係数の地理的な組織化には障害である。ゼロツリーについての走査のときに実行される綿密な検索は、サブバンド内部の冗長性を利用せず、算術的な符号化のための関連するコンテキストの決定を困難にする（前記コンテキストとは、現在の画素に何らかの影響を与え得る情報及びとりわけ近隣する画素に関連する情報である）。論理条件のセットによって実行されるリストＬＩＳ、ＬＩＰ及びＬＳＰの操作は、画素走査の順序を予測困難にする。同一の３Ｄの子孫ツリーに属するが異なる空間−時間サブバンドから来る画素は、符号化され前記リストに次々と配置され、効果のために他のサブバンドの画素を混合する必要がある。従って、同一のサブバンドの画素間の地理的な相互依存性は失われる。更に、空間−時間サブバンドは時間又は空間フィルタリングに起因するため、前記シーケンスのフレームは、詳細の方向を与える特権的な軸に沿ってフィルタリングされる。この方向依存性は、ＳＰＩＨＴアルゴリズムが適用された場合は失われる。なぜなら前記走査は地理的な順序に関係しないからである。
【０００７】
更に、リストＬＩＳ、ＬＩＰ及びＬＳＰの検査に起因するビット、及び前記係数の符号は、非常に異なる統計的な特性を持つ。あるリストについての関連するコンテキストは、他のリストとは全く異なり得る。例えば、ＬＩＰが重要でない画素のセットを表すとき、画素が重要でない画素に囲まれている場合、当該画素も重要でない可能性が高いが、ＬＳＰについては、検査された画素のリファインメントビットは、特定の重要さのレベルにおいて、該ビットの近隣のリファインメントビットが１（又は０）である場合でも、１（又は０）であることは必ずしも推論できない。
【０００８】
既に引用した文献WO01/84847において記載されている手法を利用することにより、３Ｄウェーブレット変換の最初のサブバンド構造は維持されることができ、各係数に付加されたマーカ又はフラグは当該係数がどのリストＬＩＳ、ＬＩＰ又はＬＳＰに属しているかを示唆する。より正確には、前記特許出願において考慮される方法においては、全体の空間−時間ツリーが、各新たなビットプレーンについて完全に走査される。最初のビットプレーンの最後において、３Ｄボリュームの全ての子孫依存性が評価される（この第１の走査はそれ故極めて重要であり、図２に示された子孫依存性の算出順序に絶対的に関連する必要がある。図２における表記は以下のとおりである：SA＝空間軸、TA＝時間軸、R＝ルート、FC＝第１の子、SC＝第２の子、及びTC＝第３の子）。前記方法によれば、前記サブバンドは、前記親子関係に関連した順序で次々と走査され、少なくとも２つの、好ましくは４つの異なるフラグが前記空間−時間ツリーの係数に追加される：
（Ａ）前記フラグの少なくとも１つ、好ましくは２つがセットの状態（ツリー又はサブツリー）を示す。
- D(x,y,z)が依然重要でない場合、DIRECT_SET_INSIG(又はFS1)、
- L(x,y,z)が依然重要でない場合、INDIRECT_SET_INSIG(又はFS2)、
（Ｂ）前記フラグの他の少なくとも１つ、好ましくは他の２つが、単一の画素の状態を示す。
- 現在の画素が重要である場合、SIG(又はFP3)、
- 現在の画素が重要でない場合、又は重要性が解析されるべきである場合、INSIG(又はFP4)（ゼロツリーに含まれない画素に、デフォルトで設定される）
本方法の主なステップは、以下のとおりである：
１．初期化：
- 最低の空間−時間サブバンドの全ての係数にフラグFP4を設定、
- 最低の空間−時間サブバンドの８個の係数のうち７個にFS1を設定、
２．MSL（空間−時間分解ツリーにおいて見出される最大重要さレベル）を算出及び出力、
３．n=MSLから０まで、空間−時間ツリーの完全な探査を実行する（以下の段落で説明されるように、２つの主なアプローチか可能である。即ち空間主導型の分解能スケーラビリティ及び時間主導型の分解能スケーラビリティである）。ここで前記空間−時間ツリーの各係数について以下の動作を行う：
（ａ）セットの重要さ：
（１）フラグFS1が「オン」であるならば、出力=Sn(D(x,y,z))。
Sn(D(x,y,z))=1であるならば、
各(x’,y’,z’)∈O(x,y,z)にいて、フラグFP4を設定；
(x,y,z)からフラグFS1を除去；
L(i,j)≠0ならば、フラグFS2を設定。
（２）フラグFS2が「オン」であるならば、出力=Sn(L(x,y,z))。
Sn(L(x,y,z))=1であるならば、
各(x’,y’,z’)∈O(x,y,z)にいて、フラグFP1を設定；
(x,y,z)からフラグFS2を除去。
（ｂ）画素の重要さについて：
（１）フラグFP3が「オン」であるならば、出力=(x,y,z)のｎ番目のビット。
（２）フラグFP4が「オン」であるならば、出力=Sn(x,y,z)。
Sn(x,y,z)=1であるならば、
フラグFP3をオンに設定；
(x,y,z)の符号を出力；
フラグFP4を除去；
フレームは詳細の方向を与える特権的な軸（空間又は時間）に沿ってフィルタリングされる。これらの方向は、同一の方向に沿って前記サブバンドを走査することにより、より良く考慮に入れられることができる。示唆された方法を利用することにより、空間又は時間軸のいずれかであり得る選択された特権的な方向に依存した係数の空間−時間的なボリュームを調査する２つの主な方法がある。従って、２つのタイプの「マルチスケーラブルな」ビットストリームが得られ得る。第１のものは空間分解能によって導かれるものであり、第２のものは時間分解能によって導かれるものである。
【０００９】
（Ａ）空間主導型分解能スケーラビリティ
本方式においては空間分解能が図３に示すように次々と完全に探査され、全ての時間分解能は各空間スケール内部で連続的に走査されるため、各ビットプレーンについて、ツリー走査は空間指向性である。換言すれば、時間周波数は空間周波数よりも高い。前記ビットストリームの幾つかの部分をスキップする可能性を持つために、前記ビットストリーム中に分解能フラグが導入される。走査戦略は図４に示されるように組織化されるビデオストリームに導く。ここでは、ラインｓ及びｔがそれぞれ空間及び時間分解レベル（ＳＤＬ及びＴＤＬ）に対応し、フラグＡは２つのビットプレーンを分割するフラグであり、フラグＢは２つの空間分解レベルを分割するフラグである。
【００１０】
（Ｂ）時間主導型分解能スケーラビリティ
本方式においては時間分解能が図５に示すように次々と完全に探査され、全ての空間分解能は各時間スケール内部で連続的に走査されるため、各ビットプレーンについて、ツリー走査は時間指向性である。走査戦略は、図４と比較されるべき図６において示されるように組織化されたビットストリームに導く（フラグＢはここでは２つの時間分解レベルを分離する）。両方の場合において、３つのタイプのスケーラビリティ（時間、空間分解能、ＳＮＲ）が得られる。空間−時間走査がビットプレーンの反復ループにおいて挿入されるため、ＳＮＲスケーラビリティは依然利用可能である。時間及び空間スケーラビリティは、それぞれ可能なフレーム率ｔｍａｘ、及び可能な表示サイズｓｍａｘ（説明される例においてはｔ＝１乃至４、ｓ＝１乃至４である）を備える。ｔ＝１は最小のフレームレートに対応し、ｓ＝１は最小の表示サイズに対応する。
【００１１】
本方法を用いて、（リストの走査を置き換える）一定のサブバンド走査及びフラグの認識のため、首尾一貫した地理的なコンテキストが各モデルについて回復される。３Ｄウェーブレット変換の最初のサブバンド構造は維持され、各係数に追加されたフラグは当該係数がどのリストＬＩＳ、ＬＩＰ又はＬＳＰに属するのかを示唆する。ＳＰＩＨＴの階層的な及び論理的な構成は維持され、同時にあるリストから他のリストへの係数の移動は該リストのフラグを変更することにより「実質的」に為され、読み取りの順序は、ＳＰＩＨＴアルゴリズムのロジックによって実行される変化に従属するものではない。古典的なＳＰＩＨＴアルゴリズムとエントロピー符号化とを組み合わせるものよりも、現在の画素に対する近隣の影響を適切に利用する（及び精錬パスにおける元のＳＰＩＨＴアルゴリズムに起因するビットからではなく、ビットブレーンのアプローチに準拠して転送される画像から直接供給される「自然な」コンテキストに導く）本方法は、コンテキストが実際に符号化されるビットに関連するため、圧縮率を改善しそれ故符号化効率を改善する。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、全ての空間−時間ツリーのサブバンドの網羅的な走査は、急激に以下の欠点に導く。即ち、低い符号化ビットレートにおいてさえも高い計算負荷が観測され、このことは今日のビデオアプリケーションの要求と相反する。
【００１３】
本発明の目的はそれ故、この欠点を回避する符号化方法を提案することにある。
【課題を解決するための手段】
【００１４】
この目的のため、本発明は、本説明の導入部において定義されたような符号化方法であって更に、前記空間−時間ツリーの各サブバンドに、該サブバンドの係数の全体的な状態についての情報を与えるために付加的な特定の１つのビットフラグが追加され、各サブバンドの前記親子依存性についての付加的な情報は次いで、
各サブバンドの前記付加的なフラグが「オン」と呼ばれる２つのとり得る値のうちの第１の値を持つ場合当該サブバンドは処理される必要があることを決定するために利用され、ここで当該サブバンドの係数のうちの少なくとも１つは係数フラグ「オン」を持ち、
また各サブバンドの前記付加的なフラグが「オフ」と呼ばれる２つのとり得る値のうちの第２の値を持つ場合当該サブバンドはスキップされる必要があることを決定するために利用され、ここで当該サブバンドの係数フラグの全ては「オフ」であることを特徴とする方法に関する。
【００１５】
かくして提案される手法は、各空間時間サブバンドが、いずれの計算にも先立って、該サブバンドの親子依存性に関する（マーカ又はフラグのような）情報を追加することを可能とし、それにより、特定のサブバンドがこのフラグによっていずれの他のサブバンドにも関連しないと見出された場合、当該サブバンドの符号化／復号化処理はスキップされ、従って重く無用な計算を回避する。提案される本発明は、ＦＳＺ出力ストリームのいずれの変更にも帰着せず、それ故後に再構築されるビデオのいずれの品質劣化にも導かないことには留意されるべきである。
【発明を実施するための最良の形態】
【００１６】
本発明は、添付する図を参照しながら以下に説明される。
【００１７】
上述したように、ＦＳＺ手法においては、ウェーブレット分解に起因する全体の空間−時間ツリーは、ビットプレーン（又は重要さレベル）毎に完全に走査され、全ての親子依存性（図１に示される）は最初のビットプレーンの処理の間に確立される。この階層関係は、全ての残りのビットプレーンについて辿られるサブバンド走査順序を決定する（符号化器側及び復号化器側の両方においてであり、それ故、両方共が全く同一の順序を尊重するため、以下において符号化器と復号化器との間に区別は為されない）。上述した文献WO01/84847において説明されるように、ＦＳＺアルゴリズムの主なステップは以下のようになる：
（Ａ）初期化ステップ。該ステップの間、最低の空間−時間サブバンド係数のみが、走査処理を開始することを可能とするフラグによって特徴付けられ、他の全てのサブバンド係数はゼロに初期化される。
（Ｂ）走査ステップ。該ステップの間、各ビットプレーンについて前記空間−時間ツリーの完全な探査が、前記空間−時間ツリー中に形成された親子依存性を厳密に尊重した順序で実行される。
【００１８】
この綿密な走査の間、前記空間−時間サブバンド係数の状態は、該サブバンドの記述フラグをオン又はオフにすることにより実質的に変更される。前記空間−時間ツリーの走査は完全に網羅的であり、該係数の状態についてのいずれの先験的な仮定なしに全てのサブバンドが調査される。このことは、各サブバンドについて全ての係数が解析されることを意味する。しかしながら、前記ＦＳＺ手法を詳細に検討すると、４つの可能なフラグ（直接の子の重要でないセットについてのFS1=DIREC_SET_INSIG、間接的な子の重要でないセットについてのFS2=INDIRECT_SET_INSIG、重要な画素についてのF3=SIG、重要でない画素についてのFP4=INSIG）のうち１つもオンでない（ゼロに等しい）場合、情報がビットストリームに出力されないだけでなく、状態が変化する係数もないことに気付くであろう。換言すれば、かような係数の処理は、何らの付加的な情報をもたらさないため無用である。この計算負荷のオーバヘッドは、サブバンドがかような係数のみを含む場合にはとりわけ重要である。更に、最低のものを除く全てのサブバンドがゼロに初期化されるため、この状況は前記最初のビットプレーンに非常に頻繁に起こる。
【００１９】
本発明によればそれ故、各サブバンドに、該サブバンドの係数の全体の状態の示唆を与えるフラグSCANを追加することが提案される。オンである場合（即ち前記サブバンドの少なくとも１つの係数がゼロとは異なるフラグを持つ場合）、該フラグは前記サブバンドの処理を許容する。オフである場合（即ち全ての前記係数のフラグがゼロに等しい場合）、いずれのビットも出力されないし、いずれのフラグも変化されないことが判るため、前記サブバンドはスキップされる。元のＦＳＺ法の２つの主なステップを考慮して、本発明によれば、最低の空間−時間サブバンド（このルートのサブバンドはいずれの場合においても走査される）についてSCANフラグをオンに初期化し、他の全てのサブバンドについてオフに初期化することが提案される。前記ルートのサブバンドの係数から始めて、本方法は次いでＦＳＺにおいて定義された規則にしたがって子のフラグを更新する。これらの子の係数を含むサブバンドのSCANフラグはこのとき、該サブバンドが（より低いビットプレーンについての）更なるソートパスの間に解析される必要があるため、オンに設定される。
【００２０】
要約すれば本発明は、以下のステップで（上述の文献において当初記載されていたような）ＦＳＺ法を変更することを提案する（追加された部分はイタリックで書かれている）：
１．初期化
- 最低の空間時間サブバンドの全ての係数にフラグFP4を設定；
- 前記最低の空間時間サブバンドの８個の係数のうち７個にフラグFS1を設定；
- 前記最低の空間時間サブバンドに対しフラグSCANをオンに設定；
- 他の全ての空間時間サブバンドに対しフラグSCANをオフに設定；
２．MSLを算出及び出力
３．n=MSLから０まで、空間−時間ツリーの完全な探査を実行する。ここで各サブバンドについて、
Ａ）フラグSCANがオフであるならば、当該サブバンドをスキップし、前記空間−時間ツリー中の次のサブバンドに直接進む；
Ｂ）フラグSCANがオンであるならば、前記空間−時間ツリーの各係数(x,y,z)について、以下の動作が提供される：
ａ）セットの重要さ：
１）フラグFS1がオンであるならば、出力＝Sn(D(x,y,z))。
Sn(D(x,y,z))=1であるならば：
- 各(x’,y’,z’)∈O(x,y,z)についてフラグFP4を設定；
- (x,y,z)からフラグFS1を除去；
- L(i,j)≠0であるならば、フラグFS2を設定；
- 各(x’,y’,z’)∈O(x,y,z)を含む各サブバンドについてフラグSCANをオンに設定。
２）フラグFS2がオンであるならば、出力＝Sn(L(x,y,z))。：
Sn(L(x,y,z))=1であるならば：
- 各(x’,y’,z’)∈O(x,y,z)についてフラグFS1を設定；
- (x,y,z)からフラグFS2を除去；
- 各(x’,y’,z’)∈O(x,y,z)を含む各サブバンドについてフラグSCANをオンに設定。
ｂ）画素の重要さ
１）フラグFP3がオンであるならば、出力＝(x,y,z)のｎ番目のビット。
２）フラグFP4がオンであるならば、出力＝Sn(x,y,z)。
Sn(x,y,z)=1であるならば：
フラグFP3をオンに設定；
sign(x,y,z)を出力；
フラグFP4を削除。
本発明による方法の実装の利点は、最終的な出力ビットストリームのいずれの変更をも伴わないＦＳＺ法の非常に著しい複雑さの減少である。前記複雑さの減少は、符号化／復号化ビットレートが低い場合にはなお一層重要である。このとき、最も重要なビットプレーンが処理され、多くのサブバンドがいずれの親子依存性によっても他と未だ接続されていない。即ち、多くのサブバンドが依然フラグをオフにセットされており、それ故、元のＦＳＺアルゴリズムにおいて為されていたのに反して解析されない。
【図面の簡単な説明】
【００２１】
【図１】空間−時間方向ツリーにおける、３Ｄの場合の親子依存性の例を示す。
【図２】空間−時間ツリーにおけるサブバンドの階層を示す。
【図３】空間−時間ツリーの空間主導の走査を示す。
【図４】整列された３ＤのＳＰＩＨＴにより可能とされるビットストリームの構成を示す。
【図５】空間−時間ツリーの時間主導の走査を示す。
【図６】走査を用いて得られるビットストリームの構造を示す。
【図１】
2005535155.tif 000003
【図２】
2005535155.tif 000004
【図３】
2005535155.tif 000005
【図４】
2005535155.tif 000006
【図５】
2005535155.tif 000007
【図６】
2005535155.tif 000008
【国際調査報告】
2005535155.tif 000009
2005535155.tif 000010
2005535155.tif 000011