(57)【要約】本発明は、連続するフレーム群（ＧＯＦ）に分解された元のビデオシーケンスに対応するビットストリームに適用される３次元（３Ｄ）ビデオコーディング方法に関する。このコーディング方法は、動き推定サブステップと動き補償された時間的フィルタリングサブステップと空間的解析サブステップとをそれ自体が含む時空間的解析ステップを連続する各ＧＯＦに対して適用するとともに、その後、前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、取得されたコード化シーケンスに対して適用される演算コーディングサブステップと、をそれ自体が含むエンコーディングステップを連続する各ＧＯＦに対して適用する。本発明においては、第１のフレーム対をデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、最後のフレーム対まで、当初と同様の順にフレーム対の復元に対応する順序で、前記解析ステップの最後に利用可能な周波数サブバンドがコード化される。
2005533432.tif 000002
【特許請求の範囲】
【請求項１】
サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームを圧縮するためのビデオコーディング方法であって、
ａ）  ２ｎ個の低周波および高周波時間サブバンドへの現ＧＯＦの時空間的マルチ解像度分解を導く時空間的解析ステップであって、
−  動き推定サブステップと、
−  前記動き推定に基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリングサブステップと、
−  前記時間的フィルタリングサブステップによって得られるサブバンドに対して行なわれる空間的解析サブステップと、を含む時空間的解析ステップと、
ｂ）  エンコーディングステップであって、
−  前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、
−  取得されたコード化シーケンスに対して適用され、且つ埋め込まれたコード化ビットストリームを供給する演算コーディングサブステップと、を含むエンコーディングステップが、
前記ビデオシーケンスの連続する各ＧＯＦに対して適用され、
前記エンコーディングステップでは、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、前記解析ステップの最後に、各ＧＯＦ毎に利用可能な２ｎ個の周波数サブバンドがコード化されることを特徴とするビデオコーディング方法。
【請求項２】
ｎが３に等しく、前記解析ステップの最後に現ＧＯＦにおいて利用可能で、且つ第１の分割レベルの高周波時間サブバンド（Ｈ０，Ｈ１，Ｈ２，Ｈ３）と、第２の分割レベルの高周波時間サブバンド（ＬＨ０，ＬＨ１）と、第３の分割レベルの低周波および高周波時間サブバンド（ＬＬＬ０，ＬＬＨ０）とを含むサブバンドの組の中で、サブバンド（ＬＬＬ０，ＬＬＨ０，ＬＨ０，Ｈ０）が最初にコード化され、その後にサブバンドＨ１がコード化され、その後にサブバンド（ＬＨ１，Ｈ２）がコード化され、その後にサブバンドＨ３がコード化されることを特徴とする、請求項１に記載のコーディング方法。
【請求項３】
サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームを圧縮するためのビデオコーディング装置であって、コード化ビットストリームを形成するために、
−  前記ビデオシーケンスの現各ＧＯＦのフレームに対して適用される動き推定手段と、
−  推定された動きベクトルに基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリング手段と、
−  取得されたサブバンドに対して行なわれる空間的解析手段と、
−  時空間的解析の実行によって取得される現ＧＯＦの時空間的マルチ解像度分解の２ｎ個の低周波および高周波時間サブバンドに対して適用されるエンコーディング手段であって、前記低周波および高周波時間サブバンドと前記動きベクトルとに対して適用されるエントロピーコーディング手段と、取得されたコード化シーケンスに対して適用される演算コーディング手段とをそれ自体が含むエンコーディング手段と、を備え、
前記エンコーディング手段は、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、２ｎ個の前記周波数サブバンドに対して適用されることをさらに特徴とするビデオコーディング装置。
【請求項４】
サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームを圧縮するためのビデオコーディング方法によって形成されたコード化ビットストリームから成る送信可能なビデオ信号であって、前記コーディング方法は、
ａ）  ２ｎ個の低周波および高周波時間サブバンドへの現ＧＯＦの時空間的マルチ解像度分解を導く時空間的解析ステップであって、
−  動き推定サブステップと、
−  前記動き推定に基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリングサブステップと、
−  前記時間的フィルタリングサブステップによって得られるサブバンドに対して行なわれる空間的解析サブステップと、を含む時空間的解析ステップと、
ｂ）  エンコーディングステップであって、
−  前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、
−  取得されたコード化シーケンスに対して適用され、且つ埋め込まれたコード化ビットストリームを供給する演算コーディングサブステップと、を含むエンコーディングステップが、
前記ビデオシーケンスの連続する各ＧＯＦに対して適用され、
前記エンコーディングステップは、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、前記解析ステップの最後に各ＧＯＦ毎に利用可能な２ｎ個の周波数サブバンドに対して適用されることを特徴とする送信可能なビデオ信号。
【請求項５】
サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するコード化ビットストリームを解凍するためのビデオデコーディング方法であって、
ａ）  ２ｎ個の低周波および高周波時間サブバンドへの現ＧＯＦの時空間的マルチ解像度分解を導く時空間的解析ステップであって、
−  動き推定サブステップと、
−  前記動き推定に基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリングサブステップと、
−  前記時間的フィルタリングサブステップによって得られるサブバンドに対して行なわれる空間的解析サブステップと、を含む時空間的解析ステップと、
ｂ）  エンコーディングステップであって、
−  前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、
−  取得されたコード化シーケンスに対して適用され、且つ埋め込まれたコード化ビットストリームを供給する演算コーディングサブステップと、を含むエンコーディングステップが、
前記ビデオシーケンスの連続する各ＧＯＦに対して適用され、
前記エンコーディングステップは、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、前記解析ステップの最後に各ＧＯＦ毎に利用可能な２ｎ個の周波数サブバンドに対して適用されることを特徴とするビデオデコーディング方法。
【請求項６】
サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するコード化ビットストリームを解凍するためのビデオデコーディング装置であって、
ａ）  ２ｎ個の低周波および高周波時間サブバンドへの現ＧＯＦの時空間的マルチ解像度分解を導く時空間的解析ステップであって、
−  動き推定サブステップと、
−  前記動き推定に基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリングサブステップと、
−  前記時間的フィルタリングサブステップによって得られるサブバンドに対して行なわれる空間的解析サブステップと、を含む時空間的解析ステップと、
ｂ）  エンコーディングステップであって、
−  前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、
−  取得されたコード化シーケンスに対して適用され、且つ埋め込まれたコード化ビットストリームを供給する演算コーディングサブステップと、を含むエンコーディングステップが、
前記ビデオシーケンスの連続する各ＧＯＦに対して適用され、
前記エンコーディングステップは、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、前記解析ステップの最後に各ＧＯＦ毎に利用可能な２ｎ個の周波数サブバンドに対して適用され、また、前記現ＧＯＦの全てのフレーム対が復元されるまで前記の順序で前記２ｎ個の周波数サブバンドをデコードするための手段を備えていることを特徴とするビデオデコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的にビデオ圧縮および復元の分野に関し、特に、サイズがＮ＝２ｎ（ｎ＝１、２または３．．．）の連続するフレーム群（ＧＯＦ）に分割された元のビデオシーケンスに対応するビットストリームを圧縮するためのビデオコーディング方法であって、
ａ）  ２ｎ個の低周波および高周波時間サブバンドへの現ＧＯＦの時空間的マルチ解像度分解を導く時空間的解析ステップであって、
−  動き推定サブステップと、
−  前記動き推定に基づき、現ＧＯＦの２ｎ−１個の各フレーム対に対して行なわれる動き補償された時間的フィルタリングサブステップと、
−  前記時間的フィルタリングサブステップによって得られるサブバンドに対して行なわれる空間的解析サブステップと、を含む時空間的解析ステップと、
ｂ）  エンコーディングステップであって、
−  前記時空間的解析ステップによって得られる前記低周波および高周波時間サブバンドと前記動き推定サブステップによって取得された動きベクトルとに対して行なわれるエントロピーコーディングサブステップと、
−  取得されたコード化シーケンスに対して適用され、且つ埋め込まれたコード化ビットストリームを供給する演算コーディングサブステップ、を含むエンコーディングステップを、シーケンスの各連続するＧＯＦに適用されるビデオコーディング方法に関する。
【０００２】
また本発明は、対応するコーディング装置、かかるコーディング方法によって形成される送信可能なビデオ信号、前記信号をデコードするための方法、前記デコーディング方法を実行するためのデコーディング装置に関する。
【背景技術】
【０００３】
ＭＰＥＧ−１からＨ．２６４まで、標準的なビデオ圧縮方式は、いわゆるハイブリッドソリューション（入力ビデオシーケンスの各フレームが所定の基準フレームから時間的に予測される予測方式をハイブリッドビデオエンコーダが利用するとともに、前記フレームとその予測との間の差によって取得される予測エラーが、例えば２次元ＤＣＴ変換により空間的に変換され、それにより空間的冗長性という利点が得られる）に基づいていた。その後に提案された別の手法は、フレーム群（ＧＯＦ）を３次元（３Ｄまたは２Ｄ＋ｔ）構造として処理するとともに、それを時空間的にフィルタリングして、低周波におけるエネルギをコンパクトにすることから成る（例えば、Ｃ．Ｉ．Ｐｏｄｉｌｃｈｕｋ等による“ビデオの３次元サブバンドコーディング”（画像処理に関するＩＥＥＥ報告書、第４巻、Ｎｏ．２、１９９５年２月、１２５頁〜１３９頁）に記載）。また、かかる３Ｄサブバンド分解方式に動き補償ステップを導入することにより、コーディング効率全体を向上させることができるとともに、図１に示すようなサブバンドツリーのおかげで、ビデオ信号の時空間的マルチ解像度（階層的）表示が得られる。
【０００４】
図１に示す動き補償を用いた３Ｄウェーブレット分解は、連続するフレーム群（ＧＯＦ）に対しても同様に適用される。図示の場合、８個のフレームＦ１〜Ｆ８を含む入力ビデオの各ＧＯＦは、大きな動きを伴うシーケンスを処理するために最初に動き補償（ＭＣ）が行なわれ、その後、ハール（Ｈａａｒ）ウェーブレットを利用して時間的にフィルタリング（ＴＦ）される（破線の矢印は高域時間的フィルタリングに対応し、他の矢印は低域時間的フィルタリングに対応する）。ここでは３つの連続する分割段階が示されている（Ｌ，Ｈ＝第１の段階；ＬＬ，ＬＨ＝第２の段階；ＬＬＬ，ＬＬＨ＝第３の段階）。各時間的レベルの高周波サブバンド（前述の例では、Ｈ，ＬＨ，ＬＬＨ）および最も深い時間レベルの低周波サブバンド（ＬＬＬ）はウェーブレットフィルタによって空間的に解析される。その後、エントロピーエンコーダにより、時空間的分解によって得られるウェーブレット係数をエンコードすることができる（例えば、“階層ツリーへの分割に基づく新規で高速の効率的な画像コーデック”（ビデオ技術のための回路およびシステムに関するＩＥＥＥ報告書、第６刊、Ｎｏ．３、１９９６年６月、２４３頁〜２５０頁）においてＡ.ＳａｉｄおよびＷ．Ａ．Ｐｅａｒｌｍａｎが最初に提案した２Ｄ−ＳＰＩＨＴをこの３Ｄウェーブレット分解へと拡張して、時空間的分解構造に対して最後の係数ビットプレーンを効率的にエンコードすることによる）。
【０００５】
しかし、全ての３Ｄサブバンドソリューションは以下の欠点を伴う：ＧＯＦ全体が同時に処理されるため、現ＧＯＦ内の全ての画像が時空間的に解析されてエンコードされる前に当該の全画像を記憶しなければならない。所定のＧＯＦの全てのフレームが同時にデコードされるデコーダ側においても問題は同じである。２００２年６月２８日に本願の出願人により提出された欧州特許出願（登録番号０２２９１６２１．７（ＰＨＦＲ０２００６５））には、前記の問題に対するソリューションが記載されている。前記の文献において提案された、ＧＯＦ全体を同時に復元する代わりにシーケンスのＧＯＦのフレームをそれぞれの枝毎に累進的に復元するローメモリソリューションは、以下の所見に基づいている。図２（図の簡略化のため、ＧＯＦが８個のフレームから成る場合を示す）に示すように、前記フレームＦ１〜Ｆ８は４つのフレーム対Ｃ０〜Ｃ３にグループ分けされている。元のシーケンスの時間分解の第１のステップの最後においては、低周波時間サブバンドＬ０，Ｌ１，Ｌ２，Ｌ３および高周波時間サブバンドＨ０，Ｈ１，Ｈ２，Ｈ３が利用可能である。サブバンドＨ０〜Ｈ３はコード化されて送信されるが、サブバンドＬ０〜Ｌ３は更に分解される：分解の第２のステップの最後においては、低周波時間サブバンドＬＬ０，ＬＬ１および高周波時間サブバンドＬＨ０，ＬＨ１が利用可能となる。同様に、サブバンドＬＨ０，ＬＨ１はコード化されて送信されるが、サブバンドＬＬ０，ＬＬ１は更に分解される。そして、分解の第３のステップ（図示の場合には、最後のステップ）の最後においては、低周波時間サブバンドＬＬＬ０および高周波時間サブバンドＬＬＨ０が利用可能になるとともに、これらのサブバンドがコード化されて送信される。送信された全ての組のサブバンドは、図２の黒い線によって囲まれている。
【０００６】
ＧＯＦの最初の２つのフレームＦ１，Ｆ２（すなわち、フレーム対Ｃ０）をデコードするために必要なサブバンドは、サブバンドＨ０，ＬＨ０，ＬＬＨ０，ＬＬＬ０のみであると考えられる。また、第１のサブバンドＨ０は、これらの最初の２つのフレームＦ１，Ｆ２に関する情報のみを含んでいる。そのため、これらのフレームＦ１，Ｆ２がデコードされると、第１のサブバンドＨ０が役に立たなくなり、このサブバンドを削除して置き換えることができる：次のサブバンドＨ１をロードして、２つのフレームＦ３，Ｆ４を含む次のフレーム対Ｃ１をデコードする。ここで、これらのフレームＦ３，Ｆ４をデコードするためにはサブバンドＨ１，ＬＨ０，ＬＬＬ０，ＬＬＨ０のみが必要であり、また、先のＨ０の場合と同様に、サブバンドＨ１はこれらの２つのフレームＦ３，Ｆ４に関する情報のみを含んでいる。そのため、これらの２つのフレームＦ３，Ｆ４がデコードされると、第２のサブバンドＨ１を削除してＨ２と置き換えることができる：以下同様に、これらの演算がＦ５，Ｆ６およびＦ７，Ｆ８に対して（一般的な場合には、ＧＯＦの連続する全てのフレーム対に対して）繰り返される。連続する各ＧＯＦ毎にこのよう形成されたビットストリーム（図示の構成は、デコーディング側における、本発明の範囲の非制限的な一例である）は、エントロピーコーダによってエンコードされた後に演算コーダによってエンコードされても良い（例えば、参照符号２１，２２でそれぞれ示されるコーダによってエンコードされても良い）。図示の特定の実施例において、最終的に利用可能な（送信され、或いは記憶される）コード化ビットストリームは、現ＧＯＦにおいては、ヘッダと、サブバンドＬＬＬ０，ＬＬＨ０，ＬＨ０，ＬＨ１，Ｈ０，Ｈ１，Ｈ２，Ｈ３に対応するコーディングビットとを連続的に含んでいる。
【０００７】
引用した欧州特許出願で提案されたローメモリソリューションにしたがって実行される実際の演算は、以下の通りであった。現ＧＯＦに対応するコード化ビットストリームの一部が最初にデコードされるが、前記ビットストリーム内で第１のフレーム対Ｃ０（最初の２つのフレームＦ１，Ｆ２）に対応するコード化された部分のみ、すなわち、サブバンドＨ０，ＬＨ０，ＬＬＬ０，ＬＬＨ０のみが実際に記憶されてデコードされる。最初の２つのフレームＦ１，Ｆ２がデコードされると、Ｈ０と称す第１のＨサブバンドが役に立たなくなり、その記憶空間をデコードされる次のサブバンドのために利用することができる。したがって、２度目に、第２のＨサブバンドすなわちＨ１および次のフレーム対Ｃ１（Ｆ３，Ｆ４）をデコードするためにコード化ビットストリームが読み取られる。この第２のデコーディングステップが行なわれると、前記サブバンドＨ１が役に立たなくなり、第１のＬＨサブバンド（ＬＨ０）も役に立たなくなる。その結果、これらのサブバンドは削除され、コード化された同じ入力ビットストリームの第３のデコーディングによって得られる次のＨ，ＬＨサブバンド（それぞれＨ２，ＬＨ１と称す）に置き換えられる。以上の操作は、現ＧＯＦの他の各フレーム対に対しても同様である。
【０００８】
ＧＯＦの１つのフレーム対毎に一度の繰り返しを含むこのマルチパスデコーディングソリューションについて、図３〜図６を参照しつつ説明する。最初の繰り返し中にデコーディング側で受信したコード化ビットストリームＣＯＤＢは、演算デコーダ３１によってデコードされるが、第１のフレーム対Ｃ０に対応するデコードされた部分のみ、すなわち、サブバンドＬＬＬ０，ＬＬＨ０，ＬＨ０，Ｈ０のみが記憶される（図３参照）。その後、前記サブバンドを用いて逆の操作（図１に示される操作に対して逆の操作）が行なわれる：
−  デコード化サブバンドＬＬＬ０，ＬＬＨ０を利用してサブバンドＬＬ０を合成する；
−  前記合成されたサブバンドＬＬ０とデコード化サブバンドＬＨ０とを利用してサブバンドＬ０を合成する；
−  前記合成されたサブバンドＬ０とデコード化サブバンドＨ０とを利用してフレーム対Ｃ０の２つのフレームＦ１，Ｆ２を復元する。
【０００９】
この第１のデコーディングステップが達成されると、第２のデコーディングステップを開始できる。コード化ビットストリームが２度目に読み取られ、第２のフレーム対Ｃ１に対応するデコードされた部分のみ、すなわち、サブバンドＬＬＬ０，ＬＬＨ０，ＬＨ０，Ｈ１のみが記憶される（図４参照）。実際には、図４の破線の情報（ＬＬＬ０，ＬＬＨ０，ＬＬ０，ＬＨ０）を第１のデコーディングステップから再利用することができる（これは、特に演算デコーディング後のビットストリーム情報において当てはまる。なぜなら、この圧縮された情報のバッファリングは実際にメモリを殆ど必要としないからである）。これらのサブバンドを用いて、以下に示す逆の操作が行なわれる：
−  デコード化サブバンドＬＬＬ０，ＬＬＨ０を利用してサブバンドＬＬ０を合成する；
−  前記合成されたサブバンドＬＬ０とデコード化サブバンドＬＨ０とを利用してサブバンドＬ１を合成する；
−  前記合成されたサブバンドＬ１とデコード化サブバンドＨ１とを利用してフレーム対Ｃ１の２つのフレームＦ３，Ｆ４を復元する。
【００１０】
この第２のデコーディングステップが達成されると、第３のデコーディングステップを同様に開始できる。コード化ビットストリームが３度目に読み取られ、第３のフレーム対Ｃ２に対応するデコードされた部分のみ、すなわち、サブバンドＬＬＬ０，ＬＬＨ０，ＬＨ１，Ｈ２のみが記憶される（図５参照）のみが記憶される。前述したように、図５の破線の情報（ＬＬＬ０，ＬＬＨ０）を第１（または第２）のデコーディングステップから再利用することができる。以下に示す逆の操作が行なわれる：
−  デコード化サブバンドＬＬＬ０，ＬＬＨ０を利用してサブバンドＬＬ１を合成する；
−  前記合成されたサブバンドＬＬ１とデコード化サブバンドＬＨ１とを利用してサブバンドＬ２を合成する；
−  前記合成されたサブバンドＬ２とデコード化サブバンドＨ２とを利用してフレーム対Ｃ２の２つのフレームＦ５，Ｆ６を復元する。
【００１１】
この第３のデコーディングステップが達成されると、第４のデコーディングステップを同様に開始することができる。コード化ビットストリームが４度目に読み取られ（４つのフレーム対を有するＧＯＦの場合には、最後の読み取りとなる）、第４のフレーム対Ｃ３に対応するデコードされた部分のみ、すなわち、サブバンドＬＬＬ０，ＬＬＨ０，ＬＨ１，Ｈ３のみが記憶される（図６参照）のみが記憶される。同様に、図６の破線で示した情報（ＬＬＬ０，ＬＬＨ０，ＬＬ１，ＬＨ１）を第３のデコーディングステップから再利用することができる。以下に示す逆の操作が行なわれる：
−  デコード化サブバンドＬＬＬ０，ＬＬＨ０を利用してサブバンドＬＬ１を合成する；
−  前記合成されたサブバンドＬＬ１とデコード化サブバンドＬＨ１とを利用してサブバンドＬ３を合成する；
−  前記合成されたサブバンドＬ３とデコード化サブバンドＨ３とを利用してフレーム対Ｃ３の２つのフレームＦ７，Ｆ８を復元する。
【００１２】
この操作は、ビデオシーケンスの連続する全てのＧＯＦにおいて繰り返される。コード化ビトストリームをこの操作にしたがってデコードすると、ＧＯＦ全体の代わりに、多くても２つのフレーム（例えば：Ｆ１，Ｆ２）および４つのサブバンド（同じ実施例も用いると：Ｈ０，ＬＨ０，ＬＬＨ０，ＬＬＬ０）を同時に記憶するだけで済む。しかし、ローメモリソリューションの欠点はその複雑さにある。ＧＯＦ全体をデコードするために同じ入力ビットストリームを何度も（ＧＯＦ内のフレーム対の数と同じ回数）デコードしなければならない。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
したがって、本発明の第１の目的は、先の反復によるソリューションを回避しつつ３Ｄサブバンドエンコードされたビットストリームをデコードするために必要な記憶空間をデコーディング側で十分に減らすことができるコーディング方法を提案することである。
【課題を解決するための手段】
【００１４】
この目的を達成するため、本発明は、説明の導入部で定義されたようなビデオコーディング方法であって、エンコーディングステップでは、第１のフレーム対をその後にデコードするために必要なビットがコード化ビットストリームの最初の部分に位置し、その後、第２のフレーム対をデコードするために必要な更なるビットが位置し、以下、現ＧＯＦの最後のフレーム対まで、当初と同様の順に前記ＧＯＦのフレーム対の累進的な復元に対応する順序で、解析ステップの最後に各ＧＯＦ毎に利用可能な２ｎ個の周波数サブバンドがコード化されることを特徴とするビデオコーディング方法に関する。また、本発明は、前記コーディング方法を実行できる対応するコーディング装置に関する。
【００１５】
また、本発明の目的は、かかるコーディング方法によって形成されるコード化ビットストリームから成る送信可能なビデオ信号と、前述したデコーディング方法よりも少ない記憶空間を利用して前記信号をデコードするための方法と、前記デコーディング方法を実行可能にする、対応するデコーディング装置を提案することである。
【発明を実施するための最良の形態】
【００１６】
以下に本発明を、一例として、添付図面を参照しつつ説明する。
【００１７】
本発明の原理は以下の通りである：２つの第１のフレームをデコードするために必要なビットがビットストリームの最初の部分に位置し、その後、一対の第２のフレームをデコートするために必要な更なるビットが位置し、更にその後、一対の第３のフレームをデコートするために必要な更なるビットが位置するといったように、コーディング側で入力ビットストリームが再編成される。ｎ＝３の分解レベルの場合における、本発明によるソリューションを図７に示すが、これらのレベルの数ｎがどのような数であっても前記ソリューションを適用できることは言うまでもない。エントロピーコーダ２１の出力では、利用可能なビットｂがビットストリームＢＳ０，ＢＳ１，ＢＳ２，ＢＳ３内で編成される。これらのビットストリームＢＳ０，ＢＳ１，ＢＳ２，ＢＳ３はそれぞれ：
−  一対のフレームＣ０をデコーディング側で復元するために役立つサブバンドＬＬＬ０，ＬＬＨ０，ＬＨ０，Ｈ０と；
−  一対のフレームＣ１を復元するために（ビットストリーム中に既に挿入されているサブバンドＬＬＬ０，ＬＬＨ０，ＬＨ０に関連付けられて）役立つ更なるサブバンドＨ１と、
−  一対のフレームＣ２を復元するために（ビットストリーム中に既に挿入されているサブバンドＬＬＬ０，ＬＬＨ０に関連付けられて）役立つ更なるサブバンドＬＨ１，Ｈ２と、
−  一対のフレームＣ３を復元するために（ビットストリーム中に既に挿入されているサブバンドＬＬＬ０，ＬＬＨ０，ＬＨ１に関連付けられて）役立つ更なるサブバンドＨ３と、
に対応している。
【００１８】
図示のように、これらの基本的なビットストリームＢＳ０〜ＢＳ３は、連結されることによって、送信対象のグローバルビットストリームＢＳを構成するが、そのことは、前記ビットストリームＢＳにおいては、（例えば）部分ＢＳ１がフレームＦ３，Ｆ４を復元する或いはその対応するサブバンドＨ１をデコードするのに十分であることを意味するものではない。そのことは単に、ビットストリームの部分ＢＳ０を用いると、２つの第１のフレームＦ１，Ｆ２（一組のＣ０）をデコードするために必要な最小限の情報を利用可能で、前記部分ＢＳ０と部分ＢＳ１とを用いると、次の一対のフレームＣ１をデコード化でき、前記部分ＢＳ０，ＢＳ１と部分ＢＳ２とを用いると、次の一対のフレームＣ２をデコード化でき、更に前記部分ＢＳ０，ＢＳ１，ＢＳ２と部分ＢＳ３とを用いると、最後の一対のフレームＣ３をデコード化できる（ＧＯＦ内に２ｎ個のフレーム対がある一般的な場合には、以下同様）、ということを意味するものである。
【００１９】
この再編成されたビットストリームを用いると、先に提案したようなマルチパスデコーディング方式が不要となる。コード化ビットストリームは、デコーディング側においてデコードされた全ての新たなビットが現フレームの復元に関連するように編成される。
【００２０】
本発明に係るビデオコーディング方法の実施が、図８〜図１０のフローチャートに示されている。参照符号８１〜８５を付した図８に示すように、現ＧＯＦ（８１）は、連続するフレーム対（すなわちＣＯＦ）Ｃ０＝（Ａ０，Ａ１），．．．．，Ｃ（（Ｎ／２）−１）＝（Ａ（Ｎ−２），Ａ（Ｎ−１））に編成（ステップ８２）されたＮ＝２ｎ個のフレームＡ０，Ａ１，Ａ２，．．，Ａ（Ｎ−１）を含んでいる。第１の時間レベルＴＬ１においては、各フレーム対毎に時間的フィルタリングステップＴＦが最初に行なわれ（ステップＴＦＣＯＦ８４）、これにより、ＴＦ（Ｃ０）＝（Ｌ［１，０］，Ｈ［１，０］），ＴＦ（Ｃ１）＝（Ｌ［１，１］，Ｈ［１，１］），．．．，ＴＦ（Ｃ（（Ｎ／２）−１））＝（Ｌ［１，（（Ｎ／２）−１）］，Ｈ［１，（（Ｎ／２）−２）］）が出力される。ここで、Ｌ［．］およびＨ［．］は、取得される低周波および高周波時間サブバンドを示している。その後、更新ステップ８５（ＵＰＤＡＴ）により、関連するフレーム対に関する幾つかの情報を含む各サブバンドと各フレーム対Ｃ０，Ｃ１，．．．との間の関係の論理的表示を記憶することができる。所定のフレーム対と所定のサブバンドとの間のこれらの関係は、以下のタイプの論理的関係によって表わされる：
Ｌ［１，０］＿IsLinkedWith＿Ｃ０＝ＴＲＵＥ
Ｈ［１，０］＿IsLinkedWith＿Ｃ０＝ＴＲＵＥ
Ｌ［１，１］＿IsLinkedWith＿Ｃ１＝ＴＲＵＥ
Ｈ［１，１］＿IsLinkedWith＿Ｃ１＝ＴＲＵＥ
等．．．．
（前記論理的関係は、ステップＩＮＩＴ８３において既に初期化されている：“全ての時間サブバンドＳに対して、全ての対Ｃに対して、Ｓ  IsLinkedWith  Ｃ＝ＦＡＬＳＥ”）
【００２１】
参照符号９１〜９８を付した図９に示すように、ｊｔ＝１（最初の時間分解レベルの初め）と称される演算９１とｊｔ＝ｊｔ＋１（テスト９６の後、各ＧＯＦ内のフレームの数に関連付けられた所定の値ｊｔ  ｍａｘよりもｊｔが小さい場合にのみ行なわれる図９に示されるフィードバック結合にしたがった次の時間分解レベルの制御）と称される演算９５との間でサブバンド分解を行なうことができる。各時間分解レベルでは、Ｌサブバンドを用いて以下の関係にしたがって新たな対Ｋが形成される（ステップＫＦＯＲＭ９２）：
Ｋ０＝（Ｌ［ｊｔ，０］，Ｌ［ｊｔ，１］）
Ｋ１＝（Ｌ［ｊｔ，２］，Ｌ［ｊｔ，３］）
・・・・・・・・・・・・・・・・・・  
【００２２】
これらの新たなＫ対に対して、もう一度時間的フィルタリングステップＴＦを行なう（ステップＴＦＩＬＴ９３）。
ＴＦ（Ｋ０）＝（Ｌ［ｊｔ＋１，０］，Ｈ［ｊｔ＋１，０］）
ＴＦ（Ｋ１）＝（Ｌ［ｊｔ＋１，１］，Ｈ［ｊｔ＋１，１］）
・・・・・・・・・・・・・・・・・・・・・・・・・・  
【００２３】
このように取得された各サブバンドと元のフレーム対との間の関係を定めるため、すなわち、現ＧＯＦの所定のフレーム対の復元においてデコーディング側に所定のサブバンドが含まれているか否かを判断するために、更新ステップ９４（ＵＰＤＡＴＥ）を行なう。時間的分解の最後に、送信対象のサブバンドに対応する以下のサブバンドが抽出される（ステップＥＸＴＲＡＣ９７）：
Ｌ（ｊｔ  ｍａｘ，ｆｏｒ  ｎ），ｎ＝０  ｔｏ  Ｎ／２ｊｔ
Ｈ（ｊｔ，ｆｏｒ  ｆｏｒ  ｎ），ｊｔ＝１  ｔｏ  ｊｔ  ｍａｘ、ｎ＝０  ｔｏ  Ｎ／（２ｊｔ）
【００２４】
以下の説明では、この集合をＴと称する。前記サブバンドの空間分解がさらに行なわれ（ステップＳＤＥＣＯＭＰ９８）、その結果として得られるサブバンドが図１０のフローチャートにしたがって最終的にエンコードされる。これにより、最終的に出力されたコード化ビットストリームＢＳ（例えば図７に示すビットストリーム）が取得される。
【００２５】
エントロピーコーディングステップ１１０（ＥＮＣ）の後、エンコーダの出力でビットバジェットレベルの制御（ステップＢＵＤＬＥＶ１１１）が行なわれる。ビットバジェットに達しない場合には、現出力ビットｂが考慮され（ステップ１１２）、ｎが初期化される（ステップ１１３）とともに、集合Ｔの中から考慮されたサブバンドＳに対してテスト１１５が行なわれる。ｂがＳに関する情報を含んでおり（ステップＢＩＮＦＳ１１５）、且つＳが対Ｃｎとリンクされている（ステップＳＬＩＮＫＣＮ１１６）場合、関連するビットｂがビットストリームＢＳｎ（図１〜図７に関して前述した例では、ｎ＝０，１，２，３）に付加され（ステップＢＡＰＰ１１７）、次の出力ビットｂが考慮される（すなわち、ステップ１１１〜１１７が繰り返される）。ｂがＳに関する情報を全く含んでいないか、あるいはＳが対Ｃｎとリンクされていない場合には、次のサブバンドＳが考慮される（ステップＮＥＸＴＳ１１８）。Ｔ内の全てのサブバンドが考慮されなかった場合（ステップＡＬＬＳ１１９）、演算（ステップ１１５〜１１８）が更に行なわれる。全ての前記サブバンドが解析された場合には、ｎの値が１つ増やされ（ステップ１２０）、次の元のフレーム対に対して演算（ステップ１１４〜１２０）が更に行なわれる（ｎの最後の値まで、以下同様）。コーディングステップ１１０の出力においてビットバジェットに達した場合、それ以上の出力ｂは考慮されない。
【００２６】
最後に、全ての出力ビットが考慮されるか、あるいは、ビットバジェットに達する（ステップ１１１）と、コーディングステップ全体が達成されたと見なされ、取得された個々のビットストリームＢＳｎ（ｎ＝０からその最大値まで結び付けられる）ことにより、最終的なビットストリームＢＳに連結される（ステップＣＣＡＴ１３０）（ｎ＝０からその最大値まで結び付けられる）。デコーディング側では、図１１を参照して説明するようにデコーディングステップが行なわれる。ここで、“状態０”（１，２，．．．，ｎ）とは、特異な対、この場合（図示の例ではｎ＝０〜３）にはＣ０（一般的な場合には、Ｃ０，Ｃ１，Ｃ２，．．．，Ｃｎ）の復元によってエントロピーエンコーダの機能が制約されることを意味する。実際には、コード化ビットストリームのビットｂが受信してデコードされると、そのビットは、所定の時空間的サブバンド内のピクセル（または、かかるサブバンドの組内の幾つかのピクセル）に関連付けられた幾つかのピクセル有意（または、組有意）情報を含んでいるものと解釈する。これらのサブバンドのいずれも現フレーム対Ｃｎ（図示の例ではＣ０）の復元に寄与していない場合、ビットｂを再解釈しなければならず、ｂがＣｎ（この場合にはＣ０）の復元に寄与していると解釈されるようになるまで、エントロピーデコーダＤＥＣが次の状態へとジャンプする。次のビットに関しても、現サブビットストリームが完全にデコードされるまでのステップは同様である。
【００２７】
これまでの説明によれば、前述した第１の対Ｃ０（状態“０”）のデコーディング機能はかなり単純である。図１１はフレーム対Ｃ０の３Ｄサブバンド時空間的合成を明確に示している：第３の分解レベルｊｔ＝３では、第２の分解レベルｊｔ＝２の適切なサブバンドＬＬ０を合成するために、サブバンドＬＬＬ０とサブバンドＬＬＨ０とが動き補償をもって組み合わされる（破線矢印）。また、前記サブバンドＬＬ０とサブバンドＬＨ０とが動き補償をもって組み合わされることにより、第１の分解レベルｊｔ＝１の適切なサブバンドＬ０が合成される。次に、前記サブバンドＬ０とサブバンドＨ０とが動き補償をもって組み合わされることにより、関連するフレーム対Ｃ０（ｊｔ＝０）が合成される。より一般的には、ＧＯＦ全体のサイズがＮ＝２ｎである場合、（ｎ＋１）個の時間的サブバンド（１個の低周波時間的サブバンドおよびｎ個の高周波時間的サブバンド）がデコードされなければならず、また（ｎ−１）個の低周波時間サブバンドが復元されなければならない。そのため、ＧＯＦ全体を同時にデコーディングおよび復元する場合に比べて記憶空間が著しく減少する。図示の場合には、各ステップにおいて、下位の時間レベルの復元された低周波サブバンド（例えばｊｔ＝２におけるＬＬ０）が消失する前回のサブバンド（例えばｊｔ＝３におけるＬＬＬ０）に上書きされる。したがって、（ｎ＋１）個を超える時間的サブバンドがメモリに記憶されることはあり得ない。
【図面の簡単な説明】
【００２８】
【図１】本明細書の８個のフレームから成るフレーム群の場合に行なわれる３Ｄサブバンド分解を示す図。
【図２】前記分解によって取得されたサブバンドのうち、送信されるサブバンドとそのように形成されたビットストリームとを示す図。
【図３】本願出願人によって既に提案されたデコーディング方法における、コード化入力ビットストリームをデコードするために繰り返し行なわれる演算を示す図。
【図４】本願出願人によって既に提案されたデコーディング方法における、コード化入力ビットストリームをデコードするために繰り返し行なわれる演算を示す図。
【図５】本願出願人によって既に提案されたデコーディング方法における、コード化入力ビットストリームをデコードするために繰り返し行なわれる演算を示す図。
【図６】本願出願人によって既に提案されたデコーディング方法における、コード化入力ビットストリームをデコードするために繰り返し行なわれる演算を示す図。
【図７】本願本発明に係るビデオコーディング方法の基本原理を示す図。
【図８】本願本発明に係るビデオコーディング方法の実施を示すフローチャートの３つの連続する部分のうちの１つを示す図。
【図９】本発明に係るビデオコーディング方法の実施を示すフローチャートの３つの連続する部分のうちの１つを示す図。
【図１０】本発明に係るビデオコーディング方法の実施を示すフローチャートの３つの連続する部分のうちの１つを示す図。
【図１１】本発明に係るデコーディング方法を示す図。
【図１】
2005533432.tif 000003
【図２】
2005533432.tif 000004
【図３】
2005533432.tif 000005
【図４】
2005533432.tif 000006
【図５】
2005533432.tif 000007
【図６】
2005533432.tif 000008
【図７】
2005533432.tif 000009
【図８】
2005533432.tif 000010
【図９】
2005533432.tif 000011
【図１０】
2005533432.tif 000012
【図１１】
2005533432.tif 000013
【国際調査報告】
2005533432.tif 000014
2005533432.tif 000015
2005533432.tif 000016