(57)【要約】本発明は、元のビデオシーケンスが一連のフレームグループ（GOF）に分割されてサブバンドビデオ符号化法によって符号化されたものに対応する入力符号化ビットストリームの復元のためのビデオデコード方法に関するものである。この復号方法は、一方では前記現在のＧＯＦのうちの前記最初のフレーム対の再構築のためのサブステップを有し、他方では現在のＧＯＦのうちの前記（ｎ−１）個の他のフレーム対の再構築のために、前記符号化ビットストリームの以前の部分抽出された部分と新しい現在のサブビットストリームとをある特定の規則に従って組み合わせることによって現在のサブバンドを復号するサブステップを有しており、当該復号方法は現在のＧＯＦの各フレーム対を逐次的に最後のものまで再構築するためにこのようにして適用される。
2006526923.tif 000002
【特許請求の範囲】
【請求項１】
元のビデオシーケンスが一連のフレームグループ（GOF）に分割されてサブバンドビデオ符号化法によって符号化されたものに対応する入力符号化ビットストリームの復元のためのビデオデコード方法であって、前記シーケンスの各ＧＯＦにおいて少なくとも次のステップ、すなわち：
・逐次の各フレーム対に対して実行される時間的フィルタ処理ステップと、
・前記フィルタ処理されたシーケンスに対して実行される空間的分解ステップと、
・前記分解されたフィルタ処理されたシーケンスに対して実行されるエントロピー符号化ステップ、
とを有し、こうして生成された符号化ビットストリームはｎ個のサブビットストリームに編成され、該サブビットストリームのそれぞれがサブバンドに対応し、デコード側で現在のＧＯＦの最初のフレーム対、そして逐次的に（ｎ−１）個の他のフレーム対を再構築するために有用であるものであって、
・一方では、当該現在のＧＯＦのうちの前記最初のフレーム対の再構築のために、
・前記符号化ビットストリームの現在のサブビットストリームの現在の各ビットｂを復号し、
・復号された各ビットを、所与の空間・時間的サブバンドまたはそのようなサブバンドの組の中の一つまたはいくつかのピクセルに関係する有意情報を含んでいると解釈し、
・前記サブバンドの前記最初のフレーム対の再構築への寄与を検査し、該第一のフレーム対のフレーム以外のフレームに関係する情報を含んでいる復号ビットのみを保存し、該保存されたビットはビットストリームの部分抽出された部分と呼ばれるものを形成し、
・前記最初のフレーム対を再構築する、
サブステップを有し、
・他方では、当該現在のＧＯＦのうちの前記（ｎ−１）個の他のフレーム対の再構築のために、前記符号化ビットストリームの以前の部分抽出された部分と新しい現在のサブビットストリームとを以下の規則、すなわち：
・前記以前の部分抽出された部分の復号サブステップが前記新たに復号されるサブバンドに関係する関連情報を取得するためだけに実行され、
・あるビットｂを復号する際に、それが前記新たに復号されるサブバンドのみに関する情報を含んでいると解釈される場合には、それは保存され、切り換え操作によって当該符号化ビットストリームの前記新たな現在のサブビットストリームにおける次のビットに換わられ、
・前記新たな現在のサブビットストリーム内のビットの復号を続けているときに、前記新たな現在のサブビットストリームのビットが新たに復号されるサブバンド以外のサブバンドについての情報を含んでいると解釈され次第、前記以前の部分抽出された部分およびその最後の未復号保存ビットに切り換えして戻され、
・同時にビットストリームの次の部分抽出された部分を保存し、該部分は前記以前に部分抽出された部分および前記新たな現在のサブビットストリームのビットの合成であり、もはや必要とされることのないビットは含まないものであること、
に従って組み合わせることによって現在のサブバンドを復号するサブステップを有しており、
当該復号方法が現在のＧＯＦの各フレーム対を逐次的に最後のものまで再構築するためにこのようにして適用されることを特徴とする方法。
【請求項２】
請求項１記載の復号方法の実装のためのビデオ復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にビデオ圧縮および復元の分野に、より詳細には元のビデオシーケンスが一連のフレームグループ（GOF:  group  of  frames）に分割されてサブバンドビデオ符号化法によって符号化されたものに対応する入力符号化ビットストリームの復元のためのビデオデコード方法に関するものである。該サブバンドビデオ符号化法は、前記シーケンスの各ＧＯＦにおいて少なくとも次のステップ、すなわち：
・逐次の各フレーム対に対して実行される時間的フィルタ処理ステップと、
・前記フィルタ処理されたシーケンスに対して実行される空間的分解ステップと、
・前記分解されたフィルタ処理されたシーケンスに対して実行されるエントロピー符号化ステップ、
とを有し、こうして生成された符号化ビットストリームはｎ個のサブビットストリームに編成され、該サブビットストリームのそれぞれがサブバンドに対応し、デコード側で現在のＧＯＦの最初のフレーム対、そして逐次的に（ｎ−１）個の他のフレーム対を再構築するために有用である。
【０００２】
本発明はまた、前記デコード方法を実行するためのデコード装置に関するものでもある。
【背景技術】
【０００３】
ＭＰＥＧ−１からＨ．２６４まで、標準的なビデオ圧縮方式はいわゆるハイブリッド法に基づいている（ハイブリッドビデオエンコーダは予測方式を用い、入力ビデオシーケンスの各フレームはある所与の参照フレームから時間的に予測され、当該フレームとその予測との間の差によって得られる予測誤差がたとえば二次元ＤＣＴによって空間的に変換されることで空間的冗長性を利用する）。その後提唱された別の手法は、フレームグループ（ＧＯＦ）を３次元すなわち３Ｄ構造（［２次元すなわち２Ｄ＋ｔ］構造ともいう）として処理し、該ＧＯＦを空間・時間的にフィルタ処理して低域におけるエネルギーをコンパクトにする（たとえば“Three-dimensional  subband  coding  of  video”,  C.I.  Podilchuk  and  al.,  IEEE  Transactions  on  Image  Processing,  vol.  4,  no  2,  February  1995,  pp.  125-139に記述されている）。そのような３Ｄサブバンド分解方式において動き補償ステップを導入すると、全体的な符号化効率が改良でき、図１に描いたようなサブバンドツリーのおかげでビデオ信号の空間・時間的多重解像度（階層的）表現につながる。
【０００４】
該図１で図解している動き補償のある３Ｄウェーブレット分解は、一連のフレームグループ（ＧＯＦ）にも適用できる。入力ビデオの各ＧＯＦ（図の場合ではＦ１からＦ８の８つのフレームを含む）はまず、動きの大きいシーケンスを処理するために動き補償されて（MC:  motion-compensated）、次いでハールウェーブレットを使って時間的にフィルタ処理される（TF:  temporally  filtered）（破線の矢印が高域通過時間的フィルタ処理に対応し、それ以外の矢印が低域通過時間的フィルタ処理に対応する）。一連の３つの段階が示されている（ＬおよびＨ＝第１段階；ＬＬおよびＬＨ＝第２段階；ＬＬＬおよびＬＬＨ＝第３段階）。各時間的レベルの高域サブバンド（上の例ではＨ、ＬＨ、ＬＬＨ）および最も深いレベルの低域サブバンド（ＬＬＬ）がウェーブレットフィルタを通じて空間的に分解される。すると、エントロピーエンコーダが、空間・時間的分解の結果として得られるウェーブレット係数をエンコードできるようにする（たとえば、空間・時間分解構造に関して最終的な係数ビット平面を効率的にエンコードするために、A.  Said  and  W.A.  Pearlmanが“A  new,  fast,  and  efficient  image  codec  based  on  set  partitioning  in  hierarchical  trees”,  IEEE  Transactions
on  Circuits  and  Systems  for  Video  Technology,  vol.6,  no  3,  June  1996,  pp.  243-250によって元来提案された２Ｄ−ＳＰＩＨＴを今の３Ｄウェーブレット分解に拡張することによって）。
【０００５】
しかしながら、あらゆる３Ｄサブバンド法は次の欠点がある。ＧＯＦ全体が一度に処理されるので、空間・時間的に分解してエンコードする前に現在のＧＯＦ中のすべての映像を保存しなければならない。この問題は、所与のＧＯＦの全フレームが一緒にデコードされるデコーダ側でも同じである。この問題に対するいわゆる「低メモリ」解決法が、本出願人によって出願され、番号WO2004/004355（PHFR020065）で公開された国際特許出願において述べられている。この「低メモリ」解決法によれば、ＧＯＦ全体を同時に再構築するのではなく、当該シーケンスのあるＧＯＦのフレームの漸進的ブランチ単位再構築が行われる。図２に（図を簡単にするために８フレームのＧＯＦの場合で）示しているように、ＧＯＦのフレームＦ１からＦ８は４つのフレーム対（couple  of  frames）Ｃ０からＣ３にグループ化され、伝送されるサブバンド全体の集合が黒い線で囲ってあり、生成されるビットストリームはこの図２の下部に示されている（参照符号２１および２２は前記符号化ビットストリームを得られるようにするエントロピー符号化器および算術符号化器を示している）。前記解決法に基づいて実行される処理は次のようなものである。現在のＧＯＦに対応する符号化ビットストリームの部分が初めて復号されるが、実は該ビットストリーム中で第１のフレーム対Ｃ０（最初の２フレームＦ１およびＦ２）に対応する部分――すなわちサブバンドＨ０、ＬＨ０、ＬＬＬ０、ＬＬＨ０――しか保存・復号されない。最初の２フレームＦ１、Ｆ２の復号がすんだら、第１のＨサブバンド（参照符号Ｈ０）は無用になり、そのメモリスペースは次のサブバンドの復号のために使うことができる。そこで、第２のＨサブバンド（参照符号Ｈ１）および次のフレーム対Ｃ１（Ｆ３、Ｆ４）を復号するためには符号化ビットストリームがもう一度読み込まれる。この第２の復号ステップが実行されたら、前記サブバンドＨ１は無用になり、第１のＬＨサブバンド（参照符号ＬＨ０）も同様である。したがって、これらは消去され、次のＨおよびＬＨサブバンド（それぞれ参照符号Ｈ２およびＬＨ１）によって置き換えられる。これらは同じ入力符号化ビットストリームの３回目の復号のおかげで得られる。このようにして現在のＧＯＦのフレーム対ごとに続けていくのである。
【０００６】
ＧＯＦ内のフレーム対単位での反復を使うこの繰り返し復号の解決法について、図３から図６を参照しつつ詳述する。第１の反復工程の間、デコード側で受信された符号化されたビットストリーム（coded  bitstream）ＣＯＤＢは算術デコーダ３１によって復号されるが、第１のフレーム対Ｃ０に対応する復号される部分――すなわちサブバンドＬＬＬ０、ＬＬＨ０、ＬＨ０、Ｈ０――しか保存されない。前記サブバンドに関して、逆の操作（図１に示したものに比べて）が実行される：
・復号されるサブバンドＬＬＬ０およびＬＬＨ０はサブバンドＬＬ０を合成するのに用いられる
・前記合成されたサブバンドＬＬ０および復号されるサブバンドＬＨ０はサブバンドＬ０を合成するのに用いられる
・前記合成されたサブバンドＬ０および復号されるサブバンドＨ０はフレーム対Ｃ０のフレームＦ１、Ｆ２を再構築するのに用いられる。
【０００７】
この第１の復号ステップが達成されたら、第２の復号ステップを開始できる。符号化ビットストリームが再び読み込まれ、第２のフレーム対Ｃ１に対応する復号される部分――サブバンドＬＬＬ０、ＬＬＨ０、ＬＨ０、Ｈ１――だけが保存される（図４参照）。実は、図４で点線で示した情報（ＬＬＬ０、ＬＬＨ０、ＬＨ０）は第１の復号ステップからのものを再利用することができる（これは算術復号後のビットストリーム情報についてはとりわけあてはまる。この圧縮情報のバッファリングはさほどメモリを消費しないからである）。これらのサブバンドを用いて、今度は次の逆の操作が実行される：
・復号されるサブバンドＬＬＬ０およびＬＬＨ０はサブバンドＬＬ０を合成するのに用いられる
・前記合成されたサブバンドＬＬ０および復号されるサブバンドＬＨ０はサブバンドＬ１を合成するのに用いられる
・前記合成されたサブバンドＬ１および復号されるサブバンドＨ１はフレーム対Ｃ１のフレームＦ３、Ｆ４を再構築するのに用いられる。
【０００８】
この第２の復号ステップが達成されたら、第３の復号ステップを同様にして開始できる。符号化ビットストリームが３度目に読み込まれ、第３のフレーム対Ｃ２に対応する復号される部分――サブバンドＬＬＬ０、ＬＬＨ０、ＬＨ１、Ｈ２――だけが保存される（図５参照）。前回と同様、図５で点線で示した情報（ＬＬＬ０、ＬＬＨ０）は第１（または第２）の復号ステップからのものを再利用することができる。次の逆の操作が実行される：
・復号されるサブバンドＬＬＬ０およびＬＬＨ０はサブバンドＬＬ１を合成するのに用いられる
・前記合成されたサブバンドＬＬ１および復号されるサブバンドＬＨ１はサブバンドＬ２を合成するのに用いられる
・前記合成されたサブバンドＬ２および復号されるサブバンドＨ２はフレーム対Ｃ２のフレームＦ５、Ｆ６を再構築するのに用いられる。
【０００９】
この第３の復号ステップが達成されたら、第４の復号ステップを同様にして開始できる。符号化ビットストリームが４度目に読み込まれ（フレーム対４つからなるＧＯＦの場合、最後である）、第４のフレーム対Ｃ３に対応する復号される部分――サブバンドＬＬＬ０、ＬＬＨ０、ＬＨ１、Ｈ３――だけが保存される（図６参照）。同様に、図６で点線で示した情報（ＬＬＬ０、ＬＬＨ０、ＬＬ１、ＬＨ１）は第３の復号ステップからのものを再利用することができる。次の逆の操作が実行される：
・復号されるサブバンドＬＬＬ０およびＬＬＨ０はサブバンドＬＬ１を合成するのに用いられる
・前記合成されたサブバンドＬＬ１および復号されるサブバンドＬＨ１はサブバンドＬ３を合成するのに用いられる
・前記合成されたサブバンドＬ３および復号されるサブバンドＨ３はフレーム対Ｃ３のフレームＦ７、Ｆ８を再構築するのに用いられる。
【００１０】
この手続きがビデオシーケンスの一連のすべてのＧＯＦについて繰り返される。符号化ビットストリームをこの手続きに従って復号する際、同時に記憶する必要があるのは、ＧＯＦ全体ではなく、高々２つのフレーム（たとえばＦ１、Ｆ２）および４つのサブバンド（同じ例ではＨ０、ＬＨ０、ＬＬＨ０、ＬＬＬ０）である。ただし、この低メモリ解決法の短所は複雑さである。ＧＯＦ全体を復号するためには、同じ入力ビットストリームが何度かにわたって（ＧＯＦ内のフレーム対の数と同じ回数だけ）復号されなければならないのである。
【００１１】
この問題に対する解決法は、本出願人によって出願され、番号WO2004/008771（PHFR020073）で公開された国際特許出願において述べられている。この文書では、次の原則が適用される。入力ビットストリームは符号化側で再編成され、最初の２フレームを復号するのに必要なビットがビットストリームの先頭になり、次に第２のフレーム対を復号するのに必要な追加ビットが、その次に第３のフレーム対を復号するのに必要な追加ビットが続く、という具合にするのである。この解決法は、図７で図解されている。ｎ＝３分解レベルの場合を示しているが、この解決法がこうしたレベルの数ｎがいくつであろうと適用可能であることは明らかである。エントロピー符号化器２１の出力において得られるビットｂは今ではビットストリームＢＳ０、ＢＳ１、ＢＳ２、ＢＳ３の形に編成されており、これらはそれぞれ次のものに対応している：
・復号側でフレーム対Ｃ０を再構築するのに有用なサブバンドＬＬＬ０、ＬＬＨ０、ＬＨ０、Ｈ０
・フレーム対Ｃ１を再構築するのに（すでにビットストリーム内にはいっているＬＬＬ０、ＬＬＨ０、ＬＨ０とともに）有用な追加のサブバンドＨ１
・フレーム対Ｃ２を再構築するのに（すでにビットストリーム内にはいっているＬＬＬ０、ＬＬＨ０とともに）有用な追加のサブバンドＬＨ１、Ｈ２
・フレーム対Ｃ３を再構築するのに（すでにビットストリーム内にはいっているＬＬＬ０、ＬＬＨ０，ＬＨ１とともに）有用な追加のサブバンドＨ３
図にあるように、これらの基本ビットストリームＢＳ０からＢＳ３は次いで連結され、伝送される大域ビットストリームＢＳを構成する。該ビットストリームＢＳにおいて、（たとえば）ＢＳ１の部分がフレームＦ３、Ｆ４を再構築するのに十分であるという意味ではない。それどころかＢＳ１に付随しているサブバンドＨ１を復号するにも十分でない。これが意味するのは単に、ビットストリームのＢＳ０の部分があれば最初の２フレームＦ１、Ｆ２（フレーム対Ｃ０）を復号するのに必要な最低限の情報は手にはいり、そのＢＳ０の部分とＢＳ１の部分があれば次のフレーム対ＢＳ１が復号でき、そのＢＳ０およびＢＳ１の部分とＢＳ２の部分があれば次のフレーム対Ｃ２が復号でき、そしてそのＢＳ０、ＢＳ１、ＢＳ２の部分とＢＳ３の部分があれば最後のフレーム対Ｃ３が復号できるということなのである（一般にＧＯＦ内のフレーム対の数が２nの場合、以下同じように続く）。
【００１２】
再編成されたビットストリームを用いれば、先に述べた繰り返し復号の解決法はもはや必要ない。符号化ビットストリームは、復号側で、新たに復号されるビットが常に現在のフレームの再構築に関係するものとなるように編成がなされているのである。このビデオ符号化法のある実装が図８から図１０のフローチャートで示される。図８の参照符号８１から８５に示されているところでは、現在のＧＯＦ（ステップ８１）はＮ＝２n個のフレームＡ０、Ａ１、Ａ２、…、Ａ(N−1)からなり、これが一連のフレーム対（COF:  couple  of  frames）Ｃ＝（Ａ０，Ａ１）、Ｃ１＝（Ａ２，Ａ３）、…、Ｃ((N/2)−1)＝（Ａ(N−2)，Ａ(N−1)）に編成される（ステップ８２）。第１の時間的レベル（temporal  level）ＴＬ１において、時間的フィルタ処理ステップＴＦがまず各フレーム対に対して実行され（ステップ８４のＴＦＣＯＦ）、これが出力ＴＦ（Ｃ０）＝（Ｌ[1,0]，Ｈ[1,0]）、ＴＦ（Ｃ１）＝（Ｌ[1,1]，Ｈ[1,1]）、…、ＴＦ（Ｃ((N/2)−1)）＝（Ｌ[1,
((N/2)−1)]，Ｈ[1, ((N/2)−2)]）を導く。ここで、Ｌ[.]およびＨ[.]はここで得られる低域および高域の時間的サブバンドを示している。次いで、更新（updating）ステップ８５（ＵＰＤＡＴ）は、各フレーム対Ｃ０、Ｃ１など…と当該フレーム対についての何らかの情報を含んでいる各サブバンドとの間のつながりの論理的な指標を保存できるようにする。所与のフレーム対と所与のサブバンドとの間のこれらのつながりは次の形の論理関係式によって指示される。
【００１３】
L[1,0]_IsLinkedWith_C0＝TRUE
H[1,0]_IsLinkedWith_C0＝TRUE
L[1,1]_IsLinkedWith_C1＝TRUE
H[1,1]_IsLinkedWith_C1＝TRUE
など…
（この論理関係式は、あらかじめステップＩＮＩＴ８３において「全時間的サブバンドＳについて、全フレーム対Ｃについて、S_IsLinkedWith_C＝FALSE」のように初期化されている。）
図９の参照符号９１から９８で示されるところでは、次いでサブバンド分解がｊｔ＝１と示した操作９１およびｊｔ＝ｊｔ＋１と示した操作９５の間で実行できる。ここで、ステップ９１は第１の時間的分解レベルの開始であり、ステップ９５は図９に示した戻りループに従った次の時間的分解レベルの制御であり、検査９６後にｊｔが、各ＧＯＦ内のフレーム数に関連したある所定の値ｊｔ＿ｍａｘより小さい場合にのみ有効とされる。各時間的分解レベルにおいて、Ｌサブバンドから次の関係式に従って新しい対Ｋが形成される（ステップ９２のＫＦＯＲＭ）。
【００１４】
K0＝(L[jt,0],L[jt,1])
K1＝(L[jt,2],L[jt,3])
………
そしてこれらの新しい対時間的フィルタ処理（temporal  filtering）ステップＴＦが今一度実行される（ステップ９３のＴＦＩＬＴ）。
【００１５】
TF(K0)＝(L[jt＋1,0],H[jt＋1,0])
TF(K1)＝(L[jt＋1,1],H[jt＋1,1])
………
次に更新ステップ９４（ＵＰＤＡＴ）が設けられていて、こうして得られた各サブバンドと元のフレーム対との間のつながりを確立する。すなわち、所与のサブバンドが復号側で現在のＧＯＦの所与のフレーム対を再構築する際に関わってくるか否かを決定するのである。時間的分解の終わりには、伝送すべきサブバンドに対応する次のサブバンドが抽出される（extracted）（ステップ９７のＥＸＴＲＡＣ）。
【００１６】
L(jt_max,n)      n＝0からN/(2jt)まで
H(jt,n)      jt＝1からjt_maxまで、n＝0からN/(2jt)まで
この集合は以下の記述ではＴと呼ぶ。次いで、前記サブバンドの空間的分解（spatial  decomposition）が実行され（ステップ９８のＳＤＥＣＯＭＰ）、結果として得られるサブバンドが最終的に図１０のフローチャートに従ってエンコードされ、こうしてついに、出力される符号化ビットストリームＢＳ（図７に示したようなもの）が得られる。
【００１７】
エントロピー符号化（entropy  coding）ステップ１１０（ＥＮＣ）後、ビット予算レベル（bit  budget  level）の制御（ステップ１１１のＢＵＤＬＥＶ）がエンコーダの出力において実行される。ビット予算に達していなければ、現在の出力ビットbが考慮され（ステップ１１２）、nが初期化され（ステップ１１３）、集合Ｔからの考慮対象とするサブバンドＳ（ステップ１１４）に対して検査１１５が実行される。bがSについて何らかの情報（information）を含んでおり（ステップ１１５のＢＩＮＦＳ）、Sがフレーム対Cnとつながりがあれば（linked）（ステップ１１６のSLINKCN）、考慮中のビットはビットストリームBSn（図１から図７に関連して先に示した例ではn＝0,1,2,3）に付加され（appended）（ステップ１１７のＢＡＰＰ）、次の出力ビットbが考慮される。bがSについての情報を含んでいないか、あるいはSがフレーム対Cnとつながりがなければ、次の（next）サブバンドSが考慮される（ステップ１１８のＮＥＸＴＳ）。Ｔにあるすべての（all）サブバンドがまだ考慮されていなければ（ステップ１１９のＡＬＬＳ）、操作（ステップ１１５から１１８）がさらに実行される。前記サブバンドがすべて解釈されてしまったら、nの値を１増して（ステップ１２０）、操作（ステップ１１４から１２０）はさらに原データの次のフレーム対についてさらに実行される（このようにしてnの最後の値まで続けられる）。符号化ステップ１１０の出力において、もしすでにビット予算に達していたら、それ以上の出力ビットｂは考慮されない。
【００１８】
最後に、すべての出力ビットの考慮がすむか、ビット予算に達するか（ステップ１１１）した場合には、符号化段階全体が完了したと考えられ、得られた個々のビットストリームBSnが連結されて（concatenated）（n＝0からその最大値まで）最終的なビットストリームＢＳとなる（ステップ１３０のＣＣＡＴ）。復号側では、復号段階が実行されるわけだが、それについてこれから図１１を参照しつつ説明する。ここで、「状態０」（１、２、…、ｎも同様）は、エントロピーエンコーダの機能が単一のフレーム対、図示した例では０から３があるが今の場合でいえばＣ０に（一般的にはＣ０、Ｃ１、Ｃ２、…、Ｃｎのどれかに）制限されているということを意味する。実際上は、符号化ビットストリームのビットbが受信され、復号されるとき、それはある所与の空間・時間的サブバンドにおけるあるピクセルに（あるいはそのようなサブバンドのある集合中のいくつかのピクセルに）関係した何らかのピクセル有意情報（または集合有意情報）を含んでいると解釈される。もしこれらのサブバンドのどれも現在のフレーム対Ｃｎ（今の場合ではＣ０）の再構築に寄与しないとすれば、ビットｂは再解釈される必要があり、エントロピーデコーダＤＥＣは次の状態に遷移する。これは、ｂがＣｎ（今の場合ではＣ０）の再構築に寄与すると解釈されるまで続く。次のビットについても同様で、現在のサブビットストリームが完全に復号されるまで続く。
【００１９】
記述されている第一のフレーム対Ｃ０（状態「０」）についての復号は、したがって、上記の説明を用いればほぼそのままであり、図１１はフレーム対Ｃ０の３Ｄサブバンド空間・時間的合成を明瞭に示している。第３合成レベルｊｔ＝３において、サブバンドＬＬＬ０およびＬＬＨ０は動き補償（曲線矢印）を加味した上で組み合わされ、第２分解レベルｊｔ＝２の適切なサブバンドＬＬ０を合成する。このサブバンドＬＬ０とサブバンドＬＨ０が今度は動き補償を加味した上で組み合わされ、第１分解レベルｊｔ＝１の適切なサブバンドＬ０を合成する。このサブバンドＬ０とサブバンドＨ０が今度は動き補償を加味した上で組み合わされ、当該フレーム対Ｃ０（ｊｔ＝０）を合成する。より一般には、完全なＧＯＦの大きさがＮ＝２nだとすると、（ｎ＋１）個の時間的サブバンド（低域時間的サブバンド１つと高域時間的サブバンドｎ個）を復号する必要があり、（ｎ−１）個の低域時間的サブバンドを再構築する必要がある。これは、ＧＯＦ全体を一度に復号し、再構築する場合に比べてメモリスペースのかなりの削減にあたる。図示した場合で言えば、各ステップで再構築されたより低い時間的レベルの低域サブバンド（たとえばｊｔ＝２のＬＬ０）はその前の低域サブバンド（たとえばｊｔ＝３のＬＬＬ０）に上書きされ、前の低域サブバンドはなくなる。
【００２０】
そのような解決法では、メモリ内に時間的サブバンドが（ｎ＋１）個より多く存在することはない。しかしながら、なくなったサブバンドの一部は次のフレーム対を再構築するのに使用されるので再び合成しなければならなくなる。これは若干複雑さを増すことになる。特に動き補償が関わる場合はそうである。
【発明の開示】
【発明が解決しようとする課題】
【００２１】
したがって、この欠点を避けられるようにする復号法を提案することが本発明の第一の目的である。
【課題を解決するための手段】
【００２２】
この目的のため、本発明は本記載の冒頭で指定されたようなビデオ符号化法であって、さらに：
・一方では、当該現在のＧＯＦのうちの前記最初のフレーム対の再構築のために、
・前記符号化ビットストリームの現在のサブビットストリームの現在の各ビットｂを復号し、
・復号された各ビットを、所与の空間・時間的サブバンドまたはそのようなサブバンドの組の中の一つまたはいくつかのピクセルに関係する有意情報を含んでいると解釈し、
・前記サブバンドの前記最初のフレーム対の再構築への寄与を検査し、該第一のフレーム対のフレーム以外のフレームに関係する情報を含んでいる復号ビットのみを保存し、該保存されたビットはビットストリームの部分抽出された部分と呼ばれるものを形成し、
・前記最初のフレーム対を再構築する、
サブステップを有し、
・他方では、当該現在のＧＯＦのうちの前記（ｎ−１）個の他のフレーム対の再構築のために、前記符号化ビットストリームの以前の部分抽出された部分と新しい現在のサブビットストリームとを以下の規則、すなわち：
・前記以前の部分抽出された部分の復号サブステップが前記新たに復号されるサブバンドに関係する関連情報を取得するためだけに実行され、
・あるビットＢを復号する際に、それが前記新たに復号されるサブバンドのみに関する情報を含んでいると解釈される場合には、それは保存され、切り換え操作によって当該符号化ビットストリームの前記新たな現在のサブビットストリームにおける次のビットに換わられ、
・前記新たな現在のサブビットストリーム内のビットの復号を続けているときに、前記新たな現在のサブビットストリームのビットが新たに復号されるサブバンド以外のサブバンドについての情報を含んでいると解釈され次第、前記以前の部分抽出された部分およびその最後の未復号保存ビットに再切り換えして戻され、
・同時にビットストリームの次の部分抽出された部分を保存し、該部分は前記以前に部分抽出された部分および前記新たな現在のサブビットストリームのビットの合成であり、もはや必要とされることのないビットは含まないものであること、
に従って組み合わせることによって現在のサブバンドを復号するサブステップを有しており、
当該復号方法が現在のＧＯＦの各フレーム対を逐次的に最後のものまで再構築するためにこのようにして適用されることを特徴とする方法に関するものである。
【００２３】
前記復号方法の実装のための復号装置を提案することもまた本発明の目的の一つである。
【００２４】
本発明についてこれから付属の図面を用いて説明する。
【発明を実施するための最良の形態】
【００２５】
あるフレーム対（図１１の例ではＣ０）のフレームが再構築されたときには、第一の時間的分解レベルにおける対応する二つの時間的サブバンドＬ０、Ｈ０はもはや必要ではない。その様子を図１２に示している。対応するメモリスペースは次のフレーム対（フレーム対Ｃ１の場合、Ｌ１およびＨ１）の再構築ができるようにする二つの時間的サブバンド（ＬおよびＨ）に割り当てることができる。Ｌ１は次の時間的レベルにおけるＬＬ０およびＬＨ０（これは保持された）から合成されるが、Ｈ１はビットストリームＢＳ１の次の部分から復号する必要がある。しかし、ビットストリームのこの部分は単独では復号できない。以前の部分からいくつかの要素を必要とするからである。
【００２６】
そこで本発明の原理は次のようなものとなる。以前の部分から、現在のビットストリームを正しく復号するのにまだ必要とされているビットのみを含むよう、いわゆる「部分抽出」されたバージョンを保持することが提案される。実際上はこれは、それぞれの復号されたビットｂは、それが含む情報がこれから再構築しなければならないフレームに関係していればバッファ内に保存されるということを意味する。図１３に示すように、以前の部分、今の場合ではＢＳ０は、以前に消去されたサブバンド（図１３では×で示してある）についてのみの情報をもつビットと、他のサブバンドについての情報ももつビットとを含んでいる。現在のサブバンドを復号するためにビットストリームの現在の部分と組み合わされるためにこの後者が保存される。図１４を参照しての以下の記述は、伝送されたビットストリームのそのような以前の部分と現在の部分とが、前記現在のサブバンドを復号するためにいかにして組み合わされるかを示す。図１４では、新たなサブバンドＨを復号するために組み合わされるのに関与する部分が参照符号ＢＳ′０およびＢＳ１によって示されている。
【００２７】
まず、部分抽出されたビットストリームＢＳ′０はあたかももとのＢＳ０であるかのように復号される。ただし、「状態１」の規則が適用される。（「状態ｎ」というのは、エントロピーエンコーダの通常の機能がただ一つのフレーム対Ｃｎの再構築によって制限されるという意味であることを想起されたい。実際上は、ビットｂが復号されるときに、それは所与の空間・時間的サブバンドにおけるあるピクセルに――またはそのようなサブバンドの集合内のいくつかのピクセルのそれぞれに――関係するなんらかのピクセル有意情報――または集合有意情報――を含んでいるものと解釈され、当該ビットｂはもしこれらのサブバンドのどれも現在のフレーム対Ｃｎの再構築に寄与しない場合には解釈しなおされる必要があり、その結果、ｂがＣｎの再構築に寄与すると解釈されるまでエントロピーデコードは次の状態にジャンプする。）ただし、主たる相違点は、
・ＢＳ′０は「状態１」の規則に従い、ビットｂは以前に消去されたサブバンドやそのようなサブバンドのみを含む集合に属する（「状態０」）ものと解釈されることはできない、
・ＢＳ′０の復号は、各ビット平面において新たに復号されるサブバンドに関する集合有意情報を受け取るためにのみ有用である（ピクセル有意情報――あるいは非有意情報――は物理的に書き込まれる必要はない。対応するサブバンドはすでに復号され、保存されているのだから）
・デコーダによって新たに復号されるサブバンドのみに関する情報を含んでいると解釈されたビットｂを復号する際には、このビットｂは当面保存され、切り換えによって新たな部分ＢＳ１の次のビットによって（初めての切り換えの場合にはＢＳ１の先頭ビットによって）換わられる。
【００２８】
この切り換えのおかげで、部分抽出されたビットストリームＢＳ′０が新たに復号されるサブバンドに書き込まれることは決してできない。同様に、ＢＳ１内のビットの復号を続けていて、あるビットが新たに復号されるサブバンド以外のサブバンドについての情報を含んでいると解釈され次第、ＢＳ′０およびその最後の未復号ビット（保存されたもの）に切り換えして戻される。まとめると、ＢＳ′０は「状態０」と「状態１」の交わりである中間状態Ｓ′を使って復号され、ＢＳ１は「状態１」の残りの部分を使って復号されるということができる（切り換えは、一方の部分にあるビットがもう一方の部分の状態に属すると解釈され次第行われる）。
【００２９】
上記と同時に、次の部分抽出ビットストリームが生成される。それは、前記切り換えに従い、もはや必要とされないビットは含まないＢＳ′０とＢＳ１の組み合わせである。これは図１５および図１６を参照して説明される。これらの図はいかにして二つの部分を組み合わせ、新たに部分抽出されたビットストリームを構築するかを示すものである。
【００３０】
（ａ）ステップ１（図１５）：
・以前の部分抽出されたビットストリームＢＳ′０が復号され、そのビットの一つが新たに復号されるサブバンドに属するものと解釈される。すると、当該ビットストリームの現在の部分ＢＳ１の適切な部分への切り換えが行われて復号処理が続けられる。
【００３１】
・同時に、再び有用になるすべての復号されたビットが、新たに部分抽出されたビットストリームＢＳ′１に付加される。
【００３２】
（ｂ）ステップ２（図１６）：今復号されている現在の部分ＢＳ１について、そのビットの一つが他のサブバンドに属するものと解釈される。すると、以前に部分抽出されたビットストリームＢＳ′０における適切な（以前に保存された）ビットへの切り換えが行われる。
【００３３】
この処理が同様にしてステップ１と２の間で続けられる。２つのビットストリームＢＳ′０およびＢＳ１のある図１６の例において、現在のビットストリームＢＳ１は第一の時間的分解レベルの高域サブバンドについての情報しか含んでいかないことが注目される。したがって、そのビットはどれも保存する必要がなく、新たに部分抽出されたビットストリームＢＳ′１は単にＢＳ′０の部分抽出版である。しかし、一般の場合には、ビットストリームの次の部分ＢＳ（ｎ＋１）はＢＳ′（ｎ）とＢＳ（ｎ＋１）との組み合わせの本物の部分抽出版となりうる。フレーム対Ｃ１が合成されたのち、いくつかのサブバンド（より精確には、ｊｔ＝１およびＪｔ＝２のレベルにあるすべてのサブバンド）はそれ以上有用ではなくなり、消去してよい。次のビットストリーム部分を復号するときには、次のフレーム対を再構築するために他のサブバンドがそれらを置き換え、そのようにして続いていく。
【図面の簡単な説明】
【００３４】
【図１】３Ｄサブバンド分解が、今の８フレームのグループの場合について実行される様子を示す図である。
【図２】前記分解によって得られるサブバンドのうち、伝送されるサブバンドおよびそのようにして形成されるビットストリームを示す図である。
【図３】入力された符号化ビットストリームを復号するために逐次的に実行される、本出願によって先に提案された復号方法を示す図である。
【図４】入力された符号化ビットストリームを復号するために逐次的に実行される、本出願によって先に提案された復号方法を示す図である。
【図５】入力された符号化ビットストリームを復号するために逐次的に実行される、本出願によって先に提案された復号方法を示す図である。
【図６】入力された符号化ビットストリームを復号するために逐次的に実行される、本出願によって先に提案された復号方法を示す図である。
【図７】本出願人によって先に提案されたビデオ符号化方法の基本原理を示す図である。
【図８】図７に示されるビデオ符号化方法の実装を示すフローチャートの第１の部分である。
【図９】図７に示されるビデオ符号化方法の実装を示すフローチャートの第２の部分である。
【図１０】図７に示されるビデオ符号化方法の実装を示すフローチャートの第３の部分である。
【図１１】図７から図１０の符号化方法に対応する復号方法を示す図である。
【図１２】表示されるべきあるフレーム対が再構築されたときに一部のサブバンドがもはや必要ではなくなる様子を示す図である。
【図１３】すでにスキャンされたビットストリームの諸部分の部分抽出されたビットストリームがいかにして得られるかを示す図である。
【図１４】伝送されるビットストリームＢＳの以前に部分抽出された部分（ＢＳ′０）および現在の部分ＢＳ１が、現在のサブバンドを復号し、次のフレーム対を再構築するために組み合わされる様子を示す図である。
【図１５】ビットストリームのうち前に部分抽出された部分および現在の部分を組み合わせ、次の部分抽出されたビットストリームを構築する仕方を示す図である。
【図１６】ビットストリームのうち前に部分抽出された部分および現在の部分を組み合わせ、次の部分抽出されたビットストリームを構築する仕方を示す図である。
【図１】
2006526923.tif 000003
【図２】
2006526923.tif 000004
【図３】
2006526923.tif 000005
【図４】
2006526923.tif 000006
【図５】
2006526923.tif 000007
【図６】
2006526923.tif 000008
【図７】
2006526923.tif 000009
【図８】
2006526923.tif 000010
【図９】
2006526923.tif 000011
【図１０】
2006526923.tif 000012
【図１１】
2006526923.tif 000013
【図１２】
2006526923.tif 000014
【図１３】
2006526923.tif 000015
【図１４】
2006526923.tif 000016
【図１５】
2006526923.tif 000017
【図１６】
2006526923.tif 000018
【国際調査報告】
2006526923.tif 000019
2006526923.tif 000020
2006526923.tif 000021