(57)【要約】本発明はビデオ・フレーム群を符号化する方法及び装置に関する。本発明によれば、該群における少なくとも１つのフレームにおける領域が複数基準フレームにおける領域に照合される。該少なくとも１つのフレームにおける該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異が算定される。該差異はウェーブレット係数に変換される。本発明は更に、フレーム群を、上記符号化を逆にしたものを行うことによって、復号化する方法及び装置に関する。
2005524354.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ・フレーム群を符号化する方法であって：
該群における少なくとも１つのフレームにおける領域を複数基準フレームにおける領域に照合する工程；
該少なくとも１つのフレームにおける該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定する工程；及び
該差異をウェーブレット係数に変換する工程；
を有することを特徴とする方法。
【請求項２】
請求項１記載の方法であって、該複数基準フレームが該群における先行フレームであることを特徴とする方法。
【請求項３】
請求項１記載の方法であって、該複数基準フレームが該群における後続フレームであることを特徴とする方法。
【請求項４】
請求項１記載の方法であって、該複数基準フレームが該群における先行フレーム及び後続フレームであることを特徴とする方法。
【請求項５】
請求項１記載の方法であって、更に：
該少なくとも１つのフレームにおける該領域の該画素値と該複数フレームにおける該領域の該画素値との間の該差異をスケーリング係数によって除算する工程；
を有することを特徴とする方法。
【請求項６】
請求項１記載の方法であって、更に：
該ウェーブレット係数を重み情報によって符号化する工程；
を有することを特徴とする方法。
【請求項７】
請求項１記載の方法であって、更に：
該ウェーブレット係数をエントロピ符号化する工程；
を有することを特徴とする方法。
【請求項８】
ビデオ・フレーム群を符号化するコードを有するメモリ媒体であって、該コードが：
該群における少なくとも１つのフレームにおける領域を複数基準フレームにおける領域に照合するコード；
該少なくとも１つのフレームにおける該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定するコード；及び
該差異をウェーブレット係数に変換するコード；
を有することを特徴とするメモリ媒体。
【請求項９】
ビデオ・シーケンスを符号化する装置であって：
該ビデオ・シーケンスをフレーム群に分割する分割装置；
該群各々における少なくとも１つのフレームを、複数基準フレームを用いて、動き補償時間的フィルタ化する、装置；及び
該群各々をウェーブレット係数に変換する空間的分解装置；
を有することを特徴とする装置。
【請求項１０】
請求項９記載の装置であって、該動き補償時間的フィルタ化する装置が：
該少なくとも１つのフレームにおける領域を該複数基準フレームにおける領域に照合する動き予測装置；及び
該少なくとも１つのフレームにおける該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異を算定する時間的フィルタ化装置；
を有することを特徴とする装置。
【請求項１１】
請求項９記載の装置であって、該複数基準フレームが同じ前記フレーム群における先行フレームであることを特徴とする装置。
【請求項１２】
請求項９記載の装置であって、該複数基準フレームが同じ前記フレーム群における後続フレームであることを特徴とする装置。
【請求項１３】
請求項９記載の装置であって、該複数基準フレームが同じ前記フレーム群における先行フレーム及び後続フレームであることを特徴とする装置。
【請求項１４】
請求項10記載の装置であって、該時間的フィルタ化装置が該少なくとも1つのフレームにおける該領域における該画素値と該複数基準フレームにおける該領域における該画素値との間の該差異をスケーリング係数によって除算することを特徴とする装置。
【請求項１５】
請求項９記載の装置であって、更に：
該ウェーブレット係数を重み情報によって符号化する装置；
を有することを特徴とする装置。
【請求項１６】
請求項９記載の装置であって、更に：
該ウェーブレット係数をビットストリームに符号化するエントロピ符号化装置；
を有することを特徴とする装置。
【請求項１７】
符号化ビデオ・フレーム群を有するビットストリームを復号化する方法であって：
該ビットストリームをエントロピ復号化してウェーブレット係数を生成する工程；
該ウェーブレット係数を部分的に復号化されたフレームに変換する工程；及び
少なくとも１つの部分的に復号化されたフレームを、複数基準フレームを用いて、逆時間的フィルタ化する工程；
を有することを特徴とする方法。
【請求項１８】
請求項１７記載の方法であって、該逆時間的フィルタ化する工程が：
先行して、該少なくとも１つの部分的に復号化されたフレームにおける領域に、照合された該複数基準フレームからの領域を取り出す工程；及び
該複数基準フレームにおける該領域の画素値を該少なくとも１つの部分的に復号化されたフレームにおける該領域の画素値に加算する工程；
を有することを特徴とする方法。
【請求項１９】
請求項１８記載の方法であって、該複数基準フレームからの領域を取り出す工程は該ビットストリームが有する動きベクトル及びフレーム番号によって行われることを特徴とする方法。
【請求項２０】
請求項１７記載の方法であって、該複数基準フレームが該群における先行フレームであることを特徴とする方法。
【請求項２１】
請求項１７記載の方法であって、該複数基準フレームが該群における後続フレームであることを特徴とする方法。
【請求項２２】
請求項１７記載の方法であって、該複数基準フレームが該群における先行フレーム及び後続フレームであることを特徴とする方法。
【請求項２３】
請求項１７記載の方法であって、更に：
該少なくとも１つの復号化されたフレームを、スケーリング係数によって、乗算する工程；
を有することを特徴とする方法。
【請求項２４】
請求項１７記載の方法であって：
該ウェーブレット係数を重み情報によって復号化する工程；
を有することを特徴とする方法。
【請求項２５】
符号化ビデオ・フレーム群を有するビットストリームを復号化するコードを有するメモリ媒体であって、該コードが：
該ビットストリームをエントロピ復号化してウェーブレット係数を生成するコード；
該ウェーブレット係数を部分的に復号化されたフレームに変換するコード；及び
少なくとも１つの部分的に復号化されたフレームを、複数基準フレームを用いて、逆時間的フィルタ化するコード；
を有することを特徴とするメモリ媒体。
【請求項２６】
符号化ビデオ・フレーム群を有するビットストリームを復号化する装置であって：
該ビットストリームをウェーブレット係数に復号化するエントロピ復号化装置；
該ウェーブレット係数を部分的に復号化されたフレームに変換する空間的再構成装置；及び
先行して、少なくとも１つの部分的に復号化されたフレームにおける領域に、照合された、複数基準フレームからの領域を取り出す工程、と、該複数基準フレームにおける該領域の画素値を該少なくとも１つの部分的に復号化されたフレームにおける該領域の画素値に加算する工程、とを行う逆時間的フィルタ化装置；
を有することを特徴とする装置。
【請求項２７】
請求項２６記載の装置であって、該複数基準フレームからの領域を取り出す工程は該ビットストリームが有する動きベクトル及びフレーム番号によって行われることを特徴とする装置。
【請求項２８】
請求項２６記載の装置であって、該逆時間的フィルタ化装置が該少なくとも１つの部分的に復号化されたフレームをスケーリング係数によって乗算することを特徴とする装置。
【請求項２９】
請求項２６記載の装置であって、更に：
該ウェーブレット係数を重み情報によって復号化する重み復号化装置；
を有することを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ビデオ圧縮に関し、特に、動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化に関する。
【背景技術】
【０００２】
現行のビデオ符号化アルゴリズムのいくつかは動き補償予測符号化で、混成手法と考えられるもの、に基づくものである。そのような混成手法においては、時間的冗長度は動き補償を用いて低減される一方、空間的冗長度は動き補償の残余を変換符号化することによって低減される。通常用いられる変換は離散コサイン変換（DCT）又はサブバンド/ウェーブレット分解を有する。そのような手法は、しかしながら、真にスケーラブルなビットストリームを備える点で柔軟性を欠く。
【０００３】
３Dサブバンド/ウェーブレット（以下「３Dウェーブレット」）として知られる別の種類の手法は異種ネットワーク間でビデオを伝送する現行のシナリオにおいて特に評判を得ている。これらの手法はそのようなアプリケーションにおいて望ましいものであるが、それはビットストリームが非常に高い柔軟性を有する、スケーラブルなものになり、エラー耐性が高くなるからである。３Dウェーブレットでは、DCTベースの符号化のようにブロック毎ではなく、フレーム全体が一度に変換される。
【０００４】
３Dウェーブレット手法の構成部分の１つに、動き補償時間的フィルタ化（MCTF）で、時間的冗長度を低減するよう行われるもの、がある。このMCTFの例を記載した文献がある（非特許文献１（以下「Woods」として表す。）参照。）。
【非特許文献１】Seung-Jong  Choi  及び  John  Woods,  “Motion-Compensated  ３−D  Subband  Coding  of  Video”,  IEEE  Transactions  On  Image  Processing,  Volume  8,  No.  2,  February  1999
【発明の開示】
【発明が解決しようとする課題】
【０００５】
Woodsにおいては、フレームは動きの方向において時間的に、空間的分解が行われる前に、フィルタ化される。この時間的フィルタ化の間は、画素の一部は、その情景における動きの特性及びオブジェクトの被覆/非被覆によって、参照されないものであるか複数回参照されるものであるかの何れかである。そのような画素は非接続画素として知られ、特別な取り扱いを要し、それによって符号化効率の低減をもたらす。Woodsから引用した、非接続画素及び接続画素の例、を図１に表す。
【課題を解決するための手段】
【０００６】
本発明はビデオ・フレーム群を符号化する方法及び装置に関する。本発明によれば、該群における少なくとも1つのフレームにおける領域が複数基準フレームにおける領域に照合される。該少なくとも１つのフレームにおける該領域の画素値と該複数基準フレームにおける該領域の画素値との間の差異が算定される。該差異はウェーブレット係数に変換される。
【０００７】
本発明は更に、符号化ビデオ・フレーム群が有するビットストリームを復号化する方法及び装置に関する。本発明によれば、該ビットストリームはエントロピ復号化されてウェーブレット係数を生成する。該ウェーブレット係数は変換されて部分的に復号化されたフレームを生成する。少なくとも１つの部分的に復号化されたフレームは複数基準フレームを用いて逆時間的フィルタ化される。
【０００８】
一例では、逆時間的フィルタ化は、先行して、該少なくとも部分的に復号化されたフレームにおける領域に、照合された、該複数参照フレームからの領域を取り出す工程及び該複数基準フレームにおける該領域の画素値を該少なくとも１つの部分的に復号化されたフレームにおける該領域の画素値に加算する工程を有する。
【発明を実施するための最良の形態】
【０００９】
次に、添付図面を参照すれば、同じ参照番号は相当する部分を、該図面を通して、表す。
【実施例】
【００１０】
上記のように、３Dウェーブレット手法の構成部分の１つに動き補償時間的フィルタ化（MCTF）で、時間的冗長度を低減するのに行われるもの、がある。該MCTFの間には、特別な取り扱いを要する非接続画素を生成し得るものであり、それによって符号化効率の低減をもたらす。本発明は新たなMTCF手法で、該照合の品質をかなり向上させ、更に、非接続画素数を削減するために、動き予測及び時間的フィルタ化の間に複数基準フレームを用いるもの、に関する。したがって、この新たな手法は最良の照合を向上させて、更に、非接続画素数を削減することによって、符号化効率の向上をもたらすものである。
【００１１】
本発明による符号器の一例は図２に表す。この図２から分かるように、該符号器は入力ビデオを、画像群（GOP）で、一単位として符号化されるもの、に分割する分割装置２を有する。本発明によれば、該分割装置２は、該GOPが、所定数のフレームを有するか、帯域幅、符号化効率、及びビデオのコンテンツのようなパラメータに基づいて動作中に動的に判定される、ように動作する。例えば、該ビデオが急速に変化する情景及び激しい動きを有する場合、GOPが短いほど効率は良い一方、該ビデオの大部分が静止オブジェクトを有する場合、GOPが長いほど効率が良い。
【００１２】
該符号器は、MCTF装置４で、動き予測装置６及び時間的フィルタ化装置８を有するもの、を有することが分かる。動作中には、該動き予測装置６はGOP各々における該フレームに動き予測を行う。上記のように、GOP各々に行う動き予測は複数基準フレームに基づくものである。したがって、該GOPの該フレームにおける画素群又は領域群は同じGOPの別のフレームにおける同様な画素群又は領域群に照合される。したがって、該GOPにおける別のフレームは処理フレーム毎の基準フレームである。
【００１３】
一例では、動き予測装置６は後方予測を行う。したがって、該GOPの1つ以上のフレームにおける画素群又は領域群が同じGOPの先行フレームにおける同様な画素群又は領域群に照合する。この例では、該GOPにおける先行フレームは処理フレーム毎の基準フレームである。GOP各々が一単位として処理されるので、第１フレームは処理されないことがあるが、それは利用可能な先行フレームがないからである。しかしながら、代替として、第1フレームは別の例では前方予測される。
【００１４】
別の例では、動き予測装置６は前方予測を行う。したがって、該GOPの1つ以上のフレームにおける画素群又は領域群は同じGOPの後続フレームにおける同様な画素群又は領域群に照合される。この例では、該GOPにおける該後続フレームが処理フレーム毎の基準フレームである。GOP各々が一単位として処理されるので、最終フレームは処理されないことがあるが、それは利用可能な先行フレームが何もないからである。しかしながら、代替として、最終フレームは別の例では後方予測されることがあり得る。
【００１５】
別の例では、動き予測装置６は双方向予測を行う。したがって、GOPの1つ以上のフレームにおける画素群又は領域群が同じGOPの先行フレームと後続フレームとの両方における同様な画素群又は領域群に照合される。この例では、該GOPにおける該先行フレーム及び該後続フレームは処理フレーム毎の基準フレームである。各GOPが一単位として処理されるので、GOPの第１フレーム及び最終フレームは双方向には処理されないものである。したがって、この例では、第１フレームと最終フレームとの何れか一方が動き予測装置６によって処理されないことがあり、他方には前方予測と後方予測との何れかが行われる。
【００１６】
上記照合の結果、動き予測装置６は、処理される現行フレームにおいて照合された領域毎の動きベクトルMV及びフレーム番号を備える。いくつかの場合には、処理される現行のフレームにおける領域各々に関連する動きベクトルMV及びフレーム番号は1つのみとなる。しかしながら、双方向予測を用いる場合、領域毎に関連する動きベクトルMV及びフレーム番号は2つであり得る。動きベクトル及びフレーム番号各々は、GOPにおける位置及び別のフレームで、同様な領域で処理フレーム各々における該領域に照合されたもの、を有するもの、を示す。
【００１７】
動作中、時間的フィルタ化装置８は動き予測装置６によって備えられる動きベクトルMV及びフレーム番号によってGOP各々のフレーム間の時間的冗長度を除去する。図１から分かるように、WoodsのMCTFは２つのフレームを取り込み、これらのフレームを２つのサブバンドで、低サブバンドと高サブバンドを有するもの、に変換する。該低サブバンドは該２つのフレームにおける相当する画素の（スケール化）平均値に相当する一方、該高いほうのサブバンドは２つのフレームにおける相当する画素間の（スケール化）差異値に相当する。
【００１８】
対照的に、本発明の時間的フィルタ化装置８は単に、各フレームに相当する１つのサブバンド又はフレームを生成する。図２に関して上記で説明したように、GOP各々の第１フレーム又は最終フレームは、後方予測、前方予測、又は双方向予測が用いられることによって、動き予測装置６によって処理されないことがある。したがって、時間的フィルタ化装置８はGOPの第１フレーム又は最終フレームの何れかで、Aフレームとして定義されるもの、に何もフィルタ化を行わないものである。更に、GOPのフレームの残りは、単に、各フレームの領域と該GOPの別のフレームで、Hフレームとして定義されるもの、において見出される同様な領域との間の差異を利用することによって時間的にフィルタ化される。
【００１９】
特に、時間的フィルタ化装置８はHフレームを、最初に、各Hフレームにおける領域に照合された同様な領域を、取り出すことによって、フィルタ化する。これは動き予測装置６によって備えられる動きベクトル及びフレーム基準番号によって行われる。上記のように、各Hフレームにおける領域は同じGOPにおける別のフレームにおける同様な領域に照合される。同様な領域を取り出した後、時間的フィルタ化装置８は次に、同様な領域における画素値と照合領域における画素値との間の差異を算定する。更に、時間的フィルタ化装置８は好ましくはこの差異を任意のスケーリング係数によって除算する。
【００２０】
本発明によれば、上記MCTF手法は符号化効率を向上させるが、それは最良の照合の品質がかなり向上し、非接続画素数が更に、削減されるからである。特に、シミュレーションでは、非接続画素数がフレーム毎で３４％から２２％に削減されることが明らかになっている。しかしながら、本発明のMCTF手法はなお、いくつかの非接続画素を生成する。したがって、時間的フィルタ化装置８が、Woods記載のように、これらの非接続画素を取り扱う。
【００２１】
図２は空間的分解装置１０で、MCTF装置４によって備えられるフレームにおける空間的冗長度を削減するもの、を有することが分かる。動作中に、MCTF装置４から受信されるフレームは２Dウェーブレット変換によってウェーブレット係数に変換される。ウェーブレット変換のフィルタ及び実施には多くの種類のものが存在する。
【００２２】
適切な２Dウェーブレット変換の一例を図３に表す。フレームがウェーブレット・フィルタを用いて低周波サブバンド及び高周波サブバンドに分解されることが分かる。これは２D変換であるので、３つの高周波サブバンド（水平方向、垂直方向、対角線方向）が存在する。低周波サブバンドは（水平周波数と垂直周波数との両方で低い）LLサブバンドと呼ぶ。これらの高周波サブバンドはLH、HL、及びHHと呼ばれ、水平高周波数、垂直高周波数及び水平と垂直との両方の高周波数に相当する。低周波サブバンドは更に、再帰的に分解し得る。図３では、WTはウェーブレット変換を表す。Stephen  Mallatによる、「A  Wavelet  Tour  of  Signal  Processing,  Academic  Press,  1997」と題する教本に別の周知のウェーブレット変換手法が記載されている。
【００２３】
図２をもう一度参照すれば、符号器は更に、空間的分解装置10の出力を重み情報によって符号化する重み符号化装置１２を有し得る。この例では、重みはウェーブレット係数の大きさを表し得るものであり、係数が大きいほど、重みは大きくなる。この例では、重み符号化装置１０が空間的分解装置10から受信したウェーブレット係数を検査して、更に、大きさによってウェーブレット係数を再配列する。したがって、最大の大きさを有するウェーブレット係数が最初に送出される。重み符号化の一例は階層ツリーにおける集合分割（SPIHT）である。これはA.  Said及びW.  Pearlmanによる「A  New  Fast  and  Efficient  Image  Codec  Based  on  Set  Partitioning  in  Hierarchical  Trees,  IEEE  Transactions  on  Circuits  and  Systems  for  Video  Technology,  vol.  6,  June  1996」と題する論文に記載されている。
【００２４】
図２は、上記動作の一部の間の相互依存関係を示す点線を有することが分かる。1つの場合には、動き予測６は重み符号化１２の特性によってかわってくる。例えば、動き予測によって生成される動きベクトルはウェーブレット係数のどれに重みがあるかを判定するのに用い得る。別の場合には、空間的分解８は更に、重み符号化１２の種類によって変わってくるものであり得る。例えば、ウェーブレット分解のレベル数は重み係数の数に関連し得る。
【００２５】
更に、図２は出力ビットストリームを生成するエントロピ符号化装置１４を有することが分かる。動作中に、エントロピ符号化手法が適用されてウェーブレット係数を出力ビットストリームに符号化する。エントロピ符号化手法は更に、動き予測装置６によって備えられる動きベクトル及びフレーム番号に適用される。この情報は復号化を可能にするために出力ビットストリームが有する。適切なエントロピ符号化手法の例は、可変長符号化及び算術符号化を有する。
【００２６】
本発明による動き予測の一例は図4に表す。上記のように、本発明による動き予測は複数基準フレームを利用する。図４から分かるように、この例では後方予測が用いられている。したがって、処理されている現行フレームからの種々のブロックが先行フレームにおける同様なブロックに照合される。この例では、２つの基準フレームを表すが、基準フレームの数は固定であり得るものであるか、符号化処理中に適応的に選択される。更に、この例ではブロック・ベースの動き予測手法が利用されることを特筆する。更に、このストラテジは階層的なものであり、可変ブロック・サイズを可能にする。
【００２７】
本発明による時間的フィルタ化の一例を図５に表す。旧手法は左側にある一方、本発明による新手法は右側にあることが分かる。旧手法では、現行フレームからの画素及び単一基準フレームからの画素が一緒にフィルタ化されて相当するHフレーム及びLフレームを生成する。対照的に、新しい時間的フィルタ化方法では、現行フレームからの画素及び複数フレームからの画素が一緒にフィルタ化される。この例では、基準フレームが先行フレームであるように後方予測が利用されている。
【００２８】
更に、複数基準フレームからの画素領域又は画素群が新しい時間的フィルタ化手法に利用されるので、相当するLフレームも生成する必要はない。その代わりに、Aフレームと呼ばれる第１フレーム以外の、GOPにおける、フレーム各々に相当するHフレームが生成される。Hフレームは現行フレームからの画素各々を先行フレームにおけるその照合相手とともにフィルタ化することによって生成される。
【００２９】
図5の右側から分かるように、フレーム2からの画素がフレーム１における画素に照合され、フレーム３からの画素がフレーム１とフレーム２との両方の画素に照合され、フレーム４からの画素はフレーム１、２、及び３における画素に照合されている。フレーム２からの画素はその相当する照合相手とともに時間的にフィルタ化されて相当するHフレームを生成する。同様に、フレーム３及び４からの画素が相当する照合相手とともに時間的にフィルタ化されて相当するHフレームを生成する。図１の右側から更に分かるように、フレーム１からの画素はフィルタ化されず、変わらないままの状態で転送される。上記のように、この種類のフレームがAフレームと定義される。
【００３０】
本発明による時間的フィルタ化の別の例を図６に表す。この例では、双方向予測を利用している。上記のように、双方向予測では、処理されるフレーム各々における領域を先行フレームと後続フレームとの両方における領域に照合し得る。更に、これらの領域はその照合相手とともに先行フレーム及び後続フレームにおいて時間的にフィルタ化される。双方向フィルタ化は望ましいものであるが、それは情景変化の前後に及ぶフレーム又は情景において多くのオブジェクトに動きがあり、オクルージョンをもたらすフレームに対する性能をかなり向上させるからである。第２動きベクトル群を符号化することに関連するオーバヘッドが存在するがこれは符号化効率の増加と比較すれば、わずかなものである。
【００３１】
図６から分かるように、フレームの全てが双方向にフィルタ化される訳ではない。例えば、フレーム１はフィルタ化されないが、それは基準フレームとして用いる先行フレームが当該群において存在しないからである。したがって、フレーム１は変わらないままの状態で転送され、Aフレームとして定義される。更に、フレーム３が処理されてHフレームを生成する。しかしながら、基準フレームとして用いるよう利用可能な後続フレームが当該群において存在しないので、双方向フィルタ化を用いることは可能でない。代替として、フレーム３が先行フレームを用いて時間的にフィルタ化される。これは、後方予測を、時間的フィルタ化を行うために先行フレームにおける照合相手を見出すのに、用い得ることを表す。時間的フィルタ化の別の例では、GOPにおける第１フレームは単一方向のHフレームであり、最終フレームがAフレームである。この例では、前方予測を、時間的フィルタ化を行うために後続フレームにおける照合相手を見出すのに、用いる。
【００３２】
フレーム２は双方向にフィルタ化されるHフレームであることが分かる。しかしながら、フレーム２における領域の全てを双方向にフィルタ化し得る訳ではない。例えば、一領域は先行フレームにおける領域のみに照合し得る。したがって、そのような領域は先行フレームにおける照合相手に基づいて後方予測を用いてフィルタ化される。同様に、後続フレームにおける領域のみ照合された領域は適宜、前方予測を用いてフィルタ化される。
【００３３】
一領域が先行フレームと後続フレームとの両方における領域に照合される場合は、双方向フィルタ化が行われる。したがって、先行フレームにおける領域及び後続フレームにおける領域の相当する画素が平均化される。この平均値は更に、フィルタ化されるフレームで、この例ではフレーム２であるもの、における相当する画素から減算される。上記のように、この差異は好ましくは任意のスケーリング係数によって除算される。復号化を簡素化するよう、この双方向Hフレームを基準フレームとして用いることは好ましいものでない。これは双方向フレームを復号化するには、先行フレーム及び後続フレームを最初に復号化することを要するからである。したがって、別の例では、GOPが複数双方向フレームを有する場合、いくつかの単一方向Hフレームを有することを要し得る。
【００３４】
本発明による復号器の一例は図７に表す。図２に関して上記に記載したように、入力ビデオはＧＯＰに分割され、各ＧＯＰは一単位として符号化される。したがって、入力ビットストリームは1つ以上のGOPで、一単位として復号化されるもの、を有し得る。該ビットストリームは更に、いくつかの動きベクトルＭＶ及びフレーム番号で、ＧＯＰにおける各フレームで、先行して動き補償時間的フィルタ化されたもの、に相当するもの、を有する。動きベクトル及びフレーム番号は同じＧＯＰにおける別のフレームにおける領域で、先行して、時間的にフィルタ化されたフレーム各々における領域に照合されたもの、を示す。
【００３５】
復号器は入力ビットストリームを復号化するエントロピ復号化装置１６を有することが分かる。動作中に、入力ビットストリームは符号化側で行われるエントロピ符号化手法を逆にしたものによって復号化される。このエントロピ復号化は、ウェーブレット係数で各ＧＯＰに相当するものを生成する。更に、エントロピ復号化は、いくつかの動きべクトル及びフレーム番号で、後に利用されるものを生成する。
【００３６】
重み情報によってエントロピ復号化装置１６からのウェーブレット係数を復号化するために重み復号化装置１８を有する。したがって、動作中に、ウェーブレット係数は正常な空間的配列によって、符号化側で用いられる手法の逆を逆にしたものを用いることによって、配列される。重み復号化装置１８からのウェーブレット係数を部分的に復号化されたフレームに変換するために空間的再構成装置２０を有することが更に分かる。動作中に、各ＧＯＰに相当するウェーブレット係数は符号化側で行う２Ｄウェーブレット変換を逆にしたものによって変換される。これによって部分的に復号化されたフレームで、本発明によって動き補償時間的フィルタ化されたもの、を生成する。
【００３７】
上記のように、本発明による動き補償時間的フィルタ化によって各ＧＯＰがいくつかのＨフレームとＡフレームによって表される結果を生じ、ＨフレームはＧＯＰにおけるフレーム各々と同じＧＯＰにおける別のフレームとの間の差異であり、Ａフレームは符号化側では動き予測及び時間的フィルタ化によって処理されない、第１フレームと最終フレームとの何れか、である。Aフレームはどの種類の予測が行われたかによってGOPにおける、第１フレームと最終フレームとの何れかを表し得る。
【００３８】
空間的再構成装置２０からの各ＧＯＰが有するＨフレームを、符号化側で行う時間的フィルタ化を逆にしたものを行うことによって再構成するよう、逆時間的フィルタ化装置22を有する。まず、符号化側のＨフレームが任意のスケーリング係数によって除算された場合、空間的再構成装置２０からのフレームは同じ係数によって乗算される。更に、時間的フィルタ化装置２２は更に、エントロピ復号化装置１６によって備えられる動きベクトルＭＶ及びフレーム番号に基づいてＧＯＰ各々が有するＨフレームを再構成する。
【００３９】
Hフレームを再構成するために、各GOP内のAフレームの存在する位置が最初に判定される。符号化側で後方動き予測が用いられた場合には、ＧＯＰにおける第１フレームはこの例ではＡフレームとなる。したがって、逆時間的フィルタ化装置２２はＧＯＰにおける第２フレームを再構成し始める。特に、第２フレームはその特定のフレームに対して備えられる動きベクトル及びフレーム番号によって画素値を取り出すことによって再構成される。この場合には、動きベクトルは第１フレーム内の領域を指し示す。逆時間的フィルタ化装置２２は更に、第２フレームにおける相当する領域に取り出された画素値を加算し、したがって差異を実際の画素値に変換する。この次のフレームは同様に、GOPにおけるフレーム全てが再構成されるまで、第１フレーム及び第２フレームを基準として用いるなどして再構成される。
【００４０】
符号化側で前方動き予測が用いられた場合、ＧＯＰにおける最終フレームはこの例ではＡフレームとなる。したがって、逆フィルタ化装置２２はＧＯＰにおいて、最終フレームから2番目のフレームを再構成し始める。最終フレームから2番目のフレームはその特定のフレームに対して備えられる動きベクトル及びフレーム番号によって画素値を取り出すことによって再構成される。この場合、動きベクトルは最終フレームで、Aフレームであるもの、内の領域を指し示す。逆時間的フィルタ化装置２２は更に、取り出された画素値を該最終フレームから2番目のフレームにおける相当する領域に加算し、したがって、差異を実際の画素値に変換する。次のフレームは更に、同様に、GOPにおけるフレーム全てが再構成されるまで、最終フレーム、及び、最終フレームから2番目のフレーム、を基準として用いるなどして再構成される。
【００４１】
符号化側で双方向動き予測が用いられた場合、Aフレームはどの例が実施されたかによってGOPにおける第１フレームと最終フレームとの何れかになる。したがって、逆フィルタ化装置２２はGOPにおける、第２フレームと、最終フレームから2番目のフレーム、との何れかを再構成し始める。同様に、このフレームはその特定のフレームに対して備えられる動きベクトル及びフレーム番号によって画素値を取り出すことによって再構成される。
【００４２】
上記のように、双方向Ｈフレームは領域で、先行フレーム、後続フレーム、又はそれら両方のフレームからの照合に基づいて、フィルタ化されたもの、を有し得る。単に、先行フレーム又は後続フレームからの照合については、画素値が単に、取り出されて、処理される現行フレームにおける相当する領域に加算される。両方からの照合については、先行フレームと後続フレームとの両方からの値が取り出され、更に平均化される。この平均値は更に、処理される現行フレームにおける相当する領域に加算される。
【００４３】
GOPが別の双方向Hフレームを有する場合、これらのフレームは更に、上記のように、再構成される。双方向時間的フィルタ化に関して上記に記載したように、単一方向Hフレームも双方向Hフレームとともに有し得る。単一方向フレームを再構成するために、符号化側で後方予測と前方予測との何れが行われたかによって先行フレームと後続フレームとの何れかに逆時間的フィルタ化が行われる。
【００４４】
システムで、該システムにおいて本発明による動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化を実施し得るもの、の一例を図８に表す。例として、該システムはテレビ受信機、セット・トップ・ボックス、デスクトップ型、ラップトップ型又はパームトップ型のコンピュータ、携帯情報端末（ＰＤＡ）、ビデオ・カセット・レコーダ（ＶＣＲ）のようなビデオ/画像記憶装置、ディジタル・ビデオ・レコーダ（ＤＶＲ）、ＴｉＶＯ装置など、更には、これら及び別の装置の一部分又は組み合わせを表し得る。該システムは1つ又は複数のビデオ源２６、1つ又は複数の入出力装置３４、プロセッサ２８、メモリ30及び表示装置３６を有する。
【００４５】
ビデオ/画像源２６は、装置、例えば、テレビジョン受信器、ＶＣＲ又は別のビデオ/画像記憶装置、を表し得る。該ビデオ/画像源２６は代替として、例えば、インターネットのようなグローバル・コンピュータ通信ネットワーク、ワイド・エリア・ネットワーク、メトロポリタン・エリア・ネットワーク、ローカル・エリア・ネットワーク、地上波放送システム、ケーブル放送ネットワーク、衛星放送ネットワーク、無線ネットワーク、又は電話ネットワーク、更には、これら及び別の種類のネットワークの一部分若しくは組み合わせを介してサーバからビデオを受信する1つ若しくは複数のネットワーク接続を表し得る。
【００４６】
入出力装置３４、プロセッサ２８及びメモリ３０は通信媒体３２経由で通信する。通信媒体は、例えば、バス、通信ネットワーク、回路、回路カード若しくは別の装置の1つ又は複数の内部接続、更には、これら及び別の通信媒体の一部分及び組み合わせを表し得る。該ビデオ/画像源26からの入力ビデオ・データは、メモリ30に格納され、プロセッサ２８によって処理されて表示装置３６に供給される出力ビデオ/画像を生成する、１つ又は複数のソフトウェア・プログラムによって処理される。
【００４７】
特に、メモリ30上に格納されるソフトウェア・プログラムは図２及び７に関して上記に記載したような、動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化を有する。この実施例では、動き補償時間的フィルタ化に複数基準フレームを利用するウェーブレット・ベースの符号化はコンピュータが判読可能な、該システムによって実行される、コードによって実施される。該コードはメモリ30に格納し得るか、ＣＤ−ＲＯＭ又はフロッピ・ディスクのようなメモリ媒体から読み取り/ダウンロードされ得る。別の実施例では、ハードウェア回路は本発明を実施するソフトウェア命令の代わりに用い得るか、該命令と組み合わせて用い得る。
【００４８】
本発明は特定の例によって上記に記載したが、本発明は本明細書及び特許請求の範囲において開示した例に制限すなわち限定されることを意図するものでないことが分かる。したがって、本発明は本特許請求の範囲の趣旨及び範囲の範囲内が有する種々の構造及びそれらの修正を網羅することを意図するものである。
【図面の簡単な説明】
【００４９】
【図１】公知の動き補償時間的フィルタ化手法の特徴を示す図である。
【図２】本発明による符号器の一例のブロック図である。
【図３】２Dウェーブレット変換の一例を示すブロック図である。
【図４】本発明による動き補償の一例を示す図である。
【図５】本発明による時間的フィルタ化の一例を示す図である。
【図６】本発明による時間的フィルタ化の別の例を示す図である。
【図７】本発明による復号器の一例を示す図である。
【図８】本発明によるシステムの一例を示す図である。
【図１】
2005524354.tif 000003
【図２】
2005524354.tif 000004
【図３】
2005524354.tif 000005
【図４】
2005524354.tif 000006
【図５】
2005524354.tif 000007
【図６】
2005524354.tif 000008
【図７】
2005524354.tif 000009
【図８】
2005524354.tif 000010
【国際調査報告】
2005524354.tif 000011
2005524354.tif 000012
2005524354.tif 000013