(57)【要約】  本発明は、多階層基盤のＰＦＧＳアルゴリズムの演算量を減少させる方法、その方法を用いたビデオコーディング方法及び装置に関する。  ビデオエンコーディング方法は、所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、現在フレームと予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、推定された動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、動き補償されたＦＧＳ階層の参照フレームと動き補償された基礎階層の参照フレームとの差分を求めるステップと、現在フレームから復元イメージ及び差分を差し引くステップと、差し引き結果を符号化するステップとからなる。
2008539646.tif 000002
【特許請求の範囲】
【請求項１】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、
前記推定された動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、
前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、
前記現在フレームから前記復元イメージ及び前記差分を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項２】
前記推定された動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップで用いられる動きベクトルは、前記推定された動きベクトルよりも低い精度を有することを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項３】
前記求めた差分は、ＦＧＳ階層の順方向参照フレームと基礎階層の順方向参照フレームとの第１差分と、ＦＧＳ階層の逆方向参照フレームと基礎階層の逆方向参照フレームとの第２差分の平均であることを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項４】
前記動き補償のために補間が必要な場合に前記現在フレームに対する予測イメージを求めるために使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項２に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項５】
前記差し引き結果を符号化するステップは、
前記差し引き結果を変換することによって変換係数を生成するステップと、
前記変換係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、
を含むことを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項６】
前記現在フレームに対する予測イメージを求めるステップは、
前記現在フレーム及び少なくとも１つ以上の基礎階層の復元されたフレームを参照フレームとして動きベクトルを推定するステップと、
前記推定された動きベクトルによって前記参照フレームを動き補償するステップと、
前記動き補償された参照フレームを平均することによって前記予測イメージを求めるステップと、
を含むことを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項７】
前記現在フレームに対する予測イメージを求めるステップは、
前記現在フレーム及び前記現在フレーム周辺のオリジナルフレームを参照フレームとして動きベクトルを推定するステップと、
前記推定された動きベクトルによって前記参照フレームを動き補償するステップと、
前記動き補償された参照フレームを平均することによって前記予測イメージを求めるステップと、
を含むことを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項８】
前記ＦＧＳ階層の参照フレームは現在フレーム周辺のオリジナルフレームであり、前記基礎階層の参照フレームは基礎階層で復元された周辺フレームであることを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項９】
前記ＦＧＳ階層の参照フレームはＦＧＳ階層で復元された周辺フレームであり、前記基礎階層の参照フレームは基礎階層で復元された周辺フレームであることを特徴とする請求項１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１０】
前記残差を量子化するのに使われる量子化ステップの大きさよりも前記変換係数を量子化するのに使われる量子化ステップの大きさが小さいことを特徴とする請求項５に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１１】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、
前記推定された動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、
前記現在フレームから前記復元イメージ及び前記差分を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項１２】
前記推定された動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップで用いられる動きベクトルは、前記推定された動きベクトルよりも低い精度を有することを特徴とする請求項１１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１３】
前記ＦＧＳ階層の予測フレームは前記動き補償されたＦＧＳ階層の参照フレームの平均であり、前記基礎階層の予測フレームは前記動き補償された基礎階層の参照フレームの平均であることを特徴とする請求項１１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１４】
前記動き補償のために補間が必要な場合に前記現在フレームに対する予測イメージを求めるステップで使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項１２に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１５】
前記差し引き結果を符号化するステップは、
前記差し引き結果を変換することによって変換係数を生成するステップと、
前記変換係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、
を含むことを特徴とする請求項１１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１６】
前記残差を量子化するのに使われる量子化ステップの大きさよりも、前記変換係数を量子化するのに使われる量子化ステップの大きさが小さいことを特徴とする請求項１５に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１７】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、
ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、
前記推定された動きベクトルを用いて前記差分を動き補償するステップと、
前記現在フレームから前記復元イメージ及び前記動き補償された結果を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項１８】
前記動き補償するステップで用いられる動きベクトルは、前記推定された動きベクトルよりも低い精度を有することを特徴とする請求項１７に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項１９】
前記差し引かれる動き補償された結果は、前記動き補償するステップで動き補償された差分の平均であることを特徴とする請求項１７に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項２０】
前記動き補償のために補間が必要な場合に前記現在フレームに対する予測イメージを求めるステップで使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項１８に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項２１】
前記差し引き結果を符号化するステップは、
前記差し引き結果を変換することによって変換係数を生成するステップと、
前記変換係数を量子化して量子化係数を生成するステップと、
前記量子化係数を無損失符号化するステップと、
を含むことを特徴とする請求項１７に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項２２】
前記残差を量子化するのに使われる量子化ステップの大きさよりも、前記変換係数を量子化するのに使われる量子化ステップの大きさが小さいことを特徴とする請求項２１に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項２３】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
前記動きベクトルよりも低い精度の動きベクトルによってＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、
前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、
前記現在フレームから前記予測イメージ及び前記差分を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項２４】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
前記動きベクトルよりも低い精度の動きベクトルによってＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、
前記現在フレームから前記予測イメージ及び前記差分を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項２５】
前記求めた差分に加重因子（α）を掛けるステップをさらに含むことを特徴とする請求項２４に記載のＦＧＳ基盤のビデオエンコーディング方法。
【請求項２６】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、
ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、
前記動きベクトルよりも低い精度の動きベクトルによって前記差分を動き補償するステップと、
前記現在フレームから前記復元イメージ及び前記動き補償された結果を差し引くステップと、
前記差し引き結果を符号化するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーディング方法。
【請求項２７】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、
前記動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、
前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、
前記基礎階層フレーム、前記ＦＧＳ階層のテクスチャデータ、及び前記差分を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項２８】
前記動き補償ステップで用いられる動きベクトルは、前記抽出された動きベクトルよりも低い精度を有することを特徴とする請求項２７に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項２９】
前記差分は、ＦＧＳ階層の順方向参照フレームと基礎階層の順方向参照フレームとの第１差分と、ＦＧＳ階層の逆方向参照フレームと基礎階層の逆方向参照フレームとの第２差分の平均であることを特徴とする請求項２７に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３０】
前記動き補償のために補間が必要な場合に前記基礎階層フレームを復元するステップで使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項２８に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３１】
前記加算されるＦＧＳ階層のテクスチャデータは、前記抽出されたＦＧＳ階層のテクスチャデータに対して逆量子化過程及び逆変換過程を行った結果であることを特徴とする請求項２７に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３２】
前記基礎階層フレームを復元するステップは、
前記基礎階層のテクスチャ情報を逆量子化するステップと、
前記逆量子化結果を逆変換するステップと、
前記動きベクトルを用いて先に復元された基礎階層の参照フレームから予測イメージを生成するステップと、
前記予測イメージと前記逆変換結果を加算するステップと、
を含むことを特徴とする請求項３１に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３３】
前記基礎階層フレームを復元するステップの逆量子化で使われる量子化ステップの大きさよりも、前記ＦＧＳ階層のテクスチャデータに対して適用される逆量子化で使われる量子化ステップの大きさが小さいことを特徴とする請求項３２に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３４】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、
前記動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、
前記テクスチャデータ、前記復元された基礎階層フレーム及び前記差分を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項３５】
前記動き補償で用いられる動きベクトルは、前記抽出された動きベクトルよりも低い精度を有することを特徴とする請求項３４に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３６】
前記動き補償のために補間が必要な場合に前記基礎階層フレームを復元するステップで使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項３５に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３７】
前記加算されるＦＧＳ階層のテクスチャデータは、前記抽出されたＦＧＳ階層のテクスチャデータに対して逆量子化過程及び逆変換過程を行った結果であることを特徴とする請求項３４に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項３８】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、
ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、
前記動きベクトルを用いて前記差分を動き補償するステップと、
前記ＦＧＳ階層のテクスチャデータ、前記復元された基礎階層フレーム、及び前記動き補償された結果を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項３９】
前記加算される動き補償された結果は、前記動き補償された差分の平均であることを特徴とする請求項３８に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項４０】
前記差分を動き補償するステップで用いられる動きベクトルは、前記抽出された動きベクトルよりも低い精度を有することを特徴とする請求項３８に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項４１】
前記動き補償のために補間が必要な場合に前記基礎階層フレームを復元するステップで使われる補間フィルタと異なる形態の補間フィルタが使われることを特徴とする請求項４０に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項４２】
前記加算されるＦＧＳ階層のテクスチャデータは、前記抽出されたＦＧＳ階層のテクスチャデータに対して逆量子化過程及び逆変換過程を行った結果であることを特徴とする請求項３８に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項４３】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記抽出された動きベクトルを用いて前記基礎階層のテクスチャデータから基礎階層フレームの予測イメージを復元するステップと、
前記動きベクトルよりも低い精度の動きベクトルによってＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、
前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、
前記ＦＧＳ階層のテクスチャデータ、前記予測イメージ、及び前記差分を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項４４】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記抽出された動きベクトルを用いて前記基礎階層のテクスチャデータから基礎階層フレームの予測イメージを復元するステップと、
前記動きベクトルよりも低い精度の動きベクトルによってＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、
前記ＦＧＳ階層のテクスチャデータ、前記予測イメージ、及び前記差分を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項４５】
前記求めた差分に加重因子（α）を掛けるステップをさらに含むことを特徴とする請求項４４に記載のＦＧＳ基盤のビデオデコーディング方法。
【請求項４６】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、
前記抽出された動きベクトルを用いて前記基礎階層のテクスチャデータから基礎階層フレームの予測イメージを復元するステップと、
ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、
前記動きベクトルよりも低い精度の動きベクトルによって前記差分を動き補償するステップと、
前記ＦＧＳ階層のテクスチャデータ、前記予測イメージ、及び前記差分を加算するステップと、
を含むことを特徴とするＦＧＳ基盤のビデオデコーディング方法。
【請求項４７】
所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求める手段と、
前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成する手段と、
前記推定された動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによってＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成する手段と、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求める手段と、
前記現在フレームから前記復元イメージ及び前記差分を差し引く手段と、
前記差し引き結果を符号化する手段と、
を含むことを特徴とするＦＧＳ基盤のビデオエンコーダ。
【請求項４８】
前記ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成する手段で用いられる動きベクトルは、前記推定された動きベクトルよりも低い精度を有することを特徴とする請求項４７に記載のＦＧＳ基盤のビデオエンコーダ。
【請求項４９】
入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出する手段と、
前記基礎階層のテクスチャデータから基礎階層フレームを復元する手段と、
前記動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成する手段と、
前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求める手段と、
前記テクスチャデータ、前記復元された基礎階層フレーム及び前記差分を加算する手段と、
を含むことを特徴とするＦＧＳ基盤のビデオデコーダ。
【請求項５０】
前記動き補償で用いられる動きベクトルは、前記抽出された動きベクトルよりも低い精度を有することを特徴とする請求項４９に記載のＦＧＳ基盤のビデオデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコーディング技術に関し、より詳しくは、多階層基盤のＰＦＧＳアルゴリズムの演算量を減少させる方法、その方法を用いたビデオコーディング方法及び装置に関する。
【背景技術】
【０００２】
インターネットを含め情報通信技術の発達により、文字、音声だけでなく、画像通信も増加しつつある。既存の文字中心の通信方式は消費者の多様な欲求を充足させられず、文字、映像、音楽など多様な形態の情報を受け入れることができるマルチメディアサービスが増加している。マルチメディアデータは、その量が膨大で大容量の格納媒体を必要とし、伝送時に広い帯域幅を必要とする。したがって、文字、映像、オーディオを含むマルチメディアデータを伝送するためには、圧縮コーディング技法の使用が必須である。
【０００３】
データを圧縮する基本的な原理は、データの重複要素を除去する過程である。イメージで同じ色やオブジェクトが繰り返されるような空間的重複、動画フレームで隣接フレームがほとんど変化しない場合やオーディオで同じ音が繰り返されるような時間的重複、人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮して知覚的重複を除去することによって、データを圧縮することができる。一般的なビデオコーディング方法において、時間的重複は動き補償に基づく時間的フィルタリングで除去し、空間的重複は空間的変換で除去する。
【０００４】
データの重複を除去した後、生成されるマルチメディアを伝送するためには伝送媒体が必要となるが、その性能は伝送媒体別に差がある。現在使われている伝送媒体は、１秒当たり数十メガビットのデータを伝送し得る超高速通信網及び１秒当たり３８４ｋｂｉｔの伝送速度を有する移動通信網など多様な伝送速度を有する。多様な速度の伝送媒体を提供したり、または伝送環境に応じて適する伝送率でマルチメディアを伝送したりすることが可能な、拡張性を持ったデータコーディング方法がマルチメディア環境にふさわしいのかもしれない。
【０００５】
拡張性とは、ビットストリームの復号を完全には行えない可能性も意味する。また、ビデオの解像度を意味する空間的拡張や、ビデオの質のレベルに対するＳＮＲ拡張性、フレーム率に対する時間的拡張性などを含む。
【０００６】
現在、ＭＰＥＧとＩＴＵの共同作業グループであるＪＶＴでは、Ｈ．２６４を基本に多階層状に拡張性を実現するための標準化作業を進行している。ＪＶＴでは、ＳＮＲ拡張性を提供するために既存のＦＧＳ技術を採択している。
【０００７】
図１は、従来のＦＧＳ技術を説明する図面である。ＦＧＳ基盤のコーデックは、基礎階層とＦＧＳ階層とに分けてコーディングを行う。本明細書においてプライム（’）符号は、元イメージでなく、量子化／逆量子化を経て生成された、すなわち復元されたイメージを示す。具体的に、現在オリジナルフレーム１２で、あるブロックＯは、動きベクトルによって左側の復元された基礎階層フレーム１１の対応するブロックＭＢ’、及び右側の復元された基礎階層フレーム１２の対応するブロックＮＢ’から予測されたブロックＰＢと差し引かれて差分ブロックＲＢになる。したがって、ＲＢは下記数式（１）で表される。
【０００８】
ＲＢ＝Ｏ−ＰＢ＝Ｏ−（ＭＢ’＋ＮＢ’）／２                          ・・・（１）
【０００９】
差分ブロックＲＢは、基礎階層の量子化ステップＱＰＢによって量子化された後ＲＢＱ、また逆量子化過程を経て復元された差分ブロックＲＢ’になる。この後、ＦＧＳ階層では前記量子化されない差分ブロックＲＢと前記復元された差分ブロックＲＢ’とを差し引き、差し引き結果のブロック△を基礎階層の量子化ステップよりも小さい量子化ステップＱＰＦによって量子化する（量子化ステップが小さいほど圧縮率が低い）。量子化された△は△Ｑで表される。結局、デコーダ段に伝送されるデータは基礎階層のＲＢＱとＦＧＳ階層の△Ｑである。
【００１０】
図２は、従来のＰＦＧＳ技術を説明する図面である。既存のＦＧＳ技術が復元された基礎階層の量子化された差分ＲＢ’を用いてＦＧＳ階層のデータの量を減らすのに比べ、ＰＦＧＳ技術はＦＧＳ階層で、左右参照フレームもＦＧＳ技術によってその品質が向上していることを用いて、新しく更新された左右参照フレームを用いて新しい差分ブロックＲＦを計算し、これと基礎階層の量子化されたブロックＲＢ’との差分を量子化することによって性能を高める。前記ＲＦは下記数式（２）で表される。
【００１１】
ＲＦ＝Ｏ−ＰＦ＝Ｏ−（ＭＦ’＋ＮＦ’）／２                          ・・・（２）
【００１２】
ここで、ＭＦ’はＦＧＳ階層の復元された左側参照フレーム２１のうち、動きベクトルによって対応する領域であり、ＮＦ’はＦＧＳ階層の復元された右側参照フレーム２３のうち、動きベクトルによって対応する領域である。
【００１３】
ＦＧＳ技術に比べてＰＦＧＳ技術が有する長所は、左右参照フレームの品質が高まることによって、ＦＧＳ階層のデータ量が小さくなり得るという点である。ただし、ＦＧＳ階層でも動き補償が別途に必要であるため、演算量が増加する短所もある。このように、ＰＦＧＳは既存ＦＧＳに比べて性能が向上する長所があるが、ＦＧＳ階層ごとに動き補償によって予測信号を生成し、これに対する残差信号を生成しなければならないため演算量が増加する。最近のビデオコーデックは、１／２ピクセルあるいは１／４ピクセル単位まで補間をして動き補償を行う。もし１／４ピクセル単位に動き補償行う場合、該当解像度の４倍の大きさのイメージを生成しなければならない。
【００１４】
さらに、Ｈ．２６４に基づくＨ．２６４ＳＥの場合、１／２ピクセル補間フィルタは６タップフィルタで、その計算が非常に複雑で動き補償の大部分演算量を占める。したがって、エンコーディングプロセス及びデコーディングプロセスが複雑になるため、より高いシステム資源を必要とし、リアルタイム放送、画像会議などのようにリアルタイムエンコーディング及びデコーディングが要求される分野では特に問題になる。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、ＰＦＧＳアルゴリズムの性能を維持しつつ、動き補償時に要求される演算量を減少し得る方法及びその方法を用いた装置を提供することにある。
【００１６】
また、本発明は前記目的に制限されず、言及していないさらなる目的は下記によって当業者に明確に理解できる。
【課題を解決するための手段】
【００１７】
上記目的を達成するためのＦＧＳ基盤のビデオエンコーディング方法は、所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、前記推定された動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、前記現在フレームから前記復元イメージ及び前記差分を差し引くステップと、前記差し引き結果を符号化するステップとを含む。
【００１８】
上記目的を達成するためのＦＧＳ基盤のビデオエンコーディング方法は、所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、前記推定された動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、前記現在フレームから前記復元イメージ及び前記差分を差し引くステップと、前記差し引き結果を符号化するステップとを含む。
【００１９】
上記目的を達成するためのＦＧＳ基盤のビデオエンコーディング方法は、所定の精度で推定された動きベクトルを用いて現在フレームに対する予測イメージを求めるステップと、前記現在フレームと前記予測イメージ間の残差を量子化した後、逆量子化することによって現在フレームの復元イメージを生成するステップと、ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、前記推定された動きベクトルを用いて前記差分を動き補償するステップと、前記現在フレームから前記復元イメージ及び前記動き補償された結果を差し引くステップと、前記差し引き結果を符号化するステップとを含む。
【００２０】
上記目的を達成するためのＦＧＳ基盤のビデオデコーディング方法は、入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、前記動きベクトルを用いてＦＧＳ階層の参照フレームと基礎階層の参照フレームを動き補償するステップと、前記動き補償されたＦＧＳ階層の参照フレームと前記動き補償された基礎階層の参照フレームとの差分を求めるステップと、前記基礎階層フレーム、前記ＦＧＳ階層のテクスチャデータ、前記差分を加算するステップと、を含む。
【００２１】
上記目的を達成するためのＦＧＳ基盤のビデオデコーディング方法は、入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、前記動きベクトルを用いてＦＧＳ階層の参照フレーム及び基礎階層の参照フレームを動き補償することによって、ＦＧＳ階層の予測フレーム及び基礎階層の予測フレームを生成するステップと、前記ＦＧＳ階層の予測フレームと前記基礎階層の予測フレームとの差分を求めるステップと、前記テクスチャデータと、前記復元された基礎階層フレーム及び前記差分を加算するステップとを含む。
【００２２】
上記目的を達成するためのＦＧＳ基盤のビデオデコーディング方法は、入力されたビットストリームから基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出するステップと、前記基礎階層のテクスチャデータから基礎階層フレームを復元するステップと、ＦＧＳ階層の参照フレームと基礎階層の参照フレームとの差分を求めるステップと、前記動きベクトルを用いて前記差分を動き補償するステップと、前記ＦＧＳ階層のテクスチャデータ、前記復元された基礎階層フレーム及び前記動き補償された結果を加算するステップと、を含む。
【００２３】
その他、実施形態の具体的な事項は詳細な説明及び図面に含まれている。
【発明の効果】
【００２４】
本発明によれば、ＰＦＧＳの実現において演算量を大幅に減少し得、これによってデコーディング過程も変更されるのでＨ．２６４  ＳＥ標準化文書にも適用し得る。
【発明を実施するための最良の形態】
【００２５】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付する図面とともに詳述する実施形態を参照すれば明確になる。しかし、本発明は以下に開示する実施形態に限定されず、相異なる多様な形態で実現できる。本実施形態は、本発明の開示を完全なものにし、本発明の属する技術分野における通常の知識を有する者に発明の範疇を知らせるために提供するものであって、本発明は請求項の範疇によってのみ定義される。また、明細書全体において同じ参照符号は同じ構成要素を示す。
【００２６】
［第１実施形態］
図３は、本発明の第１実施形態による高速ＰＦＧＳ方法を説明する図面である。
【００２７】
図２と同様に、ＰＦＧＳ方法よるＦＧＳ階層で量子化される値は△であり、これは下記数式（３）で表される。
【００２８】
△＝ＲＦ−ＲＢ’                                                  ・・・（３）
【００２９】
ここで、ＲＦは上記数式（２）であり、ＲＢ’は下記数式（４）で表される。
【００３０】
ＲＢ’＝Ｏ’−ＰＢ＝Ｏ’−（ＭＢ’＋ＮＢ’）／２                    ・・・（４）
【００３１】
ここで、Ｏ’はオリジナルイメージＯを基礎階層の量子化ステップＱＰＢによって量子化した後、逆量子化して復元されたイメージを意味する。
【００３２】
上記数式（２）で表されるＲＦと上記数式（４）で表されるＲＢ’を用いて上記数式（３）を整理すれば、△は下記数式（５）で表される。
【００３３】
△＝Ｏ−（ＭＦ’＋ＮＦ’）／２−［Ｏ’−（ＭＢ’＋ＮＢ’）／２］    ・・・（５）
【００３４】
一方、図３を参照すれば、階層間参照フレームの差分である△Ｍ及び△Ｎは下記数式（６）で表される。
【００３５】
△Ｍ＝ＭＦ’−ＭＢ’
△Ｎ＝ＮＦ’−ＮＢ’                                              ・・・（６）
【００３６】
数式（６）を用いて上記数式（５）を整理すれば、△は下記数式（７）で表される。
【００３７】
△＝Ｏ−Ｏ’−（△Ｍ＋△Ｎ）／２                                  ・・・（７）
【００３８】
数式（７）によれば、エンコーダ段ではオリジナルイメージＯから、ＱＰＢで量子化された後、逆量子化された基礎階層イメージ、すなわち基礎階層の復元されたイメージＯ’と、階層間参照フレームの差分の平均（（△Ｍ＋△Ｎ）／２）とを差し引くことによって、△を求め得ることが分かる。同様に、デコーダ段ではイメージＯは、基礎階層の復元されたイメージＯ’、△及び階層間参照フレームの差分の平均を加算することによって復元できる。
【００３９】
既存のＰＦＧＳは、動きベクトル探索によって生成されたピクセルまたはサブピクセル（１／２ピクセル、１／４ピクセルなど）精度を有する動きベクトルによって動き補償を行う。最近では圧縮効率を高めるために、１／２ピクセルまたは１／４ピクセルなどの高い精度によって動きベクトル探索及び動き補償を行うのが一般的である。既存のＰＦＧＳは、例えば１／４ピクセル精度で動き補償して生成した予測イメージを整数ピクセル単位でパッキングした後、オリジナルイメージと予測イメージを差し引き、これを量子化するものである。ここでパッキングとは、１／４ピクセル単位に動きベクトル探索をするとき、４倍に補間された参照イメージを元の大きさに戻す過程で、例えば４つのピクセルごとに１つのピクセルを選択する方式で行われる。
【００４０】
ところが、本発明による高速ＰＦＧＳで量子化するＦＧＳ階層のデータ△は、上記数式（７）のように表されるため、高い精度で動きベクトル探索を行わなくても圧縮性能にそれほど影響を与えない。上記数式（７）の右辺の１番目項Ｏと２番目項Ｏ’は、動きベクトル探索及び動き補償が適用されない部分であるので問題ない。ただし、３番目項（（△Ｍ＋△Ｍ）／２）にだけ動きベクトル探索及び動き補償が適用されるが、この項は階層間の差分で表されているため、高い精度で動きベクトル探索及び動き補償を行うことはそれほど効果はない。それは、基礎階層にて所定ピクセル精度で動き補償したイメージと向上階層にて前記ピクセル精度で動き補償したイメージとを差し引くため、前記差し引き結果、イメージは相対的にピクセル精度に鈍感になるからである。したがって、既存のＰＦＧＳに比べて低いピクセル精度で動きベクトル探索及び動き補償を行うことができる。
【００４１】
［第２実施形態］
第１実施形態での上記数式（５）は下記数式（８）のように、予測信号間の差分で説明することもできる。ここで、ＰＦは（ＭＦ’＋ＮＦ’）／２であり、ＰＢは（ＭＢ’＋ＮＢ’）／２である。
【００４２】
△＝Ｏ−Ｏ’−（ＰＦ−ＰＢ）                                      ・・・（８）
【００４３】
第１実施形態と第２実施形態には、以下のような違いがある。第１実施形態では参照イメージの階層間の差分△Ｍ，△Ｎを先に計算した後、これを２で割る。第２実施形態では各階層での予測イメージＰＦ−ＰＢを先に計算した後、予測イメージ間の差分を求める。ただし、これはアルゴリズム実現上の差であり、両者の計算結果△は同一である。
【００４４】
［第３実施形態］
前記第１実施形態と第２実施形態では動き補償を先に行った後、イメージ間の差分を求めた。しかし、この順序を変えて参照イメージの階層間の差分を先に計算した後、動き補償を行うことも可能である。このように第３実施形態によれば、差分信号に対する動き補償を行うため、境界パディングの影響が微小である。したがって、境界パディング過程を省略することができる。境界パディングとは、動きベクトル探索時にフレームの境界部分でブロックマッチングが制限されるのを考慮して、境界部分のピクセルを境界周辺にコピーすることを意味する。
【００４５】
第３実施形態による差分△は下記数式（９）で表される。ここで、ｍｃ（．）は動き補償を行う関数である。
【００４６】
△＝Ｏ−Ｏ’−［（ｍｃ（ＭＦ’−ＭＢ’）＋ｍｃ（ＮＦ’−ＮＢ’）］／２
・・・（９）
【００４７】
既存のＰＦＧＳでは上記数式（３）のＲＦまたはＲＢを求めるとき、直接予測（動きベクトル探索及び動き補償）を行うのに比べ、上記３つの実施形態では予測結果を差し引いたり、差し引き結果を予測したりするため、動きベクトルの精度を高めるための補間によってもその性能がそれほど大きく変わらない、すなわち補間に鈍感な特徴を有する。
【００４８】
したがって、１／４ピクセル補間あるいは１／２ピクセル補間を省略することもできる。また、高い演算量を要求するＨ．２６４の１／２ピクセル補間フィルタの代わりに、相対的に演算量が少ないバイリニアフィルタを使用することもできる。例えば、上記数式（７）、（８）、及び（９）の３番目項にバイリニアフィルタを適用する。その結果、既存のＰＦＧＳのようにＲＦ及びＲＢを求めるための予測信号に直接バイリニアフィルタを適用する場合に比べて性能低下が減少する。
【００４９】
［第４実施形態］
前記第１実施形態ないし第３実施形態は上記数式（３）に基づいている。言い換えれば、コーディングされるべき値がＦＧＳ階層から得た差分ＲＦと基礎階層から得た差分ＲＢとをさらに差し引いた値であることを基本仮定にしている。しかし、ＦＧＳ階層から得た差分が非常に少ない場合、すなわち時間的連関性が非常に大きい場合は、このような接近方法が却ってコーディング性能を低下する場合がある。この場合には、却ってＦＧＳ階層から得た差分だけをコーディングするのがより良いコーディング性能を示す。すなわち、上記数式（３）でＲＦだけをコーディングするのである。
【００５０】
この場合、上記数式（７）ないし（９）は下記数式（１０）ないし（１２）のように変更できる。
【００５１】
△＝Ｏ−ＰＢ−（△Ｍ＋△Ｎ）／２                                ・・・（１０）
【００５２】
△＝Ｏ−ＰＢ−（ＰＦ−ＰＢ）                                    ・・・（１１）
【００５３】
△＝Ｏ−ＰＢ−［（ｍｃ（ＭＦ’−ＭＢ’）＋ｍｃ（ＮＦ’−ＮＢ’）］／２
・・・（１２）
【００５４】
結局、上記数式（１０）から（１２）は、上記数式７から９で復元された基礎階層イメージＯ’が前記基礎階層イメージに対する予測イメージＰＢに代えられることが分かる。もちろん、上記数式（１０）から（１２）の３番目項にも補間自体を省略したり、演算量が相対的に少ないバイリニアフィルタによる補間を適用したりすることができる。
【００５５】
上記数式（１１）にはＰＢが２つあるが、本発明によれば、その２つは完全に同じ値ではない。１番目ＰＢを生成するための動き補償過程では推定された動きベクトルをそのまま使用するが、２番目ＰＢ及びＰＦを生成するための動き補償過程では前記推定された動きベクトルよりも低い精度の動きベクトルを使用することができる。または、演算量が少なくかかるフィルタ（例えば、バイリニアフィルタ）を適用することができる。
【００５６】
［第５実施形態］
ＰＦＧＳでは両方の復元された参照フレームを使用して現在フレームを復元するため、両参照フレームの画質の低下が現在フレームに累積反映されるドリフト現象が発生する。これを減少させるために使われるのがｌｅａｋｙ予測であるが、これは両参照フレームから得た予測イメージと基礎階層から得た予測イメージ間の加重合で生成された予測イメージを用いる方法である。
【００５７】
既存のＰＦＧＳで使用するｌｅａｋｙ予測によれば、ＦＧＳ階層でコーディングされる値は下記数式（１３）で表される。
【００５８】
△＝Ｏ−［αＰＦ＋（１−α）ＰＢ］                              ・・・（１３）
【００５９】
この式を第５実施形態によって整理すれば、下記数式（１４）で表される。
【００６０】
△＝Ｏ−ＰＢ−α（ＰＦ−ＰＢ）                                  ・・・（１４）
【００６１】
数式（１４）によれば、上記数式（１１）で単に予測間の差分に加重因子（α）を適用するだけで良いことが分かる。したがって、本発明はｌｅａｋｙ予測にも適用し得る。すなわち、（ＰＦ−ＰＢ）に補間自体を省略したり、バイリニアフィルタによる補間を適用したりしてその結果にαを掛ければ良い。
【００６２】
図４は、本発明の第１実施形態によるビデオエンコーダ１００の構成を示すブロック図である。図１ないし図３の説明では動きベクトル探索の単位であるブロックを基準にしたが、以下では前記ブロックが含まれるフレーム単位で説明する。表現の統一のために、前記ブロックの識別子はフレームを表す「Ｆ」文字を添字で示した。例えば、ＲＢというブロックを含むフレームはＦＲＢで表される。もちろん、以下でもプライム（’）表示は量子化／逆量子化を経て復元されたデータであることを示す。
【００６３】
入力される現在フレームＦＯは、動きベクトル探索部１０５、差分器１１５、及び差分計算部１７０で入力される。
【００６４】
動きベクトル探索部１０５は、周辺フレームを参照して現在フレームに対する動きベクトル探索を行うことによって動きベクトルＭＶを求める。このように参照される周辺フレームを「参照フレーム」という。一般に、このような動きベクトル探索のためにブロックマッチングアルゴリズムが広く使われている。すなわち、与えられたブロックを参照フレームの特定探索領域内でピクセルまたはサブピクセル（１／２ピクセル、１／４ピクセルなど）単位に動かしながら、そのエラーが最低になる場合の変位を動きベクトルとして推定するものである。動きベクトル探索のために固定されたブロックを用いることもできるが、階層的可変サイズブロックマッチング法（ＨＶＳＢＭ）による階層的な方法を用いることもできる。
【００６５】
仮に前記動きベクトル探索過程がサブピクセル単位で行われれば、参照フレームはアップサンプリングないし補間されなければならない。１／２ピクセル単位で行われる場合は２倍のアップサンプリングないし補間が必要であり、１／４ピクセル単位で行われる場合は４倍のアップサンプリングないし補間が必要である。
【００６６】
ところが、エンコーダ１００が開ループコーデック状になっていれば、前記参照フレームではオリジナル周辺フレームＦＭ，ＦＮをそのまま用いるが、閉ループコーデック状になっていれば、前記参照フレームでは復元された基礎階層の周辺フレームＦＭＢ’，ＦＮＢ’を用いるようになる。以下では閉ループコーデックを中心に説明するが、本発明はこれに限定されない。
【００６７】
動きベクトル探索部１０５で求めた動きベクトルＭＶは、動き補償部１１０に提供される。動き補償部１１０は前記動きベクトルＭＶを用いて前記参照フレームＦＭＢ’，ＦＮＢ’を動き補償し、前記現在フレームに対する予測イメージＦＰＢを生成する。両方向参照が使われる場合、前記予測イメージは動き補償された参照フレームの平均で計算できる。そして、単方向参照が使われる場合、前記予測イメージは動き補償された参照フレームと同じものであり得る。以下では動きベクトル探索及び動き補償において両方向参照を使う場合を説明するが、単方向参照についても本発明が適用できるのは当業者には自明である。
【００６８】
そして、差分器１１５は、前記現在フレームから前記予測イメージを差し引いて計算される残差信号ＦＲＢを変換部１２０に提供する。
【００６９】
変換部１２０は前記残差信号ＦＲＢに対して空間的変換を行い、変換係数ＦＲＢＴを生成する。このような空間的変換方法としては、ＤＣＴ、ウェーブレット変換などが使われる。ＤＣＴを使用する場合、前記変換係数はＤＣＴ係数になり、ウェーブレット変換を使用する場合、前記変換係数はウェーブレット係数になる。
【００７０】
量子化部１２５は、前記変換係数を量子化する。前記量子化は、任意の実数値で表される前記変換係数を不連続的な値で表す過程を意味する。例えば、量子化部１２５は、任意の実数値で表される前記変換係数を所定の量子化ステップで割って、その結果を整数値に四捨五入する方法で量子化を行うことができる。前記量子化ステップは、基礎階層に適用されるもので、一般にＦＧＳ階層に比べてその値が大きい。
【００７１】
量子化部１２５によって量子化された結果、すなわち量子化係数ＦＲＢＱは、エントロピー符号化部１４０及び逆量子化部１３０に提供される。
【００７２】
逆量子化部１３０は、前記量子化係数を逆量子化する。このような逆量子化過程は、量子化過程で使われたものと同じ量子化ステップを用いて、量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。
【００７３】
逆変換部１３５は、前記逆量子化された結果を受信して逆変換を行う。このような逆変換は、変換部１２０の変換過程の逆過程で行われ、具体的には逆ＤＣＴ変換、逆ウェーブレット変換などが使われる。加算器１４０は、前記逆変換された結果と前記動き補償部１１０の動き補償過程で使われた予測イメージＦＰＢを加算することによって、現在フレームの復元イメージＦＯ’を生成する。
【００７４】
バッファ１４５は、加算器１４０から提供される結果を格納する。したがって、バッファ１４５には現在フレームの復元イメージＦＯ’だけでなく、予め復元された基礎階層の参照フレームＦＭＢ’，ＦＮＢ’も格納することができる。
【００７５】
動きベクトル変更部１５５は、前記動きベクトルＭＶを受信して動きベクトルの精度を変更する。例えば、前記動きベクトルＭＶの精度が１／４ピクセル単位であれば、前記動きベクトルＭＶは小数位の値として、０、０．２５、０．５、及び０．７５のうち１つを有することができる。本発明の実施形態によれば、ＦＧＳ階層での動き補償時には基礎階層で求めた高い精度の動きベクトルの高い精度をそのまま維持しなくても性能には大きい差がないということは上述した通りである。したがって、動きベクトル変更部１５５は、前記１／４ピクセル単位の動きベクトルを１／２ピクセル単位、ピクセル単位などより低い精度の動きベクトルＭＶ１に変更する。このような変更過程は、元の動きベクトルで変更される精度単位を超える部分を切り捨てたり、四捨五入したりする簡単な方法で行われる。
【００７６】
バッファ１６５は、ＦＧＳ階層の参照フレームを一時格納する。詳細に示していないが、ＦＧＳ階層の参照フレームとしてはＦＧＳ階層の復元されたフレームＦＭＦ’，ＦＮＦ’が用いられたり、現在フレーム周辺のオリジナルフレームが用いられたりする。
【００７７】
動き補償部１６０は、前記変更された動きベクトルＭＶ１を用いて、バッファ１４５から提供される基礎階層の復元された参照フレームＦＭＢ’，ＦＮＢ’及びバッファ１６５から提供されるＦＧＳ階層の参照フレームＦＭＦ’，ＦＮＦ’を動き補償し、その結果ｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’），ｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）を差分計算部１７０に提供する。ここで、ＦＭＦ’はＦＧＳ階層の順方向参照フレーム、ＦＮＦ’はＦＧＳ階層の逆方向参照フレーム、ＦＭＢ’は基礎階層の順方向参照フレーム、ＦＮＢ’は基礎階層の逆方向参照フレームをそれぞれ表す。
【００７８】
動き補償部１６０の動き補償のために補間が必要な場合に、動きベクトル探索部１０５や動き補償部１１０で使われた補間フィルタと異なる形態の補間フィルタを使用することができる。例えば、前記動き補償時に１／２ピクセル単位の動きベクトルＭＶ１が使われる場合に、前記補間のためにＨ．２６４の６タップフィルタの代わりに、演算量が少ないバイリニアフィルタを使用することもでき、それでもその後動き補償されたフレーム間の階層間の差分が求められるため圧縮効率にはそれほど大きい影響を与えない。
【００７９】
差分計算部１７０は、前記動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）と前記動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）との差分を求める。すなわち、△Ｍ（＝ｍｃ（ＦＭＦ’）−ｍｃ（ＦＭＢ’））、及び△Ｎ（＝ｍｃ（ＦＮＦ’）−ｍｃ（ＦＮＢ’））を求める。もちろん、単方向参照である場合には１つの差分だけ求めることができる。
【００８０】
そして、差分計算部１７０は、前記差分△Ｍ，△Ｎの平均を求め、前記現在フレームＦＯから前記復元イメージＦＯ’及び前記差分の平均を差し引く。もちろん、単方向参照である場合には前記平均を求める過程を必要としない。
【００８１】
差分計算部１７０から差し引かれた結果Ｆ△は変換部１７５によって空間的変換Ｆ△Ｔされ、量子化部１８０を経て量子化され、量子化された結果Ｆ△Ｑはエントロピー符号化部１５０に伝達される。量子化部１８０で使われる量子化ステップは、一般に量子化部１２５で使われる量子化ステップに比べて小さい値が使われる。
【００８２】
エントロピー符号化部１５０は、動きベクトル探索部１０５で推定された動きベクトルＭＶと、量子化部１２５から提供されるＦＲＢＱと、量子化部１８０から提供されるＦ△Ｑを無損失符号化してビットストリームを生成する。このような無損失符号化方法としては、ハフマン符号化、算術符号化、可変長符号化、その他多様な方法が用いられる。
【００８３】
一方、本発明の第２実施形態によるビデオエンコーダの構成も図４と同様に示すことができる。ただし、第２実施形態では階層間の差分を求める前に各階層別に予測フレームを先に計算するという点だけ差がある。すなわち、差分計算部１７０の動作だけ差がある。
【００８４】
第２実施形態による場合、差分計算部１７０は、前記動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）からＦＧＳ階層の予測フレームＦＰＦを生成し、前記動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）から基礎階層の予測フレームＦＢＦを生成する。予測フレームを生成する過程は、２つの動き補償された参照フレームを平均することによって簡単に求めることができる。もちろん、単方向参照である場合には動き補償されたフレームがそのまま予測フレームになる。
【００８５】
そして、差分計算部１７０は、予測フレームＦＰＦ，ＦＰＢから階層間の差分ＦＰＦ−ＦＰＢを求め、前記現在フレームＦＯから前記復元イメージＦＯ’及び前記差分ＦＰＦ−ＦＰＢを差し引く。
【００８６】
図５は、本発明の第３実施形態によるビデオエンコーダ３００の構成を示すブロック図である。前記第１実施形態と第２実施形態では動き補償を先に行った後、イメージ間の差分を求めたが、第３実施形態ではこの順序を変えて、参照イメージの階層間の差分を先に計算した後、動き補償を行う。図４と重複する説明を避けるために相違する部分を中心に説明する。
【００８７】
差分器３９０は、バッファ３６５から提供されるＦＧＳ階層の参照フレームＦＭＦ’，ＦＮＦ’から、バッファ３４５から提供される基礎階層の復元された参照フレームＦＭＢ’，ＦＮＢ’を差し引き、その結果ＦＭＦ’−ＦＭＢ’，ＦＮＦ’−ＦＮＢ’を動き補償部３６０に提供する。もちろん、単方向参照の場合には１つの差分だけ存在する。
【００８８】
動き補償部３６０は、動きベクトル変更部３５５から提供される変更された動きベクトルＭＶ１を用いて、差分器３９０から提供される階層間参照フレームの差分ＦＭＦ’−ＦＭＢ’，ＦＮＦ’−ＦＮＢ’を動き補償する。前記動き補償時に１／２ピクセル単位の動きベクトルＭＶ１が使われる場合、前記補間のためにＨ．２６４の６タップフィルタの代わりに、演算量が少ないバイリニアフィルタが使われ、それでも圧縮効率にはそれほど大きい影響は与えない。
【００８９】
差分計算部３７０は、動き補償された差分ｍｃ（ＦＭＦ’−ＦＭＢ’），ｍｃ（ＦＮＦ’−ＦＮＢ’）の平均を求め、前記現在フレームＦＯから前記復元イメージＦＯ’及び前記差分の平均を差し引く。もちろん、単方向参照である場合には前記平均を求める過程を必要としない。
【００９０】
図６及び図７は、本発明の第４実施形態によるビデオエンコーダ４００，６００の構成を示すブロック図である。第４実施形態と前記第１ないし第３実施形態との差は、単に差分計算部で現在フレームＦＯから基礎階層の復元されたフレームＦＯ’ではなく、基礎階層の予測フレームＦＰＢが差し引かれるという点である。
【００９１】
図６は図４（第１実施形態）に対応し、図７は図５（第３実施形態）に対応する。図６を参照すれば、差分計算部４７０には図４の現在フレームＦＯで基礎階層の復元されたイメージＦＯ’の代わりに、基礎階層の参照イメージＦＰＢが動き補償部４１０から提供されるものと示されている。したがって、差分計算部４７０は、現在フレームＦＯから前記予測イメージＦＰＢ及び階層間の差分△Ｍ，△Ｎの平均を差し引くことによってＦ△を求める。
【００９２】
同様に、図７において差分計算部６７０は、現在フレームＦＯから前記予測イメージＦＰＢ及び動き補償された差分ｍｃ（ＦＭＦ’−ＦＭＢ’），ｍｃ（ＦＮＦ’−ＦＮＢ’）の平均を差し引くことによってＦ△を求める。
【００９３】
一方、第２実施形態に対応する第４実施形態は図示していないが、図６の構成図と同じ構成を有する。ただし、差分計算部４７０の動作で多少の差がある。第２実施形態に対応する第４実施形態において差分計算部４７０は、前記動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）からＦＧＳ階層の予測フレームＦＰＦを生成し、前記動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）から基礎階層の予測フレームＦＢＦを生成する。そして、差分計算部１７０は、予測フレームＦＰＦ，ＦＰＢから階層間の差分ＦＰＦ−ＦＰＢを求め、前記現在フレームＦＯから前記復元イメージＦＯ’及び前記差分ＦＰＦ−ＦＰＢを差し引くことによってＦ△を求める。
【００９４】
仮に、ここにｌｅａｋｙ予測（第５実施形態）を適用すれば、差分計算部１７０は、前記階層間の差分ＦＰＦ−ＦＰＢに加重因子（α）を掛け、前記現在フレームＦＯから前記復元イメージＦＯ’及び前記掛けた結果α×（ＦＰＦ−ＦＰＢ）を差し引くことによってＦ△を求める。
【００９５】
図８は、本発明の第１実施形態によるビデオデコーダ７００の構成を示すブロック図である。
【００９６】
エントロピー復号化部７０１は、入力されたビットストリームに対して無損失復号化を行い、基礎階層のテクスチャデータと、ＦＧＳ階層のテクスチャデータと、動きベクトルとを抽出する。無損失復号化は、エンコーダ段での無損失符号化過程の逆に進行される過程である。
【００９７】
前記抽出された基礎階層のテクスチャデータＦＰＢＱは、逆量子化部７０５に提供され、前記抽出されたＦＧＳ階層のテクスチャデータＦ△Ｑは、逆量子化部１０４５に提供され、動きベクトルＭＶは、動き補償部７２０及び動きベクトル変更部７３０に提供される。
【００９８】
逆量子化部７０５は、エントロピー復号化部７０１から出力される基礎階層のテクスチャデータＦＰＢＱを逆量子化する。このような逆量子化過程は量子化過程で使われたものと同じ量子化テーブルを用いて、量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。
【００９９】
逆変換部７１０は、前記逆量子化された結果に対して逆変換を行う。このような逆変換はエンコーダ段の変換過程を逆に行い、具体的に、逆ＤＣＴ変換、逆ウェーブレット変換などが使われる。
【０１００】
前記逆変換結果、復元された残差信号ＦＲＢ’は加算器７１５に提供される。
【０１０１】
動き補償部７２０は、抽出された動きベクトルＭＶによって予め復元され、バッファ７２５に格納された基礎階層の復元された参照フレームＦＭＢ’，ＦＮＢ’を動き補償することによって予測イメージＦＰＢを生成し、これを加算器７１５に提供する。
【０１０２】
両方向予測の場合、予測イメージＦＰＢは動き補償された参照フレームＦＭＢ’，ＦＮＢ’の平均で計算でき、単方向予測の場合は、動き補償された参照フレームがそのまま予測イメージＦＰＢになり得る。
【０１０３】
加算器７１５は、入力されたＦＲＢ’及びＦＰＢを加算することによって基礎階層の復元されたイメージＦＯ’を出力し、バッファ７２５は前記復元されたイメージＦＯ’を格納する。
【０１０４】
一方、逆量子化部７４５はＦＧＳ階層のテクスチャデータＦ△Ｑを逆量子化し、逆変換部７５０は前記逆量子化された結果Ｆ△Ｔ’に対して逆変換を行うことによって、復元されたＦ△（Ｆ△’）を求めてフレーム復元部７５５に提供する。
【０１０５】
動きベクトル変更部７３０は、前記抽出された動きベクトルＭＶを受信して動きベクトルの精度を下げる。例えば、前記動きベクトルＭＶの精度が１／４ピクセル単位であれば、前記動きベクトルＭＶは小数位の値として、０、０．２５、０．５、及び０．７５のうち１つを有することができる。動きベクトル変更部１５５は、前記１／４ピクセル単位の動きベクトルを１／２ピクセル単位、ピクセル単位などより低い精度の動きベクトルＭＶ１に変更する。
【０１０６】
動き補償部７３５は、前記変更された動きベクトルＭＶ１を用いて、バッファ７２５から提供される基礎階層の復元された参照フレームＦＭＢ’，ＦＮＢ’及びバッファ７４０から提供されるＦＧＳ階層の参照フレームＦＭＦ’，ＦＮＦ’を動き補償し、その結果ｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’），ｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）をフレーム復元部７５５に提供する。
【０１０７】
前記動き補償時に１／２ピクセル単位の動きベクトルＭＶ１が使われる場合に、前記補間のためにＨ．２６４の６タップフィルタの代わりに、演算量が少ないバイリニアフィルタが使われ、それでも圧縮効率にそれほど大きい影響は与えない。
【０１０８】
フレーム復元部７５５は、前記動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）と、前記動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）との差分を求める。すなわち、△Ｍ（＝ｍｃ（ＦＭＦ’）−ｍｃ（ＦＭＢ’））、及び△Ｎ（＝ｍｃ（ＦＮＦ’）−ｍｃ（ＦＮＢ’））を求める。もちろん、単方向参照である場合には１つの差分だけ求められる。
【０１０９】
そして、フレーム復元部７５５は前記差分△Ｍ，△Ｎの平均を求め、前記Ｆ△’と、基礎階層の復元されたイメージＦＯ’と、前記差分の平均とを加算する。その結果、ＦＧＳ階層の復元されたイメージＦＯＦ’が生成される。もちろん単方向参照である場合には前記平均を求める過程を必要としない。
【０１１０】
バッファ７４０は復元されたイメージＦＯＦ’を格納する。もちろん、バッファ７４０には予め復元されたイメージＦＭＦ’，ＦＢＦ’も格納され得る。
【０１１１】
一方、本発明の第２実施形態によるビデオデコーダの構成も図８と同様に示すことができる。ただし、第２実施形態では階層間の差分を求める前に各階層別に予測フレームを先に計算するという点だけ差がある。すなわち、フレーム復元部７５５の動作だけ差がある。
【０１１２】
第２実施形態による場合、フレーム復元部７５５は前記動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）からＦＧＳ階層の予測フレームＦＰＦを生成し、前記動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）から基礎階層の予測フレームＦＢＦを生成する。予測フレームを生成する過程は２つの動き補償された参照フレームを平均することによって簡単に求められる。もちろん、単方向参照である場合には動き補償されたフレームがそのまま予測フレームになる。
【０１１３】
そして、フレーム復元部７５５は予測フレームＦＰＦ，ＦＰＢから階層間の差分ＦＰＦ−ＦＰＢを求め、前記Ｆ△’と、前記基礎階層の復元イメージＦＯ’と、前記差分ＦＰＦ−ＦＰＢとを加算する。
【０１１４】
図９は、本発明の第３実施形態によるビデオデコーダ９００の構成を示すブロック図である。前記第１実施形態と第２実施形態によるビデオデコーダでは動き補償を先に行った後、イメージ間の差分を求めたが、第３実施形態ではこの順序を変えて参照イメージの階層間の差分を先に計算した後、動き補償を行う。図４と重複する説明を避けるために相違する部分を中心に説明する。
【０１１５】
差分器９６０はバッファ９４０から提供されるＦＧＳ階層の参照フレームＦＭＦ’，ＦＮＦ’から、バッファ９２５から提供される基礎階層の復元された参照フレームＦＭＢ’，ＦＮＢ’を差し引き、その結果ＦＭＦ’−ＦＭＢ’，ＦＮＦ’−ＦＮＢ’を動き補償部９３５に提供する。もちろん、単方向参照の場合には１つの差分だけ存在する。
【０１１６】
動き補償部９３５は動きベクトル変更部９３０から提供される、変更された動きベクトルＭＶ１を用いて差分器３９０から提供される階層間参照フレームの差分ＦＭＦ’−ＦＭＢ’，ＦＮＦ’−ＦＮＢ’を動き補償する。前記動き補償時に１／２ピクセル単位の動きベクトルＭＶ１が使われる場合、前記補間のためにＨ．２６４の６タップフィルタの代わりに、演算量が少ないバイリニアフィルタが使われ、それでも圧縮効率にそれほど大きい影響は与えない。
【０１１７】
フレーム復元部９５５は動き補償された差分ｍｃ（ＦＭＦ’−ＦＭＢ’），ｍｃ（ＦＮＦ’−ＦＮＢ’）の平均を求め、逆変換部９５０から提供されるＦ△’と、基礎階層の復元イメージＦＯ’と、前記差分の平均とを加算する。もちろん単方向参照である場合には前記平均を求める過程を必要としない。
【０１１８】
図１０ないし図１１は、本発明の第４実施形態によるビデオデコーダ１０００，１２００の構成を示すブロック図である。
【０１１９】
第４実施形態のビデオデコーダと前記第１ないし第３実施形態のビデオデコーダとの差は、単にフレーム復元部の加算過程で基礎階層の復元されたフレームＦＯ’の代わりに、基礎階層の予測フレームＦＰＢが使われるという点でだけである。
【０１２０】
図１０は図８（第１実施形態）に対応し、図１１は図９（第３実施形態）に対応する。図１０を参照すれば、フレーム復元部１０５５には図８の基礎階層の復元されたイメージＦＯ’の代わりに、基礎階層の参照イメージＦＰＢが動き補償部１０２０から提供されるものと示されている。したがって、フレーム復元部１０５５は逆変換部１０５０から提供されるＦ△’と、前記予測イメージＦＰＢと、階層間の差分△Ｍ，△Ｎの平均とを加算することによって、ＦＧＳ階層の復元されたイメージＦＯＦ’を求めることができる。
【０１２１】
同様に、図１１において、フレーム復元部１２５５は逆変換部１２５０から提供されるＦ△’と、動き補償部１２２０から提供される予測イメージＦＰＢと、動き補償された差分ｍｃ（ＦＭＦ’−ＦＭＢ’），ｍｃ（ＦＮＦ’−ＦＮＢ’）の平均とを加算することによって、ＦＧＳ階層の復元されたイメージＦＯＦ’を求めることができる。
【０１２２】
一方、第２実施形態に対応する第４実施形態は図示していないが、図８の構成図と同じ構成を有する。ただし、フレーム復元部１２５５の動作で多少の差があるだけである。第２実施形態に対応する第４実施形態で、フレーム復元部１２５５は動き補償されたＦＧＳ階層の参照フレームｍｃ（ＦＭＦ’），ｍｃ（ＦＮＦ’）からＦＧＳ階層の予測フレームＦＰＦを生成し、動き補償された基礎階層の参照フレームｍｃ（ＦＭＢ’），ｍｃ（ＦＮＢ’）から基礎階層の予測フレームＦＢＦを生成する。そして、フレーム復元部１２５５は予測フレームＦＰＦ，ＦＰＢから階層間の差分ＦＰＦ−ＦＰＢを求め、逆変換部１２５０から提供されるＦ△’と、動き補償部１２２０から提供される予測イメージＦＰＢと、予測フレーム間の差分ＦＰＦ−ＦＰＢとを加算することによって、ＦＧＳ階層の復元されたイメージＦＯＦ’を求めることができる。
【０１２３】
仮に、ここにｌｅａｋｙ予測（第５実施形態）を適用すれば、フレーム復元部１２５５は前記階層間の差分ＦＰＦ−ＦＰＢに加重因子（α）を掛け、前記Ｆ△’と、前記復元イメージＦＯ’と、前記掛けられた結果α×（ＦＰＦ−ＦＰＢ）とを加算することによってＦＯＦ’を求める。
【０１２４】
図１２は、本発明の一実施形態によるビデオエンコーダ１００，３００，４００，６００、またはビデオデコーダ７００，９００，１０００，１２００を実現するためのシステムの構成図である。前記システムは、例えばＴＶ、セットトップボックス、デスクトップ、ラップトップコンピュータ、パームトップコンピュータ、ＰＤＡ、ビデオまたはイメージ格納装置（例えば、ＶＣＲ、ＤＶＲなど）を示す。また、前記システムは前記装置を組み合わせたもの、または前記装置が他の装置の一部分として含まれたものであり得る。前記システムは少なくとも１つ以上のビデオソース１３１０、１つ以上の入出力装置１３２０、プロセッサ１３４０、メモリ１３５０、そしてディスプレイ装置１３３０を含んで構成され得る。
【０１２５】
ビデオソース１３１０は、ＴＶ受信機、ＶＣＲ、または他のビデオ格納装置を示す。また、前記ソース１３１０は、インターネット、ＷＡＮ、ＬＡＮ、地上波放送システム、ケーブルネットワーク、衛星通信ネットワーク、無線ネットワーク、電話ネットワークなどを用いてサーバーからビデオを受信するための１つ以上のネットワーク連結を示す。また、前記ソースは前記ネットワークを組み合わせたもの、または前記ネットワークが他のネットワークの一部分として含まれたものを示す。
【０１２６】
入出力装置１３２０、プロセッサ１３４０、そしてメモリ１３５０は通信媒体１３６０を介して通信する。前記通信媒体１３６０には通信バス、通信ネットワーク、または１つ以上の内部連結回路を示す。前記ソース１３１０から受信される入力ビデオデータは、メモリ１３５０に格納された１つ以上のソフトウェアプログラムによってプロセッサ１３４０で処理され得、ディスプレイ装置１３３０に提供される出力ビデオを生成するためにプロセッサ１３４０で実行され得る。
【０１２７】
特に、メモリ１３５０に格納されたソフトウェアプログラムは、本発明による方法を行うウェーブレット変換に基づいた拡張性のあるコーデックを含むことができる。前記エンコーダまたは前記コーデックは、メモリ１３５０に格納されたり、ＣＤ−ＲＯＭやフロッピー（登録商標）ディスクといった格納媒体で読み取られたり、各種ネットワークを介して所定のサーバーからダウンロードしたものであり得る。
【０１２８】
以上、添付する図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の知識を有する者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態によって実施できることを理解することができる。したがって前述した実施形態はすべての面で例示的なものであって、限定的なものではないことを理解しなければならない。
【図面の簡単な説明】
【０１２９】
【図１】従来のＦＧＳ技術を説明する図面である。
【図２】従来のＰＦＧＳ技術を説明する図面である。
【図３】本発明の第１実施形態による高速ＰＦＧＳ方法を説明する図面である。
【図４】本発明の第１実施形態によるビデオエンコーダの構成を示すブロック図である。
【図５】本発明の第３実施形態によるビデオエンコーダの構成を示すブロック図である。
【図６】本発明の第４実施形態によるビデオエンコーダの構成を示すブロック図である。
【図７】本発明の第４実施形態によるビデオエンコーダの構成を示すブロック図である。
【図８】本発明の第１実施形態によるビデオデコーダの構成を示すブロック図である。
【図９】本発明の第３実施形態によるビデオデコーダの構成を示すブロック図である。
【図１０】本発明の第４実施形態によるビデオデコーダの構成を示すブロック図である。
【図１１】本発明の第４実施形態によるビデオデコーダの構成を示すブロック図である。
【図１２】本発明の一実施形態によるビデオエンコーダまたはビデオデコーダを実現するためのシステムの構成図である。
【符号の説明】
【０１３０】
１００、３００、４００、６００  ビデオエンコーダ
７００、９００、１０００、１２００  ビデオデコーダ
１０５  動きベクトル探索部
１１０、１６０  動き補償部
１２０  変換部
１２５  量子化部
１３０  逆量子化部
１３５  逆変換部
１５０  エントロピー符号化部
１５５  動きベクトル変更部
１７０  差分計算部
１７５  変換部
１８０  量子化部
７０１  エントロピー復号化部
７０５、７４５  逆量子化部
７１０、７５０  逆変換部
７２０、７３５  動き補償部
７３０  動きベクトル変更部
７５５  フレーム復元部
【図２】
2008539646.tif 000003
【図３】
2008539646.tif 000004
【図４】
2008539646.tif 000005
【図５】
2008539646.tif 000006
【図６】
2008539646.tif 000007
【図７】
2008539646.tif 000008
【図８】
2008539646.tif 000009
【図９】
2008539646.tif 000010
【図１０】
2008539646.tif 000011
【図１１】
2008539646.tif 000012
【図１２】
2008539646.tif 000013
【図１】
2008539646.tif 000014
【国際調査報告】
2008539646.tif 000015
2008539646.tif 000016