(57)【要約】      （修正有）【課題】復号化装置での動き補償型時間方向フィルタ処理における必要メモリ量を減らす。【解決手段】動き補償型時間方向フィルタ処理では、逆予測動作の前に逆更新動作を行う必要がある。そのため、高域ピクチャの復元残差成分を、上位ビット、下位ビットの二つの要素に分割し（１１４）別々のフレームメモリに格納する。上位の要素は後で逆更新動作および逆予測動作の両方に用いられるように残差参照フレームに格納する（１１６）。一方、下位の要素は逆予測動作においてのみ用いるため復元フレームメモリに格納する（１１８）。【選択図】図１
2006270181.tif 000002
【特許請求の範囲】
【請求項１】
動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法であって、
前記復号化処理は、
動画像符号化列からマクロブロックを復号化し、
逆更新動作を行い、
逆予測動作を行う
ステップを備えることを特徴とする復号化及び格納方法。
【請求項２】
前記動画像符号化列から前記マクロブロックを復号化するステップは、
変換係数を復号化するためにエントロピー復号化を行い（１００）、
スキャン順に前記変換係数をスキャンし（１０２）、
復元された変換係数を求めるために前記変換係数の逆スケーリングをし（１０４）、
前記復元係数を残差成分に逆変換し（１０６）、
前記マクロブロックが画面内符号化もしくは画面間符号化されたかを決定し（１０８）、
前記マクロブロックが画面内符号化される場合、画素を復元し（１２０、１２２、
１２４）、
前記マクロブロックが画面間符号化される場合、残差成分を９ビットにクリッピングし
（１１２）、
前記残差成分を残差フレームメモリ及び復元フレームメモリの両方に格納する（１１４、
１１６、１１８）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項３】
前記マクロブロックが画面内符号化される場合、画素を復元するステップは、
予測画素を求めるために画面内予測を行い、（１２０）
画素を復元するために、前記予測画素と前記復号化残差を加算し（１２２）、
前記復元画素を８ビットにクリッピングし、
前記復元画素を前記復元フレームメモリに格納する（１２４）
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項４】
前記復元画素を８ビットにクリッピングするステップは、
前記画素の値が２５５より大きい場合は、前記復元画素に２５５の値を設定し、
前記画素の値が０より小さい場合は、前記復元画素に０の値を設定する
ステップを備えることを特徴とする請求項１、２及び３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項５】
前記復号化残差成分を９ビットにクリッピングするステップは、
前記復号化残差成分が２５５より大きい場合、前記復号化残差成分に２５５の値を設定し、
前記復号化残差成分が−２５６より小さい場合、前記復号化残差成分に−２５６の値を設定する
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項６】
前記復号化残差成分を格納するステップは、
前記復号化残差成分を上位８ビットの部分と下位ビットの部分に分割し（１１４）、
前記上位８ビットの部分を残差参照フレームメモリに格納し(１１６)、
前記下位ビットの部分を復元フレームメモリに格納する（１１８）
ステップを備えることを特徴とする請求項１及び２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項７】
前記画面内符号化マクロブロックの復元画素を格納する前記復元フレームメモリと前記復号化残差の下位ビット部分を格納する前記復元フレームメモリは同一のフレームメモリである
ことを特徴とする請求項１、２、３及び６記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項８】
前記逆更新動作を行うステップは
更新動きベクトルを導出し（２００）、
更新動作に用いられるフィルタの種類を決定し(２０２)、
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差を求め
（２１０、２１２、２１４）、
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差を求め
(２０６)、
復元フレームメモリから低域ピクチャの復元画素を求め（２１８）、
前記低域ピクチャの復元画素から逆更新残差成分を減算し（２２０）、
最終復元画素を８ビットの値にクリッピングする（２２２）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項９】
前記フィルタの種類はハール型フィルタもしくは５／３変換フィルタである
ことを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納する方法である。
【請求項１０】
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求めるステップは、
残差参照フレームメモリから第一の残差成分の組を求めるために動き補償を行い
（２１０）、
残差参照フレームメモリから第二の残差成分の組を求めるために動き補償を行い
（２１２）、
逆更新残差を求めるために、前記動き補償された第一と第二の残差成分の組の平均を求める（２１４）
ステップを備えることを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１１】
前記動き補償された第一と第二の残差成分の組の平均を求めるステップは、
前記動き補償された残差成分の二組を加算し、
前記加算結果に１の値を加算し、
前記１を加算した結果を右に１ビットシフトする
ステップを備えることを特徴とする請求項１、８及び１０記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１２】
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分は、残差参照フレームメモリから動き補償を行うことによって求めることができる
ことを特徴とする請求項１及び８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法（２０６）。
【請求項１３】
前記逆予測動作を行うステップは、
マクロブロックから動きベクトルを導出し（３００）、
予測画素を求めるために、復元参照フレームに動き補償を行い（３０２）、
残差参照フレームから復号化残差成分の上位８ビットを導出し（３０６）、
２の因数で復号化残差成分の前記８ビットを乗算し（３１０）、
復元フレームバッファから前記復号化残差成分の下位ビットを導出し（３１２）、
前記乗算した値と前記下位ビットの値の和を求めることによって、前記符号化残差成分の値を復元し（３１６）、
前記予測画素を前記復元残差成分に加算することによって画素を復元し（３１８）、
前記復元画素を８ビットの値にクリッピングする（３２０）
ステップを備えることを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１４】
前記予測画素を求めるための動き補償動作の回数は、前記マクロブロックにおける予測ブロックの種類による
ことを特徴とする請求項１及び１３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１５】
前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が２方向予測であれば２回である
ことを特徴とする請求項１、１３及び１４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１６】
前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が１方向予測であれば１回である
ことを特徴とする請求項１、１３及び１４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１７】
前記下位ビットを導出するステップと前記下位ビットを加算することによって復号化画素を復元するステップは任意処理である
ことを特徴とする請求項１及び１３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１８】
前記逆更新動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項１９】
前記逆予測動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項２０】
前記逆更新動作を選択するステップは、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化し（４００）、
前記8bits_update_flagが１であるかを決定し（４０２）、
前記8bits_update_flagが１でなければ、９ビットの符号付残差成分を用いて逆更新動作を行い（４０６）、
前記8bits_update_flagが１であれば、請求項８記載の前記逆更新動作を行う（４０８）
ことを特徴とする請求項１及び１８記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項２１】
前記逆予測動作を選択するステップは、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化し（４００）、
前記8bits_update_flagが１であるかを決定し（４０２）、
前記8bits_update_flagが１であれば、前記シーケンスパラメータからlast_bit_pred_flagを復号化し（４０４）、
前記last_bit_pred_flagが１であるかを決定し（４１０）、
前記last_bit_pred_flagが１であれば、請求項１３記載の逆予測動作を行い（４１４）、
前記last_bit_pred_flagが１でなければ、請求項１３及び１７記載の符号付８ビット残差成分を用いた逆予測動作を行い（４１６）、
前記8bits_update_flagが１でなければ、従来技術記載の符号付９ビットを用いた逆予測動作を行う（４１２）
ことを特徴とする請求項１及び１９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項２２】
動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置であって、
前記復号化装置は、
動画像符号化列からマクロブロックを復号化する手段と、
逆更新動作を行う手段と、
逆予測動作を行う手段と
を備えることを特徴とする復号化及び格納装置。
【請求項２３】
前記動画像符号化列からマクロブロックを復号化する手段は、
変換係数を復号化するためにエントロピー復号化を行う手段と（１００）、
スキャン順に前記変換係数をスキャンする手段と（１０２）、
復元された変換係数を求めるために前記変換係数の逆スケーリングをする手段と
（１０４）、
前記復元係数を残差に逆変換する手段と（１０６）、
前記マクロブロックが画面内符号化もしくは画面間符号化されたかを決定する手段と（１０８）、
前記マクロブロックが画面内符号化される場合、画素を復元する手段と
（１２０、１２２、１２４）、
前記マクロブロックが画面間符号化される場合、残差成分を９ビットにクリッピングする手段と（１１２）、
前記残差成分を残差フレームメモリ及び復元フレームメモリの両方に格納する手段と
（１１４、１１６、１１８）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項２４】
前記マクロブロックが画面内符号化される場合、画素を復元する手段は、
予測画素を求めるために画面内予測を行う手段と（１２０）、
画素を復元するために、前記予測画素と前記復号化残差を加算する手段と（１２２）、
前記復元画素を８ビットにクリッピングする手段と、
前記復元画素を前記復元フレームメモリに格納する手段と（１２４）
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項２５】
前記復元残差成分を８ビットにクリッピングする手段は、
前記画素の値が２５５より大きい場合は、前記復元画素に２５５の値を設定する手段と、
前記画素の値が０より小さい場合は、前記復元画素に０の値を設定する手段と
を備えることを特徴とする請求項２２、２３及び２４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項２６】
前記復号化残差成分を９ビットにクリッピングする手段は、
前記復号化残差成分が２５５より大きい場合は、前記復号化残差成分に２５５の値を設定する手段と、
前記復号化残差成分が−２５６より小さい場合は、前記復号化残差成分に−２５６の値を設定する手段と
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項２７】
前記復号化残差成分を格納する手段は、
前記復号化残差成分を上位８ビットの部分と下位ビットの部分に分割する手段と
（１１４）、
前記上位８ビットの部分を残差参照フレームメモリに格納する手段と(１１６)、
前記下位ビットの部分を復元フレームメモリに格納する手段と（１１８）
を備えることを特徴とする請求項２２及び２３記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納方法。
【請求項２８】
前記画面内符号化マクロブロックの復元画素を格納する前記復元フレームメモリと前記復号化残差成分の下位ビットの部分を格納する前記復元フレームメモリは同一のフレームメモリである
ことを特徴とする請求項２２、２３、２４及び２７記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項２９】
前記逆更新動作を行う手段は
更新動きベクトルを導出す手段と（２００）、
更新動作に用いられるフィルタの種類を決定する手段と(２０２)、
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求める手段と（２１０、２１２、２１４）、
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分を求める手段と(２０６)、
復元フレームメモリから低域ピクチャの復元画素を求める手段と（２１８）、
前記低域ピクチャの復元画素から逆更新残差を減算する手段と（２２０）、
最終復元画素を８ビットの値にクリッピングする手段と（２２２）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３０】
前記フィルタの種類はハール型フィルタもしくは５／３変換フィルタである
ことを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３１】
前記用いられるフィルタの種類が５／３変換タイプであれば、逆更新残差成分を求める手段は、
残差参照フレームメモリから第一の残差成分の組を求めるために動き補償を行う手段と
（２１０）、
残差参照フレームメモリから第二の残差成分の組を求めるために動き補償を行う手段と
（２１２）、
逆更新残差成分を求めるために、前記動き補償された第一と第二の残差成分の組の平均を求める手段と（２１４）
を備えることを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３２】
前記動き補償された第一と第二の残差成分の組の平均を求める手段は、
前記動き補償された残差成分の二組を加算する手段と、
前記加算結果に１の値を加算する手段と、
前記１を加算した結果を右に１ビットシフトする手段と
を備えることを特徴とする請求項２２、２９及び３１記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３３】
前記用いられるフィルタの種類が５／３変換タイプでなければ、逆更新残差成分は、残差参照フレームメモリから動き補償を行うことによって求めることができる
ことを特徴とする請求項２２及び２９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置（２０６）。
【請求項３４】
前記逆予測動作を行う手段は、
マクロブロックから動きベクトルを導出す手段と（３００）、
予測画素を求めるために、復元参照フレームに動き補償を行う手段と（３０２）、
残差参照フレームから復号化残差成分の上位８ビットを導出す手段と（３０６）、
２の因数で復号化残差成分の前記８ビットを乗算する手段と（３１０）、
復元フレームバッファから前記復号化残差成分の下位ビットを導出す手段と（３１２）、
前記乗算した値と前記下位ビットの値の和を求めることによって、前記符号化残差成分の値を復元する手段と（３１６）、
前記予測画素を前記復元残差成分に加算することによって画素を復元する手段と
（３１８）、
前記復元画素を８ビットの値にクリッピングする手段と（３２０）
を備えることを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３５】
前記予測画素を求めるための動き補償動作の回数は、前記マクロブロックにおける予測ブロックの種類による
ことを特徴とする請求項２２及び３４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３６】
前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が２方向予測であれば２回である
ことを特徴とする請求項２２、３４及び３５記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３７】
前記予測画素を求めるための動き補償動作の回数は、前記ブロック予測が１方向予測であれば１回である
ことを特徴とする請求項２２、３４及び３５記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３８】
前記下位ビットを導出すステップと前記下位ビットを加算することによって復号化画素を復元するステップは任意処理である
ことを特徴とする請求項２２及び３４記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項３９】
前記逆更新動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項４０】
前記逆予測動作は前記動画像シーケンスパラメータセットにおけるフラグによって選択することができる
ことを特徴とする請求項２２記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項４１】
前記逆更新動作を選択する手段は、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化する手段と
（４００）、
前記8bits_update_flagが１であるかを決定する手段と（４０２）、
前記8bits_update_flagが１でなければ、９ビットの符号付残差を用いて逆更新動作を行う手段と（４０６）、
前記8bits_update_flagが１であれば、請求項８記載の前記逆更新動作を行う手段と
（４０８）、
を備えることを特徴とする請求項２２及び３９記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【請求項４２】
前記逆予測動作を選択する手段は、
前記動画像シーケンスパラメータセットから8bits_update_flagを復号化する手段と
（４００）、
前記8bits_update_flagが１であるかを決定する手段と（４０２）、
前記8bits_update_flagが１であれば、前記シーケンスパラメータからlast_bit_pred_flagを復号化する手段と（４０４）、
前記last_bit_pred_flagが１であるかを決定する手段と（４１０）、
前記last_bit_pred_flagが１であれば、請求項１３記載の逆予測動作を行う手段と
（４１４）、
前記last_bit_pred_flagが１でなければ、請求項１３及び１７記載の符号付８ビット残差成分を用いた逆予測動作を行う手段と（４１６）、
前記8bits_update_flagが１でなければ、従来技術記載の符号付９ビットを用いた逆予測動作を行う手段と（４１２）
を備えることを特徴とする請求項２２及び４０記載の動き補償型時間方向フィルタ処理における残差成分の復号化及び格納装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆるマルチメディアデータ符号化において用いられ、特に、動き補償型時間方向フィルタ処理に対応する動画像符号化において用いることができる。
【背景技術】
【０００２】
近年の動画像圧縮技術の発達は、従来技術であるH. 264/AVCを超える符号化効率を向上させるという試みのもと、動画像コーデックにおける動き補償型時間方向フィルタ処理(motion-compensated temporal filtering (MCTF))の使用の拡大にみられる。MCTFに基づいた動画像符号化と、ISO/IEC 11172-2、ISO/IEC 13818-2、およびISO/IEC14496-2 Part 10等の従来の動画像符号化との差は、予測残差成分を線形結合させた成分が、更新ステップにより入力信号の画素に付加され、時間的低域成分が得られるという点である。
【０００３】
MCTFで用いられる上記リフティング方法は以下のように表すことができる。
【０００４】
h[k] = s[2k+1]−P(s[2k+1])                                        Eqn. 1
【０００５】
l[k] = s[2k]+U(s[2k])                                             Eqn. 2
【０００６】
ここでsは信号を、PとUはそれぞれ予測／更新オペレータを、hは高域信号を、そしてlは低域信号を示す。動き補償型時間方向フィルタ処理において最もよく使われるフィルタには２つの種類がある。それらはハール型フィルタと５／３変換フィルタである。
【０００７】
ハール型フィルタでは、PとUは以下のように表される。
【０００８】
PHaar(s[x, 2k+1]) = s[x+mp0, 2k−2rp0]                            Eqn. 3
【０００９】
UHaar(s[x, 2k]) = 1/2h[x+mU0, k+rU0]                              Eqn. 4
【００１０】
５／３変換フィルタでは、予測／更新オペレータは以下のように求められる。
【００１１】
P5/3(s[x, 2k+1]) = 1/2(s[x+mp0, 2k−2rp0]+s[x+mp1, 2k+2+2rp1])    Eqn. 5
【００１２】
U5/3(s[x, 2k]) = 1/4(h[x+mU0, k+rU0]+h[x+mU1, k−1−rU1])         Eqn. 6
【００１３】
リフティング方法に基づき画素を復元するためには、逆更新動作が逆予測動作より前に行われなければならない。よって、復元処理は以下の様に表すことができる。
【００１４】
s[2k] = l´[k]−U(s[2k])                                          Eqn. 7
【００１５】
s[2k+1] = h´[k]+P(s[2k])                                         Eqn. 8
【００１６】
ここで、sは信号を、PとUはそれぞれ予測／更新オペレータを、h´は復元高域信号を、l´は復元低域信号を示す。
【００１７】
実際、高域信号は従来の動画像コーデックのP及びBピクチャの残差成分と同一である。例えば、式３は、１方向予測のための動き補償動作と同様の予測動作を示す。同じく、式５は、２方向予測のための動き補償動作と同様の予測動作を示す。この二つの動作は従来の動画像符号化と同じである。よって、時間的高域成分ピクチャの画面間符号化マクロブロックは、ハールフィルタか５／３変換フィルタのどちらが残差を求めるために用いられたかによって、PもしくはBピクチャの画面間符号化マクロブロックと同一である。
【００１８】
式４と６は動き補償型時間方向フィルタ処理においてのみ用いられる更新動作である。それらは式２において時間的低域信号を求めるため、及び式７において時間的低域信号から画素を復元するために用いられる。
【００１９】
動き補償型時間方向フィルタ処理は、動画像シーケンスを圧縮するのに常に効率が良いというわけではない。例えば、動画像シーケンスにおいてシーンチェンジが起これば、時間フィルタをこれらのピクチャに用いることは有用ではない。従来の動画像コーデックと同様に、画面間符号化マクロブロックはこの目的のために送信できる。動き補償型時間方向フィルタ処理と共に用いられた場合、PとUは以下のように表される。
【００２０】
PIntra (s[x, 2k+1]) = 0                                          Eqn. 9
【００２１】
UIntra (s[x, 2k]) = 0                                           Eqn. 10
【発明の開示】
【発明が解決しようとする課題】
【００２２】
動き補償型時間方向フィルタ処理における復号化処理において、復号化装置は、それぞれ式７と８で示される、逆予測動作より前に最初に逆更新動作を行う必要がある。ハールおよび５／３変換フィルタのどちらも時間的低域信号を復元するために用いることができるため、復号化装置は、フレーム全体の復元高域信号、もしくは逆更新及び逆予測動作両方の局部メモリ中の残差成分を格納しなければならない。８ビットの入力動画像において、これらの残差値の範囲は−２５５から２５５であり、これらを完全に表現をするには９ビットを必要とする。
【００２３】
一方、時間的高域ピクチャにおいて符号化された画面内符号化マクロブロックについて、復号化装置は、復元画面間マクロブロック残差成分から分離されたフレームメモリにおけるこれらのマクロブロックの復元画素を格納しなければならない。それは、逆更新動作は、式１０に示されるように、これらの復元画面内画素に適応しないからである。よって、これらの画素は別々に格納される必要があり、復元残差成分のみに対する動き補償に関する逆更新処理中には参照されない。
【００２４】
上記先行技術の問題点は、これら９ビットの復号残差成分を格納するために、復号化装置はそれぞれの復号残差成分の格納に２バイトを必要とすることである。これは、画面内復号化復元画素を格納するために必要なフレームメモリを除いて、全ての画面間復号化マクロブロック残差成分を格納するために２フレーム分の大きさのメモリが必要であることを意味する。これは、MPEG-1、MPEG-2、もしくはMPEG-4 AVCといった従来の動画像符号化方法と比較して、復号化装置側のメモリサイズが相当大きくなるということである。
【課題を解決するための手段】
【００２５】
上記メモリ使用量増大化の問題を解決するために、動き補償型時間方向フィルタ処理における９ビットの残差成分を格納する新しい方法を提案する。本発明が新しい点は、高域ピクチャの復元残差成分を、例えば符号付８ビットの要素と１ビットの要素、の二つの要素に分割し、これら２つの要素を別々のフレームメモリに格納することである。逆更新動作は上位８ビットの要素だけを用い、一方、逆予測動作は復元画素を求めるために、復元残差成分の両方の要素を用いる。
【発明の効果】
【００２６】
本発明の効果は、動き補償型時間方向フィルタ処理を行うために必要なメモリの容量を減らし、符号化装置と復号化装置にかかるコストを間接的に減らすことである。
【発明を実施するための最良の形態】
【００２７】
本発明は、動き補償型時間方向フィルタ処理の処理を行う動画像復号化装置が必要な使用メモリ容量を減らすことを目的とする。
【００２８】
図１は動き補償型時間方向フィルタ処理における画面内及び画面間の符号化マクロブロックの復号化処理を示す。図１に示すように、動画像復号化装置はモジュール１００における動画像符号化列から変換係数を復号するエントロピー復号処理を行う。そして、これら変換係数は、モジュール１０２において、例えばジグザグスキャンのような、規格によって規定されるスキャン方法で逆スキャンされる。次にこの変換係数は、それぞれモジュール１０４及び１０６に示されるような残差値になるように逆スケーリング及び逆変換される。モジュール１０８及び１１０において、復号化装置は、マクロブロックタイプを決定し、現マクロブロックが画面内マクロブロックであるかどうかを確認する。現マクロブロックが画面内マクロブロックである場合は、復号化装置は、モジュール１２０に示すように画面内予測を行うことによって予測値を取得する。次に、復号化装置は予測値とモジュール１２２の復号化残差値の和を求めることによって画素を復元する。復元された画素は８ビットにクリッピングされ、モジュール１２４の復元フレームメモリに格納される。復元画素を８ビットにクリッピングする処理は、画素値が２５５より大きい場合は、画素値を２５５に設定するステップを伴い、画素値が０より小さい場合は、画素値を０に設定するステップを伴う。
【００２９】
現マクロブロックが画面内マクロブロックでない場合は、モジュール１１２に示すように、符号付ビットを含めて復号化残差成分は９ビットにクリップされる。復号化残差成分を９ビットにクリップする処理は、残差値が２５５より大きい場合は、残差値を２５５に設定するステップを伴い、画素値が−２５６より小さい場合は残差値を−２５６に設定するステップを伴う。低域においては、−２５６の値の他に、−２５５の値も用いることができる。モジュール１１４において、クリッピング残差値は２つの部分に分けられる。第１の部分は上位８ビットを含み、一方、第２の部分は復号化残差成分の下位ビットを含む。モジュール１１６において、残差成分の上位８ビットを含む部分は、後で逆更新動作及び逆予測動作の両方に用いられる、残差参照フレームメモリに格納される。一方、残差成分の下位ビットを含む第２の部分は、後でモジュール１１８に示される逆予測動作においてのみ用いられる、復元フレームメモリに格納される。モジュール１１８における最後の動作は、本実施の形態においては復号化装置における実装上の複雑さを減らすため任意とする。
【００３０】
図２は、本発明における逆更新処理を示す。モジュール２００において、最初に、更新動作ベクトルが導出される。次に、復号化装置はモジュール２００において現マクロブロックの更新動作のために用いられるフィルタの種類を決定する。モジュール２０４に示すように、フィルタの種類が５／３変換タイプである場合、復号化装置は、モジュール２１０及び２１２に示される２組の動き補償残差成分のそれぞれに対して２回の動き補償動作を行う必要がある。動き補償動作は符号付８ビット動作参照フレームに対して行われる。次に、モジュール２１４において、逆更新残差を２組の動き補償残差成分の平均をとることで求める。その動作には、２つの残差値の和を求め、その和に１を加算し、その最終結果を右に１ビットシフトするステップを含む。モジュール２０４に示すように、フィルタの種類が５／３変換タイプでない場合、復号化装置は、モジュール２０６において逆更新残差を求めるために残差参照フレームに１回の動き補償動作のみを行う。モジュール２１８において、低域ピクチャのための復元画素は復元フレームメモリから求められる。復元画素は、モジュール２２０において、逆更新残差成分が減算される。最後に、モジュール２２２において、最終復元値は８ビットにクリッピングされる。
【００３１】
図３は、本発明における逆予測処理を示す。モジュール３００において、現マクロブロックの動きベクトルは導出される。これらの動きベクトルは既に復号化され、復号化装置の局所メモリに格納されている。次に、モジュール３０２において、復号化装置は、予測が１方向予測か２方向予測かによって、一つか二つの動きベクトルの組を用いて予測画素を求めるために、復元参照フレームに動き補償を行う。動き補償動作は復元参照フレームに対して行われる。次に、モジュール３０６において、復号化装置は、残差フレームバッファから復号化残差成分の上位８ビットを導出する。導出された残差値は、次にモジュール３１０において、２の因数で乗算される。モジュール３１２において、復号残差成分の下位ビットは、次に復元フレームバッファから導出される。次に、モジュール３１６において、復号残差成分は残差の下位ビットと復号化残差成分の残りの和を求めることによって復元される。モジュール３１２及び３１６における動作は、本実施の形態においては復号化装置における実装上の複雑を減らすため任意とする。
【００３２】
最後に、画素は、それぞれモジュール３１８及び３２０に示すように、最終残差値に予測値を加算し、復元画素を８ビットにクリッピングすることによって復元される。
【００３３】
図４は、符号化列において符号化されたフラグを用いて本発明を選択する処理を示す。モジュール４００において、8bits_update_flagは動画像符号化列から復号化される。このフラグは動画像シーケンスパラメータセットにおいて符号化することができる。このフラグはプロフィールインジケータに従って、復号化装置によって特定の値を設定することもできる。次に、モジュール４０２において、このフラグの値が１の値であればその値が決定される。その値が１でない場合は、復号化装置は従来技術を用い、モジュール４０６において９ビットの符号付残差成分に逆更新動作を行い、モジュール４１２において９ビットの符号付残差成分を用いて逆予測動作を行う。
【００３４】
モジュール４０２において、8bits_update_flagの値が１である場合は、第２のフラグの値、last_bit_pred_flag、がモジュール４０４において決定される。このフラグは、現時点において動画像符号化列にある場合は、動画像シーケンスパラメータセットにおいて符号化される。このフラグの値は、プロフィールインジケータの値に従って、復号化装置によって設定することもできる。モジュール４１０において、last_bit_pred_flagの値が１である場合、復号化装置は本発明を用いて符号付９ビット残差に逆予測動作をおこなう。モジュール４１６において、上記last_bit_pred_flagの値が１でない場合は、復号化装置は本発明を用いて逆予測動作を符号付８ビットでもって行う。
【図面の簡単な説明】
【００３５】
【図１】本発明における画面内及び画面間符号化マクロブロックの復号化処理を示すフローチャートである。
【図２】本発明における逆更新処理を示すフローチャートである。
【図３】本発明における逆予測処理を示すフローチャートである。
【図４】本発明を選択する処理を示すフローチャートである。
【図１】
2006270181.tif 000003
【図２】
2006270181.tif 000004
【図３】
2006270181.tif 000005
【図４】
2006270181.tif 000006
【外国語明細書】
2006270181.tif 000007
2006270181.tif 000008
2006270181.tif 000009
2006270181.tif 000010
2006270181.tif 000011
2006270181.tif 000012
2006270181.tif 000013
2006270181.tif 000014
2006270181.tif 000015
2006270181.tif 000016
2006270181.tif 000017
2006270181.tif 000018
2006270181.tif 000019
2006270181.tif 000020
2006270181.tif 000021
2006270181.tif 000022
2006270181.tif 000023
2006270181.tif 000024
2006270181.tif 000025