(57)【要約】      （修正有）【課題】動き補償型時間方向フィルタ処理方式は、動画像復号化化装置に逆更新処理および逆予測処理を行うことを必要とし、多大な装置の複雑さ、および大幅な復号化処理の遅延が必要となる。本発明は、複雑さおよび動き補償型時間方向フィルタ処理を行うことによる遅延を削減することを目的とする。【解決手段】逆更新処理を広域ピクチャにおけるピクチャ間符号化マクロブロックの復号化処理の直後に行う。これにより復元処理の遅延時間と復号装置の複雑さを削減できる。  【選択図】図４
2006340014.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャの符号化処理における低複雑度動き補償型時間方向フィルタ処理方法であって、
動き検出を行い（９００）、
動きベクトルと参照ピクチャを決定し（９０４）、
動き補償を行い（９０６）、
マクロブロック残差を算出し（９０８）、
前記マクロブロック残差、動きベクトル、および参照インデックスを符号化して一つのビットストリームとし（９１０）、
前記残差の処理対象ブロックが更新処理に用いられるどうかを決定し（９１８）、
前記処理対象ブロックが更新処理に用いられる場合は、更新動きベクトルを決定し（９２２）、
前記残差のブロックを前記参照ピクチャに更新する（９２８）
ステップを含むことを特徴とする。
【請求項２】
前記ブロック残差を前記参照ピクチャに更新するステップは、
再構成された参照ピクチャから予測画素を取得し（２００）、
更新のための重みの種類UpdateWeightTypeを決定し（２０４）、
前記UpdateWeightTypeが１であるかを確認し（２０６）、
前記UpdateWeightTypeが１である場合は、１／４の倍率で前記ブロック残差をスケーリングし（２０８）、
前記UpdateWeightTypeが０（コメント：「１」の間違いだとは思いますが、原文から間違っているのでこのままで良いです）でない場合は、１／２の倍率で前記ブロック残差をスケーリングし（２１０）、
前記スケーリングされた残差に前記予測画素を加算し（２１２）、
前記計算結果を８ビットの正の値にクリッピングし（２１３）、
前記クリッピングされた値を前記参照ピクチャに複写し戻す（２１４）
ステップを含むことを特徴とする請求項１記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項３】
ピクチャの復号化処理における低複雑度動き補償型時間方向フィルタ処理方法であって、
参照ピクチャを決定し（１００）、
予測動きベクトルを復号化し（１０２）、
ブロック残差を復号化し（１０４）、
前記ブロック残差を残差メモリに格納し（１０６）、
前記ブロックが更新処理に用いられるかどうかを決定し（１１０）、
前記ブロックが更新される場合は、更新動きベクトルを決定し（１１４）、
前記ブロックが更新される場合は、前記ブロック残差を前記参照ピクチャに更新し
（１１６）、
前記予測動きベクトルに基づいて動き補償を行い（１２０）、
前記残差に前記動き補償からの予測値を加算することによって、前記ピクチャを再構成し（１２２）、
前記ピクチャが他のピクチャに参照される場合、参照フレームメモリに前記再構成されたピクチャを格納する（１２６）
ステップを含むことを特徴とする。
【請求項４】
前記参照ピクチャはマクロブロックヘッダから情報を復号化することによって決定される
ことを特徴とする請求項３記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項５】
前記予測動きベクトルは、マクロブロックヘッダから復号化され、逆予測処理に用いられる
ことを特徴とする請求項３記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項６】
前記ブロックが更新処理に用いられるかどうかを決定する処理は、
マクロブロックの種類を決定し（１０００）、
前記マクロブロックの種類がIntraであるかどうかを確認し
（１００２）、
前記マクロブロックの種類がIntraである場合は、前記ブロックに対する更新処理をスキップする決定に戻り、
前記マクロブロックの種類がIntraでない場合は、前記ビットストリームから変数ref_idx_10を決定し（１００４）、
前記変数ref_idx_10が０であるかどうかを確認し（１００６）、
前記変数ref_idx_10が０でない場合は、前記ref_idx_10に参照される参照フレームに対する更新処理をスキップする決定に戻り、
前記変数ref_idx_10が０である場合は、前記ref_idx_10に参照される参照フレームに対する更新処理を行う決定に戻り（１００８）、
前記マクロブロックの種類がBiPredであるかどうかを決定し（１０１０）、
前記マクロブロックの種類がBiPredでない場合は、前記ブロックの第２参照フレームに対する更新処理をスキップする決定に戻り、
前記マクロブロックの種類がBiPredである場合は、前記ビットストリームから変数ref_idx_11を決定し（１０１２）、
前記変数ref_idx_11が０であるかどうかを確認し（１０１４）、
前記変数ref_idx_11が０でない場合は、前記ref_idx_11に参照される参照フレームに対する更新処理をスキップする決定に戻り、
前記変数ref_idx_11が０である場合は、前記ref_idx_11に参照される参照フレームに対して更新処理を行う決定に戻る（１０１６）
ステップを含むことを特徴とする請求項１および３記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項７】
前記変数ref_idx10およびref_idx_11は、参照ピクチャメモリにある参照ピクチャを特定するために用いられる
ことを特徴とする請求項１、３および６記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項８】
前記更新動きベクトルを決定する処理は、
前記更新動きベクトルを前記復号化予測動きベクトルに等しく設定し（３００）、
前記ブロックが輝度ブロックであるかどうかを決定し（３００）、
前記ブロックが輝度ブロックである場合は、輝度動きベクトルの精度を決定し（３０６）、
前記ブロックが輝度ブロックでない場合は、色差動きベクトルの精度を決定し（３０４）、
前記予測動きベクトルの精度に基づいて、オフセット値を設定し（３０８）、
前記予測動きベクトルの精度に基づいて、シフト係数を設定し（３０９）、
前記オフセット値を前記更新動きベクトルの値に加算し（３１０）、
前記シフト係数によって示されたビット数だけ右に前記更新動きベクトルの値をシフトし（３１２）、
前記シフト係数によって示されたビット数だけ左に前記更新動きベクトルの値をシフトする（３１４）
ステップを含むことを特徴とする請求項１および３記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項９】
前記輝度動きベクトルの精度は１／４画素である
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１０】
符号化動画像フォーマットが４：２：０のとき、前記色差動きベクトルの精度は１／８画素である
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１１】
符号化動画像フォーマットが４：２：２のとき、前記色差動きベクトルの垂直成分の精度は１／４画素であり、前記色差動きベクトルの水平成分の精度は１／８である
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１２】
符号化動画像フォーマットが４：４：４のとき、前記色差動きベクトルの精度は１／４画素である
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１３】
前記動きベクトルの精度が１／４画素である場合、前記オフセット値は２の値に設定される
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１４】
前記動きベクトルの精度が１／８画素である場合、前記オフセット値は４の値に設定される
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１５】
前記動きベクトルの精度が１／４画素である場合、前記シフト係数は２の値に設定される
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１６】
前記動きベクトルの精度が１／８画素である場合、前記シフト係数は３の値に設定される
ことを特徴とする請求項１、３および８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１７】
前記ブロック残差を前記参照ピクチャに更新するステップは、
再構成参照ピクチャから予測画素を取得し（２００）、
前記更新処理のための重みの種類UpdateWeightTypeを決定し（２０４）、
前記UpdateWeightTypeが１であるかどうかを確認し（２０６）、
前記UpdateWeightTypeが１である場合は、１／４の倍率で前記ブロック残差をスケーリングし（２０８）、
前記UpdateWeightTypeが０でない場合は、１／２の倍率で前記ブロック残差をスケーリングし（２１０）、
前記予測画素から前記スケーリングされた残差を減算し（２１２）、
前記計算結果を８ビットの正の値にクリッピングし（２１３）、
前記クリッピングされた値を前記参照ピクチャに複写し戻す（２１４）
ステップを備えることを特徴とする請求項３記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１８】
前記予測画素は、前記更新動きベクトルを用いて、前記参照ピクチャから取得される
ことを特徴とする請求項１、２、３および１７記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項１９】
前記計算結果を８ビットの正の値にクリッピングするステップは、
前記計算結果が２５５より大きな値の場合、前記計算結果を２５５の値に設定し、
前記画素が０より小さい値の場合、前記計算結果を０の値に設定する
ステップを備えることを特徴とする請求項１、２、３および１７記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項２０】
前記クリッピングされた値を前記参照ピクチャに複写し戻すステップは、
前記更新動きベクトルを用いて、前記参照ピクチャにある更新位置を見つけ、
前記参照ピクチャの前記更新位置にある画素の値を前記クリッピングされた値に置き換える
ステップを備えることを特徴とする請求項１、２、３および１７記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項２１】
ピクチャ符号化処理のための低複雑度動き補償型時間方向フィルタ処理装置であって、
動き検出を行う手段と（９００）、
動きベクトルと参照ピクチャを決定する手段と（９０４）、
動き補償を行う手段と（９０６）、
マクロブロック残差を算出する手段と（９０８）、
前記マクロブロック残差、動きベクトル、および参照インデックスを符号化して一つのビットストリームにする手段と（９１０）、
前記残差の処理対象ブロックが更新処理に用いられるかどうかを決定する手段と（９１８）、
前記処理対象ブロックが更新処理に用いられる場合は、更新動きベクトルを決定する手段と
（９２２）、
前記残差の処理対象ブロックを前記参照ピクチャに更新する手段（９２８）
を備えることを特徴とする。
【請求項２２】
前記残差の処理対象ブロックを前記参照ピクチャに更新する手段は、
再構成参照ピクチャから予測画素を取得する手段と（２００）、
更新処理のための重みの種類UpdateWeightTypeを決定する手段と（２０４）、
前記UpdateWeightTypeが１であるかどうかを確認する手段と（２０６）、
前記UpdateWeightTypeが１である場合は、１／４の倍率で前記ブロック残差をスケーリングする手段と（２０８）、
前記UpdateWeightTypeが０でない場合は、１／２の倍率で前記ブロック残差をスケーリングする手段と（２１０）、
前記スケーリングされた残差に前記予測画素を加算する手段と（２１２）、
前記計算結果を８ビットの正の値にクリッピングする手段と（２１３）、
前記クリッピングされた値を前記参照ピクチャに複写し戻す手段と（２１４）
を備えることを特徴とする請求項２１記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２３】
ピクチャの符号化処理のための低複雑度動き補償型時間方向フィルタ処理装置であって、
参照ピクチャを決定する手段と（１００）、
予測動きベクトルを復号化する手段と（１０２）、
ブロック残差を復号化する手段と（１０４）、
前記ブロック残差を残差メモリに格納する手段と（１０６）、
前記ブロックが更新処理に用いられるかどうかを決定する手段と（１１０）、
前記ブロックが更新される場合は、更新動きベクトルを決定する手段と（１１４）、
前記ブロックが更新される場合は、前記ブロック残差を前記参照ピクチャに更新する手段と（１１６）、
前記予測動きベクトルに基づいて動き補償を行う手段と（１２０）、
前記残差に前記動き補償からの予測値を加算することによって、前記ピクチャを再構成する手段と（１２２）、
前記ピクチャが他のピクチャに参照される場合、参照フレームメモリに前記再構成されたピクチャを格納する手段（１２６）
を備えることを特徴とする。
【請求項２４】
前記参照ピクチャはマクロブロックヘッダから情報を復号化することによって決定される
ことを特徴とする請求項２３記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２５】
前記予測動きベクトルは、マクロブロックヘッダから復号化され、逆予測処理に用いられる
ことを特徴とする請求項２３記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２６】
前記ブロックが更新処理に用いられるかどうかを決定する処理において、
マクロブロックの種類を決定する手段と（１０００）、
前記マクロブロックの種類がIntraであるかどうかを確認する手段と（１００２）、
前記マクロブロックの種類がIntraである場合は、前記ブロックに対する更新処理をスキップする決定に戻る手段と、
前記マクロブロックの種類がIntraでない場合は、前記ビットストリームから変数ref_idx_10を決定する手段と（１００４）、
前記変数ref_idx_10が０であるかどうかを確認する手段と（１００６）、
前記変数ref_idx_10が０でない場合は、前記ref_idx_10に参照される参照フレームに対する更新処理をスキップする決定に戻る手段と、
前記変数ref_idx_10が０である場合は、前記ref_idx_10に参照される参照フレームに対する更新処理を行う決定に戻る手段と（１００８）、
前記マクロブロックの種類がBiPredであるかどうかを決定する手段と（１０１０）、
前記マクロブロックの種類がBiPredでない場合は、前記ブロックの第２参照フレームに対する更新処理をスキップする決定に戻る手段と、
前記マクロブロックの種類がBiPredである場合は、前記ビットストリームから変数ref_idx_11を決定する手段と（１０１２）、
前記変数ref_idx_11が０であるかどうかを確認する手段と（１０１４）、
前記変数ref_idx_11が０でない場合は、前記ref_idx_11に参照される参照フレームに対する更新処理をスキップする決定に戻る手段と、
前記変数ref_idx_11が０である場合は、前記ref_idx_11に参照される参照フレームに対して更新処理を行う決定に戻る手段（１０１６）
を備えることを特徴とする請求項２１および２３記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２７】
前記変数ref_idx10およびref_idx_11は、参照ピクチャメモリにある参照ピクチャを特定するために用いられる
ことを特徴とする請求項２１、２３および２６記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２８】
前記更新動きベクトルを決定する手段は、
前記更新動きベクトルを前記復号化予測動きベクトルに等しく設定する手段（３００）、
前記ブロックが輝度ブロックであるかどうかを決定する手段（３００）、
前記ブロックが輝度ブロックである場合は、輝度動きベクトルの精度を決定する手段
（３０６）、
前記ブロックが輝度ブロックでない場合は、色差動きベクトルの精度を決定する手段
（３０４）、
前記予測動きベクトルの精度に基づいて、オフセット値を設定する手段（３０８）、
前記予測動きベクトルの精度に基づいて、シフト係数を設定する手段（３０９）、
前記オフセット値を前記更新動きベクトルの値に加算する手段（３１０）、
前記シフト係数によって示されたビット数だけ右に前記更新動きベクトルの値をシフトする手段（３１２）、
前記シフト係数によって示されたビット数だけ左に前記更新動きベクトルの値をシフトする手段（３１４）
を備えることを特徴とする請求項２１および２３記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項２９】
前記輝度動きベクトルの精度は１／４画素である
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３０】
符号化動画像フォーマットが４：２：０のとき、前記色差動きベクトルの精度は１／８画素である
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３１】
符号化動画像フォーマットが４：２：２のとき、前記色差動きベクトルの垂直成分の精度は１／４画素であり、前記色差動きベクトルの水平成分の精度は１／８である
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３２】
符号化動画像フォーマットが４：４：４のとき、前記色差動きベクトルの精度は１／４画素である
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３３】
前記動きベクトルの精度が１／４画素である場合、前記オフセット値は２の値に設定される
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３４】
前記動きベクトルの精度が１／８画素である場合、前記オフセット値は４の値に設定される
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３５】
前記動きベクトルの精度が１／４画素である場合、前記シフト係数は２の値に設定される
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３６】
前記動きベクトルの精度が１／８画素である場合、前記シフト係数は３の値に設定される
ことを特徴とする請求項２１、２３および２８記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項３７】
再構成参照ピクチャから予測画素を取得し（２００）、
前記更新処理のための重みの種類UpdateWeightTypeを決定し（２０４）、
前記UpdateWeightTypeが１であるかどうかを確認し（２０６）、
前記UpdateWeightTypeが１である場合は、１／４の倍率で前記ブロック残差をスケーリングし（２０８）、
前記UpdateWeightTypeが０でない場合は、１／２の倍率で前記ブロック残差をスケーリングし（２１０）、
前記予測画素から前記スケーリングされた残差を減算し（２１２）、
前記計算結果を８ビットの正の値にクリッピングし（２１３）、
前記クリッピングされた値を前記参照ピクチャに複写し戻す（２１４）
ステップを含む前記ブロック残差を前記参照ピクチャに更新するステップを実行することを特徴とする請求項２３記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３８】
前記予測画素は、前記更新動きベクトルを用いて、前記参照ピクチャから取得される
ことを特徴とする請求項２１、２２、２３および２７記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項３９】
前記計算結果を８ビットの正の値にクリッピングする手段は、
前記計算結果が２５５より大きな値の場合、前記計算結果を２５５の値に設定する手段と、
前記画素が０より小さい値の場合、前記計算結果を０の値に設定する手段
を備えることを特徴とする請求項２１、２２、２３および２７記載の低複雑度動き補償型時間方向フィルタ処理装置。
【請求項４０】
前記クリッピングされた値を前記参照ピクチャに複写し戻す手段は、
前記更新動きベクトルを用いて、前記参照ピクチャにある更新位置を見つける手段と、
前記参照ピクチャの前記更新位置にある画素の値を前記クリッピングされた値に置き換える手段
を備えることを特徴とする請求項２１、２２、２３および２７記載の低複雑度動き補償型時間方向フィルタ処理方法。
【請求項４１】
符号化ピクチャデータと前記符号化ピクチャデータの関連データを記録する、コンピュータ読み込み可能な記録媒体であって、
複数の更新スケーリングの重みから、符号化ピクチャデータの復号化における更新処理中に残差値のスケーリングのために用いられる更新スケーリングの重みを特定する情報を、前記符号化ピクチャデータの所定のデータ単位で、前記記録媒体に記録する
ことを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、あらゆるマルチメディアデータ符号化において用いられ、特に、動き補償型時間方向フィルタ処理に対応する動画像符号化において用いることができる。
【背景技術】
【０００２】
近年の動画像圧縮技術の発達は、従来技術であるH. 264/AVCを超える符号化効率を向上させるという試みのもと、動画像コーデックにおける動き補償型時間方向フィルタ処理(motion-compensated temporal filtering (MCTF))の使用の拡大にみられる。MCTFに基づいた動画像符号化と、ISO/IEC 11172-2、ISO/IEC 13818-2、およびISO/IEC14496-2 Part 10等の従来の動画像符号化との差は、予測残差成分を線形結合させた成分が、更新ステップにより入力信号の画素に付加され、時間的低域成分が得られるという点である。
【０００３】
MCTFで用いられる上記リフティング方法は以下のように表すことができる。
【０００４】
【数１】
2006340014.tif 000003
【０００５】
【数２】
2006340014.tif 000004
【０００６】
ここでは信号を、とはそれぞれ予測／更新オペレータを、は高域信号を、そしては低域信号を示す。動き補償型時間方向フィルタ処理において最もよく使われるフィルタには２つの種類がある。それらはハール型フィルタと５／３変換フィルタである。
【０００７】
ハール型フィルタでは、とは以下のように表される。
【０００８】
【数３】
2006340014.tif 000005
【０００９】
【数４】
2006340014.tif 000006
【００１０】
５／３変換フィルタでは、予測／更新オペレータは以下のように求められる。
【００１１】
【数５】
2006340014.tif 000007
【００１２】
【数６】
2006340014.tif 000008
【００１３】
リフティング方法に基づき画素を再構成するためには、逆更新処理が逆予測処理より前に行われなければならない。よって、再構成処理は以下の様に表すことができる。
【００１４】
【数７】
2006340014.tif 000009
【００１５】
【数８】
2006340014.tif 000010
【００１６】
ここで、は信号を、とはそれぞれ予測／更新オペレータを、は再構成された高域信号を、は再構成された低域信号を示す。
【００１７】
現在、ISO/IEC 14496-10 Amendment 2 Scalable Video Codingのような動画像コーデックにおいて、ハール型フィルタと５／３変換フィルタの両方を動き補償型時間方向フィルタ処理に用いることができる。これら２つのフィルタにおける更新処理はそれぞれ異なるため、動画像復号化装置は、初めに高域ピクチャを復号化し高域復号化装置のメモリに格納する必要がある。十分な高域ピクチャが復号化され復号化装置のピクチャバッファに格納された場合、復号化装置は、次に、前記高域ピクチャを用いて、逆予測処理を伴った逆更新処理を低域ピクチャに対して行うだろう。
【００１８】
図１は、従来のピクチャ符号化装置の構成を示すブロック図である。ピクチャ符号化装置は、ピクチャメモリ５００、動き検出部５０２、動き補償部５０４、差分計算部５０６、直交変換部５０８、量子化部５１０、エントロピー符号化部５１２、残差ピクチャメモリ５１４、更新動きベクトル演算部５１６、更新処理選択部５１８、第２動き補償部５２０、スイッチ５２２、重み更新部および加算部５２６を備える。
【００１９】
ピクチャ符号化装置に入力されたピクチャは、まずピクチャメモリ５００に格納される。動き検出部５０２は、ピクチャメモリからのPictEvenとPictOddの比較に基づいて、動きベクトル、ref_idx_10およびref_idx_11を算出する。動き補償部５０４は、動きベクトル、ref_idx_10およびref_idx_11情報を用い、ピクチャメモリから予測ピクチャを算出する。差分計算部５０６は、高域ピクチャの残差を出力するために、PictEvenから予測ピクチャを減算する。この残差は、直交変換部５０８へ入力され、変換係数として出力される。次に、量子化部５１０は、この係数を量子化し、量子化係数QuantCoeffを出力する。エントロピー符号化部５１２は、QuantCoeff、動きベクトル、ref_idx_10およびref_idx_11を符号化し一つのビットストリームにする。差分計算部５０６によって出力された残差は、残差ピクチャメモリ５１４に格納される。更新動きベクトル演算部は、動き検出部から出力された動きベクトル、ref_idx_10およびref_idx_11を取得し、更新動きベクトル、update_ref_idx_10およびupdate_ref_idx_11の演算を行う。更新処理選択部５１８は、残差ピクチャメモリから残差を取得し、残差のエネルギー強度を演算し、更新処理を行うかどうかの決定をスイッチ５２２へ、重みを重み更新部５２４へ出力する。動き補償部５２０は、更新動きベクトル、update_ref_idx_10およびupdate_ref_idx_11を用い、更新残差UpdatedResを出力するために、残差ピクチャメモリ５１４の残差ピクチャに動き補償を行う。スイッチ５２２は、更新処理選択部５１８から出力された決定に従って、更新処理を切るために用いられる。重み更新部５２４は、更新処理選択部５１８から出力された重みによって、UpdatedResをスケーリングする。最後に、加算部５２６は、スケーリングされたWi*UpdatedResをPictoddに加算することによって、PictOddを更新し、更新されたピクチャをピクチャメモリ５００へ格納する。
【００２０】
図２は、従来のピクチャ復号化装置の構成を示す構成図である。復号化装置は、エントロピー復号化部４００、逆量子化部４０２、逆直交変換部４０４、復号化残差メモリ４０６、更新動きベクトル演算部４０８、更新処理選択部４１０、動き補償部４１２、スイッチ４１６、重み更新部４１６、差分計算部４１８、再構成ピクチャメモリ４２０、第２動き補償部４２２および加算部４２４を備える。
【００２１】
エントロピー復号部４００は、符号化された入力信号を取得し、符号化信号の量子化された係数、動きベクトル、ref_idx_10およびref_idx_11を出力する。逆量子化部４０２は、符号化信号を復号化係数に逆量子化する。逆直交変換部４０４は、次に復号化係数を取得し、復号化残差 DecodedResに変換する。これらの復号化残差は、復号化残差メモリ４０６に格納される。更新動きベクトル演算部４０８は、エントロピー復号部４００から出力された動きベクトル、ref_idx_10およびref_idx_11を用い、更新動きベクトル、update_ref_idx_10およびupdate_ref_idx_11の演算を行う。更新処理選択部４１０は、残差ピクチャメモリから残差を取得し、残差のエネルギー強度を演算し、更新処理を行うかどうかの決定をスイッチ４１４へ、重みを重み更新部４１６へ出力する。動き補償部４１２は、更新動きベクトル、update_ref_idx_10およびupdate_ref_idx_11を用い、更新残差UpdatedResを出力するために、復号化残差メモリ４０６の残差ピクチャに動き補償を行う。スイッチ４１４は、更新処理選択部４１０から出力された決定に従って、更新処理を切るために用いられる。重み更新部４１６は、更新処理選択部４１０から出力された重みによって、UpdatedResをスケーリングする。差分計算部４１８は、再構成ピクチャメモリ４２０にある再構成ピクチャからスケーリングされた残差Wi*UpdatedResを減算し、再構成ピクチャメモリ４２０に更新ピクチャを格納する。動き補償部４２２は、再構成ピクチャメモリから予測するために、動きベクトル、ref_idx_10およびref_idx_11を用い、予測ピクチャPredを出力する。加算部４２４は、予測ピクチャと復号化残差メモリ４０６の復号化残差の総計を求め、復号化ピクチャを出力する。復号化ピクチャが参照ピクチャであれば、復号化ピクチャはまた再構成ピクチャメモリ４２０へ格納される。
【００２２】
図３はMCTFの概念を説明する図である。MCTFにおける符号化処理は以下のように説明される。時間方向レベル４において奇数ピクチャ１１０１、１１０３、１１０５等は、高域ピクチャ１１１７、１１１８、１１１９等を取得するために、隣接する偶数ピクチャからの予測ピクチャによって減算される。これらの高域ピクチャは、一つのビットストリームに符号化される。偶数ピクチャ１１００、１１０２、１１０４、１１０６等は、次に、低域ピクチャ１１２５、１１２６、１１２７等を形成するために、高域ピクチャの残差からの予測を用いて更新される。これらの低域ピクチャには、時間方向レベル２における新しい高域と低域のピクチャの組を生成するために、次の工程の予測および更新処理が行われる。それぞれの予測、更新工程における低域ピクチャは、一つの低域ピクチャがGOPまたはパーティションに使用可能となるまで、次の工程の予測、更新処理が行われる。予測、更新処理の全ての工程における高域ピクチャは、ビットストリームに格納される。低域ピクチャは、ピクチャ内符号化ピクチャとして符号化、もしくは別のGOPに属するあらかじめ符号化された符号化ピクチャから予測された予測ピクチャとして符号化される。
【００２３】
MCTFの復号化処理において、最初に更新処理が予測処理の前に行われる。ビットストリームから復号化された高域ピクチャ１１４５は、低域ピクチャ１１４４とするために、低域ピクチャ１１４６に更新される。低域ピクチャ１１４４からの予測ピクチャは、次に、低域ピクチャ１１４３を生成するために、高域ピクチャ１１４５に加算される。これら更新、予測処理の工程は、時間方向レベル４における全てのピクチャが再構成されるまで繰り返される。中間低域ピクチャは高域ピクチャから再構成されるが、全ての高域ピクチャは、一つのビットストリームに符号化される。
【発明の開示】
【発明が解決しようとする課題】
【００２４】
先行技術における逆更新処理および逆予測処理は、どちらも１／４画素精度の動き補償を伴う。この問題点は、どちらも１／４画素精度の動き補償を伴うことで、逆更新処理が逆予測処理と同じぐらい複雑になってしまうことである。さらに、逆更新処理は全ての対応高域ピクチャの再構成後にしか行うことができないため、動画像復号装置の複雑さには制限があるため、ピクチャの再構成にかかる時間に大きな遅延が生じる。この時間の遅延は、いくつかの復号化装置の実施において削減されるが、復号化装置の複雑さを高度化するコストが増加するため、間接的に復号化装置にかかるコストを増加させる。
【課題を解決するための手段】
【００２５】
逆更新処理における上記複雑さの問題を解決するために、低複雑度動き補償型時間方向フィルタ処理のための新しい方法を提案する。本発明が新しい点は、本発明において、動画像復号化装置は、逆更新処理を高域ピクチャにおけるピクチャ間符号化マクロブロックの復号化処理の直後に行うことができることである。これにより、ピクチャの復元に必要な時間の遅延および復号化装置の複雑さが削減される。
【発明の効果】
【００２６】
本発明の効果は、動き補償型時間方向フィルタ処理における更新処理を行うために必要な複雑さ減らし、符号化装置と復号化装置にかかるコストを間接的に減らすことである。
【発明を実施するための最良の形態】
【００２７】
復号化処理における遅延および復号化装置の複雑さを減らすために、本発明は、数３、４に示される先行技術において用いられたハール型フィルタに替えて新しい２タップフィルタを用いる。新しい２タップフィルタは数９、数１０に示される。また、本発明は、５／３変換フィルタにモディファイド逆更新演算子を用いることによって、二つのフィルタの更新演算子間の適合性を達成する。
【００２８】
新しい２タップフィルタでは、とは以下のように表される。
【００２９】
【数９】
2006340014.tif 000011
【００３０】
【数１０】
2006340014.tif 000012
【００３１】
５／３変換フィルタでは、予測および更新演算子は以下のように求められる。
【００３２】
【数１１】
2006340014.tif 000013
【００３３】
【数１２】
2006340014.tif 000014
【００３４】
数１０、数１２から、上記モディフィケーションにより、２タップフィルタの更新演算子は５／３変換フィルタ更新演算子の一部を形成することがはっきりと分かる。よって、使用されたフィルタの種類に関わらず、それぞれの高域ピクチャに逆更新処理を行うことが可能であることが分かる。これによって、逆更新処理の前に全ての高域ピクチャが処理可能になるのを待つ必要がなくなる。本発明において、W1は1/4の値もしくは1/2の値であると定義できる。
【００３５】
図４は本発明におけるピクチャ符号化装置の構成を示すブロック図である。ピクチャ符号化装置は、ピクチャメモリ７００、動き検出部７０２、動き補償部７０４、差分計算部７０６、直交変換部７０８、量子化部７１０、エントロピー符号化部７１２、更新処理選択部７１４、更新重み選択部７１６、３つのスイッチ７１８、７２０および７２６、２つのスケーリング部７２２および７２４、更新動きベクトル演算部７２８、動き更新部、および加算部７３２を備える。
【００３６】
ピクチャ符号化装置に入力されたピクチャは、最初にピクチャメモリ７００に格納される。動き検出部７０２は、ピクチャメモリのPictEvenとPictOddの比較に基づいて、動きベクトル、ref_idx_10およびref_idx_11を算出する。動き補償部７０４は、動きベクトル、ref_idx_10およびref_idx_11情報を用い、ピクチャメモリから予測ピクチャを算出する。差分計算部７０６は、高域ピクチャの残差を出力するために、PictEvenから予測ピクチャを減算する。これら残差は直交変換部７０８に入力され、変換係数として出力される。量子化部７１０は、次にこれら係数の量子化を行い、量子化係数QuantCoeffを出力する。エントロピー符号化部７１２は、QuantCoeff、動きベクトル、ref_idx_10およびref_idx_11を一つのビットストリームに符号化する。更新重み選択部７１６は、更新処理に用いられる重みを選択し、スイッチ７２０および７２６にUpdateWeightType情報を出力する。このUpdateWeightType情報は、エントロピー符号化部７１２に送信され、一つのビットストリームに符号化される。
【００３７】
スイッチ７１８は、更新処理選択部７１４によって制御される。更新処理選択部７１４は、ref_idx_10およびref_idx_11情報を用い、更新処理を行うことができるか否かの決定を出力する。上記処理が可能な場合、差分計算部７０６から出力された残差は、スケーリング部７２２もしくは７２４によってスケーリングされ、加算部７３２に入力される。更新動きベクトル演算部７２８は、動き検出部７０２から動きベクトルを取得し、更新動きベクトルを出力する。動き更新部７３０は、次に、動き予測部７０２からref_idx_10およびref_idx_11、および更新動きベクトル演算部７２８の出力を取得し、ピクチャメモリ７００からLowPassBlkを出力する。加算部７３２は、LowPassBlkおよびScaleResの値を加算し、その総計をピクチャメモリ７００へ格納する。
【００３８】
別の実施の形態においては、更新重み選択部７１６、スイッチ７２２および７２４、および第２スケーリング部７２４を省いてもよい。この場合、UpdateWeightTypeはビットストリームに符号化されない。残差はひとつのスケーリング部によってW1の重みでスケーリングされる。W1の値は1/4もしくは1/2である。
【００３９】
図５は、本発明におけるピクチャ復号装置の構成を示すブロック図である。ピクチャ復号装置は、エントロピー復号化部６００、逆量子化部６０２、逆直交変換部６０４、加算部６０６、更新処理選択部６０６、３つのスイッチ６０８、６１０および６１６、２つのスケーリング部６１２および６１４、差分計算部６２２、更新動きベクトル演算部６１８、動き更新部６２０、復号化ピクチャメモリ６２４、および動き補償部６２６を備える。
【００４０】
エントロピー復号化部６００は、符号化された入力信号を取得し、符号化信号の量子化された係数、動きベクトル、ref_idx_10およびref_idx_11を出力する。逆量子化部６０２は、符号化信号を復号化係数に逆量子化を行う。逆直交変換部６０４は、次に、復号化係数を取得し、復号化残差DecodedResに変換する。更新処理選択部６０６は、ref_idx_10およびref_idx_11を取得し、スイッチ６１０で更新処理を行うか否かを制御する。スイッチ６１０および６１６は、エントロピー復号化部６００によって復号化されたUpdateWeightTypeによって制御される。UpdateWeightTypeは、スイッチ６０８の出力から復号化残差をスケーリングするために用いられる２つの異なるスケーリング部６１２および６１４のうち一つを選択するために用いられる。
【００４１】
更新動きベクトル演算部６１８は、エントロピー復号化部６００から動きベクトルを取得し、更新動きベクトルを算出する。動き更新部６２０は、更新動きベクトル、ref_idx_10およびref_idx_11を取得し、復号化ピクチャメモリから再構成ブロックを取得する。差分計算部６２２は、再構成ブロックReconBlkの値からスケーリングされた残差ScaledResの値を減算し、その減算結果を復号化ピクチャメモリ６２４に格納し戻す。動き補償部６２６は、動きベクトル、ref_idx_10およびref_idx_11情報を用い、復号化ピクチャメモリから予測ピクチャを出力する。加算部６０６は、予測ピクチャと逆直交変換部６０４からの復号化残差を加算し、再構成ピクチャを出力する。この再構成ピクチャが他のピクチャの予測ピクチャの生成に用いられる場合は、再構成ピクチャは復号化ピクチャメモリ６２４に格納される。
【００４２】
別の実施の形態において、２つのスイッチ６１０および６１６、および第２のスケーリング部６１４は省いてもよい。UpdateWeightTypeはエントロピー復号化部から出力されず、残差は、ひとつのスケーリング部によってW1の重みでスケーリングされる。W1の値は1/4もしくは1/2である。
【００４３】
図６Aは、本発明のピクチャ符号化装置がピクチャ単位で更新スケーリング部のスケーリングの重みを切り替える場合における符号化されたビットストリームのストリーム構造を示す図である。図６Bは、本発明のピクチャ符号化装置がスライス単位で更新スケーリング部のスケーリングの重みを切り替える場合における符号化されたビットストリームのストリーム構造を示す図である
符号化されたビットストリームは、複数の更新スケーリングの重みのうち一つを特定する更新スケーリング重み型情報UpdateWeightTypeを含む。符号化されたビットストリームを復号化する本発明のピクチャ復号化装置は、ビットストリームに符号化された更新スケーリング重み型情報を確認することによって、符号化に用いられた更新スケーリングの重みと同じ種類の重みを選択する。
【００４４】
ピクチャ単位で更新スケーリングの重みが切り替えられる場合、図６Aに示されるように、UpdateWeightType情報はヘッダ８０１に格納することができる。ヘッダ８０１はパラメータと１以上のピクチャに関する情報を含む。スライス単位で更新スケーリングの重みが切り替えられる場合、図６Bに示されるように、UpdateWeightType情報はスライスヘッダ８０２に格納することができる。スライスヘッダ８０２はパラメータとスライスヘッダに伴うスライスデータに関する情報を含む。
【００４５】
図７は本発明のピクチャ符号化装置における動き補償型時間方向フィルタ処理を示す。図示されるように、モジュール９００において、動き検出はピクチャメモリ９０２の隣接するピクチャと処理対象ピクチャを比較することによって行われる。次に、モジュール９０４において、予測のための動きベクトルおよび参照インデックスが決定される。それから、モジュール９０６において、動きベクトルと参照インデックスを用いてピクチャメモリのピクチャから予測することによって予測ピクチャを生成するために、動き補償が行われる。モジュール９０８において、マクロブロックの残差が計算される。次に、動きベクトル、参照インデックスおよび残差は、モジュール９１０において一つのビットストリームに符号化される。上記処理は、動き補償型時間方向フィルタ処理の予測処理に含まれる。
【００４６】
モジュール９１８において、残差の処理対象ブロックは、更新処理に用いられるかどうかの決定のために解析される。モジュール９２０に示されるように、処理対象ブロックが更新処理に用いられる場合は、モジュール９２２において更新動きベクトルが決定される。更新動きベクトルに基づいて、モジュール９２８に示されるように、残差はあらかじめ動き補償に用いられた参照フレームへ更新される。更新参照フレームはピクチャメモリに格納される。
【００４７】
図８は本発明のピクチャ復号化装置における逆動き補償型時間方向フィルタ処理を示す。モジュール１００において、動き予測に用いられる参照ピクチャが決定される。これは、どの参照ピクチャをマクロブロックが予測に使用しているかを示す符号化マクロブロックヘッダにある情報を復号化することによって行われる。次に、モジュール１０２において、マクロブロックヘッダから動きベクトルは復号化される。これらの動きベクトルは後の逆予測処理に用いられる。モジュール１０４において、動画像ビットストリームからブロック残差が復号化される。モジュール１０６において、復号化ブロック残差は残差メモリに格納されるので、残差は逆予測処理に用いることができる。モジュール１１０において、処理対象ブロックが逆更新処理に用いられる場合は、処理対象ブロックが決定される。モジュール１１２に示されるように、ブロック残差が更新される場合は、モジュール１１４において更新動きベクトルが決定され、ブロック残差は、モジュール１１６において更新動きベクトルによって示される参照フレームにおける対応位置に更新される。これらの更新動きベクトルは画素精度が整数画素である。上記記載の処理は逆動き補償型時間方向フィルタ処理の逆更新処理に含まれる。
【００４８】
モジュール１２０において、動き補償は更新参照ピクチャから予測するための予測動作ベクトルと参照インデックスを用いて行われる。次に、モジュール１２２において、ピクチャはピクチャメモリのブロック残差を動き補償処理によって導出された予測ブロックに加算することによって再構成される。そして、再構成されたピクチャが他のピクチャの予測に用いられる場合、この再構成ピクチャは、モジュール１２６に示されるように、参照フレームメモリ１２８に格納される。
【００４９】
図９はブロック残差を参照ピクチャに更新する処理を示す。まず、モジュール２００において、予測画素のブロックは、更新動きベクトルに示されるように、ピクチャメモリ２０２に位置する参照ピクチャから整数画素更新動きベクトルを用いて取得される。次に、モジュール２０４において、更新スケーリング重み型UpdateWeightTypeはビットストリームから復号化される。モジュール２０６に示されるように、UpdateWeightTypeが１の場合、モジュール２０８において更新残差は1/4の倍率によってスケーリングされる。モジュール２１０に示されるように、UpdateWeightTypeが０の場合、更新残差は1/2の倍率によってスケーリングされる。次に、モジュール２１２において、予測画素はピクチャ符号化装置のためにスケーリングされた残差に加算される。ピクチャ復号化装置の場合、モジュール２１２において、予測画素からスケーリングされた残差が減算される。そして、モジュール２１３において、減算の総計は符号なし８ビットの値にクリッピングされる。モジュール２１４において更新動きベクトルによって示されるように、再構成ピクチャはピクチャメモリ２１６に格納し戻される。
【００５０】
図１０は予測動きベクトルから更新動きベクトルを決定する処理を示す。まず、モジュール３００において、更新動きベクトルは予測動きベクトルと同じ値をもつように設定される。次に、モジュール３０２において、残差ブロックが輝度画素を含む場合は、残差ブロックが決定される。処理対象ブロックが輝度ブロックである場合は、輝度動きベクトルの精度はモジュール３０６において決定される。例えば、ISO/IEC 14496-10 MPEG-4 AVCにおいて、輝度動きベクトルの精度は1/4画素である。処理対象ブロックが輝度ブロックでない場合は、輝度動きベクトルの精度はモジュール３０４において決定される。符号化フォーマットが4:2:0である場合、輝度動きベクトルは1/8画素精度である。符号化フォーマットが4:2:2である場合、輝度動きベクトルの水平成分は1/8画素精度であるが、輝度動きベクトルの垂直成分は1/4画素精度である。
【００５１】
次に、モジュール３０８において、オフセットの値が設定される。オフセット値は動きベクトルの精度によって異なる。動きベクトルが1/8画素精度の場合、オフセット値は４に設定される。動きベクトルが1/4画素精度の場合、オフセット値は２に設定される。次に、モジュール３０９において、シフト係数が設定される。動きベクトルが1/8画素精度の場合、シフト係数は３に設定される。動きベクトルが1/4画素精度の場合、シフト係数は２に設定される。それから、モジュール３１０において、オフセット値が更新動きベクトルに加算される。モジュール３１２において、加算された総計が、シフト係数によって示されるビットの数だけ右にシフトされる。その後、モジュール３１４において、更新動きベクトルは、シフト係数によって示される同じビットの数だけ左にシフトされる。
【００５２】
図１１は本発明における更新処理選択処理を行う処理を示す。まず、モジュール１０００において、マクロブロックの種類MBTypeがマクロブロックヘッダから決定される。モジュール１００２に示されるように、MBTypeがIntraである場合は、更新処理はスキップされる。MBTypeがIntraでない場合は、モジュール１００４において、ビットストリームから参照インデックスおよびref_idx_10が決定される。モジュール１００６に示されるように、ref_idx_10が０でない場合は、ref_idx_10に参照される参照フレームへの更新処理はスキップされる。モジュール１００６に示されるように、ref_idx_10が０である場合は、モジュール１００８において、更新処理はref_idx_10に参照される参照ピクチャのために選択される。
【００５３】
次に、モジュール１０１０において、マクロブロックの種類がBiPredである場合は、マクロブロックの種類を決定する。MBTypeがBiPredでない場合は、更新処理選択処理は終了する。MBTypeがBiPredである場合は、モジュール１０１２において、ビットストリームから参照インデックスref_idx_11が決定される。モジュール１０１４に示されるように、ref_idx_11が０でない場合は、ref_idx_11に参照される参照フレームに対する更新処理はスキップされる。モジュール１０１４に示されるように、ref_idx_11が０である場合は、モジュール１０１６において、ref_idx_11に参照される参照ピクチャのために更新処理が選択される。
【図面の簡単な説明】
【００５４】
【図１】図１は従来のピクチャ符号化装置の構成を示すブロック図である。
【図２】図２は従来のピクチャ復号化装置の構成を示すブロック図である。
【図３】図３はMCTF処理における高域ピクチャと低域ピクチャを説明する図である。
【図４】図４は本発明におけるピクチャ符号化装置の構成を示すブロック図である。
【図５】図５は本発明におけるピクチャ復号化装置の構成を示すブロック図である。
【図６Ａ】図６Aは本発明のピクチャ符号化装置から出力された符号化されたビットストリームのストリーム構造を示すブロック図である。
【図６Ｂ】図６Bは本発明のピクチャ符号化装置がスライス単位で更新重みを切り替えた時に出力された符号化されたビットストリームのストリーム構造を示す図である。
【図７】図７は本発明のピクチャ符号化装置における動き補償型時間方向フィルタ処理を示すフローチャートである。
【図８】図８は本発明のピクチャ復号化装置における動き補償時間方向フィルタ処理を示すフローチャートである。
【図９】図９は本発明における更新処理を行う処理を示すフローチャートである。
【図１０】図１０は本発明における更新動きベクトルを導出する処理を示すフローチャートである。
【図１１】図１１は本発明における更新処理選択を行う処理を示すフローチャートである。
【図１】
2006340014.tif 000015
【図２】
2006340014.tif 000016
【図３】
2006340014.tif 000017
【図４】
2006340014.tif 000018
【図５】
2006340014.tif 000019
【図６Ａ】
2006340014.tif 000020
【図６Ｂ】
2006340014.tif 000021
【図７】
2006340014.tif 000022
【図８】
2006340014.tif 000023
【図９】
2006340014.tif 000024
【図１０】
2006340014.tif 000025
【図１１】
2006340014.tif 000026
【外国語明細書】
2006340014.tif 000027
2006340014.tif 000028
2006340014.tif 000029
2006340014.tif 000030
2006340014.tif 000031
2006340014.tif 000032
2006340014.tif 000033
2006340014.tif 000034
2006340014.tif 000035
2006340014.tif 000036
2006340014.tif 000037
2006340014.tif 000038
2006340014.tif 000039
2006340014.tif 000040
2006340014.tif 000041
2006340014.tif 000042
2006340014.tif 000043
2006340014.tif 000044
【図１】
2006340014.tif 000045
【図２】
2006340014.tif 000046
【図３】
2006340014.tif 000047
【図４】
2006340014.tif 000048
【図５】
2006340014.tif 000049
【図６】
2006340014.tif 000050
【図７】
2006340014.tif 000051
【図８】
2006340014.tif 000052
【図９】
2006340014.tif 000053
【図１０】
2006340014.tif 000054
【図１１】
2006340014.tif 000055