(57)【要約】【課題】動き補償付きの時間方向フィルタにおけるローパスフィルタの高域阻止特性を柔軟に制御する動画像符号化方法を提供する。【解決手段】ローパスフィルタ処理画像を生成するため画像に動き補償付き時間方向フィルタリングを行い、ローパスフィルタ処理画像の変換係数を量子化し、量子化変換係数を符号化し、動き補償によって生成される動き補償残差の大きさ及び量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出し、重みによる重み付けローパスフィルタ係数に従ってフィルタ処理のためのローパスフィルタの高域阻止特性を制御し、この制御では、量子化パラメータに対して正の相関を持ち、動き補償残差の大きさに対して負の相関を持つようにローパスフィルタの高域阻止特性を制御する。【選択図】図１
2007150432.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を符号化する動画像符号化方法であって、
ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、
ローパスフィルタ処理された画像の変換係数を量子化する量子化ステップと、
量子化変換係数を符号化する符号化ステップと、
前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化ステップにおける量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出するステップと、
前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御ステップと、
を有し、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化方法。
【請求項２】
前記制御ステップは、前記ローパスフィルタの高域阻止特性を制御するために、前記量子化パラメータに基づく予め定められたテーブルを参照することによって、前記動き補償残差の大きさと、前記テーブルに従って選択される所定のしきい値とに基づいてローパスフィルタ係数を決定することを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
複数の画像を符号化する動画像符号化方法であって、
ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、
前記ローパスフィルタの高域阻止特性を制御する制御ステップと、
前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさを検出するステップと、
前記動き補償付き時間方向フィルタリングにおける動き補償で用いられる動きベクトルを検出するステップと、
所定のしきい値を発生するステップと、
前記所定のしきい値を複数又は単数の画像毎に動的に選択するステップと、
前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパスフィルタ係数を算出するステップと、
前記所定のしきい値を符号化してビットストリームに多重化するステップと、
を有することを特徴とする動画像符号化方法。
【請求項４】
受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、
ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、
前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、
前記受信ビットストリームから量子化パラメータを取得するステップと、
前記受信ビットストリームから動き補償残差を取得するステップと、
を含み、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
【請求項５】
前記制御ステップは、前記ローパス合成フィルタの高域阻止特性を制御するために、前記量子化パラメータに基づく予め定められたテーブルを参照することによって、前記動き補償残差の大きさと、前記テーブルに従って選択される所定のしきい値とに基づいてローパス合成フィルタ係数を算出することを特徴とする請求項４記載の動画像復号化方法。
【請求項６】
受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、
ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、
前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、
前記受信ビットストリームから量子化パラメータを取得するステップと、
前記受信ビットストリームから動き補償残差を取得するステップと、
前記受信ビットストリームから所定のしきい値を取得するステップと、
を含み、前記制御ステップは、前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパス合成フィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
【請求項７】
複数の画像を符号化する動画像符号化装置であって、
ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタ部と、
ローパスフィルタ処理された画像の変換係数を量子化する量子化部と、
量子化変換係数を符号化する符号化部と、
前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化部による量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出する係数算出部と、
前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御部と、
を具備し、前記制御部は、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化装置。
【請求項８】
複数の画像を符号化する動画像符号化装置であって、
ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタ部と、
前記ローパスフィルタの高域阻止特性を制御する制御部と、
前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさを検出する動き補償残差検出部と、
前記動き補償付き時間方向フィルタリングにおける動き補償で用いられる動きベクトルを検出する動きベクトル検出部と、
所定のしきい値を発生するしきい値生成部と、
前記所定のしきい値を複数又は単数の画像毎に動的に選択する選択部と、
前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパスフィルタ係数を算出する算出部と、
前記所定のしきい値を符号化してビットストリームに多重化する多重化部と、
を具備することを特徴とする動画像符号化装置。
【請求項９】
受信ビットストリームの複数の画像を復号化する動画像復号化装置であって、
ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行う合成フィルタ部と、
前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御部と、
前記受信ビットストリームから量子化パラメータを検出する量子化パラメータ検出部と、
前記受信ビットストリームから動き補償残差を検出する動き補償残差検出部と、
を具備し、前記制御部は、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化装置。
【請求項１０】
受信ビットストリームの複数の画像を復号化する動画像復号化装置であって、
ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行う合成フィルタ部と、
前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御部と、
前記受信ビットストリームから量子化パラメータを検出する量子化パラメータ検出部と、
前記受信ビットストリームから動き補償残差を検出する動き補償残差検出部と、
前記受信ビットストリームから所定のしきい値を検出するしきい値検出部と、
を含み、前記制御部は、前記動き補償残差の大きさ、前記動きベクトル及び前記所定のしきい値に基づいて前記ローパス合成フィルタの高域阻止特性を制御することを特徴とする動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化／復号化方法および装置に係わり、特に動き補償付きの時間方向フィルタを用いた動画像符号化／復号化方法及び装置に関する。
【背景技術】
【０００２】
近年、動き補償付きの時間方向フィルタ（ＭＣＴＦ：Motion Compensated Temporal Filter）を用いた動画像符号化／復号化手法が注目されている。ＭＣＴＦは、１次元ウェーブレットを用いて動き補償付きの時間方向サブバンド分割を行ない、入力動画像を時間方向に対し高周波成分（予測残差フレーム）と低周波成分（平均フレーム）に分離する手法である。また、復号化側では符号化側と逆に時間方向ウェーブレット合成操作を行うことによって高周波成分と低周波成分を合成し、出力動画像を復元する。ＭＣＴＦを用いた動画像符号化／復号化は、上記操作により時間的なスケーラビリティを得られるだけでなく、符号化効率という面でも有用である。
【０００３】
非特許文献１では、ローパスフィルタの特性を変えることによって全体的な符号化効率を向上させるためにローパスフィルタを適用する画素を含む４×４画素ブロックにおける「対応画素の割合」と「フレームの類似度」に関する値の積を使って、ローパスフレームを求める式の重みＷを決定している。
【０００４】
通常のＭＰＥＧ−２、Ｈ．２６４／ＡＶＣなどと同様にブロックベースで動き補償を行なう場合には、ブロック単位で動きベクトルが割り当てられるため、逆方向の動きベクトルを求めた場合にハイパスフィルタとローパスフィルタの間で対応画素のミスマッチが起こる。この対応画素のミスマッチが符号化効率を低下させる原因となるため、ローパスフィルタを適用する４×４画素ブロック中でミスマッチが起こる画素が多いほどローパスフィルタ係数が小さくなるように重み付けを行なっている。
【０００５】
また、非特許文献２に開示されているハイパスフレームの動き補償残差パワーのみを用いてローパスフィルタ係数にかける重みを決定する手法や、非特許文献３に開示されている動き補償残差の大きさに加えてローパスフレームのアクティビティに従ってローパスフィルタ係数にかける重みを決定する手法がある。
【０００６】
しかし、上記一般的手法は何れも量子化の粗さに基づいてローパスフィルタの高域阻止特性を制御するものではない。
【非特許文献１】Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 14th Meeting: HongKong, CN, 17-21 January, 2005, “JVT-N020d1”
【非特許文献２】N.Mehrseresht and D.Taubman, “Adaptively Weighted Update Steps In Motion Compensated Lifting Based Scalable Video Compression”, IEEE International Conference on Image Processing 2003, vol.3, pp771-774, Sep, 2003.
【非特許文献３】D.Maestroni, M.Tagliasacchi and S.Tubaro, “In-band Adaptive Update Step Based On Local Content Activity”, Visual Communications and Image Processing 2005, July, 2005.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述したように、一般的技術では動き補償付きの時間方向フィルタにおけるローパスフィルタの高域阻止特性を量子化の粗さに適応して選択することができないという問題があった。また、動き補償残差及び動きベクトルに係わるローパスフィルタ係数制御を行なう制御関数内のしきい値を複数又は単数のフレーム／フィールド毎に適応的に選択することができないという問題があった。
【課題を解決するための手段】
【０００８】
本発明の第１の形態は、複数の画像を符号化する動画像符号化方法であって、ローパスフィルタ処理された画像を生成するため画像に対して動き補償付き時間方向フィルタリングを行うフィルタリングステップと、ローパスフィルタ処理された画像の変換係数を量子化する量子化ステップと、量子化変換係数を符号化する符号化ステップと、前記動き補償付き時間方向フィルタリングにおける動き補償によって生成される動き補償残差の大きさ及び前記量子化ステップにおける量子化の粗さを表す量子化パラメータに従ってローパスフィルタ係数に付与される重みを算出するステップと、前記重みにより重み付けられた前記ローパスフィルタ係数に従って前記ローパスフィルタ処理のためのローパスフィルタの高域阻止特性を制御する制御ステップとを有し、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像符号化方法を提供する。
【０００９】
本発明の第２の形態は、受信ビットストリームの複数の画像を復号化する動画像復号化方法であって、ローパス合成フィルタ処理を施した画像を生成するため前記画像に対して動き補償付き時間方向合成フィルタリングを行うフィルタリングステップと、前記ローパス合成フィルタ処理のためのローパス合成フィルタの高域阻止特性を制御する制御ステップと、前記受信ビットストリームから量子化パラメータを取得するステップと、前記受信ビットストリームから動き補償残差を取得するステップとを含み、前記制御ステップは、前記量子化パラメータに対して正の相関を持ち、前記動き補償残差の大きさに対して負の相関を持つように前記ローパスフィルタの高域阻止特性を制御することを特徴とする動画像復号化方法を提供する。
【発明の効果】
【００１０】
本発明によれば、ローパスフィルタの高域阻止特性を量子化の粗さに基づいて制御することにより符号化効率が向上する。また、ローパスフィルタ係数制御関数におけるしきい値を複数又は単数の画像で適応的に制御することにより符号化効率が向上する。
【発明を実施するための最良の形態】
【００１１】
本発明は、動き補償付きの時間方向フィルタ（ＭＣＴＦ：Motion Compensated Temporal Filter）を用いた動画像符号化／復号化手法を採用しているが、本発明の実施形態を説明するに際してＭＣＴＦを用いた動画像符号化／復号化方法について図１１を用いて説明する。
【００１２】
ＭＣＴＦを用いた動画像符号化は、入力動画像を所定のフレーム数のグループ（ＧＯＰ：Group of Picture）を一つの単位として符号化する。ＧＯＰが８フレームの場合における時間方向サブバンド分割の概念を図１１に示している。
【００１３】
まず、ＧＯＰ内の８枚の入力フレームｆ１〜ｆ８は第１段階の時間方向サブバンド分割により高周波成分であるハイパスフレームＨと、低周波成分であるローパスフレームＬに分けられる。次に、レベル１のローパスフレームのみを用いてさらに時間方向サブバンド分割を行い、レベル２のハイパスフレームＬＨと、ローパスフレームＬＬに分けることができる。このように階層的に分割を行い、最終的に７枚のハイパスフレームＨ、ＬＨ、ＬＬＨと１枚のローパスフレームＬＬＬに分割する。分割したハイパスフレーム、ローパスフレームは各々のフレーム毎に変換、量子化、エントロピー符号化し、ビットストリームに多重化して出力する。
【００１４】
一方、上記ビットストリームを受信した復号化側は、エントロピー復号化、逆量子化、逆変換を行い１枚のローパスフレームと７枚のハイパスフレーム（それぞれ量子化誤差を含む）を復元した後、それらのフレームを基に図１１のレベル３からレベル１へ階層を逆方向に辿って合成することによって出力画像を得る。
【００１５】
図１２を参照してハイパスフレームとローパスフレームに分割する方法および出力画像を合成する方法について詳細に説明する。図１２は、フレームＡとフレームＢに動き補償付きの時間方向フィルタを適用した例、ここでは一般的に用いられるフィルタの一例としてＨａａｒフィルタの例を示している。なお、本例ではハイパスフィルタとローパスフィルタを段階的に適用するリフティング操作によってフィルタ処理を行なっており、図１２はリフティング操作を説明する一般的な図である。
【００１６】
まず、符号化側において、動き推定によりフレームＡとフレームＢの間の動きベクトルを生成する。
【数１】
2007150432.tif 000003
【００１７】
生成したハイパスフレームｈに対して動きベクトルの符号を逆にした逆方向動きベクトルに基づいて動き補償を行なったフレームｈ^を生成した後、次式（２）に基づいてローパスフレームｌを求める。
【数２】
2007150432.tif 000004
【００１８】
式（１）（２）から分かるように、動き補償を無視して考えるならば、ハイパスフレームｈはフレームＡとフレームＢの予測残差を表し、ローパスフレームｌはフレームＡとフレームＢの平均を表している。また、復号化側では符号化側と逆の操作で出力画像を得ることができる。復号化側でハイパスフレームｈ’、ローパスフレームｌ’（ｈ、ｌにおいて量子化誤差を含んだもの）を用いてフレームＡ’とフレームＢ’を復元する式を次式（３）（４）に示す。
【数３】
2007150432.tif 000005
【００１９】
【数４】
2007150432.tif 000006
【００２０】
上記のように、ＭＣＴＦを用いた動画像符号化では、複数フレームを平均化したローパスフレームｌを生成している点が通常の符号化方式であるＭＰＥＧ−２やＨ．２６４／ＡＶＣなどと大きく異なり、例えば図１３に示したような、時間的にランダムなノイズ（例えば映画のフィルムグレインノイズなど）を含むシーケンスの場合には、時間的ノイズを予測残差成分として抽出したハイパスフレームと、複数フレームを平均化することによって時間的ノイズを低減したローパスフレームを別々に符号化することによって高い符号化効率を得ることができる。
【００２１】
また、上述した一般的なＭＣＴＦを用いた動画像符号化に対し、ローパスフィルタの特性を変えることによって全体的な符号化効率が向上することがいくつか報告されている。ローパスフィルタをかけることによって例えばＨａａｒフィルタを用いた場合には、式（２）をローパスフィルタ係数にかける重みＷ（０≦Ｗ≦１）を用いて次式（５）のように変更できる。
【数５】
2007150432.tif 000007
【００２２】
図１４に量子化の粗さを表す量子化パラメータＱＰが２０と３２の場合を例として、動き補償残差の大きさに基づいてローパスフィルタ係数にかかる重みＷを変化させた場合のビットレートとＰＳＮＲの関係をそれぞれローパスフィルタ係数にかかる重みが０のときを基準としてプロットしたグラフを示す。図１４より、量子化パラメータＱＰの違いによって最適点は異なり、量子化パラメータＱＰとローパスフィルタ係数にかかる最適な重みＷとの間には正の相関があることが分かる。
【００２３】
以下、本発明の実施形態について図を参照して説明する。
【００２４】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる動画像符号化装置を示すブロック図である。
【００２５】
図１に示す動画像符号化装置１００は、フレームバッファ１０１、動き補償時間フィルタ部１０２、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５、動き推定部１０６、変換・量子化部１０７、エントロピー符号化部１０８を有し、符号化制御部１１０によって制御される。この符号化制御部１１０は、例えばハイパスフレームおよびローパスフレームにおける量子化パラメータ制御等を行い、符号化全体の制御を行なう。
【００２６】
フレームバッファ１０１は、入力動画像から符号化する１ＧＯＰ分のフレームを取り込み記憶する、または動き補償時間フィルタ部１０２で生成されたローパスフレームをさらに時間方向の高周波成分と低周波成分に分割する場合に、生成されたローパスフレームを取り込み格納する。
【００２７】
動き推定部１０６は、フレームバッファ１０１に格納されたフレームと参照画像を用いて、動き補償時間フィルタ部１０２内のハイパスフィルタ部１０５で予測残差信号を生成するために動き推定を行い、動きベクトルを生成する。動き補償時間フィルタ部１０２は、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５を有し、フレームバッファ１０１から取得したフレームに対し、動き推定部１０６で生成した動きベクトルを用いて動き補償付きの時間方向フィルタを適用し、ハイパスフレームとローパスフレームを生成する処理を行なう。生成されたハイパスフレームは変換・量子化部１０７へ送られる。また、ローパスフレームは再び動き補償時間フィルタを適用し時間分割するためフレームバッファ１０１へ送られるか、或いは、これ以上時間分割しない場合は変換・量子化部１０７へ送られる。
【００２８】
ハイパスフィルタ部１０５は、フレームバッファ１０１から取得したフレームに対し、動き推定部１０６で生成した動きベクトルを用いて動き補償を行い、所定のハイパスフィルタ係数を用いてフィルタリングを行うことによって予測残差信号であるハイパスフレームを生成する。ローパスフィルタ部１０４は、取得したフレームに対して逆方向動きベクトルを用いて動き補償を行ない、ローパスフィルタ係数制御部１０３で決定されたローパスフィルタ係数を用いてローパスフレームを生成する。ローパスフィルタ係数制御部１０３は、動き補償残差及び動きベクトルに加え、符号化制御部１１０から量子化パラメータ或いはしきい値を取得し、それらに基づいてローパスフィルタの高域阻止特性を制御し、また、しきい値を複数又は単数のフレーム／フィールド毎にエントロピー符号化部１０８へ出力する。
【００２９】
変換・量子化部１０７は、動き補償時間フィルタ部１０２から取得したフレームに対し、変換（例えば離散コサイン変換）を行い、算出した変換係数を決められた量子化パラメータに基づいて量子化し、量子化した変換係数をエントロピー符号化部１０８へ出力する。エントロピー符号化部１０８は、変換・量子化部１０７から取得した量子化後の変換係数、動き推定部１０６で生成した動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を符号化し、ビットストリームに多重化して出力する。ここで、ビットストリームに多重化する情報は、必ずしもエントロピー符号化する必要はない。
【００３０】
上記構成を有する動画像符号化装置１００において、本発明に係わるローパスフィルタ係数制御部１０３及びローパスフィルタ部１０４で実行される処理を図２のフローチャートを参照して説明する。
【００３１】
ここでは、各４×４画素ブロックにおけるローパスフィルタ係数にかかる重みＷを決定し、それに従って時間方向ローパスフィルタを適用する処理を示す。なお、ローパスフィルタ係数にかかる重みＷは、次式（６）（７）により求められる。
【数６】
2007150432.tif 000008
【００３２】
【数７】
2007150432.tif 000009
【００３３】
ここで、式（６）のmax(0,min(8,N-TH1))は「対応画素の割合」に関する重みを表し、０から８の値をとる。Ｎは４×４画素ブロック中の「対応画素数」で０≦Ｎ≦１６の範囲の整数値をとる。また、数６式のmax (0,min(16, TH2-E))は「フレームの類似度」に関する重みを表し、０から１６の値をとる。「フレームの類似度」は動き推定がどれだけ正しく動きを表現できているかを動き補償残差のパワーを用いて評価しており、Ｅの値に基づいて決められる。Ｅは式（７）で表され、ハイパスフレームにおける画素ブロックｂ（ここでは４×４画素ブロックを用いているので１６画素）中の各画素の動き補償残差パワーの和に基づいて決定される。動き推定の正確さが十分でない場合などは動き補償残差が大きくなり、それを用いてローパスフィルタを適用するとローパスフレームの符号化効率が著しく低下することから、動き補償残差のパワーが大きい画素ブロックではローパスフィルタ係数が小さくなるように重み付けを行なっている。
【００３４】
まず、ローパスフィルタを適用するフレームＡおよび参照するハイパスフレームｈが入力されてローパスフィルタリング処理が開始される（ステップＳ２００）。ここで、フレームＡは入力画像或いは動き補償時間フィルタによって生成されたローパスフレームである。
【００３５】
次に、動き推定部１０６で生成した動きベクトルの符号を反転し、符号反転動きベクトルをフレームＡの各ブロックに割り当てることによりローパスフィルタ用の逆方向動きベクトルを取得する（ステップＳ２０１）。ステップＳ２０１で求めた逆方向動きベクトルに基づいて、フレームＡ内の各々のブロック毎に対応画素数Ｎを検出する（ステップＳ２０２）。この逆方向動きベクトルを用いてハイパスフレームｈに動き補償を適用する（ステップＳ２０３）。
【００３６】
フレームＡの各ブロックに対応する動き補償後のハイパスフレームｈ^における動き補償残差の大きさＥを式（７）に基づいて計算する（ステップＳ２０４）。対応画素数Ｎに関するしきい値ＴＨ１を式（６）にセットする（ステップＳ２０５）。ここで、ＴＨ１は０から１５の範囲の整数値をとる。例えば初期値として０をセットするか、一般的手法と同様に８をセットしても良い。
【００３７】
符号化制御部１１０から量子化パラメータＱＰを取得する（ステップＳ２０６）。量子化パラメータＱＰは量子化の粗さを表し、ここでは通常の符号化方式Ｈ．２６４／ＡＶＣと同様に０から５１までの値をとる。取得するＱＰは、例えば、何らかの予測によって求められるＱＰであっても良く、或いは、参照するハイパスフレームｈを量子化する際のＱＰであっても良い。
【００３８】
ステップＳ２０６で取得したＱＰに基づいて、予め定められたテーブルを参照し、Ｅに関するしきい値である式（６）におけるＴＨ２を取得する（ステップＳ２０７）。ここで用いる参照テーブルの例が図３に示されている。図３のテーブルにおいて、例えばＱＰの０．．．３はＱＰが０から３までの値（０、１、２、３）であることを示している。ＱＰに対応してＴＨ２が示され、ＱＰ：０．．．３に対応するＴＨ２は１２であることを示している。
【００３９】
上記のように取得したＴＨ２を式（６）にセットする（ステップＳ２０８）。ステップＳ２０５、ステップＳ２０８でセットしたしきい値ＴＨ１、ＴＨ２によって決められた式（６）に従って、ローパスフィルタ係数にかかる重みＷを算出する（ステップＳ２０９）。このステップＳ２０９でフレームＡの全てのブロックに対して重みＷを求めた後、フレームＡの全ての画素でローパスフィルタを適用し（ステップＳ２１０）、ローパスフレームを生成する（ステップＳ２１１）。
【００４０】
ステップＳ２１２では、ステップＳ２１１で出力したローパスフレームが最適なものであるかを評価する。評価手法は、例えば、全てのＴＨ１（０から１５の整数値）についてステップＳ２０５からステップＳ２１１の処理を行い、ローパスフレームの符号量と歪みによって計算される次式（８）のコスト関数を用いて評価し、最適なＴＨ１を選択しても良い。
【数８】
2007150432.tif 000010
【００４１】
ここでＤは歪みを表し、Ｒは符号量を表している。このようにして得られた符号化コストに基づいてコストが最小になるようなＴＨ１を選択する。最適なＴＨ１が決定したならば、ＴＨ１をエントロピー符号化部１０８へ送る（ステップＳ２１３）。
【００４２】
しきい値ＴＨ１の符号化方法について説明する。図４〜図６に本実施の形態で画像毎、例えばフレーム毎又はフィールド毎に決定されるしきい値ＴＨ１を符号化し、ビットストリームに多重化する際のシンタクス情報を示す。図４のシーケンスヘッダ内に示されるex_lowpass_filter_in_pic_flagは、しきい値ＴＨ１をフレーム毎に符号化するかどうかを示すフラグであり、このフラグが１の場合、しきい値ＴＨ１はフレーム毎に変更することができる。一方、ex_lowpass_filter_in_slice_flagは、しきい値ＴＨ１をフィールド毎に符号化するかどうかを示すフラグであり、このフラグが１の場合、しきい値ＴＨ１はフィールド毎に変更することができる。図４で示されるex_lowpass_filter_in_pic_flagが１の場合、図５のピクチャヘッダ内でpic_lowpass_filter_thresholdが符号化される。同様に、図４で示されるex_lowpass_filter_in_slice_flagが１の場合、図６のスライスヘッダ内でslice_lowpass_filter_thresholdが符号化される。
【００４３】
ステップＳ２００からステップＳ２１３の処理は、ステップＳ２１２による最適化処理を行なわずにステップＳ２０５で所定のしきい値ＴＨ１（例えば、一般的手法の８）を用いても良く、その場合はステップＳ２１３でしきい値をエントロピー符号化部１０８へ送る必要はなくなる。また、ステップＳ２０６及びステップＳ２０７の処理を行なわず、しきい値ＴＨ２に基づいてステップＳ２１２で最適化処理を行なうことによってＴＨ２を決定しても良く、その場合はステップＳ２１３でＴＨ２をエントロピー符号化部１０８へ送る。
【００４４】
このように、第１の実施形態に係わる動画像符号化装置によれば、しきい値ＴＨ１および量子化パラメータによって決定されるしきい値ＴＨ２に基づいてローパスフィルタの高域阻止特性をフレーム又はフィールド毎に適応的に選択することにより、符号化効率を向上させることが可能となる。
【００４５】
（第２の実施形態）
図７は、本発明の第２の実施形態を示すブロック図である。本実施の形態では、第１の実施形態における動き補償時間フィルタリングの時間方向ローパスフィルタを通常の動画像符号化方式（例えばＨ．２６４／ＡＶＣ）の前処理として実行する装置構成となっている。
【００４６】
図７における動き推定部１０６、動き補償時間フィルタ部１０２、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４、ハイパスフィルタ部１０５、動き推定部１０６は第１の実施形態と同様の構成要素であり、ローパスフィルタ係数制御部１０３、ローパスフィルタ部１０４における処理は図２のフローチャートで示しているものと同様であるため、ここではその説明を省略する。
【００４７】
フレームバッファ７０１は、入力動画像から符号化する１ＧＯＰ分のフレームを取得するか、又は、動き補償時間フィルタ部１０２で生成されたローパスフレームを取得する。動画像符号化装置７００は、フレームバッファ７０１から取得する、動き補償時間フィルタ部１０２で時間方向ローパスフィルタを適用した後の１ＧＯＰ分のフレームを符号化する。
【００４８】
動き補償部７０２は、動き推定部７０３で生成した動きベクトルに従って、後述する参照フレームバッファ７０６に格納されているフレームを用いて動き補償を行なう。動き推定部７０３は、フレームバッファ７０１に格納されているフレームにおいて動き推定を実行し、動きベクトルを検出する。
【００４９】
変換・量子化部７０４は、取得した予測残差信号に対し、変換（例えば離散コサイン変換）を行い、算出した変換係数に対して符号化制御部７１０で決められた量子化パラメータに基づいて量子化し、量子化した変換係数をエントロピー符号化部７０７へ出力する。
【００５０】
逆変換・逆量子化部７０５は、変換・量子化部７０４で変換、量子化した予測残差信号を逆変換、逆量子化する。参照フレームバッファ７０６は、逆量子化、逆変換後の予測残差信号を基に復元したフレームを参照フレームとして格納する。
【００５１】
エントロピー符号化部７０７は、変換・量子化部７０４から取得する量子化後の変換係数、動き推定部７０３で生成する動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を符号化し、ビットストリームに多重化して出力する。ここで、ビットストリームに多重化する情報は、必ずしもエントロピー符号化する必要はない。
【００５２】
上記構成要素によって、動画像符号化装置７００は、第１の実施形態で示した動き補償時間フィルタリングの時間方向ローパスフィルタを前処理として適用したフレームに対して、例えばＭＰＥＧ−２、Ｈ．２６４／ＡＶＣのような動画像符号化装置におけるようなローカルデコード画像を生成する処理を有する通常の動画像符号化を行なう。また、動き補償時間フィルタリングで用いたローパスフィルタの高域阻止特性を決めるしきい値をビットストリームに多重化して送信する。また、動き補償時間フィルタ部１０２で用いる量子化パラメータは予測によって決定される量子化パラメータを用いて良い。なお、符号化制御部７１０は、動画像符号化装置７００全体の制御を行なう。
【００５３】
このように、第２の実施形態に係わる動画像符号化装置によれば、時間方向ローパスフィルタを適用した後のフレームに対して通常の動画像符号化を行なうことによって、一般的符号化方式に比べて符号化効率を向上させることが可能であると共に、時間方向ローパスフィルタの高域阻止特性を柔軟に制御することができる。さらに、ビットストリームにローパスフィルタの高域阻止特性を決定するしきい値を多重化することによって、後述する第４の実施形態の動画像復号化装置で利用することができる。
【００５４】
（第３の実施形態）
図８は、本発明の第３の実施形態に係わる動画像復号化装置を示すブロック図である。図８に示す動画像復号化装置８００は、フレームバッファ８０１、動き補償時間合成フィルタ部８０２、ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４、ハイパス合成フィルタ部８０５、逆変換・逆量子化部８０７、エントロピー復号化部８０８を有し、復号化制御部８１０によって制御される。
【００５５】
エントロピー復号化部８０８は、ビットストリームから取得した量子化変換係数、動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を復号し、再生する。逆変換・逆量子化部８０７は、エントロピー復号化部８０８から取得した量子化パラメータに基づいて、量子化変換係数に対し逆量子化を行い、生成した変換係数に対して逆変換を施してハイパスフレームとローパスフレーム（量子化誤差を含む）を復元する。
【００５６】
フレームバッファ８０１は、逆変換・逆量子化部８０７から１ＧＯＰ分のハイパスフレーム及びローパスフレームを取得する。また、このフレームバッファ８０１は、動き補償時間合成フィルタ部８０２で生成されたローパスフレームを用いてさらに合成処理を行なう場合、動き補償時間合成フィルタ部８０２からローパスフレームを取得する。
【００５７】
動き補償時間合成フィルタ部８０２は、ローパスフィルタ係数制御部８０３、ローパスフィルタ部８０４、ハイパスフィルタ部８０５を有し、フレームバッファ８０１から取得したフレームに対し、エントロピー復号化部８０８から取得した動きベクトルを用いて動き補償付きの時間方向サブバンド合成を適用し、ハイパスフレームとローパスフレームを合成する処理を行なう。合成されたフレームはそのまま出力画像として出力されるか、又は、再び動き補償時間合成フィルタを適用するためフレームバッファ８０１へ送られる。具体的な合成処理は例えば時間方向フィルタとしてＨａａｒフィルタを用いた場合、式（３）（４）を変更した次式（９）（１０）に従って時間方向合成フィルタリングを行なう。
【数９】
2007150432.tif 000011
【００５８】
【数１０】
2007150432.tif 000012
【００５９】
ローパス合成フィルタ係数制御部８０３は、エントロピー復号化部８０８で再生される量子化パラメータ或いは複数又は単数のフレーム／フィールド毎に再生されるしきい値を取得し、それらに基づいてローパス合成フィルタの特性を制御する。
【００６０】
ローパス合成フィルタ部８０４は、取得したフレームに対してローパス合成フィルタを適用するための逆方向動きベクトルを求め、動き補償を行ない、ローパス合成フィルタ係数制御部８０３で決定されたローパス合成フィルタ係数を用いて、例えば、式（９）に従って合成処理を行なう。
【００６１】
ハイパス合成フィルタ部８０５は、フレームバッファ８０１から取得したフレームに対し、エントロピー復号化部８０８から取得した動きベクトルを用いて動き補償を行い、所定のハイパス合成フィルタ係数を用いて、例えば、式１０に従って合成処理を行なう。
【００６２】
上記構成を有する動画像復号化装置８００において、本発明に係わるローパス合成フィルタ係数制御部８０３及びローパス合成フィルタ部８０４で実行される処理を図９のフローチャートを参照して説明する。
【００６３】
ここでは、ローパス合成フィルタ係数にかかる重みＷを決定し、それに従って時間方向ローパス合成フィルタを適用する処理を示す。また、重みＷは符号化側と同様に式（６）によって求めることができる。
【００６４】
ローパス合成フィルタを適用するローパスフレームｌ’および参照するハイパスフレームｈ’を含むビットストリームが動画像符号化装置８００に入力されてフィルタリング処理が開始される（ステップＳ９００）。この後、エントロピー復号化部８０８から取得した動きベクトルの符号を反転し、ローパスフレームｌ'の各ブロックに割り当てることによりローパス合成フィルタ用の逆方向動きベクトルを取得する（ステップＳ９０１）。このステップＳ９０１で求めた逆方向動きベクトルに基づいてフレームｌ’の各々のブロック毎に対応画素数Ｎを検出する（ステップＳ９０２）。
【００６５】
次に、逆方向動きベクトルを用いてハイパスフレームｈ'に動き補償を適用する（ステップＳ９０３）。この後、フレームｌ'の各ブロックに対応する動き補償後のハイパスフレームｈ^'における動き補償残差の大きさＥを式（７）に基づいて計算し、取得する（ステップＳ９０４）。
【００６６】
対応画素数Ｎに関するしきい値ＴＨ１をエントロピー復号化部８０８から取得し、セットする（ステップＳ９０５）。しきい値ＴＨ１は、符号化側と同様に図４〜図６のシンタクス構造によって定義されており、複数又は単数フレーム／フィールド毎に与えられる。また、ＴＨ１が与えられていないときは一般的手法と同様に８をセットしても良い。エントロピー復号化部８０８から量子化パラメータＱＰを取得する（ステップＳ９０６）。続いて、予め定められたテーブルを参照し、Ｅに関するしきい値であるＴＨ２を取得し（ステップＳ９０７）、取得したＴＨ２を式（６）にセットする（ステップＳ９０８）。ここで、参照するテーブルは符号化側と同様のものを復号化側でも予め用意しておく。
【００６７】
ステップＳ９０５、ステップＳ９０８でセットされるしきい値ＴＨ１、ＴＨ２によって決定した式（６）に従って、ローパス合成フィルタ係数にかかる重みＷを算出する（ステップＳ９０９）。このステップＳ９０９でフレームｌ’の全てのブロックに対して重みＷが求めた後、重みＷを用いてローパス合成フィルタを適用し（ステップＳ９１０）、合成後の出力画像又はローパスフレームを出力する（ステップＳ９１１）。
【００６８】
このように、第３の実施形態に係わる動画像復号化装置によれば、符号化側で決められた時間方向ローパスフィルタの高域阻止特性を基に、復号化側においても量子化の粗さや、複数又は単数フレーム／フィールド毎に適応的なローパス合成フィルタを実現することができる。
【００６９】
（第４の実施形態）
図１０は、本発明の第４の実施形態を示すブロック図である。本実施の形態では、第３の実施形態における動き補償時間合成フィルタリングの時間方向ローパス合成フィルタを、通常の動画像復号化方式の後処理として実行する装置構成となっている。
【００７０】
動画像復号化装置１０００は、受信したビットストリームに対して例えば一般的なＨ．２６４／ＡＶＣ等の復号化方法に従って復号化処理を行ない、復号化後の画像をフレームバッファ１００１へ出力する。エントロピー復号化部１００５は、ビットストリームから取得した量子化変換係数、動きベクトル、予測モード、量子化パラメータ、しきい値等の情報を復号し、再生する。逆変換・逆量子化部１００４は、エントロピー復号化部１００５から取得した量子化パラメータに基づいて、量子化変換係数に対し逆量子化を行い、生成した変換係数に対して逆変換を施して予測残差信号（量子化誤差を含む）を復元する。
【００７１】
動き補償部１００２は、エントロピー復号化部１００５から取得した動きベクトルに従って参照フレームバッファ１００３に格納されているフレームについて動き補償を行なう。参照フレームバッファ１００３は、逆変換・逆量子化後の予測残差信号に基づいて再生される参照フレームを格納する。復号化制御部１１００は、動画像復号化装置１０００全体の制御を行なう。
【００７２】
フレームバッファ１００１は、動画像復号化装置１０００で出力された１ＧＯＰ分の復号化フレームを取得するか、又は、逆変換・逆量子化部１００４で生成した予測残差信号を取得するか、又は、動き補償時間合成フィルタ部８０２で生成されたフレームを取得する。
【００７３】
動き補償時間合成フィルタ部８０２は、フレームバッファ１００１から取得した復号化画像及び予測残差信号に加え、エントロピー復号化部１００５から取得した動きベクトル情報を用いてローパス合成フィルタを適用する処理を行なう。
【００７４】
ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４は第３の実施形態と同様の構成要素であり、ローパス合成フィルタ係数制御部８０３、ローパス合成フィルタ部８０４における処理は図９のフローチャートで示しているものと同様であるため、ここではその説明を省略する。
【００７５】
このように、第４の実施形態に係わる動画像復号化装置によれば、通常の動画像復号化手法で復元されたフレームに対して、第３の実施形態で示した動き補償時間合成フィルタリングのローパス合成フィルタを後処理として実行することができる。例えば、第２の実施形態で符号化した動画像に対して、ローパスフィルタ係数制御情報を取得することによって、符号化側のローパスフィルタの高域阻止特性に基づいて後処理としての時間方向ローパス合成フィルタリング処理を行なうことができる。
【００７６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００７７】
【図１】本発明の第１の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図２】本発明の第１の実施形態に係わる動画像符号化装置の処理フロー。
【図３】量子化パラメータＱＰに基づいてしきい値ＴＨ２を決めるテーブル。
【図４】本発明の第１の実施形態に係わるシーケンスヘッダのデータ構造を示す図。
【図５】本発明の第１の実施形態に係わるピクチャヘッダのデータ構造を示す図。
【図６】本発明の第１の実施形態に係わるスライスヘッダのデータ構造を示す図。
【図７】本発明の第２の実施形態に係わる動画像符号化装置の構成を示すブロック図。
【図８】本発明の第３の実施形態に係わる動画像復号化装置の構成を示すブロック図。
【図９】本発明の第３の実施形態に係わる動画像復号化装置の処理フロー。
【図１０】本発明の第４の実施形態に係わる動画像復号化装置の構成を示すブロック図。
【図１１】動き補償時間フィルタを用いた時間方向サブバンド分割を示す図。
【図１２】動き補償時間フィルタにおけるリフティング操作による符号化、復号化を示す図。
【図１３】ノイズを含む画像における動き補償時間フィルタの効果を示す図。
【図１４】ローパスフィルタ係数にかかる重みの変化に対するＰＳＮＲおよびビットレートの変化を示す図。
【符号の説明】
【００７８】
１００・・・動画像符号化装置
１０１・・・フレームバッファ
１０２・・・動き補償時間フィルタ部
１０３・・・ローパスフィルタ係数制御部
１０４・・・ローパスフィルタ部
１０５・・・ハイパスフィルタ部
１０６・・・動き推定部
１０７・・・変換・量子化部
１０８・・・エントロピー符号化部
１１０・・・符号化制御部
【図１】
2007150432.tif 000013
【図２】
2007150432.tif 000014
【図３】
2007150432.tif 000015
【図４】
2007150432.tif 000016
【図５】
2007150432.tif 000017
【図６】
2007150432.tif 000018
【図７】
2007150432.tif 000019
【図８】
2007150432.tif 000020
【図９】
2007150432.tif 000021
【図１０】
2007150432.tif 000022
【図１１】
2007150432.tif 000023
【図１２】
2007150432.tif 000024
【図１３】
2007150432.tif 000025
【図１４】
2007150432.tif 000026