(57)【要約】  画像符号化装置は、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号を選択して、その参照画像信号と分割画像信号から予測信号を生成する予測部２を備えた。
2011039931.tif 000002
【特許請求の範囲】
【請求項１】
フィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成し、上記参照画像と入力画像から予測画像を生成して、上記入力画像と上記予測画像の差分画像を算出する予測処理手段と、上記予測処理手段により算出された差分画像を圧縮する差分画像圧縮手段と、上記差分画像圧縮手段により圧縮された差分画像を復号し、復号後の差分画像と上記予測処理手段により生成された予測画像を加算して局所復号画像を生成し、上記局所復号画像を上記メモリに格納する局所復号手段と、上記局所復号手段により生成された局所復号画像と上記入力画像間の誤差を最小化するフィルタを生成するフィルタ生成手段と、上記差分画像圧縮手段により圧縮された差分画像及び上記フィルタ生成手段により生成されたフィルタに関するフィルタ情報を可変長符号化し、その符号化結果を示すビットストリームを生成する可変長符号化手段とを備えるとともに、上記予測処理手段は、上記入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、上記メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成手段により生成されたフィルタを用いて、上記局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像を用いて予測画像を生成することを特徴とする画像符号化装置。
【請求項２】
フィルタ生成手段は、局所復号手段により生成された局所復号画像と入力画像間の整数画素精度の画素の誤差を最小化する整数画素用フィルタを生成し、上記整数画素用フィルタを用いて、上記局所復号画像に重畳されている歪みを補償するとともに、歪み補償後の局所復号画像に対して、上記入力画像の非整数画素精度の画素との誤差を最小化する非整数画素を生成する非整数画素生成フィルタを生成する処理を実施し、
予測処理手段は、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成手段により生成された整数画素用フィルタ及び非整数画素生成フィルタを用いて、上記局所復号画像から参照画像を生成することを特徴とする請求項１記載の画像符号化装置。
【請求項３】
予測処理手段は、固定のフィルタを用いて生成した参照画像を選択して、予測画像を生成する際のコストと、フィルタ生成手段により生成されたフィルタを用いて生成した参照画像を選択して、予測画像を生成する際のコストとを算出し、予測画像を生成する際のコストが小さくなる方の参照画像を最適な参照画像として選択することを特徴とする請求項１記載の画像符号化装置。
【請求項４】
可変長符号化手段は、予測処理手段による最適な参照画像の選択結果及び上記予測処理手段による動き補償予測処理を特定する情報を含む予測信号生成用パラメータを可変長符号化し、その符号化結果を含むビットストリームを生成することを特徴とする請求項１記載の画像符号化装置。
【請求項５】
ビットストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ情報を可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、予め用意されている固定のフィルタを用いて生成した参照画像を選択している旨を示している場合、上記固定のフィルタを用いて、メモリに格納されている復号画像から参照画像を生成する一方、上記予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、上記可変長復号手段により可変長復号されたフィルタ情報に係るフィルタを用いて生成した参照画像を選択している旨を示している場合、上記フィルタ情報に係るフィルタを用いて、上記復号画像から参照画像を生成し、上記予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像から予測画像を生成する予測画像生成手段と、上記可変長復号手段により可変長復号された圧縮されている差分画像を復号し、復号後の差分画像と上記予測画像生成手段により生成された予測画像を加算して復号画像を生成し、上記復号画像を上記メモリに格納する復号画像生成手段と、上記可変長復号手段により可変長復号されたフィルタ情報に係るフィルタを用いて、上記復号画像生成手段により生成された復号画像に重畳されている歪みを補償するフィルタリング手段とを備えた画像復号装置。
【請求項６】
予測処理手段がフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成し、上記参照画像と入力画像から予測画像を生成して、上記入力画像と上記予測画像の差分画像を算出する予測処理ステップと、差分画像圧縮手段が上記予測処理ステップで算出された差分画像を圧縮する差分画像圧縮処理ステップと、局所復号手段が上記差分画像圧縮処理ステップで圧縮された差分画像を復号し、復号後の差分画像と上記予測処理ステップで生成された予測画像を加算して局所復号画像を生成し、上記局所復号画像を上記メモリに格納する局所復号処理ステップと、フィルタ生成手段が上記局所復号処理ステップで生成された局所復号画像と上記入力画像間の誤差を最小化するフィルタを生成するフィルタ生成処理ステップと、可変長符号化手段が上記差分画像圧縮処理ステップで圧縮された差分画像及び上記フィルタ生成処理ステップで生成されたフィルタに関するフィルタ情報を可変長符号化し、その符号化結果を示すビットストリームを生成する可変長符号化処理ステップとを備えるとともに、上記予測処理手段が予測処理ステップを実行する際、上記入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、上記メモリに格納されている局所復号画像から参照画像を生成するとともに、上記フィルタ生成処理ステップで生成されたフィルタを用いて、上記局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像を用いて予測画像を生成することを特徴とする画像符号化方法。
【請求項７】
可変長復号手段がビットストリームから予測信号生成用パラメータ、圧縮されている差分画像及びフィルタ情報を可変長復号する可変長復号処理ステップと、予測画像生成手段が、上記可変長復号処理ステップで可変長復号された予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、予め用意されている固定のフィルタを用いて生成した参照画像を選択している旨を示している場合、上記固定のフィルタを用いて、メモリに格納されている復号画像から参照画像を生成する一方、上記予測信号生成用パラメータに含まれている最適な参照画像の選択結果が、上記可変長復号処理ステップで可変長復号されたフィルタ情報に係るフィルタを用いて生成した参照画像を選択している旨を示している場合、上記フィルタ情報に係るフィルタを用いて、上記復号画像から参照画像を生成し、上記予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像から予測画像を生成する予測画像生成処理ステップと、復号画像生成手段が上記可変長復号処理ステップで可変長復号された圧縮されている差分画像を復号し、復号後の差分画像と上記予測画像生成処理ステップで生成された予測画像を加算して復号画像を生成し、上記復号画像を上記メモリに格納する復号画像生成処理ステップと、フィルタリング手段が上記可変長復号処理ステップで可変長復号されたフィルタ情報に係るフィルタを用いて、上記復号画像生成処理ステップで生成された復号画像に重畳されている歪みを補償するフィルタリング処理ステップとを備えた画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により生成された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、マクロブロックと呼ばれる矩形ブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって、情報圧縮を行うようにしている。
さらに、国際標準映像符号化方式では、動き補償予測の精度を高めるために、例えば、１／４画素精度の動き補償などの非整数画素精度の動き補償予測を実施しているものが多くある（例えば、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、１／４画素精度の動き補償予測を採用している）。
なお、一般に映像符号化では、符号化される画像の単位をピクチャと呼ばれる単位で定義している。プログレッシブ映像と呼ばれる映像では、１フレーム１ピクチャである（フレームとピクチャが同じものを表す）が、奇数フィールドと偶数フィールドを合わせて１フレームとなるインターレース映像と呼ばれる映像では、奇数フィールドと偶数フィールドをそれぞれ独立のピクチャ（1フレームで２ピクチャ）として扱う場合も、奇数フィールドと偶数フィールドを合わせて１フレームで１ピクチャとする場合もある。以降、説明の便宜上、全てプログレッシブ映像（１フレーム１ピクチャ）を前提として説明するが、符号化する映像がインターレース映像である場合においても、「フレーム」と表現している箇所を全て「ピクチャ」に置き換えるだけでよい。【０００３】
ここで、図１７は非特許文献１に開示されている画像符号化装置を示す構成図である。
この画像符号化装置では、ブロック分割部１０１が符号化対象画像信号を入力すると、その符号化対象画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。【０００４】
特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、又は、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７に格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号とブロック分割部１０１から出力された分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内又はフレーム間での予測をどのように行うかを示す予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。【０００５】
圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、ＤＣＴ処理後の予測誤差信号を量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データを逆ＤＣＴ処理することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。【０００６】
加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。【０００７】
可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。【０００８】
ここで、非特許文献１に開示されている方式では、動き補償予測の際の動きベクトルを１／４画素精度で探索可能としている。
このように、１／４画素精度などの非整数画素精度の動き補償予測を行うことで、整数画素精度に限定された動き補償予測を行う場合よりも、高精度に動きを追従することができるため、予測画像の品質を高めることができる。【０００９】
しかし、非特許文献１に開示されている方式では、予め決められている固定の非整数画素生成フィルタを用いて、動き補償予測を行う際の非整数画素精度の参照画素を生成している。
このように、常に固定の非整数画素生成フィルタを用いる場合、必ずしも適正なフィルタでない場合もある。
そこで、非特許文献２に開示されている方式では、フレーム毎に非整数画素生成フィルタを非整数画素位置毎に最適設計している。
具体的には、ウィーナフィルタ（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒ）と呼ばれるフィルタを用いるようにしている。即ち、符号化対象画像信号と予測信号間の二乗誤差和を最小化するフィルタを用いるようにしている。【００１０】
図１８は非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる予測信号の品質改善の原理を示す説明図である。
図１８において、信号ｓは、図１７のブロック分割部１０１に入力される符号化対象画像信号に相当する信号であり、信号ｓ’は、図１７の予測部１０２においてウィーナフィルタを適用する前の予測信号である。
ここで、予測信号は、メモリ１０７に格納されている参照画像信号から生成されており、その参照画像信号は、符号化歪みが重畳されている信号であるため、信号ｓ’は、信号ｓに対して符号化処理や予測処理によって生じる種々の雑音ｅが重畳された信号となる。【００１１】
ウィーナフィルタは、雑音ｅを二乗誤差歪みの規範で最小化するように、信号ｓ’に対して施されるフィルタとして定義される。
一般的には、信号ｓ’の自己相関行列をＲs's'、信号ｓ，ｓ’の相互相関行列をＲss'とすると、下記の式（１）からフィルタ係数ｗを求めることができる。
ただし、行列Ｒs's'，Ｒss'の大きさは、求められるフィルタタップ数に対応している。
2011039931.tif 000003
【００１２】
フィルタ係数ｗのウィーナフィルタを施すことにより、品質改善がなされた信号ｓハット（電子出願の関係上、アルファベット文字に付いた「＾」をハットと表記する）が、最終的に図１７の予測部１０２から出力される予測信号に相当する信号として得られる。【００１３】
また、非特許文献３では、フィルタ設計を行わない代わりに固定の非整数画素生成フィルタを複数用意し、これら複数のフィルタをフレーム毎もしくは非整数画素位置毎に切り換えることで、予測画像の品質を改善している例が開示されている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264規格
【非特許文献２】Y.Vatis, B.Edler, D.T.Nguyen, J.Ostermann, “Two-dimensional non-separable Adaptive Wiener Interpolation Filter for H.264/AVC”, VCEG-Z17, ITU-T SG16/Q.6 meeting, April 2005
【非特許文献３】M.Karczewicz, Y.Ye, P.Chen, “Switched Interpolation Filter with Offset”, VCEG-AI35, ITU-T SG16/Q.6 meeting, July 2008
【００１５】
従来の画像符号化装置は以上のように構成されているので、動き補償予測に用いる非整数画素を生成するフィルタをフレーム毎、あるいは、非整数画素位置毎に適応的に切り換えれば、予測精度を高めることができる（非特許文献２，３を参照）。しかし、非特許文献２，３では、動き補償予測を行う際、大きな符号化遅延が生じてしまう課題があった。
即ち、非特許文献２では、動き補償予測を行う際、最初に、予め決められている初期のフィルタを用いて、フレーム全体で動きベクトルを検出し、その動きベクトルを用いて、非整数画素位置毎にウィーナフィルタを適用した場合の予測画像信号と符号化対象画像信号間のフレーム全体の誤差が最小となるようにウィーナフィルタを設計する。次に、そのウィーナフィルタを用いて、動きベクトルを再探索してフィルタの再設計を実施する。このフィルタの再設計は、ある評価値が所定の閾値に達するまで繰り返し実施するものであるため、フレーム単位での反復最適化処理が発生し、符号化側で、大きな符号化遅延が生じてしまうことになる。
非特許文献３では、非整数画素位置毎に複数の固定の非整数画素生成フィルタの中から最適なフィルタをフレーム内で１つ選択するため、非特許文献２と同様に、最適な動きベクトルと非整数画素生成フィルタの組み合わせを求めるためにはフレーム単位での反復最適化処理が必要となり、大きな符号化遅延が生じてしまうことになる。
なお、非特許文献３では、符号化対象画像信号の特性に応じたフィルタではなく、予め決められている固定の非整数画素生成フィルタを用いているため、符号化対象の画像によっては適切なフィルタが選択候補に存在せず、予測性能の改善効果を得られないことがある。【００１６】
この発明は上記のような課題を解決するためになされたもので、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができる画像符号化装置及び画像符号化方法を得ることを目的とする。
また、この発明は、画像品質の改善精度を高めることができる画像復号装置及び画像復号方法を得ることを目的とする。
【発明の概要】
【００１７】
この発明に係る画像符号化装置は、予測処理手段が、入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、フィルタ生成手段により生成されたフィルタを用いて、その局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成するようにしたものである。
【００１８】
この発明によれば、予測処理手段が、入力画像の局所領域毎に、予め用意されている固定のフィルタを用いて、メモリに格納されている局所復号画像から参照画像を生成するとともに、フィルタ生成手段により生成されたフィルタを用いて、その局所復号画像から参照画像を生成し、その生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成するように構成したので、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができる効果がある。
【図面の簡単な説明】
【００１９】
【図１】この発明の実施の形態１による画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による他の画像符号化装置を示す構成図である。
【図３】この発明の実施の形態１による画像符号化装置の画像品質改善フィルタ生成部６を示す構成図である。
【図４】この発明の実施の形態１による画像符号化装置の予測部２における動き補償予測部を示す構成図である。
【図５】この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
【図６】この発明の実施の形態１による画像符号化装置の予測部２における動き補償予測処理を示すフローチャートである。
【図７】可変長符号化部８により生成されるビットストリームの一例を示す説明図である。
【図８】整数画素用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
【図９】１／２画素生成用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
【図１０】この発明の実施の形態２による画像復号装置を示す構成図である。
【図１１】この発明の実施の形態２による他の画像復号装置を示す構成図である。
【図１２】この発明の実施の形態２による画像復号装置の予測部３２における動き補償予測部を示す構成図である。
【図１３】この発明の実施の形態２による画像復号装置の画像品質改善フィルタ処理部３６を示す構成図である。
【図１４】この発明の実施の形態２による画像復号装置の他の画像品質改善フィルタ処理部３６を示す構成図である。
【図１５】この発明の実施の形態２による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
【図１６】この発明の実施の形態２による画像復号装置の予測部３２における動き補償予測処理を示すフローチャートである。
【図１７】非特許文献１に開示されている画像符号化装置を示す構成図である。
【図１８】非特許文献２に開示されている画像符号化装置において、ウィーナフィルタによる予測信号の品質改善の原理を示す説明図である。
【発明を実施するための形態】
【００２０】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像である符号化対象画像の信号をマクロブロック（入力画像の局所領域）単位に分割し、マクロブロック単位の画像信号（以下、「分割画像信号」と称する）を予測部２に出力する処理を実施する。
予測部２はブロック分割部１から出力された分割画像信号を受けると、分割画像信号をフレーム内又はフレーム間で予測して予測信号を生成する。
特にフレーム間で動き補償予測を実施する場合、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成されたフィルタ（整数画素用ウィーナフィルタ、非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号をマクロブロック毎に選択して、その最適な参照画像信号を用いて予測画像を示す予測信号を生成し、その分割画像信号と予測信号の差分である予測誤差信号を算出する処理を実施する。
【００２１】
ただし、予測部２は予測信号を生成する際、予測処理を特定する情報である予測信号生成用パラメータを生成する処理を実施する。この予測信号生成パラメータとしては、フレーム内又はフレーム間で、どのような予測方式を用いるかを示す予測モード（フレーム内予測かフレーム間（動き補償）予測かを示す情報であり、フレーム間予測の場合は動きベクトルを切り換えるサブブロックの分割状態などの情報を含む）が挙げられる。さらに上記予測モードがフレーム間での動き補償予測を示す場合、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルや参照フレーム番号（複数のフレームを参照して動き補償を行う場合）、参照画像信号の選択結果を示す参照画像生成方法識別情報なども予測信号生成パラメータとして含まれる。
なお、ブロック分割部１及び予測部２から予測処理手段が構成されている。
【００２２】
圧縮部３は予測部２により算出された予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出するとともに、そのＤＣＴ係数を量子化し、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する処理を実施する。なお、圧縮部３は差分画像圧縮手段を構成している。
【００２３】
局所復号部４は圧縮部３から出力された圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
加算器５は局所復号部４により算出された予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成し、その局所復号画像信号を画像品質改善フィルタ生成部６及びメモリ７に出力する処理を実施する。
なお、局所復号部４及び加算器５から局所復号手段が構成されている。
【００２４】
画像品質改善フィルタ生成部６は加算器５から出力された局所復号画像信号と符号化対象画像信号間の整数画素精度の画素（元々存在する画素）の誤差を最小化する整数画素用ウィーナフィルタを設計し、その整数画素用ウィーナフィルタを用いて、その局所復号画像信号に重畳されている符号化歪みを補償するとともに、符号化歪み補償後の局所復号画像信号に対して、アップサンプリングされた符号化対象画像信号の非整数画素精度の画素との誤差を最小化する非整数画素生成用ウィーナフィルタを設計する処理を実施する。なお、画像品質改善フィルタ生成部６はフィルタ生成手段を構成している。
【００２５】
メモリ７は次のフレームの符号化に備えて、加算器５から出力された局所復号画像信号を格納するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタに関するフィルタ情報を格納する記録媒体である。
なお、フィルタ情報は、メモリ７により格納されている複数のフレームの局所復号画像信号に対して、フレーム毎に一対一で対応してメモリ７に格納されている。ただし、どのフィルタ情報が、どのフレームの局所復号画像信号と対応しているかが明らかとなる格納方式であれば、メモリ７へのデータの格納方式は問わない。
また、今回は予測部２で第１の参照画像信号と第２の参照画像信号を生成するためにメモリ７に局所復号画像信号とフィルタ情報を格納しているが、予測部２で参照画像信号生成処理を行わずに済むように、先に第１の参照画像信号と第２の参照画像信号を生成し、これら参照画像をメモリ７に直接格納するように画像符号化装置を構成してもよい。
【００２６】
可変長符号化部８は圧縮部３から出力された圧縮データ、画像品質改善フィルタ生成部６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成する処理を実施する。なお、可変長符号化部８は可変長符号化手段を構成している。
図１では、加算器５から出力された局所復号画像信号が画像品質改善フィルタ生成部６及びメモリ７に与えられる例を示したが、図２に示すように、加算器５から出力された局所復号画像信号に重畳されているブロック歪みを除去するループフィルタであるデブロッキングフィルタ９を加算器５の後段に設け、デブロッキングフィルタ９によりブロック歪みが除去された局所復号画像信号が画像品質改善フィルタ生成部６及びメモリ７に与えられるようにしてもよい。
【００２７】
図１では、画像符号化装置の構成要素であるブロック分割部１、予測部２、圧縮部３、局所復号部４、加算器５、画像品質改善フィルタ生成部６及び可変長符号化部８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、ブロック分割部１、予測部２、圧縮部３、局所復号部４、加算器５、画像品質改善フィルタ生成部６及び可変長符号化部８の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００２８】
図３はこの発明の実施の形態１による画像符号化装置の画像品質改善フィルタ生成部６を示す構成図である。
図３において、フレームメモリ１１は加算器５により生成された局所復号画像信号（又は、図２のデブロッキングフィルタ９によりブロック歪みが除去された局所復号画像信号）を１フレーム分だけ格納する記録媒体である。
整数画素用フィルタ設計部１２はフレームメモリ１１により格納されている１フレーム分の局所復号画像信号と符号化対象画像信号間の整数画素精度の画素の二乗誤差和を最小化する整数画素用ウィーナフィルタを生成する処理を実施する。
【００２９】
フィルタ処理部１３は整数画素用フィルタ設計部１２により設計された整数画素用ウィーナフィルタを用いて、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号に重畳されている符号化歪みを補償する処理を実施する。
ただし、設計した整数画素用ウィーナフィルタは、フィルタ処理対象となる領域における歪みの総和（二乗誤差和）を最小化するフィルタであるため、マクロブロックなどの局所領域毎に見ると、フィルタ処理によって画像品質が改善しない領域も存在すると考えられるため、フィルタ処理部１３は、符号化歪みを補償するフィルタ処理を行うか否かを局所領域毎に切り換えるようにしてもよい。このときの切り換え情報は、設計したウィーナフィルタに関する情報と共にフィルタ情報として可変長符号化部８に出力するようにしてもよい。
このようにフィルタ処理を行うか否かを局所領域毎に切り換えることで、画像の品質が改善する局所領域のみをフィルタ処理することが可能となり、より高品質な歪み補償処理を実現することができる。
【００３０】
アップサンプリング部１４は予め用意されている固定の非整数画素生成フィルタを用いて、符号化対象画像信号を所定の非整数画素精度（例えば、１／４画素精度）までアップサンプリングを行う。
【００３１】
非整数画素生成フィルタ設計部１５はフィルタ処理部１３による符号化歪み補償後の局所復号画像信号に対して、アップサンプリング部１４によりアップサンプリングされた符号化対象画像信号の非整数画素精度の画素との誤差を最小化する非整数画素を生成する非整数画素生成用ウィーナフィルタを設計する処理を実施する。
フィルタ情報多重化部１６は整数画素用フィルタ設計部１２により設計された整数画素用ウィーナフィルタに関するフィルタ情報（フィルタ係数、フィルタのタップ数（参照画素数）など）と非整数画素生成フィルタ設計部１５により生成された非整数画素生成用ウィーナフィルタに関するフィルタ情報とを多重化して、可変長符号化部８に出力する処理を実施する。
【００３２】
図４はこの発明の実施の形態１による画像符号化装置の予測部２における動き補償予測部を示す構成図である。
図４において、参照画像生成部２１はマクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、メモリ７に格納されているフィルタ情報に係るフィルタ（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成する処理を実施する。
例えば、動き補償部２３が１／４画素精度の動き補償予測を実施する場合、参照画像生成部２１は、第１の参照画像信号を生成する際、予め用意されている少なくとも１つ以上の固定の非整数画素生成フィルタを用いて、局所復号画像信号を１／４画素精度まで拡大する。また、第２の参照画像信号を生成する際、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び少なくとも１つ以上の非整数画素生成用ウィーナフィルタを用いて、局所復号画像信号を１／４画素精度まで拡大する。
【００３３】
固定の非整数画素生成フィルタの例としては、非特許文献１に記載されている６タップの１／２画素生成フィルタや２タップの1／４画素生成フィルタが挙げられる。
ここでは、第２の参照画像信号を生成する際、整数画素用ウィーナフィルタと少なくとも１つ以上の非整数画素生成用ウィーナフィルタを用いる例を示しているが、整数画素用フィルタ及び１／２画素生成フィルタについてはウィーナフィルタを用いて、１／４画素の生成には、第１の参照画像信号と同様に、固定の１／４画素生成フィルタを用いるなど、一部のフィルタで固定のフィルタを用いるようにしてもよい。
このように、第２の参照画像信号を生成する際、画素精度毎に固定のフィルタを用いることにするか、設計したウィーナフィルタを用いることにするかについては、画像符号化装置及び後述する画像復号装置を構成する際に予め決定しておいてもよいし、画素精度毎に、フレーム単位、又は、複数のマクロブロックから構成されるスライス単位のヘッダ情報として、符号化するようにしてもよい。
【００３４】
上記のように、ヘッダ情報を用いて、第２の参照画像信号の生成方法を切り換えられるようにすることで、フィルタに要する符号量や参照画像の品質などを適応的に制御することが可能となる。
また、上記の参照画素の生成処理を１／４画素精度以外の精度（例えば１／８画素精度）で行う場合においても、上述した全ての処理が同様に可能であることは容易に考えられる。
なお、この実施の形態１の画像品質改善フィルタ生成部６では、第２の参照画像信号の生成に用いるウィーナフィルタだけ設計することとなる。
【００３５】
切換スイッチ２２は動き補償部２３の指示の下で切り換えられるスイッチであり、参照画像生成部２１により生成された第１の参照画像信号と第２の参照画像信号を順番に動き補償部２３に与える処理を実施する。
【００３６】
動き補償部２３は参照画像生成部２１により生成された第１の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成するとともに、その予測信号等を生成する際のコストＣ１を算出する。また、参照画像生成部２１により生成された第２の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成するとともに、その予測信号等を生成する際のコストＣ２を算出する処理を実施する。
また、動き補償部２３はマクロブロックなどの局所領域毎に、コストＣ１とコストＣ２を比較し、コストＣ１がコストＣ２より小さければ、第１の参照画像信号を最適な参照画像信号として選択して、第１の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力し、コストＣ１がコストＣ２以上であれば、第２の参照画像信号を最適な参照画像信号として選択して、第２の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する処理を実施する。
なお、上記コストＣ１、Ｃ２の例としては、上記局所領域内の予測画像信号と分割画像信号との間の二乗誤差和Ｄ（もしくは絶対値誤差和Ｄ’）や、Ｄ（Ｄ’）だけでなく、予測信号生成用パラメータを符号化した際に発生する符号量Ｒも考慮した値（Ｄ＋λＲ（Ｄ’＋λＲ）、λは定数）などが挙げられる。
減算器２４はブロック分割部１から出力された分割画像信号と動き補償部２３から出力された予測信号の差分である予測誤差信号を算出する処理を実施する。
【００３７】
図５はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
また、図６はこの発明の実施の形態１による画像符号化装置の予測部２における動き補償予測処理を示すフローチャートである。
【００３８】
次に動作について説明する。
ブロック分割部１は、符号化対象画像信号を入力すると、その符号化対象画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号である分割画像信号を予測部２に出力する（図５のステップＳＴ１）。
【００３９】
予測部２は、ブロック分割部１から分割画像信号を受けると、具体的な処理内容については後述するが、マクロブロック毎に予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに（ステップＳＴ２）、メモリ７に格納されているフィルタ情報に係るフィルタ（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ）を用いて、その局所復号画像信号から第２の参照画像信号を生成する（ステップＳＴ３）。
予測部２は、第１の参照画像信号と第２の参照画像信号を生成すると、第１の参照画像信号と第２の参照画像信号の中から最適な参照画像信号を選択し（ステップＳＴ４）、その最適な参照画像信号を用いて予測画像を示す予測信号を生成する（ステップＳＴ５）。
なお、本発明では、予測部２でフレーム内予測も行い、上記フレーム間予測とフレーム内予測の内、最適な方を最終的な予測画像として採用するが、本発明は、フレーム内予測の具体的な方式に係る発明ではないため、説明の便宜上、本実施の形態ではフレーム内予測に係る詳細な動作の説明は割愛する。
【００４０】
予測部２は、予測信号を生成すると、その予測信号を加算器５に出力するとともに、その予測信号とブロック分割部１から出力された分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する（ステップＳＴ６）。
なお、予測部２は、フレーム間で動き補償予測処理を実施することで予測信号を生成するが、その動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトル、参照フレーム番号（複数のフレームを参照して動き補償を行う場合）など）や、参照画像信号の選択結果を示す参照画像生成方法識別情報などを含む予測信号生成用パラメータを生成する。
【００４１】
圧縮部３は、予測部２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することでＤＣＴ係数を算出し、そのＤＣＴ係数を量子化する（ステップＳＴ７）。
圧縮部３は、量子化後のＤＣＴ係数である圧縮データを局所復号部４及び可変長符号化部８に出力する。
【００４２】
局所復号部４は、圧縮部３から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、予測部２から出力された予測誤差信号に相当する予測誤差信号を算出する（ステップＳＴ８）。
加算器５は、局所復号部４が予測誤差信号を算出すると、その予測誤差信号と予測部２により生成された予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成し、その局所復号画像信号を画像品質改善フィルタ生成部６に出力するとともに、その局所復号画像信号をメモリ７に格納する（ステップＳＴ９）。
【００４３】
画像品質改善フィルタ生成部６の具体的な処理内容については後述するが、画像品質改善フィルタ生成部６は、加算器５が局所復号画像信号を生成すると、その局所復号画像信号に重畳されている符号化歪みを補償するフィルタを少なくとも１つ以上設計し、そのフィルタに関するフィルタ情報を可変長符号化部８に出力するとともに、そのフィルタ情報をメモリ７に格納する（ステップＳＴ１０）。
【００４４】
可変長符号化部８は、圧縮部３から出力された圧縮データ、画像品質改善フィルタ生成部６から出力されたフィルタ情報及び予測部２から出力された予測信号生成用パラメータをエントロピー符号化して、それらの符号化結果を示すビットストリームを生成し、そのビットストリームを図１０の画像復号装置に伝送する（ステップＳＴ１１）。
この例では、可変長符号化部８が予測信号生成用パラメータについてもエントロピー符号化しているが、予測信号生成用パラメータについてはエントロピー符号化せずに、生成したビットストリームに多重化して伝送するようにしてもよい。
【００４５】
ここで、図７は可変長符号化部８により生成されるビットストリームの一例を示す説明図である。ここで、スライスとは複数のマクロブロックを束ねた単位であり、少なくとも１つ以上のスライスからピクチャ（フレーム）は構成されている。
図７の例では、フィルタ情報（画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタに関するフィルタ情報）がスライス単位に符号化されて、符号化後のフィルタ情報がスライスヘッダに格納されている。
また、予測部２により生成された予測信号生成用パラメータは、マクロブロック単位に符号化されて、符号化後の予測信号生成用パラメータがマクロブロックヘッダに格納されている。
ただし、上記のように、フィルタ情報をスライス単位に符号化する場合、画像品質改善フィルタ生成部６におけるフィルタの設計処理をフレーム単位ではなく、スライス単位で行うようにしてもよい。
画像品質改善フィルタ生成部６におけるフィルタの設計処理をスライス単位で行う場合、フレーム単位で設計処理を行う場合と比較して、フィルタ情報に要する符号量が増加するが、フィルタ処理を行う局所復号画像信号及び参照画像信号の品質を高めることができる。
【００４６】
以下、画像品質改善フィルタ生成部６の処理内容を具体的に説明する。
ここでは、説明の便宜上、非特許文献１と同様に、１／４画素精度で動き補償予測を行うものとする。
まず、画像品質改善フィルタ生成部６の整数画素用フィルタ設計部１２は、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号を取得し、その局所復号画像信号と符号化対象画像信号間の整数画素精度の画素（元々存在する画素）の二乗誤差和を最小化する整数画素用ウィーナフィルタを生成する。
【００４７】
ここで、図８は整数画素用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
図８の例では、フィルタ適用画素位置を含む周囲Ｎ画素の参照画素のフィルタ係数（ａ０，ａ１，・・・，ａＮ−１）とオフセット係数ａＮから構成されている。
このときのフィルタ処理後の画素値ｓハット（ｘ０）は、下記の式（２）で表すことができる。
2011039931.tif 000004
ただし、ｘｎ（ｎ＝０，１，・・・，Ｎ−１）は参照画素を表しており、参照画素ｘｌ（０≦ｌ≦Ｎ−１）にかかる重みがフィルタ係数ａｌである。Ｎは任意の参照画素数である。
【００４８】
Ｎは予め固定値で与えてもよいし、ある所定の手段によって決まるように可変値としてもよい。また、参照画素配置の形状も参照画素数と同様に、予め用意した配置でもよいし、所定の法則に従って形状を可変としてもよい。
なお、フィルタ適用対象画像信号は、加算器５（又は、デブロッキングフィルタ９）から出力された局所復号画像信号であり、上述した式（１）に基づいて、整数画素用ウィーナフィルタを設計することで、符号化対象画像信号と局所復号画像信号間の整数画素精度の画素の二乗誤差和を最小化することができる。
【００４９】
フィルタ処理部１３は、整数画素用フィルタ設計部１２が整数画素用ウィーナフィルタを生成すると、その整数画素用ウィーナフィルタを用いて、フレームメモリ１１により格納されている１フレーム分の局所復号画像信号に重畳されている符号化歪みを補償するフィルタ処理を実施し、符号化歪み補償後の局所復号画像信号を非整数画素生成フィルタ設計部１５に出力する。
【００５０】
アップサンプリング部１４は、予め用意されている固定のフィルタを用いて、符号化対象画像信号を１／４画素精度までアップサンプリングを行う。
固定のフィルタとしては、例えば、非特許文献１に記載されている１／２画素生成フィルタおよび１／４画素生成フィルタが挙げられる。
【００５１】
非整数画素生成フィルタ設計部１５は、フィルタ処理部１３による符号化歪み補償後の局所復号画像信号に対して、アップサンプリング部１４によりアップサンプリングされた符号化対象画像信号の非整数画素との誤差を最小化する非整数画素を生成する非整数画素生成用ウィーナフィルタを生成する。
例として、非整数画素生成用ウィーナフィルタとして１／２画素生成用ウィーナフィルタと１／４画素生成用ウィーナフィルタをそれぞれ設計する場合について説明する。
【００５２】
ここで、図９は１／２画素生成用ウィーナフィルタにおけるフィルタ係数の配置例を示す説明図である。
図９の例では、非整数画素生成位置ｙ０の周囲Ｎ’画素の参照画素のフィルタ係数（ｂ０，ｂ１，・・・，ｂＮ’−１）とオフセット係数ｂＮ'から構成されている。今回の例では、参照画素は全て整数画素としている。
このときの１／２画素位置（非整数画素生成位置ｙ０）の画素値ｓハット（ｙ０）は、下記の式（３）で表すことができる。
2011039931.tif 000005
ただし、ｘｎ’（ｎ’＝０，１，・・・，Ｎ’−１）は参照画素を表しており、参照画素ｘｌ’（０≦ｌ’≦Ｎ’−１）にかかる重みがフィルタ係数ａｌ’である。Ｎ’は任意の参照画素数である。
【００５３】
Ｎ’は予め固定値で与えてもよいし、ある所定の手段によって決まるように可変値としてもよい。また、参照画素配置の形状も参照画素数と同様に、予め用意した配置でもよいし、所定の法則に従って形状を可変としてもよい。
そして、上記参照画素の下、式（１）に基づいて符号化対象画像信号の１／２画素との誤差を最小化する１／２画素を生成する１／２画素生成用ウィーナフィルタを生成する。
さらに、非整数画素生成位置ｙ１、ｙ２の１／２画素生成用ウィーナフィルタについても非整数画素生成位置ｙ０と同様の手法によって生成する。
また、１／４画素生成用ウィーナフィルタについても、ウィーナフィルタにより生成される１／４画素と符号化対象画像信号の１／４画素との二乗誤差和が最小となるように、上記の１／２画素生成用ウィーナフィルタの生成手法と同様の手法によって生成する。
【００５４】
上記の例では、整数画素用ウィーナフィルタ、１／２画素用ウィーナフィルタ、１／４画素用ウィーナフィルタの全てを設計しているが、整数画素用ウィーナフィルタと１／２画素用ウィーナフィルタのみを設計して、１／４画素用ウィーナフィルタについては設計を行わないものとしてもよい。画像品質改善フィルタ生成部６で設計されるウィーナフィルタは、予測部２の参照画像生成部２１が第２の参照画像信号を生成する際に用いられるフィルタであるため、ウィーナフィルタを生成しない画素精度の画素については、予め用意された固定のフィルタを用いて生成することになる。
このようにウィーナフィルタの生成を行わないことで、フィルタ処理による画像品質の改善効果が減少する可能性はあるが、フィルタに要する符号量を削減することができる。
【００５５】
なお、上記のように画素精度毎に固定のフィルタを用いることにするか、設計したウィーナフィルタを用いることにするかについては、上述したように、画像符号化装置及び後述する画像復号装置を構成する際に予め決定しておいてもよいし、画素精度毎に第２の参照画像信号生成用のフィルタの選択情報を、フレーム単位又は複数のマクロブロックから構成されるスライス単位のヘッダ情報として、符号化するようにしてもよい。
上記のようにヘッダ情報を用いて、第２の参照画像信号の生成手法を切り換えられるようにすることで、フィルタに要する符号量や予測部２の参照画像生成部２１により生成される参照画像信号の品質などを適応的に制御することが可能となる。
【００５６】
以下、予測部２の動き補償予測処理の内容を具体的に説明する。
予測部２の参照画像生成部２１は、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成する（図６のステップＳＴ２１）。
また、参照画像生成部２１は、マクロブロック毎に、既に符号化済みのフレームで設計されたウィーナフィルタ、即ち、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ７に格納されている局所復号画像信号から第２の参照画像信号を生成する（ステップＳＴ２２）。
【００５７】
動き補償部２３は、切換スイッチ２２を制御して、参照画像生成部２１により生成された第１の参照画像信号と第２の参照画像信号を順番に取得する。
動き補償部２３は、参照画像生成部２１により生成された第１の参照画像信号を取得すると、第１の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成する（ステップＳＴ２３）。
また、動き補償部２３は、参照画像生成部２１により生成された第２の参照画像信号を取得すると、第２の参照画像信号とブロック分割部１より出力された分割画像信号から、マクロブロック単位又はマクロブロックを更に細かく分割したサブブロック単位で動きベクトルを検出し、その動きベクトルと第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成する（ステップＳＴ２４）。
【００５８】
次に、動き補償部２３は、第１の参照画像信号から予測信号及び予測信号生成用パラメータを生成する際のコストＣ１を算出する（ステップＳＴ２５）。
例えば、コストＣ１は、下記の式（４）から算出する。
Ｃ１＝Ｄ１＋λ・Ｒ１                                            （４）
ただし、Ｄ１は当該マクロブロック内の符号化対象画像信号と第１の参照画像信号間の二乗誤差和、λは定数、Ｒ１は予測信号生成用パラメータを符号化する際に発生する符号量である。
ここでは、コストＣ１を式（４）で算出しているが、これは一例に過ぎず、例えば、二乗誤差和Ｄ１だけをコストＣ１としてもよい。また、二乗誤差和Ｄ１ではなく、誤差の絶対値和などの他の評価値を用いてもよい。
【００５９】
次に、動き補償部２３は、第２の参照画像信号から予測信号及び予測信号生成用パラメータを生成する際のコストＣ２を算出する（ステップＳＴ２６）。
例えば、コストＣ２は、下記の式（５）から算出する。
Ｃ２＝Ｄ２＋λ・Ｒ２                                            （５）
ただし、Ｄ２は当該マクロブロック内の符号化対象画像信号と第２の参照画像信号間の二乗誤差和、λは定数、Ｒ２は予測信号生成用パラメータを符号化する際に発生する符号量である。
【００６０】
動き補償部２３は、コストＣ１とコストＣ２を算出すると、そのコストＣ１とコストＣ２を比較する（ステップＳＴ２７）。
動き補償部２３は、コストＣ１がコストＣ２より小さければ、第１の参照画像信号を最適な参照画像信号として選択し、第１の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する（ステップＳＴ２８）。
一方、コストＣ１がコストＣ２以上であれば、第２の参照画像信号を最適な参照画像信号として選択し、第２の参照画像信号から生成した予測信号及び予測信号生成用パラメータを出力する（ステップＳＴ２９）。
【００６１】
なお、動き補償部２３は、第１の参照画像信号を最適な参照画像信号として選択した場合、最適な参照画像信号が第１の参照画像信号である旨を示す“０”の参照画像生成方法識別情報を予測信号生成用パラメータに含めて可変長符号化部８に出力する。
一方、第２の参照画像信号を最適な参照画像信号として選択した場合、最適な参照画像信号が第２の参照画像信号である旨を示す“１”の参照画像生成方法識別情報を予測信号生成用パラメータに含めて可変長符号化部８に出力する。
【００６２】
減算器２４は、動き補償部２３から予測信号を受けると、その予測信号とブロック分割部１から出力された分割画像信号の差分である予測誤差信号を算出し、その予測誤差信号を圧縮部３に出力する（ステップＳＴ３０）。
【００６３】
ここでは、予測部２がマクロブロック単位でステップＳＴ２１からＳＴ２９までの動き補償予測処理を行うものについて示したが、例えば、動きベクトルを切り換えるブロックの単位や、複数のマクロブロックから構成されるスライス単位で、動き補償予測処理を行うなど、マクロブロック単位ではない他の局所領域単位で、ステップＳＴ２１からＳＴ２９までの処理を行うようにしてもよい。
このとき、上記の処理単位が小さいほど参照画像の切り換え単位が小さくなるため、予測画像の品質は向上するが、最適な参照画像信号を識別する参照画像生成方法識別情報が増加する。
また、動き補償予測処理の単位がマクロブロック以下であれば、マクロブロック毎に独立した符号化が可能（フレーム単位などのマクロブロックを跨った反復処理が不要）であり、非特許文献２，３と比較して符号化遅延を大きく抑えることができる。
【００６４】
以上で明らかなように、この実施の形態１によれば、予測部２が、マクロブロック毎に、予め用意されている固定のフィルタを用いて、メモリ７に格納されている局所復号画像信号から第１の参照画像信号を生成するとともに、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、その局所復号画像信号から第２の参照画像信号を生成し、第１及び第２の参照画像信号の中から最適な参照画像信号を選択して、その参照画像信号から予測信号を生成するように構成したので、符号化遅延を抑制しながら、動き補償予測による予測画像の品質を改善することが可能な符号化処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる効果を奏する。
【００６５】
実施の形態２．
図１０はこの発明の実施の形態２による画像復号装置を示す構成図である。
図１０において、可変長復号部３１は図１の画像符号化装置から伝送されたビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号して、その圧縮データを予測誤差復号部３３に出力する処理を実施する。また、そのフィルタ情報をメモリ３５に格納するとともに、その予測信号生成用パラメータを予測部３２に出力する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。
【００６６】
予測部３２は可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている予測モードがフレーム内予測を行う旨を示している場合、フレーム内予測を行って予測画像を示す予測信号を生成する処理を実施する。
一方、予測モードがフレーム間予測を行う旨を示している場合、予測部３２は動き補償予測を実施する。まず、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報（図４の動き補償部２３による最適な参照画像信号の選択結果）が、図４の参照画像生成部２１により予め用意されている固定のフィルタを用いて生成された第１の参照画像信号を選択している旨を示している場合、上記固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が、図１の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ（可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ）を用いて生成された第２の参照画像信号を選択している旨を示している場合、そのフィルタ情報に係るフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する。そして、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その生成した参照画像信号から予測画像を示す予測信号を生成する処理を実施する。
なお、予測部３２は予測画像生成手段を構成している。
【００６７】
予測誤差復号部３３は可変長復号部３１により可変長復号された圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、図１の局所復号部４から出力された予測誤差信号に相当する予測誤差信号を算出する処理を実施する。
加算器３４は予測誤差復号部３３により算出された予測誤差信号と予測部３２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出し、その復号画像信号をメモリ３５及び画像品質改善フィルタ処理部３６に出力する処理を実施する。
なお、予測誤差復号部３３及び加算器３４から復号画像生成手段が構成されている。
【００６８】
メモリ３５は次のフレームの復号に備えて、加算器３４から出力された復号画像信号を格納するとともに、可変長復号部３１により可変長復号されたフィルタ情報を格納する記録媒体である。
なお、フィルタ情報は、メモリ３５により格納されている複数のフレームの復号画像信号に対して、フレーム毎に一対一で対応してメモリ３５に格納されている。ただし、どのフィルタ情報が、どのフレームの復号画像信号と対応しているかが明らかとなる格納方式であれば、メモリ３５へのデータの格納方式は問わない。
また、今回は、予測部３２で参照画像信号を生成するためにメモリ３５に復号画像信号とフィルタ情報を格納しているが、予測部３２で参照画像信号生成処理を行わずに済むように、可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報を参照して参照画像信号を生成し、その参照画像をメモリ７に直接格納するように画像復号装置を構成してもよい。
【００６９】
画像品質改善フィルタ処理部３６は可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、加算器３４から出力された復号画像信号に重畳されている符号化歪みを補償し、符号化歪み補償後の復号画像信号を再生画像信号として外部に出力する処理を実施する。なお、画像品質改善フィルタ処理部３６はフィルタリング手段を構成している。
【００７０】
図１０では、加算器３４から出力された復号画像信号がメモリ３５及び画像品質改善フィルタ処理部３６に与えられる例を示したが、図１１に示すように、加算器３４から出力された復号画像信号に重畳されているブロック歪みを除去するループフィルタであるデブロッキングフィルタ３７を加算器３４の後段に設け、デブロッキングフィルタ３７によりブロック歪みが除去された復号画像信号がメモリ３５及び画像品質改善フィルタ処理部３６に与えられるようにしてもよい。
【００７１】
図１０では、画像復号装置の構成要素である可変長復号部３１、予測部３２、予測誤差復号部３３、加算器３４及び画像品質改善フィルタ処理部３６のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路やワンチップマイコン）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部３１、予測部３２、予測誤差復号部３３、加算器３４及び画像品質改善フィルタ処理部３６の処理内容が記述されているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
【００７２】
図１２はこの発明の実施の形態２による画像復号装置の予測部３２における動き補償予測部を示す構成図である。
図１２において、参照画像生成部４１は可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合（最適な参照画像信号が第１の参照画像信号である場合）、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する処理を実施する。一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合（最適な参照画像信号が第２の参照画像信号である場合）、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタ（可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ）を用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する処理を実施する。
【００７３】
動き補償部４２は予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルなど）を参照して、参照画像生成部４１により生成された参照画像信号に対する動き補償予測を実施することで、予測画像を示す予測信号を生成する処理を実施する。
【００７４】
図１３はこの発明の実施の形態２による画像復号装置の画像品質改善フィルタ処理部３６を示す構成図である。
図１３において、フレームメモリ５１は加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号を１フレーム分だけ格納する記録媒体である。
フィルタ処理部５２は可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、整数画素用ウィーナフィルタを用いて、フレームメモリ５１により格納されている復号画像信号に重畳されている符号化歪みを補償する処理を実施し、符号化歪み補償後の復号画像信号を再生画像信号として出力する処理を実施する。
【００７５】
ただし、フィルタ処理部５２は、符号化歪みを補償するフィルタ処理を行うか否かを局所領域毎に切り換えるようにしてもよい。
このときの切り換え情報は、画像符号化装置から符号化データとして受信し、その符号化データを復号することで取得するようにしてもよいし、画像復号装置が所定の手法によって切り換え情報を算出するようにしてもよい。
このようにフィルタ処理を行うか否かを局所領域毎に切り換えることで、画像の品質が改善する局所領域のみをフィルタ処理することが可能となり、より高品質な歪み補償処理を実現することができる。
【００７６】
また、再生画像信号の解像度を上げる必要がある場合などには、フィルタ処理部５２が、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、非整数画素生成用ウィーナフィルタを再生画像信号の解像度拡大用フィルタ（超解像フィルタ）として利用することも可能である。
これにより、新たに特別な解像度拡大用フィルタを用意せずに、解像度拡大処理を実現することができる。
なお、画像品質改善フィルタ処理部３６の構成としては、図１４に示すように、フレームメモリ５１を実装せずに、フィルタ処理部５２がマクロブロック単位で、逐次、フィルタ処理を行う構成としてもよい。
【００７７】
図１５はこの発明の実施の形態２による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
また、図１６はこの発明の実施の形態２による画像復号装置の予測部３２における動き補償予測処理を示すフローチャートである。
【００７８】
次に動作について説明する。
可変長復号部３１は、画像符号化装置からビットストリームを受信すると、そのビットストリームから圧縮データ、フィルタ情報及び予測信号生成用パラメータを可変長復号する（図１５のステップＳＴ５１）。
【００７９】
予測部３２は、可変長復号部３１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータに含まれている予測モードがフレーム内予測モードを表している場合、フレーム内予測を行って予測画像を示す予測信号を生成する。一方、予測モードがフレーム間予測モードを表している場合、具体的な処理内容については後述するが、予測部３２は動き補償予測を次のように実施する。
まず、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合（最適な参照画像信号が第１の参照画像信号である場合）、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する（ステップＳＴ５２）。
一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合（最適な参照画像信号が第２の参照画像信号である場合）、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ、即ち、画像符号化装置の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する（ステップＳＴ５２）。
予測部３２は、復号画像信号から参照画像信号を生成すると、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、その参照画像信号から予測画像を示す予測信号を生成する（ステップＳＴ５３）。
【００８０】
予測誤差復号部３３は、可変長復号部３１から圧縮データを受けると、その圧縮データを逆量子化し、逆量子化後の圧縮データに対する逆ＤＣＴ処理を実施することで、図１の局所復号部４から出力された予測誤差信号に相当する予測誤差信号を算出する（ステップＳＴ５４）。
加算器３４は、予測誤差復号部３３が予測誤差信号を算出すると、その予測誤差信号と予測部３２により生成された予測信号を加算することで、図１の加算器５から出力された局所復号画像信号に相当する復号画像信号を算出し、その復号画像信号をメモリ３５に格納するとともに、その復号画像信号を画像品質改善フィルタ処理部３６に出力する（ステップＳＴ５５）。
【００８１】
画像品質改善フィルタ処理部３６の具体的な処理内容については後述するが、画像品質改善フィルタ処理部３６は、可変長復号部３１からフィルタ情報を受けると、そのフィルタ情報に係るフィルタを用いて、加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号に重畳されている符号化歪みを補償し、符号化歪み補償後の復号画像信号を再生画像信号として外部に出力する（ステップＳＴ５６）。
【００８２】
以下、予測部３２の動き補償予測処理の内容を具体的に説明する。
予測部３２の参照画像生成部４１は、可変長復号部３１から予測信号生成用パラメータを受けると、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”であるか、“１”であるかを判別する（図１６のステップＳＴ６１）。
参照画像生成部４１は、参照画像生成方法識別情報が“０”である場合、図４の動き補償部２３により最適な参照画像信号として、第１の参照画像信号が選択されているので、予め用意されている固定のフィルタ（図４の参照画像生成部２１により用いられた固定のフィルタと同一のフィルタ）を用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する（ステップＳＴ６２）。
【００８３】
一方、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合、図４の動き補償部２３により最適な参照画像信号として、第２の参照画像信号が選択されているので、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタ、即ち、図１の画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いて、メモリ３５に格納されている復号画像信号（予測信号生成用パラメータに含まれている参照フレーム番号の復号画像信号）に対するフィルタ処理を行うことで、参照画像信号を生成する（ステップＳＴ６３）。
【００８４】
参照画像生成方法識別情報が“０”である場合に用いる固定のフィルタの例としては、非特許文献１に記載されている１／２画素生成フィルタや1／４画素生成フィルタが挙げられる。
ここでは、参照画像生成方法識別情報が“１”である場合、画像品質改善フィルタ生成部６により生成された整数画素用ウィーナフィルタ及び非整数画素生成用ウィーナフィルタを用いる例を示している。
即ち、動き補償を行う画素精度が１／４画素精度であるとき、整数画素用ウィーナフィルタ、１／２画素生成用ウィーナフィルタ、１／４画素生成用ウィーナフィルタの全てが、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタとして用いているが、整数画素用ウィーナフィルタ及び１／２画素生成用ウィーナフィルタについては、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、１／４画素の生成には、参照画像生成方法識別情報が“０”である場合と同様に、固定の１／４画素生成フィルタを用いるなど、一部のフィルタで固定のフィルタを用いるようにしてもよい。
【００８５】
このように、参照画像生成方法識別情報が“１”であるとき、画素精度毎に固定のフィルタを用いることにするか、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いることにするかについては、画像符号化装置及び画像復号装置を構成する際に予め決定しておいてもよいし、画像符号化装置から画素精度毎に、フィルタ選択情報がフレーム単位、又は、複数のマクロブロックから構成されるスライス単位のヘッダ情報として符号化されているデータを受信して、そのヘッダ情報を復号するようにしてもよい。
上記のように、ヘッダ情報を用いて、参照画像生成方法識別情報が“１”である場合の参照画像信号生成方法を切り換えられるようにすることで、フィルタに要する符号量や参照画像の品質などを適応的に制御することが可能となる。
【００８６】
動き補償部４２は、参照画像生成部４１が参照画像信号を生成すると、予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報（例えば、フレーム間でどのような予測を行うのか（動きベクトルを切り換えるサブブロックの分割状態などの情報）を示す予測モード、フレーム間の動き量を示すマクロブロック又はサブブロック毎の動きベクトルなど）を参照して、その参照画像信号に対する動き補償予測を実施することで、予測画像を示す予測信号を生成し、その予測信号を加算器３４に出力する（ステップＳＴ６４）。
【００８７】
以下、画像品質改善フィルタ処理部３６の処理内容を具体的に説明する。
画像品質改善フィルタ処理部３６のフレームメモリ５１には、加算器３４（又は、デブロッキングフィルタ３７）から出力された復号画像信号が１フレーム分だけ格納される。
フィルタ処理部５２は、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタのうち、整数画素用ウィーナフィルタを用いて、フレームメモリ５１により格納されている復号画像信号に重畳されている符号化歪みを補償するフィルタ処理を実施し、符号化歪み補償後の復号画像信号を再生画像信号として出力する。
【００８８】
整数画素用ウィーナフィルタを用いるフィルタ処理において、フィルタ処理後の復号画像信号の画素値ｓハット（ｘ０）は、上記実施の形態１の画像符号化装置と同様に、参照画素群ｘｎ（ｎ＝０，１，・・・，Ｎ−１）とフィルタ係数及びオフセット係数（ａ０，ａ１，・・・，ａＮ−１，ａＮ）を用いて、上述した式（２）で表すことができる（図８を参照）。
ただし、参照画素数Ｎは、画像符号化装置と同一の予め決められた固定値としてもよいし、ある所定の手段又は画像符号化装置から伝送される付加情報によって決まる可変値としてもよい。
また、参照画素配置の形状も参照画素数と同様に、予め決められた配置でもよいし、所定の法則又は画像符号化装置から伝送される付加情報によって決まる可変の形状としてもよい。
【００８９】
以上で明らかなように、この実施の形態２によれば、可変長復号部３１により可変長復号された予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“０”である場合、予め用意されている固定のフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成し、その予測信号生成用パラメータに含まれている参照画像生成方法識別情報が“１”である場合、可変長復号部３１により可変長復号されたフィルタ情報に係るフィルタを用いて、メモリ３５に格納されている復号画像信号から参照画像信号を生成する参照画像生成部４１と、その予測信号生成用パラメータに含まれている動き補償予測処理を特定する情報を参照して、参照画像生成部４１により生成された参照画像信号に対する動き補償予測を実施する動き補償部４２とから予測部３２を構成し、可変長復号部３１により可変長復号されたフィルタ情報を参照して、加算器３４またはデブロッキングフィルタ３７から出力された復号画像信号に重畳されている歪みを補償するフィルタ処理部５２から画像品質改善フィルタ処理部３６を構成するようにしたので、再生画像の品質を改善するだけでなく、動き補償予測による予測画像の品質も改善する処理が実現されるようになり、その結果、画像品質の改善精度を高めることができる効果を奏する。
【産業上の利用可能性】
【００９０】
以上のように、この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、生成した複数の参照画像の中から最適な参照画像を選択して、最適な参照画像と入力画像の局所領域から予測画像を生成することにより、符号化遅延を抑制することができるとともに、画像品質の改善精度を高めることができるので、例えばデジタル放送システムに係る機器などに用いるのに適している。
【図１】
2011039931.tif 000006
【図２】
2011039931.tif 000007
【図３】
2011039931.tif 000008
【図４】
2011039931.tif 000009
【図５】
2011039931.tif 000010
【図６】
2011039931.tif 000011
【図７】
2011039931.tif 000012
【図８】
2011039931.tif 000013
【図９】
2011039931.tif 000014
【図１０】
2011039931.tif 000015
【図１１】
2011039931.tif 000016
【図１２】
2011039931.tif 000017
【図１３】
2011039931.tif 000018
【図１４】
2011039931.tif 000019
【図１５】
2011039931.tif 000020
【図１６】
2011039931.tif 000021
【図１７】
2011039931.tif 000022
【図１８】
2011039931.tif 000023
【国際調査報告】
2011039931.tif 000024
2011039931.tif 000025
2011039931.tif 000026
2011039931.tif 000027