(57)【要約】  本発明に係る動画像符号化方法は、符号化対象信号より前に符号化された他の符号化対象信号に基づいて、符号化対象信号を予測した予測信号を生成する予測信号生成ステップ（Ｓ１６）と、符号化対象信号から予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップ（Ｓ１２）と、量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップ（Ｓ１３）と、予測信号及び量子化予測誤差信号のうち、予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップ（Ｓ１４）と、量子化ステップにおいて生成される量子化係数と、フィルタ情報生成ステップにおいて生成される第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップ（Ｓ１５）とを含む。
2010001614.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する符号化対象信号を符号化する動画像符号化方法であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、
前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む
動画像符号化方法。
【請求項２】
前記フィルタ情報生成ステップでは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理して得られるフィルタリング済み予測信号、及び前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理して得られるフィルタリング済み量子化予測誤差信号を加算して得られる再構築信号と、前記符号化対象信号との差分が最小化されるように、前記第１及び第２のフィルタ情報を生成する
請求項１に記載の動画像符号化方法。
【請求項３】
前記予測信号生成ステップは、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、
前記再構築信号に基づいて、前記符号化対象信号より後に符号化される他の符号化対象信号を予測した第２の予測信号を生成する予測信号生成ステップとを含む
請求項１に記載の動画像符号化方法。
【請求項４】
前記フィルタリングステップでは、前記再構築信号のブロック歪みを減少させるデブロック処理をする
請求項３に記載の動画像符号化方法。
【請求項５】
前記フィルタリングステップでは、動き補償予測に先立って行われる補間フィルタリング処理をする
請求項３に記載の動画像符号化方法。
【請求項６】
前記フィルタ情報生成ステップでは、前記予測信号と前記量子化予測誤差信号とを加算して得られる再構築信号の統計的特性に基づいて第３のフィルタ情報を生成し、
前記エントロピー符号化ステップでは、前記量子化予測誤差信号と、前記第１、第２、及び第３のフィルタ情報とをエントロピー符号化して前記符号化信号を生成する
請求項１に記載の動画像符号化方法。
【請求項７】
動画像を構成する符号化信号を復号して復号信号を生成する動画像復号方法であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む
動画像復号方法。
【請求項８】
前記予測信号生成ステップは、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、
前記再構築信号に基づいて、前記符号化信号より後に復号される他の復号信号を予測した第２の予測信号を生成する予測信号生成ステップとを含む
請求項７に記載の動画像復号方法。
【請求項９】
動画像を構成する符号化対象信号を符号化する動画像符号化装置であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、
前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える
動画像符号化装置。
【請求項１０】
動画像を構成する符号化信号を復号して復号信号を生成する動画像復号装置であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える
動画像復号装置。
【請求項１１】
コンピュータに、動画像を構成する符号化対象信号を符号化させるプログラムであって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、
前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む
プログラム。
【請求項１２】
コンピュータに、動画像を構成する符号化信号を復号して復号信号を生成させるプログラムであって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む
プログラム。
【請求項１３】
動画像を構成する符号化対象信号を符号化する集積回路であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、
前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える
集積回路。
【請求項１４】
動画像を構成する符号化信号を復号して復号信号を生成する集積回路であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える
集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化用フィルタに関し、特に、差分パルス符号変調における予測信号と量子化予測誤差信号とから再構築された信号に適用されるフィルタに関する。
【背景技術】
【０００２】
動画像データを圧縮するために、複数の動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣと称される規格である。【０００３】
それらの規格の全てが、以下に示す複数のメインステージからなるハイブリッド動画像符号化に基づくものである。
（ａ）独立した動画像フレームのそれぞれに対して、ブロックレベルでそのデータの圧縮をおこなうために、各動画像フレームを２次元の画素ブロックに分割するステージ
（ｂ）各ブロックに対して時空間予測方法を適用し、空間ドメインにおける予測誤差を周波数ドメインに変換することによって、時空間動画像情報を無相関化して係数を取得するステージ
（ｃ）得られた係数を量子化することによって、総データ量を削減するステージ
（ｄ）量子化係数と予測パラメータとを、エントロピー符号化アルゴリズムを用いて符号化することによって、残りのデータを圧縮するステージ【０００４】
すなわち、最新の動画像符号化規格は、入力動画像シーケンスのブロックと符号化済みブロック（部分的に復号された画像）に基づく予測結果との差分のみを伝送する差分パルス符号変調（ＤＰＣＭ）手法を採用している。このような動画像符号化規格に用いられうる予測方法の１つは、動き補償予測である。この予測方法においては、オブジェクトおよび／またはカメラの動きによってもたらされる画像の変位を記述するために、動画像データの各ブロックに対し、少なくとも１つの動きベクトルを特定する。特定された動きベクトルに基づいて、あるブロックの画像内容を、符号化済みブロックの画像内容から少なくともある程度は予測可能である。予測画像内容と実際の入力画像内容との差分は、予測誤差と呼ばれ、実際の入力画像の内容の代わりに、動きベクトルと共に符号化される。このようにして、「自然な」動画像シーケンスのほとんどについて、その符号化情報量を大幅に削減することが可能になる。【０００５】
図１は、Ｈ．２６４／ＡＶＣ規格にしたがった従来の動画像符号化装置を示す例示的なブロック図である。総体として動画像符号化装置は、動画像（入力信号）の符号化対象ブロックと、メモリ１４０に格納された符号化済みブロック（「部分的に復号された画像」）に基づいて取得された、当該符号化対象ブロックの予測信号との差分を求めるための減算器１１０を備える。したがって、メモリ１４０は、対象信号値とそれ以前の信号値から生成された予測信号の比較を可能にする遅延部として動作する。変換・量子化部１２０は、得られた予測誤差を空間ドメインから周波数ドメインに変換し、取得した係数を量子化する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化する。【０００６】
部分復号画像は、動画像符号化装置に組み込まれた復号部によって提供される。復号部は、符号化ステップを逆の順序で実行する。逆量子化・逆変換部１３０は、量子化係数を逆量子化し、逆量子化係数に逆変換を適用する。加算器１３５において、部分復号画像を生成するために、復号誤差が予測信号に加算される。【０００７】
量子化によって、量子化ノイズが再構築動画像信号に重畳される。ブロック単位での符号化によって、重畳されたノイズはしばしばブロッキング特性を有し、目障りとなる場合がある。ブロッキング特性を削減するため、各再構築マクロブロックに対しデブロッキングフィルタ１３７が適用される。デブロッキングフィルタ１３７は、予測信号と量子化予測誤差信号とが加算されたものである再構築信号に適用される。デブロック信号は復号信号であり、一般的には表示される。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３７は、部分的に採用されうるものである。ブロッキングノイズの程度が高い場合、強いローパスフィルタが採用される。一方、ブロッキングノイズの程度が低い場合には、弱いローパスフィルタが採用される。ローパスフィルタの強度は、予測信号と量子化予測誤差信号とによって決まる。デブロッキングフィルタ１３７は、以下にあげる２つのメリットを有する。【０００８】
１．ブロックのエッジが平滑化され、結果的に復号画像の主観的な画質が改善される。【０００９】
２．フィルタリング済みマクロブロックが後続画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が小さくなり、結果的に符号化効率が改善される。【００１０】
画面内予測マクロブロックは、このような状況においては特殊なケースと言える。これらは、表示される前にフィルタリングされるが、画面内予測はフィルタリング前の再構築マクロブロックを用いて実施される。【００１１】
４つの係数を用いる線形デブロッキングフィルタを、垂直方向のブロック境界に対するデブロッキングの例としてあげる。このフィルタは、入力サンプルｐ2、ｐ1、ｐ0、ｑ0、ｑ1およびｑ2に適用される。ここで、例えば、ｐ0およびｑ0は、当該ブロック境界において隣接する２つの画素であり、ｐ1およびｑ1は、ｐ0およびｑ0に隣接する画素である。フィルタ出力であるｐ0，ｎｅｗおよびｑ0，ｎｅｗに関し、ｐ0，ｎｅｗは、ｐ0，ｎｅｗ＝（ｐ2−（ｐ1＜＜１）＋（ｐ0＋ｑ0＋１）＞＞１）＞）１と定義され、ｑ0，ｎｅｗは、ｑ0，ｎｅｗ＝（ｑ2−（ｑ1＜＜１）＋（ｑ0＋ｐ0＋１）＞＞１）＞＞１と定義される。【００１２】
動画像符号化装置に採用される予測タイプは、マクロブロックが「画面間」モードと「画面内」モードのうちのどちらで符号化されるかによって決まる。Ｈ．２６４／ＡＶＣ動画像符号化規格においては、「画面内」モードで、後続のマクロブロックを予測するために、同一画像内で符号化済みのマクロブロックに基づく予測方法を用いる。「画面間」モードでは、連続する複数フレームの同位置ブロック間で動き補償予測が採用される。【００１３】
画面内符号化画像（Ｉタイプ画像）だけは、復号済み画像を参照せずとも復号可能である。Ｉタイプ画像は、符号化動画像シーケンスにエラー耐性を備えさせる。さらに、ランダムアクセスを可能にするための、つまり、符号化動画像シーケンス内のＩタイプ画像にアクセスするための、符号化データであるビットストリームへのエントリポイントとして、これらのＩタイプ画像が提供される。画面内フレーム予測部１５０が行う処理である画面内モードと、動き補償予測部１６０が行う処理である画面間モードとの切り替えは、画面内／画面間スイッチ１８０によって制御される。【００１４】
「画面間」モードにおいては、動き補償予測を採用することによって、先行フレームの同位置ブロックからマクロブロックが予測される。この予測は、動き予測部１７０によってなされ、対象入力信号と部分復号画像とが受信される。動き予測によって、２次元の動きベクトルが求められ、対象ブロックと復号済みフレームの同位置ブロック間の変位を表す。予測された動きに基づき、動き補償予測部１６０は予測信号を提供する。【００１５】
予測精度を最適化するために、動きベクトルを、１／２画素解像度や１／４画素解像度などの小数画素解像度で求めてもよい。小数画素解像度の動きベクトルは、復号済みフレーム内の利用可能な画素値がない位置、つまり小数画素位置を指してもよい。よって、動き補償をおこなうためには、画素値の空間的補間が必要である。これは、補間フィルタ１６２によって達成される。小数画素位置の画素値を得るために、Ｈ．２６４／ＡＶＣ規格にしたがって、固定フィルタ係数を有する６タップ・ウィナー補間フィルタと双線形フィルタとが適用される。【００１６】
「画面内」符号化モードと「画面間」符号化モードの両方において、対象入力信号と予測信号間の差分が、変換・量子化部１２０によって変換され量子化されて、量子化係数が取得される。一般的には、２次元離散コサイン変換（ＤＣＴ）などの直交変換またはその整数版が採用される。【００１７】
符号化データ量を削減するために、これらの係数は量子化される。量子化ステップは、精度とその精度で各量子化係数を符号化するために用いられるビット数とを指定する量子化テーブルによって制御される。通常、低周波成分は高周波数成分よりも画質にとって重要であるため、高周波数成分を符号化するために費やされるビット数よりも多いビット数が低周波成分を符号化するために費やされる。【００１８】
量子化後、量子化係数の２次元配列は、エントロピー符号化器に受け渡されるために１次元の列に変換されなければならない。この変換は、所定の順序でこの配列を走査することによってなされる。このようにして取得された１次元の量子化係数シーケンスは、エントロピー符号化部１９０によって可変長符号（ＶＬＣ）を用いて圧縮符号化される。得られたビットストリームは、動き情報とともに多重化され、記憶媒体に格納されるか動画像復号装置側に送信される。【００１９】
主観的な画質を改善するため、ポストフィルタと呼ばれるものを動画像復号装置側で適用してもよい。Ｈ．２６４／ＡＶＣ規格によれば、付加拡張情報（ＳＥＩ）メッセージを用いることによって、ポストフィルタ用のポストフィルタ情報を送信することができる。ポストフィルタ情報は、フィルタ係数そのものであってもよく、これらのフィルタ係数を求めるために用いることができる相互相関情報であってもよい。ポストフィルタ情報は、ポストフィルタ設計部１３８によって動画像符号化装置側で決定され、部分復号信号および原画入力信号と比較される。ポストフィルタ設計部１３８の出力は、符号化されて符号化信号へ挿入されるために、エントロピー符号化部１９０へも供給される。【００２０】
動画像復号装置側で符号化画像を再構築するために、符号化プロセスが逆の順序で適用される。図２は、対応する動画像復号装置の構成を説明する概略ブロック図である。【００２１】
図２の動画像復号装置においては、まず、エントロピー復号部１９１において、係数と動きデータとがエントロピー復号される。このステップは、復号係数列を逆変換のために必要な２次元配列データに変換するための逆走査も含む。量子化係数の復号ブロックはその後、逆量子化・逆変換部１２１へ提供され、復号動きデータは、動き補償予測部１６０へ送信される。動きベクトルの実際の値によっては、動き補償予測をおこなうために画素値の補間が必要になる場合がある。この補間は、補間フィルタ１６２によって達成される。【００２２】
逆変換結果は、空間ドメインにおける量子化予測誤差であり、加算器１３５によって加算されるが、画面間モードでは動き補償予測部１６０から生じる予測信号へ加算され、画面内モードでは画面内フレーム予測部１５０から生じる予測信号へ加算される。再構築画像は、デブロッキングフィルタ１３７を通して受け渡されてもよく、得られた復号信号は、画面内フレーム予測部１５０および動き補償予測部１６０に適用されるためにメモリ１４０に格納される。【００２３】
エントロピー復号部１９１は、符号化器によって特定されたポストフィルタの検索もおこなう。ポストフィルタ１３９は、画質をさらに改善する目的で、復号信号に適用されるポストフィルタを設定するためにこの情報を採用する。【００２４】
上記従来のポストフィルタは、適応的フィルタ、すなわち、符号化対象動画像信号の特性に適応するフィルタの一例である。そのような適応的フィルタの実装形態の多くが、ウィナーフィルタ、つまり線形最適時間離散フィルタに基づくものである。ウィナーフィルタは、一般的に、付加ノイズを取り除くために適用される。動画像符号化においては、量子化エラーを、原動画像入力信号に重畳されたノイズであるとみなすことができる。【００２５】
ウィナーフィルタ手法のメリットの１つは、破損した信号（復号動画信号）の自己相関と、破損した信号と所望の信号（原動画像入力信号）との相互相関とに基づいてフィルタ係数を求めることができるということである。さらに詳しくは、Ｒが破損信号のＭ×Ｍの自己相関マトリクスを表し、ｐが破損信号と所望の信号間のＭ×１の相互相関ベクトルを表すとき、ウィナーフィルタのフィルタ長はＭであり、最適なウィナーフィルタ係数ｗのＭ×１ベクトルは、以下の式１を用いて表される。【００２６】
【数１】
2010001614.tif 000003
【００２７】
ここで、Ｒ-1は、自己相関マトリクスＲの逆数である。【００２８】
例えば、引例欧州特許出願公開第１８４１２３０号公報（特許文献１）から、適応的フィルタを予測ループ内で適用することが知られている。例えば、デブロッキングフィルタ１３７を適用する前か適用する代わりに再構築信号に対して直接適応的フィルタを適用したり、デブロッキングフィルタの出力に対して適応的フィルタを適用したり、予測信号に対して適応的フィルタを適用したりする。従来の動画像フィルタの目的は、平均２乗予測誤差および／または平均２乗再構築誤差を最小にするか、画像をデブロッキングするか、その両方により、主観的な画質を高めることである。
【先行技術文献】
【特許文献】
【００２９】
【特許文献１】欧州特許出願公開第１８４１２３０号公報
【発明の概要】
【発明が解決しようとする課題】
【００３０】
しかしながら、このフィルタリング形式は、予測信号と量子化予測誤差信号とが同一の統計的特性を有する場合にのみ有効である。予測信号と量子化予測誤差信号とが、例えば異なる重畳ノイズのような異なる統計的特性を有する場合は、そのような異なる統計的特性には対応できないことから当該フィルタ設計は不利である。【００３１】
予測信号と量子化予測誤差信号との統計的特性が異なる理由はいくつか考えられる。第１に、量子化ノイズは量子化ステップ中に予測誤差に対してのみ重畳されるが、ある時点における予測信号そのものに対しては重畳されない。予測信号は、異なる時点の量子化ノイズを含む場合があり、ゆえに異なる統計的特性を有する場合がある。第２に、動き補償予測におけるブロックのエッジは、予測誤差符号化におけるブロックのエッジとは異なる場合があり、量子化予測誤差信号と比較して予測信号においてはブロッキング特性が異なる。【００３２】
本発明の目的は、符号化効率を改善する動画像符号化方法および対応する装置を提供することである。
【課題を解決するための手段】
【００３３】
本発明の一形態に係る動画像符号化方法は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む。【００３４】
上記構成によれば、予測信号及び量子化予測誤差信号それぞれに重畳されるノイズを個別に除去することができる。その結果、符号化効率を改善することができる。【００３５】
また、前記フィルタ情報生成ステップでは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理して得られるフィルタリング済み予測信号、及び前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理して得られるフィルタリング済み量子化予測誤差信号を加算して得られる再構築信号と、前記符号化対象信号との差分が最小化されるように、前記第１及び第２のフィルタ情報を生成してもよい。これにより、復号画像の主観的な画質を向上させることができる。【００３６】
また、前記予測信号生成ステップは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、前記再構築信号に基づいて、前記符号化対象信号より後に符号化される他の符号化対象信号を予測した第２の予測信号を生成する予測信号生成ステップとを含んでもよい。上記構成のように、第１及び第２のフィルタ情報をループフィルタに適用してもよい。【００３７】
一実施形態として、前記フィルタリングステップでは、前記再構築信号のブロック歪みを減少させるデブロック処理をする。他の実施形態として、前記フィルタリングステップでは、動き補償予測に先立って行われる補間フィルタリング処理をする。【００３８】
また、前記フィルタ情報生成ステップでは、前記予測信号と前記量子化予測誤差信号とを加算して得られる再構築信号の統計的特性に基づいて第３のフィルタ情報を生成する。そして、前記エントロピー符号化ステップでは、前記量子化予測誤差信号と、前記第１、第２、及び第３のフィルタ情報とをエントロピー符号化して前記符号化信号を生成してもよい。上記構成のように、第１及び第２のフィルタ情報に加えて、従来のポストフィルタに利用される第３のフィルタ情報をも生成してもよい。【００３９】
本発明の一形態に係る動画像復号方法は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む。【００４０】
上記構成によれば、予測信号及び量子化予測誤差信号それぞれに重畳されるノイズを個別に除去することができるので、主観的な画質を向上させることができる。【００４１】
また、前記予測信号生成ステップは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、前記再構築信号に基づいて、前記符号化信号より後に復号される他の復号信号を予測した第２の予測信号を生成する予測信号生成ステップとを含んでもよい。上記構成のように、第１及び第２のフィルタ情報は、ポストフィルタに限らず、ループフィルタに適用することもできる。【００４２】
本発明の一形態に係る動画像符号化装置は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える。【００４３】
本発明の一形態に係る動画像復号装置は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える。【００４４】
本発明の一形態に係るプログラムは、コンピュータに、動画像を構成する符号化対象信号を符号化させる。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む。【００４５】
本発明の一形態に係るプログラムは、コンピュータに、動画像を構成する符号化信号を復号して復号信号を生成させる。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む。【００４６】
本発明の一形態に係る集積回路は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える。【００４７】
本発明の一形態に係る集積回路は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える。【００４８】
なお、本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。【００４９】
これらは、独立請求項に記載した特徴によって達成される。【００５０】
好ましい実施の形態は、従属請求項の主題である。【００５１】
本発明特有の手法は、再構築信号に対して動作する従来の適応的フィルタに代えて、予測信号と量子化予測誤差信号に対して動作し、入力信号それぞれの統計的特性に対し個別に適応させた２つのフィルタを用いるものである。【００５２】
本発明の１態様として、動画像信号の符号化方法を提供する。当該方法は、差分パルス符号変調に基づくものであり、以下のステップからなる。すなわち、符号化対象動画像信号から予測信号と誤差信号とを求めるステップと、予測信号の統計的特性に適応させた第１フィルタを示す第１フィルタ情報を取得するステップと、誤差信号の統計的特性に適応させた第２フィルタを示す第２フィルタ情報を取得するステップと、第１フィルタ情報と第２フィルタ情報とを符号化するステップである。【００５３】
本発明の他の態様として、動画像信号の復号方法を提供する。当該方法は、差分パルス符号変調に基づくものであり、以下のステップからなる。すなわち、予測信号と誤差信号とを取得するステップと、予測信号と誤差信号とから再構築信号を求めるステップと、第１フィルタ情報と第２フィルタ情報とを復号するステップと、第１フィルタ情報と第２フィルタ情報とにしたがって、第１フィルタと第２フィルタとをそれぞれ設定するステップと、第１フィルタと第２フィルタとを用いて、予測信号と誤差信号とをそれぞれフィルタリングするステップである。ここで、再構築信号は、フィルタリング済み予測信号とフィルタリング済み誤差信号とを加算することによって求められる。【００５４】
本発明の他の態様として、動画像信号の符号化装置を提供する。当該装置は、符号化対象動画像信号から予測信号と誤差信号とを求める差分パルス符号変調部と、予測信号の統計的特性に適応させた第１フィルタを示す第１フィルタ情報を取得し、誤差信号の統計的特性に適応させた第２フィルタを示す第２フィルタ情報を取得するフィルタ設計部と、第１フィルタ情報と第２フィルタ情報とを符号化する符号化器からなる。【００５５】
本発明の他の態様として、動画像信号の復号装置を提供する。当該装置は、差分パルス符号変調に基づくものであり、以下の構成要素からなる。すなわち、予測信号と誤差信号とを取得し、取得した予測信号と誤差信号とから再構築信号を求める再構築部と、第１フィルタ情報と第２フィルタ情報とを復号する復号器と、予測信号をフィルタリングするための第１フィルタ情報にしたがって設定された第１フィルタと、誤差信号をフィルタリングするための第２フィルタ情報にしたがって設定された第２フィルタである。ここで、再構築部は、フィルタリング済み予測信号とフィルタリング済み誤差信号とを加算することによって再構築信号を求める。【００５６】
符号化方法および装置の好ましい実施形態において、第１フィルタ情報と第２フィルタ情報とは、（ａ）符号化対象動画像信号、及び（ｂ）第１フィルタによってフィルタリングされた予測信号と、第２フィルタによってフィルタリングされた誤差信号とが加算されたものである再構築信号、の差分を示す測定値を最小にすることによって取得される。【００５７】
符号化方法および装置の他の好ましい実施形態において、第１フィルタ情報は、予測信号と符号化対象動画像信号それぞれの統計的特性を分析することによって取得され、第２フィルタ情報は、誤差信号と符号化対象動画像信号それぞれの統計的特性を分析することによって取得される。符号化方法または符号化装置の他の好ましい実施形態において、予測信号と、誤差信号と、復号信号とに対し動作する本発明のポストフィルタを用いるポストフィルタリングに本発明を適用する。この目的で、予測信号と誤差信号とが加算され、所定のフィルタが加算結果に適用され、所定のフィルタを適用するステップで得られた信号の統計的特性に適応させた第３のフィルタを示す第３フィルタ情報を取得し、この第３フィルタ情報も符号化する。所定のフィルタはデブロッキングフィルタであることが好ましい。【００５８】
復号方法または復号装置の対応する好ましい実施形態において、予測信号と誤差信号とが加算され、この加算結果に対し所定のフィルタが適用され、第３フィルタ情報が復号され、この第３フィルタ情報にしたがって第３フィルタが設定され、その第３フィルタが所定のフィルタの出力信号に適用される。ここで、再構築信号は、フィルタリング済み予測信号と、フィルタリング済み誤差信号と、第３フィルタの出力信号とを加算することによって求められる。【００５９】
符号化方法または符号化装置の他の好ましい実施形態において、予測信号と、誤差信号と、従来のポストフィルタの出力信号とに対し動作する本発明のポストフィルタを用いるポストフィルタリングに本発明を適用する。この目的で、予測信号と誤差信号とが加算され、この加算ステップの結果に対し所定のフィルタが適用され、所定のフィルタを適用するステップで得られた信号の統計的特性に基づいたポストフィルタ情報を取得し、このポストフィルタ情報にしたがってポストフィルタを設定し、このポストフィルタを所定のフィルタを適用するステップで得られた信号に適用し、ポストフィルタを適用するステップで得られた信号の統計的特性に適応させた第３フィルタを示す第３フィルタ情報を取得し、この第３フィルタ情報とポストフィルタ情報とを符号化する。【００６０】
復号方法または復号装置の対応する好ましい実施形態において、予測信号と誤差信号とが加算され、この加算結果に対し所定のフィルタが適用され、ポストフィルタ情報と第３フィルタ情報とが復号され、このポストフィルタ情報と第３フィルタ情報とにしたがってポストフィルタと第３フィルタとがそれぞれ設定され、ポストフィルタが所定のフィルタの出力信号に適用され、第３フィルタがポストフィルタの出力信号に適用される。ここで、再構築信号は、フィルタリング済み予測信号と、フィルタリング済み誤差信号と、第３フィルタの出力信号とを加算することによって求められる。【００６１】
符号化および復号方法または符号化および復号装置の好ましい実施形態において、本発明はループフィルタとして適用される。この目的で、フィルタリング済み予測信号とフィルタリング済み誤差信号を加算し、この加算結果を遅延させる。ここで、予測信号は、遅延結果から取得される。【００６２】
符号化および復号方法または符号化および復号装置の他の好ましい実施形態において、本発明は、小数精度の動き補償予測のための適応的補間フィルタリングに適用される。この目的で、予測信号を遅延させ、遅延予測信号に第１フィルタを適用し、誤差信号を遅延させ、遅延誤差信号に第２フィルタを適用し、フィルタリング済み遅延予測信号とフィルタリング済み遅延誤差信号とを加算してこの加算結果から予測信号を取得する。【００６３】
第１フィルタ情報は第１フィルタのフィルタ係数からなり、第２フィルタ情報は第２フィルタのフィルタ係数からなり、第３フィルタ情報は第３フィルタのフィルタ係数からなることが好ましい。 これにより、復号器の演算負荷を削減することができる。なぜなら、復号器はさらなる演算をおこなわずともこれらのフィルタを容易に設定することができるからである。【００６４】
第１フィルタ情報は予測信号の統計的特性を指定し、第２フィルタ情報は誤差信号の統計的特性を指定することが好ましい。 これにより、符号化器の演算負荷を削減することができる。なぜなら、復号器が、符号化器によって決定された統計的特性にしたがって、これらのフィルタを設定するからである。さらに、復号器は、ニーズに応じてフィルタを適応させる柔軟性に富む。【００６５】
この第１フィルタと第２フィルタとは、ウィナーフィルタであることが好ましい。 ウィナーフィルタは、入力信号の統計的特性と所望の出力信号の統計的特性とに基づいて容易に求められる最適な線形フィルタの例としてよく研究されている。
【発明の効果】
【００６６】
本発明によれば、予測信号と量子化予測誤差信号とは、フィルタプロセスにおいて個別に検討される。その結果、予測誤差および／または再構築誤差を削減でき、結果的に、符号化効率を改善することができる。
【図面の簡単な説明】
【００６７】
【図１】図１は、従来の動画像符号化装置を示すブロック図である。
【図２】図２は、従来の動画像復号装置を示すブロック図である。
【図３Ａ】図３Ａは、本発明の第１の実施形態に係る動画像符号化装置を示すブロック図である。
【図３Ｂ】図３Ｂは、図３Ａに示される動画像符号化装置の動作を示すフローチャートである。
【図４Ａ】図４Ａは、本発明の第１の実施形態に係る動画像復号装置を示すブロック図である。
【図４Ｂ】図４Ｂは、図４Ａに示される動画像復号装置の動作を示すフローチャートである。
【図５】図５は、本発明の第２の実施形態に係る動画像符号化装置を示すブロック図である。
【図６】図６は、本発明の第２の実施形態に係る動画像復号装置を示すブロック図である。
【図７】図７は、本発明の第３の実施形態に係る動画像符号化装置を示すブロック図である。
【図８】図８は、本発明の第３の実施形態に係る動画像復号装置を示すブロック図である。
【図９】図９は、本発明の第４の実施形態に係る動画像符号化装置を示すブロック図である。
【図１０】図１０は、本発明の第４の実施形態に係る動画像復号装置を示すブロック図である。
【図１１Ａ】図１１Ａは、ＭＰＥＧテストシーケンスのレート歪み曲線の一例を示す図である。
【図１１Ｂ】図１１Ｂは、ＭＰＥＧテストシーケンスのレート歪み曲線の他の例を示す図である。
【発明を実施するための形態】
【００６８】
Ｈ．２６４／ＡＶＣ規格は、特定のポストフィルタ方法（ポストフィルタのためのヒントとしてのＳＥＩメッセージ）にしたがった動画像復号装置へポストフィルタのためのヒントを送信する可能性と共に、２種類のフィルタ方法（補間フィルタおよびデブロッキングフィルタ）を指定する。以下に述べる本発明の実施形態は、本発明を適用することによって上記３つの方法のそれぞれを改善する方法を示す。
【００６９】
（第１の実施形態）
図３Ａは、本発明の第１の実施形態に係る動画像符号化装置１００を示すブロック図である。図３Ｂは、図３Ａの動画像符号化装置１００の動作を示すフローチャートである。図３Ａのブロック図は、図１に示される従来の動画像符号化装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【００７０】
図３Ａに示される動画像符号化装置１００は、減算器１１０と、変換・量子化部１２０と、逆量子化・逆変換部１３０と、ポストフィルタ設計部（フィルタ情報生成部）１３８´と、エントロピー符号化部１９０と、予測信号生成部２００とを備える。この動画像符号化装置１００は、動画像を構成する符号化対象信号を符号化して符号化信号を出力する。
【００７１】
減算器１１０は、符号化対象信号から予測信号を減算して予測誤差信号を生成する（Ｓ１１）。変換・量子化部１２０は、予測誤差を量子化して量子化係数を生成する（Ｓ１２）。逆量子化・逆変換部１３０は、量子化係数を逆量子化して量子化予測誤差信号を生成する（Ｓ１３）。ポストフィルタ設計部１３８´は、符号化対象信号及び予測信号に基づいて第１のフィルタ情報を、符号化対象信号及び量子化予測誤差信号に基づいて第２のフィルタ情報を生成する（Ｓ１４）。そして、第１及び第２のフィルタ情報を含むポストフィルタ情報を出力する。エントロピー符号化部１９０は、量子化係数、ポストフィルタ情報、及び後述する動きデータをエントロピー符号化して符号化信号を生成する（Ｓ１５）。予測信号生成部２００は、符号化対象信号（入力信号）より前に符号化された他の符号化対象信号に基づいて、当該符号化対象信号を予測した予測信号を生成する（Ｓ１６）。
【００７２】
なお、予測信号生成部２００は、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、画面内フレーム予測部１５０、動き補償予測部１６０、補間フィルタ１６２、動き予測部１７０、及び画面内／画面間スイッチ１８０で構成される。この予測信号生成部２００は、減算器１１０を出発点とするループを形成する。そこで、予測信号生成部２００に含まれるフィルタ（デブロッキングフィルタ１３７、補間フィルタ１６２等）は、ループフィルタとも呼ばれる。
【００７３】
図３Ｂの予測信号生成処理（Ｓ１６）の詳細を説明する。加算器１３５は、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する。デブロッキングフィルタ１３７は、再構築信号からブロック歪みを除去して復号信号を生成する。メモリ１４０は、復号信号を一時記憶する遅延器として機能する。画面内フレーム予測部１５０は、復号信号を画面内予測して予測信号を生成する。補間フィルタ１６２は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１７０は、復号信号と次の符号化対象信号とに基づいて動き予測を行い、動きデータを生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測信号を生成する。画面内／画面間スイッチ１８０は、予測モードとして「画面内」モード及び「画面間」モードのいずれかを選択する。そして、画面内／画面間スイッチ１８０から出力される予測信号は、次の符号化対象信号を予測した信号となる。
【００７４】
本発明の第１の実施形態に係る動画像符号化装置１００は、ポストフィルタ設計部１３８´の構成において、従来の動画像符号化装置と異なる。従来のポストフィルタ設計部１３８とは対照的に、この新規なポストフィルタ設計部１３８´は、符号化対象信号に加え、予測信号と量子化予測誤差信号とを受信する。このようにして、この新規なポストフィルタ設計部１３８´は、予測信号と量子化予測誤差信号とをフィルタリングするために最適なフィルタ情報を求める際に、予測信号および量子化予測誤差信号のそれぞれ異なる統計的特性を考慮に入れてもよい。
【００７５】
詳細には、新規なポストフィルタ設計部１３８´は、予測信号と量子化予測誤差信号とのそれぞれに対して最適なフィルタ情報を決定するために、量子化予測誤差信号と入力信号との相互相関関数と同様に、予測信号および量子化予測誤差信号それぞれの自己相関関数と、予測信号及び量子化予測誤差信号の相互相関関数とを演算してもよい。つまり、新規なポストフィルタ設計部１３８´は、符号化対象信号及び新規なポストフィルタ１３９´の出力間の差分、つまり平均２乗誤差を最小にするフィルタ情報を決定するために、ウィナー手法を適用してもよい。決定結果は、ポストフィルタ情報としてエントロピー符号化部１９０に供給され、符号化信号に挿入される。ポストフィルタ情報は、これら２つのフィルタそれぞれに対するフィルタ係数集合と、自己相関マトリクス係数および相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とからなる。なお、ここで、これらの信号と入力信号との相互相関関数が送信されさえすれば良いように、予測信号および量子化予測誤差信号の自己相関関数は、動画像復号装置１０１側で演算されてもよい。
【００７６】
具体例として、新規なポストフィルタ１３９´のフィルタ係数の演算方法を以下に詳細に示す。
【００７７】
新規なポストフィルタ１３９´の出力を、以下の式２で表してもよい。
【００７８】
【数２】
2010001614.tif 000004
【００７９】
ここで、ｗ1，・・・・，ｗMは、Ｍ予測サンプルp1，・・・・，ｐMに適用した第１のフィルタ１３９−１のＭフィルタ係数であり、ｗM+1，・・・・，ｗM+Nは、量子化予測信号のＮ予測サンプルｅ1，・・・・，ｅMに適用した第２のフィルタ１３９−２のＮフィルタ係数である。
【００８０】
所望の信号ｓとポストフィルタ信号ｓ´との間の平均２乗誤差を最小にするフィルタ係数を、ウィナーＨｏｐｆ方程式を応用して、以下の式３によって求めることができる。
【００８１】
【数３】
2010001614.tif 000005
【００８２】
ここで、Ｅ［・］は推定値を表す。よって、フィルタ係数ｗ1，・・・・ｗM+Nは、予測信号の自己相関と、量子化予測誤差信号の自己相関と、予測信号と量子化予測誤差信号との相互相関と、予測信号と所望の信号との相互相関と、量子化予測誤差信号と所望の信号との相互相関とによって求められる。予測信号の統計的特性と量子化予測誤差信号の統計的特性とが関連していない場合、上述の式３はブロック対角行列式であり、後述する第１及び第２のフィルタ１３９−１、１３９−２のフィルタ情報数は、予測信号（量子化予測誤差信号）の自己相関と、予測信号（量子化予測誤差信号）と所望の信号との相互相関のみによって求められる。
【００８３】
上記の式３に従えば、ｐ及びｅという２つの統計的な性質の異なる信号に応じてノイズを最小とするフィルタ係数を導出できる。特に、相関が無いと仮定してフィルタ導出の演算量を削減することも可能である（ｐとｅとを分離しない従来のフィルタよりも高性能であることに留意）。または、相関を反映させて、式３のままでフィルタ係数を導出することにより、最大のノイズ軽減性能を得ることもできる。
【００８４】
本発明は、上述のフィルタ係数演算方法に限られるものではない。フィルタリング済み信号及び所望の信号間の差分を示す所定の測定値を最小にするフィルタ係数を求めるために、数値的最適化を代わりにおこなってもよい。所定の測定値とは、例えば、重み付き画素の差分絶対値和からなるものであってもよい。ここでは、出力におけるブロッキングアーチファクトを削減するため、ブロック境界に近い位置にある画素の重みを、ブロックの中央に位置する画素よりも重くする。
【００８５】
好ましい実施形態において、新規なポストフィルタ設計部１３８´は、復号信号、つまりデブロッキングフィルタ１３７の出力を、入力（図３Ａの点線を参照）として受信してもよい。このようにして、新規なポストフィルタ設計部１３８´は、復号信号および入力信号それぞれの統計的特性にしたがって、後述する第３のフィルタ１３９−３用のフィルタ情報を求めてもよい。このフィルタ情報は、復号信号および量子化予測誤差信号用のフィルタ情報と共に動画像復号装置１０１へも伝達される。よって、動画像復号装置１０１は、後に図４Ａに関し詳細に説明されるように、復号信号に対し直接的に動作する第３フィルタ１３９−３を設定してもよい。
【００８６】
好ましい実施形態において、新規なポストフィルタ１３９´の出力を、式２に類似した以下の式４として表してもよい。
【００８７】
【数４】
2010001614.tif 000006
【００８８】
ここで、ｗM+N+1，・・・・，ｗM+N+Lは、復号信号のＬサンプルｄ1，・・・，ｄLに適用された第３フィルタ１３９−３のＬフィルタ係数である。
【００８９】
上記と同様に、所望の信号ｓとフィルタリング済み信号ｓ´間の平均２乗誤差を最小にするフィルタ係数を、以下の式５によって求めることができる。
【００９０】
【数５】
2010001614.tif 000007
【００９１】
ここで、Ｅ[ｘiｙi]はｘとｙとの相互相関項からなるサブマトリクスを表す。
【００９２】
図４Ａは、本発明の第１の実施形態に係る動画像復号装置１０１を示すブロック図である。図４Ｂは、図４Ａの動画像復号装置１０１の動作を示すフローチャートである。図４Ａのブロック図は、図２に示される従来の動画像復号装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【００９３】
図４Ａに示される動画像復号装置１０１は、エントロピー復号部１９１と、逆量子化・逆変換部１２１と、加算器１３５と、デブロッキングフィルタ１３７と、メモリ１４０と、画面内フレーム予測部１５０と、動き補償予測部１６０と、補間フィルタ１６２と、画面内／画面間スイッチ１８０と、ポストフィルタ１３９´とを備える。この動画像復号装置１０１は、図３Ａに示される動画像符号化装置１００で符号化された符号化信号を復号して復号信号を生成する。なお、図３Ａに示される動画像符号化装置１００と共通の機能ブロックには、同一の参照番号を付し、詳しい説明を省略する。
【００９４】
エントロピー復号部１９１は、動画像符号化装置１００から出力された符号化信号（入力信号）をエントロピー復号して、量子化係数、ポストフィルタ情報、及び動きデータを取得する（Ｓ２１）。逆量子化・逆変換部１２１は、量子化係数を逆量子化して量子化予測誤差信号を生成する（Ｓ２２）。ポストフィルタ１３９´は、ポストフィルタ情報に基づいて、予測信号及び量子化予測誤差信号それぞれにフィルタ処理を適用する（Ｓ２３）。具体的には、第１のフィルタ情報に基づいて予測信号をフィルタ処理してフィルタリング済み予測信号を生成する第１のフィルタ１３９−１と、第２のフィルタ情報に基づいて量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成する第２のフィルタ１３９−２と、フィルタリング済み予測信号とフィルタリング済み量子化予測誤差信号とを加算して復号信号を生成する加算器１３９−０とを備える。一方、予測信号生成部２００´は、復号信号に基づいて、次に復号される復号信号を予測した予測信号を生成する（Ｓ２４）。
【００９５】
予測信号生成部２００´は、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、画面内フレーム予測部１５０、動き補償予測部１６０、補間フィルタ１６２、及び画面内／画面間スイッチ１８０を備える。図３Ａに示される予測信号生成部２００との相違点は、動き予測部１７０を省略して、動きデータをエントロピー復号部１９１から取得する点である。
【００９６】
本発明の第１の実施形態に係る動画像復号装置１０１は、ポストフィルタ１３９の構成において、従来の動画像復号装置と異なる。新規な処理フィルタ１３９´は、以下に示す少なくとも２つの独立したフィルタからなる。１つ目は、画面内フレーム予測部１５０または動き補償予測部１６０からの出力である予測信号をフィルタリングする第１のフィルタ１３９−１であり、２つ目は、逆量子化・逆変換部１２１からの出力である量子化予測誤差信号をフィルタリングする第２のフィルタ１３９−２である。これらのフィルタの出力は、加算器１３９−０によって結合され、動画像復号装置１０１の最終出力信号として提供される。
【００９７】
従来のポストフィルタ１３９と同様に、新規なポストフィルタ１３９´は、エントロピー復号部１９１による入力信号から導かれたポストフィルタ情報を受信する。従来の動画像復号装置と対照的に、ポストフィルタ情報は、少なくとも２つのフィルタ、つまり、予測信号用の第１のフィルタ１３９−１と、量子化予測誤差信号用の第２のフィルタ１３９−２とを設定するために採用される。
【００９８】
図４Ａの点線で示されるように、新規なポストフィルタ１３９´は、デブロッキングフィルタ１３７によって出力された復号信号に対して動作する第３のフィルタ１３９−３を備えてもよい。第１及び第２のフィルタ１３９−１、１３９−２の場合と同様に、エントロピー復号部１９１によって与えられたフィルタ情報、つまり、復号信号と動画像符号化装置１００側で特定された入力信号との統計的特性にしたがって、第３のフィルタ１３９−３を設定してもよい。
【００９９】
図３Ａの動画像符号化装置１００に関して説明されたように、ポストフィルタ情報は、各フィルタのフィルタ係数集合と、関連する自己相関マトリクス係数と、相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。
【０１００】
本発明の第１の実施形態にしたがって、復号動画像情報のポストフィルタリングは、予測信号と、量子化予測誤差信号と、任意であるがデブロッキングフィルタの出力とに対して動作する、少なくとも２つの独立した最適化フィルタを用いておこなわれる。動画像復号装置１０１の最終的な出力信号を生成するために、第１及び第２のフィルタ１９３−１、１９３−２の出力は加算される。また、第３のフィルタ１９３−３をさらに設ける場合には、第１及び第２のフィルタ１９３−１、１９３−２の出力の加算結果と、第３のフィルタ１９３−３の出力とを平均化するようにしてもよい。このようにして、各フィルタを、動作する信号の統計的特性に適応させてもよい。これにより、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。
【０１０１】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る動画像符号化装置１００を示すブロック図である。図５のブロック図は、図３Ａに示される動画像符号化装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１０２】
本発明の第２の実施形態に係る動画像符号化装置１００は、ポストフィルタ１３９と追加的な第２のポストフィルタ設計部１３８´を備える点で、従来の動画像符号化装置と異なる。また、第１のポストフィルタ設計部１３８及びポストフィルタ１３９を備える点で、図３Ａに示される動画像符号化装置１００と異なる。さらに、第２のポストフィルタ設計部１３８´は、図３Ａに示されるポストフィルタ設計部１３８´の機能に加えて、ポストフィルタ１３９の出力信号の統計的特性に基づいて第３のフィルタ情報を生成する。
【０１０３】
従来の動画像符号化装置と同様に、図５の第１のポストフィルタ設計部１３８は、動画像復号装置１０１のデブロッキングフィルタ１３７によって出力された復号信号に適用される第１のポストフィルタ１３９に最適なフィルタ情報を決定する。ポストフィルタ１３９は、本実施の形態２にしたがった動画像符号化装置１００の一部でもある。このポストフィルタ１３９の出力は、予測信号と、量子化予測誤差信号と、入力信号とを入力として受信する追加的な第２のポストフィルタ設計部１３８´へ供給される。入力信号の統計的特性に基づき、追加的な第２のポストフィルタ設計部１３８´は、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９の出力信号とに対してそれぞれ動作する３つの独立したフィルタ用のフィルタ情報を特定する。よって、特定されたフィルタ情報は、エントロピー符号化部１９０に供給され、符号化信号に挿入される。
【０１０４】
より詳細には、追加的な第２のポストフィルタ設計部１３８´は、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号とのそれぞれに対して最適なフィルタ情報を決定するために、それらの信号と入力信号との相互相関関数と同様に、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号それぞれの自己相関関数を演算してもよい。決定結果は、追加的なポストフィルタ情報としてエントロピー符号化部１９０に供給され、符号化信号に挿入される。ポストフィルタ情報は、これら３つのフィルタそれぞれに対するフィルタ係数集合と、自己相関マトリクス係数と相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。なお、ここで、これらの信号と入力信号との相互相関関数が送信されさえすればよいように、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号それぞれの自己相関関数は、動画像復号装置１０１側で演算されてもよい。
【０１０５】
図６は、本発明の第２の実施形態に係る動画像復号装置１０１を示すブロック図である。図６のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１０６】
本発明の第２の実施形態に係る動画像復号装置１０１は、予測信号と、量子化予測誤差信号と、第１のポストフィルタ１３９からの出力信号とを入力として受信する追加的な第２のポストフィルタ１３９´を備える点で、従来の動画像復号装置と異なる。また、第１のポストフィルタ１３９を備える点で、図４Ａに示される動画像復号装置１０１と異なる。
【０１０７】
追加的な第２のポストフィルタ１３９´は、以下に示す３つの独立したフィルタからなる。１つ目は、画面内フレーム予測部１５０または動き補償予測部１６０からの出力である予測信号をフィルタリングする第１のフィルタ１３９−１であり、２つ目は、逆量子化・逆変換部１２１からの出力である量子化予測誤差信号をフィルタリングする第２のフィルタ１３９−２であり、３つ目は、第１のポストフィルタ１３９からの出力であるポストフィルタ信号をフィルタリングする第３のフィルタ１３９−３である。そして、第１及び第２のフィルタ１３９−１、１３９−２の出力の加算結果と、第３のフィルタ１３９−３の出力とが平均化され、復号装置１０１の最終出力信号として提供される。
【０１０８】
図５の動画像符号化装置１００に関して説明されたように、ポストフィルタ情報は、各フィルタのフィルタ係数集合と、関連する自己相関マトリクス係数と、相互相関ベクトルと、復号装置が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。
【０１０９】
本発明の第２の実施形態にしたがって、復号動画像情報のポストフィルタリングは、予測信号と、量子化予測誤差信号と、（従来の）ポストフィルタの出力とに対して動作する、個別または同時に最適化されたフィルタを用いておこなわれる。動画像復号装置１０１の最終的な出力信号を生成するために、これら別個のフィルタの出力は加算される。各フィルタを、動作する信号の統計的特性に適応させてもよい。このようにして、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。さらに、本実施形態の動画像符号化装置１００によって生成される符号化信号は、追加的なポストフィルタ情報を単に無視する可能性がある従来の動画像復号装置に適合する。しかしながら、追加的なポストフィルタリングを認識した動画像復号装置１０１は、画質をさらに改善するために、追加的なポストフィルタを設定するための情報を採用する場合もある。
【０１１０】
（第３の実施形態）
図７は、本発明の第３の実施形態に係る動画像符号化装置１００を示すブロック図である。図７のブロック図は、図３Ａに示される動画像符号化装置１００に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１１１】
本発明の第３の実施形態に係る動画像符号化装置１００は、加算器１３５とデブロッキングフィルタ１３７とに代えて新規なループフィルタ１３７´と対応する新規なループフィルタ設計部１３８´´とを備える点で、従来の動画像符号化装置及び図３Ａに示される動画像符号化装置１００と異なる。ただし、図３Ａに示されるポストフィルタ設計部１３８´と図７に示されるループフィルタ設計部１３８´´とは、生成したフィルタ情報がポストフィルタ１３９´で使用されるかループフィルタ１３７´で使用されるかが異なるものの、フィルタ情報の生成処理自体は共通する。
【０１１２】
新規なループフィルタ設計部１３８´´は、入力信号と、予測信号と、量子化予測誤差信号とを、入力として受信する。第１の実施形態の新規なポストフィルタ設計部１３８´と同様に、新規なループフィルタ設計部１３８´´は、入力信号の統計的特性を分析し、新規なループフィルタ情報を、新規なループフィルタ１３７´とエントロピー符号化部１９０とに入力する。
【０１１３】
新規なループフィルタ１３７´は、予測信号に対し動作する第１のフィルタ１３７−１と、量子化予測誤差信号に対し動作する第２のフィルタ１３７−２と、これらのフィルタ信号を加算するための加算器１３７−０とからなる。第１のフィルタ１３７−１と第２のフィルタ１３７−２とは、上記実施形態に関して説明されたように、新規なループフィルタ設計部１３８´´から受信した新規なループフィルタ情報にしたがって設定される。
【０１１４】
より詳細には、第１のフィルタ１３７−１と第２のフィルタ１３７−２とを、符号化対象信号と新規なループフィルタ１３７´の出力である再構築信号との間の、平均２乗誤差などの差分測定値が最小になるように最適化してもよい。
【０１１５】
新規なループフィルタ１３７´が、適切なループフィルタ（あるブロック内の全画素に対して両方のフィルタが動作するもの）として動作するか、デブロッキングフィルタ（特にブロック境界に近い位置にある画素に対して両方のフィルタが集中的に動作するもの）として動作するかは、第１及び第２のフィルタ１３７−１、１３７−２をどのように設定するかによって決まる。特に前者のケースでは、動画像符号化装置１００は、従来のデブロッキングフィルタ（図示しない）を追加的に備えてもよい。このデブロッキングフィルタは、新規なループフィルタ１３７´から入力を受信し、その出力を記憶部１４０とポストフィルタ設計部１３８とに出力するものである。
【０１１６】
図８は、本発明の第３の実施形態に係る動画像復号装置１０１を示すブロック図である。図８のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１１７】
本発明の第３の実施形態に係る動画像復号装置１０１は、加算器１３５および従来のデブロッキングフィルタ１３７に代わる新規なループフィルタ１３７´を備える点で、従来の動画像復号装置及び図４Ａに示される動画像復号装置１０１と異なる。
【０１１８】
新規なループフィルタ１３７´の構成は、図７に示される対応する動画像符号化装置１００の構成と同一である。より詳細には、新規なループフィルタ１３７´は、予測信号に対し動作する第１のフィルタ１３７−１と、量子化予測誤差信号に対し動作する第２のフィルタ１３７−２と、それらのフィルタリング済み信号を加算するための加算器１３７−０とからなる。第１のフィルタ１３７−１と第２のフィルタ１３７−２とは、上記実施形態に関し説明されたように、エントロピー復号部１９１から受信した新規なループフィルタ情報にしたがって設定される。第３の実施の形態の動画像符号化装置１００について既に説明したように、動画像復号装置１０１の新規なループフィルタ１３７´は、従来のデブロッキングフィルタ（図示しない）に後続させてもよい。
【０１１９】
本発明の第３の実施形態にしたがって、予測信号及び量子化予測誤差信号それぞれに対し動作する、同時または個別に最適化された２つのフィルタからなる適応的なループフィルタ１３７´が提供される。このようにして、ループフィルタ１３７´は、これらの信号のそれぞれ異なる統計的特性を考慮してもよい。これにより、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。さらに、再構築誤差の削減により、符号化効率が改善される。
【０１２０】
（第４の実施形態）
図９は、本発明の第４の実施形態に係る動画像符号化装置１００を示すブロック図である。図９のブロック図は、図３Ａに示される動画像符号化装置１００に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１２１】
第４の実施形態においては、本発明は、動き補償予測用の適応的補間フィルタリングに適用される。本実施形態に係る動画像符号化装置１００は、以下の点において従来の動画像符号化装置及び図３Ａに示される動画像符号化装置１００と異なる。すなわち、補間フィルタ１６２に代えて新規なループフィルタおよび設計部１６２´を備え、また、予測信号と量子化予測誤差信号とに対して別々にデブロッキングをおこなうために２つのデブロッキングフィルタ１３７、１３７´´を備えるだけでなく、予測信号と量子化予測誤差信号とを別々に格納するために２つの記憶部１４０、１４０´をも備える点で相違する。
【０１２２】
また、量子化予測誤差の動的範囲は、通常、予測信号の動的範囲よりも大きいため、量子化予測誤差を格納するためのメモリ１４０´は、予測信号を格納するためのメモリ１４０よりも高いビット深度を有してもよい。ビット深度を低くするには、量子化予測誤差信号の動的範囲を縮小することが有益である場合もある。量子化予測信号に対し追加的な量子化をおこなえば、それも可能である。
【０１２３】
図９の新規なループフィルタおよび設計部１６２´は、記憶部１４０が遅延させた予測信号に対し動作する第１のフィルタ１６２−１と、記憶部１４０´が遅延させた量子化誤差信号に対し動作する第２のフィルタ１６２−２と、これら２つのフィルタ信号を加算するための加算器１６２−０とからなる。上述のように、加算器１６２−０の出力と所望の信号間とで測定距離が最小となるように、第１および第２のフィルタ１６２−１、１６２−２は最適化される。動き補償予測の場合、所望の信号は、異なる時点における入力信号である。最適化プロセスの結果は、新たな補間フィルタ情報としてエントロピー符号化部１９０に供給され、出力信号として挿入される。
【０１２４】
図１０は、本発明の第４の実施形態に係る動画像復号装置１０１を示すブロック図である。図１０のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１２５】
本発明の第４の実施形態に係る動画像復号装置１０１は、以下の点において従来の動画像復号装置及び図４Ａに示される動画像復号装置１０１と異なる。すなわち、補間フィルタ１６２に代えて新規なループフィルタ１６２´´を備え、また、予測信号と量子化予測誤差信号とに対して別々にデブロッキングをおこなうために２つのデブロッキングフィルタ１３７、１３７´´を備えるだけでなく、予測信号と量子化予測誤差信号とを別々に格納するために２つの記憶部１４０、１４０´を備える点で相違する。
【０１２６】
図９に示す、対応する動画像符号化装置１００の構成と同様に、新規なループフィルタ１６２´´を備える動画像復号装置１０１は、予測信号に対して動作する第１のフィルタ１６２−１と、量子化予測誤差信号に対して動作する第２のフィルタ１６２−２と、これらのフィルタリング済み信号を加算するための加算器１６２−０とを備える。第１および第２のフィルタ１６２−１、１６２−２は、上記実施形態に関し説明されたように、エントロピー復号部１９１から受信した新規な補間フィルタ情報にしたがって設定される。
【０１２７】
本発明の第４の実施形態において、小数画素精度で動き補償予測をおこなうための適応的な補間フィルタが提供される。本発明のループフィルタ１６２´´は、（遅延された）予測信号と（遅延された）量子化予測信号に対してそれぞれ動作する、同時または個別に最適化された２つのフィルタからなる。このようにして、ループフィルタ１６２´´は、これらの信号のそれぞれ異なる統計的特性を考慮してもよい。これにより、（遅延された）復号信号のみに対し動作する従来の適応的な補間フィルタ１６２を用いる場合よりも効率的に、予測誤差を削減することができる。したがって、符号化効率を同様に改善することができる。
【０１２８】
図１１Ａ及び図１１Ｂは、本発明の効果を説明する、２種類のＭＰＥＧテストシーケンスのレート歪み曲線を示す。これらのレート歪み曲線は、Ｍ＝Ｎ＝Ｌ＝１の追加的ポストフィルタを備える第１の実施形態に基づくものである。図１１Ａ及び図１１Ｂそれぞれにおいて、２種類のＭＰＥＧテストシーケンスのビットレートに対する輝度成分であるＹ−ＰＳＮＲがグラフ上の点で表されている。本発明の方法は、５×５の係数を有する、非分離型の２次元ウィナーポストフィルタを用いるＨ．２６４／ＡＶＣと比較される。画面内符号化を、比較のために適用する。０．３ｄＢまでのＹ−ＰＳＮＲの増加を、本発明において観察することができる。
【０１２９】
本発明の上述の実施形態において、本発明の動画像フィルタは、予測信号と量子化予測誤差信号とに対しそれぞれ動作するフィルタからなる。しかしながら、予測信号と、誤差信号と、再構築信号（予測信号と誤差信号とが加算されたもの）との集合から選択された各信号ペアは、線形独立である。よって、再構築信号と量子化予測誤差信号との組み合わせ、及び再構築信号と予測信号との組み合わせのいずれかに対し、本発明を適用してもよい。
【０１３０】
また、本発明は、フィルタが固定的か適応的かによって限定されるものではない。本発明のフィルタ方法におけるフィルタはいずれも、固定的フィルタまたは適応的フィルタを含んでもよい。適応的フィルタの場合、例えば係数のようなフィルタ情報は、符号化され、補助情報として動画像復号装置へ送信される。Ｈ．２６４／ＡＶＣ符号化方法においては、例えば係数のようなフィルタ情報は、スライスヘッダか、ピクチャパラメタセットかシーケンスパラメタセットに挿入されて送信される。適応的ポストフィルタ方法を実施するために、ポストフィルタ情報を、付加拡張情報（ＳＥＩ）として動画像復号装置へ送信することもできる。
【０１３１】
なお、動画像と非動画像つまりオーディオデータの符号化方法を含む差分パルス符号変調に基づく従来の符号化方法のいずれに対しても、本発明を適用することができる。さらに、Ｈ．２６４／ＡＶＣの空間的スケーラブル動画像符号化方法に対し本発明を適用してもよい。Ｈ．２６４／ＡＶＣにおける当該方法においては、予測信号と量子化予測誤差信号とからなる、低空間解像度の再構築画像は、フィルタによってアップサンプルされ補間されて、高空間解像度の画像となる。空間的スケーラブル動画像符号化においては、例えば各信号の異なるフィルタ係数によって、予測信号と量子化予測誤差信号とを別々に検討することができる。また、高周波モデリングにおいて本発明を適用することもできる。その場合、本発明は、フィルタリングや、より高次の統計的特性を調整する目的で、予測信号及び量子化予測誤差信号それぞれの統計的特性を活用することを可能にする。
【０１３２】
さらに、本発明は、ウィナーフィルタに限られるものではない。ボルテラ級数展開に基づく非線形適応的フィルタなど他の適応的フィルタや、破損信号と所望の信号間の平均２乗誤差以外の測定値を最適化するフィルタなどに対し、本発明を適用してもよい。
【０１３３】
最後に、本発明の多様な実施形態を組み合わせてもよい。例えば、２つの個別に最適化されたフィルタを第１の実施形態にしたがったポストフィルタリングに採用しつつ、他の２つの個別に最適化されたフィルタを第３の実施形態にしたがったループフィルタとして採用してもよい。他の実施形態を同様に組み合わせることも可能である。
【０１３４】
要約すると、本発明は、差分パルス符号変調に基づく動画像符号化における最適フィルタに関する。本発明における手法は、予測信号と誤差信号の加算結果である再構築信号に対し動作する単一のフィルタではなく、予測信号と量子化予測誤差信号とに対しそれぞれ独立的に動作する２つのフィルタを提供することである。このように予測信号と誤差信号のそれぞれ異なる統計的特性を考慮することによって、予測誤差および／または再構築誤差を削減でき、結果的に、符号化効率を改善することができる。
【０１３５】
（その他変形例）
なお、本発明を上記各実施の形態１〜４に基づいて説明してきたが、本発明は、上記の各実施の形態１〜４に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１３６】
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１３７】
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１３８】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１３９】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１４０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１４１】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１４２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１４３】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１４４】
上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０１４５】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１４６】
本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）に有利に利用される。
【符号の説明】
【０１４７】
１００                                  動画像符号化装置
１０１                                  動画像復号装置
１１０                                  減算器
１２０                                  変換・量子化部
１２１，１３０                          逆量子化・逆変換部
１３５，１３５´，１３７−０，１３９−０，１６２−０  加算器
１３７，１３７´´                      デブロッキングフィルタ
１３７´，１６２´´                    ループフィルタ
１３７−１，１３７−２，１３９−１，１３９−２，１３９−３，１６２−１，１６２−２                          フィルタ
１３８，１３８´                        ポストフィルタ設計部
１３８´´                              ループフィルタ設計部
１３９，１３９´                        ポストフィルタ
１４０，１４０´                        メモリ
１５０                                  画面内フレーム予測部
１６０                                  動き補償予測部
１６２                                  補間フィルタ
１６２´                                ループフィルタおよび設計部
１７０                                  動き予測部
１８０                                  画面内／画面間スイッチ
１９０                                  エントロピー符号化部
１９１                                  エントロピー復号部
２００，２００´                        予測信号生成部
【図１】
2010001614.tif 000008
【図２】
2010001614.tif 000009
【図３Ａ】
2010001614.tif 000010
【図３Ｂ】
2010001614.tif 000011
【図４Ａ】
2010001614.tif 000012
【図４Ｂ】
2010001614.tif 000013
【図５】
2010001614.tif 000014
【図６】
2010001614.tif 000015
【図７】
2010001614.tif 000016
【図８】
2010001614.tif 000017
【図９】
2010001614.tif 000018
【図１０】
2010001614.tif 000019
【図１１Ａ】
2010001614.tif 000020
【図１１Ｂ】
2010001614.tif 000021
【手続補正書】
【提出日】平成22年2月1日(2010.2.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化用フィルタに関し、特に、差分パルス符号変調における予測信号と量子化予測誤差信号とから再構築された信号に適用されるフィルタに関する。
【背景技術】
【０００２】
動画像データを圧縮するために、複数の動画像符号化規格が開発されてきた。動画像符号化規格の例として、Ｈ．２６ｘと称されるＩＴＵ−Ｔ規格やＭＰＥＧ−ｘと称されるＩＳＯ／ＩＥＣ規格が挙げられる。最新の動画像符号化規格は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣと称される規格である。
【０００３】
それらの規格の全てが、以下に示す複数のメインステージからなるハイブリッド動画像符号化に基づくものである。
（ａ）独立した動画像フレームのそれぞれに対して、ブロックレベルでそのデータの圧縮をおこなうために、各動画像フレームを２次元の画素ブロックに分割するステージ
（ｂ）各ブロックに対して時空間予測方法を適用し、空間ドメインにおける予測誤差を周波数ドメインに変換することによって、時空間動画像情報を無相関化して係数を取得するステージ
（ｃ）得られた係数を量子化することによって、総データ量を削減するステージ
（ｄ）量子化係数と予測パラメータとを、エントロピー符号化アルゴリズムを用いて符号化することによって、残りのデータを圧縮するステージ
【０００４】
すなわち、最新の動画像符号化規格は、入力動画像シーケンスのブロックと符号化済みブロック（部分的に復号された画像）に基づく予測結果との差分のみを伝送する差分パルス符号変調（ＤＰＣＭ）手法を採用している。このような動画像符号化規格に用いられうる予測方法の１つは、動き補償予測である。この予測方法においては、オブジェクトおよび／またはカメラの動きによってもたらされる画像の変位を記述するために、動画像データの各ブロックに対し、少なくとも１つの動きベクトルを特定する。特定された動きベクトルに基づいて、あるブロックの画像内容を、符号化済みブロックの画像内容から少なくともある程度は予測可能である。予測画像内容と実際の入力画像内容との差分は、予測誤差と呼ばれ、実際の入力画像の内容の代わりに、動きベクトルと共に符号化される。このようにして、「自然な」動画像シーケンスのほとんどについて、その符号化情報量を大幅に削減することが可能になる。
【０００５】
図１は、Ｈ．２６４／ＡＶＣ規格にしたがった従来の動画像符号化装置を示す例示的なブロック図である。総体として動画像符号化装置は、動画像（入力信号）の符号化対象ブロックと、メモリ１４０に格納された符号化済みブロック（「部分的に復号された画像」）に基づいて取得された、当該符号化対象ブロックの予測信号との差分を求めるための減算器１１０を備える。したがって、メモリ１４０は、対象信号値とそれ以前の信号値から生成された予測信号の比較を可能にする遅延部として動作する。変換・量子化部１２０は、得られた予測誤差を空間ドメインから周波数ドメインに変換し、取得した係数を量子化する。エントロピー符号化部１９０は、量子化係数をエントロピー符号化する。
【０００６】
部分復号画像は、動画像符号化装置に組み込まれた復号部によって提供される。復号部は、符号化ステップを逆の順序で実行する。逆量子化・逆変換部１３０は、量子化係数を逆量子化し、逆量子化係数に逆変換を適用する。加算器１３５において、部分復号画像を生成するために、復号誤差が予測信号に加算される。
【０００７】
量子化によって、量子化ノイズが再構築動画像信号に重畳される。ブロック単位での符号化によって、重畳されたノイズはしばしばブロッキング特性を有し、目障りとなる場合がある。ブロッキング特性を削減するため、各再構築マクロブロックに対しデブロッキングフィルタ１３７が適用される。デブロッキングフィルタ１３７は、予測信号と量子化予測誤差信号とが加算されたものである再構築信号に適用される。デブロック信号は復号信号であり、一般的には表示される。Ｈ．２６４／ＡＶＣにおけるデブロッキングフィルタ１３７は、部分的に採用されうるものである。ブロッキングノイズの程度が高い場合、強いローパスフィルタが採用される。一方、ブロッキングノイズの程度が低い場合には、弱いローパスフィルタが採用される。ローパスフィルタの強度は、予測信号と量子化予測誤差信号とによって決まる。デブロッキングフィルタ１３７は、以下にあげる２つのメリットを有する。
【０００８】
１．ブロックのエッジが平滑化され、結果的に復号画像の主観的な画質が改善される。
【０００９】
２．フィルタリング済みマクロブロックが後続画像の動き補償予測に用いられるため、フィルタリングによって予測誤差が小さくなり、結果的に符号化効率が改善される。
【００１０】
画面内予測マクロブロックは、このような状況においては特殊なケースと言える。これらは、表示される前にフィルタリングされるが、画面内予測はフィルタリング前の再構築マクロブロックを用いて実施される。
【００１１】
４つの係数を用いる線形デブロッキングフィルタを、垂直方向のブロック境界に対するデブロッキングの例としてあげる。このフィルタは、入力サンプルｐ2、ｐ1、ｐ0、ｑ0、ｑ1およびｑ2に適用される。ここで、例えば、ｐ0およびｑ0は、当該ブロック境界において隣接する２つの画素であり、ｐ1およびｑ1は、ｐ0およびｑ0に隣接する画素である。フィルタ出力であるｐ0，ｎｅｗおよびｑ0，ｎｅｗに関し、ｐ0，ｎｅｗは、ｐ0，ｎｅｗ＝（ｐ2−（ｐ1＜＜１）＋（ｐ0＋ｑ0＋１）＞＞１）＞）１と定義され、ｑ0，ｎｅｗは、ｑ0，ｎｅｗ＝（ｑ2−（ｑ1＜＜１）＋（ｑ0＋ｐ0＋１）＞＞１）＞＞１と定義される。
【００１２】
動画像符号化装置に採用される予測タイプは、マクロブロックが「画面間」モードと「画面内」モードのうちのどちらで符号化されるかによって決まる。Ｈ．２６４／ＡＶＣ動画像符号化規格においては、「画面内」モードで、後続のマクロブロックを予測するために、同一画像内で符号化済みのマクロブロックに基づく予測方法を用いる。「画面間」モードでは、連続する複数フレームの同位置ブロック間で動き補償予測が採用される。
【００１３】
画面内符号化画像（Ｉタイプ画像）だけは、復号済み画像を参照せずとも復号可能である。Ｉタイプ画像は、符号化動画像シーケンスにエラー耐性を備えさせる。さらに、ランダムアクセスを可能にするための、つまり、符号化動画像シーケンス内のＩタイプ画像にアクセスするための、符号化データであるビットストリームへのエントリポイントとして、これらのＩタイプ画像が提供される。画面内フレーム予測部１５０が行う処理である画面内モードと、動き補償予測部１６０が行う処理である画面間モードとの切り替えは、画面内／画面間スイッチ１８０によって制御される。
【００１４】
「画面間」モードにおいては、動き補償予測を採用することによって、先行フレームの同位置ブロックからマクロブロックが予測される。この予測は、動き予測部１７０によってなされ、対象入力信号と部分復号画像とが受信される。動き予測によって、２次元の動きベクトルが求められ、対象ブロックと復号済みフレームの同位置ブロック間の変位を表す。予測された動きに基づき、動き補償予測部１６０は予測信号を提供する。
【００１５】
予測精度を最適化するために、動きベクトルを、１／２画素解像度や１／４画素解像度などの小数画素解像度で求めてもよい。小数画素解像度の動きベクトルは、復号済みフレーム内の利用可能な画素値がない位置、つまり小数画素位置を指してもよい。よって、動き補償をおこなうためには、画素値の空間的補間が必要である。これは、補間フィルタ１６２によって達成される。小数画素位置の画素値を得るために、Ｈ．２６４／ＡＶＣ規格にしたがって、固定フィルタ係数を有する６タップ・ウィナー補間フィルタと双線形フィルタとが適用される。
【００１６】
「画面内」符号化モードと「画面間」符号化モードの両方において、対象入力信号と予測信号間の差分が、変換・量子化部１２０によって変換され量子化されて、量子化係数が取得される。一般的には、２次元離散コサイン変換（ＤＣＴ）などの直交変換またはその整数版が採用される。
【００１７】
符号化データ量を削減するために、これらの係数は量子化される。量子化ステップは、精度とその精度で各量子化係数を符号化するために用いられるビット数とを指定する量子化テーブルによって制御される。通常、低周波成分は高周波数成分よりも画質にとって重要であるため、高周波数成分を符号化するために費やされるビット数よりも多いビット数が低周波成分を符号化するために費やされる。
【００１８】
量子化後、量子化係数の２次元配列は、エントロピー符号化器に受け渡されるために１次元の列に変換されなければならない。この変換は、所定の順序でこの配列を走査することによってなされる。このようにして取得された１次元の量子化係数シーケンスは、エントロピー符号化部１９０によって可変長符号（ＶＬＣ）を用いて圧縮符号化される。得られたビットストリームは、動き情報とともに多重化され、記憶媒体に格納されるか動画像復号装置側に送信される。
【００１９】
主観的な画質を改善するため、ポストフィルタと呼ばれるものを動画像復号装置側で適用してもよい。Ｈ．２６４／ＡＶＣ規格によれば、付加拡張情報（ＳＥＩ）メッセージを用いることによって、ポストフィルタ用のポストフィルタ情報を送信することができる。ポストフィルタ情報は、フィルタ係数そのものであってもよく、これらのフィルタ係数を求めるために用いることができる相互相関情報であってもよい。ポストフィルタ情報は、ポストフィルタ設計部１３８によって動画像符号化装置側で決定され、部分復号信号および原画入力信号と比較される。ポストフィルタ設計部１３８の出力は、符号化されて符号化信号へ挿入されるために、エントロピー符号化部１９０へも供給される。
【００２０】
動画像復号装置側で符号化画像を再構築するために、符号化プロセスが逆の順序で適用される。図２は、対応する動画像復号装置の構成を説明する概略ブロック図である。
【００２１】
図２の動画像復号装置においては、まず、エントロピー復号部１９１において、係数と動きデータとがエントロピー復号される。このステップは、復号係数列を逆変換のために必要な２次元配列データに変換するための逆走査も含む。量子化係数の復号ブロックはその後、逆量子化・逆変換部１２１へ提供され、復号動きデータは、動き補償予測部１６０へ送信される。動きベクトルの実際の値によっては、動き補償予測をおこなうために画素値の補間が必要になる場合がある。この補間は、補間フィルタ１６２によって達成される。
【００２２】
逆変換結果は、空間ドメインにおける量子化予測誤差であり、加算器１３５によって加算されるが、画面間モードでは動き補償予測部１６０から生じる予測信号へ加算され、画面内モードでは画面内フレーム予測部１５０から生じる予測信号へ加算される。再構築画像は、デブロッキングフィルタ１３７を通して受け渡されてもよく、得られた復号信号は、画面内フレーム予測部１５０および動き補償予測部１６０に適用されるためにメモリ１４０に格納される。
【００２３】
エントロピー復号部１９１は、符号化器によって特定されたポストフィルタの検索もおこなう。ポストフィルタ１３９は、画質をさらに改善する目的で、復号信号に適用されるポストフィルタを設定するためにこの情報を採用する。
【００２４】
上記従来のポストフィルタは、適応的フィルタ、すなわち、符号化対象動画像信号の特性に適応するフィルタの一例である。そのような適応的フィルタの実装形態の多くが、ウィナーフィルタ、つまり線形最適時間離散フィルタに基づくものである。ウィナーフィルタは、一般的に、付加ノイズを取り除くために適用される。動画像符号化においては、量子化エラーを、原動画像入力信号に重畳されたノイズであるとみなすことができる。
【００２５】
ウィナーフィルタ手法のメリットの１つは、破損した信号（復号動画信号）の自己相関と、破損した信号と所望の信号（原動画像入力信号）との相互相関とに基づいてフィルタ係数を求めることができるということである。さらに詳しくは、Ｒが破損信号のＭ×Ｍの自己相関マトリクスを表し、ｐが破損信号と所望の信号間のＭ×１の相互相関ベクトルを表すとき、ウィナーフィルタのフィルタ長はＭであり、最適なウィナーフィルタ係数ｗのＭ×１ベクトルは、以下の式１を用いて表される。
【００２６】
【数１】
2010001614.tif 000022
【００２７】
ここで、Ｒ-1は、自己相関マトリクスＲの逆数である。
【００２８】
例えば、引例欧州特許出願公開第１８４１２３０号明細書（特許文献１）から、適応的フィルタを予測ループ内で適用することが知られている。例えば、デブロッキングフィルタ１３７を適用する前か適用する代わりに再構築信号に対して直接適応的フィルタを適用したり、デブロッキングフィルタの出力に対して適応的フィルタを適用したり、予測信号に対して適応的フィルタを適用したりする。従来の動画像フィルタの目的は、平均２乗予測誤差および／または平均２乗再構築誤差を最小にするか、画像をデブロッキングするか、その両方により、主観的な画質を高めることである。
【先行技術文献】
【特許文献】
【００２９】
【特許文献１】欧州特許出願公開第１８４１２３０号明細書
【発明の概要】
【発明が解決しようとする課題】
【００３０】
しかしながら、このフィルタリング形式は、予測信号と量子化予測誤差信号とが同一の統計的特性を有する場合にのみ有効である。予測信号と量子化予測誤差信号とが、例えば異なる重畳ノイズのような異なる統計的特性を有する場合は、そのような異なる統計的特性には対応できないことから当該フィルタ設計は不利である。
【００３１】
予測信号と量子化予測誤差信号との統計的特性が異なる理由はいくつか考えられる。第１に、量子化ノイズは量子化ステップ中に予測誤差に対してのみ重畳されるが、ある時点における予測信号そのものに対しては重畳されない。予測信号は、異なる時点の量子化ノイズを含む場合があり、ゆえに異なる統計的特性を有する場合がある。第２に、動き補償予測におけるブロックのエッジは、予測誤差符号化におけるブロックのエッジとは異なる場合があり、量子化予測誤差信号と比較して予測信号においてはブロッキング特性が異なる。
【００３２】
本発明の目的は、符号化効率を改善する動画像符号化方法および対応する装置を提供することである。
【課題を解決するための手段】
【００３３】
本発明の一形態に係る動画像符号化方法は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む。
【００３４】
上記構成によれば、予測信号及び量子化予測誤差信号それぞれに重畳されるノイズを個別に除去することができる。その結果、符号化効率を改善することができる。
【００３５】
また、前記フィルタ情報生成ステップでは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理して得られるフィルタリング済み予測信号、及び前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理して得られるフィルタリング済み量子化予測誤差信号を加算して得られる再構築信号と、前記符号化対象信号との差分が最小化されるように、前記第１及び第２のフィルタ情報を生成してもよい。これにより、復号画像の主観的な画質を向上させることができる。
【００３６】
また、前記予測信号生成ステップは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、前記再構築信号に基づいて、前記符号化対象信号より後に符号化される他の符号化対象信号を予測した第２の予測信号を生成する予測信号生成ステップとを含んでもよい。上記構成のように、第１及び第２のフィルタ情報をループフィルタに適用してもよい。
【００３７】
一実施形態として、前記フィルタリングステップでは、前記再構築信号のブロック歪みを減少させるデブロック処理をする。他の実施形態として、前記フィルタリングステップでは、動き補償予測に先立って行われる補間フィルタリング処理をする。
【００３８】
また、前記フィルタ情報生成ステップでは、前記予測信号と前記量子化予測誤差信号とを加算して得られる再構築信号の統計的特性に基づいて第３のフィルタ情報を生成する。そして、前記エントロピー符号化ステップでは、前記量子化予測誤差信号と、前記第１、第２、及び第３のフィルタ情報とをエントロピー符号化して前記符号化信号を生成してもよい。上記構成のように、第１及び第２のフィルタ情報に加えて、従来のポストフィルタに利用される第３のフィルタ情報をも生成してもよい。
【００３９】
本発明の一形態に係る動画像復号方法は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む。
【００４０】
上記構成によれば、予測信号及び量子化予測誤差信号それぞれに重畳されるノイズを個別に除去することができるので、主観的な画質を向上させることができる。
【００４１】
また、前記予測信号生成ステップは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、前記再構築信号に基づいて、前記符号化信号より後に復号される他の復号信号を予測した第２の予測信号を生成する予測信号生成ステップとを含んでもよい。上記構成のように、第１及び第２のフィルタ情報は、ポストフィルタに限らず、ループフィルタに適用することもできる。
【００４２】
本発明の一形態に係る動画像符号化装置は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える。
【００４３】
本発明の一形態に係る動画像復号装置は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える。
【００４４】
本発明の一形態に係るプログラムは、コンピュータに、動画像を構成する符号化対象信号を符号化させる。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む。
【００４５】
本発明の一形態に係るプログラムは、コンピュータに、動画像を構成する符号化信号を復号して復号信号を生成させる。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む。
【００４６】
本発明の一形態に係る集積回路は、動画像を構成する符号化対象信号を符号化する。具体的には、前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える。
【００４７】
本発明の一形態に係る集積回路は、動画像を構成する符号化信号を復号して復号信号を生成する。具体的には、前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える。
【００４８】
なお、本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）として実現できるだけでなく、これらの機能を実現する集積回路として実現したり、そのような機能をコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
【００４９】
これらは、独立請求項に記載した特徴によって達成される。
【００５０】
好ましい実施の形態は、従属請求項の主題である。
【００５１】
本発明特有の手法は、再構築信号に対して動作する従来の適応的フィルタに代えて、予測信号と量子化予測誤差信号に対して動作し、入力信号それぞれの統計的特性に対し個別に適応させた２つのフィルタを用いるものである。
【００５２】
本発明の１態様として、動画像信号の符号化方法を提供する。当該方法は、差分パルス符号変調に基づくものであり、以下のステップからなる。すなわち、符号化対象動画像信号から予測信号と誤差信号とを求めるステップと、予測信号の統計的特性に適応させた第１フィルタを示す第１フィルタ情報を取得するステップと、誤差信号の統計的特性に適応させた第２フィルタを示す第２フィルタ情報を取得するステップと、第１フィルタ情報と第２フィルタ情報とを符号化するステップである。
【００５３】
本発明の他の態様として、動画像信号の復号方法を提供する。当該方法は、差分パルス符号変調に基づくものであり、以下のステップからなる。すなわち、予測信号と誤差信号とを取得するステップと、予測信号と誤差信号とから再構築信号を求めるステップと、第１フィルタ情報と第２フィルタ情報とを復号するステップと、第１フィルタ情報と第２フィルタ情報とにしたがって、第１フィルタと第２フィルタとをそれぞれ設定するステップと、第１フィルタと第２フィルタとを用いて、予測信号と誤差信号とをそれぞれフィルタリングするステップである。ここで、再構築信号は、フィルタリング済み予測信号とフィルタリング済み誤差信号とを加算することによって求められる。
【００５４】
本発明の他の態様として、動画像信号の符号化装置を提供する。当該装置は、符号化対象動画像信号から予測信号と誤差信号とを求める差分パルス符号変調部と、予測信号の統計的特性に適応させた第１フィルタを示す第１フィルタ情報を取得し、誤差信号の統計的特性に適応させた第２フィルタを示す第２フィルタ情報を取得するフィルタ設計部と、第１フィルタ情報と第２フィルタ情報とを符号化する符号化器からなる。
【００５５】
本発明の他の態様として、動画像信号の復号装置を提供する。当該装置は、差分パルス符号変調に基づくものであり、以下の構成要素からなる。すなわち、予測信号と誤差信号とを取得し、取得した予測信号と誤差信号とから再構築信号を求める再構築部と、第１フィルタ情報と第２フィルタ情報とを復号する復号器と、予測信号をフィルタリングするための第１フィルタ情報にしたがって設定された第１フィルタと、誤差信号をフィルタリングするための第２フィルタ情報にしたがって設定された第２フィルタである。ここで、再構築部は、フィルタリング済み予測信号とフィルタリング済み誤差信号とを加算することによって再構築信号を求める。
【００５６】
符号化方法および装置の好ましい実施形態において、第１フィルタ情報と第２フィルタ情報とは、（ａ）符号化対象動画像信号、及び（ｂ）第１フィルタによってフィルタリングされた予測信号と、第２フィルタによってフィルタリングされた誤差信号とが加算されたものである再構築信号、の差分を示す測定値を最小にすることによって取得される。
【００５７】
符号化方法および装置の他の好ましい実施形態において、第１フィルタ情報は、予測信号と符号化対象動画像信号それぞれの統計的特性を分析することによって取得され、第２フィルタ情報は、誤差信号と符号化対象動画像信号それぞれの統計的特性を分析することによって取得される。符号化方法または符号化装置の他の好ましい実施形態において、予測信号と、誤差信号と、復号信号とに対し動作する本発明のポストフィルタを用いるポストフィルタリングに本発明を適用する。この目的で、予測信号と誤差信号とが加算され、所定のフィルタが加算結果に適用され、所定のフィルタを適用するステップで得られた信号の統計的特性に適応させた第３のフィルタを示す第３フィルタ情報を取得し、この第３フィルタ情報も符号化する。所定のフィルタはデブロッキングフィルタであることが好ましい。
【００５８】
復号方法または復号装置の対応する好ましい実施形態において、予測信号と誤差信号とが加算され、この加算結果に対し所定のフィルタが適用され、第３フィルタ情報が復号され、この第３フィルタ情報にしたがって第３フィルタが設定され、その第３フィルタが所定のフィルタの出力信号に適用される。ここで、再構築信号は、フィルタリング済み予測信号と、フィルタリング済み誤差信号と、第３フィルタの出力信号とを加算することによって求められる。
【００５９】
符号化方法または符号化装置の他の好ましい実施形態において、予測信号と、誤差信号と、従来のポストフィルタの出力信号とに対し動作する本発明のポストフィルタを用いるポストフィルタリングに本発明を適用する。この目的で、予測信号と誤差信号とが加算され、この加算ステップの結果に対し所定のフィルタが適用され、所定のフィルタを適用するステップで得られた信号の統計的特性に基づいたポストフィルタ情報を取得し、このポストフィルタ情報にしたがってポストフィルタを設定し、このポストフィルタを所定のフィルタを適用するステップで得られた信号に適用し、ポストフィルタを適用するステップで得られた信号の統計的特性に適応させた第３フィルタを示す第３フィルタ情報を取得し、この第３フィルタ情報とポストフィルタ情報とを符号化する。
【００６０】
復号方法または復号装置の対応する好ましい実施形態において、予測信号と誤差信号とが加算され、この加算結果に対し所定のフィルタが適用され、ポストフィルタ情報と第３フィルタ情報とが復号され、このポストフィルタ情報と第３フィルタ情報とにしたがってポストフィルタと第３フィルタとがそれぞれ設定され、ポストフィルタが所定のフィルタの出力信号に適用され、第３フィルタがポストフィルタの出力信号に適用される。ここで、再構築信号は、フィルタリング済み予測信号と、フィルタリング済み誤差信号と、第３フィルタの出力信号とを加算することによって求められる。
【００６１】
符号化および復号方法または符号化および復号装置の好ましい実施形態において、本発明はループフィルタとして適用される。この目的で、フィルタリング済み予測信号とフィルタリング済み誤差信号を加算し、この加算結果を遅延させる。ここで、予測信号は、遅延結果から取得される。
【００６２】
符号化および復号方法または符号化および復号装置の他の好ましい実施形態において、本発明は、小数精度の動き補償予測のための適応的補間フィルタリングに適用される。この目的で、予測信号を遅延させ、遅延予測信号に第１フィルタを適用し、誤差信号を遅延させ、遅延誤差信号に第２フィルタを適用し、フィルタリング済み遅延予測信号とフィルタリング済み遅延誤差信号とを加算してこの加算結果から予測信号を取得する。
【００６３】
第１フィルタ情報は第１フィルタのフィルタ係数からなり、第２フィルタ情報は第２フィルタのフィルタ係数からなり、第３フィルタ情報は第３フィルタのフィルタ係数からなることが好ましい。 これにより、復号器の演算負荷を削減することができる。なぜなら、復号器はさらなる演算をおこなわずともこれらのフィルタを容易に設定することができるからである。
【００６４】
第１フィルタ情報は予測信号の統計的特性を指定し、第２フィルタ情報は誤差信号の統計的特性を指定することが好ましい。 これにより、符号化器の演算負荷を削減することができる。なぜなら、復号器が、符号化器によって決定された統計的特性にしたがって、これらのフィルタを設定するからである。さらに、復号器は、ニーズに応じてフィルタを適応させる柔軟性に富む。
【００６５】
この第１フィルタと第２フィルタとは、ウィナーフィルタであることが好ましい。 ウィナーフィルタは、入力信号の統計的特性と所望の出力信号の統計的特性とに基づいて容易に求められる最適な線形フィルタの例としてよく研究されている。
【発明の効果】
【００６６】
本発明によれば、予測信号と量子化予測誤差信号とは、フィルタプロセスにおいて個別に検討される。その結果、予測誤差および／または再構築誤差を削減でき、結果的に、符号化効率を改善することができる。
【図面の簡単な説明】
【００６７】
【図１】図１は、従来の動画像符号化装置を示すブロック図である。
【図２】図２は、従来の動画像復号装置を示すブロック図である。
【図３Ａ】図３Ａは、本発明の第１の実施形態に係る動画像符号化装置を示すブロック図である。
【図３Ｂ】図３Ｂは、図３Ａに示される動画像符号化装置の動作を示すフローチャートである。
【図４Ａ】図４Ａは、本発明の第１の実施形態に係る動画像復号装置を示すブロック図である。
【図４Ｂ】図４Ｂは、図４Ａに示される動画像復号装置の動作を示すフローチャートである。
【図５】図５は、本発明の第２の実施形態に係る動画像符号化装置を示すブロック図である。
【図６】図６は、本発明の第２の実施形態に係る動画像復号装置を示すブロック図である。
【図７】図７は、本発明の第３の実施形態に係る動画像符号化装置を示すブロック図である。
【図８】図８は、本発明の第３の実施形態に係る動画像復号装置を示すブロック図である。
【図９】図９は、本発明の第４の実施形態に係る動画像符号化装置を示すブロック図である。
【図１０】図１０は、本発明の第４の実施形態に係る動画像復号装置を示すブロック図である。
【図１１Ａ】図１１Ａは、ＭＰＥＧテストシーケンスのレート歪み曲線の一例を示す図である。
【図１１Ｂ】図１１Ｂは、ＭＰＥＧテストシーケンスのレート歪み曲線の他の例を示す図である。
【発明を実施するための形態】
【００６８】
Ｈ．２６４／ＡＶＣ規格は、特定のポストフィルタ方法（ポストフィルタのためのヒントとしてのＳＥＩメッセージ）にしたがった動画像復号装置へポストフィルタのためのヒントを送信する可能性と共に、２種類のフィルタ方法（補間フィルタおよびデブロッキングフィルタ）を指定する。以下に述べる本発明の実施形態は、本発明を適用することによって上記３つの方法のそれぞれを改善する方法を示す。
【００６９】
（第１の実施形態）
図３Ａは、本発明の第１の実施形態に係る動画像符号化装置１００を示すブロック図である。図３Ｂは、図３Ａの動画像符号化装置１００の動作を示すフローチャートである。図３Ａのブロック図は、図１に示される従来の動画像符号化装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【００７０】
図３Ａに示される動画像符号化装置１００は、減算器１１０と、変換・量子化部１２０と、逆量子化・逆変換部１３０と、ポストフィルタ設計部（フィルタ情報生成部）１３８´と、エントロピー符号化部１９０と、予測信号生成部２００とを備える。この動画像符号化装置１００は、動画像を構成する符号化対象信号を符号化して符号化信号を出力する。
【００７１】
減算器１１０は、符号化対象信号から予測信号を減算して予測誤差信号を生成する（Ｓ１１）。変換・量子化部１２０は、予測誤差を量子化して量子化係数を生成する（Ｓ１２）。逆量子化・逆変換部１３０は、量子化係数を逆量子化して量子化予測誤差信号を生成する（Ｓ１３）。ポストフィルタ設計部１３８´は、符号化対象信号及び予測信号に基づいて第１のフィルタ情報を、符号化対象信号及び量子化予測誤差信号に基づいて第２のフィルタ情報を生成する（Ｓ１４）。そして、第１及び第２のフィルタ情報を含むポストフィルタ情報を出力する。エントロピー符号化部１９０は、量子化係数、ポストフィルタ情報、及び後述する動きデータをエントロピー符号化して符号化信号を生成する（Ｓ１５）。予測信号生成部２００は、符号化対象信号（入力信号）より前に符号化された他の符号化対象信号に基づいて、当該符号化対象信号を予測した予測信号を生成する（Ｓ１６）。
【００７２】
なお、予測信号生成部２００は、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、画面内フレーム予測部１５０、動き補償予測部１６０、補間フィルタ１６２、動き予測部１７０、及び画面内／画面間スイッチ１８０で構成される。この予測信号生成部２００は、減算器１１０を出発点とするループを形成する。そこで、予測信号生成部２００に含まれるフィルタ（デブロッキングフィルタ１３７、補間フィルタ１６２等）は、ループフィルタとも呼ばれる。
【００７３】
図３Ｂの予測信号生成処理（Ｓ１６）の詳細を説明する。加算器１３５は、量子化予測誤差信号と予測信号とを加算して再構築信号を生成する。デブロッキングフィルタ１３７は、再構築信号からブロック歪みを除去して復号信号を生成する。メモリ１４０は、復号信号を一時記憶する遅延器として機能する。画面内フレーム予測部１５０は、復号信号を画面内予測して予測信号を生成する。補間フィルタ１６２は、動き補償予測に先立って復号信号の画素値を空間的に補間する。動き予測部１７０は、復号信号と次の符号化対象信号とに基づいて動き予測を行い、動きデータを生成する。動き補償予測部１６０は、復号信号と動きデータとに基づいて動き補償予測を行い、予測信号を生成する。画面内／画面間スイッチ１８０は、予測モードとして「画面内」モード及び「画面間」モードのいずれかを選択する。そして、画面内／画面間スイッチ１８０から出力される予測信号は、次の符号化対象信号を予測した信号となる。
【００７４】
本発明の第１の実施形態に係る動画像符号化装置１００は、ポストフィルタ設計部１３８´の構成において、従来の動画像符号化装置と異なる。従来のポストフィルタ設計部１３８とは対照的に、この新規なポストフィルタ設計部１３８´は、符号化対象信号に加え、予測信号と量子化予測誤差信号とを受信する。このようにして、この新規なポストフィルタ設計部１３８´は、予測信号と量子化予測誤差信号とをフィルタリングするために最適なフィルタ情報を求める際に、予測信号および量子化予測誤差信号のそれぞれ異なる統計的特性を考慮に入れてもよい。
【００７５】
詳細には、新規なポストフィルタ設計部１３８´は、予測信号と量子化予測誤差信号とのそれぞれに対して最適なフィルタ情報を決定するために、量子化予測誤差信号と入力信号との相互相関関数と同様に、予測信号および量子化予測誤差信号それぞれの自己相関関数と、予測信号及び量子化予測誤差信号の相互相関関数とを演算してもよい。つまり、新規なポストフィルタ設計部１３８´は、符号化対象信号及び新規なポストフィルタ１３９´の出力間の差分、つまり平均２乗誤差を最小にするフィルタ情報を決定するために、ウィナー手法を適用してもよい。決定結果は、ポストフィルタ情報としてエントロピー符号化部１９０に供給され、符号化信号に挿入される。ポストフィルタ情報は、これら２つのフィルタそれぞれに対するフィルタ係数集合と、自己相関マトリクス係数および相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とからなる。なお、ここで、これらの信号と入力信号との相互相関関数が送信されさえすれば良いように、予測信号および量子化予測誤差信号の自己相関関数は、動画像復号装置１０１側で演算されてもよい。
【００７６】
具体例として、新規なポストフィルタ１３９´のフィルタ係数の演算方法を以下に詳細に示す。
【００７７】
新規なポストフィルタ１３９´の出力を、以下の式２で表してもよい。
【００７８】
【数２】
2010001614.tif 000023
【００７９】
ここで、ｗ1，・・・・，ｗMは、Ｍ予測サンプルp1，・・・・，ｐMに適用した第１のフィルタ１３９−１のＭフィルタ係数であり、ｗM+1，・・・・，ｗM+Nは、量子化予測信号のＮ予測サンプルｅ1，・・・・，ｅMに適用した第２のフィルタ１３９−２のＮフィルタ係数である。
【００８０】
所望の信号ｓとポストフィルタ信号ｓ´との間の平均２乗誤差を最小にするフィルタ係数を、ウィナーＨｏｐｆ方程式を応用して、以下の式３によって求めることができる。
【００８１】
【数３】
2010001614.tif 000024
【００８２】
ここで、Ｅ［・］は推定値を表す。よって、フィルタ係数ｗ1，・・・・ｗM+Nは、予測信号の自己相関と、量子化予測誤差信号の自己相関と、予測信号と量子化予測誤差信号との相互相関と、予測信号と所望の信号との相互相関と、量子化予測誤差信号と所望の信号との相互相関とによって求められる。予測信号の統計的特性と量子化予測誤差信号の統計的特性とが関連していない場合、上述の式３はブロック対角行列式であり、後述する第１及び第２のフィルタ１３９−１、１３９−２のフィルタ情報数は、予測信号（量子化予測誤差信号）の自己相関と、予測信号（量子化予測誤差信号）と所望の信号との相互相関のみによって求められる。
【００８３】
上記の式３に従えば、ｐ及びｅという２つの統計的な性質の異なる信号に応じてノイズを最小とするフィルタ係数を導出できる。特に、相関が無いと仮定してフィルタ導出の演算量を削減することも可能である（ｐとｅとを分離しない従来のフィルタよりも高性能であることに留意）。または、相関を反映させて、式３のままでフィルタ係数を導出することにより、最大のノイズ軽減性能を得ることもできる。
【００８４】
本発明は、上述のフィルタ係数演算方法に限られるものではない。フィルタリング済み信号及び所望の信号間の差分を示す所定の測定値を最小にするフィルタ係数を求めるために、数値的最適化を代わりにおこなってもよい。所定の測定値とは、例えば、重み付き画素の差分絶対値和からなるものであってもよい。ここでは、出力におけるブロッキングアーチファクトを削減するため、ブロック境界に近い位置にある画素の重みを、ブロックの中央に位置する画素よりも重くする。
【００８５】
好ましい実施形態において、新規なポストフィルタ設計部１３８´は、復号信号、つまりデブロッキングフィルタ１３７の出力を、入力（図３Ａの点線を参照）として受信してもよい。このようにして、新規なポストフィルタ設計部１３８´は、復号信号および入力信号それぞれの統計的特性にしたがって、後述する第３のフィルタ１３９−３用のフィルタ情報を求めてもよい。このフィルタ情報は、復号信号および量子化予測誤差信号用のフィルタ情報と共に動画像復号装置１０１へも伝達される。よって、動画像復号装置１０１は、後に図４Ａに関し詳細に説明されるように、復号信号に対し直接的に動作する第３フィルタ１３９−３を設定してもよい。
【００８６】
好ましい実施形態において、新規なポストフィルタ１３９´の出力を、式２に類似した以下の式４として表してもよい。
【００８７】
【数４】
2010001614.tif 000025
【００８８】
ここで、ｗM+N+1，・・・・，ｗM+N+Lは、復号信号のＬサンプルｄ1，・・・，ｄLに適用された第３フィルタ１３９−３のＬフィルタ係数である。
【００８９】
上記と同様に、所望の信号ｓとフィルタリング済み信号ｓ´間の平均２乗誤差を最小にするフィルタ係数を、以下の式５によって求めることができる。
【００９０】
【数５】
2010001614.tif 000026
【００９１】
ここで、Ｅ[ｘiｙi]はｘとｙとの相互相関項からなるサブマトリクスを表す。
【００９２】
図４Ａは、本発明の第１の実施形態に係る動画像復号装置１０１を示すブロック図である。図４Ｂは、図４Ａの動画像復号装置１０１の動作を示すフローチャートである。図４Ａのブロック図は、図２に示される従来の動画像復号装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【００９３】
図４Ａに示される動画像復号装置１０１は、エントロピー復号部１９１と、逆量子化・逆変換部１２１と、加算器１３５と、デブロッキングフィルタ１３７と、メモリ１４０と、画面内フレーム予測部１５０と、動き補償予測部１６０と、補間フィルタ１６２と、画面内／画面間スイッチ１８０と、ポストフィルタ１３９´とを備える。この動画像復号装置１０１は、図３Ａに示される動画像符号化装置１００で符号化された符号化信号を復号して復号信号を生成する。なお、図３Ａに示される動画像符号化装置１００と共通の機能ブロックには、同一の参照番号を付し、詳しい説明を省略する。
【００９４】
エントロピー復号部１９１は、動画像符号化装置１００から出力された符号化信号（入力信号）をエントロピー復号して、量子化係数、ポストフィルタ情報、及び動きデータを取得する（Ｓ２１）。逆量子化・逆変換部１２１は、量子化係数を逆量子化して量子化予測誤差信号を生成する（Ｓ２２）。ポストフィルタ１３９´は、ポストフィルタ情報に基づいて、予測信号及び量子化予測誤差信号それぞれにフィルタ処理を適用する（Ｓ２３）。具体的には、第１のフィルタ情報に基づいて予測信号をフィルタ処理してフィルタリング済み予測信号を生成する第１のフィルタ１３９−１と、第２のフィルタ情報に基づいて量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成する第２のフィルタ１３９−２と、フィルタリング済み予測信号とフィルタリング済み量子化予測誤差信号とを加算して復号信号を生成する加算器１３９−０とを備える。一方、予測信号生成部２００´は、復号信号に基づいて、次に復号される復号信号を予測した予測信号を生成する（Ｓ２４）。
【００９５】
予測信号生成部２００´は、加算器１３５、デブロッキングフィルタ１３７、メモリ１４０、画面内フレーム予測部１５０、動き補償予測部１６０、補間フィルタ１６２、及び画面内／画面間スイッチ１８０を備える。図３Ａに示される予測信号生成部２００との相違点は、動き予測部１７０を省略して、動きデータをエントロピー復号部１９１から取得する点である。
【００９６】
本発明の第１の実施形態に係る動画像復号装置１０１は、ポストフィルタ１３９の構成において、従来の動画像復号装置と異なる。新規な処理フィルタ１３９´は、以下に示す少なくとも２つの独立したフィルタからなる。１つ目は、画面内フレーム予測部１５０または動き補償予測部１６０からの出力である予測信号をフィルタリングする第１のフィルタ１３９−１であり、２つ目は、逆量子化・逆変換部１２１からの出力である量子化予測誤差信号をフィルタリングする第２のフィルタ１３９−２である。これらのフィルタの出力は、加算器１３９−０によって結合され、動画像復号装置１０１の最終出力信号として提供される。
【００９７】
従来のポストフィルタ１３９と同様に、新規なポストフィルタ１３９´は、エントロピー復号部１９１による入力信号から導かれたポストフィルタ情報を受信する。従来の動画像復号装置と対照的に、ポストフィルタ情報は、少なくとも２つのフィルタ、つまり、予測信号用の第１のフィルタ１３９−１と、量子化予測誤差信号用の第２のフィルタ１３９−２とを設定するために採用される。
【００９８】
図４Ａの点線で示されるように、新規なポストフィルタ１３９´は、デブロッキングフィルタ１３７によって出力された復号信号に対して動作する第３のフィルタ１３９−３を備えてもよい。第１及び第２のフィルタ１３９−１、１３９−２の場合と同様に、エントロピー復号部１９１によって与えられたフィルタ情報、つまり、復号信号と動画像符号化装置１００側で特定された入力信号との統計的特性にしたがって、第３のフィルタ１３９−３を設定してもよい。
【００９９】
図３Ａの動画像符号化装置１００に関して説明されたように、ポストフィルタ情報は、各フィルタのフィルタ係数集合と、関連する自己相関マトリクス係数と、相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。
【０１００】
本発明の第１の実施形態にしたがって、復号動画像情報のポストフィルタリングは、予測信号と、量子化予測誤差信号と、任意であるがデブロッキングフィルタの出力とに対して動作する、少なくとも２つの独立した最適化フィルタを用いておこなわれる。動画像復号装置１０１の最終的な出力信号を生成するために、第１及び第２のフィルタ１９３−１、１９３−２の出力は加算される。また、第３のフィルタ１９３−３をさらに設ける場合には、第１及び第２のフィルタ１９３−１、１９３−２の出力の加算結果と、第３のフィルタ１９３−３の出力とを平均化するようにしてもよい。このようにして、各フィルタを、動作する信号の統計的特性に適応させてもよい。これにより、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。
【０１０１】
（第２の実施形態）
図５は、本発明の第２の実施形態に係る動画像符号化装置１００を示すブロック図である。図５のブロック図は、図３Ａに示される動画像符号化装置に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１０２】
本発明の第２の実施形態に係る動画像符号化装置１００は、ポストフィルタ１３９と追加的な第２のポストフィルタ設計部１３８´を備える点で、従来の動画像符号化装置と異なる。また、第１のポストフィルタ設計部１３８及びポストフィルタ１３９を備える点で、図３Ａに示される動画像符号化装置１００と異なる。さらに、第２のポストフィルタ設計部１３８´は、図３Ａに示されるポストフィルタ設計部１３８´の機能に加えて、ポストフィルタ１３９の出力信号の統計的特性に基づいて第３のフィルタ情報を生成する。
【０１０３】
従来の動画像符号化装置と同様に、図５の第１のポストフィルタ設計部１３８は、動画像復号装置１０１のデブロッキングフィルタ１３７によって出力された復号信号に適用される第１のポストフィルタ１３９に最適なフィルタ情報を決定する。ポストフィルタ１３９は、本実施の形態２にしたがった動画像符号化装置１００の一部でもある。このポストフィルタ１３９の出力は、予測信号と、量子化予測誤差信号と、入力信号とを入力として受信する追加的な第２のポストフィルタ設計部１３８´へ供給される。入力信号の統計的特性に基づき、追加的な第２のポストフィルタ設計部１３８´は、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９の出力信号とに対してそれぞれ動作する３つの独立したフィルタ用のフィルタ情報を特定する。よって、特定されたフィルタ情報は、エントロピー符号化部１９０に供給され、符号化信号に挿入される。
【０１０４】
より詳細には、追加的な第２のポストフィルタ設計部１３８´は、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号とのそれぞれに対して最適なフィルタ情報を決定するために、それらの信号と入力信号との相互相関関数と同様に、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号それぞれの自己相関関数を演算してもよい。決定結果は、追加的なポストフィルタ情報としてエントロピー符号化部１９０に供給され、符号化信号に挿入される。ポストフィルタ情報は、これら３つのフィルタそれぞれに対するフィルタ係数集合と、自己相関マトリクス係数と相互相関ベクトルと、動画像復号装置１０１が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。なお、ここで、これらの信号と入力信号との相互相関関数が送信されさえすればよいように、予測信号と、量子化予測誤差信号と、ポストフィルタ１３９からの出力信号それぞれの自己相関関数は、動画像復号装置１０１側で演算されてもよい。
【０１０５】
図６は、本発明の第２の実施形態に係る動画像復号装置１０１を示すブロック図である。図６のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１０６】
本発明の第２の実施形態に係る動画像復号装置１０１は、予測信号と、量子化予測誤差信号と、第１のポストフィルタ１３９からの出力信号とを入力として受信する追加的な第２のポストフィルタ１３９´を備える点で、従来の動画像復号装置と異なる。また、第１のポストフィルタ１３９を備える点で、図４Ａに示される動画像復号装置１０１と異なる。
【０１０７】
追加的な第２のポストフィルタ１３９´は、以下に示す３つの独立したフィルタからなる。１つ目は、画面内フレーム予測部１５０または動き補償予測部１６０からの出力である予測信号をフィルタリングする第１のフィルタ１３９−１であり、２つ目は、逆量子化・逆変換部１２１からの出力である量子化予測誤差信号をフィルタリングする第２のフィルタ１３９−２であり、３つ目は、第１のポストフィルタ１３９からの出力であるポストフィルタ信号をフィルタリングする第３のフィルタ１３９−３である。そして、第１及び第２のフィルタ１３９−１、１３９−２の出力の加算結果と、第３のフィルタ１３９−３の出力とが平均化され、復号装置１０１の最終出力信号として提供される。
【０１０８】
図５の動画像符号化装置１００に関して説明されたように、ポストフィルタ情報は、各フィルタのフィルタ係数集合と、関連する自己相関マトリクス係数と、相互相関ベクトルと、復号装置が適切なフィルタを設定できるようにするためのその他の情報とから構成されてもよい。
【０１０９】
本発明の第２の実施形態にしたがって、復号動画像情報のポストフィルタリングは、予測信号と、量子化予測誤差信号と、（従来の）ポストフィルタの出力とに対して動作する、個別または同時に最適化されたフィルタを用いておこなわれる。動画像復号装置１０１の最終的な出力信号を生成するために、これら別個のフィルタの出力は加算される。各フィルタを、動作する信号の統計的特性に適応させてもよい。このようにして、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。さらに、本実施形態の動画像符号化装置１００によって生成される符号化信号は、追加的なポストフィルタ情報を単に無視する可能性がある従来の動画像復号装置に適合する。しかしながら、追加的なポストフィルタリングを認識した動画像復号装置１０１は、画質をさらに改善するために、追加的なポストフィルタを設定するための情報を採用する場合もある。
【０１１０】
（第３の実施形態）
図７は、本発明の第３の実施形態に係る動画像符号化装置１００を示すブロック図である。図７のブロック図は、図３Ａに示される動画像符号化装置１００に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１１１】
本発明の第３の実施形態に係る動画像符号化装置１００は、加算器１３５とデブロッキングフィルタ１３７とに代えて新規なループフィルタ１３７´と対応する新規なループフィルタ設計部１３８´´とを備える点で、従来の動画像符号化装置及び図３Ａに示される動画像符号化装置１００と異なる。ただし、図３Ａに示されるポストフィルタ設計部１３８´と図７に示されるループフィルタ設計部１３８´´とは、生成したフィルタ情報がポストフィルタ１３９´で使用されるかループフィルタ１３７´で使用されるかが異なるものの、フィルタ情報の生成処理自体は共通する。
【０１１２】
新規なループフィルタ設計部１３８´´は、入力信号と、予測信号と、量子化予測誤差信号とを、入力として受信する。第１の実施形態の新規なポストフィルタ設計部１３８´と同様に、新規なループフィルタ設計部１３８´´は、入力信号の統計的特性を分析し、新規なループフィルタ情報を、新規なループフィルタ１３７´とエントロピー符号化部１９０とに入力する。
【０１１３】
新規なループフィルタ１３７´は、予測信号に対し動作する第１のフィルタ１３７−１と、量子化予測誤差信号に対し動作する第２のフィルタ１３７−２と、これらのフィルタ信号を加算するための加算器１３７−０とからなる。第１のフィルタ１３７−１と第２のフィルタ１３７−２とは、上記実施形態に関して説明されたように、新規なループフィルタ設計部１３８´´から受信した新規なループフィルタ情報にしたがって設定される。
【０１１４】
より詳細には、第１のフィルタ１３７−１と第２のフィルタ１３７−２とを、符号化対象信号と新規なループフィルタ１３７´の出力である再構築信号との間の、平均２乗誤差などの差分測定値が最小になるように最適化してもよい。
【０１１５】
新規なループフィルタ１３７´が、適切なループフィルタ（あるブロック内の全画素に対して両方のフィルタが動作するもの）として動作するか、デブロッキングフィルタ（特にブロック境界に近い位置にある画素に対して両方のフィルタが集中的に動作するもの）として動作するかは、第１及び第２のフィルタ１３７−１、１３７−２をどのように設定するかによって決まる。特に前者のケースでは、動画像符号化装置１００は、従来のデブロッキングフィルタ（図示しない）を追加的に備えてもよい。このデブロッキングフィルタは、新規なループフィルタ１３７´から入力を受信し、その出力を記憶部１４０とポストフィルタ設計部１３８とに出力するものである。
【０１１６】
図８は、本発明の第３の実施形態に係る動画像復号装置１０１を示すブロック図である。図８のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１１７】
本発明の第３の実施形態に係る動画像復号装置１０１は、加算器１３５および従来のデブロッキングフィルタ１３７に代わる新規なループフィルタ１３７´を備える点で、従来の動画像復号装置及び図４Ａに示される動画像復号装置１０１と異なる。
【０１１８】
新規なループフィルタ１３７´の構成は、図７に示される対応する動画像符号化装置１００の構成と同一である。より詳細には、新規なループフィルタ１３７´は、予測信号に対し動作する第１のフィルタ１３７−１と、量子化予測誤差信号に対し動作する第２のフィルタ１３７−２と、それらのフィルタリング済み信号を加算するための加算器１３７−０とからなる。第１のフィルタ１３７−１と第２のフィルタ１３７−２とは、上記実施形態に関し説明されたように、エントロピー復号部１９１から受信した新規なループフィルタ情報にしたがって設定される。第３の実施の形態の動画像符号化装置１００について既に説明したように、動画像復号装置１０１の新規なループフィルタ１３７´は、従来のデブロッキングフィルタ（図示しない）に後続させてもよい。
【０１１９】
本発明の第３の実施形態にしたがって、予測信号及び量子化予測誤差信号それぞれに対し動作する、同時または個別に最適化された２つのフィルタからなる適応的なループフィルタ１３７´が提供される。このようにして、ループフィルタ１３７´は、これらの信号のそれぞれ異なる統計的特性を考慮してもよい。これにより、再構築信号のみに対し動作する単一のフィルタを用いる場合よりも効率的に、再構築誤差を削減することができる。さらに、再構築誤差の削減により、符号化効率が改善される。
【０１２０】
（第４の実施形態）
図９は、本発明の第４の実施形態に係る動画像符号化装置１００を示すブロック図である。図９のブロック図は、図３Ａに示される動画像符号化装置１００に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１２１】
第４の実施形態においては、本発明は、動き補償予測用の適応的補間フィルタリングに適用される。本実施形態に係る動画像符号化装置１００は、以下の点において従来の動画像符号化装置及び図３Ａに示される動画像符号化装置１００と異なる。すなわち、補間フィルタ１６２に代えて新規なループフィルタおよび設計部１６２´を備え、また、予測信号と量子化予測誤差信号とに対して別々にデブロッキングをおこなうために２つのデブロッキングフィルタ１３７、１３７´´を備えるだけでなく、予測信号と量子化予測誤差信号とを別々に格納するために２つの記憶部１４０、１４０´をも備える点で相違する。
【０１２２】
また、量子化予測誤差の動的範囲は、通常、予測信号の動的範囲よりも大きいため、量子化予測誤差を格納するためのメモリ１４０´は、予測信号を格納するためのメモリ１４０よりも高いビット深度を有してもよい。ビット深度を低くするには、量子化予測誤差信号の動的範囲を縮小することが有益である場合もある。量子化予測信号に対し追加的な量子化をおこなえば、それも可能である。
【０１２３】
図９の新規なループフィルタおよび設計部１６２´は、記憶部１４０が遅延させた予測信号に対し動作する第１のフィルタ１６２−１と、記憶部１４０´が遅延させた量子化誤差信号に対し動作する第２のフィルタ１６２−２と、これら２つのフィルタ信号を加算するための加算器１６２−０とからなる。上述のように、加算器１６２−０の出力と所望の信号間とで測定距離が最小となるように、第１および第２のフィルタ１６２−１、１６２−２は最適化される。動き補償予測の場合、所望の信号は、異なる時点における入力信号である。最適化プロセスの結果は、新たな補間フィルタ情報としてエントロピー符号化部１９０に供給され、出力信号として挿入される。
【０１２４】
図１０は、本発明の第４の実施形態に係る動画像復号装置１０１を示すブロック図である。図１０のブロック図は、図４Ａに示される動画像復号装置１０１に類似しており、同様の要素には同様の参照符号が付されている。類似要素については、詳細な説明を省略する。
【０１２５】
本発明の第４の実施形態に係る動画像復号装置１０１は、以下の点において従来の動画像復号装置及び図４Ａに示される動画像復号装置１０１と異なる。すなわち、補間フィルタ１６２に代えて新規なループフィルタ１６２´´を備え、また、予測信号と量子化予測誤差信号とに対して別々にデブロッキングをおこなうために２つのデブロッキングフィルタ１３７、１３７´´を備えるだけでなく、予測信号と量子化予測誤差信号とを別々に格納するために２つの記憶部１４０、１４０´を備える点で相違する。
【０１２６】
図９に示す、対応する動画像符号化装置１００の構成と同様に、新規なループフィルタ１６２´´を備える動画像復号装置１０１は、予測信号に対して動作する第１のフィルタ１６２−１と、量子化予測誤差信号に対して動作する第２のフィルタ１６２−２と、これらのフィルタリング済み信号を加算するための加算器１６２−０とを備える。第１および第２のフィルタ１６２−１、１６２−２は、上記実施形態に関し説明されたように、エントロピー復号部１９１から受信した新規な補間フィルタ情報にしたがって設定される。
【０１２７】
本発明の第４の実施形態において、小数画素精度で動き補償予測をおこなうための適応的な補間フィルタが提供される。本発明のループフィルタ１６２´´は、（遅延された）予測信号と（遅延された）量子化予測信号に対してそれぞれ動作する、同時または個別に最適化された２つのフィルタからなる。このようにして、ループフィルタ１６２´´は、これらの信号のそれぞれ異なる統計的特性を考慮してもよい。これにより、（遅延された）復号信号のみに対し動作する従来の適応的な補間フィルタ１６２を用いる場合よりも効率的に、予測誤差を削減することができる。したがって、符号化効率を同様に改善することができる。
【０１２８】
図１１Ａ及び図１１Ｂは、本発明の効果を説明する、２種類のＭＰＥＧテストシーケンスのレート歪み曲線を示す。これらのレート歪み曲線は、Ｍ＝Ｎ＝Ｌ＝１の追加的ポストフィルタを備える第１の実施形態に基づくものである。図１１Ａ及び図１１Ｂそれぞれにおいて、２種類のＭＰＥＧテストシーケンスのビットレートに対する輝度成分であるＹ−ＰＳＮＲがグラフ上の点で表されている。本発明の方法は、５×５の係数を有する、非分離型の２次元ウィナーポストフィルタを用いるＨ．２６４／ＡＶＣと比較される。画面内符号化を、比較のために適用する。０．３ｄＢまでのＹ−ＰＳＮＲの増加を、本発明において観察することができる。
【０１２９】
本発明の上述の実施形態において、本発明の動画像フィルタは、予測信号と量子化予測誤差信号とに対しそれぞれ動作するフィルタからなる。しかしながら、予測信号と、誤差信号と、再構築信号（予測信号と誤差信号とが加算されたもの）との集合から選択された各信号ペアは、線形独立である。よって、再構築信号と量子化予測誤差信号との組み合わせ、及び再構築信号と予測信号との組み合わせのいずれかに対し、本発明を適用してもよい。
【０１３０】
また、本発明は、フィルタが固定的か適応的かによって限定されるものではない。本発明のフィルタ方法におけるフィルタはいずれも、固定的フィルタまたは適応的フィルタを含んでもよい。適応的フィルタの場合、例えば係数のようなフィルタ情報は、符号化され、補助情報として動画像復号装置へ送信される。Ｈ．２６４／ＡＶＣ符号化方法においては、例えば係数のようなフィルタ情報は、スライスヘッダか、ピクチャパラメタセットかシーケンスパラメタセットに挿入されて送信される。適応的ポストフィルタ方法を実施するために、ポストフィルタ情報を、付加拡張情報（ＳＥＩ）として動画像復号装置へ送信することもできる。
【０１３１】
なお、動画像と非動画像つまりオーディオデータの符号化方法を含む差分パルス符号変調に基づく従来の符号化方法のいずれに対しても、本発明を適用することができる。さらに、Ｈ．２６４／ＡＶＣの空間的スケーラブル動画像符号化方法に対し本発明を適用してもよい。Ｈ．２６４／ＡＶＣにおける当該方法においては、予測信号と量子化予測誤差信号とからなる、低空間解像度の再構築画像は、フィルタによってアップサンプルされ補間されて、高空間解像度の画像となる。空間的スケーラブル動画像符号化においては、例えば各信号の異なるフィルタ係数によって、予測信号と量子化予測誤差信号とを別々に検討することができる。また、高周波モデリングにおいて本発明を適用することもできる。その場合、本発明は、フィルタリングや、より高次の統計的特性を調整する目的で、予測信号及び量子化予測誤差信号それぞれの統計的特性を活用することを可能にする。
【０１３２】
さらに、本発明は、ウィナーフィルタに限られるものではない。ボルテラ級数展開に基づく非線形適応的フィルタなど他の適応的フィルタや、破損信号と所望の信号間の平均２乗誤差以外の測定値を最適化するフィルタなどに対し、本発明を適用してもよい。
【０１３３】
最後に、本発明の多様な実施形態を組み合わせてもよい。例えば、２つの個別に最適化されたフィルタを第１の実施形態にしたがったポストフィルタリングに採用しつつ、他の２つの個別に最適化されたフィルタを第３の実施形態にしたがったループフィルタとして採用してもよい。他の実施形態を同様に組み合わせることも可能である。
【０１３４】
要約すると、本発明は、差分パルス符号変調に基づく動画像符号化における最適フィルタに関する。本発明における手法は、予測信号と誤差信号の加算結果である再構築信号に対し動作する単一のフィルタではなく、予測信号と量子化予測誤差信号とに対しそれぞれ独立的に動作する２つのフィルタを提供することである。このように予測信号と誤差信号のそれぞれ異なる統計的特性を考慮することによって、予測誤差および／または再構築誤差を削減でき、結果的に、符号化効率を改善することができる。
【０１３５】
（その他変形例）
なお、本発明を上記各実施の形態１〜４に基づいて説明してきたが、本発明は、上記の各実施の形態１〜４に限定されないのはもちろんである。以下のような場合も本発明に含まれる。
【０１３６】
上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
【０１３７】
上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成要素部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【０１３８】
上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。
【０１３９】
本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０１４０】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
【０１４１】
また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
【０１４２】
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
【０１４３】
また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
【０１４４】
上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
【０１４５】
以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示した実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
【産業上の利用可能性】
【０１４６】
本発明は、動画像符号化方法（装置）及び動画像復号方法（装置）に有利に利用される。
【符号の説明】
【０１４７】
１００                                  動画像符号化装置
１０１                                  動画像復号装置
１１０                                  減算器
１２０                                  変換・量子化部
１２１，１３０                          逆量子化・逆変換部
１３５，１３５´，１３７−０，１３９−０，１６２−０  加算器
１３７，１３７´´                      デブロッキングフィルタ
１３７´，１６２´´                    ループフィルタ
１３７−１，１３７−２，１３９−１，１３９−２，１３９−３，１６２−１，１６２−２                          フィルタ
１３８，１３８´                        ポストフィルタ設計部
１３８´´                              ループフィルタ設計部
１３９，１３９´                        ポストフィルタ
１４０，１４０´                        メモリ
１５０                                  画面内フレーム予測部
１６０                                  動き補償予測部
１６２                                  補間フィルタ
１６２´                                ループフィルタおよび設計部
１７０                                  動き予測部
１８０                                  画面内／画面間スイッチ
１９０                                  エントロピー符号化部
１９１                                  エントロピー復号部
２００，２００´                        予測信号生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画像を構成する符号化対象信号を符号化する動画像符号化方法であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、
前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む
動画像符号化方法。
【請求項２】
前記フィルタ情報生成ステップでは、前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理して得られるフィルタリング済み予測信号、及び前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理して得られるフィルタリング済み量子化予測誤差信号を加算して得られる再構築信号と、前記符号化対象信号との差分が最小化されるように、前記第１及び第２のフィルタ情報を生成する
請求項１に記載の動画像符号化方法。
【請求項３】
前記予測信号生成ステップは、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、
前記再構築信号に基づいて、前記符号化対象信号より後に符号化される他の符号化対象信号を予測した第２の予測信号を生成する予測信号生成ステップとを含む
請求項１に記載の動画像符号化方法。
【請求項４】
前記フィルタリングステップでは、前記再構築信号のブロック歪みを減少させるデブロック処理をする
請求項３に記載の動画像符号化方法。
【請求項５】
前記フィルタリングステップでは、動き補償予測に先立って行われる補間フィルタリング処理をする
請求項３に記載の動画像符号化方法。
【請求項６】
前記フィルタ情報生成ステップでは、前記予測信号と前記量子化予測誤差信号とを加算して得られる再構築信号の統計的特性に基づいて第３のフィルタ情報を生成し、
前記エントロピー符号化ステップでは、前記量子化予測誤差信号と、前記第１、第２、及び第３のフィルタ情報とをエントロピー符号化して前記符号化信号を生成する
請求項１に記載の動画像符号化方法。
【請求項７】
動画像を構成する符号化信号を復号して復号信号を生成する動画像復号方法であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む
動画像復号方法。
【請求項８】
前記予測信号生成ステップは、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して再構築信号を生成するフィルタリングステップと、
前記再構築信号に基づいて、前記符号化信号より後に復号される他の復号信号を予測した第２の予測信号を生成する予測信号生成ステップとを含む
請求項７に記載の動画像復号方法。
【請求項９】
動画像を構成する符号化対象信号を符号化する動画像符号化装置であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、
前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える
動画像符号化装置。
【請求項１０】
動画像を構成する符号化信号を復号して復号信号を生成する動画像復号装置であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える
動画像復号装置。
【請求項１１】
コンピュータに、動画像を構成する符号化対象信号を符号化させるプログラムであって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成ステップと、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成ステップと、
前記量子化ステップにおいて生成される前記量子化係数と、前記フィルタ情報生成ステップにおいて生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化ステップとを含む
プログラム。
【請求項１２】
コンピュータに、動画像を構成する符号化信号を復号して復号信号を生成させるプログラムであって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号ステップと、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化ステップと、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成ステップと、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリングステップを含む
プログラム。
【請求項１３】
動画像を構成する符号化対象信号を符号化する集積回路であって、
前記符号化対象信号より前に符号化された他の符号化対象信号に基づいて、前記符号化対象信号を予測した予測信号を生成する予測信号生成部と、
前記符号化対象信号から前記予測信号を減算して得られる予測誤差を量子化して量子化係数を生成する量子化部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記予測信号及び前記量子化予測誤差信号のうち、前記予測信号のみの統計的特性に基づいて第１のフィルタ情報を生成すると共に、前記量子化予測誤差信号のみの統計的特性に基づいて第２のフィルタ情報を生成するフィルタ情報生成部と、
前記量子化部で生成される前記量子化係数と、前記フィルタ情報生成部で生成される前記第１及び第２のフィルタ情報とをエントロピー符号化して符号化信号を生成するエントロピー符号化部とを備える
集積回路。
【請求項１４】
動画像を構成する符号化信号を復号して復号信号を生成する集積回路であって、
前記符号化信号をエントロピー復号して量子化係数と、第１及び第２のフィルタ情報とを取得するエントロピー復号部と、
前記量子化係数を逆量子化して量子化予測誤差信号を生成する逆量子化部と、
前記符号化信号より前に復号された他の符号化信号に基づいて、前記復号信号を予測した予測信号を生成する予測信号生成部と、
前記第１のフィルタ情報に基づいて前記予測信号をフィルタ処理してフィルタリング済み予測信号を生成し、前記第２のフィルタ情報に基づいて前記量子化予測誤差信号をフィルタ処理してフィルタリング済み量子化予測誤差信号を生成し、前記フィルタリング済み予測信号及び前記フィルタリング済み量子化予測誤差信号を加算して前記復号信号を生成するフィルタリング部とを備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010001614.tif 000027
【図２】
2010001614.tif 000028
【図３Ａ】
2010001614.tif 000029
【図３Ｂ】
2010001614.tif 000030
【図４Ａ】
2010001614.tif 000031
【図４Ｂ】
2010001614.tif 000032
【図５】
2010001614.tif 000033
【図６】
2010001614.tif 000034
【図７】
2010001614.tif 000035
【図８】
2010001614.tif 000036
【図９】
2010001614.tif 000037
【図１０】
2010001614.tif 000038
【図１１Ａ】
2010001614.tif 000039
【図１１Ｂ】
2010001614.tif 000040
【国際調査報告】
2010001614.tif 000041
2010001614.tif 000042
2010001614.tif 000043
2010001614.tif 000044