(57)【特許請求の範囲】
【請求項１】
動画像を構成する複数の画像を入力する入力手段と、
前記入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、
前記符号化手段により生成された圧縮データを復号することで前記画像を再生画像として復元する復元手段と、
前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として記憶する記憶手段と、
を備える動画像予測符号化装置。
【請求項２】
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記パラメータが異なるか否かを判定し、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域を決定する、
請求項１に記載の動画像予測符号化装置。
【請求項３】
前記輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第１及び第２のパラメータを比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度を大きくする、
請求項２に記載の動画像予測符号化装置。
【請求項４】
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第１及び第２のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度とし、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度とし、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度とし、
前記第１のフィルタ強度の方が前記第２のフィルタ強度よりも大きく、前記第２のフィルタ強度の方が前記第３のフィルタ強度よりも大きい、
請求項３に記載の動画像予測符号化装置。
【請求項５】
前記第１、第２及び第３のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
請求項４に記載の動画像予測符号化装置。
【請求項６】
前記第１及び第２のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
請求項３〜５のいずれか一項に記載の動画像予測符号化装置。
【請求項７】
動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力手段と、
前記入力手段により入力された第１及び第２の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、
前記復元手段により復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として記憶する記憶手段と、
を備える動画像予測復号装置。
【請求項８】
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記パラメータが異なるか否かを判定し、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域を決定する、
請求項７に記載の動画像予測復号装置。
【請求項９】
前記輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第１及び第２のパラメータを比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度を大きくする、
請求項８に記載の動画像予測復号装置。
【請求項１０】
前記フィルタ処理手段が、互いに隣接する前記ブロック間で前記第１及び第２のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度とし、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度とし、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度とし、
前記第１のフィルタ強度の方が前記第２のフィルタ強度よりも大きく、前記第２のフィルタ強度の方が前記第３のフィルタ強度よりも大きい、
請求項９に記載の動画像予測復号装置。
【請求項１１】
前記第１、第２及び第３のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
請求項１０に記載の動画像予測復号装置。
【請求項１２】
前記第１及び第２のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
請求項９〜１１のいずれか一項に記載の動画像予測復号装置。
【請求項１３】
動画像予測符号化装置により実行される動画像予測符号化方法であって、
動画像を構成する複数の画像を入力する入力ステップと、
前記入力ステップにおいて入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化ステップと、
前記符号化ステップにおいて生成された圧縮データを復号することで前記画像を再生画像として復元する復元ステップと、
前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、
前記フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として前記動画像予測符号化装置の記憶手段に格納する格納ステップと、
を含むことを特徴とする動画像予測符号化方法。
【請求項１４】
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記パラメータが異なるか否かが判定され、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域が決定される、
請求項１３に記載の動画像予測符号化方法。
【請求項１５】
前記輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第１及び第２のパラメータが比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度が大きく設定される、
請求項１４に記載の動画像予測符号化方法。
【請求項１６】
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第１及び第２のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度が設定され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度が設定され、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度が設定され、
前記第１のフィルタ強度の方が前記第２のフィルタ強度よりも大きく、前記第２のフィルタ強度の方が前記第３のフィルタ強度よりも大きい、
請求項１５に記載の動画像予測符号化方法。
【請求項１７】
前記第１、第２及び第３のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
請求項１６に記載の動画像予測符号化方法。
【請求項１８】
前記第１及び第２のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
請求項１５〜１７のいずれか一項に記載の動画像予測符号化方法。
【請求項１９】
動画像予測復号装置により実行される動画像予測復号方法であって、
動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力ステップと、
前記入力ステップにおいて入力された第１及び第２の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元ステップと、
前記復元ステップにおいて復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、
前記フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として前記動画像予測復号装置の記憶手段に格納する格納ステップと、
を含むことを特徴とする動画像予測復号方法。
【請求項２０】
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記パラメータが異なるか否かが判定され、当該判定の結果に基づいて前記フィルタ強度及び前記フィルタ処理対象領域が決定される、
請求項１９に記載の動画像予測復号方法。
【請求項２１】
前記輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第１及び第２のパラメータが比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりも前記フィルタ強度が大きく設定される、
請求項２０に記載の動画像予測復号方法。
【請求項２２】
前記フィルタ処理ステップでは、互いに隣接する前記ブロック間で前記第１及び第２のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度が設定され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度が設定され、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度が設定され、
前記第１のフィルタ強度の方が前記第２のフィルタ強度よりも大きく、前記第２のフィルタ強度の方が前記第３のフィルタ強度よりも大きい、
請求項２１に記載の動画像予測復号方法。
【請求項２３】
前記第１、第２及び第３のフィルタ強度がいずれも、前記互いに隣接するブロックの少なくとも一方が前記画面内予測により符号化された場合に設定されるフィルタ強度よりも小さい、
請求項２２に記載の動画像予測復号方法。
【請求項２４】
前記第１及び第２のパラメータが、前記ブロックの予測信号の画素値を変更するための重み及びオフセットである、
請求項２１〜２３のいずれか一項に記載の動画像予測復号方法。
【請求項２５】
コンピュータを、
動画像を構成する複数の画像を入力する入力手段と、
前記入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、
前記符号化手段により生成された圧縮データを復号することで前記画像を再生画像として復元する復元手段と、
前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を符号化するために用いる参照画像として記憶する記憶手段と、
して機能させる動画像予測符号化プログラム。
【請求項２６】
コンピュータを、
動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力手段と、
前記入力手段により入力された第１及び第２の圧縮データを復号することで、前記画像を再生画像として復元すると共に、前記ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、
前記復元手段により復元された前記ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、前記復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、
前記フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の前記画像を復元するために用いる参照画像として記憶する記憶手段と、
して機能させる動画像予測復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムに関する。
【背景技術】
【０００２】
動画像データの伝送や蓄積を効率よく行うために圧縮符号化技術が用いられる。動画像の場合にはＭＰＥＧ１〜４やＨ．２６１〜Ｈ．２６４の方式が広く用いられている。これらの符号化方式では、符号化の対象となる画像を複数のブロックに分割した上で符号化および復号の処理が行なわれる。符号化効率を高めるために以下のような予測符号化方法が用いられる。
【０００３】
画面内予測の符号化では、符号化処理が行われる対象ブロックと同じ画面内にあり且つその対象ブロックに隣接する既再生の画像信号（過去に圧縮された画像データを復元した信号）を用いて予測信号を生成した上で、対象ブロックの信号からその予測信号を減算した差分信号を符号化する。画面間予測の符号化では、対象ブロックと異なる画面内にある既再生の画像信号を参照し、信号の変位（動き）を検索し、その変位分を補償して予測信号を生成し、対象ブロックの信号からその予測信号を減算した差分信号を符号化する。動きの検索および補償を行うために参照される既再生の画像を参照画像という。
【０００４】
双方向画面間予測では、対象画像の前に表示される過去の画像（表示時間順に並べた場合に対象画像よりも前に位置する画像）だけではなくて、対象画像の後に表示される未来の画像も併せて参照する場合がある。ここで、その未来画像は対象画像より先に符号化し、予め再生しておく必要がある。過去の画像および未来の画像から取得した予測信号を平均化することによって、隠れていて新たに現れる物体の信号を予測すると同時に、双方の予測信号に含まれている雑音を軽減する効果がある。
【０００５】
さらに、Ｈ．２６４の画面間予測符号化では、過去に符号化して再生された複数の参照画像を参照して動き検索することで、誤差の最も少ない画像信号を対象ブロックの最適な予測信号として選択する。そして、対象ブロックの画素信号と最適な予測信号との差分を求め、その差分値に対して離散コサイン変換（ＤＣＴ）を実行し量子化した上でエントロピー符号化する。このエントロピー符号化と同時に、対象ブロックに対する最適な予測信号をどの参照画像のどの領域から取得するかに関する情報（これらの情報はそれぞれ、参照インデックスおよび動きベクトルという）も合わせて符号化する。Ｈ．２６４では、再生画像は４ないし５枚の参照画像としてフレームメモリまたは再生画像バッファに格納される。
【０００６】
ここで、差分信号に対して量子化が行われるため、差分信号を復号した際に量子化歪が発生する。この量子化歪によって再生画像自体の品質が低下する。また画面間予測を用いる符号化方式においてはこの量子化歪が、当該再生画像を参照画像として利用する符号化対象画像の品質低下に繋がる。
【０００７】
画像をブロックに分割する符号化方式において、これらの量子化歪はブロックの境界部分で発生しやすい。このような歪はブロック歪と呼ばれる。そのためＨ．２６４では、処理を行うブロック境界の条件に応じてフィルタ強度を調整するデブロッキングフィルタが利用されている。このデブロッキングフィルタは、境界となる画素が所属するブロックタイプ（画面間予測または画面内予測）や予測信号の生成に利用された情報（動きベクトルおよび参照インデックス）に違いがあるか、およびその境界がマクロブロックの境界かどうかを判定してブロック境界の強度を決定し、その強度に応じてフィルタ対象となる画素の数およびフィルタの種類を決めることで定まる。
【０００８】
ブロック歪やリンギング歪などのような特定の量子化歪に対して有効なフィルタが多い中で、下記特許文献１にはより一般的に量子化歪を除去する非線形フィルタを利用する符号化方法が開示されている。当該特許文献１に記載のフィルタは、符号化方式に利用される情報である予測モードの違いや動きベクトルの大きさも用いて、再生画像から得られる期待値に基づき量子化歪を抑制するものである。
【０００９】
また、下記特許文献２には、フェードイン（暗い画像がだんだん明るくなる映像）やフェードアウト（明るい映像がだんだん暗くなって消えていく映像）などに代表される映像の明るさが時間的に変化する場合に、明るさに対する重みを利用して予測を行う輝度補償予測（Intensity Compensationとも呼ばれる）をブロック単位に利用する方式が提案されている。本方式によれば輝度補償予測に関する二種類のパラメータをブロック単位で設定し、次式（１）を用いて予測信号を生成する。ここで、ＰIC（ｉ，ｊ）はブロック位置（ｉ，ｊ）の輝度補償予測信号、Ｐ（ｉ，ｊ）は当該ブロック位置における通常の予測信号である。また、ｗｅｉｇｈｔ(i,j)，ｏｆｆｓｅｔ(i,j)はブロック（ｉ，ｊ）における予測信号の輝度を変更するために利用される重み及びオフセット（補正値）であり、これら二種類のパラメータはＩＣパラメータとも呼ばれる。
ＰIC（ｉ，ｊ）＝ｗｅｉｇｈｔ(i,j)×Ｐ（ｉ，ｊ）＋ｏｆｆｓｅｔ(i,j)  …（１）
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】米国特許出願公開第２００６／０１５３３０１号明細書
【特許文献２】国際公開第２００６／１２８０７２号パフレット
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ブロック毎に輝度補償予測が行われる符号化方式では、明度が変わることで歪が強調されてしまう場合がある。従来技術においては、各ブロックの輝度補償予測に用いられるパラメータの大きさを考慮せずに、ブロック歪除去のフィルタ強度や量子化歪除去に関するパラメータが設定されてフィルタ処理を行っている。そのため、過度にフィルタ処理が行われるために画質がぼやけるなどの画質低下を招いたり、フィルタ強度が不足することでブロック歪や量子化歪の除去が十分に行われず、やはり画質の低下を招いたりすることがある。
【００１２】
そこで本発明は、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現する動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明の動画像予測符号化装置は、動画像を構成する複数の画像を入力する入力手段と、入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、符号化手段により生成された圧縮データを復号することで画像を再生画像として復元する復元手段と、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として記憶する記憶手段と、を備える。
【００１４】
本発明の動画像予測符号化方法は、動画像予測符号化装置により実行される動画像予測符号化方法であって、動画像を構成する複数の画像を入力する入力ステップと、入力ステップにおいて入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化ステップと、符号化ステップにおいて生成された圧縮データを復号することで画像を再生画像として復元する復元ステップと、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として動画像予測符号化装置の記憶手段に格納する格納ステップと、を含むことを特徴とする。
【００１５】
本発明の動画像予測符号化プログラムは、コンピュータを、動画像を構成する複数の画像を入力する入力手段と、入力手段により入力された画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで圧縮データを生成すると共に、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化する符号化手段と、符号化手段により生成された圧縮データを復号することで画像を再生画像として復元する復元手段と、ブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を符号化するために用いる参照画像として記憶する記憶手段と、して機能させる。
【００１６】
このような動画像予測符号化装置、動画像予測符号化方法、及び動画像予測符号化プログラムによれば、ブロック間の輝度補償予測に関するパラメータに基づいてフィルタ強度及びフィルタ処理対象領域が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、後続の画像を符号化する際に用いられる参照画像として保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
【００１７】
本発明の動画像予測符号化装置では、フィルタ処理手段が、互いに隣接するブロック間でパラメータが異なるか否かを判定し、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域を決定してもよい。
【００１８】
本発明の動画像予測符号化方法において、フィルタ処理ステップでは、互いに隣接するブロック間でパラメータが異なるか否かが判定され、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域が決定されてもよい。
【００１９】
このような場合には、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度及びフィルタ処理対象領域が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
【００２０】
本発明の動画像予測符号化装置では、輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、フィルタ処理手段が、互いに隣接するブロック間で第１及び第２のパラメータを比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度を大きくしてもよい。
【００２１】
本発明の動画像予測符号化方法では、輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、フィルタ処理ステップでは、互いに隣接するブロック間で第１及び第２のパラメータが比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度が大きく設定されてもよい。
【００２２】
本発明の動画像予測符号化装置では、フィルタ処理手段が、互いに隣接するブロック間で第１及び第２のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度とし、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度とし、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度とし、第１のフィルタ強度の方が第２のフィルタ強度よりも大きく、第２のフィルタ強度の方が第３のフィルタ強度よりも大きくてもよい。
【００２３】
本発明の動画像予測符号化方法において、フィルタ処理ステップでは、互いに隣接するブロック間で第１及び第２のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度が設定され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度が設定され、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度が設定され、第１のフィルタ強度の方が第２のフィルタ強度よりも大きく、第２のフィルタ強度の方が第３のフィルタ強度よりも大きくてもよい。
【００２４】
本発明の動画像予測符号化装置では、第１、第２及び第３のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
【００２５】
本発明の動画像予測符号化方法では、第１、第２及び第３のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
【００２６】
本発明の動画像予測符号化装置では、第１及び第２のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
【００２７】
本発明の動画像予測符号化方法では、第１及び第２のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
【００２８】
これらの場合には、輝度補償予測に関する二種類のパラメータの相違の態様を考慮してフィルタ強度及びフィルタ処理対象領域が決定されるので、より適切なフィルタ処理を行うことができる。
【００２９】
本発明の動画像予測復号装置は、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力手段と、入力手段により入力された第１及び第２の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、復元手段により復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として記憶する記憶手段と、を備える。
【００３０】
本発明の動画像予測復号方法は、動画像予測復号装置により実行される動画像予測復号方法であって、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力ステップと、入力ステップにおいて入力された第１及び第２の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元ステップと、復元ステップにおいて復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元ステップにおいて復元された再生画像に対してフィルタ処理を実行するフィルタ処理ステップと、フィルタ処理ステップにおいてフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として動画像予測復号装置の記憶手段に格納する格納ステップと、を含むことを特徴とする。
【００３１】
本発明の動画像予測復号プログラムは、コンピュータを、動画像を構成する複数の画像を画面内予測及び画面間予測のうちの少なくとも一の方法で符号化することで生成された第１の圧縮データと、当該画像を分割して成るブロック間の輝度補償予測に関するパラメータを符号化することで生成された第２の圧縮データとを入力する入力手段と、入力手段により入力された第１及び第２の圧縮データを復号することで、画像を再生画像として復元すると共に、ブロック間の輝度補償予測に関するパラメータを復元する復元手段と、復元手段により復元されたブロック間の輝度補償予測に関するパラメータを少なくとも用いてフィルタ強度及びフィルタ処理対象領域を決定し、当該フィルタ強度及び当該フィルタ処理対象領域に従って、復元手段により復元された再生画像に対してフィルタ処理を実行するフィルタ処理手段と、フィルタ処理手段によりフィルタ処理が実行された再生画像を、後続の画像を復元するために用いる参照画像として記憶する記憶手段と、して機能させる。
【００３２】
このような動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラムによれば、ブロック間の輝度補償予測に関するパラメータに基づいてフィルタ強度及びフィルタ処理対象領域が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、後続の画像を復元する際に用いられる参照画像として保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
【００３３】
本発明の動画像予測復号装置では、フィルタ処理手段が、互いに隣接するブロック間でパラメータが異なるか否かを判定し、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域を決定してもよい。
【００３４】
本発明の動画像予測復号方法において、フィルタ処理ステップでは、互いに隣接するブロック間でパラメータが異なるか否かが判定され、当該判定の結果に基づいてフィルタ強度及びフィルタ処理対象領域が決定されてもよい。
【００３５】
このような場合には、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度及びフィルタ処理対象領域が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
【００３６】
本発明の動画像予測復号装置では、輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、フィルタ処理手段が、互いに隣接するブロック間で第１及び第２のパラメータを比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度を大きくしてもよい。
【００３７】
本発明の動画像予測復号方法では、輝度補償予測に関するパラメータが、少なくとも第１のパラメータ及び第２のパラメータを含み、フィルタ処理ステップでは、互いに隣接するブロック間で第１及び第２のパラメータが比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なる場合にはそうでない場合よりもフィルタ強度が大きく設定されてもよい。
【００３８】
本発明の動画像予測復号装置では、フィルタ処理手段が、互いに隣接するブロック間で第１及び第２のパラメータを比較すると共に当該ブロック間で動きベクトルの差を比較し、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度とし、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度とし、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度とし、第１のフィルタ強度の方が第２のフィルタ強度よりも大きく、第２のフィルタ強度の方が第３のフィルタ強度よりも大きくしてもよい。
【００３９】
本発明の動画像予測復号方法において、フィルタ処理ステップでは、互いに隣接するブロック間で第１及び第２のパラメータが比較されると共に当該ブロック間で動きベクトルの差が比較され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が所定値以上である場合には第１のフィルタ強度が設定され、当該第１及び第２のパラメータの双方が当該ブロック間で異なり、且つ当該動きベクトルの差が当該所定値未満である場合には第２のフィルタ強度が設定され、当該第１及び第２のパラメータの一方のみが当該ブロック間で異なる場合には第３のフィルタ強度が設定され、第１のフィルタ強度の方が第２のフィルタ強度よりも大きく、第２のフィルタ強度の方が第３のフィルタ強度よりも大きくてもよい。
【００４０】
本発明の動画像予測復号装置では、第１、第２及び第３のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
【００４１】
本発明の動画像予測復号方法では、第１、第２及び第３のフィルタ強度がいずれも、互いに隣接するブロックの少なくとも一方が画面内予測により符号化された場合に設定されるフィルタ強度よりも小さくてもよい。
【００４２】
本発明の動画像予測復号装置では、第１及び第２のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
【００４３】
本発明の動画像予測復号方法では、第１及び第２のパラメータが、ブロックの予測信号の画素値を変更するための重み及びオフセットであってもよい。
【００４４】
これらの場合には、輝度補償予測に関する二種類のパラメータの相違の態様を考慮してフィルタ強度及びフィルタ処理対象領域が決定されるので、より適切なフィルタ処理を行うことができる。
【発明の効果】
【００４５】
このような動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラムによれば、輝度補償予測に関するパラメータを考慮してフィルタ処理が行われるので、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
【図面の簡単な説明】
【００４６】
【図１】実施形態に係る動画像予測符号化装置を示すブロック図である。
【図２】図１に示すフィルタ処理器の機能構成を示すブロック図である。
【図３】図２における強度決定器の処理を説明するための図である。
【図４】図２おける強度決定器の処理を示すフローチャートである。
【図５】図２に示す歪除去処理器の機能構成を示すブロック図である。
【図６】図５に示す歪除去器の処理を説明するための図である。
【図７】図５に示す歪除去器の処理を説明するための図である。
【図８】図２に示すマスク処理器の処理（マスク関数）を説明するための図である。
【図９】図１に示すフィルタ処理器１１３の動作を示すフローチャートである。
【図１０】実施形態に係る動画像予測復号装置を示すブロック図である。
【図１１】実施形態に係る動画像予測符号化プログラムを示す図である。
【図１２】図１１に示すフィルタ処理モジュールの詳細を示す図である。
【図１３】実施形態に係る動画像予測復号プログラムを示すブロック図である。
【図１４】プログラムを実行するコンピュータのハードウェア構成を示す図である。
【図１５】プログラムの配布方法を示す図である。
【発明を実施するための形態】
【００４７】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
【００４８】
まず、図１〜８を用いて、実施形態に係る動画像予測符号化装置の機能および構成を説明する。図１は実施形態に係る動画像予測符号化装置１（以下では単に符号化装置１ともいう）の機能構成を示すブロック図である。図２はフィルタ処理器１１３の機能構成を示すブロック図である。図３は強度決定器３０１の処理を説明するための図である。図４は強度決定器３０１の処理を示すフローチャートである。図５は歪除去処理器３０２の機能構成を示すブロック図である。図６，７は歪除去器３０２ｂの処理を説明するための図である。図８はマスク処理器３０３の処理（マスク関数）を説明するための図である。
【００４９】
符号化装置１は、機能的構成要素として入力端子（入力手段）１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ（記憶手段）１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、及びフィルタ処理器（フィルタ処理手段）１１３を備えている。予測信号生成器１０３、減算器１０５、変換器１０６、量子化器１０７、及びエントロピー符号化器１１１は、符号化ステップを実行する符号化手段に対応する。逆量子化器１０８、逆変換器１０９及び加算器１１０は、復元ステップを実行する復元手段に対応する。
【００５０】
入力端子１０１は、動画像を構成する複数毎の画像の信号の入力を受け付けてブロック分割器１０２に出力する手段である。すなわち、入力端子１０１は入力ステップを実行する。
【００５１】
ブロック分割器１０２は、入力端子１０１から入力された画像を複数の領域（ブロック）に分割する手段である。ブロック分割器１０２は複数毎の画像のそれぞれに対してこの分割処理を実行する。この分割処理により生成される各ブロックに対して符号化処理が実行されることになる。以下では、ブロック分割器１０２で生成されるブロックを対象ブロックともいう。本実施形態ではブロック分割器１０２は各画像を８×８の画素からなるブロックに分割するが、これ以外の大きさ又は形のブロック（例えば４×４や１６×１６の画素からなるブロック）に分割してもよい。ブロック分割器１０２は対象ブロックの信号を予測信号生成器１０３及び減算器１０５に出力する。
【００５２】
予測信号生成器１０３は、対象ブロックに対する予測信号を生成する手段である。本実施形態では、予測信号生成器１０３は画面間予測と画面内予測という二種類の予測方法のうちの少なくとも一つを用いて予測信号を生成する。
【００５３】
まず画面間予測の場合について説明する。予測信号生成器１０３は、過去に符号化された後に復元された再生画像を参照画像として用い、この参照画像から、対象ブロックに対する誤差が最も小さい予測信号を与える動き情報を求める。この処理は動き検出とよばれる。ここで、この参照画像は、後述する歪除去完了画像である。このとき予測信号生成器１０３は場合に応じて、対象ブロックを再分割し、再分割後の各小領域に対して画面間予測方法を決定してもよい。例えば、予測信号生成器１０３は８×８の対象ブロックを４×４の小領域に再分割してもよい。この場合、予測信号生成器１０３は、各種の分割方法の中から対象ブロック全体に対して最も効率の良い分割方法を選択し、選択した方法を用いて各小領域の動き情報を決定する。
【００５４】
予測信号生成器１０３は、ブロック分割器１０２から入力された対象ブロックの信号と、フレームメモリから入力された参照画像とを用いて予測信号を生成する。ここで、参照画像は、過去に符号化され復元された複数の画像であり、その詳細は、従来技術であるＭＰＥＧ−２，４あるいはＨ．２６４のいずれかの方法と同じである。
【００５５】
予測信号生成器１０３は上記のように決定した動き情報及び小領域の分割方法をエントロピー符号化器１１１及びフィルタ処理器１１３に出力する。また、予測信号生成器１０３は、予測信号を複数の参照画像の中のどの参照画像から取得するかを示す情報（リファレンス・インデックス）もエントロピー符号化器１１１に出力する。本実施形態では、４ないし５枚の再生画像がフレームメモリ１０４に格納され、予測信号生成器１０３はそれらの再生画像を参照画像として用いる。
【００５６】
予測信号生成器１０３は、小領域の分割方法及びそれぞれの小領域に対応する、参照画像及び動き情報に基づいて、フレームメモリ１０４から参照画像の信号を取得し、輝度補償予測が行われた予測信号をブロック毎に生成する。予測信号生成器１０３はこのように生成した画面間予測の予測信号（画面間予測信号）を減算器１０５及び加算器１１０に出力する。予測信号生成器１０３における画面間予測信号の生成方法としては、従来技術であるＨ．２６４の方法に加え、対象ブロック毎に輝度補償予測を用いて予測信号を生成する方法がある。
【００５７】
次に画面内予測の場合について説明する。予測信号生成器１０３は、対象ブロックに空間的に隣接する既再生の画素値を用いて予測信号（画面内予測信号）を生成し、その予測信号を減算器１０５及び加算器１１０に出力する。
【００５８】
画面間予測及び画面内予測の双方を用いた場合には、予測信号生成器１０３は求めた画面間予測信号及び画面内予測信号から誤差の最も小さい信号を選択し、選択した予測信号を減算器１０５及び加算器１１０に出力する。
【００５９】
このような予測信号の出力に加えて、予測信号生成器１０３は、輝度補償予測に関するパラメータを含む、予測信号生成に必要な情報もエントロピー符号化器１１１及びフィルタ処理器１１３に出力する。
【００６０】
減算器１０５は、ブロック分割器１０２から入力された対象ブロックの信号から、予測信号生成器１０３から入力された予測信号を減算して残差信号を生成する手段である。変換器１０６は、その残差信号を離散コサイン変換することで変換係数を生成する手段である。量子化器１０７は、その変換係数を量子化してエントロピー符号化器１１１、逆量子化器１０８、及びフィルタ処理器１１３に出力する手段である。エントロピー符号化器１１１は、量子化された変換係数や、予測方法に関する情報を符号化し、圧縮データ（第１及び第２の圧縮データ）として出力端子１１２に出力する手段である。出力端子１１２は、エントロピー符号化器１１１から入力された圧縮データを動画像予測復号装置２に向けて出力（送信）する手段である。
【００６１】
後続の対象ブロックに対する画面内予測もしくは画面間予測を行うために、減算器１０５、変換器１０６及び量子化器１０７により圧縮された対象ブロックの信号は、逆量子化器１０８、逆変換器１０９及び加算器１１０により逆処理されることで復元される。逆量子化器１０８は、量子化された変換係数に対して逆量子化することで変換係数を復元する手段である。逆変換器１０９は復元された変換係数に対して逆離散コサイン変換を実行することで残差信号を復元する手段である。加算器１１０は、復元された残差信号と予測信号生成器１０３から入力された予測信号とを加算して対象ブロックの信号を復元（再生）する手段である。加算器１１０は復元した対象ブロックの信号をフィルタ処理器１１３に出力する。本実施形態では変換器１０６及び逆変換器１０９を用いているが、これらの変換器に代わる他の変換処理を用いてもよい。また、変換器１０６及び逆変換器１０９がなくてもよい。
【００６２】
フィルタ処理器１１３は、復元された対象ブロックの信号から成る再生画像に対してフィルタ処理を実行し、当該処理を施した再生画像をフレームメモリ１０４に格納する手段である。本実施形態において、フィルタ処理器１１３は非線形フィルタとして動作する。図２に示すように、このフィルタ処理器１１３は、強度決定器３０１、歪除去処理器３０２、及びマスク処理器３０３を備えている。
【００６３】
強度決定器３０１は、隣接する二つの対象ブロックの境界における歪除去に用いるフィルタ強度を定めるためのモードを決定する手段である。本実施形態において、フィルタ強度とは、後述する閾値Ｔの大きさのことである。このモードはブロック境界毎に定められるものであり、簡単に「歪除去モード」ということもできる。
【００６４】
以下では、図３に示すように左右もしくは上下に互いに隣接する二つの対象ブロックをブロックＡおよびブロックＢと定義する。強度決定器３０１は、ブロックＡ，Ｂの符号化方法（画面内予測による符号化、または画面間予測による符号化）や符号化状況（非零の変換係数の有無、動きベクトルの差の大きさ、ＩＣパラメータ（重み及びオフセット）の差の大きさ）に基づいて定義された下記のモードを予め記憶している。ここで、符号化方法や符号化状況に関する情報は予測信号生成器１０３又は量子化器１０７から強度決定器３０１に入力される。以下では、非零の変換係数を単に非零係数という。
【００６５】
ＩＮＴＲＡ＿ＱＵＡＮＴ（ブロックＡまたはＢが画面内予測で符号化されたブロックである場合）
ＰＲＥＤ＿ＳＩＧＩＮＦ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第１の所定値Ｃ以上の場合）
ＰＲＥＤ＿ＭＯＴ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第１の所定値Ｃ未満で、かつ両ブロックの水平方向もしくは垂直方向の動き情報の差が第２の所定値Ｄ以上の場合）
ＰＲＥＤ＿ＱＵＡＮＴ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロックの非零係数の数の合計が第１の所定値Ｃ未満で、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ未満の場合）
ＩＣ＿ＳＴＲＯＮＧ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータが共に両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上の場合）
ＩＣ＿ＩＮＴＥＲＭＥＤ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータが共に両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ未満の場合）
ＩＣ＿ＷＥＡＫ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータのうちの一つのみが両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上の場合）
ＭＯＴ＿ＤＩＳＣ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータが両ブロック間で同じであり、かつ水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上である場合）
ＳＫＩＰ（ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータが両ブロック間で同じであり、かつ水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ未満である場合、あるいは、ブロックＡ，Ｂの双方が画面間予測で符号化されており、両ブロック共に非零係数を含んでおらず、二種類のＩＣパラメータのうちの一つのみが両ブロック間で異なり、かつ両ブロックの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ未満の場合）
【００６６】
ここで、本実施形態では、第１の所定値Ｃが６４であり、第２の所定値Ｄが４である。
【００６７】
図４のフローチャートを用いて、強度決定器３０１におけるモード決定処理を詳細に説明する。まず、強度決定器３０１はブロックＡ，Ｂに対するモードをＳＫＩＰに初期設定する（ステップＳ０１）。続いて、強度決定器３０１はブロックＡおよびブロックＢのいずれかが画面内予測で生成されたブロック（イントラブロック）かどうかを判定する（ステップＳ０２）。ここでいずれかのブロックがイントラブロックであれば、強度決定器３０１はモードをＩＮＴＲＡ＿ＱＵＡＮＴに設定する（ステップＳ０３）。
【００６８】
一方、ブロックＡ，Ｂ共に画面間予測で生成されたブロック（インターブロック）であれば、強度決定器３０１は、ブロックＡまたはＢに非零係数が含まれているか否かの判定を行い（ステップＳ０４）、非零係数が存在する場合には非零係数の個数を判定する（ステップＳ０５）。ステップＳ０５において、ブロックＡおよびＢに含まれる非零係数の個数の合計が第１の所定値Ｃ以上であれば、強度決定器３０１はモードをＰＲＥＤ＿ＳＩＧＩＮＦに設定する（ステップＳ０６）。一方、当該合計が第１の所定値Ｃ未満の場合には、強度決定器３０１は更に、ブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上であるか否かを判定する（ステップＳ０７）。
【００６９】
ステップＳ０７において、水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上であれば、強度決定器３０１はモードをＰＲＥＤ＿ＭＯＴに設定し（ステップＳ０８）、そうでなければ、モードをＰＲＥＤ＿ＱＵＡＮＴに設定する（ステップＳ０９）。
【００７０】
以上に対し、ステップＳ０４において、ブロックＡ，Ｂ共に非零係数を含んでいなければ、強度決定器３０１はブロックＡ，Ｂの間でＩＣパラメータに差があるか否かを判定する（ステップＳ１０）。本実施形態では、ＩＣパラメータとして、上記式（１）で示される重み及びオフセットがあるものとする。
【００７１】
ステップＳ１０においてＩＣパラメータに差がある場合には、強度決定器３０１は更に、ブロックＡ，Ｂ間で重み及びオフセットの双方が異なるか否かを判定すると共に（ステップＳ１１）、ブロックＡおよびブロックＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上であるか否かを判定する（ステップＳ１２，Ｓ１５）。
【００７２】
ブロックＡ，Ｂ間で重み及びオフセットの双方が異なり、且つ動きベクトルの絶対値の差が第２の所定値Ｄ以上の場合には、強度決定器３０１はモードをＩＣ＿ＳＴＲＯＮＧに設定する（ステップＳ１３）。ブロックＡ，Ｂ間で重み及びオフセットの双方が異なり、且つ動きベクトルの絶対値の差が第２の所定値Ｄ未満の場合には、強度決定器３０１はモードをＩＣ＿ＩＮＴＥＲＭＥＤに設定する（ステップＳ１４）。
【００７３】
一方、ブロックＡ，Ｂ間で重み及びオフセットのうちの一つのみが異なり、且つブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上の場合には、強度決定器３０１はモードをＩＣ＿ＷＥＡＫに設定する（ステップＳ１６）。
【００７４】
以上に対し、ステップＳ１０において二種類のＩＣパラメータが同一であれば、強度決定器３０１はブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上か否かを判定する（ステップＳ１７）。このとき、その差が第２の所定値Ｄ以上であれば、強度決定器３０１はモードをＭＯＴ＿ＤＩＳＣに設定する（ステップＳ１８）。
【００７５】
なお、本実施形態では、ブロックＡ，Ｂ間で重み及びオフセットのうちの一つのみが異なり、且つブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差が第２の所定値Ｄ以上の場合には、強度決定器３０１はモードをＩＣ＿ＷＥＡＫに設定したが、ＩＣ＿ＷＥＡＫの設定方法はこれに限定されない。具体的には、強度決定器３０１は、ブロックＡ，Ｂ間で重み及びオフセットのうちの一つのみが異なる場合に、ブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差を検査することなくモードをＩＣ＿ＷＥＡＫに設定してもよい。
【００７６】
強度決定器３０１はこのように決定したモードの情報を歪除去処理器３０２及びマスク処理器３０３に出力する。
【００７７】
ここで、強度決定器３０１に関する変形例をいくつか示す。まず、本実施形態では第１の所定値Ｃを６４とし、第２の所定値Ｄを４としたが、値Ｃ，Ｄの決定方法はこれに限定されない。
【００７８】
第１の所定値Ｃに関していえば、例えば、前に予測した画像に含まれていた非零係数の個数の平均値や最頻値を用いてもよい。また、符号化装置１の外部から入力された任意の値を用いてもよい。外部からの値を用いる場合には、符号化装置１はその値を符号化して復号装置２に送信すればよい。
【００７９】
第２の所定値Ｄに関していえば、例えば、前に予測した画像における動きベクトルの平均値や最頻値を用いてもよい。また、動きベクトルを探索する精度（１／２画素精度、１／４画素精度、１／８画素精度、１／１６画素精度など）により第２の所定値Ｄを変更してもよい。また、符号化装置１の外部から入力された任意の値を用いてもよい。外部からの値を用いる場合には、符号化装置１はその値を符号化して復号装置２に送信すればよい。また、本実施形態では上記ステップＳ０７，Ｓ１２，Ｓ１５，Ｓ１７の処理において第２の所定値Ｄを同じとしたが、その値Ｄを各ステップの処理において変えてもよい。
【００８０】
本実施形態ではブロックＡおよびＢの水平方向もしくは垂直方向の動きベクトルの絶対値の差に基づき判定を行ったが、動きベクトルに基づく判定の方法はこれに限定されない。例えば、垂直方向および水平方向の双方の動きベクトルから算出される対象ブロックの動きベクトルの絶対値の差に基づいて判定してもよい。また、ブロックＡおよびＢのどちらか一方が双方向予測によって生成されている場合には、片方向予測により生成された他方のブロックに存在しない動きベクトルを０として判定処理を実行してもよい。
【００８１】
強度決定器３０１における処理手順は図４に示すものに限定されない。例えば、各判断処理の実行順を変えてもよい。
【００８２】
本実施形態では、強度決定器３０１は対象ブロックの境界に対してモードを決定したが、対象ブロックがさらに分割されて当該ブロック内に異なるサイズの小領域が生じた場合には、強度決定器３０１はその小領域の境界に対してモードを決めてもよい。また、その際のモードは上記のモードに限るものではなく、新たなモードを用意してもよい。
【００８３】
図２に戻って、歪除去処理器３０２は再生画像内の歪を除去する手段である。図５に示すように、この歪除去処理器３０２は線形変換器３０２ａ、歪除去器３０２ｂ、逆線形変換器３０２ｃ、及び歪除去画像生成器３０２ｄを備えている。
【００８４】
線形変換器３０２ａは、加算器１１０から入力された再生画像ｙに対して線形変換（直交変換）を実行する手段である。ここで、再生画像ｙの大きさをＮ×Ｌとする。ただし、Ｎ、Ｌは任意の正数であり、Ｎ＝Ｌであってもよい。線形変換処理を実行するために、線形変換器３０２ａはｎ×ｎ行列のある特定の直交変換Ｈｊ（ｊは対象ブロック数）を予め内部に記憶している。線形変換器３０２ａは再生画像ｙに対して、基点となる左上端の画素位置を１画素ずつずらしながら再生画像ｙに対する直交変換をＭ回実行することで、Ｍ個の直交変換係数ｄ1:M＝Ｈｊｙを取得する。ここで、Ｍは再生画像ｙを構成する画素の個数である。ここで、線形変換器３０２ａは直交変換Ｈｊとしてｎ×ｎのＤＣＴ（ｎは２以上の整数）を利用する。線形変換器３０２ａは直交変換係数ｄ1:Mを歪除去器３０２ｂに出力する。本実施形態では、値ｎが対象ブロックの一辺のサイズと同じであるとする。
【００８５】
以下に、線形変換器３０２ａに関する変形例をいくつか示す。まず、本実施形態では対象ブロックと同じ大きさの直交変換行列を用いたが、当該ブロックよりも大きい又は小さいサイズの直交変換行列を用いてもよい。また、本実施形態では直交変換としてｎ×ｎのＤＣＴを示したが変換の種類はこれに限定されず、例えばアダマール変換や整数変換などを用いてもよい。また、二次元ではなく一次元の変換行列を用いて直交変換を行ってもよい。また、ｍ×ｎの行列（ｍ，ｎは１以上の整数、ｍ≠ｎ）を用いて直交変換を行ってもよい。
【００８６】
本実施形態では直交変換を利用しているが、線形変換の種類はこれに限定されず、非直交変換や、ブロック境界を定めることなく変換を行う非ブロック変換を用いてもよい。
【００８７】
本実施形態では直交変換処理を複数回繰り返したが、その処理を一回だけ行うように線形変換器３０２ａを構成してもよい。
【００８８】
歪除去器３０２ｂは、画像信号の直交変換係数ｄ1:Mをそのまま保持するか又は所定値に置換するかを決定することで予測変換係数を生成し、その予測変換係数を逆直交変換することで画像信号内の量子化歪を除去する手段である。本実施形態では、置換する場合の所定値を０とする。
【００８９】
歪除去器３０２ｂは、強度決定器３０１から入力されたブロック境界毎のモード情報に基づいて、歪除去に用いる閾値（フィルタ強度）を決定する手段である。本実施形態では、歪除去器３０２ｂは量子化ステップサイズに基づいてマスター閾値Ｔmasterを設定し、入力されたモードと歪除去の対象となる画素信号（輝度又は色差）とに応じて最終的な閾値Ｔを決定する。その際に歪除去器３０２ｂは、マスター閾値Ｔmasterにあらかじめ設定された比率テーブルの値を乗算することで閾値Ｔを決定する。歪除去器３０２ｂは比率テーブルの内容を予め記憶している。本実施形態では下記の比率テーブルを利用する。
【表１】
0005393573.tif 000002
例えば、ＰＲＥＤ＿ＳＩＧＩＮＦが選択された場合には、輝度信号に対する閾値はＴ＝０．３２×Ｔmasterとなり、色差信号に対する閾値はＴ＝０．１６×Ｔmasterとなる。
【００９０】
上記比率テーブルで規定される比率は、映像の品質が客観的もしくは主観的に良くなるように、実験を通して設定されていることが望ましい。また、ＳＫＩＰモードに対する比率は輝度及び色差の双方に対して０であることが望ましい。また、ＳＫＩＰ以外のモードにおいては、輝度に対する比率と色差に対する比率とは互いに異なることが望ましい。
【００９１】
ＩＣパラメータに基づく三つのモードＩＣ＿ＳＴＲＯＮＧ，ＩＣ＿ＩＮＴＥＲＭＥＤ，ＩＣ＿ＷＥＡＫに対する比率の具体値は上記比率テーブルで示されるものに限らないが、これらのモードについての比率の大小関係はＩＣ＿ＳＴＲＯＮＧ＞ＩＣ＿ＩＮＴＥＲＭＥＤ＞ＩＣ＿ＷＥＡＫであることが望ましい。すなわち、ＩＣ＿ＳＴＲＯＮＧに対応する閾値（第１のフィルタ強度）がＩＣ＿ＩＮＴＥＲＭＥＤに対応する閾値（第２のフィルタ強度）よりも大きく、ＩＣ＿ＩＮＴＥＲＭＥＤに対応する閾値がＩＣ＿ＷＥＡＫに対応する閾値（第３のフィルタ強度）よりも大きいことが望ましい。
【００９２】
また、ＩＣ＿ＳＴＲＯＮＧ，ＩＣ＿ＩＮＴＥＲＭＥＤ，ＩＣ＿ＷＥＡＫの比率は少なくともＩＮＴＲＡ＿ＱＵＡＮＴよりも小さい方が望ましい。すなわち、ＩＣ＿ＳＴＲＯＮＧ，ＩＣ＿ＩＮＴＥＲＭＥＤ，ＩＣ＿ＷＥＡＫに対応する各閾値はいずれも、互いに隣接する対象ブロックの少なくとも一方が画面内予測により符号化された場合に設定される閾値よりも小さい方が好ましい。
【００９３】
歪除去器３０２ｂは、直交変換行列で示されるブロック（直交変換係数ブロック）と対象ブロックとの間の大きさの大小関係や、直交変換係数ブロックが複数の対象ブロックをまたぐか否かによって歪除去モードを選択する。ここで、直交変換係数ブロックは、一の歪除去処理を適用する範囲、すなわち歪除去の処理単位であるといえる。歪除去モードを選択する処理について図６，７を用いながら説明する。
【００９４】
まず、図６を用いて、直交変換係数ブロックの大きさが対象ブロックの大きさ以下である場合の処理を説明する。図６（ａ）に示すように、直交変換係数ブロックＬｙが複数の対象ブロックＬａ，Ｌｂをまたぐ場合には、歪除去器３０２ｂは垂直方向のブロック境界Ｂａ、及び水平方向の境界Ｂｂ，Ｂｃのそれぞれについて選択された歪除去モードのうち、歪除去の程度が最も弱いモード（対応する閾値が小さい方のモード）、すなわち上記比率テーブルにおける比率が最も低いモードが選択されることが望ましい。ここで、境界Ｂｂは対象ブロックＬｂに接する境界であり、境界Ｂｃは対象ブロックＬａに接する境界である。
【００９５】
一方、図６（ｂ）に示すように直交変換係数ブロックＬｙが対象ブロックＬｂと全く同じ位置となって直交変換係数ブロックＬｙがまたぐブロック境界が存在しない場合には、歪除去器３０２ｂは対象ブロックＬｂの左辺Ｂａ及び上辺Ｂｂの二つの境界に対応する歪除去モードのうち対応する閾値が大きい方のモード、すなわち上記比率テーブルにおける比率が高い方のモードを選択する。もっとも、図６（ｂ）のような場合のモードの選択方法はこれに限定されない。例えば、歪除去器３０２ｂは図６（ｂ）における境界Ｂａ，Ｂｂに対応する歪除去モードのうち、対応する閾値が小さい方のモードを選択してもよい。また、歪除去器３０２ｂは対象ブロックの右辺や下辺に対応する歪除去モードから一のモードを選択してもよい。
【００９６】
次に、図７を用いて、直交変換係数ブロックが対象ブロックよりも大きい場合（例えば対象ブロックの大きさがＢ×Ｂであるのに対して、直交変換係数ブロックの大きさが２Ｂ×２Ｂである場合）の処理を説明する。この場合には、歪除去器３０２ｂは直交変換係数ブロックＬｚ内に存在する複数の境界（図７の例では、水平方向の境界Ｈａ〜Ｈｆ及び垂直方向の境界Ｖａ〜Ｖｆ）に対応するモードのうち最も低い閾値が設定されるモードを選択する。もっとも、図７のような場合のモードの選択方法はこれに限定されない。例えば、歪除去器３０２ｂは複数のモードのうち過去に最も多く選択されたモードや平均的な閾値を有するモードを選択してもよい。
【００９７】
このように選択したモードに応じて上記のように決定した閾値Ｔを用いて、歪除去器３０２ｂは直交変換係数ｄ1:Mのそれぞれについて当該係数が閾値Ｔよりも大きいか否かを判定する。そして歪除去器３０２ｂは、ｉ番目の直交変換係数ｄ1:M（ｉ）が閾値Ｔよりも小さければ当該係数ｄ1:M（ｉ）を所定値０に設定し、そうでなければ当該係数ｄ1:M（ｉ）をそのまま維持する。歪除去器３０２ｂはこのような処理をすべての直交変換係数ｄ1:Mに対して行うことで歪除去後のＭ個の直交変換係数ｃ1:Mを取得し、当該係数ｃ1:Mを逆線形変換器３０２ｃに出力する。
【００９８】
以下に、歪除去器３０２ｂに関する変形例をいくつか示す。本実施形態では、歪除去器３０２ｂはマスター閾値Ｔmasterに比率テーブル内の値を乗算して最終的な閾値Ｔを決定したが、歪除去器３０２ｂ初めから量子化ステップサイズに応じた閾値Ｔを用意しておいてもよい。
【００９９】
本実施形態では、マスター閾値Ｔmasterを量子化ステップサイズに基づき決定しているが、マスター閾値の決定方法はこれに限定されない。例えば、他の符号化パラメータや、直交変換および歪処理の際に得られる情報なども用いてマスター閾値Ｔmasterを決定してもよい。また、符号化装置１の外部から入力されたマスター閾値Ｔmasterを用いてもよい。外部からの値を用いる場合には、符号化装置１はその値を符号化して復号装置２に送信し、復号装置２はそのマスター閾値Ｔmasterを再生して利用することになる。
【０１００】
本実施形態では一定条件下で直交変換係数ｄ1:Mを所定値０に置換したが、置換処理の方法はこれに限定されない。例えば、歪除去器３０２ｂは直交変換係数ｄ1:Mを半分にすることで歪除去直交変換係数ｃ1:Mを得てもよいし、０以外の所定値に置換してもよい。また、歪除去器３０２ｂは直交変換係数ｄ1:Mの位置に応じて置換方法を変更してもよい。
【０１０１】
逆線形変換器３０２ｃは、歪除去直交変換係数ｃ1:Mに対して線形変換Ｈｊを用いた逆直交変換を行い、この逆変換によって得られた歪除去ブロック
【数１】
0005393573.tif 000003
（以下ではこれを＾ｘ1:Mと表す）を歪除去画像生成器３０２ｄに出力する手段である。
【０１０２】
歪除去画像生成器３０２ｄは、入力された歪除去ブロック＾ｘ1:Mを組み合わせることで、歪を除去した画像（歪除去画像）
【数２】
0005393573.tif 000004
（以下ではこれを＾Ｘと表す）を生成する手段である。具体的には、歪除去画像生成器３０２ｄは歪除去ブロック＾ｘ1:Mの平均値（相加平均）を求めることで歪除去画像＾Ｘを生成する。歪除去画像生成器３０２ｄは生成された歪除去画像＾Ｘをマスク処理器３０３に出力する。
【０１０３】
以下に、歪除去画像生成器３０２ｄに関する変形例をいくつか示す。本実施形態では相加平均を用いたが、歪除去画像の生成方法はこれに限定されない。例えば、歪除去画像生成器３０２ｄは重み付け平均値を求めることで歪除去画像を生成してもよい。その際には、各線形変換処理の途中で得られた情報に基づいて決定された重み付け係数、例えば閾値Ｔを用いて所定値に置換された直交変換係数の個数に応じて決定された重み付け係数を用いてもよい。
【０１０４】
本実施形態では、歪除去画像生成器３０２ｄは再生画像信号の画素毎に得られた直交変換係数を処理したが、直交変換係数を処理する方法はこれに限定されない。例えば、歪除去画像生成器３０２ｄは再生画像の一列毎もしくは一行毎に得られた直交変換係数を処理してもよいし、市松模様状に抜き出した再生信号の画素毎に得られた当該係数を処理してもよい。また、歪除去画像生成器３０２ｄは、フィルタ処理器１１３に入力される再生画像毎に、直交変換係数を得る際の画素の位置を変えてもよい。
【０１０５】
本実施形態では、歪除去画像生成器３０２ｄは上記のような歪除去処理を一回のみ行ったが、当該処理を複数回繰り返すことで歪を除去してもよい。このとき、繰返し回数はあらかじめ設定されていてもよいし、符号化に関する情報（例えば量子化パラメータ）に応じて都度変えてもよい。また、符号化装置１の外部から入力された繰返し回数を用いてもよい。外部からの値を用いる場合には、符号化装置１はその値を符号化して復号装置２に送信すればよい。
【０１０６】
ここで、歪除去処理器３０２に関する変形例を示す。歪除去処理器３０２は上記以外の手法により歪除去を行ってもよい。例えば、歪除去処理器３０２はＨ．２６４で利用されるデブロッキングフィルタを用いてもよく、この場合には、モードに応じてブロック境界強度が決定されてもよい。また、歪除去処理器３０２はモードに応じてフィルタの種類およびフィルタ処理に用いられる画素数を直接決定してもよい。
【０１０７】
図２に戻って、マスク処理器３０３は、強度決定器３０１から入力されたモード情報に基づいてマスク関数を決定し、当該マスク関数を用いてマスク処理を行う。具体的には、マスク処理器３０３は、マスク関数に応じて設定された画素について、加算器１１０から直接入力される再生画像ｙの画素と、歪除去処理器３０２から入力される歪除去画像＾Ｘの画素とのうちどちらの画素を用いるかを決める。
【０１０８】
まずマスク処理器３０３は、入力されたモードに基づいて、各対象ブロックについてマスク関数を決定する。ここでマスク関数とは対象ブロックの境界を中心とする所定範囲の画素領域であり、当該領域内において再生画像ｙの画素が歪除去画像＾Ｘの画素に置換される。すなわち、マスク関数はフィルタ処理対象領域である。本実施形態ではマスク処理器３０３は下記のマスクテーブルを予め記憶しており、このテーブルに従ってマスク関数を決定する。
【表２】
0005393573.tif 000005
上記マスクテーブルにおける値０は、歪除去画像との置換を行わないことを意味する。また、値１は、図８（ａ）で示される、対象ブロックＬｐ，Ｌｑの境界Ｂの周囲１画素分を覆うマスク関数Ｍａを意味し、値２は、図８（ｂ）で示される、対象ブロックＬｐ，Ｌ１の境界Ｂの周囲２画素分を覆うマスク関数Ｍｂを意味する。
【０１０９】
以下に、マスク処理器３０３に関する変形例をいくつか示す。マスク処理器３０３は上記マスクテーブルとは異なる方法でマスク関数を決定してもよい。また、マスク処理器３０３は図８に示すものとは異なるマスク関数を用いてもよく、また、一種類あるいは３種類以上のマスク関数を用いてもよい。例えば、マスク処理器３０３は、再生画像ｙの全体が歪除去画像＾Ｘと置換されるようなマスク関数を用いてもよい。
【０１１０】
本実施形態では、各モードにおいて輝度及び色差に対して同一のマスク関数を定義したが、一のモード内において輝度と色差とで異なるマスク関数を定義されてもよい。
【０１１１】
マスク処理器３０３は、モードに応じて選択したマスク関数を用いて、当該関数に対応する再生画像ｙの領域内の画素を歪除去画像＾Ｘの画素に置換する。そして、マスク処理器３０３はこのようにマスク処理を行った再生画像を歪除去完了画像
【数３】
0005393573.tif 000006
（以下ではこれを＾Ｘfinalと表す）としてフレームメモリ１０４に格納する。
【０１１２】
次に、図９を用いて、フィルタ処理器１１３の動作を説明するとともに本実施形態に係る動画像予測符号化方法、特にフィルタ処理ステップについて説明する。図９はフィルタ処理器１１３の動作を示すフローチャートである。
【０１１３】
まず、フィルタ処理器１１３は加算器１１０から再生画像ｙを取得すると共に、予測信号生成器１０３及び量子化器１０７から、利用可能な符号化パラメータを取得する（ステップＳ１０１）。利用可能な符号化パラメータとしては、量子化パラメータや、動き情報（動きベクトル及び参照インデックス）、モード情報、ブロックの分割方法を示す情報、輝度補償予測に関するＩＣパラメータなどが挙げられる。
【０１１４】
続いて、強度決定器３０１が符号化パラメータに基づき対象ブロックの境界における歪除去のモードを決定する（ステップＳ１０２）。
【０１１５】
続いて、歪除去処理器３０２による処理が実行される。まず、線形変換器３０２ａが再生画像ｙに対して線形変換Ｈｊを実行することで、直交変換係数ｄ1:Mを取得する（ステップＳ１０３）。ここでは、線形変換器３０２ａは直交変換Ｈｊとしてｎ×ｎのＤＣＴ（ｎは２以上の整数）を用いている。続いて、歪除去器３０２ｂが強度決定器３０１から入力されたモードに基づいて閾値Ｔを決定し、各直交変換係数ｄ1:Mに対してその閾値Ｔによる歪除去処理を行うことで歪除去直交変換係数ｃ1:Mを求める（ステップＳ１０４）。続いて、逆線形変換器３０２ｃが歪除去直交変換係数ｃ1:Mに対して逆線形変換を行うことで歪除去ブロック＾ｘ1:Mを生成する（ステップＳ１０５）。そして、歪除去画像生成器３０２ｄが歪除去ブロック＾ｘ1:Mを組み合わせることで歪除去画像＾Ｘを生成する（ステップＳ１０６）。
【０１１６】
続いて、マスク処理器３０３が強度決定器３０１から入力されたモードに基づいてマスク関数を決定し、そのマスク関数を用いて再生画像ｙおよび歪除去画像＾Ｘに対するマスク処理を実行する（ステップＳ１０７）。そして、マスク処理器３０３は歪除去完了画像＾Ｘfinalをフレームメモリ１０４に格納する（ステップＳ１０８、格納ステップ）。
【０１１７】
次に、図１０を用いて、実施形態に係る動画像予測復号装置の機能及び構成を説明する。図１０は実施形態に係る動画像予測復号装置２（本明細書では単に復号装置２ともいう）の機能構成を示すブロック図である。復号装置２は、機能的構成要素として入力端子（入力手段）２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ（記憶手段）２０７、予測信号生成器２０８、及びフィルタ処理器（フィルタ処理手段）２０９を備えている。逆量子化器２０３、逆変換器２０４、及び加算器２０５は、復元ステップを実行する復元手段に対応する。なお、逆変換器２０４に代わる他の変換処理を用いてもよいし、逆変換器２０４を省略してもよい。
【０１１８】
入力端子２０１は、符号化装置１から送られてきた圧縮データを受信してデータ解析器２０２に出力する手段である。すなわち、入力端子２０１は入力ステップを実行する。この圧縮データには、残差信号に関する量子化された変換係数や、予測信号の生成に関連する情報などが含まれている。予測信号の生成に関連する情報としては、画面間予測に関しては、ブロック分割に関する情報（ブロックのサイズ）や、動き情報、リファレンス・インデックス、輝度補償予測に関するＩＣパラメータがある。画面内予測に関しては、周辺の既再生の画素から対象ブロックの画素を生成する外挿方法に関する情報がある。
【０１１９】
データ解析器２０２は、圧縮データを解析してエントロピー復号処理を行うことで、量子化された変換係数や予測信号の生成に関連する情報を抽出する手段である。データ解析器２０２は抽出したこれらの情報を逆量子化器２０３、予測信号生成器２０８、及びフィルタ処理器２０９に出力する。
【０１２０】
逆量子化器２０３は量子化された変換係数を逆量子化することで変換係数を生成し、生成した変換係数を逆変換器２０４に出力する手段である。逆変換器２０４は入力された変換係数を逆離散コサイン変換することで残差信号を再生し、その残差信号を加算器２０５に出力する手段である。
【０１２１】
予測信号生成器２０８は、対象ブロックに対する予測信号を生成する手段である。予測信号の生成に関連する情報がデータ解析器２０２から入力されると、予測信号生成器２０８はフレームメモリ２０７にアクセスして複数の参照画像を読み出し、その参照画像を構成する参照信号と入力情報とに基づいて予測信号を生成する。ここでの予測信号の生成方法は、符号化装置１の予測信号生成器１０３で実行されるものと同様であるので、詳細な説明は省略する。予測信号生成器２０８は生成した予測信号を加算器２０５に出力する。
【０１２２】
加算器２０５は、逆変換器２０４から入力された残差信号と予測信号生成器２０８から入力された予測信号とを加算して対象ブロックの信号を再生する手段である。加算器２０５は生成した信号をフィルタ処理器２０９に出力する。
【０１２３】
フィルタ処理器２０９は、再生画像に対してフィルタ処理を実行し、当該処理を施した再生画像を出力端子２０６及びフレームメモリ２０７に出力する手段である。フィルタ処理器２０９は、加算器２０５から入力された再生画像の信号と、データ解析器２０２から入力された、符号化方法や符号化状況に関する情報（輝度補償予測に関するＩＣパラメータなど）とに基づいてフィルタ処理を実行する。フィルタ処理器２０９の構成および機能、及びそこで行われる処理は符号化装置１のフィルタ処理器１１３と同様であるので、詳細な説明は省略する。フィルタ処理器２０９は、生成した歪除去完了画像＾Ｘfinalを出力端子２０６に出力すると共に、当該画像＾Ｘfinalをフレームメモリ２０７に格納する。すなわち、フィルタ処理器２０９はフィルタ処理ステップ及び格納ステップを実行する。
【０１２４】
出力端子２０６は、歪除去完了画像＾Ｘfinalを外部に出力する手段である。例えば、出力端子２０６はその画像＾Ｘfinalを表示装置（図示せず）に出力する。
【０１２５】
次に、図１１，１２を用いて、コンピュータを上記符号化装置１として機能させるための動画像予測符号化プログラムを説明する。図１１は動画像予測符号化プログラムＰ１（以下では単に符号化プログラムＰ１ともいう）の構成を示す図である。図１２はフィルタ変換モジュールＰ１１３の詳細な構成を示す図である。
【０１２６】
図１１に示すように、符号化プログラムＰ１は、メインモジュールＰ１０、入力モジュールＰ１０１、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、画像記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、出力モジュールＰ１１２、及びフィルタ処理モジュールＰ１１３を含んでいる。
【０１２７】
このうち、フィルタ処理モジュールＰ１１３は、図１２に示すように、強度決定モジュールＰ３０１、歪除去処理モジュールＰ３０２、及びマスク処理モジュールＰ３０３を含んでいる。歪除去処理モジュールは、線形変換モジュールＰ３０２ａ、歪除去モジュールＰ３０２ｂ、逆線形変換モジュールＰ３０２ｃ、及び歪除去画像生成モジュールＰ３０２ｄを含んでいる。
【０１２８】
メインモジュールＰ１０は、動画像予測符号化処理の全体を統括する機能を有する。入力モジュールＰ１０１、ブロック分割モジュールＰ１０２、予測信号生成モジュールＰ１０３、画像記憶モジュールＰ１０４、減算モジュールＰ１０５、変換モジュールＰ１０６、量子化モジュールＰ１０７、逆量子化モジュールＰ１０８、逆変換モジュールＰ１０９、加算モジュールＰ１１０、エントロピー符号化モジュールＰ１１１、出力モジュールＰ１１２、及びフィルタ処理モジュールＰ１１３がコンピュータに実行させる機能は、上述した入力端子１０１、ブロック分割器１０２、予測信号生成器１０３、フレームメモリ１０４、減算器１０５、変換器１０６、量子化器１０７、逆量子化器１０８、逆変換器１０９、加算器１１０、エントロピー符号化器１１１、出力端子１１２、及びフィルタ処理器１１３の機能と同様である。
【０１２９】
フィルタ処理モジュールＰ１１３を構成する各モジュールの機能はそれぞれ、上述した強度決定器３０１、歪除去処理器３０２（線形変換器３０２ａ、歪除去器３０２ｂ、逆線形変換器３０２ｃ、及び歪除去画像生成器３０２ｄ）、及びマスク処理器３０３の機能と同様である。
【０１３０】
次に、図１３を用いて、コンピュータを上記復号装置２として機能させるための動画像予測復号プログラムを説明する。図１３は動画像予測復号プログラムＰ２（以下では単に復号プログラムＰ２ともいう）の構成を示す図である。
【０１３１】
図１３に示されるように、復号プログラムＰ２は、メインモジュールＰ２０、入力モジュールＰ２０１、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、出力モジュールＰ２０６、画像記憶モジュールＰ２０７、予測信号生成モジュールＰ２０８、及びフィルタ処理モジュールＰ２０９を含んでいる。フィルタ処理モジュールＰ２０９の構成は、図１２に示すフィルタ処理モジュールＰ１１３と同様であるので、詳細な説明は省略する。
【０１３２】
メインモジュールＰ２０は、動画像予測復号処理の全体を統括する機能を有する。入力モジュールＰ２０１、データ解析モジュールＰ２０２、逆量子化モジュールＰ２０３、逆変換モジュールＰ２０４、加算モジュールＰ２０５、出力モジュールＰ２０６、画像記憶モジュールＰ２０７、予測信号生成モジュールＰ２０８、及びフィルタ処理モジュールＰ２０９がコンピュータに実行させる機能は、上述した入力端子２０１、データ解析器２０２、逆量子化器２０３、逆変換器２０４、加算器２０５、出力端子２０６、フレームメモリ２０７、予測信号生成器２０８、及びフィルタ処理器２０９の機能と同様である。
【０１３３】
上記のように構成された符号化プログラムＰ１及び復号プログラムＰ２は、図１４，１５に示す記録媒体Ｍに記録可能であり、図１４に示すコンピュータ３０により実行される。もっとも、これらのプログラムを実行する機器は、ＤＶＤプレーヤやセットトップボックス、携帯電話などであってもよい。
【０１３４】
図１４に示すように、コンピュータ３０は、フレキシブルディスクドライブ装置やＣＤ−ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読取装置３１と、オペレーティングシステムを常駐させた作業用メモリ（ＲＡＭ）３２と、記録媒体Ｍに記憶されたプログラムを記憶するメモリ３３と、ディスプレイ３４と、入力装置であるマウス３５及びキーボード３６と、データ等の送受信を行うための通信装置３７と、プログラムの実行を制御するＣＰＵ３８とを備えている。
【０１３５】
コンピュータ３０は、記録媒体Ｍが読取装置３１に挿入されると、記録媒体Ｍに格納された符号化プログラムＰ１にアクセス可能になり、当該プログラムＰ１によって、本発明に係る符号化装置１として動作することが可能になる。同様に、コンピュータ３０は、記録媒体Ｍが読取装置３１に挿入されると、記録媒体Ｍに格納された復号プログラムＰ２にアクセス可能になり、当該プログラムＰ２によって、本発明に係る復号装置２として動作することが可能になる。
【０１３６】
図１５に示すように、符号化プログラムＰ１又は復号プログラムＰ２は、搬送波に重畳されたデータ信号４０としてネットワークを介して提供されるものであってもよい。この場合コンピュータ３０は、通信装置３７によって受信された符号化プログラムＰ１又は復号プログラムＰ２をメモリ３３に格納して実行することができる。
【０１３７】
以上説明したように、本実施形態によれば、対象ブロック間の輝度補償予測に関するパラメータ（重み及びオフセット（ＩＣパラメータ））に基づいて、フィルタ強度の一種である閾値Ｔや、フィルタ処理対象領域を示すマスク関数が決められた上で、再生画像に対するフィルタ処理が実行される。そして、その処理が施された再生画像が、符号化装置１においては後続の画像を符号化する際に用いられる参照画像として、復号装置２においては後続の画像を復元する際に用いられる参照画像として、それぞれ保存される。このように、輝度補償予測に関するパラメータをフィルタ処理の際に考慮することで、ブロック間に輝度補償予測の違いが生じてもその違いに応じたフィルタ処理を行うことができる。その結果、例えば、過度のフィルタ処理が行われたり、フィルタ強度が不足したりする現象を抑えて、再生画像の品質向上と、当該再生画像を参照画像として利用する画像の予測効率の向上とを実現することができる。
【０１３８】
また、本実施形態によれば、互いに隣接するブロック間におけるパラメータの差異に基づいてフィルタ強度（閾値Ｔ）及びフィルタ処理対象領域（マスク関数）が決定されるので、ブロックの境界部分で発生しやすいブロック歪を抑えることができる。その結果、再生画質の品質や画像の予測効率を向上させることができる。
【０１３９】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【０１４０】
上記実施形態では、輝度補償予測に用いられるパラメータとして重み及びオフセットの二つのＩＣパラメータを用いたが、フィルタ強度及びフィルタ処理対象領域を決めるために用いるパラメータの種類はこれに限定されない。例えば、オフセットのみ又は重みのみであったり、三つ以上の輝度補償予測に関するパラメータを用いたり、他の種類のパラメータに基づいてフィルタ強度及びフィルタ処理対象領域を決めてもよい。
【０１４１】
上記実施形態ではブロック毎に輝度補償予測を行ったが、画面全体で同一の輝度補償予測を行う場合にも本発明を適用可能である。その場合には、画面毎に異なる輝度補償予測を考慮すればよい。
【０１４２】
上記実施形態では輝度補償予測を示したが、色差に対して同様な重み付け補償予測を用いる場合にも同様に本発明を適用することができる。
【０１４３】
上記実施形態ではフィルタ強度として閾値Ｔを示したが、フィルタ処理手段により決定されるフィルタ強度の種類はこれに限定されない。フィルタ処理手段は、閾値Ｔ以外の他の基準値をフィルタ強度として用いて上記のようなフィルタ処理を実行してもよい。
【０１４４】
上記実施形態ではフィルタ処理器１１３，２０９をループ内フィルタとして利用したが、フィルタ処理器をポストフィルタとして用いてもよい。
【符号の説明】
【０１４５】
１…動画像予測符号化装置、２…動画像予測復号装置、１０１…入力端子、１０２…ブロック分割器、１０３…予測信号生成器、１０４…フレームメモリ、１０５…減算器、１０６…変換器、１０７…量子化器、１０８…逆量子化器、１０９…逆変換器、１１０…加算器、１１１…エントロピー符号化器、１１２…出力端子、１１３…フィルタ処理器、２０１…入力端子、２０２…データ解析器、２０３…逆量子化器、２０４…逆変換器、２０５…加算器、２０６…出力端子、２０７…フレームメモリ、２０８…予測信号生成器、２０９…フィルタ処理器、３０１     強度決定器、３０２…歪除去処理器、３０２ａ…線形変換器、３０２ｂ…歪除去器、３０２ｃ…逆線形変換器、３０２ｄ…歪除去画像生成器、３０３…マスク処理器、Ｐ１…動画像予測符号化プログラム、Ｐ１０…メインモジュール、Ｐ１０１…入力モジュール、Ｐ１０２…ブロック分割モジュール、Ｐ１０３…予測信号生成モジュール、Ｐ１０４…画像記憶モジュール、Ｐ１０５…減算モジュール、Ｐ１０６…変換モジュール、Ｐ１０７…量子化モジュール、Ｐ１０８…逆量子化モジュール、Ｐ１０９…逆変換モジュール、Ｐ１１０…加算モジュール、Ｐ１１１…エントロピー符号化モジュール、Ｐ１１２…出力モジュール、Ｐ１１３…フィルタ処理モジュール、Ｐ２…動画像予測復号プログラム、Ｐ２０…メインモジュール、Ｐ２０１…入力モジュール、Ｐ２０２…データ解析モジュール、Ｐ２０３…逆量子化モジュール、Ｐ２０４…逆変換モジュール、Ｐ２０５…加算モジュール、Ｐ２０６…出力モジュール、Ｐ２０７…画像記憶モジュール、Ｐ２０８…予測信号生成モジュール、Ｐ２０９…フィルタ処理モジュール、Ｐ３０１…強度決定モジュール、Ｐ３０２…歪除去処理モジュール、Ｐ３０２ａ…線形変換モジュール、Ｐ３０２ｂ…歪除去モジュール、Ｐ３０２ｃ…逆線形変換モジュール、Ｐ３０２ｄ…歪除去画像生成モジュール、Ｐ３０３…マスク処理モジュール。
【図１】
0005393573.tif 000007
【図２】
0005393573.tif 000008
【図３】
0005393573.tif 000009
【図４】
0005393573.tif 000010
【図５】
0005393573.tif 000011
【図６】
0005393573.tif 000012
【図７】
0005393573.tif 000013
【図８】
0005393573.tif 000014
【図９】
0005393573.tif 000015
【図１０】
0005393573.tif 000016
【図１１】
0005393573.tif 000017
【図１２】
0005393573.tif 000018
【図１３】
0005393573.tif 000019
【図１４】
0005393573.tif 000020
【図１５】
0005393573.tif 000021