(57)【特許請求の範囲】
【請求項１】
入力画像の予測画像を生成するため参照画像を動き補償する動き補償器と、
前記入力画像と前記予測画像との差分信号を生成する減算器と、
前記差分信号を符号化して符号化情報を生成する符号化器と、
局部復号差分画像を生成するため前記符号化情報を局部復号する局部復号化器と、
局部復号画像を生成するため前記予測画像と前記局部復号差分画像とを加算する加算器と、
動きベクトル、量子化ステップ及び予測誤差に基づいて重み係数を計算するフィルタ係数計算器と、
前記加算器から得られる局部復号画像と前記予測画像との間の時間方向のフィルタ処理を行うため前記局部復号差分画像に前記重み係数を乗算し、乗算結果と前記予測画像とを加算するフィルタと、
前記フィルタから得られる局部復号画像を前記動き補償器とは逆方向に動き補償する逆動き補償器と、
前記逆動き補償器によって前記逆方向に動き補償予測された画像によって前記参照画像を更新する更新器と、
を備えたことを特徴とする符号化装置。
【請求項２】
前記フィルタは、前記復号画像の予測画像と前記復号画像との差分値に応じてフィルタ強度を変化できるフィルタにより構成されることを特徴とする請求項１記載の符号化装置。
【請求項３】
前記フィルタは、フィルタ処理する画素を含む動き補償対象ブロック全体の差分値の２乗和に基づいてフィルタ強度を制御できるフィルタにより構成されることを特徴とする請求項１に記載の符号化装置。
【請求項４】
前記フィルタは、前記動き補償器で用いる動きベクトルが所定のしきい値以下の大きさであり、同一モードで符号化されている場合には、前記時間方向のフィルタ処理を行わないことを特徴とする請求項１に記載の符号化装置。
【請求項５】
前記符号化器は、所定の量子化ステップによって量子化する処理を含み、前記フィルタは、前記復号画像の予測画像の量子化ステップと前記復号画像の前記量子化ステップの比に応じてフィルタの強度を変化させることを特徴とする前記請求項１に記載の符号化装置。
【請求項６】
動きベクトル及び復号差分画像を生成するため入力符号化画像情報を復号する復号化器と、
前記符号化画像情報を用いて参照画像から復号画像の予測画像を生成する動き補償器と、
前記復号差分画像と前記復号画像の予測画像とを加算して復号画像を生成する加算器と、
動きベクトル、量子化ステップ及び予測誤差に基づいて重み係数を計算するフィルタ係数計算器と、
前記加算器から得られる前記復号画像と前記予測画像との間の時間方向のフィルタ処理を行うため前記局部復号差分画像に前記重み係数を乗算し、乗算結果と前記予測画像とを加算するフィルタと、
前記動きベクトルを用いて、前記フィルタから得られる復号画像を前記動き補償器とは逆方向に動き補償を行う逆動き補償器と、
前記逆方向に動き補償された画像によって前記参照画像を更新する更新器と、
を備えたことを特徴とする復号化装置。
【請求項７】
前記フィルタは、前記復号画像の予測画像と前記復号画像との差分値に応じてフィルタ強度を変化できるフィルタにより構成されることを特徴とする請求項６記載の復号化装置。
【請求項８】
前記フィルタは、フィルタを処理する画素を含む動き補償対象ブロック全体の差分値の２乗和に基づいてフィルタ強度を制御できるフィルタにより構成されることを特徴とする請求項７に記載の復号化装置。
【請求項９】
前記フィルタは、前記動き補償器で用いる動きベクトルが所定のしきい値以下の大きさであり、同一モードで符号化されている場合には、前記時間方向のフィルタ処理を行わないことを特徴とする請求項６に記載の復号化装置。
【請求項１０】
前記復号化器は、所定の量子化ステップによって逆量子化する処理を含み、前記フィルタは、前記復号画像の予測画像の量子化ステップと前記復号画像の前記量子化ステップの比に応じてフィルタの強度を変化させることを特徴とする前記請求項６に記載の復号化装置。
【請求項１１】
符号化された画像情報を入力して復号差分画像を出力する復号化器と、
前記符号化された画像情報を用いて参照画像から復号画像の予測画像を出力する動き補償器と、
前記復号差分画像と前記予測画像とを加算して復号画像を得る加算器と、
逆予測画像を生成するため前記復号画像を前記動き補償器とは逆方向に動き補償する逆動き補償器と、
前記逆予測画像と前記参照画像との間で時間方向のフィルタ処理を行うフィルタと、
前記フィルタ処理によって得られた画像によって前記参照画像を更新する更新器と、
前記更新された参照画像を前記参照画像のフレームの復号画像として出力する出力器と、
を備えたことを特徴とする復号化装置。
【請求項１２】
入力画像の予測画像を生成するため参照画像を動き補償する動き補償器と、
前記入力画像と前記予測画像との差分信号を生成する減算器と、
前記差分信号を符号化して符号化情報を生成する符号化器と、
局部復号差分画像を生成するため前記符号化情報を局部復号する局部復号化器と、
局部復号画像を生成するため前記予測画像と前記局部復号差分画像とを加算する加算器と、
逆予測画像を生成するため前記局部復号画像を前記動き補償器とは逆方向に動き補償する逆動き補償器と、
前記逆予測画像と前記参照画像との間で時間方向のフィルタ処理を行うフィルタと、
前記フィルタ処理によって得られた画像によって前記参照画像を更新する更新器と、
を備えたことを特徴とする符号化装置。
【請求項１３】
動きベクトル及び復号差分画像を生成するため入力符号化画像情報を復号する復号化器と、
前記符号化画像情報を用いて参照画像から復号画像の予測画像を生成する動き補償器と、
前記復号差分画像と前記復号画像の予測画像とを加算して復号画像を生成する加算器と、
前記復号差分画像をフィルタ処理するフィルタと、
フィルタ処理された前記復号差分画像を前記動きベクトルを用いて前記復号画像を前記動き補償器とは逆方向に動き補償する逆動き補償器と、
逆動き補償により得られた画像によって前記参照画像を更新する更新器と、
を備えたことを特徴とする復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像、特に動画像を符号する符号化装置及び符号化画像を復号する復号化装置に関する。
【背景技術】
【０００２】
動画像符号化においては、フレーム間の冗長性を利用したフレーム間動き補償が用いられている。たとえば、特開平７−２８８７１９には、参照フレームと符号化フレームとの時間方向フィルタにより参照画像の符号化歪みを除去する手法が示されている。その構成は、図３に示す、例えばフレームＰ３を符号化した際、当該フレームを参照画像としてフレームメモリへ保存する前に、フレームＰ３の参照フレームであるＩ０を利用して動き補償付きの時間方向ローパスフィルタをかけ、符号化歪みを低減する。こうして歪みが低減された参照フレームをＢ１、Ｂ２、Ｐ６、Ｂ４、Ｂ５の各フレームの符号化に際して利用することで符号化効率を向上させる。
【特許文献１】特開平７−２８８７１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、当該特許文献における符号化歪み除去方式は、フィルタとして見た場合には単なる２タップの平均値フィルタであり、それによって符号化歪みは最大でも半減するに過ぎない。ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４で規格化されている符号化歪み除去方式として、空間方向にフィルタをかけることで主にブロック状の歪みを除去する方式が存在するが、この方式におけるフィルタのタップ数は最大で５タップであり、それに比べると貧弱である。
【課題を解決するための手段】
【０００４】
本発明の一実施形態は、入力画像の予測画像を生成するため参照画像を動き補償する動き補償器と、前記入力画像と前記予測画像との差分信号を生成する減算器と、前記差分信号を符号化して符号化情報を生成する符号化器と、局部復号差分画像を生成するため前記符号化情報を局部復号する局部復号化器と、局部復号画像を生成するため前記予測画像と前記局部復号差分画像とを加算する加算器と、前記局部復号差分画像と前記予測画像との間で時間方向のフィルタ処理を行うフィルタと、前記フィルタ処理により得られた画像を前記動き補償器とは逆方向に動き補償する逆動き補償器と、前記逆方向に予測された画像によって前記参照画像を更新する更新器と、を備えたことを特徴とする符号化装置を提供する。
【０００５】
本発明の他の実施形態は、動きベクトル及び復号差分画像を生成するため入力符号化画像情報を復号する復号化器と、前記符号化画像情報を用いて参照画像から復号画像の予測画像を生成する動き補償器と、前記復号差分画像と前記復号画像の予測画像とを加算して復号画像を生成する加算器と、前記復号画像の予測画像と前記復号画像との間で時間方向のフィルタ処理を行うフィルタと、前記動きベクトルを用いて前記復号画像を前記動き補償器とは逆方向に動き補償を行う逆動き補償器と、前記逆方向に動き補償された画像によって前記参照画像を更新する更新器と、を備えたことを特徴とする復号化装置を提供する。
【発明の効果】
【０００６】
本発明によれば、フレームが参照される度に参照フレームに対してフィルタ処理が施されることになり、参照画像の精度が向上する。
【発明を実施するための最良の形態】
【０００７】
以下に添付図面を参照して、本発明にかかる画像符号化装置の好適な実施の形態を詳細に説明する。
【０００８】
図１は本発明の第１の実施の形態による動画像符号化装置のブロック回路を示している。この動画像符号化装置は、動き補償器１、動き検出器２、逆動き補償器３、重み付き平均値フィルタ４、フレームメモリ５、減算器６、加算器７、変換器８、逆変換器９、量子化器１０、逆量子化器１１、エントロピー符号化器１２により構成される。
【０００９】
動き補償器１は動き検出器２及びフレームメモリ５に接続され、動き検出器２の動きベクトルとフレームメモリ５の参照画像とから予測画像を生成するように構成される。動き検出器２は入力画像（原画像）とフレームメモリ５の参照画像とを受け、これら画像から動きベクトルを検出するように構成される。
【００１０】
逆動き補償器３は動き検出器２とフレームメモリ５に接続され、動き検出器２の動きベクトルとフレームメモリ５に加算器７から入力される局部復号画像とを用いて動き検出器２の動きベクトルとは逆方向の動きベクトルで動き補償し、逆向き予測信号を生成する。即ち、動き補償器１がIピクチャからＰピクチャに動き補償予測して予測画像を生成したとすると、逆動き補償器３はＰピクチャからＩピクチャを動き補償予測し、逆向きの予測信号を生成する。
【００１１】
重み付き平均値フィルタ４は逆動き補償器３とフレームメモリ５に接続され、逆動き補償器３の逆向き予測信号及びフレームメモリ５の参照画像に対して重み付けフィルタ処理を行うように構成される。
【００１２】
減算器６は入力画像と動き補償器１の予測画像との差を算出し、誤差信号を生成するように構成される。変換器８は誤差信号を変換係数に変換するよう構成され、例えば、離散コサイン変換器により構成される。この変換器８の出力部は量子化器１０に接続される。量子化器１０は変換係数を量子化するよう構成され、量子化器１０の出力部は逆量子化器１１及びエントロピー符号化器１２に接続される。
【００１３】
逆量子化器１１は量子化された変換係数を逆量子化し、量子化変換係数を元の変換係数に復元する。逆量子化器１１の出力部は逆変換器９に接続される。逆変換器９は変換係数を逆変換し、元の誤差信号を生成し、それを加算器７に出力する。加算器７は動き補償器１の予測画像と誤差信号とを加算して局部復号画像を生成し、それをフレームメモリ５に記憶する。
【００１４】
エントロピー符号化器１２は量子化器１０の量子化変換係数及び動き検出器２の動きベクトルをシンボル単位で符号化し、出力ビットストリームを生成する。
【００１５】
上記構成の画像符号化装置の動作を図２のフローチャートを参照して説明する。入力画像として図３に示す予測構造のフレームを符号化するものとする。参照フレームは、参照を行うフレームよりも先に符号化が終了していなければならないので、図３に示した予測構造を符号化する順序は図４の下段に示したような順序となる。
【００１６】
まず、最初のフレームＩ０が入力画像として入力される（ステップＳ１１）と、参照フレームがフレームメモリ５に存在するかが判定される（ステップＳ１２）。フレームＩ０については予測のための参照フレームがフレームメモリ５内に存在しないため、そのまま変換器８、量子化器１０、エントロピー符号化器１２を経てイントラ符号化が行われ（ステップＳ１３）、フレームＩ０に対応するビットストリームが出力される。このとき同時に、量子化器１０の出力結果が逆量子化器１１、逆変換器９を経て局部復号画像Ｉ０’が生成され（ステップＳ１４）、フレームメモリ５に保存される（ステップＳ１５）。なお、変換器８と逆変換器９における変換とは、ＤＣＴに代表される直交変換あるいは近似的な直交変換を用いるのが一般的である。また、量子化器１０と逆量子化器１１で実行される量子化とは、所定の量子化ステップＱｓｔｅｐで変換後の係数Ｆを量子化するものであり、最も単純には次式（１）のような演算により行われる。
【数１】
0004417919.tif 000002
【００１７】
ここで、ＱＦは量子化後の変換係数、Ｒｏｕｎｄ（ｘ）は何らかの丸めを行うオペレータを表す。フレームＩ０上の座標（ｘ，ｙ）上の画素値をp0(x,y)とし、量子化によって付加された符号化歪みをN（σＩ２）（ただしσＩ２は量子化歪みの分散）とすると、局部復号画像としてフレームメモリ５に蓄えられた座標（ｘ，ｙ）上の画素値p’0(x,y)は次式（２）でモデル化できる。
【数２】
0004417919.tif 000003
【００１８】
次に、フレームＰ３が入力されると、インター符号化（フレーム間符号化）が行われる。即ち、動き検出器２によって動きベクトルＭＶ＝（xmv,ymv）がブロックマッチングにより求められ（ステップＳ１６）、その動きベクトルを用いてフレームＰ３上の座標（ｘ，ｙ）上の画素p3(x,y)に対応する、フレームメモリ５のフレームＩ０’上の画素p’0(x+xmv,y+ymv)が動き補償器１によって求められる（ステップＳ１７）。減算器６では、フレームＰ３上の画素と、それに対応するフレームＩ０’上の画素との差分p3(x,y)−p’0(x+xmv,y+ymv)が計算される（ステップＳ１８）。この差分がフレームＩ０と同様に変換器８、量子化器１０、エントロピー符号化器１２を経てビットストリームとして出力される（ステップＳ１９，Ｓ２０，Ｓ２１）。このとき差分は逆量子化器１１、逆変換器９を経て、加算器７によって予測画像と加算されることによって局部復号化が行われ（ステップＳ１４）、局部復号画像Ｐ３’がフレームメモリ５に保存される。フレーム（局部復号画像）Ｐ３’上の座標（ｘ，ｙ）上の画素p’3(x,y)は、先ほどと同様に次式（３）のようにモデル化される。
【数３】
0004417919.tif 000004
【００１９】
ただし、σp２は量子化歪みの分散を表す。
【００２０】
逆動き補償器３では、動き検出器２で求められた動きベクトルを用いて、図５の破線矢印で示すようにフレームＰ３’を逆方向に動き補償し、逆向きの予測画像を生成する（ステップＳ２２）。すなわち、フレームＰ３’上の座標（ｘ，ｙ）上の画素p’3 (x,y)は座標(x+xmv,y+ymv )なる画素位置に移動される。画素p’3 (x,y)に対応するＩ０’上の画素は画素p’0(x+xmv,y+ymv)であるので、この２つの画素を使って重み付き平均値フィルタ４でフィルタリングが実施され、新しい画素p’0(x+xmv,y+ymv)に対応する画素p”0(x+xmv, y+ymv )が生成される。フィルタ後の画素p”0(x+xmv,y+ymv )は、重み係数ｗを用いて次式（４）で定義される。
【数１】
0004417919.tif 000005
【００２１】
ただし、ｗは重み係数であり、動きベクトルＭＶに関する重み係数ｗｍｖ、フレームＩ０とフレームＰ３のそれぞれの符号化に用いた量子化ステップＱｉ，Ｑｐに関する重み係数ｗｑ、動きベクトルに伴う予測残差ｄに伴う重みｗｅを用いて次式（５）で定義される。
【数５】
0004417919.tif 000006
【００２２】
それぞれの重み係数について説明する前に、式（４）で示すp”0(x+xmv,y+ymv )に付加される量子化歪みを低減する手法の考え方について説明する。簡単のため、p0(x+xmv,y+ymv)に付加された量子化歪みN(σＩ２ )とp3 (x,y)に付加された量子化歪みN(σP２ )が独立であり、かつ両方の量子化歪みの分散が等しいものとする。また、量子化歪みを付加する前、すなわち符号化前のフレームＩ０，Ｐ３それぞれの画素値p0(x+xmv,y+ymv)とp3 (x,y)は等しいものとする。このとき、重み係数ｗ＝１／２とすると、フレームＩ０’’のＩ０に対する量子化歪みの分散σ’Ｉ２は分散の性質により次式（６）により表される。
【数２】
0004417919.tif 000007
【００２３】
即ち、元々の量子化歪みの分散が半減されることになる。このように量子化歪みの分散が削減されるためには、元々のフレームＩ０’及びフレームＰ０’の量子化歪みの分散の違い、p’0(x+xmv,y+ymv )とp’3 (x,y)両方の量子化歪みの独立性及び量子化歪み付加前の両画素の差といったパラメータが必要となる。逆に言えば、これらのパラメータに基づいて重み係数ｗを制御すればよいことになる。以下、式（５）で示される各重み係数の設定方法について説明する。
【００２４】
wmv(MV)は２つのフレーム間の独立性に関する重み係数である。もし、動きベクトルが０、すなわち全く動きがなく両方のフレームの同一位置の画素が完全に等しかったとすると、p’3(x,y)の量子化誤差は、p’0(x,y)の量子化誤差をそのまま再量子化しているに過ぎず、両者の量子化誤差は独立とは言えなくなる。もし、動きベクトルがある程度の大きさを持つ場合、変換器８における変換の位相が異なるためにある程度の独立性が得られる。したがって、wmv(MV)は次式（７）で定義すればよい。
【数３】
0004417919.tif 000008
【００２５】
ただしここでＴＭＶは所定のしきい値とする。参照フレームが動き補償を伴わないイントラ符号化(フレーム内符号化)によって符号化されている場合にはwmv (MV)は常に0.5とする。wq(Qi,Qp )は、画素p0(x+xmv,y+ymv)と画素p3 (x,y)の量子化歪みの分散に関する重み係数である。先述の量子化歪みの分散σＩ２とσp２は、それぞれフレームＩ０及びＰ３を符号化した際の量子化ステップＱｉ，Ｑｐの２乗に比例するものと考えられる。すなわち、次式（８）が成り立つ。
【数４】
0004417919.tif 000009
【００２６】
したがって、重み係数wqを使ってフィルタを適用した後の誤差の分散σＩ’２は次式（９）で定義される。
【数５】
0004417919.tif 000010
【００２７】
よって、分散σＩ’２が最小となる重み係数wqは次式（１０）で求められる。
【数６】
0004417919.tif 000011
【００２８】
we(d)は、動きベクトルの信頼性に関する重み係数である。動きベクトルが完全に２つのフレームの間の対応画素を指しているならば、この重み係数は１であることが望ましい。逆に全く異なる画素を指しているならば、重み係数は０であることが望ましい。一方、ここで参照すべき画素p’3 (x,y)とp’0(x+xmv,y+ymv )は、ともに量子化誤差が重畳されているため、画素同士の差分を見てこの重みを決めるのは、誤った重みをかけることになりかねない。通常、動きベクトルは座標(x,y)を含むある一定の面積を持った領域φに対して定義されるものであるので、ここではその領域における平均予測誤差d、すなわち、次式（１１）に基づいて係数を式（１２）のように制御する。
【数７】
0004417919.tif 000012
【００２９】
【数１２】
0004417919.tif 000013
【００３０】
ただし、ここでｔとｓは所定の定数とする。これら３種類の重み係数に基づいて、重み付き平均値フィルタ４でフィルタ処理（ステップＳ２３）が施されることにより、局部復号画像Ｉ０’のフレームＩ０に対する誤差の分散が最小化されることになる。これにより誤差の最小化されたフレームが参照画像として生成される（ステップＳ２４）。この参照画像はフレームメモリ５上のフレームＩ０’に上書きされる。なお、現在一般的に使用されている動画像符号化方式では、動きベクトルが１画素以下の精度にまで及ぶ場合がほとんどであるが、もしフレームＩ０’とフレームＰ３’上の画素が１：１に対応できない場合には、逆動き補償器３にてフレームＰ３’上の複数の画素からフレームＩ０’に対応する画素を内挿によって作成すればよい。これは、動き補償器１にて一般的に広く行われている手法を逆に適用することで実現できる。
【００３１】
次に、フレームＢ１が入力されるが、このときの処理はＰ３における処理と次の点を除き同様である。
【００３２】
（１）局部復号画像Ｉ０’の誤差の分散が理想的には次式（１３）の倍数となっているので、それを勘案して式（１０）を適用する。すなわち、式（１０）においてＱｉ２の代わりに式(１３)を用いる。
【数１３】
0004417919.tif 000014
【００３３】
（２）フレームＰ３の局部復号画像であるＰ３’についても、前述の方法と同様の方法により量子化歪みの分散を最小化する。
【００３４】
以上のような処理をフレームの符号化のたびに繰り返すことにより、参照画像の量子化歪みが削減され、予測誤差すなわち減算器６の出力に符号化によって混入する歪み成分が低減されることになる。この一連の動作を模式的に表したタイミング図を図６に示す。参照フレームとしてフレームメモリ５に蓄えられたフレームＩ０’は、それに続くフレームＰ３，Ｂ１と符号化を進めていくと前述のフィルタリングにより量子化歪みが低減されていく。同様にフレームＰ３’は、続くフレームＢ１，Ｂ２，Ｐ６，Ｂ４と符号化を進めていくことで徐々に量子化歪みが低減される。これはすなわち、エントロピー符号化器１２にて参照フレームに含まれる余分なノイズ成分を符号化する割合が減少することになるので、特開平７−２８８７１９に示した最も一般的な符号化器の構成に比べて、より符号化効率を向上させることができる。
【００３５】
次に、図１の符号化装置に対応する図７の復号化装置を説明する。本実施の形態の復号化装置は、動き補償器１０１、逆動き補償器１０３、重み付き平均値フィルタ１０４、フレームメモリ１０５、加算器１０７、逆変換器１０９、逆量子化１１１、エントロピー復号化器１１３から構成される。これらの構成要素のうちエントロピー復号化器１１３以外は、先に説明した符号化器の処理と同様の動作を行う。
【００３６】
図８に示すように、まず、フレームＩ０に対応するビットストリームが入力ビットストリームとしてエントロピー復号化器１１３に入力される（ステップＳ１１１）。このとき、ビットストリームがイントラ符号化画像か否かが判定される（ステップＳ１１２）。この判定がＹＥＳであると、エントロピー復号化器１１３はビットストリームをイントラ復号化する（ステップＳ１１３）。即ち、エントロピー復号化器１１３はビットストリームを解析して量子化された変換係数を逆量子化器１１１に送出し、その後、逆量子化器１１１、逆変換器１０９を経てフレームＩ０の復号画像であるフレームＩ０’が生成され、フレームメモリ１０５に保存される（ステップＳ１１４）。このフレームＩ０’は先述の符号化装置のフレームＩ０’と同一のフレームとなる。
【００３７】
次に、フレームＰ３に対応するビットストリームが入力されると、エントロピー復号化器１１３が、量子化変換係数と動きベクトルとを復号する（ステップＳ１１５）。このうち量子化変換係数は、逆量子化器１１１、逆変換器１０９を経て動き補償残差が生成される（ステップＳ１１６）。また、復号化動きベクトルに基づいて、先に復号した局部復号画像Ｉ０’から動き補償器１０１によってフレームＰ３の予測画像が生成される（ステップＳ１１７，Ｓ１１８）。この両者を加算器１０７で加算することによって、フレームＰ３の復号画像であるフレームＰ３’が生成され（ステップＳ１１９）、フレームメモリ１０５に保存される（ステップＳ１１４）。
【００３８】
また、同時に逆動き補償器１０３及び重み付き平均値フィルタ１０４によって符号化装置の動作と同様の操作、即ち逆動き補償（ステップＳ１２０）及びフィルタリング（ステップＳ１２１）により量子化歪みの分散が最小化された新しいフレームＩ０の復号画像Ｉ０’’が生成され、フレームメモリ１０５に保存される（ステップＳ１１４）。このような動作をフレームＢ１に相当するビットストリームまで繰り返すと、符号化誤差が最小化されたフレームＩ０’’が完成し、それを復号画像として出力する。先に復号画像が生成されているフレームＢ１’、Ｂ２’は、フレームＩ０’’の出力に続いて順番に出力されることになる。
【００３９】
以上のような一連の動作を繰り返すことによって、特開平７−２８８７１９に示した最も一般的な復号化装置に比べて、より符号化ノイズを除去した復号画像を生成することができ、結果的により高画質な復号画像を得ることが可能となる。
【００４０】
図９は、本発明の第２の実施の形態の符号化装置のブロック回路である。本実施の形態は、第１の実施形態を変形したに過ぎず、符号化装置の構成要素では、重み付き平均値フィルタ４がフィルタ係数計算器１５と乗算器１４と加算器１８に置き換えられている。即ち、この第２の実施形態によると、符号化装置は動き補償器１、動き検出器２、逆動き補償器３、フレームメモリ５、減算器６、加算器７、変換器８、逆変換器９、量子化器１０、逆量子化器１１、エントロピー符号化器１２、乗算器１４，フィルタ係数計算器１５及び加算器１８により構成される。動き補償器１、動き検出器２、逆動き補償器３、フレームメモリ５、減算器６、加算器７、変換器８、逆変換器９、量子化器１０、逆量子化器１１、エントロピー符号化器１２は基本的には第1の実施形態と同じ機能を有するので詳細な動作の説明を省略する。
【００４１】
第２の実施形態では、逆変換器９の出力部が加算器７だけでなく、乗算器１４及びフィルタ係数計算器１５に接続される。フィルタ係数計算器１５の出力部は乗算器１４に接続される。乗算器１４の出力部は動き補償器１に接続されている加算器１８に接続される。加算器１８の出力部は動き検出器２に接続されている逆動き補償器３に接続される。
【００４２】
上記構成の符号化装置によると、式（３）におけるフレームＰ３上の画素は、フレームＩ０’から動き補償して得られることから、次式（１４）のように変形することができる。
【数１４】
0004417919.tif 000015
【００４３】
ただし、ここでr3(x,y)は動き補償残差を表し、r’3(x,y)はそれに量子化歪みを加えたもの、すなわち逆変換器９の出力と考えることができる。これを式（４）に代入すれば、式（１５）が成立する。
【数８】
0004417919.tif 000016
【００４４】
従って、式（５）で定義された重み係数ｗは、逆変換器９の出力にかければよいと考えることができる。故に、フィルタ係数計算器１５は、式（５）で定義される重み係数を計算し、求めた重みをr’3(x,y)に乗算器１４にて乗じ、その結果をＩ０’からの予測信号p’0(x+xmv,y+ymv )から加算器１８にて加える。この一連の操作によって式（４）に示す重み付き平均値フィルタ処理と全く等価な処理が終了したことになるので、フィルタ後の画素データを逆動き補償器３によってフレームＩ０’の座標に戻すことで量子化歪みを最小化したフレームＩ０’’を得ることができる。
【００４５】
図１０は、図９の第２の実施形態の符号化装置に対応する復号化装置を示している。この復号化装置は動き補償器１０１、逆動き補償器１０３、フレームメモリ１０５、加算器１０７、逆変換器１０９、逆量子化１１１、エントロピー復号化器１１３、乗算器１１４，フィルタ係数計算器１１５及び加算器１１８により構成される。この復号化装置は図７の符号化装置と同様な動作を行う。
【００４６】
まず、フレームＩ０に対応するビットストリームが入力ビットストリームとしてエントロピー復号化器１１３に入力される。エントロピー復号化器１１３は、ビットストリームを解析して量子化された変換係数を逆量子化器１１１に送出し、その後、逆量子化器１１１、逆変換器１０９を経てフレームＩ０の復号画像であるフレームＩ０’が生成され、フレームメモリ１０５に保存される。このフレームＩ０’は先述の符号化装置のフレームＩ０’と全く同一のフレームとなる。
【００４７】
次に、フレームＰ３に対応するビットストリームが入力されると、エントロピー復号化器１１３が、量子化変換係数と動きベクトルとを復号する。このうち量子化変換係数は、逆量子化器１１１、逆変換器１０９を経て動き補償残差が生成される。また、復号化動きベクトルに基づいて、先に復号した局部復号画像Ｉ０’から動き補償器１０１によってフレームＰ３の予測画像が生成される。この両者を加算器１０７で加算することによって、フレームＰ３の復号画像であるフレームＰ３’が生成され、フレームメモリ１０５に保存される。
【００４８】
また、同時に逆動き補償器１０３、フィルタ係数計算器１１５、乗算器１１４，加算器１１８によって符号化装置の動作と全く同様の操作により量子化歪みの分散が最小化された新しいフレームＩ０の復号画像Ｉ０’’が生成され、フレームメモリ１０５に保存される。このような動作をフレームＢ１に相当するビットストリームまで繰り返すと、符号化誤差が最小化されたフレームＩ０’’が完成し、それを復号画像として出力する。先に復号画像が生成されているフレームＢ１’、Ｂ２’は、フレームＩ０’’の出力に続いて順番に出力されることになる。
【００４９】
図１１は、本発明の第３の実施の形態の復号化装置のブロック回路を示す。本実施形態は、これまで説明してきた符号化装置と対になる復号化装置という組み合わせではなく、既存の復号化装置のポストフィルタとして動作するよう構成されている。この復号化装置の動き補償器１０１、フレームメモリ１０５、加算器１０７、逆変換器１０９、逆量子化器１１１、エントロピー復号化器１１３、乗算器１１４、フィルタ係数計算器１１５は図１０の復号化装置の構成と同じある。本実施の形態に基づく復号化装置では、逆動き補償器１０３はエントロピー復号化器１１３により復号された動きベクトルを用いて乗算器１１４からの重み付け画素データを逆動き補償し、その結果を加算器１１８に入力するように構成されている。加算器１１８は逆動き補償器１０３と出力用フレームメモリ１１６と出力との和を算出し、結果を出力用フレームメモリ１１６に記憶する。
【００５０】
上記構成の復号化装置によると、まず、最初にフレームＩ０に相当するビットストリームが復号されると、逆量子化器１１１、逆変換器１０９を経て復号画像、即ちフレームＩ０’が作成される。作成されたフレームＩ０’は、フレームメモリ１０５に格納されると同時に、出力用フレームメモリ１１６にも記録される。
【００５１】
次に、フレームＰ３に相当するビットストリームが入力され、逆変換器１０９から出力される残差信号にフレームＩ０’から動き補償された予測画像を加算器１０７で加算して、復号画像Ｐ３’が生成される。生成された画像は、フレームＩ０’と同様にフレームメモリ１０５と出力用フレームメモリ１１６に書き込まれる。このとき、逆変換器１０９から出力される残差信号を用い、第２の実施形態で説明した方法をそのまま用いることによりフィルタ係数がフィルタ係数計算器１１５で計算され、乗算器１１４で乗算が行われる。このようにして作成された重み付けされた残差信号は、逆動き補償器１０３を通してフレームＩ０’の座標系に平行移動され、出力用フレームメモリ１１６から読み出されたフレームＩ０’から減ずることで、量子化歪みの分散を最小化したフレームＩ０’’が生成される。生成されたフィルタ後の画像、即ちフレームＩ０’’は、フレームＩ０’を上書きすることでよりノイズが低減された画像に置き換わる。
【００５２】
以上のような処理を繰り返すことで、出力用フレームメモリ１１６に格納されたフレームは、参照されるたびに符号化に伴うノイズが最小化され、画質が向上する。参照フレームが参照される回数は、図３に示すように有限であるので、これ以上参照が行われなくなった時点で復号画像として外部へ出力する。一方、フレームメモリ１０５に格納された参照フレームは、何ら手が加えられずに保存されるため、一般的な符号化手法の復号化器として互換性を維持することが可能である。
【００５３】
図３に示した動画像符号化における予測構造の例では、たとえばフレーム“Ｐ３”はフレーム“Ｂ１”，“Ｂ２”，“Ｂ４”，“Ｂ５”，“Ｐ６”のそれぞれから参照されることになり、すなわちフレームＰ３上の画素に対応する点が最大で上述の５フレームに存在することになり、最大６タップのフィルタリングが可能である。したがって、参照フレームは次第に量子化歪みが低減され、画質が向上すると同時に、それを参照する側のフレームにとっては予測精度が向上し、符号化効率が向上する。
【００５４】
以上説明したように本発明の実施形態によれば、参照フレームが参照されるたびに、当該参照フレームと参照を行うフレームとの間で重み付き平均値フィルタ処理が行われ、符号化に伴う量子化歪みが最小化される。このため、符号化器側では符号化効率が従来に比べより向上し、復号化側では符号化ノイズを除去したより高品質な復号画像を得ることができる。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施形態に従った符号化装置のブロック図である。
【図２】図１の符号化装置の動作を示すフローチャートである。
【図３】動画像符号化における予測構造を示す図である。
【図４】図３に示す予測構造を実際に符号化する際のタイミングチャートを示す。
【図５】逆動き補償を説明するための図である。
【図６】一連の符号化を行った場合の参照フレームの変化を示す図である。
【図７】図１の符号化装置に対応する復号化装置のブロック図である。
【図８】図７の復号化装置の動作を説明するためのフローチャートである。
【図９】本発明の第２の実施形態に従った符号化装置のブロック図である。
【図１０】図９の符号化装置に対応する復号化装置のブロック図である。
【図１１】本発明の第３の実施形態に従った復号化装置のブロック図である。
【符号の説明】
【００５６】
１…動き補償器、２…動き検出器、３…逆動き補償器、４…重み付き平均値フィルタ、５…フレームメモリ、６，１８…加算器、７…加算器、８…変換器、９…逆変換器、１０…量子化器、１１…逆量子化器、１２…エントロピー符号化器、１３…エントロピー復号化器、１４…乗算器、１５…フィルタ係数計算器、１０１…動き補償器、１０３…逆動き補償器、１０４…重み付き平均値フィルタ、１０５…フレームメモリ、１０７…加算器、１０９…逆変換器、１１１…逆量子化器、１１３…復号化器、１１４…乗算器、１１５…フィルタ係数計算器、１１６…出力用フレームメモリ、１１８…加算器
【図１】
0004417919.tif 000017
【図２】
0004417919.tif 000018
【図３】
0004417919.tif 000019
【図４】
0004417919.tif 000020
【図５】
0004417919.tif 000021
【図６】
0004417919.tif 000022
【図７】
0004417919.tif 000023
【図８】
0004417919.tif 000024
【図９】
0004417919.tif 000025
【図１０】
0004417919.tif 000026
【図１１】
0004417919.tif 000027