(57)【要約】【課題】同一の修正係数が乗算される領域サイズを最適に決定できる画像符号化方法を実現する。【解決手段】本発明による修正動き補償画像符号化方法は、入力フレーム信号及び動き補償された信号を用いて単位領域の修正係数及び変換係数電力を求める工程と、前記単位領域の修正係数及び変換係数電力から、ｋを２以上の自然数とした場合に、領域サイズｋの結合領域の修正係数を求める工程と、前記領域サイズｋの係数領域の修正係数から、領域サイズｋの結合領域の変換係数の電力を求める工程と、領域サイズｋの結合領域の変換係数の電力から符号化歪みを求める工程と、前記符号化歪みを最小にする結合領域の領域サイズを求める工程とを具える。【選択図】        図１
2005012473.tif 000002
【特許請求の範囲】
【請求項１】
符号化すべきフレームを複数の単位領域に分割し、分割された各領域毎に動き補償処理を行って予測値を求め、予測値に修正係数を乗算した値を用いて修正動き補償を行う画像符号化方法において、
動き補償信号の入力フレーム信号及び動き補償された信号を用いて単位領域の修正係数及び動き補償信号の電力を求める工程と、
前記単位領域の修正係数及び変換係数電力から、ｋを２以上の自然数とした場合に、領域サイズｋの結合領域の修正係数を求める工程と、
前記領域サイズｋの結合領域の修正係数から、領域サイズｋの結合領域の変換係数の電力を求める工程と、
領域サイズｋの結合領域の変換係数の電力から符号化歪みを求める工程と、
前記符号化歪みを最小にする結合領域の領域サイズを求める工程とを具え、
求められた領域サイズ毎に前記予測値に修正係数を乗算することを特徴とする画像符号化方法。
【請求項２】
請求項１に記載の画像符号化方法において、前記単位領域の修正係数は、連続する２つのフレーム間の予測誤差を最小にする値として求めることを特徴とする画像符号化方法。
【請求項３】
請求項１に記載の画像符号化方法において、前記領域サイズｋの結合領域の修正係数を求める工程において、第ｉ番目の単位領域の修正係数と電力との積並びに当該第ｉ番目の電力を、ｓ≦ｉ≦ｓ＋ｋ−１の範囲でそれぞれ加算し、加算された修正係数と電力との積の値を加算された電力の値で除算することにより結合領域の修正係数を求めることを特徴とする画像符号化方法。
【請求項４】
請求項１に記載の画像符号化方法において、前記領域サイズｋの結合領域の変換係数の電力を求める工程において、入力フレームを直交変換して変換係数を求め、動き補償された信号について直交変換して変換係数を求め、これらの変換係数と領域サイズｋの修正係数とを用いて修正動き補償誤差の変換係数電力を求め、求めた修正動き補償誤差の変換係数電力を、フレームを構成するＩ個の領域について加算することにより領域サイズｋの結合領域の変換係数の電力を求めることを特徴とする画像符号化方法。
【請求項５】
請求項１に記載の画像符号化方法において、前記符号化歪みを最小にする結合領域の領域サイズを求める工程において、領域サイズを表すパラメータｋを１づつ増分しながら各ｋ値について符号化歪み量を算出し、算出された各符号化歪みを順次比較して最小符号化歪みを与える領域サイズを決定することを特徴とする画像符号化方法。
【請求項６】
符号化すべきフレームを複数の単位領域に分割し、分割された各領域毎に動き補償処理を行って予測値を求め、予測値に修正係数を乗算して修正された予測値を用いて動き補償を行う画像符号化装置において、
入力フレーム信号及び動き補償された信号を用いて単位領域の修正係数及び動き補償信号の電力を求める手段と、
前記単位領域の修正係数及び動き補償信号の電力から、ｋを２以上の自然数とした場合に、領域サイズｋの結合領域の修正係数を求める手段と、
前記領域サイズｋの結合領域の修正係数から、領域サイズｋの結合領域の変換係数の電力を求める手段と、
領域サイズｋの結合領域の変換係数の電力から符号化歪みを求める手段と、
前記符号化歪みを最小にする結合領域の領域サイズを求める手段と、
求められた領域サイズ毎に前記予測値に修正係数を乗算する手段とを具えることを特徴とする画像符号化装置。
【請求項７】
請求項６に記載の画像符号化装置において、前記領域サイズｋの結合領域の修正係数を求める手段は、第ｉ番目の単位領域の修正係数と電力との積並びに当該第ｉ番目の電力を、ｓ≦ｉ≦ｓ＋ｋ−１の範囲で加算し、加算された修正係数と電力との積の値を加算された電力の値で除算することにより結合領域の修正係数を求めることを特徴とする画像符号化装置。
【請求項８】
請求項６に記載の画像符号化装置において、前記領域サイズｋの結合領域の変換係数の電力を求める手段は、入力フレームを直交変換して変換係数を求める手段と、動き補償された信号について直交変換して変換係数を求める手段と、これらの変換係数と領域サイズｋの修正係数とを用いて修正動き補償誤差の変換係数電力を求める手段と、求めた修正動き補償誤差の変換係数電力を、フレームを構成するＩ個の領域について加算することにより領域サイズｋの結合領域の変換係数の電力を求める手段とを有することを特徴とする画像符号化装置。
【請求項９】
請求項６に記載の画像符号化装置において、前記符号化歪みを最小にする結合領域の領域サイズを求める手段は、領域サイズを表すパラメータｋを１づつ増分しながら各ｋ値について符号化歪み量を算出する手段と、算出された各符号化歪みを順次比較して最小符号化歪みを与える領域サイズを決定する手段とを有することを特徴とする画像符号化装置。
【請求項１０】
コンピュータによって修正動き補償画像符号化を実行するための制御プログラムを記録した記録媒体であって、
当該動き補償画像符号化は、符号化すべきフレームを複数の単位領域に分割し、分割された各領域毎に動き補償処理を行って予測値を求め、予測値に修正係数を乗算した値を用いて動き補償を行う画像符号化であり、
入力フレーム信号及び動き補償された信号を用いて単位領域の修正係数及び動き補償信号の電力を求める機能と、
前記単位領域の修正係数及び動き補償信号の電力から、ｋを２以上の自然数とした場合に、領域サイズｋの結合領域の修正係数を求める機能と、
前記領域サイズｋの結合領域の修正係数から、領域サイズｋの結合領域の変換係数の電力を求める機能と、
領域サイズｋの結合領域の変換係数の電力から符号化歪みを求める手段と、
前記符号化歪みを最小にする結合領域の領域サイズを求める機能と、
求められた領域サイズ毎に前記予測値に修正係数を乗算する機能とを実行する動き補償符号化プログラムが記録されていることを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、フレーム間予測誤差を最小にする修正係数を用いて修正動き補償を行う画像符号化方法に関するものである。
【０００２】
【従来の技術】
動画像の符号化における重要な技術として、動き補償（ＭＣ）ブロック直交変換方法が既知である。この符号化方法では、まず、符号化対象フレームｆｔ（ｐ）
（ｐ∈｛（ｘ，ｙ）｜０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１｝）（画面サイズＸ×Ｙ）をいくつかの領域に分割し、領域毎に動き補償（ＭＣ）を用いた次のようなフレーム間予測が行われる。
【数１】
2005012473.tif 000003
ここで、Ｂｉは第ｉ番目の領域であり、ｖｉは次式を満たす動きベクトルである。
【数２】
2005012473.tif 000004
【０００３】
ここで、
【外１】
2005012473.tif 000005
は次に続く関数を最小化するベクトルｖを返す。すなわち、探索範囲Ｒｉにおいて、領域Ｂｉ内での予測誤差を最小化するベクトルｖが動きベクトルｖｉとして選ばれる。次に、予測誤差に直交変換及び量子化が施され、最後に、得られた変換係数がエントロビ符号化される。
【０００４】
予測誤差の低減が変換係数の符号量の低減につながることから、予測誤差の低減を目的として、次式で表されるフレーム間予測の改良が検討されている（例えば、非特許文献１参照）。
【数３】
2005012473.tif 000006
ここで、γｉは修正係数と称され、次式で表される。
【数４】
2005012473.tif 000007
この修正係数は、式（１）の動きベクトルｖｉに対して、次式により表わされ連続する２つのフレーム間の予測誤差
【数５】
2005012473.tif 000008
を最小化する値として求めたものである。以下、フレーム間予測誤差を最小にする値γｉを単位領域の修正係数と呼び、式（２）に従う動き補償を修正動き補償（ＭＭＣ）と呼ぶ。
【０００５】
【非特許文献１】
Ｋ．  Ｈ．  Ｔｚｏｕ，Ｔ．  Ｒ．  Ｈｓｉｎｇ，ａｎｄ  Ｎ．Ａ．Ｄａｌｙ：“Ｂｌｏｃｋ−ｒｅｃｕｒｓｉｖｅ  ｍａｔｃｈｉｎｇ  ａｌｇｏｒｉｔｈｍ（ＢＲＭＡ）ｆｏｒ  ｄｉｓｐｌａｃｅｍｅｎｔ  ｅｓｔｉｍａｔｉｏｎ  ｏｆ  ｖｉｄｅｏ  ｉｍａｇｅｓ”，  ＩＥＥＥ  Ｉｎｔ．  Ｃｏｎｆ．  Ａｃｃｏｓｔ．，Ｓｐｅｅｃｈ，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓ．，ＰＰ．３５９−３６２，１９８５
【０００６】
【発明が解決しようとする課題】
上述のように、修正係数γｉをＭＣ後のフレームに乗じてフレーム間予測を行う場合、問題となるのは、同一の修正係数を乗じる領域のサイズ（同一領域内に含まれる画素数）である。領域サイズを小さくとれば、それだけ予測誤差電力を低減できるため、変換係数の符号量の低減につながる。一方、これは、小さな領域毎に付加情報としての修正係数を持つことになるため、修正係数の総数が増加し、修正係数を表現するのに必要な情報量は増大する。つまり、領域サイズと予測誤差の符号量との間にはトレードオフの関係がある。しかし、従来の技術では、こうしたトレードオフに関して最適な領域サイズの設定方法を与えていない。このため、修正係数が乗算される最適な領域サイズを求ようとした場合、候補となる全ての領域サイズに対して符号化を実行する必要があり、処理時間の面で実用に供さなかった。
【０００７】
本発明はかかる事情に鑑みてなされたものであって、フレーム間予測誤差を最小にする修正係数を用いて動き補償を行う画像符号化方法において、同一の修正係数が乗算される領域サイズを最適に決定できる画像符号化方法を実現することにある。
【０００８】
【課題を解決するための手段】
本発明による画像符号化方法は、符号化すべきフレームを複数の単位領域に分割し、分割された各領域毎に動き補償処理を行って予測値を求め、予測値に修正係数を乗算した値を用いて修正動き補償を行う画像符号化方法において、
入力フレーム信号及び動き補償された信号を用いて単位領域の修正係数及び動き補償信号の電力を求める工程と、
前記単位領域の修正係数及び変換係数電力から、ｋを２以上の自然数とした場合に、領域サイズｋの結合領域の修正係数を求める工程と、
前記領域サイズｋの結合領域の修正係数から、領域サイズｋの結合領域の変換係数の電力を求める工程と、
領域サイズｋの結合領域の変換係数の電力から符号化歪みを求める工程と、
前記符号化歪みを最小にする結合領域の領域サイズを求める工程とを具え、
求められた領域サイズ毎に前記予測値に修正係数を乗算することを特徴とする。
【０００９】
本発明の要旨は、次の３点である。まず第１に、複数の単位領域が結合された結合領域の修正係数を規定する式（４）において漸化関係から算出する点である。第２に、修正係数に基づき変換係数を算出し、変換係数電力に基づき符号化歪みを推定する点である。第３に、符号化歪みを最小化する領域サイズを最適な領域サイズとして求め、求められた最適な領域サイズを修正係数が乗算される領域サイズとする点である。
本発明によれば、修正係数が乗算される領域サイズの算出処理が大幅に簡単化されるので、修正動き補償（ＭＭＣ）を高速で行うことができる。
【００１０】
【実施例】
本発明では、ＭＣ誤差信号の符号量と歪みの推定を通して、修正係数が乗算される最適な領域サイズを求める。
【００１１】
本発明では、動き補償すべきフレームを複数の単位領域Ｂｉに分割する。複数の単位領域Ｂｉ（ｉ＝ｓ，・・・，ｓ＋ｋ−１）が結合して結合領域Ｃ（ｓ，ｋ）を構成する。複数の単位領域Ｂｉが結合された結合領域に対するＭＭＣでは、単位領域Ｂｉ毎に修正動き補償を行う場合と比較して、予測誤差が増加する。以下では、その予測誤差の増加量を解析的に示す。結合領域Ｃ（ｓ，ｋ）を
【数６】
2005012473.tif 000009
と表わし、この結合領域の領域サイズをｋとする。このとき、結合領域Ｃ（ｓ，ｋ）において、連続する２つのフレーム間の予測誤差
【数７】
2005012473.tif 000010
を最小化する値Γｓ，ｋは単位領域の修正計数γｉ（ｉ＝ｓ，・・・，ｓ＋ｋ−１）を用いて次のように表わすことができる。
【数８】
2005012473.tif 000011
ここで、動きベクトルｖ（ｐ）は
【数９】
2005012473.tif 000012
であり、動き補償信号の電力σｉ２は、
【数１０】
2005012473.tif 000013
である。フレーム間予測誤差を最小化する値Γｓ，ｋ  を結合領域の修正係数と称することとし、結合領域の修正係数Γｓ，ｋを用いて、結合領域Ｃ（ｓ，ｋ）内の予測値を次のように修正する。
【数１１】
2005012473.tif 000014
領域サイズｋが変化する場合も、結合領域Ｃ（ｓ，ｋ）の修正係数Γｓ，ｋ  は、上記（４）式に従い、単位領域の修正係数γｉ  及び変換係数の電力σｉ  を用いて求めることができる。
【００１２】
本発明では、動き補償符号化を行うに際し、動き補償ブロック直交変換を利用する。動き補償ブロック直交変換では、予測誤差信号に対して直交変換が適用される。以下において、領域サイズの変化に伴う変換係数の電力増加量を示す。
単位領域Ｂｉの左上角の座標および右下角の座標を各々（ｎ＋１，ｍ＋１），（ｎ＋Ｎ，ｍ＋Ｍ）として、この領域に含まれる符号化対象信号ｆｔ（ｐ）ｐ∈｛（ｘ，ｙ）｜ｘ＝ｎ＋１，・・・ｎ＋Ｎ；ｙ＝ｍ＋１・・・，ｍ＋Ｍ｝及びＭＣ信号ｆ′ｔ（ｐ）を行列の形式で次のように表現する。
【００１３】
【数１２】
2005012473.tif 000015
【００１４】
また、直交変換行列をＡとする。このとき、領域サイズをｋとしたＭＭＣの場合、そのＭＭＣ誤差は次のように直交変換される。
【数１３】
2005012473.tif 000016
ここで、符号化対象信号に対する変換係数ｈｉ及びＭＣ信号に対する変換係数
ｈ’ｉ  を
【数１４】
2005012473.tif 000017
とおき、符号化対象のフレームがＩ個の単位領域Ｂｉ（ｉ＝０，１，・・・，Ｉ−１）からなるとすれば、該フレームの全領域におけるＭＭＣ誤差の変換係数の第（ｎ，ｍ）成分の電力Ψｋは、ζｉ＝Γｓ，ｋ（ｉ＝ｓ，・・・，ｓ＋ｋ−１）として、
【数１５】
2005012473.tif 000018
となる。ここで、変換係数ｈｉ［ｎ，ｍ］及びｈ′ｉ［ｎ，ｍ］は、領域サイズには無関係に求まる。また、結合領域の修正係数Γｓ，ｋの計算に必要な単位領域の修正計数γｉ及びＭＣ信号の電力σ２ｉも同様に領域サイズに無関係であり領域サイズに依存しない。従って、これらの値は一度算出しておけば、領域サイズｋの値が変わっても再利用できるため、異なる領域サイズｋについて変換係数の電力を求める場合に計算量を節約できる。尚、（７）式は変換係数の電力と結合領域の修正係数との関係を規定しているから、結合領域についての修正係数Γｓ，ｋから変換係数の電力が求められることになる。
【００１５】
次に、算出した変換係数の電力Ψｋを用いて、領域サイズと変換係数の符号化歪みとの関係を定式化する。ＭＭＣに要する総符号量Ｒは、上述の変換係数の符号量γｅと修正係数の符号量γｃとの和となる。このうち、修正係数の符号量γｃは領域サイズから一意に定まる。各修正係数をρビットで符号化するとすれば、領域サイズをｋとしたＭＭＣでは、Ｉ／ｋ個の修正係数が必要であるため、修正係数の符号量は
【数１６】
2005012473.tif 000019
となる。このため、変換係数の符号化に割り当てられる符号量は
【数１７】
2005012473.tif 000020
となる。上式に従い、変換係数の符号化に用いる符号量をＲ−ρＩ／ｋビットとした場合、達成しうる最小の符号化歪み（量子化誤差）Ｄｋは次のようになる（例えば、参考文献Ｎ．Ｓ．Ｊａｙａｎｔ  ａｎｄ  Ｐ．Ｎｏｌｌ：“Ｄｉｇｉｔａｌ  ｃｏｄｉｎｇ  ｏｆ  ｗａｖｅｆｏｒｍｓ”，Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ，１９８４参照）。
【数１８】
2005012473.tif 000021
ここで、βは変換係数の分布に対応して定まる定数であり、例えば、該分布がラプラス分布の場合はβ＝４．５となる。直交変換として離散コサイン変換（ＤＣＴ）を想定した場合、変換係数の成分毎にみたヒストグラムの分布形状はラプラス分布で近似できることが経験的に知られている。従って、（８）式により、変換係数の電力と符号化歪みとの関係が規定されることになる。
【００１６】
上述した解析に基づけば、符号化歪みを最小化する領域サイズを求める問題は、符号化歪みをＤｋとした場合に、
【数１９】
2005012473.tif 000022
として、式（８）により規定される符号化歪みを最小化する領域サイズｋを求める問題に帰着される。
【００１７】
【発明の実施の形態】
以下、本発明の実施形態を図１を参照して説明する。図１は本発明による修正動き補償符号化方法の一例を示すフローチャートである。なお、領域サイズが１であり、領域結合の単位となる単位領域Ｂｉとしては、例えば、８×８の正方形領域とすることが考えられる。
【００１８】
フレームの領域サイズｋの係数領域についての変換係数の電力Ψｋを求める式（７）の計算を行うために、予め以下の計算を行い、計算結果を格納しておく。入力フレームである原信号に対する直交変換の計算結果である変換係数ｈｉ［ｎ，ｍ］および動き補償されたＭＣ信号に対する直交変換の計算結果である変換係数ｈ′ｉ［ｎ，ｍ］を各々記憶部に格納する（１０１）。これらの値は、領域サイズに依存しないため、以後の計算に利用することができる。
【００１９】
次に、式（４）より結合領域の修正係数Γｓ，ｋを計算するため、領域サイズｋ＝１の領域、すなわち単位領域の修正係数γｉおよび単位領域のＭＣ信号の電力σ２ｉを求め、記憶部に格納する（１０２）。単位領域の修正係数を求める方法として、連続する２つのフレーム間の予測誤差を最小化する値を単位領域の修正係数γｉとして求めることができる。これらの値も領域サイズに依存しないため、以後の計算に利用する。
【００２０】
続いて、最小符号化歪みＤｍｉｎを初期化する。ここでは、領域サイズｋ＝１として式（７），（８）により、符号化歪みＤ１を求め、この値を最小符号化歪みＤｍｉｎの初期値とする（１０３）。また、領域サイズを表わすパラメータｋを２に初期化する（１０４）。
【００２１】
式（４）に従い、領域サイズｋの場合の修正係数Γｓ，ｋを求める（１０５）。ここで、単位領域の修正係数γｉ及び電力σ２ｉについては、ステップ１０２で記憶部に格納した値を参照する。詳細は後述する図５を用いて説明する。
【００２２】
次に、変換係数の電力を求める式（７）に従い、領域サイズｋの場合の変換係数の電力Ψｋを求める（１０６）。ここで、変換係数ｈｉ［ｎ，ｍ］，ｈ′ｉ［ｎ，ｍ］については、ステップ１０１で格納した記憶部の値を参照する。詳細は図６を用いて示す（後述）。
【００２３】
次に、符号化歪みを規定する式（８）に従い、変換係数の符号化歪みＤｋの推定値を各領域サイズ毎に順次求める（１０７）。領域サイズを変えながら符号化歪みＤｋ を計算し、計算の結果得られた符号化歪みＤｋを記憶部に格納されている最小符号化歪みＤｍｉｎの値と順次比較し、格納されている値よりも小さければ、符号化歪みの値ＤｍｉｎとしてＤｋの値を格納し、ｋｍｉｎに当該領域サイズｋの値を格納する（１０９）。領域サイズを表わすパラメータｋを一つ大きな値にインクリメントして比較処理を行う（１１０）。
【００２４】
ステップ１０５乃至１１０の処理は、ｋがＬ以下の間は繰り返す（１１１）。ここで、Ｌは予め定めた領域サイズｋの最大値であり、例えば、サイズＬの領域Ｃ（０，Ｌ）がフレームと同じ大きさの矩形領域となる値を選ぶことが考えられる。ｋが上述の範囲を越えた場合、記憶部に格納されたｋｍｉｎ、すなわち符号化歪みを最小にする領域サイズの値を最適な領域サイズとして出力とする（１１２）。
【００２５】
出力された領域サイズの値は、修正動き補償を行う際の修正係数を乗算する領域サイズとして用いる。この後（２）式により規定される修正動き補償を行い、入力したフレーム信号について符号化処理を行う。
【００２６】
次に、本発明の装置構成について図２〜４を参照して説明する。まず、図２を参照するに、図２は本発明による修正動き補償方法を実施する装置の概念図である。符号化対象となるフレーム信号が入力されると、当該フレームは、最適な領域サイズの推定段２０１及び修正動き補償段２０２にそれぞれ供給される。最適な領域サイズの推定段２０１は、上述した処理にしたがって最適な領域サイズを推定する。そして、推定された最適領域サイズは修正動き補償符号化処理を行うための修正動き補償段２０２に供給され、ここで修正動き補償を行う。
【００２７】
次に、最適な領域サイズの推定段の構成について図３を用いて説明する。入力した符号化すべきフレーム信号すなわち原信号は直交変換回路３０１及び動き補償回路３０２にそれぞれ供給される。直交変換回路３０１は、入力したフレーム信号について直交変換を施し、変換係数ｈを求める。動き補償回路３０２において、原信号に対して、後述する図４におけるフレームメモリのデータを参照フレームとして動き補償を行い、得られたＭＣ信号に対して直交変換回路３０３において直交変換を施し、変換係数ｈ’を求める。次に、修正係数及び電力算出回路３０４において、領域サイズｋ＝１の場合の修正係数γｉおよび同サイズの領域の電力σ２ｉを求める。ここで求めた値は記憶部３０６へ格納される。結合領域の各領域サイズｋ（≧１）に対して、最適領域サイズ決定回路３０５において、式（７）により変換係数の電力を求め、これをもとに式（８）の符号化歪みを求める。この符号化歪みを最小化する領域サイズｋを最適な領域サイズとして出力する。
【００２８】
次に、ＭＭＣの構成を図４に示す。これは、前述の最適な領域サイズに対するＭＭＣである。はじめに、入力フレームと修正係数が乗算された予測値とを用いて予測誤差が形成され、直交変換回路４０１において当該予測誤差が直交変換され、変換係数が求められる。この変換係数は量子化器４０２により量子化され、量子化後の変換係数として出力する。続いて、この量子化された変換係数に対して、逆量子化（４０３）、逆直交され変換（４０４）を行い、その結果得られる復号画像をフレームメモリ４０５に格納する。ここで格納された復号画像が図３における参照フレームとなる。さらに、同じくこの復号画像を参照フレームとして動き補償回路４０６に供給して動き補償を行う。最終的に、動き補償後に得られた予測フレームを修正係数生成回路４０７に供給し、この修正係数生成回路において、式（６）により予測値を修正する。式（６）における領域サイズｋは領域サイズを表わすパラメータとして入力される。図３において出力された最適領域サイズのパラメータがこれにあたる。また、図３の記憶部３０６に格納した領域サイズ１の場合の修正係数および動き補償信号の電力を記憶部３０６から読み出す。本図において出力される量子化後の変換係数および修正係数が、図２における最終的な出力となる。
【００２９】
図１のステップ１０５に示す領域サイズｋの結合領域の修正係数を求める工程の処理の流れを図５に示す。ここでは、領域サイズが１の場合の第ｉ領域の電力σ２ｉおよび同領域に対する修正係数γｉ、さらに領域サイズｋを入力とし、式（４）に対応する処理を行い、領域サイズｋの場合の修正係数Γｓ，ｋを出力とする。
【００３０】
まず、領域サイズを表わすパラメータｋが入力される（５０１）。レジスタｉがｓに初期化され、レジスタｗ１，ｗ２が零に初期化される（５０２）。次に、領域サイズ１の場合の第ｉ領域の電力σ２ｉが、ステップ１０２にて格納した記憶部３０６より読み出される。この値を用いて、レジスタｗ１にσ２ｉを加算する（５０３）。さらに、上述の電力σ２ｉとともに同領域に対する修正係数γｉが、１０２にて格納した記憶部より読み出される。この値を用いて、レジスタｗ２にσ２ｉγｉを加算する（５０４）。続いて、ｉの値をインクリメントする（５０５）。以上のステップ５０３〜５０５の処理をｉがｉ≦ｓ＋ｋ−１を満たす間、繰り返す（５０６）。一方、ｉが上述の範囲を越えた場合、領域サイズｋの場合の修正係数Γｓ，ｋとして、ｗ２／ｗ１を出力する（５０７）。
【００３１】
図１における領域サイズｋの結合領域の変換係数電力を求めるステップ１０６の処理の流れを図６に示す。ここでは、原信号およびＭＣ信号に対する直交変換の計算結果（変換係数），さらに領域サイズｋを入力とし、式（７）に対応する処理を行い、領域サイズｋの場合の変換係数電力を出力とする。
【００３２】
まず、領域サイズを表わすパラメータｋが入力される（６０１）。次に図５で算出したΓｓ，ｋを読み込む（６０２）。図１のステップ１０１で格納した符号化対象信号に対する変換係数ｈｉ［ｎ，ｍ］およびＭＣ信号に対する変換係数ｈ′ｉ［ｎ，ｍ］を記憶部から読み出す（６０３）。続いて、Ｉ，Ｍ，Ｎが初期化される。ここで、ＸＹはフレームの画素数に対応し、ＮＭは領域サイズ１の領域の画素数に対応する（６０４）。
【００３３】
以上の値をもとに以下の繰り返し処理を行う。レジスタｉ，ｗを初期化する（６０５）。ｓ≦ｉ≦ｓ＋ｋ−１の場合、修正係数Γｓ，ｋを修正係数ζｉとして格納する。続いて、（ｈｉ［ｎ，ｍ］−ζｉｈ′ｉ［ｎ，ｍ］）２をレジスタｗの値に加算する（６０６）。ここで、加算された値は第ｉ領域におけるＭＭＣ誤差の変換係数電力の（ｎ，ｍ）成分である。この処理をｉがＩに到達するまで繰り返す（６０７）。一方、ｉがＩと等しくなった場合には、ＭＭＣ誤差の変換係数電力として、ｗの値をレジスタｚ［ｎ，ｍ］に格納する（６０９）。このレジスタｚ［ｎ，ｍ］に格納された値は式（７）に示した領域サイズｋの結合領域の変換係数電力Ψｋ［ｎ，ｍ］である。以上の処理をｎ＜Ｎかつｍ＜Ｍの間繰り返す（６０１）。最終的に、ｚ［ｎ，ｍ］（ｎ＝０，・・・，Ｎ−１；ｍ＝０，・・・，Ｍ−１）の値を出力する（６１２）。
【００３４】
本発明による画像符号化方法についての検証結果について説明する。本発明による効果を検証するため計算機シミュレーションによる符号化実験を行った。実験において用いた画像はＣＩＦ画像（３５２×２８８画素／フレーム）“Ｆｌｏｗｅｒ  Ｇａｒｄｅｎ”及び“Ｍｏｂｉｌｅ  ＆  Ｃａｌｅｎｄｅｒ”の第１フレーム〜第１５０フレームである。ＭＭＣ誤差に対する直交変換はＤＣＴを用いた。イントラフレームの挿入は１５フレーム毎に行い、フレーム間予測は順方向ＭＣを用いた。このとき、１つの動きベクトルに対応するブロックサイズは１６×１６画素とした。
【００３５】
図７に最適ＭＭＣと固定ＭＭＣに対する各フレームのＳＮＲの実験結果を示す。ここで、最適ＭＭＣは修正係数を乗じる領域サイズとして８×８，１６×１６，３２×３２，８８×７２，１７６×１４４，及び３５２×２８８画素の６種類を用意し、本発明に基づきフレーム毎に最適な領域サイズを選択したＭＭＣである。一方、固定ＭＭＣは領域サイズを８×８画素に固定したＭＭＣである。尚、縦軸のＳＮＲは原画像をｆｔ（ｘ，ｙ）、復号画像をｇｔ（ｘ，ｙ）（０≦ｘ≦Ｘ−１，０≦ｙ≦Ｙ−１）として、次式による求めた。
【数２０】
2005012473.tif 000023
符号化の結果、発生する符号量は、修正係数の符号量（固定１６ビットで符号化）とＤＣＴ係数のエントロピーの和である。本実験では、適応ＭＭＣと固定ＭＭＣの場合で符号量がほぼ等しくなるようにＤＣＴ係数の量子化ステップを用いて制御した。各々の符号量は、適応ＭＭＣが０．７１１ビット／画素、固定ＭＭＣが０．７３８ビット／画素である。
【００３６】
本発明では、画像に応じて修正係数を乗じる領域サイズを適応的に切り替えることが可能になった。実験結果によれば、領域サイズを固定したＭＭＣと比較して、ＳＮＲに関して平均約２ｄＢの向上が確認できた。
【００３７】
上述した実施例において、回路ないし手段と表現した構成要素については、ソフトウェアにより処理を実行する場合、具体的回路や手段としてだけではなくソフトウェアの機能として作用するものと解すべきである。
本発明による動き補償符号化方法は、ハードウェアとしてだけでなく、ソフトウェアとしても実現することができ、各種の工程を記録媒体に記録したプログラムとして実現することができる。従って、上述した修正動き補償符号化プログラムの各工程を記録した記録媒体も本発明の範囲に含まれるものである。
【００３８】
【発明の効果】
従来の手法では、符号化歪みを知るには実際に、符号化を実行するしかなかった。これに対し、本発明は領域サイズに対応する符号化歪みを推定する手段をもつ。従って、領域サイズ毎に逐一符号化を実行することなしに、最適な領域サイズを求めることができるようになる。
さらに、本発明によれば、修正係数が乗算される領域サイズの算出工程を大幅に簡単化することができるので、領域サイズの最適化まで含めた修正動き補償を一層高速に実行することができ、符号化画像の画質を向上させることができる。
【図面の簡単な説明】
【図１】本発明による画像符号化方法の一連の工程を示すフローチャートである。
【図２】本発明による画像符号化装置の概念図である。
【図３】図２に示す最適な領域サイズ推定段の一例の構成を示す図である。
【図４】図２に示す修正動き補償段の一例の構成を示す図である。
【図５】領域サイズｋの係数領域の修正係数を求める工程を示す図ある。
【図６】領域サイズｋの係数領域の変換係数電力を求める工程を示す図である。
【図７】本発明による適応ＭＭＣと固定ＭＭＣのフレーム毎のＳＮＲを示す図である。
【符号の説明】
２０１  最適な領域サイズ推定段
２０２  修正動き補償段
３０１，３０３  直交変換回路
３０２  動き補償回路
３０４  領域サイズ１の修正係数及び電力算出回路
３０５  最小符号化歪み検出回路
３０６  記憶部
４０１  直交変換回路
４０２  量子化器
４０３  逆量子化器
４０４  逆直交変換回路
４０５  フレームメモリ
４０６  動き補償回路
４０７  予測値修正回路
【図１】
2005012473.tif 000024
【図２】
2005012473.tif 000025
【図３】
2005012473.tif 000026
【図４】
2005012473.tif 000027
【図５】
2005012473.tif 000028
【図６】
2005012473.tif 000029
【図７】
2005012473.tif 000030