(57)【特許請求の範囲】
【請求項１】
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化方法であって、
入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求める動き推定ステップと、
前記規定の動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る第１の動き補償ステップと、
前記規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定を実行し、規定外の動きベクトルを得、前記規定外の動きベクトルを使用して、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第２の動き補償ステップと、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化ステップと、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化ステップと、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得るステップとを含む、動き補償画像符号化方法。
【請求項２】
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化方法であって、
入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得る動き推定ステップと、
前記規定外の動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る第１の動き補償ステップと、
前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第２の動き補償ステップと、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化ステップと、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化ステップと、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得るステップとを含む、動き補償画像符号化方法。
【請求項３】
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化装置であって、
入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求める動き推定手段と、
前記規定の動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る第１の動き補償手段と、
前記規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定し規定外の動きベクトルを得、前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第２の動き補償手段と、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化手段と、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化手段と、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る可変長符号化手段と
を含む、動き補償画像符号化装置。
【請求項４】
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化装置であって、
入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得る動き推定手段と、
前記規定外の動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得て、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る第１の動き補償手段と、
前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第２の動き補償手段と、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化手段と、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化手段と、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る可変長符号化手段と
を含む、動き補償画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するため、より少ない情報量で動画像信号を符号化する高能率符号化であって、動き補償を伴うフレーム間予測により、予測残差を符号化する動き補償画像符号化処理に属する。
【背景技術】
【０００２】
＜動き補償フレーム間予測符号化＞
動画像信号の符号化は、動き補償フレーム間予測符号化が一般的となっている。ＭＰＥＧに代表される国際標準規格もこの方式となっている。入来する動画像信号は、入来信号に対応する予測信号が減算され、予測残差が符号化される。予測信号は動き補償により形成されるが、そのブロック形状やサイズ・精度は規格で定められている。なお、動き補償精度とは、どの程度細かな単位まで動き補償するかであり、動きベクトルの確からしさや、動き補償の総合的な性能(予測残差量)を指すものではない。
【０００３】
標準方式においては、Ｈ.２６１が１画素精度、ＭＰＥＧ-１,２,４が０.５画素精度、ＭＰＥＧ-４
Advanced Simple Profile, Ｈ.２６４, ＳＭＰＴＥのＶＣ-１が０.２５画素精度と、新しく標準化されるものほど高精度になっている。ブロック形状はすべて方形である。ブロックサイズはＭＰＥＧ-２までは１６×１６画素が基本で、ＭＰＥＧ-４,
ＶＣ-１で８×８画素、Ｈ.２６４では４×４画素となっており、より細かな変化まで対応している。動き補償精度が高いほど、またブロックサイズが小さいほど予測残差は少なくできるが、動きベクトルに関する情報は増加する。そこで、ブロックサイズは、予測残差量を観測しながら適応的に切替える。
【０００４】
これらの標準方式において、規格で定められているのは復号化処理であり、符号化においても局部復号化処理は規格に準拠したものとなる。ここで、共通の動き補償で得た予測画像を局部復号での加算と予測減算の両方に用いるのが一般的であるが、予測の方は本来自由であり、動き補償に関しても必ずしも局部復号と同一である必要は無い。そこで、予測と局部復号で動き補償精度を変えた符号化が提案されている。
【０００５】
＜予測と局部復号で動き補償精度を変えた画像符号化＞
図３は、予測と局部復号で動き補償精度を変えた画像符号化の従来例構成を示したものである。この手法は、特許２８９７６４９（登録日：平成１１年３月１２日）「動き補償予測符号化装置」で示されている。また、類似する技術として予測と局部復号で動き補償のリサンプルフィルタを変えたものが、特開平１１−１６４３０６（公開日：平成１１年６月１８日）「動き補償動画像符号化装置及びその方法」で示されている。
【０００６】
動画像入力１から入来する動画像信号は、減算器２で微小動き補償器３２から与えられる高精度予測信号が減算され、得られた予測残差信号がＤＣＴ３に与えられる。ＤＣＴ３は、予測残差信号を８×８画素単位で離散コサイン変換（ＤＣＴ）し、係数を得る。係数は量子化器４で所定ステップ幅にて量子化され固定長符号となり、可変長符号化器５で可変長符号化され、情報圧縮された予測残差となる。
【０００７】
固定長符号の係数は、逆量子化器９で逆量子化されて局部復号係数となり、ＩＤＣＴ１５でＤＣＴ３の逆変換が行われ、局部復号予測残差となる。局部復号予測残差は、加算器１４で動き補償器８から与えられる規定精度の動き補償予測信号が加算され、局部復号画像となって参照画像メモリ１３に蓄えられる。
【０００８】
一方、動き推定器１２は、入来画像信号と参照画像メモリ１３から得た参照画像から動き推定を行う。動き推定の規定精度は、ブロックサイズが１６×１６画素の方形、動き補償精度が０.５画素であり、得られた動きベクトルの精度もこれと同一である。この規定精度の動きベクトルは、微小動き推定器３１と、動き補償器８、可変長符号化器１６に与えられる。動き補償器８は、規定精度の動きベクトルで、参照画像メモリ１３に格納されている画像間予測の参照画像を動き補償し、得られた規定精度の予測信号を加算器１４と微小動き補償器３２に与える。
【０００９】
微小動き推定器３１は、規定精度の動きベクトルを元にして、その周辺について０.２５画素精度で再探索を行う。得られた微小動きベクトルは微小動き補償器３２に与えられる。微小動き補償器３２は、規定精度の予測画像を、微小動きベクトルに従って微小に移動する。この移動は、１画素以下の処理なので、リサンプリングフィルタの係数を変更することで実現される。このようにして得られた高精度予測信号は減算器２に与えられる。
【００１０】
可変長符号化器５は、固定長符号となった予測残差を可変長符号化し、可変長符号化器１６は、規定精度の動きベクトルを可変長符号化する。それぞれの可変長符号は多重化器１０で、符号多重化され、符号列となって、符号列出力１１から出力される。
【００１１】
このような符号化は、画像間予測と局部復号で同一の予測信号を用いる通常の画像間予測符号化と比較して、再生画質が大きく異なる。予測自体は高精度化されているので、微小な動き補償ずれの成分は削除され、レベル方向の変化や大きな変化は予測残差となる。従って、予測残差量は減り、転送ビットレートが同一なら量子化が細かくなる。復号化における動き補償は、規格精度のままなので、本来の予測残差の中で、微小な動き補償ずれの成分は無視され、レベル方向の変化や大きな変化は、逆に再現性が良くなる。その結果、再生画像は各フレーム微小に位置ずれを生じるが、ノイズや歪感の少ない再生画像となる。発生する微小な位置ずれは、規定の動き補償精度(ＭＰＥＧ２なら０.５画素)以下であり、フレームにより変化するので、視覚的に検知されにくい。なお、局部復号化の動き補償は規定精度で行うので、エンコーダとデコーダ間のミスマッチは無く、誤差が残留(蓄積)することは無い。
【特許文献１】特許２８９７６４９号明細書
【特許文献２】特開平１１−１６４３０６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
従来の動き補償画像符号化は、規定精度より高い精度で画像間予測の動き補償を行うので、予測残差を規定精度の場合より少なくすることが可能であったが、カメラのズーミングなどによる画像変化、画像の上と下での時間ずれで生じる菱形歪、画像内オブジェクトの回転など平行移動以外の動きによる変形などは、方形の平行移動を基本とする従来の動き補償では、精度を上げたとしても適切な予測ができず、予測残差は多いままであった。
【００１３】
本発明は以上の点に着目してなされたもので、局部復号化処理のための動き補償は規定のブロック形状で行い、画像間予測の動き補償は、規定外のブロック形状の変形を含めて動き補償することで、平行移動以外の動きによる変化についても予測残差を軽減することが可能であり、予測残差の量子化が細かくなるので高画質の再生画像が得られる動き補償画像符号化方法及び動き補償画像符号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化において、入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求め、その動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る。続けて、規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定し規定外の動きベクトルを得て、その動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る。そして、被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得て、それを逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る。最後に、前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る動き補償画像符号化方法及び動き補償画像符号化装置である。
【００１５】
また、復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化において、入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得て、その動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得て、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る。続けて、前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る。そして、被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得て、それを逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る。最後に、前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る動き補償画像符号化方法及び動き補償画像符号化装置である。
【発明を実施するための最良の形態】
【００１６】
＜第１の実施例動き補償画像符号化＞
本発明の第１の実施の形態の動き補償画像符号化について説明する。図１は、その構成を示したもので、図３の従来例と同一構成要素には同一付番を記してある。図１には、図３と比較して微小動き推定器３１の代わりに形状変形推定器６、微小動き補償器３２の代わりに変形動き補償器７がある。
【００１７】
本発明の第１の実施の形態において、従来例と異なるのは残差を得るための予測信号の形成方法で、予測残差の符号化方法や局部復号処理は基本的に従来例と同じである。
【００１８】
＜符号化処理＞
動画像入力１から入来する動画像信号は、減算器２で変形動き補償器７から与えられるブロック形状の変形を含めて動き補償された予測信号が減算され、得られた予測残差信号がＤＣＴ３に与えられる。ＤＣＴ３は、予測残差信号を８×８画素単位で離散コサイン変換（ＤＣＴ）し、係数を得る。係数は量子化器４で所定ステップ幅にて量子化され固定長符号となり、可変長符号化器５で可変長符号化され、情報圧縮された予測残差となる。これらの符号化処理は、予測信号以外従来例と同一であるが、予測信号の変化に伴って予測残差はより少なくなり、発生符号量は減少する。発生符号量が等価になるように量子化が制御された場合、量子化ステップ幅は細かくなり、量子化誤差は少なくなる。
【００１９】
固定長符号の係数は、逆量子化器９で逆量子化されて局部復号係数となり、ＩＤＣＴ１５でＤＣＴ３の逆変換が行われ、局部復号予測残差となる。局部復号予測残差は、加算器１４で動き補償器８から与えられる標準精度の動き補償予測信号が加算され、局部復号画像となって参照画像メモリ１３に蓄えられる。これらの局部復号化処理は、基本的に従来例と同一である。
【００２０】
一方、動き推定器１２は、入来画像信号と参照画像メモリ１３から得た参照画像から動き推定を行う。動き推定は、ブロック形状が方形、ブロックサイズが１６×１６画素、動き補償精度が０.５画素で行われ、得られた動きベクトルはこの規定に合致したものである。この規定の動きベクトルは、形状変形推定器６と、動き補償器８、可変長符号化器１６に与えられる。動き補償器８は、規定の動きベクトルで、参照画像メモリ１３に格納されている画像間予測の参照画像を動き補償し、得られた規定の予測信号を加算器１４に与える。
【００２１】
形状変形推定器６は、規定の動きベクトルで形成される方形ブロックを元にして、画像の形状変形について再探索を行う。得られた形状変形に関する情報は、規定の動きベクトルと共に変形動き補償器７に与えられる。変形動き補償器７は、参照画像メモリ１３から規定の動きベクトルに従って予測信号形成に必要な画素を読み出し、その画素を形状変形に関する情報(規定の動きベクトルの画素以下の位置情報を含む)を用いて変形する。このようにして得られたブロック形状の変形を含めて動き補償された予測信号は減算器２に与えられる。
【００２２】
可変長符号化器５は、固定長符号となった予測残差を可変長符号化し、可変長符号化器１６は、規定の動きベクトル情報を可変長符号化する。それぞれの可変長符号は多重化器１０で、符号多重化され、符号列となって、符号列出力１１から出力される。これら可変長符号化処理は、従来例と同じである。
【００２３】
＜形状変形推定と変形動き補償＞
形状変形推定器６及び変形動き補償器７の動作について詳細に説明する。これは、従来例の微小動き推定器３１及び微小動き補償器３２が単なる動き補償精度向上であったのに対し、ブロック内の画素単位で動き補償を変化させ、動きに伴う画像の変形に対応するものである。基本的な考えはアフィン変換に類似するが、アフィン変換による動き補償やグローバル動き補償と呼ばれる手法と異なるのは、形状変形の範囲を最大１画素程度に留め、必ずしも被予測画像に適合するまで変形させない点である。これは、局部復号の動き補償とのズレが大きくなると、再生画像の歪も大きくなってしまうためである。
【００２４】
形状変形の候補は、図４に示されるようなひし形や台形のもの、全体に縮小や拡大したもの、さらに直線でなく曲線を用いた糸巻き形状やタル形状もありうる。直線のみについて汎用化すると、図５(ａ)に示されるようブロックの４端の位置を２次元的に移動させることで各種形状が実現できる。この場合、端の移動量を±１画素のみとしても、水平と垂直で３×３で９通りあり、４端のすべての組み合わせでは、９×９×９×９で６５６１パターンとなる。さらに、±０.５画素も加えると５×５で２５通りとなり、２５×２５×２５×２５で３９０６２５パターンとなる。これらをすべて探索するのは容易でない。
【００２５】
より合理的な形状推定の方法としては、図６(ａ)に示されるように１６×１６画素ブロックを４分割した８×８画素ブロックで通常の動きベクトル探索を行う。８×８画素ブロックは方形のままで形状の変形は行わない。この探索は規定の動きベクトルを基準にして探索範囲０.７５画素、探索精度０.２５画素で行う。その結果確定した４個の動きベクトルを、それぞれの８×８画素ブロックの中心での移動量とみなし、推定される変形パターンを決定する。各８×８画素ブロックの探索は、通常の動き補償精度のみを向上させた再探索と同じで、垂直と水平で７×７の４９パターンとなり、容易に実現できる。
【００２６】
動き推定及び動き補償での各画素値の形成であるが、図５(ｂ)に示されるようにブロックの形状が決まると、それを均等に分割することで各画素の位置が決まる。この位置は図７に示されるように０.２５画素精度に丸められ、各画素は周辺画素から補間フィルタで形成される。なお、図５は四角形が画素位置であるが、図７は破線の交点が本来の仮想位置で、それに対して破線の丸印がフィルタ処理上の画素位置である。かなり位置がずれているようであるが、画素値として生じる誤差は大きくない。形成された画素は、動き推定では通常のブロックマッチングと同様に対象画像と差分が取られ、ブロックの平均二乗誤差または絶対値の合計により評価される。
【００２７】
画素値形成のフィルタは、形状変形推定器６では線形補間など簡単なものでも良いが、変形動き補償器７では周辺画素を用いたさらに高次のフィルタが望まれる。図８にその例を示すが、０.５画素位置は周辺６画素を用いて形成し、０.２５画素及び０.７５画素位置は、元からの画素位置の画素と補間された０.５画素位置の画素の平均で与えられる。
【００２８】
＜第２の実施の形態の動き補償画像符号化＞
本発明の第２の動き補償画像符号化について説明する。図２は、その構成を示したもので、図１の第１の実施の形態と同一構成要素には同一付番を記してある。図２には、図１と比較して動き推定器１２と形状変形推定器６の代わりに、動き変形推定器２１と動き情報形成器２２がある。処理動作として異なるのは、規定の動きベクトルの形成方法であり、第１の実施の形態は、規定の動きベクトルを先に決定するが、第１の実施の形態は、形状変形情報を踏まえた上で規定の動きベクトルを決定する。この場合、ブロック変形を含めた動きベクトルと規定の動きベクトルの両方を最適化でき、総合的な性能を向上させやすいと言える。
【００２９】
動画像入力１から符号列出力１１までの予測符号処理と、逆量子化９から参照画像メモリ１３までの局部復号処理、動き補償器８と変形動き補償器７の処理動作は、図１の第１の実施の形態と同一である。
【００３０】
動き変形推定器２１の動作は、図１の動き推定器１２と形状変形推定器６の両方を行うのと類似する。ただし、必ずしも規定の動きベクトルを元にする必要は無く、動きと形状変化の両方を同時に探索して、最適な動きと形状変化を決定できる。得られた動きベクトルと形状変化の情報は、変形動き補償器７と動き情報形成器２２に与えられる。
【００３１】
動き情報形成器２２は、規定の動きベクトルを形成するものであるが、確定している動きベクトルと形状変化から、最も誤差が少なくなる動きベクトルを求める。これは図６(ｂ)に示されるように動きベクトルと形状変化で表される形状と重なり合う領域が最も多くなるようにすればよい。このようにして得た規定の動きベクトルは、図１の動き推定器１２で得た動きベクトルと微妙に異なり、変形動き補償で得た画像とのずれはより少なくなっている。
【００３２】
本発明は、局部復号化処理のための動き補償は規定の方形ブロックで行い、画像間予測の動き補償は、規定外の方形ブロック以外のブロック形状の変形を含めて動き補償することで、カメラのズーミングなどによる画像変化、画像の上と下での時間ずれで生じる菱形歪、画像内オブジェクトの回転など平行移動以外の動きによる変形についても予測残差を軽減することが可能であり、予測残差の量子化が細かくなるので高画質の再生画像が得られる。予測画像の変形量は、局部復号で用いる動き補償に対して最大１画素程度に限定されるので、予測残差として符号化されない成分は微小なずれであり、大きな変形やレベル変化は予測残差に残存するので、符号化され再生される。
【００３３】
さらに、動きベクトルと共に規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、得られた規定外の動きベクトルからブロック形状の変形に関する情報を削除して、方形ブロックのみに対応する規定の動きベクトルを得ることで、規定の動きベクトルも好都合な値とでき、総合的に最適な動き補償を形成することが可能となる。
【図面の簡単な説明】
【００３４】
【図１】本発明の第１の実施の形態の動き補償画像符号化の構成例を示す図。
【図２】本発明の第２の実施の形態の例動き補償画像符号化の構成例を示す図。
【図３】従来例の動き補償画像符号化の構成例を示す図。
【図４】ブロック変形の実施の形態を示す図。
【図５】２次元ブロック変形と画素の実施の形態を示す図。
【図６】小ブロックからの形状推定と規定の動きベクトルの形成の実施の形態を示す図。
【図７】画素位置の丸めと画素移動の実施の形態を示す図。
【図８】０.２５画素精度動き補償の実施の形態を示す図。
【符号の説明】
【００３５】
１…動画像入力、２…減算器、３…ＤＣＴ、４…量子化器、５、１６…可変長符号化器、６…形状変形推定器、７…変形動き補償器、８…動き補償器、９…逆量子化器、１０…多重化器、１１…符号列出力、１２…動き推定器、１３…参照画像メモリ、１４…加算器、１５…ＩＤＣＴ、２１…動き変形推定器、２２…動き情報形成器、３１…微小動き推定器、３２…微小動き補償器
【図１】
0004645515.tif 000002
【図２】
0004645515.tif 000003
【図３】
0004645515.tif 000004
【図４】
0004645515.tif 000005
【図５】
0004645515.tif 000006
【図６】
0004645515.tif 000007
【図７】
0004645515.tif 000008
【図８】
0004645515.tif 000009