(57)【特許請求の範囲】
【請求項１】
動き補償画像間予測をして符号化を行う動画像の動き補償符号化装置において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求める仮動き推定手段と、
前記仮動きベクトルの変化の程度を前記ブロックが複数統合された統合ブロック単位で求める動きベクトル活性度検出手段と、
前記入力画像の空間的に高い周波成分の程度を前記統合ブロック単位で求める高周波成分検出手段と、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定する動きベクトル精度選択手段と、
前記選定の動きベクトル精度で実際の動き補償で用いる動きベクトルを求める本動き推定手段と、
前記動きベクトルを用い動き補償画像間予測信号を形成する手段と、
前記動きベクトルを符号化する手段とを有することを特徴とする動き補償符号化装置。
【請求項２】
請求項１に記載された動き補償符号化装置において、
前記動きベクトル活性度検出手段は、
仮動きベクトルの空間的差分を得る差分検出手段と、
前記差分検出手段の出力が供給されて前記差分の絶対値を得る絶対値化手段と、
前記絶対値化手段の出力が供給されて前記絶対値を統合ブロック単位に加算して平均値を得る累積加算手段とを有する構成としたことを特徴とする動き補償符号化装置。
【請求項３】
動き補償画像間予測をして符号化を行う動画像の動き補償符号化方法において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求め、
前記仮動きベクトルの変化の程度を、前記ブロックが複数統合された統合ブロック単位で求め、
前記入力画像の空間的に高い周波成分の程度を、前記統合ブロック単位で求め、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定し、
前記精度で実際の動き補償で用いる動きベクトルを求め、
前記動きベクトルを用い、動き補償画像間予測信号を形成し、
前記動きベクトルの情報を符号化することを特徴とする動き補償符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化に係り、特に動き補償画像間予測処理を行い、そこで動きベクトル情報を符号化して復号側に伝送するものに関する。
【０００２】
【従来の技術】
＜動き補償画像符号化＞
動画像の高能率符号化において、画像間予測を行う際に動きに合わせて画像の各部分をブロック毎に移動させてから予測する手法がある。このような画像の空間的な移動処理は動き補償と呼ばれ、ＭＰＥＧ等国際標準方式でも広く用いられている。動き補償は一般に１６×１６画素乃至８×８画素単位で行われ、画像の動き（動きベクトル）もその単位で求められる。
動きベクトル（ＭＶ）の精度としては、１画素または２分の１画素（０．５画素）が一般的である。０．５画素の場合は空間的に移動した画素を、更に内挿して本来の画素の中間に相当する画素を作る。画像間予測で動き補償を用いた場合、復号化でも符号化と同じ動き補償を行う必要があるので、ＭＶは符号化され復号側に伝送される。
【０００３】
＜従来の符号化装置＞
図７に上記のような動き補償を行う符号化装置の構成例を示す。
画像入力端子１から入来する画像信号は、予測減算器２において動き補償予測器７２から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ３に与えられる。ＤＣＴ３は８×８画素単位で離散コサイン変換（ＤＣＴ）の変換処理を行い、得られた係数を量子化器４に与える。
量子化器４は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器５と逆量子化器９に与える。一般に、量子化のステップ幅は転送レートを一定に保持するために発生符号量により制御される。
可変長符号化器５はジグザグスキャンと呼ばれる順序で、２次元の８×８個の係数を１次元に配列変換し、係数を０の連続数と０以外の係数の値としてハフマン符号で符号化する。このようにして符号列となった画像間予測残差信号は、多重化器１０で動きベクトル（ＭＶ）の符号列と多重化され、符号出力端子１１より出力される。
【０００４】
一方、逆量子化器９及び逆ＤＣＴ１６ではＤＣＴ３及び量子化器４の逆処理が行われ、画像間予測残差を再生する。得られた予測残差には加算器１５で予測信号が加算され再生画像となり、画像メモリ１４に蓄えられる。画像メモリ１４からは再生画像が動き推定器７１と動き補償予測器７２とに与えられる。
逆量子化器９から画像メモリ１４までの処理は局部復号と呼ばれ、基本的に復号化装置と同じ処理となる。動き補償予測器７２は、動き推定器７１から与えられる動きベクトルに従って、画像メモリ１４に蓄積されている画像をブロック毎に移動させ、画像間予測信号を得る。動き補償された予測信号は、減算器２及び加算器１５に与えられる。
【０００５】
動き推定器７１では、動き補償のブロック単位で画像メモリ１４に蓄積されている再生画像を移動させて入力画像とブロックマッチングを取り、最もマッチングが良好となる（誤差の少ない）移動をＭＶとする。得られたＭＶは動き補償予測器７２の他に、符号化のためＭＶ符号化器７３にも与えられる。ＭＶの精度は０．５画素である。
ＭＶ符号化器７３では、符号化済みの前（通常は左）ブロックの値と符号化対象となるブロックのベクトル値を水平成分、垂直成分毎に比較し、その差分値をハフマン符号で符号化する。得られたＭＶの符号列は多重化器１０で、画像間予測残差の符号列と多重化される。
【０００６】
＜従来の画像復号化装置＞
図７の動き補償符号化装置に対応する復号化装置について以下に説明する。
図８は、その復号化装置の構成を示したものである。
符号入力端子２１より入来する符号は、多重分離器２２で画像間予測残差の符号列と動きベクトル（ＭＶ）の符号列とに分離される。画像間予測残差の符号列は可変長復号化器２３で固定長の符号に戻され、得られた８×８の係数は逆量子化器９に与えられる。逆量子化器９、逆ＤＣＴ１６で再生予測残差となり、加算器１５で予測信号が加算され再生画像となる。
【０００７】
このようにして得られた再生画像は、画像出力端子２４から出力されると共に画像メモリ１４に与えられる。動き補償予測器７２では、ＭＶ復号化器８１から与えられるＭＶに従って、画像メモリ１４に蓄えられている画像を動き補償し、得られた画像間予測信号を加算器１５に与える。ここで、加算器１５、逆量子化器９、逆ＤＣＴ１６の動作は図７の符号化装置のものと同じである。
一方、多重分離器２２で分離されたＭＶの符号列は、ＭＶ復号化器８１で図７の可変長符号化器７３の逆処理が行われ、得られたＭＶ情報が動き補償予測器７２に与えられる。
【０００８】
【発明が解決しようとする課題】
従来の動き補償符号化装置は、画像の内容に関係なく固定的に動きベクトル  （ＭＶ）の精度が設定されていた。そのため、自己相関が低い（高い周波数成分が多い）画像は、ＭＶの精度が不十分で予測誤差が発生し、早い動き等で自己相関が高くなる（高い周波数成分が少なくなる）画像は、高いＭＶの精度は必要なく、逆にＭＶの情報が無駄になる。このような問題は、動き補償のブロックを小さくし、ＭＶの情報量が多くなる程顕著になる。
本発明は以上の点に着目してなされたもので、所定精度で仮に求められたＭＶの変化の程度と画像の高い周波数成分の程度を判定基準として、ＭＶを複数個束ねた単位でＭＶの精度を選定することで適切なＭＶの精度で動き補償することになり、符号量削減が可能になる動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
そこで、本発明は、上記課題を解決するために以下の装置及び方法を提供するものである。
（１）動き補償画像間予測をして符号化を行う動画像の動き補償符号化装置において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求める仮動き推定手段と、  
前記仮動きベクトルの変化の程度を前記ブロックが複数統合された統合ブロック単位で求める動きベクトル活性度検出手段と、
前記入力画像の空間的に高い周波成分の程度を前記統合ブロック単位で求める高周波成分検出手段と、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定する動きベクトル精度選択手段と、
前記選定の動きベクトル精度で実際の動き補償で用いる動きベクトルを求める本動き推定手段と、
前記動きベクトルを用い動き補償画像間予測信号を形成する手段と、
前記動きベクトルを符号化する手段とを有することを特徴とする動き補償符号化装置。  
（２）上記（１）に記載された動き補償符号化装置において、
前記動きベクトル活性度検出手段は、
仮動きベクトルの空間的差分を得る差分検出手段と、
前記差分検出手段の出力が供給されて前記差分の絶対値を得る絶対値化手段と、
前記絶対値化手段の出力が供給されて前記絶対値を統合ブロック単位に加算して平均値を得る累積加算手段とを有する構成としたことを特徴とする動き補償符号化装置。  
（３）動き補償画像間予測をして符号化を行う動画像の動き補償符号化方法において、
入力画像から動き補償のブロック毎に所定精度の仮動きベクトルを求め、
前記仮動きベクトルの変化の程度を、前記ブロックが複数統合された統合ブロック単位で求め、
前記入力画像の空間的に高い周波成分の程度を、前記統合ブロック単位で求め、
前記仮動きベクトルの変化の程度と前記高い周波数成分の程度から、前記仮動きベクトルの変化の程度が低く、かつ、前記高い周波数成分の程度が大きな場合は動きベクトルの精度が高くなるように、逆に前記仮動きベクトルの変化の程度が高く、かつ、前記高い周波数成分の程度が小さい場合は動きベクトルの精度が低くなるように、動きベクトルの精度を前記統合ブロック単位で選定し、
前記精度で実際の動き補償で用いる動きベクトルを求め、
前記動きベクトルを用い、動き補償画像間予測信号を形成し、
前記動きベクトルの情報を符号化することを特徴とする動き補償符号化方法。
【００１０】
（  作  用  ）
本発明では、仮に求められた動きベクトル（ＭＶ）の変化の程度と画像の高い周波数成分の程度とを判定基準に使うが、ＭＶの変化の程度は動きベクトル情報量と密接に関係し、画像の高い周波数成分の程度は、動き補償画像間予測で必要となる動きベクトルの精度と密接に関係する。それらに基づきＭＶを複数個束ねた単位でＭＶの精度を選定することで、画像間予測残差の符号量とＭＶの符号量の関係で、総符号量の少なくなるＭＶの精度が選定される。
動き補償精度の情報が追加されるが、数十ブロックで１乃至２ビット程度の情報量なので無視できる程度である。
【００１１】
【発明の実施の形態】
＜動き補償符号化装置の実施例＞
本発明の動き補償符号化装置の一実施例について、以下に図１、図２乃至図６と共に説明する。図１は、その構成を示したもので、図７の従来例と同一構成要素には同一付番を記してある。図１には、図７と比較して仮動き推定器６、高域検出器７、活性度検出器１２、ＭＶ精度選択器１３がある。また、動き推定器１７、動き補償予測器８、可変長符号化器１８の動作が従来例と異なる。
実施例において、従来例と異なるのは動き補償画像間予測処理であり、予測残差の符号化処理や局部復号処理は同じである。従って、図１で画像入力端子１、減算器２、ＤＣＴ３、量子化器４、可変長符号化器５、逆量子化器９、加算器１５、逆ＤＣＴ１６、符号出力端子１１の動作は従来例と同じである。
【００１２】
以下本発明の特徴となる動き推定及び動き補償、ＭＶ情報の符号化について説明する。
画像入力端子１を介して入来する入力信号（入力画像）は、減算器２の他に仮動き推定器６、高域検出器７にも供給される。
仮動き推定器６では、入力信号から従来例と同様な動き補償のブロック単位で１画素精度の仮ＭＶが求められ、活性度検出器１２に与えられる。
活性度検出器１２では、図６に示されるような６４個の動き補償ブロックが束ねられた統合ブロック単位で、ＭＶの活性度が求められ、ＭＶ精度判定器１３に与えられる。
【００１３】
ＭＶ活性度検出器１２の具体的な処理回路の一実施例の構成を図３に示す。
活性度検出は、ＭＶ値の水平方向成分と垂直方向成分との夫々に施される。
ＭＶ値は差分検出器３１で差分が取られ、その差分値が絶対値化器３２に与えられる。差分はＭＶ符号化器１８の処理に合わせて、符号化が横の隣接ブロックとの差分なら、ここにおいても横の隣接ブロックとの差分を取る。絶対値化器３２は、差分値を絶対値にし、累積加算器３３に与える。累積加算器３３は、絶対値化された値を統合ブロック分の６４個分加算し、さらに水平成分と垂直成分を加算して平均値を得る。双方向予測等、ＭＶが２つある場合は、両方のＭＶを別々に加算して、その値の少ない方を出力する。
【００１４】
一方、高域検出器７は入力信号から統合ブロック単位で、高い周波数成分がどの程度かを検出して、その結果をＭＶ精度判定器１３に与える。
高域検出器７の内部処理回路の一実施例の構成を図４に示す。入力画像は６４×６４画素の大ブロック単位で、各画素に高域通過フィルタ（ＨＰＦ）が施される。
空間ＨＰＦ４１は、図のような２次元の演算または垂直及び水平の縦続処理で、ＤＣ成分を含む低い周波数成分が抑圧される。低域が抑圧された空間ＨＰＦ４１の出力信号は、絶対値化器４２で絶対値にされ、累積加算器４３に与えられる。
累積加算器４３は、絶対値を統合ブロックの4096画素分加算して、平均値を得る。
【００１５】
ＭＶ精度判定器１３は、高域検出器７の出力と活性度検出器１２の出力とから得られる２つの値から、ＭＶの精度を１画素とするか、０．５画素とするか、又は、０．２５画素とするかを図５に示したようなＭＶ精度判定表のグラフの基準に照らして、統合ブロック毎に決定する。決定されたＭＶの精度（１、０．５、又は、０．２５画素精度）は、動き推定器１７に与えられる。ＭＶ精度判定器１３は、大ブロック毎に入力される２値から、予め統計的に求められ発生符号量に基づき設定された２次元閾値によりＭＶの精度を決定する。具体的には図５に示したようなグラフをＭＶ精度判定表として、ＭＶ活性度が低く、高域（高周波成分）が多い場合は０．２５画素精度と判定し、逆にＭＶ活性度が高く、高域が少ない場合は１画素精度と判定する。両者の中間程度の場合には０．５画素精度とする。
【００１６】
動き推定器１７は、与えられたＭＶの精度で、与えられた入力画像及び局部復号画像とからＭＶを求める。動き推定器１７により求められたＭＶの情報は、動き補償予測器８とＭＶ符号化器１８とに与えられる。なお、ＭＶの情報には画素精度の情報も含まれる。
動き推定器１７でＭＶは新たに求めても良いが、仮動き推定器６で求めた仮ＭＶを用いても良い。最も処理量の少ない方法は、ＭＶの精度が１画素の場合は、仮ＭＶをそのままＭＶとする方法である。そして精度が０．５画素なら、１画素精度の仮ＭＶを基準に周辺ＭＶに付いて０．５画素精度で再探索し、求められた０．５画素精度ＭＶを最終的なＭＶとする。ＭＶの精度が０．２５画素の場合は、前記方法で０．５画素のＭＶを求めた後に、それを基準に０．２５精度で再探索し、求められた０．２５画素精度ＭＶを最終的なＭＶとする。
【００１７】
動き補償予測器８は、与えられたＭＶに従って画像メモリ１４に保持されている再生画像を空間的に移動させ、画像間予測信号として減算器２と加算器１５に与える。ＭＶは精度が変化するので、１画素の場合は画素単位の移動処理のみで済むが、０．５精度と０．２５精度の場合はリサンプル処理が必要になり、その精度が異なる。
【００１８】
ＭＶ符号化器１８は、基本的な処理動作は従来例と同じであるが、各ＭＶの値はＭＶの精度で正規化して、ＭＶの精度の情報を別に付けるのが合理的である。つまり、差分に対する可変長符号表は整数値に対するもの１種類を用意し、１画素精度の場合はそのまま、０．５画素精度の場合は値を２倍し、０．２５画素精度の場合はその値を４倍して、すべて整数として共通の符号表を用いる。そして、統合ブロック単位で、ＭＶの精度の符号を付随させる。
【００１９】
ＭＶの精度の情報は統合ブロックの６４×６４画素に対して１乃至２ビットであり、符号量としては無視できる程度である。
図１には構成上特に記載はないが、ＭＶの精度の判定には少なくとも１統合ブロック分の処理時間がかかるので、その時間だけ動き推定器１７以降の処理は遅延させる必要がある。
また、通常のラスタースキャンの画像信号は、処理に合わせてブロックや統合ブロックの順に配列変換される。
【００２０】
＜動き補償符号記録媒体の実施例＞
図１に示す本発明の動き補償符号化装置から出力される符号列を、動き補償符号記録媒体に記録する。
この場合、動き補償符号記録媒体は、入力画像から動き補償のブロックが複数個統合されたブロック単位でＭＶの精度を選定し、その精度で実際の動き補償で用いるＭＶを求めて画像間予測符号化を行って得た予測残差の符号列と、前記ＭＶの情報を統合されたブロック単位でＭＶの精度の情報を有する形態で符号化して得たＭＶの符号列とを多重化して得られた符号列を記録したものとなる。
この符号列は、従来例の符号化装置より出力される符号列と比較して、単位時間当たりの符号量が少なく、同一容量の記録媒体に、より長時間の情報を記録をすることが出来る。
【００２１】
＜動き補償復号化装置の実施例＞
本発明の動き補償符号化装置に対応する復号化装置の一実施例について、以下に図と共に説明する。
図２は、その復号化装置の構成を示したもので、従来例と同一構成要素には同一番号を付してある。図２は図８と比較してＭＶ復号化器２５、動き補償予測器８の動作が異なる。実施例において、従来例と異なるのは動き補償画像間予測処理であり、符号入力端子２１、多重分離器２２、可変長復号化器２３、逆量子化器９、逆ＤＣＴ１６、加算器１５、画像出力端子２４、画像メモリ１４の夫々の動作は、基本的には従来例と同じである。
【００２２】
図２に示す多重分離器２２で分離されたＭＶ情報は、ＭＶ復号化器２５で、図１のＭＶ符号化器１８の逆処理が行われる。その際、統合ブロック毎に、挿入されているＭＶの画素精度の情報も復号化される。
得られたＭＶの整数値は、ＭＶの精度値を乗じてＭＶを再生し、動き補償予測器８に与える。動き補償予測器８は、そのＭＶに基づいて、図１と同様な予測信号を形成する。
【００２３】
【発明の効果】
本発明では、所定精度の仮動きベクトル（ＭＶ）の変化の程度と、画像の高い周波数成分の程度を求めるが、ＭＶの変化の程度は動きベクトル情報量と密接に関係し、画像の高い周波数成分の程度は動き補償画像間予測で必要となる動き補償の精度と密接に関係する。それらに基づきＭＶを複数個束ねた単位でＭＶの精度を選定することで、画像間予測残差の符号量とＭＶの符号量の関係で、最も合理的に総符号量の少なくなる精度が選定される。
【００２４】
従って、従来動き補償の精度が不十分で予測残差の符号量が多かったり、ＭＶの精度が不必要に細かくてＭＶ符号量が多かった画像の部分で符号量が削減され、総符号量が低く押さえられる。逆に発生符号量（転送レート）を一定にとると、符号量制御で量子化が細かくなり、再生画像の品質が向上する。
仮ＭＶは、そのまま実際のＭＶの基として使えるので、処理量の増加も僅かで済む。
【００２５】
また、本発明では、従来例の符号化装置より出力される符号列と比較して、単位時間当たりの符号量が少なく出来、同一容量の記録媒体に、より長時間の情報を記録可能な記録媒体を提供出来る。
【図面の簡単な説明】
【図１】本発明の動き補償符号化装置の一実施例の構成例を示す図である。
【図２】本発明の動き補償復号化装置の一実施例の構成例を示す図である。
【図３】本発明のＭＶ活性度検出器の一実施例の処理の構成を示す図である。
【図４】本発明の高域検出器の一実施例の処理の構成を示す図である。
【図５】本発明のＭＶ精度判定での閾値の一実施例を示す図である。
【図６】本発明の一実施例の動き補償ブロックと統合ブロックの関係を示した図である。
【図７】従来の動き補償符号化装置の構成の一例を示す図である。
【図８】従来の動き補償復号化装置の構成の一例を示す図である。
【符号の説明】
１  画像入力端子
２  減算器
３  ＤＣＴ
４  量子化器
５  可変長符号化器
６  仮動き推定器（仮動き推定手段）
７  高域検出器（高周波成分検出手段）
８  動き補償予測器（動き補償画像間予測信号を形成する手段）
９  逆量子化器
１０  多重化器
１１  符号出力端子
１２  ＭＶ活性度検出器（動きベクトル活性度検出手段）
１３  ＭＶ精度判定器（動きベクトル精度選択手段）
１４  画像メモリ
１５  加算器
１６  逆ＤＣＴ
１７  動き推定器（本動き推定手段）
１８  ＭＶ符号化器（動きベクトルを符号化する手段）
２１  符号入力端子
２２  多重分離器
２３  可変長復号化器
２４  画像出力端子
２５、８１  ＭＶ復号化器
３１  差分検出器
３２、４２  絶対値化器
３３、４３  累積加算器
４１  空間ＨＰＦ
７１  動き推定器
７２  動き補償予測器
７３  ＭＶ符号化器
【図１】
0003856262.tif 000002
【図２】
0003856262.tif 000003
【図３】
0003856262.tif 000004
【図４】
0003856262.tif 000005
【図５】
0003856262.tif 000006
【図６】
0003856262.tif 000007
【図７】
0003856262.tif 000008
【図８】
0003856262.tif 000009