(57)【特許請求の範囲】
【請求項１】
動画像データの各フレームを分割し、分割により得られた各ブロックの符号化に際し得られる動きベクトルを符号化する動画像符号化装置において、
符号化対象ブロック近傍の複数のブロックの動きベクトル間の差分絶対値和と符号化対象ブロックの有効係数の絶対値和を重み付けして加算した値と、符号化対象ブロック量子化器のパラメータが大きくなるにしたがって増加する値をとる閾値とを比較することにより、最も符号化動きベクトルデータの情報量が少なくなるよう動きベクトルの符号化方法を判定する判定手段と、
該判定手段にて判定された動きベクトルの符号化方法で、符号化対象の動きベクトルの符号化を行う符号化手段と、
を有することを特徴とする動画像符号化装置。
【請求項２】
上記符号化手段は、互いに異なる符号化方法で上記符号化対象ブロックの動きベクトルを符号化する複数の個別符号化手段と、
上記判定手段による判定結果に基づいて上記複数の個別符号化手段の１つを選択し、その選択した個別符号化手段による符号化結果を出力する選択手段と、
を有する請求項１記載の動画像符号化装置。
【請求項３】
動きベクトルを用いて動画像を復号する動画像復号装置において、
復号化対象ブロック近傍の複数のブロックの動きベクトル間の差分絶対値和と復号化対象ブロックの有効係数の絶対値和を重み付けして加算した値と、復号化対象ブロックの量子化器のパラメータが大きくなるに従って増加する値をとる閾値とを比較することにより、最も符号化動きベクトルデータの情報量が少なくなるよう選定された符号化時の動きベクトルの符号化方法に対応する動きベクトル復号化方法を判定する判定手段と、
該判定手段にて判定された動きベクトルの復号化方法で該復号対象の動きベクトルを復号する復号手段と、
を有することを特徴とする動画像復号化装置。
【請求項４】
上記復号化手段は、互いに異なる復号化方法で上記復号化対象ブロックの動きベクトルを復号化する複数の個別復号化手段と、
上記判定手段による判定結果に基づいて上記複数の個別復号化手段の１つを選択し、その選択した個別復号化手段による復号化結果を出力する選択手段と、
を有する請求項３記載の動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の動きベクトルデータを符号化する動画像符号化装置及び動画像装復号化装置に係わる。
【０００２】
【従来の技術】
動画像データは、一般に、データ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００３】
動画像データの高能率符号化方法としては、フレーム間予測符号化方法が知られている。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。すなわち、動画像データは、一般に、あるタイミングのフレームデータと次のタイミングのフレームデータとの類似度が高いことが多いので、フレーム間予測符号化方法では、その性質を使用する。例えば、フレーム間予測符号化方法を用いたデータ伝送システムでは、送信装置において、前フレームの画像から対象フレームの画像への「動き」を表す動きベクトルデータ、及びその前フレームの画像からその動きベクトルデータを用いて作成した対象フレームの予測画像と対象フレームの実際の画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象フレームの画像を再生する。
【０００４】
上記符号化において、対象フレームとその前のフレームとの相関性が高いと、動きベクトルデータおよび差分データの情報量は小さくなる。
【０００５】
上述のフレーム間予測符号化方法は、ITU-T H.261 、ITU-T H.263 、ISO/IEC MPEG-1、ISO/IEC MPEG-2などの標準方式において採用されている。また、これらの標準方式では、動きベクトルデータを符号化する方法として、予測符号が用いられている。以下、一例としてITU-T H.263 を採り上げて、動きベクトルデータを符号化する方法を説明する。
【０００６】
予測符号化方法では、図１０に示すように、各フレームの画像が複数のブロック（Ｂ11、Ｂ12、Ｂ13、Ｂ14、．．．）に分割され、ブロック毎に画像データが符号化される。すなわち、ブロック毎に、その対象ブロック内の画像と類似している画像を前フレームの画像の中から抽出し、その抽出した画像と対象ブロック内の画像との差分を求める。このことにより、冗長性が取り除かれた差分画像データが得られる。また、このとき、対象ブロックの動きベクトルデータも求めておく。そして、ブロック毎にこれらの差分画像データおよび動きベクトルデータをそれぞれ符号化することにより、伝送すべきデータを圧縮する。
【０００７】
あるブロック（符号化対象ブロック）の動きベクトルデータを符号化する場合には、まず、その符号化対象ブロック近傍のブロックの動きベクトルに基づいて、その符号化対象ブロックの動きベクトルの予測値（以下、予測ベクトル）を求める。ここで、この予測に利用される近傍ブロックは、先に符号化処理がされているものが選ばれる。一般に、符号化処理の順番は、図１０に示すように、左上隅のブロックから開始されて、各ラインごとに１ブロックずつ行われる。この場合、あるブロックを符号化する際には、そのブロックの上のラインに位置するブロック、およびそのブロックの左側に位置するブロックについては既に符号化処理が終了していることになる。したがって、例えば、ブロックＢ22の動きベクトルを符号化する際には、ブロックＢ11、Ｂ12、Ｂ13、Ｂ14、．．．およびブロックＢ21の動きベクトルを利用することができる。
【０００８】
ITU-T H.263 では、符号化対象ブロックの動きベクトルを予測する際には、その符号化対象ブロックの上のブロック、右上のブロック、および左のブロックが利用される。即ち、例えば、図１０に示すブロックＢ22の動きベクトルを符号化する際には、ブロックＢ12、Ｂ13、およびＢ21の動きベクトルが利用される。
【０００９】
符号化対象ブロックの予測ベクトルを得ると、次に、その符号化対象ブロックの実際の動きベクトルとその予測ベクトルとの差分ベクトル（あるいは、予測誤差ベクトル）を求める。そして、この差分ベクトルのＸ成分およびＹ成分を、それぞれ可変長符号を用いて符号化する。可変長符号は、たとえば、ハフマン符号である。
【００１０】
図１１を参照しながら具体例を説明する。図１１では、符号化対象ブロックの実際の動きベクトルを（ＭＶx ，ＭＶy ）、符号化対象ブロックの予測ベクトルを求めるために利用する近傍ブロックＢ1 〜Ｂ3 の各動きベクトルを、それぞれ（ＰＭＶ1x，ＰＭＶ1y）、（ＰＭＶ2x，ＰＭＶ2y）、（ＰＭＶ3x，ＰＭＶ3y）としている。ここで、符号化対象ブロックの予測ベクトルのＸ成分は、ＰＭＶ1x、ＰＭＶ2x、ＰＭＶ3xのメディアン値として得られ、また、そのＹ成分は、ＰＭＶ1y、ＰＭＶ2y、ＰＭＶ3yのメディアン値として得られる。そして、下式により各差分ベクトルデータ（差分ベクトルのＸ成分およびＹ成分）を求める。
【００１１】
差分ベクトルデータ(x) ＝ MVx - Median(PMV1x, PMV2x, PMV3x)
差分ベクトルデータ(y) ＝ MVy - Median(PMV1y, PMV2y, PMV3y)
各差分ベクトルデータは、図１２に示す可変長符号を用いて符号化される。図１２に示す符号は、ITU-T H.263 において使用されている符号である。
【００１２】
この符号では、発生頻度が高い差分ベクトルデータに対してデータ長の短いデータ列が割り当てられ、一方、発生頻度が低い差分ベクトルデータに対してデータ長の長いデータ列が割り当てられている。差分ベクトルデータの発生頻度は、予め統計的に求められている。したがって、このような符号を使用することにより、データ長が短い動きベクトルデータが伝送される確率が高くなるので、各ブロックの動きベクトルデータの平均情報量が小さくなる。
【００１３】
このように、ITU-T H.263 等の符号化方法を利用した伝送システムでは、動きベクトルに係わるデータが予測ベクトルを用いて圧縮され、伝送すべき情報量が小さくなるので、伝送効率が高い。
【００１４】
【発明が解決しようとする課題】
既存の予測符号化方法で広く使用されている符号では、図１２に示すように、小さい差分ベクトルデータに対してデータ長の短いデータ列が割り当てられている。ここで、画像の変化が少ないシーン、或いは画像が均一に変化するようなシーンでは、予測ベクトルの予測精度が高くなり、差分ベクトルデータが小さい値になる。したがって、これらのシーンでは、符号化された動きベクトルデータの情報量は小さくなる。
【００１５】
図１３を参照しながら具体例を示す。図１３(a) は、画像の変化が少ないシーンの動きベクトルの例である。ここでは、符号化対象ブロックの実際の動きベクトルが（１，０）、符号化対象ブロックの近傍のブロックＢ1〜Ｂ3 の動きベクトルがそれぞれ（０，０）、（０，０）、（１，０）であるものとしている。この場合、符号化対象ブロックの予測ベクトルのＸ成分およびＹ成分は、それぞれ下式により得られる。
【００１６】
予測ベクトル(x) ＝  Ｍｅｄｉａｎ（０，０，１）＝０
予測ベクトル(y) ＝  Ｍｅｄｉａｎ（０，０，０）＝０
したがって、「予測ベクトル＝（０，０）」が得られる。
また、符号化対象ブロックの差分ベクトルは下式により得られる。
【００１７】
差分ベクトル＝符号化対象ブロックの実際の動きベクトル？予測ベクトル
＝（１，０）？（０，０）
＝（１，０）
ここで、「差分ベクトルデータ（差分ベクトルの成分）＝１」のときは、図１２に示す符号を使用する場合、符号化動きベクトルデータとして「００１０」が得られる。また、「差分ベクトルデータ＝０」のときは、符号化動きベクトルデータとして「１」が得られる。したがって、このブロックについて伝送すべき符号化動きベクトルデータは、５ビットである。
【００１８】
このように、画像の変化が少ないシーンでは、差分ベクトルデータが小さくなり、伝送すべき符号化動きベクトルデータの情報量が小さくなる。
【００１９】
図１３(b) は、画像の変化がほぼ均一なシーンの動きベクトルの例である。ここでは、符号化対象ブロックの実際の動きベクトルが（１０，？９）であり、また、符号化対象ブロックの近傍のブロックＢ1〜Ｂ3 の動きベクトルが（１０，？１０）、（９，？９）、（９，？９）であるものとしている。この場合、「差分ベクトル＝（１，０）」が得られる。したがって、画像の変化が均一なシーンにおいても、差分ベクトルデータが小さくなり、伝送すべき符号化動きベクトルデータの情報量が小さくなる。
【００２０】
ところが、画像の動きが乱雑なシーンでは、予測ベクトルの予測精度が低くなり、差分ベクトルデータが大きくなる。このため、このようなシーンでは、伝送すべき符号化動きベクトルデータの情報量が大きくなってしまう。図１４を参照しながら具体例を示す。
【００２１】
図１４では、符号化対象ブロックの実際の動きベクトルが（４，２）、符号化対象ブロックの近傍のブロックＢ1〜Ｂ3 の動きベクトルがそれぞれ（？１０，４）、（？１０，？１０）、（４，？１０）であるものとしている。この場合、符号化対象ブロックの予測ベクトルは、近傍ブロックの動きベクトルを用いて以下のようにして得られる。
【００２２】
予測ベクトル(x) ＝  Ｍｅｄｉａｎ（？１０，？１０，４）＝？１０
予測ベクトル(y) ＝  Ｍｅｄｉａｎ（４，？１０，？１０）＝？１０
したがって、
予測ベクトル＝（？１０，？１０）
また、符号化対象ブロックの差分ベクトルは下式により得られる。
【００２３】
差分ベクトル＝符号化対象ブロックの実際の動きベクトル？予測ベクトル
＝（４，２）？（？１０，？１０）
＝（１４，１２）
ここで、「差分ベクトルデータ＝１２」のときは、図１２に示す符号を使用する場合、伝送すべき動きベクトルデータとして「０００００００１０００」が得られる。同様に、「差分ベクトルデータ＝１４」のときは、伝送すべき動きベクトルデータとして「００００００００１０００」が得られる。従って、このブロックについて伝送すべき符号化動きベクトルデータは、２３ビットである。このように、画像の動きが乱雑なシーンでは、差分ベクトルデータが大きくなってしまう、伝送すべき符号化動きベクトルデータの情報量も大きくなってしまう。
【００２４】
以上のような課題に対し、当該出願人は、特開2000-138935号「動きベクトル符号化装置および復号装置」において、図１５に示すように、同一フレーム内の符号化対象ブロック近傍のブロックで、既に符号化されたブロックの動きベクトルから符号化対象ブロックの動きベクトルの性質を判断する判定部101と、該判定部の判定結果に応じて、複数用意された符号化対象ブロックの動きベクトル符号化手段102a,102b,102nの中から最も少ない情報量で符号化できる符号化手段を選択する選択部103とを設けることで符号化効率を改善する事を提案している。
【００２５】
上記提案では、判定部101は、符号化対象ブロックの動きベクトルに対し、既に符号化された動きベクトルの中から複数の近傍動きベクトルを選択し、該複数の近傍動きベクトルから、動きベクトルの一様性の尺度を計算し、この一様性の尺度に基づいて、符号化対象ブロックの動きベクトルの符号化方法を選択部103で切り替える。この発明では、既に符号化された符号化対象ブロックの近傍動きベクトルのみから符号化方法が判定されるため、受信側でも同様に復号化対象ブロックの近傍動きベクトルが利用可能であり、符号化側と同一の判定部、選択部を用意することにより、符号化方法を示す付加情報を必要としない。
【００２６】
また、複数種類の符号化方法の種類としては、その実現方法として、それぞれ異なる可変長符号テーブルを用いることが考えられる。すなわち、符号化対象ブロックの近傍の動きベクトルから、符号化対象ブロックの動きベクトル付近のベクトルが一様と判定された場合には、ゼロ近傍付近の頻度が高い場合に適した可変長符号を適用し、符号化対象ブロック近傍ベクトルから対象の動きベクトル付近の動きベクトルが一様でない（乱雑）場合には、乱雑な動きベクトルの発生頻度に適応した可変長符号を選択する。この結果、それぞれの確率分布に対応した可変長符号で差分ベクトルを符号化することが可能となるので、発生情報量の過度の増大を抑制することが出来る。
【００２７】
しかしながら、上記提案では、動きベクトルの統計的性質に応じて符号化手段を選択するのに、周辺のベクトルしか用いていない。これにより、背景及び被写体となる同物体の動きが異なる場合、例えば図１６に示すように符号化対象ブロックの近傍ブロックＢ１，Ｂ２，Ｂ３の動きベクトルがそれぞれ(-10,-10)を示し一様となり、符号化対象ブロックの動きベクトルが(4,2)となった場合、予測対象の近傍ブロックの動きベクトルが一様となり予測が的確に行われていると判断できるが、実際の動きとは異なる予測となる事が想定でき、近傍の動きベクトルのみの予測では必ずしも的確に符号化対象ブロックの動きベクトルを予測することができない。上記近傍ブロックの動きベクトル以外に符号化対象ブロックの動きベクトルの統計的性質に影響を与えるものとして、以下の情報があげられる。
１．符号化／復号化対象ブロック内に有効な係数が存在したかどうか。および、その個数。
２．既に符号化／復号化された周辺ブロックに有効な係数が存在したか。および、その個数。
３．符号化／復号対象ブロック内の量子化器のパラメータ。
４．既に符号化／復号された周辺ブロックの量子化器のパラメータ。
【００２８】
このことから、従来方式でも、ベクトルの符号量削減の効果はあったものの、ベクトルの符号化方法の選択（コンテクスト推定）に、周辺ベクトルしか用いていなかったという点で、十分に効率的な符号化がなされているとはいえなかった。
【００２９】
本発明の課題は、上記のような課題を解決し予測符号を用いて動画像データを符号化する装置の符号化効率を向上させることである。
【００３０】
【課題を解決するための手段】
本発明の動画像符号化装置は、動画像データの各フレームを分割し、分割により得られた各ブロックの符号化に際して得られる動きベクトルを符号化する動画像符号化装置であって、以下の手段を有する。
判定手段は、符号化対象ブロック近傍の複数のブロックの動きベクトル間の差分絶対値和と符号化対象ブロックの有効係数の絶対値和を重み付けして加算した値と、符号化対象ブロック量子化器のパラメータが大きくなるにしたがって増加する値をとる閾値とを比較することにより、最も符号化動きベクトルデータの情報量が少なくなるよう動きベクトルの符号化方法を判定する。
符号化手段は、判定手段による判定結果に基づいて決まる符号化方法で上記対象の動きベクトルの符号化を行う。（請求項１）
更に符号化手段には、個別符号化手段と選択手段を有し、個別符号化手段は、互いに異なる符号化方法で上記符号化対象ブロックの符号化を行い、選択手段は、上記判定手段による判定結果により選択された個別符号化手段の符号化結果を出力する。（請求項２）
上記構成において、動きベクトルの符号化に際しては、符号化対象ブロック近傍の複数ブロックの動きベクトル間の差分絶対値和及び符号化対象ブロックの発生情報量及び量子化パラメータに基づいて符号化方法が決定される。
ここで、各要件について説明する。
（１）符号化対象ブロック近傍のブロックの動きベクトル間の差分絶対値和により、動きベクトルの符号化時に生成される係数の発生確率の分布を推定する事が可能となる。例えば、近傍のブロックの動きベクトル間の差分絶対値和が小さければ動きベクトルが一様（類似）で符号化対象ブロックも同様の近傍ブロックと同様な動きベクトルを有することが予測でき、符号化すべき係数も小さい値が多くなることが推測出来る。
（２）また、符号化対象ブロックの変換係数の個数及び大きさでは、符号化時の発生情報量（係数）が多い場合は、予測が的確にされていない事が推測でき、発生情報量（係数）が少ない場合は、予測が的確にされている事が推測できる。
（３）量子化パラメータについては、伝送レートが低い場合を特に想定しており、量子化器のパラメータが大きい、低レート向けの符号化の場合、量子化器のパラメータが大きいために係数の情報があまり発生せず、このことから、ベクトルの符号量の全体に占める割合が大きくならないよう、予測ベクトルからの差分により大きなペナルティをつけてコントロールすることにより、符号化効率が向上するという事実による。
特に、現在標準化作業中のＨ．２６Ｌなどにおいては、量子化器のパラメータが大きい場合には、なるべく予測ベクトルと類似したベクトルに近づくようなコントロールが盛り込まれている。
このことから、一般に、最適に作成されたビデオエンコーダにおいては、量子化器のパラメータが小さいほど予測ベクトルから大きく異なったベクトルが出やすく、量子化器のパラメータが大きいほど、予測ベクトルに近いベクトルが発生しやすいように作成されている。
一例として、下記の式（１）では、最適ベクトルを用いるのに、以下のような式に従って、各ベクトルのコストを求め、そのコスト最小のベクトルを選択する。
Cost(MVｘ、MVｙ)＝
SAD(MVx、MVy)＋A・QP * (InfoVec(MVx − PredMVx)
＋InfoVec(Mvy − PredMVy))
…（１）
SAD(MVx,Mvy)：ベクトルとしてMVx、Mvyを用いたときの予測画像との差分絶対値和(類似度)
InfoVec(MVD)：差分ベクトルMVDを符号化するのに必要な情報量。
【００３１】
QP：符号化情報量
A：差分絶対値和とベクトル情報量のコストの比率を決める定数。
【００３２】
PredMVx、PredMVy：ｘとｙのそれぞれの予測ベクトル。
このことから、量子化器のパラメータを符号化対象のベクトルの乱雑さのコンテクスト決定にとりいれ、量子化器のパラメータが大きい場合には、より一様なベクトルと判定されるようにすることにより、最適なコンテクストへの分類が実現可能となる。
【００３３】
この構成により、画像の性質に対して最適な符号化方法で動きベクトルが符号化されるので、情報量が削減されて符号化効率が向上する。
【００３４】
本発明の動画像復号化装置は、上記構成の動画像符号化装置によって復号化された動きベクトルデータを復号化する。本発明の動画像復号化装置の構成および動作は、基本的に、上記動画像符号化装置と同じである。
【００３５】
【発明の実施の形態】
本実施形態の動きベクトル符号化装置および動きベクトル復号装置は、たとえば、図１に示すような動画像データを伝送するシステムにおいて使用される。この伝送システムでは、動画像データの各フレームは、図１０に示したように、それぞれ複数のブロックに分割されてブロックごとに符号化／復号化される。
【００３６】
フレーム間予測符号化装置１０は、係数符号化ユニット１１および動きベクトル符号化ユニット１２を備え、原画像データを符号化して出力する。なお、フレーム間予測符号化装置１０は、必ずしも動画像データの全てのフレームに対してフレーム間予測符号化処理を行うのではなく、必要に応じてフレーム内符号化処理を行う機能を備えている。
【００３７】
係数符号化ユニット１１は、ブロック毎に符号化により生成された係数情報を符号化することによって得られる符号化係数データを生成する。また、動きベクトル符号化ユニット１２は、ブロック毎に動きベクトルに係わる情報を符号化することによって得られる符号化動きベクトルデータを生成する。
【００３８】
フレーム間予測復号化装置２０は、係数復号ユニット２１および動きベクトル復号ユニット２２を備え、フレーム間予測符号化装置１０によって符号化された符号化係数データおよび符号化動きベクトルデータに基づいて画像データを再生する。
【００３９】
本実施形態の動きベクトル符号化装置および動きベクトル復号化装置は、図１に示すシステムにおいて、それぞれ動きベクトル符号化ユニット１２および動きベクトル復号化ユニット２２に相当する。
【００４０】
図２は、フレーム間予測符号化装置のブロック図である。このフレーム間予測符号化装置の構成は、既知であり、たとえば、ITU-T H.263 等の符号化方法において使用されているものと基本的に同じである。本実施形態の動きベクトル符号化装置は、図２においてはベクトルエントロピー符号化手段４１に相当し、この回路の機能が既存のベクトルエントロピー符号化回路の機能と異なっている。ベクトルエントロピー符号化回路４１の構成および動作については後述詳しく説明する。以下、既存の回路部分の動作を簡単に説明する。
【００４１】
フレーム間予測符号化装置は、原画像データがフレームごとに入力されると、そのフレームを分割することによって得られる複数のブロックについて順番に符号化処理を実行していく。直交変換回路３１は、ブロック毎に画像データを周波数成分に分解する。量子化回路３２は、直交変換回路３１の出力を量子化する。量子化回路３２の出力は、しばしば「係数データ」と呼ばれている。
【００４２】
逆量子化回路３３、逆直交変換回路３４、および復号画像生成回路３５は、復号化装置（図１においては、フレーム間予測復号化装置２０）において再生されるであろう画像と同じ画像を生成するために設けられている。これらの回路により生成された画像は、復号画像記憶回路３６に格納される。
【００４３】
動きベクトル計算回路３７は、復号画像記憶回路３６に格納されている画像および新たに入力された画像に基づいて動きベクトルを計算する。ブロック毎に動きベクトルを求める方法は既知の技術である。予測画像生成回路３８は、復号画像記憶回路３６に格納されている画像および動きベクトル計算回路３７によって算出された動きベクトルに基づいて予測画像を生成する。すなわち、予測画像生成回路３８は、あるタイミングのフレームの画像から次のタイミングのフレームの画像を予測し、その予測画像を出力する。この予測画像は、復号化装置においても同様に生成される画像である。
【００４４】
予測誤差信号生成回路３９は、実際に入力された画像と予測画像生成回路３８によって生成された予測画像との誤差を表す信号を生成する。この予測誤差信号が復号装置へ伝送される信号である。予測誤差信号は、符号化して伝送される。すなわち、まず、直交変換回路３１および量子化回路３２によって予測誤差信号の係数データが求められる。そして、係数エントロピー符号化回路４０がこの係数データを符号化して出力する。
【００４５】
なお、フレーム間予測符号化装置は、必用に応じてフレーム内符号を用いることもある。この場合、予測誤差信号生成回路３９には、予測画像生成回路３８によって生成された予測画像ではなく、「０」が与えられる。
【００４６】
ベクトルエントロピー符号化回路４１は、ブロック毎に動きベクトルデータを符号化する。そして、多重化回路４２は、係数エントロピー符号化回路４０によって符号化された符号化係数データ、およびベクトルエントロピー符号化回路４１によって符号化された符号化動きベクトルデータを多重化して出力する。
【００４７】
復号化装置は、上述したように、フレーム間予測符号化装置で生成する予測画像と同じ予測画像を生成する。そして、その予測画像、および受信した予測誤差信号および動きベクトルを用いて原画像を再生する。
【００４８】
図３は、本実施形態の動きベクトル符号化装置の基本構成図である。この符号化装置は、図２においてはベクトルエントロピー符号化回路４１に対応する。
【００４９】
本実施形態の動きベクトル符号化装置は、既存の符号化装置と同様に、符号化対象ブロックの動きベクトルを符号化する際には、(1) 符号化対象ブロックの近傍のブロックの動きベクトルからその符号化対象ブロックの予測ベクトルを作成し、(2) 符号化対象ブロックの実際の動きベクトルと予測ベクトルとの差分ベクトルを求め、(3) 差分ベクトルの各成分を符号化することにより符号化動きベクトルデータを生成する。
【００５０】
動きベクトル符号化装置は、判定手段５１、符号化手段５２ａ〜５２ｎ、および選択手段５３を備える。判定手段５１は、符号化対象ブロックが属するフレーム内の一部または全部の符号化情報（▲１▼変換係数の個数及びその大きさ、▲２▼ブロックの有効／無効の情報、▲３▼量子化係数、▲４▼動きベクトル、のそれぞれ又は組み合わせ）が与えられ、判与えられた符号化情報の中から、先に符号化処理がされているブロックであって上記符号化対象ブロック近傍の複数ブロックの符号化情報からに基づいて、予測ベクトルの予測精度を推定する。
【００５１】
具体的な予測方法は別途詳述する。
【００５２】
符号化手段５２ａ〜５２ｎは、それぞれ、符号化対象ブロックの動きベクトルおよび符号化対象ブロック近傍の複数ブロックの動きベクトルが与えられる。ここで、近傍ブロックの動きベクトル（予測用動きベクトル）として、判定手段５１が予測ベクトルの予測精度を推定する際に利用した動きベクトルと同じものを使用してもよいし、異なるものを使用してもよい。
【００５３】
符号化手段５２ａ〜５２ｎにおいて、複数の予測用動きベクトルから符号化対象ブロックの予測ベクトルが生成され、更に、符号化対象ブロックの動きベクトルとその予測ベクトルとの差分ベクトルが求められる。この差分ベクトルは、予測誤差を表すベクトルである。そして、各符号化手段５２ａ〜５２ｎは、互いに異なる符号化手段を用いて上記差分ベクトルの各成分をそれぞれ符号化する。
【００５４】
選択手段５３は、判定手段５１によって推定された予測ベクトルの予測精度に基づいて、符号化手段５２ａ〜５２ｎの中の１つを選択する。具体的には、選択手段５３は、動きベクトル符号化装置による符号化結果の情報量が最小になるような符号化部を選択する。そして、選択手段５３は、選択した符号化部による符号化結果を符号化動きベクトルデータとして出力する。
【００５５】
上記構成において、判定手段５１は、符号化対象ブロックの動きベクトルを符号化する際には、先に符号化処理がされているブロックの符号化データを用いて予測ベクトルの予測精度を推定する。そして、選択手段５３は、このようにして推定した予測精度に従って符号化部を選択する。すなわち、この符号化装置では、符号化対象ブロックの動きベクトルデータを符号化する際に、先に符号化処理がされている動きベクトルに基づいて符号化方法が決定される。
【００５６】
このような構成にすると、復号化装置は、符号化方法に係わる情報を符号化装置から受け取ることなく、その符号化装置で選択された符号化方法を認識できる。すなわち、復号化装置の構成を上記符号化装置と等価にすれば、復号化装置において対象動きベクトルを復号する際には、その動きベクトルを符号化した符号化方法を決定するために利用された符号化情報が既に復号化されていることになる。したがって、復号化装置は、その既に復号化されている符号化情報を利用して、符号化装置で選択された符号化方法を認識できる。そして、復号化装置は、その認識した符号化方法に対応する復号化方法で受信データを復号する。
【００５７】
上記構成において、画像の変化が少ないとき、或いは画像の変化が均一なときは、一般に、符号化対象ブロックの予測ベクトルの予測精度が高い。この予測精度が高いと、差分ベクトルが小さくなる可能性が高くなる。一方、画像の動きが乱雑になると、一般に、予測ベクトルの予測精度が低くなり、差分ベクトルが大きくなる可能性が高くなる。このことは、統計的に解析されている。従って、差分ベクトルの大きさの発生頻度の確率分布は、画像の性質に従って推定することができる。
【００５８】
本実施形態では、この性質を考慮してブロック毎に符号化方法を決定する。すなわち、動きベクトル符号化装置５０は、符号化対象ブロックの動きベクトルを符号化する際には、近傍ブロックの符号化情報を用いて近傍領域の画像の性質を認識し、その認識結果に基づいて符号化方法を選択する。従って、画像の性質に対して最適な符号化方法を選択することができる。ここで、「最適」とは、符号化結果として得られる符号化動きベクトルデータの情報量が最小になることをいう。
【００５９】
図４は、本実施形態の動きベクトル符号化装置の詳細ブロック図である。この動きベクトル符号化装置では、図３の符号化手段５２ａ〜５２ｎの複数の予測用動きベクトルから符号化対象ブロックの予測ベクトルを生成及び、符号化対象ブロックの動きベクトルとその予測ベクトルとの差分ベクトルを求める機能を共通とし、複数の符号化手段をそれぞれ異なる係数を持つ可変長符号化器６３ａ，６３ｂとしている点を詳細に記載している。
【００６０】
本実施例において、判定手段５１及び選択手段５３は図３と同様の為説明は省略し、図３と相違する部分を主に説明する。
【００６１】
図４において、近傍ブロックの動きベクトルが判定手段５１及び予測ベクトル生成手段６１に入力される。予測ベクトル生成手段６１では、図８に示されるように、与えられた近傍ブロックの複数の動きベクトル（ＰＭＶ1x，ＰＭＶ1y）、（ＰＭＶ2x，ＰＭＶ2y）、（ＰＭＶ3x，ＰＭＶ3y）のメディアン値（すなわち、中間値）を求める。この複数のメディアン値から予測ベクトル（ＭＶＤx，ＭＶＤy）を生成し予測誤差生成部６２に出力する。
【００６２】
予測誤差生成部６２では、符号化対象ブロックの動きベクトルと予測ベクトルから差分ベクトルを生成し、それぞれ係数が異なる可変長符号化器６３ａ，６３ｂにそれぞれ出力する。ここでの差分ベクトルの生成方法は、ITU-T H.263 等の符号化方法において使用されているものと基本的に同じである。
【００６３】
可変長符号化器６３ａおよび６３ｂは、互いに異なる可変長符号を利用して予測誤差生成部６２によって生成された予測誤差データを符号化する。可変長符号化器６３ａは、図９に示される「可変長符号１」を用いる。「可変長符号１」は、ITU-T H.263 等において使用されている符号であり、小さい予測誤差（差分値）に対してデータ長の短いデータ列が割り当てられ、大きい予測誤差に対してデータ長の長いデータ列が割り当てられている。従って、複数の近傍ブロックの動きベクトルが一様であるときは、予測誤差が小さくなる可能性が高いので、この「可変長符号１」を用いれば、符号化結果のデータ長が短くなる。すなわち、画像の変化が少ないとき、或いは画像の変化が均一なときは、「可変長符号１」を用いれば、符号化結果の平均データ長が短くなり、符号化効率が向上する。
【００６４】
可変長符号化器６３ｂは、図９に示す「可変長符号２」を用いる。「可変長符号２」は、「可変長符号１」と比較した場合、予測誤差が小さいときには符号化結果のデータ長が長くなるが、予測誤差が大きくなると符号化結果のデータ長が短くなる。たとえば、予測誤差が「１５．５」のときは、「可変長符号１」による符号化結果のデータ長は１３ビットであるのに対し、「可変長符号２」による符号化結果のデータ長は８ビットになる。
【００６５】
したがって、複数の近傍ブロックの動きベクトルが乱雑であるときは、予測ベクトルの精度が低く、予測誤差が大きくなる可能性が高くなるので、「可変長符号２」を用いれば、符号化結果のデータ長が短くなることが期待される。すなわち、画像の変化が乱雑なとき等は、「可変長符号２」を用いれば、符号化結果の平均データ長が短くなり、符号化効率が向上する。
【００６６】
可変長符号化器６３ａおよび６３ｂは、図９に示す各一方の符号化パターンが登録されたテーブルを備える。これらのテーブルは、メモリ上に作成される。そして、可変長符号化器６３ａおよび６３ｂは、与えられた予測誤差データをキーとしてそのテーブルから対応するデータ列を取得し、その取得したデータ列を符号化結果として出力する。
【００６７】
可変長符号化器６３ａおよび６３ｂの符号化結果は、判定手段５１の判定結果に従って選択手段５３にて一方が選択され出力される。
【００６８】
ここで、図示をしていないが、判定手段５１，予測ベクトル生成手段６１，予測誤差生成部６２，可変長符号化器６３ａ，６３ｂ及び選択手段５３のそれぞれはベクトルの成分であるＸ，Ｙのそれぞれに対して設けて構成しても上記と同様に動作する。
【００６９】
次に判定手段５１の具体例を図７を参照して説明する。
【００７０】
判定手段５１は、図１１に示されるように符号化対象ブロック近傍の３ブロックの既に符号化されたベクトルである(PMV1x, PMV1y)、(PMV2x, PMV2y)、(PMV3x, PMV3y)、および符号化対象ブロックの量子化器のパラメータ（関数）、符号化対象ブロックの有効係数から、符号化対象ブロック周辺のベクトルの一様性を判断する符号化手段１，２を選択する。
【００７１】
本実施例での条件判断は、以下の様に記述される。
【００７２】
VectorActivity =
| PMV1x−PMV2x| ＋ |PMV1y−PMV2y| ＋
| PMV1x−PMV3x| ＋ |PMV1y−PMV3y| ＋
| PMV3x−PMV2x| ＋ |PMV3y−PMV2y|
CoefActivity = (有効係数個数のLevelの絶対値和)
Th(QP)：判定閾値で、値は量子化器のパラメータ（関数）。QPが大きくなるに従って、増加する特性を有する。
if(C1・VectorActivity ＋C2・CoefActivity ＜  Th(QP))
符号化手段１（可変長符号化器１）;
else
符号化手段２（可変長符号化器２）
すなわち、ベクトルのアクティビティを示すVectorActivityと、係数のアクティビティを示すCoefActivityとを、係数C1、C2で重み付けして加算した値を計算し、その値と、量子化器のパラメータ（関数）である閾値を比較し、アクティビティが閾値より小さい場合には符号化手段１、そうでない場合には符号化手段２を用いることとする。なお、ここで、VectorActivityとCoefActivityの重みであるC1,C2は固定としたが、QP等に応じて、適応的にVectorActivityとCoefActivityの重みを変化させることも可能である。
【００７３】
以上のように、符号化対象ブロックの動きベクトルが近傍の複数ブロックの動きベクトルから的確に予測できているか、的確に予測できていないかの判断ができる。
【００７４】
次に、上記構成の動きベクトル符号化装置によって符号化された動きベクトルを復号化する装置について説明する。
【００７５】
図５は、動きベクトル復号化装置の一実施例のブロック図である。動きベクトル復号装置は、判定手段７１、選択手段７３を備える。これらの各ユニット７１、７３は、動きベクトル符号化装置６０に設けられているものと同じである。また、復号化手段７２ａ、７２ｂ、７２ｎは、それぞれ動きベクトル符号化装置に設けられている符号化手段５２ａ、５２ｂ、５２ｎに対応する復号化処理を行う。すなわち、復号化手段７２ａは、符号化手段５２ａにて符号化された符号化動きベクトルデータを復号化し、可変長復号部７２ｂは、符号化手段５２ｂを用いて符号化された符号化動きベクトルデータを復号化する。
【００７６】
動きベクトル復号化装置は、動きベクトル符号化装置による符号化順序と同じ順序でブロック毎に符号化動きベクトルデータを復号化する。すなわち、動きベクトル復号化装置は、図１０に示した順番で、ブロックごとに符号化動きベクトルデータから動きベクトルを再生する。ここで、動きベクトル符号化装置は、対象ベクトルよりも先に符号化処理がされているベクトルを利用して対象ベクトルを符号化するので、動きベクトル復号装置において対象ベクトルを復号化する際には、その対象ベクトルを符号化するために利用されたベクトルは既に復号化されていることになる。たとえば、図１１に示す対象ブロックの動きベクトルを復号化する際には、近傍ブロックＢ１〜Ｂ３の動きベクトルはすべて動きベクトル復号化装置によって復号化されている。したがって、この場合、動きベクトル復号装置は、この対象動きベクトルを復号化する際、近傍ブロックＢ１〜Ｂ３の符号化情報を利用することができる。
【００７７】
上記構成において、判定手段７１には、３つの近傍ブロックＢ１〜Ｂ３の符号化情報（▲１▼変換係数の個数及びその大きさ、▲２▼ブロックの有効／無効の情報、▲３▼量子化係数、▲４▼動きベクトル、のそれぞれ又は組み合わせ）が与えられ、その符号化情報に基づいて、予測ベクトルの予測精度を推定（判定）し、その判定結果により選択手段７３にての復号化方法を決定（選択）する。
【００７８】
尚、詳細な判定方法については上記判定手段５１と同じである。
【００７９】
復号化手段７２ａ，７２ｂ，７２ｎは、それぞれ動きベクトル符号化装置から受信した符号化動きベクトルデータから予測誤差を再生する。そして、選択手段７３は、判定手段７１の指示に従って、復号化手段７２ａ，７２ｂ又は７２ｎによる復号化結果を選択して出力する。
【００８０】
図６は、本実施形態の動きベクトル復号化装置の詳細ブロック図である。この動きベクトル復号化装置では、図５の復号化手段７２ａ〜７２ｎで並列に行っていた対象の動きベクトル生成（復号化）の機能を分離し、予測ベクトルの生成手段８２，対象動きベクトル生成手段８１及び変換係数の異なる複数の可変長復号化器８３ａ，８３ｂを設けている。判断手段７１及び選択手段７３については図５と同様である。
【００８１】
以下に図５と相違する構成及びその動作を説明する。
【００８２】
動きベクトル符号化装置から受信した符号化された予測誤差データが変換係数の異なる複数の可変長復号化器８３ａ，８３ｂにそれぞれ入力され、動きベクトルの予測誤差データが復号され、選択手段７３に入力される。
【００８３】
選択手段７３では、可変長復号化器８３ａ，８３ｂのそれぞれから入力された予測誤差データを判定手段７１の判定結果により判定された一方を動きベクトル生成手段８１に出力する。一方、予測ベクトル生成手段８２は、既に復号化された近傍３ブロックＢ１〜Ｂ３の符号化情報からの予測ベクトルを生成し動きベクトル生成手段８１に出力する。動きベクトル生成手段８１では入力された予測誤差データと予測ベクトルから復号化対象ブロックの動きベクトルを生成し出力する。
【００８４】
以上のように復号化すべき動きベクトルを、符号化側と同様に、周辺のベクトル、量子化器のパラメータ、ブロックの有効係数から、判定手段７１において、係数の異なる可変長復号化器のいずれを用いて復号するかを決定し、その結果に従って、差分ベクトルを復号し、予測ベクトル生成手段で生成された予測ベクトルと差分ベクトルを加算することにより、対象ブロックのベクトルを生成するものである。
【００８５】
なお、ここでは符号化手段として、複数の可変長符号を選択可能とする例を示したが、算術符号など、他の種類のエントロピー符号化なども、同様に用いることが可能である。また、選択可能な符号化方法を２個としたが、さらに多くの符号化方法を選択可能とすることも可能である。さらに、ここでは差分ベクトルの符号化方法として、ｘ成分、ｙ成分を独立に符号化したが、ｘ、ｙ成分を統合して一つのシンボルとし、それをまとめて一つの可変長符号として符号化する、すなわち
( 0 , 0)      :"1"
( 0 , 1)      :"0100"
( 1 , 0)      :"0101"
( 0 ,-1)      :"0110"
(-1 , 0)      :"0111"
：：：：：
といったような符号化の方法等も可能である。
【００８６】
また、上記実施例では、３つの近傍ブロックの動きベクトルを利用して符号化方法及び復号化方法を決定しているが、本発明は、この構成に限定されるものではなく、複数の近傍ブロックの動きベクトルを利用する構成に適用可能である。
【００８７】
更に、上記実施例は、画像データを伝送するシステムを前提としているが、本発明は、この構成に限定されるものではなく、たとえば、画像データを格納する装置にも適用可能である。
【００８８】
【発明の効果】
本発明では、動きベクトルの符号化において、対象動きベクトルの周辺で既に符号化されている複数の動きベクトルに基づいて決定される最適な符号化方法で対象ベクトルを符号化できるので、符号化結果の情報量が削減される。
【００８９】
また、このようにして符号化されたデータを復号化する際には、符号化方法を表す付加情報を必要とすることなく、その符号化方法に対応する復号化方法を復号化側で認識できる。
【図面の簡単な説明】
【図１】本発明が適用される動画像データ伝送システムを示す図である。
【図２】フレーム間予測符号化装置のブロック図である。
【図３】本実施形態の動きベクトル符号化装置の基本構成図である。
【図４】本実施形態の動きベクトル符号化装置の詳細ブロック図である
【図５】本実施形態の動きベクトル復号化装置の基本構成図である。
【図６】本実施形態の動きベクトル復号化装置の詳細ブロック図である。
【図７】本発明の判定手段の実施例を示す図である。
【図８】本発明の予測ベクトル生成手段の実施例を示す図である。
【図９】本発明で適用される可変長符号の一例を示す図である。
【図１０】フレームをブロックに分割する処理を説明する図である。
【図１１】動きベクトルの予測の一例を示す図である。
【図１２】可変長符号の一例を示す図である。
【図１３】動きベクトルを符号化する処理方法を説明する図である。
【図１４】従来の符号化方法の問題点を説明する図である。
【図１５】従来の動きベクトルを符号化する構成図である。
【図１６】動物体とブロックの動きの関係を示す図である。
【符号の説明】
１０            フレーム間予測符号化装置
１１            係数符号化ユニット
１２            動きベクトル符号化ユニット
２０            フレーム間予測復号化装置
２１            係数復号化ユニット
２２            動きベクトル復号化ユニット
３１              直交変換回路
３２              量子化回路
３３            逆量子化回路
３４            逆直交変換回路
３５            復号画像生成回路
３６            復号画像記憶回路
３７            動きベクトル計算回路
３８            予測画像生成回路
３９            予測誤差信号生成回路
４０            係数エントロピー符号化回路
４１            ベクトルエントロピー符号化回路
４２            多重化回路
５１            判定手段
５２ａ−５２ｎ  符号化手段
５３            選択手段
６１            予測ベクトル生成手段
６３ａ、６３ｂ  可変長符号化器
７１            判定手段
７２ａ−７２ｎ  復号化手段
７３            選択手段
８１            動きベクトル生成手段
８２            予測ベクトル生成手段
８３ａ、８３ｂ  可変長復号化部
９１            判定手段
９２            予測ベクトル生成手段
１０１          判定部
１０２a-１０２ｎ符号化手段
１０３          選択部
【図１】
0004502566.tif 000002
【図２】
0004502566.tif 000003
【図３】
0004502566.tif 000004
【図４】
0004502566.tif 000005
【図５】
0004502566.tif 000006
【図６】
0004502566.tif 000007
【図７】
0004502566.tif 000008
【図８】
0004502566.tif 000009
【図９】
0004502566.tif 000010
【図１０】
0004502566.tif 000011
【図１１】
0004502566.tif 000012
【図１２】
0004502566.tif 000013
【図１３】
0004502566.tif 000014
【図１４】
0004502566.tif 000015
【図１５】
0004502566.tif 000016
【図１６】
0004502566.tif 000017