(57)【要約】【課題】  従来装置では、可変に分割されたサブマクロブロックで求められた動きベクトルを用いた動画像再符号化時の動きベクトル推定を行うことができない。符号化方式を変換しようとする場合は、動きベクトルの再計算を行わなければならず、演算量を要する。【解決手段】  変換前の動きベクトルの相関値ρが閾値ρ１以上であれば相関が大きく、変換前に算出された２本の動きベクトルの平均Ｖｍを変換後の動きベクトルとして再利用する（ステップＳ４〜Ｓ７）。相関値ρが閾値ρ２とρ１の間の値をとる場合は、平均Ｖｍを動きベクトルとして用いると誤差が大きくなると判断し、変換前の２本の動きベクトルの平均Ｖｍの点を中心として変換後の動きベクトルを再計算する（ステップＳ５、Ｓ６、Ｓ８）。相関値ρが閾値ρ２より小さい場合は、相関が極めて小さいので、通常の探索範囲で変換後の動きベクトルの再計算を行う（ステップＳ４、Ｓ９）。【選択図】            図２
2005236584.tif 000002
【特許請求の範囲】
【請求項１】
可変の第１の符号化単位毎に第１の動きベクトルに基づき第１の符号化方式により符号化された第１の動画像符号化信号を復号し、復号された動画像情報を固定の第２の符号化単位毎に第２の動きベクトルに基づき第２の符号化方式により再符号化して第２の動画像符号化信号を生成する動画像情報変換符号化装置であって、
前記第１の動画像符号化信号を復号して得られた信号中から前記第１の動きベクトルを得る動きベクトル情報解釈手段と、
前記第１の動画像符号化信号を復号して得られた動画像情報に対し、画像解像度変換係数に基づき画像解像度変換を行う画像解像度変換手段と、
前記第１の符号化単位が前記第２の符号化単位よりも小さいときに、前記動きベクトル情報解釈手段により得られた前記第１の動きベクトルの相関値を算出する相関値算出手段と、
算出された前記相関値と予め設定した閾値とを比較し、その比較結果に応じて前記第２の動きベクトルを推定する動きベクトル推定手段と、
前記動きベクトル推定手段により得られた前記第２の動きベクトルの推定結果に応じて、前記第１の動きベクトルの平均と前記画像解像度変換係数との乗算結果に基づく、前記第１の動きベクトルの平均による再利用又は探索範囲を変更した動きベクトル再計算、又は前記第１の動きベクトルと前記画像解像度変換係数との乗算結果に基づく、通常範囲での動きベクトル再計算のいずれかを選択して、前記第２の動きベクトルを生成する動きベクトル探索手段と、
前記画像解像度変換手段により画像解像度が変換された動画像情報と、前記動きベクトル探索手段により生成された前記第２の動きベクトルを基に、前記第２の符号化方式により再符号化して前記第２の動画像符号化信号を生成する符号化手段と
を有することを特徴とする動画像情報変換符号化装置。
【請求項２】
前記符号化手段は、前記第１の符号化単位が前記第２の符号化単位以上の大きさの時には前記動きベクトル探索手段により生成された前記第２の動きベクトルに替えて、前記動きベクトル情報解釈手段により得られた前記第１の動きベクトルと前記画像解像度変換係数とを用いて、前記画像解像度変換手段により画像解像度が変換された動画像情報を前記第２の符号化方式により再符号化することを特徴とする請求項１記載の動画像情報変換符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像情報変換符号化装置に係り、特に符号化された動画像情報を復号する際に、使用用途に応じて動画像符号列を再符号化し、符号化方式を変換可能とし、より少ない情報処理量で動画像符号化方式を変換するための動きベクトル予測を行う動画像情報変換符号化装置に関する。
【背景技術】
【０００２】
動画像符号化標準方式として、デジタル放送やＤＶＤ（Digital Versatile Disk）などではＭＰＥＧ−２（Moving Picture Experts Group Phase 2）が用いられており、インターネットストリーミングや移動体通信などの分野ではＭＰＥＧ−４といった動画像符号化標準も用いられている。その他に、テレビ会議システムなど低ビットレートでの伝送を目的にしたＨ.２６３といった動画像符号化標準も利用されている。
【０００３】
このような中、更なる圧縮効率の向上を目的とした符号化方式”Ｈ.２６４／ＭＰＥＧ−４  ＡＶＣ（以下Ｈ.２６４）”の標準化が検討されている。このＨ.２６４は低ビットレートのテレビ会議からＨＤＴＶ（High Definition Television）までの幅広い用途に対応し、従来方式（ＭＰＥＧ−２，ＭＰＥＧ−４など）と比較して、約２倍以上の高圧縮を実現できる動画像符号化方式である。よって、様々な利用用途及び符号化方式に応じて符号化動画像情報を利用するためには、以上に述べた符号化方式間における動画像情報の互換性が重要である。
【０００４】
ここで、Ｈ.２６４の符号化方式の特徴である、ＭＰＥＧ−２やＭＰＥＧ−４には存在しない可変に分割されたブロック方式について図８を用いて説明する。ただし、ここでは一例として、マクロブロックのサイズを１６×１６画素として説明する。このブロック方式は、図８中の１６×１６画素サイズのマクロブロック５１０を、画像領域の複雑さに応じて８×８画素サイズのブロック５４１、８×４画素サイズのブロック５４２、４×８画素サイズのブロック５４３、４×４画素サイズのブロック５４４、８×１６画素サイズのブロック５３０、１６×８画素サイズのブロック５２０、１６×１６画素サイズのブロック５１０のように、可変に分割されたブロックが採用される。
【０００５】
図８においては、８×８画素サイズのブロック５４０のブロックパターンが選択された場合、更に、ブロック５４１〜５４４に示すような４つのパターンが選択可能である。これをサブマクロブロックタイプと呼び、サブマクロブロック毎に動きベクトルを算出可能である。ゆえに、１６×１６画素サイズのマクロブロック５１０内に複雑な部分と平坦な部分がある場合には、柔軟にブロックサイズを変えて予測に用いることができるため、量子化後の生成符号量を削減可能となり、精度の高い動きベクトルの算出が可能となる。
【０００６】
このような可変に分割されたブロックが採用されている符号化方式を、ＤＶＤにおけるＭＰＥＧ−２方式などの様々な用途に応じて利用するためには、可変に分割されたブロックが採用されている符号化方式を、ＭＰＥＧ−２方式などの他の従来の符号化方式に変換する必要がある。すなわち、従来の符号化方式に合わせた再符号化が必要となる。
【０００７】
再符号化処理の処理量について考えると、特に動きベクトル算出に関する処理では、ブロックマッチングと呼ばれる方式がある。このブロックマッチング方式は、第１フレームの任意の点に対する第２フレーム中での対応点をブロック間のパターンマッチングに基づいて決定し、このとき、マッチングの評価として各点の階調値の差分の総和を用いるために、探索範囲に依存して処理量が多いといえる。
【０００８】
そこで、再符号化時の処理量削減を目的とした動きベクトルの再推定法として、画像サイズ縮小時に、動きベクトルの統計量（平均、分散など）を用いて、品質を落とさず高速かつ符号量を抑えて動きベクトルの再推定を行う画像符号化データサイズ変換装置が知られている（例えば、特許文献１参照）。また、画像サイズ縮小時の動きベクトル分散を画像複雑度情報として利用した統合法に加え、ＭＰＥＧ−４におけるサブマクロブロックへ動きベクトルを変換するための判定を行う動画像符号列変換装置も従来より知られている（例えば、特許文献２参照）。
【０００９】
以上の特許文献１及び２記載の各従来装置では、画像サイズの縮小を考慮したときに符号化された動画像の従来のマクロブロックサイズで算出された動きベクトル情報の分散を利用し、例えばＭＰＥＧ−２からＭＰＥＧ−４に変換する場合の動きベクトルの統合方法、若しくは１６×１６画素サイズのマクロブロックの１／４のサイズであるサブマクロブロックモードの利用判定に対応している。
【００１０】
【特許文献１】特開２００２−３４４９７３号公報
【特許文献２】特開２００３−１５３２７１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、上記の特許文献１及び２記載の従来装置では、可変に分割されたサブマクロブロックで求められた動きベクトルを用いた動画像再符号化時の動きベクトル推定を行うことができないという課題がある。ゆえに、可変に分割されたブロックモードを採用した符号化方式に対して、その符号化方式を変換しようとする場合、一旦符号化情報をすべて復号した後、動きベクトルの再計算を行わなければならず、演算量を要するという課題がある。
【００１２】
また、Ｈ.２６４で用いられるサブマクロブロックモードで算出された動きベクトルは従来方式に比べ精度が優れているが、特許文献１及び２記載の従来装置では、可変に分割されたブロックを採用していない従来の動画像符号化方式で再計算することで動きベクトルの精度が落ち、画像品質が劣化するという課題もある。
【００１３】
本発明は以上の点に鑑みなされたもので、可変に分割されたブロックを採用した第１の動画像符号化方式から、可変に分割されたブロックを採用していない第２の動画像符号化方式へ、品質を落とさずに高速かつ発生符号量の抑制を可能とした再符号化を行い得る動画像情報変換符号化装置を提供することを目的とする。
【００１４】
また、本発明の他の目的は、可変に分割されたブロックを採用した第１の動画像符号化方式における可変に分割されたブロックで算出された動きベクトルから、第２の動画像符号化方式におけるマクロブロックの動きベクトルへの再推定を可能とする動画像情報変換符号化装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記目的を達成するため、本発明は、可変の第１の符号化単位毎に第１の動きベクトルに基づき第１の符号化方式により符号化された第１の動画像符号化信号を復号し、復号された動画像情報を固定の第２の符号化単位毎に第２の動きベクトルに基づき第２の符号化方式により再符号化して第２の動画像符号化信号を生成する動画像情報変換符号化装置であって、第１の動画像符号化信号を復号して得られた信号中から第１の動きベクトルを得る動きベクトル情報解釈手段と、第１の動画像符号化信号を復号して得られた動画像情報に対し、画像解像度変換係数に基づき画像解像度変換を行う画像解像度変換手段と、第１の符号化単位が第２の符号化単位よりも小さいときに、動きベクトル情報解釈手段により得られた第１の動きベクトルの相関値を算出する相関値算出手段と、算出された相関値と予め設定した閾値とを比較し、その比較結果に応じて第２の動きベクトルを推定する動きベクトル推定手段と、動きベクトル推定手段により得られた第２の動きベクトルの推定結果に応じて、第１の動きベクトルの平均と画像解像度変換係数との乗算結果に基づく、第１の動きベクトルの平均による再利用又は探索範囲を変更した動きベクトル再計算、又は第１の動きベクトルと画像解像度変換係数との乗算結果に基づく、通常範囲での動きベクトル再計算のいずれかを選択して、第２の動きベクトルを生成する動きベクトル探索手段と、画像解像度変換手段により画像解像度が変換された動画像情報と、動きベクトル探索手段により生成された第２の動きベクトルを基に、第２の符号化方式により再符号化して第２の動画像符号化信号を生成する符号化手段とを有する構成としたものである。
【００１６】
この発明では、可変の第１の符号化単位毎に第１の動きベクトルに基づき第１の符号化方式により符号化された第１の動画像符号化信号を、固定の第２の符号化単位毎に第２の動きベクトルに基づき第２の符号化方式により再符号化して第２の動画像符号化信号を生成するに際し、第１の動きベクトルの相関値と予め設定した閾値とを比較し、その比較結果に応じて第２の動きベクトルを推定し、更に、その推定結果に応じて、第１の動きベクトルの平均と画像解像度変換係数との乗算結果に基づく、第１の動きベクトルの平均による再利用又は探索範囲を変更した動きベクトル再計算、又は第１の動きベクトルと画像解像度変換係数との乗算結果に基づく、通常範囲での動きベクトル再計算のいずれかを選択して、第２の動きベクトルを生成するようにしたため、通常の再符号化における動きベクトルの再探索に比べて演算量を必要とせず、また、第１の符号化方式の特徴である動きベクトルの精度が優れているという特徴を確保できる。
【００１７】
また、上記の目的を達成するため、本発明は、上記の符号化手段を、第１の符号化単位が第２の符号化単位以上の大きさの時には動きベクトル探索手段により生成された第２の動きベクトルに替えて、動きベクトル情報解釈手段により得られた第１の動きベクトルと画像解像度変換係数とを用いて、画像解像度変換手段により画像解像度が変換された動画像情報を第２の符号化方式により再符号化することを特徴とする。
【００１８】
この発明では、第１の符号化単位が第２の符号化単位以上の大きさの時には、第１の動きベクトルと第２の動きベクトルは方向が同じであるとみなして、動きベクトル情報解釈手段により得られた第１の動きベクトルをそのまま利用するようにしたため、第２の動きベクトルを生成するための再計算を不要にできる。
【発明の効果】
【００１９】
本発明によれば、通常の再符号化における動きベクトルの再探索に比べて演算量を必要としないため、可変の第１の符号化単位で第１の動きベクトルを有する第１の符号化動画像を、通常の第２の符号化単位で第２の動きベクトルを有する第２の符号化動画像に、高速、かつ、高精度に変換することができる。
【００２０】
また、本発明によれば、可変の第１の符号化単位毎に第１の動きベクトルを持つ第１の符号化方式の特徴である動きベクトルの精度が優れているという特徴を確保できるため、高精度な動きベクトルの推定ができる。
【００２１】
更に、本発明によれば、第１の符号化単位が第２の符号化単位以上の大きさの時には、動きベクトル情報解釈手段により得られた第１の動きベクトルをそのまま利用することにより、第２の動きベクトルを生成するための再計算を不要にしたため、動画像変換をより一層高速にできる。以上より、本発明によれば、符号化動画像情報の再符号化処理における演算量を削減して高速な動画像変換ができると共に、符号化効率を向上させることができる。
【発明を実施するための最良の形態】
【００２２】
次に、本発明の一実施の形態について図面と共に説明する。図１は本発明になる動画像情報変換符号化装置の一実施の形態のブロック図を示す。同図に示すように、動画像情報変換符号化装置は、動画像復号部１００、動画像情報変換部２００、及び動画像符号化部３００を有する。動画像復号部１００は、動画像情報分離部１０１、可変長復号部１０２、動きベクトル情報解釈部１０３、動きベクトル補償部１０４、逆量子化部１０５、逆係数変換部１０６、加算器１０７及び画像メモリ部１０８を有する。動画像情報変換部２００は、画像解像度変換部２０１及び動きベクトル推定部２０２を有する。動画像符号化部３００は、動きベクトル探索部３０１、動き補償部３０２、画像メモリ部３０３、減算器３０４、係数変換部３０５、量子化部３０６、逆量子化部３０７、逆係数変換部３０８、加算器３０９、可変長符号化部３１０、及び動画像情報合成部３１１を有し、例えばＨ.２６４の符号化方式により符号化されている符号化動画像情報４１を、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の固定されたマクロブロック単位の動きベクトルを持つ符号化動画像情報６６に変換する。
【００２３】
次に、本実施の形態の動作について説明する。符号化情報入力端子１０より入力される、例えばＨ.２６４の符号化方式により符号化されている符号化動画像情報４１は、動画像情報分離部１０１により可変長符号化された動きベクトル情報４２と可変長符号化された量子化変換係数情報４３に分離された後、可変長復号器１０２によりそれぞれ復号されて符号化動きベクトル情報４４と量子化変換係数４５となる。
【００２４】
符号化動きベクトル情報４４は、動きベクトル情報解釈部１０３によって可変に分割されたブロック毎の動きベクトル情報４６に変換される。また、量子化変換係数４５は、逆量子化部１０５により逆量子化されて変換係数４７に変換される。この変換係数４７は、逆係数変換器１０６によって画素係数４８に変換される。この画素係数４８は動画像符号化時の動き補償処理による予測誤差情報である。
【００２５】
一方、画像メモリ部１０８は動き補償を行う際に用いる参照画像４９を格納しており、動きベクトル補償部１０４はこの画像メモリ部１０８から読み出した参照画像４９と、動きベクトル情報解釈部１０３から供給されるブロック毎の動きベクトル情報４６とに基づいて、動き補償画像５０を生成する。この動き補償画像５０と予測誤差情報４８は、加算器１０７で加算されて復号画像５１が生成される。
【００２６】
復号画像５１は、画像メモリ部１０８に参照画像４９として格納される一方、画像解像度変換部２０１に供給され、ここで解像度変換係数入力端子２０より入力される予め定められた画像解像度変換係数５２に従い画像解像度が変換された画像情報５３となる。また、画像解像度変換部２０１は、この画像情報５３の画像解像度情報５４を動きベクトル推定部２０２に渡す。動きベクトル推定部２０２は、可変に分割されたブロック毎に復号された動きベクトル情報４６と、画像解像度情報５４を入力とし、後述する方法により動画像情報変換後の動きベクトル算出判定情報５５を出力する。
【００２７】
動きベクトル探索部３０１は動きベクトル算出判定情報５５を基に、画像情報５３の動きベクトルの統合を行うか、動きベクトルの再計算を行い、動画像情報変換後の動きベクトル５６を出力する。動き補償部３０２は、画像メモリ部３０３からの参照画像５７と、動きベクトル探索部３０１で生成された動画像情報変換後の動きベクトル５６を入力とし、動き補償画像５８を生成する。この動き補償画像５８は解像度変換された復号画像５３と共に減算器３０４に供給され、ここで画素係数の差がとられて予測誤差情報５９が生成される。
【００２８】
この予測誤差情報５９は、係数変換部３０５により変換係数６０とされた後、量子化部３０６に供給されて量子化変換係数６１とされる。この量子化変換係数６１は逆量子化部３０７により変換誤差係数６２とされ、更に逆係数変換部３０８に供給されて復号予測誤差情報６３とされた後、加算器３０９に供給され、ここで動き補償画像５８と加算されて動き補償用の参照画像５７とされる。この動き補償用参照画像５７は画像メモリ部３０３に蓄積される。
【００２９】
また、量子化変換係数６１と動きベクトル情報５６は、可変長符号化部３１０にそれぞれ供給されて可変長符号化され、それぞれ符号化量子化変換係数６４と符号化動きベクトル情報６５となる。これらは動画像情報合成部３１１により、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４等の変換後の固定されたマクロブロック単位の動きベクトルを持つ符号化動画像情報６６となり、符号化情報出力端子３０より出力される。
【００３０】
次に、解像度変換係数５２を”１”とし、すなわち画像解像度の変換は行わないものとして、可変に分割されたマクロブロック単位にて復号された動きベクトルを、従来方式である固定されたマクロブロック単位の動きベクトルに変換する場合の、動きベクトルの推定方法について、図２のフローチャートと共に説明する。なお、図２中、ステップＳ１〜Ｓ６は図１の動きベクトル推定部２０２により実行され、ステップＳ７〜Ｓ１１は動きベクトル探索部３０１により実行される。
【００３１】
概要を述べると、まず、図１の動きベクトル情報解釈部１０３によって可変に分割されたブロック毎の動きベクトル情報４６が入力される（ステップＳ１）。続いて、変換前の可変に分割されたサブマクロブロックサイズの大きさと変換後のマクロブロックサイズの大きさを比較する（ステップＳ２）。変換前の可変に分割されたサブマクロブロックサイズの方が変換後のマクロブロックサイズよりも小さい場合、この入力動きベクトルの画像の水平・垂直成分についてそれぞれ分散を算出し、それらを統合して正規化した値を動きベクトルの相関値ρとして算出する（ステップＳ３）。相関値ρの算出方法は後述する。
【００３２】
続いて、この動きベクトルの相関値ρが、予め設定した２つの閾値ρ１とρ２（ただし、０＜ρ２＜ρ１＜１）のうち小さい方の閾値ρ２以上であるかどうか比較し（ステップＳ４）、下記の不等式
ρ２≦ρ＜１
を満足するときには、変換前の各サブマクロブロックの動きベクトルの平均Ｖｍを算出した後（ステップＳ５）、今度は下記の不等式
ρ≧ρ１
を満足するかどうか判定する（ステップＳ６）。
【００３３】
動きベクトルの相関値ρが大きい方の第１の閾値ρ１以上（すなわち、ρ≧ρ１）である場合は、後述するように、動きベクトルは変換前と変換後でほぼ同じ方向であり、再利用可能と判定し、上記の動きベクトルの平均Ｖｍを符号化単位のマクロブロック用の動きベクトルとして再利用する（ステップＳ７）。他方、ステップＳ６で不等式を満足せず、ρ＜ρ１と判定された場合、すなわち、動きベクトルの相関値ρがρ２≦ρ＜ρ１の場合は、後述するように、変換後の動きベクトルの方向に変換前のそれと若干の違いがあるため再計算が必要と判定し、上記の動きベクトルの平均Ｖｍを中心に探索範囲を変更した符号化単位のマクロブロック用の動きベクトルを再計算する（ステップＳ８）。
【００３４】
一方、ステップＳ４の不等式を相関値ρが満足しないとき、すなわち、動きベクトルの相関値ρが小さい方の第２の閾値ρ２未満（０＜ρ＜ρ２）のときには、後述するように、変換後の動きベクトルの方向が変換前のそれと著しく違うため再計算が必要と判定し、通常範囲で動きベクトルを再計算する（ステップＳ９）。
【００３５】
このように、ステップＳ２で変換前の可変に分割されたサブマクロブロックサイズの大きさの方が、変換後のマクロブロックサイズの大きさよりも小さいと判定されたときには、変換前の動きベクトルの平均Ｖｍによる再利用（ステップＳ６，Ｓ７）、探索範囲を変更した動きベクトル再計算（ステップＳ６，Ｓ８）、通常範囲での動きベクトル再計算（ステップＳ４，Ｓ９）のいずれかが選択される。
【００３６】
ただし、ステップＳ２で、変換前の可変に分割されたサブマクロブロックサイズが変換後のマクロブロックサイズと同じか大きい場合、上記の選択は行わず、変換前の動きベクトルをそのまま用いる（ステップＳ１０）。最後に、算出された動画像情報変換後の動きベクトル（図１の５６）を出力する（ステップＳ１１）。
【００３７】
本実施の形態によれば、ブロックマッチングなどの動きベクトル再計算のコストを、マクロブロック毎の動きベクトルの相関値算出に置き換えることが可能となり、１計算コストを削減可能である。また、判定で再計算となった場合も、可変に分割されたサブマクロブロックによる動画像符号化方式によって精度の良い動きベクトルが算出されているため、従来方式に比べ誤差による劣化も抑えることが可能である。
【００３８】
ここで、一例として、解像度変換係数５２を”１”、すなわち画像解像度は変換せず、マクロブロックの大きさを１６×１６画素とし、分割した可変に分割されたブロックの大きさをそれぞれ、１６×８画素，８×１６画素，８×８画素，８×４画素，４×８画素，４×４画素とした時、変換前の可変に分割されたサブマクロブロック単位で算出された動きベクトルを、変換後のマクロブロック単位で再利用する場合について説明する。この場合、マクロブロック単位で考えると、次のような３つのブロックサイズを変換するケースが存在する。
【００３９】
（１）  変換前：１６×１６ブロック→  変換後：１６×１６ブロック
（２）  変換前：１６×８もしくは８×１６のブロックを２個→変換後：１６×１６ブロック
（３）  変換前：８×８以下の可変に分割されたブロックを複数含む→変換後：１６×１６ブロック
以下では、これらのケースについて動きベクトルの統合方法について説明する。図３に示すように、変換前の動きベクトル算出用マクロブロック１０１０が１６×１６画素サイズの場合、その領域は平坦であり、動きベクトル１１１０の方向はマクロブロック１０１０の領域全体で一致しているとみなしてよい。よって、変換後のマクロブロック２０１０の動きベクトル２１１０においても、図３から明らかなように変換前の動きベクトル１１１０と同一とする。従って、図３の場合は、変換前の動きベクトル１１１０をそのまま利用して変換後の動きベクトル２１１０とする（図２のステップＳ１０）。
【００４０】
続いて、図４に示すように、変換前の１６×１６画素サイズのマクロブロックが、縦方向に２分割された、１６×８画素サイズのサブマクロブロック１０２０及び１０２１、又は横方向に２分割された、８×１６画素サイズのサブマクロブロック１０３０及び１０３１の２つを持つ場合、１つのサブマクロブロックに２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１が存在する。
【００４１】
動画像情報変換前の符号化において、サブマクロブロック１０２０及び１０２１、もしくはサブマクロブロック１０３０及び１０３１の分割は、動きベクトルの方向が領域で異なる場合に分割され得るので、これらの２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１の方向が完全に同じであることはない。よって、著しく動きベクトルの方向が違う場合、単に２本の動きベクトルの平均をとって、変換後の動きベクトル２１２０もしくは２１３０とすると、予測誤差が大きくなると考えられる。
【００４２】
そこで、本実施の形態では、前述したように、２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１の水平，垂直成分の分散より相関値ρ（０≦ρ≦１）を求め、ρの大ききにより、動きベクトルの方向及び大きさにどの程度の差があるかを閾値によって判断する。
【００４３】
ここで、図２のステップＳ３における相関値ρの算出方法を示す。ｉ個の二次元ベクトルＶｉ＝（ｘｉ，ｙｉ）(i=1,2,・・・,N)における相関値をρとする。
【００４４】
【数１】
2005236584.tif 000003
【００４５】
ここで定義した相関値ρは、ベクトル成分の分散値を用いることで、方向と大きさの違いにより変動するため、動きベクトルの相関を調べる指標となり、また、正規化されているため、一定の基準により動きベクトルの方向及び大きさの違いを判断することが可能である。
【００４６】
このようにして算出された相関値ρが０より大きく１未満の、第１の閾値ρ１以上であれば相関が大きく、図４に示す１６×１６画素サイズの変換後のマクロブロック２０２０もしくは２０３０で見た場合に、動き方向はほぼ同じであるとして、変換前に算出された２本の動きベクトルの平均Ｖｍを変換後の動きベクトルとして再利用する（図２のステップＳ４〜Ｓ７）。
【００４７】
また、ρ１よりも小である第２の閾値ρ２（０＜ρ２＜ρ１＜１）を定め、相関値ρがこれら２つの閾値の間の値をとる場合（ρ２≦ρ＜ρ１）は、相関が小さいので、著しく方向が違うわけではないが、平均Ｖｍを動きベクトルとして用いると誤差が大きくなると判断する。そこで、変換前の２本の動きベクトルの平均Ｖｍの点を中心として変換後の動きベクトルを再計算する（図２のステップＳ５、Ｓ６、Ｓ８）。
【００４８】
更に、相関値ρが第２の閾値ρ２より小さい場合（ρ＜ρ２）は、相関が極めて小さいので、各動きベクトルの方向が著しく異なると判断する。そこで、変換前の動きベクトルは用いず、通常の探索範囲で変換後の動きベクトルの再計算を行う（図２のステップＳ４、Ｓ９）。これらをまとめると以下のようになる。
【００４９】
i）  ρ≧ρ１
動きベクトルはほぼ同じ方向であり、再利用可能と判定する。この場合、変換前の２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１の平均Ｖｍを算出し、それを変換後の動きベクトル２１２０もしくは２１３０とする。
【００５０】
ii）  ρ２≦ρ＜ρ１
動きベクトルの方向に若干の違いがあるため再計算が必要と判定する。この場合、変換前の２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１の平均Ｖｍを算出し、その点を中心に変換後の動きベクトル２１２０もしくは２１３０を再計算する。
【００５１】
iii）  ０＜ρ＜ρ２
動きベクトルの方向が著しく違うため再計算が必要と判定する。この場合、変換前の２本の動きベクトル１１２０及び１１２１、もしくは１１３０及び１１３１の平均Ｖｍは用いず、通常の探索範囲で変換後の動きベクトル２１２０もしくは２１３０を再計算する。
【００５２】
次に、図５（Ａ）に示すように、可変に分割されたブロックが採用されている符号化方式（Ｈ.２６４の）における変換前の動きベクトルにおいて、ブロックサイズが８×８画素サイズ以下に分割されたサブマクロブロック１０４０、１０４１を含む場合について、固定のブロックが採用されている符号化方式における変換後の動きベクトル推定法を説明する。
【００５３】
この場合は、上記で述べた、解像度変換係数５２が”１”で、かつ、変換前に２本の動きベクトルを持つ場合と同様に、変換前の可変に分割されたサブマクロブロック毎の動きベクトルの相関値を算出し、その相関値と２つの閾値とを比較し、その比較結果に応じて変換後に、変換前の動きベクトル１１４０、１１４１等を再利用するか、変換後の動きベクトルを変換前の動きベクトル１１４０、１１４１等の平均を基に再計算するか、変換前の動きベクトル１１４０、１１４１等は用いずに通常の探索範囲で、変換後の動きベクトル２１４０を再計算するか、のいずれかを判定する。
【００５４】
ただし、この場合、動きベクトルによってマクロブロックの占有率が異なるため、図５に示すように、最も小さい可変に分割されたサブマクロブロックに合わせて、他のサブマクロブロックの動きベクトルに対して重み付けし、相関値を算出する。図５（Ａ）のケースでは、最小の可変に分割されたサブマクロブロックがブロックサイズ４×４画素のブロック１０４０なので、同図（Ｂ）に示すように、ブロックサイズ４×８画素のブロック１０４１には見掛け上計２本の、またブロックサイズ８×８画素のブロック１０４２には見掛け上計４本の、それぞれ同じ動きベクトル（点線のベクトル）が存在すると考える。
【００５５】
従って、図５（Ａ）のケースでは、同図（Ｂ）に示すように、ブロックサイズ１６×１６画素のマクロブロック全体では、実線及び点線で示す各ベクトルの計１６本の動きベクトルが存在することとする。ゆえに、図５（Ｃ）に示す変換後の１６×１６画素のマクロブロック２０４０で考えた場合に、変換後の動きベクトル２１４０の算出の際には、前述した相関値ρと前記閾値ρ１及びρ２との比較結果に応じて、変換前の動きベクトルの再利用の可否を判断することができる。
【００５６】
相関値ρと前記閾値ρ１及びρ２に対する動きベクトル再利用判定の場合分けは、前述した変換前に動きベクトルを２本持つ場合と同様であり、以下に示す通りとなる。
【００５７】
i）  ρ≧ρ１
動きベクトルはほぼ同じ方向であり、再利用可能と判定する。この場合、変換前の動きベクトル１１４０、１１４１等の平均を算出し、変換後の動きベクトル２１４０とする。
【００５８】
ii）ρ２≦ρ＜ρ１
動きベクトルの方向に若干違いがあるため再計算が必要と判定する。この場合、変換前の動きベクトル１１４０、１１４１等の平均を算出し、その点を中心に変換後の動きベクトル２１４０を再計算する。
【００５９】
iii）ρ＜ρ２
動きベクトルの方向が著しく違うため再計算が必要と判定する。この場合、変換前の動きベクトル１１４０、１１４１等は用いず、通常の探索範囲で変換後の動きベクトル２１４０を再計算する。
【００６０】
以上で述べたように、解像度変換を行わず、符号化方式のみの変換を行う場合は、変換前の可変に分割されたブロック毎に算出された動きベクトルの相関値を用いることによって、変換後の動きベクトルを求めるための推定を行うことが可能であり、動きベクトル再計算処理を削減することが可能となり、同時に高精度の動きベクトルを変換後の動きベクトルとして利用することができる。
【００６１】
ところで、以上の説明は解像度変換係数５２を”１”とした場合の動作説明であるが、解像度変換係数５２が”１”より小さい場合、又は”１”より大きい場合でも本発明は適用できる。この場合、図２のフローチャート中のステップＳ７、Ｓ８、Ｓ９、Ｓ１０で処理を行う前段階で、その入力動きベクトルの平均値Ｖｍ又は入力動きベクトルに解像度変換係数５２の値を乗じ、その乗算結果に対してステップＳ７、Ｓ８、Ｓ９、Ｓ１０での処理を行う。
【００６２】
そこで、次に、解像度変換を行う場合について説明する。まず、画像解像度変換係数５２が”１”未満の場合、すなわち画像解像度を縮小する場合について説明する。図６は解像度変換係数５２を”１／２”とした場合の変換前の可変に分割されたブロックの動きベクトルと変換後のマクロブロックの動きベクトル等を示す。
【００６３】
図６の場合、変換前のマクロブロック１０５０を水平・垂直方向で２×２個分用いて、前述した、変換前の２×２個のマクロブロック１０５０において可変に分割されたブロックで重み付けされた動きベクトル１１５０の相関値を算出し、変換後のマクロブロック２０５０の動きベクトル２１５０として、変換前の動きベクトルの再利用、変換前の動きベクトルを基にした、変換後の動きベクトルの再探索、通常の探索範囲による動きベクトルの再探索のいずれかを選択する。
【００６４】
ただし、再利用の場合は解像度変換係数５２に合わせて、変換前の動きベクトル１１５０の大きさを１／２とし、スケーリングする。解像度変換係数５２を１／ｎ（ｎは自然数）とした場合も同様に考えることができる。
【００６５】
すなわち、相関値ρと前記閾値ρ１及びρ２に対する動きベクトル再利用判定の場合分けは前述の場合と同様であり、以下に示す通りとなる。
【００６６】
i）  ρ≧ρ１
動きベクトルはほぼ同じ方向であり、再利用可能と判定する。この場合、変換前の動きベクトル１１５０の平均を算出し、その算出結果に解像度変換係数５２の値を乗算して１／ｎ倍に縮小し、それを変換後の動きベクトル２１５０として利用する。
【００６７】
ii）ρ２≦ρ＜ρ１
動きベクトルの方向に若干違いがあるため再計算が必要と判定する。この場合、変換前の動きベクトル１１５０の平均を算出し、その算出結果に解像度変換係数５２の値を乗算して１／ｎ倍に縮小し、その乗算結果の点を中心に変換後の動きベクトル２１５０を再計算する。
【００６８】
iii）ρ＜ρ２
動きベクトルの方向が著しく違うため再計算が必要と判定する。この場合、変換前の動きベクトル１１５０は用いず、通常の探索範囲で変換後の動きベクトル２１５０を再計算する。以上述べたように、符号化方式及び画像解像度を縮小変換する場合においても変換前の動きベクトルの相関値を用いることによって、変換後の動きベクトルを高速に算出することが可能である。
【００６９】
次に、解像度変換係数５２が”１”より大きい場合（自然数ｍ倍）について説明する。図７は解像度変換係数５２を”３”（ｍ＝３）とした場合の変換前の可変に分割されたブロックの動きベクトルと変換後のマクロブロックの動きベクトル等を示す。この場合は、まず、図７（Ａ）に示す変換前の可変に分割されたサブマクロブロック１０６０毎の動きベクトル情報１１６０を保持したまま、同図（Ｂ）に示すように領域を３倍に拡大し、１個当たり１６×１６画素のマクロブロックが３×３個からなるブロックサイズの変換後のマクロブロック１０６１を作成し、各サブマクロブロック領域で動きベクトル１１６０の相関値を求める。
【００７０】
そして、上記と同様に図７（Ｃ）に示すように、変換後の３×３個のマクロブロック２０６０のそれぞれの１６×１６画素のマクロブロック領域毎に動きベクトル２１６０の推定をする。変換前の動きベクトル１１６０を再利用する場合は、解像度変換係数５２を乗じてスケーリングして用いる。ゆえに、相関値ρと前記閾値ρ１及びρ２に対する動きベクトル再利用判定の場合分けは前述の場合と同様であり、以下に示す通りとなる。
【００７１】
i）ρ≧ρ１
動きベクトルはほぼ同じ方向であり、再利用可能と判定する。この場合、変換前の動きベクトル１１６０の平均を算出し、その算出結果に解像度変換係数５２の値ｍを乗算してＭ倍に拡大し、その乗算結果を変換後の動きベクトル２１６０とする。
【００７２】
ii）ρ２≦ρ＜ρ１
動きベクトルの方向に若干違いがあるため再計算が必要と判定する。この場合、変換前の動きベクトル１１６０の平均を算出し、その算出結果に解像度変換係数５２の値ｍを乗算してＭ倍に拡大し、その乗算結果の点を中心に変換後の動きベクトル２１６０を再計算する。
【００７３】
iii）ρ＜ρ２
動きベクトルの方向が著しく違うため再計算が必要と判定する。この場合、変換前の動きベクトル１１６０は用いず、通常の探索範囲で変換後の動きベクトル２１６０を再計算する。
【００７４】
このように、本実施の形態によれば、符号化動画像変換前の動きベクトルの相関値ρを用い、予め設定した２つの閾値ρ１とρ２と比較することで、変換後の動きベクトルの推定を行うことによって、変換前の動きベクトルを再利用するか、変換前の動きベクトルを基に、変換後の動きベクトルを再計算するか、通常の動きベクトル探索範囲で動きベクトルの再計算を行うかの判定をするようにしたため、再符号化処理における符号化効率を向上させることができる。
【００７５】
なお、本発明は以上の実施の形態に限定されるものではなく、例えば、以上の実施の形態では、可変に分割されたサブマクロブロックにて求められた動きベクトルを、通常のマクロブロック単位での動きベクトルへ変換する実施の形態について説明したが、変換後のマクロブロックの大きさは例えばＭＰＥＧ−４のサブブロックのように、８×８画素の大きさのブロックを含んでいてもよい。この場合は、変換前の可変に分割されたサブマクロブロックサイズが４×８画素、８×４画素、４×４画素のマクロブロックを含む場合に、上記相関値による変換後の動きベクトルの推定を行えばよい。
【００７６】
また、上記の実施の形態では、マクロブロックの大きさを１６×１６画素としたが、他の大きさでもよい。同様に、可変に分割されたサブマクロブロックの大きさにおいてもマクロブロックの大きさに合わせて、組み合わせることが可能である。
【００７７】
また、本発明は例えば以上の実施の形態の動画像情報変換符号化装置をコンピュータにより実現するコンピュータプログラムを包含するものである。この場合、コンピュータプログラムは記録媒体を介してコンピュータに取り込まれてもよいし、通信ネットワークを介してコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００７８】
【図１】本発明の動画像情報変換符号化装置の一実施の形態のブロック図である。
【図２】図１の実施の形態における動きベクトル再利用手順の説明用フローチャートである。
【図３】本発明装置における変換前のブロックサイズを１６×１６画素とし、変換後のブロックサイズを１６×１６画素としたときの動きベクトル変換の一例を示す図である。
【図４】本発明装置における変換前のブロックサイズが１６×８画素もしくは８×１６画素を２つ持つとし、変換後のブロックサイズを１６×１６画素としたときの動きベクトル変換の一例を示す図である。
【図５】本発明装置における変換前のブロックサイズが８×８画素以下の大きさのブロックを持つとし、変換後のブロックサイズを１６×１６画素としたときの動きベクトル変換の一例を示す図である。
【図６】本発明装置における解像度変換係数を１未満（ｎ＝１／２）としたときの動きベクトル変換の一例を示す図である。
【図７】本発明装置における解像度変換係数を１より大きい（ｍ＝３）としたときの動きベクトル変換の一例を示す図である。
【図８】動画像符号化における可変に分割されたブロックを示す図である。
【符号の説明】
【００７９】
１０  符号化情報入力端子
２０  解像度変換係数入力端子
３０  符号化情報出力端子
１００  動画像復号部
１０１  動画像情報分離部
１０２  可変長復号部
１０３  動きベクトル情報解釈部
１０４  動きベクトル補償部
１０５、３０７  逆量子化部
１０６、３０８  逆係数変換部
１０８、３０３  画像メモリ部
２００  動画像情報変換部
２０１  画像解像度変換部
２０２  動きベクトル推定部
３００  動画像符号化部
３０１  動きベクトル探索部
３０２  動き補償部
３０５  係数変換部
３０６  量子化部
３１０  可変長符号化部
３１１  動画像情報合成部
【図１】
2005236584.tif 000004
【図２】
2005236584.tif 000005
【図３】
2005236584.tif 000006
【図４】
2005236584.tif 000007
【図５】
2005236584.tif 000008
【図６】
2005236584.tif 000009
【図７】
2005236584.tif 000010
【図８】
2005236584.tif 000011