(57)【特許請求の範囲】
【請求項１】
あるビットレートで符号化された画像符号化データを、画像サイズを縮小して再符号化する方法において、
該画像の符号化データを復号し、画素値を得て復号画像を構成する過程と、
該画像の符号化データに含まれる小ブロック単位の第１の動きベクトルを抽出する過程と、
該第１の動きベクトルを用いて縮小された復号画像を再符号化するための第２の動きベクトルを算出する過程とを備え、
前記第２の動きベクトルを算出する過程は、
前記第１の動きベクトルの長さを２n分の１（ｎは自然数）にスケーリングして第３の動きベクトルを算出する過程と、
２本の前記第３の動きベクトルのＸ方向成分の差の絶対値、およびＹ方向成分の差の絶対値との和によって一次ノルムを算出する過程と、
前記第３の動きベクトルの１本ごとに、算出された差分ベクトルのノルムの和を算出する過程と、
該算出されたノルムの和とある閾値との大小を比較する過程と、
前記第３の動きベクトルのうち、該閾値より小さなノルムの和を持つ動きベクトルを前記第２の動きベクトルを算出するための候補ベクトルの１本として選定する過程とを含むことを特徴とする画像符号化データの再符号化方法。
【請求項２】
前記候補ベクトルの平均を前記第２の動きベクトルとすることを特徴とする請求項１に記載の画像符号化データの再符号化方法。
【請求項３】
前記ノルムの和が最小となる前記候補ベクトルを前記第２の動きベクトルとすることを特徴とする請求項１に記載の画像符号化データの再符号化方法。
【請求項４】
前記候補ベクトルが１本も選定されない場合にゼロベクトルを前記第２の動きベクトルとすることを特徴とする請求項１に記載の画像符号化データの再符号化方法。
【請求項５】
前記抽出された第１の動きベクトルを用いて、縮小復号画像を再符号化するための第２の動きベクトルを算出する過程は、
縮小された前記小ブロックの画素値を、前記第３の動きベクトルによって定められる、縮小された参照復号画像上の対応する領域における画像値との差分絶対値和を求める過程を含み、
前記候補ベクトルが１本も選定されない場合に前記差分絶対値和の最小値を与える前記第３の動きベクトルを前記第２の動きベクトルとすることを特徴とする請求項１に記載の画像符号化データの再符号化方法。
【請求項６】
請求項１〜５のいずれか１項における処理過程をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする画像符号化データの再符号化方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、あるビットレートで符号化された画像符号化データを再符号化する方法に関するものである。
【０００２】
【従来の技術】
あるビットレートにて符号化された画像符号化データから、異なるビットレートの画像符号化データを生成する一過程として、再符号化する方法がある。
【０００３】
図３に、画像符号化データの再符号化を行なうシステム構成図を示す。同図において、復号画像だけを用いて再符号化する場合には、通常の符号化処理と同等である。通常、再符号化の目的は「符号化データ量の削減」や「画像サイズの縮小」にある。そこで、再符号化では、復号器１０１により、元の符号化データの一部または全部を復号し、再符号化器１０２により復号画像を目的の符号化ビットレートに符号化する。
【０００４】
符号化データ量の削減としては、一般に復号画像を再符号化するときの量子化ステップを大きくし、粗く量子化することで、発生符号量を小さくする方法が用いられている。画像サイズの縮小は、一般にフィルタ処理により高周波成分を切り捨てることで、解像度変換を行なう方法が用いられている。
【０００５】
また、符号化処理においては、動きベクトルを算出する動き探索処理に最も演算量を必要とする。そこで、元の符号化データの動きベクトル情報を抽出・利用して再符号化対象小ブロックの動きベクトルを算出し、動きベクトルの再探索を不要にすることにより、演算量を削減できる。
【０００６】
【発明が解決しようとする課題】
従来の方法では、元の符号化データの動きベクトル情報を抽出・利用し、再符号化対象小ブロックの動きベクトルを算出する場合に、複数個の動きベクトルに対し平均値を求めたり、あるいは補間処理を行なうことが多い。
【０００７】
しかしながら、動きベクトルの検出には誤検出が避けられないため、元の符号化データの画像において周囲とは大きく異なる動きベクトルを持つ小ブロックが含まれていることがある。このような場合、従来の方法では、算出された再符号化対象小ブロックの動きベクトルが、この小ブロックの動きベクトルに引きずられる形となる。
【０００８】
図４にその一例として、４つの小ブロックの動きベクトルを１本の動きベクトルを用いて表わす場合を示す。再符号化対象画像２１１における４つの小ブロック２０１〜２０４が、動きベクトル２０５〜２０８により参照画像２１２上の矢印で示される位置に移動しているものとする。動きベクトルの平均をとる方法では、４本の動きベクトル２０５〜２０８から動きベクトル２１０が算出されるが、この動きベクトル２１０は第２の動きベクトルの最適値として予期される小ブロックを１つにまとめたものを再探索して得られる動きベクトル２０９から外れてしまい、画像間の差分として符号化される予測誤差が犬きくなって符号量が増大するという問題があった。
【０００９】
本発明の目的は、画像サイズが縮小される再符号化方法において、動き検出をすることなく、再符号化対象小ブロックの動きベクトルの算出精度を高める再符号化方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の再符号化方法は、元の符号化データに含まれる画像の符号化データとフレーム間符号化の参照画像の符号化データとを抽出する過程と、該画像の符号化データを復号し画素値を得る過程と、該画像に含まれる小ブロック単位の第１の動きベクトルを抽出する過程と、該第１の動きベクトルを用いて、該画像を再符号化するための第２の動きベクトルを算出する過程とを備える。
【００１１】
また、第２の動きベクトルを算出する過程は、抽出された第１の動きベクトルの長さをスケーリング（縮小）して第３の動きベクトルを算出する過程と、２本の前記第３の動きベクトルの差分ベクトルのノルムを算出する過程と、前記第３の動きベクトル１本ごとに、算出された差分ベクトルのノルムの和を算出する過程と、該算出されたノルムの和とある閾値との大小を比較する過程と、前記第３の動きベクトルのうち、該閾値より小さなノルムの和を持つ動きベクトルを前記第２の動きベクトルを算出するための候補ベクトルの１本として選定する過程とを備える。
【００１２】
さらに、該候補ベクトルの数に応じて、該候補ベクトルの平均、あるいは前記ノルムの和が最小となる該候補ベクトルを第２の動きベクトルとする過程および、ゼロベクトル、あるいは縮小された前記小ブロックを前記第３の動きベクトルによって定められる、縮小された前記参照画像上の対応する領域における画素値との差分絶対値和を求める過程と、該差分絶対値和の最小値を与える前記第３の動きベクトルを第２の動きベクトルとする過程とを備える。
【００１３】
図１は、元の符号化データに含まれる第１の動きベクトルＭＶiと、第３の動きベクトルｍｖi，ならびに第２の動きベクトルＭＶ’の関係を示す。
【００１４】
第３の動きベクトルｍｖiに対し、差分ベクトルｄｍｖijと差分ベクトルのノルムＮij，ノルムの和Ｓiを次のように定義する。
【００１５】
【数１】
0003917805.tif 000002
【００１６】
ここで、ノルムＮijは２次元の差分ベクトルｄｍｖijの長さに当るものであり、
【００１７】
【数２】
0003917805.tif 000003
【００１８】
などで定義できる。
【００１９】
このとき、ある閾値Ｔｈに対し第３の動きベクトルｍｖiのノルムの和ＳiがＳi＜Ｔｈを満たす場合、ｍｖiを候補ベクトルの１つとする。候補ベクトルが１本以上選ばれた場合は、候補ベクトルの平均、あるいはＳiの最小値を与える候補ベクトルを第２の動きベクトルＭＶ’とする。
【００２０】
また、候補ベクトルが０本の場合は、ゼロベクトル、あるいはそれぞれの第３の動きベクトルｍｖiにより、１つにまとめられた小ブロックを平行移動し、参照画像上の対応する領域における画素値との差分絶対値和（ＳＡＤ；Ｓｕｍ  ｏｆ  Ａｂｕｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）を求め、該差分絶対値和の最小値を与えるｍｖiを第２の動きベクトルＭＶ’とする。
【００２１】
なお、上記の方法で、前者のゼロベクトルを第２のベクトルとする理由は、後者の差分絶対値和を求める演算をなくし、発生符号量の増加によるデメリットを処理時間の短縮によるメリットで補うためである。
【００２２】
以上のことから、本発明は、以下の画像符号化データの再符号化方法およびこの方法をプログラムで記録した記録媒体を特徴とする。
【００２３】
（方法の発明）
あるビットレートで符号化された画像符号化データを、画像サイズを縮小して再符号化する方法において、
該画像の符号化データを復号し、画素値を得て復号画像を構成する過程と、
該画像の符号化データに含まれる小ブロック単位の第１の動きベクトルを抽出する過程と、
該第１の動きベクトルを用いて縮小された復号画像を再符号化するための第２の動きベクトルを算出する過程とを備え、
前記第２の動きベクトルを算出する過程は、
前記第１の動きベクトルの長さを２n分の１（ｎは自然数）にスケーリングして第３の動きベクトルを算出する過程と、
２本の前記第３の動きベクトルのＸ方向成分の差の絶対値、およびＹ方向成分の差の絶対値との和によって一次ノルムを算出する過程と、
前記第３の動きベクトルの１本ごとに、算出された差分ベクトルのノルムの和を算出する過程と、
該算出されたノルムの和とある閾値との大小を比較する過程と、
前記第３の動きベクトルのうち、該閾値より小さなノルムの和を持つ動きベクトルを前記第２の動きベクトルを算出するための候補ベクトルの１本として選定する過程とを含むことを特徴とする。
【００２５】
また、前記候補ベクトルの平均を前記第２の動きベクトルとすることを特徴とする。
【００２６】
また、前記ノルムの和が最小となる前記候補ベクトルを前記第２の動きベクトルとすることを特徴とする。
【００２７】
また、前記候補ベクトルが１本も選定されない場合にゼロベクトルを前記第２の動きベクトルとすることを特徴とする。
【００２８】
また、前記抽出された第１の動きベクトルを用いて、縮小復号画像を再符号化するための第２の動きベクトルを算出する過程は、
縮小された前記小ブロックの画素値を、前記第３の動きベクトルによって定められる、縮小された参照復号画像上の対応する領域における画像値との差分絶対値和を求める過程を含み、前記候補ベクトルが１本も選定されない場合に前記差分絶対値和の最小値を与える前記第３の動きベクトルを前記第２の動きベクトルとすることを特徴とする。
【００２９】
（記録媒体の発明）
前記のいずれか１つの再符号化方法における処理過程をコンピュータに実行させるためのプログラムを、該コンピュータが読み取り可能な記録媒体に記録したことを特徴とする。
【００３０】
【発明の実施の形態】
以下、本発明の実施形態について図を用いて詳細に説明する。
【００３１】
図２は、再符号化される画像のサイズを縦横で２分の１にした場合の、第１の動きベクトルと２分の１にスケーリングされた第３の動きベクトル、ならびに算出された第２の動きベクトルを示している。
【００３２】
図２の例では条件として、ノルムをＮij＝｜ｘi−ｘj｜＋｜ｙi−ｙj｜，閾値をＴｈ＝１５，第２の動きベクトルの算出方法を候補ベクトルの平均（候補ベクトルが１本以上の場合）、およびゼロベクトル（候補ベクトルが０本の場合）としている。
【００３３】
第１の動きベクトルＭＶiは２分の１にスケーリングされて第３の動きベクトルｍｖiを与える。第３の動きベクトルｍｖiの値からノルムＮijとノルムの和Ｓiは以下の演算式から求まる。
【００３４】
【数３】
0003917805.tif 000004
【００３５】
閾値Ｔｈ＝１５との比較によりノルムの和Ｓ2，Ｓ3，Ｓ4が候補ベクトルを選定するための条件を満たしており、第３の動きベクトルｍｖ2，ｍｖ3，ｍｖ4が候補ベクトルとなる。
【００３６】
結果として、前述の第２の動きベクトルの算出方法から、第２の動きベクトルＭＶ’は以下のように求められる。
【００３７】
【数４】
0003917805.tif 000005
【００３８】
また、同様の条件で第１の動きベクトルがＭＶ1＝（−４，−４），ＭＶ2＝（４，−４）、ＭＶ3＝（−４，４）、ＭＶ4＝（４，４）の場合を考えると、Ｓ1＝Ｓ2＝Ｓ3＝Ｓ4＝１６＞Ｔｈとなり、候補ベクトルは０本なので、第２の動きベクトルはゼロベクトルとなる。
【００３９】
尚、上記では、再符号化される画像のサイズを縦横とも２分の１にした場合についてのみ説明したが、縦横とも４分の１、８分の１など、２n分の１（ｎは自然数）に縮小する場合にも、本発明を同様に適用できることは言うまでもない。
【００４０】
また、図１または図２に示した方法の一部又は全部をコンピュータプログラムで記載してそれを実行できるようにし、それをコンピュータが読み取り可能な記録媒体、例えば、フロッピーディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して提供し、配布することが可能である。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、再符号化時に動き検出をすることなく、周囲の動きベクトルと大きく異なる動きベクトルを除外して、再符号化対象小ブロックの動きベクトルの算出精度を高めることができる。
【図面の簡単な説明】
【図１】画像符号化データの再符号化を行なうシステム構成図。
【図２】従来の動きベクトルの算出処理を説明する図。
【図３】本発明における第１の動きベクトルと、第３の動きベクトルと、および第２の動きベクトルとの関係を説明する図。
【図４】本発明の実施形態を説明する図。
【符号の説明】
１０１…復号器
１０２…再符号化器
２０１〜２０４…小ブロック
２０５〜２０８…第１の動きベクトル
２０９…最適な第２の動きベクトル
２１０…算出された第２の動きベクトル
２１１…再符号化対象画像
２１２…参照画像
３０１…第１の動きベクトル
３０２…第３の動きベクトル
３０３…第２の動きベクトル
３０４…元の符号化データにおける小ブロック
３０５…縮小された小ブロック
３０６…再符号化対象小ブロック
ＭＶ…第１の動きベクトル
ｍｖi…第３の動きベクトル
ＭＶ’…第２の動きベクトル
ｄｍｖij…差分ベクトル
Ｎij…差分ベクトルのノルム
Ｓi…ノルムの和
【図１】
0003917805.tif 000006
【図２】
0003917805.tif 000007
【図３】
0003917805.tif 000008
【図４】
0003917805.tif 000009