(57)【特許請求の範囲】
【請求項１】
動き補償画像間予測された動画像の符号列の変換を行う動画像符号列変換装置において、
第１の動画像符号列を受け、符号列から第１の動きベクトルを得る分離手段と、
前記第1の動画像符号列を、第１の動き補償ブロックに対応した前記第１の動きベクトルを用いて画像間予測を行い復号化し、第１の復号画像信号を得る復号手段と、
前記第１の復号画像信号の画素数を変換し、異なった画素数の第２の復号画像信号を得る画素数変換手段と、
前記第２の復号画像信号を第２の動き補償ブロックで再符号化するための第２の動きベクトルを、実画像上で第２の動き補償ブロックの中央位置に存在する第１の動き補償ブロックを特定し、前記第１の動き補償ブロック用の第１の動きベクトルを前記画素数変換手段での画素数の変換比率に応じてスケーリングすることにより得る動きベクトル再構成手段と、
前記第２の動きベクトルを用いて、前記第２の復号画像信号を前記第２の動き補償ブロックで画像間予測符号化して符号列を得る再符号化手段と、
前記第２の動きベクトルの情報と前記再符号化手段で得られた符号列とを多重化し第２の動画像符号列を得る多重化手段を有することを特徴とする動画像符号列変換装置。
【請求項２】
動き補償画像間予測された動画像の符号列の変換を行う動画像符号列変換方法において、
第１の動画像符号列を受け、符号列から第１の動きベクトルを分離し、
前記第1の動画像符号列を、第１の動き補償ブロックに対応した前記第１の動きベクトルを用いて画像間予測復号化を行い、第１の復号画像信号を得て、
前記第１の復号画像信号の画素数を変換し、異なった画素数の第２の復号画像信号を得て、
前記第２の復号画像信号を第２の動き補償ブロックで再符号化するための第２の動きベクトルを、実画像上で第２の動き補償ブロックの中央位置に存在する第１の動き補償ブロックを特定し、前記第１の動き補償ブロック用の第１の動きベクトルを、前記第１の復号画像信号の画素数と前記第２の復号画像信号の画素数との画素数の変換比率に応じてスケーリングすることにより得て、
前記第２の動きベクトルを用いて、前記第２の復号画像信号を前記第２の動き補償ブロックで画像間予測符号化して符号列を得て、
前記第２の動きベクトルの情報と前記符号列とを多重化し第2の動画像符号列を得ることを特徴とする動画像符号列変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、符号列の変換に関する。特に符号化方式がブロック単位で動き補償を行う画像間予測符号化であり、異なった画素数の画像に変換する場合に関する。
【０００２】
【従来の技術】
＜動画像符号列の変換＞
ＭＰＥＧ等に代表される動画像高能率符号化で符号化された符号列を、異なったデータレートに変換、または可変転送レートを固定転送レートに変換する必要がある。この場合、画像を完全に復号化して異なったレートで再符号化するのが原則となるが、基本的な符号化処理が同じならば情報の一部はそのまま使うことが出来る。
具体的には、動きベクトル（ＭＶ）情報はそのまま再符号化で用いられ、多くの演算を必要とする動きベクトル検出を省略出来る。また、動き補償画像間予測処理が変わらないので、再符号化による劣化は量子化の違いのみとなり、最小限で済む。この様な処理は１９９３年画像符号化シンポジウム予稿集１−６「画像の再符号化における符号化制御の検討」やH.Sun,W.Kwok and J.Zdepski,“Architectures for MPEG Compressed Bitstream Scaling"(IEEE Transaction on Circuit and System for Video Technology, Vol.6, No.2, April 1996)に記載されている。
【０００３】
＜従来例動画像符号列の変換装置＞
図5は従来の動画像符号列の変換装置の一構成例を示したものである。
符号列入力端子１より入来する動き補償画像間予測符号化された符号列は、予測残差の符号列とＭＶの符号列が可変長復号化器２で固定長の符号に戻される。固定長符号として得られたＤＣＴ(離散コサイン変換)係数は逆量子化器３で係数値となり、逆ＤＣＴ４に与えられる。逆ＤＣＴ４は８×８個の係数を再生予測残差信号に変換し、加算器５に与える。加算器５では再生予測残差信号に後述の予測信号が加算され、再生画像となる。一方、可変長復号化器２から出力されるＭＶ情報は、動き補償予測器７と１４に与えられる。
【０００４】
この様にして得られた再生画像信号は、画像メモリ８と予測減算器９に与えられる。動き補償予測器７は、画像メモリ８に蓄積されている画像をＭＶに基づいて動き補償し、予測信号を形成する。得られた予測信号は加算器５に与えられる。つぎに再符号化系について説明する。加算器５から得られる再生画像信号は、減算器９において動き補償予測器１４から与えられる予測信号が減算され、予測残差となってＤＣＴ１０に与えられる。
【０００５】
ＤＣＴ１０はＤＣＴの変換処理を行い、得られた係数を量子化器１１に与える。量子化器１１は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１２と逆量子化器１８に与える。量子化ステップ幅は、転送レート変更に対応して逆量子化器３の量子化ステップ幅と異なったものとなる。可変長符号化器１２は、固定長の予測残差を可変長符号で圧縮し、さらにＭＶを可変長符号化し、出来た符号列を符号列出力端子１３より出力する。
【０００６】
一方、逆量子化器１８及び逆ＤＣＴ１７ではＤＣＴ１０及び量子化器１１の逆処理が行われ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で画像間予測信号が加算され再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、動き補償予測器１４に与えられる。動き補償予測器１４は、可変長復号化器２から与えられるＭＶに従って画像間予測信号を作り、減算器９と加算器１６に与える。
ここで、動き補償画像間予測処理は復号化部と符号化部で同一であるため、加算器５と減算器９を相殺して、画像内処理のみ行えば良いようにも見える。さらにＤＣＴ４は逆ＤＣＴ１１に対する可逆変換処理なので相殺して、再量子化のみ行えばよいようにも見える。
【０００７】
しかし、復号系の画像メモリ８に蓄えられている再生画像と、再符号化系の画像メモリ１５に蓄えられている再生画像は、量子化処理が異なるので量子化誤差が異なった画像であり、予測信号が多少異なることになる。従って、画像間予測処理を省略すると１回の予測処理では大きな誤差とならないが、巡回型予測処理で誤差が累積し、大きなずれを生じる。すなわち、予測処理等を省略すると大きな画質劣化を生じることになる。
【０００８】
【発明が解決しようとする課題】
従来の動画像符号列変換装置は、変換の前後で同じ画素数の画像の場合にしか対応していない。同じ画素数の場合、動きベクトルはそのまま用いることが出来るが、変換前と変換後で画素数が異なると、動き補償ブロックの境界が変わるので、動きベクトルをそのまま使用することは出来ない。画素数の変換を伴う変換では、動きベクトル検出を再度行う必要があり、処理量や画質劣化が問題となっていた。
本発明は以上の点に着目してなされたもので、入来した符号列を復号すると共に、符号列から取り出した動きベクトルを用いて異なった画素数の画像に対応した動きベクトルを再構成し、新たな動きベクトルを用いて画素数が変換された復号画像を再符号化することで、処理量も画質劣化も少ない動画像符号列変換装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、動き補償画像間予測された動画像の符号列の変換において、第１の動画像符号列を受け、符号列から第１の動きベクトルを分離し、前記第1の動画像符号列を第１の動き補償ブロックに対応した前記第１の動きベクトルを用いて画像間予測復号化を行い、第１の復号画像信号を得て、その画素数を変換し、異なった画素数の第２の復号画像信号を得る。一方、前記第２の復号画像を第２の動き補償ブロックで再符号化するための第２の動きベクトルを、実画像上で第２の動き補償ブロックの中央位置に存在する第１の動き補償ブロックを特定し、前記第１の動き補償ブロック用の第１の動きベクトルを前記画素数変換手段での画素数の変換比率に応じてスケーリングすることにより得て、それを用いて、前記第２の復号画像信号を前記第２の動き補償ブロックで画像間予測符号化して符号列を得、前記第２の動きベクトルの情報と多重化し第2の動画像符号列を得る動画像符号列変換装置及びその方法である。
【００１１】
（  作  用  ）
本発明では、入来した符号列のすべてまたは一部を復号すると共に、符号列から取り出した動きベクトル(ＭＶ)を用いて異なった画素数の画像の動き補償ブロックに対応したＭＶを再構成し、そのＭＶを用いて画素数が変換された復号画像を再符号化する。
再符号化する画像は画素数の変換により、再符号化の転送レートに対して解像度と量子化誤差のバランスを最適にすることが出来る。再構成で得たＭＶは、画素数が変換された画像での動き補償ブロックに対応したものとなっているので、再符号化での動き補償誤差は最小となる。ＭＶの再構成は動きベクトル検出を行う場合と比較して僅かな処理である。動きベクトルも入来したものと類似するので、画像間予測残差の変化も最小限であり、画質劣化も少なくなる。
【００１２】
【発明の実施の形態】
＜実施動画像符号列変換装置＞
本発明の動画像符号列変換装置の一実施例について、以下に説明する。
図１は、その構成を示したもので、図５の従来例と同一構成要素には同一番号を付してある。図１には、図５と比較してＭＶ再構成器６、画素数変換器１９が追加されている。このＭＶ再構成器６の内部構成は図２及び図３に示されている。実施例において従来例と異なるのは、再符号化画像の画素数と、それに伴う動きベクトル(ＭＶ)である。ＤＣＴや量子化等の各処理部分の処理動作は、従来例と基本的に同じである。
【００１３】
復号系から説明する。符号列入力端子１より入来する符号は、予測残差の符号列と前記符号列の動き補償ブロックに対応した第１ＭＶの符号列が可変長復号化器２で固定長の符号に戻される。固定長符号として得られたＤＣＴ係数は逆量子化器３で係数値となり、逆ＤＣＴ４に与えられる。逆ＤＣＴ４は８×８個の係数を再生予測残差信号に変換し、加算器５に与える。加算器５では再生予測残差信号に下記の動き補償予測器７から得られた予測信号が加算され、再生画像となる。一方、可変長復号化器２から取り出した第１ＭＶは動き補償予測器７とＭＶ再構成器６に与えられる。
【００１４】
この様にして得られた再生画像信号は、画像メモリ８と画素数変換器１９に与えられる。画素数変換器１９は再生画像を水平方向にリサンプルし、画素数の変換された画像を得る。リサンプル処理の詳細に付いては後述する。
リサンプルされた再生画像信号は、予測減算器９、ＭＶ再構成器６に与えられる。ＭＶ再構成器６は、可変長復号化器２で得られた第１ＭＶを用いて、再符号化で必要となる異なった画素数の画像に対応した第２ＭＶを再構成する。ＭＶの再構成方法に付いては後述する。
【００１５】
つぎに再符号化系について説明する。画素数変換器１９で画素数変換された再生画像信号は、減算器９において動き補償予測器１４から与えられる予測信号が減算され、予測残差となってＤＣＴ１０に与えられる。
ＤＣＴ１０はＤＣＴ変換処理を行い、得られた係数を量子化器１１に与える。量子化器１１は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器１２と逆量子化器１８に与える。
可変長符号化器１２は、予測残差を可変長符号で圧縮された符号とし、第２ＭＶも可変長符号化し、両者を多重化して出来た符号列を符号出力端子１３より出力する。
【００１６】
一方、逆量子化器１８及び逆ＤＣＴ１７ではＤＣＴ１０及び量子化器１１の逆処理が行われ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１６で画像間予測信号が加算され再生画像となり、画像メモリ１５に与えられる。画像メモリ１５に蓄えられている再生画像は、動き補償予測器１４に与えられる。動き補償画像間予測器１４は、ＭＶ再構成器６から与えられる第２ＭＶに従って画像間予測信号を作り、減算器９と加算器１６に与えることで、画像間予測符号化が行われる。
なお、再符号化の各部分の処理内容は、図５の従来例と基本的に同じであるが、画素数の違いに合わせて具体的パラメータ等は異なる。
【００１７】
＜画素数変換器＞
画素数変換器１９は、再生画像に対して通常水平方向にリサンプルを行う。具体的には、通常７２０画素である再生画像を、３／４倍して５４０画素、２／３倍して４８０画素、１／２倍して３６０画素等に変換する。その際の画素の様子(１ラインのみ)を図６に示す。リサンプル処理は、ディジタルフィルタでタップ係数を切替えながら異なったサンプル位置の画素を作り出し、必要な画素のみ取り出すことで行われる。
なお、符号化画素数は動き補償ブロックが１６×１６画素なので、その倍数である必要があり、５４０画素では４画素ダミー画素を追加して５４４画素、３６０画素では８画素削除して３５２画素とする。
【００１８】
この様な画素数の変換は、通常転送レートの大幅な変更に伴って行われる。すなわち、７２０画素で８Ｍｂｐｓ程度の符号列を、７２０画素のまま５Ｍｂｐｓ以下に変換しようとすると、ＭＶ等の動き補償予測情報はそのままで、予測残差の情報のみを削減することになり、極端に画質が劣化する。
符号化対象画素数を削減すると、解像度は低下するが、動き補償予測情報も減るので、情報のバランスは適切に出来る。画素数を減らす程度は、再符号化の転送レートに依存し、よりレートを下げたい場合は、画素数もより少なくする。
なお、垂直方向の画素数変換はインターレース信号では問題があるが、プログレッシブ画像の場合は可能である。また、元の転送レートより再符号化の転送レートを上げても画質は改善されないので、画素数を増やすことは考え難い。
【００１９】
もう一つの例は、７２０画素の右端と左端の合計１６画素を削除し７０４画素とする場合である。ディジタル標準画像として使われるRec.601フォーマットは、水平有効画素数が７２０となっているが、実際に画像はアナログ画像信号規格との関係で７１１画素程度しか存在せず、左右にブランクサンプルが存在する。そこでブランクサンプルは排除して７０４画素のみを符号化する。この場合、リサンプルは行われず、画素が削除されるのみである。また、解像度低下はないが画素数の削減効果も僅かである。
【００２０】
＜ＭＶ再構成器＞
ＭＶは、それを用いる動き補償ブロックに適合したものである必要がある。本実施例では、入来する符号列の画像と再符号化され出力される画像で画素数が異なり、実画像上の動き補償ブロックの大きさ及びブロック境界位置が変化する。
その様子を図４に示すが、点線で示されたのは変換前の７２０画素でのブロック(第１ブロック)である。画素数変換で画素数が削減されると、同じ１６×１６画素でもブロック(第２ブロック)は実画像上で大きくなる。それに伴いブロックの境界位置も変化する。７２０が７０４に変換された場合は、ブロックの大きさは変化しないが、境界位置は変化する。
また、ＭＶの値は水平と垂直の画素移動量で示されるので、第１ＭＶと第２ＭＶが実画像上で同一な動きでも、画素数の変換に伴って画素移動量は変化するので、ＭＶ値を変換する必要がある。
【００２１】
ＭＶ再構成器６の構成は、図２または図３のようになる。
図２では入来する第１ＭＶはＭＶバッファ２１で蓄えられ、第１ブロックと第２ブロックの位置関係から、対象第２ブロックに一部でも含まれる第１ブロックを特定し、その第１ＭＶをＭＶ探索器２２に与えられる。
ＭＶ探索器２２は、そのＭＶを垂直成分値に垂直方向の画素数の変換比を乗じ、水平成分値に水平方向の画素数の変換比を乗じる。具体的には水平７２０が４８０に変換されるなら、垂直成分値はそのままで、水平成分値は２／３倍される。このように変換された第１ＭＶは第２ＭＶの候補として、画素数変換された再生画像を用いて再探索し、最も誤差の少なくなるＭＶを出力する。その際、ＭＶ候補に変換比を乗じた第１ＭＶの周辺値を追加しても良い。
【００２２】
ＭＶ再構成器は、図３に示したように簡易的な処理が可能なものでもよい。
図３では入来する第１ＭＶはＭＶバッファ２１で蓄えられ、その第１ＭＶがＭＶ選択器２３に与えられる。
ＭＶ選択器２３は、第１ブロックと第２ブロックの位置関係から、対象第２ブロックの中央にある第１ブロックの第１ＭＶを選択する。これを前記と同様に画素数の変換比を乗じて第２ＭＶとする。この場合は、探索は行われないので再生画像は必要ない。
【００２３】
【発明の効果】
本発明では、入来した符号列のすべてまたは一部を復号すると共に、符号列から取り出した動きベクトルを用いて異なった画素数の画像の動き補償ブロックに対応した動きベクトルを再構成し、その動きベクトルを用いて画素数が変換された復号画像を再符号化する。
画素数が変換された画像を再符号化することにより、再符号化の転送レートに対して解像度と量子化誤差のバランスを最適に出来、変換された符号列の再生画像の品質が改善される。
【００２４】
ＭＶ再構成はＭＶ検出と比較して僅かな処理であり、完全に復号して再符号化する場合に対して、装置規模を大幅に軽減出来る。また、再符号化でＭＶ検出を全く新たに行うと、ＭＶ検出で用いる画像は再生画像で劣化しているので、本来の動きと異なった動きを検出しやすくなるが、本手法では入来したＭＶを基準にした再探索であるので誤検出が起こりにくい。ＭＶも入来したものと類似するので、再符号化による画像間予測残差の変化も最小限であり、画質劣化も少ない。
【図面の簡単な説明】
【図１】本発明の動画像符号列変換装置の一実施例の構成を示す図である。
【図２】本発明の動画像符号列変換装置のＭＶ再構成器の第１実施例を示す図である。
【図３】本発明の動画像符号列変換装置のＭＶ再構成器の第２実施例を示す図である。
【図４】本発明の動き補償ブロックの様子を示す図である。
【図５】従来の動画像符号列変換装置の一構成例を示す図である。
【図６】本発明の画素数変換の様子を示す図である。
【符号の説明】
１  符号列入力端子
２  可変長復号化器（分離手段）
３、１８  量子化器
４、１７  ＤＣＴ
５、１６  加算器
６  ＭＶ再編成器
７、１４動補償予測器
８、１５  画像メモリ
９  減算器
１０  ＤＣＴ
１１  量子化器
１２  可変長符号化器（多重化手段）
１３  符号列出力端子
２１  ＭＶバッファ
２２  ＭＶ探索器
２３  ＭＶ変換器
【図１】
0004164903.tif 000002
【図２】
0004164903.tif 000003
【図３】
0004164903.tif 000004
【図４】
0004164903.tif 000005
【図５】
0004164903.tif 000006
【図６】
0004164903.tif 000007