(57)【特許請求の範囲】
【請求項１】
動き補償画像間予測を行い符号化がなされる動画像の動き補償符号化装置において、
空間的折返し歪成分を含むインターレース画像である入力画像を、前後フィールドを用いて補間することで、前記折返し歪成分または変換に伴う歪が残留したまま、その入力画像の走査線数とは異なった第１の走査線数のプログレッシブ画像に変換する第１の画像フォーマット変換手段と、
前記入力画像を、前記空間的折返し歪成分を抑圧するための帯域制限を行って、フィールド内で走査線数変換することで、走査線数が前記入力画像を前記第１の走査線数よりも少ない第２の走査線数のプログレッシブ画像である動き推定専用画像に変換する第２の画像フォーマット変換手段と、
前記動き推定専用画像を用いて前記第２の走査線数に対応した粗動きベクトルを検出する動き推定手段と、
前記粗動きベクトルに基づき前記第１の走査線数のプログレッシブ画像を用いて動きベクトルを再探索し、最終的な動きベクトルを得る動きベクトル再探索手段と、
前記最終的な動きベクトルを用いて前記第１の走査線数のプログレッシブ画像の動き補償画像間予測を行い符号化を行う動き補償符号化手段とを有して構成したことを特徴とする動き補償符号化装置。
【請求項２】
請求項１に記載された動き補償符号化装置において、
前記第１の画像フォーマット変換で得る画像の前記第１の走査線数が、前記第２の画像フォーマット変換で得る動き推定専用画像の前記第２の走査線数の整数倍であることを特徴とする動画像符号化装置。
【請求項３】
動き補償画像間予測を行い符号化がなされる動画像の動き補償符号化方法において、
空間的折返し歪成分を含むインターレース画像である入力画像を、前後フィールドを用いて補間することで、前記折返し歪成分または変換に伴う歪が残留したまま、その入力画像の走査線数とは異なった第１の走査線数のプログレッシブ画像に変換する第１の画像フォーマット変換を行い、
前記入力画像を、前記空間的折返し歪成分を抑圧するための帯域制限を行って、フィールド内で走査線数変換することで、走査線数が前記入力画像を前記第１の走査線数よりも少ない第２の走査線数のプログレッシブ画像である動き推定専用画像に変換する第２の画像フォーマット変換を行い、
前記動き推定専用画像を用いて前記第２の走査線数に対応した粗動きベクトルを検出する動き推定を行い、
前記粗動きベクトルに基づき前記第１の走査線数のプログレッシブ画像を用いて動きベクトルを再探索し、最終的な動きベクトルを得る動きベクトル再探索を行い、
前記最終的な動きベクトルを用いて前記第１の走査線数のプログレッシブ画像の動き補償画像間予測を行い符号化を行うようにしたことを特徴とする動き補償符号化方法。
【請求項４】
請求項３に記載された動き補償符号化方法において、
前記第１の画像フォーマット変換で得る画像の前記第１の走査線数が、前記第２の画像フォーマット変換で得る動き推定専用画像の前記第２の走査線数の整数倍であることを特徴とする動画像符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
画像を効率的に伝送、蓄積、表示するために、画像情報をより少ない符号量でディジタル信号にする高能率符号化において、動き補償画像間予測符号化を行う動き補償符号化装置に係り、特に入力画像を異なった画像フォーマットに変換して動きベクトルを検出する動き補償符号化装置に関する。
【０００２】
【従来の技術】
＜動画像の画像間予測符号化＞
ＭＰＥＧ規格などに代表される動画像高能率符号化では動き補償画像間予測が行われる。
そこで、インターレース画像は各フィールドに空間的折返し歪成分が多く含まれているので、画像間予測残差が多くなり易いのに対して、プログレッシブ画像は歪がないので適切に予測すれば、予測残差は極めて少ない。よって、インターレース画像はそのまま符号化するよりもプログレッシブ画像に変換してから符号化した方が、発生符号量はむしろ少なくなる。
【０００３】
＜動き補償符号化装置の従来例＞
図５は動き補償符号化装置の従来例の構成を示したものである。
画像入力端子１から入来するインターレース信号は、画像変換器２でプログレッシブ信号に変換される。補間走査線は前後のフィールドまたは上下の走査線から作られる。変換された画像信号は、減算器３において動き補償器９から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ４に与えられる。ＤＣＴ４はＤＣＴ（離散コサイン変換）の変換処理を行い、得られた係数を量子化器５に与える。量子化器５は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０に与える。
【０００４】
可変長符号化器６は、固定長の予測残差を可変長符号で圧縮し、さらに動きベクトル（ＭＶ）を可変長符号化し、両者を多重化してできた符号列を符号列出力端子７より出力する。
一方、逆量子化器１０及び逆ＤＣＴ１５ではＤＣＴ４及び量子化器５の逆処理が行われ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１４で画像間予測信号が加算され再生画像となり、画像メモリ１３に与えられる。
画像メモリ１３に蓄えられている再生画像は、動き補償器９に与えられる。
【０００５】
動き補償器９は、ＭＶ検出器５１から与えられるＭＶに従って動き補償を行って画像間予測信号を作り、減算器３と加算器１４に与える。
ＭＶ検出器５１は画像変換器２から出力される符号化対象信号であるプログレッシブ画像と、画像メモリ１３に蓄えられている同様なフォーマットの再生画像を用いてＭＶを求める。ＭＶ検出は動き補償の単位である１６×１６画素ブロック毎に、パターンマッチング誤差が最小となる空間移動ベクトルをＭＶとする。求められたＭＶは動き補償器９と可変長符号化器６に与えられる。
【０００６】
【発明が解決しようとする課題】
従来例の動き補償符号化装置は、フォーマット変換された符号化対象画像を用いて動きベクトルの検出を行う。しかし、フォーマット変換画像は、主観画質に問題がなくとも補間走査線で微妙な位置ずれや誤補間成分の混入がある。そのため、正しい動きを捉え難くなっており、符号化効率の低下や主観画質の低下が生じ易かった。
本発明は以上の点に着目してなされたもので、変換前の入力画像から折返し歪成分が抑圧された動き推定専用の画像を作り、そこで求められた粗動きベクトルを基準にして、画像フォーマット変換された符号化対象画像を用いて再探索を行うことで、適切な動きベクトルが得られ、効率や画質が改善される動き補償符号化装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
そこで、上記課題を解決するために、本発明は下記の装置・方法を提供するものである。
（１）  動き補償画像間予測を行い符号化がなされる動画像の動き補償符号化装置において、
空間的折返し歪成分を含むインターレース画像である入力画像を、前後フィールドを用いて補間することで、前記折返し歪成分または変換に伴う歪が残留したまま、その入力画像の走査線数とは異なった第１の走査線数のプログレッシブ画像に変換する第１の画像フォーマット変換手段と、
前記入力画像を、前記空間的折返し歪成分を抑圧するための帯域制限を行って、フィールド内で走査線数変換することで、走査線数が前記入力画像を前記第１の走査線数よりも少ない第２の走査線数のプログレッシブ画像である動き推定専用画像に変換する第２の画像フォーマット変換手段と、
前記動き推定専用画像を用いて前記第２の走査線数に対応した粗動きベクトルを検出する動き推定手段と、
前記粗動きベクトルに基づき前記第１の走査線数のプログレッシブ画像を用いて動きベクトルを再探索し、最終的な動きベクトルを得る動きベクトル再探索手段と、
前記最終的な動きベクトルを用いて前記第１の走査線数のプログレッシブ画像の動き補償画像間予測を行い符号化を行う動き補償符号化手段とを有して構成したことを特徴とする動き補償符号化装置。
（２）  上記（１）に記載された動き補償符号化装置において、
前記第１の画像フォーマット変換で得る画像の前記第１の走査線数が、前記第２の画像フォーマット変換で得る動き推定専用画像の前記第２の走査線数の整数倍であることを特徴とする動画像符号化装置。
（３）  動き補償画像間予測を行い符号化がなされる動画像の動き補償符号化方法において、
空間的折返し歪成分を含むインターレース画像である入力画像を、前後フィールドを用いて補間することで、前記折返し歪成分または変換に伴う歪が残留したまま、その入力画像の走査線数とは異なった第１の走査線数のプログレッシブ画像に変換する第１の画像フォーマット変換を行い、
前記入力画像を、前記空間的折返し歪成分を抑圧するための帯域制限を行って、フィールド内で走査線数変換することで、走査線数が前記入力画像を前記第１の走査線数よりも少ない第２の走査線数のプログレッシブ画像である動き推定専用画像に変換する第２の画像フォーマット変換を行い、
前記動き推定専用画像を用いて前記第２の走査線数に対応した粗動きベクトルを検出する動き推定を行い、
前記粗動きベクトルに基づき前記第１の走査線数のプログレッシブ画像を用いて動きベクトルを再探索し、最終的な動きベクトルを得る動きベクトル再探索を行い、
前記最終的な動きベクトルを用いて前記第１の走査線数のプログレッシブ画像の動き補償画像間予測を行い符号化を行うようにしたことを特徴とする動き補償符号化方法。
（４）  上記（３）に記載された動き補償符号化方法において、
前記第１の画像フォーマット変換で得る画像の前記第１の走査線数が、前記第２の画像フォーマット変換で得る動き推定専用画像の前記第２の走査線数の整数倍であることを特徴とする動画像符号化方法。
【０００８】
（  作  用  ）
本発明では、変換前の入力画像から折返し歪成分が抑圧された動き推定専用の画像を作り、そこで粗動きベクトルを求めるが、専用画像はインターレース信号の折返し歪や補間による劣化のない純粋な画像なので、実際の画像の動きを適切に捕らえることが出来る。
一方、実際の符号化は変換画像に対して行うので、最終的な動きベクトルは、それに適合することが望まれるが、実際の動きベクトルは粗動きベクトルを基準にして、変換された符号化対象画像で再探索により求められるので、大局的な動きを見失うことなく予測残差の少なくなる動きベクトルが求まる。
実際の動きに即した動きベクトルは不必要な変化がなく動きベクトルの情報量は少ない。また、見た目にも自然な動きなので、粗い量子化で予測残差が多少残留しても、主観的画質の劣化となり難い。
【０００９】
【発明の実施の形態】
＜動き補償符号化装置の実施例＞
本発明の動き補償符号化装置の実施例について図と共に以下に説明する。
図１は、本発明の動き補償符号化装置の一実施例の構成を示したもので、図５の従来例と同一構成要素には同一付番を記してある。
図１には、図５と比較して動きベクトル（ＭＶ）検出器５１の代わりに、画像変換器８と動き推定器１１とＭＶ再探索器１２とが追加されている。本実施例において、従来例と異なるのは、画像フォーマット変換と動きベクトルの検出の部分であり、画像間予測符号化処理は基本的に同じである。
【００１０】
画像入力端子１から入来する有効走査線数１０８０本のインターレース信号は、画像変換器２と画像変換器８とに与えられる。
画像変換器２では有効走査線数７２０本／毎秒６０フレームのプログレッシブ信号に変換される。画像変換は、インターレースで間引かれている走査線を補間して一度１０８０本のプログレッシブ信号とし、走査線数変換処理で１０８０本が７２０本に変換される。補間走査線は前後のフィールドまたは上下の走査線から作られる。なお、水平方向の画素数は１２８０画素とする。
【００１１】
変換された画像信号は、減算器３において動き補償器９から与えられる画像間予測信号が減算され、予測残差となってＤＣＴ４に与えられる。
ＤＣＴ４はＤＣＴ（離散コサイン変換）の変換処理を行い、得られた係数を量子化器５に与える。
量子化器５は所定のステップ幅で係数を量子化し、固定長の符号となった係数を可変長符号化器６と逆量子化器１０とに与える。
可変長符号化器６は、固定長の予測残差を可変長符号で圧縮し、さらに供給されるＭＶを可変長符号化し、多重化して出来た符号列を符号列出力端子７より出力する。
【００１２】
一方、逆量子化器１０及び逆ＤＣＴ１５では、ＤＣＴ４及び量子化器５の逆処理が行われ、画像間予測残差を再生する。得られた再生画像間予測残差は加算器１４で画像間予測信号が加算されて再生画像となり、画像メモリ１３に与えられる。
画像メモリ１３に蓄えられている再生画像は、動き補償器９に与えられる。動き補償器９は、ＭＶ再探索器１２から与えられるＭＶに従って動き補償を行って画像間予測信号を作り、減算器３と加算器１４に与える。
【００１３】
次に本発明の特徴となるＭＶ検出処理の部分について説明する。
画像変換器８では、入力画像信号である有効走査線１０８０本のインターレース信号（ 1080I）から、動き推定専用画像として有効走査線数３６０本のプログレッシブ信号（360P）を変換して得る。
画像変換は、入力信号の１フィールドの５４０本を３６０本に走査線数を変換することで得る。その際に、適切な帯域制限を行って、折返し歪成分を十分抑圧する。フレームレートは毎秒６０フィールドが、毎秒６０フレームに変換され、水平方向の画素数は６４０画素に変換される。
【００１４】
図３に、入力画像と２種類の変換画像の走査線構造と垂直方向スペクトラム  （ν）の様子を示す。
まず、入力画像の１０８０本のインターレース信号（ 1080I）の各フィールドは、図３ a) に示されるように３６０ＴＶ本以上に空間的折返し歪み成分を含んでいるが、この成分は画像の動きとは別に変化するので、ＭＶ検出、及び画像間予測共に不都合なものである。
【００１５】
ところが、符号化対象画像である７２０本のプログレッシブ信号（720P）は、図３b) に示されるように折返し歪み成分が抑圧されるので、画像間予測残差を軽減することが出来る。
しかし、補間画像の形成で動き補償処理が使われていると動き補償精度の関係で微小な位置ずれがある。また、完璧な補間処理は出来ないので、多少の誤補間成分が混入する。
この様な信号は、視覚的に問題なく符号化対象信号として使用することが可能であっても、動きベクトルの検出においては、誤差成分により正しい動きが補足され難い。
【００１６】
動き推定専用画像である３６０本のプログレッシブ信号（360P）は、解像度が低下しているので符号化画像としては使えないが、図３ c) に示されるように折返し歪み成分も補間による劣化もないので、パターンマッチングを用いたＭＶ検出で適切な動きを補足することが出来る。
【００１７】
動き推定器１１は、画像変換器８から供給される動き推定専用画像を用いて、画像間予測が行われるフレーム間で、粗ＭＶを求める。ＭＶを求める単位（ブロック）は８×８画素、検出精度は１画素とする。
動き推定専用画像の画素数は符号化画像の縦横共に半分になっているので、前記仕様で求められた粗ＭＶは、符号化画像ではブロックが１６×１６画素、精度は２画素となる。
動き推定方法はパターンマッチングにより行われるが、８×８画素と参照画素数が比較的少ないので、周辺ブロックの結果を考慮しても良い。
【００１８】
ＭＶ再探索器１２は、動き推定器１１から出力される粗ＭＶを基準にして画像変換器２から出力される符号化対象信号である７２０本プログレッシブ画像（720P）と、画像メモリ１３に蓄えられている同じ画像フォーマットの再生画像を用いてＭＶの再探索を行い、最終的なＭＶを求める。
再探索は粗ＭＶの周辺について、垂直水平共±１画素の範囲、１画素精度で行う。得られたＭＶは動き補償器９と可変長符号化器６とに与えられる。
【００１９】
図４はこの探索の様子を示したＭＶ探索模式図である。
図４において、◎は動き推定専用画像で存在する画素、○は符号化対象画像でのみ存在する画像である。矢印はＭＶで、図４ b) では破線で示したものが粗ＭＶであり、実線のものが最終的なＭＶである。また、点線矩形は再探索の範囲を示す。
最終的に、０．５画素精度のＭＶが必要な場合は、１画素精度のＭＶの周辺について、垂直水平共±０．５画素の範囲、０．５画素精度で、再度ＭＶ探索を行う。
この様にして得られたＭＶは、まず、粗ＭＶで画像の大局的な動きが間違いなく捕らえられ、つぎの再探索で、実際の符号化対象画像に合わせて高精度で求められるもので、符号化に適したものとなる。
【００２０】
＜動き補償復号化装置＞
図２の復号化装置は、図１の本発明の動き補償符号化装置の実施例に対応する復号化装置であり、図５の従来例に対応するものと共通である。その動作を説明する。
符号列入力端子２１より入来する動き補償画像間予測符号化された符号列は、予測残差の符号列と動きベクトル（ＭＶ）の符号列が可変長復号化器２２で固定長の符号に戻される。固定長符号として得られたＤＣＴ係数は逆量子化器１０で係数値となり、逆ＤＣＴ１５に与えられる。
【００２１】
逆ＤＣＴ１５は、８×８個の係数を再生画像間予測残差信号に変換し、加算器１４に与える。加算器１４では、再生画像間予測残差信号に画像間予測信号が加算され、再生画像信号となる。
この様にして得られた再生画像信号は、画像メモリ１３と画像変換器２３に与えられる。
【００２２】
画像変換器２３は、走査線７２０本のプログレッシブ信号を１０８０本のインターレース信号に変換し、画像出力端子２４より出力される。
動き補償器２５は、画像メモリ１３に蓄積されている画像を、可変長復号化器２２より与えられるＭＶに基づいて動き補償し、画像間予測信号を形成する。得られた画像間予測信号は加算器１４に与えられる。
【００２３】
【発明の効果】
本発明では、変換前の入力画像から折返し歪成分が抑圧された動き推定専用の画像を作り、そこで粗動きベクトル（ＭＶ）を求め、それを基準にして変換された符号化対象画像で再探索により最終的なＭＶを求めるようにしているので、動き推定専用画像は、インターレース信号の折返し歪や補間による劣化のない純粋な画像なので、実際の画像の動きを適切に捕えられる。
【００２４】
また、最終的なＭＶは、大局的な動きを見失うことなくマッチング誤差の少なくなるＭＶを求めることが出来るので、このＭＶは、実際の動きに即しており、不必要な変化がなく、ＭＶの情報量は少ない。
また、見た目にも自然な動きなので、粗い量子化で予測残差が多少残留しても、主観的画質劣化となり難く、その結果、発生符号量を減少させながら、再生画像の品質も向上させることが出来る。
【００２５】
また、第１の画像フォーマット変換で得る符号化対象画像の有効ライン数が、第２の画像フォーマット変換で得る動き推定専用画像のものの整数倍にすると、動き推定器のＭＶを求めるブロックとＭＶ再探索器のブロックが一致し、最終的なＭＶを実際の動きに即したものに出来る。
【図面の簡単な説明】
【図１】本発明の動き補償符号化装置の一実施例の構成を示す図である。
【図２】本発明の動き補償復号化装置の一実施例の構成を示す図である。
【図３】各画像フォーマットの走査線と垂直スペクトラムを示す図である。
【図４】粗動きベクトルと最終的な動きベクトルの様子を示す図である。
【図５】従来の動き補償符号化装置の構成例を示す図である。
【符号の説明】
１  画像入力端子
２  画像変換器（第１の画像フォーマット変換手段）
３  減算器
４  ＤＣＴ
５  量子化器
６  可変長符号化器
７  符号列出力端子
８  画像変換器（第２の画像フォーマット変換手段）
９  動き補償器（動き補償手段）
１０  逆量子化器
１１  動き推定器（動き推定手段）
１２  ＭＶ再探索器（動きベクトル再探索手段）
１３  画像メモリ
１４  加算器
１５  逆ＤＣＴ
２１  符号入力端子
２２  可変長復号化器
２３  画像変換器
２４  画像出力端子
２５  動き補償器
５１  ＭＶ検出器
【図１】
0003649370.tif 000002
【図２】
0003649370.tif 000003
【図３】
0003649370.tif 000004
【図４】
0003649370.tif 000005
【図５】
0003649370.tif 000006