(57)【要約】【課題】  画像レート変換のための補間画像の生成において、シーンチェンジや、ストロボ発光などのために前後の画像との相関が低い画像が含まれる動画像の場合でも適正な補間画像を生成できる方法及び装置を提供する。【解決手段】  動き推定の結果、動きベクトルのブロック間相関が低く、画像間マッチング誤差の多い画像では、動き補償を行わない繰り返しの画像を補間画像とし、或いは、補間モードを片方向に固定して補間画像を生成する。【選択図】  図１
2006270823.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を用いた画像間補間により動画像の画像レートを変換する画像レート変換方法であって、
入来画像の画像間でブロック単位の動きベクトルを求める動き推定（１０）と、
前記動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度として出力する活性度検出（１１）と、
前記活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モード、前記活性度が所定値より高い場合には片方向補間モードとして、補間モード情報を出力する補間モード判定（１２）と、
前記補間モードが通常補間モードの場合には前後の画像から動き補償画像間補間により補間画像を形成し、片方向補間モードの場合には片方向の画像のみから補間画像を形成する補間処理（３、４、５、６、７）と、
前記補間手段で形成された補間画像と、入来画像を所定の時間関係で配置して出力する配置変換（８）とを行うことを特徴とする画像レート変換方法。
【請求項２】
動き補償を用いた画像間補間により動画像の画像レートを変換する画像レート変換方法であって、
入来画像の画像間でブロック単位の動きベクトルを求める動き推定（１０）と、
前記動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度として出力する活性度検出（１１）と、
前記活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モード、前記活性度が所定値より高い場合には繰返しモードとして、補間モード情報を出力する補間モード判定（２４）と、
前記補間モードが通常補間モードの場合には動き補償画像間補間により補間画像を形成し、繰返しモードの場合には補間画像を隣接フレームと同一として形成する補間処理（２２、２３）と、
前記補間手段で形成された補間画像と、入来画像を所定の時間関係で配置して出力する配置変換（８）とを行うことを特徴とする画像レート変換方法。
【請求項３】
動き補償を用いた画像間補間により動画像の画像レートを変換する画像レート変換装置であって、
入来画像の画像間でブロック単位の動きベクトルを求める動き推定手段（１０）と、
前記動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度として出力する活性度検出手段（１１）と、
前記活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モード、前記活性度が所定値より高い場合には片方向補間モードとして、補間モード情報を出力する補間モード判定手段（１２）と、
前記補間モードが通常補間モードの場合には前後の画像から動き補償画像間補間により補間画像を形成し、片方向補間モードの場合には片方向の画像のみから補間画像を形成する補間手段と（３、４、５、６、７）、
前記補間手段で形成された補間画像と、入来画像を所定の時間関係で配置して出力する配置変換手段（８）とを有することを特徴とする画像レート変換装置。
【請求項４】
動き補償を用いた画像間補間により動画像の画像レートを変換する画像レート変換装置であって、
入来画像の画像間でブロック単位の動きベクトルを求める動き推定手段（１０）と、
前記動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度として出力する活性度検出手段と（１１）、
前記活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モード、前記活性度が所定値より高い場合には繰返しモードとして、補間モード情報を出力する補間モード判定手段（２４）と、
前記補間モードが通常補間モードの場合には動き補償画像間補間により補間画像を形成し、繰返しモードの場合には補間画像を隣接フレームと同一として形成する補間手段（２２、２３）と、
前記補間手段で形成された補間画像と、入来画像を所定の時間関係で配置して出力する配置変換手段（８）とを有することを特徴とする画像レート変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するため、信号処理により１秒あたりのフレーム/フィールド数である画像レートの変換を行う画像レート変換方法及び画像レート変換装置に関する。
【背景技術】
【０００２】
動画像信号は、毎秒６０フィールドのインターレース走査が一般的となっている。通常のビデオカメラで撮像された映像は、この画像レートを持つが、フィルムを素材とした場合には、本来の画像は毎秒２４コマないし３０コマである。また、アニメーションやコンピュータグラフィックスの場合も同様に、画像レートは６０より低い。移動体向け放送は、ビットレートを下げるために本来の画像レートとは無関係に毎秒１５フレームとなっている。このように画像レートが低い画像は、動きのスムーズさが十分でないので、画像レートを上げて表示することが望まれる。
【０００３】
一方、欧州や中国などで使われているＰＡＬ方式やＳＥＣＡＭ方式、またそれと互換性のある走査線６２５本のディジタル動画像方式は、毎秒５０フィールドとなっている。これらの画像を日本や米国などで放送する場合は、毎秒６０フィールドに変換する必要がある。
【０００４】
毎秒５０フィールドの映像は、室内が明るいとフリッカが顕著となるので、毎秒１００フィールドなど、より高い画像レートで表示することが望まれている。
【０００５】
液晶ディスプレイ(ＬＣＤ)においては、発光特性がブラウン管(ＣＲＴ)と異なり、１フィールドの間画像が保持される。そのため、動く画像が、視点の移動に対して同一位置で発光し続けるため、時間積分が起こりぼけて見えると言った現象がある。これを解決するためには発光時間を短くすれば良いが、その分画像の輝度が低下することになる。輝度低下を起こさずにぼけを減らすためには、画像レートを上げて、１フィールドの時間を短くする。
【０００６】
これら多くの理由により、画像レート変換処理が必要となっている。画像レートを変換するためには、元の画像信号とは異なった時間位置に新たな画像を補間により形成する必要がある。画像の補間方法としては、動き補償を用いずに、空間的に同一画像位置で時間方向の処理を行う場合と、動き補償を用いて空間的に画像を移動させて画像を形成する場合がある。
【０００７】
画質的な問題を考慮しない信号形態を合わせるだけの変換や、フリッカ軽減のための場合は、必ずしも動き補償を行わなくても目的は達成できる。しかし、動き補償を行わない単純な画像繰返しの場合、動きのスムーズさやＬＣＤでの動きぼけは改善されない。動き補償を行わない前後からの加重加算(線形補間)の場合、動きも改善されず、２重像を生じて返って見難い画像となる。
【０００８】
動きのスムーズさやＬＣＤでの動きぼけを改善するためには、動き補償を用いて補間画像を形成する必要がある。しかし、画像符号化などと異なり、補間の対象となる画像はそもそも存在しないので、動き補償のための動き推定は、周辺(前後)画像を用いて行うことになり、適切な動き推定は容易ではない。
【０００９】
ここで、画像レートはインターレース走査のフィールドレートや順次走査のフレームレート、フィルムの秒当たりコマ数などである。画像レートの単位はｆｐｓで示されるが、field per secondとframe per secondの両方がありうる。
【００１０】
図３は画像レート変換の従来例構成を示したものである。この画像レート変換の主たる部分は、特許文献１、２で示されたもので、過去フレームからの順方向補間、未来フレームからの逆方向補間、両方のフレームからの双方向線形補間の３種類の補間方法を、画像の動きに合わせてブロック単位で適応的に切替えるものである。
動画像入力端子１より入来する動画像は、一旦画像バッファ２に蓄えられる。この画像は３種類の補間器、順方向補間器３、双方向補間器４、逆方向補間器５に与えられ、それぞれの補間器で形成された補間画像は適応補間選択器６に与えられる。適応補間選択器６は、それぞれの補間画像の品質を判断し、ブロック単位で適当な補間画像を選択する。このようにして得られた補間画像は画像順制御器８に与えられる。画像順制御器８は、画像バッファ２から与えられる入力動画像と、適応補間選択器６から与えられる補間画像を、適正な順番になるようにして出力する。このようにして画像レートが変換された動画像信号が動画像出力９より出力される。
【特許文献１】特開２００４−３２０２７８号公報
【特許文献２】特開２００４−３２０２７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の動画像符号列多重化装置は、適応補間を行うのでカバード(背景にオブジェクトが覆いかぶさり、背景が消失する)やアンカバード(オブジェクトが移動して隠れていた背景が出現する)など、画像の部分的変化には対応していた。しかし、シーンチェンジや、ストロボ発光で１画像のみ画面全体の輝度が大きく異なる場合、その他極めて画像間相関の低い画像などでは、動き推定を適切に行うことができない。このように補間対象の前後の画像がまったく異なる場合、適応的に前後から補間すると、異なった画像が部分毎に切り替わることになり、画像全体として不適当な画像になりやすい。
【００１２】
本発明は以上の点に着目してなされたもので、動き推定の結果、動きベクトルのブロック間相関が極めて低い画像や画像間相関の極めて低い画像では、補間モードを片方向固定にするか、動き補償を行わずに繰り返しとすることで破綻の無い画像が得られる画像レート変換方法及び画像レート変換装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、動き補償を用いた画像間補間により動画像の画像レートを変換する際に、入来画像の画像間でブロック単位の動きベクトルを求め、その動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度とし、その活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モードとして、動き補償画像間補間により補間画像を形成し、活性度が所定値より高い場合には繰返しモードとして、補間画像を隣接フレームと同一として形成し、その補間画像と、入来画像を所定の時間関係で配置して出力する画像レート変換方法及び画像レート変換装置である。
【００１４】
また、動き補償を用いた画像間補間により動画像の画像レートを変換する際に、入来画像の画像間でブロック単位の動きベクトルを求め、その動きベクトルのブロック間相関を１画像内で検出した動きベクトル活性度と、前記動きベクトルのマッチング誤差を１画像内で検出した画像間活性度の少なくともひとつを得て活性度とし、その活性度を所定値と比較して、前記活性度が所定値より低い場合には通常補間モードとして前後の画像から動き補償画像間補間により補間画像を形成し、前記活性度が所定値より高い場合には片方向補間モードとして、片方向の画像のみから補間画像を形成し、その補間画像と、入来画像を所定の時間関係で配置して出力する画像レート変換方法及び画像レート変換装置である。
【発明の効果】
【００１５】
本発明は、前後画像からの適応補間を行う場合に、動き推定の結果、動きベクトルのブロック間相関が低く、画像間マッチング誤差の多い画像では、補間モードを片方向に固定にすることで、シーンチェンジや、ストロボ発光で１画像のみ画面全体の輝度が大きく異なる場合、その他極めて画像間相関の低い画像などで、異なった方向からの補間画像が部分毎に切り替わることなく、１画像として適正な補間画像を形成できる。
【００１６】
また、動き推定の結果、動きベクトルのブロック間相関が低く、画像間マッチング誤差の多い画像では、動き補償を行わずに繰り返しとすることで、極めて画像間相関の低い画像などで、動きベクトルが不安定に変化することなく、１画像として適正な補間画像を形成できる。
【発明を実施するための最良の形態】
【００１７】
＜第１の実施例のの画像レート変換＞
本発明の第１の実施例の画像レート変換方法及び画像レート変換装置について説明する。図１は、その構成を示したもので、図３の従来例と同一構成要素には同一符号を記してある。図１には、図３と比較して動き推定器１０、活性度検出器１１、モード判定器１２、画像スイッチ７が追加されている。
【００１８】
実施例において、従来例と異なるのはシーンチェンジや低相関画像での補間画像の形成方法で、通常の画像における補間画像の形成方法、補間画像が形成された後の異なった画像レートの動画像の形成方法は基本的に従来例と同じである。
【００１９】
ここで入力画像及び出力画像は、共に順次走査画像とし、変換は画像レートのみであって、走査線構造の変換や画像内の画素数の変換は行われない。
【００２０】
＜適応動き補償補間＞
動画像入力端子１より入来する動画像信号は、画像バッファ２に与えられる。画像バッファ２は、数フレーム分の画像を保持し、保持された画像は処理に合わせて適時出力される。順方向補間器３、双方向補間器４、逆方向補間器５へは、補間画像形成のための画像信号が与えられる。それぞれの補間器は、所定のフレーム間で動き推定を行い、動きベクトルを決定し、その動きベクトルに従って、参照画像を動き補償して補間画像を形成する。この様子を図６に示す。
【００２１】
順方向補間器３では、被補間画像より過去に入力済みの画像を参照画像とし、参照画像を空間的に移動させて補間画像を形成する。双方向補間器４では、被補間画像より過去に入力済みの画像と後に入力される画像の両方を参照画像とし、両方の参照画像を空間的に逆方向の関係で移動させ、両方の参照画像を加算することで補間画像を形成する。逆方向補間器５では、被補間画像より後に入力される画像を参照画像とし、参照画像を空間的に移動させて補間画像を形成する。
【００２２】
この３種類の補間画像は、適応補間選択器６で選択される。どの補間画像を選択するかは、特開２００４−３２０２７９に詳細に記載されており、前後の画像間を含めた画像間マッチングの状況によりブロック単位で判定される。このようにして得られた適応補間画像は、画像スイッチ７に与えられる。
【００２３】
＜強制片方向補間＞
画像スイッチ７は、順方向補間画像と逆方向補間画像と適応補間画像を、モード判定器１２から与えられる補間モード情報に従って画像単位で切替える。選択された最終的な補間画像は画像順制御器８に与えられる。なお、処理機能を明確にするために適応補間選択器６と画像スイッチ７を分離して示したが、画像単位の切替え処理はブロック単位の切替え処理で実現できるので、適応補間選択器６の動作を画像内ブロック共通としても実現できる。
【００２４】
画像順制御器８は、最終補間画像と画像バッファ２から与えられる入力画像を、時間関係を合わせて入れ替え、目的とする画像レートの動画像信号として動画像出力９より出力する。変換が３０ｆｐｓから６０ｆｐｓなど１：２の場合は、補間画像と元画像の割合は同じで、補間画像と入力画像を交互に入れる。その際、補間画像は画像間処理により遅れを生じているので、その入力画像を遅らせる必要がある。
【００２５】
＜補間モードの判定＞
画像バッファ２で一時蓄えられた画像は、動き推定器１０に与えられる。動き推定器１０は、補間対象画像の前後の画像間で動き推定を行う。この動き推定は、双方向補間器４で行われる動き推定と類似するので、処理を兼ねることも可能である。動き推定器１０は求められた動きベクトル(ＭＶ)と、動き推定で算出した各ブロックの最小ブロックマッチング誤差量を活性度検出器１１に与える。
【００２６】
活性度検出器１１は、画像単位でＭＶのブロック間相関とブロックマッチング誤差量を求める。ＭＶのブロック間相関は、正確な自己相関値を算出しても良いが、ここでは隣接ブロック間の成分毎差分の絶対値を１画像分加算させたもの(ＤＶ)とする。ＭＶの様子を図５に示すが、通常の画像の場合は、左側の様にＭＶはかなり相関が高い。一方、動き推定が行われる画像間がまったく異なるものであると、ＭＶは右側のようにランダムとなり、ブロック間相関が低くなる。
【００２７】
画像間相関の指標であるブロックマッチング誤差量ＤＭは、二乗誤差または絶対値誤差のブロック合計値を、１画像分加算する。ＭＶのブロック間相関とマッチング誤差量は、一方のみでも良い。これらのパラメータは、１画像が終了した段階でモード判定器１２に与えられる。
【００２８】
モード判定器１２は、各パラメータを画像フォーマットによりあらかじめ決められた所定の閾値と比較し、閾値より大きな場合に片方向モードとする。パラメータが１種類のみの場合は、閾値(ＴＶ１，ＴＭ１)と比較して判定するが、パラメータが２種類の場合は、さらに両方が超えた場合を条件とする別の閾値(ＴＶ２，ＴＭ２)を設ける。
【００２９】
これらをまとめると、ＤＶ＞ＴＶ１、ＤＭ＞ＴＭ１、（ＤＶ＞ＴＶ２ かつ ＤＭ＞ＴＭ２)のいずれかの条件を満たすときに強制片方向補間モードとし、それ以外のときは通常補間モードとする。なお、ＴＶ１＞ＴＶ２、ＴＭ１＞ＴＭ２である。ＴＶは、１ベクトルの１成分(垂直または水平)としてＴＶ１＝１０画素、ＴＶ２＝５画素などとなる。ＴＭは、入力信号が８ビット精度で絶対値誤差の場合、１画素当たりの値(１画像内の画素数で割った数)としてＴＭ１＝４０、ＴＭ２＝２０などとなる。
【００３０】
強制片方向補間の場合に、順方向補間とするか逆方向補間とするかは、被補間画像と前後の画像の時間位置により、時間的に近い画像から補間される。この様子を図７に示すが、図７は２４ｆｐｓから１２０ｆｐｓへの１：５変換である。この場合、入力画像間に４画像が補間形成されるが、前２画像が順方向、後２画像が逆方向となる。３０ｆｐｓから６０ｆｐｓへの変換など１：２の場合は、補間画像が丁度中央となるので、順方向も逆方向も等価であり、あらかじめ決めた方向とする。
【００３１】
＜第２の実施例の画像レート変換＞
本発明の第２の実施例の画像レート変換方法及び画像レート変換装置について説明する。図２は、その構成を示したもので、図１の第１の実施例と同一構成要素には同一符号を記してある。図２には、図１と比較して順方向補間器３、双方向補間器４、逆方向補間器５、適応補間選択器６の代わりに動き補償補間器２２があり、画像バッファ２１、画像スイッチ２３の動作が異なる。以下、第１の実施例と動作が異なる部分のみ説明する。
【００３２】
動き補償補間器２２は、補間処理方法については任意であり、第１の実施例と同様でも良いが、より簡易な片方向からのみの補間でも良い。ただし、動き補償が無いと、動きのスムーズさ改善やＬＣＤの動きぼけ改善には効果が無いので、動き補償は行われるものとする。動き補償補間器２２で形成された補間画像はスイッチ２３に与えられる。画像スイッチ２３は、補間画像と画像バッファから与えられる入力画像を補間モード情報に従って、画像単位で切替える。画像スイッチで選択された最終的な補間画像は、画像順制御器８に与えられる。画像順制御器８及びそれ以降の動作は第１の実施例と同一である。ここで、画像バッファ２１から与えられる入力画像は動き補償が施されない、そのままの画像であり、補間画像の方は動き補償が使われている。
【００３３】
動き推定器１０、活性度検出器１１の動作は第１の実施例と共通である。ただし、モード判定器２４の判定閾値は若干異なる。第２の実施例は、動き補償を止めるものであるので、画像間マッチングより、動きベクトル活性度を重視して判断する。具体的には、ＴＶ１やＴＶ２はそのままとし、ＴＭ１やＴＭ２をやや大きくする。結果的に第１の実施例より非通常モードになる確率はやや下がるが、第１の実施例では動き補償は行われていたので合理的である。
【００３４】
＜第３の実施例の画像レート変換＞
本発明の第３の実施例の画像レート変換方法及び画像レート変換装置について説明する。これは、図１の第１の実施例と図２の第２の実施例を組み合わせたものである。構成は図示しないが、図１とほぼ同じで、違いは画像スイッチ７とモード判定器１２の動作のみである。
画像スイッチ７の選択肢として、画像バッファ２の出力も加わり、非通常補間モードは、片方向補間と、動き補償なし片方向補間の２段階となる。これに合わせてモード判定も２段階となる。
【図面の簡単な説明】
【００３５】
【図１】本発明の第１の実施例の画像レート変換方法乃至画像レート変換方法の構成例を示す図である。
【図２】本発明の第２の実施例のの画像レート変換方法乃至画像レート変換方法の構成例を示す図である。
【図３】従来の画像レート変換装置の構成例を示す図である。
【図４】画像レート変換の様子を示す図である。
【図５】動きベクトルの様子を示す図である。
【図６】補間方向による補間の様子を示す図である。
【図７】画像時間位置と補間方向を示す図である。
【符号の説明】
【００３６】
１・・・動画像入力端子、２、２１・・・画像バッファ、３・・・順方向補間器、４・・・双方向補間器、５・・・逆方向補間器、６・・・適応補間選択器、７、２３・・・画像スイッチ、８・・・画像順制御器、９・・・動画像出力端子、１０・・・動き推定器、１１・・・活性度検出器、１２、２４・・・補間モード判定器、２１・・・画像バッファ、２２・・・動き補償補間器
【図１】
2006270823.tif 000003
【図２】
2006270823.tif 000004
【図３】
2006270823.tif 000005
【図４】
2006270823.tif 000006
【図５】
2006270823.tif 000007
【図６】
2006270823.tif 000008
【図７】
2006270823.tif 000009