(57)【要約】【課題】求められる動きベクトルの精度を維持しつつ演算量を軽減し、回路規模を縮小させる。【解決手段】入力される参照フィールド４０から１フレーム或いは２フレーム前の基準フィールド３０における基準画素５８を原点とする基準ブロック５１と、上記参照フィールド４０を少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロック５３との間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロック５３の画素位置と基準画素５８の画素位置との間で動きベクトルを特定する。【選択図】　図８
2004023673.tif 000002
【特許請求の範囲】
【請求項１】
入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドの各画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、
上記基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また上記参照フィールドにおける探索ブロックを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させて切り出すブロック切出手段と、上記ブロック切出手段より切り出した基準ブロック及び探索ブロックとの間で画素値の差分絶対値和を順次演算するベクトル演算手段と、
上記ベクトル演算手段により演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段とを備えること
を特徴とする動きベクトル検出装置。
【請求項２】
上記ブロック切出手段は、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとを切り出すこと
を特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
上記ブロック切出手段は、テレシネ変換した画像を倍速変換することにより生成され１コマが４フィールドで構成される各フィールド、或いはテレビジョン信号を倍速変換することにより生成され１コマが２フィールドで構成される各フィールドから、上記基準フィールド及び上記参照フィールドを特定し、当該特定した基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また当該特定した参照フィールドにおける探索ブロックを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させて切り出すこと
を特徴とする請求項１記載の動きベクトル検出装置。
【請求項４】
入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドの各画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、
上記基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また上記参照フィールドにおける探索ブロックを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させて切り出し、
上記切り出した基準ブロック及び探索ブロックとの間で画素値の差分絶対値和を順次演算し、
上記演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする動きベクトル検出方法。
【請求項５】
少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとを切り出すこと
を特徴とする請求項４記載の動きベクトル検出方法。
【請求項６】
テレシネ変換した画像を倍速変換することにより生成され１コマが４フィールドで構成される各フィールド、或いはテレビジョン信号を倍速変換することにより生成され１コマが２フィールドで構成される各フィールドから、上記基準フィールド及び上記参照フィールドを特定し、当該特定した基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また当該特定した参照フィールドにおける探索ブロックを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させて切り出すこと
を特徴とする請求項４記載の動きベクトル検出方法。
【請求項７】
入力される参照フィールドから２フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、
上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、
上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えること
を特徴とする動き補正装置。
【請求項８】
上記ベクトル特定手段は、テレシネ変換した画像を倍速変換することにより生成され１コマが４フィールドで構成される各フィールドが入力されること
を特徴とする請求項７記載の動き補正装置。
【請求項９】
上記画素シフト手段は、上記コマにおける上記基準フィールドの配置される位置に応じて上記基準画素のシフト量を変化させること
を特徴とする請求項８記載の動き補正装置。
【請求項１０】
上記ベクトル特定手段は、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項７記載の動き補正装置。
【請求項１１】
入力される参照フィールドから１フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、
上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに、移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、
上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えること
を特徴とする動き補正装置。
【請求項１２】
上記ベクトル特定手段は、テレビジョン信号を倍速変換することにより生成され１コマが２フィールドで構成される各フィールドが入力されること
を特徴とする請求項１１記載の動き補正装置。
【請求項１３】
上記画素シフト手段は、上記コマにおける上記基準フィールドの配置される位置に応じて上記基準画素のシフト量を変化させること
を特徴とする請求項１２記載の動き補正装置。
【請求項１４】
上記ベクトル特定手段は、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項１１記載の動き補正装置。
【請求項１５】
入力される参照フィールドから１フレーム前或いは２フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、
入力される上記１フレーム前或いは２フレーム前の基準フィールドを切り換える切換手段と、
上記切換手段により切り換えられた基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、
上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えること
を特徴とする動き補正装置。
【請求項１６】
上記ベクトル特定手段は、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項１５記載の動き補正装置。
【請求項１７】
入力される参照フィールドから２フレーム前の基準フィールドの各画素につき動き補正する動き補正方法において、
上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、
上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えること
を特徴とする動き補正方法。
【請求項１８】
テレシネ変換した画像を倍速変換することにより生成され１コマが４フィールドで構成される各フィールドにつき上記動きベクトルを特定すること
を特徴とする請求項１７記載の動き補正方法。
【請求項１９】
上記コマにおける上記基準フィールドの配置される位置に応じて上記基準画素のシフト量を変化させること
を特徴とする請求項１８記載の動き補正方法。
【請求項２０】
少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項１７記載の動き補正方法。
【請求項２１】
入力される参照フィールドから１フレーム前の基準フィールドの各画素につき動き補正する動き補正方法において、
上記基準フィールドから基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、
上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせること
を特徴とする動き補正方法。
【請求項２２】
テレビジョン信号を倍速変換することにより生成され１コマが２フィールドで構成される各フィールドにつき上記動きベクトルを特定すること
を特徴とする請求項２１記載の動き補正方法。
【請求項２３】
上記コマにおける上記基準フィールドの配置される位置に応じて上記基準画素のシフト量を変化させること
を特徴とする請求項２２記載の動き補正方法。
【請求項２４】
少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項２１記載の動き補正方法。
【請求項２５】
入力される参照フィールドから１フレーム前或いは２フレーム前の基準フィールドの各画素につき、動き補正する動き補正方法において、
入力される上記１フレーム前或いは２フレーム前の基準フィールドを切り換え、
上記切り換えた基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算したされた差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、
上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせること
を特徴とする動き補正方法。
【請求項２６】
少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記基準ブロックと、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに配列された画素からなる上記探索ブロックとの間で画素値の差分絶対値和を順次演算し、
演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定すること
を特徴とする請求項２５記載の動き補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画質に与える影響を軽減しつつ、回路規模を縮小できる動きベクトル検出装置及び方法、動き補正装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、奇数番目の走査線から構成されるフィールド画像と、偶数番目の走査線から構成されるフィールド画像により１枚のフレーム画像を形成し、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
また、このインタレース走査方式は、世界各国のテレビジョン標準方式として採用されており、このうち例えば欧州のテレビジョン放送におけるＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｏｎ　ｂｙ　Ｌｉｎｅ）方式では、フィールド周波数が５０〔Ｈｚ〕（フレーム画像が２５フレーム／秒、フィールド画像が５０フィールド／秒）で構成される。
【０００４】
特にこのＰＡＬ方式では、更なる面フリッカ妨害の抑制を期すべく、入力画像信号へ内挿等の処理を施すことにより、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式が従来より採用されている。
【０００５】
図１４は、このフィールド周波数倍速方式を適用したフィールド倍速変換回路５のブロック構成例を示している。このフィールド倍速変換回路５は、入力端子６１と、ＣＲＴ６３と、水平垂直偏向回路６２とを備えるテレビジョン受像機６に集積化される。このフィールド倍速変換回路５は、倍速変換部５１と、フレームメモリ５２とを備える。
【０００６】
倍速変換部５１は、入力端子６１から入力された、例えばＰＡＬ方式の５０フィールド／秒の画像信号を、フレームメモリ５２へ書き込む。また、この倍速変換部５１は、フレームメモリ５２へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。
【０００７】
倍速変換部５１は、倍速変換した画像信号をＣＲＴ６３へ出力する。ＣＲＴ６３は、入力された画像信号を画面上に表示する。なお、ＣＲＴ６３における画像信号の水平、垂直の偏向は、水平垂直偏向回路６２において生成された、入力画像信号の２倍の周波数の水平垂直鋸歯状波に基づいて制御する。
【０００８】
図１５は、倍速変換前後の各画像信号における各フィールドと画素位置との関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。また、図１５（ａ）の白丸で示した画像信号は、倍速変換前の５０フィールド／秒のインタレース画像信号であり、図１５（ｂ）の黒丸で示した画像信号は、倍速変換した１００フィールド／秒のインタレース画像信号である。
【０００９】
図１５（ａ）に示す画像信号において、フィールドｆ１とフィールドｆ２は、フィルムの同一のコマから作成された信号となり、以下同様にフィールドｆ３とフィールドｆ４も同一のコマを構成する。これらの画像信号は、インタレース画像信号であるため、隣り合うフィールド間で垂直方向の画素位置が異なる。このため、インタレース性を保ちつつ、各フィールド間に１個ずつのフィールドを新規に生成することはできない。
【００１０】
そこで、図１５（ｂ）に示すように、フィールドｆ１とフィールドｆ２の間に、新規に２枚のフィールドｆ´２、ｆ´１を生成する。そして、フィールドｆ２とフィールドｆ３の間では、フィールドの生成を行わず、フィールドｆ３とフィールドｆ４の間に、新規に２枚のフィールドｆ´４、ｆ´３を生成する。すなわち４フィールド、２フレームで１つのコマを形成する。
【００１１】
この新規に生成したフィールドｆ´１、ｆ´２、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として、メディアン・フィルタ等を用いて求める場合もある。また、この新規に生成したフィールドｆ´１、ｆ´２、・・・は、それぞれフィールドｆ１、ｆ２、・・と同じ内容となる。
【００１２】
すなわち、フィールド倍速変換回路５は、倍速変換前の画像信号のフィールド間に２枚のフィールドを新規に生成する部分と全く生成しない部分とを交互に配置することで、単位時間当たりの画面枚数を増やすことができ、上述の面フリッカ妨害を抑えることが可能となる。
【００１３】
ところで、２４コマ／秒の静止画で構成される映画のフィルムを通常のテレビで見るためには、インターレースのＴＶ信号にするために、テレビシネマ変換（以下、テレシネ変換と称する）を行う。このテレシネ変換後の画像信号において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１６に示す。ここで横軸は画像の水平方向における位置、縦軸は時間を示している。図１６（ａ）に示す倍速変換前の画像信号において、フィールドｆ１、ｆ２は、同一のコマを構成するため、同じ位置に画像が表示される。この画像は、フィールドｆ３に移行すると水平方向（右方向）へ移動する。フィールドｆ４は、フィールドｆ３と同一のコマを構成するため、フィールドｆ３と同一の位置に表示される。
【００１４】
この図１６（ａ）に示すテレシネ変換後の画像信号をフィールド周波数倍速方式により倍速変換すると、図１６（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ´２、ｆ´１、ｆ２で、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ３、ｆ´４、ｆ´３、ｆ４で同一位置に同一の画像が表示される。
【００１５】
また、倍速変換前のテレビジョン信号（以下、ＴＶ信号という）において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図１７（ａ）に示す。この図１７（ａ）において、フィールドｆ１、ｆ２、ｆ３・・・は、それぞれ独立したコマを形成するため、別の位置に画像が表示される。この画像は、フィールドｆ１から、ｆ２、ｆ３・・・と移行する毎に、水平方向（右方向）へ移動する。
【００１６】
この図１７（ａ）に示すＴＶ信号の画像信号をフィールド周波数倍速方式により倍速変換すると、図１７（ｂ）に示すように、同一のコマを構成するフィールドｆ１、ｆ´２において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｆ´１、ｆ２において、同一位置に同一の画像が表示される。
【００１７】
ところで、図１６（ｂ）に示すように、テレシネ変換後、倍速変換した画像信号において、画像はフィールドｆ１〜ｆ２まで同じ位置に表示される一方、ｆ２〜ｆ３に移行する場合に大きく水平方向へ移動する。同様にＴＶ信号を倍速変換した画像信号についても、図１７（ｂ）に示すように、画像はフィールドｆ１〜ｆ´２まで同じ位置に表示される一方、ｆ´２〜ｆ´１に移行する場合に大きく水平方向へ移動する。特に出力画像信号は、１／１００秒の周期で規則的に各フィールドを構成しているため、画像の動作する時間帯が画像の静止する時間帯と比較して短く、実際にＣＲＴを介して番組を視聴すると画像の動きが不連続に見えるという問題があった。
【００１８】
このため従来では、かかる動きの不連続性を解消するため、例えばブロックマッチング法に基づき、画面を所定の画素からなるブロックに分割し、各ブロック単位で近似度を評価することにより動きベクトルを求め、当該求めた動きベクトルに応じて各ブロック毎に画素位置をシフトさせて動き補正していた。
【００１９】
ちなみにこのブロックマッチング法は、図１８に示すように、基準フィールドを複数の基準ブロック１０１に分割し、基準フィールド８０における基準ブロック１０１と最も高い近似度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【００２０】
上述の近似度の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い近似度を示すブロックとし、かかるブロックの画素位置に応じて動きベクトルを特定する。
【００２１】
このようにして求められた動きベクトルのベクトル方向へ、補正量が上記ベクトル量の範囲内となるように、上述の倍速変換した画像信号の各画素を動き補正することにより、上述した画像の動きの不連続性を解消することができる。
【００２２】
図１９（ａ）は、図１６（ｂ）に示すテレシネ変換後倍速変換した画像信号の各画素について動き補正する場合を示した図であり、図１９（ｂ）は、図１７（ｂ）に示すＴＶ信号を倍速変換した画像信号の各画素について動き補正する場合を示した図である。
【００２３】
図１９（ａ）の場合には、フィールドｆ１とフィールドｆ３間で動きベクトルａ１１を求め、この求めた動きベクトルａ１１のベクトル方向へ、かつベクトル量の範囲内で、フィールドｆ´２〜フィールドｆ２の各画素を徐々にシフトさせる。
【００２４】
図１９（ｂ）の場合には、フィールドｆ１とフィールドｆ´１間で動きベクトルｂ１１を求め、この求めた動きベクトルｂ１１のベクトル方向へ、かつベクトル量の範囲内で、フィールドｆ´２の画素をシフトさせる。同様に、フィールドｆ´１とフィールドｆ３間で動きベクトルｂ１２を求め、この求めた動きベクトルｂ１２のベクトル方向へ、かつベクトル量の範囲内で、フィールドｆ２の画素をシフトさせる。
【００２５】
これにより、コマを構成するフィールドの各画素は、点線に示す位置までシフトさせることができ、全体としてスムーズな動きを実現することができることから上述した画像の動きの不連続性を改善することが可能となる。
【００２６】
【発明が解決しようとする課題】
しかしながら、上述した基準ブロック１０１及び探索ブロック１０３は、単に画面を所定の画素数の集合に分割されてなり、これらのブロック１０１、１０３内は、画素が間隙なく敷き詰められて構成されている。このような基準ブロック１０１及び探索ブロック１０３との間で上述の近似度を判定する場合には、各ブロック１０１、１０３を構成する全ての画素につき差分絶対値を求め、該差分絶対値の総和を演算しなければならず、回路規模が著しく増大してしまう。
【００２７】
また、テレシネ変換後倍速変換して生成した画像信号は、１コマ４フィールドで構成されているため、ＴＶ信号を倍速変換した１コマ２フィールドで構成されている画像信号と比較して、求められる動きベクトルのベクトル量は大きい（図１９のａ１１、ｂ１１、ｂ１２参照）。このためテレシネ変換後の画像信号を動き補正する場合には、ＴＶ信号の場合と比較して探索範囲１０４を広く設定して探索ブロック１０３を順次移動させなければならず、膨大な差分絶対値の演算量により回路規模はさらに増大してしまう。
【００２８】
更に、テレシネ変換後の画像信号とＴＶ信号とが双方とも入力される場合においても、上述した画像の動きの不連続性を効率よく解消する必要があるが、実装されるテレビジョン受像機の仕様を満たすべく、いずれの信号が入力された場合にも、ＴＶ信号が入力された場合の演算量と同等とすることで回路規模の統一化を図る必要がある。
【００２９】
そこで本発明は上述した問題点に鑑みて提案されたものであり、画質に与える影響を軽減しつつ、差分絶対値の演算量を軽減させることにより回路規模を縮小できる動きベクトル検出装置及び方法、並びに動き補正装置及び方法を提供することを目的とする。
【００３０】
【課題を解決するための手段】
本発明者は、上述した課題を解決するために、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定することにより、求められる動きベクトルの精度を維持しつつ演算量を軽減することができ、ひいては回路規模を縮小することができる動きベクトル検出装置及び方法を発明した。
【００３１】
すなわち、本発明に係る動きベクトル検出装置は、上述の課題を解決するために、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドの各画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、上記基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また上記参照フィールドにおける探索ブロックを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させて切り出すブロック切出手段と、上記ブロック切出手段より切り出した基準ブロック及び探索ブロックとの間で画素値の差分絶対値和を順次演算するベクトル演算手段と、上記ベクトル演算手段により演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段とを備えることを特徴とする。
【００３２】
また、本発明に係る動きベクトル検出方法は、上述の課題を解決するために、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドの各画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、上記基準フィールドにおける基準画素を原点とする基準ブロックを切り出し、また上記参照フィールドにおける探索ブロックを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させて切り出し、上記切り出した基準ブロック及び探索ブロックとの間で画素値の差分絶対値和を順次演算し、上記演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定することを特徴とする。
【００３３】
また本発明者は、上述した課題を解決するために、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドにおける基準画素を原点とする基準ブロックと、参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算することにより動きベクトルを検出し、当該動きベクトルに基づき基準フィールドにおける基準画素の位置をシフトさせる動き補正装置及び方法を発明した。
【００３４】
すなわち、本発明に係る動き補正装置は、上述した課題を解決するために、入力される参照フィールドから２フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へシフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えることを特徴とする。
【００３５】
また本発明に係る動き補正装置は、上述した課題を解決するために、入力される参照フィールドから１フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えることを特徴とする。
【００３６】
また本発明に係る動き補正装置は、上述した課題を解決するために、入力される参照フィールドから１フレーム前或いは２フレーム前の基準フィールドの各画素につき動き補正する動き補正装置において、入力される上記１フレーム前或いは２フレーム前の基準フィールドを切り換える切換手段と、上記切換手段により切り換えられた基準フィールドにおける基準画素を原点とする基準ブロックと上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定するベクトル特定手段と、上記ベクトル特定手段により特定された上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えることを特徴とする。
【００３７】
すなわち、本発明に係る動き補正方法は、上述した課題を解決するために、入力される参照フィールドから２フレーム前の基準フィールドの各画素につき動き補正する動き補正方法において、上記基準フィールドにおける基準画素を原点とする基準ブロックと、上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせる画素シフト手段とを備えることを特徴とする。
【００３８】
また本発明に係る動き補正方法は、上述した課題を解決するために、入力される参照フィールドから１フレーム前の基準フィールドの各画素につき動き補正する動き補正方法において、上記基準フィールドから基準画素を原点とする基準ブロックと上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算した差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせることを特徴とする。
【００３９】
また本発明に係る動き補正方法は、上述した課題を解決するために、入力される参照フィールドから１フレーム前或いは２フレーム前の基準フィールドの各画素につき、動き補正する動き補正方法において、入力される上記１フレーム前或いは２フレーム前の基準フィールドを切り換え、上記切り換えた基準フィールドにおける基準画素を原点とする基準ブロックと上記参照フィールドを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動させた探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算したされた差分絶対値和が最小となる探索ブロックの画素位置と上記基準画素の画素位置との間で動きベクトルを特定し、上記特定した上記動きベクトルのベクトル方向へ、シフト量が上記ベクトル量の範囲内となるように、上記基準フィールドにおける基準画素の位置をシフトさせることを特徴とする。
【００４０】
【発明の実施の形態】
以下、本発明を適用した動き補正装置及び方法、並びに動きベクトル検出装置及び方法について図面を参照して詳細に説明する。
【００４１】
図１は、本発明の第１の実施の形態における動き補正装置１のブロック構成図である。動き補正装置１は、例えばＰＡＬ（Ｐｈａｓｅ　Ａｌｔｅｒｎａｔｉｏｎ　ｂｙ　Ｌｉｎｅ）方式によるテレビジョン受像機に内蔵され、図１に示すように、第１の画像メモリ１１と、第２の画像メモリ１２と、スイッチ１３と、動きベクトル検出部１４と、画像シフト部１５とを備えている。
【００４２】
第１の画像メモリ１１は、テレビジョン信号を倍速変換することにより生成された１コマが２フィールドで構成されたインタレース画像信号（以下ＴＶ信号と称する）や、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成されたインタレース画像信号（以下テレシネ変換信号と称する）が順次供給される。
【００４３】
第１の画像メモリ１１は、供給された画像信号を各フィールド単位で１フレーム分格納する。すなわち第１の画像メモリ１１から出力される画像信号は、この第１の画像メモリ１１に供給される画像信号より１フレーム前になる。
【００４４】
第２の画像メモリ１２は、第１の画像メモリ１１と同様の内部構成を有し、第１の画像メモリ１１から供給された画像信号を、各フィールド単位で、１フレーム分格納する。すなわち、第２の画像メモリ１２から出力される画像信号は、この第２の画像メモリ１２に供給される画像信号より１フレーム前になり、第１の画像メモリ１１に供給される画像信号より２フレーム前になる。この第２の画像メモリ１２に格納された画像信号は、画像シフト部１５並びに動きベクトル検出部１４に供給される。以下、第２の画像メモリ１２から動きベクトル検出部１４へ送信される画像信号を基準フィールド３０と称する。
【００４５】
スイッチ１３は、第１の画像メモリ１１に供給される画像信号と、第１の画像メモリ１１から出力される画像信号を順次切り換え、これを動きベクトル検出部１４へ送信する。以下、このスイッチ１３から動きベクトル検出部１４へ送信される画像信号を参照フィールド４０と称する。このスイッチ１３は、ＴＶ信号が入力された場合には、図１中”ノーマル”側に切り換えられ、動きベクトル検出部１４へ送信される参照フィールド４０は、基準フィールド３０よりも１フレーム後となる。一方、このスイッチ部１３は、テレシネ変換信号が入力された場合に図１中”フィルム”側に切り換えられ、動きベクトル検出部１４へ送信される参照フィールド４０は、基準フィールド３０よりも２フレーム後となる。
【００４６】
動きベクトル検出部１４は、供給される基準フィールド３０と参照フィールド４０に基づいて動きベクトルをブロック毎或いは画素毎に検出し、検出した動きベクトル或いは当該動きベクトルに基づくシフト量、シフト方向に関する情報を画像シフト部１５へ出力する。
【００４７】
画像シフト部１５は、動きベクトル検出部１４が検出した動きベクトル或いは、当該動きベクトルに基づくシフト量等の情報を各ブロック毎或いは各画素毎に受信する。また画像シフト部１５は、第２の画像メモリ１２から供給された画像信号における各画素位置或いは各ブロックを、受信した動きベクトルのベクトル量の範囲内でベクトル方向へシフトさせる。なおこの画像シフト部１５は、ベクトル方向へシフトさせた画像信号をＣＲＴ２へ出力する。ＣＲＴ２は、入力された画像信号を画面上に表示する。ＣＲＴ２における画像信号の水平、垂直方向の偏向は、図示しない水平垂直偏向回路に基づき制御される場合もある。
【００４８】
なお動き補正装置１には、画像信号のフィールド周波数を倍速変換するフィールド倍速変換回路３が集積される場合もある。フィールド倍速変換回路３は、解像度を向上させることにより、面フリッカ妨害を防止すべく集積されるものであり、例えばＰＡＬ方式において補間等の処理を行うことにより、フィールド周波数が５０Ｈｚの画像信号を２倍の１００Ｈｚの画像信号に変換する。
【００４９】
フィールド周波数変換回路３は、図１に示すように、テレビジョン受像機に接続された入力端子３１と、倍速変換部３２と、フレームメモリ３３とを備える。
【００５０】
倍速変換部３２は、テレビジョン受像機から入力端子３１を介して入力された、テレシネ変換後の画像信号を、フレームメモリ３３へ書き込む。また、この倍速変換部３２は、フレームメモリ３３へ書き込んだ画像信号を、書込み時の２倍の速度で読み出す。これにより、例えば、ＰＡＬ方式の５０フィールド／秒の画像信号の周波数を２倍に変換し、１００フィールド／秒の画像信号を生成することができる。倍速変換部３２は、この倍速変換した画像信号を動き補正装置１へ供給する。
【００５１】
図２は、このフィールド倍速変換回路３における倍速変換前後の各フィールドと画素位置の関係を示している。ここで横軸は時間、縦軸は画素の垂直方向の位置を示す。
【００５２】
倍速変換前の画像信号は、ＰＡＬ方式の５０フィールド／秒のインタレース画像信号であり、図２（ａ）に示すように、２フィールドで１つのコマを形成する。
【００５３】
一方、倍速変換後の画像信号は、１００フィールド／秒のインタレース画像信号であるため、図２（ｂ）に示すように、フィールドｔ１とフィールドｔ２の間に、新規に２枚のフィールドｔ´２、ｔ´１を生成する。そして、フィールドｔ２とフィールドｔ３の間では、フィールドの生成を行わず、フィールドｔ３とフィールドｔ４の間に、新規に２枚のフィールドｔ´４、ｔ´３を生成する。すなわち、画像信号は、例えばテレシネ変換信号の場合、４フィールドで１つのコマを形成することとなる。
【００５４】
この新規に生成したフィールドｔ´１、ｔ´２、・・・は、それぞれの画素値を、各画素の周囲３画素の中間値として求めてもよい。また、この新規に生成したフィールドｔ´１、ｔ´２、・・・は、それぞれフィールドｔ１、ｔ２、・・と同じ内容となる。これにより、例えばテレシネ変換信号の場合、４フィールドで１つのコマを形成することとなり、単位時間当たりの画面枚数を増やすことで解像度を向上させることができ、面フリッカ妨害を抑制することが可能となる。
【００５５】
次に、本発明を適用した動き補正装置１の動作について、先ずＴＶ信号が入力された場合を例にとり説明をする。
【００５６】
動き補正装置１は、フィールド倍速変換回路３から、テレビジョン信号を倍速変換することにより生成された１コマが２フィールドで構成されたＴＶ信号が順次供給される。このＴＶ信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図３に示す。この図３において、横軸は画像の水平方向における位置、縦軸は時間を示している。フィールド周波数倍速方式により倍速変換されたＴＶ信号は、同一のコマを構成するフィールドｔ１、ｔ´２において、同一位置に同一の画像が表示される。同様に、同一のコマを構成するフィールドｔ´１、ｔ２において、同一位置に同一の画像が表示される。
【００５７】
スイッチ１３は、かかるＴＶ信号を受けて、図１中”ノーマル”側に切り換えられ、基準フィールド３０と、当該基準フィールド３０より１フレーム後の参照フィールド４０が動きベクトル検出部１４へ供給される。
【００５８】
動きベクトル検出部１４は、基準フィールド３０と参照フィールド４０との間で、例えばブロックマッチング法に基づき、各画素又は各ブロック単位で動きベクトルを検出する。
【００５９】
動きベクトル検出部１４は、図４（ａ）に示すように基準フィールド３０を、基準画素５８を中心としたｍ×ｎ画素からなる基準ブロック５１に分割し、当該基準ブロック５１と最も高い近似度を示すブロックを、図４（ｂ）に示す参照フィールド４０における探索範囲５４内を移動する探索ブロック５３から検出する。探索ブロック５３は、中心画素５９を中心とし、基準ブロック５１と同じサイズであるｍ×ｎ画素からなり、この探索ブロック５３が移動する探索範囲５４は、Ｍ×Ｎ画素からなる。動きベクトル検出部１４は、基準ブロック５１と最も高い近似度を示す探索ブロック５３の中心画素５９との間で動きベクトルを特定する。
【００６０】
上述の近似度の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を全ての探索ブロック５３について行い、それぞれ求めた評価値、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック５３を、基準ブロック５１と最も高い近似度を示すブロックとし、かかるブロックの画素位置に応じて動きベクトルを特定する。
【００６１】
ちなみに、探索ブロック５３は、中心画素５９が図４（ｂ）に示される探索範囲５４を構成する画素全て走査するように移動する。換言すれば、探索ブロック５３は、探索範囲５４を１画素ずつずれるようにして移動していく。これにより、求められる動きベクトルの精度を高めることができる。
【００６２】
図３に示す例の場合には、動きベクトルのベクトル方向は、基準フィールド３０を基準としたとき右方向となり、参照フィールドがｔ´１のときにベクトル量はＣとなる。同様に、参照フィールドがｔ３の場合には、基準フィールドは、ｔ´１となり、動きベクトルのベクトル量はＤとなる。この手順を繰り返すことにより、基準フィールド３０を基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００６３】
画像シフト部１５は、第１の画像メモリ１２から供給される画像信号を、各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。ここでコマを構成する２フィールドのうち、最初に入力されるフィールドを第１のフィールドとし、第１のフィールドの次に入力されるフィールドを第２のフィールドとしたときに、各フィールドのシフト量は、図５に示すように、第１のフィールド＜第２のフィールド、となるように順次増大させる。なお、各フィールドが第１のフィールド又は第２のフィールドのいずれに該当するか判別するためには、２フィールド単位でのシーケンスを検出する必要があるが、フィールド倍速変換回路３により倍速変換する際に該当するフィールドは判明するため、このようなシーケンス検出の必要性は無い。
【００６４】
また、上述のように画像をシフトさせると、図５の点線で示すことができるが、画像をシフトさせる前と比べて、第２のフィールドから第１のフィールドへ移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００６５】
このような構成からなる動き補正装置１に、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、ＴＶ信号を倍速変換した画像において、動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００６６】
従って、この動き補正装置１は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。またフィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの動き補正装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００６７】
なお、画像シフト部１５における画像のシフト量は、例えば図６に示すように、第１のフィールドのシフト量を０とし、第２のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍にすることも可能である。図６の場合には、第１のフィールドのシフト量を０とし、ベクトル量がＣの場合には、第２のフィールドをＣ×１／２だけシフトさせる。また、ベクトル量がＤの場合には、第２のフィールドをＤ×１／２だけシフトさせる。１コマが２フィールドで構成されているため、ベクトル量の１／２倍ずつ増加させることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【００６８】
次に、本発明を適用した動き補正装置１の動作について、テレシネ変換信号が入力された場合を例にとり説明をする。
【００６９】
動き補正装置１は、フィールド倍速変換回路３から、テレシネ変換した画像を倍速変換することにより生成された１コマが４フィールドで構成されるテレシネ変換信号が順次供給される。このテレシネ変換信号の水平方向へ画像が移動する場合における各フィールドと画像位置の関係を図７に示す。この図７において、横軸は画像の水平方向における位置、縦軸は時間を示している。フィールド周波数変換方式により倍速変換されたテレシネ変換信号は、フィールドｔ１、ｔ´２、ｔ´１、ｔ２の順で、一定の時間間隔で第１の画像メモリ１１に供給され、画像は全て同一の位置に表示される。またフィールドｔ３に移行すると画像が水平方向（右方向）に移り、フィールドｔ３、ｔ´４、ｔ´３、ｔ４の順で第１の画像メモリ１１に供給される。
【００７０】
スイッチ１３は、かかるテレシネ変換信号を受けて、図１中”フィルム”側に切り換わり、基準フィールド３０と、当該基準フィールド３０より２フレーム後の参照フィールド４０が動きベクトル検出部１４へ供給される。
【００７１】
動きベクトル検出部１４は、基準フィールド３０と参照フィールド４０との間で、例えばブロックマッチング法に基づき、各画素又は各ブロック単位で動きベクトルを検出する。
【００７２】
動きベクトル検出部１４は、図８（ａ）に示すように基準フィールド３０を、基準画素５８を中心としたｍ×ｎ画素からなる基準ブロック５１に分割し、当該基準ブロック５１と最も高い近似度を示すブロックを、図８（ｂ）に示す参照フィールド４０における探索範囲５４内を移動する探索ブロック５３から検出する。探索ブロック５３は、中心画素５９を中心とし、基準ブロック５１と同じサイズであるｍ×ｎ画素からなり、またこの探索ブロック５３が移動する探索範囲５４は、２Ｍ×２Ｎ画素からなり、ＴＶ信号の探索範囲５４と比較して縦横２倍、面積は４倍とする。
【００７３】
すなわち、テレシネ変換信号は、１コマ４フィールドで構成されているため、１コマ２フィールドで構成されているＴＶ信号と比較して、求められる動きベクトルのベクトル量は大きい。例えばＴＶ信号における画像の動き速度と、テレシネ変換信号の画像の動き速度が同一である場合には、テレシネ変換信号の探索範囲を上述の如く縦横２倍の大きさに設定する必要がある。ちなみに、この探索範囲は、ＴＶ信号の探索範囲５４の縦横２倍に限定されることなく、いかなるサイズで構成してもよい。
【００７４】
動きベクトル検出部１４は、基準ブロック５１と最も高い近似度を示す探索ブロック５３の中心画素５９との間で動きベクトルを特定する。
【００７５】
なお、この探索ブロック５３は、中心画素５９が図８（ｂ）に示される探索範囲５４を構成する画素を縦横１画素おきに、色付画素上のみ走査するように移動する。換言すれば、探索ブロック５３は、探索範囲５４を縦横１画素おきにずれるようにして移動していく。探索範囲５４は、テレシネ変換信号の場合に、２Ｍ×２Ｎ画素からなり、ＴＶ信号の探索範囲５４と比較して縦横２倍（面積は４倍）となるが、探索範囲５４を縦横１画素おきに間引いて探索することにより、差分絶対値の計算量がＴＶ信号のＭ×Ｎ画素からなる探索範囲５４と等しくすることができる。
【００７６】
すなわち本発明は、テレシネ変換信号が入力された場合に、探索範囲５４をＴＶ信号の探索範囲と比較して４倍とすることで、真の動きベクトルを求めることができ、また、探索ブロック５３を縦横１画素おきに走査させていくことにより、差分絶対和の演算量を抑えることができ、回路規模の縮小を図ることが可能となる。
【００７７】
また、テレシネ変換後の画像信号とＴＶ信号を順次切り換えて動き補正する動き補正装置１では、特に差分絶対値和の演算量が膨大となるテレシネ変換信号において、ＴＶ信号が入力された場合と同等の演算量とすることで回路規模の統一化を図ることができ、ひいてはテレビジョン受像機の仕様を満たすことができる。
【００７８】
図７に示す例の場合において、この動きベクトル検出部１４により求められる動きベクトルのベクトル方向は、基準フィールド３０を基準としたとき右方向となり、参照フィールドがｔ３のときにベクトル量はＡとなる。同様に、参照フィールドがｔ５の場合には、基準フィールドはｔ３となり、動きベクトルのベクトル量はＢとなる。この手順を繰り返すことにより、基準フィールド３０を基準とした動きベクトルのベクトル方向とベクトル量を順次求めることができる。動きベクトル検出部１４は、この求めた動きベクトルのベクトル量とベクトル方向とを画像シフト部１５へ順次送信する。
【００７９】
画像シフト部１５は、第２の画像メモリ１２から供給される画像信号を、各フィールドの前後関係に基づき、検出画素の位置をベクトル方向へシフトさせる。ここでコマを構成する４フィールドのうち、最初に入力されるフィールドを第１のフィールドとし、第１のフィールドの次に入力されるフィールドを第２のフィールド、以降第３、第４とフィールドが続くときに、各フィールドのシフト量は、図９に示すように、第１のフィールド＜第２のフィールド＜第３のフィールド＜第４のフィールドとなるように順次増大させる。
【００８０】
上述のように画像をシフトさせると、図１０に示されるように、画像をシフトさせる前と比べて、第４のフィールドから第１のフィールドへ移行する際に画像を大きく移動させることなく、画像の動きをスムーズにすることができる。
【００８１】
このような構成からなる動き補正装置１に、フィールド倍速変換回路３を集積化してテレビジョン受像機に内蔵することにより、テレシネ変換信号が入力された場合においても、回路規模をＴＶ信号と同程度まで抑え込みつつ、動きの不連続感を解消することができる。すなわち、フィールド倍速変換回路３により解像度を向上させ、面フリッカ妨害を抑制した各画像の動きを、更にスムーズにすることにより、相乗的に画質を向上させることができる。
【００８２】
この動き補正装置１は、単独で実施する場合のみならず、フィールド倍速変換回路３と一体で実施することで顕著な効果が得られる。また、フィールド倍速変換回路が既に集積化されているテレビジョン受像機に対しても、後からこの動き補正装置１を内蔵することにより、バージョンアップを容易に実現することができる。
【００８３】
なお、画像シフト部１５における画像のシフト量は、例えば図１１に示すように第１のフィールドのシフト量を０とし、第２のフィールドのシフト量を検出した動きベクトルのベクトル量の１／４倍とし、以降１／４倍ずつ増加させていくことも可能である。このとき、第１のフィールドのシフト量を０とし、ベクトル量がＡの場合には、第２のフィールドをＡ×１／４だけシフトさせ、第３のフィールドをＡ×２／４だけシフトさせ、第４のフィールドをＡ×３／４だけシフトさせることにより、シフト量を時間に対して線形に増加させることが可能となり、画像の動きを更にスムーズにすることができる。
【００８４】
ちなみに、テレシネ変換信号は、探索範囲５４を縦横１画素おきに間引いて探索するため、求められる動きベクトルは、１画素分の誤差が生じる可能性がある。しかしながら、この画像シフト部１５において、求めた動きベクトルを４で除した数だけ画素をシフトさせることため、かかる１画素分の誤差についても４で除されることとなり、かかる画素による視覚上の不都合は殆ど解消されることとなる。また、１コマ４フィールドで構成されるテレシネ変換信号は、動き補正を施さない場合に不連続な動きによる画質劣化が著しいが、本発明に係る動き補正装置１により動き補正することにより、画質を格段に向上させることができるため、求められる動きベクトルの精度が少々低くても視覚上の影響は殆ど生じない。
【００８５】
また本発明は、テレシネ変換信号が入力された場合に、動きベクトル検出部１４において動きベクトルを特定する前に予め図示しないローパスフィルタ（ＬＰＦ）を掛けることもできる。このＬＰＦの帯域を最適化することにより、動きベクトル検出部１４が縦横１画素おきに探索範囲５４を探索する際に、真の動きベクトルが間引かれた画素位置に存在する場合でも、全く異なる動きベクトルが求められるのを防止することができる。
【００８６】
なお、テレシネ変換信号が入力された場合における動きベクトルの検出例は、上述した実施の形態に限定されるものではなく、例えば以下の方法により動きベクトルを検出しても良い。
【００８７】
動きベクトル検出部１４は、図１２（ａ）に示すように基準フィールド３０を、基準画素５８を中心とした２ｍ×２ｎ画素からなる基準ブロック６１に分割し、当該基準ブロック６１と最も高い近似度を示すブロックを、図１２（ｂ）に示す参照フィールド４０における探索範囲６４内を移動する探索ブロック６３から検出する。
【００８８】
この基準ブロック６１は、上述したｍ×ｎ画素からなる基準ブロック５１と比較して縦横２倍、面積は４倍である。またこの基準ブロック６１は、夫々縦横１画素おきに間引かれて構成されているため、基準ブロック６１を構成する画素数は、基準ブロック５１を構成する画素数と同一となる。探索ブロック６３は、中心画素５９を中心とし、基準ブロック６１と同じサイズである２ｍ×２ｎ画素からなり、縦横１画素おきに間引かれて構成される。この探索ブロック６３が移動する探索範囲６４は、２Ｍ×２Ｎ画素からなり、ＴＶ信号の探索範囲５４と比較して縦横２倍、面積は４倍とする。動きベクトル検出部１４は、基準ブロック５１と最も高い近似度を示す探索ブロック６３の中心画素５９との間で動きベクトルを特定する。なお、これらの各ブロック６１、６３並びに探索範囲６４のサイズは、上述に限定されることなくいかなるサイズであっても良い。
【００８９】
探索ブロック５３は、中心画素５９が図９（ｂ）に示される探索範囲５４を構成する画素を縦横１画素おきに、色付画素上のみ走査するように移動する。換言すれば、探索ブロック６３は、図１２（ｂ）に示される探索範囲６４を縦横１画素おきにずれるようにして移動していく。探索範囲６４は、テレシネ変換信号の場合に、２Ｍ×２Ｎ画素からなり、ＴＶ信号の探索範囲６４と比較して縦横２倍（面積は４倍）となるが、探索範囲６４を縦横１画素おきに間引いて探索することにより、差分絶対値の計算量がＴＶ信号のＭ×Ｎ画素からなる探索範囲５４と等しくすることができる。
【００９０】
なお、動きベクトル検出部１４は、テレシネ変換信号が入力された場合に、図８（ｂ）、図１２（ｂ）に示されるように、探索範囲５４、６４上を、中心画素５９が色付画素上を走査していくように、換言すれば探索ブロック５３、６３が縦横１画素おきにずれていくように探索を行うが、かかる場合に限定されるものではない。例えば図１３（ａ）に示すように、横のみ１画素おきにずらして探索し、縦は１画素おきにずらさないで探索しても良い。同様に縦のみ１画素おきにずらして探索し、横は１画素おきにずらさないで探索しても良い。また、画素をずらす間隔も１画素に限定されるものではなく、例えば２画素おき或いは３画素おき等のように、少なくとも１画素おきであれば足りる。図１３（ｂ）は、縦を１画素おきに、また横を３画素おきにずらして探索する例を示している。すなわち、本発明では、探索ブロックを少なくとも縦１画素おきに又は／及び少なくとも横１画素おきにずらして探索すればいかなる探索方法であっても良い。これにより探索範囲５４、６４を広範囲としつつ、回路規模を減縮させることが可能となる。
【００９１】
また、図１２に示される基準ブロック６１、探索ブロック６３は、縦横１画素おきに間引かれる場合のみならず、少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに間引かれれば足りる。このため、例えば２画素おき或いは３画素おきに間引かれた基準ブロック６１、探索ブロック６３を用いてブロックマッチングを行っても良いことは勿論である。
【００９２】
またこの動きベクトル検出部１４は、テレシネ変換信号が入力された場合のみならず、ＴＶ信号が入力された場合に、上述した図８（ｂ）、図１２（ｂ）の如く縦横１画素おきに探索ブロック５３を移動させることより探索を行っても良い。また、上述した図１３の如く少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに探索ブロック５３を移動させることより探索を行っても良い。これにより、ＴＶ信号が入力された場合に、さらに演算量を軽減させることができ、また図示しないローパスフィルタ（ＬＰＦ）の帯域を最適化することにより、求められる動きベクトルの精度を維持することも可能となる。
【００９３】
なお本発明を適用した動き補正装置１は、上述した実施の形態に限定されるものではなく、例えば図１において、スイッチ１３を常時”ノーマル”側に切り換えておくことも可能である。これにより動きベクトル検出部１４へ送信される参照フィールド４０は、基準フィールド３０よりも常に１フレーム後となるため、かかる構成を採用する動き補正装置１は、ＴＶ信号のみ動き補正することができる動き補正回路を構成することとなる。この場合、動きベクトル検出部１４は、入力されるＴＶ信号に対してテレシネ変換信号の場合と同様、図８（ｂ）、図１２（ｂ）に示されるように縦横１画素おきに探索ブロック５３を走査させることにより探索を行う。これにより、入力されたＴＶ信号につき少ない演算量で動きベクトルを求めることができ、回路規模を縮小することができる。
【００９４】
また本発明を適用した動き補正装置１は、上述した実施の形態に限定されるものではなく、例えば図１において、スイッチ１３を常時”フィルム”側に切り換えておくことも可能である。これにより動きベクトル検出部１４へ送信される参照フィールド４０は、基準フィールド３０よりも常に２フレーム後となるため、かかる構成を採用する動き補正装置１は、テレシネ変換信号のみ動き補正することができる動き補正回路を構成することとなる。これにより、ＴＶ信号と比較してより広範な探索範囲５４を必要とするテレシネ変換信号につき、差分絶対値の演算量を減らすことができ、回路規模を縮小することができる。
【００９５】
なお、本発明は、ＰＡＬ方式によるテレビジョン受像機に対して適用される場合に限定されることはなく、例えば、ＮＴＳＣ（Ｎａｔｉｏｎａｌ　ＴＶ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）方式の６０フィールド秒（３０コマ／秒）のインタレース画像信号が入力されるテレビジョン受像機に対しても適用可能である。また、ＳＥＣＡＭ方式によるテレビジョン受像機に対しても適用可能である。
【００９６】
また、本発明は、テレビジョン受像機に内蔵される場合のみならず、テレビジョン受像機に接続する信号変換器へも内蔵可能である。
【００９７】
また、本発明は、インターネットで伝送されるような画像信号をＰＣなどで表示する場合や、メディアや画像フォーマットを変換するケースにも応用することができる。
【００９８】
更に、本発明は、回路等、ハードウェアで実現する形で説明しているが、プロセッサ上でのソフトウェアとしても実現可能であることは勿論である。
【００９９】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドにおける基準画素を原点とする基準ブロックと、参照フィールドにおける探索範囲内を少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動する探索ブロックとの間で画素値の差分絶対値和を順次演算し、演算された差分絶対値和が最小となる探索ブロックの画素位置と基準画素の画素位置との間で動きベクトルを特定する。これにより、本発明に係る動きベクトル検出装置及び方法は、求める動きベクトルの精度を維持しつつ演算量を軽減することができ、ひいては回路規模を縮小することができる。
【０１００】
以上詳細に説明したように、本発明に係る動き補正装置及び方法は、入力される参照フィールドから１フレーム或いは２フレーム前の基準フィールドにおける基準画素を原点とする基準ブロックと、参照フィールドにおける探索範囲内を少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに移動する探索ブロックとの間で画素値の差分絶対値和を順次演算することにより動きベクトルを検出し、当該動きベクトルに基づき、基準フィールドにおける基準画素の位置をシフトさせる。これにより本発明に係る動き検出装置は、演算量を減らすことにより回路規模を縮小しつつ、動きの不連続感を解消させることができる。
【図面の簡単な説明】
【図１】本発明を適用した動き補正装置のブロック構成を示した図である。
【図２】フィールド倍速変換回路における倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図３】ＴＶ信号において水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図４】動きベクトル検出部において、ＴＶ信号が入力された場合の動作を説明するための図である。
【図５】画像シフト部において、入力されたＴＶ信号につき画素位置をシフトさせる例を示した図である。
【図６】画像シフト部において、第１のフィールドのシフト量を０とし、第２のフィールドのシフト量を検出した動きベクトルのベクトル量の１／２倍とした例を示した図である。
【図７】テレシネ変換信号において水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図８】動きベクトル検出部において、テレシネ変換信号が入力された場合の動作を説明するための図である。
【図９】画像シフト部において、入力されたテレシネ変換信号につき画素位置をシフトさせる例を示した図である。
【図１０】画像シフト部において画素位置をシフトさせた結果、画像の動きをスムーズにさせた例を示した図である。
【図１１】画像シフト部において、第１のフィールドのシフト量を０とし、以降動きベクトルのベクトル量の１／４倍ずつ増加させる例を示した図である。
【図１２】夫々縦横１画素おきに間引いて構成した各ブロックに基づき動きベクトルを検出する例を示した図である。
【図１３】少なくとも縦１画素おきに又は／及び少なくとも横１画素おきに探索ブロック５３を移動させる例を示した図である。
【図１４】フィールド周波数倍速方式を適用したフィールド倍速変換回路のブロック構成図である。
【図１５】倍速変換前後の各フィールドと画素位置の関係を示した図である。
【図１６】テレシネ変換信号が入力される場合において、水平方向へ画像が移動する場合における各フィールドと画像位置の関係を示した図である。
【図１７】ＴＶ信号が入力される場合において、水平方向へ画像が移動するときの各フィールドと画像位置の関係を示した図である。
【図１８】従来のブロックマッチング法について説明するための図である。
【図１９】テレシネ変換信号及びＴＶ信号につき動きベクトルを求める例を示した図である。
【符号の説明】
１　動き補正装置、２　ＣＲＴ、３　フィールド倍速変換回路、１１　第１の画像メモリ、１２　第２の画像メモリ、１３　スイッチ、１４　動きベクトル検出部、１５　画像シフト部、３１　入力端子、３２　倍速変換部、３３　フレームメモリ
【図１】
2004023673.tif 000003
【図２】
2004023673.tif 000004
【図３】
2004023673.tif 000005
【図４】
2004023673.tif 000006
【図５】
2004023673.tif 000007
【図６】
2004023673.tif 000008
【図７】
2004023673.tif 000009
【図８】
2004023673.tif 000010
【図９】
2004023673.tif 000011
【図１０】
2004023673.tif 000012
【図１１】
2004023673.tif 000013
【図１２】
2004023673.tif 000014
【図１３】
2004023673.tif 000015
【図１４】
2004023673.tif 000016
【図１５】
2004023673.tif 000017
【図１６】
2004023673.tif 000018
【図１７】
2004023673.tif 000019
【図１８】
2004023673.tif 000020
【図１９】
2004023673.tif 000021