(57)【特許請求の範囲】
【請求項１】
入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算手段と、
上記演算手段により演算した差分絶対値和から、上記探索範囲内において上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和が最小値となる画素と、上記探索範囲内において最小となる差分絶対値和を示す画素とを識別する識別手段と、
上記識別手段により識別された上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定する判定手段と、
上記判定手段の判定結果から、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なると判断したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じと判断したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定する動きベクトル特定手段とを備えることを特徴とする動きベクトル検出装置。
【請求項２】
上記判定手段は、上記識別手段により識別された上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定するとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下であるか否かを判定し、
上記動きベクトル特定手段は、
上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下であると判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、
上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じであると判断したとき、又は、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下ではないと判定したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定することを特徴とする請求項１記載の動きベクトル検出装置。
【請求項３】
入力される基準フィールドの基準画素につき、ブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、
基準フィールドから切り出した基準画素を原点とする基準ブロックと、参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で、画素値の差分絶対値和を順次演算する演算ステップと、
上記演算ステップで演算した差分絶対値和から、上記探索範囲内において上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和が最小値となる画素と、上記探索範囲内において最小となる差分絶対値和を示す画素とを識別する識別ステップと、
上記識別ステップで識別した上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定する判定ステップと、
上記判定ステップで判定した判定結果から、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なると判断したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じと判断したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定する動きベクトル特定ステップとを有する動きベクトル検出方法。
【請求項４】
上記判定ステップでは、上記識別ステップにより識別された上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定するとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下であるか否かを判定し、
上記動きベクトル特定ステップでは、
上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下であると判定したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、
上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じであると判断したとき、又は、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるとともに、上記正領域における差分絶対値和の最小値と上記負領域における差分絶対値和の最小値との差が所定の閾値以下ではないと判定したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定することを特徴とする請求項３記載の動きベクトル検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ブロックマッチングにより動きベクトルを検出する動きベクトル検出装置及び方法に関し、特に動きベクトルを用いた動き補正型走査線変換やフィールドフレームレート変換、並びにＭＰＥＧによる圧縮時において適用される動きベクトル検出装置及び方法に関する。
【０００２】
【従来の技術】
テレビ放送の走査方式としては、従来から水平走査線を１本おきに飛越して走査するインタレース走査方式が最も広く採用されている。このインタレース走査方式では、入力画像信号に内挿処理を施して、５０ＧＨｚから１００ＧＨｚへフィールド周波数の変換や、インタレース走査からプログレッシブ走査へ走査変換を行なうことにより、画面全体がちらついて見える面フリッカ妨害を抑え、画面品質の劣化を防止する。
【０００３】
上述の内挿処理を行うためには、入力された画像信号において、現フィールドである参照フィールドと、現フィールドを１フレーム前の基準フィールドとの間で差分を算出し、この算出した差分に基づいて動きベクトルの検出を行う。この動きベクトルの検出は、一般に実用化されている方式として、基準フィールドを複数の基準ブロックに分割し、このブロック毎に参照フィールドにおける探索ブロックとパターンマッチングを行うブロックマッチング法が一般的に用いられている。
【０００４】
以下、ブロックマッチング法について説明する。図１０に示すように、基準フィールド８０における基準ブロック１０１と、参照フィールド９０における探索ブロック１０３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック１０３の探索範囲１０４は任意に設定される。
【０００５】
このブロックマッチング法では、基準フィールド８０における基準ブロック１０１と最も高い相関度を示すブロックを、参照フィールド９０における探索範囲１０４内を移動する探索ブロック１０３の集合から検出する。そして当該検出された探索ブロック１０３と基準ブロック１０１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【０００６】
ここで、上記基準ブロック１０１と最も高い相関度を示す探索ブロック１０３の判定は、先ず探索ブロック１０３の各画素値について、基準ブロック１０１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を探索範囲１０４内の全ての探索ブロック１０３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和のうちから最小のものを求める。この最小の差分絶対値和を与える探索ブロック１０３を、基準ブロック１０１と最も高い相関度を示すブロックとする。
【０００７】
ここで各ブロックのサイズは、例えば図１１(a)に示すように８×４画素のサイズとし、各ブロック１０１,１０３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、ｘは、ＢＸ１〜ＢＸ２の範囲内に位置し、またｙは、ＢＹ１〜ＢＹ２の範囲内に位置することとなる。
【０００８】
探索範囲１０４のサイズは、例えば図１１(b)に示すように、１６×５画素のサイズとし、各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、ＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置することとなる。
【０００９】
図１１(c)は、探索範囲１０４において、（ＭＸ１、ＭＹ１）の画素位置を探索する場合について示した図である。かかる場合、探索ブロック１０３の原点（０，０）が、探索範囲１０４の画素位置（ＭＸ１、ＭＹ１）に移動する。そして、基準ブロック１０１の画素に対応させて、探索ブロック１０３内の各画素位置における画素値を検出する。
【００１０】
（２１）式は、差分絶対値和Ｄ（ｘｓ、ｙｓ）を求める式であり、Ｒは参照フィールドのｘ、ｙ座標における画素値を、Ｓは基準フィールドにおけるｘ、ｙ座標における画素値を示す。また、（２２）式は、最小となる差分絶対値和ｍｉｎＤ（ｘｓ、ｙｓ）を求めている。（２３）式は、最小となる差分絶対値和から動きベクトルを求める式であり、Ｖｘが動きベクトルの水平成分に相当し、Ｖｙが動きベクトルの垂直成分に相当する。
【００１１】
【数１】
0004269573.tif 000002
【００１２】
【数２】
0004269573.tif 000003
【００１３】
【数３】
0004269573.tif 000004
【００１４】
次に上述したブロックマッチング法に基づく動きベクトルを検出する動きベクトル検出回路の構成例について説明する。
【００１５】
図１２は、従来の動きベクトル検出回路６の全体構成である。この動きベクトル検出回路６は、画像格納用メモリ６１と、演算部６２と、判定部６３と、動きベクトル格納用メモリ６４と、制御部６５とを備える。
【００１６】
画像格納用メモリ６１は、例えばフラッシュメモリ等で構成されたフィールドメモリやフレームメモリであり、順次供給される基準フィールド８０と参照フィールド９０を所定のアドレスに格納する。
【００１７】
演算部６２は、制御部６５から基準ブロック１０１の原点の座標と、探索範囲１０４の原点の座標を受け取る。この演算部６２は、画像格納用メモリ６１に格納されている基準フィールド８０から、制御部６５から受け取った座標を原点とする基準ブロック１０１を切り出す。また、この演算部６２は、画像格納用メモリ６１に格納されている参照フィールド９０から、制御部６５から受け取った座標を原点とする探索範囲１０４内に位置する探索ブロック１０３を切り出す。更に、この演算部６２は、切り出した基準ブロック１０１と、探索ブロック１０３との差分絶対値和を計算する。そして算出した差分絶対値和を判定部６３へ送信する。演算部６２は、この操作を、探索範囲１０４内を移動する全ての探索ブロック１０３について行う。
【００１８】
判定部６３は、演算部６２において算出された差分絶対値和を順次受け取る。またこの判定部６３は、受け取った差分絶対値和の中から、最小となる差分絶対値和を与える画素を判定し、当該画素の座標（ｘｓ、ｙｓ）を特定する。また、この判定部６３は、この特定した画素の座標と、基準ブロック１０１の原点の画素との間で動きベクトルを求める。更にこの判定部６３は、求めた動きベクトルを動きベクトル格納用メモリ６４に書き込む。
【００１９】
動きベクトル格納用メモリ６４は、判定部６３から基準（ブロック）画素毎に動きベクトルが書き込まれる。この動きベクトル格納用メモリ６４に格納された動きベクトルは、例えば図示しない画像シフト部により読み出され、基準画素のシフトさせる際の基準となる。
【００２０】
制御部６５は、接続された演算部６２及び判定部６３に対して、基準ブロック１０１の原点の座標と探索範囲１０４の原点の座標を指示し、フローを制御する。
【００２１】
【発明が解決しようとする課題】
しかしながら、上述した従来のブロックマッチング法は、画面全体に表示される本来の画像の動きに関係なく、単に基準ブロックと誤差の総和が最小となる探索ブロックを最優先して動きベクトルを求めるため、変換画像の画質が劣化する場合がある。
【００２２】
例えば、図１３(a)に示すように、殆ど左右対称なラインαと、ラインβの二つの縦ラインを有する”ｕ”の文字を右から左へ水平方向にシフトさせる場合に、原点に存在するラインαを構成する一の画素につき差分絶対値和を求めると、図１３(b)に示すように、極小点が２箇所生じる。これは原点に存在するラインαを構成する画素２０１が、参照フィールド上においてＡの位置２０２と相関度が高く、またラインβを構成する画素が参照フィールド上においてＢの位置２０３と相関度が高いため、Ａ，Ｂ２箇所で差分絶対値和が小さくなるためである。
【００２３】
このため、”ｕ”等の繰り返しパターンからなる左右対称な文字を右から左へ水平方向へシフトさせる場合に、従来のブロックマッチング同様に動きベクトルを求めると、最小となる差分絶対値和を示す画素としてＡの位置にシフトしたラインαを構成する画素以外に、Ｂの位置にシフトしたラインβの画素が求まる場合もあり、部分的に左右逆転した動きベクトルが求められ、画質が著しく劣化してしまう。
【００２４】
従って、殆ど左右対称な”ｕ”や”Ｈ”等の文字について、動きベクトルの水平成分を揃えることにより、画質の劣化を抑える必要があり、特に文字等を水平に移動させるケースが増えた近年のテレビジョン放送において、フィールド周波数変換や走査線変換を行なう際に、動き補正による画質改善の要請は高まっている。
【００２５】
そこで、本発明は、上述したような実情に鑑みて提案されたものであり、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向、及び探索範囲内において差分絶対値和が最小となる画素の基準画素の左側に隣接する画素、又はブロックの動きベクトルに基づく相対的な位置を考慮し、基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値を示す画素に応じて動きベクトルを特定することができる動きベクトル検出装置及び方法を提供することを目的とする。
【００２６】
【課題を解決するための手段】
本発明に係る動きベクトル検出装置は、上述の課題を解決するため、入力される基準フィールドの基準画素につきブロックマッチング法により動きベクトルを検出する動きベクトル検出装置において、基準フィールドから切り出した基準画素を原点とする基準ブロックと参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で画素値の差分絶対値和を順次演算する演算手段と、上記演算手段により演算した差分絶対値和から、上記探索範囲内において上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和が最小値となる画素と、上記探索範囲内において最小となる差分絶対値和を示す画素とを識別する識別手段と、上記識別手段により識別された上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定する判定手段と、上記判定手段の判定結果から、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なると判断したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じと判断したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定する動きベクトル特定手段とを備えることを特徴とする。
【００２７】
また、本発明に係る動きベクトル検出方法は、上述の課題を解決するため、入力される基準フィールドの基準画素につきブロックマッチング法により動きベクトルを検出する動きベクトル検出方法において、基準フィールドから切り出した基準画素を原点とする基準ブロックと参照フィールドから切り出した探索範囲内を移動する探索ブロックとの間で画素値の差分絶対値和を順次演算する演算ステップと、上記演算ステップで演算した差分絶対値和から、上記探索範囲内において上記基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和が最小値となる画素と、上記探索範囲内において最小となる差分絶対値和を示す画素とを識別する識別ステップと、上記識別ステップで識別した上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なるか否かを判定する判定ステップと、上記判定ステップで判定した判定結果から、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と異なると判断したとき、上記隣接する画素の動きベクトルの水平成分が正の極性の場合には上記正領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記隣接する画素の動きベクトルの水平成分が負の極性の場合には上記負領域において差分絶対値和が最小となる画素から上記基準画素の動きベクトルを特定し、上記探索範囲内において最小となる差分絶対値和を示す画素の水平成分の極性が、上記基準画素に隣接する画素の動きベクトルの水平成分の極性と同じと判断したとき、上記探索範囲内において最小となる差分絶対値和を示す画素から上記基準画素の動きベクトルを特定する動きベクトル特定ステップとを有する。
【００２８】
この動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向及び探索範囲内において差分絶対値和が最小となる画素についての基準画素に隣接する画素の動きベクトルに基づく相対的な位置に応じて動きベクトルを求める。
【００２９】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。本発明は、例えばフィールド周波数変換や走査変換における動き補正装置のための動き検出や動き補正を内蔵したテレビジョン受像機に使用される。
【００３０】
図１は、本発明を適用した動きベクトル検出装置１の構成図を示している。この動きベクトル検出装置１は、画像格納用メモリ１１と、演算部１２と、判定部１３と、動きベクトル選択部１４と、求められた動きベクトルを格納する動きベクトル格納用メモリ１５と、動きベクトル検出装置１のフロー全体を制御する制御部１６とを備える。
【００３１】
画像格納用メモリ１１は、例えば汎用ＤＲＡＭ等で構成され、順次供給される入力画像信号を所定のアドレスに格納する。
【００３２】
演算部１２は、画像格納用メモリ１１に格納されている入力画像信号から、制御部１６から受け取った座標を原点とする画素ブロックを切り出し、判定部１３、動きベクトル選択部１４と連係して、例えばブロックマッチング法等の方法により、動きベクトルを求める。
【００３３】
図２に、上記入力画像信号としての基準フィールド３０と、１フレーム離れた参照フィールド４０の位置関係を示す。基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索ブロック５３はそれぞれ、Ｍ×Ｎの画素のサイズで表される。探索ブロック５３の探索範囲５４は任意に設定される。
【００３４】
ブロックマッチング法により動きベクトルを検出する場合には、基準フィールド３０を複数の基準ブロック５１に分割し、基準フィールド３０における基準ブロック５１と最も高い相関度を示すブロックを、参照フィールド４０における探索範囲５４内を移動する探索ブロック５３から検出する。そして当該検出された探索ブロック５３と基準ブロック５１間の位置のずれ（移動の方向と大きさ）を動きベクトルとする。
【００３５】
上述の相関度の判定は、先ず探索ブロック５３の各画素値について、基準ブロック５１の対応する画素値との差分をとり、その差によって示される評価値、例えば差分絶対値和を求める。次に、上述の判定操作を探索範囲５４内における全ての探索ブロック５３について行い、それぞれ求めた評価値和、すなわち各差分絶対値和から最小のものを求める。この最小の差分絶対値和を与える探索ブロック５３を、基準ブロック５１と最も高い相関度を示すブロックとし、かかるブロックの原点の画素６３と、基準ブロック５１の原点の画素との間で特定することができるベクトルを動きベクトルとする。
【００３６】
求めた動きベクトルは、基準フィールド３０、参照フィールド４０の中間に位置する、動き補正するフィールドや走査線において、画素のシフト方向、シフト量を決める際に参照される。
【００３７】
なお本発明を適用した動きベクトル検出装置１は、上述のブロックマッチング法に加え、更に以下のコンセプトから動き補正を行う。
【００３８】
図３(a)は、図３(b)に示すような殆ど左右対称なラインαと、ラインβの二つの縦ラインを有する”ｕ”の文字を右から左へ水平方向にシフトさせる場合において、原点に存在するラインαを構成する一の画素につき求めた差分絶対値和を示している。この図３(a)では、原点に存在するラインαを構成する画素が、参照フィールド上においてＡの位置にシフトされ、またラインβを構成する画素が参照フィールド上においてＢの位置にシフトされるため、Ａ、Ｂ２箇所に極小点が生じている。従って、ブロックマッチング法により、基準ブロック５１と誤差の総和が最小となる探索ブロック５３を最優先すると、求められる動きベクトルの方向がばらつく。
【００３９】
このため本発明に係る動きベクトル検出装置１は、図４に示すように、左側の画素（ブロック）から右側の画素（ブロック）へ順に動きベクトルを求めていくことに着目したものであり、動きベクトルを求める画素３５（基準ブロック５１の原点の画素）の左隣に位置する画素３４において動きベクトルが既に求められているものと仮定する。そして、画素３５の動きベクトルの方向を、該左隣に位置する画素３４の動きベクトルに合わせる。これにより、求める画素３５の動きベクトルの方向を、左隣に位置する画素３４の動きベクトルに揃えることが可能となる。次に画素３６の動きベクトルを求める際に、画素３５において求められた動きベクトルに合わせることができ、左右対称なパターンを有する画像領域における動きベクトルの均一性を確保することができる。
【００４０】
本発明を適用した動きベクトル検出装置１における実際の動きベクトルの検出手順について、図５に基づいて詳細に説明する。
【００４１】
まず、ステップＳ１１において、基準フィールド３０における基準ブロック５１と、参照フィールド４０における探索範囲５４内部を移動する探索ブロック５３との間で、差分絶対値和を演算する。
【００４２】
この差分絶対値和の演算は、例えば図６(a)に示すように、ブロックサイズをに示すように８×４画素のサイズとし、各ブロック５１,５３の画素位置は、水平方向と垂直方向でそれぞれ（ｘ、ｙ）で表される。また原点の画素の座標を、（０、０）としたときに、水平方向の座標ｘは、図６(a)に示すＢＸ１〜ＢＸ２の範囲内に位置し、また垂直方向の座標ｙは、ＢＹ１〜ＢＹ２の範囲内に位置する。探索範囲５４のサイズは、例えば図６(b)に示すように、１６×５画素のサイズとし、探索範囲５４内の各画素位置は、水平方向と垂直方向で、それぞれ（ｘｓ、ｙｓ）で表される。また原点の座標を（０，０）としたときに、ｘｓは、図６(b)に示すＭＸ１〜ＭＸ２の範囲内に位置し、ｙｓはＭＹ１〜ＭＹ２の範囲内に位置する。ちなみに、この基準ブロック５１の原点の座標や探索範囲５４の原点の座標は、図１に示す制御部１６から演算部１２へ送信される。演算部１２は、受信した原点の座標に基づき、画像格納用メモリ１１に格納されている基準フィールド３０から基準ブロックを切り出し、また参照フィールド４０から探索ブロック５３を切り出す。
【００４３】
この探索範囲５４内の座標（ｘｓ、ｙｓ）の差分絶対値和Ｄ（ｘｓ、ｙｓ）は以下の（１１）式により表される。ここでＲは参照フィールドの画素値を、Ｓは基準フィールドの画素値を示す。
【００４４】
【数４】
0004269573.tif 000005
【００４５】
このステップＳ１１において、探索範囲５４内部を移動する全ての探索ブロック５３につき差分絶対値和を演算した後、ステップＳ１２に移行する。
【００４６】
ステップＳ１２では、探索範囲５４において最小となる差分絶対値和（以下、この最小となる差分絶対値和を領域最小値と称する）を示す画素を選別し、当該画素の座標を特定する。この領域最小値を示す画素の座標を（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）とする。
【００４７】
次にステップＳ１３へ移行し、図７に示すように、探索範囲５４を、基準ブロックの原点の画素３５を中心とした正領域５６と、負領域５７に分割する。そして分割した正領域５６と負領域５７毎に、差分絶対値和の極小値を選別し、当該画素の座標を特定する。以下、差分絶対値和の正領域における極小値を正領域極小値と称し、また差分絶対値和の負領域の極小値を負領域極小値と称する。すなわち、上記求めた領域最小値は、正領域極小値或いは負領域極小値のいずれかと一致することとなる。
【００４８】
次にステップＳ１４へ移行し、基準ブロック５１における原点の画素３５の左隣に位置する画素３４について、ブロック単位で求められた動きベクトルの情報を取得する。この左隣の画素３４を中心とした動きベクトル、及び当該動きベクトルに基づく差分絶対値和を、以下隣接画素情報と称する。すなわち、この隣接画素情報を取得することにより、本来の画像の動きを識別することができる。ちなみに、このステップＳ１３及びステップＳ１４の処理は、判定部１３が行う。
【００４９】
次にステップＳ１５へ移行し、領域最小値を示す画素の位置を、画素３４において求められた動きベクトルと、正領域極小値を示す画素及び負領域極小値を示す画素に基づき、相対的に判定する。
【００５０】
具体的には、領域最小値を示す画素のｘ座標（ｘｓ＿ｍｉｎ）と、画素３４において求められた動きベクトルの水平成分（以下、Ｖｘ＿ｌと称する）との積を求め、正か負かを識別することにより、両者の位置関係を把握する。
【００５１】
図８の例は、左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌが、負の極性を有する場合について示している。ここで領域最小値を示す画素のｘｓ＿ｍｉｎの極性が負の場合には、左隣の画素３４の動きベクトルと水平成分が揃う。このため、かかる領域最小値を示す画素と原点の画素３４との間で動きベクトルを特定しても動きベクトルがばらつくことはなくなる。従って、求めた積が０以上の場合は、ステップＳ１６へ移行し、通常のブロックマッチング法と同様に動きベクトルを求める。なお、水平成分Ｖｘ＿ｌが、正の極性を有する場合についても同様に積を求めることにより、両者の位置関係を把握することができる。
【００５２】
一方、領域最小値を示す画素の水平成分ｘｓ＿ｍｉｎの極性が正の場合には、図８に示すように、左隣の画素３４の動きベクトルと水平成分が逆方向になるため、ステップＳ１８へ移行し、以下に説明するように動きベクトルを特定することで両者の水平成分を揃える。これにより、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４における動きベクトルの水平成分に適合する画素を選択し、原点の画素３５との間で動きベクトルを特定することができる。
【００５３】
すなわち、このステップＳ１８に示す動きベクトルの特定において、原点の画素３５との間で動きベクトルを求める画素を、正領域極小値或いは負領域極小値を示す画素のいずれから選び出す。そして選び出した負領域極小値或いは正領域極小値を示す画素と、原点の画素３５との間で動きベクトルを特定する。なお、正領域極小値を示す画素或いは負領域極小値を示す画素から一の画素を選び出すため、両者間の差分絶対値和の格差が小さいことが望ましい。このため、ステップＳ１７において、正領域極小値と負領域極小値を比較し、格差が小さい場合のみステップＳ１８へ移行し、上述の動きベクトルの特定を行なっても良い。なお、この正領域極小値と負領域極小値の比較は、例えば、正領域極小値と負領域極小値の差分絶対値を求め、当該差分絶対値が閾値を下回る場合のみにステップＳ１８へ移行しても良い。
【００５４】
ステップＳ１８における動きベクトルの特定は、具体的に以下の手順により行う。先ずＶｘ＿ｌが０以上か否か判定する。Ｖｘ＿ｌが０以上の場合には、正領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。一方、Ｖｘ＿ｌが０より小さい場合には、負領域極小値を示す画素の座標を、上述の領域最小値を示す画素の座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）として定義し直す。
【００５５】
ステップＳ１９では、定義し直した座標（ｘｓ＿ｍｉｎ、ｙｓ＿ｍｉｎ）と原点の座標との間で動きベクトルを特定する。
【００５６】
ちなみに、求めた差分絶対値が閾値を越える場合において上述した動きベクトルの特定を進めると却って画質の低下等の不都合を生じるため、ステップＳ１６へ移行して、通常のブロックマッチング法と同様に動きベクトルを求める。なお、このステップＳ１５〜ステップＳ１９までの処理は、動きベクトル選択部１４が行う。
【００５７】
次にステップＳ１８における動作例について図９を用いて説明する。例えば左隣の画素３４の動きベクトルにおける水平成分Ｖｘ＿ｌが負の極性を有し、また領域最小値を示す画素１０１のｘｓ＿ｍｉｎの極性が正である場合、両者の積は０以下となるためステップＳ１７へ移行する。図９に示す例では、領域最小値を示す画素１０１は、正領域極小値を示す画素と一致する。このためステップＳ１７において、領域最小値（正領域極小値）を示す画素１０１と、負領域極小値を示す画素１０２とを比較し、格差が一定範囲内に収まるか判定する。当該格差が一定範囲を越える場合に、ステップＳ１８の操作を進めると却って画質の低下等の不都合を生じるため、ステップＳ１６へ移行して、通常のブロックマッチング法と同様に動きベクトルを求める。また格差が一定範囲内に収まる場合には、ステップＳ１８へ移行する。本例では、Ｖｘ＿ｌが０より小さいため、領域最小値を示す画素１０１の座標を、負領域極小値を示す画素の座標１０２へ置き換える。すなわち、ステップＳ１９において、最終的に求められる動きベクトルは、この負領域極小値を示す画素１０２と、原点の画素３５により特定することができるベクトルとなる。
【００５８】
すなわち、本発明に係る動きベクトル検出装置１は、正領域極小値或いは負領域極小値を有する画素の中から、左隣の画素３４の水平成分の極性に適合する画素を選択し、当該選択した画素と原点の画素との間で動きベクトルを特定する。
これにより、差分絶対値和の極小点が複数生じるような、左右対称な"ｕ"や"Ｈ"の文字等についても、動きベクトルの水平成分を揃えることにより、画質の劣化を抑えることができ、動き補正の画質を向上させることができる。
【００５９】
なお、本発明は上述した実施の形態に限定されるものではない。左隣の画素３４の動きベクトルのみならず、原点の画素の右隣や上下に位置する画素、或いは斜めに位置する画素の動きベクトルに適合するようにしても良い。また原点の画素の周囲に位置する画素のみならず、数画素分離れた位置の動きベクトルの情報を取得し、当該取得した動きベクトルに適合するようにしても良い。
【００６０】
また、本発明は上述した実施の形態に限定されるものではない。隣接する画素３４における動きベクトルのみならず、原点の画素３５を中心とする基準ブロック５１に隣接するブロックの動きベクトルに揃えても良い。
【００６１】
また、本発明は、例えばＰＡＬ(Phase Alternation by Line)方式において、フィールド周波数を５０Ｈｚから２倍の１００Ｈｚの画像信号に変換する、フィールド周波数倍速方式を採用するテレビジョン受像機に対しても適用可能である。このフィールド周波数倍速方式を採用するテレビジョンに本発明を内蔵することにより、更なる面フリッカ妨害の抑制を期しつつ、動きベクトルのばらつきを解消することができるため、相乗的に画質を向上させることができる。
【００６２】
本発明は上述したインタレース走査方式における入力画像信号の内挿処理（フィールド周波数変換や走査線変換の動き補正）に適用される場合に限らず、例えば、ＭＰＥＧ（Moving Picture Expert Group）方式の動き補償予測によるフレーム間符号化にも適用可能である。
【００６３】
【発明の効果】
以上詳細に説明したように、本発明に係る動きベクトル検出装置及び方法は、基準ブロックと探索ブロックとの間で演算した差分絶対値和の分布の傾向、及び探索範囲内において差分絶対値和が最小となる画素の基準画素の左側に隣接する画素の動きベクトルに基づく相対的な位置を考慮し、基準画素を原点とした水平方向の正領域及び負領域毎に差分絶対値和の最小値を示す画素に応じて動きベクトルを特定する。
【００６４】
これにより、左右対称な文字をシフトさせる場合において、動きベクトルの水平成分を揃えることでばらつきを軽減でき、ひいては画質の劣化を抑えることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した動きベクトル検出装置の構成例を示した図である。
【図２】動きベクトルによる動き補正動作について説明するための図である。
【図３】”ｕ”の文字を右から左へ水平方向にシフトさせる場合における差分絶対値和について示した図である。
【図４】求める動きベクトルの方向を、左隣の画素の動きベクトルに合わせる場合について説明するための図である。
【図５】本発明を適用した動きベクトル検出装置における実際の検出手順を示したフローチャートである。
【図６】基準ブロック及び探索範囲について説明するための図である。
【図７】探索範囲を、基準ブロックの原点の画素を中心とした正領域と、負領域に分割する場合について示した図である。
【図８】領域最小値を示す画素の位置を、隣接する画素において求められた動きベクトルに基づき、相対的に判定する具体例を示した図である。
【図９】置き換え操作を説明するための図である。
【図１０】ブロックマッチング法の概念について説明するための図である。
【図１１】従来型のブロックマッチング法における基準ブロック及び探索範囲について説明するための図である。
【図１２】従来型のブロックマッチング法を適用する動きベクトル検出回路の構成例を示した図である。
【図１３】”ｕ”の文字を右から左へ水平方向にシフトさせる場合における差分絶対値和について示した図である。
【符号の説明】
１  動きベクトル検出装置、１１  画像格納用メモリ、１２  演算部、１３  判定部、１４  動きベクトル選択部、１５  動きベクトル格納用メモリ、１６  制御部、３０  基準フィールド、４０  参照フィールド、５１  基準ブロック、５３  探索ブロック、５４  探索範囲
【図１】
0004269573.tif 000006
【図２】
0004269573.tif 000007
【図３】
0004269573.tif 000008
【図４】
0004269573.tif 000009
【図５】
0004269573.tif 000010
【図６】
0004269573.tif 000011
【図７】
0004269573.tif 000012
【図８】
0004269573.tif 000013
【図９】
0004269573.tif 000014
【図１０】
0004269573.tif 000015
【図１１】
0004269573.tif 000016
【図１２】
0004269573.tif 000017
【図１３】
0004269573.tif 000018