(57)【特許請求の範囲】
【請求項１】
入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求めるブロック突合せ器と、
上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する動きベクトル推定器と、
上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する動きベクトル減数器と、
上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する動きベクトル選択器と
上記動きベクトル選択器によって選択された動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する補間器と
を有する動き補正ビデオ信号処理装置において、
上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生する制御手段
を備え、
上記動きベクトル減数器は、出力映像信号のフレームの少なくとも一部のブロックについて、上記ゼロ動きベクトルの代わりに上記映像動きベクトルを用いて上記４つの動きベクトルを導出する
ことを特徴とするビデオ信号処理装置。
【請求項２】
上記出力映像信号が上記画面の一部の領域に表示され、上記一部の領域以外の領域が空白領域であり、
上記動きベクトル減数器は、上記出力映像信号のフレームの各ブロックのうち、上記空白領域のブロックと、上記一部の領域内であるが上記空白領域との境界に近いブロックとについて、上記ゼロ動きベクトルの代わりに上記映像動きベクトルを用いて上記動きベクトルのグループを導出する
ことを特徴とする請求項１のビデオ信号処理装置。
【請求項３】
上記制御手段は、アスペクト比４：３の画面にアスペクト比１６：９の高解像度ビデオ信号をレターボックス表示する際の表示位置を画面の上下方向に移動させる命令に基づき、上記映像動きベクトルを発生する
ことを特徴とする請求項１のビデオ信号処理装置。
【請求項４】
上記制御手段は、アスペクト比４：３の画面にアスペクト比１６：９の高解像度ビデオ信号を端を切り取って表示する際に該高解像度ビデオ信号のうち該画面に表示される部分を左右方向に移動させる命令に基づき、上記映像動きベクトルを発生する
ことを特徴とする請求項１のビデオ信号処理装置。
【請求項５】
上記制御手段は、アスペクト比４：３の画面にアスペクト比１６：９の拡大した高解像度ビデオ信号の一部を表示する際に該高解像度ビデオ信号のうち該画面に表示される部分を平行移動させる命令に基づき、上記映像動きベクトルを発生する
ことを特徴とする請求項１のビデオ信号処理装置。
【請求項６】
入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求めるブロック突合せ器と、
上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する動きベクトル推定器と、
上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する動きベクトル減数器と、
上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する動きベクトル選択器と
上記動きベクトル選択器によって選択された動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する補間器と
を有する動き補正ビデオ信号処理装置において、
上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生する制御手段と、
上記動きベクトル減数器によって導出された上記４つの動きベクトルに上記映像動きベクトルを加算する加算手段と
を備え、
上記ブロック突合せ器は、上記映像動きベクトルによって表される上記２つのフレームの間での映像全体の移動を除去するように、上記２つのフレームの相対的時間関係をずらす遅延手段を含む
ことを特徴とするビデオ信号処理装置。
【請求項７】
上記ブロック突合せ器の上記遅延手段は、上記２つのフレームのうち時間的に早いフレームを上記移動方向に上記移動量の半分だけずらし、上記２つのフレームのうちの時間的に遅いフレームを上記移動方向とは反対方向に上記移動量の半分だけずらす
ことを特徴とする請求項６のビデオ信号処理装置。
【請求項８】
上記ブロック突合せ器の上記遅延手段は、上記２つのフレームのうち時間的に早いフレームを上記移動方向にＸ／Ａ（ただし、Ａは上記移動量であり、Ｘは０〜Ａの範囲内にある。）だけずらし、上記２つのフレームのうちの時間的に遅いフレームを上記移動方向とは反対方向に（Ａ−Ｘ）／Ａだけずらす
ことを特徴とする請求項６のビデオ信号処理装置。
【請求項９】
高解像度ビデオ信号を通常解像度ビデオ信号に変換するダウンコンバータと、
上記ダウンコンバータによって変換された通常解像度ビデオ信号が上記入力映像信号として供給される請求項１のビデオ信号処理装置と
を備えたことを特徴とする動き補正テレビジョン方式変換装置。
【請求項１０】
高解像度ビデオ信号を通常解像度ビデオ信号に変換するダウンコンバータと、
上記ダウンコンバータによって変換された通常解像度ビデオ信号が上記入力映像信号として供給される請求項６のビデオ信号処理装置と
を備えたことを特徴とする動き補正テレビジョン方式変換装置。
【請求項１１】
入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求める第１のステップと、
上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する第２のステップと、
上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する第３のステップと、
上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する第４のステップと
上記第４のステップで選択した動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する第５のステップと
を有する動き補正ビデオ信号処理方法において、
上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生するステップ
を有し、
上記第３のステップで、出力映像信号のフレームの少なくとも一部のブロックについて、上記ゼロ動きベクトルの代わりに上記映像動きベクトルを用いて上記４つの動きベクトルを導出する
ことを特徴とするビデオ信号処理方法。
【請求項１２】
入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求める第１のステップと、
上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する第２のステップと、
上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する第３のステップと、
上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する第４のステップと
上記第４のステップで選択した動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する第５のステップと
を有する動き補正ビデオ信号処理方法において、
上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生するステップと、
上記第３のステップで導出した上記４つの動きベクトルに上記映像動きベクトルを加算するステップと
を有し、
上記第１のステップで、上記映像動きベクトルによって表される上記２つのフレームの間での映像全体の移動を除去するように、上記２つのフレームの相対的時間関係をずらす
ことを特徴とするビデオ信号処理方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、動き補正ビデオ信号処理方式（装置及び方法）に関するものである。
【０００２】
【従来の技術】
動き補正ビデオ信号処理は、テレビジョン（標準）方式変換、フィルム方式変換及びビデオ・フィルム間方式変換などの装置に使用されている。
動き補正ビデオ信号処理は、入力映像の各対に関する動きベクトルを発生し処理するに要する極めて多数の計算を行うために、強力で複雑な装置を必要とする。これは、映像が高精細度フォーマットであったり、入力ビデオ信号を処理して実時間で出力ビデオ信号を発生しようとしたりする場合、特にそうである。その場合、同一装置の多くのセット（組）を並列に動作させて、各出力映像に対する動きベクトルの組を使用可能時間内（例えば、出力フィールド期間）に発生させることになる。
【０００３】
英国公開特許出願ＧＢ−Ａ−２，２３１，７４９に記載の如き動き補正テレビジョン方式変換装置では、連続する入力映像の対を処理して該入力映像対内の動きを表す動きベクトルの組を発生している。該処理は映像の別々のブロックについて行い、各動きベクトルが各ブロックの内容の映像間の動きを表すようにしている。
【０００４】
動きベクトルの各組をそれから動きベクトル減数器に供給し、各ブロックに対する動きベクトルの組のサブセット（動きベクトルの組の中の一部の動きベクトル）を導出する。該サブセットをそれから動きベクトル選択器に送り該サブセット中の１つの動きベクトルを動き補正補間器に供給し、該補間器は、入力映像のプログレッシブ（連続又は順次）走査変換されたものに対し、入力映像間の動きを考慮に入れて連続する出力映像を補間する。
【０００５】
前記ＧＢ−Ａ−２，２３１，７４９に記載の如き動き補正ビデオ信号処理方式では、映像間動き補正は可能である。しかし、それは、出力映像を表示する画面に対する入力映像全体の位置（マッピング）が一定であることを前提としている（図６参照）。
【０００６】
【発明が解決しようとする課題】
本発明の課題は、入力映像信号の連続する２つのフレームを処理して出力映像のフレームを発生するビデオ信号処理方式において、入力映像信号の連続する２つのフレーム間の映像の内容の動きを補正する動き補正器を有すると共に、出力映像を表示する画面に対する入力映像全体の位置の変化から生じる動き（図７参照）を補正する手段をも具えた動き補正ビデオ信号処理方式を得ることである。
【０００７】
【課題を解決するための手段及び作用】
本発明は、入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求めるブロック突合せ器と、上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する動きベクトル推定器と、上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する動きベクトル減数器と、上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する動きベクトル選択器と、上記動きベクトル選択器によって選択された動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する補間器とを有する動き補正ビデオ信号処理装置において、上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生する制御手段を備え、上記動きベクトル減数器は、出力映像信号のフレームの少なくとも一部のブロックについて、上記ゼロ動きベクトルの代わりに上記映像動きベクトルを用いて上記４つの動きベクトルを導出するようにしたビデオ信号処理装置を提供する。
【０００８】
本発明はまた、入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求めるブロック突合せ器と、上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する動きベクトル推定器と、上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する動きベクトル減数器と、上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する動きベクトル選択器と、上記動きベクトル選択器によって選択された動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する補間器とを有する動き補正ビデオ信号処理装置において、上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生する制御手段と、上記動きベクトル減数器によって導出された上記４つの動きベクトルに上記映像動きベクトルを加算する加算手段とを備え、上記ブロック突合せ器は、上記映像動きベクトルによって表される上記２つのフレームの間での映像全体の移動を除去するように、上記２つのフレームの相対的時間関係をずらす遅延手段を含むようにしたビデオ信号処理装置を提供する。
【０００９】
本発明はまた、高解像度ビデオ信号を通常解像度ビデオ信号に変換するダウンコンバータと、上記ダウンコンバータによって変換された通常解像度ビデオ信号が上記入力映像信号として供給される上述のビデオ信号処理装置とを備えた動き補正テレビジョン方式変換装置を提供する。
【００１０】
本発明はまた、入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求める第１のステップと、上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する第２のステップと、上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する第３のステップと、上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する第４のステップと、上記第４のステップで選択した動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する第５のステップとを有する動き補正ビデオ信号処理方法において、上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生するステップを有し、上記第３のステップで、出力映像信号のフレームの少なくとも一部のブロックについて、上記ゼロ動きベクトルの代わりに上記映像動きベクトルを用いて上記４つの動きベクトルを導出するようにしたビデオ信号処理方法を提供する。
【００１１】
本発明はまた、入力映像信号の連続する２つのフレームのうち時間的に早いフレームのサーチブロックと、該２つのフレームのうち時間的に遅いフレームのサーチ領域との空間的相関を表す相関面を求める第１のステップと、上記相関面における最大相関点を検出し、該最大相関点から動きベクトルを発生する第２のステップと、上記２つのフレームのうち時間的に早いフレームのサーチブロックの位置に対応する位置をそれぞれ有する出力映像信号のフレームの各ブロックに対応させて、上記動きベクトル推定器が発生した動きベクトルから、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックから発生された動きベクトルと、出力映像信号のフレームの当該ブロックの位置に対応する位置にあるサーチブロックの周囲のサーチブロックから発生された動きベクトルと、サーチブロックの位置とは関係なく最も共通する動きベクトルとの３つの動きベクトルを選択し、該３つの動きベクトルとゼロ動きベクトルとから成る４つの動きベクトルを導出する第３のステップと、上記４つの動きベクトル中の各動きベクトルによって指し示される上記２つのフレームのブロック間の相関度を検出し、最高相関度をもつ１つの動きベクトルを選択する第４のステップと、上記第４のステップで選択した動きベクトルを用いて上記２つのフレームを補間して、出力映像信号のフレームを発生する第５のステップとを有する動き補正ビデオ信号処理方法において、上記出力映像信号を表示する画面に対する、上記２つのフレームの間での映像全体の移動量及び移動方向を表す映像動きベクトルを発生するステップと、上記第３のステップで導出した上記４つの動きベクトルに上記映像動きベクトルを加算するステップとを有し、上記第１のステップで、上記映像動きベクトルによって表される上記２つのフレームの間での映像全体の移動を除去するように、上記２つのフレームの相対的時間関係をずらすようにしたビデオ信号処理方法を提供する。
【００１２】
本発明によれば、入力映像信号の連続する２つのフレーム間の映像の内容の動きを補正するのみならず、出力映像を表示する画面に対する入力映像全体の位置の変化から生じる動きを補正することができる。これにより、出力映像を表示する画面に対する入力映像全体の位置が変化したとき、出力映像を表示する画面内の映像の表示領域のエッジに生じるかも知れない人工雑音（artifact）の発生を防ぐことができる。
ット）。
【００１３】
【実施例】
以下、図面により本発明を具体的に説明する。
図１は、本発明を用いうる動き補正テレビジョン方式変換装置の概略を示すブロック図である。本装置は、入力飛越しデジタルビデオ信号２４（例えば、１１２５／６０、２：１高精細度ビデオ信号（ＨＤＶＳ））を受信し、出力飛越しデジタルビデオ信号２８（例えば、６２５／５０、２：１信号）を発生するものである。
【００１４】
入力ビデオ信号２４はまず、プログレッシブ走査変換を行う空間ダウンコンバータ２０に供給され、動きに適応した補間方策に従って入力ビデオ信号がプログレッシブ・フォーマットに変換される（即ち、２：１飛越しが除かれる。）。その際、静止画像領域ではフレーム間補間が用いられ、該画像内の動く素材についてはフィールド間補間が用いられる。この１１２５ライン、６０Ｈｚ、１：１プログレッシブ・フォーマットは、それから６２５ライン、５０Ｈｚ、１：１フォーマットに変換され、パス（信号路）２６を介して動き補正フレームレート変換器２２に出力され、動きを補正した６２５ライン、５０Ｈｚ、２：１フォーマットへのフレームレート変換が行われ、６２５ライン、５０Ｈｚ、２：１フォーマット・ビデオ信号が２８に出力される。
【００１５】
制御システム１２、例えば適正にプログラムされたパーソナル・コンピュータは、パス１４に与えられるオペレータの命令や命令リストに応答して、タイミングその他の制御情報を空間ダウンコンバータ２０及び動き補正フレームレート変換器２２に夫々パス１６，１８を介して供給する。
【００１６】
図２は、本発明による図１の動き補正フレームレート変換器２２の第１の例を示すブロック図である。
【００１７】
空間ダウンコンバータ２０からのデータは、２６から時間軸変換器３０に入力される。時間軸変換器３０は、出力ビデオ信号の各プログレッシブ走査フレームの時間位置を決め、当該出力プログレッシブ走査フレームの補間に用いるために、当該出力プログレッシブ走査フレームと時間的に最も近い入力ビデオ信号の２つのプログレッシブ走査フレームを選択する。出力ビデオ信号の各プログレッシブ走査フレームに対し、時間軸変換器３０で選択された２つの入力プログレッシブ走査フレームは、パス５０を介してシステム遅延器３２に送られ、適切な時間だけ遅らされてからパス５４を介して補間器３４に供給され、そこで、当該出力プログレッシブ走査フレームが補間される。各出力プログレッシブ走査フレームの２つの選択された入力プログレッシブ走査フレームに対する時間位置を示す制御信号が、時間軸変換器３０からパス４８を介してシステム遅延器３２へ、そしてパス５２を介して補間器３４へ供給される。
【００１８】
時間軸変換器３０は、入力ビデオ信号、出力ビデオ信号又はその両方に関する同期信号に従って動作する。ただ１つの同期信号しか供給されない場合、２つのビデオ信号の他方のプログレッシブ走査フレームのタイミングは、時間軸変換器３０内で決定論的に発生される。
【００１９】
時間軸変換器３０によりパス５０を介してシステム遅延器３２に送るように選択された２つの入力プログレッシブ走査フレームはまた、パス５６を介して動きベクトル処理器３６に送られ、動き補正ベクトルの発生に用いられる。
【００２０】
動きベクトル処理器３６は、ブロック突合せ器３８，動きベクトル推定器４０，動きベクトル減数器４２，動きベクトル選択器４４及び動きベクトルあと処理パス４６を含む。２つの入力プログレッシブ走査フレームはまず、ブロック突合せ器３８に供給され、該２つのうち時間的に早い方の入力プログレッシブ走査フレームのサーチブロックと、該２つのうち時間的に遅い方の入力プログレッシブ走査フレームの（サーチブロックよりも大きい）サーチ区域との間の空間的相関を表す相関面が計算される。
【００２１】
ブロック突合せ器３８が出力する相関面は、動きベクトル推定器４０に送られる。動きベクトル推定器４０は、相関面における最大相関点を検出する。（相関面は、実際には２つの入力プログレッシブ走査フレームのブロック間の差を表すので、最大相関点は実際には相関面上の最小点になる。これを「最小点」と呼ぶことにする。）動きベクトル推定器４０は、各相関面上の検出された最小点から動きベクトルを発生し、これを動きベクトル減数器４２に供給する。
【００２２】
動きベクトル推定器４０はまた、発生した各動きベクトルについて確認テストを行い、当該動きベクトルが平均データレベルより相当に上方にあるかどうかを確かめ、該テストの結果を示す確認フラグを各動きベクトルに付けるように構成することができる。「閾」テストとして知られる確認テストの一例が（図１の装置の他の特徴と一緒に）上記ＧＢ−Ａ−２，２３１，７４９に記載されている。
【００２３】
動きベクトル減数器４２は、出力プログレッシブ走査フレームの各ピクセルに対して考えられる動きベクトルの選択幅を減らす動作をし、それから動きベクトルは動きベクトル選択器４４に送られる。出力プログレッシブ走査フレームは、概念的に、複数のピクセルを１ブロックとして、複数のブロックに分割される。各ブロックは、出力プログレッシブ走査フレームの中で、選択された２つの入力プログレッシブ走査フレームのうち時間的に早い方のものの中のサーチブロックの位置に対応する位置をもつ。動きベクトル減数器４２は、出力プログレッシブ走査フレームの各ブロックに対応させる４個１組の動きベクトルのグループをまとめる。当該ブロックにおける各ピクセルは最後に、当該グループから選択された１つの動きベクトルを用いて補間される。
【００２４】
動きベクトル減数器４２は、その機能の一部として、「良い」動きベクトル（即ち、確認テスト及び偽（にせ）テストをパスするか、或いは偽でないとして再適格化された動きベクトル）の発生頻度をカウントする。その際、それら動きベクトルを得るのに用いた入力プログレッシブ走査フレームのブロックの位置は考慮しない。良い動きベクトルはそれから、頻度が減少する順に格付けされる。互いに相当異なる良い動きベクトルのうち最も共通するものを次に、「広域」動きベクトルとして分類する。確認テストをパスした３つの動きベクトルを出力プログレッシブ走査フレームの各ブロックに対して選択する。これらの３つの動きベクトルとゼロ動きベクトルとが、共に前述の動きベクトルのグループとして動きベクトル選択器４４に供給されて、更に処理される。
【００２５】
これら３つの動きベクトルは、次のものから所定の優先順序で選択する。
（ｉ）出力プログレッシブ走査フレームの当該ブロックの位置に対応する位置にある入力プログレッシブ走査フレームのサーチブロックから発生された動きベクトル（「局部」動きベクトル）、
（ii）上記（ｉ）のサーチブロックの周囲のサーチブロックから発生されたもの（「近隣」動きベクトル）、
(iii) 広域動きベクトル。
【００２６】
ゼロ動きベクトル、即ち静止動きベクトルは通常、動きベクトル選択器４４が動きを表す動きベクトルの静止ピクセルへの適用を余儀なくされないよう供給される。
【００２７】
動きベクトル選択器４４はまた、時間軸変換器３０により選択され動きベクトルの計算に使用された２つの入力プログレッシブ走査フレームを入力として受ける。これらの入力プログレッシブ走査フレームは、システム遅延器３２で適正に遅延されることにより、それらから導出された動きベクトルと同時に、パス６０を介して動きベクトル選択器４４に供給される。各出力プログレッシブ走査フレームの、２つの選択された入力プログレッシブ走査フレームに対する時間位置を示す制御信号も、パス６２を介して一緒に供給される。動きベクトル選択器４４は、出力プログレッシブ走査フレームの１ピクセル当たり１つの動きベクトルを含む出力を供給する。この動きベクトルは、動きベクトル減数器４２より供給される当該ブロックに対する前述の動きベクトルのグループ（４つの動きベクトル）から選択される。
【００２８】
ベクトル選択処理は、被テスト（テストされている）動きベクトルによって指し示された、２つの入力プログレッシブ走査フレームのテストブロック間の相関度を検出することを含む。テストブロック間で最大相関度をもつ動きベクトルが、出力ピクセルの補間に使用するために選択される。
【００２９】
該動きベクトルは、パス４６を介してベクトル選択器４４から補間器３４に送られる。補間器３４は、該動きベクトルを用いて、時間軸変換器３０により選択された対応する２つの入力プログレッシブ走査フレームから出力フィールドを補間する。その際、現在補間器３４に供給されている動きベクトルによって示されるどんな映像の動きも考慮される。
【００３０】
補間器３４に供給された２つの入力プログレッシブ走査フレームからのピクセルは、出力プログレッシブ走査フレームの２つの入力プログレッシブ走査フレームに対する時間位置に応じて（制御信号ｔで示す如く）相対的な比率で組合わされ、より近い入力プログレッシブ走査フレームがより大きな比率で使用される。補間器３４の出力２８は、飛越し６２５ライン、５０Ｈｚ、２：１フォーマット・ビデオ信号の形である。
【００３１】
本発明に用いるのに適するベクトル推定、減数及び選択処理についてのこれ以上の説明は英国公開特許出願ＧＢ−Ａ−２２４８３６１に記載されている。
【００３２】
上述又は例えばＧＢ−Ａ−２２４８３６１に記載の装置は、入力映像内の動きに基いて映像間動き補正を行っている。それは、出力映像を表示する画面に対する入力映像全体の位置（マッピング）が一定である、と仮定するものである。
【００３３】
図６は、アスペクト比１６：９の高精細度テレビジョン映像の、アスペクト比４：３の通常精細度テレビジョン受像機の画面への種々のマッピング（配置）を示す。図６のＡ，Ｂ及びＣにおいて、矢印の左側にアスペクト比１６：９の高精細度映像７０を示す。
【００３４】
図６のＡの矢印の右側に、通常精細度テレビジョン受像機の４：３画面７４（実線）に対する、縮小した高精細度映像７２（点線）の配置を示す。高精細度映像７２が画面７４内にレターボックス表示される。普通、映像７２の表示領域よりも上下の領域は空白である。ただし、それを例えばサブタイトル表示に利用できる。
【００３５】
図６のＢの矢印の右に、通常精細度テレビジョン受像機の４：３画面７８（実線）に対する、高精細度映像７６（点線）の配置を示す。高精細度映像７６が、端（はし）を切取って画面７４内に表示される。
図６のＣの矢印の右に、通常精細度テレビジョン受像機の４：３画面８２（実線）に対する、拡大した高精細度映像８０（点線）の配置を示す。
【００３６】
一般に、上記の配置方法のうちの１つを使用することになる。スクイーズされた又は伸ばされた画像表示をするような他の配置方法を使用することも可能であろう。しかし、普通の成行きでは、使用する配置方法は一定である。
ただし、情勢によっては、同じ配置方法を使用しつつ、出力映像を表示する画面に対する入力映像自体の配置を動かすことが望まれるときもある。
【００３７】
図７は、出力映像を表示する画面に対する入力映像全体の位置の様々な動きを表すものである。図７のＡの左右両側に、図６Ａのように４：３画面７４内にレターボックス表示される縮小高精細度映像７２全体を、高精細度映像７３のように上方に動かした例を示す。
【００３８】
図７のＢの左右両側に、図６Ｂのように４：３画面７８内に端（はし）を切取って表示される高精細度映像７６全体を、高精細度映像７７のように右側に動かした例を示す。このタイプの機能をパン及びスキャンと呼ぶ。
【００３９】
図７のＣの左右両側に、図６Ｃのように４：３画面８２内に一部が表示される拡大高精細度映像８０全体を、高精細度映像８１のように画面の対角線に沿って左下方に動かした例を示す。
【００４０】
これらは、単に考えられる高精細度映像全体の位置の移動の例にすぎないものである。これらの動きは急激に行ってもよいが、連続移動として滑らかに行えれば、その方がよい。しかし後者の場合、上述の装置ではエッジ効果によって人工雑音が発生する。
【００４１】
レターボックス表示される縮小高精細度映像全体の位置を動かす例（図７のＡ）においては、高精細度映像７２，７３の表示領域の上下のエッジまたはその近くのピクセル情報と、この表示領域よりも上下にある領域即ち空白領域からの空（から）のピクセル情報とに基く補間器の補間から、人工雑音（例えばジャダー）が生じるのであろう。端を切取って表示される高精細度映像全体の位置を動かす例（図７のＢ）では、雑音が入るであろう画面左右両側のエッジにおいて高精細度映像７６と高精細度映像７７とで異なるピクセル情報を使用することから、人工雑音が生じると考えられる。拡大した高精細度映像全体の位置を動かす例（図７のＣ）では、同様に雑音を起こすであろう画面の全エッジにおいて高精細度映像８０と高精細度映像８１とで異なるピクセル情報を使用することから、人工雑音が生じると考えられる。
【００４２】
４：３画面に対する高精細度映像全体の位置の動きの制御は、制御システム１２へ１４から入力されるユーザ命令又は命令リストにより、例えばデジタルビデオ効果マシンにおいて従来公知のように行われる（図１）。好適な具体例では、制御システム１２は、デジタルビデオ効果マシンにおいて知られ、且つ、一般的なユーザ入力装置によって映像処理制御用の命令を入力できるタイプのユーザインタフェースを用いてプログラムされたパーソナルコンピュータである。
【００４３】
即ち、パーソナルコンピュータ１２は、ユーザの命令に応答して、４：３画面に対する第１の位置から第２の位置への高精細度映像全体の滑らかな動き（例えば、図７のＡにおける７２から７３へ、又は図７Ｂにおける７６から７７へ、又は図７Ｃにおける８０から８１へ）を決定するようにプログラムされる。４：３画面に対する高精細度映像全体の位置を所望の位置に変化させるように指定するには、１つ以上の選択肢がある。例えば、４：３画面に対する高精細度映像全体の位置の最終目的位置を指定したり、その最終目的位置に移動するまでの時間を指定したりすることができる。或いは、標準的な速度で移動するようにしてもよく、又は移動の速度を指定することもできる。更に代替策として、移動の実時間制御をトラッキング装置（例えば、マウス）によって行うこともできる。
【００４４】
制御システム１２は、入力される命令から、時間的に連続する２つの入力プログレッシブ走査フレームの間での、４：３画面に対する映像全体の動きの量及び方向を表す映像動きベクトルを計算するよう構成される。映像動きベクトルは、夫々図７のＡ，Ｂ及びＣにおいてＶ（ａ），Ｖ（ｂ）及びＶ（ｃ）で表される。
【００４５】
図２に示した動き補正フレームレート変換器の第１の例では、上述の映像動きベクトルＶ（ａ）〜Ｖ（ｃ）は、デフォルト（初期設定）ベクトルとしてベクトル減数器４２（動きベクトル処理器３６の一部をなす。）に、図１の制御システム１２から動き補正フレームレート変換器２２への制御パス１８の一部をなすパス６６を介して供給される。このデフォルトベクトルはそれから、静止映像に使用する上述したゼロ動きベクトルの代わりにベクトル減数器４２が選択的に使用することができる。
【００４６】
パス６６のデフォルトベクトルは、出力プログレッシブ走査フレームの全てのブロックに対するゼロ動きベクトルの代わりとして使用できる。しかし、図７のようにレターボックス表示を行う場合には、代替策として、ベクトル減数器に制御システム１２からのパス６６を介して別の制御信号を供給し、それにより、高精細度映像の表示領域よりも上下の空白領域にあるブロックと、高精細度映像の表示領域内であるが空白領域との境界に近いブロックとに対する１つのゼロ動きベクトルの代わりにデフォルトベクトルを用いてもよい。
【００４７】
上記第１具体例では、ゼロ動きベクトルを動きを表すデフォルトベクトルで置換える結果、連続する２つの入力プログレッシブ走査フレームの間での映像の内容（図７の例では人物）の動きを表す動き補正ベクトルとして使用可能なベクトルの範囲を減らしてしまうことがある。代表的な使用可能範囲は、水平方向に±２４ピクセル、垂直方向に±１６ピクセルであるが、これは、ブロック突合せ器３８及び動きベクトル推定器４０のハードウェアにより処理できるビット数によって決まる。使用可能なビット数の一部がデフォルトベクトルによって確保される（確保されるビット数は、４：３画面に対する２つの入力プログレッシブ走査フレーム間での映像全体の動きの最大速度によって決まる）場合、２つの入力プログレッシブ走査フレーム間での映像の内容の動きの測定可能な最大速度が減少する。
【００４８】
図３は、映像の内容の動きを表す動き補正ベクトルとして使用可能なベクトル範囲を減らさない、本発明による動き補正フレームレート変換器の第２の例を示すブロック図である。この例では、４：３画面に対する２つの入力プログレッシブ走査フレーム間での映像全体の動きは、ベクトル推定処理の前に除去される。こうすると、使用可能なビット数の全範囲をベクトル推定器４０において映像の内容の動きの測定のために用いることができ、この範囲のどれも４：３画面に対する映像全体の動きの測定のために使用する必要がなくなる。
【００４９】
この例では、ブロック突合せ器３８′において動きベクトル推定のために使用される２つの入力プログレッシブ走査フレームは、それらに課せられた映像全体の動きの量に応じて、それらを再編成するためにオフセット（ずら）される。よって、例えば、課せられた動きが定速で４ピクセル上方（図７のＡ参照）であれば、この２つのフレームのうち、時間的に早いフレームは２ピクセルだけ上方にずらされ、時間的に遅いフレームは２ピクセルだけ下方にずらされる。
【００５０】
こうすると、入力プログレッシブ走査フレームに対し課せられた映像全体の動きを実効的に除くことになる。この例では、課せられた「広域」動きベクトルが、連続する２つの入力プログレッシブ走査フレーム間での４：３画面に対する映像全体の位置の前動き補正（pre-motion compensate)に効果的に使用される。
【００５１】
即ち、この例では、オフセット・ベクトルで表される４：３画面に対する映像全体の動き（例えば、パン及びスキャン）が、ベクトル推定器４０に供給される相関面のデータから除かれる。しかし、この映像全体の動きは、ベクトル選択器４４及び補間器３４に供給される入力プログレッシブ走査フレームには依然として課せられる。したがって、オフセット・ベクトルは、ベクトル推定器４０及びベクトル減数器４２により発生されるベクトルに加算されねばならない。
【００５２】
具体的にいえば、制御システム１２内で計算される、４：３画面に対する２つの入力プログレッシブ走査フレーム間での映像全体の動きの量及び方向を表す上述の映像動きベクトルは、パス６８を介して、ブロック突合せ器３８′にオフセット・ベクトルとして供給される。パス６８は、制御システム１２から動き補正フレームレート変換器２２への制御パス１８（図１）の一部をなしている。
【００５３】
図４は、図３の例におけるブロック突合せ器３８′を示すブロック図である。ブロック突合せ器３８′は、通常のブロック突合せ器３８（図２の例における）の外に、パス５６上の選択された２つの入力プログレッシブ走査フレームの夫々一方に対応する２つのプログラマブル遅延回路３７，３９を有する。プログラマブル遅延回路３７，３９によって与えられる遅延は、パス６８に供給されるオフセット・ベクトルに応答してブロック突合せ制御器３５により制御される。２つの入力プログレッシブ走査フレームは、夫々プログラマブル遅延回路３７，３９によって遅延されることによって再編成された後、通常処理のためにブロック突合せ器３８に送られる。
【００５４】
ブロック突合せ制御器３５は、例えば、単に時間的に早い方の入力プログレッシブ走査フレームをオフセット・ベクトル値の半分だけ相対的に進め、時間的に遅い方の入力プログレッシブ走査フレームをオフセット・ベクトル値の半分だけ遅らせるように構成する。
【００５５】
或いは、例えば、４：３画面に対する高精細度映像全体の動きが加速又は減速状態である場合に動き補正を適合させるため、２つの入力プログレッシブ走査フレームの相対的時間関係を互いに異なる量だけ調整してもよい。例えば、オフセット・ベクトルの大きさがＡの場合、時間的に早い方の入力プログレッシブ走査フレームをオフセット・ベクトルの方向に該ベクトルの一部分（Ｘ／Ａ）だけずらし、時間的に遅い方の入力プログレッシブ走査フレームを該オフセット・ベクトルの残部（（Ａ−Ｘ）／Ａ）だけ反対方向にずらす。正確なアスペクト比を用いる必要はない。代わりに、粗調整を行ってもよい（例えば、幾つかの別個の代替的オフセット）。
【００５６】
したがって、定速の場合、Ｘは大抵Ａ／２に等しい。ただし、動きが一定でない場合、それに応じてＸを適合させてもよい。
【００５７】
上述のように、ベクトル推定器４０及びベクトル減数器４２により作成したベクトルにオフセット・ベクトルを加算する必要がある。これは、ベクトル減数器４２の出力に接続されたベクトル加算器４３によって行うのがよい。ただし、図３に示す値「ａ」，「ｂ」及び「ｃ」は、好適な例では次のとおりである。
ａ＝Ｖxy（Ｖxyは、出力プログレッシブ走査フレームの各ブロックに対応させる４個１組の動きベクトルのグループである。）、
ｃ＝Ｖ0 （Ｖ0 は、パス６８上のオフセット・ベクトルである。）、
ｂ＝Ｖxy＋Ｖ0 。
【００５８】
図５は、本発明に用いる動き補正フレームレート変換器の第３の例を示すブロック図である。本例は、図２及び３の例を実効的に組合せたもので、４：３画面に対する高精細度映像全体の動きを、ゼロ動きベクトルをデフォルトベクトルで置換えることにより、ブロック突合せのために２つの入力プログレッシブ走査フレームの相対的時間関係をずらすことにより、或いはこれら２技法を組合せることにより、補正することができる。
【００５９】
これまで、入力映像信号の連続する２つのフレームを処理して出力映像のフレームを発生するに際し、入力映像信号の連続する２つのフレーム間の映像の内容の動きと、出力映像を表示する画面に対する入力映像全体の位置の変化より生じる動きとを補正するビデオ信号処理装置及び方法を述べてきた。この目的に、この２つのフレーム間の映像の内容の動きを表す動きベクトルを、出力映像を表示する画面に対するこの２つのフレーム間での映像全体の動きを表すデフォルトベクトルと一緒に使用できる。代わりに、又はこれに加えて、この２つのフレーム間での映像全体の動きを除去するように、一方のフレームを第１方向にずらし、他方のフレームを反対方向にずらした後、この２つのフレーム間の映像の内容の動きを表す動きベクトルを決めるブロック突合せを行うようにしてもよい。
【００６０】
本発明を特にテレビジョン方式変換器に関して説明し、通常精細度テレビジョン受像機の４：３画面に対する、レターボックス表示される縮小高精細度映像全体の動き、端を切取って表示される高精細度映像全体の動き（パン及びスキャン）、一部が表示される拡大高精細度映像全体の平行移動についての動き補正の例を図示した。
【００６１】
本発明は、上述の特定な例に限らず、特許請求の範囲内において種々の変形、変更が可能なものであり、フィルム方式変換、フィルム・テレビジョン方式変換その他のビデオ映像処理にも適用できるものである。また、本発明を高精細度から低精細度映像への方式変換に関して説明したが、本発明は、これに限らず、映像間で種々のマッピング（出力映像を表示する画面に対する入力映像全体の位置の配置）をする場合に適用可能なものである。
【００６２】
【発明の効果】
本発明によれば、入力映像信号の連続する２つのフレームを処理して出力映像のフレームを発生するビデオ信号処理において、入力映像信号の連続する２つのフレーム間の映像の内容の動きを補正すると共に、出力映像を表示する画面に対する入力映像全体の位置の変化によって生じる動きをも補正することができる。
【図面の簡単な説明】
【図１】  本発明を用いうる動き補正テレビジョン方式変換装置を示すブロック図である。
【図２】  本発明による図１の動き補正フレームレート変換器の第１の例を示すブロック図である。
【図３】  本発明による図１の動き補正フレームレート変換器の第２の例を示すブロック図である。
【図４】  図３のブロック突合せ器３８′の例を示すブロック図である。
【図５】  本発明による図１の動き補正フレームレート変換器の第３の例を示すブロック図である。
【図６】  図１の変換装置で行いうる変換動作の例を示す説明図である。
【図７】  本発明により補正しうる映像の動きの例を示す説明図である。
【符号の説明】
２２  動き補正フレームレート変換器（動き補正器）
３４  補間器
３６  動きベクトル処理器
３８，３８′  ブロック突合せ器
４０  動きベクトル推定器
４２  動きベクトル減数器
４４  動きベクトル選択器
４３  加算手段
【図１】
0003871360.tif 000002
【図２】
0003871360.tif 000003
【図３】
0003871360.tif 000004
【図４】
0003871360.tif 000005
【図５】
0003871360.tif 000006
【図６】
0003871360.tif 000007
【図７】
0003871360.tif 000008