(57)【要約】【課題】  本発明は、映像信号処理装置に関し、例えばビデオ信号のフォーマット変換等に適用して、画像歪みを軽減することができるようにする。【解決手段】  本発明は、検出された動きベクトルＭＶと、動きベクトルＭＶに基づいて生成した代替の動きベクトルＭＶＡ、ＭＶＢ、ＭＶＣとを比較して選択することにより、動きベクトルＭＶに誤検出が生じた場合には画像の動きを反映した代替の動きベクトルＭＶＡ、ＭＶＢ、ＭＶＣを用いる。【選択図】        図１
2005229169.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号の動きベクトルを検出し、前記動きベクトルにより前記ビデオ信号を処理して出力する映像信号処理装置において、
所定のブロック単位で前記ビデオ信号の動きベクトルを順次検出する動きベクトル検出手段と、
前記動きベクトルに基づいて前記動きベクトルに代わる少なくとも１つ以上の代替の動きベクトルを出力する代替動きベクトル生成手段と、
前記ビデオ信号を前記動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、
前記ビデオ信号を前記代替の動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、
前記主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、前記副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記動きベクトル又は前記代替の動きベクトルを選択出力する選択手段とを備え、
前記選択手段から出力される前記動きベクトル又は前記代替の動きベクトルにより前記ビデオ信号を処理することを特徴とする映像信号処理装置。
【請求項２】
前記代替動きベクトル生成手段は、
前記動きベクトル検出手段により検出された動きベクトルを平滑化する後置フィルタと、
前記動きベクトル検出手段により検出された動きベクトルを前記後置フィルタによる処理に比して広い範囲の周囲の一様な動きにより平均化する第１の平均化手段と、
前記動きベクトル検出手段により検出された動きベクトルを時間軸方向に平均化する第２の平均化手段とを備え、
前記比較手段は、前記動きベクトル検出手段により検出された動きベクトルによるフィールド間差分値又はフレーム間差分値と、前記後置フィルタにより平滑化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、前記第１の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、前記第２の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値とを比較し、
前記選択手段は、前記動きベクトル検出手段による動きベクトル、前記後置フィルタにより平滑化された動きベクトル、前記第１の平均化手段により平均化された動きベクトル、又は前記第２の平均化手段により平均化された動きベクトルのいずれかを選択出力する
ことを特徴とする請求項１に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置に関し、例えばビデオ信号のフォーマット変換等に適用することができる。本発明は、検出された動きベクトルと、動きベクトルに基づいて生成した代替の動きベクトルとを比較して選択することにより、動きベクトルに誤検出が生じた場合には画像の動きを反映した代替の動きベクトルを用いることで画像歪みの発生を軽減するようにする。
【背景技術】
【０００２】
従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いた内挿処理によりフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。
【０００３】
このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位のブロック（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
【０００４】
このような動きベクトルを用いた動き補正においては、動きベクトルの誤検出により画像の歪みが発生する問題があった。
【０００５】
例えば図６に示すように、文字Ａ、Ｂ、Ｃが描かれたフェンスを右から左方向へカメラパーンして撮像した場合（図６（Ａ））、撮像された画像にあっては全体が左から右方向に一様に移動することとなり、このような場合に全てのマクロブロックで一様な動きベクトルＭＶが検出されれば歪みのない画像を得ることができる。しかしながら、例えば文字部分のマクロブロックＭＢ１で動きベクトルの誤検出が発生すると（図６（Ｂ））、その部分では誤って動き補正することにより、画像歪みが発生する（図６（Ｃ））。
【０００６】
この問題点を解決するための一つの方法として、検出した動きベクトルを平滑化する方法も考えられる。しかしながら例えば図７に示すように、静止画の背景に対して小物体Ｋが所定の動き量ｖで移動したとすると（図７（Ａ））、背景では各マクロブロックで検出される動きベクトルＭＶが一様に値０になることにより（図７（Ｂ））、検出されるべき小物体Ｋについての動きベクトルＭＶは、周辺の値０の動きベクトルにより平滑化されることとなり、この場合小物体Ｋを正しく動き補正できなくなる（図７（Ｃ））。
【０００７】
またこのような平滑化の処理を画面全体で実行する場合にあっては、細かな多方向の動きに対しては正しく動き補正することが困難になり、これにより例えば回転している被写体、ズーム画像等を正しく動き補正できなくなる。
【特許文献１】特開昭５５−１６２６８３号公報
【特許文献２】特開昭５５−１６２６８４号公報
【特許文献３】特開昭６０−１５８７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は以上の点を考慮してなされたもので、動きベクトルが誤検出された場合であっても、従来に比して画像歪みの発生を軽減することができる映像信号処理装置を提案しようとするものである。
【課題を解決するための手段】
【０００９】
係る課題を解決するため請求項１の発明においては、ビデオ信号の動きベクトルを検出し、動きベクトルによりビデオ信号を処理して出力する映像信号処理装置に適用して、所定のブロック単位でビデオ信号の動きベクトルを順次検出する動きベクトル検出手段と、動きベクトルに基づいて動きベクトルに代わる少なくとも１つ以上の代替の動きベクトルを出力する代替動きベクトル生成手段と、ビデオ信号を動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、ビデオ信号を代替の動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、比較手段の比較結果に基づいて、動きベクトル又は代替の動きベクトルを選択出力する選択手段とを備え、選択手段から出力される動きベクトル又は代替の動きベクトルによりビデオ信号を処理するようにする。
【００１０】
また請求項２の発明においては、請求項１の構成において、代替動きベクトル生成手段は、動きベクトル検出手段により検出された動きベクトルを平滑化する後置フィルタと、動きベクトル検出手段により検出された動きベクトルを後置フィルタによる処理に比して広い範囲の周囲の一様な動きにより平均化する第１の平均化手段と、動きベクトル検出手段により検出された動きベクトルを時間軸方向に平均化する第２の平均化手段とを備え、比較手段は、動きベクトル検出手段により検出された動きベクトルによるフィールド間差分値又はフレーム間差分値と、後置フィルタにより平滑化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、第１の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、第２の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値とを比較し、選択手段は、動きベクトル検出手段による動きベクトル、後置フィルタにより平滑化された動きベクトル、第１の平均化手段により平均化された動きベクトル、又は第２の平均化手段により平均化された動きベクトルのいずれかを選択出力するようにする。
【００１１】
請求項１の構成によれば、ビデオ信号の動きベクトルを検出し、動きベクトルによりビデオ信号を処理して出力する映像信号処理装置に適用して、所定のブロック単位でビデオ信号の動きベクトルを順次検出する動きベクトル検出手段と、動きベクトルに基づいて動きベクトルに代わる少なくとも１つ以上の代替の動きベクトルを出力する代替動きベクトル生成手段と、ビデオ信号を動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、ビデオ信号を代替の動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、比較手段の比較結果に基づいて、動きベクトル又は代替の動きベクトルを選択出力する選択手段とを備え、選択手段から出力される動きベクトル又は代替の動きベクトルによりビデオ信号を処理するようにしたことにより、動きベクトルに誤検出が生じた場合には画像の動きを反映した代替の動きベクトルを用いて動き補正することができ、例えば値０の動きベクトルに置き換える場合に比して、画像歪みの発生を軽減することができる。
【００１２】
また請求項２の発明においては、請求項１の構成において、代替動きベクトル生成手段は、動きベクトル検出手段により検出された動きベクトルを平滑化する後置フィルタと、動きベクトル検出手段により検出された動きベクトルを後置フィルタによる処理に比して広い範囲の周囲の一様な動きにより平均化する第１の平均化手段と、動きベクトル検出手段により検出された動きベクトルを時間軸方向に平均化する第２の平均化手段とを備え、比較手段は、動きベクトル検出手段により検出された動きベクトルによるフィールド間差分値又はフレーム間差分値と、後置フィルタにより平滑化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、第１の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値と、第２の平均化手段により平均化された動きベクトルによるフィールド間差分値又はフレーム間差分値とを比較し、選択手段は、動きベクトル検出手段による動きベクトル、後置フィルタにより平滑化された動きベクトル、第１の平均化手段により平均化された動きベクトル、又は第２の平均化手段により平均化された動きベクトルのいずれかを選択出力することにより、想定される動きのパターンとして複数種類（小物体の動き、カメラパーンのような一様な動き、回転のような方向及び大きさが変化する動き等）の動きのパターンによりそれぞれのパターン毎に代替の動きベクトルを生成し、これら代替の動きベクトルの比較により最も確からしい代替の動きベクトルを動きベクトルに代えて用いるようにしたことにより、動きベクトルに誤検出が発生した場合であっても、画像の実際の動きを反映した代替の動きベクトルにより動き補正することができ、この分画像歪みの発生を軽減することができる。
【発明の効果】
【００１３】
本発明によれば、動きベクトルに誤検出が生じた場合には画像の動きを反映した代替の動きベクトルを用いることで画像歪みの発生を軽減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１５】
（１）実施例の構成
図１は、本発明の実施例１に係る映像信号処理装置であるフォーマット変換装置に適用される動きベクトル出力装置を示すブロック図である。このフォーマット変換装置は、この動きベクトル出力装置１から出力される動きベクトルによる線形内挿処理によりビデオ信号のフォーマットを変換するようになされている。このため動きベクトル出力装置１は、ビデオ信号を構成する輝度信号Ｙから動きベクトルＶを検出して出力する。なお動きベクトルの検出においては、輝度信号Ｙを使用する場合に限らず、色差信号Ｒ−Ｙ、Ｂ−Ｙを使用することも可能である。
【００１６】
この動きベクトル出力装置１において、前置フィルタ２は、二次元のローパスフィルタであり、輝度信号Ｙを入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。また前置フィルタ２は、輝度信号Ｙがインターレース方式によるビデオ信号によるものの場合、いわゆる重心補正の処理を実行し、これにより連続するフィールド間で動きベクトルを検出する際に、フィールド間でラインが異なることによる動きベクトルの検出精度の劣化を防止するようになされている。なおこの前置フィルタ２はローパスフィルタに限らず、帯域通過フィルタを適用することもできる。
【００１７】
１フィールド遅延回路３は、この前置フィルタ２から輝度信号Ｙを入力し、１フィールドの期間だけ遅延させて出力する。
【００１８】
動きベクトル検出回路４は、ブロックマッチング法により、１フィールド遅延回路３から出力される輝度信号Ｙ１を基準にして前置フィルタ２から出力される輝度信号Ｙの動きベクトルＭＶを順次検出して出力する。なおこの実施例では、前置フィルタ２から出力される輝度信号Ｙに順次マクロブロックを設定して、マクロブロック単位で動きベクトルＭＶを検出するようになされ、このマクロブロックの大きさ（ｍ画素×ｎライン）が８画素×８ラインに設定されるようになされている。
【００１９】
後置フィルタ５は、動きベクトル検出回路４から出力される動きベクトルＭＶを、周辺の比較的狭い範囲の動きベクトルにより平滑化して出力する。すなわち図２は、後置フィルタ５を示すブロック図であり、メディアンフィルタ１１は、動きベクトルＭＶのマクロブロックを中心とした周囲、所定数のマクロブロックについて、それぞれのマクロブロックで検出された動きベクトルのうち、動き量が平均的な動きベクトルを中心のマクロブロックに割り当てて出力する。２次元ローパスフィルタ１２は、メディアンフィルタ１１から順次出力される動きベクトルを平滑化して動きベクトルＭＶＡを出力する。これにより後置フィルタ５においては、動きベクトルＭＶが周辺の動きベクトルにより平滑化されて出力される。
【００２０】
また代表ベクトル生成回路６は、後置フィルタ５による平滑化の範囲より広い、横１２８個×縦３２個のマクロブロックを１つの検出ブロックとして、この比較的広い範囲の検出ブロック単位で、動きベクトル検出回路４から出力される動きベクトルＭＶを平均化して出力する。
【００２１】
すなわち図３は、代表ベクトル生成回路６を示すブロック図であり、比較回路２１は、動きベクトル検出回路４から出力される動きベクトルＭＶのベクトル値を所定の判定基準値αと比較することにより、ベクトル値が判定基準値αより大きな動きベクトルを選択して出力する。なおベクトル値は、動きベクトルのＸ成分及びＹ成分により方向及び大きさを表す値であり、判定基準値αは、Ｘ成分及びＹ成分について設けられるようになされている。これにより動きベクトルＭＶの判定基準値αによる判定においては、Ｘ成分及びＹ成分について、各成分による判定基準によりそれぞれ実行され、両方向の成分について上述の判定基準を満足する場合に対応する動きベクトルが選択される。なお判定基準値αは、オペレータの操作により設定された値が適用され、又は事前に設定された固定値が適用される。なお動きベクトルＭＶの判定基準値αによる判定においては、動きベクトルＭＶの水平方向成分ＶＸ及び垂直方向成分ＶＹをＭＶ＝（ＶＸ2＋ＶＹ2）1/2の関係式により処理して動きベクトルＭＶの大きさを検出し、この大きさを判定基準値αにより判定するようにしてもよい。
【００２２】
累計回路２２は、比較回路２１から出力される判定基準値αよりも大きな動きベクトルを検出ブロックごとに累計して出力する。割算回路２３は、累計回路２２から出力される累計値をその累計値に係るマクロブロック数で割り算することにより、判定基準値αよりも大きな動きベクトルの平均値を算出し、算出結果をそのマクロブロック数と共に出力する。
【００２３】
一方比較回路２４は、動きベクトル検出回路４から出力される動きベクトルのベクトル値を所定の判定基準値βと比較することにより、ベクトル値が判定基準値βよりも小さな動きベクトルを選択して出力する。なお判定基準値βは、Ｘ成分及びＹ成分について設けられるようになされ、動きベクトルＭＶの判定基準値βによる判定においては、Ｘ成分及びＹ成分について、各成分による判定基準によりそれぞれ実行され、両方向の成分について上述の判定基準を満足する場合に対応する動きベクトルが選択される。なお判定基準値βは、判定基準値αよりも小さく値０に近い値が適用され、この値はオペレータの操作により設定され、又は事前に設定された固定値が用いられる。なお動きベクトルＭＶの判定基準値βによる判定においても、動きベクトルＭＶの水平方向成分ＶＸ及び垂直方向成分ＶＹをＭＶ＝（ＶＸ2＋ＶＹ2）1/2の関係式により処理して動きベクトルＭＶの大きさを検出し、この大きさを判定基準値βにより判定するようにしてもよい。
【００２４】
累計回路２５は、比較回路２４から出力される判定基準値βよりも小さな動きベクトルを検出ブロックごとに累計して出力する。割算回路２６は、累計回路２５から出力される累計値をその累計値に係るマクロブロック数で割り算することにより、判定基準値βよりも小さな動きベクトルの平均値を算出し、算出結果をそのマクロブロック数と共に出力する。
【００２５】
選択回路２７は、割算回路２３から出力される判定基準値αよりも大きな動きベクトルに係るマクロブロック数と、割算回路２６から出力される判定基準値βよりも小さな動きベクトルに係るマクロブロック数とを比較し、マクロブロック数の大きな方に係る動きベクトルの平均値を選択し、これを代表ベクトルＭＶＢとして出力する。
【００２６】
しかしてベクトル値が判定基準値αよりも大きな動きベクトルに係るマクロブロックが多い場合には、同様の大きさでなる動きベクトルが多く検出されて画像に一様な動きがあると判断することができる。これに対してベクトル値が判定基準値βよりも小さな動きベクトルに係るマクロブロックが多い場合には、動きがない静止画であると判断することができる。これにより代表ベクトル生成回路６においては、ベクトル値が判定基準値αよりも大きな動きベクトルに係るマクロブロック数と、判定基準値βよりも小さな動きベクトルに係るマクロブロック数との比較により、判定基準値αよりも大きな動きベクトルに係るマクロブロック数が判定基準値βよりも小さな動きベクトルに係るマクロブロック数よりも多い場合には、画像に一様な動きがあるものと判断して、判定基準値αよりも大きな動きベクトルを検出ブロック単位で平均化し、これを検出ブロックの代表ベクトルとして出力する。これに対して、判定基準値βよりも小さな動きベクトルに係るマクロブロック数が判定基準値αよりも大きな動きベクトルに係るマクロブロック数よりも多い場合には、静止画であると判断して、判定基準値βよりも小さな動きベクトルを検出ブロック単位で平均化し、これを検出ブロックの代表ベクトルとして出力する。この場合判定基準値βが０に近い値に設定されていることにより、ベクトル値がほぼ０の代表ベクトルが生成されることとなる。
【００２７】
このように代表ベクトル生成回路６においては、画像に一様な動きがあるか否かに応じて、動きがある場合にはそのベクトル値を平均化した動きベクトルを検出ブロックの代表ベクトルとして生成し、これに対して動きがない場合にはベクトル値がほぼ０の動きベクトルを代表ベクトルとして生成する。
【００２８】
また代表ベクトル生成回路７は、動きベクトル検出回路４から出力される動きベクトルＭＶを時間軸方向に平均化して出力する。すなわち図４は、代表ベクトル生成回路７を示すブロック図であり、この代表ベクトル生成回路７においては、１フィールド遅延回路３１、３２、３３、３４が直列に接続され、各１フィールド遅延回路３１〜３４からそれぞれ１フィールド遅延した動きベクトルＭＶ１、２フィールド遅延した動きベクトルＭＶ２、３フィールド遅延した動きベクトルＭＶ３及び４フィールド遅延した動きベクトルＭＶ４が出力されるようになされている。
【００２９】
平均化回路３５は、これらの動きベクトルＭＶ１〜ＭＶ４と動きベクトル検出回路４から出力される現フィールドの動きベクトルＭＶとを入力し、これらの動きベクトルＭＶ１〜ＭＶ４、ＭＶの平均値を算出し、この算出結果を代表ベクトルＭＶＣとして出力する。
【００３０】
かくして代表ベクトル生成回路７においては、フィールドごとに方向、大きさが変化する動きベクトルに対して時間軸方向に平均化された動きベクトルが代表ベクトルＭＶＣとして生成され出力される。
【００３１】
動きベクトル選別回路８は、動きベクトル検出回路４から出力される動きベクトルＭＶ、後置フィルタ５から出力される動きベクトルＭＶＡ、代表ベクトル生成回路６から出力される代表ベクトルＭＶＢ又は代表ベクトル生成回路７から出力される代表ベクトルＭＶＣのいずれかを選択して出力する。
【００３２】
すなわち図５は、動きベクトル選別回路８を示すブロック図であり、メモリ回路４１は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１を検出ブロック単位で出力する。ここで検出ブロックは、動きベクトル検出回路４により設定されるマクロブロックに対して、各マクロブロックを複数の領域に分割して設定される領域である。この実施例において、検出ブロックは、縦４画素×横２ラインに設定されるようになされている。この処理おいて、メモリ回路４１は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、動きベクトル検出回路４で検出した動きベクトルＭＶの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を動きベクトルＭＶで動き補正して出力する。
【００３３】
差分演算回路４２は、メモリ回路４１から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、対応する画素間で画素毎の差分値を計算して出力する。絶対値化回路４３は、差分演算回路４２から出力される差分値の絶対値を求め、この絶対値を検出ブロック単位で加算することにより差分絶対値和を計算し、これをフィールド間差分値ＤＦＤ１として出力する。
【００３４】
またメモリ回路４４は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１を検出ブロック単位で出力する。この処理において、メモリ回路４４は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、後置フィルタ５で生成した動きベクトルＭＶＡの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を動きベクトルＭＶＡで動き補正して出力する。
【００３５】
差分演算回路４５は、メモリ回路４４から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、対応する画素間で画素毎の差分値を計算して出力する。絶対値化回路４６は、差分演算回路４５から出力される差分値の絶対値を求め、この絶対値を検出ブロック単位で加算することにより差分絶対値和を計算し、これをフィールド間差分値ＤＦＤ２として出力する。
【００３６】
またメモリ回路４７は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１を検出ブロック単位で出力する。この処理において、メモリ回路４７は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、代表ベクトル生成回路６で生成した代表ベクトルＭＶＢの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を代表ベクトルＭＶＢで動き補正して出力する。
【００３７】
差分演算回路４８は、メモリ回路４７から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、対応する画素間で画素毎の差分値を計算して出力する。絶対値化回路４９は、差分演算回路４８から出力される差分値の絶対値を求め、この絶対値を検出ブロック単位で加算することにより差分絶対値和を計算し、これをフィールド間差分値ＤＦＤ３として出力する。
【００３８】
さらにメモリ回路５０は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１を検出ブロック単位で出力する。この処理において、メモリ回路５０は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、代表ベクトル生成回路７で生成した代表ベクトルＭＶＣの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を代表ベクトルＭＶＣで動き補正して出力する。
【００３９】
差分演算回路５１は、メモリ回路５０から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、対応する画素間で画素毎の差分値を計算して出力する。絶対値化回路５２は、差分演算回路５１から出力される差分値の絶対値を求め、この絶対値を検出ブロック単位で加算することにより差分絶対値和を計算し、これをフィールド間差分値ＤＦＤ４として出力する。
【００４０】
比較回路５３は、絶対値化回路４３、４６、４９、５２からそれぞれ出力されるフィールド間差分値ＤＦＤ１、ＤＦＤ２、ＤＦＤ３、ＤＦＤ４を比較し、最も小さいフィールド間差分値に係る動きベクトル又は代表ベクトルを指定する指定信号を選択回路５４に出力する。
【００４１】
選択回路５４は、比較回路５３から出力された指定信号に基づいて、動きベクトル検出回路４から出力される動きベクトルＭＶ、後置フィルタ５から出力される動きベクトルＭＶＡ、代表ベクトル生成回路６から出力される代表ベクトルＭＶＢ、代表ベクトル生成回路７から出力される代表ベクトルＭＶＣのいずれかを選択して出力する。
【００４２】
これにより動きベクトル選別回路８においては、フィールド間差分値を最も小さくする動きベクトル又は代表ベクトルが選択され、動きベクトルＶとして出力される。この動きベクトルＶは、所定の線形内挿処理回路（図示せず）に出力され、この線形内挿処理回路においてこの動きベクトルＶにより線形内挿処理が施され、ビデオ信号のフォーマットが変換されるようになされている。
【００４３】
これらによりこの実施例において、動きベクトル検出回路４は、所定のブロック単位でビデオ信号の動きベクトルを順次検出する動きベクトル検出手段を構成し、後置フィルタ５、代表ベクトル生成回路５、６は、動きベクトルに基づいて前記動きベクトルに代わる少なくとも１つ以上の代替の動きベクトルを出力する代替動きベクトル生成手段を構成し、差分演算回路４２は、ビデオ信号を動きベクトル検出手段による動きベクトルにより動き補正してフィールド間差分値ＤＦＤ１を検出する主の差分値演算手段を構成し、差分演算回路４５、４８、５１は、ビデオ信号を動きベクトル補正手段により補正された動きベクトルにより動き補正してフィールド間差分値ＤＦＤ２、ＤＦＤ３、ＤＦＤ４を検出する副の差分値演算手段を構成し、比較回路５３は、主の差分値演算手段によるフィールド間差分値と、副の差分値演算手段によるフィールド間差分値とを比較する比較手段を構成し、選択回路５４は、比較手段の比較結果に基づいて、動きベクトルＭＶ又は代替の動きベクトルＭＶＡ、ＭＶＢ、ＭＶＣを選択出力する選択手段を構成するようになされている。
【００４４】
（２）実施例の動作
以上の構成において、この動きベクトル出力装置１において、処理対象であるビデオ信号の輝度信号Ｙは、前置フィルタ２により周波数特性が補正された後、動きベクトル検出回路４によりマクロブロック単位で動きベクトルＭＶが順次検出される。また後置フィルタ５により、周辺の比較的狭い範囲の動きベクトルで平滑化された動きベクトルＭＶＡがマクロブロック単位で順次生成される。また代表ベクトル生成回路６により、横１２８個×縦３２個のマクロブロックを検出ブロックとして、検出ブロック内でほぼ同一の方向及び大きさでなる複数の動きベクトルで平均化された代表ベクトルＭＶＢがマクロブロック単位で順次生成される。また代表ベクトル生成回路７により、時間軸方向に平均化された代表ベクトルＭＶＣがマクロブロック単位で順次生成される。
【００４５】
しかして後置フィルタ５で生成された動きベクトルＭＶＡにあっては、動きベクトル検出回路４で検出された動きベクトルＭＶを周辺の比較的狭い範囲の動きベクトルにより平滑化してなることにより、想定される動きのパターンとして例えば小物体の動きを反映した代替の動きベクトルとして用いることができる。
【００４６】
また代表ベクトル生成回路６で生成された代表ベクトルＭＶＢにあっては、動きベクトル検出回路４で検出された動きベクトルＭＶを、後置フィルタ５による処理に比して相対的に広い範囲である、横１２８個×縦３２個のマクロブロックによる検出ブロック単位で一様な動きがある場合の平均的な動きベクトルに変換してなることにより、想定される動きのパターンとして画像の一様な動きを反映した代替の動きベクトルとして用いることができる。
【００４７】
また代表ベクトル生成回路７で生成された代表ベクトルＭＶＣにあっては、動きベクトル検出回路４で検出された動きベクトルＭＶを、時間軸方向に平均化してなることにより、想定される動きのパターンとして時間とともに方向及び大きさが変化する動きを反映した代替の動きベクトルとして用いることができる。
【００４８】
これらの動きベクトルＭＶ、ＭＶＡ及び代表ベクトルＭＶＢ、ＭＶＣは、動きベクトル選別回路８において、それぞれのフィールド間差分値の比較により最も確からしいものが選択される。すなわち動きベクトルＭＶが正しく検出されている場合には、動きベクトルＭＶによるフィールド間差分値ＤＦＤ１が最も小さくなることにより、この動きベクトルＭＶが選択される。これに対して、動きベクトルＭＶが誤検出された場合には、動きベクトルＭＶによるフィールド間差分値ＤＦＤ１が大きくなるのに対して、後置フィルタ５で検出された動きベクトルＭＶＡによるフィールド間差分値ＤＦＤ２、代表ベクトル生成回路６で検出された代表ベクトルＭＶＢによるフィールド間差分値ＤＦＤ３又は代表ベクトル生成回路７で検出された代表ベクトルＭＶＣによるフィールド間差分値ＤＦＤ４のいずれかが実際の動きに応じて最も小さな値となる。この場合、小物体の動きにあっては後置フィルタ５で生成された動きベクトルＭＶＡによるフィールド間差分値ＤＦＤ１が最も小さくなり、カメラパーンのように一様な動きがある場合には代表ベクトル生成回路６で生成された代表ベクトルＭＶＢによるフィールド間差分値ＤＦＤ３が最も小さくなり、回転のような動きがある場合には代表ベクトル生成回路７で生成された代表ベクトルＭＶＣによるフィールド間差分値ＤＦＤ４が最も小さくなる。これにより動きベクトルＭＶが誤検出された場合には、想定された動きのパターンのうち、実際の動きを反映した動きベクトルＭＶＡ、代表ベクトルＭＶＢ又は代表ベクトルＭＶＣが代替の動きベクトルとして選択回路５４により選択される。
【００４９】
これにより例えば小物体の動きについて、動きベクトル検出回路４で動きベクトルＭＶが誤検出された場合には、この動きベクトルＭＶに代えて動きベクトルＭＶＡが選択され、また例えばカメラパーンのような一様な動きについて、動きベクトル検出回路４で動きベクトルＭＶが誤検出された場合には、この動きベクトルＭＶに代えて代表ベクトルＭＶＢが選択され、さらにまた例えば画像が回転する場合について、動きベクトル検出回路４で動きベクトルＭＶが誤検出された場合には、この動きベクトルＭＶに代えて代表ベクトルＭＶＣが選択される。
【００５０】
かくして動きベクトル検出回路４において動きベクトルＭＶが誤検出された場合には、動きのパターンを最も反映した代替の動きベクトルが選択されて出力されることにより、この代替の動きベクトルによりビデオ信号を線形内挿処理すれば、例えば単に値０の動きベクトルに置き換えて線形内挿処理する場合に比して、画像歪みの発生を軽減することができる。
【００５１】
（３）実施例の効果
以上の構成によれば、検出された動きベクトルＭＶと、動きベクトルＭＶに基づいて生成した代替の動きベクトルとを比較して選択するようにしたことにより、動きベクトルＭＶに誤検出が生じた場合には画像の動きを反映した代替の動きベクトルを用いることで、画像歪みの発生を軽減することができる。
【００５２】
また想定される動きのパターンとして複数種類（小物体の動き、カメラパーンのような一様な動き、回転のような方向及び大きさが変化する動き等）の動きのパターンによりそれぞれのパターン毎に動きベクトルＭＶＡ、代表ベクトルＭＶＢ、ＭＶＣを生成し、これらの動きベクトルＭＶ、ＭＶＡ、代表ベクトルＭＶＢ、ＭＶＣの比較により最も確からしい動きベクトル又は代表ベクトルを代替の動きベクトルとして用いるようにしたことにより、動きベクトルＭＶに誤検出が発生した場合であっても、画像の実際の動きを反映した動きベクトルＶにより画像歪みの発生を軽減することができる。
【実施例２】
【００５３】
なお上述の実施例においては、想定される動きのパターンとして、小物体の動き、カメラパーンのような一様な動き、回転のような方向及び大きさが時間と共に変化する動きを設定し、これらの動きに応じた代替の動きベクトルを選択候補とする場合について述べたが、本発明はこれに限らず、要は検出した動きベクトルＭＶのみでなく、想定される種々の動きのパターンについて代替の動きベクトルを生成して選択するようにすればよい。
【００５４】
また上述の実施例においては、８画素×８ラインのマクロブロック単位で動きベクトルを検出し、４画素×２ラインのブロックでフィールド間差分値を計算して比較する場合について述べたが、本発明はこれに限らず、他の種々の大きさのブロック又は画素単位で動きベクトルの検出及び又はフィールド間差分値を計算して比較するようにしてもよい。
【００５５】
また上述の実施例においては、フィールド間で動きベクトルを検出し、フィールド間差分の比較により動きベクトルを選択する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出し、フレーム間差分の比較により動きベクトルを選択するようにしてもよい。この場合には前置フィルタ２による重心補正の処理を省略することができる。
【００５６】
また上述の実施例においては、ブロックマッチング法により動きベクトルを検出する場合について述べたが、本発明はこれに限らず、例えば勾配法、位相相関法等により動きベクトルを検出するようにしてもよい。
【００５７】
また上述の実施例においては、検出された動きベクトルＶによりビデオ信号を線形内挿処理するフォーマット変換装置に適用される動きベクトル出力装置について述べたが、本発明はこれに限らず、例えばＭＰＥＧ（Moving Picture Experts Group）等による符号化装置、ノイズ軽減装置等、動きベクトルＶを用いてビデオ信号を種々に処理する映像信号処理装置に広く適用することができる。
【産業上の利用可能性】
【００５８】
本発明は、映像信号処理装置に関し、例えばフォーマット変換装置に適用することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施例に係る動きベクトル出力装置を示すブロック図である。
【図２】図１の動きベクトル出力装置の後置フィルタを示すブロック図である。
【図３】図１の動きベクトル出力装置の代表ベクトル生成回路を示すブロック図である。
【図４】図１の動きベクトル出力装置の代表ベクトル生成回路を示すブロック図である。
【図５】図１の動きベクトル出力装置の動きベクトル選別回路を示すブロック図である。
【図６】動きベクトルの誤検出による画像歪みの発生の説明に供する略線図である。
【図７】動きベクトルの誤検出による画像歪みの発生の説明に供する略線図である。
【符号の説明】
【００６０】
１……動きベクトル出力装置、３……１フィールド遅延回路、４……動きベクトル検出回路、５……後置フィルタ、６、７……代表ベクトル生成回路、８……動きベクトル選別回路、ＭＶ、ＭＶＡ……動きベクトル、ＭＶ２、ＭＶ３……代表ベクトル
【図１】
2005229169.tif 000003
【図２】
2005229169.tif 000004
【図３】
2005229169.tif 000005
【図４】
2005229169.tif 000006
【図５】
2005229169.tif 000007
【図６】
2005229169.tif 000008
【図７】
2005229169.tif 000009