(57)【要約】【課題】    本発明は、映像信号処理装置に関し、例えばスローモーションによる映像信号の作成に適用して、動き補正による画像歪みを従来に比して格段的に低減することができるようにする。【解決手段】  本発明は、動きベクトル検出ブロック単位で検出した動きベクトルＶを評価ブロック単位で評価し、さらに画素単位で評価するようにして、評価対象の画素の属する評価ブロックの動きベクトルＶ１と、隣接する評価ブロックの動きベクトルＶ１とで動きベクトルＶ１を評価して選択する。【選択図】        図１
2005333282.tif 000002
【特許請求の範囲】
【請求項１】
動きベクトル検出ブロック単位で、映像信号の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトル検出ブロックより大きさの小さな評価ブロック単位で、前記動きベクトル検出手段で検出される動きベクトルを評価して補正する動き評価手段と、
前記動き評価手段による動きベクトルを画素単位で選択して、各画素の動きベクトルを設定する動きベクトル選択手段とを備え、
前記動きベクトル選択手段は、
処理対象の画素が属する前記評価ブロックの前記動きベクトルによるフレーム間差分値又はフィールド間差分値、隣接する複数の前記評価ブロックの各動きベクトルによるフレーム間差分値又はフィールド間差分値の比較により、
前記処理対象の画素が属する前記評価ブロックの前記動きベクトル、前記隣接する複数の評価ブロックの動きベクトルから１つの動きベクトルを選択して、前記処理対象の画素の動きベクトルを設定する
ことを特徴とする映像信号処理装置。
【請求項２】
前記動きベクトル選択手段は、
前記ベクトル選択評価手段から出力される動きベクトルをメディアンフィルタを介して出力する
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記動きベクトル選択手段から出力される動きベクトルにより、前記映像信号を内挿処理して、前記映像信号のスローモーションによる映像信号を生成する内挿手段を有する
ことを特徴とする請求項１又は請求項２に記載の映像信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置に関し、例えばスローモーションによる映像信号の作成に適用することができる。本発明は、動きベクトル検出ブロック単位で検出した動きベクトルを評価ブロック単位で評価し、さらに画素単位で評価するようにして、評価対象の画素の属する評価ブロックの動きベクトルと、隣接する評価ブロックの動きベクトルとで動きベクトルを評価して選択することにより、動き補正による画像歪みを従来に比して格段的に低減することができるようにする。
【背景技術】
【０００２】
従来、ビデオ信号の高能率符号化処理、テレビジョン信号のフォーマット変換等においては、動きベクトルを用いた動き補正が適用されるようになされている。
【０００３】
このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
【０００４】
動き補正によるフォーマット変換等においては、このような各種手法によりマクロブロック単位で検出される動きベクトルを、マクロブロックよりサイズの小さな評価用のブロックで評価し、この評価結果に基づいて所属するマクロブロックによる動きベクトル、周辺のマクロブロックで検出された動きベクトル等を選択的に使用して評価ブロック毎に内挿処理するようになされ、これによりマクロブロック内で動きが変化するような場合でも、適切に動き補正するようになされている。
【０００５】
しかしながらこれらにより当然のことながら、このような評価ブロック内で動きが変化する場合にあっては、画像歪みが発生し、このような画像歪みにあっては、リアルタイムによる動画の処理にあっては、評価ブロックの大きさを小さくすることにより視覚上感知できない程度に低減できるものの、スローモーションによる画像を生成する場合等には、画像歪みを無視できなくなる。
【特許文献１】特開昭５５−１６２６８３号公報
【特許文献２】特開昭５５−１６２６８４号公報
【特許文献３】特開昭６０−１５８７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は以上の点を考慮してなされたもので、動き補正による画像歪みを従来に比して格段的に低減することができる映像信号処理装置を提案するものである。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため請求項１の発明においては、動きベクトル検出ブロック単位で、映像信号の動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出ブロックより大きさの小さな評価ブロック単位で、動きベクトル検出手段で検出される動きベクトルを評価して補正する動き評価手段と、動き評価手段による動きベクトルを画素単位で選択して、各画素の動きベクトルを設定する動きベクトル選択手段とを備え、動きベクトル選択手段は、処理対象の画素が属する評価ブロックの動きベクトルによるフレーム間差分値又はフィールド間差分値、隣接する複数の評価ブロックの各動きベクトルによるフレーム間差分値又はフィールド間差分値の比較により、処理対象の画素が属する評価ブロックの動きベクトル、隣接する複数の評価ブロックの動きベクトルから１つの動きベクトルを選択して、処理対象の画素の動きベクトルを設定するようにする。
【０００８】
また請求項２の発明においては、請求項１の構成において、動きベクトル選択手段は、ベクトル選択評価手段から出力される動きベクトルをメディアンフィルタを介して出力するようにする。
【０００９】
また請求項３の発明においては、請求項１又は請求項２の構成において、動きベクトル選択手段から出力される動きベクトルにより、映像信号を内挿処理して、映像信号のスローモーションによる映像信号を生成する内挿手段を有するようにする。
【００１０】
請求項１の構成により、動きベクトル検出ブロック単位で、映像信号の動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出ブロックより大きさの小さな評価ブロック単位で、動きベクトル検出手段で検出される動きベクトルを評価して補正する動き評価手段とを備えるようにすれば、この評価ブロックの動きベクトルにあっては、各評価ブロックで最も多数を占める動きベクトルが検出される。このときこの評価ブロックで少数を占める動きベクトルに係る画素にあっては、この画素に係る物体が評価ブロックの境界を跨いでいる場合もあり、このような場合にあって、この物体がある程度の大きさを有する場合、この画素に係る動きベクトルにあっては、隣接する評価ブロックで検出される動きベクトルと一致することになる。これにより動き評価手段による動きベクトルを画素単位で選択して、各画素の動きベクトルを設定する動きベクトル選択手段を備え、動きベクトル選択手段は、処理対象の画素が属する評価ブロックの動きベクトルによるフレーム間差分値又はフィールド間差分値、隣接する複数の評価ブロックの各動きベクトルによるフレーム間差分値又はフィールド間差分値の比較により、処理対象の画素が属する評価ブロックの動きベクトル、隣接する複数の評価ブロックの動きベクトルから１つの動きベクトルを選択して、処理対象の画素の動きベクトルを設定すれば、このような評価ブロックで少数を占める動きベクトルの画素について、正しい動きベクトルを選択することができる。これにより動きベクトルの検出精度を向上して、このような動きベクトルを用いて映像信号を処理する場合に、動き補正による画像歪みを従来に比して格段的に低減することができる。
【００１１】
また請求項２の構成によれば、請求項１の構成において、動きベクトル選択手段は、ベクトル選択評価手段から出力される動きベクトルをメディアンフィルタを介して出力することにより、孤立した値の動きベクトルを排除して画質劣化を有効に回避することができる。
【００１２】
また請求項３の構成によれば、請求項１又は請求項２の構成において、動きベクトル選択手段から出力される動きベクトルにより、映像信号を内挿処理して、映像信号のスローモーションによる映像信号を生成する内挿手段を有することにより、動きベクトルの検出精度を向上して、画像歪みを格段的に低減してなるスローモーションによる映像信号を生成することができる。
【発明の効果】
【００１３】
本発明によれば、動き補正による画像歪みを従来に比して格段的に低減することができる。
【発明を実施するための最良の形態】
【００１４】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１５】
（１）実施例の構成
図１は、本発明の実施例に係る映像信号処理装置を示すブロック図である。この映像信号処理装置１は、ライン数５２５本、フィールド周波数５９．９４〔Ｈｚ〕の映像信号を処理対象に設定して、この映像信号の映像に対して、所定の速度によるスローモーションの映像信号Ｓ２を生成する。このためこの映像信号処理装置１では、例えばハードディスク装置等の記録装置より、このスローモーションに係る速度に応じたフィールド周波数によりこの処理対象の映像信号Ｓ１を入力する。なおこのような速度においては、例えば元の映像信号Ｓ１に対して１／２倍速等である。
【００１６】
この映像信号処理装置１において前置フィルタ２は、二次元のローパスフィルタであり、この処理対象の映像信号Ｓ１のうち輝度信号を入力し、高域成分を抑圧して出力し、これによりノイズによる後段の動きベクトル検出回路３における動きベクトルの誤検出を防止する。また前置フィルタ２は、偶数フィールドと奇数フィールドとで垂直方向のタップ係数を切り換えていわゆる重心補正の処理を実行し、これによりフィールド間における動きベクトルの検出において、重心の偏位を補正する。なお動きベクトルの検出においては、輝度信号Ｙを使用する場合に限らず、色差信号Ｒ−Ｙ、Ｂ−Ｙを使用することも可能である。またフレーム間で動きベクトルを検出する場合、動きベクトル検出方法によっては前置フィルタ２を省略することもできる。
【００１７】
続く１フィールド遅延回路４は、この前置フィルタ２から出力される輝度信号Ｙを１フィールド遅延させて出力する。
【００１８】
動きベクトル検出回路３は、勾配法により、１フィールド遅延回路４から出力される輝度信号Ｙ１を基準にして前置フィルタ２から出力される輝度信号Ｙの動きベクトルＶを検出する。この処理において、動きベクトル検出回路３は、例えば８画素×８ラインによる動きベクトル検出ブロックであるマクロブロック単位で動きベクトルＶを検出して出力する。なお動きベクトルの検出においては、ブロックマッチング法、位相相関法等、種々の検出手法を適用することができ、またマクロブロックの大きさにあっても、必要に応じて種々に設定することができる。
【００１９】
動き評価回路５は、動きベクトル検出回路３で動きベクトルの検出に供したマクロブロックより大きさの小さな評価ブロックにより、この動きベクトル検出回路３で検出した動きベクトルＶを評価して補正する。すなわち動き評価回路５は、動きベクトル検出回路３で対応するマクロブロックで検出された動きベクトル、動き０の動きベクトルを評価対象の動きベクトルに設定し、これらの評価対象の動きベクトルによりそれぞれ動きベクトル検出基準である１フィールド遅延回路４から出力される輝度信号Ｙ１を動き補正し、前置フィルタ２から出力される輝度信号Ｙとの間で差分絶対値和を検出する。動き評価回路５は、この差分絶対値和を評価ブロック毎に検出して値の小さな差分絶対値和に係る動きベクトルを検出し、この動きベクトルＶ１を出力する。これによりこの映像信号処理装置１では、マクロブロックより小さな小物体についても、正しく動きベクトルを検出できるようになされている。なおこの実施例においては、この評価ブロックが図２に示すように、４画素×２ラインのブロックＢＬ００〜ＢＬ２２、……に設定されるようになされている。またこのような評価対象の動きベクトルについては、これら以外に、例えば対応するマクロブロックの周囲のマクロブロックで検出された動きベクトルの平均値による動きベクトル、この対応するマクロブロックについて前フィールドで検出された動きベクトル等を評価対象に加えるようにしてもよく、このような評価対象の増大により動きベクトルの検出精度を向上することができる。また評価ブロックにあっては、マクロブロックの大きさを越えない範囲で、必要に応じて種々に設定することができる。これらにより動き評価回路５は、動きベクトル検出回路３で検出した動きベクトルＶを評価ブロック単位で評価して補正するようになされている。
【００２０】
動きベクトル選択回路６は、この動き評価回路５から出力される動きベクトルＶ１を画素単位で評価し、最も適した動きベクトルＶ２を画素単位で選択して出力する。
【００２１】
すなわち動きベクトル選択回路６において、ベクトルメモリ８は、ベクトルメモリ制御回路９の制御により動き評価回路５から出力される動きベクトルＶ１を記録して保持し、またこの保持した動きベクトルＶ１をメモリ１０に出力する。この動きベクトルＶ１の出力において、ベクトルメモリ８は、処理対象の画素の属する評価ブロックの動きベクトルＶ１と、隣接する評価ブロックの動きベクトルＶ１とを選択対象の動きベクトルに設定し、これら選択対象の動きベクトルＶ１をメモリ１０に出力する。この実施例では、この隣接する評価ブロックのうち、処理対象の画素が位置している側の評価ブロックについて、選択対象の動きベクトル  Ｖ１に設定し、これら選択対象の動きベクトルＶ１をメモリ１０に出力する。
【００２２】
すなわち図２において、評価ブロックＢＬ１１を破線により区切って示すように、この評価ブロックＢＬ１１において、中心より左上側に位置する画素Ａ１１、Ｂ１１については、この評価ブロックＢＬ１１で検出された動きベクトルＶ１、この評価ブロックの左側、上側、左上側に隣接する３つの評価ブロックＢＬ１０、ＢＬ０１、ＢＬ００で検出された動きベクトルＶ１を出力する。またこの評価ブロックＢＬ１１において、中心より左下側に位置する画素Ｅ１１、Ｆ１１については、この評価ブロックＢＬ１１で検出された動きベクトルＶ１、この評価ブロックの左側、下側、左下側に隣接する３つの評価ブロックＢＬ１０、ＢＬ２１、ＢＬ２０で検出された動きベクトルＶ１を出力する。またこの評価ブロックＢＬ１１において、中心より右上側に位置する画素Ｃ１１、Ｇ１１については、この評価ブロックＢＬ１１で検出された動きベクトルＶ１、この評価ブロックの右側、上側、右上側に隣接する３つの評価ブロックＢＬ１２、ＢＬ０１、ＢＬ０２で検出された動きベクトルＶ１を出力する。またこの評価ブロックＢＬ１１において、中心より右下側に位置する画素Ｇ１１、Ｈ１１については、この評価ブロックＢＬ１１で検出された動きベクトルＶ１、この評価ブロックの右側、下側、右下側に隣接する３つの評価ブロックＢＬ１２、ＢＬ２１、ＢＬ２２で検出された動きベクトルＶ１を出力する。
【００２３】
ベクトルメモリ制御回路９は、このような動きベクトルＶ１の出力に係るベクトルメモリ８の動作を制御する。
【００２４】
メモリ１０は、動きベクトルＶの検出基準である１フィールド遅延回路４から出力される輝度信号Ｙ１を一時保持し、この保持した輝度信号Ｙ１を続くベクトル選択評価回路１１に出力する。この輝度信号Ｙ１の出力において、メモリ１０は、ベクトルメモリ８から出力される４種類の動きベクトルＶ１によりそれぞれ読み出しアドレスを可変することにより、この４種類の動きベクトルＶ１によりそれぞれ輝度信号Ｙ１を動き補正して出力する。
【００２５】
ベクトル選択評価回路１１は、このメモリ１０から出力される４種類の動きベクトルＶ１に係る輝度信号と、前置フィルタ２から出力される輝度信号Ｙとを画素単位で比較し、この比較結果によりメモリ１０から出力される４種類の動きベクトルＶ１から最適な動きベクトルＶ３を検出して出力する。すなわちベクトル選択評価回路１１は、メモリ１０から出力される４種類の映像信号と、前置フィルタ２から出力される輝度信号Ｙとを入力し、画素単位でそれぞれ差分絶対値を計算する。またこの差分絶対値が最も小さな動きベクトルＶ３を検出し、この動きベクトルＶ３を選択出力する。これによりベクトル選択評価回路１１は、処理対象の画素が属する前記評価ブロックの動きベクトルによるフィールド間差分値、隣接する複数の評価ブロックの各動きベクトルによるフィールド間差分値の比較により、これら複数のきベクトルから１つの動きベクトルを選択して各画素の動きベクトルを順次設定するようになされている。
【００２６】
メディアンフィルタ１２は、例えば３画素×３ラインの大きさによる２次元フィルタにより形成され、ベクトル選択評価回路１１から出力される動きベクトルＶ３から孤立した値の動きベクトルを排除して出力する。なおメディアンフィルタ１２は、必要に応じて種々の大きさのものを適用することができる。しかして動きベクトル選択回路６は、このメディアンフィルタ１２から出力される動きベクトルＶ２を続く動き補正画像生成回路１３に出力するようになされている。
【００２７】
動き補正画像生成回路１３は、この動きベクトル選択回路６から出力される動きベクトルＶ２により前置フィルタ２から出力される輝度信号、対応する色差信号を動き内挿処理し、これにより所望の再生速度によるスローモーションの映像信号Ｓ２を生成して出力する。
【００２８】
（２）実施例の動作
以上の構成において、映像信号Ｓ１は、前置フィルタ２により輝度信号Ｙが帯域制限された後、１フィールド遅延回路４により１フィールド遅延され、この１フィールド遅延回路４により遅延された輝度信号Ｙ１を基準にして動きベクトルＶ２が検出される。また動き補正画像生成回路１３において、この動きベクトルＶ２による動き内挿処理により、スローモーションの映像信号Ｓ２が生成される。
【００２９】
この動きベクトルＶ２の検出において、映像信号Ｓ１は、動きベクトル検出回路３において、１フィールド遅延回路４により遅延された輝度信号Ｙ１を基準にして、マクロブロック単位で動きベクトルＶが検出され、続く動き評価回路５において、この動きベクトルＶが評価ブロック単位で評価され、適宜、値０による動きベクトルに置き換えられて補正される。これにより映像信号Ｓ１においては、マクロブロック以下の大きさによる静止物体にあっては、この評価ブロックによる評価により、マクロブロック単位で誤って検出された動きベクトルＶが値０の動きベクトルにより補正され、これにより動き補正画像生成回路１３における小物体の誤った処理を有効に回避することができるようになされている。
【００３０】
映像信号Ｓ１は、さらにこの動き評価回路５による動きベクトルＶ１が、動きベクトル選択回路６において画素単位で評価されて適切な動きベクトルが選択される。この処理において、評価ブロック単位の動きベクトルＶ１がベクトルメモリ８に一旦記録されて、処理対象の画素の属する評価ブロックの動きベクトルＶ１が、この評価ブロックに隣接する評価ブロックであって、処理対象の画素が位置する側の評価ブロックに係る動きベクトルＶ１と共にベクトルメモリ８から読み出される。
【００３１】
しかしてこのような評価ブロック単位による動きベクトルＶ１は、この評価ブロックで最も多数を占める動きベクトルが検出され、これにより図２に示すように、評価ブロックＢＬ１１の８個の画素Ａ１１〜Ｈ１１のうち、おおむね半数の４画素以上にあっては、この評価ブロックＢＬ１１で検出された動きベクトルＶ１により正しく動きベクトルが検出されていることになる。
【００３２】
しかしながらこの評価ブロックＢＬ１１の各画素の動きベクトルのうち、少数を占める動きベクトルにあっては、この評価ブロックＢＬ１１で検出された動きベクトルＶ１が誤った動きベクトルであると言え、これによりこのような画素について、この評価ブロックによる動きベクトルＶ１により動き内挿して映像信号を生成したのでは、画像歪みが発生することになる。
【００３３】
しかしながらこのような動きベクトルが少数を占める画素にあっても、この画素に係る物体がある程度の大きさを有し、この物体が評価ブロックの境界を跨いでいる場合もあり、このような場合にあって、この画素に係る動きベクトルにあっては、この物体が跨いでなる境界により隣接する評価ブロックで検出される動きベクトルと一致することになる。またこのように一致しないまでも、隣接する評価ブロックによる動きベクトルの方が誤差が小さい場合もある。
【００３４】
これらによりこの実施例においては、このような一致する可能性のある動きベクトルＶ１として、ベクトルメモリ８から、処理対象の画素の属する評価ブロックに隣接する評価ブロックであって、処理対象の画素が位置する側の評価ブロックに係る動きベクトルＶ１が、処理対象の評価ブロックに係る動きベクトルＶ１と共に出力され、これらの動きベクトルＶ１から最も適した動きベクトルＶ１が検出されて選択される。すなわちこれらの動きベクトルにより動きベクトル検出基準の輝度信号Ｙ１が動き補正され、対応する画素との間でそれぞれ差分絶対値が検出され、この差分絶対値の最も小さな動きベクトルがこの画素の動きベクトルに選択される。
【００３５】
これにより評価ブロックにおいて正しく動きベクトルが検出されなかった画素については、周辺の評価ブロックで検出された動きベクトルにより正しい動きベクトルに補正されて出力され、その分、画素単位の動きベクトルの検出において、従来に比して動きベクトルの誤検出を低減することができる。
【００３６】
この映像信号処理装置１では、このようにして得られる画素単位の動きベクトルＶ３がメディアンフィルタ１２に入力されて孤立した値の動きベクトルが排除され、これによりこのような孤立した値の動きベクトルによる画質劣化が防止される。またこのメディアンフィルタ１２から出力される動きベクトルＶ２により動き補正画像生成回路１３で動き内挿処理に供され、これにより従来に比して格段的に画像歪みを低減することができる。
【００３７】
（３）実施例の効果
以上の構成によれば、動きベクトル検出ブロック単位で検出した動きベクトルを評価ブロック単位で評価し、さらに画素単位で評価するようにして、評価対象の画素の属する評価ブロックの動きベクトルと、隣接する評価ブロックの動きベクトルとで動きベクトルを評価して選択することにより、動き補正による画像歪みを従来に比して格段的に低減することができる。
【実施例２】
【００３８】
なお上述の実施例においては、フィールド間で動きベクトルを検出する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出する場合にも広く適用することができる。なおこの場合、画素単位の評価ブロックによる動きベクトルの選択にあっては、フレーム間差分値の比較により実行することになる。
【００３９】
また上述の実施例においては、スローモーションの映像信号の生成に本発明を適用する場合について述べたが、本発明はこれに限らず、例えば映像信号のフォーマット変換処理、ＨＤＴＶ（High Definition Television）のアップコンバータ等、動きベクトルを用いた映像信号の種々の処理に広く適用することができる。
【産業上の利用可能性】
【００４０】
本発明は、映像信号処理装置に関し、例えばスローモーションによる映像信号の作成に適用することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施例１に係る映像信号処理装置を示すブロック図である。
【図２】図１の映像信号処理装置の動作の説明に供する図表である。
【符号の説明】
【００４２】
１……映像信号処理装置、３……動きベクトル検出回路、５……動き評価回路、６……動きベクトル選択回路、１１……ベクトル選択評価回路、１２……メディアンフィルタ
【図１】
2005333282.tif 000003
【図２】
2005333282.tif 000004