(57)【要約】      （修正有）【課題】本発明は、動きベクトル検出方法及び動きベクトル検出装置に関し、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができるようにする。【解決手段】初期偏位ベクトルを検出し、この初期偏位ベクトルを基準にしてビデオ信号を処理して動きベクトルを検出する動きベクトル検出方法に適用して、前記ビデオ信号の周波数特性と、前記ビデオ信号の動きの検出とにより、前記初期偏位ベクトルの選択方法を切り換える。又前記初期偏位ベクトル検出手段は、前記動き検出結果、前記周波数特性検出結果に基づいて、前記初期偏位ベクトルの選択方法を切り換える。【選択図】        図１
2004186926.tif 000002
【特許請求の範囲】
【請求項１】
初期偏位ベクトルを検出し、この初期偏位ベクトルを基準にしてビデオ信号を処理して動きベクトルを検出する動きベクトル検出方法において、
前記ビデオ信号の周波数特性と、前記ビデオ信号の動きの検出とにより、前記初期偏位ベクトルの選択方法を切り換える
ことを特徴とする動きベクトル検出方法。
【請求項２】
順次入力されるビデオ信号について初期偏位ベクトルの候補を検出し、前記初期偏位ベクトルの候補から初期偏位ベクトルを選択する初期偏位ベクトル検出手段と、
前記初期偏位ベクトルを基準にして偏位ベクトルを検出する偏位ベクトル検出手段と、
前記初期偏位ベクトルに前記偏位ベクトルを加算して動きベクトルを検出する加算手段と、
前記ビデオ信号の動きを検出して動き検出結果を出力する動き検出手段と、
前記ビデオ信号の周波数特性を検出して周波数特性検出結果を出力する周波数特性検出手段とを備え、
前記初期偏位ベクトル検出手段は、
前記動き検出結果、前記周波数特性検出結果に基づいて、前記初期偏位ベクトルの選択方法を切り換える
ことを特徴とする動きベクトル検出回路。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法及び動きベクトル検出装置に関し、特に初期偏位ベクトルを用いた勾配法による動きベクトルの検出に適用することができる。本発明は、ビデオ信号の周波数特性、動きにより、初期偏位ベクトルの選択方法を切り換えることにより、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができるようにする。
【０００２】
【従来の技術】
従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。
【０００３】
このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ，ｎは整数）による動きベクトルの検出単位（すなわち動きベクトル検出ブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
【０００４】
このような動きベクトル検出手法のうち勾配法においては、例えば特開昭６２−２０６９８０号公報に、初期偏位ベクトルを用いて動きベクトルを検出する方法が提案されるようになされている。ここでこの初期偏位ベクトルは、動きベクトルの予測値であり、例えば周囲の動きベクトル検出ブロックで既に検出された動きベクトル等より検出される。この初期偏位ベクトルを用いた動きベクトル検出方法においては、特開平４−７８２８６号公報に、この初期偏位ベクトルを基準にして偏位ベクトルを検出した後、この初期偏位ベクトルと偏位ベクトルとの加算により動きベクトルを検出することにより、簡易な構成で動きベクトルを検出する方法が開示されるようになされている。
【０００５】
【特許文献１】
特開昭５５−１６２６３号公報
【特許文献２】
特開昭５５−１６２６８４号公報
【特許文献３】
特開昭６０−１５８７８６号公報
【特許文献４】
特開昭６２−２０６９８０号公報
【特許文献５】
特開平４−７８２８６号公報
【０００６】
【発明が解決しようとする課題】
ところでこの種の動きベクトル検出においては、ノイズによる動きベクトルの誤検出を有効に回避するため、前置フィルタによりビデオ信号の高域成分を抑圧するようになされている。
【０００７】
特に勾配法を用いた動きベクトル検出方法においては、ノイズの影響を受けやすいことにより、また動きベクトル検出ブロック内の画素値に一様な勾配が存在することを前提とし、この勾配を基準にして動きベクトルを検出していることにより、前置フィルタが不可欠である。
【０００８】
しかしながらこのような初期偏位ベクトルを用いた動きベクトルの検出においては、順次入力されるビデオ信号に基づいて複数の初期偏位ベクトルの候補から初期偏位ベクトルを検出していることにより、このように前置フィルタによりビデオ信号の高域成分を抑圧した場合、初期偏位ベクトルを誤って選択してしまう場合が発生する。このように初期偏位ベクトルを誤って選択してしまうと、初期偏位ベクトルを用いた動きベクトルの検出においては、続く偏位ベクトルの検出においても、偏位ベクトルを正しく検出し得ず、これにより結局、動きベクトルを誤検出してしまう問題がある。
【０００９】
本発明は以上の点を考慮してなされたもので、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができる動きベクトル検出方法及び動きベクトル検出装置を提案しようとするものである。
【００１０】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、初期偏位ベクトルを検出し、この初期偏位ベクトルを基準にしてビデオ信号を処理して動きベクトルを検出する動きベクトル検出方法に適用して、前記ビデオ信号の周波数特性と、前記ビデオ信号の動きの検出とにより、前記初期偏位ベクトルの選択方法を切り換える。
【００１１】
また請求項２の発明においては、動きベクトル検出回路に適用して、順次入力されるビデオ信号について初期偏位ベクトルの候補を検出し、前記初期偏位ベクトルの候補から初期偏位ベクトルを選択する初期偏位ベクトル検出手段と、前記初期偏位ベクトルを基準にして偏位ベクトルを検出する偏位ベクトル検出手段と、前記初期偏位ベクトルに前記偏位ベクトルを加算して動きベクトルを検出する加算手段と、前記ビデオ信号の動きを検出して動き検出結果を出力する動き検出手段と、前記ビデオ信号の周波数特性を検出して周波数特性検出結果を出力する周波数特性検出手段とを備え、前記初期偏位ベクトル検出手段は、前記動き検出結果、前記周波数特性検出結果に基づいて、前記初期偏位ベクトルの選択方法を切り換える。
【００１２】
請求項１の構成によれば、初期偏位ベクトルを検出し、この初期偏位ベクトルを基準にしてビデオ信号を処理して動きベクトルを検出する動きベクトル検出方法に適用して、前記ビデオ信号の周波数特性と、前記ビデオ信号の動きの検出とにより、前記初期偏位ベクトルの選択方法を切り換えることにより、静止画の領域であって、高周波成分の多い領域では、初期偏位ベクトルを値０に設定することができ、これにより誤って初期偏位ベクトルが値０に設定されることによる動きベクトルの誤検出を防止することができる。また動画の領域であって、高周波成分の多い領域では、値０の初期偏位ベクトルを出力しないようにすることができ、これによりこのような領域で値０の初期偏位ベクトルが出力されることによる動きベクトルの誤検出を防止することができる。
【００１３】
また請求項２の発明においては、動きベクトル検出回路に適用して、順次入力されるビデオ信号について初期偏位ベクトルの候補を検出し、前記初期偏位ベクトルの候補から初期偏位ベクトルを選択する初期偏位ベクトル検出手段と、前記初期偏位ベクトルを基準にして偏位ベクトルを検出する偏位ベクトル検出手段と、前記初期偏位ベクトルに前記偏位ベクトルを加算して動きベクトルを検出する加算手段と、前記ビデオ信号の動きを検出して動き検出結果を出力する動き検出手段と、前記ビデオ信号の周波数特性を検出して周波数特性検出結果を出力する周波数特性検出手段とを備え、前記初期偏位ベクトル検出手段は、前記動き検出結果、前記周波数特性検出結果に基づいて、前記初期偏位ベクトルの選択方法を切り換えることにより、静止画の領域であって、高周波成分の多い領域では、初期偏位ベクトルを値０に設定することができ、これにより誤って初期偏位ベクトルが値０に設定されることによる動きベクトルの誤検出を防止することができる。また動画の領域であって、高周波成分の多い領域では、値０の初期偏位ベクトルを出力しないようにすることができ、これによりこのような領域で値０の初期偏位ベクトルが出力されることによる動きベクトルの誤検出を防止することができる。
【００１４】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００１５】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る動きベクトル検出回路を示すブロック図である。この動きベクトル検出回路１は、例えばフォーマット変換装置、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等による符号化装置、ノイズ軽減装置等に適用されて、ビデオ信号を構成する輝度信号Ｙから動きベクトルＶを検出して出力する。なお動きベクトルの検出においては、輝度信号Ｙを使用する場合に限らず、色差信号Ｒ−Ｙ、Ｂ−Ｙを使用することも可能である。
【００１６】
この動きベクトル検出回路１において、前置フィルタ２は、２次元又は３次元のローパスフィルタであり、輝度信号Ｙを帯域制限して出力する。これにより動きベクトル検出回路１は、動きベクトルの検出エラーを軽減し、さらに勾配法により動きベクトルを検出するようになされている。
【００１７】
動き検出回路３は、動きベクトル検出ブロック単位で、輝度信号Ｙにおける動きの有無を検出して検出結果Ｓ１を出力する。動き検出回路３は、連続するフィールドの対応する画素間において、画素値の絶対差を所定の判定基準値により判定する。さらにこの判定結果を動きベクトル検出ブロック単位で集計し、この集計結果を判定して動きベクトルの有無を判定する。なおこの動きの判定方法にあっては、種々の方法に適用することができる。
【００１８】
高周波成分検出回路４は、輝度信号Ｙに含まれる高周波成分の程度を検出して検出結果を出力する。図２は、この高周波成分検出回路４の構成を示すブロック図である。高周波成分検出回路４は、例えば２次元のローパスフィルタによる前置フィルタ５により輝度信号の高域を抑圧した後、続く減算回路６で元の輝度信号Ｙから減算する。さらに比較回路７において、この減算回路６より得られる減算結果を所定の判定基準値αにより判定し、これにより高周波成分の所定値以上の有無を示す検出結果Ｓ２を出力する。
【００１９】
初期偏位ベクトル検出回路１０は、これら動きの有無を示す検出結果Ｓ１、高周波成分の所定値以上の有無を示す検出結果Ｓ２に基づいて、輝度信号Ｙの初期偏位ベクトルＶ１を検出して出力する。初期偏位ベクトル検出回路１０は、既に検出された動きベクトルに基づいて、初期偏位ベクトルの候補を６種類求め、これらの中から最も適切なものを選択して初期偏位ベクトルＶ１を出力する。
【００２０】
ここで図３に示すように、初期偏位ベクトル検出回路１０は、現フィールドで既に検出された動きベクトルのうち、処理対象の動きベクトル検出ブロック（図３においてハッチングにより示す）に対して、走査開始側のライン方向に隣接する動きベクトル検出ブロックで検出された動きベクトルＶＡ、さらに隣々接する動きベクトル検出ブロックで検出された動きベクトルＶＢ、走査開始側の垂直方向に隣接する動きベクトル検出ブロックで検出された動きベクトルＶＣ、この垂直方向に隣接する動きベクトル検出ブロックに対して、水平方向の走査終了側に隣接する動きベクトル検出ブロックで検出された動きベクトルＶＤをそれぞれ第１、第２、第４、第３の初期偏位ベクトルの候補に設定する。
【００２１】
また前フィールドの対応する動きベクトル検出ブロックに対して、水平方向及び垂直方向の双方について走査終了側に隣接する動きベクトル検出ブロックで検出された動きベクトルＶＥを第５の初期偏位ベクトルの候補に設定する。また前フィールドの対応する動きベクトル検出ブロックに対して、この動きベクトル検出ブロックで検出された動きベクトルＶｅと、この動きベクトル検出ブロックの周囲の動きベクトル検出ブロックでそれぞれ検出された動きベクトルＶａ、Ｖｂ、Ｖｃ、Ｖｄ、Ｖｆ、Ｖｇ、Ｖｈ、ＶＥとにより平均値ＶＦ＝（Ｖａ＋Ｖｂ＋Ｖｃ＋Ｖｄ＋Ｖｅ＋Ｖｆ＋Ｖｇ＋Ｖｈ＋ＶＥ）／９を得、この平均値ＶＦを第６の初期偏位ベクトルの候補に設定する。
【００２２】
初期偏位ベクトル検出回路１０は、これら６種類の初期偏位ベクトルの候補によりそれぞれ前フィールドの輝度信号Ｙを動き補正し、その結果得られる各初期偏位ベクトルの候補による輝度信号Ｙと、現フィールドの輝度信号Ｙとの間で、それぞれ画素値の差分絶対値和を動きベクトル検出ブロック単位で検出する。さらに初期偏位ベクトル検出回路１０は、このようにして得られる各初期偏位ベクトルの候補による差分絶対値和を比較し、この差分絶対値和が最も小さな初期偏位ベクトルの候補を初期偏位ベクトルＶ１として出力する。なおこのようにして比較した場合に、値の等しい差分絶対値和が検出された場合、第１〜第６の初期偏位ベクトルの候補の順に、初期偏位ベクトルの候補を選択して初期偏位ベクトルＶ１に設定する。
【００２３】
これらの処理において、初期偏位ベクトル検出回路１０は、動きの有無を示す検出結果Ｓ１により静止画の領域と判断される場合であって、かつ高周波成分の有無を示す検出結果Ｓ２より高周波成分が多い領域であると判断される場合、初期偏位ベクトルを値０に設定して出力する。
【００２４】
これに対して動きの有無を示す検出結果Ｓ１により動画の領域と判断される場合であって、かつ高周波成分の有無を示す検出結果Ｓ２より高周波成分が多い領域であると判断される場合、値０の初期偏位ベクトルを初期偏位ベクトルの候補より除外して初期偏位ベクトルＶ１を選択する。
【００２５】
これらによりこの実施の形態においては、入力画像の周波数特性及び動画の検出結果をパラメータに設定して、初期偏位ベクトルの選択方法を切り換えるようになされ、これにより動きベクトルの誤検出を有効に回避するようになされている。
【００２６】
偏位ベクトル検出回路８（図１）は、勾配法により偏位ベクトルΔＶを検出して出力する。ここで偏位ベクトルΔＶは、動きベクトルＶと初期偏位ベクトルＶ１との差分によるベクトルである。偏位ベクトル検出回路８（図１）は、前フィールドの輝度信号Ｙを初期偏位ベクトルＶ１により動き補正し、この動き補正した輝度信号Ｙと現フィールドの輝度信号Ｙとの間の勾配法による演算により、偏位ベクトルΔＶを検出する。
【００２７】
加算回路９は、この偏位ベクトルΔＶを初期偏位ベクトルＶ１に加算し、その加算結果を動きベクトルＶとして出力する。
【００２８】
（２）実施の形態の動作
以上の構成において、順次入力される輝度信号Ｙは、前置フィルタ２で高域成分が抑圧された後、初期偏位ベクトル検出回路１０で初期偏位ベクトルＶ１の候補が６種類検出され、この６種類の候補より初期偏位ベクトルＶ１が検出される。また続く偏位ベクトル検出回路８でこの初期偏位ベクトルＶ１を基準にして偏位ベクトルΔＶが検出され、加算回路９において初期偏位ベクトルＶ１に偏位ベクトルΔＶが加算されて動きベクトルＶが検出される。
【００２９】
輝度信号Ｙは、これら一連の処理において、別途、高周波成分検出回路４において、高周波成分の有無が検出され、動き検出回路３で動きが検出される。またこれら高周波成分の検出結果Ｓ１、動きの検出結果Ｓ２に基づいて、初期偏位ベクトル検出回路１０における初期偏位ベクトルＶ１の選択方法が切り換えられる。
【００３０】
これによりこの初期偏位ベクトルＶ１においては、静止画の領域であって、高周波成分の多い領域では、値０に設定され、これにより誤って初期偏位ベクトルが値０に設定されることによる動きベクトルの誤検出が防止される。また動画の領域であって、高周波成分の多い領域では、値０の初期偏位ベクトルを出力しないようにし、これによりこのような領域で値０の初期偏位ベクトルが出力されることによる動きベクトルの誤検出が防止される。
【００３１】
すなわち動画の領域で、値０による初期偏位ベクトルが検出される場合には、明らかに初期偏位ベクトルの選択が誤っている場合である。またこれとは逆に、静止画の領域で値０以外の初期偏位ベクトルが検出される場合には、明らかに初期偏位ベクトルの選択が誤っている場合である。これらの場合に、この実施の形態のように、初期偏位ベクトルと偏位ベクトルにより動きベクトルを検出する場合には、偏位ベクトルの検出でこのような初期偏位ベクトルの誤選択の解消を期待することができる。しかしながらビデオ信号に高域成分が多く、この高域成分が前置フィルタ２により失われている場合、このような偏位ベクトルによっては初期偏位ベクトルにおける誤選択を解消し得なくる。
【００３２】
これにより動画の領域において、高周波成分が多い場合に、値０の初期偏位ベクトルを出力しないようにすれば、その分、より信頼性の高い初期偏位ベクトルを基準にして偏位ベクトルを検出して動きベクトルを検出することにより、動きベクトルの検出エラーを防止することができる。また静止画の領域において、高周波成分が多い場合に、値０の初期偏位ベクトルを出力するようにすれば、同様に動きベクトルの検出エラーを防止することができる。
【００３３】
これらによりこの実施の形態では、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができるようになされている。
【００３４】
（３）実施の形態の効果
以上の構成によれば、ビデオ信号の周波数特性、動きにより、初期偏位ベクトルの選択方法を切り換えることにより、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができる。これにより各種ビデオ信号の処理に適用して画像歪みを低減等することができる。
【００３５】
（４）他の実施の形態
なお上述の実施の形態においては、ローパスフィルタを介して高域成分を抑圧して元の輝度信号と比較することにより、ビデオ信号の周波数特性を検出する場合について述べたが、本発明はこれに限らず、ビデオ信号の高周波成分を抽出して判定する場合、さらにはＦＦＴ等によりビデオ信号を周波数解析する場合等、種々の周波数特性検出手法を広く適用することができる。
【００３６】
また上述の実施の形態においては、画素値の差分絶対値を所定の判定基準値により判定して動きベクトル検出ブロック単位で集計し、この集計結果を判定して動きを検出する場合について述べたが、本発明はこれに限らず、例えば画素値の差分絶対値和を判定して動きを検出する場合等、種々の検出手法を広く適用することができる。
【００３７】
また上述の実施の形態においては、６種類の候補より初期偏位ベクトルを選択する場合について述べたが、本発明はこれに限らず、複数の候補より初期偏位ベクトルを選択する場合に広く適用することができ、またこれら初期偏位ベクトルの検出においても、種々の検出手法を広く適用することができる。
【００３８】
【発明の効果】
上述のように本発明によれば、ビデオ信号の周波数特性、動きにより、初期偏位ベクトルの選択方法を切り換えることにより、初期偏位ベクトルと偏位ベクトルとにより動きベクトルを検出する場合に、前置フィルタを設けるようにしても動きベクトルの検出エラーを有効に回避することができる。
【図面の簡単な説明】
【図１】
本発明の実施の形態に係る動きベクトル検出回路を示すブロック図である。
【図２】
図１の動きベクトル検出回路における動き検出回路を示すブロック図である。
【図３】
図１の動きベクトル検出回路における初期偏位ベクトル検出回路の動作の説明に供する略線図である。
【符号の説明】
１……動きベクトル検出回路、２、５……前置フィルタ、３……動き検出回路、４……高周波成分検出回路、８……偏位ベクトル検出回路、９……加算回路、１０……初期偏位ベクトル検出回路
【図１】
2004186926.tif 000003
【図２】
2004186926.tif 000004
【図３】
2004186926.tif 000005