(57)【要約】【課題】本発明は、動きベクトル検出方法及び動きベクトル検出装置に関し、特に勾配法による動きベクトルの検出に適用して、従来に比して動きベクトルの検出精度を向上する。【解決手段】本発明は、異なる演算式に基づいて求めた複数の動きベクトルＶｄ、Ｖｅを、対応する動きベクトルの検出単位における画像の特徴に応じて選択出力する。【選択図】        図１
2004153363.tif 000002
【特許請求の範囲】
【請求項１】
所定大きさの動きベクトル検出単位毎に、動きベクトルを検出する動きベクトル検出方法において、
異なる演算式に基づいて求めた複数の動きベクトルを、対応する前記動きベクトルの検出単位における画像の特徴に応じて選択出力する
ことを特徴とする動きベクトル検出方法。
【請求項２】
前記画像の特徴が、
画像勾配である
ことを特徴とする請求項１に記載の動きベクトル検出方法。
【請求項３】
第１の演算式に基づいて動きベクトルを検出する第１の動きベクトル検出回路と、
前記第１の演算式とは異なる演算式に基づいて動きベクトルを検出する第２の動きベクトル検出回路と、
前記第１及び第２の動きベクトル検出回路で検出される動きベクトルに対応する前記動きベクトルの検出単位毎に、画像の特徴を検出する画像検出回路と、
前記画像検出回路の検出結果に基づいて、前記第１及び第２の動きベクトル検出回路で検出される動きベクトルを選択出力する選択回路と
を備えることを特徴とする動きベクトル検出装置。
【請求項４】
前記画像検出回路で検出される画像の特徴が、
画像勾配である
ことを特徴とする請求項３に記載の動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法及び動きベクトル検出装置に関し、特に勾配法による動きベクトルの検出に適用することができる。本発明は、異なる演算式に基づいて求めた複数の動きベクトルを、対応する動きベクトルの検出単位における画像の特徴に応じて選択出力することにより、従来に比して動きベクトルの検出精度を向上することができるようにする。
【０００２】
【従来の技術】
従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるジャーダーと称されるギクシャクとした動きを滑らかな動きに補正するようになされている。
【０００３】
このような動きベクトルの検出においては、ビデオ信号をｍ画素×ｎライン（ｍ，ｎは整数）による動きベクトルの検出単位にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
【０００４】
これらの検出方法のうち、勾配法は、画像勾配とフレーム間差分値とを用いた演算式で動きベクトルを検出する方法であり、現在、この演算式として２種類の演算式が実用に供されるようになされている。
【０００５】
すなわちこれらの演算式のうち１つは、次式により表され、以下において、この演算式を用いた動きベクトルの検出方法を直接勾配法と呼ぶ。なおΔＸは、水平方向である画素方向の画像勾配、ＳＧＮΔＸは、このΔＸによる画像勾配の極性（正負）である。またΔＹは、垂直方向であるライン方向の画像勾配、ＳＧＮΔＹは、このΔＹによる画像勾配の極性（正負）である。またΔｔは、フィールド間差分値を示し、Ｖｘ及びＶｙは、それぞれ画素方向及びライン方向の動きベクトルである。
【０００６】
【数１】
2004153363.tif 000003
【０００７】
これに対して他の演算式は、次式により表され、以下において、この演算式を用いた動きベクトルの検出方法を簡易勾配法と呼ぶ。
【０００８】
【数２】
2004153363.tif 000004
【０００９】
【特許文献１】
特開昭５５−１６２６３号公報
【特許文献２】
特開昭５５−１６２６８４号公報
【特許文献３】
特開昭６０−１５８７８６号公報
【００１０】
【発明が解決しようとする課題】
ところでこれら直接勾配法及び簡易勾配法においては、一長一短がある。すなわち直接勾配法においては、簡易勾配法に比して、検出精度が優れるものの、水平方向及び垂直方向の画像勾配ΔＸ及びΔＹの何れかが値０の場合、Ｆ＝０となり、これにより水平方向及び垂直方向に画像勾配が有る場合にのみ動きベクトルを検出することが可能となり、一方の画像勾配しかない画像においては、動きベクトル検出が不可能となる。これにより直接勾配法においては、縦線が急に動いた場合などは、動きベクトルの検出エラーが発生する問題がある。またカラーバー信号が横スクロールした信号では、カラーバーの縦エッジにおいて動きベクトルの検出エラーが発生する。
【００１１】
これに対して簡易勾配法においては、このような縦線等の画像勾配が水平方向のみの場合等にあっては、直接勾配法に比して動きベクトルの検出精度が高い反面、演算式が簡易で、かつ水平方向及び垂直方向の画像勾配ΔＸ及びΔＹが互いに無関係であることにより、直接勾配法に比して動きベクトルの検出エラーが増大する問題がある。
【００１２】
本発明は以上の点を考慮してなされたもので、従来に比して動きベクトルの検出精度を向上することができる勾配法による動きベクトル検出方法及び動きベクトル検出装置を提案しようとするものである。
【００１３】
【課題を解決するための手段】
かかる課題を解決するため請求項１の発明においては、所定大きさの動きベクトル検出単位毎に、動きベクトルを検出する動きベクトル検出方法に適用して、異なる演算式に基づいて求めた複数の動きベクトルを、対応する前記動きベクトルの検出単位における画像の特徴に応じて選択出力する。
【００１４】
また請求項２の発明においては、請求項１の構成において、前記画像の特徴が、画像勾配であるようにする。
【００１５】
また請求項３の発明においては、動きベクトル検出装置に適用して、第１の演算式に基づいて動きベクトルを検出する第１の動きベクトル検出回路と、前記第１の演算式とは異なる演算式に基づいて動きベクトルを検出する第２の動きベクトル検出回路と、前記第１及び第２の動きベクトル検出回路で検出される動きベクトルに対応する前記動きベクトルの検出単位毎に、画像の特徴を検出する画像検出回路と、前記画像検出回路の検出結果に基づいて、前記第１及び第２の動きベクトル検出回路で検出される動きベクトルを選択出力する選択回路とを備えるようにする。
【００１６】
また請求項４の発明においては、請求項３の構成において、前記画像検出回路で検出される画像の特徴が、画像勾配であるようにする。
【００１７】
請求項１の構成によれば、所定大きさの動きベクトル検出単位毎に、動きベクトルを検出する動きベクトル検出方法に適用して、異なる演算式に基づいて求めた複数の動きベクトルを、対応する前記動きベクトルの検出単位における画像の特徴に応じて選択出力することにより、例えばこれら異なる演算式に直接勾配法及び簡易勾配法による動きベクトル検出の演算式を適用して、一方の演算式によっては検出精度が劣る場合に、他方の演算式による動きベクトルを出力することができ、これにより従来に比して動きベクトルの検出精度を向上することができる。
【００１８】
また請求項２の発明においては、請求項１の構成において、前記画像の特徴が、画像勾配であることにより、適切に勾配法による演算式を切り換えて使用することができる。
【００１９】
これにより請求項３、請求項４の構成によれば、従来に比して動きベクトルの検出精度を向上することができる動きベクトル検出装置を提供することができる。
【００２０】
【発明の実施の形態】
以下、適宜図面を参照しながら本発明の実施の形態を詳述する。
【００２１】
（１）実施の形態の構成
図１は、本発明の実施の形態に係る動きベクトル検出回路を示すブロック図である。この動きベクトル検出回路１において、前置フィルタ２は、ビデオ信号Ｓ１の帯域を制限して出力する。初期偏位ベクトル検出部３は、前置フィルタ２から出力されるビデオ信号について初期偏位ベクトルを検出してビデオ信号と共に出力する。直接勾配法演算回路４は、この初期偏位ベクトルを基準にして（１−１）及び（１−２）式の演算処理を実行することにより、直接勾配法による動きベクトルＶｄ（Ｖｄｘ、Ｖｄｙ）を検出して出力する。簡易勾配法演算回路５は、初期偏位ベクトルを基準にして（２−１）及び（２−２）式の演算処理を実行することにより、簡易勾配法による動きベクトルＶｅ（Ｖｅｘ、Ｖｅｙ）を検出して出力する。
【００２２】
画像勾配演算回路６は、前置フィルタ２から出力されるビデオ信号を受け、それぞれ水平方向及び垂直方向の画像勾配ΔＸ、ΔＹを計算して出力する。より具体的に、画像勾配演算回路６は、図２に示すように、画像勾配ΔＸ、ΔＹの計算対象が画素Ａである場合、この画素Ａに対して水平方向に隣接する画素Ｂ及びＣとの間で、これら画素Ｂ及びＣの符号により画素値を表して、ΔＸ＝（Ｃ−Ｂ）／２の演算処理を実行することにより、水平方向の画像勾配ΔＸを計算する。また同様に、垂直方向に隣接する画素Ｄ及びＥとの間で、これら画素Ｄ及びＥの符号により画素値を表して、ΔＹ＝（Ｅ−Ｄ）／２の演算処理を実行することにより、水平方向の画像勾配ΔＹを計算する。
【００２３】
勾配法選択回路７は、このようにして画像勾配演算回路６で計算される画像勾配ΔＸ、ΔＹに応じて、直接勾配法による動きベクトルＶｄと簡易勾配法による動きベクトルＶｅとを選択し、動きベクトルＶを出力する。すなわち勾配法選択回路７は、画像勾配演算回路６で計算される画像勾配ΔＸ、ΔＹを動きベクトルの検出単位毎に加算し、画像勾配の加算値ΣΔＸ、ΣΔＹを計算する。
【００２４】
さらに勾配法選択回路７は、この加算値による画像勾配ΣΔＸ、ΣΔＹを判定し、画像勾配ΣΔＸ、ΣΔＹが共に値０でない場合、すなわち水平方向及び垂直方向に共に画像勾配が有る場合、（１−１）式及び（１−２）式による直接勾配法による動きベクトルＶｄを選択する。
【００２５】
これに対して水平方向の画像勾配ΣΔＸが値０でない場合であり、かつ垂直方向の画像勾配ΣΔＹが値０の場合、勾配法選択回路７は、（２−１）式による簡易勾配法による水平方向の動きベクトルＶｅｘを選択すると共に、垂直方向の動きベクトルを値０に設定し、動きベクトル（Ｖｅｘ，０）を出力する。
【００２６】
また水平方向の画像勾配ΣΔＸが値０の場合であり、かつ垂直方向の画像勾配ΣΔＹが値０でない場合、勾配法選択回路７は、（２−２）式による簡易勾配法による垂直方向の動きベクトルＶｅｙを選択すると共に、水平方向の動きベクトルを値０に設定し、動きベクトル（０，Ｖｅｙ）を出力する。
【００２７】
これに対して画像勾配ΣΔＸ、ΣΔＹが共に値０の場合、水平方向及び垂直方向の双方について動きベクトルを値０に設定して出力する。
【００２８】
これらによりこの動きベクトル検出回路１において、初期偏位ベクトル検出部３及び直接勾配法演算回路４は、第１の演算式に基づいて動きベクトルを検出する第１の動きベクトル検出回路を構成し、初期偏位ベクトル検出部３及び簡易勾配法演算回路５は、第１の演算式とは異なる演算式に基づいて動きベクトルを検出する第２の動きベクトル検出回路を構成するようになされている。また画素勾配演算回路６及び勾配法選択回路７は、第１及び第２の動きベクトル検出回路で検出される動きベクトルに対応する動きベクトルの検出単位毎に、画像の特徴を検出する画像検出回路を構成し、勾配法選択回路７は、この画像検出回路の検出結果に基づいて、第１及び第２の動きベクトル検出回路で検出される動きベクトルを選択出力する選択回路を構成するようになされている。
【００２９】
（２）実施の形態の動作
以上の構成において、この動きベクトル検出回路１では、順次入力されるビデオ信号Ｓ１の周波数特性が前置フィルタ２により補正された後、初期偏位ベクトル検出部３で初期偏位ベクトルが検出され、この初期偏位ベクトルに基づいて続く直接勾配法演算回路４で直接勾配法により動きベクトルＶｄが検出される。また同様にして簡易勾配法演算回路５において、簡易勾配法により動きベクトルＶｅが検出される。
【００３０】
また画素勾配演算回路６において、垂直方向及び水平方向の画像勾配ΔＸ及びΔＹが計算され、勾配法選択回路７において、これら画像勾配ΔＸ及びΔＹが動きベクトルの検出単位毎に加算され、これにより各動きベクトルの検出単位毎に、画像勾配ΣΔＸ及びΣΔＹが画像の特徴として検出される。動きベクトル検出回路１では、この画像の特徴により直接勾配法による動きベクトルＶｄと簡易勾配法による動きベクトルＶｅとが選択されて、さらには水平方向及び垂直方向の動きベクトルが値０に設定されて、動きベクトルＶが出力される。
【００３１】
これにより動きベクトル検出回路１においては、直接勾配法と簡易勾配法とで両者の欠点を補い合い、動きベクトルの検出精度を向上することができる。
【００３２】
すなわち画像勾配ΣΔＸ、ΣΔＹが共に値０でない場合、すなわち水平方向及び垂直方向に共に画像勾配が有る場合、この場合、直接勾配法では動きベクトルの検出エラーが無く、かつ直接勾配法においては、動きベクトルの検出精度が簡易勾配法に比して高いことにより、直接勾配法による動きベクトルＶｄが選択される。
【００３３】
これに対して何れかの方向の画像勾配ΣΔＸ、ΣΔＹが値０の場合、すなわち水平方向又は垂直方向に画像勾配が無い場合、直接勾配法においてはエラーが発生し、また簡易勾配法においても、対応する方向の動きベクトルの検出でエラーが発生することにより、簡易勾配法においてエラーが発生しない方向である画像勾配ΣΔＸ、ΣΔＹが値０で無い側の動きベクトルＶｅｘ又はＶｅｙが選択され、また画像勾配ΣΔＸ、ΣΔＹが値０の側の動きベクトルＶｅｙ又はＶｅｘが値０に設定され、動きベクトルＶが出力される。
【００３４】
また画像勾配ΣΔＸ、ΣΔＹが共に値０の場合、直接勾配法、簡易勾配法の双方において検出エラーが発生することにより、この場合、水平方向及び垂直方向の双方について動きベクトルが値０に設定される。
【００３５】
これにより直接勾配法による場合には、エラーの発生する水平方向又は垂直方向に画像勾配が無い場合でも、簡易勾配法の動きベクトルを採用することによりエラーの発生を有効に回避して動きベクトルを検出することができ、その分、直接勾配法のみにより動きベクトルを検出する場合に比して動きベクトルの検出精度を向上することができる。
【００３６】
また水平方向及び垂直方向の双方に画像勾配が有る場合には、直接勾配法による動きベクトルを採用することにより、簡易勾配法のみにより動きベクトルを検出する場合に比して動きベクトルの検出精度を向上することができる。
【００３７】
また垂直方向及び水平方向の双方で画像勾配が無い場合には、動きベクトルを値０に設定することにより、直接勾配法のみ又は簡易勾配法のみにより動きベクトルを検出する場合に比してエラーの発生を防止し得、これによっても動きベクトルの検出精度を向上することができる。
【００３８】
（３）実施の形態の効果
以上の構成によれば、異なる演算式に基づいて求めた複数の動きベクトルを、対応する動きベクトルの検出単位における画像の特徴に応じて選択出力することにより、従来に比して動きベクトルの検出精度を向上することができる。従って例えばテレビジョン信号におけるフォーマット変換で動きベクトルを用いて動き補正する場合に、画像歪みを軽減することができる。
【００３９】
またこの画像の特徴が画像勾配であることにより、これら異なる演算式に直接勾配法及び簡易勾配法による演算式を適用した場合に、適切に勾配法による演算式を切り換えて使用することができる。
【００４０】
（４）他の実施の形態
なお上述の実施の形態においては、単に画素単位の画像勾配を動きベクトルの検出単位で加算して処理する場合について述べたが、本発明はこれに限らず、例えば画素単位の画像勾配を絶対値化して加算する場合等、画像勾配の検出方法にあっては、種々の手法を適用することができる。
【００４１】
また上述の実施の形態においては、画像の特徴として画像勾配を利用する場合について述べたが、本発明はこれに限らず、例えば輪郭抽出によるエッジ情報等を利用するようにしてもよく、画像の特徴を示す種々のパラメータを広く適用することができる。
【００４２】
また上述の実施の形態においては、（１−１）式、（１−２）式、（２−１）式、（２−２）式により動きベクトルを検出する場合について述べたが、本発明はこれに限らず、演算式にあっては、各種の動きベクトル検出用の演算式を広く適用することができる。
【００４３】
【発明の効果】
上述のように本発明によれば、異なる演算式に基づいて求めた複数の動きベクトルを、対応する動きベクトルの検出単位における画像の特徴に応じて選択出力することにより、従来に比して動きベクトルの検出精度を向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る動きベクトル検出回路を示すブロック図である。
【図２】図１の動きベクトル検出回路の動作の説明に供する略線図である。
【符号の説明】
１……動きベクトル検出回路、２……前置フィルタ、３……初期偏位ベクトル検出部、４……直接勾配法演算回路、５……簡易勾配法演算回路、６……画素勾配演算回路、７……勾配法選択回路
【図１】
2004153363.tif 000005
【図２】
2004153363.tif 000006