(57)【要約】【課題】  本発明は、動きベクトル検出装置に関し、背景に対して動きが異なる小物体の動きを検出する場合に適用して、小物体についての動きベクトルを正しく検出することができるようにする。【解決手段】  本発明は、マクロブロックＭＢ１と、このマクロブロックＭＢ１に対してオフセットさせてなるオフセットブロックＭＢ２とにより動きベクトルＭＶＡ、ＭＶＢを検出し、これらの動きベクトルＭＶＡ、ＭＶＢをフィールド間差分値ＤＦＤ  Ａ、ＤＦＤ  Ｂ又はフレーム間差分値により選択出力する。【選択図】        図１
2005229154.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ信号の動きベクトルを検出して出力する動きベクトル検出装置において、
マクロブロックにより前記ビデオ信号の動きベクトルを順次検出する主の動きベクトル検出手段と、
前記マクロブロックを水平方向及び垂直方向に分割してなる検出ブロック単位で、前記マクロブロックをオフセットさせてなるオフセットブロックにより順次動きベクトルを検出する副の動きベクトル検出手段と、
前記検出ブロック単位で、前記主の動きベクトル検出手段による動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、
主の差分値演算手段に対応して、前記副の動きベクトル検出手段による動きベクトルにより動き補正して、フィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、
前記主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、前記副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、
前記比較手段の比較結果に基づいて、前記検出ブロック毎に、前記主又は副の動きベクトル検出手段による動きベクトルを選択出力する選択手段と
を備えることを特徴とする動きベクトル検出装置。
【請求項２】
前記オフセットブロックが、
前記マクロブロックの大きさの１／２の大きさだけ、前記マクロブロックをオフセットさせてなる
ことを特徴とする請求項１に記載の動きベクトル検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトル検出装置に関し、背景に対して動きが異なる小物体の動きを検出する場合に適用することができる。本発明は、マクロブロックと、このマクロブロックに対してオフセットさせてなるオフセットブロックとにより動きベクトルを検出し、これらの動きベクトルをフィールド間差分値又はフレーム間差分値により選択出力することにより、背景に対して動きが異なる小物体についても動きベクトルを正しく検出することができるようにする。
【背景技術】
【０００２】
従来、ビデオ信号の高能率符号化処理においては、動きベクトルを用いてフレーム間符号化処理の効率を向上させるようになされており、またテレビジョン信号のフォーマット変換においては、動きベクトルを用いた動き補正により、フィールド数の変換によるギクシャクとした動きを滑らかな動きに補正するようになされている。
【０００３】
このような動きベクトルの検出は、ビデオ信号をｍ画素×ｎライン（ｍ、ｎは整数）による動きベクトルの検出単位のブロック（すなわちマクロブロックである）にブロック化し、各ブロック毎に動きベクトルを検出するようになされており、例えば特開昭５５−１６２６８３号公報、特開昭５５−１６２６８４号公報に開示のパターンマッチング法、特開昭６０−１５８７８６号公報に開示の勾配法、位相相関法等が用いられるようになされている。
【０００４】
このような動きベクトル検出手法においては、マクロブロック程度の大きさによる小物体、マクロブロック以下の大きさによる小物体については、動きベクトルを正しく検出できない問題があった。
【０００５】
すなわちこのような小物体であっても、マクロブロックの中心と小物体の中心とが一致している場合、小物体に係るマクロブロックにおいては、この小物体に係る画素が大多数を占めることにより、この場合は、小物体の動きベクトルを正しく検出することができる。しかしながら隣接するマクロブロックとの境界に小物体の中心が位置する場合等にあっては、この隣接するマクロブロックにおいては、背景の画素が多くを占めることになり、これによりこの場合は、小物体の動きベクトルを正しく検出できなくなる。
【０００６】
この問題点を解決するための一つの方法として、動きベクトルのマクロブロックの大きさを小さくして動きベクトルを検出する方法も考えられる。しかしながらこのようにすると、ノイズにより動きベクトルの検出精度が劣化する問題がある。
【特許文献１】特開昭５５−１６２６８３号公報
【特許文献２】特開昭５５−１６２６８４号公報
【特許文献３】特開昭６０−１５８７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は以上の点を考慮してなされたもので、背景に対して動きが異なる小物体についても動きベクトルを正しく検出することができる動きベクトル検出装置を提案しようとするものである。
【課題を解決するための手段】
【０００８】
係る課題を解決するため請求項１の発明においては、ビデオ信号の動きベクトルを検出して出力する動きベクトル検出装置に適用して、マクロブロックによりビデオ信号の動きベクトルを順次検出する主の動きベクトル検出手段と、マクロブロックを水平方向及び垂直方向に分割してなる検出ブロック単位で、マクロブロックをオフセットさせてなるオフセットブロックにより順次動きベクトルを検出する副の動きベクトル検出手段と、検出ブロック単位で、主の動きベクトル検出手段による動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、主の差分値演算手段に対応して、副の動きベクトル検出手段による動きベクトルにより動き補正して、フィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、比較手段の比較結果に基づいて、検出ブロック毎に、主又は副の動きベクトル検出手段による動きベクトルを選択出力する選択手段とを備えるようにする。
【０００９】
また請求項２の発明においては、請求項１の構成において、オフセットブロックが、マクロブロックの大きさの１／２の大きさだけ、マクロブロックをオフセットさせてなるようにする。
【００１０】
請求項１の構成によれば、ビデオ信号の動きベクトルを検出して出力する動きベクトル検出装置に適用して、マクロブロックによりビデオ信号の動きベクトルを順次検出する主の動きベクトル検出手段と、マクロブロックを水平方向及び垂直方向に分割してなる検出ブロック単位で、マクロブロックをオフセットさせてなるオフセットブロックにより順次動きベクトルを検出する副の動きベクトル検出手段と、検出ブロック単位で、主の動きベクトル検出手段による動きベクトルにより動き補正してフィールド間差分値又はフレーム間差分値を検出する主の差分値演算手段と、主の差分値演算手段に対応して、副の動きベクトル検出手段による動きベクトルにより動き補正して、フィールド間差分値又はフレーム間差分値を検出する副の差分値演算手段と、主の差分値演算手段によるフィールド間差分値又はフレーム間差分値と、副の差分値演算手段によるフィールド間差分値又はフレーム間差分値とを比較する比較手段と、比較手段の比較結果に基づいて、検出ブロック毎に、主又は副の動きベクトル検出手段による動きベクトルを選択出力する選択手段とを備えることにより、マクロブロックによるフィールド間差分値又はフレーム間差分値とオフセットブロックによるフィールド間差分値又はフレーム間差分値の比較により、何れの側で検出された動きベクトルの方が正しいかを判定して選択出力することができ、背景に対して動きが異なる小物体についても動きベクトルを正しく検出することができる。
【００１１】
また請求項２の構成によれば、請求項１の構成において、オフセットブロックが、マクロブロックの大きさの１／２の大きさだけ、マクロブロックをオフセットさせてなるようにすることにより、マクロブロック及びオフセットブロックで動きベクトルの検出精度が相補的に変化するようにし得、これにより小物体とマクロブロックとの相対的な位置による動きベクトルの検出精度の変化を有効に回避することができる。
【発明の効果】
【００１２】
本発明によれば、背景に対して動きが異なる小物体についても動きベクトルを正しく検出することができ、これにより種々の映像信号の処理に適用して画像歪みの発生を軽減することができる。
【発明を実施するための最良の形態】
【００１３】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１４】
（１）実施例の構成
図１は、本発明の実施例１に係る動きベクトル検出装置を示すブロック図である。この動きベクトル検出装置１は、例えばフォーマット変換装置、ＭＰＥＧ（Moving Picture Experts Group）等による符号化装置、ノイズ軽減装置等に適用されて、ビデオ信号を構成する輝度信号Ｙから動きベクトルＶを検出して出力する。なお動きベクトルの検出においては、輝度信号Ｙを使用する場合に限らず、色差信号Ｒ−Ｙ、Ｂ−Ｙを使用することも可能である。
【００１５】
この動きベクトル検出装置１において、前置フィルタ２は、二次元のローパスフィルタであり、輝度信号Ｙを入力して高域成分を抑圧し、これによりノイズによる動きベクトルの誤検出を防止する。なおこの前置フィルタ２は、ローパスフィルタに限らず、帯域通過フィルタを適用することもできる。
【００１６】
１フィールド遅延回路３は、この前置フィルタ２から輝度信号Ｙを入力し、１フィールドの期間だけ遅延させて出力する。
【００１７】
動きベクトル検出回路４は、ブロックマッチング法により、１フィールド遅延回路３から出力される輝度信号Ｙ１を基準にして前置フィルタ２から出力される輝度信号Ｙの動きベクトルＭＶＡを順次検出して出力する。なおこの実施例では、前置フィルタ２から出力される輝度信号Ｙに順次マクロブロックＭＢ１（図２（Ａ））を設定して、マクロブロック単位で動きベクトルＭＶＡを検出するようになされ、このマクロブロックＭＢ１の大きさ（ｍ画素×ｎライン）が８画素×８ラインに設定されるようになされている。
【００１８】
メモリ回路６は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、この保持した輝度信号Ｙ１を検出ブロック単位で出力する。ここで検出ブロックＢＬ（図２（Ａ））は、動きベクトル検出回路４により設定されるマクロブロックＭＢ１に対して、各マクロブロックＭＢ１を複数の領域に分割して設定される領域である。この実施例において、検出ブロックＢＬは、それぞれマクロブロックＭＢ１を垂直方向及び水平方向に等分割するように、さらにこの分割数がそれぞれ偶数個に設定され、さらにこの個数がそれぞれ値２に設定されるようになされている。この処理おいて、メモリ回路６は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、動きベクトル検出回路４で検出した動きベクトルＭＶＡの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を動きベクトルＭＶＡで動き補正して出力する。
【００１９】
画素差分累計回路８は、検出ブロック単位で、メモリ回路６から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、フィールド間差分値ＤＦＤ  Ａを計算して出力する。なおこの実施例において、このフィールド間差分値ＤＦＤ  Ａには、対応する画素間で画素値の差分値を計算し、この差分値の絶対値を検出ブロック単位で加算した差分絶対値和が適用されるようになされている。なおフィールド間差分値ＤＦＤ  Ａには、このような差分値の２乗和を適用するようにしてもよい。
【００２０】
動きベクトル検出回路５は、ブロックマッチング法により、１フィールド遅延回路３から出力される輝度信号Ｙ１を基準にして前置フィルタ２から出力される輝度信号Ｙの動きベクトルＭＶＢを順次検出して出力する。この処理において、動きベクトル検出回路５は、動きベクトル検出回路４により設定されるマクロブロックＭＢ１に対して、このマクロブロックＭＢ１に設定されている検出ブロックＢＬを単位にしてマクロブロックＭＢ１をオフセットさせてオフセットブロックＭＢ２（図２（Ｂ））を設定し、このオフセットブロック単位で順次動きベクトルＭＶＢを検出して出力する。しかしてこの実施例においては、垂直方向及び水平方向にマクロブロックＭＢ１をそれぞれ２等分して検出ブロックＢＬが設定されていることにより、動きベクトル検出回路５は、動きベクトル検出回路４によるマクロブロックＭＢ１に対してマクロブロックＭＢ１の大きさの１／２の分だけ水平方向及び垂直方向にオフセットさせてなるオフセットブロックＭＢ２により順次動きベクトルを検出するようになされている。
【００２１】
メモリ回路７は、１フィールド遅延回路３から出力される輝度信号Ｙ１を記録して保持し、メモリ回路６からの検出ブロック単位の輝度信号の出力に対応するブロック単位で保持した輝度信号Ｙ１を出力する。この処理において、メモリ回路７は、輝度信号Ｙ１の書き込みに供した書き込みアドレスに対して、動きベクトル検出回路５で検出した動きベクトルＭＶＢの分、読み出しアドレスを偏位させたアドレス制御により保持した輝度信号Ｙ１を出力し、これにより保持した輝度信号Ｙ１を動きベクトルＭＶＢで動き補正して出力する。
【００２２】
画素差分累計回路９は、検出ブロック単位で、メモリ回路７から出力される輝度信号Ｙ１と、前置フィルタ２から出力される輝度信号Ｙとの間で、フィールド間差分値ＤＦＤ
Ｂを計算して出力する。なおこの実施例において、このフィールド間差分値ＤＦＤ  Ｂには、対応する画素間で画素値の差分値を計算し、この差分値の絶対値を検出ブロック単位で加算した差分絶対値和が適用されるようになされている。なおフィールド間差分値ＤＦＤ  Ｂには、画素差分累計回路８における処理に対応して、差分値の２乗和を適用するようにしてもよい。
【００２３】
累計値比較／選択回路１０は、画素差分累計回路８から出力されるフィールド間差分値ＤＦＤ  Ａと画素差分累計回路９から出力されるフィールド間差分値ＤＦＤ  Ｂとを比較し、動きベクトルＭＶＡによるフィールド間差分値ＤＦＤ  Ａが動きベクトルＭＶＢによるフィールド間差分値ＤＦＤ  Ｂ以下の場合、動きベクトルＭＶＡを選択して出力する。これに対して動きベクトルＭＶＢによるフィールド間差分値ＤＦＤ  Ｂが動きベクトルＭＶＡによるフィールド間差分値ＤＦＤ  Ａよりも小さい場合、動きベクトルＭＶＢを選択して出力する。
【００２４】
これらによりこの実施例において、動きベクトル検出回路４は、マクロブロックＭＢ１によりビデオ信号の動きベクトルＭＶＡを順次検出する主の動きベクトル検出手段を構成し、動きベクトル検出回路５は、マクロブロックＭＢ１を水平方向及び垂直方向に分割してなる検出ブロック単位で、マクロブロックＭＢ１をオフセットさせてなるオフセットブロックＭＢ２により順次動きベクトルを検出する副の動きベクトル検出手段を構成し、画素差分累計回路８は、検出ブロック単位で、主の動きベクトル検出手段による動きベクトルＭＶＡにより動き補正してフィールド間差分値ＤＦＤ  Ａを検出する主の差分値演算手段を構成し、画素差分累計回路９は、主の差分値演算手段に対応して、副の動きベクトル検出手段による動きベクトルにより動き補正して、フィールド間差分値ＤＦＤ  Ｂを検出する副の差分値演算手段を構成し、累計値比較／選択回路１０は、主の差分値演算手段によるフィールド間差分値ＤＦＤ  Ａと、副の差分値演算手段によるフィールド間差分値ＤＦＤ  Ｂとを比較する比較手段と、比較手段の比較結果に基づいて、検出ブロック毎に、主又は副の動きベクトル検出手段による動きベクトルを選択出力する選択手段とを構成するようになされている。
【００２５】
（２）実施例の動作
以上の構成において、この動きベクトル検出装置１において、処理対象であるビデオ信号の輝度信号Ｙは、前置フィルタ２により周波数特性が補正された後、動きベクトル検出回路４でマクロブロック単位で動きベクトルＭＶＡが順次検出される。
【００２６】
しかしてこのようにして動きベクトルを検出する場合、図３（Ａ）に示すように、マクロブロック程度の大きさによる小物体Ｋ、マクロブロック以下の大きさによる小物体であっても、マクロブロックＭＢ１の中心とこの小物体Ｋの中心とがほぼ一致しているような場合には、このマクロブロックＭＢ１においては、小物体Ｋによる画素が多数を占めることにより、正しく小物体Ｋの動きベクトルを検出することができる。またこのような小物体ＫがこのマクロブロックＭＢ１に対して移動してなる場合にあっても、この移動先のマクロブロックＭＢ１において、同様の状態が形成されているならば、この移動先のマクロブロックＭＢ１において、この小物体Ｋの動きベクトルを正しく検出することができる。
【００２７】
ところがマクロブロックＭＢ１に対して小物体Ｋの位置がずれてしまうと、その分、マクロブロックＭＢ１において小物体Ｋによる画素の占める面積が少なくなることにより、動きベクトルの検出精度が低下することになり、ついには小物体Ｋの動きベクトルを正しく検出できなくなる。特に、図３（Ｂ）に示すように、水平方向及び垂直方向に隣接する４つのマクロブロックＭＢ１に跨がるように小物体Ｋが位置する場合、各マクロブロックＭＢ１に占める小物体Ｋの面積が最も小さくなり、マクロブロックＭＢ１の中心とこの小物体Ｋの中心とがほぼ一致している場合に比して、各マクロブロックＭＢ１に占める小物体Ｋの面積が１／４になることにより、この場合は、これら４つのマクロブロックＭＢ１で背景の動きのみが検出されることになり、小物体Ｋの動きベクトルを検出できなくなる。
【００２８】
このためこの動きベクトル検出装置１において、輝度信号Ｙは、このマクロブロックＭＢ１による動きベクトルＭＶＡの検出と同時並列的に、動きベクトル検出回路５において、マクロブロックＭＢ１に対して、オフセットブロックＭＢ２により、順次動きベクトルが検出される。
【００２９】
ここでこのオフセットブロックＭＢ２にあっては、マクロブロックＭＢ１と同一の大きさで、かつマクロブロックＭＢ１の１／２の大きさにより水平方向及び垂直方向にオフセットして設定されていることにより、図３（Ａ）について上述したように、マクロブロックＭＢ１において、小物体Ｋの動きベクトルを正しく検出できる場合には、小物体Ｋの動きベクトルを正確に検出できないものの、これとは逆に図３（Ｂ）について上述したように、マクロブロックＭＢ１において、小物体Ｋの動きベクトルを検出困難な程度に、小物体ＫがマクロブロックＭＢ１の中心に対して変位して位置している場合でも、このオフセットブロックＭＢ２においては、小物体Ｋの動きベクトルを正確に検出することができる。
【００３０】
これによりこの実施例においては、マクロブロックＭＢ１に設定された検出ブロックによりこれらマクロブロックＭＢ１によるフィールド間差分ＤＦＤ  ＡとオフセットブロックＭＢ２によるフィールド間差分ＤＦＤ  Ｂの比較により、何れの側で検出された動きベクトルの方が正しく動きベクトルが検出されているか判定され、この比較結果により順次検出ブロック単位で、マクロブロックＭＢ１による動きベクトルＭＶＡとオフセットブロックＭＢ２による動きベクトルＭＶＢが選択出力される。
【００３１】
これによりこの動きベクトル検出装置１においては、マクロブロック程度の大きさによる小物体が背景と異なる動きを呈している場合でも、正確に小物体Ｋの動きベクトルを検出することができ、これにより各種映像信号の処理に適用して画像歪みを低減することができる。
【００３２】
このようにして動きベクトルを検出するにつき、この実施例においては、マクロブロックＭＢ１に対して、マクロブロックＭＢ１の大きさの１／２によりオフセットさせてオフセットブロックＭＢ２を設定していることにより、マクロブロックＭＢ１による小物体Ｋの動き検出において、図３（Ｂ）について上述した最も条件の悪い場合に、オフセットブロックＭＢ２により最も良い条件で動きベクトルを検出することができる。すなわちこれら２つのブロックで動きベクトルの検出精度が相補的に変化するようにし得、これにより小物体ＫとマクロブロックＭＢ１との相対的な位置による動きベクトルの検出精度の変化を有効に回避することができる。
【００３３】
また水平方向と垂直方向とにオフセットさせてオフセットブロックＭＢ２を設定したことにより、２系統による動きベクトルの検出による水平方向及び垂直方向の双方について、動きベクトルの検出精度を向上することができる。
【００３４】
（３）実施例の効果
以上の構成によれば、マクロブロックＭＢ１と、このマクロブロックＭＢ１に対してオフセットさせてなるオフセットブロックＭＢ２とにより動きベクトルを検出し、これらの動きベクトルをフィールド間差分値により選択出力することにより、背景に対して動きが異なる小物体Ｋについても動きベクトルを正しく検出することができる。
【００３５】
またこのオフセットブロックＭＢ２が、マクロブロックＭＢ１の大きさの１／２の大きさだけ、マクロブロックＭＢ１をオフセットさせてなることにより、これら２つのブロックで動きベクトルの検出精度が相補的に変化するようにし得、これにより小物体ＫとマクロブロックＭＢ１との相対的な位置による動きベクトルの検出精度の変化を有効に回避することができる。
【実施例２】
【００３６】
なお上述の実施例においては、垂直方向及び水平方向にマクロブロックＭＢ１をオフセットさせてオフセットブロックＭＢ２を設定する場合について述べたが、本発明はこれに限らず、水平方向のみにオフセットさせたオフセットブロックと、垂直方向のみにオフセットさせたオフセットブロックとをそれぞれ設けるようにしてもよい。
【００３７】
また上述の実施例においては、マクロブロックＭＢ１の大きさの１／２だけオフセットさせてオフセットブロックＭＢ２を設定する場合について述べたが、本発明はこれに限らず、例えば図４に示すように、マクロブロックＭＢ１の大きさの１／４のピッチにより順次オフセットさせてオフセットブロックＭＢ２を設けるようにしてもよい。但しこのように設定する場合にあっては、オフセットブロックＭＢ２が隣接するマクロブロック間で非対称とならないように設定して、マクロブロックＭＢ１に対する小物体の位置による動きベクトルの検出精度の変化を防止することができる。
【００３８】
また上述の実施例においては、マクロブロックＭＢ１を複数の領域に分割して検出ブロックＢＬを設定する場合について述べたが、本発明はこれに限らず、画素単位で設定するようにしてもよい。
【００３９】
また上述の実施例においては、フィールド間で動きベクトルを検出し、フィールド間差分値の比較によりマクロブロックＭＢ１とオフセットブロックＭＢ２とによる動きベクトルを選択出力する場合について述べたが、本発明はこれに限らず、フレーム間で動きベクトルを検出し、フレーム間差分値の比較によりマクロブロックＭＢ１とオフセットブロックＭＢ２とによる動きベクトルを選択出力するようにしてもよい。
【００４０】
また上述の実施例においては、ブロックマッチング法により動きベクトルを検出する場合について述べたが、本発明はこれに限らず、例えば勾配法、位相相関法等により動きベクトルを検出するようにしてもよい。
【産業上の利用可能性】
【００４１】
本発明は、動きベクトル検出装置に関し、例えばフォーマット変換装置に適用することができる。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施例に係る動きベクトル検出装置を示すブロック図である。
【図２】図１の動きベクトル検出装置によるマクロブロック及びオフセットブロックの説明に供する略線図である。
【図３】図１の動きベクトル検出装置の動作の説明に供する略線図である。
【図４】他の実施例に係る動きベクトル検出装置の動作の説明に供する略線図である。
【符号の説明】
【００４３】
１……動きベクトル検出装置、３……１フィールド遅延回路、４、５……動きベクトル検出回路、６、７……メモリ回路、８、９……画素差分累計回路、１０……累計値比較／選択回路、ＭＢ１……マクロブロック、ＭＢ２……オフセットブロック、ＢＬ……検出ブロック
【図１】
2005229154.tif 000003
【図２】
2005229154.tif 000004
【図３】
2005229154.tif 000005
【図４】
2005229154.tif 000006