(57)【要約】【課題】勾配法による動きベクトル検出方法は、動きの激しい場合に検出結果の誤差が大きくなるという問題がある。【解決手段】巡回型フィルタと、この巡回型フィルタの出力波形の傾斜角度を検出する角度検出手段と、この検出された角度を動き量に換算する換算手段と、を具備するようにした。【選択図】　図４
2004145628.tif 000002
【特許請求の範囲】
【請求項１】
巡回型フィルタと、
この巡回型フィルタの出力波形の傾斜角度を検出する角度検出手段と、
この検出された角度を動き量に換算する換算手段と、
を具備したことを特徴とする動きベクトル検出装置。
【請求項２】
巡回型フィルタと、
この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、
この減算された信号を微分する微分手段と、
この微分された信号の振幅を動き量に換算する換算手段と、
微分された信号の符号を検出する符号検出手段と、
を具備したことを特徴とする動きベクトル検出装置。
【請求項３】
巡回型フィルタと、
この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、
この減算された信号の出力を一定の振幅レベルに調整する正規化手段と、
この正規化された信号を微分する微分手段と、
この微分された信号の振幅を動き量に換算する換算手段と、
微分された信号の符号を検出する符号検出手段と、
を具備したことを特徴とする動きベクトル検出装置。
【請求項４】
巡回型フィルタと、
この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、
この減算された信号に前記巡回型フィルタの伝達関数の逆関数を乗じる補正手段と、
この補正手段の出力を一定の振幅レベルに調整する正規化手段と、
この正規化された信号を微分する微分手段と、
この微分された信号の振幅を動き量に換算する換算手段と、
微分された信号の符号を検出する符号検出手段と、
を具備したことを特徴とする動きベクトル検出装置。
【請求項５】
請求項３または請求項４に記載の動きベクトル検出装置において、
前記正規化手段は、
入力信号のピークレベルを検出するピーク検出手段と、
この検出されたピークレベルにより前記入力信号を除算する除算手段と、
を具備することを特徴とする動きベクトル検出装置。
【請求項６】
請求項２乃至請求項５の何れかに記載の動きベクトル検出装置において、
前記換算手段は、前記微分された信号の振幅レベルの逆数を演算することを特徴とする動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は映像信号中の動物体の移動量及び移動方向を検出する動きベクトル検出装置に関する。
【０００２】
【従来の技術】
動きベクトルを検出する方法として、ブロックマッチング法と呼ばれる技術が知られている。係る技術はＭＰＥＧ等の画像符号化技術に応用され、実用化されている。
【０００３】
しかし、このブロックマッチング法は画面を複数のブロックに分割しブロック毎に動きベクトルを検出するため、ブロック間の検出結果の整合性が乱れる場合があるという問題がある。
【０００４】
このブロックマッチング法のようにブロック毎に動きベクトルを検出する方法に対して、画素毎に動きベクトルを検出する方法として勾配法と呼ばれる方法がある。係る勾配法の原理は特許文献１及び非特許文献１等に詳しく記載されているが、以下簡単に説明する。
【０００５】
先ず、ｔ＝０（ｔは時間）においてｇ（ｘ、ｙ）なる画像が、ｔ＝ｎにα＝（ａ、ｂ）だけ移動してｇ（ｘ−ａ、ｙ−ｂ）となったとする。
【０００６】
このｇ（ｘ−ａ、ｙ−ｂ）なる関数をテーラー展開し、その１次項のみをとると、
ｇ（ｘ−ａ、ｙ−ｂ）＝ｇ（ｘ、ｙ）−ａ・∂／∂ｘ・ｇ（ｘ、ｙ）−ｂ・∂／∂ｙ・ｇ（ｘ、ｙ）　・・・（１）
となる。
【０００７】
フレーム間差信号をｄ（ｘ、ｙ）＝ｇ（ｘ−ａ、ｙ−ｂ）−ｇ（ｘ、ｙ）とすると、
ａ・∂／∂ｘ・ｇ（ｘ、ｙ）＋ｂ・∂／∂ｙ・ｇ（ｘ、ｙ）＝−ｄ（ｘ、ｙ）　・・・（２）
となる。
【０００８】
ここで、ｉ、ｊをｘ、ｙ方向の基本単位ベクトルとすると、
（ｉ・ａ＋ｊ・ｂ）・（ｉ・∂／∂ｘ＋ｊ・∂／∂ｙ）・ｇ（ｘ、ｙ）＝−ｄ（ｘ、ｙ）　・・・（３）
となり、これを書き換えると、
α・ｇｒａｄｇ（ｘ、ｙ）＝−ｄ（ｘ、ｙ）　・・・（４）
となる。この第４式から、画像の勾配とフレーム時間が分かれば動きベクトルが求められることになる。
【０００９】
【特許文献１】
特開昭６０−１５８７８６号公報
【非特許文献１】
信学技報　Ｎｏ．ＩＥ７８−６７　“画像信号による動物体の移動量、速度の測定”
【００１０】
【発明が解決しようとする課題】
勾配法は画素毎に動きを検出するため、ブロックマッチング法のようにブロック毎に動きベクトルを検出することに起因する問題は発生しない。
【００１１】
しかしながら、勾配法はその原理において、テーラー展開した多項式の１次項のみを用いるため、動きの激しい場合は検出結果の誤差が大きくなるという問題がある。
【００１２】
また、勾配法は画面の勾配から動きベクトルを検出するが、この勾配はカメラの蓄積効果と残像効果により生じるものである。ところが、近年はカメラの撮像手段としてＣＣＤが多く用いられるようになり、係るＣＣＤでは、残像が非常に少なく、また、蓄積効果も小さくなる。従って、撮像手段にＣＣＤを用いたカメラで撮影された画像に対し勾配法を適用して動きベクトルを検出する場合は、精度良く動きベクトルを検出することが困難となるという問題がある。
【００１３】
本発明は係る課題を鑑み、これを解決した動きベクトル検出装置を提供することを目的とするものである。
【００１４】
【課題を解決するための手段】
上記課題を解決するため、本発明は以下のような手段を講じた。
【００１５】
即ち、本発明に係る動きベクトル検出装置は、巡回型フィルタと、この巡回型フィルタの出力波形の傾斜角度を検出する角度検出手段と、この検出された角度を動き量に換算する換算手段と、を具備したものである。
【００１６】
より具体的には、巡回型フィルタと、この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、この減算された信号を微分する微分手段と、この微分された信号の振幅を動き量に換算する換算手段と、微分された信号の符号を検出する符号検出手段と、を具備したものである。
【００１７】
また、本発明に係る動きベクトル検出装置は、巡回型フィルタと、この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、この減算された信号の出力を一定の振幅レベルに調整する正規化手段と、この正規化された信号を微分する微分手段と、この微分された信号の振幅を動き量に換算する換算手段と、微分された信号の符号を検出する符号検出手段と、を具備することが好ましい。
【００１８】
更に、本発明に係る動きベクトル検出装置は、巡回型フィルタと、この巡回型フィルタへの入力信号と巡回型フィルタからの出力信号との差を演算する減算手段と、この減算された信号に前記巡回型フィルタの伝達関数の逆関数を乗じる補正手段と、この補正手段の出力を一定の振幅レベルに調整する正規化手段と、この正規化された信号を微分する微分手段と、この微分された信号の振幅を動き量に換算する換算手段と、微分された信号の符号を検出する符号検出手段と、を具備することが好ましい。
【００１９】
ここで、前記正規化手段は、入力信号のピークレベルを検出するピーク検出手段と、この検出されたピークレベルにより前記入力信号を除算する除算手段と、を具備することが好ましい。
【００２０】
また、前記換算手段は、前記微分された信号の振幅レベルの逆数を演算することが好ましい。
【００２１】
【発明の実施の形態】
先ず、本発明の原理について説明する。
【００２２】
図１は良く知られた巡回型（ＩＩＲ）フィルタのブロック図である。図１において、入力端子１０１から入力された映像信号は、第１の係数乗算器１０２で所定の係数（Ｋ）が乗算される。この係数（Ｋ）が乗算された映像信号は、フレームメモリ１０５で所定時間遅延され、更に第２の係数乗算器１０４で所定の係数（１−Ｋ）が乗算された信号と加算回路１０３で加算される。この加算された映像信号が前記フレームメモリ１０５に入力されると共に出力端子１０６から出力される。尚、係数Ｋの値は通常０．８程度に設定するのが良いとされている。
【００２３】
このような巡回型フィルタの入出力波形を図２に示す。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。
【００２４】
同図（ａ）は図１の入力端子１０１への入力信号である。同図（ａ）において、２０１は移動物体である。時刻Ｔ０において位置Ｐ（Ｔ０）にあった移動物体２０１が時刻Ｔｎには位置Ｐ（Ｔｎ）に移動している様子を示している。
【００２５】
同図（ｂ）は、このような信号が入力された場合に図１の出力端子１０６から出力される信号波形である。
【００２６】
同図（ｂ）に示すように、出力波形は、時刻Ｔ０からＴｎのデータが逐次係数を乗算されながら累積加算されていくため２０２のような尾引き波形を伴うようになる。ここで、この尾引き波形２０２は実際には指数関数で表される波形となるが、以下簡単のため２０３のような直線で近似して考えることとする。
【００２７】
次に、図１の巡回型フィルタに速い動きの動物体と遅い動きの動物体が入力された場合の出力波形を比較する。
【００２８】
この様子を示した図が図３である。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。
【００２９】
同図（ａ）は図１の巡回型フィルタへの入力波形、（ｂ）は出力波形である。また、黒丸の付いた波形３０１は遅い動きの動物体を表し、白丸の付いた波形３０２は速い動きの動物体を表している。即ち、遅い動きの動物体３０１は時刻Ｔ０からＴｎの間に位置Ｐｓ（Ｔ０）からＰｓ（Ｔｎ）まで移動したことを表し、速い動きの動物体３０２は時刻Ｔ０からＴｎの間に位置Ｐｆ（Ｔ０）からＰｆ（Ｔｎ）まで移動したことを表している。
【００３０】
ここで、同図（ｂ）に示した出力波形の尾引き波形３０４が横軸と成す角度３０３について着目すると、遅い動きの場合は角度が大きくなり、早い動きの場合は角度が小さくなることが理解できる。即ち、尾引き波形３０４が横軸と成す角度３０３は動物体の移動の早さに反比例することが分かる。本願発明は、この関係を用いて動きベクトルを検出しようとするものである。従って、従来の勾配法による動きベクトル検出装置のように、カメラの特性（残像特性・蓄積効果）等に依存することなく動きベクトルを検出することが可能となる。
【００３１】
以下、本発明に係る動きベクトル検出装置の実施形態を説明する。
【００３２】
図４は、本発明に係る動きベクトル検出装置の第１の実施形態を示すブロック図である。
【００３３】
先ず、本ブロック図における信号の流れを説明すると、入力端子４０１から入力された映像信号は、図１に示した巡回型フィルタ４０２に入力される。その巡回型フィルタ４０２の入力信号と出力信号との差が減算回路４０３で演算され、その結果が続く正規化回路４０４で振幅を調整される。この振幅を調整された信号は微分回路４０５で微分演算され、その結果の振幅が振幅検出回路４０６で検出される。その振幅値が動き量換算回路４０７で換算され動物体の動き量として出力端子４０９から出力される。一方、前記微分演算された結果の符号が符号検出回路４１０で検出され、この符号が動物体の移動方向として出力端子４１０から出力される。
【００３４】
本ブロック図の構成により、動物体の移動量と移動方向が求められ、動きベクトルが検出されることになる。
【００３５】
次に、本ブロック図の動作を説明する。
【００３６】
図５は、図４のブロック図における各ポイントでの波形図である。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。また、５０１は動物体、５０２は静止物体、５０３は尾引き波形である。
【００３７】
いま、入力信号として時刻Ｔ０からＴｎの間に位置Ｐ（Ｔ０）からＰ（Ｔｎ）まで移動する動物体５０１と、静止物体５０２が入力されたとする。この場合図４のＡ点では、動物体５０１に尾引き波形５０３が生じた信号が観測される。ここで、Ａ点の信号と入力信号とを減算するとＢ点のような信号が得られる。即ち、動物体５０１そのものと、静止物体５０３は消去され、尾引き波形５０３のみが残ることになる。
【００３８】
ところで、この波形は次に正規化回路４０４に入力されるが、ここでは、説明を簡単にするため正規化回路４０４を無視して、微分回路４０５へ入力されることとする。尚、正規化回路４０４の働きについては後述する。
【００３９】
そこで、次に、この尾引き波形５０３の横軸Ｐとの成す角度を検出する必要があるが、この角度は即ち尾引き波形の傾斜角であるので、それを検出するためには微分すればよいことが分かる。つまり、尾引き波形５０３の傾斜をａとし、ｙ＝ａｘ＋ｂと表すと、その微分は、ｄｙ／ｄｘ＝ａとなる。
【００４０】
この微分されたＤ点の信号の振幅が動き量に反比例する値となる。即ち、Ｄ点の信号の振幅は動き量に反比例する値であるので、これを比例する値に換算しなければならない。この換算をするのが図４の動き量換算回路４０７である。換算方法は、逆数を演算する、または、逆数を演算すると共に適当な係数を乗算する、或いは、換算用のテーブルを用意する等の方法が可能である。
【００４１】
以上の動作を速い動きの動物体と、遅い動きの動物体とが入力された場合を対比して示したものが図６である。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。同図（ａ）は速い動きの動物体が入力された場合であり、（ｂ）は遅い動きの動物体とが入力された場合である。このように、速い動きの動物体と、遅い動きの動物体とでＤ点の波形、即ち微分演算された波形の振幅レベルに差が生じ、この差により動物体の移動の速さの差を検出することができる。
【００４２】
次に、図１のブロック図における符号検出回路の動作について説明する。
【００４３】
図７に図４のブロック図における各ポイントでの波形図を示す。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。同図（ａ）は、動物体が左から右に移動している場合であり、同図（ｂ）は、動物体が右から左に移動している場合である。同図に示すように、尾引き波形は動物体の移動方向により傾斜が反転し、その結果、微分値（Ｄ点）の符号が反転する。即ち、動物体が左から右に移動している（ａ）の場合は微分値（Ｄ点）の符号は正となるが、その反対に、動物体が右から左に移動している（ｂ）の場合は微分値（Ｄ点）の符号は負となる。
【００４４】
従って、この微分値（Ｄ点）の符号を検出すれば、動物体の移動方向が検出できることになる。
【００４５】
次に、先ほど説明を省略した図１の正規化回路４０４について説明する。
【００４６】
以上の説明では、動物体の振幅レベルは全て同一として考えてきた。しかしながら、実際には動物体として様々な振幅レベルのものが混在しているのが通常である。このような場合、正規化回路４０４がないと以下の述べるような弊害が生じる。
【００４７】
図８は、その弊害が生じる様子を説明した図である。同図において、横軸は画面上の位置を表し、縦軸は省略してあるが振幅レベルを示す。
【００４８】
同図は、入力信号として時刻Ｔ０からＴｎの間に位置Ｐ（Ｔ０）からＰ（Ｔｎ）まで移動する動物体を示したものであるが、（ｂ）は動物体８０２の振幅レベルが（ａ）の動物体８０２の振幅レベルより小さく、また、（ｂ）の動物体の移動の速さは、（ａ）の動物体の移動の速さより遅い状況を設定している。係る状況では、Ａ点、Ｂ点での尾引き波形８０３の傾斜は同程度となり、その微分値であるＤ点での波形の振幅は同程度となり差が出ない。従って、実際には（ａ）の動物体と（ｂ）の動物体とでは移動速度に差があるにもかかわらず、検出される動き量としては同程度になってしまう。
【００４９】
係る弊害は、動物体の振幅レベルを一定値に揃える事で解決される。具体的には、図９に示すような信号の振幅レベルの調整を行えばよい。即ち、Ｂ点の波形のピーク値が所定の規定値になるように、その振幅レベルを大きくし或いは小さくすれば良い。
【００５０】
そこで、この動物体の振幅レベルを一定値に揃える回路が、図１の正規化回路４０４であり、この正規化回路４０４の構成を図１０に示す。
【００５１】
図１０において、入力端子１００１から入力された信号、即ち、図１におけるＢ点の信号（Ｙ）はピーク検出回路１００２で信号のピーク値（Ｘ）が検出される。このピーク値（Ｘ）で入力信号（Ｙ）を除算し、その結果を出力端子１００４から出力する。このような構成で、出力はそのピーク値が“１”となるように振幅調整されて出力されることとなる。
【００５２】
次に本発明に係る動きベクトル検出装置の第２の実施形態について説明する。
【００５３】
第１の実施形態では、巡回型フィルタから出力される尾引き波形は直線に近似して考えてきたため近似による誤差が生じる。ここで、より精度良く動きベクトルを検出するためには、この尾引き波形を、直線に補正することが好ましい。
【００５４】
この補正の様子を図１１に示す。図１１において、１１０１は巡回型フィルタから出力される尾引き波形である。この尾引き波形１１０１にこの尾引き波形１１０１と逆関数をなす波形１１０２を掛け合わせることにより直線状の尾引き波形１１０３が得られる。即ち、この尾引き波形１１０１は巡回型フィルタの伝達関数で求められる波形であるので、その伝達関数の逆関数を掛け合わせればよい。
【００５５】
本発明に係る動きベクトル検出装置の第２の実施形態のブロック図を図１２に示す。図４と同じ構成要素には同じ符号を付している。本実施形態では、減算回路４０３と正規化回路４０４の間に新たに補正回路１２０１が追加されている。この補正回路により、図１１に示したような補正を行うことで、より精度の良い動きベクトルの検出が可能となる。即ち、従来の勾配法による動きベクトル検出装置のようにテーラー展開した多項式の中から１次項のみを用いるというような近似的な処理を行わないので、より精度の良い動きベクトルの検出が可能となる。
【００５６】
尚、正規化回路４０４と補正回路１２０１の位置は入れ替わっても同様の目的を達成でき、同様の効果を奏するものである。また、以上の説明では水平方向の移動のみの１次元で説明したが、これを水平・垂直の２次元に拡大することは容易である。また、以上の説明では連続的な信号として扱ってきたが、テレビジョン信号等では、信号は時間方向にサンプリングされている。このため、以上説明した各波形は離散的なものとなるが、離散的な信号に対しても以上の理論は適用できるものである。
【００５７】
【発明の効果】
本発明に係る動きベクトル検出装置によれば、比較的簡単な構成で精度良く動きベクトルを検出することが可能となる。
【００５８】
また、速い動きに対しても、精度良く動きベクトルを検出することができる。
【００５９】
更に、動きベクトルの検出精度がカメラ等の撮像装置の特性に影響されることが無い。
【図面の簡単な説明】
【図１】巡回型フィルタのブロック図である。
【図２】巡回型フィルタの入出力波形図である。
【図３】本発明による動きベクトル検出装置の原理図である。
【図４】本発明にかかる動きベクトル検出装置の第１の実施例である。
【図５】本発明にかかる動きベクトル検出装置の第１の実施例における各部の波形図である。
【図６】本発明にかかる動きベクトル検出装置での動き量の検出を説明する波形図である。
【図７】本発明にかかる動きベクトル検出装置での動き方向の検出を説明する波形図である。
【図８】本発明にかかる動きベクトル検出装置での正規化回路の必要性を説明する波形図である。
【図９】本発明にかかる動きベクトル検出装置での正規化回路の働きを説明する波形図である。
【図１０】本発明にかかる動きベクトル検出装置での正規化回路のブロック図である。
【図１１】本発明にかかる動きベクトル検出装置での補正回路の働きを説明する波形図である。
【図１２】本発明にかかる動きベクトル検出装置の第２の実施例である。
【符号の説明】
１０１、４０１、１００１・・・入力端子、１０２・・・第１の係数乗算器、１０３・・・加算回路、１０４・・・第２の係数乗算器、１０５・・・フレームメモリ、１０６、４０９、４１０、１００４・・・出力端子、２０１、３０１、３０２、５０１、８０１、８０２・・・動物体、２０２、１１０１・・・尾引き波形、２０３、３０４、５０３、８０３・・・直線近似された尾引き波形、３０３・・・尾びき波形と横軸との成す角度、４０２・・・巡回型フィルタ、４０３・・・減算回路、４０４・・・正規化回路、４０５・・・微分回路、４０６・・・振幅検出回路、４０７・・・動き量換算回路、４０８・・・符号検出回路、５０２・・・静止物体、１００２・・・ピーク検出回路、１００３・・・除算回路、１１０２・・・尾引き波形の逆関数波形、１１０３・・・補正された尾引き波形、１２０１・・・補正回路
【図１】
2004145628.tif 000003
【図２】
2004145628.tif 000004
【図３】
2004145628.tif 000005
【図４】
2004145628.tif 000006
【図５】
2004145628.tif 000007
【図６】
2004145628.tif 000008
【図７】
2004145628.tif 000009
【図８】
2004145628.tif 000010
【図９】
2004145628.tif 000011
【図１０】
2004145628.tif 000012
【図１１】
2004145628.tif 000013
【図１２】
2004145628.tif 000014