(57)【特許請求の範囲】
【請求項１】
入力画像を複数の検出ブロックに分割し各検出ブロックについて動きベクトルを検出する動きベクトル検出手段と、
上記動きベクトル検出手段で検出された動きベクトルの有効性を判別する有効動きベクトル判別手段と、
上記動きベクトル検出手段で検出された動きベクトルから上記有効動きベクトル判別手段で判別された有効動きベクトルに基づいて１つの代表動きベクトルを決定する動きベクトル決定手段と、
上記動きベクトル決定手段で決定された上記代表動きベクトルがしきい値を越えたときその代表動きベクトルを出力すると共に、上記有効動きベクトル判別手段で判別された上記有効動きベクトル数に応じて上記しきい値が変更されるように成された演算手段とを備えた動きベクトル検出装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明はビデオカメラやカメラ一体型ＶＴＲ等の撮像装置もしくは画像出力装置等において画像の動きベクトルを検出する動きベクトル検出装置に関するものである。
【０００２】
【従来の技術】
従来より、撮像した画像や画像出力装置から得られる画像の動きを検出するための動きベクトル検出装置が知られている。これはある画像とその１フィールド前の画像、もしくは２つの任意の画像のパターンマッチングを行うことにより、画像がどの方向にどれだけ動いたかを表わす動きベクトルを検出するものである。パターンマッチングとは例えば前フィールドの画像と現フィールドの画像、もしくは２つの画像の各画素についてＥＸＯＲの総和を取り、値の一番小さな時がパターンが一番マッチングしたと判断するものである。この値を相関値と呼ぶ。相関値が一番小さい時の偏移、すなわち画像のずれが動きベクトルである。
パターンマッチングを画像全体で行なうと膨大な計算量になり、例えば動画像においては撮像中に実時間での処理が難しくなる。そのために画像をいくつかの領域、すなわちいくつかの動きベクトル検出ブロックに分割し、それぞれの領域で動きベクトルを算出するようにしている。
【０００３】
各々の動きベクトル検出ブロックにおいて、検出された動きベクトルの検出精度は各画像の画素ごとにパターンマッチングを行うので１画素単位となる。しかし当該画素の周りの画素のパターンマッチング時のデータによって補間を行うことにより、実際には１画素以下まで算出することができる。
しかし補間による動きベクトルの算出ではいくらかの誤差が含まれてしまう。これは１画素単位でのパターンマッチングから１画素以下の動きベクトル値を算出するために、当該画素の周りの画素のデータにより算出する時に、それらの画素データが必ずしも当該画素とまったく同じ動きベクトル値を持つとは限らないからである。また画像のノイズも誤差の大きな要因の一つである。
【０００４】
動きの大きい画像、すなわち大きなベクトルが検出されたときは誤差は目立たないが、動きが小さく検出される動きベクトルが小さくなると相対的に誤差が目立ってしまう。
この誤差を出力させないように、補間して算出した動きベクトルが０近傍の時には出力する動きベクトルを０とする処理方法が知られており、これはコアリング処理と呼ばれている。このコアリング処理により誤差が相対的に目立ってしまう画像の動きの小さい時に誤差が出力されることを防ぐことができることが知られている（公開特許公報  特開平５−９１３９２撮像装置、１９９２年テレビジョン学会年次大会  電子的な手ブレ補正の制御方式の改善）。
【０００５】
【発明が解決しようとする課題】
しかしコアリング処理を行うと、ある程度以上の動きベクトルが発生しないと動きベクトルを出力しないので、検出特性が悪化してしまう。そのために動きベクトルの検出特性から言えば、コアリング処理のしきい値はなるべく小さいほうが望ましい。しかしコアリング処理のしきい値を小さくし過ぎると、画像の動きが少ないときに補間誤差が出力されてしまう。そこでコアリング処理のしきい値はシステムの構成ではほぼ決まることになる。すなわちそのシステムの補間誤差を含む誤差レベルより少し大きいレベルにしきい値を設定することになる。
【０００６】
パターンマッチングは撮像画像の画像中でいくつかの複数の動きベクトル検出ブロックについて行われる。これにより１フィールドの画像において複数の動きベクトルが検出される。そしてそのフィールドでの動きベクトルを最終的に一つにするために、これらの複数の動きベクトルの平均値やメディアン値を取ることになる。これにより補間誤差も少なくなるのでコアリング処理のしきい値も小さくすることができる。しかし撮像した画像によってはいくつかの動きベクトル検出ブロックで検出した動きベクトルが使えないことがある。その理由は、例えば被写体のコントラストが低かったり照度が低いために正確な動きベクトルが検出できないことがあるからである。このような時は無効動きベクトルを削除して残った有効動きベクトルからそのフィールドにおける最終的な動きベクトルを算出するので、結果的に誤差が増えてしまう。
【０００７】
コアリング処理のしきい値を全ての動きベクトル検出ブロックで有効なベクトルが検出できるときの誤差レベルに基づいて設定すると、上記のように無効動きベクトルが検出されたときに有効動きベクトルが少なくなり補間誤差が大きくなるので、算出された最終的な動きベクトルに含まれる誤差が、設定されていたコアリング処理のしきい値を越えてしまう。そのため動きベクトルが小さいときに誤差が目立ってしまう。逆にコアリング処理のしきい値を有効動きベクトルが少ないときに基づいて設定すると、有効動きベクトルが少なくても誤差が目立つことは無くなるが、動きベクトルの検出特性が悪化してしまう。
【０００８】
そこで、本発明は誤差を少なくしながら良好な検出特性を得ることのできる動きベクトル検出装置を得ることを目的としている。
【０００９】
【課題を解決するための手段】
本発明においては、入力画像を複数の検出ブロックに分割し各検出ブロックについて動きベクトルを検出する動きベクトル検出手段と、上記動きベクトル検出手段で検出された動きベクトルの有効性を判別する有効動きベクトル判別手段と、上記動きベクトル検出手段で検出された動きベクトルから上記有効動きベクトル判別手段で判別された有効動きベクトルに基づいて１つの代表動きベクトルを決定する動きベクトル決定手段と、上記動きベクトル決定手段で決定された上記代表動きベクトルがしきい値を越えたときその代表動きベクトルを出力すると共に、上記有効動きベクトル判別手段で判別された上記有効動きベクトル数に応じて上記しきい値が変更されるように成された演算手段とを設けている。
【００１０】
【作用】
動きベクトル検出手段により一つのフィールドの画像中の複数の動きベクトル検出ブロックで検出された動きベクトルを、有効動きベクトル判別手段において有効であるか無効であるかを判断し、有効と判別された動きベクトルの数が多かったときには演算手段におけるしきい値を小さくすることにより、有効検出レベルを下げて小さな動きベクトルでも有効に検出して出力し、有効と判別された動きベクトルの数が少なかったときには演算手段におけるしきい値を大きくすることにより、誤差を出力しないようにする。
【００１１】
【実施例】
以下、本発明の一実施例について説明する。
図１は本発明を適用した撮像装置の構成を示すブロック図である。図において、１は撮像手段、２は動きベクトル検出手段であり、撮像手段１で撮像されたぶれを含む画像から動きベクトルを検出する。３は有効動きベクトル判別手段であり、動きベクトル検出手段２で検出された動きベクトルの有効性を判別する。４は動きベクトル決定手段であり、動きベクトル検出手段２において１つのフィールドで複数個検出された動きベクトルと、有効動きベクトル判別手段３からの有効動きベクトル判別信号とにより有効な動きベクトルを判別し、残った有効動きベクトルの平均値や中央値などにより、そのフィールドを代表する一つの動きベクトル、すなわち代表動きベクトルを決定する手段である。５はコアリング手段であり、動きベクトル決定手段４で決定された代表動きベクトルのコアリング処理を行う。６はぶれ補正手段であり、演算手段としてのコアリング手段５でコアリング処理された動きベクトルに従って撮像手段１で撮像したぶれを含む画像のぶれ補正を行う。
【００１２】
図２は動きベクトル検出ブロックを示す図であり、７は全撮像画像領域、８は動きベクトル検出ブロックで、ここでは５０個設定されている。９はサーチエリア、１０は動きベクトル検出ブロック８のうち左最上部の動きベクトル検出ブロックを検索するためのサーチエリアである。
【００１３】
図３はサーチエリアをテンプレートがマッチングを行いながら偏移する様子を示す図であり、１１はある任意の動きベクトル検出ブロック８のサーチエリア、１２はテンプレートである。
【００１４】
図４はサーチエリア１１をテンプレート１２が偏移しながらパターンマッチングを行っているときに出力される相関値を示すグラフである。
図５はコアリング処理を示すグラフである。
【００１５】
撮像手段１を手持ちで撮像したときに、撮影者の技術的未熟さや風などによる外力により撮像手段１がぶれてしまうことがある。この時に撮像された画像は結果としてぶれを含んだものになってしまう。この画像のぶれを補正するために動きベクトル検出手段２では、まず画像に含まれる動きベクトルを検出する。この動きベクトル検出手段２では撮像した画像に図２に示すように動きベクトル検出ブロック８を持つ。そして図３に示すように、テンプレート１２をサーチエリア１１上で動かしながら互いの相関値を取る。この時、テンプレート１２、サーチエリア１１の各データは１フィールド前後している。例えばあるフィールドの画像をサーチエリア１１、１フィールド後の画像をテンプレート１２とする。この逆でも良い。
【００１６】
そしてサーチエリア１１上のある位置におけるテンプレート１２とサーチエリア１１との画素ごとのＥＸＯＲを取り、全てのＥＸＯＲの出力を加算して相関値とする。これをサーチエリア１１上でテンプレート１２を１画素づつ動かしながら各相関値を計算して図４の特性を得る。ＥＸＯＲは一致したときに０、不一致のときには１を取るので、テンプレート１２とサーチエリア１１との画像のパターンが最も一致したときに相関値は最小となる。図４において、相関値が最小時の偏移がその動きベクトル検出ブロック８における動きベクトルとなる。ここで動きベクトルが０の時、すなわちあるフィールドの画像と１フィールド後の画像とが同じならば、最小の相関値はサーチエリア１１の中心で得られることになる。得られる動きベクトルの精度は１画素ごとに相関値を取るために１画素単位でしかない。そのため相関値の最小値のまわりのデータにより補間を行い、１画素以下の精度で動きベクトルを算出する。このようにして動きベクトル検出手段２では１つのフィールドごとに動きベクトル検出ブロック８の数ぶんの動きベクトルを検出する。
【００１７】
しかし検出された複数の動きベクトルには無効な動きベクトルも含まれることがある。例えば撮像画像の一部にコントラストの低い部分があると動きベクトルが正確に検出できないために、無効な動きベクトルを出力してしまうことがある。そのために有効動きベクトル判別手段３において、複数個の動きベクトルから有効な動きベクトルを判別する。有効な動きベクトルを判別するには相関値で判別するとすれば、例えば相関値の平均値が低い時はコントラストが低いと判断できる。また相関値の最小値のまわりの傾斜が小さいときも有効性が低いと判別できる。
【００１８】
このようにして有効動きベクトル判別手段３で有効と判別された複数個の動きベクトルより最終的なそのフィールドにおける動きベクトルを動きベクトル決定手段４で決定する。ここでは有効動きベクトルの平均値を取るか中央値を取るかすることにより代表動きベクトルを決定する。
この代表動きベクトルによりぶれ補正を行うが、動きベクトル検出手段２において補間を行い１画素以下の精度を算出したために、この時の計算誤差が動きベクトルに含まれている。また画像のノイズ等によっても誤差が発生する。これらの誤差は動きベクトル決定手段４において有効動きベクトルの平均値を取ることや、有効動きベクトル判別手段３において無効動きベクトルを削除することにより減らすことができる。しかしある程度の誤差は残ってしまう。この誤差は最終的な動きベクトルが大きなときは与える影響が相対的に小さくなるためにあまり問題にならない。しかし動きベクトルが小さいときには誤差が与える影響は相対的に大きくなってしまう。そのため実際は動きベクトルが０であっても誤差によりぶれ補正手段６で補正してしまうので、最終的に出力される補正画像が細くぶれてしまう。この誤差の影響を避けるためにコアリング手段５においてコアリング処理を行う。
【００１９】
図２の例では動きベクトル検出ブロック８は５０個あるので、１フィールドにつき５０個の動きベクトルが検出される。検出された５０個の動きベクトルは有効動きベクトル判別手段３で有効な動きベクトルか無効な動きベクトルかが判別される。次に有効動きベクトル判別手段３から出力される有効判別信号に従って動きベクトル決定手段４では、有効な動きベクトルのみを用いてそれらの平均値や中央値を算出することにより、そのフィールドにおける最終的な一つの代表動きベクトルを算出する。
【００２０】
算出された代表動きベクトルはコアリング手段５においてコアリング処理される。この時、コアリング手段５には代表動きベクトルと有効動きベクトル判別信号とが入力されている。コアリング手段５では有効動きベクトル判別信号に従って図５におけるコアリング処理のしきい値を適応的に変化させて代表動きベクトルをコアリング処理する。具体的には有効動きベクトル判別信号が有効動きベクトルが多いと示したときは、コアリング処理のしきい値を小さくして、動きベクトル検出特性を優先させる。また有効動きベクトル判別信号が有効動きベクトルが少ないと示したときは、コアリング処理のしきい値を大きくして、誤差を出力しないようにする。
【００２１】
ぶれ補正手段６では撮像手段１で撮像されたぶれを含んだ映像信号と、コアリング処理をされた代表動きベクトルとが入力される。このぶれ補正手段６では映像信号を代表動きベクトルを打ち消す方向に切り出して出力することにより、ぶれの無い安定した映像を出力する。
【００２２】
尚、本実施例では、撮像手段１で撮像した画像から検出した動きベクトルをぶれ補正に使ったが、ＶＴＲなどの画像再生装置からの画像にも適用できる。またＴＶ会議システムやその他の画像処理にも適用することができる。
【００２３】
また、ぶれ補正手段として図６に示すように、可変頂角プリズム７を撮像光学系に設け、この可変頂角プリズム７を、コアリング手段５からの動きベクトルに応じてプリズム角度制御手段８により、ぶれを打消す方向に角度制御するようにしてもよい。
【００２４】
【発明の効果】
以上説明したように本発明によれば、画像からの動きベクトル検出する装置において、有効動きベクトルの数によりコアリング処理のしきい値を適応的に変化させることにより、装置の出力する誤差を少くしながらかつ良好な動きベクトル検出特性を得ることができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の実施例を示すブロック図である。
【図２】動きベクトル検出ブロックを示す構成図である。
【図３】サーチエリアをテンプレートがマッチングを行いながらサーチする様子を示す構成図である。
【図４】サーチエリアをテンプレートが移動しながらパターンマッチングを行っているときに出力される相関値を示すグラフである。
【図５】コアリング処理を示すグラフである。
【図６】撮像装置の他の実施例を示すブロック図である。
【符号の説明】
２  動きベクトル検出手段
３  有効動きベクトル判別手段
４  動きベクトル決定手段
５  コアリング手段
７  全撮像画像領域
８  動きベクトル検出ブロック
【図１】
0003639640.tif 000002
【図２】
0003639640.tif 000003
【図３】
0003639640.tif 000004
【図４】
0003639640.tif 000005
【図５】
0003639640.tif 000006
【図６】
0003639640.tif 000007