(57)【特許請求の範囲】
【請求項１】
互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するマクロベクトル検出手段と、
互いに隣接しない少なくとも２つの上記マクロブロックにおいて上記マクロベクトル検出手段により略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出する動きベクトル検出手段と、
上記有効マクロブロックの位置情報を記憶する記憶手段と、
上記動きベクトル検出手段により上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶手段に記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力する判定手段と
を備える動きベクトル検出装置。
【請求項２】
互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するステップと、
互いに隣接しない少なくとも２つの上記マクロブロックにおいて略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出するステップと、
上記有効マクロブロックの位置情報を記憶するステップと、
上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力するステップと
を備える動きベクトル検出方法。
【請求項３】
互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するマクロベクトル検出手段と、
互いに隣接しない少なくとも２つの上記マクロブロックにおいて上記マクロベクトル検出手段により略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出する動きベクトル検出手段と、
上記有効マクロブロックの位置情報を記憶する記憶手段と、
上記動きベクトル検出手段により上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶手段に記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力する判定手段と、
上記判定手段より出力される画面全体の動きベクトルに基づいて、上記画面を構成する画像の振動を補正する補正手段と
を備える画像の振動補正装置。
【請求項４】
互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するステップと、
互いに隣接しない少なくとも２つの上記マクロブロックにおいて略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出するステップと、
上記有効マクロブロックの位置情報を記憶するステップと、
上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力するステップと、
上記出力される画面全体の動きベクトルに基づいて、上記画面を構成する画像の振動を補正するステップと
を備える画像の振動補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出装置及び方法、並びに、画像の振動補正装置及び方法に関し、例えばハンディタイプのビデオカメラの撮像出力などのビデオデータに含まれる所謂手振れによる画像の移動量を検出して補正する画像の手振れ補正装置などに適用される。
【０００２】
【従来の技術】
一般に、ハンディタイプのビデオカメラでは、撮影時の手振れすなわちカメラの振動が画像の振動となって現れる。そこで、このような手振れによる画像の振動を補正する画像の手振れ補正装置として、例えば特開昭６３−１６６３７０号公報に開示されているように、画像の動きベクトルを検出し、この動きベクトルに基づいて、画像メモリに貯えられているビデオデータを補正するものが提案されている。
【０００３】
画像の動きベクトルの検出には、例えばブロックマッチング法が採用される。このブロックマッチング法による画像の動きベクトルの検出では、画面を多数の領域（ブロックと称する）に分割し、各ブロックの中心に位置する前フィールドの代表点画素と現フィールドのブロック内の各画素の画像データとのフィールド差の絶対値を演算し、各ブロックのフィールド差分絶対値を対応する画素毎に積算して相関積分値を求めて、１ブロック分の画素配列に対応する座標を有する相関積算値表を形成する。そして、この相関積算値表における相関積分値の最小値の座標値を画像の動きベクトルの座標値として画面全体の動きベクトルを決定している。
【０００４】
一般に、上述の如きブロックマッチング法では、カメラの手振れによる画像の動きベクトルと被写体の動きによる動きベクトルとが同時に発生するので、これらの判別が難しい。従来、手振れによる画像の動きベクトルの検出精度を高める手法として、１画面を複数の領域（マクロブロック）に分割し、上記マクロブロック毎の動きベクトル（マクロベクトル）を求め、それらから画面全体の動きベクトルを決定する手法が知られている。例えば図１３に示すように、１画面の４×３の１２マクロブロックに分割して求めたマクロベクトルについての多数決により（２，０）を画面全体の動きベクトルとすることにより、動き物体ＭＶによる動きベクトルの影響を除去するようにしていた。
【０００５】
【発明が解決しようとする課題】
ところで、マクロブロック単位の相関積算値表の最小値を求めることにより動きベクトルを検出し、上記マクロブロック毎の動きベクトルから画面全体の動きベクトルを検出する手法では、動き物体があると、手振れベクトルの情報を含む背景画像が上記動き物体によりマスクされてしまうので、画像中の動き物体の占める割合が大きい程、手振れベクトルが上記マクロブロック単位の動きベクトルとして検出される割合が低下し、正しい手振れベクトルの検出が困難になるという問題点がある。
【０００６】
そこで、本件出願人は、互いに隣接しないマクロブロックが生じるような形態で１画面を複数のマクロブロックに分割して、マクロブロック単位の相関積算値表の最小値を求めることにより動きベクトルを検出し、図１４に示すように、空間的に分離された位置にある少なくとも二つのマクロブロックにおいて検出される同一の動きベクトル（独立同一ベクトル）を手振れベクトルとする手法を例えば特願平３−１００３８４号などにおいて先に提案している。上記図１４には、各マクロブロックの動きベクトルと（マクロベクトル）その発生パターンの１例を示してある。
【０００７】
しかし、例えば図１５にマクロベクトルを示すように、大きな動き物体画面に進入してきたような場合などでは、上述の多数決や独立同一ベクトルによる手法によっても、動き物体による動きベクトル（−３，０）と手振れベクトル（１，−２）との判定ができなくなる場合がある。
【０００８】
そこで、本発明は、このような実情に鑑みてなされたものであり、ハンディタイプのビデオカメラなどにおける高性能の手振れ補正を可能にすることを目的とし、画像中に動き物体がある場合にも動きベクトルを高精度に検出することのできる動きベクトル検出装置及び方法、画像の振動補正装置及び方法を提供するものである。
【０００９】
【課題を解決するための手段】
本発明に係る動きベクトル検出装置は、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するマクロベクトル検出手段と、互いに隣接しない少なくとも２つの上記マクロブロックにおいて上記マクロベクトル検出手段により略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出する動きベクトル検出手段と、上記有効マクロブロックの位置情報を記憶する記憶手段と、上記動きベクトル検出手段により上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶手段に記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力する判定手段とを備えることを特徴とする。
【００１０】
また、本発明に係る動きベクトル検出方法は、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するステップと、互いに隣接しない少なくとも２つの上記マクロブロックにおいて略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出するステップと、上記有効マクロブロックの位置情報を記憶するステップと、上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力するステップとを備えることを特徴とする。
【００１１】
また、本発明に係る画像の振動補正装置は、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するマクロベクトル検出手段と、互いに隣接しない少なくとも２つの上記マクロブロックにおいて上記マクロベクトル検出手段により略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出する動きベクトル検出手段と、上記有効マクロブロックの位置情報を記憶する記憶手段と、上記動きベクトル検出手段により上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶手段に記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力する判定手段と、上記判定手段より出力される画面全体の動きベクトルに基づいて、上記画面を構成する画像の振動を補正する補正手段とを備えることを特徴とする。
【００１２】
さらに、本発明に係る画像の振動補正方法は、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するステップと、互いに隣接しない少なくとも２つの上記マクロブロックにおいて略同一の動きベクトルが検出されるとき、当該マクロブロックを有効マクロブロックとして、当該有効マクロブロックに基づいて画面全体の動きベクトルを検出するステップと、上記有効マクロブロックの位置情報を記憶するステップと、上記画面全体の動きベクトルが検出されないとき、現画面の同一の動きベクトルを有するマクロブロックの位置情報と、上記記憶される前画面の有効マクロブロックの位置情報との時間相関に基づいて、現画面の画面全体の動きベクトルを出力するステップと、上記出力される画面全体の動きベクトルに基づいて、上記画面を構成する画像の振動を補正するステップとを備えることを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１４】
本発明に係る画像の動きベクトル検出装置は、例えば図１のように構成される。
【００１５】
この図１に示した動きベクトル検出装置１０は、ハンディタイプのビデオカメラにおける手振れ等による画像の振動を補正する振動補正装置に本発明を適用したもので、補正信号発生部２０及び補正部３０とともに振動補正装置を構成している。この図１において、信号入力端子１には、上記ビデオカメラの図示しない撮像部による撮像出力として得られるビデオ信号をディジタル化した入力ビデオデータが供給される。
【００１６】
この動きベクトル検出装置１０は、入力ビデオデータが上記信号入力端子１を介して供給されるフィールド差分検出部１１と、このフィールド差分検出部１１の出力が供給されるマクロベクトル検出部１２と、このマクロベクトル検出部１２の出力が供給される独立・準独立同一ベクトル判定部１５と、上記マクロベクトル検出部１２及び独立・準独立同一ベクトル判定部１５の出力が供給される手振れベクトル判定部１６とを備えてなる。
【００１７】
上記フィールド差分検出部１１は、上記入力ビデオデータが上記信号入力端子１を介して供給される代表点メモリ１１Ａと減算回路１１Ｂからなる。
【００１８】
上記代表点メモリ１１Ａは、入力ビデオデータで構成される１フィールドの画像を複数に分割した各ブロック毎の代表点画素の画像データＩｋ  （０，０）を記憶する。具体的には、例えば図２に示すように、１フィールドの画面をｍ画素×ｎラインのブロックに分割し、図３に示すように各ブロックの中心の画素Ｓ（０，０）を代表点とし、各代表点画素の画像データＩｋ  （０，０）を上記代表点メモリ１１Ａに１フィールド期間記憶する。なお、上記代表点は、画面上で均一にばらまかれている。そして、この代表点メモリ１１Ａから読み出される１フィールド前の各代表点画素の画像データＩｋ−１  （０，０）が上記減算回路１１Ｂに供給される。
【００１９】
また、上記減算回路１１Ｂは、上記信号入力端子１を介して供給される入力ビデオデータすなわち現フィールドの画像データについて、ブロック毎のｍ×ｎ個の各画素の画像データＩｋ  （ｘ，ｙ）と上記代表点メモリ１１Ａから読み出される前フィールドの対応するブロックの代表点画素の画像データＩｋ−１  （０，０）との差分すなわちフィールド間差の絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜を検出する。
【００２０】
そして、上記フィールド差分検出部１１は、上記減算回路１１Ｂにより得られるフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜を上記マクロベクトル検出部１２に供給する。
【００２１】
上記マクロベクトル検出部１２は、上記フィールド差分検出部１１により得られたフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜が供給されるマクロブロック化回路１３と、このマクロブロック化回路１３によりマクロブロック化されたフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜が供給される第１乃至第１２のマクロベクトル検出回路１４Ａ〜１４Ｌ及びベクトル検出回路１４Ｍからなる。
【００２２】
上記マクロブロック化回路１３は、上記フィールド差分検出部１１により得られたフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜について、互いに隣接しないマクロブロックが生じる形態で、１画面を複数のマクロブロックに分割するもので、例えば図４に示すように、１画面を４×３の１２個のマクロブロックＢ１〜Ｂ１２に分割する。
【００２３】
そして、このマクロブロック化回路１３によりマクロブロック化されたフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜は、各マクロブロックＢ１〜Ｂ１２に対応するマクロベクトル検出回路１４Ａ〜１４Ｌにマクロブロック毎に供給されるとともに、上記ベクトル検出回路１４Ｍに全マクロブロックが供給される。
【００２４】
上記第１のマクロベクトル検出回路１４Ａは、第１のマクロブロックＢ１のフィールド差分絶対値｜Ｉｋ−１  （０，０）−Ｉｋ  （ｘ，ｙ）｜について、上記ｍ×ｎ個の画素で構成されるブロックの各フィールド差分絶対値を対応する画素毎に積算して、上記第１のマクロブロックＢ１の相関積算値表を形成し、その極小値座標を動きベクトル候補として検出する。以下同様に、上記第２乃至第１２の絶対値積分回路１４Ｂ〜１４Ｌは、それぞれ対応する第２乃至第１２のマクロブロックＢ２〜Ｂ１２の相関積算値表を形成し、各極小値座標を動きベクトル候補として検出する。また、上記第１３の絶対値積分回路１４Ｍは、上記第１乃至第１２のマクロブロックＢ１〜Ｂ１２からなる１画面全体の相関積算値表を形成し、その極小値座標を動きベクトル候補として検出する。
【００２５】
ここで、上記マクロベクトル検出部１２により形成された各相関積算値表の相関積算値は、各ブロックの代表点画素の画像データＩｋ−１  （０，０）と他の画素の画像データＩｋ  （ｘ，ｙ）とのフィールド間相関を示すもので、相関の強い画素に対応する座標ほど小さな値となり、動きベクトルに対応する座標の相関積算値が最小値となるので、相関積算値表の最小値の座標を検出することにより動きベクトルを検出することができる。なお、上記相関積算値表の最小値は極小値の１つであって、画像中の動き物体の占める割合が大きいときには、例えば図５に示すように、マクロブロックＢ１において、上記動き物体による動きベクトルが上記相関積算値表の最小値座標（３，１）として検出され、背景ベクトルすなわち手振れベクトルが上記マクロブロック単位の動きベクトルを示す座標として検出される割合が低下するが、上記手振れベクトルは上記相関積算値表の極小値の座標（−１，０）として検出されることになる。
【００２６】
すなわち、この実施の形態において、上記フィールド差分検出部１１及びマクロベクトル検出部１２は、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出するもので、本発明に係る画像の動きベクトル検出装置におけるマクロベクトル検出手段として機能している。
【００２７】
そして、上記マクロベクトル検出部１２は、上記第１乃至第１２のマクロベクトル検出回路１４Ａ〜１４Ｌにより検出した各マクロブロックＢ１〜Ｂ１２の動きベクトルすなわち各マクロベクトルと上記ベクトル検出回路１４Ｍにより検出した１画面全体の動きベクトルを上記独立・準独立同一ベクトル判定部１５及び上記手振れベクトル判定部１６に供給する。
【００２８】
上記独立・準独立同一ベクトル判定部１５は、上記マクロベクトル検出部１２から供給される各マクロベクトル及び画面全体の動きベクトルについて、同一の動きベクトルの発生パターンを判定し、空間的に分離された位置にある少なくとも二つのマクロブロックにおいて同一の動きベクトル（独立同一ベクトル）が検出された場合に、その動きベクトルを画面全体の動きベクトル候補として出力する。例えば上記図５に示した状態では、空間的に分離された位置にある２つマクロブロックＢ１，４に同一の動きベクトル（−１，０）があるので、この動きベクトル（−１，０）を手振れベクトルとする。このように、上記独立・準独立同一ベクトル判定部１５は、各マクロブロックの積算値の最小値ベクトルだけでなく、極小値ベクトルも動きベクトルの候補とすることにより、動き物体が画面中に占める割合が非常に大きいときでも、正しい動きベクトルを検出できる確率が高まり、動き物体の影響を軽減して、誤差の少ない動きベクトルを得ることができる。
【００２９】
また、上記独立・準独立同一ベクトル判定部１５は、上記マクロベクトル検出部１２から供給される各マクロベクトル及び画面全体の動きベクトルについて、同一の動きベクトルの発生パターンを判定し、図６に同一マクロベクトルの発生パターンの一例を示すように、凹状に配置された各マクロブロックにおいて略同一の動きベクトル（準独立同一ベクトル）が検出された場合に、当該動きベクトルを画面全体の動きベクトル候補として出力する。
【００３０】
ここで、画面中の存在する自動車や人物などの動き物体は、凸状に現れる場合が多いので、このように凹状に配置された各マクロブロックにおいて略同一の動きベクトルが検出された場合に、当該動きベクトルを画面全体の動きベクトル候補とすることによって、上記独立・準独立同一ベクトル判定部１５において動きベクトルを確実に検出することができる。
【００３１】
また、上記手振れベクトル判定部１６は、本発明に係る画像の動きベクトル検出装置における手振れベクトル判定手段として機能するもので、重なり度算出回路１６Ａとマクロブロック有効判定メモリ１６Ｂとを備えてなる。
【００３２】
この手振れベクトル判定部１６において、上記重なり度算出回路１６Ａは、上記独立・準独立同一ベクトル判定部１５により動きベクトルが検出された場合には、その動きベクトルをそのまま出力する。また、上記重なり度算出回路１６Ａは、１フィールド毎に出力する動きベクトルと同じマクロベクトルが得られた各マクロブロックを示す情報を有効マクロブロック情報として上記マクロブロック有効判定メモリ１６Ｂに記憶させる。
【００３３】
例えば、前のフィールドにおいて図７に示すようなマクロベクトルが得られて動きベクトル（−１，２）が検出されたとすると、上記マクロブロック有効判定メモリ１６Ｂには、上記動きベクトル（−１，２）と同じマクロベクトルが得られた図８に斜線を施して示す各マクロブロックＢ１，Ｂ４，Ｂ５，Ｂ９を示す情報が有効マクロブロック情報として上記マクロブロック有効判定メモリ１６Ｂに記憶される。
【００３４】
さらに、上記重なり度算出回路１６Ａは、上記独立・準独立同一ベクトル判定部１５において動きベクトルを検出できない場合に、上記マクロブロック有効判定メモリ１６Ｂから１フィールド前の有効マクロブロック情報を読み出して、上記マクロベクトル検出部１２から供給される現フィールドの各マクロベクトルの時間相関を判定し、上記時間相関が有為と判定されたマクロブロックの動きベクトルを画面全体の動きベクトルとして出力する。
【００３５】
例えば、現フィールドにおいて図９に示すようなマクロベクトルが得られたとすると、独立同一ベクトルも準備独立同一ベクトルも存在しないので、上記独立・準独立同一ベクトル判定部１５では、動きベクトルを検出できない。ここで、動き物体による動きベクトルを示す（７，０）のマクロベクトルが検出された数は９個であり、背景ベクトル（手振れベクトル）を示す（−４，１）のマクロベクトルが検出された数は３個であるから、単純に多数決では動きベクトルが（７，０）に決定してしまうことになる。
【００３６】
そこで、上記重なり度算出回路１６Ａは、現フィールドにおいて（７，０）が動きベクトルであるとすると、上記マクロブロック有効判定メモリ１６Ｂから読み出される前フィールドの有効マクロブロック情報により示される前フィールドで有効であった４個のマクロブロックＢ１，Ｂ４，Ｂ５，Ｂ９のうち、マクロブロックＢ４の１個だけが（７，０）であるから、−３＋１＝−２点とカウントする。また、現フィールドにおいて上記（７，０）のマクロベクトルが得られた図１０に斜線を施して示す９個のＢ２〜Ｂ４，Ｂ６〜Ｂ８，Ｂ１０〜Ｂ１２のうち、前フィールドではマクロブロックＢ４の１個だけが有効マクロブロックであるから、−８＋１＝−７点とカウントする。そして、現フィールドにおいて（７，０）が動きベクトルであるとする場合の評価点を−２−７＝−９点とカウントする。
【００３７】
また、上記重なり度算出回路１６Ａは、現フィールドにおいて（−４，−１）が動きベクトルであるとすると、上記マクロブロック有効判定メモリ１６Ｂから読み出される前フィールドの有効マクロブロック情報により示される前フィールドで有効であった４個のマクロブロックＢ１，Ｂ４，Ｂ５，Ｂ９のうち、マクロブロックＢ１，Ｂ５，Ｂ９の３個が（−４，−１）であるから、３−１＝２点とカウントする。また、現フィールドにおいて上記（−４，−１）のマクロベクトルが得られた図１１に斜線を施して示す３個のマクロブロックＢ１，Ｂ５，Ｂ９が全て前フィールドでは有効マクロブロックであるから、３−０＝３点とカウントする。そして、現フィールドにおいて（−４，−１）が動きベクトルであるとする場合の評価点を２＋３＝５点とカウントする。
【００３８】
上記重なり度算出回路１６Ａは、現フィールドにおいて（７，０）が動きベクトルであるとする場合の評価点は−９点であるのに対し、現フィールドにおいて（−４，−１）が動きベクトルであるとする場合の評価点は５点であるから、上記（−４，−１）が動きベクトルであると判定することができる。
【００３９】
このようにこの実施の形態の動きベクトル検出装置では、上記フィールド差分検出部１１及びマクロベクトル検出部１２により、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出する。そして、手振れベクトル判定部１６は、上記マクロベクトル検出部１２により得られた各マクロブロック毎の動きベクトルの時間相関を判定し、時間相関のある時間相関が有為と判定されたマクロブロックの動きベクトルを画面全体の動きベクトルすなわち手振れベクトルとして出力するので、独立同一ベクトルや準備独立同一ベクトルによる手法や単純な多数決では決定することができない大きな動き物体画面に進入してきたような場合などにおける手振れベクトルを確実に検出して出力することができる。
【００４０】
なお、上記重なり度算出回路１６Ａにおいて、現フィールドの各マクロベクトルの時間相関を判定する手法は、上記手法に限定されるものでない。
【００４１】
そして、この動きベクトル検出装置１０は、上記独立・準独立同一ベクトル判定部１５により検出した動きベクトルを上記補正信号発生部２０に供給する。
【００４２】
また、上記補正信号発生部２０は、上記動きベクトル検出装置１０により検出された動きベクトルＶｔ’を入力として、Ｘｔ＝Ｘｔ−１−Ｖｔ’なる補正量Ｘｔの画面の振動補正信号を形成し、この画面の振動補正信号を上記補正部３０に供給する。
【００４３】
そして、上記補正部３０は、例えば図１２に示すように、上記補正信号発生部２０から画面の振動補正信号が供給されるアドレス制御回路３１及びセレクト信号発生回路３２と、上記アドレス制御回路３１から供給されるアドレス信号に従ってビデオデータの書き込み／読み出しが行われるフィールドメモリ３３及び周辺メモリ３４と、上記フィールドメモリ３３及び周辺メモリ３４から読み出されるビデオデータを上記セレクト信号発生回路３２から供給されるセレクト信号に応じて選択的に出力するセレクタ３５とを備えてなる。
【００４４】
上記フィールドメモリ３３には、上記信号入力端子１を介して供給される入力ビデオデータが順次書き込まれる。そして、このフィールドメモリ３３の読み出しアドレスが上記画面の振動補正信号により上記動きベクトルに応じて制御される。これにより、上記フィールドメモリ３３からは、１フィールドの入力ビデオデータが上記動きベクトルに応じて移動されたビデオデータが得られる。そして、このフィールドメモリ３３から読み出されるビデオデータと上記周辺メモリ３４から読み出される周辺ビデオデータとが上記セレクタ３５による選択によって合成され、画面の振動補正処理済みのビデオデータとして信号出力端子２から出力される。
【００４５】
なお、上記周辺メモリ３４には、上記セレクタ３５を介して出力される画面の振動補正処理済みのビデオデータによる画像の補正範囲に相当する周辺部分のビデオデータが周辺ビデオデータとして逐次書き込まれる。
【００４６】
【発明の効果】
以上の説明からも明らかなように、本発明によれば、互いに隣接しないマクロブロックが生じるような形態で、１画面を複数のマクロブロックに分割し、上記マクロブロック毎に動きベクトルを検出し、検出された各動きベクトルに基づいて画面全体の動きベクトルを検出するための有効マクロブロックを特定し、当該有効マクロブロックの動きベクトルに基づいて動きベクトルを検出し、上記動きベクトルを検出した現画面の上記有効マクロブロックと、前画面の画面全体の動きベクトルを検出するときに用いた有効マクロブロックとの位置情報の相関に基づいて、上記動きベクトルを画面全体の動きベクトルとして出力するので、独立同一ベクトルや準備独立同一ベクトルによる手法や単純な多数決では決定することができない大きな動き物体画面に進入してきたような場合などにおける動きベクトルを確実に検出して出力することができ、正しい動きベクトルを検出できる確率が高まり、動き物体の影響を軽減して、誤差の少ない動きベクトルを得ることができる。
【図面の簡単な説明】
【図１】本発明に係る画像の動きベクトル検出装置を設けた画像の振動補正装置の構成を示すブロック図である。
【図２】上記動きベクトル検出装置における画面のブロック分割の状態を示す図である。
【図３】ブロック分割された画面の１ブロックの構造を示す図である。
【図４】１画面を１２分割したマクロブロックの状態を示す図である。
【図５】独立・準独立同一ベクトル判定部により動きベクトルとして検出する独立同一ベクトルの発生パターンの一例を示す図である。
【図６】上記独立・準独立同一ベクトル判定部により動きベクトルとして検出する準独立同一ベクトルの発生パターンの一例を示す図である。
【図７】上記独立・準独立同一ベクトル判定部により動きベクトルが検出された前フィールドのマクロベクトルの発生状態を示す図である。
【図８】上記独立・準独立同一ベクトル判定部により動きベクトルが検出された前フィールドのマクロベクトルの発生パターンを示す図である。
【図９】上記独立・準独立同一ベクトル判定部により動きベクトルが検出できない現フィールドのマクロベクトルの発生状態を示す図である。
【図１０】現フィールドにおける物体による動きベクトルの発生パターンを示す図である。
【図１１】現フィールドにおけるき動きベクトルの発生パターンを示す図である。
【図１２】上記画面の振動補正装置の補正部の構成を示すブロック図である。
【図１３】マクロベクトルの多数決により動きベクトルを決定する手法の説明に供する図である。
【図１４】空間的に分離された位置のマクロベクトルにより動きベクトルを決定する手法の説明に供する図である。
【図１５】空間的に分離された位置のマクロベクトルにより動きベクトルを決定する手法の破綻例の説明に供する図である。
【符号の説明】
１０  動きベクトル検出装置、１１  フィールド差分検出部、１２  マクロベクトル検出部、１５  独立・準独立ベクトル判定部、１６  手振れベクトル判定部、２０  補正信号発生部、３０  補正部
【図１】
0003601506.tif 000002
【図２】
0003601506.tif 000003
【図３】
0003601506.tif 000004
【図４】
0003601506.tif 000005
【図５】
0003601506.tif 000006
【図６】
0003601506.tif 000007
【図７】
0003601506.tif 000008
【図８】
0003601506.tif 000009
【図９】
0003601506.tif 000010
【図１０】
0003601506.tif 000011
【図１１】
0003601506.tif 000012
【図１２】
0003601506.tif 000013
【図１３】
0003601506.tif 000014
【図１４】
0003601506.tif 000015
【図１５】
0003601506.tif 000016