(57)【要約】    【課題】  センサの処理負荷を増加させることなく、動く物体による影響やブロック信頼性の誤判定による影響を排除し、高精度な動きベクトルを検出することが可能な動きベクトル検出装置を提供する。    【解決手段】  画面を複数のブロックに分割し（３１）、ブロックごとの動きベクトルを検出する（３２）。動きベクトルが類似するブロックをグループ化することにより、グループ分けを行う（３４）。同一グループに属するブロックの平均動きベクトルを算出し（３５）、平均動きベクトルとセンサ動きベクトルを比較して（３７）グループの信頼性を判定する。信頼できるグループの平均動きベクトルから全体の動きベクトルを検出する（３８）。【選択図】  図２
2007335917.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に用いられ、時間的に連続する画像間の相関から画像の動きベクトルを検出する動きベクトル検出装置において、
一画面を複数の領域に分割する分割手段と、
代表点マッチング法により、各領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値を算出する相関値算出手段と、
前記相関値に応じて前記相関値の傾向を示す相関値データを算出する相関値データ算出手段と、
前記相関値から各領域ごとに動きベクトルを検出する領域動きベクトル検出手段と、
前記相関値データにより各領域の信頼性を判定する信頼性判定手段と、
該信頼性判定手段により判定された信頼性により有効であると判定した領域の動きベクトルに基づいて、前記動きベクトルが類似する領域をグループ化するグループ化手段と、
同一グループに属する領域の平均動きベクトルを算出する平均動きベクトル算出手段と、
前記撮像装置の角加速度または角速度を示す速度パラメータを検出する速度パラメータ検出手段と、
前記速度パラメータを積分することで速度パラメータ積分値を求め、該速度パラメータ積分値よりセンサ動きベクトルを算出するセンサ動きベクトル算出手段と、
前記グループごとの平均動きベクトルと前記センサ動きベクトルを比較し、グループの信頼性を判定するグループ信頼性判定手段と、
該グループ信頼性判定手段により判定された信頼性により有効であると判定したグループの平均動きベクトルを用いて、画面全体の動きベクトルを検出する全体動きベクトル検出手段とを備えることを特徴とする動きベクトル検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラなどに用いられる手振れ補正装置等に適用する動きベクトル検出装置に関する。
【背景技術】
【０００２】
ビデオカメラなどにおいて、手振れ補正に適用される画面の動きベクトルを検出する動きベクトル検出装置が特許文献１に開示されている。この装置では動きベクトルの検出に代表点マッチング法が使われている。代表点マッチング法は、代表点画素として定められた画素の１つ前のフィールドにおける画像信号レベルと、探索範囲として定められた領域内の全画素の現在のフィールドにおける画像信号レベルとの差分絶対値和を算出して相関値を求め、その相関値が最小となる相関性の高いサンプリング点画素を求め、このサンプリング点画素と代表点画素との位置の差を、被写体の動きを表す動きベクトルとして特定する方法である。
【０００３】
具体的には、一画面を複数の領域（以下「ブロック」という）に分割し、ブロックごとの動きベクトルが代表点マッチング法により検出される。さらにブロックごとの相関値の傾向を示す相関値データ、すなわち相関値の最小値、平均値、勾配などを用いてブロックごとの動きベクトルの信頼性を判定する。そして、判定された信頼性に基づいて、検出されたブロックごとの動きベクトルが手振れによるものか否かを判定し、手振れによるものと判定されたブロックの動きベクトルの平均値やメディアン値から画面全体の動きベクトルを検出する。
【０００４】
【特許文献１】特開平６−１３３２９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、画面内に動く物体が存在すると、検出されたブロックごとの動きベクトルには、手振れに起因する動きベクトルと動く物体の動きに起因する動きベクトルの両方が混在しており、ここで画面全体の動きベクトルをすべてのブロックの動きベクトルの平均値やメディアン値にすると、画面全体の動きベクトルは動く物体の動きに起因する動きベクトルに影響されたものとなり、手振れ補正が十分に行えない問題点があった。
【０００６】
これに対して本出願人は、上述した点に着目して、信頼性判定で信頼性ありと判定されたブロックのうち、検出されたブロックごとの動きベクトルの類似度合によりブロックのグループ分けを行い、グループごとに信頼性を判定し、判定されたグループごとの信頼性に基づいて、動く物体が存在するブロックの動きベクトルを排除する動きベクトル検出装置を提案している。しかしながら、この手法は、グループごとの信頼性判定に用いるパラメータの選択が難しく、不適当なパラメータを選択すると手振れ補正全体の精度を落とす可能性がある。
【０００７】
一方、ビデオカメラの動きを検出する角速度センサ、角加速度センサなどを利用して動きベクトルを求める手法もある。しかし、この手法では検出精度を上げるためにはセンサ出力信号のサンプリング周波数を上げることが必要となり、ハードウェアや処理負荷が増大する問題がある。
【０００８】
本発明はこの点に着目してなされたものであり、処理負荷を増加させることなく、動く物体による影響やブロック信頼性の誤判定による影響を排除し、高精度な動きベクトルを検出することが可能な動きベクトル検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するため請求項１に記載の発明は、撮像装置に用いられ、時間的に連続する画像間の相関から画像の動きベクトルを検出する動きベクトル検出装置において、一画面を複数の領域に分割する分割手段と、代表点マッチング法により、各領域に含まれる代表点の１フィールド前の画素と、動き検出を行う探索範囲内の画素との相関値を算出する相関値算出手段と、前記相関値に応じて前記相関値の傾向を示す相関値データを算出する相関値データ算出手段と、
前記相関値から各領域ごとに動きベクトルを検出する領域動きベクトル検出手段と、前記相関値データにより各領域の信頼性を判定する信頼性判定手段と、該信頼性判定手段により判定された信頼性により有効であると判定した領域の動きベクトルに基づいて、前記動きベクトルが類似する領域をグループ化するグループ化手段と、同一グループに属するブロックの平均動きベクトルを算出する平均動きベクトル算出手段と、前記撮像装置の角加速度または角速度を示す速度パラメータを検出する速度パラメータ検出手段と、前記速度パラメータを積分することで速度パラメータ積分値を求め、該速度パラメータ積分値よりセンサ動きベクトルを算出するセンサ動きベクトル算出手段と、前記グループごとの平均動きベクトルと前記センサ動きベクトルを比較し、グループの信頼性を判定するグループ信頼性判定手段と、該グループ信頼性判定手段により判定された信頼性により有効であると判定したグループの平均動きベクトルを用いて、画面全体の動きベクトルを検出する全体動きベクトル検出手段とを備えることを特徴とする。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、一画面が複数の領域に分割され、領域ごとの動きベクトル検出、及び検出された動きベクトルの信頼性判定が行われる。信頼できる領域の動きベクトルに基づいて、動きベクトルが類似する領域がグループ化され、同一グループに属する領域の平均動きベクトルが算出される。撮像装置の角加速度または角速度を示す速度パラメータが検出され、速度パラメータに基づいてセンサ動きベクトルが算出される。グループごとの平均動きベクトルとセンサ動きベクトルが比較され、グループの信頼性が判定される。信頼できるグループの平均動きベクトルを用いて画面全体の動きベクトルが検出される。これにより、処理負荷を増加させることなく、画面内に存在する動く物体や、様々な条件による動きベクトルの誤検出を除外することができ、高精度な動きベクトルを検出することができる。
【発明を実施するための最良の形態】
【００１１】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる動きベクトル検出装置を適用した手振れ補正装置の構成を示すブロック図である。この装置は、撮像素子としてのＣＣＤ１と、信号処理器２と、ブロック動きベクトル検出器３と、ＣＰＵ６と、フィールドメモリ７と、角加速度センサ２１と、フィルタ２２とを備えている。ＣＣＤ１から出力される映像信号は図示されていないアンプで増幅され、Ａ／Ｄ変換器でＡ／Ｄ変換された後に、信号処理器２に入力され、色分離やγ補正等の各種信号処理が行われる。信号処理された画像信号の輝度色差信号のＹＣｂＣｒ信号はフィールドメモリ７に蓄えられる。フィールドメモリ７からの映像出力は、接続されているＣＰＵ６の読み出しアドレス制御によって行われる。
【００１２】
一方、信号処理器２で分離された輝度信号のＹ信号はブロック動きベクトル検出器３に入力される。ブロック動きベクトル検出器３では、代表点マッチング法によりブロックごとの動きベクトルの検出処理及び相関値データの算出処理を行い、その処理結果をＣＰＵ６に出力する。また、角加速度センサ２１は１フィールド期間に１６回の周期で検出信号を取得し、フィルタ２２を経由して検出信号ＳＦをＣＰＵ６に出力する。ＣＰＵ６は角加速度センサ２１から入力される１６回分の検出信号を水平方向及び垂直方向でそれぞれ積分し、１フィールドに対応するセンサ動きベクトルを算出する。ＣＰＵ６はブロック動きベクトル検出器３から入力されるブロックごとの動きベクトルと相関値データ及び算出されたセンサ動きベクトルに基づいて画面全体の動きベクトルを検出する。なお、本実施形態では角加速度センサを使用したが、角加速度センサに替えて角速度センサを使用してもよい。
【００１３】
ＣＰＵ６は、検出された画面全体の動きベクトルに従って読み出しアドレスを決定し、制御信号をフィールドメモリ７に出力する。フィールドメモリ７はＣＰＵ６から入力された制御信号に従い、手振れが補正された画像信号を出力する。
【００１４】
次に本実施形態の画面全体の動きベクトル検出の処理について説明する。図２はブロック動きベクトル検出器３と、ＣＰＵ６とで構成される動きベクトル検出モジュールの構成を示すブロック図である。このモジュールは、ブロック分割部３１，動きベクトル検出部３２，信頼性判定部３３，グループ分け部３４，平均動きベクトル算出部３５，センサ動きベクトル算出部３６，グループ信頼性判定部３７，及び全体動きベクトル検出部３８からなり、このモジュールの機能は、ブロック動きベクトル検出器３及びＣＰＵ６における処理によって実現される。
【００１５】
ブロック分割部３１は、画面のブロック分割を行い、動きベクトル検出部３２で前述した代表点マッチング法を用いて、分割されたブロックごとにブロック動きベクトルの検出を行う。図３はこのとき検出に使われるブロックと代表点画素の配置について説明する図である。図３には画面８の水平方向及び垂直方向ともに４分割した１６個のブロック９が示され、さらにブロック９内の水平方向に８個及び垂直方向に４個が等間隔に配置された代表点画素１０が示されている。なお１６個のブロック９には後述の説明に使うラベルＢ１〜Ｂ１６がつけられている。
【００１６】
次に信頼性判定部３３は、ブロックごとの相関値データ、すなわち相関値の最小値、平均値、勾配等を算出し、各ブロックの動きベクトルと相関値データを用いて各ブロックの信頼性判定を行う。すなわち、各ブロックが有効であるか無効であるかを判定する。無効と判定したブロックは以降の処理には使用しない。
【００１７】
グループ分け部３４は、信頼性判定部３３で有効と判定したブロックを対象として、各ブロックの動きベクトルが類似しているか否かを判定し、動きベクトルが類似しているブロックをグループ化することにより、ブロックのグループ分けを行う。比較する２つのブロックの動きベクトルの水平方向の差分絶対値と垂直方向の差分絶対値の和（以下「ブロック相関値」という）ＢＧを求め、算出したブロック相関値ＢＧが閾値ＢＧＴＨより小さいときは、比較する２つのブロックは同じグループに属する（動きベクトルが類似する）と判定する。具体的には有効と判定したブロックＢ１の動きベクトルを（Ｘ１，Ｙ１）とし、同じく有効と判定したブロックＢ２の動きベクトルを（Ｘ２，Ｙ２）としたとき、次の式（１）によりブロック相関値ＢＧ（１，２）を算出する。
ＢＧ（１，２）＝｜Ｘ１−Ｘ２｜＋｜Ｙ１−Ｙ２｜              （１）
【００１８】
そして、算出したブロック相関値ＢＧ（１，２）が閾値ＢＧＴＨより小さいとき、ブロックＢ１及びＢ２は同じグループに属していると判定する。ブロック相関値ＢＧによるブロックの類似性の判定は信頼性判定部３３において有効と判定したすべてのブロックについて行う。
【００１９】
このようにしてグループ分けをした例が図４に示されている。図４には画面８に家の前に位置する人物と、右から左に走行するトラックの画像が示されている。図４に示すトラックの上部の画面右上側のクロスハッチングを付した２つのブロック（ブロックＢ３とＢ４）と、地面部分が描かれている画面下のクロスハッチングを付した４つのブロック（Ｂ１３，Ｂ１４，Ｂ１５，Ｂ１６）とは信頼性判定部３３でのブロック信頼性判定で無効と判定され、これ以降の処理には使用されない。次に静止している人物、その背景にある樹木、及び家の画像が描かれている画面左側のハッチングを付した６つのブロック（Ｂ１，Ｂ２，Ｂ５，Ｂ６，Ｂ９，Ｂ１０）は式（１）による判定の結果でグループ１としてグループ化されている。
【００２０】
平均動きベクトル算出部３５は、分けられたグループごとに平均動きベクトルを算出する。平均動きベクトルは同一グループに属するすべてのブロック動きベクトルの平均値とする。グループ１の人物の胸のあたりに描かれている矢印Ｙ１が後で説明するグループ１の動きベクトルを表している。グループ１内の画像は静止している人物と動かない背景であるところから、このグループ１の動きベクトルは手振れに起因する動きベクトルであると判断できる。
【００２１】
また、走行中のトラックの画像が含まれる画面右側の二重線のハッチングを付した４ブロック（Ｂ７，Ｂ８，Ｂ１１，Ｂ１２）も同様に式（１）による判定の結果でグループ２としてまとめられている。グループ２の動きベクトルは、矢印Ｙ２で示すようになり、これは手振れに起因する動きベクトルとトラックの動きに起因する動きベクトルとが混合したものである。
【００２２】
一方、センサ動きベクトル算出部３６は、フィルタ２２から出力される検出信号ＳＦの水平方向成分及び垂直方向成分それぞれについて、１６個の検出値を積分し、１フィールドに対応するセンサ動きベクトルを算出する。
【００２３】
グループ信頼性判定部３７は、ベクトル比較によるグループ信頼性判定を行う。図５を参照してその判定手法を説明する。図５には図４と同様に平均動きベクトル算出部３５で算出した平均動きベクトルがグループごとに太い矢印で示されている。グループ１の平均動きベクトルは矢印Ｙ１、グループ２の平均動きベクトルは矢印Ｙ２となっている。また、角加速度センサ２１の検出信号ＳＦに基づいて算出されたセンサ動きベクトルが画面８の右側に矢印Ｙ３として示されている。センサ動きベクトルの矢印Ｙ３と各平均動きベクトルの矢印Ｙ１及びＹ２のベクトル値（ベクトル成分）をそれぞれ比較し、ベクトル値が近い値を示すグループを有効グループと判定する。無効と判定されたグループは以降の処理には使用しない。図５に示す例ではグループ１のベクトル（矢印Ｙ１）の方向及び大きさがセンサ動きベクトル（矢印Ｙ３）のものにほぼ等しく、すなわち矢印Ｙ１と矢印Ｙ３のベクトル値がほぼ等しいため、グループ１は有効グループであると判定される。一方、グループ２のベクトル（矢印Ｙ２）は方向及び大きさがセンサ動きベクトル（矢印Ｙ３）のものとはかけ離れたものになっており、すなわち矢印Ｙ２と矢印Ｙ３のベクトル値が全く異なったものになっているため、グループ２は無効グループであると判定される。
【００２４】
全体動きベクトル検出部３８は、グループ信頼性判定部３７で有効と判定したグループの平均動きベクトルに基づき画面全体（フィールド）の動きベクトルを決定する。本実施形態ではグループ１の平均動きベクトルが画面全体（フィールド）の動きベクトルとなる。また、有効グループが複数存在する場合は、有効と判断されたグループの平均動きベクトルを平均し、画面全体（フィールド）の動きベクトルとする。
【００２５】
グループ信頼判定は、具体的には次に示す式（２）を用いて行う。平均動きベクトル算出部３５で算出した平均動きベクトルを（ＸＧＲＰ，ＹＧＲＰ）とし、センサ動きベクトル算出部３６で算出したセンサ動きベクトルを（ＸＣＥＮ，ＹＣＥＮ）とし、判定閾値をＦＢＴＨとし、次式（２）を満足するグループを有効と判断する。
｜ＸＧＲＰ−ＸＣＥＮ｜＋｜ＹＧＲＰ−ＹＣＥＮ｜＜ＦＢＴＨ    （２）
【００２６】
ここでは動く物体が存在するグループの除去を例にとって説明を行ってきたが、信頼性判定部３３のブロック信頼性判定で動く物体がないにもかかわらず、誤判定により、手振れによる動きとは異なる動きベクトルでグループ化されたグループに関しても、この手法を使うことにより、その影響を排除することができる。これにより、フィールド単位の高精度な動きベクトルを検出することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態にかかる動きベクトル検出装置を適用した、ビデオカメラの手振れ補正装置の構成を示すブロック図である。
【図２】ブロック動きベクトル検出器３と、ＣＰＵ６とで構成される動きベクトル検出モジュールの構成を示すブロック図である
【図３】ビデオカメラの画面上のブロックと代表点画素の配置を説明するための図である。
【図４】ブロックのグループ分けを説明するための図である。
【図５】平均動きベクトルとセンサ動きベクトルの比較によるグループ信頼性判定について説明するための図である。
【符号の説明】
【００２８】
１  ＣＣＤ
２  信号処理器
３  ブロック動きベクトル検出器
６  ＣＰＵ
７  フィールドメモリ
８  画面
９  ブロック
１０  代表点画素
２１  角加速度センサ（速度パラメータ検出手段）
２２  フィルタ
３１  ブロック分割部（分割手段）
３２  動きベクトル検出部（相関値算出手段、領域動きベクトル算出手段）
３３  信頼性判定部（相関値データ算出手段、信頼性判定手段）
３４  グループ分け部（グループ化手段）
３５  平均動きベクトル算出部（平均動きベクトル算出手段）
３６  センサ動きベクトル算出部（センサ動きベクトル算出手段）
３７  グループ信頼性判定部（グループ信頼性判定手段）
３８  全体動きベクトル検出部（全体動きベクトル検出手段）
【図１】
2007335917.tif 000003
【図２】
2007335917.tif 000004
【図３】
2007335917.tif 000005
【図４】
2007335917.tif 000006
【図５】
2007335917.tif 000007