(57)【要約】【課題】画像間の動きベクトルの検出に有利な画像処理装置を提供すること。【解決手段】動きベクトルを検出するために、入力画像に対し二値化処理を施す画像処理装置であって、前記入力画像に対し二値化処理を施し、第１の方向の二値化画像および該第１の方向と直交する第２の方向の二値化画像を生成する二値化処理部（１０８）と、生成した前記第１の方向の二値化画像および前記第２の方向の二値化画像の統合方法を決定する二値化処理決定部（１０７）と、前記二値化処理部は、決定された二値化画像の統合方法に基づいて、前記第１の方向の二値化画像および前記第２の方向の二値化画像を統合する、ことを特徴とする。【選択図】図１
2016082371.tif 000002
【特許請求の範囲】
【請求項１】
動きベクトルを検出するために、入力画像に対し二値化処理を施す画像処理装置であって、
前記入力画像に対し二値化処理を施し、第１の方向の二値化画像および該第１の方向と直交する第２の方向の二値化画像を生成する二値化処理部と、
生成した前記第１の方向の二値化画像および前記第２の方向の二値化画像の統合方法を決定する二値化処理決定部と、
前記二値化処理部は、決定された二値化画像の統合方法に基づいて、前記第１の方向の二値化画像および前記第２の方向の二値化画像を統合する、
ことを特徴とする画像処理装置。
【請求項２】
前記入力画像の撮影パラメータを取得する撮影パラメータ取得部を有し、
前記二値化処理決定部は、取得された撮影パラメータに基づいて、前記二値化画像の統合方法を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記二値化画像の統合方法は、前記第１の方向の二値化画像および前記第２の方向の二値化画像を論理積で統合する方法、または、前記第１の方向の二値化画像および前記第２の方向の二値化画像を論理和で統合する方法、であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記二値化処理決定部は、前記撮影パラメータから、光学系の歪曲率が第１の閾値よりも大きいと判定した場合には論理積で二値化画像を統合することを決定し、前記歪曲率が第１の閾値以下である場合には論理和で二値化画像を統合することを決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記二値化処理決定部は、前記撮影パラメータから、撮像装置の動きが第２の閾値よりも大きい場合には論理積で二値化画像を統合することを決定し、前記動きが第２の閾値以下である場合には論理和で二値化画像を統合することを決定することを特徴とする請求項２または３に記載の画像処理装置。
【請求項６】
前記撮影パラメータは、撮影時の絞り値、焦点距離、シャッタースピード、光学系の歪み情報、および撮像装置の動き情報のうち少なくとも１つの情報であることを特徴とする請求項２ないし５のいずれか１項に記載の画像処理装置。
【請求項７】
前記二値化処理部により統合された第１の二値化画像と、前記入力画像よりも前の入力画像であって前記二値化処理部により統合された第２の二値化画像と、の間の相関値を算出する相関値演算部を有し、
前記二値化処理決定部は、前記相関値演算部におけるテンプレートサイズが第３の閾値よりも大きい場合には論理積で二値化画像を統合することを決定し、前記テンプレートサイズが第３の閾値以下である場合には論理和で二値化画像を統合することを決定することを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。
【請求項８】
前記二値化処理部により統合された第１の二値化画像と、前記入力画像よりも前の入力画像であって前記二値化処理部により統合された第２の二値化画像と、の間の相関値を算出する相関値演算部を有し、
前記二値化処理決定部は、前記相関値演算部におけるサーチ範囲が第４の閾値よりも狭い場合には論理積で二値化画像を統合することを決定し、前記サーチ範囲が第４の閾値以上である場合には論理和で二値化画像を統合することを決定することを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。
【請求項９】
前記二値化処理部により統合された第１の二値化画像と、前記入力画像よりも前の入力画像であって前記二値化処理部により統合された第２の二値化画像と、の間の相関値を算出する相関値演算部と、
前記相関値を用いて動きベクトルを算出する動きベクトル算出部と、を有することを特徴とする請求項１ないし８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記入力画像を解析する画像解析部を有し、
前記二値化処理決定部は、前記画像解析部における解析結果に応じて、前記二値化画像の統合方法を決定することを特徴とする請求項１ないし９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像解析部は、前記入力画像に対して、分散値の算出、コントラストの算出、エッジ抽出処理、被写体認識処理、およびシーン認識処理のうち少なくとも１つを行うことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記入力画像にフィルタ処理を施すフィルタ処理部を有し、
前記フィルタ処理部は、前記入力画像にフィルタ処理を施し、前記第１の方向のフィルタ画像および前記第２の方向のフィルタ画像を生成し、
前記二値化処理部は、前記第１の方向のフィルタ画像に対し二値化処理を施し、前記第１の方向の二値化画像を生成し、前記第２の方向のフィルタ画像に対し二値化処理を施し、前記第２の方向の二値化画像を生成する、
ことを特徴とする請求項１ないし１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記入力画像の撮影パラメータを取得する撮影パラメータ取得部と、
前記入力画像にフィルタ処理を施すフィルタ処理部と、
前記フィルタ処理の周波数特性を決定する周波数特性決定部と、を有し、
前記周波数特性決定部は、前記撮影パラメータに基づいて、前記周波数特性を決定し、
前記フィルタ処理部は、決定された周波数特性に基づいて、前記入力画像に対してフィルタ処理を施し、
前記二値化処理決定部は、前記撮影パラメータおよび前記周波数特性に応じて、前記二値化画像の統合方法を決定することを特徴とする請求項１ないし１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記入力画像を撮像する撮像部と、
請求項１ないし１３のいずれか１項に記載の画像処理装置と、を備えた撮像装置。
【請求項１５】
動きベクトルを検出するために、入力画像に対し二値化処理を施す画像処理方法であって、
前記入力画像に対し二値化処理を施し、第１の方向の二値化画像および該第１の方向と直交する第２の方向の二値化画像を生成する二値化処理ステップと、
生成した前記第１の方向の二値化画像および前記第２の方向の二値化画像の統合方法を決定する二値化処理決定ステップと、
前記二値化処理ステップは、決定された二値化画像の統合方法に基づいて、前記第１の方向の二値化画像および前記第２の方向の二値化画像を統合する、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、時間的に連続した複数枚の画像間の動きベクトルを検出する技術に関する。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して防振処理を施すためには、フレーム画像間の動き量を検出して複数枚の画像に対して位置合わせ処理を行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。フレーム画像を用いて動き量を推定する方法は種々提案されているが、その代表的なものとしてテンプレートマッチングにより動きベクトルを検出するという方法がある。テンプレートマッチングでは、まず映像中の任意の２枚のフレーム画像の一方を原画像、もう一方を参照画像と定義する。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の輝度値の分布との相関値を求める。このとき、参照画像中で最も相関値が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。
【０００３】
以上のようにして求められた複数の動きベクトルを用いることにより、入力映像に対する防振処理や移動物体の追尾処理等を行うことが可能となる。このとき、テンプレートマッチングでは、テンプレート内のテクスチャと同じテクスチャを有する領域が参照画像中のどこに存在しているかを判定していることになる。そのため、例えばテンプレートもしくは参照画像中に生じている歪み量が異なっていたり、明るさが異なっていたりする場合にはテンプレート内のテクスチャと参照画像中で同じテクスチャを含む領域との差分が大きくなってしまう。これにより、たとえ参照画像中にテンプレート内のテクスチャと同じテクスチャが存在していたとしても、そこから算出される相関値は低くなるため、最終的に検出される動きベクトルに誤差が生じてしまう可能性がある。
【０００４】
そこで、テンプレートマッチングの処理を行う前に、入力画像に対してフィルタリング処理等を施すことにより、それらの影響を取り除く方法が提案されている。特許文献１に記載の画像処理装置は、入力画像に対してエッジ抽出処理を施し、さらに複数の閾値を用いて二値化画像を生成してそれぞれについて相関値演算を行い、それらの中で最も相関値の高いものを動きベクトルとして検出している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１４００８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の撮像装置は、二値化の閾値を変更しているだけであり、例えば歪みの影響を除去しようとして大きな閾値を選択すると、有用なテクスチャ情報も失われてしまうことになり、逆に閾値を小さくすると歪みの影響が残存してしまう。
【０００７】
本発明は、上記課題を鑑み、画像間の動きベクトルの検出に有利な画像処理装置およびそれを備えた撮像装置、画像処理方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、動きベクトルを検出するために、入力画像に対し二値化処理を施す画像処理装置であって、前記入力画像に対し二値化処理を施し、第１の方向の二値化画像および該第１の方向と直交する第２の方向の二値化画像を生成する二値化処理部と、生成した前記第１の方向の二値化画像および前記第２の方向の二値化画像の統合方法を決定する二値化処理決定部と、前記二値化処理部は、決定された二値化画像の統合方法に基づいて、前記第１の方向の二値化画像および前記第２の方向の二値化画像を統合する、ことを特徴とする。
【０００９】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１０】
本発明によれば、画像間の動きベクトルの検出に有利な画像処理装置およびそれを備えた撮像装置、画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図である。
【図２】実施例１の撮像装置の動作を示すフローチャートである。
【図３】ランダムノイズを含む場合の画像を示す図である。
【図４】ランダムノイズを含む画像に対するフィルタ結果の概要図である。
【図５】二値化画像概要図である。
【図６】二値化画像の統合方法を示す図である。
【図７】テンプレートマッチング概要図である。
【図８】本発明の実施例２である撮像装置の構成を示すブロック図である。
【図９】実施例２の撮像装置の動作を示すフローチャートである。
【図１０】テンプレート配置概要図である。
【図１１】本発明の実施例３である撮像装置の構成を示すブロック図である。
【図１２】実施例３の撮像装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図１に、本発明の実施例１である撮像装置の構成を示す。同図において、１０１は被写体像を形成する光学系であり、１０２は光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。１０３はセンサ１０２から出力される電気信号から映像信号（画像信号）を形成する現像処理部である。現像処理部１０３は、不図示のＡ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部（ＡＷＢ）を含み、デジタル信号を形成する。センサ１０２及び現像処理部１０３により、画像の取得を行う撮像系（撮像部）が構成される。１０４は、現像処理部１０３により形成された映像信号の１フレーム又は複数のフレーム画像を一時的に記憶保持するメモリである。
【００１４】
１０５はフィルタ処理部であり、現像処理部１０３から入力される映像信号のフレーム画像に対してフィルタリング処理を施し、水平方向（第１の方向）のフィルタ画像及び垂直方向（第２の方向）のフィルタ画像を生成する。１０６は撮影パラメータ取得部であり、撮像装置の撮影パラメータの取得を行う。１０７は二値化処理決定部であり、撮影パラメータ取得部１０６で取得された撮影パラメータに応じて二値化画像の合成方法の選択（決定）を行う。１０８は二値化処理部であり、フィルタ処理部１０５から入力された水平方向及び垂直方向のフィルタ画像に対してそれぞれ二値化処理を施し、さらに二値化処理決定部１０７で選択された二値化処理方法に基づいて水平及び垂直方向の二値化画像の合成を行う。１０９は相関値演算部であり、二値化処理部１０８及びメモリ１０４から入力された２枚のフレーム画像間における相関値を算出する。１１０は動きベクトル算出部（動きベクトル検出部）であり、相関値演算部１０９により算出された相関値に基づいて２枚の画像間の移動量を動きベクトルとして算出（検出）する。そして、動きベクトル出力部１１１では動きベクトル算出部１１０において算出された動きベクトルをメモリ１０４に記憶する。メインマイコン１１２は、撮像装置全体の動作を制御、統括する制御部として機能する。現像処理部１０３で処理された画像から得られる輝度値や動きベクトル算出部１１０により算出された動きベクトルや不図示の操作部から送信された指示などに基づいて、光学系１０１やセンサ１０２の駆動制御も行う。本実施例において、少なくともフィルタ処理部１０５、二値化処理決定部１０７、二値化処理部１０８を含む構成は、動きベクトルを検出するために、入力画像に対し二値化処理を施す画像処理装置として構成される。本実施例の撮像装置は、入力画像を取得（撮像）する撮像部と、該画像処理装置とを備える。なお、図１では、本実施例の撮像装置として、カメラ本体とレンズ装置とが一体的に形成されたレンズ一体型の撮像装置を例示的に示しているが、本発明はこれに限定されない。例えば、レンズ交換式一眼レフカメラ（カメラ本体）および交換レンズ（レンズ装置）から構成されるレンズ交換型の撮像装置に適用することも可能である。
【００１５】
以上のように構成された撮像装置の動作を図２に示すフローチャートを用いて説明する。図２において、ステップＳ２０１では、光学系１０１によって形成された被写体像をセンサ１０２で被写体輝度に応じたアナログ信号として出力し、現像処理部１０３の処理を施すことで映像信号を生成する。現像処理部１０３は、不図示のＡ／Ｄ変換部によってアナログ信号をたとえば１４ビットのデジタル信号に変換する。さらに不図示のＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正が行われたデジタル映像信号は、フィルタ処理部１０５に伝送される。本実施例の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フィルタ処理部１０５に伝送されるフレーム画像も順次更新される。
【００１６】
ステップＳ２０２では、入力された画像に対してフィルタリング処理を施す。本実施例ではフィルタリング処理の一例として、ＦＩＲフィルタを用いた方法について説明する。
【００１７】
テンプレートマッチングは、テンプレート内のテクスチャと同じテクスチャを有する領域が参照画像中のサーチ対象領域のどこに存在しているかを探索する手法である。そのため、テンプレートもしくはサーチ対象領域に、例えば高感度撮影時に生じるようなランダムノイズが生じていると、たとえ同じテクスチャを有する領域であってもテクスチャに差異があるとみなされてしまうため相関度は低くなる。このことを、図３に示したランダムノイズが生じている場合のテンプレート画像とサーチブロック画像の模式図を用いて説明する。図３において３０１はテンプレート画像を示しており、テクスチャの一例として３０２のような水平及び垂直ラインが交差しているテクスチャが含まれているとする。また、３０３はそのテンプレート画像を用いて相関値の算出を行うサーチ対象領域となるサーチブロック画像を示している。そして、３０４に示す黒点は、画像中に生じているランダムノイズを模式的に表したものである。ここで、サーチブロック画像３０３の内部におけるテンプレート画像３０１とテクスチャが一致する領域は３０５の点線で囲った領域である。しかしながら、３０１及び３０５の内部のテクスチャはランダムノイズの発生の仕方が異なるため、完全に同一のテクスチャとはならないためランダムノイズが生じていない場合と比較して算出される相関値は低くなることになる。同様に、例えば室内から屋外へ移動しながら撮影した場合には、連続するフレーム画像間であっても全体的な輝度レベルに差が生じてしまうために相関度が低くなる。このように、撮影状況によってフレーム画像間で生じる相関値を低下させる要因を取り除き、マッチング処理に有用なテクスチャ情報のみを抽出するためにフレーム画像に対してフィルタリング処理を行う。フィルタ処理の一例として式（１）にＦＩＲフィルタによるバンドパスフィルタの式を示す。
【００１８】
【数１】
2016082371.tif 000003
【００１９】
ここで、上式はタップ数（２Ｍ＋１）のＦＩＲフィルタを表しており、ｋはフィルタ係数、Ｉはフレーム画像上でフィルタ処理の対象となる座標に存在する画素の輝度値を示している。そして、Ｙはフィルタ処理後の輝度値を表しており、ｎ番目の画素におけるＹを算出するためにはその前後Ｍ個の輝度値とそれに対応するフィルタ係数ｋを乗算したものの総和を算出すれば良いということを表している。この係数ｋの値を変更することにより任意の周波数のノイズや輝度値を抑制し、マッチング処理に必要なテクスチャ情報のみを残すことが出来る。
【００２０】
図４に、図３のテンプレート画像及びサーチブロック画像の模式図に対して、式（１）によるフィルタ処理を施した結果の概要図を示す。図４に示すように、フィルタ処理を施すことで４０１のテンプレート画像及び４０２のサーチブロック画像の両者においてノイズ成分が除去され、その一方で４０３及び４０４に示すようにマッチング処理に有用なテクスチャが抽出されていることが確認出来る。従って、４０１及び４０２に示したフィルタ処理を施したテンプレート画像及びサーチブロック画像を相関値の算出に用いることで、ノイズの影響を受けずに精度良くマッチング処理を行うことが可能となる。
【００２１】
図４では簡単のため図３の画像に対してそのままフィルタ処理を施したような結果を示しているが、実際にはまず水平及び垂直方向に個別にフィルタ処理を施す。そして水平及び垂直方向のフィルタ結果を統合することによって、図４に示したような画像の生成を行う。具体的な統合の方法については後述する。ここで、本ステップではＦＩＲによるバンドパスフィルタを用いる例について述べたが、フィルタ処理の方法はこれに限るものではなく、例えばＩＩＲフィルタのような他の手法を用いても良い。
【００２２】
本ステップで生成した水平及び垂直方向へのフィルタ画像は二値化処理部１０８に伝送される。
【００２３】
ステップＳ２０３では、撮影パラメータ取得部１０６において、フレーム画像撮影時の撮影パラメータを取得する。すなわち、撮影時の撮像装置の撮影パラメータ（入力画像の撮影パラメータ）を取得する。撮影パラメータの例としては、絞り値及び焦点距離等の光学系の制御パラメータやシャッタースピード等の撮像系の制御パラメータ等が挙げられる。また、光学系の歪み情報や、撮像装置に搭載されたジャイロセンサから得られる撮影時の撮像装置の動き情報等も撮影パラメータとして取得しても良い。このように、撮影パラメータ取得部１０６は、撮影時の絞り値、焦点距離、シャッタースピード、光学系の歪み情報、および撮像装置の動き情報のうち少なくとも１つの情報を取得する。もちろん、上記は一例であるので、これ以外の情報を取得するようにしてもよい。
【００２４】
以上のようにして取得された撮像装置の撮影パラメータは二値化処理決定部１０７に伝送される。
【００２５】
ステップＳ２０４では、二値化処理決定部１０７において、撮影パラメータ取得部１０６から得られた撮影パラメータに基づいて、二値化処理部１０８でフィルタ処理が施された画像に対して行う二値化処理の方法を決定する。入力されたフレーム画像は、フィルタリング処理によって特定の周波数帯のテクスチャ情報のみが抽出されているが、例えば残った周波数帯域にノイズ成分が含まれていたりする場合にはフィルタ処理を施してもノイズ成分は残留してしまう。この残留しているノイズ成分を除去し、よりマッチングに適した画像を生成するために、フィルタ処理後のフレーム画像に二値化処理を施す。これにより、残留したノイズ成分を抑制することが可能となることに加えて、１画素辺り１ｂｉｔのデータ量となるためデータ容量の削減も実現出来る。
【００２６】
ここで、本件における二値化の方法には特に制限はなく、任意の閾値を設定してフィルタ後の各画素の値が閾値以上であれば１、以下であれば０としても良いし、フィルタ後の各画素の値のゼロクロス点を境にして１と０を割り当てるようにしても良い。
【００２７】
図５に、図３に示した画像に対してフィルタ処理及び二値化処理を施した例を示す。同図において黒が二値化画像における０の値を示しており、白が１の値を示している。フィルタ処理は水平及び垂直方向個別に行うため、水平方向フィルタ処理に対する二値化処理結果では５０１及び５０２に示すようにランダムノイズが除去されると共に垂直方向の線が抽出される。それに対して垂直方向のフィルタ処理に対する二値化処理結果では５０３及び５０４に示すようにランダムノイズが除去されると共に水平方向の線が抽出される。すなわち、フィルタ処理部１０５は、入力画像（フレーム画像）に対しフィルタ処理を施し、水平方向（第１の方向）のフィルタ画像および垂直方向（第２の方向）のフィルタ画像を生成する。ここで、第１の方向（水平方向）とは、第２の方向（垂直方向）に対し直交する方向である。そして、二値化処理部１０８は、該水平方向のフィルタ画像に対し二値化処理を施し、水平方向（第１の方向）の二値化画像を生成し、該垂直方向のフィルタ画像に対し二値化処理を施し、垂直方向（第２の方向）の二値化画像を生成する。このように、水平方向のフィルタ処理画像と垂直方向のフィルタ処理画像のそれぞれについて個別に二値化処理を行っているため、マッチング処理を行うためには、これらを１枚の二値画像に統合する必要がある。
【００２８】
水平及び垂直の二値化画像の統合には二つの方法があり、１つ目の方法は、水平方向の二値化画像および垂直方向の二値化画像を論理積で統合する方法である。また、２つ目の方法は、水平方向の二値化画像および垂直方向の二値化画像を論理和で統合する方法である。それぞれの統合方法により統合した結果を図６に示す。同図では、一例としてテンプレート画像に対する二値化結果である５０１及び５０３に対しての統合結果について示しているが、サーチブロック画像の二値化結果である５０２及び５０４に対しても同様である。図６の６０１は水平方向と垂直方向の二値化画像の論理積を統合後の二値化画像の値としたものであり、図５の５０１及び５０３で共に有用なテクスチャが存在している領域、つまり水平方向と垂直方向の線の交点のみが６０１に残っている。従って、水平方向と垂直方向にフィルタ処理を施してから二値化した画像に対して論理積を計算することによって、垂直もしくは水平の直線のような水平もしくは垂直方向の二値化画像のどちらか一方にしか存在していないテクスチャを除去することが出来る。これにより、６０１に示すようなテクスチャの交点やコーナー点のような特徴的な領域のみを抽出することが出来る。
【００２９】
それに対して、図６の６０２は、水平方向と垂直方向にフィルタ処理を施してから二値化した画像に対して論理和を計算して統合後の二値化画像の値としたものである。水平方向と垂直方向の二値化画像の論理和を計算することで、水平もしくは垂直方向のどちらか一方にのみ存在しているテクスチャ情報を両方とも抽出できるため６０２に示すように水平及び垂直な線を特徴的な領域として残すことが出来る。
【００３０】
以上により、例えば歪曲収差の大きいレンズで撮影した場合やローリングシャッタ歪みが大きくなるような状況で撮影した場合には、フレーム画像間で直線等のテクスチャ情報の歪み量が異なるため、算出される相関度は低くなってしまうことがある。このような場合には、論理積を取ることにより直線の交点情報のみを用いてマッチングをすることが出来るため、直線の歪みによるマッチングの精度低下を防ぐことが出来る。
【００３１】
このように、水平と垂直方向の二値化画像を統合する際に論理積を計算するか、論理和を計算するかによって後段のマッチング処理の精度に影響が出るため、常に精度良くマッチング処理を行うためには最適な方を適応的に選択する必要がある。本実施例では、撮影パラメータ取得部１０６で得られた撮影パラメータを用いてどちらの方法で統合するべきかを選択する。換言すれば、二値化処理決定部１０７は、撮影パラメータ取得部１０６から得られる撮影パラメータに基づいて、二値化処理部１０８により生成された水平方向の二値化画像および垂直方向の二値化画像の統合方法（論理積または論理和）を決定する。表１に、撮影パラメータから得られる情報と、それに対して選択すべき二値化画像の統合方法の関係を示す。
【００３２】
表１より、例えばジャイロデータから得られる撮像装置の動き情報により、画像中に生じているローリングシャッタ歪みの大きさを算出することが出来る。ここで、画像中に生じているローリングシャッタ歪みが大きいと判定された場合には、歪み量が大きく異なるフレーム画像間でマッチング処理を行うことになる。このような場合には、論理積で二値化画像の統合を行うようにすれば、テクスチャの交点やコーナーの情報のみを抽出することができるため、ローリングシャッタによるテクスチャの歪みの影響を抑えて精度良くマッチング処理を行うことが出来る。換言すれば、得られた撮影パラメータ（撮像装置の動き情報）から、撮像装置の動きが閾値（第２の閾値）よりも大きい場合には論理積で二値化画像を統合することを決定すればよい。また、該動きが閾値以下（第２の閾値以下）である場合には論理和で二値化画像を統合することを決定すればよい。
【００３３】
また、レンズの設計データ及び撮影時の焦点距離情報等から画像中に生じている歪曲量を知ることが出来る。そして前述のローリングシャッタ歪みの場合と同様に歪曲が大きい場合には論理積を用いることで歪みの影響を抑えることが可能となる。逆に歪み量が小さい場合には論理和を用いれば多くのエッジ情報を用いてマッチング処理を行うことが出来るため、より精度良くマッチングを行うことが出来る。換言すれば、得られた撮影パラメータから、光学系の歪曲率が閾値（第１の閾値）よりも大きいと判定した場合には論理積で二値化画像を統合することを決定すればよい。また、該歪曲率が閾値以下（第１の閾値以下）である場合には論理和で二値化画像を統合すればよい。
【００３４】
また、マッチング処理に用いるテンプレートサイズが大きい場合には、論理積を用いて統合を行ってもテンプレート内に多くのテクスチャ情報が入り込むのでマッチング精度を向上させることが出来る。それに対してテンプレートサイズが小さい場合には、論理和を用いて統合を行うことでテンプレート内により多くのテクスチャ情報が残るようにする必要がある。換言すれば、相関値演算部１０９においてマッチング処理に用いるテンプレートサイズが閾値（第３の閾値）よりも大きい場合には論理積で二値化画像を統合することを決定すればよい。また、該テンプレートサイズが閾値以下（第３の閾値以下）である場合には論理和で二値化画像を統合することを決定すればよい。
【００３５】
さらに、マッチング処理の際のサーチ範囲が広い場合にはサーチ範囲内にテンプレート画像内のテクスチャと同じようなテクスチャが存在する可能性が高くなる。そのため論理和を用いて統合を行うことでテクスチャ情報の微小な差異が正確に残るようにすることでマッチングの失敗を防ぐことが出来る。サーチ範囲が狭い場合にはその逆であり、論理積を用いることでより正確にマッチングを行えるようにする。換言すれば、相関値演算部１０９においてマッチング処理の際のサーチ範囲が閾値（第４の閾値）よりも狭い場合には論理積で二値化画像を統合することを決定すればよい。また、該サーチ範囲が閾値以上（第４の閾値以上）である場合には論理和で二値化画像を統合することを決定すればよい。
【００３６】
このようにして、取得された撮影パラメータによって論理和と論理積による統合方法を使い分けることでマッチング精度の向上を図るのだが、その判定方法には特に制限は無い。例えば歪みによるフレーム間の画素位置のずれ量が予め定められた閾値以上の場合には論理和を選択するというように決定すれば良いし、同様に露光時間や、テンプレートサイズについてもある閾値を設けてそれに対して選択すれば良い。以上のようにして選択された二値化方法に基づいて二値化処理部１０８は水平と垂直にフィルタ処理を施されたフレーム画像に対して二値化処理とそれらの統合を行う。
【００３７】
ステップＳ２０５では、二値化処理部１０８において、フィルタ処理部１０５から得られた水平及び垂直方向のフィルタ画像に対して二値化処理を行う。さらに、二値化処理決定部１０７で選択された二値化処理方法に基づいて水平及び垂直方向の二値化画像の統合を行う。このように、本実施例では、二値化処理部１０８は、二値化処理決定部１０７により決定された二値化画像の統合方法に基づいて、水平方向（第１の方向）の二値化画像および垂直方向（第２の方向）の二値化画像を統合する。これにより、撮影状況が変化しても常に良好なマッチング処理を行うことが出来る。そして、統合された二値化画像はメモリ１０４に記憶保持されると共に相関値演算部１０９に伝送される。
【００３８】
ステップＳ２０６では、相関値演算部１０９において、入力された２枚の画像間での相関値の算出を行う。具体的には、相関値演算部１０９は、現在の時点で、二値化処理部１０８により統合され出力される第１の二値化画像を、二値化処理部１０８から取得する。また、第１の二値化画像とは異なる第２の二値化画像（すなわち、現在入力されている入力画像よりも前の入力画像に対し、過去にすでに二値化処理部１０８により統合された第２の二値化画像）を、メモリ１０４から取得する。そして、これら第１の二値化画像と第２の二値化画像との間の相関値の算出を行う。本実施例では、動きベクトル検出方法の一例としてテンプレートマッチングを用いた方法について説明する。
【００３９】
図７にテンプレートマッチングの概要図を示す。図７（ａ）は原画像、図７（ｂ）は参照画像を示している。これらの画像はメモリ１０４及び二値化処理部１０８から入力されるフレーム画像である。そして、図７の７０１に示すように原画像中の任意の位置にテンプレートブロックを配置し、テンプレートブロック７０１と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には７０２に示すように参照画像上の相関値を算出する矩形領域をサーチ範囲として設定する。ここで、サーチ範囲７０２の位置や大きさについては特に制限は無いが、サーチ範囲７０２の内部にテンプレートブロック７０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することは出来ない。
【００４０】
また本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する場合について説明する。ＳＡＤの計算式を式２に示す。
【００４１】
【数２】
2016082371.tif 000004
【００４２】
式２において、ｆ（ｉ，ｊ）はテンプレートブロック７０１内の座標（ｉ，ｊ）における輝度値を表しており、ｇ（ｉ，ｊ）はサーチ範囲７０２において相関値算出の対象となるブロック７０３内の各輝度値を表す。そしてＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレートブロック７０１と相関値算出領域７０３のブロック内のテクスチャの類似度が高いことを表している。そして、サーチ範囲７０２の全領域について相関値対象ブロック７０３を移動させて相関値を算出する。以上のような相関値演算処理を入力されたフレーム画像間の複数の領域で行う。
【００４３】
本実施例では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。そして、算出された相関値は動きベクトル算出部１１０に伝送される。
【００４４】
ステップＳ２０７では、動きベクトル算出部１１０において、相関値演算部１０９から得られた相関値を用いて動きベクトルの算出を行う。図７におけるテンプレートブロック７０１に対するサーチ範囲７０２の各位置において算出された相関値の中で、その相関が最も高くなる位置を判定する。これにより、原画像上のテンプレートブロック７０１が参照画像においてどの位置に移動したか、つまり画像間の動きベクトルを検出することが可能となる。
【００４５】
そして、本ステップにおいて算出された動きベクトルは動きベクトル出力部１１１に伝送される。
【００４６】
ステップＳ２０８では、動きベクトル出力部１１１において動きベクトル算出部１１０から得られた動きベクトル情報をメモリ１０４や不図示の記録媒体への記録を行う。
【００４７】
以上説明したように、撮影パラメータに応じて水平及び垂直方向に個別に生成した二値化画像の統合方法を選択する。これにより、撮影状況が変化しても精度良く動きベクトルの検出を行うことが出来る。
【実施例２】
【００４８】
図８に、本発明の実施例２である撮像装置の構成を示す。本実施例では、入力されたフレーム画像を解析することによって二値化画像の統合方法の選択を行う。本実施例の撮像装置は、図１に示した構成において、撮影パラメータ取得部１０６に替わって画像解析部８０１を有する。画像解析部８０１は、撮像系（撮像部）により取得（撮像）された入力画像を解析する。同図において、図１に示した構成要素と共通するものについては、図１と同符号を付す。また、本実施例におけるフローチャートを図９に示す。本実施例では、図９において実施例１と異なる処理を行う部分についてのみ説明する。ここで、ステップＳ２０１からＳ２０３は図２におけるＳ２０１からＳ２０３と同じである。
【００４９】
ステップＳ９０１では、画像解析部８０１において、現像処理部１０３より入力される画像について画像上に配置された複数のテンプレートブロック毎に画像の解析を行い、さらにステップＳ２０４において二値化画像の統合方法を決定する。すなわち、本実施例では、二値化処理決定部１０７は、画像解析部８０１における解析結果に応じて、二値化画像の統合方法を決定する。図１０にテンプレート配置の概要図を示す。同図において１００１は人物や花等の被写体であり、同図ではこの領域が合焦しており、さらにテクスチャ情報が多く存在しているとものする。それに対して１００２の領域は背景にあたる部分であり、例えば絞りを開放にして撮影した場合にはボケが生じている領域となる。このような画像に対してマッチング処理のために二値化処理を行う場合について説明する。図１０において１００３及び１００４は動きベクトルを算出するために画像上に配置されたテンプレートブロックを示している。
【００５０】
ここで、主被写体領域１００１上に配置されているテンプレートブロック１００３に着目すると、合焦しているので内部の画像は先鋭度が高く、さらにテクスチャ情報も多く有することになる。
【００５１】
このようなテンプレートブロックに対しては水平及び垂直方向の二値化画像の統合の際に論理積を選択しても、元から有しているテクスチャ情報が豊富なためマッチングに十分な量のコーナーや交点を検出することが出来る。そして、マッチング処理において特に有用な特徴であるコーナーや交点のみを多く抽出することによりマッチング精度の向上を図ることが出来る。それに対して、背景領域に１００２上に配置されているテンプレートブロック１００４の内部の画像は、ボケが生じていてテクスチャの先鋭度が低い場合や、大部分が空の領域でテクスチャ情報そのものが極めて少ないという状況が生じる。このような場合に、論理積を用いて二値化画像の統合を行ってしまうとテンプレート内にマッチング処理に有用な情報がほとんど無くなってしまうことになり、マッチング処理に失敗する可能性が高くなる。従って、上記のようなテンプレートブロック内のテクスチャ情報が少ない場合には、論理和を用いて二値化画像の統合を行うようにする。これにより、水平もしくは垂直方向のフィルタ画像のどちらか一方にのみ検出された直線等の特徴的な情報が統合された二値化画像に残るため、マッチング処理が失敗する可能性を低減することが出来る。
【００５２】
本実施例におけるテンプレートブロック内にテクスチャ情報がどの程度存在するかを判定する手段はどのようなものでも良く、例えばテンプレートブロック内の画像の分散値を算出する方法がある。算出された分散値が予め定められた閾値よりも大きければテンプレートブロック内のテクスチャ情報は多いと判定して論理積を用いて二値化画像の統合を行い、小さければ（閾値以下であれば）論理和を用いて統合を行えば良い。他の判定方法の例としては、ソーベルフィルタを用いて簡易的に抽出したエッジの量から判定する手法や、コントラストを算出する方法、周波数解析によりテンプレートブロック内の画像に高周波成分がどの程度含まれているかを判定する方法などがある。また、ＡＦ処理に用いられる人物の顔検出のような特定被写体の認識機能やシーン認識機能の結果を用いる方法もある。この場合には認識された被写体の種類及び位置情報とテンプレートの配置情報を照らし合わせて論理積と論理和のどちらを用いて二値化画像の統合を行うべきかを判定すれば良い。このように、画像解析部８０１は、入力画像の各テンプレートブロック（複数の領域）に対して、分散値の算出、コントラストの算出、エッジ抽出処理、被写体認識処理、およびシーン認識処理のうち少なくとも１つを行う。もちろん、上記は一例であるので、これ以外の解析処理を行ってもよい。
【００５３】
ステップＳ２０５からＳ２０８は図２のステップＳ２０５及びＳ２０８と同じである。
【００５４】
以上説明したように、本実施例では画像解析によって得られた情報に基づいて水平及び垂直方向の二値化画像の統合方法を決定する。これにより、画像上に配置された複数のテンプレートブロックのそれぞれに対して適切に二値化画像の統合方法を決定することが可能となり、より良好なマッチング処理を行うことが出来る。
【実施例３】
【００５５】
図１１に、本発明の実施例３である撮像装置の構成を示す。本実施例では、撮影パラメータに応じて二値化画像の統合方法の選択を行うと共にフィルタ処理部１０５で施すフィルタの周波数特性を決定する。本実施例の撮像装置は、図１に示した構成において、さらに周波数特性決定部１１０１を有する。周波数特性決定部１１０１は、フィルタ処理部１０５で行われるフィルタ処理の周波数特性を決定する。同図において、図１に示した構成要素と共通するものについては、図１と同符号を付す。また、本実施例におけるフローチャートを図１２に示す。本実施例では、図１２において実施例１と異なる処理を行う部分についてのみ説明する。ここで、ステップＳ２０１及びＳ２０３は図２におけるＳ２０１及びＳ２０３と同じである。
【００５６】
ステップＳ１２０３では、周波数特性決定部１１０１において、撮影パラメータ取得部１０６から得られた撮影パラメータに基づいて、入力画像に対して施すフィルタ処理の周波数特性を決定する。後段の二値化画像の統合方法の決定において、フィルタ処理によりどのような周波数のテクスチャが抽出されているかを考慮して統合方法を決定することで、マッチング処理の精度向上を図ることが出来る。
【００５７】
表２に各撮影パラメータの値に対するフィルタ処理の周波数特性と二値化画像の統合方法の関係を示す。同表より、例えば実施例１と同様にして画像中の歪曲およびローリングシャッタ歪みのうち少なくとも一方が大きいと判定された場合には、フィルタ処理の周波数特性は高周波成分をより多く残すような特性とする。そして、論理積を用いて二値化画像の統合を行うことにより、多くのテクスチャ情報から得られた多くのコーナーや交点のみを用いて失敗の少ないマッチング処理を行うことが出来る。逆に、歪みが小さい場合には、周波数特性は高周波成分を残して多くのテクスチャ情報を残すのは同じだが、フレーム画像間の歪みの変化量が小さいので論理和で統合することでより多くのテクスチャ情報を用いてマッチング処理を行うことで精度の向上を図れる。また、大きなサイズのテンプレートでマッチング処理を行う場合には、テンプレート内に多くのテクスチャ情報が入り込むのでフィルタ処理により高周波成分を除去し、論理積で統合を行ってもマッチングに有用な情報を十分多く抽出することが出来る。逆に、テンプレートサイズが小さい場合にはテンプレート内に可能な限り多くのテクスチャ情報を残しておく必要があるのでフィルタ処理では高周波成分を残し、さらに論理和を用いて二値化画像の統合を行う。マッチング処理時のサーチ範囲が広い場合にはサーチ範囲内にテンプレートブロックと同じようなテクスチャを有する領域が複数存在する可能性が高くなるため、テクスチャ情報を少なくしてしまうとマッチングに失敗してしまう可能性が高くなる。そこで、高周波成分を残し、さらに論理和で統合を行うことでテクスチャ情報を増やし、マッチング処理が失敗する可能性を低減させる。逆にサーチ範囲が狭い場合には、厳選された信頼度の高いテクスチャ情報を用いた方がマッチング処理の精度を向上させることが出来るため、高周波成分を除去して論理積で統合を行うようにする。このように、周波数特性決定部１１０１は、撮影パラメータ取得部１０６から取得された撮影パラメータに基づいて、フィルタ処理の周波数特性を決定し、フィルタ処理部１０５は、決定された周波数特性に基づいて、入力画像に対してフィルタ処理を施す。また、二値化処理決定部１０７は、取得された撮影パラメータおよび決定された周波数特性に応じて、二値化画像の統合方法を決定する。
【００５８】
以上説明したように、本実施例では撮影パラメータに応じてフィルタ処理の周波数特性を変更し、その周波数特性を考慮して二値化画像の統合方法を決定する。これにより、撮影シーンや撮影パラメータに応じて適切にマッチング処理に有用なテクスチャ情報のみを抽出することが可能となり、より良好なマッチング処理を行うことが出来る。
【００５９】
以上、本発明によれば、撮像装置の撮影パラメータに応じて苦手領域判定において設定する最大相関値の近傍領域の範囲を変更する。これにより、撮影パラメータに応じて適切な苦手領域判定を行うことが可能となり、どのような撮影状況においても良好な苦手領域判定を行うことが可能となる。
【００６０】
【表１】
2016082371.tif 000005
【００６１】
【表２】
2016082371.tif 000006
【産業上の利用可能性】
【００６２】
本発明は、コンパクトデジタルカメラ、一眼レフカメラ、ビデオカメラなどの撮像装置に好適に利用できる。
【符号の説明】
【００６３】
１０７  二値化処理決定部
１０８  二値化処理部
【図１】
2016082371.tif 000007
【図２】
2016082371.tif 000008
【図３】
2016082371.tif 000009
【図４】
2016082371.tif 000010
【図５】
2016082371.tif 000011
【図６】
2016082371.tif 000012
【図７】
2016082371.tif 000013
【図８】
2016082371.tif 000014
【図９】
2016082371.tif 000015
【図１０】
2016082371.tif 000016
【図１１】
2016082371.tif 000017
【図１２】
2016082371.tif 000018