(57)【要約】【課題】グリッド分割を用いた動きベクトルの検出において、より高速かつ正確に動きベクトルを検出できるようにする。【解決手段】１つの画像を複数の領域に分割する領域分割部と、分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択部と、分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出部とを備え、特徴点選択部は、画素の特徴値と、画素の座標とに基づいて特徴点を選択する。【選択図】  図２
2018067058.tif 000002
【特許請求の範囲】
【請求項１】
１つの画像を複数の領域に分割する領域分割手段と、
分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、
前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出手段と、を備え、
前記特徴点選択手段は、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする画像処理装置。
【請求項２】
前記特徴点選択手段は、前記画素の特徴値と、前記分割された領域における前記画素の座標とに基づいて特徴点を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴点選択手段は、前記分割された領域において同一の特徴値を有する画素が複数存在した場合に、前記分割された領域で前記特徴点選択手段が読み出す順番の早い画素を特徴点として選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記特徴点選択手段は、前記分割された領域において同一の特徴値を有する画素が複数存在した場合に、前記分割された領域で前記特徴点選択手段が読み出す順番の一番早い画素を特徴点として選択することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴点選択手段が読み出す順番の一番早い画素とは、前記分割された領域において左上の位置の座標の画素であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴点選択手段は、前記分割された領域における画素の座標に基づいてゲインを算出するゲイン算出手段をさらに有し、前記ゲイン算出手段が算出したゲインによって重み付けされた特徴値に基づいて特徴点を選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項７】
前記ゲイン算出手段は、前記分割された領域において、前記特徴点選択手段が読み出す順番の早い座標の画素ほどゲインが大きくなるようにゲインを算出することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記特徴点選択手段は、前記画素の特徴値と所定の閾値とを比較することにより、前記特徴点を選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項９】
前記特徴点選択手段は、前記画素の特徴値と所定の閾値とを比較した結果、同一の判定結果の画素が複数存在した場合に、前記分割された領域において前記特徴点選択手段が読み出す順番の一番早い画素を特徴点として選択することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
１つの画像を複数の領域に分割する領域分割工程と、
分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択工程と、
前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出工程と、を有し、
前記特徴点選択工程では、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする画像処理方法。
【請求項１１】
請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動きベクトルを検出する画像処理装置に関するものである。
【背景技術】
【０００２】
デジタルスチルカメラやデジタルビデオカメラ等の撮像装置を用いて撮影された映像に対して像ブレ補正を施すためには、フレーム画像間の動き量を検出して複数枚の画像の位置合わせを行う必要がある。フレーム画像間の動き量を検出する方法としては、ジャイロセンサのような外部機器の情報を用いたり、撮影されたフレーム画像から動き量を推定したりする方法等がある。
【０００３】
フレーム画像を用いて動き量を推定する方法は従来から種々提案されているが、その代表的なものとしてテンプレートマッチングによる動きベクトル検出がある。テンプレートマッチングでは、まず映像中のある２枚のフレーム画像の一方を原画像、もう一方を参照画像とする。そして、原画像上に配置した所定の大きさの矩形領域をテンプレートブロックとし、参照画像の各位置においてテンプレートブロック内の画素値の分布との相関を求める。このとき、参照画像中で最も相関が高くなる位置がテンプレートブロックの移動先であり、原画像上でのテンプレートブロックの位置を基準とした時の移動先への向きと移動量が動きベクトルとなる。
【０００４】
動きベクトルの検出率を向上させるため、特徴点を抽出し、抽出した特徴点にテンプレートブロックを配置し、フレーム画像間でテンプレートマッチングを行う技術がある。ここで、画像全体に対して特徴点抽出を行うと、特徴点の分布は不均一になることが多い。不均一な特徴点に対して得られた動きベクトルを像ブレ補正の用途で使用する場合、特徴点の集中した領域が主となる像ブレ補正となってしまう。
【０００５】
この問題を解決するため、特許文献１では、特徴点を均一に分布させるために、画像をグリッド状に分割して、特徴の大きさを表す特徴値を画素ごとに計算し、各グリッド内で特徴値が最も大きい画素を特徴点として抽出している。
【０００６】
図１３は、特許文献１に記載されている技術に基づいて、各グリッド内で特徴点を求めて、その特徴点にテンプレートブロックを配置し、テンプレートマッチングを行う例を示した図である。図１３において、１５０１は画像、１５０２−１，１５０２−２はグリッド、１５０３−１，１５０３−２はグリッド内の特徴点、１５０４−１，１５０４−２はテンプレート、１５０５−１，１５０５−２はテンプレートに対するサーチ範囲を示す。例えば、グリッド１５０２−１においては、特徴点１５０３−１を重心としたテンプレート１５０４−１に基づいて、テンプレートマッチングが行われる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００８−１９２０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば、ビデオカメラなどの動画の像ブレ補正処理で使用される動きベクトル検出回路においては、リアルタイム性が要求される。そのため、例えば、グリッド１５０２−１における、テンプレートマッチング用画像生成、ならびに特徴点の算出処理が完了した直後に、グリッド１５０２−１のテンプレートマッチング処理を開始出来るように回路を制御する。しかし、グリッド１５０２−２で示すように、特徴点１５０３−２が、グリッドの下端に近い場合、テンプレート１５０４−２と、サーチ範囲１５０５−２が、グリッド１５０２−２の下にはみ出す場合がある。
【０００９】
その場合、テンプレートマッチングを行うには、グリッド１５０２−２の外側の領域１５０６が必要となるため、下端グリッドより下の画像ラインが余分に必要となる。従って、グリッド１５０２−２のテンプレートマッチング用画像生成、ならびに特徴点の算出処理が完了した直後に、テンプレートマッチング処理を開始することが出来ない。少なくとも、グリッド１５０２−２の外側の領域１５０６に対するテンプレートマッチング用画像の生成が完了するまで、マッチング処理の開始が遅れてしまうという問題がある。
【００１０】
また、グリッド分割によるテンプレートマッチング処理においては、このようにテンプレート画像やサーチ範囲がグリッド外にはみ出る場合に余分画素が必要になるため、メモリにアクセスするデータ量が増えてしまうという問題もある。
【００１１】
本発明は上述した課題に鑑みてなされたものであり、その目的は、グリッド分割を用いた動きベクトルの検出において、より高速かつ正確に動きベクトルを検出できるようにすることである。
【課題を解決するための手段】
【００１２】
本発明に係る画像処理装置は、１つの画像を複数の領域に分割する領域分割手段と、分割された領域ごとに画素の特徴値を算出して、特徴点を選択する特徴点選択手段と、前記分割された領域ごとの特徴点に基づいてマッチング処理に使用する画像領域を決定し、動きベクトルを算出する動きベクトル算出手段と、を備え、前記特徴点選択手段は、前記画素の特徴値と、前記画素の座標とに基づいて特徴点を選択することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、グリッド分割を用いた動きベクトルの検出において、より高速かつ正確に動きベクトルを検出することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施形態に係わる画像処理装置の構成を示す図。
【図２】第１の実施形態における動きベクトル検出部の構成を示す図。
【図３】画像信号のグリッド分割を示す図。
【図４】分割された画像信号の処理順序を示す図。
【図５】第１の実施形態における特徴点算出部の構成を示す図。
【図６】テンプレート画像とサーチ画像の読み出し位置を説明する図。
【図７】ベクトル検出画像生成処理、特徴点算出処理、テンプレートマッチング処理の処理タイミングを示す図。
【図８】第１の実施形態における動きベクトル検出シーケンスを示すフローチャート。
【図９】第２の実施形態における特徴点算出部の構成を示す図。
【図１０】第２の実施形態における動きベクトル検出シーケンスを示すフローチャート。
【図１１】第３の実施形態における特徴点算出部の構成を示す図。
【図１２】第３の実施形態における動きベクトル検出シーケンスを示すフローチャート。
【図１３】グリッド分割処理に基づく、特徴点テンプレートマッチングを示す図。
【発明を実施するための形態】
【００１５】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００１６】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる画像処理装置の構成を示す図である。図１において、結像光学系７０１は、レンズや絞り等からなり、フォーカス調節や露出調節を行う。撮像素子７０２は、ＣＣＤ、ＣＭＯＳセンサ等からなり、光学像を電気信号に変換する。Ａ／Ｄ変換回路７０３は、撮像素子７０２から出力されるアナログ画像信号をデジタル画像データに変換する。ＣＰＵ７０４は、バスを介して画像処理装置全体の各種制御を司る。メモリ１０４は、データを格納する。動きベクトル検出部７１０は、画像信号から動きベクトルを検出し、検出結果をＣＰＵ７０４に通知する。画像処理部７１１は、画像信号に対して、レンズ歪の補正処理、動きベクトル検出部７１０が検出した動きベクトルに基づく像ブレ補正処理、等の各種画像処理を施す。表示部７０５は、画像処理部７１１で生成された画像データを液晶ディスプレイ等に表示する。記録部７０６は、画像処理部７１１で生成された画像データをメディア等に記録する。
【００１７】
次に、図２は、動きベクトル検出部７１０の構成を示す図である。図２において、グリッド分割部１０１は、画像を複数の領域（本実施形態では、グリッドと呼ぶ）に分割する。ベクトル検出画像生成部１０２は、ベクトル検出用の画像を生成する。特徴点算出部（特徴点選択部）１０３は、画像信号の特徴点を算出する。メモリ１０４は、ベクトル検出画像を格納する。マッチング処理部１０５は、メモリ１０４から読み出されたテンプレート画像とサーチ画像をテンプレートマッチングさせる。メモリアドレス生成部１０６は、特徴点の算出結果に応じて、メモリ１０４からのテンプレート画像とサーチ画像の読み出し位置を変更する。
【００１８】
次に、第１の実施形態における、動きベクトル検出処理の流れについて説明する。まず、ベクトル検出の対象となる画像信号が、グリッド分割部１０１に入力される。本実施形態におけるベクトル検出処理では、画像信号を複数の領域（グリッド）に分割し、各々の領域でベクトル値を算出する。
【００１９】
図３は、本実施形態における画像信号のグリッド分割（領域分割）を示す図である。図３では、画像信号２０１を、水平方向に６個、垂直方向に４個の領域（グリッド）に分割している。グリッド分割数、グリッド画像サイズは、ＣＰＵ７０４によってグリッド分割部１０１に対して設定される。以降の処理では、グリッド５０１について特徴点５０３を求め、求めた特徴点に応じて、テンプレート画像５０４の位置（画像領域）とサーチ画像５０５の位置（画像領域）を決定して、テンプレートマッチングを行う。特徴点５０３の座標は、グリッド５０１内の座標となる。グリッド５０８−５の特徴点５１３の場合、テンプレート画像５１４とサーチ画像５１５は、グリッド５０８−５からはみ出す。そのため、上端に余分領域５１６が必要になる。また、グリッド５０８−９の特徴点５２３の場合、テンプレート画像５２４とサーチ画像５２５は、グリッド５０８−９からはみ出す。そのため、下端に余分領域５２６が必要になる。このように端のグリッドに対しては、余分領域を準備する必要がある。余分領域のサイズは、ＣＰＵ７０４によってグリッド分割部１０１に対して設定される。
【００２０】
図４は、分割された画像信号の処理順序を示す図である。グリッド分割部１０１は、後段のベクトル検出画像生成部１０２と、特徴点算出部１０３に対し、画像信号２０１を、前述した余分領域を含めた分割領域単位で出力する。まず、左上端の余分領域５０８−１の画像信号を読み出したら、次に、その右隣の余分領域５０８−２を読み出し、そのまま水平方向の余分領域を読み出す。上端の余分領域の画像信号を全て読み出し終えたら、グリッド５０１に対する左端の余分領域５０８−４を読み出し、その後に、グリッド５０１を読み出す。グリッド５０１を読み出し終えたら、グリッド５０８−５、グリッド５０８−１０という順で、水平方向のグリッドを読み出していく。
【００２１】
なお、後段のベクトル検出画像生成部１０２は、余分領域を入力する必要があるが、特徴点算出部１０３は、グリッドのみが処理対象となるため、余分領域の入力は不要である。例えば、余分領域がベクトル検出画像生成部１０２に入力されている間は、特徴点算出部１０３は、供給するクロックを停止するなどして、消費電力を抑える構成としてもよい。また、画像信号２０１がラスタスキャンでグリッド分割部１０１に入力される場合は、グリッド分割部１０１において、既知の手法によるラスタブロック変換処理を行う必要がある。
【００２２】
次に、分割された画像信号は、ベクトル検出画像生成部１０２において、ベクトル検出画像に変換されて、メモリ１０４に書き込まれる。ベクトル検出画像生成部１０２は、例えば、バンドパスフィルタ回路であり、テンプレートマッチング処理に不要な、画像信号の高周波成分と低周波成分をカットすることを目的とする。
【００２３】
また、ベクトル検出画像が生成されるのと並行して、特徴点算出部１０３において、各グリッドの特徴点が算出される。図５は、特徴点算出部１０３の構成を示した図である。特徴点算出部１０３は、特徴フィルタ部４０１、特徴評価部４０２、特徴点決定部４０３、座標算出部４０４を有する。特徴フィルタ部４０１は、例えば、バンドパスフィルタ、水平微分フィルタ、垂直微分フィルタ、平滑化フィルタなど、複数のフィルタから構成される。例えば、本実施形においては、バンドパスフィルタで不要な画像信号の高周波成分と低周波成分をカットし、水平方向の微分フィルタ処理を施した信号と、垂直方向の微分フィルタ処理を施した信号、それぞれに対して平滑化フィルタ処理を施した信号を出力する。
【００２４】
特徴評価部４０２は、特徴フィルタ部４０１によりフィルタ処理されたグリッドに対し、画素ごとに２つのエッジの交点や曲率が極大である曲線状の点など画素の周辺の微分値が多方向に大きい点を特徴評価式により特徴値として算出する。本実施形態では、例えば、Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの手法を用いる場合について説明する。水平微分フィルタと垂直微分フィルタを施した結果から、自己相関行列Ｈを作成する。自己相関行列Ｈの式を（式１）に示す。
【００２５】
【数１】
2018067058.tif 000003
【００２６】
（式１）において、Ｉxは水平微分フィルタを施した結果、Ｉyは垂直微分フィルタを施した結果を表しており、ガウシアンフィルタＧを畳み込む。Ｓｈｉ ａｎｄ Ｔｏｍａｓｉの特徴評価式を（式２）に示す。
【００２７】
Shi and Tomashi ＝ min（λ1，λ2）      （式２）
（式２）は、（式１）の自己相関行列Ｈの固有値λ1，λ2のうち小さい方の固有値を特徴値とすることを示す。
【００２８】
座標算出部４０４は、グリッド内における画素の座標を算出する。本実施形態において画素の座標は、グリッドの左上端を（０，０）とした相対座標（ＰＸ，ＰＹ）で表現するが、画像信号における絶対座標で表現してもよい。特徴点決定部４０３は、グリッド毎に、特徴評価部４０２によって算出された特徴値の最も大きい値を持つ画素を特徴点と決定する。グリッド内に同一の特徴値を持つ画素が複数存在した場合は、座標算出部４０４が算出した座標情報から、グリッド内で読み出す順番の一番早い画素を特徴点と決定する。
【００２９】
なお、算出された特徴点は、特徴点決定部４０３内で、グリッド毎にメモリやレジスタに記憶される。そして、マッチング処理部１０５において、対応するグリッドのテンプレートマッチング処理が開始されるときに、メモリアドレス生成部１０６に特徴点情報がセットされる。
【００３０】
メモリ１０４には、現時点のベクトル検出画像（ベクトル算出画像）と、１フレーム前のベクトル検出画像の、２フレーム分のベクトル検出画像が記憶されている。本実施形においては、現時点のベクトル検出画像をテンプレート画像とし、１フレーム前のベクトル検出画像をサーチ画像として、テンプレートマッチングを行う。メモリアドレス生成部１０６は、メモリ１０４に配置された２枚のベクトル検出画像の所定のグリッドに対して、テンプレートマッチングに必要となるテンプレート画像とサーチ画像の読み出し位置を決定し、メモリアクセスを実施する。
【００３１】
図６は、テンプレート画像とサーチ画像の読み出し位置を示す図である。図６において、５０２はグリッド５０１のグリッド開始座標である。そして、本実施形態では座標が（ＰＸ１，ＰＹ１）である画素５０３と座標が（ＰＸ２，ＰＹ２）である画素５１３の２つの画素がグリッド５０１内において特徴値の最も大きい画素であるとする。特徴点として画素５０３（ＰＸ１，ＰＹ１）を選択した場合、５０３は特徴点座標、５０４はテンプレート画像、５０５はサーチ画像、５０６はテンプレート画像読み出し開始座標、５０７はサーチ画像読み出し開始座標となる。５０８はテンプレートマッチング処理に必要となる、余分画素領域である。特徴点５０３（ＰＸ１，ＰＹ１）は、グリッド開始位置を（ＧＳＸ，ＧＳＹ）とした場合に、画像信号内の絶対座標としては以下の式で表現される。
【００３２】
（ＧＰＸ，ＧＰＹ）＝（ＧＳＸ＋ＰＸ，ＧＳＹ＋ＰＹ）      （式３）
テンプレート画像は、特徴点が中心となるように配置される。従って、読み出し開始位置（ＧＴＸ，ＧＴＹ）は、テンプレート画像の水平サイズをＴＸ、垂直サイズをＴＹとした場合、以下の式で表現される。
【００３３】
（ＧＴＸ，ＧＴＹ）＝（ＧＰＸ−ＴＸ／２，ＧＰＹ−ＴＹ／２）      （式４）
サーチ画像は、画像の中心をテンプレート画像の中心に揃えて配置する。従って、読み出し開始位置（ＧＭＸ，ＧＭＹ）は、水平サイズをＳＸ、垂直サイズをＳＹとした場合、以下の式で表現される。
【００３４】
（ＧＭＸ，ＧＭＹ）＝（ＧＰＸ−ＳＸ／２，ＧＰＹ−ＳＹ／２）      （式５）
メモリアドレス生成部１０６は、メモリ１０４に配置された現フレームのベクトル検出画像に対して、座標（ＧＴＸ，ＧＴＹ）から、水平サイズＴＸ、垂直サイズＴＹの矩形領域を読み出すよう、メモリアドレスを発行する。また、同様に、メモリ１０４に配置された１フレーム前のベクトル検出画像に対して、座標（ＧＭＸ，ＧＭＹ）から水平サイズＳＸ、垂直サイズＳＹの矩形領域を読み出すよう、メモリアドレスを発行する。テンプレート画像の水平、垂直サイズ、サーチ画像の水平、垂直サイズは、ＣＰＵ７０４によってメモリアドレス生成部１０６、マッチング処理部１０５に対して設定されている。
【００３５】
特徴点として画素５１３（ＰＸ２，ＰＹ２）を選択した場合、５１３は特徴点座標、５１４はテンプレート画像、５１５はサーチ画像、５１６はテンプレート画像読み出し開始座標、５１７はサーチ画像読み出し開始座標となる。テンプレート画像５１４、サーチ画像５１５は、４つのグリッド５０１，５０８−５，５０８−７，５０８−８にまたがっている。
【００３６】
図７は、ベクトル検出画像生成処理、特徴点算出処理、画素５０３（ＰＸ１，ＰＹ１）、画素５１３（ＰＸ２，ＰＹ２）のテンプレートマッチング処理の処理タイミングを示す図である。特徴点として画素５０３（ＰＸ１，ＰＹ１）を選択した場合、画素５０３（ＰＸ１，ＰＹ１）のテンプレート画像５０４、サーチ画像５０５はグリッド５０１内に収まっている。よって、画素５０３（ＰＸ１，ＰＹ１）のテンプレートマッチング処理は、グリッド５０１のベクトル検出画像生成処理が完了したタイミングで開始することが出来る。一方、特徴点として画素５１３（ＰＸ２，ＰＹ２）を選択した場合、画素５１３（ＰＸ２，ＰＹ２）のテンプレート画像５１４、サーチ画像５１５は、４つのグリッド５０１，５０８−５，５０８−７，５０８−８にまたがっている。よって、特徴点５１３（ＰＸ２，ＰＹ２）のテンプレートマッチング処理を開始するためには、４つのグリッド５０１，５０８−５，５０８−７，０５０８−８のベクトル検出画像生成処理が完了している必要がある。
【００３７】
このように、グリッド内で下端に近い特徴点を選択し、テンプレート画像、サーチ画像が複数のグリッドにまたがると、テンプレートマッチング処理の開始が遅れてしまう。そのため、本実施形態では、グリッド内に同一の特徴値の画素が複数存在した場合は、グリッド内で読み出す順番の一番早い画素（グリッドの左上に近い画素）を特徴点と決定している。これにより、テンプレートマッチング処理開始の遅延を防いでいる。
【００３８】
また、図３に示すように画像信号の下端グリッド５０８−９において、下端に近い特徴点５２３を選択してテンプレート画像５２４、サーチ画像５２５がグリッドをはみ出すと下端余分画素５２６のベクトル検出画像をメモリ１０４に書き出す必要がある。一方、下端グリッド５０８−１９では、グリッド内読み出し順が一番早い画素５３３を特徴点として選択することで、テンプレート画像５３４、サーチ画像５３５がグリッドからはみ出さない。この場合、下端余分画素５３６のベクトル検出画像をメモリ１０４に書き出す必要はない。本実施形態において、特徴点算出部１０３が算出した特徴点情報は、ベクトル検出画像生成部１０２にも入力されている。ベクトル検出画像生成部１０２は、入力された特徴点情報から、画像信号の下端グリッドの特徴点のテンプレート画像、サーチ画像がグリッドをはみ出さない場合は下端の余分画素のベクトル検出画像をメモリ１０４に書き出さない。これにより、メモリ１０４に書き込むデータ量の増加を防いでいる。
【００３９】
マッチング処理部１０５は、メモリ１０４から読み出されたテンプレート画像とサーチ画像を用いて、相関値を算出し、その相関値からベクトル値を算出する。
【００４０】
例えば、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。
【００４１】
【数２】
2018067058.tif 000004
【００４２】
（式６）において、ｆ（ｉ，ｊ）はテンプレート画像５０４内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）はサーチ画像５０５において相関値算出の対象となる領域内の各画素値を表す。相関値算出対象領域は、テンプレート画像５０４と同じ大きさである。そしてＳＡＤでは、両ブロック内の各画素値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。従って、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりテンプレート画像５０４と相関値算出領域内のテクスチャが類似していることを表している。なお、本実施形態では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いてもよい。そして、相関値の最小値の位置（ＭＶＸ，ＭＶＹ）を、グリッドの動きベクトル値として出力する。
【００４３】
図８は、本実施形態における動きベクトルの検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ８０１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ８０２）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ８０３）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ８０４）、検出された動きベクトルデータを取得する（Ｓ８０５）。
【００４４】
以上説明したように、第１の実施形態におけるベクトル検出処理を用いることにより、従来よりもベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。
【００４５】
なお、本実施形態では水平方向６個、垂直方向４個にグリッド分割したが、水平方向６個、垂直方向４個のグリッド分割数でなくてもよい。また、画像信号の読み出し順は必ずしも本実施形態と同じでなくてもよく、読み出す順番の一番早い画素を特徴点として選択出来ればよい。
【００４６】
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。第２の実施形態の画像処理装置の構成、動きベクトル検出部の構成、画像信号のグリッド分割、分割された画像信号の処理順序は第１の実施形態と同様であるため、説明を省略する。第２の実施形態では、特徴点算出部の構成、動きベクトル検出シーケンスが第１の実施形態と異なる。
【００４７】
図９は、第２の実施形態における特徴点算出部の構成を示す図である。特徴フィルタ部４０１、特徴評価部４０２、特徴点決定部４０３、座標算出部４０４は第１の実施形態と同じである。ゲイン算出部９０１は、特徴評価部４０２が算出した座標情報とＣＰＵ７０４に設定されたゲイン算出係数から、特徴画像評価結果に重み付けするゲインを算出する。特徴点決定部４０３は、ゲインで重み付けされた特徴画像評価結果から特徴点を決定する。本実施形態では、グリッド内の読み出す順番の早い座標のゲインが大きくなるようにしている。これにより、特徴画像評価結果が一番大きくなくとも、グリッド内の読み出す順番の早い座標が特徴点として選択される点が第１の実施形態と異なる。本制御によって、より読み出し順が早い座標を特徴点として選択することが出来る。
【００４８】
図１０は、本実施形態における動きベクトル検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ１００１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ１００２）。ＣＰＵ７０４は、ゲイン算出部９０１にゲイン算出係数を設定する（Ｓ１００３）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ１００４）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ１００５）、検出された動きベクトルデータを取得する（Ｓ１００６）。
【００４９】
以上、第２の実施形態におけるベクトル検出処理によって、より読み出し順が早い座標を特徴点として選択出来るため、ベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。
【００５０】
なお、本実施形態ではグリッド内の読み出し順のみに基づいてゲインを算出したが、読み出し順だけでなく、他の画像信号処理結果も考慮してゲインを算出してもよい。例えば撮像されたシーンを解析するシーン解析手段を持ち、シーン解析結果、及びグリッド内読み出し順の両方を考慮してゲインを算出してもよい。 
＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。第３の実施形態の画像処理装置の構成、動きベクトル検出部の構成、画像信号のグリッド分割、分割された画像信号の処理順序は第１、第２の実施形態と同様であるため、説明を省略する。第３の実施形態では、特徴点算出部の構成、動きベクトル検出シーケンスが第１、第２の実施形態と異なる。
【００５１】
図１１は、第３の実施形態における特徴点算出部の構成を示す図である。特徴フィルタ部４０１、特徴評価部４０２、座標算出部４０４は第１、第２の実施形態と同じである。閾値判定部１１０１は、特徴評価部４０２が算出した特徴画像評価結果とＣＰＵ７０４に設定された閾値との比較結果を出力する。特徴決定部１１０３は、閾値との比較結果から特徴点を決定する。本実施形態では、閾値を超えた特徴画像評価結果が複数あり、閾値判定部１１０１の判定結果が同一の画素が複数ある場合にグリッド内の読み出し順が一番早い座標を特徴点として選択する。これにより、特徴画像評価結果が一番大きくなくとも、評価結果が十分大きく、かつグリッド内の読み出し順が早い座標を特徴点として選択出来る点が第１の実施形態と異なる。この制御により、特徴画像評価結果が高く、かつ読み出し順が早い座標を特徴点として選択することが出来る。
【００５２】
図１２は、本実施形態における、動きベクトル検出シーケンスを示すフローチャートである。まず、ＣＰＵ７０４は、グリッド分割部１０１にグリッド分割数、グリッド画像サイズ、余分領域サイズを設定する（Ｓ１２０１）。ＣＰＵ７０４は、メモリアドレス生成部１０６、マッチング処理部１０５にテンプレート画像の水平・垂直サイズ、サーチ画像の水平・垂直サイズを設定する（Ｓ１２０２）。ＣＰＵ７０４は、閾値判定部１１０１に閾値を設定する（Ｓ１２０３）。ＣＰＵ７０４は、結像光学系７０１、撮像素子７０２に画像信号の取得を指示する（Ｓ１２０４）。ＣＰＵ７０４は、動きベクトル検出部７１０から検出完了の通知を受けたら（Ｓ１２０５）、検出された動きベクトルデータを取得する（Ｓ１２０６）。
【００５３】
以上、第３の実施形態におけるベクトル検出処理により、特徴画像評価結果が高く、かつ読み出し順が早い座標を特徴点として選択することが出来る。これより、ベクトル検出精度を落とすことなく、ベクトル検出処理の遅延、及びメモリ１０４に書き込むベクトル検出画像のデータ量の増加を防ぐことが出来る。
【００５４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１０１：グリッド分割部、１０２：ベクトル検出画像生成部、１０３：特徴点算出部、１０４：メモリ、１０５：マッチング処理部、１０６：メモリアドレス生成部、７１０：動きベクトル検出部
【図１】
2018067058.tif 000005
【図２】
2018067058.tif 000006
【図３】
2018067058.tif 000007
【図４】
2018067058.tif 000008
【図５】
2018067058.tif 000009
【図６】
2018067058.tif 000010
【図７】
2018067058.tif 000011
【図８】
2018067058.tif 000012
【図９】
2018067058.tif 000013
【図１０】
2018067058.tif 000014
【図１１】
2018067058.tif 000015
【図１２】
2018067058.tif 000016
【図１３】
2018067058.tif 000017