(57)【要約】【課題】効果的にリソース共有しながら、動きベクトルを補正することが可能な撮像装置を提供すること。【解決手段】光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、画像信号の幾何変形処理を行うとともに、動きベクトルの補正処理を行う処理手段と、処理手段による動きベクトルの補正処理の実行を判定する判定手段と、を有する。【選択図】図１
2016006920.tif 000002
【特許請求の範囲】
【請求項１】
光学系を通過した光学像を画像信号に変換する撮像素子と、
動きベクトルを検出するベクトル検出手段と、
前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、
前記処理手段による前記動きベクトルの補正処理の実行を判定する判定手段と、を有することを特徴とする撮像装置。
【請求項２】
前記処理手段は、前記画像信号の幾何変形処理を行っていないときに、前記動きベクトルの補正処理を行うことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ベクトル検出手段は、テンプレートマッチング方式を用いて前記動きベクトルを検出することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記判定手段は、前記動きベクトルの検出に用いられるテンプレートの探索範囲、前記動きベクトルの検出に用いられるテンプレートのサイズ、前記動きベクトルの検出に用いられるテンプレートの位置、前記光学系の収差特性、および前記撮像素子の読み出し速度の少なくともいずれかに基づいて前記動きベクトルの補正処理の実行を判定することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記判定手段は、前記探索範囲が所定の広さより狭い場合、前記サイズが所定の大きさより大きい場合、前記テンプレートの位置が所定の像高の位置より低い位置である場合、前記光学系の歪曲収差が所定の値より小さい場合、および前記撮像素子の読み出し速度が所定の速度より早い場合の少なくともいずれかの場合に、前記処理手段が前記動きベクトルの補正処理を行わないように判定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記判定手段は、前記画像信号を複数に分割した検出枠ごとに、前記動きベクトルの補正処理の実行を判定することを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
【請求項７】
前記判定手段は、前記検出枠のコントラストとエッジ形状の少なくともいずれかに基づいて前記動きベクトルの補正処理の実行を判定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記判定手段は、前記コントラストが所定の値より低い場合、前記検出枠に単線エッジが含まれる場合、前記検出枠に周期エッジが含まれる場合および前記検出枠に交差エッジが含まれない場合の少なくともいずれかの場合に、前記処理手段が前記動きベクトルの補正処理を行わないように判定することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記動きベクトルを読み出して、手ぶれ量を算出する制御手段を更に有し、
前記制御手段は、前記判定手段によって補正処理が必要でないと判定された前記検出枠の前記動きベクトルを幾何変形処理が完了する前に読み出し、前記判定手段によって補正処理が必要であると判定された前記検出枠の前記動きベクトルを幾何変形処理が完了した後に読み出すことを特徴とする請求項６から８のいずれか１項に記載の画像処理方法。
【請求項１０】
光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、前記処理手段による前記動きベクトルの補正処理の実行を判定する判定手段と、を有する撮像装置の画像処理方法であって、
前記判定手段が前記処理手段による前記動きベクトルの補正処理が必要であるかを判定する判定ステップと、
前記判定ステップにおいて、補正処理が必要でないと判定された場合、前記処理手段が前記動きベクトルの補正処理を行わず、補正処理が必要であると判定された場合、前記動きベクトルの補正処理を行う処理ステップと、を有することを特徴とする画像処理方法。
【請求項１１】
光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、前記画像信号を複数に分割した検出枠ごとに、前記動きベクトルの補正処理の実行を判定する判定手段と、前記動きベクトルを読み出して、手ぶれ量を算出する制御手段と、を有する撮像装置の画像処理方法であって、
前記判定手段が前記処理手段による前記動きベクトルの補正処理の実行が必要であるかを判定する判定ステップと、
前記制御手段が前記判定ステップにおいて補正処理が必要でないと判定された前記検出枠の前記動きベクトルを読み出す第１の読み出しステップと、
前記処理手段が前記画像信号の幾何変形処理を行う変形処理ステップと、
前記判定ステップにおいて補正処理が必要であると判定された前記検出枠の前記動きベクトルの補正処理を行う補正処理ステップと、
前記制御手段が前記補正処理ステップにおいて補正処理された前記動きベクトルを読み出す第２の読み出しステップと、を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
コンパクトデジタルカメラ、一眼レフレックスカメラおよびビデオカメラなどの撮像装置において、撮影者の手ぶれ等に起因した像ぶれが発生してしまう問題がある。特許文献１では、撮像された複数フレームの画像をメモリに保持し、前後のフレーム間で画像を比較（テンプレートマッチング）して動きベクトルを検出して手ぶれ量を推定し、像ぶれを抑圧する技術が開示されている。また、特許文献２では、画像を幾何変形処理することによって、光学系の歪曲収差や、センサのローリングシャッター歪み、像ぶれの回転成分を補正する技術が開示されている。
【０００３】
図１５は、幾何変形処理前後の画像を示している。一般的に、防振処理を行うための手ぶれ量はリアルタイムで算出されることが望ましく、図１５（ａ）に示す歪み補正前の元画像で動きベクトルが検出される。しかし、実際の出画は、図１５（ｂ）に示す歪み補正後の画像となるため、ベクトル検出枠１５０１、ベクトル検出枠１５０１の重心１５０２、動きベクトル１５０３が歪んでしまい、動きベクトル１５０３の精度が低下してしまう問題が生じる。特許文献３では、動きベクトルに対して、画像の変形量を考慮した座標変換処理（アフィン変換）を実施することで、動きベクトルの歪みを補正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−２６１７５７号公報
【特許文献２】特開２００６−１２７０８３号公報
【特許文献３】特開２００９−２５８８６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像の変形量の算出ならびにその座標変換処理は、計算負荷が高いため、ハードウェアで処理されるのが望ましいが、回路規模が大きくなる問題がある。そこで、幾何変形処理の座標演算処理と回路リソースを共有して、動きベクトルの歪みを補正することが、解決策として考えられる。
【０００６】
図１６（ａ）は動きベクトルの検出処理から防振制御を行うまでのタイミングを示しており、図１６（ｂ）は回路リソースを共有して動きベクトルの検出、動きベクトルの補正、防振制御を行うまでのタイミングを示している。図１６（ａ）では、手ぶれ量を早く算出するために、ベクトル検出処理の間に、例えば、１水平ライン分のベクトル検出枠単位で、ベクトル値の読み出しを行う。そして、最後の水平ラインのベクトル値を読み出して、手ぶれ量を算出し、防振制御を行う。図１６（ｂ）では、ベクトル検出処理が完了しても、幾何変形処理が完了しないと座標演算回路のリソースが開放されないため、動きベクトルの補正処理を行うことができない。したがって、従来よりもベクトル値が使用可能となる時間が遅れてしまうため、防振制御ができる時間に遅れが生じてしまう。
【０００７】
このような課題を鑑みて、本発明は、効果的にリソース共有しながら、動きベクトルを補正することが可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一側面としての撮像装置は、光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、前記処理手段による前記動きベクトルの補正処理の実行を判定する判定手段と、を有することを特徴とする。
【０００９】
また、本発明の他の側面としての画像処理方法は、光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、前記処理手段による前記動きベクトルの補正処理の実行を判定する判定手段と、を有する撮像装置の画像処理方法であって、前記判定手段が前記処理手段による前記動きベクトルの補正処理が必要であるかを判定する判定ステップと、前記判定ステップにおいて、補正処理が必要でないと判定された場合、前記処理手段が前記動きベクトルの補正処理を行わず、補正処理が必要であると判定された場合、前記動きベクトルの補正処理を行う処理ステップと、を有することを特徴とする。
【００１０】
また、本発明の他の側面としての画像処理方法は、光学系を通過した光学像を画像信号に変換する撮像素子と、動きベクトルを検出するベクトル検出手段と、前記画像信号の幾何変形処理を行うとともに、前記動きベクトルの補正処理を行う処理手段と、前記画像信号を複数に分割した検出枠ごとに、前記動きベクトルの補正処理の実行を判定する判定手段と、前記動きベクトルを読み出して、手ぶれ量を算出する制御部と、を有する撮像装置の画像処理方法であって、前記判定手段が前記処理手段による前記動きベクトルの補正処理の実行が必要であるかを判定する判定ステップと、前記制御部が前記判定ステップにおいて補正処理が必要でないと判定された前記検出枠の前記動きベクトルを読み出す第１の読み出しステップと、前記処理手段が前記画像信号の幾何変形処理を行う変形処理ステップと、前記判定ステップにおいて補正処理が必要であると判定された前記検出枠の前記動きベクトルの補正処理を行う補正処理ステップと、前記制御手段が前記補正処理ステップにおいて補正処理された前記動きベクトルを読み出す第２の読み出しステップと、を有することを特徴とする。
【発明の効果】
【００１１】
効果的にリソース共有しながら、動きベクトルを補正することが可能な撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の撮像装置のブロック構成図である。
【図２】ベクトル検出処理の概要を示した図である。
【図３】幾何変形処理の概要を示した図である。
【図４】座標演算手段の構成図である。
【図５】実施例１の画像処理のフローチャートである。
【図６】図形歪みとベクトル検出における探索範囲を示した図である。
【図７】図形歪みとベクトル検出におけるテンプレートサイズを示した図である。
【図８】歪曲収差特性を示した図である。
【図９】撮像素子の読み出しタイミングを示した図である。
【図１０】実施例２の撮像装置のブロック構成図である。
【図１１】実施例２の画像処理のフローチャートである。
【図１２】実施例２の画像処理のタイミングチャートである。
【図１３】ベクトル補正フラグの概要を示した図である。
【図１４】エッジ形状例を示した図である。
【図１５】ベクトル補正の概念を示した図である。
【図１６】従来のベクトル検出のタイミングチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【実施例１】
【００１４】
図１は、本実施例の撮像装置のブロック構成図である。光学系１０１を通過して撮像素子１０２に結像された光学像は、撮像素子１０２にて画像信号に変換される。撮像素子１０２が出力する画像信号は、メモリ１０３に保持される。メモリ１０３は、保持した画像信号をベクトル検出手段１０４と幾何変形手段１０５に出力する。ベクトル検出手段１０４は、撮像素子１０２が出力する画像信号と、メモリ１０３が出力する１フレーム前の画像信号より、ベクトル値を算出する。算出されたベクトル値は、システム制御手段１０７に送られる。幾何変形手段１０５は、内部の座標演算手段１０５ａより入力される出力画素における幾何変形量に基づいて、幾何変形処理に必要となる画素群をメモリ１０３に入力する。メモリ１０３は、入力された画素群に基づいて、格納されている画像信号のうち、画素群に相当するメモリアドレスのデータを幾何変形手段１０５に入力していく。幾何変形手段１０５は、順次読み出された画像信号と幾何変形量に基づいて、出力画素における補間画素を生成していくことで、出力画像信号（防振画像）を生成し、外部に出力する。ベクトル検出手段１０４で算出したベクトル値は、座標演算手段１０５ａに入力することが可能である。座標演算手段１０５ａは、ベクトル値の補正を行い、補正したベクトル値をベクトル検出手段１０４に出力する。撮影パラメータ解析手段（判定手段）１０６は、システム制御手段１０７から入力される撮影パラメータよりベクトル値の補正処理を制御する。システム制御手段１０７は、撮像装置全体の動作を制御する。光学系１０１の焦点距離、絞り値、フォーカス距離や、撮像素子１０２の駆動、ベクトル検出手段１０４よりベクトル値を取得し、光学系１０１の防振のためのレンズ駆動の制御などを行う。
【００１５】
次に、ベクトル検出手段１０４の詳細について説明する。ベクトル検出手段１０４は、システム制御手段１０７で決定されたテンプレート配置に基づいて、入力された２枚のフレーム画像間での動きベクトルを検出する。
【００１６】
本実施例では、テンプレートマッチング方式を用いて動きベクトルを検出する。撮像素子１０２より入力される画像信号を原画像、メモリ１０３より入力される画像信号を参照画像とし、図２で示すように、原画像中の任意の位置にテンプレート２０１を配置し、テンプレート２０１と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、実際には参照画像上の相関値を算出する矩形領域を動きベクトルの探索範囲２０２として設定する。探索範囲２０２の位置や大きさについては特に制限はないが、探索範囲２０２の内部にテンプレート２０１の移動先に相当する領域が含まれていないと正しい動きベクトルを検出することはできない。
【００１７】
本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を式（１）に示す。
【００１８】
【数１】
2016006920.tif 000003
【００１９】
式（１）において、ｆ（ｉ，ｊ）はテンプレート２０１内の座標（ｉ，ｊ）における画素値を表しており、ｇ（ｉ，ｊ）は探索範囲２０２において相関値の算出対象となる領域内の各画素値を表す。相関値の算出対象の領域は、テンプレート２０１と同じ大きさである。ＳＡＤでは、画素値ｆ（ｉ，ｊ），ｇ（ｉ，ｊ）の差分の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを取得する。相関値Ｓ＿ＳＡＤの値が小さいほど領域間の輝度値の差分が小さい、すなわち、テンプレート２０１と相関値の算出対象の領域内のテクスチャが類似していることを表している。なお、本実施例では、相関値の算出方法の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値の算出方法を用いてもよい。
【００２０】
本実施例では、テンプレート２０１は、格子上に配置されている。テンプレート２０１は水平サイズがＴＸ画素、垂直サイズがＴＹ画素、探索範囲２０２は左右サイズがＳＸ画素、上下サイズがＳＹ画素、テンプレート２０１間の距離は水平サイズがＤＸ画素、垂直サイズがＤＹ画素である。少ないテンプレート数で、広範囲の動きベクトルを観察できるように、千鳥状にテンプレート２０１を配置してもよい。なお、ＴＸ，ＴＹ，ＤＸ，ＤＹ，ＳＸ，ＳＹといったパラメータは、目的に応じて、任意の値に変更が可能である。
【００２１】
次に、幾何変形処理の詳細について説明する。本実施例の幾何変形処理は、出力画像に画素の欠陥が生じないように図３の出力画像座標（Ｘ’，Ｙ’）に基づき、入力画像上で画素のサンプリングおよび補間を行う。
【００２２】
幾何変形手段１０５は、出力画像上の画素を順次スキャンし、出力画像上の画素座標を入力画像上の画素座標（Ｘ，Ｙ）に変換する処理を行う。幾何変形手段１０５は、座標演算手段１０５ａより入力された入力画像上の画素座標（Ｘ，Ｙ）を基にサンプリングし、補間により出力画素のデータを生成する。補間処理としては、例えば、４近傍を用いて線形補間を行うバイリニア補間処理が想定される。補間処理により、必要となるサンプリング座標近傍の画素群が異なってくることにより、幾何変形手段１０５は、座標演算手段１０５ａから入力される画素座標（Ｘ，Ｙ）と、補間に必要となる近傍画素群（Ｘ”，Ｙ”）の情報を、メモリ１０３に入力する。メモリ１０３は、幾何変形手段１０５から入力された座標情報にしたがって、補間処理に必要となるサンプリング画素近傍の画素値群を読み出し、幾何変形手段１０５に伝送する。
【００２３】
次に、幾何変形量の算出方法について説明する。座標演算手段１０５ａは、複数の幾何変形による座標変換を１つの座標変換に合成し、入力される出力画像上の画素ごとの座標を入力画像上のサンプリング画像に順次変換する座標演算を行う。図４は、座標演算手段１０５ａの構成図である。座標演算手段１０５ａは、複数の幾何変形要素に対応した座標演算手段４０１，４０２と座標移動ベクトル合成手段４０３で構成される。
【００２４】
座標演算手段４０１，４０２は、システム制御手段１０７から入力された座標演算情報（それぞれの幾何変形パラメータと幾何変形処理前の座標）から、座標移動ベクトルと、幾何変形処理後の座標を算出する。座標演算手段４０１は歪曲収差を補正し、座標演算手段４０２は射影変換を行う。
【００２５】
座標演算手段４０１は、幾何変形処理前の座標（Ｘ，Ｙ）と歪曲収差の収差補正パラメータＰｄｘ，Ｐｄｙより、歪曲収差補正前の座標移動ベクトル（ｄｒｘ，ｄｒｙ）と、歪曲収差補正後の座標（Ｘｄ，Ｙｄ）を算出する。座標移動ベクトル（ｄｒｘ，ｄｒｙ）、座標（Ｘｄ，Ｙｄ）は、式（２）〜（４）より算出される。
【００２６】
【数２】
2016006920.tif 000004
【００２７】
収差補正パラメータＰｄｘ，Ｐｄｙは、理想像高ｒｎと実像高ｒｄの比で式（５）のように与えられ、Ｘ方向とＹ方向に分解される。
【００２８】
【数３】
2016006920.tif 000005
【００２９】
座標演算手段４０２は，歪曲収差補正後の座標（Ｘｄ，Ｙｄ）と射影変換パラメータＰｈより、射影変換の座標移動ベクトル（ｄｈｘ，ｄｈｙ）と、射影変換後の座標（Ｘｈ，Ｙｈ）を算出する。座標ベクトル（ｄｈｘ，ｄｈｙ）、座標（Ｘｈ，Ｙｈ）は、式（６）〜（９）より算出される。
【００３０】
【数４】
2016006920.tif 000006
【００３１】
射影変換パラメータＰｈは、射影変換行列Ｈと変換の中心（Ｘ０ｈ，Ｙ０ｈ）である。射影変換行列Ｈは、例えば、光軸に対する３軸（ヨー方向，ピッチ方向，ロール方向）回転をカメラのモーションパラメータとして算出する方法などが考えられる。
【００３２】
座標移動ベクトル合成手段４０３は、幾何変形処理前の座標（Ｘ，Ｙ）、各座標演算で求められた移動ベクトル（ｄｒｘ，ｄｒｙ）、（ｄｈｘ，ｄｈｙ）および幾何変形パラメータＰｃを重み合成する。合成座標ベクトル（ｄｃｘ，ｄｃｙ）と幾何変形処理後の座標（Ｘｃ，Ｙｃ）は、式（１０），（１１）より算出される。
【００３３】
【数５】
2016006920.tif 000007
【００３４】
幾何変形パラメータＰｃは、合成の重みａｘ，ｂｘ，ａｙ，ｂｙである。なお、本実施例では、歪曲収差と射影変換のパラメータについて説明したが、ローリングシャッターによる図形歪みの補正パラメータや、並進防振のための画像切り出しパラメータを幾何変形パラメータに合成してもよい。
【００３５】
次に、座標演算手段１０５ａを使用した動きベクトルの補正処理について説明する。ベクトル検出手段１０４は、各ベクトル検出枠のベクトル起点座標（Ｖｓｘ，Ｖｓｙ）とベクトル終点座標（Ｖｅｘ，Ｖｅｙ）を座標演算手段１０５ａに入力する。座標演算手段１０５ａは、幾何変形量の算出方法と同様に、式（２）〜（１１）のフローにて、補正ベクトル起点座標（Ｖｓｘ’，Ｖｓｙ’）と補正ベクトル終点座標（Ｖｅｘ’，Ｖｅｙ’）を演算する。また、ベクトル検出手段１０４がベクトル（Ｖｘ、Ｖｙ）のみを保持しておき、式（１２），（１３）でベクトル起点座標およびベクトル終点座標に変換してもよい。Ｓｘ，Ｓｙは画像の左上端枠の開始座標、Ｔｘ，Ｔｙはテンプレートサイズ、Ｄｘ，Ｄｙはテンプレート間隔、Ｎは左端枠を０としたときの水平枠カウント数、Ｍは上端枠を０としたときの垂直枠カウント数を示す。
【００３６】
【数６】
2016006920.tif 000008
【００３７】
次に、図５を用いて、本実施例の画像処理方法について説明する。
【００３８】
ステップＳ５０１では、撮影パラメータ解析手段１０６がシステム制御手段１０７から入力される撮影パラメータを解析し、ベクトル検出処理を実行するかどうかを判定する。ベクトル検出処理の実行の有無は、ベクトル補正フラグで決定し、「１」のときはベクトル補正を実施し、「０」のときはベクトル補正を実施しない。
【００３９】
撮影パラメータ解析手段１０６に入力される撮影パラメータと、ベクトル検出処理の実行の判定に関して説明する。判定に使用される撮影パラメータは、いくつかのケースがあるため、以下で説明する。
（ｉ）探索範囲
図６を用いて、撮影パラメータがベクトルの探索範囲である場合について説明する。図６に示すように、時刻ｔ１の被写体エッジ６０１、時刻ｔ２（＞ｔ１）の被写体エッジ６０２がテンプレート６０３上に配置されている。被写体エッジ６０１，６０２は、本来、同形状であるが、光学系１０１の歪曲収差、撮像素子１０２のローリングシャッター歪み、あおり等によって、形状が異なっている。図６（ｂ）の探索範囲６０４ｂは、図６（ａ）の探索範囲６０４ａよりも広い。探索範囲が広い場合、図形歪みが発生した被写体エッジと広くパターンマッチングをとるため、探索範囲が狭い場合に比べ、ベクトルが歪みやすい。したがって、撮影パラメータ解析手段１０６は、ベクトル検出時の探索範囲（ＳＸ，ＳＹ）のいずれか一方が所定の閾値（ＳＸｔｈ，ＳＹｔｈ）よりも大きい場合にベクトル補正フラグを１とする。
（ｉｉ）テンプレートサイズ
図７を用いて、撮影パラメータがベクトルのテンプレートサイズである場合について説明する。図７に示すように、時刻ｔ１の被写体エッジ７０１、時刻ｔ２（＞ｔ１）の被写体エッジ７０２がテンプレート７０３ａまたは７０３ｂ上に配置されている。被写体エッジ７０１，７０２は、（ｉ）で説明したように、形状が異なっている。図７（ａ）のテンプレート７０３ａは、図７（ｂ）のテンプレート７０３ｂよりも大きい。テンプレートが大きい場合、広い範囲でテンプレートマッチングをとるため、誤ったマッチング結果が発生しにくい。そのため、テンプレードが小さい場合に比べ、ベクトルが歪みにくい。したがって、撮影パラメータ解析手段１０６は、ベクトル検出時のテンプレートサイズ（ＴＸ，ＴＹ）のいずれか一方が所定の閾値（ＴＸｔｈ，ＴＹｔｈ）よりも小さい場合にベクトル補正フラグを１とする。
（ｉｉｉ）テンプレートの位置
撮影パラメータがテンプレートの位置である場合について説明する。像高の高い位置に配置されたテンプレートほど、図形歪みの影響を受けやすい。したがって、撮影パラメータ解析手段１０６は、テンプレートの位置が所定の像高の位置より高い場合、ベクトル補正フラグを１とする。
（ｉｖ）光学系の歪曲収差特性
図８を用いて、撮影パラメータが光学系１０１の歪曲収差特性である場合について説明する。曲線８０１ａ，８０１ｂは、異なる撮影条件時の光学系１０１の歪曲収差特性を示している。横軸は像高Ｈ、縦軸は歪み量Ｄ（Ｈ）を示す。歪曲収差が大きいほど、歪んだ被写体でテンプレートマッチングが行われるため、ベクトルの歪みは大きくなる。したがって、撮影パラメータ解析手段１０６は、テンプレート配置の中で像高がもっとも高くなるＨｔのときの歪曲収差特性の絶対値が所定の閾値（Ｄｔｈ）よりも大きい場合は、ベクトル補正フラグを１とする。なお、像高位置に応じて、ベクトルの歪みが変わることから、テンプレートごとの歪曲特性をプロット点で保持しておき、各テンプレートで所定の閾値（ＤＴｈ）と比較して、テンプレードごとにベクトル補正フラグを設定してもよい。
（ｖ）撮像素子の読み出し速度
図９を用いて、撮影パラメータが撮像素子１０２の読み出し速度である場合について説明する。撮像素子１０２がローリングシャッターで撮像する方式の場合、ラインごとで読み出し時間が変わるため、手ぶれや被写体ぶれによって、図形歪みが発生する。図９は、時間方向に対する撮像素子１０２の読み出しタイミングを示したものであり、各矩形が１画像分の読み出しを示す。ｔｃは蓄積時間、ｖｓｉｚｅはライン数（垂直画像サイズ）を示す。図９（ａ）は、画像の上端ライン（ｖ＝０）の読み出し時間と、下端ライン（ｖ＝ｖｓｉｚｅ−１）の読み出し時間の差分ｔｒが大きい、すなわち撮像素子１０２の読み出し速度が遅い場合である。図９（ｂ）は、差分ｔｒが小さい、すなわち撮像素子１０２の読み出し速度が早い場合である。図９（ａ）のように読み出し速度が遅くなるほど、ローリングシャッターによる図形歪みが大きくなるため、ベクトルが歪みやすくなる。したがって、撮影パラメータ解析手段１０６は、差分ｔｒが所定の閾値（ＴＲｔｈ）よりも大きい場合は、ベクトル補正フラグを１とする。
【００４０】
なお、撮影パラメータは、（ｉ）〜（ｖ）で説明したパラメータを複数使用してもよい。例えば、各々のベクトル補正フラグの論理和をとることで、ベクトル補正が必要となる条件のいずれかが有効になった場合は、ベクトル補正を実施するように制御する。
【００４１】
ステップＳ５０２では、ステップＳ５０１で求められたベクトル補正フラグが０の場合はシーケンスＡのステップＳ５０３に、ベクトル補正フラグが０でない場合、すなわち１の場合はシーケンスＢのステップＳ５０４に進む。
【００４２】
ステップＳ５０３では、ベクトル検出手段１０４は１水平ライン分のベクトル検出枠単位でベクトル値を算出し、システム制御手段１０７はベクトル値を読み出す。
【００４３】
ステップＳ５０４では、ベクトル検出手段１０４が全ベクトル検出枠のベクトル値を算出する。
【００４４】
ステップＳ５０５では、幾何変形手段１０５が画像信号の幾何変形処理を行う。このとき、ベクトル検出手段１０４は、幾何変形手段１０５がベクトル検出手段１０４のベクトル値を入力可能な状態となるまで待機する。幾何変形手段１０５は、ベクトル値が入力可能となった時点で、例えば、ベクトル検出手段１０４にイネーブル信号を送信する。
【００４５】
ステップＳ５０６では、ベクトル検出手段１０４が幾何変形手段１０５にベクトル値を出力し、幾何変形手段１０５内の座標演算手段１０５ａがベクトル補正を行う。補正されたベクトル値は、ベクトル検出手段１０４に出力される。ベクトル補正は、全ベクトル検出枠一括で実施される。
【００４６】
ステップＳ５０７では、システム制御手段１０７は、ベクトル検出手段１０４に入力された補正されたベクトル値を読み出す。
【００４７】
ステップＳ５０８では、システム制御手段１０７は、読み出したベクトル値を用いて手ぶれ情報を算出し、さらに防振パラメータを算出する。
【００４８】
以上、説明したように、本実施例の撮像装置は、効果的にリソース共有しながら、動きベクトルを補正することが可能である。
【実施例２】
【００４９】
図１０は、実施例２の撮像装置のブロック構成図である。本実施例の撮像装置は、ベクトル検出手段１００４と画像解析手段（判定手段）１００６以外の構成は、実施例１の撮像装置と差分がない。
【００５０】
画像解析手段１００６は、撮像素子１０２が出力する画像信号より、各ベクトル検出枠に対するベクトル補正フラグを算出し、ベクトル検出手段１００４に出力する。ベクトル検出手段１００４は、撮像素子１０２が出力する画像信号と、メモリ１０３が出力する１フレーム前の画像信号より、ベクトル値を算出する。このとき、画像解析手段１００６から出力される各ベクトル検出枠のベクトル補正フラグがベクトル値に付与される。ベクトル検出手段１００４で算出されたベクトル値は、ベクトル検出枠ごとのベクトル補正フラグに基づいて、幾何変形手段１０５内の座標演算手段１０５ａに入力される。座標演算手段１０５ａは、ベクトル値の補正を行い、補正したベクトル値をベクトル検出手段１００４に出力する。
【００５１】
次に、図１１を用いて、本実施例の画像処理方法について説明する。実施例１とは、枠単位でベクトル補正フラグを算出し、ベクトル補正しないベクトル検出枠は水平ラインごとで読み出すことで、ベクトル補正時でも手ぶれ情報を先行で求めていく点が異なる。具体的には、図１２に示すように、システム制御手段１０７は、ベクトル補正しない検出枠のベクトル値は１２０１のタイミングで取得し、ベクトル補正する検出枠のベクトル値は幾何変形処理が完了した１２０２のタイミングで取得する。
【００５２】
ステップＳ１１０１では、画像解析手段１００６は、撮像素子１０２からの画像信号より画像特徴量を抽出する。図１３に示すように、画像信号を複数に分割したベクトル検出枠ごとにベクトル補正フラグを算出する。図１３において、「０」が表示されている枠はベクトル補正を実施しない枠、「１」が表示されている枠はベクトル補正を実施する枠を示している。
【００５３】
画像解析方法と、ベクトル検出処理の実行の判定に関して説明する。ベクトル補正フラグは、ベクトル検出枠内の被写体がベクトル検出に適しているか否かによって判定する。ベクトル検出に適している被写体を有する場合は、ベクトル補正を実施することで、さらにベクトル検出の精度を向上させる。ベクトル検出に適さない被写体を有する場合は、ベクトル補正を実施してもその効果が低いと考えられるため、ベクトル補正しない。制御に使用される画像特徴量は、いくつかのケースがあるため、以下で説明する。
（ｉ）コントラスト（勾配）情報
ベクトル検出枠内のコントラストが低い場合は、高い相関値を出す位相が存在しない、ノイズ等の小振幅の影響を受けやすくなるため、精度の低いベクトル値が算出される可能性がある。したがって、画像解析手段１００６は、ベクトル検出手段１００４が不得意とするエッジ形状であると判定し、ベクトル補正フラグを０とする。なお、ベクトル検出枠内のコントラストの算出方法としては、既知のアルゴリズム、例えば、ベクトル検出枠内の微分フィルタをかけた画像信号の積分値などによって求めればよい。また、テンプレートマッチングの結果（相関値）を使用して、画像のコントラストを推定する手法を使用してもよい。例えば、最大相関値ＣＭＡＸと最小相関値ＣＭＩＮの差分値が所定の閾値ＣＴＨよりも小さい場合に、画像解析手段１００６は、低コントラスト被写体と判定し、ベクトル補正フラグＶｆｌａｇを０とする。
（ｉｉ）エッジ情報
図１４は、ベクトル検出手段１００４が得意・不得意とするエッジ形状例を示した図である。
【００５４】
図１４（ａ）は、１本の線エッジ（単線エッジ）１４０１ａがベクトル検出枠内にある場合を示している。線エッジ１４０１ａは、直線エッジ方向に動きがあった場合に、高い相関値を出してしまうため、正しくベクトル値が算出できない。したがって、画像解析手段１００６は、ベクトル検出手段１００４が不得意とするエッジ形状だと判定し、ベクトル補正フラグを０とする。
【００５５】
図１４（ｂ）は、周期性のある線エッジ（周期エッジ）１４０１ｂがベクトル検出枠内にある場合を示している。線エッジ１４０１ｂは、高い相関値を出す位相が頻発するため、正しくベクトル値が算出できない。したがって、画像解析手段１００６は、ベクトル検出手段１００４が不得意とするエッジ形状だと判定し、ベクトル補正フラグを０とする。
【００５６】
図１４（ｃ）は、２本以上の線エッジが交差するコーナー点（交差エッジ）１４０１ｃがベクトル検出枠内にある場合を示している。コーナー点１４０１ｃは、高い相関値を出す位相が近傍に集中するため、精度の高いベクトル値が算出できる。したがって、画像解析手段１００６は、ベクトル検出手段１００４が得意とするエッジ形状だと判定でき、ベクトル補正フラグを１とする。
【００５７】
なお、ベクトル検出枠内のエッジ形状の算出方法としては、既知のアルゴリズム、例えば、パターンマッチングや、周波数解析、特徴点検出、などを使用する。また、テンプレートマッチングの結果（相関値）を使用して、ベクトル検出が苦手とする被写体の有無を推定する手法を使用してもよい。例えば、ｓｈｉ−ｔｏｍａｓｉのコーナー検出式（式（１４）参照）を用いて求められた画素ごとのＭｃの最大値Ｍｃｍａｘが閾値Ｍｃｔｈよりも大きい場合は、ベクトル補正フラグＶｆｌａｇを１とする。
【００５８】
【数７】
2016006920.tif 000009
【００５９】
なお、画像特徴量は、（ｉ）、（ｉｉ）で示したパラメータの複数を使用してもよい。例えば、各々のベクトル補正フラグの論理和をとることで、ベクトル補正が必要となる条件のいずれかが有効になった場合は、ベクトル補正を実施するように制御する。
【００６０】
ステップＳ１１０２では、ベクトル検出手段１００４は１水平ライン分のベクトル検出枠単位でベクトル値を算出し、システム制御手段１０７はベクトル補正フラグが０であるベクトル値を読み出す。
【００６１】
ステップＳ１１０３では、幾何変形手段１０５が画像信号の幾何変形処理を行う。このとき、ベクトル検出手段１００４は、幾何変形手段１０５がベクトル検出手段１００４のベクトル値を入力可能な状態となるまで待機する。幾何変形手段１０５は、ベクトル値が入力可能となった時点で、例えば、ベクトル検出手段１００４にイネーブル信号を送信する。
【００６２】
ステップＳ１１０４では、ベクトル検出手段１００４は幾何変形手段１０５にベクトル補正フラグが１であるベクトル値を出力し、幾何変形手段１０５内の座標演算手段１０５ａがベクトル補正を行う。補正されたベクトル値は、ベクトル検出手段１００４に出力される。
【００６３】
ステップＳ１１０５では、システム制御手段１０７は、ベクトル補正フラグが１のベクトル検出枠のベクトル値を読み出す。
【００６４】
ステップＳ１１０６では、システム制御手段１０７は、読み出したベクトル値を用いて既知の手法で手ぶれ情報を算出し、さらに防振パラメータを算出する。
【００６５】
以上、説明したように、本実施例の撮像装置は、効果的にリソース共有しながら、動きベクトルを補正することが可能である。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６７】
１０１              光学系
１０２              撮像素子
１０４，１００４    ベクトル検出手段
１０５              幾何変形手段（処理手段）
１０６              撮影パラメータ解析手段（判定手段）
１００６            画像解析手段（判定手段）
【図１】
2016006920.tif 000010
【図２】
2016006920.tif 000011
【図３】
2016006920.tif 000012
【図４】
2016006920.tif 000013
【図５】
2016006920.tif 000014
【図６】
2016006920.tif 000015
【図７】
2016006920.tif 000016
【図８】
2016006920.tif 000017
【図９】
2016006920.tif 000018
【図１０】
2016006920.tif 000019
【図１１】
2016006920.tif 000020
【図１２】
2016006920.tif 000021
【図１３】
2016006920.tif 000022
【図１４】
2016006920.tif 000023
【図１５】
2016006920.tif 000024
【図１６】
2016006920.tif 000025