(57)【要約】【課題】小演算量で処理速度を向上でき、しかも高精度にブレ補正を行うことが可能なブレ補正方法および撮像方法、並びに撮像装置を提供する。【解決手段】撮像光学系１１０と、撮像光学系によって結像された被写体像を電気信号に変換する撮像素子１２０と、撮像素子１２０によって得られた画像データに対して演算処理を施す映像信号処理部１３０および画像ブレ補正部１５０と、を有し、画像ブレ補正部１５０は、時間的に隣接するフレーム間の差分から動きベクトルを連続して算出し、連続して算出した動きベクトルを積分して積分動きベクトルを求め、積分動きベクトルを用いてブレ補正を行う。【選択図】図２
2010035049.tif 000002
【特許請求の範囲】
【請求項１】
動画像のブレを検出し補正することが可能なブレ補正方法であって、
ブレ補正の起点となる基準フレームを取得するステップと、
時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するステップと、
前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求めるステップと、
前記積分動きベクトルを用いてブレ補正を行うステップと
を有するブレ補正方法。
【請求項２】
前記積分動きベクトルの値が、前記基準フレームのブレ補正可能範囲を超えた場合、前記基準フレームを再設定するステップを有する
請求項１に記載のブレ補正方法。
【請求項３】
前記基準フレームと、ブレ補正を施したフレームとの比較した差分が閾値を超えた場合、前記基準フレームを再設定するステップを有する
請求項１に記載のブレ補正方法。
【請求項４】
動画像を取得するステップと、
前記動画像のブレを検出し補正するための起点となる基準フレームを設定するステップと、
時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するステップと、
前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求めるステップと、
前記積分動きベクトルを用いてブレ補正を行うステップと
を有する撮像方法。
【請求項５】
光学系と、
前記撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、
ブレ補正の起点となる基準フレームを取得する基準フレーム取得部と、
時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するフレーム間ベクトル検出部と、
前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求める積分動きベクトル検出部と、を有し、
前記積分動きベクトルを用いてブレ補正を行う
撮像装置。
【請求項６】
前記積分ベクトルの値が前記基準フレームのブレ補正可能な範囲を超えた場合、または、前記基準フレームとブレ補正を施したフレームとの比較した差分が閾値を超えた場合、前記基準フレームを再設定する基準フレーム取得条件決定部を有する
請求項５に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のぶれを検出し補正することが可能なブレ補正方法および撮像方法、並びに撮像装置に関するものである。
【背景技術】
【０００２】
動画のブレ補正においては、画像間、具体的には２つのフレーム間の差分値を求めて動きベクトルを検出する、ブロックマッチング法が一般的である。
【０００３】
ブロックマッチング法は、フレーム中のある大きさの領域をブロック化し、それに連続するフレーム中において、先のフレームのブロックを中心とした、より大きなブロック領域について全探索し、ブロック間の差分評価関数の値を最小とする点を動きベクトルとする方法である。
【０００４】
図１（Ａ）および（Ｂ）は、ブロックマッチング法の原理を説明するための図である。
【０００５】
図１（Ａ）において、符号１１は、検索元画像のフレームの検索基準ブロックを示し、符号１２は検索先フレームの検索対象ブロックを示す。
ブロックマッチング法においては、図１（Ｂ）に示すように、検索対象ブロック１２の中で検索基準ブロック１１と同じサイズのエリア１３を順次サーチしながら、それぞれの相関を求め、一番相関度の高い位置を求めることにより、動きベクトルを導く。
【０００６】
また、特許文献１，２には、動きベクトルの検出精度を上げる方法が提案されている。
【特許文献１】特公平０１−０１０９８９号公報
【特許文献２】特公平０２−４３３９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところが、上記ブロックマッチング法は、ブロックを全検索するため、動きベクトルの検出精度は良いが、演算量が非常に大きくなってしまうという問題があった。
そのため、特に動画ブレ補正にブロックマッチング法を適用する場合は、動きベクトルの検出精度と、フレーム間内に処理を終了させるための高速処理を両立することは難しい。
【０００８】
動きベクトルの検出精度を上げる方法として、上記特許文献１には、複数のブロックで検出した動きベクトルに対し、より相関度の高いブロックの重み付けを大きくする手法が提案されている。
【０００９】
また、処理速度を向上させる方法として、上記特許文献２には、初期偏移ベクトルを用いる手法などが提案されている。
【００１０】
しかし、これまで提案されてきた手法は、フレーム間、またはごく近い範囲の数フレームの画像を使用するものであったため、動画のブレ補正において、長い時間単位で見たときに、ブレが発生してしまうという問題があった。
【００１１】
本発明の目的は、小演算量で処理速度を向上でき、しかも高精度にブレ補正を行うことが可能なブレ補正方法および撮像方法、並びに撮像装置を提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点は、動画像のブレを検出し補正することが可能なブレ補正方法であって、ブレ補正の起点となる基準フレームを取得するステップと、時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するステップと、前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求めるステップと、前記積分動きベクトルを用いてブレ補正を行うステップとを有する。
【００１３】
好適には、前記積分動きベクトルの値が、前記基準フレームのブレ補正可能範囲を超えた場合、前記基準フレームを再設定するステップを有する。
【００１４】
好適には、前記基準フレームと、ブレ補正を施したフレームとの比較した差分が閾値を超えた場合、前記基準フレームを再設定するステップを有する。
【００１５】
本発明の第２の観点の撮像方法は、動画像を取得するステップと、前記動画像のブレを検出し補正するための起点となる基準フレームを設定するステップと、時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するステップと、前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求めるステップと、前記積分動きベクトルを用いてブレ補正を行うステップとを有する。
【００１６】
本発明の第３の観点の撮像装置は、光学系と、前記撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、ブレ補正の起点となる基準フレームを取得する基準フレーム取得部と、時間的に連続した画像フレームの隣接する画像フレーム間の差分から動きベクトルを連続して算出するフレーム間ベクトル検出部と、前記基準フレームを起点として前記動きベクトルを積分した積分動きベクトルを求める積分動きベクトル検出部と、を有し、前記積分動きベクトルを用いてブレ補正を行う。
【００１７】
好適には、前記積分ベクトルの値が前記基準フレームのブレ補正可能な範囲を超えた場合、または、前記基準フレームとブレ補正を施したフレームとの比較した差分が閾値を超えた場合、前記基準フレームを再設定する基準フレーム取得条件決定部を有する。
【発明の効果】
【００１８】
本発明によれば、小演算量で処理速度を向上でき、しかも高精度にブレ補正を行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に関連付けて説明する。
【００２０】
図２は、本発明の実施形態に係るブレ補正装置を採用した撮像装置の構成例を示すブロック図である。
本撮像装置１００は、動きベクトルを検出するシステムとして代表的な、電子式手ブレ補正システムを例として示している。
【００２１】
本撮像装置１００は、光学系１１０、撮像素子（センサ）１２０、映像信号処理部１３０、システム処理部１４０、画像ブレ補正部１５０、および映像信号出力部１６０を有する。
これらの構成要素のうち画像ブレ補正部１５０等により画像処理部が構成される。
【００２２】
本撮像装置１００は、入力画像（入力フレーム）間の差分から画像間の動きベクトルを求め、求めたベクトルから動きを補正して画像を出力することによりブレを補正する画像ブレ補正部１５０で、時間的に隣接するフレーム間の動きベクトルを連続して算出し、連続して算出した動きベクトルを積分して積分動きベクトルを求め、積分動きベクトルを用いることにより、演算量が少なく、かつ、精度の高いブレ補正を行う。
本撮像装置１００は、積分された動きベクトルが、ブレ補正可能な範囲を超えた場合は、基準となる時間の基準フレームを再度取得することにより、より広範囲のブレ補正を可能とする機能を有する。
前記ブレ補正可能な範囲を超えた場合とは、たとえば、基準フレームが最新の取得画像内に納まらないようなブレ量を示す動きベクトルが検査された場合である。
本撮像装置１００は、基準となる時間のフレームと、積分された動きベクトル分ずらした最新のフレームを比較し、フレーム間の差分が大きい場合に、基準となる時間のフレームを再度取得することにより、より精度の高いブレ補正を可能とする機能を有する。
この場合、撮像装置１００は、基準となる時間の基準フレームを再度取得するときの画像比較処理のフレーム間差分値の閾値を、撮影状況により可変とすることにより、より精度の高いブレ補正を可能とする機能を含む。
【００２３】
光学系１１０は、被写体像を撮像素子１２０の撮像面に結像させる。
【００２４】
撮像素子１２０は光電変換手段であって、ＣＣＤやＣＭＯＳセンサなどの固体撮像素子を含んで形成され、光学系１１０を通った被写体の光学像を受けて画像信号に変換し、変換した画像信号からＹＵＶ形式の画像データを生成し、映像信号処理部１３０に出力する。
【００２５】
映像信号処理部１３０では、撮像素子１２０により供給された画像信号に対してカラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の画像処理を行い、画像ブレ補正部１５０に出力する。
【００２６】
システム処理部１４０は、たとえば露出制御を行うとともに、操作部などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系１１０、撮像素子１２０等を制御し、システム全体の調停制御を司るものである。
システム処理部１４０は、基準フレーム取得条件を決定するためのゲイン情報やコントラスト情報を画像ブレ補正部１５０に供給する。
【００２７】
画像ブレ補正部１５０は、入力フレーム間の差分からフレーム間の動きベクトルを求め、求めたベクトルから動きを補正して画像を出力することによりブレを補正する機能を有する。
画像ブレ補正部１５０は、時間的に隣接するフレーム間の差分から動きベクトルを連続して算出し、この連続して算出した動きベクトルを積分して積分動きベクトルを求め、積分動きベクトルを用いてブレ補正を行う画像処理部として機能する。
【００２８】
画像ブレ補正部１５０は、動きベクトルの積分の起点となる基準フレームを設定する機能を有している。
画像ブレ補正部１５０は、積分動きベクトルの値が、基準フレームのブレ補正可能範囲を超えた場合、基準フレームを再設定する。
画像ブレ補正部１５０は、基準フレームと、ブレ補正を施したフレームとの比較した差分が閾値を超えた場合、基準フレームを再設定する。
この際、画像ブレ補正部１５０は、閾値を、撮影条件、たとえばセンサゲインに応じて変更可能である（可変である）。
【００２９】
図２の動きブレ補正部１５０は、基準フレーム取得条件決定部１５１、基準フレーム取得部１５２、フレーム間ベクトル検出部１５３、基準フレーム間ベクトル検出部１５４、および画像補正部１５５を有する。
【００３０】
基準フレーム取得条件決定部１５１は、システム処理部１４０の指示の下、映像信号処理部１３０による画像信号から基準フレームの取得条件を決定し、決定条件に従った基準フレームの取得要求を基準フレーム取得部１５２に出す。
本実施形態では、時間的に隣接するフレーム間の差分の動きベクトルを連続して算出し、連続して算出した動きベクトルを積分して求めた積分動きベクトルを用いて動画のブレ補正を行う。
本実施形態の基準フレーム取得条件決定部１５１は、動きベクトルの積分値を求める際の起点とする基準フレームを取得するように、基準フレーム取得部１５２に要求を出すが、次の場合は、再取得要求を出す。
（１）積分動きベクトルの値がブレ補正できる範囲を超えた場合、
（２）基準フレームとブレ補正後のフレームとの差分が閾値を超えた場合、
に、基準フレーム取得条件決定部１５１は、再設定するように再取得要求を出す。
また、閾値は撮影状況に応じて可変することができる。
【００３１】
基準フレーム取得部１５２は、映像信号処理部１３０による画像信号からある時間における画像の基準フレームＲＦＭを取得し、基準フレーム間ベクトル検出部１５４に供給する。
基準フレーム取得部１５２は、基準フレーム取得条件決定部１５１により基準フレームの取り直しの指示である再取得要求を受けると、映像信号処理部１３０による画像信号からある時間における画像の基準フレームＲＦＭを再取得し、基準フレーム間ベクトル検出部１５４に供給する。
【００３２】
フレーム間ベクトル検出部１５３は、映像信号処理部１３０による画像信号を受けて、連続するフレーム間の動きベクトルを検出し、その動きベクトル情報を、基準フレーム間ベクトル検出部１５４に出力する。
【００３３】
基準フレーム間ベクトル検出部１５４は、基準フレームと検索範囲との関係から、フレーム間ベクトル検出部１５３による時間的に隣接するフレーム間の差分から動きベクトルを連続して算出し、連続して算出した動きベクトルを積分して積分動きベクトルを求める。
基準フレーム間ベクトル検出部１５４は、求めた積分動きベクトルを画像補正部１５５に供給する。
【００３４】
画像補正部１５５は、基準フレーム間ベクトル検出部１５４で検出された動きベクトルに応じて映像信号処理部１３０による画像信号に対する補正処理を行い、映像信号出力部１６０に出力する。
【００３５】
以下、本実施形態の画像ブレ補正処理についてさらに詳細に説明する。
【００３６】
ここでは、動きベクトルを検出するシステムとして代表的な、電子式手ブレ補正システムを例として、以下に示す。
【００３７】
図３は電子式ブレ補正の概要を示す図である。
【００３８】
図３において、入力画像ＩＭ１に対し、時間的に連続する入力画像ＩＭ２との間に画像のブレがあると、動画の場合、出力画像ＯＩＭ１、ＯＩＭ２は、非常に見づらい画像となる。
そこで、連続する画像間の動きベクトルを求め、動きに合わせて出力する画像の位置をずらして出力することにより、ブレを補正し、見やすい画像とする。
【００３９】
動きベクトルを求める方法として、ブロックマッチング法を用いる場合、検索範囲により、演算処理量は大幅に変わってくる。
たとえば、図４に示すように、検索範囲ＥＲＧＮ１，ＥＲＧＮ２が５％と１０％の場合を比較すると、検索範囲ＥＲＧＮは平面なので、検索範囲ＥＲＧＮを２倍にすると、演算処理量は４倍になる。
【００４０】
そこで、本実施形態においては、図５（Ａ）〜（Ｃ）に示すような方式で、動きベクトルＭＶの検出を行うことにより、演算量を削減する。
まず、図５（Ａ）に示すように、ある時間における画像を基準フレームＲＦＭとする。
図５（Ａ）は、その基準フレームＲＦＭに対し、周辺５％の検索範囲ＥＲＧＮ１０を示している。
この基準フレームＲＦＭに対し、動きベクトルを検索した結果が、図中の矢印のようになったとする。すなわち、１回目の動きベクトルＭＶ１である。
【００４１】
図５（Ｂ）は、次のフレーム間の動きベクトルを求める場合を示している。
前回求めた動きベクトル分移動した位置を基準とし、周辺５％の検索範囲ＥＲＧＮ１０を検索する。
この検索の結果求められた動きベクトルが点線とする。すなわち、２回目の動きベクトルＭＶ２である。
【００４２】
２回分の動きベクトルを積算した結果が、図５（Ｃ）に示すように、太い矢印の３回目の動きベクトルＭＶ３となり、これを概算移動位置ＡＭＰ１０とする。
ここで、図５（Ａ）の基準フレームＲＦＭと、図５（Ｃ）の概算移動位置ＡＭＰ１０から５％よりも小さい範囲で再度動きベクトルを検索する。
【００４３】
通常、フレーム間の動きベクトルの情報だけを使用して、動画のブレ補正を行った場合、各フレーム間で求めたベクトルの値に少しずつ誤差が発生し、これが蓄積されると、動画がふらついたような状況となってしまう。
【００４４】
図６は、フレーム間のみの動きベクトルを使用した場合の画像のズレを示す図である。
図７は、本実施形態の積分動きベクトルを使用する方法の場合の画像のズレを示す図である。
ここでは、１ピクセル精度でブレ補正をした場合を例としている。
【００４５】
この場合、フレーム間でのブレは１ピクセル単位で補正されるので、実際の画像とのズレは±０．５ピクセルとなり、例として図の棒グラフのようになったとする。
この場合、実際のズレとの蓄積は、折れ線グラフのようになる。図６を見てわかるように、誤差が蓄積されていくと、本来の補正精度よりも大きなずれ量となってしまい、それが、画像のふらつきの原因となってしまう。
【００４６】
これに対して、本実施形態の方法を用いた場合、図７に示すように、基準フレームＲＦＭとのズレを常に検出するため、フレーム間のズレの蓄積が±０．５ピクセルを超えた場合は、ズレが修正される。
そのため、本来の補正精度を保つことができ、画像のふらつきは発生しない。
【００４７】
このように、本実施形態においては、フレーム間ベクトル検出部１５３において連続したフレーム間の動きベクトルを算出し、この動きベクトルを用いて、基準フレーム間ベクトル検出部１５４にて時間的に離れたフレーム間の動きベクトルを求める。
これにより、演算処理量を、さほど増加させることなく、離れたフレーム間でも、正確な動きベクトルを検出することができると同時に、動画の画像のふらつきを防止することができる。
【００４８】
また、この方法を用いることにより、フレーム間で検出できる動きベクトルの検索範囲は５％だが、動画の動きベクトル検索としてみた場合、トータルで５％を超える範囲の動きベクトルを求めることができる。
【００４９】
この方法を用いた場合、最新の検索範囲ＥＲＧＮの中に基準フレームＲＦＭが含まれていれば、動きベクトル検出することは可能だが、カメラをパンニングするなどして検索範囲ＥＲＧＮに基準フレームＲＦＭが無くなってしまった場合は、それ以上ブレ補正ができなくなってしまう。
また、野外の監視カメラなどにおいて時間経過とともに最新画像と基準フレームＲＦＭの状態が変わってしまった場合は、画像間の相関度が小さくなってしまうため、ブレ補正の精度が低下するおそれがある。
【００５０】
図８（Ａ）〜（Ｃ）は、カメラをパンニングした場合の例を示す図である。
【００５１】
図中の破線で囲った部分を基準フレームＲＦＭとすると、カメラがパンニングされていくと、一定のずれの間は、基準フレームＲＦＭが画面の中に納まっているが、ずれが大きくなっていくと基準フレームＲＦＭが画面の範囲外になってしまう。
基準フレームＲＦＭが画面の範囲を超えた時に画像マッチングを行った場合は、差分値が大きくなる。
【００５２】
このような場合でも問題なく動作させるため、基準フレーム取得部１５２は、画像のマッチング処理を行った際に、最新画像と基準フレーム間の差分値が大きくなったら、基準フレームＲＦＭの取り直しの処理を行う。
これにより、基準フレームＲＦＭと比較画像の相関度が低くなった場合も、ブレ補正の精度を保障することができる。
【００５３】
また、マッチングによる画像間の差分値は、ノイズや、コントラストなどによって変わってくる。このため、基準フレームの取り直しを行う基準とする差分値の閾値を、システムの状態によって変えることで、さらに精度の高い補正を行うことが可能となる。
【００５４】
図９は、例として、センサゲインと基準フレーム取り直し閾値の関係を示す図である。
【００５５】
センサ（撮像素子）は一般的に、照度が小さい場合などに、ゲインを高くして画像を表示するが、ゲインを上げると、画像のノイズが増えてしまう。
基準フレーム取得条件決定部１５１は、画像のノイズが増えると、マッチング時の画像間の差分値は増えることになる。そのため、センサゲインを上げた場合は、基準フレーム取り直しのための、画像差分値の閾値を上げる。
基準フレーム取得条件決定部１５１は、この他にも、コントラストなど、画像差分値が変化する要因がある場合は、この値も考慮に入れて閾値を決定する。
【００５６】
次に、上記構成による動作を、画像ブレ補正部１５０の動作を中心に図１０のフローチャートに関連付けて説明する。
【００５７】
＜ステップＳＴ１＞
ステップＳＴ１において、基準フレーム取得部１５２が、映像信号処理部１３０による画像信号からある時間における画像の基準フレームＲＦＭを取得する。この基準フレームＲＦＭは、基準フレーム間ベクトル検出部１５４に供給される。
【００５８】
＜ステップＳＴ２＞
ステップＳＴ２において、フレーム間ベクトル検出部１５３が、映像信号処理部１３０による画像信号を受けて、連続するフレーム間の動きベクトルを検出する。この動きベクトル情報は、基準フレーム間ベクトル検出部１５４に供給される。
【００５９】
＜ステップＳＴ３＞
ステップＳＴ３において、基準フレーム取得部１５２が、基準フレームの再取得条件となり、基準フレーム取得条件決定部１５１から、再取得要求が出されているか否かを判断する。
ステップＳＴ３において、再取得要求が出されていると判断した場合には、ステップＳＴ４の処理に移行し、再取得要求が出されていないと判断した場合には、ステップＳＴ５の処理に移行する。
【００６０】
＜ステップＳＴ４＞
ステップＳＴ４において、基準フレーム取得部１５２が、基準フレーム取得条件決定部１５１により基準フレームの取り直しの指示である再取得要求を受けると、映像信号処理部１３０による画像信号からある時間における画像の基準フレームＲＦＭを再取得する。
再取得された基準フレームＲＦＭは、基準フレーム間ベクトル検出部１５４に供給される。
【００６１】
＜ステップＳＴ５＞
ステップＳＴ５において、基準フレーム間ベクトル検出部１５４が、基準フレームと検索範囲との関係から、フレーム間ベクトル検出部１５３による時間的に隣接するフレーム間の差分から動きベクトルを連続して算出し、連続して算出した動きベクトルを積分して積分動きベクトルを求める。
求めた積分動きベクトルは画像補正部１５５に供給される。
【００６２】
＜ステップＳＴ６＞
ステップＳＴ６において、画像補正部１５５が、基準フレーム間ベクトル検出部１５４で検出された動きベクトルに応じて映像信号処理部１３０による画像信号に対する補正処理を行う。
補正処理された画像信号は、映像信号出力部１６０に出力される。
【００６３】
そして、撮影終了するまで、ステップＳＴ２〜ステップＳＴ６の処理を繰り返す。
【００６４】
以上説明したように、本実施形態によれば、画像ブレ補正部１５０は、時間的に隣接するフレーム間の差分から動きベクトルを算出し、算出した動きベクトルを積分して積分動きベクトルを求め、この積分動きベクトルから動きを補正してブレを補正し、このブレを補正した画像を出力する機能する。
画像ブレ補正部１５０は、動きベクトルの積分の起点となる基準フレームを設定する機能を有している。
画像ブレ補正部１５０は、動きベクトルの値が、基準フレームのブレ補正可能範囲を超えた場合、基準フレームを再設定する。
画像ブレ補正部１５０は、基準フレームと、ブレ補正を施したフレームとの比較した差分が閾値を超えた場合、基準フレームを再設定する。
この際、画像ブレ補正部１５０は、閾値を、撮影条件、たとえばセンサゲインに応じて変更可能である（可変である）。
したがって、本実施形態によれば、以下の効果を得ることができる。
【００６５】
すなわち、本実施形態によれば、時間的に隣接するフレーム間の動きベクトルを連続して算出し、連続して算出して動きベクトルを積分して積分動きベクトルを求め、積分動きベクトルを用いることにより、演算量が少なく、かつ、精度の高いブレ補正を行うことができる。
また、積分された動きベクトルが、補正可能な範囲を超えた場合は、基準となる時間の基準フレームを再度取得することにより、より広範囲のブレ補正を行うことができる。
さらに、基準となる時間の基準フレームと、積分された動きベクトル分ずらした最新の画像を比較し、フレーム間の差分が大きい場合に、基準となる時間の基準フレームを再度取得することにより、より精度の高いブレ補正を行うことができる。
さらにまた、基準となる時間の基準フレームを再度取得するときの画像比較処理のフレーム間差分値の閾値を、撮影状況により可変とすることにより、より精度の高いブレ補正を行うことができる。
【図面の簡単な説明】
【００６６】
【図１】ブロックマッチング法の原理を説明するための図である。
【図２】本発明の実施形態に係るブレ補正装置を採用した撮像装置の構成例を示すブロック図である。
【図３】電子式ブレ補正の概要を示す図である。
【図４】ブロックマッチング法における検索範囲と演算処理量との関係を説明するための図である。
【図５】本実施形態の積分動きベクトルを使用する方法を説明するための図である。
【図６】フレーム間のみの動きベクトルを使用した場合の画像のズレを示す図である。
【図７】本実施形態の積分動きベクトルを使用する方法の場合の画像のズレを示す図である。
【図８】カメラをパンニングした場合の例を示す図である。
【図９】センサゲインと基準フレーム取り直し閾値の関係を示す図である。
【図１０】本実施形態の動作を説明するための図である。
【符号の説明】
【００６７】
１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・映像信号処理部、１４０・・・システム処理部、１５０・・・画像ブレ補正部、１５１・・・基準フレーム取得条件決定部、１５２・・・基準フレーム取得部、１５３・・・フレーム間ベクトル検出部、１５４・・・基準フレーム間ベクトル検出部、１５５・・・画像補正部、１６０・・・映像信号出力部。
【図１】
2010035049.tif 000003
【図２】
2010035049.tif 000004
【図３】
2010035049.tif 000005
【図４】
2010035049.tif 000006
【図５】
2010035049.tif 000007
【図６】
2010035049.tif 000008
【図７】
2010035049.tif 000009
【図８】
2010035049.tif 000010
【図９】
2010035049.tif 000011
【図１０】
2010035049.tif 000012