(57)【要約】【課題】動きベクトルの信頼度が低い場合においても振れ補正機能の補正精度を向上させることができる撮像装置を提供する。【解決手段】この撮像装置は、撮像装置に加わる振れを検出して第１の振れ情報を算出する第１の振れ検出手段２０１と、撮像手段１０９によって被写体像から変換された画像信号から動きベクトルを算出し、動きベクトルから第２の振れ情報を算出する第２の振れ検出手段２０６と、第１の振れ情報と第２の振れ情報を合成して得られた合成振れ情報に基づいて画像の振れを補正する制御手段１１９と、第２の振れ情報の信頼度を判定する判定手段２１１とを備え、制御手段１１９は、判定された信頼度に応じて第１の振れ情報と第２の振れ情報を合成する際の重みを変更する。【選択図】図２
2018205551.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置に加わる振れを検出して第１の振れ情報を算出する第１の振れ検出手段と、
撮像手段によって被写体像から変換された画像信号から動きベクトルを算出し、前記動きベクトルから第２の振れ情報を算出する第２の振れ検出手段と、
前記第１の振れ情報と前記第２の振れ情報を合成して得られた合成振れ情報に基づいて画像の振れを補正する制御手段と、
前記第２の振れ情報の信頼度を判定する判定手段と
を備え、
前記制御手段は、前記判定された信頼度に応じて前記第１の振れ情報と前記第２の振れ情報を合成する際の重みを変更する
ことを特徴とする撮像装置。
【請求項２】
前記制御手段は、前記信頼度が低くなるにつれて、前記第１の振れ情報に対する前記第２の振れ情報の重みを小さくし、前記信頼度が高くなるにつれて、前記第１の振れ情報に対する前記第２の振れ情報の重みを大きくする
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の振れ検出手段は、角速度センサまたは加速度センサである
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記判定手段は、前記撮像装置のＩＳＯ感度設定、前記撮像装置の電源状態、被写体のコントラスト値、繰り返しパターンの有無、前記撮像装置から前記被写体までの距離についての情報、前記被写体の情報、撮影画像のローリングシャッタ歪み量、前記第１もしくは第２の振れ情報の振幅および周波数、前記被写体の情報のテクスチャの相関値に関する情報のいずれかにより前記信頼度を判定する
ことを特徴とする請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
前記判定手段は、前記撮像装置の振れが大きくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記判定手段は、前記被写体の情報において、前記第２の振れ情報の検出の誤差が小さくなるにつれて前記信頼度が高いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記判定手段は、前記撮像装置の電源状態がＯＦＦからＯＮに設定された後の所定期間において前記信頼度を前記所定期間内に比べて低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記判定手段は、前記第１もしくは第２の振れ情報の振幅が大きくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項９】
前記判定手段は、前記第１もしくは第２の振れ情報の検出周波数のうち所定の周波数よりも高い周波数成分が大きくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１０】
前記判定手段は、前記被写体の情報において、移動被写体が撮影画像全体の領域に対して所定値以上を占めている場合に前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１１】
前記判定手段は、前記ＩＳＯ感度設定が高くなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１２】
前記判定手段は、被写体情報のコントラスト値が低くなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１３】
前記判定手段は、前記被写体情報において、前記繰り返しパターンが撮影画像全体の領域に対して所定値以上を占めている場合に前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１４】
前記判定手段は、前記被写体情報において、前記撮像装置から第１の被写体までの距離と、前記撮像装置から第１とは異なる第２の被写体までの距離との差が所定値以上離れている被写体が、前記撮影画像全体の領域に対して所定値以上を占めている場合に前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１５】
前記判定手段は、撮影画像のローリングシャッタ歪み量が大きくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１６】
前記判定手段は、前記被写体のテクスチャの相関値による前記相関の最大値が小さくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１７】
前記判定手段は、前記被写体のテクスチャの相関値による相関の最大値と最小値の差分と、相関の最大値と平均値との差分との比率が小さくなるにつれて前記信頼度が低いと判定する
ことを特徴とする請求項４に記載の撮像装置。
【請求項１８】
撮像装置に加わる振れを検出して第１の振れ情報を算出する第１の振れ検出工程と、
撮像手段によって被写体像から変換された画像信号から動きベクトルを算出し、前記動きベクトルから第２の振れ情報を算出する第２の振れ検出工程と、
前記第１の振れ情報と前記第２の振れ情報を合成して得られた合成振れ情報に基づいて画像の振れを補正する制御工程と、
前記第２の振れ情報の信頼度を判定する判定工程と
を有し、
前記制御工程は、前記判定された信頼度に応じて前記第１の振れ情報と前記第２の振れ情報を合成する際の重みを変更する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置およびその制御方法に関し、特に像振れを補正する機能を有する撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、撮像装置の小型化や光学系の高倍率化に伴い、手振れなどの振れによる画像への影響が顕著になってきている。これに対し、手振れなど振れに起因する画像の像振れを補正する機能（以下、像振れ補正機能）を備えた撮像装置が種々提案されている。また、像振れ補正機能の補正精度を向上させるための技術として、振れを検出する手段としての振れセンサと、複数画像のずれから動きベクトルを検出しその動きベクトル情報を加算合成して得た合成情報を用いて振れ補正を行う方法が知られている。特許文献１では、動画撮影や静止画撮影等の撮影モードによる振れサセンサからの情報と動きベクトルからの情報の合成の重み付けを変更して、動画撮影時の振れ補正性能向上と、静止画撮影時の振れ補正による画質劣化の回避とを両立させる方法を開示している。また、特許文献２では、振れセンサによる情報と動きベクトルによる情報の合成を、動画撮影の記録フレームレートの変化に伴う動きベクトルの検出可能な周波数帯域に合わせて最適化して、より広い周波数帯域の振れに適切な補正を行う方法を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１９５７１号公報
【特許文献２】特開２０１０−１１７６５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１および特許文献２の技術は、撮影者が自ら設定する動画撮影のフレームレートおよび、動画、静止画などの撮影モードのように固定の条件においてのみ振れセンサと動きベクトルの合成比率を変更する。それにより、振れ補正の性能および撮影画像の画質を向上させる方法であり、そもそも動きベクトルの検出精度に影響が生じる可能性のある撮影条件、被写体の状況などについて対策しておらず、振れ補正機能の補正精度を向上させるのに十分ではない。
【０００５】
本発明は、上記課題を鑑みて、動きベクトルの信頼度が低い場合においても振れ補正機能の補正精度を向上させることができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の撮像装置は、撮像装置に加わる振れを検出して第１の振れ情報を算出する第１の振れ検出手段と、撮像手段によって被写体像から変換された画像信号から動きベクトルを算出し、前記動きベクトルから第２の振れ情報を算出する第２の振れ検出手段と、前記第１の振れ情報と前記第２の振れ情報を合成して得られた合成振れ情報に基づいて画像の振れを補正する制御手段と、前記第２の振れ情報の信頼度を判定する判定手段とを備え、前記制御手段は、前記判定された信頼度に応じて前記第１の振れ情報と前記第２の振れ情報を合成する際の重みを変更することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、動きベクトルの信頼度が低い場合においても振れ補正機能の補正精度を向上させることができる撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の機能構成例を示すブロック図である。
【図２】像振れ補正機能と信頼度による振れ量の合成部を示すブロック図である。
【図３】像振れ補正機能と信頼度による振れ量の合成動作を示すフローチャートである。
【図４】信頼度判定動作を説明するためのフローチャートである。
【図５】信頼度に応じた振れ情報の重み関係を表す図である。
【図６】像振れ補正機能と信頼度による振れ量の合成部を示すブロック図である。
【図７】像振れ補正機能と信頼度による振れ量の合成部示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。
【００１０】
（第１実施形態）
図１は、本実施形態に係る撮像装置の概略構成を示すブロック図である。本実施形態では、撮像装置としてデジタルカメラを例にとって説明する。また、本実施形態に係る撮像装置は、動画撮影機能を備えていてもよい。図１において、ズームレンズ１０１は、撮像光学系を構成し、ズーム駆動部１０２が制御部（制御手段）１１９の制御に従ってズームレンズ１０１の駆動を制御して撮像光学系の光軸方向に駆動することで焦点距離を変更する。
【００１１】
像振れ補正レンズ１０３は、像振れを補正する補正部材であり、撮像光学系の光軸に対して直交する方向に移動可能に構成され、像振れ補正レンズ駆動部１０４により駆動制御される。絞り・シャッタユニット１０５は、絞り機能を有するメカニカルシャッタであり、絞り・シャッタ駆動部１０６が制御部１１９の制御に従って、絞り・シャッタユニット１０５を駆動する。フォーカスレンズ１０７は、撮像光学系を構成し、撮像光学系の光軸方向に進退可能に構成される。フォーカス駆動部１０８は、制御部１１９の制御に従ってフォーカスレンズ１０７を駆動する。
【００１２】
撮像部（撮像手段）１０９は、撮像光学系を介して入射する被写体の光学像（被写体像）を、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を用いて電気信号（画像信号）に変換する。撮像信号処理部１１０は、撮像部１０９から出力された電気信号に対して、Ａ／Ｄ変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等の所定の処理を行い、映像信号に変換する。映像信号処理部１１１は、撮像信号処理部１１０から出力された映像信号を、用途に応じて加工する。具体的には、映像信号処理部１１１は、表示用の映像信号の生成や、記録用の符号化処理、データファイル化等を行う。
【００１３】
表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号に基づいて、必要に応じて画像表示を行う。電源部１１５は、撮像装置全体に、用途に応じて電源を供給する。外部入出力端子部１１６は、外部装置との間で通信信号及び映像信号を入出力する。操作部１１７は、撮像装置にユーザが指示を与えるためのボタンやスイッチなどを有し、押し込み量に応じて第１スイッチ（ＳＷ１）及び第２スイッチ（ＳＷ２）が順にオンするように構成されたレリーズボタンを含む。レリーズボタンが半押しされた場合にレリーズスイッチＳＷ１がオンし、レリーズボタンが最後まで押し込まれたときにレリーズスイッチＳＷ２がオンする。記憶部１１８は、映像信号を含む様々なデータを記憶する。
【００１４】
制御部１１９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＲＯＭに記憶された制御プログラムをＲＡＭに展開してＣＰＵで実行することによって撮像装置の各部を制御し、以下に説明する様々な動作を含む撮像装置の動作を実現する。また、制御部１１９は、映像信号の輝度情報と、予め定められたプログラム線図とに基づいて、適切な露光量を得るための絞り値及びシャッタスピードを決定するＡＥ処理を行う。
【００１５】
レリーズスイッチＳＷ１がオンされると、制御部１１９は、映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいてＡＦ評価値を算出する。そして、ＡＦ評価値に基づいて制御部１１９がフォーカス駆動部１０８を制御することにより、自動焦点調節を行う。また、操作部１１７に含まれるレリーズスイッチＳＷ２がオンされると、制御部１１９は、決定した絞り及びシャッタ速度で撮影を行い、撮像部１０９から読み出された電気信号を処理して得られた映像信号を記憶部１１８に記憶するように、各処理部を制御する。  
【００１６】
操作部１１７は、振れ補正モードのオン／オフを選択可能にする像振れ補正スイッチをさらに有する。像振れ補正スイッチにより振れ補正モードがオンされると、制御部１１９は、像振れ補正レンズ駆動部１０４に像振れ補正動作を指示し、これを受けた像振れ補正レンズ駆動部１０４は、像振れ補正動作オフの指示がなされるまで像振れ補正動作を行う。また、操作部１１７は、静止画撮影モードと動画撮影モードとのうちの一方を選択可能な撮影モード選択スイッチを有する。撮影モード選択スイッチの操作による撮影モードの選択を通じて、制御部１１９は、像振れ補正レンズ駆動部１０４の動作条件を変更することができる。
【００１７】
また、操作部１１７は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチの操作によって再生モードが選択されると、制御部１１９は像振れ補正動作を停止させる。また、操作部１１７には、ズーム倍率変更の指示を行う倍率変更スイッチが含まれる。倍率変更スイッチの操作によって、ズーム倍率変更の指示がされると、制御部１１９を介して指示を受けたズーム駆動部１０２が、ズームレンズ１０１を駆動して、指示されたズーム位置にズームレンズ１０１を移動させる。
【００１８】
図２は、動きベクトル情報の信頼度に応じた角速度センサ情報と動きベクトル情報の合成情報を用いた像振れ補正制御に係る部分のブロック図を簡略化して示したものである。本実施形態に係る像振れ補正制御部は、振れを検出するための角速度センサ２０１、Ａ／Ｄ変換器２０２を有する。また、像振れ補正レンズ１０３の位置を制御するための位置検出センサ２０９及びＡ／Ｄ変換器２０８、目標位置算出部２０５、加減算器２１０及び２１２、制御フィルタ２０７、像振れ補正レンズ駆動部１０４、微分器２１３を有する。さらに、撮像部１０９によるデータを撮像信号処理部１１０により処理した信号から動きベクトルを検出する動きベクトル検出部（第２の振れ検出手段）２０６、動きベクトル処理部２０３を有する。また、操作部１１７、角速度センサ２０１、動きベクトル処理部２０３により取得される振れ情報、撮影設定情報、被写体情報により動きベクトル情報の信頼度を判定する信頼度判定部（判定手段）２１１を有する。さらに、Ａ／Ｄ変換器２０２で取得される角速度センサによる振れ情報と、加減算器２１２で取得される動きベクトルと像振れ補正レンズ１０３の駆動速度を加算した振れ情報を信頼度に応じて合成し、合成振れ情報を算出するカルマンフィルタ２０４を有する。
【００１９】
次に、上記の構成で本実施形態に係る像振れ補正レンズ１０３による像振れ補正動作について図３のフローチャートを用いて詳細に説明する。なお、図３のフローチャートで示す像振れ補正動作処理は所定のサンプリング周期で繰り返し実行される。
【００２０】
処理が開始されると、まず、ステップＳ１０１にて、角速度センサ２０１（振れセンサ）で手振れ等の振れによる撮像装置全体の振れが検出される。検出された振れ情報は、電気信号に変換され、Ａ／Ｄ変換器２０２にてアナログ信号からデジタル信号に変換されることで第１の振れ情報が算出される。次に、ステップＳ１０２にて、位置検出センサ２０９で像振れ補正レンズ１０３の位置信号が検出され、Ａ／Ｄ変換器２０８にてアナログ信号からデジタル信号に変換される。また、ステップＳ１０２で取得されたレンズ位置信号から微分器２１３において、前サンプリングでのレンズ位置信号と現在のレンズ位置信号の差分が演算され、この処理により得たレンズの移動速度からレンズ移動角速度相当の情報が演算される。
【００２１】
ここで、振れセンサによる第１の振れ情報取得の処理と並行してステップＳ１１０からステップＳ１１３にて、動きベクトル取得と振れ補正残り速度の演算が実行される。この動きベクトルによる処理は、公知の方法により複数画像の画素位置の差から検出されるため、複数画像を取得できるサンプリング時間に依存して実行される処理であり、前記の振れ角速度センサの取得サンプリングとは異なるサンプリングで実行してもよい。この場合、これらの処理のサンプリングのずれは、サンプリングの遅い方の処理による出力情報をサンプリング処理の早い方の処理の間一定値としてホールドすることで対処することができる。
【００２２】
まず、ステップＳ１１０にて、撮像部１０９により光信号を電気信号に変換され画像情報が取得される。次に、撮像信号処理部１１０にてアナログ信号からデジタル信号への変換と所定の画像処理が行われる。そして、動きベクトル検出部２０６にて、あらかじめ記憶されている１フレーム前の画像と現在フレームの画像が比較されることで画像のずれから動きベクトルが算出される（ステップＳ１１１、ステップＳ１１３）。なお、動きベクトルの検出方法としては公知の相関法やブロックマッチング法などがある。本実施形態において、動きベクトルの算出方法は公知のどのような手法を用いても構わない。算出された動きベクトルは、動きベクトル処理部２０３にて角速度相当の情報に変換される（ステップＳ１１２）。
【００２３】
次に、ステップＳ１０４にて、ステップＳ１０３で算出したレンズ角速度と動きベクトルから算出した振れ補正残り角速度を加減算器２１２にて加算することで、撮像装置に加わる振れ量（第２の振れ情報）を算出する。ここで、振れ補正レンズの移動角速度を動きベクトルによる振れ残り角速度に加算している理由を説明する。振れ補正動作により像振れ補正レンズ１０３が駆動されている場合、動きベクトルにより検出される振れ量は、像振れ補正レンズ１０３によって振れが補正された後の振れ残り成分である。このことから、撮像装置に加わった振れ量を算出するためには、２つの情報を加算する必要がある。なお、動きベクトル算出時に像振れ補正レンズ１０３による振れ補正が実施されていない場合、加算する必要はない。
【００２４】
次に、ステップＳ１０５にて、信頼度判定部２１１にて判定される第２の振れ情報の信頼度を取得し、ステップＳ１０６にて取得された信頼度情報に応じて第１の振れ情報と第２の振れ情報をカルマンフィルタ２０４により合成し、合成振れ情報を算出する。算出した合成振れ情報から手振れなどの振れをキャンセルさせるような像振れ補正レンズ１０３の目標位置が目標位置算出部２０５により演算され（ステップＳ１０７）、制御フィルタ２０７に指令される。制御フィルタ２０７は、振れ補正レンズ目標位置とＡ／Ｄ変換器２０８から出力される像振れ補正レンズ１０３の位置を、加減算器２１０にて加算した情報を用いて、像振れ補正レンズ１０３の位置が目標位置に追従するようにフィードバック制御量を演算する。そして、像振れ補正レンズ駆動部１０４を介して像振れ補正レンズ１０３を撮影光軸と直交する方向に移動させることで像振れ補正を実行する（ステップＳ１０８、ステップＳ１０９）。
【００２５】
ここで、信頼度判定部２１１による第２の振れ情報の信頼度の判定方法について、図４および図５を用いて説明する。図４は、本発明の信頼度判定動作を説明するためのフローチャートである。まず、ステップＳ４０１にて、信頼度判定が開始されると、最初に動きベクトル情報による第２の振れ補正情報が、撮影条件により撮影の設定などにより取得できない、もしくは信頼できない状態であるか否かをステップＳ４０２の条件により判定される。動きベクトル情報は、前述のように動きベクトル検出部２０６にてあらかじめ記憶されている１フレーム前の画像と現在フレームの画像が比較されることで画像のずれから算出されるため、そもそも画像情報が取得できない場合には算出することができない。そこで、ステップＳ４０２では画像情報の取得が困難な状況として以下のような条件１〜条件３で動きベクトルの信頼度を判定する。
・条件１：撮像装置の電源状態、すなわち撮像装置電源がＯＦＦ状態からＯＮ状態に設定された後の所定期間内であるか否か。
撮像装置電源がＯＦＦからＯＮになった後の所定期間は、撮像部１０９、撮像信号処理部１１０、動きベクトル検出部２０６が撮像部の電源設定や、処理のための設定などを行う期間があり、設定完了までは動きベクトル情報が取得できないため。
・条件２：角速度センサ（第１の振れ情報）もしくは動きベクトル情報（第２の振れ情報）の振幅（検出角速度の最大、最小値）が所定値１より大きい。
・条件３：角速度センサ（第１の振れ情報）もしくは動きベクトル情報（第２の振れ情報）の検出周波数のうち所定の周波数よりも高い周波数成分が所定値よりも高い。
第１もしくは第２の振れ情報による角速度が大きい場合には、動きベクトル算出のための、例えばブロックマッチングするための画像がマッチングできる範囲を超えてしまう、もしくは撮像部により撮像している範囲などを超えて検出不能になる可能性がある。また、検出周波数が高い場合には、動きベクトル情報が原理上、画像のフレームレートでの検出になるため、フレームレートのサンプリング周波数以上の周波数成分の検出が難しい。
以上の条件１〜条件３のいづれか、もしくはすべての条件を満たす場合（ＹＥＳ）、動きベクトル情報は信頼性が低いと判定し、ステップＳ４０３により信頼度低に設定される。
【００２６】
次に、ステップＳ４０２による判定のいづれの条件も満たさない場合（ＮＯ）、ステップＳ４０４にて、再度動きベクトルの信頼度が判定される。ここでは、動きベクトル情報の取得は可能であるが、撮影状態、条件、被写体の状況により取得した動きベクトル情報にノイズが混入している（実際の振れと誤差がある）場合など、信頼性が「低」よりも高い状態を以下のような条件４〜条件１１から判定する。
・条件４：移動被写体が撮影画像全体に対して所定値以上を占めている。
本発明では、動きベクトルにより撮像装置の振れを検出することが目的であるが、撮影画像中に移動する被写体が存在し、移動被写体が撮影画面全体を占めているときには、動きベクトルは移動被写体の移動速度を検出してしまうため。
・条件５：ＩＳＯ感度設定が所定値よりも高い。
公知のようにＩＳＯ感度設定を高くすると、撮像部による電気信号を増幅する際にノイズ成分も増幅してしまうため、ＩＳＯ感度を高くするほどノイズにより画像から検出した動きベクトルにノイズが混入してしまい、動きベクトルの信頼度が低下する。
・条件６：被写体のコントラスト値が所定値よりも低い。
ブロックマッチングによりマッチング処理を行う際に、コントラストが低いと画像の類似点の判定が困難となり、マッチング結果に誤差が発生する。
・条件７：繰り返しパターンの有無、すなわち繰り返しパターンのある被写体が撮影画像全体に対して所定値以上を占めている。
画像中に周期的なパターン（縞模様のような繰り返しパターン）が存在し、撮影画像全体を占めていると、ブロックマッチングにより誤った動きベクトルを検出することがある。
・条件８：遠近競合がある被写体が撮影画像全体に対して所定値以上を占めている。
被写体までの距離によって撮像面での画像の動き量と、実際の被写体の移動速度の関係が異なる。そのため、動きベクトルを検出する画像中に撮像装置からの距離が遠い被写体と近い被写体が混在し、それぞれの被写体までの距離の差が所定値以上離れている被写体が撮影画像全体を占めている時に動きベクトルによる動き量に誤差が生じることがある。
・条件９：ローリングシャッタ歪みが所定値よりも大きい。
一般に、撮像部にＣＭＯＳセンサーを用いた際、高速に動く被写体を撮影すると取り込む時間差により画像に差異が生じ、高速に移動しているものを動画で撮影すると歪みが生じる。これにより、歪んだ画像により動きベクトルを検出することで、動きベクトルの検出に誤差が生じることがある。
・条件１０：テクスチャの相関値による相関の最大値が低い。
動きベクトル検出時にマッチングの基準領域とサーチ領域の相関値による相関の最大値が低い場合には、基準領域とサーチ領域の類似度が低いと考えれれ、信頼度が低いと判定される。
・条件１１：テクスチャの相関値による相関の最大値と最小値の差分と、相関の最大値と平均値との差分の比率が小さい。
相関値の最小値と最大値の差分と、最小値と平均値の差分との比率は相関値ピークの急峻性を表わしており、比率が小さい場合、基準領域とサーチ領域の類似度が低いと考えられ、信頼度が低いと判定される。
なお、相関値の算出方法には既知の差分絶対値和（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ：以下、ＳＡＤと略す）など、どのような算出方法を用いても構わない。
以上の条件４〜条件１１のいづれか、もしくはすべての条件を満たす場合（ＹＥＳ）、動きベクトル情報の信頼度は「低」に比べて高い「中」と判定される（ステップＳ４０５）。信頼度「低」および「中」のいづれの条件にも該当しない場合（ＮＯ）、動きベクトルの信頼度は、「中」よりも高い「高」と判定される（ステップＳ４０６）。
【００２７】
図５は、信頼度に応じた第１および第２の振れ情報の合成の重み関係を表す図である。動きベクトルの信頼度が低いと判定された場合には、角速度センサ（第１の振れ情報）の方が、動きベクトル（第２の振れ情報）に比べて信頼できる。そのため、カルマンフィルタ２０４により第１および第２の振れ情報を合成する際の各情報の重みを第１の振れ情報の重みを第２の振れ情報の重みに比べて大きく設定される。
【００２８】
また、動きベクトルの信頼度が高いと判定された場合には、動きベクトル（第２の振れ情報）が角速度センサ（第１の振れ情報）に比べて信頼できる。そのため、カルマンフィルタ２０４により第１および第２の振れ情報を合成する際の各情報の重みを第２の振れ情報の重みを第１の振れ情報の重みに比べて大きく設定される。また、信頼度「中」の第１および第２の振れ情報の重みは、信頼度「低」および「高」の場合の重みの中間の重みに設定する。
【００２９】
次に、角速度センサ２０１により得られる第１の振れ補正情報と動きベクトル情報により得られる第２の振れ補正情報の合成方法の具体例としてカルマンフィルタ２０４について構成を説明する。まず、第１の振れ検出手段である角速度センサによる振れ検出モデルの数値モデル化を行う。
【００３０】
撮像装置の角速度をｚω、角加速度をzj、角速度センサから求めた角加速度のオフセット値をｂjとし、角速度センサの検出角速度をωとすると、それぞれの関係は以下の数式で表すことができる。
【数１】
2018205551.tif 000003
【００３１】
状態変数を以下のように定義する。
【数２】
2018205551.tif 000004
さらに
【数３】
2018205551.tif 000005
として、式（１）および式（２）、前記の定義式を用いて、状態方程式として下式（３）が得られる。(tは時間を表す変数)
【数４】
2018205551.tif 000006
上記w(t)は、プロセスノイズ、v(t)は、観測ノイズを表し、これらはガウス性白色ノイズであり、wとｖの平均値と共分散は既知であり、下式（４）で表されるとする。
【数５】
2018205551.tif 000007
ここで、Ｅは期待値、Qはｗの共分散行列、Ｒはｖの共分散行列、
【数６】
2018205551.tif 000008
はクロネッカーのデルタを表す。  式（３）のＡ〜Ｄ，Ｇは、下式（５）のように表される。
【数７】
2018205551.tif 000009
よって、観測出力である撮像装置の角速度が動きベクトルとレンズ速度の加算値から観測可能であるとすると、カルマンフィルタは下式（６）で構成される。
【数８】
2018205551.tif 000010
Ｌは、下記（７）で示されるリカッチ方程式を解くことで求められるカルマンフィルタゲインである。
【数９】
2018205551.tif 000011
ここで、Ｐはカルマンフィルタの誤差共分散行列であり、この正定対称な解Ｐにより、Ｌは下式（８）のように決定される。
【数１０】
2018205551.tif 000012
【００３２】
以上のように構成されるカルマンフィルタにおいて、動きベクトル情報の信頼度に基づき、動きベクトル信頼度が「高」の時は、「低」の時に比べて動きベクトルの観測ノイズの共分散値を小さくする。また、動きベクトル信頼度が「低」の時は、「高」に比べて動きベクトルの観測ノイズの共分散値を大きく設定する。これにより、式（３）のカルマンフィルタにて合成される第１の振れ信号と第２の振れ信号の重みを変更し、合成振れ信号を算出することができる。
【００３３】
以上、本実施形態によれば、撮影条件、被写体条件などによって動きベクトル情報に誤差が生じてしまうような場合にも、動きベクトル情報の信頼度判定結果に基づき、動きベクトル情報と振れセンサを適切に合成した振れ信号を用いて振れ補正を行う。これにより、振れ補正の性能を向上させることができる。
【００３４】
（第２実施形態）
第１実施形態では、カルマンフィルタ２０４による合成振れ量の算出のための第１の振れ情報に角速度センサを使用する方法を説明した。本実施形態では、角速度センサに代わって加速度センサを使用した場合について説明する。
【００３５】
図６は、第１実施形態の図２に示す角速度センサ２０１を加速度センサ７０１に置き換え、また加速度センサ７０１は、公知のように検出の特性上、姿勢変化に伴う重力加速度成分も検出する。そのため、検出加速度から低周波の重力加速度成分を除去するために、ハイパスフィルタ７０２で処理した加速度信号をカルマンフィルタに入力する。本実施形態では、カルマンフィルタ２０４にて加速度センサ７０１で検出した速度振れ量（第１の振れ情報）と動きベクトルから検出した振れ速度（第２の振れ情報）を合成する方法である。カルマンフィルタを構成する数式（１）、式（２）のみ第１実施形態と異なり、式（３）〜（８）およびフローチャート図３は同じであるためこの部分の説明は省略する。
【００３６】
本実施形態に係るカルマンフィルタの数式を以下に述べる。まず、第１の振れ検出手段である加速度センサによる振れ検出モデルの数値モデル化を行う。撮像装置の移動速度をzv、加速度をza、加速度センサのオフセット値をbaとし、ハイパスフィルタ７０２で処理後の加速度センサの検出加速度をaとすると、それぞれの関係は以下の数式で表すことができる。
【数１１】
2018205551.tif 000013
状態変数を以下のように定義する。
【数１２】
2018205551.tif 000014
さらに
【数１３】
2018205551.tif 000015
として、式（９）および式（１０）、前記の定義式を用いて、状態方程式として前述の式（３）が得られる。(tは時間を表す変数)
【００３７】
以上のように、本実施形態によれば、第１の振れ検出手段として角速度センサの代わりに加速度センサを使用することで、第１実施形態と同様の振れ補正性能向上の効果が得られる。
【００３８】
（第３実施形態）
第１実施形態および第２実施形態では、第１の振れ情報と第２の振れ情報をカルマンフィルタ２０４を使用して合成し、合成振れ量を算出する方法について説明したが、振れ情報の合成方法はカルマンフィルタに限らない。本実施形態では、第１実施形態のカルマンフィルタを用いた角速度センサによる振れ情報と動きベクトルによる振れ情報を合成する方法に対して、相補フィルタを用いる方法について説明する。
【００３９】
本実施形態では、図２のカルマンフィルタ部２０４が図７の相補フィルタ８０１に置き換わった部分のみ異なりその他の処理は同じである。そのため、相補フィルタ部８０１の構成についてのみ以下に説明する。
【００４０】
以下は、１次の相補フィルタの例である。第１実施形態と同様に、撮像装置の角速度をｚω、角加速度をzj、角速度センサの検出角速度をωとすると、それぞれの関係は以下の数式で表すことができる。
【数１４】
2018205551.tif 000016
式（１１）を演算のサンプリング周波数をΔｔとして差分法を用いて離散化すると式（１２）を得る。
【数１５】
2018205551.tif 000017
観測出力である撮像装置の角速度ｙ(t)が動きベクトルとレンズ速度の加算値から観測可能であるとすると、式（１２）と前記定義式から、合成後の振れ情報を
【数１６】
2018205551.tif 000018
とすると以下のような相補フィルタ式（１３）が得られる。
【数１７】
2018205551.tif 000019
ここでαは、第１の振れ情報と第２の振れ情報を合成する際の重み係数を意味しており≦α≦１を満たす値である。動きベクトル情報の信頼度に基づき、動きベクトル信頼度が「高」の時は、「低」の時に比べて第１の振れ情報に対する重みαを小さく設定する。そして、動きベクトル信頼度が「低」の時は、「高」に比べて第１の振れ情報に対する重みαを大きく設定する。以上により、本実施形態によれば、第１実施形態と同様の効果が得られる。
【００４１】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４２】
１０９  撮像部
１１９  制御部
２０１  角速度センサ
２０６  動きベクトル検出部
２１１  信頼度判定部
【図１】
2018205551.tif 000020
【図２】
2018205551.tif 000021
【図３】
2018205551.tif 000022
【図４】
2018205551.tif 000023
【図５】
2018205551.tif 000024
【図６】
2018205551.tif 000025
【図７】
2018205551.tif 000026