(57)【要約】      （修正有）【課題】画像サイズの異なる複数の画像から算出した複数の動きベクトル情報を用いて像振れ補正性能を向上させる。【解決手段】撮像部１０９と、撮像部１０９の出力信号を処理する撮像信号処理部１１０を備える撮像装置において、第１の動きベクトル検出部２１０は、空間分解能の低い画像に基づいて第１の動きベクトルを算出し、第２の動きベクトル検出部２１６は、空間分解能の高い画像に基づいて第２の動きベクトルを算出する。第１の動きベクトル情報の周波数成分に対して周波数分解能が低い情報の重みが大きい第１の制御量と、第２の動きベクトル情報の周波数成分に対して周波数分解能が高い情報の重みが大きい第２の制御量を算出する。第１又は第２の動きベクトル情報の周波数成分に対して、周波数分解能によらず所定の重みを乗算した第３の制御量を算出する。第１乃至第３の制御量にしたがって像振れ補正レンズ１０３の駆動制御を行う。【選択図】図３
2019036820.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置であって、
前記撮像手段による画像サイズの異なる複数の画像から複数の動きベクトル情報を算出する算出手段と、
前記複数の動きベクトル情報の周波数成分に対して、１周期あたりの標本化点数に対応する周波数分解能に基づく重みがそれぞれ異なる複数の制御量を算出し、前記複数の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う制御手段と、を備える
ことを特徴とする撮像装置。
【請求項２】
前記複数の動きベクトル情報のうち、第１の動きベクトル情報は、第２の動きベクトル情報よりも画像サイズが小さい画像から算出され、
前記制御手段は、前記第１および第２の動きベクトル情報の周波数成分に対して周波数分解能に基づく重みがそれぞれ異なる第１および第２の制御量を算出する際、前記第１の制御量を微分制御にて算出し、前記第２の制御量を積分制御にて算出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御手段は、前記第１の動きベクトル情報の周波数成分に対して周波数分解能が低い情報の重みが大きい前記第１の制御量と、前記第２の動きベクトル情報の周波数成分に対して周波数分解能が高い情報の重みが大きい前記第２の制御量を算出する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記制御手段は、前記第１または第２の動きベクトル情報の周波数成分に対して周波数分解能によらずに重みを乗算した第３の制御量をさらに算出し、前記第１の制御量もしくは第３の制御量のいずれか一方または前記第１および第３の制御量と、前記第２の制御量によって前記像振れ補正の制御を行う
ことを特徴とする請求項２または請求項３に記載の撮像装置。
【請求項５】
前記制御手段は、前記算出手段によって、前回に算出された前記第１の動きベクトル情報と、現在の前記第１の動きベクトル情報との差分から算出される前記第１の制御量を算出する
ことを特徴とする請求項２乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御手段は、前記第１の動きベクトル情報にゲイン値を乗算する比例制御にて、前記第３の制御量を算出する
ことを特徴とする請求項４に記載の撮像装置。
【請求項７】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置であって、
前記撮像手段による画像サイズの異なる複数の画像から第１および第２の動きベクトル情報を算出する算出手段と、
前記第１の動きベクトル情報に対する位相進み補償制御により第１の制御量を算出するとともに、前記第２の動きベクトル情報に対する位相遅れ補償制御により第２の制御量を算出し、前記第１および第２の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う制御手段と、を備える
ことを特徴とする撮像装置。
【請求項８】
前記制御手段は、撮影設定条件により前記制御量の重みを変更する処理を行う
ことを特徴とする請求項２乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記制御手段は、画像のフレームレートが遅くなるにつれて前記第１の制御量の重みを小さくする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御手段は、画像のフレームレートが遅くなるにつれて前記第２の制御量の重みを大きくする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１１】
前記制御手段は、撮像手段の露光時間が長くなるにつれて前記第２の制御量の重みを大きくする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１２】
前記制御手段は、撮像光学系の焦点距離が長くなるにつれて前記第１の制御量の重みを大きくする
ことを特徴とする請求項８に記載の撮像装置。
【請求項１３】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置であって、
前記撮像手段による画像サイズの異なる複数の画像から第１および第２の動きベクトル情報を算出する算出手段と、
前記第１の動きベクトル情報から第１の振れ情報を抽出し、前記第２の動きベクトル情報から第２の振れ情報を抽出する抽出手段と、
前記第１および第２の振れ情報からそれぞれ算出した第１および第２の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う制御手段と、を備える
ことを特徴とする撮像装置。
【請求項１４】
前記抽出手段は、前記第１の動きベクトル情報の周波数成分に対して、１周期あたりの標本化点数に対応する周波数分解能が低い情報の重みが大きい前記第１の振れ情報を抽出する第１のフィルタと、前記第２の動きベクトル情報の周波数成分に対して周波数分解能が高い情報の重みが大きい前記第２の振れ情報を抽出する第２のフィルタを有する
ことを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記第１のフィルタ手段は高域通過フィルタであり、前記第２のフィルタ手段は低域通過フィルタである
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
前記制御手段は、撮影設定条件により前記制御量の重みを変更する処理を行う
ことを特徴とする請求項１３乃至１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記制御手段は、前記第１および第２のフィルタ手段のカットオフ周波数を変更することによって、前記制御量の重みを変更する
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１８】
前記制御手段は、
前記第１のフィルタのカットオフ周波数を低周波側へ変更することによって前記第１の制御量の重みを大きくし、前記第１のフィルタのカットオフ周波数を高周波側へ変更することによって前記第１の制御量の重みを小さくし、
前記第２のフィルタのカットオフ周波数を高周波側へ変更することによって前記第２の制御量の重みを大きくし、前記第２のフィルタのカットオフ周波数を低周波側へ変更することによって前記第２の制御量の重みを小さくする処理を行う
ことを特徴とする請求項１７に記載の撮像装置。
【請求項１９】
前記制御手段は、画像のフレームレートが速くなるにつれて前記第１の制御量の重みを小さくし、前記フレームレートが速くなるにつれて前記第２の制御量の重みを大きくする
ことを特徴とする請求項１８に記載の撮像装置。
【請求項２０】
前記制御手段は、前記撮像手段の露光時間が長くなるにつれて前記第１の制御量の重みを小さくし、前記撮像手段の露光時間が長くなるにつれて前記第２の制御量の重みを大きくする
ことを特徴とする請求項１８に記載の撮像装置。
【請求項２１】
前記制御手段は、撮像光学系の焦点距離が長くなるにつれて前記第１の制御量の重みを大きくし、前記焦点距離が長くなるにつれて前記第２の制御量の重みを小さくする
ことを特徴とする請求項１８に記載の撮像装置。
【請求項２２】
前記振れ補正手段は、撮像光学系の光学部材または前記撮像手段の移動によって振れ補正を行う
ことを特徴とする請求項１乃至２１のいずれか１項に記載の撮像装置。
【請求項２３】
前記制御手段は、検出手段によって検出される前記撮像装置の振れ情報を取得し、算出した前記制御量にしたがって像振れ補正の制御を行う
ことを特徴とする請求項１乃至２２のいずれか１項に記載の撮像装置。
【請求項２４】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置にて実行される制御方法であって、
前記撮像手段による画像サイズの異なる複数の画像から複数の動きベクトル情報を算出する工程と、
前記複数の動きベクトル情報の周波数成分に対して、１周期あたりの標本化点数に対応する周波数分解能に基づく重みがそれぞれ異なる複数の制御量を算出し、前記複数の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項２５】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置にて実行される制御方法であって、
前記撮像手段による画像サイズの異なる複数の画像から第１および第２の動きベクトル情報を算出する工程と、
前記第１の動きベクトル情報に対する位相進み補償制御により第１の制御量を算出するとともに、前記第２の動きベクトル情報に対する位相遅れ補償制御により第２の制御量を算出し、前記第１および第２の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項２６】
撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置にて実行される制御方法であって、
前記撮像手段による画像サイズの異なる複数の画像から第１および第２の動きベクトル情報を算出する工程と、
前記第１の動きベクトル情報から第１の振れ情報を抽出し、前記第２の動きベクトル情報から第２の振れ情報を抽出する工程と、
前記第１および第２の振れ情報からそれぞれ算出した第１および第２の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う工程と、を有する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の像振れを補正する撮像装置およびその制御方法に関する。
【背景技術】
【０００２】
撮像装置は小型化や光学系の高倍率化に伴い、手振れ等の振れによる画像への影響が顕著となる。このために像振れ補正機能が重要であり、ジャイロセンサ等の角速度センサを使用して撮像装置に加わる振れを検出する方法がある。あるいは複数の画像のずれから動きベクトルを検出する方法がある。後者の方法では一般に、撮像された画像と、その１フレーム以上前の画像とを比較し、その代表点の移動量（動きベクトル）から撮像装置の振れ量が算出される。動きベクトルの算出処理は、画像信号の蓄積時間および読み出し時間、画像のマッチング時間等の影響により、少なくとも１フレーム以上の時間遅れを伴う。
【０００３】
光学式像振れ補正では、シフトレンズ等の振れ補正部材を駆動して振れ補正が行われ、帰還制御系によって振れ補正部材の駆動制御が行われる。このため、動きベクトルによる振れ情報に基づく制御において、動きベクトルの検出時間遅れは、帰還制御系内に位相遅れ要素を追加することと等価である。つまり振れ補正性能が低下し、あるいは制御周波数によっては帰還制御系が不安定化し、発振状態に至る可能性がある。
【０００４】
特許文献１に開示の技術では過去に検出された動き量の差分に応じて現在の動き量を制御することで、動きベクトルに重畳された高周波成分のみを減衰させることができる。これにより、動きベクトルの検出誤差等のノイズ成分を含んだ周波数帯域、および発振要因となり得る周波数帯域の信号成分を減衰させることで帰還制御系の安定性を確保しつつ、補正ゲインを上げることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−５７６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示の技術では、動きベクトルに重畳されたノイズ成分が、所定周波数以上の高周波成分であることを前提にしている。動きベクトルの符号反転までの時間カウント値をいくつにするかによって、ノイズの低減性能が左右される。また動きベクトルにより検出される撮像装置の振れ成分において常に比較的大きなノイズが重畳されている場合には、ノイズと撮像装置の振れ成分とを正確に分離することは困難である。その結果、高周波ノイズの影響で帰還制御系が不安定化する可能性がある。
【０００７】
問題の根本的な解決方法は、ノイズの少ない高精度な動きベクトルを時間遅れなく短時間で取得することである。従来、動きベクトルのマッチング処理を高速化するために回路コストをかけて、マッチングのための演算回路を追加する方法や、マッチングに使用する画像を低解像に縮小して演算規模を削減する等の方法がとられてきた。しかし、低解像な画像から取得される動きベクトル情報は精度および分解能が低く、動きベクトル検出の時間遅れと検出精度との関係はトレードオフの関係であった。
本発明は、画像サイズの異なる複数の画像から算出した複数の動きベクトル情報を用いて像振れ補正機能を向上させることを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一実施形態の撮像装置は、撮像手段により取得される画像の像振れを、振れ補正手段により補正する撮像装置であって、前記撮像手段による画像サイズの異なる複数の画像から複数の動きベクトル情報を算出する算出手段と、前記複数の動きベクトル情報の周波数成分に対して、１周期あたりの標本化点数に対応する周波数分解能に基づく重みがそれぞれ異なる複数の制御量を算出し、前記複数の制御量にしたがって前記振れ補正手段を駆動して像振れ補正の制御を行う制御手段と、を備える。
【発明の効果】
【０００９】
本発明の撮像装置によれば、画像サイズの異なる複数の画像から算出した複数の動きベクトル情報を用いて像振れ補正性能を向上させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本発明の実施形態に係る振れ情報の周波数分解能を説明する図である。
【図３】第１実施形態に係る像振れ補正制御部の構成例を示すブロック図である。
【図４】第１実施形態に係る像振れ補正制御動作を説明するフローチャートである。
【図５】動きベクトルの算出処理を説明するフローチャートである。
【図６】動きベクトル算出のタイミングチャートである。
【図７】第１実施形態に係る各制御要素の周波数特性を説明する図である。
【図８】第１および第２実施形態に係る各制御要素の重み変化を説明する図である。
【図９】第２実施形態に係る像振れ補正制御部の構成例を示すブロック図である。
【図１０】第２実施形態に係る像振れ補正制御動作を説明するフローチャートである。
【図１１】第２実施形態に係る制御要素の周波数特性を説明する図である。
【図１２】第３実施形態に係る像振れ補正制御部の構成例を示すブロック図である。
【図１３】第３実施形態に係る像振れ補正制御動作を説明するフローチャートである。
【図１４】第３実施形態に係る制御要素の周波数特性を説明する図である。
【図１５】第３実施形態に係る各制御要素の重み変化を説明する図である。
【発明を実施するための形態】
【００１１】
以下に本発明の各実施形態を、添付図面を参照しつつ詳細に説明する。各実施形態では、像振れ補正機能を有する撮像装置としてデジタルカメラの例を説明する。撮像装置は動画撮影機能を有していてもよい。
【００１２】
[第１実施形態]
図１は、本実施形態の撮像装置の概略構成を示すブロック図である。ズームレンズ１０１は撮像光学系を構成する可動レンズである。ズーム駆動部１０２は制御部１１９の制御指令に従ってズームレンズ１０１の駆動制御を行う。ズームレンズ１０１が撮像光学系の光軸方向に移動することで焦点距離が変更される。像振れ補正レンズ（以下、単に補正レンズともいう）１０３は、撮像光学系の光軸に対して直交する方向に移動可能な補正部材である。像振れ補正レンズ駆動部１０４は補正レンズ１０３の駆動制御を行う。絞り・シャッタユニット１０５は、絞り機能を有するメカニカルシャッタである。絞り・シャッタ駆動部１０６は制御部１１９の制御指令に従って、絞り・シャッタユニット１０５を駆動する。フォーカスレンズ１０７は撮像光学系を構成する可動レンズであり、撮像光学系の光軸方向に進退可能である。フォーカス駆動部１０８は、制御部１１９の制御指令に従ってフォーカスレンズ１０７を駆動する。
【００１３】
撮像部１０９は、撮像光学系を介して入射する被写体の光学像を、撮像素子によって電気信号に光電変換する。撮像素子はＣＣＤ（電荷結合素子）イメージセンサや、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ等である。撮像信号処理部１１０は、撮像部１０９が出力する電気信号に対して、Ａ／Ｄ変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等の所定の処理を行い、映像信号に変換する。映像信号処理部１１１は、撮像信号処理部１１０が出力する映像信号を用途に応じて加工する。具体的には、映像信号処理部１１１は、表示用の映像信号の生成や、記録用の符号化、データファイル化等の処理を行う。
【００１４】
表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号に基づいて画像表示を行う。電源部１１５は、撮像装置の各部に、用途に応じて電源供給を行う。外部入出力端子部１１６は、外部装置との間で通信信号および映像信号の入出力に用いられる。操作部１１７は、ユーザが操作指示を行うためのボタンやスイッチ等を備える。例えば操作部１１７は、押し込み量に応じて第１スイッチ（ＳＷ１）および第２スイッチ（ＳＷ２）が順にオンするように構成されたレリーズスイッチを有する。レリーズボタンの半押し操作により第１スイッチＳＷ１がオンし、レリーズボタンが最後まで押し込まれたときに第２スイッチＳＷ２がオンする。記憶部１１８は、映像信号を含む各種データを記憶する。
【００１５】
制御部１１９は撮像装置の制御を統括し、ＣＰＵ（中央演算処理装置）、ＲＯＭ（リード・オンリ・メモリ）、ＲＡＭ（ランダム・アクセス・メモリ）等を備える。ＣＰＵは、ＲＯＭに記憶された制御プログラムをＲＡＭに展開して実行することによって撮像装置の各部を制御し、以下に説明する処理を行う。また制御部１１９は、映像信号の輝度情報と、予め定められたプログラム線図とに基づいて、適切な露光量を得るための絞り値およびシャッタ速度を決定するＡＥ（自動露出）処理を行う。
【００１６】
ユーザがレリーズボタンを操作し、第１スイッチＳＷ１がオンすると、制御部１１９はＡＦ（自動焦点調節）評価値を算出する。ＡＦ評価値の算出は映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいて行われる。制御部１１９は算出したＡＦ評価値に基づいてフォーカス駆動部１０８を制御して自動焦点調節を行う。そして、ユーザがレリーズボタンをさらに押し込み、第２スイッチＳＷ２がオンすると、制御部１１９は、決定した絞り値およびシャッタ速度で撮影処理を行う。撮像部１０９の撮像素子から読み出された電気信号が処理され、撮像後の映像信号を記憶部１１８に記憶する処理が実行される。
【００１７】
操作部１１７は、振れ補正モードのオン／オフを選択可能にする像振れ補正スイッチを有する。像振れ補正スイッチの操作により振れ補正モードがオンに設定されると、制御部１１９は像振れ補正レンズ駆動部１０４に像振れ補正動作を指示する。この指示を受けた像振れ補正レンズ駆動部１０４は、像振れ補正動作オフの指示がなされるまで像振れ補正動作を行う。また、操作部１１７は、静止画撮影モードと動画撮影モードとを選択可能な撮影モード選択スイッチを有する。ユーザが撮影モード選択スイッチの操作により所望の撮影モードを選択すると、制御部１１９は、選択された撮影モードに応じて像振れ補正レンズ駆動部１０４の動作条件を変更する。また操作部１１７は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチの操作によって再生モードが選択されると、制御部１１９は像振れ補正動作を停止させる。また操作部１１７は、ズーム倍率変更の指示を行う倍率変更スイッチを有する。倍率変更スイッチの操作によってズーム倍率変更が指示されると、制御部１１９から指示を受けたズーム駆動部１０２は、ズームレンズ１０１を駆動し、指示されたズーム位置にズームレンズ１０１を移動させる。
【００１８】
振れ検出部１２０は撮像装置の振れを検出し、振れ検出信号を制御部１１９に出力する。振れ検出部１２０は例えば角速度センサを備え、撮像装置の振れの角速度を検出する。
【００１９】
次に図２を参照して、撮像装置の振れ情報に関する周波数分解能について説明する。図２（Ａ）は周波数分解能の低い振れ情報を例示し、図２（Ｂ）は周波数分解能の高い振れ情報を例示する。図２（Ａ）および（Ｂ）ともに、単一周波数の振れ情報を示しており、横軸は時間軸であり、縦軸は振れの振幅を表している。説明を簡単にため、振れ情報を単一周波数で表しているが実際の振れは複数の周波数成分が混合した振れであることが多い。動きベクトルを用いて撮像装置に加わる振れを検出する場合、一般に撮像した画像と１フレーム以上前の画像とを比較し、その代表点の移動量をもって、撮像装置の振れ量とする。そのため、画像のフレームレートに応じて、振れ情報を検出する際のサンプリング時間が決定される。例えば画像のフレームレートを３０ｆｐｓ（ｆｒａｍｅｓ  ｐｅｒ  ｓｅｃｏｎｄ）とすると、サンプリング時間は約０．０３３ミリ秒である。
【００２０】
図２（Ａ）は、所定時間内の振れ情報の信号変化が大きい場合を示す。本例では、１秒あたり５周期（５Ｈｚ）の振れである。３０ｆｐｓのフレームレートで動きベクトルにより振れを検出する場合、１周期に対して、６点の標本化数で検出される。一方、図２（Ｂ）は、所定時間内の振れ情報の信号変化が小さい場合を示す。本例では、１秒あたり１周期（１Ｈｚ）の振れである。３０ｆｐｓのフレームレートで動きベクトルにより検出する場合、１周期に対して、３０点の標本化点数で検出される。振れ情報の周波数で１周期の信号変化をより多くの標本化点数で検出した方が、振れ情報の再現性が高い。このことから、図２（Ａ）の振れ情報は図２（Ｂ）の振れ情報に比べて、周波数分解能が低いと定義する。換言すれば、図２（Ｂ）の振れ情報は図２（Ａ）の振れ情報に比べて、周波数分解能が高い。
【００２１】
図３は、撮像装置の像振れ補正制御部の構成例を示すブロック図である。角速度センサ２０１は撮像装置の振れを検出する振れ検出手段の一例である。Ａ／Ｄ変換器２０２は角速度センサ２０１からの角速度検出信号を取得してデジタル信号に変換する。目標位置算出部２０３はＡ／Ｄ変換器２０２の出力に基づいて、補正レンズ１０３の制御目標位置を算出し、減算器２０４に出力する。
【００２２】
位置検出センサ２１１は補正レンズ１０３の位置を検出し、位置検出信号をＡ／Ｄ変換器２１７に出力する。Ａ／Ｄ変換器２１７は補正レンズ１０３の位置検出信号をデジタル信号に変換して減算器２０４に出力する。減算器２０４は、目標位置算出部２０３の出力からＡ／Ｄ変換器２１７の出力を減算し、減算結果を制御フィルタ２０５に出力する。制御フィルタ２０５は所定のフィルタ演算を行って加算器２０６に出力する。
【００２３】
一方、撮像部１０９により取得される画像信号は撮像信号処理部１１０が処理し、第１の動きベクトル検出部２１０と第２の動きベクトル検出部２１６に出力される。これらの動きベクトル検出部は、異なる画像サイズの画像データから動きベクトルを検出する。第１の動きベクトル処理部２０９は第１の動きベクトル検出部２１０により検出された動きベクトルを処理し、第２の動きベクトル処理部２１５は第２の動きベクトル検出部２１６により検出された動きベクトルを処理する。
【００２４】
微分器２０８は、第１の動きベクトル処理部２０９により算出された第１の動きベクトル情報を時間微分し、さらに微分ゲイン部２０７は微分器２０８の出力に対し、所定の係数を乗算する。また比例ゲイン部２１２は第１の動きベクトル情報に対し、所定の係数を乗算する。
【００２５】
積分器２１４は、第２の動きベクトル処理部２１５により算出された第２の動きベクトル情報を所定時間に亘って積分する。さらに積分ゲイン部２１３は、積分器２１４の出力に対し、所定の係数を乗算する。
【００２６】
微分ゲイン部２０７、比例ゲイン部２１２、積分ゲイン部２１３における各ゲイン値は、撮影設定部３００の撮影設定情報に応じて変更される。撮影設定部３００は操作部１１７にしたがって撮像装置の撮影設定情報を取得する。微分ゲイン部２０７、比例ゲイン部２１２、積分ゲイン部２１３の各出力は加算器２０６に送られ、制御フィルタ２０５の出力と加算される。像振れ補正レンズ駆動部１０４は加算器２０６の出力に従って、補正レンズ１０３を駆動する。
【００２７】
図４および図５のフローチャートを参照して、補正レンズ１０３による像振れ補正動作について詳細に説明する。図４のフローチャートに示す処理は所定のサンプリング周期で繰り返し実行される。図５は、動きベクトルの算出処理を説明するフローチャートであり、画像のフレームレートに対応する周期で繰り返し実行される。
【００２８】
図４のＳ１０１乃至Ｓ１０４からなる第１の処理と、Ｓ５０８乃至Ｓ５１５からなる第２の処理とは並行処理として実行される。まず第１の処理を説明する。
【００２９】
図４の処理が開始され、Ｓ１０１にて角速度センサ２０１は手振れ等による撮像装置全体の振れを検出する。検出された振れ情報は電気信号に変換され、Ａ／Ｄ変換器２０２がアナログ信号からデジタル信号に変換する。次のＳ１０２で目標位置算出部２０３は、補正レンズ１０３の制御目標位置を算出する。Ｓ１０１で検出された振れ情報から手振れ等をキャンセルさせるための演算が行われ、目標位置信号が算出される。
【００３０】
次にＳ１０３では、位置検出センサ２１１が補正レンズ１０３の位置を検出し、Ａ／Ｄ変換器２１７は取得した位置検出信号を、アナログ信号からデジタル信号に変換する。減算器２０４は、Ｓ１０２で算出された目標位置信号から、Ｓ１０３で検出された位置検出信号を減算する。制御フィルタ２０５は、補正レンズ１０３の位置が目標位置に追従するようにフィードバック制御量を演算する（Ｓ１０４）。
【００３１】
振れ情報の取得処理と並行して、図５に示すＳ５０１からＳ５０５では、動きベクトル情報の算出処理が実行される。動きベクトルの算出は、公知の方法により、撮像時刻が異なる複数の画像の画素位置の差分を検出することにより行われる。この算出処理は、複数の画像を取得するためのサンプリング時間に依存して実行される処理であり、振れ情報を取得する際のサンプリング周期とは異なるサンプリング周期で実行される。
【００３２】
図５のＳ５０１で制御部１１９は、画像取得のタイミングについて判定する。画像取得のタイミングではないと判定された場合（Ｓ５０１でＮｏ）は動きベクトルの算出処理が実行されずに処理を終了する。Ｓ５０１にて画像取得のタイミングであると判定された場合（Ｓ５０１でＹｅｓ）、Ｓ５０２に処理を進める。
【００３３】
Ｓ５０２で制御部１１９は、操作部１１７による撮影設定に応じて制御重み変更処理を実行する。処理の詳細については後述する。Ｓ５０３で、撮像部１０９により光信号が電気信号に変換され、画像情報が取得される。撮像信号処理部１１０にてアナログ信号からデジタル信号への変換と所定の画像処理が行われることで、動きベクトル算出のための画像サイズの異なる２つの評価画像が生成される。これらの評価画像を、以下、第１および第２の評価画像という。Ｓ５０３からは、Ｓ５０４とＳ５０５の各処理が並行して実行される。
【００３４】
Ｓ５０４は第１の動きベクトルの算出処理である。第１の動きベクトル検出部２１０および第１の動きベクトル処理部２０９は、あらかじめメモリに記憶されている１フレーム前の第１の評価画像と、現在のフレームの第１の評価画像とを比較し、画像のずれから第１の動きベクトルを算出する。一方、Ｓ５０５は第２の動きベクトルの算出処理である。第２の動きベクトル検出部２１６および第２の動きベクトル処理部２１５は、１フレーム前の第２の評価画像と、現在のフレームの第２の評価画像に基づいて、第２の動きベクトルを算出する。尚、動きベクトルの検出方法として相関法やブロックマッチング法等がある。本発明において動きベクトルの算出方法の如何は問わない。
【００３５】
ここで図６のタイミングチャートを参照して、第１および第２の動きベクトルの算出タイミングについて説明する。図６は第１乃至第６フレームの画像取得例を示す。図６において平行四辺形で示す部分（ｉｍｇ００からｉｍｇ０４）は、撮像部１０９によるデータ読み出しのタイミングを表している。時間軸の向きを図６の左から右方向とする。また各フレーム画像の読み出しに対して、第１の動きベクトルの算出タイミングと、第２の動きベクトルの算出タイミングを示す。
【００３６】
第１および第２の動きベクトルの検出についてはそれぞれ、２つのフレーム画像のマッチング処理等により少なくとも１フレーム以上の時間遅れを伴う。マッチング処理の所要時間は、動きベクトルを算出するための画像サイズ（画素数）により異なる。つまり、画像サイズの大きい画像から動きベクトルから算出する場合には、画像サイズの小さい画像から動きベクトルを算出する場合に比べて、長い時間がかかる。以下では、画像サイズの異なる画像を空間分解能が異なる画像と定義する。具体的には、画像サイズが小さい画像を空間分解能が低い画像とし、画像サイズが大きい画像を空間分解能が高い画像と定義する。
【００３７】
本実施形態では、第１の評価画像を空間分解能が低い画像とし、第２の評価画像を空間分解能が高い画像とする。すなわち、第２の動きベクトル検出部２１６に比べて、第１の動きベクトル検出部２１０は、空間分解能の低い画像を処理する。したがって、第１の動きベクトルの算出タイミングにおける時間遅れは、第２の動きベクトルの算出タイミングにおける時間遅れに比べて短い。図６にて、例えば、異なるフレーム同士のｉｍｇ００とｉｍｇ０１の画像から動きベクトルが算出される際、第１の動きベクトルの方が、第２の動きベクトルの方に比べて、算出の完了タイミングが早い。
【００３８】
次に、図４における第２の処理について説明する。Ｓ５０８で制御部１１９は第１の動きベクトルの算出処理が完了したか否かを判定する。第１の動きベクトルの算出処理が完了したと判定された場合（Ｓ５０８でＹｅｓ）、Ｓ５０７の処理と、Ｓ５０９およびＳ５１０の処理とが並行処理として実行される。また、第１の動きベクトルの算出処理が完了していないと判定された場合（Ｓ５０８でＮｏ）、Ｓ５１５の処理に移行する。
【００３９】
Ｓ５０７で比例ゲイン部２１２は、第１の動きベクトルに所定の比例ゲイン値を乗算することで比例制御量を算出する。次にＳ５１１の処理へ進む。またＳ５０９で微分器２０８は、第１の動きベクトルを時間微分する。Ｓ５１０で微分ゲイン部２０７は、微分器２０８に出力に所定の微分ゲイン値を乗算することで微分制御量を算出する。次にＳ５１１の処理へ進む。
【００４０】
一方、Ｓ５１２で制御部１１９は、第２の動きベクトルの算出処理が完了しているか否かを判定する。第２の動きベクトルの算出処理が完了したと判定された場合（Ｓ５１２でＹｅｓ）、Ｓ５１３に進み、第２の動きベクトルの算出処理が完了していないと判定された場合（Ｓ５１２でＮｏ）、Ｓ５１５に移行する。
【００４１】
Ｓ５１３で積分器２１４は、第２の動きベクトルを時間積分する。次のＳ５１４に積分ゲイン部２１３は、積分器２１４の出力に所定の積分ゲイン値を乗算することで積分制御量を算出する。次にＳ５１１の処理へ進む。
【００４２】
Ｓ５０８にて第１の動きベクトルの算出処理が完了していない場合とＳ５１２にて第２の動きベクトルの算出処理が完了していない場合には、Ｓ５１５において、前回のサンプリングで取得した比例および微分制御量が保持される。次にＳ１０５の処理へ進む。
【００４３】
Ｓ５１１では制御量の算出処理が行われる。前述したように第１の動きベクトルの算出処理が完了するタイミングは、第２の動きベクトルの算出処理が完了するタイミングに比べて早い。そのため、比例制御量および微分制御量の更新タイミングは、積分制御量の更新タイミングよりも早い。加算器２０６は、これらの３つの制御量をＳ５１１にて合算することで制御量を算出する。
【００４４】
Ｓ１０５で加算器２０６は、Ｓ１０４で算出された補正レンズ１０３の位置制御量と、Ｓ５１１で算出された制御量とを加算する。Ｓ１０６で像振れ補正レンズ駆動部１０４は、加算器２０６の出力する制御信号にしたがって、補正レンズ１０３を駆動する。撮影光軸と直交する方向に補正レンズ１０３が移動することで、像振れ補正動作が行われる。
【００４５】
次に図７を用いて、本実施形態の効果を説明する。本実施形態では、空間分解能の異なる画像からそれぞれ算出した動きベクトル情報を用いて微分制御量、比例制御量、積分制御量という３つの制御量が算出される。これらの制御量に基づいて振れ補正を実行することによる効果について、図７のボード線図を参照して説明する。動きベクトルによるフィードバック制御系はＰＩＤ制御系であり、図７は各制御要素の周波数特性を表した図である。図７（Ａ）は比例制御器の周波数特性、図７（Ｂ）は微分制御器の周波数特性、図７（Ｃ）は積分制御器の周波数特性を示す。図７（Ｄ）は、これらの制御要素で構成したＰＩＤ制御器の周波数特性を示す。図７（Ａ）から（Ｄ）にて、上側にゲイン特性を配置し、下側に位相特性を配置している。
【００４６】
各制御器の機能は以下のとおりである。
・比例制御器
動きベクトルにより算出した振れの残留分である、ブレ残りに比例した操作量を働かせる。
・微分制御器
外乱等により、偏差量が変化し始めるとその変化の度合いに応じて偏差の少ないうちに大きな修正を行い、制御結果が大きく変動するのを防ぐ働きをする。
・積分制御器
偏差にオフセットが表れた場合に操作量を変更することで、偏差の定常的なオフセットを解消する働きをする。
【００４７】
また、各制御器の周波数特性（ゲイン特性）には以下の特徴がある。
・比例（Ｐ）制御は、周波数によらず制御ゲインを一律に上げる。
・微分（Ｄ）制御は、周波数分解能の低い（高周波）成分の制御ゲインを上げる。
・積分（Ｉ）制御は、周波数分解能の高い（低周波）成分の制御ゲインを上げる。
【００４８】
以上の制御器を組み合わせて構成したＰＩＤ制御器の周波数特性は、図７（Ｄ）に示すとおりであり、以下の特徴を有する。
・動きベクトル情報から検出した振れ情報の周波数分解能の高い（低周波）成分（ｃ）について、周波数領域のゲインを積分制御で調整可能であること。
・動きベクトル情報から検出した振れ情報の周波数分解能の低い（高周波）成分（ｂ）について、周波数領域を微分制御で調整可能であること。
・周波数によらず全周波数帯域（ａ）のゲインを比例制御で調整可能であること。
【００４９】
空間分解能の低い画像から算出された第１の動きベクトル情報は振れ情報の検出遅延時間が短く、また周波数分解能の低い（高周波）の振れ情報の再現性が高いという特性がある。この特性を活かして、第１の動きベクトル情報を用いて周波数分解能の低い成分のゲインへの寄与が高い比例制御情報および微分制御情報が算出される。また、空間分解能の高い画像から算出した第２の動きベクトル情報については振れ情報の検出遅延時間は長いが、周波数分解能の高い（低周波）成分の振れ情報の再現性が高いという特性がある。この特性を活かして、第２の動きベクトル情報を用いて周波数分解能の高い成分のゲインへの寄与が高い積分制御情報が算出される。
【００５０】
以上のように、空間分解能の異なる２つの画像から算出した動きベクトル情報を用いて、周波数分解能の異なる２つの振れ情報を算出し、振れ周波数によるゲインの寄与度の異なる制御要素を組み合わせて制御量を算出する処理が行われる。これにより、従来の方法で実現できなかった課題を解決できる。すなわち、動きベクトル情報の算出の遅れ時間の短縮と、周波数分解能の異なる振れ情報の検出精度の改善とを両立させ、振れ補正性能を向上させることができる。
【００５１】
次に、図５のＳ５０２に示す制御重み変更処理について、図８を用いて説明する。図８は、撮影設定条件に対する各制御要素の重み変化の関係を例示した図である。本実施形態においては、各制御要素の重みは制御器の出力の寄与度に関係する。重みの変更は、微分ゲイン部２０７、比例ゲイン部２１２、積分ゲイン部２１３の各ゲイン値を変更することに相当する。具体的には、重みを大きくすることは制御ゲイン値を大きくすることであり、重みを小さくすることは制御ゲイン値を小さくすることである。
【００５２】
図８（Ａ）は、画像のフレームレートに応じた重みの変化を示す。横軸は、第１および第２の動きベクトルの算出のためのフレームレートを表す。縦軸は、各制御要素の重みを表す。微分制御を表すグラフ線を実線で示し、積分制御を表すグラフ線を破線で示している。
【００５３】
図８（Ａ）に実線のグラフ線ｇａ１で示すように、微分制御の重みは、フレームレートが遅くなるにつれて小さくなる。フレームレートが遅くなることで２フレーム間の時間が長くなり、時間微分による信号変化量が相対的に大きくなって、微分制御の効き量が高くなってしまう。そのため、フレームレートが遅くなると微分制御の重みを小さくすることで、フィードバック制御での発振現象を防止する効果が得られる。
【００５４】
図８（Ａ）に破線のグラフ線ｇａ２で示すように、積分制御の重みは、フレームレートが遅くなるにつれて大きくなる。フレームレートが遅くなることで２フレーム間の時間が長くなり、所定時間における積分値が相対的に小さくなる。そのため、積分制御の効き量が弱くなることを防止することで、制御性能を向上させることができる。
【００５５】
図８（Ｂ）は、撮像素子の露光時間に応じた重みの変化を示す。横軸は画像取得における露光時間を表し、縦軸は積分制御の重みを表す。破線のグラフ線ｇｂで示すように、露光時間が長くなるにつれて積分制御の重みが大きくなる。露光時間が長くなると、振れ情報において周波数分解能の高い（低周波）成分の振れ影響が大きくなる。そのため、積分制御の重みを大きくすることで、低周波振れに対する補正性能を高めることができる。
【００５６】
図８（Ｃ）は、焦点距離に応じた重みの変化を示す。横軸は撮像装置の変倍動作に伴う焦点距離を表し、縦軸は微分制御の重みを表す。実線のグラフ線ｇｃで示すように、撮像光学系の焦点距離が長くなるにつれて微分制御の重みが大きくなる。焦点距離が長くなると、振れ情報において周波数分解能の低い（高周波）成分の振れ影響が大きくなる。そのため、微分制御の重みを大きくすることで高周波の振れに対する補正性能を高めることができる。
本実施形態では、撮影設定の変更に伴い各制御要素の重みを変更することで、撮影条件によらずに振れ補正性能を向上させることができる。
【００５７】
[第２実施形態]
次に本発明の第２実施形態を説明する。本実施形態では、第１実施形態のＰＩＤ制御器に代えて、位相進み補償器および位相遅れ補償器を使った制御について説明する。尚、本実施形態において第１実施形態と同様の構成要素については既に使用した符号を用いることによって、それらの詳細な説明を省略し、相違点を中心に説明する。このような説明の省略については、後述の実施形態でも同じである。
【００５８】
図９は位相進み補償器と位相遅れ補償器を用いた振れ補正制御部の構成例を示す。図３との相違点は以下のとおりである。
・位相進み補償器８０１は、第１の動きベクトル処理部２０９の出力を取得して、加算器２０６に出力すること。
・位相遅れ補償器８０２は、第２の動きベクトル処理部２１５の出力を取得して、加算器２０６に出力すること。
・本実施形態では、比例ゲイン部２１２を使用せず、微分器２０８および微分ゲイン部２０７に代えて、位相進み補償器８０１が使用される。また、積分器２１４および積分ゲイン部２１３に代えて、位相遅れ補償器８０２が使用される。
【００５９】
図１０は、本実施形態の像振れ補正動作を説明するフローチャートである。図４との相違点は、以下のとおりである。
・Ｓ５０８からＳ９００の処理に進む場合、位相進み補償器８０１の演算が行われ、次にＳ５１１に進むこと。
・Ｓ５１２からＳ９０１の処理に進む場合、位相遅れ補償器８０２の演算が行われ、次にＳ５１１に進むこと。
・Ｓ５０７の処理が無いこと。
【００６０】
Ｓ５０８にて第１の動きベクトルの算出処理が完了したことが判定された場合（Ｓ５０８でＹｅｓ）、Ｓ９００に進む。Ｓ９００では微分処理および微分ゲインの乗算に代えて、位相進み補償器８０１による演算が実行される。また、Ｓ５１２で第２の動きベクトルの算出処理が完了したことが判定された（Ｓ５１２でＹｅｓ）、Ｓ９０１に進む。Ｓ９０１では積分処理および積分ゲインの乗算に代えて、位相遅れ補償器８０２による演算が実行される。
【００６１】
図１１を用いて、本実施形態の効果について説明する。図１１は、位相進み補償器および位相遅れ補償器で構成された制御器の周波数特性を表すボード線図である。本実施形態のフィードバック制御系は位相進み補償および位相遅れ補償制御系である。各制御要素の伝達関数の一例を以下に示す。数式中の変数sは複素数を表す。またaおよびTは設計パラメータであり、これらの設定によって位相進み量および位相遅れ量が決定される。
・位相進み補償器
【数１】
2019036820.tif 000003
・位相遅れ補償器
【数２】
2019036820.tif 000004
・位相進み遅れ補償器
【数３】
2019036820.tif 000005
【００６２】
各制御要素に関する周波数特性（ゲイン特性）と効果については、以下の特徴がある。
・位相進み補償器：過渡特性を改善する。周波数特性では周波数分解能の高い（低周波）成分に対し、周波数分解能の低い（高周波）成分においてゲインが一定値上がる。
・位相遅れ補償器：定常特性を改善する。周波数特性では周波数分解能の高い（低周波）成分に対し、周波数分解能の低い（高周波）成分においてゲインを一定値下げて安定化を図る。
【００６３】
よって、これらの制御要素で構成した位相進み補償および位相遅れ補償制御の周波数特性は図１１に示すとおりである。
・動きベクトル情報から検出した振れ情報の周波数分解能の高い（低周波）成分（ａ）に対し、周波数領域のゲインを位相遅れ補償器で調整可能であること。
・動きベクトル情報から検出した振れ情報の周波数分解能の低い（高周波）成分（ｂ）に対し、周波数領域のゲインを位相進み補償器で調整可能であること。
【００６４】
空間分解能の低い画像から算出される第１の動きベクトル情報は、振れ情報の検出遅延時間が短く、周波数分解能の低い高周波の振れ情報の再現性が高いという特性がある。この特性を活かして、第１の動きベクトル情報を用いて高周波のゲインへの寄与が高い位相進み補償器８０１により制御量が算出される。また空間分解能の高い画像から算出される第２の動きベクトル情報は、振れ情報の検出遅延時間は長いが、周波数分解能の高い低周波の振れ情報の再現性が高いという特性がある。この特性を活かして、第２の動きベクトル情報を用いて低周波のゲインへの寄与が高い位相遅れ補償器８０２により制御量が算出される。
【００６５】
本実施形態では、空間分解能の異なる２つの画像から算出した動きベクトル情報を用いて、周波数分解能の異なる２つの振れ情報を算出する。振れ周波数によるゲインの寄与度の異なる制御要素を組み合わせて制御量を算出して像振れ補正を行うことで、第１実施形態と同様の振れ補正性能を実現できる。
【００６６】
図８を流用して、各制御要素の制御重み変更処理（図５：Ｓ５０２）について説明する。本実施形態において、実線のグラフ線は位相進み補償を表し、破線のグラフ線は位相遅れ補償を表す。各制御要素の重み（寄与度）の変更は、撮影設定部３００の撮影設定条件にしたがって位相進み補償器８０１および位相遅れ補償器８０２の周波数特性を変更することに相当する。具体的には、数式１〜３で示す各制御要素の伝達関数の係数を変更することによって、重みが変更される。重みを大きくすることは、位相遅れ補償器８０２の高周波域に対する低周波域のゲインの上がり量（増加量）を大きくすることであり、位相進み補償器８０１の低周波域に対する高周波域のゲインの上がり量を大きくすることである。また、重みを小さくすることは、位相遅れ補償器８０２の高周波域に対する低周波域のゲインの上がり量を小さくすることであり、位相進み補償器８０１の低周波域に対する高周波域のゲインの上がり量を小さくすることである。
【００６７】
図８（Ａ）は、画像のフレームレートの変更に対する各制御要素の重み変化を表す。位相進み補償の重みは、実線のグラフ線ｇａ１で示すように、フレームレートが遅くなるにつれて小さくなる。フレームレートが遅くなることでデジタル制御フィルタの演算周期が遅くなり、同じデジタルフィルタ係数に対する周波数特性にて、低周波帯域に対する高周波帯域のゲインの上がり量が大きくなってしまう。そのため、位相進み補償の重みを小さくすることで位相進み補償制御量によるフィードバック制御において発振現象を防止する効果が得られる。また、位相遅れ補償の重みは、破線のグラフ線ｇａ２で示すように、フレームレートが遅くなるにつれて大きくなる。フレームレートが遅くなることでデジタル制御フィルタの演算周期が遅くなり、同じデジタルフィルタ係数に対する周波数特性にて、高周波帯域に対する低周波帯域のゲインの上がり量が小さくなってしまう。そのため、位相遅れ補償の重みを大きくすることによって、効き量が弱くなることを防止できる。これにより制御性能が向上する。
【００６８】
図８（Ｂ）は、画像取得における露光時間の変更に対する位相遅れ補償の重み変化を表す。位相遅れ補償の重みは、破線のグラフ線ｇｂで示すように、露光時間が長くなるにつれて大きくなる。露光時間が長くなると振れ情報において周波数分解能の高い（低周波）成分の振れ影響が大きくなる。そのため、位相遅れ補償制御の重みを大きくすることで、周波数分解能の高い（低周波）振れに対する補正性能を高めることができる。
【００６９】
図８（Ｃ）は、撮像装置の変倍動作に伴う焦点距離変更に対する位相進み制御の重み変化を表す。位相進み補償制御の重みは、実線のグラフ線ｇｃで示すように、焦点距離が長くなるにつれて大きくなる。焦点距離が長くなると振れ情報において周波数分解能の低い（高周波）成分の振れ影響が大きくなる。そのため、位相進み制御の重みを大きくすることで周波数分解の低い（高周波）振れに対する補正性能を高めることができる。
本実施形態によれば、撮影設定の変更に伴い各制御要素の重みを変更することで、第１実施形態と同様、撮影条件によらずに補正性能を向上させることができる。
【００７０】
[第３実施形態]
次に本発明の第３実施形態を説明する。本実施形態では、ＰＩＤ制御器や、位相進み補償器および位相遅れ補償器に代えて、フィルタを用いる振れ補正制御を説明する。
図１２は、動きベクトルによる振れ情報から所定の周波数成分を抽出する高域通過フィルタ１２０１および低域通過フィルタ１２０２を用いた構成例を示す。図３との相違点は以下のとおりである。
・高域通過フィルタ１２０１は、第１の動きベクトル処理部２０９の出力を取得して、加算器１２０４に出力すること。
・低域通過フィルタ１２０２は、第２の動きベクトル処理部２１５の出力を取得して、加算器１２０４に出力すること。
・ベクトル制御フィルタ１２０３は加算器１２０４の出力を処理し、処理結果を加算器２０６に出力すること。
【００７１】
本実施形態では、第１実施形態の微分器２０８および微分ゲイン部２０７の代わりに高域通過フィルタ１２０１を使用し、比例ゲイン部２１２を使用しない。また、積分器２１４および積分ゲイン部２１３の代わりに低域通過フィルタ１２０２を使用する。第１および第２の動きベクトル情報から高域通過フィルタ１２０１、低域通過フィルタ１２０２により異なる周波数帯域の振れがそれぞれ抽出された後に加算器１２０４が合算する。この振れ情報に基づいてベクトル制御フィルタ１２０３はフィードバック制御量を算出し、制御フィルタ２０５が算出した制御量に加算する処理が行われる。ここで、ベクトル制御フィルタ１２０３については、例えば加算器１２０４の出力情報に所定のゲイン値を乗算するだけの制御器でも構成可能である。角速度センサ２０１により検出された振れに対する補正レンズ１０３の目標位置にフィードバック制御量が加算されて振れ補正制御が行われる。
【００７２】
図１３は、本実施形態の像振れ補正動作を説明するフローチャートである。Ｓ５０８において、第１の動きベクトルの算出処理が完了した場合（Ｓ５０８でＹｅｓ）、Ｓ１３０１にて高域通過フィルタ１２０１により、周波数分解能の低い（高周波）成分が抽出される。Ｓ５１２において第２の動きベクトルの算出処理が完了した場合（Ｓ５１２でＹｅｓ）、Ｓ１３０２にて低域通過フィルタ１２０２により、周波数分解能の高い（低周波）成分が抽出される。これらの振れ情報は、Ｓ１３０３にて加算された後でベクトル制御フィルタ１２０３が演算する（Ｓ１３０４）。これにより、補正レンズ１０３のフィードバック制御量が算出される。Ｓ１３０４の処理後、Ｓ１０５に進む。
【００７３】
一方、Ｓ５０８およびＳ５１２において第１、第２の動きベクトルが算出されるまでの間、それぞれのベクトル情報は更新されず、前回のサンプリングでの制御量が保持される（Ｓ５１５）。振れ情報に基づきフィードバック制御量の演算が行われる。Ｓ５１５の後、Ｓ１３０３へ進む。
【００７４】
図１４のボード線図を参照して、高域通過フィルタ１２０１および低域通過フィルタ１２０２の周波数特性を説明する。図１４は、動きベクトル情報から異なる周波数成分をそれぞれ抽出するための各フィルタの周波数特性の一例を示す。ゲイン特性および位相特性において実線のグラフ線は、低域通過フィルタ１２０２の特性を表し、破線のグラフ線は、高域通過フィルタ１２０１の特性を表す。各制御要素の伝達関数の数式例を以下に示す。
・高域通過フィルタ
【数４】
2019036820.tif 000006
・低域通過フィルタ
【数５】
2019036820.tif 000007
数式４、数式５にてsは複素数を表す。Tcは設計パラメータであり、この設定によって高域通過フィルタ１２０１および低域通過フィルタ１２０２のカットオフ周波数が決定される。
【００７５】
空間分解能の低い画像から算出される第１の動きベクトル情報は、振れ情報の検出遅延時間が短く、周波数分解能の低い高周波の振れ情報の再現性が高いという特性をもつ。この特性を活かして、第１の動きベクトル情報から高域通過フィルタ１２０１を用いて周波数分解能の低い（高域）成分が抽出される。また、空間分解能の高い画像から算出される第２の動きベクトル情報は、振れ情報の検出遅延時間は長いが、周波数分解能の高い低周波の振れ情報の再現性が高いという特性をもつ。この特性を活かして、第２の動きベクトル情報から低域通過フィルタ１２０２を用いて周波数分解能の高い（低域）成分が抽出される。抽出された各成分を合成することで全周波数に対して検出精度の高い振れ情報を取得可能になる。
【００７６】
以上のように、空間分解能の異なる２つの画像から算出した動きベクトル情報を用いて、周波数分解能の異なる２つの振れ情報を算出する処理が行われる。これらの振れ情報から、振れ周波数によるゲインの寄与度の異なる制御要素を組み合わせて制御量を算出することで、第１実施形態と同様の効果が得られる。すなわち、動きベクトル情報の算出のための検出遅れ時間の短縮と、各周波数分解能の異なる振れ情報の検出精度の改善とを両立させ、振れ補正性能を向上させることができる。
【００７７】
次に、図１５を参照して、本実施形態における制御重み変更処理（図５：Ｓ５０２）について説明する。図１５は、撮影設定条件に対する各フィルタの重み変更の関係を示す図である。横軸と縦軸の設定は図８と同じである。本実施形態において、各フィルタの重み（寄与度）の変更は、撮影設定部３００の撮影設定条件にしたがって高域通過フィルタ１２０１および低域通過フィルタ１２０２のカットオフ周波数を変更することに相当する。具体的には、数式４および数式５で示す各フィルタの伝達関数の係数が変更される。低域通過フィルタ１２０２の重みを大きくすることは、そのカットオフ周波数を高周波側へ変更することであり、重みを小さくすることは、そのカットオフ周波数を低周波側へ変更することである。また、高域通過フィルタ１２０１の重みを大きくすることは、そのカットオフ周波数を低周波側へ変更することであり、重みを小さくすることは、そのカットオフ周波数を高周波側へ変更することである。
【００７８】
図１５（Ａ）は、画像のフレームレートの変更に対する各フィルタの重み変化を表す。破線のグラフ線Ｇａ１で示すように、低域通過フィルタ１２０２の重みは、フレームレートが速くなるにつれて大きくなる。一方、実線のグラフ線Ｇａ２で示すように、高域通過フィルタ１２０１の重みは、フレームレートが速くなるにつれて小さくなる。フレームレートが速くなることで動きベクトル検出のサンプリング時間が早くなり、サンプリングホールド時間に伴う位相遅れの影響が緩和される。このため、第１の動きベクトルに比べて第２の動きベクトルから算出される検出精度の高い周波数分解能の低い（高域）成分の再現性が改善される。よって、第２の動きベクトルの情報を第１の動きベクトル情報に比べてより広い帯域で使用することにより、振れ補正性能が向上する。
【００７９】
図１５（Ｂ）は、画像取得における露光時間の変更に対する各フィルタの重み変化を表す。実線のグラフ線Ｇｂ１で示すように、高域通過フィルタ１２０１の重みは、露光時間が長くなるにつれて小さくなる。破線のグラフ線Ｇｂ２で示すように、低域通過フィルタ１２０２の重みは、露光時間が長くなるにつれて大きくなる。露光時間が長くなると振れ情報において周波数分解能の高い（低周波）成分の振れ影響が大きくなる。よって、検出精度の高い第２の動きベクトル情報を、第１の動きベクトル情報に比べて広い帯域で使用することで、振れ補正性能が向上する。
【００８０】
図１５（Ｃ）は、撮像装置の変倍動作に伴う焦点距離の変更に対する各フィルタの重み変化を表す。実線のグラフ線Ｇｃ１で示すように、高域通過フィルタ１２０１の重みは、焦点距離が長くなるにつれて大きくなる。破線のグラフ線Ｇｃ２で示すように、低域通過フィルタ１２０２の重みは、焦点距離が長くなるにつれて小さくなる。焦点距離が長くなると振れ情報において周波数分解能の低い（高周波）成分の振れ影響が大きくなる。よって、第１の動きベクトルを第２の動きベクトル情報に比べて広い帯域で使用することで、周波数分解の低い（高周波）振れに対する補正性能を高めることができる。
【００８１】
本実施形態では、撮影設定に応じて各制御要素の重みを変更することで、第１実施形態と同様に、撮影条件によらず補正性能を向上させることができる。
前記実施形態によれば、空間分解能の異なる複数の画像を用いて算出した動きベクトル情報から周波数分解能の異なる複数の振れ情報を算出し、振れ情報に基づいて像振れ補正を行うことで、像振れ補正性能を向上させることができる。なお、各実施形態では、可動光学部材である補正レンズ１０３の駆動制御による像振れ補正動作の例を説明したが、撮像素子の移動を制御することで像振れ補正動作が行われる構成、または両者を併用した構成での実施が可能である。
【符号の説明】
【００８２】
１０３  像振れ補正レンズ
１０９  撮像部
２０７，２０８  微分制御器
２１０，２１６  動きベクトル検出部
２１２  比例ゲイン部
２１３，２１４  積分制御器
８０１  位相進み補償器
８０２  位相遅れ補償器
１２０１  高域通過フィルタ
１２０２  低域通過フィルタ
【図１】
2019036820.tif 000008
【図２】
2019036820.tif 000009
【図３】
2019036820.tif 000010
【図４】
2019036820.tif 000011
【図５】
2019036820.tif 000012
【図６】
2019036820.tif 000013
【図７】
2019036820.tif 000014
【図８】
2019036820.tif 000015
【図９】
2019036820.tif 000016
【図１０】
2019036820.tif 000017
【図１１】
2019036820.tif 000018
【図１２】
2019036820.tif 000019
【図１３】
2019036820.tif 000020
【図１４】
2019036820.tif 000021
【図１５】
2019036820.tif 000022