(57)【要約】【課題】像ブレ補正を行う補正手段の制御に伴う画質低下を抑制すること。【解決手段】撮像装置は、撮像光学系２０を通過した光を受光する撮像素子１１を備える。動きベクトル検出部１４は撮像時刻の異なる複数の画像データから動きベクトルを算出してレンズ制御部２５に出力する。レンズ制御部２５は動きベクトルに基づいて撮像素子１１の露光中におけるブレ量を予測し、シフトレンズ２４に駆動制御により画像ブレを補正する。シフトレンズ２４は撮像光学系２０を通過する光が撮像素子１１に受光する位置を、撮像光学系２０の光軸に対して略直交する方向に調整する補正光学素子である。レンズ制御部２５は、算出したブレ量の予測値から静止画露光中のシフトレンズ２４の駆動軌跡の重心位置を算出し、該重心位置が撮像光学系２０の光軸中心の位置となるようにブレ補正の駆動開始位置を制御する。【選択図】  図１
2018040919.tif 000002
【特許請求の範囲】
【請求項１】
検出手段によりブレを検出し、補正手段により画像の像ブレを補正するブレ補正装置であって、
前記検出手段からブレの検出信号を取得し、撮像素子の露光中におけるブレ量の予測値を算出する予測手段と、
前記検出信号および予測値にしたがって前記補正手段を制御する制御手段と、を備え、
前記制御手段は、前記予測値に基づいて露光中における前記補正手段の駆動軌跡の重心位置を撮像光学系の光軸中心の位置に変更することで前記補正手段の駆動開始位置を制御する
ことを特徴とするブレ補正装置。
【請求項２】
前記補正手段は、前記撮像光学系の光軸方向とは異なる方向に移動することで、前記撮像光学系を通過した光線が前記撮像素子に受光する位置を変更する可動光学部材を備える
ことを特徴とする請求項１に記載のブレ補正装置。
【請求項３】
前記検出手段は、前記撮像素子により取得される撮像時刻の異なる複数の画像データを比較し、画像の動きベクトルを検出する
ことを請求項１または請求項２に記載のブレ補正装置。
【請求項４】
前記検出手段は、角速度または加速度を検出するセンサを有する
ことを特徴とする請求項１または請求項２に記載のブレ補正装置。
【請求項５】
前記予測手段は予測フィルタを備え、前記検出信号を取得してフィルタ係数を更新する適応動作を行う
ことを特徴とする請求項１から４のいずれか１項に記載のブレ補正装置。
【請求項６】
前記制御手段は、前記予測値に対して前記補正手段の駆動開始時点からの経過時間に応じた重み付け係数を乗算して補正された値を算出し、
前記重み付け係数の値は、前記経過時間が長くなるほど小さい
ことを特徴とする請求項１から５のいずれか１項に記載のブレ補正装置。
【請求項７】
前記制御手段は、前記補正手段の位置が予め定められた範囲を超えると判定した場合、前記補正手段の位置が前記範囲を超える前記駆動軌跡の点に対する重み付け係数値をゼロに設定して前記重心位置を再度算出し、露光中における前記補正手段の駆動軌跡が前記範囲内となる駆動軌跡を用いて前記駆動開始位置を制御する
ことを特徴とする請求項１から６のいずれか１項に記載のブレ補正装置。
【請求項８】
前記制御手段は、前記撮像素子の静止画露光前から前記駆動開始位置を順次算出して、当該駆動開始位置へ前記可動光学部材を徐々に移動させる制御を行う
ことを特徴とする請求項２に記載のブレ補正装置。
【請求項９】
前記制御手段は、前記駆動開始位置を算出する際に前記適応動作を停止して前記検出手段の検出信号を記憶部に保持する処理を行い、前記駆動開始位置が算出されたときに、保持している前記検出信号を用いて前記予測手段の適応動作を開始させる処理を行う
ことを特徴とする請求項５に記載のブレ補正装置。
【請求項１０】
前記予測手段は、
適応動作により予測フィルタのフィルタ係数を更新する処理を行う第１の予測部と、
前記予測フィルタのフィルタ係数を順次参照し、各時刻における前記予測値を算出する処理を行う第２の予測部と、を備える
ことを特徴とする請求項１に記載のブレ補正装置。
【請求項１１】
第１スイッチおよび第２スイッチを有する操作部材を備え、
前記制御手段は、前記第１スイッチの操作を検出した場合に前記補正手段の制御を開始し、前記第１スイッチの操作が検出される第１の時点から前記第２スイッチの操作が検出される第２の時点までの間、前記検出手段の検出信号を用いて前記補正手段を制御する
ことを特徴とする請求項１に記載のブレ補正装置。
【請求項１２】
前記予測手段は予測フィルタを備え、前記第１の時点から前記第２の時点までの間、前記予測フィルタの適応動作を行い、前記第２の時点にて前記予測フィルタの適応動作を停止して予測動作を行い、
前記制御手段は、前記第２の時点で前記予測値を取得して前記重心位置を算出し、前記駆動開始位置を制御する
ことを特徴とする請求項１１に記載のブレ補正装置。
【請求項１３】
前記予測手段は、前記検出手段の検出信号から前記予測値を算出する線形予測部と、予測処理誤差を取得して前記線形予測部のフィルタ係数を更新する処理を行う適応部を備える
ことを特徴とする請求項１から４のいずれか１項に記載のブレ補正装置。
【請求項１４】
請求項１から１３のいずれか１項に記載のブレ補正装置と、
撮像光学系を通過した光を受光する撮像素子と、を備える撮像装置。
【請求項１５】
前記制御手段は、前記予測値が閾値より大きい場合、予め設定した前記撮像素子の露光時間よりも露光時間を短く変更する処理を行う
ことを特徴とする請求項１４に記載の撮像装置。
【請求項１６】
検出手段によりブレを検出し、補正手段により画像の像ブレを補正するブレ補正装置にて実行される制御方法であって、
予測手段が前記検出手段からブレの検出信号を取得し、撮像素子の露光中におけるブレ量の予測値を算出する工程と、
制御手段が前記検出信号および予測値にしたがって前記補正手段を制御する工程と、を有し、
前記制御手段は、前記予測値に基づいて露光中における前記補正手段の駆動軌跡の重心位置を撮像光学系の光軸中心の位置に変更することで前記補正手段の駆動開始位置を制御する
ことを特徴とするブレ補正装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手ブレ等による画像の像ブレを補正する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等による静止画撮影では、撮影者の手ブレの影響を抑制するために、光学式像ブレ補正が行われる。光学式像ブレ補正では、シフトレンズ（補正レンズ）を撮影光軸に対して略直交する方向に移動させてシフト動作が行われる。また、画像処理による像ブレ補正（画像合成式補正）では、短時間の露光によって複数回の撮影を行い、撮影された複数の画像をシフトさせて合成する処理が実行される。
【０００３】
一方、手ブレの検出方法として、角速度センサ（ジャイロセンサ等）を用いる方法がある。また、連続的に撮影された画像における特定のブロック（画像領域）を比較することで動きベクトルを算出し、手ブレ量を検出する技術がある（特許文献１）。特許文献２には撮像装置において、シフトレンズが可動範囲の端位置に近づいた場合にシフトレンズのセンタリング処理を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−１２２５９０号公報
【特許文献２】特開２０１０−７８６３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術では、光学式像ブレ補正においてシフトレンズが移動することにより、シフトレンズ枠での光線のケラレ（口径蝕）や光学収差が発生し、撮像素子で取得される画像に影響を及ぼす可能性がある。特にシフトレンズが光軸中心に対して、その可動範囲の端近傍で駆動されると、ケラレや光学収差の影響が顕著になり、画質低下が懸念される。また、シフトレンズのセンタリング処理が行われたとしても、手ブレによりシフトレンズが再度、可動範囲の端に近づくことへの対応が必要となる。
本発明の目的は、像ブレ補正を行う補正手段の制御に伴う画質低下を抑制することである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の装置は、検出手段によりブレを検出し、補正手段により画像の像ブレを補正するブレ補正装置であって、前記検出手段からブレの検出信号を取得し、撮像素子の露光中におけるブレ量の予測値を算出する予測手段と、前記検出信号および予測値にしたがって前記補正手段を制御する制御手段と、を備える。前記制御手段は、前記予測値に基づいて露光中における前記補正手段の駆動軌跡の重心位置を撮像光学系の光軸中心の位置に変更することで前記補正手段の駆動開始位置を制御する。
【発明の効果】
【０００７】
本発明によれば、像ブレ補正を行う補正手段の制御に伴う画質低下を抑制することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態におけるブレ補正の駆動軌跡を表す模式図である。
【図２】第１実施形態における撮像装置およびシフトレンズの外観を示す斜視図である。
【図３】第１実施形態における撮像装置の構成を説明するブロック図である。
【図４】第１実施形態における信号処理部を説明するブロック図である。
【図５】第１実施形態におけるブレ信号を表す模式図である。
【図６】第１実施形態における信号予測処理部を説明するブロック図である。
【図７】図６の線形予測部および適応部を説明するブロック図である。
【図８】第１実施形態の変形例における重み付け処理時のブレ補正の駆動軌跡を表す模式図である。
【図９】第２実施形態における信号処理を説明するブロック図である。
【発明を実施するための形態】
【０００９】
以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。本発明に係るブレ補正装置および撮像装置は、デジタルビデオカメラや、監視カメラ、Ｗｅｂカメラ、撮像機能付き携帯電話等に適用可能である。
【００１０】
［第１実施形態］
図１から図７を参照して、本発明の第１実施形態の撮像装置について説明する。まず、図２、図３を用いて、本実施形態のデジタルカメラの構成について説明する。図２（Ａ）はデジタルカメラの外観図であり、図２（Ｂ）はデジタルカメラの撮像光学系の一部を取り出して示す模式図である。
【００１１】
カメラ１は撮影レンズ２を有し、撮像光学系２０を構成する光学部材を有する。撮像光学系２０の光軸を光軸２０ａとし、光軸方向をＺ軸と定義する。光軸２０ａに直交する２軸のうち、一方の軸をＸ軸とし、他方の軸をＹ軸と定義する。撮像光学系２０を通過した光線はカメラ1の内部にある撮像素子１１（図２（Ｂ）参照）の受光面上に結像する。図２（Ｂ）は、シフトレンズ２４と撮像素子１１と光軸２０ａとの配置を示す。シフトレンズ２４は、撮像光学系２０内の像ブレ補正用の可動光学素子である。シフトレンズ２４をＸＹ平面上にて並進的に移動させることにより、撮像素子１１の受光面上に結像した光線に係るＸ方向およびＹ方向に振動するブレが補正される。本実施形態ではシフトレンズ２４を光軸方向と直交する方向に移動させる構成例を説明するが、この他には光軸上の設定点を中心にして補正レンズを傾動させる構成等がある。
【００１２】
図３は、デジタルカメラの構成例を示すブロック図である。カメラ１にて、撮影レンズ２を通過した光を撮像素子１１が受光して光電変換する。画像処理部１２は光電変換された信号から画像データを生成する。メモリ部１３は画像データ等の情報を記憶する。動きベクトル検出部１４は、撮像時刻の異なる複数の画像データを比較して画像の動きベクトルを検出する。動きベクトルとは、時間的に連続する複数の画像内の被写体像の変化を示すベクトルである。動きベクトルを検出することで、カメラ１の角度ブレや並進ブレを含むブレを検出できる。動きベクトルの検出方法については既知であるため、説明を省略する。動きベクトル検出部１４はブレ検出を行って、手ブレ等によるブレ検出信号を出力する。
【００１３】
操作部１５は操作スイッチやタッチパネル等の操作部材を備え、ユーザの操作指示を受け付けてカメラ制御部１０へ通知する。画像表示部１６は画像や通知情報等の画面表示を行う。カメラ制御部１０はカメラ１の制御を司る中枢部であり、ＣＰＵ（中央演算処理装置）を有する。ＣＰＵは所定のプログラムを実行することによりカメラ１内の各部を制御する。
【００１４】
次に撮影レンズ２内の撮像光学系２０の構成について説明する。被写体からの光線を通過させるレンズ群２１と、フォーカスレンズ２２が配置されている。フォーカスレンズ２２は焦点調節用の可動光学部材である。虹彩絞り２３は露光調整用部材である。シフトレンズ２４は並進移動によりブレ補正を行う可動光学部材である。
【００１５】
撮影レンズ２はレンズ制御部２５を有しており、撮像光学系２０の光学状態を調整する駆動部を制御する。レンズ制御部２５は動きベクトル検出部１４の出力信号を受信するとともに、カメラ制御部１０との間で通信を行う。レンズ制御部２５は、後述する信号予測およびブレ補正制御の機能を有する。
【００１６】
撮像光学系２０を通過して撮像素子１１で受光された光線に対して光電変換が行われ、不図示のＡ（アナログ）／Ｄ（デジタル）変換器により、光電変換後の出力に対して量子化処理が行われる。画像処理部１２は、内部にホワイトバランス回路、ガンマ補正回路、補間演算回路等を有する。画像処理部１２はカメラ制御部１０の指令を受けて、撮像素子１１から取得した信号に基づき、画像データを生成する。画像処理部１２が生成した画像データは、メモリ部１３が記憶する。カメラ全体の制御を統括するカメラ制御部１０は、撮像の際のタイミング信号等を生成して各部に出力する。例えばカメラ制御部１０は、操作部１５に含まれるレリーズ釦が押下されて操作指示を受け付けた場合、該操作指示にしたがって撮像素子１１の制御を行い、レンズ制御部２５へ指令信号を送信する。またカメラ制御部１０は光彩絞り２３の制御やシャッタ制御（電子シャッタ制御を含む）、ゲイン制御により撮像素子１１の露光制御を行う。
【００１７】
次に図４を参照して、本実施形態のブレ補正動作について述べる。図４はブレ信号を算出する信号処理部の構成例を示すブロック図である。撮像素子１１で取得された画像信号は画像処理部１２および動きベクトル検出部１４でそれぞれ処理され、動きベクトルが算出される。予測部５１は動きベクトルを取得し、静止画露光前には予測フィルタの更新を行う。カメラ制御部１０から静止画撮影命令にしたがって予測部５１は予測処理を行い、静止画露光中の予測ブレ信号を算出する。予測部５１の詳細については図６および図７を用いて後述する。
【００１８】
予測部５１が算出した予測ブレ信号は、ブレ補正駆動部５２およびブレ補正駆動開始位置制御部５３に送られる。これにより、露光開始直前にシフトレンズ２４が駆動位置に移動し、露光中には予測ブレ信号に基づきシフトレンズ２４の駆動制御が行われる。
【００１９】
図５を参照して、ブレ検出信号に関する静止画露光時の信号予測処理の概要について説明する。図５のグラフでは、横軸を時間軸とし、縦軸をブレ量の軸とする。期間T1は静止画露光前の期間を示し、期間T2は静止画露光中の期間を示す。期間T3は静止画露光後の期間を示す。期間T1およびT3において、太い実線３１のグラフ線はＸ軸方向のブレ信号（以下、Ｘ軸ブレ信号という）を表わす。Ｘ軸は図２で示す光軸２０ａに対して垂直な平面内の軸である。また、細い実線３２のグラフ線はＹ軸方向のブレ信号（以下、Ｙ軸ブレ信号という）を表わす。Ｙ軸は図２で示す光軸２０ａに対して垂直な平面内でＸ軸と直交する軸である。Ｘ軸ブレ信号およびＹ軸ブレ信号はいずれも動きベクトルから算出される。さらに、期間T2において太い点線３３のグラフ線および細い点線３４のグラフ線は、予測部５１がＸ軸ブレ信号およびＹ軸ブレ信号についてそれぞれ生成した予測ブレ信号を表している。グラフの下に配置したタイミングチャートは、撮像素子１１の露光タイミングを表わす。Ｈ（ｈｉｇｈ）は露光中であることを示し、Ｌ（Ｌｏｗ）は露光停止中であることを示す。
【００２０】
静止画露光前の期間T1では、連続的に短時間の露光が一定周期で行われ、動きベクトル検出部１４により動きベクトルが検出される。短時間露光の周期は、所定のフレームレート（120FPSや240FPS等）に対応する時間間隔に設定される。撮影者が操作部１５に含まれるレリーズ釦を押下して静止画撮影命令が下されると、期間T2に移行する。静止画撮影の露光期間T2では、適正露光となるように定められた所定の露光時間で露光動作が行われる。静止画露光が終了した後の期間T3では再度、短時間の周期的な露光が行われる。
【００２１】
図５の期間T2においては、静止画撮影のための相対的に長時間の露光が行われるため、動きベクトルを取得することができない。そこで本実施形態では、期間T1における動きベクトル検出部１４からの信号を用いて、予測部５１が備える予測フィルタの適応動作が行われる。予測フィルタは適応型フィルタであり、フィルタ係数が更新されることで、ブレ信号を予測する予測フィルタが構築される。ユーザがレリーズ釦を押下したことで静止画撮影命令が下された場合、静止画撮影の露光期間T2にて予測フィルタによりブレ信号が算出される。露光期間T2では、算出されたブレ信号に基づいてシフトレンズ２４の駆動制御が行われ、像ブレ補正が行われる。すなわち、動きベクトルが得られない静止画撮影の露光期間T2であっても、静止画露光中のシフトレンズ２４の駆動軌跡を取得することができる。予測ブレ信号を用いて、静止画露光開始時のシフトレンズ２４の駆動開始位置を制御し、画質低下を抑えた静止画撮影を行うことができる。
【００２２】
次に、図１を参照してブレ補正駆動の制御、およびブレ補正駆動開始位置の制御について説明する。図１はシフトレンズ２４の駆動軌跡を説明する模式図である。円７１はシフトレンズ２４の可動範囲の境界を表しており、シフトレンズ２４は当該範囲内で駆動可能である。座標中心が光軸位置に相当し、座標系のＸ軸およびＹ軸は図２に示す座標系の各軸と一致している。
【００２３】
実線で示す軌跡７２は、ブレ補正駆動開始位置を制御しない場合において、静止画露光中のシフトレンズ２４の駆動軌跡を示す。位置７２ａは軌跡７２の開始位置であり、位置７２ｂは軌跡７２の終了位置である。一方、点線で示す軌跡７３はブレ補正駆動開始位置を制御する場合において、静止画露光中のシフトレンズ２４の駆動軌跡を示す。位置７３ａは軌跡７３の開始位置であり、位置７３ｂは軌跡７３の終了位置である。軌跡上の点は本来、ブレ検出によって一定のサンプリング周期でブレ量を取得した際の、各時刻でのシフトレンズ２４の駆動位置を表わしている。
【００２４】
図１に示す駆動軌跡は静止画露光中のシフトレンズ２４の動きを表わすものであり、静止画露光中には撮像素子の出力から動きベクトルを取得することができない。本実施形態では、静止画露光開始までに取得されたブレ信号を用いて、予測部５１が算出した予測ブレ信号から駆動軌跡が算出される。予測部５１により算出されたシフトレンズ２４の軌跡７２は、開始位置７２ａが座標中心位置であり、すなわち駆動開始位置が光軸中心位置から始まっている。この時、軌跡７２の駆動終了位置７２ｂ、および、その近傍の点は、可動範囲の境界を示す円７１に近づいている。一般的にシフトレンズ２４が光軸近傍に位置するときに比べて、可動範囲の限界近傍に位置するときの方が、ケラレや光学収差が発生しやすい。シフトレンズ２４が軌跡７２に沿って駆動された場合、手ブレに対する補正は行われているが、ケラレや光学収差により取得画像の画質低下が発生する可能性がある。なお、静止画露光の開始時点からシフトレンズ２４のブレ補正駆動を開始しているが、静止画露光前からシフトレンズ２４を駆動させブレ補正を行う場合においても、同様の問題が発生する。また、静止画露光の開始直前にシフトレンズ２４のセンタリング処理を行う場合においても同様である。
【００２５】
そこで本実施形態では駆動開始位置の制御により、次のようにブレ補正駆動部５２の制御を行う。予測部５１は静止画露光中のシフトレンズ２４の軌跡７２のデータを算出し、ブレ補正駆動開始位置制御部（以下、単に開始位置制御部ともいう）５３に出力する。開始位置制御部５３は、軌跡７２上の各点から当該軌跡における重心位置７４を求める。そして開始位置制御部５３は、重心位置７４が光軸に相当する座標中心位置に来るように、駆動軌跡７２を平行移動させ、駆動軌跡７３を算出する。ブレ補正駆動部５２は静止画露光が開始されると、位置７３ａを駆動開始位置として駆動軌跡が軌跡７３となるようにシフトレンズ２４を駆動させる。図１では軌跡７３の駆動開始位置７３ａが座標中心から左下に移動しており、駆動終了位置７３ｂが位置７２ｂに比べると座標中心に近づいている。結果として、軌跡７２に比べて軌跡７３が全体的に光軸の近傍に位置することとなり、ケラレや光学収差の影響が低減される。軌跡７３に沿ってシフトレンズ２４を移動させることで、画質低下を低減したブレ補正を実現できる。
【００２６】
次に、図６を参照してブレ信号の予測処理、および予測処理の切替について説明する。本実施形態では予測処理に適応アルゴリズムを用いる。静止画露光前のブレ信号を用いて適応型フィルタのフィルタ係数を更新することで、静止画露光中の複雑なブレ信号を予測できる。図６において、信号予測処理を行う予測部５１の内部構成を点線枠内に示す。線形予測部６１は予測フィルタにより構成される。適応部６２の出力に応じて予測フィルタのフィルタ係数が更新される。
【００２７】
予測部５１の入力端子４１から入力されるu(n)は、動きベクトル検出部１４からのブレ信号の値を示す。y(n)は線形予測部６１の予測信号値（予測値）を示し、e(n)は線形予測処理の誤差を示している。これらの値については、括弧内のnが、第n回目のサンプリング値であることを示す。ブレ信号の入力値u(n)は２つに分岐し、その一方は単位遅延器４２Ａに入力され、他方は出力切替部４６の接点４６ｃに入力される。単位遅延器４２Ａの出力は、予測部入力切替部４３の接点４３ｂに入力される。予測部入力切替部４３の接点４３ｃには、y(n)が単位遅延器４２Ｂを介して入力される。適応部６２の出力は適応動作スイッチ４５を介して線形予測部６１に入力される。線形予測部６１の出力は３つに分岐する。つまり、y(n)は単位遅延器４２Ｂ、減算器６３、出力切替部４６の接点４６ｂにそれぞれ入力される。出力切替スイッチ４６ａで選択された信号は、予測部５１の出力端子４８から、ブレ補正駆動部５２および開始位置制御部５３へ出力される。なお、予測部入力切替スイッチ４３ａ、適応動作スイッチ４５、出力切替スイッチ４６ａは、カメラ制御部１０からの指令信号によって制御される。
【００２８】
まず、静止画露光前の動作について説明する。予測部入力切替スイッチ４３ａは接点４３ｂが選択された状態であり、適応動作スイッチ４５はＯＮの状態である。出力切替スイッチ４６ａは接点４６ｃが選択された状態である。
【００２９】
予測部入力切替部４３の出力は、入力端子４１の信号を単位時間だけ遅延させたu(n-1)となる。単位時間とは１サンプリング期間の長さに相当する。u(n-1)は線形予測部６１に入力され、線形予測部６１は入力値u(n-1)に応じて予測値y(n)を出力する。すなわち、１サンプル前のu(n-1)に基づいて現在の予測値y(n)を生成する処理が実行される。本明細書では、１サンプル以上前の観測値から現在の予測値を得る動作を予測動作と呼ぶ。減算器６３は、取得した観測値u(n)と、線形予測部６１から取得した予測値y(n)との差分を計算する。つまり、予測処理誤差として、「e(n)=u(n)−y(n)」が算出され、適応部６２へ出力される。適応部６２は予測処理誤差e(n)を用いて、適応アルゴリズムによって線形予測部６１内のフィルタ係数を更新する。
【００３０】
静止画露光前において、出力切替部４６の出力は観測値u(n)となる。すなわち、静止画露光前の動きベクトルからのブレ信号が取得可能であるので、適応部６２によって線形予測部６１の適応動作が行われる。本明細書では、適応部６２によって線形予測部６１のフィルタ係数の更新が行われることを適応動作と呼ぶ（線形予測部や適応部の動作の詳細については後述する）。
【００３１】
次に、静止画露光直前に行われる、露光中のブレ信号の予測について説明する。予測部入力切替スイッチ４３ａは接点４３ｃが選択された状態であり、適応動作スイッチ４５はＯＦＦの状態である。出力切替スイッチ４６ａは接点４６ｂが選択された状態である。
【００３２】
予測部入力切替部４３の出力は、前回の予測値y(n-1)となり、線形予測部６１に入力される。線形予測部６１は入力値y(n-1)に応じて予測値y(n)を出力する。適応動作スイッチ４５はＯＦＦ状態であるので、適応部６２および減算器６３は動作を停止している。出力切替部４６の出力は予測値y(n)になる。この処理を予め定められた露光時間（Ｔｖと記す）にて順次繰り返していくことで、露光時間中のブレ信号を露光開始直前に取得できる。具体的には、ブレ信号のサンプリングレートをＦｓと表記すると、Ｔｖ・Ｆｓに対応する時点の予測値y(n)が算出される。この予測値y(n)がブレ補正駆動部５２および開始位置制御部５３に送られる。開始位置制御部５３は、前述したように、静止画露光中のシフトレンズ２４の駆動軌跡の重心を算出し、光軸中心位置から重心位置に相当する分だけ平行移動したブレ補正駆動の開始位置情報をブレ補正駆動部５２に送る。ブレ補正駆動部５２は、開始位置制御部５３からの開始位置情報にしたがい、シフトレンズ２４をブレ補正駆動の開始位置へと移動させる。ブレ補正駆動部５２は、予測部５１からの静止画露光中の予測ブレ信号を用いて、シフトレンズ２４を駆動してブレ補正を行う。
【００３３】
本実施形態では、静止画露光期間中であるか否かをレンズ制御部２５が予め知る必要がある。そこでカメラ制御部１０は、操作部１５のレリーズ釦が押下されて静止画撮影命令を検知すると、静止画露光のタイミング信号をレンズ制御部２５に送信する。
【００３４】
次に図７を参照し、線形予測部６１と適応部６２の構成および動作について詳説する。図７（Ａ）は静止画露光前の動作を説明する構成図である。図７（Ｂ）は静止画露光中の動作を説明する構成図である。図７では線形予測部６１及びその周辺部に限って図示しており、図６に示した切替スイッチ等は割愛した。
【００３５】
図７（Ａ）において複数の単位遅延部４２と、複数の加算部４７と、Ｍ個の係数部４４を示す。hn(1)からhn(M)はフィルタ係数をそれぞれ示す。hの右下の添え字nは、第ｎサンプル目のフィルタ係数であることを示している。u(n-1)からu(n-M)は単位遅延部４２の各出力を示す。図７（Ａ）に例示する線形予測部６１は、いわゆるトランスバーサルフィルタで構成される。適応アルゴリズムを利用可能なその他の形式のフィルタ（ラティスフィルタ等）も使用可能であるが、以下では、トランスバーサルフィルタを例にして説明する。
【００３６】
まず適応動作について説明する。予測値y(n)は最終段の加算部４７が出力し、減算部６３への負入力となる。図７（Ａ）に示す適応動作の場合、下式（１）によって現在の予測値y(n)が得られる。
【数１】
2018040919.tif 000003
式（１）中のＭはフィルタの次数を表し、予測動作や適応動作を行う対象となる信号のサンプリング周波数や、予測動作を行う時間等に応じて設定される。適応動作のためのアルゴリズム（適応アルゴリズム）には様々なものが提案されている。本明細書では、ＬＭＳ（least-mean-square）アルゴリズムについて説明する。ＬＭＳアルゴリズムは勾配法から導出されており、下式（２）によってフィルタ係数hnの更新処理が行われる。
【数２】
2018040919.tif 000004
式（２）中のμはステップサイズパラメータと呼ばれる正の係数である。e(n)は減算部６３が適応部６２に出力する予測処理誤差である。ＬＭＳアルゴリズムによると最急降下法を利用して、フィルタ係数hnが初期値から誤差最小の値に近づいていく。予測処理誤差e(n)が十分小さい場合には、予測値y(n)が観測値u(n)の良い近似値になっていることを意味する。この場合、適応動作によって更新される量は小さくなる。
【００３７】
次に予測動作について説明する。図７（Ｂ）に示すように予測動作を行う場合には、観測値u(n)の代わりに予測値y(n)が使用される。図７（Ｂ）の例では、u(n-1)に代えてy(n-1)を利用している。一方、それ以前のサンプルについては観測値を利用しているので、図７（Ｂ）は、１サンプルのみ観測値が適当に得られない場合を示している。適応動作によって予測処理誤差e(n)が十分小さくなっていれば、「u(n-1)≒y(n-1)」となるので１サンプル分の予測値で置き換えて再度求めた予測値y(n)は良い近似であることが期待される。次の予測ではu(n)の代わりにy(n)が使用される。この処理を順次繰り返していくことで、１サンプルだけでなく、それよりも少し長い区間の予測を行うことも可能である。
【００３８】
本実施形態では、静止画露光前に、動きベクトルからのブレ信号を用いて、予測部５１が予測フィルタの更新である適応動作を行う。その後、静止画撮影の命令が検出されると、予測部５１は露光中の予測ブレ信号を算出する。開始位置制御部５３は予測ブレ信号を取得し、シフトレンズ２４をブレ補正駆動開始位置に移動させ、ブレ補正駆動部５２は予測ブレ信号にしたがってブレ補正を行う。本実施形態によれば、光学式像ブレ補正を行う撮像装置において、静止画露光中にブレ補正を行いつつ、画質低下を抑えた撮影を行うことができる。
【００３９】
［第１変形例］
次に変形例を説明する。第１実施形態では、撮像素子で取得した画像から算出される動きベクトルにより、ブレ信号を検出しているが、この例に限定されない。その他のブレ検出手段として、角度ブレに対する角速度を検出するジャイロセンサ等を用いてもよい。第１変形例では図３のブロック図において、撮影レンズ２内にジャイロセンサ２６が搭載される。ジャイロセンサ２６はレンズ制御部２５に角速度検出信号を出力する。レンズ制御部２５は、角速度検出信号に対してＬＰＦ（ローパスフィルタ）処理や積分処理、ゲイン調整を行うことで、撮像素子１１上のブレ信号に変換する。このブレ信号は図４の予測部５１に送信されるので、静止画露光直前に静止画露光中の予測ブレ信号、およびブレ補正駆動開始位置を算出することができる。
【００４０】
本変形例では、動きベクトルを利用する場合と異なり、ジャイロセンサ２６による角速度検出信号を静止画露光中に取得できる。予測ブレ信号に基づいて算出されるブレ補正駆動開始位置へシフトレンズ２４が移動した後、静止画露光中には露光中に得られるジャイロセンサ２６の角速度検出信号に基づくブレ信号をそのまま利用してブレ補正が行われる。予測ブレ信号と実際の露光中のブレ信号との間には予測精度による誤差が生じるが、ブレ補正の駆動軌跡の重心位置の誤差による影響は少ないと考えられる。よって、ブレ補正の駆動開始位置を調整してから、露光中にはジャイロセンサ２６が検出した正確なブレ信号によりブレ補正を行えば、ケラレや光学収差の影響をさらに低減しつつ、高精度なブレ補正を行える。
【００４１】
ジャイロセンサ２６はブレ検出手段の一例であり、加速度センサやその他のセンサであっても同様の処理が可能である。また、これらセンサでは、サンプリングレートが１ｋＨｚや１０ｋＨｚ等であり、動きベクトルを取得する場合のサンプリングレートに比べて非常に高い。そこで、駆動軌跡の重心位置の算出処理では、取得したブレ信号のデータをダウンサプリングして演算を行うことにより、演算負荷を低減できる。
【００４２】
［第２変形例］
本変形例では、静止画露光中の予測ブレ信号から駆動軌跡の重心位置を算出する際に、駆動開始時点からの経過時間により重み付け処理を行う。例えば、静止画露光時間が長くなるにつれて予測ブレ信号の予測精度は低下していく。そこで、駆動軌跡の重心位置を算出する際に、駆動開始時点から時間が経過するにつれて、ブレ量が小さくなるように重み付け係数の値が設定される。予測ブレ信号に対して駆動開始時点からの経過時間に応じた重み付け係数を乗算して補正された値によって重心位置の算出処理が行われる。図８を参照して具体例を説明する。図８（Ａ）および（Ｂ）に設定された座標軸Ｘ，Ｙは図１の場合と同じである。
【００４３】
図８（Ａ）は、予測ブレ信号に対して時間経過による重み付け処理を行ったときの、シフトレンズ２４の駆動軌跡を表す。実線の軌跡７５は重み付け処理後の予測ブレ補正の駆動軌跡を表す。位置７７は駆動軌跡７５の重心位置を示す。点線の軌跡７６は駆動開始位置を制御した後の駆動軌跡を表している。図１の場合よりも、露光時間が長く設定されている。駆動開始時点からの経過時間による重み付け処理により、経過時間が長くなることに伴い重み付け係数値は小さく設定され、ブレ量が次第に小さくなる。すなわち図８（Ａ）は、軌跡の駆動終了位置の近傍における各点の移動量が小さくなっていることを示している。駆動軌跡から重心位置７７が算出され、ブレ補正の駆動開始位置が算出される。シフトレンズ２４は静止画露光中において軌跡７６に示す変更後の駆動軌跡にしたがってＸＹ平面内を移動し、ブレ補正を行う。
【００４４】
また図８（Ｂ）に示すように、予測ブレ信号に関して露光時間におけるブレ量が大きく、シフトレンズ２４の可動範囲を超える場合には、以下の処理が実行される。図８（Ｂ）は、予測ブレ信号の大きさが、円７１内に示す可動範囲を超える場合のシフトレンズ２４の駆動軌跡を表す図である。点線の軌跡７８は開始位置制御部５３が駆動開始位置を制御した後の予測ブレ補正の駆動軌跡を表している。駆動開始位置７８ａと駆動終了位置７８ｂを示す点は円７１の外部に位置している。開始位置制御部５３は、シフトレンズ２４の位置が可動範囲を超えることを判定した場合、ブレ補正の駆動開始位置を再度制御する。実線の軌跡７９は再制御後の駆動軌跡を表している。位置８０は再制御の際に、軌跡７８に対して重み付け処理を行って算出した重心位置を示している。
【００４５】
ブレ補正の駆動開始位置の再制御について具体例を説明する。まず、上述の処理により静止画露光直前には、露光中の予測ブレ信号より重心位置が算出され、ブレ補正の駆動開始位置が制御された駆動軌跡７８が算出される。図８（Ｂ）に示す軌跡７８は、駆動開始位置７８ａと駆動終了位置７８ｂが可動範囲（円７１内）の外部に存在しているので、それらの位置へシフトレンズ２４を移動させることはできない。そこで開始位置制御部５３は、駆動軌跡７８に対して重み付け処理を行うことで重心位置を再度算出する。具体的には、駆動終了位置７８ｂの近傍点を点７８ｃとして、それ以降のブレ信号の重み付け係数値がゼロに設定される。つまり駆動終了位置７８ｂは重心の算出に使用せず、それ以外の点でのブレ量に基づいて重心位置が算出される。重心位置８０は、点７８ｃ以降のブレ信号の重み付け係数値がゼロであるため、中心（原点）より左下方向にシフトした位置となる。開始位置制御部５３は、点７８ｃ以降を省略した軌跡７８を、その重心位置８０が中心位置に来るように再度平行移動し、駆動軌跡７９を求める。
【００４６】
本変形例では、重み付け処理を行って重心位置を算出し、駆動開始位置を再制御することで、シフトレンズ２４の位置が可動範囲（円７１内）を超えることを防止する。つまり軌跡７９の駆動開始位置７９ａ、駆動終了位置７９ｂは可動範囲内に収まるようになる。この場合、ブレ補正駆動の終了位置の近傍にてシフトレンズ２４は移動しない。可動範囲を超えてシフトレンズ２４の駆動させることはできないので、ブレ補正駆動の終了位置の近傍では予測ブレ信号の予測処理精度が低下することが懸念される。そこで、駆動開始位置側にて重み付け係数値を大きくして重みをもたせて重心位置を求め、ブレ補正の駆動開始位置を制御することが有効である。これにより、ケラレ、光学収差の影響が少ない範囲でシフトレンズ２４を駆動させることができ、画像低下を抑制できる。また、ブレ量の予測値が所定値（閾値）より大きい場合には、Ｆ値やＩＳＯ感度と連動させて、予め設定した露光時間よりも露光時間が短くなるように変更する処理が実行される。
【００４７】
また本変形例では、静止画露光前からブレ補正の駆動開始位置を常に算出しておき、順次算出される駆動開始位置へシフトレンズ２４を徐々に移動させる制御が行われる。例えば、静止画露光前の第１の時刻において、当該時刻に撮影命令が下されたとした場合の静止画露光中の予測ブレ信号を算出する処理が行われ、開始位置制御部５３はブレ補正の駆動開始位置を算出する。第１の時刻に撮影命令が下されず、実際にはその後の第２の時刻に撮影命令が発生した場合であっても、シフトレンズ２４をブレ補正の駆動開始位置へと少しずつ移動させる駆動制御が行われる。さらに、所定時間が経過すると、開始位置制御部５３は同様にブレ補正の駆動開始位置を算出し、ブレ補正駆動部５２は当該位置に向けてシフトレンズ２４を少しずつ移動させていく。これにより、撮影者が画像表示部１６の画面上で撮影画像を確認している場合、静止画露光の開始時にシフトレンズ２４が駆動開始位置へ突然動くことを防止できる。つまり、撮影者が静止画露光の開始前に画像表示部１６の画面を見てフレーミングを確認した画像と、実際に撮影される静止画像とのフレーミングのずれを低減することができる。また、静止画撮影命令から露光開始時点までのタイムラグを短縮することができる。
【００４８】
なお、静止画露光前に開始位置制御部５３が順次行う重心位置の算出処理については、ブレ信号を検出する場合のサンプリングレートの周期と一致していなくても構わない。順次更新される重心位置およびブレ補正の駆動開始位置は、ブレ信号の検出周期の間で大きく変化しないからである。例えば、ブレ信号の検出が１２０Ｈｚに対応する周期で行われている場合を想定する。この場合、ブレ信号を５点検出するごとに、つまり１／２４秒ごとに、その時刻での予測ブレ信号を求めてブレ補正の駆動開始位置を算出すればよい。このような処理を行う場合には、随時にブレ補正の駆動開始位置を算出する前に適応動作を止めて予測ブレ信号の生成前に、入力されたＭ個のブレ信号u(n）を一旦バッファメモリ（一時記憶部）に保持する処理が行われる。その後、ブレ補正の駆動開始位置が算出されたときに、再度バッファメモリに保持された入力ブレ信号を戻して、適応動作を開始させる処理が行われる。または予測部（図６、図７）を第１および第２の予測部に分割してもよい。第１の予測部は、適応動作により予測フィルタを更新する処理だけを行う。また第２の予測部は、第１の予測部の予測フィルタ係数を順次参照し、各時刻におけるブレ補正の駆動開始位置の為の予測ブレ信号を求める処理だけを行う。第１の予測部は常に図７（Ａ）の状態にあり、適応動作のみを行う。第２の予測部は常に図７（Ｂ）の状態にあり、適応動作は行わず、第１の予測フィルタ係数を順次参照して予測ブレ信号の生成のみを行う。２つの予測部による処理結果は開始位置制御部５３に送られ、ブレ補正の駆動開始位置が算出される。このように、複数の予測部を有することでも対応可能である。
【００４９】
［第３変形例］
本変形例では、補正用光学素子として、光軸に対して略直交する平面上で並進駆動される可動光学部材（シフトレンズ）以外を使用する。本変形例の補正用光学素子は、撮像光学系の光軸上の所定位置を回転中心位置として、回転駆動部によって回転される補正レンズである（回転補正方式）。あるいは、光軸に対して略直交する平面上で撮像素子を並進移動させる撮像素子駆動方式がある。これらの方式は、光学式像ブレ補正によりケラレや光学収差が発生する場合に有効である。
前記変形例は第２実施形態においても必要な変更を適宜に施した上で適用が可能である。
【００５０】
［第２実施形態］
次に図９を参照して、本発明の第２実施形態に係る撮像装置について説明する。第１実施形態では、静止画露光前に動きベクトルによるブレ検出が行われるが、手ブレ補正手段によるブレ補正は行わずに、レリーズ釦の押下による静止画撮影命令を受けてから、ブレ補正が行われる。本実施形態では、静止画撮影前の状態でもユーザが表示部のライブビュー画面上で手ブレの影響を低減した画像を確認できるように、シフトレンズ２４の駆動によるブレ補正が行われる。なお、本実施形態の撮像装置の構成は第１実施形態の場合と同様であるため、既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。
【００５１】
図３の操作部１５が備えるレリーズ釦は、第１および第２の操作状態でレリーズスイッチの動作が異なる。ユーザがレリーズ釦に対し、いわゆる半押し操作を行った状態（以下、Ｓ１と記す）と、全押し操作を行った状態（以下、Ｓ２と記す）という２つの押下状態がある。Ｓ１状態でレリーズスイッチの第１スイッチがＯＮし、Ｓ２状態でレリーズスイッチの第２スイッチがＯＮする。Ｓ１の検出前にはブレ補正が行われず、Ｓ１が検出された場合にブレ補正を開始する。Ｓ１が検出された時点からからＳ２が検出される時点までの間においては、動きベクトルによるブレ信号を用いてブレ補正が行われる。そして、Ｓ２が検出された時点で撮像装置は静止画撮影の命令を発生させる。
【００５２】
図９を参照して、本実施形態の補正に用いるブレ信号の算出および補正の動作について説明する。図９はブレ信号を算出する信号処理部を中心として示すブロック図である。位置検出部５４はシフトレンズ２４の位置を検出し、位置検出信号をブレ補正駆動部５２に出力する。ブレ補正駆動部５２はシフトレンズ２４の駆動に係るフィードバック制御を行う。つまり、位置検出部５４によるシフトレンズ２４の位置変化に応じて、ブレ補正駆動部５２はブレ補正駆動量を算出し、シフトレンズ２４の駆動制御を行う。
【００５３】
動きベクトル検出部１４の出力は２つに分岐し、その一方は切替部５５の接点５５ｂに入力され、もう一方は加算器５６に入力される。切替部５５のスイッチ５５ａはブレ補正駆動部５２の入力端子に接続されている。切替部５５は、カメラ制御部１０の制御信号にしたがって、ブレ補正駆動部５２に送られる信号を選択する処理を行う。Ｓ１検出前の状態にて、スイッチ５５ａは接点５５ｂ，接点５５ｃのいずれにも接続されていないＯＦＦ状態である。つまり、シフトレンズ２４は駆動されずに、ブレ補正が行われていない状態にある。Ｓ１が検出されると、切替部５５はスイッチ５５ａが接点５５ｂと導通する状態となるので、ブレ補正駆動部５２には動きベクトル検出部１４からの信号が入力される。動きベクトルにしたがってブレ補正が行われる状態となるので、Ｓ１の検出後に撮像素子１１で得られる画像に基づく動きベクトルの検出結果は、ブレ補正駆動部５２により補正しきれなかったブレ補正残りに相当する。そこで加算器５６は、カメラ制御部１０からのブレ補正駆動量と、動きベクトル検出部１４からのブレ補正残り量とを加算し、カメラ１での実際のブレ信号を算出する。
【００５４】
予測部５１は加算器５６の出力信号を取得して予測処理を行う。具体的には予測部５１は、カメラ制御部１０がレンズ制御部２５から取得したブレ補正駆動量の信号と、ブレ補正残り量の信号との加算結果を用いて演算を行い、Ｓ２の検出前までの間は予測フィルタの適応動作を行う。Ｓ２が検出されると予測部５１は、第１実施形態の場合と同様に予測フィルタの適応動作を停止し、静止画露光中の予測ブレ信号を生成する。予測ブレ信号は切替部５５の接点５５ｃおよび開始位置制御部５３に送られる。Ｓ２の検出後に切替部５５は、スイッチ５５ａが接点５５ｃと導通するように選択され、予測ブレ信号がブレ補正駆動部５２に送られる。それとともに、開始位置制御部５３は第１実施形態の場合と同様に、取得した予測ブレ信号から駆動軌跡の重心位置を算出し、ブレ補正の駆動開始位置を算出してブレ補正駆動部５２に出力する。ブレ補正駆動部５２は、静止画露光直前にシフトレンズ２４をブレ補正の駆動開始位置に移動させてから、予測ブレ信号にしたがってブレ補正駆動を行う。静止画露光の終了後には、予測部５１および切替部５５の状態がＳ１検出前の状態に戻る。
【００５５】
本実施形態ではＳ１検出後に光学式像ブレ補正を行う場合の予測動作およびブレ補正動作が行われる。Ｓ１検出後からブレ補正を行うことにより、撮影者はブレ補正された画像でフレーミングを行えるので、撮影の操作性が向上する。
【００５６】
［第２実施形態の変形例］
本実施形態の変形例では、第１変形例と同様に、ジャイロセンサ等を利用する。この場合、予測部５１に入力される信号に関してはブレ補正駆動部５２からの駆動量を加算する必要はなく、ジャイロセンサから検出信号をそのまま利用すればよい。
【００５７】
また第２変形例と同様に、Ｓ１の検出時点からＳ２が検出される時点までの間に順次ブレ補正駆動の開始位置を算出して、ブレ補正の駆動開始位置に向けてシフトレンズ２４を徐々に近づけていく制御が行われる。ただし、この場合、Ｓ１の検出後からシフトレンズ２４の移動によりブレ補正駆動が行われているので、ブレ補正駆動を行いつつ、ブレ補正の駆動開始位置に近づけることが必要である。例えば、各時刻におけるブレ補正駆動量に対し、現在のシフトレンズ位置から算出したブレ補正の駆動開始位置までのベクトル量に０以上１以下の係数をかけて換算した駆動量を算出してブレ補正駆動が行われる。あるいは、通常の制御では光軸中心に設定されるブレ補正信号の基準点をブレ補正駆動位置にとり、ブレ信号にハイパスフィルタ処理が施される。ブレ信号をハイパスフィルタに通すことで、ブレ補正駆動中にシフトレンズ位置が基準点に漸近するようにブレ補正駆動が行われる。このようにブレ補正駆動を行うことで、Ｓ２検出後にシフトレンズ２４がブレ補正の駆動開始位置に移動する距離が短くなる。よって、Ｓ１検出後に撮影者がフレーミングを行ったときの画像と、実際の静止画撮影で取得される画像とのフレーミングのずれを低減できる。
【００５８】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００５９】
１０  カメラ制御部
１１  撮像素子
１４  動きベクトル検出部
２４  シフトレンズ
２５  レンズ制御部
５１  予測部
５２  ブレ補正駆動部
５３  ブレ補正駆動開始位置制御部
【図１】
2018040919.tif 000005
【図２】
2018040919.tif 000006
【図３】
2018040919.tif 000007
【図４】
2018040919.tif 000008
【図５】
2018040919.tif 000009
【図６】
2018040919.tif 000010
【図７】
2018040919.tif 000011
【図８】
2018040919.tif 000012
【図９】
2018040919.tif 000013