(57)【要約】【課題】振れの予測ズレに起因する防振効果の低下を抑制する撮像装置を提供すること。【解決手段】カメラ１は、撮像画像に生じる画像の像ブレを光学的に補正する補正手段と、振れ検出手段によって検出される振れ信号に基づいて振れを予測し、予測結果に基づいて露光を制御する制御部１１３と、画像を合成する合成手段と、を有する。制御部１１３は、予測結果に基づいて像ブレを光学的に補正しながら撮像する第１の露光を行い、像ブレを電子的に補正するための露光時間の短い第２の露光を複数行い、合成手段は、第１の露光により取得した撮像画像と、第２の露光により取得した複数の撮像画像を合成する。【選択図】図３
2018064232.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像に生じる像ブレを光学的に補正する補正手段と、
振れ検出手段によって検出される振れ信号に基づいて振れを予測する予測手段と、
前記予測手段の予測結果に基づいて露光を制御する制御手段と、
画像を合成する合成手段と、を有し、
前記制御手段は、前記予測結果に基づいて前記補正手段により前記像ブレを光学的に補正しながら撮像する第１の露光を行い、前記像ブレを電子的に補正するための、前記第１の露光の露光時間より露光時間の短い第２の露光を複数行い、
前記合成手段は、前記第１の露光により取得した撮像画像と、前記第２の露光により取得した複数の撮像画像を合成することを特徴とする撮像装置。
【請求項２】
補正手段は、前記予測手段により予測された振れに基づいて、光学系の一部または撮像素子を駆動させることにより、前記像ブレを光学的に補正することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記予測手段は、撮影準備期間の振れに基づいて予測を行い、
前記第１の露光の露光時間は、前記撮影準備期間よりも短いことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第１の露光を行う露光時間が設定された総露光時間より短い場合に、前記第１の露光に続いて前記第２の露光を行うことを特徴とする請求項１乃至３のうちいずれか１項に記載の撮像装置。
【請求項５】
前記第２の露光の露光時間は像ブレが生じない時間であり、
複数の前記第２の露光の合計露光時間は、設定された総露光時間と前記第１の露光時間の差分であることを特徴とする請求項１乃至４のうちいずれか１項に記載の撮像装置。
【請求項６】
前記第２の露光を行う場合にも、前記補正手段による補正を行うことを特徴とする請求項１乃至５のうちいずれか１項に記載の撮像装置。
【請求項７】
前記合成手段は、前記撮像画像において画像の切り出し範囲を移動させて、切り出した画像を合成することを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
【請求項８】
前記検出手段は、画像信号から検出される動きベクトルに基づいて振れを検出することを特徴とする請求項１乃至７のうちいずれか１項に記載の撮像装置。
【請求項９】
前記予測手段はトランスバーサルフィルターであり、前記振れ信号に基づいてフィルタ係数を更新することで、予測フィルタを生成し、
前記第１の露光の露光時間は、前記予測フィルタの生成時間に基づいて設定され、フィルタ次数によって決定される上限を有していることを特徴とする請求項１乃至８のうちいずれか１項に記載の撮像装置。
【請求項１０】
撮像装置の制御方法であって、
振れ検出手段によって検出される振れ信号に基づいて振れを予測する工程と、
前記予測する工程の予測結果に基づいて、撮像画像に生じる像ブレを光学的に補正しながら撮像する第１の露光を行う工程と、
前記像ブレを電子的に補正するための前記第１の露光の露光時間より露光時間の短い第２の露光を行う工程と、
前記第１の露光により取得した撮像画像と、前記第２の露光により取得した複数の撮像画像を合成する工程と、を有することを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関する。
【背景技術】
【０００２】
デジタルカメラにおいて、撮影者の振れ影響を軽減する防振技術が知られている。これら防振技術では、振れの検出手段と、検出した振れ信号を用いた防振手段と、を有しており、このそれぞれの手段について複数の方式がとられている。検出手段としては、ジャイロセンサを用いる方法や、撮像素子で得られる連続画像からシフト方向の動きをベクトルとして検出する方法（以下、このベクトルを動きベクトルと呼ぶ。）がある。防振手段としては、カメラの有する鏡筒内の光学レンズをシフト方向に駆動する方法（以下、光学防振と呼ぶ。）や、振れ影響の少ない短秒露光の連続画像に、シフトを与えて合成する方法（以下、画像防振または電子防振と呼ぶ。）がある。
動きベクトルのみで振れを検出するシステムでは一眼レフカメラシステムでの撮影に伴うミラー駆動時や静止画の露光時など、連続画像を得られないタイミングにおいては振れの検出を行うことができない。そこで、特許文献１は、振れ信号が得られない期間の対策に適用が可能な技術として、振れ信号が得られない期間だけ振れ信号を予測する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１１８４５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術を適用しても、予測する時間が長くなると、実際の振れと予測信号の差（予測ズレ）が大きくなり、十分に防振を行うことができない。
【０００５】
本発明は、振れの予測ズレに起因する防振効果の低下を抑制する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の撮像装置は、撮像画像に生じる画像の像ブレを光学的に補正する補正手段と、振れ検出手段によって検出される振れ信号に基づいて振れを予測する予測手段と、前記予測手段の予測結果に基づいて露光を制御する制御手段と、画像を合成する合成手段と、を有し、前記制御手段は、前記予測結果に基づいて前記補正手段により前記像ブレを光学的に補正しながら撮像する第１の露光を行い、前記像ブレを電子的に補正するための前記第１の露光の露光時間より露光時間の短い第２の露光を複数行い、前記合成手段は、前記第１の露光により取得した撮像画像と、前記第２の露光により取得した複数の撮像画像を合成する。
【発明の効果】
【０００７】
本発明によれば、振れの予測ズレに起因する防振効果の低下を抑制する撮像装置を提供することができる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置の構成を説明するブロック図である。
【図２】長時間露光撮影における像ブレ補正について説明する図である。
【図３】本実施形態における像ブレ補正について説明する図である。
【図４】予測手段の一例を説明する図である。
【図５】動作の全体概要を示すフローチャートである。
【図６】動作の詳細を示すフローチャートである。
【図７】動作の詳細を示すフローチャートである。
【図８】動作の詳細を示すフローチャートである。
【図９】露光時間の関係を説明する図である。
【発明を実施するための形態】
【０００９】
まず、図１を参照して、本実施形態における撮像装置を適用したカメラ１について説明する。図１は、カメラ１の構成を説明するブロック図である。カメラ１は、カメラの本体部である本体部１１０と、本体部１１０に着脱可能なレンズ１００を備える。本実施形態におけるレンズ１００と本体部１１０は着脱可能であり、カメラ１はレンズ交換式のカメラシステムであるが、これに限られるものではなく、カメラボディとレンズが一体になっているカメラでもよい。
【００１０】
レンズ１００の構成を説明する。光学系１０１は、後述する撮像素子へと光束を導くレンズ群である。振れ補正レンズ１０１ａは、光学系１０１に含まれる振れ補正用のレンズである。レンズ駆動部１０２は、振れ補正レンズ１０１ａを含む各レンズを駆動する。レンズ制御部１０３は、レンズ駆動部１０２へ指示信号を送り、レンズの駆動の制御を行う。また、レンズ制御部１０３は、後述する電気接点１２０を介して、本体部１１０が備えるカメラシステム制御部１１３と信号のやり取りを行う。
【００１１】
光学系１０１の一部である振れ補正レンズ１０１ａをレンズ駆動部１０２によって駆動することにより、光学系１０１と撮像素子１１１の光学的位置関係を変更する。それにより、撮像素子１１１へと導かれる光束に対する振れの影響を抑制し、像ブレを光学的に補正する光学防振を実現している。なお、本実施形態では振れ補正レンズ１０１ａを駆動して振れの影響を取り除いているが、光学防振手段として本体部１１０に設けられた撮像素子１１１を光学系１０１の撮影光軸と略直交する平面内で駆動して、振れの影響を低減してもよい。
【００１２】
本体部１１０の構成を説明する。撮像素子１１１は、撮像光学系１０１の導いた光束を光電変換し撮像信号を出力する。画像処理部１１２は、撮像素子１１１から送られた撮像信号から画像信号を生成する。カメラシステム制御部１１３（以下、制御部１１３）は、レンズと同調した撮像装置全体を動かすための制御信号などのやり取りや、画像処理部１１２への画像処理の指示など、カメラシステム全般の制御を行う。メモリ部１１４は、取得した画像の記録を行う。表示部１１５は、画像を表示し、ユーザは表示部に表示された画像を確認することで、エイミング時の画像の確認や撮影後の画像の確認を行う。操作部１１６は、撮影者による撮影タイミングの入力や設定の変更などの操作を受け付ける。電気接点１２０は、制御部１１３とレンズ制御部１０３の信号の受け渡しの中継を行う。
【００１３】
制御部１１３についてさらに詳しく説明する。本実施形態では、撮像素子で得られる連続画像からシフト方向の動きをベクトルとして検出する方法で振れを検出し、光学防振を主に行うシステムを想定している。ここで、動きベクトルだけで振れを検出するシステムは、ジャイロセンサを搭載する必要がなく、構成を簡易化できる。制御部１１３は、画像処理部１１２とともに振れ検出手段を構成する。
【００１４】
また、動きベクトルのみで振れを検出するシステムでは一眼レフカメラシステムでの撮影に伴うミラー駆動時や静止画の露光時など、連続画像を得られないタイミングにおいては振れの検出を行うことができない。そこで、制御部１１３は、得られた振れ信号をもとに、その後の振れ信号が得られない期間の振れ信号を予測する振れ予測手段を構成する。さらに、画像処理部１１２と制御部１１３とにより、画像切り出しを行い、電子的に像ブレを補正する画像防振（電子防振）を行う画像防振手段を構成する。また、制御部１１３は、得られた画像に異なるシフト量を与え合成画像を生成する画像合成手段を構成する。
【００１５】
まず、図２を用いて、長時間（長秒）露光撮影時における像ブレ補正について説明する。
図２（Ａ）は振れ信号と、振れの予測信号、および両者のずれについて説明するグラフである。グラフの横軸は時間であり、縦軸に振れ角度をとっている。実線で示される振れ信号３００は、振れ検出手段が検出する振れ信号、または、振れ検出手段が振れ検出を行った場合に検出されうる振れ信号を示している。点線で示される振れ予測信号３０２は、振れ信号が得られない期間の振れを予測して生成される振れ予測信号を示している。一点鎖線で示される予測ズレ３０３は、振れ信号３００と振れ予測信号３０２とのずれを算出した振れ予測信号３０２の予測ズレである。
【００１６】
振れ信号が得られない期間については、振れ信号３００に基づいて振れ信号が得られない期間の振れを予測し、予測した振れ予測信号３０２に基づいて光学防振を行う。予測フィルタ生成期間３０１は、その予測を行うための予測フィルタを生成する期間を示す。予測フィルタ生成期間３０１に後続して、振れ予測信号３０２が生成される。光学防振期間３０４ａ、光学防振期間３０４ｂは、予測結果に元づいた光学防振期間であり、この期間に露光をして画像を取得する。
【００１７】
撮影中の光学防振は、予測結果である振れ予測信号３０２に基づいて行われる。予測ズレ３０３は、予測を開始してからの経過時間が長くなればなるほど増大しやすい。この予測ズレ３０３の経過時間による増大は、予測手法により差はあるものの、一般的に避けられず発生してしまう。光学防振期間３０４ａに示されるように、光学防振を行う時間が、予測ズレ３０３が大きくならない短い期間であれば、振れ予測信号３０２に基づいて良好な防振を行うことができる。しかし、光学防振期間３０４ｂに示されるように、光学防振を行う時間が長い撮影（＝露光時間が長い撮影）においては、予測ズレ３０３の増大により防振効果が低下してしまう。
【００１８】
図２（Ｂ）は、光学防振期間３０４ｂに示されるような長時間露光によって予測ズレの増大し、防振効果が低下した際の、取得画像４０１を示している。長時間露光に起因する予測ズレにより像ブレ補正効果が低減したため、取得画像４０１は像ブレが生じた画像となってしまっている。そこで、本実施形態では、この露光時間が長い撮影において、振れの予測ズレに起因する防振効果の低下を低減させる。
【００１９】
図３を用いて、本実施形態における像ブレ補正について説明する。本実施形態においては、予測ズレ３０３が大きくならない短い期間だけ光学防振を行い、それ以降は短秒露光の連続撮影による画像防振へと切り替える。
図３（Ａ）は振れ信号と、振れの予測信号、および両者のずれについて説明するグラフである。図３（Ａ）において、図２（Ａ）と同様に、グラフの横軸は時間であり、縦軸に振れ角度をとっている。予測結果に基づいた光学防振を行う光学防振期間３０４は、予測ズレ３０３が大きくならない短い期間Ｔ１である。露光３０７に示されるように、光学防振期間３０４において露光は１回だけ行われる。光学防振期間３０４に続く短秒露光撮影期間３０５は、露光３０８に示されるように、短秒露光での連続撮影を行う。短秒露光により振れ影響の少ない画像を取得することができる。光学防振期間３０４と短秒露光撮影期間３０５を組み合わせることで、予測ズレ３０３の影響が少ない期間は光学防振を行い、予測ズレ３０３が大きくなる期間は短秒露光により振れ影響の少ない画像を取得することができる。
【００２０】
図３（Ｂ）は、本実施形態における長時間露光撮影で取得した取得画像のイメージである。取得画像４０２は、光学防振期間３０４で取得される画像イメージである。予測ズレが大きくならない期間に予測結果に基づいて光学防振を行っているため、被写体にブレは見られない。一方で、撮影者が設定した総露光時間よりも短い露光時間のため露出が足りず、露出が十分な画像に対して相対的にノイズの大きくなる。
取得画像４０３に示す複数の画像イメージは、短秒露光撮影期間３０５で取得される画像イメージである。露光時間が短いために被写体に振れはみられない。一方で、振れの影響が少ない程度に短い露光時間の為、露出が取得画像４０２よりもさらに足りず、ノイズも取得画像４０２に比して大きくなる。
【００２１】
光学防振期間３０４、短秒露光撮影期間３０５にて取得した、取得画像４０２、取得画像４０３のそれぞれにシフト与えて合成することで、撮影者が望む長秒での振れのない露光画像を得ることができる。合成画像４０４が取得画像を合成した画像イメージである。振れがなく露出やノイズのＳＮが良好な画像となる。このようにして、本件では露光時間が長い撮影において予測ズレからくる防振効果の低下を解決する。
【００２２】
短秒露光で連続撮像した場合の合計露光時間と、光学防振を行い１枚撮像した場合の露光時間とが等しい場合には、画像防振（電子防振）で短秒露光の画像を複数枚合成した画像より、光学防振にて１回の露光で撮影した画像の方がＳ／Ｎが良好となる。また、短秒露光を複数枚行う際には露光間のインターバルに時間が必要となり、短秒露光の枚数が増えると露光時間とインターバルを合わせたのべ撮影時間が長くなってしまう。そのため、短秒露光を連続撮影する短秒露光撮影期間３０５ではなく、光学防振期間３０４をできるだけ長く取ることが好ましい。
【００２３】
次に、本実施形態の予測手段の一例を、図４を用いて説明する。図４に示すのは適用型の予測フィルタのブロック図である。図４（Ａ）はフィルタ生成時の動作を、図４（Ｂ）は予測信号生成時の動作を示している。
図４（Ａ）に示すように、本実施形態の予測手段はいわゆるトランスバーサルフィルターで構成されている。予測手段はこれに限られるものではなく、適当な適応アルゴリズムを利用可能なその他の形式のフィルタも用いることが可能であるが、トランスバーサルフィルターに限って説明を行う。トランスバーサルフィルターは、適応部２０４、減算器２０３、単位遅延器２００、フィルタ係数２０１、加算器２０２を有している。
【００２４】
まず、適応動作について説明する。図４（Ａ）のように適応動作を行う場合には、図からも明らかなように、下記の式（１）によって現在の予測値ｙ（ｎ）を得る。
【数１】
2018064232.tif 000003
Ｍはフィルタの次数であり、予測動作や適応動作を行う対象となる信号のサンプリング周波数、予測動作を行う時間等に応じて適当に設定する。ｕ（ｎ）は観測値を示す。ｈｎはフィルタ係数を示す。
【００２５】
適応動作のためのアルゴリズム（いわゆる適応アルゴリズム）は、様々なものが提案されている。本実施形態では、いわゆるＬＭＳアルゴリズムについて説明する。このアルゴリズムは勾配法から導出されており、下記に示す式（２）によってフィルタ係数ｈｎを更新する。ｈｎの右下の添え字ｎはｎサンプル目のフィルタ係数であることを示している。なお、図４（Ａ）では、静的な状態を示すため、ｈｎの添え字ｎは省略している。
【数２】
2018064232.tif 000004
ここでμはステップサイズパラメータと呼ばれる正の係数である。ＬＭＳアルゴリズムによると、いわゆる最急降下法を利用して、フィルタ係数ｈｎは初期値から誤差最小の値に近づいていく。予測誤差ｅ（ｎ）が十分小さくなれば（予測値ｙ（ｎ）が観測値ｕ（ｎ）の良い近似値になっていることを意味する）、適応動作によって更新される量は小さくなる。
【００２６】
次に予測動作について説明する。図４（Ｂ）に示すように予測動作を行う場合には、観測値ｕ（ｎ）の替わりに予測値ｙ（ｎ）を利用する。図４（Ｂ）の例ではｕ（ｎ−１）の替わりにｙ（ｎ−１）を利用している。一方、それ以前のサンプルは観測値を利用しているので、図４（Ｂ）は１サンプルのみ観測値が適当に得られない場合を示している。
前述した適応動作によって予測誤差ｅ（ｎ）が十分小さくなっていれば、ｕ（ｎ−１）≒ｙ（ｎ−１）となるので１サンプル分予測で置き換えて再度求めた予測値ｙ（ｎ）も良い近似であることが期待される。次の予測では、ｕ（ｎ）の替わりにｙ（ｎ）を利用する。これを順次繰り返していくことで、１サンプルだけでなくもう少し長い区間の予測を行うことも可能である。
【００２７】
本実施形態では、上記に説明した予測手段を例として、その特性に合わせて光学防振期間の時間長さを決定する。
本実施形態では、光学防振期間の時間長さを決めるために、フィルタ係数を更新する期間である予測フィルタ生成期間を用いる。予測フィルタ生成期間は撮影時の状況に変化する値であり、予測フィルタ生成期間を考慮することで、さまざまな撮影準備期間に対応する。
【００２８】
予測フィルタの係数であるｈｎは、ｕ（ｎ）へと信号が順次入力されることで適応動作により更新される。そして、予測フィルタを用いて生成した予測値ｙ（ｎ）の予測誤差ｅ（ｎ）が十分に小さくなるまで更新が行われると、精度のよい予測が行えるようになる。ここで、予測フィルタの生成のためにｕ（ｎ）へと入力される振れ信号の長さが、学習のために使われる信号の長さそのものである。そのため、予測フィルタ生成期間が、光学防振を行う期間を決めるパラメータとなる。
【００２９】
フィルタ係数の更新のために、低域を含む十分な長さの信号がｕ（ｎ）へと入力され、予測誤差ｅ（ｎ）が十分に小さい場合、フィルタ生成に用いられた信号が含む低域成分まで予測が可能だと言える。そのため、フィルタ更新のためにｕ（ｎ）へと入力する信号のデータ長さに相当するフィルタ生成期間の時間長さが、予測の精度を決定する。よって、フィルタ生成期間の時間長さが前述した光学防振を行う期間を決める１つのパラメータとなる。また、フィルタ次数およびフィルタ生成期間と低域の予測精度の関係は、図４で示したフィルタの例以外でも、適用型の予測手段においては一般的に成り立つものである。
【００３０】
上記の関係を踏まえて、予測フィルタの生成期間に基づいた具体的な光学防振期間の決め方を説明する。例えば、以下の式（３）などを用いて、光学防振を行う期間を決定する。
【数３】
2018064232.tif 000005
ここでＴＩＳ−ｓｅｔは予測フィルタの生成期間に基づいた光学防振を行う時間長さ、Ｔｓｅｔは予測フィルタ生成期間の時間長さを示す。ｎλは精度の高い予測を行うために予測フィルタに含まれる必要のある波長の数、ｒｐは振れに含まれる帯域成分のうち着目した１つの帯域の影響が小さいと考えられる位相の割合を示す。例えば、予測フィルタ生成期間の長さＴｓｅｔが１秒だったとする。このＴｓｅｔにｎλ＝２波長分の波形が含まれる信号は予測可能であるとすると、１／２秒＝２Ｈｚの信号までは予測が可能ということになる。ここで、予測ができない２Ｈｚ以下の信号がｒｐ＝１／２波長以上含まれると波長の振幅の正側ピークと負側ピークを含み予測ズレが大きくなると考える。すると、１／２×１／２＝１／４秒以上の時間予測を行う光学防振を行うのは好ましくない。上記の例のように、光学防振を行う期間を決定することができる。なお、ｎλの値は、適用アルゴリズムの精度により異なると考えられる。精度のよい適用アルゴリズムを用いる場合には、より長い時間光学防振を行うことができる。また、ｒｐは安全率であり、ここでは１／２波長としたが、設計にて許容する振れにより値を異ならせればよい。
【００３１】
また、どんなに長い期間をフィルタ生成期間としても、設計値であるフィルタ次数により予測可能な期間の限界は最終的決まると考えられる。そのため、フィルタ次数による閾値を設け、ＴＩＳ−ｓｅｔの上限を決めるなどしてもよい。上記のようにして、撮影準備期間に応じて、予測結果である予測信号に基づく光学防振を行う第１の露光の時間（光学防振期間３０４）を決定する。
総露光時間から、ＴＩＳ−ｓｅｔを差し引いた時間が短秒露光を行う期間（短秒露光撮影期間３０５）である。短秒露光のそれぞれの撮影における露光時間は、一般的に振れの影響が少ないと言われるレンズ光学系の焦点距離分の１以下とすればよい。例えばレンズ光学系の焦点距離ｆ＝５０ｍｍの時には、１／５０秒以下とすればよい。
【００３２】
予測フィルタの予測誤差ｅ（ｎ）に着目する。十分な長さのフィルタ生成期間を持つ場合、予測誤差ｅ（ｎ）は小さな値となり、精度の高い予測が可能となる。しかし、仮に予測フィルタの生成中に突発的な大きな振れ信号が入力されたとする。この時、これまで生成していたフィルタで予測可能な振れ信号の成分とは異なる成分の影響を受け、予測誤差ｅ（ｎ）は大きな値となる。このように、予測誤差ｅ（ｎ）が大きな値の場合、予測を行う信頼性が低下してしまう。そのため、予測誤差ｅ（ｎ）が大きな値をとる場合には、例えば光学防振を行わずに、短秒露光撮影だけを行ってもよい。
【００３３】
本実施形態の動作を図５〜図８に示すフローチャートにて説明する。図５は、動作の全体概要を示すフローチャートである。図６〜図８は、図５にて示される各ステップの動作の詳細を説明するフローチャートである。
【００３４】
まず、図５について説明する。ステップＳ５００は、動作のスタートを示す。動作は、例えば、動作が行われる撮影モードへの移行などによりスタートする。
ステップＳ５０１ではスイッチＳ１がＯＮかどうかの判定が行われる。スイッチＳ１は、操作部１１６の１つである不図示のレリーズボタンの２段階ある押圧状態の１段階目（半押し状態）を示す。スイッチＳ１がＯＮの場合には、次のステップ動作に進み、ＯＮでない場合には、引き続き待機状態を保持する。
ステップＳ５０２では、撮影準備期間を開始する。撮影準備期間では、予測フィルタの生成を行う。ステップＳ５０２の詳細は、図６（Ａ）において説明する。
【００３５】
次にステップＳ５０３では、スイッチＳ２がＯＮかどうかの判定を行う。スイッチＳ２は、レリーズボタンを１段階目より深く押圧した２段階目の状態（全押し状態）である。スイッチＳ２がＯＮの場合にはステップＳ５０４へと進み、ＯＮでない場合には待機状態を保持する。
ステップＳ５０４は撮影準備期間の終了を行う。撮影準備期間の終了において、予測フィルタ生成を終了し、予測信号の生成を行う。ステップＳ５０４の詳細は、図６（Ｂ）において説明する。
【００３６】
ステップＳ５０５では、防振方式切り替えタイミングを決定する。防振切り替えタイミングの決定においては、撮影準備期間情報Ｄ１０６を参照する。ここで撮影準備期間とは、予測フィルタ生成期間など予測にかかわるパラメータを指す。ステップＳ５０５の詳細は、図７において説明する。
【００３７】
ステップＳ５０７において、予測結果である予測ブレに基づき光学防振を行う第１の露光を行う。そして、続くステップＳ５０８では、露光時間の短い第２以降の露光が行われる。ステップＳ５０７の詳細は図８（Ａ）において、ステップＳ５０８の詳細は図８（Ｂ）において説明する。
ステップＳ５０９では、第１の露光および第２の露光で得られた画像を、画像の切り出し範囲を移動させて、切り出した画像を合成し、合成画像を生成する。このとき、各画像間の動きベクトルを算出し、動きベクトルに応じたシフト量を与えることで被写体像を重ね合わせて合成を行うことが好ましい。
そして、ステップＳ５１０で動作が終了する。以上が、本実施形態の撮影動作の概要である。
【００３８】
なお、フローに沿った露光のイメージが図３（Ａ）の下部に示されている。Ｓ５のＯＮからＳ６のＯＮまでは、露光３０６に示されるように連続して予測フィルタ生成の為の短秒露光での画像情報取得が行われる（ステップＳ５０２）。この時、振れの検出が可能である。次に、Ｓ５のＯＮに後続して、光学防振期間の露光３０７が継続される（ステップＳ５０７）。そして、予測ズレ３００が大きくなった後は、連続して短秒露光である露光３０８が行われる（ステップＳ５０８）。
【００３９】
図６（Ａ）は、撮影準備開始を行うステップＳ５０２の詳細を示したフローチャートである。
ステップＳ６００は、撮影準備開始のスタートを示している。
ステップＳ６０１で、制御部１１３が総露光時間ＴＡＬＬを決定する。ここで総露光時間は、撮影者自身が設定を行ういわゆるマニュアル操作でのシャッター秒時を指す。もしくは、いわゆる自動露出制御により、制御部１１３が、撮像素子１１１の感度、レンズ１００の有する不図示の絞りの絞り値と関連して算出するシャッター秒時であってもよい。自動露出制御については、従来よく知られる技術であるため詳細は割愛する。
ステップＳ６０２で、振れ検出手段は振れ信号の検出を開始する。画像処理部１１２と制御部１１３により、振れ信号は、連続的に取得される画像信号から順次取得される。
ステップＳ６０３で、制御部１１３からの振れ信号に基づき、レンズ制御部１０３による光学防振が開始される。ここでの光学防振は、本露光に先だって行われるものであり、エイミングのしやすさ向上を目的に行われる。
ステップＳ６０４で、制御部１１３は予測フィルタの生成を開始する。この動作は、前述のとおり、ステップＳ６０１で検出が開始された振れ信号を図４で説明した観測値ｕ（ｎ）として入力し、フィルタ係数ｈｎを更新することで行われる。
そして、ステップＳ６０５において、撮影準備動作開始のフローが終了する。以上が、撮影準備開始を行うステップＳ５０２の動作である。
【００４０】
次に、図６（Ｂ）を用いて、撮影準備終了を行うステップＳ５０４を説明する。
ステップＳ６１０は撮影準備終了のスタートを示している。
ステップＳ６１１で、ステップＳ６０２で開始した振れ信号に基づいた光学防振を終了する。
ステップＳ６１２において、制御部１１３における予測フィルタの更新が停止する。
ステップＳ６１３で、制御部１１３は、総露光時間の予測信号を生成する。ここでステップＳ６１２からステップＳ６１３への移行は、図４の予測フィルタにおける、フィルタ生成時のブロック図４（Ａ）から、予測信号生成時のブロック図４（Ｂ）への移行を示している。
ステップＳ６１４において、撮影準備終了のフローが終了する。以上が、撮影準備終了を行うステップＳ５０４の動作である。
【００４１】
次に、図７を用いて防振方式切り替えタイミング決定を行うステップＳ５０５を説明する。
ステップＳ７２０は、防振方式切り替えタイミング決定のスタートを示している。
ステップＳ７２１で、制御部１１３は、フィルタ生成時間に基づき前述の方法で時間ＴＩＳ−ｓｅｔを決定する。フィルタ生成時間は、撮影準備期間情報Ｄ１０６として与えられる。
ステップＳ７２２で、制御部１１３は、時間ＴＩＳ−ｓｅｔを第１の露光時間Ｔ１として設定する。この第１の露光時間Ｔ１では、前述のとおり予測信号を用いた光学防振を行う。
ステップＳ７２３で、制御部１１３は、第１の露光時間Ｔ１が総露光時間ＴＡＬＬより小さいかどうかの判定を行う。時間Ｔ１が時間ＴＡＬＬに比べ短い場合には、ステップＳ７２４に進む。総露光時間ＴＡＬＬよりＴ１が短い場合には、ステップＳ７２５に進む。
【００４２】
ステップＳ７２４で、制御部１１３は、第２の露光時間Ｔ２を設定する。
ここで露光時間Ｔ２と総露光時間ＴＡＬＬ、露光時間Ｔ１の関係を図９で説明する。
総露光時間ＴＡＬＬからＴ１を差し引いた差分の時間が、短秒露光の和として露光したい時間である。その時間を、振れの影響のない露光時間Ｔｓで分割する。これに加えて、各露光間に必要なインターバルＴＩを挟んだ時間がＴ２となる。
【００４３】
図７の説明に戻り、ステップＳ７２５では、総露光時間ＴＡＬＬを第１の露光時間Ｔ１に設定する。この時、総露光時間ＴＡＬＬが十分に短いため、振れ予測信号に基づいた光学防振を総露光時間ＴＡＬＬだけ行っても、十分な防振効果を得ることができる。
ステップＳ７２６は、ステップＳ５０５の終了を示す。以上が、防振切り替えタイミング決定のステップＳ５０５の動作である。
【００４４】
次に、図８（Ａ）を用いて、予測ブレに基づき光学防振を行い第１の露光を行うステップＳ５０７の詳細を説明する。
ステップＳ８４０はステップＳ５０７のスタートを示している。
ステップＳ８４１では、予測ブレに基づいて、レンズ制御部１０３がレンズ駆動部１０２を制御して、光学防振を開始する。
ステップＳ８４２では、第１の露光時間Ｔ１で撮像を行い、画像を取得する。時間Ｔ１が経過した後に次のステップへと進む。
ステップＳ８４３は、ステップＳ５０７の終了を示している。以上が予測ブレに基づき光学防振を行う第１の露光のステップＳ５０７の動作である。
【００４５】
次に、図８（Ｂ）を用いて露光時間の短い第２以降の露光のステップＳ５０８を説明する。
ステップＳ８５０は、第２以降の露光のスタートを示している。
ステップＳ８５１では、制御部１１３が、第２の露光時間Ｔ２が設定されているかどうかの判定を行う。第２の露光時間Ｔ２が設定されている場合には、ステップＳ８５２に進む。第２の露光時間Ｔ２が設定されていない場合には、ステップＳ８５２を飛ばしステップＳ８５３に進む。
ステップＳ８５２では、第２の露光時間Ｔ２だけ短秒露光を繰り返し、短秒露光の画像を複数取得する。時間Ｔ２が経過した後にステップＳ８５３へと進む。
ステップＳ８５３はステップＳ５０８の終了を示している。以上が、露光時間の短い第２以降の露光のステップＳ５０８の動作である。なお、図３にＴｓｅｔ、Ｔ１、Ｔ２の振れ信号、振れ予測信号との関係を示している。
【００４６】
以上のように、本実施形態によれば、光学防振と画像防振を併用し、振れの予測信号の精度が高い第１の期間は予測信号に基づく光学防振を実行しながら撮像し、予測信号の精度が悪化する第２の期間は画像防振を実行しながら短秒露光での撮像を複数行う。そして、取得した画像を合成することでＳＮの良好な長秒撮像画像を生成し、総撮影時間を短縮することが可能となる。
【００４７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００４８】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４９】
１        カメラ
１０１    光学系
１０１ａ  振れ補正レンズ
１０２    レンズ駆動部
１０３    レンズ制御部
１１２    画像処理部
１１３    カメラシステム制御部
【図１】
2018064232.tif 000006
【図２】
2018064232.tif 000007
【図３】
2018064232.tif 000008
【図４】
2018064232.tif 000009
【図５】
2018064232.tif 000010
【図６】
2018064232.tif 000011
【図７】
2018064232.tif 000012
【図８】
2018064232.tif 000013
【図９】
2018064232.tif 000014