(57)【要約】【課題】撮影光学系１１や撮像部１２の駆動可能範囲を超えるブレが生じた場合も含めて、ブレ補正効果を高める。【解決手段】撮像装置１ａは、撮像面に被写体像を結像させる撮影光学系１１と、露光期間にわたって被写体像を撮像する撮像部１２と、露光期間中における撮像装置１ａのブレを検出するブレ検出部１３と、撮像部１２又は撮影光学系１１の一部（補正光学系）を駆動する補正光学系駆動部１５と、撮像装置１ａのブレに基づいて補正光学系駆動部１５を制御して補正光学系をブレに追従させる駆動制御部１６と、補正光学系が駆動限界に達したか否かを判断する駆動限界判断部１７と、補正光学系が駆動限界に達している場合、駆動限界に達している状態で補正光学系の駆動を停止する駆動停止部１８と、撮像装置１ａのブレのうち駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する画像復元部１９とを備える。【選択図】図１
2008124728.tif 000002
【特許請求の範囲】
【請求項１】
撮像面に被写体像を結像させる撮影光学系と、予め設定された露光期間にわたって前記撮像面に結像された前記被写体像を撮像する撮像部とを備える撮像装置において、
前記露光期間中における前記撮像装置のブレを検出するブレ検出部と、
前記撮像部又は前記撮影光学系の一部を駆動する補正光学系駆動部と、
前記ブレ検出部が検出する前記撮像装置のブレに基づいて前記補正光学系駆動部を制御することにより、前記撮像部又は前記撮影光学系の一部を前記撮像装置のブレに追従させる駆動制御部と、
前記撮像部又は前記撮影光学系の一部が駆動限界に達したか否かを判断する駆動限界判断部と、
前記撮像部又は前記撮影光学系の一部が前記駆動限界に達している場合、前記駆動限界に達している状態で前記撮像部又は前記撮影光学系の一部の駆動を停止する駆動停止部と、
前記撮像装置のブレのうち前記駆動限界を超える部分について、前記被写体像のブレの軌跡に基づいて前記被写体像を画像処理することにより前記ブレを補正する画像復元部と
を備えることを特徴とする撮像装置。
【請求項２】
撮像面に被写体像を結像させる撮影光学系と、予め設定された露光期間にわたって前記撮像面に結像された前記被写体像を撮像する撮像部とを備える撮像装置において、
前記露光期間中における前記撮像装置のブレを検出するブレ検出部と、
前記撮像部又は前記撮影光学系の一部を駆動する補正光学系駆動部と、
前記ブレ検出部が検出する前記撮像装置のブレの一部分のみに基づいて前記補正光学系駆動部を制御することにより、前記撮像部又は前記撮影光学系の一部を前記撮像装置のブレの前記一部分に限定して追従させる駆動制御部と、
前記撮像装置のブレの残り部分について、前記被写体像のブレの軌跡に基づいて前記被写体像を画像処理することにより前記ブレを補正する画像復元部と
を備えることを特徴とする撮像装置。
【請求項３】
前記撮像装置のブレの一部分及び残り部分は所定の比率でそれぞれ設定されることを特徴とする請求項２記載の撮像装置。
【請求項４】
前記撮像装置のブレの一部分は、前記撮像装置のブレの等速度成分であり、前記撮像装置のブレの残り部分は、前記撮像装置のブレの加速度成分であることを特徴とする請求項２記載の撮像装置。
【請求項５】
全露光時間を所定の分割数で分割する露光分割部と、
前記撮像部が繰り返し撮像を行って生成した前記分割数の被写体像を合成する画像合成部とを更に備え、
前記露光期間は前記全露光時間を所定の分割数で分割したうちの少なくとも１つであり、前記画像復元部は、前記分割数の被写体像について前記ブレを補正し、前記画像合成部は、前記画像復元部によりブレが補正された前記分割数の被写体像を合成することを特徴とする請求項１乃至４いずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時におけるカメラのブレを検出して、静止画のブレを補正する撮像装置に関し、特に、光学式ブレ補正に、画像復元式ブレ補正を組み合わせた補正機能を備える撮像装置に関する。
【背景技術】
【０００２】
従来から、撮影時の手ブレによって生じる撮影画像の劣化を防ぐために、手ブレ補正機能を備えたカメラが知られている。手ブレ補正機能は、主に、手ブレを検出する要素と、検出結果に応じて手ブレを補正する要素により実現される。静止画の手ブレ補正機能は、近年ではデジタルカメラの差別化技術として重要になっている。
【０００３】
一般的に、手ブレを検出する要素としては、角速度センサや加速度センサなどの振動センサによりカメラの手ブレ量（振動量）を検出する方法と、撮影された画像の画像処理により手ブレ量を演算する方法がある。また、手ブレを補正する要素としては、光学系の駆動により補正を行う光学式手ブレ補正と、画像処理により補正を行う電子式手ブレ補正（例えば、特許文献１〜３参照）とがある。
【０００４】
静止画の手ブレを補正する手法としては、手ブレ検出をセンサで行って手ブレ補正を光学系駆動で行なう手法と、手ブレ検出をセンサで行って手ブレ補正を画像処理で行なう手法と、手ブレ検出を画像処理で行って手ブレ補正を画像処理で行なう手法、の３通りの組み合わせが実用化されている。
【０００５】
光学式手ブレ補正では、撮影レンズや可変頂角プリズムなどの撮影光学系や撮像素子を駆動して手ブレを補正する。これにより、撮影された画像に特別な後処理を加えること無く高い補正性能を実現できるが、光学系や撮像素子の機構的制限により追従できる手ブレ量に限界がある。一方、電子式手ブレ補正の１つに、手ブレによる画像劣化の関数であるブレ軌跡（Point  Spread  Function）から復元フィルタＨ−１を求め、ブレ画像Ｐ’に畳み込む事で手ブレ画像を改善した補正画像Ｐを計算する画像復元式手ブレ補正がある。この画像復元式手ブレ補正によれば、撮影光学系や撮像素子を駆動する駆動メカニズムが無くても手ブレを軽減することができる。
【０００６】
そこで、手ブレ補正機能を向上すべく、光学式手ブレ補正と電子式手ブレ補正とを組み合わせた補正手法が幾つか提案されている（例えば、特許文献４〜６参照）。例えば、特許文献４に開示された発明では、光学式手ブレ補正と画像復元式手ブレ補正とを組み合わせた補正手法として、手ブレを補正するためのレンズの駆動目標位置と実際に当該レンズを駆動した実駆動位置との差（制御位置誤差）を求め、撮像された画像に対して制御位置誤差を加味した画像処理による画像復元を行なっている。
【０００７】
【特許文献１】特開２００６−０８６７６２号公報
【特許文献２】特許第３１８８０８９号公報
【特許文献３】特許第３０９６５２１号公報
【特許文献４】特開２００４−２３９９６２号公報
【特許文献５】特許第３４２４６６６号公報
【特許文献６】特開２００５−１７６０５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献４に開示された補正手法では、光学式手ブレ補正が狙い通りに行なわれない場合も含めて、常にブレ補正効果を高め、確実に像ブレを補正することを解決課題としている。通常、手ブレを検出するセンサの出力にはドリフト成分が含まれ、このドリフトの影響により手ブレ検出値に誤差が生じる。特許文献４では、この誤差を光学式手ブレ補正における制御位置誤差として、画像復元式手ブレ補正により補完している。
【０００９】
しかし、特許文献４に開示された発明は、撮影光学系や撮像素子の駆動可能な範囲を超える手ブレが生じた場合にも対応できるものではない。通常、光学式手ブレ補正において、レンズや撮像素子などを駆動できる距離や領域は予め限定され、それを超えて駆動できないように設定されている。露光期間中にこの駆動距離や領域で対応できる手ブレ量を超える手ブレが発生してしまった場合、特許文献４に開示された発明では、手ブレ全体量のうち撮影光学系の駆動範囲を超える部分については、光学式手ブレ補正又は画像復元式手ブレ補正の何れの方法によっても手ブレを補正することはできない。
【００１０】
本発明は、上記問題点を解決するために成されたものであり、その目的は、撮影光学系や撮像部の駆動可能な範囲を超える手ブレが生じた場合も含めて、ブレ補正効果を高めて像ブレを補正する撮像装置を提供することである。
【課題を解決するための手段】
【００１１】
本発明の第１の特徴は、撮像面に被写体像を結像させる撮影光学系と、予め設定された露光期間にわたって撮像面に結像された被写体像を撮像する撮像部とを備える撮像装置において、露光期間中における撮像装置のブレを検出するブレ検出部と、撮像部又は撮影光学系の一部（補正光学系）を駆動する補正光学系駆動部と、ブレ検出部が検出する撮像装置のブレに基づいて補正光学系駆動部を制御することにより、撮像部又は撮影光学系の一部を撮像装置のブレに追従させる駆動制御部と、補正光学系が駆動限界に達したか否かを判断する駆動限界判断部と、補正光学系が駆動限界に達している場合、駆動限界に達している状態で補正光学系の駆動を停止する駆動停止部と、撮像装置のブレのうち駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することによりブレを補正する画像復元部とを備える撮像装置であることを要旨とする。
【００１２】
補正光学系が駆動限界に達している場合、駆動停止部が駆動限界において補正光学系の駆動を停止し、画像復元部が撮像装置のブレのうち駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することによりブレを電子的に補正する。つまり、光学式の補正限界を超えたら光学式ブレ補正を一旦停止して、以降のブレを計測して画像復元式で補正する。ブレが駆動限界内に戻ったら補正光学系の駆動を再開し、駆動制御部によって同様な処理を継続することで、駆動限界を超える部分について画像復元式で補正する。
【００１３】
光学式手ブレ補正単体では、機構的制限により補正できる手ブレ量に限界が生じる。一般に露光時間の長い長秒露光になると発生する手ブレ量が大きくなり、手ブレが補正限界を超えるとそれ以上の補正は出来なかった。第１の特徴によれば、光学式の補正限界を超えるブレを補正でき、従来の補正方法では難しかった長秒露光時の手ブレ補正が可能になる。
【００１４】
本発明の第２の特徴は、撮像面に被写体像を結像させる撮影光学系と、予め設定された露光期間にわたって撮像面に結像された被写体像を撮像する撮像部とを備える撮像装置において、露光期間中における撮像装置のブレを検出するブレ検出部と、撮像部又は撮影光学系の一部を駆動する補正光学系駆動部と、ブレ検出部が検出する撮像装置のブレの一部分のみに基づいて補正光学系駆動部を制御することにより、撮像部又は撮影光学系の一部を撮像装置のブレの一部分に限定して追従させる駆動制御部と、撮像装置のブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することによりブレを補正する画像復元部とを備える撮像装置であることを要旨とする。
【００１５】
駆動制御部が撮像装置のブレの一部分のみに基づいて補正光学系駆動部を制御することにより、補正光学系を撮像装置のブレの一部分に限定して追従させる。そして、画像復元部が撮像装置のブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することによりブレの残り部分を補正する。つまり、光学式補正を行う際に補正を完全には行わず、計測されたブレの一定割合を補正せずに残しブレとする。露光終了後に、補正せずに残したブレを画像復元によりブレ補正する。
【００１６】
これにより、光学補正量が小さくなり、機構的な補正限界を仮想的に拡大することができる。また、ＭＴＦや色収差など画質面の課題が顕著になる補正限界付近を利用する確率が減少する。
【００１７】
第２の特徴において、撮像装置のブレの一部分及び残り部分は所定の比率でそれぞれ設定しても構わない。
【００１８】
これにより、光学式補正の開始から残しブレを形成することができるので、光学式補正の負担が軽減され、機構的な補正限界を仮想的に拡大し、ＭＴＦや色収差など画質面の課題が顕著になる補正限界付近を利用する確率が減少する。
【００１９】
第２の特徴において、撮像装置のブレの一部分は撮像装置のブレの等速度成分であり、撮像装置のブレの残り部分は撮像装置のブレの加速度成分であっても構わない。
【００２０】
画像復元式ブレ補正では、加速度的なブレの方が等速度的なブレよりも補正効果が高い。なぜなら、等速度的なブレでは、画像の中の一定の空間周波数成分が完全に欠落してしまうことにより、画像復元が出来なくなるからである。この現象を避けるため、等速的なブレを光学式ブレ補正により補正し、加速度的なブレについては、光学式ブレ補正を抑制して、「残しブレ」を作るように制御し、残しブレを画像復元式ブレ補正により補正する。
【００２１】
これにより、画像復元による補正がより効果的になる。また、光学補正量が小さくなり、機構的な補正限界を仮想的に拡大することができる。また、ＭＴＦや色収差など画質面の劣化が顕著になる補正限界付近を利用する確率が減少する。
【００２２】
第１及び第２の特徴において、撮像装置は、全露光時間を所定の分割数で分割する露光分割部と、撮像部が繰り返し撮像を行って生成した分割数の被写体像を合成する画像合成部とを更に備え、露光期間は全露光時間を所定の分割数で分割したうちの少なくとも１つであり、画像復元部は、分割数の被写体像についてブレを補正し、画像合成部は、画像復元部によりブレが補正された分割数の被写体像を合成しても構わない。
【００２３】
露光分割部は全露光時間を所定の分割数で分割し、撮像部は繰り返し撮像を行って分割数の被写体像を生成し、駆動制御部は、補正光学系を撮像装置のブレに追従させ、画像復元部は分割数の被写体像についてブレを補正し、画像合成部は、画像復元部によりブレが補正された分割数の被写体像を合成する。
【００２４】
これにより、光学式ブレ補正と画像復元式ブレ補正と画像加算式ブレ補正との総ての効果を足し合わせることができるため、光学式の補正限界を超えるブレ補正が可能となり、補正範囲及び補正性能を更に向上させることができる。また、画像加算部分でロール方向の手ぶれを補正できる。さらに、長秒露光時のセンサ計測の誤差の影響も補正する事が出来る。これにより、従来の補正方法では難しかった長秒露光時の手ブレ補正が可能になる。
【発明の効果】
【００２５】
本発明によれば、撮影光学系や撮像部の駆動可能な範囲を超える手ブレが生じた場合も含めて、ブレ補正効果を高めて像ブレを補正する撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一又は類似な部分には同一又は類似な符号を付している。
【００２７】
（第１の実施の形態）
図１を参照して、本発明の第１の実施の形態に係わる撮像装置１ａの構成を説明する。撮像装置１ａは、撮像面に被写体像を結像させる撮影光学系１１と、予め設定された露光期間にわたって撮像面に結像された被写体像を撮像する撮像部１２と、露光期間中における撮像装置１ａのブレを検出するブレ検出部の一例としての角速度センサ１３と、センサからの出力信号を補正するセンサ信号補正部１４と、撮像部１２又は撮影光学系１１の一部を駆動する補正光学系駆動部１５と、角速度センサ１３が検出する撮像装置１ａのブレに基づいて補正光学系駆動部１５を制御する駆動制御部１６と、撮像部１２又は撮影光学系１１の一部が駆動限界に達したか否かを判断する駆動限界判断部１７と、撮像部１２又は撮影光学系１１の一部が駆動限界に達している場合、駆動限界に達している状態で撮像部１２又は撮影光学系１１の一部の駆動を停止する駆動停止部１８と、撮像装置１ａのブレのうち撮像部１２又は撮影光学系１１の一部の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する画像復元部１９とを備える。
【００２８】
以後、補正光学系駆動部１５が駆動する撮像部１２又は撮影光学系１１の一部を「補正光学系」と呼ぶ。
【００２９】
撮影光学系１１は、カメラの被写体と撮像部１２との間の光路上に配置された、光を集中・発散・反射・屈折させるためのレンズ・反射鏡・プリズムなどの組み合わせからなる。撮像部１２は、被写体像を結像させる撮像面を有し、デジタルカメラの場合、光信号を電気信号に変える撮像素子が例示される。撮像素子としては、電荷結合素子（ＣＣＤ）や、ＣＭＯＳイメージセンサを用いることができる。
【００３０】
角速度センサ１３は、撮影光学系１１及び撮像部１２に対して固定され、撮像装置１ａのパン（横方向）、チルト（縦、うなずき方向）の振動を検出することにより手ブレ等を計測する。パン（横方向）、チルト（縦、うなずき方向）の振動をそれぞれ異なるセンサを用いて検出しても、１つのセンサにより両方向の振動を検出してもいずれでも構わない。なお、ブレ検出部としては、角速度センサ１３の他に、角加速度センサ、角度センサ、速度センサ、或いは加速度センサを用いても構わない。
【００３１】
角速度センサ１３の出力には、温度ドリフトがあり、温度に応じた補正が必要である。また、低周波の温度ドリフトを取り除くため、ＨＰＦ（高域通過フィルタ）を用いた場合は、角速度センサの出力に露光前・露光中の振動による残留、減衰が発生するため、振動に応じた補正が必要である。さらにズームの度合いに応じて手ブレ角に対する撮像素子上での手ブレ量が異なるため、レンズ焦点距離に応じて、ブレ量を補正する。
【００３２】
補正光学系駆動部１５は、撮像装置１ａのブレに対して補正光学系を追従させることによりブレを光学的に補正する光学式ブレ補正を実施するために、補正光学系を駆動する。補正光学系の動きは、駆動制御部１６により制御される。すなわち、駆動制御部１６は、撮像装置１ａのブレに基づいて補正光学系駆動部１５を制御することにより、補正光学系を撮像装置のブレに追従させる。
【００３３】
ここで、光学式ブレ補正についてその種類と特徴を説明する。光学式ブレ補正は、レンズあるいは撮像素子を撮像装置１ａのブレとは逆方向に駆動することでブレの影響を軽減する補正手法である。光学式ブレ補正方式を２つに大別すると、レンズシフト方式と、撮像素子（ＣＣＤ、ＣＭＯＳイメージセンサ）シフト方式とに分けられる。レンズシフト方式には、撮影光学系１１に含まれる一部のレンズを光軸に対して垂直方向に移動させて光軸を偏心する方式と、可変頂角プリズム方式とが含まれる。前者の場合、防振時に偏心収差が発生するため、画面内に解像度の差が現れ、防振のため連続して光軸を上下左右に偏心させた場合、特に高周波成分を多く含む被写体を撮影した場合に画面の周辺部で解像度が時間的に変化して見える。可変頂角プリズム方式（後者）の場合、構造上補正可能な画像ブレの角度が小さく、かつプリズムを用いているためその角度が増すにつれ、色収差が発生する。撮像素子シフト方式は、撮像素子自体をブレとは逆方向に駆動することによりブレを補正する方式であるが、レンズシフト方式と同様に、駆動量の増加と共に画質の劣化が生じてしまう。このように、光軸からのズレが大きくなる事により補正光学系の駆動量も多くなり、色収差の発生や空間周波数（ＭＴＦ）の劣化など、画質面での課題が駆動限界域付近で顕著になる。
【００３４】
なお、レンズシフト方式の場合、補正光学系駆動部１５は撮影光学系１１の一部（レンズやプリズム）を補正光学系として駆動し、撮像素子シフト方式の場合、補正光学系駆動部１５は撮像部１２を補正光学系として駆動する。
【００３５】
露光期間中における撮像装置１ａのブレが補正光学系の駆動限界を超えてしまう場合、この超える部分について、上記の光学式ブレ補正を適用することはできない。そこで、駆動限界判断部１７は、補正光学系の位置、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量を検出する手段を備え、補正光学系の位置、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量から、補正光学系が駆動限界に達したか否かを判断する。そして、駆動停止部１８は、補正光学系が駆動限界に達している場合、駆動限界に達している状態で補正光学系の駆動を停止する。これにより、補正光学系は駆動限界で固定される。そして、画像復元部１９が、撮像装置１ａのブレのうち補正光学系の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する。被写体像のブレの軌跡に基づいて被写体像を画像処理することにより被写体像のブレを電子的に補正することができる。
【００３６】
ここで、画像復元部１９が行なう画像復元式ブレ補正について説明する。画像復元式ブレ補正は、露光期間中のブレ軌跡を求めておき、ブレによる画像劣化の逆フィルタをフィルタリングすることでブレ画像を改善する補正手法である。具体的には、まず、光学的ブレ補正を停止した後、つまり補正光学系の位置が駆動限界に到達した後の被写体像の動きベクトルを求める。動きベクトルから撮像装置１ａのブレによる画像劣化の関数であるブレ軌跡（ＰＳＦ）を求める。ブレ軌跡から復元フィルタ（逆フィルタ）Ｈ−１を求める。そして、（１）式に従って、ブレ画像Ｐ’に復元フィルタＨ−１を畳み込む事でブレを改善した補正画像Ｐを計算する。復元フィルタＨ−１として、５１×５１のＦＩＲフィルタを用いることができる。
【００３７】
Ｐ ＝ Ｈ−１ ＊ Ｐ’          ・・・（１）
【００３８】
図２を参照して、図１の撮像装置１ａにおけるブレ補正処理の流れを説明する。
【００３９】
（イ）先ず、予め定められた露光期間が開始すると（Ｓ１１０）、角速度センサ１３が、撮像装置１ａのブレ検出を開始する（Ｓ１２０）。このブレ検出は、露光期間中継続的に実施される。センサ信号補正部１４が、角速度センサ１３の出力信号（センサ信号）を外気温やズームの度合いに基づいて補正する（Ｓ１３０）。駆動制御部１６は、撮像装置１ａのブレに基づいて補正光学系駆動部１５を制御することにより、補正光学系を駆動して撮像装置１ａのブレに追従させる（Ｓ１４０）。このとき、駆動限界判断部１７は、補正光学系の位置、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量を検出している。
【００４０】
（ロ）駆動限界判断部１７は、補正光学系が駆動限界に達したか否かを判断する。達していなければ（Ｓ１５０にてＮｏ）、Ｓ１２０段階へ戻り、ブレ検出に基づく補正光学系の駆動を継続する。一方、駆動限界に達していれば（Ｓ１５０にてＹｅｓ）、Ｓ１６０段階に進み、駆動停止部１８は補正光学系の駆動を停止する。また、これと同時に、補正されたセンサ信号の記録を開始する。センサ信号を記録しつつ、露光期間中にブレが駆動限界内に戻るか否かを監視する。露光期間中にブレが駆動限界内に入った場合（Ｓ１６５にてＹｅｓ）、Ｓ１２０段階に戻り、ブレ検出に基づく補正光学系の駆動を再開する。露光期間中にブレが駆動限界内に戻らなければ（Ｓ１６５にてＮｏ）、センサ信号の記録を、露光期間が終了するまで継続する。
【００４１】
（ハ）露光期間が終了した後（Ｓ１７０）、画像復元部１９が撮像装置１ａのブレのうち補正光学系の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する（Ｓ１８０）。
【００４２】
なお、Ｓ１６０段階において、センサ信号の記録を開始した場合について説明したが、それ以前から、例えば露光期間開始から記録し始めても構わない。
【００４３】
以上説明したように、本発明の第１の実施の形態によれば以下の作用効果が得られる。
【００４４】
補正光学系が駆動限界に達している場合、駆動停止部１８が駆動限界において補正光学系の駆動を停止し、画像復元部１９が撮像装置１ａのブレのうち駆動限界を超える部分について、被写体像のブレの軌跡（ＰＳＦ）に基づいて被写体像を画像処理することによりブレを電子的に補正する。つまり、光学式の補正限界を超えたら光学式ブレ補正を停止して、以降のブレを計測して画像復元式で補正する。
【００４５】
光学式手ブレ補正単体では、機構的制限により補正できる手ブレ量に限界が生じる。一般に露光時間の長い長秒露光になると発生する手ブレ量が大きくなり、手ブレが補正限界を超えるとそれ以上の補正は出来なかった。撮像装置１ａによれば、光学式の補正限界を超えるブレを補正でき、従来の補正方法では難しかった長秒露光時の手ブレ補正が可能になる。
【００４６】
（第２の実施の形態）
図３を参照して、本発明の第２の実施の形態に係わる撮像装置１ｂの構成を説明する。撮像装置１ｂは、図１の撮像装置１ａに比べて、以下の点が異なる。
【００４７】
光学式ブレ補正を行う際にブレを完全に補正するのではなく、計測されたブレの一定割合を補正せずに「残しブレ」とする。露光期間終了後に、残しブレを画像復元式ブレ補正により補正する。具体的には、駆動制御部１６は、角速度センサ１３が検出する撮像装置１ｂのブレの一部分のみに基づいて補正光学系駆動部１５を制御する。これにより、補正光学系を撮像装置１ｂのブレの一部分に限定して追従させている。そして、画像復元部１９は、撮像装置１ｂのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する。また、撮像装置１ｂは駆動限界判断部１７及び駆動停止部１８を備えなくてもよい。
【００４８】
したがって、撮像装置１ｂは、図３に示すように、撮像面に被写体像を結像させる撮影光学系１１と、予め設定された露光期間にわたって撮像面に結像された被写体像を撮像する撮像部１２と、露光期間中における撮像装置１ｂのブレを検出するブレ検出部の一例としての角速度センサ１３と、センサからの出力信号を補正するセンサ信号補正部１４と、補正光学系を駆動する補正光学系駆動部１５と、角速度センサ１３が検出する撮像装置１ｂのブレの一部分のみに基づいて補正光学系駆動部１５を制御することにより、補正光学系を撮像装置１ｂのブレの一部分に限定して追従させる駆動制御部１６と、撮像装置１ｂのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することにより被写体像のブレを電子的に補正する画像復元部１９とを備える。
【００４９】
図９を参照して、第２の実施の形態における、撮像装置のブレ全体と光学式ブレ補正により補正されるブレ量との関係を説明する。図９の実線は、センサ信号補正部１４により補正された後の撮像装置のブレ全体量を示し、図９の点線が示す「光学式補正」は、駆動制御部１６が補正光学系を追従させることにより光学的に補正される撮像装置１ｂのブレ量を示す。光学的に補正されるブレの一部分と、電子的に補正されるブレの残り部分は、所定の比率でそれぞれ設定されている。
【００５０】
その他の構成については、図１の撮像装置１ａと同じであるため、説明を省略する。
【００５１】
図４を参照して、図３の撮像装置１ｂにおけるブレ補正処理の流れを説明する。
【００５２】
（イ）先ず、予め定められた露光時間が開始すると（Ｓ２１０）、角速度センサ１３が、撮像装置１ｂのブレ検出を開始する（Ｓ２２０）。このブレ検出は、露光期間中継続的に実施される。センサ信号補正部１４が、角速度センサ１３の出力信号（センサ信号）を外気温やズームの度合いに基づいて補正する（Ｓ２３０）。駆動制御部１６は、撮像装置１ｂのブレの一部分のみに基づいて補正光学系駆動部１５を制御することにより、補正光学系を駆動して撮像装置のブレの一部分に限定して追従させる（Ｓ２４０）。補正光学系の駆動と同時に、補正されたセンサ信号及び補正光学系の位置を記録する。なお、補正光学系の位置の代わりに、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量を記録してもよい。
【００５３】
（ロ）露光期間が終了したか否かを判断する。終了していなければ（Ｓ２５０にてＮｏ）、Ｓ２２０段階に戻る。一方、終了していれば（Ｓ２５０にてＹｅｓ）、Ｓ２６０段階に進み、画像復元部１９が撮像装置１ｂのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する（Ｓ２６０）。
【００５４】
ここで、補正光学系の駆動と同時に、補正されたセンサ信号及び補正光学系の位置を記録しているため、図９に示す実線と点線との差、即ち、「残しブレ」を求めることができる。したがって、画像復元部１９は、この残しブレを、撮像装置１ｂのブレの残り部分として電子的に補正することができる。
【００５５】
以上説明したように、本発明の第２の実施の形態によれば以下の作用効果が得られる。
【００５６】
駆動制御部１６が撮像装置１ｂのブレの一部分のみに基づいて補正光学系駆動部１５を制御することにより、補正光学系を撮像装置１ｂのブレの一部分に限定して追従させる。そして、画像復元部１９が撮像装置１ｂのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することによりブレの残り部分を補正する。つまり、光学式補正を行う際に補正を完全には行わず、計測されたブレの一定割合を補正せずに残しブレとする。露光終了後に、補正せずに残したブレを画像復元によりブレ補正する。
【００５７】
これにより、光学補正量が小さくなり、機構的な補正限界を仮想的に拡大することができる。また、ＭＴＦや色収差など画質面の課題が顕著になる補正限界付近を利用する確率が減少する。
【００５８】
図９に示すように、撮像装置１ｂのブレの一部分及び残り部分を所定の比率でそれぞれ設定する。これにより、光学式補正の開始から残しブレを形成することができるので、光学式補正の負担が軽減され、機構的な補正限界を仮想的に拡大し、ＭＴＦや色収差など画質面の課題が顕著になる補正限界付近を利用する確率が減少する。
【００５９】
（第２の実施の形態の変形例）
第２の実施の形態において、撮像装置１ｂのブレの一部分及び残り部分は、所定の比率でそれぞれ設定する場合に限定されない。変形例として、撮像装置１ｂのブレの一部分を撮像装置１ｂのブレの等速度成分とし、撮像装置１ｂのブレの残り部分を撮像装置１ｂのブレの加速度成分とする場合について説明する。
【００６０】
図１０を参照して、第２の実施の形態の変形例における、撮像装置１ｂのブレ全体と光学式ブレ補正により補正されるブレ量との関係を説明する。図１０の実線は、センサ信号補正部１４により補正された後の撮像装置１ｂのブレ全体量を示し、図１０の点線が示す「光学式補正」は、駆動制御部１６が補正光学系を追従させることにより光学的に補正される撮像装置１ｂのブレ量を示す。光学式ブレ補正により補正されるブレの一部分は、ブレ全体量のうち等速度成分である。ブレ全体量が露光期間中において加速度成分をもって変化した場合、画像復元式ブレ補正により補正されるブレの残り部分は、ブレ全体量からブレの等速度成分を除いた、ブレの加速度成分に相当する。
【００６１】
その他、撮像装置の構成及びそのブレ補正処理の流れについては、図３及び図４と同じであるため、説明を省略する。
【００６２】
以上説明したように、本発明の第２の実施の形態の変形例によれば以下の作用効果が得られる。
【００６３】
光学式ブレ補正により補正される撮像装置１ｂのブレの一部分は、撮像装置１ｂのブレの等速度成分とし、画像復元式ブレ補正により補正される撮像装置１ｂのブレの残り部分は、撮像装置１ｂのブレの加速度成分とする。画像復元式ブレ補正では、加速度的なブレの方が等速度的なブレよりも補正効果が高い。なぜなら、等速度的なブレでは、画像の中の一定の空間周波数成分が完全に欠落してしまうことにより、画像復元が出来なくなるからである。この現象を避けるため、等速的なブレを光学式ブレ補正により補正し、加速度的なブレについては、光学式ブレ補正を抑制して、「残しブレ」を作るように制御し、残しブレを画像復元式ブレ補正により補正する。このような補正を行うことで、画像復元による補正がより効果的になる。また、光学補正量が小さくなり、機構的な補正限界を仮想的に拡大することができる。また、ＭＴＦや色収差など画質面の劣化が顕著になる補正限界付近を利用する確率が減少する。
【００６４】
（第３の実施の形態）
第１及び第２の実施の形態では、光学式ブレ補正と画像復元式ブレ補正とを組み合わせたブレ補正手法について説明したが、本発明はこれに限定されるものではない。上記のブレ補正手法に対して、更に、画像加算式ブレ補正を組み合わせても構わない。第３の実施の形態では、光学式ブレ補正、画像復元式ブレ補正、及び画像加算式ブレ補正を組み合わせたブレ補正手法について説明する。
【００６５】
図１１を参照して、光学式ブレ補正、画像復元式ブレ補正、及び画像加算式ブレ補正を組み合わせたブレ補正手法の概要を説明する。
【００６６】
電子式ブレ補正手法の１つとして、全露光時間Ｔを複数回（分割数）に分割し、ブレの小さい画像を複数枚撮影し、撮影後に複数枚の画像を重ね合わせることで、ブレを補正する画像加算式ブレ補正がある。一般に露光時間の長い長秒露光になると発生するブレ量が大きくなり、よく知られる光学式ブレ補正ではブレ量が補正機構の限界を超えてそれ以上のブレを補正できなくなる。そこで、ブレ量が光学式ブレ補正の補正限界に到達し難いように、全露光時間Ｔを複数の露光期間に分割し、各分割期間内での露光中に光学式ブレ補正を実施しつつ各露光期間が終了する度に補正光学系を初期位置に戻し、画像として必要な明るさが得られるまで露光を繰り返した後、複数の分割画像を加算することで、ブレが補正された画像を得ることができる。ここで、各分割期間中の光学式ブレ補正において、ブレ量が光学式ブレ補正の補正限界を超えた場合、光学式ブレ補正を停止し、以降のブレを記録する。露光終了後に復元補正した画像を加算する。全露光時間を複数回に分割することと、復元式手ブレ補正を分割画像に実施することで、補正光学系が駆動限界に到達する確率を減少させることができ、かつ、駆動限界を超えた場合でも画像復元式補正により補正範囲を拡大することができ、長時間露光に対応できる。
【００６７】
ここで、図１１に示すように、全露光時間Ｔをｎ個に分割した場合、ｎ個の分割期間ｔ１〜ｔｎが形成されるが、各分割期間が、第１及び第２の実施の形態における「露光期間」にそれぞれ対応している。したがって、第３の実施の形態では、各分割時間中における撮像装置のブレに対して光学式ブレ補正を実施して、ｎ個の分割画像を撮像する。各分割期間における復元フィルタを作成し、ｎ個の分割画像に対して、対応する復元フィルタを畳み込んで画像復元を行なう。その後、各分割画像を位置合わせした上で画像加算（画像合成）を行なう。
【００６８】
図５を参照して、本発明の第３の実施の形態に係わる撮像装置１ｃの構成を説明する。撮像装置１ｃは、図１の撮像装置１ａに比べて、以下の点が異なる。
【００６９】
撮像装置１ｃは、図１の撮像装置１ａの構成要素（１１〜１９）の他に、更に、全露光時間Ｔを所定の分割数（ｎ）で分割する露光分割部２０と、撮像部１２が繰り返し撮像を行って生成した分割数（ｎ）個の被写体像を合成する画像合成部２１とを備える。図１の撮像装置１ａにおける「露光期間」は全露光時間Ｔを所定の分割数（ｎ）で分割した各分割期間に相当する。画像復元部１９は、分割数（ｎ）個の被写体像について像ブレを補正する。画像合成部２１は、画像復元部１９により像ブレが補正された分割数（ｎ）個の被写体像を合成する。
【００７０】
したがって、撮像装置１ｃは、図５に示すように、撮像面に被写体像を結像させる撮影光学系１１と、分割期間にわたって撮像面に結像された被写体像を撮像する撮像部１２と、分割期間中における撮像装置１ｃのブレを検出するブレ検出部の一例としての角速度センサ１３と、センサからの出力信号を補正するセンサ信号補正部１４と、補正光学系を駆動する補正光学系駆動部１５と、角速度センサ１３が検出する撮像装置１ｃのブレに基づいて補正光学系駆動部１５を制御することにより、補正光学系を撮像装置１ｃのブレに追従させる駆動制御部１６と、補正光学系が駆動限界に達したか否かを判断する駆動限界判断部１７と、補正光学系が駆動限界に達している場合、駆動限界に達している状態で補正光学系の駆動を停止する駆動停止部１８と、撮像装置１ｃのブレのうち補正光学系の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する画像復元部１９と、露光分割部２０と、画像合成部２１とを備える。
【００７１】
分割期間中における撮像装置１ｃのブレが補正光学系の駆動限界を超えてしまう場合、この超える部分について、上記の光学式ブレ補正を適用することはできない。そこで、駆動停止部１８は、補正光学系が駆動限界に達している場合、駆動限界に達している状態で補正光学系の駆動を停止する。これにより、補正光学系は駆動限界で固定される。そして、画像復元部１９が、撮像装置１ｃのブレのうち補正光学系の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像復元する。その後、画像合成部２１が、各被写体像を位置合わせした上で画像加算を行なう。
【００７２】
図６を参照して、図５の撮像装置１ｃにおけるブレ補正処理の流れを説明する。
【００７３】
（イ）先ず、露光分割部２０が予め定められた全露光時間Ｔを所定の分割数（ｎ）で分割する（Ｓ３１０）。そして、最初の露光期間が開始すると（Ｓ３１５）、角速度センサ１３が、撮像装置１ｃのブレ検出を開始する（Ｓ３２０）。このブレ検出は、露光期間中継続的に実施される。センサ信号補正部１４が、角速度センサ１３の出力信号（センサ信号）を外気温やズームの度合いに基づいて補正する（Ｓ３２５）。駆動制御部１６は、撮像装置１ｃのブレに基づいて補正光学系駆動部１５を制御することにより、補正光学系を駆動して撮像装置１ｃのブレに追従させる（Ｓ３３０）。このとき、駆動限界判断部１７は、補正光学系の位置、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量を検出している。
【００７４】
（ロ）駆動限界判断部１７は、補正光学系の位置、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量から、補正光学系が駆動限界に達したか否かを判断する。達していなければ（Ｓ３３５にてＮｏ）、Ｓ３２０段階へ戻り、ブレ検出に基づく補正光学系の駆動を継続する。一方、駆動限界に達していれば（Ｓ３３５にてＹｅｓ）、Ｓ３４０段階に進み、駆動停止部１８は、駆動限界に達している状態で補正光学系の駆動を停止する。また、これと同時に、補正されたセンサ信号の記録を開始する。センサ信号を記録しつつ、露光期間中にブレが駆動限界内に戻るか否かを監視する。露光期間中にブレが駆動限界内に入った場合（Ｓ３４３にてＹｅｓ）、Ｓ３２０段階に戻り、ブレ検出に基づく補正光学系の駆動を再開する。露光期間中にブレが駆動限界内に戻らなければ（Ｓ３４３にてＮｏ）、センサ信号の記録を、露光期間が終了するまで継続する。
【００７５】
（ハ）露光期間が終了した後（Ｓ３４５）、画像復元部１９が撮像装置１ｃのブレのうち補正光学系の駆動限界を超える部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する（Ｓ３５０）。
【００７６】
（ニ）ｎ個に分割した露光を総て実施したか否かを判断する。総ての分割露光を実施していない場合（Ｓ３５５にてＮｏ）、Ｓ３１５段階に戻り、実施していない分割露光を上記の手順に従って実施する。総ての分割露光を実施した場合（Ｓ３５５にてＹｅｓ）、Ｓ３６０段階に進み、画像合成部２１は、撮像部１２が繰り返し撮像を行って生成した分割数（ｎ）個の被写体像を位置あわせした上で画像合成する。
【００７７】
なお、Ｓ３４０段階において、センサ信号の記録を開始した場合について説明したが、それ以前から、例えば露光期間開始から記録し始めても構わない。
【００７８】
以上説明したように、本発明の第３の実施の形態によれば以下の作用効果が得られる。
【００７９】
露光分割部２０は全露光時間Ｔを所定の分割数で分割し、撮像部１２は繰り返し撮像を行って分割数の被写体像を生成し、駆動制御部１６は、補正光学系を撮像装置１ｃのブレに追従させ、画像復元部１９は分割数の被写体像についてブレを補正し、画像合成部２１は、画像復元部１９によりブレが補正された分割数の被写体像を合成する。これにより、光学式ブレ補正と画像復元式ブレ補正と画像加算式ブレ補正との総ての効果を足し合わせることができるため、光学式の補正限界を超えるブレ補正が可能となり、補正範囲及び補正性能を更に向上させることができる。また、画像加算部分でロール方向の手ぶれを補正できる。さらに、長秒露光時のセンサ計測の誤差の影響も補正する事が出来る。これにより、従来の補正方法では難しかった長秒露光時のブレ補正が可能になる。
【００８０】
（第３の実施の形態の変形例）
第３の実施の形態においては、光学式ブレ補正の補正限界まで補正光学系を駆動し、補正限界を超えるブレについては画像復元式ブレ補正でブレを復元している、図１及び図２に示すブレ補正方法に対して、画像加算式ブレ補正を組み合わせた実施例を説明した。しかし、本発明はこれに限定されるものではない。ブレの一部分のみに対して補正光学系を駆動し、ブレの残り部分を「残しブレ」として画像復元式ブレ補正で復元している、図３及び図４に示すブレ補正方法に対して、画像加算式ブレ補正を組み合わせることも可能である。そこで、第３の実施の形態の変形例では、図３及び図４に示すブレ補正方法に対して、画像加算式ブレ補正を組み合わせる変形例を説明する。
【００８１】
図７を参照して、本発明の第３の実施の形態の変形例に係わる撮像装置１ｄの構成を説明する。撮像装置１ｄは、図３の撮像装置１ｂに比べて、以下の点が異なる。
【００８２】
撮像装置１ｄは、図３の撮像装置１ｂの構成要素（１１〜１６、１９）の他に、更に、全露光時間Ｔを所定の分割数（ｎ）で分割する露光分割部２０と、撮像部１２が繰り返し撮像を行って生成した分割数（ｎ）個の被写体像を合成する画像合成部２１とを備える。図３の撮像装置１ｂにおける「露光期間」は全露光時間Ｔを所定の分割数（ｎ）で分割した各分割期間に相当する。画像復元部１９は、分割数（ｎ）個の被写体像について像ブレを補正する。画像合成部２１は、画像復元部１９により像ブレが補正された分割数（ｎ）個の被写体像を合成する。
【００８３】
したがって、撮像装置１ｄは、図７に示すように、撮像面に被写体像を結像させる撮影光学系１１と、分割期間にわたって撮像面に結像された被写体像を撮像する撮像部１２と、分割期間中における撮像装置１ｄのブレを検出するブレ検出部の一例としての角速度センサ１３と、センサからの出力信号を補正するセンサ信号補正部１４と、補正光学系を駆動する補正光学系駆動部１５と、角速度センサ１３が検出する撮像装置１ｄのブレの一部分のみに基づいて補正光学系駆動部１５を制御することにより、補正光学系を撮像装置１ｄのブレの一部分に限定して追従させる駆動制御部１６と、撮像装置１ｄのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理することにより被写体像のブレを電子的に補正する画像復元部１９と、露光分割部２０と、画像合成部２１とを備える。
【００８４】
その他の構成については、図３の撮像装置１ｂと同じであるため、説明を省略する。
【００８５】
図８を参照して、図７の撮像装置１ｄにおけるブレ補正処理の流れを説明する。
【００８６】
（イ）先ず、露光分割部２０が予め定められた全露光時間Ｔを所定の分割数（ｎ）で分割する（Ｓ４１０）。そして、最初の露光期間が開始すると（Ｓ４１５）、角速度センサ１３が、撮像装置１ｄのブレ検出を開始する（Ｓ４２０）。このブレ検出は、露光期間中継続的に実施される。センサ信号補正部１４が、角速度センサ１３の出力信号（センサ信号）を外気温やズームの度合いに基づいて補正する（Ｓ４２５）。駆動制御部１６は、撮像装置１ｄのブレの一部分のみに基づいて補正光学系駆動部１５を制御することにより、補正光学系を駆動して撮像装置１ｄのブレの一部分に限定して追従させる（Ｓ４３０）。このとき、位置検出部１７は、補正光学系の位置をモニターしている。また、補正光学系の駆動と同時に、補正されたセンサ信号及び補正光学系の位置を記録する。なお、補正光学系の位置の代わりに、補正光学系の駆動量、或いは補正光学系駆動部１５の制御量を記録してもよい。
【００８７】
（ロ）露光期間が終了したか否かを判断する。終了していなければ（Ｓ４３５にてＮｏ）、Ｓ４２０段階に戻る。一方、終了していれば（Ｓ４３５にてＹｅｓ）、Ｓ４４０段階に進み、画像復元部１９が撮像装置１ｄのブレの残り部分について、被写体像のブレの軌跡に基づいて被写体像を画像処理する。ここで、補正光学系の駆動と同時に、補正されたセンサ信号及び補正光学系の位置を記録しているため、「残しブレ」を求めることができる。したがって、画像復元部１９は、この残しブレを、撮像装置１ｂのブレの残り部分として電子的に補正することができる。
【００８８】
（ハ）ｎ個に分割した露光を総て実施したか否かを判断する。総ての分割露光を実施していない場合（Ｓ４４５にてＮｏ）、Ｓ４１５段階に戻り、実施していない分割露光を上記の手順に従って実施する。総ての分割露光を実施した場合（Ｓ４４５にてＹｅｓ）、Ｓ４５０段階に進み、画像合成部２１は、撮像部１２が繰り返し撮像を行って生成した分割数（ｎ）個の被写体像を位置あわせした上で画像合成する。
【００８９】
上記のように、本発明は、第１乃至第３の実施の形態及びその変形例によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。即ち、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施の形態に係わる撮像装置１ａの構成を示すブロック図である。
【図２】図１の撮像装置１ａにおけるブレ補正処理の流れを示すフローチャートである。
【図３】本発明の第２の実施の形態に係わる撮像装置１ｂの構成を示すブロック図である。
【図４】図３の撮像装置１ｂにおけるブレ補正処理の流れを示すフローチャートである。
【図５】本発明の第３の実施の形態に係わる撮像装置１ｃの構成を示すブロック図である。
【図６】図５の撮像装置１ｃにおけるブレ補正処理の流れを示すフローチャートである。
【図７】本発明の第３の実施の形態の変形例に係わる撮像装置１ｄの構成を示すブロック図である。
【図８】図７の撮像装置１ｄにおけるブレ補正処理の流れを示すフローチャートである。
【図９】撮像装置のブレ全体の時間変化と、光学式ブレ補正により補正されるブレの時間変化を示すグラフである。
【図１０】第２の実施の形態の変形例に係わる、撮像装置のブレ全体の時間変化と、光学式ブレ補正により補正されるブレの時間変化を示すグラフである。
【図１１】第３の実施の形態に係わる、光学式ブレ補正、画像復元式ブレ補正、及び画像加算式ブレ補正を組み合わせたブレ補正手法の概要を示すフローチャートである。
【符号の説明】
【００９１】
１ａ〜１ｄ…撮像装置
１１…撮影光学系
１２…撮像部
１３…角速度センサ（ブレ検出部）
１４…センサ信号補正部
１５…補正光学系駆動部
１６…駆動制御部
１７…駆動限界判断部
１８…駆動停止部
１９…画像復元部
２０…露光分割部
２１…画像合成部
【図１】
2008124728.tif 000003
【図２】
2008124728.tif 000004
【図３】
2008124728.tif 000005
【図４】
2008124728.tif 000006
【図５】
2008124728.tif 000007
【図６】
2008124728.tif 000008
【図７】
2008124728.tif 000009
【図８】
2008124728.tif 000010
【図９】
2008124728.tif 000011
【図１０】
2008124728.tif 000012
【図１１】
2008124728.tif 000013