(57)【要約】【課題】比較的に小型・安価な撮像装置においても、操作性を損なうことなく、ぶれに起因する撮影画像の劣化を効果的に防止する。【解決手段】レリーズボタン３の半押しを契機に（ステップＳ３０１）、ＡＦ、ＡＥを実行して（ステップＳ３０２）、通常のプログラム線によるシャッタ速度Ｔ０の仮決定を行い（ステップＳ３０３）、ぶれ情報を監視しながら全押しを待ち（ステップＳ３０４、３０５）、検出されたぶれ情報に基づいてシャッタ速度Ｔ０で撮影したときの予測ぶれ量を算出し（ステップＳ３０６）、予測ぶれ量が閾値Ｐ２よりも大きい場合には（ステップＳ３０７）、高速プログラム線を使用して感度、絞り、シャッタ速度を再演算して、ぶれの復元演算が有効な範囲にぶれ量が収まるようなシャッタ速度Ｔ１を決定して（ステップＳ３０８）、撮影を行う。【選択図】  図６Ａ
2008209650.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
前記光学系の像を画像データとして取得する撮像素子と、
前記光学系の被写体に対する相対的な変位をぶれ情報として検出するぶれ検出手段と、
前記撮像素子の露光中に前記ぶれ検出手段が検出した前記ぶれ情報を記憶した記憶手段と、
前記撮像素子が取得した劣化した画像データを前記記憶手段に記憶されたぶれ情報に基づき劣化がない画像データへ復元する復元手段と、
所定のプログラムに基づき設定される前記撮像素子の露光時間と当該撮像素子の露光前に前記ぶれ検出手段の検出する前記ぶれ情報とから当該露光時間で露光した際に発生するぶれ量を予測する予測手段と、
前記予測手段の予測したぶれ量が所定の値以上の時は、前記プログラムに基づき設定された露光時間を変更する変更手段と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記所定の値は、前記復元手段による復元効果が認められる前記撮像素子のピクセル数に対応したぶれ量に基づき設定されることを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記所定の値は、前記復元手段が予測される前記ぶれ量の復元に要する処理時間に基づき設定されることを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記変更手段は、前記撮像素子の撮像感度および前記光学系の絞りの少なくとも一方を変更し、前記プログラムに基づき設定された露光時間が短くなるように変更することを特徴とする撮像装置。
【請求項５】
光学系と、
前記光学系の像を画像データとして取得する撮像素子と、
前記光学系の被写体に対する相対的な変位をぶれ情報として検出するぶれ検出手段と、
前記撮像素子の露光中に前記ぶれ検出手段が検出した前記ぶれ情報を記憶した記憶手段と、
前記撮像素子が取得した画像データを前記記憶手段に記憶された前記ぶれ情報に基づき、ぶれによる劣化のない画像データへ復元する第１ぶれ補正手段と、
前記撮像素子が取得した複数の画像データを前記記憶手段に記憶されたぶれ情報に基づき、ぶれによる劣化のない画像データへ合成する第２ぶれ補正手段と、
所定プログラムに基づき設定される前記撮像素子の露光時間と当該撮像素子の露光動作前に前記ぶれ検出手段の検出するぶれ量とから当該露光時間で露光した際に発生するぶれ量を予測する予測手段と、
を含み、
予測した前記ぶれ量が所定値以下の時は、前記露光時間で撮像素子から画像データを取得して、前記第１ぶれ補正手段によって画像データの復元動作を行い、
予測した前記ぶれ量が所定値より大きい時は、前記露光時間より短い露光時間を設定して前記撮像素子から複数の画像データを取得して、前記第２ぶれ補正手段によって画像データの合成動作を行うことを特徴とする撮像装置。
【請求項６】
光学系と、前記光学系の像を画像データとして取得する撮像素子と、を含む撮像装置の制御方法であって、
撮影前に前記光学系の被写体に対する相対的な変位としてのぶれ情報を検出するステップと、
現在の前記撮像素子の感度および／または露光時間の設定状態と、前記ぶれ情報とから、撮影時に前記撮像素子から取得される画像データに発生するぶれ量を予測するステップと、
前記ぶれ量に起因する前記画像データの劣化の復元可能な範囲に当該ぶれ量が収まるように撮影時の前記撮像素子の感度および露光時間の少なくとも一方を制御するステップと、
を含むことを特徴とする撮像装置の制御方法。
【請求項７】
光学系と、前記光学系の像を画像データとして取得する撮像素子と、を含む撮像装置の制御方法であって、
撮影前に前記光学系の被写体に対する相対的な変位としてのぶれ情報を検出するステップと、
現在の前記撮像素子の感度および／または露光時間の設定状態と、前記ぶれ情報とから、撮影時に前記撮像素子から取得される画像データに発生するぶれ量を予測するステップと、
前記ぶれ量が、所定の閾値以下の場合には、前記ぶれ量に基づいて前記画像データの劣化を復元する第１ぶれ補正操作を実行し、
前記ぶれ量が、前記閾値より大きい場合には、前記露光時間より短い露光時間を設定して前記撮像素子から複数の画像データを取得して合成動作を行う第２ぶれ補正操作を実行するステップと、
を含むことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像装置の制御方法に関し、たとえば、手ぶれを検出してぶれ画像をぶれのない画像に復元する撮像装置および画像復元方法に関する。
【背景技術】
【０００２】
デジタルカメラ、ビデオカメラなどの撮像装置においては、撮像時の手ぶれによる劣化画像を補正して原画像に近い画像を復元する機能が求められている。たとえば、デジタルカメラ（以下、「カメラ」と適宜略す）においては、たとえば特許文献１に開示されているように、静止画などの手ぶれ補正は角速度センサなどを用いてカメラの手ぶれの軌跡を検出し、検出したぶれ軌跡に基づいて撮像後に所定の画像復元演算（点ひろがり関数（ＰＳＦ：Point Spread Function）を用いる方法など）を行なう技術が知られている。
【０００３】
一方、別の電子的なぶれ補正方法で、高速に複数枚の画像を撮像して、それを検出したぶれ情報に基づいてぶれを相殺するようにずらして重ね合わせ合成する方法も知られている。
【０００４】
１枚の撮像画像から画像処理によって復元するタイプの電子式の静止画補正は、光学式・機械式にくらべて装置が小型・安価で提供できる。反面、ぶれ量が大きくなると補正の効果が光学式・機械式にくらべて弱くなる特性がある。
【０００５】
特に、ぶれ量が所定値よりも大きくなると、急激に補正処理の効果が薄れたり、処理の副作用で画像が劣化したりするという特性がある。デジタルカメラなどの小型撮像装置によく用いられる小型の演算回路（ＬＳＩ）などで処理を行なう場合、演算処理の能力や速度が限られるため、演算に用いる関数に制約があり、ぶれ量が所定のレベルを超えると、急激に補正処理の効果が薄れ、復元後の画像が所望のレベルを実現できなくなる、という技術的課題がある。
【０００６】
また、ぶれ量が所定値よりも大きくなると、小型の演算回路においては演算が複雑化し、処理の時間が大幅に伸びてしまうという特性があるため、ユーザの待ち時間が長くなり、操作性が低下するという技術的課題もある。
【０００７】
一方、別の電子的なぶれ補正方法として、高速に複数枚の画像を撮像して、それを検出したぶれ情報に基づいてぶれを相殺するようにずらして重ね合わせて合成する方法が知られている。この方法では、高速で撮像するので感度を相当高くする必要があり、ぶれが所定値以下の場合は画像の質感は１枚から復元する方法に及ばない。また撮像の際の消費電流も大きく、常用する場合には電池の負担が大となることが懸念される。ただしぶれが所定値以上になっても、ある程度のぶれ防止効果を出すことはできる。
【特許文献１】特開２００６−２２９３９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、比較的に小型・安価な撮像装置においても、操作性を損なうことなく、ぶれに起因する撮影画像の劣化を効果的に防止することが可能な技術を提供することにある。
【０００９】
本発明の他の目的は、撮影時のぶれの大小に影響されることなく、ぶれに起因する撮影画像の劣化を確実に防止することが可能な技術を提供することにある。
本発明の他の目的は、撮影時のぶれの大小に影響されることなく、かつ消費電力を必要以上に増加させることなく、ぶれに起因する撮影画像の劣化を確実に防止することが可能な技術を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点は、光学系と、
前記光学系の像を画像データとして取得する撮像素子と、
前記光学系の被写体に対する相対的な変位をぶれ情報として検出するぶれ検出手段と、
前記撮像素子の露光中に前記ぶれ検出手段が検出した前記ぶれ情報を記憶した記憶手段と、
前記撮像素子が取得した劣化した画像データを前記記憶手段に記憶されたぶれ情報に基づき劣化がない画像データへ復元する復元手段と、
所定のプログラムに基づき設定される前記撮像素子の露光時間と当該撮像素子の露光前に前記ぶれ検出手段の検出する前記ぶれ情報とから当該露光時間で露光した際に発生するぶれ量を予測する予測手段と、
前記予測手段の予測したぶれ量が所定の値以上の時は、前記プログラムに基づき設定された露光時間を変更する変更手段と、
を含む撮像装置を提供する。
【００１１】
本発明の第２の観点は、第１の観点に記載の撮像装置において、
前記所定の値は、前記復元手段による復元効果が認められる前記撮像素子のピクセル数に対応したぶれ量に基づき設定される撮像装置を提供する。
【００１２】
本発明の第３の観点は、第１の観点に記載の撮像装置において、
前記所定の値は、前記復元手段が予測される前記ぶれ量の復元に要する処理時間に基づき設定される撮像装置を提供する。
【００１３】
本発明の第４の観点は、第１の観点に記載の撮像装置において、
前記変更手段は、前記撮像素子の撮像感度および前記光学系の絞りの少なくとも一方を変更し、前記プログラムに基づき設定された露光時間が短くなるように変更する撮像装置を提供する。
【００１４】
本発明の第５の観点は、光学系と、
前記光学系の像を画像データとして取得する撮像素子と、
前記光学系の被写体に対する相対的な変位をぶれ情報として検出するぶれ検出手段と、
前記撮像素子の露光中に前記ぶれ検出手段が検出した前記ぶれ情報を記憶した記憶手段と、
前記撮像素子が取得した画像データを前記記憶手段に記憶された前記ぶれ情報に基づき、ぶれによる劣化のない画像データへ復元する第１ぶれ補正手段と、
前記撮像素子が取得した複数の画像データを前記記憶手段に記憶されたぶれ情報に基づき、ぶれによる劣化のない画像データへ合成する第２ぶれ補正手段と、
所定プログラムに基づき設定される前記撮像素子の露光時間と当該撮像素子の露光動作前に前記ぶれ検出手段の検出するぶれ量とから当該露光時間で露光した際に発生するぶれ量を予測する予測手段と、
を含み、
予測した前記ぶれ量が所定値以下の時は、前記露光時間で撮像素子から画像データを取得して、前記第１ぶれ補正手段によって画像データの復元動作を行い、
予測した前記ぶれ量が所定値より大きい時は、前記露光時間より短い露光時間を設定して前記撮像素子から複数の画像データを取得して、前記第２ぶれ補正手段によって画像データの合成動作を行う撮像装置を提供する。
【００１５】
本発明の第６の観点は、光学系と、前記光学系の像を画像データとして取得する撮像素子と、を含む撮像装置の制御方法であって、
撮影前に前記光学系の被写体に対する相対的な変位としてのぶれ情報を検出するステップと、
現在の前記撮像素子の感度および／または露光時間の設定状態と、前記ぶれ情報とから、撮影時に前記撮像素子から取得される画像データに発生するぶれ量を予測するステップと、
前記ぶれ量に起因する前記画像データの劣化の復元可能な範囲に当該ぶれ量が収まるように撮影時の前記撮像素子の感度および露光時間の少なくとも一方を制御するステップと、
を含む撮像装置の制御方法を提供する。
【００１６】
本発明の第７の観点は、光学系と、前記光学系の像を画像データとして取得する撮像素子と、を含む撮像装置の制御方法であって、
撮影前に前記光学系の被写体に対する相対的な変位としてのぶれ情報を検出するステップと、
現在の前記撮像素子の感度および／または露光時間の設定状態と、前記ぶれ情報とから、撮影時に前記撮像素子から取得される画像データに発生するぶれ量を予測するステップと、
前記ぶれ量が、所定の閾値以下の場合には、前記ぶれ量に基づいて前記画像データの劣化を復元する第１ぶれ補正操作を実行し、
前記ぶれ量が、前記閾値より大きい場合には、前記露光時間より短い露光時間を設定して前記撮像素子から複数の画像データを取得して合成動作を行う第２ぶれ補正操作を実行するステップと、
を含む撮像装置の制御方法を提供する。
【００１７】
本発明によれば、小型・安価な装置であっても効果的にぶれた画像を防止し、かつ処理時間も短い撮像装置を提供することができる。
すなわち、本発明の構成によれば、たとえば、撮影時に、画像復元の効果がある範囲にぶれ量を抑えるようなシャッタ速度（露光時間）を選択するため、撮影後の復元画像が良好に維持される。
【００１８】
また、たとえば、撮影時に、画像復元の時間が所定時間以内になるようにぶれ量を抑えられるシャッタ速度を選択するため、撮影後の復元画像の閲覧や格納等を迅速に行うことができ、待ち時間が短縮され、たとえば次のシャッタチャンスを逃すことがなく、操作性が良好に維持される。
【００１９】
また、たとえば、撮影時に予想されるぶれ量の大小に応じて、一つの画像データからぶれ量に起因する劣化を回復する画像復元処理と、連写による複数の画像データの取得および合成によってぶれに起因する画像の劣化を防止する処理とを切り替えて選択するため、たとえば、連写による消費電力を必要以上に増加させることなく、かつ、ぶれ量の復元限界に影響されることなく、ぶれによる劣化のない撮影画像を得ることができる。
【発明の効果】
【００２０】
本発明によれば、比較的に小型・安価な撮像装置においても、操作性を損なうことなく、ぶれに起因する撮影画像の劣化を効果的に防止することが可能な技術を提供することができる。
【００２１】
また、撮影時のぶれの大小に影響されることなく、ぶれに起因する撮影画像の劣化を確実に防止することが可能な技術を提供することができる。
また、撮影時のぶれの大小に影響されることなく、かつ消費電力を必要以上に増加させることなく、ぶれに起因する撮影画像の劣化を確実に防止することが可能な技術を提供することができる。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照しながら、本発明の実施の形態について詳細に説明する。
＜第１実施の形態＞
図１Ａは、本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図であり、図１Ｂは、その背面側の斜視図である。
【００２３】
本実施の形態のデジタルカメラ１０は、カメラ本体１、レンズ鏡筒２、レリーズボタン３、ズームスイッチ４、パワースイッチ５、ビルトインフラッシュ６、背面ＬＣＤパネル７、十字キー８を備えている。
【００２４】
カメラ本体１の正面側にはズーミング可能なレンズ鏡筒２が設けられ、背面側には、背面ＬＣＤパネル７が設けられている。
カメラ本体１の上部に配置されたレリーズボタン３は、半押しと全押しを検知可能な２段スイッチであり、半押しで半押しスイッチ３ａ（ＲＳＷ１）がＯＮし、全押しで全押しスイッチ３ｂ（ＲＳＷ２）がＯＮする。
【００２５】
ズームスイッチ４は、ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２からなる。ズームスイッチ・テレ４−１のＴＳＷを押すとレンズは電動駆動でテレ（望遠）状態に移行し、ズームスイッチ・ワイド４−２のＷＳＷを押すとレンズはワイド（広画角）状態に移行する。
【００２６】
パワースイッチ５は、デジタルカメラ１０の電源のＯＮ／ＯＦＦを切り替える。
ビルトインフラッシュ６は、カメラ本体１の正面側に配置され、図示しない被写体に対する補助照明として発光可能である。
【００２７】
背面ＬＣＤパネル７は、レンズ鏡筒２から見えるスルー画（ライブビュー画像とも呼ばれる）を表示したり、撮像画を表示させたり、十字キー８の操作で設定される各種のメニューを表示する。
【００２８】
十字キー８はカメラ本体１の背面側に背面ＬＣＤパネル７の近傍に配置されている。十字キー８は、上下左右の４方向の矢印キー、および中央の決定キーの５つのキーで構成され、たとえば、中央の決定キーでメニューを開いた後、矢印キーを操作して各種設定をすることが可能である。
【００２９】
カメラ本体１の内部には、角速度センサ１０１および角速度センサ１０２が実装されている。これらの角速度センサ１０１、角速度センサ１０２は、カメラ本体１（レンズ鏡筒２）のＸ軸周り、およびＹ軸周りの方向の角速度を検出する。この角速度センサ１０１、角速度センサ１０２でぶれを検出する。
【００３０】
図２は、本実施の形態の撮像装置としてのデジタルカメラ１０の制御回路部の構成の一例を示すブロック図である。
本実施の形態のデジタルカメラ１０の制御回路部は、アナログ処理回路１０３、ＡＤ変換回路１０４、基本軌跡演算回路１０５、軌跡メモリ回路１０６、手ぶれ復元関数算出回路１０７、手ぶれ復元処理回路１０８、撮像素子１０９、撮像素子出力処理回路１１０、画像メモリ１１１、画像処理回路１１２、画像圧縮伸長回路１１３、画像記録媒体１１４、シーケンスコントローラ１１５、ＬＣＤドライバ１１６、バッテリ１１８、電源回路１１９、モータドライバ回路１２０、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４、を含んでいる。
【００３１】
角速度センサ１０１と角速度センサ１０２の出力はアナログ処理回路１０３で増幅され、ＡＤ変換回路１０４でデジタル信号になる。
基本軌跡演算回路１０５は、シャッタ開の時間内のＡＤ変換回路１０４の出力と、ズーム状態を示すデータに基づいて、撮像素子１０９上のぶれの軌跡を算出する。そしてこれを一時的に軌跡メモリ回路１０６内に記憶しておく。
【００３２】
撮像素子１０９はＭＯＳセンサやＣＣＤセンサなどの撮像素子である。この撮像素子１０９で取得された画像データは撮像素子出力処理回路１１０で画像信号として処理された後、画像メモリ１１１に記憶される。この画像メモリ１１１に格納された画像データは非圧縮の状態であり、手ぶれによる画像劣化の復元演算に適している。
【００３３】
手ぶれ復元関数算出回路１０７は、軌跡メモリ回路１０６内のデータに基づいて、点広がり関数（ＰＳＦ）を算出し、画像を復元するための、前記点広がり関数の逆関数を算出する。
【００３４】
手ぶれ復元処理回路１０８は手ぶれ復元関数算出回路１０７で算出された復元関数を画像メモリ１１１内の撮影画像データに作用させて手ぶれ復元処理を行う。
画像処理回路１１２は、画像に対して設定されたパラメータで最適化する処理を行う。
【００３５】
画像圧縮伸長回路１１３は、画像処理回路１１２で最適化された画像を圧縮して画像記録媒体１１４への保存に適した形にしたり、画像記録媒体１１４からの読み出し画像を展開して再処理できるようにする処理を行う。
【００３６】
画像記録媒体１１４はフラッシュメモリカードなどの画像記録媒体である。
シーケンスコントローラ１１５は、たとえばマイクロプロセッサで構成され、本実施の形態のデジタルカメラ１０の各部の状態を把握して、各回路に対して動作指示を出す。また、ＡＤ変換回路１０４の出力を直接読み込み可能で、レリーズボタン３の押下時のぶれの量を検出可能である。
【００３７】
また、シーケンスコントローラ１１５には、レリーズボタン３（半押しスイッチ３ａ、全押しスイッチ３ｂ）、ズームスイッチ４（ズームスイッチ・テレ４−１、ズームスイッチ・ワイド４−２）、パワースイッチ５、十字キー８、等から、各スイッチやキーのＯＮ／ＯＦＦ等の操作信号が入力される。
【００３８】
この場合、シーケンスコントローラ１１５は、後述のような所定のプログラム線に基づき設定される撮像素子１０９の露光時間と当該撮像素子１０９の露光前に基本軌跡演算回路１０５の検出するぶれ情報とから当該露光時間で露光した際に発生するぶれ量を予測する予測機能と、この予測機能の予測したぶれ量が所定の値以上の時は、プログラム線に基づき設定された露光時間を変更する変更機能と、を実現する制御論理１１５ａを備えている。
【００３９】
この制御論理１１５ａは、シーケンスコントローラ１１５の備えるソフトウェア、あるいはハードウェアにて実現される。
ＬＣＤドライバ１１６は、画像データを背面ＬＣＤパネル１１７に出力し、表示させる。
【００４０】
バッテリ１１８は電池などの電源からなる。電源回路１１９は、バッテリ１１８からの電力を各部に適した電源に変換し供給する。
モータドライバ回路１２０は、シーケンスコントローラ１１５によって制御され、たとえば、ズームモータ１２１、フォーカスモータ１２２、シャッタモータ１２３、絞りモータ１２４に動作電力を供給する。
【００４１】
次に、本実施の形態のデジタルカメラ１０の、撮影時の動作について説明する。
図３は、本実施の形態のデジタルカメラ１０における画像復元処理の一例を示すフローチャートである。
【００４２】
この画像復元処理は、デジタルカメラ１０で被写体を撮影した後、画像記録媒体１１４に記録される前に実行される。または、一度ぶれの軌跡データとともに画像記録媒体１１４に記録された画像を読み出し、伸長したあとにも実行可能である。
【００４３】
処理が開始されると（ステップＳ２０１）、まず、ぶれの軌跡の絶対値（ぶれ量）が閾値Ｐ０レベル以下か否かを見る（ステップＳ２０２）。ぶれ量が閾値Ｐ０レベル以下であれば、ぶれは撮影画像に影響を与えていないと判断し、復元処理を実行しない（ステップＳ２０７）。
【００４４】
ステップＳ２０２で、ぶれ量が閾値Ｐ０以上の場合、ステップＳ２０３で、ぶれ量が閾値Ｐ１以上か否かを見る。ここで、ぶれ量が閾値Ｐ１以下の場合は、簡易復元処理Ｂ（ステップＳ２０８）を実行する。この処理は、本格的な復元演算ではなく、エッジ強調処理を中心とした処理負荷の比較的軽い処理で、処理の高速化と、復元処理による副作用の防止を実現する。
【００４５】
ステップＳ２０３で、ぶれ量が閾値Ｐ１以上の場合、ステップＳ２０４でさらに、ぶれ量が閾値Ｐ３をこえているか否をみる。ここで閾値Ｐ３は復元演算が対応できる限界値であり、ぶれ量がこの値をこえた場合には復元処理を実行しても画像の改善は見込めないため、処理を実行せず、復元不可（ぶれ大）の警告表示を実行して復元処理を行わないで（ステップＳ２０５）、画像復元を終了する（ステップＳ２０６）。
【００４６】
一方、ステップＳ２０３で、ぶれ量が閾値Ｐ３以下の場合はＰＳＦ（点ひろがり関数）に基づいた本格復元演算処理を実行する（ステップＳ２０９）。
以上のように、本実施の形態では、復元演算の処理に入った場合、４通りの処理ルートをもつこととなる。この４通りの復元処理の効果について、図４を参照して説明する。
【００４７】
図４は、たとえば、７００万画素の撮像素子１０９を用いたデジタルカメラ１０の例である。
上記の閾値Ｐ０，閾値Ｐ１，閾値Ｐ２，閾値Ｐ３の量は、例えばそれぞれ３ピクセル，６ピクセル，２０ピクセル，３０ピクセルとなっている。この数値は、撮像素子１０９のサイズや画素数、処理回路の能力により適宜設定される。
【００４８】
図４は横軸にぶれの軌跡の絶対値を、縦軸に２Ｌサイズのプリントで見た場合の、人の感覚による画像のＯＫ、ＮＧの判断（官能評価）の比率を示している。
ぶれ画像の、ＰＳＦによる復元演算は、図４のように所定量までは良好に働いているが、ある量（この場合、閾値Ｐ２の近傍）を超えると急激にその効果が低下する。これはぶれ量が大きくなるとぶれ検出や演算の誤差の影響が大きくなり、正確に復元できないばかりか、それによる演算の副作用が目立つため、肉眼で官能的に見ると画像が悪化して見えるためである。このため、たとえば撮影画像そのものが、ぶれ量（この場合、閾値Ｐ２）以下に抑えられれば、ぶれ画像復元は有効に働くことになる。
【００４９】
すなわち、後述のように本実施の形態では、閾値Ｐ０までのぶれは復元なしＡとし、閾値Ｐ１までは簡易復元処理Ｂ、閾値Ｐ３までは本格復元処理Ｃ、閾値Ｐ３を超えた場合に復元不可Ｄ、とする。
【００５０】
図５は、上述の画像復元を含む、撮影後の処理時間の関係の一例を示す線図である。
復元なしＡの、復元処理を行わない場合は圧縮や、画像記録媒体１１４への書き込み所要時間のみになるので、もっとも短い。また簡易復元処理Ｂの簡易復元処理も、それについで短い所要時間になる。
【００５１】
一方、本格復元処理Ｃになった場合は、処理時間が大きくなる。しかも、そのぶれ量が大きいと演算が複雑化するので、より長い時間が必要になる。同じ本格復元処理Ｃであっても、閾値Ｐ２を超えるとその処理時間はより増大する。
【００５２】
そこで、本実施の形態では、撮影前に実測されたデジタルカメラ１０の変位（各軸の角速度）等のぶれ情報と、予め設定されている露光時間等の撮影条件の情報に基づいて実際の撮影にて発生するぶれ量を予測し、補正効果が得られる範囲あるいは補正処理の所要時間が所定時間以下になる、ぶれ量に収まるように露光時間等の撮影条件を変更する。
【００５３】
すなわち、図６Ａおよび図６Ｂは、本実施の形態のデジタルカメラ１０の、レリーズ時の処理の一例を示すフローチャートである。
レリーズボタン３を半押ししてＲＳＷ１がＯＮすると（ステップＳ３０１）、ＡＦ（自動焦点），ＡＥ（自動露出）は実行され（ステップＳ３０２）、被写体に対するピントが固定されるとともに露出が仮決定される（ステップＳ３０３）。ここでは、露出決定のプログラム線図の中で、基本となるプログラム線に沿ってＩＳＯ感度、絞り、シャッタ速度が決定されるが、これはぶれが小さいときを想定して画質優先で各定数を決定している。
【００５４】
図７はこのプログラム線図を示したものである。たとえば、このデジタルカメラ１０の場合、望遠状態の場合はｔｅｌｅで示されたプログラム線Ｌ１にて、また広角端ではｗｉｄｅで示されたプログラム線Ｌ２にて、露出の設定が決まる。
【００５５】
図６Ａに戻って、ステップＳ３０３で露出が仮決定した後、繰り返してぶれ量をシーケンスコントローラ１１５がモニタしつつ（ステップＳ３０４）、レリーズボタン３が全押しされるのを待つ（ステップＳ３０５）。ここで、シーケンスコントローラ１１５は、レリーズボタン３が全押しされ、ＲＳＷ２がＯＮしたことを検知すると、その直前のぶれの角速度、レンズ鏡筒２のズームの状態、およびステップＳ３０３で仮決定された露出のシャッタ速度Ｔ０を用いて、Ｔ０時間内の予測ぶれ量を算出する（ステップＳ３０６）。
【００５６】
ステップＳ３０６にて、予測ぶれ量が閾値Ｐ２以下の場合（ステップＳ３０７）は、そのままのシャッタ速度Ｔ０で露出を実行する（ステップＳ３０９）。一方、予測ぶれ量が閾値Ｐ２を越えると予測された場合は、ステップＳ３０３で用いた被写体輝度と同一の被写体輝度で、シャッタを高速化して撮影できるように、撮影感度をアップさせることにより、撮影結果のぶれ量が閾値Ｐ２と同等以下になるようなシャッタ速度Ｔ１を算出する（ステップＳ３０８）。
【００５７】
ステップＳ３０８でのプログラム線図は図７に記載されている。図７中のｔｅｌｅ（Ｈ−ｌｉｍｉｔ）で示されたプログラム線Ｌ３およびｗｉｄｅ（Ｈ−ｌｉｍｉｔ）で示されたプログラム線Ｌ４を上限として、ＩＳＯ感度アップによりぶれ量が閾値Ｐ２以下になるシャッタ速度Ｔ１を決定する。仮に、上限までアップさせても閾値Ｐ２以下にならない場合は、上限のＩＳＯ感度でシャッタ速度Ｔ１を決定する。
【００５８】
再び図６Ａ、図６Ｂに戻って、以上で露出値が最終的に決定したのでそれにて露光動作を行い（ステップＳ３０９）、画像を読み出して（ステップＳ３１０）、図３で説明した画像復元処理を実行し（ステップＳ３１１）、画像を圧縮処理（ステップＳ３１２）した後、記録媒体に書き込む（ステップＳ３１３）。
【００５９】
この第１実施の形態によれば、撮影前の手ぶれ量に基づいて、撮影時のぶれ量を予測し、撮影時の手ぶれ量が閾値Ｐ２以下になると予測されるシャッタ速度を決定しているので、本格復元処理Ｃによって良好な画像復元ができる確率が大幅に向上する。さらに、撮影前よりも撮影時のぶれ量が若干大きくなった場合でも、ほとんどの場合、閾値Ｐ３以下のぶれ量になるので、補正不可能（復元不可Ｄ）となる確率が極めて低くなる。
【００６０】
さらに、本実施の形態によれば、撮影時の手ぶれ量が閾値Ｐ２以下になる確率が高いため、復元演算の処理時間も短くてすみ、次の撮影が可能になるまでの待ち時間が短縮され、シャッタチャンスを逃す可能性を低減できる。
【００６１】
また、復元後の良好な画像を背面ＬＣＤパネル７に表示したり、処理後に画像記録媒体１１４に格納するまでの待ち時間が短縮され、デジタルカメラ１０の操作性が向上する。
また、本実施の形態のデジタルカメラ１０の場合、当初よりＩＳＯ感度（撮像感度とも呼ばれる）を上げて高速シャッタにしているわけではないので、ＩＳＯ感度のアップを、手ぶれに対応させて最小限に抑えられ、低感度のノイズが少ない領域を最大限活用しつつ手ぶれを抑えられ、総合的な画質が良好な撮影画像を得ることが可能である。
＜第２実施の形態＞
本実施の形態は、第１実施の形態に対して、より撮影後の処理を高速化し、シャッタチャンスにつよいカメラをめざしたものである。
【００６２】
この第２実施の形態のデジタルカメラ１０の構成は、上述の第１実施の形態の場合と同様であり、レリーズ時の作動フローのみが異なっている。
図８は、この第２実施の形態のデジタルカメラ１０の、レリーズ時の処理の一例を示すフローチャートである。
【００６３】
レリーズボタン３を半押ししてＲＳＷ１がＯＮすると（ステップＳ４０１）、ＡＦ，ＡＥは実行され（ステップＳ４０２）、ピントが固定されるとともに露出が仮決定される（ステップＳ４０３）。ここでは、露出決定のプログラム線図の中で、基本となるプログラム線に沿ってＩＳＯ感度、絞り、シャッタ速度が決定されるが、これはぶれが小さいときを想定して画質優先で各定数を決定している。
【００６４】
図７はこのプログラム線図を示したものである。たとえば、このカメラの場合、望遠状態の場合はｔｅｌｅで示されたプログラム線Ｌ１にて、また広角端ではｗｉｄｅで示されたプログラム線Ｌ２にて、露出の設定が決まる。
【００６５】
図８に戻って、ステップＳ４０３で露出が仮決定した後、繰り返してぶれ量をシーケンスコントローラ１１５がモニタしつつ（ステップＳ４０４）、レリーズボタン３が全押しされるのを待つ（ステップＳ４０５）。ここでレリーズボタン３が全押しされ、ＲＳＷ２がＯＮしたことを検知すると、その直前のぶれの角速度、ズームの状態、および上述のステップＳ４０３で仮決定された露出のシャッタ速度Ｔ０を用いて、Ｔ０時間内の予測ぶれ量を算出する（ステップＳ４０６）。
【００６６】
この第２実施の形態では、仮決定したシャッタ速度を変更するのが、閾値Ｐ２でなく閾値Ｐ１のぶれ量を超えると予測される場合であり、その際、閾値Ｐ１以下のぶれ量が見込まれるシャッタ速度であるシャッタ速度Ｔ２に変更することとなる。
【００６７】
ステップＳ４０６にて、予測ぶれ量が閾値Ｐ１以下の場合（ステップＳ４０７）は、そのままのシャッタ速度Ｔ０で露出を実行する（ステップＳ４０９）。一方、閾値Ｐ１を越えると予測された場合は、ステップＳ４０３で用いた被写体輝度と同一の被写体輝度で、シャッタを高速化して撮影できるように、撮影感度をアップさせることにより、ぶれ量が閾値Ｐ１と同等以下になるようなシャッタ速度Ｔ２を算出する。
【００６８】
ステップＳ４０８でのプログラム線図は図７に記載されている。図７中のｔｅｌｅ（Ｈ−ｌｉｍｉｔ）のプログラム線Ｌ３およびｗｉｄｅ（Ｈ−ｌｉｍｉｔ）のプログラム線Ｌ４を上限として、ＩＳＯ感度アップによりぶれ量が閾値Ｐ１以下になるシャッタ速度Ｔ２を決定する。仮に、上限までアップさせても閾値Ｐ１以下にならない場合は、上限のＩＳＯ感度でシャッタ速度Ｔ２を決定する。
【００６９】
以降の処理は、上述の図６Ｂに示すステップＳ３０９以下の処理と同様である。
この第２実施の形態は、第１実施の形態との複合で構成されていてもよい。たとえば、十字キー８を用いたメニュー設定で、高速モードを選択した場合、または連写モードを選択した場合に、レリーズ時の処理フローが図６Ａに示すものから図８に示すものに切り替わってもよい。
【００７０】
この第２実施の形態によれば、簡易復元処理Ｂの簡易補正で対応が可能な閾値Ｐ１以下のぶれ量になるようなシャッタ速度を設定するので、多くの場合ぶれ量が閾値Ｐ１以下となり、簡易復元処理Ｂの簡易補正にて処理が可能で、復元処理の速度が速く、撮影後のタイムラグが小さくて済む。
【００７１】
また、本実施の形態では、仮に実際の撮影時のぶれ量が閾値Ｐ１をこえて、本格復元処理Ｃが作動したとしても、ぶれ量が小さくて処理時間が比較的短くてすむ。加えて元のぶれ量が小さいので、復元後の画像品質も、復元の副作用や復元が不十分な状況が発生しにくく、良好である。
＜第３実施の形態＞
この第３実施の形態では、ぶれが大きいと予測される場合に、画像復元方式ではなく、画像重ね合わせ方式でぶれを除去する場合を例示する。
【００７２】
この第３実施の形態の構成では、図９に示すように、画像重ね合わせ回路１５１が追加されている点が、上述の第１実施の形態と異なっている。また、撮像素子１０９は、高速読み出しが可能な撮像素子であることが必要である。
【００７３】
この場合、シーケンスコントローラ１１５は、撮影時のぶれが大きいと予測される場合に、手ぶれ復元処理回路１０８による画像復元方式ではなく、画像重ね合わせ回路１５１による画像重ね合わせ方式でぶれを除去する処理に切り替える制御機能を備えた制御論理１１５ｂが備えられている。
【００７４】
上述の画像重ね合わせ回路１５１を用いる画像重ね合わせ方式は、手ぶれしにくいシャッタ速度、たとえばテレ端（プログラム線Ｌ１の端部）の焦点距離が１３５フィルムフォーマット換算で１２０ｍｍの場合に、１／１２５秒以下での撮影を、極めて短時間で複数フレーム行う。この場合、シャッタ速度の制限から、１枚ごとの画像は露光量が不足していたり、ノイズの影響が大きいなどで品位は悪いが、ぶれ量は小さいので、これを画像重ね合わせ回路１５１にて複数フレーム重ね合わせて合成すれば、画質は許容のレベルになる、この重ね合わせの際に、記憶されているぶれの軌跡に従って、フレーム間のぶれを相殺するように画像をずらして重ねあわせることにより、ぶれが除去された画像を得られる。
【００７５】
上述の図４には、本実施の形態の画像重ね合わせ方式（画像重ね合わせ処理Ｘ）の画像官能評価結果のイメージ図を記載されている。この画像重ね合わせ処理Ｘの方式は、先に述べたように元の画像の質が低いため、重ね合わせて改善しても残る。このためぶれが所定値以下の場合は画像復元方式の本格復元処理Ｃの方法で処理したほうが良好な画像が得られるが、複雑な画像処理を行わないため大きなぶれに対しては画像復元方式よりも良好な結果となる。
【００７６】
上述の図５には、この第３実施の形態で採用している画像重ね合わせ方式（画像重ね合わせ処理Ｘ）の処理時間を、上述の復元なしＡ〜本格復元処理Ｃの場合と比較対照して示されている。画像重ね合わせ処理Ｘの場合、処理するデータ量は、複数枚の画像であるため本格復元処理Ｃよりも大きいが、演算処理の負担が小さいため、撮影後の処理時間は本格復元処理Ｃの処理に対して画像重ね合わせ処理Ｘの処理の方が短くてすむことがわかる。
【００７７】
図１０Ａおよび図１０Ｂは、この第３実施の形態の撮影時の処理の一例を示すフローチャートである。
レリーズボタン３を半押ししてＲＳＷ１がＯＮすると（ステップＳ５０１）、ＡＦ，ＡＥは実行され（ステップＳ５０２）、ピントが固定されるとともに露出が仮決定される（ステップＳ５０３）。ここでは、露出決定のプログラム線図の中で、基本となるプログラム線に沿ってＩＳＯ感度、絞り、シャッタ速度が決定されるが、これはぶれが小さいときを想定して画質優先で各定数を決定している。
【００７８】
上述の露出の決定は、先の第１および第２実施の形態と同様に、図７のプログラム線図による。
ステップＳ５０３で露出が仮決定した後、所定の周期で反復してぶれ量をシーケンスコントローラ１１５がモニタしつつ（ステップＳ５０４）、レリーズボタン３が全押しされるのを待つ（ステップＳ５０５）。ここでレリーズボタン３が全押しされ、ＲＳＷ２がＯＮしたことを検知すると、その直前のぶれの角速度、ズームの状態、およびステップＳ５０３で仮決定された露出のシャッタ速度Ｔ０を用いて、Ｔ０時間内の予測ぶれ量を算出する（ステップＳ５０６）。
【００７９】
ステップＳ５０６にて得られた予測ぶれ量が閾値Ｐ２以下の場合（ステップＳ５０７）は、そのままのシャッタ速度Ｔ０で露出を実行する（ステップＳ５０９）。
そして画像を読み出して（ステップＳ５１０）、図３で説明した画像復元処理を実行し（ステップＳ５１１）、画像を圧縮処理（ステップＳ５１２）した後、記録媒体に書き込む（ステップＳ５１３）。
【００８０】
一方、上述のステップＳ５０７で予測ぶれ量が閾値Ｐ２を越えると予測された場合は、画像重ね合わせ回路１５１を用いる画像重ね合わせ方式での撮影・処理を実行すべく、ステップＳ５０８に進む。
【００８１】
このステップＳ５０８では、高速連写モードを設定するとともに、シャッタスピードを高速側へシフトする。
そして、短いシャッタスピードで撮影し、撮像素子の出力を高速で読み込んでいく動作を反復する（ステップＳ５１４、ステップＳ５１５、ステップＳ５１６、ステップＳ５１７、ステップＳ５１８、ステップＳ５１９）。このときに得られた複数の画像は、ひとまず画像メモリ１１１に記憶する。撮影終了後、それらの画像を軌跡メモリ回路１０６に記憶された時間ごとのぶれのデータを参照して、そのぶれを相殺するように上記の複数画像を、画像重ね合わせ回路１５１によって重ね合わせ処理する（ステップＳ５２０）。その後、画像を圧縮処理した後（ステップＳ５１２）、記録媒体に書き込む（ステップＳ５１３）。
【００８２】
この第３実施の形態のデジタルカメラ１０によれば、画像復元方式では良好な画像が得られなかったり、処理できないようなぶれの大きい場合でも、画像重ね合わせ方式で処理することにより、ぶれ量の大きさに関係なく、ぶれ画像の発生を防止して良好な撮影画像を得ることができる。
【００８３】
また、高速で複数枚の画像を撮影するのは、撮影時にぶれ量が所定値（閾値Ｐ２）より大きな場合に限られるため、ぶれ量の小さい場合は、画像復元方式で復元処理が行われ、良好な画像が得られる。
【００８４】
また、高速で複数枚の画像を撮影するのは、撮影時にぶれ量が所定値より大きな場合に限られるため、常時、一律に高速撮影を行う必要がなく、撮像素子１０９の制御やデータ読み出しに伴う消費電流の増大を最小限に抑えられる。
【００８５】
なお、上述の全ての実施の形態について、ＲＳＷ１に応答して仮決定した後、ＲＳＷ２がＯＮされた際にプログラムを再変更するか否かの判定レベル（予測ぶれ量）を、撮影後の処理の切り替えポイントである閾値Ｐ１、閾値Ｐ２の値ではなく、閾値Ｐ１、閾値Ｐ２のそれぞれの８０％の値にするなど、やや小さめの判定値にする方法を採用してもよい。このようにすれば、撮影前と実際の撮影時でぶれ量が違った場合、とくに撮影時のぶれ量が大きくなった場合などでも、判定時に想定した撮影時の処理に移行できる確率が高くなり、ぶれ画像の復元により大きな効果を発揮できる。
【００８６】
また、上述の各実施の形態について、撮影直後に画像復元を行わず、ぶれの測定データと元の画像を記憶しておき、後から自動で、またはユーザの操作によって画像復元を行わせてもよい。この場合も、本発明の各実施の形態を用いれば補正後の画質の向上と、補正処理の処理時間の短縮に寄与することができる。
【００８７】
なお、本発明は、上述の実施の形態に例示した構成に限らず、その趣旨を逸脱しない範囲で種々変更可能であることは言うまでもない。
【図面の簡単な説明】
【００８８】
【図１Ａ】本発明の一実施の形態である撮像装置としてのデジタルカメラの正面側の斜視図である。
【図１Ｂ】その背面側の斜視図である。
【図２】本発明の一実施の形態である撮像装置としてのデジタルカメラ１０の制御回路部の構成の一例を示すブロック図である。
【図３】本発明の一実施の形態であるデジタルカメラ１０における画像復元処理の一例を示すフローチャートである。
【図４】画像のぶれ量と復元効果の関係の一例を示す線図である。
【図５】複数のぶれの復元方法における撮影後の処理時間の関係の一例を示す線図である。
【図６Ａ】図６Ｂとともに本発明の一実施の形態であるデジタルカメラのレリーズ時の処理の一例を示すフローチャートである。
【図６Ｂ】図６Ａとともに本発明の一実施の形態であるデジタルカメラのレリーズ時の処理の一例を示すフローチャートである。
【図７】被写体の明るさ、感度、絞り、等からシャッタ速度を決定するプログラム線図である。
【図８】本発明の第２実施の形態のデジタルカメラのレリーズ時の処理の一例を示すフローチャートである。
【図９】本発明の第３実施の形態のデジタルカメラの回路構成の一例を示すブロック図である。
【図１０Ａ】図１０Ｂとともに本発明の第３実施の形態の撮影時の処理の一例を示すフローチャートである。
【図１０Ｂ】図１０Ａとともに本発明の第３実施の形態の撮影時の処理の一例を示すフローチャートである。
【符号の説明】
【００８９】
１  カメラ本体
２  レンズ鏡筒
３  レリーズボタン
３ａ  半押しスイッチ
３ｂ  全押しスイッチ
４  ズームスイッチ
４−１  ズームスイッチ・テレ
４−２  ズームスイッチ・ワイド
５  パワースイッチ
６  ビルトインフラッシュ
７  背面ＬＣＤパネル
８  十字キー
１０  デジタルカメラ
１０１  角速度センサ
１０２  角速度センサ
１０３  アナログ処理回路
１０４  ＡＤ変換回路
１０５  基本軌跡演算回路
１０６  軌跡メモリ回路
１０７  手ぶれ復元関数算出回路
１０８  手ぶれ復元処理回路
１０９  撮像素子
１１０  撮像素子出力処理回路
１１１  画像メモリ
１１２  画像処理回路
１１３  画像圧縮伸長回路
１１４  画像記録媒体
１１５  シーケンスコントローラ
１１５ａ  制御論理
１１５ｂ  制御論理
１１６  ＬＣＤドライバ
１１７  背面ＬＣＤパネル
１１８  バッテリ
１１９  電源回路
１２０  モータドライバ回路
１２１  ズームモータ
１２２  フォーカスモータ
１２３  シャッタモータ
１２４  絞りモータ
１５１  画像重ね合わせ回路
Ｌ１  プログラム線
Ｌ２  プログラム線
Ｌ３  プログラム線
Ｌ４  プログラム線
Ｐ０  閾値
Ｐ１  閾値
Ｐ２  閾値
Ｐ３  閾値
Ｔ０  シャッタ速度
Ｔ１  シャッタ速度
Ｔ２  シャッタ速度
【図１Ａ】
2008209650.tif 000003
【図１Ｂ】
2008209650.tif 000004
【図２】
2008209650.tif 000005
【図３】
2008209650.tif 000006
【図４】
2008209650.tif 000007
【図５】
2008209650.tif 000008
【図６Ａ】
2008209650.tif 000009
【図６Ｂ】
2008209650.tif 000010
【図８】
2008209650.tif 000011
【図９】
2008209650.tif 000012
【図１０Ａ】
2008209650.tif 000013
【図１０Ｂ】
2008209650.tif 000014
【図７】
2008209650.tif 000015