(57)【要約】【課題】振れ補正によって光学劣化が生じる場合でも、この光学劣化が補正された撮像画を得られるようにする。【解決手段】撮像素子２１は、レンズ部１１により形成された光学像を撮像素子で光電変換して撮像画の画像信号を生成する。振れ検出部４２は、振れの検出を行い、検出結果を示す振れ検出信号を生成する。ドライバ１２は、レンズ部１１と撮像素子２１との相対的位置関係を光軸に対して変位することで、撮像素子１１の撮像面上に結像される光学像の位置を撮像面上で変位させる。制御部５０は、レンズ部１１と撮像素子２１との相対的位置関係を振れ検出信号に応じて変位させることにより、振れ検出部４２で検出される振れによって生じる撮像面上での光学像の振れを補正する。光学劣化補正部２５は、振れ補正によって光学劣化を生じた撮像画に対して、この撮像画よりも光学劣化の少ない撮像画を用いて光学劣化の補正を行う。【選択図】        図１
2010277033.tif 000002
【特許請求の範囲】
【請求項１】
レンズ部により形成された光学像を光電変換して撮像画の画像信号を生成する撮像素子と、
振れの検出を行い、検出結果を示す振れ検出信号を生成する振れ検出部と、
前記レンズ部と前記撮像素子との相対的位置関係を前記振れ検出信号に応じて変位させることにより、前記振れ検出部で検出される振れによって生じる前記撮像素子の撮像面上での前記光学像の振れを補正する振れ補正制御部と、
前記振れ補正によって光学劣化を生じた撮像画に対して、該撮像画よりも光学劣化の少ない撮像画を用いて前記光学劣化の補正を行う光学劣化補正部と
を備える撮像装置。
【請求項２】
前記光学劣化補正部は、
前記レンズ部と前記撮像素子との相対的位置関係から、前記撮像画が前記光学劣化の補正対象の画像であるか補正不要の画像であるか判別する補正対象判別部と、
前記補正対象判別部で補正不要と判別された撮像画を抽出する補正不要画抽出部と、
前記補正不要画抽出部で抽出した撮像画から補正用画像を抽出して、該補正用画像を用いて前記補正対象判別部で補正対象と判別された撮像画の光学劣化を補正する補正処理部とを有する
請求項１記載の撮像装置。
【請求項３】
前記補正対象判別部は、前記撮像画の露光期間中に前記レンズ部と前記撮像素子との相対的位置関係が制限範囲を超えたとき、前記光学劣化の補正対象であると判別する
請求項２記載の撮像装置。
【請求項４】
前記補正対象判別部は、前記撮像画の露光期間中において、前記レンズ部と前記撮像素子との相対的位置関係が予め設定した位置関係を超えている期間と超過量に基づいて評価値を求め、該評価値が閾値を超えたとき、前記光学劣化の補正対象であると判別する
請求項２記載の撮像装置。
【請求項５】
前記補正不要画抽出部は、前記補正対象である撮像画よりも前に撮像された補正不要の撮像画、または前記補正対象である撮像画の後に撮像された補正不要の撮像画を抽出する請求項２記載の撮像装置。
【請求項６】
前記補正不要画抽出部は、補正不要の撮像画を補正不要画記憶部に記憶して、この補正不要画記憶部に記憶した撮像画を補正不要の撮像画で順次更新して、前記補正不要の撮像画の抽出ができないとき、前記補正不要画記憶部に記憶されている撮像画を抽出する
請求項５記載の撮像装置。
【請求項７】
前記補正対象判別部は、前記光学劣化の補正対象である撮像画の露光期間において、前記レンズ部と前記撮像素子との相対的位置関係の変位が最大となる最大時間の検出を行い、
前記補正不要画抽出部は、前記最大時間が前記露光期間の前半であるとき、前記補正対象である撮像画よりも前に撮像された補正不要の撮像画の抽出を行い、前記最大時間が前記露光期間の後半であるとき、前記補正対象である撮像画の後に撮像された補正不要の撮像画の抽出を行う
請求項５記載の撮像装置。
【請求項８】
前記補正処理部は、前記補正対象と判別された撮像画の補正領域を前記振れ補正動作に基づいて決定して、前記補正不要画抽出部で抽出された撮像画から、前記補正領域に対応する領域の画像を前記補正用画像として抽出する
請求項２記載の撮像装置。
【請求項９】
前記補正処理部は、前記補正対象と判別された撮像画の露光期間中に、前記レンズ部と前記撮像素子との相対的位置関係が制限範囲を超えている時間が予め設定した時間よりも長いとき、前記レンズ部と前記撮像素子との相対的位置関係の最大変位から、前記補正領域を決定する
請求項８記載の撮像装置。
【請求項１０】
前記補正処理部は、前記補正対象と判別された撮像画の露光期間中に、前記レンズ部と前記撮像素子との相対的位置関係が制限範囲を超えている時間が予め設定した時間よりも長いとき、所定の時間間隔となる前記レンズ部と前記撮像素子との相対的位置関係の変位から前記補正領域を決定する
請求項８記載の撮像装置。
【請求項１１】
静止画モードで前記撮像素子で生成された撮像画が、前記補正対象判別部で光学劣化の補正対象と判別されたとき、前記撮像素子で連続して撮像画の生成を行い、
前記補正不要画抽出部は、前記連続して生成された撮像画が補正不要の撮像画と判別されたとき、該連続して生成された撮像画から補正用画像の抽出を行う
請求項２記載の撮像装置。
【請求項１２】
静止画モードで前記撮像素子で生成された撮像画が、前記補正対象判別部で光学劣化の補正対象と判別されたとき、前記レンズ部と前記撮像素子との相対的位置関係を所定の位置関係としてから前記撮像素子で連続して撮像画の生成を行い、
前記補正不要画抽出部は、前記連続して生成された撮像画が補正不要の撮像画と判別されたとき、該連続して生成された撮像画から補正用画像の抽出を行う
請求項１１記載の撮像装置。
【請求項１３】
前記連続して生成された撮像画が補正対象の撮像画と判別されたとき、前記静止画モードで生成された撮像画の前記光学劣化の補正が行われないことを示す表示部を有する
請求項１２記載の撮像装置。
【請求項１４】
前記振れ補正制御部は、前記振れ検出信号によって示される振れの大きさが所定レベルよりも大きいとき、変位範囲を拡大して、該拡大された変位範囲で前記レンズ部と前記撮像素子との相対的位置関係を前記振れ検出信号に応じて変位させて、
前記光学劣化補正部は、前記変位範囲が拡大されたとき前記光学劣化の補正を行う
請求項１記載の撮像装置。
【請求項１５】
振れ検出部において、振れの検出を行い、検出結果を示す振れ検出信号を生成するステップと、
振れ補正制御部において、レンズ部と撮像素子との相対的位置関係を前記振れ検出信号に応じて変位させることにより、前記振れ検出部で検出される振れによって生じる前記前記撮像素子の撮像面上での前記光学像の振れを補正するステップと、
光学劣化補正部において、前記振れ補正によって光学劣化を生じた撮像画に対して、該撮像画よりも光学劣化の少ない撮像画を用いて前記光学劣化の補正を行うステップと
を有する振れ補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置と振れ補正方法に関する。詳しくは、光学劣化を生じるような振れ補正が行われても、この光学劣化が補正された撮像画を得られるようにする。
【背景技術】
【０００２】
近年、撮像装置の小型化、軽量化、光学ズームの高倍率化が進み、その使い勝手が格段に向上している。しかし、小型化、軽量化等が図られたことにより、撮像装置の扱いに習熟していないユーザーでも簡単に操作できることから、手振れを考慮することなく撮像が行われる機会が多くなっている。また、高倍率で撮像を行うと、手振れによる影響が撮像画に顕著に現れて、安定した画像が得られなくなってしまう。
【０００３】
このため、手振れによる影響を防止できる手振れ補正装置を搭載する撮像装置が実用化されている。例えば特許文献１の発明では、補正レンズを光軸と直交する２方向に動かすことにより、ユーザーによる手振れを補正して、安定な画像を得る方法が提案されている。また、振れ補正では、振れに応じて撮像素子を光軸と直交する方向に動かす方法も用いられている。
【０００４】
このような振れ補正では、光学劣化の影響で撮像画の画質低下等が顕著とならないように振れ補正の補正角の制限が行われている。例えば、撮像画の解像度は、レンズのＭＴＦ(Modulation Transfer Function)特性に依存している。また、レンズの特性から、ＭＴＦは画像の中央よりも画面の端部側で劣化する。図２３は、振れ補正とＭＴＦの劣化の関係を例示している。例えば振れが生じておらず振れ補正の補正角が「０°」である場合、図２３の（Ａ）に示すように、画像の中央でＭＴＦが最も良好な状態とされている。また、レンズは、撮像画の端部でも中央部に対して所定割合（例えば９５％）よりもＭＴＦが劣化しないように設計される。さらに、補正角が大きくなり補正レンズや撮像素子が移動されると、ＭＴＦが最も良好となる位置が、図２３の（Ｂ）に示すように画像の中央から移動する。したがって、ＭＴＦの劣化を例えば許容範囲内に抑えることができるように、振れ補正の補正角に対して補正角制限範囲が設定される。
【０００５】
【特許文献１】特開平４−１８５１５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、振れ補正の補正角に対して補正角制限範囲を設けた場合、振れが大きいと補正角が制限されて振れ補正を適切に行うことができない。このため、例えば歩きながら撮像を行ったとき、振れが大きいと振れ補正が行われないことになり、振れのない良好な撮像画を得ることができない。したがって、振れが大きいとき補正角を補正角制限範囲より大きくすれば、歩きながら撮像を行っても振れ補正を行うことができる。しかし、振れ補正の補正角を補正角制限範囲よりも大きくすると、図２３の（Ｃ）に示すように、ＭＴＦの劣化が許容範囲を超えてしまい、撮像画は画質の劣化した画像となってしまう。
【０００７】
そこで、この発明では、振れ補正によって光学劣化が生じる場合でも、この光学劣化が補正された撮像画を得ることができる撮像装置と振れ補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
この発明の第１の側面は、レンズ部により形成された光学像を光電変換して撮像画の画像信号を生成する撮像素子と、振れの検出を行い、検出結果を示す振れ検出信号を生成する振れ検出部と、前記レンズ部と前記撮像素子との相対的位置関係を前記振れ検出信号に応じて変位させることにより、前記振れ検出部で検出される振れによって生じる前記撮像素子の撮像面上での前記光学像の振れを補正する振れ補正制御部と、前記振れ補正によって光学劣化を生じた撮像画に対して、該撮像画よりも光学劣化の少ない撮像画を用いて前記光学劣化の補正を行う光学劣化補正部とを備える撮像装置にある。
【０００９】
また、この発明の第２の側面は、振れ検出部において、振れの検出を行い、検出結果を示す振れ検出信号を生成するステップと、振れ補正制御部において、レンズ部と撮像素子との相対的位置関係を前記振れ検出信号に応じて変位させることにより、前記振れ検出部で検出される振れによって生じる前記前記撮像素子の撮像面上での前記光学像の振れを補正するステップと、光学劣化補正部において、前記振れ補正によって光学劣化を生じた撮像画に対して、該撮像画よりも光学劣化の少ない撮像画を用いて前記光学劣化の補正を行うステップとを有する振れ補正方法にある。
【００１０】
この発明においては、レンズ部と撮像素子との相対的位置関係を振れ検出信号に応じて変位させて撮像面上での光学像の振れを補正するとき、撮像画が前記光学劣化の補正対象の画像であるか補正不要の画像であるか判別される。例えば、撮像画の露光期間中にレンズ部と撮像素子との相対的位置関係が制限範囲を超えたとき、光学劣化の補正対象であると判別される。または、相対的位置関係が予め設定した位置関係を超えている期間と超過量に基づいて評価値を求め、該評価値が閾値を超えたとき、光学劣化の補正対象であると判別される。
【００１１】
また、光学劣化の補正が不要と判別された撮像画から補正用画像が抽出される。例えば、補正対象である撮像画の露光期間において、相対的位置関係の変位が最大となる最大時間が露光期間の前半であるとき、補正対象である撮像画よりも前に撮像された補正不要の撮像画から補正用画像が抽出される。また、最大時間が露光期間の後半であるとき、補正対象である撮像画よりも後に撮像された補正不要の撮像画から補正用画像が抽出される。補正対象である撮像画の後に撮像された補正不要の撮像画、あるいは補正対象である撮像画の前または後から補正不要の撮像画を抽出できないときは補正不要画記憶部に記憶されている補正不要の撮像画から補正用画像が抽出される。
【００１２】
補正用画像は、例えば、補正対象と判別された撮像画の補正領域を振れ補正動作に基づいて決定して、この補正領域に対応する領域の画像が補正用画像として抽出される。補正領域は、例えば、補正対象と判別された撮像画の露光期間中に、相対的位置関係が制限範囲を超えている時間が予め設定した時間よりも長いとき、相対的位置関係の最大変位から補正領域が決定される。また、相対的位置関係が制限範囲を超えている時間が予め設定した時間よりも長いとき、所定の時間間隔となる相対的位置関係の変位から補正領域を決定される。このように補正用画像が抽出されて、この補正用画像を用いて補正対象と判別された撮像画における光学劣化の補正が行われる。
【００１３】
また、静止画モードにおいて撮像素子で生成された撮像画が、光学劣化の補正対象と判別されたとき、連続して撮像画の生成が行われて、生成された撮像画が補正不要の撮像画と判別されたとき、この撮像画から補正用画像が抽出される。
【発明の効果】
【００１４】
この発明によれば、レンズ部と撮像素子との相対的位置関係を振れの検出結果に応じて変位させることで、レンズ部により撮像素子の撮像面上に形成された光学像の振れが補正される。また、振れ補正によって光学劣化を生じた撮像画に対して、該撮像画よりも光学劣化の少ない撮像画を用いて光学劣化の補正が行われる。このため、振れ補正によって光学劣化が生じる場合でも、この光学劣化が補正された撮像画を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】撮像装置の構成を示す図である。
【図２】光学劣化補正部の構成を示す図である。
【図３】補正レンズ部の変位量に対する光学劣化を例示した図である。
【図４】焦点距離と変位量の制限値の関係を例示した図である。
【図５】振れ補正動作を示すフローチャートである。
【図６】制限条件の判定を示すフローチャートである。
【図７】パン・チルト判定処理を示すフローチャートである。
【図８】焦点距離と変位範囲の関係の他の例を示した図である。
【図９】振れ検出部から得られた検出信号に応じて制御部で行われる動作を例示した図である。
【図１０】光学劣化補正動作を示すフローチャートである。
【図１１】補正対象判別処理の第１の動作を示すフローチャートである。
【図１２】補正対象判別処理の第１の動作を説明するための図である。
【図１３】補正対象判別処理の第２の動作を示すフローチャートである。
【図１４】補正対象判別処理の第２の動作を説明するための図である。
【図１５】画像抽出処理動作を示すフローチャートである。
【図１６】画像抽出処理動作を説明するための図である。
【図１７】補正処理動作を示すフローチャートである。
【図１８】補正処理動作を説明するための図である。
【図１９】振れ補正における補正角が小さい場合の補正処理動作を示す図である。
【図２０】振れ補正における補正角が大きい場合の補正処理動作を示す図である。
【図２１】静止画撮像時の第１の劣化補正動作を示す図である。
【図２２】静止画撮像時の第２の劣化補正動作を示す図である。
【図２３】振れ補正とＭＴＦの劣化の関係を説明するための図である。
【発明を実施するための形態】
【００１６】
以下、発明を実施するための形態について説明する。この発明では、レンズ部により形成された光学像を撮像素子で光電変換して撮像画の画像信号を生成する。また、振れの検出を行い、検出結果を示す振れ検出信号を生成する。この振れ検出信号に応じて、レンズ部と撮像素子との相対的位置関係を光軸に対して変位することで、振れによって生じる撮像面上での光学像の振れを補正する。さらに、振れ補正によって光学劣化を生じた撮像画に対して、この撮像画よりも光学劣化の少ない撮像画を用いて光学劣化の補正を行う。なお、説明は以下の順序で行い、光学劣化を生じる振れ補正について説明してから、この振れ補正によって生じた光学劣化の補正について説明する。
１．撮像装置の構成
２．光学劣化補正部の構成
３．振れ補正動作
４．光学劣化補正動作
５．動画撮像における光学劣化補正動作
６．静止画撮像における光学劣化補正動作
【００１７】
＜１．撮像装置の構成＞
図１は、撮像装置の構成を示している。撮像装置１０は、レンズ部１１、ドライバ１２、位置センサ１３、撮像素子２１、タイミング信号発生（ＴＧ）部２２、アナログフロントエンド（ＡＦＥ）部２３、信号処理部２４、検波部３１を備えている。さらに撮像装置１０は、画像出力部３２、表示部３３、記録再生処理部３４、操作部４１、振れ検出部４２、制御部５０を備えている。
【００１８】
レンズ部１１は、変倍を行うズームレンズ１１１、フォーカシングを行うフォーカスレンズ１１２、後述する撮像素子２１の撮像面上に形成される光学像の位置を撮像面上で移動させる補正レンズ部１１３を備えている。また、レンズ部１１には、光量調節を行う絞り機構１１４が設けられている。
【００１９】
補正レンズ部１１３は、例えば光軸が撮像光学系の光軸と一致するように設けられた補正レンズと、この補正レンズを撮像光学系の光軸に対して直交する方向に変位させるアクチュエータ等で構成されている。このような構成の補正レンズ部は、補正レンズを撮像光学系の光軸に対して直交する方向に変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
【００２０】
また、補正レンズ部１１３は、可変頂角プリズムユニットを用いるようにしてもよい。可変頂角プリズムユニットは、ベローズ等の折り曲げ自在な筒の端面に透光性を有する入射端板と出射端板を設け、筒内に所望の屈折率を持った透光性の液体を封入したものである。可変頂角プリズムユニットを用いる場合、入射端板または出射端板の一方を固定して、他方をアクチュエータで駆動して光学楔を形成する。このような構成の補正レンズ部は、例えば入射端板に対する出射端板の傾斜角度を変位させて、撮像面上に形成される光学像の位置を撮像面上で移動させる。
【００２１】
このように、補正レンズ部１１３を設けて、レンズ部１１と撮像素子２１との相対的位置関係を光軸に対して変位させる。また、撮像素子２１を光軸に対して直交する方向に変位させて、レンズ部１１と撮像素子２１との相対的位置関係を光軸に対して変位させるようにしてもよい。この場合には、撮像素子２１を光軸に対して直交する方向に変位させるアクチュエータを設ける。
【００２２】
ドライバ１２は、後述する制御部５０からのレンズ制御信号に基づきズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のアクチュエータを駆動する。また、ドライバ１２は、制御部５０からの絞り制御信号に基づき絞り機構１１４を駆動する。また、撮像素子２１を光軸に対して直交する方向に変位させる場合、ドライバ１２は制御部５０からの制御信号に基づき撮像素子２１のアクチュエータを駆動する。
【００２３】
位置センサ１３は、ズームレンズ１１１やフォーカスレンズ１１２および補正レンズ部１１３のレンズ位置や絞り機構１１４の設定位置を検出して位置信号を制御部５０に供給する。また、撮像素子２１を光軸に対して直交する方向に変位させる場合、位置センサ１３は、撮像素子２１の位置を検出して位置信号を制御部５０に供給する。
【００２４】
撮像素子２１は、例えばＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型イメージセンサなどの撮像素子が用いられている。撮像素子２１は、レンズ部１１によって撮像面上に形成された被写体像を電気信号に変換してＡＦＥ部２３に出力する。
【００２５】
ＴＧ部２２は、撮像素子２１で撮像画を示す電気信号の出力を行うために必要とする各種の駆動パルス、並びに撮像素子２１の電荷蓄積時間を制御する電子シャッターパルスを生成する。
【００２６】
ＡＦＥ部２３は、撮像素子２１から出力された電気信号（画像信号）に対して、ノイズ除去処理例えばＣＤＳ（Correlated Double Sampling）処理や、撮像信号を所望の信号レベルとするＡＧＣ（Automatic Gain Control）処理を行う。さらに、ＡＦＥ部２３は、ノイズ除去処理や利得制御が行われたアナログの撮像信号をディジタル信号に変換して信号処理部２４に出力する。
【００２７】
信号処理部２４は、カメラ信号前処理やカメラ信号処理、光学劣化補正処理、解像度変換処理、圧縮伸張処理等を行う。
【００２８】
カメラ信号前処理では、ＡＦＥ部２３から供給された画像信号に対して、撮像素子２１における欠陥画素の信号を補正する欠陥補正処理、レンズの周辺光量落ちを補正するシェーディング補正処理などを行う。カメラ信号処理では、ホワイトバランス調整や輝度補正等の処理を行う。また、ディジタルカメラ等では、撮像素子の前面にカラー・フィルタ・アレイ（Color Filter Array）を設けることにより、１つの撮像素子で赤色，緑色，青色の各信号を得るように構成されている場合がある。このような場合、カメラ信号処理ではデモザイク（demozaic）処理を行い、周囲の画素の信号を用いた補間等によって、各画素において欠落している色の信号を生成する。
【００２９】
光学劣化補正処理は、補正する振れが大きくても良好な画質の撮像画を得られるように光学劣化の補正を行う。なお、光学劣化補正処理は、光学劣化補正部２５で行うものとして、光学劣化補正部２５の構成を後述する。解像度変換処理では、光学劣化補正がなされた画像信号、あるいは伸張復号化された画像信号を所定の解像度に変換する。
【００３０】
圧縮伸張処理では、光学劣化補正処理後の画像信号や解像度変換処理が行われた画像信号を圧縮符号化して、例えばＪＰＥＧ方式の符号化信号を生成する。また、圧縮伸張処理では、ＪＰＥＧ方式の符号化信号を伸張復号化する。なお、圧縮伸張処理は、ＪＰＥＧ方式とは異なる方式で静止画の画像信号の圧縮符号化を行うようにしてもよい。また、圧縮伸張処理では、動画圧縮方式で動画の画像信号の圧縮符号化を行うようにしてもよい。
【００３１】
検波部３１は、信号処理部２４に供給された撮像信号を用いて、撮像画の明るさレベルやフォーカス状態の検出を行い、明るさレベルやフォーカス状態を示す検波信号を生成して制御部５０に供給する。
【００３２】
画像出力部３２は、信号処理部２４で処理された画像信号を、撮像装置１０と接続される外部機器に対応したフォーマットの画像信号に変換して出力する。
【００３３】
表示部３３は、撮像装置１０によって撮像されている画像や、記録再生処理部３４で再生された撮像画の表示を行う。また、表示部３３は、撮像装置１０の設定等を行うためのメニュー表示等も行う。
【００３４】
記録再生処理部３４では、例えば、フラッシュメモリ、光ディスク、磁気テープなどの記録媒体が用いられている。記録再生処理部３４は、信号処理部２４から出力された撮像画の画像信号や符号化信号を記録媒体に記録する。また、記録再生処理部３４は、記録媒体に記録されている画像信号を読み出して画像出力部３２や表示部３３に供給する処理や、記録媒体に記録されている符号化信号を読み出して信号処理部２４に供給する処理を行う。なお、記録再生処理部３４は、記録媒体が着脱可能とされている構成に限られるものではない。例えば、記録再生処理部３４としてハード・ディスク装置等を内蔵させるようにしてもよい。
【００３５】
操作部４１は、操作ボタンや表示部３３の画面上に設けられたタッチパネル等で構成されている。操作部４１は、ユーザー操作に応じた操作信号を生成して制御部５０に供給する。
【００３６】
振れ検出部４２は、撮像装置１０の振れを検出する振れ検出センサ例えばジャイロセンサを用いて構成されている。振れ検出センサは、ヨーイング方向における振れに応じて例えば角速度を検出するヨーイング角速度センサと、ピッチング方向における振れに応じて例えば角速度を検出するピッチング角速度センサで構成されている。ヨーイング角速度センサやピッチング角速度センサから出力される振れ検出信号は、角速度が与えられない状態であるとき例えば基準値ＶＬ0となる。また、一方の方向（正方向）に回転するとき、角速度に応じて振れ検出信号の信号レベルは基準値ＶＬ0よりも高くなり、他方の方向（逆方向）に回転するとき、角速度に応じて振れ検出信号の信号レベルは基準値ＶＬ0よりも低くなる。
【００３７】
また、振れ検出部４２には、振れ検出信号の信号処理を行う処理回路が設けられている。処理回路では例えば振れ検出信号のフィルタ処理を行い、ノイズ成分、角速度値の信号成分よりも高い周波数成分、共振周波数成分等の不要な信号成分を除去する。さらに、処理回路では温度変化や時間変化に伴って生じるドリフトの補正、振れ検出信号をディジタル信号に変換して制御部５０に供給する処理等を行う。なお、振れ検出部４２からの振れ検出信号がアナログ信号として出力される場合、制御部５０は振れ検出信号をディジタル信号に変換して用いる構成としてもよい。
【００３８】
なお、振れ検出部４２は、角速度センサを用いて構成する場合に限られるものではない。例えば、加速度センサ等を用いて振れの検出を行うようにしてもよい。加速度センサを用いる場合、加速度センサの出力を積分して速度を算出できる。さらに速度を積分することで移動距離を算出できることから、加速度センサの出力に基づき振れの大きさを判別することが可能となる。
【００３９】
制御部５０は、ＣＰＵ（Central Processing Unit）やメモリ等で構成されている。メモリには、ＣＰＵが実行するプログラムや各種データが記憶されている。このメモリとしては、例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable ROM）、フラッシュメモリなどの不揮発性メモリが用いられる。制御部５０のＣＰＵはメモリに記憶されているプログラムを実行して、メモリに記憶されている各種データや操作部４１から供給された操作信号に基づき、撮像装置１０の動作がユーザー操作に応じた動作となるように各部を制御する。例えば、制御部５０は、静止画モードでシャッター操作が行われたとき、ＴＧ部２２等の動作を制御して、所望のシャッター速度で撮像した静止画の符号化信号等を記録再生処理部３４の記録媒体に記録させる。また、動画モードで記録開始操作が行われたときは、動画の符号化信号等を記録再生処理部３４の記録媒体に記録させる。
【００４０】
また、制御部５０は、位置センサ１３から供給された位置信号や、検波部３１から供給された検波信号に基づき、レンズ制御信号や絞り制御信号を生成してドライバ１２に供給する。したがって、ドライバ１２によって、所望の明るさでピントの合った撮像画が得られるようにフォーカスレンズ１１２や絞り機構１１４が駆動される。また、制御部５０は、ズーム操作をユーザーが行ったとき、レンズ制御信号を生成してドライバ１２に供給することで、所望のズーム比の撮像画が得られるようにズームレンズ１１１を駆動する。
【００４１】
このように構成された撮像装置１０において、制御部５０は、振れ検出部４２からの振れ検出信号や位置センサ１３から供給された位置信号に基づき制御信号を生成してドライバ１２に供給する。ドライバ１２は、制御信号に基づきレンズ部１１と撮像素子２１との相対的位置関係を光軸に対して変位させて、振れ検出部４２で検出される振れによって生じる撮像面上での光学像の振れを補正する。
【００４２】
また、信号処理部２４の光学劣化補正部は、光学劣化補正処理を行い、補正する振れが大きくても良好な画質の撮像画を得られるように光学劣化の補正を行う。
【００４３】
＜２．光学劣化補正部の構成＞
図２は、信号処理部２４に設けられて光学劣化の補正を行う光学劣化補正部２５の構成を示している。光学劣化補正部２５は、メモリ部２５１、補正対象判別部２５５、補正不要画抽出部２５６、補正不要画記憶部２５７、補正処理部２５８を有している。
【００４４】
メモリ部２５１は、例えば５つのメモリ２５１n-2，２５１n-1，２５１n，２５１n+1，２５１n+2で構成されている。５つのメモリは、例えばＦＩＦＯ(First-In/First-Out)が用いられており、先入れ先出し方式で画像信号の書き込みや読み出しを行い、画像信号を一時的に記憶する。
【００４５】
メモリ２５１n+2は、光学劣化補正部２５に供給された画像信号を一時的に記憶する。また、メモリ２５１n+2は、記憶している画像信号を読み出してメモリ２５１n+1と補正不要画抽出部２５６に出力する。メモリ２５１n+1は、メモリ２５１n+2から供給された画像信号を一時的に記憶する。また、メモリ２５１n+1は、記憶している画像信号を読み出してメモリ２５１nと補正不要画抽出部２５６に出力する。メモリ２５１nは、メモリ２５１n+1または補正処理部２５８から供給された画像信号を一時的に記憶する。また、メモリ２５１nは、記憶している画像信号を読み出してメモリ２５１n-1または補正処理部２５８に出力する。メモリ２５１n-1は、メモリ２５１nから供給された画像信号を一時的に記憶する。また、メモリ２５１n-1は、記憶している画像信号を読み出してメモリ２５１n-2と補正不要画抽出部２５６に出力する。メモリ２５１n-2は、メモリ２５１n-1から供給された画像信号を一時的に記憶する。また、メモリ２５１n-2は、記憶している画像信号を読み出して補正不要画抽出部２５６に出力する。さらに、メモリ２５１n-2は、記憶している画像信号を読み出して光学劣化補正部２５から出力する。
【００４６】
このように、メモリ部２５１を５つのメモリ２５１n-2，２５１n-1，２５１n，２５１n+1，２５１n+2で構成したとき、メモリ部２５１では、メモリ２５１nに記憶されているフレームの２フレーム前から２フレーム後までの画像信号が一時的に記憶される。
【００４７】
補正対象判別部２５５は、レンズ部１１と撮像素子２１との相対的位置関係から、撮像画が光学劣化の補正対象の画像であるか補正不要の画像であるか判別する。例えば、振れ補正を行うときの補正角や位置センサ１３からの位置信号に基づいて判別した変位量は、レンズ部１１と撮像素子２１との相対的位置関係を示す情報である。したがって、補正対象判別部２５５は、これらの情報に基づきレンズ部１１と撮像素子２１との相対的位置関係を検出して、検出した相対的位置関係に基づいて、撮像画が光学劣化の補正対象の画像であるか補正不要の画像であるか判別する。
【００４８】
また、補正対象判別部２５５は、撮像画が補正対象であると判別したとき、露光期間中の相対的位置関係の最大変位や最大変位となったときの時間情報を撮像画に関係付けて補正情報として情報テーブルに記録する。さらに、情報テーブルには、露光期間中における相対的位置関係の変化を把握できるように、露光期間中における時間を示す時間インデックスを相対的位置関係に関係付けて記録する。なお、補正対象判別部２５５は、情報テーブルから必要のない情報を順次削除する。例えば光学劣化補正処理後の撮像画に関する情報を情報テーブルから削除する。
【００４９】
補正不要画抽出部２５６は、メモリ２５１nに記憶された撮像画が補正対象であると補正対象判別部２５５で判別されたとき、メモリ２５１nに記憶された撮像画よりも光学劣化の少ない撮像画をメモリ部２５１から抽出して、補正処理部２５８に出力する。
【００５０】
また、補正不要画抽出部２５６は、補正対象判別部２５５で補正不要と判別された撮像画の画像信号を補正不要画記憶部２５７に記憶させる。補正不要画抽出部２５６は、補正不要画記憶部２５７に記憶している画像信号を補正不要と判別された新たな撮像画の画像信号で順次更新する。
【００５１】
さらに、補正不要画抽出部２５６は、メモリ２５１nに記憶された撮像画よりも光学劣化の少ない撮像画をメモリ部２５１から抽出できないとき、補正不要画記憶部２５７に記憶している撮像画の画像信号を読み出して補正処理部２５８に出力する。
【００５２】
補正処理部２５８は、補正不要画抽出部２５６で抽出した補正不要の撮像画から補正用画像を抽出して、この補正用画像を用いてメモリ２５１nに記憶されている補正対象の撮像画における光学劣化を補正する。
【００５３】
＜３．振れ補正動作＞
撮像装置では、補正レンズ部や撮像素子をその最大変位範囲まで変位させても全ズーム領域にわたって光学劣化が許容範囲内であることが望ましい。しかし、種々の制約により光学劣化を許容範囲内に抑えることは困難である。一方、振れ補正の必要性はワイド側よりもテレ側において重要であるので、撮像光学系の設計では、テレ側における光学劣化を少なくことが一般的であり、その結果ワイド側で振れ補正時の光学劣化が大きくなる。
【００５４】
次に、補正レンズ部１１３を駆動して振れ補正を行う場合の振れ補正動作について説明する。図３は、補正レンズ部の変位量に対する光学劣化を例示した図である。なお、図３において、横軸は変位量の絶対値Ａｄを示しており、縦軸は画像劣化量Ａｅを示している。
【００５５】
ここで、テレ端における変位量と画像劣化量の関係は例えば実線で示す特性となる。また、ワイド端における変位量と画像劣化量の関係は例えば破線で示す特性になる。すなわち、画像劣化量Ａｅを「ＲＬ」に抑えるためには、テレ端のときの変位量の絶対値を「ｄｔ」の変位範囲に制限する必要がある。また、ワイド端のときの変位量の絶対値は、テレ端のときの「ｄｔ」よりも狭い範囲である「ｄｗ」の変位範囲に制限する必要がある。
【００５６】
図４は、画像劣化量Ａｅを「ＲＬ」に抑えるときの、焦点距離ｆと変位量の制限値Ａｄmの関係を例示している。なお、図４において、横軸は焦点距離ｆ、縦軸は変位量の制限値Ａｄmを示している。
【００５７】
焦点距離ｆに対する変位量の制限値Ａｄmは、図４に示すように、ズーム位置がテレ側であるとき「ｄｔ」となる。また、焦点距離が短くなりワイド側に移動すると、変位量の制限値Ａｄmは減少する。さらに、焦点距離が短くなりワイド端に移動すると、変位量の制限値Ａｄmは「ｄｗ」となる。したがって、画像劣化量Ａｅを「ＲＬ」に抑えるためには、補正レンズ部１１３の最大変位範囲を「ｄｔ」として、図４に示す実線のように変位範囲をズーム位置に応じて制限する必要がある。また、変位範囲を制限すると、例えばズーム位置がワイド側とされているときに振れが大きい場合、変位範囲が制限されて振れ補正を行うことができなくなってしまう。したがって、振れが大きいときは、例えば図４の破線で示すように変位範囲の制限を解除して、変位範囲を最大変位範囲とすることにより、ワイド側における振れ補正性能を向上させて、振れ補正が行われた撮像画を得られるようにする。
【００５８】
図５は、振れ補正動作を示すフローチャートである。なお、振れ検出部４２は、角速度センサを用いて構成されており、角速度データである振れ検出信号がディジタル信号とされて制御部５０に供給されているとして以下の説明を行う。
【００５９】
ステップＳＴ１で制御部５０は、振れ検出信号の高域通過フィルタ処理を行う。制御部５０は、高域通過フィルタ処理を行うことで振れ検出信号から直流成分を除去してステップＳＴ２に進む。
【００６０】
ステップＳＴ２で制御部５０は、振れ検出信号の積分処理を行う。制御部５０は、振れ信号の積分処理を行い、角速度を角度に変換してステップＳＴ３に進む。
【００６１】
ステップＳＴ３で制御部５０は、補正量の算出を行う。制御部５０は、位置センサ１３から供給された位置信号に基づいて焦点距離を判別する。さらに、制御部５０は、判別した焦点距離とステップＳＴ２で求めた角度から、補正レンズ部１１３の補正量を算出してステップＳＴ４に進む。
【００６２】
ステップＳＴ４で制御部５０は、制限条件の判定を行う。図６は、制限条件の判定を示すフローチャートである。ステップＳＴ１１で制御部５０は、判定用角速度データ履歴の更新を行う。制御部５０は、制限条件の判定を行うため、一定時間内の角速度データを判定用角速度データ履歴として保持してステップＳＴ１２に進む。
【００６３】
ステップＳＴ１２で制御部５０は、パン・チルト判定処理を行う。図７は、パン・チルト判定処理を示すフローチャートである。ステップＳＴ３１で制御部５０は、角速度データが所定レベル以上であるか否か判別する。制御部５０は、角速度データが予め設定されている所定レベル以上であるときはステップＳＴ３２に進み、所定レベル以上でないときはステップＳＴ３４に進む。
【００６４】
ステップＳＴ３２で制御部５０は、継続時間が所定時間以上であるか否かを判別する。制御部５０は、角速度データが所定レベル以上である状態が所定時間以上継続しているときはステップＳＴ３３に進み、所定レベル以上である状態の継続時間が所定時間以上となっていないときはステップＳＴ３４に進む。
【００６５】
ステップＳＴ３３で制御部５０は、パン・チルト動作が行われていると判定してパン・チルト判定処理を終了する。制御部５０は、所定のレベル以上の角速度で所定の時間以上例えば右方向や左方向に撮像方向が変更されているときパンニング動作が行われていると判定する。また、制御部５０は、所定のレベル以上の角速度で所定の時間以上例えば上方向や下方向に撮像方向が変更されているときチルティング動作が行われていると判定して処理を終了する。
【００６６】
ステップＳＴ３４で制御部５０は、パン・チルト動作が行われていないと判定してパン・チルト判定処理を終了する。制御部５０は、撮像方向が所定のレベル以上の角速度で所定の時間以上継続して変更されていないことからパンニング動作やチルティング動作が行われていないと判定して処理を終了する。
【００６７】
図６に戻り、ステップＳＴ１３で制御部５０は、パン・チルト動作が行われているか否か判別する。制御部５０は、ステップＳＴ１２のパン・チルト判定処理でパン・チルト動作が行われていると判定したとき、ステップＳＴ１４に進む。また、制御部５０は、ステップＳＴ１２のパン・チルト判定処理でパン・チルト動作が行われていないと判定しているとき、ステップＳＴ１５に進む。
【００６８】
ステップＳＴ１４で制御部５０は、判定用角速度データ履歴をクリアしてステップＳＴ１７に進む。
【００６９】
ステップＳＴ１５で制御部５０は、角速度データの閾値以上の比率が所定値以上であるか否か判別する。制御部５０は、角速度データの閾値以上の比率が所定値以上であるときステップＳＴ１６に進む。また、制御部５０は、角速度データの閾値以上の比率が所定値以上でないときステップＳＴ１７に進む。
【００７０】
ステップＳＴ１６で制御部５０は、振れ補正性能優先モードの変位範囲に設定する。ここで、ステップＳＴ１３とステップＳＴ１５の処理を行ってステップＳＴ１６に進む場合は、振れが大きい場合である。したがって、制御部５０は、振れ補正性能を優先した動作を行うため、図４の破線で示すように変位範囲の制限を解除した変位範囲を、補正レンズ部１１３の変位範囲に設定する。
【００７１】
ステップＳＴ１７で制御部５０は、画質優先モードの変位範囲に設定する。すなわち、制御部５０は、振れが小さいことから、またはパン・チルト動作が行われていることから、振れ補正性能を優先する必要がないと判別する。したがって、制御部５０は、光学劣化の少ない良好な撮像画を得られるように画質を優先した動作を行うため、図４の実線で示すように制限がなされた変位範囲を、補正レンズ部１１３の変位範囲に設定する。
【００７２】
図５に戻り、ステップＳＴ５で制御部５０は、判定結果の反映処理を行う。制御部５０はステップＳＴ３で算出した補正量がステップＳＴ４の制限条件の判定によって設定した変位範囲を超えているとき、補正量を設定した変位範囲に制限する。また、制御部５０はステップＳＴ３で算出した補正量がステップＳＴ４の制限条件の判定によって設定した変位範囲を超えていないとき、補正量を制限することなくそのまま用いる。
【００７３】
ステップＳＴ６で制御部５０は、防振目標位置の出力を行う。制御部５０は、撮像面上に結像される光学像の振れを補正する方向に、ステップＳＴ５で決定した補正量だけ移動した位置を、補正レンズ部１１３における補正レンズの防振目標位置とする。さらに、制御部５０は、補正レンズ部１１３の補正レンズが防振目標位置となるようにレンズ制御信号を生成してドライバ１２に出力する。ドライバ１２は、制御部５０から供給されたレンズ制御信号に基づき補正レンズ部１１３のアクチュエータを駆動して補正レンズを防振目標位置に移動させる。
【００７４】
このような処理を行うと、振れが大きいことを制御部５０で検出したとき、振れ補正性能優先モードに設定されて、変位範囲の制限が解除されて変位範囲が拡大される。したがって、例えばズーム位置をワイド側として歩きながら撮像を行ったとき、振れを補正した撮像動作を行うことができる。
【００７５】
歩きながら撮像を行う場合、ズーム位置がテレ側とされていると、所望の被写体が常に画面中央位置となるように撮像装置を保持することが困難である。このため、歩きながら撮像を行う場合、ズーム位置は一般的にワイド側とされる。ここで、振れが大きいとき、補正レンズ部１１３の変位範囲を図４に示す実線の特性から破線の特性に切り換えると、補正レンズ部１１３の変位範囲はワイド側で広くされる。したがって、撮像を行ったとき、振れを補正した撮像動作を行うことができる。
【００７６】
なお、ズーム位置がテレ側とされているときにも振れ補正性能を向上させる場合には、図８に示すように、最大変位範囲を「ｄｔ」よりも広い「ｄｕ」に設定して、図８に示す破線のように、ワイド端からテレ端の範囲で変位範囲を拡大するように補正レンズ部１１３の変位範囲を切り換えればよい。
【００７７】
また、振れが大きいことを制御部５０で検出していないときは、画質優先モードに設定されて、変位範囲がズーム位置に応じて制限される。したがって、例えばズーム位置をワイド側として撮像を行ったとき、振れ補正による画質の劣化を抑制することができる。さらに、パンニング動作やチルティング動作が行われていることを制御部５０で検出したときは、画質優先モードに設定されて、変位範囲がズーム位置に応じて制限される。したがって、パンニング動作やチルティング動作中に振れ補正が行われてしまい、パンニング動作やチルティング動作に応じて被写体が滑らかに移動しなくなってしまうことも防止できる。
【００７８】
すなわち、振れの大きさに基づき補正レンズ部１１３の変位範囲の切り換えが行われるので、画像の劣化の緩和と振れ補正性能の向上を両立させた振れ補正を行うことができる。また、パンニング動作やチルティング動作が行われていても、振れ補正による弊害を防止できる。
【００７９】
図９は、振れ検出部から得られた振れ検出信号に応じて、制御部５０で行われる動作を例示した図である。
【００８０】
図９の（Ａ）は、振れ検出信号の信号レベルの変化を時間の経過に対応させて示している。この図において、振れが検出されていないときの振れ検出信号の信号レベルは、上述のように基準値「ＶＬ0」とする。閾値レベル「ＶＬth1」は、補正レンズ部１１３の変位範囲を、振れ補正性能優先モードまたは画質優先モードの変位範囲に切り換えるために用いる閾値である。閾値レベル「ＶＬth2」は、パンニング動作やチルティング動作が行われているか否か判別するための閾値である。
【００８１】
図９の（Ｂ）は、パンニング動作やチルティング動作が行われているか否かの判別結果を示している。なお、パンニング動作やチルティング動作が行われていると判別されているときは「ＹＥＳ」、パンニング動作やチルティング動作が行われていると判別されていないときは「ＮＯ」と示している。
【００８２】
図９の（Ｃ）は、振れ検出信号が閾値レベル「ＶＬth1」を超えている比率を示している。この図において、閾値レベル「ＶＲth」は、補正レンズ部１１３の変位範囲を、振れ補正性能優先モードまたは画質優先モードの変位範囲に切り換えるために用いる閾値である。
【００８３】
図９の（Ｄ）は、補正レンズ部１１３の変位範囲を示しており、変位範囲が画質優先モードまたは振れ補正性能優先モードのいずれの変位範囲とされているかを示している。
【００８４】
なお、制御部５０では、例えばパンニング動作やチルティング動作が行われているか否かの判別結果を「ＮＯ」、補正レンズ部１１３の変位範囲を画質優先モードの変位範囲として動作を開始する。
【００８５】
ユーザーが例えば時点ｔ1で歩行を開始して撮像装置１０の振れが大きくなると、図９の（Ａ）に示すように、振れ検出信号は基準値「ＶＬ0」に対する信号レベルの変化量が増加する。また、振れが大きいために、閾値レベル「ＶＬth1」を超える振れ検出信号の割合が多くなると、振れ検出信号が閾値レベル「ＶＬth1」を超えている比率が図９の（Ｃ）に示すように増加する。
【００８６】
時点ｔ2で比率が閾値レベル「ＶＲth」を超えたとき、図９の（Ｂ）に示すように、パンニング動作やチルティング動作が行われているか否かの判別結果は「ＮＯ」の状態とされている。したがって、制御部５０は、パンニング動作やチルティング動作が行われていないときに比率が閾値レベル「ＶＲth」を超えたことから、図９の（Ｄ）に示すように、補正レンズ部１１３の変位範囲を振れ補正性能優先モードの変位範囲に切り換える。
【００８７】
振れ補正性能優先モードの変位範囲は、図４の破線で示すように制限が解除された変位範囲とされている。したがって、画質優先モードの変位範囲に設定した場合に比べて振れ補正範囲が広くされるので、例えば歩行時の振れ等によって撮像素子の撮像面上に形成される光学像の振れが大きくなっても補正することが可能となる。このため、歩きながらでも振れが補正された撮像動作を行うことができる。
【００８８】
その後、時点ｔ3で例えばユーザーが歩行を停止してパンニング動作やチルティング動作を開始する。パンニング動作やチルティング動作が行われて、図９の（Ａ）に示すように、振れ検出信号の信号レベルが閾値レベル「ＶＬth2」を超えると、制御部５０は継続時間の測定を開始する。制御部５０は、信号レベルが閾値レベル「ＶＬth2」を超えた時点ｔ4から、振れ検出信号の信号レベルが閾値レベル「ＶＬth2」を超えている状態の継続時間について測定を開始する。
【００８９】
時点ｔ5で継続時間が所定の時間以上となったとき、制御部５０は、パンニング動作やチルティング動作が行われていると判断して、図９の（Ｂ）に示すように、パンニング動作やチルティング動作が行われているか否かの判別結果を「ＹＥＳ」とする。さらに、制御部５０は、判定用角速度データ履歴をクリアする。判定用角速度データ履歴がクリアされると、振れ検出信号が閾値レベル「ＶＬth1」を超えている比率は、図９の（Ｃ）に示すように「０」となる。したがって、制御部５０は、比率が閾値レベル「ＶＲth」以下となったことから、図９の（Ｄ）に示すように、補正レンズ部１１３の変位範囲を画質優先モードの変位範囲に切り換える。
【００９０】
その後、パンニング動作やチルティング動作が終了されると、図９の（Ａ）に示すように、振れ検出信号の信号レベルは、例えば時点ｔ6で閾値レベル「ＶＬth2」以下となる。このとき、制御部５０は、パンニング動作やチルティング動作が終了したと判断して、図９の（Ｂ）に示すように、パンニング動作やチルティング動作が行われているか否かの判別結果を「ＮＯ」とする。
【００９１】
このように、振れ検出信号に応じて振れの大きさの判別やパンニング動作やチルティング動作が行われているか否かの判別が行われて、判別結果に基づき補正レンズ部１１３の変位範囲の切り換えが行われる。したがって、振れ補正性能を向上させることができる。
【００９２】
なお、図９の（Ａ）では、振れ検出信号の信号レベルと閾値レベル「ＶＬth1」「ＶＬth2」を比較したが、振れ検出信号の基準値「ＶＬ0」からの変化量の絶対値を算出して、この絶対値と閾値を比較してもよい。このように、絶対値を用いれば、動きの方向に関係なく振れの大きさの判別やパンニング動作やチルティング動作が行われているか否かの判別を行うことができる。
【００９３】
また、変位範囲の切り換えは、振れが大きいときに振れ補正性能優先モードの変位範囲に切り換えればよく、振れ検出信号が閾値レベル「ＶＬth1」を超えている比率に基づいて行う場合に限られるものではない。例えば、振れ検出信号の信号レベルが閾値を超えた回数が単位時間内で所定回数を超えたとき、振れ補正性能優先モードの変位範囲に切り換えるようにしてもよい。
【００９４】
さらに、振れ補正の動作モードは、ユーザーが選択できるようにしてもよい。例えば、動作モードとして、オフモードとスタンダードモードとアクティブモードを設ける。オフモードは、振れ補正を行わない動作モードである。スタンダードモードは、振れにかかわらず補正レンズ部の変位範囲を最大変位範囲よりも狭い範囲に制限して振れ補正を行う動作モードである。アクティブモードは、振れに応じて補正レンズ部の変位範囲を切り換えて振れ補正を行う動作モードである。このようにすれば、例えば三脚等を使用して撮像を行うとき、ユーザーはオフモードを選択することで振れ補正機能を停止させて撮像を行うことができる。また、静止した状態で撮像装置を手で構えて撮像を行うとき、ユーザーはスタンダードモードを選択することで、手振れ等を補正して画質を優先した撮像を行うことができる。さらに、手振れよりも大きな振れを生じる状態で撮像を行うとき、例えば歩きながら撮像を行うときや動いている車の中で撮像を行うとき、ユーザーはアクティブモードを選択すればよい。アクティブモードが選択された場合、振れ補正性能を向上させた振れ補正が行われるので、スタンダードモードでは補正しきれない振れも補正することが可能となる。
【００９５】
＜４．光学劣化補正動作＞
上述のように振れ補正を行うと、振れが大きいことを制御部５０で検出したとき、振れ補正性能優先モードに設定されて、変位範囲の制限が解除されて変位範囲が拡大される。また、ユーザーがアクティブモードを選択すると、変位範囲の制限が解除されて変位範囲が拡大される。このように、変位範囲が拡大されるとレンズ部１１と撮像素子２１との相対的位置関係が光学劣化許容範囲を超えて、撮像画の光学劣化を招いてしまう場合が生じる。例えば、ＭＴＦの劣化が許容範囲を超えてしまい、撮像画は画質の劣化した画像となってしまう。したがって、光学劣化が許容範囲を超えてしまうような振れ補正が行われる場合、例えば動作モードが振れ補正性能優先モードやアクティブモードとされる場合、光学劣化補正動作を行う。
【００９６】
図１０は、光学劣化補正動作を示すフローチャートである。ステップＳＴ４１で光学劣化補正部２５は、補正対象判別処理を行う。光学劣化補正部２５は、レンズ部１１と撮像素子２１との相対的位置関係に基づいて、光学劣化の補正が必要な補正対象の撮像画を判別してステップＳＴ４２に進む。
【００９７】
ステップＳＴ４２で光学劣化補正部２５は、補正不要画抽出処理を行う。光学劣化補正部２５は、補正対象の撮像画よりも光学劣化の少ない補正不要の撮像画を抽出してステップＳＴ４３に進む。
【００９８】
ステップＳＴ４３で光学劣化補正部２５は、補正処理を行う。光学劣化補正部２５は、ステップＳＴ４２で抽出した画像信号から、補正対象と判別された撮像画において光学劣化が顕著となる画像領域（画像劣化領域）に対応する補正用画像の画像信号を抽出する。また、光学劣化補正部２５は、抽出した補正用画像の画像信号を用いて、補正対象と判別された撮像画における光学劣化の補正を行い、光学劣化が補正された画像信号を生成してステップＳＴ４１に戻る。
【００９９】
＜５．動画撮像における光学劣化補正動作＞
次に、動画撮像における光学劣化補正動作について説明する。なお、以下の説明では、レンズ部１１と撮像素子２１との相対的位置関係を示す情報として例えば振れ補正の補正角を用いている。
【０１００】
［補正対象判別処理動作］
図１１は、補正対象判別処理の第１の動作を示すフローチャートである。ステップＳＴ５１で補正対象判別部２５５は、フレーム開始であるか否か判別する。補正対象判別部２５５は、フレームの開始でないときステップＳＴ５１に戻り、フレームが開始したときステップＳＴ５２に進む。
【０１０１】
ステップＳＴ５２で補正対象判別部２５５は、初期化を行う。補正対象判別部２５５は、補正対象判別処理で用いるパラメータ等の初期化を行う。補正対象判別部２５５は、例えば補正対象のフレームであるか補正不要のフレームであるかを示す補正フラグをクリアする。また、補正対象判別部２５５は、撮像画の露光期間内における振れ補正角の最大値を示す補正角最大値や、露光期間内で補正角が最大値となった時間を示す補正角最大値時間をクリアしてステップＳＴ５３に進む。
【０１０２】
ステップＳＴ５３で補正対象判別部２５５は、補正角を検出する。補正対象判別部２５５は、位置センサ１３からの位置信号や振れ検出部４２からの振れ検出信号に応じて振れ補正の補正角を検出してステップＳＴ５４に進む。なお、補正対象判別部２５５は、制御部５０から振れ補正の補正角を取得するようにしてもよい。
【０１０３】
ステップＳＴ５４で補正対象判別部２５５は、補正角が閾値角度を超えているか否か判別する。補正対象判別部２５５は、補正角が閾値角度を超えているときステップＳＴ５５に進み、補正角が閾値角度を超えていないときステップＳＴ６０に進む。閾値角度は、光学劣化が例えば許容範囲を超えない角度に予め設定しておく。
【０１０４】
ステップＳＴ５５で補正対象判別部２５５は、補正フラグをセットする。補正対象判別部２５５は、補正角が閾値角度を超えたことから、撮像画を補正対象と判別して補正フラグをセットしてステップＳＴ５６に進む。
【０１０５】
ステップＳＴ５６で補正対象判別部２５５は、フレーム番号を記憶する。補正対象判別部２５５は、補正角が閾値角度を超えたフレーム、すなわち補正フラグをセットしたフレームのフレーム番号を記憶してステップＳＴ５７に進む。
【０１０６】
ステップＳＴ５７で補正対象判別部２５５は、補正角が補正角最大値よりも大きいか否か判別する。補正対象判別部２５５は、補正角が補正角最大値よりも大きいときステップＳＴ５８に進み、補正角が補正角最大値よりも大きくないときステップＳＴ６０に進む。
【０１０７】
ステップＳＴ５８で補正対象判別部２５５は、補正角最大値の設定を行う。補正対象判別部２５５はステップＳＴ５３で検出した補正角を補正角最大値に設定してステップＳＴ５９に進む。
【０１０８】
ステップＳＴ５９で補正対象判別部２５５は、補正角最大値時間の設定を行う。補正対象判別部２５５は、露光期間内における現在時間を補正角最大値時間に設定してステップＳＴ６０に進む。
【０１０９】
ステップＳＴ６０で補正対象判別部２５５は、フレーム終了であるか否か判別する。補正対象判別部２５５は、フレームが終了していないときステップＳＴ５３に戻り、フレームが終了したときステップＳＴ６１に進む。
【０１１０】
ステップＳＴ６１で補正対象判別部２５５は、補正情報を情報テーブルに記録する。補正対象判別部２５５は、補正フラグ、フレーム番号、補正角最大値、補正角最大値時間を補正情報として情報テーブルに記録する。また、補正対象判別部２５５は、補正対処のフレームと判別されたとき、検出した補正角を時間インデックスに関係付けて、補正情報として情報テーブルに記録する。なお、補正情報は、補正対処のフレームであるか補正不要のフレームであるかにかかわらず、補正角最大値や補正角最大値時間が更新されたとき、情報テーブルに記録してもよい。また、補正角を検出したとき時間インデックスと補正角を関係付けて、順次情報テーブルに記録してもよい。
【０１１１】
このような処理をフレーム毎に行うと、補正角が閾値角度を超えるフレームを補間対象のフレームとして判別できる。また、補正対象の各フレームについて、フレーム内における補正角最大値や補正角最大値時間等を情報テーブルに記録しておくことができる。さらに、補正対処のフレームと判別されたとき、検出した補正角を時間インデックスに関係付けて、補正情報として情報テーブルに記録しておくことができる。なお、情報テーブルは、少なくともメモリ部２５１に記憶されるフレームの補正情報を記録できるようにする。また、情報テーブルでは、最新の情報が記録されているように、順次新たな情報で情報テーブルにおける最も古い補正情報を更新するようにしてもよい。
【０１１２】
図１２は、補正対象判別処理の第１の動作を説明するための図である。なお、図１２の（Ａ）は、撮像時における補正角の時間変化を例示している。また、図１２の（Ｂ）は撮像動作を行うことにより得られた３フレーム分の撮像画を例示している。ここで、３フレーム分の撮像画は、振れ補正が行われていることから、撮像範囲が等しい画像となる。また、撮像画における斜線部は、光学劣化を生じた画像部分を簡略化して示している。
【０１１３】
補正対象判別部２５５は、位置センサ１３からのセンサ信号や振れ検出部４２からの振れ検出信号に基づき、露光期間中の補正角を検出する。補正対象判別部２５５は、露光期間中に補正角が閾値角度を超えたとき、すなわち補正角が補正角制限範囲を超えたとき、この撮像画を補正対象とする。ここで図１２に示すフレームＦ１，Ｆ３は、露光期間中に補正角が補正角制限範囲を超えていないことから補正不要のフレームとする。また、フレームＦ２は、露光期間中に補正角が補正角制限範囲を超えていることから補正対象とする。補正対象判別部２５５は、フレームＦ２に対して補正フラグをセットする。また、補正対象判別部２５５は、補正角最大値と補正角最大値時間を情報テーブルに記録する。さらに、補正対象判別部２５５は、補正対象であるフレームＦ２について、補正角に時間インデックスを関係付けて情報テーブルに記録する。
【０１１４】
図１３は、補正対象判別処理の第２の動作を示すフローチャートである。ステップＳＴ７１で補正対象判別部２５５は、フレーム開始であるか否か判別する。補正対象判別部２５５は、フレームが開始したときステップＳＴ７２に進み、フレームの開始でないときステップＳＴ７１に戻る。
【０１１５】
ステップＳＴ７２で補正対象判別部２５５は、初期化を行う。補正対象判別部２５５は、補正対象判別処理で用いるパラメータ等の初期化を行う。補正対象判別部２５５は、例えば補正対象のフレームであるか補正不要のフレームであるかを示す補正フラグをクリアする。また、補正対象判別部２５５は、撮像画の露光期間内における振れ補正角の最大値を示す補正角最大値や、露光期間内で補正角が最大値となった時間を示す補正角最大値時間をクリアする。さらに補正対象判別部２５５は、補正角を積分した補正角積分値をクリアしてステップＳＴ７３に進む。
【０１１６】
ステップＳＴ７３で補正対象判別部２５５は、補正角を検出する。補正対象判別部２５５は、位置センサ１３からの位置信号や振れ検出部４２からの振れ検出信号に応じて振れ補正の補正角を検出してステップＳＴ７４に進む。なお、補正対象判別部２５５は、制御部５０から振れ補正の補正角を取得するようにしてもよい。
【０１１７】
ステップＳＴ７４で補正対象判別部２５５は、補正角が閾値角度を超えているか否か判別する。補正対象判別部２５５は補正角が閾値角度を超えているときステップＳＴ７５に進み、補正角が閾値角度を超えていないとき、ステップＳＴ８３に進む。
【０１１８】
ステップＳＴ７５で補正対象判別部２５５は、補正角の閾値角度を超える部分を補正積分値に加算してステップＳＴ７６に進む。
【０１１９】
ステップＳＴ７６で補正対象判別部２５５は、補正角と現在時間を記憶してステップＳＴ７７に進む。
【０１２０】
ステップＳＴ７７で補正対象判別部２５５は、補正積分値が積分値用閾値を超えているか否か判別する。補正対象判別部２５５は、補正積分値が積分値用閾値を超えているときステップＳＴ７８に進み、補正積分値が積分値用閾値を超えていないときステップＳＴ８０に進む。
【０１２１】
ステップＳＴ７８で補正対象判別部２５５は、補正フラグをセットする。補正対象判別部２５５は、補正積分値が積分値用閾値を超えたことから、補正対象と判別して補正フラグをセットしてステップＳＴ７９に進む。
【０１２２】
ステップＳＴ７９で補正対象判別部２５５は、フレーム番号を記憶する。補正対象判別部２５５は、補正角が閾値角度を超えたフレーム、すなわち補正フラグをセットしたフレームのフレーム番号を記憶してステップＳＴ８０に進む。
【０１２３】
ステップＳＴ８０で補正対象判別部２５５は、補正角が補正角最大値よりも大きいか否か判別する。補正対象判別部２５５は、補正角が補正角最大値よりも大きいときステップＳＴ８１に進み、補正角が補正角最大値よりも大きくないときステップＳＴ８３に進む。
【０１２４】
ステップＳＴ８１で補正対象判別部２５５は、補正角最大値の設定を行う。補正対象判別部２５５はステップＳＴ７３で検出した補正角を補正角最大値に設定してステップＳＴ８２に進む。
【０１２５】
ステップＳＴ８２で補正対象判別部２５５は、補正角最大値時間の設定を行う。補正対象判別部２５５は、露光期間内における現在時間を補正角最大値時間に設定してステップＳＴ８３に進む。
【０１２６】
ステップＳＴ８３で補正対象判別部２５５は、フレーム終了であるか否か判別する。補正対象判別部２５５は、フレームが終了していないときステップＳＴ７３に戻り、フレームが終了したときステップＳＴ８４に進む。
【０１２７】
ステップＳＴ８４で補正対象判別部２５５は、補正情報を情報テーブルに記録する。補正対象判別部２５５は、補正フラグ、フレーム番号、補正角最大値、補正角最大値時間を補正情報として情報テーブルに記録する。また、補正対象判別部２５５は、補正対象のフレームと判別されたとき、検出した補正角を時間インデックスに関係付けて、補正情報として情報テーブルに記録する。なお、補正情報は、補正対象のフレームであるか補正不要のフレームであるかにかかわらず、補正角最大値や補正角最大値時間が更新されたとき、情報テーブルに記録してもよい。また、補正角を検出したとき時間インデックスと補正角を関係付けて、順次情報テーブルに記録してもよい。
【０１２８】
このような処理をフレーム毎に行うと、補正角の閾値角度を超える部分の積分値が積分値用閾値を超えるフレームを、補間対象のフレームとして判別できる。また、補間対象の各フレームについて、フレーム内における補正角最大値や補正角最大値時間等を、補正情報として情報テーブルに記録しておくことができる。さらに、補正対処フレームと判別されたとき、検出した補正角を時間インデックスに関係付けて、補正情報として情報テーブルに記録しておくことができる。
【０１２９】
図１４は、補正対象判別処理の第２の動作を説明するための図である。なお、図１４の（Ａ）は、撮像時における補正角の時間変化を例示している。また、図１４の（Ｂ）は撮像動作を行うことにより得られた３フレーム分の撮像画を例示している。また、撮像画における斜線部は、光学劣化を生じた画像部分を簡略化して示している。
【０１３０】
補正対象判別部２５５は、位置センサ１３からのセンサ信号や振れ検出部４２からの振れ検出信号に基づき、露光期間中の補正角を検出する。補正対象判別部２５５は、補正角の閾値角度を超える部分を補正積分値に加算して、補正積分値が積分値用閾値を超える撮像画を補正対象とする。ここで、補正角の閾値角度「θth」を超える部分をフレーム内で順次加算した補正積分値が、フレームＦ１１，Ｆ１２では積分値用閾値を超えていないとき、このフレームを補正不要のフレームとする。また、フレームＦ１３において、補正角の閾値角度「θth」を超える部分をフレーム内で順次加算した補正積分値が、フレームＦ１３で積分値用閾値を超えるとき、この撮像画を補正対象とする。補正対象判別部２５５は、補正対象と判別された撮像画であるフレームＦ１３に対して補正フラグをセットする。また、補正対象判別部２５５は、補正角最大値と補正角最大値時間を情報テーブルに記録する。さらに、補正対象判別部２５５は、フレームＦ１３について、補正角に時間インデックスを関係付けて情報テーブルに記録する。
【０１３１】
［画像抽出処理動作］
図１５は、画像抽出処理動作を示すフローチャートである。ステップＳＴ９１で補正不要画抽出部２５６は、撮像画に対して補正フラグがセットされているか否かを判別する。補正不要画抽出部２５６は、撮像画に関する補正情報において、補正フラグがセットされているときステップＳＴ９２に進み、補正フラグがセットされていないとき処理を終了する。
【０１３２】
ステップＳＴ９２で補正不要画抽出部２５６は、前後のフレームの補正フラグがクリアであるか否か判別する。補正不要画抽出部２５６は、撮像画に関する補正情報で示されたフレーム番号に基づき、前後のフレームの補正情報を検索する。ここで、前後のフレームに関する補正情報において、補正フラグがクリアであるときステップＳＴ９３に進み、前後のフレームの補正フラグがセットされているとき、または一方のフレームのみ補正フラグがクリアされているときステップＳＴ９４に進む。
【０１３３】
ステップＳＴ９３で補正不要画抽出部２５６は、補正角最大時間が露光期間の中央より遅れている否か判別する。補正不要画抽出部２５６は、補正角最大時間が露光期間の中央より遅れているときステップＳＴ９６に進み、補正角最大時間が露光期間の中央より遅れていないときステップＳＴ９７に進む。
【０１３４】
ステップＳＴ９４で補正不要画抽出部２５６は、前後のフレームの補正フラグがセットされているか否か判別する。補正不要画抽出部２５６は、前後のフレームのいずれか１つがクリアであるとき、ステップＳＴ９５に進み、前後のフレームの補正フラグが共にセットされているときステップＳＴ９８に進む。
【０１３５】
ステップＳＴ９５で補正不要画抽出部２５６は、後フレームの補正フラグがセットされているか否か判別する。補正不要画抽出部２５６は、前フレームの補正フラグがセットされているときステップＳＴ９６に進み、後フレームの補正フラグがセットされているときステップＳＴ９７に進む。
【０１３６】
ステップＳＴ９６で補正不要画抽出部２５６は、後フレームの撮像画を抽出して画像抽出処理を終了する。
【０１３７】
ステップＳＴ９７で補正不要画抽出部２５６は、前フレームの撮像画を抽出して画像抽出処理を終了する。
【０１３８】
ステップＳＴ９８で補正不要画抽出部２５６は、補正不要画記憶部の撮像画を抽出して画像抽出処理を終了する。
【０１３９】
このような画像抽出処理をフレーム毎に行うと、撮像画が補正対象であるとき、この撮像画よりも光学劣化の少ない前フレームまたは後フレームの撮像画あるいは補正不要画記憶部の撮像画が補正不要画抽出部２５６で抽出される。
【０１４０】
図１６は、画像抽出処理動作を説明するための図である。なお、図１６の（Ａ）は、撮像時における補正角の時間変化を例示している。また、図１６の（Ｂ）は撮像動作を行うことにより得られた３フレーム分の撮像画を例示している。また、撮像画における斜線部は、光学劣化を生じた画像部分を簡略化して示している。
【０１４１】
補正不要画抽出部２５６は、メモリ２５１nに記憶されているフレームＦ２の撮像画に関する補正情報において、補正フラグがセットされているとき、このフレームＦ２の撮像画よりも光学劣化の少ない撮像画の抽出を行う。補正不要画抽出部２５６は、図１６の（Ａ）（Ｂ）に示すように、フレームＦ２の前後であるフレームＦ１とフレームＦ３において、補正角が補正角制限範囲内となり補正不要と判別されているとき、フレームＦ２の撮像画に関する補正情報の補正角最大値時間が、前フレームに近いか後フレームに近いか判別する。ここで、フレームＦ２における補正角最大値時間が、図１６の（Ａ）に示すように前フレームに近いとき前フレームであるフレームＦ１の撮像画をメモリ２５１n-1から抽出して補正処理部２５８に出力する。
【０１４２】
また、図１６の（Ｃ）は、前フレームであるフレームＦ１の撮像画が補正対象と判別されており、後フレームであるフレームＦ３の撮像画が補正不要と判別されている場合を示している。この場合、補正不要画抽出部２５６は、フレームＦ３の撮像画をメモリ２５１n+1から抽出して補正処理部２５８に出力する。
【０１４３】
さらに、図１６の（Ｄ）は、メモリ部２５１に記憶されている撮像画が補正対象と判別された場合を示している。この場合、補正不要画抽出部２５６は、メモリ部２５１から光学劣化の少ない撮像画の抽出を行うことができないため、補正不要画記憶部２５７に記憶されている例えはフレームＦ-１の撮像画を抽出して補正処理部２５８に出力する。
【０１４４】
［補正処理動作］
図１７は、補正処理動作を示すフローチャートである。ステップＳＴ１０１で補正処理部２５８は、撮像画に対して補正フラグがセットされているか否かを判別する。補正処理部２５８は、補正フラグがセットされているときステップＳＴ１０２に進み、補正フラグがセットされていないときステップＳＴ１０３に進む。
【０１４５】
ステップＳＴ１０２で補正処理部２５８は、時間インデックスをクリアしてステップＳＴ１０３に進む。
【０１４６】
ステップＳＴ１０３で補正処理部２５８は、補正処理実施条件を満たしているか否か判別する。補正処理部２５８は、時間インデックスの補正角と時間インデックスに閾値時間を加算した時間インデックスの補正角が等しくなったとき補正処理を行う。閾値時間は、１フレームの露光時間よりも短い時間、例えば１フレームの露光時間の１０％〜５０％程度に設定する。補正処理部２５８は、時間インデックスの補正角と時間インデックスに閾値時間を加算した時間インデックスの補正角が等しくないときステップＳＴ１０４に進み、等しくなったときステップＳＴ１０６に進む。
【０１４７】
ステップＳＴ１０４で補正処理部２５８は、時間インデックスが最後の時間インデックスであるか否か判別する。補正処理部２５８は、時間インデックスが露光期間内の最後の時間インデックスでないときステップＳＴ１０５に進み、時間インデックスが露光期間内の最後の時間インデックスであることを示しているとき、補正処理動作を終了する。
【０１４８】
ステップＳＴ１０５で補正処理部２５８は、時間インデックスをインクリメントしてステップＳＴ１０３に戻る。
【０１４９】
ステップＳＴ１０６で補正処理部２５８は、補正処理の補正角を設定する。補正処理部２５８は、ステップＳＴ１０３で補正処理実施条件を満たしたときの時間インデックスの補正角を補正処理の補正角とする。
【０１５０】
このようにステップＳＴ１０３からステップＳＴ１０５の処理を行うと、補正角が次に等しい補正角となるまでの期間が閾値時間と等しくなったとき補正処理の補正角が設定されてステップＳＴ１０７に進む。
【０１５１】
ところで、１フレームの露光期間において、補正角が補正角制限範囲を超えている期間が短いと、光学劣化も少ない。したがって、補正角が補正角制限範囲を超えても、補正角制限範囲を超えている期間が短いときには光学劣化の補正を行う必要がない。ここで、ステップＳＴ１０３からステップＳＴ１０５の処理を行えば、補正角制限範囲を超えている期間が閾値時間よりも短いときに補正処理の補正角が設定されることがない。したがって、光学劣化の補正が不必要に行われてしまうことを防止できる。
【０１５２】
ステップＳＴ１０７で補正処理部２５８は、補正用画像を取得する。補正処理部２５８は、設定された補正角に応じて補正領域を決定する。さらに、補正処理部２５８は、補正不要画抽出部２５６で抽出された撮像画から、補正領域の画像を補正用画像として抽出してステップＳＴ１０８に進む。なお、補正領域は、補正角と光学劣化の関係を測定して補正角に対応する光学劣化の補正領域を予め決定して記憶させておけば、設定された補正角に応じた補正領域を容易に決定できる。
【０１５３】
ステップＳＴ１０８で補正処理部２５８は、画像補正処理を行う。補正処理部２５８は、ステップＳＴ１０７で取得した補正領域の補正用画像を用いて、補正対象の撮像画における光学劣化の補正を行う。補正処理部２５８は、例えば抽出した補正用画像を補正対象の撮像画における補正領域に貼り付けて光学劣化を補正する。また、補正用画像と補正対象の撮像画における補正領域の画像をブレンドして光学劣化を補正するようにしてもよい。さらに、補正用画像と補正対象の撮像画をブレンドする場合、光学劣化の少ない領域では補正用画像の割合を小さくして、光学劣化が大きくなる領域では、補正用画像の割合を大きくする。このようにブレンド比を制御すれば、光学劣化の補正が行われている領域と光学劣化の補正が行われていない領域との境界を目立たなくできる。
【０１５４】
このような補正処理をフレーム毎に行うと、補正対象の撮像画において光学劣化が顕著となる領域の画像を、補正対象の撮像画よりも光学劣化の少ない撮像画から抽出した補正用画像を用いて光学劣化の補正を行うことができる。
【０１５５】
なお、フローチャートでは示していないが、露光期間よりも短い閾値時間を設定して、この閾値時間よりも補正角が補正角制限範囲を超えている時間が長いとき、補正角最大値を補正処理の補正角に設定して光学劣化の補正を行うようにしてもよい。この場合、補正処理の補正角は、図１７に示す補正動作よりも大きくなることから、補正領域が広くなる。
【０１５６】
図１８は、補正処理動作を説明するための図である。なお、図１８の（Ａ）は、撮像時における補正角の時間変化を例示している。図１８の（Ｂ）は撮像動作を行うことにより得られた３フレーム分の撮像画を例示している。図１８の（Ｃ）は、補正不要画抽出部で抽出された撮像画から、補正領域の画像を抽出した補正用画像を示している。また、図１８の（Ｄ）は補正処理後の撮像画を示している。なお、撮像画における斜線部は、光学劣化を生じた画像部分を簡略化して示している。
【０１５７】
補正不要画抽出部２５６は、メモリ２５１nに記憶されているフレームＦ２の撮像画に関する補正情報において、補正フラグがセットされているとき、補正情報に基づき、補正処理実施条件を満たしているか否か判別する。ここで、時間インデックスＴid-aの補正角と、この時間インデックスＴid-aに閾値時間「Ｔth」を加算した時間インデックスＴid-bの補正角が共に補正角「α」であるとき、この補正角「α」を光学補正処理の光学補正角とする。
【０１５８】
また、補正処理部２５８は、設定された補正角「α」に応じて補正領域を決定する。補正領域は、フレームＦ２の撮像画において光学劣化部分を含む領域となるように決定される。補正処理部２５８は、補正不要画抽出部２５６で抽出された撮像画から、補正領域の画像を補正用画像として抽出する。この補正用画像を例えばフレームＦ２の撮像画の補正領域に貼り付けることで、光学劣化の補正された撮像画の画像信号を生成できる。
【０１５９】
図１９は、振れ補正における補正角が小さい場合の補正処理動作を示している。なお、図１９の（Ａ）は、撮像時における補正角の時間変化を例示している。図１９の（Ｂ）は撮像動作を行うことにより得られた撮像画を例示している。
【０１６０】
図１９に示すように、振れ補正の補正角が小さいと、時間インデックスの補正角と、この時間インデックスに閾値時間「Ｔth」を加算した時間インデックスの補正角が等しくなる場合を生じない。したがって、補正処理の補正角が設定されることがなく、補正処理が行われない。すなわち、光学劣化の少ない撮像画に対して補正処理が行われることを防止できる。
【０１６１】
図２０は、振れ補正における補正角が大きい場合の補正処理動作を示している。なお、図２０の（Ａ）は、撮像時における補正角の時間変化を例示している。図２０の（Ｂ）は撮像動作を行うことにより得られた撮像画を例示している。図２０の（Ｃ）は、補正不要画抽出部で抽出された撮像画から、補正領域の画像を抽出した補正用画像を示している。また、図２０の（Ｄ）は補正処理後の撮像画を示している。また、撮像画における斜線部は、光学劣化を生じた画像部分を簡略化して示している。
【０１６２】
図２０に示すように、振れ補正の補正角が図１８に示す場合に比べて大きいと、時間インデックスＴid-cの補正角と、この時間インデックスＴid-cに閾値時間「Ｔth」を加算した時間インデックスＴid-dの補正角が補正角「β」で等しくなる。また、補正角「β」は補正角「α」よりも大きくなる。補正処理部２５８は、補正角「β」を補正処理の補正角として、補正対象の撮像画よりも光学劣化の少ない撮像画から補正角「β」に対応した補正領域の補正用画像を抽出する。このため、振れ補正における補正角が大きくなって光学劣化を生じた範囲が広い場合であっても、光学劣化を生じた範囲に対応した補正用画像が抽出されることになり、光学劣化が補正された撮像画の画像信号を生成できる。
【０１６３】
このように、動画撮像時に光学劣化補正動作を行う場合、補正対象の撮像画が判別されたときには、連続している撮像画から補正対象の撮像画よりも光学劣化の少ない撮像画が抽出される。さらに、抽出された画像からレンズ部と撮像素子との相対的位置関係に応じて決定された補正領域の画像が補正用画像として抽出されて、この補正用画像を用いて補正対象の撮像画における光学劣化が補正される。このため、例えば歩きながら動画の撮像を行っても振れの動画を得られるように、レンズ部と撮像素子との相対的位置関係の変位範囲を広げても、変位範囲を広げたことによって生じる光学劣化を補正できる。すなわち、振れ補正特性を向上させたときに光学劣化が生じても、この光学劣化が補正された撮像画を得ることができる。
【０１６４】
＜６．静止画撮像における光学劣化補正動作＞
次に、静止画の撮像動作を行う場合について説明する。静止画の撮像では、シャッター操作に応じて１フレームの静止画の画像信号が生成される。このため、動画撮像時のように、補正対象の静止画に対して前後の撮像画が存在していないので、補正対象の静止画よりも光学劣化の少ない撮像画を抽出することができない。そこで、静止画撮像時の第１の光学劣化補正動作では、静止画が補正対象と判別されたとき、続けて撮像動作を行い、シャッター操作に応じて生成した静止画と連続する撮像画（以下「連続画」という）を例えば１枚生成する。また、生成した連続画が補正不要と判別されたとき、この連続画から補正用画像を抽出する。
【０１６５】
図２１は、静止画撮像における第１の劣化補正動作を説明するための図である。なお、図２１の（Ａ）は、撮像時における補正角の時間変化を例示している。図２１の（Ｂ）は撮像動作を行うことにより得られた静止画と連続画を例示している。図２１の（Ｃ）は、補正不要画抽出部で抽出した連続画から、補正領域の画像を抽出した補正用画像を示している。また、図２１の（Ｄ）は補正処理後の静止画を示している。
【０１６６】
補正対象判別部２５５は、シャッター操作に応じて生成された静止画が補正対象であるか否かを判別して判別結果を制御部５０に通知する。制御部５０は、静止画が補正対象と判別されたとき、静止画のフレームＦＳに続いて撮像を行い、図２１の（Ｂ）に示すように、フレームＦＣａである連続画の画像信号を生成する。補正不要画抽出部２５６は、連続画が補正不要と判別されたとき、この連続画を補正処理部２５８に供給する。補正処理部２５８は、図２１の（Ｃ）に示すように、連続画から補正用画像を抽出して、この補正用画像を用いて補正対象と判別された静止画における光学劣化の補正を行い、図２１の（Ｄ）に示す光学劣化が補正された静止画の画像信号を生成する。
【０１６７】
このように、静止画が補正対象と判別されたとき続けて撮像動作を行い、シャッター操作に応じて生成した静止画と連続する連続画から補正用画像を抽出して補正処理を行うことで、静止画の撮像動作においても、光学劣化の補正を行うことができる。
【０１６８】
また、連続画のフレームＦＣａが補正対象と判別されたときは、連続画における光学劣化が大きいことから、連続画を用いて静止画の光学劣化を補正できない。したがって、光学劣化補正部２５は、光学劣化の補正を行わないようにする。また、制御部５０は、表示部３３で光学劣化補正が行われていないことを示す識別表示、例えば「補正失敗」の表示を行う。また、光学劣化が生じた静止画の記録を行わないときには、「撮像失敗」等の表示を行うようにしてもよい。
【０１６９】
次に、静止画撮像時における第２の光学劣化補正動作について説明する。第２の光学劣化補正動作では、光学劣化が少なくなるように連続画の生成を行い、この連続画から補正用画像を抽出して補正処理を行う。具体的には、連続画を生成する際に、補正角が補正角制限範囲内となるように補正角のオフセット処理を行う。例えば補正角を補正角制限範囲の中央位置にオフセットしてから撮像を行う。この場合、連続画の露光開始時には、補正角が補正角制限範囲の中央位置とされているので、補正角が連続画の露光期間中に補正角制限範囲を超えてしまう場合が少なくなる。すなわち、連続画の光学劣化を少なくできる。また、連続画の撮像範囲は、補正角のオフセット処理が行われていることからシャッター操作に応じて生成された静止画と異なる。したがって、連続画から補正用画像を抽出するとき、静止画の補正領域に対応する抽出範囲を補正角のオフセット量に応じて移動して、移動後の抽出範囲から画像を抽出する。
【０１７０】
図２２は、静止画撮像時の第２の劣化補正動作を説明するための図である。なお、図２２の（Ａ）は、撮像時における補正角の時間変化を例示している。図２２の（Ｂ）は撮像動作を行うことにより得られた静止画と連続画を例示している。図２２の（Ｃ）は、補正不要画抽出部で抽出した連続画から、補正領域の画像を抽出した補正用画像を示している。また、図２２の（Ｄ）は補正処理後の静止画を示している。
【０１７１】
補正対象判別部２５５は、シャッター操作に応じて生成された静止画が補正対象であるか否かを判別して判別結果を制御部５０に通知する。制御部５０は、静止画が補正対象と判別されたとき、静止画のフレームＦＳに続いて撮像を行いフレームＦＣｂである連続画の画像信号を生成する。また、制御部５０は、連続画の撮像を行うとき、例えば補正角を補正角制限範囲の中央位置にオフセットしてから露光を開始する。したがって、図２２の（Ｂ）に示すように、フレームＦＣｂの連続画は、フレームＦＳの静止画と撮像範囲が異なる。
【０１７２】
補正不要画抽出部２５６は、連続画が補正不要と判別されたとき、この連続画を補正処理部２５８に供給する。補正処理部２５８は、連続画から補正用画像を抽出する。ここで、静止画と連続画は、図２２の（Ｂ）に示すように撮像範囲が異なっている。したがって、連続画から補正用画像を抽出するとき、図２２の（Ｃ）に示すように、静止画の補正領域に対応する抽出範囲を補正角のオフセット量に応じて移動して、移動後の抽出範囲から画像を抽出する。補正不要画抽出部２５６は、連続画から抽出した補正用画像を用いて補正対象と判別された静止画における光学劣化の補正を行い、図２２の（Ｄ）に示すように、光学劣化が補正された静止画の画像信号を生成する。
【０１７３】
このように、静止画が補正対象と判別されたとき、続けて撮像動作を行い、シャッター操作に応じて生成した静止画に連続する連続画を生成する。また、連続画の撮像開始時に補正角のオフセットを行うことで、連続画の光学劣化を少なくすることで、静止画の撮像動作においても、光学劣化の補正を行うことができる。
【０１７４】
なお、本発明は、上述した発明の実施の形態に限定して解釈されるべきではない。例えば振れ補正機構は、レンズ部１１と撮像素子２１との相対的位置関係を光軸に対して変位することで、撮像素子２１の撮像面上に結像される光学像の位置を撮像面上で変位させる構成であれば、上述の構成に限られるものではない。
【０１７５】
また、図２に示す光学劣化補正部２５では、補正対象の撮像画に対して前後それぞれ２フレーム分の撮像画をメモリ部２５１で記憶する構成を例示しているが、前後それぞれ１フレーム分の撮像画を記憶する構成としてもよい。また、補正不要の前フレームの撮像画を補正不要画記憶部２５７、後フレームの撮像画をメモリ部２５１に記憶するようにして、メモリ部２５１や補正不要画記憶部２５７から補正不要の撮像画を抽出する構成等としてもよい。
【０１７６】
この発明の実施の形態は、例示という形態で本発明を開示したものであり、本発明の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【産業上の利用可能性】
【０１７７】
この発明の撮像装置と振れ補正方法では、レンズ部と撮像素子との相対的位置関係を振れの検出結果に応じて変位させることで、レンズ部により撮像素子の撮像面上に形成された光学像の振れを補正する。また、振れ補正によって光学劣化を生じた撮像画に対して、この撮像画よりも光学劣化の少ない撮像画を用いて光学劣化の補正を行う。このため、振れ補正によって光学劣化が生じる場合でも、この光学劣化が補正された撮像画を得ることができるようになる。したがって、ディジタルカメラやビデオカメラ等に適している。
【符号の説明】
【０１７８】
１０・・・撮像装置、１１・・・レンズ部、１２・・・ドライバ、１３・・・位置センサ、２１・・・撮像素子、２２・・・ＴＧ部、２３・・・ＡＦＥ部、２４・・・信号処理部、２５・・・光学劣化補正部、３１・・・検波部、３２・・・画像出力部、３３・・・表示部、３４・・・記録再生処理部、４１・・・操作部、４２・・・振れ検出部、５０・・・制御部、１１１・・・ズームレンズ、１１２・・・フォーカスレンズ、１１３・・・補正レンズ部、１１４・・・絞り機構、２５１・・・メモリ部、２５１n-2，２５１n-1，２５１n，２５１n+1，２５１n+2・・・メモリ（ＦＩＦＯ）、２５５・・・補正対象判別部、２５６・・・補正不要画抽出部、２５７・・・補正不要画記憶部、２５８・・・補正処理部
【図１】
2010277033.tif 000003
【図２】
2010277033.tif 000004
【図３】
2010277033.tif 000005
【図４】
2010277033.tif 000006
【図５】
2010277033.tif 000007
【図６】
2010277033.tif 000008
【図７】
2010277033.tif 000009
【図８】
2010277033.tif 000010
【図９】
2010277033.tif 000011
【図１０】
2010277033.tif 000012
【図１１】
2010277033.tif 000013
【図１２】
2010277033.tif 000014
【図１３】
2010277033.tif 000015
【図１４】
2010277033.tif 000016
【図１５】
2010277033.tif 000017
【図１６】
2010277033.tif 000018
【図１７】
2010277033.tif 000019
【図１８】
2010277033.tif 000020
【図１９】
2010277033.tif 000021
【図２０】
2010277033.tif 000022
【図２１】
2010277033.tif 000023
【図２２】
2010277033.tif 000024
【図２３】
2010277033.tif 000025