(57)【要約】【課題】  交換レンズシステムの撮像装置において、レンズと撮像装置の組み合わせに応じて周辺画質を担保しながら、ブレ補正の効果を最大限発揮すること。【解決手段】  検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第１の算出手段と、前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第２の算出手段と、を有し、前記第１の算出手段は、前記駆動量を前記駆動可能量の範囲内で求める。【選択図】  図７
2020088850.tif 000002
【特許請求の範囲】
【請求項１】
検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第１の算出手段と、
前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第２の算出手段と、を有し、
前記第１の算出手段は、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする防振装置。
【請求項２】
前記第２の算出手段により算出された駆動可能量を記憶する記憶手段を更に有することを特徴とする請求項１に記載の防振装置。
【請求項３】
前記第２の算出手段は、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じて、ノイズが許容される範囲で光学特性に起因する画質劣化を補正した場合に、前記撮像素子の信号の読み出し領域の周辺部における、前記光学系の光軸からの最大像高における輝度が予め決められた第１の閾値となる、前記光軸からの前記撮像素子の第１の移動量と、前記撮像素子の信号の読み出し領域における、前記光学系の光軸からの最大像高における輝度と最小像高における輝度との差が予め決められた第２の閾値となる、前記光軸からの前記撮像素子の第２の移動量と、のうち、小さい方を駆動可能量とすることを特徴とする請求項１または２に記載の防振装置。
【請求項４】
前記光学系の状態は、焦点距離と、撮影距離と、絞りの状態を含むことを特徴とする請求項１乃至３のいずれか１項に記載の防振装置。
【請求項５】
前記光学系の状態は、更に、歪曲収差を含むことを特徴とする請求項４に記載の防振装置。
【請求項６】
前記撮像装置の状態は、ＩＳＯ感度を含むことを特徴とする請求項１乃至５のいずれか１項に記載の防振装置。
【請求項７】
前記撮像素子の状態は、前記撮像素子から信号を読み出す領域の大きさを含むことを特徴とする請求項６に記載の防振装置。
【請求項８】
第２の記憶手段から、前記光学系の光学特性情報を取得することを特徴とする請求項１乃至７のいずれか１項に記載の防振装置。
【請求項９】
前記光学系の光学特性情報を、前記光学系から取得することを特徴とする請求項１に記載の防振装置。
【請求項１０】
前記光学系の光学特性情報を、コサイン４乗則を用いて推定することを特徴とする請求項１乃至７のいずれか１項に記載の防振装置。
【請求項１１】
前記光学特性情報は、周辺光量情報および光学伝達関数に係る情報の少なくとも一方であることを特徴とする請求項１乃至１０のいずれか１項に記載の防振装置。
【請求項１２】
前記撮像装置の状態は、前記撮像素子の領域のうち画像が記録される領域の大きさを含むことを特徴とする請求項１乃至１１のいずれか１項に記載の防振装置。
【請求項１３】
前記撮像素子の状態は、画素ピッチを含むことを特徴とする請求項１乃至１２のいずれか１項に記載の防振装置。
【請求項１４】
請求項１に記載の防振装置と、
前記撮像素子と、
前記第１の算出手段により算出された駆動量に基づいて、前記撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動するブレ補正手段と
を有することを特徴とする撮像装置。
【請求項１５】
第１の算出手段が、検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第１の算出工程と、
第２の算出手段が、前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第２の算出工程と、を有し、
前記第１の算出工程では、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする防振方法。
【請求項１６】
コンピュータに、請求項１乃至１３のいずれか１項に記載の防振装置の各手段として機能させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時にブレを補正する防振装置及びその制御方法、及び撮像装置に関し、特に撮像素子を駆動して防振効果を得る防振装置及びその制御方法、及び撮像装置に関する。
【背景技術】
【０００２】
近年、撮像装置の高性能化により多くの撮像装置および撮影レンズに手ブレ補正機構が搭載されている。従来はより影響の大きいブレであるいわゆるピッチ（撮像装置の横方向に延びる軸に沿った回転）、ヨー（撮像装置の縦方向に延びる軸に沿った回転）の補正が行われてきた。ピッチ、ヨー軸周りのブレ補正の性能が向上するに伴って、ロール（光軸周りの回転）の影響が無視できなくなってきた。そのためロールを含むブレ補正可能な機構が多く提案されている。ロールを補正可能な機構として、撮像素子を撮像装置自体のブレ量に合わせて駆動することによりブレ補正を行う機構も多く提案されている。
【０００３】
一方で、上記ブレ補正の為に撮像素子の駆動量を大きくしすぎると、撮影される画像に悪影響を与える可能性がある。その要因として、レンズの光学特性に起因した光量（明るさ）の低減や解像感の低減が挙げられる。
【０００４】
特許文献１では、撮像装置の動きに起因して発生する撮影画像の動きを補正する動き補正手段を備えた装置において、撮像素子から取得した輝度信号を複数の領域に分けて均一具合を判定し、所定の値よりも均一具合が低い場合は、前記動き補正を制限する撮像装置が開示されている。これにより撮像された信号の四隅の均一具合を所定の量にまで抑えることが可能となる。
【０００５】
特許文献２では、撮像装置に着脱可能な交換レンズにおいて、装着された撮像装置が周辺光量補正または収差補正を行う機能を有するか否かに応じて、ブレ補正用のレンズの移動可能範囲を変えることを特徴とする交換レンズが開示されている。これにより、交換レンズが装着された撮像装置に周辺光量補正機能が備わっている場合に、より高精度なブレ補正が可能となる
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４１９５９５０号公報
【特許文献２】特許第５９７９８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１および２に開示された防振装置を用いても、ブレ補正による光量の低減による画質劣化を十分に回避できない。
【０００８】
特許文献１に開示された防振装置では、撮像された信号から輝度信号を検出し、四隅の明るさの均一性を判定する為、前記四隅の明るさの不均一性が被写体起因で発生しているのか、ブレ補正により発生しているのかの判別が難しいという欠点がある。また撮像された信号から判定処理を行う為、一時的に四隅の均一性が所望ではない状態が発生してしまう可能性が高い。また特許文献２に開示された防振レンズ装置では、装着された撮像装置の補正機能の有無により移動可能範囲を変更する為、出力される画像の明るさに関して補償する制御とはなってないという問題がある。
【０００９】
また、四隅の不均一性は、周辺光量による明るさに限らず、コマ収差やサジタルハロなどの収差による主に周辺の画質劣化によっても同様に起きる。このように、ブレ補正の機構の駆動量を大きくしすぎると、収差に起因するぼけによる画像周辺の画質劣化や四隅の解像感が不均一になる問題がある。
【００１０】
本発明は上記問題点を鑑みてなされたものであり、交換レンズシステムの撮像装置において、レンズと撮像装置の組み合わせに応じて周辺画質を担保しながら、ブレ補正の効果を最大限発揮することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の防振装置は、ブレ検出手段により検出されたブレ量に応じて、光学系を介して入射した光を光電変換して画像信号を出力する撮像素子の位置を、前記光学系の光軸に対して垂直な平面上で移動することで、ブレを補正するための駆動量を算出する第１の算出手段と、前記光学系の複数の状態と、撮像装置の複数の状態のそれぞれについて、前記光学系の光学特性情報及び状態と、前記撮像装置の状態とに応じた、前記撮像素子の駆動可能量を算出する第２の算出手段と、を有し、前記第１の算出手段は、前記駆動量を前記駆動可能量の範囲内で求めることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、交換レンズシステムの撮像装置において、レンズと撮像装置の組み合わせに応じて周辺画質を担保しながら、ブレ補正の効果を最大限発揮することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態における撮像システムの中央断面図および概略構成を示すブロック図。
【図２】実施形態におけるブレ補正部の分解斜視図。
【図３】画質劣化を説明する図。
【図４】実施形態における周辺光量補正の補正処理を示すフローチャート。
【図５】実施形態における周辺光量補正の補正量の算出処理を説明するための図。
【図６】実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。
【図７】第１の実施形態における防振駆動テーブルの算出処理を示すフローチャート。
【図８】第１の実施形態における駆動可能量の算出方法を説明する図。
【図９】第１の実施形態における防振駆動テーブルの一例を示す図。
【図１０】第２の実施形態における像高と歪曲収差の補正値との関係を示すグラフ。
【図１１】第２の実施形態における防振駆動量の算出方法を説明する図。
【図１２】第３の実施形態における撮像素子の読み出し領域を説明する図。
【図１３】第３の実施形態における防振駆動量の算出方法を説明する図。
【図１４】第４の実施形態における防振駆動テーブルの算出処理を説明するフローチャート。
【図１５】第５の実施形態における画像回復処理を示すフローチャート。
【図１６】第５の実施形態における画像回復の周波数特性を示す図。
【図１７】第５の実施形態における画像回復の補正量を説明する図。
【図１８】第５の実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。
【図１９】第５の実施形態における撮像素子の駆動可能量の算出方法を説明する図。
【図２０】第５の実施形態における防振駆動テーブルの一例を示す図。
【図２１】第５の実施形態における撮像素子の駆動可能量の算出処理を示すフローチャート。
【図２２】第５の実施形態における撮像素子の駆動可能量の算出方法を説明する図。
【発明を実施するための形態】
【００１４】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。
【００１５】
まず、本実施形態で用いる撮像システムについて説明する。図１（ａ）は本発明の実施形態における撮像システムの中央断面図、図１（ｂ）は撮像システムの概略構成を示すブロック図である。
【００１６】
図１（ａ）に示すように、本発明の撮像システムは、撮像装置本体１と、撮像装置本体１に装着するレンズユニット２から成る。レンズユニット２は、複数のレンズからなる撮影光学系３とレンズシステム制御回路１２を含む。なお、点線４は、撮影光学系３の光軸を示している。撮像装置本体１は、撮像素子６、背面表示装置９ａ、ＥＶＦ９ｂ、ブレ補正部１４、ブレ検出部１５、シャッタ機構１６を有する。撮像装置本体１とレンズユニット２は、電気接点１１を介して通信可能に接続される。
【００１７】
図１（ｂ）は、撮像装置本体１の電気的構成を示すブロック図である。本実施形態におけるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３、撮像素子６、シャッタ機構１６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ８、背面表示装置９ａ、ＥＶＦ９ｂを包含する表示部９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、レンズシステム制御回路１２、レンズ駆動部１３、ブレ補正部１４、およびブレ検出部１５を含む。
【００１８】
レンズ駆動部１３は、フォーカスレンズ、ブレ補正レンズ、絞りなどを駆動することができる。ブレ検出部１５は、光軸４周りの回転を含む装置の回転ブレを検知可能であり、振動ジャイロなどを用いることができる。ブレ補正部１４は撮像素子６を光軸４に直交する平面内に並進させるとともに光軸４周りに回転させる機構であり、この具体的な構造については後述する。
【００１９】
撮像系は、被写体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する。撮像素子６からピント評価量および適当な露光量の情報が得られるので、この情報に基づいて適切に撮影光学系３が調整されることで、適切な光量の被写体からの光を撮像素子６に露光するとともに、撮像素子６近傍で被写体像が結像する。撮像素子６は、被写体像を光電変換して、画像信号を出力する。
【００２０】
画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、撮像素子６から入力した画像信号に基づいて、記録用の画像を生成する。色補間処理部も、この画像処理部７に備えられており、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。また、画像処理部７は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。
【００２１】
カメラシステム制御回路５は、メモリ８へ出力を行うとともに、表示部９にユーザーに提示する像を表示する。
【００２２】
カメラシステム制御回路５は、撮像の際のタイミング信号などを生成して出力すると共に、外部操作に応動して、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、カメラシステム制御回路５は、撮像素子６の駆動、画像処理部７の動作、圧縮処理などを制御する。さらに表示部９によって情報表示を行う情報表示装置の各セグメントの状態を制御する。また、背面表示装置９ａはタッチパネルになっており、操作検出部１０に接続されている。
【００２３】
ここで、制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を基に適切な焦点位置、絞り値を求める。つまり、カメラシステム制御回路５は撮像素子６の信号をもとに測光・測距動作を行い、露出条件（Ｆナンバーやシャッタ速度等）を決定する。
【００２４】
カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２は指令に基づいてレンズ駆動部１３を制御する。さらに、手ブレ補正を行うモードにおいては、後述する撮像素子６から得られた信号を基に、レンズ駆動部１３を介して撮影光学系３に含まれるブレ補正レンズを適切に制御する。
【００２５】
このように、操作検出部１０へのユーザー操作に応じて、撮像装置本体１の各部の動作を制御することで、静止画および動画の撮影が可能となっている。
【００２６】
撮像装置本体１内のブレ補正部１４を制御するにあたっては、ブレ検出部１５からの信号に基づいてブレ補正部１４を動作させる。ブレ検出部１５からの検出信号に基づくブレ補正の目標値の生成および、ブレ補正部１４の駆動制御はカメラシステム制御回路５が担っている。同様に、撮影条件に応じて光軸周りの回転を減じるような規制もカメラシステム制御回路５が担っている。ブレ補正部１４は、カメラシステム制御回路５による制御に従って、撮像素子６を光軸４に対して垂直な平面上で駆動する。
【００２７】
次に、図２を用いて本実施形態のブレ補正部１４について説明する。図２は、ブレ補正部１４のうち、ブレ補正を行う機構の分解斜視図である。なお、別途、制御を行う電気的な仕組みがあるが、図２に示す図にはそれは含まれていない。図２において縦の線は光軸４と平行な方向である。図２において、移動しない部材（固定部）には１００番台の番号を付した。移動する部材（可動部）には２００番台の番号を付している。さらに、固定部と可動部で挟持されるボールは３００番台の番号を付している。
【００２８】
図２において、１０１は上部ヨーク、１０２ａ，１０２ｂ，１０２ｃはビス、１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部磁石、１０４ａ，１０４ｂは補助スペーサ、１０５ａ，１０５ｂ，１０５ｃはメインスペーサである。また、１０６ａ，１０６ｂ，１０６ｃは固定部転動板、１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部磁石、１０８は下部ヨーク、１０９ａ，１０９ｂ，１０９ｃはビス、１１０はベース板である。
【００２９】
２０１はＦＰＣ、２０２ａ，２０２ｂ，２０２ｃは位置検出素子取り付け位置、２０３は可動ＰＣＢ、２０４ａ，２０４ｂ，２０４ｃは可動部転動板、２０５ａ，２０５ｂ，２０５ｃはコイル、２０６は可動枠、３０１ａ，３０１ｂ，３０１ｃはボールである。
【００３０】
上部ヨーク１０１、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆ、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆ、下部ヨーク１０８が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆは上部ヨーク１０１に吸着した状態で接着固定されている。同様に、下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆは下部ヨーク１０８に吸着した状態で接着固定されている。上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆおよび下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆはそれぞれ光軸方向（図２の上下方向）に着磁されている。更に、隣接する磁石（磁石１０３ａと１０３ｂの位置関係にあるもの）は互いに異なる向きに着磁されている。また、対抗する磁石（磁石１０３ａと１０７ａの位置関係にあるもの）は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク１０１と下部ヨーク１０８の間に光軸方向に強い磁束密度が生じる。
【００３１】
上部ヨーク１０１と下部ヨーク１０８の間には強い吸引力が生じるのでメインスペーサ１０５ａ，１０５ｂ，１０５ｃおよび補助スペーサ１０４ａ，１０４ｂで適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石１０３ａ，１０３ｂ，１０３ｃ，１０３ｄ，１０３ｅ，１０３ｆと下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆの間にコイル２０５ａ，２０５ｂ，２０５ｃおよびＦＰＣ２０１を配置するとともに、適当な空隙を確保できるような間隔である。メインスペーサ１０５ａ，１０５ｂ，１０５ｃにはネジ穴が設けられており、ビス１０２ａ，１０２ｂ，１０２ｃによって上部ヨーク１０１がメインスペーサ１０５ａ，１０５ｂ，１０５ｃに固定される。
【００３２】
メインスペーサ１０５ａ，１０５ｂ，１０５ｃの胴部にはゴムが設置されており、可動部の機械的端部（いわゆるストッパー）を形成している。
【００３３】
ベース板１１０には下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス１０９ａ，１０９ｂ，１０９ｃによってベース板１１０と下部ヨーク１０８が固定され、ベース板１１０よりも厚み方向の寸法が大きい下部磁石１０７ａ，１０７ｂ，１０７ｃ，１０７ｄ，１０７ｅ，１０７ｆがベース板１１０から突出するように固定される。
【００３４】
可動ＰＣＢ２０３は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動ＰＣＢ２０３に対して可動部の各要素が固定されて可動部を為している。ＦＰＣ２０１には、位置検出素子取り付け位置２０２ａ，２０２ｂ，２０２ｃで示した位置で図２から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などを用いることができる。ホール素子は小型なので、コイル２０５ａ，２０５ｂ，２０５ｃの巻き線の内側に入れ子になるように配置される。
【００３５】
可動ＰＣＢ２０３には、不図示の撮像素子６、コイル２０５ａ，２０５ｂ，２０５ｃおよびホール素子が接続されている。可動ＰＣＢ２０３上のコネクタを介して外部との電気的なやり取りを行う。
【００３６】
ベース板１１０には固定部転動板１０６ａ，１０６ｂ，１０６ｃが、可動ＰＣＢ２０３には可動部転動板２０４ａ，２０４ｂ，２０４ｃが接着固定されており、ボール３０１ａ，３０１ｂ，３０１ｃの転動面を形成する。転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。
【００３７】
上述した構成でコイル２０５ａ，２０５ｂ，２０５ｃに電流を流すことで、フレミング左手の法則に従った力が発生し可動枠２０６を動かすことができる。また、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことができる。ホール素子信号の値を適当に制御することで光軸に直交する平面内で可動部は並進運動するとともに光軸４周りに回転することができる。
【００３８】
次に、図３を用いて、上述のブレ補正部１４で防振した場合に発生する周辺画質の劣化に関する説明を行う。図２で説明した可動枠２０６で撮像素子６を駆動し、防振制御を行った場合、露光期間中の撮像素子６の位置によっては撮影画像の明るさが不自然になってしまう場合がある。
【００３９】
図３（ａ）は、レンズユニット２と撮像素子６の位置関係を簡略に表した図である。図３は、レンズユニット２の光軸４と、撮像素子６の中心の軸（光軸）とが一致した、撮像素子６の基準位置を示している。図３（ｂ）は、図３（ａ）を正面から見た図であり、円は光軸４を中心として描いている。一般にレンズユニット２の光量変化はこの円の中心から同心円状に均等に変化し、通常は同心円の中心から離れれば離れるほど撮像素子６に届く光量は低減する。この場合、撮像素子６が円の中心にあり、この位置で露光された画像は図３（ｃ）のようになり、撮像素子６の中心から四隅に渡って均等に光量が落ちるような画像が撮像される。また四隅の光量の落ち量も少ない為、良好な画像が得られる。
【００４０】
一方、図３（ｄ）に示す図は、像振れを補正する為に撮像素子６をシフトさせた場合を示している。ブレ補正を実施する為に撮像素子６をシフトさせる必要があるが、露光前の像振れの状態によっては図３（ｄ）に示すような位置を中心に像振れ補正を実施する場合も発生する。その場合の露光は、図３（ｅ）に示すように円の中心からシフトした状態で実施されることになり、その結果、図３（ｆ）のように、画面の左隅で大きく光量が落ち込んだ画像として出力される。さらに、四隅の光量の落ち方も不均一のものとなり、不自然な画像として出力されてしまう。
【００４１】
＜第１の実施形態＞
次に、本発明の第１の実施形態における上記構成を有する撮像システムにおける処理について説明する。まず、周辺光量の補正について説明する。
【００４２】
図４は、周辺減光を画像処理で補正する、所謂、周辺光量補正の概要を示すフローチャートである。まずＳ４０１において、補正を実施する露光期間のレンズユニット２の状態情報を取得する。ここで必要な情報としては、レンズユニット２の周辺減光特性が変化する、焦点距離情報や、撮影距離情報、絞り情報等が挙げられる。次にＳ４０２において、Ｓ４０１で取得した情報に基づいて、レンズユニット２の周辺減光の量を算出する。周辺減光の量を算出する方法としては、予めメモリ８にレンズユニット２の周辺減光特性を記憶しておき、Ｓ４０１で取得した情報からその条件での周辺減光特性を参照し、補間して求める方法が考えられる。
【００４３】
次にＳ４０３において、補正を実施する撮像装置本体１に応じた、周辺光量補正の補正可能量を取得する。周辺光量補正は、電気的に信号をゲインアップすることにより周辺減光を補正するものである。当然ながら、ゲインアップすることによりノイズの増加等の画質の劣化が目立つようになる。どの程度ゲインアップできるかは、一般的に、撮像素子６の特性や、撮像装置本体１の特性によっても異なる。また撮像素子６は、アナログまたはデジタル的に増感する仕組み（所謂ＩＳＯ感度）を有しており、この設定値に応じてノイズ特性が変化する為、補正可能な周辺光量も異なる。これらの条件ごとに周辺光量補正の補正可能量の情報を予めメモリ８に記録しておき、ＩＳＯ感度等により変更する。また、自動露出調整機能や自動コントラスト調整機能などの、電子的に明るさを補正する他の機能の設定に応じて、周辺光量補正に適用可能な補正量を動的に変更しても良い。
【００４４】
Ｓ４０４において、Ｓ４０３で算出した補正可能量に基づいて、実際に適用する補正量を算出する。ここで、その具体的な方法について、図５を用いて説明する。
【００４５】
図５（ａ）のＶ（ｈ）はＳ４０２で算出した、ある条件でのレンズユニット２の周辺減光特性の一例を示すグラフであり、横軸に光軸中心からの距離（像高）、縦軸に各像高における、像高中心の光量を１として規格化した光量を表している。図５（ｂ）は、図５（ａ）と同じ条件における周辺光量補正の補正ゲインを示すグラフである。Ｆ（ｈ）はＶ（ｈ）を完全に補正する場合のゲインカーブを示している。αは、Ｓ４０３で取得した補正可能量である、最大ゲインを示している。この場合の周辺光量補正として、最大の補正ゲインを補正可能量αに抑える必要がある為、実際に補正する量を演算により算出する。その結果の補正量をＧ（ｈ）とする。補正量としては、システムが許容する最大ゲインαまでに収まっていることが分る。
【００４６】
Ｓ４０５では、算出した補正ゲインＧ（ｈ）を画像に適用する。その結果、補正後の周辺光量特性は図５（ｃ）のような特性になる。周辺減光は完全には補正されていないが、システムが許容する範囲内では最大限に補正された結果を出力することが可能となる。
【００４７】
次に、第１の実施形態における撮像素子６の駆動可能量の算出処理について説明する。撮像素子６をシフトさせる像振れ補正では、像振れ補正が行われている状態で、周辺の光量がどの程度落ちるかを予測して撮像素子６の駆動量を決定しないと、図３（ｆ）で説明したように、意図しない不自然な画像を出力してしまう可能性がある。一方で、特にレンズ交換型のシステムにおいて、すべてのレンズに対して前述のような不自然な画像を出力しないように、一様に駆動可能量を設定するとブレ補正の効果が著しく少なくなってしまうという問題がある。そこで本第１の実施形態ではレンズユニット２と撮像装置本体１の組み合わせに応じて、撮像素子６の駆動可能量を求める。
【００４８】
図６は、本第１の実施形態における駆動可能量の算出処理を示すフローチャートである。上述したように、周辺光量は、レンズユニット２の周辺光量特性や、焦点距離、撮影距離、絞り等により変化するため、本第１の実施形態では、これらの条件にそれぞれ対応する駆動可能量を防振駆動を開始する前に予め求めて、記憶しておく。
【００４９】
まずＳ６０１で、装着されたレンズユニット２の全領域の周辺光量特性情報を取得する。取得する方法は、例えばレンズユニット２から取得しても良いし、予めメモリ８に記録しておいても良い。次にＳ６０２において、撮像装置本体１における周辺光量の補正可能量を取得する。具体例としては、Ｓ４０３で取得した最大ゲインαのような情報である。また最大ゲインαがＩＳＯ感度等に応じて変化する場合は、その条件も合わせて取得する。
【００５０】
次にＳ６０３で、Ｓ６０１およびＳ６０２で取得した情報をもとに、防振駆動テーブルを算出する。なお、防振駆動テーブルの算出方法の詳細については後述する。最後にＳ６０４において、Ｓ６０３で演算した結果を、メモリ８に記録することにより処理を終了する。
【００５１】
なお、上述した処理を、例えば、レンズユニット２が撮像装置本体１に装着されたとき等に実行し、撮影を開始するときには防振駆動テーブルがメモリ８に格納されている状態にしておく。
【００５２】
次に図７を用いて、Ｓ６０３で行われる防振駆動テーブルの算出方法について詳細に説明する。最初に、Ｓ７０１において、駆動量判定閾値をメモリ８から読み出す。ここで、駆動量判定閾値とは、画質の観点から許容できる周辺光量の状態を示す閾値のことで、撮像装置本体１の特徴などに応じて予め設定しておくパラメータのことである。具体的には出力される画像の明るさの絶対量がどこまで落ちて良いかを示すパラメータである絶対光量判定閾値Ｌｔｈと、四隅の明るさの均一性を示すパラメータである四隅光量差判定閾値Ｃｔｈである。
【００５３】
次に、Ｓ７０２において、駆動可能量を演算するための撮影条件を取得する。本実施形態では、ＩＳＯ感度、焦点距離、撮影距離、絞りに応じて計算する為、各条件を順次変更しながら演算を行っていく。条件や間隔は必要に応じて増減して構わない。次に、Ｓ７０３において、Ｓ７０２で取得した条件に対応する周辺減光の量を算出する。周辺減光の量を算出する方法としては、上述したＳ４０２と同様に、予めメモリ８にレンズユニット２の周辺減光特性を所持しておき、Ｓ７０２で取得した情報からその条件での周辺減光特性を参照し、補間して求める方法が考えられる。
【００５４】
次に、Ｓ７０４において、Ｓ７０２で取得したＩＳＯ感度などから、Ｓ４０４と同様の方法で、その条件で実際に適用される周辺光量の補正量を算出する。Ｓ７０５において、Ｓ４０５と同様にして、Ｓ７０３で取得した周辺光量に対して、Ｓ７０４で取得した補正量により補正を適用する。このようにすることで、実際に露光される画像の明るさをシミュレーションすることが可能となる。Ｓ７０５で算出した補正後のシミュレーション結果から、Ｓ７０６，Ｓ７０７において、その条件での駆動可能量を決定する。ここで、その具体的な方法について、図８を用いて説明する。
【００５５】
図８（ａ），（ｂ）は、Ｓ７０６における処理を説明する図で、図８（ｃ），（ｄ）はＳ７０７における処理を説明する図である。図８（ａ）は横軸に像高、縦軸に光量を表したグラフであり、Ｓ７０５で算出した撮像装置での周辺光量補正後の結果の特性を示すグラフである。ノイズ等の影響で補正が十分できない場合は、像高中心に対して光量落ちが十分に補正できないことを示している。ここで像高Ｚ０はブレ補正しない状態、つまり撮像素子６の中心とレンズユニット２の光軸が一致した場合の撮像素子６の周辺部のうち、最周辺の像高である。以後、光軸中心から、撮像素子６の四隅（周辺部）の像高の中で、最も距離が長いものを「最大像高」と呼ぶ。
【００５６】
図８（ｂ）は図８（ａ）に対応する撮像素子６上での対応位置を示している。例えば、図８（ａ）のＺ０に対応するのは、撮像素子６の中心位置Ｃ０から撮像素子６の隅までの距離であることを示している。また図８（ａ）において像高Ｚ１での光量はＬ（Ｚ１）であることを示している。つまりＬ（Ｚ１）の値がＳ７０１で取得した絶対光量判定閾値Ｌｔｈに一致した時の像高に撮像素子６の周辺が重なるまで、防振駆動可能であることを示している。Ｌｔｈ＝Ｌ（Ｚ１）の場合、図８（ｂ）において画像の隅から距離Ｚ１だけ離れた場所Ｃ１まで光軸中心が移動したときに、画像の周辺で予め指定した絶対光量判定閾値Ｌｔｈになることを示している。言い換えると、防振のための撮像素子６の駆動可能量（第１の移動量）は、Ａ（＝Ｃ０−Ｃ１）ということになる。
【００５７】
次に図８（ｃ），（ｄ）を用いて、Ｓ７０７の四隅光量差判定閾値から駆動可能量Ｂを取得する方法について説明する。Ｓ７０６では絶対光量を用いて駆動可能量を判定していたが、Ｓ７０７では出力される画像の四隅の明るさの差が所定以上にならないようにするための駆動可能量を算出する。図８（ｃ）は、図８（ａ）と同様にＳ７０５で算出した周辺光量補正後の明るさを計算した結果のグラフである。防振駆動時の四隅の明るさの均一性を判定する場合、光軸中心から画像の周辺までの距離が一番長い領域と一番短い領域を比較することで判定する。
【００５８】
例えば、図８（ｄ）において防振制御により、画像中の光軸中心がＣ０からＣ２へ移動した場合を考える。この場合の最大像高はＺ２であり、最小像高はＺ３である。つまり像高Ｚ２と像高Ｚ３で、画面中の輝度差が最大になることが分る。この時の輝度差は図８（ｃ）においてＬ（Ｚ２）とＬ（Ｚ３）の差分として表現される。つまりＬ（Ｚ２）−Ｌ（Ｚ３）が予め決めておいた閾値Ｃｔｈを超えないようなＣ２位置を算出する。具体的には、図８（ｄ）のＣ２の位置に光軸中心がきた場合の光量差がＣｔｈになる場合、その時の駆動可能量Ｂ（第２の移動量）はＺ２−Ｚ０で算出される。
【００５９】
Ｓ７０６，Ｓ７０７で算出した駆動可能量Ａ，Ｂのうち、小さい値の駆動量であれば、絶対光量も四隅の輝度差も担保できる為、ＡとＢの小さい値を、演算した条件での駆動可能量として記録する（Ｓ７０８）。この演算をすべての条件に対して順次行い、防振駆動テーブルを作成する（Ｓ７０９）。
【００６０】
図９は、上述したようにして求めた防振駆動テーブルの一例であり、周辺光量補正の結果が、ＩＳＯ感度、絞り、撮影距離、焦点距離によって変化する場合を示している。この例は一例であり、演算時間や、周辺光量補正のアルゴリズムによっては対応するパラメータは変化しても良い。また演算するステップも任意とする。ここでＩＳＯ０，ＩＳＯ０１・・はＩＳＯ感度の分割ポイントを示し、Ｉｒｉｓ０，Ｉｒｉｓ１・・は絞りの分割ポイントを示し、Ｆｏｃｕｓ０，Ｆｏｃｕｓ１・・は撮影距離の分割ポイントを示し、Ｚｏｏｍ０，Ｚｏｏｍ１・・は焦点距離の分割位置を示している。Ｄａｔａ［０］［０］［０］［０］はＩＳＯ０，Ｉｒｉｓ０，Ｆｏｃｕｓ０，Ｚｏｏｍ０の場合の防振駆動可能量を示している。
【００６１】
上述のように、ブレ補正部１４は、このようにして得られた防振駆動テーブルに基づいてブレ補正制御を実施することで、レンズユニット２と撮像装置本体１の組合せで最適な防振効果を得ることが可能となる。
【００６２】
＜第２の実施形態＞
次に本発明の第２の実施形態について、図１０及び図１１を参照して説明する。第２の実施形態においては、第１の実施形態で説明した防振駆動テーブルに対し、歪曲収差の補正機能と連動して、さらにブレ補正の効果を上げる方法について説明する。なお、第２の実施形態で説明する防振駆動テーブルの算出処理は、図７のＳ７０６及びＳ７０７における処理を変更すれば良く、その他の処理は第１の実施形態と同様であるので、ここでは説明を省略する。
【００６３】
まず、歪曲収差補正について簡単に説明する。歪曲収差とは、理想的には被写体とレンズによる結像は相似形であることが望まれるが、その理想から外れ直線が歪んで写る収差のことである。歪曲収差には理想の状態（無収差レンズで撮影した状態）に対して、画像が外側に歪む状態（所謂、樽型）と画像が内側に歪む状態（所謂、糸巻き型）の２方向の歪曲収差が存在する。
【００６４】
図１０は、像高と、歪曲収差の補正値との関係を示すグラフである。図１０において、縦軸の正の方向が樽型の歪曲収差の補正値を示しており、数値が高いほど、歪み量の大きな樽型の歪曲収差が発生していることを示す。逆に、縦軸の負の方向は糸巻き型の歪曲収差の補正値を示しており、数値が低いほど、歪み量の大きな糸巻き型の歪曲収差が発生していることを示す。
【００６５】
この歪曲収差は、像高ごとにレンズユニットがもつ歪み量をキャンセルする倍率を画像に適用することにより補正することが可能となる。樽型の場合は、像高ごとに拡大処理を行い、糸巻き型の場合は像高ごとに縮小処理を行うことで補正することが可能である。糸巻型の場合は縮小なので画素数が補正前と比べて少なくなる為、最終的に画素数を調整する為に必要に応じて拡大処理を適用する必要がある。一方で、樽型の歪曲収差の場合は拡大処理となる為、補正前の画素数よりも大きな画像で出力される為、縮小処理は必要ない。
【００６６】
特に樽型の歪曲収差の場合は、その補正が拡大処理の為、最終的に出力される画像は、歪補正なしの画像と比べて、内側の画像である。つまり歪補正の程度によって、最終画像に出力されない領域が発生する。この領域は最終画像には出力されないので、この領域を加味して駆動量を算出すると、さらに防振駆動量を増やすことができ、更なるブレ補正の効果が期待できる。
【００６７】
具体的な駆動可能量の算出方法について、図１１を用いて説明する。第１の実施形態における駆動可能量の算出方法との違いとしては、Ｓ７０６、Ｓ７０７で駆動可能量Ａ，Ｂを算出する際に、歪曲収差量を換算することである。図１１（ａ），（ｂ）は、それぞれ図８（ａ），（ｃ）に示す像高に対して、同じ条件での歪曲補正を加味した場合の周辺光量特性の変化を示している。点線は樽型の歪曲補正前の値である。図１１（ａ）においては、同じ絶対光量Ｌ（Ｚ１）に対して、最大像高Ｚ１がＺ１’に延長される為、Ｚ０からの距離が長くなる。その結果、算出される駆動可能量Ａが増加することが分る。一方、図１１（ｂ）においては四隅輝度差がＬ（Ｚ３）−Ｌ（Ｚ２）がＬ’（Ｚ３）−Ｌ’（Ｚ２）に変更となる。一般的に周辺光量は像高が高くなればなるほど急峻に落ちる傾向があるため、歪曲補正前の座標系で像高が低い方が輝度差は少なくなる。よって駆動可能量Ｂも増加することが見込まれる。そして、Ｓ７０８において、このようにして算出した駆動可能量Ａと駆動可能量Ｂのいずれか小さい方を選択すれば良い。
【００６８】
上述のように、歪曲収差を加味することによりさらに、ブレ補正の効果を得ることが可能となる。
【００６９】
＜第３の実施形態＞
次に本発明の第３の実施形態について、図１２および図１３を用いて説明する。第３の実施形態においては、撮像装置本体１のセンサ読み出しモードの違いを考慮することにより、さらにブレ補正の効果を得ることが可能となる場合があるため、その場合について説明する。なお、第２の実施形態と同様に、第３の実施形態で説明する駆動可能量の算出には、図７のＳ７０６及びＳ７０７における処理を変更すれば良く、その他の処理は第１の実施形態と同様であるので、ここでは説明を省略する。
【００７０】
近年、静止画撮影の撮像装置でも動画を撮像できる機種が多く存在している。その場合、一つの撮像センサで読み出し領域を変えることにより、静止画と動画を生成することが多い。図１２は、読み出し領域を示す図である。領域１２０１は撮像素子６の画角をすべて使うモードの読み出し領域を示している。一般的には静止画に合わせてセンサ配置は作成される為、静止画撮影の場合にこの領域１２０１が読み出し領域として用いられることが多い。領域１２０２は動画読み出しに使われる領域である。動画読み出しの場合は画像の縦横比が規格で決められている為、静止画に対して上下の画角が少なくなることが多い。
【００７１】
最後に領域１２０３について説明する。一般的に動画モードの場合は、１フレームの間に読み出せる画素数が決まっており、領域１２０２の読み出しを行う場合、画素を間引くことにより実現する場合がある。間引くことにより画質が劣化してしまう為、画質を担保するため、間引かずにセンサ読み出しを行い、動画を生成する方法がある。この時、読み出し範囲は領域１２０３のように、撮像素子６の撮像面の内側の領域を読み出す必要がある。同様に、電子的にズーム倍率を上げる為に、領域１２０３を読み出す場合や、イメージサークルが小さいレンズユニットが装着された場合に領域１２０３を読み出す場合もある。この時、最終画像に出力される最大像高は１２０１＞１２０２＞１２０３のようになる。
【００７２】
このように、センサの読み出しモードによっては、必要な最大像高が小さくなる場合があり、この変化を加味することで、さらにブレ補正の効果を上げることが可能となる。この場合の補正可能量について図１３を用いて説明する。
【００７３】
第１の実施形態との違いとしては、図７のＳ７０６、Ｓ７０７で駆動可能量Ａ，Ｂを算出する際に、防振駆動しない場合の最大像高Ｚ０の値を、図１２で説明した読み出し領域に応じて換算することで可能となる。図１３（ａ），（ｂ）はそれぞれ図８（ａ），（ｃ）の像高に対して、そのモードでの最大像高情報Ｚ０をＺ０’に変換した場合の値が記載されている。図１３（ａ）においては、同じ絶対光量Ｌ（Ｚ１）を得る像高Ｚ１までの基準位置からの距離が伸びていることが分る（Ｚ１−Ｚ０’＞Ｚ１−Ｚ０）。これにより駆動可能量Ａが向上することが示されている。
【００７４】
一方、図１３（ｂ）においては、撮像素子６の四隅の輝度差がＬ（Ｚ３）−Ｌ（Ｚ２）がＬ’（Ｚ３）−Ｌ’（Ｚ２）に変更となる。第２の実施形態で説明したように像高が低い方が輝度差は少なくなる傾向がある為、駆動可能量Ｂも増加することが見込まれる。そして、Ｓ７０８において、このようにして算出した駆動可能量Ａと駆動可能量Ｂのいずれか小さい方を選択すれば良い。
【００７５】
上述のように、各モードの最大像情報を加味することによりさらに、ブレ補正の効果を得ることが可能となる。
【００７６】
＜第４の実施形態＞
次に、本発明の第４の実施形態について、図１４を参照して説明する。上述した第１〜第３の実施形態では、撮像装置本体１に装着されたレンズユニット２の周辺光量補正データを有する場合の処理について説明を行った。しかしながら、撮像装置本体１が常に周辺光量補正データを有しているとは限らない。そこで、第４の実施形態では、撮像装置本体１がレンズユニット２の周辺光量補正データを所持していない場合について説明する。
【００７７】
図１４は、第４の実施形態における防振駆動テーブル算出処理を示すフローチャートで、図６のＳ６０３における処理で、図７に示す処理の代わりに行われる。なお、図４のＳ４０２においても、レンズユニット２の周辺減光特性をメモリ８から取得する代わりに、以下に示す方法を用いて推測する。それ以外は、第１の実施形態と同様であるので、ここでは説明を省略する。また、図１４において、図７と同様の処理には同じステップ番号を付して、説明を省略する。
【００７８】
Ｓ１４０１において、駆動可能量を計算する焦点距離情報を取得する。次にＳ１４０２において取得した焦点距離情報に応じた周辺減光量を推定する。推定の方法の例として、コサイン４乗則を用いた場合について説明する。下記式により像高ごとの光量変化を推測することが可能となる。
Ｉ＝Ｉ0ｃｏｓ4θ（Ｚ）
θ（Ｚ）＝ａｒｃｔａｎ（Ｚ／ｆ）
【００７９】
ここで、Ｉ0は入射前の照度、Ｉは入射後の照度、θ（Ｚ）は像高Ｚでの入射角、Ｚは像高、ｆは焦点距離を表している。周辺光量落ちの推定は上記の方法には限定しない。
【００８０】
次に、Ｓ１４０３において、駆動量判定閾値を取得し、Ｓ７０６以降の処理を行う。上記処理を全条件について繰り返すことで、防振駆動テーブルを作成する。
【００８１】
上述のように周辺光量補正データを所持しない場合についても、画質を担保しながら最大限のブレ補正の効果を得ることが可能となる。
【００８２】
＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。上述した第１〜第４の実施形態では、撮像装置本体１に装着されたレンズユニット２の周辺光量の低下により周辺画質が低下する例について説明した。第５の実施形態では、レンズユニット２の収差によるぼけに起因して周辺画質が低下する場合の例を説明する。
【００８３】
まず、レンズの収差によるぼけの補正について説明する。
【００８４】
画像のぼけ成分とは、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因である。これらの収差による画像のぼけ成分は、無収差で回折の影響もない場合に本来、被写体の一点から出た光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるものを指している。光学的には点像分布関数（ＰＳＦ）と呼ぶものであるが、これを画像ではぼけ成分と呼ぶ。画像のぼけと言うと、例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても上記の光学系の収差の影響でぼけてしまうものを指すものとする。また、カラー画像における色にじみも、光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長毎のぼけ方の相違と言うことができる。また、横方向の色ズレも、光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれと言うことができる。
【００８５】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、即ち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦはそれぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式（１）で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））  …（１）
このように、撮像光学系のＯＴＦは、画像の振幅成分と位相成分を劣化させ、劣化した画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。
【００８６】
振幅（ＭＴＦ）の劣化と位相（ＰＴＦ）の劣化を補正する方法として、撮像光学系のＯＴＦの情報を用いて補正するものが知られている。この方法は画像回復や画像復元と呼ばれており、以下、この撮像光学系のＯＴＦの情報を用いて画像の劣化を補正する処理を、画像回復処理または回復処理と呼ぶ。
【００８７】
ここで、画像回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、元の画像をｆ（ｘ，ｙ）、光学伝達関数を逆フーリエ変換したものであるＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（２）が成り立つ。ただし、＊はコンボリューションを示し、（ｘ，ｙ）は画像上の座標を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）      …（２）
また、これをフーリエ変換して周波数面での表示形式に変換すると、以下の式（３）のように周波数毎の積の形式になる。ＨはＰＳＦをフーリエ変換したものであるのでＯＴＦである。（ｕ，ｖ）は２次元周波数面での座標、即ち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）      …（３）
撮影された劣化画像から元の画像を得るためには、以下のように両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）      …（４）
このＦ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで、元の画像ｆ（ｘ，ｙ）が回復像として得られる。
【００８８】
ここで、上記式（４）の１／Ｈを逆フーリエ変換したものをＲとすると、以下の式（５）のように実空間での画像に対するデコンボリューション処理を行うことで同様に元の画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）      …（５）
このＲ（ｘ，ｙ）を画像回復フィルタと呼ぶ。実際の画像にはノイズ成分があるため上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像とともにノイズ成分が増幅されてしまい一般には良好な画像は得られない。この点については例えばウィーナーフィルターのように画像信号とノイズ信号の強度比に応じて画像の高周波側の回復率を抑制する方法が知られている。画像の色にじみ成分の劣化を補正する方法として、例えば、上記のぼけ成分の補正により画像の色成分毎のぼけ量が均一になれば補正されたことになる。
【００８９】
ＯＴＦは、ズーム位置の状態や絞り径の状態等の撮影状態に応じて変動するため、画像回復処理に用いる画像回復フィルタもこれに応じて変更する必要がある。
【００９０】
図１５は、画像回復処理の概要を示すフローチャートである。まずＳ１５０１において、補正を実施する露光期間のレンズユニット２の状態情報を取得する。ここで必要な情報としては、レンズユニット２の収差特性が変化する、焦点距離情報や、撮影距離情報、絞り情報等が挙げられる。次にＳ１５０２において、Ｓ１５０１で取得した情報に基づいて、画像回復フィルタＲ（ｘ，ｙ）を選択する。
【００９１】
このとき、選択された画像回復フィルタを必要に応じて補正しても構わない。これは、予めメモリ８に用意しておく画像回復フィルタのデータ数を低減するために、離散的な撮像状態のデータを用意しておき、実際に画像回復工程で処理を実行する際に画像回復フィルタを補正することである。また、画像回復フィルタの選択ではなく、画像回復フィルタを生成するために必要なＯＴＦやＰＳＦに関する情報から撮像状態に応じた画像回復フィルタを生成してもよい。
【００９２】
次にＳ１５０３において、画像回復を実施する撮像装置本体１に応じた、画像回復の補正可能量を取得する。画像回復は上述の補正原理のとおり、補正することによりノイズの増加等の画質の劣化が目立つ場合がある。どの程度補正できるかは、一般的に、撮像素子６の特性や、撮像装置本体１の特性によっても異なる。また撮像素子６は、アナログまたはデジタル的に増感する仕組み（所謂ＩＳＯ感度）を有しており、この設定値に応じてノイズ特性が変化する為、補正可能な画像回復量も異なる。これらの条件ごとに画像回復の補正可能量の情報を予めメモリ８に記録しておき、ＩＳＯ感度等により変更する。
【００９３】
Ｓ１５０４において、Ｓ１５０３で算出した補正可能量に基づいて、実際に適用する補正量を算出する。ここで、その具体的な方法について、図１６（ａ）及び図１６（ｂ）及び図１７（ａ）〜図１７（ｃ）を用いて説明する。
【００９４】
図１６（ａ）は、式（４）における１／Ｈの絶対値の例を示す図であり、横軸が空間周波数、縦軸がゲインを示す。すなわち画像回復フィルタの周波数毎のゲイン特性を示した図である。このゲイン特性のなかで最大の値Ｇｍａｘをここではゲイン最大値と呼ぶ。
【００９５】
図１６（ｂ）は、画像回復処理による補正前後の振幅成分ＭＴＦの変化の例を示す図である。点線は補正前の振幅成分ＭＴＦ、実線は補正後の振幅成分ＭＴＦを表す。
【００９６】
振幅成分ＭＴＦは、収差による画像劣化の振幅成分の周波数特性であり、図１６（ｂ）に示されるように、低周波側が高く、高周波側が低くなる。振幅成分ＭＴＦがゼロに近づくと、ＯＴＦの実部および虚部はゼロに近づき、撮影光学系で解像できる周波数を超えると実部および虚部は０となる。
【００９７】
図１７（ａ）は、横軸に光軸中心からの距離（像高）、縦軸に各像高におけるＭＴＦの平均値の例を示したグラフであり、Ｍ（ｈ）は撮影時の光学系の特性を示している。ここでは、像高が高くなるにしたがってＭＴＦの平均値が低下している例を示している。
【００９８】
図１７（ｂ）は、画像回復のゲイン最大値を示すグラフである。Ｆｍ（ｈ）は、Ｓ１５０２で取得した画像回復フィルタのゲイン最大値のカーブである。このＦｍ（ｈ）は予めメモリ８に用意しておいてもよいし、Ｓ１５０２で取得する各種情報に基づいて生成してもよい。
【００９９】
βは、Ｓ１５０３で取得した補正可能量である。この場合の画像回復として、ゲイン最大値を補正可能量βに抑える必要があるため、実際に補正する場合のゲイン最大値を演算により算出する。その結果を適用した時のゲイン最大値をＧｍ（ｈ）とする。Ｇｍ（ｈ）はシステムが許容するβまでに収まっていることが分る。
【０１００】
ある像高ｈにおける補正量Ｋ（ｈ）は以下の式（６）で求められる。
Ｋ（ｈ）＝Ｇｍ（ｈ）／Ｆｍ（ｈ）      …（６）
【０１０１】
Ｓ１５０５では、式（５）に示すように画像回復フィルタＲ（ｘ，ｙ）を適用する。そして画像回復前の画像ｇ（ｘ，ｙ）と画像回復後の画像ｆ（ｘ，ｙ）を補正量Ｋ（ｈ）による重みで合成することで、最終的な画像回復画像とする。
【０１０２】
その結果、画像回復後のＭＴＦ平均値は図１７（ｃ）のような特性になる。
【０１０３】
Ｍ´（ｈ）は画像回復フィルタＲ（ｘ，ｙ）による画像回復後の特性を示している。また、Ｍ´´（ｈ）は、補正量Ｋ（ｈ）による最終的な画像回復後の特性を示し、システムが許容する範囲内では最大限に補正された結果を出力することが可能となる。
【０１０４】
次に、第５の実施形態における撮像素子６の駆動可能量の算出処理について説明する。撮像素子６をシフトさせる像振れ補正では、像振れ補正が行われている状態で、収差によるぼけの影響で周辺の画質がどの程度劣化しているかを予測して撮像素子６の駆動量を決定しないと、上述のように周辺部分の画質が低下した撮影画像を出力してしまう可能性がある。一方で、特にレンズ交換型の撮像システムにおいて、すべてのレンズに対して画質が劣化した部分を出力しないように、一様に駆動可能量を設定するとブレ補正の効果が著しく少なくなってしまうという問題がある。そこでレンズユニット２と撮像装置本体１の組み合わせに応じて、撮像素子６の駆動可能量を求める。
【０１０５】
図１８は、本第５の実施形態における駆動可能量の算出処理を示すフローチャートである。
【０１０６】
まずＳ１８０１において、撮像装置本体１における画像回復の補正可能量を取得する。具体例としては、Ｓ１５０３で取得したゲイン最大値の上限値である補正可能量βのような情報である。また補正可能量βがＩＳＯ感度等に応じて変化する場合は、その条件も合わせて取得する。
【０１０７】
次にＳ１８０２において、装着されたレンズユニット２の全領域の画像回復後のＭＴＦ情報を取得する。これは具体的には図１７（ｃ）で示したＭ´´（ｈ）に相当する情報を取得することである。これは予めメモリ８に記録しておくことも可能であるが、Ｓ１５０２で画像回復フィルタを生成するために必要なＯＴＦやＰＳＦに関する情報をもとに画像回復後のＭＴＦ情報を生成、もしくは推測してもよい。
【０１０８】
次にＳ１８０３において、駆動量判定閾値Ｍｔｈをメモリ８から読み出す。ここで、駆動量判定閾値とは、画質の観点から許容できるＭＴＦ平均値の状態を示す閾値のことで、撮像装置本体１の特徴などに応じて予め設定しておくパラメータのことである。
【０１０９】
レンズの収差によるボケの影響は撮像素子６の画素ピッチによって異なる。画素ピッチが大きい場合は目立たないような収差の量であっても、画素ピッチが小さくなると目立つ場合があるため、撮像素子６の特性に応じて許容できる閾値を設定する。例えば、レンズユニット２から駆動量判定閾値Ｍｔｈに関する情報を取得するような場合、画素ピッチが小さいほど駆動量判定閾値Ｍｔｈを大きくすることで、画素ピッチが小さい場合に目立つ収差の影響を低減することが可能である。
【０１１０】
次にＳ１８０４で、Ｓ１８０１、Ｓ１８０２、Ｓ１８０３で取得した情報をもとに、防振駆動の駆動可能量を算出する。
【０１１１】
図１９は、横軸に像高、縦軸にＭＴＦ平均値を示した図である。ここで、Ｍ´´（ｈ）は画像回復後のＭＴＦ平均値であり、Ｍｔｈは駆動量判定閾値である。像高Ｚ０はブレ補正しない状態、つまり撮像素子６の中心とレンズユニット２の光軸が一致した場合の撮像素子６の周辺部のうち、最周辺の像高である。
【０１１２】
この例では駆動量判定閾値Ｍｔｈを満たす像高はＺ１までである。すなわち、防振のための撮像素子６の駆動可能量は、Ｚ１−Ｚ０になる。
【０１１３】
これは駆動可能量算出の一例であるが、第１の実施形態に記載したように四隅の差を考慮し駆動可能量を算出してもよい。
【０１１４】
このような駆動可能量は第１の実施形態と同様にＩＳＯ感度、絞り、撮影距離、焦点距離の組み合わせ毎に計算し、図９で示した防振駆動テーブルに格納すればよいが、本実施形態では焦点距離毎に駆動可能量の最小値を設定する例を説明する。
【０１１５】
図２０は、本実施形態における防振駆動テーブルの例である。駆動可能量の計算は、ＩＳＯ感度、絞り、撮影距離の組み合わせ毎に行い、それぞれの焦点距離の中で最小となる防振駆動量のみを焦点距離とセットで防振駆動テーブルに格納しておく。
【０１１６】
こうすることで、撮影条件によっては防振駆動量が低減する場合はあるが、動画撮影時などで撮影条件が連続的に変化する場合に防振駆動量の変化による影響を低減することが可能となる。例えば、防振の駆動量が駆動可能量に突き当っていた時に、撮影条件の変化により駆動可能量が縮小した場合、駆動可能量の変化が画像ブレの原因になる場合がある。例えば本実施形態のように焦点距離によって駆動可能量は変え、他の条件によっては変えないようにすることで、動画記録中の防振駆動の連続性を維持することが可能である。
【０１１７】
また、駆動可能量の算出は収差によるぼけによる画質劣化と、上述の周辺光量による画質劣化を両方考慮して算出することも可能である。その例を図２１に示す。
【０１１８】
まず、Ｓ２１０１では、図１８で示した処理によりＭＴＦによる駆動可能量Ｄｍを取得する。
【０１１９】
次にＳ２１０２では、第１の実施形態で説明したように周辺光量の特性による駆動可能量Ｄｖを取得する。
【０１２０】
次にＳ２１０３では駆動可能量ＤｍとＤｖを比較し、小さい方をＳ２１０４とＳ２１０５においてそれぞれ駆動可能量として設定する。
【０１２１】
このようにすることで、ＭＴＦによる画質と周辺光量による明るさを考慮したうえで最適な防振効果を得ることが可能となる。
【０１２２】
また、撮像素子６から読み出した画像信号のうち、実際に記録する画像領域はさらに内側の領域である場合がある。例えば複数毎撮影した静止画を位置合わせしたのち合成する際に、位置合わせによるはみ出し部分をカットする目的で合成後の画像をクロップする場合がある。また、動画において記録するフレーム毎の画像を前後の画像の位置に合うようにずらすことで、さらなる防振効果を高めるような場合、これもはみ出す領域が出ないように画像をクロップすることがある。これらのクロップ量は、例えば元画像の８０％の領域にするなど、予めその量が決められている場合がある。
【０１２３】
このように撮像素子６から入力した画像信号のうち、実際に記録する画像の範囲が画像信号が示す画像の範囲よりも内側である場合、クロップするか否かで本発明における防振可能量を変えることができる。
【０１２４】
図２２（ａ）は、画像を内側８０％の領域でクロップする場合の例である。実線で示した領域がクロップしない場合の画像領域であり、点線で示した領域がクロップする場合の画像領域の例である。
【０１２５】
画像を内側８０％でクロップするため、Ｃ２と画像中心Ｃ０の距離をＤ２とし、Ｃ１とＣ０の距離をＤ１とした場合、以下の式（７）が成り立つ。
Ｄ２×０．８＝Ｄ１      …（７）
【０１２６】
図２２（ｂ）は、像高とＭＴＦ評価値の関係を示した例であり、最大像高Ｚ０はＤ２と同値である。画質の観点から許容できるＭＴＦ平均値を示した駆動量判定閾値Ｍｔｈに対し、この例ではクロップしないときは像高Ｚ１まで防振駆動させることができるが、クロップする場合は以下の式（８）で示されるＺ２まで駆動しても、記録される画像は判定閾値Ｍｔｈを満たすことになる。
Ｚ２＝Ｚ１＋（Ｄ２−Ｄ１）      …（８）
【０１２７】
このように本実施形態によれば、実際に記録する画像領域を使用することで最適な防振効果を得ることが可能となる。
【０１２８】
＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１２９】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１３０】
１：撮像装置本体、２：レンズユニット、３：撮影光学系、４：光軸、５：カメラシステム制御回路、６：撮像素子、７：画像処理部、８：メモリ、１０：操作検出部、１２：レンズシステム制御回路、１３：レンズ駆動部、１４：ブレ補正部、１５：ブレ検出部、１６：シャッタ機構
【図１】
2020088850.tif 000003
【図２】
2020088850.tif 000004
【図３】
2020088850.tif 000005
【図４】
2020088850.tif 000006
【図５】
2020088850.tif 000007
【図６】
2020088850.tif 000008
【図７】
2020088850.tif 000009
【図８】
2020088850.tif 000010
【図９】
2020088850.tif 000011
【図１０】
2020088850.tif 000012
【図１１】
2020088850.tif 000013
【図１２】
2020088850.tif 000014
【図１３】
2020088850.tif 000015
【図１４】
2020088850.tif 000016
【図１５】
2020088850.tif 000017
【図１６】
2020088850.tif 000018
【図１７】
2020088850.tif 000019
【図１８】
2020088850.tif 000020
【図１９】
2020088850.tif 000021
【図２０】
2020088850.tif 000022
【図２１】
2020088850.tif 000023
【図２２】
2020088850.tif 000024