(57)【要約】      （修正有）【課題】低コストで良好な画像を取得可能な画像処理装置を提供する。【解決手段】画像処理装置は、第１ズーム域に関する撮影画像の評価データを取得しＳ１０１、第１ズーム域にてレンズの光学調整を行いＳ１０２、光学調整データを取得し、取得した評価データと光学調整データとに基づいて第２ズーム域に関する画像回復フィルタを決定してＳ１０３、記憶部に記憶するＳ１０４。そして、第２ズーム域で撮影された画像に対して、画像回復フィルタを用いて回復処理を行う。【選択図】図１９
2017073599.tif 000002
【特許請求の範囲】
【請求項１】
第１ズーム域に関する撮影画像の評価データと、該第１ズーム域におけるレンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、
前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記画像回復フィルタは、前記第１ズーム域に関する前記評価データと前記光学調整データとに基づいて推定された、前記レンズの光学調整後の前記第２ズーム域に関する残存収差に応じて決定されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮影画像は、前記レンズが前記第１ズーム域に位置する状態で取得されたチャート撮影画像であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１ズーム域に関する前記評価データは、画面周辺の少なくとも４箇所以上のＰＳＦの形状を評価して取得されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１ズーム域に関する前記評価データは、画面周辺の少なくとも４箇所以上の色収差を評価して取得されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項６】
前記光学調整データは、前記第１ズーム域における前記レンズの変位量を含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記光学調整データは、前記第１ズーム域における前記レンズの変位方向を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記光学調整データは、前記第１ズーム域における前記レンズの傾き量を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記光学調整データは、前記第１ズーム域における前記レンズの傾き方向を含むことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記画像回復手段は、前記第１ズーム域で撮影された画像に対して、前記レンズの設計値に基づく画像回復フィルタを用いて前記回復処理を行うことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像回復手段は、前記第１ズーム域で撮影された画像に対して、前記回復処理を行わないことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第１ズーム域は、前記レンズの望遠端を含むことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記第２ズーム域は、前記レンズの広角端を含むことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記画像回復手段は、前記レンズの収差情報に基づいて、２次元分布のフィルタ値を有する前記画像回復フィルタを用いて前記画像に対してコンボリューション処理を行うことにより、前記回復処理を行うことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
光学像を形成するレンズと、
第１ズーム域に関する撮影画像の評価データと、該第１ズーム域における前記レンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、
前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段と、を有することを特徴とするレンズ装置。
【請求項１６】
レンズを介して形成された光学像を光電変換して画像データを出力する撮像素子と、
第１ズーム域に関する撮影画像の評価データと、該第１ズーム域における前記レンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、
前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
【請求項１７】
第１ズーム域に関する撮影画像の評価データを取得するステップと、
前記第１ズーム域においてレンズの光学調整を行うステップと、
前記評価データと前記レンズの光学調整データに基づいて第２ズーム域に関する画像回復フィルタを決定するステップと、を有することを特徴とする撮像装置の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像回復処理を行う画像処理装置に関する。
【背景技術】
【０００２】
撮像装置により得られた撮影画像は、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差等の各収差の影響および光の回折の影響により画像のぼけ成分を含み、劣化している。このような収差による画像のぼけ成分は、無収差で回折の影響もない場合に、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がっていることを意味しており、点像分布関数ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）で表される。
【０００３】
点像分布関数ＰＳＦをフーリエ変換して得られる光学伝達関数ＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。光学伝達関数ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ぶ。振幅成分ＭＴＦおよび位相成分ＰＴＦはそれぞれ、収差による画像劣化の振幅成分および位相成分の周波数特性であり、位相成分を位相角として以下の式で表される。
【０００４】
ＰＴＦ＝ｔａｎ−１（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
ここで、Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、光学伝達関数ＯＴＦの実部および虚部を表す。このように、撮像光学系の光学伝達関数ＯＴＦは、画像の振幅成分ＭＴＦと位相成分ＰＴＦに劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。また倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて例えばＲＧＢの色成分として取得することで発生する。従って、ＲＧＢ間で結像位置がずれ、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。
【０００５】
振幅成分ＭＴＦおよび位相成分ＰＴＦの劣化を補正する方法として、撮像光学系の光学伝達関数ＯＴＦの情報を用いて補正するものが知られている。この方法は、画像回復や画像復元という言葉で呼ばれており、以下、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて撮影画像の劣化を補正する処理を画像回復処理という。詳細は後述するが、画像回復の方法のひとつとして、光学伝達関数（ＯＴＦ）の逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。
【０００６】
特許文献１には、画像の劣化を補正するためのフィルタ係数を保持して画像処理を行う画像処理装置が開示されている。特許文献２には、光学系の調整ステップと回復ステップとを有し、調整された画像の結像性能を評価して分類し、回復フィルタを分類に応じたフィルタを適応させる画像処理を行う画像処理装置が開示されている。特許文献２の画像処理装置では、光学系の一部を変位させる光学調整を行い、光学調整後の光学系に関する画像回復フィルタを用いて画像回復処理を行うことにより、良好な画像を取得することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特表２００５−５０９３３３号公報
【特許文献２】特開２０１２−１１３６９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、光学調整後の画像劣化をズーム域ごとに評価して適切な画像回復フィルタを選択しようとすると、撮像装置の光学調整に要する時間が増大し、撮像装置のコストが高くなる。
【０００９】
そこで本発明は、低コストで良好な画像を取得可能な画像処理装置、レンズ装置、撮像装置、および、撮像装置の製造方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の一側面としての画像処理装置は、第１ズーム域に関する撮影画像の評価データと、該第１ズーム域におけるレンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段とを有する。
【００１１】
本発明の他の側面としてのレンズ装置は、光学像を形成するレンズと、第１ズーム域に関する撮影画像の評価データと、該第１ズーム域における前記レンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段とを有する。
【００１２】
本発明の他の側面としての撮像装置は、レンズを介して形成された光学像を光電変換して画像データを出力する撮像素子と、第１ズーム域に関する撮影画像の評価データと、該第１ズーム域における前記レンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する記憶手段と、前記第２ズーム域で撮影された画像に対して、前記画像回復フィルタを用いて回復処理を行う画像回復手段とを有する。
【００１３】
本発明の他の側面としての撮像装置の制御方法は、第１ズーム域に関する撮影画像の評価データを取得するステップと、前記第１ズーム域においてレンズの光学調整を行うステップと、前記評価データと前記レンズの光学調整データに基づいて第２ズーム域に関する画像回復フィルタを決定するステップとを有する。
【００１４】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【００１５】
本発明によれば、低コストで良好な画像を取得可能な画像処理装置、レンズ装置、撮像装置、および、撮像装置の製造方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施形態における撮像装置の構成図である。
【図２】本実施形態における画像処理方法のフローチャートである。
【図３】本実施形態における画像処理システムの構成図である。
【図４】本実施形態における画像回復フィルタの説明図である。
【図５】本実施形態における画像回復フィルタの説明図である。
【図６】本実施形態における点像分布関数ＰＳＦの説明図である。
【図７】本実施形態における光学伝達関数の振幅成分と位相成分の説明図である。
【図８】本実施形態における光学系（第１の光学系）の断面図である。
【図９】本実施形態における別の光学系（第２の光学系）の断面図である。
【図１０】本実施形態において、広角端での第１の光学系の縦収差図である。
【図１１】本実施形態において、中間位置での第１の光学系の縦収差図である。
【図１２】本実施形態において、望遠端での第１の光学系の縦収差図である。
【図１３】本実施形態において、望遠端での第１の光学系の第２レンズ群内のレンズの誤差に関する横収差図である。
【図１４】本実施形態において、広角端での第１の光学系の第２レンズ群内のレンズの光学調整後の横収差図である。
【図１５】本実施形態において、広角端での第２の光学系の縦収差図である。
【図１６】本実施形態において、中間位置での第２の光学系の縦収差図である。
【図１７】本実施形態において、望遠端での第２の光学系の縦収差図である。
【図１８】本実施形態における撮像装置の製造装置の構成図である。
【図１９】本実施形態における撮像装置の製造方法を示すフローチャートである。
【図２０】本実施形態における第１の光学系の製造誤差調整（光学調整）の説明図である。
【図２１】本実施形態における第２の光学系の製造誤差調整（光学調整）の説明図である。
【図２２】本実施形態における第２の光学系の光学調整前後の光学特性の説明図である。
【図２３】本実施形態における第２の光学系の光学調整後の画像回復フィルタの生成方法の説明図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。まず、本実施形態で説明される用語の定義および画像回復処理（画像処理方法）について説明する。
【００１８】
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００１９】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。
【００２０】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、上述のように撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
【００２１】
［画像回復処理］
続いて、画像回復処理の概要について説明する。劣化した画像（劣化した撮影画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）とするとき、以下の式（１）が成立する。
【００２２】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）  …  （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
【００２３】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。
【００２４】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）  …  （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ、Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００２５】
撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。
【００２６】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）  …  （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００２７】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００２８】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）  …  （４）
ここで、Ｒ（ｘ，ｙ）は画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有し、２次元のフィルタ値の分布を有する。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性などに応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【００２９】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３０】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。
【００３１】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）  …  （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）  …  （５−２）
ここで、Ｎはノイズ成分である。
【００３２】
ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。
【００３３】
【数１】
2017073599.tif 000003
【００３４】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【００３５】
続いて、図４および図５を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図４の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。また図４では、各タップ内の値を省略しているが、この画像回復フィルタの一断面を図５に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値または画素値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。
【００３６】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの各タップの値の積をとり、その総和を中心画素の信号値として置き換える。
【００３７】
続いて、図６および図７を参照して、画像回復の実空間と周波数空間での特性について説明する。図６は、点像分布関数ＰＳＦの説明図であり、図６（ａ）は画像回復前の点像分布関数ＰＳＦ、図６（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図７は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図７（ａ））と位相成分ＰＴＦ（図７（ｂ））の説明図である。図７（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また図７（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図６（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。
【００３８】
このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは、１つの撮像状態（撮影条件）においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
【００３９】
次に、図１を参照して、本実施形態における撮像装置について説明する。図１は、本実施形態における撮像装置１００の構成図である。撮像装置１００は、画像回復フィルタを用いて画像回復処理を行うことにより、撮影画像（入力画像）から回復画像（出力画像）を生成可能である。
【００４０】
撮像装置１００において、被写体（不図示）からの光束は、撮像光学系１０１を介して撮像素子１０２に結像する。撮像光学系１０１は、変倍レンズ（不図示）、絞り１０１ａ、および、フォーカスレンズ１０１ｂを含む。変倍レンズを光軸方向に移動させることにより、撮像光学系１０１の焦点距離を変更するズームが可能である。絞り１０１ａは、その開口径を増減させて撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構やマニュアルフォーカス機構により光軸方向におけるその位置が制御される。
【００４１】
撮像素子１０２は、ＣＣＤセンサやＣＭＯＳセンサなどを有し、撮像光学系１０１を介して形成された被写体像（光学像）を光電変換して画像データ（アナログ画像信号）を出力する。撮像素子１０２上に結像した被写体像は、電気信号に変換され、Ａ／Ｄコンバータ１０３に出力される。Ａ／Ｄコンバータ１０３は、入力された電気信号（アナログ画像信号）をデジタル画像信号に変換し、デジタル画像信号を画像処理部１０４に出力する。
【００４２】
画像処理部１０４（画像処理手段）は、画像生成部１０４ａと、画像回復／歪曲補正部１０４ｂ（画像回復手段および歪曲補正手段）とを有する。画像生成部１０４ａは、画像処理部１０４に入力されたデジタル画像信号に対して各種の画像処理を行うことにより、入力画像（カラー入力画像）を生成する。画像回復／歪曲補正部１０４ｂは、この入力画像に対して画像回復処理と幾何変換処理（歪曲補正処理）とを行う。本実施形態において、撮像素子１０２から画像生成部１０４ａまでの構成（撮像素子１０２、Ａ／Ｄコンバータ１０３、および、画像生成部１０４ａ）が撮像系を構成する。
【００４３】
画像回復／歪曲補正部１０４ｂは、状態検知部１０７から撮像光学系１０１の状態（撮像状態、すなわち撮影条件）に関する情報（撮影条件情報）を得る。撮像条件は、撮像光学系１０１の焦点距離（ズーム位置）、絞り１０１ａの開口径（絞り値またはＦナンバー）、および、フォーカスレンズ位置（被写体距離）などを含む。状態検知部１０７は、システムコントローラ１１０から撮影条件に関する情報（撮影条件情報）を取得可能である。また、撮影条件に関する情報の少なくとも一部を、撮像光学系１０１を制御する撮像光学系制御部１０６から取得することもできる。
【００４４】
画像回復／歪曲補正部１０４ｂは、撮影条件に応じた画像回復フィルタを記憶部１０８（メモリなどの記憶手段）から選択し、入力画像に対して画像回復処理を行う。また画像回復／歪曲補正部１０４ｂは、撮影条件に応じた幾何変換条件を記憶部１０８から選択し、画像回復処理を受けた画像に対して幾何変換処理を行う。本実施形態の画像処理装置は、例えば、状態検知部１０７、画像回復／歪曲補正部１０４ｂ、および、記憶部１０８を有する。
【００４５】
画像処理部１０４で処理された出力画像（回復画像）は、画像記録媒体１０９に所定のフォーマットで記録される。表示部１０５には、本実施形態における画像処理後の画像に表示用の所定の処理を行った画像が表示される。または、高速表示のために簡易的な処理を行った画像を表示してもよい。撮像装置１００における一連の制御は、システムコントローラ１１０により行われる。また、撮像光学系１０１（絞り１０１ａおよびフォーカスレンズ１０１ｂ）の機械的な駆動は、システムコントローラ１１０の指示に基づいて撮像光学系制御部１０６により行われる。
【００４６】
なお本実施形態において、撮像光学系１０１は、撮像素子１０２を有する撮像装置本体と一体的に構成されているが、これに限定されるものではない。撮像装置本体と、撮像装置本体に着脱可能な撮像光学系（レンズ装置）とを有する撮像装置に関しても、本実施形態は適用可能である。
【００４７】
次に、図２を参照して、本実施形態における画像処理方法について説明する。図２は、本実施形態における画像処理方法（画像回復処理および幾何変換処理）を示すフローチャートである。本実施形態の画像処理方法は、主に、画像処理部１０４（画像回復／歪曲補正部１０４ｂを含む画像処理装置）により実行される。画像処理部１０４は、画像処理用コンピュータにより構成され、コンピュータプログラムに従って画像処理を実行する。
【００４８】
まず、ステップＳ１において、画像処理部１０４は、撮像素子１０２から出力された画像データに基づいて生成された画像（入力画像）を取得する。続いてステップＳ２において、画像処理部１０４は、状態検知部１０７から撮影条件情報を取得する。本実施形態において、撮影条件は、ズーム位置、絞り１０１ａの開口径、および、被写体距離の３つの条件であるが、これらに限定されるものではない。また、撮像装置本体（カメラ本体）に対して着脱可能なレンズ装置（交換レンズ）を用いる場合、撮影条件はレンズＩＤやカメラＩＤを含む。撮影条件に関する情報は、撮像装置から直接取得可能であり、または、画像に付帯された情報から取得することもできる。
【００４９】
続いてステップＳ３において、画像処理部１０４は、ステップＳ２にて取得した撮影条件に基づいて、入力画像に対して回復処理を実行するか否かを判定する。画像処理部１０４が回復処理を行うと判定した場合、ステップＳ４へ移行する。一方、画像処理部１０４が回復処理を行わないと判定した場合、ステップＳ７へ移行する。
【００５０】
ステップＳ４において、画像処理部１０４は、ステップＳ２にて取得した撮影条件に応じた画像回復フィルタを選択または生成する。画像回復フィルタは、光学伝達関数（ＯＴＦ）に基づいて、撮影条件ごとに記憶されている。また画像回復フィルタは、入力画像内の位置（像高位置）ごとに記憶されている。必要に応じて、画像処理部１０４は、光学伝達関数（ＯＴＦ）に基づいて画像回復フィルタを生成することもできる。続いてステップＳ５において、画像処理部１０４は、入力画像に対して、ステップＳ４にて決定された画像回復フィルタをコンボリューション（畳み込み）することにより画像回復処理を行う。そしてステップＳ６において、画像処理部１０４は回復画像を生成する。
【００５１】
続いてステップＳ７において、画像処理部１０４は、回復画像または入力画像に対して、回復処理以外の必要な各種処理を実行する。そして画像処理部１０４は、処理後の回復画像または入力画像を出力画像として出力する。
【００５２】
本実施形態において、記憶部１０８は、全ての撮影条件に関する画像回復フィルタを記憶するものではない（すなわち記憶部１０８は、全ての撮影条件の一部に関する画像回復フィルタのみを記憶している）。画像処理部１０４は、記憶部１０８に記憶されていない画像回復フィルタに対応する撮影条件で撮影された画像（入力画像）に対して、回復処理を行わない。画像回復フィルタは、撮像光学系の各撮影条件に関する点像分布関数（ＰＳＦ）に基づいて生成される。例えばコマ収差などのように非対称性の収差を回復するには、画像回復フィルタとして２次元フィルタを用いて回復処理を行う必要がある。このため、歪曲補正のような１次元の補正処理を行うことができず、画像回復フィルタのデータ量は膨大となり、記憶部１０８の記憶容量を大きくする必要がある。また、回復処理の実行には多くの時間を要する。したがって、回復処理が不要な撮影条件に関しては、記憶部１０８に画像回復フィルタを記憶させず、回復処理を行わないように構成することが好ましい。ただし、全ての撮影条件に関して回復処理を行うことが好ましい撮像光学系に関して、記憶部１０８に全ての撮影条件に関する画像回復フィルタを記憶させるようにしてもよい。
【００５３】
また、撮像装置１００（またはレンズ装置）の製造工程（光学調整工程）における調整ポジションで、光学調整により光学性能が十分に補正されれば、調整ポジションに関する画像回復フィルタを保持する必要はない。すなわち、非調整ポジションに関してのみ画像回復フィルタを保持することにより、記憶部１０８に記憶すべきデータ量を削減することができる。
【００５４】
次に、図３を参照して、本実施形態における画像処理システムについて説明する。図３は、本実施形態における画像処理システム３００の構成図である。図３において、画像処理装置３０１は、本実施形態の画像処理方法をコンピュータ（情報処理装置）に実行させるための画像処理ソフトウェア３０６を搭載したコンピュータ機器である。画像処理装置３０１は、図１を参照して説明した画像生成部１０４ａ、画像回復／歪曲補正部１０４ｂ、および、記憶部１０８と同様の機能を有する。撮像機器３０２は、カメラ、顕微鏡、内視鏡、または、スキャナなどの撮像装置である。記憶媒体３０３は、半導体メモリ、ハードディスク、または、ネットワーク上のサーバなど、撮影画像を記憶した記憶手段である。
【００５５】
また、本実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの各種記憶媒体３０７を介してシステム或いは装置に供給して格納する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵ、ＭＰＵなど）がプログラムを読み出して実行する。
【００５６】
画像処理装置３０１は、撮像機器３０２または記憶媒体３０３から撮影画像データを取得し、所定の画像処理を行った画像データ（出力画像）を出力機器３０５、撮像機器３０２、記憶媒体３０３のいずれか一つまたは複数に出力する。また、その出力先を画像処理装置３０１に内蔵された記憶部に保存することもできる。出力機器３０５は、例えばプリンタである。
【００５７】
画像処理装置３０１には、モニタである表示機器３０４が接続されている。このため、ユーザは表示機器３０４を通して画像処理作業を行うとともに、補正された画像を評価することができる。画像処理ソフトウェア３０６は、本実施形態の画像回復処理（画像処理方法）を行うほか、必要に応じて現像やその他の画像処理を行う。
【００５８】
本実施形態において、画像処理を行うためのデータ（撮影条件などの補正情報）の内容と機器間におけるデータの受け渡しについては、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、本実施形態の画像処理装置を搭載した機器であれば、補正処理（画像回復処理）を適切に行うことができる。
【００５９】
製造誤差のない光学系（撮像光学系）に関しては、画像回復処理の際に、設計値に基づいて作成した画像処理フィルタを用いることが考えられる。しかし、実際の光学系では、光学系を構成する各レンズ群の偏心や倒れ、または、各レンズ群間の偏心や倒れにより、像面湾曲や片ボケが生じる。このため、実際の光学系は、設計値とは異なる収差を有する。
【００６０】
光学系の収差が大きい場合、画像回復処理を正確に実行することができない。このため、レンズ群を構成する一部のレンズを（例えば光軸と垂直方向に）変位させる光学調整を行うことにより、製造誤差による片ボケを低減させる方法が知られている。光学調整の際に変位させるレンズは、通常、光学調整工程の簡便性を考慮して、光学調整に適したレンズ（レンズ群）を工具上で上向きに配置し、工具上で上部に配置させるレンズを変位させることにより、低コストで工具による光学調整が可能となる。
【００６１】
光学調整に用いられるレンズは、製造誤差の発生要因と異なる部位にて調整されるため、光学調整によりコマ収差などの残存収差が発生する場合がある。光学調整により生じる収差を画像回復処理により補正することにより、光学系の高機能化を図ることができる。しかし、光学調整後の画像劣化を評価して画像回復フィルタを決定（選択）しようとすると、光学調整後の画像を評価する工程が必要となり、光学調整に時間を要する。
【００６２】
そこで本実施形態では、光学調整の際に、光学調整前の画像を評価して画像劣化の原因を推定し（画像の評価データを取得し）、画像回復フィルタを決定する。また本実施形態では、光学調整前の画像を評価する代わりに、光学調整データ、すなわち光学調整量（レンズの変位量）および光学調整の方向（レンズの変位方向）を検出して、画像劣化の原因を推定することもできる。このように本実施形態では、光学調整前の画像の評価データと、光学調整データとに基づいて決定された画像回復フィルタを選択し、画像劣化の原因となる収差を補正する画像回復を行う。
【００６３】
次に、図８、図１０乃至図１２を参照して、本実施形態における光学系（撮像光学系）の構成について説明する。図８は、本実施形態における光学系（第１の光学系）の断面図である。図８のＡ）、Ｂ）、Ｃ）はそれぞれ、広角端、中間位置、および、望遠端の状態を示している。また、図８の光学系（第１の光学系）の構成は、数値実施例１に示されるとおりである。図１０、図１１、図１２はそれぞれ、広角端、中間位置、望遠端での第１の光学系の縦収差図である。図１０乃至図１２の各収差図において、ＦｎｏはＦ値、ωは半画角である。各図の左側からそれぞれ、球面収差、非点収差、歪曲、色収差（倍率色収差）を示している。球面収差に関して、ｄ線、ｇ線に対する収差を示している。非点収差に関して、サジタル像面ΔＳ、メリディオナル像面ΔＭにおける像面湾曲をそれぞれ示している。これらの点は、後述の各収差図に関しても同様である。
【００６４】
第１の光学系は、３倍程度の変倍比を有し、特に通常のコンパクトデジタルカメラより大きいセンサに対応している。第１の光学系は、物体側から像側へ順に、負の第１レンズ群Ｌ１、正の第２レンズ群Ｌ２、および、負の第３レンズ群Ｌ３の３群から構成されている。第１の光学系は、広角端から望遠端へのズーミングの際に、第１レンズ群Ｌ１が像側へ凸の軌跡を有し変倍に伴う像面の変動を補正する。第２レンズ群Ｌ２は、物体側へ移動し、主たる変倍を担う。第３レンズ群Ｌ３は第２レンズ群Ｌ２に近い軌跡を描くが、第２レンズ群Ｌ２と空気との間隔を変化させることにより、中間域の像面変動を補正する。第３レンズ群Ｌ３を像側へ繰り込むことにより、近距離物体への合焦動作が可能である。絞りＳＰは、第２レンズ群Ｌ２と第３レンズ群Ｌ３との間に配置されている。
【００６５】
第１レンズ群Ｌ１は、物体側から像側へ順に、物体側が凸面の負メニスカスレンズ、両凹の負レンズ、物体側が凸面の正メニスカスレンズの３枚のレンズにて構成されている。第２レンズ群Ｌ２は、物体側から像側へ順に、物体側の凸面が強い正レンズ、正レンズと負レンズを接合した接合レンズ、像側の凸面が強い正レンズの４枚にて構成されている。第３レンズ群Ｌ３は、物体側から像側へ順に、像側が凸面の正メニスカスレンズ、像側が凸面の負メニスカスレンズの２枚にて構成される。第２レンズ群Ｌ２の全体を光軸ＯＡと略垂直方向に変位させることにより、手ぶれ補正が可能である。本実施形態において、第２レンズ群Ｌ２の最も物体側の正レンズ１枚を光軸ＯＡと略垂直方向に変位させることにより、製造誤差の調整（光学調整）を行う。実際の光学調整の際には、光軸ＯＡと平行に偏心させようとしても  光軸と垂直方向に対して５分以下程度の倒れが生じる場合がある。特に、レンズ面を鏡筒保持部に沿って偏心させる場合、接触するレンズ面の曲率に沿って倒れを伴って偏心する場合があるが、この場合でも倒れは５分以内に収まるように構成される。
【００６６】
第１の光学系において、第２レンズ群Ｌ２が主たる結像を担う群であり、ズーム全域において、球面収差およびコマ収差を補正する。第２レンズ群Ｌ２のうち最も物体側に配置される正レンズは、第１レンズ群Ｌ１から出射される発散光束を強いパワーの正レンズで収斂光にして後続のレンズ側に射出するように、レンズを偏心させたときのコマ収差や像面湾曲に大きく作用する性質を有する。光学系全体の製造過程において、第２レンズ群Ｌ２を構成する複数のレンズの偏心や倒れ、各レンズ群間の偏心や倒れにより、球面収差、コマ収差、および、像面湾曲などの非対称による片ボケなどが発生する。
【００６７】
第２レンズ群Ｌ２の先頭レンズは、収差に対する敏感度が大きい。このため、光学系全体の他の部位で発生する収差を製造過程で調整することにより、光学性能の劣化を補正するのに適しているため、偏心調整を行うことが可能である。例えば、第２レンズ群Ｌ２を光学系に組み込む前に工具上で調整を行うことにより、第２レンズ群Ｌ２内で発生する組み込み誤差を調整することができる。また、第２レンズ群Ｌ２の後続のレンズ群（第３レンズ群Ｌ３）を組み込んだ後に第２レンズ群Ｌ２を組み込み、第２レンズ群Ｌ２の先頭レンズを調整した場合、第２レンズ群Ｌ２と後続のレンズ群との偏心や倒れにより発生する収差を補正することが可能である。
【００６８】
この調整は、中心部付近の結像性能、コントラストが上がるように調整する方法と、周辺部の片ボケが少なくなるように調整する方法がある。これらの調整により、光学調整を行うズームポジション（第１ズーム域）においては、第１ズーム域の製造劣化度合いに応じて光学調整を行うため、光学性能を改善することができる。
【００６９】
一方、光学調整を行うズーム域（第１ズーム域）以外のズームポジション（第２ズーム域）では、誤差の原因となる偏心や倒れによる画像劣化の度合いが調整ズーム域（第１ズーム域）とは異なる。このため、光学調整後においても、誤差が残存する。例えば、望遠端において第２レンズ群Ｌ２内のレンズの偏心成分による誤差が発生する中心のコントラストを、設計値近くまで補正すると、光学調整によりワイド〜ミドル域において中心コマが残存し、片ボケや非点収差発生する場合がある。誤差の発生するズーム域（第２ズーム域）と光学調整を行うポジションのズーム域（第１ズーム域）は異なる。このため、望遠端に関して設計値近くまで補正すると、ワイド〜ミドル域で光学調整による偏心によりコマ収差が発生し、図２２に示されるように周辺部のコントラストが低下する場合がある。
【００７０】
次に、図９および図１５乃至図１７を参照して、本実施形態における光学系（撮像光学系）の構成について説明する。図９は、本実施形態における別の光学系（第２の光学系）の断面図である。図９のＡ）、Ｂ）、Ｃ）はそれぞれ、広角端、中間位置、および、望遠端の状態を示している。また、図９の光学系（第２の光学系）の構成は、数値実施例２に示されるとおりである。図１５、図１６、図１７はそれぞれ、広角端、中間位置、望遠端での第２の光学系の縦収差図である。
【００７１】
第２の光学系は、４倍程度の変倍比を有し、特に広角端より望遠端に至るまで全変倍域において明るく、絞り値Ｆｎｏは小さい。第２の光学系は、物体側から像側へ順に、正の第１レンズ群Ｌ１、負の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、負の第４レンズ群Ｌ４、正の第５レンズ群Ｌ５から構成されている。広角端から望遠端へのズーミングの際に、第１レンズ群Ｌ１は、微小量だけ像側へ移動した後、物体側へ移動する。第２レンズ群Ｌ２は、像側へ移動する。第３レンズ群Ｌ３および第４レンズ群Ｌ４は、物体側へ移動する。絞りＳＰは、第２レンズ群Ｌ２と第３レンズ群Ｌ３との間に配置されており、絞りＳＰと第３レンズ群Ｌ３との空気間隔がズーミング中において減少するように移動する。第３レンズ群Ｌ３と第４レンズ群Ｌ４との空気間隔は、ズーミング中に拡大するように移動する。第５レンズ群Ｌ５は、微小量だけ非線形に移動する。
【００７２】
第２の光学系において、第１レンズ群Ｌ１は、負レンズおよび正レンズの２枚にて構成されている。第２レンズ群Ｌ２は、物体側が凸面の負メニスカスレンズ、両凹負レンズ、物体側が凸面の正メニスカスレンズの３枚にて構成されている。第３レンズ群Ｌ３は、両凸の正レンズ、物体側が凹面の負レンズと正レンズとの接合レンズ、物体側が凸面の負レンズと両凸正レンズとの接合レンズの５枚にて構成されている。第４レンズ群Ｌ４は、物体側が凸面の正レンズ、像側が凹面の負レンズの２枚にて構成されている。第５レンズ群Ｌ５は、物体側が凸面の正レンズの１枚にて構成されている。防振機構（不図示）は、第３レンズ群Ｌ３の全体を光軸ＯＡと略垂直方向にシフト（変位）させて手ぶれを補正することができる。第４レンズ群Ｌ４を物体側へ繰り込むか、または、第５レンズ群Ｌ５を繰り出すことにより、フォーカシングを行うことができる。本実施形態において、第３レンズ群Ｌ３の最も物体側のレンズを光軸ＯＡと略垂直方向に変位させることにより、製造誤差の調整（光学調整）を行う。なお第２の光学系において、フォーカシングは第４レンズ群Ｌ４または第５レンズ群Ｌ５により行われるが、第１レンズ群Ｌ１、第２レンズ群Ｌ２、または、第３レンズ群Ｌ３の一部を用いて行ってもよい。
【００７３】
ここで、第２の光学系に関し、光学調整後の画像回復フィルタの生成について説明する。第２の光学系は、正、負、正、負、正の５群から構成されている。第２の光学系では、明るいＦｎｏでも良好に収差補正を行うため、主たる結像を担う第３レンズ群Ｌ３を構成するレンズの枚数が多い。光学系全体の製造過程において、第３レンズ群Ｌ３を構成する複数のレンズの偏心や倒れ、各レンズ群間の偏心や倒れにより、球面収差、コマ収差、および、像面湾曲などの非対称による片ボケなどが発生する。第３レンズ群Ｌ３の先頭レンズは、収差に対する敏感度が大きい。このため、光学系全体の他の部位で発生する収差を製造過程で調整することにより、光学性能の劣化を補正するのに適しており、偏心調整を行うことが可能である。例えば、第３レンズ群Ｌ３を光学系に組み込む前に、工具上で光学調整を行うことにより、第３レンズ群Ｌ３内で発生する組み込み誤差を調整することができる。また、第３レンズ群Ｌ３の後続のレンズ群（第４、第５レンズ群Ｌ４、Ｌ５）を組み込んだ後に第３群を組み込み、第３レンズ群Ｌ３の先頭レンズを調整した場合、第３レンズ群Ｌ３と後続のレンズ群との偏心や倒れにより発生する収差を補正することが可能となる。
【００７４】
この調整は、中心部付近の結像性能をコントラストが上がるように調整する方法と、周辺部の片ボケが少なくなるように調整する方法がある。これらの調整により調整するステートにおいては、そのステートの製造劣化度合いに応じて調整を行うため、光学性能を改善することができる。光学調整を行うズーム域（第１ズーム域）以外のズーム域（第２ズーム域）では、誤差の原因となる偏心や倒れによる画像劣化の度合いが調整ポジションとは異なる。このため、光学調整後においても、誤差が残存する。
【００７５】
図２２は、第２の光学系に対する光学調整前後の光学特性の説明図であり、広角端（Ｗｉｄｅ）および望遠端（Ｔｅｌｅ）での第２の光学系に対する光学調整の前後のＭＴＦにおけるフォーカス特性を模式的に示している。ここでは、望遠端における中心ＭＴＦの低下に関し、中心コマ収差が補正される方向に第３レンズ群Ｌ３の先頭レンズを偏心させることにより、中心ＭＴＦを補正する。このとき、広角端は第３レンズ群Ｌ３内の誤差による周辺性能の劣化特性が残存し、光学調整による変化が少なく光学調整前の特性に近い状態となっている。
【００７６】
図２３は、第２の光学系に対する光学調整後の画像回復フィルタの生成方法の説明図であり、望遠端における調整前の特性に基づいて、広角端における調整後の特性を予測して画像回復フィルタを生成する方法を示している。第２の光学系においては、第３レンズ群Ｌ３内のレンズが製造誤差で偏心成分を含んだ状態にある。第３レンズ群Ｌ３は５枚のレンズから構成されるが、像側の接合レンズが偏心した場合、望遠端では中心コマ収差により中心ＭＴＦが低下するとともに、片ボケが発生する。一方、広角端では、中心は性能劣化が少ないものの、周辺部で倍率色収差が一方向に生じるため、片方の像高でＭＴＦが低下する。第３レンズ群Ｌ３の先頭レンズを望遠側で調整すると、中心コマおよび片ボケともに光学性能が改善するが、広角端では光学調整前の片ボケは改善されるが、片方の像高の色収差は改善されない。この広角端での光学調整後の性能は、望遠端での光学調整前の画像や、調整レンズの調整データ（調整量）から元々の劣化原因を推定することにより予測可能である。
【００７７】
この予測された画像に対する画像回復フィルタを適応することにより、広角端の画像を評価することなく適切な画像回復フィルタを選択することができる。望遠端において片ボケ状態を測定する方法として、中心から等距離にある最大像高の５割から９割近辺像高の画面周辺部のＰＳＦ形状の非対称成分を評価する方法が考えられる。また、別の方法としては、中心から等距離にある最大像高の５割から９割近辺像高の画面周辺部の色滲み（色収差）の方向および量（色滲み値）を評価することにより、片ボケの状態を測定することができる。
【００７８】
カラー撮像が可能な撮像装置では、撮像素子に被写体の光学像を結像させる撮像光学系の色収差により、画像の明るい部分の周囲に本来存在しない色が色にじみとして生じる場合がある。撮像装置による可視光カラー撮像では、撮像光学系の中心波長である緑から離れた部分で色にじみが起きやすく、青や赤または双方が混じった紫色のアーチファクトがにじみ状に生じ、色にじみやパープルフリンジなどと呼ばれる。レンズの偏心などにより製造誤差が生じた場合、画面周辺部の４方向で色滲み量（宏収差）を測定すると、偏心により発生した色収差を推測することができる。
【００７９】
推測した色収差に基づいて、どのレンズがどの程度偏心（変位）したかを推定し、その要因による残存収差をズーム全域において推定することができる。例えば、第２の光学系の場合、第３レンズ群Ｌ３をユニット状態で調整を行うことが考えられるが、測定評価された片ボケ成分と設計上の各レンズの偏心による敏感度から、第３レンズ群Ｌ３内の片ボケの原因となったレンズと偏心量を推定することができる。片ボケ原因を推定する別の方法としては、組み込み時の製造誤差要素を乱数発生させて１００本以上の誤差レンズの残存収差を計算し、計算上の評価値の分布から劣化原因となったレンズの特定と偏心量を推定することができる。劣化の原因となったレンズの偏心量がわかると、そのレンズを第３レンズ群Ｌ３の先頭レンズで調整した場合、各ポジションでのそれぞれのレンズの敏感度の違いから、別のポジションでの残存収差の種類および量を推定することができる。この残存収差を予め計算した複数の誤差レンズからパターン分けした複数の画像回復フィルタを用意し、製造過程においてＰＳＦ形状などの評価値から画像回復フィルタを選択してどのフィルタを適応させるか選択することができる。
【００８０】
このように本実施形態では、望遠端（第１ズーム域）で取得された画像（画像の評価データ）および光学調整データ（光学調整量）に基づいて広角端（第２ズーム域）に関する画像回復フィルタを選択する。これにより、光学調整の工数を削減し、低コストでレンズを製造することが可能となる。
【００８１】
図１３は、望遠端での第１の光学系の第２レンズ群内のレンズの誤差に関する横収差図である。図１４は、広角端での第１の光学系の第２レンズ群内のレンズの光学調整後の横収差図である。例えば、望遠端において第２レンズ群Ｌ２内のレンズの偏心成分による誤差の発生する、中心のコントラストを設計値近くまで補正すると、光学調整によりワイド〜ミドル域で中心コマが残存し、片ボケや非点収差発生する場合がある。誤差の発生するステートを調整するズームステート箇所が異なるため、望遠端にて設計値近くまで補正すると、ワイド〜ミドル域で調整による偏心でコマ収差が発生し、図１４に示されるように、周辺部のコントラストが低下する場合がある。このようなレンズに関しては、画像回復処理を行うことにより、光学調整によるコントラストの低下を補うことができる。この場合、画像回復フィルタは、光学調整後の残存収差量に応じて複数の種類を用意し、いずれの画像回復フィルタを用いるのかを選択的に適応させることが好ましい。
【００８２】
本実施形態では、複数種類の画像回復フィルタの第１の選択方法として、光学調整箇所（第１ズーム域）で取得した画像を評価し、残存する収差から光学調整箇所以外のズーム域（第２ズーム域）に関する残存収差を予測して、画像回復フィルタ選択する方法がある。第２のフィルタ選択方法として、光学調整レンズの変位量を計測し、その変位量から調整箇所以外のズーム域に残存する収差を予測して選択する方法がある。この方法により、光学調整後に瞬時に適応する画像回復フィルタを選択することができ、光学調整工数を削減して光学調整組み込みに要する製造コストを低減することが可能となる。
【００８３】
図２０は、第１の光学系の製造誤差調整（光学調整）の説明図であり、物体側から像側へ順に、負の第１レンズ群Ｌ１、正の第２レンズ群Ｌ２、負の第３レンズ群Ｌ３からなる第１の光学系の調整方法を示している。図２０において、点線および一点鎖線は、それぞれ、製造誤差により片ボケおよび偏心コマ収差が発生する部分を示している。点線で示される部分においては、第２レンズ群Ｌ２を構成するレンズ群の組み込み時の偏心や倒れにより、片ボケおよび周辺コマ収差が発生する。一点鎖線で示される部分は、第２レンズ群Ｌ２および第３レンズ群Ｌ３の全体を示しており、第２レンズ群Ｌ２と第３レンズ群Ｌ３との間の相対的な偏心や倒れによっても片ボケは発生する。これらの片ボケ誤差を、第２レンズ群Ｌ２中の実線で示される先頭レンズを光軸ＯＡと略垂直方向に偏心（変位）させることにより、片ボケが少ない状態に調整することができる。
【００８４】
次に、第２の光学系に関し、本実施形態における代表的な画像回復フィルタの生成方法について説明する。第２の光学系は、物体側から像側へ順に、正の第１レンズ群Ｌ１、負の第２レンズ群Ｌ２、正の第３レンズ群Ｌ３、負の第４レンズ群Ｌ４、正の第５レンズ群Ｌ５からなり、広角端から望遠端へのズーミング中、各群が移動し第３レンズ群Ｌ３は物体側へ移動する。第２の光学系においては、第３レンズ群Ｌ３の最も物体側の正レンズ１枚が調整レンズ（光学調整の対象となるレンズ）である。このレンズにおいては、第３レンズ群Ｌ３を工具上で調整、または、第３〜第５レンズ群Ｌ３〜Ｌ５を組み込んだ状態で調整レンズを調整する工程が考えられる。第３レンズ群Ｌ３を工具上で調整する場合、第３レンズ群Ｌ３を構成する複数レンズの偏心や倒れによる誤差に起因する片ボケを調整することができる。一方、第３〜第５レンズ群Ｌ３〜Ｌ５を組み込んだ状態で光学調整を行う場合、第３レンズ群Ｌ３内の誤差に加えて、第３〜第５レンズ群Ｌ３〜Ｌ５の相対的な偏心や倒れに起因する製造誤差による片ボケも、第３レンズ群Ｌ３の先頭レンズの偏心で調整可能である。第３レンズ群Ｌ３の先頭レンズの偏心調整（光学調整）後のコマ収差による劣化成分に関しては、画像回復フィルタを適応させて画像処理を行うことにより、性能改善された光学系を取得することができる。
【００８５】
図２１は、第２の光学系の製造誤差調整（光学調整）の説明図であり、物体側から像側へ順に、正、負、正、負、正の５群を有する光学系における光学調整方法を示している。図２１において、点線は、製造誤差により片ボケおよび偏心コマ収差が発生する部分を示している。点線で示される部分において、第３レンズ群Ｌ３を構成する各レンズの組み込み時の偏心や倒れにより片ボケおよび周辺コマ収差が発生する。これらの片ボケ誤差や偏心コマ収差による中心ＭＴＦ低下を第３レンズ群Ｌ３中の実線で示される先頭レンズを光軸ＯＡと略垂直方向に偏心（変位）させることにより、片ボケが少ない状態に調整することができる。
【００８６】
図２３は、第２の光学系に対する光学調整後の画像回復フィルタの生成方法の説明図であり、光学調整により中心部および周辺部のＭＴＦのデフォーカス特性の変化を示している。図２３のＡ）は、望遠端（Ｔｅｌｅ）での設計値の状態を示し、画面の中心部および周辺部ともにＭＴＦが十分に高く、かつ中心部および周辺部の像面湾曲も＋像高方向と−像高方向との間で差異が無く（小さく）、片ボケが無い状態である。前述ように、点線または一点鎖線で示される部位に製造誤差があると、図２３のＢ）に示されるように、＋像高方向と−像高方向における像面位置に差異が生じ、片ボケを発生しかつ中心ＭＴＦが低下する。製造誤差により発生した中心コマなどによるＭＴＦ低下を、実線の正レンズ１枚を光軸と略垂直方向に偏心させることにより、図２３のＣ）に示されるように、＋像高方向と−像高方向の像面位置を揃えて中心コマおよび片ボケを調整することができる。
【００８７】
しかしながら、広角端（Ｗｉｄｅ）においては、製造誤差のコマ収差および色コマ収差に対する敏感度の違いから、図２３のＤ）に示される設計値から、図２３のＥ）に示されるように、光学調整後で色コマ収差等による片ボケが発生する。望遠端で光学調整を行うと、広角端においても片ボケ傾向は修正されるが、図２３のＦ）に示されるように、色コマ収差およびコマ収差による周辺のＭＴＦ低下が残存する。
【００８８】
図２３は、図２２に示される一連の光学調整工程から画像回復フィルタに用いる特性を推測する過程を示している。ＭＴＦは、光学調整による片ボケ変化分とコマ収差変化分の両方を含むが、図２３のＢ）に示される望遠端の特性から、図２３のＥ）に示されるように、広角端の片ボケ成分、ならびに、光学調整後の片ボケおよびコマ収差の悪化分を推測することができる。図２３のＥ）に示される特性に基づいて画像回復フィルタを作成し、光学調整後の画像に適応させることにより、光学調整による画像劣化を補正することが可能となる。光学調整方法は、第３レンズ群Ｌ３を工具上において調整する場合と、製品状態で第４、第５レンズ群Ｌ４、Ｌ５を組み込んだ後に第３レンズ群Ｌ３を組み込み、第３レンズ群Ｌ３の一部の調整を行う場合がある。前者の場合、点線の誤差の調整が可能である。後者の場合、点線および一点鎖線の両方の誤差の調整が可能である。
【００８９】
光学系（レンズ）を大量生産する場合の製造誤差は、各レンズにより異なる。このため、その誤差量により光学調整前の片ボケ量は異なり、調整レンズの調整による変位量も異なる。本実施形態では、望遠端の評価画像から推定される劣化原因から広角端ないし中間域の劣化画像を予測することにより、予測された画像回復フィルタを複数種類用意し、その変位量および変位方向に応じた画像回復フィルタを複数種類用意する。また、別の方法として、調整変位量の測定手段から、光学調整データ（変位量および変位方向）を取得するとともに、その情報から推測される劣化原因を予測した画像回復フィルタを複数用意する。本実施形態では、光学調整後の画像を全てのズームステートにおいて分析しなくても、調整時ステートにおける画像または変位量から瞬時に適切な分類フィルタを選択することができる。このため、光学調整に要する組み立て工数を削減することが可能となる。
【００９０】
次に、図１８および図１９を参照して、本実施形態における撮像装置の製造方法（レンズの光学調整を行って画像回復フィルタを決定する方法）について説明する。図１８は、本実施形態における撮像装置１００の製造装置の構成図である。
【００９１】
図１８に示されるように、本実施形態の製造装置は、画像評価部２０１、光学調整部２０２、および、画像回復フィルタ決定部２０３を有する。撮像光学系１０１は、光学調整対象となるレンズ１０１ｃを含む。画像評価部２０１は、レンズ１０１ｃの光学調整前に、撮像光学系１０１を用いてチャートなどの所定の被写体を撮影した画像（チャート撮影画像）を評価する。光学調整部２０２は、所定のズーム域（第１ズーム域）に関し、レンズ１０１ｃの光学調整を行う。画像回復フィルタ決定部２０３は、画像評価部２０１と光学調整部２０２とから取得されるデータに基づいて、光学調整を行ったズーム域以外のズーム域（第２ズーム域）に関する誤差状態を予測し、そのズーム域に関して適切な画像回復フィルタを決定する。決定した画像回復フィルタは、撮像装置１００（画像処理装置）の記憶部１０８に記憶される。
【００９２】
なお本実施形態において、撮像光学系１０１が撮像素子１０２を有する撮像装置本体と着脱可能なレンズ装置（交換レンズ）である場合、画像処理部１０４および記憶部１０８を、レンズ装置の内部に設けてもよい。
【００９３】
図１９は、本実施形態における撮像装置１００の製造方法を示すフローチャートである。図１９の各ステップは、撮像装置の製造装置の各部により実行される。
【００９４】
まずステップＳ１０１において、画像評価部２０１は、第１ズーム域（例えば、望遠端）に関する画像の評価データ（評価値）を取得する。ここで、画像評価部２０１による評価対象となる画像は、レンズ１０１ｃの光学調整前に、撮像光学系１０１を用いて取得された撮影画像である。好ましくは、撮影画像は、レンズ１０１ｃが第１ズーム域に位置する状態で取得されたチャート撮影画像である。このとき画像評価部２０１は、光学調整前に取得したチャート撮影画像に基づいて、第１ズーム域に関する撮影画像の評価データを取得する。好ましくは、第１ズーム域に関する評価データは、画面周辺の少なくとも４箇所以上のＰＳＦの形状を評価して取得される。また好ましくは、第１ズーム域に関する評価データは、画面周辺の少なくとも４箇所以上の色収差（色滲み量）を評価して取得される。また好ましくは、第１ズーム域は、撮像光学系１０１（レンズ１０１ｃ）の望遠端を含む。
【００９５】
続いてステップＳ１０２において、光学調整部２０２は、第１ズーム域においてレンズ１０１ｃの光学調整を行う。光学調整部２０２は、光学調整後、レンズ１０１ｃの光学調整データ（光学調整量）を取得する。好ましくは、光学調整データは、第１ズーム域におけるレンズ１０１ｃの変位量を含む。より好ましくは、レンズ１０１ｃの変位量は、撮像光学系１０１の光軸と垂直な方向（略垂直な方向を含む）に沿った変位量である。また好ましくは、光学調整データは、第１ズーム域におけるレンズ１０１ｃの変位方向（例えば、光軸と垂直な方向）を含む。また好ましくは、光学調整データは、第１ズーム域におけるレンズ１０１ｃの倒れ量（チルト量ともいい、レンズ１０１ｃの光軸と撮像光学系１０１の光軸の成す角）を含む。また好ましくは、光学調整データは、第１ズーム域におけるレンズ１０１ｃの倒れ方向を含む。
【００９６】
続いてステップＳ１０３において、画像回復フィルタ決定部２０３は、第２ズーム域に関する画像回復フィルタを決定する。好ましくは、画像回復フィルタは、第１ズーム域に関する評価データと光学調整データとに基づいて推定された、レンズ１０１ｃの光学調整後の第２ズーム域に関する残存収差に応じて決定される。また好ましくは、第２ズーム域は、撮像光学系１０１（レンズ１０１ｃ）の広角端を含む。
【００９７】
画像回復フィルタ決定部２０３は、第１ズーム域に関する撮影画像の評価データと、第１ズーム域におけるレンズ１０１ｃの光学調整データとに基づいて、予め保持されている複数の画像回復フィルタから適切な画像回復フィルタを選択する。複数の画像回復フィルタは、光学調整データに応じて予め分類されている。または、画像回復フィルタ決定部２０３は、評価データと光学調整データとに基づいて、適切な画像回復フィルタを算出してもよい。
【００９８】
続いてステップＳ１０４において、画像回復フィルタ決定部２０３は、撮像装置１００の記憶部１０８（メモリ）に、ステップＳ１０３にて決定した画像回復フィルタを記憶させる。なお本実施形態において、記憶部１０８は画像処理部１０４の外部に設けられているが、これに限定されるものではなく、プロセッサを含む画像処理部１０４（画像処理装置）の内部メモリであってもよい。
【００９９】
このように本実施形態において、画像処理装置（撮像装置１００）は、記憶手段（メモリなどの記憶部１０８）、および、画像回復手段（プロセッサなどの画像処理部１０４（画像回復／歪曲補正部１０４ｂ））を有する。記憶手段は、第１ズーム域に関する撮影画像の評価データと、第１ズーム域におけるレンズの光学調整データと、に基づいて決定された、第２ズーム域に関する画像回復フィルタを記憶する。画像回復手段は、第２ズーム域で撮影された画像に対して、画像回復フィルタを用いて回復処理を行う。
【０１００】
好ましくは、画像回復手段は、第１ズーム域で撮影された画像に対して、撮像光学系１０１（レンズ１０１ｃ）の設計値に基づく画像回復フィルタを用いて回復処理を行う。また好ましくは、画像回復手段は、第１ズーム域で撮影された画像に対して、回復処理を行わない。また好ましくは、画像回復手段は、撮像光学系１０１（レンズ１０１ｃ）の収差情報に基づいて、２次元分布のフィルタ値を有する画像回復フィルタを用いて画像に対してコンボリューション処理を行うことにより、回復処理を行う。
【０１０１】
本実施形態によれば、製造誤差を含む光学系において、第１ズーム域に関して光学調整前に取得した撮影画像の評価データと、第１ズーム域における光学調整データとに基づいて、第２ズーム域に関する画像回復フィルタを決定することができる。これにより、画像評価工程数を低減し（第２ズーム域に関する撮影画像の評価データを取得することなく）、低コストで良好な画像を取得可能な画像処理装置、レンズ装置、撮像装置、および、撮像装置の製造方法を提供することができる。
【０１０２】
また、ズームレンズを小型化または、大きさを従来と同等にしつつ大口径化を達成するには、ズームレンズを構成する各レンズ群の屈折力を強くする必要がある。その際、ズームレンズを構成する各レンズの収差敏感度が増大するため、製造誤差による片ボケを主たる結像を担う群の先頭レンズを、光軸と略垂直方向に変位させることにより、光学調整を行う。光学調整を行わないズームポジションでは画像回復を行うため、各群の屈折力が強い小型なレンズで全域にわたり良好な光学性能を確保することが可能となる。
【０１０３】
［数値実施例１］
単位 mm
面データ
面番号       r        d      nd         vd
1        105.495    0.50   1.91082    35.3           
2         13.534    2.54                             
3*       -32.614    0.40   1.81000    41.0           
4*       382.536    0.29                             
5         15.186    1.68   2.00272    19.3           
6         31.579  (可変)                             
7*         7.246    2.09   1.58313    59.5           
8*      -897.226    0.20                             
9          9.992    2.19   1.77250    49.6           
10        -17.051    0.40   1.90366    31.3           
11          7.319    0.89                             
12        -58.768    1.64   1.55332    71.7           
13*       -11.359  (可変)                             
14(絞り)    ∞     (可変)                             
15        -20.186    1.47   2.00330    28.3           
16         -9.642    0.75                             
17*        -6.874    0.30   1.81000    41.0           
18        -24.709  (可変)                             
像面        ∞   
非球面データ
第3面
K = 0.00000e+000  A 4= 1.60013e-004  A 6=-4.54658e-007  
第4面
K = 0.00000e+000  A 4= 2.22568e-004  
第7面
K = 0.00000e+000  A 4= 1.61956e-005  A 6= 2.10100e-006  
第8面
K = 5.16750e+004  A 4= 3.66194e-004  A 6=-5.87897e-007  
第13面
K = 1.88643e+000  A 4= 4.34848e-004  A 6= 3.12838e-005  
第17面
K = 3.17908e-001  A 4= 2.96339e-004  A 6= 5.98863e-006 
A 8= 2.33686e-007  
各種データ
ズーム比      2.85 
広角     中間     望遠
焦点距離      10.56    20.45    30.13  
Fナンバー      2.88     4.22     5.55  
画角          32.47    21.36    14.87  
像高           6.72     8.00     8.00  
レンズ全長    42.93    37.35    39.50  
BF             7.71    13.89    20.24  
d 6           16.05     4.37     0.43  
d13            0.50     0.50     0.50  
d14            3.34     3.25     2.99  
d18            7.71    13.89    20.24  
ズームレンズ群データ
群  始面    焦点距離  
1    1     -20.45  
2    7      12.09  
3   14       ∞    
4   15     -38.46  
［数値実施例２］
単位 mm
面データ
面番号       r        d      nd         vd
1         29.194    1.00   1.85478    24.8           
2         22.456    4.62   1.69680    55.5           
3        159.397  (可変)                             
4         47.728    0.80   1.88300    40.8           
5          8.276    5.22                             
6        -26.153    0.80   1.60311    60.6           
7         21.283    0.30                             
8         17.287    1.87   1.95906    17.5           
9         65.570  (可変)                             
10(絞り)    ∞     (可変)                             
11*        14.356    3.08   1.76802    49.2           
12*       -34.617    0.80                             
13        -20.971    0.70   1.64769    33.8           
14        -97.299    1.64   1.88300    40.8           
15        -19.654    1.11                             
16         27.687    0.70   1.92286    18.9           
17          8.581    4.21   1.49700    81.5           
18        -15.335  (可変)                             
19         10.726    1.20   2.00272    19.3           
20         18.520    0.39                             
21        174.532    0.60   1.77250    49.6           
22          6.659  (可変)                             
23*        19.229    1.77   1.85135    40.1           
24       -313.167  (可変)                             
25          ∞       0.60   1.51633    64.1           
26          ∞     (可変)                             
像面        ∞   
非球面データ
第11面
K =-4.84236e-001  A 4=-4.94791e-005  A 6= 3.16581e-008  
第12面
K = 2.13838e+000  A 4= 1.06182e-004  
第23面
K = 0.00000e+000  A 4= 5.74439e-005  A 6= 1.58141e-006  
各種データ
ズーム比      3.43 
広角     中間     望遠
焦点距離       6.15    16.85    21.08  
Fナンバー      1.85     2.06     2.06  
画角          37.08    15.42    12.43  
像高           4.65     4.65     4.65  
レンズ全長    60.92    61.89    63.48  
BF             3.96     3.96     3.96  
d 3            0.35    12.07    14.35  
d 9           16.98     4.93     2.05  
d10            3.83     0.72     1.50  
d18            0.50     3.49     4.10  
d22            4.49     5.90     6.69  
d24            1.82     1.82     1.82  
d26            1.74     1.74     1.74  
ズームレンズ群データ
群  始面    焦点距離  
1    1      54.59  
2    4      -9.91  
3   10       ∞    
4   11      11.60  
5   19     -16.87  
6   23      21.33  
7   25       ∞    
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１０４】
１０４    画像処理部（画像処理装置）
１０４ｂ  画像回復／歪曲補正部
１０８    記憶部（記憶手段）
【図５】
2017073599.tif 000004
【図６】
2017073599.tif 000005
【図７】
2017073599.tif 000006
【図１０】
2017073599.tif 000007
【図１１】
2017073599.tif 000008
【図１２】
2017073599.tif 000009
【図１５】
2017073599.tif 000010
【図１６】
2017073599.tif 000011
【図１７】
2017073599.tif 000012
【図１】
2017073599.tif 000013
【図２】
2017073599.tif 000014
【図３】
2017073599.tif 000015
【図４】
2017073599.tif 000016
【図８】
2017073599.tif 000017
【図９】
2017073599.tif 000018
【図１３】
2017073599.tif 000019
【図１４】
2017073599.tif 000020
【図１８】
2017073599.tif 000021
【図１９】
2017073599.tif 000022
【図２０】
2017073599.tif 000023
【図２１】
2017073599.tif 000024
【図２２】
2017073599.tif 000025
【図２３】
2017073599.tif 000026