(57)【要約】【課題】画像回復処理に用いる光学伝達関数のデータ量を撮像装置の仕様に対応させて、画像回復処理を行うことが可能な画像処理装置、撮像装置、カメラシステムおよび画像処理システムを提供すること。【解決手段】撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、一部の光学伝達関数を記憶する記憶手段と、一部の光学伝達関数のうち撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有する。【選択図】図１
2016092676.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、
前記一部の光学伝達関数を記憶する記憶手段と、
前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記光学伝達関数のセットは、前記撮像光学系が撮影可能な焦点距離、絞り値、および撮影距離の組み合わせに応じて格納され、
前記選択手段は、少なくとも焦点距離、絞り値、および撮影距離のうちのいずれかに基づいて、前記一部の光学伝達関数を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、前記光学伝達関数のセットのうち、前記撮像光学系の絞り値が所定値以下である光学伝達関数を選択することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理手段は、前記撮影条件のうち絞り値が前記所定値以下の場合に、生成した前記画像回復フィルタを用いて画像回復処理を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記一部の光学伝達関数は、前記画像処理手段が使用する光学伝達関数を生成するための係数データ群であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
撮像光学系に固有な画像回復フィルタのセットを格納する供給手段から一部の画像回復フィルタを選択する選択手段と、
前記一部の画像回復フィルタを記憶する記憶手段と、
前記一部の画像回復フィルタのうち前記撮像光学系の撮影条件に対応する画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有することを特徴とする画像処理装置。
【請求項７】
撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、
前記一部の光学伝達関数を記憶する記憶手段と、
前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像処理手段と、を有することを特徴とする撮像装置。
【請求項８】
撮像光学系と、
前記撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、
前記撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、
前記一部の光学伝達関数を記憶する記憶手段と、
前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像処理手段と、を有することを特徴とするカメラシステム。
【請求項９】
撮像光学系に固有な光学伝達関数のセットを格納する供給手段と、
前記供給手段から一部の光学伝達関数を選択する選択手段と、
前記一部の光学伝達関数を記憶する記憶手段と、
前記一部の光学伝達関数のうち、前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有することを特徴とする画像処理システム。
【請求項１０】
前記供給手段は、前記選択手段を有することを特徴とする請求項９に記載の画像処理システム。
【請求項１１】
前記供給手段は、データサーバ、記憶媒体、撮像装置および前記撮像光学系のうちいずれかであることを特徴とする請求項９または１０に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、カメラシステムおよび画像処理システムに関し、特に画像回復処理を用いた劣化画像の補正に関する。
【背景技術】
【０００２】
情報のデジタル化に伴い、画像を信号値として扱えることで撮影画像に対する様々な補正処理方法が提案されている。デジタルカメラで被写体を撮像して画像化するとき、得られた画像は特に撮像光学系の収差や光の回折によって少なからず劣化している。
【０００３】
画像のぼけ成分は、光学系の球面収差、コマ収差、像面湾曲、非点収差等が原因で生じ、無収差で回折の影響もない場合に本来、被写体の一点から発した光束が撮像面上で再度一点に集まるべきものが広がりをもって像を結んでいるもののことである。光学的には点像分布関数（ＰＳＦ、Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と呼び、画像ではぼけ成分と呼ぶ。画像のぼけと言うと例えばピントがずれた画像もぼけているが、ここでは特にピントが合っていても光学系の収差の影響でぼけてしまうものを指す。また、カラー画像での色にじみも光学系の軸上色収差、色の球面収差、色のコマ収差が原因であるものに関しては、光の波長ごとのぼけ方の相違と言うことができる。また、横方向の色ずれも光学系の倍率色収差が原因であるものに関しては、光の波長ごとの撮像倍率の相違による位置ずれまたは位相ずれと言うことができる。
【０００４】
ＰＳＦをフーリエ変換して得られる光学伝達関数（ＯＴＦ、Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）は、収差の周波数成分情報であり、複素数で表される。ＯＴＦの絶対値、すなわち振幅成分をＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼び、位相成分をＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）と呼ぶ。よって、ＭＴＦ、ＰＴＦは、それぞれ収差による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）、Ｉｍ（ＯＴＦ）は、それぞれＯＴＦの実部、虚部を表す。
【０００５】
ＰＴＦ＝ｔａｎ-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像光学系のＯＴＦは画像の振幅成分と位相成分に劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になっている。
【０００６】
また、倍率色収差は、光の波長ごとの結像倍率の相違により結像位置がずれ、これを撮像装置の分光特性に応じて、例えばＲＧＢの色成分として取得することで発生する。したがって、ＲＧＢ間で結像位置がずれることはもとより、各色成分内にも波長ごとの結像位置のずれ、すなわち位相ずれによる像の広がりが発生する。
【０００７】
撮像光学系のＯＴＦの情報を用いて、ＭＴＦの劣化とＰＴＦの劣化を補正する方法が知られている。この方法は、画像回復処理や画像復元処理と呼ばれており、画像回復処理の一例として、ＯＴＦの逆特性を有する画像回復フィルタを入力画像に対して畳み込む（コンボリューション）方法が知られている。
【０００８】
画像回復処理を効果的に行うためには、撮像光学系のより正確なＯＴＦの情報を得る必要がある。ＯＴＦの情報は、例えば撮像光学系の設計値情報があれば、その情報から計算によって求めることが可能である。また、点光源を撮影し、その強度分布にフーリエ変換を施すことでも求めることが可能である。
【０００９】
非常に高性能に設計および製造された撮像光学系を除く一般的な撮像光学系のＯＴＦは、像高（画像の位置）によって大きく変動する。そのため高精度に撮影画像の画像回復処理を行うためには、各像高のＯＴＦの変動に基づいて生成した画像回復フィルタを用いる必要がある。画像の位置に応じて回復の特性を変更するためには、画像回復処理は周波数空間にて一括で行うのではなく、実空間で画像回復フィルタを切り換えながら行うことが望ましい。
【００１０】
また、画像がぼける原因として、撮像光学系の絞り値（Ｆナンバー）に依存した光の回折現象がある。図１２は絞り値と回折限界の関係図であり、横軸は空間周波数、縦軸はＭＴＦを示している。絞り値が大きくなると、遮断周波数が低周波側にシフトする。例えば、画素サイズが４μｍの撮像素子のナイキスト周波数は１２５本／ｍｍであるので、Ｆ２．８など明るい場合にはその影響は小さいが、Ｆ１６やＦ３２など暗い場合には影響は大きくなる。回折現象も収差と同様にＯＴＦやＰＳＦで記述できるため、画像回復処理により回折によるぼけを補正することができる。
【００１１】
特許文献１では、撮像光学系が着脱可能な撮像装置において、撮像光学系のＯＴＦと撮像部の特性を加味して画像回復フィルタを生成している。また、特許文献２では、画像回復処理に用いるＯＴＦを係数化して保持し、撮像装置の様々な撮影条件に対応して画像回復処理を行う画像処理装置を開示している。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特許第５１６２０２９号公報
【特許文献２】特許第５１５３８４６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、ＯＴＦは絞りや撮影距離やズームレンズにおける焦点距離の撮影条件、および画面内の像高によっても変化するため、高精度なＯＴＦのデータの全体量は非常に大きくなってしまう。よって、高精度な画像回復処理を撮像装置の画像処理部で行う場合、撮像装置の記憶部に大きなデータ量であるＯＴＦのデータを保持しておく必要がある。さらに、レンズ交換式のカメラの場合、１つのカメラに着脱可能なレンズは複数存在するので、それら複数のレンズのＯＴＦのデータを保持するために記憶部の容量およびコストが増大してしまう。ＯＴＦのデータ量を削減する方法として、上述した撮影条件や像高のデータ分割数を粗くして補間して用いることが考えられ、ＯＴＦの精度とデータ量がトレードオフとなる。
【００１４】
一方で、１つの着脱可能なレンズに対応するカメラの機種は複数存在する。そしてそれらのカメラは、より高画質を求めるものもあれば低コストを求めるものまで様々である。したがって、あるレンズの撮影条件や像高に対応したＯＴＦのデータをどれだけの粗さで保持するかはカメラの機種によって変化させることが好ましい。
【００１５】
しかしながら、特許文献１，２のいずれにも使用するＯＴＦのデータ量を変更させる記載はない。
【００１６】
このような課題を鑑みて、本発明は、画像回復処理に用いる光学伝達関数のデータ量を撮像装置の仕様に対応させて、画像回復処理を行うことが可能な画像処理装置、撮像装置、カメラシステムおよび画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の一側面としての画像処理装置は、撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、前記一部の光学伝達関数を記憶する記憶手段と、前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有することを特徴とする。
【００１８】
また、本発明の他の側面としての画像処理装置は、撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を用いて生成された画像回復フィルタを選択する選択手段と、前記画像回復フィルタを記憶する記憶手段と、前記画像回復フィルタのうち前記撮像光学系の撮影条件に対応する画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有することを特徴とする。
【００１９】
また、本発明の他の側面としての撮像装置は、撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、前記撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、前記一部の光学伝達関数を記憶する記憶手段と、前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像処理手段と、を有することを特徴とする。
【００２０】
また、本発明の他の側面としてのカメラシステムは、撮像光学系と、前記撮像光学系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、前記撮像光学系に固有な光学伝達関数のセットを格納する供給手段から一部の光学伝達関数を選択する選択手段と、前記一部の光学伝達関数を記憶する記憶手段と、前記一部の光学伝達関数のうち前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて前記撮影画像の画像回復処理を行う画像処理手段と、を有する。
【００２１】
また、本発明の他の側面としての画像処理システムは、撮像光学系に固有な光学伝達関数のセットを格納する供給手段と、前記供給手段から一部の光学伝達関数を選択する選択手段と、前記一部の光学伝達関数を記憶する記憶手段と、前記一部の光学伝達関数のうち、前記撮像光学系の撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成し、前記画像回復フィルタを用いて画像回復処理を行う画像処理手段と、を有する。
【発明の効果】
【００２２】
本発明によれば、画像回復処理に用いる光学伝達関数のデータ量を撮像装置の仕様に対応させて、画像回復処理を行うことが可能な画像処理装置、撮像装置、カメラシステムおよび画像処理システムを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明の実施形態に係るカメラシステムのブロック図である。
【図２】選択された光学伝達関数を記憶部に格納するまでのフローチャートである。
【図３】格納された光学伝達関数を用いて撮影画像を画像回復して出力するまでのフローチャートである。
【図４】実施例１の画像処理方法の変形例の説明図である。
【図５】画像回復フィルタの説明図である。
【図６】画像回復フィルタの説明図である。
【図７】点像分布関数の説明図である。
【図８】光学伝達関数の振幅成分と位相成分の説明図である。
【図９】光学伝達関数の選択例の説明図である。
【図１０】実施例２の画像処理方法のフローチャートである。
【図１１】本発明の実施形態に係る画像処理システムのブロック図である。
【図１２】絞り値と回折限界の関係の説明図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。  まず、本実施例で説明される用語の定義および画像回復処理について説明する。ここで説明する画像処理方法は、後述の各実施例において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差や回折による光学伝達関数（ＯＴＦ）により劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成してもよい。
【００２５】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈを用いることが可能である。また、色温度を用いてもよい。
【００２６】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、画像を補正するための各種の補正情報を付帯することができる。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式が成り立つ。
【００２７】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）            （１）
＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
【００２８】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表せる式（２）が得られる。
【００２９】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）            （２）
Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換することにより得られたＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた画像である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００３０】
撮影された画像ｇからもとの画像ｆを得るためには、以下の式（３）のように両辺をＯＴＦで除算すればよい。
【００３１】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）            （３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００３２】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００３３】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）            （４）
Ｒ（ｘ，ｙ）は、画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差や回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは、ＯＴＦに基づいているため、振幅成分および位相成分の劣化をともに高精度に補正することができる。
【００３４】
また、実際の画像にはノイズ成分があるため、上記のようにＯＴＦの完全な逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００３５】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１），（５−２）で表せる。
【００３６】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）     （５―１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
（５−２）
Ｎは、ノイズ成分である。
【００３７】
この点については例えば、式（６）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合を制御する方法が知られている。
【００３８】
【数１】
2016092676.tif 000003
【００３９】
Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）である。
【００４０】
この方法は周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を抑制し、ＭＴＦが大きいほど回復ゲインを強くする。一般的に撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、実質的に画像の高周波側の回復ゲインを抑制する方法となっている。
【００４１】
続いて、図５，６を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差や回折によるＰＳＦの広がりや要求される回復精度に応じてタップ数を決めることができ、図５では例として１１×１１タップの２次元フィルタとしている。
【００４２】
図５では各タップ内の値（係数）を省略しているが、この画像回復フィルタの１断面を図６に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差や回折によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。
【００４３】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致さる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【００４４】
続いて、図７，８を参照して、画像回復の実空間と周波数空間での特性について説明する。図７はＰＳＦの説明図であり、（ａ）は画像回復前のＰＳＦ、（ｂ）は画像回復後のＰＳＦを示している。図８は、ＯＴＦの振幅成分ＭＴＦ（図８（ａ））と位相成分ＰＴＦ（図７（ｂ））の説明図である。図８（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線は画像回復後のＭＴＦを示す。また、図８（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線は画像回復後のＰＴＦを示す。図７（ａ）に示されるように、画像回復前のＰＳＦは非対称な広がりを有し、この非対称性によりＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、ＭＴＦを増幅し、ＰＴＦがゼロになるように補正するため、画像回復後のＰＳＦは対称で先鋭な形状になる。
【００４５】
上述したように、画像回復フィルタは、撮像光学系のＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施例で用いられる画像回復フィルタは、適宜変更可能であり、例えば上述したウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することができる。また、収差によるＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用する。一方、絞り値が大きくなるにしたがって影響が支配的になる回折によるＯＴＦは、光学系のビネッティングの影響が小さい場合、像高に対して一律なＯＴＦとして扱うことができる。
【実施例１】
【００４６】
図１は、本発明の実施形態に係るカメラシステムのブロック図である。カメラシステムは、撮像装置本体と、撮像装置本体に着脱可能に取り付けられる撮像光学系１０１と、を有する。
【００４７】
撮像光学系１０１は、変倍レンズ（不図示）、絞り１０１ａおよびフォーカスレンズ１０１ｂを有し、被写体（不図示）からの光束を撮像素子１０２上で結像する。絞り１０１ａは、開口径を制御することで、撮像素子１０２に到達する光量を調節する。フォーカスレンズ１０１ｂは、被写体距離に応じてピント調整を行うために、オートフォーカス（ＡＦ）機構（不図示）や手動のマニュアルフォーカス機構によってレンズの位置が制御される。撮像光学系１０１には、ローパスフィルタや赤外線カットフィルタ等の光学素子を用いても構わない。ローパスフィルタ等のＯＴＦの特性に影響を与える光学素子を用いる場合には、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外線カットフィルタにおいても、分光波長のＰＳＦの積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため画像回復フィルタを作成する時点での考慮が必要になる場合がある。また、画素開口形状もＯＴＦに影響するので考慮に加えてもよい。
【００４８】
撮像素子１０２上に形成された光学像（被写体像）は、撮像素子１０２により光電変換される。撮像素子１０２からのアナログ信号は、Ａ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理部（画像処理手段）１０４に入力される。
【００４９】
画像処理部１０４は、所定の処理と併せて画像回復処理を行う。表示部１０５は、回復画像に表示用の所定の処理を行った画像を表示する。表示部１０５は、回復画像に高速表示のために簡易的な処理を行った画像を表示してもよい。
【００５０】
状態検知部１０７は、画像処理部１０４に撮影装置本体の撮像条件に関する情報を送る。状態検知部１０７は、システムコントローラ１１１から撮像条件に関する情報を取得してもよいし、撮像光学系１０１についての撮像条件に関する情報については撮像光学系制御部１０６から取得してもよい。記憶部（記憶手段）１０８は、ＯＴＦまたはＯＴＦを生成するための係数データ群を格納している。画像記録媒体１０９は、画像処理部１０４で処理した出力画像を所定のフォーマットで保存する。選択手段１１０は、ＯＴＦのセットを格納した供給手段（不図示）から一部のＯＴＦを選択する。システムコントローラ１１１は、撮像光学系１０１の機械的な駆動について撮像光学系制御部１０６に指示を行う。
【００５１】
次に、本実施例の画像処理フローを図１のカメラシステムに適用した場合について説明する。本実施例では、画像回復処理に用いるＯＴＦを保持した供給手段から使用する撮像装置に応じてＯＴＦの一部を選択的に撮像装置に格納した後、画像回復処理を行う。
【００５２】
まず、図２を用いて、選択手段１１０によって選択されたＯＴＦが記憶部１０８に格納されるまでについて説明する。
【００５３】
ステップＳ１１で画像回復処理を開始し、ステップＳ１２では指定した撮像光学系のＯＴＦが撮像装置の記憶部１０８に存在するか否かを判定する。ＯＴＦが存在する場合はステップＳ１７に進み、ＯＴＦが存在しない場合にはステップＳ１３に進む。撮像光学系は、撮像装置に装着されている撮像光学系を自動的に判別することで指定してもよいし、使用者が撮像光学系を指定してもよい。ＯＴＦは複素数であるため、実部のデータと虚部のデータからなる空間的に２次元のデータであるが、格納するデータとしてはＯＴＦを再構成するための係数データ群であってもよい。例えば、ＯＴＦの１つが縦横１１×１１の２次元データの場合１２１個のデータとなるが、これを縦横０〜４次までの係数で多項式フィッティングした場合２５個のデータとなりデータを削減することができる。
【００５４】
ステップＳ１３では、ＯＴＦのセットが格納されたデータベース（供給手段）に接続する。データベースは、撮像装置とデータ通信可能なデータサーバに存在し、複数の機種の撮像光学系それぞれに固有なＯＴＦのセットが格納されている。データ通信の方法としては、撮像装置の無線通信機能を用いて直接データサーバと通信してもよいし、コンピュータを介して通信してもよい。データベースは、撮像装置に挿脱可能な記憶媒体でもよいし、撮像光学系１０１でもよい。
【００５５】
ステップＳ１４では、接続されたデータサーバ内にある指定の撮像光学系のＯＴＦのセットを特定する。
【００５６】
ステップＳ１５では、選択手段１１０が特定されたＯＴＦのセットの中から撮像装置の機種に応じてＯＴＦの一部を選択する。選択の仕方としては、撮像光学系が撮影可能な焦点距離、絞り値、および撮影距離の組み合わせに応じて格納されたＯＴＦのセットに対して、撮影条件に応じて範囲を選択する方法がある。説明の便宜上撮影条件を焦点距離と絞り値の２つとすると、データサーバに格納されたＯＴＦのセットは図９（ａ）のようになっている。黒丸は、ＯＴＦが用意された撮影条件である。一つの黒丸に画像の像高および色成分ごとに実部、虚部のデータが存在している。ＯＴＦのセットの中から撮像装置の機種に応じて使用するものを選択する。選択の例として、全てを選択して用いるもの以外に図９（ｂ）では一つおきにデータを選択している。白丸は選択しないデータを示している。選択されない撮影条件に対して画像回復処理を行う場合には、選択した撮影条件のデータから補間して用いることができる。また、図９（ｃ）では、絞り値が所定値以下の撮影条件範囲のＯＴＦを選択している。絞り値により選択の有無を変更しているのは、所定値以下の場合は収差の影響が支配的であり、所定値以上の場合は回折の影響が支配的であるためである。選択しない撮影条件に対しての画像回復処理の方法については実施例２で説明する。
【００５７】
また、選択するＯＴＦのデータ量の決定については、撮像装置の機種により自動的に決定する他に使用者が指定してもよい。１つの撮像装置に複数の撮像光学系のＯＴＦのデータを格納する場合、格納する撮像光学系の機種数を減らす代わりに１つの撮像光学系のデータ量を増やし、データ量を減らす代わりに機種数を増やすことができる。このようにすることで、有限の記憶容量に対して要求精度と対応光学系の機種数のトレードオフを使用者が選択できる。
【００５８】
ステップＳ１６では選択されたＯＴＦを記憶部１０８に格納し、ステップＳ１７で終了となる。
【００５９】
次に、図３を用いて、記憶部１０８に格納されたＯＴＦを用いて撮影画像に対して画像回復処理を行った後、回復画像を出力するまでについて説明する。
【００６０】
ステップＳ２１では、撮影画像を入力画像として取得する。特に、現像処理の入力データとしてＲＡＷ画像を取得することが好ましい。
【００６１】
ステップＳ２２では、撮影条件を取得する。撮影条件には、レンズやカメラの機種を特定する情報が含まれている。撮影条件は、撮像装置から直接取得してもよいし、画像に付帯された情報から取得してもよい。
【００６２】
ステップＳ２３では、画像処理部１０４が撮影条件に対応したＯＴＦを記憶部１０８から取得する。撮影条件と合致するＯＴＦが存在しない場合には、近傍の撮影条件から補間して生成する。補間処理の方法としては、例えばバイリニア補間（線形補間）やバイキュービック補間等が知られているが、これに限るものではない。
【００６３】
ステップＳ２４では、画像処理部１０４がＯＴＦを用いて画像回復フィルタを生成する。
【００６４】
ステップＳ２５では、画像処理部１０４が撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行う。
【００６５】
ステップＳ２６は、回復画像を出力する。
【００６６】
なお、図２のステップＳ１５において、選択手段１１０は、データベースに格納されているＯＴＦの一部を選択するのではなく、既に画像回復フィルタに変換されたデータの一部を選択してもよい。その場合、図４に示すフローに沿って処理が行われる。ステップＳ３１で撮影画像を入力画像として取得し、ステップＳ３２で撮影条件を取得する。ステップＳ３３では、画像処理部１０４が撮影条件に対応した画像回復フィルタを記憶部１０８から取得する。撮影条件があらかじめ画像回復フィルタの格納された条件と合致しない場合には近傍の撮影条件の画像回復フィルタを用いて補間生成する。ステップＳ３４で画像処理部１０４が撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで画像回復処理を行い、ステップＳ３５で回復画像を出力する。
【実施例２】
【００６７】
本実施例では、図９（ｃ）に示すように絞り値が所定値以下の撮影条件範囲のＯＴＦを選択する場合について説明する。絞り値により選択の有無を変更しているのは、絞り値が所定値以下の場合は収差の影響が支配的で、所定値以上の場合は回折の影響が支配的であるためである。
【００６８】
本実施例の画像処理フローを図１のカメラシステムに適用した場合について説明する。撮像装置の記憶部に選択されたＯＴＦを格納するまでの処理は、実施例１と同様のため省略する。
【００６９】
図１０は、格納されたＯＴＦを用いて撮影画像を画像回復して出力するまでのフローチャートである。
【００７０】
ステップＳ４１で撮影画像を入力画像として取得し、ステップＳ４２で撮影条件を取得する。
【００７１】
ステップＳ４３では、絞り値が所定値以下であるか否かを判定する。絞り値が所定値以下の場合には収差の影響が支配的であると判断し、ステップＳ４４〜Ｓ４７で出力画像を生成する。ステップＳ４４〜Ｓ４７における処理は、実施例１で説明したステップＳ２３〜Ｓ２６と同様の処理であるため説明を省略する。所定値以上の場合には回折の影響が支配的であると判断し、ステップＳ４８に進む。所定値については、使用する撮像光学系の収差量や撮像素子の画素ピッチ（画素サイズ）によって適宜変更可能であるが、例えばＦ１６とするとこれ以上であるかどうかで分岐する。好ましくは、絞り値で決まる回折による遮断周波数が撮像素子の画素ピッチで決まるサンプリング周波数より小さくなる絞り値を所定値としておくとよい。このことは、以下の式（７）で表せる。
【００７２】
Ｆ≧ｐ／λ                     （７）
ＦはＦナンバー、ｐは画素ピッチ、λは波長である。
【００７３】
例えば、画素ピッチｐを０．００６ｍｍとすると、サンプリング周波数は１６７本／ｍｍとなるため、波長λを５５０ｎｍとするとＦ１１以上か否かで分岐することとなる。
【００７４】
ステップＳ４８では、撮影条件に応じた画像回復フィルタを取得する。画像の劣化の要因は回折の影響が大きく、撮影距離や焦点距離の撮影条件には依存しないので、絞り値のみに応じて画像回復フィルタを選択すればよい。画像回復フィルタは、あらかじめ撮像装置の記憶部に格納してもよいし、データベースから取得してもよい。そして、ステップＳ４６，Ｓ４７を経て回復画像を出力する。
【００７５】
したがって、記憶部１０８が保持するデータとしては、絞り値が所定値以下の場合のＯＴＦまたはＯＴＦを生成するための係数データ、および絞り値が所定値以上の場合の画像回復フィルタとなる。これにより絞り値が所定値以上のＯＴＦに関するデータが削減されるとともに、像高ごとの画像回復フィルタの生成も不要となる。さらに、ステップＳ４６で像高に応じて画像回復フィルタを切り替えることなく、画像全域に対して同一の画像回復フィルタを用いることができる。
【００７６】
一方、データ量が多くとも高精度な画像回復処理を行う撮像装置の場合には、回折の影響が大きい撮影条件でも収差の影響を加味したＯＴＦを記憶部に格納して回復画像を生成することができる。このように、撮像装置の仕様に応じて使用するＯＴＦのデータ量を可変にすることで、撮像光学系のＯＴＦのセットは共通として対応することができる。
【００７７】
ここで、絞り値が所定値以下の場合はＯＴＦから画像回復フィルタを生成し、絞り値が所定値以上の場合は直接画像回復フィルタを用いる理由について説明する。
【００７８】
絞り値が所定値以下の場合、収差が支配的になるため、画像内の像高ごとの収差に応じて画像回復フィルタを変更して用いる必要がある。この場合、撮像光学系の回転対称性を用いると、１次元方向の像高ごとにＯＴＦを用意して、光軸を中心に回転することで画像の各位置のＯＴＦを生成することができる。ＯＴＦは、図８で示したように特性の変化が比較的急峻ではないため、回転とこれに伴う補間処理を行っても少ない劣化で再配置することが可能である。よって、１次元方向の少ないデータ量から画面全体のＯＴＦを再現することができる。一方、画像回復フィルタは、図６で示したように特性の変化が急峻であるため、回転とこれに伴う補間処理を行うと特性が大きく変化してしまう。そのため、あらかじめ画面全体の画像回復フィルタを保持しておく必要が発生してしまう。また、画面内の補間だけでなく、撮影条件間で補間する際にも同様の問題によりＯＴＦを初期データとして扱うほうがデータ量を削減することができる。
【００７９】
絞り値が所定値以上の場合、回折が支配的であり、画像内に一律の画像回復フィルタを用いることができる。よって、絞り値が所定値以上の場合はＯＴＦを初期データとして画像回復フィルタに変換する処理が必要なく、あらかじめ用意された画像回復フィルタを用いることで処理の負荷を低減することができる。
【実施例３】
【００８０】
本実施例では、図１１を用いて、供給手段側が選択手段を備えている場合について説明する。図１１は、本発明の実施形態に係る画像処理システムのブロック図である。
【００８１】
図１１（ａ）は、データサーバ３０６が選択手段３０８を有している場合の画像処理システムを表している。撮像装置３０１は、ＯＴＦを格納する記憶部３０２と、画像回復処理を行う画像処理部３０３を有している。撮像光学系３０４は、撮像装置３０１に着脱可能に取り付けられる。撮像装置３０１は、コンピュータ３０５を介してデータサーバ３０６とデータ通信可能な状態に接続されている。なお、撮像装置３０１の通信手段（不図示）を用いて無線通信等によりコンピュータ３０５を介さずに直接データサーバ３０６とデータ通信可能な状態に接続してもよい。データサーバ３０６は、複数の機種の撮像光学系のＯＴＦのセットを格納したデータベース３０７と、撮像装置に応じてＯＴＦのセットから一部を選択する選択手段３０８を有している。データベース３０７からＯＴＦを選択して記憶部３０２に格納する場合、撮像装置３０１側からは撮像光学系３０４と撮像装置３０１の機種情報を送信し、データサーバ３０６側の選択手段３０８がこれに適したＯＴＦを選択する。
【００８２】
図１１（ｂ）は、コンピュータ３０５が選択手段３０８を有している場合の画像処理システムを表している。データベース３０７からＯＴＦを選択して記憶部３０２に格納する場合、撮像装置３０１側からは撮像光学系３０４と撮像装置３０１の機種情報を送信する。そして、コンピュータ３０５の選択手段３０８が送信された情報に適したＯＴＦを選択し、データサーバ３０６からＯＴＦを取得して撮像装置３０１に送信する。また、使用者がコンピュータ上で、撮像装置３０１の記憶部３０２の空き容量からＯＴＦのデータ量を指定してもよい。このようにすることで、有限の記憶容量に対して要求精度と対応光学系の機種数のトレードオフを使用者が選択できる。
【００８３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００８４】
１０１  撮像光学系
１０４  画像処理部（画像処理手段）
１０８  記憶部（記憶手段）
１１０  選択手段
【図１】
2016092676.tif 000004
【図２】
2016092676.tif 000005
【図３】
2016092676.tif 000006
【図４】
2016092676.tif 000007
【図５】
2016092676.tif 000008
【図６】
2016092676.tif 000009
【図７】
2016092676.tif 000010
【図８】
2016092676.tif 000011
【図９】
2016092676.tif 000012
【図１０】
2016092676.tif 000013
【図１１】
2016092676.tif 000014
【図１２】
2016092676.tif 000015