(57)【特許請求の範囲】
【請求項１】
撮影画像の撮影条件を取得する取得手段と、
前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成する生成手段と、
前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行う処理手段と、を有し、
前記処理手段は、前記撮影画像のノイズ特性に関する情報に基づいて、前記画像回復フィルタの最大ゲインを変更することを特徴とする画像処理装置。
【請求項２】
前記生成手段は、前記ノイズ特性に関する情報に基づく前記最大ゲインが所定値を超えないように、前記画像回復フィルタを生成することを特徴とする請求項１に記載の画像処理装置。 
【請求項３】
Ｍ（ｕ,ｖ）を前記画像回復フィルタの周波数ごとのゲイン、｜Ｈ（ｕ,ｖ）｜を前記光学伝達関数の周波数ごとの絶対値、および、Ｆ（α）を前記最大ゲインを規定する関数をすると、前記画像回復フィルタのゲイン特性が、
0006559011.tif 000005
で示されることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記生成手段は、前記ノイズ特性に関する情報に基づく特定の周波数の前記最大ゲインが所定値を超えないように、前記画像回復フィルタを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
Ｍ（ｕ,ｖ）を前記画像回復フィルタの周波数ごとのゲイン、｜Ｈ（ｕ,ｖ｜を前記光学伝達関数の周波数ごとの絶対値、Ｆ（Ｇｍａｘ）を前記最大ゲインの関数、および、Ｇ（ｕ,ｖ）を周波数ごとの重み付けを示す関数とすると、前記画像回復フィルタのゲイン特性が、
0006559011.tif 000006
で示されることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
撮影画像の撮影条件を取得する取得手段と、
前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成する生成手段と、
前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行う処理手段と、を有し、
前記処理手段は、前記撮影画像のノイズ特性に関する情報に基づいて、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを所定の割合で足し合わせることを特徴とする画像処理装置。
【請求項７】
前記処理手段は、前記画像回復フィルタに対応する特定の周波数のゲインを取得し、前記ノイズ特性に関する情報、および前記ゲインに基づいて、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを前記所定の割合で足し合わせることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記処理手段は、前記ゲインが、前記ノイズ特性に関する情報に基づいて定められた値よりも小さい場合には、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを足し合わせないことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記ノイズ特性に関する情報は、ＩＳＯ感度であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記ノイズ特性に関する情報は、前記撮影画像のオプティカルブラック領域の画像に基づいて算出されたノイズ成分であることを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置と、
前記撮影画像を生成する撮像素子と、を有することを特徴とする撮像装置。
【請求項１２】
コンピュータに請求項１から１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１３】
請求項１２に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【請求項１４】
撮影画像の撮影条件を取得するステップと、
前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成するステップと、
前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行うステップと、を有し、
前記撮影画像を補正する処理において、前記撮影画像のノイズ特性に関する情報に基づいて、前記画像回復フィルタの最大ゲインを変更することを特徴とする画像処理方法。
【請求項１５】
撮影画像の撮影条件を取得するステップと、
前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成するステップと、
前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行うステップと、を有し、
前記撮影画像を補正する処理において、前記撮影画像のノイズ特性に関する情報に基づいて、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを所定の割合で足し合わせることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法に関する。
【背景技術】
【０００２】
撮像光学系で発生する回折や収差等の影響により、被写体の１点から発生した光は１点に収束せず、微小な広がりを持つ。このような微小な広がりを持つ分布を点像強度分布関数（ＰＳＦ，Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と呼ぶ。撮像光学系の影響により、撮影画像は、被写体像にＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理によって光学系による画像劣化を補正する技術（以下、画像回復技術という）が提案されている。しかしながら、画像処理によって画像回復する場合、特に劣化が大きい場合には補正量が大きくなり回復処理と同時にノイズデータも増幅してしまうという問題がある。そのため、もとの画像のノイズ量によっては回復処理を行うことでかえって好ましくない結果になることがある。
【０００４】
特許文献１では、光学劣化情報のうち、ＰＴＦ（Ｐｈａｓｅ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）成分を画像回復処理で補正し、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）成分をシャープネス処理で補正する方法が開示されている。また、特許文献２では、画像回復処理によって補正した画像の品質を一定に保つために、画像回復時のフィルタゲインを一定に保つように設定する方法や、回復ゲインの値に応じて品質判定の基準値を変更する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５５４６２２９号公報
【特許文献２】特開２００９−０３３５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、位相成分（ＰＴＦ）は改善されるが、振幅成分（ＭＴＦ）はシャープネス処理に依存してしまう。特に、ノイズの多い画像の場合はエッジ検出精度が低くなり、所望の回復効果は得られない。また、特許文献２の方法では、デジタルカメラのように様々な撮影状態で撮影されるものに対しては最適な結果を得られることはできない。
【０００７】
このような課題に鑑みて、本発明は、光学特性に応じて、回復効果を維持するとともに良好な補正画像を取得可能な画像処理装置、撮像装置、プログラム、記憶媒体、および画像処理方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての画像処理装置は、撮影画像の撮影条件を取得する取得手段と、前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成する生成手段と、前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行う処理手段と、を有し、前記処理手段は、前記撮影画像のノイズ特性に関する情報に基づいて、前記画像回復フィルタの最大ゲインを変更することを特徴とする。
また、本発明の他の側面としての画像処理装置は、撮影画像の撮影条件を取得する取得手段と、前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成する生成手段と、前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行う処理手段と、を有し、前記処理手段は、前記撮影画像のノイズ特性に関する情報に基づいて、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを所定の割合で足し合わせることを特徴とする。
【０００９】
また、本発明の他の側面としての画像処理方法は、撮影画像の撮影条件を取得するステップと、前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成するステップと、前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行うステップと、を有し、前記撮影画像を補正する処理において、前記撮影画像のノイズ特性に関する情報に基づいて、前記画像回復フィルタの最大ゲインを変更することを特徴とする。
また、本発明の他の側面としての画像処理方法は、撮影画像の撮影条件を取得するステップと、前記撮影条件に対応する光学伝達関数を用いて画像回復フィルタを生成するステップと、前記撮影画像に対して、前記画像回復フィルタを用いて前記撮影画像を補正する処理を行うステップと、を有し、前記撮影画像を補正する処理において、前記撮影画像のノイズ特性に関する情報に基づいて、前記撮影画像と前記画像回復フィルタを用いて補正された画像とを所定の割合で足し合わせることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、光学特性に応じて、回復効果を維持するとともに良好な補正画像を取得可能な画像処理装置、撮像装置、プログラム、記憶媒体、および画像処理方法を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る画像処理装置を備えた撮像装置のブロック図である。
【図２】画像回復フィルタの説明図である。
【図３】画像回復フィルタの説明図である。
【図４】点像分布関数の説明図である。
【図５】光学伝達関数の振幅成分と位相成分の説明図である。
【図６】画像回復処理を示すフローチャートである（第１，２実施形態）。
【図７】ＩＳＯ感度と最大ゲインの関係を示す図である（第１実施形態）。
【図８】最大ゲインの説明図である（第１実施形態）。
【図９】周波数ごとの重みづけ・ターゲット周波数の説明図である（第２実施形態）。
【図１０】画像回復処理を示すフローチャートである（第３実施形態）。
【図１１】最大ゲインの説明図である（第３実施形態）。
【図１２】最大ゲインと加重加算率の関係を示す図である（第３実施形態）。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。  まず、本実施形態で説明される用語の定義および画像回復処理（画像処理方法）について説明する。ここで説明する画像回復処理は、後述の各実施形態において適宜用いられる。
［入力画像］
入力画像は、撮像光学系を介して撮像素子で受光することで得られたデジタル画像（撮影画像）であり、レンズと各種の光学フィルタ類を含む撮像光学系の収差による光学伝達関数ＯＴＦにより劣化している。撮像光学系は、レンズだけでなく曲率を有するミラー（反射面）を用いて構成することもできる。
【００１３】
入力画像の色成分は、例えばＲＧＢ色成分の情報を有する。色成分としては、これ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号など一般に用いられている色空間を選択して用いることができる。その他の色空間として、ＸＹＺ，Ｌａｂ，Ｙｕｖ，ＪＣｈを用いることが可能である。更に、色温度を用いてもよい。
【００１４】
入力画像や出力画像には、レンズの焦点距離、絞り値、撮影距離などの撮影条件や、この画像を補正するための各種の補正情報を付帯することができる。撮像装置から別の画像処理装置に画像を受け渡して補正処理を行う場合、撮影画像に撮影条件や補正に関する情報を付帯することが好ましい。撮影条件や補正に関する情報の他の受け渡し方法として、撮像装置と画像処理装置を直接または間接的に接続して受け渡すようにしてもよい。
［画像回復処理］
続いて、画像回復処理の概要について説明する。撮影画像（劣化画像）をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、光学伝達関数ＯＴＦのフーリエペアである点像分布関数ＰＳＦをｈ（ｘ，ｙ）としたとき、以下の式（１）が成立する。
【００１５】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） … （１）
ここで、＊はコンボリューション（畳み込み積分、積和）、（ｘ，ｙ）は撮影画像上の座標である。
【００１６】
また、式（１）をフーリエ変換して周波数面での表示形式に変換すると、周波数ごとの積で表される式（２）が得られる。
【００１７】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）            （２）
ここで、Ｈは点像分布関数ＰＳＦ（ｈ）をフーリエ変換することにより得られた光学伝達関数ＯＴＦであり、Ｇ，Ｆはそれぞれ劣化した画像ｇ、もとの画像ｆをフーリエ変換して得られた関数である。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数である。
【００１８】
撮影された劣化画像ｇからもとの画像ｆを得るには、以下の式（３）のように両辺を光学伝達関数Ｈで除算すればよい。
【００１９】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）            （３）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことにより、もとの画像ｆ（ｘ，ｙ）が回復画像として得られる。
【００２０】
Ｈ−１を逆フーリエ変換したものをＲとすると、以下の式（４）のように実面での画像に対するコンボリューション処理を行うことで、同様にもとの画像ｆ（ｘ，ｙ）を得ることができる。
【００２１】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）            (４)
ここで、Ｒ（ｘ，ｙ）は、画像回復フィルタと呼ばれる。画像が２次元画像である場合、一般的に、画像回復フィルタＲも画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、画像回復フィルタＲのタップ数（セルの数）は、一般的に多いほど回復精度が向上する。このため、要求画質、画像処理能力、収差の特性等に応じて実現可能なタップ数が設定される。画像回復フィルタＲは、少なくとも収差の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）などとは異なる。画像回復フィルタＲは、光学伝達関数ＯＴＦに基づいて設定されるため、振幅成分および位相成分の劣化の両方を高精度に補正することができる。
【００２２】
また、実際の画像にはノイズ成分が含まれるため、上記のように光学伝達関数ＯＴＦの逆数をとって作成した画像回復フィルタＲを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。これは、画像の振幅成分にノイズの振幅が付加されている状態に対して、光学系のＭＴＦ（振幅成分）を全周波数に渡って１に戻すようにＭＴＦを持ち上げるためである。光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズのパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合（回復ゲイン）に応じてノイズが増幅されてしまう。
【００２３】
したがって、ノイズが含まれる場合には、鑑賞用画像としては良好な画像は得られない。このことは、以下の式（５−１）、（５−２）で表される。
【００２４】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）              （５−１）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）（５−２）
ここで、Ｎはノイズ成分である。
【００２５】
ノイズ成分が含まれる画像に関しては、例えば以下の式（６）で表されるウィナーフィルタのように、画像信号とノイズ信号の強度比ＳＮＲに応じて回復度合を制御する方法がある。
【００２６】
【数１】
0006559011.tif 000002
【００２７】
ここで、Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性、｜Ｈ（ｕ，ｖ）｜は光学伝達関数ＯＴＦの絶対値（ＭＴＦ）、Ｃは定数である。この方法では、周波数ごとに、ＭＴＦが小さいほど回復ゲイン（回復度合）を小さくし、ＭＴＦが大きいほど回復ゲインを大きくする。一般的に、撮像光学系のＭＴＦは低周波側が高く高周波側が低くなるため、この方法では、実質的に画像の高周波側の回復ゲインを低減することになる。
【００２８】
続いて、図２および図３を参照して、画像回復フィルタについて説明する。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてそのタップ数が決定される。図２の画像回復フィルタは、一例として、１１×１１タップの２次元フィルタである。図２では、各タップ内の値（係数）を省略しているが、この画像回復フィルタの一断面を図３に示す。画像回復フィルタの各タップの値（係数値）の分布は、収差により空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す機能を有する。
【００２９】
画像回復フィルタの各タップは、画像の各画素に対応して画像回復処理の工程でコンボリューション処理（畳み込み積分、積和）される。コンボリューション処理では、所定の画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値とフィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【００３０】
続いて、図４および図５を参照して、画像回復の実空間と周波数空間での特性について説明する。図４は点像分布関数ＰＳＦの説明図であり、（ａ）は画像回復前の点像分布関数ＰＳＦ、（ｂ）は画像回復後の点像分布関数ＰＳＦを示している。図５は、光学伝達関数ＯＴＦの振幅成分ＭＴＦ（図５（ａ））と位相成分ＰＴＦ（図５（ｂ））の説明図である。図５（ａ）中の破線（Ａ）は画像回復前のＭＴＦ、一点鎖線（Ｂ）は画像回復後のＭＴＦを示す。また、図５（ｂ）中の破線（Ａ）は画像回復前のＰＴＦ、一点鎖線（Ｂ）は画像回復後のＰＴＦを示す。図４（ａ）に示されるように、画像回復前の点像分布関数ＰＳＦは、非対称な広がりを有し、この非対称性により位相成分ＰＴＦは周波数に対して非直線的な値を有する。画像回復処理は、振幅成分ＭＴＦを増幅し、位相成分ＰＴＦがゼロになるように補正するため、画像回復後の点像分布関数ＰＳＦは対称で先鋭な形状になる。
【００３１】
このように画像回復フィルタは、撮像光学系の光学伝達関数ＯＴＦの逆関数に基づいて設計された関数を逆フーリエ変換して得ることができる。本実施形態で用いられる画像回復フィルタは適宜変更可能であり、例えば上述のようなウィナーフィルタを用いることができる。ウィナーフィルタを用いる場合、式（６）を逆フーリエ変換することで、実際に画像に畳み込む実空間の画像回復フィルタを作成することが可能である。また、光学伝達関数ＯＴＦは１つの撮影状態においても撮像光学系の像高（画像の位置）に応じて変化する。このため、画像回復フィルタは像高に応じて変更して用いられる。
［撮像装置］
図１を参照して、本発明の実施形態に係る画像処理装置を備えた撮像装置２００について説明する。図１は、撮像装置２００の構成図である。撮像装置２００には、撮影画像の画像回復処理を行う画像処理プログラムがインストールされており、この画像回復処理は撮像装置２００の内部の画像処理部（画像処理装置）２０４により実行される。
【００３２】
撮像装置２００は、撮像光学系（レンズ）２０１および撮像装置本体（カメラ本体）を備える。撮像光学系２０１は、絞り２０１ａおよびフォーカスレンズ２０１ｂを備え、撮像装置本体（カメラ本体）と一体的に構成されている。ただし、本発明はこれに限定されるものではなく、撮像光学系２０１が撮像装置本体に対して交換可能に装着される撮像装置にも適用可能である。
【００３３】
撮像素子２０２は、ＣＣＤやＣＭＯＳセンサで構成され、撮像光学系２０１を介して得られた被写体像（結像光）を光電変換して撮影画像を生成する。すなわち、被写体像は、撮像素子２０２による光電変換でアナログ信号（電気信号）に変換される。そして、このアナログ信号はＡ／Ｄコンバータ２０３によりデジタル信号に変換され、このデジタル信号は画像処理部２０４に入力される。
【００３４】
画像処理部２０４は、デジタル信号に対して所定の処理を行うとともに、画像回復処理を行う。画像処理部２０４は、図１に示されるように、撮影条件取得部（第１の取得手段）２０４ａ、光学伝達関数取得部（第２の取得手段）、および処理部（処理手段）を備える。撮影条件取得部（取得手段）２０４ａは、状態検出部２０７から撮像装置の撮影条件を取得する。撮影条件とは、絞り、撮影距離、または、ズームレンズの焦点距離等である。状態検出部２０７は、システムコントローラ２１０から直接撮影条件を取得してもよいし、撮像光学系制御部２０６から取得してもよい。
【００３５】
光学伝達関数ＯＴＦ、または光学伝達関数ＯＴＦの生成に必要な係数データは、記憶部（記憶手段）２０８に保持されている。記憶部２０８は、例えばＲＯＭで構成される。画像処理部２０４で処理した出力画像は、画像記録媒体２０９に所定のフォーマットで保存される。液晶モニタや有機ＥＬディスプレイで構成された表示部２０５には、画像回復処理を行った画像に表示用の所定の処理を行った画像が表示される。ただし、表示部２０５に表示する画像はこれに限定されるものではなく、高速表示のために簡易処理を行った画像を表示部２０５に表示するようにしてもよい。
【００３６】
システムコントローラは、撮像装置２００内の一連の制御を行う。撮像光学系２０１の機械的な駆動はシステムコントローラ２１０の指示に基づいて撮像光学系制御部２０６により行われる。撮像光学系制御部２０６は、Ｆナンバーの撮影状態設定として、絞り２０１ａの開口径を制御する。また、撮像光学系制御部２０６は、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構により、フォーカスレンズ２０１ｂの位置を制御する。なお、絞り２０１ａの開口径制御やマニュアルフォーカスなどの機能は、撮像装置２００の仕様に応じて実行しなくてもよい。
【００３７】
なお、ローパスフィルタや赤外線カットフィルタ等の光学素子を撮像光学系２０１内に配置してもよいが、ローパスフィルタ等の光学伝達関数ＯＴＦの特性に影響を与える素子を用いる場合、画像回復フィルタを作成する時点での考慮が必要になる場合がある。赤外線カットフィルタに関しても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点での考慮が必要になる場合がある。
【００３８】
なお、画像処理部２０４はＡＳＩＣで構成され、撮像光学系制御部２０６、状態検出部２０７、およびシステムコントローラ２１０はそれぞれＣＰＵまたはＭＰＵによって構成されている。また、これら画像処理部２０４、撮像光学系制御部２０６、状態検出部２０７、およびシステムコントローラ２１０のうちの１つ以上を、同じＣＰＵあるいはＭＰＵで兼用して構成するようにしてもよい。
[第１実施形態]
図６を参照して、本実施形態の画像回復処理について説明する。図６は、画像回復処理を示すフローチャートである。図６のフローチャートは、画像処理部２０４の指令に基づいて実行される。
【００３９】
ステップＳ１１では、撮影画像を取得する。撮影された画像は、記憶部２０８に保存される。また、撮影画像として、画像記録媒体２０９に保存されている画像を取得してもよい。
【００４０】
ステップＳ１２では、撮影条件取得部２０４ａが撮影条件を取得する。撮影条件とは、撮像光学系２０１の焦点距離、絞り値、および、撮影距離等である。また、撮影時のノイズ特性（例えば、ＩＳＯ感度）等も同時に取得する。レンズがカメラ本体に交換可能に装着される撮像装置の場合、撮影条件はさらにレンズＩＤやカメラＩＤを含む。撮影条件は、撮像装置から直接取得してもよいし、画像に付帯された情報から取得してもよい。
【００４１】
ステップＳ１３では、光学伝達関数取得部２０４ｂがステップＳ１２で取得された撮影条件に適した光学伝達関数ＯＴＦを取得する。光学伝達関数ＯＴＦは、あらかじめ保持された複数の光学伝達関数ＯＴＦの中から選択する。また、光学伝達関数ＯＴＦを生成するための関数とその生成に用いられる係数群をあらかじめ保持しておき、撮影条件に適した光学伝達関数ＯＴＦを新たに生成してもよい。さらに、あらかじめ保持されている光学伝達関数ＯＴＦから補間処理により撮影条件に適した光学伝達関数ＯＴＦを生成してもよい。この場合、保持する画像回復フィルタのデータ量を低減することが可能である。補間処理としては、例えば、バイリニア補間（線形補間）やバイキュービック補間等が用いられるが、これらに限定されるものではない。
【００４２】
ステップＳ１４では、ステップＳ１２で取得された撮影条件のうちＩＳＯ感度に応じて、記憶部２０８に保存されている図７の特性テーブルから撮影時に適用可能な最大ゲインを取得する。図７は、ＩＳＯ感度と最大ゲインの関係の一例を示す図である。図７において、横軸はＩＳＯ感度、縦軸は最大ゲインを表す。図７の特性テーブルは、システムで許容可能な最大ゲインＧｍａｘ、効果を出すために最低限必要な最小ゲインＧｍｉｎ、およびこれらの値を切り替えるＩＳＯ感度ａ，ｂが設定され、その間のＩＳＯ感度は線形で補間される。
【００４３】
画像回復処理では、式（６）で表されるウィナーフィルタのような式を用いて回復フィルタ特性を算出する必要がある。通常は式（６）中の定数Ｃを決定することで、回復フィルタ特性を算出する。しかしながら、撮像装置２００を使用する場合、撮像素子２０２の読み出し方法によって出力される画像のＳ／Ｎ比が変わってしまう可能性がある。Ｓ／Ｎ比が変わってしまう要因として、代表的なものにＩＳＯ感度設定が挙げられる。ＩＳＯ感度設定とは、例えば、暗い被写体を所定の絞り値やシャッター速度で撮影を行う場合、撮像素子２０２やＡ／Ｄコンバータ２０３で画像信号にゲインをかけることにより所望の明るさの画像が取得できる設定である。ゲインが大きくなると撮影画像に重畳されるノイズ信号が増幅され、出力画像はノイズが目立つざらついた画像になってしまう。ＩＳＯ感度設定以外にも長秒撮影や動画撮影など駆動方法が変わるとＳ／Ｎ比が変わってしまうこともあるが、本実施形態では簡単のためＩＳＯ感度設定の場合について説明する。所定の条件で決定された式（６）中の定数ＣをＩＳＯ感度が変更された場合も使用した場合、画像回復フィルタが想定した条件よりもＳ／Ｎ比が悪い状態の画像に適用される場合がある。このとき、画像回復フィルタがノイズを増幅させてしまい、撮影画像には好ましくない。そのため、ＩＳＯ感度に応じて、画像回復フィルタで設定できる最大ゲインを規定することが好ましい。
【００４４】
なお、本実施形態ではＩＳＯ感度と最大ゲインの特性テーブルを保存している場合について説明したが、撮影画像のＯＢ（Ｏｐｔｉｃａｌ  Ｂｌａｃｋ）領域等から画像のノイズ成分を推測して最大ゲインを算出してもよい。その場合、記憶部２０８は、横軸が撮影画像のＳ／Ｎ、縦軸が最大ゲインのテーブルを保持しておけばよい。また、長秒撮影や動画撮影などの場合も同様の手法で最大ゲインを取得する。
【００４５】
ステップＳ１５では、処理部２０４ｃが、撮像光学系２０１の光学伝達関数ＯＴＦを用いて、ＩＳＯ感度に応じたゲイン特性を有する画像回復フィルタを生成する。生成された画像回復フィルタは、撮像素子２０２のノイズ特性という観点から光学伝達関数ＯＴＦの特性を加味して取得された画像回復フィルタである。
【００４６】
ここで、図８を参照して、画像回復フィルタの生成方法について説明する。図８（ａ）は、それぞれ異なる光学特性（Ａ），（Ｂ）のＭＴＦ特性を示す図である。図８（ａ）において、横軸は空間周波数、縦軸は振幅特性（ＭＴＦ）を表す。図８（ｂ）は、式（６）で表されるウィナーフィルタで画像回復フィルタを生成した場合のゲイン特性を示す図である。図８（ｂ）において、横軸は空間周波数、縦軸はゲインを表す。式（６）では高周波側でゲインを落とすように定数Ｃが組み込まれているが、図８（ｂ）に示されるようにゲインの落ち方は元の光学特性によって異なる。図８（ｂ）では、光学特性（Ａ）の場合は周波数ｆａで最大ゲインがＧｍａｘ（Ａ）、光学特性（Ｂ）の場合は周波数ｆｂで最大ゲインがＧｍａｘ（Ｂ）になる。この場合、高周波側でゲインは低減するが、最大ゲインは元の光学特性に影響されるため、最終的な画像のノイズ増幅の影響を管理することは難しい。
【００４７】
そこで、本実施形態では、図８（ｃ）に示されるように、元の光学特性に影響されないように、最大ゲインを所定値に規定する。図８（ｃ）では、光学特性（Ａ），（Ｂ）ともに最大ゲインがＧｍａｘになっており、全周波数帯域においてＧｍａｘ以上のゲインが掛からないように規定されている。このような特性を実現するために、式（６）の定数Ｃの代わりに式（７）に示される最大ゲインを規定する関数Ｆ（α）を追加する。
【００４８】
【数２】
0006559011.tif 000003
【００４９】
αは、最大ゲインを規定するための変数である。なお、式（７）で表した式は、最大ゲインを規定するための一例であり、他の式や手段によって規定してもよい。
【００５０】
本実施形態では、最大ゲインを規定した画像回復フィルタを生成することで、ノイズへの影響を制御することが可能になる。すなわち、撮像装置２００のノイズ特性があらかじめわかっている場合は、ノイズ特性に応じた値で式（７）のαを決定することで、元の光学特性に依存されない最適な画像回復フィルタを生成することができる。
【００５１】
ステップＳ１６では、画像処理部２０４が、ステップＳ１５で生成された画像回復フィルタを用いて撮影画像の画像回復処理を行う。すなわち、撮影画像に画像回復フィルタをコンボリューション（畳み込み）することで、撮影画像の画像回復処理を行う。
【００５２】
ステップＳ１７では、ステップＳ１６での画像回復処理の結果に基づいて回復画像（出力画像）を出力する。
[第２実施形態]
第１実施形態では、撮影条件に応じた最大ゲインを規定してフィルタ生成を行うことを説明した。図８（ｃ）において、光学特性（Ａ）では周波数ｆｂ’のときに最大ゲインに到達し、光学特性（Ｂ）では周波数ｆａ’のときに最大ゲインに到達する。撮像素子２０２に発生するノイズは、ランダムな成分が主体的なため、ナイキスト周波数近傍の周波数が支配的である。第１実施形態で説明した手法は全周波数帯域での最大ゲインを管理することは可能だが、ターゲットとなるノイズの特定の周波数に対しては詳細に管理したフィルタの生成を行ったほうがノイズ抑制には効果的である。
【００５３】
本実施形態の画像回復処理は、図６に示すフローに沿って実行される。本実施形態では、ステップＳ１５において、第１実施形態よりもターゲットのノイズの周波数に対して詳細に管理して画像回復フィルタを生成する。他のステップは、第１実施形態と同様であるため、その説明は省略する。なお、第１実施形態と同様に、図６のフローチャートは、画像処理部２０４の指令に基づいて実行される。
【００５４】
図９は、周波数ごとの重みづけ・ターゲット周波数の説明図である。図９（ａ）は、所定の光学特性のＭＴＦ特性を示す図である。図９（ｂ）は、図９（ａ）の特性を最大ゲインＧｍａｘで規定した場合の画像回復フィルタのゲイン特性を示す図である。画像回復フィルタ（Ａ）〜（Ｃ）は、重みづけする周波数を変更することで生成される。画像回復フィルタ（Ａ）が最も低周波を重視し、画像回復フィルタ（Ｂ）が次に低周波を重視し、画像回復フィルタ（Ｃ）が最も高周波を重視している。このような画像回復フィルタはあらかじめ設定しておいてもよいし、動的なパラメータにより式（８）を用いて自動で生成できるようにしてもよい。
【００５５】
【数３】
0006559011.tif 000004
【００５６】
式（８）は、式（７）のαにＧｍａｘを設定し、周波数ごとに重みづけを与える関数Ｇ（ｕ、ｖ）が追加されている。なお、上記式でなくても同様のことが実現できるのであれば他の式や方法を用いてもよい。
【００５７】
図９（ｃ）は、図９（ｂ）の各画像回復フィルタで画像回復処理をした場合のＭＴＦ特性の変化を表した図である。元の特性に対し、画像回復フィルタ（Ａ）は最も低周波で持ち上がり、画像回復フィルタ（Ｃ）は最も高周波で持ち上がる。
【００５８】
ターゲットの周波数Ｆ＿ｔａｒｇｅｔが決定している場合、関数Ｇ（ｕ、ｖ）を変更して生成した画像回復フィルタのゲイン特性から周波数Ｆ＿ｔａｒｇｅｔにかかるゲインを取得することができる。図９（ｂ）では、画像回復フィルタＡ，Ｂ，Ｃの周波数Ｆ＿ｔａｒｇｅｔにかかるゲインはそれぞれ、Ｇａ，Ｇｂ，Ｇｃである。このようにあらかじめ撮像素子２０２のノイズ特性により周波数Ｆ＿ｔａｒｇｅｔにかかる最大ゲインを規定しておくことで、さらに詳細にノイズ低減を高精度に制御できる画像回復フィルタが生成可能となる。その場合、極端に低域や高域に重みづけするとリンギング等の弊害が発生する可能性があるため、関数Ｇ（ｕ、ｖ）はあらかじめ最適な範囲のものを規定しておく必要がある。また、ゲイン特性が極端に下がっている（特に１未満）場合には、ＬＰＦ効果により画像が眠くなってしまうため、周波数Ｆ＿ｔａｒｇｅｔにかかる最大ゲインとともに最小ゲインも規定しておくことが好ましい。
[第３実施形態]
第１，２実施形態では、取得した光学伝達関数ＯＴＦを逆フーリエ変換して画像回復フィルタを生成する方法について説明した。理想的には、第１，２実施形態のように周波数領域で処理を行うことが好ましいが、逆フーリエ変換を必要とするため、撮像装置２００の演算スピードや、製品コストに見合わない場合、逆フーリエ変換処理の実行が難しい場合がある。その場合、あらかじめ外部で逆フーリエ変換を行い、演算した結果の空間フィルタを記憶部２０８に記憶しておき、撮影条件にあった画像回復フィルタを抽出して、画像回復処理を行うことが考えられる。その場合、ノイズ対策として必要となる空間フィルタも事前にすべて計算する必要があるが、撮影条件と最大ゲインの組合せで必要になってくるため、記憶部２０８の記憶量が膨大になってしまう。
【００５９】
本実施形態では、記憶部２０８から画像回復フィルタを取得する場合に、記憶部２０８が保存する容量を最小限に抑えながらノイズ対策も行う。図１０を参照して、本実施形態の画像回復処理について説明する。図１１は、本実施形態の画像回復処理を示すフローチャートである。図１０のフローチャートは、画像処理部２０４の指令に基づいて実行される。
【００６０】
ステップＳ１１１、ステップＳ１１２はそれぞれ、図６のステップＳ１１、Ｓ１２と同一のため、説明は省略する。
【００６１】
ステップ１１３では、ステップＳ１１２で記憶部２０８から取得した撮影条件に応じた画像回復フィルタを取得する。第１実施形態では光学伝達関数ＯＴＦを取得したが、本実施形態では前述の通り光学伝達関数ＯＴＦを逆フーリエ変換した結果の画像回復フィルタを取得する。このとき、保存されていない撮影条件の画像回復フィルタとして、近傍の画像回復フィルタを流用してもよいし、周囲の画像回復フィルタから補間により生成してもよい。
【００６２】
ステップＳ１１４では、ステップＳ１１３で取得した画像回復フィルタでの最大ゲインを記憶部２０８から取得する。図１１を参照して、最大ゲインについて説明する。図１１は異なる光学特性（Ａ），（Ｂ）の振幅特性を示す図であり、図１１（ｂ）は光学特性（Ａ），（Ｂ）の最大ゲインを示す図である。光学特性（Ａ）では最大ゲインはＧａ、光学特性（Ｂ）では最大ゲインはＧｂである。光学特性（Ａ），（Ｂ）の画像回復フィルタを外部で生成するときにあらかじめ、設定しておいたターゲット周波数（Ｆ＿ｔａｒｇｅｔ）のゲインの値を画像回復フィルタとリンクさせて記憶部２０８に記憶させておく。こうすることで、画像回復フィルタからだけでは判断できない周波数空間上のゲイン特性を後から確認できるようになる。この情報は１光学特性につき１つでよいので画像回復フィルタの大きさに比べると無視できるサイズであり、記憶部２０８に与える影響は極めて小さい。なお、画像回復フィルタが記憶されていない場合、最大ゲインとして、近傍の値を使用してもよいし、周囲の最大ゲインから補間により生成してもよい。
【００６３】
ステップＳ１１５では、ステップＳ１１２で取得した撮影条件とステップＳ１１４で取得した最大ゲインから加重加算率を決定する。図１２を参照して、加重加算率の決定方法の一例について説明する。図１２は所定のＩＳＯ感度における最大ゲイン情報に対する加重加算率を示す図である。図１２では、最大ゲインが最大ゲインａより小さい場合は加重加算率が０％、つまり、画像回復フィルタを用いた補正後の画像がそのまま最終出力となる。一方、最大ゲインが最大ゲインｂより大きい場合は加重加算率が８０％、つまり、補正前の画像が８割、補正後の画像が２割の割合で加重平均される。こうすることで、簡易的ではあるが、ゲインが高い領域の場合は補正前の元信号を多く使用することによりノイズ悪化を軽減することが可能となる。このテーブルは設定可能なＩＳＯ感度ごとに持つ必要があるが、代表的な条件の最大ゲインａと最大ゲインａ，ｂ間の傾きを所持しておき、残りのＩＳＯ感度のテーブルは適宜数値演算によって生成してもよい。このように周波数空間上で処理ができない場合に関しては、簡易的にかつ、メモリの消費を最小限に抑えた形で実現することができる。なお、本実施形態もＩＳＯ感度の例について説明を行ったが、第１，２実施形態と同様に画像のノイズ量を画像から推定して同様のことを行ってもよい。
【００６４】
なお、本発明は、以下の処理を実行することによっても実現する。各実施形態の機能を実現するソフトウェア（プログラム）を、ネットワークまたは各種記録媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６６】
２０４    画像処理部（画像処理装置）
２０４ａ  撮影条件取得部（第１の取得手段）
２０４ｂ  光学伝達関数取得部（第２の取得手段）
２０４ｃ  処理部（処理手段）
【図１】
0006559011.tif 000007
【図２】
0006559011.tif 000008
【図３】
0006559011.tif 000009
【図４】
0006559011.tif 000010
【図５】
0006559011.tif 000011
【図６】
0006559011.tif 000012
【図７】
0006559011.tif 000013
【図８】
0006559011.tif 000014
【図９】
0006559011.tif 000015
【図１０】
0006559011.tif 000016
【図１１】
0006559011.tif 000017
【図１２】
0006559011.tif 000018