(57)【要約】      （修正有）【課題】シャープネスと画像回復の両方を適用した場合でも、画像回復の効果を維持しつつ、シャープネスによる所望の解像感を得られるようにする。【解決手段】撮像系により生成された画像につき、前記撮像系に基づく画像の劣化を回復させるための画像処理装置であって、前記撮像系に基づく光学伝達関数のデータを用いて前記画像の劣化を回復させるためのフィルタを生成する回復フィルタ生成部２０３と、前記フィルタを用いて回復処理を行う回復処理部２０４と、前記回復処理により得られた回復画像にシャープネス処理を行うシャープネス処理部２０６とを備え、前記シャープネス処理部は、前記フィルタ生成部が前記フィルタを生成した際の回復ゲインに基づいて前記回復画像に対する前記シャープネス処理の度合いを設定する。【選択図】図２
2015138470.tif 000002
【特許請求の範囲】
【請求項１】
撮像系により生成された画像につき、前記撮像系に基づく画像の劣化を回復させるための画像処理装置であって、
前記撮像系に基づく光学伝達関数のデータを用いて前記画像の劣化を回復させるためのフィルタを生成するフィルタ生成手段と、
前記フィルタを用いて回復処理を行う回復処理手段と、
前記回復処理により得られた回復画像にシャープネス処理を行うシャープネス処理手段と
を備え、
前記シャープネス処理手段は、前記フィルタ生成手段が前記フィルタを生成した際の回復ゲインに基づいて前記回復画像に対する前記シャープネス処理の度合いを設定することを特徴とする画像処理装置。
【請求項２】
前記シャープネス処理手段は、前記回復ゲインが小さい程、前記シャープネス処理の度合いを大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記回復ゲインは、予め定められた目標値以下の値となるように設定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記回復ゲインが前記目標値と一致する値の場合に前記回復処理が回復可能な範囲の最大値を超えることになる場合、前記回復ゲインは前記回復処理の結果が該最大値を超えない値に調整されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記フィルタは前記画像を分割して得られた複数の領域のそれぞれについて生成され、前記回復ゲインは各領域に対応するフィルタのそれぞれについて決定されることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記フィルタ生成手段は、前記撮像系における撮影条件が変化した場合に前記フィルタを生成することを特徴とする請求項１乃至５のいずれか１項記載の画像処理装置。
【請求項７】
前記画像のエッジ情報を検出するエッジ検出手段を有し、
前記シャープネス処理手段は、前記回復画像に対する前記エッジ情報を付加する度合いを調整することで、前記シャープネス処理の度合いを設定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮像光学系により形成された被写体像を光電変換して画像を生成する撮像系と、
請求項１乃至７のいずれか1項に記載の画像処理装置とを備える撮像装置。
【請求項９】
撮像系により生成された画像につき、前記撮像系に基づく画像の劣化を回復させるための画像処理装置の制御方法であって、
前記撮像系に基づく光学伝達関数のデータを用いて前記画像の劣化を回復させるためのフィルタを生成するフィルタ生成工程と、
前記フィルタを用いて回復処理を行う回復処理工程と、
前記回復処理により得られた回復画像にシャープネス処理を行うシャープネス処理工程と
を備え、
前記シャープネス処理工程では、前記フィルタ生成工程において前記フィルタが生成された際の回復ゲインに基づいて前記回復画像に対する前記シャープネス処理の度合いを設定することを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータを請求項１乃至７のいずれか1項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理装置の制御方法、及び、プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により得られた画像はボケによって、画質が劣化している。画像のボケが起こる要因は、撮像系の球面収差、コマ収差、像面湾曲および非点収差等である。これら収差は、点像分布関数（ＰＳＦ、Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）をフーリエ変換することにより得ることができる光学伝達関数（ＯＴＦ、Optic Transfer Function）は、収差の周波数空間における情報である。この光学伝達関数（以下、ＯＴＦ）は複素数で表すことができ、ＯＴＦの絶対値、即ち、振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。
【０００３】
撮像光学系のＯＴＦは画像の振幅成分（以下、ＭＴＦ）と位相成分（以下、ＰＴＦ）に影響（劣化）を与えるため、撮像光学系を介して取得された被写体の画像は、各点がコマ収差のように非対称にボケた画像（劣化画像）になる。さらに、画像が有する色成分（例えば、赤、青、緑など）ごとにＰＳＦが異なるため、色成分ごとに異なるボケが発生し、色がにじんだような画像（劣化画像）になる。
【０００４】
これら画像のボケを補正する方法として、撮像光学系の光学伝達関数（ＯＴＦ）の情報を用いて補正するものが知られている（特許文献１を参照）。この方法は「画像回復」や「画像復元」と呼ばれ、以降、この撮像系の光学伝達関数の情報を用いて画像の劣化を補正する処理を「回復処理」と記す。
【０００５】
以下に回復処理の概要を示す。劣化した画像をｇ（ｘ，ｙ）、もとの画像をｆ（ｘ，ｙ）、ｇ（ｘ、ｙ）を取得するために用いた撮像系の点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）としたとき、以下の式１が成り立つ。ただし、＊はコンボリューション（畳み込み積分、積和）を示し、（ｘ，ｙ）は実空間における画像の座標を示す。なお、コンボリューション処理では、入力画像のある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える。
【０００６】
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）      ・・・（式１）
式１をフーリエ変換して周波数空間での表示形式に変換すると、式２のように表すことができる。
【０００７】
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）      ・・・（式２）
ここで、Ｈ（ｕ，ｖ）は点像分布関数（ＰＳＦ）ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数（ＯＴＦ）である。Ｇ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。（ｕ，ｖ）は２次元周波数空間での周波数（座標）を示す。劣化画像から元の画像（元画像）を得るためには、式２の両辺をＨ（ｕ，ｖ）で除算すればよい。
【０００８】
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）      ・・・（式３）
このＦ（ｕ，ｖ）、即ちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間に戻すことで元画像ｆ（ｘ，ｙ）を回復画像として得ることができる。式３の両辺を逆フーリエ変換すると式３は式４で表される。
【０００９】
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）      ・・・（式４）
ここで、１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものをＲ（ｘ，ｙ）と表す。このＲ（ｘ，ｙ）が画像回復フィルタである。この画像回復フィルタは光学伝達関数（ＯＴＦ）に基づいているため、振幅（絶対値）成分および位相成分の劣化を補正することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１１−１２４６９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、画像に対して上述の回復処理とシャープネスの調整処理の両方を行うと、回復処理により解像感が強くなるため、ユーザの目標よりもシャープネスが高くなり過ぎてしまうことがある。一方、シャープネスをまったく行わなければ、回復処理により解像感が上がっても、解像感が弱かった場合、ユーザの所望するシャープネスの画像が得られないこともある。
【００１２】
そこで、本発明は、シャープネスと画像回復の両方を適用した場合でも、画像回復の効果を維持しつつ、シャープネスによる所望の解像感を得られるようにすることを目的とする。
【課題を解決するための手段】
【００１３】
上記課題を解決するための本発明は、撮像系により生成された画像につき、前記撮像系に基づく画像の劣化を回復させるための画像処理装置であって、
前記撮像系に基づく光学伝達関数のデータを用いて前記画像の劣化を回復させるためのフィルタを生成するフィルタ生成手段と、
前記フィルタを用いて回復処理を行う回復処理手段と、
前記回復処理により得られた回復画像にシャープネス処理を行うシャープネス処理手段と
を備え、
前記シャープネス処理手段は、前記フィルタ生成手段が前記フィルタを生成した際の回復ゲインに基づいて前記回復画像に対する前記シャープネス処理の度合いを設定することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、シャープネスと画像回復の両方を適用した場合でも、画像回復の効果を維持しつつ、シャープネスによる所望の解像感を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】発明の実施形態に対応する画像処理装置１００の構成例を示すブロック図。
【図２】発明の実施形態に対応する画像処理部１１６の構成例を示す機能ブロック図。
【図３】発明の実施形態に対応する画像処理装置１００の動作の一例を示すフローチャート。
【図４】発明の実施形態に対応する回復ゲイン算出処理の一例を示すフローチャート。
【図５】発明の実施形態に対応する回復処理における適用量を設定するためのユーザ・インタフェースの一例を示す図。
【図６】発明の実施形態に対応する回復ゲインの一例を示す図。
【図７】発明の実施形態に対応する回復フィルタを説明するための図。
【発明を実施するための形態】
【００１６】
以下に、発明の実施形態を、添付の図面に基づいて詳細に説明する。図１は、発明の実施形態の構成の一例を示す図である。図１では、発明の実施形態に対応する画像処理装置の一例として、撮像装置であるデジタルカメラ１００を示す。図１のデジタルカメラ１００において、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００１７】
また、画像処理装置１００は、デジタルカメラ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。
【００１８】
デジタルカメラ１００において、撮像光学系を構成する撮影レンズ１１０を介して入射した被写体からの反射光は、撮像素子１１２上で光学像として結像し被写体像を形成する。当該被写体像は画素単位に電気信号に変換（光電変換）され、アナログ画素信号が生成される。アナログ画素信号はＡ／Ｄ変換器１１４においてデジタル信号に変換され、画像処理部１１６で画像処理される。画像処理部１１６は、Ａ／Ｄ変換器１１４からのデータ或いはメモリ制御部１２０からのデータに対して所定のデモザイク処理や色変換処理を行う。メモリ制御部１２０は、Ａ／Ｄ変換器１１４や画像処理部１１６の動作を制御する。
【００１９】
Ａ／Ｄ変換器１１４から出力されたデジタル信号は、画像処理部１１６、メモリ制御部１２０を介して、或いは直接にメモリ制御部１２０を介して、画像表示メモリ１２６或いはメモリ１２８に書き込まれる。画像表示メモリ１２６は、画像表示部１２４の表示用の画像データを記憶するメモリであって、画像表示メモリ１２６が記憶するデータはＤ／Ａ変換器１２２を介して画像表示部１２４により表示される。画像表示部１２４を用いて撮像した画像データを逐次表示すれば、ライブビュー機能を実現することが可能である。画像表示部１２４は例えばTFT LCD等で構成される。
【００２０】
メモリ１２８は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備える。これにより、複数枚の静止画像を連続して撮影する連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ１２８に対して行うことが可能となる。また、メモリ１２８は画像処理部１１６やシステム制御部１３２の作業領域としても使用されてもよい。
【００２１】
システム制御部１３２はＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００の全体的な動作制御を行う。シャッタースイッチSW1（１３４）は、ユーザからの撮影のための前処理の開始指示を受け付けるための操作部であって、不図示のシャッターボタンの操作途中でONとなる。当該前処理には、例えばAF（オートフォーカス）処理、AE（自動露出）処理、AWB（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等が含まれる。
【００２２】
シャッタースイッチSW2（１３６）は、ユーザからの撮影指示を受け付けるための操作部であって、不図示のシャッターボタンの完全な押下でONとなる。撮影指示がなされると撮像素子１１２から読み出したアナログ信号がＡ／Ｄ変換器１１４、メモリ制御部１２０を介して、画像処理部１１６やメモリ制御部１２０で演算により現像処理される。現像処理の結果はメモリ１２８に画像データとして記憶される。画像データはメモリ１２８から読み出されて画像処理部１１６にて圧縮処理が行われ、ＳＤカードなどの記録媒体を含む記録部１３０に書き込まれる。なお、記録媒体は画像処理装置１００に対して取り外し可能に装着されていてもよい。これらの一連の処理を記録処理という。操作部１４０は、画像表示部１２４に表示されたメニュー画面に対する操作や、表示画像の選択操作などをユーザから受け付けるためのユーザ・インタフェースである。例えば、デジタルカメラ１００の動作モードを設定するためのモード・ダイヤルやカーソルボタンなどが含まれる。操作部１４０が検出した信号は、システム制御部１３２に入力され、画像表示部１２４における表示内容と関連づけて処理される。
【００２３】
次に図２を参照して、発明の実施形態に対応する画像処理部１１６における処理の詳細を説明する。図２は、発明の実施形態に対応する画像処理部１１６の内部構成の一例を示す図である。
【００２４】
図２において、入力部２０１には、メモリ１２８に格納されている撮影画像、撮影条件、ＯＴＦデータ２１０の情報が入力される。メモリ１２８は、回復フィルタを生成するための１つ以上のＯＴＦデータ２１０を保存している。回復ゲイン算出部２０２は、回復フィルタ生成部２０２が回復フィルタを生成する際の適用ゲインを算出し、回復フィルタ生成部２０３及びシャープネス処理部２０６に渡す。回復フィルタ生成部２０３は、撮影条件に含まれる撮影時のレンズの種類、ズーム位置、絞り、被写体距離、及び撮影モードの情報に応じてＯＴＦデータを選択し、回復ゲイン算出部２０２が算出した回復ゲインに従い撮影画像に適用する回復フィルタを生成する。回復処理部２０４は回復フィルタ生成部２０３が生成した回復フィルタを用いて撮影画像に回復処理を行う。
【００２５】
エッジ検出部２０５は、撮影画像からエッジ情報を検出する。検出されたエッジ情報は撮影画像のシャープネス処理に用いられる。シャープネス処理部２０６は、回復処理が行われた画像、回復フィルタを生成した際の回復ゲイン、エッジ情報に基づき、シャープネス処理を行う。具体的に、エッジ検出部２０５が検出したエッジ情報の適用量を回復ゲイン算出部２０２が算出した回復ゲインで調整し、適用量を調整したエッジ情報を回復画像に重畳する。出力部２０７は得られた画像に対し、圧縮処理などのエンコード処理を行い出力する。
【００２６】
ここで図７を参照して、回復フィルタについて説明する。画像回復フィルタは、シャープネスやメディアンフィルタ等の一般的なフィルタ処理と同様に、対象画素と、その周囲の画素に適用するフィルタである。そのため、通常のフィルタ適用処理と同様のことを行う場合が多い。一方で、画像回復フィルタはＯＴＦを元に生成するので、画像の領域ごとに異なり、これにより、画像の領域ごとに適切な補正が、適切なゲインで行われる。
【００２７】
図７（ａ）は、画像回復フィルタの構成を模式的に示す。画像回復フィルタは、撮像光学系の収差特性や要求される回復精度に応じてタップ数（セル数）を決めることができる。図７（ａ）では、例として、１１×１１タップの２次元フィルタを示している。図７（ａ）では、各タップが有する値（係数値）を省略している。画像回復フィルタの各タップは画像回復処理を行う入力画像の各画素に対応し、画像回復処理の工程でコンボリューション処理される。画像回復フィルタのある断面での各タップが有する係数値（以下、タップ値ともいう）を図７（ｂ）に示す。画像回復フィルタのタップ値の分布が、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。
【００２８】
図７（ａ）のように画像回復フィルタを１００以上に分割した２次元フィルタとすることで、撮像系による球面収差、コマ収差、軸上色収差、軸外色フレア等の結像位置から大きく広がる収差に対しても回復することができる。また、コマ収差、軸外色フレア、サジタルフレア、非点収差（像面湾曲）等の非対称収差についても良好に回復することができる。この回復処理における画像回復フィルタの収差補正の特性についてコマ収差を例に説明する。コマ収差の点像分布関数（ＰＳＦ）のメリジオナル方向の断面図を表現すると、図７（ｃ）のように非対称なぼけを有している。これは、点像分布関数（ＰＳＦ）の周波数特性である光学伝達関数（ＯＴＦ）の絶対値成分（ＭＴＦ）が、図７（ｇ）の（ａ）のように劣化し、位相成分（ＰＴＦ）に図７（ｈ）の（ａ）ような位相ずれが生じているためである。この位相ずれによって、点像分布関数（ＰＳＦ）の断面内での非対称性が発生する。
【００２９】
これに対して回復処理により振幅成分、位相成分ともに完全回復させると、点像分布関数（ＰＳＦ）は、図７（ｄ）に示すように無収差で像の広がりの無い状態となる。ＭＴＦは、図７（ｇ）の（ｂ）に示すように全周波数において１に回復し、ＰＴＦは図７（ｈ）の（ｂ）に示すように全周波数において０に回復する。一方、回復度合いを抑制して完全回復を行わない場合、点像分布関数（ＰＳＦ）は図７（ｅ）に示す状態となり、ＭＴＦが図７（ｇ）の（ｃ）に示すように適度に回復し、ＰＴＦが図７（ｈ）の（ｃ）に示すように全周波数において０に回復する。このとき位相成分（ＰＴＦ）は補正された状態になる。
【００３０】
すなわち、ＰＳＦとしては、回復度合に応じて点像の広がりは変化するものの、図７（ｅ）に示す状態のように断面内で対象性を持ったぼけの状態になる。また、回復度合いを更に抑制した場合、絶対値成分（ＭＴＦ）は変わらず、位相成分（ＰＴＦ）だけが補正された状態になる。この状態の点像分布関数（ＰＳＦ）は図７（ｆ）に示す状態であり、ＭＴＦが図７（ｇ）の（ｄ）に示すように回復前と変わらず、ＰＴＦが図７（ｈ）の（ｄ）に示すように全周波数において０に回復する。ここでは位相成分のみが補正されたため、ＰＳＦは鮮鋭度は向上していないものの、ぼけの非対称性が補正される。
【００３１】
次に図３及び図４のフローチャートを参照して、本実施形態に対応する画像処理装置としてのデジタルカメラ１００における画像の回復処理及びシャープネス処理の流れを説明する。該フローチャートに対応する処理は、例えば、画像処理部１１６として機能するＣＰＵが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００３２】
図３のフローチャートに対応する処理は、例えば電源ＯＮでデジタルカメラ１００が起動し、操作部１４０に含まれるモード・ダイヤルで撮影モードに変更され撮影が開始されたときに開始することができる。Ｓ３０１では、入力部２０１がレンズ１１０の種類に対応したＯＴＦデータ２１０をメモリ１２８から取得する。ここで取得するＯＴＦデータは、本実施形態においては、レンズ１１０に関する設計値から算出したＯＴＦを、特定の周波数の範囲で抽出し、さらに離散化したもので、画像の光学中心に対して、円周方向と対角方向の二次元データである。なお、レンズユニットとカメラ本体が着脱可能であって、レンズユニット内のメモリにＯＴＦデータが格納されている場合には、周波数の最大値は大きめ（ＯＴＦデータの解像度を高めに）に用意しておく必要がある。
【００３３】
なぜなら、レンズユニットに装着されるカメラ本体の種類によって、撮像素子の解像度が異なるため、後の処理において制限とならないために、より柔軟に対応できるようにしておく必要があるためである。つまり、カメラ本体の特性、例えば撮像素子の画素ピッチに基づくナイキスト周波数で切り出せるようにしておく。全画素のＯＴＦデータを取得する形態でも可能であるが、現実的にはデータ量や処理速度との兼ね合いで、画像領域内部の離散点においてデータを保持し、実際の画像に適用する際に近傍の回復フィルタを補間して用いるほうがよいであろう。そのためメモリ１２８に記録されているＯＴＦデータはＯＴＦを近似した多項式の係数とする。なお、処理速度の懸念がある場合には、全面ではなく、さらに画面の一部分のＯＴＦや回復フィルタを生成し、適用するときに補間して使う場合もある。
【００３４】
続くＳ３０２で入力部２０１は、回復処理の適用量とシャープネスの適用量をシステム制御部１３２から取得する。回復処理の適用量とシャープネスの適用量は撮影前に、図６に示す回復処理の適用量とシャープネス処理の適用量を設定するユーザ・インタフェースによって設定される。図５は画像回復処理の適用量を設定する設定画面である。画像回復は「する」、「しない」のいずれかで適用の有無を選択することができる。「する」を選択した場合には、画像回復の適用量を「強め」、「標準」、「弱め」の３つのうちから選択できる。「しない」が設定されている場合には画像回復処理は適用されない。各設定に対応する画像回復の適用量はシステム制御部１３２に設定されている。
【００３５】
続くＳ３０３で入力部２０１は、撮影条件（ズーム位置、絞り値、撮影距離）を取得する。取得した撮影条件が前回の撮影条件から変化がある場合（Ｓ３０３で「ＹＥＳ」）、回復フィルタを再生成する必要があるためＳ３０４へ移行する。変化がない場合には（Ｓ３０３で「ＮＯ」）回復フィルタの再生成は行わないためＳ３０７へ進む。Ｓ３０４では、回復ゲイン算出部２０２がＳ３０１で取得したＯＴＦデータのうちから撮影条件に対応したＯＴＦを選択し、撮影条件に対応するＯＴＦとＳ３０２で取得した回復処理の適用量から、回復ゲインを算出する。Ｓ３０４の回復ゲイン算出処理の詳細は図４を参照して説明する。
【００３６】
図４は、回復ゲイン算出部２０２における回復ゲインの算出処理の一例を示すフローチャートである。まずＳ４０１で、Ｓ３０４で取得したＯＴＦデータの係数を取得する。Ｓ４０２で、中心から周辺までの像高を１０分割した離散点を取得し、まずはその１０像高分のＯＴＦを生成する。Ｓ４０３で、１０像高分のＯＴＦを回転させ全面の４分の１領域について離散点のＯＴＦを生成する。Ｓ４０４で、予めメモリ１２８内に記録されているデジタルカメラ１００の特性値である撮像素子１１２の画素ピッチから算出されるナイキスト周波数でＯＴＦを切り出す。
【００３７】
ステップＳ４０５で、ステップＳ４０４で切り出したＯＴＦにデジタルカメラ１００の特性である光学ローパスフィルタや開口劣化特性を掛け合わせる。ステップＳ４０６で、回復フィルタ生成に必要な回復ゲインを算出する。本実施形態では回復フィルタを設計する際のパラメータを式５のように定義する。回復ゲインは、Ｒ(u,v)の絶対値|Ｒ(u,v)|として求めることができる。回復フィルタはＲ（u,v）を逆フーリエ変換することにより求められる。
2015138470.tif 000003
上記においてｗｔ（u, v）はゲインの振幅を調整するパラメータである。ｗｔ(u, v)が０の場合、Ｒ(u, v)は１／ＯＴＦとなり、この場合は回復画像のＭＴＦの絶対値が１となる。回復画像のＭＴＦは０から１の間の範囲の値を有し、絶対値が１の場合は、回復処理により回復可能な範囲の最大値に到達した状態（完全回復）に相当する。しかし、実際の画像にはノイズ成分があるため、光学伝達関数の完全な逆数をとって作成された画像回復フィルタを用いると、劣化画像の回復とともにノイズ成分が大幅に増幅されてしまう。そこで本実施形態では、設定される回復ゲインの目標値に応じてwt(u,v)の大きさを調整して、回復画像の画質を調整する。ｗｔ（u, v）に含まれるパラメータのうち、ｒは周波数空間上の座標位置を表し、Ｎは周波数帯域を制御するためのパラメータであり例えば、Ｎ＝１とすることができる。また、Ｔは回復ゲインを制御するためのパラメータである。本実施形態では、このパラメータＴを調整することにより回復処理適用量によって目標とする回復ゲイン|Ｒ(u,v)|となるようにする。
【００３８】
本実施形態では、パラメータＴを決定するための目標値となるゲインを目標ゲインと呼ぶ。目標ゲインは回復処理適用量の弱め、標準、強めに対してそれぞれ、「１．０」、「２．０」、「４．０」とする。ここでの目標ゲインは、元の信号の絶対値成分（ＭＴＦ）に対して１倍、２倍、４倍を得ることを意味する。なお、１倍の場合は、絶対値成分は変化しないが位相成分（ＰＴＦ）が変化し、位相ずれが補正される。
【００３９】
また、回復ゲインは目標値そのものの値と一致しなくてもよく、ＯＴＦの性能に応じて目標値以下の値として設定されればよい。例えば、標準の場合には目標ゲインが２．０であるが、場所によっては、元々のＯＴＦの性能がよく、２倍かけてしまうと完全回復（回復画像のＭＴＦの絶対値が１）を超えてしまうため、その場合は完全回復を超えないゲインを適用する。ここで完全回復とは、ＯＴＦから算出可能な、劣化した光学的な特性が完全に回復されている状態のことを指す。
標準の場合には目標ゲインが２．０であるが、場所によっては、元々のＯＴＦの性能がよく、２倍かけてしまうと完全回復（回復画像のＭＴＦの絶対値が１）を超えてしまうため、その場合は完全回復に達するゲインを適用する。ここで完全回復とは、ＯＴＦから算出可能な、劣化した光学的な特性が完全に回復されている状態のことを指す。
【００４０】
そして、完全回復に達するゲインは元々のＯＴＦの性能に依存するため各点によって異なるため、目標ゲインに対して実際に適用可能なゲインが各点で異なる状況が発生する。例えば、画面の４分の１の領域を、更に４８分割した場合の設定ゲインと、適用可能なゲインについて図６に例を示す。図６(a)は、目標ゲイン２．０とした場合に算出された適用可能なゲインの例を示す図である。図の右上が中心部分であり、中心部分は元の性能が良いために、ゲイン２．０を適用することができず、完全回復に達するゲインとして、２．０よりも小さいゲインが適用される。
【００４１】
次に、目標ゲイン４．０で適用した例が図６(b)である。ここでは、２．０を目標したときに比べ完全回復（ＭＴＦの絶対値が１）に達している領域が拡大しており、適用可能なゲインについても、中心部分から周辺部にかけてまちまちである。この実際に適用可能なゲインを各点における回復ゲインとする。
【００４２】
図３の説明に戻り、ステップＳ３０５で回復フィルタ生成部２０３は、ステップＳ３０４で算出した回復ゲインを加味して回復フィルタを生成する。具体的に、Ｓ３０４で決定した回復ゲインに対応するパラメータＴに基づくＲ（u, v）を逆フーリエ変換することにより回復フィルタを生成することができる。回復フィルタは図７（ａ）に示すとおり実数の二次元フィルタである。ＯＴＦデータは位相情報も含むため、複素数データであったが、回復フィルタにすることで実数の二次元フィルタが生成できる。画面の４分の１の範囲で演算していた場合には、更に全面になるようにデータをコピーして全面の回復フィルタを生成する。
【００４３】
Ｓ３０６で、回復処理部２０４は、ステップＳ３０５で生成した回復フィルタを、画像の各画素に適用し回復画像を生成する。回復フィルタは、対象画素１つにつき、幅と高さを持つ二次元のデータ配列になっており、対象画素を含む領域に対して、フィルタの各値をそれぞれの画素を求める。フィルタは、画像の領域ごとに異なるパラメータをもち、場合によってはサイズが異なるため、フィルタのサイズも対象画素によって異なる。回復フィルタは画像の全ての画素に対して生成せず、いくつかの離散点に対して生成することが一般的である。よって、フィルタ生成部で算出した回復フィルタから、対象の画素位置における回復フィルタを、補間等の方法を用いてさらに算出し、その結果を適用してもよい。
【００４４】
Ｓ３０８で、エッジ検出部２０５は、Ｓ３０６で取得した回復画像に対して、エッジ検出を行う。本実施形態では、エッジ検出をアンシャープマスクと同様の手法で行う。アンシャープマスクは元画像からボケ画像を生成し、その元画像とボケ画像の差分を元画像に足し込む手法であり、エッジ検出部２０５は当該差分をエッジ情報として検出する。
【００４５】
Ｓ３０９で、シャープネス処理部２０６は、Ｓ３０６で取得した回復画像に対して、Ｓ３０６で算出した回復ゲインに基づきＳ３０８で検出したエッジ情報を付加することでシャープネス処理を行う。具体的に、シャープネス処理は以下の式６で表すことができる。ここでは（ｘ，ｙ）を実空間における画像の座標とし、回復画像をA(x,y)、 回復ゲインをＬ(x,y)、検出したエッジをE(x,y)、シャープネス処理適用後の画像B(x,y)とする。
【００４６】
B(x,y)= A(x,y) + K * E(x,y)/ L(x,y)  （Ｋは定数）      ・・・（式６）
検出したエッジに対して、各点において適用可能な回復ゲインの逆数をかけあわせることによって回復ゲインを加味したシャープネスの適用量の調整を行っている。例えば、回復ゲインが高めの場合には、回復画像Ａ（ｘ、ｙ）に付加されるエッジ情報が小さくなる。この場合、回復処理における解像感の向上が大きいので、シャープネス処理を抑え気味にして、ユーザの目標よりもシャープネスが高くなり過ぎないようにする。一方、回復ゲインが低めの場合、回復処理だけではユーザの所望する解像感が得られないおそれがあるのでエッジ情報をより付加することでユーザの所望するシャープネス画像を提供可能とする。
【００４７】
Ｓ３０９で、出力部２０７は、シャープネス処理を適用した画像に色処理やガンマ処理また必要に応じて圧縮などの処理を行い出力する。出力された画像は画像表示部１２４に表示される。
【００４８】
このように回復処理とシャープネス処理を同時に適用した場合において、局所領域における画像回復の回復ゲインを算出し、シャープネス処理の適用量を回復ゲインで調整することで、回復処理の効果を維持しつつ、解像感を効果的に調整することが可能となる。ただし、シャープネス処理の調整方法は適用するゲインの調整限定されるものではなく、その他の調整可能なシャープネス処理であれば今回の方法に限らない。
【００４９】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５０】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015138470.tif 000004
【図２】
2015138470.tif 000005
【図３】
2015138470.tif 000006
【図４】
2015138470.tif 000007
【図５】
2015138470.tif 000008
【図６】
2015138470.tif 000009
【図７】
2015138470.tif 000010