(57)【要約】【課題】ノイズの増幅を低減しつつ、画像のボケを好適に補正する。【解決手段】画像処理装置は、撮像光学系の収差による影響を含む画像の各画素に、撮像光学系の収差による影響を回復する回復処理を適用する。また画像処理装置は、回復処理を適用した画像の各画素について、回復処理を適用する前の画像の周波数特性と回復処理の周波数特性に基づいて回復処理の適用によるノイズ増加量を推定する。そして推定したノイズ増加量に基づいて、回復処理を適用した画像のノイズを低減する。【選択図】図８
2015109562.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の収差による影響を含む画像を取得する取得手段と、
前記取得手段により取得された画像の各画素に、前記撮像光学系の収差による影響を回復する回復処理を適用する回復手段と、
前記回復処理が適用された画像の各画素について、前記取得手段によって取得された画像の周波数特性と前記回復処理の周波数特性に基づいて前記回復処理の適用によるノイズ増加量を推定する推定手段と、
前記推定手段により推定された前記ノイズ増加量に基づいて、前記回復処理が適用された画像のノイズを低減する低減手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
前記推定手段は、前記取得手段により取得された画像について設定された領域の振幅成分の周波数分布と、前記設定された領域に対応する画素についての前記回復処理における振幅成分の増幅率の周波数分布とに基づいて、前記ノイズ増加量を推定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記回復処理における振幅成分の増幅率は、前記撮像光学系の光学伝達関数に基づいて決定されることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記回復処理における振幅成分の増幅率の最大値を設定する設定手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
撮像光学系と、
前記撮像光学系により結像された光学像を光電変換し、前記撮像光学系の収差による影響を含む画像を撮像する撮像手段と、
前記撮像手段により撮像された画像の各画素に、前記撮像光学系の収差による影響を回復する回復処理を適用する回復手段と、
前記回復処理が適用された画像の各画素について、前記撮像手段によって撮像された画像の周波数特性と前記回復処理の周波数特性に基づいて前記回復処理の適用によるノイズ増加量を推定する推定手段と、
前記推定手段により推定された前記ノイズ増加量に基づいて、前記回復処理が適用された画像のノイズを低減する低減手段と、を有する
ことを特徴とする撮像装置。
【請求項６】
画像処理装置の取得手段が、撮像光学系の収差による影響を含む画像を取得する取得工程と、
前記画像処理装置の回復手段が、前記取得工程において取得された画像の各画素に、前記撮像光学系の収差による影響を回復する回復処理を適用する回復工程と、
前記画像処理装置の推定手段が、前記回復処理が適用された画像の各画素について、前記取得工程において取得された画像の周波数特性と前記回復処理の周波数特性に基づいて前記回復処理の適用によるノイズ増加量を推定する推定工程と、
前記画像処理装置の低減手段が、前記推定工程において推定された前記ノイズ増加量に基づいて、前記回復処理が適用された画像のノイズを低減する低減工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項７】
撮像光学系を有する撮像装置の制御方法であって、
前記撮像装置の撮像手段が、前記撮像光学系により結像された光学像を光電変換し、前記撮像光学系の収差による影響を含む画像を撮像する撮像工程と、
前記撮像装置の回復手段が、前記撮像工程において撮像された画像の各画素に、前記撮像光学系の収差による影響を回復する回復処理を適用する回復工程と、
前記撮像装置の推定手段が、前記回復処理が適用された画像の各画素について、前記撮像工程において撮像された画像の周波数特性と前記回復処理の周波数特性に基づいて前記回復処理の適用によるノイズ増加量を推定する推定工程と、
前記撮像装置の低減手段が、前記推定工程において推定された前記ノイズ増加量に基づいて、前記回復処理が適用された画像のノイズを低減する低減工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項８】
コンピュータを、請求項１乃至４のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、制御方法、及びプログラムに関し、特に画質向上に係る画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置による撮像で得られた画像の画質低下の１つに、鮮明度に係る劣化である所謂ボケがある。画像におけるボケは、撮像光学系の球面収差、コマ収差、像面湾曲、及び非点収差等に起因する。このような収差により、例えばコマ収差のような非対称のボケや、色成分ごとにボケが異なることによる色滲み等が撮像画像に含まれる。
【０００３】
収差は、点像分布関数（ＰＳＦ：Point Spread Function）として表される。また該関数をフーリエ変換することで、収差を周波数空間における光学伝達関数（ＯＴＦ：Optic Transfer Function）として表すことができる。ＯＴＦは複素数で表すことができ、絶対値である振幅成分がＭＴＦ（Modulation Transfer Function）を示し、偏角である位相成分がＰＴＦ（Phase Transfer Function）を示す。つまり、画像におけるボケは、撮像光学系の光学伝達関数により像の振幅成分及び位相成分により及ぼされた影響によって生じる。また色成分ごとにＰＳＦは異なるため、色滲みの原因となる色成分ごとに異なるボケが生じる。
【０００４】
画像に生じた収差によるボケは、撮像光学系のＯＴＦに基づく回復フィルタを撮像画像に適用することで回復（補正、復元）されている。しかしながら、このような回復処理の過程において、収差の影響の補正により画像の鮮明度が向上される一方で、画像に含まれるノイズは増幅される。このため、回復処理におけるノイズの増幅を低減する技術が開示されている。特許文献１には、ノイズ量が許容範囲外である場合に、回復処理において適用される回復フィルタのゲインを弱め、ノイズが許容範囲内に収まるような回復処理を実行する方法が開示されている。また特許文献２には、複数の回復フィルタを予め用意しておき、最もノイズが増幅されないフィルタを適応的に適用する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２９９０６８号公報
【特許文献２】特開２０１１−１２０３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び２のような方法ではノイズの増幅は抑制できるが、その反面、ボケの回復効果も低減してしまうため、補正後の画像においてボケが好適に補正されていない可能性があった。
【０００７】
特に特許文献１のように画像の局所的あるいは全体的なノイズ量が許容範囲に収まるように適用ゲインを一律で低減させる場合、従来の手法で好適にボケが補正されていた領域についても回復効果が低減する可能性があった。収差の特性上、画像の領域ごとにボケの強度が異なるため、撮像光学系のＯＴＦによる影響をキャンセル（完全回復）するゲインも領域ごとに異なる。従来の手法では、回復処理の強度が設定されたことに応じて適用ゲインが決定されるが、完全回復に必要なゲインを決定したゲインが超える場合は完全回復に必要なゲインが画像の領域について適用されていた。即ち、領域ごとに完全回復ゲインか決定した適用ゲインのいずれかが適用されるため、補正後の画像には完全回復している領域としていない領域とが混在していた。しかしながら、特許文献１のように一律で適用ゲインを低減させる場合は、完全回復するはずの領域の回復効果を低減してしまう可能性があった。その結果、完全回復した場合にノイズの影響が無視できるような領域であっても、好適な補正が行われない可能性があった。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、ノイズの増幅を低減しつつ、画像のボケを好適に補正する画像処理装置、撮像装置、制御方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像処理装置は、以下の構成を備えることを特徴とする。具体的には画像処理装置は、撮像光学系の収差による影響を含む画像を取得する取得手段と、取得手段により取得された画像の各画素に、撮像光学系の収差による影響を回復する回復処理を適用する回復手段と、回復処理が適用された画像の各画素について、取得手段によって取得された画像の周波数特性と回復処理の周波数特性に基づいて回復処理の適用によるノイズ増加量を推定する推定手段と、推定手段により推定されたノイズ増加量に基づいて、回復処理が適用された画像のノイズを低減する低減手段と、を有することを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、ノイズの増幅を低減しつつ、画像のボケを好適に補正することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係る画像処理部１０７の内部構成を示したブロック図
【図３】本発明の実施形態に係るデジタルカメラ１００において実行される回復処理を例示したフローチャート
【図４】本発明の実施形態に係るフィルタ生成部２０１において実行されるフィルタ生成処理を例示したフローチャート
【図５】本発明の実施形態に係る回復フィルタの生成を説明するための図
【図６】本発明の実施形態に係る入力ゲインと完全回復ゲインとの関係を説明するための図
【図７】本発明の実施形態に係る緩和処理における処理関数を説明するための図
【図８】本発明の実施形態に係る緩和係数決定部２０４において実行される係数決定処理を例示したフローチャート
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像処理装置の一例としての、撮像光学系により画像に生じたボケの影響を補正可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像光学系により画像に生じたボケの影響を補正することが可能な任意の機器に適用可能である。
【００１３】
《デジタルカメラ１００の構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示すブロック図である。
【００１４】
システム制御部１０１は、例えばＣＰＵである。システム制御部１０１は、デジタルカメラ１００が有する各ブロックの動作を制御する。具体的にはシステム制御部１０１は、不図示のＲＯＭに記憶されている各ブロックの動作プログラムを読み出し、例えば後述のメモリ１０６に展開して実行することで、各ブロックの動作を制御する。
【００１５】
撮像部１０３は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子である。撮像部１０３は、撮像光学系１０２により撮像面に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０４に出力する。撮像光学系１０２はデジタルカメラ１００に着脱可能なレンズユニット（以下、レンズという）内に配置されたものであり、このレンズは別のデジタルカメラ１００にも装着することができる。
【００１６】
Ａ／Ｄ変換部１０４は、入力されたアナログ画像信号に対してＡ／Ｄ変換処理を適用してデジタル画像データ（以下、単に画像データ）に変換し、出力する。Ａ／Ｄ変換部１０４により出力された画像データは、画像処理部１０７及びメモリ制御部１０５を介して、あるいは直接メモリ制御部１０５を介して、メモリ１０６または画像表示メモリ１１０に書き込まれる。
【００１７】
メモリ制御部１０５は、揮発性メモリであるメモリ１０６へのデータの書き込み、及びメモリ１０６からのデータの読み出しを制御する。メモリ１０６は、例えば画像処理部１０７における画像処理の処理メモリとして使用されてもよい。
【００１８】
画像処理部１０７は、入力された画像データに対して、デモザイク処理（現像処理）や色変換処理等の種々の画像処理を適用する。本実施形態では画像処理部１０７は、撮像光学系１０２の光学伝達関数（ＯＴＦ）によって撮像画像に生じた影響をキャンセルする後述の回復処理を実行する。また本実施形態の画像処理部１０７では、回復処理が適用された画像に対して、ノイズを低減する後述の緩和処理を実行する。
【００１９】
〈画像処理部１０７の内部構成〉
ここで、本実施形態の画像処理部１０７の回復処理に係る内部構成について、図２を参照して説明する。
【００２０】
まず、回復処理の対象である画像データは、回復処理部２０２及び特徴量算出部２０３に入力される。また画像処理部１０７には、撮像光学系１０２を備えたレンズの種類を示す識別情報に基づき、回復処理に用いられる撮像光学系１０２のＯＴＦを示す情報であるＯＴＦデータが、例えばメモリ１０６から読み出されて入力される。
【００２１】
フィルタ生成部２０１は、ＯＴＦデータに基づいてＯＴＦにより生じる影響を補正する回復フィルタを生成する。フィルタ生成部２０１は、フィルタ適用対象の画像データを撮影した際のレンズの種類、ズーム位置、絞り、被写体距離、及び撮影モード等の情報に基づき、回復フィルタを生成する。
【００２２】
回復処理部２０２は、フィルタ生成部２０１により生成された回復フィルタを入力された画像データに適用し、撮像光学系１０２のＯＴＦにより生じた影響を補正する回復処理を実行する。
【００２３】
また、本実施形態の画像処理部１０７では、回復処理の過程で生じるノイズの増幅を低減（緩和）するために、特徴量算出部２０３、緩和係数決定部２０４、及び緩和処理部２０５を用いて緩和処理を実行する。
【００２４】
特徴量算出部２０３は、入力された画像データの局所領域の各々について、その周波数特性（周波数分布）を特徴量として算出する。該特徴量は、回復フィルタを用いた回復処理が適用された際のノイズ増加量の推定に参照される。
【００２５】
緩和係数決定部２０４は、特徴量算出部２０３において算出された画像データの各領域の特徴量に基づいて、回復後のノイズ増加量を推定する。そして緩和係数決定部２０４は、推定した各領域のノイズ増加量に基づき、緩和処理で使用する各領域の緩和係数を決定する。
【００２６】
緩和処理部２０５は、回復処理部２０２において回復処理が実行された画像データに対し、緩和係数決定部２０４で決定した各領域の緩和係数を用いた緩和処理を実行する。緩和処理部２０５は、回復処理により増幅されたノイズを領域ごとに決定した緩和係数に基づいて補正した画像データを生成する。
【００２７】
出力部２０６は、緩和処理部２０５において緩和処理が実行された画像データに対して圧縮処理等の符号化処理を適用して出力する。また出力部２０６は、必要に応じて色処理やガンマ処理等の画像処理を画像データに対して適用する。
【００２８】
また記録媒体１０８は、例えばデジタルカメラ１００が有する内蔵メモリや、メモリカードやＨＤＤのような記録装置である。撮影指示に応じて撮影された画像データは、画像処理部１０７において記録用の画像処理が適用された後、記録媒体１０８に記録される。
【００２９】
表示部１０９は、例えばＬＣＤ等の、デジタルカメラ１００が有する表示装置である。表示部１０９は、撮像部１０３により撮像されてメモリ制御部１０５により画像表示メモリ１１０に格納された撮像画像データが表示されることで、電子ビューファインダとして機能する。具体的には画像表示メモリ１１０から読み出された撮像画像データは、Ｄ／Ａ変換部１１１によりアナログ画像信号に変換されて表示部１０９に入力されることでスルー画像として表示される（ライブビュー）。
【００３０】
操作入力部１１２は、例えばシャッタスイッチやメニューボタン等のデジタルカメラ１００が有するユーザインタフェースである。操作入力部１１２は、ユーザインタフェースに対する操作入力がなされたことを検出すると、なされた操作に対応する制御信号をシステム制御部１０１に出力する。例えば操作入力部１１２は、シャッタスイッチが半押し状態になされたことを検出すると、ＳＷ１信号をシステム制御部１０１に出力する。このときシステム制御部１０１は、ＳＷ１信号の受信に応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始するように各ブロックを制御する。
【００３１】
《回復フィルタの原理》
まず、画像処理部１０７のフィルタ生成部２０１において生成される回復フィルタについて、その原理を説明する。
【００３２】
上述したように、撮像光学系１０２の収差により、撮影される光学像において、被写体像は本来結像されるべき位置から移動されて結像される。収差は点像分布関数（ＰＳＦ）として表現できるため、本来結像されるべき光学像をｆ（ｘ，ｙ）、実際に結像された光学像をｇ（ｘ，ｙ）、ＰＳＦをｈ（ｘ，ｙ）として関数表現した場合、各関数の関係は
2015109562.tif 000003
として表すことができる。ここで、＊はコンボリューション（畳み込み積分、積和）を示しており、（ｘ，ｙ）は例えば撮像素子上における２次元座標を示している。
【００３３】
点像分布関数（ＰＳＦ）は、周波数領域に変換することで光学伝達関数（ＯＴＦ）として表現されるため、式（１）をフーリエ変換により周波数領域に変換することでコンボリューションを除外した
2015109562.tif 000004
として表現することができる。ここで、Ｈ（ｕ，ｖ）は点像分布関数ｈ（ｘ，ｙ）をフーリエ変換した光学伝達関数である。またＧ（ｕ，ｖ）、Ｆ（ｕ，ｖ）はそれぞれｇ（ｘ，ｙ）、ｆ（ｘ，ｙ）をフーリエ変換したものである。なお、（ｕ，ｖ）は２次元周波数領域（複素平面）における周波数成分及び位相成分（座標）を示している。
【００３４】
即ち、撮像により得られた画像データから収差による影響を除去するためには、式（２）の両辺をＯＴＦで除した上で逆フーリエ変換することで、
2015109562.tif 000005
のように画像データに対してＲ（ｘ，ｙ）の回復フィルタを適用すればよい。即ち、撮像された画像データに対して回復フィルタを適用することで、本来結像されるべき光学像に対応した画像データを得ることができる。ここで、Ｒ（ｘ，ｙ）は１／Ｈ（ｕ，ｖ）を逆フーリエ変換したものを示している。即ち、該回復フィルタはＯＴＦに基づいて規定されているため、画像データにおいて生じている振幅成分及び位相成分の影響を補正することができる。
【００３５】
なお、回復フィルタは、ＯＴＦを基準に生成されるため、画像データの領域ごとに異なる特性を示す。これにより、画像データの領域ごとに、好適な補正が適切なゲインで実行可能である。
【００３６】
また、回復フィルタやＯＴＦの情報量は膨大になりうる。例えば１画素の補正において周囲３００画素を参照する必要がある場合、単純計算で処理対象の画像データの画素数に対してその数百倍のデータ量が必要になる。またＯＴＦは、採用されるレンズの種類に限らず、絞りやズーム位置等の撮影条件に応じても変化するため、撮像光学系１０２の種類及び撮影条件の各々の組み合わせについてＯＴＦデータを記憶領域に保持することは現実的でない。
【００３７】
このため本実施形態では、ＯＴＦデータは、撮像光学系１０２のＯＴＦ（光学伝達関数）を多項式近似し、該多項式の係数を、像高及び偏角（円周方向及び対角方向の情報）のそれぞれについて有するデータであるものとして説明する。具体的にはＯＴＦデータは、撮影条件ごとに、撮像光学系１０２のレンズに関する設計値から算出したＯＴＦを特定の周波数の範囲で抽出して離散化したものを多項式近似することで得られる。
【００３８】
なお、レンズの種類が同一であっても、装着対象となるデジタルカメラの撮像素子の画素ピッチが異なれば、必要とされるＯＴＦの周波数帯域も異なる。そのため、ＯＴＦデータを生成する際の元となるデータを、複数のデジタルカメラで共有できるようにするためには、様々な画素ピッチに対応できるデータを用意する必要がある。そこで、抽出する周波数の最大値は、様々なデジタルカメラに柔軟に対応できるよう、十分大きく設定されている。つまり、ＯＴＦデータは後述の処理において、例えば撮影時のデジタルカメラ１００の特性であるナイキスト周波数等に応じて必要な周波数帯が抽出可能に構成されているものとする。しかしながら、ＯＴＦデータの記録形式はこれに限られるものではなく、例えばＯＴＦを離散的にサンプリングしたテーブル等、回復フィルタやＯＴＦの情報を情報量を削減する目的で変換あるいは生成された形式であってよい。
【００３９】
《回復処理》
このような構成をもつ本実施形態のデジタルカメラ１００で実行される回復処理について、図３のフローチャートを用いて具体的な処理を説明する。なお、本回復処理は、例えばユーザによる撮影指示に応じて撮影処理がなされ、回復処理の適用対象である画像データが生成された際に開始されるものとして説明する。
【００４０】
Ｓ３０１で、システム制御部１０１は、回復処理の適用量を示す情報を参照し、適用対象である画像データ（対象画像データ）に対して回復処理を適用するか否かを判断する。具体的にはシステム制御部１０１は、回復処理の適用量が０である否かに応じて本ステップの判断を行う。システム制御部１０１は、対象画像データに対して回復処理を適用すると判断した場合は処理をＳ３０２に移し、適用しないと判断した場合は処理をＳ３０６に移す。
【００４１】
なお、回復処理の適用量（適用度合い）は、例えばスライダ等のＧＵＩを用いてユーザにより設定されるものであってよい。また、回復処理の適用量は、画像全体に対して一律に設定されるものであってもよいし、領域ごとに設定可能であってもよい。なお、本実施形態では回復処理の適用量は、回復処理部２０２における回復処理で使用される、ユーザにより全領域について一律に設定された回復ゲイン（入力ゲイン）を示すものとする。ここで、「ゲイン」とは収差による影響を補正するため、適用対象画像のＭＴＦ（振幅成分）に対して乗じる値（増幅率）である。即ち、ゲインの周波数特性が、回復処理において適用される回復フィルタを周波数領域に変換したものに相当する。なお、厳密に完全回復するゲインの周波数特性が、撮像光学系１０２のＯＴＦの逆特性と一致する。
【００４２】
Ｓ３０２で、メモリ制御部１０５は、対象画像データと、対象画像データを撮影時の撮影条件に対応する撮像光学系１０２のＯＴＦデータとを、例えばメモリ１０６から読み出して画像処理部１０７に入力する。またメモリ制御部１０５は、回復処理の入力ゲインを示す情報を取得し、画像処理部１０７に伝送する。
【００４３】
Ｓ３０３で、フィルタ生成部２０１は、ＯＴＦデータに基づいて、対象画像データの回復処理に用いる回復フィルタを生成するフィルタ生成処理を実行する。
【００４４】
〈フィルタ生成処理〉
ここで、フィルタ生成部２０１において実行されるフィルタ生成処理について、図４のフローチャートを用いて詳細を説明する。なお、本フィルタ生成処理では、対象画像データの各画素について収差による影響を低減する回復フィルタを生成する。しかしながら、全画素の各々についての補正情報を有する回復フィルタを生成することはデータ量及び演算量の観点で現実的でない。よって、本実施形態では回復フィルタは対象画像データについて離散的に設定されたサンプリング点ごとの補正情報を有する構成で生成するものとする。この場合、生成される回復フィルタに補正情報が含まれないサンプリング点以外の画素については、近傍のサンプリング点についての補正情報を補間する等により生成された補正情報に基づいて回復処理が行われるものとする。
【００４５】
Ｓ４０１で、フィルタ生成部２０１は、撮影条件に対応するＯＴＦデータに基づいて、対象画像データの光学中心から垂直下方向に設定した所定の数のサンプリング点の各々についてのＯＴＦを生成する。本実施形態では、図５（ａ）に示されるようにサンプリング点の数は１０とし、対象画像データの光学中心から最大像高までを等分割するようにサンプリング点が設定されるものとする。
【００４６】
Ｓ４０２で、フィルタ生成部２０１は、各サンプリング点を光学中心を中心として反時計回りに９０度まで回転させて展開し、図５（ｂ）に示されるような対象画像データの１／４の領域内の所定のサンプリング点についてのＯＴＦを生成する。上述したように、ＯＴＦはＭＴＦとＰＴＦとで構成されるため、Ｓ４０１において生成された各サンプリング点についてのＯＴＦを回転させることで、ＰＴＦを異ならせたＯＴＦを容易に生成することが容易に可能である。
【００４７】
なお、本実施形態では対象画像データについて設定した基準のサンプリング点のＯＴＦを回転させることで、所定のサンプリング点におけるＯＴＦに展開するものとして説明するが、本発明の実施はこれに限られない。即ち、本実施形態では便宜上、基準となるサンプリング点を対象画像データの光学中心から垂直下方向に設定したが、他の位置についてサンプリング点を設定してもよいことは理解されよう。また、本実施形態では演算量を低下させるために基準となるサンプリング点についてＯＴＦを生成した後に、該サンプリング点を回転させて展開するものとして説明した。しかしながら、演算能力が十分である場合は、図５（ｂ）のような２次元配置されたサンプリング点全てについてＯＴＦデータに基づいてＯＴＦを生成する構成であってもよい。
【００４８】
Ｓ４０３で、フィルタ生成部２０１は、撮像部１０３が有する撮像素子の画素ピッチから算出されるナイキスト周波数に応じて、２次元配置された各サンプリング点についてのＯＴＦから必要な周波数帯の情報を抽出する。
【００４９】
Ｓ４０４で、フィルタ生成部２０１は、必要な周波数帯が抽出された各サンプリング点のＯＴＦに対して、光学ローパスフィルタや開口劣化特性の補正係数を適用し、よりデジタルカメラ１００の特性を考慮したＯＴＦに変換する。
【００５０】
Ｓ４０５で、フィルタ生成部２０１は、各サンプリング点のＯＴＦと入力ゲインとから、各サンプリング点について適用される適用ゲインを決定する。具体的にはフィルタ生成部２０１は、まず各サンプリング点のＯＴＦについて該点の画像を完全回復状態にする完全回復ゲインを決定する。ＯＴＦのＭＴＦは空間周波数に応じて変化するため、本実施形態では画素ピッチから算出されるナイキスト周波数の１／２の周波数についてのＭＴＦを完全回復する（ＭＴＦを１にする）ゲインを各サンプリング点についての完全回復ゲインとして決定する。そしてフィルタ生成部２０１は、このように決定した完全回復ゲインと入力ゲインとから、各サンプリング点のＯＴＦ全体に乗じる最大のゲインである適用ゲインを決定する。このとき、フィルタ生成部２０１は、各サンプリング点について入力ゲインと完全回復ゲインとを大小比較し、完全回復ゲインが入力ゲインを越えない場合は、完全回復ゲインを適用ゲインに決定する。即ち、入力ゲインが完全回復ゲイン以上となるため、入力ゲインの適用による過補正を回避するため、適用ゲインは完全回復ゲインに設定される。またフィルタ生成部２０１は、入力ゲインが完全回復ゲインを下回る場合は、入力ゲインを適用ゲインに決定する。このように、本ステップにおいて各サンプリング点について決定される適用ゲインは、サンプリング点ごとに異なることになる。
【００５１】
対象画像データの１／４の領域について４８のサンプリング点を設定した場合、像高が高い位置のサンプリング点ほど収差による結像位置変化の影響が大きくなっている。入力ゲインが比較的低い値に設定されると（例えば５）、例えば図６（ａ）に示されるように光学中心付近に設定された４点のみで完全回復ゲインが適用ゲインとなる。そして、それ以外の像高が高い位置に存在するサンプリング点については入力ゲインが適用ゲインとなる。また入力ゲインが比較的高い値に設定されると（例えば１０）、例えば図６（ｂ）に示されるように完全回復ゲインが適用ゲインとなるサンプリング点は増えることになる。図６（ａ）及び（ｂ）からわかるように、設定される入力ゲインが高くなるほど、各サンプリング点について決定される適用ゲインの分布は広くなる。
【００５２】
Ｓ４０６で、フィルタ生成部２０１は、撮像光学系１０２のＯＴＦの逆特性に相当する、対象画像データの１／４領域に係る回復フィルタを生成する。具体的にはフィルタ生成部２０１は、適用ゲインを適用後のＯＴＦと適用前のＯＴＦの逆特性を逆フーリエ変換することで、サンプリング点における回復フィルタを生成する。
【００５３】
Ｓ４０７で、フィルタ生成部２０１は、対象画像データの１／４領域について設定したサンプリング点についての回復フィルタを、対称関係にある対応位置のサンプリング点に複製し、対象画像データの全体に対応する回復フィルタを生成する。具体的には、図５（ｃ）及び５（ｄ）に示されるように、フィルタ生成部２０１は１／４領域の回復フィルタについて水平方向及び垂直方向の少なくともいずれかの位置関係を反転させて、対象画像データ全体に係る回復フィルタを生成する。
【００５４】
このように、本フィルタ生成処理により、位相情報も含む複素数データであるＯＴＦの二次元分布（サンプリング点）から、実数データの二次元回復フィルタを生成することができる。
【００５５】
回復フィルタの生成後、回復処理部２０２は回復処理のＳ３０４で、対象画像データの各画素に対して回復フィルタを適用し、回復処理を行った回復画像データを生成する。回復フィルタは、１つのサンプリング点について、幅と高さを有する回復用の二次元データ配列となっている。サンプリング点に対応する対象画素に対して回復フィルタを適用する場合、対象画素を含み、二次元データ配列に対応する領域の画素に対してフィルタの係数が乗じられて加算され、これにより回復処理後の対象画素の画素値が得られる。また、サンプリング点に対応しない画素については、近傍のサンプリング点から補間して生成した回復用の２次元データを適用することで回復処理を行う。
【００５６】
Ｓ３０５で、緩和係数決定部２０４は、フィルタ生成部２０１において生成された回復フィルタと、対象画像データの各領域の周波数特性（特徴量）とから、緩和処理に用いる緩和係数を決定する係数決定処理を実行する。
【００５７】
本実施形態の緩和処理部２０５によってＳ３０６において行われる後述の緩和処理は、回復画像データの各局所領域における閾値以下の振幅を有するランダムノイズを除去する。該緩和処理において、緩和対象である回復画像データＸ（ｎ）（ｎは領域あるいは画素位置）と緩和処理後の補正画像Ｙ（ｎ）の関係は
2015109562.tif 000006
として表される。ここで、Ｋは例えばＫ＝１の定数、Ｍ及びＮは領域あるいは画素を特定する数値である。またＦは、図７に示されるような、絶対値がε以下に抑えられる特性を示す非線形関数である。本ステップの係数決定処理では、関数Ｆの絶対値の最大値であるεを緩和係数として決定する。
【００５８】
なお、係数決定処理に用いられる対象画像データの各領域の周波数特性の情報は、画像処理部１０７に対象画像データが入力された後に特徴量算出部２０３によって生成されているものとする。具体的には特徴量算出部２０３は、例えば回復フィルタに係るサンプリング点に対応する各領域の画像に対してフーリエ変換を適用して周波数空間に変換することで、該領域の周波数特性の情報を生成する。なお、本実施形態では緩和係数を決定する領域を、回復フィルタのサンプリング点に対応させて設けるものとして説明したが、本発明の実施はこれに限られるものではない。即ち、回復フィルタのサンプリング点と緩和係数を決定する領域とは、同数でなく、位置が対応付けられるものでなくてもよい。
【００５９】
〈係数決定処理〉
ここで、本実施形態の緩和係数決定部２０４で実行される係数決定処理の詳細について、図８のフローチャートを用いて詳細を説明する。
【００６０】
Ｓ８０１で、緩和係数決定部２０４は、対象画像データについて特徴量算出部２０３により設定された領域のうち、緩和係数の決定がなされていない領域（対象領域）を選択する。
【００６１】
Ｓ８０２で、緩和係数決定部２０４は、対象領域に対応するサンプリング点の回復フィルタをフーリエ変換し、回復フィルタの周波数特性を算出する。この回復フィルタの周波数特性は周波数毎の信号の増幅率を示している。
【００６２】
Ｓ８０３で、緩和係数決定部２０４は、図９に示すグラフに従い、対象領域における回復フィルタの周波数特性から周波数毎のノイズ増幅率を求める。
【００６３】
Ｓ８０４で、緩和係数決定部２０４は、回復フィルタ適用前の対象領域の画像データをフーリエ変換し、対象領域における画像データの周波数特性を算出する。緩和係数決定部２０４は、この画像データの周波数特性にノイズ増幅率を掛けた結果を積分することで、ノイズ増加量を算出する。このとき、全ての周波数帯域ではなく、ノイズの影響が目立ちやすい特定の周波数帯域において、画像データの周波数特性にノイズ増幅率を掛けた結果を積分するようにすることで、ノイズ増加量を算出するようにしてもよい。あるいは、最もノイズの影響が目立ちやすい周波数のみに着目して、ノイズ増加量を算出するようにしてもよい。緩和係数決定部２０４は、対象領域におけるノイズ増加量に基づいて、緩和処理に用いる対象領域に係る緩和係数を決定する。ノイズ増加量は統計的に１．０〜３．０の間の値を示し、本実施形態では該ノイズ増加量に対して１０を乗じたものを緩和係数とする。
【００６４】
Ｓ８０５で、緩和係数決定部２０４は、緩和係数の決定がなされていない領域が対象画像データに存在するか否かを判断する。緩和係数決定部２０４は、緩和係数の決定がなされていない領域が存在すると判断した場合は処理をＳ８０１に戻し、存在しないと判断した場合は本係数決定処理を完了する。
【００６５】
係数決定処理により対象画像データの各領域に係る緩和係数が決定した後、緩和処理部２０５はＳ３０６で、該緩和係数に基づいて回復画像データの各領域について緩和処理を実行する。なお、Ｓ３０１において対象画像データに対して回復処理を適用しないと判断された場合は、緩和処理部２０５は本ステップで、規定値の緩和係数に基づいて、対象画像データの緩和処理を実行する。
【００６６】
なお、Ｓ３０６で行われる緩和処理は上述の方法に限定されるものではない。例えば、緩和処理部２０５は、回復画像データの着目画素を中心として所定サイズ（１１×１１画素）の周辺領域を設定し、この周辺領域に含まれる画素の中から、着目画素との信号のレベル差が閾値以内となる画素を抽出する。そして、緩和処理部２０５は、抽出した画素と着目画素の信号レベルの平均値を求め、この平均値を緩和処理後の着目画素の信号とする。これを各領域の各画素について実行することで、緩和処理後の補正画像を得ることができる。そして、レベル差を比較するための閾値をεとし、このεを緩和係数として上述の方法で変更するようにしてもよい。
【００６７】
Ｓ３０７で、出力部２０６は、緩和処理が適用された回復画像データに対して色処理、ガンマ処理、符号化処理を実行し、記録形式に変換した画像データを出力する。そしてシステム制御部１０１は、出力された画像データを記録媒体１０８に伝送し、記録させる。
【００６８】
このように、本実施形態の回復処理では、回復処理の適用により画像に発生するノイズの増加量が、該処理において各画素に適用されたゲインの周波数特性に基づいて推定される。そして、回復処理後の画像の各画素について、推定されたノイズの増加量に応じたノイズ緩和処理が実行可能であるため、回復処理の効果を維持しつつ、ノイズを低減した画像を得ることができる。
【００６９】
なお、本実施形態では図７に示されるような関数の緩和処理によりノイズの低減がなされるものとして説明したが、ノイズ緩和に係る処理はこれに限られるものではない。ノイズ緩和に係る処理は、画素あるいは領域ごとに、回復処理後の画像における対応部位のノイズの増加量を推定した値に基づいて、該ノイズを低減するように行われるものであればよい。
【００７０】
以上説明したように、本実施形態の画像処理装置は、ノイズの増幅を低減しつつ、画像のボケを好適に補正することができる。具体的には画像処理装置は、撮像光学系の収差による影響を含む画像の各画素に、撮像光学系の収差による影響を回復する回復処理を適用する。また画像処理装置は、回復処理を適用した画像の各画素について、回復処理を適用する前の画像の周波数特性と回復処理の周波数特性に基づいて回復処理の適用によるノイズ増加量を推定する。そして推定したノイズ増加量に基づいて、回復処理を適用した画像のノイズを低減する。
【００７１】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015109562.tif 000007
【図２】
2015109562.tif 000008
【図３】
2015109562.tif 000009
【図４】
2015109562.tif 000010
【図５】
2015109562.tif 000011
【図６】
2015109562.tif 000012
【図７】
2015109562.tif 000013
【図８】
2015109562.tif 000014