(57)【要約】【課題】単一の画像から様々な種類のぼけを高精度に推定可能な画像処理装置を提供する。【解決手段】画像処理装置は、ぼけ画像から推定するぼけの性質を決定する決定手段と、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、ぼけ推定領域から推定ぼけを生成する生成手段とを有し、生成手段は、ぼけの推定処理と、ぼけを用いたぼけ推定領域における信号に関する情報の補正処理と、を繰り返して推定ぼけを生成し、ぼけの性質に応じて、ぼけ推定領域の取得処理もしくは推定処理、または、取得処理もしくは推定処理に用いられるパラメータの少なくとも一つを変更する。【選択図】図１
2017010095.tif 000002
【特許請求の範囲】
【請求項１】
ぼけ画像から推定するぼけの性質を決定する決定手段と、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段と、を有し、
前記生成手段は、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理装置。
【請求項２】
ぼけ画像から推定するぼけの性質を決定する決定手段と、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段と、を有し、
前記生成手段は、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記推定ぼけに対するデノイジング処理を行い、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理装置。
【請求項３】
前記信号に関する情報は、前記ぼけ推定領域における輝度分布または該輝度分布の微分値に関する情報であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記ぼけ画像の周波数特性または該ぼけ画像を撮影した際の撮影条件に基づいて、前記ぼけの性質を決定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、前記ぼけ画像を用いて、前記ぼけの性質を自動的に決定するか、または、ユーザが該ぼけの性質を手動で決定する際のアシストを行うことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記ぼけの性質は、光学系の収差、回折、デフォーカス、ぶれ、および、擾乱の少なくとも一つを含むことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記ぼけの推定処理を行う際に、該ぼけの性質を反映した制限を加えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記生成手段は、
前記ぼけ推定領域の解像度を低下させ、該解像度が低下したぼけ推定領域に対して、前記推定処理と前記補正処理とを行い、
前記推定処理と前記補正処理とを繰り返しながら、前記ぼけ推定領域の解像度を低下させる度合いを小さくしていく、ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記生成手段は、
前記ぼけ推定領域に含まれるノイズ量を取得し、
前記ぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成し、
前記ノイズ量に基づいて、前記周波数分解ぼけ推定領域に対するデノイジングを行い、
該デノイジングを行った後の周波数分解ぼけ推定領域を再合成する、ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記推定ぼけを用いて前記ぼけ画像の少なくとも一部を補正する補正手段を更に有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
前記画像信号に基づいて生成されたぼけ画像から、推定するぼけの性質を決定する決定手段と、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段と、を有し、
前記生成手段は、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする撮像装置。
【請求項１２】
光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
前記画像信号に基づいて生成されたぼけ画像から、推定するぼけの性質を決定する決定手段と、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段と、を有し、
前記生成手段は、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記推定ぼけに対するデノイジング処理を行い、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする撮像装置。
【請求項１３】
ぼけ画像から推定するぼけの性質を決定するステップと、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップと、を有し、
前記推定ぼけを生成するステップにおいて、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理方法。
【請求項１４】
ぼけ画像から推定するぼけの性質を決定するステップと、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップと、を有し、
前記推定ぼけを生成するステップにおいて、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記推定ぼけに対するデノイジング処理を行い、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理方法。
【請求項１５】
ぼけ画像から推定するぼけの性質を決定するステップと、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、
前記推定ぼけを生成するステップにおいて、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理プログラム。
【請求項１６】
ぼけ画像から推定するぼけの性質を決定するステップと、
前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、
前記推定ぼけを生成するステップにおいて、
ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、
前記推定ぼけに対するデノイジング処理を行い、
前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する、ことを特徴とする画像処理プログラム。
【請求項１７】
請求項１５または１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一のぼけ画像から、ぼけ画像に作用している劣化成分であるぼけを推定する画像処理方法に関する。
【背景技術】
【０００２】
近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。撮影画像においては、撮影に用いられる光学系の収差や回折、または、撮影時の手ぶれなどの劣化要因により、被写体空間の情報が失われている。このため従来から、これらの要因に基づく撮影画像の劣化を補正し、より高画質な画像を得る手法が提案されている。そのような手法として、例えば、ＷｉｅｎｅｒフィルタやＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などが挙げられる。しかし、これらの手法では、画像に作用している劣化成分（ぼけ）が既知でない場合、高い補正効果を得ることができない。
【０００３】
一方、従来から、手ぶれにより劣化した一枚の画像から手ぶれ成分を推定する手法が提案されている。特許文献１には、手ぶれにより劣化した一枚の画像から、既知である自然画像の強度勾配分布に関する統計情報を用いることにより、手ぶれ成分を推定する手法が開示されている。ここで自然画像とは、近代の人間が生活する上で自然と目にするような画像という意味である。このため自然画像は、樹木や動物などが写った画像に限定されるものではなく、人間、建築物、電子機器などが写った画像も含まれる。自然画像の性質として、信号の強度勾配に関するヒストグラム（強度勾配ヒストグラム）は、勾配の強さに応じて裾の重い分布（Ｈｅａｖｙ  Ｔａｉｌｅｄ  Ｄｉｓｔｒｉｂｕｔｉｏｎ）に従うことが知られている。特許文献１には、手ぶれが補正された画像の強度勾配ヒストグラムが、裾の重い分布に従うように制約をかけることにより、手ぶれ画像のみから手ぶれ補正画像を推定する手法が開示されている。そして、その手ぶれ補正画像と手ぶれ画像との比較結果に基づいて、ぶれ成分が推定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７６１６８２６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述のように、画像を劣化させる要因としては、手ぶれのみに限定されるものではなく、撮像光学系の収差や回折、撮影時のピントずれ（デフォーカス）など様々な種類がある。ここで、これらの被写体情報を劣化させる種々の要因を、ぼけと総称する。
【０００６】
このため、複数の種類のぼけに対応可能な汎用的な推定が望まれるが、特許文献１は手ぶれを対象とした手法であり、その他の種類のぼけ（収差、デフォーカスなど）では推定精度が低下してしまう。例えば特許文献１では、ぼけの点像強度分布（ｋｅｒｎｅｌ）を推定した後、スレッショルディングを行うことにより、点像強度分布をデノイジングしている。しかし、スレッショルディングを行うと、点像強度分布の弱い成分（ノイズと区別が付きにくい成分）も同時に低減してしまう。このため、デフォーカスぼけのようになだらかに広がった形状の点像強度分布では、弱い成分が多いため、ノイズ以外の成分も低減し、ぼけの推定精度が低下する。
【０００７】
また、複数の種類のぼけが画像へ同時に作用している場合において、特定のぼけのみを推定して補正する必要性もある。例えば、被写体の背景がデフォーカスしている画像に、手ぶれによる劣化が含まれていることを考える。このような状況において、背景のぼけ味（デフォーカスぼけ）を保ちつつ、手ぶれ成分のみを推定して補正する必要がある場合がある。しかし、特許文献１の手法では、デフォーカスぼけと手ぶれの両方が混合した点像強度分布が推定され、補正時に背景のぼけ味を損ねてしまう可能性がある。
【０００８】
そこで本発明は、単一の画像から種々のぼけを高精度に推定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての画像処理装置は、ぼけ画像から推定するぼけの性質を決定する決定手段と、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段とを有し、前記生成手段は、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する。
【００１０】
本発明の他の側面としての画像処理装置は、ぼけ画像から推定するぼけの性質を決定する決定手段と、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段とを有し、前記生成手段は、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記推定ぼけに対するデノイジング処理を行い、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する。
【００１１】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号に基づいて生成されたぼけ画像から、推定するぼけの性質を決定する決定手段と、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段とを有し、前記生成手段は、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する。
【００１２】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号に基づいて生成されたぼけ画像から、推定するぼけの性質を決定する決定手段と、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成する生成手段とを有し、前記生成手段は、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記推定ぼけに対するデノイジング処理を行い、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する。
【００１３】
本発明の他の側面としての画像処理方法は、ぼけ画像から推定するぼけの性質を決定するステップと、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップとを有し、前記推定ぼけを生成するステップにおいて、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理もしくは前記推定処理、または、該取得処理もしくは該推定処理に用いられるパラメータの少なくとも一つを変更する。
【００１４】
本発明の他の側面としての画像処理方法は、ぼけ画像から推定するぼけの性質を決定するステップと、前記ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から推定ぼけを生成するステップとを有し、前記推定ぼけを生成するステップにおいて、ぼけの推定処理と、該ぼけを用いた前記ぼけ推定領域における信号に関する情報の補正処理と、を繰り返して前記推定ぼけを生成し、前記推定ぼけに対するデノイジング処理を行い、前記ぼけの性質に応じて、前記ぼけ推定領域の取得処理、前記推定処理、もしくは、前記デノイジング処理、または、該取得処理、該推定処理、もしくは、該デノイジング処理に用いられるパラメータの少なくとも一つを変更する。
【００１５】
本発明の他の側面としての画像処理プログラムは、コンピュータに、前記画像処理方法を実行させるように構成されている。
【００１６】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１７】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１８】
本発明によれば、単一の画像から様々な種類のぼけを高精度に推定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】実施例１、３における画像処理方法を示すフローチャートである。
【図２】実施例１における画像処理システムのブロック図である。
【図３】実施例１乃至３において、設計収差と、像高およびアジムスとの関係図である。
【図４】実施例１乃至３において、設計収差に関するぼけ推定領域の取得例を示す図である。
【図５】実施例１乃至３において、設計収差に関するぼけ推定領域の他の取得例を示す図である。
【図６】実施例１乃至３において、設計収差の対称性に関する説明図である。
【図７】実施例１乃至３において、ぼけの性質の取得処理を示すフローチャートである。
【図８】実施例１乃至３において、手ぶれ画像およびピントずれ画像の周波数特性を示す図である。
【図９】実施例２における画像処理システムのブロック図である。
【図１０】実施例２における画像処理方法を示すフローチャートである。
【図１１】実施例３における撮像システムのブロック図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【００２１】
本実施形態において、被写体空間の情報を劣化させる要因を「ぼけ」と総称するが、ぼけの種類としては、回折、収差、デフォーカス、ぶれ、および、擾乱が含まれる。本実施形態を説明する前に、これらのぼけの種類について詳述する。
【００２２】
回折とは、画像を撮影した撮像装置の光学系で発生する、回折に起因する劣化である。これは、光学系の開口径が有限であるために生じる。
【００２３】
収差とは、光学系で発生する理想波面からのずれに起因する劣化である。光学系の設計値により発生する収差を設計収差、光学系の製造誤差や環境変化により発生する収差を誤差収差と呼ぶ。環境変化とは、温度、湿度、気圧などの変化を示し、これらの変化に応じて光学系の性能も変化する。単に収差という場合、設計収差および誤差収差の両方が含まれる。
【００２４】
デフォーカスとは、光学系の焦点と被写体とが合致しないことに起因する劣化である。デフォーカスが画像の全体に及ぶものをピントずれ、デフォーカスが画像の一部のみであるものをデフォーカスぼけと呼ぶ。具体的には、デフォーカスぼけとは、画像内に異なる距離の主要被写体と背景とが存在し、主要被写体に合焦していた場合において、背景の情報を劣化させている成分をいう。この劣化の大きさは、背景がどれだけ主要被写体から奥行き方向に離れているかに依存して変化する。デフォーカスぼけは、例えば、画像内の主要被写体を際立たせる表現方法として用いられる。単にデフォーカスという場合、ピントずれとデフォーカスぼけとの両方が含まれる。
【００２５】
ぶれとは、撮影の際、露光中に被写体と撮像装置との間の相対関係（位置および角度）が変化することにより生じる劣化である。ぶれのうち、画像の全体を劣化させるものを手ぶれ、画像の一部が劣化するものを被写体ぶれと呼ぶ。単にぶれという場合、手ぶれおよび被写体ぶれの両方が含まれる。
【００２６】
擾乱とは、撮影中に被写体と撮像装置との間に存在する物質が揺らぐことにより生じる劣化である。例えば、大気の揺らぎや水中撮影における水の揺らぎが挙げられる。短秒露光中に擾乱が発生している場合、ぼけ画像では被写体空間の直線が揺らめいた曲線になる。この曲がりを補正するため、擾乱成分の異なる複数のフレーム（または連写）画像を合成することがある。しかし、このような合成処理では、エッジの曲がりを補正することができても、周波数成分の劣化は残存する。ここで取り扱うぼけ画像は、１回の露光中に擾乱に伴う周波数成分の劣化が起きた画像（長秒露光画像）だけでなく、前述のような複数フレーム（または連写）の画像を合成した画像を含む。
【００２７】
本実施形態において、点像強度分布はＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と記す。また本実施形態において、１次元（モノクロ）画像に対する処理について説明するが、多次元（例えばＲＧＢ）画像にも同様に適用可能であり、ＲＧＢの各チャンネルで処理を行えばよい。チャンネル間における差がない、または無視できる程度のぼけでは、チャンネル数を減らして（ＲＧＢをモノクロ化するなど）、処理しても構わない。各チャンネルが異なる波長を取得している場合、チャンネル間における差がないぼけとしては、ぶれが挙げられる。
【００２８】
一方、収差、回折、デフォーカス、および、擾乱は、波長に依存してぼけが変化する。ここでデフォーカスは、ピント位置から大きく離れていても、軸上色収差の影響で波長によってぼけの広がりが変わる。しかし、これらの波長依存性を有するぼけに対しても、撮影に用いる撮像素子のサンプリング周波数に対して、チャンネル間の性能差が充分に小さければ、チャンネル間の差が無視できると考えてよい。ただし、これらチャンネル間における差が無視できるぼけを推定する場合、前述のチャンネル数を減らす処理を行うよりも、複数のチャンネルのままで１つのぼけを推定することが望ましい。ぼけの推定は、画像の信号勾配に関する情報を用いて行うため、その情報が多いほど推定精度が向上する。すなわち、チャンネル数を減らさずに複数の画像で推定したほうが、信号勾配の情報が増加する（ただし、各チャンネルの画像がそれぞれの比例倍に一致する場合、信号勾配の情報は増加しない）ため、ぼけをより高精度に推定することができる。また本実施形態では、チャンネルが異なる波長を撮影する例を挙げているが、それ以外のパラメータ（偏光など）でも同様に考えればよい。
【実施例１】
【００２９】
まず、図２を参照して、本発明の実施例１における画像処理システムについて説明する。図２は、本実施例における画像処理システム１００のブロック図である。
【００３０】
画像処理システム１００は、撮像装置１０１、記録媒体１０２、表示装置１０３、出力装置１０４、および、画像処理装置１０５を備えて構成される。画像処理装置１０５は、通信部１０６、記憶部１０７、および、ぼけ補正部１０８（画像処理部）を有する。ぼけ補正部１０８は、決定部１０８１（決定手段）、生成部１０８２（生成手段）、および、補正部１０８３（補正手段）を有する。ぼけ補正部１０８の各部は、後述のように本実施例の画像処理方法を実行する。なお、撮像装置１０１の内部に画像処理装置１０５（ぼけ補正部１０８）を備えるように構成してもよい。
【００３１】
撮像装置１０１は、光学系１０１１（撮像光学系）および撮像素子１０１２を有する。光学系１０１１は、被写体空間からの光線を撮像素子１０１２上に結像させる。撮像素子１０１２は、複数の画素を有し、光学系１０１１を介して形成された光学像（被写体像）を光電変換して画像信号を出力する。撮像装置１０１は、撮像素子１０１２から出力された画像信号に基づいて撮影画像（ぼけ画像）を生成する。撮像装置１０１により得られたぼけ画像は、通信部１０６を介して画像処理装置１０５へ出力される。ぼけ画像に関しては、前述のような複数の種類のぼけの少なくとも一つが作用することにより、被写体空間の情報が劣化している。
【００３２】
記憶部１０７は、画像処理装置１０５に入力されたぼけ画像、および、ぼけ画像を撮影した際の撮影条件に関する情報を記憶する。ここで撮影条件とは、撮影時における撮像装置１０１の焦点距離、絞り、シャッタースピード、ＩＳＯ感度などである。ぼけ補正部１０８は、ぼけ画像に基づいて特定のぼけ成分を推定して補正し、ぼけ補正画像を生成する。ぼけ補正画像は、通信部１０６を介して、表示装置１０３、記録媒体１０２、および、出力装置１０４のいずれか一つまたは複数に出力される。表示装置１０３は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０３を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体１０２は、半導体メモリ、ハードディスク、ネットワーク上のサーバなどである。出力装置１０４は、プリンタなどである。画像処理装置１０５は、必要に応じて、現像処理やその他の画像処理を行う機能を有してもよい。
【００３３】
本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの記憶媒体を介して、画像処理装置１０５に供給することもできる。この際、画像処理プログラムは、画像処理装置１０５のコンピュータ（又は、ＣＰＵやＭＰＵなど）によって読み出され、ぼけ補正部１０８の機能を実行する。
【００３４】
次に、図１を参照して、ぼけ補正部１０８で行われる画像処理に関して説明する。図１は、本実施例の画像処理方法を示すフローチャートである。図１の各ステップは、ぼけ補正部１０８の決定部１０８１、生成部１０８２、および、補正部１０８３により実行される。
【００３５】
まずステップＳ１０１において、ぼけ補正部１０８の決定部１０８１は、ぼけ画像（撮影画像）を決定（取得）する。続いてステップＳ１０２において、決定部１０８１は、推定および補正対象となるぼけの性質（設計収差、誤差収差、回折、ピントずれ、デフォーカスぼけ、手ぶれ、被写体ぶれ、擾乱など）を決定（取得）する。ぼけの性質として、自動的に決定された性質を取得してもよいし、または、ユーザが手動で決定した性質を取得してもよい。この際、自動的または手動で決定するためのアシストとして、ぼけ画像の周波数特性または撮影条件に関する情報が用いられる。その詳細な説明については、後述する。
【００３６】
続いてステップＳ１０３において、ぼけ補正部１０８の生成部１０８２は、ぼけ画像内からぼけ推定領域を取得する（ぼけ推定領域の決定処理）。生成部１０８２は、ぼけ推定領域内において同じぼけが作用していると仮定して、ぼけを推定する。ぼけ推定領域の取得方法は、ステップＳ１０２にて取得されたぼけの性質に応じて変化する。以下、その一例について説明する。
【００３７】
まず、ぼけの性質が設計収差の場合について説明する。撮像装置１０１の光学系１０１１は、光軸に関して回転対称な形状を有するレンズから構成されている。このため設計収差は、図３に示されるように像高に応じて変化するものの、アジムスに対しては回転対称性を有する。図３は、設計収差と、像高およびアジムスとの関係図であり、ぼけ画像２０１における設計収差のＰＳＦの変化を示している。図３中において、一点鎖線の円４０１は光学系１０１１のイメージサークルを示し、破線の円４０２、４０３はそれぞれ同一の像高を示している。同一の像高に関するＰＳＦは、互いに回転させることにより一致する。このため、図４に示されるように、同一の像高から複数の部分領域２０２ａ〜２０２ｈを取得し、各部分領域を回転してまとめた領域を、この像高における設計収差を推定するためのぼけ推定領域２０２とする。図４は、設計収差に関するぼけ推定領域２０２の取得例を示す図である。
【００３８】
ぼけの推定に使用される画像の情報量（すなわち、ぼけ推定領域２０２）が大きいほど、ぼけの推定の精度は向上する。このため、部分領域２０２ａ〜２０２ｈのそれぞれに関して個別にＰＳＦを推定するよりも、部分領域２０２ａ〜２０２ｈを合わせたぼけ推定領域２０２に関してＰＳＦを推定するほうが高精度な推定が可能となる。図４において、部分領域２０２ａ〜２０２ｈ内の矢印は、部分領域２０２ａ〜２０２ｈをぼけ推定領域２０２としてまとめる際に行う回転処理を分かりやすくするために示されている。図４に示される例では、１つの像高に対して８つの部分領域２０２ａ〜２０２ｈを取得しているが、部分領域の数はこれに限定されるものではない。また、それぞれの部分領域を等間隔に取得する必要もなく、複数の部分領域が互いにオーバーラップしていてもよい。また、像高も図４に示される位置に限定されるものではない。
【００３９】
本実施例におけるぼけ推定領域２０２の取得例は、図４に示される手法に限定されるものではなく、他の手法を用いてよい。図５は、設計収差に関するぼけ推定領域２０２の他の取得例を示す図である。図５においては、等ピッチで領域分けされたぼけ画像２０１から、中心Ｏからの距離が略同一の部分領域２０２ｍ〜２０２ｔを抽出し、各部分領域を回転してまとめることによりぼけ推定領域２０２を取得している。図５において、部分領域２０２ｍ〜２０２ｔ中の矢印は、前述のように、回転処理を分かりやすくするために示されている。
【００４０】
次に、ぼけの性質が誤差収差の場合について説明する。光学系１０１１に誤差が生じると、多くの場合、光学系１０１１が回転対称性を失う。このため、光学系１０１１の収差はアジムス方向に関する対称性を失う。回転対称が維持されるのは、光軸方向における誤差（光軸方向におけるレンズのシフトや温度変化による膨張や収縮など）のみである。したがって、誤差収差を推定および補正する場合、ぼけ画像を領域分割して、各領域を別のぼけ推定領域とする。本実施例において、撮影条件に関する情報が光学系１０１１の誤差に関する情報を含む場合、この情報を反映してぼけ推定領域を取得することが好ましい。光学系１０１１の誤差に関する情報は、事前にチャート撮影などを行うことにより取得することができる。
【００４１】
次に、ぼけの性質が回折の場合について説明する。このときＰＳＦは、ぼけ画像内における位置に依存せずに略一定となる。このため、ぼけ画像の全体をぼけ推定領域とする。ただし、大口径レンズのように像高に応じてヴィネッティングが大きく変わる光学系においては、ぼけ画像の像高に応じて異なる回折のＰＳＦが作用する。この場合、撮影条件から撮像装置１０１（光学系１０１１および撮像素子１０１２）に関する情報を取得し、撮像素子１０１２の画素ピッチに対する光学系１０１１の像高による回折変化の影響を判定する。回折変化の影響が無視できる程度のレベルであれば、ぼけ画像全体をぼけ推定領域とする。一方、回折変化の影響が無視できない場合、設計収差と同様に、像高ごとにぼけ推定領域を取得すればよい。
【００４２】
次に、ぼけの性質がピントずれの場合について説明する。このとき、撮影条件から撮影の際におけるフォーカスポイント（ピント位置）に関する情報を取得し、その近傍領域をぼけ推定領域とする。これは、フォーカスポイントの近傍に、ユーザがピントを合わせたかった被写体が存在している可能性が高いためである。または、ぼけ画像の全体をぼけ推定領域としてもよい。
【００４３】
次に、ぼけの性質がデフォーカスぼけの場合について説明する。このとき、ぼけ画像を複数の領域にセグメンテーション（分割）し、同一領域内をぼけ推定領域とする。セグメンテーションの各領域（各領域に含まれる被写体）は、同じ奥行きに位置している可能性が高いためである。セグメンテーションには、例えばグラフカットなどを用いればよい。より精度を向上させるには、ぼけ画像に対応する被写体空間の距離情報を取得し、それに沿ってぼけ推定領域を決定することが好ましい。距離情報を取得する方法としては、例えば、レーザなどを有する測距装置を用いる方法、ＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）やＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）による方法、または、多眼カメラなどの多視点撮像系を用いる方法がある。
【００４４】
次に、ぼけの性質が手ぶれの場合について説明する。手ぶれ成分が弱い、または、ぼけ画像の全体において一様（Ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔと呼ばれる）の場合、ぼけ画像の全体をぼけ推定領域とする。手ぶれ成分が弱い、または、ぼけ画像の全体において一様であるか否かは、撮影条件に基づいて判定される。例えば、撮影の際における光学系１０１１の焦点距離とシャッタースピードとの関係に基づいて、手ぶれの起きやすさを見積もることができる。焦点距離が大きく、シャッタースピードが遅い（すなわち露光時間が長い）ほど、手ぶれは発生しやすい。一方、焦点距離が小さく、シャッタースピードが速い場合、手ぶれは起きにくい。このため、この場合には手ぶれ成分が弱いと判定することができる。また、撮像装置１０１にジャイロセンサ（角速度センサ）を取り付け、撮影の際における撮像装置１０１の動き（動き情報）を撮影条件に関する情報として取得することができる。この動き情報に基づいて、手ぶれの強弱や、ぼけ画像の全体において一様か、または非一様（Ｓｈｉｆｔ−ｖａｒｉａｎｔ）かを判定することができる。また、後述のように、ぼけ画像の周波数特性に基づいて、手ぶれの強弱、またはＳｈｉｆｔ−ｖａｒｉａｎｔか否かを判定することができる。手ぶれ成分が強い、またはＳｈｉｆｔ−ｖａｒｉａｎｔの場合、ぼけ画像を複数の部分領域に分割し、分割した複数の部分領域のうち一つの部分領域をぼけ推定領域とする。
【００４５】
次に、ぼけの性質が被写体ぶれの場合について説明する。このとき、ぶれている被写体領域を抽出してぼけ推定領域とする。その抽出手法として、例えば、米国特許出願公開第２０１３／０２７１６１６号明細書に開示されている方法がある。また、ぼけの性質がぶれ（手ぶれ、または、被写体ぶれ）の場合、前述のように、波長に応じてＰＳＦが変化しない。このため、複数のチャンネル（ＲＧＢ）画像の同じ位置から複数の部分領域を取得し、それらをまとめてぼけ推定領域とすることが好ましい。これにより、ぼけの推定精度が向上する。また前述のように、チャンネル間における差が無視できる場合、他の性質のぼけに関しても同様の処理を行うことができる。
【００４６】
次に、ぼけの性質が擾乱の場合について説明する。このとき、撮影条件から撮影の際における露光時間（ぼけ画像が前述の合成画像の場合には、合成された各画像の総露光時間）に関する情報を取得し、露光時間に応じてぼけ推定領域を変化させる。露光時間が充分に長い場合、ぼけ画像の全体における擾乱のＰＳＦが一様になっていると考えられる。このため、ぼけ画像の全体をぼけ推定領域とする。それ以外の場合、ぼけ画像を複数の部分領域に分割し、分割した複数の部分領域のうち一つの部分領域をぼけ推定領域とする。なお、複数の種類のぼけを同時に推定する必要がある場合、例えば、最もぼけ推定領域が小さいぼけの性質に関するぼけ推定領域を採用することが好ましい。
【００４７】
続いて、図１のステップＳ１０４において、生成部１０８２は、ぼけ推定領域のデノイジングを行う。ぼけ推定領域のデノイジングは、ぼけ推定領域にノイズが存在していることによる、ぼけの推定精度の劣化を低減するために行われる。なお、ステップＳ１０４に代えて、ぼけ推定領域を取得するステップＳ１０３の前に、ぼけ画像の全体をデノイジングするステップを挿入してもよい。デノイジング手法としては、バイラテラルフィルタやＮＬＭ（Ｎｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓ）フィルタなどを用いる手法がある。
【００４８】
好ましくは、生成部１０８２は、以下の手法でぼけ推定領域をデノイジングする。まず、生成部１０８２は、ぼけ推定領域を周波数分解して、周波数分解ぼけ推定領域を生成する。そして生成部１０８２は、ぼけ推定領域のノイズ量に基づいて、周波数分解ぼけ推定領域をデノイジングする。次に、生成部１０８２は、周波数分解ぼけ推定領域を再合成することにより、ノイズ低減されたぼけ推定領域を取得する。一般に、デノイジング処理は、画像からノイズを低減するとともに、画像をぼかすという問題がある。ぼけ推定領域がデノイジングによってぼけると、後の推定処理を行う際に、ステップＳ１０２にて取得した種類のぼけと、デノイジングによるぼけが混在したＰＳＦを推定してしまうことになる。このため、画像に与えるぼけが小さいデノイジング手法を用いることが好ましい。このような手法として、画像の周波数分解を利用したデノイジング処理を適用する。ここでは、周波数分解としてウェーブレット変換を用いた例を説明する。なお、この詳細については、「Ｄｏｎｏｈｏ  Ｄ．Ｌ．，‘‘Ｄｅ−ｎｏｉｓｉｎｇ  ｂｙ  ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇ’’，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｉｎｆ．  Ｔｈｅｏｒｙ，４１，３，ｐｐ．６１３−６２７」に記載されている。
【００４９】
ウェーブレット変換とは、局在する小さな波（ウェーブレット）を用いて画像の位置ごとに周波数解析を行い、信号を高周波成分と低周波成分に分解していく変換である。画像のウェーブレット変換では、画像の水平方向に対してウェーブレット変換を行って低周波成分と高周波成分に分解し、さらに分解して得られた低周波成分と高周波成分の垂直方向に対してウェーブレット変換を行う。ウェーブレット変換により、画像は４分割され、周波数帯域が互いに異なる４つのサブバンド画像に周波数分解される。このとき、左上の低周波帯域成分（スケーリング係数）のサブバンド画像をＬＬ１とし、右下の高周波帯域成分（ウェーブレット係数）のサブバンド画像をＨＨ１とする。また、右上（ＨＬ１）と左下（ＬＨ１）のサブバンド画像はそれぞれ、水平方向に高周波帯域成分をとって垂直方向に低周波帯域成分を取り出したものと、水平方向に低周波帯域成分をとって垂直方向に高周波帯域成分を取り出したものである。
【００５０】
さらに、サブバンド画像ＬＬ１をウェーブレット変換すると、画像サイズを半分にして、サブバンド画像ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解することができ、分解して得られたサブバンド画像ＬＬに対して変換レベル回数だけ分解することができる。
【００５１】
ウェーブレット変換を用いてノイズ低減処理を行う方法として、スレッショルディングが知られている。これは、設定したしきい値より小さい量の成分をノイズとみなし、そのノイズを低減する方法である。ウェーブレット空間上でのしきい値処理は、サブバンド画像ＬＬ以外のサブバンド画像に対して行われ、以下の式（１）に示すように、しきい値以下の絶対値を有するウェーブレット係数ｗｓｕｂｂａｎｄ（ｘ，ｙ）を０に置き換えることで、デノイジングを行う。
【００５２】
【数１】
2017010095.tif 000003
【００５３】
式（１）において、ｘ、ｙはそれぞれ、画像の縦と横の座標であり、ρｓｕｂｂａｎｄは重みパラメータ、σはノイズの標準偏差である。ぼけ推定領域に含まれるノイズ量σは、ぼけ推定領域から測定または推定することにより求められる。ノイズが実空間および周波数空間において一様なホワイトガウシアンノイズである場合、ぼけ推定領域のノイズを、以下の式（２）に示されるようなＭＡＤ（Ｍｅｄｉａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ）から推定する手法が知られている。
【００５４】
【数２】
2017010095.tif 000004
【００５５】
ＭＡＤは、ぼけ推定領域をウェーブレット変換して得られたサブバンド画像ＨＨ１におけるウェーブレット係数ｗＨＨ１のメディアン（中央値）を用いて求められる。標準偏差とＭＡＤとは、以下の式（３）に示される関係であることから、ノイズ成分の標準偏差を推定することができる。
【００５６】
【数３】
2017010095.tif 000005
【００５７】
なお、式（２）、（３）に代えて、撮影の際におけるＩＳＯ感度に基づいてノイズ量σを取得してもよい。
【００５８】
続いてステップＳ１０５において、生成部１０８２は、ぼけ推定領域の解像度を低下させ、低解像ぼけ推定領域を生成する。ぼけ推定領域の解像度を低下させることにより、推定するぼけの解像度も同様に低下する。その結果、後述するぼけ推定の収束性が向上し、かつ、推定結果が最適解とは異なる局所解へ落ち込む可能性を低減することができる。ぼけ推定領域の解像度を下げる割合は、ダウンサンプリングパラメータに応じて決定される。ステップＳ１０５は、ループ処理（反復演算）によって複数回実行されるが、初回の実行時には、既定のダウンサンプリングパラメータが用いられる。２回目以降の実行の際には、後述のステップＳ１０９にて設定されたダウンサンプリングパラメータを用いて、低解像ぼけ推定領域を生成する。ループを反復する度に、解像度の低下量は小さくなり、低解像ぼけ推定領域の解像度は、ぼけ推定領域に近づく。すなわち、最初は低解像のぼけを推定し、その推定結果を新たな初期値として、解像度を少しずつ上げながら推定を繰り返す。これにより、局所解を回避して最適なぼけを推定することができる。なお、低解像ぼけ推定領域の解像度は、ぼけ推定領域の解像度以下であり、両者の解像度が一致することもある。
【００５９】
続いてステップＳ１０６において、生成部１０８２は、低解像ぼけ推定領域における信号勾配のぼけを補正し、ぼけ補正信号勾配を生成する（ぼけ推定領域における信号に関する情報の補正処理）。ぼけ補正には、例えば、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法、または、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いるとよい。本実施例では、後述の最適化問題の解を求める超解像処理によって、ぼけ補正信号勾配を推定する。
【００６０】
低解像ぼけ推定領域とぼけの関係は、以下の式（４）のように表される。
【００６１】
【数４】
2017010095.tif 000006
【００６２】
式（４）において、ｂ-ｉはｉ番目のループ処理における低解像ぼけ推定領域の信号分布、ｋｉはぼけ、ａｉはぼけｋｉによる劣化がない信号分布、ｎｉはノイズである。前述のように、ループを繰り返す（ｉが大きくなる）ほど、ｂｉやｋｉなどの解像度が上昇する。「＊」はコンボリューション演算を表す。本実施例において、ぼけはＰＳＦの形で推定されるが、これに限定されるものではない。例えば、ＰＳＦをフーリエ変換したＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の形で推定しても構わない。
【００６３】
以下の式（５）のように表される最適化問題を解くことにより、ｉ番目のループ処理におけるａｉの推定値ｄ-ｉを推定する。
【００６４】
【数５】
2017010095.tif 000007
【００６５】
式（５）において、Ｌは損失関数、Φはｄｉに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（４）を指す）へフィッティングさせる効果を持つ。正則化項Φは、解を尤もらしい値へ収束させる効果を有する。正則化項には、事前知識と呼ばれる解（ａｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング（ノイズｎｉの影響をｄｉへ反映させてしまうこと）を防ぐ役割を有する。
【００６６】
次に、式（５）中の損失関数Ｌと正則化項Φの具体例について説明する。損失関数Ｌとしては、以下の式（６）のように示される関数が考えられる。
【００６７】
【数６】
2017010095.tif 000008
【００６８】
式（６）において、以下の式（７）のように表される記号はｐ次平均ノルムを表し、ｐ＝２の場合にはユークリッドノルムを示す。
【００６９】
【数７】
2017010095.tif 000009
【００７０】
正則化項Φの例としては、以下の式（８）のように示される１次平均ノルムがある。
【００７１】
【数８】
2017010095.tif 000010
【００７２】
式（８）において、λは正則化項Φの重みを表すパラメータ、Ψは画像に対する基底変換を表す関数であり、その例としてウェーブレット変換や離散コサイン変換などがある。式（８）の正則化項Φは、画像がウェーブレット変換や離散コサイン変換などの基底変換を施されることで、信号成分がスパース（疎）になる、すなわち、より少ない数の信号で表すことができるという性質に基づく。これに関しては、例えば、「Ｒｉｃｈａｒｄ  Ｇ．Ｂａｒａｎｉｕｋ，“Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓｅｎｓｉｎｇ”，ＩＥＥＥ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＭＡＧＡＺＩＮＥ  ［１１８］  ＪＵＬＹ  ２００７」に説明されている。また、その他の正則化項の例として、Ｔｉｋｈｏｎｏｖ正則化項やＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）ノルム正則化項などを用いてもよい。
【００７３】
最適化問題である式（５）で表される推定式を解くには、繰り返し演算を用いた手法を利用し、例えばＴｉｋｈｏｎｏｖ正則化項を採用した場合は、共役勾配法などを使用すればよい。また、式（８）またはＴＶノルム正則化項を採用する場合、ＴｗＩＳＴ（Ｔｗｏ−ｓｔｅｐ  Ｉｔｅｒａｔｉｖｅ  Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ）などを用いるとよい。ＴｗＩＳＴに関しては、「Ｊ．Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ＴｗＩＳＴ：ｔｗｏ−ｓｔｅｐ  ｉｔｅｒａｔｉｖｅ  ｓｈｒｉｎｋａｇｅ／ｔｈｒｅｓｈｏｌｄｉｎｇ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｉｍａｇｅ  ｒｅｓｔｏｒａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１６，Ｄｅｃ．２００７」に説明されている。
【００７４】
また、これらの繰り返し演算を行う際、繰り返しの度に正則化の重みなどのパラメータを更新してもよい。なお、式（４）、（５）は、画像（信号分布）に対して記載されているが、画像の微分に関しても同様に成り立つ。このため、画像に代えて、画像の微分（両者を含めて信号勾配と表現する）に対してぼけ補正を行ってもよい。
【００７５】
逆フィルタや超解像処理で用いるぼけｋｉには、前のループにおけるステップＳ１０７で推定した結果（ぼけ）を用いる。ループの最初においては、適当な形状のＰＳＦ（収差やデフォーカスではＧａｕｓｓ分布、ぶれでは縦または横のラインなど）をぼけｋｉとして用いる。また、逆フィルタや超解像処理と合わせて、ショックフィルタなどの先鋭化フィルタをかけてぼけ補正信号勾配を生成してもよい。さらに、先鋭化フィルタを併用する際において、バイラテラルフィルタやガイデッドフィルタなどを用いて、エッジの解像感を保ったまま、ノイズやリンギングを抑制してもよい。
【００７６】
続いてステップＳ１０７において、生成部１０８２は、低解像ぼけ推定領域の信号勾配と、ぼけ補正信号勾配とに基づいて、ぼけを推定する（ぼけの推定処理）。ここで、ぼけの推定方法について具体的に述べる。ＰＳＦに関しても、式（５）と同様に、以下の式（９）を用いることで推定することができる。
【００７７】
【数９】
2017010095.tif 000011
【００７８】
なお、ぼけ推定領域を複数のチャンネルから取得している（チャンネルによるぼけの変化がない、または無視できる）場合、式（９）は以下の式（９ａ）に示されるように変形される。
【００７９】
【数９ａ】
2017010095.tif 000012
【００８０】
式（９ａ）において、Ｈはぼけ推定領域に含まれるチャンネルの総数、ｄｉ，ｈはｈ番目のチャンネルにおけるｄｉ、ｖｈは重みを示す。信号勾配の補正の場合、式（５）を各チャンネルに対して解けばよいが、ぼけ推定では式（９ａ）のように全チャンネルで纏められた形になる。これは、推定する対象が、式（５）では各チャンネルで異なるのに対し、式（９ａ）では共通している（同一のＰＳＦである）ためである。
【００８１】
式（９）、（９ａ）の損失関数Ｌとして、以下の式（１０）が考えられる。
【００８２】
【数１０】
2017010095.tif 000013
【００８３】
式（１０）において、∂ｊは微分演算子を表す。∂０（ｊ＝０）は恒等演算子であり、∂ｘ、∂ｙはそれぞれ、画像の横方向と縦方向の微分を表す。さらに高次の微分は、例えば∂ｘｘや∂ｘｙｙのように表される。なお、ぼけ推定領域の信号勾配とは、これら全てのｊ（ｊ＝０，ｘ，ｙ，ｘｘ，ｘｙ，ｙｙ，ｙｘ，ｘｘｘ，……）を含むが、本実施例ではｊ＝ｘ，ｙのみを考える。ｕｊは重みである。
【００８４】
生成部１０８２は、ぼけを推定する際に、ステップＳ１０２にて取得されたぼけの性質（推定するぼけの性質）を反映した制限を加える。これにより、取得された特定の性質のぼけに対する推定精度を向上させることができる。なお、ステップＳ１０２にて複数の種類のぼけを同時にぼけの性質とした場合、以下のような制限を同時に適用することが好ましい。ただし、矛盾する制限が発生する場合、より制限が緩くなるほうを採用することが好ましい。
【００８５】
ステップＳ１０２にて取得したぼけの性質が設計収差の場合、ＰＳＦがメリジオナル軸（図６の一点鎖線）に対して反転対称性を有する。図６は、設計収差の対称性に関する説明図である。図６において、一点鎖線はメリジオナル軸を示す。このため、推定するぼけが反転対称性を有するように制限を加える。また、ステップＳ１０３にて、同じ像高で異なるアジムスの部分領域の全てを一つのぼけ推定領域としていない場合、ステップＳ１０７にて同じ像高で異なるアジムスのぼけ推定領域における推定ぼけが、光軸周りの回転によって一致するという制限を適用してもよい。また、収差（誤差収差を含む）は、像高の変化に応じて連続的にＰＳＦが変化するため、隣り合うぼけ推定領域同士で推定したぼけが連続的に変化するような制限を加えてもよい。
【００８６】
次に、ぼけの性質が回折の場合について説明する。ＰＳＦがＳｈｉｆｔ−ｉｎｖａｒｉａｎｔであって、撮像装置１０１の光学系１０１１内の開口が略円形である場合、ＰＳＦも回転対称性を有する。このため、ぼけが回転対称となる制限を加えることが好ましい。または、第１種Ｂｅｓｓｅｌ関数で表すことが可能となるという制約でもあってもよい。また、ヴィネッティングによってＰＳＦがＳｈｉｆｔ−ｖａｒｉａｎｔである場合、設計収差と同様に、メリジオナル軸に対して反転対称性を有する制限を加えてもよい。ヴィネッティングの大小は、撮影条件に関する情報から取得することができる。
【００８７】
ぼけの性質がデフォーカスの場合、ヴィネッティングの小さな光学系に関しては、前述と同様にＰＳＦが回転対称となる制限を適用してぼけを推定する。一方、ヴィネッティングが大きい場合、回折と同様に、メリジオナル軸に対して反転対称性を有する制限を加える。また、デフォーカスは、ＰＳＦがなだらかな形状となるため、式（９）または式（９ａ）にてｋｉの強度勾配が弱くなるような正則化項Φ（ｋｉ）を用いることが好ましい。例えば、以下の式（１１）のように表されるＴＶノルム正則化がある。
【００８８】
【数１１】
2017010095.tif 000014
【００８９】
式（１１）において、ζは正則化項の重みである。ＴＶノルム正則化は、ｋｉの微分（強度勾配）における絶対値の総和が小さくなる効果を有する。このため、式（１１）の正則化を用いることにより、なだらかなデフォーカスのＰＳＦを推定しやすくなる。
【００９０】
仮に、ぼけ推定領域の距離情報がある程度分かっている場合、撮影条件である光学系の焦点距離とＦ値、合焦距離、および、距離情報に基づいて、デフォーカスの大きさを見積もることができる。このため、そのサイズを制限に加えることで、より高精度にぼけの推定が可能となる。
【００９１】
ぼけの性質がぶれの場合、ＰＳＦは線状になるため、それを反映した制限を加えることで、ＰＳＦの精度を向上させることができる。例えば、式（９）または式（９ａ）にて、ｋｉの成分ができる限り少なくなる（疎になる）正則化項Φ（ｋｉ）を用いるとよい。このとき、以下の式（１２）のように表される１次平均ノルム正則化が用いられる。
【００９２】
【数１２】
2017010095.tif 000015
【００９３】
または、種々な方向のエッジ（線状の特徴を有する）を基底とし、ぶれＰＳＦの部分領域がそれらの基底でスパースに表現可能であるという制限などを用いて、推定精度の向上を図ってもよい。
【００９４】
また、ぶれがＳｈｉｆｔ−ｖａｒｉａｎｔの場合も、収差と同様に、隣り合うぼけ推定領域ではぶれのＰＳＦは連続的に変化するため、連続変化の制限を加えることにより、推定精度を向上させることができる。さらに、ぶれた画像は、静止した画像を幾何変換（シフトと回転）して重ね合わせることで表現可能である。このため、ぼけ推定領域（ぶれた画像）が、ぼけ補正信号勾配（静止画像）の幾何変換の合成で表現できるという制限を加えることによっても、推定精度の向上を図ることができる。
【００９５】
ぼけの性質が擾乱の場合、ＰＳＦはデフォーカスと同様になだらかな強度勾配を有する。このため、式（１１）などのＰＳＦの強度勾配が弱くなるような正則化を、式（９）または式（９ａ）において採用することが好ましい。また、式（９）、（９ａ）の正則化項Φは、推定対象（ここではｋｉ）の周波数特性に作用する。一般に、正則化の重みを小さくするほど推定ＰＳＦが先鋭になり、大きくすると低周波のみのぼけたＰＳＦとなる。このため、ぼけの種類がデフォーカスや擾乱の場合には正則化項Φの重みを強め、一方、ぼけの種類がぶれの場合には正則化項Φの重みを弱めることにより、推定したぼけの精度が向上する。
【００９６】
続いて、図１のステップＳ１０８において、生成部１０８２は、反復演算が完了したか否かを判定する。この判定は、ぼけ推定領域の解像度と低解像ぼけ推定領域の解像度とを比較することにより行われる。両者の解像度が所定値よりも近い場合、反復演算を終了する。そして、ステップＳ１０７にて推定されたぼけを最終的な推定ぼけとして、ステップＳ１１０へ進む。両者の解像度が所定値よりも近いか否かは、例えば、両者の解像度差の絶対値が所定値よりも小さい、または、両者の解像度の比が所定値よりも１に近いなどで判定される。所定の条件を満たさない場合（例えば、両者の解像度差の絶対値が所定値よりも大きい場合）、推定されたぼけの解像度がまだ不充分であるため、ステップＳ１０９へ進み、反復演算を行う。
【００９７】
ステップＳ１０９において、生成部１０８２は、ステップＳ１０５にて用いられるダウンサンプリングパラメータを設定する。ステップＳ１０５〜Ｓ１０７を反復する過程で解像度を上げていくため、ここでは前のループよりもダウンサンプリングの度合いを弱めるように（解像度低下量を下げるように）パラメータを設定する。また、反復演算では、前ループのステップＳ１０７にて推定されたぼけを用いるが、その際、ぼけの解像度を上げる必要がある。解像度の向上には、バイリニア補間やバイキュービック補間を用いることが好ましい。
【００９８】
ステップＳ１１０において、生成部１０８２は、ステップＳ１０７にて推定されたぼけ（推定ぼけ）のデノイジングを行う。式（４）に示されるように、ぼけ推定領域にはノイズが存在するため、その影響を受けて推定ＰＳＦにもノイズが発生する。このため、生成部１０８２はデノイジング処理を行うが、その際、ステップＳ１０２にて取得されたぼけの性質に応じて、デノイジング処理またはパラメータを変化させることにより、高精度なノイズ低減が可能となる。以下、この例について説明する。
【００９９】
ぼけがデフォーカスのような高周波成分が少ない性質を有する場合、ガウシアンフィルタなどのローパスフィルタとスレッショルディングとを合わせて用いることが好ましい。事前にローパスフィルタを適用すると、ＰＳＦのノイズ強度が弱まるため、スレッショルディングのしきい値を小さくすることができる。これにより、デノイジング処理の際に、ノイズとともにＰＳＦが弱い値を有する領域も消してしまうことが抑制される。
【０１００】
前述の各ぼけ以外のぼけの場合、スレッショルディングまたはオープニングでノイズ低減を行うことが好ましい。オープニングとは、モルフォロジー演算を用いた孤立点の除去処理である。高周波成分を有するぼけに対してローパスフィルタを適用すると、高周波成分の劣化により、ＰＳＦの形状が大きく崩れてしまう。この本来よりぼけた（高周波の少ない）ＰＳＦでぼけ画像を復元すると、過剰補正となり、リンギングなどの弊害を招く。このため、仮にローパスフィルタを用いる場合、低周波のみぼけに対して高周波を持つぼけには、ローパスフィルタの強さを弱めることが好ましい。より好ましくは、ローパスフィルタを用いることなく、スレッショルディングまたはオープニングでデノイジング処理を行う。スレッショルディングおよびオープニングのそれぞれによれば、ＰＳＦの高周波成分を劣化させることなくノイズを低減することができる。特に、オープニングは孤立点を除去する処理のため、真のＰＳＦ成分周辺に存在する弱い成分を消すことなく、ノイズを除去することができる。このため、デノイジング処理の際には、オープニングを用いることが好ましい。ただし、拡がりが小さいＰＳＦでは、オープニングをかけると、全てのＰＳＦ成分が消滅してしまうことがある。全成分がゼロとなる場合、オープニングの代わりにスレッショルディングを採用することが好ましい。
【０１０１】
続いてステップＳ１１１において、生成部１０８２は、ステップＳ１１０にてデノイジングした推定ぼけを出力する。本実施例において、推定ぼけは、ＰＳＦのデータである。ただし、本実施例はこれに限定されるものではなく、ＰＳＦを変換したＯＴＦや、ＰＳＦもしくはＯＴＦを何らかの基底でフィッティングした係数データ、または、ＰＳＦもしくはＯＴＦを画像データに変換した画像などの形で出力してもよい。
【０１０２】
続いてステップＳ１１２において、ぼけ補正部１０８（補正部１０８３）は、ステップＳ１１１にて出力された推定ぼけを用いて、ぼけ推定領域（ぼけ推定領域に含まれるぼけ）を補正する。この補正には、ステップＳ１０６と同様に、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法、式（５）による最適化、または、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いることが好ましい。このような処理により、単一の画像から様々な種類のぼけを高精度に推定して補正することが可能となる。
【０１０３】
次に、図７および図８を参照して、図１のステップＳ１０２にて説明した、推定するぼけの性質を自動的に決定する方法、または、ぼけの性質を手動で決定する際のアシストに関して、詳細に述べる。図７は、推定するぼけの性質の取得処理（ステップＳ１０２）を示すフローチャートである。図８は、手ぶれ画像およびピントずれ画像の周波数特性を示す図である。
【０１０４】
本実施例において、ぼけ補正部１０８（決定部１０８１）は、図７に示されるフローチャートに従って、ステップＳ１０１にて取得したぼけ画像から、補正するぼけの性質を決定（取得）する。本実施例において、ぼけの性質は、収差、回折、ピントずれ、デフォーカスぼけ、および、手ぶれを含むが、これらに限定されるものではない。
【０１０５】
まずステップＳ２０１において、ぼけ補正部１０８は、ぼけ画像の周波数特性に基づいて、高周波成分（高周波成分量）が所定値以上であるか否かを判定する。この判定の基準となる周波数（高周波成分）は、例えば、撮像装置１０１の撮像素子１０１２のナイキスト周波数、または、光学系１０１１の光学性能に応じた周波数である。高周波成分が所定値未満である場合、ステップＳ２０２へ進む。一方、高周波成分が所定値以上である場合、ステップＳ２０５へ進む。
【０１０６】
ステップＳ２０２において、ぼけ補正部１０８は、ぼけ画像の周波数劣化が等方的か否かを判定する。ここでは、ぼけ画像の高周波成分が所定値未満であるため、ぼけ画像の全体において想定される性能が出ていない。このため、撮影の際に、ぼけ画像の全体の周波数が劣化するピントずれ、または、手ぶれが発生していると考えられる。そこで、ぼけ画像に含まれるぼけの性質が、ピントずれまたは手ぶれのいずれであるかを判定するため、ぼけ画像の周波数特性に基づいて劣化の方向性を判定する。周波数劣化が異方的である場合、ステップＳ２０３へ進む。一方、周波数劣化が等方的である場合、ステップＳ２０４へ進む。
【０１０７】
ステップＳ２０３において、ぼけ補正部１０８は、推定するぼけの性質を手ぶれに設定する。手ぶれは線状のＰＳＦとなり、一般的には回転対称の形状にならない。このため、ぼけ画像（手ぶれ画像）は、図８（Ａ）に示されるように、異方的な周波数劣化を有する画像となる。手ぶれが存在すると、図８（Ａ）の周波数特性に見られるようなディップ（周波数空間の振動成分）が、手ぶれに対応した方向に沿って発生する。
【０１０８】
ステップＳ２０４において、ぼけ補正部１０８は、推定するぼけの性質をピントずれに設定する。ピントずれは回転対称のＰＳＦとなる。このため、ピントずれによる周波数劣化は、図８（Ｂ）に示されるように、方向に依存しない等方的な劣化となる。
【０１０９】
ステップＳ２０５において、ぼけ補正部１０８は、撮影条件（撮影の際における焦点距離とＦ値）が所定の条件を満たすか否かを判定する。焦点距離が所定値（所定の距離）よりも短く（広角レンズ）、かつ、Ｆ値が所定値（所定のＦ値）よりも大きい（深度が深い）場合、ステップＳ２０６へ進む。一方、焦点距離が所定値（所定の距離）よりも長いか、または、Ｆ値が所定値（所定のＦ値）よりも小さい場合、ステップＳ２０７へ進む。ここでは、焦点距離およびＦ値の両方を用いているが、一方のみを用いて判定してもよい。
【０１１０】
ステップＳ２０６において、ぼけ補正部１０８は、推定するぼけの性質を回折とデフォーカスぼけに設定する。広角レンズであって、かつ被写界深度が深くなるように撮影された画像は、パンフォーカスを意図して撮影された画像（例えば、風景写真）であると考えられる。このため、ここではデフォーカスぼけを推定対象とする。また、絞りを絞っている（Ｆ値は大きい）ため、収差は小さいが回折によるぼけは大きいと考えられる。このため、ここでは回折も推定対象として加える。
【０１１１】
ステップＳ２０７において、ぼけ補正部１０８は、推定するぼけの性質を収差に設定する。ここでは、絞りが大きく絞られていない（Ｆ値は小さい）ため、回折の影響は小さく、収差による劣化のほうが相対的に大きいと考えられる。また焦点距離が長い望遠レンズでは、一般的に高性能の要求が大きいため、収差を補正する必要がある。以上の処理により、ぼけ補正部１０８（決定部１０８１）は、推定するぼけの性質を自動的に決定することができる。ただし、この処理により取得されたぼけの種類をユーザに示し、手動で修正する、手動決定のアシストとして用いてもよい（例えば、ユーザが選択する可能性の高い少なくとも一つのぼけをユーザが認識できるように表示する）。
【０１１２】
次に、他のぼけの性質の判定手法に関して、簡単に説明する。まず、誤差収差は、撮影の際における温度などの環境変化を検出することによりその大きさが分かるため、補正対象とすべきか否かを判定することができる。手ぶれに関しては、焦点距離とシャッタースピードとの関係に基づいて判定可能である。被写体ぶれは、ぼけ画像を複数の部分領域に分割し、特定の部分領域のみに異方性を有する周波数劣化が発生しているかを検出することで判定することができる。擾乱は、撮影条件に含まれる撮影距離および露光時間が長い場合に発生しやすいため、撮影距離および露光時間に基づいて判定可能である。また前述のように、擾乱によるエッジの歪みを補正するため、複数の画像を合成することがある。このため、ぼけ画像が複数の画像の合成画像である場合、擾乱を推定対象とすることが好ましい。
【０１１３】
本実施例において、ぼけ補正部１０８（生成部１０８２）は、ぼけの性質に応じて、ぼけ推定領域の決定処理もしくは推定処理、または、決定処理もしくは推定処理に用いられるパラメータの少なくとも一つを変更する。または、ぼけ補正部１０８は、更に、推定ぼけに対するデノイジング処理を行う。そしてぼけ補正部１０８は、ぼけの性質に応じて、ぼけ推定領域の決定処理、推定処理、もしくは、デノイジング処理、または、決定処理、推定処理、もしくは、デノイジング処理に用いられるパラメータの少なくとも一つを変更する。
【０１１４】
本実施例によれば、単一の画像から様々な種類のぼけを高精度に推定可能な画像処理システムを提供することができる。
【実施例２】
【０１１５】
次に、図９を参照して、本発明の実施例２における画像処理システムについて説明する。図９は、本実施例における画像処理システム３００のブロック図である。
【０１１６】
本実施例の画像処理システム３００は、ぼけ補正部１０８を有する画像処理装置１０５に代えて、推定ぼけ生成部３０８を有する画像処理装置３０５を備えている点で、実施例１の画像処理システム１００とは異なる。本実施例の画像処理システム３００は、実施例１の画像処理システム１００よりも簡易な処理により、ぼけ推定を行うことが可能である。推定ぼけ生成部３０８は、撮像装置１０１にて撮像されたぼけ画像からぼけ成分を推定して出力する。画像処理システム３００のそれ以外の部位は、実施例１の画像処理システム１００と同様であるため、それらの説明は省略する。
【０１１７】
次に、図１０を参照して、推定ぼけ生成部３０８で行われる画像処理に関して説明する。図１０は、本実施例の画像処理方法を示すフローチャートである。図１０の各ステップは、推定ぼけ生成部３０８の決定部３０８１（決定手段）および生成部３０８２（生成手段）により実行される。
【０１１８】
図１０のステップＳ３０１、Ｓ３０２は推定ぼけ生成部３０８の決定部３０８１により実行され、ステップＳ３０３は推定ぼけ生成部３０８の生成部３０８２により実行される。なお、ステップＳ３０１〜Ｓ３０３は、図１を参照して説明した実施例１のステップＳ１０１〜Ｓ１０３とそれぞれ同様である。
【０１１９】
続いてステップＳ３０４において、生成部３０８２は、ステップＳ３０３にて取得したぼけ推定領域における信号勾配を補正し、ぼけ補正信号勾配を生成する。信号勾配の補正方法は、図１を参照して説明した実施例１のステップＳ１０６と同様である。続いてステップＳ３０５において、生成部３０８２は、ぼけ推定領域の信号勾配と、ぼけ補正信号勾配とに基づいて、ぼけを推定する。ぼけの推定方法は、実施例１を参照して説明した実施例１のステップＳ１０７と同様である。
【０１２０】
続いてステップＳ３０６において、生成部３０８２は、ステップＳ３０５にて推定したぼけ（推定結果）が収束したか否かを判定する。ぼけが収束した場合、ステップＳ３０７へ進む。一方、ぼけが収束していない場合、ステップＳ３０４へ戻る。ステップＳ３０４へ戻った場合、生成部３０８２は、ステップＳ３０５にて推定したぼけを用いて、ステップＳ３０４にてぼけ補正信号勾配を新たに生成する。推定したぼけが収束したか否かは、例えば、ぼけ補正信号勾配を推定したぼけで劣化させた値と、ぼけ推定領域における信号勾配との差または比を求め、この差または比を所定値と比べることにより判定可能である。または、ステップＳ３０５にて共役勾配法などの繰り返し演算でぼけを推定している場合、繰り返し演算によるぼけの更新量が所定量よりも小さくなったか否かにより判定してもよい。
【０１２１】
推定結果が収束した場合、ステップＳ３０７において、生成部３０８は、推定されたぼけを推定ぼけとして出力する。出力された推定ぼけは、ぼけ画像の補正、撮影した光学系の光学性能測定、または、撮影の際の手ぶれの解析などに用いることができる。
【０１２２】
本実施例によれば、単一の画像から様々な種類のぼけを高精度に推定可能な画像処理システムを提供することができる。
【実施例３】
【０１２３】
次に、図１１を参照して、本発明の実施例３における撮像システムについて説明する。図１１は、本実施例における撮像システム４００のブロック図である。
【０１２４】
撮像システム４００は、撮像装置４０１、ネットワーク４０２、および、サーバ４０３（画像処理装置）により構成される。撮像装置４０１とサーバ４０３とは有線または無線で接続されており、撮像装置４０１からの画像はサーバ４０３へ転送され、サーバ４０３がぼけの推定および補正を行う。
【０１２５】
サーバ４０３は、通信部４０４、記憶部４０５、および、ぼけ補正部４０６（画像処理部）を有する。サーバ４０３の通信部４０４は、ネットワーク４０２を介して撮像装置４０１と接続されている。撮像装置４０１とサーバ４０３とは、有線または無線のいずれの方法により接続されてもよい。サーバ４０３の通信部４０４は、撮像装置４０１からぼけ画像を受信するように構成されている。撮像装置４０１により撮影が行われると、ぼけ画像（入力画像または撮影画像）は、自動的または手動でサーバ４０３に入力され、記憶部４０５およびぼけ補正部４０６に送られる。記憶部４０５は、ぼけ画像およびそのぼけ画像を撮影した撮影条件に関する情報を記憶する。ぼけ補正部４０６は、ぼけ画像に基づいて特定の性質のぼけ（推定ぼけ）を推定する。そしてぼけ補正部４０６は、推定ぼけに基づいて、ぼけ補正画像を生成する。ぼけ補正画像は、記憶部４０５に記憶されるか、または、通信部４０４を介して撮像装置４０１へ送られる。
【０１２６】
本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワーク、またはＣＤ−ＲＯＭなどの記憶媒体を介して、サーバ４０３に供給することもできる。この際、画像処理プログラムは、サーバ４０３のコンピュータ（またはＣＰＵやＭＰＵなど）により読み出されて、サーバ４０３の機能を実行する。
【０１２７】
なお、ぼけ補正部４０６で行われる処理は、図１を参照して説明した実施例１の画像処理方法と同様であるため、その説明は省略する。本実施例によれば、単一の画像から種々の種類のぼけを高精度に推定可能な撮像システムを提供することができる。
【０１２８】
このように各実施例において、画像処理装置（画像処理装置１０５、３０５、または、サーバ４０３）は、決定手段（決定部１０８１、３０８１）および生成手段（生成部１０８２、３０８２）を有する。決定手段は、ぼけ画像（単一の撮影画像）から推定するぼけの性質を決定する（Ｓ１０２、Ｓ３０２）。生成手段は、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、ぼけ推定領域から推定ぼけを生成する（Ｓ１０３〜Ｓ１１１、Ｓ３０３〜Ｓ３０７）。生成手段は、ぼけの推定処理（Ｓ１０７、Ｓ３０５）と、ぼけを用いたぼけ推定領域における信号に関する情報の補正処理（Ｓ１０６、Ｓ３０４）と、を繰り返して推定ぼけを生成する。また生成手段は、ぼけの性質に応じて、ぼけ推定領域の取得処理もしくは推定処理、または、取得処理もしくは推定処理に用いられるパラメータの少なくとも一つを変更する。
【０１２９】
また画像処理装置において、生成手段は、推定ぼけに対するデノイジング処理を行う（Ｓ１１０）。また生成手段は、ぼけの性質に応じて、ぼけ推定領域の取得処理、推定処理、もしくは、デノイジング処理、または、取得処理、推定処理、もしくは、デノイジング処理に用いられるパラメータの少なくとも一つを変更する。
【０１３０】
好ましくは、ぼけを用いたぼけ推定領域における信号に関する情報は、ぼけ推定領域における輝度分布または輝度分布の微分値に関する情報（すなわち、信号勾配に関する情報）である。また好ましくは、決定手段は、ぼけ画像の周波数特性またはぼけ画像を撮影した際の撮影条件に基づいて、ぼけの性質を決定する。また好ましくは、決定手段は、ぼけ画像を用いて、ぼけの性質を自動的に決定するか、または、ユーザがぼけの性質を手動で決定する際のアシストを行う。また好ましくは、ぼけの性質は、光学系の収差（設計収差、誤差収差）、回折、デフォーカス（ピントずれ、デフォーカスぼけ）、ぶれ（手ぶれ、被写体ぶれ）、および、擾乱の少なくとも一つを含む。また好ましくは、生成手段は、ぼけの推定処理を行う際に、ぼけの性質を反映した制限を加える。
【０１３１】
好ましくは、生成手段は、ぼけ推定領域の解像度を低下させ、解像度が低下したぼけ推定領域に対して、推定処理と補正処理とを行い、推定処理と補正処理とを繰り返しながら、ぼけ推定領域の解像度を低下させる度合い（解像度低下量）を小さくしていく。
【０１３２】
好ましくは、生成手段は、ぼけ推定領域に含まれるノイズ量を取得し、ぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成する。そして生成手段は、ノイズ量に基づいて周波数分解ぼけ推定領域に対するデノイジングを行い、デノイジング後の周波数分解ぼけ推定領域を再合成する（Ｓ１０４）。また好ましくは、画像処理装置は補正手段（補正部１０８３）を有する。補正手段は、推定ぼけを用いてぼけ画像の少なくとも一部を補正する（Ｓ１１２）。
【０１３３】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３４】
各実施例によれば、単一の画像から種々のぼけを高精度に推定可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【０１３５】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３６】
１０５、３０５  画像処理装置
１０８１、３０８１  決定部（決定手段）
１０８２、３０８２  生成部（生成手段）
【図５】
2017010095.tif 000016
【図１１】
2017010095.tif 000017
【図１】
2017010095.tif 000018
【図２】
2017010095.tif 000019
【図３】
2017010095.tif 000020
【図４】
2017010095.tif 000021
【図６】
2017010095.tif 000022
【図７】
2017010095.tif 000023
【図８】
2017010095.tif 000024
【図９】
2017010095.tif 000025
【図１０】
2017010095.tif 000026