(57)【要約】【課題】推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理装置を提供する。【解決手段】画像処理装置は、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、ぼけ推定領域から複数の２次元の推定ぼけを生成する生成手段と、複数の２次元の推定ぼけを用いて推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するデノイジング手段とを有し、生成手段は、ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、信号に関する情報と補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って複数の推定ぼけを生成し、ぼけ推定領域として決定された複数の領域を用いて、または、反復演算処理において互いに異なる複数の演算式を用いて、複数の推定ぼけをそれぞれ生成する。【選択図】図１
2017010093.tif 000002
【特許請求の範囲】
【請求項１】
ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成する生成手段と、
前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するデノイジング手段と、を有し、
前記生成手段は、
前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、
前記ぼけ推定領域として取得された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する、ことを特徴とする画像処理装置。
【請求項２】
前記デノイジング手段は、前記複数の２次元の推定ぼけを用いて、該複数の２次元の推定ぼけの加重平均値、最小値、中央値、最頻値、または、最尤値のうち少なくとも１つを算出し、前記ノイズ低減推定ぼけを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記デノイジング手段は、前記複数の２次元の推定ぼけのうち少なくとも１つがゼロである位置における成分をゼロとすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記デノイジング手段は、前記複数の２次元の推定ぼけの位置合わせを行い、前記ノイズ低減推定ぼけを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記デノイジング手段は、前記位置合わせとして、前記複数の２次元の推定ぼけのそれぞれにおけるピーク値の位置を合わせることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、
前記ぼけ推定領域として前記複数の領域を取得し、
前記補正処理において、前記複数の領域における複数の前記信号に関する情報に基づいて、複数の前記補正信号に関する情報を生成し、
前記推定処理において、前記複数の信号に関する情報と前記複数の補正信号に関する情報のそれぞれに基づいて、前記２次元のぼけを推定する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記ぼけ推定領域として、互いに位置または形状の異なる前記複数の領域を取得することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記生成手段は、前記複数の領域のうち最も面積が小さい最小ぼけ推定領域と、該複数の領域のうち残りのぼけ推定領域のそれぞれとが互いに重なる領域の面積が、該最小ぼけ推定領域の面積の半分以上となるように、該複数の領域を取得することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記生成手段は、
前記補正処理において、前記ぼけ推定領域として取得された一つの領域における前記信号に関する情報に基づいて、前記複数の演算式を用いて複数の前記補正信号に関する情報を生成し、
前記推定処理において、前記信号に関する情報と前記複数の補正信号に関する情報のそれぞれに基づいて、前記２次元のぼけを推定する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１０】
前記生成手段は、
前記補正処理において、前記ぼけ推定領域として取得された一つの領域における前記信号に関する情報に基づいて、前記補正信号に関する情報を生成し、
前記推定処理において、前記信号に関する情報と前記補正信号に関する情報とに基づいて、前記複数の演算式を用いて前記２次元のぼけを複数推定する、ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項１１】
前記生成手段は、前記ぼけ画像のノイズ量に基づいて、前記複数の２次元の推定ぼけの数を決定することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記生成手段は、
前記ぼけ推定領域の解像度を低下させて低解像ぼけ推定領域を生成し、
前記低解像ぼけ推定領域において、前記信号に関する情報を補正して前記補正信号に関する情報を生成し、
前記反復演算処理の過程において、前記低解像ぼけ推定領域の解像度を前記ぼけ推定領域の前記解像度に近づける、ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記生成手段は、
前記ぼけ推定領域に含まれるノイズ量を取得し、
前記ぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成し、
前記ノイズ量に基づいて、前記周波数分解ぼけ推定領域に対するデノイジング処理を行い、
デノイジング処理後の周波数分解ぼけ推定領域を再合成する、ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項１４】
前記ノイズ低減推定ぼけを用いて前記ぼけ画像の少なくとも一部を補正する補正手段を更に有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
前記画像信号に基づいて生成されたぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成する生成手段と、
前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するデノイジング手段と、を有し、
前記生成手段は、
前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、
前記ぼけ推定領域として取得された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する、ことを特徴とする撮像装置。
【請求項１６】
ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成するステップと、
前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するステップと、を有し、
前記複数の２次元の推定ぼけを生成するステップにおいて、
前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、
前記ぼけ推定領域として決定された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する、ことを特徴とする画像処理方法。
【請求項１７】
ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成するステップと、
前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、
前記複数の２次元の推定ぼけを生成するステップにおいて、
前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、
前記ぼけ推定領域として取得された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する、ことを特徴とする画像処理プログラム。
【請求項１８】
請求項１７に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一のぼけ画像から、ぼけ画像に作用している劣化成分であるぼけを推定する画像処理方法に関する。
【背景技術】
【０００２】
近年、表示装置の高精細化に伴い、撮影画像の高画質化が望まれている。撮影画像においては、撮影に用いられる光学系の収差や回折、または、撮影時の手ぶれなどの劣化要因により、被写体空間の情報が失われている。このため従来から、これらの要因に基づく撮影画像の劣化を補正し、より高画質な画像を得る手法が提案されている。そのような手法として、例えば、ＷｉｅｎｅｒフィルタやＲｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などが挙げられる。しかし、これらの手法では、画像に作用している劣化成分（ぼけ）が既知でない場合、高い補正効果を得ることができない。
【０００３】
一方、従来から、手ぶれ（ぼけの一種）により劣化した一枚の画像から手ぶれ成分を推定する手法が提案されている。特許文献１には、手ぶれにより劣化した一枚の画像から、既知である自然画像の強度勾配分布に関する統計情報を用いることにより、手ぶれ成分を推定する手法が開示されている。ここで自然画像とは、近代の人間が生活する上で自然と目にするような画像という意味である。このため自然画像は、樹木や動物などが写った画像に限定されるものではなく、人間、建築物、電子機器などが写った画像も含まれる。自然画像の性質として、信号の強度勾配に関するヒストグラム（強度勾配ヒストグラム）は、勾配の強さに応じて裾の重い分布（Ｈｅａｖｙ  Ｔａｉｌｅｄ  Ｄｉｓｔｒｉｂｕｔｉｏｎ）に従うことが知られている。特許文献１には、手ぶれが補正された画像の強度勾配ヒストグラムが、裾の重い分布に従うように制約をかけることにより、手ぶれ画像のみから手ぶれ補正画像を推定する手法が開示されている。そして、その手ぶれ補正画像と手ぶれ画像との比較結果に基づいて、ぶれ成分が推定される。このときのぶれ成分の推定精度は、手ぶれ画像内にエッジが多く含まれているほど上昇する。
【０００４】
特許文献２には、ノイズを含む手ぶれ画像から、高精度に手ぶれを推定する手法が開示されている。この手法では、手ぶれ画像に１次元方向のデノイジングフィルタを作用させ、その方向のノイズを低減してから手ぶれを推定する。そして、推定した手ぶれをデノイジングフィルタと平行な方向に積分（Ｒａｄｏｎ変換）して、１次元の手ぶれを生成する。この作業を様々な方向に関して行って１次元の手ぶれを複数取得し、それらを逆Ｒａｄｏｎ変換することにより、ノイズの少ない２次元の手ぶれを推定することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許第７６１６８２６号明細書
【特許文献２】米国出願公開第２０１４／１３３７７５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の手法では、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して行うことができない。ぼけ画像にはノイズが含まれているため、そこから推定されたぼけにもノイズが混じってしまう。高精度なぼけの推定のためには、推定したぼけのノイズを如何に低減するかが重要となる。
【０００７】
特許文献１では、推定した手ぶれのデノイジングにハード閾値法（Ｈａｒｄ  Ｔｈｒｅｓｈｏｌｄｉｎｇ）が用いられている。この手法では、所定の強度（閾値）以下である成分の強度を０とするため、ノイズとともに手ぶれ本来の弱い成分も同時に消してしまうという問題がある。特許文献２の手法では、推定した１次元の手ぶれから２次元の手ぶれを再構成する必要がある。このため、１次元の手ぶれを非常に多く（落とした次元に含まれる成分と同程度、またはそれ以上）生成しなければならない。少数の１次元手ぶれでは、再構成の精度が大きく低下し、または、アーティファクトが発生してしまう。このため、デノイジングされた手ぶれ推定のための計算量が大きくなるという問題がある。
【０００８】
そこで本発明は、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての画像処理装置は、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成する生成手段と、前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するデノイジング手段とを有し、前記生成手段は、前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、前記ぼけ推定領域として決定された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する。
【００１０】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号に基づいて生成されたぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成する生成手段と、前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するデノイジング手段とを有し、前記生成手段は、前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、前記ぼけ推定領域として決定された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する。
【００１１】
本発明の他の側面としての画像処理方法は、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成するステップと、前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するステップとを有し、前記複数の２次元の推定ぼけを生成するステップにおいて、前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、前記ぼけ推定領域として決定された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する。
【００１２】
本発明の他の側面としてのプログラムは、ぼけ画像における少なくとも一部のぼけ推定領域を取得し、該ぼけ推定領域から複数の２次元の推定ぼけを生成するステップと、前記複数の２次元の推定ぼけを用いて該推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成するステップと、をコンピュータに実行させるように構成された画像処理プログラムであって、前記複数の２次元の推定ぼけを生成するステップにおいて、前記ぼけ推定領域における信号に関する情報に含まれるぼけを補正して補正信号に関する情報を生成する補正処理と、該信号に関する情報と該補正信号に関する情報とに基づいて２次元のぼけを推定する推定処理と、を反復する反復演算処理を行って前記複数の２次元の推定ぼけを生成し、前記ぼけ推定領域として決定された複数の領域を用いて、または、前記反復演算処理において互いに異なる複数の演算式を用いて、前記複数の２次元の推定ぼけをそれぞれ生成する。
【００１３】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１４】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１５】
本発明によれば、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１におけるノイズ低減推定ぼけの生成方法を示すフローチャートである。
【図２】実施例１における画像処理システムのブロック図である。
【図３】実施例１、２における画像処理システムの外観図である。
【図４】実施例１における画像処理方法を示すフローチャートである。
【図５】実施例１におけるぼけ推定領域の取得例を示す図である。
【図６】実施例１におけるノイズ低減推定ぼけの生成例を示す図である。
【図７】実施例１〜３におけるノイズ低減推定ぼけの生成例を示す図である。
【図８】実施例２における画像処理システムのブロック図である。
【図９】実施例２における画像処理方法を示すフローチャートである。
【図１０】実施例２におけるノイズ低減推定ぼけの生成例を示す図である。
【図１１】実施例３における撮像システムのブロック図である。
【図１２】実施例３における撮像システムの外観図である。
【図１３】実施例３における画像処理方法を示すフローチャートである。
【図１４】実施例３におけるノイズ低減推定ぼけの生成例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。
【００１８】
本実施形態において、被写体空間の情報を劣化させる要因を「ぼけ」と総称するが、ぼけの要因としては、回折、収差、デフォーカス、ぶれ、および、擾乱が含まれる。本実施形態を説明する前に、これらのぼけの要因について詳述する。
【００１９】
回折とは、画像を撮影した撮像装置の光学系で発生する、回折に起因する劣化である。これは、光学系の開口径が有限であるために生じる。
【００２０】
収差とは、光学系で発生する理想波面からのずれに起因する劣化である。光学系の設計値により発生する収差を設計収差、光学系の製造誤差や環境変化により発生する収差を誤差収差と呼ぶ。環境変化とは、温度、湿度、気圧などの変化を示し、これらの変化に応じて光学系の性能も変化する。単に収差という場合、設計収差および誤差収差の両方が含まれる。
【００２１】
デフォーカスとは、光学系の焦点と被写体とが合致しないことに起因する劣化である。デフォーカスが画像の全体に及ぶものをピントずれ、デフォーカスが画像の一部のみであるものをデフォーカスぼけと呼ぶ。具体的は、デフォーカスぼけとは、画像内に異なる距離の主要被写体と背景とが存在し、主要被写体に合焦していた場合において、背景の情報を劣化させている成分をいう。この劣化の大きさは、背景がどれだけ主要被写体から奥行き方向に離れているかに依存して変化する。デフォーカスぼけは、例えば、画像内の主要被写体を際立たせる表現方法として用いられる。単にデフォーカスという場合、ピントずれとデフォーカスぼけとの両方が含まれる。
【００２２】
ぶれとは、撮影の際、露光中に被写体と撮像装置との間の相対関係（位置および角度）が変化することにより生じる劣化である。ぶれのうち、画像の全体を劣化させるものを手ぶれ、画像の一部が劣化するものを被写体ぶれと呼ぶ。単にぶれという場合、手ぶれおよび被写体ぶれの両方が含まれる。
【００２３】
擾乱とは、撮影中に被写体と撮像装置との間に存在する物質が揺らぐことにより生じる劣化である。例えば、大気の揺らぎや水中撮影における水の揺らぎが挙げられる。短秒露光中に擾乱が発生している場合、ぼけ画像では被写体空間の直線が揺らめいた曲線になる。この曲がりを補正するため、擾乱成分の異なる複数のフレーム（または連写）画像を合成することがある。しかし、このような合成処理では、エッジの曲がりを補正することができても、周波数成分の劣化は残存する。ここで取り扱うぼけ画像は、１回の露光中に擾乱に伴う周波数成分の劣化が起きた画像（長秒露光画像）だけでなく、前述のような複数フレーム（または連写）の画像を合成した画像を含む。
【００２４】
本実施形態において、点像強度分布はＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）と記す。また本実施形態において、モノクロ画像に対する処理について説明するが、多次元（例えばＲＧＢ）画像にも同様に適用可能であり、ＲＧＢの各チャンネルで処理を行えばよい。チャンネル間における差がない、または無視できる程度のぼけでは、チャンネル数を減らして（ＲＧＢをモノクロ化するなど）、処理しても構わない。各チャンネルが異なる波長を取得している場合、チャンネル間における差がないぼけとしては、ぶれが挙げられる。
【００２５】
一方、収差、回折、デフォーカス、および、擾乱は、波長に依存してぼけが変化する。ここでデフォーカスに関しては、ピント位置から大きく離れていても、軸上色収差の影響で波長によってぼけの広がりが変わる。しかし、これらの波長依存性を有するぼけに対しても、撮影に用いる撮像素子のサンプリング周波数に対して、チャンネル間の性能差が充分に小さければ、チャンネル間の差が無視できると考えてよい。ただし、これらチャンネル間における差が無視できるぼけを推定する場合、前述のチャンネル数を減らす処理を行うよりも、複数のチャンネルのままで１つのぼけを推定することが望ましい。ぼけの推定は、画像の信号勾配に関する情報を用いて行うため、その情報が多いほど推定精度が向上する。すなわち、チャンネル数を減らさずに複数の画像で推定したほうが、信号勾配の情報が増加する（ただし、各チャンネルの画像がそれぞれの比例倍に一致する場合、信号勾配の情報は増加しない）ため、ぼけをより高精度に推定することができる。また本実施形態では、チャンネルが異なる波長を撮影する例を挙げているが、それ以外のパラメータ（偏光など）でも同様に考えればよい。
【００２６】
ここで、具体的な実施例を説明する前に、本実施形態の簡単な概要について説明する。ぼけ画像から、ぼけを推定するためのぼけ推定領域を取得し、ぼけ推定領域内における信号勾配と、信号勾配のぼけが補正された補正信号勾配とを比較することにより、推定ぼけを生成する。このとき、ぼけ推定領域内にノイズが含まれると、その影響により推定ぼけにもノイズが発生する。そこで本実施形態では、略同じ位置に存在する複数のぼけ推定領域を取得して、複数の推定ぼけを生成する。または、１つのぼけ推定領域に対して、互いに異なる演算式（互いに異なる処理または互いに異なるパラメータ）を用いて複数の推定ぼけを生成する。ただし、複数のぼけ推定領域を取得し、さらに異なる処理またはパラメータを用いることで、複数の推定ぼけを生成しても構わない。
【００２７】
このように生成された推定ぼけに関して、ぼけの成分は略同じ値を有するが、互いにノイズの出方が異なる。このため、複数の推定ぼけを用いる（例えば、複数の推定ぼけを平均化する）ことにより、デノイジングされたノイズ低減推定ぼけを取得することができる。この手法では、次元数を低下させる処理を含まない（同一の次元数で処理を行う）ため、少ない数（例えば、２つや３つ）の推定ぼけからでも、ノイズ低減推定ぼけを取得することができる。このため、従来の手法と比べて、計算量の増大を抑制する（または、計算量を低減する）ことができる。
【実施例１】
【００２８】
まず、図２および図３を参照して、本発明の実施例１における画像処理システムについて説明する。図２は、本実施例における画像処理システム１００のブロック図である。図３は、画像処理システム１００の外観図である。本実施例の画像処理システム１００は、複数のぼけ推定領域を取得して、複数の推定ぼけを生成する。
【００２９】
画像処理システム１００は、撮像装置１０１、記録媒体１０２、表示装置１０３、出力装置１０４、および、画像処理装置１０５を備えて構成される。画像処理装置１０５は、通信部１０６、記憶部１０７、および、ぼけ補正部１０８（画像処理部）を有する。ぼけ補正部１０８は、取得部１０８１（取得手段）、生成部１０８２（生成手段）、デノイジング部１０８３（デノイジング手段）、および、補正部１０８４（補正手段）を有する。ぼけ補正部１０８の各部は、後述のように本実施例の画像処理方法を実行する。なお、撮像装置１０１の内部に画像処理装置１０５（ぼけ補正部１０８）を備えるように構成してもよい。
【００３０】
撮像装置１０１は、光学系１０１１（撮像光学系）および撮像素子１０１２を有する。光学系１０１１は、被写体空間からの光線を撮像素子１０１２上に結像させる。撮像素子１０１２は、複数の画素を有し、光学系１０１１を介して形成された光学像（被写体像）を光電変換して画像信号を出力する。撮像装置１０１は、撮像素子１０１２から出力された画像信号に基づいて撮影画像（ぼけ画像）を生成する。撮像装置１０１により得られたぼけ画像は、通信部１０６を介して画像処理装置１０５へ出力される。ぼけ画像に関しては、前述のような複数の種類のぼけの少なくとも一つが作用することにより、被写体空間の情報が劣化している。
【００３１】
記憶部１０７は、画像処理装置１０５に入力されたぼけ画像、および、ぼけ画像を撮影した際の撮影条件に関する情報を記憶する。ここで撮影条件とは、撮影時における撮像装置１０１の焦点距離、絞り、シャッタースピード、ＩＳＯ感度などである。ぼけ補正部１０８は、ぼけ画像に基づいて特定のぼけ成分を推定して補正し、ぼけ補正画像を生成する。ぼけ補正画像は、通信部１０６を介して、表示装置１０３、記録媒体１０２、および、出力装置１０４のいずれか一つまたは複数に出力される。表示装置１０３は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置１０３を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体１０２は、半導体メモリ、ハードディスク、ネットワーク上のサーバなどである。出力装置１０４は、プリンタなどである。画像処理装置１０５は、必要に応じて、現像処理やその他の画像処理を行う機能を有してもよい。
【００３２】
本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワークまたはＣＤ−ＲＯＭなどの記憶媒体を介して、画像処理装置１０５に供給することもできる。この際、画像処理プログラムは、画像処理装置１０５のコンピュータ（又は、ＣＰＵやＭＰＵなど）によって読み出され、ぼけ補正部１０８の機能を実行する。
【００３３】
ぼけ補正部１０８は、図１および図４のフローチャートで示される画像処理を実行する。その画像処理に関する説明を行う前に、ぼけ推定領域（ぼけ画像の少なくとも一部）における信号勾配のぼけを補正する方法（補正処理）、および、ぼけを推定する方法（推定処理）に関して説明する。なお本実施例において、信号勾配とは、ぼけ推定領域における信号に関する情報であり、画像そのもの（画像の輝度分布）に関する情報またはそのｎ次微分（ｎは０を含む自然数）に関する情報（微分値に関する情報）を含む。
【００３４】
本実施例において、ぼけ（劣化成分）はＰＳＦの形で表現されるが、これに限定されるものではなく、例えばＯＴＦ（Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）の形で表現しても構わない。まず、適当なＰＳＦの初期値（Ｇａｕｓｓ分布や１次元のラインなど）を与え、そのＰＳＦでぼけ推定領域における信号勾配のぼけを補正し、補正信号勾配を生成する。続いて、信号勾配と補正信号勾配とに基づいてＰＳＦを推定する。推定されたＰＳＦを用いて、再度、ぼけ推定領域の信号勾配を補正して新たな補正信号勾配を生成し、ＰＳＦを推定する。これを反復すること（ループ処理）により、ぼけ画像（ぼけ推定領域）のみからぼけを推定することができる。
【００３５】
次に、信号勾配のぼけ補正方法（補正処理）について、具体的に説明する。ぼけ推定領域とぼけの関係は、以下の式（１）のように表される。
【００３６】
【数１】
2017010093.tif 000003
【００３７】
式（１）において、ｂ-ｉはｉ番目のループ処理におけるぼけ推定領域の信号分布、ｋｉはぼけ、ａｉはぼけｋｉによる劣化がない信号分布、ｎｉはノイズである。「＊」はコンボリューション演算を表す。
【００３８】
以下の式（２）のように表される最適化問題を解くことにより、ｉ番目のループ処理におけるａｉの推定値ｄ-ｉ（補正信号分布に相当）を推定する。
【００３９】
【数２】
2017010093.tif 000004
【００４０】
式（２）において、Ｌは損失関数、Φ（ｄｉ）はｄｉに対する正則化項であり、それぞれの具体的な例については後述する。損失関数Ｌは、解をモデル（ここでは式（１）を指す）へフィッティングさせる効果を持つ。正則化項Φは、解を尤もらしい値へ収束させる効果を有する。正則化項には、事前知識と呼ばれる解（ａｉ）が持つべき性質を用いる。また、正則化項は損失関数のみを考えた際に起こる過剰なフィッティング（ノイズｎｉの影響をｄｉへ反映させてしまうこと）を防ぐ役割を有する。なお、ぼけ推定領域を複数のチャンネル（例えばＲＧＢ）から取得している場合、各チャンネルに対して式（２）を解く。
【００４１】
本実施例では、式（２）を解くことにより、補正信号勾配を求めるが、その他の手法を用いてもよい。例えば、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法、または、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いることができる。さらに、逆フィルタや超解像手法と合わせて、ショックフィルタなどの先鋭化フィルタを適用して補正信号勾配を生成してもよい。さらに、先鋭化フィルタを併用する際には、バイラテラルフィルタやガイデッドフィルタなどのエッジの解像感を保つ平滑化フィルタを用いて、ノイズやリンギングを抑制することが好ましい。複数の補正信号勾配を生成する際には、それぞれ異なる手法（例えば、式（２）の最適化と逆フィルタ）を用いて生成してもよい。
【００４２】
次に、式（２）中の損失関数Ｌおよび正則化項Φの具体例について説明する。損失関数Ｌとしては、以下の式（３）のように示される関数が考えられる。
【００４３】
【数３】
2017010093.tif 000005
【００４４】
式（３）において、以下の式（４）のように表される記号はｐ次平均ノルムを表し、ｐ＝２の場合にはユークリッドノルムを示す。
【００４５】
【数４】
2017010093.tif 000006
【００４６】
正則化項Φの例としては、以下の式（５）のように示される１次平均ノルムがある。
【００４７】
【数５】
2017010093.tif 000007
【００４８】
式（５）において、λは正則化項Φの重みを表すパラメータ、Ψは画像に対する基底変換を表す関数であり、その例としてウェーブレット変換や離散コサイン変換などがある。式（５）の正則化項Φは、画像がウェーブレット変換や離散コサイン変換などの基底変換を施されることで、信号成分がスパース（疎）になる、すなわち、より少ない数の信号で表すことができるという性質に基づく。これに関しては、例えば、「Ｒｉｃｈａｒｄ  Ｇ．Ｂａｒａｎｉｕｋ，“Ｃｏｍｐｒｅｓｓｉｖｅ  Ｓｅｎｓｉｎｇ”，ＩＥＥＥ  ＳＩＧＮＡＬ  ＰＲＯＣＥＳＳＩＮＧ  ＭＡＧＡＺＩＮＥ  ［１１８］  ＪＵＬＹ  ２００７」に説明されている。また、その他の正則化項の例として、Ｔｉｋｈｏｎｏｖ正則化項やＴＶ（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）ノルム正則化項などを用いてもよい。
【００４９】
最適化問題である式（２）で表される推定式を解くには、繰り返し演算を用いた手法を利用し、例えばＴｉｋｈｏｎｏｖ正則化項を採用した場合は、共役勾配法などを使用すればよい。また、式（５）またはＴＶノルム正則化項を採用する場合、ＴｗＩＳＴ（Ｔｗｏ−ｓｔｅｐ  Ｉｔｅｒａｔｉｖｅ  Ｓｈｒｉｎｋａｇｅ／Ｔｈｒｅｓｈｏｌｄｉｎｇ）などを用いるとよい。ＴｗＩＳＴに関しては、「Ｊ．Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ｅｔ  ａｌ．，“Ａ  ｎｅｗ  ＴｗＩＳＴ：ｔｗｏ−ｓｔｅｐ  ｉｔｅｒａｔｉｖｅ  ｓｈｒｉｎｋａｇｅ／ｔｈｒｅｓｈｏｌｄｉｎｇ  ａｌｇｏｒｉｔｈｍｓ  ｆｏｒ  ｉｍａｇｅ  ｒｅｓｔｏｒａｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．１６，Ｄｅｃ．２００７」に説明されている。
【００５０】
また、これらの繰り返し演算を行う際、繰り返しの度に正則化の重みなどのパラメータを更新してもよい。なお、式（１）、（２）は、画像（信号分布）に対して記載されているが、画像の微分に関しても同様に成り立つ。このため、画像に代えて、画像の微分（両者を含めて信号勾配と表現する）に対してぼけ補正を行ってもよい。
【００５１】
次に、ぼけの推定方法（推定処理）について具体的に説明する。ＰＳＦに関しても、式（２）と同様に、以下の式（６）を用いて推定することができる。
【００５２】
【数６】
2017010093.tif 000008
【００５３】
なお、ぼけ推定領域を複数のチャンネルから取得している（チャンネルによるぼけの変化がない、または無視できる）場合、式（６）は以下の式（６ａ）に示されるように変形される。
【００５４】
【数６ａ】
2017010093.tif 000009
【００５５】
式（６ａ）において、Ｈはぼけ推定領域に含まれるチャンネルの総数、ｄｉ，ｈはｈ番目のチャンネルにおけるｄｉ、ｖｈは重みを示す。信号勾配の補正の場合、式（２）を各チャンネルに対して解けばよいが、ぼけ推定では式（６ａ）のように全チャンネルで纏められた形になる。これは、推定する対象が、式（２）では各チャンネルで異なるのに対し、式（６ａ）では共通している（同一のＰＳＦである）ためである。
【００５６】
式（６）、（６ａ）の損失関数Ｌとして、以下の式（７）が考えられる。
【００５７】
【数７】
2017010093.tif 000010
【００５８】
式（７）において、∂ｊは微分演算子を表す。∂０（ｊ＝０）は恒等演算子であり、∂ｘ、∂ｙはそれぞれ、画像の横方向と縦方向の微分を表す。さらに高次の微分は、例えば∂ｘｘや∂ｘｙｙのように表される。なお、ぼけ推定領域の信号勾配とは、これら全てのｊ（ｊ＝０，ｘ，ｙ，ｘｘ，ｘｙ，ｙｙ，ｙｘ，ｘｘｘ，……）を含むが、本実施例ではｊ＝ｘ，ｙのみを考える。ｕｊは重みである。
【００５９】
式（６）の正則化項Φとしては、推定するＰＳＦの性質に沿ったものを用いることができる。例えば、ＰＳＦがデフォーカスのように潰れた形になる場合、以下の式（８）のように表されるＴＶノルム正則化を用いることが好ましい。
【００６０】
【数８】
2017010093.tif 000011
【００６１】
式（８）において、ζは正則化項の重みである。
【００６２】
また、ＰＳＦがぶれのようにライン状の形になる場合、以下の式（９）のように表される１次平均ノルム正則化を用いることが好ましい。
【００６３】
【数９】
2017010093.tif 000012
【００６４】
また、ＰＳＦの形に依存せず、ある程度の精度が確保され、かつ、高速に解ける正則化項として、Ｔｉｋｈｏｎｏｖ正則化を用いてもよい。複数の補正ぼけを生成する際には、それぞれ異なる手法（例えば、式（８）のＴＶノルム正則化およびＴｉｋｈｏｎｏｖ正則化）を用いて生成してもよい。
【００６５】
次に、図４を参照して、ぼけ補正部１０８で行われる画像処理に関して説明する。図４は、本実施例の画像処理方法を示すフローチャートである。図４の各ステップは、ぼけ補正部１０８の取得部１０８１、生成部１０８２、デノイジング部１０８３、および、補正部１０８４により実行される。
【００６６】
まずステップＳ１０１において、ぼけ補正部１０８の取得部１０８１は、ぼけ画像（撮影画像）を取得する。続いてステップＳ１０２において、ぼけ補正部１０８の生成部１０８２は、ぼけ画像のノイズ量に基づいて、後に生成する推定ぼけの数（推定ぼけの生成数）を決定する。ぼけ画像のノイズ量が大きいほど推定ぼけのノイズも多くなる。このため好ましくは、生成部１０８２は、ぼけ画像のノイズ量が大きいほど推定ぼけの生成数を増やすようにする。生成部１０８２は、ぼけ画像のノイズ量を、例えば撮影条件であるＩＳＯ感度に基づいて、または、ぼけ画像から見積もることにより決定する。ぼけ画像からぼけ画像に含まれるノイズ量を見積もる手法は、例えば、「Ｃ．Ｌｉｕ，ｅｔ  ａｌ．，“Ｎｏｉｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｆｒｏｍ  ａ  Ｓｉｎｇｌｅ  Ｉｍａｇｅ”，ｐｒｏｃ．ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ｐｐ．９０１−９０８（２００６）」に記載されている。
【００６７】
また生成部１０８２は、ぼけ画像からノイズ量を取得する代わりに、後述のステップＳ１０５（より正確には、図１のステップＳ２０１）にて取得したぼけ推定領域からノイズ量を取得してもよい。ここでは生成部１０８２は、ノイズ量から推定ぼけの生成数を決定しているが、常に所定の数（一定数）の推定ぼけを生成するようにしてもよい。ただし、ノイズ低減効果と計算負荷とのバランスをとるため、ノイズ量から推定ぼけの生成数を決定することが好ましい。
【００６８】
続いてステップＳ１０３において、生成部１０８２は、ぼけ画像に対してデノイジング処理を行う。ぼけ画像（または、ぼけ推定領域）にノイズが含まれていると、推定したぼけにもノイズが発生し、ぼけの推定精度が低下してしまう。ただし、ステップＳ１０３を経ることにより推定ぼけのノイズを減らすことはできるが、完全に無くすことはできない。これは、デノイジング処理により、ぼけ画像のノイズ成分のみを完全に消すことができないためである。またステップＳ１０２と同様に、ステップＳ１０３に代えて、ステップＳ１０５の後（より正確には、図１のステップＳ２０１の後）に、ぼけ推定領域に対してデノイジング処理を行ってもよい。デノイジング手法としては、バイラテラルフィルタやＮＬＭ（Ｎｏｎ  Ｌｏｃａｌ  Ｍｅａｎｓ）フィルタなどがある。
【００６９】
好ましくは、生成部１０８２は、以下の手法でぼけ推定領域をデノイジングする。まず、生成部１０８２は、ぼけ推定領域を周波数分解して、周波数分解ぼけ推定領域を生成する。そして生成部１０８２は、ぼけ推定領域のノイズ量に基づいて、周波数分解ぼけ推定領域をデノイジングする。次に、生成部１０８２は、周波数分解ぼけ推定領域を再合成することにより、ノイズ低減されたぼけ推定領域を取得する。一般に、デノイジング処理は、画像からノイズを低減するとともに、画像をぼかすという問題がある。ぼけ推定領域がデノイジングによってぼけると、後の推定処理を行う際に、画像を元来劣化させているぼけと、デノイジングによるぼけが混在したＰＳＦを推定してしまうことになる。このため、画像に与えるぼけが小さいデノイジング手法を用いることが好ましい。このような手法として、画像の周波数分解を利用したデノイジング処理を適用する。ここでは、周波数分解としてウェーブレット変換を用いた例を説明する。なお、この詳細については、「Ｄｏｎｏｈｏ  Ｄ．Ｌ．，“Ｄｅ−ｎｏｉｓｉｎｇ  ｂｙ  ｓｏｆｔ−ｔｈｒｅｓｈｏｌｄｉｎｇ”，ＩＥＥＥ  Ｔｒａｎｓ．  ｏｎ  Ｉｎｆ．  Ｔｈｅｏｒｙ，４１，３，ｐｐ．６１３−６２７」に記載されている。
【００７０】
ウェーブレット変換とは、局在する小さな波（ウェーブレット）を用いて画像の位置ごとに周波数解析を行い、信号を高周波成分と低周波成分に分解していく変換である。画像のウェーブレット変換では、画像の水平方向に対してウェーブレット変換を行って低周波成分と高周波成分に分解し、さらに分解して得られた低周波成分と高周波成分の垂直方向に対してウェーブレット変換を行う。ウェーブレット変換により、画像は４分割され、周波数帯域が互いに異なる４つのサブバンド画像に周波数分解される。このとき、左上の低周波帯域成分（スケーリング係数）のサブバンド画像をＬＬ１とし、右下の高周波帯域成分（ウェーブレット係数）のサブバンド画像をＨＨ１とする。また、右上（ＨＬ１）と左下（ＬＨ１）のサブバンド画像はそれぞれ、水平方向に高周波帯域成分をとって垂直方向に低周波帯域成分を取り出したものと、水平方向に低周波帯域成分をとって垂直方向に高周波帯域成分を取り出したものである。
【００７１】
さらに、サブバンド画像ＬＬ１をウェーブレット変換すると、画像サイズを半分にして、サブバンド画像ＬＬ２、ＨＬ２、ＬＨ２、ＨＨ２に分解することができ、分解して得られたサブバンド画像ＬＬに対して変換レベル回数だけ分解することができる。
【００７２】
ウェーブレット変換を用いてノイズ低減処理を行う方法として、スレッショルディングが知られている。これは、設定したしきい値より小さい量の成分をノイズとみなし、そのノイズを低減する方法である。ウェーブレット空間上でのしきい値処理は、サブバンド画像ＬＬ以外のサブバンド画像に対して行われ、以下の式（１０）に示されるように、しきい値以下の絶対値を有するウェーブレット係数ｗｓｕｂｂａｎｄ（ｘ，ｙ）を０に置き換えてデノイジングを行う。
【００７３】
【数１０】
2017010093.tif 000013
【００７４】
式（１０）において、ｘ、ｙはそれぞれ、画像の縦と横の座標であり、ρｓｕｂｂａｎｄは重みパラメータ、σはノイズの標準偏差である。ぼけ推定領域に含まれるノイズ量σは、ぼけ推定領域から測定または推定することにより求められる。ノイズが実空間および周波数空間において一様なホワイトガウシアンノイズである場合、ぼけ推定領域のノイズを、以下の式（１１）に示されるようなＭＡＤ（Ｍｅｄｉａｎ  Ａｂｓｏｌｕｔｅ  Ｄｅｖｉａｔｉｏｎ）から推定する手法が知られている。
【００７５】
【数１１】
2017010093.tif 000014
【００７６】
ＭＡＤは、ぼけ推定領域をウェーブレット変換して得られたサブバンド画像ＨＨ１におけるウェーブレット係数ｗＨＨ１のメディアン（中央値）を用いて求められる。標準偏差とＭＡＤとは、以下の式（１２）に示される関係であることから、ノイズ成分の標準偏差を推定することができる。
【００７７】
【数１２】
2017010093.tif 000015
【００７８】
なお、式（１１）、（１２）に代えて、撮影条件（撮影の際におけるＩＳＯ感度）に基づいてノイズ量σを取得してもよい。
【００７９】
続いてステップＳ１０４において、生成部１０８２は、ぼけ画像からぼけ推定を行う位置を取得する。生成部１０８２は、ステップＳ１０４にて取得した位置の近傍から、後の処理において複数のぼけ推定領域を取得する。続いてステップＳ１０５において、生成部１０８２およびデノイジング部１０８３は、ステップＳ１０４にて取得した位置に対応する、デノイジング処理後の推定ぼけを生成する。ステップＳ１０５の詳細は、図１のフローチャートに示されており、その説明に関しては後述する。
【００８０】
続いてステップＳ１０６において、生成部１０８２は、ぼけ画像における所定の領域（例えば、ぼけ画像の全体）に対して、ノイズ低減推定ぼけの生成が完了したか否かを判定する。ノイズ低減推定ぼけの生成が完了している場合、ステップＳ１０７へ進む。一方、ノイズ低減推定ぼけの生成が完了していない場合、ステップＳ１０４へ戻り、生成部１０８２は、ぼけ画像における所定の領域内から、まだ推定ぼけが生成されていない部分を新たな推定位置として取得する。
【００８１】
ステップＳ１０７において、デノイジング部１０８３（または生成部１０８２）は、生成されたノイズ低減推定ぼけを出力する。ぼけ画像における所定の領域内に複数のぼけ推定位置を含む場合、複数のノイズ低減推定ぼけが存在する。このためデノイジング部１０８３は、それら複数のノイズ低減推定ぼけを出力する。本実施例において、ノイズ低減推定ぼけはＰＳＦのデータである。ただし、本実施例はこれに限定されるものではなく、ＯＴＦ、ＰＳＦもしくはＯＴＦを所定の基底でフィッティングした係数データ、または、ＰＳＦもしくはＯＴＦを画像データに変換した画像などの形で出力してもよい。
【００８２】
続いてステップＳ１０８において、ぼけ補正部１０８の補正部１０８４は、出力されたノイズ低減推定ぼけを用いてぼけ画像のぼけを補正する。補正には、例えば、Ｗｉｅｎｅｒフィルタなどの逆フィルタを用いた手法や、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法を用いることができる。ぼけ画像においてぼけを推定する複数の位置が存在する場合、補正部１０８４は、対応するそれぞれのノイズ低減推定ぼけが得られた推定位置の近傍に対して、ノイズ低減推定ぼけを用いて補正を行う。また、全てのノイズ低減推定ぼけが出力される前に、ステップＳ１０５にて生成されたノイズ低減推定ぼけを用いて、逐次、推定位置の近傍のぼけを補正し、最後にそれらを合わせることで、ぼけ補正画像を生成してもよい。
【００８３】
次に、図１を参照して、ノイズ低減推定ぼけの生成処理（ステップＳ１０５）について詳述する。図１は、ノイズ低減推定ぼけの生成方法を示すフローチャートである。図１の各ステップは、ぼけ補正部１０８の生成部１０８２およびデノイジング部１０８３により実行される。
【００８４】
まずステップＳ２０１において、生成部１０８２は、ステップＳ１０４にて取得されたぼけの推定位置の近傍から、複数のぼけ推定領域（複数のぼけ推定領域として複数の領域）を取得する。生成部１０８２は、各ぼけ推定領域内には同じぼけが作用していると仮定して、ぼけを推定する。ぼけ推定領域は、ユーザが指定した領域または自動的に取得されるものであってもよい。ぼけ画像の全体においてぼけが一定の場合（Ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔと呼ぶ）、ぼけ画像の全体を１つのぼけ推定領域して設定すればよいため、本実施例ではＳｈｉｆｔ−ｉｎｖａｒｉａｎｔのぼけは取り扱わない。この場合、実施例２または実施例３にて説明した手法を用いればよい。本実施例では、ぼけ画像における位置に応じてぼけが変化する場合（Ｓｈｉｆｔ−ｖａｒｉａｎｔ）を扱う。
【００８５】
ステップＳ１０４にて取得されたぼけの推定位置の近傍において、ぼけは略同一形状を有する。このため生成部１０８２は、ぼけの推定位置の近傍から複数のぼけ推定領域（複数の領域）を取得する。生成部１０８２は、各ぼけ推定領域を、ぼけの推定位置を含むように取得することが好ましい。ぼけ推定領域の取得数は、ステップＳ１０２にて決定された推定ぼけの数と同じである。ただし、実施例２または実施例３と、後述する手法とを合わせることにより、ぼけ推定領域の取得数を推定ぼけの数よりも少なくすることができる。
【００８６】
図５は、本実施例におけるぼけ推定領域の取得例を示す図である。図５に示されるように、ぼけ画像２０１内にぼけの推定位置２０２が指定されている。生成部１０８２は、ぼけの推定位置２０２の近傍から、３つのぼけ推定領域２０３ａ〜２０３ｃを取得する。ただし、ぼけ推定領域の数、位置、および、形状（大きさを含む）はこれに限定されるものではない。ぼけ推定領域２０３ａ〜２０３ｃは、それぞれ、位置または形状が異なっている。
【００８７】
好ましくは、生成部１０８２は、以下の条件を満たすように複数のぼけ推定領域を決定する。すなわち、複数のぼけ推定領域のうち最も面積が小さいぼけ推定領域を、最小ぼけ推定領域と呼称する。このとき、最小ぼけ推定領域と、複数のぼけ推定領域のうち残りのぼけ推定領域のそれぞれ（残りの全てのぼけ推定領域）とが互いに重なる領域の面積が、最小ぼけ推定領域の面積の半分以上であることが好ましい。前述のように、本実施例ではＳｈｉｆｔ−ｖａｒｉａｎｔなぼけを対象としているため、ぼけ推定領域の位置または形状に応じて、ぼけは異なる。このため、複数のぼけ推定領域が互いに大きくずれていると、全く異なるぼけを推定してしまう可能性がある。前述の条件を満たすことにより、複数のぼけ推定領域の間での乖離が抑制され、略同一のぼけを推定することができる。図５においても、ぼけ推定領域２０３ａ（最小ぼけ推定領域）と、ぼけ推定領域２０３ｂ（または、ぼけ推定領域２０３ｃ）とが互いに重なる領域の面積は、ぼけ推定領域２０３ａの面積の半分以上となっている。
【００８８】
続いてステップＳ２０２において、生成部１０８２は、複数のぼけ推定領域のそれぞれの解像度を低下させ、複数の低解像ぼけ推定領域を生成する。ぼけ推定領域の解像度を低下させることにより、推定するぼけの解像度も同様に低下する。その結果、後述するぼけ推定の収束性が向上し、かつ、推定結果が最適解とは異なる局所解へ落ち込む可能性を低減することができる。ぼけ推定領域の解像度を下げる割合は、ダウンサンプリングパラメータに応じて決定される。ステップＳ２０２は、ループ処理（反復演算）によって複数回実行されるが、初回の実行時には、所定のダウンサンプリングパラメータが用いられる。２回目以降の実行の際には、後述のステップＳ２０６にて設定されたダウンサンプリングパラメータを用いて、低解像ぼけ推定領域を生成する。ループを反復する度に、解像度の低下量は小さくなり、低解像ぼけ推定領域の解像度は、ぼけ推定領域に徐々に近づく。すなわち、最初は低解像のぼけを推定し、その推定結果を新たな初期値として、解像度を少しずつ上げながら推定を繰り返す。これにより、局所解を回避して最適なぼけを推定することができる。なお、低解像ぼけ推定領域の解像度は、ぼけ推定領域の解像度以下であり、両者の解像度が一致することもある。
【００８９】
続いてステップＳ２０３において、生成部１０８２は、複数の低解像ぼけ推定領域のそれぞれにおける信号勾配（信号に関する情報）のぼけを補正して、複数の補正信号勾配（補正信号に関する情報）を生成する（補正処理）。生成部１０８２は、例えば図６に示されるように、複数の低解像ぼけ推定領域の信号勾配２０４ａ〜２０４ｃに対し、複数の補正信号勾配２０５ａ〜２０５ｃを生成する。ただし、低解像ぼけ推定領域の数はこれに限定されるものではない。補正信号勾配の生成には、前述のように、式（２）を用いた最適化やその他の超解像、逆フィルタなどを用いる。各低解像ぼけ推定領域に対して、互いに異なる手法により補正信号勾配を生成しても構わない。ぼけ補正に用いるＰＳＦは、前のループにおけるステップＳ２０４にて各低解像ぼけ推定領域から推定された結果（ぼけ）を用いる。ループの初回においては、適当な形状のＰＳＦ（Ｇａｕｓｓ分布や１次元のラインなど）を用いる。これは、各低解像ぼけ推定領域に対して共通でもよく、または、それぞれ異なっていてもよい。続いてステップＳ２０４において、生成部１０８２は、複数の低解像ぼけ推定領域のそれぞれに対して、その信号勾配と補正信号勾配とに基づいて、複数のぼけを推定する（ぼけの推定処理）。ぼけの推定には、式（６）または式（６ａ）などを用いる。なお、各低解像ぼけ推定領域に対して、互いに異なる演算式（正則化の種類や重みパラメータの値など）でぼけを推定しても構わない。
【００９０】
続いてステップＳ２０５において、生成部１０８２は、反復（ループ）演算が完了したか否か、すなわちぼけ推定領域と低解像ぼけ推定領域との解像度差が所定値よりも小さいか否か、を判定する。この判定は、ぼけ推定領域の解像度と低解像ぼけ推定領域の解像度とを比較することにより行われる。両者の解像度差が所定値よりも小さい場合、反復演算を終了する。そして、ステップＳ２０４にて推定された複数のぼけを最終的な複数の推定ぼけとして、ステップＳ２０７へ進む。両者の解像度差が所定値よりも小さいか否かは、両者の解像度差の絶対値が所定値よりも小さいか否かに限定されるものではなく、両者の画素数の比が所定値よりも１に近いか否かなどで判定してもよい。所定の条件を満たさない場合（例えば、両者の解像度差の絶対値が所定値よりも大きい場合）、推定されたぼけの解像度がまだ不充分であるため、ステップＳ２０６へ進み、反復演算を行う。
【００９１】
ステップＳ２０６において、生成部１０８２は、ステップＳ２０２にて用いられるダウンサンプリングパラメータを設定する。ステップＳ２０２〜Ｓ２０５を反復する過程で解像度を上げていくため、ここでは前のループよりもダウンサンプリングの度合いを弱めるように（解像度低下量を下げるように）パラメータを設定する。また、反復演算では、前ループのステップＳ２０４にて推定されたぼけを新たな初期解として用いるが、その際、ぼけの解像度を上げる必要がある。解像度の向上には、バイリニア補間やバイキュービック補間を用いることが好ましい。
【００９２】
ステップＳ２０７において、デノイジング部１０８３は、ステップＳ２０４にて推定された複数のぼけ（複数の推定ぼけ）のデノイジングを行う。図６は、本実施例におけるノイズ低減推定ぼけの生成例を示す図である。図６に示される例のように、デノイジング部１０８３は、複数のぼけ推定領域（複数の補正信号勾配２０５ａ〜２０５ｃ）のそれぞれに対して生成された推定ぼけ２０６ａ〜２０６ｃから、ノイズ低減推定ぼけ２０７を生成する。本実施例において、デノイジング部１０８３は、複数の推定ぼけの平均値（または、重み付きの加重平均値）をとることにより、ノイズ低減推定ぼけを生成する。ただし、平均値（単純平均値）または加重平均値以外にも、最小値、中央値、最頻値、または、最尤値を求めてノイズ低減推定ぼけを生成することができる。またデノイジング部１０８３は、これらの複数の値を組み合わせて１つのノイズ低減推定ぼけを生成してもよい。複数の推定ぼけは、本来のぼけ成分以外の領域（すなわち、正しくは成分がゼロになる領域）に異なる出方のノイズを含む。このため、複数の推定ぼけの最小値を取得することにより、それらのうち最もノイズが小さい（または、ノイズがない）推定ぼけを採用することができる。
【００９３】
好ましくは、デノイジング部１０８３は、複数の推定ぼけのうち少なくとも１つがゼロである位置における成分をゼロとするように、ノイズ低減推定ぼけを生成する。これに関し、図７を参照して説明する。図７は、本実施例におけるノイズ低減推定ぼけの生成例を示す図である。図７（Ａ）〜（Ｃ）のそれぞれにおいて、横軸は空間座標、縦軸は強度をそれぞれ示している。図７（Ａ）、（Ｂ）は、推定された複数の推定ぼけにおける１次元断面である。ここでは簡単のため、複数の推定の数を２つとしているが、これに限定されるものではない。空間座標の中心近傍の位置は、本来のぼけの成分とノイズの成分とが混在した領域であり、強度がゼロ近傍である両端の位置はノイズの成分のみの領域である。図７（Ａ）、（Ｂ）から分かるように、両者はノイズの出方が互いに異なっており、一方にはノイズがあるが、他方ではゼロになっている部分が存在する。図７（Ａ）、（Ｂ）を単純に平均化すると、一方のみがノイズゼロの領域は、有限のノイズを持つこととなる。しかし、図７（Ａ）または図７（Ｂ）のいずれか一方の強度がゼロとなっている成分では、ノイズ低減推定ぼけの成分をゼロとすることにより、より効率的なノイズリダクションを行うことができる。図７（Ａ）、（Ｂ）の両方が強度を持つ部分においては、それらの平均値を求めることが好ましい。図７（Ｃ）は、このような処理を行って得られたノイズ低減推定ぼけを示している。図７（Ｃ）に示されるように、単なる平均化よりも高いノイズ低減効果を発揮することができる。
【００９４】
また好ましくは、デノイジング部１０８３は、複数の推定ぼけを用いてデノイジング処理を行う際、複数の推定ぼけの位置合わせを行い、ノイズ低減推定ぼけを生成する。複数の推定ぼけは、それぞれ、ぼけ推定領域の位置などが互いに異なるため、位相ずれを起こすことがある。また、補正信号勾配の生成やぼけの推定において、互いに異なる手法を用いている場合、推定されたＰＳＦがそれぞれ異なる量だけシフトしている場合がある。このとき、そのまま平均化などの処理を行うと、ＰＳＦがぼけてしまうため、複数の推定ぼけの位置合わせを行うことが好ましい。
【００９５】
より好ましくは、デノイジング部１０８３は、位置合わせ（位置合わせの基準）として、複数の推定ぼけのそれぞれにおけるピーク値の位置を合わせる。なお、位置合わせの基準として、ピーク位置に代えて、重心の位置などを用いることもできる。ただし重心を基準とする場合、ＰＳＦの位置合わせ（シフト）量が非整数を取りうるため、補間が必要となる。ＰＳＦが非常に先鋭なピークを有する場合に補間処理を行うと、ピークが潰れてＰＳＦがやや広がった（ぼけた）形となりやすい。そして本来よりぼけたＰＳＦでぼけ画像を補正すると、過剰補正が起きてリンギングなどの弊害を招く可能性がある。このため、補間が不要なピーク位置を基準とすることが好ましい。
【００９６】
また、デノイジング部１０８３は、ノイズ低減推定ぼけを生成する際、スレッショルディング、孤立点を除去するオープニング処理、または、平滑化フィルタや前述の周波数分解を用いたデノイジングなどを併用してもよい。
【００９７】
本実施例によれば、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理システムを提供することができる。
【実施例２】
【００９８】
次に、図８を参照して、本発明の実施例２における画像処理システムについて説明する。図８は、本実施例における画像処理システム３００のブロック図である。
【００９９】
本実施例の画像処理システム３００は、ぼけ補正部１０８を有する画像処理装置１０５に代えて、ノイズ低減推定ぼけ生成部３０８を有する画像処理装置３０５を備えている点で、実施例１の画像処理システム１００とは異なる。本実施例の画像処理システム３００は、１つのぼけ推定領域から複数の補正信号勾配を生成し、複数の推定ぼけを取得する。ノイズ低減推定ぼけ生成部３０８は、撮像装置１０１にて撮像されたぼけ画像からぼけ成分を推定し、さらにデノイジング処理を行って、ノイズが低減された推定ぼけを出力する。ノイズ低減推定ぼけ生成部３０８は、取得部３０８１（取得手段）、生成部３０８２（生成手段）、および、デノイジング部３０８３（デノイジング手段）を有する。画像処理システム３００のそれ以外の部位は、実施例１の画像処理システム１００と同様であるため、それらの説明は省略する。
【０１００】
次に、図９を参照して、ノイズ低減推定ぼけ生成部３０８で行われる画像処理に関して説明する。図９は、本実施例の画像処理方法を示すフローチャートである。図９の各ステップは、ノイズ低減推定ぼけ生成部３０８の取得部３０８１、生成部３０８２、および、デノイジング部３０８３により実行される。
【０１０１】
まずステップＳ３０１において、取得部３０８１は、ぼけ画像を取得する。ステップＳ３０１は、図４を参照して説明した実施例１におけるステップＳ１０１と同様である。
【０１０２】
続いてステップＳ３０２において、生成部３０８２は、ぼけ画像からぼけ推定領域を取得する。本実施例において、生成部３０８２およびデノイジング部３０８３は、１つのぼけ推定領域に対して複数の推定ぼけを生成してデノイジング処理を行う。このため、ぼけがＳｈｉｆｔ−ｉｎｖａｒｉａｎｔの場合でも有効である。Ｓｈｉｆｔ−ｉｎｖａｒｉａｎｔなぼけの例として、露光中に撮像装置１０１の全体がシフトするぶれや、撮像装置１０１内の光学系（ヴィネッティングが充分に小さいとする）による回折などがある。ただし本実施例において、生成部３０８２は、複数のぼけ推定領域を取得しても構わない。
【０１０３】
続いてステップＳ３０３において、生成部３０８２は、ぼけ推定領域の信号勾配（信号に関する情報）を補正して、複数の補正信号勾配（複数の補正信号に関する情報）を生成する（補正処理）。本実施例において、生成部３０８２は、複数の補正信号勾配として、常に所定の数の補正信号勾配を生成する。補正信号勾配の数は、推定ぼけの数と等しい。ただし本実施例は、これに限定されるものではなく、実施例１のようにノイズ量から補正信号勾配の数を決定してもよい。補正信号勾配の生成の際には、互いに異なる演算式、即ち、互いに異なる補正処理またはパラメータ（補正パラメータ）が用いられる。
【０１０４】
補正処理とは、ぼけ補正に用いる手法（式（２）による最適化、Ｗｉｎｅｒフィルタなどの逆フィルタ、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法）を指す。または補正処理は、式（２）の最適化で用いる正則化項の種類（式（５）の１次平均ノルム正則化やＴＶノルム正則化など）を指す。また、ぼけ補正後のフィルタリング（先鋭化フィルタおよび平滑化フィルタ）の有無も補正処理に含まれる。補正パラメータとは、式（２）の正則化項の重み（例えば、式（５）のλ）、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などの超解像手法における高解像度化パラメータ、または、フィルタリングにおける先鋭化や平滑化の強さを表すパラメータである。生成部３０８２は、補正処理または補正パラメータを変更して（すなわち、互いに異なる補正処理または補正パラメータを用いて）複数の補正信号勾配を生成すると、補正のかかり方が異なるため、信号変化の振る舞い、および、ノイズの出方に差異が生じる。このため、これらの複数の補正信号勾配から推定されるぼけはそれぞれ異なるノイズを有する。
【０１０５】
複数の補正信号勾配がある場合、式（６）、（６ａ）はそれぞれ、以下の式（１３）、（１３ａ）のようになる。
【０１０６】
【数１３】
2017010093.tif 000016
【０１０７】
【数１３ａ】
2017010093.tif 000017
【０１０８】
式（１３）、（１３ａ）において、Ｇは共通のぼけの推定に用いる補正信号勾配の総数、ｔｇは重みを示す。
【０１０９】
続いてステップＳ３０４において、生成部３０８２は、ぼけ推定領域における信号勾配と複数の補正信号勾配とに基づいて、複数のぼけを推定する（ぼけの推定処理）。本実施例におけるぼけの推定処理は、図１を参照して説明した実施例１のステップＳ２０４と同様である。
【０１１０】
続いてステップＳ３０５において、生成部３０８２は、ステップＳ３０４にて推定したぼけが収束したか否かを判定する。ぼけが収束した場合、ステップＳ３０６へ進む。一方、ぼけが収束していない場合、ステップＳ３０３へ戻る。ステップＳ３０３へ戻った場合、生成部３０８２は、ステップＳ３０４にて推定したぼけを用いて、ステップＳ３０３にて複数の補正信号勾配を新たに生成する。推定したぼけが収束したか否かは、例えば、補正信号勾配を推定したぼけで劣化させた値と、ぼけ推定領域における信号勾配との差または比を求め、所定値と比べることにより判定可能である。または、ステップＳ３０４にて共役勾配法などの繰り返し演算でぼけを推定している場合、繰り返し演算によるぼけの更新量が所定値よりも小さくなったか否かにより判定してもよい。ぼけが収束した場合、生成部３０８２は、推定された複数のぼけのそれぞれを、ぼけ推定領域における推定ぼけとする。
【０１１１】
ステップＳ３０６において、デノイジング部３０８３は、複数の推定ぼけを用いてノイズ低減推定ぼけを生成する。ノイズ低減推定ぼけの生成方法は、図１を参照して説明した実施例１のステップＳ２０７と同様である。図１０は、本実施例におけるノイズ低減推定ぼけの生成例を示す図であり、図９のステップＳ３０３〜Ｓ３０６の模式図である。１つのぼけ推定領域の信号勾配４０１から、複数の補正信号勾配４０２ａ〜４０２ｃが生成される。そして、複数の補正信号勾配４０２ａ〜４０２ｃと信号勾配４０１との比較から、複数の推定ぼけ４０３ａ〜４０３ｃが生成される。デノイジング部３０８３は、複数の推定ぼけ４０３ａ〜４０３ｃを用いて、ノイズ低減推定ぼけ４０４を生成する。ただし本実施例において、補正信号勾配および推定ぼけの数はそれぞれ、これに限定されるものではない。また、実施例１のように複数のぼけ推定領域を取得する方法と組み合わせてもよい。
【０１１２】
続いてステップＳ３０７において、生成部３０８２は、ぼけ画像における所定の領域（例えば、ぼけ画像の全体）に対して、ノイズ低減推定ぼけの生成が完了したか否かを判定する。ノイズ低減推定ぼけの生成が完了している場合、ステップＳ３０８へ進む。一方、ノイズ低減推定ぼけの生成が完了していない場合、ステップＳ３０２へ戻る。なおステップＳ３０７は、図４を参照して説明した実施例１のステップＳ１０６と同様である。
【０１１３】
ステップＳ３０８において、デノイジング部３０８３（または、生成部３０８２）は、生成されたノイズ低減推定ぼけを出力する。ぼけ画像における所定の領域内に複数のぼけ推定領域が含まれる場合（すなわち、Ｓｈｉｆｔ−ｖａｒｉａｎｔの場合）、複数のノイズ低減推定ぼけが存在するため、デノイジング部３０８３は複数のノイズ低減推定ぼけを出力する。このとき、複数のノイズ低減推定ぼけを求める途中で逐次出力しても構わない。出力されたノイズ低減推定ぼけは、ぼけ画像の補正、撮影した光学系の光学性能測定、または、撮影の際の手ぶれの解析などに用いることができる。
【０１１４】
本実施例によれば、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理システムを提供することができる。
【実施例３】
【０１１５】
次に、図１１および図１２を参照して、本発明の実施例３における撮像システムについて説明する。図１１は、本実施例における撮像システム５００のブロック図である。図１２は、撮像システム５００の外観図である。
【０１１６】
撮像システム５００は、撮像装置５０１、ネットワーク５０２、および、サーバ５０３（画像処理装置）により構成される。撮像装置５０１とサーバ５０３とは無線で接続されており、撮像装置５０１からの画像（ぼけ画像）はサーバ５０３へ転送され、サーバ５０３がぼけの推定および補正を行う。またサーバ５０３は、一対のぼけ推定領域の信号勾配と補正信号勾配に対して複数の推定ぼけを生成し、ノイズ低減推定ぼけを取得する。
【０１１７】
サーバ５０３は、通信部５０４、記憶部５０５、および、ノイズ低減推定ぼけ生成部５０６（画像処理部）を有する。サーバ５０３の通信部５０４は、ネットワーク５０２を介して撮像装置５０１と接続されている。本実施例において、撮像装置５０１とサーバ５０３とは無線で接続されているが、これに限定されるものではなく、有線で接続されてもよい。サーバ５０３の通信部５０４は、撮像装置５０１からぼけ画像を受信するように構成されている。撮像装置５０１により撮影が行われると、ぼけ画像（入力画像または撮影画像）は、自動的または手動でサーバ５０３に入力され、記憶部５０５およびノイズ低減推定ぼけ生成部５０６に送られる。記憶部５０５は、ぼけ画像およびそのぼけ画像を撮影した撮影条件に関する情報を記憶する。ノイズ低減推定ぼけ生成部５０６は、ぼけ画像に基づいて推定ぼけを生成する。そしてノイズ低減推定ぼけ生成部５０６は、推定ぼけに基づいて、ぼけ補正画像を生成する。ぼけ補正画像は、記憶部５０５に記憶されるか、または、通信部５０４を介して撮像装置５０１へ送られる。ノイズ低減推定ぼけ生成部５０６は、取得部５０６１（取得手段）、生成部５０６２（生成手段）、および、デノイジング部５０６３（デノイジング手段）を有する。
【０１１８】
本実施例の画像処理方法を実現するため、ソフトウエア（画像処理プログラム）を、ネットワーク、またはＣＤ−ＲＯＭなどの記憶媒体を介して、サーバ５０３に供給することもできる。この際、画像処理プログラムは、サーバ５０３のコンピュータ（またはＣＰＵやＭＰＵなど）により読み出されて、サーバ５０３の機能を実行する。
【０１１９】
次に、図１３を参照して、ノイズ低減推定ぼけ生成部５０６で行われる画像処理について説明する。図１３は、本実施例における画像処理方法を示すフローチャートである。図１３の各ステップは、ノイズ低減推定ぼけ生成部５０６の取得部５０６１、生成部５０６２、および、デノイジング部５０６３により実行される。なお、図１３のステップＳ４０１、Ｓ４０２、Ｓ４０５〜Ｓ４０８（ステップＳ４０３、Ｓ４０４を除くステップ）は、実施例２における図９のステップＳ３０１、Ｓ３０２、Ｓ３０５〜Ｓ３０８とそれぞれ同様であるため、それらの説明は省略する。
【０１２０】
ステップＳ４０３において、生成部５０６２は、１つのぼけ推定領域における信号勾配から、１つの補正信号勾配を生成する（補正処理）。ただし、生成部５０６２は、複数のぼけ推定領域に対する複数の信号勾配から１つの補正信号勾配を生成してもよく、または、１つの信号勾配から複数の補正信号勾配を生成してもよい。
【０１２１】
続いてステップＳ４０４において、生成部５０６２は、一対の信号勾配と補正信号勾配とに基づいて、互いに異なる演算式、即ち、処理（推定処理）またはパラメータ（推定パラメータ）を用いて複数のぼけを推定する（ぼけの推定処理）。ぼけの推定処理には、式（６）または式（６ａ）の最適化などを用いる、式（８）および式（９）などの異なる正則化項（処理）を用いる、または、互いに異なる正則化の重みパラメータを用いることにより、複数のぼけを推定する。これらの複数のぼけは、ノイズが互いに異なるため、それらが収束した結果である推定ぼけに含まれるノイズも互いに異なる。このため、複数の推定ぼけから、ノイズ低減推定ぼけを得ることができる。
【０１２２】
図１４は、本実施例におけるノイズ低減推定ぼけの生成例を示す図であり、ノイズ低減推定ぼけの生成の模式図を示す。生成部５０６２は、ぼけ推定領域の信号勾配６０１と補正信号勾配６０２とに対して、互いに異なる処理またはパラメータを用いることにより、複数の推定ぼけ６０３ａ〜６０３ｃを生成する。そしてデノイジング部５０６３は、複数の推定ぼけ６０３ａ〜６０３ｃから、ノイズ低減推定ぼけ６０４を生成する。ただし、推定ぼけの数はこれに限定されるものではなく、実施例１のように複数のぼけ推定領域を取得する手法、または、実施例２のように１つの信号勾配から複数の補正信号勾配を生成する手法を併用しても構わない。
【０１２３】
このように各実施例において、画像処理装置（画像処理装置１０５、３０５、サーバ５０３）は、生成手段（生成部１０８２、３０８２、５０６２）およびデノイジング手段（デノイジング部１０８３、３０８３、５６０３）を有する。生成手段は、ぼけ画像（撮影画像または入力画像）における少なくとも一部のぼけ推定領域を取得し、ぼけ推定領域から複数の２次元の推定ぼけを生成する。デノイジング手段は、複数の２次元の推定ぼけを用いて推定ぼけの次元数を保った状態でデノイジング処理を行い、２次元のノイズ低減推定ぼけを生成する。生成手段は、補正処理と推定処理と、を反復する反復演算処理を行って複数の２次元の推定ぼけを生成する。ここで、補正処理とは、ぼけ推定領域における信号に関する情報に含まれるぼけ（信号勾配）を補正して補正信号に関する情報（補正信号勾配）を生成する処理である。また、推定処理とは、信号に関する情報と補正信号に関する情報とに基づいて２次元のぼけを推定する処理である。そして生成手段は、ぼけ推定領域として決定された複数の領域を用いて（実施例１）、または、反復演算処理において互いに異なる複数の演算式を用いて（実施例２、３）、複数の２次元の推定ぼけをそれぞれ生成する。
【０１２４】
好ましくは、デノイジング手段は、複数の２次元の推定ぼけを用いて、複数の２次元の推定ぼけの加重平均値、最小値、中央値、最頻値、または、最尤値のうち少なくとも１つを算出し、ノイズ低減推定ぼけを生成する。また好ましくは、デノイジング手段は、複数の２次元の推定ぼけのうち少なくとも１つがゼロである位置における成分をゼロとする。また好ましくは、デノイジング手段は、複数の２次元の推定ぼけの位置合わせを行い、ノイズ低減推定ぼけを生成する。また好ましくは、デノイジング手段は、位置合わせとして、複数の２次元の推定ぼけのそれぞれにおけるピーク値の位置を合わせる。
【０１２５】
好ましくは、生成手段は、ぼけ推定領域として複数の領域を取得し、補正処理において、複数の領域における複数の前記信号に関する情報（に含まれるぼけ）に基づいて、複数の補正信号に関する情報を生成する。また生成手段は、推定処理において、複数の信号に関する情報と複数の補正信号に関する情報のそれぞれに基づいて、２次元のぼけを推定する（実施例１、図６）。より好ましくは、生成手段は、ぼけ推定領域として、互いに位置または形状の異なる複数の領域を取得する。より好ましくは、生成手段は、複数の領域のうち最も面積が小さい最小ぼけ推定領域と、複数の領域のうち残りのぼけ推定領域のそれぞれとが互いに重なる領域の面積が、最小ぼけ推定領域の面積の半分以上となるように、複数の領域を取得する。
【０１２６】
好ましくは、生成手段は、補正処理において、ぼけ推定領域として取得された一つの領域における信号に関する情報に基づいて、複数の演算式を用いて複数の前記補正信号に関する情報を生成する。また生成手段は、推定処理において、信号に関する情報と複数の補正信号に関する情報のそれぞれに基づいて、２次元のぼけを推定する（実施例２、図１０）。
【０１２７】
好ましくは、生成手段は、補正処理において、ぼけ推定領域として取得された一つの領域における信号に関する情報に基づいて、補正信号に関する情報を生成する。また生成手段は、推定処理において、信号に関する情報と補正信号に関する情報とに基づいて、複数の演算式を用いて２次元のぼけを複数推定する（実施例３、図１４）。
【０１２８】
好ましくは、生成手段は、ぼけ画像のノイズ量に基づいて、複数の２次元の推定ぼけの数を決定する。また好ましくは、生成手段は、ぼけ推定領域の解像度を低下させて低解像ぼけ推定領域を生成し、低解像ぼけ推定領域において、信号に関する情報を補正して補正信号に関する情報を生成する。そして生成手段は、反復演算処理の過程において、低解像ぼけ推定領域の解像度をぼけ推定領域の解像度に近づける（Ｓ２０６）。また好ましくは、生成手段は、ぼけ推定領域に含まれるノイズ量を取得し、ぼけ推定領域を周波数分解して周波数分解ぼけ推定領域を生成する。そして生成手段は、ノイズ量に基づいて、周波数分解ぼけ推定領域に対するデノイジング処理を行い、デノイジング処理後の周波数分解ぼけ推定領域を再合成する（Ｓ１０３）。また好ましくは、画像処理装置は、ノイズ低減推定ぼけを用いてぼけ画像を補正する補正手段（補正部１０８４）を有する。
【０１２９】
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１３０】
各実施例によれば、推定したぼけの高精度なデノイジングを、計算量の増加を抑制して実行可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【０１３１】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【０１３２】
１０５、３０５  画像処理装置
１０８２、３０８２、５０６２  生成部（生成手段）
１０８３、３０８３、５６０３  デノイジング部（デノイジング手段）
【図５】
2017010093.tif 000018
【図１】
2017010093.tif 000019
【図２】
2017010093.tif 000020
【図３】
2017010093.tif 000021
【図４】
2017010093.tif 000022
【図６】
2017010093.tif 000023
【図７】
2017010093.tif 000024
【図８】
2017010093.tif 000025
【図９】
2017010093.tif 000026
【図１０】
2017010093.tif 000027
【図１１】
2017010093.tif 000028
【図１２】
2017010093.tif 000029
【図１３】
2017010093.tif 000030
【図１４】
2017010093.tif 000031