(57)【要約】【課題】輝度値が高い領域においても画像の劣化を良好に回復可能な画像処理装置を提供する。【解決手段】画像処理装置は、所定の画像処理の繰り返し処理により画像回復処理を行う画像処理装置であって、所定の画像処理で用いられる補正データを決定する決定手段（６０８）と、所定の画像処理において、更新前の画像と補正データとに基づいて更新画像を生成する生成手段（６０９）とを有し、決定手段は、繰り返し処理のうちｎ回目の画像処理において、第ｎの画像と、第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得し、第ｎの画像と、繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得し、第１の差分データと第２の差分データとに基づいて、ｎ回目の画像処理で用いられる補正データを決定する。【選択図】図１
2017027463.tif 000002
【特許請求の範囲】
【請求項１】
所定の画像処理の繰り返し処理により画像回復処理を行う画像処理装置であって、
前記所定の画像処理で用いられる補正データを決定する決定手段と、
前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成する生成手段と、を有し、
前記決定手段は、前記繰り返し処理のうちｎ回目の画像処理において、
第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得し、
前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得し、
前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定する、ことを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記第１の差分データ、前記第２の差分データ、および、前記補正データのそれぞれを画素ごとに決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記第ｎの画像と、前記第ｍの画像としての第ｎ−１の画像とに基づいて前記第２の差分データを決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記ｎ回目の画像処理において、
前記生成手段は、
前記第ｎの画像から前記中間画像を生成し、
前記中間画像と前記第ｎの画像とに基づいて前記第１の差分データを生成し、
前記第ｎの画像と前記第ｍの画像とに基づいて前記第２の差分データを生成し、
前記決定手段は、前記第１の差分データと前記第２の差分データとを比較して前記補正データを決定する、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記決定手段は、
前記第１の差分データの絶対値が前記第２の差分データの絶対値よりも小さい場合、該第１の差分データを前記補正データとして決定し、
前記第１の差分データの絶対値が前記第２の差分データの絶対値よりも大きい場合、前記第２の差分データを用いて前記補正データを決定する、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記決定手段は、前記第１の差分データの絶対値が前記第２の差分データの絶対値よりも大きい場合、前記第１の差分データと前記第２の差分データとの両方を用いて前記補正データを決定する、ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記決定手段は、前記第１の差分データと前記第２の差分データとの重み付けを行って前記補正データを決定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記決定手段は、点像強度分布と前記第ｎの画像の輝度値とに基づいて、前記重み付けを行うために用いられる重み係数を決定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記決定手段は、前記点像強度分布と、前記第ｎの画像の前記輝度値のうち所定値以上の輝度値を有する画素とに基づいて、前記重み係数を決定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記点像強度分布と、前記所定値以上の輝度値とに基づいて前記第ｎの画像を二値化し、二値化画像に該点像強度分布を畳み込むことにより、前記重み係数を決定することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記決定手段は、ユーザにより入力された前記所定値の輝度値に基づいて、前記重み係数を決定することを特徴とする請求項９または１０に記載の画像処理装置。
【請求項１２】
前記生成手段は、前記ｎ回目の画像処理において、前記更新前の画像としての前記第ｎの画像と、前記補正データとに基づいて、前記更新画像としての第ｎ＋１の画像を生成する、ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
前記生成手段は、前記第ｎ＋１の画像を回復画像として出力することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
所定の画像処理の繰り返し処理により画像回復処理を行う撮像装置であって、
撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
前記画像信号から生成された画像に関し、前記所定の画像処理で用いられる補正データを決定する決定手段と、
前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成する生成手段と、を有し、
前記決定手段は、前記繰り返し処理のうちｎ回目の画像処理において、
第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得し、
前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得し、
前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定する、ことを特徴とする撮像装置。
【請求項１５】
所定の画像処理を繰り返して画像回復処理を行う画像処理方法であって、
前記所定の画像処理で用いられる補正データを決定するステップと、
前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成するステップと、を有し、
前記更新画像を生成するステップは、前記繰り返し処理のうち第ｎ回目の画像処理において、
第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得するステップと、
前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得するステップと、
前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定するステップと、を含むことを特徴とする画像処理方法。
【請求項１６】
所定の画像処理を繰り返して画像回復処理を行う画像処理プログラムであって、
前記所定の画像処理で用いられる補正データを決定するステップと、
前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成するステップと、をコンピュータに実行させるように構成されており、
前記更新画像を生成するステップは、前記繰り返し処理のうちｎ回目の画像処理において、
第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得するステップと、
前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得するステップと、
前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定するステップと、を含むことを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像光学系による画像の劣化を補正する画像処理装置に関する。
【背景技術】
【０００２】
撮像光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布）と呼ぶ。このような撮像光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して撮像光学系による画像の劣化を補正する方法（画像回復処理）が提案されている。このような画像の劣化状態は、画面内の位置に応じて異なる。
【０００４】
そこで特許文献１には、画像の各画素の近傍領域における画素値の分散とノイズの分散との差分を評価し、この差分が所定の閾値よりも小さくなった画素に関する反復計算による画素値の更新を打ち切る画像回復方法が開示されている。非特許文献１には、所謂Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法を用いた繰り返し演算による画像回復方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７―２９９０６８号公報
【非特許文献】
【０００６】
【非特許文献１】ＯＳＡ  ＶＯＬＵＭＥ  ６２，  ＮＵＭＢＥＲ  １  ＪＡＮＵＡＲＹ  １９７２  Ｂａｙｅｓｉａｎ−Ｂａｓｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｍｅｔｈｏｄ  ｏｆ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、繰り返し演算による画像回復処理を行う場合、繰り返し演算回数が適切に設定されない場合、演算コストが大きくなってしまう。また、画像回復の強弱に関しても、主に繰り返し演算回数が支配的な要素である。例えば繰り返し演算回数が不足すると、回復の程度が不足する。逆に、繰り返し演算回数が多すぎると、回復の程度が過剰になり、リンギングなどの弊害の発生につながる。従って、画像の位置や領域の像劣化特性に応じて適切な繰り返し演算回数を設定する必要がある。また、適切な強さの画像回復処理を行う場合、一般的には、ある評価値に基づいて繰り返し演算処理を打ち切るという手法が用いられる。
【０００８】
このとき、回復処理対象の画像が巨大である場合や、画像上の劣化特性が位置や領域ごとに異なる場合、更新前後の画像のノイズ量や二乗平均平方根（ＲＭＳ：ｒｏｏｔ  ｍｅａｎ  ｓｑｕａｒｅ）を比較しても適切に繰り返し演算処理を打ち切ることは困難である。また、適切な繰り返し演算処理の回数を設定することも難しい。このため、繰り返し演算処理の打ち切り方法や繰り返し演算処理の回数設定が適切でない場合でも、この処理を収束させる手法が必要である。
【０００９】
処理の収束という点において、一般的に、繰り返し型のアルゴリズムでは繰り返し演算処理の回数が増加するほど補正量は減り、収束していく傾向がある。しかし、高輝度物体など、撮像素子の輝度値が非常に大きい画素の近傍では、処理が良好に収束せずに補正が過剰になりやすい。
【００１０】
そこで本発明は、輝度値が高い領域においても画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【００１１】
本発明の一側面としての画像処理装置は、所定の画像処理の繰り返し処理により画像回復処理を行う画像処理装置であって、前記所定の画像処理で用いられる補正データを決定する決定手段と、前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成する生成手段とを有し、前記決定手段は、前記繰り返し処理のうちｎ回目の画像処理において、第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得し、前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得し、前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定する。
【００１２】
本発明の他の側面としての撮像装置は、所定の画像処理の繰り返し処理により画像回復処理を行う撮像装置であって、撮像光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号から生成された画像に関し、前記所定の画像処理で用いられる補正データを決定する決定手段と、前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成する生成手段とを有し、前記決定手段は、前記繰り返し処理のうちｎ回目の画像処理において、第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得し、前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得し、前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定する。
【００１３】
本発明の他の側面としての画像処理方法は、所定の画像処理を繰り返して画像回復処理を行う画像処理方法であって、前記所定の画像処理で用いられる補正データを決定するステップと、前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成するステップとを有し、前記更新画像を生成するステップは、前記繰り返し処理のうち第ｎ回目の画像処理において、第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得するステップと、前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得するステップと、前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定するステップとを含む。
【００１４】
本発明の他の側面としての画像処理プログラムは、所定の画像処理を繰り返して画像回復処理を行う画像処理プログラムであって、前記所定の画像処理で用いられる補正データを決定するステップと、前記所定の画像処理において、更新前の画像と前記補正データとに基づいて更新画像を生成するステップと、をコンピュータに実行させるように構成されており、前記更新画像を生成するステップは、前記繰り返し処理のうちｎ回目の画像処理において、第ｎの画像と、該第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得するステップと、前記第ｎの画像と、前記繰り返し処理のうちｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得するステップと、前記第１の差分データと前記第２の差分データとに基づいて、前記ｎ回目の画像処理で用いられる補正データを決定するステップとを含む。
【００１５】
本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。
【００１６】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１７】
そこで本発明は、輝度値が高い領域においても画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】実施例１における画像処理方法のフローチャートである。
【図２】実施例２における補正量を用いた画像回復処理のフローチャートである。
【図３】実施例２におけるシフトバリアントな劣化特性を補正する画像処理方法の説明図である。
【図４】実施例２における補正量の算出方法の説明図である。
【図５】実施例３における画像処理システムの構成図である。
【図６】実施例４における画像処理装置のブロック図である。
【図７】実施例５における撮像装置のブロック図である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００２０】
まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、撮像光学系（光学系）による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布または点像分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００２１】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ…  （１）
ここで、Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法（ＬＲ法）による画像回復処理は、実空間において以下の式（２）のように表される。
【００２２】
【数１】
2017027463.tif 000003
【００２３】
式（２）において、ｆｎ＋１は更新後の画像（更新画像）、ｆｎは更新前の画像である。ｈは撮像光学系の劣化特性であり、例えばＰＳＦである。また、ｇは劣化した画像（撮影画像）である。
【００２４】
ＬＲ法を用いた画像回復処理は、画像ｆｎ（第ｎの画像）を逐次更新し、例えば所定の評価基準に基づいて更新処理を打ち切り、画像ｆｎ＋１（第ｎ＋１の画像）を出力することにより行われる。このときの評価基準は、例えば、画像ｆｎ＋１と画像ｆｎとの二乗平均平方根（ＲＭＳ：ｒｏｏｔ  ｍｅａｎ  ｓｑｕａｒｅ）の値である。ここで、ＬＲ法を開始する際（初期値）として、ｆ０＝ｇなどと設定して画像回復処理を開始すればよい。
【００２５】
デジタルカメラで撮影した画像に対して、前述の画像回復処理を適用するには、種々の工夫が必要である。まず、一般的なデジタルカメラで撮影された画像は、画像の各位置に応じて互いに異なる劣化特性を有する。また、画像の周辺部においては、撮像光学系の収差が大きく、画像が非対称に劣化していることが多い。これは、画像の位置または領域において補正すべき像劣化の量が異なることを意味し、それぞれの領域において適切な処理が必要となる。加えて、レンズ交換式カメラのように、撮像光学系と撮像素子との組み合わせが無数にある環境を想定すると、単純に式（２）を適用するだけでは、良好な結果を得ることができない。
【００２６】
そこで、以下の各実施例において、撮像光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復するための構成および方法について説明する。
【実施例１】
【００２７】
まず、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップは、画像処理装置の各部により実行される。
【００２８】
まずステップＳ１０１において、本実施例の画像処理装置は、画像回復処理の対象となる画像（撮影画像）を取得する。続いてステップＳ１０２において、画像処理装置は、ステップＳ１０１にて取得された画像に対して画像回復処理を開始するため、撮影条件（撮影条件情報）を取得する。本実施例において、画像処理装置は、ステップＳ１０１にて取得された画像に付随する、例えばＥｘｉｆ情報などから撮影条件を取得するか、または、撮影条件を直接取得する。本実施例において、撮影条件は、撮像光学系の撮影条件として、撮影時のレンズを特定するためのレンズ識別番号（レンズＩＤ）と、撮影時の焦点距離、Ｆ値、および、被写体距離とを含む。画像処理装置は、レンズＩＤと、焦点距離、Ｆ値、および、被写体距離との組み合わせからなる撮影条件により、撮像光学系の光学伝達関数を特定することができる。
【００２９】
また撮影条件として、撮像素子の画素ピッチ、カラーフィルタの配列、および、光学ローパスフィルタに関する情報など、撮影時の状況を示す情報を含む場合もある。ここで、撮像光学系の光学伝達関数は、折り返し信号が発生しない程度のサンプリングピッチで離散化されたデータである。光学伝達関数は、例えばレンズ（撮像光学系）の設計データなどからコンピュータ上のシミュレーションで算出することが好ましいが、画素ピッチの小さい撮像素子を用いて測定してもよい。このときの画素ピッチは、前述のように折り返し信号が発生しない程度の画素ピッチであることが好ましい。コンピュータシミュレーションで撮像光学系の光学伝達関数を生成する際には、想定する光源の分光特性や撮像素子のカラーフィルタの分光特性を用いて波長ごとに算出される光学伝達関数を、Ｒ、Ｇ、Ｂの各色に対応させて生成することが好ましい。
【００３０】
撮像光学系の光学伝達関数は、前述の焦点距離、Ｆ値、および、被写体距離が決定した場合に、撮像素子上の位置と主にＲ、Ｇ、Ｂのカラーフィルタの分光特性との組み合わせの数だけ必要となる。すなわち、撮影条件ごとに複数の光学伝達関数が必要である。例えば、撮像素子上の代表点１００点とＲ、Ｇ、Ｂの３色のカラーフィルタとの組み合わせの数は３００となる。従って、前述の撮像光学系の光学伝達関数の特定は、このような３００点を特定することを意味する。
【００３１】
次に、ステップＳ１０３において、画像処理装置は、点像強度分布（ＰＳＦ）を生成する。ここでは、まず画像処理装置は、ステップＳ１０２にて取得した撮影条件に基づいて、撮像光学系の光学伝達関数を取得する。このとき、使用される撮像素子のサイズに応じて、光学伝達関数の取得範囲を変更することが好ましい。光学伝達関数の取得範囲は、例えば、撮像光学系に応じて決定される範囲と、撮像素子が光学像を取得可能な範囲との比率に基づいて決定される。ここで、撮像光学系に応じて決定される範囲とは、例えば設計時に収差補正が行われている範囲である。
【００３２】
続いてステップＳ１０３において、画像処理装置は、前述のように取得した光学伝達関数を修正する。取得した撮像光学系の光学伝達関数は、そのままでは画像回復処理には適用できない。本実施例の画像処理装置は、種々の撮像素子に関し、各撮像素子の帯域や画素の形状などの特性（周波数特性）に応じて撮像光学系の光学伝達関数を修正する。撮像素子の特性に応じて撮像光学系の光学伝達関数を修正するには、以下のような特性を考慮する。
【００３３】
まず、撮像素子の特性として、撮像素子のサイズ、画素ピッチ、カラーフィルタの配列などに関する情報がある。撮像素子のサイズは、光学空中像を切り出すイメージサークルを指定する情報である。画素ピッチは、光学伝達関数の折り返し信号に関する情報である。また、前述の情報以外にも、光学ローパスフィルタに関する特性を考慮してもよい。ここで、光学ローパスフィルタに関する特性とは、光学ローパスフィルタの有無、それによる光学伝達関数が受ける特性に関する情報である。これは、例えば、光学ローパスフィルタによる点像強度分布の分離幅、分離方向、および、分離方法などである。また、単板センサの場合、Ｒ、Ｇ、Ｂ画素の配列情報を、ベイヤー配列のサンプリング間隔における折り返し信号についての情報として使用することができる。また、ベイヤー配列の撮像素子の場合、Ｒ、Ｇ、Ｂについてそれぞれのサンプリングピッチが異なる場合があり、また、特殊な配置を有する場合もある。このため、これらの情報について考慮することもできる。これらの情報は、ステップＳ１０２にて撮影条件（撮影条件情報）として取得可能である。
【００３４】
ここで、撮像素子の特性に応じて修正された光学伝達関数は、以下の式（３）のようなモデルで表される。
【００３５】
【数２】
2017027463.tif 000004
【００３６】
式（３）において、ＨＳ（ｕ，ｖ）は撮像素子の特性に応じて修正された光学伝達関数である。また、Ｈ（ｕ，ｖ）は撮像光学系の光学伝達関数、ＯＬＰＦ（ｕ，ｖ）は光学ローパスフィルタの周波数特性、ＰＩＸ（ｕ，ｖ）は撮像素子の画素形状による周波数特性である。［  ］Ｓは撮像素子の帯域内の周波数特性の取得を示している。
【００３７】
続いてステップＳ１０３において、画像処理装置は、修正された複数の光学伝達関数に対して、それぞれ周波数変換を行い実空間上のデータに変換することにより、撮像素子の特性を含む点像強度分布（ＰＳＦ）を生成する。
【００３８】
次に、ステップＳ１０４〜Ｓ１０９において、画像処理装置は、ステップＳ１０３にて生成されたＰＳＦに基づいて画像回復処理を行う。より具体的には、画像処理装置は、画像回復処理に用いられる補正量（補正データ）を設定（決定）する。そして画像処理装置は、式（２）と、ＰＳＦと、画像内の位置ごと（画素ごと）の補正量とに基づいて、画像回復処理を行う。式（２）に関しては、種々の正則化を含む変形を行ってもよい。本実施例において、画像処理装置は、所定の画像処理（ステップＳ１０４〜Ｓ１０９）の繰り返し（繰り返し処理）により画像回復処理を行う。本実施例の繰り返し処理は、所定の画像処理をＮ回繰り返す処理であり、そのうちｎ回目（１≦ｎ≦Ｎ）の画像処理の対象となる画像（更新対象の画像）を第ｎの画像という。また、例えばｎ回目の画像処理の直前の画像処理（ｎ−１回目の画像処理）の対象となる画像を第ｎ−１の画像という。
【００３９】
本実施例の画像回復処理では、画像処理装置は、まずステップＳ１０４において、第ｎの画像（画像ｆｎ）を生成（入力）する。第ｎの画像は、繰り返し演算処理におけるｎ回目の処理中に生成された画像に相当する。続いてステップＳ１０５において、画像処理装置は、第ｎの画像に基づいて中間画像ｆｔｅｍｐｎ＋１を生成する。本実施例において、画像処理装置は、式（２）で表される画像ｆｎ＋１を中間画像ｆｔｅｍｐｎ＋１として、以下の式（４）のように定める。
【００４０】
【数３】
2017027463.tif 000005
【００４１】
続いてステップＳ１０６において、画像処理装置は、中間画像ｆｔｅｍｐｎ＋１と第ｎの画像（画像ｆｎ）とに基づいて、第１の差分データΔｆｔｅｍｐｎを生成する。続いてステップＳ１０７において、画像処理装置は、第ｎの画像（画像ｆｎ）と第ｎ−１の画像（画像ｆｎ−１）とに基づいて、第２の差分データΔｆｎ−１を生成する。
【００４２】
続いてステップＳ１０８において、画像処理装置は、ステップＳ１０６にて生成された第１の差分データΔｆｔｅｍｐｎと、ステップＳ１０７にて生成された第２の差分データΔｆｎ−１とに基づいて、補正量Δｆｎ（補正データ）を生成する。続いてステップＳ１０９において、画像処理装置は、ステップＳ１０４にて生成された第ｎの画像（画像ｆｎ）と、ステップＳ１０８にて生成された補正量Δｆｎとに基づいて、回復画像（画像ｆｎ＋１）を生成する。
【００４３】
ここで｜Δｆｎ｜は、繰り返し演算処理の回数ｎが増加するにつれて収束するように制約される。補正量Δｆｎにこのような制約をかけることにより、繰り返し演算処理の回数ｎを増やしても画像処理を安定して実行することができる。また、第ｎの画像（画像ｆｎ）および補正量Δｆｎに基づいて回復画像（画像ｆｎ＋１）を生成することにより、安定的に画像を更新することが可能となる。なお本実施例の画像処理方法は、好ましくは、ソフトウエアまたはハードウエア上で動作するプログラムとして提供される。
【実施例２】
【００４４】
次に、図２を参照して、本発明の実施例２における画像回復処理について説明する。図２は、本実施例における補正量を用いた画像回復処理のフローチャートである。図２の各ステップは、画像処理装置（例えば、後述の補正量算出部６０８および画像生成部６０９を含む画像回復部６０７）により実行される。
【００４５】
本実施例において、画像処理装置は、所定の画像処理（ステップＳ２０１〜Ｓ２０６）の繰り返し（繰り返し処理）により画像回復処理を行う。本実施例の繰り返し処理は、所定の画像処理をＮ回繰り返す処理であり、そのうちｎ回目の画像処理の対象となる画像（更新対象の画像）を第ｎの画像ｆｎという。また繰り返し処理のうち、ｎ回目の画像処理の直前の画像処理（ｎ−１回目の画像処理）の対象となる画像を第ｎ−１の画像ｆｎ−１という。同様に、ｎ＋１回目の画像処理の対象となる画像を第ｎ＋１の画像ｆｎ＋１という。好ましくは、図２に示される画像回復処理は画素位置（ｘ、ｙ）ごとに行われる。
【００４６】
まずステップＳ２０１において、画像処理装置（画像生成部）は、第ｎの画像ｆｎ（ｘ、ｙ）を入力する。ステップＳ４０１は、図１のステップＳ１０４に相当する。続いてステップＳ２０２において、画像処理装置は、中間画像ｆｔｅｍｐｎ＋１（ｘ、ｙ）を生成する。中間画像ｆｔｅｍｐｎ＋１（ｘ、ｙ）は、例えば、第ｎの画像ｆｎ（ｘ、ｙ）とＰＳＦとに基づいて生成される。そしてステップＳ２０３において、画像処理装置は、ステップＳ２０２にて生成した中間画像ｆｔｅｍｐｎ＋１とステップＳ２０１にて入力（生成）した第ｎの画像ｆｎとの差分（第１の差分データΔｆｔｅｍｐｎ）を算出する。
【００４７】
続いてステップＳ２０４において、画像処理装置（補正量算出部）は、補正量Δｆｎ（補正データ）を取得（算出）する。本実施例において、画像処理装置は、画素位置（ｘ、ｙ）のそれぞれに関し、第１の差分データの絶対値｜Δｆｔｅｍｐｎ｜と、第２の差分データの絶対値｜Δｆｎ−１｜とを比較する。なお、第２の差分データΔｆｎ−１は、第ｎ−１の画像から第ｎの画像を生成した際に予め算出しておくことが好ましい。第１の差分データの絶対値が第２の差分データの絶対値以下である場合、画像処理装置は、第１の差分データを補正量Δｆｎとして決定する（Δｆｎ＝Δｆｔｅｍｐｎ）。一方、第１の差分データの絶対値が第２の差分データの絶対値よりも大きい場合、画像処理装置は、第１の差分データおよび第２の差分データのそれぞれに対して重み付けを行い（重み係数Ｒｆｎを用いて）、補正量Δｆｎを決定する。例えば、補正量Δｆｎは、Δｆｎ＝Ｒｆｎ・Δｆｔｅｍｐｎ＋（１−Ｒｆｎ）・Δｆｎ−１のように表される。
【００４８】
続いてステップＳ２０５において、画像処理装置（画像生成部）は、第ｎの画像ｆｎおよび補正量Δｆｎを用いて、第ｎ＋１の画像ｆｎ＋１（回復画像）を生成する。そしてステップＳ２０６において、画像処理装置は、繰り返し処理が終了したか否か、すなわち繰り返し処理が所定の繰り返し回数に達したか否かを判定する。繰り返し処理が終了していない場合、ｎをｎ＋１として１増加させ、ステップＳ２０１〜Ｓ２０６を繰り返す。一方、繰り返し処理が終了した場合、画像処理装置は、第ｎ＋１の画像ｆｎ＋１を回復画像として出力する。
【００４９】
次に、図３を参照して、本実施例における画像処理方法について詳述する。図３は、シフトバリアントな劣化特性を補正する画像処理方法の説明図であり、撮像素子の特性に応じて異なるＰＳＦを用いた画像回復処理の一例を示している。
【００５０】
本実施例では、ＰＳＦの特性が画像中の位置ごとに大きく変化する場合について、良好な結果が得られる画像処理方法を説明する。ＰＳＦが像高などの画像中の位置ごとに大きく変化する場合、画像中の位置ごとに適切な（すなわち正確な）ＰＳＦを用いて画像処理を行うことが理想的である。しかし、撮像素子の全画素数の正確なＰＳＦをデータとしてメモリに保持することは現実的ではない。そこで本実施例においては、画像中の所定の各位置において、各位置に対応する撮像光学系の光学伝達関数を、撮像素子の特性に応じて修正する。そして、修正後の光学伝達関数を、周波数変換によりＰＳＦに変換して利用する。
【００５１】
本実施例では、図３（ａ）に示されるように、画像のＲ、Ｇ、Ｂの縦、横のデータ数をそれぞれＶ、Ｈとする。Ｒ、Ｇ、Ｂをベイヤーとして処理する場合、Ｖ、Ｈがそれぞれ互いに異なる数でもよい。画像の縦横にはそれぞれ、Ｍ、Ｎ点のＰＳＦを対応付け、それぞれの配置間隔をＡ、Ｂとし、（Ｍ−１）×（Ｎ−１）個の複数の長方形領域を考える。ここでは、計算上、Ａ＝Ｖ／（Ｍ−１）、Ｂ＝Ｈ／（Ｎ−１）であることが好ましい。このような場合、処理対象の着目画素（ｉ，ｊ）ごとに、ｉ／Ａ、ｊ／Ｂの整数除算を行うことにより、条件分岐などの処理を用いることなく、複数の長方形領域の何番目に属するかを直ちに算出可能であるためである。
【００５２】
従って、ｍ＝ｉ／Ａ、ｎ＝ｊ／Ｂより、ＰＳＦ［ｍ，ｎ］、ＰＳＦ［ｍ，ｎ＋１］、ＰＳＦ［ｍ＋１，ｎ］、ＰＳＦ［ｍ＋１，ｎ＋１］の４つのＰＳＦが選択される。ここで、選択された４つのＰＳＦの格子点位置を頂点とする長方形領域（縦の長さＡ、横の長さＢ）を、領域＜ｍ，ｎ＞と表すこととする。
【００５３】
図３（ｂ）は、図３（ａ）中の領域＜ｍ，ｎ＞を示している。領域＜ｍ，ｎ＞における補正係数（補正データ）は、格子点位置に対応するＰＳＦ［ｍ，ｎ］、ＰＳＦ［ｍ，ｎ＋１］、ＰＳＦ［ｍ＋１，ｎ］、ＰＳＦ［ｍ＋１，ｎ＋１］の４つのＰＳＦカーネルに基づいて算出される。ＰＳＦカーネル内のＸ、Ｙ座標は、図３（ｂ）に示されるとおりである。
【００５４】
図３（ａ）において、着目画素（ｉ，ｊ）に対応するＰＳＦｉｊは、ＰＳＦ［ｍ，ｎ］、ＰＳＦ［ｍ，ｎ＋１］、ＰＳＦ［ｍ＋１，ｎ］、ＰＳＦ［ｍ＋１，ｎ＋１］の４つのＰＳＦであり、以下のように算出することができる。
【００５５】
本実施例では、それぞれのＰＳＦに対する重み付けＷ（重み係数）を、以下のように決定する。
【００５６】
Ｗ（ｍ，ｎ）＝（Ａ−ａ）＊（Ｂ−ｂ）／（Ａ＊Ｂ）
Ｗ（ｍ，ｎ＋１）＝（Ａ−ａ）＊ｂ／（Ａ＊Ｂ）
Ｗ（ｍ＋１，ｎ）＝ａ＊（Ｂ−ｂ）／（Ａ＊Ｂ）
Ｗ（ｍ＋１，ｎ＋１）＝ａ＊ｂ／（Ａ＊Ｂ）
ここで、ａ＝ｍｏｄ（ｉ，Ａ）、ｂ＝ｍｏｄ（ｊ，Ｂ）である。また、ｍｏｄ（ｘ，ｙ）はｘのｙによる剰余である。以上より、以下の式（５）が得られる。
【００５７】
【数４】
2017027463.tif 000006
【００５８】
本実施例では、式（４）を、式（５）に基づいて、以下の式（６）のように用いる。
【００５９】
【数５】
2017027463.tif 000007
【００６０】
本実施例では、式（６）を少ないＭとＮにおいて高精度に行うため予めそれぞれのＰＳＦの重心位置を一致させる処理を施しておくことが好ましい。また、重心位置だけでなく、最大値を一致させてもよく、両方を評価する評価値を満たすようなＰＳＦの補正を行ってもよい。本実施例の画像処理装置は、例えば以下の式（７）で表されるように、中間画像ｆｔｅｍｐｎ＋１（ｘ、ｙ）と第ｎの画像ｆｎ（ｘ、ｙ）とを用いて、第１の差分データΔｆｔｅｍｐｎ（ｘ、ｙ）を生成する。また画像処理装置は、例えば以下の式（８）で表されるように、第ｎの画像ｆｎ（ｘ、ｙ）と、第ｎ−１の画像ｆｎ−１（ｘ、ｙ）とを用いて、第２の差分データΔｆｎ−１（ｘ、ｙ）を生成する。
【００６１】
【数６】
2017027463.tif 000008
【００６２】
【数７】
2017027463.tif 000009
【００６３】
なお、式（８）で表される第２の差分データΔｆｎ−１（ｘ、ｙ）は、第ｎの画像ｆｎ（ｘ、ｙ）が生成されたタイミングで生成して取得しておくことが好ましい。
【００６４】
次に、画像処理装置は、式（７）、（８）を用いて、補正量Δｆｎ（ｘ，ｙ）を算出する。ここで図４を参照して、本実施例における補正量Δｆｎの算出方法について説明する。図４は、補正量Δｆｎ（ｘ，ｙ）の算出方法の説明図である。
【００６５】
本実施例において、補正量Δｆｎ（ｘ、ｙ）は、｜Δｆｔｅｍｐｎ（ｘ、ｙ）｜≦｜Δｆｎ−１（ｘ、ｙ）｜を満たす場合、Δｆｎ（ｘ，ｙ）＝Δｆｔｅｍｐｎ（ｘ，ｙ）と設定される。一方、この条件を満たさない場合、補正量Δｆｎ（ｘ、ｙ）は、Δｆｎ（ｘ、ｙ）＝Ｒｆｎ・Δｆｔｅｍｐｎ（ｘ、ｙ）＋（１−Ｒｆｎ）・Δｆｎ−１（ｘ、ｙ）と設定される。ここで、Ｒｆｎは画像（第１の差分データと第２の差分データ）を合成する際の重み係数であり、０≦Ｒｆｎ≦１．０の範囲で任意に設定可能である。ここで、Ｒｆｎ＝０と設定すると、｜Δｆｔｅｍｐｎ（ｘ、ｙ）｜＞｜Δｆｎ−１（ｘ、ｙ）｜の場合、Δｆｎ（ｘ，ｙ）＝Δｆｎ−１（ｘ，ｙ）となり、第２の差分データそのものが補正量Δｆｎ（ｘ、ｙ）として決定される。
【００６６】
画像処理装置は、第ｎの画像ｆｎ（ｘ、ｙ）および補正量Δｆｎ（ｘ、ｙ）を用いて、以下の式（９）のように表される演算を実行し、回復画像ｆｎ＋１（ｘ、ｙ）を取得する。
【００６７】
【数８】
2017027463.tif 000010
【００６８】
また本実施例において、繰り返しの途中から第１の差分データと第２の差分データとを用いた前述の手法を適用してもよい。すなわち、ｎ＜Ｋの場合（Ｋは繰り返し回数）、式（２）を以下の式（１０）のように用いる。一方、ｎ≧Ｋの場合、式（６）〜（９）を用いて画像を生成し、回復画像ｆｎ＋１（ｘ，ｙ）を取得する。
【００６９】
【数９】
2017027463.tif 000011
【００７０】
本実施例において、画像処理装置は、画像内の画素の輝度値に基づいて、画素位置ごとの画像合成の重み係数Ｒｆｎ（ｘ、ｙ）を決定する。画像処理装置は、まず所定の閾値を決定する。そして画像処理装置は、所定の閾値以上の輝度値を有する画素と所定の閾値未満の輝度値を有する画素とに分けて、画像を二値化する（二値化画像を生成する）。画像は、その形式に応じて、表現可能なデータのダイナミックレンジが異なる。このため、以下、輝度値の最大値を１に正規化して説明する。
【００７１】
一例として、閾値ｔｈｒ＝０．９５の場合について説明する。まず第ｎの画像に対して、前記の閾値ｔｈｒを基準として画像を二値化する。すなわち、二値化画像をｂｎ（ｘ，ｙ）とすると、ｆｎ（ｘ，ｙ）＜ｔｈｒの場合にｂｎ（ｘ、ｙ）＝０とし、ｆｎ（ｘ，ｙ）≧ｔｈｒの場合にｂｎ（ｘ、ｙ）＝１とする。このように画像処理装置は、全ての画素位置（ｘ、ｙ）に関して二値化処理を行い、二値化画像ｂｎ（ｘ、ｙ）を生成する。
【００７２】
次に、画像処理装置は、二値化画像ｂｎ（ｘ、ｙ）に対してＰＳＦを畳み込み処理する。この結果、式（４）により算出されるＰＳＦｉｊを用いて、以下の式（１１）で表されるように、画像合成の重み係数Ｒｆｎ（ｘ、ｙ）が算出される。
【００７３】
【数１０】
2017027463.tif 000012
【００７４】
式（１１）において、二値化画像ｂｎ（ｘ、ｙ）は、処理前の画像、すなわちｎ＝０の画像ｆ０で代表して算出しておいてもよい。このようにすることで、画像合成の重み係数Ｒｆｎ（ｘ、ｙ）の演算が１回になり、処理負荷が軽減される。本実施例における閾値ｔｈｒとして、外部からユーザが任意の値を入力してもよい。補正量Δｆｎ（ｘ、ｙ）は、画像合成の重み係数Ｒｆｎ（ｘ、ｙ）が算出された後、前述の方法で算出することができる。画像処理装置は、補正量Δｆｎ（ｘ、ｙ）および第ｎの画像ｆｎ（ｘ、ｙ）を用いることにより、回復画像ｆｎ＋１（ｘ、ｙ）を生成することが可能である。
【実施例３】
【００７５】
次に、図５を参照して、本発明の実施例３における画像処理システム（画像処理装置）について説明する。図５は、本実施例における画像処理システム５００の構成図である。画像処理システム５００は、画像処理装置５０１（情報処理装置としてのハードウエア）、表示装置５０２（モニタ）、および、入力装置５０３（キーボードなどの入力手段）を備えて構成される。本実施例は、実施例１、２の画像処理方法を画像処理システム５００（パソコンのソフトウエア）上で動作させる場合について説明する。
【００７６】
まず、実施例１、２の画像処理方法を画像処理装置５０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置５０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア５０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。また画像処理装置５０１には、撮像光学系の複数の光学伝達関数（光学伝達関数データ）が格納されている。ここで、画像処理装置５０１に格納される複数の光学伝達関数は、例えば、撮像光学系の種々の撮影条件（撮影条件情報）ごとの光学伝達関数の全てである。光学伝達関数に関しても、メディア５０４やネットワークを通じてダウンロードすることにより、画像処理装置５０１に格納される。本実施例において、ソフトウエア（画像処理プログラム）、光学伝達関数情報、および、撮影条件情報などの各データは、画像処理装置５０１内のハードディスクなどの記憶部に記憶される。また画像処理装置５０１は、少なくとも一部のデータを、外部のサーバからネットワークを通じて取得するように構成してもよい。
【００７７】
画像処理装置５０１は、インストールされたソフトウエアを起動し、撮影画像に対して画像回復処理を行う。ソフトウエア上では、画像回復処理の強度を決定する繰り返し回数や、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示装置５０２上で回復処理後の画像を確認しつつ変更可能であることが好ましい。
【実施例４】
【００７８】
次に、図６を参照して、本発明の実施例４における画像処理装置について説明する。図６は、本実施例における画像処理装置６００のブロック図である。画像処理装置６００は、撮影画像取得部６０１、撮影条件取得部６０２、光学伝達関数記憶部６０３、光学伝達関数取得部６０４、光学伝達関数修正部６０５、周波数変換部６０６、および、画像回復部６０７を有する。
【００７９】
撮影画像取得部６０１（画像取得手段）は、撮影条件に関する情報（撮影条件情報）が付加された画像（撮影画像）を取得する（図１のステップＳ１０１）。撮影条件取得部６０２（条件取得手段）は、撮像光学系に関する情報および撮像素子に関する情報を、撮影条件として取得する（図１のステップＳ１０２）。撮像光学系に関する情報とは、焦点距離、Ｆ値、および、被写体距離などに関する情報であるが、これに限定されるものではなく、撮像光学系のイメージサークル径などに関する情報を含む場合がある。光学系のイメージサークル径とは、撮像光学系の設計時に収差補正上予め定められた、単位円の半径または直径である。撮像素子に関する情報とは、撮像素子のサイズ、撮像素子の画素ピッチ、画素の形状や画素のサイズなどに関する情報である。また本実施例において、撮像素子に光学ローパスフィルタなどの種々の素子（光学部材）が装着されている場合がある。この場合、種々の素子の特性に関する情報を、撮像素子に関する情報に含めることができる。
【００８０】
光学伝達関数記憶部６０３（記憶手段）は、撮像光学系の光学伝達関数（光学伝達関数データ）を予め記憶している。光学伝達関数取得部６０４（関数取得手段）は、撮影条件取得部６０２で取得した撮像光学系に関する情報に基づいて、光学伝達関数記憶部６０３に記憶された光学伝達関数情報から複数の光学伝達関数を取得する（図１のステップＳ１０３）。光学伝達関数修正部６０５（関数修正手段）は、撮像光学系に関する情報に基づいて取得された複数の光学伝達関数に対して、撮像素子に関する情報に基づく修正を加える（ステップＳ１０３）。この修正は、光学ローパスフィルタや画素の特性を付与することや、撮像素子の画素ピッチに合わせた周波数帯域までの光学伝達関数への変換処理を含む。そして周波数変換部６０６（ＰＳＦ取得手段）は、光学伝達関数修正部６０５により修正された複数の光学伝達関数の全てをフーリエ逆変換し、撮像光学系の特性および撮像素子の特性に応じた点像強度分布（ＰＳＦ）を生成する（ステップＳ１０３）。
【００８１】
画像回復部６０７（画像回復手段）は、補正量算出部６０８（決定手段）および画像生成部６０９（生成手段）を有し、所定の画像処理（ステップＳ１０４〜Ｓ１０９、ステップＳ２０１〜Ｓ２０６）の繰り返し処理により画像回復処理を行う。補正量算出部６０８は、所定の画像処理で用いられる補正量（補正データ）を決定する。画像生成部６０９は、所定の画像処理において、更新前の画像と補正データとに基づいて更新画像を生成する。画像回復部６０７は、初期画像と点像強度分布（ＰＳＦ）とを用いて第ｎの画像から生成された中間画像と、第ｎの画像と、第ｎ−１の画像とに基づいて、画素位置ごとの補正量を生成し、第ｎの画像と画素位置ごとの補正量とに基づいて回復画像を生成する。
【００８２】
なお、撮影画像取得部６０１は、画像（撮影画像）を取得するが、撮影画像には撮影条件情報が付加されていない場合がある。このため本実施例において、画像処理装置６００は、撮影画像と撮影条件とを別々に取得するように構成してもよい。このとき撮影条件取得部６０２は、撮影画像とは別に（例えば、図７に示される撮像装置７００の撮像光学系制御部７０６または状態検知部７０７を介して）、撮影条件情報を取得することができる。
【実施例５】
【００８３】
次に、図７を参照して、本発明の実施例５における撮像装置の概略構成について説明する。図７は、本実施例における撮像装置７００のブロック図である。撮像装置７００は、前述の各実施例の画像処理方法を実行可能な画像処理部７０４（画像処理装置）を備えている。
【００８４】
撮像装置７００において、被写体（不図示）は、絞り７０１ａ（または遮光部材）およびフォーカスレンズ７０１ｂを含む撮像光学系７０１（光学系）を介して撮像素子７０２に結像する。本実施例において、撮像光学系７０１は、撮像素子７０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系７０１とが一体的に構成された撮像装置にも適用可能である。
【００８５】
絞り値（Ｆ値）は、絞り７０１ａまたは遮光部材により決定される。撮像素子７０２は、撮像光学系７０１を介して形成された被写体像（光学像）を光電変換して画像信号（撮影画像データ）を出力する。撮像素子７０２から出力された電気信号は、Ａ／Ｄ変換器７０３に出力される。Ａ／Ｄ変換器７０３は、撮像素子７０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部７０４に出力する。なお、撮像素子７０２およびＡ／Ｄ変換器７０３により、撮像光学系７０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。
【００８６】
画像処理部７０４は、Ａ／Ｄ変換器７０３から出力されたデジタル信号（撮像素子７０２から出力された画像信号から生成された画像）に対して、状態検知部７０７および記憶部７０８の各情報を用いて所定の画像処理を行う。特に、本実施例の画像処理部７０４は、撮影画像の画像回復処理を行い、補正画像（回復画像）を出力する。画像処理部７０４は、撮影画像取得部６０１、撮影条件取得部６０２、光学伝達関数記憶部６０３、光学伝達関数取得部６０４、光学伝達関数修正部６０５、周波数変換部６０６、および、画像回復部６０７と同様に機能する各部を含む。
【００８７】
記憶部７０８（記憶手段）は、撮影条件（撮影条件情報）ごと（撮影時の焦点距離、Ｆ値、撮影距離、および、像高の組み合わせごと）に、撮像光学系７０１の光学伝達関数（光学伝達関数データ）を記憶する。記憶部７０８は、図６に示される光学伝達関数記憶部６０３と同様の機能を含む。撮影条件は、例えば、撮像光学系制御部７０６または状態検知部７０７により取得される。本実施例において、画像処理部７０４および記憶部７０８により画像処理装置が構成される。ただし本実施例において、光学伝達関数記憶部の機能を、画像処理部７０４の外部に設けられた記憶部７０８に代えて、画像処理部７０４の内部に含めてもよい。
【００８８】
画像処理部７０４は、取得した撮影条件に対応する光学系の光学伝達関数を取得し、撮像素子に関する情報を用いて光学系の光学伝達関数を修正する。そして画像処理部７０４（周波数変換部）は、修正された光学伝達関数に対してフーリエ逆変換を行い、撮像光学系および撮像素子の特性に応じた点像強度分布を生成する。画像処理部７０４（画像回復部）は、記憶部７０８から画像データを読み出し、撮像光学系および撮像素子の特性に応じた点像強度分布を用いて画像回復処理を行う。このとき画像処理部７０４は、点像強度分布を用いて第ｎの画像から生成された中間画像と、第ｎの画像と、第ｎ−１の画像とに基づいて、画素位置ごとの補正量を生成する。そして画像処理部７０４は、第ｎの画像と画素位置ごとの補正量とに基づいて、回復画像を生成する。画像回復処理の際には、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示部７０５上で回復処理後の画像を確認しつつ変更可能であることが好ましい。
【００８９】
画像処理部７０４で処理された出力画像（回復画像）は、画像記録媒体７０９に所定のフォーマットで記録される。表示部７０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部７０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部７０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部７０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ７１０は、実施例１、２の画像処理方法を実行するように画像処理部７０４を制御する。
【００９０】
システムコントローラ７１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置７００の全体の制御を司る。より具体的には、システムコントローラ７１０は、画像処理部７０４、表示部７０５、撮像光学系制御部７０６、状態検知部７０７、および、画像記録媒体７０９の各部を制御する。撮像光学系制御部７０６は、撮像光学系７０１の動作を制御する。状態検知部７０７は、撮像光学系制御部７０６の情報から撮像光学系７０１の状態を検知する。なお撮像装置７００は、前述の画像処理方法を実現するソフトウエア（画像処理プログラム）を、ネットワークまたは記憶媒体を介してシステムコントローラ７１０に供給し、システムコントローラ７１０がそのプログラムを読み出して実行することもできる。
【００９１】
このように各実施例において、画像処理装置は、所定の画像処理の繰り返し処理により画像回復処理を行うように構成されており、決定手段（補正量算出部６０８）および生成手段（画像生成部６０９）を有する。決定手段は、所定の画像処理で用いられる補正データ（補正量）を決定する。生成手段は、所定の画像処理において、更新前の画像と補正データとに基づいて更新画像を生成する。決定手段は、繰り返し処理のうちｎ回目の画像処理において、第ｎの画像と、第ｎの画像から生成された中間画像とに基づいて第１の差分データを取得する。また決定手段は、第ｎの画像と、繰り返し処理のうち第ｍ回目（ｍ＜ｎ）の画像処理で用いられた第ｍの画像とに基づいて第２の差分データを取得する。そして決定手段は、第１の差分データと第２の差分データとに基づいて、ｎ回目の画像処理で用いられる補正データを決定する。
【００９２】
好ましくは、決定手段は、第１の差分データ、第２の差分データ、および、補正データのそれぞれを画素ごと（画素位置ごと）に決定する。また好ましくは、決定手段は、第ｎの画像と、第ｍの画像としての第ｎ−１の画像とに基づいて第２の差分データを決定する。
【００９３】
好ましくは、生成手段は、ｎ回目の画像処理において、第ｎの画像から中間画像を生成し、中間画像と第ｎの画像とに基づいて第１の差分データを生成し、第ｎの画像と第ｍの画像とに基づいて第２の差分データを生成する。そして決定手段は、ｎ回目の画像処理において、第１の差分データと第２の差分データとを比較して補正データを決定する。より好ましくは、決定手段は、第１の差分データの絶対値が第２の差分データの絶対値よりも小さい場合、第１の差分データを補正データとして決定する。一方、決定手段は、第１の差分データの絶対値が前記第２の差分データの絶対値よりも大きい場合、第２の差分データを用いて補正データを決定する。より好ましくは、決定手段は、第１の差分データの絶対値が第２の差分データの絶対値よりも大きい場合、第１の差分データと第２の差分データとの両方を用いて補正データを決定する。より好ましくは、決定手段は、第１の差分データと第２の差分データとの重み付けを行って補正データを決定する。より好ましくは、決定手段は、点像強度分布と第ｎの画像の輝度値とに基づいて、重み付けを行うために用いられる重み係数を決定する。より好ましくは、決定手段は、点像強度分布と、第ｎの画像の輝度値のうち所定値以上の輝度値を有する画素とに基づいて、重み係数を決定する。より好ましくは、決定手段は、点像強度分布と、所定値以上の輝度値とに基づいて第ｎの画像を二値化し、二値化画像に点像強度分布を畳み込むことにより、重み係数を決定する。より好ましくは、決定手段は、ユーザにより入力された所定値の輝度値に基づいて、重み係数を決定する。
【００９４】
好ましくは、生成手段は、ｎ回目の画像処理において、更新前の画像としての第ｎの画像と、補正データとに基づいて、更新画像としての第ｎ＋１の画像を生成する。より好ましくは、生成手段は、第ｎ＋１の画像を回復画像として出力する。
【００９５】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９６】
各実施例によれば、輝度値が高い領域（高輝度画素領域の周辺部）においても画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【００９７】
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００９８】
６００  画像処理装置
６０８  補正量算出部（決定手段）
６０９  画像生成部（生成手段）
【図１】
2017027463.tif 000013
【図４】
2017027463.tif 000014
【図６】
2017027463.tif 000015
【図７】
2017027463.tif 000016
【図２】
2017027463.tif 000017
【図３】
2017027463.tif 000018
【図５】
2017027463.tif 000019