(57)【要約】【課題】光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復可能な画像処理装置を提供する。【解決手段】画像処理装置は、画像を取得する画像取得手段と、光学系に関する複数の光学伝達関数を取得する関数取得手段と、撮像素子に関する情報に基づいて複数の光学伝達関数を修正する関数修正手段と、関数修正手段で修正された複数の光学伝達関数を複数の点像強度分布へ変換する変換手段と、複数の点像強度分布を用いて画像の回復処理を行う画像回復手段とを有する。【選択図】図１
2016119532.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
光学系に関する複数の光学伝達関数を取得する関数取得手段と、
撮像素子に関する情報に基づいて前記複数の光学伝達関数を修正する関数修正手段と、
前記関数修正手段で修正された前記複数の光学伝達関数を複数の点像強度分布へ変換する変換手段と、
前記複数の点像強度分布を用いて前記画像の回復処理を行う画像回復手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記画像の撮影条件情報を取得する条件取得手段を更に有し、
前記関数取得手段は、前記撮影条件情報に基づいて前記複数の光学伝達関数を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
設計値または測定値を用いて決定された光学伝達関数データを記憶する記憶手段を更に有し、
前記関数取得手段は、前記光学伝達関数データから前記複数の光学伝達関数を取得することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記光学伝達関数データは、前記撮像素子のカラーフィルタの分光感度特性および所定の光源の分光特性に基づいて、波長帯域ごとに算出された光学伝達関数を、該カラーフィルタごとの光学伝達関数に変換して得られたデータであることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記関数取得手段は、前記光学系に関する情報に基づいて、前記撮像素子の画素位置に応じて互いに異なる前記複数の光学伝達関数を取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記関数取得手段は、前記撮像素子のサイズに応じて前記複数の光学伝達関数の取得範囲を変更することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記撮像素子に関する情報は、該撮像素子の周波数特性に関する情報を含むことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記撮像素子に関する情報は、該撮像素子の各画素の形状に関する情報を含むことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記変換手段は、修正された前記複数の光学伝達関数を周波数変換して、前記複数の点像強度分布を生成することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記変換手段は、前記撮像素子の画素位置および該撮像素子のカラーフィルタの種類ごとに、修正された前記複数の光学伝達関数を前記複数の点像強度分布へ変換することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像回復手段は、
前記変換手段により変換された前記複数の点像強度分布の中から、前記撮像素子の着目画素に対応する複数の点における複数の点像強度分布を特定し、
前記着目画素ごとに前記画像の回復処理を行うことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像回復手段は、
前記複数の点における前記複数の点像強度分布に適用する重み情報を決定し、
前記重み情報に基づいて、前記着目画素ごとに前記画像の回復処理を行うことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画像回復手段は、前記着目画素の位置と前記複数の点の位置との間の距離情報に基づいて、前記重み情報を決定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記画像回復手段は、
前記画像および前記複数の点像強度分布を用いて第１の更新画像を生成し、
前記画像、第Ｎの更新画像、および、前記複数の点像強度分布を用いて第（Ｎ＋１）の更新画像を生成する処理（Ｎは自然数）を繰り返し実行すること特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、
前記画像信号から生成された画像を取得する画像取得手段と、
光学系に関する複数の光学伝達関数を取得する関数取得手段と、
前記撮像素子に関する情報に応じて前記複数の光学伝達関数を修正する関数修正手段と、
前記関数修正手段で修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、
前記点像強度分布を用いて前記画像の回復処理を行う画像回復手段と、を有することを特徴とする撮像装置。
【請求項１６】
画像を取得するステップと、
光学系に関する複数の光学伝達関数を取得するステップと、
撮像素子に関する情報に応じて前記複数の光学伝達関数を修正するステップと、
修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、
前記点像強度分布を用いて前記画像の回復処理を行うステップと、を有することを特徴とする画像処理方法。
【請求項１７】
画像を取得するステップと、
光学系に関する複数の光学伝達関数を取得するステップと、
撮像素子に関する情報に応じて前記複数の光学伝達関数を修正するステップと、
修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、
前記点像強度分布を用いて前記画像の回復処理を行うステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
【請求項１８】
請求項１７に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
光学系による画像の劣化を補正する画像処理装置に関する。
【背景技術】
【０００２】
光学系により撮影された被写体は、撮像光学系で発生する回折や収差等の影響により、１点から発生した光が１点に収束することができなくなるため微小な広がりを持つこととなる。このような微小な広がりを持った分布をＰＳＦ（点像強度分布関数）と呼ぶ。このような光学系の影響により、撮影画像にはＰＳＦが畳み込まれて形成されることになり、画像がぼけて解像度が劣化する。
【０００３】
近年、撮影画像を電子データとして保持することが一般的になり、画像処理を利用して光学系による画像の劣化を補正する方法（画像回復処理）が提案されている。このような画像の劣化状態は、画面内の位置に応じて異なる。
【０００４】
そこで特許文献１には、レンズ特性により画像劣化が画面内位置で異なる場合にも、各位置の劣化状態に応じて最適に回復処理を行うとともに、演算量を低減させる画像処理方法が開示されている。非特許文献１には、ベイズの定理に基づく、所謂Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法を用いた画像回復方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３―２５４７３号公報
【非特許文献】
【０００６】
【非特許文献１】ＯＳＡ  ＶＯＬＵＭＥ  ６２，  ＮＵＭＢＥＲ  １  ＪＡＮＵＡＲＹ  １９７２  Ｂａｙｅｓｉａｎ−Ｂａｓｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｍｅｔｈｏｄ  ｏｆ  Ｉｍａｇｅ  Ｒｅｓｔｏｒａｔｉｏｎ
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の画像処理方法では、測定したＰＳＦを縦横の分散値に変換するため、大きなコマ収差のように非対称な劣化特性に対しては、原理的に補正を行うことができない。また、ＰＳＦの縦横の分散値を用いた方法は、光学系と撮像素子との組み合わせが無数にあるレンズ交換式のカメラに対しては、座標の単位が変わるために適用することができない。特に、従来の方法では、種々のレンズと撮像素子との組み合わせが可能なレンズ交換式のデジタルカメラにおいて、撮影された画像内のシフトバリアントな劣化特性を良好に回復することはできない。
【０００８】
そこで本発明は、光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。
【課題を解決するための手段】
【０００９】
本発明の一側面としての画像処理装置は、画像を取得する画像取得手段と、光学系に関する複数の光学伝達関数を取得する関数取得手段と、撮像素子に関する情報に基づいて前記複数の光学伝達関数を修正する関数修正手段と、前記関数修正手段で修正された前記複数の光学伝達関数を複数の点像強度分布へ変換する変換手段と、前記複数の点像強度分布を用いて前記画像の回復処理を行う画像回復手段とを有する。
【００１０】
本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像信号を出力する撮像素子と、前記画像信号から生成された画像を取得する画像取得手段と、光学系に関する複数の光学伝達関数を取得する関数取得手段と、前記撮像素子に関する情報に応じて前記複数の光学伝達関数を修正する関数修正手段と、前記関数修正手段で修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、前記点像強度分布を用いて前記画像の回復処理を行う画像回復手段とを有する。
【００１１】
本発明の他の側面としての画像処理方法は、画像を取得するステップと、光学系に関する複数の光学伝達関数を取得するステップと、撮像素子に関する情報に応じて前記複数の光学伝達関数を修正するステップと、修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、前記点像強度分布を用いて前記画像の回復処理を行うステップとを有する。
【００１２】
本発明の他の側面としての画像処理プログラムは、画像を取得するステップと、光学系に関する複数の光学伝達関数を取得するステップと、撮像素子に関する情報に応じて前記複数の光学伝達関数を修正するステップと、修正された前記複数の光学伝達関数を点像強度分布へ変換する変換手段と、前記点像強度分布を用いて前記画像の回復処理を行うステップと、をコンピュータに実行させるように構成されている。
【００１３】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【００１４】
本発明の他の目的及び特徴は、以下の実施例において説明される。
【発明の効果】
【００１５】
本発明によれば、光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】実施例１における画像処理方法のフローチャートである。
【図２】実施例２におけるシフトバリアントな劣化特性を補正する画像処理方法の説明図である。
【図３】実施例３における画像処理システムの構成図である。
【図４】実施例４における画像処理装置のブロック図である。
【図５】実施例５における撮像装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【００１８】
まず、本実施形態における画像処理方法（画像回復処理）の概略について説明する。実空間（ｘ，ｙ）上で、光学系による劣化を受ける前の画像をｆ（ｘ，ｙ）、ＰＳＦ（点像強度分布関数）をｈ（ｘ，ｙ）、劣化した画像をｇ（ｘ，ｙ）とすると、これらは以下の式（１）のように表される。
【００１９】
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ…  （１）
式（１）にフーリエ変換を施し、実空間（ｘ，ｙ）から周波数空間（ｕ，ｖ）への変換を行うと、以下の式（２）の関係が成立する。
【００２０】
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＊Ｈ（ｕ，ｖ）  …  （２）
ここで、Ｆ（ｕ，ｖ）はｆ（ｘ，ｙ）のフーリエ変換、Ｇ（ｕ，ｖ）はｇ（ｘ，ｙ）のフーリエ変換、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）のフーリエ変換である。このため、以下の式（３）が成立する。
【００２１】
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）  …  （３）
式（３）は、周波数空間上で、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）を点像強度分布関数ｈ（ｘ，ｙ）のフーリエ変換Ｈ（ｕ，ｖ）で割ると、劣化を受ける前の画像ｆ（ｘ，ｙ）のフーリエ変換Ｆ（ｕ，ｖ）が得られることを意味している。従って、Ｆ（ｕ，ｖ）にフーリエ逆変換を施せば、劣化を受ける前の画像ｆ（ｘ，ｙ）を得ることができる。
【００２２】
しかしながら、実際に、このような処理を行って劣化を受ける前の画像を得ようとすると、特にＨ（ｕ，ｖ）上にゼロ近傍の値がある場合、１／Ｈ（ｕ，ｖ）が非常に大きくなってしまう。そこで、このような問題を解決するため、以下の式（４）で表されるウィナーフィルタＷ（ｕ，ｖ）を用いることが知られている。
【００２３】
Ｗ（ｕ，ｖ）＝１／Ｈ（ｕ，ｖ）＊｜Ｈ（ｕ，ｖ）｜２／（｜Ｈ（ｕ，ｖ）２＋Γ）  …  （４）
ここで、Ｈ（ｕ，ｖ）は光学伝達関数（ＯＴＦ：Ｏｐｔｉｃａｌ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）であり、Γは処理上のゼロ除算を回避するための定数項である。
【００２４】
式（４）を、劣化画像ｇ（ｘ，ｙ）のフーリエ変換Ｇ（ｕ，ｖ）に乗算すれば、光学系（撮像光学系）や撮像素子（センサ）などによる画像の劣化を補正することができる。すなわち、ウィナーフィルタＷ（ｕ，ｖ）を用いた画像回復処理により回復された画像の周波数空間情報Ｒ（ｕ，ｖ）は、以下の式（５）のように表される。
【００２５】
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊Ｗ（ｕ，ｖ）  …  （５）
ここで、ウィナーフィルタの問題は、光学伝達関数Ｈ（ｕ，ｖ）の周波数空間での値がゼロまたは極めて小さい値（ゼロ近傍の値）である場合に生じる。式（４）においてΓの値を調整してゼロ除算を回避したとしても、その周波数領域では実質的に画像回復の効果を得ることができない。また、画像回復の効果が得られないだけでなく、実際には画像として好ましくないリンギングや不自然なアンダーシュートなどの弊害が発生しやすくなる。
【００２６】
画像回復処理の別手法として、例えば、Ｌｕｃｙ−Ｒｉｃｈａｒｄｓｏｎ法（ＬＲ法）がある。ＬＲ法による画像回復処理は、ウィナーフィルタとは異なり、式（４）のような光学伝達関数の除算による手法ではない。特に、ＬＲ法においてはベイズ推定の手法を用いることにより画像回復処理を行う。ＬＲ法は、ウィナーフィルタを用いた画像回復処理とは異なり、失われた周波数情報をも推定して画像回復処理を行う。すなわち、原理的なゼロ除算は全周波数がゼロの領域でしか発生しないことになる。
【００２７】
従って、周波数成分中においていくつかのゼロ点が発生している領域、または、極めて小さい値が存在する領域においては、ウィナーフィルタよりもロバストで効果的な手法であるといえる。しかし、一方で、シフトインバリアントな領域で繰り返し処理による計算を実行する必要があり、計算のためのコストが高い。また、撮影画像のノイズが大きい場合、ウィナーフィルタと同様にノイズ増幅による弊害が発生する。ＬＲ法による画像回復処理は、実空間において、以下の式（６）のように表される。
【００２８】
【数１】
2016119532.tif 000003
【００２９】
式（６）において、ｆｎは更新後の画像（更新画像）、ｆｎ−１は更新前の画像である。ｈは光学系の劣化特性であり、例えばＰＳＦである。また、ｇは劣化した画像（撮影画像）である。
【００３０】
ＬＲ法を用いた画像回復処理は、画像ｆｎ−１を逐次更新し、例えば所定の評価基準に基づいて更新処理を打ち切り、画像ｆｎを出力することにより行われる。このときの評価基準は、例えば、画像ｆｎと画像ｆｎ−１との差分値などである。ここで、ＬＲ法を開始する際（初期値）として、ｆ０＝ｇなどと設定して画像回復処理を開始すればよい。
【００３１】
デジタルカメラで撮影した画像に対して、前述の画像回復処理を適用するには、種々の工夫が必要である。まず、一般的なデジタルカメラで撮影された画像は、画像の各位置に応じて互いに異なる劣化特性を有する。また、画像の周辺部においては、撮像光学系の収差が大きく、画像が非対称に劣化していることが多い。加えて、レンズ交換式カメラのように、撮像光学系と撮像素子との組み合わせが無数にある環境を想定すると、単純に式（６）を適用するだけでは、良好な結果を得ることができない。
【００３２】
そこで、以下の各実施例において、光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復するための構成および方法について説明する。
【実施例１】
【００３３】
まず、図１を参照して、本発明の実施例１における画像処理方法について説明する。図１は、本実施例における画像処理方法のフローチャートである。図１の各ステップは、画像処理装置の各部により実行される。
【００３４】
まずステップＳ１０１において、本実施例の画像処理装置は、画像回復処理の対象となる画像（撮影画像）を取得する。続いてステップＳ１０２において、画像処理装置は、ステップＳ１０１にて取得された画像に対して画像回復処理を開始するため、撮影条件（撮影条件情報）を取得する。本実施例において、画像処理装置は、ステップＳ１０１にて取得された画像に付随する、例えばＥｘｉｆ情報などから撮影条件を取得するか、または、撮影条件を直接取得する。本実施例において、撮影条件は、光学系（撮像光学系）の撮影条件として、撮影時のレンズを特定するためのレンズ識別番号（レンズＩＤ）と、撮影時の焦点距離、Ｆ値、および、被写体距離とを含む。画像処理装置は、レンズＩＤと、焦点距離、Ｆ値、および、被写体距離との組み合わせからなる撮影条件により、光学系の光学伝達関数を特定することができる。
【００３５】
また撮影条件として、撮像素子の画素ピッチ、カラーフィルタの配列、および、光学ローパスフィルタに関する情報など、撮影時の状況を示す情報を含む場合もある。ここで、光学系の光学伝達関数は、折り返し信号が発生しない程度のサンプリングピッチで離散化されたデータである。光学伝達関数は、例えばレンズ（光学系）の設計データなどからコンピュータ上のシミュレーションで算出することが好ましいが、画素ピッチの小さい撮像素子を用いて測定してもよい。このときの画素ピッチは、前述のように折り返し信号が発生しない程度の画素ピッチであることが好ましい。コンピュータシミュレーションで光学系の光学伝達関数を生成する際には、想定する光源の分光特性や撮像素子のカラーフィルタの分光特性を用いて波長ごとに算出される光学伝達関数を、Ｒ、Ｇ、Ｂの各色に対応させて生成することが好ましい。
【００３６】
光学系の光学伝達関数は、前述の焦点距離、Ｆ値、および、被写体距離が決定した場合に、撮像素子上の位置と主にＲ、Ｇ、Ｂのカラーフィルタの分光特性との組み合わせの数だけ必要となる。すなわち、撮影条件ごとに複数の光学伝達関数が必要である。例えば、撮像素子上の代表点１００点とＲ、Ｇ、Ｂの３色のカラーフィルタとの組み合わせの数は３００となる。従って、前述の光学系の光学伝達関数の特定は、このような３００点を特定することを意味する。
【００３７】
続いて、ステップＳ１０３において、画像処理装置は、ステップＳ１０２にて取得した撮影条件に基づいて、光学系の光学伝達関数を取得する。このとき、使用される撮像素子のサイズに応じて、光学伝達関数の取得範囲を変更することが好ましい。光学伝達関数の取得範囲は、例えば、光学系に応じて決定される範囲と、撮像素子が光学像を取得可能な範囲との比率に基づいて決定される。ここで、光学系に応じて決定される範囲とは、例えば設計時に収差補正が行われている範囲である。
【００３８】
続いて、ステップＳ１０４において、画像処理装置は、ステップＳ１０３にて取得した光学伝達関数を修正する。取得した光学系の光学伝達関数は、そのままでは画像回復処理には適用できない。本実施例の画像処理装置は、種々の撮像素子に関し、各撮像素子の帯域や画素の形状などの特性（周波数特性）に応じて光学系の光学伝達関数を修正する。撮像素子の特性に応じて光学系の光学伝達関数を修正するには、以下のような特性を考慮する。
【００３９】
まず、撮像素子の特性として、撮像素子のサイズ、画素ピッチ、カラーフィルタの配列などに関する情報がある。撮像素子のサイズは、光学空中像を切り出すイメージサークルを指定する情報である。画素ピッチは、光学伝達関数の折り返し信号に関する情報である。また、前述の情報以外にも、光学ローパスフィルタに関する特性を考慮してもよい。ここで、光学ローパスフィルタに関する特性とは、光学ローパスフィルタの有無、それによる光学伝達関数が受ける特性に関する情報である。これは、例えば、光学ローパスフィルタによる点像強度分布の分離幅、分離方向、および、分離方法などである。また、単板センサの場合、Ｒ、Ｇ、Ｂ画素の配列情報を、ベイヤー配列のサンプリング間隔における折り返し信号についての情報として使用することができる。また、ベイヤー配列の撮像素子の場合、Ｒ、Ｇ、Ｂについてそれぞれのサンプリングピッチが異なる場合があり、また、特殊な配置を有する場合もある。このため、これらの情報について考慮することもできる。これらの情報は、ステップＳ１０２にて撮影条件（撮影条件情報）として取得可能である。
【００４０】
ステップＳ１０４にて撮像素子の特性に応じて修正された光学伝達関数は、以下の式（７）のようなモデルで表される。
【００４１】
【数２】
2016119532.tif 000004
【００４２】
式（７）において、ＨＳ（ｕ，ｖ）は撮像素子の特性に応じて修正された光学伝達関数である。また、Ｈ（ｕ，ｖ）は光学系の光学伝達関数、ＯＬＰＦ（ｕ，ｖ）は光学ローパスフィルタの周波数特性、ＰＩＸ（ｕ，ｖ）は撮像素子の画素形状による周波数特性である。［  ］Ｓは撮像素子の帯域内の周波数特性の取得を示している。
【００４３】
続いてステップＳ１０５において、画像処理装置は、ステップＳ１０４にて修正された複数の光学伝達関数に対して、それぞれ周波数変換を行い実空間上のデータに変換することにより、撮像素子の特性を含む点像強度分布（ＰＳＦ）を生成する。
【００４４】
続いてステップＳ１０６において、画像処理装置は、ステップＳ１０５にて生成されたＰＳＦ、および、式（６）を用いて、画像回復処理を行い、そして回復画像の現像処理を行う。式（６）に関しては、種々の正則化を含めた変形をしてもよい。このとき、繰り返し回数の増加に応じて画像回復処理の効果が強くなる。ただし、ノイズなども増幅されるため、所定の評価値に基づいて処理（繰り返し処理）を終了することが好ましい。ここで、所定の評価値は、例えば、式（６）において、色別のｆｎとｆｎ−１のＲＭＳＥなどである。また、所定の評価値の設定により、効果の強弱を表すことができる。また、特定の領域のみで評価を行うことも可能である。なお本実施例の画像処理方法は、好ましくは、ソフトウエアまたはハードウエア上で動作するプログラムとして提供される。
【実施例２】
【００４５】
次に、図２を参照して、本発明の実施例２について説明する。図２は、シフトバリアントな劣化特性を補正する画像処理方法の説明図であり、撮像素子の特性に応じて異なるＰＳＦを用いた画像回復処理の一例を示している。
【００４６】
本実施例は、ＰＳＦの特性が画像中の位置ごとに大きく変化する場合について、良好な結果が得られる画像処理方法を説明する。ＰＳＦが像高などの画像中の位置ごとに大きく変化する場合、画像中の位置ごとに適切な（すなわち正確な）ＰＳＦを用いて画像処理を行うことが理想的である。しかし、撮像素子の全画素数の正確なＰＳＦをデータとしてメモリに保持することは現実的ではない。そこで本実施例においては、画像中の所定の各位置において、各位置に対応する光学系の光学伝達関数を、撮像素子の特性に応じて修正する。そして、修正後の光学伝達関数を、周波数変換によりＰＳＦに変換して利用する。
【００４７】
本実施例では、画像のＲ、Ｇ、Ｂの縦、横のデータ数をそれぞれＶ、Ｈとする。Ｒ、Ｇ、Ｂをベイヤーとして処理する場合、Ｖ、Ｈがそれぞれ互いに異なる数でもよい。画像の縦横にはそれぞれ、Ｍ、Ｎ点のＰＳＦを対応付け、それぞれの配置間隔をＡ、Ｂとし、（Ｍ−１）×（Ｎ−１）個の複数の長方形領域を考える。ここでは、計算上、Ａ＝Ｖ／（Ｍ−１）、Ｂ＝Ｈ／（Ｎ−１）であることが好ましい。このような場合、処理対象の着目画素（ｉ，ｊ）ごとに、ｉ／Ａ、ｊ／Ｂの整数除算を行うことにより、条件分岐などの処理を用いることなく、複数の長方形領域の何番目に属するかを直ちに算出可能であるためである。
【００４８】
従って、ｍ＝ｉ／Ａ、ｎ＝ｊ／Ｂより、ＰＳＦ［ｍ，ｎ］、ＰＳＦ［ｍ，ｎ＋１］、ＰＳＦ［ｍ＋１，ｎ］、ＰＳＦ［ｍ＋１，ｎ＋１］の４つのＰＳＦが選択される。そして、選択された４つのＰＳＦを用いて、着目画素（ｉ，ｊ）に対応するＰＳＦｉｊを算出することができる。このため本実施例では、それぞれのＰＳＦに対する重み付けを、以下のように決定する。
【００４９】
Ｗ（ｍ，ｎ）＝（Ａ−ａ）＊（Ｂ−ｂ）／（Ａ＊Ｂ）
Ｗ（ｍ，ｎ＋１）＝（Ａ−ａ）＊ｂ／（Ａ＊Ｂ）
Ｗ（ｍ＋１，ｎ）＝ａ＊（Ｂ−ｂ）／（Ａ＊Ｂ）
Ｗ（ｍ＋１，ｎ＋１）＝ａ＊ｂ／（Ａ＊Ｂ）
ここで、ａ＝ｍｏｄ（ｉ，Ａ）、ｂ＝ｍｏｄ（ｊ，Ｂ）である。また、ｍｏｄ（ｘ，ｙ）はｘのｙによる剰余である。以上より、以下の式（８）が得られる。
【００５０】
【数３】
2016119532.tif 000005
【００５１】
このため本実施例では、式（６）を、式（８）に基づいて、以下の式（９）のように用いる。
【００５２】
【数４】
2016119532.tif 000006
【００５３】
式（９）による処理は、画像のＲ、Ｇ、Ｂごとに実行し、最終的な画像を得る。また本実施例では、式（８）を、小さいＭとＮで高精度に行うため、予めそれぞれのＰＳＦの重心位置を一致させる処理を施しておくことが好ましい。また、重心位置だけでなく、最大値を一致させてもよく、また、それらの両方を評価する評価値を満たすようにＰＳＦの補正を行ってもよい。
【実施例３】
【００５４】
次に、図３を参照して、本発明の実施例３における画像処理システム（画像処理装置）について説明する。図３は、本実施例における画像処理システム３００の構成図である。画像処理システム３００は、画像処理装置３０１（情報処理装置としてのハードウエア）、表示装置３０２（モニタ）、および、入力装置３０３（キーボードなどの入力手段）を備えて構成される。本実施例は、実施例１、２の画像処理方法を画像処理システム３００（パソコンのソフトウエア）上で動作させる場合について説明する。
【００５５】
まず、実施例１、２の画像処理方法を画像処理装置３０１において動作させるため、画像処理方法を実行するソフトウエア（画像処理プログラム）を画像処理装置３０１（パソコン）にインストールする。ソフトウエアは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア３０４（記憶媒体）からインストールすることができる。または、ソフトウエアを、ネットワーク（インターネット）を通じてダウンロードしてインストールしてもよい。また画像処理装置３０１には、光学系（撮像光学系）の複数の光学伝達関数（光学伝達関数データ）が格納されている。ここで、画像処理装置３０１に格納される複数の光学伝達関数は、例えば、光学系の種々の撮影条件（撮影条件情報）ごとの光学伝達関数の全てである。光学伝達関数に関しても、メディア３０４やネットワークを通じてダウンロードすることにより、画像処理装置３０１に格納される。本実施例において、ソフトウエア（画像処理プログラム）、光学伝達関数データ、および、撮影条件情報などの各データは、画像処理装置３０１内のハードディスクなどの記憶部に記憶される。また画像処理装置３０１は、少なくとも一部のデータを、外部のサーバからネットワークを通じて取得するように構成してもよい。
【００５６】
画像処理装置３０１は、インストールされたソフトウエアを起動し、撮影画像に対して画像回復処理を行う。ソフトウエア上では、画像回復処理の強度を決定する繰り返し回数や、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示装置３０２上で回復処理後の画像を確認しつつ変更可能であることが好ましい。
【実施例４】
【００５７】
次に、図４を参照して、本発明の実施例４における画像処理装置について説明する。図４は、本実施例における画像処理装置４００のブロック図である。図４に示されるように、画像処理装置４００は、撮影画像取得部４０１、撮影条件取得部４０２、光学伝達関数記憶部４０３、光学伝達関数取得部４０４、光学伝達関数修正部４０５、周波数変換部４０６、および、画像回復部４０７を有する。
【００５８】
撮影画像取得部４０１（画像取得手段）は、撮影条件に関する情報（撮影条件情報）が付加された画像（撮影画像）を取得する（図１のステップＳ１０１）。撮影条件取得部４０２（条件取得手段）は、光学系（撮像光学系）に関する情報および撮像素子に関する情報を、撮影条件として取得する（図１のステップＳ１０２）。光学系に関する情報とは、焦点距離、Ｆ値、および、被写体距離などに関する情報であるが、これに限定されるものではなく、光学系のイメージサークル径などに関する情報を含む場合がある。光学系のイメージサークル径とは、光学系の設計時に収差補正上予め定められた、単位円の半径または直径である。撮像素子に関する情報とは、撮像素子のサイズ（像高）、撮像素子の画素ピッチ、画素の形状や画素のサイズなどに関する情報である。また本実施例において、撮像素子に光学ローパスフィルタなどの種々の素子（光学部材）が装着されている場合がある。この場合、種々の素子の特性に関する情報を、撮像素子に関する情報に含めることができる。
【００５９】
光学伝達関数記憶部４０３（記憶手段）は、光学系の光学伝達関数（光学伝達関数データ）を予め記憶している。光学伝達関数取得部４０４（関数取得手段）は、撮影条件取得部４０２で取得した光学系に関する情報に基づいて、光学伝達関数記憶部４０３に記憶された光学伝達関数データから複数の光学伝達関数を取得する（図１のステップＳ１０３）。光学伝達関数修正部４０５（関数修正手段）は、光学系に関する情報に基づいて取得された複数の光学伝達関数に対して、撮像素子に関する情報に基づく修正を加える（図１のステップＳ１０４）。この修正は、光学ローパスフィルタや画素の特性を付与することや、撮像素子の画素ピッチに合わせた周波数帯域までの光学伝達関数への変換処理を含む。
【００６０】
周波数変換部４０６（変換手段）は、光学伝達関数修正部４０５により修正された複数の光学伝達関数の全てをフーリエ逆変換し、光学系の特性および撮像素子の特性に応じた点像強度分布（ＰＳＦ）を生成する（図１のステップＳ１０５）。画像回復部４０７（画像回復手段）は、撮影画像取得部４０１により取得された画像、および、周波数変換部４０６により生成された点像強度分布を用いて、画像回復処理を実行する（図１のステップＳ１０６）。
【００６１】
なお、撮影画像取得部４０１は、画像（撮影画像）を取得するが、撮影画像には撮影条件情報が付加されていない場合がある。このため本実施例において、画像処理装置４００は、撮影画像と撮影条件とを別々に取得するように構成してもよい。このとき撮影条件取得部４０２は、撮影画像とは別に（例えば、図５に示される撮像装置５００の撮像光学系制御部５０６または状態検知部５０７を介して）、撮影条件情報を取得することができる。
【実施例５】
【００６２】
次に、図５を参照して、本発明の実施例５における撮像装置の概略構成について説明する。図５は、本実施例における撮像装置５００のブロック図である。撮像装置５００は、前述の各実施例の画像処理方法を実行可能な画像処理部５０４（画像処理装置）を備えている。
【００６３】
撮像装置５００において、被写体（不図示）は、絞り５０１ａ（または遮光部材）およびフォーカスレンズ５０１ｂを含む撮像光学系５０１（光学系）を介して撮像素子５０２に結像する。本実施例において、撮像光学系５０１は、撮像素子５０２を有する撮像装置本体に着脱可能な交換レンズ（レンズ装置）である。ただし本実施例は、これに限定されるものではなく、撮像装置本体と撮像光学系５０１とが一体的に構成された撮像装置にも適用可能である。
【００６４】
絞り値（Ｆ値）は、絞り５０１ａまたは遮光部材により決定される。撮像素子５０２は、撮像光学系５０１を介して形成された被写体像（光学像）を光電変換して画像信号（撮影画像データ）を出力する。撮像素子５０２から出力された電気信号は、Ａ／Ｄ変換器５０３に出力される。Ａ／Ｄ変換器５０３は、撮像素子５０２から入力された電気信号（アナログ信号）をデジタル信号に変換し、デジタル信号（撮影画像）を画像処理部５０４に出力する。なお、撮像素子５０２およびＡ／Ｄ変換器５０３により、撮像光学系５０１を介して形成された光学像（被写体像）を光電変換して撮影画像を出力する撮像手段が構成される。
【００６５】
画像処理部５０４は、Ａ／Ｄ変換器５０３から出力されたデジタル信号（撮像素子５０２から出力された画像信号から生成された画像）に対して、状態検知部５０７および記憶部５０８の各情報を用いて所定の画像処理を行う。特に、本実施例の画像処理部５０４は、撮影画像の画像回復処理を行い、補正画像（回復画像）を出力する。画像処理部５０４は、図４に示される撮影画像取得部４０１、撮影条件取得部４０２、光学伝達関数記憶部４０３、光学伝達関数取得部４０４、光学伝達関数修正部４０５、周波数変換部４０６、および、画像回復部４０７と同様の機能を有する各部を含む。
【００６６】
記憶部５０８（記憶手段）は、撮影条件（撮影条件情報）ごと（撮影時の焦点距離、Ｆ値、撮影距離、および、像高の組み合わせごと）に、撮像光学系５０１の光学伝達関数（光学伝達関数データ）を記憶する。記憶部５０８は、図４に示される光学伝達関数記憶部４０３と同様の機能を含む。撮影条件は、例えば、撮像光学系制御部５０６または状態検知部５０７により取得される。本実施例において、画像処理部５０４および記憶部５０８により画像処理装置が構成される。ただし本実施例において、光学伝達関数記憶部を、画像処理部５０４の外部に設けられた記憶部５０８に代えて、画像処理部５０４の内部に含めてもよい。
【００６７】
画像処理部５０４は、取得した撮影条件に対応する光学系の光学伝達関数を取得し、撮像素子に関する情報を用いて光学系の光学伝達関数を修正する。そして画像処理部５０４は、記憶部５０８から画像データを読み出して画像回復処理を行う。画像回復処理の強度を決定する繰り返し回数や、画像のうちの所定の領域（画像回復処理の対象領域）にのみ画像回復処理を適用するなど、種々の設定（パラメータの設定）が可能である。このようなパラメータは、ユーザが表示部５０５上で回復処理後の画像を確認しつつ変更可能であることが好ましい。
【００６８】
画像処理部５０４で処理された出力画像（回復画像）は、画像記録媒体５０９に所定のフォーマットで記録される。表示部５０５には、本実施例における画像処理後の画像に表示用の所定の処理を行った画像が表示される。また表示部５０５は、高速表示のために簡易的な処理を行った画像を表示してもよい。また表示部５０５は、ユーザが画像回復モードまたは通常撮影モードを選択するためのＧＵＩを表示する。表示部５０５のＧＵＩを介して、ユーザにより画像回復モードが選択されると、システムコントローラ５１０は、実施例１、２の画像処理方法を実行するように画像処理部５０４を制御する。
【００６９】
システムコントローラ５１０は、ＣＰＵやＭＰＵなどにより構成され、撮像装置５００の全体の制御を司る。より具体的には、システムコントローラ５１０は、画像処理部５０４、表示部５０５、撮像光学系制御部５０６、状態検知部５０７、および、画像記録媒体５０９の各部を制御する。撮像光学系制御部５０６は、撮像光学系５０１の動作を制御する。状態検知部５０７は、撮像光学系制御部５０６の情報から撮像光学系５０１の状態を検知する。なお撮像装置５００は、前述の画像処理方法を実現するソフトウエア（画像処理プログラム）を、ネットワークまたは記憶媒体を介してシステムコントローラ５１０に供給し、システムコントローラ５１０がそのプログラムを読み出して実行することもできる。
【００７０】
このように各実施例において、画像処理装置は、画像取得手段（撮影画像取得部）、関数取得手段（光学伝達関数取得部４０４）、関数修正手段（光学伝達関数修正部４０５）、変換手段（周波数変換部４０６）、及び、画像回復手段（画像回復部４０７）を有する。画像取得手段は、画像（撮影画像）を取得する。関数取得手段は、光学系（撮像光学系）に関する複数の光学伝達関数を取得する。関数修正手段は、撮像素子に関する情報に基づいて複数の光学伝達関数を修正する。変換手段は、関数修正手段で修正された複数の光学伝達関数を複数の点像強度分布へ変換する。画像回復手段は、複数の点像強度分布を用いて画像の回復処理を行う。
【００７１】
好ましくは、画像処理装置は、画像の撮影条件情報を取得する条件取得手段（撮影条件取得部４０２）を有する。そして関数取得手段は、撮影条件情報に基づいて複数の光学伝達関数を取得する。また好ましくは、画像処理装置は、設計値または測定値を用いて決定された光学伝達関数データを記憶する記憶手段（光学伝達関数記憶部４０３）を有する。そして関数取得手段は、光学伝達関数データから複数の光学伝達関数を取得する。より好ましくは、光学伝達関数データは、撮像素子のカラーフィルタの分光感度特性および所定の光源の分光特性に基づいて、波長帯域ごとに算出された光学伝達関数を、カラーフィルタごとの光学伝達関数に変換して得られたデータである。所定の光源とは、例えば太陽光や部屋の光などの光源である。また、波長帯域とは、例えばＲ、Ｇ、Ｂの波長帯域である。
【００７２】
好ましくは、関数取得手段は、光学系に関する情報に基づいて、撮像素子の画素位置（像高など）に応じて互いに異なる複数の光学伝達関数を取得する。また好ましくは、関数取得手段は、撮像素子のサイズに応じて複数の光学伝達関数の取得範囲を変更する。また好ましくは、撮像素子に関する情報は、撮像素子の周波数特性に関する情報を含む。より好ましくは、撮像素子に関する情報は、撮像素子の各画素の形状に関する情報を含む。
【００７３】
好ましくは、変換手段は、修正された複数の光学伝達関数を周波数変換して、複数の点像強度分布を生成する。変換手段は、撮像素子の画素位置および撮像素子のカラーフィルタの種類ごとに、修正された複数の光学伝達関数を複数の点像強度分布へ変換する。
【００７４】
好ましくは、画像回復手段は、変換手段により変換された複数の点像強度分布の中から、撮像素子の着目画素に対応する複数の点における複数の点像強度分布を特定し、着目画素ごとに画像の回復処理を行う。より好ましくは、画像回復手段は、複数の点における複数の点像強度分布に適用する重み情報（重み係数）を決定し、重み情報に基づいて、着目画素ごとに画像の回復処理を行う。より好ましくは、画像回復手段は、着目画素の位置と複数の点の位置との間の距離情報に基づいて、重み情報を決定する。例えば、この距離が小さいほど大きな重み付けを行って、画像の回復処理を行う。
【００７５】
好ましくは、画像回復手段は、画像（撮影画像）および複数の点像強度分布を用いて第１の更新画像を生成する。そして画像回復手段は、画像、第Ｎの更新画像、および、複数の点像強度分布を用いて第（Ｎ＋１）の更新画像を生成する処理（Ｎは自然数）を繰り返し実行する。例えば、前述のＬＲ法を用いて画像の回復処理が行われる。このような処理の繰り返し回数Ｎは、所定の回数Ｋに設定することができ、または、第Ｎの更新画像と第（Ｎ＋１）の更新画像との間の変化の程度に基づいて更なる処理を繰り返すか否かを判定するように構成してもよい。
【００７６】
各実施例によれば、光学系と撮像素子との任意の組み合わせにおける画像の劣化を良好に回復可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。
【００７７】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００７８】
４００  画像処理装置
４０１  撮影画像取得部（画像取得手段）
４０４  光学伝達関数取得部（関数取得手段）
４０５  光学伝達関数修正部（関数修正手段）
４０６  周波数変換部（変換手段）
４０７  画像回復部（画像回復手段）
【図４】
2016119532.tif 000007
【図５】
2016119532.tif 000008
【図１】
2016119532.tif 000009
【図２】
2016119532.tif 000010
【図３】
2016119532.tif 000011