(57)【要約】【課題】個々のレンズ固有のＰＳＦを精度よく推定することができる画像処理装置及び画像処理方法を提供する。【解決手段】本発明による画像処理装置は、撮像素子、画像抽出部、参照画像生成部、推定部、位相特定部を備える。撮像素子は、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する。画像抽出部は、前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する。参照画像生成部は、前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する。推定部は、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する。位相取得部は、前記推定部の推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する。【選択図】図１
2016163315.tif 000002
【特許請求の範囲】
【請求項１】
所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する撮像素子と、
前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する画像抽出部と、
前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する参照画像生成部と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する推定部と、
前記推定部の推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する位相取得部と、
を備えた画像処理装置。
【請求項２】
前記位相取得部は、
前記位相ずれ量に対する前記評価値を取得する評価値取得部と、
前記位相ずれ量を変化させて前記参照画像生成部に供給し、前記評価値が所定の条件を満たすときの前記位相ずれ量を特定する位相特定部と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記図形は、環状の図形であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定部は、前記点広がり関数を用いて前記参照画像を畳み込み演算することにより得られる画像と前記撮像画像との差分が小さくなるように、前記点広がり関数の係数を演算することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、
前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、
前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する第３段階と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、
前記第４段階における推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する第５段階と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の光学系を構成するレンズの特性を表す関数の一つに点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）がある。通常、デジタルカメラの光学系は、サイズ、コスト、絞り開口サイズなどに対してＰＳＦがインパルス応答特性を示し、かつ、変調伝達関数（ＭＴＦ）が最大になるように設計されている。
【０００３】
ここで、設計は同一であっても、製造された個々のレンズは、個体の公差などにより、固有のレンズ特性を有しており、レンズ間でＰＳＦにばらつきが存在する。ＰＳＦのばらつきを低減させるための手法の例としては、特許文献１に示されるように、目標仕様に合わせて光学系を調整する手法もあるが、光学系の調整には限界がある。
【０００４】
また、特許文献１に示された技術は、ＰＳＦを推定する手段を備えており、周波数領域において光学的伝達関数（ＯＴＦ）を推測し、その逆２次元フーリエ変換によってＰＳＦを解析的に求めている。しかしながら、その推定法によれば、レンズを含む光学系の各パラメータ（例えば、焦点距離、絞り値、多数の像高など）に対して、個々のレンズ固有のＰＳＦを正確に推定することはできない。従って、特許文献１に示された技術によれば、個々のレンズのＰＳＦのばらつきに起因したレンズ特性の劣化を補正することは困難である。
【０００５】
特許文献２に示された従来技術は、個々のレンズのＰＳＦを推定する手段を備えており、３次収差である球面収差・コマ収差・非点収差等の基本収差量や焦点ずれ量の大きさを得ることによって、ＰＳＦを推定している。しかしながら、その推定法の詳細については特許文献２に明確に開示されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３４７２２号公報
【特許文献２】特開２０１０−１７７９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記課題に鑑みてなされたものであり、個々のレンズ固有のＰＳＦを精度よく推定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による画像処理装置は、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する撮像素子と、前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する画像抽出部と、前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する参照画像生成部と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する推定部と、前記推定部の推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する位相取得部と、を備えた画像処理装置の構成を有する。
【０００９】
本発明の一態様による画像処理方法は、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する第３段階と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、前記第４段階における推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する第５段階と、を含む画像処理方法の構成を有する。
【発明の効果】
【００１０】
本発明によれば、個々のレンズ固有のＰＳＦを精度よく推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による画像処理装置の構成例を示すブロック図である。
【図２】本発明の実施形態による参照チャートの一例を示す図であり、（Ａ）は、参照チャートの全体を示し、（Ｂ）は参照チャートの詳細を示す図である。
【図３】本発明の実施形態による画像処理装置に備えられた推定部の動作の流れの一例を説明するためのフローチャートである。
【図４】本発明の実施形態による画像処理装置に備えられた推定部の動作を補足説明するための図である。
【図５】本発明の実施形態による画像処理装置に備えられた撮像素子に対する光像の位相ずれ量を反映させた参照画像を生成する原理を説明するための図であり、（Ａ）は、光像の受光部位が画素の位置と一致し、位相ずれがない場合の画素出力の一例を示し、（Ｂ）は、位相ずれにより、隣接する二つの画素の中間に光像の受光部位が位置する場合の画素出力の一例を示し、（Ｃ）は、位相ずれにより、隣接する四つの画素の中間に光像の受光部位が位置する場合の画素出力の一例を示す図である。
【図６】本発明の実施形態による画像処理装置に備えられた撮像素子に対する光像の受光部位の位相ずれ量を反映させて参照画像の輝度を計算する原理を説明するための図であり、（Ａ）は、撮像素子上の画素の物理的な配置を模式的に示し、（Ｂ）は、位相ずれが発生した場合の実際の受光部位に対応した仮想的な画素の配置（点線）と、撮像素子上の物理的な画素の配置（実線）を模式的に示す図である。
【図７】本発明の実施形態による画像処理装置に備えられた参照画像生成部の動作を補足説明するための図であり、（Ａ）は、位相ずれを反映させる前の原参照画像の一例を示し、（Ｂ）は、位相ずれを反映させた後の参照画像の一例を示す図である。
【発明を実施するための形態】
【００１２】
図面を参照しながら、本発明の実施形態による画像処理装置を説明する。
図１は、本発明の実施形態による画像処理装置１の構成例を示すブロック図である。画像処理装置１は、図示しないデジタルカメラなどの撮像装置の光学系を構成するレンズＢを通して所定の参照チャートＡ上の図形（後述の図２）を撮像したときにレンズＢによって結像される光像からレンズＢのＰＳＦを推定するための装置である。
【００１３】
詳細に説明すると、画像処理装置１は、撮像素子１２０、画像抽出部１３１，１３２，１３３、画像抽出制御部１４０、参照画像生成部１５０、推定部１６１，１６２，１６３、評価値取得部１７１，１７２，１７３、位相特定部１８０を備える。このうち、評価値取得部１７１，１７２，１７３および位相特定部１８０は位相取得部１９０を構成する。
【００１４】
図１の構成において、撮像素子１２０は、所定の参照チャートＡ上の図形を、図示しない撮像装置の光学系を構成するレンズＢを通して撮像し、上記光学系により結像された光像をＲＧＢ表色系の電気信号に光電変換するための要素である。撮像素子１２０は、レンズＢが装着される撮像装置に備えられた撮像素子に対応する要素である。なお、画像処理装置１は、撮像装置に組み込むことも可能であり、その場合、撮像素子１２０は撮像装置の撮像素子そのものを表す。
【００１５】
本実施形態では、画像処理装置１の撮像素子１２０の画素配列はベイヤー(bayer)配列であるものとする。撮像素子１２０は、ベイヤー配列における赤色成分（以下、Ｒ成分と称す。）、緑色成分（以下、Ｇ成分と称す。）、青色成分（以下、Ｂ成分と称す。）の各電気信号Ｓｒ，Ｓｇ，Ｓｂを出力する。
【００１６】
画像抽出部１３１，１３２，１３３は、上記ベイヤー配列における各画素の色成分ごとに、撮像素子１２０により光電変換された電気信号（Ｓｒ，Ｓｇ，Ｓｂ）によって形成される画像から、参照チャートＡ上の図形を表す撮像画像を分離して抽出するための要素である。画像抽出制御部１４０は、画像抽出部１３１，１３２，１３３による画像抽出を制御するための要素である。
【００１７】
参照画像生成部１５０は、参照チャートＡ上の図形に対応した各色成分の参照画像ＰＲ１ｒ，ＰＲ１ｇ，ＰＲ１ｂを生成するための要素である。ここで、参照画像ＰＲ１ｒ、参照画像ＰＲ１ｇ、参照画像ＰＲ１ｂは、それぞれ、撮像素子１２０の画素配列（ベイヤー配列）におけるＲ成分、Ｇ成分、Ｂ成分に対応している。参照画像生成部１５０は、撮像素子１２０に対する光像（受光部位）の位相ずれ量（位置ずれ量）を反映させて参照チャートＡ上の図形に対応した参照画像ＰＲ１ｒ，ＰＲ１ｇ，ＰＲ１ｂを生成する。この参照画像は、レンズＢのＰＳＦを推定する際の基準となる画像であるが、その詳細については後述する。
【００１８】
本実施形態では、参照画像生成部１５０において参照画像ＰＲ１ｒ，ＰＲ１ｇ，ＰＲ１ｂに直接的に反映される位相ずれ量は、位相特定部１８０において仮想的に設定された量であるが、位相特定部１８０は、最終的には、後述のように、評価値取得部１７１，１７２，１７３により取得される評価値に基づいて、参照画像生成部１５０に供給する位相ずれ量として、実際の撮像素子１２０上の位相ずれ量に対応した量を特定する。
【００１９】
推定部１６１，１６２，１６３は、撮像素子１２０の画素配列（ベイヤー配列）における各画素の色成分ごとに、参照画像生成部１５０により生成された参照画像にＰＳＦを適用して得られる画像が、画像抽出部１３１，１３２，１３３により抽出された撮像画像に近似するように、上記ＰＳＦを推定するための要素である。
【００２０】
評価値取得部１７１，１７２，１７３は、位相特定部１８０において設定された位相ずれ量に対して、推定部１６１，１６２，１６３の推定結果に関する評価値を取得するための要素である。位相特定部１８０は、参照画像生成部１５０の供給する位相ずれ量を変化させ、評価値取得部１７１，１７２，１７３において得られる上記評価値が所定の条件を満たすときの位相ずれ量を特定するための要素である。上述の評価値取得部１７１，１７２，１７３および位相特定部１８０から構成される位相取得部１９０は、推定部１６１，１６２，１６３の推定結果に関する評価値に基づいて上記位相ずれ量を取得して参照画像生成部１５０に供給する。
【００２１】
図２は、本発明の実施形態による参照チャートＡの一例を模式的に示す図であり、図２（Ａ）は、参照チャートＡの全体を示し、（Ｂ）は参照チャートＡの詳細を示す。
参照チャートＡは、ＰＳＦ推定用の特殊なチャートである。参照チャートＡ上には、図２（Ａ）に例示するように、同一の所定形状を有する複数の図形が１５×１５の行列状に配置されている。上記複数の図形のそれぞれは、環状の形状を有する図形であり、具体的には、図２（Ｂ）に例示するように、黒色の下地に形成された白色の円形リングである。本実施形態では、参照チャートＡ上の１５×１５個の円形リングの撮像画像から、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて、１５×１５個のＰＳＦを推定する。
【００２２】
なお、図２（Ａ）および図２（Ｂ）に示す例に限定されず、参照チャートＡ上の図形の形状は、ＰＳＦを推定することができることを限度として任意であり、例えば環状の三角形リングや四角形リングなどの多角形のリングであってもよく、多重リングであってもよく、ジーメンススターチャートであってもよい。また、参照チャートＡ上に配列される図形の個数や配置間隔等も任意に設定し得る。
また、図２（Ａ）に示す例では、複数の円形リングのそれぞれに対し、矩形の黒色の下地が個別的に設けられているが、参照チャートＡの全面に亘って黒色の下地が形成されていてもよい。また、リングの白と下地の黒とが逆転していてもよい。
【００２３】
次に、本発明の実施形態による画像処理装置１の動作を説明する。
レンズＢを備えた図示しないデジタルカメラなどの撮像装置により通常の被写体を撮像する場合、被写体の光像がレンズＢによりデジタルカメラの撮像素子の受光面上に結像される。そして、その撮像素子から出力される信号を処理することにより被写体の画像が形成される。
【００２４】
このように撮像装置において被写体の画像が生成される過程で、レンズＢは、各種の収差によりボケやひずみなどの画像の劣化を引き起こす。そこで、本実施形態では、次に説明するように、画像処理装置１によりレンズＢのＰＳＦを精度よく推定し、ＰＳＦを用いて高品位な画像を復元することを可能とする。
【００２５】
レンズＢのＰＳＦの推定に着目して画像処理装置１の動作を詳細に説明する。
画像処理装置１によりレンズＢのＰＳＦを推定する場合、レンズＢの光軸上に被写体として所定の参照チャートＡを配置する。この状態で、参照チャートＡからの光がレンズＢを通して画像処理装置１の撮像素子１２０に入射され、撮像素子１２０の受光面上に参照チャートＡ上の複数の図形（円形リング）の光像が結像される。
【００２６】
撮像素子１２０はその受光面に結像された光像を光電変換し、その光像の光量に応じた電荷量を示す電気信号を出力する。このときに撮像素子１２０から出力される電気信号は、ＰＳＦ推定用の参照チャートＡ上の複数の図形（円形リング）の撮像画像のＲＡＷデータであり、このＲＡＷデータは、Ｒ成分の信号Ｓｒ、Ｇ成分の信号Ｓｇ、Ｂ成分の信号Ｓｂを含んでいる。
【００２７】
画像抽出制御部１４０は、上記ＲＡＷデータ（Ｓｒ，Ｓｇ，Ｓｂ）によって形成される画像において、図２に示す参照チャートＡ上に配列された１５×１５個の各図形の像高に対応する画像領域を特定する。画像抽出部１３１，１３２，１３３は、それぞれ、画像抽出制御部１４０によって特定された画像領域の撮像画像を抽出する。この場合、画像抽出部１３１は、Ｒ成分の信号Ｓｒによって形成される撮像画像を抽出し、画像抽出部１３２は、Ｇ成分の信号Ｓｇによって形成される撮像画像を抽出し、画像抽出部１３３は、Ｂ成分の信号Ｓｂによって形成される撮像画像を抽出する。この抽出された撮像画像の詳細については後述する。
【００２８】
参照画像生成部１５０は、後述する位相特定部１８０から供給される位相ずれ量を反映させて、参照チャートＡ上の図形（円形リング）に対応した参照画像を生成する。参照画像生成部１５０は、参照チャートＡ上の図形のＲ成分、Ｇ成分、Ｂ成分の各色成分に対応した参照画像ＰＲ１ｒ，ＰＲ１ｇ，ＰＲ１ｂを生成する。この際に、参照画像生成部１５０は、生成した参照画像の図形が、撮像素子１２０によって取得される撮像画像の図形とサイズが概ね一致するようにリサイズする。この参照画像は、上述のように、ＰＳＦを推定する際の基準となる画像であり、例えば後述の図４に示すＲ成分の参照画像ＰＲ１ｒに相当するが、その詳細は後述する。
【００２９】
推定部１６１，１６２，１６３は、次に説明するように、画像抽出部１３１，１３２，１３３によって抽出された各色成分の撮像画像と参照画像生成部１５０により生成された参照画像ＰＲ１ｒ，ＰＲ１ｇ，ＰＲ１ｂとから、図２（Ａ）に示す参照チャートＡ上に行列状に配列された複数の図形のそれぞれに対応した各領域のＰＳＦを推定する。
【００３０】
ここでは、説明の簡略化のため、Ｒ成分のＰＳＦを推定する場合を説明する。
図３は、本発明の実施形態による画像処理装置１に備えられた推定部１６１の動作の流れの一例を説明するためのフローチャートである。図４は、本発明の実施形態による画像処理装置１に備えられた推定部１６１の動作を補足説明するための図であり、Ｒ成分のＰＳＦを推定するために用いられる画像の一例を示す図である。
【００３１】
図４において、参照画像ＰＲ１ｒは、上述の参照画像生成部１５０によって生成されたＲ成分の画像を表している。参照画像ＰＲ１ｒは、レンズＢのＰＳＦが理想的なインパルス応答を示す場合のＲ成分の撮像画像に相当し、レンズ特性に劣化がない場合の仮想的な画像である。参照画像ＰＲ１ｒは、参照画像生成部１５０によって生成することができる画像の分解能の範囲内で、可能な限り、参照チャートＡの図形（円形リング）に近似した形状を有している。
【００３２】
ただし、後述するように、撮像素子１２０に対する光像の受光部位の位相ずれが存在すると、レンズＢの光学特性とは関係なく、参照画像ＰＲ１ｒに一種のボケが発生する（後述の図７（Ｂ）参照）。本実施形態では、このような位相ずれの影響を抑制してＰＳＦを推定するが、その詳細については後述する。ここでは、説明の簡略化のため、図４に示す参照画像ＰＲ１ｒは、上記位相ずれの影響を含んでいない。
【００３３】
また、図４において、畳込画像ＰＲ２ｒは、推定部１６１においてＲ成分のＰＳＦを推定する過程で、仮想的に設定されたＰＳＦを参照画像ＰＲ１ｒに畳み込み演算することにより生成される中間画像である。ＰＳＦを推定する過程で畳み込み演算の回数に応じて畳込画像ＰＲ２ｒは変化する。
【００３４】
更に、図４において、撮像画像ＰＲ３ｒは、画像抽出部１３１によって抽出されたレンズ中心におけるＲ成分のＲＡＷデータの画像である。この例では、撮像画像ＰＲ３ｒは、ベイヤー配列における４画素のうちのＲ成分の１画素である。従って、撮像画像ＰＲ３ｒは、ベイヤー配列におけるＧ成分とＢ成分の画素が欠落した歯抜け状態の画像となっている。これに対し、上述の参照画像ＰＲ１ｒは、ベイヤー配列を有する画素による画像ではなく、歯抜け状態の画像でもないことに留意されたい。
【００３５】
初期状態では、推定部１６１には、Ｒ成分の仮想的なＰＳＦの係数（以下、ＰＳＦ値と称す。）の初期値が設定される。Ｒ成分の１つの仮想的なＰＳＦ値は、例えば、２９×２９画素相当のＲ成分の画像領域に対応するＰＳＦの係数である。この初期状態における仮想的なＰＳＦ値はランダム値であってもよい。
【００３６】
ただし、複数の仮想的なＰＳＦ値に対応する複数の画面領域の配列は、上述の参照画像ＰＲ１ｒと同様に、ベイヤー配列のような歯抜け状態の配列ではなく、好ましくは、参照チャートＡの画像の図形（円形リング）に近似した形状を呈する配列である。このように、参照画像ＰＲ１ｒはベイヤー配列ではなく、推定部１６１において設定される仮想的なＰＳＦ値に対応する画面領域の配列もベイヤー配列のような歯抜けに設定されない。
【００３７】
推定部１６１は、概略的には、参照画像ＰＲ１ｒを用いてＰＳＦを畳み込み演算することにより得られる畳込画像ＰＲ２ｒ（中間画像）と撮像画像ＰＲ３ｒとの差分が小さくなるように、ＰＳＦの係数を演算する。
【００３８】
詳細に説明すると、推定部１６１は、仮想的なＰＳＦ値と後述する参照画像生成部１５０によって生成された参照画像ＰＲ１ｒとの畳み込み演算を行い（ステップＳＴ１）、その演算の結果として畳込画像ＰＲ２ｒを生成する（ステップＳＴ２）。続いて、推定部１６１は、畳み込み演算により得られた畳込画像ＰＲ２ｒと、画像抽出部１３１により抽出された歯抜け状態の画像である撮像画像ＰＲ３ｒとの２乗誤差を演算し、この２乗誤差が所定範囲内であるかどうかを判定する（ステップＳＴ３）。ここで、上記の所定範囲は、畳込画像ＰＲ２ｒと撮像画像ＰＲ３ｒとが一致（または近似）したことを判定するための基準を与え、必要とする推定精度に応じて任意に設定し得る。
【００３９】
上記２乗誤差が所定範囲内でなければ（ステップＳＴ３：ＮＯ）、推定部１６１は、畳み込み演算により得られる畳込画像ＰＲ２ｒが、歯抜け状態の画像である撮像画像ＰＲ３ｒと一致（または近似）する方向、即ち、畳込画像ＰＲ２ｒと撮像画像ＰＲ３ｒとの２乗誤差が小さくなる方向に、仮想的なＰＳＦ値を更新する（ステップＳＴ４）。
【００４０】
上述の仮想的なＰＳＦ値を更新する手法は、畳込画像ＰＲ２ｒを撮像画像ＰＲ３ｒと一致（または近似）させる方向に仮想的なＰＳＦ値を更新することができることを限度として任意の手法を用いることができ、例えば最急降下法や遺伝的アルゴリズムなどの一般的な最適化手法を用いることができる。
【００４１】
推定部１６１は、上記２乗誤差が所定範囲内になるまで、上述のステップＳＴ１〜ＳＴ３を繰り返し実施する。そして、推定部１６１は、畳込画像ＰＲ２ｒと撮像画像ＰＲ３ｒとの２乗誤差が所定範囲内になった場合（ステップＳＴ３：ＹＥＳ）、そのときの仮想的なＰＳＦ値をレンズＢのＲ成分のＰＳＦの推定値ＰＳＦｒとして確定する。
【００４２】
ここで、参照画像ＰＲ１ｒは、レンズＢのＰＳＦが理想的なインパルス応答を示す場合の画像に相当するから、上述の推定部１６１により推定されたＲ成分のＰＳＦの推定値ＰＳＦｒは、レンズＢ固有のＲ成分のＰＳＦを表す。また、撮像画像ＰＲ３ｒは、図示しない撮像装置の光学系を構成するレンズＢを通して得られた画像であり、レンズごとに取得される画像である。したがって、画像処理装置１によれば、個々のレンズ固有のＲ成分のＰＳＦを精度よく推定することができる。
【００４３】
なお、Ｇ成分の撮像画像を抽出するための画像抽出部１３２についても、上述のＲ成分の撮像画像を抽出する画像抽出部１３１と同様に説明される。また、Ｇ成分のＰＳＦを推定するための推定部１６２についても、上述のＲ成分のＰＳＦを推定するための推定部１６１と同様に説明される。この場合、推定部１６２はＧ成分のＰＳＦの推定値ＰＳＦｇを出力する。同様に、Ｂ成分の撮像画像を抽出するための画像抽出部１３３についても、上述のＲ成分の撮像画像を抽出する画像抽出部１３１と同様に説明される。また、Ｂ成分のＰＳＦを推定するための推定部１６３についても、上述のＲ成分のＰＳＦを推定するための推定部１６１と同様に説明される。この場合、推定部１６３はＢ成分のＰＳＦの推定値ＰＳＦｂを出力する。
【００４４】
評価値取得部１７１は、上述した図３のフローに従って推定部１６１により推定されたＲ成分の推定値ＰＳＦｒから、その推定結果に関するＲ成分の評価値Ｈｒを取得する。例えば、評価値取得部１７１は、上述の推定値ＰＳＦｒを生成する過程で算出される上記２乗誤差を評価値Ｈｒとして用いることができる。
【００４５】
ここで、上記２乗誤差が小さいことは、後述する位相特定部１８０により設定された参照画像ＰＲ１ｒ上の仮想的な位相ずれ量と撮像画像ＰＲ３ｒ上の実際の位相ずれ量との差が小さいことを意味する。換言すれば、上記２乗誤差が小さいことは、参照画像ＰＲ１ｒが、撮像画像ＰＲ３ｒと同程度に撮像素子１２０に対する光像の位相ずれ量の影響を含んだ画像であることを意味する。
【００４６】
位相特定部１８０は、仮想的な位相ずれ量を設定して参照画像生成部１５０に供給する。このとき、位相特定部１８０は、参照画像生成部１５０に供給する仮想的な位相ずれ量を変化させ、評価値取得部１７１によって取得される評価値Ｈｒが所定の条件を満たすときの位相ずれ量を特定する。
【００４７】
具体的には、位相特定部１８０は、仮想的な位相ずれ量として初期値（任意の値）を設定して参照画像生成部１５０に供給する。参照画像生成部１５０は、位相特定部１８０から供給された仮想的な位相ずれ量を反映させて参照画像ＰＲ１ｒを生成する。この仮想的な位相ずれ量を参照画像ＰＲ１ｒに反映させる原理は後述する。参照画像生成部１５０は、位相ずれ量が反映された参照画像ＰＲ１ｒを推定部１６１に供給する。推定部１６１は、上述したように、参照画像ＰＲ１ｒと撮像画像ＰＲ３ｒとを用いて推定値ＰＳＦｒを生成し、評価値取得部１７１に供給する。評価値取得部１７１は、上述したように、例えば２乗誤差等を評価値Ｈｒとして取得して位相特定部１８０に供給する。これにより、位相特定部１８０が設定した仮想的な位相ずれ量に対する評価値Ｈｒが位相特定部１８０にフィードバックされる。
【００４８】
位相特定部１８０は、上述のフィードバックされた評価値Ｈｒに基づき所定のシーケンスに従って位相ずれ量を変化させて参照画像生成部１５０に供給し、その仮想的な位相ずれ量に対して評価値取得部１７１から出力される評価値Ｈｒが所定の条件を満たした場合（例えば上記２乗誤差が所定値以下である場合）、そのときの評価値Ｈｒを与える仮想的な位相ずれ量を、実際の撮像素子１２０上の光像の受光部位の位相ずれ量として最終的に特定する。このように位相特定部１８０により最終的に特定された仮想的な位置ずれ量に対して推定部１６１により推定された推定値ＰＳＦｒは、評価値取得部１７１から外部に出力される。
【００４９】
次に、撮像素子１２０に対する光像の受光部位の位相ずれ量を反映させて参照画像ＰＲ１ｒを生成する原理を説明する。
図５は、本発明の実施形態による画像処理装置１に備えられた撮像素子１２０に対する光像の位相ずれ量を反映させた参照画像ＰＲ１ｒを生成する原理を説明するための図であり、図５（Ａ）は、光像の受光部位が画素の位置と一致し、位相ずれがない場合の画素出力の一例を示し、図５（Ｂ）は、位相ずれにより、隣接する二つの画素の中間に光像の受光部位が位置する場合の画素出力の一例を示し、図５（Ｃ）は、位相ずれにより、隣接する四つの画素の中間に光像の受光部位が位置する場合の画素出力の一例を示す。
【００５０】
説明の容易化のため、図５（Ａ）〜（Ｃ）のそれぞれにおいて、撮像素子１２０に受光される光像のサイズは画素と同じであり、その光量は一定であるものとする。また、図５（Ａ）に例示するように光像の受光部位と画素の位置とが一致し、撮像素子１２０に対する光像の位相ずれがない場合、光像の受光部位での画素出力（輝度）は、「１」（正規化された出力値）を示すものとする。このように位相ずれがなく、且つ、レンズＢのＰＳＦが理想的なインパルス応答特性を有していれば、上述の撮像画像ＰＲ３ｒ上の各画素の輝度は、参照チャートＡ上の図形に対応した略一定の輝度となる。
【００５１】
これに対し、図５（Ｂ）に示すように、光像の受光部位が二つの画素の中間に位置し、画素の行方向または列方向の何れか一方向に１画素の１／２に相当する位相ずれが発生した場合、これら二つの画素出力（輝度）は、それぞれ、「１／２」（正規化された出力値）になる。この場合、図５（Ａ）の例に比較して、画像の輝度が２分の１に低下した状態になる。また、図５（Ｃ）に例示するように、光像の受光部位が四つの画素の中心に位置し、画素の行および列の両方向に１画素の１／２に相当する位相ずれが発生した場合、これら四つの画素出力（輝度）は、それぞれ、「１／４」（正規化された出力値）になる。この場合、図５（Ａ）の例に比較して、画像の輝度が４分の１に低下した状態になる。
【００５２】
図５（Ａ）〜（Ｃ）から理解されるように、光像のサイズおよび光量が変化しなくても、撮像素子１２０上の光像の受光部位が変動して撮像素子１２０の画素に対する光像の位相ずれが発生すると、撮像素子１２０の出力値が変化し、画像の輝度が変化する。このため、仮にＰＳＦが理想的なインパルス応答特性を有しているとしても、上記位相ずれが存在すると、参照チャートＡ上の円形リングに対応した撮像画像ＰＲ３ｒ上の各画素の輝度は一定とならず、上記位相ずれに起因した一種のボケが発生する。この場合、レンズＢの光学特性とは関係なく、撮像素子１２０上の光像の受光部位に応じてＰＳＦの推定値が変動し、ＰＳＦの推定精度が低下する。
【００５３】
上述のようなＰＳＦの推定精度の低下を抑制するため、参照画像生成部１５０は、上記位相ずれ量を反映させてＲ成分の参照画像ＰＲ１ｒを生成する。本実施形態では、参照画像生成部１５０は、上記位相ずれがない場合の参照チャートＡ上の図形に対応した参照画像（以下、「原参照画像」と称す。）を生成し、原参照画像に上記位相ずれを反映させて参照画像ＰＲ１ｒを生成する。この場合、参照画像生成部１５０は、次に説明するように、原参照画像上の画素の輝度と上記位相ずれ量とから参照画像ＰＲ１ｒ上の各画素の輝度を計算する。
【００５４】
図６は、本発明の実施形態による画像処理装置１に備えられた撮像素子１２０に対する光像の受光部位の位相ずれ量を反映させて参照画像ＰＲ１ｒの輝度を計算する原理を説明するための図であり、図６（Ａ）は、撮像素子１２０上の画素の物理的な配置を模式的に示し、図６（Ｂ）は、位相ずれが発生した場合の実際の受光部位に対応した仮想的な画素の配置（点線）と、撮像素子１２０上の物理的な画素の配置（実線）を模式的に示す。ここで、図６（Ｂ）において実線により示された画素の配置は、図６（Ａ）に示された物理的な画素の配置に相当する。また、図６（Ｂ）に示す仮想的な画素領域Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４の集合は、図６（Ａ）に示す１つの画素Ｐａに対応する。画素領域Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４の集合によって表される仮想的な画素は、位相ずれ量が反映された参照画像ＰＲ１ｒ上の画素である。
【００５５】
説明の容易化のため、図６（Ａ）に例示するように、相互に隣接する四つの画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄは、それぞれ、１辺の長さが「１」（正規化された長さ）の矩形の画素であるものとする。位相ずれがなく、光像の受光部位（即ち、光像の結像位置）が画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄのそれぞれの位置と一致する場合、各画素の出力値（輝度）は「１」（正規化された出力値）となる。
【００５６】
上述の図６（Ａ）に例示する画素の配置に対し、撮像素子１２０上の光像の受光部位の位相ずれが発生すると、図６（Ｂ）に例示するように、実線で示された物理的な画素の配置と、点線で示された実際の光像の受光部位に対応した仮想的な画素の配置とが一致しなくなる。ここで、図６（Ｂ）において、ｘは、行方向の位相ずれ量を表し、ｙは、列方向の位相ずれ量を表す。このように位置ずれが発生した場合、図６（Ｂ）に示す画素領域Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４の集合からなる仮想的な画素の輝度ＢＲは、次式（１）により表される。
【００５７】
ＢＲ＝ＢＲ１×ｘ×ｙ＋ＢＲ２×（１−ｘ）×ｙ＋ＢＲ３×ｘ×（１−ｙ）＋ＢＲ４×（１−ｘ）×（１−ｙ）  …（１）
【００５８】
式（１）において、ＢＲ１，ＢＲ２，ＢＲ３，ＢＲ４は、それぞれ、図６（Ａ）に示す物理的な画素Ｐａ，Ｐｂ，Ｐｃ，Ｐｄの輝度を表す。また、式（１）において、右辺の第１項「ＢＲ１×ｘ×ｙ」は、画素領域Ｐａ１の輝度を表し、第２項「ＢＲ２×（１−ｘ）×ｙ」は画素領域Ｐａ２の輝度を表し、第３項「ＢＲ３×ｘ×（１−ｙ）」は、画素領域Ｐａ３の輝度を表し、第４項「ＢＲ４×（１−ｘ）×（１−ｙ）」は、画素領域Ｐａ４の輝度を表す。
【００５９】
参照画像生成部１５０は、上式（１）に従って物理的な画素の輝度を仮想的な画素に分配することにより、位相特定部１８０から供給される位相ずれ量（ｘ，ｙ）を原参照画像に反映させ、これにより、画素領域Ｐａ１，Ｐａ２，Ｐａ３，Ｐａ４の集合からなる仮想的な画素の輝度ＢＲを算出する。同様にして、参照画像生成部１５０は、図６（Ａ）に示す物理的な画素Ｐｂ，Ｐｃ，Ｐｄを含む他の画素の全てについても、図６（Ｂ）に点線で示される仮想的な画素の輝度を算出する。参照画像生成部１５０は、位相特定部１８０から供給される位相ずれ量が変化する度に、上記の式（１）を用いて参照画像ＰＲ１ｒを生成して推定部１６１に供給する。
【００６０】
図７は、本発明の実施形態による画像処理装置１に備えられた参照画像生成部１５０の動作を補足説明するための図であり、（Ａ）は、位相ずれを反映させる前の原参照画像の一例を示し、（Ｂ）は、位相ずれを反映させた後の参照画像ＰＲ１ｒの一例を示す。
図７（Ａ）に例示するように、参照画像生成部１５０において生成される原参照画像上の画素の輝度は一定であり、且つ、歯抜けではない画像である。これに対し、原参照画像に位相ずれを反映させて得られる参照画像ＰＲ１ｒは、図７（Ｂ）に例示するように、歯抜けではないものの、各画素の輝度は、上述した式（１）に従って算出された輝度となっており、各画素の輝度は一定ではない。このため、位相ずれが反映された参照画像ＰＲ１ｒは、位相ずれに起因した一種のボケを有した画像となる。
【００６１】
上述のＲ成分の参照画像ＰＲ１ｒ以外のＧ成分の参照画像ＰＲ１ｇおよびＢ成分の参照画像ＰＲ１ｂについても、Ｒ成分の参照画像ＰＲ１ｒと同様の手法により、位相特定部１８０により設定された位相ずれ量が反映されて推定部１６２，１６３に供給される。そして、推定部１６１により得られたＲ成分のＰＳＦの推定値ＰＳＦｒと、推定部１６２により得られたＧ成分のＰＳＦの推定値ＰＳＦｇと、推定部１６３により得られたＢ成分の推定値ＰＳＦｂとが、レンズＢのＰＳＦの推定結果として画像処理装置１から出力される。
【００６２】
上述したように、本実施形態では、最終的に位相特定部１８０によって設定された位相ずれ量に対して参照画像生成部１５０において生成された例えばＲ成分の参照画像ＰＲ１ｒは、撮像素子１２０に対する光像の受光部位の位相ずれの影響を含んでいる。換言すれば、最終的な参照画像ＰＲ１ｒに含まれる仮想的な位相ずれの影響は、実際の撮像画像ＰＲ３ｒに含まれる位相ずれの影響と同程度である。このため、参照画像ＰＲ１ｒと撮像画像ＰＲ３ｒとからＰＳＦを推定する際に上記２乗誤差を算出する過程で、双方の位相ずれの影響が相殺される。このため、撮像素子１２０上の光像の受光部位の位相ずれがＰＳＦの推定結果に与える影響を抑制することができる。
【００６３】
従って、撮像素子１２０に対する光像の受光部位の位相ずれが発生する状況においても、図２（Ａ）に示す１５×１５個の各像高に対して、Ｒ成分、Ｇ成分、Ｂ成分のそれぞれについて、レンズ固有のＰＳＦ値（２９×２９画素の画像領域のＰＳＦの係数）を精度よく推定することができる。このように個々のレンズ固有のＰＳＦを高精度に推定することができれば、レンズのＰＳＦのばらつきに起因した画像の劣化を補正することができ、画像の復元を高品質に行うことが可能になる。
【００６４】
また、本実施形態の画像処理装置１によれば、上述の推定部１６１、推定部１６２、推定部１６３から出力される各色成分のＰＳＦの推定値から、例えばレンズＢのＰＳＦの逆関数を取得し、この逆関数を用いてデジタルカメラなどの画像を補正することにより、レンズＢのＰＳＦに起因した劣化が抑制された画像を復元することができる。
【００６５】
なお、前述の特許文献１に開示された技術もＰＳＦを推定する手段を備えているが、特許文献１の技術では、周波数領域において光学的伝達関数（ＯＴＦ）を推測し、その２次元フーリエ変換を実施することにより解析的にＰＳＦを推定している。しかしながら、特許文献１のＰＳＦの推定法によれば、レンズ固体の公差などによるＰＳＦのばらつきが存在する場合、個々のレンズのＰＳＦを正確に推定することは困難である。
【００６６】
上述の実施形態では、本発明を画像処理装置１として表現したが、本発明は、画像処理方法として表現することもできる。この場合、本発明による画像処理方法は、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、前記撮像素子に対する前記光像の位相ずれ量を反映させて前記チャート上の図形に対応した参照画像を生成する第３段階と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、前記第４段階における推定結果に関する評価値に基づいて前記位相ずれ量を取得して前記参照画像生成部に供給する第５段階と、を含む画像処理方法として表現することができる。
【００６７】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々の変形、修正、置換などが可能である。
例えば、上述の実施形態では、式（１）の比例計算を用いて輝度ＢＲを算出するものとしたが、位相ずれの影響を相殺する作用を得ることを限度に、式（１）に代えて任意の式を用いて輝度ＢＲを算出してもよい。
【００６８】
また、上述の実施形態において、レンズＢを備えたデジタルカメラなどの撮像装置のＲＡＷ画像と、画像処理装置１により得られるＰＳＦの推定値ＰＳＦｒ，ＰＳＦｇ，ＰＳＦｂに関する情報をネットワークに転送し、ネットワーク上のクラウドで撮像装置のレンズＢによる画像の劣化を補正する処理を実施することも可能である。この場合、メモリ量や演算処理量の制約を受けることのないクラウド上の環境で効果的に画質の補正を行うことが可能になる。
【００６９】
更にまた、上述の実施形態では、推定部１６１〜１６３は、Ｒ成分、Ｇ成分、Ｂ成分のいわゆるＲＧＢ表色系の信号を用いてレンズＢのＰＳＦを推定するものとしたが、任意の表色系を用いてＰＳＦを推定することができる。
【符号の説明】
【００７０】
１…画像処理装置、１２０…撮像素子、１３１，１３２，１３３…画像抽出部、１４０…画像抽出制御部、１５０…参照画像生成部、１６１，１６２，１６３…推定部、１７１，１７２，１７３…評価値取得部、１８０…位相特定部、１９０…位相取得部、Ａ…参照チャート、Ｂ…レンズ、ＳＴ１〜ＳＴ４…処理ステップ。
【図１】
2016163315.tif 000003
【図３】
2016163315.tif 000004
【図５】
2016163315.tif 000005
【図６】
2016163315.tif 000006
【図２】
2016163315.tif 000007
【図４】
2016163315.tif 000008
【図７】
2016163315.tif 000009