(57)【要約】【課題】個々のレンズ固有のＰＳＦを精度よく推定することができる画像処理装置及び画像処理方法を提供する。【解決手段】本発明による画像処理装置は、撮像素子、画像抽出部、参照画像生成部、推定部、補間部を備える。撮像素子は、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する。画像抽出部は、前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する。参照画像生成部は、前記チャート上の図形に対応した参照画像を生成する。推定部は、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する。補間部は、前記推定部により推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する。【選択図】図１
2016163316.tif 000002
【特許請求の範囲】
【請求項１】
所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する撮像素子と、
前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する画像抽出部と、
前記チャート上の図形に対応した参照画像を生成する参照画像生成部と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する推定部と、
前記推定部により推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する補間部と、
を備えた画像処理装置。
【請求項２】
前記補間部は、前記推定部により点広がり関数が推定された座標を頂点とした複数の多角形状の領域に前記撮像素子の撮像面を分割し、前記複数の多角形状の領域の各頂点の座標における点広がり関数から、線形補間により、前記所望の座標における点広がり関数を求めることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記図形は、環状の図形であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記推定部は、前記点広がり関数を用いて前記参照画像を畳み込み演算することにより得られる画像と前記撮像画像との差分が小さくなるように、前記点広がり関数の係数を演算することを特徴とする請求項１から３の何れか１項に記載の画像処理装置。
【請求項５】
撮像素子により、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、
前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、
前記チャート上の図形に対応した参照画像を生成する第３段階と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、
前記推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する第５段階と、
を含む画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の光学系を構成するレンズの特性を表す関数の一つに点広がり関数（ＰＳＦ：Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）がある。通常、デジタルカメラの光学系は、サイズ、コスト、絞り開口サイズなどに対してＰＳＦがインパルス応答特性を示し、かつ、変調伝達関数（ＭＴＦ）が最大になるように設計されている。
【０００３】
ここで、設計は同一であっても、製造された個々のレンズは、個体の公差などにより、固有のレンズ特性を有しており、レンズ間でＰＳＦにばらつきが存在する。ＰＳＦのばらつきを低減させるための手法の例としては、特許文献１に示されるように、目標仕様に合わせて光学系を調整する手法もあるが、光学系の調整には限界がある。
【０００４】
また、特許文献１に示された技術は、ＰＳＦを推定する手段を備えており、周波数領域において光学的伝達関数（ＯＴＦ）を推測し、その逆２次元フーリエ変換によってＰＳＦを解析的に求めている。しかしながら、その推定法によれば、レンズを含む光学系の各パラメータ（例えば、焦点距離、絞り値、多数の像高など）に対して、個々のレンズ固有のＰＳＦを正確に推定することはできない。従って、特許文献１に示された技術によれば、個々のレンズのＰＳＦのばらつきに起因したレンズ特性の劣化を補正することは困難である。
【０００５】
特許文献２に示された従来技術は、個々のレンズのＰＳＦを推定する手段を備えており、３次収差である球面収差・コマ収差・非点収差等の基本収差量や焦点ずれ量の大きさを得ることによって、ＰＳＦを推定している。しかしながら、その推定法の詳細については特許文献２に明確に開示されていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２００９−５３４７２２号公報
【特許文献２】特開２０１０−１７７９１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上記課題に鑑みてなされたものであり、個々のレンズ固有のＰＳＦを精度よく推定することができる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様による画像処理装置は、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する撮像素子と、前記撮像素子により光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する画像抽出部と、前記チャート上の図形に対応した参照画像を生成する参照画像生成部と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する推定部と、前記推定部により推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する補間部と、を備えた画像処理装置の構成を有する。
【０００９】
本発明の一態様による画像処理方法は、撮像素子により、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、前記チャート上の図形に対応した参照画像を生成する第３段階と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、前記推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する第５段階と、を含む画像処理方法の構成を有する。
【発明の効果】
【００１０】
本発明によれば、個々のレンズ固有のＰＳＦを精度よく推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による画像処理装置の構成例を示すブロック図である。
【図２】本発明の実施形態による参照チャートの一例を示す図であり、（Ａ）は、参照チャートの全体を示し、（Ｂ）は参照チャートの詳細を示す図である。
【図３】本発明の実施形態による画像処理装置の動作例を説明するためのフローチャートである。
【図４】本発明の実施形態による画像処理装置に備えられた推定部の動作例を説明するためのフローチャートである。
【図５】本発明の実施形態による画像処理装置に備えられた推定部の動作を補足説明するための図である。
【図６】本発明の実施形態による画像処理装置に備えられた推定部の動作を補足説明するための図である。
【図７】本発明の実施形態による画像処理装置に備えられた推定部により得られる推定値の座標と所望の座標との関係を説明するための図である。
【図８】本発明の実施形態による画像処理装置に備えられた補間部の動作（補間の原理）を説明するための図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の実施形態による画像処理装置を説明する。
図１は、本発明の第１の実施形態による画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、図示しないデジタルカメラなどの撮像装置の光学系を構成するレンズＢを通して所定の参照チャートＡ上の図形（後述の図２）を撮像したときにレンズＢによって結像される光像からレンズＢのＰＳＦを推定するための装置である。
【００１３】
詳細に説明すると、画像処理装置１００は、撮像素子１１０、画像読出部１２０、画像抽出部１３１，１３２，１３３、画像抽出制御部１４０、参照画像生成部１５０、推定部１６１，１６２，１６３、補間部１７０を備える。ここで、撮像素子１１０は、所定の参照チャートＡ上の図形を、図示しない撮像装置の光学系を構成するレンズＢを通して撮像し、上記光学系により結像された光像をＲＧＢ表色系の電気信号に光電変換するための要素であり、上記光学系を構成するレンズＢが装着される撮像装置に備えられた撮像素子に対応する要素である。本実施形態では、画像処理装置１００の撮像素子１１０の赤色成分、緑色成分、青色成分の各画素の配列はベイヤー(bayer)配列であるものとする。
【００１４】
画像読出部１２０は、撮像素子１１０から出力される各色成分のアナログ量の電気信号をサンプリングしてデジタル量のＲＡＷデータ（Ｓｒ，Ｓｇ，Ｓｂ）として読み出すための要素である。なお、画像読出部１２０は、撮像素子１１０と一体化されてもよく、また、画像抽出部１３１，１３２，１３３と一体化されてもよい。画像抽出部１３１，１３２，１３３は、撮像素子１１０により光電変換された電気信号に対応したＲＡＷデータ（Ｓｒ，Ｓｇ，Ｓｂ）によって形成される画像から、参照チャートＡ上の図形を表す撮像画像を抽出するための要素である。画像抽出制御部１４０は、画像抽出部１３１，１３２，１３３による画像抽出を制御するための要素である。
【００１５】
参照画像生成部１５０は、参照チャートＡ上の図形に対応した参照画像を生成するための要素である。この参照画像は、レンズＢのＰＳＦを推定する際の基準となる画像であるが、その詳細については後述する。推定部１６１，１６２，１６３は、参照画像生成部１５０により生成された参照画像にＰＳＦを適用して得られる画像が、画像抽出部１３１，１３２，１３３により抽出された撮像画像に近似するように、上記ＰＳＦを推定するための要素である。
【００１６】
補間部１７０は、推定部１６１，１６２，１６３により推定されたＰＳＦを用いて、撮像素子１１０の撮像面上の所望の座標におけるＰＳＦを補間するための要素である。本実施形態では、補間部１７０は、推定部１６１，１６２，１６３によりＰＳＦが推定された座標を頂点とした複数の多角形状（例えば、三角形状）の領域に撮像素子１１０の撮像面を分割し、上記複数の多角形状の領域の各頂点の座標におけるＰＳＦから、線形補間により、上記所望の座標におけるＰＳＦを求める。その詳細については後述する。
【００１７】
図２は、本発明の実施形態による参照チャートＡの一例を模式的に示す図であり、図２（Ａ）は、参照チャートＡの全体を示し、図２（Ｂ）は参照チャートＡの詳細を示す。
【００１８】
参照チャートＡは、ＰＳＦ推定用の特殊なチャートである。参照チャートＡ上には、図２（Ａ）に例示するように、同一の所定形状の複数の図形が１５×１５の行列状に配置されている。上記複数の図形のそれぞれは、環状の形状を有する図形であり、具体的には、図２（Ｂ）に例示するように、黒色の下地に形成された白色の円形リングである。本実施形態では、参照チャートＡ上の１５×１５個の円形リングの撮像画像から、赤色成分、緑色成分、青色成分のそれぞれについて、１５×１５個のＰＳＦを推定する。
【００１９】
なお、図２（Ａ）および図２（Ｂ）に示す例に限定されず、参照チャートＡ上の図形の形状は、ＰＳＦを推定することができることを限度として任意であり、例えば環状の三角形リングや四角形リングなどの多角形のリングであってもよく、多重リングであってもよく、ジーメンススターチャートであってもよい。また、参照チャートＡ上に配列される図形の個数や配置間隔等も任意に設定し得る。
また、図２（Ａ）に示す例では、複数の円形リングのそれぞれに対し、矩形の黒色の下地が個別的に設けられているが、参照チャートＡの全面に亘って黒色の下地が形成されていてもよい。また、リングの白と下地の黒とが逆転していてもよい。
【００２０】
次に、本発明の実施形態による画像処理装置１の動作を説明する。
レンズＢを備えた図示しないデジタルカメラなどの撮像装置により通常の被写体を撮像する場合、被写体の光像がレンズＢによりデジタルカメラの撮像素子の受光面上に結像される。そして、撮像素子１１０から出力される信号を処理することにより被写体の画像が形成される。
【００２１】
このように撮像装置において被写体の画像が生成される過程で、レンズＢは、収差によりボケやひずみなどの画像の劣化を引き起こす。そこで、本実施形態では、後述するように、画像処理装置１００により撮像画像からレンズＢのＰＳＦを推定し、そのＰＳＦを用いることにより、レンズＢの特性に起因する劣化が抑制された画像を復元することを可能とする。この場合、レンズＢの歪曲収差が存在すると、撮像画像が歪み、光像の結像点が移動する。このため、撮像画像から、撮像素子１１０の撮像面上の所望の座標におけるＰＳＦを直接的に推定することができない。そこで、本実施形態では、後述するように、撮像画像から直接的に得られるＰＳＦを用いて、線形補間により所望の座標におけるＰＳＦを推定する。
【００２２】
レンズＢのＰＳＦの推定に着目して画像処理装置１００の動作を詳細に説明する。
図３は、本発明の実施形態による画像処理装置１００の動作例を説明するためのフローチャートである。
画像処理装置１００によりレンズＢのＰＳＦを推定する場合、レンズＢの光軸上に被写体として所定の参照チャートＡを配置する。この状態で、参照チャートＡからの光がレンズＢを通して画像処理装置１００の撮像素子１１０に入射され、撮像素子１１０の受光面（撮像面）上に参照チャートＡ上の複数の図形（円形リング）の光像が結像される。
【００２３】
撮像素子１１０はその受光面に結像された光像を光電変換し、その光像の光量に応じた電荷量を示す電気信号を出力する。画像読出部１２０は、撮像素子１１０から、画素信号であるアナログ量の電気信号を読み出して出力する（ステップＳ１）。このときに画像読出部１２０から出力される電気信号は、ＰＳＦ推定用の参照チャートＡ上の複数の図形（円形リング）の撮像画像のＲＡＷデータであり、このＲＡＷデータは、赤色成分の信号Ｓｒ、緑色成分の信号Ｓｇ、青色成分の信号Ｓｂを含んでいる。
【００２４】
画像抽出制御部１４０は、上記ＲＡＷデータ（Ｓｒ，Ｓｇ，Ｓｂ）によって形成される画像において、図２に示す参照チャートＡ上に配列された１５×１５個の各図形の像高に対応する画像領域を特定する。画像抽出部１３１，１３２，１３３は、それぞれ、画像抽出制御部１４０によって特定された画像領域の撮像画像を抽出する（ステップＳ２）。この場合、画像抽出部１３１は、赤色成分の信号Ｓｒによって形成される撮像画像を抽出し、画像抽出部１３２は、緑色成分の信号Ｓｇによって形成される撮像画像を抽出し、画像抽出部１３３は、青色成分の信号Ｓｂによって形成される撮像画像を抽出する。この抽出された撮像画像の詳細については後述する。
【００２５】
参照画像生成部１５０は、参照チャートＡ上の図形（円形リング）に対応した参照画像を生成する。参照画像生成部１５０は、参照チャートＡ上の図形の赤色、緑色、青色の各色成分に対応した参照画像を生成する。この際に、参照画像生成部１５０は、生成した参照画像の図形が、撮像素子１１０によって取得される撮像画像の図形とサイズが概ね一致するようにリサイズする。この参照画像は、上述のように、ＰＳＦを推定する際の基準となる画像であり、後述の図５に示す参照画像ＰＲ１に相当するが、その詳細は後述する。
【００２６】
推定部１６１，１６２，１６３は、次に説明するように、画像抽出部１３１，１３２，１３３によって抽出された撮像画像と参照画像生成部１５０により生成された参照画像とから、図２（Ａ）に示す参照チャートＡ上に行列状に配列された複数の図形のそれぞれに対応した各領域のＰＳＦを推定する（ステップＳ３）。
【００２７】
ここでは、説明の簡略化のため、赤色成分のＰＳＦｒを推定する場合を説明する。
図４は、本発明の実施形態による画像処理装置１に備えられた推定部１６１の動作例を説明するためのフローチャートである。図５は、本発明の実施形態による画像処理装置１に備えられた推定部１６１の動作例を補足説明するための図であり、赤色成分のＰＳＦを推定するために用いられる画像の一例を示す図である。
【００２８】
図５において、参照画像ＰＲ１は、上述の参照画像生成部１５０によって生成された赤色成分の画像を表している。参照画像ＰＲ１は、レンズＢのＰＳＦが理想的なインパルス応答を示す場合の撮像画像に相当し、レンズ特性に劣化がない場合の仮想的な画像である。参照画像ＰＲ１は、参照画像生成部１５０によって生成することができる画像の分解能の範囲内で、可能な限り、参照チャートＡの図形（円形リング）に近似した形状を有している。
【００２９】
また、図５において、畳込画像ＰＲ２は、推定部１６１において赤色成分のＰＳＦを推定する過程で、仮想的に設定されたＰＳＦを参照画像ＰＲ１に畳み込み演算することにより生成される中間画像である。ＰＳＦを推定する過程で畳み込み演算の回数に応じて畳込画像ＰＲ２は変化する。
【００３０】
更に、図５において、撮像画像ＰＲ３は、画像抽出部１３１によって抽出されたレンズ中心における赤色成分のＲＡＷデータの画像である。この例では、撮像画像ＰＲ３は、ベイヤー配列における４画素のうちの赤色成分の１画素である。従って、撮像画像ＰＲ３は、ベイヤー配列における緑色成分と青色成分の画素が欠落した歯抜け状態の画像となっている。これに対し、上述の参照画像ＰＲ１は、ベイヤー配列を有する画素による画像ではなく、歯抜け状態の画像でもないことに留意されたい。
【００３１】
初期状態では、推定部１６１には、赤色成分の仮想的なＰＳＦの係数（以下、ＰＳＦ値と称す。）の初期値が設定される。赤色成分の１つの仮想的なＰＳＦ値は、例えば、２９×２９画素相当の赤色成分の画像領域に対応するＰＳＦの係数である。この初期状態における仮想的なＰＳＦ値はランダム値であってもよい。
【００３２】
ただし、複数の仮想的なＰＳＦ値に対応する複数の画面領域の配列は、上述の参照画像ＰＲ１と同様に、ベイヤー配列のような歯抜け状態の配列ではなく、好ましくは、参照チャートＡの画像の図形（円形リング）に近似した形状を呈する配列である。このように、参照画像ＰＲ１はベイヤー配列ではなく、推定部１６１において設定される仮想的なＰＳＦ値に対応する画面領域の配列もベイヤー配列のような歯抜けに設定されない。
【００３３】
推定部１６１は、概略的には、仮想的に設定されたＰＳＦを用いて参照画像ＰＲ１を畳み込み演算することにより得られる畳込画像ＰＲ２（中間画像）と撮像画像ＰＲ３との差分が小さくなるように、ＰＳＦの係数を演算する。
【００３４】
詳細に説明すると、推定部１６１は、仮想的なＰＳＦ値と参照画像生成部１５０によって生成された参照画像ＰＲ１との畳み込み演算を行い（ステップＳ３１）、その演算の結果として畳込画像ＰＲ２を生成する（ステップＳ３２）。続いて、推定部１６１は、畳み込み演算により得られた畳込画像ＰＲ２と、画像抽出部１３１により抽出された歯抜け状態の画像である撮像画像ＰＲ３との２乗誤差を演算し、この２乗誤差が所定範囲内であるかどうかを判定する（ステップＳ３３）。ここで、上記の所定範囲は、畳込画像ＰＲ２と撮像画像ＰＲ３とが一致（または近似）したことを判定するための基準を与え、必要とする推定精度に応じて任意に設定し得る。
【００３５】
上記２乗誤差が所定範囲内でなければ（ステップＳ３３：ＮＯ）、推定部１６１は、畳み込み演算により得られる畳込画像ＰＲ２が、歯抜け状態の画像である撮像画像ＰＲ３と一致（または近似）する方向、即ち、畳込画像ＰＲ２と撮像画像ＰＲ３との差分が小さくなる方向に、仮想的なＰＳＦ値を更新する（ステップＳ３４）。
【００３６】
上述の仮想的なＰＳＦ値を更新する手法は、畳込画像ＰＲ２を撮像画像ＰＲ３と一致（または近似）させる方向に仮想的なＰＳＦ値を更新することができることを限度として任意の手法を用いることができ、例えば最急降下法や遺伝的アルゴリズムなどの一般的な最適化手法を用いることができる。
【００３７】
推定部１６１は、上記２乗誤差が所定範囲内になるまで、ＰＳＦ値を更新して、上述のステップＳ３１〜Ｓ３４を繰り返し実施する。そして、推定部１６１は、畳込画像ＰＲ２と撮像画像ＰＲ３との２乗誤差が所定範囲内になった場合（ステップＳ３３：ＹＥＳ）、そのときの仮想的なＰＳＦ値をレンズＢの赤色成分のＰＳＦの推定値ＰＳＦｒとして確定する。
【００３８】
図６は、本発明の実施形態による画像処理装置１００に備えられた推定部１６１の動作を補足説明するための図であり、仮想的なＰＳＦの更新と畳込画像ＰＲ２との関係を説明するための図である。図６において、畳込画像ＰＲ２（０），ＰＲ２（１），…，ＰＲ２（Ｎ）は、仮想的なＰＳＦが順次更新された場合の画像の一例である。図６の例では、畳込画像ＰＲ２（０）は、仮想的なＰＳＦが初期値であるときの画像であり、畳込画像ＰＲ２（２）は、仮想的なＰＳＦが更新の回数が１回目であるときの画像であり、以下同様にして、畳込画像ＰＲ２（Ｎ）は、仮想的なＰＳＦが更新の回数がＮ（Ｎは任意の自然数）回目であるときの画像である。
【００３９】
畳込画像ＰＲ２（０），ＰＲ２（１），…，ＰＲ２（Ｎ）の下側には、各畳込画像に対応したＰＳＦ値の３次元分布（シミュレーション結果）が模式的に示されている。各畳込画像に対応したＰＳＦ値の３次元分布から把握されるように、図６の例では、初期の畳込画像ＰＲ２（０）における点広がりの程度は小さく、後期の畳込画像ＰＲ２（Ｎ）における点広がりの程度が高くなっている。即ち、仮想的なＰＳＦの更新回数が増えるに従って、点広がりの程度が高くなり、画像のぼけが顕著になっている。
【００４０】
推定部１６１は、上述したようにＰＳＦ値を更新して上述のステップＳ３１〜Ｓ３４を繰り返し実施する過程で、図６に例示するように、異なる仮想的なＰＳＦ値に対応した点広がりを有する複数の異なる畳込画像ＰＲ２（０），ＰＲ２（１），…，ＰＲ２（Ｎ）を順次生成する。そして、推定部１６１は、複数の畳込画像ＰＲ２（１），ＰＲ２（２），…，ＰＲ２（Ｎ）と撮像画像ＰＲ３とを順次比較し、撮像画像ＰＲ３と一致または近似した畳込画像（２乗誤差が最小となる畳込画像）を与えるときの仮想的なＰＳＦ値をレンズＢのＰＳＦ値として特定する。
【００４１】
ここで、参照画像ＰＲ１は、レンズＢのＰＳＦが理想的なインパルス応答を示す場合の画像に相当するから、上述の推定部１６１により推定された赤色成分のＰＳＦの推定値ＰＳＦｒは、レンズＢ固有の赤色成分のＰＳＦを表す。また、撮像画像ＰＲ３は、撮像装置の光学系を構成するレンズＢを通して得られた画像であり、レンズごとに取得される画像である。したがって、画像処理装置１００によれば、個々のレンズ固有の赤色成分のＰＳＦを推定することができる。
【００４２】
なお、緑色成分の撮像画像を抽出するための画像抽出部１３２と、青色成分の撮像画像を抽出するための画像抽出部１３３についても、上述の赤色成分の撮像画像を抽出する画像抽出部１３１と同様に説明される。また、緑色成分のＰＳＦを推定するための推定部１６２と、青色成分のＰＳＦを推定するための推定部１６３についても、上述の赤色成分のＰＳＦを推定するための推定部１６１と同様に説明される。この場合、推定部１６２はレンズＢの緑色成分のＰＳＦの推定値ＰＳＦｇを出力し、推定部１６３は青色成分のＰＳＦの推定値ＰＳＦｂを出力する。
【００４３】
前述の推定部１６１，１６２，１６３により得られた各色成分の推定値ＰＳＦｒ，ＰＳＦｇ，ＰＳＦｂが得られた撮像素子１１０の撮像面上の座標は、次に説明するように、レンズＢの歪曲収差により参照チャートＡ上の座標と整合せず、所望の座標上のＰＳＦが取得されない撮像領域が発生し得る。この状況について、図７を参照して詳しく説明する。
【００４４】
図７は、本発明の実施形態による画像処理装置１００に備えられた推定部１６１により得られる赤色成分の推定値ＰＳＦｒの座標（０，０），…，（４，４）と所望の座標［０，０］，…，［４，４］との関係を説明するための図である。図７において、所望の座標［０，０］，…，［４，４］は、上述の参照チャートＡ上の図形の座標に対応している。また、図７の例では、レンズＢの歪曲収差により、画像の外周領域での歪みが顕著になっており、画角ずれにより、所望の座標系に対し推定値の座標系が傾きを有している。なお、図７の例では、説明の簡略化のため、参照チャートＡ上の図形に対応した所望の座標の数は２５であり、これに対応した推定値ＰＳＦｒが得られる実際の座標の数も２５であるものとしている。ただし、これらの数は必ずしも一致する必要はなく、任意に設定し得る。
【００４５】
仮にレンズＢに歪曲収差が存在しなければ、推定値ＰＳＦｒの座標（０，０），…，（４，４）は、所望の座標［０，０］，…，［４，４］と一致する。レンズＢに歪曲収差が存在すると、撮像画像が歪む結果、推定値ＰＳＦｒの座標（０，０），…，（４，４）と所望の座標［０，０］，…，［４，４］とが一致しなくなる。この結果、参照チャートＡ上の図形の座標に対応した撮像素子１１０の撮像面上の座標においてＰＳＦが得られない。そこで、本実施形態では、次に説明するように、補間部１７０が、推定部１６１により得られた座標（０，０），…，（４，４）の推定値ＰＳＦｒを用いて、撮像素子１１０の撮像面上の所望の座標［０，０］，…，［４，４］におけるＰＳＦ（Ｒ）を補間する。緑色成分および青色成分のＰＳＦについても同様である。
【００４６】
図８は、本発明の実施形態による画像処理装置１００に備えられた補間部１７０の動作（補間の原理）を説明するための図である。
ここでは、説明の簡略化のため、赤色成分のＰＳＦｒを補間する場合を説明する。
本実施形態では、補間部１７０による補完処理では、撮像素子１１０の撮像面上の領域が、上述の図７に示す推定値ＰＳＦｒの座標（０，０），…，（４，４）を頂点とした三角形状の複数の領域に区分される。
【００４７】
図８に示す三角形状の領域は、上述の図７に示す推定値ＰＳＦｒの座標（０，０），…，（４，４）のうち、隣り合う３個の座標を頂点とした三角形状の複数の領域のうちの一つを代表的に表している。図８において、Ｐ（ｘ，ｙ）は、所望の座標［ｘ，ｙ］でのＰＳＦ値を表している。また、Ｐ１（ｘ１、ｙ１）は、座標（ｘ１、ｙ１）でのＰＳＦ値を表し、Ｐ２（ｘ２、ｙ２）は、座標（ｘ２、ｙ２）でのＰＳＦ値を表し、Ｐ３（ｘ３、ｙ３）は、座標（ｘ３、ｙ３）でのＰＳＦ値を表している。また、Ｌ１２は、頂点座標（ｘ１，ｙ１）と頂点座標（ｘ２，ｙ２）とを結ぶ線分を表し、Ｌ１３は、頂点座標（ｘ１，ｙ１）と頂点座標（ｘ３，ｙ３）とを結ぶ線分を表し、Ｌ２３は、頂点座標（ｘ２，ｙ２）と頂点座標（ｘ３，ｙ３）とを結ぶ線分を表している。
【００４８】
上記の線分Ｌ１２，Ｌ１３，Ｌ２３で囲われた三角形状の領域のうち、ｙ≧ｙ３なる条件を満足する領域では、第１段階として、線分Ｌ１２上の座標（ｘａ，ｙ）でのＰＳＦであるＰａ（ｘａ，ｙ）と、線分Ｌ１３上の座標（ｘｂ，ｙ）でのＰＳＦであるＰｂ（ｘｂ，ｙ）とを線形補間により求め、第２段階として、各線分上のＰＳＦから、線形補間により所望の座標［ｘ，ｙ］でのＰＳＦであるＰ［ｘ，ｙ］を求める。
具体的には、第１段階として、補間部１７０は、次式（１）に従って、頂点座標（ｘ１，ｙ１）でのＰ１（ｘ１，ｙ１）と、頂点座標（ｘ２，ｙ２）でのＰ２（ｘ２，ｙ２）とを用いて、所望の座標［ｘ，ｙ］のｙ座標成分に対応した線分Ｌ１２上の座標（ｘａ，ｙ）でのＰａ（ｘａ，ｙ）を線形補間により求める。なお、式（１）において、Ｐ１は、頂点座標（ｘ１，ｙ１）でのＰＳＦ値であり、Ｐ２は、頂点座標（ｘ２，ｙ２）でのＰＳＦ値である。
【００４９】
Ｐａ＝｛Ｐ１×（ｙ−ｙ２）＋Ｐ２×（ｙ１−ｙ）｝／（ｙ１−ｙ２）  …（１）
【００５０】
また、補間部１７０は、次式（２）に従って、頂点座標（ｘ１，ｙ１）でのＰ１（ｘ１，ｙ１）と、頂点座標（ｘ３，ｙ３）でのＰ３（ｘ３，ｙ３）とを用いて、所望の座標［ｘ，ｙ］のｙ座標成分に対応した線分Ｌ１３上の座標（ｘｂ，ｙ）でのＰｂ（ｘｂ，ｙ）を線形補間により求める。なお、式（２）において、Ｐ１は、頂点座標（ｘ１，ｙ１）でのＰＳＦ値であり、Ｐ３は、頂点座標（ｘ３，ｙ３）でのＰＳＦ値である。
【００５１】
Ｐｂ＝｛Ｐ１×（ｙ−ｙ３）＋Ｐ３×（ｙ１−ｙ）｝／（ｙ１−ｙ３）  …（２）
【００５２】
そして、第２段階として、補間部１７０は、次式（３）に従って、第１段階で得られたＰａ（ｘａ，ｙ）とＰｂ（ｘｂ，ｙ）とを用いて、線形補間により、所望の座標［ｘ，ｙ］におけるＰＳＦであるＰ［ｘ，ｙ］を求める。なお、式（３）において、Ｐａは、頂点座標（ｘａ，ｙ）でのＰＳＦ値であり、Ｐｂは、頂点座標（ｘｂ，ｙ）でのＰＳＦ値である。
【００５３】
Ｐ＝｛Ｐｂ×（ｘ−ｘａ）＋Ｐａ×（ｘｂ−ｘ）｝／（ｘｂ−ｘａ）  …（３）
【００５４】
一方、上記の線分Ｌ１２，Ｌ１３，Ｌ２３で囲われた三角形状の領域のうち、ｙ＜ｙ３なる条件を満足する領域では、第１段階として、線分Ｌ１２上の座標（ｘｃ，ｙ）でのＰＳＦであるＰｃ（ｘｃ，ｙ）と、線分Ｌ２３上の座標（ｘｄ，ｙ）でのＰＳＦであるＰｄ（ｘｄ，ｙ）とを線形補間により求め、第２段階として、各線分上のＰＳＦから、線形補間により所望の座標［ｘ，ｙ］でのＰＳＦであるＰ［ｘ，ｙ］を求める。
【００５５】
具体的には、第１段階として、補間部１７０は、次式（４）に従って、頂点座標（ｘ１，ｙ１）でのＰ１（ｘ１，ｙ１）と、頂点座標（ｘ２，ｙ２）でのＰ２（ｘ２，ｙ２）とを用いて、所望の座標［ｘ，ｙ］のｙ座標成分に対応した線分Ｌ１２上の座標（ｘｃ，ｙ）でのＰｃ（ｘｃ，ｙ）を線形補間により求める。なお、式（４）において、Ｐ１は、頂点座標（ｘ１，ｙ１）でのＰＳＦ値であり、Ｐ２は、頂点座標（ｘ２，ｙ２）でのＰＳＦ値である。上述の式（１）との違いは、ｘおよびｙの各変数がとり得る数値範囲である。
【００５６】
Ｐｃ＝｛Ｐ１×（ｙ−ｙ２）＋Ｐ２×（ｙ１−ｙ）｝／（ｙ１−ｙ２）  …（４）
【００５７】
また、補間部１７０は、次式（５）に従って、頂点座標（ｘ２，ｙ２）でのＰ２（ｘ２，ｙ２）と、頂点座標（ｘ３，ｙ３）でのＰ３（ｘ３，ｙ３）とを用いて、所望の座標［ｘ，ｙ］のｙ座標成分に対応した線分Ｌ２３上の座標（ｘｄ，ｙ）でのＰｄ（ｘｄ，ｙ）を線形補間により求める。なお、式（５）において、Ｐ１は、頂点座標（ｘ１，ｙ１）でのＰＳＦ値であり、Ｐ３は、頂点座標（ｘ３，ｙ３）でのＰＳＦ値である。
【００５８】
Ｐｂ＝｛Ｐ２×（ｙ３−ｙ）＋Ｐ３×（ｙ−ｙ２）｝／（ｙ３−ｙ２）  …（５）
【００５９】
そして、第２段階として、補間部１７０は、次式（６）に従って、第１段階で得られたＰｃ（ｘｃ，ｙ）とＰｄ（ｘｄ，ｙ）とを用いて、線形補間により、所望の座標［ｘ，ｙ］におけるＰＳＦであるＰ［ｘ，ｙ］を求める。なお、式（５）において、Ｐｃは、頂点座標（ｘｃ，ｙ）でのＰＳＦ値であり、Ｐｄは、頂点座標（ｘｄ，ｙ）でのＰＳＦ値である。
【００６０】
Ｐ＝｛Ｐｃ×（ｘｄ−ｘ）＋Ｐｄ×（ｘ−ｘｃ）｝／（ｘｄ−ｘｃ）  …（６）
【００６１】
補間部１７０は、上述の補間処理を、図７に例示する全ての三角形状の領域に対して実施し、参照チャートＡ上の全ての図形に対応した撮像素子１１０の撮像面上の所望の座標における赤色成分の推定値ＰＳＦｒを求める。緑色成分の推定値ＰＳＦｇおよび青色成分の推定値ＰＳＦｂの補間処理も、上述の赤色成分の推定値ＰＳＦｒの補間処理と同様に説明される。
【００６２】
上述の三角形状の領域の外部の領域における所望の座標のＰＳＦ値は、例えば、外挿法や、最近傍の座標で推定されたＰＳＦ値のコピー等を用いて補間することができる。
なお、上述の補間処理において用いた線形補間は、一例に過ぎず、推定部１６１，１６２，１６３により推定されたＰＳＦｒ，ＰＳＦｇ，ＰＳＧｂを用いて各色成分の所望の座標のＰＳＦを補間することができることを限度として、任意の補間法を用いることができる。
【００６３】
以上により、撮像素子１１０の撮像面の全領域における所望の座標の全てについて、ＰＳＦ値が得られる。
【００６４】
上述した本実施形態によれば、撮像画像からＰＳＦを推定する推定処理において、撮像素子１１０の撮像面を複数の三角形状の領域に分割し、各三角形状の領域において線形補間により所望の座標のＰＳＦを算出するので、歪曲収差や画角ずれ等が存在するために所望の座標でＰＳＦが推定されない状況においても、撮像素子１１０の撮像面の所望の座標でのＰＳＦを得ることができる。従って、本実施形態によれば、歪曲収差や画角ずれ等の影響を抑制しつつ、レンズを含む光学系の個体差に応じて個々のレンズ固有のＰＳＦを精度よく推定することができる。よって、レンズの固体差を考慮した画像の復元を行うことが可能になる。
【００６５】
上述の実施形態では、本発明を画像処理装置１００として表現したが、本発明は、画像処理方法として表現することもできる。この場合、本発明による画像処理方法は、撮像素子により、所定のチャート上の図形を、光学系を通して撮像し、前記光学系により結像された光像を電気信号に光電変換する第１段階と、前記光電変換された電気信号によって与えられる画像から、前記チャート上の図形を表す撮像画像を抽出する第２段階と、前記チャート上の図形に対応した参照画像を生成する第３段階と、前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する第４段階と、前記推定された点広がり関数を用いて、前記撮像素子の撮像面上の所望の座標における点広がり関数を補間する第５段階と、を含む画像処理方法として表現することができる。
【００６６】
以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々の変形、修正、置換などが可能である。
例えば、上述した実施形態では、ＰＳＦの推定を行う画像処理装置１００の推定結果を撮像装置で利用する場合を説明したが、この例に限定されず、撮像装置のＲＡＷ画像と、画像処理装置１００により得られるＰＳＦの推定値に関する情報をネットワークに転送し、ネットワーク上のクラウドで撮像装置のレンズによる画像の劣化を補正することも可能である。この場合、メモリ量や演算処理量の制約を受けることのない環境で効果的に画質の補正を行うことが可能になる。
【００６７】
更にまた、上述の実施形態では、推定部１６１〜１６３は、赤色成分、緑色成分、青色成分のいわゆるＲＧＢ表色系の信号を用いてレンズＢのＰＳＦを推定するものとしたが、任意の表色系を用いてＰＳＦを推定することができる。
【符号の説明】
【００６８】
１００…画像処理装置、１１０…撮像素子、１２０…画像読出部、１３１，１３２，１３３…画像抽出部、１４０…画像抽出制御部、１５０…参照画像生成部、１６１，１６２，１６３…推定部、１７０…補間部、Ａ…参照チャート、Ｂ…レンズ、Ｓ１〜Ｓ４，Ｓ３１〜Ｓ３４…処理ステップ。
【図１】
2016163316.tif 000003
【図３】
2016163316.tif 000004
【図４】
2016163316.tif 000005
【図７】
2016163316.tif 000006
【図８】
2016163316.tif 000007
【図２】
2016163316.tif 000008
【図５】
2016163316.tif 000009
【図６】
2016163316.tif 000010