(57)【要約】【課題】レンズのＰＳＦを精度よく短時間で推定することができる画像処理装置などを提供する。【解決手段】画像処理装置（画像処理部１０）は、所定のチャートＡ上の図形を光学系２０を介して撮像する撮像素子３０が光学系２０が結像した光像を光電変換して得た画像を入力し、チャートＡ上の図形を表す撮像画像を抽出する画像抽出部１１１〜１１３と、撮像画像に基づいて、撮像素子３０に対する光像の位置ずれ量を検出する位置ずれ量検出部１３０と、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成する参照画像生成部１４０と、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定する推定部１５１〜１５３とを備える。【選択図】図２
2020182102.tif 000002
【特許請求の範囲】
【請求項１】
所定のチャート上の図形を光学系を介して撮像する撮像素子が前記光学系が結像した光像を光電変換して得た画像を入力し、前記チャート上の図形を表す撮像画像を抽出する画像抽出部と、
前記撮像画像に基づいて、前記撮像素子に対する前記光像の位置ずれ量を検出する位置ずれ量検出部と、
前記位置ずれ量を反映させて前記チャート上の図形に対応する参照画像を生成する参照画像生成部と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する推定部と
を備える画像処理装置。
【請求項２】
前記位置ずれ量検出部は、前記撮像画像における前記図形の重心位置に基づいて、前記位置ずれ量を検出する
請求項１記載の画像処理装置。
【請求項３】
前記位置ずれ量検出部は、前記撮像画像における前記図形と、前記チャート上の図形に対応する参照初期画像とのパターンマッチング結果に基づいて、前記位置ずれ量を検出する
請求項１記載の画像処理装置。
【請求項４】
前記光学系と、
前記撮像素子と、
請求項１乃至請求項３のいずれか１項記載の画像処理装置と
を備える撮像装置。
【請求項５】
所定のチャート上の図形を光学系を介して撮像する撮像素子が前記光学系が結像した光像を光電変換して得た画像を入力し、前記チャート上の図形を表す撮像画像を抽出するステップと、
前記撮像画像に基づいて、前記撮像素子に対する前記光像の位置ずれ量を検出するステップと、
前記位置ずれ量を反映させて前記チャート上の図形に対応する参照画像を生成するステップと、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定するステップと
を有する画像処理方法。
【請求項６】
コンピュータに、
所定のチャート上の図形を光学系を介して撮像する撮像素子が前記光学系が結像した光像を光電変換して得た画像を入力し、前記チャート上の図形を表す撮像画像を抽出する手順と、
前記撮像画像に基づいて、前記撮像素子に対する前記光像の位置ずれ量を検出する手順と、
前記位置ずれ量を反映させて前記チャート上の図形に対応する参照画像を生成する手順と、
前記参照画像に点広がり関数を適用して得られる画像が前記撮像画像に近似するように、前記点広がり関数を推定する手順と
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
デジタルカメラ等の光学系を構成するレンズは、設計は同一であっても、製造された個体の公差などにより固有のレンズ特性を有しており、レンズ間でＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ：点広がり関数）にばらつきが存在する。ＰＳＦはレンズの特性を表す関数の一つであり、「ぼけ関数」などとも呼ばれている。
【０００３】
特許文献１、２には、ＰＳＦを精度良く推定するために、所定のチャート上の図形を光学系を通して撮像した撮像画像と、当該チャート上の図形に対応するように生成した参照画像とを用いることが記載されている。
また、特許文献２には、光学系により結像された光像の撮像素子に対する位相ずれ量を反映させて上記参照画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１６２４１３号公報
【特許文献２】特開２０１６−１６３３１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２記載の技術では、位相ずれ量を特定するときに、仮想的な位相ずれ量を変化させてＰＳＦを推定することを繰り返す必要があり、推定の精度が不十分であったり、処理時間が長くなったりすることがあった。
本発明は、このような問題を解決するためになされたもので、レンズのＰＳＦを精度よく短時間で推定することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、所定のチャート上の図形を光学系を介して撮像する撮像素子が光学系が結像した光像を光電変換して得た画像を入力し、チャート上の図形を表す撮像画像を抽出する画像抽出部と、撮像画像に基づいて、撮像素子に対する光像の位置ずれ量を検出する位置ずれ量検出部と、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成する参照画像生成部と、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定する推定部とを備えるものである。
【０００７】
また、本発明に係る画像処理方法は、所定のチャート上の図形を光学系を介して撮像する撮像素子が光学系が結像した光像を光電変換して得た画像を入力し、チャート上の図形を表す撮像画像を抽出するステップと、撮像画像に基づいて、撮像素子に対する光像の位置ずれ量を検出するステップと、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成するステップと、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定するステップとを有するものである。
【０００８】
また、本発明に係る画像処理プログラムは、コンピュータに、所定のチャート上の図形を光学系を介して撮像する撮像素子が光学系が結像した光像を光電変換して得た画像を入力し、チャート上の図形を表す撮像画像を抽出する手順と、撮像画像に基づいて、撮像素子に対する光像の位置ずれ量を検出する手順と、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成する手順と、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定する手順とを実行させるためのものである。
【発明の効果】
【０００９】
本発明により、レンズのＰＳＦを精度よく短時間で推定する画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】被写体に点光源を用いたときの光像の受光部位と画素出力との関係を説明するための図である。
【図２】実施形態に係る撮像装置１の概略構成を示すブロック図である。
【図３】実施の形態に係る画像処理方法の処理手順を示すフローチャートである。
【図４】実施形態に係る参照チャートＡを模式的に示す図である。
【図５】実施形態に係る参照チャートＡを模式的に示す図である。
【図６】実施形態に係る位置ずれ量を説明するための図である。
【図７】実施形態に係るリングパターンの光像の位置ずれの有無による輝度値の違いを説明するための図である。
【図８】実施形態に係るリングパターンの光像の位置ずれの有無による輝度値の違いを説明するための別の図である。
【図９】変形例に係る画像処理方法の処理手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照しながら、本実施形態に係る画像処理装置及び画像処理方法について説明する。
まず、撮像素子に対する光像の位置ずれ量を検出する必要性について簡単に説明する。
図１は、被写体に点光源を用いたときの光像の受光部位と画素出力との関係を説明するための図である。ここでは、撮像素子に受光される光像のサイズは画素のサイズと同じであり、その光量は一定である。
【００１２】
図１（ａ）に示すように光像の受光部位と画素の位置とが一致し、位置ずれがない場合の画素出力（輝度）を「１」とすると、図１（ｂ）に示すように光像の受光部位が隣接する２つの画素の境界に位置するような位置ずれがある場合の各画素出力は「１／２」となる。また、図１（ｃ）に示すように光像の受光部位が隣接する４つの画素の境界に位置するような位置ずれがある場合の各画素出力は「１／４」となる。
【００１３】
このように、光像のサイズ及び光量に変化がなくても、撮像素子が光像を受光する部位が変動して撮像素子の画素に対する光像の位置ずれが発生すると、撮像素子の出力値が変化し、画像の輝度値も変化する。すなわち、実際のレンズの光学特性とは無関係に、撮像素子が光像を受光する部位に応じてＰＳＦの推定値が変動し、ＰＳＦの推定精度が低下してしまう。
【００１４】
そこで、本実施の形態では、光学系により結像された光像の撮像素子に対する位置ずれ量をサブピクセルの精度で検出し、当該位置ずれ量を反映させて参照チャートＡ上の図形に対応した参照画像を生成し、レンズのＰＳＦを精度よく推定する。
【００１５】
次に、本実施の形態に係る画像処理装置の構成について、画像処理装置を画像処理部として備える撮像装置の構成に基づいて説明する。
図２は、本実施形態に係る撮像装置１の概略構成を示すブロック図である。
撮像装置１は、画像処理部１０、レンズ２０、撮像素子３０などを備える。
レンズ２０は、撮像装置１の光学系を構成する。
【００１６】
撮像素子３０は、参照チャートＡ上の図形をレンズ２０を通して撮像し、光学系により結像された光像をＲＧＢ表色系の電気信号Ｓｒ、Ｓｇ、Ｓｂに光電変換して画像処理部１０に出力する。
画像処理部１０は、ＲＧＢ表色系の電気信号Ｓｒ、Ｓｇ、Ｓｂを入力し、レンズ２０のＰＳＦを推定する。
【００１７】
また、画像処理部１０は、レンズ２０のＰＳＦを推定するために、画像抽出部１１１、１１２、１１３、画像抽出制御部１２０、位置ずれ量検出部１３０、参照画像生成部１４０、推定部１５１、１５２、１５３などを備える。
画像抽出部１１１〜１１３は、撮像素子３０により光電変換された電気信号Ｓｒ、Ｓｇ、Ｓｂによって与えられる画像から、参照チャートＡ上の図形を表す撮像画像を抽出する。
【００１８】
画像抽出制御部１２０は、画像抽出部１１１〜１１３による画像抽出を制御する。
位置ずれ量検出部１３０は、上記撮像画像の重心位置に基づいて、光学系により結像された光像の撮像素子に対する位置ずれ量をサブピクセルの精度で検出する。
参照画像生成部１４０は、撮像素子に対する光像の位置ずれ量を反映させて参照チャートＡ上の図形に対応した参照画像を生成する。なお、参照画像は、レンズ２０のＰＳＦを推定する際の基準となる画像である。
【００１９】
推定部１５１〜１５３は、参照画像にＰＳＦを適用して得られる画像が撮像画像に近似するように、ＰＳＦを推定する。
本実施の形態に係る画像処理部１０は、このような構成により、個々のレンズのＰＳＦを精度よく短時間で推定することができる。
【００２０】
なお、画像処理部１０が実現する各構成要素は、例えば、コンピュータである画像処理部１０が備える演算装置（図示せず）の制御によって、プログラムを実行することにより実現できる。
より具体的には、画像処理部１０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせなどにより実現しても良い。
【００２１】
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、画像処理部１０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
【００２２】
非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
【００２３】
また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって画像処理部１０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、または無線通信路を介して、プログラムを画像処理部１０に供給できる。
【００２４】
次に、本実施形態に係る画像処理部１０の動作、すなわち、画像処理方法について説明する。なお、画像抽出部１１１〜１１３、画像抽出制御部１２０、推定部１５１〜１５３などの動作は特許文献１、２記載のものと同様で良く、必要であれば、特許文献１、２を参照して欲しい。
図３は、本実施の形態に係る画像処理方法の処理手順を示すフローチャートである。
【００２５】
まず、レンズ２０の光軸上に被写体として配置された参照チャートＡからの光がレンズ２０を介して撮像素子３０に入射され、撮像素子３０の受光面上に参照チャートＡ上の複数の図形（リングパターン）の光像が結像される。
【００２６】
図４、図５は、本実施形態に係る参照チャートＡを模式的に示す図であり、図４は参照チャートＡの全体を示し、図５は参照チャートＡの詳細を示す。参照チャートＡも、特許文献１、２に記載されたものと同様で良く、ここでは、その説明を省略する。図１に示した点光源よりも図５に示したリングパターンの方が情報量を多くすることができ、ＰＳＦ算出の精度を向上させる。
【００２７】
撮像素子３０は受光面に結像された光像を光電変換し、光像の光量に応じた電荷量を示す電気信号を出力する。当該電気信号は、参照チャートＡ上の複数の図形の撮像画像のＲＡＷデータであり、赤色成分の信号Ｓｒ、緑色成分の信号Ｓｇ、青色成分の信号Ｓｂを含む。
画像抽出制御部１２０は、ＲＡＷデータによって形成される画像において、参照チャートＡ上に配列された１５×１５個の各図形の像高に対応する画像領域を特定する。
【００２８】
画像抽出部１１１、１１２、１１３は、それぞれ、画像抽出制御部１２０によって特定された画像領域の撮像画像を抽出する（ステップＳ１０）。このとき、画像抽出部１１１は、信号Ｓｒによって形成される撮像画像を抽出し、画像抽出部１１２は、信号Ｓｇによって形成される撮像画像を抽出し、画像抽出部１１３は、信号Ｓｂによって形成される撮像画像を抽出する。
【００２９】
位置ずれ量検出部１３０は、撮影画像からリングパターンの重心の位置、すなわち、リングパターンの中心の位置をサブピクセル単位で求め、位置ずれ量を算出する（ステップＳ２０、Ｓ３０）。なお、重心又は重心の位置の算出方法は周知のもので良く、ここでは、説明を省略する。
【００３０】
図６は、本実施形態に係る位置ずれ量を説明するための図である。破線は撮影すべき画像の位置を示し、実線は撮影画像の位置を示す。ここでは、１画素の幅、高さをそれぞれ１としている。
図６（ａ）は、撮影すべき画像の位置と、撮影画像の位置とが一致している場合であり、このときの位置ずれ量（ｘ，ｙ）は（０，０）である。図６（ｂ）は、撮影すべき画像の位置と、撮影画像の位置とがずれている場合であり、このときの位置ずれ量（ｘ，ｙ）は（０．５，０．５）である。
【００３１】
図７は、本実施形態に係るリングパターンの光像の位置ずれの有無による輝度値の違いを説明するための図である。
図７（ａ）は、リングパターンの中心が画素の境界にあるとき、すなわち、位置ずれがない（（ｘ，ｙ）＝（０，０））ときであり、図７（ｂ）は、リングパターンの中心が画素の中心にあるとき、すなわち、位置ずれがある（（ｘ，ｙ）＝（０．５，０．５））ときである。
それぞれの画像において、黒色で塗り潰されている領域の面積が輝度値となる。位置ずれの有無で輝度値が異なることが容易に推測される。
【００３２】
図８は、本実施形態に係るリングパターンの光像の位置ずれの有無による輝度値の違いを説明するための別の図である。図８（ａ）は位置ずれがないときの画像であり、図８（ｂ）は位置ずれがあるときの画像であって、それぞれ図７（ａ）、（ｂ）に示した画像に対応する。
図８（ｂ）に示した画像では、画素の境界を越えてパターンがあるため、輝度値となる面積が画素間で分散されて画像が図８（ａ）に示した画像に比べてぼけている。
【００３３】
参照画像生成部１４０は、ステップＳ３０で検出した位置ずれ量だけ画像をずらして、すなわち、撮影したリングパターンの中心の位置と同じ位置が中心となるように参照画像となるリングパターンを生成する（ステップＳ４０）。参照画像は、レンズ２０のＰＳＦが理想的なインパルス応答を示す場合の撮像画像に相当し、レンズ特性に劣化がない場合の仮想的な画像である。
また、参照画像生成部１４０は、生成した参照画像の図形が、撮像素子３０によって取得される撮像画像の図形と大きさが概ね一致するようにリサイズする。
【００３４】
推定部１５１〜１５３は、画像抽出部１１１〜１１３によって抽出された撮像画像と参照画像生成部１４０により生成された参照画像とから、図４に示した参照チャートＡ上に行列状に配列された複数の図形のそれぞれに対応する各領域のＰＳＦを推定する。すなわち、推定部１５１〜１５３は、１５×１５個の円形リングのそれぞれに対応する各領域の赤色成分、緑色成分、青色成分についての１５×１５個のＰＳＦを推定する。
【００３５】
具体的には、推定部１５１〜１５３は、仮想的なＰＳＦ値（初期値）を設定し（ステップＳ５０）、参照画像に対して畳み込み演算を行って畳込画像を生成し（ステップＳ６０、Ｓ７０）、ステップＳ１０で抽出した撮像画像と畳込画像との２乗誤差を演算して当該２乗誤差が所定の範囲内にあるか判定し（ステップＳ８０）、２乗誤差が所定の範囲内にあるとき（ステップＳ８０のＹｅｓ）には、その時の仮想的なＰＳＦ値をレンズ２０のＰＳＦの推定値ＰＳＦｒ、ＰＳＦｇ、ＰＳＦｂとして確定する（ステップＳ９０）。
【００３６】
また、推定部１５１〜１５３は、２乗誤差が所定の範囲内にないとき（ステップＳ８０のＮｏ）には、畳み込み演算により得られる畳込画像が撮像画像と一致（又は、近似）する方向、即ち、畳込画像と撮像画像との２乗誤差が小さくなる方向に、仮想的なＰＳＦ値を更新し（ステップＳ１００）、改めて畳み込み演算（ステップＳ６０）以降の処理を行う。
【００３７】
このように、本実施の形態に係る画像処理方法は、個々のレンズのＰＳＦを精度よく短時間で推定することができる。
なお、本実施の形態に係る画像処理装置及び画像処理方法では、種々の変更、変形が可能である。
例えば、本実施の形態では、撮像画像の位置ずれ量に基づいて、中心位置をずらした参照画像を生成したが、撮像画像の位置ずれ量に基づいて、撮像画像の抽出位置を変更して撮像画像の中心位置と作成する参照画像の中心位置とが合うように、撮像画像を抽出し直しても良い。
【００３８】
また、本実施の形態では、撮像画像の重心位置に基づいて位置ずれ量を算出したが、
撮像画像と参照初期画像とのパターマッチング結果に基づいて位置ずれ量を算出しても良い。参照初期画像とは、予め作成した、位置ずれ量がないときの参照画像である。
図９は、変形例に係る画像処理方法の処理手順を示すフローチャートである。パターンマッチング（ステップＳ２２０）以外の処理は図３を用いて説明したものと同じであり、ここでは説明を省略する。また、この変形例に係る画像処理装置（画像処理部）も、位置ずれ量検出部でパターンマッチングを行う以外は、図２に示したものと同じで良く、ここでは、図示及び説明を省略する。
【００３９】
パターンマッチング（ステップＳ２２０）では、撮影画像と、ＰＳＦを乗じておらず、位置ずれもない参照画像（参照初期画像）とのパターンマッチングを行い、ステップＳ２４０で作成する参照画像の中心及び半径を正確に求める。
このため、変形例に係る画像処理方法では、パターンマッチングをステップＳ２２０及びステップＳ２８０の２回行うことになる。
このように、変形例に係る画像処理装置及び画像処理方法でも、個々のレンズのＰＳＦを精度よく短時間で推定することができる。
【００４０】
以上、説明したように、本実施の形態に係る画像処理装置（画像処理部１０）は、所定のチャートＡ上の図形を光学系２０を介して撮像する撮像素子３０が光学系２０が結像した光像を光電変換して得た画像を入力し、チャートＡ上の図形を表す撮像画像を抽出する画像抽出部１１１〜１１３と、撮像画像に基づいて、撮像素子３０に対する光像の位置ずれ量を検出する位置ずれ量検出部１３０と、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成する参照画像生成部１４０と、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定する推定部１５１〜１５３とを備えるものである。
このような構成により、個々のレンズのＰＳＦを精度よく短時間で推定することができる。
【００４１】
また、本実施の形態に係る画像処理方法は、所定のチャート上の図形を光学系を介して撮像する撮像素子が光学系が結像した光像を光電変換して得た画像を入力し、チャート上の図形を表す撮像画像を抽出するステップＳ１０と、撮像画像に基づいて、撮像素子に対する光像の位置ずれ量を検出するステップＳ２０、Ｓ３０と、位置ずれ量を反映させてチャート上の図形に対応する参照画像を生成するステップＳ４０と、参照画像に点広がり関数を適用して得られる画像が撮像画像に近似するように、点広がり関数を推定するステップＳ５０〜Ｓ１００とを有するものである。
このような構成により、個々のレンズのＰＳＦを精度よく短時間で推定することができる。
【符号の説明】
【００４２】
１    撮像装置
１０    画像処理部
１１１、１１２、１１３    画像抽出部
１２０    画像抽出制御部
１３０    位置ずれ量検出部
１４０    参照画像生成部
１５１、１５２、１５３    推定部
２０    レンズ
３０    撮像素子
Ａ    参照チャート
【図１】
2020182102.tif 000003
【図２】
2020182102.tif 000004
【図３】
2020182102.tif 000005
【図４】
2020182102.tif 000006
【図５】
2020182102.tif 000007
【図６】
2020182102.tif 000008
【図７】
2020182102.tif 000009
【図８】
2020182102.tif 000010
【図９】
2020182102.tif 000011