(57)【要約】【課題】簡潔な構成で被写界深度を拡張する。【解決手段】画像処理システム１０は撮像レンズ１１と撮像部１２と画像処理部１３とを有する。撮像レンズ１１は軸上色収差を有する。撮像部１２は撮像レンズ１１を透過した被写体像を撮像して複数の色の画像を取得する。画像処理部１３は撮像部１２が取得した画像における隣接する画素間の画素値の差分を複数の色別に算出する。画像処理部１３は複数の色別に算出した差分の中で最大となる色の差分を用いて複数の色の画像を補正する。【選択図】図１
2014082614.tif 000002
【特許請求の範囲】
【請求項１】
軸上色収差を有する撮像レンズを透過した被写体像を、複数の色の画像として取得し、取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正することを特徴とする画像処理システム。
【請求項２】
軸上色収差を有する撮像レンズと、
前記撮像レンズを透過した被写体像を撮像して、複数の色の画像を取得する撮像部と、
前記撮像部が取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部とを備える
ことを特徴とする画像処理システム。
【請求項３】
請求項２に記載の画像処理システムであって、前記撮像レンズにおける前記複数の色別の焦点の位置の差は、前記撮像レンズにおける前記複数の色の焦点深度幅未満であることを特徴とする画像処理システム。
【請求項４】
請求項２または請求項３に記載の画像処理システムであって、前記撮像レンズにおける前記複数の色別の焦点の位置の差は、前記撮像レンズにおける前記複数の色の焦点深度幅の半分より大きいことを特徴とする画像処理システム。
【請求項５】
請求項２から請求項４のいずれか１項に記載の画像処理システムであって、前記画像処理部は、前記複数の色別の画像にＷａｖｅｌｅｔ変換を施すことにより前記差分を算出することを特徴とする画像処理システム。
【請求項６】
請求項５に記載の画像処理システムであって、
前記画像処理部は、
前記複数の色別の画像のＷａｖｅｌｅｔ変換による周波数成分における同じ位置の値の中の最大値を用いて、前記周波数成分を補正し、
前記複数の色別の画像の、Ｗａｖｅｌｅｔ変換による直流成分および補正後の周波数成分に対してＷａｖｅｌｅｔ逆変換を施すことにより、前記複数の色の画像を補正する
ことを特徴とする画像処理システム。
【請求項７】
軸上色収差を有する撮像レンズを透過した被写体像を撮像することにより複数の色の画像を生成する撮像装置から取得する前記複数の色の画像に画像処理を施す画像処理装置であって、
画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部を備える
ことを特徴とする画像処理装置。
【請求項８】
軸上色収差を有する撮像レンズと、
前記撮像レンズを透過した被写体像を撮像して、複数の色の画像を取得する撮像部と、
前記撮像部が取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部とを備える
ことを特徴とする撮像装置。
【請求項９】
軸上色収差を有する撮像レンズを透過した被写体像を撮像して複数の色の画像を生成する生成ステップと、
前記生成ステップで生成した画像における隣接する画素間の画素値の差分を前記複数の色別に算出する差分算出ステップと、
前記差分算出ステップにおいて、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する補正ステップとを備える
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写界深度を拡張させる画像処理システム、画像処理装置、撮像装置、および画像処理方法に関する。
【背景技術】
【０００２】
撮影レンズからの距離が異なる多様な被写体を明瞭に撮像することが望まれている。すなわち、被写界深度の拡張が望まれている。被写界深度を拡張するために、軸上色収差を有する光学系と、カラーフィルタとを用いて複数の色の画像を撮像し、撮像した画像に画像処理を施すことが提案されている（特許文献１、２、３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２５７５６７号公報
【特許文献２】特開２００８−２４４９８２号公報
【特許文献３】特開２００９−０１７５４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１では、色の異なる画像の同じ位置の画素値の中で最も大きい画素値を選択して新規の画像にプロットしているが、このような処理ではカラー画像の作成が困難である。また、特許文献２では、複数の色の画像信号の中で最もコントラストが高い画像信号を輝度信号として採用しているが、このような処理では異なる距離にある複数の被写体が同時に撮像されるときに、いずれかの被写体の合焦は困難となる。また、特許文献３では、複数の色の画像信号毎に輪郭強調処理を施して画像を合成しているが、信号処理が煩雑であり、処理に多大な時間を要していた。
【０００５】
したがって、かかる事情に鑑みてなされた本発明の目的は、簡潔な構成で被写界深度を拡張する画像処理システム、画像処理装置、撮像装置、および画像処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述した諸課題を解決すべく、第１の観点による画像処理システムは、
軸上色収差を有する撮像レンズを透過した被写体像を、複数の色の画像として取得し、取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する
ことを特徴とするものである。
【０００７】
また、第２の観点による画像処理システムは、
軸上色収差を有する撮像レンズと、
前記撮像レンズを透過した被写体像を撮像して、複数の色の画像を取得する撮像部と、
前記撮像部が取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部とを備える
ことを特徴とするものである。
【０００８】
また、第３の観点による画像処理システムは、
前記撮像レンズにおける前記複数の色別の焦点の位置の差は、前記撮像レンズにおける前記複数の色の焦点深度幅未満である
ことが好ましい。
【０００９】
また、第４の観点による画像処理システムは、
前記撮像レンズにおける前記複数の色別の焦点の位置の差は、前記撮像レンズにおける前記複数の色の焦点深度幅の半分より大きい
ことが好ましい。
【００１０】
また、第５の観点による画像処理システムは、
前記画像処理部は、前記複数の色別の画像にＷａｖｅｌｅｔ変換を施すことにより前記差分を算出する
ことが好ましい。
【００１１】
また、第６の観点による画像処理システムは、
前記画像処理部は、
前記複数の色別の画像のＷａｖｅｌｅｔ変換による周波数成分における同じ位置の値の中の最大値を用いて、前記周波数成分を補正し、
前記複数の色別の画像の、Ｗａｖｅｌｅｔ変換による直流成分および補正後の周波数成分に対してＷａｖｅｌｅｔ逆変換を施すことにより、前記複数の色の画像を補正する
ことが好ましい。
【００１２】
また、第７の観点による画像処理装置は、
軸上色収差を有する撮像レンズを透過した被写体像を撮像することにより複数の色の画像を生成する撮像装置から取得する前記複数の色の画像に画像処理を施す画像処理装置であって、
画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部を備える
ことを特徴とするものである。
【００１３】
また、第８の観点による撮像装置は、
軸上色収差を有する撮像レンズと、
前記撮像レンズを透過した被写体像を撮像して、複数の色の画像を取得する撮像部と、
前記撮像部が取得した画像における隣接する画素間の画素値の差分を前記複数の色別に算出し、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する画像処理部とを備える
ことを特徴とするものである。
【００１４】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
【００１５】
また、本発明の第９の観点を方法として実現させた画像処理方法は、
軸上色収差を有する撮像レンズを透過した被写体像を撮像して複数の色の画像を生成する生成ステップと、
前記生成ステップで生成した画像における隣接する画素間の画素値の差分を前記複数の色別に算出する差分算出ステップと、
前記差分算出ステップにおいて、前記複数の色別に算出した差分の中で最大となる色の差分を用いて前記複数の色の画像を補正する補正ステップとを備える
ことを特徴としている。
【発明の効果】
【００１６】
上記のように構成された本発明に係る画像処理システム、画像処理装置、撮像装置、および画像処理方法によれば、簡潔な構成で被写界深度を拡張可能である。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【図２】撮像レンズの光学特性を示す被写体距離に対するＭＴＦのグラフである。
【図３】撮像レンズの帯域別の焦点深度を示す図である。
【図４】Ｗａｖｅｌｅｔ変換の説明をするための概念図である。
【図５】多段階のＷａｖｅｌｅｔ変換の説明をするための概念図である。
【図６】Ｗａｖｅｌｅｔ変換による１段目の横方向の周波数成分の構成を示す概念図である。
【図７】画像処理部が実行する画像処理を説明するフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を参照して説明する。
【００１９】
まず、本発明の第１の実施形態に係る画像処理システムについて説明する。図１は、一実施形態に係る画像処理システムの概略構成を示す機能ブロック図である。
【００２０】
図１に示すように、画像処理システム１０は、撮像レンズ１１、撮像部１２、および画像処理部１３を含んで構成される。画像処理システム１０は、例えば、撮像レンズ１１および撮像部１２を有する撮像装置および画像処理部１３を有する画像処理装置として、または撮像レンズ１１、撮像部１２、および画像処理部１３を有する撮像装置として構成可能である。
【００２１】
撮像レンズ１１は、被写体像を結像させる。撮像レンズ１１は、以下に説明するように、波長帯域毎にＭＴＦが異なるように、すなわち軸上色収差を有するように形成される。後述するように、撮像部１２では、被写体像の撮像により赤色の画像、緑色の画像、青色の画像を取得する。撮像レンズ１１では、赤色、緑色、および青色の帯域に対して、図２に示すように、被写体距離に対して互いにずれたＭＴＦを有するように形成される。
【００２２】
さらに詳細に説明すると、図３に示すように、Ｒの焦点深度、Ｇの焦点深度、およびＢの焦点深度が連続するように、撮像レンズ１１は形成される。ただし、撮像レンズ１１は、Ｒの焦点位置およびＧの焦点位置の差、すなわち両者間の距離はＲの焦点深度幅およびＧの焦点深度幅以下であり、Ｇの焦点位置およびＢの焦点位置の距離、すなわち両者間の距離はＧの焦点深度幅およびＢの焦点深度幅以下となるように形成されてもよい。また、撮像レンズ１１は、Ｒの焦点位置およびＧの焦点位置の差、すなわち両者間の距離はＲの焦点深度幅の半分およびＧの焦点深度幅の半分以上であり、Ｇの焦点位置およびＢの焦点位置の差、すなわち両者間の距離はＧの焦点深度幅の半分およびＢの焦点深度幅の半分以上となるように形成されてもよい。
【００２３】
撮像部１２は、撮像レンズ１１を透過した被写体像を撮像して、赤色、緑色、および青色の画像を取得する。撮像による赤色、緑色、および青色の画像は、以下に挙げる様に、多様な方法によって、取得可能である。
【００２４】
例えば、撮像部１２は、ベイヤー方式に配置したＲカラーフィルタ、Ｇカラーフィルタ、およびＢカラーフィルタによって覆われた撮像素子を用いて、赤色、緑色、および青色の画像を撮像可能である。このような単板式の撮像部１２を用いる場合には、撮像部１２または画像処理部１３において色補間処理が施される。また、撮像部１２は、ビームスプリッタを用いて被写体像を赤色、緑色、および青色光成分に分離し、それぞれの成分を別々の撮像素子で撮像することにより、赤色、緑色、および青色の画像を撮像可能である。または、撮像部１２は、カラーフィルタを設けない単一の撮像素子を用いて色順次切替方式、すなわち被写体への照射光を順次切替えて撮像する方式を採用することによっても、赤色、緑色、および青色の画像を撮像可能である。また、撮像部１２における撮像素子はエリアセンサだけでなくラインセンサであってもよく、ラインセンサの走査によって２次元の画像を作成する構成であってもよい。
【００２５】
画像処理部１３は、撮像部１２から赤色、緑色、および青色の画像を取得する。画像処理部１３は、赤色の画像における隣接する画素間の画素値の差分を算出する。同様に、画像処理部１３は、緑色の画像および青色の画像それぞれにおける隣接する画素間の画素値の差分を算出する。画像処理部１３は、赤色、緑色、および青色の画像の同じ位置における差分の中の最大値を位置毎に検出する。画像処理部１３は、検出した差分の最大値を用いて、赤色の画像、緑色の画像、および青色の画像を補正する。画像処理部１３における上述の処理を、以下により詳細に説明する。
【００２６】
画像処理部１３は、赤色、緑色、および青色の画像別に多段階のＷａｖｅｌｅｔ変換を施す。本実施形態では、例えば３段階のＷａｖｅｌｅｔ変換を施す。
【００２７】
図４に示すように、１段階のＷａｖｅｌｅｔ変換により、原画像の直流成分、横方向の周波数成分、縦方向の周波数成分、および縦横方向の周波数成分が生成される。直流成分は、原画像の１／４のサイズの画像に相当する。横方向の周波数成分は、原画像における横方向に隣接する画素間の画素値の差分に相当する。縦方向の周波数成分は、原画像における縦方向に隣接する画素間の画素値の差分に相当する。縦横方向の周波数成分は、原画像における斜め方向に隣接する画素間の画素値の差分に相当する。
【００２８】
多段階のＷａｖｅｌｅｔ変換とは、Ｗａｖｅｌｅｔ変換の度に生成される直流成分に、繰返し施すＷａｖｅｌｅｔ変換である。したがって、３段階のＷａｖｅｌｅｔ変換により、図５に示すように、原画像から、３段目の直流成分、３段目の横方向の周波数成分、３段目の縦方向の周波数成分、３段目の縦横方向の周波数成分、２段目の横方向の周波数成分、２段目の縦方向の周波数成分、２段目の縦横方向の周波数成分、１段目の横方向の周波数成分、１段目の縦方向の周波数成分、１段目の縦横方向の周波数成分が生成される。Ｗａｖｅｌｅｔ変換により直流成分のサイズは原画像のサイズより小さくなるので、変換が多段になるほど周波数成分は低周波となる。
【００２９】
赤色、緑色、および青色の画像毎にＷａｖｅｌｅｔ変換を施すと、画像処理部１３は、赤色、緑色、および青色の画像における同じ段階のＷａｖｅｌｅｔ変換による同じ方向の周波数成分の同じ位置における値を比較する。画像処理部１３は、同じ位置における値がＲ、Ｇ、Ｂの３色の中で最大となる周波数成分の値を選択する。画像処理部１３は、各位置において最大となる周波数成分の値を用いて、他の色の画像の当該位置における周波数成分を補正する。上述の比較、選択、および補正について、１段目の横方向の周波数成分を例として説明するが、他の段階の、他の方向の周波数成分についても同様である。
【００３０】
図６に示すように、周波数成分は２次元状に配置された信号値ｓｖの集合によって構成される。信号値ｓｖは隣接する画素間の画素値の差分に相当する。画像処理部１３は、赤色、緑色、および青色の画像の周波数成分における同じ位置の信号値ｒｓｖ、ｇｓｖ、ｂｓｖを比較し、最大となる信号値をｓｖｍａｘとする。画像処理部１３は、最大となる信号値ｓｖｍａｘを用いて元の信号値ｒｓｖ、ｇｓｖ、ｂｓｖを（１）〜（３）式によって補正して、ｒｓｖ’、ｇｓｖ’、ｂｓｖ’を算出する。
【００３１】
【数１】
2014082614.tif 000003
【００３２】
（１）〜（３）式におけるｋ（ｎ）は、ｎ段目の周波数成分に対して定められる重み付け係数であり、０≦ｋ（ｎ）≦１の範囲内で定められる。ｋ（ｎ）はｎが大きくなる程、周波数成分の補正に寄与する係数として機能するが、低周波になるほどボケの影響は少なくなる。それゆえ、ｎが大きくなる程、ｋ（ｎ）が小さくなることが好ましく、本実施形態では、ｋ（１）＝１、ｋ（ｎ）＝ｋ（ｎ−１）／２に定められる。
【００３３】
赤色、緑色、および青色の画像における周波数成分を構成する全信号値ｒｓｖ、ｇｓｖ、ｂｓｖを、補正後の全信号値ｒｓｖ’、ｇｓｖ’、ｂｓｖ’に置換することによって、周波数成分が補正される。上述の補正により、以下に説明するように、補正後の周波数成分においては画像のボケが低減化される。
【００３４】
一般的に、自然物を撮像した画像における隣接する画素間の画素値の差分は光の帯域が異なっていても相関性が高く、軸上色収差が小さい場合には、その差分は互いに近い値となる。それゆえ、軸上色収差を有する撮像レンズ１１を用いて撮像した画像の中でボケの発生している色の画像における差分を、合焦状態の色の画像における差分を用いて補正することにより、ボケを低減化可能である。
【００３５】
また、被写体の撮像部１２への結像が合焦状態から外れるほどボケが大きくなり、隣接する画素間の画素値の差分は小さくなる。すなわち、合焦状態に近付く程差分は大きくなる。それゆえ、周波数成分の各位置の信号値ｓｖが最大となる色がＲ、Ｇ、Ｂの中で合焦状態に最も近い。
【００３６】
それゆえ、同じ位置における赤色、緑色、および青色の画素値の差分に相当する信号値ｓｖの最大値、すなわち合焦状態の信号値ｓｖを用いて、他の色の信号値ｓｖを補正することにより、他の色におけるボケが低減化する。
【００３７】
画像処理部１３は、上述の周波数成分の補正を、３段目の横方向、３段目の縦方向、３段目の縦横方向、２段目の横方向、２段目の縦方向、２段目の縦横方向、１段目の横方向、１段目の縦方向、および１段目の縦横方向の周波数成分に対して行なう。
【００３８】
画像処理部１３は、周波数成分の補正後に、３段目の直流成分、補正後の３段目の横方向の周波数成分、補正後の３段目の縦方向周波数成分に対してＷａｖｅｌｅｔ逆変換を施すことにより、補正後の２段目の直流成分を生成する。さらに、画像処理部１３は、補正後の２段目の直流成分、補正後の２段目の横方向の周波数成分、補正後の２段目の縦方向周波数成分に対してＷａｖｅｌｅｔ逆変換を施すことにより、補正後の１段目の直流成分を生成する。さらに、画像処理部１３は、補正後の１段目の直流成分、補正後の１段目の横方向の周波数成分、補正後の１段目の縦方向周波数成分に対してＷａｖｅｌｅｔ逆変換を施すことにより、補正後のボケを低減化させた画像を生成する。
【００３９】
画像処理部１３は、補正後の赤色、緑色、および青色の画像に対して、ホワイトバランス、ガンマ補正などの所定の画像処理を施す。所定の画像処理を施した各画像はメモリで記憶、または表示装置において表示することが可能である。
【００４０】
次に、本実施形態において画像処理部１３が実行する、画像処理について、図７のフローチャートを用いて説明する。画像処理部１３は、撮像部１２から赤色、緑色、および青色の画像を取得するときに設定処理を実行する。
【００４１】
ステップＳ１００において、画像処理部１３は、取得した赤色、緑色、および青色の画像毎にＷａｖｅｌｅｔ変換を施し、各色別に直流成分および周波数成分を生成する。Ｗａｖｅｌｅｔ変換後、プロセスはステップＳ１０１に進む。
【００４２】
ステップＳ１０１では、画像処理部１３は、ステップＳ１００において生成した赤色、緑色、および青色の画像の周波数成分中で、位置毎の最大値を検出する。最大値を検出すると、プロセスはステップＳ１０２に進む。
【００４３】
ステップＳ１０２では、画像処理部１３は、ステップＳ１０１で検出した最大値を用いて、位置毎に周波数成分を補正する。赤色、緑色、および青色の画像の周波数成分を補正すると、プロセスはステップＳ１０３に進む。
【００４４】
ステップＳ１０３では、画像処理部１３は、ステップＳ１０１において生成した直流成分およびステップＳ１０２において補正した周波数成分に対して逆Ｗａｖｅｌｅｔ変換を施し、赤色、緑色、および青色の画像の補正を完了する。画像の補正を完了すると、画像処理を終了する。
【００４５】
以上のような構成の本実施形態の画像処理システム１０によれば、軸上色収差を有する撮像レンズ１１を透過させることにより赤色、緑色、および青色のいずれかにおいて合焦させた画像を用いて、非合焦状態の色の画像を補正することが可能である。したがって、簡潔な構成で被写界深度を拡張することが可能である。
【００４６】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【００４７】
例えば、本実施形態においてはＷａｖｅｌｅｔ変換による周波数成分を、各色の画像における隣接する画素間の画素値の差分として用いる構成であるが、他の方法を採用してもよい。
【符号の説明】
【００４８】
１０  画像処理システム
１１  撮像レンズ
１２  撮像部
１３  画像処理部
ｓｖ  信号値
【図１】
2014082614.tif 000004
【図２】
2014082614.tif 000005
【図３】
2014082614.tif 000006
【図４】
2014082614.tif 000007
【図５】
2014082614.tif 000008
【図６】
2014082614.tif 000009
【図７】
2014082614.tif 000010