(57)【要約】  本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。
2013080552.tif 000002
【特許請求の範囲】
【請求項１】
第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、
前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える、撮像装置。
【請求項２】
前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、
前記撮像素子は、複数の第４の画素をさらに有し、
前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させる、請求項１に記載の撮像装置。
【請求項３】
前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域である、請求項１または２に記載の撮像装置。
【請求項４】
前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しい、請求項２に記載の撮像装置。
【請求項５】
１回の撮像において、前記第１、第２、第３の領域に光線が入射する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させる、請求項２に記載の撮像装置。
【請求項７】
被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、
前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記第１の信号処理部は、画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項２に記載の撮像装置。
【請求項１１】
前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１０に記載の撮像装置。
【請求項１２】
前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
【請求項１３】
前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１２に記載の撮像装置。
【請求項１４】
被写体までの距離を算出する第２の信号処理部をさらに備え、
前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項９に記載の撮像装置。
【請求項１５】
被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１６】
前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１７】
前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１８】
被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１３に記載の撮像装置。
【請求項１９】
前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、
前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２に記載の撮像装置。
【請求項２０】
前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
前記レンズ光学系は絞りをさらに備え、
前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２０のいずれかに記載の撮像装置。
【請求項２２】
前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、
前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１４から１８のいずれかに記載の撮像装置。
【請求項２３】
前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項２２に記載の撮像装置。
【請求項２４】
前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項２３に記載の撮像装置。
【請求項２５】
前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項２４に記載の撮像装置。
【請求項２６】
前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項２３から２５のいずれかに記載の撮像装置。
【請求項２７】
前記点広がり関数はガウス関数である、請求項２３に記載の撮像装置。
【請求項２８】
前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項２６または２７に記載の撮像装置。
【請求項２９】
前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項２２に記載の撮像装置。
【請求項３０】
前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項２４に記載の撮像装置。
【請求項３１】
前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、
前記第１フィルタは第１の波長帯域の光を透過し、
前記第２フィルタは第１の波長帯域の光を透過し、
前記第３フィルタは第２の波長帯域の光を透過し、
前記第４フィルタは第３の波長帯域の光を透過する、請求項２から６のいずれかに記載の撮像装置。
【請求項３２】
前記レンズ光学系は絞りをさらに備え、
前記第１から第４のフィルタは、前記絞り近傍に配置されている、請求項３１に記載の撮像装置。
【請求項３３】
請求項２に記載の撮像装置と、
カラー画像を生成する第１の信号処理装置をさらに備え、
前記第１の信号装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
【請求項３４】
被写体までの距離を算出する第２の信号処理装置をさらに備え、
前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項３３に記載の撮像システム。
【請求項３５】
撮像装置と、信号処理装置とを備える撮像システムであって、
前記撮像装置は、
第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、
前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
前記信号処理装置は、
前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、
前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える、撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願はカメラ等の撮像装置に関する。
【背景技術】
【０００２】
近年、自動車の車間距離測定やカメラの自動焦点システム、３次元形状測定システムに、複数の撮像光学系間の視差によって被写体（測距対象物）までの距離を測定する測距装置が用いられている。【０００３】
このような測距装置では、左右又は上下に配置する一対の撮像光学系によってそれぞれの撮像領域に画像が形成され、それらの画像の視差から三角測量によって被写体までの距離が検出される。【０００４】
また、単一の撮像光学系から被写体までの距離を測定する方式として、ＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）法が知られている。ＤＦＤ法は、取得した画像のボケ量の解析から距離を算出する手法であるが、単一の画像では被写体そのものの模様であるのか、被写体距離によってボケているのかを判別することができないため、複数の画像から距離を推定する手法が用いられている（特許文献１、非特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３１１００９５号公報
【非特許文献】
【０００６】
【非特許文献１】Xue Tu, Youn-sik Kang and Murali Subbarao Two- and Three-Dimensional Methods for Inspection and Metrology V. Edited by Huang, Peisen S.. Proceedings of the SPIE, Volume 6762, pp. 676203 (2007).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、撮像装置の小型化や低コスト化、測距精度の向上などが求められていた。本願の、限定的ではない例示的なある実施形態は、小型で精度よく距離を測定することが可能な撮像装置を提供する。
【課題を解決するための手段】
【０００８】
本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。
【発明の効果】
【０００９】
本発明の一態様に係る測距装置によれば、単一の撮像系を用い、精度よく距離の計測を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明による撮像装置Ａの実施の形態１を示す模式図である。
【図２】本発明の実施の形態１における光学素子Ｌ１を被写体側から見た正面図である。
【図３】本発明の実施の形態１におけるアレイ状光学素子Ｋの斜視図である。
【図４】（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図５】本発明の実施の形態１において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。
【図６】被写体距離毎の点像強度分布の概念図である。
【図７】本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図８】（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示し、（ｄ）から（ｆ）は、（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。
【図９】（ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。
【図１０】本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の他の関係を示すグラフである。
【図１１】本発明の実施の形態１における被写体距離と鮮鋭度（画像のシャープさ）の他の関係を示すグラフである。
【図１２】実施の形態１における撮像装置Ａを示す断面図である。
【図１３】実施の形態１の他の撮像装置を示す図である。
【図１４】本発明の実施の形態１における他の光学素子Ｌ１を被写体側から見た正面図である。
【図１５】本発明の実施の形態１における他の光学素子Ｌ１を被写体側から見た正面図である。
【図１６】（ａ）および（ｂ）は、本発明の実施の形態２におけるアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。
【図１７】（ａ）および（ｂ）は、本発明による実施の形態３における各光学領域と遮光部材との位置関係を示す正面図である。
【図１８】本発明による撮像装置Ａの実施の形態４を示す模式図である。
【図１９】本発明の実施の形態４における光学素子Ｌ１を被写体側から見た正面図である。
【図２０】本発明の実施の形態４におけるアレイ状光学素子Ｋの斜視図である。
【図２１】（ａ）は、図１８に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図２２】本発明の実施の形態４における信号処理部のフローチャート図である。
【図２３】本発明の実施の形態４において、光学領域Ｄ１および光学領域Ｄ２を通過した光線による球面収差を示すグラフである。
【図２４】本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図２５】（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布図であり、（ｄ）から（ｆ）は、図２５（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す図である。
【図２６】（ａ）は、被写体である白黒のチャートを示す図である。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図１の撮像装置Ａで撮像した画像の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１の輝度の２回微分を示す図。（ｅ）は、（ｃ）のＧ２の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。
【図２７】本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図２８】本発明の実施の形態４における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図２９】（ａ）は本発明の実施の形態４の被写体画像を示す図である。（ｂ）は（ａ）の被写体画像のデプスマップを示す図である。
【図３０】本発明の実施の形態４における、ガウス分布で表したＰＳＦ（点広がり関数）断面強度の分布図である。
【図３１】（ａ）および（ｂ）は、本発明の実施の形態４における被写体位置とＰＳＦの関係を示す図である。
【図３２】（ａ）から（ｃ）は、本発明の実施の形態４におけるＰＳＦの２次元データを示す図である。
【図３３】（ａ）および（ｂ）は、本発明の実施の形態４におけるＰＳＦの２次元強度の分布図である。
【図３４】本発明の実施の形態４における、図２９（ｂ）のデプスマップをもとに図２９（ａ）の被写体画像をリフォーカスした画像を示す図である。
【図３５】本発明の実施の形態５における被写体位置とＰＳＦの関係を示す図である。
【図３６】本発明による撮像装置Ａの実施の形態６を示す模式図である。
【図３７】（ａ）は、図３６に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図３８】本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図３９】（ａ）は、被写体である白黒のチャートを示す図。（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。（ｃ）は、図３６の撮像装置Ａで撮像した画像の色毎の輝度の断面を示す図である。（ｄ）は、（ｃ）のＧ１（緑）およびＲ（赤）の輝度の２回微分を示す図である。（ｅ）は、（ｃ）のＧ２（緑）、Ｂ（青）の輝度から（ｄ）の２回微分を減じた場合の輝度の断面を示す図である。
【図４０】本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図４１】本発明の実施の形態６における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図４２】本発明の実施の形態７における光学素子Ｌ１を被写体側から見た正面図である。
【図４３】本発明の実施の形態７におけるアレイ状光学素子Ｋの斜視図である。
【図４４】（ａ）は、本発明の実施の形態７におけるアレイ状光学素子Ｋと撮像素子Ｎを拡大して示す図であり、（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。
【図４５】本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図４６】本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図４７】本発明の実施の形態７における被写体距離と鮮鋭度（画像のシャープさ）の関係を示すグラフである。
【図４８】本発明による撮像装置Ａの実施の形態８を示す模式図である。
【図４９】（ａ）は、本発明の実施の形態において、クロストークの発生する場合の撮像面の近傍を拡大して示す図であり、（ｂ）は、クロストークを軽減した場合の撮像面の近傍を拡大して示す図である。
【図５０】（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。（ａ２）は、（ａ１）に示すマイクロレンズアレイの等高線を示す図である。（ａ３）は、（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。（ｂ２）は、（ｂ１）に示すマイクロレンズアレイの等高線を示す図である。（ｂ３）は、（ｂ１）、（ｂ２）に示すマイクロレンズを本発明の実施の形態におけるアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。
【図５１】本発明の実施の形態において、撮像素子上のフィルタ配列のその他の実施形態を示す図である。
【発明を実施するための形態】
【００１１】
本願発明の検討によれば、従来の複数の撮像光学系を用いた構成では、撮像装置が大型化、高コスト化する。また、複数の撮像光学系の特性を揃え、かつ２つの撮像光学系の光軸を高精度で平行にする必要性があるため製造が難しく、さらにはカメラパラメータを求めるためのキャリブレーション工程が必要であるため、多くの工数を要すると考えられる。
【００１２】
特許文献１および非特許文献１に開示されるようなＤＦＤ法では、１つの撮像光学系によって被写体までの距離を算出することができる。しかしながら、特許文献１および非特許文献１の方法では、焦点が合う被写体までの距離（合焦距離）を変化させて、時分割で複数の画像を取得する必要がある。このような手法を動画に適用すると、撮影の時間差により画像間にズレが生じてしまうため、測距精度を低下させてしまうという課題が生じる。
【００１３】
また、特許文献１には、プリズムによって光路を分割し、バックフォーカスを異ならせた２つの撮像面によって撮像することによって、１回の撮像で被写体までの距離を測定することができる撮像装置が開示されている。しかしながら、このような方法では、撮像面が２つ必要になるため、撮像装置が大型化し、かつ大幅なコストアップとなってしまうという課題が生じる。
【００１４】
本願発明者はこのような課題に鑑み、新規な撮像装置を想到した。本発明の一態様の概要は以下の通りである。
【００１５】
本発明の一態様である撮像装置は、第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える。
【００１６】
前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、前記撮像素子は、複数の第４の画素をさらに有し、前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させてもよい。
【００１７】
前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域であってもよい。
【００１８】
前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しくてもよい。
【００１９】
１回の撮像において、前記第１、第２、第３の領域に光線が入射してもよい。
【００２０】
前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させてもよい。
【００２１】
被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化してもよい。
【００２２】
前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有していてもよい。
【００２３】
前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備えていてもよい。
【００２４】
前記第１の信号処理部は、画像における所定領域毎に前記複数の第１から第４の画素の輝度情報のうち少なくとも１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。
【００２５】
前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成してもよい。
【００２６】
前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成してもよい。
【００２７】
前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させてもよい。
【００２８】
被写体までの距離を算出する第２の信号処理部をさらに備え、前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出してもよい。
【００２９】
被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出してもよい。
【００３０】
前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出してもよい。
【００３１】
前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出してもよい。
【００３２】
被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出してもよい。
【００３３】
前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近くてもよい。
【００３４】
前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備えていてもよい。
【００３５】
前記レンズ光学系は絞りをさらに備え、前記第１の領域および前記第２の領域は、前記絞り近傍に配置されていてもよい。
【００３６】
前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備えていてもよい。
【００３７】
前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成してもよい。
【００３８】
前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなてもよい。
【００３９】
前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置であってもよい。
【００４０】
前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成してもよい。
【００４１】
前記点広がり関数はガウス関数であってもよい。
【００４２】
前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成してもよい。
【００４３】
前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成してもよい。
【００４４】
前記少なくとも１つのベストフォーカス位置は、断続的に複数存在してもよい。
【００４５】
前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、前記第１フィルタは第１の波長帯域の光を透過し、前記第２フィルタは第１の波長帯域の光を透過し、前記第３フィルタは第２の波長帯域の光を透過し、前記第４フィルタは第３の波長帯域の光を透過してもよい。
【００４６】
前記レンズ光学系は絞りをさらに備え、前記第１から第４のフィルタは、前記絞り近傍に配置されていてもよい。
【００４７】
本発明の一態様である撮像システムは、上記撮像装置と、カラー画像を生成する第１の信号処理装置をさらに備え、前記第１の信号装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する。
【００４８】
被写体までの距離を算出する第２の信号処理装置をさらに備え、前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出してもよい。
【００４９】
本発明の他の一態様である撮像システムは、撮像装置と、信号処理装置とを備える撮像システムであって、前記撮像装置は、第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、前記信号処理装置は、前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える。
【００５０】
上記態様による撮像装置および撮像システムによれば、単一の光学系を用い、１回の撮像によって、カラー画像の出力及び被写体距離の測定のための輝度情報を取得することができる。このため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、動画の撮影において、時間の経過とともに被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。また、任意の被写体位置にフォーカスを合わせ、例えば、主要な人物・物をシャープにし、背景のみぼかしたメリハリのある画像を取得することできる。以下、本発明による撮像装置の実施形態を、図面を参照しながら説明する。
【００５１】
（実施の形態１）
図１は、実施の形態１の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第１の信号処理部Ｃ１と、第２の信号処理部Ｃ２と、記憶部Ｍｅを備える。
【００５２】
レンズ光学系Ｌは、被写体（図示せず）からの光束Ｂ１からＢ４が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、光学領域Ｄ１と、光学領域Ｄ１を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有する光学領域Ｄ２とを有する。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。
【００５３】
図２は、光学素子Ｌ１を被写体側から見た正面図である。光学領域Ｄ２は、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを有する。光学素子Ｌ１における光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１は、サブ光学領域ｄ２Ｂと同一の分光透過率特性を有する。光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｃは、それぞれ異なる分光透過率特性を有する。
【００５４】
例えば、光学領域Ｄ１およびサブ光学領域ｄ２Ｂは第１の分光透過率特性を有し、緑色帯域の光線を主に通過させ、他の帯域の光線を吸収する。サブ光学領域ｄ２Ａは第２の分光透過率特性を有し、赤色帯域の光線を主に通過させ、他の帯域の光線を吸収する。また、サブ光学領域ｄ１Ｃは第３の分光透過率特性を有し、青色帯域の光線を主に通過させ、他の帯域の光線を吸収する。
【００５５】
光学素子Ｌ１の一部に、例えば異なる波長帯域の光を透過させるフィルタ（例えば有機材料や誘電体多層膜から形成されているフィルタ）が設けられていることにより、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃのそれぞれの領域が透過する光の波長帯域を異ならせることができる。また、光学素子Ｌ１の材料自体が、分光透過率特性を有していてもよい。例えば光学素子Ｌ１が樹脂からなる場合、樹脂に着色材料を添加しておくことにより、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃのそれぞれの領域が透過する光の波長帯域を異ならせることができる。また、光学素子Ｌ１がガラスからなる場合、ガラスに金属などの微粒子を添加しておくことにより、それぞれの領域が透過する光の波長帯域を異ならせることができる。また、吸収材料を用いる代わりに、光学素子Ｌ１の表面に多層干渉膜を形成することにより、それぞれの領域が透過する光の波長帯域を異ならせることができる。この場合、光学素子Ｌ１は反射型のカラーフィルタであり、蒸着法等により形成することができる。
【００５６】
なお、図２に示す例では、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを透過した光線による合焦特性は同一である。これにより、所定の被写体距離における鮮鋭度が同じになるため、自然なカラー画像を得ることができる。ただし、必ずしも、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを透過した光線による合焦特性は同一でなくてもよい。
【００５７】
図２において、破線ｓは、絞りＳの位置を示している。図１に示す光束Ｂ１、Ｂ２、Ｂ３、Ｂ４は、それぞれ、光学素子Ｌ１上の光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過する光束である。光束Ｂ１、Ｂ２、Ｂ３、Ｂ４は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図４等に示す）に到達する。
【００５８】
図３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ１が格子状に配置されている。それぞれの光学要素Ｍ１の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ１は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ１はマイクロレンズであり、アレイ状光学素子Ｋはマイクロレンズアレイである。
【００５９】
図１に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。
【００６０】
なお、本実施形態において、「合焦特性が異なる」とは、所定の波長の光で比較した場合に、その光学系においてその光の集光に寄与する特性の少なくとも１つが異なることをいう。具体的には、所定の波長の光で比較した場合に、光学領域Ｄ１、Ｄ２を通過した光によるレンズ光学系Ｌの焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。
【００６１】
本実施形態では、１回の撮像によって光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃを通過した光を、それぞれ、撮像素子Ｎにおける画素に入射させる。
【００６２】
図４（ａ）は、図１に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。
【００６３】
図４（ｂ）に示すように、撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。
【００６４】
説明のため、２行２列に配置される画素Ｐ１、Ｐ２、Ｐ３およびＰ４の１組を、「画素群Ｐｇ」と称する。１つの画素群Ｐｇ内において、画素Ｐ１の位置を（１、１）とすると、画素Ｐ２が（２、１）、画素Ｐ３が（２、２）、画素Ｐ４が（１、２）の位置に配置されている。共に緑色帯域の光が入射する画素Ｐ１および画素Ｐ３は、撮像面Ｎｉの面内において、斜めの位置に配置されている。このように、本実施形態においては、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に入射する光の波長帯域はベイヤー配列によって配列されていてもよい。画素Ｐ１と画素Ｐ３との位置は逆であってもよい。また、ベイヤー配列以外の配列によって配列されていてもよい。なお、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２ＣによりＲ、Ｇ、Ｂの各波長帯域の光を得られるため、画素Ｐ１、Ｐ２、Ｐ３およびＰ４にはカラーフィルタを形成する必要は無く、モノクロのセンサを用いればよい。
【００６５】
アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４（画素群Ｐｇ）の４つの画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。
【００６６】
アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１、図２に示す）を通過した光束Ｂ１（図１において実線で示される光束Ｂ１）（の大部分）が、撮像面Ｎｉ上の画素Ｐ３に到達し、サブ光学領域ｄ２Ａを通過した光束Ｂ２（の大部分）が、撮像面Ｎｉ上の画素Ｐ４に到達し、サブ光学領域ｄ２Ｂを通過した光束Ｂ３（の大部分）が、撮像面Ｎｉ上の画素Ｐ１に到達し、サブ光学領域ｄ２Ｃを通過した光束Ｂ４（の大部分）が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【００６７】
光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃに用いられるフィルタは、例えば、有機材料から形成されているフィルタである。なお、第１の分光透過率特性、第２の分光透過率特性および第３の分光透過率特性のそれぞれを有するフィルタは、互いに異なる波長帯域の光線を主に透過する。ただし、それぞれのフィルタが透過する光の波長帯域の一部が重複していてもよい。また、ＲＧＢの原色系のフィルタに限らず、補色系（シアン、マゼンタ、イエロー）のフィルタを用いてもよい。
【００６８】
絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。光学系Ｌの合焦特性を互いに異ならせる光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。
【００６９】
図１においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。
【００７０】
また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃに対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。
【００７１】
第１の信号処理部Ｃ１（図１に示す）は、１回の撮像によって画素Ｐ１、Ｐ２、Ｐ３およびＰ４において得られた複数の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。
【００７２】
図１の撮像装置Ａの光学系において、光学領域Ｄ１が非球面を有し、光学領域Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）が平面を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。
【００７３】
光学領域Ｄ２は平面を有するため、光学領域Ｄ２とレンズＬ２を通過した光線には、図５の実線で示すグラフのように球面収差は生じない（または少ない）。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。
【００７４】
また、光学領域Ｄ１における非球面形状により、光学領域Ｄ１とレンズＬ２を通過した光線による球面収差は、図５の破線で示すグラフのようになる。光学領域Ｄ１における非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。
【００７５】
図６は、被写体距離毎の点像強度分布の概念図である。図６の向かって左端の列は、画素Ｐ３の点像強度分布のみを抽出し、画素Ｐ１、Ｐ２、Ｐ４の点像強度分布を０レベルにてマスキングしたものである。すなわち、光学領域Ｄ１を通過した光束によって形成された点像強度分布である。また、右端の列は画素Ｐ１の点像強度分布のみを抽出し、画素Ｐ２、Ｐ３、Ｐ４の点像強度分布を０レベルにてマスキングしたものである。すなわち、サブ光学領域ｄ２Ｂを通過した光束によって形成された点像強度分布である。画素Ｐ３の点像強度分布は被写体距離が変化しても略一定であり、画素Ｐ１の点像強度分布は被写体距離が遠いほど、点像の大きさが小さくなっていることがわかる。
【００７６】
点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図７のような関係になる。図７のグラフにおいて、Ｇ１は画素Ｐ３（緑色の成分）で生成された画像（光学領域Ｄ１を通過した光によって生成された画像）の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、Ｂはそれぞれ画素Ｐ１（緑色の成分）、画素Ｐ４（赤色の成分）、Ｐ２（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。
【００７７】
鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。
【００７８】
所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１）を用いる。
【数１】
2013080552.tif 000003
【００７９】
前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。
【００８０】
（数１）においてΔｘi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の画素の輝度値との差分値であり、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の画素の輝度値との差分値である。座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ３、Ｐ１のそれぞれにおいて得られる画像では、横方向（ｘ方向）、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。
【００８１】
（数１）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。
【００８２】
画像の鮮鋭度は前述の（数１）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。
【００８３】
図８（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図８（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図８（ｄ）から（ｆ）は、図８（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図８（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。
【００８４】
図８（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。
【００８５】
カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図７のようにＧ１の鮮鋭度は、Ｇ２、Ｂ、Ｒの鮮鋭度に比べて小さいので、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。
【００８６】
図９は、Ｇ２、Ｂ、Ｒの鮮鋭度に基づいてＧ１の鮮鋭度を鮮鋭化する方法について説明する図である。図９（ａ）は、被写体である白黒チャートであり、図９（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図９（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ２、Ｐ４に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図９（ｃ）のようになる。図９（ｃ）のグラフにおいて、Ｇ１は画素Ｐ３（緑色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂ、Ｒはそれぞれ画素Ｐ１（緑色の成分）、画素Ｐ２（青色の成分）、画素Ｐ４（赤色の成分）で生成された画像の輝度断面である。このように、Ｇ２、Ｂ、Ｒの輝度断面の方が、Ｇ１の輝度断面より図９（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。
【００８７】
図９（ａ）のような白黒チャートを撮像した場合は、Ｇ２、Ｂ、Ｒのそれぞれの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図９（ｃ）のＧ２、Ｂ、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ２、Ｂ、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ１の輝度断面を鮮鋭化させてもよい。鮮鋭度の検出は、第１の信号処理部Ｃ１内の鮮鋭度検出部において行われる。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図９（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図９（ｄ）の分布を図９（ｃ）のＧ１の輝度分布から減じることにより、図９（ｅ）の分布が得られ、Ｇ１の輝度分布を鮮鋭化することができる。ここで、図９（ｄ）の分布を減じる際、図９（ｄ）の分布に所定の係数を乗じた後に、図９（ｃ）のＧ１の輝度分布から減じることにより、Ｇ１の鮮鋭化の度合いを制御することができる。
【００８８】
本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。
【００８９】
以上のような画像処理により、図７の実線で示したＧ１の鮮鋭度は、破線で示したＧ１’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。
【００９０】
図１０は、図１において光学領域Ｄ１における光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図７の場合と同様に、カラー画像を鮮鋭化することができる。
【００９１】
図１０においては、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。
【００９２】
以上のような画像処理により、図１０に実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。
【００９３】
次に、他の画像鮮鋭化手法について説明する。図１１は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｂ、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図７の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ３（Ｇ１の成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ３（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。
【００９４】
以下に撮影画像を、予め記憶された点像強度分布関数に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２）で表すことができる。
【数２】
2013080552.tif 000004
【００９５】
（数２）の両辺をフーリエ変換すると（数３）のようになる。
【数３】
2013080552.tif 000005
【００９６】
ここで、（数４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。
【数４】
2013080552.tif 000006
【数５】
2013080552.tif 000007
【００９７】
しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。
【数６】
2013080552.tif 000008
【００９８】
（数６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数７）のフィルタにて劣化画像を復元する。
【数７】
2013080552.tif 000009
【００９９】
このような復元フィルタにより、図１１の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。このように、本実施形態によると、点像強度分布関数を用いて、光学領域Ｄ１に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行うことができる。一般的に点像強度分布関数は光学系の撮像位置に応じて変化するため、各撮像位置に対応した点像強度分布関数を用いてもよい。但し、点像強度分布関数が撮像位置にほとんど依存しない光学系の場合には、単一の点像強度分布関数で画像の全領域の復元処理を行うことができる。点像強度分布関数は予めメモリ等に保存しておく必要があるが、単一の点像強度分布を用いることにより、メモリの使用量を低減させることができる。さらに図９で示した方法と同様にして、Ｇ１’の輝度断面（復元された鮮鋭化画像）から、所定領域ごとにそれぞれの鮮鋭度を検出し（鮮鋭度検出部）、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ２、Ｂ、Ｒから減じることにより、Ｇ２、Ｂ、Ｒの鮮鋭度を、図１１の破線で示すＧ２’、Ｂ’、Ｒ’のように向上させることができる。このように、鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させることができる。
【０１００】
以上のような画像処理により、図１１の実線で示したＧ１の鮮鋭度、およびＧ２、Ｂ、Ｒの鮮鋭度は、点線で示したＧ１’および破線で示したＧ２’、Ｂ’、Ｒ’のように向上し、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図７で示した鮮鋭化処理と比べて、被写界深度をさらに拡張することができる。
【０１０１】
次に、具体的に被写体距離を求める方法について説明する。
【０１０２】
図１２は、実施の形態１における撮像装置Ａを示す断面図である。図１２において図１と同じ構成要素には、図１と同じ符号を付している。図１２においてはアレイ状光学素子Ｋ（図１等に示す）の図示は省略しているが、図１２の領域Ｈには、実際には、アレイ状光学素子Ｋが含まれている。領域Ｈは、図４（ａ）に示す構成を有する。
【０１０３】
表１および表２は、図１２に示す撮像装置Ａの光学系の設計データである。表１および表２において、Ｒｉは各面の近軸曲率半径（ｍｍ）、ｄｉは各面の面中心間隔（ｍｍ）、ｎｄはレンズもしくはフィルタのｄ線の屈折率、νｄは各光学素子のｄ線のアッベ数を示している。また、非球面形状は、面頂点の接平面から光軸方向の距離をｘ、光軸からの高さをｈとして、ｒを近軸曲率半径、ｋを円錐定数、Ａm（ｍ＝４，６，８，１０）を第ｍ次の非球面係数としたとき（数８）で表される。また、表３は光学領域Ｄ１、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの分光透過率特性を示す。光学領域Ｄ１とサブ光学領域ｄ２Ｂは同一の分光透過率特性である。
【数８】
2013080552.tif 000010
【０１０４】
【表１】
2013080552.tif 000011
【０１０５】
【表２】
2013080552.tif 000012
【０１０６】
【表３】
2013080552.tif 000013
【０１０７】
図１で示した第１の信号処理部Ｃ１は、画素Ｐ３（Ｇ１の成分）からの輝度情報を抽出して得られる第１の画像Ｉ１（図１に示す）と、画素Ｐ１（Ｇ２の成分）からの輝度情報を抽出して得られる第２の画像Ｉ２とを出力する。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第２の信号処理部Ｃ２（図１に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。
【０１０８】
ここで図７、図１１におけるＺの範囲は、Ｇ２が変化し、かつＧ１がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。
【０１０９】
撮像装置の使用時には、１回の撮像の結果得られるデータのうち、画素Ｐ３（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ１（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。
【０１１０】
画素Ｐ３のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ１のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。
【０１１１】
図７、図１０および図１１においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってもよい。
【０１１２】
なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２における面の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は、第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。
【０１１３】
なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。被写体距離がある一定の範囲内にある場合、第１の画像Ｉ１のコントラストと、第２の画像Ｉ２のコントラストとは、被写体距離と相関関係を有している。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。この場合、第１の信号処理部Ｃ１は、画素Ｐ３によって得られた第１の画像Ｉ１のコントラストと、画素Ｐ１によって得られた第２の画像Ｉ２のコントラストとを検出するコントラスト検出部を備えている。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる（第２の信号処理部Ｃ２）。
【０１１４】
また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。
【０１１５】
前述の（数７）を用いて、画素Ｐ３（Ｇ１の成分）のみで生成された第１の画像Ｉ１を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ１’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ２の成分）のみで生成された第２の画像をｉ２（ｘ，ｙ）とし、光学領域Ｄ２を通過する光線による点像強度分布をｈ２（ｘ，ｙ）とすると、ｉ２（ｘ，ｙ）は（数９）で表すことができる。
【数９】
2013080552.tif 000014
【０１１６】
（数９）の両辺をフーリエ変換すると（数１０）のようになる。
【数１０】
2013080552.tif 000015
【０１１７】
（数１０）を変形すると、（数１１）のように、点像強度分布ｈ２（ｘ，ｙ）の周波数領域の値Ｈ２（ｕ，ｖ）が求められる。
【数１１】
2013080552.tif 000016
【０１１８】
これを逆フーリエ変換することによって、光学領域Ｄ２を通過する光線による点像強度分布ｈ２（ｘ，ｙ）を求めることができる。
【０１１９】
光学領域Ｄ２を通過する光線による点像強度分布ｈ２（ｘ，ｙ）は、被写体距離によって変化するため、被写体距離がある一定の範囲内にある場合、点像強度分布ｈ２（ｘ，ｙ）と被写体距離とは相関を有する。この相関関係を利用して被写体距離を求めることができる。
【０１２０】
点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。
【０１２１】
本実施形態は、図１０のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１および第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１および第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像Ｉ１および第２の画像Ｉ２よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。
【０１２２】
なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。
【０１２３】
また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。
【０１２４】
また、理想レンズでないレンズを用いる場合、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、光学素子Ｌ１の光学領域Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃ）は全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ４、画素Ｐ１、および画素Ｐ２に到達する。画素Ｐ４、画素Ｐ１、および画素Ｐ２には、それぞれ赤色、緑色、および青色の波長成分の光が主に到達するため、レンズＬ２に軸上色収差を有するレンズを適用する場合、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃの各光学面は、それぞれの波長帯域の光の合焦位置が等しくなるように、それぞれの光学面上の光学パワーを異ならせてもよい。このような構成により、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。
【０１２５】
また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。
【０１２６】
また、本実施の形態１では、光学領域Ｄ１とサブ光学領域ｄ２Ｂとの面積を等しくしている。このような構成により、画素Ｐ３と画素Ｐ１の露光時間を等しくすることができる。光学領域Ｄ１とサブ光学領域ｄ２Ｂとの面積が異なる場合には、画素Ｐ３と画素Ｐ１との露光時間を異ならせてもよい。例えば、光学領域Ｄ１の面積のほうがサブ光学領域ｄ２Ｂの面積よりも広い場合には、画素Ｐ３の露光時間を画素Ｐ１の露光時間よりも短くしもてよい。
【０１２７】
以上のように、本実施形態では、単一の撮像系を用いた１回の撮像によって、カラー画像と被写体距離の両方を取得することができる。すなわち、本実施形態にかかる撮像装置を用いて１回撮像することにより、カラー画像出力及び被写体距離測定のための輝度情報を取得することができる。そして、当該輝度情報を用いて、カラー画像及び被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、１回の撮像において、光学領域Ｄ１、Ｄ２（サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃ）に光線が入射するため、撮影時の時間差による画像間のズレは生じない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。
【０１２８】
本実施形態においては、撮像装置は図１３に示すような構成を有していてもよい。図１３は、実施の形態１の他の撮像装置を示す図である。図１３に示す撮像装置においては、第１の信号処理部Ｃ１によって、画素Ｐ３によって得られた第１の画像Ｉ１と、画素Ｐ１によって得られた第２の画像Ｉ２と、画素Ｐ２、Ｐ４によってそれぞれ得られた第３、第４の画像Ｉ３、Ｉ４とが出力される。第２の信号処理部Ｃ２により、第１の画像Ｉ１と第２の画像Ｉ２とにおいて隣接する画素間の輝度値の差（鮮鋭度）によって表される輝度情報を用いて測距演算が実行される。第３の信号処理部Ｃ３により、各波長帯域の画像Ｉ１〜Ｉ４のうち波長帯域の異なる少なくとも２つ以上の画像を合成してカラー画像が生成される。
【０１２９】
図１３に示す構成においては、例えば画像Ｉ２、Ｉ３、Ｉ４を合成することによりカラー画像を形成する。なお、画像Ｉ２の代わりに画像Ｉ１を用いることもできるが、そのままでは、図７に示すように被写体距離に対する鮮鋭度Ｇ１はＧ２、Ｇ３、Ｇ４と異なるため不自然な画像となる。したがって、カラー画像の形成に画像Ｉ１を用いる場合には、図７に示すように画像処理により鮮明な画像に変換しておくとよい。例えば、ラプラシアンフィルタ処理による鮮鋭化処理を用いるとよい。
【０１３０】
また、表１には、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの３つの領域が平面、光学領域Ｄ１が略一定の点像強度分布を生成する非球面を有するとしたが、図１４に示すように、光学領域Ｄ１が平面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの３つの領域が略一定の点像強度分布を生成する光学面を有するとしてもよい。この場合、図２と同じように、光学領域Ｄ１とサブ光学領域ｄ２Ｂとを通過した画像Ｉ１、Ｉ２を用いて被写体までの距離を測定することができる。また、それぞれの画素によって得られた画像を合成してカラー画像を生成することができる。このとき、画像処理により、鮮鋭度の低い画像を鮮鋭化させておくと鮮明なカラー画像が得られる。
【０１３１】
また、図１５に示すように、光学領域Ｄ１とサブ光学領域ｄ２Ｃとが平面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂの２つの領域が、略一定の点像強度分布を生成する光学面を有するとしてもよい。この場合、画像Ｉ４、画像Ｉ２に鮮鋭化処理を施した後カラー画像を形成するとよい。
【０１３２】
（実施の形態２）
本実施の形態２は、マイクロレンズアレイを撮像面上に形成したという点で、実施の形態１と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。
【０１３３】
図１６（ａ）および（ｂ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図である。本実施形態では、マイクロレンズアレイＭｄが、撮像素子Ｎの撮像面Ｎｉ上に形成されている。撮像面Ｎｉには、実施の形態１等と同様に、画素Ｐが行列状に配置されている。これら複数の画素Ｐに対して、１つのマイクロレンズの光学要素が対応している。本実施の形態においても、実施の形態１と同様に、光学素子Ｌ１上の異なる領域を通過した光束を、それぞれ異なる画素に導くことができる。また、図１６（ｂ）は、本実施形態の変形例を示す図である。図１６（ｂ）に示す構成では、撮像面Ｎｉ上に、画素Ｐを覆うようにマイクロレンズＭｓが形成され、マイクロレンズＭｓの表面上にアレイ状光学素子Ｋが積層されている。図１６（ｂ）に示す構成では、図１６（ａ）の構成よりも集光効率を高めることができる。
【０１３４】
（実施の形態３）
本実施の形態３は、光学素子Ｌ１の各光学領域の境界部に遮光部材を配置したという点で、実施の形態１および２と異なる。ここでは、本実施形態において実施の形態１と同様の内容についての詳細な説明は省略する。
【０１３５】
図１７（ａ）は、実施の形態３の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。図１７（ａ）は、実施の形態３の光学領域Ｄ１、Ｄ２の境界部に遮光部材Ｑを配置した正面図である。また、図１７（ｂ）は、実施の形態３の光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃの境界部に遮光部材Ｑを配置した正面図である。
【０１３６】
各領域の境界部では、形状が不連続に変化するため、境界部では段差が生じ、不要な光が発生する場合がある。したがって、各境界部に遮光部材Ｑを配置することにより、不要な光の発生を抑制することができる。遮光部材Ｑとしては、例えば、カーボンブラックを練りこんだポリエステルフィルム等を用いればよい。遮光部材Ｑは絞りと一体的に形成されていてもよい。
【０１３７】
図１７（ｂ）には、線状の遮光部材Ｑを用いることにより、遮光部材Ｑによって区切られる部分の形状が扇形になる形態を示している。本実施形態においては、光を透過させる部分に円形や楕円形、または矩形などの形の開口を有する遮光部材を用いることにより、遮光部材Ｑによって区切られる各部分を、円形や楕円、あるいは矩形にしてもよい。
【０１３８】
（実施の形態４）
図１８は、実施の形態４の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、記憶部Ｍｅを備える。
【０１３９】
レンズ光学系Ｌは、互いに合焦特性を異ならせる光学特性を有する２つの光学領域Ｄ１、Ｄ２を有し、被写体（図示せず）からの光束Ｂ１、Ｂ２が入射する光学素子Ｌ１と、光学素子Ｌ１を通過した光が入射する絞りＳと、絞りＳを通過した光が入射するレンズＬ２とから構成されている。光学素子Ｌ１は、絞りＳの近傍に配置されていてもよい。
【０１４０】
図１９は、光学素子Ｌ１を被写体側から見た正面図である。光学素子Ｌ１における光学領域Ｄ１とＤ２は、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下に２分割されている。図１９において、破線ｓは、絞りＳの位置を示している。図１８において、光束Ｂ１は、光学素子Ｌ１上の光学領域Ｄ１を通過する光束であり、光束Ｂ２は、光学素子Ｌ１上の光学領域Ｄ２を通過する光束である。光束Ｂ１、Ｂ２は、光学素子Ｌ１、絞りＳ、レンズＬ２、アレイ状光学素子Ｋをこの順に通過し、撮像素子Ｎ上の撮像面Ｎｉ（図２１等に示す）に到達する。
【０１４１】
図２０は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に長細い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有する。このように、アレイ状光学素子Ｋは、レンチキュラレンズの構成を有する。
【０１４２】
図１８に示すように、アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。実際には、光学素子Ｌ１における光学特性がレンズ光学系Ｌ全体としての合焦特性に影響を与えるが、アレイ状光学素子Ｋが配置される位置は、例えば、レンズＬ２の焦点を基準にして決定すればよい。なお、本実施形態において、「合焦特性が異なる」とは、その光学系において光の集光に寄与する特性の少なくとも１つが異なることをいい、具体的には、焦点距離、焦点が合う被写体までの距離、鮮鋭度が一定の値以上となる距離範囲などが異なることをいう。光学領域Ｄ１、Ｄ２における曲率半径や非球面係数や屈折率を調整することにより、レンズ光学系Ｌの合焦特性を異なるものとすることができる。
【０１４３】
本実施形態では、２つの光学領域Ｄ１、Ｄ２を通過した光は、レンズＬ２を通過した後、アレイ状光学素子Ｋに入射する。アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を撮像素子Ｎにおける画素Ｐ１（図２１等に示す）に、光学領域Ｄ２を通過した光を撮像素子Ｎにおける画素Ｐ２に入射させる。
【０１４４】
図２１（ａ）は、図１８に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図２１（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１およびＰ２に区別できる。
【０１４５】
画素Ｐ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１は１つおきに配置されている。また、画素Ｐ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ２は１つおきに配置されている。また、画素Ｐ１の行と画素Ｐ２の行は、縦方向（列方向）に交互に配置されている。
【０１４６】
アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１およびＰ２の表面を覆うようにマイクロレンズＭｓが設けられている。
【０１４７】
アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図１８、図１９に示す）を通過した光束Ｂ１（図１８において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束（図１８において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【０１４８】
絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。
【０１４９】
図１８においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。
【０１５０】
また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。
【０１５１】
図２２は、本実施形態の信号処理部の処理内容を説明するフローチャートである。信号処理部はリフォーカス画像を生成する機能を有する。ここで、リフォーカスとは、撮像装置によって得られた画像（撮像画像）を用い、所望の（任意の）被写体距離にある被写体に焦点を合わせた画像を再構成することである。なお、「被写体距離」とは、撮像装置から被写体までの距離のことを言う。リフォーカスを行うことにより、画像において、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態になる。また、リフォーカス画像とは、所望の被写体距離にある被写体の鮮鋭度が、その周囲の領域の鮮鋭度よりも高い状態にある画像である。
【０１５２】
図２２に示すように、まず、ステップＳＴ１において、撮像素子Ｎから得られた画像の輝度情報を求め、必要に応じて画像を鮮鋭化する。ここで、「輝度情報」の具体的な例は、鮮鋭度、コントラストまたは点像強度分布である。なお、図１８に示すように、撮像素子Ｎから得られた画像は、第１の画素Ｐ１による第１の画像Ｉ１と、第２の画素Ｐ２による第２の画像Ｉ２とに分けられる。本ステップＳＴ１においては、これら２つの画像Ｉ１、Ｉ２の輝度情報が求められる。
【０１５３】
次に、ステップＳＴ２において、輝度情報を用い、画像の所定領域ごとに被写体までの距離を算出し、デプスマップを作成する。
【０１５４】
次に、ステップＳＴ３において、焦点を合わせたい位置（ベストフォーカス位置）に基づいて、被写体位置ごとにＰＳＦを生成をする。ベストフォーカス位置は、ユーザーが撮像装置Ａの外部から入力してもよいし、撮像装置Ａ内の第２の信号処理部Ｃ２が決定してもよい。
【０１５５】
最後に、ステップＳＴ４において、鮮鋭化画像にデスプマップを基に決定したＰＳＦを畳み込み、任意の位置のリフォーカス画像を生成する。例えば、ステップＳＴ１からＳＴ３は第２の信号処理部Ｃ２で実施し、ステップＳＴ４は第３の信号処理部Ｃ３で実施する。なお、ステップＳＴ１における画像の鮮鋭化ステップと、ステップＳＴ２、ＳＴ３とは適宜入れ替えてもよい。以下、フローチャートの各項目を具体的に説明する。
【０１５６】
まず、ステップＳＴ１について説明する。なお、以下では、「輝度情報」が鮮鋭度である場合を例として説明を行う。
【０１５７】
図１８の撮像装置Ａの光学系においては、光学領域Ｄ１が平面を有し、光学領域Ｄ２が非球面形状を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。
【０１５８】
光学領域Ｄ１の表面は平面であるため、図２３の実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線によって、球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。
【０１５９】
また、光学領域Ｄ２の非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２３の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。
【０１６０】
点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図２４のような関係になる。図２４のグラフにおいて、Ｇ１は画素Ｐ１によって得られた画像（第１の画像Ｉ１）の所定領域の鮮鋭度を示しており、Ｇ２は画素Ｐ２によって得られた画像（第２の画像Ｉ２）の所定領域の鮮鋭度を示している。
【０１６１】
鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。
【０１６２】
所定の大きさのブロック内における鮮鋭度をＥとし、隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数１２）を用いる。
【数１２】
2013080552.tif 000017
【０１６３】
（数１２）においてΔｘi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋１，ｊ）の座標の画素の輝度値との差分値であり、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値であり、ｋは係数である。Δｙi,jのｙ方向の輝度値が座標ｊおよび座標ｊ＋２を用いて計算されているのは、画素Ｐ１、Ｐ２のそれぞれにおいて得られる画像では、縦方向（ｙ方向）の輝度情報が１画素おきに形成されるためである。Δｙi,jには所定の係数（例えばｋ＝０．５）を乗じることが望ましい。
【０１６４】
第１、第２の画像Ｉ１、Ｉ２のそれぞれでは、ｙ方向の画像の輝度情報は、１画素おきに欠落している。欠落している画素の輝度情報を、ｙ方向に隣接する画素の輝度情報によって補間して生成してもよい。例えば、画像において、座標（ｉ，ｊ＋１）の輝度情報が欠落している場合、座標（ｉ，ｊ）と座標（ｉ，ｊ＋２）の輝度情報を平均して座標（ｉ，ｊ＋１）を補間すればよい。座標（ｉ，ｊ＋１）の鮮鋭度Ｅを（数１）によって求める場合には、ｋ＝１とすればよく、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋１）の座標の画素の輝度値（座標（ｉ，ｊ＋２）の輝度情報によって補間された値）との差分値となる。（数２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。
【０１６５】
画像の鮮鋭度は前述の（数１２）を用いて求めることもできるが、所定の大きさのブロック内における鮮鋭度をフーリエ変換した周波数スペクトルに基づいて求めることもできる。
【０１６６】
図２５（ａ）から（ｃ）は、１６×１６のサイズの画像ブロックの輝度分布を示している。図２５（ａ）、（ｂ）、（ｃ）の順に鮮鋭度が小さくなっている。図２５（ｄ）から（ｆ）は、図２５（ａ）から（ｃ）のそれぞれに示す画像ブロックを２次元でフーリエ変換を行うことによって得られた周波数スペクトルを示す。図２５（ｄ）から（ｆ）では、わかりやすくするために、各周波数スペクトルの強度を対数変換して表示しており、周波数スペクトルが強いほど明るく示されている。各周波数スペクトルにおいて中央の最も輝度の高い箇所が直流成分であり、周辺部に近づくほど周波数が高くなっている。
【０１６７】
図２５（ｄ）から（ｆ）では、画像の鮮鋭度が小さくなるほど高い周波数スペクトルが欠落していくことがわかる。従って、これらの周波数スペクトルから鮮鋭度を求めるには、例えば、周波数スペクトル全体あるいは一部を抽出することによって求めることができる。
【０１６８】
図２６は、Ｇ１の鮮鋭度に基づいてＧ２の鮮鋭度を鮮鋭化する方法について説明する図である。図２６（ａ）は、被写体である白黒チャートであり、図２６（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図２６（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図２６（ｃ）のようになる。図２６（ｃ）のグラフにおいて、Ｇ１は画素Ｐ１で生成された画像の輝度断面であり、Ｇ２は画素Ｐ２で生成された画像の輝度断面である。このように、Ｇ１の輝度断面の方がＧ２の輝度断面より、図２６（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。
【０１６９】
鮮鋭度の高いＧ１の輝度断面を２回微分すると、図２６（ｄ）の分布が得られ、Ｇ１の画像のエッジを検出することができる。次に、図２６（ｄ）の分布を図２６（ｃ）のＧ２の輝度分布から減じることにより、図２６（ｅ）の分布が得られ、Ｇ２の輝度分布を鮮鋭化することができる。ここで、図２６（ｄ）の分布を減じる際、図２６（ｄ）の分布に所定の係数を乗じた後に、図２６（ｃ）のＧ２の輝度分布から減じることにより、Ｇ２の鮮鋭化の度合いを制御することができる。
【０１７０】
本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。
【０１７１】
以上のような画像処理により、図２４の実線で示したＧ２の鮮鋭度は、破線で示したＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。
【０１７２】
図２７は、図１８において光学領域Ｄ２における表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図２４の場合と同様に、画像を鮮鋭化することができる。
【０１７３】
本実施形態では、図２７に示すように、被写体距離によって鮮鋭度の高い成分が異なる。従って、Ｇ１およびＧ２の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高いほうの成分を選択して、他の成分を鮮鋭化させる。
【０１７４】
以上のような画像処理により、図２７の実線で示したＧ１およびＧ２の鮮鋭度は、それぞれ破線で示したＧ１’およびＧ２’のように鮮鋭化させることができ、生成する画像を鮮鋭化させることができる。
【０１７５】
次に、他の画像鮮鋭化手法について説明する。図２８は、Ｇ２の鮮鋭度を鮮鋭化したＧ２’に基づいてＧ１の鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図２４の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。
【０１７６】
以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数１３）で表すことができる。
【数１３】
2013080552.tif 000018
【０１７７】
（数１３）の両辺をフーリエ変換すると（数３）のようになる。
【数３】
2013080552.tif 000019
【０１７８】
ここで、（数１４）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数１５）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。
【数１４】
2013080552.tif 000020
【数１５】
2013080552.tif 000021
【０１７９】
しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数１６）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。
【数１６】
2013080552.tif 000022
【０１８０】
（数１６）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数１７）のフィルタにて劣化画像を復元する。
【数１７】
2013080552.tif 000023
【０１８１】
このような復元フィルタにより、図２８の実線で示すＧ２の鮮鋭度は、点線で示すＧ２’のように鮮鋭化させることができる。さらに図２６で示した方法と同様にして、Ｇ２’の輝度断面を２回微分し、Ｇ１から減じることにより、Ｇ１の鮮鋭度が鮮鋭化され、図２８の破線で示すＧ１’のように鮮鋭化させることができる。
【０１８２】
以上のような画像処理により、図２８の実線で示したＧ２の鮮鋭度、およびＧ１の鮮鋭度は、点線で示したＧ２’および破線で示したＧ１’のように鮮鋭化させることができる。このような鮮鋭化処理によって、図２４で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。
【０１８３】
次に、図２２のステップＳＴ２のデプスマップ作成について具体的に説明する。デプスマップは、撮影画像の所定領域（各演算ブロック）ごとに被写体距離を求めることにより作成する。
【０１８４】
図１８で示した第２の信号処理部Ｃ２は、画素Ｐ１（Ｇ１の成分）を抽出して得られる第１の画像Ｉ１（図１８に示す）と、画素Ｐ２（Ｇ２の成分）を抽出して得られる第２の画像Ｉ２とが入力される。２つの光学領域Ｄ１、Ｄ２の光学特性は互いに異なるため、第１、第２の画像Ｉ１、Ｉ２の画像の鮮鋭度（輝度を用いて算出される値）は、被写体距離によって異なる。記憶部Ｍｅ（図１８に示す）には、光学領域Ｄ１、Ｄ２のそれぞれを通過した光の鮮鋭度と被写体距離との相関関係が記憶されている。第３の信号処理部Ｃ３（図１８に示す）において、第１、第２の画像Ｉ１、Ｉ２の鮮鋭度と上記相関関係とに基づいて、被写体までの距離を得ることができる。
【０１８５】
ここで図２４および図２８におけるＺの範囲は、Ｇ１が変化し、かつＧ２がほとんど変化しない領域を示している。Ｚの範囲では、このような関係を利用して被写体距離を求めることができる。例えば、Ｚの範囲では、被写体距離と、鮮鋭度Ｇ１とＧ２の比に相関があるため、予め被写体距離と、鮮鋭度Ｇ１、Ｇ２の比との相関関係を記憶部Ｍｅに記憶しておく。
【０１８６】
撮像装置の使用時には、１回の撮像の結果得られるデータ（撮像画像）のうち、画素Ｐ１（Ｇ１の成分）のみで生成された第１の画像Ｉ１と画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２との鮮鋭度の比を各演算ブロック毎に求める。そして、記憶部Ｍｅに記憶されている相関関係を利用して、被写体距離を求めることができる。具体的には、各演算ブロック毎に、上記相関関係における鮮鋭度の比と、第１の画像Ｉ１と第２の画像Ｉ２との鮮鋭度の比の値とを比較する。そして、両者が一致する値に対応する被写体距離を、撮影時の被写体までの距離とする。
【０１８７】
画素Ｐ１のみで生成された第１の画像Ｉ１の鮮鋭度と画素Ｐ２のみで生成された第２の画像Ｉ２の鮮鋭度との比から被写体距離を一意的に求めるためには、鮮鋭度の比が、所定の被写体距離範囲内で全て異なっている必要がある。
【０１８８】
図２４、図２７および図２８においては、Ｚの範囲内で、鮮鋭度の比が全て異なっているため、被写体距離を一意的に求めることができる。また、鮮鋭度の値が低すぎると比を求めることができないため、鮮鋭度の値は一定値以上であってもよい。
【０１８９】
なお、被写体距離と鮮鋭度の関係は、光学領域Ｄ１、Ｄ２の曲率半径や非球面係数や屈折率によって決まる。つまり、光学領域Ｄ１、Ｄ２は第１の画像Ｉ１の鮮鋭度と第２の画像Ｉ２の鮮鋭度との比が、所定の距離範囲内で全て異なるような光学特性を有している必要がある。
【０１９０】
なお、本実施形態では、輝度を用いて算出される値（輝度情報）であれば、鮮鋭度以外の値、例えばコントラストを用いて被写体距離を求めてもよい。コントラストは、例えば、所定の演算ブロック内における最大輝度値と最低輝度値の比から求めることができる。鮮鋭度は輝度値の差分であるのに対し、コントラストは輝度値の比である。最大輝度値である一点と最低輝度値である一点との比からコントラストを求めてもよいし、例えば輝度値の上位数点の平均値と、輝度値の下位数点の平均値との比からコントラストを求めてもよい。コントラストを用いて被写体距離を求める場合も、鮮鋭度の場合と同様に、予め被写体距離と、コントラストの比との相関関係を記憶部Ｍｅに記憶させておく。各演算ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２とのコントラストの比を求めることにより、相関関係を利用して被写体距離を求めることができる。
【０１９１】
また、本実施形態では、鮮鋭度やコントラスト以外の値、例えば点像強度分布を用いて被写体距離を求めてもよい。以下に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求める方法について説明する。
【０１９２】
前述の（数１７）を用いて、画素Ｐ２（Ｇ２の成分）のみで生成された第２の画像Ｉ２を復元すると、元画像ｆ（ｘ，ｙ）に極めて近い復元画像ｉ２’（ｘ，ｙ）が求まる。ここで、画素Ｐ１（Ｇ１の成分）のみで生成された第1の画像をｉ１（ｘ，ｙ）とし、領域Ｄ１を通過する光線による点像強度分布をｈ１（ｘ，ｙ）とすると、Ｉ１（ｘ，ｙ）は（数１８）で表すことができる。
【数１８】
2013080552.tif 000024
【０１９３】
（数１８）の両辺をフーリエ変換すると（数１９）のようになる。
【数１９】
2013080552.tif 000025
【０１９４】
（数１９）を変形すると、（数２０）のように、点像強度分布ｈ１（ｘ，ｙ）の周波数領域の値Ｈ１（ｕ，ｖ）が求められる。
【数２０】
2013080552.tif 000026
【０１９５】
これを逆フーリエ変換することによって、領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）を求めることができる。
【０１９６】
領域Ｄ１を通過する光線による点像強度分布ｈ１（ｘ，ｙ）は、被写体距離によって変化するため、点像強度分布ｈ１（ｘ，ｙ）と被写体距離と相関を有する。この相関関係を利用して被写体距離を求めることができる。
【０１９７】
点像強度分布を代表的な数値で表す場合、例えば点像強度分布の直径を用いることができる。鮮鋭度やコントラストの場合と同様に、予め被写体距離と、点像の直径との相関関係を記憶部Ｍｅに記憶させておく。各ブロック毎に第１の画像Ｉ１と第２の画像Ｉ２から点像強度分布を求め、点像強度分布から点像の直径を求めることにより、相関関係を利用して被写体距離を求めることができる。点像の直径は、例えば、点像強度分布の半値幅から求めることができる。
【０１９８】
本実施形態は、図２７のように各領域の曲率半径を互いに異ならせた場合において、第１の画像Ｉ１と第２の画像Ｉ２を加算した画像を生成する構成を備えていてもよい。第１の画像Ｉ１と第２の画像Ｉ２の加算によって生成された画像において鮮鋭度が一定の値以上になる距離範囲は第１の画像および第２の画像よりも大きい。この場合、加算によって生成された画像の鮮鋭度と、第１の画像Ｉ１または第２の画像Ｉ２のいずれかの画像の鮮鋭度との比は、被写体距離と相関関係を有する。この相関関係をあらかじめ記憶しておくことにより、画像の所定領域毎に被写体距離を求めることができる。
【０１９９】
撮影画像の被写体距離を算出し、被写体距離をモノクロの輝度値（たとえば２５６階調）で表すと奥行き情報を表した画像が得られる。これがデプスマップである。図２９（ａ）は本実施の形態の被写体画像（撮像画像）であり、図２９（ｂ）は図２９（ａ）の被写体画像のデプスマップである。２５６階調で表示しており、白ほど手前、黒ほど奥に被写体が存在することを意味する。図２９（ｂ）において、チェック模様の完全な黒箇所は、測距におけるエラー箇所である。被写体画像において、広い均一な輝度値を有する箇所は、その中央付近では鮮鋭度の変化が生じず、測距できないためである。しかし、測距できない箇所であってもリフォーカス画像の生成には影響しない。なぜなら、広い均一な輝度値を有する範囲の中央付近では、リフォーカス計算の有無にかかわらず、画像の鮮鋭度は変化しないためである。デプスマップは必ずしも２５６階調である必要はない。１６ビット（６５５３６階調）の画像でもよいし、必ずしも画像データである必要はなく距離に応じた数値データでもよい。また、負の値を含んでいてもよく、被写体の相対的な位置関係を示せればよい。
【０２００】
次に、図２２のステップＳＴ３のＰＳＦの生成について具体的に説明する。ＰＳＦは、例えば被写体位置（被写体距離）ごとに生成する。さらに、画角（画素または所定の領域）ごとにＰＳＦを生成してもよい。
【０２０１】
ＰＳＦの形状は数式で表すとよい。例えば、（数２１）に示すガウス分布（ガウス関数）である。なぜなら任意の被写体位置のＰＳＦを数式に当てはめて簡単な計算によって逐次得ることができるためであり、事前に膨大な被写体ＰＳＦデータをメモリに保存しておく必要はないためである。
【数２１】
2013080552.tif 000027
ここで、ｉはＰＳＦの横方向の座標、ｊはＰＳＦの縦方向の座標であり、(ｉ，ｊ)＝(０，０)はＰＳＦの中心を表す。また、Ｗｅｉｇｈｔ(ｉ，ｊ)はｉ、ｊにおけるＰＳＦの強度（重み）、ｄは被写体距離でありベストフォーカス位置を原点（ｄ＝０）として表す。ここで、「ベストフォーカス位置」とは、ＰＳＦの強度変化が極大となる被写体の位置（被写体距離）のことを言う。「ＰＳＦの強度変化」が大きい場合、ＰＳＦのピークは鋭く、例えばピークの半値幅は小さい。一方、「ＰＳＦの強度変化」が小さい場合、ＰＳＦのピークは緩やかであり、例えばピークの半値幅は大きい。また、ｋはゲイン調整用の係数でありＰＳＦの強度変化を調整する。σに“０．００１"を加えているが、これは（ｉ，ｊ）＝(０，０)時の発散防止用の定数でありｋ・ｄに対して十分小さい値を設定している。この定数は、必ずしも“０．００１"である必要はなく適宜変更してよい。
【０２０２】
図３０は、（数２１）のガウス分布により求めたＰＳＦ断面強度分布である。ｊ＝０、ｉ＝−５〜５、σ＝１．４としてプロットした。ｉ＝０、ｊ＝０のとき、ＰＳＦの強度が最大となり、左右対称（回転対称）の分布である。ＰＳＦの強度分布は必ずしも回転対称である必要はないが、偏りのない自然なリフォーカス画像を生成するためには、回転対称であることが望ましい。
【０２０３】
ＰＳＦの強度の変化（鋭さ）はｋによって調整する。被写体位置がベストフォーカス位置である場合にＰＳＦは一番鋭く、ベストフォーカス位置から遠ざかるにつれて緩やかになるように設定する必要がある。どの被写体位置をベストフォーカス位置にするかは任意に設定可能である。ベストフォーカス位置は、ユーザが外部から入力してもよいし、第２の信号処理部Ｃ２が決定してもよい。ベストフォーカス位置をユーザが決定する場合には、ユーザが、画像上の領域を選択し、第２の信号処理部Ｃ２が、ユーザが選択した領域の被写体距離を求め、それをベストフォーカス位置としてもよい。または、ユーザが、被写体距離を直接選択してもよい。ベストフォーカス位置を決定したら、その被写体位置を原点とする。
【０２０４】
図３１は被写体位置ｄ２に焦点を合わせた場合のＰＳＦ断面強度分布の変化の概念図である。図３１（ａ）において、被写体位置ｄ２からやや離れた位置である被写体位置ｄ３ではＰＳＦの強度の傾きが被写体位置ｄ２のそれに対し緩やかになる。さらに離れた被写体位置ｄ１ではＰＳＦの強度の傾きはさらに緩やかになる。（数２１）においてｄの原点（＝０）をベストフォーカス位置に設定することで被写体位置がベストフォーカス位置から離れるほどσの絶対値が大きくなりＰＳＦ強度の傾きを緩やかに設定できる。また、（数２１）においてｋの値を大きくすることで、被写体位置に対するＰＳＦの強度分布の変化の度合いを調整することができる。図３１（ｂ）は、ｋの値を図３１（ａ）よりも大きくした場合である。（ｂ）のほうが（ａ）よりも被写体位置に対してＰＳＦの強度分布が急激に変化し、同じ被写体位置ｄ１（またはｄ３）でＰＳＦの強度分布を比較すると、（ｂ）のほうが緩やかな傾きとなる。このようにｋの値を適宜調整し、後述する画像のボケの変化を調整するとよい。また、（数２１）のσの式はｄに対し線形変化するが、線形関数以外に２次関数や多項式等の非線形の関数を用いてもよい。非線形の関数を用いることで、被写体位置ｄに対するＰＳＦの強度変化、つまり、ボケの変化を非線形に調整することができる。
【０２０５】
図３１ではＰＳＦ強度の一断面を示したが、ＰＳＦは奥行き方向にも存在する２次元データである。実際の計算には図３２に示すような強度の２次元マトリクスを用いるとよい。（ｉ，ｊ）＝(０，０)を原点として（数２１）より求めることができる。マトリクスの行数と列数は同じであることが望ましく、それぞれ奇数であることが望ましい。なぜなら、原点をマトリクスの中心に１箇所設定することができ、そこを軸とした回転対称のＰＳＦを形成できるためである。マトリクスの行数・列数は任意であるが、大きくするほどぼかし量を増やすことができる。一方、マトリクスの行数・列数を小さくするほど計算時間を短縮することができる。図３２（ａ）は３×３マトリクス、（ｂ）は５×５マトリクス、（ｃ）は７×７マトリクスのＰＳＦ強度の２次元分布である。図３０同様、σ＝１．４として求めた。マトリクス内の値は、マトリクス全体の積算値が１になるように規格化するとよい。具体的には、（数２１）で数値を算出後、マトリクス内の全成分の積算値を求め、各成分をその積算値で割ることで計算することができる。規格化する理由は、このあとのリフォーカス時の畳み込み後の画像の輝度変化を防ぐためである。ＰＳＦの強度積算値を１に規格化することで、リフォーカスの前画像と後画像で画像の明るさを一定に保つことができる。ＰＳＦデータの規格化はＰＳＦ算出時に実施してもよいし、リフォーカス処理直前に実施してもよい。また、参考に図３３（ａ）に図３２（ｃ）の７×７マトリクスのＰＳＦ強度分布の数値データを２５６階調に表現して画像化したものを示す。同様に、図３３（ｂ）は図３２（ｃ）の３次元グラフである。
【０２０６】
ＰＳＦの計算には、数式を使用せず光学系のもつ実際のＰＳＦ値を用いてもよいが、この場合、被写体距離ごとのＰＳＦをシミュレーションにより一定間隔ずつ予め計算する必要があるため、データベースとして膨大なメモリが必要になる。一方、数式で表現したガウス分布を用いることで任意の被写体位置のＰＳＦをリフォーカス計算時に生成することができ、メモリの節約、計算時間の短縮につながる。また、ガウス分布で表現すると、被写体位置がベストフォーカス位置の際のＰＳＦは、中心が１でまわりは０となり、ベストフォーカス位置の画像を劣化させない。言い換えると、ベストフォーカス位置のＰＳＦの強度変化は、他の被写体位置のＰＳＦの強度変化よりも大きく、ベストフォーカス位置から被写体距離方向に離れるに従って、ＰＳＦの強度変化は小さくなる。
【０２０７】
なお、ＰＳＦを表す数式は、ガウス分布以外の式であってもよい。例えば高次の次数を含む非球面式でもよい。
【０２０８】
次に、図２２のステップＳＴ４のリフォーカス画像の生成について説明する。この処理は、ステップＳＴ２で求められた被写体距離と、ステップＳＴ３で生成されたＰＳＦを用いて行われる。第３の信号処理部Ｃ３で実施する。図２９（ｂ）のデプスマップと対応させながら、鮮鋭化画像の各画素に対し、ＰＳＦの畳み込み処理を施す。例えば、デプスマップのある画素（ｉ，ｊ）＝（ｉ0，ｊ0）における被写体位置が図３１のｄ１であったとすると、鮮鋭化画像の画素（ｉ0，ｊ0）を中心とするマトリクス（＝ＰＳＦと同一の行列数のマトリクス）に対し、該当するｄ１のＰＳＦを用いて畳み込み演算をする。この操作を鮮鋭化画像の全画素に対して実施する。この処理により、鮮鋭化画像はいずれの被写体位置においても画像のボケが少ない状態である画像であるのに対し、リフォーカス画像は所望の箇所のみ焦点を良好に合わし、それ以外をぼかしたメリハリのある画像となる。
【０２０９】
図３４は、図２９（ｂ）のデプスマップをもとに図２９（ａ）の被写体画像をリフォーカスした画像である。ベストフォーカス位置（図３１のｄ２に相当）を手前のみかんとし、ＰＳＦのマトリクスの領域を１５×１５、ｋ＝１として処理した。図２９（ａ）では一様に焦点が合った画像であるが、図３４のリフォーカス画像は手前に焦点が合い、それ以外の背景が遠ざかるにつれてぼけていくのがわかる。なお、図２９（ｂ）において、測距検出エラーとなった箇所は、別途例外処理にてリフォーカス処理を省いてもよい。または、適当な被写体距離の値にてリフォーカスの生成を実施してもよい。なぜなら、輝度値が一定の領域であるため、リフォーカスの実施の有無にかかわらず、鮮鋭度は変化しないためである。
【０２１０】
なお、本実施形態においては、ステップＳＴ１のうち、画像の鮮鋭度（輝度情報）を求める処理のみ行い、画像の鮮鋭化処理を省略してもよい。この場合、センサ（フォトダイオード）から取得された画像（撮像画像）に対し、直接リフォーカス処理を実施してもよい。ここで、センサから取得された画像は、図１８に示す第１、第２の画像Ｉ１、Ｉ２であってもよいし、第１、第２の画素Ｐ１、Ｐ２からの画像を含む画像であってもよい。鮮鋭化処理を省略する場合、図２８においてより鮮鋭度の高いＧ１の画像（第１の画像Ｉ１）を用いるのが好ましい。このような処理は、ボケている箇所をさらに強調してぼかしたい場合に特に有効である。
【０２１１】
また、画像の特定の領域のみにリフォーカス処理を施しても良い。ぼかしたいところのみ処理することで計算時間の短縮になる。
【０２１２】
また、必ずしもＰＳＦを用いる必要は無く、例えばぼかしたい領域のみ平均化フィルタ等の空間フィルタ処理を実施しボケを形成してもよい。また、鮮鋭化したい領域のみ鮮鋭化フィルタ等の空間フィルタ処理を実施し、目的の被写体画像をシャープにしてもよい。これらの場合、図２２に示すフローチャートのステップＳＴ３を行わずに、ステップＳＴ４において、デプスマップに基づいてぼかしたい領域（またはシャープにしたい領域）を決定し、空間フィルタ処理を行えばよい。
【０２１３】
ここで、図２２のステップＳＴ１における鮮鋭化処理を省略した場合の、リフォーカス画像生成方法の一例を説明する。
【０２１４】
ステップＳＴ１において、画像の輝度情報を求めた後、最も鮮鋭度の高い（焦点が合っている）所定の領域を検出する。そして、ステップＳＴ２において作成されたデプスマップに基づき、最も鮮鋭度の高い領域として検出された被写体からの距離に応じて、所定領域毎にぼかし処理を行う。例えば、最も鮮鋭度の高い領域として検出された被写体からの距離が、より近い領域よりも、より遠い領域の方が、ぼかし具合が大きくなるようにぼかし処理を行う。これにより、焦点が合わずにぼけている箇所をさらに強調してぼかすことができる。また、さらに、最も鮮鋭度の高い領域として検出された領域を、復元フィルタや空間フィルタを用いて鮮鋭化してもよい。これにより、撮影画像における鮮鋭領域とボケ領域とをさらに強調することができる。なお、この方法において、復元フィルタを用いて鮮鋭化する場合、使用するＰＳＦ（点像強度分布）としては、関数によって保持されているものであってもよいし、光学系の特性から被写体距離ごとに予め求めておいたものを保持し使用してもよい。また、さらに望ましくは画角ごとのＰＳＦを保持し使用するとよい。より高精度な鮮鋭化が実現するためである。
【０２１５】
また、画像の端部の畳み込みは、元画像の画素が足りないため別途分岐計算処理をしてもよい。例えば、画像端部の一部のケラレに合わせＰＳＦの一部を使用して計算するとよい。
【０２１６】
ＰＳＦの畳み込み演算処理としては、フーリエ変換を用いてもよい。例えば、ＤＦＴ(Discrete Fourier Transform)やＦＦＴ(Fast Fourier Transform)を使用するとよく、計算時間を短縮できる。これは被写体距離が一定の領域（所定の領域）が広い場合に特に有効であり、被写体距離が一定の領域を１つのブロックとして演算する。例えば、演算する画像のブロックサイズと一致したＰＳＦマトリクスを生成し、それぞれをフーリエ変換し、周波数空間上で計算するとよい。畳み込み演算はフーリエ変換すると周波数空間上では各成分間の積で計算できるため計算量が激減する。周波数空間上で積を取ったあとは、それを逆フーリエ変換することで畳み込み演算した結果と同様の画像を取得できる。
【０２１７】
なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１およびＰ２に到達する光束間のクロストークを低減することができる。
【０２１８】
また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。
【０２１９】
また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。
【０２２０】
以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、画像と被写体距離の両方を取得することができる。各演算ブロック毎に被写体距離を算出することができるため、画像の任意の位置の被写体距離を取得することができる。従って、画像全域のデプスマップを取得することもできる。これにより、撮影を行った後に、画像における全ての被写体に焦点を合わせることが可能となる。
【０２２１】
また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。
【０２２２】
（実施の形態５）
本実施の形態５は、ベストフォーカス位置を断続的に複数個所設ける点で、実施の形態４と異なっている。ここでは、本実施形態において実施の形態４と同様の内容についての詳細な説明は省略する。
【０２２３】
本実施形態においては、図３５に示すように、ベストフォーカス位置を２ヶ所もしくは任意の複数個所に設定する。位置ｄ２に加え、位置ｄ４もベストフォーカス位置とした。位置ｄ５は位置ｄ２と位置ｄ４の間に位置するが、位置ｄ２、ｄ４に比べＰＳＦの強度分布は緩やかになっている。「ベストフォーカス位置を断続的に複数箇所設ける」とは、ＰＳＦの強度変化が極大になる点（ベストフォーカス位置）が複数存在し、その複数のベストフォーカス位置の間のＰＳＦの強度変化が、ベストフォーカス位置の強度変化よりも小さいことを言う。なお、複数のベストフォーカスのＰＳＦの強度変化の大きさは、互いに異なっていてもよい。
【０２２４】
ベストフォーカス位置を２ヶ所に設定するには、（数２１）でσを４次関数で表現するとよい。必ずしも４次関数を用いる必要はなく、それ以上の次数、また、指数や対数表現を用いてもよい。図３５に示す方法を用いれば、近傍に１人、遠方に１人の計２人の人物が撮影された画像において、近傍、遠方の両方の人物に焦点を合わし、それ以外の背景をぼかすといったことが可能となる。これは、従来の光学系では実現できない技術である。例えばＦｎｏが非常に小さい一眼レフによるぼかし効果でさえも近傍、遠方もしくはその間のいずれか１箇所の被写体位置のみでしか焦点を合わすことができない。また、任意の２ヶ所に限らず、それ以上の複数個所の物体をベストフォーカスに設定し、それ以外をぼかしてもよい。
【０２２５】
（実施の形態６）
本実施の形態６は、画素に分光透過率特性を有するフィルタを備え付けた点で、実施の形態４と異なっている。ここでは、本実施形態において実施の形態４と同様の内容については説明を省略する。
【０２２６】
図３６は、実施の形態６の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、第１の信号処理部Ｃ１と、記憶部Ｍｅとを備える。
【０２２７】
図３７（ａ）は、図３６に示すアレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図３７（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。
【０２２８】
画素Ｐ１およびＰ２には第１の分光透過率特性を有するフィルタが備えられており、緑色帯域の光線を主に通過し、他の帯域の光線を吸収する。画素Ｐ３には第２の分光透過率特性を有するフィルタが備えられており、赤色帯域の光線を主に通過し、他の帯域の光線を吸収する。また、画素Ｐ４には第３の分光透過率特性を有するフィルタが備えられており、青色帯域の光線を主に通過し、他の帯域の光線を吸収する。
【０２２９】
画素Ｐ１および画素Ｐ３のそれぞれは、同じ行において交互に配置されている。また、画素Ｐ２および画素Ｐ４のそれぞれは、同じ行において交互に配置されている。画素Ｐ１とＰ３の行と画素Ｐ２とＰ４の行とは、縦方向（列方向）に交互に配置されている。このように、それぞれの複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４は、ベイヤー配列を成している。ベイヤー配列で画素Ｐ１、Ｐ２、Ｐ３およびＰ４が配置されている場合には、共に緑色帯域の光を透過するフィルタを有する画素Ｐ１および画素Ｐ２は、撮像面Ｎｉの面内において、斜めの位置に配置されている。画素Ｐ３と画素Ｐ４との位置は逆であってもよい。
【０２３０】
アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１、Ｐ３および１行の画素Ｐ２、Ｐ４からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。
【０２３１】
アレイ状光学素子Ｋは、光学素子Ｌ１上の光学領域Ｄ１（図３６、図１９に示す）を通過した光束Ｂ１（図３６において実線で示される光束Ｂ１）の大部分が、撮像面Ｎｉ上の画素Ｐ１およびＰ３に到達し、光学領域Ｄ２を通過した光束（図３６において破線で示される光束Ｂ２）の大部分が、撮像面Ｎｉ上の画素Ｐ２およびＰ４に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離及び光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。
【０２３２】
絞りＳは全ての画角の光束が通過する領域である。従って、絞りＳの近傍に合焦特性を制御する光学特性を有する面を挿入することにより、全ての画角の光束の合焦特性を同様に制御することができる。すなわち、本実施形態では、光学素子Ｌ１は、絞りＳの近傍に設けられていてもよい。互いに合焦特性を異ならせる光学特性を有する光学領域Ｄ１、Ｄ２を、絞りＳの近傍に配置することによって、領域の分割数に応じた合焦特性を光束に与えることができる。
【０２３３】
図３６においては、光学素子Ｌ１を通過した光が、直接（他の光学部材を介することなく）、絞りＳに入射する位置に設けられている。光学素子Ｌ１は、絞りＳよりも撮像素子Ｎ側に設けられていてもよい。この場合、光学素子Ｌ１は、絞りＳとレンズＬ２との間に設けられており、絞りＳを通過した光が、直接（他の光学部材を介することなく）、光学素子Ｌ１に入射してもよい。
【０２３４】
また、アレイ状光学素子Ｋは、光線の入射角に応じて出射方向を振り分ける機能を有する。そのため、絞りＳの近傍で分割された光学領域Ｄ１、Ｄ２に対応するように、撮像面Ｎｉ上の画素に光束を振り分けることができる。
【０２３５】
第１の信号処理部Ｃ１（図３６に示す）は、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。
【０２３６】
図３６の撮像装置Ａの光学系において、光学領域Ｄ１が平面を有し、光学面領域Ｄ２が非球面形状を有するとする。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。
【０２３７】
光学領域Ｄ１の表面は平面であるため、図２３のグラフに実線で示すように、光学領域Ｄ１とレンズＬ２を通過した光線による球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。
【０２３８】
また、光学領域Ｄ２における非球面形状により、光学領域Ｄ２とレンズＬ２を通過した光線による球面収差は、図２３の破線で示すグラフのようになる。光学領域Ｄ２の非球面形状を調整することで、このような球面収差を与えることができる。このような球面収差により、レンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ２を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。
【０２３９】
点像強度分布の変化に伴い、鮮鋭度も変化する。点像の大きさが小さくなるほど画像の鮮鋭度が増すため、被写体距離と鮮鋭度の関係をグラフで示すと、図３８のような関係になる。図３８のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。
【０２４０】
鮮鋭度は、所定の大きさの画像ブロック内において隣接する画素間の輝度値の差分に基づいて求めることができる。また、所定の大きさの画像ブロックの輝度分布をフーリエ変換した周波数スペクトルに基づいて求めることもできる。
【０２４１】
所定の大きさのブロック内における鮮鋭度をＥとし、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の成分毎に隣接する画素間の輝度値の差分に基づいて求める場合は、例えば（数２２）を用いる。
【数２２】
2013080552.tif 000028
【０２４２】
前述の通り、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４は、ベイヤー配列を成しているため、それぞれの成分の鮮鋭度を求めるには、画像のｘ方向、ｙ方向共に１画素おきの画素情報を抽出して計算する。
【０２４３】
（数２２）においてΔｘi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ＋２，ｊ）の座標の画素の輝度値との差分値であり、Δｙi,jは、所定の大きさの画像ブロック内の座標（ｉ，ｊ）における画素の輝度値と座標（ｉ，ｊ＋２）の座標の画素の輝度値との差分値である。
【０２４４】
（数２２）の計算により、所定の大きさの画像ブロック内の輝度値の差が大きいほど、大きな鮮鋭度が得られる。
【０２４５】
カラー画像を生成する場合、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図３８のようにＧ２、Ｂの鮮鋭度は、Ｇ１、Ｒの鮮鋭度に比べて小さいので、Ｇ１、Ｒの鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。
【０２４６】
図３９は、Ｇ１、Ｒの鮮鋭度に基づいてＧ２、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。図３９（ａ）は、被写体である白黒チャートであり、図３９（ｂ）は、（ａ）の被写体の輝度の断面を示す図である。図３９（ｂ）に示すように、チャートの輝度の断面はステップ状であるが、例えば、チャートを画素Ｐ１、Ｐ３に到達する光線が最も合焦する被写体位置から少しだけ手前にずれた所定の位置に配置して撮像すると、画像の輝度断面は、図３９（ｃ）のようになる。図３９（ｃ）のグラフにおいて、Ｇ１、Ｒはそれぞれ画素Ｐ１（緑色の成分）、Ｐ３（赤色の成分）で生成された画像の輝度断面であり、Ｇ２、Ｂはそれぞれ画素Ｐ２（緑色の成分）、Ｐ４（青色の成分）で生成された画像の輝度断面である。このように、Ｇ１、Ｒの輝度断面の方がＧ２、Ｂの輝度断面より、図３９（ｂ）の実際のチャートの輝度断面に近く、鮮鋭度が高いと言える。
【０２４７】
図３９（ａ）のような白黒チャートを撮像した場合は、Ｇ１の輝度断面とＲの輝度断面はほぼ同じ断面となるが、実際にはあらゆる色成分の被写体画像を撮像するため、図３９（ｃ）のＧ１、Ｒの輝度断面は、一致しない場合が殆どである。従って、Ｇ１、Ｒの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分を選択して、Ｇ２、Ｂの輝度断面を鮮鋭化させてもよい。鮮鋭度の高い輝度断面を選択し、その輝度断面を２回微分すると、図３９（ｄ）の分布が得られ、鮮鋭度の高い色成分の画像のエッジを検出することができる。次に、図３９（ｄ）の分布を図３９（ｃ）のＧ２、Ｂのそれぞれの輝度分布から減じることにより、図３９（ｅ）の分布が得られ、Ｇ２、Ｂの輝度分布を鮮鋭化することができる。ここで、図３９（ｄ）の分布を減じる際、図３９（ｄ）の分布に所定の係数を乗じた後に、図３９（ｃ）のＧ２、Ｂの輝度分布から減じることにより、Ｇ２、Ｂの鮮鋭化の度合いを制御することができる。
【０２４８】
本実施形態では、説明を簡単にするため、画像を鮮鋭化する説明を１次元で行っているが、画像は２次元であるため、実際は２次元で鮮鋭化処理を行う。
【０２４９】
以上のような画像処理により、図３８の実線で示したＧ２、Ｂの鮮鋭度は、破線で示したＧ２’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。
【０２５０】
図４０は、図３６において光学領域Ｄ２の表面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図３８の場合と同様に、カラー画像を鮮鋭化することができる。
【０２５１】
本実施形態では、図４０に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。
【０２５２】
以上のような画像処理により、図４０の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。
【０２５３】
次に、他の画像鮮鋭化手法について説明する。図４１は、Ｇ２、Ｂの鮮鋭度を鮮鋭化したＧ２’、Ｂ’に基づいてＧ１、Ｒの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１、Ｄ２の構成は図３８の場合と同じであり、光学領域Ｄ２を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ２（Ｇ２の成分）、Ｐ４（Ｂの成分）をそれぞれ抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。
【０２５４】
以下に撮影画像を点像強度分布に基づいて復元する方法について説明する。原画像をｆ（ｘ，ｙ）とし、点像強度分布をｈ（ｘ，ｙ）とすると、撮影画像ｇ（ｘ，ｙ）は、（数２３）で表すことができる。
【数２３】
2013080552.tif 000029
【０２５５】
（数２３）の両辺をフーリエ変換すると（数２４）のようになる。
【数２４】
2013080552.tif 000030
【０２５６】
ここで、（数２５）の逆フィルタＨｉｎｖ（ｕ，ｖ）を劣化画像Ｇ（ｕ，ｖ）に適用することによって、（数２６）のように原画像の２次元フーリエ変換Ｆ（ｕ，ｖ）が求まる。これを逆フーリエ変換することによって、原画像ｆ（ｘ，ｙ）を復元画像として得ることができる。
【数２５】
2013080552.tif 000031
【数２６】
2013080552.tif 000032
【０２５７】
しかし、Ｈ（ｕ，ｖ）が０あるいは極めて小さい値となるとＨｉｎｖ（ｕ，ｖ）が発散するため、（数２７）のようなウィーナフィルタＨｗ（ｕ，ｖ）を用いて劣化画像を復元する。
【数２７】
2013080552.tif 000033
【０２５８】
（数２７）においてＮ（ｕ，ｖ）はノイズである。通常はノイズと原画像Ｆ（ｕ，ｖ）は未知であるため、実際には定数ｋを用い（数２８）のフィルタにて劣化画像を復元する。
【数２８】
2013080552.tif 000034
【０２５９】
このような復元フィルタにより、図４１の実線で示すＧ２、Ｂの鮮鋭度は、点線で示すＧ２’、Ｂ’のように鮮鋭化させることができる。さらに図３９で示した方法と同様にして、Ｇ２’、Ｂ’ の輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の高い色成分の輝度断面を２回微分し、Ｇ１、Ｒから減じることにより、Ｇ１、Ｒの鮮鋭度が鮮鋭化され、図４１の破線で示すＧ１’、Ｒ’のように鮮鋭化させることができる。
【０２６０】
以上のような画像処理により、図４１の実線で示したＧ２、Ｂの鮮鋭度、およびＧ１、Ｒの鮮鋭度は、点線で示したＧ２’、Ｂ’および破線で示したＧ１’、Ｒ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図３８で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。
【０２６１】
なお、本実施の形態の撮像装置の光学系は、像側テレセントリック光学系であってもよい。これにより画角が変化しても、アレイ状光学素子Ｋの主光線入射角は、０度に近い値で入射するため、撮像領域全域にわたって、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４に到達する光束間のクロストークを低減することができる。
【０２６２】
また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、前述の通り、鮮鋭度の高い色成分を選択して他の色成分を鮮鋭化させることができるため、理想レンズでなくても、鮮鋭度のカラー画像を生成することができる。また、被写体距離を求める場合は、単一の色成分（本実施の形態では緑色の成分）に基づいて距離を求めるので、軸上色収差を有していてもよい。
【０２６３】
また、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。
【０２６４】
以上のように、本実施形態では、単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができる。被写体距離については、各演算ブロック毎に算出することができるため、カラー画像の任意の画像位置の被写体距離を取得することができる。従って、画像全域の被写体距離マップを取得することもできる。また、単一の撮像系により被写体までの距離を得ることができるため、複数の撮像光学系を用いた撮像装置のように、複数の撮像光学系間の特性や位置を揃える必要がない。また、本実施形態の撮像装置を用いて動画を撮影した場合、時間の経過によって被写体の位置に変化が生じても、被写体までの正確な距離を測定することができる。
【０２６５】
また、リフォーカスは、Ｒ、Ｇ、Ｂ各成分において実施の形態４と同様に実施することができる。具体的には、図２２に示すステップＳＴ１において、ＲＢＧそれぞれについて、輝度情報（鮮鋭度など）を求め、必要に応じて、ＲＢＧのうち鮮鋭度の低い色を鮮鋭化する。次に、ステップＳＴ２において、被写体までの距離を求める。さらに、第１の信号処理部Ｃ１において生成されたカラー画像を用い、デプスマップを生成する。次に、ステップＳＴ３において、ベストフォーカス位置に基づいて、被写体位置ごとにＰＳＦを生成する。このとき、ＲＧＢの３色につき１つのＰＳＦを生成すればよい。ただし、軸上色収差などを考慮し、ＲＧＢそれぞれについてＰＳＦを生成してもよい。次に、ステップＳＴ４において、任意の被写体位置でのカラーでのリフォーカス画像を生成することができる。
【０２６６】
（実施の形態７）
本実施の形態７は、光学素子Ｌ１の領域分割の面積を異ならせた点と、アレイ状光学素子をレンチキュラからマイクロレンズに置き換えた点で、実施の形態６と異なっている。ここでは、本実施形態において実施の形態４から６と同様の内容についての詳細な説明は省略する。
【０２６７】
図４２は、光学素子Ｌ１を被写体側から見た正面図であり、光学素子Ｌ１は、光学領域Ｄ１とＤ２に分割されている。また、光学領域Ｄ２はさらに、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃに分割されている。図４２に示すように、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃは、光軸Ｖを境界中心として、光軸Ｖに垂直な面内で上下左右に４分割されている。光学領域Ｄ１とＤ２は、互いに互いに合焦特性を異ならせる光学特性を有する。
【０２６８】
図４３は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は円弧状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。
【０２６９】
図４４（ａ）は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図４４（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、実施の形態４と同様に、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。
【０２７０】
画素Ｐ１、Ｐ２、Ｐ３、およびＰ４には、実施の形態６と同じ分光透過率特性を有するフィルタがそれぞれ備えられている。
【０２７１】
また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側に向うように配置されている。アレイ状光学素子Ｋは、その光学要素Ｍ２の１つが、撮像面Ｎｉにおける２行２列の画素Ｐ１〜Ｐ４の４つの画素に対応するように配置されている。
【０２７２】
このような構成により、図４２に示す光学素子Ｌ１の光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の大部分は、それぞれ撮像面Ｎｉ上の画素Ｐ１、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。
【０２７３】
実施の形態６と同様に、第１の信号処理部Ｃ１により、複数の画素Ｐ１、Ｐ２、Ｐ３およびＰ４の輝度情報を用いてカラー画像を生成する。以下に、具体的にカラー画像を生成する方法について説明する。
【０２７４】
図４２において、光学領域Ｄ１は非球面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、全て平面を有する。また、説明を簡略化するため、レンズＬ２は収差のない理想レンズであるものとして説明する。
【０２７５】
光学領域Ｄ１の非球面形状により、実施の形態４と同様にレンズ光学系Ｌの焦点近傍の所定の範囲内において、光学領域Ｄ１を通過した光線による点像強度分布を略一定にすることができる。すなわち、所定の被写体距離範囲内において点像強度分布を略一定にすることができる。
【０２７６】
また、光学領域Ｄ２は平面であるため、実施の形態６と同様に球面収差は生じない。球面収差がない場合、焦点からずれるに従って点像強度分布が変化する。すなわち、被写体距離の変化に伴い点像強度分布は変化する。
【０２７７】
実施の形態６と同様に、被写体距離と鮮鋭度の関係をグラフで示すと、図４５のような関係になる。図４５のグラフにおいて、Ｇ１は画素Ｐ１（緑色の成分）で生成された画像の所定領域の鮮鋭度を示しており、Ｇ２、Ｒ、およびＢは、それぞれ画素Ｐ２（緑色の成分）、Ｐ３（赤色の成分）およびＰ４（青色の成分）で生成された画像の所定領域の鮮鋭度を示している。
【０２７８】
カラー画像を生成する場合、実施の形態６と同様に、画素Ｐ１、Ｐ２、Ｐ３、およびＰ４の輝度情報を元に、画素位置毎に欠落した色情報を単に補完してカラー画像を生成してもよいが、図４５のようにＧ１の鮮鋭度は、Ｇ２、Ｒ、およびＢの鮮鋭度に比べて小さいので、図２６で説明した方法と同様に、Ｇ１の鮮鋭度を鮮鋭化した後にカラー画像を生成してもよい。
【０２７９】
以上のような画像処理により、図４５に実線で示したＧ１の鮮鋭度を、破線で示したＧ１’のように高めることができ、生成するカラー画像を鮮鋭化させることができる。
【０２８０】
図４６は、図４５において光学領域Ｄ１の光学面を非球面形状から球面形状に置き換えた場合の被写体距離と鮮鋭度の関係を示すグラフである。このような場合でも図４５の場合と同様に、カラー画像を鮮鋭化することができる。
【０２８１】
本実施形態では、図４６に示すように、被写体距離によって鮮鋭度の高い色の成分が異なる。従って、Ｇ１、Ｇ２、Ｒ、およびＢの輝度断面からそれぞれの鮮鋭度を検出し、鮮鋭度の最も高い色成分を選択して、他の色成分を鮮鋭化させる。
【０２８２】
以上のような画像処理により、図４６の実線で示したＧ１、Ｇ２、Ｒ、およびＢの鮮鋭度は、それぞれ破線で示したＧ１’、Ｇ２’、Ｒ’、およびＢ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。
【０２８３】
次に、他の画像鮮鋭化手法について説明する。図４６は、Ｇ１の鮮鋭度を鮮鋭化したＧ１’に基づいてＧ２、Ｒ、Ｂの鮮鋭度を鮮鋭化する方法について説明する図である。光学領域Ｄ１の構成は図４５の場合と同じであり、光学領域Ｄ１を通過した光線によって形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。従って、画素Ｐ１（Ｇ１の成分）を抽出して形成された点像強度分布は、所定の被写体距離範囲内において略一定となる。所定の被写体距離範囲において点像強度分布が略一定であれば、画素Ｐ１（Ｇ１の成分）を抽出して形成された画像は、被写体距離にかかわらず、所定の点像強度分布に基づいて復元することが可能である。
【０２８４】
実施の形態６で説明した復元フィルタにより、図４７の実線で示すＧ１の鮮鋭度は、点線で示すＧ１’のように鮮鋭化させることができる。さらに図２６で示した方法と同様にして、Ｇ１’の輝度断面を２回微分し、Ｇ２、Ｒ、およびＢから減じることにより、Ｇ２、Ｒ、およびＢの鮮鋭度が鮮鋭化され、図４７の破線で示すＧ２’、Ｒ’、およびＢ’のように鮮鋭化させることができる。
【０２８５】
なお、本実施の形態では光学素子Ｌ１とレンズＬ２は分離しているが、レンズＬ２に光学領域Ｄ１、Ｄ２を設け、光学素子Ｌ１を除去した構成であってもよい。この場合、絞りＳはレンズＬ２の光学領域Ｄ１、Ｄ２の近傍に配置してもよい。
【０２８６】
また、前述の通り本実施の形態では、説明を簡略化するためにレンズＬ２を理想レンズとして説明したが、必ずしも理想レンズを用いなくてもよい。例えば、理想レンズでないレンズは軸上色収差を有しているが、軸上色収差を光学素子Ｌ１で補正する構成であってもよい。本実施の形態では、図４２において、光学素子Ｌ１の光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは全て平面を有するとしているが、それぞれ異なる光学面を有することにより、軸上色収差を補正することができる。前述の通り、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光線はそれぞれ、画素Ｐ２、画素Ｐ３、および画素Ｐ４に到達する。画素Ｐ２、画素Ｐ３、および画素Ｐ４は、それぞれ緑色、赤色、および青色の波長成分を主に通過するフィルタを有しているので、レンズＬ２に軸上色収差を有するレンズを適用する場合、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは、各画素に設けられたフィルタの波長帯域における合焦位置が等しくなるように、それぞれの領域面上の光学パワーを異ならせてもよい。このような構成により、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃが等しい光学パワーを有する場合と比較して、サブ光学領域ｄ２Ａ、ｄ２Ｂおよびｄ２Ｃを透過した光の合焦位置を互いに近づけることができるため、レンズＬ２で生じる軸上色収差を光学素子Ｌ１によって補正することができる。軸上色収差を光学素子Ｌ１によって補正することにより、レンズＬ２を構成するレンズ枚数を削減することができ、光学系を小型化することができる。
【０２８７】
以上のような画像処理により、図４７の実線で示したＧ１の鮮鋭度、およびＧ２、Ｒ、Ｂの鮮鋭度は、点線で示したＧ１’、および破線で示したＧ２’、Ｒ’、Ｂ’のように鮮鋭化させることができ、生成するカラー画像を鮮鋭化させることができる。このような鮮鋭化処理によって、図４５で示した鮮鋭化処理と比べて、被写界深度を拡張することができる。
【０２８８】
本実施の形態では、実施の形態６に対して、鮮鋭度Ｇ１と鮮鋭度Ｇ２の関係が逆転しているだけであって、被写体までの距離を測る方法は同様に実施することができる。また、リフォーカス画像を取得する方法も実施の形態６と同様に実施することができる。
【０２８９】
以上のように、本実施形態では、実施の形態６と同様に単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができるとともに、リフォーカス画像を生成することができる。
【０２９０】
（実施の形態８）
本実施の形態８は、カラーフィルタを絞り近傍に設置し、撮像面上にはカラーフィルタを設置しないという点で、実施の形態７と異なる。ここでは、本実施形態において実施の形態４から７と同様の内容についての詳細な説明は省略する。
【０２９１】
図４８は、実施の形態８の撮像装置Ａを示す模式図である。本実施形態の撮像装置Ａは、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、第２の信号処理部Ｃ２と、第３の信号処理部Ｃ３と、第１の信号処理部Ｃ１と、記憶部Ｍｅを備える。
【０２９２】
実施の形態８では、図４２同様、光学素子Ｌ１の光学領域Ｄ１が非球面を有し、サブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃは全て平面を有するとしている。光学素子Ｌ１の各領域はそれぞれ固有の分光透過率特性を有し、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃが、それぞれ、Ｇ、Ｇ、Ｂ、およびＲの光を透過する特性を有し、それぞれ画素Ｐ１、Ｐ２、Ｐ４、およびＰ３に集光させる。本実施の形態では、画素Ｐ１（緑色の成分）、Ｐ２（緑の成分）、Ｐ３（赤色の成分）、およびＰ４（青色の成分）から得られた画像を用いて鮮鋭化画像を作成するとともに、Ｐ１（緑色の成分）とＰ２（緑色の成分）から得られる画像を用いて被写体距離を測定し、デプスマップを作成する。ＰＳＦデータの作成、リフォーカス方法は実施の形態４から７と同様に実施することができる。
【０２９３】
また、互いに異なる波長帯域の光を透過するフィルタと、合焦特性を異ならせる光学素子Ｌ１とを分離して配置されていてもよい。この場合、当該フィルタや光学素子Ｌ１は、いずれも絞りＳの近傍に配置されていてもよい。また当該フィルタや光学素子Ｌ１を配置する順番は問わない。この場合、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃは、光学素子Ｌ１およびフィルタの両方を含む領域である。この場合、各フィルタは各光学領域の近傍に設定するのが良く、また、絞り近傍に設置するのが良い。また、当該フィルタ及び光学素子Ｌ１のうちいずれか一方が、絞りＳの近傍に配置されたレンズＬ２の光学面上に形成されていてもよい。
【０２９４】
以上のように、本実施の形態では、実施の形態７と同様に単一の撮像系を用いた（例えば１回の）撮像によって、カラー画像と被写体距離の両方を取得することができるとともに、リフォーカス画像を生成することができる。
【０２９５】
（その他の実施形態）
なお、実施の形態１から８は、光学領域における光学面が光学素子Ｌ１における被写体側の面に配置された形態であるが、光学面は光学素子Ｌ１の像側の面に配置されていてもよい。
【０２９６】
また、レンズＬ２は１枚の構成としているが、複数群または複数枚の構成のレンズであってもよい。
【０２９７】
また、複数の光学領域は、絞り近傍に配置したレンズＬ２に形成されていてもよい。
【０２９８】
また、互いに異なる波長帯域の光を透過するフィルタと、合焦特性を異ならせる光学素子Ｌ１とを分離して配置されていてもよい。この場合、当該フィルタや光学素子Ｌ１は、いずれも絞りＳの近傍に配置されていてもよい。また当該フィルタや光学素子Ｌ１を配置する順番は問わない。この場合、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃは、光学素子Ｌ１およびフィルタの両方を含む領域である。また、当該フィルタ及び光学素子Ｌ１のうちいずれか一方が、絞りＳの近傍に配置されたレンズＬ２の光学面上に形成されていてもよい。
【０２９９】
また、光学素子Ｌ１は、絞りの位置に対して被写体側に配置されているが、絞りの位置に対して像側に配置されていてもよい。
【０３００】
また、前述の実施の形態１から８では、レンズ光学系Ｌは像側テレセントリック光学系としているが、像側非テレセントリック光学系であってもよい。図４９（ａ）は、撮像部近傍を拡大して示す図である。図４９（ａ）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示している。図４９（ａ）に示すように、レンズ光学系Ｌが非テレセントリック光学系の場合には、隣接画素に光が漏れてクロストークが発生しやすいが、図４９（ｂ）のようにアレイ状光学素子を画素配列に対してΔだけオフセットさせることにより、クロストークを低減させることができる。前記入射角は像高によって異なるため、前記オフセット量Δは、撮像面への光束の入射角に応じて設定すればよい。
【０３０１】
レンズ光学系Ｌが像側テレセントリック光学系である場合、光学素子Ｌ１の光学領域Ｄ１、Ｄ２における２つの曲率半径がそれぞれ異なるため、それぞれの領域によって得られる画像（第１の画像Ｉ１および第２の画像Ｉ２）の倍率が異なる。ここで、前述のような鮮鋭度の比を画像の領域毎に算出した場合、光軸外では互いに参照する所定領域がずれてしまい、鮮鋭度の比を正しく求めることができない。この場合、第１の画像Ｉ１および第２の画像Ｉ２の倍率が略同一になるように補正して、所定領域の鮮鋭度の比を求めてもよい。これにより、所定領域における鮮鋭度の比を正しく求めることができる。
【０３０２】
実施の形態１から８は、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２、第３の信号処理部Ｃ３および記憶部Ｍｅ（図１８等に示す）を備える撮像装置である。しかし、撮像装置は、これらの信号処理部および記憶部を備えていなくてもよい。その場合、撮像装置の外部のＰＣ等を用いて、第１の信号処理部Ｃ１、第２の信号処理部Ｃ２および第３の信号処理部Ｃ３が行う処理を行えばよい。すなわち、レンズ光学系Ｌ、アレイ状光学素子Ｋおよび撮像素子Ｎを備える撮像装置と、外部の信号処理装置とを備えるシステムによっても実現することができる。この形態における撮像装置によれば、単一の撮像光学系を用いた１回の撮像によって多色画像出力及び被写体距離測定のための輝度情報を取得することができる。また、当該輝度情報を用いて外部の信号処理部が行う処理によって、多色画像及び被写体距離の双方を取得することができる。
【０３０３】
なお、本発明の測距方法においては、必ずしも鮮鋭度と被写体距離との相関関係を用いなくてもよい。例えば、鮮鋭度、コントラスト、もしくは点像の直径と被写体距離との関係を示す式に、得られた鮮鋭度、コントラスト、もしくは点像の直径を代入することにより被写体距離を得てもよい。
【０３０４】
また、本実施の形態３におけるマイクロレンズアレイの各光学要素（マイクロレンズ）は、各光学要素（マイクロレンズ）の光軸に対して回転対称形状であってもよい。以下、光軸に対して回転非対称な形状を有するマイクロレンズと比較して説明する。
【０３０５】
図５０（ａ１）は、光軸に対して回転非対称な形状を有するマイクロレンズアレイを示す斜視図である。このようなマイクロレンズアレイは、アレイの上に四角柱状のレジストを形成して熱処理を行うことによりレジストの角部を丸め、そのレジストを用いてパターニングを行うことにより形成される。図５０（ａ１）に示すマイクロレンズの等高線を図５０（ａ２）に示す。回転非対称な形状を有するマイクロレンズでは、縦横方向（マイクロレンズの底面の四辺と平行な方向）と斜め方向（マイクロレンズの底面の対角線方向）との曲率半径が異なる。
【０３０６】
図５０（ａ３）は、図５０（ａ１）、（ａ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ａ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、このように回転非対称形状のマイクロレンズの場合、隣接の画素に光が漏れてクロストークが発生する。
【０３０７】
図５０（ｂ１）は、光軸に対して回転対称な形状を有するマイクロレンズアレイを示す斜視図である。このような回転対称形状のマイクロレンズは、熱インプリントやＵＶインプリント製法により、ガラス板等の上に形成することができる。
【０３０８】
図５０（ｂ２）に、回転対称形状のマイクロレンズの等高線を示す。回転対称な形状を有するマイクロレンズでは、縦横方向と斜め方向の曲率半径は等しい。
【０３０９】
図５０（ｂ３）は、図５０（ｂ１）、（ｂ２）に示すマイクロレンズを本発明のアレイ状光学素子に適用した場合の、光線追跡シミュレーションの結果を示す図である。図５０（ｂ３）では、アレイ状光学素子Ｋを通過する光のうち１つの光学領域を通過する光束のみを示しているが、図５０（ａ３）のようなクロストークは発生していないことがわかる。このように、マイクロレンズを回転対称形状にすることにより、クロストークを低減させることができるため、測距演算における精度の劣化を抑制することができる。
【０３１０】
また、実施の形態１から８において、画素Ｐ１と画素Ｐ３とは互いに斜め方向に隣接しているが、図５１のように、画素Ｐ１と画素Ｐ３とは、上下方向に隣接していてもよい。
【０３１１】
画素Ｐが、図４、２１等ののいずれの配置を有していても、また、光学素子Ｌ１が、図２、図１４、図１５等のいずれの構成を有していても、画素Ｐ２に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光が入射し、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光が入射する点は同じである。
【０３１２】
より好ましくは、画素Ｐ２に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させ、画素Ｐ４に、光学領域Ｄ１、Ｄ２のうちのいずれか一方を通過した光のみを入射させる。ただし、光学領域Ｄ１およびサブ光学領域ｄ２Ａ、ｄ２Ｂ、およびｄ２Ｃを通過した光束の一部は、撮像面Ｎｉにおける画素以外の領域や、隣の画素などに入射する可能性がある。したがって、本明細書および請求の範囲において、例えば、「画素Ｐ２に光学領域Ｄ１を通過した光のみを入射させる」とは、画素Ｐ２に光学領域Ｄ２からの光が全く入射しないことを意味するのではなく、画素Ｐ２に入射する光の大領域（例えば８０％以上）が光学領域Ｄ１からの光であることを示すものとする。
【産業上の利用可能性】
【０３１３】
本願に開示された撮像装置は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置として有用である。また、自動車の周辺監視用および乗員監視用の測距装置やゲーム、ＰＣ、携帯端末、内視鏡等の３次元情報入力用の測距装置の用途にも応用できる。
【符号の説明】
【０３１４】
Ａ                        撮像装置
Ｌ                        レンズ光学系
Ｌ１                      光学素子
Ｌ２                      レンズ
Ｄ１、Ｄ２                光学領域
ｄ２Ａ、ｄ２Ｂ、ｄ２Ｃ    サブ光学領域
Ｓ                        絞り
Ｋ                        アレイ状光学素子
Ｎ                        撮像素子
Ｎｉ                      撮像面
Ｍｅ                      記憶部
Ｍｓ、Ｍｄ                撮像素子上のマイクロレンズ
Ｍ１                      マイクロレンズの光学要素
Ｐ１、Ｐ２、Ｐ３、Ｐ４    撮像素子上の画素
Ｐｇ                      画素群
Ｃ１、Ｃ２、Ｃ３          第１、第２、第３の信号処理部
Ｑ                        遮光部材
【図１】
2013080552.tif 000035
【図２】
2013080552.tif 000036
【図３】
2013080552.tif 000037
【図４】
2013080552.tif 000038
【図５】
2013080552.tif 000039
【図６】
2013080552.tif 000040
【図７】
2013080552.tif 000041
【図８】
2013080552.tif 000042
【図９】
2013080552.tif 000043
【図１０】
2013080552.tif 000044
【図１１】
2013080552.tif 000045
【図１２】
2013080552.tif 000046
【図１３】
2013080552.tif 000047
【図１４】
2013080552.tif 000048
【図１５】
2013080552.tif 000049
【図１６】
2013080552.tif 000050
【図１７】
2013080552.tif 000051
【図１８】
2013080552.tif 000052
【図１９】
2013080552.tif 000053
【図２０】
2013080552.tif 000054
【図２１】
2013080552.tif 000055
【図２２】
2013080552.tif 000056
【図２３】
2013080552.tif 000057
【図２４】
2013080552.tif 000058
【図２５】
2013080552.tif 000059
【図２６】
2013080552.tif 000060
【図２７】
2013080552.tif 000061
【図２８】
2013080552.tif 000062
【図２９】
2013080552.tif 000063
【図３０】
2013080552.tif 000064
【図３１】
2013080552.tif 000065
【図３２】
2013080552.tif 000066
【図３３】
2013080552.tif 000067
【図３４】
2013080552.tif 000068
【図３５】
2013080552.tif 000069
【図３６】
2013080552.tif 000070
【図３７】
2013080552.tif 000071
【図３８】
2013080552.tif 000072
【図３９】
2013080552.tif 000073
【図４０】
2013080552.tif 000074
【図４１】
2013080552.tif 000075
【図４２】
2013080552.tif 000076
【図４３】
2013080552.tif 000077
【図４４】
2013080552.tif 000078
【図４５】
2013080552.tif 000079
【図４６】
2013080552.tif 000080
【図４７】
2013080552.tif 000081
【図４８】
2013080552.tif 000082
【図４９】
2013080552.tif 000083
【図５０】
2013080552.tif 000084
【図５１】
2013080552.tif 000085
【手続補正書】
【提出日】平成25年5月8日(2013.5.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、
前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える、撮像装置。
【請求項２】
前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、
前記撮像素子は、複数の第４の画素をさらに有し、
前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させる、請求項１に記載の撮像装置。
【請求項３】
前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域である、請求項１または２に記載の撮像装置。
【請求項４】
前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しい、請求項２に記載の撮像装置。
【請求項５】
１回の撮像において、前記第１、第２、第３の領域に光線が入射する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させる、請求項２に記載の撮像装置。
【請求項７】
被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、
前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記第１の信号処理部は、画像における所定領域毎に少なくとも前記複数の第１から第３の画素の輝度情報のうち、１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項９に記載の撮像装置。
【請求項１１】
前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１０に記載の撮像装置。
【請求項１２】
前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
【請求項１３】
前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１２に記載の撮像装置。
【請求項１４】
被写体までの距離を算出する第２の信号処理部をさらに備え、
前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項９に記載の撮像装置。
【請求項１５】
被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１６】
前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１７】
前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１８】
被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１９】
前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、
前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２に記載の撮像装置。
【請求項２０】
前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
前記レンズ光学系は絞りをさらに備え、
前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２０のいずれかに記載の撮像装置。
【請求項２２】
前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、
前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１４から１８のいずれかに記載の撮像装置。
【請求項２３】
前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項２２に記載の撮像装置。
【請求項２４】
前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項２３に記載の撮像装置。
【請求項２５】
前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項２４に記載の撮像装置。
【請求項２６】
前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項２３から２５のいずれかに記載の撮像装置。
【請求項２７】
前記点広がり関数はガウス関数である、請求項２３に記載の撮像装置。
【請求項２８】
前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項２６または２７に記載の撮像装置。
【請求項２９】
前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項２２に記載の撮像装置。
【請求項３０】
前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項２４に記載の撮像装置。
【請求項３１】
前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、
前記第１フィルタは第１の波長帯域の光を透過し、
前記第２フィルタは第１の波長帯域の光を透過し、
前記第３フィルタは第２の波長帯域の光を透過し、
前記第４フィルタは第３の波長帯域の光を透過する、請求項２、４および６のいずれかに記載の撮像装置。
【請求項３２】
前記レンズ光学系は絞りをさらに備え、
前記第１から第４のフィルタは、前記絞り近傍に配置されている、請求項３１に記載の撮像装置。
【請求項３３】
請求項２に記載の撮像装置と、
カラー画像を生成する第１の信号処理装置をさらに備え、
前記第１の信号装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
【請求項３４】
被写体までの距離を算出する第２の信号処理装置をさらに備え、
前記第２の信号処理装置は、前記１回の撮像によって得られた前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項３３に記載の撮像システム。
【請求項３５】
撮像装置と、信号処理装置とを備える撮像システムであって、
前記撮像装置は、
第１の領域および第２の領域を有するレンズ光学系であって、前記第２の領域が、前記第１の領域を通過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有するレンズ光学系と、
前記レンズ光学系を通過した光が入射する複数の第１の画素と複数の第２の画素とを少なくとも有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させるアレイ状光学素子とを備え、
前記信号処理装置は、
前記複数の第１の画素において得られた第１の画像および前記複数の第２の画素において得られた第２の画像の輝度情報を用いて、撮像画像の所定領域ごとに被写体距離を算出する第１の信号処理部と、
前記第１の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第２の信号処理部を備える、撮像システム。
【手続補正書】
【提出日】平成26年8月12日(2014.8.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、
前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える、撮像装置。
【請求項２】
前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、
前記撮像素子は、複数の第４の画素をさらに有し、
前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させる、請求項１に記載の撮像装置。
【請求項３】
前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域である、請求項１または２に記載の撮像装置。
【請求項４】
前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しい、請求項２に記載の撮像装置。
【請求項５】
１回の撮像において、前記第１、第２、第３の領域に光線が入射する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させる、請求項２に記載の撮像装置。
【請求項７】
被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、
前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記第１の信号処理部は、画像における所定領域毎に少なくとも前記複数の第１から第３の画素の輝度情報のうち、１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項９に記載の撮像装置。
【請求項１１】
前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１０に記載の撮像装置。
【請求項１２】
前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
【請求項１３】
前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１２に記載の撮像装置。
【請求項１４】
被写体までの距離を算出する第２の信号処理部をさらに備え、
前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項９に記載の撮像装置。
【請求項１５】
被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１６】
前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１７】
前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１８】
被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１９】
前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、
前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２に記載の撮像装置。
【請求項２０】
前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
前記レンズ光学系は絞りをさらに備え、
前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２０のいずれかに記載の撮像装置。
【請求項２２】
前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、
前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１４から１８のいずれかに記載の撮像装置。
【請求項２３】
前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項２２に記載の撮像装置。
【請求項２４】
前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項２３に記載の撮像装置。
【請求項２５】
前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項２４に記載の撮像装置。
【請求項２６】
前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項２３から２５のいずれかに記載の撮像装置。
【請求項２７】
前記点広がり関数はガウス関数である、請求項２３に記載の撮像装置。
【請求項２８】
前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項２６または２７に記載の撮像装置。
【請求項２９】
前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項２２に記載の撮像装置。
【請求項３０】
前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項２４に記載の撮像装置。
【請求項３１】
前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、
前記第１フィルタは第１の波長帯域の光を透過し、
前記第２フィルタは第１の波長帯域の光を透過し、
前記第３フィルタは第２の波長帯域の光を透過し、
前記第４フィルタは第３の波長帯域の光を透過する、請求項２、４および６のいずれかに記載の撮像装置。
【請求項３２】
前記レンズ光学系は絞りをさらに備え、
前記第１から第４のフィルタは、前記絞り近傍に配置されている、請求項３１に記載の撮像装置。
【請求項３３】
請求項２に記載の撮像装置と、
カラー画像を生成する第１の信号処理装置をさらに備え、
前記第１の信号処理装置は、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
【請求項３４】
被写体までの距離を算出する第２の信号処理装置をさらに備え、
前記第２の信号処理装置は、前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項３３に記載の撮像システム。
【手続補正書】
【提出日】平成26年11月4日(2014.11.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の領域、第２の領域、第３の領域を有するレンズ光学系であって、前記第１の領域が、第１の波長帯域の光を透過し、前記第２の領域が、前記第１の波長帯域の光を透過し、前記第１の領域を透過した光線による合焦特性に対して合焦特性を異ならせる光学特性を有し、前記第３の領域が、前記第１の波長帯域とは異なる第２の波長帯域の光を透過するレンズ光学系と、
前記レンズ光学系を通過した光が入射し、複数の第１、第２、第３の画素を有する撮像素子と、
前記レンズ光学系と前記撮像素子との間に配置され、前記第１の領域を通過した光を前記複数の第１の画素に入射させ、前記第２の領域を通過した光を前記複数の第２の画素に入射させ、前記第３の領域を通過した光を前記複数の第３の画素に入射させるマイクロレンズアレイとを備える、撮像装置。
【請求項２】
前記レンズ光学系は、前記第１、第２の波長帯域とは異なる第３の波長帯域の光を透過する第４の領域をさらに有し、
前記撮像素子は、複数の第４の画素をさらに有し、
前記マイクロレンズアレイは、前記第４の領域を通過した光を前記複数の第４の画素に入射させる、請求項１に記載の撮像装置。
【請求項３】
前記第１、第２、第３の領域は、前記レンズ光学系の光軸を中心として分割された領域である、請求項１または２に記載の撮像装置。
【請求項４】
前記レンズ光学系において、前記第３の領域および前記第４の領域を透過した光線による合焦特性は、前記第１の領域を透過した光線による合焦特性および前記第２の領域を透過した光線による合焦特性のいずれかと等しい、請求項２に記載の撮像装置。
【請求項５】
１回の撮像において、前記第１、第２、第３の領域に光線が入射する、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記第１、第２の領域は緑色帯域の光線を通過させ、前記第３の領域は青色帯域の光線を通過させ、前記第４の領域は赤色帯域の光線を通過させる、請求項２に記載の撮像装置。
【請求項７】
被写体距離がある所定の範囲内にある場合、前記第１の領域に入射した光によって形成される点像強度分布は略一定であり、前記第２の領域に入射した光によって形成される点像強度分布は、被写体までの距離に応じて変化する、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記第１の領域の表面および前記第２の領域の表面は、互いに異なる曲率半径を有する、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記複数の第１および第２の画素は、１回の撮像によって、それぞれ、第１および第２の輝度情報を生成し、
前記第１および第２の輝度情報を用いて、第１の画像および第２の画像を生成する第１の信号処理部をさらに備える、請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記第１の信号処理部は、画像における所定領域毎に少なくとも前記複数の第１から第３の画素の輝度情報のうち、１つ以上の画素成分の鮮鋭度を検出する鮮鋭度検出部を備え、
前記それぞれの鮮鋭度のうち最も高い鮮鋭度の成分に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項９に記載の撮像装置。
【請求項１１】
前記第１の信号処理部は、予め記憶された点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の復元処理を行い、復元された鮮鋭化画像を生成する請求項１０に記載の撮像装置。
【請求項１２】
前記第１の信号処理部は、単一の前記点像強度分布関数を用いて、前記第１の領域に入射した光が到達する画素の輝度情報によって形成される画像の全領域の復元処理を行い、復元された鮮鋭化画像を生成する請求項１１に記載の撮像装置。
【請求項１３】
前記第１の信号処理部は、前記復元された鮮鋭化画像における所定領域毎に鮮鋭度を検出する鮮鋭度検出部を備え、
前記復元された鮮鋭化画像における所定領域毎の鮮鋭度に基づいて他の画素の輝度情報の成分を鮮鋭化させる、請求項１２に記載の撮像装置。
【請求項１４】
被写体までの距離を算出する第２の信号処理部をさらに備え、
前記第２の信号処理部は、前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する、請求項９に記載の撮像装置。
【請求項１５】
被写体距離がある一定の範囲内にある場合、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比の値は、前記被写体までの距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像の鮮鋭度と前記第２の画像の鮮鋭度との比に基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１６】
前記第１の信号処理部は、前記複数の第１の画素において得られた第１の画像のコントラストと前記複数の第２の画素において得られた第２の画像のコントラストを検出するコントラスト検出部を備え、
被写体距離がある一定の範囲内にある場合、前記第１の画像のコントラストと前記第２の画像のコントラストとの比は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記第１の画像のコントラストと、前記第２の画像のコントラストとに基づいて、前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１７】
前記第２の信号処理部は、前記第１の画像と前記第２の画像とを加算した画像の輝度情報と、前記第１の画像または前記第２の画像の輝度情報とを用いて前記被写体までの距離を算出する、請求項１４に記載の撮像装置。
【請求項１８】
前記第１の画像および前記第２の画像を用いて、被写体までの距離を算出する第２の信号処理部をさらに備え、
被写体距離がある一定の範囲内にある場合、前記復元された鮮鋭化画像と前記第２の領域に入射した光によって形成される画像から導出される点像強度分布関数は前記被写体距離と相関関係を有し、
前記第２の信号処理部は、前記相関関係と、前記点像強度分布関数とに基づいて、前記被写体までの距離を算出する、請求項１１に記載の撮像装置。
【請求項１９】
前記第２の領域、前記第３の領域、および前記第４の領域は、互いに異なる光学パワーを有し、
前記第２の領域、前記第３の領域、および前記第４の領域が透過する光の合焦位置が、前記第２の領域、前記第３の領域、および前記第４の領域が互いに等しい光学パワーを有する場合と比較して近い、請求項２に記載の撮像装置。
【請求項２０】
前記第１の領域と前記第２の領域との間の境界部に設けられた遮光部材をさらに備える、請求項１から１９のいずれかに記載の撮像装置。
【請求項２１】
前記レンズ光学系は絞りをさらに備え、
前記第１の領域および前記第２の領域は、前記絞り近傍に配置されている、請求項１から２０のいずれかに記載の撮像装置。
【請求項２２】
前記第２の信号処理部は、画像の所定領域ごとに被写体距離を算出し、
前記第２の信号処理部において算出された前記所定領域ごとの被写体距離を用いてリフォーカスされた画像を生成する第３の信号処理部をさらに備える、請求項１４から１８のいずれかに記載の撮像装置。
【請求項２３】
前記第２の信号処理部は、前記所定領域ごとの被写体距離を用いて、被写体距離ごとの点広がり関数を生成する、請求項２２に記載の撮像装置。
【請求項２４】
前記点広がり関数の強度変化が極大となる被写体距離である少なくとも１つのベストフォーカス位置から被写体距離方向において離れるほど、前記点広がり関数の強度の変化は小さくなる、請求項２３に記載の撮像装置。
【請求項２５】
前記少なくとも１つのベストフォーカス位置は、外部から入力された位置または前記第２の信号処理部によって決定された位置である、請求項２４に記載の撮像装置。
【請求項２６】
前記第３の信号処理部は、前記所定領域ごとの被写体距離と、前記点広がり関数を用いて、前記リフォーカスされた画像を生成する、請求項２３から２５のいずれかに記載の撮像装置。
【請求項２７】
前記点広がり関数はガウス関数である、請求項２３に記載の撮像装置。
【請求項２８】
前記第３の信号処理部は、所定の領域ごとにフーリエ変換を用いて前記点広がり関数の畳み込み演算を行うことにより、前記リフォーカスされた画像を生成する、請求項２６または２７に記載の撮像装置。
【請求項２９】
前記第３の信号処理部は、前記所定領域ごとの被写体距離に基づいて、空間フィルタ処理を行うことにより、前記リフォーカスされた画像を生成する、請求項２２に記載の撮像装置。
【請求項３０】
前記少なくとも１つのベストフォーカス位置は、断続的に複数存在する、請求項２４に記載の撮像装置。
【請求項３１】
前記レンズ光学系の近傍であって、前記第１の領域、前記第２の領域、前記第３の領域および前記第４の領域にそれぞれ配置された第１から第４のフィルタをさらに備え、
前記第１フィルタは第１の波長帯域の光を透過し、
前記第２フィルタは第１の波長帯域の光を透過し、
前記第３フィルタは第２の波長帯域の光を透過し、
前記第４フィルタは第３の波長帯域の光を透過する、請求項２、４および６のいずれかに記載の撮像装置。
【請求項３２】
前記レンズ光学系は絞りをさらに備え、
前記第１から第４のフィルタは、前記絞り近傍に配置されている、請求項３１に記載の撮像装置。
【請求項３３】
請求項２に記載の撮像装置と、
カラー画像を生成する第１の信号処理装置をさらに備え、
前記第１の信号処理装置は、前記複数の第１の画素、前記複数の第２の画素、前記複数の第３の画素、および前記複数の第４の画素の輝度情報を用いて前記カラー画像を生成する、撮像システム。
【請求項３４】
被写体までの距離を算出する第２の信号処理装置をさらに備え、
前記第２の信号処理装置は、前記複数の第１の画素、前記複数の第２の画素の輝度情報を用いて被写体までの距離を算出する、請求項３３に記載の撮像システム。
【国際調査報告】
2013080552.tif 000086
2013080552.tif 000087
2013080552.tif 000088
2013080552.tif 000089