(57)【要約】      （修正有）【課題】撮像素子の前方にアレイ状光学素子を配置した撮像装置において、従来よりも好適な複数の画像を生成する。【解決手段】ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系Ｌと、各々がｎ個の画素からなる複数の画素群を有する撮像素子Ｎと、レンズ光学系Ｌと撮像素子Ｎとの間に位置し、各々がｎ個の光学領域を透過した光を複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させる複数の光学要素が配列されたアレイ状光学素子Ｋと、撮像素子Ｎから出力された各画素の画素信号からｎ個の光学領域をそれぞれ透過した光によって主に形成される画像をそれぞれ示すｎ個の画像情報を生成し、ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、ｎ個の画像情報におけるアレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理とを実行する演算回路Ｃとを備える。【選択図】図１
2015211430.tif 000002
【特許請求の範囲】
【請求項１】
ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、
各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、
前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、
前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像をそれぞれ示すｎ個の画像情報を生成する処理と、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理とを実行するように構成された演算回路と、
を備える撮像装置。
【請求項２】
前記演算回路は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することによって前記ｎ個の画像情報の各々を生成するように構成されている、請求項１に記載の撮像装置。
【請求項３】
前記演算回路は、前記ｎ個の画像情報の各々について、隣接する複数画素の画素値の和、平均値、中央値のいずれかを前記複数画素の代表画素値とする処理を前記画素数減少処理として実行するように構成されている、請求項１または２に記載の撮像装置。
【請求項４】
各要素がＲik（ｉ、ｋは、０≦ｉ≦ｎ、０≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列を構成する係数群を記憶した記憶素子をさらに備え、
前記演算回路は、前記記憶素子から前記係数群を受け取り、前記撮像素子の各画素群から得られるｎ個の画素信号ｘ1、ｘ2・・・、ｘnから、
【数１】
2015211430.tif 000008
で表される演算によって変換後の画素信号ｘ’1、ｘ’2、・・・、ｘ’nを算出する処理を前記クロストーク補正処理として実行するように構成されている、請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記演算回路は、前記画素数減少処理を、前記クロストーク補正処理よりも前に実行するように構成されている、請求項１から４のいずれかに記載の撮像装置。
【請求項６】
前記演算回路は、前記画素数減少処理を、前記クロストーク補正処理よりも後に実行するように構成されている、請求項１から４のいずれかに記載の撮像装置。
【請求項７】
前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、２・ｓ・ｎ≦ｍを満足する、請求項１から６のいずれかに記載の撮像装置。
【請求項８】
前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、４・ｓ・ｎ≦ｍを満足する、請求項１から７のいずれかに記載の撮像装置。
【請求項９】
前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、ｍ≦３６・ｓ・ｎを満足する、請求項１から８のいずれかに記載の撮像装置。
【請求項１０】
前記ｎ個の光学領域の少なくとも１つは、前記透過した光の偏光特性、分光波長特性、および透過率、ならびに、前記レンズ光学系の光軸に垂直な平面上における面積のうちの少なくとも１つが、他の光学領域とは異なるように構成されている、請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記ｎ個の光学領域の少なくとも１つは、前記透過した光の分光波長特性が他の光学領域とは異なるように構成され、
前記演算回路は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することによって生成した前記ｎ個の画像情報の少なくとも一部を用いて画像を生成するように構成されている、請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、
各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、
前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、
前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することにより、前記ｎ個の光学領域をそれぞれ透過した光による画像を示すｎ個の画像情報を生成し、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理を実行するように構成された演算回路であって、前記撮像素子の画素数をｍ、前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、２・ｓ・ｎ≦ｍを満足する演算回路と、
を備える撮像装置。
【請求項１３】
４・ｓ・ｎ≦ｍを満足する、請求項１２に記載の撮像装置。
【請求項１４】
ｍ≦３６・ｓ・ｎを満足する、請求項１２または１３に記載の撮像装置。
【請求項１５】
ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、
各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、
前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、
を備える撮像装置から出力された画像情報を処理するための画像処理プログラムであって、
演算回路に、
前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像を示すｎ個の画像情報を生成する処理と、
前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、
前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理と、
を実行させる画像処理プログラム。
【請求項１６】
前記ｎ個の画像情報を生成する処理は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出する処理を含む、請求項１５に記載の画像処理プログラム。
【請求項１７】
ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、
各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、
前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、
を備える撮像装置から出力された画像情報を処理する演算回路であって、
前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像を示すｎ個の画像情報を生成する処理と、
前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、
前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理と、
を実行するように構成された演算回路。
【請求項１８】
前記ｎ個の画像情報を生成する処理は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出する処理を含む、請求項１７に記載の演算回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、光学条件の異なる複数の画像を同時に取得することができる撮像装置に関する。
【背景技術】
【０００２】
撮影に用いる光の波長帯域、偏光条件、露光条件などが異なる複数の光学条件で、同じ被写体を同時に撮影する撮像装置が求められている。特許文献１は、そのような撮像装置の例を開示している。特許文献１における撮像装置では、光学系の瞳部分が複数の領域に分割され、各領域に光学条件の異なるフィルタが配置される。また、イメージセンサの前方にマイクロレンズアレイやレンチキュラレンズなどのアレイ状光学素子が配置されている。アレイ状光学素子による光線分離作用により、異なる光学領域からの入射光を異なる画素に導き、一度の撮影で複数の光学条件による画像を得ることができる。このような撮像方式を、本明細書において、「瞳分割方式」と称する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５００１４７１号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
瞳分割方式の撮像技術では、複数の光学条件の画像の質をより高めることが求められていた。本開示は、瞳分割方式の撮像装置において、より高画質の画像を取得できる撮像技術を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る撮像装置は、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像をそれぞれ示すｎ個の画像情報を生成する処理と、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理とを実行するように構成された演算回路とを備える。
【０００６】
本開示の他の態様に係る撮像装置は、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することにより、前記ｎ個の光学領域をそれぞれ透過した光による画像を示すｎ個の画像情報を生成し、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理を実行するように構成された演算回路であって、前記撮像素子の画素数をｍ、前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、２・ｓ・ｎ≦ｍを満足する演算回路とを備える。
【０００７】
上述の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体によって実現されていてもよく、システム、方法、集積回路、コンピュータプログラム、および記録媒体の任意の組み合わせによって実現されていてもよい。
【発明の効果】
【０００８】
本開示の撮像装置によれば、複数の所望の光学条件で高画質の複数の画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施の形態１の撮像装置を示す模式図
【図２】実施の形態１における領域分割変更素子の正面図
【図３Ａ】マイクロレンズＭの光線分離作用を説明するための断面図
【図３Ｂ】図３Ａの構成よりも画素サイズを大きくした構成例を示す断面図
【図４】撮像面Ｎｉ上の複数の画素の一部を示す平面図
【図５】実施の形態１における演算回路Ｃによる処理の概要を示すフローチャート
【図６Ａ】画像情報Ｑ0から、偶数行偶数列の画素ｂ１のデータのみを抽出した画像情報Ｑ1を示す図
【図６Ｂ】画像情報Ｑ0から、偶数行奇数列の画素ｂ２のデータのみを抽出した画像情報Ｑ2を示す図
【図６Ｃ】画像情報Ｑ0から、奇数行奇数列の画素ｂ３のデータのみを抽出した画像情報Ｑ3を示す図
【図６Ｄ】画像情報Ｑ0から、奇数行偶数列の画素ｂ４のデータのみを抽出した画像情報Ｑ4を示す図
【図７Ａ】画像情報Ｑ１から１６画素混合演算を行うことによって画像情報Ｒ1を生成する処理を示す図
【図７Ｂ】画像情報Ｑ２から１６画素混合演算を行うことによって画像情報Ｒ2を生成する処理を示す図
【図７Ｃ】画像情報Ｑ３から１６画素混合演算を行うことによって画像情報Ｒ3を生成する処理を示す図
【図７Ｄ】画像情報Ｑ４から１６画素混合演算を行うことによって画像情報Ｒ4を生成する処理を示す図
【図８】クロストークを説明するための模式図
【図９】１つのマイクロレンズに対して３×３の画素が対応する場合のレンズ光学系の構成例を示す図
【発明を実施するための形態】
【００１０】
特許文献１に開示されているようなアレイ状光学素子による光線分離作用を用いた瞳分割の光学系が所望の機能を発揮するためには、光学素子による光線分離が確実に行われる必要がある。設計上想定した画素とは異なる画素への光線の漏れ込み（クロストーク）が生じると、瞳に設けられた各光学フィルタの設計通りの光学条件で画像を取得することが困難となり、所望の光学条件による高い画質の画像を得ることが困難になる。
【００１１】
このようなクロストークは、撮像装置がより小型で、撮像素子（イメージセンサ）の画素ピッチが小さく、光の振る舞いが幾何光学的な振る舞いから外れて、回折的な振る舞いが増えるにつれて増大する。
【００１２】
クロストークを抑制するためには、瞳部を複数の光学領域に分割する際、複数の光学領域の境界部に遮光領域を設け、分割した光学領域の境界近傍の光線を意図しない画素へ入射させないようにする対応策が考えられる。しかし、このようにすると、画素に入射する光量が減少し、撮像装置の感度が低下する可能性がある。
【００１３】
また、瞳分割方式の光学系において、瞳の面積があまりにも小さいと、光学系の位置ずれの影響が大きくなり、クロストークの増大を招くため、システムとして成立しなくなる恐れがある。センシング用途では、比較的広角のレンズを用いることが有効であるが、レンズを広角にすると焦点距離を短く設計することになるため、イメージサイズおよび光学系の口径比が同一とすると、光学系の口径もそれに伴い小さくなる。
【００１４】
一方で、光線の入射角度に応じて異なる受光領域に光を導くように光線分離素子を配置する場合、クロストークの発生をなるべく抑制するためには、各光電変換領域（以下、「画素」と称することもある。）の中央部に入射する光線の角度差をなるべく大きくするように光線分離素子のレンズを設計しなければならない。この角度差が同一の場合、撮像素子の各画素のサイズが大きくなるほど、光線分離素子とイメージセンサの受光面との間隔を広げなければならない。光線分離素子をイメージセンサに一体化して形成する場合、光線分離素子と受光面との間隔が広いと、光線分離素子と受光面との間を厚く形成するプロセスが必要となる。このため、プロセスが安定しないなどの製造上の課題が発生し得る。
【００１５】
また、光学系の瞳部分が複数の領域に分割された構成において、各領域に狭帯域の波長フィルタや偏光フィルタを配置して撮影する場合、被写体や照明の条件によっては、瞳の各領域を透過する光の量に大きな差が生じ得る。少ない光量で形成された画像の信号は、相対的にＳ／Ｎ比が低くなるため、上記構成において取得される複数の画像は、各領域の透過光量に応じてＳ／Ｎ比に差が生じ得る。
【００１６】
前述のアレイ状光学素子によるクロストークは、事前にクロストークの量が既知であれば、各画素で取得された光強度を示すデータ（以下、「画素信号」または「光電変換信号」と称することがある。）に対して補正演算を行うことにより、その影響を抑制することができる。各画素で取得された光強度を示すデータに、クロストークによる光の混合を表す行列を用いた演算を行うことにより、瞳の各領域を透過した光の強度を示す情報に変換することが可能である。しかしながら、この演算は、演算で用いる各画素の出力値がノイズを含んでいないか、同じノイズを含んでいる場合でなければ正確な結果をもたらさない。即ち、取得された複数の画素信号のノイズレベルに大きな差があると、クロストーク補正演算を行ったときにノイズ成分を増加させる恐れがあるという課題がある。
【００１７】
本願発明者は、瞳分割方式におけるこれらの課題を見出し、鋭意検討した結果、本開示の技術を完成させた。本開示は、撮像素子の近傍に光線分離機能を有するアレイ状光学素子を配置した瞳分割方式のセンシング撮像光学系において、比較的広角の系でもクロストークの発生を抑制するための技術を提供する。さらには、クロストーク補正演算によるノイズの増加を抑制する画像処理技術およびこれを実装した撮像装置を提供する。
【００１８】
本開示の実施形態によれば、瞳分割方式のセンシング撮像光学系のノイズを良好に低減できるため、計測用として好適なカメラを提供できる。また、アレイ状光学素子に起因するクロストークを好適に補正できるため、撮像素子の微細化に伴うクロストークの増大という、この撮像方式固有の課題を解決することが可能となる。
【００１９】
以下、本開示の実施形態の概要を説明する。
【００２０】
本開示の一態様に係る撮像装置は、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像をそれぞれ示すｎ個の画像情報を生成する処理と、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理とを実行するように構成された演算回路とを備える。
【００２１】
ある実施形態において、前記演算回路は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することによって前記ｎ個の画像情報の各々を生成するように構成されている。
【００２２】
ある実施形態において、前記演算回路は、前記ｎ個の画像情報の各々について、隣接する複数画素の画素値の和、平均値、中央値のいずれかを前記複数画素の代表画素値とする処理を前記画素数減少処理として実行するように構成されている。
【００２３】
ある実施形態において、各要素がＲik（ｉ、ｋは、０≦ｉ≦ｎ、０≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列を構成する係数群を記憶した記憶素子をさらに備え、前記演算回路は、前記記憶素子から前記係数群を受け取り、前記撮像素子の各画素群から得られるｎ個の画素信号ｘ1、ｘ2・・・、ｘnから、
【数１】
2015211430.tif 000003
で表される演算によって変換後の画素信号ｘ’1、ｘ’2、・・・、ｘ’nを算出する処理を前記クロストーク補正処理として実行するように構成されている。
【００２４】
ある実施形態において、前記演算回路は、前記画素数減少処理を、前記クロストーク補正処理よりも前に実行するように構成されている。
【００２５】
ある実施形態において、前記演算回路は、前記画素数減少処理を、前記クロストーク補正処理よりも後に実行するように構成されている。
【００２６】
ある実施形態において、前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、２・ｓ・ｎ≦ｍを満足する。
【００２７】
ある実施形態において、前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、４・ｓ・ｎ≦ｍを満足する。
【００２８】
ある実施形態において、前記撮像素子の画素数をｍ、前記演算回路が前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、ｍ≦３６・ｓ・ｎを満足する。
【００２９】
ある実施形態において、前記ｎ個の光学領域の少なくとも１つは、前記透過した光の偏光特性、分光波長特性、および透過率、ならびに、前記レンズ光学系の光軸に垂直な平面上における面積のうちの少なくとも１つが、他の光学領域とは異なるように構成されている。
【００３０】
ある実施形態において、前記ｎ個の光学領域の少なくとも１つは、前記透過した光の分光波長特性が他の光学領域とは異なるように構成され、前記演算回路は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することによって生成した前記ｎ個の画像情報の少なくとも一部を用いて画像を生成するように構成されている。
【００３１】
本開示の他の態様に係る撮像装置は、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することにより、前記ｎ個の光学領域をそれぞれ透過した光による画像を示すｎ個の画像情報を生成し、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理を実行するように構成された演算回路であって、前記撮像素子の画素数をｍ、前記画素数減少処理を行った後の各画像情報の画素数をｓとするとき、２・ｓ・ｎ≦ｍを満足する演算回路とを備える。
【００３２】
ある実施形態において、４・ｓ・ｎ≦ｍを満足する。
【００３３】
ある実施形態において、ｍ≦３６・ｓ・ｎを満足する。
【００３４】
本開示のさらに他の態様に係る画像処理プログラムは、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、を備える撮像装置から出力された画像情報を処理するための画像処理プログラムであって、演算回路に、前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像を示すｎ個の画像情報を生成する処理と、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理と、を実行させる。
【００３５】
ある実施形態において、前記ｎ個の画像情報を生成する処理は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出する処理を含む。
【００３６】
本開示のさらに他の態様に係る演算回路は、ｎ個（ｎは２以上の整数）の光学領域を有するレンズ光学系と、各々がｎ個の画素からなる複数の画素群を有し、各画素に入射した光を光電変換によって画素信号に変換して出力する撮像素子と、前記レンズ光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素は、前記ｎ個の光学領域を透過した光を、前記複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように構成されているアレイ状光学素子と、を備える撮像装置から出力された画像情報を処理する演算回路であって、前記撮像素子から出力された各画素の画素信号から、前記ｎ個の光学領域をそれぞれ透過した光によって主に形成される画像を示すｎ個の画像情報を生成する処理と、前記ｎ個の画像情報の各々の画素数を減少させる画素数減少処理と、前記ｎ個の画像情報における前記アレイ状光学素子によるクロストークの影響を低減させるクロストーク補正処理と、を実行するように構成されている。
【００３７】
ある実施形態において、前記ｎ個の画像情報を生成する処理は、前記複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出する処理を含む。
【００３８】
以下、本開示のより具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００３９】
（実施の形態１）
図１は、実施の形態１に係る撮像装置を示す模式図である。本実施の形態の撮像装置Ａは、光軸Ｖ０を有するレンズ光学系Ｌと、レンズ光学系Ｌの焦点位置近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、演算回路Ｃと、記憶素子Ｐとを備える。
【００４０】
レンズ光学系Ｌは、絞りＳと、絞りＳを透過した光を撮像素子Ｎの撮像面Ｎｉ上に結像する対物レンズＬ１とを有する。レンズ光学系Ｌは、光軸Ｖ０にほぼ垂直に配置された４個の光学領域を絞りＳの近傍に有する。対物レンズＬ１は、図１では単一のレンズとして描かれているが、複数のレンズの組み合わせであってもよい。絞りＳの近傍には、領域ごとに偏光特性の異なる領域分割偏光素子Ｓｐが配置されている。
【００４１】
本実施形態におけるアレイ状光学素子Ｋは、複数のマイクロレンズを縦横に配列したマイクロレンズアレイである。各マイクロレンズは、撮像素子Ｎの撮像面Ｎｉ上に形成されている複数の画素のうち、縦方向および横方向のそれぞれ２画素分に相当する周期でそれらの画素群に対向して配置されている。即ち、一つのマイクロレンズＭに対して、縦横それぞれ２画素からなる合計４画素の画素群が対応するように、アレイ状光学素子Ｋが配置されている。アレイ状光学素子Ｋと撮像面Ｎｉとの間には、集光用のマイクロレンズアレイが形成されている。集光用のマイクロレンズアレイを構成する各マイクロレンズは、撮像素子Ｎの１つの画素に対向するように配置され、その画素に光を集束させる。撮像素子Ｎの画素数は特定のものに限定されないが、本実施形態では、一例として、縦１０８０画素、横１９２０画素とする。
【００４２】
図２は、領域分割偏光素子Ｓｐの正面図である。偏光素子Ｓｐは、光軸Ｖ０を中心にＤ1〜Ｄ4の４つの光学領域に分割されている。４つの光学領域Ｄ1〜Ｄ4は、透過光の偏光方向が互いに異なるように、偏光透過軸の方向がすべて異なっている。光学領域Ｄ1〜Ｄ4の境界部には遮蔽部Ｄmが設けられている。境界部近傍を透過した光はクロストークの発生要因となるため、この部分への入射光を遮蔽するため、本実施形態では遮蔽部Ｄmが設けられている。
【００４３】
図１に示される光束Ｂ1、Ｂ4は、それぞれ光学領域Ｄ1、Ｄ4を透過した光束である。図１には示されていないが、光学領域Ｄ2、Ｄ3をそれぞれ透過した光束Ｂ2、Ｂ3も存在する。光束Ｂ1〜Ｂ4は、絞りＳ、領域分割偏光素子Ｓｐ、対物レンズＬ１、マイクロレンズアレイＫをこの順に透過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。
【００４４】
図３Ａは、マイクロレンズＭの光線分離作用を説明するための断面図である。図３Ｂは、図３Ａの構成よりも画素サイズを大きくした構成例を示す断面図である。図３Ａに示すように、マイクロレンズＭは、光線の入射角に応じて光線の射出方向を振り分ける光線分離機能を有する。この断面図において、集光される光のうち、図３Ａの上半分の角度の方向からの入射光（実線）と、下半分の角度の方向からの入射光（破線）とは、それぞれ異なる方向に導かれ、各画素の直前に設けられた集光用マイクロレンズＭｓによって別の画素に導かれ、光電変換される。本実施形態では、集光用マイクロレンズＭｓの集光効果を十分に発揮させるため、中間層Ｍｍを設けているが、中間層Ｍｍはなくてもよい。
【００４５】
図４は、撮像面Ｎｉ上の複数の画素の一部を示す平面図である。アレイ状光学素子Ｋを構成する複数のマイクロレンズＭの光線分離作用により、光学領域Ｄ1を透過した光線Ｂ1の大部分は撮像面Ｎｉ上の偶数行偶数列の画素ｂ１に、光学領域Ｄ2を透過した光線Ｂ2の大部分は撮像面Ｎｉ上の偶数行奇数列の画素ｂ２に、光学領域Ｄ3を透過した光線Ｂ3の大部分は撮像面Ｎｉ上の奇数行奇数列の画素ｂ３に、光学領域Ｄ4を透過した光線Ｂ4の大部分は撮像面Ｎｉ上の奇数行偶数列の画素ｂ４に入射する。このような光線分離作用は、アレイ状光学素子Ｋを構成する各マイクロレンズＭの曲率半径および屈折率、ならびに各マイクロレンズＭと撮像素子Ｎ内に設けられた集光用マイクロレンズＭｓとの間隔Ｔｓなどの設計条件を適宜調節することで実現できる。
【００４６】
ここで、図３Ａに示すマイクロレンズＭと集光用マイクロレンズＭｓとの間隔Ｔｓは、画素の大きさが大きくなるほど広くする必要がある。図３Ｂに示すように、画素サイズが大きい場合のアレイ状光学素子Ｋと集光用マイクロレンズＭｓとの間隔Ｔｂは、図３Ａにおける間隔Ｔｓよりも大きい。このように画素の大きさを大きくすると、低ノイズの画像を取得できるため、高精細な画像が必要ない用途では、画素の大きさを大きくすることが本来好ましい。しかし、この間隔を大きくすると、マイクロレンズアレイＫと撮像面Ｎｉとの間で割れが発生するなど、プロセス上の問題が生じ易くなる。したがって、図３Ａに示すように、画素サイズを小さくした方が、光線分離角が同じでも、マイクロレンズアレイＫと撮像面Ｎｉとの間隔をより短くできるため、製造上好都合である。
【００４７】
ここで、撮像素子Ｎの総画素数を一定として、個々の画素サイズを小さくすると、撮像素子Ｎのサイズを小さくすることになる。そのようなサイズの小さい撮像素子Ｎを使用する場合、撮像光学系によって形成されるイメージのサイズも小さくすることになる。撮像光学系の画角が同じであれば、イメージサイズの縮小に伴い、焦点距離が短くなる。本実施形態のような瞳部を複数の領域に分割する撮像装置においては、絞り部に十分な開口面積が必要である。開口が狭くなると、領域Ｄ1〜Ｄ4の境界部に設けられる遮蔽部Ｄmが占める面積の割合が相対的に大きくなり、開口面積の縮小比率以上に領域Ｄ1〜Ｄ4の開口面積が狭くなってしまう。開口面積が小さくなることは、言うまでも無く撮影光量の低下を招くため、カメラの撮影感度の点で不利になってしまう。また、特に比較的広い画角（おおむね半画角３５度以上）のレンズを使用する場合、画角の狭い望遠系のレンズを使用する場合よりも光学系の焦点距離が短いため、上述の影響がより顕著に現れる。
【００４８】
したがって、センシング用途に広く用いられるような比較的広角の撮像光学系において、絞り部の十分な面積の確保と、アレイ状光学素子Ｋを撮像素子Ｎ上に一体的に製造する際の生産性の両立を図る必要がある。これを実現するために、本願発明者は、実際のセンシング用途で必要な画素数よりも多くの画素数を有する比較的高精細な撮像素子Ｎを用い、画像データの取得後に必要十分な画素数にまで画像サイズを縮小する画像処理を施すことが有効であることを見出した。
【００４９】
以下、この知見に基づく画像処理を具体的に説明する。
【００５０】
まず、撮像素子Ｎは、各画素に入射した光を光電変換によって電気信号に変換して出力する。より具体的には、各画素から出力される電気信号（画素信号または光電変換信号）から画像情報Ｑ0を生成し、演算回路Ｃに伝送する。図４に示すように、画像情報Ｑ0は、光学領域Ｄ1を透過した光束Ｂ１が入射した画素ｂ１の画素値と光学領域Ｄ2を透過した光束Ｂ2が入射した画素ｂ２の画素値とを横方向に周期的に配列し、光学領域Ｄ3を透過した光束Ｂ3が入射した画素ｂ３の画素値と光学領域Ｄ4を透過した光束Ｂ４が入射した画素ｂ４の画素値とを縦方向に周期的に配列した画像を示す情報である。この画像情報Ｑ0は、演算回路Ｃに送られ、そこで各光学領域に対応する画像が生成される。
【００５１】
図５は、本実施の形態における演算回路Ｃによる処理の概要を示すフローチャートである。演算回路Ｃは、まず、画像情報Ｑ0から、４つの光学領域をそれぞれ透過した光によって主に形成される画像をそれぞれ示す４個の画像情報を生成する処理（以下、「画像再配列処理」と称することがある。）を実行する（ステップＳ１０１）。演算回路Ｃは、アレイ状光学素子Ｋを構成する個々の光学要素（マイクロレンズＭ）の中心からの相対位置が共通する複数の画素の画素信号を抽出することにより、光学領域Ｄ1〜Ｄ4にそれぞれ対応する４つの画像情報を生成する。すなわち、図４に示す４画素からなる各画素群において、右下、左下、左上、右上のそれぞれの位置にある画素成分のみを抽出することにより、４つの画像情報を生成する。より具体的には、図６Ａ〜６Ｄに示すように、画像情報Ｑ0から、偶数行偶数列の画素ｂ１のデータのみを抽出した画像情報Ｑ1と、偶数行奇数列の画素ｂ２のデータのみを抽出した画像情報Ｑ2と、奇数行奇数列の画素ｂ３のデータのみを抽出した画像情報Ｑ3と、奇数行偶数列の画素ｂ４のデータのみを抽出した画像情報Ｑ4とを生成する。この処理によって取得された画像情報Ｑ1〜Ｑ4は、それぞれ、光学領域Ｄ1〜Ｄ4を主に透過した光線によって形成された画像を示す。
【００５２】
演算回路Ｃは、このようにして生成した画像情報Ｑ1〜Ｑ4から、画素数を減少させた４つの画像情報を生成する処理（以下、「画素数減少処理」と称することがある。）を実行する（ステップＳ１０２）。本実施形態では、画素数減少処理の一例として、画像情報Ｑ1〜Ｑ4の各々について１６画素混合演算を行うことによって画像Ｒ1〜Ｒ4を生成する場合を想定する。
【００５３】
図７Ａ〜７Ｄは、本実施形態における１６画素混合演算を説明するための図である。図７Ａに示すように、演算回路Ｃは、画像情報Ｑ1を、縦４画素、横４画素の１６画素からなるグループごとに区切り、各グループ内の１６画素の画素値の平均値を算出し、その値を画像情報Ｒ1における画素値とする。図７Ｂ〜７Ｄに示すように、画像情報Ｑ2〜Ｑ4についても、同様の演算を行い、画像情報Ｒ2〜Ｒ4をそれぞれ生成する。このように、演算回路Ｃは、１６画素の混合演算により、画素数を減少させる。
【００５４】
このような画素混合演算により、元の画像情報Ｑ1〜Ｑ4がノイズを含んでいた場合であっても、ノイズが低減された画像情報Ｒ1〜Ｒ4を生成することができる。例えば、元の画像情報Ｑ1〜Ｑ4がランダムノイズを含んでいた場合、１６画素の混合演算により、ノイズは１／４に低減されることが期待できる。
【００５５】
上記の処理によって生成される画像情報Ｒ1〜Ｒ4のサイズ（画素数）は、元の画像情報Ｑ1〜Ｑ4の１／１６である。撮像素子Ｎの画素数をｍ、出力される画像情報Ｒ1〜Ｒ4のサイズをｓ、１つのマイクロレンズに対応する画素の数（光学領域の数と同数）をｎとすると、本実施形態ではｍ＝１９２０×１０８０、ｓ＝１３５×２４０、ｎ＝４であるため、以下の関係式（１）が成立する。
１６・ｓ・ｎ＝ｍ    （１）
【００５６】
この関係式は一例であり、画素数の減少率（圧縮率）が変われば、この関係式も異なる。例えば、２画素以上の画素を１画素に減少させる場合、以下の条件式（２）が成立する。
２・ｓ・ｎ≦ｍ    （２）
【００５７】
また、４画素以上の画素を１画素に減少させる場合、以下の条件式（３）が成立する。
４・ｓ・ｎ≦ｍ    （３）
【００５８】
さらに、３６画素以下の画素を１画素に減少させる場合、以下の条件式（４）が成立する。
ｍ≦３６・ｓ・ｎ    （４）
【００５９】
本実施の形態における撮像装置は、上記の条件式（２）〜（４）のいずれも満たしている。このように、本開示の典型的な実施の形態では、２・ｓ・ｎ≦ｍ≦３６・ｓ・ｎを満足するように、画素の混合数が決定される。ただし、本開示はこのような例に限定されない。
【００６０】
演算回路Ｃは、上記の画素数減少処理を行った後、アレイ状光学素子Ｋによるクロストークの影響を低減させるクロストーク補正処理を実行する（ステップＳ１０３）。
【００６１】
アレイ状光学素子Ｋの各マイクロレンズＭは、理想的には、レンズ光学系Ｌの光学領域Ｄ1〜Ｄ4を透過した光束Ｂ1〜Ｂ4を、それぞれ撮像素子Ｎの各群の画素ｂ1〜ｂ4にのみ入射させる。しかし、実際には、各群において隣接する画素にも各光束を入射させる。つまり、クロストークが発生する。
【００６２】
撮像素子Ｎは、各群の各画素に入射した光を光電変換によって画素信号に変換する。各群において、画素ｂ1〜ｂ4は、理想的には、光学領域Ｄ1〜Ｄ4を透過した光線Ｂ1〜Ｂ4のみを検出する。しかし、上述したようにクロストークが発生するため、画素ｂ1〜ｂ4から得られる画素信号は、対応する光束Ｂ1〜Ｂ4の強度を正しく反映していない。このため、本実施形態の撮像装置は、演算回路Ｃによってクロストークの影響を抑制するように画素信号を補正する。
【００６３】
図８はクロストークを説明するための模式図である。簡単のためにアレイ状光学素子Ｋのマイクロレンズアレイを構成する１つの光学要素（マイクロレンズＭ）と、その光学要素に対応し、１つの群を構成する４つの画素を抜き出して図示し、レンズ光学系Ｌなどを略して描いている。図８に示す光学領域Ｄ1を透過した光線は、マイクロレンズＭの作用により、その大部分は撮像面Ｎｉ上の画素ｂ1に入射する。しかしながら、素子が微細化されるにつれ、幾何光学的な振る舞いとは異なる方向への光エネルギーの伝播成分が発生し、実際には画素ｂ2、ｂ3、ｂ4にもそれぞれ入射してしまう。この画素ｂ2、ｂ3、ｂ4への入射成分がクロストーク光である。このようなクロストーク光は、光学領域Ｄ2、Ｄ3、Ｄ4を透過した光線からも同様に発生する。その結果、画素ｂ1〜ｂ4で計測される入射光量は、設計上対応する正規の光学領域Ｄ1〜Ｄ4からの光線に加えて、他の光学領域からのクロストーク光を含むこととなる。
【００６４】
ここで、光学領域Ｄ1を透過した光線のうち、設計上の正規の画素（図８の例では画素ｂ1）に入射する光の割合をα1％、設計上の正規の画素の左右方向に隣接する画素（図８の例では画素ｂ2）に入射する光の割合をβ1％、設計上の正規の画素の設計上の正規の画素の斜め向かい方向の画素（図８の例では画素ｂ3）に入射する光の割合をγ1％、設計上の正規の画素の上下方向に隣接する画素（図８の例では画素ｂ4）に入射する光の割合をδ1％とする。他の要因による光の損失が無視できるとした場合、α1＋β1＋γ1＋δ1＝１００％である。
【００６５】
光学領域Ｄ2についても、設計上の正規の画素に入射する光の割合をα2％、設計上の正規の画素の左右に隣接する画素に入射する光の割合をβ2％、設計上の正規の画素の斜め向かいの画素に入射する光の割合をγ2％、設計上の正規の画素の上下に隣接する画素に入射する光の割合をδ2％とする。
【００６６】
光学領域Ｄ3、Ｄ4についても同様に、設計上の正規の画素や他の画素への入射する光の割合を、α3、β3、γ3、δ3、α4、β4、γ4、δ4であるとする。
【００６７】
画素ｂ1〜ｂ4に対応するマイクロレンズＭに到達した光のうち、光学領域Ｄ1〜Ｄ4を透過した光の強度をそれぞれｘ’1、ｘ’2、ｘ’3、ｘ’4とする。このとき、画素ｂ1で計測される光の量をｘ1とすると、
ｘ1＝α1ｘ’1＋β2ｘ’2、＋γ3ｘ’3、＋δ4ｘ’4
となる。画素ｂ2〜ｂ4で計測される光の量をそれぞれｘ2〜ｘ4とすると、これらも上記と同様の関係式で表される。よって、ｘ1〜ｘ4は、行列を用いて以下の式のように表される。
【数２】
2015211430.tif 000004
ここで、
【数３】
2015211430.tif 000005
とするとき、行列Ｇは、撮像素子Ｎの前面に配置した光線分離用のアレイ状光学素子Ｋであるマイクロレンズアレイのクロストーク量を表す行列となる。また、行列Ｇは、アレイ状光学素子Ｋの１つの光学要素内で生じるクロストーク量に基づいている。このクロストークを表す行列Ｇの逆行列Ｇ-1を用いることにより、光学領域Ｄ1〜Ｄ4を透過して、アレイ状光学素子Ｋにおける着目する一つのマイクロレンズに到達した光の強度ｘ’1、ｘ’2、ｘ’3、ｘ’4を下記のように求めることができる。
【数４】
2015211430.tif 000006
【００６８】
記憶素子Ｐは、上記の逆行列Ｇ-1を形成する１６個（４×４）の係数群を格納しており、演算回路Ｃは、上述の画像情報Ｒ1〜Ｒ4の対応する画素同士で上記に相当する演算を実施する。即ち、上記のｘ1〜ｘ4には、画素混合によって得られた画素値を用いる。これにより、クロストークの影響が抑制された出力画像Ｒc1〜Ｒc4を得ることができる。
【００６９】
クロストーク補正のための行列演算は、演算量が多いが、本実施形態では、事前に画素混合演算によって画素数を低減しているので、演算量を大幅に低減できる。また、クロストーク補正演算は元の画像データにノイズを含む場合にはノイズを増やしてしまう副作用があるが、画素混合演算によってノイズを低減できるので、出力画像のノイズ発生を抑制できる。
【００７０】
なお、本実施形態の撮像装置において、クロストーク量は、アレイ状光学素子Ｋに入射する光の入射角度が変わらなければ変わらない。このため、撮像装置Ａにおいて、レンズ光学系Ｌの光学特性が一定であり、焦点位置、レンズ瞳の大きさなどが変わらなければ、上述の逆行列Ｇ-1の算出は、一度行えばよい。たとえば、撮像装置Ａを製品として出荷する前やユーザによる撮像装置Ａの使用開始時に逆行列Ｇ-1を算出し、撮影のたびに同じ逆行列Ｇ-1を用いてクロストークを抑制することができる。
【００７１】
一方、レンズ光学系Ｌの光学特性、焦点位置、レンズ瞳の大きさなど、少なくともいずれか１つが変化する場合には、そのたびに行列Ｇおよび逆行列Ｇ-1を求めれば、より確実にクロストークを抑制することができる。行列Ｇおよび逆行列Ｇ-1を求める方法の具体例は、特願２０１３−１４６４２３号に開示されている。特願２０１３−１４６４２３号の開示内容全体を本願明細書に援用する。
【００７２】
（他の実施の形態）
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、上記実施の形態から種々の変更が可能である。以下、他の実施の形態を例示する。
【００７３】
実施の形態１において、１６画素混合の画素数減少処理を実行しているが、必ずしもこの限りではない。たとえば、縦横２画素ずつの４画素混合の画素数減少処理を行ってもよい。この場合、画像Ｒ1〜Ｒ4として、２７０×４８０画素の画像情報が生成され、ノイズ低減効果は１／２となることが期待される。このとき、撮像素子の画素数ｍ、画素数減少処理後の各画像情報の画素数ｓ、各画素群の画素数（光学領域の数）ｎとの間に、４・ｓ・ｎ＝ｍが成立する。あるいは、縦横３画素ずつの９画素混合を行ってもよく、この場合、画像Ｒ1〜Ｒ4として１８０×３２０画素の画像が生成され、ノイズ低減効果は１／３となることが期待される。このとき、９・ｓ・ｎ＝ｍとなる。また、縦横６画素ずつの３６画素混合を行ってもよく、その場合、画像Ｒ1〜Ｒ4として９０×１６０画素の画像が生成され、ノイズ低減効果は１／６となることが期待される。このとき、３６・ｓ・ｎ＝ｍとなる。また、縦横の混合画素数は同数でなくても良い。例えば、横または縦方向に２画素のみの２画素混合の画素数減少処理を行ってもよい。この場合には、画像Ｒ1〜Ｒ4として５４０×４８０画素の画像が生成され、ノイズ低減効果は１／√２となることが期待される。このとき、２・ｓ・ｎ＝ｍである。あるいは、縦３画素、横４画素の１２画素混合の画素数減少処理を行ってもよい。この場合には、画像Ｒ1〜Ｒ4として１８０×２４０画素の画像が生成され、ノイズ低減効果は１／√１２となることが期待される。このとき、１２・ｓ・ｎ＝ｍである。このように、画素混合演算における画素の混合は特定の態様に限定されない。
【００７４】
実施の形態１においては、１つのマイクロレンズＭに対応する画素の数を縦に２つ横に２つのアレイ状に配置された４画素であるとしたが、画素の数（ｎ）は４に限らず、２以上の整数であればよい。例えば、瞳部に設ける光学領域を、縦および横にそれぞれ３つに分割した９個とし、それに合わせて１つのマイクロレンズに対応する画素の群を縦に３つ横に３つのアレイ状の９つの画素によって構成してもよい。この場合には、図９に示すように、レンズ光学系における絞り領域は、縦方向および横方向のそれぞれに３個ずつの計９個の光学領域Ｄ1〜Ｄ9をもち、これらの領域に９種類の異なる光学条件を設定することが可能となる。この場合、演算回路は、３×３画素を１つの画素群として、各画素群から光学要素の中心からの相対位置が共通する画素を抽出することにより、光学条件の異なる９個の画像を同時に取得することができる。この場合、クロストーク量を示す行列Ｇは９×９の行列となり、その逆行列の演算によってクロストークを補正できる。
【００７５】
このような構成で、例えば縦横４画素の画素混合演算を行う場合、９０×１６０画素の画像が取得され、１６・ｓ・ｎ＝ｍとなる。１つのマイクロレンズＭに対応する画素数を、例えば縦横４画素ずつ、縦横５画素ずつ等と増やしたり、縦横の画素数が異なるように構成してもよい。
【００７６】
さらに、単一のマイクロレンズに対応する画素群に含まれる画素数ｎを４×４や５×５のように増やすことも出来る。単一のマイクロレンズに対応する画素数は縦の画素数と横の画素数が同じでなくてもよい。例えば、縦方向に２画素、横方向に３画素を配置し、単一のマイクロレンズに対して６画素が対応する構成も可能である。単一のマイクロレンズに対応する画素数が２の場合には、マイクロレンズの代わりにレンチキュラレンズを用いても実施の形態１と同様の装置を実現できる。
【００７７】
このように、本開示では、レンズ光学系における光学領域の数、およびアレイ状光学素子における各光学要素に対応する画素群に含まれる画素の数は、２以上の任意の整数ｎであればよい。各光学要素は、ｎ個の光学領域を透過した光を、撮像素子における複数の画素群のうちの対応する画素群におけるｎ個の画素にそれぞれ入射させるように設計される。これにより、各画素群から、対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することにより、ｎ個の画像情報を生成できる。
【００７８】
１つの光学要素に対応する画素の数が一般の数ｎである場合も実施の形態１で説明した方法と同様の方法でクロストークを補正できる。この場合、記憶素子に、各要素がＲik（ｉ、ｋは、０≦ｉ≦ｎ、０≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列を構成する係数群を記憶しておく。演算回路は、記憶素子からこれらの係数群を受け取り、撮像素子の各画素群から得られるｎ個の画素信号ｘ1、ｘ2・・・、ｘnから、
【数５】
2015211430.tif 000007
で表される演算によって変換後の画素信号ｘ’1、ｘ’2、・・・、ｘ’nを算出する処理を実行する。これにより、クロストークの影響を好適に補正できる。
【００７９】
前述の実施の形態１においては、画像再配列処理と、画素数減少処理と、クロストーク補正処理とを一つの演算回路Ｃで行うものとして説明したが、それぞれの処理を個別に行う構成であってもよい。あるいは、演算回路Ｃおよび記憶素子Ｐは、例えばパーソナルコンピュータ（ＰＣ）などの情報処理装置におけるプロセッサおよびメモリによってそれぞれ実現されていてもよい。即ち、撮像素子からの出力信号Ｑ0をＰＣに入力し、以降の演算処理（画像の再配列処理、画素数減少処理、およびクロストーク補正処理）をＰＣ上のプログラムによって実現してもよい。
【００８０】
前述の実施の形態においては、画素数減少処理として、画像情報Ｑ0を再配列して生成された画像情報Ｑ1〜Ｑ4を所定の画素の範囲ごとに区切って各範囲に含まれる画素値の平均値をとることによって行ったが、このような方法に限定されない。平均値ではなく、例えば加算値や中央値（メディアン値）などの統計処理に基づく方法を用いても構わない。すなわち、ｎ個の画像情報の各々に対して演算回路が実行する画素数減少処理は、隣接する複数画素の画素値の平均値、和、中央値のいずれかをその複数画素の代表画素値とする処理であり得る。いずれの方法を用いてもランダム性のあるノイズを低減する効果を有する。
【００８１】
上述の実施の形態において、絞りＳの近傍には光学領域ごとに偏光特性を変えた領域分割偏光素子Ｓｐを配置するものとして説明したが、このような構成に限定されない。例えば、絞りＳの近傍に光学領域毎に分光透過率が異なる光学フィルタを配置してもよい。この場合には、複数の異なる波長帯域の光による画像を同時に取得できる。例えば、狭帯域の波長フィルタを複数用いてそれぞれの波長域の光による画像を観察したり、赤外域や紫外域のみを透過するフィルタを用いてその波長域の赤外線または紫外線による画像を取得することもできる。各光学領域の透過波長域が異なる構成の場合には、取得された複数の画像情報から赤，青，緑の色情報を算出して、カラー画像を生成することも出来る。このように、ｎ個の光学領域の少なくとも１つが、透過光の分光波長特性が他の光学領域とは異なるように構成されていれば、異なる波長成分の複数の画像を得ることができる。その場合、演算回路は、複数の画素群の各々から、その画素群に対応する光学要素の中心からの相対位置が共通する画素の画素信号を抽出することによって生成したｎ個の画像情報の少なくとも一部を用いて画像を生成するように構成される。
【００８２】
レンズ光学系における複数の光学領域に、互いに異なる複数の波長域の近赤外線をそれぞれ透過させる複数の赤外透過フィルタを配置してもよい。この場合、食品を撮影することによってその食品のエネルギーや栄養成分の組成を測定するという応用が可能となる。食品に含まれる糖、蛋白質、脂質、水分などの栄養成分は、赤外線の波長によって吸収率が異なるという性質を有する。そこで、複数の波長域（例えば９波長域）の近赤外線をそれぞれ透過させる複数の赤外透過フィルタを有するレンズ光学系を用いて食品を撮影することにより、取得した複数の画像に基づいて、その食品に含まれる糖、蛋白質、脂質などの含有率や、エネルギーを測定することができる。
【００８３】
このような食品のエネルギー測定のために、例えば９種類の波長域を用いる場合、図９に示すような９分割されたレンズ光学系を好適に用いることができる。このとき、撮像素子の各画素群の画素数も３×３の９画素にすることになる。このような構成でアレイ状光学素子と撮像素子との間の部材に割れが生じないようにして量産性を確保するためには、各画素のサイズを小さくする必要がある。食品のエネルギーを測定する用途では、高解像度の撮像素子は本来不要であるが、画素サイズを小さくする必要があることから、実施の形態１のように、例えば１０８０×１９２０画素の撮像素子が用いられ得る。しかし、このような高解像度の撮像素子を用いてクロストーク補正処理を行うと、前述のようにノイズを増加させたり、演算数が多くなる。この問題を解決するためには、クロストーク補正処理の前に画素数減少処理を実行すればよい。これにより、画素信号のノイズを低減させるとともに、クロストーク補正処理の演算量を減少させることができる。また、測定に必要な波長数が９より少ない場合（例えば７波長などの場合）には，図９のＤ1〜Ｄ9の９つの開口のうち複数に同じ波長域のフィルタを配置して使うことが出来る。
【００８４】
絞りＳの近傍に領域毎に光の透過率が異なる光学フィルタ（ＮＤフィルタ）を配置したり、開口の面積を変えたりしてもよい。そのような構成では、露光条件の異なる複数の画像を取得することができる。これにより、撮影するシーンの明暗の差が大きい場合であっても、撮像素子のダイナミックレンジを拡大し、良好な画像を生成することが出来る。露光条件の異なる複数の画像を取得した後に、その複数の画像を合成してダイナミックレンジの広い１枚の画像を合成するハイダイナミックレンジ合成を行うことも可能である。このように、レンズ光学系における複数の光学領域には、偏光フィルタや特定の波長域の電磁波のみを透過させる光学フィルタに限らず、ＮＤフィルタや、面積の異なる開口を設けてもよい。本開示では、ｎ個の光学領域の少なくとも１つが、透過光の偏光特性、分光波長特性、および透過率、ならびに、レンズ光学系の光軸に垂直な平面上における面積のうちの少なくとも１つが、他の光学領域とは異なるように構成され得る。これにより、多様な画像を取得することができる。
【００８５】
光線分離用のアレイ状光学素子Ｋであるマイクロレンズアレイあるいはレンチキュラレンズについては、実施の形態１では撮像素子上に一体化して形成するものとして説明したが、これらが分離していてもよい。すなわち、マイクロレンズアレイあるいはレンチキュラレンズを撮像素子とは分離した光学素子として作製し、撮像素子の前面に配置する構成でもよい。この場合においても、撮像素子とアレイ状光学素子との間隔が狭いほうが、その間隔がずれにくくて有利であるため、実施の形態１と同様の効果が得られる。
【００８６】
また、上記の実施の形態では、画素混合演算（画素数減少処理）をクロストーク補正演算の前に行うものとしたが、画素混合演算は、クロストーク補正演算の後に行っても構わないし、クロストーク補正演算の前後で行っても構わない。分光計測や偏光計測では、測定する条件によって受光量が大きく異なる場合がある。このような場合に、特に低輝度の測定条件の画像に対して単純加算を行うような画素混合演算を行い、その画像の輝度を向上させてもよい。このように、取得した画像ごとに画素混合の演算方法を変える場合には、画素混合演算の実行はクロストーク補正演算の後でなければならない。
【００８７】
また、上記の実施の形態では、画素数減少処理とクロストーク補正処理とを両方行っているが、少なくとも一方の処理を行うように演算回路または画像処理プログラムが構成されていればよい。そのような構成であれば、ノイズ低減効果およびクロストーク低減効果の少なくとも一方を得ることができるため、従来よりも好適な画像を取得できる。
【産業上の利用可能性】
【００８８】
本開示の撮像装置は、画像計測、マシンビジョン、リモートセンシング、監視カメラ、車載用カメラ等に好適に利用できる。
【符号の説明】
【００８９】
Ａ  ・・・実施の形態１に係る撮像装置
Ｌ  ・・・レンズ光学系
Ｓ  ・・・絞り
Ｓｐ・・・領域分割光学フィルタ
Ｌ１・・・対物レンズ
Ｋ  ・・・アレイ状光学素子
Ｍ  ・・・アレイ状光学素子のマイクロレンズ
Ｎ  ・・・撮像素子
Ｃ  ・・・信号処理部
Ｖ０・・・レンズ光学系Ｌの光軸
Ｄ1〜Ｄ4・・・光学領域
Ｄm・・・遮光領域
Ｔｓ、Ｔｂ・・・アレイ状光学素子と集光用マイクロレンズとの間隔
Ｎ  ・・・撮像素子
Ｎｉ・・・撮像面
Ｍｓ・・・集光用マイクロレンズ
Ｍｍ・・・中間層
Ｑ1〜Ｑ4・・・画像情報
Ｐ  ・・・記憶素子
【図１】
2015211430.tif 000009
【図２】
2015211430.tif 000010
【図３Ａ】
2015211430.tif 000011
【図３Ｂ】
2015211430.tif 000012
【図４】
2015211430.tif 000013
【図５】
2015211430.tif 000014
【図６Ａ】
2015211430.tif 000015
【図６Ｂ】
2015211430.tif 000016
【図６Ｃ】
2015211430.tif 000017
【図６Ｄ】
2015211430.tif 000018
【図７Ａ】
2015211430.tif 000019
【図７Ｂ】
2015211430.tif 000020
【図７Ｃ】
2015211430.tif 000021
【図７Ｄ】
2015211430.tif 000022
【図８】
2015211430.tif 000023
【図９】
2015211430.tif 000024