(57)【要約】  本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、光学系と撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、ｎ個の光学領域を透過した光を、光学領域に対応する群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、記憶素子から係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎから、下記式によって、ｎ個の変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎを算出する演算装置とを備える。【数４７】2015004886.tif 000049
2015004886.tif 000002
【特許請求の範囲】
【請求項１】
光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、
ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、
前記光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、前記ｎ個の光学領域を透過した光を、前記光学領域に対応する前記群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、
各要素がＲｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、
前記記憶素子から前記係数群を受け取り、前記撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎから、下記式によって、ｎ個の変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎを算出する演算装置と、
を備える撮像装置。
【数４４】
2015004886.tif 000046
【請求項２】
前記演算装置は、各群の変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎからｎ個の画像信号を生成する、請求項１に記載の撮像装置。
【請求項３】
前記アレイ状光学素子はマイクロレンズアレイであり、前記撮像素子上に一体化して形成されている、請求項１に記載の撮像装置。
【請求項４】
前記アレイ状光学素子と、前記撮像素子の光電変換領域との間に、カラーフィルタを有していない、請求項１に記載の撮像装置。
【請求項５】
前記ｎ個の光学領域のうち少なくとも１つは、他の光学領域と、
前記透過した光の偏光特性、分光波長特性および透過率、ならびに、前記光学領域の前記光軸に垂直な平面上における面積のうちの少なくともいずれかが異なる、請求項１に記載の撮像装置。
【請求項６】
前記ｎは、
ｎ＝ｍ×ｍ（ｍは２以上の整数）
の関係を満たし、
前記撮像素子の各群において、ｎ個の画素が水平方向および垂直方向にｍ行ｍ列に配置され、
前記アレイ状光学素子の各光学要素は、前記ｍ行ｍ列に配置された画素にｎ個の前記光学領域を透過した光をそれぞれ入射させる、請求項１に記載の撮像装置。
【請求項７】
前記ｎは４であり、かつ前記ｍは２であり、
前記係数群は、下記の条件を満たす４つの数、ε、η、θ、λにて構成される下記行列である、請求項６に記載の撮像装置。
ε＞１、
θ＜０、
η＜０、
ε＞λ、
λ＞θ、
λ＞η
【数４５】
2015004886.tif 000047
【請求項８】
前記ｎは４であり、かつ前記ｍは２であり、
前記係数群は、下記の条件を満たす３つの数、ε、η、λにて構成される下記行列である、請求項６に記載の撮像装置。
ε＞λ＞η、
ε＞１、
η＜０
【数４６】
2015004886.tif 000048
【請求項９】
前記εは、１＜ε＜２の関係を満たしている、請求項７または８に記載の撮像装置。
【請求項１０】
前記λは、−０．３＜λ＜０の関係を満たしている、請求項７または８に記載の撮像装置。
【請求項１１】
前記撮像素子の各群において、前記ｎ個の画素に入射する光の光量の差が２％未満である、請求項１に記載の撮像装置。
【請求項１２】
前記撮像素子の各群において、前記アレイ状光学素子の対応する光学要素によって、前記ｎ個の光学領域のいずれか１つを透過した光線のうち、設計された正規の画素に入射する比率をα％、隣接する画素の一つに入射する比率をβ％、斜め隣の画素の一つに入射する比率をδ％とするとき、
前記α、β及びδは、
α＞β＞δ
かつ
β＜２５％
の関係を満足する、請求項１に記載の撮像装置。
【請求項１３】
前記α及びβは、
α＞４β
の関係を満たす、請求項１２に記載の撮像装置。
【請求項１４】
前記αは、
８５％＞α＞６５％
の関係を満たす、請求項１２に記載の撮像装置。
【請求項１５】
前記βは前記δの略２倍である、請求項１２に記載の撮像装置。
【請求項１６】
前記光学系の前記ｎ個の光学領域のうち、１つの前記光学領域において光を透過させ、その他の前記光学領域において遮光する遮光部材をさらに備え、
前記演算装置は、
前記遮光部材を用いて被写体を撮影することによって、前記撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎ、または、前記ｎ個の画像信号から、前記係数群を算出し、
前記記憶素子は前記算出された係数群を記憶する、請求項２に記載の撮像装置。
【請求項１７】
前記遮光部材は、前記透過させる１つの前記光学領域が変更可能なように構成されており、
前記演算装置は、前記透過させる１つの前記光学領域を異ならせて複数回撮影を行い、前記複数回の撮影から前記係数群を算出する、請求項１６に記載の撮像装置。
【請求項１８】
前記係数群の少なくとも一部の係数値を入力する入力部をさらに備える、請求項１に記載の撮像装置。
【請求項１９】
前記演算装置は、各光学要素によるクロストーク量を算出し、算出したクロストーク量を示す行列および前記行列の逆行列を算出し、
前記記憶素子は、前記逆行列を前記係数群として記憶する、請求項１に記載の撮像装置。
【請求項２０】
前記係数群を構成する前記行列の対角成分Ｒｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
１＜Ｒｉｉ＜２．３
の関係を満たす、請求項６に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、カメラ等の撮像装置に関する。
【背景技術】
【０００２】
撮影に用いる光の波長帯域、偏光条件、露光条件などが異なる複数の光学条件で、同じ被写体を撮影する撮像装置が求められている。特許文献１は、光学系の瞳部分を分割し、分割された瞳部分のそれぞれに異なる光学条件のフィルタを配置し、イメージセンサの前方にマイクロレンズアレイなどのアレイ状の光学素子を配置した撮像装置を開示している。この撮像装置は、アレイ状の光学素子による光線分離効果によって、瞳部分の異なる光学領域からの入射光をそれぞれ別の画素へと導くことにより、一度の撮影で複数の光学条件による画像を得る。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５００１４７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来の技術では、複数の光学条件によって得られる画像の質をより高めることが求められていた。本願の、限定的ではない例示的なある実施の形態は、複数の所望の光学条件にしたがった、高画質の画像を得ることができる撮像装置を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、光学系と撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が、ｎ個の光学領域を透過した光を、光学領域に対応する群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、記憶素子から係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎから、下記式によって、変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎを算出する演算装置とを備える。【０００６】
【数１】
2015004886.tif 000003
【０００７】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本願に開示された撮像装置によれば、複数の所望の光学条件にしたがった、高画質の画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１の撮像装置を示す模式図である。
【図２】実施の形態１の領域分割光学フィルタの正面図である。
【図３】アレイ状光学素子及び撮像素子の拡大図である。
【図４】撮像素子への光線の入射状況を説明する図である。
【図５】クロストークを説明する図である。
【図６】本開示の実施の形態２で用いる遮光部材の平面図である。
【図７】実施例で得られた画像の例を示す図である。
【図８】（ａ）は、クロストークが発生している画像の例を示す図であり、（ｂ）はクロストーク量を示す図である。
【図９】（ａ）は、実施例の画像例であって、クロストークが抑制された画像例を示す図であり、（ｂ）はクロストーク量を示す図である。
【図１０】実施の形態３に係る撮像装置のレンズ光学系における領域分割偏光素子を示す模式図である。
【図１１】実施の形態３に係る撮像装置の撮像素子への光線の入射状況を説明するための図である。
【図１２】実施の形態３に係る撮像装置におけるクロストークの状況の一例を説明する図である。
【図１３】実施の形態３に係る撮像装置におけるクロストークの状況の他の一例を説明する図である。
【図１４】実施の形態３に係る撮像装置におけるクロストークの状況の他の一例を説明する図である。
【図１５】（ａ）は６つの光学領域の配列の例を示す図であり、（ｂ）は対応する１つの群における６つの画素の配置を示す図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
特許文献１に開示された撮像装置では、分割された瞳部分を透過する光はアレイ状光学素子によってそれぞれ分離され、別の画素へ導かれる。本願発明者が詳細に検討したところ、アレイ状光学素子による光線の分離は、必ずしも完全ではなく、設計上想定した画素とは異なる画素へ光線が漏れ込む場合があることが分かった。この現象はクロストークと呼ばれる。このようなクロストークが生じると、瞳に設けた光学フィルタに従った設計通りの光学条件で画像を取得することが困難となり、所望の光学条件による高い画質の画像を得ることが困難になる。
【００１１】
このようなクロストークは、撮像装置がより小型になり、撮像素子の画素ピッチが小さくなって、光の振る舞いが幾何光学的な振る舞いから外れて、回折的な振る舞いが増えるにつれて増大する。
【００１２】
クロストークを抑制するためには、瞳部を複数の光学領域に分割する際の光学領域の境界部に遮光領域を設け、分割した光学領域の境界近傍の光線を意図しない画素へ入射させないようにすることが考えられる。しかし、この場合、画素に入射する光量が減り、撮像装置の感度が低下する可能性がある。
【００１３】
そこで、本願発明者は、複数の所望の光学条件にしたがった、高画質の画像を得ることができる新規な撮像装置を想到した。
【００１４】
本開示の一態様に係る撮像装置は、光軸に略垂直に配置されたｎ個（ｎは２以上の整数）の光学領域を有する光学系と、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号に変換する撮像素子と、前記光学系と前記撮像素子との間に位置し、複数の光学要素が配列されたアレイ状光学素子であって、各光学要素が前記ｎ個の光学領域を透過した光を、前記光学領域に対応する前記群のｎ個の画素にそれぞれ入射させる、アレイ状光学素子と、各要素がＲｉｋ（ｉ、ｋは、１≦ｉ≦ｎ、１≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している記憶素子と、前記記憶素子から前記係数群を受け取り、前記撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎから、下記式によって、変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎを算出する演算装置とを備える。
【００１５】
【数２】
2015004886.tif 000004
【００１６】
前記演算装置は、各群の変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎからｎ個の画像信号を生成してもよい。
【００１７】
前記アレイ状光学素子はマイクロレンズアレイであり、前記撮像素子上に一体化して形成されていてもよい。
【００１８】
前記アレイ状光学素子と、前記撮像素子の光電変換領域との間に、カラーフィルタを有していなくてもよい。
【００１９】
前記ｎ個の光学領域のうち少なくとも１つは、他の光学領域と、前記透過した光の偏光特性、分光波長特性および透過率、ならびに、前記光学領域の前記光軸に垂直な平面上における面積のうちの少なくともいずれかが異なっていてもよい。
【００２０】
前記ｎは、
ｎ＝ｍ×ｍ（ｍは２以上の整数）
の関係を満たし、前記撮像素子の各群において、ｎ個の画素が水平方向および垂直方向にｍ行ｍ列に配置され、前記アレイ状光学素子の各光学要素は、前記ｍ行ｍ列に配置された画素にｎ個の前記光学領域を透過した光をそれぞれ入射させてもよい。
【００２１】
前記ｎは４であり、かつ前記ｍは２であり、前記係数群は、下記の条件を満たす４つの数、ε、η、θ、λにて構成される下記行列であってもよい。
【００２２】
ε＞１、
θ＜０、
η＜０、
ε＞λ、
λ＞θ、
λ＞η
【００２３】
【数３】
2015004886.tif 000005
【００２４】
前記ｎは４であり、かつ前記ｍは２であり、前記係数群は、下記の条件を満たす３つの数、ε、η、λにて構成される下記行列であってもよい。
【００２５】
ε＞λ＞η、
ε＞１、
η＜０
【００２６】
【数４】
2015004886.tif 000006
【００２７】
前記εは、１＜ε＜２の関係を満たしていてもよい。
【００２８】
前記λは、−０．３＜λ＜０の関係を満たしていてもよい。
【００２９】
前記撮像素子の各群において、前記ｎ個の画素に入射する光の光量の差が２％未満であってもよい。
【００３０】
前記ｎが４であってもよい。
【００３１】
前記撮像素子の各群において、前記アレイ状光学素子の対応する光学要素によって、前記ｎ個の光学領域のいずれか１つを透過した光線のうち、設計された正規の画素に入射する比率をα％、隣接する画素の一つに入射する比率をβ％、斜め隣の画素の一つに入射する比率をδ％とするとき、
前記α、β及びδは、
α＞β＞δ
かつ
β＜２５％
を満足していてもよい。
【００３２】
前記α及びβは、
α＞４β
の関係を満たしていてもよい。
【００３３】
前記αは、
９７％＞α＞４５％
の関係を満たしていてもよい。
【００３４】
前記αは、
８５％＞α＞６５％
の関係を満たしていてもよい。
【００３５】
前記βは前記δの略２倍であってもよい。
【００３６】
前記光学系の前記ｎ個の光学領域のうち、１つの前記光学領域において光を透過させ、その他の前記光学領域において遮光する遮光部材をさらに備え、前記演算装置は、前記遮光部材を用いて被写体を撮影することによって、前記撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２・・・ｘｎ、または、前記ｎ個の画像信号から、前記係数群を算出し、前記記憶素子は前記算出された係数群を記憶していてもよい。
【００３７】
前記遮光部材は、前記透過させる１つの前記光学領域が変更可能なように構成されており、前記演算装置は、前記透過させる１つの前記光学領域を異ならせて複数回撮影を行い、前記複数回の撮影から前記係数群を算出してもよい。
【００３８】
前記係数群の少なくとも一部の係数値を入力する入力部をさらに備えていてもよい。
【００３９】
前記演算装置は、各光学要素によるクロストーク量を算出し、算出したクロストーク量を示す行列および前記行列の逆行列を算出し、前記記憶素子は、前記逆行列を前記係数群として記憶していてもよい。
【００４０】
前記ｎは４であり、前記演算装置において、前記クロストーク量を示す行列の全要素は４つの値から構成されていてもよい。
【００４１】
前記ｎは４であり、前記演算装置において、前記クロストーク量を示す行列の全要素は３つの値から構成されていてもよい。
【００４２】
前記係数群を構成する前記行列の対角成分Ｒｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
１＜Ｒｉｉ＜２．３
の関係を満たしてもよい。
【００４３】
前記係数群を構成する前記行列の対角成分Ｒｉｉ（ｉは１≦ｉ≦ｎを満たす整数）が、
１＜Ｒｉｉ＜１．０５３
の関係を満たしてもよい。
【００４４】
なお、特許第４１２００２０号公報、国際公開第２０１１／００１７３８号、および特開２０１２−１６９８３０号公報には、カラーフィルタを有するイメージセンサの色信号処理の分野において、混色を低減する手法及び混色を測定する手法が種々提案されている。一般的なカラーイメージセンサに用いるカラーフィルタは、感度を向上させるために、透過する波長帯域を相互に重なり合うくらいまで広げてあるため、所定の演算方法によって色信号を回復している。それらの色クロストークの補正には、取得されたカラー画像の色がより被写体に忠実な値になるように信号処理が行われる。
【００４５】
また特開２０１３−３４０８６号公報は、混色の計測のために所定の画素内に遮蔽を設けて、周辺画素からの漏れ込み光の量をモニタする方法を提案している。国際公開第２００９／０９３５８８号は、分光特性の異なる複数の色票を撮影して補正マトリックスを算出する方法を提案している。
【００４６】
これらの単板色カラー撮像素子の色信号処理の技術分野において、混色を低減する手法は数多く提案されているが、それらは撮影画像情報がカラー画像であることを前提として色情報を元に補正を行うものである。即ちイメージセンサ上にカラーフィルタが一体構成されていることが前提となっている。それに対して、以下の実施形態で説明する瞳分割方式の撮像装置では、複数の光学条件が、異なる波長帯とは限らない上に、波長帯を変えて撮影する場合であっても、赤外または紫外など所謂ＲＧＢ帯域と異なる可能性があるため、既知の手法を適用することは出来ない。
【００４７】
また、これらの撮像素子における混色は、隣接する画素からの電荷の染み出しによって生じる。このため、混色の補正は、原則として、各画素において、各画素に隣接する画素からの影響を考慮するように行われる。
【００４８】
さらに、撮像素子上に漏れ込み光測定用の画素を設けた場合、その画素の出力値を周辺画素から補間することになる。撮影された写真を、観賞用として用いる場合にはそのような方法で生成された画像でも問題はない場合が多いが、画像計測を主目的とした撮像装置においては、周辺画素からの補間により未測定の画素の出力値を決めるという方法は好ましくない。よって、本開示の撮像装置には、撮像素子上に漏れ込み光の計測用の画素を配置しないことが好ましい。
【００４９】
（実施の形態１）
図１は本開示の撮像装置の実施の形態１を示す模式図である。本実施の形態の撮像装置Ａは、Ｖ０を光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点位置近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎと、演算装置Ｃと、記憶素子Ｐとを備える。
【００５０】
レンズ光学系Ｌは、絞りＳと、絞りＳを透過した光を撮像素子Ｎ上に結像する対物レンズＬ１とから構成される。レンズ光学系Ｌは、光軸Ｖ０に非平行に配置されたｎ個の光学領域を絞りＳの近傍に有する。ここで、ｎは２以上の整数である。ｎ個の光学領域において、少なくとも１つの光学領域は、他の光学領域と、それぞれの光学領域を透過する光の偏光特性、分光波長特性および透過率ならびに、これらの光学領域の光軸Ｖ０に略垂直な平面上における面積のうちの少なくともいずれかが異なっている。
【００５１】
本実施形態では、レンズ光学系Ｌは、絞りＳの近傍において光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を有する。光学領域Ｄ１からＤ４には、光学領域Ｄ１からＤ４のうち少なくとも１つが他とは異なる偏光特性を備えた領域分割偏光素子Ｓｐが配置されている。
【００５２】
図２に、領域分割偏光素子Ｓｐの被写体側から見た正面図を示す。光学領域は光軸Ｖ０を中心に４つの光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４に分割してあり、それぞれの領域を透過する偏光方向は互いに異なる。光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４は、光軸Ｖ０に垂直な平面において、水平方向および垂直方向に配列されている。
【００５３】
図１において、光線Ｂ１、Ｂ２（図示せず）、Ｂ３（図示せず）、Ｂ４はそれぞれ光学領域Ｄ１、Ｄ２（図示せず）、Ｄ３（図示せず）、Ｄ４をそれぞれ透過した光線である。
【００５４】
光線Ｂ１、Ｂ２（図示せず）、Ｂ３（図示せず）、Ｂ４は、絞りＳ、領域分割偏光素子Ｓｐ、対物レンズＬ１、アレイ状光学素子Ｋをこの順に透過し、撮像素子Ｎ上の撮像面Ｎｉに到達する。
【００５５】
図３は図１に示したアレイ状光学素子Ｋおよび撮像素子Ｎの拡大図である。撮像素子Ｎは、ｎ個の画素からなる群を複数有し、各画素に入射した光を光電変換によって画素信号（画素値）に変換する。撮像素子Ｎのｎ個の画素上、つまり、撮像素子Ｎとアレイ状光学素子Ｋとの間にはカラーフィルタは設けられていない。
【００５６】
アレイ状光学素子Ｋは、レンズ光学系Ｌと撮像素子Ｎとの間に位置し、複数の配列された光学要素を含む。
【００５７】
各光学要素は、ｎ個の光学領域を透過した光線を、撮像素子Ｎの対応する群のｎ個の画素にそれぞれ入射させる。
【００５８】
本実施形態では、アレイ状光学素子Ｋは、マイクロレンズＭを光学要素とするマイクロレンズアレイである。図３に示すように、アレイ状光学素子Ｋは、マイクロレンズＭが形成された面を撮像素子Ｎ側に向けて配置されている。図１に示したとおり、アレイ状光学素子Ｋはレンズ光学系Ｌの焦点位置近傍に配置されており、撮像素子Ｎからは所定の距離だけ離れた位置に配置されている。撮像面Ｎｉ上には、各画素の表面を覆うようにマイクロレンズＭｓが設けられている。アレイ状光学素子Ｋの配置は対物レンズＬ１の焦点を基準にして決定すればよい。またアレイ状光学素子Ｋのマイクロレンズ面の周期は、撮像面Ｎｉに形成されている画素に対して、縦方向横方向それぞれ２画素分に相当する周期として構成されている。
【００５９】
図３に示すように、マイクロレンズＭの１つが、撮像面Ｎｉ上におけるｎ個の画素のうち、２行２列の画素に対応するように配置されている。マイクロレンズＭが光線の入射角に応じて射出方向を振り分ける機能を有する。図４に示すように、各光学要素である１つのマイクロレンズＭは、１つの群を構成する画素ｂ１、ｂ２、ｂ３、ｂ４に光を入射させる。各群でみると、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過した光線の大部分は、それぞれ、画素ｂ１、ｂ２、ｂ３、ｂ４に入射する。図２および図４に示すように、マイクロレンズＭは光軸Ｖ０に平行な光軸を有し、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過した光線は、マイクロレンズＭの光軸に対して対称に画素ｂ１、ｂ２、ｂ３、ｂ４に入射する。つまり、光学領域Ｄ１を透過した光線は画素ｂ１に、光学領域Ｄ２を透過した光線は画素ｂ２に、光学領域Ｄ３を透過した光線は画素ｂ３に、光学領域Ｄ４を透過した光線は画素ｂ４に入射する。
【００６０】
撮像素子Ｎ全体でみた場合、画素ｂ１、ｂ２、ｂ３、ｂ４は、図４の左上を基準として、光学領域Ｄ１を透過した光線Ｂ１の大部分を撮像面Ｎｉ上の画素の偶数行偶数列に位置する画素ｂ１に、光学領域Ｄ２を透過した光線Ｂ２（図示せず）の大部分を撮像面Ｎｉ上の画素の偶数行奇数列の画素ｂ２に、光学領域Ｄ３を透過した光線Ｂ３（図示せず）の大部分を撮像面Ｎｉ上の奇数行奇数列の画素ｂ３に、光学領域Ｄ４を透過した光線Ｂ４の大部分を撮像面Ｎｉ上の奇数行偶数列の画素ｂ４に、それぞれ入射させるように配置されている。これを実現するには、アレイ状光学素子の屈折率およびマイクロレンズＭの曲率半径、撮像面Ｎｉからの距離などを適宜調節すればよい。
【００６１】
アレイ状光学素子Ｋの各マイクロレンズＭは、理想的には、レンズ光学系Ｌの光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過した光線Ｂ１、Ｂ２（図示せず）、Ｂ３（図示せず）、Ｂ４を、それぞれ撮像素子Ｎの各群の画素ｂ１、ｂ２、ｂ３、ｂ４にのみ入射させる。しかし、上述したように実際には、各群において、光線Ｂ１、Ｂ２（図示せず）、Ｂ３（図示せず）、Ｂ４は、対応する画素に隣接する画素にも入射する。つまり、クロストークが発生する。
【００６２】
撮像素子Ｎは、各群の各画素に入射した光を光電変換によって画素信号に変換する。各群において、画素ｂ１、ｂ２、ｂ３、ｂ４は、理想的には、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過した光線Ｂ１、Ｂ２（図示せず）、Ｂ３（図示せず）、Ｂ４のみを検出している。しかし、上述したようにクロストークが発生するため、画素ｂ１、ｂ２、ｂ３、ｂ４から得られる画素信号は、対応する光線を正しく反映していない。このために、本実施形態の撮像装置は、演算装置Ｃによってクロストークの影響を抑制するように画素信号を補正する。
【００６３】
このために、記憶素子Ｐは、クロストーク量に対応する各要素がＲｉｋ（ｉ、ｋは、０≦ｉ≦ｎ、０≦ｋ≦ｎを満たす整数）で表されるｎ行ｎ列の行列で構成される係数群を記憶している。
【００６４】
演算装置Ｃは、記憶素子Ｐから係数群を受け取り、撮像素子の各群から得られるｎ個の画素信号ｘ１、ｘ２、・・・、ｘｎから、下記式によって、変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎを算出する。この演算については以下で詳述する。
【００６５】
【数５】
2015004886.tif 000007
【００６６】
さらに、演算装置Ｃは、各群の変換後の画素信号ｘ’１、ｘ’２、・・・、ｘ’ｎからｎ個の画像信号を生成する。本実施形態では、演算装置Ｃは４つの画像信号を生成する。具体的には、各群の画素ｂ１、ｂ２、ｂ３、ｂ４から得られる変換後の画素信号をそれぞれ抽出し、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４を生成する。より具体的には、各群の画素ｂ１から得られる画素信号から画像信号Ｑ１を生成する。同様に、各群の画素ｂ２、ｂ３、ｂ４から得られる画素信号から画像信号Ｑ２、Ｑ３、Ｑ４を生成する。この処理により取得された画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４はそれぞれ光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を主に透過した光線により生成された画像となる。
【００６７】
次に、撮像素子の各群におけるクロストークを説明する。図５はクロストークを説明するための模式図である。図５では、簡単のために、アレイ状光学素子Ｋのマイクロレンズアレイを構成する１つの光学要素であるマイクロレンズＭと、その光学要素に対応し、１つの群を構成する４つの画素とを抜き出して図示し、レンズ光学系Ｌなどを略している。図５の光学領域Ｄ１を透過した光線は、マイクロレンズの作用により光線の大部分は撮像面Ｎｉ上の画素ｂ１に入射する。しかしながら、素子が微細化されてくるにつれ、幾何光学的な振る舞いとは異なる方向への光エネルギーの伝播成分が発生し、実際には画素ｂ２、ｂ３、ｂ４にもそれぞれ入射してしまう。この画素ｂ２、ｂ３、ｂ４への入射成分がクロストーク光である。このようなクロストーク光は、光学領域Ｄ２、Ｄ３、Ｄ４を透過した光線からも同様に発生する。
【００６８】
そのため画素ｂ１、ｂ２、ｂ３、ｂ４の各々で計測される入射光量は、４つの光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４のうち設計上で対応する正規の光学領域からの光線に加えて、他の光学領域からのクロストーク光を含むこととなる。
【００６９】
ここで、光学領域Ｄ１を透過した光線のうち、設計上の正規の画素へ入射する光の割合をα１％、設計上の正規の画素の左右方向に隣接する画素に入射する光の割合をβ１％、設計上の正規の画素の上下方向に隣接する画素に入射する光の割合をγ１％、設計上の正規の画素の斜め向かい方向の画素へ入射する光の割合をδ１％とする。図５に示す例の場合、設計上の正規の画素は画素ｂ１、設計上の正規の画素の左右方向に隣接する画素は画素ｂ２、設計上の正規の画素の上下方向に隣接する画素は画素ｂ３、設計上の正規の画素の斜め向かい方向の画素は画素ｂ４である。他の要因による光損失が無視できるとした場合、α１＋β１＋γ１＋δ１＝１００％である。
【００７０】
光学領域Ｄ２に対しても、設計上の正規の画素へ入射する光の割合をα２％、設計上の正規の画素の左右に隣接する画素に入射する光の割合をβ２％、設計上の正規の画素の上下に隣接する画素に入射する光の割合をγ２％、設計上の正規の画素の斜め向かいの画素へ入射する光の割合をδ２％とする。
【００７１】
同様に、光学領域Ｄ３に対しても、設計上の正規の画素、設計上の正規の画素の左右方向に隣接する画素、設計上の正規の画素の上下方向に隣接する画素、および設計上の正規の画素の斜め向かい方向の画素への入射する光の割合を、それぞれα３、β３、γ３、δ３であるとする。また、光学領域Ｄ４に対しても、設計上の正規の画素、設計上の正規の画素の左右方向に隣接する画素、設計上の正規の画素の上下方向に隣接する画素、および設計上の正規の画素の斜め向かい方向の画素への入射する光の割合を、それぞれα４、β４、γ４、δ４であるとする。
【００７２】
画素ｂ１、ｂ２、ｂ３、ｂ４に対応するマイクロレンズに到達した光のうち、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過した光の強度をそれぞれｘ’１、ｘ’２、ｘ’３、ｘ’４とする。このとき、画素ｂ１にて計測される光の量をｘ１とすると、
ｘ１＝α１ｘ’１＋β２ｘ’２、＋γ３ｘ’３、＋δ４ｘ’４
となる。画素ｂ２、ｂ３、ｂ４で計測される光の量をそれぞれｘ２、ｘ３、ｘ４とすると、それぞれも上記と同様となるので、行列を用いて下記となる。
【００７３】
【数６】
2015004886.tif 000008
【００７４】
ここで、
【００７５】
【数７】
2015004886.tif 000009
【００７６】
とするとき、行列Ｇは、撮像素子Ｎの前面に配置した光線分離用のアレイ状光学素子Ｋであるマイクロレンズアレイのクロストーク量を表す行列となる。また、行列Ｇは、アレイ状光学素子Ｋの１つの光学要素内で生じるクロストーク量に基づいている。このクロストークを表す行列Ｇの逆行列Ｇ−１を用いることにより、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４を透過して、アレイ状光学素子Ｋにおける着目する一つのマイクロレンズに到達した光の強度、ｘ’１、ｘ’２、ｘ’３、ｘ’４を下記のように求めることができる。
【００７７】
【数８】
2015004886.tif 000010
【００７８】
記憶素子Ｐには上記逆行列Ｇ−１を形成する、１６個（４×４）の係数群を保存しておき、演算装置Ｃでは、撮像素子の各群の画素ｂ１、ｂ２、ｂ３、ｂ４から得られる画素信号ごとに上述の演算を行う。つまり、撮像素子の群間においては、クロストークを考慮しない。この点で、本実施形態の撮像装置は、隣接する画素からの電荷の染み出しのための補正を行う従来技術とは大きく異なっている。
【００７９】
これによって、クロストークの影響が抑制された、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４を得ることができる。本実施形態では、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４のそれぞれにおいて、互いに偏光軸の方向が異なる領域分割偏光素子Ｓｐが配置されている。このため、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４は、同じ被写体を同時刻において、ほぼ同じ角度から撮影された画像Ｇ１、Ｇ２、Ｇ３、Ｇ４をそれぞれ構成するが、被写体から入射する光が偏光光であり、偏光軸の方向が異なっている。本実施形態によれば、画像Ｇ１、Ｇ２、Ｇ３、Ｇ４において、画像Ｇ１、Ｇ２、Ｇ３、Ｇ４間のクロストークが抑制されている。つまり、画像Ｇ１に画像Ｇ２、Ｇ３、Ｇ４の成分はほとんど混じっていない。他の画像Ｇ２、Ｇ３、Ｇ４についても同様である。このため、それぞれの画像Ｇ１、Ｇ２、Ｇ３、Ｇ４における偏光度は高い。
【００８０】
本実施形態の撮像装置において、アレイ状光学素子Ｋに入射する光の入射角度が変わらなければ、クロストーク量は変わらない。このため、撮像装置Ａにおいて、レンズ光学系Ｌの光学特性が一定であり、焦点位置、およびレンズ瞳の大きさなどが変わらなければ、上述の逆行列Ｇ−１の算出は、一度行えばよい。例えば、撮像装置Ａを製品として出荷する前またはユーザによる撮像装置Ａの使用開始時に行列Ｇ−１を算出すれば、撮影のたびに同じ逆行列Ｇ−１を用いてクロストークを抑制することができる。
【００８１】
一方、レンズ光学系Ｌの光学特性、焦点位置、およびレンズ瞳の大きさのうち、少なくともいずれか１つが変化する場合には、そのたびに、行列Ｇおよび逆行列Ｇ−１を求めれば、より確実にクロストークを抑制することができる。頻繁に行列Ｇおよび逆行列Ｇ−１を求める場合には、実施の形態２で説明する構成を用いてもよい。
【００８２】
なお、本実施の形態においては、クロストークの影響を抑制する信号処理を、まず画素信号に施し、次に、信号処理を施した画素信号から画像信号を生成するという順序で実施している。しかし、この順序は逆でもよく、先に、画素信号から画像信号を生成し、次にクロストークの影響を抑制する信号処理を行ってもよい。
【００８３】
また、演算装置Ｃにおいて、クロストークの影響を抑制する信号処理および画素信号から画像信号を生成する信号処理の両方を行う必要はなく、いずれか一方または両方の処理をパーソナルコンピュータなどの外部の演算装置によって行ってもよい。
【００８４】
以下、クロストークを抑制する演算の例を具体的な数値を示しながら行う。
【００８５】
（数値実施例１）
設計上の正規画素に入射する光の割合が、およそ８０±２％程度、設計上の正規の画素の横の画素へのクロストークの比率が６±２％程度、設計上の正規の画素の上下の画素へのクロストークの比率が６±２％程度、設計上の正規の画素の対角側の画素へのクロストークの比率が４±２％程度である場合、このクロストーク量を示す行列Ｇの一例は以下の通りである。
【００８６】
【数９】
2015004886.tif 000011
【００８７】
行列Ｇの逆行列Ｇ−１は、以下の通りである。
【００８８】
【数１０】
2015004886.tif 000012
【００８９】
記憶素子Ｐに、係数であるこの逆行列Ｇ−１をあらかじめ記憶させておき、記憶素子Ｐから逆号列Ｇ−１を読み出して行列演算を行うことでクロストークを補正できる。
【００９０】
（数値実施例２）
設計上の正規画素に入射する光の割合が、およそ６３±３％程度、設計上の正規の画素の横の画素へのクロストークの比率が１５±２％程度、設計上の正規の画素の上下の画素へのクロストークの比率が１５±２％程度、設計上の正規の画素の対角側の画素へのクロストークの比率が７±２％程度である場合、このクロストーク量を示す行列Ｇの一例は以下のとおりである。
【００９１】
【数１１】
2015004886.tif 000013
【００９２】
行列Ｇの逆行列Ｇ−１は、以下の通りである。
【００９３】
【数１２】
2015004886.tif 000014
【００９４】
記憶素子に、係数であるこの逆行列Ｇ−１をあらかじめ記憶させておき、記憶素子Ｐから逆号列Ｇ−１を読み出して行列演算を行うことでクロストークを補正できる。
【００９５】
上記数値実施例では、撮像素子の回路配線の配置等の影響により光電変換領域をマイクロレンズの中心位置に対して対称に配置できるとは限らないため、場所ごとにクロストーク量が異なるとして、１６個の係数を用いた。しかし、開口位置の違いによるクロストーク光の比率の差が十分小さく、撮像素子の各群において、画素ｂ１、ｂ２、ｂ３、ｂ４におけるクロストークは等価であると仮定できる場合、下記式が成り立つ。この場合には、クロストーク量を示す行列を簡素化することが可能である。
【００９６】
α１≒α２≒α３≒α４
β１≒β２≒β３≒β４
γ１≒γ２≒γ３≒γ４
δ１≒δ２≒δ３≒δ４
この場合、α１、α２、α３、α４の代表値、β１、β２、β３、β４の代表値、γ１、γ２、γ３、γ４の代表値、およびδ１、δ２、δ３、δ４の代表値をそれぞれ、α、β、γ、δとすると、上述のクロストーク量を示す行列Ｇは４つの値で示されるＧｍで表現できる。代表値としては、例えば平均値が挙げられる。
【００９７】
【数１３】
2015004886.tif 000015
【００９８】
行列Ｇｍの逆行列Ｇｍ−１は、以下の通りである。
【００９９】
【数１４】
2015004886.tif 000016
【０１００】
この場合、撮像装置の記憶素子Ｐに必要な記憶領域の数を４つに減らすことができるので、記憶素子の簡素化が図れる。
【０１０１】
ここで、α、β、γ、δは、α＞β＞γ＞δ≧０  または、α＞γ＞β＞δ≧０のいずれかであって、α＞β＞γ＞δ  なら、ε＞λ＞θ＞η  であり、α＞γ＞β＞δ  なら  ε＞λ＞η＞θ  となる。
【０１０２】
また、ε＞１  はαが上記関係を満足するための条件であり、言い換えれば、所定の開口を透過した光線の大部分が設計上の所望の画素に入射するために必要となる条件である。
【０１０３】
このような近似は、おおむねα１、α２、α３、α４間の違い、β１、β２、β３、β４間の違い、γ１、γ２、γ３、γ４間の違い、およびδ１、δ２、δ３、δ４間の違いがそれぞれ２％未満程度である場合に用いてもよく、１％未満である場合に用いてもよい。
【０１０４】
なお、β≒γ≒δでαが６０％を下回る場合、λ≦−０．３となり、設計画素に対する対角側の画素へのクロストーク光量が多くなる。この場合、クロストーク補正を行うことにより、ノイズが増えてしまう。したがって、λが−０．３＜λの関係を満たすと、設計画素に対する対角側の画素へのクロストーク光量が少なくなるので、クロストーク補正でのノイズを抑制することができる。
【０１０５】
以下、具体的な数値実施例を挙げる。
【０１０６】
（数値実施例３）
α＝７３％、β＝１２％、γ＝１０％、δ＝５％の場合のクロストーク量を示す行列Ｇｍとその逆行列Ｇｍ−１とを示す。
【０１０７】
【数１５】
2015004886.tif 000017
【０１０８】
【数１６】
2015004886.tif 000018
【０１０９】
このように、β≒γ≒２δであり、α＞７０％である場合、λは−０．１６＜λを満たす。これにより、設計画素へ十分な光量の光線を入射させることができ、クロストーク補正を行ってもノイズの増加が抑制される。
【０１１０】
（数値実施例４）
α＝６５％、β＝１４％、γ＝１５％、δ＝６％の場合のクロストーク量を示す行列Ｇｍとその逆行列Ｇｍ−１とを示す。
【０１１１】
【数１７】
2015004886.tif 000019
【０１１２】
【数１８】
2015004886.tif 000020
【０１１３】
（数値実施例５）
α＝８２％、β＝７％、γ＝８％、δ＝３％の場合のクロストーク量を示す行列Ｇｍとその逆行列Ｇｍ−１とを示す。
【０１１４】
【数１９】
2015004886.tif 000021
【０１１５】
【数２０】
2015004886.tif 000022
【０１１６】
このように、β≒γ≒２δであり、α＞８０％である場合、λは−０．０５９＜λの関係を満たす。これは、クロストーク光量が少ない場合、補正行列の対角成分以外の係数値の絶対値が全体的に小さくなり、クロストーク補正時のノイズの増加が十分に少なくなることを意味している。
【０１１７】
いずれの数値実施例においても、α＞４β、α＞４γが成立している。このような場合には、逆行列を構成する係数の中で最も絶対値が大きくなるεの値が２未満となるので、クロストーク補正演算を行った際の画像のノイズの増加が十分に小さい。なお、εの値が１．３を下回ると、クロストーク補正演算を行った際の画像のノイズの増加がさらに小さくなる。
【０１１８】
さらに、左右方向及び上下方向へのクロストーク量であるβの値とγの値とが近くなることもある。βとγとの差が２％未満である場合には、行列Ｇの１６個の要素を３値で示すことができる。具体的には、行列Ｇを、以下の行列Ｇｓで示すことができる。βとγとの差が１％未満であってもよい。
【０１１９】
【数２１】
2015004886.tif 000023
【０１２０】
行列Ｇｓの逆行列Ｇｓ−１は以下の通りである。
【０１２１】
【数２２】
2015004886.tif 000024
【０１２２】
この場合、撮像装置の記憶素子Ｐに必要な記憶領域の数を３つに減らすことができるため、記憶素子の簡素化を図ることができる。
【０１２３】
ここで、α＋２β＋γ＝１．０で、α＞β＞γ≧０のとき、
ε＞０＞λ＞η
となる。
【０１２４】
上記行列Ｇｓの行列式が０になり逆行列Ｇｓ−１が存在しないのは、α＝δの場合と、α＋γ＝５０％の場合に限られる。即ち、
α＞β＞δ
β＜２５％
を満足するようなマイクロレンズから構成されるマイクロレンズアレイを用いればクロストークを補正することが可能である。
【０１２５】
なお、αが９７％を上回る場合には、クロストークの影響は十分に小さいので、クロストーク補正演算を行わなくても良い。また、αが４５％以上となる場合には、補正マトリックスを構成する係数が小さくなるため、ノイズの増加が少なくなる。
【０１２６】
αは６５％以上であれば、クロストーク補正処理によるノイズの増加は、さらに少なくなる。
【０１２７】
一方、撮像素子のピッチが狭くなる場合、幾何光学どおりの集光にはならず、クロストーク量は増大する。例えば、マイクロレンズアレイのピッチが４μｍ以上であると、設計上の正規画素への入射光は８５％以上となる。
【０１２８】
以下、具体的な数値実施例を挙げる。
【０１２９】
（数値実施例６）
α＝６０％、β＝１６％、δ＝８％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ−１とは以下の通りである。
【０１３０】
【数２３】
2015004886.tif 000025
【０１３１】
【数２４】
2015004886.tif 000026
【０１３２】
（数値実施例７）
α＝７５％、β＝１０％、δ＝５％の場合のクロストーク行列Ｇｓとその逆行列Ｇｓ−１とを示す。
【０１３３】
【数２５】
2015004886.tif 000027
【０１３４】
【数２６】
2015004886.tif 000028
【０１３５】
（数値実施例８）
α＝８６％、β＝６％、δ＝２％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ−１とを示す。
【０１３６】
【数２７】
2015004886.tif 000029
【０１３７】
【数２８】
2015004886.tif 000030
【０１３８】
（数値実施例９）
α＝４５％、β＝２１％、δ＝１３％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ−１とを示す。
【０１３９】
【数２９】
2015004886.tif 000031
【０１４０】
【数３０】
2015004886.tif 000032
【０１４１】
（数値実施例１０）
α＝９６％、β＝１．５％、δ＝１％の場合のクロストーク量を示す行列Ｇｓとその逆行列Ｇｓ−１とを示す。
【０１４２】
【数３１】
2015004886.tif 000033
【０１４３】
【数３２】
2015004886.tif 000034
【０１４４】
（実施の形態２）
本開示の撮像装置の実施の形態２を説明する。
【０１４５】
本実施形態の撮像装置は、実施の形態１の撮像装置に加えて、光学系のｎ個の光学領域のうち、１つの光学領域を透過させ、その他の光学領域を遮光する遮光部材をさらに備える。
【０１４６】
図６はｎが４である場合の遮光部材の一例を示している。図６では、例えば、光学領域Ｄ１において光を透過させ、光学領域Ｄ２、Ｄ３、Ｄ４において遮光する遮光部材を示している。遮光部材は例えば、光軸Ｖ０を中心に回転可能なように構成されており、遮光部材を光軸Ｖ０を中心に回転させることによって、光学領域Ｄ１に代えて、他の３つの光学領域Ｄ２、Ｄ３、Ｄ４のいずかを選択的に透過させることが可能である。または、遮光部材は、液晶シャッタを備え、光学領域Ｄ１、Ｄ２、Ｄ３、Ｄ４の任意の１つにおいて、光を透過するように構成されていてもよい。
【０１４７】
この遮光部材は、例えば、図１に示す撮像装置の絞りＳ近傍であって、絞りＳよりも被写体側に配置される。この状態で遮光部材を用いて被写体を撮影した場合、光学領域でのクロストークがなく、ノイズの影響を無視できるとすれば、撮像素子の各群において、画素ｂ１にのみ光が入射し、画素ｂ２、ｂ３、ｂ４には光線が入射しない。このため、各画素信号から得られる画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４のうち、Ｑ１のみに画像が現れ、Ｑ２〜Ｑ４には画像が全く現れず全黒の画像が出力される。画像信号Ｑ２、Ｑ３、Ｑ４でノイズ以外の影響による画像信号が取得されたなら、それはマイクロレンズのクロストークによる影響によるものである。したがって、図に示す開口状態で適当な被写体を撮影して取得された画像Ｑ１、Ｑ２、Ｑ３、Ｑ４、または、各群の画素ｂ１、ｂ２、ｂ３、ｂ４から得られる画素信号を解析することにより、クロストーク量を得ることができる。
【０１４８】
具体的には、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４それぞれにおける全画素の出力信号値の総和をそれぞれＳｍ１１、Ｓｍ１２、Ｓｍ１３、Ｓｍ１４とするとき、
α１  ＝  Ｓｍ１１／（Ｓｍ１１＋Ｓｍ１２＋Ｓｍ１３＋Ｓｍ１４）
β１  ＝  Ｓｍ１２／（Ｓｍ１１＋Ｓｍ１２＋Ｓｍ１３＋Ｓｍ１４）
γ１  ＝  Ｓｍ１３／（Ｓｍ１１＋Ｓｍ１２＋Ｓｍ１３＋Ｓｍ１４）
δ１  ＝  Ｓｍ１４／（Ｓｍ１１＋Ｓｍ１２＋Ｓｍ１３＋Ｓｍ１４）
となる。
【０１４９】
同様に光学領域Ｄ２のみを開口し、他を遮蔽して得られた画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４の出力信号値の総和をそれぞれＳｍ２１、Ｓｍ２２、Ｓｍ２３、Ｓｍ２４として、
β２  ＝  Ｓｍ２１／（Ｓｍ２１＋Ｓｍ２２＋Ｓｍ２３＋Ｓｍ２４）
α２  ＝  Ｓｍ２２／（Ｓｍ２１＋Ｓｍ２２＋Ｓｍ２３＋Ｓｍ２４）
δ２  ＝  Ｓｍ２３／（Ｓｍ２１＋Ｓｍ２２＋Ｓｍ２３＋Ｓｍ２４）
γ２  ＝  Ｓｍ２４／（Ｓｍ２１＋Ｓｍ２２＋Ｓｍ２３＋Ｓｍ２４）となる。
【０１５０】
同様に光学領域Ｄ３のみを開口し、他を遮蔽して得られた画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４の出力信号値の総和をそれぞれＳｍ３１、Ｓｍ３２、Ｓｍ３３、Ｓｍ３４とすると、
β３  ＝  Ｓｍ３１／（Ｓｍ３１＋Ｓｍ３２＋Ｓｍ３３＋Ｓｍ３４）
α３  ＝  Ｓｍ３２／（Ｓｍ３１＋Ｓｍ３２＋Ｓｍ３３＋Ｓｍ３４）
δ３  ＝  Ｓｍ３３／（Ｓｍ３１＋Ｓｍ３２＋Ｓｍ３３＋Ｓｍ３４）
γ３  ＝  Ｓｍ３４／（Ｓｍ３１＋Ｓｍ３２＋Ｓｍ３３＋Ｓｍ３４）
となる。
【０１５１】
同様に光学領域Ｄ４のみを開口し、他を遮蔽して得られた画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４の出力信号値の総和をそれぞれＳｍ４１、Ｓｍ４２、Ｓｍ４３、Ｓｍ４４とすると、
β４  ＝  Ｓｍ４１／（Ｓｍ４１＋Ｓｍ４２＋Ｓｍ４３＋Ｓｍ４４）
α４  ＝  Ｓｍ４２／（Ｓｍ４１＋Ｓｍ４２＋Ｓｍ４３＋Ｓｍ４４）
δ４  ＝  Ｓｍ４３／（Ｓｍ４１＋Ｓｍ４２＋Ｓｍ４３＋Ｓｍ４４）
γ４  ＝  Ｓｍ４４／（Ｓｍ４１＋Ｓｍ４２＋Ｓｍ４３＋Ｓｍ４４）
となる。
【０１５２】
演算装置Ｃは、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４を算出し、さらに画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４を用いて上述した演算を行０い、これらの係数群を算出する。それらによって、実施の形態１にて説明したクロストークの量を示す行列Ｇを形成し、その逆行列Ｇ−１を求めて記憶素子Ｐに保存しておく。ここで、α１、α２、α３、α４間の違い、β１、β２、β３、β４間の違い、γ１、γ２、γ３、γ４間の違い、およびδ１、δ２、δ３、δ４間の違いが、それぞれ３％未満程度である場合には、行列Ｇは、実施例１においてそれぞれの平均値であるα、β、γ、δを用いて説明した行列Ｇｍの形態となる。α１、α２、α３、α４間の違い、β１、β２、β３、β４間の違い、γ１、γ２、γ３、γ４間の違い、およびδ１、δ２、δ３、δ４間の違いが、それぞれ１％未満程度であってもよい。
【０１５３】
このような場合、α＋β＋γ＋δ＝１なので、α、β、γ、δのうちの３値を演算装置Ｃが算出すれば、その値を元に、行列Ｇｍを生成し、逆行列Ｇｍ−１を得ることができる。または、Ｓｍ１１、Ｓｍ１２、Ｓｍ１３、Ｓｍ１４の輝度合計値、Ｓｍ２１、Ｓｍ２２、Ｓｍ２３、Ｓｍ２４の輝度合計値、Ｓｍ３１、Ｓｍ３２、Ｓｍ３３、Ｓｍ３４の輝度合計値、およびＳｍ４１、Ｓｍ４２、Ｓｍ４３、Ｓｍ４４の輝度合計値を演算装置Ｃに入力すると、それらの入力を元にして、演算装置Ｃがα、β、γ、δを算出することもできる。
【０１５４】
さらに、行列Ｇｍにおいてβとγとの値の違いが１％未満の場合には、β≒γの近似を行い、クロストーク量を示す行列として実施例１にて説明した行列Ｇｓを用いればよい。この場合には、α＋２β＋δ＝１であることから、α、β、δのうちの２値を演算装置Ｃが算出すれば、その値を元に、行列Ｇｓを生成し、逆行列Ｇｓ−１を得ることができる。または、正規画素への入射輝度合計値、隣接画素への輝度合計値、対角画素への輝度合計値の３値を入力して、それを元にα、β、δを算出することにより、逆行列Ｇｓ−１を得ることができる。
【０１５５】
また、クロストーク行列を求めるにあたり、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４の全画素の出力信号値の総和を用いたが、これに限定されない。これに代えて、全画素の出力信号値の平均値を用いて、クロストーク行列を求めてもよい。また、全画素ではなく、画像Ｑ１、Ｑ２、Ｑ３、Ｑ４のそれぞれ同じ位置に対応する画素の出力信号値を用いて、その総和または平均値などを求めることにより、クロストーク行列を計算してもよい。
【０１５６】
上述した行列Ｇおよび逆行列Ｇ−１の算出は、レンズ光学系Ｌの光学特性、焦点位置、レンズ瞳の大きさなどのうち、少なくともいずれか１つが変化するたびに、行うことによって、より確実にクロストークを抑制することができる。
【０１５７】
（実施例）
図７は、遮光部材を用いて光学領域Ｄ３においてのみ光が透過するようにした状態で被写体を撮影し、各群の画素ｂ１、ｂ２、ｂ３、ｂ４から画素信号を抽出せずに、そのまま画像信号を生成した場合における一例を拡大して示している。各群の画素ｂ１、ｂ２、ｂ３、ｂ４から画素信号を選択して抽出しないため、図７に示す画像は、図４に示す画素の配置を反映している。このため、クロストークがないとすれば、画素ｂ３においてのみ被写体が検出され、画素ｂ３に隣接する画素ｂ１、ｂ２、ｂ４では、被写体が検出されないはずである。つまり、各群の画素ｂ３において、被写体が形成され、画素ｂ１、ｂ２、ｂ４では黒く示される画像が得られるはずである。しかし、図７から分かるように、画素ｂ１、ｂ２、ｂ４に対応する位置において、画像は黒くなっていない。これはクロストークが発生しているからである。
【０１５８】
図８（ａ）は、各群の画素ｂ１、ｂ２、ｂ３、ｂ４から得られた画素信号を画素ごとに抽出し、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４を生成した場合において、画像信号Ｑ１、Ｑ２、Ｑ３、Ｑ４による画像を各群における画素ｂ１、ｂ２、ｂ３、ｂ４の位置に対応させて表示した例を示している。また、図８（ｂ）は、各群における画素ｂ１、ｂ２、ｂ３、ｂ４の輝度値の平均を求め、求めた平均値を、画素ｂ１、ｂ２、ｂ３、ｂ４の位置に対応して示す。図８（ａ）および図８（ｂ）において、各画素中の数値は信号の強度を示し、括弧内の数値はその割合を示す。
【０１５９】
図８（ａ）において、クロストークがないとすれば、左上以外の光学領域には画像は現れず、黒く示されるはずである。しかし、図８（ａ）から分かるように、クロストークによって左上以外の光学領域にも、左上の画像よりは暗いが、画像が示されている。図８（ｂ）に示すように、画素ｂ３に入射する、光学領域Ｄ１を透過した光の割合は６２％である。図８（ｂ）に示す結果から、遮光部材を設けない場合、光学領域Ｄ１、Ｄ２、Ｄ４を透過した光は概ね、８％、１５％、１５％の割合で画素ｂ３に入射すると考えられる。
【０１６０】
図９（ａ）および図９（ｂ）は、上述した演算によって行列Ｇを形成し、その逆行列Ｇ−１を求めて、画素信号を補正した結果を、図８（ａ）、図８（ｂ）に対応させて示している。図９（ａ）および図９（ｂ）から明らかなように、画素信号を補正することによって、図９（ａ）および図９（ｂ）の左上に示す画像信号Ｑ３による画像の輝度が高まるとともに、他の画像信号によって得られる画像は、ほぼ黒くなることがわかる。このように本実施形態によれば、クロストークの影響が効果的に抑制される。
【０１６１】
（実施の形態３）
図１０は、本開示の実施の形態３に係る撮像装置のレンズ光学系における領域分割偏光素子１００を示す模式図である。実施の形態３に係る撮像装置における領域分割偏光素子１００は、水平方向に３つずつ、垂直方向に３つずつ配列された、９つの光学領域１、２、３、４、５、６、７、８、９を備えている。
【０１６２】
図１１は、実施の形態３に係る撮像装置の撮像素子への光線の入射状況を説明するための図である。図１１では、撮像素子の撮像面において、８１個の画素が、水平方向に９つずつ、垂直方向に９つずつ配列されている。実施の形態３に係る撮像装置では、アレイ状光学素子における１つのマイクロレンズが、３行３列の画素に対応するように配置されている。図１１において、マイクロレンズが破線で示されている。領域分割偏光素子１００の光学領域１から光学領域９を透過した光線は、マイクロレンズの結像作用により、それぞれ１から９の番号を付した画素に主に入射する。
【０１６３】
撮像装置の撮像面に配列された複数の画素でのクロストーク量に対称性が成り立つ場合、クロストークとしては、以下の３つの場合が挙げられる。すなわち、領域分割偏光素子１００の隅にある光学領域、すなわち光学領域１、３、７、９を透過した光が、設計上の正規の画素以外の画素に入射する場合、領域分割偏光素子１００の側部にある光学領域、すなわち光学領域２、４、６、８を透過した光が、設計上の正規の画素以外の画素に入射する場合、および領域分割偏光素子１００の中心にある光学領域５を透過した光が、設計上の正規の画素以外の画素に入射する場合である。
【０１６４】
図１２から図１４は、実施の形態３に係る撮像装置におけるクロストークの状況の一例を説明する図である。
【０１６５】
図１２は、領域分割偏光素子１００の隅にある光学領域のうち、光学領域１を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１２において、符号α、β、γ、δ、ε、ζは、各画素に入射する光の割合を示す。割合αで示される光が正規の入射成分であり、割合β、γ、δ、ε、ζで示される光がクロストーク成分である。図１２では、光学領域２と光学領域４、光学領域３と光学領域７、光学領域６と光学領域８とは、それぞれ光学領域１からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
α＋２×β＋２×γ＋δ＋２×ε＋ζ＝１００％
の関係が成り立つ。
【０１６６】
図１３は、領域分割偏光素子１００の側部にある光学領域のうち、光学領域２を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１３において、符号η、θ、ι、κ、λ、μは、各画素に入射する光の割合を示す。割合ηで示される光が正規の入射成分であり、割合θ、ι、κ、λ、μで示される光がクロストーク成分である。図１３では、光学領域１と光学領域３、光学領域４と光学領域６、光学領域７と光学領域９とは、それぞれ光学領域２からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
η＋２×θ＋２×ι＋κ＋２×λ＋μ＝１００％
の関係が成り立つ。
【０１６７】
図１４は、領域分割偏光素子１００の中心にある光学領域５を透過した光が、マイクロレンズの直下にある３行３列の画素に分配される比率を示す。図１４において、符号ν、ξ、οは、各画素に入射する光の割合を示す。割合νで示される光が正規の入射成分であり、割合ξ、οで示される光がクロストーク成分である。図１４では、光学領域２と光学領域４と光学領域６と光学領域８、光学領域１と光学領域３と光学領域７と光学領域９とは、それぞれ光学領域５からの相対的な位置関係が同じであるので、クロストーク光の入射する比率も、それぞれ同じであるとしている。吸収などによる光の損失が無視できる場合、
ν＋４×ξ＋４×ο＝１００％
の関係が成り立つ。
【０１６８】
光学領域１から光学領域９に対応する画素の計測信号値をそれぞれ計測信号値ｘ１から計測信号値ｘ９とし、光学領域１から光学領域９を透過した光がマイクロレンズに到達したときの光強度をそれぞれ光強度ｘ’１から光強度ｘ’９とし、クロストーク行列をＧとするとき、以下の関係が成り立つ。
【０１６９】
【数３３】
2015004886.tif 000035
【０１７０】
ここで、行列Ｇおよびその逆行列Ｇ−１は、下記の式で表される。
【０１７１】
【数３４】
2015004886.tif 000036
【０１７２】
【数３５】
2015004886.tif 000037
【０１７３】
領域分割偏光素子１００の隅にある光学領域１を透過した光が設計上の正規の画素に入射する割合α、領域分割偏光素子１００の側部にある光学領域２を透過した光が設計上の正規の画素に入射する割合η、および領域分割偏光素子１００の中心にある光学領域５を透過した光が設計上の正規の画素に入射する割合νは、いずれもおおむね０．４８以上である。この場合、逆行列Ｇ−１の対角成分である成分ａ、成分ｇ、および成分ｍはいずれも、１よりも大きく、かつ２．３未満の値となる。成分ａ、成分ｇ、および成分ｍの値がいずれも２．３未満であるとき、正規の画素への入射光の比率が全入射光の４８％以上となるので、クロストーク補正でのノイズの増大を抑制することができる。
【０１７４】
また、割合α、割合η、および割合νがいずれも０．９５を超える値である場合には、クロストーク補正を行わなくても、クロストークに起因する画質の損失は十分に小さい。この場合、成分ａ、成分ｇ、および成分ｍの値は、いずれも１．０５３未満となる。
【０１７５】
（数値実施例１１）
α＝０．８８、β＝０．０２、γ＝０．０１８、δ＝０．０１２、ε＝０．０１１、ζ＝０．０１、η＝０．８８６、θ＝０．０１９、ι＝０．０１２、κ＝０．０２１、λ＝０．０１、μ＝０．０１１、ν＝０．８８、ξ＝０．０２、ο＝０．０１である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ−１を、以下に示す。
【０１７６】
【数３６】
2015004886.tif 000038
【０１７７】
【数３７】
2015004886.tif 000039
【０１７８】
（数値実施例１２）
α＝０．７６、β＝０．０４、γ＝０．０３６、δ＝０．０２４、ε＝０．０２２、ζ＝０．０２、η＝０．６５８、θ＝０．０５７、ι＝０．０３６、κ＝０．０６３、λ＝０．０３、μ＝０．０３３、ν＝０．５２、ξ＝０．０８、ο＝０．０４である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ−１を、以下に示す。
【０１７９】
【数３８】
2015004886.tif 000040
【０１８０】
【数３９】
2015004886.tif 000041
【０１８１】
（数値実施例１３）
α＝０．４９６、β＝０．０８４、γ＝０．０７５６、δ＝０．０５０４、ε＝０．０４６２、ζ＝０．０４２、η＝０．４８７、θ＝０．０８５５、ι＝０．０５４、κ＝０．０９４５、λ＝０．０４５、μ＝０．０４９５、ν＝０．４８４、ξ＝０．０８６、ο＝０．０４３である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ−１を、以下に示す。
【０１８２】
【数４０】
2015004886.tif 000042
【０１８３】
【数４１】
2015004886.tif 000043
【０１８４】
（数値実施例１４）
α＝０．９５、β＝０．００７５、γ＝０．００６５、δ＝０．００６、ε＝０．００５５、ζ＝０．００５、η＝０．９５、θ＝０．００７５、ι＝０．００５５、κ＝０．００８５、λ＝０．００５、μ＝０．００５５、ν＝０．９５、ξ＝０．００７５、ο＝０．００５である場合の、クロストーク行列である行列Ｇおよびクロストーク補正行列である逆行列Ｇ−１を、以下に示す。
【０１８５】
【数４２】
2015004886.tif 000044
【０１８６】
【数４３】
2015004886.tif 000045
【０１８７】
本実施の形態において例示した行列は、光学領域およびそれに対応する画素に対して、図１０および図１１に示すように番号を振って、その番号順に並べた場合の行列を示すものである。したがって、光学領域およびそれに対応する画素に対する番号の振り方を変えると、それに対応して行列の要素の並び方も適宜変化する。
【０１８８】
また、本実施の形態においては、９個の画素から得られる９個の画素信号に対して、９行９列の行列を用いた演算を行うことにより、変換後の画素信号を算出する例を示したが、これに限られない。本実施の形態において、クロストーク光の比率を表す割合β、γ、δ、ε、ζ、θ、ι、κ、λ、μ、ξ、οのうち、０と近似することができる割合がある場合には、行列Ｇは、その要素に０を含む行列となる。この場合、９行９列の行列と９行の列ベクトルとの行列積として変換後の画素信号を算出することに代えて、０を含む積を除いた積和計算として変換後の画素信号を算出してもよい。このようにすると、より少ない計算量で変換後の画素信号を算出することができる。
【０１８９】
本開示の実施の形態に係る撮像装置は、上述した実施の形態に限定されるものではなく、上記実施の形態から種々の変更が可能である。
【０１９０】
上述の実施の形態において、絞りＳの近傍に、光学領域毎に偏光特性が異なる領域分割偏光素子を配置するものとして説明したが、これに代えて、絞りＳの近傍に、光学領域毎に分光透過率が異なる光学フィルタを配置してもよい。この場合には、複数の異なる波長帯域の画像を同時に撮影できる。例えば、光学フィルタとして、狭帯域の波長フィルタを複数用いることにより、それぞれの波長域を観察することができる。また、例えば、光学フィルタとして、赤外域または紫外域のみを透過するフィルタを用いることにより、該波長域の画像を取得することができる。また、偏光素子および光学フィルタの両方を光学領域に配置してもよいし、光学フィルタは撮像素子の画素上に配置し、偏光素子のみをレンズ光学系の光学領域に配置してもよい。
【０１９１】
絞りＳの近傍に、光学領域毎に透過率が異なる光学フィルタを配置してもよく、または光学領域毎に、光学領域の開口の面積を変えてもよい。このような構成の場合には、露光条件の異なる複数の画像を取得できる。これにより、被写体に明暗が大きい場合に、撮像素子のダイナミックレンジを拡大することができる。また、このような構成の場合には、露光条件の異なる複数の画像を取得した後に、その複数の画像を合成してダイナミックレンジの広い１枚の画像を合成する、ハイダイナミックレンジ合成（ｈｉｇｈ  ｄｙｎａｍｉｃ  ｒａｎｇｅ  ｉｍａｇｉｎｇ）を行うことも可能である。
【０１９２】
本実施の形態においては、撮像レンズの瞳部に設けた光学領域を４つまたは９つとし、一つのマイクロレンズに対応する光電変換領域を、縦に２つ横に２つのアレイ状に配置された４つの領域または縦に３つ横に３つのアレイ状に配置された９つの領域としたが、光学領域および光電変換領域の数ｎは４または９に限られない。例えば、瞳部に設ける光学領域を、縦および横にそれぞれ４つに分割した１６個の光学領域とし、それにあわせて一つのマイクロレンズに対応する画素の群を縦に４個横に４個のアレイ状の１６個の画素によって構成してもよい。この場合、クロストーク量を示す行列Ｇは１６行１６列の行列となり、同様にその逆行列の演算によりクロストークを補正できる。この場合のクロストーク行列の係数は、１６個の光学領域のうちの１箇所のみを開口して他を遮蔽した状態で画像を撮影し、画像再配列により得られた個々の画像の平均輝度値によっても求まる。これを１６個の開口すべてに対して行うことにより、１６行１６列の行列の２５６個の係数を求めることができる。また、素子の配置により対称性が確保される場合には、上記２５６個の係数には同一の値となる箇所が複数あるため、上記の実施形態と同様に、係数の測定などを簡素化できる。
【０１９３】
また、単一のマイクロレンズに対応する画素数を、縦４個、横４個または縦５個、横５個などのように、さらに分割数を増やした場合も同様の処理を行うことが可能である。また、単一のマイクロレンズに対応する画素数は、縦の画素数と横の画素数とが同じでなくてもよい。
【０１９４】
例えば、図１５（ａ）に示すように、ｎを６に設定し、光学領域を横（水平方向）に２つ、縦（垂直方向）に３つ配列してもよい。この場合、レンズ光学系Ｌの光軸Ｖ０に垂直な光路の断面が円形であれば、図１５（ｂ）に示すように、撮像素子における各群を構成する画素ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６も、横（水平方向）に２つ、縦（垂直方向）に３つ配列する。また、各群における横方向の長さｘ１と縦方向の長さｙ１とはほぼ等しくなるように、各画素の形状を調整してもよい。この場合にはクロストーク行列は６行６列の行列となり、本願で説明したのと同様の手法によりに、クロストークの補正を行うこと、およびクロストーク行列の係数を得ることができる。
【０１９５】
また、単一のマイクロレンズに対応する画素数が２の場合には、マイクロレンズの代わりにレンチキュラレンズを用いても本願と同様の装置を実現できる。
【０１９６】
また、上述のクロストーク量を示す行列または逆行列の演算を、撮像装置以外の外部の演算装置、例えば、パーソナルコンピュータによって算出する場合には、撮像装置は、外部の演算装置によって求めた逆行列を記憶素子に記憶させるための入力部を備えていてもよい。
【産業上の利用可能性】
【０１９７】
本願に開示された撮像装置は、被写体等を撮影し、画像を取得する種々の分野に利用可能であり、例えば、画像計測、マシンビジョン、リモートセンシング、監視カメラ、車載用カメラ等に好適に用いられる。
【符号の説明】
【０１９８】
Ａ  撮像装置
Ｌ  レンズ光学系
Ｓ  絞り
Ｌ１  対物レンズ
Ｋ  アレイ状光学素子
Ｍ，Ｍｓ  マイクロレンズ
Ｎ  撮像素子
Ｃ  演算装置
Ｖ０  光軸
Ｄ１，Ｄ２，Ｄ３，Ｄ４，１，２，３，４，５，６，７，８，９  光学領域
Ｎｉ  撮像面
Ｐ  記憶素子
【図１】
2015004886.tif 000050
【図２】
2015004886.tif 000051
【図３】
2015004886.tif 000052
【図４】
2015004886.tif 000053
【図５】
2015004886.tif 000054
【図６】
2015004886.tif 000055
【図７】
2015004886.tif 000056
【図８】
2015004886.tif 000057
【図９】
2015004886.tif 000058
【図１０】
2015004886.tif 000059
【図１１】
2015004886.tif 000060
【図１２】
2015004886.tif 000061
【図１３】
2015004886.tif 000062
【図１４】
2015004886.tif 000063
【図１５】
2015004886.tif 000064
【国際調査報告】
2015004886.tif 000065
2015004886.tif 000066
2015004886.tif 000067
2015004886.tif 000068