(57)【特許請求の範囲】
【請求項１】
ｎをｎ≧２を満たす整数、ｍを２≦ｍ≦３を満たす整数、ｑをｎとｍの積とした場合に、分光透過率の異なるｎ種の第１光学フィルタ素子と、透過偏光方位の異なるｍ種の第２光学フィルタ素子とを組み合わせて、ｑ種の光を各画素で受光する画素ブロックを複数備えたイメージセンサと、
ｋをｋ≦ｑを満たす整数とした場合に、透過する光の波長帯域が異なるｋ個の光学領域を備え、かつ、各前記光学領域に偏光フィルタ部を備えた光学系と、
ｉを１≦ｉ≦ｋを満たす整数、ｊを１≦ｊ≦ｑを満たす整数とした場合に、各要素がａｉｊで表されるｋ行ｑ列の行列Ａで構成される係数群を記憶する記憶部と、
前記記憶部から前記係数群を取得し、前記イメージセンサの各前記画素ブロックから得られるｑ個の画素信号ｘ１、ｘ２、…、ｘｑから、下記式によって、前記光学系の各前記光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出する演算部と、
【数１】
0006908793.tif 000025
を備える撮像装置。
【請求項２】
前記行列Ａは、前記光学系の各前記光学領域に入射した光が、前記イメージセンサの各前記画素ブロックの各前記画素で受光される割合を要素とする行列の逆行列を算出して取得される、
請求項１に記載の撮像装置。
【請求項３】
前記光学系の各前記光学領域に入射した光が、前記イメージセンサの各前記画素ブロックの各前記画素で受光される割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、ｃとｄとの積で算出される、
請求項２に記載の撮像装置。
【請求項４】
偏光に基づく前記透過率ｃは、前記光学領域を透過する光の透過偏光方位と前記画素が受光する光の透過偏光方位との角度差の余弦の二乗を算出して求められ、
分光透過率に基づく前記透過率ｄは、前記光学領域を透過する光の波長帯域と前記画素に備えられた前記第１光学フィルタ素子の分光透過率とに基づいて求められる、
請求項３に記載の撮像装置。
【請求項５】
前記光学系は、同じ透過偏光方位を有する前記偏光フィルタ部の数がｎ以下である、
請求項１から４のいずれか１項に記載の撮像装置。
【請求項６】
前記イメージセンサの各前記画素ブロックは、分光透過率の異なる３種の前記第１光学フィルタ素子と、透過偏光方位の異なる３種の前記第２光学フィルタ素子とを組み合わせて、９種の光を各前記画素で受光する構成を有する、
請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記光学系は、透過する光の波長帯域が異なる９個の前記光学領域を備える、
請求項６に記載の撮像装置。
【請求項８】
前記光学系は、同じ透過偏光方位の前記偏光フィルタ部を備えた前記光学領域を３個ずつ備える、
請求項７に記載の撮像装置。
【請求項９】
前記光学系に備えられる前記偏光フィルタ部の透過偏光方位の組み合わせと、前記イメージセンサに備えられる前記第２光学フィルタ素子の透過偏光方位の組み合わせが同じである、
請求項８に記載の撮像装置。
【請求項１０】
前記光学系は、異なる透過波長の狭帯域フィルタを各前記光学領域に備える、
請求項１から９のいずれか１項に記載の撮像装置。
【請求項１１】
前記光学系は、瞳位置に前記狭帯域フィルタを備える、
請求項１０に記載の撮像装置。
【請求項１２】
前記イメージセンサは、各前記画素を構成するフォトダイオードとマイクロレンズとの間に前記第１光学フィルタ素子及び前記第２光学フィルタ素子を有する、
請求項１から１１のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係り、特に、複数の波長帯域の画像（マルチスペクトル画像）を取得する撮像装置に関する。
【背景技術】
【０００２】
複数の波長帯域の画像（マルチスペクトル画像）を取得する撮像装置として、特許文献１には、光学系の瞳部分を分割し、分割された瞳部分のそれぞれに分光透過率の異なる光学フィルタを配置し、かつ、イメージセンサの前方にマイクロレンズアレイを配置した構成の撮像装置が記載されている。この撮像装置は、マイクロレンズアレイによる光線分離効果によって、瞳部分の異なる光学領域からの光をそれぞれ別の画素へと導くことにより、１つのイメージセンサでマルチスペクトル画像を取得する。【０００３】
しかし、マイクロレンズアレイによる光線の分離は必ずしも完全ではない。このため、特許文献１の撮像装置では、隣接する画素に光が漏れ、混信（クロストーク）が発生するという問題がある。【０００４】
特許文献２には、この問題を解決するために、各画素から得られる信号（画素信号）に所定の信号処理を施して、混信の影響を除去することが提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第2012/143983号
【特許文献２】国際公開第2015/004886号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、マイクロレンズアレイを用いて光線を分離した場合に各画素で生じる混信の量は、画素の位置によって異なる。したがって、特許文献２の撮像装置で、より高品質な画像を得るには、画素ごとに混信の発生量を求める必要がある。しかし、これには多大な労力を要する。【０００７】
本発明は、このような事情に鑑みてなされたもので、１つのイメージセンサで高品質なマルチスペクトル画像を取得できる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための手段は、次のとおりである。【０００９】
（１）ｎをｎ≧２を満たす整数、ｍを２≦ｍ≦３を満たす整数、ｑをｎとｍの積とした場合に、分光透過率の異なるｎ種の第１光学フィルタ素子と、透過偏光方位の異なるｍ種の第２光学フィルタ素子とを組み合わせて、ｑ種の光を各画素で受光する画素ブロックを複数備えたイメージセンサと、ｋをｋ≦ｑを満たす整数とした場合に、透過する光の波長帯域が異なるｋ個の光学領域を備え、かつ、各光学領域に偏光フィルタ部を備えた光学系と、ｉを１≦ｉ≦ｋを満たす整数、ｊを１≦ｊ≦ｑを満たす整数とした場合に、各要素がａｉｊで表されるｋ行ｑ列の行列Ａで構成される係数群を記憶する記憶部と、記憶部から係数群を取得し、イメージセンサの各画素ブロックから得られるｑ個の画素信号ｘ１、ｘ２、…、ｘｑから、下記式によって、光学系の各光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出する演算部と、を備える撮像装置。【００１０】
【数１】
0006908793.tif 000002
【００１１】
本態様によれば、イメージセンサの各画素から得られる信号に対して、画素ブロック単位で所定の演算処理を施すことにより、光学系の各光学領域に対応した信号が得られる。すなわち、混信（クロストーク）のない信号が得られる。これにより、高品質なマルチスペクトル画像を取得できる。【００１２】
（２）行列Ａは、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列の逆行列を算出して取得される、上記（１）の撮像装置。【００１３】
本態様によれば、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ−１を算出して、上記演算式の行列Ａが求められる。【００１４】
（３）光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、ｃとｄとの積で算出される、上記（２）の撮像装置。【００１５】
本態様によれば、上記行列Ｂの各要素が、偏光に基づく透過率ｃと分光透過率に基づく透過率ｄとの積で算出される。【００１６】
（４）偏光に基づく透過率ｃは、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗を算出して求められ、分光透過率に基づく透過率ｄは、光学領域を透過する光の波長帯域と画素に備えられた第１光学フィルタ素子の分光透過率とに基づいて求められる、上記（３）の撮像装置。【００１７】
本態様によれば、偏光に基づく透過率ｃが、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗で求められる。また、分光透過率に基づく透過率ｄが、光学領域を透過する光の波長帯域と画素に備えられた第１光学フィルタ素子の分光透過率とに基づいて求められる。【００１８】
（５）光学系は、同じ透過偏光方位を有する偏光フィルタ部の数がｎ以下である、上記（１）から（４）のいずれか一の撮像装置。【００１９】
本態様によれば、光学系において、同じ透過偏光方位を有する偏光フィルタ部の数が、イメージセンサ側に備えられる第１光学フィルタ素子の種類の数以下とされる。【００２０】
（６）イメージセンサの各画素ブロックは、分光透過率の異なる３種の第１光学フィルタ素子と、透過偏光方位の異なる３種の第２光学フィルタ素子とを組み合わせて、９種の光を各画素で受光する構成を有する、上記（１）から（５）のいずれか一の撮像装置。【００２１】
本態様によれば、イメージセンサの各画素ブロックが、分光透過率の異なる３種の第１光学フィルタ素子と、透過偏光方位の異なる３種の第２光学フィルタ素子とを組み合わせて、９種の光を各画素で個別に受光する構成を有する。【００２２】
（７）光学系は、透過する光の波長帯域が異なる９個の光学領域を備える、上記（６）の撮像装置。【００２３】
本態様によれば、光学系には、透過する光の波長帯域が異なる９個の光学領域が備えられる。【００２４】
（８）光学系は、同じ透過偏光方位の偏光フィルタ部を備えた光学領域を３個ずつ備える、上記（７）の撮像装置。【００２５】
本態様によれば、光学系には、同じ透過偏光方位の偏光フィルタ部を備えた光学領域が３個ずつ備えられる。【００２６】
（９）光学系に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位の組み合わせが同じである、上記（８）の撮像装置。【００２７】
本態様によれば、光学系に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位の組み合わせが、同じ構成とされる。たとえば、光学系に備えられる偏光フィルタ部の透過偏光方位が０°、６０°、９０°の場合、イメージセンサに備えられる第２光学フィルタ素子の透過偏光方位も０°、６０°、９０°とされる。【００２８】
（１０）光学系は、異なる透過波長の狭帯域フィルタを各光学領域に備える、上記（１）から（９）のいずれか一の撮像装置。【００２９】
本態様によれば、光学系には、異なる透過波長の狭帯域フィルタが、各光学領域に備えられる。【００３０】
（１１）光学系は、瞳位置に狭帯域フィルタを備える、上記（１０）の撮像装置。【００３１】
本態様によれば、光学系は、瞳位置に狭帯域フィルタが備えられる。【００３２】
（１２）イメージセンサは、各画素を構成するフォトダイオードとマイクロレンズとの間に第１光学フィルタ素子及び第２光学フィルタ素子を有する、上記（１）から（１１）のいずれか一の撮像装置。【００３３】
本態様によれば、イメージセンサは、各画素を構成するフォトダイオードとマイクロレンズとの間に第１光学フィルタ素子及び第２光学フィルタ素子を備えた構成を有する。
【発明の効果】
【００３４】
本発明によれば、１つのイメージセンサで高品質なマルチスペクトル画像を取得できる。
【図面の簡単な説明】
【００３５】
【図１】本発明に係る撮像装置の一実施の形態の概略構成を示す図
【図２】瞳分割フィルタの正面図
【図３】分光フィルタの正面図
【図４】各分光フィルタ部に設定される透過波長の一例を示すグラフ
【図５】偏光フィルタの正面図
【図６】偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図
【図７】イメージセンサの画素の配列の概略構成を示す図
【図８】イメージセンサの概略構成を示す図
【図９】１つの画素（図８の破線部）の概略構成を示す断面図
【図１０】各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図
【図１１】各分光フィルタ素子の分光透過率の設定の一例を示すグラフ
【図１２】各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図
【図１３】信号処理部の概略構成を示すブロック図
【図１４】画像生成の概念図
【図１５】各画素に備えられた分光フィルタ素子の分光透過率と光学系の各光学領域を透過する光の波長帯域との関係の一例を示すグラフ
【図１６】本実施の形態の撮像装置の動作の概念図
【図１７】イメージセンサの各画素に備えられる分光フィルタ素子の分光透過率のグラフ
【図１８】被写体画像の一例を示す図
【図１９】イメージセンサから出力される画素信号ｘ１〜ｘ９で生成される画像の例を示す図
【図２０】イメージセンサから出力される画素信号ｘ１〜ｘ９を混信除去処理して生成される画像の例を示す図
【発明を実施するための形態】
【００３６】
以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
【００３７】
［装置構成］
ここでは、９つの波長帯域の画像（マルチスペクトル画像）を取得する場合を例に説明する。
【００３８】
図１は、本発明に係る撮像装置の一実施の形態の概略構成を示す図である。
【００３９】
同図に示すように、撮像装置１は、光学系１０、イメージセンサ１００及び信号処理部２００を備える。
【００４０】
〔光学系〕
光学系１０は、レンズ１２及び瞳分割フィルタ１４を備える。
【００４１】
レンズ１２は、被写体の光学像をイメージセンサ１００の受光面上に結像させる。レンズ１２は、撮像装置１の用途に応じた構成とされる。
【００４２】
瞳分割フィルタ１４は、光学系１０の瞳位置又はその近傍に備えられ、光学系１０の瞳部分を９つの光学領域に分割する。瞳分割フィルタ１４は、分光フィルタ１６と偏光フィルタ１８とを重ね合わせて構成される。
【００４３】
図２は、瞳分割フィルタの正面図である。
【００４４】
同図に示すように、瞳分割フィルタ１４は、周方向に９等分割された９つの光学領域Ｓｊ（ｊ＝１、２、３、４、５、６、７、８、９）を有する。以下、必要に応じて、符号Ｓ１の光学領域を第１光学領域Ｓ１、符号Ｓ２の光学領域を第２光学領域Ｓ２、符号Ｓ３の光学領域を第３光学領域Ｓ３、符号Ｓ４の光学領域を第４光学領域Ｓ４、符号Ｓ５の光学領域を第５光学領域Ｓ５、符号Ｓ６の光学領域を第６光学領域Ｓ６、符号Ｓ７の光学領域を第７光学領域Ｓ７、符号Ｓ８の光学領域を第８光学領域Ｓ８、符号Ｓ９の光学領域を第９光学領域Ｓ９として、９つの光学領域Ｓｊを区別する。
【００４５】
各光学領域Ｓｊは、それぞれ異なる波長帯域の光が透過する設定とされる。また、９つの光学領域Ｓｊのうち第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３で構成される光学領域群と、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６で構成される光学領域群と、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９で構成される光学領域群とは、互いに異なる偏光方向（透過偏光方位）の光を透過する設定とされる。このような構成は、次の構成の分光フィルタ１６及び偏光フィルタ１８の組み合わせによって実現される。
【００４６】
図３は、分光フィルタの正面図である。
【００４７】
分光フィルタ１６は、周方向に９等分割された９つの分光フィルタ部Ｆ１〜Ｆ９を有する。以下、必要に応じて、符号Ｆ１の分光フィルタ部を第１分光フィルタ部Ｆ１、符号Ｆ２の分光フィルタ部を第２分光フィルタ部Ｆ２、符号Ｆ３の分光フィルタ部を第３分光フィルタ部Ｆ３、符号Ｆ４の分光フィルタ部を第４分光フィルタ部Ｆ４、符号Ｆ５の分光フィルタ部を第５分光フィルタ部Ｆ５、符号Ｆ６の分光フィルタ部を第６分光フィルタ部Ｆ６、符号Ｆ７の分光フィルタ部を第７分光フィルタ部Ｆ７、符号Ｆ８の分光フィルタ部を第８分光フィルタ部Ｆ８、符号Ｆ９の分光フィルタ部を第９分光フィルタ部Ｆ９として、９つの分光フィルタ部Ｆ１〜Ｆ９を区別する。各分光フィルタ部Ｆ１〜Ｆ９は、それぞれ瞳分割フィルタ１４の各光学領域Ｓ１〜Ｓ９に対応する。すなわち、第１分光フィルタ部Ｆ１は第１光学領域Ｓ１に対応し、第２分光フィルタ部Ｆ２は第２光学領域Ｓ２に対応し、第３分光フィルタ部Ｆ３は第３光学領域Ｓ３に対応し、第４分光フィルタ部Ｆ４は第４光学領域Ｓ４に対応し、第５分光フィルタ部Ｆ５は第５光学領域Ｓ５に対応し、第６分光フィルタ部Ｆ６は第６光学領域Ｓ６に対応し、第７分光フィルタ部Ｆ７は第７光学領域Ｓ７に対応し、第８分光フィルタ部Ｆ８は第８光学領域Ｓ８に対応し、第９分光フィルタ部Ｆ９は第９光学領域Ｓ９に対応する。
【００４８】
各分光フィルタ部Ｆ１〜Ｆ９は、それぞれ異なる波長帯域の光を透過させる構成を有する。すなわち、それぞれ異なる分光透過率特性を有する。
【００４９】
図４は、各分光フィルタ部に設定される透過波長の一例を示すグラフである。
【００５０】
第１分光フィルタ部Ｆ１が透過させる光の波長帯域を第１の波長帯域Δｆ１、第２分光フィルタ部Ｆ２が透過させる光の波長帯域を第２の波長帯域Δｆ２、第３分光フィルタ部Ｆ３が透過させる光の波長帯域を第３の波長帯域Δｆ３、第４分光フィルタ部Ｆ４が透過させる光の波長帯域を第４の波長帯域Δｆ４、第５分光フィルタ部Ｆ５が透過させる光の波長帯域を第５の波長帯域Δｆ５、第６分光フィルタ部Ｆ６が透過させる光の波長帯域を第６の波長帯域Δｆ６、第７分光フィルタ部Ｆ７が透過させる光の波長帯域を第７の波長帯域Δｆ７、第８分光フィルタ部Ｆ８が透過させる光の波長帯域を第８の波長帯域Δｆ８、第９分光フィルタ部Ｆ９が透過させる光の波長帯域を第９の波長帯域Δｆ９とする。本実施の形態の撮像装置１では、各分光フィルタ部Ｆ１〜Ｆ９が、狭帯域の光、特に、特定の波長帯域内の９つの帯域を透過する設定とされる。
【００５１】
図５は、偏光フィルタの正面図である。
【００５２】
偏光フィルタ１８は、周方向に３等分割された３つの偏光フィルタ部Ｇ１〜Ｇ３を有する。以下、必要に応じて、符号Ｇ１の偏光フィルタ部を第１偏光フィルタ部Ｇ１、符号Ｇ２の偏光フィルタ部を第２偏光フィルタ部Ｇ２、符号Ｇ３の偏光フィルタ部を第３偏光フィルタ部Ｇ３として、３つの偏光フィルタ部Ｇ１〜Ｇ３を区別する。第１偏光フィルタ部Ｇ１は、瞳分割フィルタ１４の第１光学領域Ｓ１〜第３光学領域Ｓ３に対応し、第２偏光フィルタ部Ｇ２は、瞳分割フィルタ１４の第４光学領域Ｓ４〜第６光学領域Ｓ６に対応し、第３偏光フィルタ部Ｇ３は、瞳分割フィルタ１４の第７光学領域Ｓ７〜第９光学領域Ｓ９に対応する。
【００５３】
図６は、偏光フィルタの各偏光フィルタ部に設定される偏光方向の一例を示す図である。
【００５４】
偏光方向（透過偏光方位）は、光軸Ｌと直交するＸＹ平面において、偏光透過軸がＸ軸と成す角度（方位角）によって表わされる。図６において、符号Ａａは、第１偏光フィルタ部Ｇ１の偏光透過軸を示し、符号Ａｂは、第２偏光フィルタ部Ｇ２の偏光透過軸を示し、符号Ａｃは、第３偏光フィルタ部Ｇ３の偏光透過軸を示している。図６に示すように、各偏光フィルタ部Ｇ１〜Ｇ３は、それぞれ異なる偏光方向（透過偏光方位）の光を透過させる構成を有する。第１偏光フィルタ部Ｇ１が透過させる光の偏光方向（透過偏光方位）をα１、第２偏光フィルタ部Ｇ２が透過させる光の偏光方向（透過偏光方位）をα２、第３偏光フィルタ部Ｇ３が透過させる光の偏光方向（透過偏光方位）をα３とする。本実施の形態の撮像装置１では、第１偏光フィルタ部Ｇ１が、方位角０°（α１＝０°）の光を透過する設定とされ、第２偏光フィルタ部Ｇ２が方位角６０°（α２＝６０°）の光を透過する設定とされ、第３偏光フィルタ部Ｇ３が方位角１２０°（α３＝１２０°）の光を透過する設定とされる。
【００５５】
以上の構成の分光フィルタ１６及び偏光フィルタ１８を同軸上に重ね合わせることで、瞳分割フィルタ１４が構成される。この瞳分割フィルタ１４は、次のように作用する。すなわち、瞳分割フィルタ１４の第１光学領域Ｓ１を通過する光は、分光フィルタ１６の第１分光フィルタ部Ｆ１及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第１光学領域Ｓ１からは、第１の波長帯域Δｆ１の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第２光学領域Ｓ２を通過する光は、分光フィルタ１６の第２分光フィルタ部Ｆ２及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第２光学領域Ｓ２からは、第２の波長帯域Δｆ２の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第３光学領域Ｓ３を通過する光は、分光フィルタ１６の第３分光フィルタ部Ｆ３及び偏光フィルタ１８の第１偏光フィルタ部Ｇ１を通過する。よって、第３光学領域Ｓ３からは、第３の波長帯域Δｆ３の光が、偏光方向α１に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第４光学領域Ｓ４を通過する光は、分光フィルタ１６の第４分光フィルタ部Ｆ４及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第４光学領域Ｓ４からは、第４の波長帯域Δｆ４の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第５光学領域Ｓ５を通過する光は、分光フィルタ１６の第５分光フィルタ部Ｆ５及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第５光学領域Ｓ５からは、第５の波長帯域Δｆ５の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第６光学領域Ｓ６を通過する光は、分光フィルタ１６の第６分光フィルタ部Ｆ６及び偏光フィルタ１８の第２偏光フィルタ部Ｇ２を通過する。よって、第６光学領域Ｓ６からは、第６の波長帯域Δｆ６の光が、偏光方向α２に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第７光学領域Ｓ７を通過する光は、分光フィルタ１６の第７分光フィルタ部Ｆ７及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第７光学領域Ｓ７からは、第７の波長帯域Δｆ７の光が、偏光方向α３に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第８光学領域Ｓ８を通過する光は、分光フィルタ１６の第８分光フィルタ部Ｆ８及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第８光学領域Ｓ８からは、第８の波長帯域Δｆ８の光が、偏光方向α３に偏光（直線偏光）されて出射される。また、瞳分割フィルタ１４の第９光学領域Ｓ９を通過する光は、分光フィルタ１６の第９分光フィルタ部Ｆ９及び偏光フィルタ１８の第３偏光フィルタ部Ｇ３を通過する。よって、第９光学領域Ｓ９からは、第９の波長帯域Δｆ９の光が、偏光方向α３に偏光（直線偏光）されて出射される。
【００５６】
光学系１０は、全体が光軸Ｌに沿って前後移動可能に設けられる。これにより、焦点調節が行われる。
【００５７】
〔イメージセンサ〕
図７は、イメージセンサの画素の配列の概略構成を示す図である。
【００５８】
同図に示すように、イメージセンサ１００は、その受光面に複数の画素Ｐｉ（ｉ＝１、２、３、４、５、６、７、８、９）を有する。画素Ｐｉは、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って、一定ピッチで規則的に配列される。
【００５９】
本実施の形態のイメージセンサ１００は、隣接する９個（３個×３個）の画素Ｐｉで１つの画素ブロックＰＢ（ｘ、ｙ）を構成し、この画素ブロックＰＢ（ｘ、ｙ）が、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配列される。以下、必要に応じて、符号Ｐ１の画素を第１画素Ｐ１、符号Ｐ２の画素を第２画素Ｐ２、符号Ｐ３の画素を第３画素Ｐ３、符号Ｐ４の画素を第４画素Ｐ４、符号Ｐ５の画素を第５画素Ｐ５、符号Ｐ６の画素を第６画素Ｐ６、符号Ｐ７の画素を第７画素Ｐ７、符号Ｐ８の画素を第８画素Ｐ８、符号Ｐ９の画素を第９画素Ｐ９として、１つの画素ブロックＰＢ（ｘ、ｙ）に備えられる９個の画素を区別する。各画素Ｐｉは、それぞれ異なる特性の光を受光する。
【００６０】
図８は、イメージセンサの概略構成を示す図である。図９は、１つの画素（図８の破線部）の概略構成を示す断面図である。
【００６１】
イメージセンサ１００は、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０及びマイクロレンズアレイ層１４０を有する。各層は、像面側から物体側に向かって、ピクセルアレイ層１１０、偏光フィルタ素子アレイ層１２０、分光フィルタ素子アレイ層１３０、マイクロレンズアレイ層１４０の順に配置される。
【００６２】
ピクセルアレイ層１１０は、多数のフォトダイオード１１２を二次元的に配列して構成される。１つのフォトダイオード１１２は、１つの画素を構成する。各フォトダイオード１１２は、水平方向（ｘ方向）及び垂直方向（ｙ方向）に沿って規則的に配置される。
【００６３】
偏光フィルタ素子アレイ層１２０は、互いに偏光方向（透過偏光方位）の異なる３種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを二次元的に配列して構成される。以下、必要に応じて、符号１２２Ａの偏光フィルタ素子を第１偏光フィルタ素子１２２Ａ、符号１２２Ｂの偏光フィルタ素子を第２偏光フィルタ素子１２２Ｂ、符号１２２Ｃの偏光フィルタ素子を第３偏光フィルタ素子１２２Ｃとして、３種類の偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを区別する。各偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。第１偏光フィルタ素子１２２Ａが透過させる光の偏光方向（透過偏光方位）をβ１、第２偏光フィルタ素子１２２Ｂが透過させる光の偏光方向（透過偏光方位）をβ２、第３偏光フィルタ素子１２２Ｃが透過させる光の偏光方向（透過偏光方位）をβ３とする。本実施の形態の撮像装置１では、第１偏光フィルタ素子１２２Ａが、方位角０°（β＝０°）の光を透過する設定とされ、第２偏光フィルタ素子１２２Ｂが方位角６０°（β２＝６０°）の光を透過する設定とされ、第３偏光フィルタ素子１２２Ｃが方位角１２０°（β３＝１２０°）の光を透過する設定とされる。偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、第２光学フィルタ素子の一例である。
【００６４】
各画素ブロックＰＢ（ｘ、ｙ）において、偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃは、規則的に配列される。
【００６５】
図１０は、各画素ブロックに備えられる偏光フィルタ素子の配列パターンの一例を示す図である。
【００６６】
同図に示すように、本実施の形態の撮像装置１では、画素ブロック内の第１列目の画素である第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７に第１偏光フィルタ素子１２２Ａが備えられ、画素ブロック内の第２列目の画素である第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８に第２偏光フィルタ素子１２２Ｂが備えられ、画素ブロック内の第３列目の画素である第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９に第３偏光フィルタ素子１２２Ｃが備えられる。
【００６７】
分光フィルタ素子アレイ層１３０は、互いに分光透過率の異なる３種類の分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを二次元的に配列して構成される。以下、必要に応じて、符号１３２Ａの分光フィルタ素子を第１分光フィルタ素子１３２Ａ、符号１３２Ｂの分光フィルタ素子を第２分光フィルタ素子１３２Ｂ、符号１３２Ｃの分光フィルタ素子を第３分光フィルタ素子１３２Ｃとして、３種類の分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを区別する。各分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、フォトダイオード１１２と同じ間隔で配置され、画素ごとに備えられる。分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、第１光学フィルタ素子の一例である。
【００６８】
図１１は、各分光フィルタ素子の分光透過率の設定の一例を示すグラフである。
【００６９】
同図において、実線で示すグラフＴ１は、第１分光フィルタ素子１３２Ａの分光透過率のグラフである。また、破線で示すグラフＴ２は、第２分光フィルタ素子１３２Ｂの分光透過率のグラフである。また、一点破線で示すグラフＴ３は、第３分光フィルタ素子１３２Ｃの分光透過率のグラフである。
【００７０】
図１１に示すように、各分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、光学系１０に備えられた分光フィルタ１６の各分光フィルタ部Ｆ１〜Ｆ９を透過する光が異なる透過率で透過する構成を有する。特に、本実施の形態の撮像装置１では、第１分光フィルタ素子１３２Ａは、短い波長帯域の光をより多く透過させる特性を有し、第２分光フィルタ素子１３２Ｂは、中間の波長帯域の光をより多く透過させる特性を有し、第３分光フィルタ素子１３２Ｃは、長い波長帯域の光をより多く透過させる特性を有する。
【００７１】
図１２は、各画素ブロックに備えられる分光フィルタ素子の配列パターンの一例を示す図である。
【００７２】
同図に示すように、各画素ブロックＰＢ（ｘ、ｙ）において、分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃは、規則的に配列される。本実施の形態の撮像装置１では、画素ブロック内の第１行目の画素である第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３に第１分光フィルタ素子１３２Ａが備えられ、画素ブロック内の第２行目の画素である第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６に第２分光フィルタ素子１３２Ｂが備えられ、画素ブロック内の第３行目の画素である第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９に第３分光フィルタ素子１３２Ｃが備えられる。
【００７３】
マイクロレンズアレイ層１４０は、多数のマイクロレンズ１４２を二次元的に配列して構成される。各マイクロレンズ１４２は、フォトダイオード１１２と同じ間隔で配置され、１画素ごとに備えられる。マイクロレンズ１４２は、光学系１０からの光をフォトダイオード１１２に効率よく集光させる目的で備えられる。
【００７４】
以上のように構成されるイメージセンサ１００は、各画素ブロックＰＢ（ｘ、ｙ）において、各画素Ｐｉが、次のように光学系１０からの光を受光する。すなわち、第１画素Ｐ１は、第１分光フィルタ素子１３２Ａ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第３画素Ｐ３は、第１分光フィルタ素子１３２Ａ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。また、第４画素Ｐ４は、第２分光フィルタ素子１３２Ｂ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第５画素Ｐ５は、第２分光フィルタ素子１３２Ｂ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第６画素Ｐ６は、第２分光フィルタ素子１３２Ｂ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。また、第７画素Ｐ７は、第３分光フィルタ素子１３２Ｃ及び第１偏光フィルタ素子１２２Ａを介して、光学系１０からの光を受光する。また、第８画素Ｐ８は、第３分光フィルタ素子１３２Ｃ及び第２偏光フィルタ素子１２２Ｂを介して、光学系１０からの光を受光する。また、第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃ及び第３偏光フィルタ素子１２２Ｃを介して、光学系１０からの光を受光する。このように、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉは、異なる組み合わせの分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃと偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃを有することにより、それぞれ異なる特性の光を受光する。
【００７５】
〔信号処理部〕
信号処理部２００は、イメージセンサ１００から出力される信号を処理して、光学系１０の各光学領域Ｓｊで取得される画像データを生成する。
【００７６】
図１３は、信号処理部の概略構成を示すブロック図である。
【００７７】
同図に示すように、信号処理部２００は、アナログ信号処理部２００Ａ、画像生成部２００Ｂ及び係数記憶部２００Ｃを含む。
【００７８】
アナログ信号処理部２００Ａは、イメージセンサ１００の各画素から出力されるアナログの画素信号を取り込み、所定の信号処理（たとえば、相関二重サンプリング処理、増幅処理等）を施した後、デジタル信号に変換して出力する。
【００７９】
画像生成部２００Ｂは、デジタル信号に変換された後の画素信号に所定の信号処理を施して、各光学領域Ｓｊに対応した画像データを生成する。すなわち、各光学領域Ｓｊで取得される画像の画像データを生成する。
【００８０】
図１４は、画像生成の概念図である。
【００８１】
各画素ブロックＰＢ（ｘ，ｙ）には、第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９が含まれる。したがって、各画素ブロックＰＢ（ｘ，ｙ）から第１画素Ｐ１、第２画素Ｐ２、第３画素Ｐ３、第４画素Ｐ４、第５画素Ｐ５、第６画素Ｐ６、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９の画素信号を分離して抽出することにより、９つの画像データＤ１〜Ｄ９が生成される。
【００８２】
すなわち、各画素ブロックＰＢ（ｘ，ｙ）から第１画素Ｐ１の画素信号を分離して抽出することにより、第１の画像データＤ１が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第２画素Ｐ２の画素信号を分離して抽出することにより、第２の画像データＤ２が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第３画素Ｐ３の画素信号を分離して抽出することにより、第３の画像データＤ３が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第４画素Ｐ４の画素信号を分離して抽出することにより、第４の画像データＤ４が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第５画素Ｐ５の画素信号を分離して抽出することにより、第５の画像データＤ５が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第６画素Ｐ６の画素信号を分離して抽出することにより、第６の画像データＤ６が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第７画素Ｐ７の画素信号を分離して抽出することにより、第７の画像データＤ７が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第８画素Ｐ８の画素信号を分離して抽出することにより、第８の画像データＤ８が生成される。また、各画素ブロックＰＢ（ｘ，ｙ）から第９画素Ｐ９の画素信号を分離して抽出することにより、第９の画像データＤ９が生成される。
【００８３】
しかし、この９つの画像データＤ１〜Ｄ９には、混信（クロストーク）が生じている。すなわち、各画素Ｐｉには、光学系１０の各光学領域Ｓｊからの光が入射するため、生成される画像は、各光学領域Ｓｊの画像が所定の割合で混合した画像となる。このため、画像生成部２００Ｂは、次の演算処理を行って、混信（クロストーク）を除去する。
【００８４】
いま、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１で得られる画素信号（信号値）をｘ１、第２画素Ｐ２で得られる画素信号をｘ２、第３画素Ｐ３で得られる画素信号をｘ３、第４画素Ｐ４で得られる画素信号をｘ４、第５画素Ｐ５で得られる画素信号をｘ５、第６画素Ｐ６で得られる画素信号をｘ６、第７画素Ｐ７で得られる画素信号をｘ７、第８画素Ｐ８で得られる画素信号をｘ８、第９画素Ｐ９で得られる画素信号をｘ９、とする。各画素ブロックＰＢ（ｘ，ｙ）からは、９個の画素信号ｘ１〜ｘ９が得られる。画像生成部２００Ｂは、この９個の画素信号ｘ１〜ｘ９から、行列Ａを用いた下記の式１によって、各光学領域Ｓ１〜Ｓ９に対応した９個の画素信号Ｘ１〜Ｘ９を算出し、混信を除去する。
【００８５】
【数２】
0006908793.tif 000003
【００８６】
【数３】
0006908793.tif 000004
【００８７】
なお、画素信号Ｘ１は第１光学領域Ｓ１に対応した画素信号、画素信号Ｘ２は第２光学領域Ｓ２に対応した画素信号、画素信号Ｘ３は第３光学領域Ｓ３に対応した画素信号、画素信号Ｘ４は第４光学領域Ｓ４に対応した画素信号、画素信号Ｘ５は第５光学領域Ｓ５に対応した画素信号、画素信号Ｘ６は第６光学領域Ｓ６に対応した画素信号、画素信号Ｘ７は第７光学領域Ｓ７に対応した画素信号、画素信号Ｘ８は第８光学領域Ｓ８に対応した画素信号、画素信号Ｘ９は第９光学領域Ｓ９に対応した画素信号である。したがって、画素信号Ｘ１からは第１光学領域Ｓ１で取得される画像が生成され、画素信号Ｘ２からは第２光学領域Ｓ２で取得される画像が生成され、画素信号Ｘ３からは第３光学領域Ｓ３で取得される画像が生成され、画素信号Ｘ４からは第４光学領域Ｓ４で取得される画像が生成され、画素信号Ｘ５からは第５光学領域Ｓ５で取得される画像が生成され、画素信号Ｘ６からは第６光学領域Ｓ６で取得される画像が生成され、画素信号Ｘ７からは第７光学領域Ｓ７で取得される画像が生成され、画素信号Ｘ８からは第８光学領域Ｓ８で取得される画像が生成され、画素信号Ｘ９からは第９光学領域Ｓ９で取得される画像が生成される。
【００８８】
以下、上記式１によって混信を除去できる理由について説明する。
【００８９】
混信は、各画素Ｐｉに各光学領域Ｓｊからの光が混入することで発生する。いま、光学系１０の第ｊ光学領域Ｓｊ（ｊ＝１〜９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１〜９）で受光される割合（混信量（混信比率ともいう））をｂｉｊ（ｉ＝１〜９、ｊ＝１〜９）とすると、各画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐｉで得られる画素信号ｘｉと、光学系１０の各光学領域Ｓｊに対応する画素信号Ｘｊとの間には、次の関係が成り立つ。
【００９０】
すなわち、第１画素Ｐ１で得られる画素信号ｘ１に関して、次式２が成り立つ（「＊」は、積算の記号）。
【００９１】
ｂ１１＊Ｘ１＋ｂ１２＊Ｘ２＋ｂ１３＊Ｘ３＋ｂ１４＊Ｘ４＋ｂ１５＊Ｘ５＋ｂ１６＊Ｘ６＋ｂ１７＊Ｘ７＋ｂ１８＊Ｘ８＋ｂ１９＊Ｘ９＝ｘ１…式２
また、第２画素Ｐ２で得られる画素信号ｘ２に関して、次式３が成り立つ。
【００９２】
ｂ２１＊Ｘ１＋ｂ２２＊Ｘ２＋ｂ２３＊Ｘ３＋ｂ２４＊Ｘ４＋ｂ２５＊Ｘ５＋ｂ２６＊Ｘ６＋ｂ２７＊Ｘ７＋ｂ２８＊Ｘ８＋ｂ２９＊Ｘ９＝ｘ２…式３
また、第３画素Ｐ３で得られる画素信号ｘ３に関して、次式４が成り立つ。
【００９３】
ｂ３１＊Ｘ１＋ｂ３２＊Ｘ２＋ｂ３３＊Ｘ３＋ｂ３４＊Ｘ４＋ｂ３５＊Ｘ５＋ｂ３６＊Ｘ６＋ｂ３７＊Ｘ７＋ｂ３８＊Ｘ８＋ｂ３９＊Ｘ９＝ｘ３…式４
また、第４画素Ｐ４で得られる画素信号ｘ４に関して、次式５が成り立つ。
【００９４】
ｂ４１＊Ｘ１＋ｂ４２＊Ｘ２＋ｂ４３＊Ｘ３＋ｂ４４＊Ｘ４＋ｂ４５＊Ｘ５＋ｂ４６＊Ｘ６＋ｂ４７＊Ｘ７＋ｂ４８＊Ｘ８＋ｂ４９＊Ｘ９＝ｘ４…式５
また、第５画素Ｐ５で得られる画素信号ｘ５に関して、次式６が成り立つ。
【００９５】
ｂ５１＊Ｘ１＋ｂ５２＊Ｘ２＋ｂ５３＊Ｘ３＋ｂ５４＊Ｘ４＋ｂ５５＊Ｘ５＋ｂ５６＊Ｘ６＋ｂ５７＊Ｘ７＋ｂ５８＊Ｘ８＋ｂ５９＊Ｘ９＝ｘ５…式６
また、第６画素Ｐ６で得られる画素信号ｘ６に関して、次式７が成り立つ。
【００９６】
ｂ６１＊Ｘ１＋ｂ６２＊Ｘ２＋ｂ６３＊Ｘ３＋ｂ６４＊Ｘ４＋ｂ６５＊Ｘ５＋ｂ６６＊Ｘ６＋ｂ６７＊Ｘ７＋ｂ６８＊Ｘ８＋ｂ６９＊Ｘ９＝ｘ６…式７
また、第７画素Ｐ７で得られる画素信号ｘ７に関して、次式８が成り立つ。
【００９７】
ｂ７１＊Ｘ１＋ｂ７２＊Ｘ２＋ｂ７３＊Ｘ３＋ｂ７４＊Ｘ４＋ｂ７５＊Ｘ５＋ｂ７６＊Ｘ６＋ｂ７７＊Ｘ７＋ｂ７８＊Ｘ８＋ｂ７９＊Ｘ９＝ｘ７…式８
また、第８画素Ｐ８で得られる画素信号ｘ８に関して、次式９が成り立つ。
【００９８】
ｂ８１＊Ｘ１＋ｂ８２＊Ｘ２＋ｂ８３＊Ｘ３＋ｂ８４＊Ｘ４＋ｂ８５＊Ｘ５＋ｂ８６＊Ｘ６＋ｂ８７＊Ｘ７＋ｂ８８＊Ｘ８＋ｂ８９＊Ｘ９＝ｘ８…式９
また、第９画素Ｐ９で得られる画素信号ｘ９に関して、次式１０が成り立つ。
【００９９】
ｂ９１＊Ｘ１＋ｂ９２＊Ｘ２＋ｂ９３＊Ｘ３＋ｂ９４＊Ｘ４＋ｂ９５＊Ｘ５＋ｂ９６＊Ｘ６＋ｂ９７＊Ｘ７＋ｂ９８＊Ｘ８＋ｂ９９＊Ｘ９＝ｘ９…式１０
Ｘ１〜Ｘ９について、式２〜１０の連立方程式を解くことで、元の画像の画素信号、すなわち、各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を取得できる。
【０１００】
ここで、上記の連立方程式は、行列Ｂを用いた下記の式１１で表わすことができる。
【０１０１】
【数４】
0006908793.tif 000005
【０１０２】
【数５】
0006908793.tif 000006
【０１０３】
式２〜１０の連立方程式の解であるＸ１〜Ｘ９は、上記式１１の両辺に行列Ｂの逆行列Ｂ−１をかけることで算出される。
【０１０４】
【数６】
0006908793.tif 000007
【０１０５】
このように、各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９は、光学系１０の各光学領域Ｓ１〜Ｓ９に入射した光が、画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐ１〜Ｐ９で受光される割合に基づいて、各画素Ｐ１〜Ｐ９の信号値（画素信号）ｘ１〜ｘ９から算出できる。
【０１０６】
上記式１は、上記式１２の逆行列Ｂ −１を行列Ａとしたものである（Ｂ −１＝Ａ）。したがって、式１２における行列Ａの各要素ａｉｊは、行列Ｂの逆行列Ｂ −１を求めることで取得できる。行列Ｂの各要素ｂｉｊ（ｉ＝１〜９、ｊ＝１〜９）は、光学系１０の第ｊ光学領域Ｓｊ（ｊ＝１〜９）に入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉ（ｉ＝１〜９）で受光される割合（混信量）である。この割合は、偏光に基づく透過率をｃ、分光透過率に基づく透過率をｄとした場合に、透過率ｃと透過率ｄとの積で算出される。
【０１０７】
ここで、偏光に基づく透過率ｃは、光学領域を透過する光の透過偏光方位と画素が受光する光の透過偏光方位との角度差の余弦の二乗で算出される。
【０１０８】
また、分光透過率に基づく透過率ｄは、光学領域を透過する光の波長帯域と画素に備えられた分光フィルタ素子の分光透過率とに基づいて求められる。
【０１０９】
たとえば、光学系１０の第ｊ光学領域Ｓｊとイメージセンサ１００の第ｉ画素Ｐｉとの関係において、偏光に基づく透過率ｃは、第ｊ光学領域Ｓｊを透過する光の透過偏光方位をθｊ、第ｉ画素Ｐｉが受光する光の透過偏光方位をΦｉとすると、その角度差（｜θｊ−Φｉ｜）の余弦（ｃｏｓ）の二乗（ｃｏｓ２（｜θｊ−Φｉ｜））で算出される。
【０１１０】
また、分光透過率に基づく透過率ｄは、第ｊ光学領域Ｓｊを透過する光の波長帯域と、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率と、に基づいて求められる。すなわち、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率に基づいて、第ｊ光学領域Ｓｊを透過する光の波長帯域から求められる。
【０１１１】
本実施の形態の撮像装置１において、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３を透過する光の透過偏光方位はα１、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６を透過する光の透過偏光方位はα２、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９を透過する光の透過偏光方位はα３である。また、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１、第４画素Ｐ４及び第７画素Ｐ７で受光される光の透過偏光方位はβ１、第２画素Ｐ２、第５画素Ｐ５及び第８画素Ｐ８で受光される光の透過偏光方位はβ２、第３画素Ｐ３、第６画素Ｐ６及び第９画素Ｐ９で受光される光の透過偏光方位はβ３である。
【０１１２】
よって、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α１−β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α１−β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α１−β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α１−β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α１−β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α１−β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α１−β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α１−β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α１−β３｜））で算出される。
【０１１３】
また、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α２−β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α２−β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α２−β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α２−β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α２−β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α２−β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α２−β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α２−β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α２−β３｜））で算出される。
【０１１４】
また、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝（ｃｏｓ２（｜α３−β１｜））、第２画素Ｐ２に関して、ｃ＝（ｃｏｓ２（｜α３−β２｜））、第３画素Ｐ３に関して、ｃ＝（ｃｏｓ２（｜α３−β３｜））、第４画素Ｐ４に関して、ｃ＝（ｃｏｓ２（｜α３−β１｜））、第５画素Ｐ５に関して、ｃ＝（ｃｏｓ２（｜α３−β２｜））、第６画素Ｐ６に関して、ｃ＝（ｃｏｓ２（｜α３−β３｜））、第７画素Ｐ７に関して、ｃ＝（ｃｏｓ２（｜α３−β１｜））、第８画素Ｐ８に関して、ｃ＝（ｃｏｓ２（｜α３−β２｜））、第９画素Ｐ９に関して、ｃ＝（ｃｏｓ２（｜α３−β３｜））で算出される。
【０１１５】
本実施の形態では、α１＝０°、α２＝６０°、α３＝１２０°、β１＝０°、β２＝６０°、β３＝１２０°であるので、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝１、第２画素Ｐ２に関して、ｃ＝０．２５、第３画素Ｐ３に関して、ｃ＝０．２５、第４画素Ｐ４に関して、ｃ＝１、第５画素Ｐ５に関して、ｃ＝０．２５、第６画素Ｐ６に関して、ｃ＝０．２５、第７画素Ｐ７に関して、ｃ＝１、第８画素Ｐ８に関して、ｃ＝０．２５、第９画素Ｐ９に関して、ｃ＝０．２５となる。また、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝０．２５、第２画素Ｐ２に関して、ｃ＝１、第３画素Ｐ３に関して、ｃ＝０．２５、第４画素Ｐ４に関して、ｃ＝０．２５、第５画素Ｐ５に関して、ｃ＝１、第６画素Ｐ６に関して、ｃ＝０．２５、第７画素Ｐ７に関して、ｃ＝０．２５、第８画素Ｐ８に関して、ｃ＝１、第９画素Ｐ９に関して、ｃ＝０．２５となる。また、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９と各画素Ｐ１〜Ｐ９との間の偏光に基づく透過率ｃは、第１画素Ｐ１に関して、ｃ＝０．２５、第２画素Ｐ２に関して、ｃ＝０．２５、第３画素Ｐ３に関して、ｃ＝１、第４画素Ｐ４に関して、ｃ＝０．２５、第５画素Ｐ５に関して、ｃ＝０．２５、第６画素Ｐ６に関して、ｃ＝１、第７画素Ｐ７に関して、ｃ＝０．２５、第８画素Ｐ８に関して、ｃ＝０．２５、第９画素Ｐ９に関して、ｃ＝１となる。
【０１１６】
第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の偏光に基づく透過率ｃについては、ｃｉｊ（ｉ＝１〜９、ｊ＝１〜９）を要素とする下記の９行９列の行列Ｃで表わされる。
【０１１７】
【数７】
0006908793.tif 000008
【０１１８】
本実施の形態の撮像装置１は、α１＝０°、α２＝６０°、α３＝１２０°、β１＝０°、β２＝６０°、β３＝１２０°であるので、行列Ｃは、次のようになる。
【０１１９】
【数８】
0006908793.tif 000009
【０１２０】
一方、分光透過率に基づく透過率ｄについては、ｄｉｊ（ｉ＝１〜９、ｊ＝１〜９）を要素とする下記の９行９列の行列Ｄで表わされる。
【０１２１】
【数９】
0006908793.tif 000010
【０１２２】
ここで、ｄｉｊは、第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の透過率である。この透過率は、第ｉ画素Ｐｉに備えられた分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃの分光透過率に基づいて、第ｊ光学領域Ｓｊを透過する光の波長帯域（中心波長又はピークの波長）から求められる。
【０１２３】
図１５は、各画素に備えられた分光フィルタ素子の分光透過率と光学系の各光学領域を透過する光の波長帯域との関係の一例を示すグラフである。
【０１２４】
上記のように、本実施の形態の撮像装置１では、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３に第１分光フィルタ素子１３２Ａが備えられる。したがって、第１画素Ｐ１、第２画素Ｐ２及び第３画素Ｐ３は、同じ分光透過率を有する（図１５において実線のグラフＴ１）。また、本実施の形態の撮像装置１では、第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６に第２分光フィルタ素子１３２Ｂが備えられる。第４画素Ｐ４、第５画素Ｐ５及び第６画素Ｐ６は、同じ分光透過率を有する（図１５において破線のグラフＴ２）。また、本実施の形態の撮像装置１では、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９に第３分光フィルタ素子１３２Ｃが備えられる。したがって、第７画素Ｐ７、第８画素Ｐ８及び第９画素Ｐ９は、同じ分光透過率を有する（図１５において一点破線のグラフＴ３）。
【０１２５】
図１５に示すグラフから、第１光学領域Ｓ１と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１１＝０．７、第２画素Ｐ２に関して、ｄ２１＝０．７、第３画素Ｐ３に関して、ｄ３１＝０．７、第４画素Ｐ４に関して、ｄ４１＝０．４、第５画素Ｐ５に関して、ｄ５１＝０．４、第６画素Ｐ６に関して、ｄ６１＝０．４、第７画素Ｐ７に関して、ｄ７１＝０．３、第８画素Ｐ８に関して、ｄ８１＝０．３、第９画素Ｐ９に関して、ｄ９１＝０．３となる。
【０１２６】
また、第２光学領域Ｓ２と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１２＝０．７５、第２画素Ｐ２に関して、ｄ２２＝０．７５、第３画素Ｐ３に関して、ｄ３２＝０．７５、第４画素Ｐ４に関して、ｄ４２＝０．６、第５画素Ｐ５に関して、ｄ５２＝０．６、第６画素Ｐ６に関して、ｄ６２＝０．６、第７画素Ｐ７に関して、ｄ７２＝０．４、第８画素Ｐ８に関して、ｄ８２＝０．４、第９画素Ｐ９に関して、ｄ９２＝０．４となる。
【０１２７】
また、第３光学領域Ｓ３と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１３＝０．７２、第２画素Ｐ２に関して、ｄ２３＝０．７２、第３画素Ｐ３に関して、ｄ３３＝０．７２、第４画素Ｐ４に関して、ｄ４３＝０．７３、第５画素Ｐ５に関して、ｄ５３＝０．７３、第６画素Ｐ６に関して、ｄ６３＝０．７３、第７画素Ｐ７に関して、ｄ７３＝０．４５、第８画素Ｐ８に関して、ｄ８３＝０．４５、第９画素Ｐ９に関して、ｄ９３＝０．４５となる。
【０１２８】
また、第４光学領域Ｓ４と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１４＝０．６４、第２画素Ｐ２に関して、ｄ２４＝０．６４、第３画素Ｐ３に関して、ｄ３４＝０．６４、第４画素Ｐ４に関して、ｄ４４＝０．８、第５画素Ｐ５に関して、ｄ５４＝０．８、第６画素Ｐ６に関して、ｄ６４＝０．８、第７画素Ｐ７に関して、ｄ７４＝０．５、第８画素Ｐ８に関して、ｄ８４＝０．５、第９画素Ｐ９に関して、ｄ９４＝０．５となる。
【０１２９】
また、第５光学領域Ｓ５と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１５＝０．５５、第２画素Ｐ２に関して、ｄ２５＝０．５５、第３画素Ｐ３に関して、ｄ３５＝０．５５、第４画素Ｐ４に関して、ｄ４５＝０．８５、第５画素Ｐ５に関して、ｄ５５＝０．８５、第６画素Ｐ６に関して、ｄ６５＝０．８５、第７画素Ｐ７に関して、ｄ７５＝０．５５、第８画素Ｐ８に関して、ｄ８５＝０．５５、第９画素Ｐ９に関して、ｄ９５＝０．５５となる。
【０１３０】
また、第６光学領域Ｓ６と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１６＝０．４７、第２画素Ｐ２に関して、ｄ２６＝０．４７、第３画素Ｐ３に関して、ｄ３６＝０．４７、第４画素Ｐ４に関して、ｄ４６＝０．８１、第５画素Ｐ５に関して、ｄ５６＝０．８１、第６画素Ｐ６に関して、ｄ６６＝０．８１、第７画素Ｐ７に関して、ｄ７６＝０．６、第８画素Ｐ８に関して、ｄ８６＝０．６、第９画素Ｐ９に関して、ｄ９６＝０．６となる。
【０１３１】
また、第７光学領域Ｓ７と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１７＝０．４、第２画素Ｐ２に関して、ｄ２７＝０．４、第３画素Ｐ３に関して、ｄ３７＝０．４、第４画素Ｐ４に関して、ｄ４７＝０．７、第５画素Ｐ５に関して、ｄ５７＝０．７、第６画素Ｐ６に関して、ｄ６７＝０．７、第７画素Ｐ７に関して、ｄ７７＝０．６７、第８画素Ｐ８に関して、ｄ８７＝０．６７、第９画素Ｐ９に関して、ｄ９７＝０．６７となる。
【０１３２】
また、第８光学領域Ｓ８と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１８＝０．３５、第２画素Ｐ２に関して、ｄ２８＝０．３５、第３画素Ｐ３に関して、ｄ３８＝０．３５、第４画素Ｐ４に関して、ｄ４８＝０．５６、第５画素Ｐ５に関して、ｄ５８＝０．５６、第６画素Ｐ６に関して、ｄ６８＝０．５６、第７画素Ｐ７に関して、ｄ７８＝０．７、第８画素Ｐ８に関して、ｄ８８＝０．７、第９画素Ｐ９に関して、ｄ９８＝０．７となる。
【０１３３】
また、第９光学領域Ｓ９と各画素Ｐ１〜Ｐ９との間における分光透過率に基づく透過率は、第１画素Ｐ１に関して、ｄ１９＝０．２５、第２画素Ｐ２に関して、ｄ２９＝０．２５、第３画素Ｐ３に関して、ｄ３９＝０．２５、第４画素Ｐ４に関して、ｄ４９＝０．４、第５画素Ｐ５に関して、ｄ５９＝０．４、第６画素Ｐ６に関して、ｄ６９＝０．４、第７画素Ｐ７に関して、ｄ７９＝０．６、第８画素Ｐ８に関して、ｄ８９＝０．６、第９画素Ｐ９に関して、ｄ９９＝０．６となる。
【０１３４】
よって、本実施の形態の撮像装置１では、行列Ｄは次のようになる。
【０１３５】
【数１０】
0006908793.tif 000011
【０１３６】
上記のように、光学系１０の第ｊ光学領域Ｓｊに入射した光が、各画素ブロックＰＢ（ｘ、ｙ）の第ｉ画素Ｐｉで受光される割合ｂｉｊは、偏光に基づく透過率ｃｉｊと分光透過率に基づく透過率ｄｉｊとの積（ｂｉｊ＝ｃｉｊ＊ｄｉｊ）で算出される。したがって、ｂｉｊを要素とする行列Ｂは、行列Ｃと行列Ｄとのアダマール積で表わされる。
【０１３７】
【数１１】
0006908793.tif 000012
【０１３８】
【数１２】
0006908793.tif 000013
【０１３９】
【数１３】
0006908793.tif 000014
【０１４０】
本実施の形態の撮像装置１では、行列Ｂの各要素ｂｉｊが次のように算出される。
【０１４１】
【数１４】
0006908793.tif 000015
【０１４２】
この行列Ｂには、逆行列Ｂ−１が存在する。すなわち、行列Ｂは、同じ要素の並びとなる行及び列が存在しないので、逆行列が存在する（行列Ｃは、同じ要素の並びとなる列が存在する（たとえば、第１列目、第４列目及び第６列目が同じ要素の並びとなっており、第２列目、第５列目及び第７列目が同じ要素の並びとなっており、第３列目、第６列目及び第９列目が同じ要素の並びとなっている。）。また、行列Ｄは、同じ要素の並びとなる行が存在する（たとえば、第１行目〜第３行目が同じ要素の並びとなっており、第４行目〜第６行目が同じ要素の並びとなっており、第７行目〜第９行目が同じ要素の並びとなっている。）。しかしながら、行列Ｃと行列Ｄのアダマール積で求められる行列Ｂは、同じ要素の並びとなる行及び列が存在しない。よって、行列Ｂには逆行列Ｂ−１が存在する。）。
【０１４３】
行列Ｂの逆行列Ｂ−１は、次のとおりである。
【０１４４】
【数１５】
0006908793.tif 000016
【０１４５】
よって、本実施の形態の撮像装置１において、各画素Ｐ１〜Ｐ９の画素信号ｘ１〜ｘ９から各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出する演算式は、次の式１３のようになる。
【０１４６】
【数１６】
0006908793.tif 000017
【０１４７】
係数記憶部２００Ｃは、この９行９列の行列Ａの各要素ａｉｊを係数群として記憶する。係数記憶部２００Ｃは、記憶部の一例である。
【０１４８】
画像生成部２００Ｂは、係数記憶部２００Ｃから係数群を取得し、各画素ブロックＰＢ（ｘ，ｙ）の各画素Ｐ１〜Ｐ９から得られる画素信号ｘ１〜ｘ９から、上記式１によって、光学系１０の各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出し、各光学領域Ｓ１〜Ｓ９の画像データを生成する。画像生成部２００Ｂは、演算部の一例である。
【０１４９】
画像生成部２００Ｂで生成された各光学領域Ｓ１〜Ｓ９の画像データは、外部に出力され、必要に応じて、記憶装置に記憶される。また、必要に応じてディスプレイ（不図示）に表示される。
【０１５０】
［動作］
図１６は、本実施の形態の撮像装置の動作の概念図である。
【０１５１】
被写体Ｏｂｊからの光は、光学系１０の各光学領域Ｓ１〜Ｓ９を通過して、イメージセンサ１００の各画素Ｐ１〜Ｐ９で受光される。
【０１５２】
この際、光学系１０の第１光学領域Ｓ１を通過した光は、被写体Ｏｂｊの第１の光学像ＯＩ１をイメージセンサ１００の受光面上に結像させる。この第１の光学像ＯＩ１は、所定の偏光方向（方位角α１）に直線偏光された第１の波長帯域Δｆ１の光による光学像となる。
【０１５３】
また、光学系１０の第２光学領域Ｓ２を通過した光は、被写体Ｏｂｊの第２の光学像ＯＩ２をイメージセンサ１００の受光面上に結像させる。この第２の光学像ＯＩ２は、所定の偏光方向（方位角α１）に直線偏光された第２の波長帯域Δｆ２の光による光学像となる。
【０１５４】
また、光学系１０の第３光学領域Ｓ３を通過した光は、被写体Ｏｂｊの第３の光学像ＯＩ３をイメージセンサ１００の受光面上に結像させる。この第３の光学像ＯＩ３は、所定の偏光方向（方位角α１）に直線偏光された第３の波長帯域Δｆ３の光による光学像となる。
【０１５５】
また、光学系１０の第４光学領域Ｓ４を通過した光は、被写体Ｏｂｊの第４の光学像ＯＩ４をイメージセンサ１００の受光面上に結像させる。この第４の光学像ＯＩ４は、所定の偏光方向（方位角α２）に直線偏光された第４の波長帯域Δｆ４の光による光学像となる。
【０１５６】
また、光学系１０の第５光学領域Ｓ５を通過した光は、被写体Ｏｂｊの第５の光学像ＯＩ５をイメージセンサ１００の受光面上に結像させる。この第５の光学像ＯＩ５は、所定の偏光方向（方位角α２）に直線偏光された第５の波長帯域Δｆ５の光による光学像となる。
【０１５７】
また、光学系１０の第６光学領域Ｓ６を通過した光は、被写体Ｏｂｊの第６の光学像ＯＩ６をイメージセンサ１００の受光面上に結像させる。この第６の光学像ＯＩ６は、所定の偏光方向（方位角α２）に直線偏光された第６の波長帯域Δｆ６の光による光学像となる。
【０１５８】
また、光学系１０の第７光学領域Ｓ７を通過した光は、被写体Ｏｂｊの第７の光学像ＯＩ７をイメージセンサ１００の受光面上に結像させる。この第７の光学像ＯＩ７は、所定の偏光方向（方位角α３）に直線偏光された第７の波長帯域Δｆ７の光による光学像となる。
【０１５９】
また、光学系１０の第８光学領域Ｓ８を通過した光は、被写体Ｏｂｊの第８の光学像ＯＩ８をイメージセンサ１００の受光面上に結像させる。この第８の光学像ＯＩ８は、所定の偏光方向（方位角α３）に直線偏光された第８の波長帯域Δｆ８の光による光学像となる。
【０１６０】
また、光学系１０の第９光学領域Ｓ９を通過した光は、被写体Ｏｂｊの第９の光学像ＯＩ９をイメージセンサ１００の受光面上に結像させる。この第９の光学像ＯＩ９は、所定の偏光方向（方位角α３）に直線偏光された第９の波長帯域Δｆ９の光による光学像となる。
【０１６１】
イメージセンサ１００は、光学系１０の各光学領域Ｓ１〜Ｓ９からの光を各画素Ｐ１〜Ｐ９で受光し、その受光量に応じた信号（画素信号）ｘ１〜ｘ９を信号処理部２００に出力する。
【０１６２】
この際、第１画素Ｐ１は、所定の分光透過率の第１分光フィルタ素子１３２Ａ（図１５のグラフＴ１参照）を介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ１を信号処理部２００に出力する。
【０１６３】
また、第２画素Ｐ２は、第１分光フィルタ素子１３２Ａを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ２を信号処理部２００に出力する。
【０１６４】
また、第３画素Ｐ３は、第１分光フィルタ素子１３２Ａを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ３を信号処理部２００に出力する。
【０１６５】
また、第４画素Ｐ４は、所定の分光透過率の第２分光フィルタ素子１３２Ｂ（図１５のグラフＴ２参照）を介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ４を信号処理部２００に出力する。
【０１６６】
また、第５画素Ｐ５は、第２分光フィルタ素子１３２Ｂを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ５を信号処理部２００に出力する。
【０１６７】
また、第６画素Ｐ６は、第２分光フィルタ素子１３２Ｂを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ６を信号処理部２００に出力する。
【０１６８】
また、第７画素Ｐ７は、所定の分光透過率の第３分光フィルタ素子１３２Ｃ（図１５のグラフＴ３参照）を介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第１偏光フィルタ素子１２２Ａを介して所定の偏光方向（方位角β１）の光を受光する。そして、その受光量に応じた画素信号ｘ７を信号処理部２００に出力する。
【０１６９】
また、第８画素Ｐ８は、第３分光フィルタ素子１３２Ｃを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第２偏光フィルタ素子１２２Ｂを介して所定の偏光方向（方位角β２）の光を受光する。そして、その受光量に応じた画素信号ｘ８を信号処理部２００に出力する。
【０１７０】
また、第９画素Ｐ９は、第３分光フィルタ素子１３２Ｃを介して各光学領域Ｓ１〜Ｓ９からの光を所定の透過率で受光し、かつ、第３偏光フィルタ素子１２２Ｃを介して所定の偏光方向（方位角β３）の光を受光する。そして、その受光量に応じた画素信号ｘ９を信号処理部２００に出力する。
【０１７１】
信号処理部２００は、イメージセンサ１００の各画素ブロックＰＢ（ｘ、ｙ）の各画素Ｐ１〜Ｐ９から得られる画素信号ｘ１〜ｘ９から光学系１０の各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出し、各光学領域Ｓ１〜Ｓ９で得られる画像ＩＤ１〜ＩＤ９の画像データを生成する。すなわち、行列Ａを用いた式１による演算処理を行って、イメージセンサ１００から得られる各画素Ｐ１〜Ｐ１の画素信号ｘ１〜ｘ９から各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出し、各光学領域Ｓ１〜Ｓ９で得られる画像ＩＤ１〜ＩＤ９の画像データを生成する。
【０１７２】
このように、本実施の形態の撮像装置１によれば、１つの光学系１０と１つのイメージセンサ１００で９つの波長帯域の画像（マルチスペクトル画像）を取得できる。また、イメージセンサ１００の各画素ブロックＰＢ（ｘ、ｙ）において、均一な条件で光学系１０からの光を入射できるので、高品質な画像を簡単に生成できる。
【０１７３】
［実施例］
瞳部分が９分割された上記実施の形態の撮像装置１において、光学系１０に備えられる分光フィルタ１６及び偏光フィルタ１８、並びに、イメージセンサ１００の各画素Ｐ１〜Ｐ９に備えられる偏光フィルタ素子１２２Ａ、１２２Ｂ、１２２Ｃ及び分光フィルタ素子１３２Ａ、１３２Ｂ、１３２Ｃを次のように設定する。
【０１７４】
光学系１０に備えられる偏光フィルタ１８の第１偏光フィルタ部Ｇ１の透過偏光方位α１を０°、第２偏光フィルタ部Ｇ２の透過偏光方位α２を６０°、第３偏光フィルタ部Ｇ３の透過偏光方位α３を１２０°とする。この場合、第１光学領域Ｓ１、第２光学領域Ｓ２及び第３光学領域Ｓ３を透過する光の偏光方向は０°、第４光学領域Ｓ４、第５光学領域Ｓ５及び第６光学領域Ｓ６を透過する光の偏光方向は６０°、第７光学領域Ｓ７、第８光学領域Ｓ８及び第９光学領域Ｓ９を透過する光の偏光方向は１２０°となる。
【０１７５】
光学系１０に備えられる分光フィルタ１６の第１分光フィルタ部Ｆ１の透過波長帯域をΔｆ１、その中心波長をλ１、第２分光フィルタ部Ｆ２の透過波長帯域をΔｆ２、その中心波長をλ２、第３分光フィルタ部Ｆ３の透過波長帯域をΔｆ３、その中心波長をλ３、第４分光フィルタ部Ｆ４の透過波長帯域をΔｆ４、その中心波長をλ４、第５分光フィルタ部Ｆ５の透過波長帯域をΔｆ５、その中心波長をλ５、第６分光フィルタ部Ｆ６の透過波長帯域をΔｆ６、その中心波長をλ６、第７分光フィルタ部Ｆ７の透過波長帯域をΔｆ７、その中心波長をλ７、第８分光フィルタ部Ｆ８の透過波長帯域をΔｆ８、その中心波長をλ８、第９分光フィルタ部Ｆ９の透過波長帯域をΔｆ９、その中心波長をλ９、とする。この場合、第１光学領域Ｓ１を透過する光の波長帯域はΔｆ１（中心波長λ１）、第２光学領域Ｓ２を透過する光の波長帯域はΔｆ２（中心波長λ２）、第３光学領域Ｓ３を透過する光の波長帯域はΔｆ３（中心波長λ３）、第４光学領域Ｓ４を透過する光の波長帯域はΔｆ４（中心波長λ４）、第５光学領域Ｓ５を透過する光の波長帯域はΔｆ５（中心波長λ５）、第６光学領域Ｓ６を透過する光の波長帯域はΔｆ６（中心波長λ６）、第７光学領域Ｓ７を透過する光の波長帯域はΔｆ７（中心波長λ１）、第８光学領域Ｓ８を透過する光の波長帯域はΔｆ８（中心波長λ８）、第９光学領域Ｓ９を透過する光の波長帯域はΔｆ９（中心波長λ９）、となる。
【０１７６】
イメージセンサ１００の各画素に備えられる第１偏光フィルタ素子１２２Ａの透過偏光方位β１を０°、第２偏光フィルタ素子１２２Ｂの透過偏光方位β２を６０°、第３偏光フィルタ素子１２２Ｃの透過偏光方位β３を１２０°とする。この場合、第１画素Ｐ１で受光される光の偏光方向は０°、第２画素Ｐ２で受光される光の偏光方向は６０°、第３画素Ｐ３で受光される光の偏光方向は１２０°、第４画素Ｐ４で受光される光の偏光方向は０°、第５画素Ｐ５で受光される光の偏光方向は６０°、第６画素Ｐ６で受光される光の偏光方向は１２０°、第７画素Ｐ７で受光される光の偏光方向は０°、第８画素Ｐ８で受光される光の偏光方向は６０°、第９画素Ｐ９で受光される光の偏光方向は１２０°、となる。
【０１７７】
図１７は、イメージセンサの各画素に備えられる分光フィルタ素子の分光透過率のグラフである。同図において、実線で示すグラフＴ１は、第１分光フィルタ素子１３２Ａの分光透過率のグラフである。また、破線で示すグラフＴ２は、第２分光フィルタ素子１３２Ｂの分光透過率のグラフである。また、一点破線で示すグラフＴ３は、第３分光フィルタ素子１３２Ｃの分光透過率のグラフである。
【０１７８】
以上の構成の光学系１０及びイメージセンサ１００において、第ｊ光学領域Ｓｊと第ｉ画素Ｐｉとの間の偏光に基づく透過率ｃについては、ｃｉｊ（ｉ＝１〜９、ｊ＝１〜９）を要素とする下記の９行９列の行列Ｃで表わされる。
【０１７９】
【数１７】
0006908793.tif 000018
【０１８０】
また、分光透過率に基づく透過率ｄについては、ｄｉｊ（ｉ＝１〜９、ｊ＝１〜９）を要素とする下記の９行９列の行列Ｄで表わされる。
【０１８１】
【数１８】
0006908793.tif 000019
【０１８２】
各光学領域Ｓｊからの光の混信量を表わす行列Ｂは、上記行列Ｃ及び行列Ｄのアダマール積で求められる。
【０１８３】
【数１９】
0006908793.tif 000020
【０１８４】
混信を除去する演算式（式１）の行列Ａは、行列Ｂの逆行列Ｂ−１を求めることで取得される。
【０１８５】
【数２０】
0006908793.tif 000021
【０１８６】
よって、本実施例の撮像装置において、各画素Ｐ１〜Ｐ９の画素信号ｘ１〜ｘ９から各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出する演算式は、次の式１４のようになる。
【０１８７】
【数２１】
0006908793.tif 000022
【０１８８】
図１８は、被写体画像の一例を示す図である。
【０１８９】
いま、図１８に示す画像を上記構成の撮像装置で撮像する場合を考える。
【０１９０】
図１９は、イメージセンサから出力される画素信号ｘ１〜ｘ９で生成される画像の例を示す図である。
【０１９１】
同図において、符号ＣＩ１の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第１画素Ｐ１からの画素信号ｘ１によって生成される画像を示している。また、符号ＣＩ２の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第２画素Ｐ２からの画素信号ｘ２によって生成される画像を示している。また、符号ＣＩ３の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第３画素Ｐ３からの画素信号ｘ３によって生成される画像を示している。また、符号ＣＩ４の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第４画素Ｐ４からの画素信号ｘ４によって生成される画像を示している。また、符号ＣＩ５の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第５画素Ｐ５からの画素信号ｘ５によって生成される画像を示している。また、符号ＣＩ６の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第６画素Ｐ６からの画素信号ｘ６によって生成される画像を示している。また、符号ＣＩ７の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第７画素Ｐ７からの画素信号ｘ７によって生成される画像を示している。また、符号ＣＩ８の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第８画素Ｐ８からの画素信号ｘ８によって生成される画像を示している。また、符号ＣＩ９の画像は、各画素ブロックＰＢ（ｘ、ｙ）の第９画素Ｐ９からの画素信号ｘ９によって生成される画像を示している。これらの画像ＣＩ１〜ＣＩ９は、混信が発生した画像となる。
【０１９２】
図２０は、イメージセンサから出力される画素信号ｘ１〜ｘ９を混信除去処理して生成される画像の例を示す図である。
【０１９３】
イメージセンサの各画素ブロックから得られる９個の画素信号ｘ１〜ｘ９から光学系１０の各光学領域Ｓ１〜Ｓ９に対応した９個の画素信号Ｘ１〜Ｘ９を算出し、各光学領域Ｓ１〜Ｓ９で得られる画像ＩＤ１〜ＩＤ９の画像データを生成する。すなわち、上記式１４によって、各画素Ｐ１〜Ｐ９の画素信号ｘ１〜ｘ９から各光学領域Ｓ１〜Ｓ９に対応した画素信号Ｘ１〜Ｘ９を算出し、各光学領域Ｓ１〜Ｓ９で得られる画像ＩＤ１〜ＩＤ９の画像データを生成する。
【０１９４】
なお、図２０において、符号ＩＤ１の画像は、第１光学領域Ｓ１で得られる画像を示している。また、符号ＩＤ２の画像は、第２光学領域Ｓ２で得られる画像を示している。また、符号ＩＤ３の画像は、第３光学領域Ｓ３で得られる画像を示している。また、符号ＩＤ４の画像は、第４光学領域Ｓ４で得られる画像を示している。また、符号ＩＤ５の画像は、第５光学領域Ｓ５で得られる画像を示している。また、符号ＩＤ６の画像は、第６光学領域Ｓ６で得られる画像を示している。また、符号ＩＤ７の画像は、第７光学領域Ｓ７で得られる画像を示している。また、符号ＩＤ８の画像は、第８光学領域Ｓ８で得られる画像を示している。また、符号ＩＤ９の画像は、第９光学領域Ｓ９で得られる画像を示している。いずれの画像ＩＤ１〜ＩＤ９の画像も混信が除去されたクリアな画像が得られる。
【０１９５】
［変形例］
〔取得する画像の数〕
上記実施の形態では、異なる波長帯域の９つの画像を取得する場合を例に説明したが、取得する画像の数は、これに限定されるものではない。本発明の撮像装置において、取得できる画像の数ｋは、次のように定められる。
【０１９６】
いま、イメージセンサの各画素に備える分光フィルタ素子（第１光学フィルタ素子）の種類をｎ種、偏光フィルタ素子（第２光学フィルタ素子）の種類（透過偏光方位の種類）をｍ種とする。ｎは、２以上の整数（ｎ≧２）、ｍは、２以上、３以下の整数（２≦ｍ≦３）である。１つの画素ブロックにおいて、各画素は、異なる分光フィルタ素子と偏光フィルタ素子との組み合わせによって構成される。したがって、この場合、１つの画素ブロックは、（ｎ×ｍ）個の画素で構成される。ｎとｍの積（ｎ×ｍ）をｑとする（ｑ＝ｎ×ｍ）。本発明の撮像装置において、取得できる画像の数ｋは、１つの画素ブロックを構成する画素の数ｑ以下となる（ｋ≦ｑ）。ただし、ｋは３以上の整数とする。
【０１９７】
このように、取得する画像の数ｋは、必ずしも１つの画素ブロックを構成する画素の数ｑと同じである必要はない。取得する画像の数以上の数の画素で１つの画素ブロックを構成してもよい。
【０１９８】
光学系には、取得する画像の数ｋだけ光学領域が備えられる。なお、各光学領域には偏光フィルタ部が備えられるが、光学系側の偏光フィルタ部は次の条件を満たすように設定される。すなわち、各光学領域に備えられる偏光フィルタ部の透過偏光方位に関して、同じ透過偏光方位となる光学領域の数をｕとする。この数ｕが、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類の数以下とされる。したがって、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類がｎ種類の場合、同じ透過偏光方位となる光学領域の数ｕは、イメージセンサ側の分光フィルタ素子（第１光学フィルタ素子）の種類の数ｎ以下とされる（ｕ≦ｎ）。
【０１９９】
ｎ種類の分光フィルタ素子及びｍ種類の偏光フィルタ素子を組み合わせることで、１つの画素ブロックがｑ個の画素で構成される場合、イメージセンサの各画素ブロックからはｑ個の画素信号ｘ１、ｘ２、…、ｘｑが取得される。光学系がｋ個の光学領域を有する場合、このｑ個の画素信号ｘ１、ｘ２、…、ｘｑから光学系の各光学領域に対応したｋ個の画素信号Ｘ１、Ｘ２、…、Ｘｋを算出するための演算式は、行列Ａを用いて、次のように定義される。
【０２００】
【数２２】
0006908793.tif 000023
【０２０１】
【数２３】
0006908793.tif 000024
【０２０２】
上記のように、行列Ａは、光学系の各光学領域に入射した光が、イメージセンサの各画素ブロックの各画素で受光される割合を要素とする行列Ｂの逆行列Ｂ−１を算出して取得される。また、その割合は、偏光に基づく透過率ｃと、分光透過率に基づく透過率ｄとの積で算出される。
【０２０３】
〔偏光フィルタ部と偏光フィルタ素子の透過偏光方位の設定〕
上記実施の形態では、光学系の各光学領域に備えられる偏光フィルタ部の透過偏光方位の組み合わせと、イメージセンサに備えられる偏光フィルタ素子（第２光学フィルタ素子）の透過偏光方位の組み合わせを同じにしている（いずれも方位角０°、６０°、１２０°の組み合わせ）。しかし、この組み合わせは、必ずしも同じである必要はない。たとえば、光学系側において、４５°、９０°、１３５°の組み合わせで使用し、イメージセンサ側において、０°、６０°、１２０°の組み合わせで使用してもよい。なお、同じ組み合わせとすることにより、偏光に基づく透過率ｃの算出を容易にできる。
【０２０４】
〔各光学領域に設定する透過波長帯域〕
光学系の各光学領域に設定する透過波長帯域は、任意に設定できる。たとえば、特定の波長帯域を細分割し、細分割された帯域ごとの画像を取得する構成とすることもできる。この場合、特定の波長帯域のマルチスペクトル画像を取得できる。
【０２０５】
細分化された狭帯域の画像を取得する場合は、各光学領域に所望の波長帯域の光を透過させる狭帯域フィルタを配置する。
【０２０６】
〔瞳分割の態様〕
上記実施の形態では、光学系の瞳部分を周方向に等分割して、複数の光学領域を備える構成としているが、瞳分割の態様は、これに限定されるものではない。この他、同心円状に分割する態様、格子状に分割する態様、スリット状に分割する態様等を採用できる。
【０２０７】
〔イメージセンサの構成〕
１つの画素ブロックを構成する画素の配列は、上記実施の形態のものに限定されるものではない。１つの画素ブロックを構成する画素の数等に応じて、画素の配列を適宜変更できる。
【０２０８】
また、上記実施の形態では、偏光フィルタ素子及び分光フィルタ素子が、フォトダイオードとマイクロレンズとの間に配置される構成としているが、いずれか一方又は両方をマイクロレンズの前（被写体側）に配置する構成とすることもできる。なお、偏光フィルタ素子及び分光フィルタ素子をマイクロレンズとフォトダイオードとの間に配置することにより、隣接する画素に光が混入するのを効果的に防止できる。これにより、より混信を防止できる。
【０２０９】
〔信号処理部の構成〕
信号処理部２００における画像生成部２００Ｂ（演算部）の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。また、上記各種のプロセッサには、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。更に、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上記各種のプロセッサに含まれる。
【０２１０】
各部の機能は１つのプロセッサにより実現されてもよいし、同種又は異種の複数のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能を実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて実現される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。これらの電気回路は、論理和、論理積、論理否定、排他的論理和、及びこれらを組み合わせた論理演算を用いて上記の機能を実現する電気回路であってもよい。
【０２１１】
上記のプロセッサあるいは電気回路がソフトウェア（プログラム）を実行する際は、実行するソフトウェアのプロセッサ（コンピュータ）読み取り可能なコードをＲＯＭ（Read Only Memory）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。非一時的記録媒体に記憶しておくソフトウェアは、画像の入力、解析、表示制御等を実行するためのプログラムを含む。ＲＯＭではなく各種光磁気記録装置、半導体メモリ等の非一時的記録媒体にコードを記録してもよい。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えば不図示のＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータを参照することもできる。
【０２１２】
信号処理部２００の係数記憶部２００Ｃは、たとえば、ＲＯＭ（Read-only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-only Memory）等のメモリで実現できる。
【０２１３】
〔撮像装置の構成〕
撮像装置は、光学系の交換が可能なレンズ交換式の撮像装置として構成することもできる。この場合、行列Ａは、レンズ（光学系）ごとに一意に定まるので、レンズごとに行列Ａを用意し、その係数群を係数記憶部に記憶させる。レンズが交換された場合は、交換されたレンズに対応する行列Ａの係数群を係数記憶部から読み出して、演算処理を実行し、各光学領域の画像を生成する。
【符号の説明】
【０２１４】
１  撮像装置
１０  光学系
１２  レンズ
１４  瞳分割フィルタ
１６  分光フィルタ
１８  偏光フィルタ
１００  イメージセンサ
１１０  ピクセルアレイ層
１１２  フォトダイオード
１２０  偏光フィルタ素子アレイ層
１２２Ａ  第１偏光フィルタ素子
１２２Ｂ  第２偏光フィルタ素子
１２２Ｃ  第３偏光フィルタ素子
１３０  分光フィルタ素子アレイ層
１３２Ａ  第１分光フィルタ素子
１３２Ｂ  第２分光フィルタ素子
１３２Ｃ  第３分光フィルタ素子
１４０  マイクロレンズアレイ層
１４２  マイクロレンズ
２００  信号処理部
２００Ａ  アナログ信号処理部
２００Ｂ  画像生成部
２００Ｃ  係数記憶部
ＣＩ１  第１画素Ｐ１からの画素信号ｘ１によって生成される画像
ＣＩ２  第２画素Ｐ２からの画素信号ｘ２によって生成される画像
ＣＩ３  第３画素Ｐ３からの画素信号ｘ３によって生成される画像
ＣＩ４  第４画素Ｐ４からの画素信号ｘ４によって生成される画像
ＣＩ５  第５画素Ｐ５からの画素信号ｘ５によって生成される画像
ＣＩ６  第６画素Ｐ６からの画素信号ｘ６によって生成される画像
ＣＩ７  第７画素Ｐ７からの画素信号ｘ７によって生成される画像
ＣＩ８  第８画素Ｐ８からの画素信号ｘ８によって生成される画像
ＣＩ９  第９画素Ｐ９からの画素信号ｘ９によって生成される画像
Ｄ１  画素ブロックから第１画素Ｐ１の画素信号を抽出して生成される第１の画像データ
Ｄ２  画素ブロックから第２画素Ｐ２の画素信号を抽出して生成される第２の画像データ
Ｄ３  画素ブロックから第３画素Ｐ３の画素信号を抽出して生成される第３の画像データ
Ｄ４  画素ブロックから第４画素Ｐ４の画素信号を抽出して生成される第４の画像データ
Ｄ５  画素ブロックから第５画素Ｐ５の画素信号を抽出して生成される第５の画像データ
Ｄ６  画素ブロックから第６画素Ｐ６の画素信号を抽出して生成される第６の画像データ
Ｄ７  画素ブロックから第７画素Ｐ７の画素信号を抽出して生成される第７の画像データ
Ｄ８  画素ブロックから第８画素Ｐ８の画素信号を抽出して生成される第８の画像データ
Ｄ９  画素ブロックから第９画素Ｐ９の画素信号を抽出して生成される第９の画像データ
Ｆ１  分光フィルタの第１分光フィルタ部
Ｆ２  分光フィルタの第２分光フィルタ部
Ｆ３  分光フィルタの第３分光フィルタ部
Ｆ４  分光フィルタの第４分光フィルタ部
Ｆ５  分光フィルタの第５分光フィルタ部
Ｆ６  分光フィルタの第６分光フィルタ部
Ｆ７  分光フィルタの第７分光フィルタ部
Ｆ８  分光フィルタの第８分光フィルタ部
Ｆ９  分光フィルタの第９分光フィルタ部
Ｇ１  偏光フィルタの第１偏光フィルタ部
Ｇ２  偏光フィルタの第２偏光フィルタ部
Ｇ３  偏光フィルタの第３偏光フィルタ部
ＩＤ１  光学系の第１光学領域の画像
ＩＤ２  光学系の第２光学領域の画像
ＩＤ３  光学系の第３光学領域の画像
ＩＤ４  光学系の第４光学領域の画像
ＩＤ５  光学系の第５光学領域の画像
ＩＤ６  光学系の第６光学領域の画像
ＩＤ７  光学系の第７光学領域の画像
ＩＤ８  光学系の第８光学領域の画像
ＩＤ９  光学系の第９光学領域の画像
Ｌ  光軸
ＯＩ１  光学系の第１光学領域で得られる被写体の第１の光学像
ＯＩ２  光学系の第２光学領域で得られる被写体の第２の光学像
ＯＩ３  光学系の第３光学領域で得られる被写体の第３の光学像
ＯＩ４  光学系の第４光学領域で得られる被写体の第４の光学像
ＯＩ５  光学系の第５光学領域で得られる被写体の第５の光学像
ＯＩ６  光学系の第６光学領域で得られる被写体の第６の光学像
ＯＩ７  光学系の第７光学領域で得られる被写体の第７の光学像
ＯＩ８  光学系の第８光学領域で得られる被写体の第８の光学像
ＯＩ９  光学系の第９光学領域で得られる被写体の第９の光学像
Ｏｂｊ  被写体
Ｐ１  第１画素
Ｐ２  第２画素
Ｐ３  第３画素
Ｐ４  第４画素
Ｐ５  第５画素
Ｐ６  第６画素
Ｐ７  第７画素
Ｐ８  第８画素
Ｐ９  第９画素
Ｐｉ  第ｉ画素
ＰＢ（ｘ，ｙ）  画素ブロック
Ｓ１  光学系の第１光学領域
Ｓ２  光学系の第２光学領域
Ｓ３  光学系の第３光学領域
Ｓ４  光学系の第４光学領域
Ｓ５  光学系の第５光学領域
Ｓ６  光学系の第６光学領域
Ｓ７  光学系の第７光学領域
Ｓ８  光学系の第８光学領域
Ｓ９  光学系の第９光学領域
Ｓｊ  光学系の第ｊ光学領域
Ｔ１  第１分光フィルタ素子の分光透過率のグラフ
Ｔ２  第２分光フィルタ素子の分光透過率のグラフ
Ｔ３  第３分光フィルタ素子の分光透過率のグラフ
Ｘ１  光学系の第１光学領域に対応した画素信号
Ｘ２  光学系の第２光学領域に対応した画素信号
Ｘ３  光学系の第３光学領域に対応した画素信号
Ｘ４  光学系の第４光学領域に対応した画素信号
Ｘ５  光学系の第５光学領域に対応した画素信号
Ｘ６  光学系の第６光学領域に対応した画素信号
Ｘ７  光学系の第７光学領域に対応した画素信号
Ｘ８  光学系の第８光学領域に対応した画素信号
Ｘ９  光学系の第９光学領域に対応した画素信号
Ｘｊ  光学系の第ｊ光学領域に対応した画素信号
ｘ１  第１画素の画素信号
ｘ２  第２画素の画素信号
ｘ３  第３画素の画素信号
ｘ４  第４画素の画素信号
ｘ５  第５画素の画素信号
ｘ６  第６画素の画素信号
ｘ７  第７画素の画素信号
ｘ８  第８画素の画素信号
ｘ９  第９画素の画素信号
ｘｉ  第ｉ画素の画素信号
Δｆ１  第１分光フィルタ部が透過させる光の波長帯域（第１の波長帯域）
Δｆ２  第２分光フィルタ部が透過させる光の波長帯域（第２の波長帯域）
Δｆ３  第３分光フィルタ部が透過させる光の波長帯域（第３の波長帯域）
Δｆ４  第４分光フィルタ部が透過させる光の波長帯域（第４の波長帯域）
Δｆ５  第５分光フィルタ部が透過させる光の波長帯域（第５の波長帯域）
Δｆ６  第６分光フィルタ部が透過させる光の波長帯域（第６の波長帯域）
Δｆ７  第７分光フィルタ部が透過させる光の波長帯域（第７の波長帯域）
Δｆ８  第８分光フィルタ部が透過させる光の波長帯域（第８の波長帯域）
Δｆ９  第９分光フィルタ部が透過させる光の波長帯域（第９の波長帯域）
α１  第１偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
α２  第２偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
α３  第３偏光フィルタ部が透過させる光の偏光方向（透過偏光方位、方位角）
β１  第１偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
β２  第２偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
β３  第３偏光フィルタ素子が透過させる光の偏光方向（透過偏光方位、方位角）
λ１  第１分光フィルタ部の透過波長帯域の中心波長
λ２  第２分光フィルタ部の透過波長帯域の中心波長
λ３  第３分光フィルタ部の透過波長帯域の中心波長
λ４  第４分光フィルタ部の透過波長帯域の中心波長
λ５  第５分光フィルタ部の透過波長帯域の中心波長
λ６  第６分光フィルタ部の透過波長帯域の中心波長
λ７  第７分光フィルタ部の透過波長帯域の中心波長
λ８  第８分光フィルタ部の透過波長帯域の中心波長
λ９  第９分光フィルタ部の透過波長帯域の中心波長
【図１】
0006908793.tif 000026
【図２】
0006908793.tif 000027
【図３】
0006908793.tif 000028
【図４】
0006908793.tif 000029
【図５】
0006908793.tif 000030
【図６】
0006908793.tif 000031
【図７】
0006908793.tif 000032
【図８】
0006908793.tif 000033
【図９】
0006908793.tif 000034
【図１０】
0006908793.tif 000035
【図１１】
0006908793.tif 000036
【図１２】
0006908793.tif 000037
【図１３】
0006908793.tif 000038
【図１４】
0006908793.tif 000039
【図１５】
0006908793.tif 000040
【図１６】
0006908793.tif 000041
【図１７】
0006908793.tif 000042
【図１８】
0006908793.tif 000043
【図１９】
0006908793.tif 000044
【図２０】
0006908793.tif 000045