(57)【要約】【課題】ＩＲ画像の生成に適した高感度のカラー撮像技術を提供する。【解決手段】固体撮像素子は、各々が、１行１列目に配置された第１の光感知セル２ａ、１行２列目に配置された第２の光感知セル２ｂ、２行１列目に配置された第３の光感知セル２ｃ、および２行２列目に配置された第４の光感知セル２ｄを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイとを備える。分光要素アレイは、第１から第４の光感知セル２ａ〜２ｄに異なる分光分布の光を入射させ、第１および第４の光感知セル２ａ、２ｄに入射する可視光の合計の分光分布が、第２および第３の光感知セル２ｂ、２ｃに入射する可視光の合計の分光分布に実質的に等しくなるように構成されている。【選択図】図２
2014086742.tif 000002
【特許請求の範囲】
【請求項１】
各々が、１行１列目に配置された第１の光感知セル、１行２列目に配置された第２の光感知セル、２行１列目に配置された第３の光感知セル、および２行２列目に配置された第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイと、
前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイであって、前記第１から第４の光感知セルに異なる分光分布の光を入射させ、前記第１および第４の光感知セルに入射する可視光の合計の分光分布が、前記第２および第３の光感知セルに入射する可視光の合計の分光分布に実質的に等しくなるように構成されている分光要素アレイと、
を備える固体撮像素子。
【請求項２】
前記分光要素アレイが存在しないと仮定した場合に各光感知セルが受ける光を各光感知セルのセル入射光とし、
可視光に含まれる色成分の一部を第１の色成分とし、前記可視光に含まれる色成分の他の一部を第２の色成分とし、前記第２の色成分の補色成分を第３の色成分とし、前記第１の色成分の補色成分を第４の色成分とするとき、
前記分光要素アレイは、
前記第１の光感知セルのセル入射光から前記第１の色成分の光を減少させ、前記第２の色成分の光および前記第３の色成分の光を増加させた光を前記第１の光感知セルに入射させ、
前記第２の光感知セルのセル入射光から前記第２の色成分の光を減少させ、前記第１の色成分の光および前記第４の色成分の光を増加させた光を前記第２の光感知セルに入射させ、
前記第３の光感知セルのセル入射光から前記第３の色成分の光を減少させ、前記第１の色成分の光および前記第４の色成分の光を増加させた光を前記第３の光感知セルに入射させ、
前記第４の光感知セルのセル入射光から前記第４の色成分の光を減少させ、前記第２の色成分の光および前記第３の色成分の光を増加させた光を前記第４の光感知セルに入射させるように構成されている、
請求項１に記載の固体撮像素子。
【請求項３】
前記分光要素アレイは、前記第１から第４の光感知セルに特定の波長域の赤外光を入射させ、前記第１および第４の光感知セルに入射する前記特定の波長域の赤外光の強度が実質的に等しく、前記第２および第３の光感知セルに入射する前記特定の波長域の赤外光の強度が実質的に等しく、前記第１および第４の光感知セルに入射する前記特定の波長域の赤外光の強度と、前記第２および第３の光感知セルに入射する前記特定の波長域の赤外光の強度とが異なるように構成されている、請求項１または２に記載の固体撮像素子。
【請求項４】
前記分光要素アレイは、各単位ブロックにおいて、前記第１の光感知セルに対向して配置された第１の分光要素、前記第２の光感知セルに対向して配置された第２の分光要素、前記第３の光感知セルに対向して配置された第３の分光要素、および前記第４の光感知セルに対向して配置された第４の分光要素を含み、
前記第１の分光要素は、入射光に含まれる前記第１の色成分の光の一部を前記第２の光感知セルに入射させ、前記入射光に含まれる前記第１の色成分の光の他の一部を前記第３の光感知セルに入射させ、前記入射光に含まれる前記第４の色成分の光を前記第１の光感知セルに入射させ、
前記第２の分光要素は、入射光に含まれる前記第２の色成分の光の一部を前記第１の光感知セルに入射させ、前記入射光に含まれる前記第２の色成分の光の他の一部を前記第４の光感知セルに入射させ、前記入射光に含まれる前記第３の色成分の光を前記第２の光感知セルに入射させ、
前記第３の分光要素は、入射光に含まれる前記第３の色成分の光の一部を前記第１の光感知セルに入射させ、前記入射光に含まれる前記第３の色成分の光の他の一部を前記第４の光感知セルに入射させ、前記入射光に含まれる前記第２の色成分の光を前記第３の光感知セルに入射させ、
前記第４の分光要素は、入射光に含まれる前記第４の色成分の光の一部を前記第２の光感知セルに入射させ、前記入射光に含まれる前記第４の色成分の光の他の一部を前記第３の光感知セルに入射させ、前記入射光に含まれる前記第１の色成分の光を前記第４の光感知セルに入射させる、
請求項１から３のいずれかに記載の固体撮像素子。
【請求項５】
前記第１の分光要素は、入射光に含まれる前記第１の色成分の光を、前記第２の光感知セル、前記第３の光感知セル、および隣接単位ブロックに含まれる２つの光感知セルに同量ずつ入射させ、前記入射光に含まれる前記第４の色成分の光を前記第１の光感知セルに入射させ、
前記第２の分光要素は、入射光に含まれる前記第２の色成分の光を、前記第１の光感知セル、前記第４の光感知セル、および隣接単位ブロックに含まれる２つの光感知セルに同量ずつ入射させ、前記入射光に含まれる前記第３の色成分の光を前記第２の光感知セルに入射させ、
前記第３の分光要素は、入射光に含まれる前記第３の色成分の光を、前記第１の光感知セル、前記第４の光感知セル、および隣接単位ブロックに含まれる２つの光感知セルに同量ずつ入射させ、前記入射光に含まれる前記第２の色成分の光を前記第３の光感知セルに入射させ、
前記第４の分光要素は、入射光に含まれる前記第４の色成分の光を、前記第２の光感知セル、前記第３の光感知セル、および隣接単位ブロックに含まれる２つの光感知セルに同量ずつ入射させ、前記入射光に含まれる前記第１の色成分の光を前記第４の光感知セルに入射させる、
請求項４に記載の固体撮像素子。
【請求項６】
前記第１および第４の色成分の一方はマゼンタの色成分であり、前記第１および第４の色成分の他方は緑の色成分であり、前記第２および第３の色成分の一方は緑の一部を含む赤の色成分であり、前記第２および第３の色成分の他方は緑の他の一部を含む青の色成分である、請求項１から５のいずれかに記載の固体撮像素子。
【請求項７】
前記第１から第４の分光要素の各々は、高屈折率透明部と、前記高屈折率透明部の屈折率よりも低い屈折率を有し前記高屈折率透明部の周囲に設けられた低屈折率透明部とを有し、
前記第１から第４の分光要素の前記高屈折率透明部の形状およびサイズの少なくとも一方は、互いに異なっている、
請求項１から６のいずれかに記載の固体撮像素子。
【請求項８】
前記第１から第４の分光要素の各々は、ダイクロイックミラーを含み、前記ダイクロイックミラーによって分光する、請求項１から６のいずれかに記載の固体撮像素子。
【請求項９】
請求項１から８のいずれかに記載の固体撮像素子と、
前記固体撮像素子に像を形成する光学系と、
可視光および特定の波長域の赤外光のみを透過させる光学フィルタと、
前記固体撮像素子から出力される信号を処理する信号処理部であって、前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を用いた演算によってカラー画像情報および赤外光画像情報を生成する信号処理部と、
を備える撮像装置。
【請求項１０】
前記特定の波長域の赤外光を出射する光源をさらに備える請求項９に記載の撮像装置。
【請求項１１】
前記信号処理部は、前記第１の光電変換信号と前記第４の光電変換信号との差分を表す第１の差信号と、前記第２の光電変換信号と前記第３の光電変換信号との差分を表す第２の差信号との加減算を含む演算により、第１の色差信号および第２の色差信号を生成し、前記第１の光電変換信号と前記第４の光電変換信号との加算結果と、前記第２の光電変換信号と前記第３の光電変換信号との加算結果との差分信号を生成する、請求項９または１０に記載の撮像装置。
【請求項１２】
前記信号処理部は、前記第１および第４の光電変換信号の加算、前記第２および第３の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算により、輝度信号を生成する、請求項９または１０に記載の撮像装置。
【請求項１３】
請求項１から８のいずれかの固体撮像素子から出力される信号を処理する方法であって、
前記第１の光感知セルから出力される第１の光電変換信号、前記第２の光感知セルから出力される第２の光電変換信号、前記第３の光感知セルから出力される第３の光電変換信号、および前記第４の光感知セルから出力される第４の光電変換信号を取得するステップＡと、
前記第１から第４の光電変換信号を用いて色情報を生成するステップＢと、
を含む方法。
【請求項１４】
前記ステップＢは、
前記第１の光電変換信号と前記第４の光電変換信号との差分を示す第１の差分信号を生成するステップと、
前記第２の光電変換信号と前記第３の光電変換信号との差分を示す第２の差分信号を生成するステップと、
前記第１の差分信号と前記第２の差分信号との加減算を含む演算により、第１の色差信号および第２の色差信号を生成するステップと、
前記第１の光電変換信号と前記第４の光電変換信号の加算結果と前記第２の光電変換信号と前記第３の光電変換信号の加算結果との差分信号を生成するステップと、
を含む、請求項１３に記載の方法。
【請求項１５】
前記ステップＢは、
前記第１および第４の光電変換信号の加算、前記第２および第３の光電変換信号の加算、および前記第１から第４の光電変換信号の加算のいずれかを含む演算によって輝度信号を生成するステップと、
前記輝度信号、前記第１の色差信号、および前記第２の色差信号と前記差分信号を用いて前記セル入射光に含まれる赤、緑、および青の色信号と特定の赤外光の信号とを生成するステップと、
をさらに含む請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、固体撮像素子の高感度化およびカラー化の技術に関する。
【背景技術】
【０００２】
近年、ＣＣＤやＣＭＯＳ等の固体撮像素子（以下、「撮像素子」と称する場合がある。）を用いたデジタルカメラやデジタルムービーの高機能化、高性能化には目を見張るものがある。特に半導体製造技術の急速な進歩により、撮像素子における画素構造の微細化が進んでいる。その結果、撮像素子の画素および駆動回路の高集積化が図られ、撮像素子の高性能化が進んでいる。特に近年では、固体撮像素子の配線層が形成された面（表面）側ではなく裏面側で受光する裏面照射型（ｂａｃｋｓｉｄｅ  ｉｌｌｕｍｉｎａｔｉｏｎ）の撮像素子を用いたカメラも開発され、その特性等が注目されている。その一方で撮像素子の多画素化に伴い、１画素の受ける光量が低下するため、カメラ感度が低下するという問題が起きている。
【０００３】
カメラの感度低下は、多画素化以外にも、色分離用の色フィルタが用いられることにも原因がある。通常のカラーカメラでは、撮像素子の各光感知セルに対向して有機顔料を色素とする減色型の色フィルタが配置される。色フィルタは、利用する色成分以外の光を吸収するため、このような色フィルタを用いた場合、カメラの光利用率は低下する。例えば、赤（Ｒ）１画素、緑（Ｇ）２画素、青（Ｂ）１画素を基本構成とするベイヤー型の色フィルタ配列をもつカラーカメラでは、Ｒ、Ｇ、Ｂの各色フィルタは、それぞれＲ、Ｇ、Ｂ光のみを透過させ、残りの光を吸収する。したがって、ベイヤー配列によるカラーカメラにおいて利用される光は、入射光全体の約１／３である。このように、色フィルタを用いることは、光の利用効率の低下を招き、カラーカメラの感度低下の原因となる。
【０００４】
これに対し、色フィルタの代わりに光を波長に応じて分光する分光要素を用いて光利用率を高めるカラー化技術が特許文献１に開示されている。この技術によれば、光感知セルに対応して配置された分光要素によって光が波長域に応じて異なる光感知セルに入射する。個々の光感知セルは、複数の分光要素から異なる波長域の成分が重畳された光を受ける。その結果、各光感知セルから出力される光電変換信号を用いた信号演算によって色信号を生成することができる。
【０００５】
上記の技術は、主として可視光を利用するが、可視光および赤外光を同時に受光する撮像素子を用いて、カラー画像および赤外光画像（以下では、「ＩＲ画像」とも呼ぶ。）を作り出す撮像技術も考案されている。例えば、特許文献２には、Ｒ色素を用いたＲ画素、Ｇ色素を用いたＧ画素、Ｂ色素を用いたＢ画素、および特定の赤外光のみを検出する赤外光受光画素（ＩＲ画素）から成る２行２列の４画素を基本構成とする撮像素子を用いて、カラー画像および赤外光画像を作り出す撮像技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】国際公開第２００９／１５３９３７号
【特許文献２】特開２００５−６０６６号公報
【特許文献３】国際公開第２００９／０１９８１８号
【特許文献４】特開Ｓ５９−１３７９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献２に開示された技術では、ＲＧＢの有機色素を用いているため、カラー画像の取得において感度の低下を招くという課題がある。
【０００８】
一方、カラー画像とＩＲ画像とが同時に得られ、カラー画像において高感度化が図られる技術は、特許文献１に開示されているが、この技術では棒状の分光要素を２層に配置する必要があるため、製造プロセスが複雑になる。
【０００９】
本願は、比較的容易な製造プロセスで、ＩＲ画像の生成に適した高感度のカラー撮像技術を提供する。
【課題を解決するための手段】
【００１０】
本開示の一態様による固体撮像素子は、各々が、１行１列目に配置された第１の光感知セル、１行２列目に配置された第２の光感知セル、２行１列目に配置された第３の光感知セル、および２行２列目に配置された第４の光感知セルを含む複数の単位ブロックが２次元状に配列された光感知セルアレイであって、各光感知セルは、受光量に応じた光電変換信号を出力するように構成されている光感知セルアレイと、前記光感知セルアレイに対向して配置され、複数の分光要素を含む分光要素アレイであって、前記第１から第４の光感知セルに異なる分光分布の光を入射させ、前記第１および第４の光感知セルに入射する可視光の合計の分光分布が、前記第２および第３の光感知セルに入射する可視光の合計の分光分布に実質的に等しくなるように構成されている分光要素アレイと、を備える。
【発明の効果】
【００１１】
本開示の実施形態における固体撮像素子および撮像装置によれば、入射光を波長域（色成分）に応じて異なる光感知セルに入射させる分光要素を用いることにより、光利用効率が比較的高いカラー撮像が可能になる。さらに、分光要素アレイを適切に構成すれば、赤外光画像を併せて取得することができる。
【図面の簡単な説明】
【００１２】
【図１】例示的な実施形態による固体撮像素子における光感知セル２００および分光要素１００との配置関係を模式的に示す斜視図である。
【図２】（ａ）は例示的な実施形態による固体撮像素子の単位ブロックの一例を示す平面図であり、（ｂ）はＡ−Ａ´線断面図であり、（ｃ）はＢ−Ｂ´線断面図である。
【図３】Ｇ、Ｃｂ、Ｙｒ、Ｍの各色成分の光についての分光分布の例を示す図である。
【図４】実施形態１の撮像装置の概略構成を示すブロック図である。
【図５】実施形態１における光学フィルタの分光透過率特性を示す図である。
【図６】実施形態１におけるレンズと撮像素子を示す図である。
【図７Ａ】実施形態１における撮像素子の画素配列の一例を示す図である。
【図７Ｂ】実施形態１における撮像素子の画素配列の他の例を示す図である。
【図８Ａ】実施形態１における撮像素子の基本構造を示す平面図である。
【図８Ｂ】図６ＡにおけるＡ−Ａ´線断面図である。
【図８Ｃ】図６ＡにおけるＢ−Ｂ´線断面図である。
【図８Ｄ】図６ＡにおけるＣ−Ｃ´線断面図である。
【図８Ｅ】図６ＡにおけるＤ−Ｄ´線断面図である。
【図９】（ａ）〜（ｃ）は、分光要素アレイ１００の製造方法の一例を示す工程断面図である。
【図１０】第１低屈折率透明層６ａの上に他の低屈折率透明層６ａ’のパターンが形成された構造の一部を示す斜視図である。
【図１１】実施形態１における色情報生成処理の手順を示すフロー図である。
【図１２Ａ】実施形態２における撮像素子の基本構造を示す平面図である。
【図１２Ｂ】図１１ＡにおけるＥ−Ｅ´線断面図である。
【図１２Ｃ】図１１ＡにおけるＦ−Ｆ´線断面図である。
【図１２Ｄ】図１１ＡにおけるＧ−Ｇ´線断面図である。
【図１２Ｅ】図１１ＡにおけるＨ−Ｈ´線断面図である。
【図１３Ａ】実施形態２におけるダイクロイックミラー３ａ、３ｄの分光透過率特性の例を示す図である。
【図１３Ｂ】実施形態２におけるダイクロイックミラー３ｂ、３ｃの分光透過率特性の例を示す図である。
【発明を実施するための形態】
【００１３】
まず図１、２を参照しながら、本開示の一態様における固体撮像素子１０の基本構成および動作原理を説明する。以下の説明において、波長域または色成分の異なる光を空間的に分離することを「分光」と称することがある。また、光を検知する空間的な最小単位を「光感知セル」または「画素」と称する。説明には図中に示すｘｙｚ座標を用いる。撮像素子１０の撮像面を「ｘｙ平面」とし、撮像面における水平方向に「ｘ軸」、撮像面における垂直方向に「ｙ軸」、撮像面に垂直な方向に「ｚ軸」をとる。なお、「水平方向」および「垂直方向」とは、生成される画像の横方向および縦方向にそれぞれ対応する撮像面上の方向を意味する。
【００１４】
図１は、例示的な実施形態における撮像素子１０の一部を模式的に示す斜視図である。撮像素子１０は、撮像面に２次元状に配列された複数の光感知セルを含む光感知セルアレイ２００と、複数の分光要素を含む分光要素アレイとを備えている。分光要素アレイ１００は、光感知セルアレイ２００に対向して光が入射する側に配置されている。図１では、分光要素アレイ１００は、簡単のため四角柱で表されているが、実際にはこのような形状を有しているわけではなく、より詳細な構造を有する。
【００１５】
各光感知セル２は、光を受けると光電変換によって受けた光の強度（受光量）に応じた電気信号（以下、「光電変換信号」または「画素信号」と呼ぶことがある。）を出力する。各光感知セル２は、分光要素アレイ１００によって分光された光を受ける。その結果、各光感知セル２は、分光要素が存在しないと仮定した場合に受ける光とは異なる分光分布を有する光を受ける。ここで、「分光分布」とは、その光の波長に対する強度の分布を意味する。
【００１６】
以下、図２を参照しながら、撮像素子１０の基本構造の例を説明する。ここではまず、撮像素子１０に可視光のみが入射する場合を想定する。
【００１７】
図２（ａ）は、光感知セルアレイ２００の基本画素構成（単位ブロック）４０の１つを示す平面図である。光感知セルアレイ２００は、各々が４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含む複数の単位ブロック４０が撮像面上に２次元状に配列された構造を有している。１つの単位ブロック内には４つの光感知セルが２行２列に配置されている。各単位ブロックにおいて、１行１列目に第１の光感知セル２ａが、１行２列目に第２の光感知セル２ｂが、２行１列目に第３の光感知セル２ｃが、２行２列目に第４の光感知セル２ｄが配置されている。
【００１８】
図２（ｂ）、（ｃ）は、それぞれ、図２（ａ）におけるＡ−Ａ´線断面、Ｂ−Ｂ´線断面を模式的に示す図である。図２（ｂ）、（ｃ）は、撮像素子１０に入射した光が分光要素アレイ１００を透過する際に色成分によって進行方向が変化し、結果として各光感知セルが受ける光の分光分布が互いに異なっている様子を示している。ここで、分光要素アレイ１００が存在しないと仮定した場合に各光感知セルが受ける光をその光感知セルの「セル入射光」と呼ぶこととする。１つの単位ブロックに含まれる光感知セル２ａ〜２ｄが近接している場合、それらの光感知セルのセル入射光に含まれる光の強度および分光分布はほぼ同一であると考えることができる。それらの光感知セルのセル入射光の可視光成分の強度を記号「Ｗ」で表すこととする。本明細書では、セル入射光に含まれる可視光の一部の色成分を第１の色成分とし、他の一部の色成分を第２の色成分とする。また、第２の色成分の補色成分を第３の色成分とし、第１の色成分の補色成分を第４の色成分とする。すなわち、第１から第４の色成分の強度をそれぞれＣ１、Ｃ２、Ｃ３、Ｃ４で表すと、Ｗ＝Ｃ１＋Ｃ４、Ｗ＝Ｃ２＋Ｃ３と表すことができる。なお、第１の色成分と第４の色成分とが補色の関係にあるからといって、第１の色成分の光の波長域と第４の色成分の光の波長域とは、完全に分離している必要は無く、部分的に重複していてもよい。同様に、第２の色成分の光の波長域と第３の色成分の光の波長域が部分的に重複していてもよい。
【００１９】
第１から第４の色成分は、それぞれ、例えば、緑（Ｇ）、緑を半分含んだ青（Ｂ＋１／２Ｇ、以下、「Ｃｂ」と表す場合がある。）、緑を半分含んだ赤（Ｒ＋１／２Ｇ、以下、「Ｙｒ」と表す場合がある。）、マゼンタ（Ｒ＋Ｂ、以下、「Ｍ」と表す場合がある。）であり得る。第１から第４の色成分は、この例に限らず、可視光に含まれる４つの色成分であれば、他の色成分の組み合わせであってもよい。
【００２０】
図３は、第１〜第４の色成分がそれぞれＧ、Ｃｂ、Ｙｒ、Ｍの場合における各色成分の光の分光分布の例を示している。図示されるように、Ｇ光は、緑の波長域（５００ｎｍ〜６００ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。Ｍ光は、青の波長域（４００ｎｍ〜５００ｎｍ付近）および赤の波長域（６００ｎｍ〜７００ｎｍ付近）の成分を主に含む色成分であるが、緑の波長域の成分を若干含んでいてもよい。Ｃｂ光は、青〜短波長側の緑（４００ｎｍ〜５５０ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。Ｙｒ光は、長波長側の緑〜赤（５５０ｎｍ〜７００ｎｍ付近）の成分を主に含む色成分であるが、その他の波長域の成分を若干含んでいてもよい。このように、第１〜第４の色成分の光は、その強度がピークをとる波長域は互いに異なるが、部分的に重複する波長域の光を含んでいてもよい。
【００２１】
分光要素アレイ１００は、典型的には各光感知セルに対向して配置された複数の分光要素を含む。各分光要素は、例えば後に詳しく説明する「高屈折率透明部」およびその周囲に設けられた「低屈折率透明部」によって構成され得る。あるいは、形状および屈折率が適切に設計されたマイクロレンズによっても構成され得る。さらには、特定波長域の光を反射し、他の波長域の光を透過させる多層膜フィルタ（ダイクロイックミラー）を用いて実現することも可能である。多層膜フィルタを含む分光要素は、多層膜フィルタによって反射された光を異なる媒質間の境界で全反射させ、隣接する光感知セルに導くように構成され得る。
【００２２】
図２に示す分光要素アレイ１００は、第１の光感知セル２ａのセル入射光（強度Ｗ）から第１の色成分の光（強度Ｃ１）を減少させ、第２の色成分の光および第３の色成分の光（強度（Ｃ２＋Ｃ３）／２）を増加させた光を第１の光感知セル２ａに入射させる。また、第２の光感知セル２ｂのセル入射光（強度Ｗ）から第２の色成分の光（強度Ｃ２）を減少させ、第１の色成分の光および第４の色成分の光（強度（Ｃ１＋Ｃ４）／２）を増加させた光を第２の光感知セル２ｂに入射させる。また、第３の光感知セル２ｃのセル入射光（強度Ｗ）から第３の色成分の光（強度Ｃ３）を減少させ、第１の色成分の光および第４の色成分（強度（Ｃ１＋Ｃ４）／２）の光を増加させた光を第３の光感知セル２ｃに入射させる。さらに、第４の光感知セル２ｄのセル入射光（強度Ｗ）から第４の色成分の光（強度Ｃ４）を減少させ、第２の色成分の光および第３の色成分の光（強度（Ｃ２＋Ｃ３）／２）を増加させた光を第４の光感知セル２ｄに入射させる。
【００２３】
以上の構成により、光感知セル２ａ〜２ｄは、図２（ｂ）、（ｃ）に示すように、それぞれ、Ｗ−Ｃ１＋（Ｃ２＋Ｃ３）／２、Ｗ−Ｃ２＋（Ｃ１＋Ｃ４）／２、Ｗ−Ｃ３＋（Ｃ１＋Ｃ４）／２、Ｗ−Ｃ４＋（Ｃ２＋Ｃ３）／２で表される強度の光を受ける。各光感知セルは、これらの強度に応じた光電変換信号を出力する。ここで、光感知セル２ａ〜２ｄが出力する光電変換信号をそれぞれＳ２ａ〜Ｓ２ｄとし、強度Ｗに対応する信号をＷｓ、強度Ｃ１に対応する信号をＣ１ｓ、強度Ｃ２に対応する信号をＣ２ｓ、強度Ｃ３に対応する信号をＣ３ｓ、強度Ｃ４に対応する信号をＣ４ｓとする。但し、Ｗｓ＝Ｃ１ｓ＋Ｃ４ｓ、Ｗｓ＝Ｃ２ｓ＋Ｃ３ｓである。すると、Ｓ２ａ〜Ｓ２ｄは、以下の式１〜４で表すことができる。
（式１）  Ｓ２ａ＝Ｗｓ−Ｃ１ｓ＋（Ｃ２ｓ＋Ｃ３ｓ）／２
（式２）  Ｓ２ｂ＝Ｗｓ−Ｃ２ｓ＋（Ｃ１ｓ＋Ｃ４ｓ）／２
（式３）  Ｓ２ｃ＝Ｗｓ−Ｃ３ｓ＋（Ｃ１ｓ＋Ｃ４ｓ）／２
（式４）  Ｓ２ｄ＝Ｗｓ−Ｃ４ｓ＋（Ｃ２ｓ＋Ｃ３ｓ）／２
【００２４】
ここで、信号Ｓ２ａ、Ｓ２ｄの差分をＤ１とし、信号Ｓ２ｂ、Ｓ２ｃの差分をＤ２とすると、Ｄ１、Ｄ２は、それぞれ以下の式５、６で表される。
（式５）  Ｄ１＝Ｓ２ａ−Ｓ２ｄ＝Ｃ４ｓ−Ｃ１ｓ
（式６）  Ｄ２＝Ｓ２ｃ−Ｓ２ｂ＝Ｃ２ｓ−Ｃ３ｓ
【００２５】
さらに、Ｄ１とＤ２との加減算により、それぞれ以下の式７、８が得られる。
（式７）  Ｄ１＋Ｄ２＝Ｃ４ｓ＋Ｃ２ｓ−Ｃ３ｓ−Ｃ１ｓ
（式８）  Ｄ１−Ｄ２＝Ｃ４ｓ−Ｃ２ｓ＋Ｃ３ｓ−Ｃ１ｓ
【００２６】
式７および式８の演算は差分演算を含んでいるため、これらの演算によって生成される信号（Ｄ１＋Ｄ２）および信号（Ｄ１−Ｄ２）は、色差信号を示すものといえる。ここで、赤、緑、青の光電変換信号をそれぞれＲｓ、Ｇｓ、Ｂｓで表し、上述した典型的な例として、Ｃ１ｓ＝Ｇｓ、Ｃ２ｓ＝Ｂｓ＋１／２Ｇｓ、Ｃ３ｓ＝Ｒｓ＋１／２Ｇｓ、Ｃ４ｓ＝Ｒｓ＋Ｂｓであるものとすると、式７および式８から、（Ｄ１＋Ｄ２）＝（２Ｒｓ−Ｇｓ）および（Ｄ１−Ｄ２）＝（２Ｂｓ−Ｇｓ）で表される２つの色差信号が得られることがわかる。
【００２７】
一方、Ｓ２ａとＳ２ｄとの加算、Ｓ２ｂとＳ２ｃとの加算、およびＳ２ａ〜Ｓ２ｄの加算のいずれかの演算により、以下の式９〜１１に示すように、セル入射光の可視光成分の強度Ｗの２倍または４倍に相当する信号が得られる。
（式９）    Ｓ２ａ＋Ｓ２ｄ＝２Ｗｓ
（式１０）  Ｓ２ｂ＋Ｓ２ｃ＝２Ｗｓ
（式１１）  Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４Ｗｓ
【００２８】
これらの信号は、入射光に含まれる可視光の成分の全てが損失なく光電変換された場合に得られる信号に相当する。したがって、これらのいずれかを輝度信号とすれば、撮像感度の面で理想的な特性が得られる。
【００２９】
式９〜１１のいずれかの演算によって求められる輝度信号と、式７、８によって求められる２つの色差信号とが得られれば、行列演算によってＲＧＢ信号を求めることができる。すなわち、光感知セル２ａ〜２ｄから出力される４つの光電変換信号Ｓ２ａ〜Ｓ２ｄに基づく信号演算によってカラー信号を算出できる。
【００３０】
上記の撮像素子１０によれば、光の一部を吸収する色フィルタを用いることなく、分光要素を用いることにより、信号演算によってカラー情報を得ることができる。そのため、光の損失を抑えることができ、撮像感度を従来よりも高めることが可能となる。さらに、式１〜４の右辺に示すように、各画素信号の生成過程において、Ｃ１ｓ〜Ｃ４ｓのいずれかの信号が加算だけでなく減算もされているため、光強度Ｗの可視光を受けた場合、ある画素だけ信号値が特に大きくなる、あるいは特に小さくなるといったことが起こらない。このことは撮像素子１０の入射光に対するダイナミックレンジ特性を向上させるという点で良好であると言える。
【００３１】
次に、撮像素子１０が特定波長域の赤外光のみを受光する場合について説明する。これは、例えば、夜間において特定波長域の赤外光を出射するＩＲ光源を用いて撮像を行う場合が該当する。撮像素子１０は、分光要素その他の光学素子を含む分光要素アレイ１０の特性により、当該特定の赤外光について、第１の光感知セル２ａおよび第４の光感知セル２ｄにおける受光量が等しく、第２の光感知セル２ｂおよび第３の光感知セル２ｃの受光量が等しく、かつ第１の光感知セル２ａおよび第２の光感知セル２ｂの受光量が異なるように構成されている。すなわち、各光感知セルに当該特定波長域の赤外光のみが入射する場合、Ｓ２ａ＝Ｓ２ｄ≠Ｓ２ｂ＝Ｓ２ｃが成立するように分光要素アレイ１００が構成されている。そのため、式５、式６におけるＤ１、Ｄ２は０になり、その結果、式７、８で表される信号（Ｄ１＋Ｄ２）および（Ｄ１−Ｄ２）も０になる。この結果は、式７および式８で表される色差信号には、当該波長域の赤外光の影響は現れないことを示している。これに対し、式９〜１１で表される輝度信号には当該特定波長域の赤外光の影響が現れる。すなわち、第１および第４の光感知セル２ａ、２ｄと、第２および第３の光感知セル２ｂ、２ｃとの間で、当該特定波長域の赤外光の受光量が異なるため、式９で表される輝度信号と、式１０で表される輝度信号との間に差違が生じる。
【００３２】
ここで、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜を考える。式９、式１０からわかるように、撮像素子１０が可視光のみを受光する場合、その演算結果は０になるが、特定波長域の赤外光を受光する場合、その演算結果は０にはならない。このことは、当該演算により、当該特定波長域の赤外光の光量を推定できることを表している。当該特定波長域の赤外光の光量を推定できれば、当該特定波長域の赤外光の輝度信号への影響を除去することができる。その上、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の結果を用いて、ＩＲ画像を生成することができる。すなわち、可視光のカラー画像とＩＲ画像とを同時に得ることができる。カラー画像とＩＲ画像とを生成する具体的な処理については後述する。
【００３３】
以上のように、本開示の実施形態における撮像素子１０は、ＩＲ画像の生成に適した構成を有している。分光要素その他の光学素子を適切に構成することにより、カラー撮像とＩＲ画像とを同時に生成することができる。また、従来技術とは異なり、色フィルタは用いられないため、高感度のカラー撮像が可能であるという優れた利点を有する。
【００３４】
なお、分光要素アレイ１００の構成は、上記の例に限定されない。分光要素アレイ１００は、第１の光感知セル２ａのセル入射光からＣ１光を減少させ、Ｃ２光およびＣ３光を増加させた光を第１の光感知セル２ａに入射させ、第２の光感知セル２ｂのセル入射光からＣ２光を減少させ、Ｃ１光およびＣ４光を増加させた光を第２の光感知セル２ｂに入射させ、第３の光感知セル２ｃのセル入射光からＣ３光を減少させ、Ｃ１光およびＣ４光を増加させた光を第３の光感知セル２ｃに入射させ、第４の光感知セル２ｄのセル入射光からＣ４光を減少させ、Ｃ２光およびＣ３光を増加させた光を第４の光感知セル２ｄに入射させるように構成されていれば、それらの光の強度は上記の例とは異なっていてもよい。各光電変換信号における各色成分の比率に応じて各信号を適切に補正することにより、上記と同様の演算処理を適用し得る。
【００３５】
また、分光要素アレイ１００による分光は、上記の態様に限定されない。分光要素アレイ１００は、第１から第４の光感知セルに異なる分光分布の光を入射させ、第１および第４の光感知セルに入射する可視光の合計の分光分布が、第２および第３の光感知セルに入射する可視光の合計の分光分布に実質的に等しくなるように構成されていれば、どのように構成されていてもよい。言い換えれば、第１の光感知セルから出力される光電変換信号の可視光による成分と、前記第４の光感知セルから出力される光電変換信号の可視光による成分との合計が、前記第２の光感知セルから出力される光電変換信号の可視光による成分と、前記第３の光感知セルから出力される光電変換信号の可視光による成分との合計に実質的に等しくなるように構成されていればよい。そのような構成により、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜によって可視光の成分をキャンセルできるため、赤外光の情報を容易に生成できるという利点がある。
【００３６】
本開示の実施形態では、撮像素子１０の前面に特定の赤外光のみを透過させる赤外カットフィルタを配置させることが効果的である。また、特定の波長域の赤外光に関して、第１の光感知セル２ａと第４の光感知セル２ｄの受光量を等しくし、第２の光感知セル２ｂと第３の光感知セル２ｃの受光量を等しくすることが効果的である。そのため、当該赤外光および可視光の波長帯域において透過性を有し、その他の波長帯域において透過性を有しない光学フィルタをいずれかの光感知セル上に配置してもよい。
【００３７】
以下、本開示のより具体的な実施形態を説明する。以下の説明において、同一または類似する要素には同一の符号を付している。
【００３８】
（実施形態１）
図４は、第１の実施形態による撮像装置の全体構成を示すブロック図である。本実施形態の撮像装置は、デジタル式の電子カメラであり、撮像部３００と、撮像部３００から送出される信号に基づいて画像を示す信号（画像信号）を生成する信号処理部４００とを備えている。なお、撮像装置は静止画のみを生成してもよいし、動画を生成する機能を備えていてもよい。
【００３９】
撮像部３００は、被写体を結像するための光学レンズ１２と、光学フィルタ１１と、光学レンズ１２および光学フィルタ１１を通して結像した光情報を、光電変換によって電気信号に変換する固体撮像素子１０（イメージセンサ）とを備えている。撮像部３００はさらに、赤外光を出射するＩＲ光源１９と、撮像素子１０を駆動するための基本信号を発生するとともに撮像素子１０からの出力信号を受信して信号処理部４００に送出する信号発生／受信部１３と、信号発生／受信部１３によって発生された基本信号に基づいて撮像素子１０を駆動する素子駆動部１４とを備えている。光学レンズ１２は、公知のレンズであり、複数のレンズを有するレンズユニットであり得る。撮像素子１０は、典型的にはＣＭＯＳまたはＣＣＤであり、公知の半導体製造技術によって製造される。信号発生／受信部１３および素子駆動部１４は、例えばＣＣＤドライバなどのＬＳＩから構成されている。ＩＲ光源１９は、汎用的な赤外線光源であり、例えば夜間のように暗い状況で撮像する際に用いられる。
【００４０】
光学フィルタ１１は、画素配列が原因で発生するモアレパターンを低減するための水晶ローパスフィルタに、赤外光の大部分を除去する赤外カットフィルタを合体させたものである。当該赤外カットフィルタは、可視光および特定の波長域の赤外光のみを透過させ、その他の波長域の赤外光を吸収する特性を有している。図５は、この赤外カットフィルタの分光透過率特性の例を示している。この例では、特定の波長域は、７００〜８００ｎｍの間に設定されている。したがって、当該赤外カットフィルタを透過した赤外光は、７００〜８００ｎｍの間に強度のピークを有する。ただし、これは一例であり、強度のピークをとる波長は任意に設定してよい。この分光特性により、撮像素子１０には、可視光に加え、上記の近赤外帯域でピークを有する特定の赤外光のみが入射する。
【００４１】
信号処理部４００は、撮像部３００から送出される信号を処理して画像信号を生成する画像信号生成部１５と、画像信号の生成過程で発生する各種のデータを格納するメモリ３０と、生成した画像信号を外部に送出する画像信号出力部１６とを備えている。画像信号生成部１５は、公知のデジタル信号処理プロセッサ（ＤＳＰ）などのハードウェアと、画像信号生成処理を含む画像処理を実行するソフトウェアとの組合せによって好適に実現され得る。メモリ３０は、ＤＲＡＭなどによって構成される。メモリ３０は、撮像部３００から送出された信号を記録するとともに、画像信号生成部１５によって生成された画像データや、圧縮された画像データを一時的に記録する。これらの画像データは、画像信号出力部１６を介して不図示の記録媒体や表示部などに送出される。
【００４２】
なお、本実施形態の撮像装置は、電子シャッタ、ビューファインダ、電源（電池）、フラッシュライトなどの公知の構成要素を備え得るが、それらの説明は本実施形態の理解に特に必要でないため省略する。また、以上の構成はあくまでも一例であり、本実施形態において、撮像素子１０および画像信号生成部１５を除く構成要素には、公知の要素を適切に組み合わせて用いることができる。
【００４３】
以下、本実施形態における固体撮像素子１０を説明する。
【００４４】
図６は、露光中にレンズ１２を透過した光が撮像素子１０に入射する様子を模式的に示す図である。図６では、簡単のためレンズ１２および撮像素子１０以外の構成要素の記載は省略されている。また、レンズ１２は、一般には光軸方向に並んだ複数のレンズによって構成され得るが、簡単のため、単一のレンズとして描かれている。撮像素子１０の撮像面１０ａには、２次元状に配列された複数の光感知セル（画素）を含む光感知セルアレイが配置されている。各光感知セルは、典型的にはフォトダイオードであり、光電変換によって入射光量に応じた光電変換信号（画素信号）を出力する。撮像面１０ａにはレンズ１２および光学フィルタ１１を透過した光（可視光および特定波長域の赤外光）が入射する。一般に撮像面１０ａに入射する光の強度および波長域ごとの入射光量の分布（分光分布）は、入射位置に応じて異なる。
【００４５】
図７Ａ、７Ｂは、本実施形態における画素配列の例を示す平面図である。光感知セルアレイ２００は、例えば、図７Ａに示すように撮像面１０ａ上に正方格子状に配列された複数の光感知セルを有する。光感知セルアレイ２００は、複数の単位ブロック４０から構成され、各単位ブロック４０は４つの光感知セル２ａ、２ｂ、２ｃ、２ｄを含んでいる。各単位ブロックにおいて、１行１列目に第１の光感知セル２ａが、１行２列目に第２の光感知セル２ｂが、２行１列目に第３の光感知セル２ｃが、２行２列目に第４の光感知セル２ｄが配置されている。なお、光感知セルの配列は、このような正方格子状の配列ではなく、例えば、図７Ｂに示す斜行型の配列であってもよいし、他の配列であってもよい。各単位ブロックに含まれる４つの光感知セル２ａ〜２ｄは、図７Ａ、７Ｂに示すように、互いに近接しているが、これらが離れていても、後述する分光要素アレイを適切に構成することによって色情報を得ることが可能である。
【００４６】
光感知セルアレイ２００に対向して、光が入射する側に複数の分光要素を含む分光要素アレイが配置される。本実施形態では、各単位ブロックに含まれる４つの光感知セルに対して各々１つずつ分光要素が設けられる。
【００４７】
以下、本実施形態における分光要素を説明する。
【００４８】
本実施形態における分光要素は、屈折率が異なる２種類の透光性部材の境界で生じる光の回折を利用して入射光を波長域に応じて異なる方向に向ける光学素子である。このタイプの分光要素は、屈折率が相対的に高い材料で形成された高屈折率透明部（コア部）と、屈折率が相対的に低い材料で形成されコア部の各々の側面と接する低屈折率透明部（クラッド部）とを有している。コア部とクラッド部との間の屈折率差により、両者を透過した光の間で位相差が生じるため、回折が起こる。この位相差は光の波長によって異なるため、光を波長域（色成分）に応じて空間的に分離することが可能となる。例えば、第１の方向および第２の方向に第１色成分の光を半分ずつ向け、第３の方向に第１色成分以外の光を向けることができる。また、３つの方向にそれぞれ異なる波長域（色成分）の光を向けることも可能である。
【００４９】
本願明細書において、「高屈折率」および「低屈折率」の用語は、絶対的な屈折率の高低を意味するものではなく、あくまでも屈折率の相対的な比較の結果を意味する。すなわち、「低屈折率」とは、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低いことを意味する。一方、「高屈折率」とは、高屈折率透明部の屈折率が低屈折率透明部の屈折率よりも高いことを意味する。したがって、低屈折率透明部の屈折率が高屈折率透明部の屈折率よりも低ければ、それぞれの屈折率の値は任意である。
【００５０】
本実施形態における低屈折率透明部は、分光要素アレイ１００内において層状に形成されている。このため、低屈折率透明部を「低屈折率透明層」または単に「透明層」とも呼ぶ。低屈折率透明層の内部に埋め込まれた個々の高屈折率透明部は、低屈折率透明部に入射した光の位相速度を局所的に低下させる。その結果、低屈折率透明部の上面に入射した光が下面に向かって伝播するときに波長によって異なる位相シフトが生じ、入射光は分光される。このため、本願明細書では、個々の高屈折率透明部を「分光要素」と称する。この分光要素は、「位相シフタ」と呼んでもよい。
【００５１】
各分光要素における高屈折率透明部の形状は直方体であり、ｘ軸方向およびｙ軸方向の辺が同程度であり、ｚ軸方向の辺が最も長い。高屈折率透明部３の形状は、厳密な直方体である必要は無く、エッジが丸められていてもよいし、側面がテーパまたは逆テーパを有していてもよい。高屈折率透明部３のサイズ、形状、および屈折率などを調整することにより、入射光をどのように分光させるかを制御することができる。高屈折率透明部３のより詳細な構成と機能は、特許文献３に開示されているので、特許文献３の内容の全体をここに援用する。
【００５２】
図８Ａは、撮像素子１０の基本構造を示す平面図である。各単位ブロックにおいて、４つの光感知セル２ａ、２ｂ、２ｃ、２ｄの各々に対向して分光要素１ａ、１ｂ、１ｃ、１ｄがそれぞれ配置されている。このような基本構造を有する複数のパターンが撮像面１０ａ上に繰り返し形成されている。
【００５３】
図８Ｂ、８Ｃ、８Ｄ、８Ｅは、図８ＡにおけるＡ−Ａ´線断面、Ｂ−Ｂ´線断面、Ｃ−Ｃ´線断面およびＤ−Ｄ´線断面をそれぞれ示す図である。これらの図に示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７の内部に配置された光感知セル２ａ〜２ｄと、半導体基板７の表面側（光が入射する側）に形成された配線層５および低屈折率透明部からなる透明層６と、透明層６の内部に配置された高屈折率透明部からなる分光要素１ａ、１ｂ、１ｃ、１ｄとを備えている。また、各光感知セルへの集光を効率的に行うためのマイクロレンズ４が透明層６を隔てて個々の光感知セルに対応して配置されている。なお、マイクロレンズ４が配置されていなくても本実施形態の効果を得ることは可能である。本実施形態では、第２の光感知セル２ｂおよび第４の光感知セル２ｄに対向して、可視光および特定の波長域の赤外光を透過してそれ以外の赤外光を吸収する赤外カットフィルタ８ｂ、８ｄがそれぞれ配置されている。これらの赤外カットフィルタ８ｂ、８ｄは、特定の波長域の赤外光について、光感知セル２ａ、２ｄの受光量を等しくし、光感知セル２ｂ、２ｃの受光量を等しくするように、その透過率が設計されている。
【００５４】
図８Ａ〜８Ｅに示す構造は、公知の半導体製造技術により作製され得る。図８Ａ〜８Ｅに示される撮像素子１０は、配線層５の側から各光感知セルに光が入射する表面照射型の構造を有しているが、このような構造に限られず、配線層５の反対側から光を受ける裏面照射型の構造を有していてもよい。
【００５５】
分光要素１ａ、１ｂ、１ｃ、１ｄは、図８Ａ〜８Ｅに示すように、断面は正方形で、光が透過する方向に長い直方体の形状を有しており、自身と透明層６との間の屈折率差によって分光する。ここでは、まず、可視光のみを受光する場合を想定する。この場合、図８Ｂ、８Ｃ、８Ｅに示されている赤外カットフィルタ８ｂ、８ｄは、存在しないと考えてよい。
【００５６】
分光要素１ａは、対向する光感知セル２ａに赤（Ｒ）光および青（Ｂ）光の合成光、すなわちマゼンタ（Ｍ）光を入射させる。また、水平方向（ｘ方向）または垂直方向（ｙ方向）に隣接する４つの光感知セルに、緑（Ｇ）光を１／４ずつ入射させる。すなわち、分光要素１ａは、光感知セル２ｂ、２ｃ、および隣接単位ブロックに含まれる２つの光感知セルにＧ／４で表される光を入射させる。
【００５７】
分光要素１ｂは、対向する光感知セル２ｂにＢ光およびＧ光の１／２からなる合成光（Ｃｂ光）を入射させる。また、水平方向および垂直方向に隣接する４つの光感知セルにＲ光およびＧ光の１／２からなる合成光（Ｙｒ光）を１／４ずつ入射させる。すなわち、分光要素１ｂは、光感知セル２ａ、２ｄ、および隣接単位ブロックに含まれる２つの光感知セルにＹｒ／２で表される光を入射させる。
【００５８】
分光要素１ｃは、対向する光感知セル２ｃにＹｒ光を入射させ、水平方向および垂直方向に隣接する４つの光感知セルにＣｂ光を１／４ずつ入射させる。すなわち、分光要素１ｃは、光感知セル２ａ、２ｄ、および隣接単位ブロックに含まれる２つの光感知セル（不図示）にＣｂ／４で表される光を入射させる。
【００５９】
分光要素１ｄは、対向する光感知セル２ｄにＧ光を入射させ、水平方向および垂直方向に隣接する４つの光感知セルにＭ光を１／４ずつ入射させる。すなわち、分光要素１は、光感知セル２ｂ、２ｃ、および隣接単位ブロックに含まれる２つの光感知セル（不図示）にＭ／４で表される光を入射させる。本実施形態では、分光要素１ａ、１ｂ、１ｃ、１ｄが以上の分光特性をもつように、それらの長さおよび厚さが設計されている。
【００６０】
分光要素１ａ〜１ｄは、例えば窒化ケイ素（ＳｉＮ）から形成され得る。低屈折率透明層６は、例えば二酸化ケイ素（ＳｉＯ2）から形成され得る。但し、分光要素アレイ１００の材料は、この例に限定されない。また、分光特性を補正するため、分光要素１ａ〜１ｄを構成する高屈折率透明部または低屈折率透明層６の一部に特定波長域の光を吸収する物質が添加されていてもよい。
【００６１】
次に、図９を参照しながら、本実施形態で使用される分光要素アレイ１００を製造する方法の一例を説明する。
【００６２】
まず、図９（ａ）に示すように、光感知セルアレイ２００の上に、低屈折率透明層６の一部を構成する第１低屈折率透明層６ａを堆積する。このような第１低屈折率透明層６ａの堆積は、公知の薄膜堆積技術を用いて行うことができる。例えばＣＶＤ（化学的気相成長法）またはスパッタ法が使用され得る。第１低屈折率透明層６ａの上に、屈折率が低屈折率透明層６よりも高い材料からなる透明層１８を堆積する。この透明層１８の堆積も公知の薄膜堆積技術を用いて行うことができる。次に、リソグラフィ技術により、透明層１８の上にエッチングマスクパターン１７を形成する。リソグラフィ技術で使用するフォトマスクのパターンを設計することにより、任意の平面形状を有するエッチングマスクパターン１７を形成することができる。
【００６３】
次に、図９（ｂ）に示すように、エッチングマスクパターン１７をマスクとして透明層１８をエッチングすることにより、透明層１８から不要部分を除去して高屈折率透明部（図示される例では「分光要素１ａ、１ｂ」）を形成する。このエッチングは、異方性のドライエッチングによって実行され得る。エッチングに際して高屈折率透明部のテーパが形成されてもよい。
【００６４】
更に、図９（ｃ）に示すように、エッチングマスクパターン１７を除去した後、低屈折率透明層６を構成する第２低屈折率透明層６ｂで高屈折率透明部の間の領域を埋め込み、低屈折率透明層６の形成を完了する。第２低屈折率透明層６ｂは、高屈折率透明部の上面を覆うように形成され得る。なお、図９では、分光要素１ａ、１ｂのみが描かれているが、分光要素１ｃ、１ｄも上記の方法によって同時に形成される。
【００６５】
第１低屈折率透明層６ａの厚さを調整することにより、高屈折率透明部の下端と光感知セルアレイ２００との距離を制御することができる。分光特性が異なる分光要素１ａ〜１ｄの間では、高屈折率透明部の下端と光感知セルアレイ２００との距離が異なり得る。このため、本実施形態における分光要素アレイ１００を製造するときは、位置によって第１低屈折率透明層６ａの厚さを変える工程を行ってもよい。このような工程は、透明層１８を堆積する前に、第１低屈折率透明層６ａの一部の領域を表面からエッチングするか、あるいは、第１低屈折率透明層６ａの上に他の低屈折率透明層のパターンを形成すればよい。他の低屈折率透明層のパターンは、例えばリフトオフ法によって形成され得る。
【００６６】
図１０は、第１低屈折率透明層６ａの上に他の低屈折率透明層６ａ’のパターンが形成された構造の一部を示す斜視図である。他の低屈折率透明層６ａ’のパターンは、例えば光感知セル２ａ〜２ｄのうち、いずれに対向する部分であるかによって厚さを変えて形成され得る。
【００６７】
さらに、分光特性が異なる分光要素１ａ〜１ｄの間では、高さ（ｚ軸方向のサイズ）が異なる場合がある。分光要素１ａ〜１ｄの高さを位置によって変えるには、場所によって厚さが異なる透明層１８を堆積すればよい。このような透明層１８は、図１０に示すような凹凸段差が表面に形成された第１低屈折率透明層６ａの上に略一様な厚さを有する透明層１８を堆積した後、透明層１８の上面を平坦化することによって形成され得る。このような平坦化を行うと、分光要素アレイ１００を構成する高屈折率透明部の上面は全て同じレベルになる。高屈折率透明部の上面のレベルを分光要素の種類に応じて変化させる場合、特定の領域に位置する高屈折率透明部の上面をマスクし、マスクされていない高屈折率透明部の上面を選択的にエッチングすればよい。
【００６８】
なお、上記の分光要素アレイの製造方法は一例であり、このような方法に限定されない。
【００６９】
続いて、画像信号生成部１５による信号処理を説明する。上記の分光要素１ａ〜１ｄによる分光の結果、光感知セル２ａ〜２ｄは、それぞれ以下の式１２〜１５で表される光電変換信号Ｓ２ａ〜Ｓ２ｄを出力する。ここで、赤光、緑光、青光の強度に相当する信号をそれぞれＲｓ、Ｇｓ、Ｂｓと表す。また、マゼンタ光の強度に相当する信号をＭｓ（＝Ｒｓ＋Ｂｓ）、Ｙｒ光の強度に相当する信号をＹｒｓ（＝Ｒｓ＋１／２Ｇｓ）、Ｃｂ光の強度に相当する信号をＣｂｓ（＝Ｂｓ＋１／２Ｇｓ）、セル入射光の強度に相当する信号をＷｓ（＝Ｒｓ＋Ｇｓ＋Ｂｓ＝Ｍｓ＋Ｇｓ＝Ｙｒｓ＋Ｃｂｓ）と表す。
（式１２）  Ｓ２ａ＝Ｍｓ＋（Ｙｒｓ＋Ｃｂｓ）／２＝（３／２）Ｒｓ＋（１／２）Ｇｓ＋（３／２）Ｂｓ
（式１３）  Ｓ２ｂ＝Ｃｂｓ＋（Ｍｓ＋Ｇｓ）／２＝（１／２）Ｒｓ＋Ｇｓ＋（３／２）Ｂｓ
（式１４）  Ｓ２ｃ＝Ｙｒｓ＋（Ｍｓ＋Ｇｓ）／２＝（３／２）Ｒｓ＋Ｇｓ＋（１／２）Ｂｓ
（式１５）  Ｓ２ｄ＝Ｇｓ＋（Ｙｒｓ＋Ｃｂｓ）／２＝（１／２）Ｒｓ＋（３／２）Ｇｓ＋（１／２）Ｂｓ
【００７０】
式１２〜１５は、それぞれ式１〜４においてＣ１ｓをＧｓに、Ｃ２ｓをＹｒｓに、Ｃ３ｓをＣｂｓに、Ｃ４ｓをＭｓに置換したものに相当する。
【００７１】
次に、撮像素子１０が特定の波長域の赤外光のみを受光する場合について説明する。これは、例えば夜間に、ＩＲ光源１９を使用して被写体に赤外線を照射し、その反射光を検出することによって赤外光画像を取得する場合が該当する。
【００７２】
本実施形態における分光要素１ａ〜１ｄは、当該特定波長域の赤外光について、一部は直下の光感知セルに入射させ、他の一部は隣接する光感知セルに入射させるように構成されている。より具体的には、分光要素１ａ〜１ｄは、赤外カットフィルタ８ｂ、８ｄがもし無ければ、当該特定波長域の赤外光についての光感知セル２ａの受光量Ｉｒ１１、光感知セル２ｂの受光量Ｉｒ１２、光感知セル２ｃの受光量Ｉｒ２１、光感知セル２ｄの受光量Ｉｒ２２がそれぞれ異なり、かつ、Ｉｒ１１＜Ｉｒ２２、Ｉｒ２１＜Ｉｒ１２の関係が成立するように設計されている。そこで、本実施形態では、当該赤外光について、光感知セル２ａ、２ｄの受光量が等しくなり、光感知セル２ｂ、２ｃの受光量が等しくなるように、光感知セル２ｂ、２ｄの上部に赤外カットフィルタ８ｂ、８ｄをそれぞれ設けている。当該赤外光についての赤外カットフィルタ８ｂ、８ｄの透過率をそれぞれｋｂ、ｋｄとすると、光感知セル２ｂの当該赤外光の受光量（以下、「赤外受光量」と呼ぶ。）は、ｋｂ×Ｉｒ１２となり、光感知セル２ｄの赤外受光量は、ｋｄ×Ｉｒ２２となる。したがって、光感知セル２ａの赤外受光量Ｉｒ１１と光感知セル２ｄの赤外受光量ｋｄ×Ｉｒ２２とが等しく、光感知セル２ｃの赤外受光量Ｉｒ２１と光感知セル２ｂの赤外受光量ｋｂ×Ｉｒ１２とが等しくなる。
【００７３】
以上の構成により、撮像素子１０が当該特定波長域の赤外光のみを受光する場合、赤外受光量Ｉｒ１１、Ｉｒ１２、Ｉｒ２１、Ｉｒ２２に相当する光電変換信号をそれぞれＩｒ１１ｓ、Ｉｒ１２ｓ、Ｉｒ２１ｓ、Ｉｒ２２ｓと表すと、光感知セル２ａからはＩｒ１１ｓ、光感知セル２ｂからはｋｂ×Ｉｒ１２ｓ、光感知セル２ｃからはＩｒ２１ｓ、光感知セル２ｄからはｋｄ×Ｉｒ２２ｓで表される信号が得られる。但し、Ｉｒ１１ｓ＝ｋｄ×Ｉｒ２２ｓ、Ｉｒ２１ｓ＝ｋｂ×Ｉｒ１２ｓである。すなわち、この場合、Ｓ２ａ＝Ｉｒ１１ｓ、Ｓ２ｂ＝ｋｂ×Ｉｒ１２ｓ＝Ｉｒ２１ｓ、Ｓ２ｃ＝Ｉｒ２１ｓ、Ｓ２ｄ＝ｋｄ×Ｉｒ２２ｓ＝Ｉｒ１１ｓとなる。
【００７４】
ここで、分光要素１ａ〜１ｄおよび赤外カットフィルタ８ｂ、８ｄを介して光感知セル２ａ〜２ｄに入射する当該特定波長域の赤外光の光量の比率は設計段階で求めることができる。すなわち、設計時に当該特定波長域の赤外光を撮像素子１０に照射して４つの光感知セル２ａ〜２ｄの信号量を計測することにより、Ｉｒ１１ｓ、Ｋｂ×Ｉｒ１２ｓ、Ｉｒ２１ｓ、ｋｄ×Ｉｒ２２ｓの比率を求めることができる。また、赤外カットフィルタ８ｂ、８ｄの当該赤外光に対する透過率ｋｂ、ｋｄも既知であるため、Ｉｒ１１ｓ、Ｉｒ１２ｓ、Ｉｒ２１ｓ、Ｉｒ２２ｓの比率も求めることができる。このため、上述した演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の算出値と、赤外カットフィルタ８ｂ、８ｄが存在しないと仮定した場合の４画素信号の平均値（Ｓ２ａ＋Ｓ２ｄ＋Ｓ２ｂ＋Ｓ２ｃ）／４との比率も光学設計上算出できる。そこで、ＩＲ画像を生成するために、本実施形態では、予めそれらの比率ｋｖ（＝（Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／４｜Ｉｒ１１ｓ＋ｋｄ×Ｉｒ２２ｓ−Ｉｒ２１ｓ−ｋｂ×Ｉｒ１２ｓ｜）が算出され、メモリ３０等に記録されている。Ｉｒ１１ｓ＝ｋｄ×Ｉｒ２２ｓ、Ｉｒ２１ｓ＝ｋｂ×Ｉｒ１２ｓであるため、この比率ｋｖは（Ｉｒ１１ｓ＋Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋Ｉｒ２２ｓ）／８｜Ｉｒ１１ｓ−Ｉｒ２１ｓ｜によっても算出できる。
【００７５】
本実施形態では、特定波長域の赤外光に加えて可視光が撮像素子１０に入射する場合においても、赤外光画像および可視光画像（カラー画像）の両方を生成することができる。この場合にカラー画像を生成するために、予めｋｗ＝（Ｉｒ１１ｓ＋ｋｂ×Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋ｋｄ×Ｉｒ２２ｓ）／｜Ｉｒ１１ｓ＋ｋｄ×Ｉｒ２２ｓ−Ｉｒ２１ｓ−ｋｂ×Ｉｒ１２ｓ｜も設計段階で求められ、メモリ３０等に記録される。
【００７６】
可視光と特定の赤外光を受光する場合、光感知セル２ａ〜２ｄの光電変換信号は、それぞれ以下の式１６〜１９で表される。
（式１６）  Ｓ２ａ＝（３／２）Ｒｓ＋（１／２）Ｇｓ＋（３／２）Ｂｓ＋Ｉｒ１１ｓ
（式１７）  Ｓ２ｂ＝（１／２）Ｒｓ＋Ｇｓ＋（３／２）Ｂｓ＋ｋｂ×Ｉｒ１２ｓ
（式１８）  Ｓ２ｃ＝（３／２）Ｒｓ＋Ｇｓ＋（１／２）Ｂｓ＋Ｉｒ２１ｓ
（式１９）  Ｓ２ｄ＝（１／２）Ｒｓ＋（３／２）Ｇｓ＋（１／２）Ｂｓ＋ｋｄ×Ｉｒ２２ｓ
【００７７】
この場合、図４に示す画像信号生成部１５は、式１６〜１９で示される光電変換信号を用いた演算によって色情報を生成することができる。
【００７８】
以下、図１１を参照しながら、画像信号生成部１５による色情報生成処理を説明する。図１１は、本実施形態における色情報生成処理の手順を示すフロー図である。
【００７９】
画像信号生成部１５は、設計時に予め求められた上記比率ｋｖ、ｋｗの値を保持している。画像信号生成部１５は、まず、ステップＳ１１において、光電変換信号Ｓ２ａ〜Ｓ２ｄを取得する。続いて、ステップＳ１２において、画像信号生成部１５は、以下の式２０、２１で表される演算を実行することによって信号（Ｒｓ−Ｇｓ＋Ｂｓ）および信号（Ｒｓ−Ｂｓ）を生成する。
（式２０）  Ｓ２ａ−Ｓ２ｄ＝Ｒｓ−Ｇｓ＋Ｂｓ
（式２１）  Ｓ２ｃ−Ｓ２ｂ＝Ｒｓ−Ｂｓ
これらの演算により、信号Ｓ２ａ〜Ｓ２ｄに含まれていた赤外光成分が除去される。
【００８０】
次に、ステップＳ１３において、生成された２つの差分信号（Ｒｓ−Ｇｓ＋Ｂｓ）および（Ｒｓ−Ｂｓ）の加減算により、色差信号（２Ｒｓ−Ｇｓ）および（２Ｂｓ−Ｇｓ）を生成する。すなわち、画像信号生成部１５は、以下の式２２、２３で表される演算を実行する。
（式２２）  （Ｓ２ａ−Ｓ２ｄ）＋（Ｓ２ｃ−Ｓ２ｂ）＝２Ｒｓ−Ｇｓ
（式２３）  （Ｓ２ａ−Ｓ２ｄ）−（Ｓ２ｃ−Ｓ２ｂ）＝２Ｂｓ−Ｇｓ
【００８１】
さらに、ステップＳ１４において、画素信号Ｓ２ａ〜Ｓ２ｄを合算することによって以下の式２４で表される信号を生成する。
（式２４）  Ｓ２ａ＋Ｓ２ｂ＋Ｓ２ｃ＋Ｓ２ｄ＝４（Ｒｓ＋Ｇｓ＋Ｂｓ）＋（Ｉｒ１１ｓ＋ｋｂ×Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋ｋｄ×Ｉｒ２２ｓ）＝４Ｗｓ＋４Ｉｒｓ
ここで、Ｉｒｓ＝（Ｉｒ１１ｓ＋ｋｂ×Ｉｒ１２ｓ＋Ｉｒ２１ｓ＋ｋｄ×Ｉｒ２２ｓ）／４＝（Ｉｒ１１ｓ＋Ｉｒ２１ｓ）／２である。
【００８２】
次に、ステップＳ１５において、画像信号生成部１５は、演算｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜の算出値に設計値ｋｖをかけ、その結果を赤外光信号とする。すなわち、以下の式２５の演算を実行する。
（式２５）  ｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜×ｋｖ＝｜Ｉｒ１１ｓ＋ｋｄ×Ｉｒ２２ｓ−ｋｂ×Ｉｒ１２ｓ−Ｉｒ２１ｓ｜×ｋｖ
【００８３】
この信号は、各光感知セルのセル入射光に含まれる特定波長域の赤外光の強度の平均値を表している。したがって、この信号は、当該赤外光の画像を示す信号として利用することができる。
【００８４】
次に、ステップ１６において、ステップＳ１４で生成した信号（４Ｗｓ＋４Ｉｒｓ）から信号４Ｉｒｓを減算し、これを輝度信号とする。信号４Ｉｒｓは、信号｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜に設計値ｋｗをかけることによって得られる。したがって、画像信号生成部１５は、信号（４Ｗｓ＋４Ｉｒｓ）から信号｜Ｓ２ａ＋Ｓ２ｄ−Ｓ２ｂ−Ｓ２ｃ｜×ｋｗを減算した結果を輝度信号とする。
【００８５】
続いて、ステップ１７において、画像信号生成部１５は、ステップＳ１３で生成した２つの色差信号とステップＳ１６で生成した１つの輝度信号から行列演算によりＲＧＢカラー信号を生成する。以上の処理により、カラー画像とＩＲ画像とを得ることができる。
【００８６】
なお、色差信号（２Ｒｓ−Ｇｓ）、（２Ｂｓ−Ｇｓ）を用いたカラー化の具体的方法については、例えば特許文献４に開示されている。本実施形態においても、特許文献４に開示された方法を利用することができる。２つの色差信号と１つの輝度信号、すなわち３つの情報があれば、行列演算によりＲＧＢ信号を算出できる。
【００８７】
画像信号生成部１５は、以上の信号演算を光感知セルアレイ２の単位ブロック４０ごとに実行することによってＲ、Ｇ、Ｂの各色成分の画像を示す信号（「カラー画像信号」と呼ぶ。）と、上記の赤外光成分の画像を示す信号（「ＩＲ画像信号」と呼ぶ。）を生成する。生成されたカラー画像信号およびＩＲ画像信号は、画像信号出力部１６によって不図示の記録媒体や表示部に出力され得る。
【００８８】
このように、本実施形態の撮像装置によれば、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた加減算処理により、カラー画像信号とＩＲ画像信号とが得られる。本実施形態における撮像素子１０によれば、可視光については、光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。
【００８９】
以上のように、本実施形態の撮像素子１０では、光感知セルアレイに対向して２行２列を基本構成とする分光要素アレイが配置される。１行１列目には光をマゼンタ光とマゼンタ光以外とに分ける分光要素１ａが配置される。１行２列目には光をＣｂ光とＣｂ光以外とに分ける分光要素１ｂが配置され、その直下に特定の赤外光を所定量透過させる赤外カットフィルタ８ｂが配置される。２行１列目には光をＹｒ光とＹｒ光以外とに分ける分光要素１ｃが配置される。２行２列目には光を緑光と緑光以外とに分ける分光要素１ｄが配置され、その直下に特定の赤外光を所定量透過させる赤外カットフィルタ８ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロック４０の選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、可視光のみ入射する場合は常に式１２〜１５で表される４つの信号の組み合わせとなり、さらに特定の赤外光が入射した場合でも常に式１６〜１９で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことにより、ＲＧＢ各色成分の情報と赤外光成分の情報をほぼ画素数分だけ得ることができる。このことは、撮像装置の解像度を画素数の程度まで高めることができることを意味している。したがって、本実施形態の撮像装置は、従来の撮像装置よりも可視光領域において高感度であることに加えて、高解像度のカラー画像を生成することができ、しかもＩＲ画像の生成も可能であるという利点を有する。
【００９０】
なお、画像信号生成部１５は、必ずしも３つの色成分の画像信号を全て生成しなくてもよい。用途に応じて１色または２色の画像信号だけを生成するように構成されていてもよい。また、必要に応じて信号の増幅、合成、補正を行ってもよい。
【００９１】
また、各分光要素は上述した分光性能を厳密に有していることが理想であるが、それらの分光性能が多少ずれていてもよい。すなわち、各光感セルから実際に出力される光電変換信号が、式１２〜１５に示す光電変換信号から多少ずれていてもよい。各分光要素の分光性能が理想的な性能からずれている場合であっても、ずれの程度に応じて信号を補正することによって良好な色情報を得ることができる。
【００９２】
さらに、本実施形態における画像信号生成部１５が行う信号演算を、撮像装置自身ではなく他の機器に実行させることも可能である。例えば、撮像素子１０から出力される光電変換信号の入力を受けた外部の機器に本実施形態における信号演算処理を規定するプログラムを実行させることによっても色情報を生成することができる。
【００９３】
なお、撮像素子１０の基本構造は図８Ａ〜８Ｅに示す構成に限られるものではない。例えば、分光要素１ａと分光要素１ｄとが入れ替わり、赤外カットフィルタ８ｄも当該配置に入れ替わった構成、あるいは分光要素１ｃと分光要素１ｂとが入れ替わり、赤外カットフィルタ８ｂも当該配置に入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図８Ａに示す１行目の配置と２行目の配置とが入れ替わっていてもよいし、基本光２行２列の対角の組み合わせが上記と同様であればどのような配置であってもその有効性に変わりはない。赤外カットフィルタ８ｂ、８ｄの配置についても、本実施形態ではそれぞれ光感知セル２ｂ、２ｄの上部としたが、重要なことは配置自体ではなく、赤外光を受光した場合、当該光による光感知セル２ａ、２ｄの光電変換信号が等しく、また当該光による光感知セル２ｂ、２ｃの光電変換信号が等しければよい。
【００９４】
また、各分光要素は、分光する色成分の光を、１／４ずつ隣接の４画素に入射させるように構成されていなくてもよい。例えば、第１の分光要素１ａは、入射光に含まれるＧ光の一部を第２の光感知セル２ｂに入射させ、Ｇ光の他の一部を第３の光感知セル２ｃに入射させるように構成されていてもよい。同様に、第２の分光要素１ｂは、入射光に含まれるＹｒ光の一部を第１の光感知セル２ａに入射させ、Ｙｒ光の他の一部を第４の光感知セル２ｄに入射させるように構成されていてもよい。また、第３の分光要素１ｃは、入射光に含まれるＣｂ光の一部を第１の光感知セル２ａに入射させ、Ｃｂ光の他の一部を第４の光感知セル２ｄに入射させるように構成されていてもよい。さらに、第４の分光要素１ｄは、入射光に含まれるＭ光の一部を第２の光感知セル２ｂに入射させ、Ｍ光の他の一部を第３の光感知セル２ｃに入射させるように構成されていてもよい。このように、各分光要素が、隣接単位ブロックの光感知セルに光を入射させない構成であっても、各画素の受ける光の分光分布に応じて、適切に演算方法を設計することにより、色情報および赤外光情報を得ることができる。
【００９５】
以上の説明では、分光要素として、２つの部材の屈折率差を利用して分光する光学素子を用いているが、分光要素は、各光感知セルに所望の色成分の光を入射できればどのようなものであってもよい。例えば、分光要素としてマイクロプリズムやダイクロイックミラーを用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。
【００９６】
（実施形態２）
次に、図１２Ａ〜１２Ｅを参照しながら、第２の実施形態を説明する。本実施形態の撮像装置は、実施形態１の撮像装置と比較して、光学フィルタ１１および撮像素子１０の構造のみが異なっており、その他の構成要素は同一である。以下、実施形態１の撮像装置との相違点を中心に説明し、重複する点は説明を省略する。
【００９７】
本実施形態における光学フィルタ１１は、可視光は透過させるが、赤外光は一部の波長域（波長８１０ｎｍ付近を中心とする狭帯域）を除いて透過させないように設計されている。この点を除いて、光学フィルタ１１は実施形態１のものと同じ特性を有する。このため、本実施形態において扱う赤外光は８１０ｎｍ付近の狭帯域の赤外光である。また、本実施形態における撮像素子１０は、回折を利用する分光要素ではなく、光を２つの色成分に分離するダイクロイックミラーを備えている。さらに赤外カットフィルタ８ｂ、８ｄは配置されていない。以下、本実施形態における撮像素子１０の基本構造を説明する。
【００９８】
図１２Ａ〜１２Ｅは、本実施形態における撮像素子１０の基本構造を示す図である。図示される撮像素子１０は、裏面照射型の撮像素子である。なお、撮像素子１０のタイプが裏面照射型であるか表面照射型であるかは重要ではなく、撮像素子１０は実施形態１と同様に表面照射型であってもよい。図１２Ａは、撮像素子１０の受光面側の基本構成を示す平面図である。本実施形態における撮像素子１０の光感知セルの配列は実施形態１における配列と同様であり、１つの単位ブロックは、４つの光感知セル２ａ〜２ｄを有している。光感知セル２ａ、２ｂ、２ｃ、２ｄに対向してダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄが、撮像面に対して傾斜して配置されている。ダイクロイックミラー３ａ〜３ｄの形状は四角錘である。ここで、各ダイクロイックミラーの傾斜角度は、その反射光が撮像素子１０の外部の空気層との間の界面で全反射し、水平方向および垂直方向に隣接する４つの画素に入射するように設定されている。
【００９９】
図１２Ｂ〜１２Ｅは、図１２ＡにおけるＥ−Ｅ´線断面、Ｆ−Ｆ´線断面、Ｇ−Ｇ´線断面、およびＨ−Ｈ´線断面をそれぞれ示す図である。図示されるように、撮像素子１０は、シリコンなどの材料からなる半導体基板７と、半導体基板７内に配置された光感知セル２ａ〜２ｄと、半導体基板７の裏面側（光が入射する側）に形成された透明層６と、透明層６の内部に配置されたダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄとを備えている。半導体基板７の表面側（光が入射する側の反対側）には配線層５が形成されている。また、表面側には半導体基板７や配線層５などを支持する固定基盤９が配置されている。固定基板９は透明層６を介して半導体基板７と接合されている。
【０１００】
図１２Ｂ、１２Ｄに示されるように、ダイクロイックミラー３ａは、Ｍ光を透過させ、Ｇ光を反射する特性を有している。その結果、ダイクロイックミラー３ａを透過したＭ光は、光感知セル２ａに入射し、ダイクロイックミラー３ａで反射されたＧ光は、透明層６と空気との界面で全反射して水平方向および垂直方向に隣接する４つの光感知セルに１／４ずつ入射する。
【０１０１】
また、図１２Ｂ、１２Ｅに示されるように、ダイクロイックミラー３ｂは、Ｃｂ光を透過させ、Ｙｒ光を反射する特性を有している。その結果、ダイクロイックミラー３ｂを透過したＣｂ光は、光感知セル２ｂに入射し、ダイクロイックミラー３ｂで反射されたＹｒ光は、透明層６と空気との界面で全反射して水平方向および垂直方向に隣接する４つの光感知セルに１／４ずつ入射する。
【０１０２】
また、図１２Ｃ、１２Ｄに示されるように、ダイクロイックミラー３ｃは、Ｙｒ光を透過させ、Ｃｂ光を反射する特性を有している。その結果、ダイクロイックミラー３ｃを透過したＹｒ光は、光感知セル２ｃに入射し、ダイクロイックミラー３ｃで反射されたＣｂ光は、透明層６と空気との界面で全反射して水平および垂直方向に隣接する４つの光感知セルに１／４ずつ入射する。
【０１０３】
また、図１２Ｃ、１２Ｅに示されるように、ダイクロイックミラー３ｄは、Ｇ光を透過させ、Ｍ光を反射する特性を有している。その結果、ダイクロイックミラー３ｄを透過したＧ光は、光感知セル２ｄに入射し、ダイクロイックミラー３ｄで反射されたＭ光は、透明層６と空気との界面で全反射し、水平および垂直方向に隣接する４つの光感知セルに１／４ずつ入射する。
【０１０４】
ここで、ダイクロイックミラー３ａ〜３ｄの分光特性を図１３Ａ、１３Ｂに示す。図１３Ａは、ダイクロイックミラー３ａ、３ｄの透過率特性を示す図であり、光感知セル２ａ、２ｄに入射する光の分光分布を表している。一方、図１３Ｂは、ダイクロイックミラー３ｂ、３ｃの透過率特性を示す図であり、光感知セル２ｂ、２ｃに入射する光の分光分布を示している。本実施形態では、可視光については各光感知セルに入射する光の分光分布は実施形態１におけるものとほぼ同じであるが、赤外光については、実施形態１におけるものと異なっている。本実施形態では、波長８１０ｎｍ付近の赤外光について、光感知セル２ａ、２ｄの受光量がほぼ等しく、光感知セル２ｂ、２ｃの受光量がほぼ等しくなるようにダイクロイックミラー３ａ〜３ｄが設計されている。その結果、当該赤外光を受光した場合、光感知セル２ａ〜２ｄの光電変換信号について、Ｓ２ａ＝Ｓ２ｄ、Ｓ２ｂ＝Ｓ２ｃの関係が成り立つ。実施形態１では、この関係を赤外カットフィルタ８ｂ、８ｄを用いることによって実現したが、本実施形態では、ダイクロイックミラー３ａ、３ｂ、３ｃ、３ｄの分光特性によりこれらの関係を実現している。
【０１０５】
このようなダイクロイックミラー３ａ〜３ｄを用いることにより、各光感知セル２ａ〜２ｄは、可視光のみを受光する場合、実施形態１における構成を採用した場合と全く同様の色成分の光を受ける。すなわち、光感知セル２ａは、ダイクロイックミラー３ａを透過したＭ光と、水平および垂直方向に隣接する４つのダイクロイックミラーで反射されて入射する光（Ｙｒ＋Ｃｂ）／２とを受ける。光感知セル２ｂは、ダイクロイックミラー３ｂを透過したＣｂ光と、水平垂直方向に隣接する４つのダイクロイックミラーで反射された光（Ｍ＋Ｇ）／２とを受ける。光感知セル２ｃは、ダイクロイックミラー３ｃを透過したＹｒ光と、水平および垂直方向に隣接するダイクロイックミラーで反射された光（Ｍ＋Ｇ）／２を受ける。光感知セル２ｄは、ダイクロイックミラー３ｄを透過したＧ光と、水平および垂直方向に隣接する４つのダイクロイックミラーで反射されて入射する光（Ｙｒ＋Ｃｂ）／２を受ける。その結果、光感知セル２ａ〜２ｄからそれぞれ出力される光電変換信号Ｓ２ａ〜Ｓ２ｄは、実施形態１における構成を採用した場合と同様、それぞれ式１２〜１５で表すことができる。また、可視光に加えてさらに波長８１０ｎｍ付近の赤外光を受光する場合も、実施形態１と同様、Ｓ２ａ〜Ｓ２ｄはそれぞれ式１６〜１９で表される。したがって、実施形態１における処理と全く同様の処理によって色情報および赤外光情報を得ることができる。
【０１０６】
このように、本実施形態の撮像装置によれば、実施形態１の撮像装置と同様、光電変換信号Ｓ２ａ〜Ｓ２ｄを用いた信号演算処理により、カラー画像信号およびＩＲ画像信号が得られる。本実施形態における撮像素子１０によっても、可視光を吸収する光学素子を用いないため、色フィルタなどを用いる従来技術と比較して光の損失を大幅に低減することができる。また、４つの光電変換信号を用いた演算によって３つの色信号が得られるため、画素数に対して得られる色情報の量が従来の撮像素子による場合よりも多いという効果を有する。
【０１０７】
以上のように、本実施形態の撮像素子１０では、１行１列目には光をマゼンタ光とマゼンタ光以外とに分けるダイクロイックミラー３ａが配置される。１行２列目には光をＣｂ光とＣｂ光以外とに分けるダイクロイックミラー３ｂが配置される。２行１列目には光をＹｒ光とＹｒ光以外とに分けるダイクロイックミラー３ｃが配置される。２行２列目には光を緑光と緑光以外とに分けるダイクロイックミラー３ｄが配置される。このような分光要素の配列パターンが撮像面上に繰り返し形成されているため、光感知セルアレイ２００における単位ブロックの選び方を１行または１列ずつ変えても、得られる４つの光電変換信号は、常に式１２〜１５、さらに式１６〜１９で表される４つの信号の組み合わせとなる。すなわち、演算対象の画素ブロックを１行および１列ずつずらしながら上記の信号演算を行うことによって、ＲＧＢ各色成分の情報をほぼ画素数分だけ得ることができ、また赤外光成分の情報も同様に得ることができる。したがって、本実施形態の撮像装置は、従来の撮像装置よりも高感度であることに加えて、高解像度のカラー画像およびＩＲ画像を生成することが可能である。
【０１０８】
なお、撮像素子１０の基本構造は図１２Ａ〜１２Ｅに示す構成に限られるものではない。例えば、ダイクロイックミラー３ａとダイクロイックミラー３ｄとが入れ替わり、ダイクロイックミラー３ｃとダイクロイックミラー３ｂとが入れ替わった構成で配置されていても本実施形態の効果に変わりはない。また、図１２Ａに示す１行目の配置と２行目の配置とが入れ替わっていてもその有効性に変わりはない。
【０１０９】
本実施形態では、分光要素として、ダイクロイックミラーを用いているが、分光要素は、原色光とその補色の光とに分離するものであればどのようなものでもよい。例えば、分光要素として、マイクロプリズムや、実施形態１で用いられる回折を利用する光学素子を用いてもよい。また、異なる種類の分光要素を組み合わせて用いることも可能である。
【０１１０】
また、各分光要素について、分岐した光の全てを隣接する光感知セルに入射させる必要はなく、分岐した光の一部を隣接する光感知セルに入射させてもよい。その場合、分岐した光のうち、隣接する光感知セルに入射させる光の割合に基づいて信号処理を補正するように画像信号生成部１５が構成され得る。
【０１１１】
また、上記の実施形態１、２では、７００〜８００ｎｍの中間の波長で強度のピークをもつ赤外光や、８１０ｎｍ付近に強度のピークをもつ赤外光を利用したが、これらの波長域に限定されるものではなく、それ以外の波長帯域のものを利用してもよい。
【産業上の利用可能性】
【０１１２】
本開示の固体撮像素子および撮像装置は、固体撮像素子を用いるすべてのカメラに有効である。例えば、デジタルスチルカメラやデジタルビデオカメラなどの民生用カメラや、産業用の固体監視カメラなどに利用可能である。
【符号の説明】
【０１１３】
１ａ、１ｂ、１ｃ、１ｄ  分光要素
２，２ａ，２ｂ，２ｃ，２ｄ  撮像素子の光感知セル
３ａ、３ｂ、３ｃ、３ｄ  分光要素（ダイクロイックミラー）
４  マイクロレンズ
５  撮像素子の配線層
６  透明層
８ｂ、８ｄ  赤外カットフィルタ
７  シリコン基板
９  固定基板
１０  撮像素子
１１  光学フィルタ
１２  光学レンズ
１３  信号発生／受信部
１４  素子駆動部
１５  画像信号生成部
１６  画像信号出力部
１９  ＩＲ光源
３０  メモリ
４０  光感知セルの単位ブロック
１００  分光要素アレイ
２００  光感知セルアレイ
３００  撮像部
４００  信号処理部
【図１】
2014086742.tif 000003
【図２】
2014086742.tif 000004
【図３】
2014086742.tif 000005
【図４】
2014086742.tif 000006
【図５】
2014086742.tif 000007
【図６】
2014086742.tif 000008
【図７Ａ】
2014086742.tif 000009
【図７Ｂ】
2014086742.tif 000010
【図８Ａ】
2014086742.tif 000011
【図８Ｂ】
2014086742.tif 000012
【図８Ｃ】
2014086742.tif 000013
【図８Ｄ】
2014086742.tif 000014
【図８Ｅ】
2014086742.tif 000015
【図９】
2014086742.tif 000016
【図１０】
2014086742.tif 000017
【図１１】
2014086742.tif 000018
【図１２Ａ】
2014086742.tif 000019
【図１２Ｂ】
2014086742.tif 000020
【図１２Ｃ】
2014086742.tif 000021
【図１２Ｄ】
2014086742.tif 000022
【図１２Ｅ】
2014086742.tif 000023
【図１３Ａ】
2014086742.tif 000024
【図１３Ｂ】
2014086742.tif 000025