(57)【要約】【課題】簡易的な構造で高機能化を実現する。【解決手段】撮像素子は、画像の取得に利用される複数の画素が配置される撮像領域５２と、色スペクトルの取得に利用される複数の画素が配置される分光領域５４と、分光領域５４にある画素の上方に形成され、所望の波長の電磁波を透過させるフィルタとを備える。このフィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、撮像領域５２と分光領域５４とが単一のチップに設けられている。本発明は、例えば、デジタルスチルカメラに適用できる。【選択図】図３
2012059865.tif 000002
【特許請求の範囲】
【請求項１】
画像の取得に利用される複数の画素が配置される撮像領域と、
色スペクトルの取得に利用される複数の画素が配置される分光領域と、
前記分光領域にある前記画素の上方に形成され、所望の波長の電磁波を透過させるフィルタと
を備え、
前記フィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、前記撮像領域と前記分光領域とが単一のチップに設けられている
撮像素子。
【請求項２】
前記撮像領域の画素から出力される画素信号から前記画像を取得する際に、黒レベルの規定に利用される画素信号を出力する画素が配置される光学的黒領域
をさらに備え、
前記分光領域のフィルタを構成する前記プラズモン共鳴体と、前記光学的黒領域の上方に形成される遮光膜とは、同一層に同一素材で実装される
請求項１に記載の撮像素子。
【請求項３】
前記分光領域は、前記撮像領域の外周を囲う領域の一部または全部に配置されている
請求項１に記載の撮像素子。
【請求項４】
前記分光領域のフィルタを構成する前記プラズモン共鳴体は、プラズマ周波数が紫外線波長域帯域にある導体金属の薄膜に、媒質中での実効的な検出電磁波波長よりも小さい直径を有するホールが、前記検出電磁波波長と略同一または前記検出電磁波波長以下の周期間隔で２次元配列に配置されて形成されたものである
請求項１に記載の撮像素子。
【請求項５】
前記分光領域のフィルタを構成する前記プラズモン共鳴体は、誘電体により構成される層に、媒質中での実効的な検出電磁波波長よりも小さい直径を有し、プラズマ周波数が紫外線波長域帯域にある導体金属の粒子が、前記検出電磁波波長と略同一または前記検出電磁波波長以下の周期間隔で２次元配列に配置されて形成されたものである
請求項１に記載の撮像素子。
【請求項６】
前記分光領域のフィルタを構成する前記プラズモン共鳴体は、透過させる電磁波の波長の種類ごとのフィルタユニットを構成し、１つの前記フィルタユニットは前記画素以上の面積を有し、Ｎ×Ｍ個（Ｎ，Ｍ＝１以上の整数）の前記画素ごとに対応して配置される
請求項１に記載の撮像素子。
【請求項７】
前記画素が有する光電変換素子は、CMOS(Complementary Metal Oxide Semiconductor)型、または、CCD(Charge Coupled Device)型である
請求項１に記載の撮像素子。
【請求項８】
画像の取得に利用される複数の画素が配置される撮像領域と、色スペクトルの取得に利用される複数の画素が配置される分光領域と、前記分光領域にある前記画素の上方に形成され、所望の波長の電磁波を透過させるフィルタとを有し、前記フィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、前記撮像領域と前記分光領域とが単一のチップに設けられている撮像素子
を備える撮像装置。
【請求項９】
前記分光領域において取得された被写体の色スペクトル情報に基づき、前記撮像領域を利用して取得される画像の色の校正に使用される校正情報を取得する処理を実行する校正情報取得手段
を備える請求項８に記載の撮像装置。
【請求項１０】
前記撮像素子の受光面が非合焦状態であるときに前記分光領域において取得された被写体の色スペクトル情報を取得する処理を実行する色スペクトル情報取得手段
を備える請求項８に記載の撮像装置。
【請求項１１】
平行移動されるのに応じて、前記分光領域において取得された被写体の色スペクトル情報を順次取得することで、前記被写体の色スペクトル情報を２次元的に取得する処理を実行する２次元的色スペクトル情報取得手段
を備える請求項８に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および撮像装置に関し、特に、簡易的な構造で高機能化を実現することができるようにした撮像素子および撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラや、カムコーダ、携帯情報端末のカメラなどのように被写体を撮像する電子デバイスでは、CCD(Charge Coupled Device)型やCMOS(Complementary Metal Oxide Semiconductor)型の固体撮像素子が主に採用されている。これらの固体撮像素子の多くは数１００万以上の画素が２次元に配列された画素アレイからなり、各画素は被写体からの光強度に応じた信号電荷を蓄積し、蓄積した電荷量に応じた電気信号をアナログもしくはデジタルデータとして標本化・画像化する。
【０００３】
ところで、固体撮像素子は、一般に特定の電磁波波長帯に感度を有する。たとえば、シリコンをベースにした固体撮像素子は近赤外線（〜1.1μｍ）よりも短い波長に対して感度を有する。しかしながら、シリコンベースの固体撮像素子は、電磁波に対してエネルギー分解能（波長分解能）がなく、蓄積された電荷からは、どの波長の光を検出したかを特定することは困難である。
【０００４】
そこで、一般的なカラー撮像デバイスでは、カラー画像を取得するために、２次元画素配列の各画素に特定の波長成分を選択的に透過する数種類のオンチップカラーフィルタを備えている。そして、隣接する少数の画素群で複数波長の光強度情報を取得して、デモザイクによる補間処理によってカラー画像を復元する手法が採用されている。
【０００５】
特に汎用カメラでは、２×２画素の単位ユニットに対し、RGB3原色のオンチップカラーフィルタを千鳥格子状に配置するBayer方式が一般的である。また感度を高めるために一部の画素にホワイト画素（可視波長帯をすべて透過する画素）を配置したり、シアン・マゼンダ・イエローなどの補色フィルタを配置したり、近赤外線を検出する画素を配置する場合もある。
【０００６】
そして、これらのフィルタは顔料などの有機分子を含有する場合が多い。しかしながら有機分子からなる色フィルタは波長分解能が低く、特定の狭帯域波長に最適化することが困難であるため、多色化には限界がある。さらに、紫外線などの外的刺激による経年変化で、透過特性が劣化する問題点が指摘されている（例えば、非特許文献１参照）。
【０００７】
他方、肉眼では識別できない精細な色情報を取る固体撮像素子もある。たとえば医療用途や学術研究用途などの特殊カメラでは、可視波長を粗く３色に分離して捕らえるだけでは不十分で、高い波長分解能でシームレスなスペクトル情報を取る必要がある。そのような用途に対応するため、高い波長分解能を有するイメージングデバイスが提案さている。たとえば、回折格子を用いたスペクトルセンサでは、波長分解能（λ／Δλ）が１００を越えるような非常に高い波長分解能で色スペクトルを取得することができるが、装置が大型であるなど特殊用途に限定されてしまう（例えば、非特許文献２参照）。
【０００８】
ところで、導体薄膜に検出波長と同程度もしくはそれよりも微細なホールを周期的に配置したホールアレイ構造、または同構造とネガポジ関係にあるアイランドアレイ構造は、プラズモン共鳴体構造として知られている。プラズモン共鳴体構造は、ホールまたはアイランドの周期や、開口、ドット形状などを最適化することで、透過波長を物理構造で調整可能なフィルタとして機能することが報告されている（例えば、非特許文献３および４参照）。
【０００９】
例えば、特許文献１および２には、上述のプラズモン共鳴体構造を色フィルタとして用いる技術が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００８−１７７１９１号公報
【特許文献２】国際公開第２００８／０８２５６９号パンフレット
【非特許文献】
【００１１】
【非特許文献１】パナソニック技報, Vol.54, No.4, Jan.2009,p18-23
【非特許文献２】PASJ Vol.54, No.6, p.819-832
【非特許文献３】Ebbesen, T.W. et al., Nature, Volume 391, Issue 6668, pp. 667-669, 1998
【非特許文献４】P.B.Catrysse & B.A.Wandell, J.Opt.Soc.Am.A, Vol.20, No.12, p.2293-2306, 2003
【発明の概要】
【発明が解決しようとする課題】
【００１２】
ところで、上述した特許文献１および２で開示されている色フィルタ技術を備えた固体撮像素子は、専用センサを前提としたものである。つまり、プラズモン共鳴体構造は、電磁波波長のλ/2, λ/4などの特定間隔の周期構造を繰り返し備えた構造体により分光機能を発生する構造であるため、波長と同程度に微細化された画素に適用するには適していない。
【００１３】
即ち、プラズモン共鳴体構造は、現状、画素サイズが電磁波波長に比べて数倍程度大きい固体撮像素子にのみ適用されている。
【００１４】
更に、分光専用の固体撮像素子を、デジタルスチルカメラやカムコーダ、携帯情報端末などの撮像装置が搭載されたシステムに追加で搭載する場合、１つの撮像システムに複数の撮像デバイスが搭載されることになり、システムの冗長性などから現実的とはされていなかった。
【００１５】
従って、通常の撮像機能に加えて、色スペクトル情報を取得する分光機能を備えた付加価値のある撮像装置を備えた撮像デバイスは現実的には普及していない。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、簡易的な構造で高機能な撮像素子および撮像装置を提供することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面の撮像素子は、画像の取得に利用される複数の画素が配置される撮像領域と、色スペクトルの取得に利用される複数の画素が配置される分光領域と、前記分光領域にある前記画素の上方に形成され、所望の波長の電磁波を透過させるフィルタとを備え、前記フィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、前記撮像領域と前記分光領域とが単一のチップに設けられている。
【００１８】
本発明の第２の側面の撮像装置は、画像の取得に利用される複数の画素が配置される撮像領域と、色スペクトルの取得に利用される複数の画素が配置される分光領域と、前記分光領域にある前記画素の上方に形成され、所望の波長の電磁波を透過させるフィルタとを有し、前記フィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、前記撮像領域と前記分光領域とが単一のチップに設けられている撮像素子を備える。
【００１９】
本発明の第１および第２の側面においては、フィルタが、所定の周期間隔で凹凸構造を持つ導体金属の構造体であるプラズモン共鳴体により構成されており、撮像領域と分光領域とが単一のチップに設けられている。
【発明の効果】
【００２０】
本発明の第１および第２の側面によれば、簡易的な構造で高機能化を実現することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
【図２】一般的な２次元固体撮像素子の画素領域について説明する図である。
【図３】本発明を適用した撮像素子の画素領域の構成例について説明する図である。
【図４】本発明を適用した撮像素子の画素領域の他の構成例について説明する図である。
【図５】本発明を適用した撮像素子の画素領域のさらに他の構成例について説明する図である。
【図６】プラズモンフィルタの構造を示す図である。
【図７】２層のプラズモン共鳴体により構成されたプラズモンフィルタの構造を示す図である。
【図８】アイランドアレイ構造のプラズモンフィルタの構造を示す図である。
【図９】プラズモン共鳴体を用いたプラズモンフィルタの他の例を示す図である。
【図１０】プラズモンフィルタの第１の配置例を示す図である。
【図１１】プラズモンフィルタの第２の配置例を示す図である。
【図１２】撮像素子の断面模式図である。
【図１３】撮像素子の断面模式図である。
【図１４】撮像素子を搭載した撮像装置の構成例を示すブロック図である。
【図１５】校正テーブルを取得する処理を説明するフローチャートである。
【図１６】オフフォーカスでの分光スペクトルを取得する処理を説明するフローチャートである。
【図１７】高精細な２次元色スペクトルマップを取得する処理を説明するフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２３】
図１は、本発明を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
【００２４】
図１において、撮像素子１１は、CMOS型固体撮像素子であり、画素アレイ１２、行走査回路１３、PLL（Phase Locked Loop）１４、DAC（Digital Analog Converter）１５、カラムADC（Analog Digital Converter）回路１６、列走査回路１７、およびセンスアンプ１８を備えて構成される。
【００２５】
画素アレイ１２は、２次元に整列した複数の画素２１を有している。画素２１は、行走査回路１３に接続される水平信号線Ｈと、カラムADC回路１６に接続される垂直信号線Ｖとが交差する点にそれぞれ配置されており、光電変換を行うフォトダイオードと、蓄積された信号を読み出すための数種類のトランジスタで構成される。
【００２６】
即ち、画素２１は、図１の右側に拡大して示されているように、フォトダイオード２２、転送トランジスタ２３、フローティングディフュージョン２４、増幅トランジスタ２５、選択トランジスタ２６、リセットトランジスタ２７を有している。
【００２７】
フォトダイオード２２に蓄積された電荷は、転送トランジスタ２３を介してフローティングディフュージョン２４に転送される。フローティングディフュージョン２４は、増幅トランジスタ２５のゲートに接続されている。画素２１が信号の読み出しの対象となると、行走査回路１３から水平信号線Ｈを介して選択トランジスタ２６がオンにされ、選択された画素２１の信号は、増幅トランジスタ２５をソースフォロワ（Source Follower）駆動することで、フォトダイオード２２に蓄積された電荷の蓄積電荷量に対応する画素信号として、垂直信号線Ｖに読み出される。また、画素信号はリセットトランジスタ２７をオンすることでリセットされる。
【００２８】
行走査回路１３は、画素アレイ１２の画素２１を駆動（転送や、選択、リセットなど）するための駆動信号を、行ごとに順次、出力する。PLL１４は、外部から供給されるクロック信号に基づいて、撮像素子１１の内部の各ブロックの駆動に必要な所定の周波数のクロック信号を生成して出力する。DAC１５は、所定の電圧値から一定の傾きで電圧が降下した後に所定の電圧値に戻る形状（略鋸形状）のランプ信号を生成して出力する。
【００２９】
カラムADC回路１６は、比較器３１およびカウンタ３２を、画素アレイ１２の画素２１の列に対応する個数だけ有しており、画素２１から出力される画素信号から、CDS(Correlated Double Sampling：相関２重サンプリング)動作により信号レベルを抽出して、画素データを出力する。即ち、比較器３１が、DAC１５から供給されるランプ信号と、画素２１から出力される画素信号（輝度値）とを比較し、その結果得られる比較結果信号をカウンタ３２に供給する。そして、カウンタ３２が、比較器３１から出力される比較結果信号に応じて、所定の周波数のカウンタクロック信号をカウントすることで、画素信号をA/D変換する。
【００３０】
列走査回路１７は、カラムADC回路１６のカウンタ３２に、順次、所定のタイミングで、画素データを出力させる信号を供給する。センスアンプ１８は、カラムADC回路１６から供給される画素データを増幅し、撮像素子１１の外部に出力する。
【００３１】
撮像素子１１から出力された画像データはモザイク状のRGB各色の強度情報であるので、後段の信号処理回路などにより、各々の画素位置での隣接異色画素の強度情報から全画素位置での各色情報がデモザイク処理により補間される。その他、画像データには、ホワイトバランスや、ガンマ補正、輪郭強調、画像圧縮などのデータ処理が行われる。なお、撮像素子１１が、画像処理プロセッサが実装されたシステムオンチップ型のイメージセンサである場合は、これらの処理も同一のチップ上で行うことができる。この場合、撮像素子１１からは、生画像データの他に、jpeg（Joint Photographic Experts Group）方式やmpeg（Moving Picture Experts Group）方式などにより圧縮された画像データを出力することができる。
【００３２】
ところで、一般的に、撮像素子１１では、画像を取得するのに、画素アレイ１２が有する全ての画素２１から出力される画素信号が使用されるのではなく、画素アレイ１２の一部の領域にある画素２１から出力される画素信号を使用して画像が構築される。以下、画素アレイ１２が有する全ての画素２１が配置されている領域を総画素領域と称し、画像の取得に使用される画素２１が配置されている領域を撮像領域（有効画素領域）と称する。また、総画素領域を構成する領域のうち、黒レベルを規定する画素２１が配置されている領域を光学的黒領域と称し、信号処理に寄与しないダミー領域を無効領域と称する。
【００３３】
ここで、図２を参照して、一般的な２次元固体撮像素子の画素領域について説明する。
【００３４】
図２には、総画素領域４１を構成する領域のうち、撮像領域４２および光学的黒領域４３が示されており、無効領域の図示は省略されている。図２に示すように、撮像領域４２は、総画素領域４１の中央の大部分を占め、光学的黒領域４３は、撮像領域４２の周囲を占めている。また、撮像領域４２には、RGB3原色のオンチップカラーフィルタが、いわゆるBayer方式により配置されている。
【００３５】
このような撮像素子により撮像される撮像画像は、撮像領域４２に蓄積された電荷量に応じた画素信号から、画素ノイズや読み出し回路ノイズなどのノイズ成分をキャンセルするために、光学的黒領域４３の信号を減算することで取得される。なお、一般に、光学的黒領域４３は、画素構造の上をアルミニウムなどの金属薄膜で遮光した構造になっている。
【００３６】
次に、図３を参照して、本発明を適用した撮像素子１１の画素領域について説明する。
【００３７】
撮像素子１１の総画素領域５１は、撮像領域５２、光学的黒領域５３、並びに、分光領域５４−１および５４−２を有して構成される。分光領域５４−１および５４−２は、撮像領域５２よりも多種類の色スペクトルを取得するための領域である。
【００３８】
図３に示されている構成例では、総画素領域５１の中央部分に撮像領域５２が配置され、撮像領域５２の上側に分光領域５４−１が配置されるとともに、撮像領域５２の下側に分光領域５４−２が配置されている。そして、撮像領域５２、分光領域５４−１、および分光領域５４−２を囲うように光学的黒領域５３が配置されている。
【００３９】
ここで、撮像素子１１を構成するチップは、一般的に、縦横比が１対１ではなく、人間の視野角に倣って横長な形状とされることが多い。これに対し、レンズ群からなる光学系を介して撮像素子１１に照射される光の形状は、破線で図示されるように円形状である。また、撮像領域５２の対角線の端の画素まで特性を保証する必要があるため、撮像領域５２が有する全ての画素に光が照射されるように光学系は設計される。
【００４０】
従って、撮像領域５２の短軸側では、光学系としては十分な特性があるにもかかわらず、画像の取得に使用されていない領域（デッドスペース）が存在する。即ち、分光領域５４−１および５４−２において光が照射される領域（図３において斜線でハッチングされている領域）は、画像の取得には使用されないが、光学系としては十分な特性を有する領域である。つまり、この領域の画素を分光センサとして利用することができる。
【００４１】
なお、分光領域５４の配置は、図３に示した構成例に限られるものではなく、撮像領域５２と分光領域５４とが単一のチップに設けられていればよい。即ち、図４に示す総画素領域５１Ａでは、撮像領域５２Ａの外周を囲うように分光領域５４Ａが配置されており、分光領域５４Ａの外周を囲うように光学的黒領域５３Ａが配置されている。また、図５に示す総画素領域５１Ｂでは、撮像領域５２Ｂの上下左右に光学的黒領域５３Ｂ−１乃至５３Ｂ−４がそれぞれ配置され、従来の撮像素子では無効領域であった４隅に分光領域５４Ｂ−１乃至５４Ｂ−４がそれぞれ配置されている。
【００４２】
このように、分光領域５４は、総画素領域５１内の任意の画素領域に実装することができ、特に、光学系としては十分な特性がある撮像領域５２近傍の領域に配置することで、レンズの光学特性を有効利用することができ好適である。
【００４３】
そして、本発明を適用した撮像素子１１では、分光領域５４において分光を行うためのフィルタとして、プラズモン共鳴体をフィルタとして利用するプラズモンフィルタが採用される。
【００４４】
次に、図６を参照して、プラズモンフィルタとして用いられるプラズモン共鳴体の構造について説明する。
【００４５】
プラズモン共鳴体は、紫外線波長帯にプラズマ周波数を有する導体素材（具体的には銀やアルミニウム、金などが好適である）からなる薄膜に微細加工を施したサブ波長構造体である。プラズモン共鳴体は、導体の物性と、パターン周期や、開口径、ドットサイズ、膜厚、構造体の周囲の媒質などによって決定される共鳴波長を有する。プラズモン共鳴体の基本構造はホールアレイ構造であり、検出波長よりも小さい径を有するホール（貫通穴または非貫通穴）が２次元配列状に配置された構造であって、ホールには誘電体素材が充填されている。また、ホールの配置は、ハニカムまたは直交行列に配置するのが好適であり、また、その他の配列でも周期性がある構造であれば適用することができる。
【００４６】
例えば、図６Ａに示されているプラズモンフィルタ６１Ａは、導体薄膜６２Ａに貫通穴６３Ａがハニカム状に配置されたプラズモン共鳴体により構成されている。また、図６Ｂに示されているプラズモンフィルタ６１Ｂは、導体薄膜６２Ｂに貫通穴６３Ｂが直行行列状に配置されたプラズモン共鳴体により構成されている。
【００４７】
貫通穴６３Ａおよび６３Ｂの開口径は透過させたい光の波長よりも小さければよく、例えば、直径100ｎｍ程度が好適である。なお、貫通穴６３Ａおよび６３Ｂの開口径は、設計自由度を考慮して、10ｎｍ〜200ｎｍの範囲とすることができる。また、導体薄膜６２Ａおよび６２Ｂの厚みは、100ｎｍ程度が好適であり、10ｎｍ〜200ｎｍの範囲とすることができる。
【００４８】
そして、プラズモンフィルタ６１Ａにおいて隣接する貫通穴６３Ａどうしの間隔Ｄ１を調整することで、プラズモンフィルタ６１Ａを透過する透過波長が設定される。同様に、プラズモンフィルタ６１Ｂにおいて隣接する貫通穴６３Ｂどうしの間隔Ｄ２を調整することで、プラズモンフィルタ６１Ｂを透過する透過波長が設定される。
【００４９】
間隔Ｄ１および間隔Ｄ２は、媒質中での実効的な電磁波波長の半波長から１波長程度の範囲が好適であり、具体的には、150〜1000ｎｍ程度が好ましい。
【００５０】
また、プラズモン共鳴体は、ホールアレイ構造に設けられる全てのホールが導体薄膜を貫通している必要はなく、一部のホールを導体上に凹構造を有する非貫通穴により構成しても、フィルタとして機能する。
【００５１】
例えば、図６Ｃには、導体薄膜６２Ｃに貫通穴６３Ｃおよび非貫通穴６３Ｃ’がハニカム状に配置されたプラズモン共鳴体により構成されたプラズモンフィルタ６１Ｃの平面図および断面図（平面図におけるＡ−Ａ’での断面図）が示されている。即ち、プラズモンフィルタ６１Ｃは、貫通穴６３Ｃと非貫通穴６３Ｃ’とが周期的に配置されて構成されている。
【００５２】
なお、プラズモンフィルタとしては、基本的に、単層のプラズモン共鳴体が使用されるが、例えば、２層のプラズモン共鳴体により構成することができる。
【００５３】
例えば、図７に示されているプラズモンフィルタ６１Ｄは、２層のプラズモンフィルタ６１Ｄ−１および６１Ｄ−２により構成されている。プラズモンフィルタ６１Ｄ−１および６１Ｄ−２は、図６Ａのプラズモンフィルタ６１Ａを構成するプラズモン共鳴体と同様に、貫通穴がハニカム状に配置された構造となっている。
【００５４】
また、プラズモンフィルタ６１Ａ−１とプラズモンフィルタ６１Ａ−２との間隔Ｄ３は、検出波長の１／４波長程度とすることが好適である。また、設計自由度を考慮すると、間隔Ｄ３は、検出波長の１／２波長以下がより好適である。
【００５５】
なお、プラズモンフィルタ６１Ｄのように、プラズモンフィルタ６１Ｄ−１および６１−２において同一のパターンでホールが配置されるようにする他、例えば、２層のプラズモン共鳴体構造において互いに相似するパターンでホールが配置されていてもよい。また、２層のプラズモン共鳴体構造において、ホールアレイ構造とアイランドアレイ構造とが反転するようなパターンでホールとアイランドとが配置されていてもよい。さらに、プラズモンフィルタ６１Ｄは２層構造となっているが、３層以上の多層化をすることもできる。
【００５６】
また、図６および図７では、ホールアレイ構造のプラズモン共鳴体によるプラズモンフィルタの構成例を示したが、プラズモンフィルタとして、アイランドアレイ構造のプラズモン共鳴体を採用してもよい。
【００５７】
図８を参照して、アイランドアレイ構造のプラズモンフィルタについて説明する。
【００５８】
図８Ａに示されているプラズモンフィルタ６１Ａ’は、図６Ａのプラズモンフィルタ６１Ａのプラズモン共鳴体に対してネガポジ反転した構造、即ち、アイランド６４Ａが誘電体層６５Ａにハニカム状に配置されたプラズモン共鳴体により構成されている。同様に、図８Ｂに示されているプラズモンフィルタ６１Ｂ’は、図６Ｂのプラズモンフィルタ６１Ｂのプラズモン共鳴体に対してネガポジ反転した構造、即ち、アイランド６４Ｂが誘電体層６５Ｂに直行行列状に配置されたプラズモン共鳴体構造により構成されている。
【００５９】
導体素材であるアイランド６４Ａおよび６４Ｂは、20ｎｍ〜200ｎｍのサイズである。また、アイランド６４Ａどうしの間は誘電体層６５Ａで充填されており、アイランド６４Ｂどうしの間は誘電体層６５Ｂで充填されている。隣接するアイランド６４Ａどうしの間隔Ｄ１、および、隣接するアイランド６４Ｂどうしの間隔Ｄ２は、図６の間隔Ｄ１およびＤ２と同様に、媒質中での実効的な電磁波波長の半波長が好適であり、設計自由度を考慮して、１／４波長から１波長の範囲が好適である。
【００６０】
なお、所望の電磁波を透過させるのに、プラズモンフィルタのホールまたはアイランドの周期間隔（間隔Ｄ１またはＤ２）を設定する他、例えば、ホール形状またはアイランド形状を最適化してもよい。ホール形状またはアイランド形状としては、例えば、円形や、方形（正方形または長方形）、多角形、十字形などが、シミュレーション結果などに応じて適宜選択される。
【００６１】
次に、図９は、プラズモン共鳴体を用いたプラズモンフィルタの他の例を示す図である。
【００６２】
図９Ａに示されているプラズモンフィルタ６１Ｅは、図６Ｂのプラズモンフィルタ６１Ｂと同様に、導体薄膜６２Ｅに貫通穴６３Ｅが直行行列状に配置されたプラズモン共鳴体により構成されている。そして、プラズモンフィルタ６１Ｅでは、貫通穴６３Ｅが設けられた領域の外周部がブラッグミラー構造６６Ｅにより囲われた構成となっている。ブラッグミラー構造６６Ｅは、異なる種類の材料を繰りかえし積層させて形成される多層膜であり、図９に示されている構成例では、２層の導体素材（ハッチングされた領域）と、２層の誘電体素材（ハッチングされていない領域）とにより構成されている。
【００６３】
プラズモンフィルタ６１Ｅにおいて、直交座標系で配列されている貫通穴６３Ｅどうしの間隔Ｄ２は、図６Ｂの間隔Ｄ２と同様に、媒質中での実効的な電磁波波長の半波長から１波長程度の範囲が好適であり、具体的には、150〜1000ｎｍ程度が好ましい。また、ブラッグミラー構造６６Ｅの間隔Ｄ４は、間隔Ｄ２の半分程度が好ましい。
【００６４】
また、図９Ｂに示されているプラズモンフィルタ６１Ｆは、図６Ａのプラズモンフィルタ６１Ａと同様に、導体薄膜６２Ｆに貫通穴６３Ｆがハニカム状に配置されたプラズモン共鳴体により構成されている。そして、プラズモンフィルタ６１Ｆでは、貫通穴６３Ｆが設けられた領域の外周部がブラッグミラー構造６６Ｆにより囲われた構成となっている。
【００６５】
プラズモンフィルタ６１Ｆにおいて、ハニカム状に配列されている貫通穴６３Ｆどうしの間隔Ｄ１は、図６Ａの間隔Ｄ１と同様に、媒質中での実効的な電磁波波長の半波長から１波長程度の範囲が好適であり、具体的には、150〜1000ｎｍ程度が好ましい。また、ブラッグミラー構造６６Ｆの間隔Ｄ４は、間隔Ｄ１の半分程度が好ましい。
【００６６】
また、図９Ｃに示されているプラズモンフィルタ６１Ｇのように、導体薄膜６２Ｇに貫通穴６３Ｇがハニカム状に配置され、貫通穴６３Ｇが設けられた領域の外周部が六角形の形状のブラッグミラー構造６６Ｇにより囲われるような構造でもよい。
【００６７】
プラズモンフィルタ６１Ｅ乃至６１Ｇのようにブラッグミラー構造６６Ｅ乃至６６Ｇを設けることにより、隣接画素間とのプラズモンの混入を軽減することができる。また、ブラッグミラー構造６６Ｅ乃至６６Ｇにより、より少ない周期構造で高い共鳴効果を得ることができるので、フィルタサイズの微細化を図る際に好適である。なお、ブラッグミラー構造における共鳴効果は公知の技術であり、非特許文献「Lab Chip, 2009, 9, 382-387, Nathan et al.」に構造が開示されている。
【００６８】
図６乃至図９を参照して説明したようなプラズモンフィルタ６１Ａ乃至６１Ｇが、図３に示した分光領域５４に配置され、色スペクトルの取得に利用される。
【００６９】
次に、図１０は、プラズモンフィルタの第１の配置例を示す図である。
【００７０】
図１０では、画素アレイ１２において行列状に配置されている画素２１が破線で表されている。図３を参照して説明したように、画像の撮像に使用される領域である撮像領域５２に隣接して分光領域５４が設けられ、分光領域５４に隣接して光学的黒領域５３が設けられている。
【００７１】
プラズモンフィルタでは、プラズモン共鳴体を構成するホールまたはアイランドの基本周期間隔に応じて、例えば、図６の貫通穴６３Ａどうしの間隔Ｄ１に応じて、プラズモンフィルタを透過する光の波長（透過波長）が設定される。ここで、基本周期間隔により定められるプラズモンフィルタの格子係数λを、可視波長帯を透過波長の短い方から順番に、格子係数λ１、格子係数λ２、・・・、格子係数λＮとする。
【００７２】
また、１つの画素２１に対して１種類のプラズモンフィルタが対応することが、即ち、画素２１とプラズモンフィルタとが１対１となるように対応することが基本であるが、複数の画素２１に対して１種類のプラズモンフィルタを対応させてもよい。即ち、Ｎ×Ｍの複数の画素単位に対して１種類または複数種類のプラズモンフィルタを配置してもよい（ここで、ＮおよびＭは、１以上の整数である）。
【００７３】
例えば、図１０では、２×２の４画素単位に対して１種類のプラズモンフィルタが配置されている（即ち、Ｎ＝２，Ｍ＝２）。ここで、このように複数の画素を１つのユニットとして配置されるプラズモンフィルタを、以下、適宜、プラズモンフィルタユニットと称する。
【００７４】
図１０の分光領域５４には、格子係数λ１乃至λ８の８種類のプラズモンフィルタユニット７１−１乃至７１−８が配置されている。プラズモンフィルタユニット７１−１乃至７１−８は、格子係数λの大きさに従った順番で、一方向に（分光領域５４の右端から左端への方向に）並べられた配置となっている。
【００７５】
即ち、撮像領域５２に隣接して、透過波長が最も短い格子係数λ１のプラズモンフィルタユニット７１−１が配置される。そして、プラズモンフィルタユニット７１−１の光学的黒領域５３側には、透過波長が次に短い格子係数λ２のプラズモンフィルタユニット７１−２が配置される。以下、同様に、透過波長が短い順番でプラズモンフィルタユニット７１−３乃至７１−７が順次配置され、光学的黒領域５３に隣接してプラズモンフィルタユニット７１−８が配置される。
【００７６】
このように、隣接する画素に格子係数λが大きく異ならないプラズモンフィルタユニット７１を配置することで、プラズモンフィルタユニット７１どうしの境界での周期の不連続性の影響が最小限となるように、その影響を抑制することができる。
【００７７】
次に、図１１は、プラズモンフィルタの第２の配置例を示す図である。
【００７８】
図１１では、画像の撮像に使用される撮像領域である撮像領域５２に隣接して分光領域５４が設けられ、分光領域５４に隣接して光学的黒領域５３が設けられている。第２の配置例では、破線で表される画素のＮ×Ｍに対応するブロックで、全波長帯域がカバーされる（ここで、ＮおよびＭは、１以上の整数である）。
【００７９】
図１１の配置例では、可視波長帯を透過波長の短い方から順番に、格子係数λ１、格子係数λ２、・・・、格子係数λＮとしたときに、Ｎ＝１６の例が示されており、画素の４×４に対応するブロックで可視波長帯がカバーされる構成となっている。また、２×２の４画素単位に対して１種類のプラズモンフィルタが配置されたプラズモンフィルタユニットが、４つ組み合わされてプラズモンフィルタブロックを構成している。
【００８０】
即ち、プラズモンフィルタブロック７２−１には、格子係数λ１のプラズモンフィルタユニット、格子係数λ５のプラズモンフィルタユニット、格子係数λ９のプラズモンフィルタユニット、および格子係数λ１３のプラズモンフィルタユニットが配置されている。プラズモンフィルタブロック７２−２には、格子係数λ２のプラズモンフィルタユニット、格子係数λ６のプラズモンフィルタユニット、格子係数λ１０のプラズモンフィルタユニット、および格子係数λ１４のプラズモンフィルタユニットが配置されている。プラズモンフィルタブロック７２−３には、格子係数λ３のプラズモンフィルタユニット、格子係数λ７のプラズモンフィルタユニット、格子係数λ１１のプラズモンフィルタユニット、および格子係数λ１５のプラズモンフィルタユニットが配置されている。プラズモンフィルタブロック７２−４には、格子係数λ４のプラズモンフィルタユニット、格子係数λ８のプラズモンフィルタユニット、格子係数λ１２のプラズモンフィルタユニット、および格子係数λ１６のプラズモンフィルタユニットが配置されている。
【００８１】
このように、それぞれの色（透過波長）に対応するプラズモンフィルタユニットのサブセットが隣接する位置に配置されるようにプラズモンフィルタブロックを構成することで、隣接４画素で構成される各サブセットが４色のカラー情報を有することになる。その結果、デモザイクによる補完処理でカラー画像を容易に復元することができるようになる。これにより、近い波長帯のフィルタが近傍画素に配置される場合と比較して、空間解像度の劣化を抑制することができる。
【００８２】
次に、図１２は、撮像素子１１の断面模式図である。
【００８３】
図１２において、撮像素子１１は、撮像領域５２の画素２１−１、分光領域５４の画素２１−２および２１−３、並びに、光学的黒領域５３の画素２１−４が隣接して配置された構成となっている。なお、図１２では、撮像素子１１として、裏面照射型のCMOS型固体撮像素子が採用された構成例を示しているが、光電変換素子部分がCCD型固体撮像素子であるもの、または、有機光電変換膜や量子ドット構造などを内包したフォトコンダクタ構造のものを採用してもよい。
【００８４】
画素２１−１乃至２１−４は、上側から順に、オンチップマイクロレンズ８１、カラーフィルタ層８２、遮光領域層８３、光電変換素子層８４、および信号配線層８５が積層されて構成されている。
【００８５】
オンチップマイクロレンズ８１は、画素２１−１乃至２１−４それぞれの光電変換素子層８４に光を集光するための光学素子である。カラーフィルタ層８２は、撮像領域５２にある画素２１−１によりカラー画像を得るための光学素子である。
【００８６】
遮光領域層８３は、アルミニウムやタングステンなどの遮光性を備えた誘電体素材を有しており、光学的黒領域５３では、画素２１−４の開口部のすべて覆って遮光する。また、遮光領域層８３は、分光領域５４では、上述したようなホールアレイ構造またはアイランドアレイ構造で誘電体素材が配置され、プラズモンフィルタとして機能する。
【００８７】
光電変換素子層８４は、受光した光を電荷に変換する。また、光電変換素子層８４は、画素２１−１乃至２１−４どうしの間が素子分離層により電気的に分離されて構成されている。信号配線層８５には、光電変換素子層８４に蓄積された電荷を読み取るための配線などが設けられる。
【００８８】
このように、撮像素子１１では、遮光領域層８３が、光学的黒領域５３において遮光する機能と、分光領域５４において分光フィルタとしての機能とを兼ね備えて構成されている。
【００８９】
また、撮像素子１１では、撮像領域５２と分光領域５４とが単一のチップに設けられているので、通常のカラー撮像機能に加えて、色スペクトルを取得する分光機能を簡易的な構造で実現することができる。これにより、分光用に専用のセンサを設ける場合よりも、撮像素子１１は、安価に製造することができる。
【００９０】
さらに、分光領域５４に設けられる色フィルタにプラズモンフィルタを採用したので、周期間隔を調整するだけで、撮像領域５２よりも多種類の色スペクトルを取得することができる。
【００９１】
また、光学的黒領域５３における遮光膜と、分光領域５４におけるプラズモンフィルタとが、同一の遮光領域層８３において同一素材で実装されるので、従来の製造プロセスから変更が少なく、また、少ない工数でプラズモンフィルタを製造することができる。
【００９２】
次に、図１３は、撮像素子１１の他の構成例の断面模式図である。
【００９３】
図１３において、撮像素子１１は、撮像領域５２の画素２１−１、分光領域５４の画素２１−２および２１−３、並びに、光学的黒領域５３の画素２１−４が隣接して配置された構成となっている。なお、図１３では、撮像素子１１として、裏面照射型のCMOS型固体撮像素子が採用された構成例を示しているが、光電変換素子部分がCCD型固体撮像素子であるもの、または、有機光電変換膜や量子ドット構造などを内包したフォトコンダクタ構造のものを採用してもよい。
【００９４】
画素２１−１乃至２１−４は、上側から順に、オンチップマイクロレンズ８１、カラーフィルタ層８２、導体粒子層８６、遮光領域層８３、光電変換素子層８４、および信号配線層８５が積層されて構成されている。
【００９５】
オンチップマイクロレンズ８１は、画素２１−１乃至２１−４それぞれの光電変換素子層８４に光を集光するための光学素子である。カラーフィルタ層８２は、撮像領域５２にある画素２１−１によりカラー画像を得るための光学素子である。
【００９６】
遮光領域層８３は、アルミニウムやタングステンなどの遮光性を備えた誘電体素材を有しており、光学的黒領域５３において、画素２１−４の開口部のすべて覆って遮光する。また、導体粒子層８６は、分光領域５４において、上述したようなホールアレイ構造またはアイランドアレイ構造で誘電体素材が配置され、プラズモンフィルタとして機能する。即ち、図１２の構成例では、遮光領域層８３にプラズモンフィルタとしての機能が備えられていたが、図１３の構成例のように、遮光領域層８３とは別に、プラズモンフィルタの機能を備える導体粒子層８６を設けてもよい。
【００９７】
光電変換素子層８４は、受光した光を電荷に変換する。また、光電変換素子層８４は、画素２１−１乃至２１−４どうしの間が素子分離層により電気的に分離されて構成されている。信号配線層８５には、光電変換素子層８４に蓄積された電荷を読み取るための配線などが設けられる。
【００９８】
このように、撮像素子１１では、導体粒子層８６が、分光領域５４において分光フィルタとしての機能を持ち、通常撮像の機能はそれ以外の領域で実現することができるため、多機能センサを平易に実現することが可能となる。
【００９９】
また、撮像素子１１では、撮像領域５２と分光領域５４とが単一のチップに設けられているので、通常のカラー撮像機能に加えて、色スペクトルを取得する分光機能を簡易的な構造で実現することができる。これにより、分光用に専用のセンサを設ける場合よりも、撮像素子１１は、安価に製造することができる。
【０１００】
さらに、分光領域５４に設けられる色フィルタにプラズモンフィルタを採用したので、周期間隔を調整するだけで、撮像領域５２よりも多種類の色スペクトルを取得することができる。
【０１０１】
次に、図１４は、撮像素子１１を搭載した撮像装置（デジタルスチルカメラ）の構成例を示すブロック図である。
【０１０２】
図１４において、撮像装置１０１は、撮像素子１１、レンズ部１０２、ＤＳＰ（Digital Signal Processor）１０３、制御部１０４、レンズ制御部１０５、ユーザインターフェイス１０６、マイクロプロセッサ１０７、データ処理部１０８、データ圧縮部１０９、およびストレージ部１１０を備えて構成される。
【０１０３】
撮像素子１１は、図３に示したように撮像領域５２および分光領域５４を有しており、レンズ部１０２を介して集光された光（光情報）は、撮像領域５２および分光領域５４の各画素２１が有する光電変換素子により電荷信号に変換される。そして、各画素２１から出力される画素信号は、カラムADC回路１６（図１）により受光強度に対応したデジタル信号値に変換されて、画素データとして出力される。
【０１０４】
レンズ部１０２は、ズームレンズや結像レンズなどの複数枚のレンズ群を有しており、図示しない被写体からの光（画像情報および分光情報）を、撮像素子１１の受光面に集光する。
【０１０５】
ＤＳＰ１０３は、撮像素子１１から出力される画素データに対して信号処理を施して画像を構築し、その画像データを制御部１０４に供給する。
【０１０６】
制御部１０４は、撮像装置１０１の各ブロックの制御を行う。例えば、ユーザがシャッターボタン（図示せず）を操作したことを示す制御信号が、ユーザインターフェイス１０６およびマイクロプロセッサ１０７を介して制御部１０４に供給されたとする。この場合、制御部１０４は、そのユーザ制御に従って、ＤＳＰ１０３から出力される画像データを、データ処理部１０８に供給してデータ処理を施し、データ圧縮部１０９に供給して圧縮した後、ストレージ部１１０に供給して記憶させる。
【０１０７】
レンズ制御部１０５は、例えば、ユーザがズームレバー（図示せず）を操作したことを示す制御信号が、ユーザインターフェイス１０６およびマイクロプロセッサ１０７を介して供給されると、そのユーザ制御に従って、レンズ部１０２を駆動してズーム倍率を調整する。また、レンズ制御部１０５は、制御部１０４の制御に従ってレンズ部１０２を駆動して、焦点を撮像素子１１の受光面からずらして非合焦状態（デフォーカス、オフフォーカス）にする。
【０１０８】
ユーザインターフェイス１０６は、図示しない操作部をユーザが操作すると、そのユーザの操作に応じた制御信号を取得して、マイクロプロセッサ１０７に供給する。マイクロプロセッサ１０７は、ユーザインターフェイス１０６からの制御信号を、その制御に適したブロックに対して供給する。
【０１０９】
データ処理部１０８は、ＤＳＰ１０３から出力される画像データに対して、ノイズ除去などのデータ処理を施す。データ圧縮部１０９は、データ処理部１０８によりデータ処理が施された画像データに対して、JPEG方式やMPEG方式などによる圧縮処理を施す。
【０１１０】
ストレージ部１１０は、フラッシュメモリ（例えば、EEPROM（Electronically Erasable and Programmable Read Only Memory）などの記憶部を有しており、データ圧縮部１０９により圧縮処理が施された画像データを記憶する。また、ストレージ部１１０に記憶されている画像データは、図示しないドライブを介して外部メディア１１１に転送したり、図示しない通信部を介してインターネット１１２にアップロードしたりすることができる。
【０１１１】
このように構成されている撮像装置１０１は、画像を撮像する撮像モードと、色スペクトルを取得する分光モードを備えている。
【０１１２】
撮像モードでは、撮像素子１１から出力される画素データは、ＤＳＰ１０３によってデモザイクによる画像補正やγ補正、ホワイトバランス調整などの処理が適宜施された後、ストレージ部１１０に生画像（RAW）または圧縮画像として保存される。
【０１１３】
また、分光モードでは、撮像素子１１から出力される画素データ（１次元スペクトルまたは２次元スペクトルマップ）は、ＤＳＰ１０３にてデコンボリューション処理による色スペクトル復元などの処理が施された後、ストレージ部１１０に生データまたは圧縮データとして保存される。
【０１１４】
そして、撮像装置１０１では、撮像素子１１の分光領域５４により取得したデータを用いて、撮像領域５２の色フィルタの校正を行うための校正テーブルを取得する処理、空間解像度を必要としないオフフォーカスでの分光スペクトルを取得する処理、分光領域５４をリニアセンサとして利用して高精細な２次元色スペクトルマップを取得する処理などが行われる。
【０１１５】
次に、図１５は、撮像領域５２の色フィルタの校正を行うための校正テーブルを取得する処理を説明するフローチャートである。
【０１１６】
ステップＳ１１において、撮像装置１０１の制御部１０４は、校正テーブルを取得するモード（校正モード）であるか否かを判定する。制御部１０４が、校正モードでないと判定した場合、処理はステップＳ１２に進み、その他のモード処理に移行して処理は終了される一方、校正モードであると判定した場合、処理はステップＳ１３に進む。
【０１１７】
ステップＳ１３において、制御部１０４は、撮像モードで被写体を撮像するように撮像素子１１に対して制御し、撮像素子１１は、撮像領域５２の画素２１に蓄積された電荷量に応じた画素データをＤＳＰ１０３に出力する。そして、制御部１０４は、ＤＳＰ１０３を介して撮像モードで得られた画像を取得し、処理はステップＳ１４に進む。
【０１１８】
ステップＳ１４において、制御部１０４は、ステップＳ１３で取得した画像から、校正を行う校正エリアを選択する。
【０１１９】
ステップＳ１４の処理後、処理はステップＳ１５に進み、制御部１０４は、分光モードで被写体を撮像するように撮像素子１１に対して制御する。撮像素子１１は、分光領域５４の画素２１に蓄積された電荷量に応じた画素データを、ＤＳＰ１０３を介して制御部１０４に供給し、処理はステップＳ１６に進む。
【０１２０】
ステップＳ１６において、制御部１０４は、ステップＳ１５で取得した画素データに基づいて、ステップＳ１４で選択した校正エリアの色フィルタの校正を行う構成テーブルを決定する構成テーブル決定処理を行う。
【０１２１】
ステップＳ１７において、制御部１０４は、全エリアでの構成テーブルの決定が完了したか否かを判定する。ステップＳ１７において、制御部１０４が、全エリアでの構成テーブルの決定が完了していないと判定した場合、即ち、校正テーブルが決定されていない校正エリアが残っている場合、処理はステップＳ１８に進み、次の校正エリアを選択した後、処理はステップＳ１５に戻り、以下、同様の処理が繰り返される。
【０１２２】
一方、ステップＳ１７において、制御部１０４が、全エリアでの構成テーブルの決定が完了したと判定した場合、処理はステップＳ１９に進む。
【０１２３】
ステップＳ１９において、制御部１０４は、内蔵する記憶部（図示せず）に構成テーブルを保存し、処理は終了する。
【０１２４】
以上のように、撮像装置１０１は、分光領域５４により取得したデータを用いて、撮像領域５２の色フィルタの校正を行うための校正テーブルを取得することができる。これにより、撮像装置１０１では、撮像領域５２の色フィルタの退色や劣化などの影響を補正し、取得する画像の画質低下を抑制することができる。
【０１２５】
即ち、撮像領域５２の色フィルタは、顔料などの有機分子を含有していることにより紫外線などの影響によって劣化する恐れがあるのに対し、分光領域５４のプラズモンフィルタ６１は、紫外線などの外的刺激に対する耐久性が高く、そのような劣化が発生することはない。従って、分光領域５４を利用して正確な分光データを得ることができるので、撮像領域５２の色特性の経年劣化を補正することができる。さらに、分光領域５４の色情報に基づいて、色ごとに最適化されたゲインを撮像画像の演算処理に適用することができるので、ＡＤ変換におけるレンジの有効活用が可能となる。
【０１２６】
次に、図１６は、空間解像度を必要としないオフフォーカスでの分光スペクトルを取得する処理を説明するフローチャートである。
【０１２７】
ステップＳ２１において、撮像装置１０１の制御部１０４は、分光スペクトルを取得するモード（分光モード）であるか否かを判定する。制御部１０４が、分光モードでないと判定した場合、処理はステップＳ２２に進み、その他のモード処理に移行して処理は終了される一方、分光モードであると判定した場合、処理はステップＳ２３に進む。
【０１２８】
ステップＳ２３において、制御部１０４は、レンズ部１０２をデフォーカス位置に移動させるようにレンズ制御部１０５に対して制御する。これにより、レンズ制御部１０５は、レンズ部１０２の結像レンズの位置を調整して、レンズ部１０２により結像される被写体の像の位置を、撮像素子１１の受光面から移動させてデフォーカスさせる。
【０１２９】
ステップＳ２３の処理後、処理はステップＳ２４に進み、制御部１０４は、撮像素子１１の分光領域５４の画素２１から画素データを出力するように、撮像素子１１に対して読み出し駆動を行わせる。これにより、制御部１０４は、画像をぼかした状態での画素データを取得し、処理はステップＳ２５に進む。
【０１３０】
ステップＳ２５において、制御部１０４は、ステップＳ２４で取得した画素データに基づいて分光スペクトルを取得し、ステップＳ２６において、その分光スペクトルに対してデコンボリューション処理を施す。そして、ステップＳ２７において、制御部１０４は、ステップＳ２６でデコンボリューション処理を施した分光スペクトルを、内蔵する記憶部に保存し、処理は終了する。
【０１３１】
以上のように、撮像装置１０１は、デフォーカス状態で分光領域５４から出力される画素データに基づいて分光スペクトルを取得することができるので、その分光スペクトルにより、広がりを持つ被写体の正確な色情報を取得することができる。
【０１３２】
次に、図１７は、分光領域５４をリニアセンサとして利用して高精細な２次元色スペクトルマップを取得する処理を説明するフローチャートである。
【０１３３】
ステップＳ３１において、撮像装置１０１の制御部１０４は、分光スペクトルを取得するモード（分光モード）であるか否かを判定する。制御部１０４が、分光モードでないと判定した場合、処理はステップＳ３２に進み、その他のモード処理に移行して処理は終了される一方、分光モードであると判定した場合、処理はステップＳ３３に進む。
【０１３４】
ステップＳ３３において、制御部１０４は、撮像装置１０１の撮像モードがスイングモードであるか否かを判定する。制御部１０４が、撮像装置１０１の撮像モードがスイングモードでないと判定した場合、処理はステップＳ３４に進み、静止画分光モード処理（図１６）に移行して処理は終了される一方、撮像装置１０１の撮像モードがスイングモードであると判定した場合、処理はステップＳ３５に進む。
【０１３５】
ステップＳ３５において、制御部１０４は、撮像素子１１の分光領域５４の画素２１から画素データを出力するように、撮像素子１１に対して読み出し駆動を行わせ、処理はステップＳ３６に進む。
【０１３６】
ステップＳ３６において、制御部１０４は、ユーザにより撮像装置１０１がスイング動作されるのを待機し、例えば、図示しない加速度センサによりスイング動作を検出すると、スイング中に撮像素子１１の分光領域５４から出力される画素データを順次保持する。そして、スイング動作が終了すると、処理はステップＳ３７に進む。
【０１３７】
ステップＳ３７において、制御部１０４は、ステップＳ３６で取得した画素データをデータ処理部１０８に供給して、スイング中に取得された画素データを、撮像装置１０１のスイング（平行移動）に合わせて並べてパノラママップを合成するデータ処理を行わせる。データ処理部１０８は、パノラママップ合成処理を行って得られる２次元の分光スペクトルを制御部１０４に供給し、処理はステップＳ３８に進む。
【０１３８】
ステップＳ３８において、制御部１０４は、データ処理部１０８から供給された分光スペクトルに対してデコンボリューション処理を施し、ステップＳ３９において、２次元分光マップを合成する。
【０１３９】
ステップＳ４０において、制御部１０４は、ステップＳ３９で取得した２次元分光マップを、内蔵する記憶部（図示せず）に保存し、処理は終了する。
【０１４０】
以上のように、撮像装置１０１では、ユーザにより能動的にスイングされることで、分光領域５４をリニアセンサとして利用することができ、高精度な２次元色スペクトルマップを取得することができる。即ち、撮像素子１１の分光領域５４は細かい波長分解能を得るために、静止状態で得られる分光マップは、Bayer配列などの一般的な色数の２次元撮像素子と比較して、空間解像度が低下することになる。しかしながら、撮像装置１０１のスイングによって分光領域５４をリニアセンサ的に利用することができ、撮像装置１０１のスイングに応じて画素データを並べることで、静止状態で得られる分光マップよりも高精細な分光マップを取得することができる。
【０１４１】
例えば、横方向に５０画素分の色フィルタが縦方向に１列に並べられたような長方形形状の分光領域（例えば、Ｘ＝５０画素かつＹ＝3000画素程度）であっても、撮像装置をスイングすることで、５０枚（５０色）の２次元画像を取得することができる。
【０１４２】
なお、このような２次元分光マップを取得することで、空間的な分光マッピングデータを得ることができる。例えば、撮像したイメージの中から、被写体が有する特徴的な色スペクトル領域を切り出すことができる。
【０１４３】
より具体的には、撮像装置１０１では、分光データを用いて特徴的な波長プロファイルを持つ被写体をロバストに抽出することができる。例えば、人肌には970ｎｍの光に特徴的な反射率の低下がある。従って、970ｎｍの入射光と、その他の波長の入射光との強度比率から、肉眼では識別できない肌色の微妙な色の違いをロバストに検知することができ、高精度な人感センサを実現することができる。
【０１４４】
例えば、ユーザの顔を撮像した画像からシミのある場所や日焼けのムラの分布などをみることができるなど、美容用途や健康管理など、幅広い分野でのインテリジェントカメラに本分光センサ機能を適用することができる。
【０１４５】
その他、人間の目では識別不可能な微妙な色スペクトルの差異や、物質に特徴的な色スペクトルの特徴を抽出することで、植物と観葉植物との真贋鑑定や、鮮度の類推など、さまざまな用途に分光センサ機能を応用することができる。
【０１４６】
その他にも、このような高精度な分光センサは、セキュリティ用途や、ゲーム用途、顔検出、動作検出などのインテリジェントカメラに適用することができる。
【０１４７】
次に、プラズモン共鳴体を利用した分光フィルタを実装した分光領域５４を備えた撮像素子１１の製造方法について説明する。
【０１４８】
まず、基板となる受光面上層に絶縁層を作製し、その絶縁層の上にアルミニウムからなるメタル層をスパッタリング（物理的薄膜形成技術（PVD：Physical Vapor Deposition））により全面被覆させる。次に、全面被覆されたメタル層上層にフォトマスクを被覆する。フォトマスクにはポジ型のレジストを採用することができ、レジストを塗布した後にベークする。
【０１４９】
そして、縮小投影露光により、分光領域５４のレジストにプラズモン共鳴体に応じた導体パターンを転写する。導体パターンの転写には、高解像度での加工に適したＡｒＦ（フッ化アルゴン）レーザ、Ｆ２エキシマレーザ、極端紫外線露光（EUVL：Extreme Ultra Violet Lithography）、電子線縮小転写露光（Electron Projection Lithography）、Ｘ線リソグラフィなどを用いたリソグラフィが好適である。その他、電子線で直接描画する電子線リソグラフィを用いることができる。
【０１５０】
その後、不要なメタル領域を反応性イオンエッチングにより除去することで、所望の導体パターンによるプラズモン共鳴体構造が実現される。
【０１５１】
このような製造方法により、プラズモン共鳴体を利用した分光フィルタを実装した分光領域５４を備えた撮像素子１１を製造することができる。
【０１５２】
なお、その他の加工方法としては、熱サイクルナノインプリント法や光ナノインプリント法などにより微細加工を施し、その微細加工により形成された溝部分にメタル層を充填して、表面を研磨する方法を採用してもよい。
【０１５３】
また、分光領域５４を備えた撮像素子１１を高精度で実現することができれば、上述の製造方法に限定されるものではない。また、上述の製造方法では、一般的なCMOS型固体撮像素子の製造プロセスで信号配線層や遮光膜として用いられているアルミニウムを利用してプラズモン共鳴体を利用した分光フィルタを実装する手法について説明したが、アルミニウム以外の導体、例えば、銀などを利用してもよい。
【０１５４】
なお、遮光領域（例えば、図１２の遮光領域層８３で光学的黒領域５３を覆う領域）は、導体パターンによる周期開口を設けないことで実現されるが、公知構造であるため詳細な説明は省略する。
【０１５５】
ここで、本明細書において、プラズモン共鳴体とは、図６Ａおよび図６Ｂに示したように所定の周期間隔でホール（貫通穴６３Ａおよび６３Ｂ）が微細加工により形成された導体金属の構造体や、図６Ｃに示したように所定の周期間隔でホール（貫通穴６３Ｃおよび非貫通穴６３Ｃ’）が微細加工により形成された導体金属の構造体、図８Ａおよび図８Ｂに示したように所定の周期間隔で導体金属の粒子（アイランド６４Ａおよび６４Ｂ）が微細加工により形成された構造体などを含むものであり、これらを、所定の周期間隔で凹凸構造を持つ導体金属の構造体と称する。即ち、プラズモン共鳴体は、ホールまたはアイランドが所定の周期間隔で繰り返して配置されるパターン構造を有していればよい。なお、プラズモン共鳴体は、ホールまたはアイランドが２次元配列されて構成される他、例えば、ホールまたはアイランドが１次元配列（線状に配置）されて構成されていてもよい。
【０１５６】
また、このプラズモン共鳴体構造は、撮像素子１１の光検出素子である画素２１面上にシリコン酸化膜またはシリコン窒化膜などからなる絶縁層を介して導体薄膜を配置する構造を基本とする。そして、光検出素子としては、CMOS型固体撮像素子に限定されるものではなく、CCD型固体撮像素子でもよいし、光電変換機能を有する素子であれば任意の素子を採用してもよいことは言うまでもない。また、光電変換素子の構造および製造方法については、既に公知技術であるため詳細な説明は省略する。
【０１５７】
また、本発明は、撮像装置１０１の他、撮像デバイスを備えたカムコーダや情報端末装置に適用することができる。また、撮像領域に設けられるカラーフィルタに、プラズモンフィルタを採用してもよい。
【０１５８】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１５９】
１１  撮像素子，  １２  画素アレイ，  １３  行走査回路，  １４  PLL，  １５  DAC，  １６  カラムADC回路，  １７  列走査回路，  １８  センスアンプ，  ２１  画素，  ２２  フォトダイオード，  ２３  転送トランジスタ，  ２４  フローティングディフュージョン，  ２５  増幅トランジスタ，  ２６  選択トランジスタ，  ２７  リセットトランジスタ，  ３１  比較器，  ３２  カウンタ，  ５１  総画素領域，  ５２  撮像領域，  ５３  光学的黒領域，  ５４  分光領域，  ６１  プラズモンフィルタ，  ６２  導体薄膜，  ６３  貫通穴，  ６４  アイランド，  ６５  誘電体層，  ６６  ブラッグミラー構造，  ７１  プラズモンフィルタユニット，  ７２  プラズモンフィルタブロック，  ８１  オンチップマイクロレンズ，  ８２  カラーフィルタ層，  ８３  遮光領域層，  ８４  光電変換素子層，  ８５  信号配線層，  ８６  導体粒子層
【図１】
2012059865.tif 000003
【図２】
2012059865.tif 000004
【図３】
2012059865.tif 000005
【図４】
2012059865.tif 000006
【図５】
2012059865.tif 000007
【図６】
2012059865.tif 000008
【図７】
2012059865.tif 000009
【図８】
2012059865.tif 000010
【図９】
2012059865.tif 000011
【図１０】
2012059865.tif 000012
【図１１】
2012059865.tif 000013
【図１２】
2012059865.tif 000014
【図１３】
2012059865.tif 000015
【図１４】
2012059865.tif 000016
【図１５】
2012059865.tif 000017
【図１６】
2012059865.tif 000018
【図１７】
2012059865.tif 000019