(57)【要約】【課題】赤外領域の画像と可視光領域の画像とを１つの撮像素子において撮像するのに好適な撮像装置及びカラーフィルタアレイを提供する。【解決手段】  撮像装置１００を、受光した光から所定のＲ，Ｇ，Ｂのうち１種類の色要素に対応する波長の光及び赤外光を分離して該分離した光を各画素に入射するカラーフィルタ部と、入射光をそのまま通過させる入射光通過部とから構成されるカラーフィルタアレイ１３と、イメージセンサ部１４と、イメージセンサ部１４から出力された赤外成分と色成分を含む３種類の画素データと、可視光成分および赤外成分を全て含む画素データとに基づき赤外成分を抽出し、該抽出した赤外成分と３種類の画素データとに基づき、可視光領域画像データ及び赤外領域画像データを生成する信号処理部１５とを含んだ構成とした。【選択図】図１
2009232352.tif 000002
【特許請求の範囲】
【請求項１】
受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部を備えた撮像素子を有する撮像装置であって、
前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、前記入射光が通過する複数の入射光通過部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列した構成のカラーフィルタアレイと、
前記イメージセンサ部を構成する前記各画素の蓄積電荷を空にする処理であるリセット処理を行うタイミングと、前記リセット処理後の前記各画素から蓄積電荷量に応じたレベルの電気信号である画素信号を読み出すタイミングとを設定するタイミング設定手段と、
前記タイミング設定手段で設定された前記リセット処理のタイミングに基づき、前記イメージセンサ部を構成する前記各画素をリセットするリセット処理手段と、
前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記イメージセンサ部を構成する前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出された、前記カラーフィルタ部を透過した光に対応する画素信号である色画素信号と、前記入射光通過部を通過した光に対応する画素信号である入射光画素信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記画像データ生成手段は、前記カラーフィルタ部に対応する各画素の前記各色要素に対応する前記色画素信号と、前記カラーフィルタ部に対応する各画素の周辺の前記入射光通過部に対応する画素の前記入射光画素信号とに基づき前記画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像データ生成手段は、前記色画素信号の示す画素値と、前記各色要素に対応するカラーフィルタ部を透過する各色要素の光の減衰量に係る情報である色光減衰情報と、前記入射光画素信号の示す画素値とに基づき、該入射光画素信号の画素値から前記赤外線の成分を抽出し、該赤外線の成分と、前記各色要素に対応するカラーフィルタ部を透過する赤外線の減衰量に係る情報である赤外線減衰情報と、前記色画素信号の画素値とに基づき、各色要素に対応する画素値を算出し、該算出した画素値に基づき前記画像データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像データ生成手段は、前記算出した各色要素に対応する画素値と、前記抽出した赤外線の成分とを合成して、前記画像データを生成することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記入射光通過部が隣接して配列された構成を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記入射光通過部が隣接して配列された構成を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項７】
前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項９】
受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部の各前記画素に入射する入射光の色分離に用いられるカラーフィルタアレイであって、
前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、前記入射光が通過する複数の入射光通過部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列して構成したことを特徴とするカラーフィルタアレイ。
【請求項１０】
前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記入射光通過部が隣接して配列された構成を有することを特徴とする請求項９に記載のカラーフィルタアレイ。
【請求項１１】
前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記入射光通過部が隣接して配列された構成を有することを特徴とする請求項９に記載のカラーフィルタアレイ。
【請求項１２】
前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、
前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有することを特徴とする請求項９乃至請求項１１のいずれか１項に記載のカラーフィルタアレイ。
【請求項１３】
前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、
前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有することを特徴とする請求項９乃至請求項１１のいずれか１項に記載のカラーフィルタアレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタアレイを用いて入射光から色分離を行う撮像装置に係り、特に、可視光及び赤外線を選択的に透過するカラーフィルタ部と、入射光をそのまま透過する入射光通過部とを含む構成のカラーフィルタアレイを備えた撮像装置と、該カラーフィルタアレイとに関する。
【背景技術】
【０００２】
従来、半導体素子を用いたイメージセンサではフォトダイオード(以下、ＰＤと称す)で光を感知し、光量に応じた電荷を発生させ、光電変換により画像(映像)を電気的に画素信号に変換して取り扱っている。ＰＤで感知できる光の波長は可視光の領域に留まらず、可視領域を超えた範囲の光まで感知してしまい、人間が見えている物と異なった画像が出来上がってしまう問題がある。可視光領域（波長：380[nm]〜780[nm]）の範囲内の光のみを感知させる(可視光の範囲外の光は感知させない)ために、赤外線カットフィルタ(以下、ＩＲカットフィルタと称す)を設けて人間の目に合わせた可視光のみを感知させる事が多い。また、カラー画像を取得するためにはＲＧＢ、または、ＣＭＹのカラーフィルタ(以下、ＣＦと称す)を用い、色要素毎に光を分離してからＰＤに感知させている。カラー画像を取得するためには、光をＩＲカットフィルタとＣＦとで二重にフィルタを通過させるため、実際の光よりも光の感度が低下する事になってしまう。また、１つのＰＤで赤外光の感知、およびカットをさせる場合には、ＩＲカットフィルタを機械的に動作させてその有無の状態を作る必要があった。
【０００３】
また、従来のデジタルカメラに代表されるイメージセンサでは、ＰＤに人間の目に合わせた可視光のみを感知させるために、ＩＲカットフィルタを設けて赤外領域の光をカットしている。また、カラー画像を取得するためにはＰＤにＣＦにおいて分離した光を感知させてカラーの画素信号を取得する事になる。
カラー画像、モノクロ画像を問わず、人間の目に合わせた画像の取得にはＩＲカットフィルタを通過させた光をＰＤに感知させることになり、また、カラー画像の取得にはＣＦも通過させた光をＰＤに感知させることになる。この場合、ＩＲカットフィルタとＣＦとで二重にフィルタを通過させているため、実際の光よりも光の感度が低下(減衰)した光をＰＤで感知している事になり、受光量に無駄がある。
【０００４】
また、写真、ムービー、監視用等、一般に用いる画像(映像)であれば人間の目に合わせた可視光のみを感知できれば十分であるが、夜間等の暗時環境下での撮像(モニタ)、特殊用途で赤外光と可視光の双方を撮像する場合にあっては、ＩＲカットフィルタの存在は非常に不都合な物となる。
実際に可視光領域と赤外光領域の双方の画像を撮像する場合には、例えば、特許文献１に記載の可視カメラ・赤外線カメラ併用型異常検知装置、特許文献２に記載の熱等の自動検出装置及びその使用方法のように、可視光検出用と赤外光検出用のカメラ２台を用いてそれぞれの波長の領域毎に撮像する方法がある。
【０００５】
また、明時、暗時で切り替えて１台のカメラで可視光領域と赤外光領域の双方の画像を撮像する方法として、例えば、特許文献３に記載の赤外線カメラがある。かかる赤外線カメラにおいては、撮像環境に応じて、光を赤外線透過フィルタ(以下、ＩＲ透過フィルタと称す)を透過させるか否かを機械的に切り替えている。
【特許文献１】特開平７−２４５７５７号公報
【特許文献２】特開平８−９６２７８号公報
【特許文献３】特開２００２−７７６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２の従来技術においては、可視光領域の撮影用と赤外領域の撮影用にそれぞれカメラを１台ずつ用意する必要があり、装置の大型化やコストの面で問題があった。
また、上記特許文献３の従来技術においては、撮像環境に応じて、ＩＲカットフィルタの有無を機械的に切り替える必要があり、この機構を設けることによるコストのアップや装置の大型化などの問題が生じる恐れがあった。
【０００７】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、赤外領域の画像と可視光領域の画像とを１つの撮像素子において撮像するのに好適な撮像装置及びカラーフィルタアレイを提供することを目的とする。
【課題を解決するための手段】
【０００８】
〔形態１〕  上記目的を達成するために、形態１の撮像装置は、受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部を備えた撮像素子を有する撮像装置であって、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、前記入射光が通過する複数の入射光通過部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列した構成のカラーフィルタアレイと、前記イメージセンサ部を構成する前記各画素の蓄積電荷を空にする処理であるリセット処理を行うタイミングと、前記リセット処理後の前記各画素から蓄積電荷量に応じたレベルの電気信号である画素信号を読み出すタイミングとを設定するタイミング設定手段と、前記タイミング設定手段で設定された前記リセット処理のタイミングに基づき、前記イメージセンサ部を構成する前記各画素をリセットするリセット処理手段と、前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記イメージセンサ部を構成する前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、前記画素信号読出手段で読み出された、前記カラーフィルタ部を透過した光に対応する画素信号である色画素信号と、前記入射光通過部を通過した光に対応する画素信号である入射光画素信号とに基づき画像データを生成する画像データ生成手段と、を備える。
【０００９】
このような構成であれば、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタアレイにおけるカラーフィルタ部において、複数種類の色要素のうちいずれか１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光のみがカラーフィルタ部を透過して対応する各画素に入射される。
更に、イメージセンサ部に入射される光は、カラーフィルタアレイにおける入射光通過部を通過して、そのまま対応する各画素に入射される。つまり、全ての色要素の光（可視光）と赤外線とを含む光が対応する各画素に入射される。
【００１０】
そして、タイミング設定手段によって、各画素のリセットを行うタイミングと、リセット後の各画素から画素信号を読み出すタイミングとが設定されると、設定されたリセットのタイミングにおいて、リセット処理手段によって各画素のリセット処理が行われる。リセットされた画素は、リセットのタイミングを露光開始タイミングとして露光を開始する。
【００１１】
具体的に、カラーフィルタ部を介して、対応する各画素に入射された１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光との混合光が各画素において光電変換され、該変換によって得られた電荷が各画素に蓄積される。更に、入射光通過部を通過した入射光が各画素において光電変換され、該変換によって得られた電荷が各画素に蓄積される。
【００１２】
一方、設定された読み出しタイミングにおいて、画素信号読出手段によって、各画素から蓄積電荷量に応じた画素信号が読み出される。
各画素から画素信号が読み出されると、画像データ生成手段において、カラーフィルタ部を透過した光に対応する色画素信号と、入射光通過部を通過した光に対応する入射光画素信号とに基づき、画像データが生成される。
【００１３】
従って、画像データ生成手段においては、複数の色要素のうちいずれか１つの色要素に対応する波長領域の光と赤外線に対応する波長領域の光との双方の情報を有した色画素信号と、全ての色要素に対応する波長領域の光と赤外線に対応する波長領域の光の情報を有した入射光画素信号とを用いて、画像データを生成することができる。
例えば、色画素信号及び入射光画素信号から赤外線の波長領域の光の情報を抽出することで、各色画素信号から赤外成分を除去できるので、これにより、可視光領域の光の情報からなる通常のカラー画像データ（以下、可視光領域画像データと称す）を生成することができる。更に、色画素信号、又は赤外成分を除いた色画素信号と赤外成分とを用いて、赤外線の波長領域の光の情報を含んだ画像データ（以下、赤外領域画像データと称す）を生成することができる。
【００１４】
これにより、１つの撮像素子によって得られる画素信号によって、可視光領域の画像データと、赤外領域の画像データとの双方の画像データを生成することができるという効果が得られる。
更に、ＩＲカットフィルタを不要にできるので、ＩＲカットフィルタにおける入射光の減衰を無くすことができるという効果が得られると共に、その分のコストや配置スペースを低減することができるという効果も得られる。また、従来技術のようにＩＲカットフィルタを機械的に切り替える構成も不要となる。
【００１５】
更に、カラーフィルタアレイの一部を入射光をそのまま通過させる入射光通過部とするようにしたので、その部分を空洞化することができ、その分の材料を低減することができる。これにより、生産コスト（主に材料費）を低減することができるという効果が得られる。
ここで、所定の色空間は、Ｒ、Ｇ、Ｂの３つの軸から構成されるＲＧＢ色空間、Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（ＢＬＡＣＫ）の４つの軸から構成されるＣＭＹＫ色空間、Ｃ、Ｍ、Ｙの３つの軸から構成されるＣＭＹ色空間、Ｍ、Ｇ、Ｃ、Ｙの４つの軸から構成されるＭＧＣＹ色空間などが該当する。以下のカラーフィルタアレイに関する形態において同じである。
【００１６】
また、カラーフィルタ部は、入射光からＩＲカットフィルタによって赤外線の波長領域の光が除去された光から、各色要素に対応する波長領域の光を選択的に分離し、該分離した各色要素の光を透過する従来のカラーフィルタのフィルタ部などが該当する。このようなフィルタ部を用いると、入射光からは、各フィルタ部に対応する１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光が対応する画素に入射される。つまり、カラーフィルタ部については、既存品をそのまま適用することができる。以下のカラーフィルタアレイに関する形態において同じである。
【００１７】
また、入射光通過部は、入射光をそのまま通過させる構成としてもよいし、カラーフィルタ部の特性に合わせて、紫外線等の可視光線及び赤外線以外の特定の波長領域の光を遮断するフィルタ特性を有する構成としてもよい。以下のカラーフィルタアレイに関する形態において同じである。
【００１８】
〔形態２〕  更に、形態２の撮像装置は、形態１に記載の撮像装置において、前記画像データ生成手段は、前記カラーフィルタ部に対応する各画素の前記各色要素に対応する前記色画素信号と、前記カラーフィルタ部に対応する各画素の周辺の前記入射光通過部に対応する画素の前記入射光画素信号とに基づき前記画像データを生成する。
【００１９】
このような構成であれば、画像データ生成手段において、カラーフィルタ部に対応する画素の色画素信号と、該画素の周辺の画素に対応する入射光画素信号とに基づき画像データを生成することができる。
従って、受光条件の近い画素に対応する色画素信号及び入射光画素信号とから画像データを生成することができるので、イメージセンサ部におけるカラーフィルタ部及び入射光通過部の配設位置の違いによる画質への影響を低減することができるという効果が得られる。
【００２０】
〔形態３〕  更に、形態３の撮像装置は、形態２に記載の撮像装置において、前記画像データ生成手段は、前記各色要素に対応するカラーフィルタ部を透過する各色要素の光の減衰量に係る情報である色光減衰情報と、前記各色要素に対応するカラーフィルタ部を透過する赤外線の減衰量に係る情報である赤外線減衰情報とを備え、前記色画素信号の示す画素値と、前記色光減衰情報と、前記入射光画素信号の示す画素値とに基づき、該入射光画素信号の画素値から前記赤外線の成分を抽出し、該赤外線の成分と、前記赤外線減衰情報と、前記色画素信号の画素値とに基づき、各色要素に対応する画素値を算出し、該算出した画素値に基づき前記画像データを生成する。
【００２１】
このような構成であれば、画像データ生成手段において、入射光画素信号から赤外線の波長領域の光の成分（以下、赤外成分という）を抽出し、該赤外成分と赤外線減衰情報と色画素信号の画素値とから、各色要素に対応する画素値を算出することができるので、ＩＲカットフィルタを除去した構成において、赤外成分を含む画素信号から可視光領域の画像データを生成することができるという効果が得られる。
【００２２】
ここで、上記各カラーフィルタ部は、自然界に存在する光の各色成分を全て透過できるわけではなく、光が透過する際に透過対象の色成分は必ず減衰する。この減衰量は、各色要素に対応するカラーフィルタ部毎に異なる。上記色光減衰情報は、カラーフィルタ部を入射光が透過する際に、どれだけ透過対象の色成分が減衰するかを各色要素に対応したカラーフィルタ部毎に示す情報であり、例えば、読み出された画素信号の示す各画素値に乗算する係数の情報などとなる。また、このことは、赤外線についても同様であり、カラーフィルタ部を透過する際に赤外成分が減衰する。この減衰量は、各色要素に対応するカラーフィルタ部毎に異なる。上記赤外線減衰情報は、カラーフィルタ部を入射光が透過する際に、どれだけ赤外成分が減衰するかを各色要素に対応したカラーフィルタ毎に示す情報であり、例えば、読み出された画素信号の示す各画素値に乗算する係数の情報などとなる。
【００２３】
〔形態４〕  更に、形態４の撮像装置は、形態２に記載の撮像装置において、前記画像データ生成手段は、前記算出した各色要素に対応する画素値と、前記抽出した赤外線の成分とを合成して、前記画像データを生成する。
このような構成であれば、画像データ生成手段において、赤外成分の情報を含んだカラー画像データを生成することができるので、夜間の撮像時などの、暗時の撮像画像の画質改善などの効果が得られる。
【００２４】
〔形態５〕  更に、形態５の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記入射光通過部が隣接して配列された構成を有する。
【００２５】
このような構成であれば、カラーフィルタアレイは、複数種類の色要素にそれぞれ対応するカラーフィルタ部から構成される組の１組又は複数組に対して、該組数以下の入射光通過部が隣接して配列された構成となる。これにより、カラーフィルタアレイは、入射光通過部の数よりもカラーフィルタ部の組数の方が多い構成となるので、色の情報（可視光成分）を含む画素信号（色画素信号）を赤外成分の抽出を目的とした入射光画素信号よりも多く得ることができる。
【００２６】
従って、ＩＲカットフィルタを除去した構成にできると共に、特にイメージセンサ部に入射される光の赤外領域の波長成分が均一の場合に、従来との構成の違いによる可視光領域の画像の画質低下を抑えつつ、可視光領域及び赤外領域の双方の画像データを得ることができるという効果が得られる。
【００２７】
〔形態６〕  更に、形態６の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記入射光通過部が隣接して配列された構成を有する。
【００２８】
このような構成であれば、カラーフィルタアレイは、複数種類の色要素にそれぞれ対応するカラーフィルタ部から構成される組の各１組に対して、入射光通過部が２つ以上隣接して配列された構成となる。これにより、画像データ生成手段において、各組の色画素信号の示す画素値から、２つ以上の入射光画素信号から抽出された赤外成分の示す画素値の平均を減算して、各色要素の画素値から構成されるカラー画像データを得ることができる。また、カラーフィルタアレイを、入射光通過部を比較的多く含む構成とすることで、色画素信号からより正確に赤外成分を除去することができる。従って、ＩＲカットフィルタを除去した構成にできると共に、色画素信号からより高精度に赤外成分を除去することができるという効果が得られる。
【００２９】
〔形態７〕  更に、形態７の撮像装置は、形態１乃至６のいずれか１に記載の撮像装置において、前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有する。
【００３０】
このような構成であれば、カラーフィルタアレイは、例えば、赤色（Ｒ）と緑色（Ｇ）のカラーフィルタ部ＲＦＰとＧＦＰとが互い違いに水平方向に並ぶフィルタラインＲＧＦＬと、入射光通過部（以下、ＬＰＰ（Light Passage Potion）と称す）と青色（Ｂ）のカラーフィルタ部ＢＦＰとが互い違いに水平方向に並ぶフィルタラインＬＰＢＦＬとが、ＲＧＦＬ→ＬＰＢＦＬ→ＲＧＦＬ→ＬＰＢＦＬ→・・・の順で垂直方向に配列（これを、ベイヤー配列という）された構成となる。なお、通常は、入射光通過部（ＬＰＰ）の代わりにＧＦＰが配列される。つまり、カラーフィルタアレイを、通常のベイヤー配列における２つのＧＦＰのうち一方をＬＰＰに置き換えた構成とすることができる。また、ベイヤー配列の構成となっていれば（市松模様状であれば）、この配列順に限らない。
【００３１】
これにより、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＲＦＰ、ＧＦＰ、ＢＦＰに対応する画素の近傍のＬＰＰに対応する画素の画素データから抽出した赤外成分を用いて、各ＲＦＰ、ＧＦＰ、ＢＦＰに対応する画素データから適切に赤外成分を除去することができる。更に、ベイヤー配列のカラーフィルタに対する従来のピクセルデータの生成手法をそのまま適用することができる。
【００３２】
また、ＬＰＰに対応する画素のデータから抽出された赤外成分を合成に用いてピクセルデータを生成することで、赤外成分を含む画像データを生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号を、そのまま赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００３３】
〔形態８〕  更に、形態８の撮像装置は、形態１乃至６のいずれか１に記載の撮像装置において、前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有する。
【００３４】
このような構成であれば、カラーフィルタアレイは、例えば、シアン色（Ｃｙ）とイエロ色（Ｙｅ）のカラーフィルタ部ＣｙＦＰとＹｅＦＰとが互い違いに水平方向に並ぶフィルタラインＣｙＹｅＦＬと、入射光通過部（ＬＰＰ）とマゼンタ色（Ｍｇ）のカラーフィルタ部ＭｇＦＰとが互い違いに水平方向に並ぶフィルタラインＬＰＭｇＦＬとが、ＣｙＹｅＦＬ→ＬＰＭｇＦＬ→ＣｙＹｅＦＬ→ＬＰＭｇＦＬ→・・・の順で垂直方向に配列（ベイヤー配列）された構成となる。なお、通常は、ＬＰＰの代わりにＧＦＰが配列される。つまり、カラーフィルタアレイを、通常のベイヤー配列におけるＧＦＰをＬＰＰに置き換えた構成とすることができる。また、ベイヤー配列の構成となっていれば（市松模様状であれば）、この配列順に限らない。
【００３５】
これにより、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＣｙＦＰ、ＭｇＦＰ、ＹｅＦＰに対応する画素の近傍のＬＰＰに対応する画素の画素データから抽出した赤外積分を用いることで、各ＣｙＦＰ、ＭｇＦＰ、ＹｅＦＰに対応する画素データから適切に赤外成分を除去することができる。更に、ベイヤー配列に対する従来のピクセルデータの生成手法をそのまま適用することができる。
【００３６】
また、ＬＰＰに対応する画素のデータから抽出された赤外成分を合成に用いてピクセルデータを生成することで、赤外成分を含む画像データを生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号を、そのまま赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００３７】
〔形態９〕  一方、上記目的を達成するために、形態９のカラーフィルタアレイは、受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部の各前記画素に入射する入射光の色分離に用いられるカラーフィルタアレイであって、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、前記入射光が通過する複数の入射光通過部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列して構成した。
【００３８】
このような構成であれば、本形態のカラーフィルタアレイを、撮像素子のイメージセンサ部に対して適切に配設することで、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタ部において、複数種類の色要素のうちいずれか１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光のみがカラーフィルタ部を透過して対応する各画素に入射される。
【００３９】
更に、イメージセンサ部に入射される光は、カラーフィルタアレイにおける入射光通過部を通過して、そのまま対応する各画素に入射される。つまり、全ての色要素の光（可視光）と赤外線とを含む光が対応する各画素に入射される。
従って、後段の画像処理において、複数の色要素のうちいずれか１つの色要素に対応する波長領域の光と赤外線に対応する波長領域の光との双方の情報を有した色画素信号と、全ての色要素に対応する波長領域の光と赤外線に対応する波長領域の光の情報を有した入射光画素信号とを用いて、可視光領域の画像データと、赤外領域の画像データとの双方の画像データを生成することができる。
【００４０】
これにより、ＩＲカットフィルタを不要にできると共に、１つの撮像素子によって、赤外領域の画像データと可視光領域の画像データとの双方の画像データを生成可能な画素信号を得ることができる撮像装置を簡易に構成することができるという効果が得られる。
【００４１】
〔形態１０〕  更に、形態１０のカラーフィルタアレイは、形態９に記載のカラーフィルタアレイにおいて、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記入射光通過部が隣接して配列された構成を有する。
【００４２】
このような構成であれば、入射光通過部の数よりもカラーフィルタ部の組数の方が多い構成となるので、色の情報（可視光成分）を含む画素信号（色画素信号）を赤外成分の抽出を目的とした入射光画素信号よりも多く得ることができる。従って、本形態のカラーフィルタアレイを撮像装置に適用することで、ＩＲカットフィルタを除去した構成にできると共に、特にイメージセンサ部に入射される光の赤外領域の波長成分が均一の場合に、従来との構成の違いによる可視光領域の画像の画質低下を抑えつつ、可視光領域及び赤外領域の双方の画像データを得るの適した撮像装置を簡易に構成することができるという効果が得られる。
【００４３】
〔形態１１〕  更に、形態１１のカラーフィルタアレイは、形態９に記載のカラーフィルタアレイにおいて、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記入射光通過部が隣接して配列された構成を有する。
【００４４】
このような構成であれば、各組の色画素信号の示す画素値から、２つ以上の入射光画素信号から抽出された赤外成分の示す画素値の平均を減算して、各色要素の画素値から構成されるカラー画像データを得ることができる。また、カラーフィルタアレイを、入射光通過部を比較的多く含む構成とすることで、色画素信号からより正確に赤外成分を除去することができる。従って、ＩＲカットフィルタを除去した構成にできると共に、色画素信号からより高精度に赤外成分を除去することができる撮像装置を構成することができるという効果が得られる。
【００４５】
〔形態１２〕  更に、形態１２のカラーフィルタアレイは、形態９乃至１１のいずれか１に記載のカラーフィルタアレイにおいて、前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有する。
【００４６】
このような構成であれば、本形態のカラーフィルタアレイを適用した撮像装置は、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＲＦＰ、ＧＦＰ、ＢＦＰに対応する画素の近傍のＩＲＦＰに対応する画素の画素データを用いて、各ＲＦＰ、ＧＦＰ、ＢＦＰに対応する画素データから適切に赤外成分を除去することができる。ここで、ＲＦＰ、ＧＦＰ、ＢＦＰ、ＬＰＰは、上記形態７と同様である。
【００４７】
また、ＬＰＰに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データから抽出した赤外成分を合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域画像データ）を生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号から赤外成分を除去せずに、そのまま合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００４８】
従って、ＩＲカットフィルタを除去した構成で、１つの撮像素子によって、可視光領域及び赤外領域の双方の画像データを得るのに適した撮像装置を簡易に構成することができるという効果が得られる。
【００４９】
〔形態１３〕  更に、形態１３のカラーフィルタアレイは、形態９乃至１１のいずれか１に記載のカラーフィルタアレイにおいて、前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記入射光通過部とがベイヤー配列された構成を有する。
【００５０】
このような構成であれば、本形態のカラーフィルタアレイを適用した撮像装置は、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＣｙＦＰ、ＭｇＦＰ、ＹｅＦＰに対応する画素の近傍のＬＰＰに対応する画素の画素データを用いて、各ＣｙＦＰ、ＭｇＦＰ、ＹｅＦＰに対応する画素データから適切に赤外成分を除去することができる。ここで、ＣｙＦＰ、ＭｇＦＰ、ＹｅＦＰ、ＬＰＰは、上記形態８と同様である。
【００５１】
また、ＬＰＰに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データから抽出した赤外成分を合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域の画像データ）を生成することができる。また、色画素信号を、そのまま赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００５２】
従って、ＩＲカットフィルタを除去した構成で、１つの撮像素子によって、可視光領域及び赤外領域の双方の画像データを得るのに適した撮像装置を簡易に構成することができるという効果が得られる。
【発明を実施するための最良の形態】
【００５３】
以下、本発明に係る撮像装置及びカラーフィルタアレイの実施の形態を図面に基づき説明する。図１〜図５は、本発明に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
まず、本発明に係る撮像装置１００の概略構成を図１に基づき説明する。図１は、本発明に係る撮像装置１００の概略構成を示すブロック図である。
【００５４】
撮像装置１００は、図１に示すように、被写体からの反射光を集光するレンズ１０と、レンズ１０を透過した光を各画素に集光するマイクロレンズ１２と、マイクロレンズ１２を透過した光から所定の１種類の色要素に対応する波長の光と赤外線の波長領域の光とを分離して該分離した光を対応する各画素に入射するカラーフィルタ部（以下、ＣＦ部と称す）と、マイクロレンズ１２を透過した光をそのまま対応する各画素に入射する入射光通過部とを含んで構成されるカラーフィルタアレイ（以下、ＣＦアレイと称す）１３と、各画素がフォトダイオード及びＣＭＯＳ素子から構成されるセンサセルアレイを有し、電子シャッタ方式によって露光時間を制御するイメージセンサ部１４と、イメージセンサ部１４から出力された画素信号データに基づき画像データを生成し、該生成した画像データを外部機器に出力する信号処理部１５とを含んで構成される。
【００５５】
レンズ１０は、目的の被写体の大きさ、撮像装置からの距離、明るさ、解像度およびセンサセルアレイのサイズなどに応じて、被写体の撮像に十分な光量の光を集光する機能を有したレンズである。例えば、被写体の大きさ、距離、明るさが一定の場合は単焦点レンズで構成し、被写体の距離や大きさが変化する場合はズーム・レンズで構成する。また、被写体の明るさが変化する場合は、撮像装置のビデオ信号幅が一定となるように絞りを動作させて入射光量を自動調整するオート・アイリス・レンズで構成しても良い。
【００５６】
マイクロレンズ１２は、レンズ１０を透過した光を、各ＣＦ部及び各入射光通過部へと導くと共に、センサセルアレイの各センサセル（画素）を構成するフォトダイオードの受光部（開口部）へとそれぞれ導くものである。
【００５７】
次に、図２に基づき、ＣＦアレイ１３の構成を説明する。
ここで、図２（ａ）は、本実施の形態のＣＦアレイ１３の構成を示す図であり、（ｂ）は、従来のベイヤー配列のカラーフィルタアレイの構成を示す図である。
【００５８】
図２（ａ）において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光と赤外線の波長領域の光とを選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ01であれば、行番号１の第１列目の画素に対応するＲの波長領域の光と赤外線の波長領域の光とを透過するフィルタ部となる。更に、ＬＰは、入射光をそのまま通過させる入射光通過部に対応し、これらに付された下付の数字は、ＣＦ部と同様に行番号及び列番号を示す。
なお、本実施の形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置１００は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
【００５９】
ＣＦアレイ１３は、マイクロレンズ１２を介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光と、赤外線に対応する波長領域の光（以下、ＩＲ光と称す）とを分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部と、マイクロレンズ１２を介して入射された光（以下、Ｎ光と称す）をそのまま通過させてそれぞれ対応する画素に入射する複数のＬＰＰとから構成されている。
【００６０】
より具体的に、ＣＦアレイ１３は、図２（ａ）に示すように、入射光からＲ光及びＩＲ光を分離して、該分離したＲ光及びＩＲ光の混合光（以下、ＲＩ光と称す）を画素に入射する複数のＲＩ光透過フィルタ部（図２中のＲ）と入射光からＧ光及びＩＲ光を分離して、該分離したＧ光及びＩＲ光の混合光（以下、ＧＩ光と称す）を画素に入射する複数のＧＩ光透過フィルタ部（図２中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルタラインＲＧＦＬを複数備えている。
【００６１】
更に、入射光をそのまま画素に入射する入射光通過部（図２中のＬＰ）と、入射光からＢ光及びＩＲ光を分離して、該分離したＢ光及びＩＲ光の混合光（以下、ＢＩ光と称す）を画素に入射する複数のＢＩ光透過フィルタ部（図２中のＢ）とがＬＰ→Ｂ→ＬＰ→Ｂ→ＬＰ→Ｂ→・・・の順で水平方向に連続した構成のフィルタラインＬＰＢＦＬを複数備えている。これら複数の、フィルタラインＲＧＦＬと、フィルタラインＬＰＢＦＬとは、図２に示すように、ＲＧＦＬ→ＬＰＢＦＬ→ＲＧＦＬ→ＬＰＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数の入射光通過部と、複数のＧＩ光透過フィルタ部と、複数のＢＩ光透過フィルタ部と、複数の入射光通過部とがベイヤー型に配列された構成となっている。
【００６２】
ここで、図２（ｂ）は、Ｒ、Ｇ、ＢのＣＦ部がベイヤー配列された構成の従来のカラーフィルタアレイを示しており、Ｒ、Ｇ、Ｂは、それぞれ可視光の波長領域の光から、赤色、緑色、青色の波長領域の光を選択的に透過するＣＦ部となる。これらに付された下付の数字は、上記ＣＦアレイ１３と同様に行番号及び列番号を示す。
従来のＣＦアレイは、その手前に配設されるＩＲカットフィルタにおいて、赤外線の波長領域の光が除去された光に対して、その光から各色の波長領域の光を選択的に透過させることを前提に作られているため、本実施の形態のように、ＩＲカットフィルタを配設しない構成の撮像装置に適用すると、赤外成分を含む入射光がそのまま入射されることになるため、可視光領域における不要な波長領域の光は除去できても、それ以外の赤外線を含む波長領域の光までは除去することはできない。
【００６３】
従って、上記のＲＩ光透過フィルタ部と、ＧＩ光透過フィルタ部と、ＢＩ光透過フィルタ部とは、従来のＣＦアレイに用いられている各色に対応したフィルタ部をそのまま用いることができる。
また、従来のＣＦアレイは、本実施の形態のＣＦアレイ１３と比較して、入射光通過部の代わりに、ＧＩ光透過フィルタ部が配設された構成を有している。逆にいうと、従来のカラーフィルタアレイにおける、対角に位置する２つのＧＩ光透過フィルタ部の一方（図２の例では、偶数行のＧＩ光透過フィルタ部）を、入射光通過部に置き換えることで、本実施の形態のＣＦアレイ１３を構成することができる。
【００６４】
次に、図３に基づき、イメージセンサ部１４の内部構成を説明する。
ここで、図３は、イメージセンサ部１４の内部構成を示すブロック図である。
イメージセンサ部１４は、図３に示すように、制御回路５０と、駆動回路５１と、センサセルアレイ５２と、画素信号読出回路５３とを含んで構成される。
制御回路５０は、信号処理部１５から入力される同期信号及びシャッタ・コントロール信号に基づき各種制御信号を生成する。そして、この生成した制御信号を駆動回路５１及び画素信号読出回路５３にそれぞれ出力する。
【００６５】
具体的に、信号処理部１５からの同期信号（垂直同期信号、水平同期信号及びピクセルクロックなど）と、シャッタ・コントロール信号とに基づき、読み出しライン選択信号などの画素信号の読み出しに係る制御信号、リセットライン選択信号などの蓄積電荷のリセット（画素に蓄積された電荷を空にする動作）に係る制御信号、これら読み出しライン及びリセットラインを有効にするタイミングを制御するタイミングパルス信号、読み出し有効期間を示すData_Enable信号などを生成し、これら生成した制御信号を駆動回路５１及び画素信号読出回路５３に適宜選別して出力する。
【００６６】
駆動回路５１は、制御回路５０からの読み出しライン選択信号やリセットライン選択信号などの制御信号に基づき、イメージセンサ部１４における、読み出しライン選択信号又はリセットライン選択信号が示すアドレス値に対応したライン位置のセンサセル（画素）を有効（アクティブ）にする駆動パルス信号を生成し、該生成した駆動パルス信号及びリセットや読み出しなどの駆動内容に対応する駆動パルス信号（リセット線、読出線を有効にする信号）をセンサセルアレイ５２に出力する。
【００６７】
センサセルアレイ５２は、フォトダイオード及びＣＭＯＳ素子を用いて構成された複数のセンサセルを水平方向及び垂直方向に２次元マトリクス状に配列し、各水平方向のライン毎のセンサセルに対して、アドレス線、リセット線及び読出線が共通に接続され、前記３つの制御線を介して各種駆動パルス信号が各ラインを構成するセンサセルに送信される。そして、アドレス線及び読出線が有効になると、該読出線を介して蓄積電荷を画素信号読出回路５３に転送する構成となっている。一方、アドレス線及びリセット線が有効になると、リセット線を介して選択ラインの各画素に蓄積された電荷を空に（リセット）する。
【００６８】
画素信号読出回路５３は、不図示の、水平転送部と、ＡＧＣ（Auto Gain Control）回路と、Ａ／Ｄコンバータ（Analog-Digitalコンバータ）とを含んで構成され、水平転送部において、センサセルアレイの選択ラインの各画素から読み出される画素信号データをラインメモリ（不図示）に記憶する。次いで、ＡＧＣ回路において画素信号データのレベル調整を行ない、Ａ／Ｄコンバータにおいて、レベル調整後の画素信号データ（アナログデータ）をデジタルのデータ（以下、画素データと称す）に変換し、該変換して得られた画素データを信号処理部１５に出力する。
【００６９】
この出力される画素データには、上記ＣＦアレイ１３の構成によって、ＲＩ光透過フィルタ部を透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｒ’データと称す）と、ＧＩ光透過フィルタを透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｇ’データと称す）と、ＢＩ光透過フィルタを透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｂ’データと称す）と、入射光通過部を通過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、ＮＬデータと称す）の４種類のデータが含まれる。
【００７０】
更に、本実施の形態において、画素信号読出回路５３は、制御回路５０によって、ライン単位にリセット直後の画素信号を読み出すように制御される。そして、リセット直後に読み出した画素信号のデータを専用のラインメモリに記憶し、設定された露光時間で同じラインから画素信号が読み出されると、該読み出された画素信号とリセット直後の画素信号との差分をとり、この差分の画素信号データをＡＧＣ回路に出力する。つまり、設定された露光時間に対応する画素信号からリセット直後の信号成分を除去することで、画素信号から固定パターンノイズ成分を除去する。
【００７１】
次に、図４に基づき、信号処理部１５の構成を説明する。
ここで、図４は、信号処理部１５の構成を示すブロック図である。
信号処理部１５は、図４に示すように、制御部７０と、赤外成分抽出部７１と、色信号処理部７２と、画像合成部７３と、フレームメモリ７４と、画像データ出力部７５とを含んで構成される。
【００７２】
更に、信号処理部１５は、不図示の、ＤＳＰ（Digital Signal Processor）と、上記各部の処理を実現するため及び上記各部のハードウェアを制御するための専用のプログラム及び該プログラムの実行に必要なデータの記憶されたＲＯＭ（Read Only Memory）と、プログラムを実行するためのＲＡＭ（Random Access Memory）とを含んで構成される。
制御部７０は、不図示のシステムコントローラからのコマンドに基づき各種駆動信号を生成して、これを各構成部に伝送する。例えば、システムコントローラからのコマンドに基づき、色信号処理部７２に対して、可視光領域のカラー画像データ（以下、可視光領域画像データと称す）又は赤外領域を含むカラー画像データ（以下、赤外領域画像データと称す）の生成を指示する駆動信号を出力する。また、システムコントローラからのコマンドに基づき、画像データ出力部７５に画像データの出力を指示する駆動信号を出力する。
【００７３】
更に、制御部７０は、システムコントローラからのコマンドに基づき、同期信号（垂直同期信号、水平同期信号及びピクセルクロック）とシャッタ・コントロール信号とを生成し、同期信号を各構成部及びイメージセンサ部１４に伝送し、シャッタ・コントロール信号をイメージセンサ部１４に伝送する。具体的に、内部（外部でもよい）のクロック発振器（不図示）によって基準クロックを発生し、該基準クロックに基づき各種同期信号を生成する。更に、イメージセンサ部１４からの画素データに基づき撮像環境に適した露光時間を算出し、該算出した露光時間の情報を含むシャッタ・コントロール信号を生成する。
【００７４】
赤外成分抽出部７１は、イメージセンサ部１４から入力された、Ｒ’、Ｇ’、Ｂ’及びＮＬデータと、ＲＯＭに記憶された赤外線抽出用データ及び赤外線減衰量データとを用いて、ＮＬデータから赤外成分のデータ（以下、ＩＲデータと称す）を抽出する。
ここで、赤外線減衰量データは、ＲＩ光透過フィルタ部を透過する入射光に含まれる赤外成分の減衰量に係る係数ｘ（ｘ＜１）と、ＧＩ光透過フィルタ部を透過する入射光に含まれる赤外成分の減衰量に係る係数ｙ（ｙ＜１）と、ＢＩ光透過フィルタ部を透過する入射光に含まれる赤外成分の減衰量に係る係数ｚ（ｚ＜１）とを含んだデータである。
【００７５】
また、赤外線抽出用データは、ＮＬデータからＲ’、Ｇ’及びＢ’データを用いて赤外成分を抽出するための係数ａ，ｂ，ｃ，ｄを含んだデータである。
いま、入射光（自然光）のデータであるＮＬデータに含まれる、Ｒ光成分、Ｇ光成分、Ｂ光成分及び赤外成分の画素値をそれぞれ、ＶＲ、ＶＧ、ＶＢ及びＩＲＶとし、Ｒ’、Ｇ’及びＢ’データの示す画素値をＩＲＶ、ＩＧＶ及びＩＢＶとする。
【００７６】
更に、ＲＩ光透過フィルタ部を透過する入射光に含まれるＲ光成分の減衰量に係る係数をｆ（ｆ＜１）、ＧＩ光透過フィルタ部を透過する入射光に含まれるＧ光成分の減衰量に係る係数をｇ（ｇ＜１）、ＢＩ光透過フィルタ部を透過する入射光に含まれるＢ光成分の減衰量に係る係数をｈ（ｈ＜１）とすると、ＲＩＶ、ＧＩＶ及びＢＩＶと、係数ｆ、ｇ及びｈと、係数ｘ、ｙ及びｚとの関係は、下式（１）のようになる。
ＲＩＶ＝ｆ×ＶＲ＋ｘ×ＩＲＶ
ＧＩＶ＝ｇ×ＶＧ＋ｙ×ＩＲＶ
ＢＩＶ＝ｈ×ＶＢ＋ｚ×ＩＲＶ                                      ・・・（１）
つまり、係数ｆ，ｇ，ｈは、ＲＩ光透過フィルタ部，ＧＩ光透過フィルタ部，ＢＩ光透過フィルタ部を入射光が透過するときのＲ光成分，Ｇ光成分，Ｂ光成分の減衰割合を示す係数である。同様に、係数ｘ，ｙ，ｚは、ＲＩ光透過フィルタ部，ＧＩ光透過フィルタ部，ＢＩ光透過フィルタ部を入射光が透過するときの赤外成分の減衰割合を示す係数である。
【００７７】
更に、係数ｂ，ｃ，ｄと、係数ｆ，ｇ，ｈとの間には、「ｆ×ｂ＝１又は１の整数倍数」、「ｇ×ｃ＝１又は１の整数倍数」、「ｈ×ｄ＝１又は１の整数倍数」の関係が成立する。
更に、係数ａと、係数ｂ，ｃ，ｄと、係数ｆ，ｇ，ｈとの間には、「ａ＝ｆ×ｂ＝ｇ×ｃ＝ｈ×ｄ＝１又は１の整数倍数」の関係が成立する。
【００７８】
上記係数ａ〜ｄの役割を具体的に述べると、ＣＦアレイ１３の通過前後において、各色成分の割合が一致しないため、ＮＬデータから、Ｒ’、Ｇ’及びＢ’データを単純に減算しただけでは、純粋なＩＲＶを抽出することができない。そこで、上記係数ａをＮＬデータの示す画素値に、上記係数ｂをＲＩＶに、上記係数ｃをＧＩＶに、上記係数ｄをＢＩＶにそれぞれ掛けることでそれぞれの割合を一致させる。
【００７９】
そして、まず、下式（２）に示すように、ａ倍したＮＬデータの画素値（ＶＲ＋ＶＧ＋ＶＢ＋ＩＲＶ）から、ｂ倍したＲＩＶ、ｃ倍したＧＩＶ及びｄ倍したＢＩＶを減算して、仮の赤外成分ＩＲＶ’を求める。
ＩＲＶ’＝ａ×（ＶＲ＋ＶＧ＋ＶＢ＋ＩＲＶ）−（ｂ×ＲＩＶ＋ｃ×ＧＩＶ＋ｄ×ＢＩＶ）
＝ａ×（ＶＲ＋ＶＧ＋ＶＢ＋ＩＲＶ）−（ｂ×（ｆ×ＶＲ＋ｘ×ＩＲＶ）＋ｃ×（ｇ×ＶＧ＋ｙ×ＩＲＶ）＋ｄ×（ｈ×ＶＢ＋ｚ×ＩＲＶ）
＝ａ×ＩＲＶ−（（ｂ×ｘ×ＩＲＶ）＋（ｃ×ｙ×ＩＲＶ）＋（ｄ×ｚ×ＩＲＶ））
＝ｅ×ＩＲＶ                                               ・・・(２)
ここで、上式（２）におけるｅは、「ｅ＝ａ−（ｂ×ｘ）−（ｃ×ｙ）−（ｄ×ｚ）」である。つまり、上式（２）によって、ｅ倍されたＩＲＶが算出される。
【００８０】
以上より、ＮＬデータに含まれる純粋なＩＲＶは、下式（３）で求めることができる。
ＩＲＶ＝ＩＲＶ’／ｅ                                              ・・・（３）
なお、上記係数ｆ〜ｈ、ｘ〜ｚ及びａ〜ｄは、ＣＦアレイ１３の特性データや、ＣＦアレイ１３を用いた実験及びＣＦアレイ１３を搭載した実機の評価結果などに基づき決定する定数であり、ＣＦアレイ１３の複数のＣＦ部に対して、同一の係数を用いる。
【００８１】
また、上式（２）及び（３）を導き出すために色々と説明を行ったが、赤外成分抽出部７１での具体的な処理内容は、イメージセンサ部１４からのＲ’、Ｇ’、Ｂ’及びＮＬデータと、ＲＯＭに記憶された係数ａ〜ｄと、上式（２）及び（３）とを用いてＮＬデータからＩＲデータを抽出し、該抽出したＩＲデータと、Ｒ’、Ｇ’及びＢ’データとを色信号処理部７２に出力する処理となる。ここで、上式（２）及び（３）を用いた演算処理は、ＤＳＰによって、ＲＯＭに記憶された専用のプログラムを実行することで行われる。
【００８２】
次に、色信号処理部７２は、制御部７０からの駆動信号が、可視光領域画像データを生成する第１の生成モードを示す駆動信号の場合は、赤外成分抽出部７１から入力されるＲ’データと、Ｇ’データと、Ｂ’データと、ＩＲデータと、ＲＯＭに記憶された赤外線減衰量データ（ｘ、ｙ、ｚ）とに基づき、Ｒ’、Ｇ’及びＢ’データから、赤色、緑色及び青色の波長領域以外の波長領域（ここでは、他の波長領域を無視して、単に赤外領域という）の情報を除去して、赤外成分を含まない各色の画素データであるＲ、Ｇ及びＢデータを生成する。具体的に、下式（４）に基づき、Ｒ’、Ｇ’及びＢ’データの示す画素値（輝度値）から、ＩＲデータの示す画素値（輝度値）を減算する。
ＶＲ＝ＲＩＶ−ｘ×ＩＲＶ
ＶＧ＝ＧＩＶ−ｙ×ＩＲＶ
ＶＢ＝ＢＩＶ−ｚ×ＩＲＶ                                          ・・・（４）
そして、上式（４）に従い生成したＲ、Ｇ及びＢデータに対して、各種補正処理を施した後に、これらのデータとＩＲデータ（補正処理は行っても行わなくてもよい）とを画像合成部７３に出力する。
【００８３】
更に、制御部７０からの駆動信号が、赤外領域画像データを生成する第２の生成モードを示す駆動信号の場合は、上式（４）に従い、Ｒ、Ｇ及びＢデータを生成し、該Ｒ、Ｇ及びＢデータ、並びにＩＲデータに対して、各種補正処理を施した後に、これらのデータを画像合成部７３に出力する。
一方、制御部７０からの駆動信号が、赤外領域画像データを生成する第３の生成モードを示す駆動信号の場合は、Ｒ’、Ｇ’、Ｂ’データ及びＩＲデータに対して、各種補正処理を施した後に、これらのデータを画像合成部７３に出力する。
【００８４】
また、制御部７０からの駆動信号が、赤外領域画像データを生成する第４の生成モードを示す駆動信号の場合は、上記係数ｘ、ｙ、ｚを用いて、上式（１）に従い、Ｒ’、Ｇ’、Ｂ’データから赤外成分を抽出する。つまり、ｘ×ＩＲＶ、ｙ×ＩＲＶ、ｚ×ＩＲＶをそれぞれ算出し、これら算出したデータ（以下、Ｒ'ＩＲデータ、Ｇ'ＩＲデータ、Ｂ'ＩＲデータと称す）と、ＮＬデータから抽出されたＩＲデータとに対して、各種補正処理を施した後に、これらのデータを画像合成部７３に出力する。
【００８５】
画像合成部７３は、制御部７０からの駆動信号が、可視光領域画像データを生成する第１の生成モードを示す駆動信号の場合は、色信号処理部７２から入力されるＲ、Ｇ及びＢデータを内部のラインメモリ（合成処理に必要なライン数（例えば、２ライン以上）を具備）に蓄積し、ラインメモリに蓄積されたＲ、Ｇ及びＢデータを合成してピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。そして、生成したピクセルデータを、フレームメモリ７４に記憶する。
【００８６】
更に、画像合成部７３は、制御部７０からの駆動信号が、第２の生成モードを示す駆動信号の場合は、色信号処理部７２から入力されるＲ、Ｇ、Ｂ及びＩＲデータを内部のラインメモリに蓄積し、ラインメモリに蓄積されたＲ、Ｇ、Ｂ及びＩＲデータを合成してピクセルデータ（Ｒ１’，Ｇ１’，Ｂ１’）を生成する。そして、生成したピクセルデータを、フレームメモリ７４の所定のアドレス領域に記憶する。ラインメモリへの画素データの蓄積は、制御部７０から同期信号に基づき、各画素のアドレスに対応させて記憶する。つまり、センサセルアレイにおける各画素の位置関係を保った状態で記憶する。
【００８７】
更に、画像合成部７３は、制御部７０からの駆動信号が、第３の生成モードを示す駆動信号の場合は、色信号処理部７２から入力されるＲ’、Ｇ’、Ｂ’及びＩＲデータを内部のラインメモリに蓄積し、ラインメモリに蓄積されたＲ’、Ｇ’、Ｂ’及びＩＲデータを合成してピクセルデータ（Ｒ２’，Ｇ２’，Ｂ２’）を生成する。そして、生成したピクセルデータを、フレームメモリ７４の所定のアドレス領域に記憶する。
【００８８】
更に、画像合成部７３は、制御部７０からの駆動信号が、第４の生成モードを示す駆動信号の場合は、色信号処理部７２から入力されるＲ'ＩＲ、Ｇ'ＩＲ、Ｂ'ＩＲ及びＩＲデータを内部のラインメモリに蓄積し、ラインメモリに蓄積されたＲ'ＩＲ、Ｇ'ＩＲ、Ｂ'ＩＲ及びＩＲデータを合成してピクセルデータ（Ｒ'ＩＲ，Ｇ'ＩＲ，Ｂ'ＩＲ）を生成する。そして、生成したピクセルデータを、フレームメモリ７４の所定のアドレス領域に記憶する。
【００８９】
フレームメモリ７４は、画像合成部７３から書き込み要求があると、その書き込み要求が示すアドレスの領域に入力されたピクセルデータを書き込み、画像データ出力部７５から読み出し要求があると、その要求が示すアドレスの領域に格納されたピクセルデータを読み出して、画像データ出力部７５に出力する。
画像データ出力部７５は、出力用同期信号（出力用ピクセルクロック、出力用水平同期信号、出力用垂直同期信号）に同期して、フレームメモリ７４から取得したピクセルデータから構成される、可視光領域画像データ又は赤外領域画像データを、外部の表示装置などに出力する。
【００９０】
具体的には、画像データ出力部７５は、まず、フレームメモリ７４に対して、画像データの読み込み命令を出力する。そして、フレームメモリ７４から画像データを取り込み、これを、同期を取りつつ外部装置に出力する。なお、画像データ出力部７５は、各種出力用同期信号に基づき、読み出すべき画素番号（アドレス）を計数し、それをフレームメモリ７４に出力する。
【００９１】
次に、図５に基づき、画像合成部７３におけるピクセルデータの生成処理について説明する。図５（ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。なお、図５は、説明の便宜上、センサセルアレイの一部分（左上の縦３画素×横３画素の９画素及び左上の縦４画素×横４画素の１６画素）を示した。
【００９２】
ＣＦアレイ１３のようにベイヤー型の配列構成を有したフィルタを用いた場合に、ピクセルデータの生成方法として、例えば、以下の２つの方法がある。
（１）センサセルアレイ５２の各画素をサブピクセルとして、複数のサブピクセルから１つのピクセルデータを生成する方法。
（２）注目する画素に対して足りない色成分のデータを周辺画素の画素データを用いて補間してピクセルデータを生成する方法。
本実施の形態では、赤外領域画像データを生成する場合に上記（１）又は（２）の方法を用い、可視光領域画像データを生成する場合に、上記（２）の方法を用いる。
【００９３】
まず、上記（１）の方法では、図５（ａ）に示すように、縦横に隣接する４つのサブピクセルを１ピクセルとして、これら４つのサブピクセルの画素データを用いて、ピクセルデータを生成する。
具体的に、図５（ａ）に示す例であれば、太枠で囲んだ４つのサブピクセルの画素データを用い、第１及び第２の生成モードの場合は、下式（５）に従ってピクセルデータを生成する。
Ｒ＝Ｒij
Ｇ＝Ｇij+1
Ｂ＝Ｂi+1j+1                                                      ・・・（５）
上式（５）において、i＝0,1,2,3,・・・Ｎ（Ｎは、センサセルアレイの最大行数）、ｊ＝0,1,2,3,・・・Ｍ（Ｍは、センサセルアレイの最大列数）である。なお、一番端の列や一番端の行では、対応するサブピクセルが無い場合があるので、そのときは無いサブピクセルを無視したり、近傍の他のサブピクセルのデータを用いるなど特別な処理を行う。
【００９４】
センサセルアレイの各４つのサブピクセルの組に対して、上式（５）に従い、同様の位置関係となるデータを用いて各ピクセルデータを生成する。
但し、第２の生成モードにおいては、上式（５）で求めたピクセルデータに対して、更に、ＩＲデータを用いた合成処理（輝度補正）を行う。
また、第３の生成モードの場合は、上式（５）において、算出に用いるデータがＲ、Ｇ及びＢデータの代わりにＲ’、Ｇ’及びＢ’データとなる。
【００９５】
また、第４の生成モードの場合は、上式（５）において、算出に用いるデータがＲ、Ｇ及びＢデータの代わりにＲ'ＩＲ、Ｇ'ＩＲ及びＢ'ＩＲデータとなる。
次に、上記（２）の方法では、図５（ｂ）に示すように、Ｇ光に対応する画素を１ピクセルとして、その画素データと、その上下左右に隣接する４つの画素の画素データとを用いて色補間を行ない、ピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。具体的に、図５（ｂ）に示す例であれば、太枠で囲んだ５つの画素の画素データを用いて、第１及び第２の生成モードの場合は、下式（６）に従いピクセルデータを生成する。
Ｒ＝（Ｒi+1j＋Ｒi+1j+2）／２
Ｇ＝Ｇij+1
Ｂ＝（Ｂij+1＋Ｂi+2j+1）／２                                      ・・・（６）
上式（６）において、i＝0,1,2,3,・・・Ｎ（Ｎは、センサセルアレイの最大行数）、ｊ＝0,1,2,3,・・・Ｍ（Ｍは、センサセルアレイの最大列数）である。なお、一番端の列や一番端の行では、対応するサブピクセルが無い場合があるので、そのときは無いサブピクセルを無視したり、近傍の他のサブピクセルのデータを用いるなど特別な処理を行う。
【００９６】
各Ｇ光に対応する画素に対して、上式（６）に従い、同様の位置関係となるデータを用いて各ピクセルデータを生成する。
但し、第２の生成モードにおいては、上式（６）で求めたピクセルデータに対して、更に、ＩＲデータを用いた合成処理（輝度補正）を行う。
また、第３の生成モードの場合は、上式（６）において、算出に用いるデータがＲ、Ｇ及びＢデータの代わりにＲ’、Ｇ’及びＢ’データとなる。
【００９７】
また、第４の生成モードの場合は、上式（６）において、算出に用いるデータがＲ、Ｇ及びＢデータの代わりにＲ'ＩＲ、Ｇ'ＩＲ及びＢ'ＩＲデータとなる。
また、上式（５）及び（６）を用いた演算処理は、ＤＳＰによって、ＲＯＭに記憶された専用のプログラムを実行することで行われる。
上記（１）、（２）の方法以外にも、Ｇ光（又はＧ'ＩＲ）に対応する画素を１ピクセルとしてそれを中心に周辺８画素を用い、周辺のＩＲデータも合成に用いる方法などもある。ＩＲデータが複数ある場合は、平均値を算出するなどして合成する。
【００９８】
本実施の形態では、上記（１）及び（２）のピクセルデータの生成方法のいずれにも対応しており、システムコントローラを介したユーザからの指示により、上記いずれかの方法を選択してピクセルデータを生成する。
次に、本実施の形態の撮像装置１００の実際の動作を説明する。
撮像装置１００は、まず、可視光領域画像データを生成する第１の生成モードで撮像を行ない、撮像して得られた可視光領域画像データに基づき、ＣＦアレイ１３におけるＲＧＦＬに対応する各ライン、ＬＰＢＦＬに対応する各ラインの露光時間を決定する。そして、この決定した露光時間の情報を含むシャッタ・コントロール信号と、基準クロックに基づき生成した同期信号（垂直同期信号、水平同期信号及びピクセルクロック）とをイメージセンサ部１４に出力する。
【００９９】
一方、イメージセンサ部１４は、制御回路５０において、信号処理部１５から供給された同期信号及びシャッタ・コントロール信号に基づき、リセットライン選択信号、読み出しライン選択信号、Data_Enable信号などの各種制御信号を生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号などを含む制御信号を駆動回路５１に出力し、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。
【０１００】
これにより、センサセルアレイ５２は、リセットライン選択信号の示すアドレスのアドレス線が有効にされると共に、リセット線が有効にされると、有効になったアドレスのラインを構成する画素の蓄積電荷をリセットする。このリセット処理の行われたタイミングが、露光の開始タイミングとなる。
露光期間においては、レンズ１０を通過した入射光がマイクロレンズ１２を介して、ＣＦアレイ１３における各ＣＦ部及び入射光通過部へと入射される。
【０１０１】
ＲＩ光透過フィルタ部に入射された光は、赤色の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光が透過して各ＲＩ光透過フィルタ部と対向する画素に入射される。従って、この画素においては、Ｒ光及び赤外光の混合光であるＲＩ光がフォトダイオードにおいて光電変換されて蓄積される。
同様に、ＧＩ光透過フィルタ部、ＢＩ光透過フィルタ部に入射された光は、緑色、青色の波長領域の光と赤外線の波長領域の光とがそれぞれ分離され、該分離された光が透過して各ＧＩ光透過フィルタ部、各ＢＩ光透過フィルタ部とそれぞれ対向する画素に入射される。従って、これらの画素においては、Ｇ光及び赤外光の混合光であるＧＩ光がフォトダイオードにおいて光電変換されて蓄積されるか、Ｂ光及び赤外光の混合光であるＢＩ光がフォトダイオードにおいて光電変換されて蓄積される。
【０１０２】
更に、入射光透過部に入射された光は、各入射光透過部と対向する画素に入射される。従って、この画素においてはＲ光、Ｇ光、Ｂ光及び赤外線の全てを含む光がフィとダイオードにおいて光電変換されて蓄積される。
一方、画素信号読出回路５３は、センサセルアレイ５２において、読み出しライン選択信号の示すアドレスのアドレス線が有効にされると共に、読出線が有効にされると（設定された露光時間のタイミングで有効にされる）、水平転送部において、制御回路５０からの各種制御信号に基づき、一定のタイミングで、有効となった読出線を介して有効となったアドレス線のラインを構成する各画素から画素信号をラインメモリに読み出す。これにより、設定された露光時間において、各ラインの画素から画素信号が読み出される。
【０１０３】
画素信号読出回路５３は、ＡＧＣ回路において、読み出した画素信号データ（差分の画素データ）の出力レベルを調整し、Ａ／Ｄコンバータにおいて、レベル調整後のアナログの画素信号データをデジタルの画素データへと変換する。そして、該変換して得られた画素データを、信号処理部１５に出力する。
これにより、信号処理部１５には、画素データとして、Ｒ’データ、Ｇ’データ、Ｂ’データ及びＮＬデータの４種類のデータが出力される。
【０１０４】
信号処理部１５は、イメージセンサ部１４から上記各種画素データが入力されると、該入力された各種画素データに対して、赤外成分抽出部７１において、ＲＯＭに記憶された赤外線抽出用データを用いて、上式（２）及び（３）に従い演算処理を行い、ＮＬデータからＩＲデータを抽出する。そして、該抽出したＩＲデータと、Ｒ’データ、Ｇ’データ、Ｂ’データとを、色信号処理部７２に出力する。
【０１０５】
色信号処理部７２は、赤外成分抽出部７１からＩＲデータと、Ｒ’データ、Ｇ’データ、Ｂ’データとが入力されると、制御部７０からの駆動信号により指定された画像データの生成モードに基づき色信号処理を行う。
具体的に、可視光領域画像データを生成する第１の生成モード及び赤外領域画像データを生成する第２の生成モードが指定された場合は、上式（４）に従い、Ｒ’データ、Ｇ’データ及びＢ’データから赤外成分を除去して、Ｒデータ、Ｇデータ及びＢデータを生成し、該生成したデータに対して各種補正処理を施してから画像合成部７３に出力する。このとき、赤外成分抽出部７１から入力されるＩＲデータも各種補正処理を施してから画像合成部７３に出力する。
【０１０６】
一方、赤外領域画像データを生成する第３の生成モードが指定された場合は、赤外成分抽出部７１からの、Ｒ’データ、Ｇ’データ、Ｂ’データ及びＩＲデータに各種補正処理を施してから画像合成部７３に出力する。
また、赤外領域画像データを生成する第４の生成モードが指定された場合は、赤外成分抽出部７１からの、Ｒ’データ、Ｇ’データ及びＢ’データから赤外成分を抽出し、該抽出して得られたＲ'ＩＲ、Ｇ'ＩＲ及びＢ'ＩＲデータと赤外成分抽出部７１からのＩＲデータとに各種補正処理を施してから画像合成部７３に出力する。
【０１０７】
画像合成部７３は、色信号処理部７２から色信号処理後の画素データが入力されると、該入力された画素データを、合成処理に必要な分が蓄積されるまで内部のラインメモリに蓄積する。必要な分が蓄積されると、指定された生成モードに基づき、上記（１）及び（２）のピクセルデータの生成方法のいずれかを用いて、ピクセルデータを生成する。
具体的に、可視光領域画像データを生成する第１の生成モードであれば、上記（２）の生成方法を用いてピクセルデータを生成する。そして、生成したピクセルデータをフレームメモリ７４に記憶し、メモリ上に可視光領域画像データを構成する。
【０１０８】
可視光領域画像データは、ＩＲ光の成分を含まない可視光領域のデータのみで生成された画像データであり、通常の（昼間や明るい場所などでの）撮像において適した画像データとなる。
また、赤外領域画像データを生成する第２の生成モードであれば、上記（１）の生成方法を用いてピクセルデータを生成し、第３及び第４の生成モードであれば、上記（２）の生成方法を用いてピクセルデータを生成する。そして、生成したピクセルデータをフレームメモリ７４に記憶し、メモリ上に赤外領域画像データを構成する。ここで、第２の生成モードで生成される赤外領域画像データを第１の赤外領域画像データとし、第３の生成モードで生成される赤外領域画像データを第２の赤外領域画像データとし、第４の生成モードで生成される赤外領域画像データを第３の赤外領域画像データとする。
【０１０９】
第１の赤外領域画像データは、Ｇ光に対応する画素データの代わりにＩＲ光に対応する画素データが合成に用いられているので、ＩＲ光の成分が加わることにより、暗闇や悪天候などの暗い場所での撮像時の画像における輝度レベルを向上し、画質を改善することができる。
また、第２の赤外領域画像データは、ＩＲ光の成分を全て含んだ画像データとなるので、熱源の感知や暗闇での撮像に特化したデータを得ることができる。
【０１１０】
また、第３の赤外領域画像データは、可視光の成分を含まないＩＲ光の成分のみの画像データとなるので、熱源の感知や暗闇での撮像に特化したデータを得ることができると共に、可視光成分によるハレーションの発生などの悪影響を抑えることができる。
従って、周辺の明るさや用途に応じて、生成する画像データの種類をコントロールすることで、適切な撮像画像データを得ることができる。
【０１１１】
更に、このようにして生成したピクセルデータから構成される各種画像データは、画像データ出力部７５を介して、各種外部機器に出力される。
以上、本実施の形態の撮像装置１００は、ＩＲカットフィルタを設けず、代わりに、Ｒ光及びＩＲ光を透過するＲＩ光透過フィルタ部、Ｇ光及びＩＲ光を透過するＧＩ光透過フィルタ部、Ｂ光及びＩＲ光を透過するＢＩ光透過フィルタ部及び入射光をそのまま通過させる入射光通過部をベイヤー配列した構成のＣＦアレイ１３を備えている。
【０１１２】
更に、本実施の形態の撮像装置１００は、信号処理部１５において、入射光透過部を通過した光を光電変換して得られるＮＬデータからＩＲ光の成分のみを含む画素データを抽出し、ＣＦアレイ１３を透過した光を光電変換して得られる各１色の光とＩＲ光との成分を含む画素データと、前記抽出したＩＲ光の成分のみを含む画素データとを用いて、可視光領域の成分のみを含む可視光領域画像データと、赤外成分を含む赤外領域画像データとを生成することが可能である。
【０１１３】
従って、撮像装置１００からＩＲカットフィルタを除去できるので、ＩＲカットフィルタにおける入射光の減衰を無くすことができると共に、除去した分の設置スペースの小型化及びコストの低減ができる。更に、従来技術のようにＩＲカットフィルタを機械的に切り替える構成も不要となる。
更に、１つの撮像素子（センサセルアレイ）によって、可視光領域画像データと赤外領域画像データとを生成することが可能な画素データを得ることができるので、２つのカメラ（撮像素子）を用いて双方の画像データを得る従来技術と比較して、装置の小型化及びコストの低減ができる。
【０１１４】
更に、信号処理部１５において、第１〜第３の赤外領域画像データの３種類の赤外領域画像データを生成することが可能である。
これにより、周囲環境や用途に応じて、赤外成分を一部含んだ画像データと、赤外成分と可視光の成分とを全て含んだ画像データと、赤外成分のみを全て含んだ画像データとのいずれかを生成することができる。
【０１１５】
上記実施の形態において、レンズ１０、マイクロレンズ１２、ＣＦアレイ１３及びイメージセンサ部１４は、形態１に記載の撮像素子に対応し、ＣＦアレイ１３は、形態１、５、７、９、１０及び１２のいずれか１に記載のカラーフィルタアレイに対応し、制御回路５０によるリセット処理の順番及びタイミングと、読み出し処理の順番及びタイミングを設定する処理は、形態１に記載のタイミング設定手段に対応し、駆動回路５１及びセンサセルアレイ５２による駆動パルス信号によってアドレス線及びリセット線を有効にしてセンサセルアレイ５２の各画素をライン単位にリセットする処理は、形態１に記載のリセット処理手段に対応し、駆動回路５１、センサセルアレイ５２及び画素信号読出回路５３による駆動パルス信号によってアドレス線及び読出線を有効にしてセンサセルアレイ５２の各画素からライン単位に画素信号を読み出す処理は、形態１に記載の画素信号読出手段に対応し、信号処理部１５は、形態１乃至４のいずれか１に記載の画像データ生成手段に対応する。
【０１１６】
〔変形例１〕
次に、上記実施の形態の変形例１を説明する。図６は、変形例１に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
本変形例１に係る撮像装置は、そのＣＦアレイが、上記実施の形態のＣＦアレイ１３と比較して、レイヤー配列されるＧＩ光透過フィルタ部と入射光通過部の配列内容が一部異なる。また、この配列内容に応じて、画像合成部７３における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
【０１１７】
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
ここで、図６は、本変形例のＣＦアレイ１６の構成を示す図である。
ＣＦアレイ１６は、図６に示すように、ＲＩ光透過フィルタ部（図６中のＲ）と、ＧＩ光透過フィルタ部（図６中のＧ）と、ＢＩ光透過フィルタ部（図６中のＢ）と、入射光通過部（図６中のＬＰ）との４つのフィルタ部を１組とした、縦２画素×横２画素の画素領域に対応したフィルタブロックの単位で配列されている。
【０１１８】
具体的に、ＣＦアレイ１６は、上記実施の形態と同様の構成のフィルタブロック（以下、第１のフィルタブロックと称す）と、第１のフィルタブロックにおける入射光通過部とＧＩ光透過フィルタ部との位置を入れ替えた構成の第２のフィルタブロックとを含んで構成される。そして、第２のフィルタブロックと第１のフィルタブロックとがこの順番に水平方向に互い違いに連続して配列された構成の第１のブロックライン（ＢＬ１）と、第１のフィルタブロックと第２のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の第２のブロックライン（ＢＬ２）とが、垂直方向にＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→・・・の順で連続して配列された構成となる。
【０１１９】
上記構成により、水平方向に隣り合うフィルタブロックの入射光通過部が斜めに連続して配置される。
信号処理部１５は、上記構成のＣＦアレイ１６を通過した光に応じた４種類の画素データ（Ｒ’、Ｇ’、Ｂ’及びＮＬデータ）に基づき、上記実施の形態と同様に、ＮＬデータから赤外成分（ＩＲデータ）を抽出し、更に、該抽出したＩＲデータと、Ｒ’、Ｇ’及びＢ’データとに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
【０１２０】
ここで、ピクセルデータの生成方法としては、上記実施の形態における（１）及び（２）の方法をそのまま適用してもよいが、ＩＲデータと、Ｇデータ又はＧ’データ（Ｇ'ＩＲデータ）との位置関係が異なるので、適宜合わせる必要がある。
また、例えば、斜めに連続するＲ、Ｇ、Ｂデータと斜めに連続するＩＲデータとを用いてピクセルデータを生成することで、縦横の解像度のズレによる違いを吸収（軽減）することができる画像データを生成することが可能となる。
【０１２１】
〔変形例２〕
次に、上記実施の形態の変形例２を説明する。図７は、変形例２に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
上記実施の形態及び変形例１においては、上記４種類のフィルタ部（Ｒ、Ｇ、Ｂ、ＬＰ）を１組とした、縦２画素×横２画素の画素領域に対応したフィルタブロックを配列することによってＣＦアレイが構成されている。つまり、各フィルタブロックには必ず１つの入射光通過部が含まれている。これに対して、本変形例２に係る撮像装置のＣＦアレイは、複数のフィルタブロックに対して、入射光通過部がそのフィルタブロック数よりも少数となる構成となっている。また、この配列内容に応じて、画像合成部７３における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
【０１２２】
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
ここで、図７は、本変形例のＣＦアレイ１７の構成を示す図である。
ＣＦアレイ１７は、図７に示すように、上記変形例１と同様の第１のフィルタブロックと、第１のフィルタブロックの入射光通過部をＧＩ光透過フィルタ部に代えた第３のフィルタブロック（従来のベイヤー配列）とがこの順番で水平方向に互い違いに連続して配列された構成の複数の第３のブロックライン（ＢＬ３）と、第３のフィルタブロックが水平方向に連続して配列された構成の複数の第４のブロックライン（ＢＬ４）とを含んで構成される。
【０１２３】
更に、ＣＦアレイ１７は、第１のフィルタブロックにおけるＧＩ光透過フィルタ部と入射光通過部との位置を入れ替えた構成の第４のフィルタブロックと第３のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の複数の第５のブロックライン（ＢＬ５）と、第３のフィルタブロックと第１のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の複数の第６のブロックライン（ＢＬ６）とを含んで構成される。
【０１２４】
具体的に、ＣＦアレイ１７は、上記ＢＬ３〜ＢＬ６が垂直方向にＢＬ３→ＢＬ４→ＢＬ５→ＢＬ６→ＢＬ３→ＢＬ４→ＢＬ５→ＢＬ６→・・・の順に連続して配列された構成となる。
上記構成によって、ＣＦアレイ１７は、フィルタブロックの総数（厳密には、Ｒ、Ｇ、Ｂの組数）に対してそれより少数の入射光通過部が配列されることになる。
【０１２５】
信号処理部１５は、上記構成のＣＦアレイ１７を通過した光に応じた４種類の画素データ（Ｒ’、Ｇ’、Ｂ’及びＮＬデータ）に基づき、上記実施の形態と同様に、ＮＬデータから赤外成分（ＩＲデータ）を抽出し、更に、該抽出したＩＲデータと、Ｒ’、Ｇ’及びＢ’データとに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
これにより、センサセルアレイ５２における入射光通過部に対応する各画素のＩＲデータが略均一であれば、色の情報を含んだ画素データの数がＣＦアレイ１３や１６と比較して多くなるので、可視光領域画像データの画像の画質を比較的向上することができる。
【０１２６】
ここで、ピクセルデータの生成方法としては、上記実施の形態における（１）及び（２）の方法をそのまま適用してもよいが、ＩＲデータと、Ｇデータ又はＧ’データ（Ｇ'ＩＲデータ）との位置関係が異なるので、適宜合わせる必要がある。また、ＩＲデータを含まないフィルタブロックについては、従来と同様のやり方で合成を行う。
上記変形例２において、ＣＦアレイ１７は、形態５、７、１０及び１２のいずれか１に記載のカラーフィルタアレイに対応する。
【０１２７】
〔変形例３〕
次に、上記実施の形態の変形例３を説明する。図８は、変形例３に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
上記実施の形態及び変形例１においては、各フィルタブロックには必ず１つの入射光通過部が含まれているが、これに対して、本変形例３に係る撮像装置のカラーフィルタアレイは、１つのフィルタブロックに対して、２つ以上の入射光通過部が隣接して配列された構成となっている。また、この配列内容に応じて、画像合成部７３における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
【０１２８】
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
ここで、図８（ａ）及び（ｂ）は、本変形例のＣＦアレイ１８及び１９の構成を示す図である。
ＣＦアレイ１８は、図８（ａ）に示すように、上記変形例２のＢＬ４と、入射光通過部が水平方向に連続して配列された構成の複数のＬＰフィルタライン（ＬＰＦＬ）とを含んで構成される。
【０１２９】
具体的に、ＣＦアレイ１８は、ＢＬ４とＬＰＦＬとが垂直方向に、ＢＬ４→ＬＰＦＬ→ＢＬ４→ＬＰＦＬ→ＢＬ４→ＬＰＦＬ→ＢＬ４→ＬＰＦＬ→ＢＬ４→ＬＰＦＬ→ＢＬ４→ＬＰＦＬ→・・・の順に連続して配列された構成となる。
つまり、各第３のフィルタブロック毎に２つの入射光通過部が隣接する構成となる。
【０１３０】
次に、ＣＦアレイ１９は、図８（ｂ）に示すように、上記変形例２の第３のフィルタブロックと、縦２画素×横１画素のサイズの画素領域に対応する入射光通過部のフィルタブロック（以下、第５のフィルタブロックと称す）とがこの順番で水平方向に互い違いに連続して配列された構成の複数の第７のブロックライン（ＢＬ７）と、複数のＬＰＦＬとを含んで構成される。
【０１３１】
具体的に、ＣＦアレイ１９は、ＢＬ７とＬＰＦＬとが垂直方向に、ＢＬ７→ＬＰＦＬ→ＢＬ７→ＬＰＦＬ→ＢＬ７→ＬＰＦＬ→ＢＬ７→ＬＰＦＬ→ＢＬ７→ＬＰＦＬ→ＢＬ７→ＬＰＦＬ→・・・の順に連続して配列された構成となる。
つまり、各第３のフィルタブロック毎に５つの入射光通過部が隣接する構成となる。
信号処理部１５は、上記構成のＣＦアレイ１８又は１９を通過した光に応じた４種類の画素データ（Ｒ’、Ｇ’、Ｂ’及びＮＬデータ）に基づき、上記実施の形態と同様に、ＮＬデータから赤外成分（ＩＲデータ）を抽出し、更に、該抽出したＩＲデータと、Ｒ’、Ｇ’及びＢ’データとに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
【０１３２】
但し、色信号処理部７２は、各フィルタブロックに対して２つ又は５つのＩＲデータが対応しているので、例えば、Ｒ’、Ｇ’及びＢ’データの示す画素値から、２つ又は５つのＩＲデータの示す画素値の平均値を減算することで、Ｒ、Ｇ、及びＢデータを求める。
更に、画像合成部７３において、ピクセルデータを生成する方法として、可視光領域画像データの場合は、従来のベイヤー配列のカラーフィルタアレイに用いられる方法を適用することができる。
【０１３３】
また、赤外領域画像データのピクセルデータを生成する方法としては、ＣＦアレイ１８に対しては、例えば、第３のフィルタブロックと隣接する２つの入射光通過部とからなる縦３画素×横２画素の６つのサブピクセルを合成してピクセルデータを生成する方法がある。
また、ＣＦアレイ１９に対しては、例えば、第３のフィルタブロックと隣接する５つの入射光通過部とからなる縦３画素×横３画素の９つのサブピクセルを合成してピクセルデータを生成する方法がある。
【０１３４】
以上より、本変形例のＣＦアレイ１８及び１９は、上記実施の形態、変形例１及び変形例２のＣＦアレイよりも、各フィルタブロックの近傍にある入射光通過部の数が多く構成されているので、その分、ＩＲデータを多く得ることができる。これにより、各フィルタブロックのＲ’、Ｇ’、Ｂ’データに対して、隣接位置にある複数の画素のＩＲデータを用いて、赤外成分を除去することができるので、より正確に赤外成分を除去した画素データを得ることができる。従って、可視光領域画像データの画像の画質を比較的向上することができる。
【０１３５】
上記変形例３において、ＣＦアレイ１８、１９は、形態６、７、１１及び１２のいずれか１に記載のカラーフィルタアレイに対応する。
なお、上記実施の形態及び各変形例においては、図２に示すＣＦアレイ１３及び図６〜図８に示すＣＦアレイ１６〜１９など、入射光から光の３原色のいずれかを分離するＣＦ部を含む構成のＣＦアレイについて説明したが、ＣＦアレイの構成はこれらに限らず、例えば、図９に示すように、Ｍｇ（マゼンタ）、Ｃｙ（シアン）、Ｙｅ（イエロ）の補色系の光を分離するＣＦ部を含む構成など他の構成としてもよい。
【０１３６】
この場合に、図９に示すＣＦアレイは、形態８又は１３に記載のカラーフィルタアレイに対応する。
また、上記実施の形態及び各変形例においては、ＣＦアレイを、図２、図６〜図８の構成としたが、この構成に限らず、各フィルタ部の配列内容を別の配列内容とした構成としてもよい。
【図面の簡単な説明】
【０１３７】
【図１】本発明に係る撮像装置１００の概略構成を示すブロック図である。
【図２】（ａ）は、本実施の形態のＣＦアレイ１３の構成を示す図であり、（ｂ）は、従来のベイヤー配列のＣＦアレイの構成を示す図である。
【図３】イメージセンサ部１４の内部構成を示すブロック図である。
【図４】信号処理部１５の内部構成を示すブロック図である。
【図５】（ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。
【図６】本実施の形態の変形例１のＣＦアレイ１６の構成を示す図である。
【図７】本実施の形態の変形例２のＣＦアレイ１７の構成を示す図である。
【図８】（ａ）は、本実施の形態の変形例３のＣＦアレイ１８の構成を示す図であり、（ｂ）は、変形例３のＣＦアレイ１９の構成を示す図である。
【図９】補色系のＣＦアレイの一例を示す図である。
【符号の説明】
【０１３８】
１００…撮像装置、１０…レンズ、１２…マイクロレンズ、１３，１６〜１９…カラーフィルタアレイ、１４…イメージセンサ部、１５…信号処理部、５０…制御回路、５１…駆動回路、５２…センサセルアレイ、５３…画素信号読出回路、７０…制御部、７１…赤外成分抽出部、７２…色信号処理部、７３…画像合成部、７４…フレームメモリ、７５…画像データ出力部
【図１】
2009232352.tif 000003
【図２】
2009232352.tif 000004
【図３】
2009232352.tif 000005
【図４】
2009232352.tif 000006
【図５】
2009232352.tif 000007
【図６】
2009232352.tif 000008
【図７】
2009232352.tif 000009
【図８】
2009232352.tif 000010
【図９】
2009232352.tif 000011