(57)【要約】【課題】赤外領域の画像と可視光領域の画像とを１つの撮像素子において撮像するのに好適な撮像装置及びカラーフィルタアレイを提供する。【解決手段】  撮像装置１００を、受光した光から所定のＲ，Ｇ，Ｂのうち１種類の色要素に対応する波長の光及び赤外光を分離して該分離した光を各画素に入射するカラーフィルタ部と、赤外光のみを分離して該分離した赤外光を各画素に入射するＩＲ光透過フィルタ部とから構成されるカラーフィルタアレイ１３と、イメージセンサ部１４と、イメージセンサ部１４から出力された赤外成分と色成分を含む３種類の画素データと赤外成分のみを含む画素データとに基づき可視光領域画像データ及び赤外領域画像データを生成する信号処理部１５とを含んだ構成とした。【選択図】図１
2009232351.tif 000002
【特許請求の範囲】
【請求項１】
受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部を備えた撮像素子を有する撮像装置であって、
前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、入射光から赤外線に対応する波長領域の光を分離して該分離した光を透過するＩＲ透過フィルタ部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列した構成のカラーフィルタアレイと、
前記イメージセンサ部を構成する前記各画素の蓄積電荷を空にする処理であるリセット処理を行うタイミングと、前記リセット処理後の前記各画素から蓄積電荷量に応じたレベルの電気信号である画素信号を読み出すタイミングとを設定するタイミング設定手段と、
前記タイミング設定手段で設定された前記リセット処理のタイミングに基づき、前記イメージセンサ部を構成する前記各画素をリセットするリセット処理手段と、
前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記イメージセンサ部を構成する前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、
前記画素信号読出手段で読み出された、前記カラーフィルタ部を透過した光に対応する画素信号である色画素信号と、前記ＩＲ透過フィルタ部を透過した光に対応する画素信号である赤外画素信号とに基づき画像データを生成する画像データ生成手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記画像データ生成手段は、前記カラーフィルタ部に対応する各画素の前記各色要素に対応する前記色画素信号と、前記カラーフィルタ部に対応する各画素の周辺の前記ＩＲ透過フィルタ部に対応する画素の前記赤外画素信号とに基づき前記画像データを生成することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像データ生成手段は、赤外領域に対応する画像データを生成し、前記各色要素に対応する色画素信号の示す画素値から、前記赤外画素信号の示す画素値を減算して、赤外線成分を除去した各色要素に対応する画素値を算出し、該算出した画素値に基づき画像データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像データ生成手段は、前記複数種類の色要素に対応する前記色画素信号の示す画素値と、前記赤外画素信号の示す画素値とを合成して、前記画像データを生成することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記ＩＲ透過フィルタ部が隣接して配列された構成を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項６】
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記ＩＲ透過フィルタ部が隣接して配列された構成を有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【請求項７】
前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項８】
前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、
前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有することを特徴とする請求項１乃至請求項６のいずれか１項に記載の撮像装置。
【請求項９】
受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部の各前記画素に入射する入射光の色分離に用いられるカラーフィルタアレイであって、
前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、入射光から赤外線に対応する波長領域の光を分離して該分離した光を透過するＩＲ透過フィルタ部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列して構成したことを特徴とするカラーフィルタアレイ。
【請求項１０】
前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記ＩＲ透過フィルタ部が隣接して配列された構成を有することを特徴とする請求項９に記載のカラーフィルタアレイ。
【請求項１１】
前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記ＩＲ透過フィルタ部が隣接して配列された構成を有することを特徴とする請求項９に記載のカラーフィルタアレイ。
【請求項１２】
前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、
前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有することを特徴とする請求項９乃至請求項１１のいずれか１項に記載のカラーフィルタアレイ。
【請求項１３】
前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、
前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有することを特徴とする請求項９乃至請求項１１のいずれか１項に記載のカラーフィルタアレイ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーフィルタアレイを用いて色分離を行う撮像装置に係り、特に、可視光及び赤外線を選択的に透過するカラーフィルタ部と、赤外線を選択的に透過するＩＲ透過フィルタ部とを含む構成のカラーフィルタアレイを備えた撮像装置と、該カラーフィルタアレイとに関する。
【背景技術】
【０００２】
従来、半導体素子を用いたイメージセンサではフォトダイオード(以下、ＰＤと称す)で光を感知し、光量に応じた電荷を発生させ、光電変換により画像(映像)を電気的に画素信号に変換して取り扱っている。ＰＤで感知できる光の波長は可視光の領域に留まらず、可視領域を超えた範囲の光まで感知してしまい、人間が見えている物と異なった画像が出来上がってしまう問題がある。可視光領域（波長：380[nm]〜780[nm]）の範囲内の光のみを感知させる(可視光の範囲外の光は感知させない)ために、赤外線カットフィルタ(以下、ＩＲカットフィルタと称す)を設けて人間の目に合わせた可視光のみを感知させる事が多い。また、カラー画像を取得するためにはＲＧＢ、または、ＣＭＹのカラーフィルタ(以下、ＣＦと称す)を用い、色要素毎に光を分離してからＰＤに感知させている。カラー画像を取得するためには、光をＩＲカットフィルタとＣＦとで二重にフィルタを通過させるため、実際の光よりも光の感度が低下する事になってしまう。また、１つのＰＤで赤外光の感知、およびカットをさせる場合には、ＩＲカットフィルタを機械的に動作させてその有無の状態を作る必要があった。
【０００３】
また、従来のデジタルカメラに代表されるイメージセンサでは、ＰＤに人間の目に合わせた可視光のみを感知させるために、ＩＲカットフィルタを設けて赤外領域の光をカットしている。また、カラー画像を取得するためにはＰＤにＣＦにおいて分離した光を感知させてカラーの画素信号を取得する事になる。
カラー画像、モノクロ画像を問わず、人間の目に合わせた画像の取得にはＩＲカットフィルタを通過させた光をＰＤに感知させることになり、また、カラー画像の取得にはＣＦも通過させた光をＰＤに感知させることになる。この場合、ＩＲカットフィルタとＣＦとで二重にフィルタを通過させているため、実際の光よりも光の感度が低下(減衰)した光をＰＤで感知している事になり、受光量に無駄がある。
【０００４】
また、写真、ムービー、監視用等、一般に用いる画像(映像)であれば人間の目に合わせた可視光のみを感知できれば十分であるが、夜間等の暗時環境下での撮像(モニタ)、特殊用途で赤外光と可視光の双方を撮像する場合にあっては、ＩＲカットフィルタの存在は非常に不都合な物となる。
実際に可視光領域と赤外光領域の双方の画像を撮像する場合には、例えば、特許文献１に記載の可視カメラ・赤外線カメラ併用型異常検知装置、特許文献２に記載の熱等の自動検出装置及びその使用方法のように、可視光検出用と赤外光検出用のカメラ２台を用いてそれぞれの波長の領域毎に撮像する方法がある。
【０００５】
また、明時、暗時で切り替えて１台のカメラで可視光領域と赤外光領域の双方の画像を撮像する方法として、例えば、特許文献３に記載の赤外線カメラがある。かかる赤外線カメラにおいては、撮像環境に応じて、光を赤外線透過フィルタ(以下、ＩＲ透過フィルタと称す)を透過させるか否かを機械的に切り替えている。
【特許文献１】特開平７−２４５７５７号公報
【特許文献２】特開平８−９６２７８号公報
【特許文献３】特開２００２−７７６９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献１及び特許文献２の従来技術においては、可視光領域の撮影用と赤外領域の撮影用にそれぞれカメラを１台ずつ用意する必要があり、装置の大型化やコストの面で問題があった。
また、上記特許文献３の従来技術においては、撮像環境に応じて、ＩＲカットフィルタの有無を機械的に切り替える必要があり、この機構を設けることによるコストのアップや装置の大型化などの問題が生じる恐れがあった。
【０００７】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、赤外領域の画像と可視光領域の画像とを１つの撮像素子において撮像するのに好適な撮像装置及びカラーフィルタアレイを提供することを目的とする。
【課題を解決するための手段】
【０００８】
〔形態１〕  上記目的を達成するために、形態１の撮像装置は、受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部を備えた撮像素子を有する撮像装置であって、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、入射光から赤外線に対応する波長領域の光を分離して該分離した光を透過するＩＲ透過フィルタ部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列した構成のカラーフィルタアレイと、前記イメージセンサ部を構成する前記各画素の蓄積電荷を空にする処理であるリセット処理を行うタイミングと、前記リセット処理後の前記各画素から蓄積電荷量に応じたレベルの電気信号である画素信号を読み出すタイミングとを設定するタイミング設定手段と、前記タイミング設定手段で設定された前記リセット処理のタイミングに基づき、前記イメージセンサ部を構成する前記各画素をリセットするリセット処理手段と、前記タイミング設定手段で設定された前記読み出しのタイミングに基づき、前記イメージセンサ部を構成する前記各画素から蓄積電荷量に応じた電気信号である画素信号を読み出す画素信号読出手段と、前記画素信号読出手段で読み出された、前記カラーフィルタ部を透過した光に対応する画素信号である色画素信号と、前記ＩＲ透過フィルタ部を透過した光に対応する画素信号である赤外画素信号とに基づき画像データを生成する画像データ生成手段と、を備える。
【０００９】
このような構成であれば、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタアレイにおけるカラーフィルタ部において、複数種類の色要素のうちいずれか１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光のみがカラーフィルタ部を透過して対応する各画素に入射される。
更に、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタアレイにおけるＩＲ透過フィルタ部において、赤外線の波長領域の光が分離され、該分離された光のみが対応する各画素に入射される。
【００１０】
そして、タイミング設定手段によって、各画素のリセットを行うタイミングと、リセット後の各画素から画素信号を読み出すタイミングとが設定されると、設定されたリセットのタイミングにおいて、リセット処理手段によって各画素のリセット処理が行われる。リセットされた画素は、リセットのタイミングを露光開始タイミングとして露光を開始する。
【００１１】
具体的に、カラーフィルタ部を介して、対応する各画素に入射された１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とが各画素において光電変換され、該変換によって得られた電荷が各画素に蓄積される。更に、ＩＲ透過フィルタ部を介して、対応する各画素に入射された赤外線に対応する波長領域の光が各画素において光電変換され、該変換によって得られた電荷が各画素に蓄積される。
【００１２】
一方、設定された読み出しタイミングにおいて、画素信号読出手段によって、各画素から蓄積電荷量に応じた画素信号が読み出される。
各画素から画素信号が読み出されると、画像データ生成手段において、カラーフィルタ部を透過した光に対応する色画素信号と、ＩＲ透過フィルタ部を透過した光に対応する赤外画素信号とに基づき、画像データが生成される。
【００１３】
従って、画像データ生成手段においては、複数の色要素のうちいずれか１つの色要素に対応する波長領域の光と赤外線に対応する波長領域の光との双方の情報を有した色画素信号と、赤外線に対応する波長領域の光の情報を有した赤外画素信号とを用いて、画像データを生成することができる。つまり、色画素信号及び赤外画素信号から赤外線の波長領域の光の情報を含んだ画像データ（以下、赤外領域の画像データという）を生成することができる。更に、色画素信号と赤外画素信号との差分をとることで、色画素信号から赤外線の情報を除外することができるので、可視光領域の光の情報からなる通常のカラー画像データ（以下、可視光領域の画像データという）も生成することができる。
【００１４】
これにより、１つの撮像素子によって得られる画素信号によって、赤外領域の画像データと、可視光領域の画像データとの双方の画像データを生成することができるという効果が得られる。
更に、ＩＲカットフィルタを不要にできるので、ＩＲカットフィルタにおける入射光の減衰を無くすことができるという効果が得られると共に、その分のコストや配置スペースを低減することができるという効果も得られる。
【００１５】
ここで、所定の色空間は、Ｒ、Ｇ、Ｂの３つの軸から構成されるＲＧＢ色空間、Ｃ（Ｃｙａｎ）、Ｍ（Ｍａｇｅｎｔａ）、Ｙ（Ｙｅｌｌｏｗ）、Ｋ（ＢＬＡＣＫ）の４つの軸から構成されるＣＭＹＫ色空間、Ｃ、Ｍ、Ｙの３つの軸から構成されるＣＭＹ色空間、Ｍ、Ｇ、Ｃ、Ｙの４つの軸から構成されるＭＧＣＹ色空間などが該当する。以下のカラーフィルタアレイに関する形態において同じである。
【００１６】
また、カラーフィルタ部は、入射光からＩＲカットフィルタによって赤外線の波長領域の光が除去された光から、各色要素に対応する波長領域の光を選択的に分離し、該分離した各色要素の光を透過する従来のカラーフィルタのフィルタ部などが該当する。このようなフィルタ部を用いると、入射光からは、各フィルタ部に対応する１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光が対応する画素に入射される。つまり、カラーフィルタ部については、既存品をそのまま適用することができる。
【００１７】
なお、カラーフィルタ部は、ＩＲ透過フィルタ部において透過する波長領域の光と、各１種類の色要素に対応する波長領域の光のみが透過するものであることが望ましい。従って、ＩＲ透過フィルタ部も、可視光の波長領域以外の波長領域の光のみを透過するものなど、カラーフィルタ部において透過されなかった、可視光の波長領域（更に望ましくは対応する１種類の色要素）以外の波長領域の光を透過するものであることが望ましい。以下のカラーフィルタアレイに関する形態において同じである。
【００１８】
〔形態２〕  更に、形態２の撮像装置は、形態１に記載の撮像装置において、前記画像データ生成手段は、前記カラーフィルタ部に対応する各画素の前記各色要素に対応する前記色画素信号と、前記カラーフィルタ部に対応する各画素の周辺の前記ＩＲ透過フィルタ部に対応する画素の前記赤外画素信号とに基づき前記画像データを生成する。
このような構成であれば、画像データ生成手段において、カラーフィルタ部に対応する画素の色画素信号と、該画素の周辺の画素に対応する赤外画素信号とに基づき画像データを生成することができる。
【００１９】
従って、受光条件の近い画素に対応する色画素信号及び赤外画素信号とから画像データを生成することができるので、イメージセンサ部におけるカラーフィルタ部及びＩＲ透過フィルタ部の配設位置の違いによる画質への影響を低減することができるという効果が得られる。
【００２０】
〔形態３〕  更に、形態３の撮像装置は、形態２に記載の撮像装置において、前記画像データ生成手段は、前記各色要素に対応する色画素信号の示す画素値から、前記赤外画素信号の示す画素値を減算して、赤外線成分を除去した各色要素に対応する画素値を算出し、該算出した画素値に基づき前記画像データを生成する。
このような構成であれば、画像データ生成手段において、赤外線の波長領域の光の成分（以下、赤外成分という）を含む画素信号から、可視光領域の画像データを生成することができるという効果が得られる。
【００２１】
〔形態４〕  更に、形態４の撮像装置は、形態２に記載の撮像装置において、前記画像データ生成手段は、前記複数種類の色要素に対応する前記色画素信号の示す画素値と、前記赤外画素信号の示す画素値とを合成して、前記画像データを生成する。
このような構成であれば、画像データ生成手段において、赤外成分の情報を含んだカラー画像データを生成することができるので、夜間の撮像時などの、暗時の撮像画像の画質改善などの効果が得られる。
【００２２】
〔形態５〕  更に、形態５の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記ＩＲ透過フィルタ部が隣接して配列された構成を有する。
【００２３】
このような構成であれば、カラーフィルタアレイは、複数種類の色要素にそれぞれ対応するカラーフィルタ部から構成される組の１組又は複数組に対して、該組数以下のＩＲ透過フィルタ部が隣接して配列された構成となる。これにより、カラーフィルタアレイは、ＩＲ透過フィルタ部の数よりもカラーフィルタ部の組数の方が多い構成となるので、色の情報（可視光成分）を含む画素信号（色画素信号）を赤外成分のみのもの（赤外画素信号）よりも多く得ることができる。
【００２４】
従って、ＩＲカットフィルタを除去した構成にできると共に、特にイメージセンサ部に入射される光の赤外領域の波長成分が均一の場合に、従来との構成の違いによる可視光領域の画像の画質低下を抑えつつ、可視光領域及び赤外領域の双方の画像データを得ることができるという効果が得られる。
【００２５】
〔形態６〕  更に、形態６の撮像装置は、形態１乃至４のいずれか１に記載の撮像装置において、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記ＩＲ透過フィルタ部が隣接して配列された構成を有する。
【００２６】
このような構成であれば、カラーフィルタアレイは、複数種類の色要素にそれぞれ対応するカラーフィルタ部から構成される組の各１組に対して、ＩＲ透過フィルタ部が２つ以上隣接して配列された構成となる。これにより、画像データ生成手段において、各組の色画素信号の示す画素値から、２つ以上の赤外画素信号の示す画素値の平均を減算して、各色要素の画素値から構成されるカラー画像データを得ることができる。また、カラーフィルタアレイを、ＩＲ透過フィルタ部を比較的多く含む構成とすることで、色画素信号からより正確に赤外成分を除去することができる。従って、ＩＲカットフィルタを除去した構成にできると共に、色画素信号からより高精度に赤外成分を除去することができるという効果が得られる。
【００２７】
〔形態７〕  更に、形態７の撮像装置は、形態１乃至６のいずれか１に記載の撮像装置において、前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有する。
【００２８】
このような構成であれば、カラーフィルタアレイは、例えば、赤色（Ｒ）と緑色（Ｇ）のカラーフィルタ部ＲＦとＧＦとが互い違いに水平方向に並ぶフィルタラインＲＧＦＬと、ＩＲ透過フィルタ部（ＩＲＦ）と青色（Ｂ）のカラーフィルタ部ＢＦとが互い違いに水平方向に並ぶフィルタラインＩＲＢＦＬとが、ＲＧＦＬ→ＩＲＢＦＬ→ＲＧＦＬ→ＩＲＢＦＬ→・・・の順で垂直方向に配列（これを、ベイヤー配列という）された構成となる。なお、通常は、ＩＲ透過フィルタ部（ＩＲＦ）の代わりにＧＦが配列される。つまり、カラーフィルタアレイを、通常のベイヤー配列における２つのＧＦのうち一方をＩＲＦに置き換えた構成とすることができる。また、ベイヤー配列の構成となっていれば（市松模様状であれば）、この配列順に限らない。
【００２９】
これにより、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＲＦ、ＧＦ、ＢＦに対応する画素の近傍のＩＲＦに対応する画素の画素データを用いて、各ＲＦ、ＧＦ、ＢＦに対応する画素データから適切に赤外成分を除去することができる。更に、ベイヤー配列のカラーフィルタに対する従来のピクセルデータの生成手法をそのまま適用することができる。
【００３０】
また、ＩＲＦに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データを合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域画像データ）を生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号から赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００３１】
〔形態８〕  更に、形態８の撮像装置は、形態１乃至６のいずれか１に記載の撮像装置において、前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、前記カラーフィルタアレイは、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有する。
【００３２】
このような構成であれば、カラーフィルタアレイは、例えば、シアン色（Ｃｙ）とイエロ色（Ｙｅ）のカラーフィルタ部ＣｙＦとＹｅＦとが互い違いに水平方向に並ぶフィルタラインＣｙＹｅＦＬと、ＩＲ透過フィルタ部（ＩＲＦ）とマゼンタ色（Ｍｇ）のカラーフィルタ部ＭｇＦとが互い違いに水平方向に並ぶフィルタラインＩＲＭｇＦＬとが、ＣｙＹｅＦＬ→ＩＲＭｇＦＬ→ＣｙＹｅＦＬ→ＩＲＭｇＦＬ→・・・の順で垂直方向に配列（ベイヤー配列）された構成となる。なお、通常は、ＩＲ透過フィルタ部の代わりにＧのカラーフィルタ部（ＧＦ）が配列される。つまり、カラーフィルタアレイを、通常のベイヤー配列におけるＧＦをＩＲＦに置き換えた構成とすることができる。また、ベイヤー配列の構成となっていれば（市松模様状であれば）、この配列順に限らない。
【００３３】
これにより、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＣｙＦ、ＭｇＦ、ＹｅＦに対応する画素の近傍のＩＲＦに対応する画素の画素データを用いることで、各ＣｙＦ、ＭｇＦ、ＹｅＦに対応する画素データから適切に赤外成分の情報を除去することができる。更に、ベイヤー配列に対する従来のピクセルデータの生成手法をそのまま適用することができる。
【００３４】
また、ＩＲＦに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データを合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域画像データ）を生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号を、そのまま赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００３５】
〔形態９〕  一方、上記目的を達成するために、形態９のカラーフィルタアレイは、受光した光を電荷に変換して蓄積する光電変換素子を含んでなる複数の画素がマトリックス状に配列された構成のイメージセンサ部の各前記画素に入射する入射光の色分離に用いられるカラーフィルタアレイであって、前記画素の単位に、入射光から所定の色空間に対応する複数種類の色要素のうちいずれか１種類の色要素に対応する波長領域の光と赤外線に対応する波長領域の光とを分離して該分離した光を透過する各前記色要素に対応した複数種類のカラーフィルタ部と、前記画素の単位に、入射光から赤外線に対応する波長領域の光を分離して該分離した光を透過するＩＲ透過フィルタ部とを、前記イメージセンサ部を構成する前記複数の画素に対応させて所定の配列順に配列して構成した。
【００３６】
このような構成であれば、本形態のカラーフィルタアレイを、撮像素子のイメージセンサ部に対して適切に配設することで、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタ部において、複数種類の色要素のうちいずれか１種類の色要素の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光のみがカラーフィルタ部を透過して対応する各画素に入射される。
【００３７】
更に、イメージセンサ部に入射される光は、各画素に到達する前に、カラーフィルタアレイにおけるＩＲ透過フィルタ部において、赤外線の波長領域の光が分離され、該分離された光のみが対応する各画素に入射される。
従って、後段の画像処理において、複数の色要素のうちいずれか１つの色要素に対応する波長領域の光と赤外線に対応する波長領域の光との双方の情報を有した色画素信号と、赤外線に対応する波長領域の光の情報を有した赤外画素信号とを用いて、赤外領域の画像データと、可視光領域の画像データとの双方の画像データを生成することができる。
これにより、ＩＲカットフィルタを不要にできると共に、１つの撮像素子によって、赤外領域の画像データと可視光領域の画像データとの双方の画像データを生成可能な画素信号を得ることができる撮像装置を簡易に構成することができるという効果が得られる。
【００３８】
〔形態１０〕  更に、形態１０のカラーフィルタアレイは、形態９に記載のカラーフィルタアレイにおいて、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組以上の前記カラーフィルタ部に対して、該組数以下の前記ＩＲ透過フィルタ部が隣接して配列された構成を有する。
【００３９】
このような構成であれば、ＩＲ透過フィルタ部の数よりもカラーフィルタ部の組数の方が多い構成となるので、色画素信号を赤外画素信号よりも多く得ることができる。従って、本形態のカラーフィルタアレイを撮像装置に適用することで、ＩＲカットフィルタを除去した構成にできると共に、特にイメージセンサ部に入射される光の赤外領域の波長成分が均一の場合に、従来との構成の違いによる可視光領域の画像の画質低下を抑えつつ、可視光領域及び赤外領域の双方の画像データを得るの適した撮像装置を簡易に構成することができるという効果が得られる。
【００４０】
〔形態１１〕  更に、形態１１のカラーフィルタアレイは、形態９に記載のカラーフィルタアレイにおいて、前記イメージセンサ部を構成する前記複数の画素に対応させて、前記複数種類の色要素にそれぞれ対応する複数の前記カラーフィルタ部を一組として、該一組を単位に複数の前記カラーフィルタ部の組が配列されると共に、各前記一組の前記カラーフィルタ部に対して、２つ以上の前記ＩＲ透過フィルタ部が隣接して配列された構成を有する。
【００４１】
このような構成であれば、本形態のカラーフィルタアレイを撮像装置に適用することで、各組の色画素信号の示す画素値から、２つ以上の赤外画素信号の示す画素値の平均を減算して、各色要素の画素値から構成されるカラー画像データを得ることができる。また、カラーフィルタアレイを、ＩＲ透過フィルタ部を比較的多く含む構成とすることで、色画素信号からより正確に赤外成分を除去することができる。従って、ＩＲカットフィルタを除去した構成にできると共に、色画素信号からより高精度に赤外成分を除去することができる撮像装置を構成することができるという効果が得られる。
【００４２】
〔形態１２〕  更に、形態１２のカラーフィルタアレイは、形態９乃至１１のいずれか１に記載のカラーフィルタアレイにおいて、前記複数種類の色要素は、赤色、緑色及び青色の３種類の色要素であり、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記赤色、緑色及び青色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有する。
【００４３】
このような構成であれば、本形態のカラーフィルタアレイを適用した撮像装置は、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＲＦ、ＧＦ、ＢＦに対応する画素の近傍のＩＲＦに対応する画素の画素データを用いて、各ＲＦ、ＧＦ、ＢＦに対応する画素データから適切に赤外成分を除去することができる。ここで、ＲＦ、ＧＦ、ＢＦ、ＩＲＦは、上記形態７と同様である。
【００４４】
また、ＩＲＦに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データを合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域画像データ）を生成することができるので、暗闇での撮影などにおける暗時の画像の輝度（感度）を向上することができる。また、色画素信号から赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００４５】
従って、ＩＲカットフィルタを除去した構成で、１つの撮像素子によって、可視光領域及び赤外領域の双方の画像データを得るのに適した撮像装置を簡易に構成することができるという効果が得られる。
【００４６】
〔形態１３〕  更に、形態１３のカラーフィルタアレイは、形態９乃至１１のいずれか１に記載のカラーフィルタアレイにおいて、前記複数種類の色要素は、シアン色、マゼンタ色及びイエロ色の３種類の色要素であり、前記イメージセンサ部を構成する前記複数の画素に対応させて、複数の前記シアン色、マゼンタ色及びイエロ色にそれぞれ対応するカラーフィルタ部と、複数の前記ＩＲ透過フィルタ部とがベイヤー配列された構成を有する。
【００４７】
このような構成であれば、本形態のカラーフィルタアレイを適用した撮像装置は、カラー画像データを構成するピクセルデータを生成する際に、各ピクセルデータを求めるＣｙＦ、ＭｇＦ、ＹｅＦに対応する画素の近傍のＩＲＦに対応する画素の画素データを用いて、各ＣｙＦ、ＭｇＦ、ＹｅＦに対応する画素データから適切に赤外成分を除去することができる。ここで、ＣｙＦ、ＭｇＦ、ＹｅＦ、ＩＲＦは、上記形態８と同様である。
【００４８】
また、ＩＲＦに対応する画素のデータを赤外成分を除去するだけに用いるのではなく、該画素データを合成に用いてピクセルデータを生成することで、赤外成分を含む画像データ（赤外領域の画像データ）を生成することができる。また、色画素信号を、そのまま赤外成分を除去せずに合成に用いてピクセルデータを生成することで、赤外成分をより多く含む赤外領域画像データを生成することができる。
【００４９】
従って、ＩＲカットフィルタを除去した構成で、１つの撮像素子によって、可視光領域及び赤外領域の双方の画像データを得るのに適した撮像装置を簡易に構成することができるという効果が得られる。
【発明を実施するための最良の形態】
【００５０】
以下、本発明に係る撮像装置及びカラーフィルタアレイの実施の形態を図面に基づき説明する。図１〜図５は、本発明に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
まず、本発明に係る撮像装置１００の概略構成を図１に基づき説明する。図１は、本発明に係る撮像装置１００の概略構成を示すブロック図である。
【００５１】
撮像装置１００は、図１に示すように、被写体からの反射光を集光するレンズ１０と、レンズ１０を透過した光を各画素に集光するマイクロレンズ１２と、マイクロレンズ１２を透過した光から所定の１種類の色要素に対応する波長の光と赤外線の波長領域の光とを分離して該分離した光を対応する各画素に入射するカラーフィルタ部（以下、ＣＦ部と称す）と、マイクロレンズ１２を透過した光から赤外線の波長領域の光を分離して該分離した光を対応する各画素に入射するＩＲ透過フィルタ部とを含んで構成されるカラーフィルタアレイ（以下、ＣＦアレイと称す）１３と、各画素がフォトダイオード及びＣＭＯＳ素子から構成されるセンサセルアレイを有し、電子シャッタ方式によって露光時間を制御するイメージセンサ部１４と、イメージセンサ部１４から出力された画素信号データに基づき画像データを生成し、該生成した画像データを外部機器に出力する信号処理部１５とを含んで構成される。
【００５２】
レンズ１０は、目的の被写体の大きさ、撮像装置からの距離、明るさ、解像度およびセンサセルアレイのサイズなどに応じて、被写体の撮像に十分な光量の光を集光する機能を有したレンズである。例えば、被写体の大きさ、距離、明るさが一定の場合は単焦点レンズで構成し、被写体の距離や大きさが変化する場合はズーム・レンズで構成する。また、被写体の明るさが変化する場合は、撮像装置のビデオ信号幅が一定となるように絞りを動作させて入射光量を自動調整するオート・アイリス・レンズで構成しても良い。
マイクロレンズ１２は、レンズ１０を透過した光を、センサセルアレイの各センサセル（画素）を構成するフォトダイオードの受光部（開口部）へとそれぞれ導くものである。
【００５３】
次に、図２に基づき、ＣＦアレイ１３の構成を説明する。
ここで、図２（ａ）は、本実施の形態のＣＦアレイ１３の構成を示す図であり、（ｂ）は、従来のベイヤー配列のカラーフィルタアレイの構成を示す図である。
【００５４】
図２（ａ）において、Ｒ、Ｇ、Ｂは、光の３原色（赤色、緑色、青色）のいずれか１色の波長領域の光と赤外線の波長領域の光とを選択的に透過するＣＦ部に対応し、これらに付された下付の数字は、行番号及び列番号を示す。例えば、Ｒ01であれば、行番号１の第１列目の画素に対応するＲの波長領域の光と赤外線の波長領域の光とを透過するフィルタ部となる。更に、ＩＲは、赤外線の波長領域の光を選択的に透過するＩＲ透過フィルタ部に対応し、これらに付された下付の数字は、ＣＦ部と同様に行番号及び列番号を示す。
【００５５】
なお、本実施の形態においては、水平方向を行方向とし、垂直方向を列方向として、撮像装置１００は、水平方向に並ぶ複数の画素から構成されるラインの単位で処理を行うようになっている。
【００５６】
ＣＦアレイ１３は、マイクロレンズ１２を介して入射された光から、赤色に対応する波長領域の光（以下、Ｒ光と称す）、緑色に対応する波長領域の光（以下、Ｇ光と称す）及び青色に対応する波長領域の光（以下、Ｂ光と称す）のうち所定の１色に対応する波長領域の光と、赤外線に対応する波長領域の光（以下、ＩＲ光と称す）とを分離して、該分離した光をそれぞれ対応する画素に入射する複数のＣＦ部と、マイクロレンズ１２を介して入射された光から、ＩＲ光を分離して、該分離したＩＲ光をそれぞれ対応する画素に入射する複数のＩＲ光透過フィルタ部とから構成されている。
【００５７】
より具体的に、ＣＦアレイ１３は、図２（ａ）に示すように、入射光からＲ光及びＩＲ光を分離して、該分離したＲ光及びＩＲ光の混合光（以下、ＲＩ光と称す）を画素に入射する複数のＲＩ光透過フィルタ部（図２中のＲ）と入射光からＧ光及びＩＲ光を分離して、該分離したＧ光及びＩＲ光の混合光（以下、ＧＩ光と称す）を画素に入射する複数のＧＩ光透過フィルタ部（図２中のＧ）とがＲ→Ｇ→Ｒ→Ｇ→Ｒ→Ｇ→・・・の順で水平方向に連続した構成のフィルタラインＲＧＦＬを複数備えている。
【００５８】
更に、入射光からＩＲ光を分離して、該分離したＩＲ光を画素に入射するＩＲ光透過フィルタ部（図２中のＩＲ）と、入射光からＢ光及びＩＲ光を分離して、該分離したＢ光及びＩＲ光の混合光（以下、ＢＩ光と称す）を画素に入射する複数のＢＩ光透過フィルタ部（図２中のＢ）とがＩＲ→Ｂ→ＩＲ→Ｂ→ＩＲ→Ｂ→・・・の順で水平方向に連続した構成のフィルタラインＩＲＢＦＬを複数備えている。これら複数の、フィルタラインＲＧＦＬと、フィルタラインＩＲＢＦＬとは、図２に示すように、ＲＧＦＬ→ＩＲＢＦＬ→ＲＧＦＬ→ＩＲＢＦＬ→ＲＧＦＬ→・・・の順で垂直方向に連続して配列されている。つまり、複数のＲＩ光透過フィルタ部と、複数のＧＩ光透過フィルタ部と、複数のＢＩ光透過フィルタ部と、複数のＩＲ光透過フィルタ部とがベイヤー型に配列された構成となっている。
【００５９】
ここで、図２（ｂ）は、Ｒ、Ｇ、ＢのＣＦ部がベイヤー配列された構成の従来のカラーフィルタアレイを示しており、Ｒ、Ｇ、Ｂは、それぞれ可視光の波長領域の光から、赤色、緑色、青色の波長領域の光を選択的に透過するＣＦ部となる。これらに付された下付の数字は、上記ＣＦアレイ１３と同様に行番号及び列番号を示す。
従来のＣＦアレイは、その手前に配設されるＩＲカットフィルタにおいて、赤外線の波長領域の光が除去された光に対して、その光から各色の波長領域の光を選択的に透過することを前提に作られているため、本実施の形態のように、ＩＲカットフィルタを配設しない構成の撮像装置に適用すると、赤外成分を含む入射光がそのまま入射されることになるため、可視光領域における不要な波長領域の光は除去できても、それ以外の赤外線を含む波長領域の光までは除去することはできない。
【００６０】
従って、上記ＩＲ光透過フィルタ部が可視光の波長領域の光以外の波長領域の光を透過するフィルタ部である場合に、上記のＲＩ光透過フィルタ部と、ＧＩ光透過フィルタ部と、ＢＩ光透過フィルタ部とは、従来のＣＦアレイに用いられている各色に対応したフィルタ部をそのまま用いることができる。
また、従来のＣＦアレイは、本実施の形態のＣＦアレイ１３と比較して、ＩＲ光透過フィルタ部の代わりに、ＧＩ光透過フィルタ部が配設された構成を有している。逆にいうと、従来のカラーフィルタアレイにおける、対角に位置する２つのＧＩ光透過フィルタ部の一方（図２の例では、偶数行のＧＩ光透過フィルタ部）を、ＩＲ光透過フィルタ部に置き換えることで、本実施の形態のＣＦアレイ１３を構成することができる。
【００６１】
次に、図３に基づき、イメージセンサ部１４の内部構成を説明する。
ここで、図３は、イメージセンサ部１４の内部構成を示すブロック図である。
イメージセンサ部１４は、図３に示すように、制御回路５０と、駆動回路５１と、センサセルアレイ５２と、画素信号読出回路５３とを含んで構成される。
制御回路５０は、信号処理部１５から入力される同期信号及びシャッタ・コントロール信号に基づき各種制御信号を生成する。そして、この生成した制御信号を駆動回路５１及び画素信号読出回路５３にそれぞれ出力する。
【００６２】
具体的に、信号処理部１５からの同期信号（垂直同期信号、水平同期信号及びピクセルクロックなど）と、シャッタ・コントロール信号とに基づき、読み出しライン選択信号などの画素信号の読み出しに係る制御信号、リセットライン選択信号などの蓄積電荷のリセット（画素に蓄積された電荷を空にする動作）に係る制御信号、これら読み出しライン及びリセットラインを有効にするタイミングを制御するタイミングパルス信号、読み出し有効期間を示すData_Enable信号などを生成し、これら生成した制御信号を駆動回路５１及び画素信号読出回路５３に適宜選別して出力する。
【００６３】
駆動回路５１は、制御回路５０からの読み出しライン選択信号やリセットライン選択信号などの制御信号に基づき、イメージセンサ部１４における、読み出しライン選択信号又はリセットライン選択信号が示すアドレス値に対応したライン位置のセンサセル（画素）を有効（アクティブ）にする駆動パルス信号を生成し、該生成した駆動パルス信号及びリセットや読み出しなどの駆動内容に対応する駆動パルス信号（リセット線、読出線を有効にする信号）をセンサセルアレイ５２に出力する。
【００６４】
センサセルアレイ５２は、フォトダイオード及びＣＭＯＳ素子を用いて構成された複数のセンサセルを水平方向及び垂直方向に２次元マトリクス状に配列し、各水平方向のライン毎のセンサセルに対して、アドレス線、リセット線及び読出線が共通に接続され、前記３つの制御線を介して各種駆動パルス信号が各ラインを構成するセンサセルに送信される。そして、アドレス線及び読出線が有効になると、該読出線を介して蓄積電荷を画素信号読出回路５３に転送する構成となっている。一方、アドレス線及びリセット線が有効になると、リセット線を介して選択ラインの各画素に蓄積された電荷を空に（リセット）する。
【００６５】
画素信号読出回路５３は、不図示の、水平転送部と、ＡＧＣ（Auto Gain Control）回路と、Ａ／Ｄコンバータ（Analog-Digitalコンバータ）とを含んで構成され、水平転送部において、センサセルアレイの選択ラインの各画素から読み出される画素信号データをラインメモリ（不図示）に記憶する。次いで、ＡＧＣ回路において画素信号データのレベル調整を行ない、Ａ／Ｄコンバータにおいて、レベル調整後の画素信号データ（アナログデータ）をデジタルのデータ（以下、画素データと称す）に変換し、該変換して得られた画素データを信号処理部１５に出力する。
【００６６】
この出力される画素データには、上記ＣＦアレイ１３の構成によって、ＲＩ光透過フィルタ部を透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｒ’データと称す）と、ＧＩ光透過フィルタを透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｇ’データと称す）と、ＢＩ光透過フィルタを透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、Ｂ’データと称す）と、ＩＲ光透過フィルタを透過した光によって蓄積された蓄積電荷量に応じたレベルの画素データ（以下、ＩＲデータと称す）の４種類のデータが含まれる。
【００６７】
更に、本実施の形態において、画素信号読出回路５３は、制御回路５０によって、ライン単位にリセット直後の画素信号を読み出すように制御される。そして、リセット直後に読み出した画素信号のデータを専用のラインメモリに記憶し、設定された露光時間で同じラインから画素信号が読み出されると、該読み出された画素信号とリセット直後の画素信号との差分をとり、この差分の画素信号データをＡＧＣ回路に出力する。つまり、設定された露光時間に対応する画素信号からリセット直後の信号成分を除去することで、画素信号から固定パターンノイズ成分を除去する。
【００６８】
次に、図４に基づき、信号処理部１５の内部構成を説明する。
ここで、図４は、信号処理部１５の内部構成を示すブロック図である。
信号処理部１５は、図４に示すように、制御部７０と、色信号処理部７１と、画像合成部７２と、フレームメモリ７３と、画像データ出力部７４とを含んで構成される。
制御部７０は、不図示のシステムコントローラからのコマンドに基づき各種駆動信号を生成して、これを各構成部に伝送する。例えば、システムコントローラからのコマンドに基づき、色信号処理部７１に対して、可視光領域のカラー画像データ（以下、可視光領域画像データと称す）又は赤外領域を含むカラー画像データ（以下、赤外領域画像データと称す）の生成を指示する駆動信号を出力する。また、システムコントローラからのコマンドに基づき、画像データ出力部７４に画像データの出力を指示する駆動信号を出力する。
【００６９】
更に、制御部７０は、システムコントローラからのコマンドに基づき、同期信号（垂直同期信号、水平同期信号及びピクセルクロック）とシャッタ・コントロール信号とを生成し、同期信号を各構成部及びイメージセンサ部１４に伝送し、シャッタ・コントロール信号をイメージセンサ部１４に伝送する。具体的に、内部のクロック発振器（不図示）によって基準クロックを発生し、該基準クロックに基づき各種同期信号を生成し、イメージセンサ部１４からの画素データに基づき撮像環境に適した露光時間を算出し、該算出した露光時間の情報を含むシャッタ・コントロール信号を生成する。
【００７０】
色信号処理部７１は、制御部７０からの駆動信号が、可視光領域画像データを生成する第１の生成モードを示す駆動信号の場合は、イメージセンサ部１４から入力されるＲ’データと、Ｇ’データと、Ｂ’データと、ＩＲデータとに基づき、Ｒ’、Ｇ’及びＢ’データから、赤色、緑色及び青色の波長領域以外の波長領域（ここでは、他の波長領域を無視して、単に赤外領域という）の情報を除去して、赤外成分を含まない各色の画素データであるＲ、Ｇ及びＢデータを生成する。具体的に、下式（１）に基づき、Ｒ’、Ｇ’及びＢ’データの示す画素値（輝度値）から、ＩＲデータの示す画素値（輝度値）を減算する。
ＶＲ＝ＩＶＲ−ＩＲＶ
ＶＧ＝ＩＶＧ−ＩＲＶ
ＶＢ＝ＩＶＢ−ＩＲＶ                                            ・・・（１）
上式（１）において、ＶＲ、ＶＧ及びＶＢは、Ｒ、Ｇ及びＢデータの示す画素値であり、ＩＶＲ、ＩＶＧ及びＩＶＢは、Ｒ’、Ｇ’及びＢ’データの示す画素値であり、ＩＲＶは、ＩＲデータの示す画素値である。
【００７１】
そして、上式（１）に従い生成したＲ、Ｇ及びＢデータに対して、各種補正処理を施した後に、これらのデータとＩＲデータ（補正処理は行っても行わなくてもよい）とを画像合成部７２に出力する。
更に、制御部７０からの駆動信号が、赤外領域画像データを生成する第２の生成モードを示す駆動信号の場合は、上式（１）に従い、Ｒ、Ｇ及びＢデータを生成し、該Ｒ、Ｇ及びＢデータ、並びにＩＲデータに対して、各種補正処理を施した後に、これらのデータを画像合成部７２に出力する。
【００７２】
一方、制御部７０からの駆動信号が、赤外領域画像データを生成する第３の生成モードを示す駆動信号の場合は、Ｒ’、Ｇ’、Ｂ’データ及びＩＲデータに対して、各種補正処理を施した後に、これらのデータを画像合成部７２に出力する。
画像合成部７２は、制御部７０からの駆動信号が、可視光領域画像データを生成する第１の生成モードを示す駆動信号の場合は、色信号処理部７１から入力されるＲ、Ｇ及びＢデータを内部のラインメモリ（合成処理に必要なライン数（例えば、２ライン以上）を具備）に蓄積し、ラインメモリに蓄積されたＲ、Ｇ及びＢデータを合成してピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。そして、生成したピクセルデータを、フレームメモリ７３に記憶する。
【００７３】
更に、画像合成部７２は、制御部７０からの駆動信号が、第２の生成モードを示す駆動信号の場合は、色信号処理部７１から入力されるＲ、Ｇ、Ｂ及びＩＲデータを内部のラインメモリに蓄積し、ラインメモリに蓄積されたＲ、Ｇ、Ｂ及びＩＲデータを合成してピクセルデータ（Ｒ１’，Ｇ１’，Ｂ１’）を生成する。そして、生成したピクセルデータを、フレームメモリ７３の所定のアドレス領域に記憶する。ラインメモリへの画素データの蓄積は、制御部７０から同期信号に基づき、各画素のアドレスに対応させて記憶する。つまり、センサセルアレイにおける各画素の位置関係を保った状態で記憶する。
【００７４】
更に、画像合成部７２は、制御部７０からの駆動信号が、第３の生成モードを示す駆動信号の場合は、色信号処理部７１から入力されるＲ’、Ｇ’、Ｂ’及びＩＲデータを内部のラインメモリに蓄積し、ラインメモリに蓄積されたＲ’、Ｇ’、Ｂ’及びＩＲデータを合成してピクセルデータ（Ｒ２’，Ｇ２’，Ｂ２’）を生成する。そして、生成したピクセルデータを、フレームメモリ７３の所定のアドレス領域に記憶する。
【００７５】
フレームメモリ７３は、画像合成部７２から書き込み要求があると、その書き込み要求が示すアドレスの領域に入力されたピクセルデータを書き込み、画像データ出力部７４から読み出し要求があると、その要求が示すアドレスの領域に格納されたピクセルデータを読み出して、画像データ出力部７４に出力する。
画像データ出力部７４は、出力用同期信号（出力用ピクセルクロック、出力用水平同期信号、出力用垂直同期信号）に同期して、フレームメモリ７３から取得したピクセルデータから構成される、可視光領域画像データ又は赤外領域画像データを、外部の表示装置などに出力する。
【００７６】
具体的には、画像データ出力部７４は、まず、フレームメモリ７３に対して、画像データの読み込み命令を出力する。そして、フレームメモリ７３から画像データを取り込み、これを、同期を取りつつ外部装置に出力する。なお、画像データ出力部７４は、各種出力用同期信号に基づき、読み出すべき画素番号（アドレス）を計数し、それをフレームメモリ７３に出力する。
【００７７】
次に、図５に基づき、画像合成部７２におけるピクセルデータの生成処理について説明する。図５（ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。なお、図５は、説明の便宜上、センサセルアレイの一部分（左上の縦３画素×横３画素の９画素及び左上の縦４画素×横４画素の１６画素）を示した。
ＣＦアレイ１３のようにベイヤー型の配列構成を有したフィルタを用いた場合に、ピクセルデータの生成方法として、例えば、以下の２つの方法がある。
【００７８】
（１）センサセルアレイ５２の各画素をサブピクセルとして、複数のサブピクセルから１つのピクセルデータを生成する方法。
（２）注目する画素に対して足りない色成分のデータを周辺画素の画素データを用いて補間してピクセルデータを生成する方法。
まず、上記（１）の方法では、図５（ａ）に示すように、縦横に隣接する４つのサブピクセルを１ピクセルとして、これら４つのサブピクセルの画素データを用いて、ピクセルデータを生成する。
【００７９】
具体的に、図５（ａ）に示す例であれば、太枠で囲んだ４つのサブピクセルの画素データを用いて、下式（２）に従ってピクセルデータを生成する。
Ｒ＝Ｒij
Ｇ＝Ｇij+1
Ｂ＝Ｂi+1j+1                                                      ・・・（２）
上式（２）において、i＝0,1,2,3,・・・Ｎ（Ｎは、センサセルアレイの最大行数）、ｊ＝0,1,2,3,・・・Ｍ（Ｍは、センサセルアレイの最大列数）である。なお、一番端の列や一番端の行では、対応するサブピクセルが無い場合があるので、そのときは無いサブピクセルを無視したり、近傍の他のサブピクセルのデータを用いるなど特別な処理を行う。
【００８０】
センサセルアレイの各４つのサブピクセルの組に対して、上式（２）に従い、同様の位置関係となるデータを用いて各ピクセルデータを生成する。
なお、第１の生成モードの場合は、上式（２）において、算出に用いるデータがＲ、Ｇ及びＢデータとなり、第２の生成モードの場合は、上式（２）において、算出に用いるデータがＲ、Ｇ、Ｂ及びＩＲデータとなり、第３の生成モードの場合は、上式（２）において、算出に用いるデータがＲ’、Ｇ’及びＢ’データとなる。また、第２の生成モードにおいては、上式（２）で求めたピクセルデータに対して、更に、ＩＲデータを用いた合成処理（輝度補正）を行う。
【００８１】
次に、上記（２）の方法では、図５（ｂ）に示すように、Ｇ光に対応する画素を１ピクセルとして、その画素データと、その上下左右に隣接する４つの画素の画素データとを用いて色補間を行ない、ピクセルデータ（Ｒ，Ｇ，Ｂ）を生成する。具体的に、図５（ｂ）に示す例であれば、太枠で囲んだ５つの画素の画素データを用いて、下式（３）に従いピクセルデータを生成する。
Ｒ＝（Ｒi+1j＋Ｒi+1j+2）／２
Ｇ＝Ｇij+1
Ｂ＝（Ｂij+1＋Ｂi+2j+1）／２                                      ・・・（３）
上式（３）において、i＝0,1,2,3,・・・Ｎ（Ｎは、センサセルアレイの最大行数）、ｊ＝0,1,2,3,・・・Ｍ（Ｍは、センサセルアレイの最大列数）である。なお、一番端の列や一番端の行では、対応するサブピクセルが無い場合があるので、そのときは無いサブピクセルを無視したり、近傍の他のサブピクセルのデータを用いるなど特別な処理を行う。
【００８２】
各Ｇ光に対応する画素に対して、上式（３）に従い、同様の位置関係となるデータを用いて各ピクセルデータを生成する。
なお、第１の生成モードの場合は、上式（２）において、算出に用いるデータがＲ、Ｇ及びＢデータとなり、第２の生成モードの場合は、上式（２）において、算出に用いるデータがＲ、Ｇ、Ｂ及びＩＲデータとなり、第３の生成モードの場合は、上式（２）において、算出に用いるデータがＲ’、Ｇ’及びＢ’データとなる。また、第２の生成モードにおいては、上式（３）で求めたピクセルデータに対して、更に、ＩＲデータを用いた合成処理（輝度補正）を行う。
【００８３】
上記（１）、（２）の方法以外にも、Ｇ光に対応する画素を１ピクセルとしてそれを中心に周辺８画素を用い、周辺のＩＲデータも合成に用いる方法などもある。ＩＲデータが複数ある場合は、平均値を算出するなどして合成する。
本実施の形態では、上記（１）及び（２）のピクセルデータの生成方法のいずれにも対応しており、システムコントローラを介したユーザからの指示により、上記いずれかの方法を選択してピクセルデータを生成する。
【００８４】
次に、本実施の形態の撮像装置１００の実際の動作を説明する。
撮像装置１００は、まず、可視光領域画像データを生成する第１の生成モードで撮像を行ない、撮像して得られた可視光領域画像データに基づき、ＣＦアレイ１３におけるＲＧＦＬに対応する各ライン、ＩＲＢＦＬに対応する各ラインの露光時間を決定する。そして、この決定した露光時間の情報を含むシャッタ・コントロール信号と、基準クロックに基づき生成した同期信号（垂直同期信号、水平同期信号及びピクセルクロック）とをイメージセンサ部１４に出力する。
【００８５】
一方、イメージセンサ部１４は、制御回路５０において、信号処理部１５から供給された同期信号及びシャッタ・コントロール信号に基づき、リセットライン選択信号、読み出しライン選択信号、Data_Enable信号などの各種制御信号を生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号などを含む制御信号を駆動回路５１に出力し、Data_Enable信号、水平同期信号、垂直同期信号及びピクセルクロックなどを含む制御信号を画素信号読出回路５３に出力する。
【００８６】
これにより、センサセルアレイ５２は、リセットライン選択信号の示すアドレスのアドレス線が有効にされると共に、リセット線が有効にされると、有効になったアドレスのラインを構成する画素の蓄積電荷をリセットする。このリセット処理の行われたタイミングが、露光の開始タイミングとなる。
露光期間においては、レンズ１０を通過した入射光がマイクロレンズ１２を介して、ＣＦアレイ１３における各ＣＦ部及びＩＲ透過フィルタ部へと入射される。
【００８７】
ＲＩ光透過フィルタ部に入射された光は、赤色の波長領域の光と赤外線の波長領域の光とが分離され、該分離された光が透過して各ＲＩ光透過フィルタ部と対向する画素に入射される。従って、この画素においては、Ｒ光及び赤外光の混合光であるＲＩ光がフォトダイオードにおいて光電変換されて蓄積される。
同様に、ＧＩ光透過フィルタ部、ＢＩ光透過フィルタ部に入射された光は、緑色、青色の波長領域の光と赤外線の波長領域の光とがそれぞれ分離され、該分離された光が透過して各ＧＩ光透過フィルタ部、各ＢＩ光透過フィルタ部とそれぞれ対向する画素に入射される。従って、これらの画素においては、Ｇ光及び赤外光の混合光であるＧＩ光がフォトダイオードにおいて光電変換されて蓄積されるか、Ｂ光及び赤外光の混合光であるＢＩ光がフォトダイオードにおいて光電変換されて蓄積される。
【００８８】
更に、ＩＲ光透過フィルタ部に入射された光は、赤外線の波長領域の光が分離され、該分離された光が透過して各ＩＲ光透過フィルタ部と対向する画素に入射される。従って、この画素においては、赤外光がフォトダイオードにおいて光電変換されて蓄積される。
一方、画素信号読出回路５３は、センサセルアレイ５２において、読み出しライン選択信号の示すアドレスのアドレス線が有効にされると共に、読出線が有効にされると（設定された露光時間のタイミングで有効にされる）、水平転送部において、制御回路５０からの各種制御信号に基づき、一定のタイミングで、有効となった読出線を介して有効となったアドレス線のラインを構成する各画素から画素信号をラインメモリに読み出す。これにより、設定された露光時間において、各ラインの画素から画素信号が読み出される。
【００８９】
画素信号読出回路５３は、ＡＧＣ回路において、読み出した画素信号データ（差分の画素データ）の出力レベルを調整し、Ａ／Ｄコンバータにおいて、レベル調整後のアナログの画素信号データをデジタルの画素データへと変換する。そして、該変換して得られた画素データを、信号処理部１５に出力する。
これにより、信号処理部１５には、画素データとして、Ｒ’データ、Ｇ’データ、Ｂ’データ及びＩＲデータの４種類のデータが出力される。
【００９０】
信号処理部１５は、イメージセンサ部１４から各種画素データが入力されると、該入力された各種画素データに対して、色信号処理部７１において、制御部７０からの駆動信号により指定された画像データの生成モードに基づき色信号処理を行う。
具体的に、可視光領域画像データを生成する第１の生成モード及び赤外領域画像データを生成する第２の生成モードが指定された場合は、上式（１）に従い、Ｒ’データ、Ｇ’データ及びＢ’データから赤外成分を除去して、Ｒデータ、Ｇデータ及びＢデータを生成し、該生成したデータに対して各種補正処理を施してから画像合成部７２に出力する。このとき、イメージセンサ部１４から入力されるＩＲデータも各種補正処理を施してから画像合成部７２に出力する。
【００９１】
一方、赤外領域画像データを生成する第３の生成モードが指定された場合は、イメージセンサ部１４から入力される、Ｒ’データ、Ｇ’データ、Ｂ’データ及びＩＲデータに各種補正処理を施してから画像合成部７２に出力する。
画像合成部７２は、色信号処理部７１から色信号処理後の画素データが入力されると、該入力された画素データを、合成処理に必要な分が蓄積されるまで内部のラインメモリに蓄積する。必要な分が蓄積されると、指定された生成モードに基づき、上記（１）及び（２）のピクセルデータの生成方法のいずれかを用いて、ピクセルデータを生成する。
【００９２】
具体的に、可視光領域画像データを生成する第１の生成モードであれば、例えば、上記（２）の生成方法を用いてピクセルデータを生成する。そして、生成したピクセルデータをフレームメモリ７３に記憶し、メモリ上に可視光領域画像データを構成する。
可視光領域画像データは、ＩＲ光の成分を含まない可視光領域のデータのみで生成された画像データであり、通常の撮像において適した画像データとなる。
【００９３】
また、赤外領域画像データを生成する第２の生成モードであれば、例えば、上記（１）の生成方法を用いてピクセルデータを生成し、第３の生成モードであれば、例えば、上記（２）の生成方法を用いてピクセルデータを生成する。そして、生成したピクセルデータをフレームメモリ７３に記憶し、メモリ上に赤外領域画像データを構成する。ここで、第２の生成モードで生成される赤外領域画像データを第１の赤外領域画像データとし、第３の生成モードで生成される赤外領域画像データを第２の赤外領域画像データとする。
【００９４】
第１の赤外領域画像データは、Ｇ光に対応する画素データの代わりにＩＲ光に対応する画素データが合成に用いられているので、ＩＲ光の成分が加わることにより、暗闇や悪天候などの暗い場所での撮像時の画像における輝度レベルを向上し、画質を改善することができる。
また、第２の赤外領域画像データは、ＩＲ光の成分を全て含んだ画像データとなるので、熱源の感知や暗闇での撮像に特化したデータを得ることができる。
【００９５】
従って、周辺の明るさや用途に応じて、生成する画像データの種類をコントロールすることで、適切な撮像画像データを得ることができる。
更に、このようにして生成したピクセルデータから構成される各種画像データは、画像データ出力部７４を介して、各種外部機器に出力される。
以上、本実施の形態の撮像装置１００は、ＩＲカットフィルタを設けず、代わりに、Ｒ光及びＩＲ光を透過するＲＩ光透過フィルタ部、Ｇ光及びＩＲ光を透過するＧＩ光透過フィルタ部、Ｂ光及びＩＲ光を透過するＢＩ光透過フィルタ部及びＩＲ光を透過するＩＲ光透過フィルタ部をベイヤー配列した構成のＣＦアレイ１３を備えている。
【００９６】
更に、本実施の形態の撮像装置１００は、信号処理部１５において、ＣＦアレイ１３を透過した光を光電変換して得られる各１色の光とＩＲ光との成分を含む画素データと、ＩＲ光の成分のみを含む画素データとを用いて、可視光領域の成分のみを含む可視光領域画像データと、赤外成分を含む赤外領域画像データとを生成することが可能である。
従って、撮像装置１００からＩＲカットフィルタを除去できるので、その分の設置スペースの小型化及びコストの低減ができる。
【００９７】
更に、１つの撮像素子（センサセルアレイ）によって、可視光領域画像データと赤外領域画像データとを生成することが可能な画素データを得ることができるので、２つのカメラ（撮像素子）を用いて双方の画像データを得る従来技術と比較して、装置の小型化及びコストの低減ができる。
更に、信号処理部１５において、第１の赤外領域画像データと、第２の赤外領域画像データとの２種類の赤外領域画像データを生成することが可能である。
これにより、周囲環境や用途に応じて、赤外成分を一部含んだ画像データと、赤外成分を全て含んだ画像データとのいずれかを生成することができる。
【００９８】
上記実施の形態において、レンズ１０、マイクロレンズ１２、ＣＦアレイ１３及びイメージセンサ部１４は、形態１に記載の撮像素子に対応し、ＣＦアレイ１３は、形態１、５、７、９、１０及び１２のいずれか１に記載のカラーフィルタアレイに対応し、制御回路５０によるリセット処理の順番及びタイミングと、読み出し処理の順番及びタイミングを設定する処理は、形態１に記載のタイミング設定手段に対応し、駆動回路５１及びセンサセルアレイ５２による駆動パルス信号によってアドレス線及びリセット線を有効にしてセンサセルアレイ５２の各画素をライン単位にリセットする処理は、形態１に記載のリセット処理手段に対応し、駆動回路５１、センサセルアレイ５２及び画素信号読出回路５３による駆動パルス信号によってアドレス線及び読出線を有効にしてセンサセルアレイ５２の各画素からライン単位に画素信号を読み出す処理は、形態１に記載の画素信号読出手段に対応し、信号処理部１５は、形態１乃至４のいずれか１に記載の画像データ生成手段に対応する。
【００９９】
〔変形例１〕
次に、上記実施の形態の変形例１を説明する。図６は、変形例１に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
本変形例１に係る撮像装置は、そのＣＦアレイが、上記実施の形態のＣＦアレイ１３と比較して、レイヤー配列されるＧＩ光透過フィルタ部とＩＲ光透過フィルタ部の配列内容が一部異なる。また、この配列内容に応じて、画像合成部７２における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
【０１００】
ここで、図６は、本変形例のＣＦアレイ１６の構成を示す図である。
ＣＦアレイ１６は、図６に示すように、ＲＩ光透過フィルタ部と、ＧＩ光透過フィルタ部と、ＢＩ光透過フィルタ部と、ＩＲ光透過フィルタ部との４つのフィルタ部を１組とした、縦２画素×横２画素の画素領域に対応したフィルタブロックの単位で配列されている。
【０１０１】
具体的に、ＣＦアレイ１６は、上記実施の形態と同様の構成のフィルタブロック（以下、第１のフィルタブロックと称す）と、第１のフィルタブロックにおけるＩＲ光透過フィルタ部とＧＩ光透過フィルタ部との位置を入れ替えた構成の第２のフィルタブロックとを含んで構成される。そして、第２のフィルタブロックと第１のフィルタブロックとがこの順番に水平方向に互い違いに連続して配列された構成の第１のブロックライン（ＢＬ１）と、第１のフィルタブロックと第２のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の第２のブロックライン（ＢＬ２）とが、垂直方向にＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→ＢＬ１→ＢＬ２→・・・の順で連続して配列された構成となる。
【０１０２】
上記構成により、水平方向に隣り合うフィルタブロックのＩＲ光透過フィルタ部が斜めに連続して配置される。
信号処理部１５は、上記構成のＣＦアレイ１６を透過した光に応じた４種類の画素データに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
ここで、ピクセルデータの生成方法としては、上記実施の形態における（１）及び（２）の方法をそのまま適用してもよい。但し、ＩＲデータと、Ｇデータ又はＧ’データとの位置関係が異なるので、適宜合わせる必要がある。
【０１０３】
また、例えば、斜めに連続するＲ、Ｇ、Ｂデータと斜めに連続するＩＲデータとを用いてピクセルデータを生成することで、例えば、縦横の解像度のズレによる違いを吸収（軽減）することができる画像データを生成することが可能となる。
【０１０４】
〔変形例２〕
次に、上記実施の形態の変形例２を説明する。図７は、変形例２に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
上記実施の形態及び変形例１においては、４つのフィルタ部を１組とした、縦２画素×横２画素の画素領域に対応したフィルタブロックを配列することによってＣＦアレイが構成されている。つまり、各フィルタブロックには必ず１つのＩＲ光透過フィルタ部が含まれている。これに対して、本変形例２に係る撮像装置のＣＦアレイは、複数のフィルタブロックに対して、ＩＲ光透過フィルタ部がそのフィルタブロック数よりも少数となる構成となっている。また、この配列内容に応じて、画像合成部７２における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
【０１０５】
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
ここで、図７は、本変形例のＣＦアレイ１７の構成を示す図である。
ＣＦアレイ１７は、図７に示すように、上記変形例１と同様の第１のフィルタブロックと、第１のフィルタブロックのＩＲ光透過フィルタ部をＧＩ光透過フィルタ部に代えた第３のフィルタブロック（従来のベイヤー配列）とがこの順番で水平方向に互い違いに連続して配列された構成の複数の第３のブロックライン（ＢＬ３）と、第３のフィルタブロックが水平方向に連続して配列された構成の複数の第４のブロックライン（ＢＬ４）とを含んで構成される。
【０１０６】
更に、ＣＦアレイ１７は、第１のフィルタブロックにおけるＧＩ光透過フィルタ部とＩＲ光透過フィルタ部との位置を入れ替えた構成の第４のフィルタブロックと第３のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の複数の第５のブロックライン（ＢＬ５）と、第３のフィルタブロックと第１のフィルタブロックとがこの順番で水平方向に互い違いに連続して配列された構成の複数の第６のブロックライン（ＢＬ６）とを含んで構成される。
【０１０７】
具体的に、ＣＦアレイ１７は、上記ＢＬ３〜ＢＬ６が垂直方向にＢＬ３→ＢＬ４→ＢＬ５→ＢＬ６→ＢＬ３→ＢＬ４→ＢＬ５→ＢＬ６→・・・の順に連続して配列された構成となる。
上記構成によって、ＣＦアレイ１７は、フィルタブロックの総数（厳密には、Ｒ、Ｇ、Ｂの組数）に対してそれより少数のＩＲ光透過フィルタ部が配列されることになる。
【０１０８】
信号処理部１５は、上記構成のＣＦアレイ１７を透過した光に応じた４種類の画素データに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
これにより、センサセルアレイ５２におけるＩＲ光透過フィルタ部に対応する各画素のＩＲデータが略均一であれば、色の情報を含んだ画素データの数がＣＦアレイ１３や１６と比較して多くなるので、可視光領域画像データの画像の画質を比較的向上することができる。
【０１０９】
ここで、ピクセルデータの生成方法としては、上記実施の形態における（１）及び（２）の方法をそのまま適用してもよい。但し、ＩＲデータと、Ｇデータ又はＧ’データとの位置関係が異なるので、適宜合わせる必要がある。また、ＩＲデータを含まないフィルタブロックについては、従来と同様のやり方で合成を行う。
上記変形例２において、ＣＦアレイ１７は、形態５、７、１０及び１２のいずれか１に記載のカラーフィルタアレイに対応する。
【０１１０】
〔変形例３〕
次に、上記実施の形態の変形例３を説明する。図８は、変形例３に係る撮像装置及びカラーフィルタアレイの実施の形態を示す図である。
上記実施の形態及び変形例１においては、各フィルタブロックには必ず１つのＩＲ光透過フィルタ部が含まれているが、これに対して、本変形例３に係る撮像装置のカラーフィルタアレイは、１つのフィルタブロックに対して、２つ以上のＩＲ光透過フィルタ部が隣接して配列された構成となっている。また、この配列内容に応じて、画像合成部７２における画像合成処理の内容が一部異なる。それ以外の構成は、上記実施の形態の撮像装置１００と同様となる。
【０１１１】
以下、上記実施の形態と同様の構成部については同じ符号を付して適宜説明を省略し、異なる部分について詳細に説明する。
ここで、図８（ａ）及び（ｂ）は、本変形例のＣＦアレイ１８及び１９の構成を示す図である。
ＣＦアレイ１８は、図８（ａ）に示すように、上記変形例２のＢＬ４と、ＩＲ光透過フィルタ部が水平方向に連続して配列された構成の複数のＩＲフィルタライン（ＩＲＦＬ）とを含んで構成される。
【０１１２】
具体的に、ＣＦアレイ１８は、ＢＬ４とＩＲＦＬとが垂直方向に、ＢＬ４→ＩＲＦＬ→ＢＬ４→ＩＲＦＬ→ＢＬ４→ＩＲＦＬ→ＢＬ４→ＩＲＦＬ→ＢＬ４→ＩＲＦＬ→ＢＬ４→ＩＲＦＬ→・・・の順に連続して配列された構成となる。
つまり、各第３のフィルタブロック毎に２つのＩＲ光透過フィルタ部が隣接する構成となる。
【０１１３】
次に、ＣＦアレイ１９は、図８（ｂ）に示すように、上記変形例２の第３のフィルタブロックと、縦２画素×横１画素のサイズの画素領域に対応するＩＲ光透過フィルタ部のフィルタブロック（以下、第５のフィルタブロックと称す）とがこの順番で水平方向に互い違いに連続して配列された構成の複数の第７のブロックライン（ＢＬ７）と、複数のＩＲＦＬとを含んで構成される。
【０１１４】
具体的に、ＣＦアレイ１９は、ＢＬ７とＩＲＦＬとが垂直方向に、ＢＬ７→ＩＲＦＬ→ＢＬ７→ＩＲＦＬ→ＢＬ７→ＩＲＦＬ→ＢＬ７→ＩＲＦＬ→ＢＬ７→ＩＲＦＬ→ＢＬ７→ＩＲＦＬ→・・・の順に連続して配列された構成となる。
つまり、各第３のフィルタブロック毎に５つのＩＲ光透過フィルタ部が隣接する構成となる。
【０１１５】
信号処理部１５は、上記構成のＣＦアレイ１８又は１９を透過した光に応じた４種類の画素データに基づき、可視光領域画像データ及び赤外領域画像データを生成する。
色信号処理部７１は、各フィルタブロックに対して２つ又は５つのＩＲデータが対応しているので、例えば、Ｒ’、Ｇ’及びＢ’データの示す画素値から、２つ又は５つのＩＲデータの示す画素値の平均値を減算することで、Ｒ、Ｇ、及びＢデータを求める。
【０１１６】
更に、画像合成部７２において、ピクセルデータを生成する方法として、可視光領域画像データの場合は、従来のベイヤー配列のカラーフィルタアレイに用いられる方法を適用することができる。
また、赤外領域画像データのピクセルデータを生成する方法としては、ＣＦアレイ１８に対しては、例えば、第３のフィルタブロックと隣接する２つのＩＲ光透過フィルタ部とからなる縦３画素×横２画素の６つのサブピクセルを合成してピクセルデータを生成する方法がある。
【０１１７】
また、ＣＦアレイ１９に対しては、例えば、第３のフィルタブロックと隣接する５つのＩＲ光透過フィルタ部とからなる縦３画素×横３画素の９つのサブピクセルを合成してピクセルデータを生成する方法がある。
【０１１８】
以上より、本変形例のＣＦアレイ１８及び１９は、上記実施の形態、変形例１及び変形例２のＣＦアレイよりも、各フィルタブロックの近傍にあるＩＲ光透過フィルタ部の数が多く構成されているので、その分、ＩＲデータを多く得ることができる。これにより、各フィルタブロックのＲ’、Ｇ’、Ｂ’データに対して、隣接位置にある複数の画素のＩＲデータを用いて、赤外成分を除去することができるので、より正確に赤外成分を除去した画素データを得ることができる。従って、可視光領域画像データの画像の画質を比較的向上することができる。
【０１１９】
上記変形例３において、ＣＦアレイ１８、１９は、形態６、７、１１及び１２のいずれか１に記載のカラーフィルタアレイに対応する。
なお、上記実施の形態及び各変形例においては、図２に示すＣＦアレイ１３及び図６〜図８に示すＣＦアレイ１６〜１９など光の３原色のいずれかに分離するＣＦ部を含む構成のＣＦアレイについて説明したが、ＣＦアレイの構成はこれらに限らず、例えば、図９に示すように、Ｍｇ（マゼンタ）、Ｃｙ（シアン）、Ｙｅ（イエロ）の補色系の光に分離するＣＦ部を含む構成など他の構成としてもよい。
【０１２０】
この場合に、図９に示すＣＦアレイは、形態８又は１３に記載のカラーフィルタアレイに対応する。
また、上記実施の形態及び各変形例においては、ＣＦアレイを、図２、図６〜図８の構成としたが、この構成に限らず、各フィルタ部の配列内容を別の配列内容とした構成としてもよい。
【図面の簡単な説明】
【０１２１】
【図１】本発明に係る撮像装置１００の概略構成を示すブロック図である。
【図２】（ａ）は、本実施の形態のＣＦアレイ１３の構成を示す図であり、（ｂ）は、従来のベイヤー配列のＣＦアレイの構成を示す図である。
【図３】イメージセンサ部１４の内部構成を示すブロック図である。
【図４】信号処理部１５の内部構成を示すブロック図である。
【図５】（ａ）及び（ｂ）は、ピクセルデータの生成方法の例を示す図である。
【図６】本実施の形態の本変形１のＣＦアレイ１６の構成を示す図である。
【図７】本実施の形態の本変形２のＣＦアレイ１７の構成を示す図である。
【図８】（ａ）は、本実施の形態の変形例３のＣＦアレイ１８の構成を示す図であり、（ｂ）は、変形例３のＣＦアレイ１９の構成を示す図である。
【図９】補色系のＣＦアレイの一例を示す図である。
【符号の説明】
【０１２２】
１００…撮像装置、１０…レンズ、１２…マイクロレンズ、１３，１６〜１９…カラーフィルタアレイ、１４…イメージセンサ部、１５…信号処理部、５０…制御回路、５１…駆動回路、５２…センサセルアレイ、５３…画素信号読出回路、７０…制御部、７１…色信号処理部、７２…画像合成部、７３…フレームメモリ、７４…画像データ出力部
【図１】
2009232351.tif 000003
【図２】
2009232351.tif 000004
【図３】
2009232351.tif 000005
【図４】
2009232351.tif 000006
【図５】
2009232351.tif 000007
【図６】
2009232351.tif 000008
【図７】
2009232351.tif 000009
【図８】
2009232351.tif 000010
【図９】
2009232351.tif 000011