(57)【要約】【課題】より正確な補正量を推定することができ、ひいては昼間等の明時での色再現性を向上することが可能な撮像装置および撮像方法を提供する。【解決手段】複数の色のカラーフィルタを有するカラーフィルタ群１３と、各カラーフィルタを透過した光に対応する色信号を出力する撮像素子１２と、色信号を処理する色処理部１４と、を有し、カラーフィルタは、第１の色を含み、色処理部１４は、第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得し、第１の色のカラーフィルタを透過した色信号と第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求める。【選択図】図１
2010154335.tif 000002
【特許請求の範囲】
【請求項１】
複数の色のカラーフィルタを有するカラーフィルタ群と、
前記各カラーフィルタを透過した光に対応する色信号を出力する撮像素子と、
前記色信号を処理する色処理部と、を有し、
前記カラーフィルタは、
第１の色を含み、
前記色処理部は、
前記第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して前記第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得し、前記第１の色のカラーフィルタを透過した色信号と前記第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求める
撮像装置。
【請求項２】
前記カラーフィルタ群は、
シアン、マゼンダ、イエローのカラーフィルタを含み、
前記第１の色のカラーフィルタがレッド、グリーン、ブルーのカラーフィルタのいずれかである
請求項１に記載の撮像装置。
【請求項３】
前記カラーフィルタ群は、
レッド、グリーン、ブルーのカラーフィルタを含み、
前記第１の色のカラーフィルタがシアン、マゼンダ、イエローのカラーフィルタのいずれかである
請求項１に記載の撮像装置。
【請求項４】
前記色処理部は、
前記第１の色の成分と前記第２の色の成分の差分または比率により、近赤外領域および赤外領域の入射光量を求める
請求項１から３のいずれか一に記載の撮像装置。
【請求項５】
可視領域において、前記第１の色の色信号と前記第２の色の色信号の値が略一致するようにゲインを調整する機能を有する
請求項１から４のいずれか一に記載の撮像装置。
【請求項６】
第１の色のカラーフィルタと当該１の色のカラーフィルタと異なるカラーフィルタを透過した光を撮像素子で受光して当該光に対応する色信号を生成するステップと、
前記第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して前記第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得するステップと、
前記第１の色のカラーフィルタを透過した色信号と前記第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求めるステップと
を有する撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置および撮像方法に関するものである。
【背景技術】
【０００２】
一般に、画像入力機能を持った情報端末装置において、固体撮像素子として、たとえば、相補性金属酸化膜半導体（CMOS：Complementary Metal-oxide Semiconductor）センサや電荷結合素子（CCD：Charge Coupled Device）等が使用される。
【０００３】
ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置において、色の三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得る場合、Ｒ、Ｇ、Ｂに対応する光の帯域を持つ色分離（カラー分離）フィルタを透過させる。
【０００４】
上記色分離フィルタは染料、もしくは顔料を用いて目的の色を透過するように形成される。ただし、色分離フィルタは、目的の色の透過機能を有すると同時に赤外領域も一定の割合で透過率を有してしまう。
【０００５】
一方、人間の色に対する視感度特性は可視領域と呼ばれる３８０ｎｍから７８０ｎｍまでの感度特性を持っていると言われている。また、近赤外領域は７８０ｎｍから２５００ｎｍまでの波長を、赤外領域葉２５００ｎｍ以上の波長を有している。これらの光は、直接肉眼で見ることはできないが、デジタルカメラやビデオカメラのモニタなどでは見ることができる。
そのため、撮像装置には、人間の目にあわせるために、一般的に赤外および近赤外領域の光線をカットする赤外線カットフィルタ（ＩＲＣＦ：Infrared Ray Cut Filter）を備える必要がある。
【０００６】
このように、一般的な撮像装置は、固体撮像素子の光入射側に近赤外領域および赤外領域の光線を通さない赤外線カットフィルタを備えている。
しかし、夜間など薄暗い場所で撮影を行う場合、近赤外領域および赤外領域が固体撮像素子の感度の強い領域であるため赤外線カットフィルタを外す必要がある。
そのため、一般的な撮像装置では、赤外線カットフィルタを着脱する機構を設ける必要があり、小型化、コスト面で問題を抱えていた。
このような問題から市場では、赤外線除去フィルタを光路上から抜き差しする切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、人間の視感度特性に合致するように昼間等の明時での色再現性を向上させることができる撮像装置が要求されている。
上記のように赤外線除去フィルタを着脱する機構を有しない技術として、たとえば赤外線除去フィルタを設けない手法が知られている。
しかし、赤外線除去フィルタを設けないと、夜間等の暗部での高感度撮影は可能であるが、昼間等の明時では、十分な色再現を行うことができないという問題点がある。
【０００７】
そこで、上記のような要望、問題点に応える撮像装置として、特許文献１に開示されているような技術を適用した撮像装置が提案されている。
この撮像装置は、赤外線カットフィルタの代わりに、可視領域における長波長領域を減衰させ、かつ、赤外領域を通すフィルタを設けることにより、赤外線カットフィルタを着脱する機構を設けることなく高感度で良好な色再現を得ている。
【特許文献１】特開２００６−９４１１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、上記のような技術を実現しようとすると、精度の高いホワイトバランスが要求されるため、色の偏りのある被写体においてはホワイトバランスの値を誤って算出してしまい、これが適正な色再現を行う補正量の推定に影響を及ぼしている。
【０００９】
本発明は、より正確な補正量を推定することができ、ひいては昼間等の明時での色再現性を向上することが可能な撮像装置および撮像方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の第１の観点の撮像装置は、複数の色のカラーフィルタを有するカラーフィルタ群と、前記各カラーフィルタを透過した光に対応する色信号を出力する撮像素子と、前記色信号を処理する色処理部と、を有し、前記カラーフィルタは、第１の色を含み、前記色処理部は、前記第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して前記第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得し、前記第１の色のカラーフィルタを透過した色信号と前記第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求める。
【００１１】
好適には、前記カラーフィルタ群は、シアン、マゼンダ、イエローのカラーフィルタを含み、前記第１の色のカラーフィルタがレッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）のカラーフィルタのいずれかである。
【００１２】
好適には、前記カラーフィルタ群は、レッド、グリーン、ブルーのカラーフィルタを含み、前記第１の色のカラーフィルタがシアン、マゼンダ、イエローのカラーフィルタのいずれかである。
【００１３】
好適には、前記色処理部は、前記第１の色の成分と前記第２の色の成分の差分または比率により、近赤外領域および赤外領域の入射光量を求める。
【００１４】
好適には、可視領域において、前記第１の色の色信号と前記第２の色の色信号の値が略一致するようにゲインを調整する機能を有する。
【００１５】
本発明の第２の観点の撮像方法は、第１の色のカラーフィルタと当該１の色のカラーフィルタと異なるカラーフィルタを透過した光を撮像素子で受光して当該光に対応する色信号を生成するステップと、前記第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して前記第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得するステップと、前記第１の色のカラーフィルタを透過した色信号と前記第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求めるステップとを有する。
【発明の効果】
【００１６】
本発明によれば、より正確な補正量を推定することができ、ひいては昼間等の明時での色再現性を向上することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態を図面に関連付けて説明する。
【００１８】
図１は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【００１９】
本撮像装置１０は、図１に示すように、レンズ系（光学系）11、撮像素子１２、カラーフィルタ群１３、および色処理部１４を有する。
【００２０】
レンズ系（光学系）11は、被写体ＯＢＪの像を、カラーフィルタ群１３を通して撮像素子１２の撮像面に結像する。
【００２１】
撮像素子１２は、ＣＣＤやＣＭＯＳセンサにより形成され、複数の画素がマトリクス状に配列されている。
撮像素子１２は、カラーフィルタ群１３の各カラーフィルタを透過した光に対応する色信号を生成して、たとえば生成したアナログの色信号をデジタルの色信号に変換して色処理部１４に出力する。
【００２２】
カラーフィルタ群１３は、複数の色のカラー（色）フィルタを含み、撮像素子１２の撮像面の光入射側に配置されている。
カラーフィルタ群１３は、可視領域において、少なくとも４色以上のカラーフィルタを有する。
本実施形態では、カラーフィルタ群１３が、４色のカラーフィルタを有する場合を例に説明する。
そして、本実施形態では、撮像素子１２の画素配列として、図２に示すような、２×２のマトリクス配列された４つの画素ＰＸＬを、一組の単位画素ＵＰＸＬとした場合を例に説明する。
以下に、４色のカラーフィルタにより形成される単位フィルタＵＦＬＴの構成例を示す。
【００２３】
図３は、本実施形態の４色のカラーフィルタにより形成される単位フィルタの第１配置例を示す図である。
【００２４】
図３の単位フィルタＵＦＬＴ１は、図２の単位画素ＵＰＸＬに対応して２×２のマトリクス配列された４色のカラーフィルタにより形成される。
具体的には、単位フィルタＵＦＬＴ１は、補色となるシアン（Ｃｙａｎ：Ｃｙ）フィルタＣＦＬＴ、マゼンダ（Ｍａｇｅｎｄａ：Ｍｇ）フィルタＭＦＬＴ、イエロー（Ｙｅｌｌｏｗ：Ｙｅ）フィルタＹＦＬＴを有する。
そして、単位フィルタＵＦＬＴ１は、色の三原色となるレッド（赤、Ｒ）、グリーン（緑、Ｇ）、ブルー（青、Ｂ）うちの１色で形成される原色フィルタＰＣＦＬＴにより形成される。
【００２５】
図４は、本実施形態の４色のカラーフィルタにより形成される単位フィルタの第２配置例を示す図である。
【００２６】
図４の単位フィルタＵＦＬＴ２は、図２の単位画素ＵＰＸＬに対応して２×２のマトリクス配列された４色のカラーフィルタにより形成される。
具体的には、単位フィルタＵＦＬＴ２は、色の三原色であるレッド（赤、Ｒ）フィルタＲＦＬＴ、グリーン（緑、Ｇ）フィルタＧＦＬＴ、ブルー（青、Ｂ）フィルタＢＦＬＴを有する。
そして、単位フィルタＵＦＬＴ２の残りの１色は、補色となるシアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）のうちの１色で形成される補色フィルタＣＣＦＬＴにより形成される。
【００２７】
４色のカラーフィルタにより形成される単位フィルタＵＦＬＴ１，２は、原色フィルタＰＣＦＬＴまたは補色フィルタＣＣＦＬＴの１色（第１の色）が残りの３色から少なくとも２色を用いることで表現できる色（第２の色）であるように形成される。
【００２８】
色処理部１４は、第１の色のカラーフィルタとは異なるカラーフィルタを透過した複数の色信号を合成して第１の色と可視領域において同等の分光感度特性を有する第２の色の色信号を取得し、第１の色のカラーフィルタを透過した色信号と第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を求める機能を有する。
たとえば色処理部１４は、第１の色の成分ＣＣ１と第２の色の成分ＣＣ２の差分（ＣＣ１−ＣＣ２あるいはＣＣ２−ＣＣ１）または比率（ＣＣ１／ＣＣ２あるいはＣＣ２／ＣＣ１）により、近赤外領域および赤外領域の入射光量（入射赤外量）を求める。
そして、色処理部１４は、視感度領域もしくは可視領域において、第１の色の色信号と第２の色の色信号の値が略一致するようにゲインを調整する機能を有する。
本実施形態の撮像装置１０は、上記したとおりゲイン調整された信号において、視感度領域外、もしくは可視領域外の信号を含むことで、算出される信号と単画素のフィルタを透過した出力値は異なる。
【００２９】
なお、第１の色とは、図３の単位フィルタＵＦＬＴ１を用いた場合、原色のフィルタの色、たとえばグリーン（Ｇ）であり、図４の単位フィルタＵＦＬＴ２を用いた場合、補色フィルタの色、たとえばマゼンダ（Ｍｇ）である。
第２の色は、図３の単位フィルタＵＦＬＴ１を用いた場合、シアンフィルタＣＦＬＴ、マゼンダフィルタＭＦＬＴ、イエローＹＦＬＴを透過した色信号のうち少なくとも２つの色信号を合成して形成される。
また、第２の色は、図４の単位フィルタＵＦＬＴ２を用いた場合、レッドフィルタＲＦＬＴ、グリーンフィルタＧＦＬＴ、ブルーフィルタＢＦＬＴを透過した色信号のうち少なくとも２つの色信号を合成して形成される。
【００３０】
図１の色処理部１４は、メモリ１４１、近赤外領域および赤外領域の赤外光量（ＩＲ）推定部１４２、および画像処理部１４３を有する。
【００３１】
メモリ１４１は、撮像素子１２によるデジタル色信号を保持して、そのデータを赤外光量推定部１４２および画像処理部１４３に供給する。
メモリ１４１は、色信号によって算出された赤外量に対応した色補正係数を記憶する。メモリ１４１は、この色補正係数を画像処理部１４３に供給する。
【００３２】
赤外光量推定部１４２は、第１の色のカラーフィルタを透過した色信号と第２の色の色信号を比較して、近赤外領域および赤外領域の入射光量を推定する。
赤外光量推定部１４２は、第１の色の成分と第２の色の成分の差分または比率により、近赤外領域および赤外領域の入射光量を推定する。
赤外光量推定部１４２は、推定処理において、適正な色再現を実現するための赤外光量（補正量）を算出し、その結果を画像処理部１４３に出力する。
【００３３】
画像処理部１４３は、赤外光量推定部１４２により赤外光量（補正量）情報を受けて、この赤外光量（補正量）に対応した色補正係数をメモリ１４１から読み出し、読み出した色補正係数を用いて元画像に対して色補正処理を行う。
【００３４】
撮像装置１０は、色処理部１４において、４色以上のカラーフィルタを有し、２色以上から算出される信号（第２の色の色信号）と、算出される信号と同等の波長領域のカラーフィルタを透過した信号（第１の色の色信号）を取得し両者で比較する。
色処理部１４は、赤外光量推定部１４２において、たとえば比較した信号の差が大きければ大きいほど、赤外線の量が多いと判断し、逆に差が小さければ、赤外線は影響があるほどには含まれていないと判断する。
色処理部１４は、赤外光量推定部１４２の赤外光量の推定結果を、画像処理部１４３の画像の色補正処理系にフィードバックする。
【００３５】
撮像装置１０は、たとえば図３のカラーフィルタ群を採用している場合には、補色フィルタのうち、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）のカラーフィルタを透過して得られた色信号から算出されるグリーン成分（第２の色成分）とグリーンフィルタＧＦＬＴを透過したグリーン成分（第１の色成分）を比較することで、入射した光の赤外光量を推定する。
推定された赤外光量を基に色補正へフィードバックをかけて、色再現性を向上させる。
【００３６】
以下、本実施形態の撮像装置１０における色再現処理についてフィルタ特性や赤外光量推定原理等を含め、図５〜図１６に関連付けてさらに詳述する。
【００３７】
図５は、例として図３の補色(シアン、マゼンダ、イエロー＋グリーン)の単位フィルタを装着した固体撮像素子の分光感度特性を示す図である。
図６は、例として原色のカラーフィルタ（レッド、ブルー、グリーン）を装着した固体撮像素子の分光感度特性を示す図である。
【００３８】
図５および図６において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図５中、Ａで示す曲線がシアンフィルタＣＦＬＴの分光感度特性を、Ｂで示す曲線がグリーンフィルタＧＦＬＴの分光感度特性を、Ｃで示す曲線がイエローフィルタＹＦＬＴの分光感度特性を、Ｄで示す曲線がマゼンダフィルタＭＦＬＴの分光感度特性をそれぞれ示している。
図６中、Ａで示す曲線がレッドフィルタＲＦＬＴの分光感度特性を、Ｂで示す曲線がグリーンフィルタＧＦＬＴの分光感度特性を、Ｃで示す曲線がブルーフィルタＢＦＬＴの分光感度特性をそれぞれ示している。
【００３９】
図５および図６に示すように、補色のカラーフィルタを用いた方が原色のカラーフィルタを用いる場合より、量子効率は良好である。
【００４０】
図７は、原色のカラーフィルタを装着した個体撮像素子にＩＲＣＦ（赤外線カットフィルタ）を加えた分光透過率特性を示す図である。
【００４１】
図７において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図７中、Ａで示す曲線がレッドフィルタＲＦＬＴの分光透過率特性を、Ｂで示す曲線がグリーンフィルタＧＦＬＴの分光透過率特性を、Ｃで示す曲線がブルーフィルタＢＦＬＴの分光透過率特性を、Ｄで示す曲線がＩＲＣＦの分光透過率特性をそれぞれ示している。
赤外線カットフィルタＩＲＣＦは、略７００ｎｍ以上の波長領域で遮断効果を十分に発現する。
【００４２】
図８は、例としてＡ光源、Ｄ６５光源、Ｃ光源の分光分布を示す図である。
Ａ光源は色温度２８５０度Ｋ前後で、家庭用の電球とほぼ同等の光であり、Ｃ光源は色温度６７４０度Ｋ前後で昼光に近い光である。また、Ｄ６５光源は６５００度Ｋ前後で、Ｃ光源よりもさらに自然光に近い光である。
【００４３】
図８において、横軸が波長を、縦軸が感度をそれぞれ示している。
図８中、Ｘで示す曲線がＡ光源の分光分布特性を、Ｙで示す曲線がＤ６５光源の分光分布特性を、Ｚで示す曲線がＣ光源の分光分布特性をそれぞれ示している。
【００４４】
図９は、自然の葉と人工の草（葉）の色の分光反射率を示す図である。
【００４５】
図９において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図９中、Ａで示す曲線が自然の葉の反射率特性を、Ｂで示す曲線が人工の草の反射率特性をそれぞれ示している。
図９から、自然の葉が、人工の草より赤外光を反射していることが分かる。
【００４６】
図１０は、赤外線カットフィルタＩＲＣＦを有する固体撮像素子に自然と人工の葉を撮像した時の分光特性を示す図である。
【００４７】
図１０において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１０中、Ａで示す曲線が自然の葉の反射率特性を、Ｂで示す曲線が人工の草の反射率特性をそれぞれ示している。
図１０に示すように、赤外線カットフィルタＩＲＣＦにより赤外成分がカットされているため、自然の葉も人工の草も同じ緑として写る。
これは、人間の視感度領域内で色が表現されているためである。
【００４８】
図１１は、赤外線カットフィルタＩＲＣＦを含まない固体撮像素子に自然と人工の葉を撮像した時の分光特性を示す図である。
【００４９】
図１１において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１１中、Ａで示す曲線が自然の葉の反射率特性を、Ｂで示す曲線が人工の草の反射率特性をそれぞれ示している。
図１１は、赤外線カットフィルタＩＲＣＦがないために、人間の視感度領域外となる赤外の反射まで撮像素子が受光していることを示す。
そのため、赤外線カットフィルタＩＲＣＦが無いと、人工の葉（草）と自然の葉では異なった色として出力されてしまう。
当然ながら、人間には、この赤外領域に感度を持たないために、両者は同じ色として写る。
【００５０】
図１２（Ａ）〜（Ｃ）は、赤外線カットフィルタＩＲＣＦを含んだ状態での図８の特性を有する各光源の光を通した時の分光特性を示す図である。
【００５１】
図１２（Ａ）〜（Ｃ）において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１２（Ａ）はＡ光源の光を通したときの分光特性を、図１２（Ｂ）はＤ６５光源の光を通したときの分光特性を、図１２（Ｃ）はＣ光源の光を通したときの分光特性をそれぞれ示している。
図１２（Ａ）〜（Ｃ）に示すように、光源毎に赤外線を含む量が異なるが、赤外線カットフィルタＩＲＣＦによって、カットされているため、常に人間の見た目と同じようにして見ることができる。
【００５２】
図１３（Ａ）〜（Ｃ）は、赤外線カットフィルタＩＲＣＦを含まない状態での図８の特性を有する各光源の光を通した時の分光特性を示す図である。
【００５３】
図１３（Ａ）〜（Ｃ）において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１３（Ａ）はＡ光源の光を通したときの分光特性を、図１３（Ｂ）はＤ６５光源の光を通したときの分光特性を、図１３（Ｃ）はＣ光源の光を通したときの分光特性をそれぞれ示している。
図１３（Ａ）〜（Ｃ）に示すように、光源毎に赤外線を含む量が異なるため、光源によって、人工の葉と自然の葉が大分異なってくる。
図にある通り、色温度が低ければ、それだけ赤外線量が増えてくる傾向にある。色温度が高い、たとえば図１３（Ｂ）、（Ｃ）のような環境下であれば問題がないが、色温度が低い、たとえば図１３（Ａ）のような環境下では、色味が変わってきてしまう。
【００５４】
図１４は、本実施形態においてゲイン調整をせずに、補色より求められた第２の色としてのグリーンとグリーンフィルタを透過した第１の色としてのグリーンの感度の比較例を示す図である。
【００５５】
このとき、第２の色は一例として以下の数式（１）で求めることが可能である。その他、第１の色がレッド、ブルーである場合の第２の色の求め方を数式（２）、（３）に示す。
ただし、Ｇはグリーン、Ｒはレッド、Ｂはブルー、Ｃｙはシアン、Ｍｇはマゼンダ、Ｙｅはイエローを表している。
【００５６】
Ｇ＝（Ｃｙ＋Ｙｅ−Ｍｇ）／２        ・・・（１）
Ｒ＝（Ｙｅ＋Ｍｇ−Ｃｙ）／２        ・・・（２）
Ｂ＝（Ｍｇ＋Ｃｙ−Ｙｅ）／２        ・・・（３）
【００５７】
図１４において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１４中、Ａで示す曲線が第１の色としてのグリーンの感度特性を、Ｂで示す曲線が第２の色としてのグリーンの感度特性をそれぞれ示している。
【００５８】
図１５は、本実施形態においてゲイン調整をして、補色より求められた第２の色としてのグリーンとグリーンフィルタを透過した第１の色としてのグリーンの感度の比較例を示す図である。
すなわち、図１５は、図１４に対して、可視領域内で等しくなるようにゲインを調整した両者の比較を示す。
【００５９】
図１５において、横軸が波長を、縦軸が量子効率（Quantum Efficiency）をそれぞれ示す。
図１５中、Ａで示す曲線が第１の色としてのグリーンの感度特性を、Ｂで示す曲線が第２の色としてのグリーンの感度特性をそれぞれ示している。
ここから分かるのは、光源と物体の反射特性によって仮に人間の視感度領域に分光特性が収まった場合には、補色から算出されたグリーンとグリーンのカラーフィルタを透過したグリーンは同一の信号とならなければならない。
上記分光特性が赤外線を含む場合は、この算出されたグリーンと透過したグリーンの間に差があるため出力値が異なってくる。
差が大きければ大きいほど、赤外線を多く含んでいる事を意味する。信号の差分によって赤外線がどの程度、現状含まれているかを推定して、色補正を行う。
色補正を行う理由は、赤外線カットフィルタＩＲＣＦを含まないと視感度領域から外れた光を撮像素子が受光してしまうため、色がおかしくなってくるからである。
【００６０】
次に、上記構成による撮像装置１０の色再現動作について図１６に関連付けて説明する。
図１６は、カラーフィルタ群を通して固体撮像素子に光が到達してから補正までのフローチャートを示す図である。
【００６１】
この例は、図３の構成を有し、図５の特性を有する補色系フィルタを用いた場合の動作例を示している。
撮像装置１０は、たとえば図３のカラーフィルタ群を採用している場合には、シアンフィルタＣＦＬＴ、マゼンダフィルタＭＦＬＴ、イエローフィルタＹＦＬＴ、グリーンフィルタＧＦＬＴ（補色フィルタＣＣＦＬＴ）によって分光され、各画素による色信号がデジタル信号として色処理部１４に供給される（ＳＴ０、ＳＴ１）。
色処理部１４の赤外光量推定部１４２において、補色フィルタであるシアンフィルタＣＦＬＴ、マゼンダフィルタＭＦＬＴ、イエローフィルタＹＦＬＴを透過して得られた色信号からＲＧＢ成分が算出される（ＳＴ２）。本例では、補色によって第２の色としてのグリーン信号が形成される。
また、赤外光量推定部１４２において、グリーンフィルタＧＦＬＴを透過したグリーン成分が第１の色として得られる（ＳＴ３）。
赤外光量推定部１４２においては、補色フィルタのうち、シアン（Ｃｙ）、マゼンダ（Ｍｇ）、イエロー（Ｙｅ）の色信号から算出されるグリーン成分（第２の色成分）とグリーンフィルタＧＦＬＴを透過したグリーン成分（第１の色成分）を比較することで、入射した光の赤外光量が推定される。
そして、画像処理部１４３において、推定された赤外光量を基にＲＧＢの色補正が行われ（ＳＴ５）、補正画像が後段の信号処理系等に出力される（ＳＴ６）。
【００６２】
以上説明したように、本実施形態によれば、撮像装置１０は、色処理部１４において、４色以上のカラーフィルタを有し、２色以上から算出される信号（第２の色の色信号）と、算出される信号と同等の波長領域のカラーフィルタを透過した信号（第１の色の色信号）を取得し両者で比較する。
色処理部１４は、赤外光量推定部１４２において、たとえば比較した信号の差が大きければ大きいほど、赤外線の量が多いと判断し、逆に差が小さければ、赤外線は影響があるほどには含まれていないと判断する。
色処理部１４は、赤外光量推定部１４２の赤外光量の推定結果を、画像処理部１４３の画像の色補正にフィードバックする。
したがって、本実施形態によれば、以下の効果を得ることができる。
【００６３】
赤外線カットフィルタを光路上から移動させる駆動部を必要とせずに、人間の視感度特性に合致する撮像装置を実現することが可能である。
複数の色を有するカラーフィルタにおいて、少なくとも１色を他の色から合成して表現できる色とする。この色において、単画素を透過した色信号と、複数の画素から算出される色信号を比較して求めた赤外光量を用いていることにより、赤外線カットフィルタを設けることなく、高感度で良好な色再現が可能となる。
すなわち、本実施形態によれば、赤外線カットフィルタを光路上から抜き差しする切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、人間の視感度特性に合致するように、より正確な補正量を推定することができ、ひいては昼間等の明時での色再現性を向上することができる。
【００６４】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本実施形態に係る単位画素の説明図である。
【図３】本実施形態の４色のカラーフィルタにより形成される単位フィルタの第１配置例を示す図である。
【図４】本実施形態の４色のカラーフィルタにより形成される単位フィルタの第２配置例を示す図である。
【図５】例として図３の補色(シアン、マゼンダ、イエロー＋グリーン)の単位フィルタを装着した固体撮像素子の分光感度特性を示す図である。
【図６】例として原色のカラーフィルタ（レッド、ブルー、グリーン）を装着した固体撮像素子の分光感度特性を示す図である。
【図７】原色のカラーフィルタを装着した個体撮像素子にＩＲＣＦ（赤外線カットフィルタ）を加えた分光透過率特性を示す図である。
【図８】例としてＡ光源、Ｄ６５光源、Ｃ光源の分光分布を示す図である。
【図９】自然の葉と人工の草（葉）の色の分光反射率を示す図である。
【図１０】赤外線カットフィルタＩＲＣＦを有する固体撮像素子に自然と人工の葉を撮像した時の分光特性を示す図である。
【図１１】赤外線カットフィルタＩＲＣＦを含まない固体撮像素子に自然と人工の葉を撮像した時の分光特性を示す図である。
【図１２】赤外線カットフィルタＩＲＣＦを含んだ状態での図８の特性を有する各光源の光を通した時の分光特性を示す図である。
【図１３】赤外線カットフィルタＩＲＣＦを含まない状態での図８の特性を有する各光源の光を通した時の分光特性を示す図である。
【図１４】本実施形態においてゲイン調整をせずに、補色より求められた第２の色としてのグリーンとグリーンフィルタを透過した第１の色としてのグリーンの感度の比較例を示す図である。
【図１５】本実施形態においてゲイン調整をして、補色より求められた第２の色としてのグリーンとグリーンフィルタを透過した第１の色としてのグリーンの感度の比較例を示す図である。
【図１６】カラーフィルタ群を通して固体撮像素子に光が到達してから補正までのフローチャートを示す図である。
【符号の説明】
【００６６】
１０・・・撮像装置、１１・・・レンズ系（光学系）、１２・・・撮像素子、１３・・・カラーフィルタ群、１４・・・色処理部。
【図１】
2010154335.tif 000003
【図２】
2010154335.tif 000004
【図３】
2010154335.tif 000005
【図４】
2010154335.tif 000006
【図５】
2010154335.tif 000007
【図６】
2010154335.tif 000008
【図７】
2010154335.tif 000009
【図８】
2010154335.tif 000010
【図９】
2010154335.tif 000011
【図１０】
2010154335.tif 000012
【図１１】
2010154335.tif 000013
【図１２】
2010154335.tif 000014
【図１３】
2010154335.tif 000015
【図１４】
2010154335.tif 000016
【図１５】
2010154335.tif 000017
【図１６】
2010154335.tif 000018