(57)【特許請求の範囲】
【請求項１】
可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、
前記４種類の色フィルタは、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタであり、
前記４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることを特徴とする撮像装置。
【請求項２】
前記可視光カラー画像の強度により、可視光カラー画像及び近赤外光画像を自動的に切り換えて出力することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記可視光カラー画像から色バランスを決定することを特徴とする請求項１又は請求項２に記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＣＣＤ等の固体撮像素子を用いたカラー撮像装置に関する。更に本発明は、近赤外光による撮像をも可能とした固体撮像装置に関する。
【０００２】
【従来の技術】
近赤外及び可視光に感度を有する固体撮像素子として、例えば従来、特開平５−１０３３３０号公報、特開平１０−６５１３５号公報、特開２０００−５９７９８号公報記載の技術が知られている。
【０００３】
特開平５−１０３３３０号公報記載の技術は、２次元状に配置構成された光感知セル群の前面に色識別フィルタを配設したカラー固体撮像素子が開示されている。色識別フィルタは色ベクトル上で直交関係にある２つの色差信号が得られるよう、４行２列で構成され、いずれの色識別フィルタも赤外光領域における分光透過率がほぼ等しいものである。４つの色識別フィルタの信号量はマゼンダ信号Ｓmg＋ＳIR、緑信号Ｓg＋ＳIR、シアン信号Ｓcy＋ＳIR、黄信号Ｓye＋ＳIRであり、輝度信号をそれらの平均として求め、色差信号をマゼンダ信号−緑信号＋シアン信号−黄信号、及びマゼンダ信号−緑信号−シアン信号＋黄信号として求めている。
【０００４】
特開平１０−６５１３５号公報においては、ラインセンサにおいて、赤外カットフィルタで被覆した赤色フィルタＲ、緑色フィルタＧ及び青色フィルタＢ、並びに赤色フィルタＲと青色フィルタＢとを重ねたもの、の４種のフィルタ群から成る第１の構成が開示されている。また、エリアセンサにおいて、緑Ｇ、シアンＣｙ、マゼンダＭｇ、黄Ｙｅのフィルタを各画素に形成し、黄Ｙｅ又はマゼンダＭｇを、赤色フィルタＲと青色フィルタＢを重ねたものに置き替えた構成が示されている。
【０００５】
特開平２０００−５９７９８号公報においては、ＩＲカットフィルタを挿入／抜出を機構的行い、ＩＲカットフィルタを挿入している場合は近赤外光及び赤外光の影響のない可視光カラー画像を、ＩＲカットフィルタを抜き出している場合は可視光及び近赤外光の光強度を加算した画像を出力する構成が開示されている。
【０００６】
【発明が解決しようとする課題】
半導体素子により撮像装置を形成する際、可視光領域にのみ感度を有する画素を形成することは困難であり、フィルタを用いない場合は可視光領域及び近赤外光領域に感度を有することとなり、「擬似カラー画像」を撮像することとなる。上記３つの従来例においては、単に近赤外光及び赤外光を遮断する機構とするのではなく、昼間におけるカラー画像撮像とともに夜間等における近赤外光による撮像を可能とするための工夫が成されている。
【０００７】
しかし、特開平５−１０３３３０号公報の技術においては、色差信号に近赤外光が影響しない構成ではあるが、輝度信号には近赤外光の影響が出てしまう。即ち、近赤外光の影響を受けない可視光のみの画像が出力できない。また、昼間において、可視光の影響を受けない近赤外光のみの画像も出力できない。また、特開平１０−６５１３５号公報の技術においては、緑Ｇ、シアンＣｙ、マゼンダＭｇ、黄Ｙｅのフィルタをそれぞれ設けた画素により可視光画像を、赤色フィルタＲと青色フィルタＢを重ねて設けた画素により近赤外光画像を得るものであるが、当然空間解像度は低下する。ラインセンサの構成（赤外カットフィルタ＋Ｒ、赤外カットフィルタ＋Ｇ、赤外カットフィルタ＋Ｂ、Ｒ＋Ｂ）をエリアセンサに応用しても、原色系フィルタでは感度が低くなる。特開平２０００−５９７９８号公報の技術においては、ＩＲカットフィルタの挿入／抜出機構のため、装置が大がかりとなる他、ＩＲカットフィルタの操作は自動的に行えない。
【０００８】
本発明は、上記従来技術では成し得なかった、新たな可視光カラー画像及び近赤外光画像を独立に得る撮像装置を提供することを目的とする。また、可視光カラー画像及び近赤外光画像の自動切替を可能とする撮像装置を提供することをも目的とする。
【０００９】
【課題を解決するための手段】
本発明の第１の手段は、可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタは、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタであり、４種類の色フィルタの画素の出力をマトリクス演算することにより、青、緑、赤及び近赤外の強度を求め、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることを特徴とする。
また、第２の手段は、上記第１の手段において、可視光カラー画像の強度により、可視光カラー画像及び近赤外光画像を自動的に切り換えて出力することを特徴とする。
また、第３の手段は、上記第１又は第２の手段において、可視光カラー画像から色バランスを決定することを特徴とする。
また、下記の発明も考えられる。可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１０】
可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタのフィルタ特性を波長λの関数としてｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)、可視光の３原色の透過フィルタのフィルタ特性をｆB(λ)、ｆG(λ)、ｆR(λ)、近赤外光透過フィルタのフィルタ特性をｆIR(λ)とするとき、フィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)、ｆIR(λ)がフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の線型結合で形成されるよう、４種類の色フィルタのフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)が調整されている。
【００１１】
フィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)、ｆIR(λ)の組は、フィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の組とは一致しない。
【００１２】
４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１３】
可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを規則的に配設した撮像装置であって、４種類の色フィルタのフィルタ特性を波長λの関数としてｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)、可視光の３原色の各々を中心とする領域及び近赤外領域をλb≦λ≦λB、λg≦λ≦λG、λr≦λ≦λR、λ≧λIR、ただしλb＜λg≦λB＜λG，λg＜λr≦λG＜λR、λG≦λIRとして、λb≦λ≦λBにのみ略０でない透過率を有するフィルタ特性ｆB(λ)と、λg≦λ≦λGにのみ略０でない透過率を有するフィルタ特性ｆG(λ)と、λr≦λ≦λRにのみ略０でない透過率を有するフィルタ特性ｆR(λ)と、λ≧λIRにのみ略０でない透過率を有するフィルタ特性ｆIR(λ)とについて、フィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)のうち少なくとも２つはフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)のいずれとも一致せず、且つ、フィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)、ｆIR(λ)が全てフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の線型結合で形成されるよう４種類の色フィルタのフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)を調整し、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求める。
【００１４】
４種類の色フィルタのうち、３つは可視領域の透過光が３原色の各々の補色である補色系の色フィルタである。
【００１５】
【００１６】
【００１７】
【００１８】
【００１９】
【作用及び発明の効果】
本発明によると、４種類の色フィルタとして、シアン、黄、マゼンダ並びに可視光及び近赤外光領域で波長に関わらず透過率がほぼ一定のフィルタを用いるならば、囲まれた点の青の強度は、透過率がほぼ一定のフィルタを設けた画素と黄フィルタを設けた画素の出力差として求めることができる。同様に、囲まれた点の緑の強度は、透過率がほぼ一定のフィルタを設けた画素とマゼンダフィルタを設けた画素の出力差として、囲まれた点の赤の強度は、透過率がほぼ一定のフィルタを設けた画素とシアンフィルタを設けた画素の出力差として求めることができる。また、近赤外の強度は、透過率がほぼ一定のフィルタを設けた画素の出力から、青、赤、緑の強度を減じることで求めることができる。
本願の上記のいずれの発明も、近赤外光の影響をほぼ全く受けない可視光カラー画像を出力することができるので、その近赤外光の影響をほぼ全く受けない可視光輝度により、出力を可視光カラー画像と近赤外光画像のいずれにするかの切替を、人間による操作を必要とせず、自動的に行うことができる。
また、上記のいずれの発明も、可視光カラー画像から色バランスを決定することで、違和感の無いカラー画像を得ることができる。
また、可視光及び近赤外光に感度を有する撮像素子の各画素に、別個のフィルタ特性を有する４種類の色フィルタを配設し、４種類の色フィルタを配設した各画素の出力をマトリクス演算する撮像装置は、４種類の色フィルタのフィルタ特性を調節することにより近赤外光の影響をほぼ全く受けない可視光カラー画像を形成するための３出力と、可視光の影響をほぼ全く受けない近赤外光像を形成するための出力を得ることができる。
【００２０】
これは、可視光の３原色の透過フィルタのフィルタ特性をｆB(λ)、ｆG(λ)、ｆR(λ)、近赤外光透過フィルタのフィルタ特性をｆIR(λ)がフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の線型結合で形成されるよう、４種類の色フィルタのフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)が調整されていることで可能となる。
【００２１】
フィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)、ｆIR(λ)の組は、フィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の組とは一致しないならば、各画素の単なる出力ではなく、可視光の３原色と近赤外光の少なくとも１の出力は線型結合により求められる。
【００２２】
すると、４種類の色フィルタを配設した各画素の出力をマトリクス演算することにより、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることが常時可能となる。
【００２３】
可視光の３原色である、青色を中心とする領域λb≦λ≦λB、緑色を中心とする領域λg≦λ≦λG、赤色を中心とする領域λr≦λ≦λRにおいてのみ略０でない透過率を有するフィルタ特性ｆB(λ)、ｆG(λ)、ｆR(λ)が、４種類の色フィルタのフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の線型結合で形成されるならば、その４種類の色フィルタを規則的に配設した撮像装置は、任意の点について４種類の色フィルタを設けた各画素の出力を線型結合させることにより、近赤外光の影響をほぼ全く受けない可視光カラー画像を出力することが可能となる。また、近赤外領域λ≧λIRについてのみ略０でない透過率を有するフィルタ特性ｆIR(λ)が、４種類の色フィルタのフィルタ特性ｆ1(λ)、ｆ2(λ)、ｆ3(λ)、ｆ4(λ)の線型結合で形成されるならば、その４種類の色フィルタを規則的に配設した撮像装置は、任意の点について４種類の色フィルタを設けた各画素の出力を線型結合させることにより、可視光の影響をほぼ全く受けない近赤外光像を出力することが可能となる。即ち、本願の請求項５に記載の撮像装置は、可視光カラー画像及び近赤外光画像をそれぞれ独立に求めることができる。
【００２４】
尚、「略０でない透過率」或いは「影響をほぼ全く受けない」は、最終的に人間の視覚によることを考慮し、「一部０でない透過率」があっても良く、また、「影響を若干受ける」ことがあっても良いものである。即ち、一般的に人間の視覚によって明確な差が関知できない程度であれば、「一部０でない透過率」があても、「影響を若干受ける」ことがあっても良い。
【００２５】
補色系の色フィルタは原色系の色フィルタよりも感度が高いので、４種類の色フィルタのうち、３つは可視領域の透過光が３原色の各々の補色である補色系の色フィルタを使用することで撮像装置の感度を高めることができる。
【００２６】
【００２７】
【００２８】
【００２９】
【発明の実施の形態】
以下、本発明の具体的な実施例について、図を参照しながら説明する。尚、本願発明は以下の実施例に限定されるものではない。
【００３０】
図１は、本発明の具体的な一実施例に係る撮像装置１００の構成を示すブロック図である。撮像装置１００は、集光レンズ１、光学ローパスフィルタ２、色フィルタ群３、固体撮像素子駆動回路４、固体撮像素子５、画像切替回路６、信号処理回路７から成る。固体撮像素子５はマトリックス様に形成された光電変換画素群から成るＣＭＯＳ撮像素子で、可視光及び近赤外光に感度を有するものである。光学ローパスフィルタ２は、折り返し歪みを防ぐためにナイキスト周波数以上の高周波成分を遮断するためのものである。画像切替回路６は、信号処理回路７の出力を可視光カラー画像と近赤外光画像のいずれにするかの切替を指令する。この指令は撮像装置１００を操作する外部入力によっても良く、また、信号処理回路７の近赤外光のない可視光輝度により画像切替回路６が自動処理により切替を指令しても良い。また、信号処理回路７の出力は、近赤外光の影響をほぼ全く受けない可視光輝度により、出力をモノクロとしても良く、近赤外光の輝度を加算した擬似カラー画像としても良い。以下、色フィルタ群３における、個々の色フィルタのフィルタ特性とそれによる出力について説明する。「第ｎ実施例」とは、図１の撮像装置１００の色フィルタ群３についてのｎ番目の実施例という意味である。
【００３１】
〔第１実施例〕
図１は、具体的な第１の実施例に係る色フィルタの配置を示す平面図である。４つの色フィルタとして、黄(Ye)、マゼンダ(Mg)、シアン(Cy)、及びフィルタ無し(X)をマトリクス状に規則的に配置する。正方形で囲んだ部分は個々の色フィルタを示すとともに各画素を示している。また、４画素に囲まれた格子点(a,b)は、出力画素の座標を示す。いずれの格子点(a,b)を囲む４画素も、色フィルタ黄(Ye)、マゼンダ(Mg)、シアン(Cy)、及びフィルタ無し(X)１個ずつから成る。
【００３２】
色フィルタ黄(Ye)、マゼンダ(Mg)、シアン(Cy)の透過率は図２の（ａ）、（ｂ）、（ｃ）のようである。即ち、色フィルタ黄(Ye)の透過率は波長λが400〜500nmで略0、その他で略1、色フィルタマゼンダ(Mg)の透過率は波長λが500〜600nmで略0、その他で略1、色フィルタシアン(Cy)の透過率は波長λが600〜700nmで略0、その他で略1である。フィルタ無し(X)は全ての波長λで透過率が略1である。
【００３３】
以下、第７実施例まで、次のように表記を簡略化する。即ち、格子点(a,b)において、波長400〜500nmでの光強度をＢ、波長500〜600nmでの光強度をＧ、波長600〜700nmでの光強度をＲ、波長700nm以上での光強度をＩとする。即ち、可視光の３原色青、緑、赤の強度がＢ、Ｇ、Ｒであり、近赤外光強度がＩである。すると、格子点(a,b)を囲む４つの色フィルタを透過する光強度は、黄(Ye)透過光がＧ＋Ｒ＋Ｉ、マゼンダ(Mg)透過光がＢ＋Ｒ＋Ｉ、シアン(Cy)透過光がＢ＋Ｇ＋Ｉである。フィルタ無し(X)透過光はＢ＋Ｇ＋Ｒ＋Ｉとなる。これらを、次のように記す。
【数１】
0004453189.tif 000002
【００３４】
式(1-1)、(1-2)、(1-3)及び(1-4)から、次の通り青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度が黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、フィルタ無し透過光強度Xの線型結合で求められる。
【数２】
0004453189.tif 000003
【００３５】
良く知られているように、Ｂ、Ｇ、Ｒから、輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを求めることで通常のテレビジョンの画像信号とすることができる。輝度信号Ｙは、一般的に次の式が用いられる。
【数３】
0004453189.tif 000004
【００３６】
よって、式(2-1)、(2-2)、(2-3)及び(3)から、輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙを黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cyで表せば、次のとおりとなる。
【数４】
0004453189.tif 000005
【００３７】
式(4-1)、(4-2)、(4-3)をＮＴＳＣ映像信号にエンコードすれば良い。また、可視光におけるモノクロ画像を表示するには、式(4-1)の輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙをどちらも０として出力すれば良い。
【００３８】
輝度信号Ｙに代えて、以下の擬似輝度信号Ｙ1を、色差信号Ｒ−Ｙ、Ｂ−Ｙに代えて擬似色差信号Ｒ−Ｙ1、Ｂ−Ｙ1を用いることで、近赤外光強度を輝度信号強度に含む擬似カラー画像とすることも可能である。即ち、次のとおりである。
【数５】
0004453189.tif 000006
【００３９】
可視光から近赤外光までのモノクロ画像を表示するには、式(5-1)の擬似輝度信号Ｙ1と、擬似色差信号Ｒ−Ｙ1及びＢ−Ｙ1をどちらも０として出力すれば良い。更に、近赤外光のみのモノクロ画像を表示するには、式(2-4)を輝度信号とし、２つの色差信号をどちらも０とすれば良い。
【００４０】
図２において、格子点(1,1)を囲む４個の色フィルタは、左上がMg、左下がYe、右下がCy、右上がXである。格子点(1,1)の右隣の格子点(1,2)を囲む４個の色フィルタは、左上がX、左下がCy、右下がYe、右上がMgである。格子点(1,1)の下隣の格子点(2,1)を囲む４個の色フィルタは、左上がYe、左下がMg、右下がX、右上がCyである。格子点(1,2)の下隣の格子点(2,2)を囲む４個の色フィルタは、左上がCy、左下がX、右下がMg、右上がYeである。このように、４種類の色フィルタは規則的に配置されている。よって各格子点について、上記の式(1-1)乃至(5-3)を適用する際は、その格子点を囲む４個のフィルタに覆われた画素の出力を用いる。
【００４１】
〔第２実施例〕
図３における黄(Ye)、マゼンダ(Mg)、シアン(Cy)の３つの色フィルタを重ねることで、波長700nm以上の近赤外光のみを透過するフィルタIRを形成することができる。この近赤外光のみを透過するフィルタIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図４に示す。任意の格子点について、それを囲む４つの色フィルタを透過する光強度は、黄(Ye)透過光がＧ＋Ｒ＋Ｉ、マゼンダ(Mg)透過光がＢ＋Ｒ＋Ｉ、シアン(Cy)透過光がＢ＋Ｇ＋Ｉであり、近赤外光フィルタ(IR)透過光はＩとなる。即ち、次のようである。
【数６】
0004453189.tif 000007
【００４２】
式(6-1)、(6-2)、(6-3)及び(6-4)から、次の通り青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度が黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、近赤外光フィルタ透過光強度IRの線型結合で求められる。
【数７】
0004453189.tif 000008
【００４３】
式(7-1)乃至(7-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４４】
〔第３実施例〕
図３における黄(Ye)、マゼンダ(Mg)の２つの色フィルタを重ねることで、波長600nm乃至700nmの赤と、波長700nm以上の近赤外光を透過するフィルタRIRを形成することができる。このフィルタRIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図５に示す。透過光強度は式(8-1)乃至(8-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(9-1)乃至(9-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、赤色光及び近赤外光フィルタ透過光強度RIRの線型結合で求められる。
【数８】
0004453189.tif 000009
【数９】
0004453189.tif 000010
【００４５】
式(9-1)乃至(9-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４６】
〔第４実施例〕
図３における黄(Ye)、シアン(Cy)の２つの色フィルタを重ねることで、波長500nm乃至600nmの緑と、波長700nm以上の近赤外光を透過するフィルタGIRを形成することができる。このフィルタGIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図６に示す。透過光強度は式(10-1)乃至(10-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(11-1)乃至(11-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、緑色光及び近赤外光フィルタ透過光強度GIRの線型結合で求められる。
【数１０】
0004453189.tif 000011
【数１１】
0004453189.tif 000012
【００４７】
式(11-1)乃至(11-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００４８】
〔第５実施例〕
図３におけるマゼンダ(Mg)、シアン(Cy)の２つの色フィルタを重ねることで、波長400nm乃至500nmの青と、波長700nm以上の近赤外光を透過するフィルタBIRを形成することができる。このフィルタBIRを、第１実施例のフィルタ無し(X)の替わりに配置させた色フィルタ群３の構成を図７に示す。透過光強度は式(12-1)乃至(12-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(13-1)乃至(13-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy、青色光及び近赤外光フィルタ透過光強度BIRの線型結合で求められる。
【数１２】
0004453189.tif 000013
【数１３】
0004453189.tif 000014
【００４９】
式(13-1)乃至(13-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００５０】
〔第６実施例〕
波長透過特性が図８の（ａ）のような波長400nm乃至600nmの可視光のみを透過するシアンフィルタ(Cy')と、波長400nm乃至700nmの可視光のみを透過する可視光フィルタ(V)とを用い、図９のように色フィルタ群３を構成しても良い。透過光強度は式(14-1)乃至(14-4)となり、青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(15-1)乃至(15-4)の通り黄透過光強度Ye、マゼンダ透過光強度Mg、シアン透過光強度Cy'、可視光透過光強度Vの線型結合で求められる。
【数１４】
0004453189.tif 000015
【数１５】
0004453189.tif 000016
【００５１】
式(15-1)乃至(15-4)を基に、第１実施例と全く同様にして、近赤外光の影響のない可視光カラー画像、可視光モノクロ画像、擬似カラー画像、そのモノクロ画像、可視光の影響のない近赤外光モノクロ画像を得ることができる。
【００５２】
〔第７実施例〕
第１乃至第６実施例において、固体撮像素子全体において輝度信号Ｙにより可視光の強度を判定するか、または、固体撮像素子全体において例えばＩ−（Ｂ＋Ｇ＋Ｒ）をもとめることにより可視光の強度と近赤外光の強度を比較した結果に基づいて、画像を可視光と擬似（可視光と近赤外光の和）と近赤外光とで切り換えても良い。尚、第１実施例においてはＩ−（Ｂ＋Ｇ＋Ｒ）＝３X-(Cy+Mg+Cy)、ただし全画素で加算する。その他の実施例においても同様に４種のフィルタ透過光強度の全画素での加算により導くことができる。
【００５３】
〔第１の変形例〕
図１０のように、フィルタ無し(X)、黄色光透過補色フィルタ(Ye)、赤色光・近赤外光透過フィルタ(RIR)、近赤外光透過・可視光非透過フィルタ(IR)を用いても良い。青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(16-1)乃至(16-4)の通り、フィルタ無し光強度X、黄色光透過光強度Ye、赤色光・近赤外光透過光強度RIR、近赤外光透過・可視光非透過光強度IRの線型結合で求められる。
【数１６】
0004453189.tif 000017
【００５４】
〔第２の変形例〕
図１１のように、フィルタ無し(X)、可視光透過・近赤外光非透過フィルタ(V)、近赤外光非透過・シアン光透過補色フィルタ(Cy')、青色光透過原色フィルタ(B)を用いても良い。青色光透過原色フィルタ(B)のフィルタ特性は図１２のようである。青Ｂ、緑Ｇ、赤Ｒ、赤外Ｉの各強度は式(17-1)乃至(17-4)の通り、フィルタ無し光強度X、可視光透過・近赤外光非透過光強度V、近赤外光非透過・シアン光透過光強度Cy'、青色光透光強度Bの線型結合で求められる。
【数１７】
0004453189.tif 000018
【００５５】
〔第３の変形例〕
第１乃至第７実施例においては、ほとんどの波長に対し、透過率が０又は１のフィルタを用いたが、図１３のような透過特性を有する３種のフィルタを用いて第１の実施例の補色系フィルタを代替したものも当然本願発明に包含される。図１３において、λB＝λr、λG＝λIRとしたが、本願はこれに限定されない。
【００５６】
以上述べたように、本願発明により原色系のフィルタ無しで可視光画像か得られる。よって、可視光画像を基にホワイトバランスを決定すれば、適切な色バランスが得られる。また、出力信号について、自動利得調整を行うＡＧＣ回路、ガンマ補正回路を通して処理するなど、公知のカメラ信号処理を加えても良い。また、固体撮像素子は可視光から近赤外光に渡って感度を有すれば良く、ＣＭＯＳ撮像素子に限定されない。色フィルタ群を形成する色フィルタの配置は図２、図４乃至図７、図９その他に限定されず、且つそれらを組み合わせても良い。映像出力信号はＮＴＳＣに限定されず、ＰＡｌ、ＲＧＢ信号でも良い。画像切替は１フレーム単位でなく、画面分割によっても良く、画素毎に切り換えても良い。色再現のために電子回路による色補正を加えても良い。
【図面の簡単な説明】
【図１】  本発明の具体的な実施例に係る撮像装置の構成を示すブロック図。
【図２】  本発明の具体的な第１実施例に係る色フィルタの配置を示す平面図。
【図３】  本発明の具体的な第１実施例に係る３つの色フィルタの波長に対する透過率を示したグラフ図。
【図４】  本発明の具体的な第２実施例に係る色フィルタの配置を示す平面図。
【図５】  本発明の具体的な第３実施例に係る色フィルタの配置を示す平面図。
【図６】  本発明の具体的な第４実施例に係る色フィルタの配置を示す平面図。
【図７】  本発明の具体的な第５実施例に係る色フィルタの配置を示す平面図。
【図８】  本発明の具体的な第６実施例に係る２つの色フィルタの波長に対する透過率を示したグラフ図。
【図９】  本発明の具体的な第６実施例に係る色フィルタの配置を示す平面図。
【図１０】  第１の変形例に係る色フィルタの配置を示す平面図。
【図１１】  第２の変形例に係る色フィルタの配置を示す平面図。
【図１２】  第２の変形例に係る色フィルタの波長に対する透過率を示したグラフ図。
【図１３】  第３の変形例に係る３つの色フィルタの波長に対する透過率を示したグラフ図。
【符号の説明】
１  レンズ
２  光学ローパスフィルタ
３  色フィルタ群
４  固体撮像素子駆動回路
５  固体撮像素子
６  画像切替制御装置
７  信号処理回路
B   青色光透過原色フィルタ
Ye  黄色光透過補色フィルタ
Mg  マゼンダ光透過補色フィルタ
Cy  シアン光透過補色フィルタ
Cy’近赤外光非透過・シアン光透過補色フィルタ
IR  近赤外光透過・可視光非透過フィルタ
RIR 赤色光・近赤外光透過フィルタ
GIR 緑色光・近赤外光透過フィルタ
BIR 青色光・近赤外光透過フィルタ
V   可視光透過・近赤外光非透過フィルタ
【図１】
0004453189.tif 000019
【図２】
0004453189.tif 000020
【図３】
0004453189.tif 000021
【図４】
0004453189.tif 000022
【図５】
0004453189.tif 000023
【図６】
0004453189.tif 000024
【図７】
0004453189.tif 000025
【図８】
0004453189.tif 000026
【図９】
0004453189.tif 000027
【図１０】
0004453189.tif 000028
【図１１】
0004453189.tif 000029
【図１２】
0004453189.tif 000030
【図１３】
0004453189.tif 000031