(57)【要約】【課題】赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設けることなく、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用可能なカメラを提供する。【解決手段】通常のベイヤー配列の１ユニットを構成するＲＧＢＧ４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分ける。ＲＧＢの３画素には赤外カットフィルタをかける。そして、昼間などの比較的明るいときは第１のモードでＲＧＢの３画素を主に用いて画素補間し、夜間などの比較的暗いときは第２のモードでＩＲの１画素を主に用いて画素補間するようにすることにより、ソフトウェア的な切り替えだけで、明るい被写体での色再現性向上と暗い被写体での感度向上とを両立できるようにする。【選択図】        図２
2005006066.tif 000002
【特許請求の範囲】
【請求項１】
赤緑青から成る３原色のうち緑のフィルタと他の１色のフィルタとを交互に配置した第１のラインと、
上記３原色のうち残り１色のフィルタと少なくとも赤外領域に感度を有する赤外フィルタとを交互に配置した第２のラインとを有し、
上記第１のラインと上記第２のラインとを交互に配列したモザイク状のフィルタから成ることを特徴とする固体撮像素子用カラーフィルタ。
【請求項２】
上記３原色の色フィルタが配置される画素位置に、赤外光を遮断する赤外カットフィルタを更に配置したことを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。
【請求項３】
上記３原色の色フィルタは、赤緑青の各分光特性に、赤外光を遮断する赤外カットフィルタの分光特性を掛け合わせた特性を有する色フィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。
【請求項４】
上記赤外フィルタは、白のフィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。
【請求項５】
上記赤外フィルタは、略赤外領域にのみ分光特性を有する赤外透過フィルタであることを特徴とする請求項１に記載の固体撮像素子用カラーフィルタ。
【請求項６】
請求項１〜５の何れか１項に記載の固体撮像素子用カラーフィルタと、
上記固体撮像素子用カラーフィルタが配置される固体撮像素子と、
上記固体撮像素子により撮像された各画素の信号を補間処理して画像データを生成する信号処理手段と、
上記３原色の色フィルタが配置された画素の情報および上記赤外フィルタが配置された画素の情報の利用比率を異ならせた画素補間演算により上記画像データを生成する複数のモードを切替制御するモード制御手段とを備えたことを特徴とするカラー撮像装置。
【請求項７】
赤外照明用の発光素子を備えたことを特徴とする請求項６に記載のカラー撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置に関し、特に、昼夜兼用で使用可能なカメラに用いて好適なものである。
【０００２】
【従来の技術】
近年、デジタルカメラや携帯電話等における画質の向上を実現するために、撮像素子の技術革新が進んでいる。これまでは、画素数を多くすることに主眼が置かれてきたが、画素数以外で画質を向上させる工夫も図られている。
【０００３】
一般に、撮像素子には、１画素につき１枚のカラーフィルタが取り付けられている。図６（ａ）のように赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色系３色を使うもの（いわゆるベイヤー配列）と、図６（ｂ）のようにシアン（Ｃｙ）、マゼンタ（Ｍｇ）、黄（Ｙｅ）、緑（Ｇ）の補色系４色を使うものとがある。原色系は色の再現性に優れ、補色系は感度に優れる。
【０００４】
撮像素子で撮像された信号を用いて画像を生成するには、色情報の他に輝度情報が必要である。カラーフィルタとして原色系のベイヤー配列を用いた場合、緑は赤と青の中間の波長なので、緑のフィルタは赤や青の光も少し透過する。そのため、従来は緑の画素で撮像された信号を用いて輝度情報を得ていた。図６（ａ）に示すように、緑の画素は水平方向および垂直方向の各ラインに存在するので、水平解像度と垂直解像度は比較的高くなる。
【０００５】
ところで、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を用いたカラー撮像装置では、光学系に光が入射したときに撮像素子等による光の散乱や反射によって像面全体にかぶりが生じる現象であるフレアの防止、色再現性の改善のため、赤外成分をカットする赤外カットフィルタを撮像素子の前面に配置していることが多い。ただ、赤外カットフィルタを用いると感度が落ちるため、感度を重視する場合には、赤外カットフィルタは用いずに赤外領域の光も取り込むことで、感度の向上を図っている。
【０００６】
また、フレア防止および色再現性の改善と、感度の向上との双方を両立する方法として、赤外カットフィルタの使用をＯＮ／ＯＦＦできるようにした撮像装置も提供されている。この種の撮像装置は、照度が十分にある昼間は赤外カットフィルタをＯＮとし、カラーカメラとして使用する。一方、照度が不足する夜間は赤外カットフィルタをＯＦＦとし、赤外領域の光を使って白黒カメラとして使用することが可能となっている。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、赤外カットフィルタをＯＮ／ＯＦＦするために、フィルタを機械的に移動させるための機構を設けることが必要となる。そのため、撮像装置の小型軽量化を阻むとともに、コストアップの要因になっているという問題があった。また、機械的な可動部の動作性能や耐久性などに信頼性の問題もあった。
【０００８】
本発明は、このような問題を解決するために成されたものであり、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設けることなく、昼間の色再現性と夜間の感度とを両立して昼夜連続で利用することができるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の固体撮像素子用カラーフィルタは、赤緑青の３原色のフィルタと、少なくとも赤外領域に感度を有する赤外フィルタとを組み合わせて配置したものである。具体的には、緑のフィルタと他の１色（例えば青）のフィルタとを交互に配置した第１のラインと、残り１色（例えば赤）のフィルタと赤外フィルタとを交互に配置した第２のラインとを有し、第１のラインと第２のラインとを交互に配列して構成される。
【００１０】
好ましくは、３原色の色フィルタが配置される画素位置には、赤外光を遮断する赤外カットフィルタを更に配置する。あるいは、色フィルタの他に赤外カットフィルタを更に配置するのではなく、赤緑青の各分光特性に赤外カットフィルタの分光特性を掛け合わせたものを赤緑青の各分光特性として持たせた色フィルタを構成し、当該色フィルタを配置するようにしても良い。
【００１１】
赤外フィルタは、例えば白色のフィルタで構成する。その他の態様では、略赤外領域にのみ分光特性を有する赤外透過フィルタで構成する。
【００１２】
また、本発明のカラー撮像装置は、上述の固体撮像素子用カラーフィルタと、当該固体撮像素子用カラーフィルタが配置される固体撮像素子と、固体撮像素子により撮像された各画素の信号を補間処理して画像データを生成する信号処理手段と、色フィルタが配置された画素の情報および赤外フィルタが配置された画素の情報の利用比率を異ならせた画素補間演算により画像データを生成する複数のモードを切替制御するモード制御手段とを備えたことを特徴とする。
本発明のカラー撮像装置は、赤外照明用の発光素子を備えても良い。
【００１３】
【発明の実施の形態】
以下、本発明の一実施形態を図面に基づいて説明する。図１は、本発明によるカラー撮像装置を実施したデジタルカメラ１０の全体構成を示すブロック図である。
【００１４】
図１に示すように、本実施形態のデジタルカメラ１０は、シャッタ１ａ、レンズ１ｂ、アイリス１ｃを備えた光学系１と、ＣＣＤあるいはＣＭＯＳ等の撮像素子２と、アナログ信号処理部３と、Ａ／Ｄ変換器４と、画像処理部５と、デジタルカメラ１０の全体を制御するコントローラ６と、操作部７とを備えて構成されている。撮像素子２の前面には、本実施形態のカラーフィルタ２ａが配置されている。
【００１５】
このように構成されたデジタルカメラ１０において、光学系１への入射光は、シャッタ１ａ、レンズ１ｂおよびアイリス１ｃを介して撮像素子２にて結像される。撮像素子２では、結像した入射光を光電変換して、当該入射光に応じたアナログの撮像信号を生成する。ここで生成された各画素ごとのアナログ信号は、アナログ信号処理部３でノイズが除去された後、Ａ／Ｄ変換器４に供給されて各画素ごとのデジタル信号に変換される。
【００１６】
Ａ／Ｄ変換器４で得られたデジタル信号は、画像処理部５に供給される。画像処理部５は、各画素ごとのデジタル信号に対して色補間処理、色補正処理等を含む各種信号処理を行う。撮像素子２の各画素は、カラーフィルタ２ａを通過した後の光の強さしか検出できないので、この時点ではまた１画素当たり１色分の情報しかない。画像処理部５は、各画素の信号を補間演算することによって１画素ごとの色を決定し、画像データを生成する。
【００１７】
補間演算の手法には様々なものがあり、本実施形態では任意の手法を適用することが可能である。例えば、ある画素の色を決定するときに、その周辺画素の平均値を演算するといったバイリニア補間を適用することが可能である。詳しくは後述するが、本実施形態ではこの補間演算に関して、３原色の色フィルタが配置された画素の情報を主に利用して補間演算を行う第１のモードと、赤外フィルタが配置された画素の情報を主に利用して補間演算を行う第２のモードとを有し、コントローラ６の制御によりモードを切り替えられるようになっている。何れのモードに切り替えるかは、例えば、ユーザが操作部７を操作することによって指定することが可能である。
【００１８】
以上の構成において、アナログ信号処理部３、Ａ／Ｄ変換器４および画像処理部５により本発明の信号処理手段が構成される。また、コントローラ６により本発明のモード制御手段が構成される。
【００１９】
図２は、カラーフィルタ２ａのフィルタ配列を示す図である。通常のベイヤー配列では、図６（ａ）に示したように、ＲＧＢ３原色のフィルタをモザイク状に配列し、ＲＧＢＧの４画素で１ユニットを形成している。これに対して、本実施形態のカラーフィルタ２ａは、図２に示すように、ＲＧＢＧのうち１つのＧフィルタを、少なくとも赤外領域に感度を有する赤外フィルタ（ＩＲフィルタ）に置き換えて構成する。
【００２０】
すなわち、本実施形態のカラーフィルタ２ａは、水平方向に見てＧフィルタとＢフィルタとを交互に配置した第１のラインと、ＲフィルタとＩＲフィルタとを交互に配置した第２のラインとを有し、第１のラインと第２のラインとを交互に配列して各フィルタをモザイク状に構成している。これを垂直方向に見ると、ＧフィルタとＲフィルタとを交互に配置した第１のラインと、ＢフィルタとＩＲフィルタとを交互に配置した第２のラインとを交互に配列した構成となっている。
【００２１】
ここで、３原色の色フィルタはそのまま用いても構わないが、好ましくは、当該３原色の色フィルタが配置される画素位置に、赤外光を遮断する赤外カット（ＩＲＣ）フィルタを更に配置する。または、３原色の色フィルタと赤外カットフィルタとを重ねて配置するのではなく、ＲＧＢの各分光特性に赤外カットフィルタの分光特性を掛け合わせた特性を有する色フィルタを構成し、これを配置するようにしても良い（ＲＧＢフィルタの各分光特性とＩＲＣフィルタの分光特性とを図３に示す）。
【００２２】
一方、赤外フィルタは、可視光および赤外光の両方に分光特性を持たせたものであっても良いし（例えば、白色のフィルタ）、昼間の明るい被写体撮影時におけるスミア（高輝度の光が入射した画素からあふれた電荷が信号線や転送部に流入し、当該画素から上下方向に帯状の偽信号が現れる現象）発生防止等のために、赤外領域にのみ分光特性を持たせたものであっても良い。赤外領域にのみ分光特性を持たせる場合は、赤外光のみを透過させる赤外透過フィルタを用いても良いし、赤外光照明のピーク波長となる８００ｎｍ付近で最大感度が得られる分光特性を持たせたフィルタを用いても良い。赤外カットフィルタで赤外領域をカットしないため、赤外領域の分光感度はできるだけ高くする。
【００２３】
図４および図５は、３原色の色フィルタおよび赤外フィルタの分光特性を示す図である。このうち図４は、赤外フィルタとして白色フィルタを用いた場合を示し、図５は、赤外フィルタとして赤外透過フィルタを用い場合の分光特性を示している。白色フィルタは、ＲＧＢの可視光を全て透過し、かつ、赤外領域の光も透過するような分光特性を有している。また、赤外透過フィルタは、ＲＧＢの可視光は殆ど透過せずに遮断し、赤外領域の光だけを透過するような分光特性を有している。
【００２４】
白色フィルタを用いる場合、可視光の感度に比べて赤外光の感度が良すぎて、スミアが発生するのを防止するために、白色フィルタの前面にＮＤ（ニュートラルデンシティ）フィルタを配置し、赤外光の透過光量を落とすことにより、可視光の感度と赤外光の感度とがほぼ同じ程度となるようにしても良い。また、白色フィルタとＮＤフィルタとを重ねて配置するのではなく、白色フィルタの分光特性にＮＤフィルタの分光特性を掛け合わせた特性を有するフィルタを構成し、これをＩＲフィルタとして配置するようにしても良い。
【００２５】
上述のように、図１の画像処理部５では、操作部７の操作に従ってコントローラ６の制御により切り替えられた何れかのモードの下で補間演算を行う。第１のモードでは、可視光の光電変換信号、すなわち、ＲＧＢの色フィルタ（赤外カットフィルタの分光特性が掛け合わされたもの）が配置された画素の情報を主に利用して補間演算を行う。ここで言う「主に利用する」とは、色フィルタが配置された画素の利用比率が、赤外フィルタが配置された画素の利用比率よりも大きいことを意味する。例えば、色フィルタが配置された画素の情報だけを利用して補間演算を行う。この第１のモードは色再現性が良く、昼間の撮影に適している。
【００２６】
一方、第２のモードでは、赤外光の光電変換信号、すなわち、赤外フィルタが配置された画素の情報を主に利用して補間演算を行う。ここで言う「主に利用する」とは、赤外フィルタが配置された画素の利用比率が、色フィルタが配置された画素の利用比率よりも大きいことを意味する。例えば、赤外フィルタが配置された画素の情報だけを利用して補間演算を行う。この第２のモードは感度が高く、夜間の撮影に適している。
【００２７】
なお、第１のモードにおいて赤外フィルタの画素情報を全く利用しない場合、輝度情報を抽出するＧフィルタの画素は、４画素の１ユニット中に１つしか存在しない。また、第２のモードにおいて色フィルタの画素情報を全く利用しない場合も、輝度情報を抽出するＩＲフィルタの画素は、４画素の１ユニット中に１つしか存在しない。そのため、通常のベイヤー配列に比べて、水平および垂直の解像度は共に半分に落ちてしまう。
【００２８】
しかし、最近のデジタルカメラは画素数が飛躍的に多くなっており、画素数自体で大きな解像度を確保できている。そのため、解像度が半減してもあまり問題はない。例えば、１３０万画素（水平１２８０×垂直１０２４）のＣＣＤを考えてみると、実効解像度は（水平６４０×垂直５１２）であり、ＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）やＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ  ｓｔａｎｄａｒｄ）フォーマットで使用する分には十分な解像度を得ることができる。
【００２９】
以上詳しく説明したように、本実施形態によれば、ベイヤー配列の１ユニットを構成する４画素のうち１つのＧフィルタをＩＲフィルタに置き換えて、ＲＧＢフィルタを第１のモード用、ＩＲフィルタを第２のモード用に振り分ける。そして、昼間などの比較的明るいときは第１のモードでＲＧＢの３画素を主に用いて画素補間し、夜間などの比較的暗いときは第２のモードでＩＲの１画素を主に用いて画素補間するようにしている。このように、撮影条件に応じた補間処理を行うことにより、昼間の色再現性向上と夜間の感度向上との両立を図ることができる。
【００３０】
また、本実施形態では、カラーフィルタ２ａのフィルタ配列を工夫し、ＲＧＢの３画素に対してのみ赤外カットフィルタをかけ、ＩＲの１画素には赤外カットフィルタはかけないようにしている。そして、補間演算の際にどちらの画素を主に利用するのかをソフトウェア的に決めているので、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設ける必要がなく、撮像装置の小型軽量化、コストダウン、信頼性の向上を図ることができる。
【００３１】
なお、上記実施形態では、第１のモードでは色フィルタの画素情報だけを利用し、第２のモードでは赤外フィルタの画素情報だけを利用する例について説明したが、この例に限定されない。すなわち、第１のモードにおいて、色フィルタの画素情報の利用比率が赤外フィルタの画素情報の利用比率よりも大きくなっていれば、赤外フィルタの画素情報を多少用いても良い。同様に、第２のモードにおいて、赤外フィルタの画素情報の利用比率が色フィルタの画素情報の利用比率よりも大きくなっていれば、色フィルタの画素情報を多少用いても良い。
【００３２】
また、上記実施形態では、第１のモードと第２のモードとの切り替えを、ユーザが操作部７を操作することによって行う例について説明したが、自動的に切り替えられるようにしても良い。例えば、撮像素子２で受光した光量に基づいて周囲の照度を検出し、照度が所定の閾値より大きいときは第１のモード、閾値より小さいときは第２のモードに自動的に切り替えるようにしても良い。撮像素子２の代わりに、照度を検出するための専用の受光素子を設けても良い。
【００３３】
また、上記実施形態ではカラー撮像装置１０を図１のように構成したが、これらの構成要素に加えて、赤外照明用の発光素子（赤外発光ＬＥＤなど）を更に備えるようにしても良い。赤外光に非常に強い感度を持つ赤外フィルタの画素情報を使う第２のモードにおいて、被写体に赤外光を照射して撮影を行うことにより、いままで撮影できなかったより暗い被写体の撮影（例えば、真っ暗闇での撮影）も可能となる。
【００３４】
また、上記実施形態では、第１のモードと第２のモードとの２つのモードの切り替えについて説明したが、３つ以上のモードを切り替えられるようにしても良い。例えば、第１〜第ｎ（ｎ≧３）のモードを有し、第１のモードでは色フィルタの画素情報だけを用いて画素補間を行う。第２のモードでは、色フィルタの画素情報に赤外フィルタの画素情報をある程度加えて画素補間を行う。第３のモードでは、赤外フィルタの画素情報の利用比率を第２のモードよりも大きくして画素補間を行うといったように、赤外フィルタの画素情報の利用比率を徐々に大きくしていく。そして、第ｎのモードでは赤外フィルタの画素情報だけを用いて画素補間を行うようにすることが可能である。
【００３５】
また、上記実施形態では、本実施形態のカラーフィルタをデジタルカメラに適用する例について説明したが、これに限定されない。例えば、デジタルビデオカメラ、カメラ付き携帯電話機、監視カメラ、カメラ付きＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などにも適用することが可能である。これらの端末は、昼間の明るい被写体から夜間の暗い被写体を撮影する機会が多いので、本実施形態を適用して好適なものである。
【００３６】
また、以上に説明した撮像素子２は、光電変換信号の読み出し方式としてプログレッシブ方式（全画素読み出し方式）およびフレーム読み出し方式の双方に適用することが可能である。
【００３７】
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
【００３８】
【発明の効果】
以上説明したように本発明によれば、赤外カットフィルタをＯＮ／ＯＦＦするための機械的な機構を設ける必要もなく、明るい被写体での色再現性の改善と暗い被写体での感度の向上とを両立して、昼夜連続で利用可能なカラー撮像装置を提供することができる。機械的な機構部品が無くなることにより、撮像装置の小型軽量化、コストダウン、信頼性の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明によるカラー撮像装置を実施したデジタルカメラの全体構成を示すブロック図である。
【図２】本実施形態によるカラーフィルタのフィルタ配列を示す図である。
【図３】色フィルタおよび赤外カットフィルタの分光特性を示す図である。
【図４】色フィルタおよび赤外フィルタの分光特性を示す図である。
【図５】色フィルタおよび赤外フィルタの分光特性を示す図である。
【図６】従来のカラーフィルタのフィルタ配列を示す図である。
【符号の説明】
１  光学系
１ａ  シャッタ
１ｂ  レンズ
１ｃ  アイリス
２  撮像素子
２ａ  カラーフィルタ
３  アナログ信号処理部
４  Ａ／Ｄ変換器
５  画像処理部
６  コントローラ
７  操作部
１０  デジタルカメラ
【図１】
2005006066.tif 000003
【図２】
2005006066.tif 000004
【図３】
2005006066.tif 000005
【図４】
2005006066.tif 000006
【図５】
2005006066.tif 000007
【図６】
2005006066.tif 000008