(57)【特許請求の範囲】
【請求項１】
２×２の４画素配列を単位配列とする２次元の周期配列として構成された撮像画素色配列を有し、前記単位配列を構成する第１〜第４の４画素のうち互いに対角に位置する第１と第３の画素は加色混合の３原色ＲＧＢのうちのＧの相対分光感度特性を有し、他の２画素はそれぞれ第２の画素がＲ＋ｋ１×Ｂ，第４の画素がＢ＋ｋ２×Ｒ（但し、ｋ１，ｋ２は１／４以上３／４以下の係数）に相当する相対分光感度特性を有したものであることを特徴とするカラー撮像素子。
【請求項２】
前記請求項１に係るカラー撮像素子と、該カラー撮像素子の前記第１〜第４の各画素に対応して得られる各画素情報信号に基づいてカラー映像信号を生成する映像信号生成手段とを備えていることを特徴とする撮像装置。
【請求項３】
前記映像信号生成手段は、ＲＧＢベイヤ配列の撮像素子出力に対応した色マトリクス手段と、該色マトリクス手段以前に設けられ前記第２の画素情報と前記第４の画素情報によりＲ及びＢの各色信号を算出する演算手段とを備えていることを特徴とする請求項２に係る撮像装置。
【請求項４】
前記映像信号生成手段は、前記１つの単位配列の４画素の画素値に基づいて高域輝度信号たる輝度エッジ信号を算出するエッジ信号生成手段を含んでいることを特徴とする請求項３に係る撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、フィルタの構成を改善し輝度偽エッジを低減すると共に感度を向上させた輝度信号が得られるようにしたカラー撮像素子、及び該カラー撮像素子を用いた撮像装置に関する。
【０００２】
【従来の技術】
従来、単板カラー撮像素子においては、ベイヤ配列のＲＧＢ原色フィルタや各種の補色フィルタが広く用いられている。ベイヤ配列のＲＧＢフィルタは補色フィルタよりも色再現性が優れているため、高画質用途に適しており多用されている。
【０００３】
ベイヤ配列のＲＧＢフィルタを用いた単板カラー撮像素子を用いてカラー撮像信号を生成する場合は、Ｒ，Ｇ，Ｂ３原色信号を２次元ＬＰＦ処理（近傍４画素信号の平均処理）を行った後に、色マトリクス回路で演算処理を行い、輝度信号Ｙと２つの色差信号（Ｒ−Ｙ），（Ｂ−Ｙ）を得るようにしている。この輝度信号Ｙは、人間の眼の色に対する感度に合うように、次式（１）で表されるように構成されている。
Ｙ＝0.3 Ｒ＋0.59Ｇ＋0.11Ｂ  ・・・・・・・・・・（１）
【０００４】
しかしながら、（１）式で求められる輝度信号は広帯域の信号であり、Ｇ信号は視感度に近いが、Ｒ，Ｂ信号は視感度とも大きく離れていると共に、両者の分光特性も極端に違うため、単純にマトリスク演算処理を行うと、輝度信号にギザギザの段部が生じる輝度偽エッジが発生する。
【０００５】
すなわち、図４の（Ａ）に示すようなベイヤ配列ＲＧＢフィルタを用いた単板カラー撮像素子において、１画素ずつずらして組み合わせを変えた４画素単位101 ，102 ，・・・・・の画素信号の平均値を、画素位置201 ，202 ，・・・・・の値として求め、これらの画素位置201 ，202 ，・・・・・の値を用いて、上記（１）式により輝度信号Ｙを生成した場合、被写体の輝度や色の境目が撮像素子の画素配列に平行になっている場合は問題ないが、図４の（Ａ）においてライン301 で示すように斜めに境界が存在している場合には、図４の（Ｂ）に示すように、境目にギザギザの段部状の偽エッジのある輝度信号が生成されてしまう。この現象は、ベイヤ配列などのＲＧＢ原色フィルタを用いて単純に平均化を行ってマトリクス演算により輝度信号を求めた場合、色の境界部で極めて強く現れる。
【０００６】
このような４画素単位の画素信号の平均値から輝度信号を生成する場合に輝度偽エッジが発生するのを、最も効果的に且つ単純に回避するため、輝度信号を低域成分の輝度信号ＹL と高域成分の輝度信号ＹH を分けて生成し、これらを加算処理する方式において特に高域成分の輝度信号ＹH をＧ信号のみから生成する方法もあり、以下これについて詳述する。
【０００７】
低域成分の輝度信号ＹL は、通常４×４＝16画素の平均値、すなわちＧについては16画素中に含まれる８画素の画素信号の平均値、Ｒ，Ｂについては16画素中に含まれる４画素の画素信号の平均値を用い、ＹL ＝0.3 Ｒ＋0.59Ｇ＋0.11Ｂのマトリクス演算により求めるようにしている。
【０００８】
一方、高域成分の輝度信号（輝度エッジ信号）ＹH は、Ｇ信号のみを用いて生成する。すなわち、図５の（Ａ）に示すように、単板カラー撮像素子の画素Ｇ11，Ｇ21の画素信号の平均値、画素Ｇ12，Ｇ21の画素信号の平均値、画素Ｇ12，Ｇ22の画素信号の平均値というように、隣接したＧ画素の画素信号の平均値を求めて、これらを高域信号ＧH とし、このようにして求めた各高域信号ＧH に関して、それぞれ隣接する信号との差分信号を求め、これを高域成分の輝度信号ＹH とする。
【０００９】
例えば、図５の（Ｂ）に示すように、高域信号がＧH3である注目点において、差分により高域成分の輝度信号ＹH を求めると、次式（２）のように表される。
ＹH ＝（ＧH3−ＧH1）＋（ＧH3−ＧH2）＋（ＧH3−ＧH4）＋（ＧH3−ＧH5）
＝ＧH3×４−ＧH1−ＧH2−ＧH4−ＧH5  ・・・・・・・・・・（２）
【００１０】
このように、輝度信号Ｙを低域成分の輝度信号ＹL とＧ信号のみから生成した高域成分の輝度信号（輝度エッジ信号）ＹH とを加算して形成することにより、ぼけた低域成分の輝度信号ＹL に変化分として加算する高域成分の輝度信号ＹH が、Ｒ，Ｂ信号という極端に色特性の異なる成分を用いておらず、Ｇ信号のみ用いて生成されているので、輝度信号として用いる画素信号の画素位置には隙間があるけれども、個々の画素による分光特性の違いがないので、余りギザ部分の目立たない特性のよい輝度信号が得られる。なお、この場合、色信号生成については必要帯域が狭いため、低域輝度信号を用いた従来の処理を用いれば特に問題は生じない。
【００１１】
【発明が解決しようとする課題】
しかしながら、上記のように低域成分の輝度信号ＹL とＧ信号のみから生成した高域成分の輝度信号ＹH とを加算して輝度信号Ｙを形成した場合、高域成分の輝度信号ＹH はＧ信号のみを用い、本来利用可能なＲ，Ｂ信号は用いられていない。このように、本来使用可能なＲ，Ｂ信号を用いていないので、高域成分の輝度信号ＹH の信号出力レベルは相対的に低くなり、ノイズが増えてＳ／Ｎを低下させるという問題点がある。
【００１２】
本発明は、低域成分の輝度信号に高域成分の輝度信号を加算して輝度信号を生成していた従来の輝度信号の生成手法における上記問題点を解消するためになされたもので、Ｒ，Ｂ信号を含めた信号を用いて信号出力レベルの低減を抑え、且つできるだけ輝度偽エッジを低減した輝度信号が得られるようにしたカラー撮像素子及び該カラー撮像素子を用いた撮像装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、２×２の４画素配列を単位配列とする２次元の周期配列として構成された撮像画素色配列を有し、前記単位配列を構成する第１〜第４の４画素のうち互いに対角に位置する第１と第３の画素は加色混合の３原色ＲＧＢのうちのＧの相対分光感度特性を有し、他の２画素はそれぞれ第２の画素がＲ＋ｋ１×Ｂ，第４の画素がＢ＋ｋ２×Ｒ（但し、ｋ１，ｋ２は１／４以上３／４以下の係数）に相当する相対分光感度特性を有するようにカラー撮像素子を構成する。
【００１４】
このように、Ｒ画素とＢ画素に対して、それぞれ互いの相対分光感度特性を少し加えたような、つまりそれぞれ互いの相対分光感度特性がオーバーラップしたような相対分光感度特性をもたせるように構成することにより、Ｒ画素とＢ画素の信号出力レベル差が小さくなって、輝度偽エッジの発生が小さくなり、Ｇ画素信号にＲ及びＢ画素信号を加えて高域輝度信号を生成することが可能となる。これにより輝度感度を向上させることができ、輝度偽エッジの発生の低減と共に、Ｓ／ＮやＤレンジの向上を図ることが可能なカラー撮像素子を実現できる。なお、上記係数ｋ１，ｋ２を１／４〜３／４としているのは、係数を零とした場合は従来のＲＧＢ原色フィルタを用いたものと同じになり効果が得られず、また係数を１とした場合にはＧとマゼンタだけのフィルタとなって色信号が得られなくなり実用不可能となるので、その中間の１／４〜３／４程度が極めて効果的な領域であるという事実を根拠としているもので、その更に具体的な数値は、どの程度の偽エッジの発生を許容するか、あるいは感度をどの程度にするかに応じて、設計的に適宜設定される。
【００１５】
また、請求項２に係る発明は、前記請求項１に係るカラー撮像素子と、該カラー撮像素子の前記第１〜第４の各画素に対応して得られる各画素情報信号に基づいてカラー映像信号を生成する映像信号生成手段とを設けて撮像装置を構成するものである。
【００１６】
このように、請求項１に係るカラー撮像素子を用いて撮像装置を構成することにより、輝度偽エッジの発生を低減すると共に輝度感度を向上させ、Ｓ／ＮやＤレンジを向上させた撮像装置を実現することが可能となる。
【００１７】
また、請求項３に係る発明は、請求項２に係る撮像装置において、前記映像信号生成手段は、ＲＧＢベイヤ配列の撮像素子出力に対応した色マトリクス手段と、該色マトリクス手段以前に設けられ前記第２の画素情報と前記第４の画素情報によりＲ及びＢの各色信号を算出する演算手段とを備えていることを特徴とするものである。
【００１８】
このような構成の演算手段を色マトリクス手段以前に設けることにより、色マトリクス手段として従来のベイヤ配列ＲＧＢ原色フィルタを用いたカラー撮像素子に対応する構成のものをそのまま用いて、請求項１に係るカラー撮像素子を用いた撮像装置を構成することが可能となる。
【００１９】
また、請求項４に係る発明は、請求項３に係る撮像装置において、前記映像信号生成手段は、前記１つの単位配列の４画素の画素値に基づいて高域輝度信号たる輝度エッジ信号を算出するエッジ信号生成手段を含んでいることを特徴とするものである。
【００２０】
このような構成の輝度エッジ信号を算出するエッジ信号生成手段を設けることにより、比較的簡単な信号処理で輝度エッジ信号を生成することができる請求項１に係るカラー撮像素子を用いた撮像装置を実現することが可能となる。
【００２１】
【発明の実施の形態】
次に、実施の形態について説明する。図１は、本発明に係るカラー撮像素子の実施の形態を示すフィルタ配列図である。この実施の形態のカラー撮像素子におけるフィルタは、ベイヤ配列のＲＧＢ原色フィルタにおいて、Ｒ画素又はＢ画素に対応するフィルタ素子Ｒ′，Ｂ′として、それぞれ互いの特性がオーバーラップしたような相対分光感度特性をもつように構成されている。すなわち、Ｒ画素に対応するフィルタ素子Ｒ′は、Ｒ′（λ）＝Ｒ（λ）＋ｋ１×Ｂ（λ）の相対分光感度特性をもち、Ｂ画素に対応するフィルタ素子Ｂ′は、Ｂ′（λ）＝ｋ２×Ｒ（λ）＋Ｂ（λ）の相対分光感度特性をもつように構成される。ここで、Ｒ（λ），Ｂ（λ）は従来のＲ及びＢの相対分光感度特性を示し、係数ｋ１，ｋ２は１／４〜３／４に設定される。
【００２２】
このように構成されたベイヤ配列フィルタの各フィルタ素子Ｒ′，Ｇ，Ｂ′それぞれの分光感度特性を図示すると、図２に示すようになる。ここでフィルタ素子Ｒ′，Ｂ′は、それぞれの特性の最大ピーク部の値をｒ，ｂとした場合、互いに相手方の最大ピーク部に対して各係数を乗じた第２のピーク部ｋ１×ｂ，ｋ２×ｒを更に有した特性となっている。
【００２３】
次に、このような構成のカラー撮像素子を用いた撮像装置の実施の形態を、図３に示したブロック構成図に基づいて説明する。図３において、１はレンズ系、２はレンズ系駆動機構、３は露出制御機構、４はフィルタ系、５は図１に示した特性のカラーフィルタを備えたＣＣＤ撮像素子、６はＣＣＤドライバ、７はＡ／Ｄ変換器を含むプリプロセス回路、８はディジタルプロセス回路で、ハードとしてメモリを含み、全てのディジタルプロセス処理を行うものである。９はメモリカードインターフェース、10はメモリカード、11はＬＣＤ画像表示系、12は主たる構成としてマイコンを含むシステムコントローラ、13は操作スイッチ系、14は操作表示系、15はストロボ、16はレンズドライバ、17は露出制御ドライバである。
【００２４】
そして、上記ディジタルプロセス回路８には、輝度信号Ｙと２つの色差信号（Ｙ−Ｂ），（Ｙ−Ｒ）を生成するための色マトリクス回路８−１と、該色マトリクス回路８−１の前段に設けられた、Ｒ′ＧＢ′フィルタを備えたＣＣＤ撮像素子５からのＲ′，Ｂ′信号に基づいてＲ，Ｂの各色信号を算出するための演算回路８−２とを備えており、また色マトリクス回路８−１には、低域の輝度信号ＹL の他に、これと加算して輝度信号Ｙを形成するための輝度エッジ信号ＹH を生成する回路を備えている。なお、ここでＲ′ＧＢ′フィルタを構成している各フィルタ素子Ｒ′，Ｇ，Ｂ′に対応する画素からの画素情報信号を、それぞれＲ′信号、Ｇ信号、Ｂ′信号と呼ぶこととする。
【００２５】
このような特性のカラーフィルタを備えたＣＣＤ撮像素子５を用いたカラー撮像装置（ディジタルカメラ）においては、従来のカメラと同様に信号を読み出して処理し、撮像画像をメモリカード10に記録、あるいはＬＣＤ画像表示系11に表示する。従来と異なる動作は輝度信号の生成処理であるが、その処理は、ディジタルプロセス回路８内の前記色マトリクス回路８−１及び演算回路８−２がシステムコントローラ12の制御下において行うようになっている。
【００２６】
次に、この撮像装置における輝度信号Ｙの生成処理について説明する。まず、色マトリクス回路８−１の前段に設けられている演算回路８−２におけるＲ，Ｂ色信号の生成処理について説明する。Ｒ′ＧＢ′フィルタを備えたＣＣＤ撮像素子５からは、Ｒ′〔＝Ｒ＋ｋ１×Ｂ相当・・・（ア）〕，Ｇ，Ｂ′〔＝Ｂ＋ｋ２×Ｒ相当・・・（イ）〕の信号が出力されるので、演算回路８−２で次式（３），（４）により本来のＲ，Ｂ信号を算出する。
Ｒ＝Ｒ′−ｋ１×Ｂ′  ・・・・・・・・・・・・・（３）
Ｂ＝Ｂ′−ｋ２×Ｒ′  ・・・・・・・・・・・・・（４）
【００２７】
なお、上記（ア），（イ）による式の算出を厳密に取り扱えば、
Ｒ＝（Ｒ′−ｋ１×Ｂ′）／（１−ｋ１×ｋ２）  ・・・・・・（３）′
Ｂ＝（Ｂ′−ｋ２×Ｒ′）／（１−ｋ１×ｋ２）  ・・・・・・（４）′
となるが、この違いは単に定数ゲイン分のみであり、従来技術の範疇においても、このような相対ゲインは事前の調整を前提にしたりあるいはホワイトバランス回路で補正されるものであるため、このような意味から（３），（４）式と（３）′，（４）′式は同一視し得るものであって、上記（３），（４）式を用いることができる。
【００２８】
次いで、上記演算回路８−２で算出されたＲ，Ｂ信号及びＣＣＤ撮像素子５からのＧ信号に基づいて、前記（１）式に基づいて低域の輝度信号ＹL を算出する。この際、従来と同様に16画素の画素信号の平均値を用いる。すなわち、Ｇ信号に関しては16画素中の８画素の画素信号の平均をとり、Ｒ信号及びＢ信号に関しては16画素中の４画素の画素信号の平均をとる。この際、ＣＣＤ撮像素子からの直接の画素信号ではなく、上記（３），（４）式で算出された信号を用いて平均値を求める。
【００２９】
一方、高域の輝度信号（エッジ信号）ＹH は、４画素の信号、すなわち次式（５）で示すように、Ｇ１，Ｇ２，Ｒ（＝Ｒ′−ｋ１×Ｂ′），Ｂ（＝Ｂ′−ｋ２×Ｒ′）信号の平均値を求め、これをエッジ信号を生成するためのＥHn信号とし、従来と同様に次式（６）で示すように、このＥHn信号の差分信号を求めて高域の輝度信号ＹH を生成する。図５の（Ｂ）においてＧH3を注目点とした場合と同様に、（６）式ではＥH3を注目点のエッジ信号を生成するためのＥHn信号として、高域の輝度信号ＹH を差分信号により求める例を示している。
ＥHn＝（Ｇ１＋Ｇ２＋Ｒ＋Ｂ）／４  ・・・・・・・・・・・・・（５）
ＹH ＝４×ＥH3−（ＥH1＋ＥH2＋ＥH4＋ＥH5）  ・・・・・・・・（６）
なお、４画素信号の平均値からＥHnを求める際、次式（７）に示すようにＲ，Ｂ信号に重み付け係数ｑ１，ｑ２を乗じて感度調整を行うようにしてもよい。重み付け係数ｑ１，ｑ２は設計的に適宜設定される。
ＥHn＝（Ｇ１＋Ｇ２＋ｑ１・Ｒ＋ｑ２・Ｂ）／４  ・・・・・・・（７）
【００３０】
このようにして求めた低域の輝度信号ＹL と高域の輝度信号（エッジ信号）ＹH を加算して輝度信号Ｙを得る。この輝度信号Ｙにおける低域の輝度信号ＹL は、Ｒ，Ｂ信号としてそれぞれの特性がオーバーラップしたような特性をもつＲ′ＧＢ′フィルタのフィルタ素子Ｒ′，Ｂ′に対応する画素から得られた信号を用いて生成しているので、Ｒ，Ｂ信号に関しては、従来のＲＧＢフィルタを用いた場合よりその成分が若干少なくなるが、十分色信号は生成することができ、色再現性は低減されない。また高域の輝度信号（エッジ信号）は、４画素を用い、その平均値に基づいて生成しているので、Ｓ／ＮのよいＤレンジの向上させた輝度信号が得られると同時に、各フィルタの分光特性が従来よりも均一化しているため、輝度偽エッジの発生レベルも小さくなっている。
【００３１】
本実施の形態においては、従来のベイヤ配列のＲＧＢ原色フィルタのＲとＢフィルタ素子について、それぞれ互いの特性がオーバーラップしたような特性のＲ′，Ｂ′フィルタ素子とした、Ｒ′ＧＢ′フィルタを設けたＣＣＤ撮像素子を用い、その撮像信号を用いて輝度信号及び色差信号を得るようにしているが、Ｒ′及びＢ′フィルタ素子に対応する画素から得られた信号から本来の、すなわち従来のＲＧＢフィルタを用いた場合と全く同等のＲ，Ｂ信号を得る演算回路８−２を、色マトリクス回路８−１の前段に設けているので、色マトリクス回路８−１としては特別の構成のものを用意する必要はなく、従来のベイヤ配列ＲＧＢ原色フィルタを用いたカラー撮像素子に対応する構成のものを、そのまま用いることができる。
【００３２】
なお、上記では説明を省略したが、演算回路８−２と色マトリクス回路８−１の間には、ゲイン調節回路や、ホワイトバランス調節回路など従来の撮像装置において公知の信号処理回路が必要に応じて使用されることは勿論である。
【００３３】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、ＲＧＢ原色フィルタを有するカラー撮像素子において、Ｒ及びＢフィルタ素子として双方の相対分光感度特性がオーバーラップしたような相対分光感度特性をもつように構成しているので、本来のＲ信号とＢ信号の出力レベル差が小さくなり、輝度偽エッジの発生を低減させることができ、また高域の輝度信号をＧ信号にＲ及びＢ信号成分を加えて生成することが可能となり、輝度感度を高くし、Ｓ／Ｎ及びＤレンジの向上させた輝度信号を得ることが可能なカラー撮像素子を実現することができる。また請求項２に係る発明によれば、請求項１に係るカラー撮像素子を用いて撮像装置を構成しているので、偽エッジの発生を低減すると共に輝度感度を高めＳ／Ｎ及びＤレンジを向上させた輝度信号が得られる撮像装置を実現することが可能となる。また請求項３に係る発明によれば、請求項１に係るカラー撮像素子の第２及び第４の画素情報によりＲ及びＢの各色信号を算出する演算手段を色マトリクス手段の前段に設けているので、色マトリクス手段として従来のベイヤ配列ＲＧＢ原色フィルタを用いたカラー撮像素子に対応する構成のものをそのまま用いて、請求項１に係るカラー撮像素子を用いた撮像装置を構成することが可能となる。また請求項４に係る発明によれば、１つの単位配列の４画素の画素値に基づいて輝度エッジ信号を算出するように構成しているので、請求項１に係るカラー撮像素子を用いた撮像装置において、比較的簡単な信号処理で輝度エッジ信号を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明に係るカラー撮像素子の実施の形態におけるフィルタ配列を模式的に示す図である。
【図２】図１に示したカラー撮像素子に用いているカラーフィルタを構成するＲ′，Ｇ，Ｂ′フィルタ素子のそれぞれの相対分光感度特性を示す図である。
【図３】本発明に係る撮像装置の実施の形態を示すブロック構成図である。
【図４】従来のベイヤ配列ＲＧＢ原色フィルタの構成、及び該フィルタ使用時の輝度偽エッジの発生態様を示す図である。
【図５】従来のベイヤ配列ＲＧＢフィルタを用いたカラー撮像素子において、高域成分の輝度信号の生成態様を示す説明図である。
【符号の説明】
１  レンズ系
２  レンズ系駆動機構
３  露出制御系
４  フィルタ系
５  ＣＣＤ撮像素子
６  ＣＣＤドライバ
７  プリプロセス回路
８  デジタルプロセス回路
８−１  色マトリクス回路
８−２  色信号算出演算回路
９  メモリカードインターフェース
10  メモリカード
11  ＬＣＤ画像表示系
12  システムコントローラ
13  操作スイッチ系
14  操作表示系
15  ストロボ
16  レンズドライバ
17  露出制御ドライバ
【図１】
0004323051.tif 000002
【図２】
0004323051.tif 000003
【図３】
0004323051.tif 000004
【図４】
0004323051.tif 000005
【図５】
0004323051.tif 000006