(57)【特許請求の範囲】
【請求項１】
レッドフィルタが配置されたＲ画素と、グリーンフィルタが配置されたＧ画素と、ブルーフィルタが配置されたＢ画素と、可視光領域での感度が前記ブルーフィルタよりも小さいグレイフィルタが配置されたＧｒａｙ画素とが２次元的に配列された固体撮像素子と、
注目されるＧｒａｙ画素の周囲に存在するＲ画素、Ｇ画素又はＢ画素の飽和していない出力信号に基づいて算出される出力値と、前記注目されるＧｒａｙ画素自身の出力信号、及び前記注目されるＧｒａｙ画素の周囲に存在する他のＧｒａｙ画素の出力信号に基づいて算出される出力値との比に基づいて、前記注目されるＧｒａｙ画素の出力信号にゲインを与えて、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号を算出するキャリアバランス手段と、
前記Ｒ（Ｇｒａｙ）信号、前記Ｇ（Ｇｒａｙ）信号又は前記Ｂ（Ｇｒａｙ）信号に基づいて、前記出力信号が飽和後の前記Ｒ画素、前記Ｇ画素又は前記Ｂ画素の出力信号を算出する補間手段と、を備えている
ことを特徴とする撮像装置。
【請求項２】
ベイヤー方式で配列された前記レッドフィルタの水平隣の前記グリーンフィルタ、あるいは前記ブルーフィルタの水平隣の前記グリーンフィルタが前記グレイフィルタに置き換えられている
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記Ｒ（Ｇｒａｙ）信号、前記Ｇ（Ｇｒａｙ）信号、前記Ｂ（Ｇｒａｙ）信号を用いてホワイトバランス処理を行うホワイトバランス手段を備えている
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
レッドフィルタが配置されたＲ画素と、グリーンフィルタが配置されたＧ画素と、ブルーフィルタが配置されたＢ画素と、可視光領域での感度が前記ブルーフィルタよりも小さいグレイフィルタが配置されたＧｒａｙ画素とが２次元的に配列された固体撮像素子の信号処理方法であって、
注目されるＧｒａｙ画素の周囲に存在するＲ画素、Ｇ画素又はＢ画素の飽和していない出力信号に基づいて算出される出力値と、前記注目されるＧｒａｙ画素自身の出力信号、及び前記注目されるＧｒａｙ画素の周囲に存在する他のＧｒａｙ画素の出力信号に基づいて算出される出力値との比に基づいて、前記注目されるＧｒａｙ画素の出力信号にゲインを与えて、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号を算出し、
前記Ｒ（Ｇｒａｙ）信号、前記Ｇ（Ｇｒａｙ）信号又は前記Ｂ（Ｇｒａｙ）信号に基づいて、前記出力信号が飽和後の前記Ｒ画素、前記Ｇ画素又は前記Ｂ画素の出力信号を算出する
ことを特徴とする固体撮像素子の信号処理方法。
【請求項５】
前記Ｒ（Ｇｒａｙ）信号、前記Ｇ（Ｇｒａｙ）信号、前記Ｂ（Ｇｒａｙ）信号を用いてホワイトバランス処理を行う
ことを特徴とする請求項４に記載の固体撮像素子の信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原色系のカラーフィルタ配列を持つ単板式の固体撮像素子を備えた撮像装置及びその固体撮像素子の信号処理方法に関する。更に詳しくは、特定の位置のグリーンフィルタをグレイフィルタに置き換え、そのグレイフィルタが配置された画素からの出力信号を利用することで、ダイナミックレンジの拡大を図った撮像装置及び固体撮像素子の信号処理方法に関する。
【０００２】
【従来の技術】
例えば、ＣＣＤ（ Charge Coupled Device）型固体撮像素子を用いたカラーカメラの撮像方式としては、ＣＣＤ１個でカラー情報が得られる単板式と、ＣＣＤ３個で得られる３板式に大別できる。単板式にはさらに２方式がある。その１つとして、カラー情報が同時に得られる同時式がある。これは、各画素（センサ部）に対応してカラーフィルタ（オンチップカラーフィルタ）が設けられている。
【０００３】
カラーフィルタのカラーコーディング（色配列）には多数の種類がある。そのうち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の原色系のカラーフィルタを用いた配列で、例えば米国特許第３９７１０６５号に開示されているベイヤー配列と呼ばれる配列がある。
【０００４】
このベイヤー配列を図７に示す。グリーン（緑）フィルタＧを市松状に配置し、残りの部分にレッド（赤）フィルタＲと、ブルー（青）フィルタＢをさらに市松状に配列したものである。すなわち、縦２画素×横２画素の４画素で見ると、グリーンフィルタＧが対角位置の２箇所に配置され、残りの２箇所の一方にレッドフィルタＲが、他方にブルーフィルタＢが配置されている。全体として見るとグリーンフィルタＧが斜め方向に連続して並ぶ配列となっている。
【０００５】
このベイヤー配列の特徴は、輝度信号の合成に寄与する割合の大きいグリーンフィルタＧの配置されたＧ画素が水平方向でみると各行ごとに存在し、また垂直方向で見ても各列ごとに存在することで、水平及び垂直の空間周波数特性が等方的で高い解像度が得られることにある。しかし、以下のような問題点がある。
【０００６】
【発明が解決しようとする課題】
図９は、グリーンフィルタＧ、レッドフィルタＲ、ブルーフィルタＢそれぞれについての、可視光領域における光の透過特性を示す。グリーンフィルタＧは大きな感度（感度は各特性曲線Ｒ、Ｇ、Ｂの積分値で与えられる）を有するので、グリーンフィルタＧが配置されたＧ画素の出力信号が最初に飽和することになる。
【０００７】
すなわち、図８に示すように、先ず、露光時間Ｓｇの時点でＧ画素の出力信号が飽和し、次に感度の大きいレッドフィルタＲが配置されたＲ画素の出力信号がＳｒの時点で飽和し、最後に最も感度の小さいブルーフィルタＢが配置されたＢ画素の出力信号がＳｂの時点で飽和する。なお、露光時間は（各画素への）入射光量と比例関係にあるので入射光量と置き換えてもよい。
【０００８】
Ｇ画素の出力信号が飽和してしまうと、Ｇ画素はそれ以上の光量を受けても飽和点より大きな信号を出力することはできず、緑の色情報が欠落することになり、Ｒ画素やＢ画素の信号量が飽和していなくとも正しい色再現が行えなくなる。すなわち、原色系ベイヤー配列の場合、ダイナミックレンジがＧ画素の飽和特性で決まってしまい、Ｓｇ以降の光量では、輝度信号に関しては光量依存性に対する直線性が低下し、色差信号に関しては白色被写体に対して色付きが発生するなどの問題が生じる。
【０００９】
本発明は上述の問題に鑑みてなされ、その目的とするところは、輝度のダイナミックレンジの拡大を実現する撮像装置及び固体撮像素子の信号処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
本発明の撮像装置は、レッドフィルタが配置されたＲ画素と、グリーンフィルタが配置されたＧ画素と、ブルーフィルタが配置されたＢ画素と、可視光領域での感度がブルーフィルタよりも小さいグレイフィルタが配置されたＧｒａｙ画素とが２次元的に配列された固体撮像素子と、注目されるＧｒａｙ画素の周囲に存在するＲ画素、Ｇ画素又はＢ画素の飽和していない出力信号に基づいて算出される出力値と、注目されるＧｒａｙ画素自身の出力信号、及び注目されるＧｒａｙ画素の周囲に存在する他のＧｒａｙ画素の出力信号に基づいて算出される出力値との比に基づいて、注目されるＧｒａｙ画素の出力信号にゲインを与えて、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号を算出するキャリアバランス手段と、
Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号に基づいて、出力信号が飽和後のＲ画素、Ｇ画素又はＢ画素の出力信号を算出する補間手段と、を備えている。
【００１１】
本発明の固体撮像素子の信号処理方法は、レッドフィルタが配置されたＲ画素と、グリーンフィルタが配置されたＧ画素と、ブルーフィルタが配置されたＢ画素と、可視光領域での感度がブルーフィルタよりも小さいグレイフィルタが配置されたＧｒａｙ画素とが２次元的に配列された固体撮像素子の信号処理方法であって、注目されるＧｒａｙ画素の周囲に存在するＲ画素、Ｇ画素又はＢ画素の飽和していない出力信号に基づいて算出される出力値と、注目されるＧｒａｙ画素自身の出力信号、及び注目されるＧｒａｙ画素の周囲に存在する他のＧｒａｙ画素の出力信号に基づいて算出される出力値との比に基づいて、注目されるＧｒａｙ画素の出力信号にゲインを与えて、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号を算出し、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号又はＢ（Ｇｒａｙ）信号に基づいて、出力信号が飽和後のＲ画素、Ｇ画素又はＢ画素の出力信号を算出する。
【００１２】
グレイフィルタは、赤、緑、青の各色の全てに対して広い範囲で感度を有する。また、ＲＧＢ各画素の出力信号が飽和していない領域では、ＲＧＢ各画素の出力信号とＧｒａｙ画素の出力信号は、露光時間に対して、共に原点を一致させて直線的に変化するので、ＲＧＢ各画素の出力信号とＧｒａｙ画素の出力信号との間には一定の相関関係がある。更にグレイフィルタは他のＲＧＢのカラーフィルタに比べて高い飽和特性をもっている。
【００１３】
従って、ＲＧＢのうちのあるカラーフィルタが配置された画素の出力信号が飽和しても、まだ飽和していないＧｒａｙ画素の出力信号から、その飽和した画素の出力信号を算出できる。この算出は、飽和していないときのＲＧＢ各画素の出力信号とＧｒａｙ画素の出力信号との相関関係に基づいて行われる。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【００１５】
本実施の形態による固体撮像素子のカラーフィルタの配列を図１に示す。本実施の形態では、図７に示した従来の原色系ベイヤー配列において、２画素×２画素の単位区画で見ると、対角して位置していた２つのグリーンフィルタＧのうちの一方をグレイフィルタＧｒａｙに置き換えている。具体的には、レッドフィルタＲに水平方向で隣接するグリーンフィルタＧをグレイフィルタＧｒａｙに置き換えた配列となっている。
【００１６】
グレイフィルタＧｒａｙは、図９に示すように、可視光領域で比較的波長依存性の少ないほぼフラットな透過特性を有している。そして、他のカラーフィルタと同様に、グレイ（灰色）の染料や顔料の含有量を変更することにより、透過率を調整でき、所望の感度に設定することが可能である。本実施の形態では、可視光領域における感度（積分値）が、ブルーフィルタＢより小さいグレイフィルタＧｒａｙを用いている。
【００１７】
以上のようなカラーフィルタ配列を有する固体撮像素子（ＣＣＤ）の出力信号は、図２に示す信号処理回路にて処理される。レッドフィルタＲが配置されたＲ画素、グリーンフィルタＧが配置されたＧ画素、ブルーフィルタＢが配置されたＢ画素、及びグレイフィルタＧｒａｙが配置されたＧｒａｙ画素からの各出力信号は、信号処理回路にて各種処理が行われ、各画素ごとに輝度信号と色差信号が求められる。
【００１８】
以下、各処理ブロックごとに説明していく。
【００１９】
キャリアバランス手段１では、ＣＣＤからの出力信号（Ｒ、Ｇ、Ｂ、Ｇｒａｙの各画素の出力信号）を受け以下のような処理を行う。
グレイフィルタＧｒａｙは、図９に示すように、可視光領域の全ての色相の光に対して応答をもつ。従って、ＲＧＢ各画素の感度と同等の出力信号となるように、Ｇｒａｙ画素の出力信号に所定のゲイン（利得）を与えることによって、Ｇｒａｙ画素の信号を、ＲＧＢ各画素の出力信号として代用可能である。すなわち、Ｇｒａｙ画素から、新たにＲ信号、Ｇ信号、Ｂ信号をそれぞれ生成できる。このような処理をキャリアバランスと呼ぶ。以下、キャリアバランスについて具体的に説明する。
【００２０】
例えば、図１において、アドレス（３、２）に位置するＧｒａｙ（３、２）画素についてキャリアバランスを行う場合を例として説明する。先ず、Ｇｒａｙ（３、２）画素からＧ信号を生成する場合を考える。
【００２１】
そのＧ信号を、Ｇｒａｙ画素から生成されたという意味で、Ｇ（Ｇｒａｙ）信号と表記すると、Ｇ（Ｇｒａｙ）信号＝α×｛Ｇｒａｙ（３、２）画素の出力信号｝で与えられる。αは、飽和する前のＧ画素の出力信号とＧｒａｙ画素の出力信号との相関関係に基づいて得られる。すなわち、図３に示すように、飽和する前のＧ画素の出力信号とＧｒａｙ画素の出力信号との比が一定であることを利用する。具体的には以下のようにして求められる。
【００２２】
Ｇｒａｙ（３、２）画素自身の出力信号、及びＧｒａｙ（３、２）画素の周囲に存在する他のＧｒａｙ画素の出力信号の平均値をＧｒａｙ（Ａｖ．）とする。Ｇｒａｙ（３、２）画素の周囲とは、Ｇｒａｙ（３、２）画素を中心とするｍ行×ｎ列の範囲である。その同じｍ行×ｎ列の範囲内に存在するＧ画素の出力信号の平均値をＧ（Ａｖ．）とする。
【００２３】
これらＧｒａｙ（Ａｖ．）とＧ（Ａｖ．）との比から、αは、α＝Ｇ（Ａｖ．）／Ｇｒａｙ（Ａｖ．）で求められる。
【００２４】
なお、Ｇ（Ａｖ．）の算出に際しては、飽和していないＧ画素の出力信号のみが用いられる。すなわち、Ｇ（Ａｖ．）は、ｍ行×ｎ列の範囲内に存在する全てのＧ画素のうち、出力信号が飽和していないＧ画素のみのその出力信号の平均として求められる。出力信号が飽和しているかしていないかの判断は、ＣＣＤの製造時に、このＣＣＤについては例えば飽和点が５００ｍＶというように既知の値として与えられているので、出力された信号がその飽和点に達したかどうかの判断で容易に行える。
【００２５】
次に、Ｇｒａｙ（３、２）画素からＲ信号を生成する場合について説明する。そのＲ信号を、Ｒ（Ｇｒａｙ）信号とすると、Ｒ（Ｇｒａｙ）信号＝β×｛Ｇｒａｙ（３、２）画素の出力信号｝で与えられる。βは、飽和する前のＲ画素の出力信号とＧｒａｙ画素の出力信号との相関関係に基づいて得られる。すなわち、図３に示すように、飽和する前のＲ画素の出力信号とＧｒａｙ画素の出力信号との比が一定であることを利用する。具体的には以下のようにして求められる。
【００２６】
Ｇｒａｙ（３、２）画素自身の出力信号、及びＧｒａｙ（３、２）画素の周囲に存在する他のＧｒａｙ画素の出力信号の平均値をＧｒａｙ（Ａｖ．）とする。Ｇｒａｙ（３、２）画素の周囲とは、Ｇｒａｙ（３、２）画素を中心とするｍ行×ｎ列の範囲である。その同じｍ行×ｎ列の範囲内に存在するＲ画素の出力信号の平均値をＲ（Ａｖ．）とする。
【００２７】
これらＧｒａｙ（Ａｖ．）とＲ（Ａｖ．）との比から、βは、β＝Ｒ（Ａｖ．）／Ｇｒａｙ（Ａｖ．）で求められる。上述したＧ（Ａｖ．）の場合と同様、Ｒ（Ａｖ．）は、ｍ行×ｎ列の範囲内に存在する全てのＲ画素のうち、出力信号が飽和していないＲ画素のみのその出力信号の平均として求められる。出力信号が飽和しているかしていないかの判断は、Ｇ（Ａｖ．）の場合と同様、既知の飽和点（例えば５００ｍＶ）に達したかどうかの判断で行われる。
【００２８】
Ｇｒａｙ（３、２）画素からＢ信号を生成する場合についても同様に、そのＢ信号を、Ｂ（Ｇｒａｙ）信号とすると、Ｂ（Ｇｒａｙ）信号＝γ×｛Ｇｒａｙ（３、２）画素の出力信号｝で与えられる。γは、飽和する前のＢ画素の出力信号とＧｒａｙ画素の出力信号との相関関係に基づいて得られる。すなわち、図３に示すように、飽和する前のＢ画素の出力信号とＧｒａｙ画素の出力信号との比が一定であることを利用する。具体的には以下のようにして求められる。
【００２９】
Ｇｒａｙ（３、２）画素自身の出力信号、及びＧｒａｙ（３、２）画素の周囲に存在する他のＧｒａｙ画素の出力信号の平均値をＧｒａｙ（Ａｖ．）とする。Ｇｒａｙ（３、２）画素の周囲とは、Ｇｒａｙ（３、２）画素を中心とするｍ行×ｎ列の範囲である。その同じｍ行×ｎ列の範囲内に存在するＢ画素の出力信号の平均値をＢ（Ａｖ．）とする。
【００３０】
これらＧｒａｙ（Ａｖ．）とＢ（Ａｖ．）との比から、γは、γ＝Ｂ（Ａｖ．）／Ｇｒａｙ（Ａｖ．）で求められる。この場合にも、Ｂ（Ａｖ．）は、ｍ行×ｎ列の範囲内に存在する全てのＢ画素のうち、出力信号が飽和していないＢ画素のみのその出力信号の平均として求められる。出力信号が飽和しているかしていないかの判断についても、やはり既知の飽和点（例えば５００ｍＶ）に達したかどうかの判断で行われる。
【００３１】
以上のことにより、図３に示すように、Ｇ画素がＳｇで、Ｒ画素がＳｒで、Ｂ画素がｓｂでそれぞれ飽和した後でも、感度の小さいグレイフィルタを用いたＧｒａｙ画素は飽和しておらず、よって、そのときのＧｒａｙ画素の出力信号（例えばＳ）に上述したようなゲイン（×α、×β、×γ）を与えて、Ｇ、Ｒ、Ｂ各画素の飽和後の出力信号（図３で一点鎖線で示す）を得ることができる。
【００３２】
なお、αを求めるにあたっては、Ｇ（Ａｖ．）とＧｒａｙ（Ａｖ．）との比ではなく、上述したｍ行×ｎ列の範囲内に存在するＧｒａｙ画素の出力信号の和と、その同じｍ行×ｎ列の範囲内に存在するＧ画素の出力信号の和との比で算出してもよい。ただし、この場合には、和をとるべきＧｒａｙ画素とＧ画素の数を一致させる必要がある。βとγについても同様のことが言える。
【００３３】
次に、キャリアバランスの後に行われる、ホワイトバランス手段２でのホワイトバランス処理について説明する。
【００３４】
例えば白い被写体を撮像した場合、本来Ｒ、Ｇ、Ｂ各画素からの出力信号は同じレベル（Ｒ信号：Ｇ信号：Ｂ信号＝１：１：１）になるはずだが、ＲＧＢの各カラーフィルタの分光特性の違いにより、必ずしも同一レベルとはならない。このとき、Ｒ信号、Ｇ信号、Ｂ信号のそれぞれに利得を与えることにより、白を撮像した時に（Ｒ信号：Ｇ信号：Ｂ信号＝１：１：１）になるようにする。これにより、ＲＧＢの各画素ごとの感度差を補正して白い被写体は白く見えるようにすることができる。これをホワイトバランスと呼び、グレイフィルタを用いていない通常のカラーフィルタ配列を有する撮像装置でも行われる処理である。
【００３５】
通常は、図４に示すように、Ｒ信号とＢ信号をＧ信号に合わせることでホワイトバランスをとる。図において、ホワイトバランスされたＲ信号をＲ’、Ｂ信号をＢ’で表す。なお、Ｒ’信号とＢ’信号を明示するために、図では原点０からずらして示している。この図４から明らかなように、従来通りのホワイトバランスでは、ホワイトバランス後のＧ信号、Ｒ’信号、Ｂ’信号それぞれの最大レベルが異なる。すなわち、Ｇ信号が飽和するまでの段階でしかホワイトバランスがとれないことになる。
【００３６】
そこで、本実施の形態では、図５に示すように、上述のキャリアバランスでＧｒａｙ画素から生成されたＧ（Ｇｒａｙ）信号、Ｒ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号のホワイトバランスをとる。ホワイトバランスされた信号をそれぞれＲ”、Ｇ”、Ｂ”で示す（この場合も図示状わかりやすくするため原点０からずらしている）。このことにより、飽和後の領域でも各信号の最大レベルは変わらず同じ値をとらせることができる。
【００３７】
次に、画素補間処理について説明する。
【００３８】
単板式の撮像装置では、ＲＧＢの各画素からは、その画素に配置されたフィルタの色に対応する信号のみが出力される。すなわち、レッドフィルタＲが配置されたＲ画素からはＲ成分のＲ信号は出力されるが、Ｇ成分のＧ信号とＢ成分のＢ信号は出力されない。同様に、Ｇ画素からはＧ信号のみが出力され、Ｒ信号及びＢ信号は出力されず、Ｂ画素からはＢ信号のみが出力され、Ｒ信号及びＧ信号は出力されない。
【００３９】
しかし、後段において各画素の出力信号を処理する際、各画素ごとにＲＧＢの３つの信号が必要となる。すなわち、輝度信号と色差信号は、各画素ごとに求められるが、その演算に際してはＲＧＢの３つの信号を必要とする。このため、各画素が持っている色信号以外の色信号を生成して補間する必要がある。これを画素補間と呼ぶ。
【００４０】
画素補間は従来より様々な方法があるが、要は、補間対象画素の周囲の画素の出力信号を利用して行う。例えばＲ画素にＧ信号を生成したい場合には、その補間対象であるＲ画素の周囲に位置するＧ画素の出力信号から推定して得られた値を、その補間対象Ｒ画素のＧ信号とする。なお、Ｇ画素に限らず、周囲のＲＧＢ画素全てを利用する方法もある。
【００４１】
このとき、補間演算に使われる画素（上記例ではＧ画素）の出力信号が飽和していなければ、そのままＧ画素の出力を利用して通常の補間処理が行われる。この処理は、図２における、Ｇｒｅｅｎ標準領域補間手段３Ｇで行われる。なお、ここで標準領域とは、出力信号が飽和する前の領域、すなわちＧ画素については、図３において０〜Ｓｇの範囲を意味する。なお、Ｇｒｅｅｎ標準領域補間手段３Ｇでは、Ｂ画素にＧ信号を補間する処理も行われる。
【００４２】
同様に、Ｒｅｄ標準領域補間手段３Ｒでは、Ｇ、Ｂ画素にＲ信号を補間する処理が、Ｂｌｕｅ標準領域補間手段３Ｂでは、Ｒ、Ｇ画素にＢ信号を補間する処理が行われる。これら、Ｇｒｅｅｎ標準領域補間手段３Ｇ、Ｒｅｄ標準領域補間手段３Ｒ、Ｂｌｕｅ標準領域補間手段３Ｂで行われる処理は、補間演算に使う画素の出力信号が飽和していない場合に行われる処理である。
【００４３】
補間演算に使う画素の出力信号が飽和していた場合には（この判断は上述したキャリアバランスのときと同様にして既知の飽和点に達したかどうかで行われる）、Ｇｒｅｅｎ飽和領域補間手段４Ｇ、Ｒｅｄ飽和領域補間手段４Ｒ、Ｂｌｕｅ飽和領域補間手段４Ｂで、画素補間が行われる。
【００４４】
例えば、Ｒｅｄ飽和領域補間手段４Ｒにて、Ｇ画素にＲ信号を補間する場合を考える。ここで、補間演算に使うべきＲ画素が飽和していた場合には、そのＲ画素の水平方向に関しての両隣のＧｒａｙ画素の出力信号を用いて、飽和後のＲ画素の出力信号を求める。
【００４５】
すなわち、Ｒ画素が飽和してしまうレベルでも、感度の小さいＧｒａｙ画素は飽和せず、その飽和していないＧｒａｙ画素の出力信号から、上述のキャリアバランスにて生成されたＲ（Ｇｒａｙ）信号を用いて飽和後のＲ画素の出力信号を求める。具体的には、Ｒ画素の水平方向に関しての両隣のＧｒａｙ画素それぞれのＲ（Ｇｒａｙ）信号の平均値をＲ画素の出力信号とする。これにより、Ｒ画素が飽和していても、Ｒ画素が受けた光量を正確に反映した出力信号が得られることになり、このＲ画素の出力信号を使うことで、補間対象画素であるＧ画素に対する画素補間も正確に行える。
【００４６】
Ｂ画素が飽和していた場合には、例えば、その垂直方向に関しての両隣のＧｒａｙ画素それぞれのＢ（Ｇｒａｙ）信号の平均値を、飽和後のＢ画素の出力信号とする。Ｇ画素が飽和していた場合には、例えば、そのＧ画素の対角位置の４つのＧｒａｙ画素それぞれのＧ（Ｇｒａｙ）信号の平均値を、飽和後のＧ画素の出力信号とする。
【００４７】
なお、補間演算にはＧｒａｙ画素も使われ、Ｇｒａｙ画素の場合には、上述のキャリアバランスにて、ＲＧＢ各成分の信号、Ｒ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号が得られるので、これらをそのまま画素補間の演算に使う。もちろん、Ｇｒａｙ画素自身は、上述のキャリアバランスにて単独でＲＧＢの各信号が得られるので、周囲の画素を使った画素補間を行う必要はない。
【００４８】
上述したように、Ｒｅｄ標準領域補間手段３Ｒ、Ｇｒｅｅｎ標準領域補間手段３Ｇ、Ｂｌｕｅ標準領域補間手段３Ｂで、ＲＧＢの各信号が得られればそれをそのまま後段の処理に使う。飽和している画素があって、Ｒｅｄ標準領域補間手段３Ｒ、Ｇｒｅｅｎ標準領域補間手段３Ｇ、Ｂｌｕｅ標準領域補間手段３Ｂでの演算が行えない場合には、Ｒｅｄ飽和領域補間手段４Ｒ、Ｇｒｅｅｎ飽和領域補間手段４Ｇ、Ｂｌｕｅ飽和領域補間手段４Ｂで得られたＲＧＢの各信号を後段の処理に使う。その選択制御を、輝度信号領域制御手段５と、色差信号領域制御手段６で行う。
【００４９】
その後、輝度信号領域制御手段５から出力されたＲＧＢの各信号は輪郭補正手段７を介してガンマ補正手段８に、色差信号領域制御手段６から出力されたＲＧＢの各信号はガンマ補正手段８に供給される。
【００５０】
輪郭補正手段７では、画像のエッジ検出が行われ、検出されたそのエッジを強調し、くっきり見せるための処理が行われる。
【００５１】
ガンマ補正手段８では、以下のような処理が行われる。ＣＲＴディスプレイ（ブラウン管表示器）は、非線形な入出力特性を持っており、低輝度側の発光が入力信号に比例せず、小さく出る傾向がある。従って、ＲＧＢの各信号を直接ＣＲＴディスプレイに表示した場合、低輝度側がつぶれたような、言い換えると暗く見える。これをＣＲＴディスプレイのガンマ特性と呼ぶ。このとき、入力されるＲＧＢの各信号にＣＲＴディスプレイのガンマ特性と逆の特性を有する非線形処理をすることで、ＣＲＴディスプレイで見たときには自然なコントラストにすることができる。これをガンマ補正と呼ぶ。
【００５２】
ガンマ補正が行われたＲＧＢの各信号は、それぞれ輝度信号合成手段９と、色差信号合成手段１０に送られ、輝度信号合成手段では輝度信号が生成され、色差信号合成手段１０では色差信号が生成される。
【００５３】
以上述べたように、ＲＧＢの各画素が飽和した後でも、Ｇｒａｙ画素からＲＧＢの各信号を生成することができる。そして、そのＧｒａｙ画素から生成されたＲ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号を用いて、輝度信号を求めることで、従来、Ｇ信号の飽和特性で決まっていた輝度信号のダイナミックレンジを拡大させることができる。Ｇｒａｙ画素に配置されるグレイフィルタとして、例えば白色光源下でブルーフィルタの１／Ｎ（Ｎは整数）になるような感度特性に設定した場合、Ｇｒａｙ画素はＢ画素に対してＮ倍のダイナミックレンジの拡大を実現できる。
【００５４】
更に、Ｇｒａｙ画素から生成されたＲ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号を用いて、色差信号を求めることで色再現性も向上させることができる。
【００５５】
以上、本発明の実施の形態について説明したが、勿論、本発明はこれに限定されることなく、本発明の技術的思想に基づいて種々の変形が可能である。
【００５６】
図７に示すベイヤー配列において、ブルーフィルタＢの水平隣のグリーンフィルタＧをグレイフィルタＧｒａｙに置き換えてもよい。更には、カラーフィルタの配列はベイヤー配列には限定されず、その他の原色系の色配列にも、本発明を適用することができる。
【００５７】
本発明が適用される他の色配列の例を図６に示す。図６は、いわゆるＧストライプと呼ばれる色配列である。グリーンフィルタＧを１列おきに縦一列に配置し、グリーンフィルタＧの各列の間の列にレッドフィルタＲ及びブルーフィルタＢが配置されている。レッドフィルタＲ及びブルーフィルタＢは市松配置となっている。この色配列に本発明を適用する場合には、例えば図中＊印を付したグリーンフィルタＧ、すなわちレッドフィルタＲの左隣のグリーンフィルタＧをグレイフィルタに置き換えればよい。あるいは、＊印を付していないグリーンフィルタＧ、すなわちレッドフィルタＲの右隣のグリーンフィルタＧをグレイフィルタに置き換えてもよい。なお、Ｇストライプの色配列としては、レッドフィルタＲ、ブルーフィルタＢの他の配置も考えられる。
【００５８】
また、本発明は、ＣＣＤ型固体撮像素子に限らず、ＭＯＳ型の固体撮像素子にも適用することができる。
【００５９】
【発明の効果】
以上述べたように、本発明では、赤、緑、青の各色の全てに対して広い範囲で感度を有し、またＲＧＢのカラーフィルタに比べて高い飽和特性をもっているグレイフィルタを用いることで、ＲＧＢのうちのあるカラーフィルタが配置された画素の出力信号が飽和しても、まだ飽和していないグレイフィルタが配置されたＧｒａｙ画素の出力信号から、その飽和した画素の出力信号を算出できる。これにより、従来はＧ信号の飽和特性で決まっていた輝度信号のダイナミックレンジを拡大させることができる。
更に、Ｇｒａｙ画素から生成されたＲ（Ｇｒａｙ）信号、Ｇ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号を用いてホワイトバランスをとることで、元から備わっているＲＧＢの各画素が飽和した後でも正確にホワイトバランスがとれる。
【図面の簡単な説明】
【図１】本発明の実施の形態による固体撮像素子のカラーフィルタ配列を示す図である。
【図２】本発明の実施の形態による撮像装置の構成を示すブロック図である。
【図３】露光時間（入射光量）に対する、飽和前のＧ画素、Ｒ画素、Ｂ画素、Ｇｒａｙ画素の出力特性、及びＧ画素、Ｒ画素、Ｂ画素の飽和後に、Ｇｒａｙ画素から生成されたＧ（Ｇｒａｙ）信号、Ｒ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号を示す図である。
【図４】従来の方法によるＲＧＢ各信号のホワイトバランス出力特性図である。
【図５】Ｇｒａｙ画素から生成されたＧ（Ｇｒａｙ）信号、Ｒ（Ｇｒａｙ）信号、Ｂ（Ｇｒａｙ）信号のホワイトバランス出力特性図である。
【図６】本発明が適用されるカラーフィルタ配列の変形例を示す図である。
【図７】ベイヤー配列を示す図である。
【図８】露光時間（入射光量）に対する、Ｇ画素、Ｒ画素、Ｂ画素の出力特性図である。
【図９】図１に示す４色の各カラーフィルタの可視光領域における透過特性を示す図である。
【符号の説明】
１……キャリアバランス手段、２……ホワイトバランス手段、３Ｒ……Ｒｅｄ標準領域補間手段、３Ｇ……Ｇｒｅｅｎ標準領域補間手段、３Ｂ……Ｂｌｕｅ標準領域補間手段、４Ｒ……Ｒｅｄ飽和領域補間手段、４Ｇ……Ｇｒｅｅｎ飽和領域補間手段、４Ｂ……Ｂｌｕｅ飽和領域補間手段、５……輝度信号領域制御手段、６……色差信号領域制御手段、７……輪郭補正手段、８……ガンマ補正手段、９……輝度信号合成手段、１０……色差信号合成手段。
【図１】
0003988457.tif 000002
【図２】
0003988457.tif 000003
【図３】
0003988457.tif 000004
【図４】
0003988457.tif 000005
【図５】
0003988457.tif 000006
【図６】
0003988457.tif 000007
【図７】
0003988457.tif 000008
【図８】
0003988457.tif 000009
【図９】
0003988457.tif 000010