(57)【要約】【課題】太陽光と蛍光灯との識別および蛍光灯の種類の識別を低コストに実現する。【解決手段】固体撮像素子の所定領域に光源種識別用画素が設けられた固体撮像素子において、光源種識別用画素に搭載される光源種識別用フィルタとして少なくとも波長５０５ｎｍ〜５３０ｎｍの光を透過するフィルタを設ける。更に好適には、光源種識別用フィルタは、波長６４０ｎｍ以長の光も透過するものとする。これにより、太陽光と蛍光灯との識別ができ、しかも、普通型白色蛍光灯，３波長型蛍光灯の昼光色，昼白色，電球色の識別も容易となる。【選択図】　図３
2004064413.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子の所定領域に光源種識別用画素が設けられた固体撮像素子において、前記光源種識別用画素に搭載される光源種識別用フィルタとして少なくとも波長５０５ｎｍ〜５３０ｎｍの光を透過するフィルタを設けたことを特徴とする固体撮像素子。
【請求項２】
前記光源種識別用フィルタは、波長６４０ｎｍ以長の光も透過するものであることを特徴とする請求項１に記載の固体撮像素子。
【請求項３】
前記所定領域は固体撮像素子の無効画素領域であることを特徴とする請求項１または請求項２に記載の固体撮像素子。
【請求項４】
光学レンズ系と、該光学レンズ系を通して入射した光信号を電気信号に変換する請求項１乃至請求項３のいずれかに記載の固体撮像素子と、該固体撮像素子の前記光源種識別用画素から読み出された信号電荷を処理して撮影光源種を識別し前記固体撮像素子のカラー撮像画像のホワイトバランスを自動調整する制御手段とを備えることを特徴とする撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はＣＣＤやＣＭＯＳセンサ等のカラー画像撮像用固体撮像素子に係り、特に、撮影光源種を精度良く識別して良好なホワイトバランスでカラー画像を記録することができる固体撮像素子とこの固体撮像素子を搭載した撮像装置に関する。
【０００２】
【従来の技術】
図９は、例えば特開平１０―１３６３９１号公報に記載されている従来の固体撮像素子の平面図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑（Ｇ）の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。図示する例では、「Ｒ」「Ｇ」「Ｂ」と記載された８角形の枠が夫々赤，緑，青の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（例えば８角形や４角形）で設けられる。
【０００３】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路２０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路２０に沿って転送されて水平転送路２１に至り、今度は矢印ｃに示す様に水平転送路２１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【０００４】
この様に、固体撮像素子の各フォトダイオードの表面には色フィルタが重ねて設けられるが、この色フィルタは、例えば顔料や染料を用いて製造される。図１０は、従来の各色フィルタを設けたフォトダイオードの分光感度を示し、各色フィルタＲ，Ｇ，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、従来の赤色フィルタＲは、図１０に示すように、波長５８０ｎｍ以上の光を透過し、それより低い波長の光は一律にカットする様に製造されている。
【０００５】
固体撮像素子を搭載したデジタルスチルカメラやデジタルビデオカメラ等の撮像装置で各種シーンを撮影する場合、様々な照明光源の下で撮影が行われる。このため、どの様な光源の下で撮影されてもホワイトバランスが合うように、撮像装置が自動的にＲ，Ｇ，Ｂ信号のゲイン調整を行う様にするのが好ましい。しかし、撮影光源種によらずにホワイトバランスを合わせるには、撮像装置が撮影光源種を精度良く検出できなければならない。
【０００６】
そこで従来から、撮像装置には色温度検出回路が搭載され、固体撮像素子で撮影した一画面を例えば８×８＝６４の領域に分割して各分割領域における信号電荷のΣＲ／ΣＧのデータとΣＢ／ΣＧのデータの組を求め、これら６４組のデータをＲ／Ｇ軸とＢ／Ｇ軸で張る二次元空間にプロットし、その分布の形状から撮影光源種を検出する様にしている。
【０００７】
【発明が解決しようとする課題】
上述した従来技術に係る色温度検出回路によれば、撮影光源種の大まかな識別を行うことができる。しかし、例えば、薄暗い太陽光下における葉緑と、普通型白色蛍光灯（Ｆ６光源）あるいは３波長型蛍光灯下における白色との識別が困難であるという問題がある。
【０００８】
撮像装置できめ細かな自動ホワイトバランス調整を行うには、太陽光と蛍光灯との高精度な識別、種類の異なる蛍光灯間の高精度な識別（例えば、普通型白色蛍光灯，３波長型昼光色蛍光灯，３波長型昼白色蛍光灯，３波長型電球色蛍光灯の識別）を行う必要があり、これらの撮影光源種の高精度な識別を低コストで実現する技術の開発が望まれている。
【０００９】
本発明の目的は、太陽光と蛍光灯との高精度な識別、種類の異なる蛍光灯間の高精度な識別を低コストで実現することができる固体撮像素子および撮像装置を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成する固体撮像素子は、固体撮像素子の所定領域に光源種識別用画素が設けられた固体撮像素子において、前記光源種識別用画素に搭載される光源種識別用フィルタとして少なくとも波長５０５ｎｍ〜５３０ｎｍの光を透過するフィルタを設けたことを特徴とする。この構成により、太陽光と蛍光灯との識別および蛍光灯の種類とを高精度に識別可能となる。
【００１１】
好適には、前記光源種識別用フィルタは、波長６４０ｎｍ以長の光も透過するものであることを特徴とする。この構成により、６４０ｎｍ以長の光を含まない蛍光灯と太陽光との識別がより容易となる。
【００１２】
更に好適には、前記所定領域は固体撮像素子の無効画素領域であることを特徴とする。この構成により、カラー画像の撮像に影響の無い場所に光源種識別用画素を設けることが可能となる。
【００１３】
上記目的を達成する撮像装置は、光学レンズ系と、該光学レンズ系を通して入射した光信号を電気信号に変換する請求項１乃至請求項３のいずれかに記載の固体撮像素子と、該固体撮像素子の前記光源種識別用画素から読み出された信号電荷を処理して撮影光源種を識別し前記固体撮像素子のカラー撮像画像のホワイトバランスを自動調整する制御手段とを備えることを特徴とする。この構成により、撮影光源が異なる如何なる状況であっても常に良好なホワイトバランスのとれたカラー画像を記録することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態に係る撮像装置に搭載される固体撮像素子の概略平面図である。この固体撮像素子１は、図９で説明したハニカム配置のＲ，Ｇ，Ｂ画素が縦横に多数搭載されているが、本発明の固体撮像素子はハニカム配置に限定されるものではなく、ベイヤー方式の固体撮像素子にも適用できるものである。
【００１６】
固体撮像素子１は、カラー画像を撮像する有効画素領域２が中央の大部分を占めており、その周囲に、有効画像領域２の周辺画素における同時化処理などを行うための無効画素領域３が設けられ、無効画素領域３の周囲に、撮影光が入射しない暗ノイズ検出用画素領域４が設けられ、これらの各領域２，３，４の画素から垂直転送路に読み出された信号電荷が水平転送路５に転送され、水平転送路５から固体撮像素子１の外部に出力される様になっている。
【００１７】
本実施形態に係る固体撮像素子１では、無効画素領域３の周辺領域３ａ（斜線で示す領域）すなわち暗ノイズ検出用画素領域４より内側で撮影光が入射する矩形の領域３ａの全周に渡る画素に、Ｒ，Ｇ，Ｂとは異なる色フィルタを設けることを特徴とする。この色フィルタは撮影光源種を識別するためのものであり、この色フィルタが設けられた画素の分光感度を、以下、Ｒ，Ｇ，Ｂの次の第４分光感度ということにする。
【００１８】
図２は、各種光源の波長と相対放射エネルギを照度を揃えて比較したグラフである。光源としては、Ｄ５５（太陽光），Ｄ７５（太陽光），Ａ（タングステン光），Ｆ６（普通型白色蛍光灯），３波長型昼白色蛍光灯，３波長型電球色蛍光灯の６種類を図示している。
【００１９】
このグラフを見ると、波長５００ｎｍ〜５３５ｎｍの範囲において、放射エネルギが、
（大）　Ｄ７５，Ｄ５５，Ａ　＞　Ｆ６　＞　３波長型蛍光灯　（小）
の順になっていることが分かる。また、この図２には３波長型昼光色蛍光灯のグラフは図示を省略しているが、波長５００ｎｍ〜５３５ｎｍの範囲で、
（大）　昼光色　＞　昼白色　＞　電球色　（小）
の順になっている。
【００２０】
即ち、この波長５００ｎｍ〜５３５ｎｍの光を透過する色フィルタを画素（フォトダイオード）に設けることにより、この画素から読み出した信号電荷量によって、以下に述べる様に、光源種別を高精度に識別可能となる。そこで、本実施形態では、上述した領域３ａの画素（光源種識別用画素）に、波長５００ｎｍ〜５３５ｎｍの光を透過する色フィルタ（以下、光源種識別用フィルタという。）を設け、上記の第４分光感度を持たせることを特徴とする。図３は、この第４の分光感度を、図１０に示したＲ，Ｇ，Ｂ分光感度と共に図示したグラフである。
【００２１】
以下、光源種識別フィルタを搭載した画素の信号電荷から光源種を精度良く識別する方法について説明する。
【００２２】
任意の色は、任意の分光特性（Ｐ（λ））を有するので、その色を或る光源下（Ｌ（λ））で或る分光感度（Ｓ（λ））によって撮影したときの出力値Ｘｓは、
Ｘｓ＝∫Ｐ（λ）・Ｌ（λ）・Ｓ（λ）・ｄλ
となる。
【００２３】
Ｘｓの添え字ｓが分光感度の種類を表すものとすると、第４分光感度はＸ４と表され、Ｒ，Ｇ，Ｂの分光感度は夫々Ｘｒ，Ｘｇ，Ｘｂと表される。
【００２４】
撮影光源種を識別する場合、撮影光源の照度を揃える必要がある。照度を揃えるということは、Ｘ４を、主としてＸｇで除することで近似的に達成できる。Ｘ４／Ｘｇ（あるいは、Ｘ４／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）：ここで、ｋｇ，ｋｂ，ｋｒは係数）の値は、撮影した色によって全く異なる値となる。
【００２５】
しかし、一般に、撮影したシーンの全画素の色を混合すると、その色はグレー（Ｇ）に近づくという傾向があるため、撮影したシーンの複数の画素の色を混合して上記の比の値Ｍ＝Ｘ４／Ｘｇを計算すると、
Ｍ＝∫（Ｐ１＋Ｐ２＋…＋Ｐｎ）・Ｌ（λ）・Ｓ（λ）・ｄλ／Ｘｇ
＝∫Ｇ・Ｌ（λ）・Ｓ（λ）・ｄλ／Ｘｇ
となる。ここで、「Ｇ」はグレーの反射率を表し定数であるため、上記比の値Ｍは、Ｌ（λ）すなわち光源特有の値となる。
【００２６】
上記の結論は、各画素の色を混合したときグレーＧになるという前提の上に成り立つものであったが、撮影シーンによってはグレーＧにならない場合もある。例えば、森林の中で撮影した葉緑いっぱいのシーンや、人物のアップシーンの様に肌色いっぱいのシーンでは、各画素の色を混合してもグレーＧにはならない。しかし、この様な場合でも、係数ｋｒ，ｋｇ，ｋｂを調整することで、上記の比の値Ｍを、グレーＧのときの値に揃えることができる。
【００２７】
これらの係数ｋｒ，ｋｇ，ｋｂの値は、光源毎にＭが異なる値となるように決めるのがよい。これら係数の値は、撮像装置の出荷時に設定すること、特に、撮像装置の個体差であるカラーバランスのずれを補正するゲインを出荷時に決める際にそのゲインに応じて最適な値に設定することが好ましい。
【００２８】
以上述べた様に、第４分光感度の画素（光源種識別用画素）から読み出した信号電荷量を、Ｂ，ＧあるいはＲの分光感度を有する画素からの出力で除した比の値Ｍから、撮影光源種を識別することができる。
【００２９】
図３に示す分光感度は、撮像装置の分光感度であり、赤外線カットフィルタやカメラレンズの分光透過特性と組み合わせた分光感度である。Ｒ，Ｇ，Ｂは５５００Ｋの太陽光（Ｄ５５）にホワイトバランスを合わせてあり、各種光源下で、グレー，人間の肌色，葉緑の各シーンを撮影したときのＸ４，Ｘｒ，Ｘｇ，Ｘｂを求め、Ｍ＝Ｘ４／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）が撮影光源でどう変わるかを求めた結果が図４である。この例では、ｋｒ＝０．５，ｋｇ＝１，ｋｂ＝０としている。
【００３０】
図４から分かるとおり、縦軸である比の値Ｍ＝Ｘ４／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）＝Ｘ４／（０．５Ｘｒ＋Ｘｇ）は、撮影シーンがグレー，人間の肌色，葉緑のいずれであっても、撮影光源毎に、
（大）　太陽光，Ａ光源　＞　Ｆ６光源　＞　３波長型昼光色蛍光灯　＞　３波長型昼白色蛍光灯　＞　３波長型電球色蛍光灯　（小）
となり、これにより、撮影光源種を精度良く識別できることが分かる。太陽光とＡ光源との識別はこの例では難しいが、太陽光とＡ光源とは、従来の色温度検出回路で精度良く識別できるため問題はない。
【００３１】
上述した実施形態における光源種識別フィルタは、５００ｎｍ〜５３０ｎｍの光を透過するものであるが、図２から分かるとおり、透過範囲を狭め、５０５ｎｍ〜５３０ｎｍの光を透過するフィルタを用いることで、より識別能が高くなることが期待できる。そこで、光源種識別フィルタを製造する顔料として、ＰＹ１３９，ＰＲ１２２，ＰＢ１５：６を混合することで、図５に示す第４分光感度を有する光源種識別用画素を製造した。この第４分光感度は、撮像装置の分光感度である（赤外線カットフィルタやカメラレンズの特性込みの分光感度）。
【００３２】
このような狭い範囲だけ透過する色フィルタを製造することは困難であるが、例えば裾野が広がった第４分光感度であっても、その裾野部分がＲ，Ｇ，Ｂの分光感度とキャンセルできる様な場合、光源種識別用画素の出力からＲ，Ｇ，Ｂの画素の出力を引くことで、実質的に図５に示す第４分光感度を得ることができればよい。
【００３３】
図５に示す第４分光感度（Ｒ，Ｇ，Ｂの分光感度は図３と同じ）は、その相対感度（縦軸）の値が小さいが、例えば１００万画素の固体撮像素子では一辺１０００個の光源種識別用画素が図１の領域３ａに並ぶため、計４０００個の出力を加算して上記比の値を算出することになり、個々の画素の感度が小さくても問題はない。
【００３４】
図６は、図５に示す第４分光感度の光源種識別用画素を用い、係数ｋｒ＝０，ｋｇ＝１，ｋｂ＝０．８としたときの上記の比の値Ｍ＝Ｘ４／（ｋｇ・Ｘｇ＋ｋｂ・Ｘｂ＋ｋｒ・Ｘｒ）＝Ｘ４／（Ｘｇ＋０．８Ｘｂ）を光源種毎に求めた結果を示す図である。撮影シーンがグレー，肌色，葉緑のいずれであっても、上記比の値は
（大）　太陽光，Ａ光源　＞　Ｆ６光源　＞　３波長型昼光色蛍光灯　＞　３波長型昼白色蛍光灯　＞　３波長型電球色蛍光灯　（小）
の順になっており、撮影光源種を５群に精度良く識別できることが分かる。
【００３５】
図７は、６種類の顔料（ＰＹ１３９，ＰＹ１８５，ＰＢ１５：６，ＰＧ７，ＰＲ１２２，ＰＲ２２４）を混合して製造した第４分光感度を示す図である。Ｒ，Ｇ，Ｂの分光感度は、図３と同じである。上記の６種類の顔料を混合することで、特性線Ｉに示す分光感度が得られ、５２０ｎｍ付近の感度以外に余分な感度を有している。しかし、上述した様に、Ｒ，Ｇ，Ｂの分光感度を差し引くことで、特性線ＩＩに示す分光感度が得られる。即ち、
比の値Ｍ＝（Ｘ４−ｋｒ２・Ｘｒ−ｋｇ２・Ｘｇ−ｋｂ２・Ｘｂ）／（ｋｒ１・Ｘｒ＋ｋｇ１・Ｘｇ＋ｋｂ１・Ｘｂ）
によって光源種が識別可能となる。
【００３６】
この特性線ＩＩを見て分かるとおり、この実施形態の光源種識別用フィルタは、５２０ｎｍ前後の波長範囲の他に、６４０ｎｍ以長の波長を透過する様になっている。図２によれば、６４０ｎｍ以長の波長が蛍光灯に含まれないため、本実施形態では、主に２つの波長域（５２０ｎｍ前後と６４０ｎｍ以長）で光源種の識別を行う様になっている。
【００３７】
上記の比の値Ｍの式において、ｋｒ１＝ｋｇ１＝ｋｂ１＝１とし、ｋｒ２＝０．１２３，ｋｇ２＝０．１４１，ｋｂ２＝０．０６８としたときのＭ＝（Ｘ４−０．１２３Ｘｒ−０．１４１Ｘｇ−０．０６８Ｘｂ）／（Ｘｒ＋Ｘｇ＋Ｘｂ）の値を光源種毎に求めた結果を示す図が図８である。撮影シーンがグレー，肌色，葉緑のいずれであっても、上記比の値Ｍは
（大）　太陽光，Ａ光源　＞　Ｆ６光源　＞　３波長型昼光色蛍光灯　＞　３波長型昼白色蛍光灯　＞　３波長型電球色蛍光灯　（小）
の順になっており、この実施形態でも撮影光源種を５群に精度良く識別できることが分かる。
【００３８】
図２に示すグラフによれば、５８０ｎｍの波長域でも、光源種を識別できることが分かる。このため、５８０ｎｍ付近でもシャープな感度を有する光源種識別用画素を製造すれば、より識別能を上げることができる。しかし、この場合、５８０ｎｍ付近の感度をあまり上げすぎると、太陽光やＡ光源とＦ６光源との識別が困難になるため、注意が必要である。また、比の値Ｍを求める係数ｋｒ，ｋｇ，ｋｂも最適値に調整し直すのが望ましい。
【００３９】
上述した比の値Ｍの計算で用いるＲ，Ｇ，Ｂの出力値は、光源種識別用の画素の近傍のＲ，Ｇ，Ｂ画素から求めるのが好ましい。比の値Ｍの分子の値を求める光と、分母の値を求める光とが同じ箇所から発した光となり、より高精度に光源種の識別が可能になるためである。
【００４０】
また、光源種識別用の画素すなわち、図１に示す領域３ａは、上記実施形態では無効画素領域の全周に渡って連続的に設けたが、必ずしもこれに限るものではなく、離散的位置に設けたり、ある箇所に集合的に設けることでもよい。比の値Ｍの分母となるＲ，Ｇ，Ｂの画素混合を行う領域の設定も任意である。例えば、無効画素領域全体のＲ，Ｇ，Ｂ画素の出力を１つに混合しても良い。
【００４１】
更にまた、上述した実施形態では、固体撮像素子のフォトダイオードに設けるＲ，Ｇ，Ｂの色フィルタの代わりに光源種識別用フィルタを設けることで光源種識別用画素を製造したが、固体撮像素子の画素加工時にチップのカバーガラス上の一部に必要な分光特性を有する顔料等を塗布したり貼り付けたりして光源種識別用フィルタを設けることでもよい。
【００４２】
【発明の効果】
本発明によれば、撮影光源種の識別精度が高まり、撮像装置の自動ホワイトバランスの調整精度が向上し、常に良好なカラー画像を記録することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像素子の概略平面図である。
【図２】各種光源の波長と相対放射エネルギを照度を揃えて比較したグラフである。
【図３】本発明の一実施形態に係る第４分光感度の一例とＲ，Ｇ，Ｂ分光感度とを示すグラフである。
【図４】図３に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図５】本発明の一実施形態の別例に係る第４分光感度を示すグラフである。
【図６】図５に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図７】本発明の一実施形態の更に別例に係る第４分光感度を示すグラフである。
【図８】図７に示す第４分光感度を有する光源種識別用画素を用いた識別結果を示す図である。
【図９】固体撮像素子の一例の画素配置図である。
【図１０】固体撮像素子のＲ，Ｇ，Ｂ画素の分光感度を示すグラフである。
【符号の説明】
１　固体撮像素子
２　有効画素領域
３　無効画素領域
３ａ　光源種識別用の画素領域
４　暗ノイズ検出用画素領域
５　水平転送路
【図１】
2004064413.tif 000003
【図２】
2004064413.tif 000004
【図３】
2004064413.tif 000005
【図４】
2004064413.tif 000006
【図５】
2004064413.tif 000007
【図６】
2004064413.tif 000008
【図７】
2004064413.tif 000009
【図８】
2004064413.tif 000010
【図９】
2004064413.tif 000011
【図１０】
2004064413.tif 000012