(57)【要約】【課題】  混合光源下で撮影した画像データを適切にホワイトバランス補正する。【解決手段】  複数種類の光源によって照明される被写体を撮像する固体撮像素子１１と、固体撮像素子１１の画像領域毎に前記複数種類の光源の混合比を求めて各画像領域を該混合比に応じて複数にクラス分けすると共に同一クラスに属する画像領域の出力データの総和から前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求め前記画像領域毎にホワイトバランス補正を行う信号処理手段２６とを備える。【選択図】  図１
2005033609.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の光源によって照明される被写体を撮像する固体撮像素子と、該固体撮像素子の画像領域毎に前記複数種類の光源の混合比を求めて各画像領域を該混合比に応じて複数にクラス分けすると共に同一クラスに属する画像領域の出力データの総和から前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求め前記画像領域毎にホワイトバランス補正を行う信号処理手段とを備えることを特徴とする固体撮像装置。
【請求項２】
前記画像領域毎は画素毎であることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記混合比の値が“１”を含む第１クラスと“０”を含む第２クラスと該第１，第２クラス以外の第３クラスの３つに少なくともクラス分けすることを特徴とする請求項１または請求項２に記載の固体撮像装置。
【請求項４】
前記混合比の値が“１”及び“１”に近い値を含むクラスの前記総和から前記複数種類のうちの１種類の光源の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする請求項１乃至請求項３のいずれかに記載の固体撮像装置。
【請求項５】
前記混合比の値が“０”及び“０”に近い値を含むクラスの前記総和から前記複数種類のうちの１種類の光源の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする請求項１乃至請求項４のいずれかに記載の固体撮像装置。
【請求項６】
前記クラス分けされた全クラスの前記総和から前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする請求項１乃至請求項５のいずれかに記載の固体撮像装置。
【請求項７】
前記第３クラスあるいは該第３クラス内でクラス分けされた小クラス内の前記総和だけを用いて前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする請求項３に記載の固体撮像装置。
【請求項８】
請求項１乃至請求項７のいずれかに記載の固体撮像素子と、請求項１乃至請求項７のいずれかに記載の信号処理手段とを搭載したことを特徴とするデジタルカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像装置及びデジタルカメラに係り、特に、複数種類の光源下にある被写体を撮像したときのホワイトバランスを良好にとることができる固体撮像装置及びデジタルカメラに関する。
【背景技術】
【０００２】
デジタルスチルカメラ（携帯電話機に搭載されているものを含む。）やデジタルビデオカメラ等のデジタルカメラでは、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子によって被写体を撮像し、得られた画像データのホワイトバランスを、被写体の照明光源種類に応じて補正し、出力している。
【０００３】
光源としては、太陽光（Ｄ６５光源，Ｄ７５光源など），普通型白色蛍光灯（Ｆ４光源，Ｆ５光源，Ｆ６光源），３波長型蛍光灯（Ｆ１０光源，Ｆ１１光源，Ｆ１２光源その他），フラッシュライトなど代表的な種々の光源が予め想定されており、デジタルカメラが自動的にホワイトバランス補正を行う場合、撮像画像データを解析して光源種類を識別し、この光源種類に応じた補正値を使用する様になっている。
【０００４】
しかし、撮影を行う場合、１種類の光源によってのみ被写体が照明される場合の他、複数種類の光源によって被写体が照明されるシーンを撮影する場合がある。例えば、蛍光灯で照明されている室内に窓から太陽光が射し込んでいる状態で、室内シーンを撮影する場合などである。
【０００５】
複数種類の光源によって照明されている被写体を撮像して得た画像データをホワイトバランス補正する場合、従来は、メインとなる１種類の光源種類だけを判別し、画像全体をその光源種類に基づいて補正していた。このため、画像中のメインの被写体から外れた画像部分つまり他の種類の光源による照明が強い部分の画像が色かぶりを起こして例えば黄色味や緑色味の強い画像になり、色の再現性（特にグレーや肌色の再現性）が低下するという問題があった。
【０００６】
そこで、例えば、特開平８―３４０５４２号公報（特許文献１）の段落番号〔００２６〕に記載された従来技術では、Ｆ６光源で照明されている室内でメインの被写体をフラッシュを焚いて撮影したとき、フラッシュ発光前に固体撮像素子から得られた画像データとフラッシュ発光後に固体撮像素子から得られた画像データとから、撮像画像の画像領域毎にフラッシュ光の影響量を求め、この影響量に応じて画像領域毎のホワイトバランス補正量を決め、画像全体でホワイトバランスのとれた画像を生成することを提案している。
【０００７】
【特許文献１】特開平８―３４０５４２号公報（段落番号〔００２６〕）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上述した特許文献１の従来技術は、フラッシュ発光を行った場合のホワイトバランスだけを対象としており、フラッシュ発光前の画像データとフラッシュ発光後の画像データの２枚の画像データを用いなければならない構成となっている。
【０００９】
このため、この特許文献１の技術は、フラッシュ光以外の複数種類の光源下にある被写体を撮像した場合のホワイトバランス補正に適用することはできない。何故ならば、室内を蛍光灯で照明している室の窓から太陽光が射し込んでいる状態で室内シーンを撮影した場合、１枚の画像データが得られるだけであり、太陽光照射前の画像データと太陽光照射後の画像データの２枚の画像データを得ることができないからである。
【００１０】
本発明の目的は、太陽光（白熱灯光やフラッシュ光を含む）と他の光源による照明光とが混合したときのホワイトバランス補正を良好に行うことができる固体撮像装置及びデジタルカメラを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の固体撮像装置は、複数種類の光源によって照明される被写体を撮像する固体撮像素子と、該固体撮像素子の画像領域毎に前記複数種類の光源の混合比を求めて各画像領域を該混合比に応じて複数にクラス分けすると共に同一クラスに属する画像領域の出力データの総和から前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求め前記画像領域毎にホワイトバランス補正を行う信号処理手段とを備えることを特徴とする。
【００１２】
この構成により、撮像画像データのホワイトバランス補正が混合光源の種類に応じて適切に施され、良質な画像データを出力可能となる。
【００１３】
本発明の固体撮像装置の前記画像領域毎は画素毎であることを特徴とする。この構成により、ホワイトバランス補正を画素毎に行いきめ細かなホワイトバランス補正ができる。
【００１４】
本発明の固体撮像装置では、前記混合比の値が“１”を含む第１クラスと“０”を含む第２クラスと該第１，第２クラス以外の第３クラスの３つに少なくともクラス分けすることを特徴とする。この構成により、色温度の推定が容易となる。
【００１５】
本発明の固体撮像装置では、前記混合比の値が“１”及び“１”に近い値を含むクラスの前記総和から前記複数種類のうちの１種類の光源の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする。この構成により、色温度の推定精度を高めることが可能となる。
【００１６】
本発明の固体撮像装置では、前記混合比の値が“０”及び“０”に近い値を含むクラスの前記総和から前記複数種類のうちの１種類の光源の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする。この構成により、色温度の推定精度を高めることができる。
【００１７】
本発明の固体撮像装置では、前記クラス分けされた全クラスの前記総和から前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする。この構成により、全画素データを利用したホワイトバランス補正ができる。
【００１８】
本発明の固体撮像装置では、前記第３クラスあるいは該第３クラス内でクラス分けされた小クラス内の前記総和だけを用いて前記光源の種類毎の色温度あるいはホワイトバランス補正係数値を求めることを特徴とする。この構成により、誤差が大きい領域のデータを除いてホワイトバランス補正が可能となる。
【００１９】
本発明のデジタルカメラは、上述したいずれかの固体撮像素子及び信号処理手段を搭載したことを特徴とする。この構成により、良好な撮像画像データをユーザに提供可能となる。
【発明の効果】
【００２０】
本発明によれば、混合光源下で撮影した画像を高精度にホワイトバランス補正することができ、良質の画像をユーザに提供可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の一実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。このデジタルスチルカメラは、撮影レンズ１０と、固体撮像素子１１と、この両者の間に設けられた絞り１２と、赤外線カットフィルタ１３と、光学ローパスフィルタ１４とを備える。デジタルスチルカメラの全体を制御するＣＰＵ１５は、フラッシュ用の発光部１６及び受光部１７を制御し、また、レンズ駆動部１８を制御して撮影レンズ１０の位置をフォーカス位置に調整し、絞り駆動部１９を介し絞り１２の開口量を制御して露光量が適正露光量となるように調整する。
【００２２】
また、ＣＰＵ１５は、撮像素子駆動部２０を介して固体撮像素子１１を駆動し、撮影レンズ１０を通して撮像した被写体画像を色信号として出力させる。また、ＣＰＵ１５には、操作部２１を通してユーザの指示信号が入力され、ＣＰＵ１５はこの指示に従って各種制御を行う。固体撮像素子１１は、ハニカム画素配置のＣＣＤやベイヤー方式のＣＣＤ、あるいはＣＭＯＳセンサであるが、本実施形態では、ハニカム画素配置のＣＣＤ（図３参照）を用いる。
【００２３】
デジタルスチルカメラの電気制御系は、固体撮像素子１１の出力に接続されたアナログ信号処理部２２と、このアナログ信号処理部２２から出力された色信号をデジタル信号に変換するＡ／Ｄ変換回路２３とを備え、これらはＣＰＵ１５によって制御される。
【００２４】
更に、このデジタルスチルカメラの電気制御系は、メインメモリ２４に接続されたメモリ制御部２５と、詳細は後述するデジタル信号処理部２６と、撮像画像をＪＰＥＧ画像に圧縮したり圧縮画像を伸張したりする圧縮伸張処理部２７と、固体撮像素子１１から出力されデジタルデータに変換された画像データを色信号毎に積算し各積算値をデジタル信号処理部２６に出力する積算部２８と、着脱自在の記録媒体２９が接続される外部メモリ制御部３０と、カメラ背面等に搭載された液晶表示部３１が接続される表示制御部３２とを備え、これらは、制御バス３３及びデータバス３４によって相互に接続され、ＣＰＵ１５からの指令によって制御される。
【００２５】
図１に示すデジタル信号処理部２６や、アナログ信号処理部２２，Ａ／Ｄ変換回路２３等は、これを夫々別回路としてデジタルスチルカメラに搭載することもできるが、これらを固体撮像素子１１と同一半導体基板上にＬＳＩ製造技術を用いて製造し、１つの固体撮像装置とするのがよい。
【００２６】
図２は、各種光源の相対放射エネルギ分布を照度を揃えて比較したグラフである。光源としては、Ｄ５５（太陽光），Ｄ７５（太陽光），Ａ（タングステン光），Ｆ６（普通型白色蛍光灯），３波長型昼白色蛍光灯，Ｆ１２（３波長型電球色蛍光灯）の６種類を図示している。
【００２７】
この図２を見ると、次のような波長の光を検出するセンサを設けることで、撮影光源が、３波長型蛍光灯光源に属するか、太陽光光源に属するか、普通型蛍光灯光源に属するかを識別できることが分かる。
【００２８】
例えば、３波長型螢光灯の放射ピークがある６１０ｎｍ付近、或いは５４５ｎｍ付近を検出するセンサを設ける。別の例としては、蛍光灯の放射エネルギが小さい６４０ｎｍ以上の光を検出するセンサを設けたり、３波長型蛍光灯の放射エネルギが小さく且つ普通型蛍光灯（Ｆ６）の放射エネルギが高い５７０ｎｍ〜５８０ｎｍ付近の光を検出するセンサを設ける。その他、５２０ｎｍ付近など、前述した各種光源の放射分布を照度一定の条件にて比較した場合に、３波長型蛍光灯光が他の光源光と異なる波長であればどこであっても有効である。
【００２９】
センサを２種類設ける場合、各センサの検出波長がなるべく近いことが好ましい。具体的には、夫々のピーク感度波長が１００ｎｍ以内にあることが望ましい。例えば、波長５４５ｎｍを検出するセンサと、波長６１０ｎｍを検出するセンサを設ける。２種類のセンサのピーク感度波長が近いほど、被写体の色相に依存せずに、光源混合比を精度良く推定することができるからである。
【００３０】
これらのセンサは、ＣＣＤやＣＭＯＳと別個にカメラに設けることもできるし、また、ＣＣＤやＣＭＯＳなどの固体撮像素子に一体に組み込んで設けることもできる。
【００３１】
図３は、図１に示す固体撮像素子１１の一部表面を示す模式図である。この固体撮像素子は、所謂、ハニカム画素配置と呼ばれ、多数の緑の色フィルタを持つフォトダイオードが縦横に所定間隔で配置され、その各行，各列の各フォトダイオードに対して、１／２ピッチづつずらした位置に、青（Ｂ）と赤（Ｒ）の各色フィルタを持つフォトダイオードが交互に配置される構造となっている。
【００３２】
図示する例では、「Ｒ」「Ｇ」「Ｂ」と記載された８角形の枠が夫々赤（Ｒ），緑（Ｇ），青（Ｂ）の色フィルタを示し、対応するフォトダイオードは、その下側（紙面の下側）に配置される。より正確には、８角形の枠がフォトダイオードの形を表し、赤，緑，青の色フィルタは、８角形の枠より大きなサイズ（その形は例えば８角形や４角形）で設けられる。
【００３３】
光が各色フィルタを通して入射することで各フォトダイオードに蓄積された信号電荷は、矢印ａに示す様に各フォトダイオードの脇に形成されている垂直転送路６０に読み出され、この信号電荷は、矢印ｂに示す様に垂直転送路６０に沿って転送されて水平転送路６１に至り、今度は矢印ｃに示す様に水平転送路６１に沿って転送され、固体撮像素子から読み出される。各画素（フォトダイオード）から読み出される信号電荷量は、各フォトダイオードの受光光量に応じた値となる。
【００３４】
固体撮像素子１１の各フォトダイオードの表面には色フィルタが重ねて設けられるが、このＲ，Ｇ，Ｂの色フィルタは、例えば顔料や染料を用いて製造される。この製造時に、本実施形態では、１０００画素程度に１つの割合で且つ固体撮像素子１１の表面に均等に分散するように、図３に示す様に、例えばＧの色フィルタの代わりに波長５８０ｎｍ付近の光を透過する色フィルタ（Ｓ５８０）を設け、例えばＲの色フィルタの代わりに波長６４０ｎｍ以上の光を透過する色フィルタ（ＳＬＲ）を設ける。Ｓ５８０とＳＬＲとは、隣接したペアとして設けるのがよい。
【００３５】
画素Ｓ５８０や画素ＳＬＲの蓄積電荷は、画素Ｇや画素Ｒから信号電荷を読み出すときに一緒に読み出され、光源種別や混合比を求めるときに使用される。画素Ｓ５８０，ＳＬＲ位置のＲ，Ｇ，Ｂ信号成分は、周りの画素Ｒ，Ｇ，Ｂの各信号電荷を補間演算して求めることになる。
【００３６】
図４は、上述した各色フィルタ（Ｒ，Ｇ，Ｂ，Ｓ５８０，ＳＬＲ）を設けた固体撮像素子１１を搭載したデジタルスチルカメラ（赤外線カットフィルタ１３やカメラレンズ１０等を組み合わせた後）の分光感度を示すグラフである。
【００３７】
各色フィルタＲ，Ｇ，Ｂは夫々赤色，緑色，青色に相当する波長の光を透過し、それ以外の波長の光をカットする様になっている。例えば、青色フィルタＢは、波長約４６０ｎｍ付近に透過光のピークを持ち、波長約４００ｎｍ以下の光と波長約５１０ｎｍ以上の光をカットする様に製造される。
【００３８】
また、緑色フィルタＧは、波長約４８０ｎｍ以下の光と波長約６００ｎｍ以上の光をカットし、両者間の光を透過する波形となっている。更に、赤色フィルタＲは、波長５８０ｎｍ以下の光をカットし、波長５８０ｎｍ以上の光を透過する。波長６６０ｎｍ以上の光は、赤外線カットフィルタ１３によってカットされる。
【００３９】
尚、本実施形態で用いることができるＲ，Ｇ，Ｂの各色フィルタの分光特性に関する上記の記載は、厳密なものではない。例えば、Ｒの「５８０ｎｍ以下の光をカットし」とは、例えば５５０ｎｍから６１０ｎｍにかけてのなだらかなカットであってもよく、あるいは、青色光波長域に洩れがあっても良い。これはＧやＢの色フィルタについても同様である。
【００４０】
本実施形態における色フィルタＳ５８０は、図２に示す様に、普通型蛍光灯（Ｆ６光源）の放射エネルギが高く、３波長型蛍光灯（特に、３波長型昼白色蛍光灯，Ｆ１２光源）の放射エネルギが低い波長５７０ｎｍ〜５８０ｎｍの光を透過する様に製造され、色フィルタＳＬＲは、蛍光灯（普通型蛍光灯，３波長型蛍光灯）の放射エネルギが小さい波長６４０ｎｍ以上の光を透過する様に製造される。
【００４１】
図５は、図１に示すデジタル信号処理部２６の詳細構成図である。このデジタル信号処理部２６は、ハードウェア回路で構成しても、デジタルシグナルプロセッサ上で動作するソフトウェアにて構成することも可能である。
【００４２】
図示する例のデジタル信号処理部２６は、Ａ／Ｄ変換回路２３から出力されるＲ，Ｇ，Ｂの各色の画像信号を取り込んでオフセット処理を行うオフセット補正回路４１と、オフセット補正回路４１の出力信号を取り込んでホワイトバランス調整を後述のホワイトバランスゲイン量算出回路５３で算出されたゲイン値を用いて行うゲイン補正回路４２と、ゲイン補正回路４２から出力される信号に対して所定のγ値を用いガンマ補正を行うガンマ補正回路４３とを備える。
【００４３】
Ａ／Ｄ変換回路２３から出力される色信号は、Ｒ，Ｇ，Ｂの３色でなる画像信号であり、オフセット補正回路４１は、これらの画像信号を取り込んでオフセット処理を行い、次のゲイン補正回路４２は、取り込んだ画像信号Ｒ，Ｇ，Ｂに対して夫々ホワイトバランス補正処理を施す。
【００４４】
デジタル信号処理部２６は更に、ガンマ補正回路４３から出力されるＲ，Ｇ，Ｂの画像信号を補間演算して各画素位置におけるＲＧＢ３色の信号成分を求めるＲＧＢ補間演算部４４と、ＲＧＢ補間演算後のＲＧＢ信号から輝度信号Ｙと色差信号Ｃｒ，Ｃｂとを求めるＲＧＢ／ＹＣ変換回路４５と、輝度信号Ｙと色差信号Ｃｒ，Ｃｂからノイズを低減するノイズフィルタ４６と、ノイズ低減後の輝度信号Ｙに対して輪郭補正を行う輪郭補正回路４７と、ノイズ低減後の色差信号Ｃｒ，Ｃｂに対して色差マトリクス（Ｃ―ＭＴＸ）を乗算して色調補正を行う色差マトリクス回路４８とを備える。
【００４５】
更に、デジタル信号処理２６は、積算部２８から出力される信号Ｒ，Ｇ，Ｂ，Ｓ５８０，ＳＬＲ毎の積算値ΣＲ，ΣＧ，ΣＢ，ΣＳ５８０，ΣＳＬＲを取り込み、詳細は後述するようにして、色温度を用いて光源種別を高精度に判定する光源種別判定回路５１と、画素Ｓ５８０と画素ＳＬＲの検出信号及び赤色信号Ｒとを取り込んで光源混合比を推定する光源混合比推定回路５２と、ホワイトバランスゲイン量算出回路５３とを備える。
【００４６】
ホワイトバランスゲイン量算出回路５３は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、被写体照明光源が１種類の場合にはその光源種類に応じたホワイトバランスのゲイン量をゲイン補正回路４２に出力し、被写体照明光源が特定光源と他光源との混合であった場合には夫々の光源種類の光源混合比に基づき、各画素毎に適切なホワイトバランスゲイン量を算出し、ゲイン補正回路４２に出力する。
【００４７】
色差マトリクス回路４８には、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路５１が求めた光源種別に応じて使用する色差マトリクスを切り替え、この切り替え後の色差マトリクス〔Ｃ―ＭＴＸ〕を、入力してくる色差信号Ｃｒ，Ｃｂに、次の数１に示す様に乗算し、色調補正された色差信号Ｃｒ’，Ｃｂ’を出力する。
【００４８】
〔数１〕
2005033609.tif 000003
【００４９】
この色差マトリクス回路４８は、光源種別判定回路５１と、光源混合比推定回路５２の出力信号を受け、光源種類が複数種類ある場合には、光源種類毎の照明光混合比に応じて、色差マトリクスの係数を次の様に補正する。
【００５０】
今、光源Ｌ１の照明光が１００％のときの色差マトリクス〔Ｃ１―ＭＴＸ〕と、光源Ｌ２の照明光が１００％のときの色差マトリクス〔Ｃ２―ＭＴＸ〕の係数が夫々次の数２で、
【００５１】
〔数２〕
2005033609.tif 000004
と表されるとする。
【００５２】
そして、光源Ｌ１と光源Ｌ２の混合比がｍ：（１−ｍ）のとき、色差マトリクス回路４８で使用する色差マトリクスの係数ａ，ｂ，ｃ，ｄを、
【００５３】
〔数３〕
ａ＝ｍ×ａ１＋（１−ｍ）×ａ２
ｂ＝ｍ×ｂ１＋（１−ｍ）×ｂ２
ｃ＝ｍ×ｃ１＋（１−ｍ）×ｃ２
ｄ＝ｍ×ｄ１＋（１−ｍ）×ｄ２
として求める。
【００５４】
あるいは、上式以外の任意の式やルックアップテーブルによってＣ１―ＭＴＸからＣ２―ＭＴＸへ混合比ｍの値に依存して連続的に変化させることもできる。尚、光源Ｌ１，Ｌ２に対応する夫々の色差マトリクスは、ホワイトバランスの補正込みで最適な値に決めたものを使用するのがよい。特に、肌色の色相が良好で、かつ光源種にかかわらず同じであるように決めるのが好ましい。同時に、一般色の再現性も、基準光源で撮影した時の状態になるべく近づけて決めるのが良い。
【００５５】
次に、光源混合比推定回路５２で行う混合比推定処理について説明する。尚、ここでは、太陽光と３波長型蛍光灯との混合光源の混合比を求める例を説明する。図２から分かる通り、同一照度にて３波長型蛍光灯と太陽光の放射エネルギを比較すると、波長５７０ｎｍから５８０ｎｍの波長域と、波長６４０ｎｍ以上の波長域で、いずれも３波長型蛍光灯の方が放射エネルギが低い。そこで、センサ用の画素Ｓ５８０，ＳＬＲの各検出信号を「Ｓ５８０」，「ＳＬＲ」とし、画素Ｒからの出力値を「Ｒ」と表したとき、
【００５６】
〔数４〕
Ｘ＝（Ｓ５８０＋ｋ×ＳＬＲ）／Ｒ
なる比Ｘの値を算出する。
【００５７】
この比の値Ｘは、どんな色の被写体であっても、３波長型蛍光灯の比率ｌ００％から太陽光の比率１００％に向かって単調に増大する。しかも、Ｘの絶対値は、３波長型蛍光灯と太陽光の混合比率が同じとき被写体の色（自然色）に関わらずかなり近い値となる。即ち、自然色が被写体である限り、光源の混合比を良い精度で推定できる。
【００５８】
この現象は、次のように説明できる。Ｒの分光感度は、図４から分かるように、Ｓ５８０やＳＬＲを含む形になっている。このため、（Ｓ５８０＋ｋ×ＳＬＲ）をＲで割った値Ｘは、赤色波長域において５８０ｎｍ付近の入射光の割合Ａと６４０ｎｍ以上の入射光の割合Ｂの合計を意味している。蛍光灯光の比率が多いほど、ＡもＢも小さな値となるが，その絶対値は、被写体の色に依存して様々である。
【００５９】
しかし、自然色の分光反射率特性は、狭い波長域（およそ１００ｎｍ程度の範囲）においては、概略、平坦になるか、右上がりになるか、右下がりになるかの３通りしかないので、ＡとＢを合計し、Ｒで除すれば、どんな色の場合でも近い値になる。
【００６０】
比Ｘの値を用い、本実施形態では、次の数５により、混合比ｍの値を算出する。
【００６１】
〔数５〕
ｍ＝ｋ１・Ｘ２＋ｋ２・Ｘ＋ｋ３
【００６２】
ここで、ｋ１，ｋ２，ｋ３は夫々係数であり、各係数ｋ１，ｋ２，ｋ３は、３波長型蛍光灯，太陽光の夫々の色温度で表した式で求める。これらの式は、予めカメラに記憶させておいたり、あるいは、予め計算した値をテーブルデータとして記憶させておく。
【００６３】
次に、光源種別判定回路５１で行われる光源種別判定処理について述べる。本実施形態の固体撮像素子１１には、特定波長の光を検出するＳ５８０やＳＬＲがセンサとして設けられている。そこで、先ずこれらセンサの検出信号により、撮影光源が、太陽光，普通型蛍光灯，３波長型蛍光灯の３種類の光源のどれに属するかを判定する。そして次に、例えば、混合光源の一方が太陽光であったとき、その太陽光が曇りのときの太陽光であるか、真夏の直射日光下での太陽光であるかを識別する。この識別は、固体撮像素子１１へ入射する光の色温度を検出することで行う。
【００６４】
即ち、太陽光が、Ｄ５５光源であるか、Ｄ６５光源であるか、Ｄ７５光源であるか、…を精度良く識別する。ここで「５５」は５５００Ｋ（ケルビン）を表し、「６５」は６５００Ｋを表す通り、同じ太陽光であってもその色温度は撮影状況によって様々な値をとり、「５５」とか「６５」に限られるものではなく、任意の値をとる。そして、その色温度に応じて、ホワイトバランス補正を行うことで、撮像画像データのホワイトバランス補正を精度良く行うことができ、良好な画像を得ることが可能になる。
【００６５】
同様に、光源が３波長型蛍光灯や普通型蛍光灯あっても、また、その種類や色温度が製造メーカ毎に異なったとしても、夫々の光源種類や色温度に応じて適切なホワイトバランス補正を行うことで、良好な画像データを得ることが可能となる。
【００６６】
以下、本実施形態における光源種別判定処理手順を、順を追って説明する。尚、ここでは、混合光源の一方の光源Ｌ１が太陽光（Ａ光源やフラッシュライトを含む。）であるとして説明する。
【００６７】
（１）先ず、他方の光源Ｌ２が３波長型蛍光灯であるのか、それとも普通型蛍光灯であるのかを識別する。この識別は、センサＳ５８０やＳＬＲの検出信号によってカメラが自動的に判別することでも、また、撮影者が光源を識別してカメラにインプットすることでも良い。以下、他方の光源Ｌ２が３波長型蛍光灯の場合を例に説明する。
【００６８】
（２）次に画素毎の混合比ｍを前述した混合比推定処理によって推定する。そして、混合比ｍの値から、太陽光１００％の画素あるいは太陽光１００％に近い画素のＣＣＤ出力値を合計する。この合計から、太陽光の色温度を推定することができる。推定した色温度が、３２００Ｋより低かった場合には、光源Ｌ１は太陽光源ではなくＡ光源であるため、全画素の混合比ｍの推定処理をＡ光源専用の推定式にてやり直す。
【００６９】
（３）混合比ｍの推定値に基いて、全画素をクラス分けする。光源Ｌ１（太陽光）が１００％の場合を混合比ｍ＝１とし、光源Ｌ１が０％（３波長型蛍光灯が１００％）の場合を混合比ｍ＝０と表すことにした場合、例えば混合比ｍの値を“０．１”の幅で刻んで「１０」のクラス（０≦ｍ＜０．１〔第１クラス〕、０．１≦ｍ＜０．２〔第２クラス〕、０．２≦ｍ＜０．３〔第３クラス〕、…、０．９≦ｍ≦１〔第１０クラス〕）に分け、各画素がどのクラスに入るかを推定された混合比ｍにより決定する。
【００７０】
（４）次に、同一クラスに属する画素のデータをチャネル（Ｒ，Ｇ，Ｂ，Ｓ５８０，ＳＬＲ）毎に合計する。多数の画素データを合計すると、一般的に、近似的にグレーのデータになり、この合計したデータから２つの光源Ｌ１，Ｌ２の種類や夫々の光源の色温度を求めることが可能となる。
【００７１】
（５）次に、光源Ｌ１，Ｌ２の混合光源下でのホワイトバランス（ＷＢ）係数ＷＢｒ，ＷＢｇ，ＷＢｂの値を推定する。ここで、光源Ｌ１の赤，緑，青毎のホワイトバランス係数をＷＢｒ１，ＷＢｇ１，ＷＢｂ１とし、光源Ｌ２の赤，緑，青毎のホワイトバランス係数をＷＢｒ２，ＷＢｇ２，ＷＢｂ２とすると、混合光源下における各色毎のホワイトバランス係数ＷＢｒ，ＷＢｇ，ＷＢｂは、各光源Ｌ１，Ｌ２の混合比ｍを用いて次式により算出することができる。
【００７２】
〔数６〕
ＷＢｒ＝１／｛ｍ／ＷＢｒ１十（１−ｍ）／ＷＢｒ２｝
ＷＢｇ＝１／｛ｍ／ＷＢｇ１＋（１−ｍ）／ＷＢｇ２｝
ＷＢｂ＝１／｛ｍ／ＷＢｂ１＋（１−ｍ）／ＷＢｂ２｝
【００７３】
この数６で用いる各光源Ｌ１，Ｌ２毎のホワイトバランス係数ＷＢｒ１，ＷＢｇ１，ＷＢｂ１，ＷＢｒ２，ＷＢｇ２，ＷＢｂ２の値は、各光源Ｌ１，Ｌ２毎の色温度が精度良く求まれば、一義的に求めることができる。以下、各光源Ｌ１，Ｌ２毎の色温度の求め方について説明する。
【００７４】
先ず、同一の光源群に対して固体撮像素子の出力がどのような出力になるかを予め求めておく。例として太陽光（白熱灯光を含む）と３波長型蛍光灯の場合で説明する。
【００７５】
図６は、光源が太陽光（Ａ光源を含む。）の場合の固体撮像素子出力と色温度との相関を示すグラフであり、図７は、光源が３波長型蛍光灯の場合の固体撮像素子出力と色温度との相関を示すグラフである。各図とも、横軸に色温度をとり、縦軸に固体撮像素子から出力されるＲ出力，Ｇ出力，Ｂ出力の出力比Ｒ／Ｇ，Ｂ／Ｇの値をとっている。
【００７６】
これらの図６，図７の横軸は、色温度そのものとすることもできるが、相関曲線が直線あるいは２次曲線となるように、便宜的なパラメータ値を各色温度に割り当てている。図示の例では、Ｒ／Ｇが直線となり、Ｂ／Ｇが２次曲線となるようなパラメータ値を色温度に割り当てている。
【００７７】
この図６において、既知の太陽光源（Ｄ５０，Ｄ５５，Ｄ６５，Ｄ７５及びＡ光源）の値をプロットし、Ｒ／Ｇの直線とＢ／Ｇの２次曲線の式を求めておく。図６においては、Ａ光源の色温度パラメータ値＝０．２２、Ｄ５０光源の色温度パラメータ値＝０．５７、Ｄ６５光源の色温度パラメータ値＝０．６５、Ｄ７５光源の色温度パラメータ値＝０．６８となっている。
【００７８】
同様に、図７において、既知の３波長型蛍光灯（昼光色，Ｆ１０，Ｆ１１，Ｆ１２）の値をプロットし、Ｒ／Ｇの直線とＢ／Ｇの２次曲線の式を求めておく。図７においては、３波長型昼光色蛍光灯の色温度パラメータ値＝０．７、Ｆ１０光源の色温度パラメータ値＝０．６、Ｆ１１光源の色温度パラメータ値＝０．５、Ｆ１２光源の色温度パラメータ値＝０．３となっている。
【００７９】
次に、光源Ｌ１の分光放射分布をＰｌと表し、光源Ｌ２の分光放射分布をＰ２で表す。但し、
【００８０】
〔数７〕
∫Ｐｉ・Ｓｇ・ｄλ＝１
であるようにＰｉの強度を定義する（ｉ＝１or２）。Ｓｇは感度であり、λは波長である。
【００８１】
上述した（３）でクラス分けした、各クラス毎の色信号Ｒ，Ｇ，Ｂの合計値はグレーであると近似できるので、混合比＝ｍとし、ｋを定数として各クラス毎のＲ，Ｇ，Ｂの出力の合計値（Ｔを付けて示す）は、
【００８２】
〔数８〕
ＲＴ＝ｋ∫｛ｍＰ１＋（１−ｍ）Ｐ２｝・Ｓｒ・ｄλ
ＧＴ＝ｋ∫｛ｍＰｌ＋（１−ｍ）Ｐ２｝・Ｓｇ・ｄλ＝ｋ（上記定義より）
ＢＴ＝ｋ∫｛ｍＰ１＋（１−ｍ）Ｐ２｝・Ｓｂ・ｄλ
と表される。従って、
【００８３】
〔数９〕
ＲＴ／ＧＴ＝∫｛ｍＰ１十（１−ｍ）Ｐ２｝・Ｓｒ・ｄλ
＝ｍ∫Ｐ１・Ｓｒ・ｄλ＋（１−ｍ）∫Ｐ２・Ｓｒ・ｄλ
ＢＴ／ＧＴ＝∫｛ｍＰ１十（１−ｍ）Ｐ２｝・Ｓｂ・ｄλ
＝ｍ∫Ｐ１・Ｓｂ・ｄλ十（１−ｍ）∫Ｐ２・Ｓｂ・ｄλ
となる。
【００８４】
ここで、図６におけるＲ／Ｇ，Ｂ／Ｇを（Ｒ／Ｇ）Ｌ１，（Ｂ／Ｇ）Ｌ１と表し、図７におけるＲ／Ｇ，Ｂ／Ｇを（Ｒ／Ｇ）Ｌ２，（Ｂ／Ｇ）Ｌ２と表すと、
【００８５】
〔数１０〕
（Ｒ／Ｇ）Ｌ１＝∫Ｐ１・Ｓｒ・ｄλ／∫Ｐｌ・Ｓｇ・ｄλ
と表される。この数１０の分母は、数７の定義により“１”であるため、
【００８６】
〔数１１〕
（Ｒ／Ｇ）Ｌ１＝∫Ｐ１・Ｓｒ・ｄλ
となる。以下、同様であるため、
【００８７】
〔数１２〕
ＲＴ／ＧＴ＝ｍ（Ｒ／Ｇ）Ｌ１十（１−ｍ）（Ｒ／Ｇ）Ｌ２
ＢＴ／ＧＴ＝ｍ（Ｂ／Ｇ）Ｌ１十（１−ｍ）（Ｂ／Ｇ）Ｌ２
となる。
【００８８】
これらの式の左辺の値は実際の出力値であり、右辺の混合比ｍの値は推定ができている。そこで、数１２の左辺と右辺の差の絶対値を次の数１３で、
【００８９】
〔数１３〕
△ｒ＝｜ＲＴ／ＧＴ−｛ｍ（Ｒ／Ｇ）Ｌ１＋（１−ｍ）（Ｒ／Ｇ）Ｌ２｝｜
△ｂ＝｜ＢＴ／ＧＴ−｛ｍ（Ｂ／Ｇ）Ｌ１＋（１−ｍ）（Ｂ／Ｇ）Ｌ２｝｜
求め、これらの値を全クラスについて合計し、
【００９０】
〔数１４〕
△＝Σ（△ｒ十△ｂ）
とする。
【００９１】
この△の値を最小とする（Ｒ／Ｇ）Ｌ１，（Ｂ／Ｇ）Ｌ１，（Ｒ／Ｇ）Ｌ２，（Ｂ／Ｇ）Ｌ２の値が示す色温度が、光源Ｌ１，Ｌ２の夫々の色温度であり、この色温度により、各光源Ｌ１，Ｌ２毎のホワイトバランス係数値が一義的に決定される。
【００９２】
本実施形態に係るデジタルカメラでは、図６，図７中に示した直線や２次曲線の相関式（或いはルックアップテーブル）が予めカメラに記憶されており、固体撮像素子１１から出力されるＲ，Ｇ，Ｂ信号やＳ５８０信号，ＳＬＲ信号に基づいて混合比ｍの値を求め、同時にパターンサーチ法等で数１４の△の値を最小とする光源Ｌ１，Ｌ２の色温度を求め、これらの値により撮像画像データのホワイトバランス補正や色差マトリクス補正を行う。
【００９３】
尚、上述した実施形態では、数１４のΔの値を求めるに際して全クラスのデータを用いたが、全クラスのデータを用いる必要はなく、必要なクラスのデータだけを用いて各光源Ｌ１，Ｌ２の色温度を求めてもよい。
【００９４】
例えば、或るクラスに属する画素数が極端に少ない場合は、そのクラスを除外して各光源Ｌ１，Ｌ２の色温度を求めるのが好ましい。また例えば、混合比ｍが“１”や“０”を示す画素が非常に多い場合は、それらのクラスのデータだけを用いて色温度を推定するのが好ましい。この場合、それらの画素データだけを集めることで、従来から用いられている色温度推定方法をそのまま使うこともできる。
【００９５】
また、上述した実施形態では、固体撮像素子１１の各画素を、混合比ｍの値が“０．１”毎に等間隔にクラス分けしたが、間隔は０．１でなくても良く、また、等間隔でなくとも良い。
【００９６】
更に、混合比ｍを求めるとき、０≦ｍ≦１の範囲を超える混合比ｍの値が算出される場合がある。この様な場合には、ｍが“０”より小さくなる画素はｍ＝０とし、ｍが“１”より大きくなる画素はｍ＝１として、全画素の混合比ｍを０≦ｍ≦１の範囲に収めるのが普通であるが、ｍ＝１，ｍ＝０が入るクラスでは誤差が大きくなってしまう。そこで、斯かる処理を行うカメラでは、ｍ＝１付近の第１クラスとｍ＝０付近の第２クラスとそれ以外の第３クラスの少なくとも３つのクラス分けを行い、第３クラスのデータだけを用いて各光源Ｌ１，Ｌ２の色温度を求めるのが良い。あるいは、第３クラス内を更に小クラスに分けてある特定の小クラス内の総和データだけを用いて各光源Ｌ１，Ｌ２の色温度を求め、誤差の影響を小さくしても良い。
【００９７】
尚、以上述べた実施形態では、光源Ｌ２が３波長型蛍光灯であるとして説明したが、光源Ｌ２が普通型蛍光灯であっても、同様の処理により混合光源下におけるホワイトバランス係数の値を画素毎に推定することができる。
【００９８】
（第２の実施形態）
次に、本発明の第２の実施形態に係るデジタルスチルカメラについて説明する。第１の実施形態におけるデジタルスチルカメラの固体撮像素子には、センサとしてＳ５８０やＳＬＲを設けたが、本実施形態のデジタルスチルカメラに搭載した固体撮像素子１１には、特別なＳ５８０やＳＬＲは設けずに、図８に示す様に、赤色（Ｒ）の光を検出する素子として、分光感度Ｒ１，Ｒ２の２種類の画素を設けている。
【００９９】
図９は、本実施形態に係る分光感度（カメラの分光感度）を示すグラフである。分光感度Ｒ１と分光感度Ｒ２とは、Ｒ１−Ｒ２＝Ｓ５８０＋ＳＬＲとなるように設計されている。
【０１００】
本実施形態では、Ｒ１，Ｒ２，Ｇ，Ｂの色信号が検出されるため、これらの色信号を用い、画素抜け無く、画像データを生成することが可能になると共に、Ｓ５８０やＳＬＲのセンサ検出信号も同時に得ることができる。Ｒ１，Ｒ２からＲの色信号を求める方法は種々あり、単にＲ１とＲ２の色信号を加算平均するだけでもよい。あるいは、Ｒ１もＲ２も区別なくそのままＲとして扱うことでもよい。
【０１０１】
本実施形態に係るデジタルスチルカメラでも、第１の実施形態に係るデジタルスチルカメラと同様の処理を行う。そして、太陽光源と３波長型蛍光灯との混合光源下で被写体を撮影し、撮像画像データのホワイトバランス補正を行なう。カメラの固体撮像素子出力値は、Ｄ６５光源にホワイトバランスが合うように初期設定されている。
【０１０２】
図１０，図１１，図１２は、本実施形態のカメラで無彩色を撮影した時の固体撮像素子（本実施形態ではＣＣＤ）出力値の比を各光源種（太陽光（Ａ光源を含む）、３波長型蛍光灯、普通型蛍光灯（Ｆ６光源））毎に色温度をパラメータとしてとったグラフである。
【０１０３】
一般的に、多数の画素のデータを混合すると、グレーになる傾向があり、このため、この例では無彩色（グレー）を被写体とし、Ｄ７５光源とＦ１１光源の混合光源によって被写体を照明し、撮像した。勿論、カメラには光源種類のインプットは行わず、カメラが自動的に光源種類と色温度を検出し、如何なるホワイトバランス係数の値で画像補正を行ったかを調べた。
【０１０４】
カメラは先ず、次の数１５に示す混合比推定式よって画素毎の混合比ｍを推定する。
【０１０５】
〔数１５〕
ｍ＝−４９．１４×Ｍ×Ｍ＋１０２．２×Ｍ−５２．０２
但し、Ｍ＝Ｒ１／Ｒ２  （注：Ｒ１，Ｒ２は各画素Ｒ１，Ｒ２の出力値）
【０１０６】
そして、混合比ｍ＝０．９〜１の範囲に入る画素の出力信号Ｒ１，Ｒ２，Ｇ，Ｂを合計し、合計後の比（ΣＲ１／Ｇ、ΣＢ／Ｇなど）の値から、太陽光の色温度を求める。この例では、色温度が５０００Ｋ以上であると判別している。
【０１０７】
また、混合比ｍを０．０５刻みにクラス分けし、各クラス毎にＲ１，Ｒ２を合計し、Ｒ２Ｔ／ＲｌＴを求める。この比の値は、混合比が“０”に近いほど大きくなり、“１．１”を超えたため、図１３の光源種判別グラフから、混合光源の一方の光源が、普通型蛍光灯ではなく、３波長型蛍光灯であることが分かる。
【０１０８】
カメラは次に、クラス毎にＲｌＴ／ＧＴ、Ｒ２Ｔ／ＧＴ、ＢＴ／ＧＴを求め、全クラスの数１４で示す△の合計値が最小となるように、図１０の太陽光源のグラフと図１１の３波長型蛍光灯のグラフから色温度を求める。
【０１０９】
これにより、色温度パラメータ値Ｌ１＝０．６８、色温度パラメータ値Ｌ２＝０．４８４が求められる。これにより、光源Ｌ１がＤ７５光源であり、光源Ｌ２がＦ１１光源であることが分かる。これらのパラメータ値Ｌ１，Ｌ２から、カメラが一義的に求めた光源種毎のホワイトバランス係数値は、次の通りである。尚、これらのホワイトバランス係数値は、図１０，図１１の出力比の逆数として求められる。
【０１１０】
ＷＢｒ１１＝１．６３
ＷＢｒ２１＝１．９２
ＷＢｇｌ  ＝１．００
ＷＢｂ１  ＝１．０４
ＷＢｒ１２＝０．９７８
ＷＢｒ２２＝１．０３
ＷＢｇ２  ＝１．００
ＷＢｂ２  ＝２．４３
【０１１１】
これに対し、Ｄ７５光源とＦ１１光源に対する正しいホワイトバランス係数値は次の通りである。
【０１１２】
ＷＢｒ１（ｄ７５）＝１．６３
ＷＢｒ２（ｄ７５）＝１．９２
ＷＢｇ（ｄ７５）  ＝１．００
ＷＢｂ（ｄ７５）  ＝１．０４
ＷＢｒ１（Ｆ１１）＝０．９６３
ＷＢｒ２（Ｆ１１）＝１．０２
ＷＢｇ（Ｆ１１）  ＝１．００
ＷＢｂ（Ｆ１１）  ＝２．４９
【０１１３】
以上述べた様に、本発明の上記各実施形態によれば、混合光源の各光源種類毎に色温度を高精度に推定でき、この色温度推定と混合比推定とにより決定した画素毎のホワイトバランス補正により、品質の高い撮像画像データを得ることが可能となる。
【０１１４】
尚、上述した各実施形態では、各画素毎にホワイトバランス補正を行ったが、各画素毎ではなく、ある所定範囲の画像領域毎（例えば１０×１０＝１００画素の集合毎）にホワイトバランス補正を行う構成でもよいことはいうまでもない。
【図面の簡単な説明】
【０１１５】
【図１】本発明の第１の実施形態に係るデジタルスチルカメラの構成図である。
【図２】各種撮影光源の分光放射分布を示すグラフである。
【図３】図１に示す固体撮像素子の表面模式図である。
【図４】図１に示すデジタルスチルカメラの分光感度を示すグラフである。
【図５】図１に示すデジタル信号処理部の詳細構成図である。
【図６】光源が太陽光（Ａ光源を含む。）の場合の固体撮像素子出力と色温度との相関を示すグラフである。
【図７】光源が３波長型蛍光灯の場合の固体撮像素子出力と色温度との相関を示すグラフである。
【図８】本発明の第２の実施形態に係るデジタルスチルカメラに搭載した固体撮像素子の表面模式図である。
【図９】本発明の第２の実施形態に係るデジタルスチルカメラの分光感度を示すグラフである。
【図１０】光源が太陽光（Ａ光源を含む。）の場合の第２実施形態に係る固体撮像素子出力と色温度との相関を示すグラフである。
【図１１】光源が３波長型蛍光灯の場合の第２実施形態に係る固体撮像素子出力と色温度との相関を示すグラフである。
【図１２】光源が普通型蛍光灯の場合の第２実施形態に係る固体撮像素子出力と色温度との相関を示すグラフである。
【図１３】光源種類を識別するときに使用するグラフである。
【符号の説明】
【０１１６】
１０  撮影レンズ
１１  固体撮像素子
１５  ＣＰＵ
２６  デジタル信号処理部
２８  積算部
４８  色差マトリクス回路
５１  光源種別判定回路
５２  光源混合比推定回路
５３  ホワイトバランスゲイン量算出回路
【図１】
2005033609.tif 000005
【図２】
2005033609.tif 000006
【図３】
2005033609.tif 000007
【図４】
2005033609.tif 000008
【図５】
2005033609.tif 000009
【図６】
2005033609.tif 000010
【図７】
2005033609.tif 000011
【図８】
2005033609.tif 000012
【図９】
2005033609.tif 000013
【図１０】
2005033609.tif 000014
【図１１】
2005033609.tif 000015
【図１２】
2005033609.tif 000016
【図１３】
2005033609.tif 000017