(57)【要約】【課題】  固体撮像素子から得られる撮像信号に基づく画像データに最適なホワイトバランス調整を可能とするために、固体撮像素子で撮像して得られる画像における色被り部位を検出することが可能な画像処理装置を提供する。【解決手段】  平面状に配列された複数の光電変換素子を含む固体撮像素子から得られる撮像信号に基づく画像データに処理を施すデジタル信号処理部６であって、前記複数の光電変換素子は、同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子を含み、前記第１の光電変換素子及び第２の光電変換素子は近接して配置されており、デジタル信号処理部６は、前記撮像信号が複数種類の光源下の撮影によって得られたものであること、及びそれぞれの光源下の撮影領域を判別する判別処理を、互いに近接する前記第１の光電変換素子及び第２の光電変換素子から得られる撮像信号の比に基づいて行う。【選択図】  図１
2005269303.tif 000002
【特許請求の範囲】
【請求項１】
平面状に配列された複数の光電変換素子を含む固体撮像素子から得られる撮像信号に基づく画像データに処理を施す画像処理装置であって、
前記撮像信号が複数種類の光源下の撮影によって得られたものであること、及びそれぞれの光源下の撮影領域を判別する判別処理を行う判別手段を備え、
前記複数の光電変換素子は、同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子を含み、
前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、
前記判別手段は、互いに近接する前記第１の光電変換素子及び第２の光電変換素子から得られる撮像信号の比に基づいて、前記判別処理を行う画像処理装置。
【請求項２】
請求項１記載の画像処理装置であって、
前記比のうち最小又は最大のものを基準にしたときの前記比の相対値を算出する相対値算出手段と、
前記相対値と前記相対値の最小値又は最大値との差分を、前記相対値の最大値又は最小値と前記相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の混合比として算出する混合比算出手段とを備える画像処理装置。
【請求項３】
請求項２記載の画像処理装置であって、
前記撮像信号を、前記混合比を用いて補正する補正手段を備える画像処理装置。
【請求項４】
請求項１〜３のいずれか記載の画像処理装置であって、
前記第１の光電変換素子の有する分光感度特性は、水銀灯の輝線付近にピークを有する画像処理装置。
【請求項５】
請求項４記載の画像処理装置であって、
前記第１の光電変換素子の有する分光感度特性の波長幅は、前記第２の光電変換素子の有する分光感度特性の波長幅よりも小さい画像処理装置。
【請求項６】
請求項５記載の画像処理装置であって、
前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である画像処理装置。
【請求項７】
請求項１〜６のいずれか記載の画像処理装置であって、
前記同一種類とは、青又は緑である画像処理装置。
【請求項８】
平面状に配列された複数の光電変換素子を含む固体撮像素子から得られる撮像信号に基づく画像データに処理を施す画像処理装置であって、
前記撮像信号が複数種類の光源下の撮影によって得られたものであること、及びそれぞれの光源下の撮影領域を判別する判別処理を行う判別手段を備え、
前記複数の光電変換素子は、第１の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子と、第２の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第３の光電変換素子及び複数の第４の光電変換素子とを含み、
前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、
前記第３の光電変換素子及び第４の光電変換素子は近接して配置され、
前記判別手段は、互いに近接する前記第１の光電変換素子及び第２の光電変換素子から得られる撮像信号の第１の比と、互いに近接する前記第３の光電変換素子及び第４の光電変換素子から得られる撮像信号の第２の比とに基づいて、前記判別処理を行う画像処理装置。
【請求項９】
請求項８記載の画像処理装置であって、
前記第１の比のうち最小又は最大のものを基準にしたときの前記第１の比の相対値と、前記第２の比のうち最小又は最大のものを基準にしたときの前記第２の比の相対値とを算出する相対値算出手段と、
前記第１の比の相対値と前記第１の比の相対値の最小値又は最大値との差分を、前記第１の比の相対値の最大値又は最小値と前記第１の比の相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の第１の混合比として算出し、前記第２の比の相対値と前記第２の比の相対値の最小値又は最大値との差分を、前記第２の比の相対値の最大値又は最小値と前記第２の比の相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の第２の混合比として算出する混合比算出手段とを備える画像処理装置。
【請求項１０】
請求項９記載の画像処理装置であって、
前記撮像信号を、前記第１及び第２の混合比を用いて補正する補正手段を備える画像処理装置。
【請求項１１】
請求項８〜１０のいずれか記載の画像処理装置であって、
前記第１の光電変換素子及び第３の光電変換素子の有する分光感度特性は、水銀灯の輝線付近にピークを有する画像処理装置。
【請求項１２】
請求項１１記載の画像処理装置であって、
前記第１の光電変換素子の有する分光感度特性の波長幅は、前記第２の光電変換素子の有する分光感度特性の波長幅よりも小さく、前記第３の光電変換素子の有する分光感度特性の波長幅は、前記第４の光電変換素子の有する分光感度特性の波長幅よりも小さい画像処理装置。
【請求項１３】
請求項１２記載の画像処理装置であって、
前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下であり、前記第３の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第４の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である画像処理装置。
【請求項１４】
請求項８〜１３のいずれか記載の画像処理装置であって、
前記第１の同一種類とは青であり、前記第２の同一種類とは緑である画像処理装置。
【請求項１５】
コンピュータを、請求項１〜１４のいずれか記載の画像処理装置として機能させるための画像処理プログラム。
【請求項１６】
平面状に配列された複数の光電変換素子を含む固体撮像素子であって、
前記複数の光電変換素子は、同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子を含み、
前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、
前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である固体撮像素子。
【請求項１７】
請求項１６記載の固体撮像素子であって、
前記第１の光電変換素子の有する分光感度特性は、水銀灯の輝線付近にピークを有する固体撮像素子。
【請求項１８】
請求項１６又は１７記載の固体撮像素子であって、
前記同一種類とは、青又は緑である固体撮像素子。
【請求項１９】
平面状に配列された複数の光電変換素子を含む固体撮像素子であって、
前記複数の光電変換素子は、第１の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子と、第２の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第３の光電変換素子及び複数の第４の光電変換素子とを含み、
前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、
前記第３の光電変換素子及び第４の光電変換素子は近接して配置され、
前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下であり、
前記第３の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第４の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である固体撮像素子。
【請求項２０】
請求項１９記載の固体撮像素子であって、
前記第１の光電変換素子及び第３の光電変換素子の有する分光感度特性は、水銀灯の輝線付近にピークを有する固体撮像素子。
【請求項２１】
請求項１９又は２０記載の固体撮像素子であって、
前記第１の同一種類とは、青であり、前記第２の同一種類とは、緑である固体撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子からの撮像信号に基づく画像データに処理を施す画像処理装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ（携帯電話機に搭載されているものを含む。）やデジタルビデオカメラ等のデジタルカメラでは、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子によって被写体を撮像し、得られた画像データのホワイトバランスを、被写体の照明光源種類に応じて補正し、出力している。
【０００３】
光源としては、太陽光（Ｄ６５光源，Ｄ７５光源など），普通型白色蛍光灯（Ｆ６光源），フラッシュライトなど代表的な種々の光源が予め想定されており、デジタルカメラが自動的にホワイトバランス補正を行う場合、撮像画像データを解析して光源種類を識別し、この光源種類に応じた補正値を使用する様になっている。
【０００４】
しかし、撮影を行う場合、１種類の光源によってのみ被写体が照明される場合の他、複数種類の光源によって被写体が照明されるシーンを撮影する場合がある。例えば、蛍光灯で照明されている室内に窓から太陽光が射し込んでいる状態で、室内シーンを撮影する場合などである。
【０００５】
複数種類の光源によって照明されている被写体を撮像して得た画像データをホワイトバランス補正する場合、従来は、メインとなる１種類の光源種類だけを判別し、画像全体をその光源種類に基づいて補正していた。このため、画像中のメインの被写体から外れた画像部分つまり他の種類の光源による照明が強い部分の画像が色かぶりを起こして例えば緑色味の強い画像になり、色の再現性（特に肌色の再現性）が低下するという問題があった。
【０００６】
従来、撮影時における光源が、蛍光灯であるか他の光源であるかを検出する撮像装置が提案されている（例えば、特許文献１参照）。特許文献１記載の撮像装置は、分光感度特性の違いによって２種類に分類される赤色又は緑色の光電変換素子を用いて固体撮像素子を構成し、この固体撮像素子を用いて撮像装置を構成したものである。
【０００７】
【特許文献１】特開２００３−２５９３８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１記載の撮像装置によれば、光源がどのようなものかを判別することはできるが、撮影して得られる画像において、どの領域に色被りが発生しているかといったことを検出することはできない。
【０００９】
本発明は、上記事情に鑑みてなされたものであり、固体撮像素子から得られる撮像信号に基づく画像データに最適なホワイトバランス調整を可能とするために、固体撮像素子で撮像して得られる画像における色被り部位を検出することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、平面状に配列された複数の光電変換素子を含む固体撮像素子から得られる撮像信号に基づく画像データに処理を施す画像処理装置であって、前記撮像信号が複数種類の光源下の撮影によって得られたものであること、及びそれぞれの光源下の撮影領域を判別する判別処理を行う判別手段を備え、前記複数の光電変換素子は、同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子を含み、前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、前記判別手段は、互いに近接する前記第１の光電変換素子及び第２の光電変換素子から得られる撮像信号の比に基づいて、前記判別処理を行う。
【００１１】
この構成により、固体撮像素子で撮像して得られる画像における色被り部位を検出することができる。
【００１２】
又、本発明の画像処理装置は、前記比のうち最小又は最大のものを基準にしたときの前記比の相対値を算出する相対値算出手段と、前記相対値と前記相対値の最小値又は最大値との差分を、前記相対値の最大値又は最小値と前記相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の混合比として算出する混合比算出手段とを備える。
【００１３】
又、本発明の画像処理装置は、前記撮像信号を、前記混合比を用いて補正する補正手段を備える。
【００１４】
又、本発明の画像処理装置は、前記第１の光電変換素子の有する分光感度特性が、水銀灯の輝線付近にピークを有する。
【００１５】
又、本発明の画像処理装置は、前記第１の光電変換素子の有する分光感度特性の波長幅が、前記第２の光電変換素子の有する分光感度特性の波長幅よりも小さい。
【００１６】
又、本発明の画像処理装置は、前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅が、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である。
【００１７】
又、本発明の画像処理装置は、前記同一種類とは、青又は緑である。
【００１８】
本発明の画像処理装置は、平面状に配列された複数の光電変換素子を含む固体撮像素子から得られる撮像信号に基づく画像データに処理を施す画像処理装置であって、前記撮像信号が複数種類の光源下の撮影によって得られたものであること、及びそれぞれの光源下の撮影領域を判別する判別処理を行う判別手段を備え、前記複数の光電変換素子は、第１の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子と、第２の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第３の光電変換素子及び複数の第４の光電変換素子とを含み、前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、前記第３の光電変換素子及び第４の光電変換素子は近接して配置され、前記判別手段は、互いに近接する前記第１の光電変換素子及び第２の光電変換素子から得られる撮像信号の第１の比と、互いに近接する前記第３の光電変換素子及び第４の光電変換素子から得られる撮像信号の第２の比とに基づいて、前記判別処理を行う。
【００１９】
又、本発明の画像処理装置は、前記第１の比のうち最小又は最大のものを基準にしたときの前記第１の比の相対値と、前記第２の比のうち最小又は最大のものを基準にしたときの前記第２の比の相対値とを算出する相対値算出手段と、前記第１の比の相対値と前記第１の比の相対値の最小値又は最大値との差分を、前記第１の比の相対値の最大値又は最小値と前記第１の比の相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の第１の混合比として算出し、前記第２の比の相対値と前記第２の比の相対値の最小値又は最大値との差分を、前記第２の比の相対値の最大値又は最小値と前記第２の比の相対値の最小値又は最大値との差分で除算して得られる値を、前記撮影領域における前記複数種類の光源からの光の第２の混合比として算出する混合比算出手段とを備える。
【００２０】
又、本発明の画像処理装置は、前記撮像信号を、前記第１及び第２の混合比を用いて補正する補正手段を備える。
【００２１】
又、本発明の画像処理装置は、前記第１の光電変換素子及び第３の光電変換素子の有する分光感度特性が、水銀灯の輝線付近にピークを有する。
【００２２】
又、本発明の画像処理装置は、前記第１の光電変換素子の有する分光感度特性の波長幅が、前記第２の光電変換素子の有する分光感度特性の波長幅よりも小さく、前記第３の光電変換素子の有する分光感度特性の波長幅は、前記第４の光電変換素子の有する分光感度特性の波長幅よりも小さい。
【００２３】
又、本発明の画像処理装置は、前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅が、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下であり、前記第３の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第４の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である。
【００２４】
又、本発明の画像処理装置は、前記第１の同一種類とは青であり、前記第２の同一種類とは緑である。
【００２５】
本発明の画像処理プログラムは、コンピュータを、前記画像処理装置として機能させるためのプログラムである。
【００２６】
本発明の固体撮像素子は、平面状に配列された複数の光電変換素子を含む固体撮像素子であって、前記複数の光電変換素子は、同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子を含み、前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である。
【００２７】
又、本発明の固体撮像素子は、前記第１の光電変換素子の有する分光感度特性が、水銀灯の輝線付近にピークを有する。
【００２８】
又、本発明の固体撮像素子は、前記同一種類とは、青又は緑である。
【００２９】
本発明の固体撮像素子は、平面状に配列された複数の光電変換素子を含む固体撮像素子であって、前記複数の光電変換素子は、第１の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第１の光電変換素子及び複数の第２の光電変換素子と、第２の同一種類の異なる色に対してピークを持つ分光感度特性を有する複数の第３の光電変換素子及び複数の第４の光電変換素子とを含み、前記第１の光電変換素子及び第２の光電変換素子は近接して配置され、前記第３の光電変換素子及び第４の光電変換素子は近接して配置され、前記第１の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第２の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下であり、前記第３の光電変換素子の有する分光感度特性のピークの半分における波長幅は、前記第４の光電変換素子の有する分光感度特性のピークの半分における波長幅の２／３以下である。
【００３０】
又、本発明の固体撮像素子は、前記第１の光電変換素子及び第３の光電変換素子の有する分光感度特性が、水銀灯の輝線付近にピークを有する。
【００３１】
又、本発明の固体撮像素子は、前記第１の同一種類とは、青であり、前記第２の同一種類とは、緑である。
【発明の効果】
【００３２】
本発明によれば、固体撮像素子で撮像して得られる画像における色被り部位を検出することが可能な画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【００３３】
（第一実施形態）
図１は、本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図である。
図１のデジタルカメラは、撮像部１と、アナログ信号処理部２と、Ａ／Ｄ変換部３と、駆動部４と、ストロボ５と、デジタル信号処理部６と、圧縮／伸張処理部７と、表示部８と、システム制御部９と、内部メモリ１０と、メディアインタフェース１１と、記録メディア１２と、操作部１３とを備える。デジタル信号処理部６、圧縮／伸張処理部７、表示部８、システム制御部９、内部メモリ１０、及びメディアインタフェース１１は、システムバス２０に接続されている。
【００３４】
撮像部１は、撮影レンズ等の光学系及びＣＣＤイメージセンサ等の撮像素子（本実施形態では固体撮像素子２００）によって被写体の撮影を行うものであり、アナログの撮像信号を出力する。アナログ信号処理部２は、撮像部１で得られた撮像信号に所定のアナログ信号処理を施す。Ａ／Ｄ変換部３は、アナログ信号処理部２で処理後のアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換部３の出力は、いわゆるＲＡＷ画像データとしてデジタル信号処理部６に送られる。ＲＡＷ画像データは、撮像部１からの撮像信号の形式のままデジタル化したデジタル画像データである。
【００３５】
図２は、本発明の第一実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図である。
固体撮像素子２００は、半導体基板上の行方向（図２のＸ方向）とこれに直交する列方向（図２のＹ方向）に配設された複数の光電変換素子２１〜２４（図２では一部にのみ符号を付してある）を含む。図２では、簡単のために８×８個の光電変換素子について示してあるが、実際にはもっと多くの光電変換素子を有している。固体撮像素子２００は、複数の光電変換素子２１〜２４を１つのサンプル２５として、サンプル２５を複数有する構成となっている。
【００３６】
複数の光電変換素子２１〜２４は、その上方に色フィルタが配置され、それぞれ異なる分光感度特性を持つ。複数の光電変換素子２１〜２４は、例えばフォトダイオードである。尚、図２においては、光電変換素子２１の分光感度特性に対応する符号として「Ｒ１」、光電変換素子２２の分光感度特性に対応する符号として「Ｇ１」、光電変換素子２３の分光感度特性に対応する符号として「Ｇ２」、光電変換素子２４の分光感度特性に対応する符号として「Ｂ１」を付した。又、以下では、光電変換素子２１の分光感度特性のことを分光感度特性Ｒ１といい、光電変換素子２２の分光感度特性のことを分光感度特性Ｇ１といい、光電変換素子２３の分光感度特性のことを分光感度特性Ｇ２といい、光電変換素子２４の分光感度特性のことを分光感度特性Ｂ１という。
【００３７】
図３は、複数の光電変換素子２１〜２４のそれぞれの分光感度特性を示す図である。図３においては、光電変換素子２１の分光感度特性に符号Ｒ１を付し、光電変換素子２２の分光感度特性に符号Ｇ１を付し、光電変換素子２３の分光感度特性に符号Ｇ２を付し、光電変換素子２４の分光感度特性に符号Ｂ１を付した。
【００３８】
図３に示すように、光電変換素子２１の分光感度特性Ｒ１は、赤色の光に対してピークを持つものである。光電変換素子２２及び光電変換素子２３の分光感度特性Ｇ１及びＧ２は、それぞれ、緑の異なる色の光に対してピークを持つものである。分光感度特性Ｇ２は、蛍光灯等の水銀灯の輝線波長（５４５ｎｍ）付近にピークを有し、分光感度特性Ｇ１は、蛍光灯等の水銀灯の輝線波長（５４５ｎｍ）付近にピークを有していない。又、分光感度特性Ｇ２が感度を持つ波長幅は、分光感度特性Ｇ１が感度を持つ波長幅よりも小さく、特に、分光感度特性Ｇ２のピークの半分における波長幅が、分光感度特性Ｇ１のピークの半分における波長幅の２／３以下となっている。光電変換素子２４の分光感度特性Ｂ１は、青色の光に対してピークを持つものである。
【００３９】
ここでは関係ないが、図３に示す分光感度特性Ｂ２は、分光感度特性Ｂ１と同様、青色の光に対してピークを持つものである。但し、分光感度特性Ｂ２は、蛍光灯等の水銀灯の輝線波長（４３５ｎｍ）付近にピークを有し、分光感度特性Ｂ１は、蛍光灯等の水銀灯の輝線波長（４３５ｎｍ）付近にピークを有していない。又、分光感度特性Ｂ２が感度を持つ波長幅は、分光感度特性Ｂ１が感度を持つ波長幅よりも小さく、特に、分光感度特性Ｂ２のピークの半分における波長幅が、分光感度特性Ｂ１のピークの半分における波長幅の２／３以下となっている。
【００４０】
尚、光電変換素子２３の分光感度特性Ｇ２を、図３に示す分光感度特性Ｇ３としても良い。分光感度特性Ｇ３は、分光感度特性Ｇ２と同様、緑色の光に対して感度を持ち、蛍光灯等の水銀灯の輝線波長（５４５ｎｍ）付近にピークを有し、分光感度特性Ｇ３のピークの半分における波長幅が、分光感度特性Ｇ１のピークの半分における波長幅の２／３以下となっている。
【００４１】
撮影に際しては、駆動部４を介して光学系の制御が行われる。固体撮像素子２００は、入射光に対応して発生され、蓄積された信号電荷に基づいたアナログ電圧信号を出力する。固体撮像素子２００は、操作部１３の一部であるレリーズボタン（図示せず）の操作によるレリーズスイッチ（図示せず）オンを契機として、所定のタイミングで、駆動部４に含まれるタイミングジェネレータ（図１ではＴＧと記載）からの駆動信号によって駆動される。駆動部４は、システム制御部９によって所定の駆動信号を出力する。
【００４２】
デジタル信号処理部６は、所定のプログラムによって動作するプロセッサを主体に構成され、Ａ／Ｄ変換部３からのデジタルの撮像信号に基づいて、色被り部位検出及び色被り補正処理を行う。又、デジタル信号処理部６は、Ａ／Ｄ変換部３からのデジタルの撮像信号に基づくデジタル画像データに対し、操作部１２によって設定された動作モードに応じたデジタル信号処理を行う。デジタル信号処理部６が行う処理には、黒レベル補正処理（ＯＢ処理）、リニアマトリクス補正処理、ホワイトバランス調整処理、ガンマ補正処理、同時化処理、及びＹ／Ｃ変換処理等が含まれる。デジタル信号処理部６は、例えばＤＳＰで構成される。
【００４３】
圧縮／伸張処理部７は、デジタル信号処理部６で得られたＹ／Ｃデータに対して圧縮処理を施すとともに、記録メディア１２から得られた圧縮画像データに対して伸張処理を施す。
【００４４】
表示部８は、例えばＬＣＤ表示装置を含んで構成され、撮影されてデジタル信号処理を経た画像データに基づく画像を表示する。記録メディアに記録された圧縮画像データを伸張処理して得た画像データに基づく画像の表示も行う。また、撮影時のスルー画像、デジタルカメラの各種状態、操作に関する情報の表示等も可能である。
【００４５】
内部メモリ１０は、例えばＤＲＡＭであり、デジタル信号処理部６やシステム制御部９のワークメモリとして利用される他、記録メディアに１２に記録される撮影画像データを一時的に記憶するバッファメモリや表示部８への表示画像データのバッファメモリとしても利用される。メディアインタフェース１１は、メモリカード等の記録メディア１２との間のデータの入出力を行うものである。
【００４６】
システム制御部９は、所定のプログラムによって動作するプロセッサを主体に構成され、撮影動作を含むデジタルカメラ全体の制御を行う。
【００４７】
操作部１３は、デジタルカメラ使用時の各種操作を行うものである。
【００４８】
以下、デジタル信号処理部６が行う色被り検出及び色被り補正処理について説明する。
図４は、本発明の第一実施形態を説明するためのデジタルカメラのデジタル信号処理部が行う色被り部位検出及び色被り補正処理のフローを示す図である。図４に示す各処理の右には、各処理後のデータの状態を説明するための図（この図は、図２に示す固体撮像素子２００の模式図に対応させて示したものである）を付した。
【００４９】
まず、ユーザが、デジタルカメラ１００により、蛍光灯が点灯している室内においてストロボ５により補助光を発光させて被写体を撮影したものとする。デジタル信号処理部６は、撮影により複数の光電変換素子２１〜２４から得られた撮像信号をＡ／Ｄ変換部３から取得する（Ｓ４１）。このときの状態は、Ｓ４１の処理の右の図に示したようになっている。この図では、複数の光電変換素子２１〜２４からの撮像信号を、それぞれの分光感度特性Ｒ１、Ｇ１、Ｇ２、Ｂ１と同じ符号で示している。
【００５０】
デジタル信号処理部６は、複数のサンプル２５の各々について、サンプル２５から得られた撮像信号Ｇ１と撮像信号Ｇ２との比Ｇ２／Ｇ１を算出する（Ｓ４２）。このとき、Ｓ４２の処理の右の図に示すように、各サンプル２５について、Ｇ２／Ｇ１の値を示す数値が求まる。
【００５１】
デジタル信号処理部６は、各サンプル２５のＧ２／Ｇ１の値に基づいて、Ｓ４１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであるか否かを判別する（Ｓ４３）。デジタル信号処理部６は、各サンプル２５のＧ２／Ｇ１の値が全て同じの場合（Ｓ４４：ＹＥＳ）、Ｓ４１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものでないと判別して、色被り部位検出及び色被り補正処理を終了し、後段の画像処理（同時化処理、信号補間処理、ホワイトバランス調整処理等）に移行する。デジタル信号処理部６は、各サンプル２５のＧ２／Ｇ１の値が全て同じ値でない場合（Ｓ４４：ＮＯ）、Ｓ４１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであると判別し、Ｓ４５に処理を移行する。
【００５２】
Ｓ４５において、デジタル信号処理部６は、各サンプル２５のＧ２／Ｇ１の値に基づいて、複数種類の光源のそれぞれの光源下の撮影領域を判別する。それぞれの光源下の撮影領域とは、例えば、撮影時の光源がストロボ５と蛍光灯であった場合、Ｓ４１で取得した撮像信号に基づく画像において、ストロボ５からの光が入り込んでいる画像上の領域と、蛍光灯からの光が入り込んでいる画像上の領域とのことを示す。
【００５３】
Ｇ２／Ｇ１の値は、ほぼ同一位置の被写体部位を撮像して得られる撮像信号の比であるため、その被写体部位に蛍光灯からの光が全く入射していなければ、つまり、ストロボ５からの光のみが入射していれば、Ｇ２／Ｇ１の値は、それほど大きくならない。一方、その被写体部位にストロボ５からの光が全く入射しておらず、蛍光灯からの光のみが入射していれば、Ｇ２／Ｇ１の値は大きくなる。そこで、デジタル信号処理部６では、Ｇ２／Ｇ１の値が最も小さいサンプル２５については、蛍光灯からの光の光量が最も少ないと推測できるため、このサンプル２５から得られる撮像信号に基づく画像を、ストロボ５下での撮影領域として判別する。又、Ｇ２／Ｇ１の値が最も大きいサンプル２５については、蛍光灯からの光の光量が最も多いと推測できるため、このサンプル２５から得られる撮像信号に基づく画像を、蛍光灯下での撮影領域として判別する。又、Ｇ２／Ｇ１の値が最小と最大との間の値となっているサンプル２５については、ストロボ５からの光と蛍光灯からの光とが混合していると推測できるため、このサンプル２５から得られる撮像信号に基づく画像を、ストロボ５と蛍光灯との２つの光源下での撮影領域として判別する。
【００５４】
ストロボ５をホワイトバランス調整処理に用いる照明光源とすると、ここで判別した撮影領域のうち、蛍光灯下での撮影領域と、ストロボ５と蛍光灯との２つの混合光源下での撮影領域とを、Ｓ４１で取得した撮像信号に基づく画像における色被り部位として検出することができる。一方、蛍光灯をホワイトバランス調整処理に用いる照明光源とすると、ここで判別された撮影領域のうち、ストロボ５下での撮影領域と、ストロボ５と蛍光灯光源との２つの混合光源下での撮影領域とを、Ｓ４１で取得した撮像信号に基づく画像における色被り部位として検出することができる。以下では、ストロボ５をホワイトバランス調整処理に用いる照明光源として説明する。
【００５５】
次に、デジタル信号処理部６は、Ｇ２／Ｇ１の最小値、例えば、この値が０．６であった場合、この値を基準値（＝１）とし、この基準値に対する各サンプル２５のＧ２／Ｇ１の値の比である相対値ｆを求める（Ｓ４６）。相対値ｆは、任意のサンプル２５におけるＧ２／Ｇ１の値をＧ２／Ｇ１の最小値で割ることで求める。このときの各サンプル２５の相対値を図に示してある。図に示すように、Ｇ２／Ｇ１が最小のサンプル２５には相対値１が求まり、その他のサンプル２５には相対値１．１７や１．２５が求まる。
【００５６】
相対値ｆを求めた後、デジタル信号処理部６は、以下の式（１）を用いて、各サンプル２５から得られる撮像信号に基づく画像に写り込む複数光源からの光のうち、蛍光灯からの光の割合を示す混合比ｘ（推定値）を算出する（Ｓ４７）。
混合比ｘ＝（相対値ｆ−相対値ｆｍｉｎ）／（相対値ｆｍａｘ−相対値ｆｍｉｎ）    （１）
ここで、相対値ｆｍｉｎは、全サンプル２５における相対値ｆの最小値、相対値ｆｍａｘは、全サンプル２５における相対値ｆの最大値である。
【００５７】
混合比とは、あるサンプル２５に入射する光のうち、蛍光灯からの光の光量の割合のことを言う。混合比ｘの値が大きい程、蛍光灯からの光が多く含まれていることを意味する。Ｓ４７の処理の右にある図のように、相対値ｆが１であったサンプル２５から得られる撮像信号に基づく画像は混合比ｘ＝０となり、相対値ｆが１．１７であったサンプル２５から得られる撮像信号に基づく画像は混合比ｘ＝０．６８となり、相対値ｆが１．２５であったサンプル２５から得られる撮像信号に基づく画像は混合比ｘ＝１となっている。
【００５８】
式（１）は、次のような考えで考案されたものである。
混合比が増加すると、Ｇ２／Ｇ１の比も増加し、相対値ｆも増加するため、混合比ｘは、図５に示すように、相対値ｆの１次関数５０としてみなすことができる。但し、混合比ｘは未知数であるため、関数５０の式を求めるためには、相対値ｆがいくつのときに混合比ｘが最小値をとり、相対値ｆがいくつのときに混合比ｘが最大値をとるかを推測する必要がある。Ｓ４６では、各サンプル２５における相対値ｆが求まるので、相対値ｆが最大になるサンプル２５は、上記Ｇ２／Ｇ１も最大になっており、蛍光灯からの光の量が最も多いと推測することができ、蛍光灯からの光の量が最も多いということは、そのサンプル２５における混合比ｘは１であるとみなすことができる。一方、相対値ｆが最小になるサンプルは、上記Ｇ２／Ｇ１も最小になっており、蛍光灯からの光の量が最も少ないと推測することができ、蛍光灯からの光の量が最も少ないということは、そのサンプルにおける混合比ｘは０であるとみなすことができる。こういった考えに基づき、ｆｍｉｎの値をとるサンプル２５を混合比ｘ＝０、ｆｍａｘの値をとるサンプル２５を混合比ｘ＝１として、関数５０を作成している。関数５０は以下の式（２）で示される。
【００５９】
ｆ＝（ｆｍａｘ−ｆｍｉｎ）ｘ＋ｆｍｉｎ＝（ｆｍａｘ−１）ｘ＋１    （２）
【００６０】
この式（２）から上記式（１）が求まる。尚、ここでは、ｆｍａｘの値をとるサンプル２５を混合比ｘ＝１とみなしているが、実際、混合比ｘ＝１となるような状況は、例えば、被写体として蛍光灯が入っている場合等である。もし、被写体に蛍光灯が入っていない場合には、実際に混合比ｘ＝１となるサンプル２５はあまり存在しないと考えられる。このため、ｆｍａｘの値をとるサンプル２５を混合比ｘ＝１とみなすのではなく、ｘ＝１以下の値とみなして上記式（１）、（２）を作成しても良い。例えば、撮影前、被写体に蛍光灯が入っている場合には、ユーザが、ｘの最大値を１に設定し、被写体に蛍光灯が入っていない場合には、ユーザが、ｘの最大値を０．６〜０．８の間に設定できるようにする。この場合、デジタル信号処理部６は、上記設定された数値にしたがって、例えば図５に示す１次関数５１を作成して、各サンプル２５における混合比ｘを算出すれば良い。このようにすることで、撮影シーンによっては、より正確な混合比の推定が可能となる。
【００６１】
各サンプル２５について混合比ｘを算出した後、デジタル信号処理部６は、混合比ｘが０より大きいサンプル２５について、以下の式（３）に基づいて、そのサンプル２５から得られる４つの撮像信号の信号値（ここでは便宜的に分光感度と同じ符号Ｒ１、Ｇ１、Ｇ２、Ｂ１とする）のうち信号値Ｇ２を除く信号値の各々から、そこに入り込んでいる蛍光灯からの光の光量値を除去する補正を行う（Ｓ４８）。式（３）を見て分かるように、各撮像信号の信号値から、その信号値の混合比ｘ分の信号値を減算することで補正を行う。尚、撮像信号Ｇ２については、後段の補間処理等により、信号の補間を行うため、補正を行わない。この補正を行うことにより、補正後の撮像信号にホワイトバランス調整処理を行った場合、ホワイトバランス調整処理後の撮像信号に基づく画像の色被りの発生を抑えることができる。
【００６２】
Ｒ１×（１−ｘ）
Ｇ１×（１−ｘ）
Ｂ１×（１−ｘ）                  （３）
【００６３】
上記除去を行っただけだと、蛍光灯からの光の光量がそのまま除去されているので、画像全体が暗くなってしまうこともある。そこで、デジタル信号処理部６は、以下の式（４）に基づいて、上記除去した光量値と同じ光量値を、信号値Ｇ１の混合比ｘ分の信号値として求め、この信号値を上記補正後の撮像信号の信号値に加算する（Ｓ４９）。これにより、画像全体の輝度を落とすことなく、色被りの原因となる信号値のみを除去することが可能となる。
【００６４】
Ｒ１×（１−ｘ）＋Ｇ１×ｘ
Ｇ１×（１−ｘ）＋Ｇ１×ｘ
Ｂ１×（１−ｘ）＋Ｇ１×ｘ                  （４）
【００６５】
尚、上記式（３）及び（４）における混合比ｘの値は、Ｓ４７で算出した値を用いなくても良い。例えば、Ｓ４７で算出した各サンプル２５における混合比ｘを、デジタルカメラ１００の表示部８に表示させ、ユーザが、各サンプル２５における混合比ｘを確認した上で、どのくらいの補正をかけるかを混合比ｘの値により指定できるようにしても良い。この場合、デジタル信号処理部６は、指定されたｘの値を式（３）、（４）に代入して補正を行う。このようにすることで、ユーザの意図した補正を行うことができる。
【００６６】
以上のように、デジタルカメラ１００によれば、固体撮像素子２００のサンプル２５に光電変換素子２２及び光電変換素子２３を設け、双方から得られる撮像信号を利用してそのサンプル２５における混合比ｘを算出することができ、この混合比ｘを用いて、サンプル２５から得られる撮像信号を補正することで、その撮像信号にホワイトバランス処理を行った場合の色被りの発生を抑制することができる。
【００６７】
尚、本実施形態では、図２に示したように、固体撮像素子２００の複数のサンプル２５の各々が、分光感度特性Ｇ１の光電変換素子２２及び分光感度特性Ｇ２の光電変換素子２３を有する構成としているが、図６に示すように、複数のサンプル２５が配置される領域を分割して得られる複数のサンプル群６０の各々に含まれる１つのサンプル２６にのみ、分光感度特性Ｇ１の光電変換素子２２及び分光感度特性Ｇ２の光電変換素子２３を配設し、その他のサンプル２５は、分光感度特性がＧ２である光電変換素子２３の位置に、分光感度特性がＧ１である光電変換素子２３を配設した構成であっても良い。この場合のデジタル信号処理部６の動作を図７を参照して説明する。
【００６８】
図７は、本発明の第一実施形態を説明するためのデジタル信号処理部における色被り部位検出及び補正処理フローを示す図である。図４と同一の処理には同一符号を付してある。
撮像信号を取得後、デジタル信号処理部６は、複数のサンプル２６の各々について、サンプル２６から得られた撮像信号Ｇ１と撮像信号Ｇ２との比Ｇ２／Ｇ１を算出する（Ｓ７２）。
【００６９】
デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値に基づいて、Ｓ４１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであるか否かを判別する（Ｓ７３）。デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値が全て同じの場合（Ｓ７４：ＹＥＳ）、Ｓ７１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものでないと判別して、色被り部位検出及び補正処理を終了し、後段の画像処理（同時化処理、信号補間処理、ホワイトバランス調整処理等）に移行する。デジタル信号処理部６は、各サンプル２５のＧ２／Ｇ１の値が全て同じ値でない場合（Ｓ７４：ＮＯ）、Ｓ４１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであると判別し、Ｓ７５に処理を移行する。
【００７０】
Ｓ７５において、デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値に基づいて、複数種類の光源のそれぞれの光源下の撮影領域を判別する。
【００７１】
デジタル信号処理部６は、Ｇ２／Ｇ１の値が最も小さいサンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像を、ストロボ５下での撮影領域として判別する。又、Ｇ２／Ｇ１の値が最も大きいサンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像を、蛍光灯下での撮影領域として判別する。又、Ｇ２／Ｇ１の値が最小と最大との間の値となっているサンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像を、ストロボ５と蛍光灯との２つの混合光源下での撮影領域として判別する。
【００７２】
ストロボ５をホワイトバランス調整に用いる照明光源とすると、ここで判別した撮影領域のうち、蛍光灯下での撮影領域と、ストロボ５と蛍光灯との２つの混合光源下での撮影領域とを、Ｓ４１で取得した撮像信号に基づく画像における色被り部位として検出することができる。一方、蛍光灯をホワイトバランス調整に用いる照明光源とすると、ここで判別した撮影領域のうち、ストロボ５下での撮影領域と、ストロボ５と蛍光灯との２つの混合光源下での撮影領域とを、Ｓ４１で取得した撮像信号に基づく画像における色被り部位として検出することができる。以下では、後段で行うホワイトバランス調整処理において、デジタル信号処理部６が、ストロボ５を照明光源と判別してホワイトバランス調整処理を行うものとする。
【００７３】
次に、デジタル信号処理部６は、Ｇ２／Ｇ１の最小値を基準値（＝１）とし、この基準値に対する各サンプル２６のＧ２／Ｇ１の値の比である相対値ｆを求める（Ｓ７６）。相対値ｆは、任意のサンプル２６におけるＧ２／Ｇ１の値をＧ２／Ｇ１の最小値で割ることで求める。
【００７４】
相対値ｆを求めた後、デジタル信号処理部６は、式（１）を用いて、各サンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像における混合比ｘを算出する（Ｓ７７）。
【００７５】
各サンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像について混合比ｘを算出した後、デジタル信号処理部６は、混合比ｘが０より大きいサンプル群６０について、そのサンプル群６０に含まれる複数の撮像信号の信号値の各々から、そこに入り込んでいる蛍光灯からの光の光量値を除去する補正を行う（Ｓ７８）。具体的には、サンプル群６０から得られる複数の撮像信号の信号値の各々に（１−ｘ）を乗算する。
【００７６】
上記除去を行っただけだと、画像全体が暗くなってしまうこともあるため、デジタル信号処理部６は、上記除去した光量値と同じ光量値を、信号値Ｇ１の混合比ｘ分の信号値として求め、この信号値を上記補正後の撮像信号の信号値に加算する（Ｓ７９）。これにより、画像全体の輝度を落とすことなく、色被りの原因となる信号値のみを除去することが可能となる。
【００７７】
図６のような構成の固体撮像素子であっても、精度は多少落ちるが、色被り部位の検出及び補正を行うことができる。
【００７８】
又、以上の説明では、複数の光電変換素子２１〜２４の分光感度特性を、図２や図６に示したようにしているが、図２において、光電変換素子２１に分光感度特性Ｇ１を持たせ、光電変換素子２２に分光感度特性Ｂ１を持たせ、光電変換素子２３に分光感度特性Ｂ２を持たせ、光電変換素子２４に分光感度特性Ｒ１を持たせた図８（ａ）のような構成の固体撮像素子を用いても良い。又、図８（ａ）の構成の固体撮像素子において、複数のサンプル２５が配置される領域を分割して得られる複数のサンプル群６０の各々に含まれる１つのサンプル２６にのみ分光感度特性Ｂ１の光電変換素子２２と分光感度特性Ｂ２の光電変換素子２３とを配設し、その他のサンプル２５は、分光感度特性がＢ２である光電変換素子２３の位置に、分光感度特性がＢ１である光電変換素子２３を配設した図８（ａ）のような構成であっても良い。図８（ａ）や（ｂ）の構成の固体撮像素子を用いた場合の動作は、図４及び図７に示す処理において、Ｇ１がＢ１になり、Ｇ２がＢ２になるだけであるため、説明を省略する。
【００７９】
サンプル２５やサンプル２６に含まれる複数の光電変換素子２１〜２４には、分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子、又は、分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子が最低限含まれており、分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子がそれぞれ近接して配設され、分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子がそれぞれ近接して配設されていれば上記効果を得ることができる。このため、サンプル２５、２６内における光電変換素子の配置は図２及び図６に示したものに限らない。ここで、近接とは、２つの光電変換素子に入射する光が、ほぼ同じ被写体からの光となる程度の距離のことをいい、例えば、２つの光電変換素子が隣接していることがこれに相当する。
【００８０】
又、以上の説明では、デジタルカメラ１００の内部で、色被り部位検出及び色被り補正処理を行っているが、この処理を外部のコンピュータによって行うことも可能である。この場合、デジタルカメラ１００にＲＡＷ画像データを出力する機能を持たせておき、デジタルカメラ１００から出力されるＲＡＷ画像データを、上記所定のプログラムをインストールしたコンピュータに入力する。そして、コンピュータにより、図４及び図７に示した処理を行う。
【００８１】
又、この場合には、図４のＳ４７や図７のＳ７７において算出した混合比ｘを、図９に示すように画面上に表示させる。ユーザは、画面に表示された混合比ｘを見ることで、画像のどの部分にどれだけ色被りが発生しうるのかを知ることができ、画像データの編集に役立てることができる。又、混合比ｘが表示された状態で、ユーザが、どの部分に補正を行うのかを指定することができるようにしても良い。更に、補正をする量、つまり、式（３）、（４）におけるｘの値を、画像の任意の部分毎に設定することができるようにしても良い。これにより、画像編集の自由度を向上させることができる。
【００８２】
又、以上の説明では、撮像信号Ｇ１とＧ２との比としてＧ２／Ｇ１を求めているが、撮像信号Ｇ１とＧ２との比としてＧ１／Ｇ２を求めても良い。この場合は、式（１）を、以下の式（１）’に変更すれば良い。又、相対値ｆは、Ｇ１／Ｇ２の値の最大値を基準にして算出すれば良い。
混合比ｘ＝（相対値ｆ−相対値ｆｍａｘ）／（相対値ｆｍｉｎ−相対値ｆｍａｘ）    （１）’
【００８３】
（第二実施形態）
本実施形態を説明するためのデジタルカメラは、第一実施形態のデジタルカメラ１００とほぼ同様であるが、固体撮像素子２００の構成と、デジタル信号処理部６の構成とが異なるものである。以下、異なる部分について説明する。
【００８４】
図１０は、本発明の第二実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図である。
図１０に示す固体撮像素子２００は、基本的には図６に示す構成と同様である。図６では、複数のサンプル群６０の各々に、分光感度特性Ｇ１を持つ光電変換素子２２及び分光感度特性Ｇ２を持つ光電変換素子２３を含むサンプル２６を１つ有する構成となっているが、図１０に示す固体撮像素子２００では、この複数のサンプル群６０の各々に、分光感度特性Ｇ１を持つ光電変換素子２２及び分光感度特性Ｇ２を持つ光電変換素子２３を含むサンプル２６と、分光感度特性Ｂ１を持つ光電変換素子２４及び分光感度特性Ｂ２を持つ光電変換素子２３を含むサンプル２７とを有した構成となっている。以下、このような構成の固体撮像素子２００を搭載するデジタルカメラ１００のデジタル信号処理部６の動作について説明する。
【００８５】
図１１は、本発明の第二実施形態を説明するためのデジタルカメラのデジタル信号処理部における色被り部位検出及び補正処理フローを示す図である。
【００８６】
まず、ユーザが、デジタルカメラ１００により、蛍光灯が点灯している室内においてストロボ５により補助光を発光させて被写体を撮影したものとする。デジタル信号処理部６は、撮影により複数の光電変換素子２１〜２４から得られた撮像信号をＡ／Ｄ変換部３から取得する（Ｓ１１１）。
【００８７】
デジタル信号処理部６は、複数のサンプル２６の各々について、サンプル２６から得られた撮像信号Ｇ１と撮像信号Ｇ２との比Ｇ２／Ｇ１を算出し、複数のサンプル２７の各々について、サンプル２７から得られた撮像信号Ｂ１と撮像信号Ｂ２との比Ｂ２／Ｂ１を算出する（Ｓ１１２）。
【００８８】
デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値と、各サンプル２７のＢ２／Ｂ１の値とに基づいて、Ｓ１１１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであるか否かを判別する（Ｓ１１３）。デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値が全て同じで、且つ、各サンプル２７のＢ２／Ｂ１の値が全て同じの場合（Ｓ１１４：ＹＥＳ）、Ｓ１１１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものでないと判別して、色被り部位検出及び補正処理を終了し、後段の画像処理（同時化処理、信号補間処理、ホワイトバランス調整処理等）に移行する。デジタル信号処理部６は、各サンプル２６のＧ２／Ｇ１の値と各サンプル２７のＢ２／Ｂ１の値との少なくとも一方が、全て同じ値でない場合（Ｓ１１４：ＮＯ）、Ｓ１１１で取得した撮像信号が、複数種類の光源下の撮影によって得られたものであると判別し、Ｓ１１５に処理を移行する。
【００８９】
Ｓ１１５において、デジタル信号処理部６は、Ｇ２／Ｇ１の最小値を基準値（＝１）とし、この基準値に対する各サンプル２６のＧ２／Ｇ１の値の比である相対値ｆｇを求め、Ｂ２／Ｂ１の最小値を基準値（＝１）とし、この基準値に対する各サンプル２７のＢ２／Ｂ１の値の比である相対値ｆｂを求める。相対値ｆｇは、任意のサンプル２６におけるＧ２／Ｇ１の値をＧ２／Ｇ１の最小値で割ることで求める。相対値ｆｂは、任意のサンプル２７におけるＢ２／Ｂ１の値をＢ２／Ｂ１の最小値で割ることで求める。
【００９０】
相対値ｆｇ、ｆｂを求めた後、デジタル信号処理部６は、以下の式（５）、（６）を用いて、各サンプル２６を含むサンプル群６０から得られる撮像信号に基づく画像における混合比ｘｇと、各サンプル２７を含むサンプル群６０から得られる撮像信号に基づく画像における混合比ｘｂとを算出する（Ｓ１１６）。これにより、複数のサンプル群６０の各々から得られる撮像信号に基づく画像について、混合比ｘｇと混合比ｘｂとが算出される。
混合比ｘｇ＝（相対値ｆｇ−相対値ｆｇｍｉｎ）／（相対値ｆｇｍａｘ−相対値ｆｇｍｉｎ）  （５）
混合比ｘｂ＝（相対値ｆｂ−相対値ｆｂｍｉｎ）／（相対値ｆｂｍａｘ−相対値ｆｂｍｉｎ）  （６）
ここで、相対値ｆｇｍｉｎは、全サンプル２６における相対値ｆｇの最小値、相対値ｆｇｍａｘは、全サンプル２６における相対値ｆｇの最大値である。相対値ｆｂｍｉｎは、全サンプル２７における相対値ｆｂの最小値、相対値ｆｂｍａｘは、全サンプル２７における相対値ｆｂの最大値である。
【００９１】
各サンプル群６０について混合比ｘｇ及びｘｂを算出した後、デジタル信号処理部６は、混合比ｘｇが０より大きいサンプル群６０について、以下の式（７）に基づいて、そのサンプル群６０から得られる撮像信号の信号値（ここでは便宜的に分光感度と同じ符号Ｒ１、Ｇ１、Ｇ２、Ｂ１、Ｂ２とする）のうち信号値Ｇ２を除く信号値の各々から、そこに入り込んでいる蛍光灯からの光の光量値を除去する補正を行う（Ｓ１１７）。式（７）を見て分かるように、各撮像信号の信号値から、その信号値の混合比ｘｇ分の信号値を減算することで補正する。尚、撮像信号Ｇ２、Ｂ２については、後段の補間処理等により、信号の補間を行うため、色被り補正を行わない。
【００９２】
Ｒ１×（１−ｘｇ）
Ｇ１×（１−ｘｇ）
Ｂ１×（１−ｘｇ）
Ｂ２×（１−ｘｇ）                  （７）
【００９３】
上記除去を行っただけだと、蛍光灯からの光の光量がそのまま除去されているので、画像全体が暗くなってしまうこともある。そこで、デジタル信号処理部６は、以下の式（８）に基づいて、上記除去した光量値と同じ光量値を、信号値Ｇ１の混合比ｘｇ分の信号値として求め、この信号値を上記補正後の撮像信号の信号値に加算する（Ｓ１１８）。これにより、画像全体の輝度を落とすことなく、色被り部位の原因となる信号値のみを除去することが可能となる。
【００９４】
Ｒ１×（１−ｘｇ）＋Ｇ１×ｘｇ
Ｇ１×（１−ｘｇ）＋Ｇ１×ｘｇ
Ｂ１×（１−ｘｇ）＋Ｇ１×ｘｇ
Ｂ２×（１−ｘｇ）＋Ｇ１×ｘｇ                （８）
【００９５】
上記補正処理後、デジタル信号処理部６は、混合比ｘｂが０より大きいサンプル群６０について、以下の式（９）に基づいて、そのサンプル群６０から得られる撮像信号の信号値のうち信号値Ｂ２を除く信号値の各々から、そこに入り込んでいる蛍光灯からの光の光量値を除去する補正を行う（Ｓ１１９）。式（９）を見て分かるように、各撮像信号の信号値から、その信号値の混合比ｘｂ分の信号値を減算することで補正を行う。尚、撮像信号Ｂ２については、後段の補間処理等により、信号の補間を行うため、補正を行わない。
【００９６】
Ｒ１×（１−ｘｂ）
Ｇ１×（１−ｘｂ）
Ｂ１×（１−ｘｂ）
Ｇ２×（１−ｘｂ）                （９）
【００９７】
上記除去を行っただけだと、蛍光灯からの光の光量がそのまま除去されているので、画像全体が暗くなってしまうこともある。そこで、デジタル信号処理部６は、以下の式（１０）に基づいて、上記除去した光量値と同じ光量値を、信号値Ｇ１の混合比ｘｂ分の信号値として求め、この信号値を上記補正後の撮像信号の信号値に加算する（Ｓ１２０）。これにより、画像全体の輝度を落とすことなく、色被り部位の原因となる信号値のみを除去することが可能となる。
【００９８】
Ｒ１×（１−ｘｂ）＋Ｇ１×ｘｂ
Ｇ１×（１−ｘｂ）＋Ｇ１×ｘｂ
Ｂ１×（１−ｘｂ）＋Ｇ１×ｘｂ
Ｇ２×（１−ｘｂ）＋Ｇ１×ｘｂ                （１０）
【００９９】
尚、Ｓ１１７及びＳ１１８とＳ１１９及びＳ１２０とは、逆にしても良い。
【０１００】
第一実施形態のように、複数のサンプル群６０毎に分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子を含むサンプル２６を１つだけ設ける構成の場合、青色の被写体部分に色被りが発生する場合でも、その部位を検出し、補正することができない。又、第一実施形態のように、複数のサンプル群６０毎に分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子を含むサンプル２７を１つだけ設ける構成の場合、緑色の被写体部分に色被りが発生する場合でも、その部位を検出し、補正することができない。ところが、本実施形態によれば、複数のサンプル群６０毎に分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子を含むサンプル２６と分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子を含むサンプル２７とを設けているため、色被り部位の検出及び補正を精度良く行うことができる。
【０１０１】
尚、本実施形態においても、第一実施形態と同様に、図１１の処理をコンピュータによって実行することも可能である。
【０１０２】
又、本実施形態においても、第一実施形態と同様に、撮像信号Ｇ１とＧ２との比をＧ１／Ｇ２とし、撮像信号Ｂ１とＢ２との比をＢ１／Ｂ２としても良い。この場合は、式（５）、（６）を、以下に示す式（５）’、（６）’に変更すれば良い。又、相対値ｆｇは、Ｇ１／Ｇ２の最大値を基準にして算出し、相対値ｆｂは、Ｂ１／Ｂ２の最大値を基準にして算出すれば良い。
混合比ｘｇ＝（相対値ｆｇ−相対値ｆｇｍａｘ）／（相対値ｆｇｍｉｎ−相対値ｆｇｍａｘ）    （５）’
混合比ｘｂ＝（相対値ｆｂ−相対値ｆｂｍａｘ）／（相対値ｆｂｍｉｎ−相対値ｆｂｍａｘ）    （６）’
【０１０３】
尚、サンプル２６に含まれる複数の光電変換素子２１〜２４には、分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子が最低限含まれており、分光感度特性Ｇ１の光電変換素子及び分光感度特性Ｇ２の光電変換素子がそれぞれ近接して配設されていれば上記効果を得ることができる。又、サンプル２７に含まれる複数の光電変換素子２１〜２４には、分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子が最低限含まれており、分光感度特性Ｂ１の光電変換素子及び分光感度特性Ｂ２の光電変換素子がそれぞれ近接して配設されていれば上記効果を得ることができる。このため、サンプル２６、２７内における光電変換素子の配置は図１０及び図１０に示したものに限らない。ここで、近接とは、２つの光電変換素子に入射する光が、ほぼ同じ被写体からの光となる程度の距離のことをいい、例えば、２つの光電変換素子が隣接していることがこれに相当する。
【０１０４】
（実験）
第一実施形態で説明した混合比ｘが、実際の混合比とほぼ等しくなっていることを実験により証明する。
本実験では、デジタルカメラ１００のストロボ５からの光（以下、Ｋ１という）として図１２に示したものとし、蛍光灯からの光（以下、Ｋ２という）として図１３に示したものとした。又、ストロボ５からの光と蛍光灯からの光とを合成した合成光を作成した。合成光の特性を図１４に示す。図１４において、波形１４１は、ストロボ５からの光の比率が１、蛍光灯からの光の比率（混合比）が０のときの合成光の特性を示す。波形１４２は、ストロボ５からの光の比率が０．８、蛍光灯からの光の比率（混合比）が０．２のときの合成光の特性を示す。波形１４３は、ストロボ５からの光の比率が０．６、蛍光灯からの光の比率（混合比）が０．４のときの合成光の特性を示す。波形１４４は、ストロボ５からの光の比率が０．４、蛍光灯からの光の比率（混合比）が０．６のときの合成光の特性を示す。波形１４５は、ストロボ５からの光の比率が０．２、蛍光灯からの光の比率（混合比）が０．８のときの合成光の特性を示す。波形１４６は、ストロボ５からの光の比率が０、蛍光灯からの光の比率（混合比）が１のときの合成光の特性を示す。
【０１０５】
固体撮像素子２００としては、図２に示した構成のものを用いた。
実験の流れを説明する。まず、撮影毎に図１４に示す６つの特性を変えて、同じ被写体を６回撮影する。そして、任意のサンプル２５から６回の撮影毎に得られた撮像信号（Ｂ１、Ｇ１、Ｇ２、Ｒ１）に基づいて、各撮影毎に、Ｇ２／Ｇ１を算出し、Ｇ２／Ｇ１を用いて相対値ｆを算出し、相対値ｆを用いて混合比ｘを算出する。この結果を図１５に示す。
【０１０６】
図１５に示すように、ストロボ５からの光の比率が１．０、蛍光灯からの光の比率が０．０のときの合成光のもと撮影して得られた混合比ｘは０となり、実際の混合比０と一致した。又、ストロボ５からの光の比率が０．８、蛍光灯からの光の比率が０．２のときの合成光のもと撮影して得られた混合比ｘは０．２３９となり、実際の混合比０．２とほぼ一致した。又、ストロボ５からの光の比率が０．６、蛍光灯からの光の比率が０．４のときの合成光のもと撮影して得られた混合比ｘは０．４５６となり、実際の混合比０．４とほぼ一致した。又、ストロボ５からの光の比率が０．４、蛍光灯からの光の比率が０．６のときの合成光のもと撮影して得られた混合比ｘは０．６５４となり、実際の混合比０．６とほぼ一致した。又、ストロボ５からの光の比率が０．２、蛍光灯からの光の比率が０．８のときの合成光のもと撮影して得られた混合比ｘは０．８３４となり、実際の混合比０．８とほぼ一致した。又、ストロボ５からの光の比率が０．０、蛍光灯からの光の比率が１．０のときの合成光のもと撮影して得られた混合比ｘは１となり、実際の混合比１とほぼ一致した。このように、実際の混合比と、式（１）で求めた混合比ｘとがほぼ等しいことが証明された。
【０１０７】
尚、ストロボ５以外に、太陽光やタングステン光のように分光特性に輝線のない連続的なエネルギー分布を持つ光源を用いて実験を行った結果、同様に、実際の混合比と、式（１）で求めた混合比ｘとがほぼ等しいことを証明することができた。
【図面の簡単な説明】
【０１０８】
【図１】本発明の第一実施形態を説明するためのデジタルカメラの概略構成を示す図
【図２】本発明の第一実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図
【図３】複数の光電変換素子の分感度特性を示す図
【図４】本発明の第一実施形態を説明するためのデジタルカメラのデジタル信号処理部が行う色被り検出及び補正処理のフローを示す図
【図５】混合比ｘと相対値ｆとの関数を示す図
【図６】本発明の第一実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図
【図７】本発明の第一実施形態を説明するためのデジタル信号処理部における色被り補正処理フローを示す図
【図８】本発明の第一実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図
【図９】混合比ｘを表示した画面を示す図
【図１０】本発明の第二実施形態を説明するためのデジタルカメラの撮像部に含まれる固体撮像素子の概略構成を模式的に示した図
【図１１】本発明の第二実施形態を説明するためのデジタルカメラのデジタル信号処理部が行う色被り検出及び補正処理のフローを示す図
【図１２】ストロボからの光の特性を示す図
【図１３】蛍光灯からの光の特性を示す図
【図１４】ストロボからの光と蛍光灯からの光との合成光の特性を示す図
【図１５】実験結果を示す図
【符号の説明】
【０１０９】
１  撮像部
２  アナログ信号処理部
３  Ａ／Ｄ変換部
４  駆動部
５  ストロボ
６  デジタル信号処理部
７  圧縮／伸張処理部
８  表示部
９  システム制御部
１０  内部メモリ
１１  メディアインタフェース
１２  記録メディア
１３  操作部
２０  システムバス
【図１】
2005269303.tif 000003
【図２】
2005269303.tif 000004
【図３】
2005269303.tif 000005
【図４】
2005269303.tif 000006
【図５】
2005269303.tif 000007
【図６】
2005269303.tif 000008
【図７】
2005269303.tif 000009
【図８】
2005269303.tif 000010
【図９】
2005269303.tif 000011
【図１０】
2005269303.tif 000012
【図１１】
2005269303.tif 000013
【図１２】
2005269303.tif 000014
【図１３】
2005269303.tif 000015
【図１４】
2005269303.tif 000016
【図１５】
2005269303.tif 000017