(57)【要約】【課題】  高いコスト削減効果を得ながら、特別なセンサを使用することなく各種の処理が可能となる撮像装置及び撮像方法、それに使用する撮像素子を提供する。【解決手段】  撮像素子の被写体の光学像が結像される撮像領域２１に、ベイヤー配列の色配置に応じたＲ，Ｇ，Ｂの色フィルタを設けた光電変換素子からなる通常画素Ｒ，Ｇ，Ｂと共に、通常の色フィルタを設けない画素Ｐ０と、通常の色フィルタに代えて、紫外線除去機能や赤外線除去機能をそれぞれ有する特殊フィルタを設けた２種類の画素Ｐ１，Ｐ２と互いに間隔をおいて１画素ずつ配置する。また、それらの特定画素Ｐ０，Ｐ１，Ｐ２を、撮像領域２１を９分割した各分割エリア２１ａに１組ずつ設ける。撮像時には、撮像信号に含まれる特定画素Ｐ０，Ｐ１，Ｐ２の画素信号に基づき、撮像信号からの赤外成分の除去と、撮影環境における光源の種別判定ができ、かつ従来の駆動回路により撮像素子が駆動できる。【選択図】      図２
2006005500.tif 000002
【特許請求の範囲】
【請求項１】
被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素が配置された撮像素子と、
この撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき所定の処理を実行する処理手段と、
前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記撮像素子の撮像領域には、互いに異なるフィルタ機能を有する特殊フィルタが設けられた複数種の前記第２の画素が設けられており、
前記処理手段は、前記撮像素子から出力された撮像信号に含まれる複数種の第２の画素の画素信号に基づき、前記所定の処理を実行することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、撮影環境を判断することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、光源の種別を判断することを特徴とする請求項１又は２記載の撮像装置。
【請求項５】
前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、撮像信号に含まれる赤外成分を除去することを特徴とする請求項１又は２記載の撮像装置。
【請求項６】
前記撮像素子の撮像領域には、前記色フィルタ及び前記特殊フィルタがいずれも設けられていない第３の画素がさらに配置され、
前記処理手段は、撮像信号に含まれる前記第２の画素の画素信号と前記第３の画素の画素信号との差分を撮像信号から減算することにより、撮像信号から赤外成分を除去することを特徴とする請求項５記載の撮像装置。
【請求項７】
前記撮像素子には、前記第２の画素が前記撮像領域の異なる複数領域に分散してそれぞれ配置されたことを特徴とする請求項１乃至５いずれか記載の撮像装置。
【請求項８】
撮像素子を備えた撮像装置における被写体の撮像方法であって、
前記撮像素子の被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素を予め配置し、
前記撮像素子の駆動時には、
前記撮像素子から出力された撮像信号に含まれる前記第２の画素の画素信号に基づく所定の処理と、
前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間処理と
を実施することを特徴とする撮像方法。
【請求項９】
撮像装置に用いられる撮像素子であって、
被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素が配置され、
駆動時には、自己が出力する撮像信号に含まれる前記第２の画素の画素信号に基づく所定の処理と、前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間処理とが撮像装置によって行われることを特徴とする撮像素子。
【請求項１０】
被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタが設けられていない第２の画素が配置された撮像素子と、
この撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき所定の処理を実行する処理手段と、
前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間手段と
を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタルカメラに用いて好適な撮像装置及び撮像方法、それに使用する撮像素子に関するものである。
【背景技術】
【０００２】
従来、撮像装置の一種であるデジタルカメラにおいては、撮影待機状態でＣＣＤ等の固体撮像素子を用いて撮像した被写体像をシャッター操作に関係なくスルー画像として液晶モニタに表示させるものが多い。また、こうしたデジタルカメラにおいては被写体の色を正確に再現するためにホワイトバランスの調整機能が一般に設けられている。
【０００３】
ホワイトバランス調整は、例えば固体撮像素子から出力される撮像信号のゲインをＲ，Ｇ，Ｂの色成分毎に制御することにより行われており、より正確な調整を行うためには、前記ゲインの制御を撮像環境（光源種別）に応じて行う必要がある。光源種別を判断する方法としては、例えば固体撮像素子とは別に、赤外光を検出する赤外センサや、紫外光を検出するＵＶセンサ等の各種センサを設け、それらの検出結果から光源種別を判断する方法がある。しかし、係る方法では、部品点数の増加によってコスト的な不利が生ずることとなる。
【０００４】
これを解決するものとして、例えば下記特許文献１には、ＣＣＤの受光面に、画像を構成する画素となる受光素子の間に、赤外成分を検出するための赤外センサとして機能させる他の受光素子を予め設けておき、ＣＣＤの駆動時に係る受光素子から出力される画素信号に基づいて光源種別を判断する撮像装置が記載されている。
【特許文献１】特開２００４−６４４６８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した技術は、画像を構成用の受光素子とセンサ用の受光素子とからなる特殊な基本構造を有したＣＣＤが不可欠であるため、部品点数は削減できるものの、ＣＣＤ自体がコスト高とならざるを得ず、かつそれを駆動する新たな駆動回路も必要となる。したがって、従来の撮像装置に使用されているハードウェア資源を有効利用することが困難であり、十分なコストメリットを得るには至らないという問題があった。
【０００６】
本発明は、かかる従来の課題に鑑みてなされたものであり、高いコスト削減効果を得ながら、特別なセンサを使用することなく各種の処理が可能となる撮像装置及び撮像方法、それに使用する撮像素子を提供すること目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため請求項１の発明にあっては、被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素が配置された撮像素子と、この撮像素子から出力される撮像信号に含まれる第２の画素の画素信号に基づき所定の処理を実行する処理手段と、前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間手段とを備えたものとした。
【０００８】
かかる構成においては、撮像領域の画素に設けるフィルタ以外の基本構造が従来と同一である撮像素子に、本来の撮像機能と、第２の画素に設けられた特殊フィルタが有するフィルタ機能に応じたセンサ機能とを持たせることができ、かつそのセンサ機能を利用した各種の画像処理を行うことができる。したがって、第２の画素に設ける特殊フィルタを適宜選択することにより、特別なセンサを設けることなく、撮像信号に基づいて各種の処理を行うことができ、同時に撮像素子の駆動回路等に従来のハードウェア資源を有効利用することができる。
【０００９】
また、請求項２の発明にあっては、前記撮像素子の撮像領域には、互いに異なるフィルタ機能を有する特殊フィルタが設けられた複数種の前記第２の画素が設けられており、前記処理手段は、前記撮像素子から出力された撮像信号に含まれる複数種の第２の画素の画素信号に基づき、前記所定の処理を実行するものとした。
【００１０】
かかる構成においては、撮像素子に複数種のセンサ機能とを持たせることができ、特別なセンサを設けることなく、多様な処理や正確な処理を行うことができる。
【００１１】
また、請求項３の発明にあっては、前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、撮影環境を判断するものとした。
【００１２】
かかる構成においては、特別なセンサを設けることなく、撮像信号に基づいて撮影環境を判断することができる。
【００１３】
また、請求項４の発明にあっては、前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、光源の種別を判断するものとした。
【００１４】
かかる構成においては、特別なセンサを設けることなく、撮像信号に基づいて光源の種別を判断することができる。
【００１５】
また、請求項５の発明にあっては、前記処理手段は、前記撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき、撮像信号に含まれる赤外成分を除去するものとした。
【００１６】
かかる構成においては、撮像信号に基づいて撮像信号に含まれる赤外成分を除去することができるため、赤外成分の除去を目的として光学系に設けられていた光学フィルタを廃止することができる。
【００１７】
また、請求項６の発明にあっては、前記撮像素子の撮像領域には、前記色フィルタ及び前記特殊フィルタがいずれも設けられていない第３の画素がさらに配置され、前記処理手段は、撮像信号に含まれる前記第２の画素の画素信号と前記第３の画素の画素信号との差分を撮像信号から減算することにより、撮像信号から赤外成分を除去するものとした。
【００１８】
かかる構成においては、撮像信号に含まれる赤外成分の除去をより正確に行うことができる。
【００１９】
また、請求項７の発明にあっては、前記撮像素子には、前記第２の画素が前記撮像領域の異なる複数領域に分散してそれぞれ配置されたものとした。
【００２０】
かかる構成においては、撮像信号に含まれるとともに、撮像素子の撮像領域の全域から得られる情報に基づき各種の処理を行うことができる。
【００２１】
また、請求項８の発明にあっては、撮像素子を備えた撮像装置における被写体の撮像方法であって、前記撮像素子の被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素を予め配置し、前記撮像素子の駆動時には、前記撮像素子から出力された撮像信号に含まれる前記第２の画素の画素信号に基づく所定の処理と、前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間処理とを実施する方法とした。
【００２２】
かかる方法によれば、撮像領域の画素に設けるフィルタ以外の基本構造が従来と同一である撮像素子に、本来の撮像機能と、第２の画素に設けられた特殊フィルタが有するフィルタ機能に応じたセンサ機能とを持たせることができ、かつそのセンサ機能を利用した各種の処理を行うことができる。したがって、第２の画素に設ける特殊フィルタを適宜選択することにより、特別なセンサを設けることなく、撮像信号に基づいて各種の処理を行うことができ、同時に撮像素子の駆動回路等に従来のハードウェア資源を有効利用することができる。
【００２３】
また、請求項９の発明にあっては、撮像装置に用いられる撮像素子であって、被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタに代えて特殊フィルタが設けられた第２の画素が配置され、駆動時には、自己が出力する撮像信号に含まれる前記第２の画素の画素信号に基づく所定の処理と、前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間処理とが撮像装置によって行われるものとした。
【００２４】
かかる構成においては、撮像領域の画素に設けるフィルタ以外の基本構造が従来と同一であるとともに、使用時には、本来の撮像機能と、第２の画素に設けられた特殊フィルタが有するフィルタ機能に応じたセンサ機能とを発揮することができる。同時にその駆動回路等、撮像装置における従来のハードウェア資源を有効利用することができる。
【００２５】
また、請求項１０の発明にあっては、被写体の光学像が結像される撮像領域に、所定の配列の色配置に応じた色フィルタが設けられた第１の画素と共に、前記色フィルタが設けられていない第２の画素が配置された撮像素子と、この撮像素子から出力された撮像信号に含まれる第２の画素の画素信号に基づき所定の処理を実行する処理手段と、前記撮像信号に基づく画像における前記第２の画素を、その周辺に位置する複数の前記第１の画素から補間する補間手段とを備えたものとした。
【００２６】
かかる構成においては、撮像領域の画素に設けるフィルタ以外の基本構造が従来と同一である撮像素子に、本来の撮像機能と、本来の撮像機能と、第２の画素をセンサとするセンサ機能とを持たせることができ、かつそのセンサ機能を利用した各種の処理を行うことができる。したがって、特別なセンサを設けることなく、撮像信号に基づいて各種の処理を行うことができ、同時に撮像素子の駆動回路等に従来のハードウェア資源を有効利用することができる。
【発明の効果】
【００２７】
以上のように本発明の撮像装置及び撮像方法によれば、特別なセンサを設けることなく、撮像信号に基づいて各種の処理を行うことができ、同時に撮像素子の駆動回路等に従来のハードウェア資源を有効利用することができるようにした。よって、高いコスト削減効果を得ながら、特別なセンサを使用することなく各種の処理を行うことが可能となる。また、本発明の撮像素子を用いることにより、それが可能となる。
【００２８】
特に請求項２の撮像装置においては、撮像素子に複数種のセンサ機能とを持たせることができ、特別なセンサを設けることなく、多様な処理や正確な処理を行うことができる。
【００２９】
また、請求項３の撮像装置においては、撮像信号に基づいて撮影環境を判断することができ、さらに請求項４の撮像装置によれば、撮像信号に基づいて光源の種別を判断することができるため、正確なホワイトバランス制御等が可能となる。
【００３０】
また、請求項５の撮像装置においては、赤外成分の除去を目的として光学系に設けられていた光学フィルタを廃止することができ、さらに請求項６の撮像装置によれば、撮像信号に含まれる赤外成分の除去をより正確に行うことができる。
【００３１】
また、請求項７の撮像装置においては、撮像信号に含まれるとともに、撮像素子の撮像領域の全域から得られる情報に基づき各種の処理を行うことができる。
【発明を実施するための最良の形態】
【００３２】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラの概略構成を示すブロック図である。
【００３３】
このデジタルカメラは撮像素子としてＣＣＤ２を有したものであり、ＣＣＤ２はカメラ本体の内部のレンズ１の後方に配置されている。図２は、レンズ１により被写体の光学像が結像されるＣＣＤ２の撮像領域２１を示す模式図である。撮像領域２１には、ベイヤー配列の色配置に応じたＲ，Ｇ，Ｂの色フィルタが設けられた光電変換素子からなる画素（Ｒ，Ｇ，Ｂ）が２次元に配列されている。ただし、撮像領域２１における９分割（縦３×横３）された各々の分割エリア２１ａ内には、上記通常の色フィルタが設けられていない画素（Ｐ０）と、上記通常の色フィルタに代えて特殊フィルタが設けられた２種類の画素（Ｐ１，Ｐ２）とが、所定の場所に互いに間隔をおき１画素ずつ（１組）設けられている。上記特殊フィルタの一方（Ｐ１）は紫外線除去機能を有するフィルタであり、他方（Ｐ２）は赤外線除去機能を有するフィルタである。
【００３４】
すなわち本実施の形態においては、撮像領域２１における画素のうち図にＲ，Ｇ，Ｂで示した画素が本発明における第１の画素、同様にＰ０で示した画素が第３の画素、Ｐ１，Ｐ２で示した画素が第２の画素である。また、Ｐ０の画素は第３の画素であると同時に他の発明における第２の画素でもある。なお、以下の説明においては各画素をＲ，Ｇ，Ｂ，Ｐ０，Ｐ１，Ｐ２と表記するとともに、Ｒ，Ｇ，Ｂを通常画素と呼び、Ｐ０，Ｐ１，Ｐ２を特定画素と呼ぶことにより両者を区別する。また、図２に示した分割エリア２１ａの画素数、及び分割エリア２１ａにおける特定画素Ｐ０，Ｐ１，Ｐ２の配置は便宜的に示したものであるとともに、特定画素Ｐ０，Ｐ１，Ｐ２の位置及び相互間の間隔は、後述する画素補間に支障を来さないものであるとする。
【００３５】
一方、デジタルカメラにおいて、ＣＣＤ２はタイミング信号発生器３及び垂直ドライバ４によって所定の周期で走査駆動され、撮像領域２１に結像された被写体の光学像を画素毎に光電変換し、光の強さに応じた画素信号からなるアナログの撮像信号をアナログ処理部５に出力する。アナログ処理部５は、ＣＣＤ２から入力した撮像信号に含まれるノイズを除去する相関二重サンプリング回路（ＣＤＳ回路）と、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器とからなり、アナログ処理部５で変換されたデジタルの撮像信号すなわちベイヤーデータはゲイン調整回路６に出力される。
【００３６】
ゲイン調整回路６はＲ，Ｇ，Ｂの色成分毎にＲ用アンプ６ａ、Ｇ用アンプ６ｂ、Ｂ用アンプ６ｃを備えており、制御部１６から送られる制御信号に基づき各アンプ６ａ，６ｂ，６ｃのゲインを制御し、ＲＧＢの各成分の調整（重み付け）を行うことによって画像のホワイトバランスを制御する。ゲイン調整回路６によって増幅された撮像信号は、減算回路７、画素補間回路８を経てカラープロセス回路９に送られる。
【００３７】
減算回路７は、制御部１６によって減算用の画素値を書込まれるレジスタ７ａを備え、順次入力する画素データから、レジスタ７ａに書込まれた画素値を減算して、画素補間回路８へ出力する。
【００３８】
画素補間回路８は本発明の補間手段であり、制御部１６によって所定の画素位置を示すアドレスが書込まれるアドレスメモリ８ａと、入力した画像データを所定の画素数分、すなわち図２に太枠で示した３×３画素単位分の画素の画素データを保持する入力バッファ８ｂと、入力した画素データの画素位置の位置を知るためのアドレスカウンタ８ｃとを備えている。そして、画素補間回路８は、アドレスメモリ８ａに書込まれたアドレスの画素の画素データが入力したときには、その画素値を、当該画素に隣接する８画素の平均値に変換する画素補間を行い、処理後の画素データを出力し、かつアドレスメモリ８ａに書込まれていないアドレスの画素の画素データについては、それをそのまま出力する。
【００３９】
カラープロセス回路９は、画素補間回路８から出力された画像データ（ベイヤーデータ）に基づき画素毎のＲＧＢデータを生成する色補間処理と、画素毎のＲＧＢデータからデジタルの輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）とを含むＹＵＶデータを生成するＹＵＶ変換処理とを行う。生成されたＹＵＶデータは、ＤＭＡコントローラ１０を介してＤＲＡＭ１１の指定領域に転送され、画像データとして展開される。
【００４０】
ビデオエンコーダ１２は、ＤＲＡＭ１１に書込まれたＹＵＶデータに基づくビデオ信号を生成してＬＣＤからなる表示装置１３に出力する。これにより、画像記録用のＲＥＣモードでの撮像待機状態においては、撮像された被写体が表示装置１３にスルー画像として表示される。また、その状態でシャッターキーが押された記録時には、ＤＲＡＭ１１に書き込まれた１フレーム分のＹＵＶデータが圧縮／伸張部１４に送られ、圧縮処理を施されてフラッシュメモリ１５に記録される。また、画像再生用のＰＬＡＹモードの設定時には、フラッシュメモリ１５に記録されている画像データがＤＭＡコントローラ１０を介して圧縮／伸張部１４に送られ、伸張処理を施されることによりＹＵＶデータとして再生され、記録画像が表示装置１３に表示される。
【００４１】
制御部１６はＣＰＵと、プログラムデータが格納されたＲＯＭ、作業用のＲＡＭを有しており、所定のプログラムに従い前述した各部の動作を制御するとともに、操作部１７から送られる状態信号に対応してデジタルカメラの各部を制御する。また、ＣＣＤ２の駆動時には後述する処理を行うことにより、前記減算回路７を本発明の処理手段として機能させ、かつ自らも本発明の処理手段として機能する。
【００４２】
操作部１７には、前記シャッターキー、及びＲＥＣモードとＰＬＡＹモードの切り替えキー等の各種のキーが設けられており、キー操作に応じた状態信号を制御部１６に送る。ゲイン記憶部１８には、制御部１６による後述するホワイトバランス制御時に、前記ゲイン調整回路６のＲ用アンプ６ａ、Ｇ用アンプ６ｂ、Ｂ用アンプ６ｃに設定されるゲイン値が、予想される複数種の撮像環境（光源種別）に対応して記憶されている。具体的には太陽光と、室内光（自然光）と、タングステンの３種類の光源にそれぞれ対応する比率のゲイン値が記憶されている。なお、係るＲ，Ｇ，Ｂのゲイン値は経験値である。また、傷欠陥アドレス記憶部１９には、前記画素補間回路８のアドレスメモリ８ａに書込まれるアドレス、すなわちＣＣＤ２に固有の傷欠陥（光電感度を有していない黒キズや光電感度を有する白キズ）のある画素の位置と、特定画素Ｐ０，Ｐ１，Ｐ２の位置を示すアドレスのデータが記憶されている。
【００４３】
図３は、ユーザーによるＲＥＣモードの設定に伴い制御部１６が実行する信号制御処理の手順を示したフローチャートである。
【００４４】
制御部１６は、ＲＥＣモードが設定されると、直ちに傷欠陥アドレス記憶部１９に記憶されている傷欠陥の画素と特定画素Ｐ０，Ｐ１，Ｐ２のアドレスデータを読み出し、それを画素補間回路８のアドレスメモリ８ａに書き込む（ステップＳＡ１）。これにより、画素補間回路８において、ＣＣＤ２によりカラープロセス回路９へ送られるべイヤーデータが、それに含まれる前述した特定画素Ｐ０，Ｐ１，Ｐ２の画素データが、傷欠陥のある画素の画素データと同様にして補間される。
【００４５】
引き続き、制御部１６は、アナログ処理部５から出力されるベイヤーデータにおける特定画素Ｐ０，Ｐ２の画素値、つまり色フィルタが設けられていない画素（Ｐ０）と、赤外線除去機能を有するフィルタが設けられている画素（Ｐ２）の画素値の取得を開始する（ステップＳＡ２）。やがて、全ての特定画素Ｐ０，Ｐ２（９つの分割エリア２１ａ分）の画素値が記憶できたら（ステップＳＡ３でＹＥＳ）、各々の平均の画素値である平均画素値Ｐ０ｖ，Ｐ２ｖを演算し（ステップＳＡ４）、さらに双方の平均画素値Ｐ０ｖ，Ｐ２ｖの差分を演算する（ステップＳＡ５）。しかる後、演算した差分の画素値を、演算回路７のレジスタ７ａに書き込む（ステップＳＡ６）。これにより、演算回路７において、ゲイン調整回路６から入力したベイヤーデータにおける各画素の画素値から、平均画素値Ｐ０ｖ，Ｐ２ｖの差分が減算され、それによりベイヤーデータつまり撮像信号から赤外成分が除去される。これ以後、制御部１６は、ＲＥＣモードが解除されるまで、ステップＳＡ２〜ＳＡ６の処理を繰り返す。
【００４６】
また、図４は、ＲＥＣモードにおけるＣＣＤ２の駆動中に、撮像した画像のホワイトバランスを確保するため所定のフレーム周期で制御部１６が上述した信号制御処理と並行して実施するホワイトバランス制御に関する処理手順を示したフローチャートである。
【００４７】
制御部１６は、アナログ処理部５から出力されるベイヤーデータにおける特定画素Ｐ０，Ｐ１，Ｐ２の画素値の取得を開始する（ステップＳＢ１）。やがて、全ての特定画素Ｐ０，Ｐ１，Ｐ２（９つの分割エリア２１ａ分）の画素値が記憶できたら（ステップＳＢ２でＹＥＳ）、特定画素Ｐ０，Ｐ１，Ｐ２における各々の平均の画素値である平均画素値Ｐ０ｖ，Ｐ１ｖ，Ｐ２ｖを取得する（ステップＳＢ３）。そして、取得した平均画素値Ｐ０ｖ，Ｐ１ｖ，Ｐ２ｖの関係に基づき、以下のように光源の種別を決定する。
【００４８】
すなわち「Ｐ０ｖ＞Ｐ１ｖ」であって、通常画素Ｐ０の平均画素値Ｐ０ｖが、紫外線が除去されている画素Ｐ１の平均画素値Ｐ１ｖよりも大きな場合には（ステップＳＢ４でＹＥＳ）、屋外での撮影であると判断し、現在の撮影環境における光源を太陽光と決定する（ステップＳＢ５）。また、「Ｐ０ｖ＜Ｐ１ｖ」かつ「Ｐ０ｖ＞Ｐ２ｖ」であって、通常画素Ｐ０の平均画素値Ｐ０ｖが、紫外線が除去されている画素Ｐ１の平均画素値Ｐ１ｖよりも小さいが、赤外線が除去されている画素Ｐ２の平均画素値Ｐ２ｖよりも大きい場合には（ステップＳＢ４でＮＯ、ステップＳＢ６でＹＥＳ）、現在の撮影環境における光源をタングステン光と決定する（ステップＳＢ７）。さらに、「Ｐ０ｖ＜Ｐ１ｖ」かつ「Ｐ０ｖ＜Ｐ２ｖ」であって、通常画素Ｐ０の平均画素値Ｐ０ｖが、紫外線が除去されている画素Ｐ１の平均画素値Ｐ１ｖ、及び赤外線が除去されている画素Ｐ２の平均画素値Ｐ２ｖよりも小さい場合には（ステップＳＢ６でＮＯ）、屋内での撮影であると判断し、現在の撮影環境における光源を室内光と決定する（ステップＳＢ８）。
【００４９】
しかる後、上記のように決定したいずれかの光源に対応するＲ，Ｇ，Ｂのゲイン値をゲイン記憶部１８から読み出し、それをゲイン調整回路６のＲ用アンプ６ａ、Ｇ用アンプ６ｂ、Ｂ用アンプ６ｃに設定することによりホワイトバランスを調整する（ステップＳＢ９）。
【００５０】
以上の構成からなる本実施の形態においては、赤外光を検出する赤外センサや、紫外光を検出するＵＶセンサを設けなくとも、ＣＣＤ２から出力される撮像信号に基づいて、光源種別を正確に判断するとともに、判断した光源種別に応じた正確なホワイトバランス制御を行うことができる。同時に、撮像信号に含まれる赤外光成分を電気的に除去することができるため、従来、光学系に設けられていた、撮影した画像に悪影響を及ぼす赤外光を光学的に除去する赤外カットフィルタを廃止することができる。また、赤外カットフィルタを使用する構成においても、それによる赤外光を完全に除去できない場合には、それを補うことができる。また、ＣＣＤ２においてセンサとして機能する特定画素Ｐ０，Ｐ１，Ｐ２が傷欠陥の画素と同様の処理により補間されるため、それらがベイヤー配列の色配置に応じた通常の色フィルタを有する場合の画像と遜色のない画像を得ることができる。
【００５１】
しかも、ＣＣＤ２が、図２に示したフィルタ構成を除き、従来から用いられている一般的なものと同一の基本構成を有するものであるため、その製造時にはフィルタの色及び有無のみを変更するだけでよく、ＣＣＤ２を低コストで製造することができる。また、ＣＣＤ２の駆動回路（タイミング信号発生器３及び垂直ドライバ４）には、従来のものをそのまま使用することができる。したがって、従来のハードウェア資源を有効に利用することができるため、高いコスト削減効果を得ながら、特別なセンサを使用することなく、画像に悪影響を及ぼす赤外成分の除去、及びより正確なホワイトバランス制御を行うことができる。
【００５２】
なお、本実施の形態においては、減算回路７によって撮像信号に含まれる赤外光成分を除去するようにしたが、例えば減算回路７を設けることなく制御部１６によるデータ処理によって赤外光成分の除去を行う構成としてもよい。その場合には、制御部１６のプログラム（所謂ファームウェア）を変更するだけで、本実施の形態と同様の効果得ることができるため、さらに高いコスト削減効果を得ることができる。この点については、本実施の形態と異なり、赤外光成分の除去を行わない場合についても同様である。
【００５３】
また、本実施の形態においては、前述した制御部１６によるホワイトバランス制御において、複数（９つ）の分割エリア２１ａに配置されている特定画素Ｐ０，Ｐ１，Ｐ２における各々の平均の画素値である平均画素値Ｐ０ｖ，Ｐ１ｖ，Ｐ２ｖのみを用いて、現在の撮影環境における光源の種別を決定するものとしたが、上記平均画素値Ｐ０ｖ，Ｐ１ｖ，Ｐ２ｖと共に、他の通常画素Ｒ，Ｇ，Ｂ、特にホワイトバランスの状態を知る上で有効な画素Ｒ，Ｂの画素値（例えば全画素の平均値や積分値）を用いて光源の種別を決定するようにしてもよい。その場合には、光源種別をより一層正確に判断することができる。
【００５４】
また、本実施の形態においては、ＣＣＤ２の撮像領域２１を９分割して各々の分割エリア２１ａに上記３種類の特定画素Ｐ０，Ｐ１，Ｐ２、すなわち通常の色フィルタも特殊フィルタも設けられていない画素Ｐ０と、紫外線除去機能を有するフィルタが設けられた画素Ｐ１と、赤外線除去機能を有するフィルタが設けられた画素Ｐ２とを１組ずつ配置したが、特定画素Ｐ０，Ｐ１，Ｐ２を撮像領域２１の任意の箇所に１組だけ設けるようにしてもよい。ただし撮像領域２１の複数箇所に配置した方が、撮像領域２１の全域から得られる情報に基づき前述した信号処理やホワイトバランス制御、つまり撮像信号における赤外線成分の除去や光源種別の判定といった処理を行うことができるという利点がある。なお、本実施の形態のように特定画素Ｐ０，Ｐ１，Ｐ２を撮像領域２１の複数箇所に配置する場合においては、１又は複数箇所（例えばフォーカスエリアに該当する箇所）に設けられた特定画素Ｐ０，Ｐ１，Ｐ２を選択的に使用して上記処理を行うようにしてもよい。
【００５５】
また、本実施の形態においては、ＣＣＤ２に３種類の特定画素Ｐ０，Ｐ１，Ｐ２を設け、それらの画素値すなわち撮像信号に含まれる各々の画素信号に基づき、前述した撮像信号における赤外線成分の除去や光源種別の判定といった処理を行うものについて説明したが、いずれか一方の処理を行ったり、それ以外の他の処理を行ったりする構成としてもよい。
【００５６】
さらに、実施する処理の内容に応じ、通常の色フィルタが設けられていない画素Ｐ０を廃止したり、紫外線除去機能や赤外線除去機能を有するフィルタが設けられた画素Ｐ１，Ｐ２に代え、他のフィルタ機能を有する特殊フィルタが設けられた１又は複数種の画素を設けたりしてもよい。つまり通常の色フィルタが設けられていない画素Ｐ０と、特殊フィルタが設けられた１又は複数種の画素のうち少なくともいずれか一方のみを設け、そうした通常画素Ｒ，Ｇ，Ｂ以外の画素に応じた任意の処理（赤外線成分の除去、光源種別の判定も含む）を行う構成としてもよい。
【００５７】
一例を挙げると、本実施の形態においては、色フィルタが設けられていない画素Ｐ０と、赤外線除去機能を有するフィルタが設けられている画素Ｐ２との双方の画素値（平均画素値Ｐ０ｖ，Ｐ２ｖ）の差分を通常画素Ｒ，Ｇ，Ｂの各々の画素値から減算することによって、撮像信号から赤外成分を除去するものについて説明したが、以下のようにしても撮像信号から赤外成分を除去することができる。すなわち、赤外光のみを透過させる機能を有する特殊フィルタを設けた画素だけをＣＣＤ２に設け、その画素の画素値（画素信号）を通常画素Ｒ，Ｇ，Ｂの各々の画素値（撮像信号）から減算したり、或いは前述した赤外線除去機能を有するフィルタが設けられた画素Ｐ２の画素値（画素信号）と、通常画素Ｒの画素値（画素信号）との差分を通常画素Ｒ，Ｇ，Ｂの各々の画素値（撮像信号）から減算することによっても、撮像信号から赤外成分を除去することができる。
【００５８】
なお、必要とする処理の内容にもよるが、ＣＣＤ２に、通常の色フィルタを設けない画素と通常の色フィルタ以外の特殊フィルタを設けた画素を組み合わせて設けたり、互いに異なる種類の特殊フィルタを設けた複数種の画素を組み合わせて設けたり、本実施の形態のように、通常の色フィルタを設けない画素と、互いに異なる種類の特殊フィルタを設けた複数種の画素を組み合わせて設けた方が、多様な処理や正確な処理を行うことができる。
【００５９】
また、本実施の形態においては、制御部１６におけるソフトウェア処理によって、光源種別の判定を行うものとしたが、それらを専用のハードウェアによって行う構成としてもよい。また、本発明はＣＣＤのみならずＭＯＳ型の固体撮像素子、及びそれを用いた撮像装置にも適用できるとともに、固体撮像素子を有するものであれば前述したようなデジタルカメラに限らず、例えばカメラ付き携帯電話機やカメラ付きＰＤＡといった他の撮像装置にも適用することができる。
【図面の簡単な説明】
【００６０】
【図１】本発明に係るデジタルカメラのブロック図である。
【図２】ＣＣＤの撮像領域を示す模式図である。
【図３】制御部による信号制御処理の手順を示したフローチャートである。
【図４】ホワイトバランス制御の処理手順を示したフローチャートである。
【符号の説明】
【００６１】
１    レンズ
２    ＣＣＤ
２１    撮像領域
２１ａ    分割エリア
５    アナログ処理部
６    ゲイン調整回路
７    減算回路
８    画素補間回路
１６    制御部
１８    ゲイン記憶部
１９    傷欠陥アドレス記憶部
Ｒ，Ｇ，Ｂ    通常画素（第１の画素）
Ｐ０          特定画素（第３の画素）
Ｐ１，Ｐ２    特定画素（第２の画素）
【図１】
2006005500.tif 000003
【図２】
2006005500.tif 000004
【図３】
2006005500.tif 000005
【図４】
2006005500.tif 000006