(57)【要約】  【課題】  本発明は、その光電変換特性において線形変換特性と対数変換特性とが自動的に切り替わる固体撮像素子を備えるとき、いずれの特性により出力される信号に対してもホワイトバランス処理を行うことができる撮像装置を提供することを目的とする。  【解決手段】  ＲＢ信号が線形変換特性であるとき、Ｇ信号の線形変換特性と輝度範囲が重なっている場合、乗算器８０３からの信号が選択部８１３で選択され、又、Ｇ信号の対数変換特性と輝度範囲が重なっている場合、加算器８０８からの信号が選択部８１３で選択される。又、ＲＢ信号が対数変換特性であるとき、Ｇ信号の対数変換特性と輝度範囲が重なっている場合、減算器８０４からの信号が選択部８１３で選択され、又、Ｇ信号の線形変換特性と輝度範囲が重なっている場合、乗算器８１２からの信号が選択部８１３で選択される。【選択図】      図１７
2005160027.tif 000002
【特許請求の範囲】
【請求項１】
出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、
前記ホワイトバランス回路が、前記各色信号の前記第１領域における値がホワイトバランス処理されるとともに、前記各色信号の前記第２領域における値がホワイトバランス処理される演算処理を施す演算部を備え、
該演算部による演算結果に基づいて前記色信号のホワイトバランス処理を施すことで、前記各色信号に対して前記第１の特性及び前記第２の特性それぞれに対応したホワイトバランス処理を施すことを特徴とする撮像装置。
【請求項２】
出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、
前記複数種類の色信号の１つを基準となる第１色信号とし、該第１色信号以外の色信号を第２色信号としたとき、
前記ホワイトバランス回路が、入力された前記第２色信号の光電変換特性と前記第１色信号の光電変換特性との関係に基づいて演算式を設定するとともに当該演算式によって前記第２色信号の値を変換する演算部を備え、
該演算部による演算結果に基づいて前記色信号のホワイトバランス処理を施すことで、前記各色信号に対して前記第１の特性及び前記第２の特性それぞれに対応したホワイトバランス処理を施すことを特徴とする撮像装置。
【請求項３】
出力信号が入射光量に対して第１の特性で変化する第１領域と入射光量に対して第２の特性で変化する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、
前記複数種類の色信号の１つを基準となる第１色信号とし、該第１色信号以外の色信号を第２色信号としたとき、
前記各第２色信号に対する前記ホワイトバランス回路でのホワイトバランス処理に用いる演算式へ設定するための演算パラメータを生成し、当該演算パラメータを前記ホワイトバランス回路へ送出するパラメータ生成部を備え、
前記ホワイトバランス回路が、
前記第１領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第１領域の光電変換特性に応じた値の信号に変換する第１演算式を備えた第１演算部と、
前記第２領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第２領域の光電変換特性に応じた値の信号に変換する第２演算式を備えた第２演算部と、
前記第１領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第２領域の光電変換特性に応じた値の信号に変換する第３演算式を備えた第３演算部と、
前記第２領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第１領域の光電変換特性に応じた値の信号に変換する第４演算式を備えた第４演算部と、
前記第１〜第４演算部からの信号を選択して出力する選択部と、
を備え、
前記パラメータ生成部で前記固体撮像素子の前記第１色信号及び前記第２色信号の光電変換特性に応じて生成された前記演算パラメータが前記第１〜第４演算部それぞれに与えられて前記第１〜第４演算式が設定され、前記ホワイトバランス回路において前記第１〜第４演算部での演算処理を行って前記第２信号の光電変換特性を前記第１信号の光電変換特性に一致させてホワイトバランス処理を行うことを特徴とする撮像装置。
【請求項４】
前記ホワイトバランス回路が、
当該ホワイトバランス回路に入力される前記色信号の種類を検出する色信号検出部と、
前記第２色信号の種類毎に前記演算パラメータを切り換えて前記第１〜第４演算部の各演算式に設定するパラメータ設定部と、
を備え、
前記パラメータ生成部から前記第２色信号の種類毎に与えられた前記演算パラメータを前記色信号検出部で検出された前記第２色信号の種類毎に前記パラメータ設定部で切り換えて前記第１〜第４演算部の各演算式に設定することで、前記第２色信号の種類毎にホワイトバランス処理を行うことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記ホワイトバランス回路が、前記第２色信号の種類毎に、前記第１〜第４演算部及び前記選択部を備え、
前記パラメータ生成部から前記第２色信号の種類毎に与えられた前記演算パラメータが、前記第２色信号の種類毎に設けられた前記第１〜第４演算部に与えられることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記第１の特性は、入射光量に対する線形的な変化であることを特徴とする請求項１〜請求項５のいずれかに記載の撮像装置。
【請求項７】
前記第２の特性は、入射光量に対する自然対数的な変化であることを特徴とする請求項１〜請求項６のいずれかに記載の撮像装置。
【請求項８】
前記第１の特性が、出力信号が入射光量に対して線形的に変化する線形変換特性であるとともに、
前記第２の特性が、出力信号が入射光量に対して自然対数的に変化する対数変換特性であり、
前記第１演算部が、前記演算パラメータに含まれる第１演算値を乗算する乗算器であり、
前記第２演算部が、前記演算パラメータに含まれる第２演算値を減算する減算器であり、
前記第３演算部が、前記演算パラメータに含まれる前記第１演算値を乗算した後に、前記第１色信号における線形変換特性から対数変換特性に変換する線形対数変換を行い、
前記第４演算部が、前記演算パラメータに含まれる前記第２演算値を減算した後に、前記第１色信号における対数変換特性から線形変換特性に変換する対数線形変換を行うことを特徴とする請求項３〜請求項５のいずれかに記載の撮像装置。
【請求項９】
前記色信号それぞれが前記線形変換特性から前記対数変換特性に切り替わる信号レベルを第１閾値レベルとしたとき、
前記選択部において、
前記第１演算値が１より小さいとき、
前記第２色信号の信号レベルが前記第１閾値レベル以上の場合は、前記第２演算部からの信号を選択して出力し、
前記第２色信号の信号レベルが前記第１閾値レベルより小さい場合は、前記第１演算部から出力される信号の信号レベルが前記第１閾値レベルより大きいと前記第１演算部からの信号を選択して出力し、又、前記第１演算部から出力される信号の信号レベルが前記第１閾値レベル以下であると前記第３演算部からの信号を選択して出力し、
前記第１演算値が１より大きいとき、
前記第２色信号の信号レベルが前記第１閾値レベル以下の場合は、前記第１演算部からの信号を選択して出力し、
前記第２色信号の信号レベルが前記第１閾値レベルより大きい場合は、前記第２演算部から出力される信号の信号レベルが前記第１閾値レベルより小さいと前記第２演算部からの信号を選択して出力し、又、前記第２演算部から出力される信号の信号レベルが前記第１閾値レベル以上であると前記第４演算部からの信号を選択して出力し、
前記第１演算値が１であるとき、
前記第１演算部からの信号を選択して出力することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記色信号それぞれが前記光電変換特性が前記第１領域から前記第２領域に切り替わる信号レベルを第１閾値レベルとし、当該第１閾値レベルにおける前記第１色信号における輝度値を第１輝度値とし、当該第１輝度値に対する前記第２色信号それぞれの信号レベルを第２閾値レベルとしたとき、
前記選択部において、
前記第２閾値レベルが前記第１閾値レベルより小さいとき、
前記第２色信号の信号レベルが前記第１閾値レベル以上の場合は、前記第２演算部からの信号を選択して出力し、
前記第２色信号の信号レベルが前記第１閾値レベルより小さい場合は、前記第２色信号の信号レベルが前記第２閾値レベルより大きいと前記第１演算部からの信号を選択して出力し、又、前記第２色信号の信号レベルが前記第２閾値レベル以下であると前記第３演算部からの信号を選択して出力し、
前記第２閾値レベルが前記第１閾値レベルより大きいとき、
前記第２色信号の信号レベルが前記第１閾値レベル以下の場合は、前記第１演算部からの信号を選択して出力し、
前記第２色信号の信号レベルが前記第１閾値レベルより大きい場合は、前記第２色信号の信号レベルが前記第２閾値レベルより小さいと前記第２演算部からの信号を選択して出力し、又、前記第２色信号の信号レベルが前記第２閾値レベル以上であると前記第４演算部からの信号を選択して出力し、
前記第２閾値レベルが前記第１閾値レベルと等しいとき、
前記第１演算部からの信号を選択して出力することを特徴とする請求項３〜請求項８のいずれかに記載の撮像装置。
【請求項１１】
前記第１色信号の光電変換特性と前記第２色信号の光電変換特性の関係を表す評価値を、前記第２色信号の種類毎に、前記固体撮像素子から入力される前記第１色信号及び前記第２色信号の信号レベルの関係より検出する評価値検出回路を備え、
前記制御部において、前記演算パラメータが、前記評価値と前記第１色信号の光電変換特性に基づいて生成されることを特徴とする請求項３〜請求項１０のいずれかに記載の撮像装置。
【請求項１２】
前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられる前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、前記評価値が求められることを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
前記評価値検出回路において、
前記第２色信号の種類毎に、
前記固体撮像素子から与えられた入射光量に対して前記第１の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、第１評価値が求められるとともに、
前記固体撮像素子から与えられた入射光量に対して前記第２の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、第２評価値が求められ、
前記第１評価値及び前記第２評価値を加重加算することで、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性の関係を表す評価値を求めることを特徴とする請求項１１に記載の撮像装置。
【請求項１４】
入射光量に対して前記第１の特性で変化した信号を出力する画素数と、入射光量に対して前記第２の特性で変化した信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定することを特徴とする請求項１３に記載の撮像装置。
【請求項１５】
前記第１色信号の光電変換特性を、前記固体撮像素子のダイナミックレンジに基づいて決定するとともに、
前記第２色信号の光電変換特性を、前記第１色信号の光電変換特性と前記評価値に基づいて決定することを特徴とする請求項１１〜請求項１４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類の色フィルタを備えて色信号を出力する固体撮像素子を有し、カラー画像を撮像する撮像装置に関するもので、特に、色信号のホワイトバランス処理を施す撮像装置に関する。
【背景技術】
【０００２】
従来、入射光量に対して線形変換する線形変換動作を行う固体撮像素子においては、そのダイナミックレンジが２桁と狭いため、広い輝度範囲の輝度分布を構成する被写体を撮像したときは、ダイナミックレンジ以外の範囲の輝度情報は出力されない。又、従来の固体撮像装置として、入射光量に対して対数変換する対数変換動作を行うものがある（特許文献１参照）。この固体撮像素子においては、そのダイナミックレンジが５〜６桁と広いため、少々広い輝度範囲の輝度分布を構成する被写体を撮像しても、輝度分布内の全輝度情報を電気信号に変換して出力することができる。しかしながら、被写体の輝度分布に対してその撮像可能領域が広くなるので、撮像可能領域内の低輝度領域又は高輝度領域において、輝度データの無い領域ができてしまう。これらに対して、本出願人は、上述の線形変換動作と対数変換動作とを切り換えることが可能なものを提案している（特許文献２参照）。
【０００３】
又、これらの固体撮像素子を備える撮像装置において、色フィルタを設けることでカラー画像が撮像されるとき、撮像時の光源の分光分布や色フィルタの透過率が異なるために、各色信号の光電変換特性が異なるものとなる。よって、このようなカラー画像を撮像する撮像装置において、この各色信号の光電変換特性を一致させるためのホワイトバランス処理が施される。そこで、本出願人は、対数変換動作を行う固体撮像素子を備えた撮像装置において、色温度検出回路で検出した色温度に基づいてホワイトバランス処理回路でホワイトバランス処理を施す撮像装置を提案している（特許文献３参照）。又、本出願人は、対数変換動作を行う固体撮像素子を備えた撮像装置において、ＡＤ変換器においてＡＤ変換する際にオフセット電圧を切り換えることでホワイトバランス処理を施す撮像装置を提案している（特許文献４参照）。
【特許文献１】特開平１１−３１３２５７号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００２−１０２７５号公報
【特許文献４】特開２００２−２９０９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献３及び特許文献４における撮像装置では、対数変換特性のみによる光電変換動作を行う固体撮像素子から出力される画像信号をホワイトバランス補正することに対しては有効であるが、線形変換特性による光電変換動作を行う固体撮像素子については、ホワイトバランスをとることができない。そのため、特許文献２のように対数変換特性及び線形変換特性を自動に切り換えることが可能な固体撮像素子を用いた場合、従来のホワイトバランス処理のように乗除算又は加減算のみのホワイトバランス処理では、十分にホワイトバランスをとることができない。
【０００５】
このような問題を鑑みて、本発明は、その光電変換特性において線形変換特性と対数変換特性とが自動的に切り替わる固体撮像素子を備えるとき、いずれの特性により出力される信号に対しても適切にホワイトバランス処理を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、前記ホワイトバランス回路が、前記各色信号の前記第１領域における値がホワイトバランス処理されるとともに、前記各色信号の前記第２領域における値がホワイトバランス処理される演算処理を施す演算部を備え、該演算部による演算結果に基づいて前記色信号のホワイトバランス処理を施すことで、前記各色信号に対して前記第１の特性及び前記第２の特性それぞれに対応したホワイトバランス処理を施すことを特徴とする。
【０００７】
又、本発明の撮像装置は、出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、前記複数種類の色信号の１つを基準となる第１色信号とし、該第１色信号以外の色信号を第２色信号としたとき、前記ホワイトバランス回路が、入力された前記第２色信号の光電変換特性と前記第１色信号の光電変換特性との関係に基づいて演算式を設定するとともに当該演算式によって前記第２色信号の値を変換する演算部を備え、該演算部による演算結果に基づいて前記色信号のホワイトバランス処理を施すことで、前記各色信号に対して前記第１の特性及び前記第２の特性それぞれに対応したホワイトバランス処理を施すことを特徴とする。
【０００８】
又、本発明の撮像装置は、出力信号が入射光量に対して第１の特性で変化する第１領域と入射光量に対して第２の特性で変化する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、前記複数種類の色信号の１つを基準となる第１色信号とし、該第１色信号以外の色信号を第２色信号としたとき、前記各第２色信号に対する前記ホワイトバランス回路でのホワイトバランス処理に用いる演算式へ設定するための演算パラメータを生成し、当該演算パラメータを前記ホワイトバランス回路へ送出するパラメータ生成部を備え、前記ホワイトバランス回路が、前記第１領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第１領域の光電変換特性に応じた値の信号に変換する第１演算式を備えた第１演算部と、前記第２領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第２領域の光電変換特性に応じた値の信号に変換する第２演算式を備えた第２演算部と、前記第１領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第２領域の光電変換特性に応じた値の信号に変換する第３演算式を備えた第３演算部と、前記第２領域の光電変換特性となる前記第２色信号を、前記第１色信号の前記第１領域の光電変換特性に応じた値の信号に変換する第４演算式を備えた第４演算部と、前記第１〜第４演算部からの信号を選択して出力する選択部と、を備え、前記パラメータ生成部で前記固体撮像素子の前記第１色信号及び前記第２色信号の光電変換特性に応じて生成された前記演算パラメータが前記第１〜第４演算部それぞれに与えられて前記第１〜第４演算式が設定され、前記ホワイトバランス回路において前記第１〜第４演算部での演算処理を行って前記第２信号の光電変換特性を前記第１信号の光電変換特性に一致させてホワイトバランス処理を行うことを特徴とする。
【０００９】
このような撮像装置において、複数種類の前記色信号が前記固体撮像素子より出力されたとき、前記ホワイトバランス回路において、入力された前記第２色信号の光電変換特性が前記第１領域であり、前記第１色信号の前記第１領域と重なっている場合は、前記第１演算器からの信号を前記選択部が選択して出力する。又、入力された前記第２色信号の光電変換特性が前記第２領域であり、前記第１色信号の前記第２領域と重なっている場合は、前記第２演算器からの信号を前記選択部が選択して出力する。入力された前記第２色信号の光電変換特性が前記第１領域であり、前記第１色信号の前記第２領域と重なっている場合は、前記第３演算器からの信号を前記選択部が選択して出力する。入力された前記第２色信号の光電変換特性が前記第２領域であり、前記第１色信号の前記第１領域と重なっている場合は、前記第４演算器からの信号を前記選択部が選択して出力する。
【００１０】
又、前記ホワイトバランス回路が、当該ホワイトバランス回路に入力される前記色信号の種類を検出する色信号検出部と、前記第２色信号の種類毎に前記演算パラメータを切り換えて前記第１〜第４演算部の各演算式に設定するパラメータ設定部と、を備え、前記パラメータ生成部から前記第２色信号の種類毎に与えられた前記演算パラメータを前記色信号検出部で検出された前記第２色信号の種類毎に前記パラメータ設定部で切り換えて前記第１〜第４演算部の各演算式に設定することで、前記第２色信号の種類毎にホワイトバランス処理を行うものとしても構わない。
【００１１】
又、前記ホワイトバランス回路が、前記第２色信号の種類毎に、前記第１〜第４演算部及び前記選択部を備え、前記パラメータ生成部から前記第２色信号の種類毎に与えられた前記演算パラメータが、前記第２色信号の種類毎に設けられた前記第１〜第４演算部に与えられるものとしても構わない。
【００１２】
上述の各撮像装置において、前記第１の特性を、入射光量に対する線形的な変化であるものとし、又、前記第２の特性を、入射光量に対する自然対数的な変化であるものとする。
【００１３】
又、前記第１の特性が、出力信号が入射光量に対して線形的に変化する線形変換特性であるとともに、前記第２の特性が、出力信号が入射光量に対して自然対数的に変化する対数変換特性であり、前記第１演算部が、前記演算パラメータに含まれる第１演算値を乗算する乗算器であり、前記第２演算部が、前記演算パラメータに含まれる第２演算値を減算する減算器であり、前記第３演算部が、前記演算パラメータに含まれる前記第１演算値を乗算した後に、前記第１色信号における線形変換特性から対数変換特性に変換する線形対数変換を行い、前記第４演算部が、前記演算パラメータに含まれる前記第２演算値を減算した後に、前記第１色信号における対数変換特性から線形変換特性に変換する対数線形変換を行う。
【００１４】
このとき、前記色信号それぞれが前記線形変換特性から前記対数変換特性に切り替わる信号レベルを第１閾値レベルとしたとき、前記選択部において、前記第１演算値が１より小さいとき、前記第２色信号の信号レベルが前記第１閾値レベル以上の場合は、前記第２演算部からの信号を選択して出力し、前記第２色信号の信号レベルが前記第１閾値レベルより小さい場合は、前記第１演算部から出力される信号の信号レベルが前記第１閾値レベルより大きいと前記第１演算部からの信号を選択して出力し、又、前記第１演算部から出力される信号の信号レベルが前記第１閾値レベル以下であると前記第３演算部からの信号を選択して出力し、前記第１演算値が１より大きいとき、前記第２色信号の信号レベルが前記第１閾値レベル以下の場合は、前記第１演算部からの信号を選択して出力し、前記第２色信号の信号レベルが前記第１閾値レベルより大きい場合は、前記第２演算部から出力される信号の信号レベルが前記第１閾値レベルより小さいと前記第２演算部からの信号を選択して出力し、又、前記第２演算部から出力される信号の信号レベルが前記第１閾値レベル以上であると前記第４演算部からの信号を選択して出力し、前記第１演算値が１であるとき、前記第１演算部からの信号を選択して出力するものとしても構わない。
【００１５】
又、上述の各撮像装置において、前記色信号それぞれが前記線形変換特性から前記対数変換特性に切り替わる信号レベルを第１閾値レベルとし、当該第１閾値レベルにおける前記第１色信号における輝度値を第１輝度値とし、当該第１輝度値に対する前記第２色信号それぞれの信号レベルを第２閾値レベルとしたとき、前記選択部において、前記第２閾値レベルが前記第１閾値レベルより小さいとき、前記第２色信号の信号レベルが前記第１閾値レベル以上の場合は、前記第２演算部からの信号を選択して出力し、前記第２色信号の信号レベルが前記第１閾値レベルより小さい場合は、前記第２色信号の信号レベルが前記第２閾値レベルより大きいと前記第１演算部からの信号を選択して出力し、又、前記第２色信号の信号レベルが前記第２閾値レベル以下であると前記第３演算部からの信号を選択して出力し、前記第２閾値レベルが前記第１閾値レベルより大きいとき、前記第２色信号の信号レベルが前記第１閾値レベル以下の場合は、前記第１演算部からの信号を選択して出力し、前記第２色信号の信号レベルが前記第１閾値レベルより大きい場合は、前記第２色信号の信号レベルが前記第２閾値レベルより小さいと前記第２演算部からの信号を選択して出力し、又、前記第２色信号の信号レベルが前記第２閾値レベル以上であると前記第４演算部からの信号を選択して出力し、前記第２閾値レベルが前記第１閾値レベルと等しいとき、前記第１演算部からの信号を選択して出力するものとしても構わない。
【００１６】
これらの撮像装置において、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性の関係を表す評価値を、前記第２色信号の種類毎に、前記固体撮像素子から入力される前記第１色信号及び前記第２色信号の信号レベルの関係より検出する評価値検出回路を備え、前記制御部において、前記演算パラメータが、前記評価値と前記第１色信号の光電変換特性に基づいて生成される。当該評価値を、前記第１色信号及び前記第２色信号の光電変換特性において、前記第１領域と前記第２領域との境界となる輝度値の差によるものとする。
【００１７】
又、前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられる前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、前記評価値が求められる。このとき、前記第１色信号及び前記第２色信号それぞれの平均値に対する輝度値が等しいものとするようにしても構わない。
【００１８】
又、前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられた入射光量に対して前記第１の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、第１評価値が求められるとともに、前記固体撮像素子から与えられた入射光量に対して前記第２の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、第２評価値が求められ、前記第１評価値及び前記第２評価値を加重加算することで、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性の関係を表す評価値を求める。このとき、前記第１評価値及び前記第２評価値それぞれを求める際の前記第１色信号及び前記第２色信号それぞれの平均値に対する輝度値が等しいものとするようにしても構わない。
【００１９】
このように前記第１評価値及び前記第２評価値を加重加算して前記評価値を求める際、外部より重み係数が設定されるものとしても構わない。又、入射光量に対して前記第１の特性で変化した信号を出力する画素数と、入射光量に対して前記第２の特性で変化した信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定するものとしても構わない。このとき、前記色信号の種類毎に前記重み係数を設定するものとしても構わない。又、オートフォーカス機能により検出した主被写体を中心とする領域における、入射光量に対して線形的に変化した信号を出力する画素数と入射光量に対して対数的に変化した信号を出力する画素数との関係に基づいて、前記重み係数を設定するものとしても構わない。
【００２０】
更に、上述の撮像装置において、前記色信号それぞれに対して、前記固体撮像素子のダイナミックレンジにより決定する前記第１状態と前記第２状態の境界となる信号レベルが一定であり、前記第１状態と前記第２状態の境界となる信号レベルに基づいて、前記第１の特性で変化した信号と前記第２の特性で変化した信号とを識別する。
【００２１】
又、前記第１色信号の光電変換特性を、前記固体撮像素子のダイナミックレンジに基づいて決定するとともに、前記第２色信号の光電変換特性を、前記第１色信号の光電変換特性と前記評価値に基づいて決定する。
【００２２】
前記第１色信号の光電変換特性をメモリ内に複数種類格納し、設定した前記固体撮像素子のダイナミックレンジに基づいて前記第１色信号の光電変換特性を前記メモリより読み出して使用するものとしても構わない。このとき、前記メモリに格納された前記第１色信号の光電変換特性の種類に応じて、前記固体撮像素子のダイナミックレンジが離散的に設定されるものとしても構わない。又、前記固体撮像素子のダイナミックレンジが連続的に設定されるとき、設定された当該ダイナミックレンジの前後のダイナミックレンジに相当する前記第１色信号の光電変換特性に基づき、設定された当該ダイナミックレンジに対する前記第１色信号の光電変換特性を設定するものとしても構わない。
【００２３】
前記固体撮像素子が、各画素毎に複数種類の色フィルタが設けられた単板の固体撮像素子であっても構わないし、種類の色フィルタ毎に複数の撮像素子よりなる複数板の固体撮像素子であっても構わない。
【発明の効果】
【００２４】
本発明によると、ホワイトバランス回路において、演算式の異なる第１〜第４演算部からの信号を選択して出力するため、第２色信号の状態に応じて適切な演算処理を施すことができ、第２色信号の光電変換特性を第１色信号の光電変換特性に切り換えることができる。又、第１色信号と第２色信号の光電変換特性の関係より演算パラメータを設定することにより、第２色信号に対する演算式を適切な演算パラメータを備えた演算式とすることができ、第１色信号と第２色信号の光電変換特性の関係に応じた適切なホワイトバランス処理を施すことができる。又、評価値検出回路を設けることによって、各色信号の関係を確認することができる各色信号に対する評価値を検出することができる。よって、演算パラメータを、検出値と基準となる色信号の光電変換特性により容易に求めることができる。
【００２５】
又、第１の特性で変化した色信号と第２の特性で変化した色信号とのそれぞれに対して評価値を求めた後、これらの評価値を加重加算することで、各色信号の評価値を設定することで、より高精度な評価値を得ることができる。更に、第１の特性で変化した信号を出力する画素数と、第２の特性で変化した信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定するため、演算パラメータを撮像した被写体の輝度分布に応じたものに設定することができる。よって、撮像した被写体の輝度分布に応じたホワイトバランス処理を施すことができる。
【発明を実施するための最良の形態】
【００２６】
＜撮像装置の構成＞
本発明の実施形態である撮像装置の構成について、図１を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２７】
図１の撮像装置は、複数のレンズから構成される光学系１と、光学系１を通じて入射される光の入射光量を電気信号に変換する固体撮像素子２と、固体撮像素子２から出力される電気信号を増幅するアンプ３と、アンプ３で増幅された電気信号をデジタル信号に変換するＡＤ変換回路４と、ＡＤ変換回路４からのデジタル信号の最低レベルを設定する黒基準補正回路５と、黒基準補正回路５で黒基準値により補正されたデジタル信号が固体撮像素子２の各画素の感度などによるＦＰＮ（固定パターンノイズ：Fixed Pattern Noise）を除去するＦＰＮ補正回路６と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号より自動露出制御（ＡＥ）及びホワイトバランス（ＷＢ）を行うためのそれぞれの評価値を検出するＡＥ・ＷＢ評価値検出回路７と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うＷＢ制御回路８と、ＷＢ制御回路８から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路９と、色補間回路９から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路１０と、色補正回路１０から出力されるデジタル信号の階調変換を行う階調変換回路１１と、階調変換回路１１から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路１２と、各ブロックの制御を行う全体制御部１３と、光学系１に備えられる絞り１ａによる露光量を制御する絞り制御部１４と、固体撮像素子２及びＡＤ変換回路４に動作タイミング用のクロックを与えるタイミング生成回路１５と、を備える。
【００２８】
このように構成される撮像装置においては、光学系１を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子２に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図２のように、ＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられるとき、Ｒとなる色フィルタが設けられた画素からは赤色を表すＲ信号が、Ｇとなる色フィルタが設けられた画素からは緑色を表すＧ信号が、Ｂとなる色フィルタが設けられた画素からは青色を表すＢ信号が、それぞれ出力される。尚、固体撮像素子２は、後述するように、全体制御部１３によって駆動条件が変更されることにより、線形変換動作と対数変換動作とが切り替わる輝度位置が変更される。これによって、固体撮像素子２のダイナミックレンジが変化する。切換点が低輝度側になるほどダイナミックレンジが広くなる。
【００２９】
この固体撮像素子２からシリアルに出力されるＲ信号及びＧ信号及びＢ信号が、アンプ３において増幅された後、ＡＤ変換回路４においてデジタル信号に変換される。このようにデジタル信号に変換されたＲ信号及びＧ信号及びＢ信号が黒基準補正回路５に与えられると、全体制御部１３から与えられるダイナミックレンジの大きさに関する情報であるダイナミックレンジデータに基づいて、最低輝度値となる黒レベルが基準値（０）に補正される。即ち、固体撮像素子２のダイナミックレンジによって黒レベルが異なるため、ＡＤ変換回路４から出力されるＲ信号及びＧ信号及びＢ信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。
【００３０】
この黒基準補正が行われたＲ信号及びＧ信号及びＢ信号は、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。このＦＰＮ成分は、固体撮像素子２内の各画素を構成するＭＯＳトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。尚、このＦＰＮ成分を抽出する際、ＲＧＢ信号それぞれについて、均一光照射時に固体撮像素子２から出力される各画素に対する画像信号から色フィルタの透過率の差異に基づくオフセットを減算する。このとき、このような各色フィルタの透過率に基づくオフセットを、均一光照射時のＲＧＢ信号それぞれの平均値により求めるものとし、この平均値を均一光照射時のＲＧＢ信号から減算することで、各画素のＦＰＮ成分を抽出するものとしても構わない。このようにＦＰＮ成分が除去されたＲ信号及びＧ信号及びＢ信号が、ＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に与えられる。
【００３１】
ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するＡＥ評価値として全体制御部１３に送出する。このＡＥ評価値に基づいて全体制御部１３が絞り１ａの開口度を制御することで、露光量が制御される。又、ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるＷＢ評価値を算出し、全体制御部１３に送出する。そして、ＷＢ制御回路８では、全体制御部１３より与えられるＷＢ評価値及びダイナミックレンジデータに基づいて、Ｒ信号及びＧ信号及びＢ信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。このＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８の詳細については後述する。
【００３２】
ＷＢ制御回路８でホワイトバランス処理が施されたＲ信号及びＧ信号及びＢ信号は、色補間回路９において色補間処理が施される。図２のようなＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられているとき、各画素から出力される色信号は、その画素が設けられる色フィルタによる色信号のみである。よって、色補間回路９において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。
【００３３】
そして、ＲＧＢそれぞれの色フィルタが各画素Ｇ11〜Ｇ44に図２のように配列されているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33からＲ信号ｒ11，ｒ31，ｒ13，ｒ33が、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34からＧ信号ｇ21，ｇ41，ｇ12，ｇ32，ｇ23，ｇ43，ｇ14，ｇ34が、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44からＢ信号ｂ22，ｂ42，ｂ24，ｂ44が、出力される。このとき、画素Ｇ22，Ｇ23，Ｇ32，Ｇ33のＲＧＢ信号が、以下の式のように表される。
【００３４】
画素Ｇ22のＲ信号ｒ22、Ｇ信号ｇ22、Ｂ信号ｂ22
ｒ22＝（ｒ11＋ｒ31＋ｒ13＋ｒ33）／４
ｇ22＝（ｇ21＋ｇ12＋ｇ32＋ｇ23）／４
ｂ22＝ｂ22
画素Ｇ32のＲ信号ｒ32、Ｇ信号ｇ32、Ｂ信号ｂ32
ｒ32＝（ｒ31＋ｒ33）／２
ｇ32＝ｇ32
ｂ32＝（ｂ22＋ｂ42）／２
画素Ｇ23のＲ信号ｒ23、Ｇ信号ｇ23、Ｂ信号ｂ23
ｒ23＝（ｒ13＋ｒ33）／２
ｇ23＝ｇ23
ｂ23＝（ｂ22＋ｂ24）／２
画素Ｇ33のＲ信号ｒ33、Ｇ信号ｇ33、Ｂ信号ｂ33
ｒ33＝ｒ33
ｇ33＝（ｇ32＋ｇ23＋ｇ43＋ｇ34）／４
ｂ33＝（ｂ22＋ｂ42＋ｂ24＋ｂ44）／４
【００３５】
このように画素補間処理を行うことで、各画素毎にＲＧＢ信号が得られると、各画素のＲＧＢ信号が色補正回路１０に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、ＲＧＢ信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素ＧklのＲＧＢ信号ｒkl，ｇkl，ｂklを以下の式に代入することによって、色合い補正が施された画素ＧｋｌのＲＧＢ信号ｒｘkl，ｇｘkl，ｂｘklが生成される。この際、ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３によるマトリックス係数が、全体制御部１３から入力されるダイナミックレンジ制御信号に基づいて切り換えられて、各画素のＲＧＢ信号による色合いが強調される。
ｒｘkl＝ａ１×ｒkl＋ａ２×ｇkl＋ａ３×ｂkl
ｇｘkl＝ｂ１×ｒkl＋ｂ２×ｇkl＋ｂ３×ｂkl
ｂｘkl＝ｃ１×ｒkl＋ｃ２×ｇkl＋ｃ３×ｂkl
【００３６】
色補正回路１０で色補正が施されたＲＧＢ信号は、階調変換回路１１に与えられて、適切な出力レベルとなるように、全体制御部１３から入力されるダイナミックレンジ制御信号及びＡＥ評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して、図３に示すように、基準信号レベルからみて所定範囲内の出力を全て基準信号レベルに変換するレベル変換特性を備えるコアリング回路１２において、ＲＧＢ信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。
【００３７】
＜固体撮像素子の構成例＞
図１のように構成される撮像装置における固体撮像素子２の構成について、図面を参照して説明する。図４は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図５は、各画素の構成を示す回路図である。
【００３８】
固体撮像素子２は、図４に示すように、Ｇ11〜Ｇmnは行列配置（マトリクス配置）された画素を示している。２１は垂直走査回路であり、各画素に信号φＶを与える行（ライン）２３−１，２３−２，・・・，２３−ｎを順次走査していくとともに、ライン２４−１，２４−２，・・・，２４−ｎを介して各画素に信号φＶＤを、ライン２５−１，２５−２，・・・，２５−ｎを介して各画素に信号φＶPSを、それぞれ与える。２２は水平走査回路であり、画素から出力信号線２６−１，２６−２，・・・，２６−ｍに導出された光電変換信号を画素ごとに水平方向に順次読み出す。２０は電源ラインである。各画素に対し、上記ライン２３−１〜２３−ｎ，２４−１〜２４−ｎ，２５−１〜２５−ｎや出力信号線２６−１〜２６−ｍ、電源ライン２０だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図４ではこれらについて省略する。
【００３９】
又、出力信号線２６−１〜２６−ｍのそれぞれには、定電流源２７−１〜２７−ｍが接続されるとともに、信号線２６−１〜２６−ｍのそれぞれを介して与えられる画素Ｇ11〜Ｇmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路２８−１〜２８−ｍが設けられる。そして、補正回路２９に選択回路２８−１〜２８−ｍから画像信号及びノイズ信号が順に送出されると、この補正回路２９で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源２７−１〜２７−ｍの一端に直流電圧ＶPSが印加される。
【００４０】
このような固体撮像素子において、画素Ｇab（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ≦ｎの自然数）からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線２６−ａを介して出力されるとともに、この出力信号線２６−ａに接続された定電流源２７−ａによって増幅される。そして、画素Ｇabから出力された画像信号及びノイズ信号が順番に選択回路２８−ａに送出されるとともに、この選択回路２８−ａにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路２８−ａより、サンプルホールドされた画像信号が補正回路２９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路２９に送出される。補正回路２９では、選択回路２８−ａより与えられた画像信号を、同じく選択回路２８−ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ３に出力する。
【００４１】
このような構成の固体撮像素子２において、画素Ｇ11〜Ｇmnは、図５に示すように、カソードに直流電圧ＶPDが印加されたフォトダイオードＰＤのアノードにＭＯＳトランジスタＴ１のドレインが接続され、ＭＯＳトランジスタＴ１のソースにＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続される。又、ＭＯＳトランジスタＴ３のソースにＭＯＳトランジスタＴ４のゲート及びＭＯＳトランジスタＴ５のドレインが接続され、ＭＯＳトランジスタＴ４のソースにＭＯＳトランジスタＴ６のドレインが接続される。そして、ＭＯＳトランジスタＴ６のソースが出力信号線２６（図４の出力信号線２６−１〜２６−ｍに相当する）に接続される。尚、ＭＯＳトランジスタＴ１〜Ｔ６は、ＰチャネルのＭＯＳトランジスタである。
【００４２】
ＭＯＳトランジスタＴ２のソースにはライン２５（図４のライン２５−１〜２５−ｎに相当する）を介して信号φＶPSが入力され、ＭＯＳトランジスタＴ３，Ｔ４のドレインに直流電圧ＶPDが印加される。又、ＭＯＳトランジスタＴ３のソースには、その一端にライン２４（図４のライン２４−１〜２４−ｎに相当する）を介して信号φＶＤが与えられるキャパシタＣの他端が接続される。又、ＭＯＳトランジスタＴ５のソースには直流電圧ＶRGが入力され、そのゲートに信号φＲＳが入力される。更に、ＭＯＳトランジスタＴ１，Ｔ６のゲートにはそれぞれ、信号φＳ，φＶが入力される。
【００４３】
尚、信号φＶPSは２値の電圧信号で、入射光量が所定値を超えたときにＭＯＳトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をＶＬとし、又、この電圧よりも高くＭＯＳトランジスタＴ２を導通状態にする電圧をＶＨとする。又、信号φＶＤは、３値の電圧信号であり、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、画像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりも低いＶｌとする。
【００４４】
このように構成される固体撮像素子２における画素Ｇ11〜Ｇmnの動作について、図６のタイムチャートを参照して説明する。まず、電圧値Ｖｍのパルス信号φＶＤとパルス信号φＶが与えられて画像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてＭＯＳトランジスタＴ１をＯＦＦにして、リセット動作が始まる。次に、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＨにして、ＭＯＳトランジスタＴ２のソース電圧を高くすることで、ＭＯＳトランジスタＴ２のゲート及びドレイン、そしてＭＯＳトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳをローとして、ＭＯＳトランジスタＴ５をＯＮにして、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧を初期化する。
【００４５】
そして、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬにして、ＭＯＳトランジスタＴ２のポテンシャル状態を基の状態に戻した後、信号φＲＳをハイにして、ＭＯＳトランジスタＴ５をＯＦＦにする。その後、キャパシタＣが積分動作を行って、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧が、リセットされたＭＯＳトランジスタＴ２のゲート電圧に応じたものとなる。そして、パルス信号φＶをＭＯＳトランジスタＴ６のゲートに与えてＭＯＳトランジスタＴ６をＯＮにするとともに信号φＶＤの電圧値をＶｌにする。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線２６にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φＲＳをＭＯＳトランジスタＴ５に与えて、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧をリセットした後、信号φＳをローにしてＭＯＳトランジスタＴ１を導通させて撮像動作が行える状態にする。
【００４６】
このようにノイズ信号が出力された後、ＭＯＳトランジスタＴ１がＯＮとされると、撮像動作が開始される。このとき、信号φＲＳをハイとして、ＭＯＳトランジスタＴ５をＯＦＦとする。又、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬとするとともに、キャパシタＣに与える信号φＶＤの電圧値をＶｈとして、積分動作を行うようにする。そして、フォトダイオードＰＤより入射光量に応じた光電荷がＭＯＳトランジスタＴ２に流れ込むと、ＭＯＳトランジスタＴ２はカットオフ状態であるので、光電荷がＭＯＳトランジスタＴ２のゲートに蓄積される。
【００４７】
よって、撮像する被写体の輝度が低くフォトダイオードＰＤに入射される入射光量が少ない場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧がＭＯＳトランジスタＴ２のゲートに現れるため、入射光量の積分値に対して線形的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードＰＤに入射される入射光量が多く、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧が高くなると、ＭＯＳトランジスタＴ２がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れる。
【００４８】
この入射光量に対して線形的に又は自然対数的に変化する電圧がＭＯＳトランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れるため、ＭＯＳトランジスタＴ４のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化した電圧となる。そして、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にパルス信号φＶを与えることで、ＭＯＳトランジスタＴ４のゲート電圧に応じたソース電流が、ＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には画像信号が電圧信号として現れる。その後、信号φＶをハイにしてＭＯＳトランジスタＴ６をＯＦＦにするとともに、信号φＶＤの電圧値をＶｈとする。
【００４９】
このように動作するとき、撮像時の信号φＶPSの電圧値ＶＬが低くなり、リセット時の信号φＶPSの電圧値ＶＨとの差を大きくするほど、ＭＯＳトランジスタＴ２のゲート・ソース間のポテンシャルの差が大きくなり、ＭＯＳトランジスタＴ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図７のように、電圧値ＶＬが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値ＶＬを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値ＶＬを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。尚、電圧値ＶＬを最小とするとき、常に線形変換する状態とし、又、電圧値ＶＬを最大とするとき、常に対数変換する状態とすることもできる。
【００５０】
このように動作する固体撮像素子２の画素Ｇ11〜Ｇmnに与える信号φＶPSの電圧値ＶＬの値を全体制御部１３が切り換えることによって、被写体の輝度範囲に応じてダイナミックレンジを切り換えられる固体撮像素子２とすることができる。即ち、全体制御部１３が信号φＶPSの電圧値ＶＬの値を切り換えることで、固体撮像素子２の画素Ｇ11〜Ｇmnにおける線形変換動作から対数変換動作へ切り替わる変極点（輝度値）を設定することができる。尚、撮像時に対数変換動作に変わるときのＭＯＳトランジスタＴ２のゲート電圧に至るまでにＭＯＳトランジスタＴ２に流れ込む光電荷量が、全ての画素において等しい。
【００５１】
尚、本構成例では、図５のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作を各画素において自動的に切り換えることが可能なものであれば、特許文献２に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φＶPSの電圧値ＶＬを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φＶPSの電圧値ＶＨを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、リセット時間を変更することで上記変極点を変更するものとしても構わない。
【００５２】
＜ＡＥ・ＷＢ評価値検出回路の第１例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路の第１例について、図面を参照して以下に詳細に説明する。図８は、本例のＡＥ・ＷＢ評価値検出回路の内部構成を示すブロック図である。
【００５３】
本例のＡＥ・ＷＢ評価値検出回路７は、図８に示すように、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号それぞれが与えられるとともに線形変換又は対数変換のいずれが施された信号であるかを確認する光電変換特性判別部７１ｒ，７１ｇ，７１ｂと、線形変換された（線形変換特性を備えた）ＲＧＢ信号それぞれの平均値ｒ１av，ｇ１av，ｂ１avを求める平均値演算部７２ｒ，７２ｇ，７２ｂと、対数変換された（対数変換特性を備えた）ＲＧＢ信号それぞれの平均値ｒ２av，ｇ２av，ｂ２avを求める平均値演算部７３ｒ，７３ｇ，７３ｂと、平均値演算部７２ｒ，７２ｇそれぞれから与えられるＲＧ信号それぞれの平均値ｒ１av，ｇ１avよりＲ信号に対するＷＢ評価値ｗｒ１を求めるＷＢ評価値演算部７４ｒと、平均値演算部７２ｇ，７２ｂそれぞれから与えられるＧＢ信号それぞれの平均値ｇ１av，ｂ１avよりＢ信号に対するＷＢ評価値ｗｂ１を求めるＷＢ評価値演算部７４ｂと、平均値演算部７３ｒ，７３ｇそれぞれから与えられるＲＧ信号それぞれの平均値ｒ２av，ｇ２avよりＲ信号に対するＷＢ評価値ｗｒ２を求めるＷＢ評価値演算部７５ｒと、平均値演算部７３ｇ，７３ｂそれぞれから与えられるＧＢ信号それぞれの平均値ｇ２av，ｂ２avよりＢ信号に対するＷＢ評価値ｗｂ２を求めるＷＢ評価値演算部７５ｂと、ＷＢ評価値演算部７４ｒ，７５ｒそれぞれからのＷＢ評価値ｗｒ１，ｗｒ２を加重加算することによってＲ信号に対するＷＢ評価値ｗｒを生成して全体制御部１３に出力する加重加算部７６ｒと、ＷＢ評価値演算部７４ｂ，７５ｂそれぞれからのＷＢ評価値ｗｂ１，ｗｂ２を加重加算することによってＢ信号に対するＷＢ評価値ｗｂを生成して全体制御部１３に出力する加重加算部７６ｂと、を備える。
【００５４】
又、全体制御部１３は、図９に示すように、固体撮像素子２のダイナミックレンジを調整するとともにタイミング生成回路１５から出力されるクロックのタイミングを制御するセンサ駆動部１３１と、ＡＥ・ＷＢ評価値検出回路７で検出されたＡＥ評価値及びＷＢ評価値に従ってセンサ駆動部１３１を制御するとともにＷＢ制御回路８に与えるデータを生成するマイコン１３２と、固体撮像素子２のダイナミックレンジに応じた換言すれば線形変換特性と対数変換特性との切換点の位置に応じた光電変換特性を与えるデータを格納するメモリ１３３と、を備える。マイコン１３２は、例えば、被写体の輝度範囲に応じて適切なダイナミックレンジが得られるように、固体撮像素子２のダイナミックレンジを変更するためのダイナミックレンジ制御信号をセンサ駆動部１３１に与える。センサ駆動部１３１は、このダイナミックレンジ制御信号に基づいて駆動条件を変更し、固体撮像素子２のダイナミックレンジを変更する。
【００５５】
図８のように構成されるＡＥ・ＷＢ評価値検出回路７の動作について、図面を参照して以下に説明する。まず、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれに、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号が与えられる。このように入力されるＲＧＢ信号の典型例を図１０に示す。尚、図１０は、輝度値に対するＲＧＢ信号の信号レベルの関係を表したグラフで、輝度値は対数値で表される。即ち、全体制御部１３のマイコン１３２からのダイナミックレンジ制御信号によってセンサ駆動部１３１から上述の固体撮像素子２へ与える信号φＶPSの電圧ＶＬが設定されるとき、黒基準補正回路５やＦＰＮ補正回路６でオフセットを除くため、信号φＶPSの電圧ＶＬによって決定する各画素のＭＯＳトランジスタＴ２の動作が切り替わるポテンシャル位置を略等しいものとすることができる。よって、図１０のように、ＲＧＢ信号それぞれにおいて、線形変換特性から対数変換特性に切り替わる変極点となる信号レベルが等しくなる。
【００５６】
このＲＧＢ信号における線形変換特性から対数変換特性に切り替わる変極点となる信号レベルを閾値レベルＶthとする。そして、全体制御部１３のセンサ駆動部１３１よって上述の固体撮像素子２へ与える信号φＶPSの電圧ＶＬが設定されるとき、この閾値レベルＶthが、ダイナミックレンジデータとして、全体制御部１３のマイコン１３２から光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれに与えられる。よって、光電変換特性判別部７１ｒ，７１ｇ，７１ｂでは、信号レベルが閾値レベルＶthより高いと対数変換された信号であると判別し、信号レベルが閾値レベルＶth以下の場合は線形変換された信号であると判断する。尚、信号レベルが閾値レベルＶth以上のときに対数変換された信号であると判断し、信号レベルが閾値レベルＶthより低いときに線形変換された信号であると判断するようにしても良い。以下の説明についても同様である。
【００５７】
そして、光電変換特性判別部７１ｒにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判別されたＲ信号は、平均値演算部７２ｒに与えられ、又、光電変換特性判別部７１ｒにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判別されたＲ信号は、平均値演算部７３ｒに与えられる。同様に、光電変換特性判別部７１ｇにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判別されたＧ信号は、平均値演算部７２ｇに与えられ、又、光電変換特性判別部７１ｇにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判別されたＧ信号は、平均値演算部７３ｇに与えられる。又、光電変換特性判別部７１ｂにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判別されたＢ信号は、平均値演算部７２ｂに与えられ、又、光電変換特性判別部７１ｂにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判別されたＢ信号は、平均値演算部７３ｂに与えられる。
【００５８】
そして、平均値演算部７２ｒ，７２ｇ，７２ｂではそれぞれ、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれから与えられる線形変換されたＲＧＢ信号それぞれの信号レベルを加算するとともに、与えられたＲＧＢ信号それぞれの総数を計数する。同様に、平均値演算部７３ｒ，７３ｇ，７３ｂではそれぞれ、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれから与えられる対数変換されたＲＧＢ信号それぞれの信号レベルを加算するとともに、与えられたＲＧＢ信号それぞれの総数を計数する。このようにして、光電変換特性判別部７１ｒ，７１ｇ，７１ｂから全てのＲＧＢ信号が出力されると、全て出力したことを示す信号が、光電変換特性判別部７１ｒから平均値演算部７２ｒ，７３ｒへ、光電変換特性判別部７１ｇから平均値演算部７２ｇ，７３ｇへ、光電変換特性判別部７１ｂから平均値演算部７２ｂ，７３ｂへ、それぞれ送出される。
【００５９】
その後、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂそれぞれにおいては、加算合計した信号レベルを与えられた信号の総数によって除算することで平均値演算を行う。このようにすることで、線形変換されたＲ信号の平均値ｒ１avが平均値演算部７２ｒからＷＢ評価値演算部７４ｒに、線形変換されたＧ信号の平均値ｇ１avが平均値演算部７２ｇからＷＢ評価値演算部７４ｒ，７４ｂに、線形変換されたＢ信号の平均値ｂ１avが平均値演算部７２ｂからＷＢ評価値演算部７４ｂに、それぞれ、送出される。同様に、平均値演算部７３ｒから対数変換されたＲ信号の平均値ｒ２avがＷＢ評価値演算部７５ｒに、平均値演算部７３ｇから対数変換されたＧ信号の平均値ｇ２avがＷＢ評価値演算部７５ｒ，７５ｂに、平均値演算部７３ｂから対数変換されたＢ信号の平均値ｂ２avがＷＢ評価値演算部７５ｂに、それぞれ、送出される。
【００６０】
そして、線形変換されたＲＧ信号の平均値ｒ１av，ｇ１avが与えられたＷＢ評価値演算部７４ｒでは、ＲＧ信号の平均値ｒ１av，ｇ１avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が求められるとともに、線形変換されたＧＢ信号の平均値ｇ１av，ｂ１avが与えられたＷＢ評価値演算部７４ｂでは、ＧＢ信号の平均値ｇ１av，ｂ１avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、線形変換されたＢ信号に対するＷＢ評価値ｗｂ１が求められる。
【００６１】
同様に、対数変換されたＲＧ信号の平均値ｒ２av，ｇ２avが与えられたＷＢ評価値演算部７５ｒでは、ＲＧ信号の平均値ｒ２av，ｇ２avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が求められるとともに、対数変換されたＧＢ信号の平均値ｇ２av，ｂ２avが与えられたＷＢ評価値演算部７５ｂでは、ＧＢ信号の平均値ｇ２av，ｂ２avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、対数変換されたＢ信号に対するＷＢ評価値ｗｂ２が求められる。尚、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂはそれぞれ、全体制御部１３のマイコン１３２より、固体撮像素子２のダイナミックレンジに応じたＧ信号の光電変換特性が与えられる。
【００６２】
このＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂにおける処理動作について、代表としてＷＢ評価値演算部７４ｒ，７５ｒを例にとって説明する。全体制御部１３のマイコン１３２より、図１１のようなＧ信号の光電変換特性がＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂに与えられるものとする。このとき、ＷＢ評価値演算部７４ｒでは、まず、図１１（ａ）のように、Ｇ信号の平均値ｇ１avにおける輝度値ＬavをＧ信号の光電変換特性に基づいて求める。即ち、Ｇ信号の線形変換特性領域が、（１）式で表されるとき、（１）式にＧ信号の平均値ｇ１avを代入して逆算することで、輝度値Ｌav（＝（ｇ１av）／Ａｇ）を求めることができる。尚、黒基準補正回路５及びＦＰＮ補正回路６によって、ＦＰＮ補正回路６から出力されるＲＧＢ信号は、オフセットとなる黒基準値やＦＰＮが除かれた信号であるため、後述のＲＧＢ信号を表す式には、オフセットを表す項を除くことができる。
【００６３】
Ｖ＝Ａｇ×Ｌ  …（１）
（Ｖ：信号レベル、Ｌ：輝度、Ａｇ：Ｇ信号に対する光電変換係数）
そして、この輝度値Ｌavに対してＲ信号の平均値ｒ１avが得られるものとみなすことにより、Ｒ信号に対する光電変換係数Ａｒ（＝（ｒ１av）／Ｌav）を求めて、図１１（ｂ）のように、線形変換特性領域におけるＲ信号の光電変換特性を求める。尚、Ｒ信号の線形変換特性領域を表す式は、（２）式のように表されるものとする。
【００６４】
Ｖ＝Ａｒ×Ｌ  …（２）
このように線形変換特性領域におけるＲ信号の光電変換特性を求めると、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度Ｌｒth，Ｌｇthが、図１１（ｃ）のようなＲＧ信号それぞれの光電変換特性より求められる。即ち、（１）、（２）式それぞれに、閾値レベルＶthが代入されて逆算されることにより、輝度Ｌｇth（＝（Ｖth）／Ａｇ），Ｌｒth（＝（Ｖth）／Ａｒ）が求められる。このようにして求められた閾値レベルＶthとなるＲＧ信号それぞれの輝度Ｌｒth，Ｌｇthによって、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が、その差分値Ｌｇth−Ｌｒthとして求められる。
【００６５】
又、ＷＢ評価値演算部７５ｒでは、まず、図１２（ａ）のように、Ｇ信号の平均値ｇ２avにおける輝度値の対数値ｌｎ（Ｌav）をＧ信号の光電変換特性に基づいて求める。即ち、Ｇ信号の線形変換特性領域が、（３）式で表されるとき、（３）式にＧ信号の平均値ｇ２avを代入して逆算することで、輝度値の対数値ｌｎ（Ｌav）（＝（ｇ２av−βｇ）／α）を求めることができる。尚、図１２におけるＧ信号の光電変換特性は、図１１におけるＧ信号の光電変換特性と等しいものである。
Ｖ＝α×ｌｎ（Ｌ）＋βｇ  …（３）
【００６６】
（α：所定の増幅率、βｇ：Ｇ信号に対する光電変換係数の対数変換値）
そして、この輝度値の対数値ｌｎ（Ｌav）に対してＲ信号の平均値ｒ２avが得られるものとみなすことにより、Ｒ信号に対する光電変換係数の対数変換値βｒ（＝ｒ２av−α×ｌｎ（Ｌav）＝ｒ２av−ｇ２av＋βｇ）を求めて、図１２（ｂ）のように、対数変換特性領域におけるＲ信号の光電変換特性を求める。尚、Ｒ信号の対数変換特性領域を表す式は、（２）式のように表されるとともに、その増幅率αが（３）式と等しいものとする。
Ｖ＝α×ｌｎ（Ｌ）＋βｒ  …（４）
【００６７】
このように対数変換特性領域におけるＲ信号の光電変換特性を求めると、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度の対数値ｌｎ（Ｌｒth），ｌｎ（Ｌｇth）が、図１２（ｃ）のようなＲＧ信号それぞれの光電変換特性より求められる。即ち、（３）、（４）式それぞれに、閾値レベルＶthが代入されて逆算されることにより、輝度の対数値ｌｎ（Ｌｇth）（＝（Ｖth−βｇ）／α），ｌｎ（Ｌｒth）（＝（Ｖth−βｒ）／α）が求められる。よって、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度Ｌｒth（＝ｅｘｐ（（Ｖth−βｒ）／α）），Ｌｇth（＝ｅｘｐ（（Ｖth−βｇ）／α））が最終的に求められる。このようにして求められた閾値レベルＶthとなるＲＧ信号それぞれの輝度Ｌｒth，Ｌｇthによって、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が、その差分値Ｌｇth−Ｌｒthとして求められる。
【００６８】
ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂそれぞれにおいて、このような処理動作を行うことによって、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が出力されると、ＷＢ評価値ｗｒ１，ｗｒ２が加重加算部７６ｒに与えられるとともに、ＷＢ評価値ｗｂ１，ｗｂ２が加重加算部７６ｂに与えられる。この加重加算部７６ｒ，７６ｂそれぞれに対して、全体制御部１３のマイコン１３２より、設定された固体撮像素子２のダイナミックレンジに応じた重み係数が与えられる。よって、加重加算部７６ｒにおいて、ＷＢ評価値ｗｒ１，ｗｒ２に対する重み係数ｘｒ，ｙｒが与えられるとき、ＷＢ評価値ｗｒが（５）式のように求められる。又、加重加算部７６ｒにおいて、ＷＢ評価値ｗｂ１，ｗｂ２に対する重み係数ｘｂ，ｙｂが与えられるとき、ＷＢ評価値ｗｂが（６）式のように求められる。
ｗｒ＝ｘｒ×ｗｒ１＋ｙｒ×ｗｒ２  …（５）
ｗｂ＝ｘｂ×ｗｂ１＋ｙｂ×ｗｂ２  …（６）
【００６９】
このようにして加重加算部７６ｒ，７６ｂで求められたＷＢ評価値ｗｒ，ｗｂは、全体制御部１３のマイコン１３２に与えられる。マイコン１３２では、このＷＢ評価値ｗｒ，ｗｂとダイナミックレンジデータに基づいて、ＷＢ制御部８に与える設定値を決定する。尚、本例において、加重加算部７６ｒ，７６ｂに与えられる重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂは、設定された固体撮像素子２のダイナミックレンジに応じて設定されるものとしたが、被写体の輝度分布範囲又は輝度値などに応じてマイコン１３２が設定し、加重加算部７６ｒ，７６ｂに与えるものとしても構わない。又、重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂが外部から設定されるものとしても構わない。
【００７０】
＜ＡＥ・ＷＢ評価値検出回路の第２例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路７の第２例について、図面を参照して以下に詳細に説明する。図１３は、本例のＡＥ・ＷＢ評価値検出回路の内部構成を示すブロック図である。尚、図１３に示すＡＥ・ＷＢ評価値検出回路において、図８のＡＥ・ＷＢ評価値検出回路と同一の目的で使用する部分については、その詳細な説明を省略し、同一の符号を付す。
【００７１】
本例のＡＥ・ＷＢ評価値検出回路７は、図１３に示すように、光電変換特性判別部７１ｒ，７１ｇ，７１ｂと、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂと、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂと、加重加算部７６ｒ，７６ｂと、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで確認された線形変換された信号及び対数変換された信号それぞれの総数を計数するとともにこれらの計数値によって重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂを設定する重み係数設定部７７と、を備える。
【００７２】
このように構成されるとき、光電変換特性判別部７１ｒ，７１ｇ，７１ｂ、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂ、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂ、及び、加重加算部７６ｒ，７６ｂは、第１例におけるＡＥ・ＷＢ評価値検出回路（図８）と同様の動作を行う。即ち、光電変換特性判別部７１ｒ，７１ｇ，７１ｂでは、入力されるＲＧＢ信号の信号レベルと閾値レベルＶthとを比較して、対数変換された信号であるか、又は、線形変換された信号であるかを判別する。そして、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで線形変換された信号であることが確認されたＲＧＢ信号が平均値演算部７２ｒ，７２ｇ，７２ｂに与えられ、その平均値ｒ１av，ｇ１av，ｂ１avが求められ、又、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで対数変換された信号であることが確認されたＲＧＢ信号が平均値演算部７３ｒ，７３ｇ，７３ｂに与えられ、その平均値ｒ２av，ｇ２av，ｂ２avが求められる。
【００７３】
その後、ＷＢ評価値演算部７４ｒにおいて、平均値ｒ１av，ｇ１av及びＧ信号の光電変換特性に基づいて、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が求められるとともに、ＷＢ評価値演算部７５ｒにおいて、平均値ｒ２av，ｇ２av及びＧ信号の光電変換特性に基づいて、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が求められる。又、ＷＢ評価値演算部７４ｂにおいて、平均値ｇ１av，ｂ１av及びＧ信号の光電変換特性に基づいて、線形変換されたＢ信号に対するＷＢ評価値ｗｂ１が求められるとともに、ＷＢ評価値演算部７５ｂにおいて、平均値ｇ２av，ｂ２av及びＧ信号の光電変換特性に基づいて、対数変換されたＢ信号に対するＷＢ評価値ｗｂ２が求められる。そして、加重加算部７６ｒにおいて、重み係数設定部７７から与えられる重み係数ｘｒ，ｙｒを用いて、ＷＢ評価値ｗｒ１，ｗｒ２の加重加算を行うことで、ＷＢ評価値ｗｒが求められるとともに、加重加算部７６ｂにおいて、重み係数設定部７７から与えられる重み係数ｘｂ，ｙｂを用いて、ＷＢ評価値ｗｂ１，ｗｂ２の加重加算を行うことで、ＷＢ評価値ｗｂが求められる。
【００７４】
このようにＷＢ評価値ｗｒ，ｗｂを求める際、第１例と異なり、重み係数設定部７７において、加重加算部７６ｒ，７６ｇに与える重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂが設定される。よって、以下では、この重み係数設定部７７の動作について、説明する。まず、光電変換特性判別部７１ｒ，７１ｇ，７１ｂよりＲＧＢ信号に対する判別結果が重み付け係数設定部７７に与えられると、与えられた判別結果に応じて、線形変換された信号の総数又は対数変換された信号の総数を計数する。よって、光電変換特性判別部７１ｒより平均値演算部７２ｒ，７３ｒそれぞれに送出されたＲ信号の総数がｎ１ｒ，ｎ２ｒであり、光電変換特性判別部７１ｇより平均値演算部７２ｇ，７３ｇそれぞれに送出されたＧ信号の総数がｎ１ｇ，ｎ２ｇであり、光電変換特性判別部７１ｂより平均値演算部７２ｂ，７３ｂそれぞれに送出されたＢ信号の総数がｎ１ｂ，ｎ２ｂであるとき、線形変換された信号の総数がｎ１（＝ｎ１ｒ＋ｎ１ｇ＋ｎ１ｂ）となり、又、対数変換された信号の総数がｎ２（＝ｎ２ｒ＋ｎ２ｇ＋ｎ２ｂ）となる。
【００７５】
そして、線形変換された信号の総数ｎ１と対数変換された信号の総数ｎ２との比によって、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂを設定する。このとき、例えば、ｘｒ＝ｘｂ＝ｎ１／（ｎ１＋ｎ２）、ｙｒ＝ｙｂ＝ｎ２／（ｎ１＋ｎ２）と設定するようにして、その総数が大きくなる信号に対する重み付け係数が大きくなるように設定する。このようにして重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが設定されると、重み付け係数ｘｒ，ｙｒが加重加算部７６ｒに与えられるとともに、重み付け係数ｘｂ，ｙｂが加重加算部７６ｂに与えられる。
【００７６】
尚、本例のＡＥ・ＷＢ評価値設定部７において、重み付け係数設定部７７で、ＲＧＢ信号全てを対象とする線形変換された信号の総数ｎ１と対数変換された信号の総数ｎ２とを用いて、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが求められるものとしたが、ＲＧＢ信号それぞれを対象とする線形変換された信号の総数ｎ１ｒ，ｎ１ｇ，ｎ１ｂと対数変換された信号の総数ｎ２ｒ，ｎ２ｇ，ｎ２ｂとを用いて、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが求められるものとしても構わない。このとき、重み付け係数ｘｒ，ｙｒが、線形変換されたＲ信号の総数ｎ１ｒと対数変換されたＲ信号の総数ｎ２ｒとの関係により求められるとともに、重み付け係数ｘｂ，ｙｂが、線形変換されたＢ信号の総数ｎ１ｂと対数変換されたＢ信号の総数ｎ２ｂとの関係により求められるものとしても構わない。又、重み付け係数ｘｒ，ｙｒが、線形変換されたＲＧ信号それぞれの総数ｎ１ｒ，ｎ１ｇと対数変換されたＲＧ信号の総数ｎ２ｒ，ｎ２ｇとの関係により求められるとともに、重み付け係数ｘｂ，ｙｂが、線形変換されたＧＢ信号の総数ｎ１ｇ，ｎ１ｂと対数変換されたＧＢ信号の総数ｎ２ｇ，ｎ２ｂとの関係により求められるものとしても構わない。
【００７７】
又、主被写体を検出するオートフォーカス（ＡＦ）機能を備えるとき、ＡＦ機能により検出した主被写体を中心とする領域の画素に対して、線形変換された信号を出力する画素数と対数変換された信号を出力する画素数との関係により、重み付け係数を設定するものとしても構わない。
【００７８】
又、上述の第１例及び第２例のＡＥ・ＷＢ評価値設定部７において、Ｇ信号の光電変換特性がＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂに与えられて、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が求められるものとしたが、線形変換された信号の平均値における輝度値Ｌ１avがＷＢ評価値演算部７４ｒ，７４ｂに与えられるとともに、対数変換された信号の平均値における輝度値Ｌ２avがＷＢ評価値演算部７５ｒ，７５ｂに与えられて、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が求められるものとしても構わない。
【００７９】
このとき、ＷＢ評価値演算部７４ｒでは、線形変換されたＲＧ信号それぞれの平均値ｒ１av，ｇ１avと輝度値Ｌ１avとの関係より、ＲＧ信号それぞれの光電変換特性を確認し、ＲＧ信号それぞれの閾値レベルＶthに相当する輝度値の差となるＷＢ評価値ｗｒ１を求める。同様に、ＷＢ評価値演算部７５ｒでは、対数変換されたＲＧ信号それぞれの平均値ｒ２av，ｇ２avと輝度値Ｌ２avとの関係より、ＲＧ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｒ２を求める。同様に、ＷＢ評価値演算部７４ｂでは、線形変換されたＧＢ信号それぞれの平均値ｇ１av，ｂ１avと輝度値Ｌ１avとの関係より、ＧＢ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｂ１を求め、又、ＷＢ評価値演算部７５ｂでは、対数変換されたＧＢ信号それぞれの平均値ｇ２av，ｂ２avと輝度値Ｌ２avとの関係より、ＧＢ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｂ２を求める。
【００８０】
＜全体制御部による演算パラメータ生成動作＞
以下に、全体制御部によるＷＢ制御回路８におけるホワイトバランス処理で使用する演算パラメータの生成動作について説明する。ＡＥ・ＷＢ評価値設定部の第１例又は第２例のように動作して、ＡＥ・ＷＢ評価値設定部７においてＷＢ評価値ｗｒ，ｗｂが設定されると、図９のような構成の全体制御部１３のマイコン１３２に与えられる。マイコン１３２では、ＷＢ評価値ｗｒ，ｗｂを確認すると、ＷＢ評価値ｗｒ，ｗｂと固体撮像素子２に対して設定したダイナミックレンジの大きさに基づいて、メモリ１３３よりＲＧＢ信号それぞれに対する光電変換特性を読み出す。そして、マイコン１３２は、ホワイトバランス処理を行うための演算パラメータを生成し、ＷＢ制御回路８に与える。
【００８１】
このとき、メモリ１３３には、Ｇ信号の光電変換特性が、固体撮像素子２のダイナミックレンジの大きさに応じて、例えば、図７のグラフのように離散的に格納され、又、ＲＢ信号それぞれの光電変換特性が、上記各ダイナミックレンジの大きさにおけるＷＢ評価値に応じて、例えば、図１４のグラフのように離散的に格納される。よって、図７のグラフのように、Ｇ信号の光電変換特性として４種類の光電変換特性ａ１〜ａ４が格納され、図１４のグラフのように、ダイナミックレンジの大きさに対するＲＢ信号の光電変換特性として６種類の光電変換特性ｂ１〜ｂ６が格納されるとき、メモリ１３３内では、４×６種類の光電変換特性が格納されるものとなる。
【００８２】
このとき、光電変換特性の線形変換特性領域を表す（７）式におけるパラメータＡと、光電変換特性の対数変換特性領域を表す（８）式におけるパラメータα，βとが、メモリ１３３内に２４種類分格納される。尚、図１４は、図７における光電変換特性ａ２に応じたダイナミックレンジが選択されたときにおけるＧ信号の光電変換特性を基準としたものである。
Ｖ＝Ａ×Ｌ  …（７）
Ｖ＝α×ｌｎ（Ｌ）＋β  …（８）
【００８３】
そして、固体撮像素子２が所定のダイナミックレンジを持つように設定されたとき、選択されたダイナミックレンジに応じたＧ信号の光電変換特性をメモリ１３３より読み出す。又、ＡＥ・ＷＢ評価値検出回路７よりＷＢ評価値ｗｒ，ｗｂが与えられたとき、選択されたダイナミックレンジとＷＢ評価値ｗｒに応じたＲ信号の光電変換特性と、選択されたダイナミックレンジとＷＢ評価値ｗｂに応じたＢ信号の光電変換特性と、をメモリ１３３より読み出す。即ち、図７における光電変換特性ａ２に応じたダイナミックレンジとなるように固体撮像素子２をセンサ駆動部１３１が駆動制御するとき、まず、メモリ１３３よりＧ信号の光電変換特性として光電変換特性ａ２が読み出される。そして、ΔＬ１となるＷＢ評価値ｗｒと、−ΔＬ２となるＷＢ評価値ｗｂが与えられると、Ｒ信号の光電変換特性として光電変換特性ｂ４が、又、Ｂ信号の光電変換特性として光電変換特性ｂ２がそれぞれ、メモリ１３３より読み出される。
【００８４】
このように、ＲＧＢ信号それぞれの光電変換特性がメモリ１３３より読み出されると、マイコン１３２では、ホワイトバランス処理を行うための演算処理に用いられる演算パラメータを生成する。この演算パラメータについて、以下に簡単に説明する。尚、線形変換特性領域におけるＲＧＢ信号が（９）〜（１１）式のように表され、又、対数変換特性領域におけるＲＧＢ信号が（１２）〜（１４）式のように表されるものとする。又、以下では、ＲＧＢ信号の光電変換特性がそれぞれ、光電変換特性ｂ４，ａ２，ｂ２となるものとして、各輝度値毎に求められる演算式を説明する。更に、ＲＧＢ信号それぞれが線形変換特性領域から対数変換特性領域に切り替わる閾値レベルＶthにおける輝度値を図１５のようにＬｒth，Ｌｇth，Ｌｂth（Ｌｂth＜Ｌｇth＜Ｌｒth）とする。
Ｖｒ＝Ａｒ×Ｌ  …（９）
Ｖｇ＝Ａｇ×Ｌ  …（１０）
Ｖｂ＝Ａｂ×Ｌ  …（１１）
Ｖｒ＝α×ｌｎ（Ｌ）＋βｒ  …（１２）
Ｖｇ＝α×ｌｎ（Ｌ）＋βｇ  …（１３）
Ｖｂ＝α×ｌｎ（Ｌ）＋βｂ  …（１４）
【００８５】
１．Ｒ信号に対する演算パラメータの設定
１−１  輝度値Ｌ≦Ｌｇthの部分
Ｒ信号とＧ信号の両方が線形変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（９）式を（１０）式のように変換するための演算パラメータが求められる。即ち、まず、係数ＡｒをＡｇに変換するために、演算パラメータＳｒ１（＝Ａｇ／Ａｒ）が求められる。
【００８６】
１−２  輝度値Ｌ≧Ｌｒthの部分
Ｒ信号とＧ信号の両方が対数変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（１２）式を（１３）式のように変換するための演算パラメータが求められる。即ち、定数βｒをβｇに変換するために、演算パラメータＳｒ２（＝βｒ−βｇ）が求められる。
【００８７】
１−３  輝度値Ｌｇth＜Ｌ＜Ｌｒthの部分
Ｒ信号が線形変換特性領域にあるとともにＧ信号が対数変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（９）式を（１３）式のように変換するための各演算パラメータが求められる。即ち、まず、１−１の場合と同様にして係数ＡｒをＡｇに変換すると、係数Ａｇに変換されたＲ信号から輝度値を求めるとともに輝度値を対数演算した後、係数αを乗算するとともに定数βｇを加算するように、演算パラメータＳｒ３（＝Ａｇ），Ｓｒ４（＝α），Ｓｒ５（＝βｇ）が求められる。
【００８８】
２．Ｂ信号に対する演算パラメータの設定
２−１  輝度値Ｌ≦Ｌｂthの部分
Ｂ信号とＧ信号の両方が線形変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（１１）式を（１０）式のように変換するための演算パラメータが求められる。即ち、まず、係数ＡｂをＡｇに変換するために、演算パラメータＳｂ１（＝Ａｇ／Ａｂ）が求められる。
【００８９】
２−２  輝度値Ｌ≧Ｌｇthの部分
Ｂ信号とＧ信号の両方が対数変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（１４）式を（１３）式のように変換するための演算パラメータが求められる。即ち、定数βｂをβｇに変換するために、演算パラメータＳｂ２（＝βｂ−βｇ）が求められる。
【００９０】
２−３  輝度値Ｌｂth＜Ｌ＜Ｌｇthの部分
Ｂ信号が対数変換特性領域にあるとともにＧ信号が線形変換特性領域にあるため、ＷＢ制御回路８のホワイトバランス処理において（１４）式を（１０）式のように変換するための各演算パラメータが求められる。即ち、まず、２−２の場合と同様にして定数βｂをβｇに変換すると、定数βｇに変換されたＢ信号から定数βｇを減算するとともに係数αを除算した後に輝度値を指数演算した後、係数Ａｇを乗算するように、演算パラメータＳｂ６（＝βｇ），Ｓｂ７（＝α），Ｓｂ８（＝Ａｇ）が求められる。
【００９１】
このようにＲ信号に対する演算パラメータＳｒ１〜Ｓｒ５を設定するとともにＢ信号に対する演算パラメータＳｂ１，Ｓｂ２，Ｓｂ６〜Ｓｂ８を設定するとき、Ｒ信号に対する演算パラメータＳｒ６〜Ｓｒ８及びＢ信号に対する演算パラメータＳｂ３〜Ｓｂ５が０とされる。
【００９２】
尚、対数変換特性領域にあるＲ信号の輝度範囲と線形変換特性領域にあるＧ信号の輝度範囲とが重なっているものとしても構わないし、線形変換特性領域にあるＢ信号の輝度範囲と対数変換特性領域にあるＧ信号の輝度範囲とが重なっているものとしても構わない。この場合、前者では上述のＢ信号の場合と同様、演算パラメータＳｒ６（＝βｇ），Ｓｒ７（＝α），Ｓｒ８（＝Ａｇ）を求め、後者では上述のＲ信号の場合と同様、演算パラメータＳｂ３（＝Ａｇ），Ｓｂ４（＝α），Ｓｂ５（＝βｇ）を求めればよい。
【００９３】
又、各演算パラメータＳｒ１〜Ｓｒ８，Ｓｂ１〜Ｓｂ８を生成する際、ＷＢ制御回路８において、Ｒ信号及びＢ信号それぞれにおいて、その線形変換特性領域がＧ信号の対数変換特性領域と重なっている輝度範囲又はその対数変換特性領域がＧ信号の線形変換特性領域と重なっている輝度範囲を確認するための閾値レベルを求めるものとしても構わない。即ち、Ｒ信号の線形変換特性領域とＧ信号の対数変換特性領域がある輝度範囲で共存するとき、Ｒ信号に対する閾値レベルＶｒth（＝Ｖth×Ａｒ／Ａｇ）が求められ、逆に、Ｒ信号の対数変換特性領域とＧ信号の線形変換特性領域がある輝度範囲で共存するとき、Ｒ信号に対する閾値レベルＶｒth（＝Ｖth−βｇ＋βｒ）が求められるようにしても構わない。又、Ｂ信号の線形変換特性領域とＧ信号の対数変換特性領域がある輝度範囲で共存するとき、Ｇ信号に対する閾値レベルＶｂth（＝Ｖth×Ａｂ／Ａｇ）とが求められ、逆に、Ｂ信号の対数変換特性領域とＧ信号の線形変換特性領域がある輝度範囲で共存するとき、Ｇ信号に対する閾値レベルＶｂth（＝Ｖth−βｇ＋βｂ）とが求められるようにしても構わない。この場合、ＲＧＢ信号の光電変換特性がそれぞれ、光電変換特性ｂ４，ａ２，ｂ２であれば、図１５のように、Ｖｒth（＝Ｖth×Ａｒ／Ａｇ）＜Ｖth＜Ｖｂth（＝Ｖth−βｇ＋βｂ）となる。
【００９４】
又、固体撮像素子２のダイナミックレンジを離散的に切り換えるものとして、以上のように説明したが、固体撮像素子２のダイナミックレンジを連続的に切り換えるようにしても構わない。この場合、例えば、次のような処理を行うことができる。まず、メモリ１３３には、固体撮像素子２のダイナミックレンジを離散的に切り換える場合と同様、複数段階の光電変換特性を格納する。そして、設定された固体撮像素子２のダイナミックレンジの値（例えば、信号φＶPSの電圧値ＶＬ）が、離散的に設定された２つのダイナミックレンジの間の値となるとき、離散的に設定された２つのダイナミックレンジに対する２つの光電変換特性をメモリ１３３から読み出す。
【００９５】
そして、固体撮像素子２に対して設定されたダイナミックレンジの値（例えば、信号φＶPSの電圧値ＶＬ）と離散的に設定された２つのダイナミックレンジの値との関係より、メモリ１３３より読み出して２つの光電変換特性の各係数（（７）式のＡ及び（８）式のα，β）を補間処理することで、新たな光電変換特性を生成する。そして、このように生成した光電変換特性を、現在固体撮像素子２に対して設定しているダイナミックレンジに対するＧ信号の光電変換特性として用いる。
【００９６】
具体的には、図７のグラフのように、固体撮像素子２の光電変換特性ａ１〜ａ４に対する４種類のデータテーブルがメモリ１３３に格納されているとともに、光電変換特性ａ２，ａ３の間となる光電変換特性となるダイナミックレンジが固体撮像素子２に対して設定される場合を例にすると、光電変換特性ａ２，ａ３を補間処理することで、現在固体撮像素子２に対して設定されているダイナミックレンジに対する光電変換特性ａｘが、図１６のように求められ、Ｇ信号の光電変換特性として用いられる。このようにして求められたＧ信号の光電変換特性とＷＢ評価値ｗｒ，ｗｂとを用いて、ＲＢ信号の光電変換特性それぞれを求める。尚、このとき、Ｇ信号の光電変換特性と、ＷＢ評価値ｗｒ，ｗｂから得られる閾値レベルＶthでの輝度差を用いてＲＢ信号の光電変換特性が逆算されるものとしても構わない。
【００９７】
＜ＷＢ制御回路の第１例＞
図１のように構成される撮像装置におけるＷＢ制御回路の第１例について、図面を参照して以下に詳細に説明する。図１７は、ＷＢ制御回路の内部構成の一例を示すブロック図である。尚、本例のＷＢ制御回路８には、全体制御部１３から演算パラメータＳｒ１〜Ｓｒ８，Ｓｂ１〜Ｓｂ８及び閾値レベルＶthが与えられる。
【００９８】
本例のＷＢ制御回路８は、図１７に示すように、全体制御部１３から与えられるタイミング制御信号に基づいてＦＰＮ補正回路６から入力された信号がＲＧＢ信号のいずれであるか検出するＲＧＢ検出部８０１と、ＲＧＢ検出部８０１での検出結果に基づいて演算パラメータＳ１〜Ｓ８を設定するパラメータ設定部８０２と、ＦＰＮ補正回路６からの信号レベルＶとなる信号にＳ１を乗算して信号レベルＶ１となる信号を出力する乗算器８０３と、ＦＰＮ補正回路６からの信号レベルＶとなる信号からＳ２を減算して信号レベルＶ２となる信号を出力する減算器８０４と、乗算器８０３からの信号レベルＶ１となる信号をＳ３で除算する除算器８０５と、除算器８０５からの信号を対数演算する対数演算器８０６と、対数演算器８０６からの信号にＳ４を乗算する乗算器８０７と、乗算器８０７からの信号にＳ５を加算して信号レベルＶ３となる信号を出力する加算器８０８と、減算器８０４からの信号からＳ６を減算する減算器８０９と、減算器８０９からの信号をＳ７で除算する除算器８１０と、除算器８１０からの信号を指数演算する指数演算器８１１と、指数演算器８１１からの信号にＳ８を乗算して信号レベルＶ４となる信号を出力する乗算器８１２と、乗算器８０３及び減算器８０４及び加算器８０８及び乗算器８１２それぞれからの信号レベルＶ１〜Ｖ４となる信号から１つの信号を選択して出力する選択部８１３と、選択部８１３で選択する信号を決定する選択制御部８１４と、を備える。
【００９９】
このように構成されるＷＢ制御回路８は、全体制御部１３で演算パラメータＳｒ１〜Ｓｒ８，Ｓｂ１〜Ｓｂ８が設定されると、パラメータ設定部８０２に与えられて格納する。このパラメータ設定部８０２では、Ｇ信号に対する演算パラメータとして、１となるＳｇ１と０となるＳｇ２〜Ｓｇ８とを予め記憶している。そして、ＦＰＮ補正回路６から入力された信号がＲ信号であることがＲＧＢ信号検出部８０１で検出されると、パラメータＳ１〜Ｓ８をＳｒ１〜Ｓｒ８とし、又、ＦＰＮ補正回路６から入力された信号がＧ信号であることがＲＧＢ信号検出部８０１で検出されると、パラメータＳ１〜Ｓ８をＳｇ１〜Ｓｇ８とし、ＦＰＮ補正回路６から入力された信号がＢ信号であることがＲＧＢ信号検出部８０１で検出されると、パラメータＳ１〜Ｓ８をＳｂ１〜Ｓｂ８とする。
【０１００】
又、選択制御部８１４では、図１８のフローチャートに従って、選択部８１３の選択動作を制御する。この選択制御部８１４には、全体制御部１３で確認された閾値レベルＶth（図９参照）と、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号と、ＲＧＢ検出部８０１の検出結果と、パラメータ設定部８０２で設定されたパラメータＳ１と、乗算器８０３からの信号レベルＶ１となる信号と、減算器８０４からの信号レベルＶ２となる信号と、が入力される。このように各信号が入力されるとき、まず、ＲＧＢ検出部８０１からの検出結果より、ＦＰＮ補正回路６から入力された信号がＧ信号であるか否かを確認する（ＳＴＥＰ１）。そして、Ｇ信号でないとき（Ｎｏ）、パラメータ設定部８０２で設定されたパラメータＳ１が１と等しいか確認される（ＳＴＥＰ２）。
【０１０１】
このとき、パラメータＳ１が１でない場合（Ｎｏ）、パラメータＳ１が１より大きいか確認される（ＳＴＥＰ３）。そして、パラメータＳ１が１より大きいとき（Ｙｅｓ）、まず、ＦＰＮ補正回路６からの信号の信号レベルＶを閾値レベルＶthと比較する（ＳＴＥＰ４）。このとき、信号レベルＶが閾値レベルＶthより小さくなるとき（Ｙｅｓ）、次に、乗算器８０３からの信号の信号レベルＶ１を閾値レベルＶthと比較する（ＳＴＥＰ５）。又、ＳＴＥＰ３でパラメータＳ１が１より小さいとき（Ｎｏ）、まず、ＦＰＮ補正回路６からの信号の信号レベルＶを閾値レベルＶthと比較する（ＳＴＥＰ６）。このとき、信号レベルＶが閾値レベルＶthより大きくなるとき（Ｙｅｓ）、次に、減算器８０４からの信号の信号レベルＶ２を閾値レベルＶthと比較する（ＳＴＥＰ７）。
【０１０２】
そして、ＳＴＥＰ１でＧ信号であるとき（Ｙｅｓ）、又は、ＳＴＥＰ２でパラメータＳ１が１であるとき（Ｙｅｓ）、又は、ＳＴＥＰ５で信号レベルＶ１が閾値レベルＶth以下であるとき（Ｎｏ）、又は、ＳＴＥＰ６で信号レベルＶが閾値レベルＶth以下であるとき（Ｎｏ）、それぞれ、乗算器８０３からの信号レベルＶ１となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ８）。又、ＳＴＥＰ４で信号レベルＶが閾値レベルＶth以上であるとき（Ｎｏ）、又は、ＳＴＥＰ７で信号レベルＶ２が閾値レベルＶth以上であるとき（Ｎｏ）、それぞれ、減算器８０４からの信号レベルＶ２となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ９）。又、ＳＴＥＰ５で信号レベルＶ１が閾値レベルＶthより大きいとき（Ｙｅｓ）、加算器８０８からの信号レベルＶ３となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１０）。又、ＳＴＥＰ７で信号レベルＶ２が閾値レベルＶthより小さいとき（Ｙｅｓ）、乗算器８１２からの信号レベルＶ４となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１１）。
【０１０３】
このように選択制御部８１４が動作することにより、例えば、ＲＧＢ信号の光電変換特性がそれぞれ光電変換特性ｂ４，ａ２，ｂ２となるとき、ＷＢ制御回路８が以下のように動作する。まず、ＦＰＮ補正回路６よりＲ信号が入力されると、ＲＧＢ検出部８０１でＲ信号が入力されたことが検出されるため、パラメータＳ１〜Ｓ５をパラメータＳｒ１〜Ｓｒ５に設定するとともに、パラメータＳ６〜Ｓ８を０に設定する。そして、パラメータＳ１（＝Ｓｒ１）が１より大きいため、以下のように選択部８１３が信号を選択して出力する。
（１）Ｖ＜Ｖthで且つＶ１≦Ｖthのとき、信号レベルＶ１（＝Ｖ×Ｓｒ１）となる乗算器８０３からのＲ信号
（２）Ｖ≧Ｖthのとき、信号レベルＶ２（＝Ｖ−Ｓｒ２）となる減算器８０４からのＲ信号
（３）Ｖ＜Ｖthで且つＶ１＞Ｖthのとき、信号レベルＶ３（＝Ｓｒ４×ｌｎ（Ｖ×Ｓｒ１／Ｓｒ３）＋Ｓｒ５）となる加算器８０８からのＲ信号
【０１０４】
又、ＦＰＮ補正回路６よりＢ信号が入力されると、ＲＧＢ検出部８０１でＢ信号が入力されたことが検出されるため、パラメータＳ１，Ｓ２，Ｓ６〜Ｓ８をパラメータＳｂ１，Ｓｂ２，Ｓｂ６〜Ｓｂ８に設定するとともに、パラメータＳ３〜Ｓ５を０に設定する。そして、パラメータＳ１（＝Ｓｂ１）が１より小さいため、以下のように選択部８１３が信号を選択して出力する。
（１）Ｖ≦Ｖthのとき、信号レベルＶ１（＝Ｖ×Ｓｂ１）となる乗算器８０３からのＢ信号
（２）Ｖ＞Ｖthで且つＶ２≧Ｖthのとき、信号レベルＶ２（＝Ｖ−Ｓｂ２）となる減算器８０４からのＢ信号
（３）Ｖ＞Ｖthで且つＶ２＜Ｖthのとき、信号レベルＶ４（＝Ｓｂ８×ｅｘｐ（（Ｖ−Ｓｂ２−Ｓｂ５）／Ｓｂ７））となる乗算器８１２からのＢ信号
【０１０５】
更に、ＦＰＮ補正回路６よりＧ信号が入力されると、ＲＧＢ検出部８０１でＧ信号が入力されたことが検出されるため、パラメータＳ１を１に設定するとともに、パラメータＳ２〜Ｓ８を０に設定する。そして、乗算器８０３からの信号レベルＶ１（＝Ｖ）となるＧ信号を選択部８１３が選択して出力する。こうして、Ｇ信号は入力信号がそのままＷＢ制御回路８から出力される。
【０１０６】
＜ＷＢ制御回路の第２例＞
図１のように構成される撮像装置におけるＷＢ制御回路の第２例について、図面を参照して以下に詳細に説明する。図１９は、ＷＢ制御回路の内部構成の一例を示すブロック図である。尚、本例のＷＢ制御回路８は、全体制御部１３による演算パラメータＳｒ１〜Ｓｒ８，Ｓｂ１〜Ｓｂ８及び閾値レベルＶth，Ｖｒth，Ｖｂthが与えられる。又、図１９に示すＷＢ制御回路において、図１７のＷＢ制御回路と同一の目的で使用する部分については、その詳細な説明を省略し、同一の符号を付す。
【０１０７】
本例のＷＢ制御回路８は、図１９に示すように、第１例（図１７）と異なり、乗算器８０３からの信号レベルＶ１となる信号、減算器８０４からの信号レベルＶ２となる信号、及び演算パラメータＳ１が入力される代わりに閾値レベルＶｒth，Ｖｂthが選択制御部８１４に入力され、閾値レベルＶth，Ｖｒth，Ｖｂth及びＲＧＢ検出部８０１の検出結果より選択部８１３の選択動作を制御する。このＷＢ制御回路８は、選択制御部８１４における制御動作以外、第１例（図１７）と同様の動作を行うため、以下では、選択制御部８１４の動作について、図２０のフローチャートを参照して説明する。
【０１０８】
選択制御部８１４では、まず、ＲＧＢ検出部８０１からの検出結果より、ＦＰＮ補正回路６から入力された信号がＧ信号であるか否かを確認する（ＳＴＥＰ１０１）。そして、Ｇ信号でないとき（Ｎｏ）、閾値レベルＶｘth（閾値レベルＶｒth，Ｖｂthに相当する）が閾値レベルＶthと等しいか確認される（ＳＴＥＰ１０２）。このとき、閾値レベルＶｘthが閾値レベルＶthと等しくない場合（Ｎｏ）、閾値レベルＶｘthが閾値レベルＶthより大きいか確認される（ＳＴＥＰ１０３）。そして、閾値レベルＶｘthが閾値レベルＶthより小さいとき（Ｎｏ）、まず、ＦＰＮ補正回路６からの信号の信号レベルＶを閾値レベルＶthと比較する（ＳＴＥＰ１０４）。このとき、信号レベルＶが閾値レベルＶthより小さくなるとき（Ｙｅｓ）、次に、信号レベルＶを閾値レベルＶｘthと比較する（ＳＴＥＰ１０５）。又、ＳＴＥＰ１０３で閾値レベルＶｘthが閾値レベルＶthより大きいとき（Ｙｅｓ）、まず、ＦＰＮ補正回路６からの信号の信号レベルＶを閾値レベルＶthと比較する（ＳＴＥＰ１０６）。このとき、信号レベルＶが閾値レベルＶthより大きくなるとき（Ｙｅｓ）、次に、信号レベルＶを閾値レベルＶｘthと比較する（ＳＴＥＰ１０７）。
【０１０９】
そして、ＳＴＥＰ１０１でＧ信号であるとき（Ｙｅｓ）、又は、ＳＴＥＰ１０２で閾値レベルＶｘthが閾値レベルＶthであるとき（Ｙｅｓ）、又は、ＳＴＥＰ１０５で信号レベルＶが閾値レベルＶｘth以下であるとき（Ｎｏ）、又は、ＳＴＥＰ１０６で信号レベルＶが閾値レベルＶth以下であるとき（Ｎｏ）、それぞれ、乗算器８０３からの信号レベルＶ１となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１０８）。又、ＳＴＥＰ１０４で信号レベルＶが閾値レベルＶth以上であるとき（Ｎｏ）、又は、ＳＴＥＰ１０７で信号レベルＶが閾値レベルＶｘth以上であるとき（Ｎｏ）、それぞれ、減算器８０４からの信号レベルＶ２となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１０９）。又、ＳＴＥＰ１０５で信号レベルＶが閾値レベルＶｘthより大きいとき（Ｙｅｓ）、加算器８０８からの信号レベルＶ３となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１１０）。又、ＳＴＥＰ１０７で信号レベルＶが閾値レベルＶｘthより小さいとき（Ｙｅｓ）、乗算器８１２からの信号レベルＶ４となる信号を選択して出力するように選択部８１３を制御する（ＳＴＥＰ１１１）。
【０１１０】
このように選択制御部８１４が動作することにより、例えば、ＲＧＢ信号の光電変換特性がそれぞれ光電変換特性ｂ４，ａ２，ｂ２となるとき、ＷＢ制御回路８が以下のように動作する。まず、ＦＰＮ補正回路６よりＲ信号が入力されると、ＲＧＢ検出部８０１でＲ信号が入力されたことが検出されるため、パラメータＳ１〜Ｓ５をパラメータＳｒ１〜Ｓｒ５に設定するとともに、パラメータＳ６〜Ｓ８を０に設定する。そして、閾値レベルＶｒthが閾値レベルＶthより小さいため、以下のように選択部８１３が信号を選択して出力する。
（１）Ｖ≦Ｖｒthのとき、信号レベルＶ１（＝Ｖ×Ｓｒ１）となる乗算器８０３からのＲ信号
（２）Ｖ≧Ｖthのとき、信号レベルＶ２（＝Ｖ−Ｓｒ２）となる減算器８０４からのＲ信号
（３）Ｖｒth＜Ｖ＜Ｖthのとき、信号レベルＶ３（＝Ｓｒ４×ｌｎ（Ｖ×Ｓｒ１／Ｓｒ３）＋Ｓｒ５）となる加算器８０８からのＲ信号
【０１１１】
又、ＦＰＮ補正回路６よりＢ信号が入力されると、ＲＧＢ検出部８０１でＢ信号が入力されたことが検出されるため、パラメータＳ１，Ｓ２，Ｓ６〜Ｓ８をパラメータＳｂ１，Ｓｂ２，Ｓｂ６〜Ｓｂ８に設定するとともに、パラメータＳ３〜Ｓ５を０に設定する。そして、閾値レベルＶｂthが閾値レベルＶthより大きいため、以下のように選択部８１３が信号を選択して出力する。
（１）Ｖ≦Ｖthのとき、信号レベルＶ１（＝Ｖ×Ｓｂ１）となる乗算器８０３からのＢ信号
（２）Ｖ≧Ｖｂthのとき、信号レベルＶ２（＝Ｖ−Ｓｂ２）となる減算器８０４からのＢ信号
（３）Ｖth＜Ｖ＜Ｖｂthのとき、信号レベルＶ４（＝Ｓｂ８×ｅｘｐ（（Ｖ−Ｓｂ２−Ｓｂ５）／Ｓｂ７））となる乗算器８１２からのＢ信号
【０１１２】
更に、ＦＰＮ補正回路６よりＧ信号が入力されると、ＲＧＢ検出部８０１でＧ信号が入力されたことが検出されるため、パラメータＳ１を１に設定するとともに、パラメータＳ２〜Ｓ８を０に設定する。そして、乗算器８０３からの信号レベルＶ１（＝Ｖ）となるＧ信号を選択部８１３が選択して出力する。
【０１１３】
尚、本実施形態において、固体撮像素子を画像信号からノイズ信号を減算することで素子内で画素バラツキを除去するように動作するものとし、ＦＰＮ補正回路において画像信号内に更に残存するＦＰＮ成分を除去するようにしたが、固体撮像素子においてノイズ信号の読み出しを行うことなく、ＦＰＮ補正回路において画素バラツキなどにより発生するＦＰＮ成分全てを除去するようにしても構わない。
【０１１４】
又、本実施形態において、複数種類の色フィルタを１つの固体撮像素子に設けた単板の固体撮像素子としたが、例えば、ＲＧＢの色フィルタ毎に固体撮像素子を備えた三板の固体撮像素子のように、同一の色フィルタが備えられた固体撮像素子を色フィルタの種類毎に備える構成としても構わない。又、本実施形態において、線形特性領域と対数特性領域とを含む光電変換特性を示すものについて説明したが、これに限らず、例えば、第１の線形変換特性から第１の線形変換特性とは傾きの異なる第２の線形変換特性に変化するようなものや、線形変換特性と対数変換特性以外の非線形変換特性とを含むものなどの、いわゆる適応型センサと呼ばれるものについても当てはまる。
【０１１５】
更に、ＷＢ制御回路８が、上述の第１例（図１７）及び第２例（図１９）のように、ＲＧＢ検出部８０１で検出された信号に応じてパラメータ設定部８０２によって各演算部のパラメータを設定することで、各演算部を１つとするものとしたが、図２１又は図２２に示すように、Ｒ信号及びＢ信号それぞれに対して乗算器８０３ｒ，８０３ｂ、減算器８０４ｒ，８０４ｂ、除算器８０５ｒ，８０５ｂ、対数演算器８０６ｒ，８０６ｂ、乗算器８０７ｒ，８０７ｂ、加算器８０８ｒ，８０８ｂ、減算器８０９ｒ，８０９ｂ、除算器８１０ｒ，８１０ｂ、指数演算器８１１ｒ，８１１ｂ、乗算器８１２ｒ，８１２ｂ、選択部８１３ｒ，８１３ｂ、選択制御部８１４ｒ，８１４ｂがそれぞれ設けられるものとしても構わない。
【０１１６】
このとき、乗算器８０３ｒ，８０３ｂにパラメータＳｒ１，Ｓｂ１が、減算器８０４ｒ，８０４ｂにパラメータＳｒ２，Ｓｂ２が、除算器８０５ｒ，８０５ｂにパラメータＳｒ３，Ｓｂ３が、乗算器８０７ｒ，８０７ｂにパラメータＳｒ４，Ｓｂ４が、加算器８０８ｒ，８０８ｂにパラメータＳｒ５，Ｓｂ５が、減算器８０９ｒ，８０９ｂにパラメータＳｒ６，Ｓｂ６が、除算器８１０ｒ，８１０ｂにパラメータＳｒ７，Ｓｂ７が、乗算器８１２ｒ，８１２ｂにパラメータＳｒ８，Ｓｂ８がそれぞれ与えられる。又、図２１では、選択制御部８１４ｒ，８１４ｂそれぞれにパラメータＳｒ１，Ｓｂ１が与えられ、又、図２２では、選択制御部８１４ｒ，８１４ｂそれぞれに閾値レベルＶｒth，Ｖｂthが与えられる。
【０１１７】
又、本実施形態では、ＷＢ制御回路８において、ＦＰＮ補正回路６から入力される各信号に対して複数の演算が並列的に行われることで得られた複数の演算結果から１つの演算結果を選択することでホワイトバランス処理が施されるものとしたが、ＦＰＮ補正回路６から入力される各信号に対して複数の演算から１つの演算を選択して行うことでホワイトバランス処理が施されるものとしても構わない。このとき、図２３のように、線形変換特性領域における値をＧ信号の線形変換特性領域に応じた値に変換する乗算器８０３にＦＰＮ補正回路６の出力が入力され、対数変換特性領域における値をＧ信号の対数変換特性領域に応じた値に変換する減算器８０４に乗算器８０３の出力が入力される。又、線形変換特性領域における値をＧ信号の対数変換特性領域に応じた値に変換する線形対数変換演算器８５０に減算器８０４の出力が入力され、対数変換特性領域における値をＧ信号の線形変換特性領域に応じた値に変換する対数線形変換演算器８５１に線形対数変換演算器８５０の出力が入力される。
【０１１８】
このように乗算器８０３及び減算器８０４及び線形対数変換演算器８５０及び対数線形変換演算器８５１が直列に接続されるとき、パラメータ設定部８０２より乗算器８０３及び減算器８０４及び線形対数変換演算器８５０及び対数線形変換演算器８５１に与えられるパラメータが選択制御部８１４によって制御される。よって、ＲＧＢ信号が図１５のような関係となる場合、Ｇ信号の線形変換特性領域と重なったＲＢ信号の線形変換特性領域の値がＦＰＮ補正回路６より入力されたとき、乗算器８０３のパラメータがＲＢ信号それぞれに対して設定された値とされるとともに、減算器８０４のパラメータが０とされ、更に、線形対数変換演算器８５０及び対数線形変換演算器８５１が入力された値をそのまま出力するようにパラメータ設定される。又、Ｇ信号の対数変換特性領域と重なったＲＢ信号の対数変換特性領域の値がＦＰＮ補正回路６より入力されたとき、減算器８０４のパラメータがＲＢ信号それぞれに対して設定された値とされるとともに、乗算器８０３のパラメータが１とされ、更に、線形対数変換演算器８５０及び対数線形変換演算器８５１が入力された値をそのまま出力するようにパラメータ設定される。
【０１１９】
又、Ｇ信号の対数変換特性領域と重なったＲＢ信号の線形変換特性領域の値がＦＰＮ補正回路６より入力されたとき、線形対数変換演算器８５０のパラメータがＲＢ信号それぞれに対して設定された値とされるとともに、乗算器８０３のパラメータが１とされ、減算器８０４のパラメータが０とされ、更に、対数線形変換演算器８５１が入力された値をそのまま出力するようにパラメータ設定される。又、Ｇ信号の線形変換特性領域と重なったＲＢ信号の対数変換特性領域の値がＦＰＮ補正回路６より入力されたとき、対数線形変換演算器８５１のパラメータがＲＢ信号それぞれに対して設定された値とされるとともに、乗算器８０３のパラメータが１とされ、減算器８０４のパラメータが０とされ、更に、線形対数変換演算器８５０が入力された値をそのまま出力するようにパラメータ設定される。
【０１２０】
そして、乗算器８０３及び減算器８０４及び線形対数変換演算器８５０及び対数線形変換演算器８５１が同時に異なる信号を演算処理するものとすることで、ＦＰＮ補正回路６から入力されるＲＧＢ信号をシリアルに演算処理することができる。このようにして乗算器８０３及び減算器８０４及び線形対数変換演算器８５０及び対数線形変換演算器８５１で演算処理されたＲＧＢ信号が、ホワイトバランス処理された信号として出力される。
【０１２１】
＜撮像システム＞
上述の撮像装置においては、ホワイトバランス処理を含む各種信号処理を撮像装置内で行うものとしたが、これらの各種信号処理を撮像装置において行うことなく、撮像装置で得られたデータが与えられたコンピュータにおいて上述の各種信号処理を行うような撮像システムを構成することもできる。以下では、このような撮像装置とコンピュータを含む撮像システムについて、図面を参照して説明する。
【０１２２】
この撮像システムは、図２４に示すように、被写体を撮像してＲＧＢ信号を生成する撮像装置２００と、撮像装置２００から出力されるＲＧＢ信号を受信してホワイトバランス処理を含む各種信号処理を施すコンピュータ２５０と、によって構成される。このとき、撮像装置２００において、被写体を撮像して得たＲＧＢ信号に対して黒基準補正及びＦＰＮ補正を行うとともに、露光量設定を行うためのＡＥ評価値の検出を行う。それに対して、コンピュータ２５０では、ＷＢ評価値の検出を行うとともに、撮像装置２００から与えられたＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施す。
【０１２３】
このような撮像システムにおいて、撮像装置２００が、光学系１、固体撮像素子２、アンプ３、ＡＤ変換回路４、黒基準補正回路５、ＦＰＮ補正回路６、絞り制御部１４、及びタイミング生成回路１５と、ＡＥ評価値を検出するＡＥ評価値検出回路７ａと、各ブロックの制御を行う全体制御部１３ａと、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号を一時的に格納するメモリ２０１と、メモリ２０１に一時的に格納したＲＧＢ信号を読み出して外部に送信する入出力インターフェース２０２と、を備える。
【０１２４】
又、コンピュータ２５０は、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）などであり、データの処理演算を行うＣＰＵ（Central Processing Unit）２５１と、データを一時的に格納するメモリ２５２と、アプリケーションやデータが格納されるハードディスク２５３と、データの入力を行うキーボードやマウスなどの入力部２５４と、映像を表示するディスプレイ２５５と、外部とのデータのやりとりを行う入出力インターフェース２５６と、を備える。
【０１２５】
このように、撮像装置２００及びコンピュータ２５０がそれぞれ構成するとき、コンピュータ２５０において、ＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施すためのアプリケーションがハードディスク２５３に格納されている。このアプリケーションをハードディスク２５３より読み出して、メモリ２５２に格納させることで、ＷＢ評価値の検出動作とホワイトバランス処理以降の各種信号処理を行うことができる。又、このアプリケーションを起動することによって、ユーザが各種信号処理におけるパラメータを指定するためのユーザインターフェース（ＵＩ）がディスプレイ２５５に表示される。
【０１２６】
以下では、この撮像システムにおける撮像装置２００及びコンピュータ２５０それぞれの動作について、図面を参照して説明する。
【０１２７】
まず、撮像装置２００においては、図１の撮像装置と同様、固体撮像素子２に光が入射されると、アナログ信号となるＲＧＢ信号が生成されて、アンプ３で増幅された後、Ａ／Ｄ変換回路４でデジタル信号に変換される。このデジタル信号となるＲＧＢ信号は、黒基準補正回路５において、最低輝度値となる黒レベルが基準値に補正された後、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。そして、ＦＰＮ成分が除去されたＲＧＢ信号がメモリ２０１に格納される。このように動作するとき、ＦＰＮ成分が除去されたＲＧＢ信号がＡＥ評価値検出回路７ａに与えられると、被写体の輝度範囲を確認し、絞り制御部１４によって設定される絞り１ａの開口度を決めるＡＥ評価値が検出される。
【０１２８】
又、撮像装置２００は、撮像動作を行う際に固体撮像素子２に対して設定された光電変換特性を示すダイナミックレンジ情報を、撮像した画像毎に確認し、その画像のＲＧＢ信号とともにメモリ２０１に格納する。このダイナミックレンジ情報は、以下の４つの情報の（１）、（２）の少なくともいずれか一方と、（３）、（４）の少なくともいずれか一方と、を備えるか、又は、（１）〜（４）の少なくともいずれか一方のみを備える。
（１）固体撮像素子２の光電変換特性の変極点Ｖth
（２）固体撮像素子２の光電変換特性を設定するためのモード番号Ｍ
（３）固体撮像素子２の光電変換特性を示す近似式の係数Ａ，Ｃ，α，β
（４）撮像装置２００の撮像条件
【０１２９】
これらのダイナミックレンジ情報において、固体撮像素子２の光電変換特性の変極点Ｖthは、固体撮像素子２の光電変換特性対数変換特性から線形変換特性に変更する際のＲＧＢ信号の信号レベルを示す。又、固体撮像素子２の光電変換特性を設定するためのモード番号Ｍは、このモード番号Ｍがコンピュータ２５０側で設定されることで、撮像装置２００の固体撮像素子２の光電変換特性が設定されるものである。又、固体撮像素子２の光電変換特性を示す近似式の係数は、線形変換特性を表す（イ）式  Ｖ＝Ａ×Ｌ＋Ｃ  における係数Ａ，Ｃと、対数変換特性を表す（ロ）式  Ｖ＝α×ｌｎ（Ｌ）＋β  における係数α，βとによって構成される。又、撮像装置２００の撮像条件とされるとき、信号φＶPSの電圧値ＶＨ，ＶＬの電圧差ΔＶPSと、固体撮像素子２への露光時間ｔｘと、絞り１ａの開口率ｒｘと、固体撮像素子２の内部アンプ及びアンプ３での増幅率ａｘが、ダイナミックレンジ情報となる。この撮像装置２００の撮像条件をダイナミックレンジ情報としたときは、（イ）式における係数Ａと（露光時間×絞り１ａの開口率×増幅率）との関係が既知であるとともに、（ロ）式における係数βと信号φＶPSの電圧差ΔＶPS、及び、係数αと増幅率の関係が既知である。
【０１３０】
又、コンピュータ２５０は、入力部２５４が操作されることで、ハードディスク２５３よりアプリケーションが読み出されて、アプリケーションによって指定される動作が開始されると、ディスプレイ２５５に、ＵＩとして、図２５のような画面が表示される。図２５の画面には、撮像されて得られた画像を表示する画像表示領域Ｘ１と、画像の鮮鋭度や色の濃淡の設定などの画像処理条件の設定を行う画像処理条件設定領域Ｘ２と、撮像装置２００で撮像された画像の取り込みの開始を指示するための画像取得ボタンＸ３と、ホワイトバランス処理を行う際に基準とする光電変換特性を設定するためのＷＢ設定領域Ｘ４と、色補正されたＲＧＢ信号信号に対して施す階調変換後の階調特性を示す階調特性表示領域Ｘ５と、が表示される。
【０１３１】
このとき、画像処理条件設定領域Ｘ２において、スクロールバーＳＢ１が操作されて画像の鮮鋭度が変更されると、コアリング回路１２におけるエッジ成分を設定するためのエッジ強調量が変更され、又、スクロールバーＳＢ２が操作されて画像の色の濃淡が変更されると、色補正処理におけるマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３が変更される。このとき、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られるエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わないし、予め設定された所定値のエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わない。
【０１３２】
又、画像処理条件設定領域Ｘ２において、３つのオプションボタンＯｂ１〜Ｏｂ３が指定されることで、スクロールバーＳＢ１，ＳＢ２それぞれによって指定されるエッジ強調量及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３を用いる対象となる画像が指定される。即ち、スクロールバーＳＢ１，ＳＢ２で指定されたエッジ強調量及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の使用が、オプションボタンＯｂ１が指定された場合は、得られた画像が光電変換特性が線形変換特性及び対数変換特性のいずれの場合においても行われることを示し、又、オプションボタンＯｂ２が指定された場合は、得られた画像が光電変換特性が線形変換特性の場合においてのみ行われることを示し、更に、オプションボタンＯｂ３が指定された場合は、得られた画像が光電変換特性が対数変換特性の場合においてのみ行われることを示す。
【０１３３】
又、ＷＢ設定領域Ｘ４において、５つのオプションボタンＷｂ１〜Ｗｂ５が指定されることで、ホワイトバランス処理を行う際のＷＢ評価値ｗｒ，ｗｂが設定される。即ち、オプションボタンＷｂ１が指定されると、撮像装置２００から与えられるＲＧＢ信号に基づいて自動的に設定されたＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定され、オプションボタンＷｂ２〜Ｗｂ５が指定されると、予め設定された値となるＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定される。尚、オプションボタンＷｂ２〜ＷＢ５が指定される場合はそれぞれ、蛍光灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、白熱灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外晴天時での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外曇天時での画像に応じたＷＢ評価値ｗｒ，ｗｂのそれぞれが設定される。
【０１３４】
又、階調特性表示領域Ｘ５において、表示された階調特性が、色補正処理されたＲＧＢ信号それぞれに対して階調変換する際の変換前後の関係を示す。そして、表示された階調特性における線形変換特性からの対数変換特性に切りかわる変極点の位置を変更することで、そのダイナミックレンジにおいて、線形変換特性による信号となる線形領域における階調の大きさと、対数変換特性による信号となる対数領域における階調の大きさとを設定することができる。尚、階調特性の変極点の位置は、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られた位置を基準として設定されるものとしても構わないし、予め設定された所定位置を基準として設定されるものとしても構わない。又、階調特性を示す複数のＬＵＴを備え、このＬＵＴを切り換えることで、階調特性表示領域Ｘ５に表示するＬＵＴを変更するものとしても構わない。
【０１３５】
このように、コンピュータ２５０においてアプリケーションが起動されて、図２５のようなＵＩがディスプレイ２５５に表示されたとき、コンピュータ２５０が図２６のフローチャートに従って動作することで、撮像装置２００で撮像された画像がディスプレイ２５５に表示される。まず、コンピュータ２５０において、入力部２５４が操作されて、ＵＩ画面内の画像取得ボタンＸ３が押されると（ＳＴＥＰ１）、入出力インターフェース２５６に入出力インターフェース２０２が接続された撮像装置２００に対して、撮像装置２００との回線を確保する（ＳＴＥＰ２）。このとき、撮像装置２００とコンピュータ２５０との間で、通信の要求と応答を繰り返すことで、回線を確保することができる。
【０１３６】
そして、撮像装置２００との回線が確保されたか否かを確認し（ＳＴＥＰ３）、撮像装置２００との回線が確保されたことを確認したとき（Ｙｅｓ）、撮像装置２００に対して撮像して得られたＲＧＢ信号の出力を要求する（ＳＴＥＰ４）。このとき、撮像装置２００は、コンピュータ２５０からのＲＧＢ信号の出力要求を受信すると、メモリ２０１に格納している１フレーム分のＲＧＢ信号とダイナミックレンジ情報とを読み出して、入出力インターフェース２０２より出力する。このとき、１フレーム分のＲＧＢ信号によるフレームデータが生成されて出力されるとき、ダイナミックレンジ情報がフレームデータのヘッダ部分に付加されている。
【０１３７】
そして、撮像装置２００からのフレームデータを入出力インターフェース２５６で受信されて、ハードディスク２５３の一時記憶領域に格納されると（ＳＴＥＰ５）、このフレームデータのヘッダ部分からダイナミックレンジ情報を取得する（ＳＴＥＰ６）。この取得したダイナミックレンジ情報によって、各信号処理に用いるパラメータを設定するとともに、設定されたパラメータに応じた表示を、ディスプレイ２５５のＵＩ画像に対して行う（ＳＴＥＰ７）。
【０１３８】
即ち、ホワイトバランス処理に対するＷＢ検出値ｗｒ，ｗｂ、色補正処理に対するマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３、階調変換処理に対する階調特性、コアリング処理に対するエッジ強調量をそれぞれ設定するとともに、設定された各パラメータに応じた表示を、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４それぞれにおいて行う。
【０１３９】
又、このように各パラメータが設定されるとき、ホワイトバランス処理で用いるＷＢ評価値ｗｂ，ｗｒを設定するために、まず、ダイナミックレンジ情報より得られる変極点Ｖth又はモード番号Ｍより、各画素のＲＧＢ信号それぞれの光電変換特性を判別するための閾値レベルＶth（図１０〜図１２参照）を設定する。このとき、変極点Ｖthがダイナミックレンジ情報に含まれるときは、この変極点Ｖthをそのまま閾値レベルＶthとすることで設定し、モード番号Ｍがダイナミックレンジ情報に含まれるときは、予めハードディスク２５３のアプリケーションとともに格納されるモード番号Ｍに対応した閾値レベルＶthを読み出して設定する。
【０１４０】
又、ホワイトバランス処理を行うための基準となるＧ信号の光電変換特性を示す（イ）式及び（ロ）式の係数Ａｇ，Ｃ，α，βｇそれぞれについては、ダイナミックレンジ情報より得られる係数Ａ，Ｃ，α，β又は撮像装置２００の撮像条件に基づいて設定するとともに、係数Ａｇ，Ｃ，α，βｇより確認される光電変換特性より閾値レベルＶthを設定する。このとき、係数Ａ，Ｃ，α，βがダイナミックレンジ情報に含まれるとき、この係数Ａ，Ｃ，α，βをそのまま（イ）式及び（ロ）式の係数Ａｇ，Ｃ，α，βｇとすることで設定する。
【０１４１】
又、撮影条件（電圧差ΔＶPS、露光時間ｔｘ、開口率ｒｘ、増幅率ａｘ）がダイナミックレンジ情報に含まれるとき、基準値となる係数Ａ０，Ｃ０，α０、露光時間ｔｘ０、開口率ｒｘ０、増幅率ａｘ０が予めハードディスク２５３のアプリケーションとともに格納されている。そして、係数Ａｇ，Ｃ，α，βｇが、以下の、（ハ）〜（ヘ）式に基づいて算出されることで設定される。尚、β０は、予めハードディスク２５３のアプリケーションとともに格納される信号φＶPSの電圧差ΔＶPSに対応した値である。
Ａｇ＝Ａ０×（ｔｘ／ｔｘ０）×（ｒｘ／ｒｘ０）×（ａｘ／ａｘ０）  …（ハ）
Ｃ＝Ｃ０  …（ニ）
α＝α０×（ｔｘ／ｔｘ０）  …（ホ）
βｇ＝β０×（ｔｘ／ｔｘ０）  …（ヘ）
【０１４２】
このように設定されたパラメータがメモリ２５２に格納されたアプリケーションに与えられると、このアプリケーションによって、ＳＴＥＰ５で受信されたフレームデータより得られるＲＧＢ信号に対して、設定されたパラメータに応じた信号処理が行われる（ＳＴＥＰ８）。即ち、フレームデータより得られるＲＧＢ信号に対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換処理、コアリング処理の順に、各信号処理を施す。尚、この各信号処理については、図１に示す撮像装置内における信号処理と同一であるため、その詳細な説明は省略する。
【０１４３】
このようにして信号処理されたＲＧＢ信号によるフレームデータがハードディスク２５３に格納されるとともに、このフレームデータによる画像が、ディスプレイ２５５の画像表示領域Ｘ１に表示される（ＳＴＥＰ９）。そして、入力部２５４が操作されて、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４における操作が成されて、各パラメータの変更が指示されたか否かが確認される（ＳＴＥＰ１０）。そして、パラメータの変更が指示されている場合（Ｙｅｓ）、指示された変更量に応じて各パラメータを変更した後（ＳＴＥＰ１１）、ＳＴＥＰ８に移行する。
【０１４４】
又、ＳＴＥＰ３において回線の確保が確認できなかったときは（Ｎｏ）、回線が接続されていないことを示す表示をディスプレイ２５５に行うとともに（ＳＴＥＰ１２）、ＳＴＥＰ２に移行する。更に、ＳＴＥＰ１０において、各パラメータの変更の指示が確認されなかった場合（Ｎｏ）、動作を終了する。
【０１４５】
このように、本システムによると、コンピュータ２５０側で、演算負荷のかかる各信号処理が行われるため、撮像装置２００の構成が簡単になるとともに、その処理速度を速くすることができる。又、本システムにおいて、撮像装置２００で、コンピュータ２５０に出力する信号を、上述の静止画像によるフレームデータだけでなく、動画像によるフレームデータやストリームデータとしても構わない。このとき、複数の静止画像のフレームデータにより動画像とされる場合、ダイナミックレンジ情報を各フレームデータのヘッダに記録するようにし、又、時間軸での画像圧縮も行うようなストリームデータにより動画像とされる場合、このストリームデータとは別の情報としてダイナミックレンジ情報を送信する。
【０１４６】
更に、撮像装置２００において、全体制御部１３ａで、コンピュータ２５０に送信するＲＧＢ信号によるフレームデータ又はストリームデータを、ＪＰＥＧやモーションＪＰＥＧ又はＭＰＥＧなどの圧縮画像にフォーマット変換して、入出力インターフェース２０２より出力するものとしても構わない。又、コンピュータ２５０において、ディスプレイ２５５に表示するＵＩに、画像表示領域Ｘ１に表示される画像のヒストグラムを表示したり、対数変換特性による画素領域と線形変換特性による画素領域とを識別するための表示を行うようにしても構わない。
【０１４７】
又、図２４の撮像システムにおいて、撮像装置２００が、黒基準補正回路５及びＦＰＮ成分補正回路６を備えるものとしたが、撮像装置２００が、図２４の構成から黒基準補正回路５及びＦＰＮ成分補正回路６が除かれた構成とし、コンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるものとしても構わない。このとき、黒基準補正処理を行うための黒レベルと、ＦＰＮ補正処理を行うためのＦＰＮ成分と、がダイナミックレンジ情報とともに送信されるものとしても構わない。
【０１４８】
更に、このようにコンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるとき、この黒レベル及びＦＰＮ成分を、コンピュータ２５０が、アプリケーションとともにハードディスク２５３に格納するものとしても構わない。このとき、黒レベルについては、光電変換特性の変極点Ｖthに対しても複数格納され、この予め格納されている黒レベルより、上述のようにしてダイナミックレンジ情報によって得られる光電変換特性の変極点Ｖthに応じた黒レベルが選択される。又、ＦＰＮ成分については、個々の撮像装置２００における固体撮像素子２によって異なるため、個々の撮像装置２００毎に格納される。
【０１４９】
更に、コンピュータ２５０において、ホワイトバランス処理を行う際、ＲＧＢ信号を、その光電変換特性が全て対数変換特性による信号や、その光電変換特性が全て線形変換特性による信号に変換した後に、ホワイトバランス処理を行うものとしても構わない。即ち、光電変換特性が全て対数変換特性による信号に変換する場合は、線形変換特性によって得られた信号値を対数変換特性による信号値に変換し、又、光電変換特性が全て線形変換特性による信号に変換する場合は、対数変換特性によって得られた信号値を線形変換特性による信号値に変換する。尚、このような変換処理についての演算については、ＬＵＴを参照して行われるものとしても構わないし、演算式によって行われるものとしても構わない。
【０１５０】
又、図２４の撮像システムにおいて、撮像装置２００の入出力インターフェース２０２とコンピュータ２５０の入出力インターフェース２５６とが通信接続されることで、撮像装置２００で撮像されて得られたフレームデータがコンピュータ２５０に送信されるものとしたが、撮像装置２００がフレキシブルディスクやコンパクトフラッシュやメモリカードなどの記録メディアにフレームデータ又はストリームデータを記録する記録部を備えるとともに、コンピュータ２５０がこの記録メディアのフレームデータ又はストリームデータを読み出す再生部を備えるものとしても構わない。このようにすることで、記録メディアを介して、撮像装置２００からコンピュータ２５０に、撮像して得られたフレームデータ又はストリームデータを転送することができる。
【図面の簡単な説明】
【０１５１】
【図１】は、本発明の実施例である撮像装置の構成を示すブロック図である。
【図２】は、固体撮像素子に設けられる色フィルタの配列を示す図である。
【図３】は、コアリング回路におけるエッジ成分に対するレベル変換特性を示すグラフである。
【図４】は、固体撮像素子の全体の構成を説明するためのブロック回路図。
【図５】は、図４の固体撮像素子を構成する画素の一構成例を示す回路図である。
【図６】は、図５の画素の動作を示すタイミングチャートである。
【図７】は、被写体の輝度と画素の出力との関係を示すグラフである。
【図８】は、ＡＥ・ＷＢ評価値検出回路の内部構成の一例を示すブロック図である。
【図９】は、全体制御部の内部構成を示すブロック図である。
【図１０】は、ＲＧＢ信号の輝度値と信号レベルとの関係を示すグラフである。
【図１１】は、ＷＢ評価値演算部の動作を示すための図である。
【図１２】は、ＷＢ評価値演算部の動作を示すための図である。
【図１３】は、ＡＥ・ＷＢ評価値検出回路の内部構成の別の例を示すブロック図である。
【図１４】は、全体制御部のメモリ内に格納されるＲＢ信号の光電変換特性の一例を示す図である。
【図１５】は、全体制御部で確認されたＲＧＢ信号の光電変換特性の関係を示すグラフである。
【図１６】は、光電変換特性の生成動作を説明するための図である。
【図１７】は、ＷＢ制御回路の内部構成の一例を示すブロック図である。
【図１８】は、図１７のＷＢ制御回路における選択制御動作をを示すフローチャートである。
【図１９】は、ＷＢ制御回路の内部構成の別の例を示すブロック図である。
【図２０】は、図１９のＷＢ制御回路における選択制御動作をを示すフローチャートである。
【図２１】は、ＷＢ制御回路の内部構成の別の例を示すブロック図である。
【図２２】は、ＷＢ制御回路の内部構成の別の例を示すブロック図である。
【図２３】は、ＷＢ制御回路の内部構成の別の例を示すブロック図である。
【図２４】は、本発明の実施形態である撮像システムの構成を示すブロック図である。
【図２５】は、図２４の撮像システムのコンピュータに表示される画面の一例を示す図である。
【図２６】は、図２４の撮像システムのコンピュータにおける信号処理動作を示すフロ
【符号の説明】
【０１５２】
１    光学系
２    固体撮像素子
３    アンプ
４    ＡＤ変換回路
５    黒基準補正回路
６    ＦＰＮ補正回路
７    ＡＥ・ＷＢ評価値検出回路
８    ＷＢ制御回路
９    色補間回路
１０    色補正回路
１１    階調変換回路
１２    コアリング回路
１３    全体制御部
１４    絞り制御部
１５    タイミング生成回路
【図１】
2005160027.tif 000003
【図２】
2005160027.tif 000004
【図３】
2005160027.tif 000005
【図４】
2005160027.tif 000006
【図５】
2005160027.tif 000007
【図６】
2005160027.tif 000008
【図７】
2005160027.tif 000009
【図８】
2005160027.tif 000010
【図９】
2005160027.tif 000011
【図１０】
2005160027.tif 000012
【図１１】
2005160027.tif 000013
【図１２】
2005160027.tif 000014
【図１３】
2005160027.tif 000015
【図１４】
2005160027.tif 000016
【図１５】
2005160027.tif 000017
【図１６】
2005160027.tif 000018
【図１７】
2005160027.tif 000019
【図１８】
2005160027.tif 000020
【図１９】
2005160027.tif 000021
【図２０】
2005160027.tif 000022
【図２１】
2005160027.tif 000023
【図２２】
2005160027.tif 000024
【図２３】
2005160027.tif 000025
【図２４】
2005160027.tif 000026
【図２５】
2005160027.tif 000027
【図２６】
2005160027.tif 000028