(57)【要約】  【課題】  本発明は、その光電変換特性において線形変換特性と対数変換特性とが自動的に切り替わる固体撮像素子を備えるとき、いずれの特性により出力される信号に対してもホワイトバランス処理を行うことができる撮像装置を提供することを目的とする。  【解決手段】  ＬＵＴ８２ｒ，８２ｂそれぞれに、ＲＧ信号の光電変換特性により得られたデータベースＤｒと、ＧＢ信号の光電変換特性により得られたデータベースＤｂとが格納される。信号値演算部８１ｒ，８１ｂが、ＬＵＴ８２ｒ，８２ｂそれぞれからデータベースＤｒ，Ｄｂを読み出して、Ｒ信号及びＢ信号それぞれに対してホワイトバランス処理を施す。【選択図】      図２１
2005110234.tif 000002
【特許請求の範囲】
【請求項１】
出力信号が入射光量に対して第１の特性で変化する電気信号を出力する第１領域と出力信号が入射光量に対して前記第１の特性と異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、
前記ホワイトバランス回路は、入力される色信号のレベルに対して、各色信号間のずれが補正された信号レベルを出力データとして与える第１ルックアップテーブルを備え、該第１ルックアップテーブルは前記第１及び第２の特性の両特性に対応づけられていることを特徴とする撮像装置。
【請求項２】
前記第１の特性は、入射光量に対する線形的な変化であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２の特性は、入射光量に対する自然対数的な変化であることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記複数種類の色信号の１つを基準となる第１色信号とし、該基準色信号以外の色信号を第２色信号としたとき、
前記第１ルックアップテーブルは、
前記第２色信号の信号レベルを入力アドレスとし、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換した際の信号レベルを該入力アドレスに対する出力データとするものであることを特徴とする請求項１〜請求項３のいずれかに記載の撮像装置。
【請求項５】
前記ホワイトバランス回路が、前記第１色信号の信号レベルを入力アドレスとし、階調変換処理が行われた信号レベルを前記入力アドレスに対する出力データとする第２ルックアップテーブルを備えるとともに、
前記第１ルックアップテーブルが、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換し且つ階調変換処理が行われた信号レベルを、前記入力アドレスに対する出力データとすることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記ホワイトバランス回路が、前記第１色信号の信号レベルを入力アドレスとし、ゲイン調整処理が行われた信号レベルを前記入力アドレスに対する出力データとする第３ルックアップテーブルを備えるとともに、
前記第１ルックアップテーブルが、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換し且つゲイン調整処理が行われた信号レベルを、前記入力アドレスに対する出力データとすることを特徴とする請求項４又は請求項５に記載の撮像装置。
【請求項７】
前記第１色信号の光電変換特性と前記第２色信号の光電変換特性との関係を表す評価値を、前記第２色信号の種類毎に、前記固体撮像素子から入力される前記第１色信号及び前記第２色信号の信号レベルの関係より検出する評価値検出回路を備え、
前記第１ルックアップテーブルが、前記評価値と前記第１色信号の光電変換特性とに基づいて生成されることを特徴とする請求項４〜請求項６のいずれかに記載の撮像装置。
【請求項８】
前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられる前記第１色信号及び前記第２色信号それぞれの平均値の関係に基づいて、前記評価値が求められることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記評価値検出回路において、
前記第２色信号の種類毎に、
前記固体撮像素子から与えられた入射光量に対して前記第１の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値の関係に基づいて、第１評価値が求められるとともに、
前記固体撮像素子から与えられた入射光量に対して前記第２の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値の関係に基づいて、第２評価値が求められ、
前記第１評価値及び前記第２評価値を加重加算することで、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性との関係を表す評価値を求めることを特徴とする請求項７に記載の撮像装置。
【請求項１０】
入射光量に対して前記第１の特性で変化する信号を出力する画素数と、入射光量に対して前記第２の特性で変化する信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記第１色信号の光電変換特性を、前記固体撮像素子のダイナミックレンジに基づいて決定するとともに、
前記第２色信号の光電変換特性を、前記第１色信号の光電変換特性と前記評価値に基づいて決定することを特徴とする請求項７〜請求項１０のいずれかに記載の撮像装置。
【請求項１２】
前記第２色信号の光電変換特性に基づいて前記第２色信号の信号レベルそれぞれに対する輝度値を求めた後、求められた当該各輝度値に対する信号レベルを前記第１色信号の光電変換特性に基づいて求めて前記入力アドレスに対する出力データとすることで、前記第１ルックアップテーブルを生成することを特徴とする請求項４〜請求項１１のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数種類の色フィルタを備えて色信号を出力する固体撮像素子を有し、カラー画像を撮像する撮像装置に関するもので、特に、色信号のホワイトバランス処理を施す撮像装置に関する。
【背景技術】
【０００２】
従来、入射光量に対して線形変換する線形変換動作を行う固体撮像素子においては、そのダイナミックレンジが２桁と狭いため、広い輝度範囲の輝度分布を構成する被写体を撮像したときは、ダイナミックレンジ以外の範囲の輝度情報は出力されない。又、従来の固体撮像装置として、入射光量に対して対数変換する対数変換動作を行うものがある（特許文献１参照）。この固体撮像素子においては、そのダイナミックレンジが５〜６桁と広いため、少々広い輝度範囲の輝度分布を構成する被写体を撮像しても、輝度分布内の全輝度情報を電気信号に変換して出力することができる。しかしながら、被写体の輝度分布に対してその撮像可能領域が広くなるので、撮像可能領域内の低輝度領域又は高輝度領域において、輝度データの無い領域ができてしまう。これらに対して、本出願人は、上述の線形変換動作と対数変換動作とを切り換えることが可能なものを提案している（特許文献２参照）。
【０００３】
又、これらの固体撮像素子を備える撮像装置において、色フィルタを設けることでカラー画像が撮像されるとき、撮影時の光源の分光分布や色フィルタの透過率が異なるために、各色信号の光電変換特性が異なるものとなる。よって、このようなカラー画像を撮像する撮像装置において、この各色信号の光電変換特性を一致させるためのホワイトバランス処理が施される。そこで、本出願人は、対数変換動作を行う固体撮像素子を備えた撮像装置において、色温度検出回路で検出した色温度に基づいてホワイトバランス処理回路でホワイトバランス処理を施す撮像装置を提案している（特許文献３参照）。又、本出願人は、対数変換動作を行う固体撮像素子を備えた撮像装置において、ＡＤ変換器においてＡＤ変換する際にオフセット電圧を切り換えることでホワイトバランス処理を施す撮像装置を提案している（特許文献４参照）。
【特許文献１】特開平１１−３１３２５７号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００２−１０２７５号公報
【特許文献４】特開２００２−２９０９８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献３及び特許文献４における撮像装置では、対数変換特性のみによる光電変換動作を行う固体撮像素子から出力される画像信号をホワイトバランス補正することに対しては有効であるが、線形変換特性による光電変換動作を行う固体撮像素子については、ホワイトバランスをとることができない。そのため、特許文献２のように対数変換特性及び線形変換特性を自動に切り換えることが可能な固体撮像素子を用いた場合、従来のホワイトバランス処理のように乗除算又は加減算のみのホワイトバランス処理では、十分にホワイトバランスをとることができない。
【０００５】
このような問題を鑑みて、本発明は、その光電変換特性において互いに特性の異なる複数の領域が含まれる固体撮像素子を備えるとき、いずれの特性により出力される信号に対しても正確にホワイトバランス処理を行うことができる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の撮像装置は、出力信号が入射光量に対して第１の特性で変化する第１領域と出力信号が入射光量に対して前記第１の特性とは異なる第２の特性で変化する電気信号を出力する第２領域とを含む光電変換特性を示す画素を備えるとともに複数種類の色フィルタが設けられた固体撮像素子と、該固体撮像素子から出力される前記色フィルタの種類毎の色信号に対してホワイトバランス処理を行うホワイトバランス回路と、を備える撮像装置において、前記ホワイトバランス回路は、入力される色信号のレベルに対して、各色信号間のずれが補正された信号レベルを出力データとして与える第１ルックアップテーブルを備え、該第１ルックアップテーブルは前記第１及び第２の特性の両特性に対応づけられていることを特徴とする。
【０００７】
このような撮像装置において、複数種類の前記色信号が前記固体撮像素子より出力されたとき、前記ホワイトバランス回路において、第１ルックアップテーブルを参照して、第１及び第２の両方の特性に対応づけられ、且つ、各色信号間のずれが補正された信号レベルを出力データとして得る。そして、この信号レベルをホワイトバランス処理後の信号レベルとして後段の回路に出力する。
【０００８】
前記第１の特性は、例えば、入射光量に対する線形的な変化であり、前記第２の特性は、例えば、入射光量に対する自然対数的な変化である。
【０００９】
前記複数種類の色信号の１つを基準となる第１色信号とし、該基準色信号以外の色信号を第２色信号としたとき、前記第１ルックアップテーブルは、前記第２色信号の信号レベルを入力アドレスとし、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換した際の信号レベルを該入力アドレスに対する出力データとするものとすることができる。
【００１０】
又、前記ホワイトバランス回路が、前記第１色信号の信号レベルを入力アドレスとし、階調変換処理が行われた信号レベルを前記入力アドレスに対する出力データとする第２ルックアップテーブルを備えるとともに、前記第１ルックアップテーブルが、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換し且つ階調変換処理が行われた信号レベルを、前記入力アドレスのデータとするものとして、ホワイトバランス処理とともに、γ特性などの再生出力する再生出力装置における階調特性に変換する階調変換処理を施すものとしても構わない。
【００１１】
又、前記ホワイトバランス回路が、前記第１色信号の信号レベルを入力アドレスとし、ゲイン調整処理が行われた信号レベルを前記入力アドレスに対する出力データとする第３ルックアップテーブルを備えるとともに、前記第１ルックアップテーブルが、前記第２色信号における光電変換特性を前記第１色信号の光電変換特性に変換しゲイン調整処理が行われた信号レベルを、前記入力アドレスのデータとするものとして、ホワイトバランス処理とともに、ゲイン調整処理を施すものとしても構わない。
【００１２】
これらの撮像装置において、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性との関係を表す評価値を、前記第２色信号の種類毎に、前記固体撮像素子から入力される前記第１色信号及び前記第２色信号の信号レベルの関係より検出する評価値検出回路を備え、前記第１ルックアップテーブルが、前記評価値と前記第１色信号の光電変換特性に基づいて生成されるようにしても構わない。当該評価値を、前記第１色信号及び前記第２色信号の光電変換特性において、前記第１の特性で変化する領域と前記第２の特性で変化する領域との境界となる輝度値の差によるものとすることができる。
【００１３】
又、前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられる前記第１色信号及び前記第２色信号それぞれの平均値との関係に基づいて、前記評価値が求められるようにすることができる。このとき、前記第１色信号及び前記第２色信号それぞれの平均値に対する輝度値が等しいものとするようにしても構わない。
【００１４】
又、前記評価値検出回路において、前記第２色信号の種類毎に、前記固体撮像素子から与えられた入射光量に対して前記第１の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値の関係に基づいて、第１評価値が求められるとともに、前記固体撮像素子から与えられた入射光量に対して前記第２の特性で変化した前記第１色信号及び前記第２色信号それぞれの平均値の関係に基づいて、第２評価値が求められ、前記第１評価値及び前記第２評価値を加重加算することで、前記第１色信号の光電変換特性と前記第２色信号の光電変換特性の関係を表す評価値を求めるようにしても構わない。このとき、前記第１評価値及び前記第２評価値それぞれを求める際の前記第１色信号及び前記第２色信号それぞれの平均値に対する輝度値が等しいものとするようにしても構わない。
【００１５】
このように前記第１評価値及び前記第２評価値を加重加算して前記評価値を求める際、外部より重み係数が設定されるものとしても構わない。又、入射光量に対して前記第１の特性で変化した信号を出力する画素数と、入射光量に対して前記第２の特性で変化した信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定するものとしても構わない。このとき、前記色信号の種類毎に前記重み係数を設定するものとしても構わない。又、オートフォーカス機能により検出した主被写体を中心とする領域における入射光量に対して前記第１の特性で変化した信号を出力する画素数と、入射光量に対して前記第２の特性で変化した信号を出力する画素数との関係に基づいて、前記重み係数を設定するものとしても構わない。
【００１６】
上述の撮像装置において、前記色信号それぞれに対して、前記固体撮像素子のダイナミックレンジにより決定する前記第１領域と前記第２領域との境界となる信号レベルが一定であり、前記第１領域と前記第２領域の境界となる信号レベルに基づいて、入射光量に対して前記第１の特性で変化した信号と入射光量に対して前記第２の特性で変化した信号とを識別することができる。
【００１７】
又、前記第２色信号の光電変換特性を、前記第１色信号の光電変換特性と前記評価値に基づいて決定するようにしても構わない。
【００１８】
上述の撮像装置において、前記第２色信号の光電変換特性に基づいて前記第２色信号の信号レベルそれぞれに対する輝度値を求めた後、求められた当該各輝度値に対する信号レベルを前記第１色信号の光電変換特性に基づいて求めて前記入力アドレスに対する出力データとすることで、前記第１ルックアップテーブルを生成することができる。
【００１９】
前記第１色信号の光電変換特性をメモリ内に複数種類格納し、設定した前記固体撮像素子のダイナミックレンジに基づいて前記第１色信号の光電変換特性を前記メモリより読み出して使用するものとしても構わない。このとき、前記メモリに格納された前記第１色信号の光電変換特性の種類に応じて、前記固体撮像素子のダイナミックレンジが離散的に設定されるものとしても構わない。又、前記固体撮像素子のダイナミックレンジが連続的に設定されるとき、設定された当該ダイナミックレンジの前後のダイナミックレンジに相当する前記第１色信号の光電変換特性に基づき、設定された当該ダイナミックレンジに対する前記第１色信号の光電変換特性を設定するものとしても構わない。
【００２０】
前記固体撮像素子が、画素毎に複数種類の色フィルタが設けられた単板の固体撮像素子であっても構わないし、複数の色フィルタ毎に設けられた複数の撮像素子よりなる複数板の固体撮像素子であっても構わない。
【発明の効果】
【００２１】
本発明によると、ルックアップテーブルを用いることによって、光電変換特性において互いに特性の異なる複数の領域が含まれる固体撮像素子から出力される色信号に対して、簡単な構成で正確にホワイトバランス処理を行うことができる。又、評価値検出回路を設けることによって、各色信号の関係を確認することができる各色信号に対する評価値を検出することができる。よって、ルックアップテーブルに対して設定するパラメータを、検出値と基準となる色信号の光電変換特性により容易に求めることができる。
【００２２】
又、入射光量に対して第１の特性で変化した色信号と入射光量に対して第２の特性で変化した色信号とのそれぞれに対して評価値を求めた後、これらの評価値を加重加算することで、各色信号の評価値を設定することで、より高精度な評価値を得ることができる。よって、ルックアップテーブルに対して設定するパラメータをより高精度なものとすることができる。更に、入射光量に対して第１の特性で変化した信号を出力する画素数と、入射光量に対して第２の特性で変化した信号を出力する画素数との関係に基づいて、前記加重加算における重み係数を設定するため、ルックアップテーブルに対して設定するパラメータを撮像した被写体の輝度分布に応じたものとすることができる。よって、撮像した被写体の輝度分布に応じたホワイトバランス処理を施すことができる。
【００２３】
更に、ルックアップテーブルのパラメータを、階調変換処理するための成分を含めたパラメータとすることにより、ホワイトバランス回路で各色信号に対してホワイトバランス処理を施すとともに階調変換処理を施すことができる。又、ルックアップテーブルを、ゲイン調整処理するための成分を含めたものとすることにより、ホワイトバランス回路で各色信号に対してホワイトバランス処理を施すとともにゲイン調整処理を施すことができる。これらのことより、ホワイトバランス回路において、階調変換処理又はゲイン調整処理を同時に行うことができるので、新たに階調変換処理及びゲイン調整処理を施すための回路を省略することができる。よって、処理速度の高速化及び装置構成の簡略化を可能とする。
【発明を実施するための最良の形態】
【００２４】
＜撮像装置の構成＞
本発明の実施形態である撮像装置の構成について、図１を参照して説明する。図１は、撮像装置の内部構成を示すブロック図である。
【００２５】
図１の撮像装置は、複数のレンズから構成される光学系１と、光学系１を通じて入射される光の入射光量を電気信号に変換する固体撮像素子２と、固体撮像素子２から出力される電気信号を増幅するアンプ３と、アンプ３で増幅された電気信号をデジタル信号に変換するＡＤ変換回路４と、ＡＤ変換回路４からのデジタル信号の最低レベルを設定する黒基準補正回路５と、黒基準補正回路５で黒基準値により補正されたデジタル信号が固体撮像素子２の各画素の感度などによるＦＰＮ（固定パターンノイズ：Fixed Pattern Noise）を除去するＦＰＮ補正回路６と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号より自動露出制御（ＡＥ）及びホワイトバランス（ＷＢ）を行うためのそれぞれの評価値を検出するＡＥ・ＷＢ評価値検出回路７と、ＦＰＮ補正回路６でＦＰＮ除去されたデジタル信号について色バランスがとれるように各色信号毎に補正を行うＷＢ制御回路８と、ＷＢ制御回路８から出力される隣接する複数の画素の色信号に基づいて各色信号の補間を行う色補間回路９と、色補間回路９から出力される各色信号を他の色信号により色合いを各画素毎に補正する色補正回路１０と、色補正回路１０から出力されるデジタル信号の階調変換を行う階調変換回路１１と、階調変換回路１１から出力されるデジタル信号についてエッジ強調などの処理を施すコアリング回路１２と、各ブロックの制御を行う全体制御部１３と、光学系１に備えられる絞り１ａによる露光量を制御する絞り制御部１４と、固体撮像素子２及びＡＤ変換回路４に動作タイミング用のクロックを与えるタイミング生成回路１５と、を備える。
【００２６】
このように構成される撮像装置においては、光学系１を介して光が各画素毎に異なる色フィルタを備えた固体撮像素子２に入射されると、各画素において光電変換動作が行われ、各画素毎に異なる色信号となるアナログ信号が出力される。即ち、図２のように、ＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられるとき、Ｒとなる色フィルタが設けられた画素からは赤色を表すＲ信号が、Ｇとなる色フィルタが設けられた画素からは緑色を表すＧ信号が、Ｂとなる色フィルタが設けられた画素からは青色を表すＢ信号が、それぞれ出力される。尚、固体撮像素子２は、後述するように、全体制御部１３によって駆動条件が変更されることにより、線形変換動作と対数変換動作とが切り替わる輝度位置が変更される。これによって、固体撮像素子２のダイナミックレンジを変化する。切換点が低輝度側になるほどダイナミックレンジが広くなる。
【００２７】
この固体撮像素子２からシリアルに出力されるＲ信号及びＧ信号及びＢ信号が、アンプ３において増幅された後、ＡＤ変換回路４においてデジタル信号に変換される。このようにデジタル信号に変換されたＲ信号及びＧ信号及びＢ信号が黒基準補正回路５に与えられると、全体制御部１３から与えられるダイナミックレンジの大きさに関する情報であるダイナミックレンジデータに基づいて、最低輝度値となる黒レベルが基準値（０）に補正される。即ち、固体撮像素子２のダイナミックレンジによって黒レベルが異なるため、ＡＤ変換回路４から出力されるＲ信号及びＧ信号及びＢ信号それぞれの信号レベルに対して、黒レベルとなる信号レベルが減算されることで、基準値補正が行われる。
【００２８】
この黒基準補正が行われたＲ信号及びＧ信号及びＢ信号は、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。このＦＰＮ成分は、固体撮像素子２内の各画素を構成するＭＯＳトランジスタの閾値バラツキなどが原因となって生じるオフセットバラツキである。尚、このＦＰＮ成分を抽出する際、ＲＧＢ信号それぞれについて、均一光照射時に固体撮像素子２から出力される各画素に対する画像信号から色フィルタの透過率の差異に基づくオフセットを減算する。このとき、このような各色フィルタの透過率に基づくオフセットを、均一光照射時のＲＧＢ信号それぞれの平均値により求めるものとし、この平均値を均一光照射時のＲＧＢ信号から減算することで、各画素のＦＰＮ成分を抽出するものとしても構わない。このようにＦＰＮ成分が除去されたＲ信号及びＧ信号及びＢ信号が、ＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８に与えられる。
【００２９】
ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号より成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、露光量を設定するＡＥ評価値として全体制御部１３に送出する。このＡＥ評価値に基づいて全体制御部１３が絞り１ａの開口度を制御することで、露光量が制御される。又、ＡＥ・ＷＢ評価値検出回路７では、与えられたＲ信号及びＧ信号及びＢ信号よりそれぞれの輝度比及び輝度差を確認し、ホワイトバランスを行うための基準値であるＷＢ評価値を算出し、全体制御部１３に送出する。そして、ＷＢ制御回路８では、全体制御部１３より与えられるＷＢ評価値及びダイナミックレンジデータに基づいて、Ｒ信号及びＧ信号及びＢ信号が、同一の光電変換特性となるようにホワイトバランス処理が施される。このＡＥ・ＷＢ評価値検出回路７及びＷＢ制御回路８の詳細については後述する。
【００３０】
ＷＢ制御回路８でホワイトバランス処理が施されたＲ信号及びＧ信号及びＢ信号は、色補間回路９において色補間処理が施される。図２のようなＲＧＢによるベイヤ型配列となる色フィルタが固体撮像素子２に設けられているとき、各画素から出力される色信号は、その画素が設けられる色フィルタによる色信号のみである。よって、色補間回路９において、他の色信号が隣接する画素の色信号により生成されることで、色補間処理が施される。
【００３１】
そして、ＲＧＢそれぞれの色フィルタが各画素Ｇ11〜Ｇ44に図２のように配列されているとき、画素Ｇ11，Ｇ31，Ｇ13，Ｇ33からＲ信号ｒ11，ｒ31，ｒ13，ｒ33が、画素Ｇ21，Ｇ41，Ｇ12，Ｇ32，Ｇ23，Ｇ43，Ｇ14，Ｇ34からＧ信号ｇ21，ｇ41，ｇ12，ｇ32，ｇ23，ｇ43，ｇ14，ｇ34が、画素Ｇ22，Ｇ42，Ｇ24，Ｇ44からＢ信号ｂ22，ｂ42，ｂ24，ｂ44が、出力される。このとき、画素Ｇ22，Ｇ23，Ｇ32，Ｇ33のＲＧＢ信号が、以下の式のように表される。
【００３２】
画素Ｇ22のＲ信号ｒ22、Ｇ信号ｇ22、Ｂ信号ｂ22
ｒ22＝（ｒ11＋ｒ31＋ｒ13＋ｒ33）／４
ｇ22＝（ｇ21＋ｇ12＋ｇ32＋ｇ23）／４
ｂ22＝ｂ22
画素Ｇ32のＲ信号ｒ32、Ｇ信号ｇ32、Ｂ信号ｂ32
ｒ32＝（ｒ31＋ｒ33）／２
ｇ32＝ｇ32
ｂ32＝（ｂ22＋ｂ42）／２
画素Ｇ23のＲ信号ｒ23、Ｇ信号ｇ23、Ｂ信号ｂ23
ｒ23＝（ｒ13＋ｒ33）／２
ｇ23＝ｇ23
ｂ23＝（ｂ22＋ｂ24）／２
画素Ｇ33のＲ信号ｒ33、Ｇ信号ｇ33、Ｂ信号ｂ33
ｒ33＝ｒ33
ｇ33＝（ｇ32＋ｇ23＋ｇ43＋ｇ34）／４
ｂ33＝（ｂ22＋ｂ42＋ｂ24＋ｂ44）／４。
【００３３】
このように色補間処理を行うことで、各画素毎にＲＧＢ信号が得られると、各画素のＲＧＢ信号が色補正回路１０に与えられ、各画素の色合いを強調するための色補正処理が施される。このとき、ＲＧＢ信号はそれぞれ、他の色信号の値により色補正が施される。即ち、画素ＧklのＲＧＢ信号ｒkl，ｇkl，ｂklを以下の式に代入することによって、色合い補正が施された画素ＧｋｌのＲＧＢ信号ｒｘkl，ｇｘkl，ｂｘklが生成される。この際、によるマトリックス係数が、全体制御部１３から入力されるダイナミックレンジ制御信号に基づいて切り換えられて、各画素のＲＧＢ信号による色合いが強調される。
ｒｘkl＝ａ１×ｒkl＋ａ２×ｇkl＋ａ３×ｂkl
ｇｘkl＝ｂ１×ｒkl＋ｂ２×ｇkl＋ｂ３×ｂkl
ｂｘkl＝ｃ１×ｒkl＋ｃ２×ｇkl＋ｃ３×ｂkl。
【００３４】
色補正回路１０で色補正が施されたＲＧＢ信号は、階調変換回路１１に与えられて、適切な出力レベルとなるように、全体制御部１３から入力されるダイナミックレンジ制御信号及びＡＥ評価値に基づいて、γカーブに基づく変化やデジタルゲインの変化により階調特性を変化させる。そして、エッジ成分に対して図３に示すように基準信号レベルからみて所定範囲内の出力をすべて基準信号レベルに変換するレベル変換特性を備えるコアリング回路１２において、ＲＧＢ信号それぞれに重畳したノイズ成分が除去されるとともに、エッジ成分が抽出されてエッジ強調処理が施される。
【００３５】
＜固体撮像素子の構成例＞
図１のように構成される撮像装置における固体撮像素子２の構成について、図面を参照して説明する。図４は、本例の固体撮像素子の一部の構成を概略的に示すブロック図であり、図５は、各画素の構成を示す回路図である。
【００３６】
固体撮像素子２は、図４に示すように、Ｇ11〜Ｇmnは行列配置（マトリクス配置）された画素を示している。２１は垂直走査回路であり、各画素に信号φＶを与える行（ライン）２３−１，２３−２，・・・，２３−ｎを順次走査していくとともに、ライン２４−１，２４−２，・・・，２４−ｎを介して各画素に信号φＶＤを、ライン２５−１，２５−２，・・・，２５−ｎを介して各画素に信号φＶPSを、それぞれ与える。２２は水平走査回路であり、画素から出力信号線２６−１，２６−２，・・・，２６−ｍに導出された光電変換信号を画素ごとに水平方向に順次読み出す。２０は電源ラインである。各画素に対し、上記ライン２３−１〜２３−ｎ，２４−１〜２４−ｎ，２５−１〜２５−ｎや出力信号線２６−１〜２６−ｍ、電源ライン２０だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図４ではこれらについて省略する。
【００３７】
又、出力信号線２６−１〜２６−ｍのそれぞれには、定電流源２７−１〜２７−ｍが接続されるとともに、信号線２６−１〜２６−ｍのそれぞれを介して与えられる画素Ｇ11〜Ｇmnから与えられる画像信号とノイズ信号をサンプルホールドする選択回路２８−１〜２８−ｍが設けられる。そして、補正回路２９に選択回路２８−１〜２８−ｍから画像信号及びノイズ信号が順に送出されると、この補正回路２９で補正処理が行われて、ノイズ除去された画像信号が外部に出力される。尚、定電流源２７−１〜２７−ｍの一端に直流電圧ＶPSが印加される。
【００３８】
このような固体撮像素子において、画素Ｇab（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ≦ｎの自然数）からの出力となる画像信号及びノイズ信号が、それぞれ、出力信号線２６−ａを介して出力されるとともに、この出力信号線２６−ａに接続された定電流源２７−ａによって増幅される。そして、画素Ｇabから出力された画像信号及びノイズ信号が順番に選択回路２８−ａに送出されるとともに、この選択回路２８−ａにおいて、送出された画像信号及びノイズ信号がサンプルホールドされる。その後、選択回路２８−ａより、サンプルホールドされた画像信号が補正回路２９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路２９に送出される。補正回路２９では、選択回路２８−ａより与えられた画像信号を、同じく選択回路２８−ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した画像信号をアンプ３に出力する。
【００３９】
このような構成の固体撮像素子２において、画素Ｇ11〜Ｇmnは、図５に示すように、カソードに直流電圧ＶPDが印加されたフォトダイオードＰＤのアノードにＭＯＳトランジスタＴ１のドレインが接続され、ＭＯＳトランジスタＴ１のソースにＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続される。又、ＭＯＳトランジスタＴ３のソースにＭＯＳトランジスタＴ４のゲート及びＭＯＳトランジスタＴ５のドレインが接続され、ＭＯＳトランジスタＴ４のソースにＭＯＳトランジスタＴ６のドレインが接続される。そして、ＭＯＳトランジスタＴ６のソースが出力信号線２６（図４の出力信号線２６−１〜２６−ｍに相当する）に接続される。尚、ＭＯＳトランジスタＴ１〜Ｔ６は、ＰチャネルのＭＯＳトランジスタである。
【００４０】
ＭＯＳトランジスタＴ２のソースにはライン２５（図４のライン２５−１〜２５−ｎに相当する）を介して信号φＶPSが入力され、ＭＯＳトランジスタＴ３，Ｔ４のドレインに直流電圧ＶPDが印加される。又、ＭＯＳトランジスタＴ３のソースには、その一端にライン２４（図４のライン２４−１〜２４−ｎに相当する）を介して信号φＶＤが与えられるキャパシタＣの他端が接続される。又、ＭＯＳトランジスタＴ５のソースには直流電圧ＶRGが入力され、そのゲートに信号φＲＳが入力される。更に、ＭＯＳトランジスタＴ１，Ｔ６のゲートにはそれぞれ、信号φＳ，φＶが入力される。
【００４１】
尚、信号φＶPSは２値の電圧信号で、入射光量が所定値を超えたときにＭＯＳトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をＶＬとし、又、この電圧よりも高くＭＯＳトランジスタＴ２を導通状態にする電圧をＶＨとする。又、信号φＶＤは、３値の電圧信号であり、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、画像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりも低いＶｌとする。
【００４２】
このように構成される固体撮像素子２における画素Ｇ11〜Ｇmnの動作について、図６のタイムチャートを参照して説明する。まず、電圧値Ｖｍのパルス信号φＶＤとパルス信号φＶが与えられて画像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてＭＯＳトランジスタＴ１をＯＦＦにして、リセット動作が始まる。次に、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＨにして、ＭＯＳトランジスタＴ２のソース電圧を高くすることで、ＭＯＳトランジスタＴ２のゲート及びドレイン、そしてＭＯＳトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳをローとして、ＭＯＳトランジスタＴ５をＯＮにして、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧を初期化する。
【００４３】
そして、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬにして、ＭＯＳトランジスタＴ２のポテンシャル状態を基の状態に戻した後、信号φＲＳをハイにして、ＭＯＳトランジスタＴ５をＯＦＦにする。その後、キャパシタＣが積分動作を行って、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧が、リセットされたＭＯＳトランジスタＴ２のゲート電圧に応じたものとなる。そして、パルス信号φＶをＭＯＳトランジスタＴ６のゲートに与えてＭＯＳトランジスタＴ６をＯＮにするとともに信号φＶＤの電圧値をＶｌにする。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線２６にはノイズ信号が電圧信号として現れる。その後、再び、パルス信号φＲＳをＭＯＳトランジスタＴ５に与えて、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧をリセットした後、信号φＳをローにしてＭＯＳトランジスタＴ１を導通させて撮像動作が行える状態にする。
【００４４】
このようにノイズ信号が出力された後、ＭＯＳトランジスタＴ１がＯＮとされると、撮像動作が開始される。このとき、信号φＲＳをハイとして、ＭＯＳトランジスタＴ５をＯＦＦとする。又、ＭＯＳトランジスタＴ２のソースに与える信号φＶPSをＶＬとするとともに、キャパシタＣに与える信号φＶＤの電圧値をＶｈとして、積分動作を行うようにする。そして、フォトダイオードＰＤより入射光量に応じた光電荷がＭＯＳトランジスタＴ２に流れ込むと、ＭＯＳトランジスタＴ２はカットオフ状態であるので、光電荷がＭＯＳトランジスタＴ２のゲートに蓄積される。
【００４５】
よって、撮像する被写体の輝度が低くフォトダイオードＰＤに入射される入射光量が少ない場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧がＭＯＳトランジスタＴ２のゲートに現れるため、入射光量の積分値に対して線形的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れる。又、撮像する被写体の輝度が高くフォトダイオードＰＤに入射される入射光量が多く、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧が高くなると、ＭＯＳトランジスタＴ２がサブスレッショルド領域で動作を行うため、入射光量に対して自然対数的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れる。
【００４６】
この入射光量に対して線形的に又は自然対数的に変化する電圧がＭＯＳトランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れるため、ＭＯＳトランジスタＴ４のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化する電圧となる。そして、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にパルス信号φＶを与えることで、ＭＯＳトランジスタＴ４のゲート電圧に応じたソース電流が、ＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には画像信号が電圧信号として現れる。その後、信号φＶをハイにしてＭＯＳトランジスタＴ６をＯＦＦにするとともに、信号φＶＤの電圧値をＶｈとする。
【００４７】
このように動作するとき、撮像時の信号φＶPSの電圧値ＶＬが低くなり、リセット時の信号φＶPSの電圧値ＶＨとの差を大きくするほど、ＭＯＳトランジスタＴ２のゲート・ソース間のポテンシャルの差が大きくなり、ＭＯＳトランジスタＴ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図７のように、電圧値ＶＬが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値ＶＬを低くして、線形変換する輝度範囲を広くし、又、被写体の輝度範囲が広いと電圧値ＶＬを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。尚、電圧値ＶＬを最小とするとき、常に線形変換する状態とし、又、電圧値ＶＬを最大とするとき、常に対数変換する状態とすることもできる。
【００４８】
このように動作する固体撮像素子２の画素Ｇ11〜Ｇmnに与える信号φＶPSの電圧値ＶＬの値を全体制御部１３が切り換えることによって、被写体の輝度範囲などに応じてダイナミックレンジを切り換えられる固体撮像素子２とすることができる。即ち、全体制御部１３が信号φＶPSの電圧値ＶＬの値を切り換えることで、固体撮像素子２の画素Ｇ11〜Ｇmnにおける線形変換動作から対数変換動作へ切り替わる変極点（輝度値）を設定することができる。尚、撮像時に対数変換動作に変わるときのＭＯＳトランジスタＴ２のゲート電圧に至るまでにＭＯＳトランジスタＴ２に流れ込む光電荷量が、全ての画素において等しい。
【００４９】
尚、本構成例では、図５のように構成される画素を備えた固体撮像素子としたが、このような構成に限られるものではなく、線形変換動作と対数変換動作を各画素において自動的に切り換えることが可能なものであれば、特許文献２に示されるような構成の画素などのような他の構成の画素より構成されるものとしても構わない。又、撮像時の信号φＶPSの電圧値ＶＬを変更することで線形変換動作と対数変換動作との変極点を変更するものとしたが、リセット時の信号φＶPSの電圧値ＶＨを変更することで線形変換動作と対数変換動作との変極点を変更するものとしても構わない。又、リセット時間を変更することで上記変極点を変更するものとしても構わない。更に、各画素にＲＧＢフィルタを備えるものとしたが、シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）などの他の色フィルタを備えるものとしても構わない。
【００５０】
＜ＡＥ・ＷＢ評価値検出回路の第１例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路の第１例について、図面を参照して以下に詳細に説明する。図８は、本例のＡＥ・ＷＢ評価値検出回路の内部構成を示すブロック図である。
【００５１】
本例のＡＥ・ＷＢ評価値検出回路７は、図８に示すように、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号それぞれが与えられるとともに線形変換又は対数変換のいずれが施された信号であるかを確認する光電変換特性判別部７１ｒ，７１ｇ，７１ｂと、線形変換された（線形変換特性を備えた）ＲＧＢ信号それぞれの平均値ｒ１av，ｇ１av，ｂ１avを求める平均値演算部７２ｒ，７２ｇ，７２ｂと、対数変換された（対数変換特性を備えた）ＲＧＢ信号それぞれの平均値ｒ２av，ｇ２av，ｂ２avを求める平均値演算部７３ｒ，７３ｇ，７３ｂと、平均値演算部７２ｒ，７２ｇそれぞれから与えられるＲＧ信号それぞれの平均値ｒ１av，ｇ１avよりＲ信号に対するＷＢ評価値ｗｒ１を求めるＷＢ評価値演算部７４ｒと、平均値演算部７２ｇ，７２ｂそれぞれから与えられるＧＢ信号それぞれの平均値ｇ１av，ｂ１avよりＢ信号に対するＷＢ評価値ｗｂ１を求めるＷＢ評価値演算部７４ｂと、平均値演算部７３ｒ，７３ｇそれぞれから与えられるＲＧ信号それぞれの平均値ｒ２av，ｇ２avよりＲ信号に対するＷＢ評価値ｗｒ２を求めるＷＢ評価値演算部７５ｒと、平均値演算部７３ｇ，７３ｂそれぞれから与えられるＧＢ信号それぞれの平均値ｇ２av，ｂ２avよりＢ信号に対するＷＢ評価値ｗｂ２を求めるＷＢ評価値演算部７５ｂと、ＷＢ評価値演算部７４ｒ，７５ｒそれぞれからのＷＢ評価値ｗｒ１，ｗｒ２を加重加算することによってＲ信号に対するＷＢ評価値ｗｒを生成して全体制御部１３に出力する加重加算部７６ｒと、ＷＢ評価値演算部７４ｂ，７５ｂそれぞれからのＷＢ評価値ｗｂ１，ｗｂ２を加重加算することによってＢ信号に対するＷＢ評価値ｗｂを生成して全体制御部１３に出力する加重加算部７６ｂと、を備える。
【００５２】
又、全体制御部１３は、図９に示すように、固体撮像素子２のダイナミックレンジを調整するとともにタイミング生成回路１５から出力されるクロックのタイミングを制御するセンサ駆動部１３１と、ＡＥ・ＷＢ評価値検出回路７で検出されたＡＥ評価値及びＷＢ評価値に従ってセンサ駆動部１３１を制御するとともにＷＢ制御回路８に与えるデータを生成するマイコン１３２と、固体撮像素子２のダイナミックレンジに応じた換言すれば線形変換特性と対数変換特性との切換点の位置に応じた光電変換特性を与えるデータを格納するメモリ１３３と、を備える。マイコン１３２は、例えば、被写体の輝度範囲に応じて適切なダイナミックレンジが得られるように固体撮像素子２のダイナミックレンジを変更するためのダイナミックレンジ制御信号をセンサ駆動部１３１に与える。センサ駆動部１３１はこのダイナミックレンジ制御信号に基づいて駆動条件を変更し、固体撮像素子２のダイナミックレンジを変更する。
【００５３】
図８のように構成されるＡＥ・ＷＢ評価値検出回路７の動作について、図面を参照して以下に説明する。まず、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれに、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲＧＢ信号が与えられる。このように入力されるＲＧＢ信号の典型例を図１０に示す。尚、図１０は、輝度値に対するＲＧＢ信号の信号レベルの関係を表したグラフで、輝度値は対数値で表される。即ち、全体制御部１３のマイコン１３２からのダイナミックレンジ制御信号によってセンサ駆動部１３１から上述の固体撮像素子２へ与える信号φＶPSの電圧ＶＨを設定されるとき、黒基準補正回路５やＦＰＮ補正回路６でオフセットを除くため、信号φＶPSの電圧ＶＨによって決定する各画素のＭＯＳトランジスタＴ２の動作が切り替わるポテンシャル位置を略等しいものとすることができる。よって、図１０のように、ＲＧＢ信号それぞれにおいて、線形変換特性から対数変換特性に切り替わる変極点となる信号レベルが等しくなる。
【００５４】
このＲＧＢ信号における線形変換特性から対数変換特性に切り替わる変極点となる信号レベルを閾値レベルＶthとする。そして、全体制御部１３のセンサ駆動部１３１によって上述の固体撮像素子２へ与える信号φＶPSの電圧ＶＨを設定されるとき、この閾値レベルＶthが、ダイナミックレンジデータとして、全体制御部１３のマイコン１３２から光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれに与えられる。よって、光電変換特性判別部７１ｒ，７１ｇ，７１ｂでは、信号レベルが閾値レベルＶthより高ければ対数変換された信号であると判断し、信号レベルが閾値レベルＶth以下の場合は線形変換された信号であると判断する。尚、信号レベルが、閾値レベルＶth以上のときに対数変換された信号であると判断し、閾値レベルＶthより低いときに線形変換された信号であると判断するようにしても良い。以下の説明についても同様である。
【００５５】
そして、光電変換特性判別部７１ｒにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判断されたＲ信号は、平均値演算部７２ｒに与えられ、又、光電変換特性判別部７１ｒにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判断されたＲ信号は、平均値演算部７３ｒに与えられる。同様に、光電変換特性判別部７１ｇにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判断されたＧ信号は、平均値演算部７２ｇに与えられ、又、光電変換特性判別部７１ｇにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判断されたＧ信号は、平均値演算部７３ｇに与えられる。又、光電変換特性判別部７１ｂにおいて信号レベルが閾値レベルＶth以下で線形変換された信号であると判断されたＢ信号は、平均値演算部７２ｂに与えられ、又、光電変換特性判別部７１ｂにおいて信号レベルが閾値レベルＶthより高く対数変換された信号であると判断されたＢ信号は、平均値演算部７３ｂに与えられる。
【００５６】
そして、平均値演算部７２ｒ，７２ｇ，７２ｂではそれぞれ、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれから与えられる線形変換されたＲＧＢ信号それぞれの信号レベルを加算するとともに、与えられたＲＧＢ信号それぞれの総数を計数する。同様に、平均値演算部７３ｒ，７３ｇ，７３ｂではそれぞれ、光電変換特性判別部７１ｒ，７１ｇ，７１ｂそれぞれから与えられる対数変換されたＲＧＢ信号それぞれの信号レベルを加算するとともに、与えられたＲＧＢ信号それぞれの総数を計数する。このようにして、光電変換特性判別部７１ｒ，７１ｇ，７１ｂから全てのＲＧＢ信号が出力されると、全て出力したことを示す信号が、光電変換特性判別部７１ｒから平均値演算部７２ｒ，７３ｒへ、光電変換特性判別部７１ｇから平均値演算部７２ｇ，７３ｇへ、光電変換特性判別部７１ｂから平均値演算部７２ｂ，７３ｂへ、それぞれ送出される。
【００５７】
その後、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂそれぞれにおいては、加算合計した信号レベルを与えられた信号の総数によって除算することで平均値演算を行う。このようにすることで、線形変換されたＲ信号の平均値ｒ１avが平均値演算部７２ｒからＷＢ評価値演算部７４ｒに、線形変換されたＧ信号の平均値ｇ１avが平均値演算部７２ｇからＷＢ評価値演算部７４ｒ，７４ｂに、線形変換されたＢ信号の平均値ｂ１avが平均値演算部７２ｂからＷＢ評価値演算部７４ｂに、それぞれ、送出される。同様に、対数変換されたＲ信号の平均値ｒ２avが平均値演算部７３ｒからＷＢ評価値演算部７５ｒに、対数変換されたＧ信号の平均値ｇ２avが平均値演算部７３ｇからＷＢ評価値演算部７５ｒ，７５ｂに、対数変換されたＢ信号の平均値ｂ２avが平均値演算部７３ｂからＷＢ評価値演算部７５ｂに、それぞれ、送出される。
【００５８】
そして、線形変換されたＲＧ信号の平均値ｒ１av，ｇ１avが与えられたＷＢ評価値演算部７４ｒでは、ＲＧ信号の平均値ｒ１av，ｇ１avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が求められるとともに、線形変換されたＧＢ信号の平均値ｇ１av，ｂ１avが与えられたＷＢ評価値演算部７４ｂでは、ＧＢ信号の平均値ｇ１av，ｂ１avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、線形変換されたＢ信号に対するＷＢ評価値ｗｂ１が求められる。
【００５９】
同様に、対数変換されたＲＧ信号の平均値ｒ２av，ｇ２avが与えられたＷＢ評価値演算部７５ｒでは、ＲＧ信号の平均値ｒ２av，ｇ２avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が求められるとともに、対数変換されたＧＢ信号の平均値ｇ２av，ｂ２avが与えられたＷＢ評価値演算部７５ｂでは、ＧＢ信号の平均値ｇ２av，ｂ２avと全体制御部１３のマイコン１３２より与えられるＧ信号の光電変換特性より、対数変換されたＢ信号に対するＷＢ評価値ｗｂ２が求められる。尚、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂはそれぞれ、全体制御部１３のマイコン１３２より、固体撮像素子２のダイナミックレンジに応じたＧ信号の光電変換特性が与えられる。
【００６０】
このＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂにおける処理動作について、代表としてＷＢ評価値演算部７４ｒ，７５ｒを例にとって説明する。全体制御部１３のマイコン１３２より、図１１のようなＧ信号の光電変換特性がＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂに与えられるものとする。このとき、ＷＢ評価値演算部７４ｒでは、まず、図１１（ａ）のように、Ｇ信号の平均値ｇ１avにおける輝度値ＬavをＧ信号の光電変換特性に基づいて求める。即ち、Ｇ信号の線形変換特性領域が、（１）式で表されるとき、（１）式にＧ信号の平均値ｇ１avを代入して逆算することで、輝度値Ｌav（＝（ｇ１av−Ｃ）／Ａｇ）を求めることができる。
Ｖ＝Ａｇ×Ｌ＋Ｃ  …（１）
（Ｖ：信号レベル、Ｌ：輝度、Ａｇ：Ｇ信号に対する光電変換係数、Ｃ：オフセット）。
【００６１】
そして、この輝度値Ｌavに対してＲ信号の平均値ｒ１avが得られるものとみなすことにより、Ｒ信号に対する光電変換係数Ａｒ（＝（ｒ１av−Ｃ）／Ｌav）を求めて、図１１（ｂ）のように、線形変換特性領域におけるＲ信号の光電変換特性を求める。尚、Ｒ信号の線形変換特性領域を表す式は、（２）式のように表されるとともに、そのオフセットＣが（１）式と等しいものとする。
Ｖ＝Ａｒ×Ｌ＋Ｃ  …（２）。
【００６２】
このように線形変換特性領域におけるＲ信号の光電変換特性を求めると、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度Ｌｒth，Ｌｇthが、図１１（ｃ）のようなＲＧ信号それぞれの光電変換特性より求められる。即ち、（１）、（２）式それぞれに、閾値レベルＶthが代入されて逆算されることにより、輝度Ｌｇth（＝（Ｖth−Ｃ）／Ａｇ），Ｌｒth（＝（Ｖth−Ｃ）／Ａｒ）が求められる。このようにして求められた閾値レベルＶthとなるＲＧ信号それぞれの輝度Ｌｒth，Ｌｇthによって、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が、その差分値Ｌｇth−Ｌｒthとして求められる。
【００６３】
又、ＷＢ評価値演算部７５ｒでは、まず、図１２（ａ）のように、Ｇ信号の平均値ｇ２avにおける輝度値の対数値ｌｎ（Ｌav）をＧ信号の光電変換特性に基づいて求める。即ち、Ｇ信号の対数変換特性領域が、（３）式で表されるとき、（３）式にＧ信号の平均値ｇ２avを代入して逆算することで、輝度値の対数値ｌｎ（Ｌav）（＝（ｇ２av−βｇ）／α）を求めることができる。尚、図１２におけるＧ信号の光電変換特性は、図１１におけるＧ信号の光電変換特性と等しいものである。
Ｖ＝α×ｌｎ（Ｌ）＋βｇ  …（３）
（α：所定の増幅率、βｇ：Ｇ信号に対する光電変換係数の対数変換値）。
【００６４】
そして、この輝度値の対数値ｌｎ（Ｌav）に対してＲ信号の平均値ｒ２avが得られるものとみなすことにより、Ｒ信号に対する光電変換係数の対数変換値βｒ（＝ｒ２av−α×ｌｎ（Ｌav）＝ｒ２av−ｇ２av＋βｇ）を求めて、図１２（ｂ）のように、対数変換特性領域におけるＲ信号の光電変換特性を求める。尚、Ｒ信号の対数変換特性領域を表す式は、（４）式のように表されるとともに、その増幅率αが（３）式と等しいものとする。
Ｖ＝α×ｌｎ（Ｌ）＋βｒ  …（４）。
【００６５】
このように対数変換特性領域におけるＲ信号の光電変換特性を求めると、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度の対数値ｌｎ（Ｌｒth），ｌｎ（Ｌｇth）が、図１２（ｃ）のようなＲＧ信号それぞれの光電変換特性より求められる。即ち、（３）、（４）式それぞれに、閾値レベルＶthが代入されて逆算されることにより、輝度の対数値ｌｎ（Ｌｇth）（＝（Ｖth−βｇ）／α），ｌｎ（Ｌｒth）（＝（Ｖth−βｒ）／α）が求められる。よって、閾値レベルＶthとなるＲＧ信号それぞれに対する輝度Ｌｒth（＝ｅｘｐ（（Ｖth−βｒ）／α）），Ｌｇth（＝ｅｘｐ（（Ｖth−βｇ）／α））が最終的に求められる。このようにして求められた閾値レベルＶthとなるＲＧ信号それぞれの輝度Ｌｒth，Ｌｇthによって、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が、その差分値Ｌｇth−Ｌｒthとして求められる。
【００６６】
ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂそれぞれにおいて、このような処理動作を行うことによって、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が出力されると、ＷＢ評価値ｗｒ１，ｗｒ２が加重加算部７６ｒに与えられるとともに、ＷＢ評価値ｗｂ１，ｗｂ２が加重加算部７６ｂに与えられる。この加重加算部７６ｒ，７６ｂそれぞれに対して、全体制御部１３のマイコン１３２より、設定された固体撮像素子２のダイナミックレンジに応じた重み係数が与えられる。よって、加重加算部７６ｒにおいて、ＷＢ評価値ｗｒ１，ｗｒ２に対する重み係数ｘｒ，ｙｒが与えられるとき、ＷＢ評価値ｗｒが（５）式のように求められる。又、加重加算部７６ｂにおいて、ＷＢ評価値ｗｂ１，ｗｂ２に対する重み係数ｘｂ，ｙｂが与えられるとき、ＷＢ評価値ｗｂが（６）式のように求められる。
ｗｒ＝ｘｒ×ｗｒ１＋ｙｒ×ｗｒ２  …（５）
ｗｂ＝ｘｂ×ｗｂ１＋ｙｂ×ｗｂ２  …（６）。
【００６７】
このようにして加重加算部７６ｒ，７６ｂで求められたＷＢ評価値ｗｂ，ｗｒは、全体制御部１３のマイコン１３２に与えられる。マイコン１３２では、このＷＢ評価値ｗｂ，ｗｒとダイナミックレンジデータに基づいて、ＷＢ制御部８に与える設定値を決定する。尚、本例において、加重加算部７６ｒ，７６ｂに与えられる重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂは、設定された固体撮像素子２のダイナミックレンジに応じて設定されるものとしたが、被写体の輝度分布範囲又は輝度値などに応じてマイコン１３２が設定し、加重加算部７６ｒ，７６ｂに与えるものとしても構わない。又、重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂが外部から設定されるものとしても構わない。
【００６８】
＜ＡＥ・ＷＢ評価値検出回路の第２例＞
図１のように構成される撮像装置におけるＡＥ・ＷＢ評価値検出回路７について、図面を参照して以下に詳細に説明する。図１３は、本例のＡＥ・ＷＢ評価値検出回路の内部構成を示すブロック図である。尚、図１３に示すＡＥ・ＷＢ評価値検出回路において、図８のＡＥ・ＷＢ評価値検出回路と同一の目的で使用する部分については、その詳細な説明を省略し、同一の符号を付す。
【００６９】
本例のＡＥ・ＷＢ評価値検出回路７は、図１３に示すように、光電変換特性判別部７１ｒ，７１ｇ，７１ｂと、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂと、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂと、加重加算部７６ｒ，７６ｂと、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで確認された線形変換された信号及び対数変換された信号それぞれの総数を計数するとともにこれらの計数値によって重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂを設定する重み係数設定部７７と、を備える。
【００７０】
このように構成されるとき、光電変換特性判別部７１ｒ，７１ｇ，７１ｂ、平均値演算部７２ｒ，７２ｇ，７２ｂ，７３ｒ，７３ｇ，７３ｂ、ＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂ、及び、加重加算部７６ｒ，７６ｂは、第１例におけるＡＥ・ＷＢ評価値検出回路（図８）と同様の動作を行う。即ち、光電変換特性判別部７１ｒ，７１ｇ，７１ｂでは、入力されるＲＧＢ信号の信号レベルと閾値レベルＶthとを比較して、対数変換された信号であるか、又は、線形変換された信号であるかを判別する。そして、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで線形変換された信号であることが確認されたＲＧＢ信号が平均値演算部７２ｒ，７２ｇ，７２ｂに与えられ、その平均値ｒ１av，ｇ１av，ｂ１avが求められ、又、光電変換特性判別部７１ｒ，７１ｇ，７１ｂで対数変換された信号であることが確認されたＲＧＢ信号が平均値演算部７３ｒ，７３ｇ，７３ｂに与えられ、その平均値ｒ２av，ｇ２av，ｂ２avが求められる。
【００７１】
その後、ＷＢ評価値演算部７４ｒにおいて、平均値ｒ１av，ｇ１av及びＧ信号の光電変換特性に基づいて、線形変換されたＲ信号に対するＷＢ評価値ｗｒ１が求められるとともに、ＷＢ評価値演算部７５ｒにおいて、平均値ｒ２av，ｇ２av及びＧ信号の光電変換特性に基づいて、対数変換されたＲ信号に対するＷＢ評価値ｗｒ２が求められる。又、ＷＢ評価値演算部７４ｂにおいて、平均値ｇ１av，ｂ１av及びＧ信号の光電変換特性に基づいて、線形変換されたＢ信号に対するＷＢ評価値ｗｂ１が求められるとともに、ＷＢ評価値演算部７５ｂにおいて、平均値ｇ２av，ｂ２av及びＧ信号の光電変換特性に基づいて、対数変換されたＢ信号に対するＷＢ評価値ｗｂ２が求められる。そして、加重加算部７６ｒにおいて、重み係数設定部７７から与えられる重み係数ｘｒ，ｙｒを用いて、ＷＢ評価値ｗｒ１，ｗｒ２の加重加算を行うことで、ＷＢ評価値ｗｒが求められるとともに、加重加算部７６ｂにおいて、重み係数設定部７７から与えられる重み係数ｘｂ，ｙｂを用いて、ＷＢ評価値ｗｂ１，ｗｂ２の加重加算を行うことで、ＷＢ評価値ｗｂが求められる。
【００７２】
このようにＷＢ評価値ｗｒ，ｗｂを求める際、第１例と異なり、重み係数設定部７７において、加重加算部７６ｒ，７６ｂに与える重み係数ｘｒ，ｙｒ，ｘｂ，ｙｂが設定される。よって、以下では、この重み係数設定部７７の動作について、説明する。まず、光電変換特性判別部７１ｒ，７１ｇ，７１ｂよりＲＧＢ信号に対する判別結果が重み付け係数設定部７７に与えられると、与えられた判別結果に応じて、線形変換された信号の総数又は対数変換された信号の総数を計数する。よって、光電変換特性判別部７１ｒより平均値演算部７２ｒ，７３ｒそれぞれに送出されたＲ信号の総数がｎ１ｒ，ｎ２ｒであり、光電変換特性判別部７１ｇより平均値演算部７２ｇ，７３ｇそれぞれに送出されたＧ信号の総数がｎ１ｇ，ｎ２ｇであり、光電変換特性判別部７１ｂより平均値演算部７２ｂ，７３ｂそれぞれに送出されたＢ信号の総数がｎ１ｂ，ｎ２ｂであるとき、線形変換された信号の総数がｎ１（＝ｎ１ｒ＋ｎ１ｇ＋ｎ１ｂ）となり、又、対数変換された信号の総数がｎ２（＝ｎ２ｒ＋ｎ２ｇ＋ｎ２ｂ）となる。
【００７３】
そして、線形変換された信号の総数ｎ１と対数変換された信号の総数ｎ２との比によって、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂを設定する。このとき、例えば、ｘｒ＝ｘｂ＝ｎ１／（ｎ１＋ｎ２）、ｙｒ＝ｙｂ＝ｎ２／（ｎ１＋ｎ２）と設定するようにして、その総数が大きくなる信号に対する重み付け係数が大きくなるように設定する。このようにして重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが設定されると、重み付け係数ｘｒ，ｙｒが加重加算部７６ｒに与えられるとともに、重み付け係数ｘｂ，ｙｂが加重加算部７６ｂに与えられる。
【００７４】
尚、本例のＡＥ・ＷＢ評価値設定部７において、重み付け係数設定部７７で、ＲＧＢ信号全てを対象とする線形変換された信号の総数ｎ１と対数変換された信号の総数ｎ２とを用いて、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが求められるものとしたが、ＲＧＢ信号それぞれを対象とする線形変換された信号の総数ｎ１ｒ，ｎ１ｇ，ｎ１ｂと対数変換された信号の総数ｎ２ｒ，ｎ２ｇ，ｎ２ｂとを用いて、重み付け係数ｘｒ，ｙｒ，ｘｂ，ｙｂが求められるものとしても構わない。このとき、重み付け係数ｘｒ，ｙｒが、線形変換されたＲ信号の総数ｎ１ｒと対数変換されたＲ信号の総数ｎ２ｒとの関係により求められるとともに、重み付け係数ｘｂ，ｙｂが、線形変換されたＢ信号の総数ｎ１ｂと対数変換されたＢ信号の総数ｎ２ｂとの関係により求められるものとしても構わない。又、重み付け係数ｘｒ，ｙｒが、線形変換されたＲＧ信号それぞれの総数ｎ１ｒ，ｎ１ｇと対数変換されたＲＧ信号の総数ｎ２ｒ，ｎ２ｇとの関係により求められるとともに、重み付け係数ｘｂ，ｙｂが、線形変換されたＧＢ信号の総数ｎ１ｇ，ｎ１ｂと対数変換されたＧＢ信号の総数ｎ２ｇ，ｎ２ｂとの関係により求められるものとしても構わない。
【００７５】
又、主被写体を検出するオートフォーカス（ＡＦ）機能を備えるとき、ＡＦ機能により検出した主被写体を中心とする領域の画素に対して、線形変換された信号を出力する画素数と対数変換された信号を出力する画素数との関係により、重み付け係数を設定するものとしても構わない。
【００７６】
又、上述の第１例及び第２例のＡＥ・ＷＢ評価値設定部７において、Ｇ信号の光電変換特性がＷＢ評価値演算部７４ｒ，７４ｂ，７５ｒ，７５ｂに与えられて、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が求められるものとしたが、線形変換された信号の平均値における輝度値Ｌ１avがＷＢ評価値演算部７４ｒ，７４ｂに与えられるとともに、対数変換された信号の平均値における輝度値Ｌ２avがＷＢ評価値演算部７５ｒ，７５ｂに与えられて、ＷＢ評価値ｗｒ１，ｗｂ１，ｗｒ２，ｗｂ２が求められるものとしても構わない。
【００７７】
このとき、ＷＢ評価値演算部７４ｒでは、線形変換されたＲＧ信号それぞれの平均値ｒ１av，ｇ１avと輝度値Ｌ１avとの関係より、ＲＧ信号それぞれの光電変換特性を確認し、ＲＧ信号それぞれの閾値レベルＶthに相当する輝度値の差となるＷＢ評価値ｗｒ１を求める。同様に、ＷＢ評価値演算部７５ｒでは、対数変換されたＲＧ信号それぞれの平均値ｒ２av，ｇ２avと輝度値Ｌ２avとの関係より、ＲＧ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｒ２を求める。同様に、ＷＢ評価値演算部７４ｂでは、線形変換されたＧＢ信号それぞれの平均値ｇ１av，ｂ１avと輝度値Ｌ１avとの関係より、ＧＢ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｂ１を求め、又、ＷＢ評価値演算部７５ｂでは、対数変換されたＧＢ信号それぞれの平均値ｇ２av，ｂ２avと輝度値Ｌ２avとの関係より、ＧＢ信号それぞれの光電変換特性を確認し、ＷＢ評価値ｗｂ２を求める。
【００７８】
＜全体制御部によるデータテーブル生成動作の第１例＞
以下に、全体制御部によるデータテーブル生成動作の第１例について説明する。ＡＥ・ＷＢ評価値設定部の第１例又は第２例のように動作して、ＡＥ・ＷＢ評価値設定部７においてＷＢ評価値ｗｒ，ｗｂが設定されると、図９のような構成の全体制御部１３のマイコン１３２に与えられる。マイコン１３２では、ＷＢ評価値ｗｒ，ｗｂを確認すると、ＷＢ評価値ｗｒ，ｗｂと固体撮像素子２に対して設定したダイナミックレンジの大きさに基づいて、メモリ１３３よりＲＧＢ信号それぞれに対する光電変換特性を読み出す。そして、マイコン１３２は、ホワイトバランス処理を行うためのデータテーブルを生成し、ＷＢ制御回路８に与える。
【００７９】
このとき、メモリ１３３には、Ｇ信号の光電変換特性が、固体撮像素子２のダイナミックレンジの大きさに応じて、例えば、図７のグラフのように離散的に格納され、又、ＲＢ信号それぞれの光電変換特性が、上記各ダイナミックレンジ毎にＷＢ評価値に応じて、例えば、図１４のグラフのように離散的に格納される。又、図７のグラフのように、Ｇ信号の光電変換特性として４種類の光電変換特性ａ１〜ａ４が格納され、図１４のグラフのように、ダイナミックレンジ毎にＲＢ信号の光電変換特性として６種類の光電変換特性ｂ１〜ｂ６が格納されるとき、メモリ１３３内では、４×６種類の光電変換特性が格納されるものとなる。
【００８０】
このとき、光電変換特性の線形変換特性領域を表す（７）式におけるパラメータＡ，Ｃと、光電変換特性の対数変換特性領域を表す（８）式におけるパラメータα，βとが、メモリ１３３内に２８種類分格納される。尚、図１４は、図７における光電変換特性ａ２に応じたダイナミックレンジが選択されたときにおけるＧ信号の光電変換特性を基準としたものである。
Ｖ＝Ａ×Ｌ＋Ｃ  …（７）
Ｖ＝α×ｌｎ（Ｌ）＋β  …（８）。
【００８１】
そして、固体撮像素子２が所定のダイナミックレンジを持つように設定されたとき、選択されたダイナミックレンジに応じたＧ信号の光電変換特性をメモリ１３３より読み出す。又、ＡＥ・ＷＢ評価値検出回路７よりＷＢ評価値ｗｒ，ｗｂが与えられたとき、選択されたダイナミックレンジとＷＢ評価値ｗｒに応じたＲ信号の光電変換特性と、選択されたダイナミックレンジとＷＢ評価値ｗｂに応じたＢ信号の光電変換特性と、をメモリ１３３より読み出す。即ち、図７における光電変換特性ａ２に応じたダイナミックレンジとなるように固体撮像素子２をセンサ駆動部１３１が駆動制御するとき、まず、メモリ１３３よりＧ信号の光電変換特性として光電変換特性ａ２が読み出される。そして、ΔＬ１となるＷＢ評価値ｗｒと、−ΔＬ２となるＷＢ評価値ｗｂが与えられると、Ｒ信号の光電変換特性として光電変換特性ｂ４が、又、Ｂ信号の光電変換特性として光電変換特性ｂ２がそれぞれ、メモリ１３３より読み出される。
【００８２】
このように、ＲＧＢ信号それぞれの光電変換特性がメモリ１３３より読み出されると、マイコン１３２では、これらの光電変換特性を用いてＷＢ制御回路８に与えるＲＢ信号それぞれに対するデータテーブルＤｒ，Ｄｂを生成する。このマイコン１３２での動作について、図面を参照して説明する。尚、図１５は、マイコン１３２におけるＲＢ信号それぞれに対するデータテーブルの生成の流れを機能ブロック図の形で示したものである。今、ＲＧＢ信号の信号レベルがそれぞれ１０ｂｉｔ（０〜１０２３）で表されているものとする。
【００８３】
マイコン１３２では、まず、輝度演算ブロック１３４ｒにおいて、メモリ１３３で読み出されたＲ信号の光電変換特性に基づいて、Ｒ信号の信号レベル０〜１０２３それぞれの輝度値を求める。同様に、輝度演算ブロック１３４ｂにおいて、メモリ１３３で読み出されたＢ信号の光電変換特性に基づいて、Ｂ信号の信号レベル０〜１０２３それぞれの輝度値を求める。即ち、Ｒ信号については、光電変換特性ｂ４に基づいて、各信号レベルの輝度値が求められ、又、Ｂ信号については、光電変換特性ｂ２に基づいて、各信号レベルの輝度値が求められる。よって、ＲＢ信号それぞれについて、図１６（ａ）のように、光電変換特性ｂ４，ｂ２が用いられることで、例えば、信号レベルＶｘに対する輝度値Ｌｒｘ，Ｌｂｘが求められる。
【００８４】
この輝度演算ブロック１３４ｒ，１３４ｂそれぞれで求められた輝度値は、信号値演算ブロック１３５ｒ，１３５ｂに与えられる。そして、信号値演算ブロック１３５ｒにおいて、メモリ１３３で読み出されたＧ信号の光電変換特性に基づいて、Ｒ信号の信号レベル０〜１０２３それぞれの輝度値に対する補正処理後の信号レベルが求められる。同様に、信号値演算ブロック１３５ｂにおいて、メモリ１３３で読み出されたＧ信号の光電変換特性に基づいて、Ｂ信号の信号レベル０〜１０２３それぞれの輝度値に対する補正処理後の信号レベルが求められる。即ち、光電変換特性ａ２に基づいて、各信号レベルに対して求められた輝度値に対する信号レベルが求められる。よって、ＲＢ信号それぞれについて、図１６（ｂ）のように、光電変換特性ａ２が用いられることで、例えば、信号レベルＶｘに対する輝度値Ｌｒｘ，Ｌｂｘより、信号レベルＶｘに対する補正処理後の信号レベルＶｒｘ，Ｖｂｘが求められる。
【００８５】
このようにして、ＲＢ信号それぞれの信号レベル０〜１０２３それぞれに対して、補正処理後の信号レベルが求められたとき、信号値演算ブロック１３５ｒ，１３５ｂより、ＲＢ信号それぞれの補正処理後の信号レベルが、データベース生成ブロック１３６ｒ，１３６ｂに与えられる。このデータベース生成ブロック１３６ｒでは、Ｒ信号の信号レベル０〜１０２３を入力アドレスとする。そして、信号レベル０〜１０２３それぞれに対して信号値演算ブロック１３５ｒで最終的に求められた１０２４個の補正処理後の信号レベルを、入力アドレス０〜１０２３に対応させて格納したデータベースＤｒを生成する。同様に、データベース生成ブロック１３６ｂでは、Ｂ信号の信号レベル０〜１０２３を入力アドレスとする。そして、信号レベル０〜１０２３それぞれに対して信号値演算ブロック１３５ｂで最終的に求められた１０２４個の補正処理後の信号レベルを、入力アドレス０〜１０２３に対応させて格納したデータベースＤｂを生成する。このようにして生成したデータベースＤｒ，ＤｂをＷＢ制御回路８に送出する。
【００８６】
上述の説明においては、ＲＧＢ信号それぞれの光電変換特性をメモリ１３３に格納しているが、Ｇ信号の光電変換特性のみをメモリ１３３に格納し、ＲＢ信号の光電変換特性は前述のＷＢ評価値ｗｒ、ｗｂより演算で求めるようにしても良い。例えば、Ｒ信号に関して光電変換特性の線形特性領域を表す式（７）におけるパラメータＡ（Ａｒ）は以下の（９）〜（１１）式より算出することができる。
【００８７】
Ｖth＝Ａｇ×Ｌｇ＋Ｃ  …（９）
Ｖth＝Ａｒ×（Ｌｇ＋ｗｒ）＋Ｃ  …（１０）
（９）、（１０）式より
Ａｒ＝（Ａｇ×Ｌｇ）／（Ｌｇ＋ｗｒ）  …（１１）
但し、ＡｇはＧ信号に対する光電変換係数、ＬｇはＧ信号の輝度を示す。
【００８８】
又、Ｒ信号の対数特性領域についても同様に、演算により求めることができ、更に、Ｂ信号に関する光電変換特性もＲ信号同様、演算により求めることができる。このように、演算により光電変換特性を求めた場合、精度の高いホワイトバランス処理を行うことができる。
【００８９】
＜全体制御部によるデータテーブル生成動作の第２例＞
次に、全体制御部によるデータテーブル生成動作の第２例について説明する。尚、本例において、上述のデータテーブル生成動作の第１例と同様の部分については、データテーブル生成動作の第１例を参照するものとし、その詳細な説明は省略する。本例では、第１例と異なり、メモリ１３３内には、固体撮像素子２のダイナミックレンジの大きさに応じたＧ信号の光電変換特性のみが格納され、ＲＢ信号それぞれの光電変換特性については、メモリ１３３で読み出された光電変換特性に基づいて生成される。
【００９０】
本例におけるデータテーブル生成動作について、図１７を参照して以下に説明する。尚、図１７は、マイコン１３２におけるＲＢ信号それぞれに対するデータテーブルの生成動作の流れを機能ブロック図の形で示したものである。今、ＲＧＢ信号の信号レベルがそれぞれ１０ｂｉｔ（０〜１０２３）で表されているものとする。マイコン１３２では、まず、メモリ１３３より読み出したＧ信号の光電変換特性とＡＥ・ＷＢ評価値検出回路７からのＷＢ評価値ｗｒが光電変換特性生成ブロック１３７ｒに与えられ、Ｒ信号の光電変換特性が生成される。同様に、Ｇ信号の光電変換特性とＷＢ評価値ｗｂが光電変換特性生成ブロック１３７ｂに与えられ、Ｂ信号の光電変換特性が生成される。
【００９１】
即ち、メモリ１３３よりＧ信号の光電変換特性が読み出されると、光電変換特性生成ブロック１３７ｒ，１３７ｂそれぞれにおいて、ＷＢ評価値ｗｒ，ｗｂそれぞれに基づいて、ＲＢ信号それぞれに対して、（７）式のＡ及び（８）式のα、βが求められ、ＲＢ信号それぞれの光電変換特性が生成される。よって、例えば、固体撮像素子２のダイナミックレンジを設定したときに、図７における光電変換特性ａ２がＧ信号の光電変換特性として読み出されるとともに、ＷＢ評価値ｗｒ，ｗｂそれぞれがΔＬｒ，ΔＬｂとなるとき、図１８のように、Ｒ信号の光電変換特性が光電変換特性ｂｒとなり、又、Ｂ信号の光電変換特性が光電変換特性ｂｂとなる。
【００９２】
そして、光電変換特性生成ブロック１３７ｒ，１３７ｂそれぞれにおいて生成されたＲＢ信号それぞれの光電変換特性は、輝度演算ブロック１３４ｒ，１３４ｂに与えられる。よって、ＲＢ信号それぞれの光電変換特性が図１８のように設定されるとき、輝度演算ブロック１３４ｒでは、光電変換特性ｂｒに基づいて、Ｒ信号の信号レベル０〜１０２３それぞれに対する輝度値が求められ、又、輝度演算ブロック１３４ｂでは、光電変換特性ｂｂに基づいて、Ｂ信号の信号レベル０〜１０２３それぞれに対する輝度値が求められる。その後、信号値演算ブロック１３５ｒ，１３５ｂにおいて、この輝度演算ブロック１３４ｒ，１３４ｂそれぞれで求められた輝度値に基づいて、補正処理後の信号レベルが求められ、データベース生成ブロック１３６ｒ，１３６ｂにおいて、ＲＢ信号それぞれのデータベースＤｒ，Ｄｂが生成される。
【００９３】
よって、データベースＤｒが、Ｒ信号の信号レベル０〜１０２３を入力アドレスとするとともに、信号値演算ブロック１３５ｒで求められた信号レベル０〜１０２３に対する補正処理後の信号レベルを各入力アドレスに対応して格納される。又、データベースＤｂが、Ｂ信号の信号レベル０〜１０２３を入力アドレスとするとともに、信号値演算ブロック１３５ｂで求められた信号レベル０〜１０２３に対する補正処理後の信号レベルを各入力アドレスに対応して格納される。尚、輝度演算ブロック１３４ｒ，１３４ｂ及び信号値演算ブロック１３５ｒ，１３５ｂ及びデータベース生成ブロック１３６ｒ，１３６ｂは、第１例と同様の動作を行う。
【００９４】
＜全体制御部によるデータテーブル生成動作の第３例＞
次に、全体制御部によるデータテーブル生成動作の第３例について説明する。尚、本例において、上述のデータテーブル生成動作の第２例と同様の部分については、データテーブル生成動作の第２例を参照するものとし、その詳細な説明は省略する。本例では、第２例と異なり、ＲＢ信号の信号レベルに応じた輝度値が求められた後、ＡＥゲイン調整や階調変換が行われる。
【００９５】
本例におけるデータテーブル生成動作について、図１９を参照して以下に説明する。尚、図１９は、マイコン１３２におけるＲＢ信号それぞれに対するデータテーブルの生成の流れを機能ブロック図の形で示したものである。今、ＲＧＢ信号の信号レベルがそれぞれ１０ｂｉｔ（０〜１０２３）で表されているものとする。マイコン１３２では、まず、第２例と同様、光電変換特性生成ブロック１３７ｒ，１３７ｂそれぞれにおいて、メモリ１３３より読み出したＧ信号の光電変換特性とＡＥ・ＷＢ評価値検出回路７からのＷＢ評価値ｗｒ，ｗｂに基づいて、ＲＢ信号それぞれの光電変換特性が生成される。
【００９６】
そして、光電変換特性生成ブロック１３７ｒ，１３７ｂそれぞれにおいて生成されたＲＢ信号それぞれの光電変換特性が輝度演算ブロック１３４ｒ，１３４ｂに与えられ、Ｒ信号の信号レベル０〜１０２３それぞれに対する輝度値と、Ｂ信号の信号レベル０〜１０２３それぞれに対する輝度値と、が求められる。又、輝度演算ブロック１３４ｇにおいて、メモリ１３３より読み出したＧ信号の光電変換特性に基づいてＧ信号の信号レベル０〜１０２３それぞれに対する輝度値が求められる。このようにして、ＲＧＢ信号それぞれにおける各信号レベルの輝度値が、ＡＥゲイン調整ブロック１３８ｒ，１３８ｇ，１３８ｂに与えられる。
【００９７】
そして、ＡＥゲイン調整ブロック１３８ｒ，１３８ｇ，１３８ｂでは、ＡＥ・ＷＢ評価値検出回路７より与えられるＡＥ評価値に基づいて、各輝度値を増幅又は縮小させる。このＡＥゲイン調整は、輝度値の増幅率を変更してゲイン調整を行うことで、撮像された被写体を明るくしたり暗くして明度を変更する処理である。即ち、ＡＥゲイン調整ブロック１３８ｒにおいて、Ｒ信号の信号レベル０〜１０２３それぞれに対する輝度値をＡＥ評価値に基づく増幅率により増幅又は縮小し、ＡＥゲイン調整ブロック１３８ｇにおいて、Ｇ信号の信号レベル０〜１０２３それぞれに対する輝度値をＡＥ評価値に基づく増幅率により増幅又は縮小し、ＡＥゲイン調整ブロック１３８ｂにおいて、Ｂ信号の信号レベル０〜１０２３それぞれに対する輝度値をＡＥ評価値に基づく増幅率により増幅又は縮小する。
【００９８】
このようにしてゲイン調整が施されたＲＧＢ信号の信号レベル０〜１０２３それぞれに対する輝度値は、階調変換ブロック１３９ｒ，１３９ｇ，１３９ｂに与えられる。そして、階調変換ブロック１３９ｒ，１３９ｇ，１３９ｂでは、ＲＧＢ信号の各輝度値に、モニタなどの再生出力装置で再生表示する際に目的とする輝度を得るための特性を与えるために、ＡＥゲイン調整ブロック１３８ｒ，１３８ｇ，１３８ｂそれぞれから与えられる輝度値に対して、再生出力装置における階調特性による階調変換が行われる。即ち、再生出力装置がＣＲＴモニタである場合、γカーブによる特性が階調特性となるため、階調変換ブロック１３９ｒにおいては、ゲイン調整が施されたＲ信号の信号レベル０〜１０２３それぞれに対する輝度値に対してγ補正を施し、階調変換ブロック１３９ｇにおいては、ゲイン調整が施されたＧ信号の信号レベル０〜１０２３それぞれに対する輝度値に対してγ補正を施し、階調変換ブロック１３９ｂにおいては、ゲイン調整が施されたＢ信号の信号レベル０〜１０２３それぞれに対する輝度値に対してγ補正を施す。
【００９９】
このようにしてゲイン調整及び階調変換が行われたＲＧＢ信号の信号レベル０〜１０２３それぞれに対する輝度値は、信号値演算ブロック１３５ｒ，１３５ｇ，１３５ｂに与えられる。その後、信号値演算ブロック１３５ｒ，１３５ｇ，１３５ｂにおいて、階調変換ブロック１３９ｒ，１３９ｇ，１３９ｂから与えられた各輝度値とメモリ１３３から読み出されたＧ信号の光電変換特性とに基づいて、補正処理後の信号レベルが求められる。その後、この補正処理後の信号レベルが、データベース生成ブロック１３６ｒ，１３６ｇ，１３６ｂに与えられると、ＲＧＢ信号それぞれのデータベースＤｒ，Ｄｇ，Ｄｂが生成される。尚、信号値演算ブロック１３５ｒ，１３５ｇ，１３５ｂ及びデータベース生成ブロック１３６ｒ，１３６ｇ，１３６ｂは、第１例及び第２例における信号値演算ブロック１３５ｒ，１３５ｂ及びデータベース生成ブロック１３６ｒ，１３６ｂと同様の動作を行う。
【０１００】
よって、上述のようにして生成されたデータベースＤｇについては、Ｇ信号に対してゲイン調整及び階調変換が行われたデータを格納するデータベースとなり、又、データベースＤｒ，Ｄｂについては、ＲＢ信号それぞれに対してホワイトバランス処理及びゲイン調整及び階調変換が行われたデータを格納するデータベースとなる。このことより、本例におけるデータテーブル生成動作処理を行うことで、ＷＢ制御部８において、ＲＧＢ信号それぞれに対して、ホワイトバランス処理を行うとともにゲイン調整及び階調変換を行うことができるため、図１における階調変換回路１１を省略することができる。
【０１０１】
尚、上述のデータテーブル生成動作の各例において、固体撮像素子２のダイナミックレンジを離散的に切り換える場合について、以上のように説明したが、固体撮像素子２のダイナミックレンジを連続的に切り換える場合においては、次のような動作処理を行うようにしても構わない。まず、メモリ１３３には、固体撮像素子２のダイナミックレンジを離散的に切り換える場合と同様、複数段階の光電変換特性を格納する。そして、設定された固体撮像素子２のダイナミックレンジの値（例えば、信号φＶPSの電圧値ＶＬ）が、離散的に設定された２つのダイナミックレンジの間の値となるとき、離散的に設定された２つのダイナミックレンジに対する２つの光電変換特性をメモリ１３３から読み出す。
【０１０２】
そして、固体撮像素子２に対して設定されたダイナミックレンジの値（例えば、信号φＶPSの電圧値ＶＬ）と離散的に設定された２つのダイナミックレンジの値との関係より、メモリ１３３より読み出して２つの光電変換特性の各係数（（７）式のＡ及び（８）式のα，β）を補間処理することで、新たな光電変換特性を生成する。そして、このように生成した光電変換特性を、現在固体撮像素子２に対して設定しているダイナミックレンジに対するＧ信号の光電変換特性として用いる。即ち、例えば、図７のグラフのように、固体撮像素子２の光電変換特性ａ１〜ａ４に対する４種類のデータテーブルがメモリ１３３に格納されているとともに、光電変換特性ａ２，ａ３の間となる光電変換特性となるダイナミックレンジが固体撮像素子２に対して設定されるものとする。このとき、光電変換特性ａ２，ａ３を補間処理することで、現在固体撮像素子２に対して設定されているダイナミックレンジに対する光電変換特性ａｘが、図２０のように求められ、Ｇ信号の光電変換特性として用いられる。このようにして求められたＧ信号の光電変換特性とＷＢ評価値ｗｒ，ｗｂとを用いて、ＲＢ信号の光電変換特性それぞれを求める。尚、このとき、Ｇ信号の光電変換特性と、ＷＢ評価値ｗｒ，ｗｂから得られる閾値レベルＶthでの輝度差を用いてＲＢ信号の光電変換特性が逆算される。
【０１０３】
＜ＷＢ制御回路の第１例＞
図１のように構成される撮像装置におけるＷＢ制御回路の第１例について、図面を参照して以下に詳細に説明する。図２１は、本例のＷＢ制御回路の内部構成を示すブロック図である。尚、本例のＷＢ制御回路は、全体制御部によるデータテーブル生成動作の第１例又は第２例において生成されたデータテーブルＤｒ，Ｄｂが与えられる。
【０１０４】
本例のＷＢ制御回路８は、図２１に示すように、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＲ信号の信号レベルを変換する信号値変換部８１ｒと、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＢ信号の信号レベルを変換する信号値変換部８１ｂと、Ｒ信号の信号レベルの入出力変換値を表すデータテーブルＤｒを格納するＬＵＴ（Look Up Table）８２ｒと、Ｂ信号の信号レベルの入出力変換値を表すデータテーブルＤｂを格納するＬＵＴ８２ｂと、信号値変換部８１ｒ，８１ｂそれぞれから出力されるＲＢ信号とＦＰＮ補正回路６でＦＰＮ成分が除去されたＧ信号との出力タイミングを調整するタイミング調整部８３と、を備える。
【０１０５】
このように構成されるＷＢ制御回路８は、全体制御部１３のマイコン１３２において生成されたデータテーブルＤｒ，Ｄｂが与えられると、データテーブルＤｒ，ＤｂをそれぞれＬＵＴ８２ｒ，８２ｂに格納する。そして、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号それぞれがＷＢ制御回路８に入力されると、Ｒ信号が信号値変換部８１ｒに与えられ、Ｂ信号が信号値変換部８１ｂに与えられる。信号値変換部８１ｒでは、入力されたＲ信号の信号レベルを確認すると、ＬＵＴ８２ｒ内のデータテーブルＤｒを参照し、入力されたＲ信号の信号レベルと同じ入力アドレスに対して格納された補正処理後の信号レベルを読み出す。そして、読み出した補正処理後の信号レベルを新たなＲ信号の信号レベルとしてタイミング調整部８３に送出する。同様に、信号値変換部８１ｂでは、入力されたＢ信号の信号レベルを確認すると、ＬＵＴ８２ｂ内のデータテーブルＤｂを参照し、その補正処理後の信号レベルを読み出すとともに、この補正処理後の信号レベルを新たなＢ信号の信号レベルとしてタイミング調整部８３に送出する。
【０１０６】
よって、信号値変換部８１ｒ，８１ｂそれぞれにおいて、Ｇ信号を基準としたホワイトバランス処理が施される。このとき、入力されたＲＧＢ信号の光電変換特性が図２２（ａ）のグラフに示すような関係となる場合、ＲＧＢ信号それぞれの入出力関係は図２２（ｂ）のグラフに示すような関係となる。即ち、図２２（ｂ）において、Ｇ信号の入出力関係が直線的な関係となる。そして、ＲＢ信号の入出力関係が、光電変換特性がＧ信号の光電変換特性の線形変換特性と重なる線形変換特性領域（線形領域）についてはＧ信号の入出力関係の傾きを変更した状態となり、又、光電変換特性がＧ信号の光電変換特性の対数変換特性と重なる対数変換特性領域（対数領域）についてはＧ信号の入出力関係を平行移動させた状態となる。又、ＲＢ信号の入出力関係において、光電変換特性の対数変換特性がＧ信号の光電変換特性の線形変換特性と重なる部分、又は、光電変換特性の対数変換特性がＧ信号の光電変換特性の線形変換特性と重なる部分となる中間領域については、線形領域におけるＧ信号の入出力関係を乗除算するものと対数領域におけるＧ信号の入出力関係を加減算するものとを組み合わせた状態となる。
【０１０７】
このようにして信号値変換部８１ｒ，８１ｂそれぞれで補正処理後の信号レベルに変換されたＲＢ信号と、ＦＰＮ補正回路６でＦＰＮ補正されたＧ信号とが、タイミング調整部８３に入力される。このタイミング調整部８３では、信号値変換部８１ｒ，８１ｂにおいて変換処理がなされたＲＢ信号と、変換処理が行われることのないＧ信号とを出力するためのタイミングを調整する。このように出力タイミングが調整されたＲＧＢ信号が後段の色補間回路９に出力され、後段の各回路で各画素に応じた信号処理を行うことができる。
【０１０８】
＜ＷＢ制御回路の第２例＞
図１のように構成される撮像装置におけるＷＢ制御回路の第２例について、図面を参照して以下に詳細に説明する。図２３は、本例のＷＢ制御回路の内部構成を示すブロック図である。尚、本例のＷＢ制御回路は、全体制御部によるデータテーブル生成動作の第３例において生成されたデータテーブルＤｒ，Ｄｂが与えられる。又、図２３に示すＷＢ制御回路において、図２１のＷＢ制御回路と同一の目的で使用する部分については、その詳細な説明を省略し、同一の符号を付す。
【０１０９】
本例のＷＢ制御回路８は、図２３に示すように、信号値変換部８１ｒ，８１ｂと、ＬＵＴ８２ｒ，８２ｂと、ＦＰＮ補正回路６でＦＰＮ成分が除去されたＧ信号の信号レベルを変換する信号値変換部８１ｇと、Ｇ信号の信号レベルの入出力変換値を表すデータテーブルＤｇを格納するＬＵＴ８２ｇと、信号値変換部８１ｒ，８１ｇ，８１ｂそれぞれから出力されるＲＧＢ信号それぞれの出力タイミングを調整するタイミング調整部８３と、を備える。
【０１１０】
このように構成されるＷＢ制御回路８は、全体制御部１３のマイコン１３２において生成されたデータテーブルＤｒ，Ｄｇ，Ｄｂが与えられると、データテーブルＤｒ，Ｄｇ，ＤｂをそれぞれＬＵＴ８２ｒ，８２ｇ，８２ｂに格納する。そして、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号それぞれがＷＢ制御回路８に入力されると、ＲＧＢ信号がそれぞれ、信号値変換部８１ｒ，８１ｇ，８１ｂに与えられる。信号値変換部８１ｒ，８１ｂでは、第１例と同様、ＬＵＴ８２ｒ，８２ｂ内のデータテーブルＤｒ，Ｄｂを参照し、入力されたＲＢ信号の信号レベルと同じ入力アドレスに対して格納された補正処理後の信号レベルを読み出し、新たなＲＢ信号としてタイミング調整部８３に送出する。又、信号値変換部８１ｇにおいても、入力されたＧ信号の信号レベルを確認すると、ＬＵＴ８２ｇ内のデータテーブルＤｇを参照し、入力されＧ信号の信号レベルと同じ入力アドレスに対して格納された補正処理後の信号レベルを読み出し、新たなＧ信号としてタイミング調整部８３に送出する。
【０１１１】
よって、信号値変換部８１ｒ，８１ｂそれぞれにおいて、Ｇ信号を基準としたホワイトバランス処理が施されるとともに、ＲＢ信号に対してゲイン調整及び階調変換が施されることとなる。又、信号値変換部８１ｇにおいて、Ｇ信号に対してゲイン調整及び階調変換が施されることとなる。このようにして信号値変換部８１ｒ，８１ｇ，８１ｂそれぞれで補正処理後の信号レベルに変換されたＲＧＢ信号は、タイミング調整部８３において、その出力タイミングが調整される。このように出力タイミングが調整されたＲＧＢ信号が後段の色補間回路９に出力され、後段の各回路で各画素に応じた信号処理を行うことができる。
【０１１２】
尚、本実施形態において、固体撮像素子を画像信号からノイズ信号を減算することで素子内で画素バラツキを除去するように動作するものとし、ＦＰＮ補正回路において画像信号内に更に残存するＦＰＮ成分を除去するようにしたが、固体撮像素子においてノイズ信号の読み出しを行うことなく、ＦＰＮ補正回路において画素バラツキなどにより発生するＦＰＮ成分全てを除去するようにしても構わない。
【０１１３】
又、本実施形態において、複数種類の色フィルタを１つの固体撮像素子に設けた単板の固体撮像素子としたが、例えば、ＲＧＢの色フィルタ毎に固体撮像素子を備えた三板の固体撮像素子のように、同一の色フィルタが備えられた固体撮像素子を色フィルタの種類毎に備える構成としても構わない。又、本実施形態において、線形特性領域と対数特性領域とを含む光電変換特性を示すものについて説明したが、これに限らず、例えば、第１の線形変換特性から第１の線形変換特性とは傾きの異なる第２の線形変換特性に変化するようなものや、線形変換特性と対数変換特性以外の非線形変換特性とを含むものなどの、いわゆる適応型センサと呼ばれるものについて当てはまる。
【０１１４】
＜撮像システム＞
上述の撮像装置においては、ホワイトバランス処理を含む各種信号処理を撮像装置内で行うものとしたが、これらの各種信号処理を撮像装置において行うことなく、撮像装置で得られたデータが与えられたコンピュータにおいて上述の各種信号処理を行うような撮像システムを構成することもできる。以下では、このような撮像装置とコンピュータを含む撮像システムについて、図面を参照して説明する。
【０１１５】
この撮像システムは、図２４に示すように、被写体を撮像してＲＧＢ信号を生成する撮像装置２００と、撮像装置２００から出力されるＲＧＢ信号を受信してホワイトバランス処理を含む各種信号処理を施すコンピュータ２５０と、によって構成される。このとき、撮像装置２００において、被写体を撮像して得たＲＧＢ信号に対して黒基準補正及びＦＰＮ補正を行うとともに、露光量設定を行うためのＡＥ評価値の検出を行う。それに対して、コンピュータ２５０では、ＷＢ評価値の検出を行うとともに、撮像装置２００から与えられたＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施す。
【０１１６】
このような撮像システムにおいて、撮像装置２００が、光学系１、固体撮像素子２、アンプ３、ＡＤ変換回路４、黒基準補正回路５、ＦＰＮ補正回路６、絞り制御部１４、及びタイミング生成回路１５と、ＡＥ評価値を検出するＡＥ評価値検出回路７ａと、各ブロックの制御を行う全体制御部１３ａと、ＦＰＮ補正回路６でＦＰＮ補正されたＲＧＢ信号を一時的に格納するメモリ２０１と、メモリ２０１に一時的に格納したＲＧＢ信号を読み出して外部に送信する入出力インターフェース２０２と、を備える。
【０１１７】
又、コンピュータ２５０は、ＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant）などであり、データの処理演算を行うＣＰＵ（Central Processing Unit）２５１と、データを一時的に格納するメモリ２５２と、アプリケーションやデータが格納されるハードディスク２５３と、データの入力を行うキーボードやマウスなどの入力部２５４と、映像を表示するディスプレイ２５５と、外部とのデータのやりとりを行う入出力インターフェース２５６と、を備える。
【０１１８】
このように、撮像装置２００及びコンピュータ２５０がそれぞれ構成するとき、コンピュータ２５０において、ＲＧＢ信号に対してホワイトバランス処理以降の各種信号処理を施すためのアプリケーションがハードディスク２５３に格納されている。このアプリケーションをハードディスク２５３より読み出して、メモリ２５２に格納させることで、ＷＢ評価値の検出動作とホワイトバランス処理以降の各種信号処理を行うことができる。又、このアプリケーションを起動することによって、ユーザが各種信号処理におけるパラメータを指定するためのユーザインターフェース（ＵＩ）がディスプレイ２５５に表示される。
【０１１９】
以下では、この撮像システムにおける撮像装置２００及びコンピュータ２５０それぞれの動作について、図面を参照して説明する。
【０１２０】
まず、撮像装置２００においては、図１の撮像装置と同様、固体撮像素子２に光が入射されると、アナログ信号となるＲＧＢ信号が生成されて、アンプ３で増幅された後、Ａ／Ｄ変換回路４でデジタル信号に変換される。このデジタル信号となるＲＧＢ信号は、黒基準補正回路５において、最低輝度値となる黒レベルが基準値に補正された後、ＦＰＮ補正回路６において格納しているＦＰＮ成分を減算することによって、ＦＰＮ成分が除去される。そして、ＦＰＮ成分が除去されたＲＧＢ信号がメモリ２０１に格納される。このように動作するとき、ＦＰＮ成分が除去されたＲＧＢ信号がＡＥ評価値検出回路７ａに与えられると、被写体の輝度範囲を確認し、絞り制御部１４によって設定される絞り１ａの開口度を決めるＡＥ評価値が検出される。
【０１２１】
又、撮像装置２００は、撮像動作を行う際に固体撮像素子２に対して設定された光電変換特性を示すダイナミックレンジ情報を、撮像した画像毎に確認し、その画像のＲＧＢ信号とともにメモリ２０１に格納する。このダイナミックレンジ情報は、以下の４つの情報の（１）、（２）の少なくともいずれか一方と、（３）、（４）の少なくともいずれか一方と、を備えるか、又は、（１）〜（４）の少なくともいずれか一方のみを備える。
（１）固体撮像素子２の光電変換特性の変極点Ｖth
（２）固体撮像素子２の光電変換特性を設定するためのモード番号Ｍ
（３）固体撮像素子２の光電変換特性を示す近似式の係数Ａ，Ｃ，α，β
（４）撮像装置２００の撮像条件
【０１２２】
これらのダイナミックレンジ情報において、固体撮像素子２の光電変換特性の変極点Ｖthは、固体撮像素子２の光電変換特性対数変換特性から線形変換特性に変更する際のＲＧＢ信号の信号レベルを示す。又、固体撮像素子２の光電変換特性を設定するためのモード番号Ｍは、このモード番号Ｍがコンピュータ２５０側で設定されることで、撮像装置２００の固体撮像素子２の光電変換特性が設定されるものである。又、固体撮像素子２の光電変換特性を示す近似式の係数は、線形変換特性を表す（イ）式  Ｖ＝Ａ×Ｌ＋Ｃ  における係数Ａ，Ｃと、対数変換特性を表す（ロ）式  Ｖ＝α×ｌｎ（Ｌ）＋β  における係数α，βとによって構成される。又、撮像装置２００の撮像条件とされるとき、信号φＶPSの電圧値ＶＨ，ＶＬの電圧差ΔＶPSと、固体撮像素子２への露光時間ｔｘと、絞り１ａの開口率ｒｘと、固体撮像素子２の内部アンプ及びアンプ３での増幅率ａｘが、ダイナミックレンジ情報となる。この撮像装置２００の撮像条件をダイナミックレンジ情報としたときは、（イ）式における係数Ａと（露光時間×絞り１ａの開口率×増幅率）との関係が既知であるとともに、（ロ）式における係数βと信号φＶPSの電圧差ΔＶPS、及び、係数αと増幅率の関係が既知である。
【０１２３】
又、コンピュータ２５０は、入力部２５４が操作されることで、ハードディスク２５３よりアプリケーションが読み出されて、アプリケーションによって指定される動作が開始されると、ディスプレイ２５５に、ＵＩとして、図２５のような画面が表示される。図２５の画面には、撮像されて得られた画像を表示する画像表示領域Ｘ１と、画像の鮮鋭度や色の濃淡の設定などの画像処理条件の設定を行う画像処理条件設定領域Ｘ２と、撮像装置２００で撮像された画像の取り込みの開始を指示するための画像取得ボタンＸ３と、ホワイトバランス処理を行う際に基準とする光電変換特性を設定するためのＷＢ設定領域Ｘ４と、色補正されたＲＧＢ信号信号に対して施す階調変換後の階調特性を示す階調特性表示領域Ｘ５と、が表示される。
【０１２４】
このとき、画像処理条件設定領域Ｘ２において、スクロールバーＳＢ１が操作されて画像の鮮鋭度が変更されると、コアリング回路１２におけるエッジ成分を設定するためのエッジ強調量が変更され、又、スクロールバーＳＢ２が操作されて画像の色の濃淡が変更されると、色補正処理におけるマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３が変更される。このとき、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られるエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わないし、予め設定された所定値のエッジ強調量又は色補正処理におけるマトリックス係数を基準として変更されるものとしても構わない。
【０１２５】
又、画像処理条件設定領域Ｘ２において、３つのオプションボタンＯｂ１〜Ｏｂ３が指定されることで、スクロールバーＳＢ１，ＳＢ２それぞれによって指定されるエッジ強調量及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３を用いる対象となる画像が指定される。即ち、スクロールバーＳＢ１，ＳＢ２で指定されたエッジ強調量及びマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３の使用が、オプションボタンＯｂ１が指定された場合は、得られた画像が光電変換特性が線形変換特性及び対数変換特性のいずれの場合においても行われることを示し、又、オプションボタンＯｂ２が指定された場合は、得られた画像が光電変換特性が線形変換特性の場合においてのみ行われることを示し、更に、オプションボタンＯｂ３が指定された場合は、得られた画像が光電変換特性が対数変換特性の場合においてのみ行われることを示す。
【０１２６】
又、ＷＢ設定領域Ｘ４において、５つのオプションボタンＷｂ１〜Ｗｂ５が指定されることで、ホワイトバランス処理を行う際のＷＢ評価値ｗｒ，ｗｂが設定される。即ち、オプションボタンＷｂ１が指定されると、撮像装置２００から与えられるＲＧＢ信号に基づいて自動的に設定されたＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定され、オプションボタンＷｂ２〜Ｗｂ５が指定されると、予め設定された値となるＷＢ評価値ｗｒ，ｗｂを用いてホワイトバランス処理を行うことが設定される。尚、オプションボタンＷｂ２〜ＷＢ５が指定される場合はそれぞれ、蛍光灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、白熱灯下での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外晴天時での画像に応じたＷＢ評価値ｗｒ，ｗｂ、屋外曇天時での画像に応じたＷＢ評価値ｗｒ，ｗｂのそれぞれが設定される。
【０１２７】
又、階調特性表示領域Ｘ５において、表示された階調特性が、色補正処理されたＲＧＢ信号それぞれに対して階調変換する際の変換前後の関係を示す。そして、表示された階調特性における線形変換特性からの対数変換特性に切りかわる変極点の位置を変更することで、そのダイナミックレンジにおいて、線形変換特性による信号となる線形領域における階調の大きさと、対数変換特性による信号となる対数領域における階調の大きさとを設定することができる。尚、階調特性の変極点の位置は、撮像装置２００から与えられるダイナミックレンジ情報に基づいて得られた位置を基準として設定されるものとしても構わないし、予め設定された所定位置を基準として設定されるものとしても構わない。又、階調特性を示す複数のＬＵＴを備え、このＬＵＴを切り換えることで、階調特性表示領域Ｘ５に表示するＬＵＴを変更するものとしても構わない。
【０１２８】
このように、コンピュータ２５０においてアプリケーションが起動されて、図２５のようなＵＩがディスプレイ２５５に表示されたとき、コンピュータ２５０が図２６のフローチャートに従って動作することで、撮像装置２００で撮像された画像がディスプレイ２５５に表示される。まず、コンピュータ２５０において、入力部２５４が操作されて、ＵＩ画面内の画像取得ボタンＸ３が押されると（ＳＴＥＰ１）、入出力インターフェース２５６に入出力インターフェース２０２が接続された撮像装置２００に対して、撮像装置２００との回線を確保する（ＳＴＥＰ２）。このとき、撮像装置２００とコンピュータ２５０との間で、通信の要求と応答を繰り返すことで、回線を確保することができる。
【０１２９】
そして、撮像装置２００との回線が確保されたか否かを確認し（ＳＴＥＰ３）、撮像装置２００との回線が確保されたことを確認したとき（Ｙｅｓ）、撮像装置２００に対して撮像して得られたＲＧＢ信号の出力を要求する（ＳＴＥＰ４）。このとき、撮像装置２００は、コンピュータ２５０からのＲＧＢ信号の出力要求を受信すると、メモリ２０１に格納している１フレーム分のＲＧＢ信号とダイナミックレンジ情報とを読み出して、入出力インターフェース２０２より出力する。このとき、１フレーム分のＲＧＢ信号によるフレームデータが生成されて出力されるとき、ダイナミックレンジ情報がフレームデータのヘッダ部分に付加されている。
【０１３０】
そして、撮像装置２００からのフレームデータを入出力インターフェース２５６で受信されて、ハードディスク２５３の一時記憶領域に格納されると（ＳＴＥＰ５）、このフレームデータのヘッダ部分からダイナミックレンジ情報を取得する（ＳＴＥＰ６）。この取得したダイナミックレンジ情報によって、各信号処理に用いるパラメータを設定するとともに、設定されたパラメータに応じた表示を、ディスプレイ２５５のＵＩ画像に対して行う（ＳＴＥＰ７）。
【０１３１】
即ち、ホワイトバランス処理に対するＷＢ検出値ｗｒ，ｗｂ、色補正処理に対するマトリックス係数ａ１〜ａ３，ｂ１〜ｂ３，ｃ１〜ｃ３、階調変換処理に対する階調特性、コアリング処理に対するエッジ強調量をそれぞれ設定するとともに、設定された各パラメータに応じた表示を、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４それぞれにおいて行う。
【０１３２】
又、このように各パラメータが設定されるとき、ホワイトバランス処理で用いるＷＢ評価値ｗｂ，ｗｒを設定するために、まず、ダイナミックレンジ情報より得られる変極点Ｖth又はモード番号Ｍより、各画素のＲＧＢ信号それぞれの光電変換特性を判別するための閾値レベルＶth（図１０〜図１２参照）を設定する。このとき、変極点Ｖthがダイナミックレンジ情報に含まれるときは、この変極点Ｖthをそのまま閾値レベルＶthとすることで設定し、モード番号Ｍがダイナミックレンジ情報に含まれるときは、予めハードディスク２５３のアプリケーションとともに格納されるモード番号Ｍに対応した閾値レベルＶthを読み出して設定する。
【０１３３】
又、ホワイトバランス処理を行うための基準となるＧ信号の光電変換特性を示す（イ）式及び（ロ）式の係数Ａｇ，Ｃ，α，βｇそれぞれについては、ダイナミックレンジ情報より得られる係数Ａ，Ｃ，α，β又は撮像装置２００の撮像条件に基づいて設定するとともに、係数Ａｇ，Ｃ，α，βｇより確認される光電変換特性より閾値レベルＶthを設定する。このとき、係数Ａ，Ｃ，α，βがダイナミックレンジ情報に含まれるとき、この係数Ａ，Ｃ，α，βをそのまま（イ）式及び（ロ）式の係数Ａｇ，Ｃ，α，βｇとすることで設定する。
【０１３４】
又、撮影条件（電圧差ΔＶPS、露光時間ｔｘ、開口率ｒｘ、増幅率ａｘ）がダイナミックレンジ情報に含まれるとき、基準値となる係数Ａ０，Ｃ０，α０、露光時間ｔｘ０、開口率ｒｘ０、増幅率ａｘ０が予めハードディスク２５３のアプリケーションとともに格納されている。そして、係数Ａｇ，Ｃ，α，βｇが、以下の、（ハ）〜（ヘ）式に基づいて算出されることで設定される。尚、β０は、予めハードディスク２５３のアプリケーションとともに格納される信号φＶPSの電圧差ΔＶPSに対応した値である。
Ａｇ＝Ａ０×（ｔｘ／ｔｘ０）×（ｒｘ／ｒｘ０）×（ａｘ／ａｘ０）  …（ハ）
Ｃ＝Ｃ０  …（ニ）
α＝α０×（ｔｘ／ｔｘ０）  …（ホ）
βｇ＝β０×（ｔｘ／ｔｘ０）  …（ヘ）
【０１３５】
このように設定されたパラメータがメモリ２５２に格納されたアプリケーションに与えられると、このアプリケーションによって、ＳＴＥＰ５で受信されたフレームデータより得られるＲＧＢ信号に対して、設定されたパラメータに応じた信号処理が行われる（ＳＴＥＰ８）。即ち、フレームデータより得られるＲＧＢ信号に対して、ホワイトバランス処理、色補間処理、色補正処理、階調変換処理、コアリング処理の順に、各信号処理を施す。尚、この各信号処理については、図１に示す撮像装置内における信号処理と同一であるため、その詳細な説明は省略する。
【０１３６】
このようにして信号処理されたＲＧＢ信号によるフレームデータがハードディスク２５３に格納されるとともに、このフレームデータによる画像が、ディスプレイ２５５の画像表示領域Ｘ１に表示される（ＳＴＥＰ９）。そして、入力部２５４が操作されて、画像処理条件設定領域Ｘ２、ＷＢ設定領域Ｘ４、ＷＢ設定領域Ｘ４における操作が成されて、各パラメータの変更が指示されたか否かが確認される（ＳＴＥＰ１０）。そして、パラメータの変更が指示されている場合（Ｙｅｓ）、指示された変更量に応じて各パラメータを変更した後（ＳＴＥＰ１１）、ＳＴＥＰ８に移行する。
【０１３７】
又、ＳＴＥＰ３において回線の確保が確認できなかったときは（Ｎｏ）、回線が接続されていないことを示す表示をディスプレイ２５５に行うとともに（ＳＴＥＰ１２）、ＳＴＥＰ２に移行する。更に、ＳＴＥＰ１０において、各パラメータの変更の指示が確認されなかった場合（Ｎｏ）、動作を終了する。
【０１３８】
このように、本システムによると、コンピュータ２５０側で、演算負荷のかかる各信号処理が行われるため、撮像装置２００の構成が簡単になるとともに、その処理速度を速くすることができる。又、本システムにおいて、撮像装置２００で、コンピュータ２５０に出力する信号を、上述の静止画像によるフレームデータだけでなく、動画像によるフレームデータやストリームデータとしても構わない。このとき、複数の静止画像のフレームデータにより動画像とされる場合、ダイナミックレンジ情報を各フレームデータのヘッダに記録するようにし、又、時間軸での画像圧縮も行うようなストリームデータにより動画像とされる場合、このストリームデータとは別の情報としてダイナミックレンジ情報を送信する。
【０１３９】
更に、撮像装置２００において、全体制御部１３ａで、コンピュータ２５０に送信するＲＧＢ信号によるフレームデータ又はストリームデータを、ＪＰＥＧやモーションＪＰＥＧ又はＭＰＥＧなどの圧縮画像にフォーマット変換して、入出力インターフェース２０２より出力するものとしても構わない。又、コンピュータ２５０において、ディスプレイ２５５に表示するＵＩに、画像表示領域Ｘ１に表示される画像のヒストグラムを表示したり、対数変換特性による画素領域と線形変換特性による画素領域とを識別するための表示を行うようにしても構わない。
【０１４０】
又、図２４の撮像システムにおいて、撮像装置２００が、黒基準補正回路５及びＦＰＮ成分補正回路６を備えるものとしたが、撮像装置２００が、図２４の構成から黒基準補正回路５及びＦＰＮ成分補正回路６が除かれた構成とし、コンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるものとしても構わない。このとき、黒基準補正処理を行うための黒レベルと、ＦＰＮ補正処理を行うためのＦＰＮ成分と、がダイナミックレンジ情報とともに送信されるものとしても構わない。
【０１４１】
更に、このようにコンピュータ２５０において黒基準補正処理及びＦＰＮ補正処理が行われるとき、この黒レベル及びＦＰＮ成分を、コンピュータ２５０が、アプリケーションとともにハードディスク２５３に格納するものとしても構わない。このとき、黒レベルについては、光電変換特性の変極点Ｖthに対しても複数格納され、この予め格納されている黒レベルより、上述のようにしてダイナミックレンジ情報によって得られる光電変換特性の変極点Ｖthに応じた黒レベルが選択される。又、ＦＰＮ成分については、個々の撮像装置２００における固体撮像素子２によって異なるため、個々の撮像装置２００毎に格納される。
【０１４２】
更に、コンピュータ２５０において、ホワイトバランス処理を行う際、ＲＧＢ信号を、その光電変換特性が全て対数変換特性による信号や、その光電変換特性が全て線形変換特性による信号に変換した後に、ホワイトバランス処理を行うものとしても構わない。即ち、光電変換特性が全て対数変換特性による信号に変換する場合は、線形変換特性によって得られた信号値を対数変換特性による信号値に変換し、又、光電変換特性が全て線形変換特性による信号に変換する場合は、対数変換特性によって得られた信号値を線形変換特性による信号値に変換する。尚、このような変換処理についての演算については、ＬＵＴを参照して行われるものとしても構わないし、演算式によって行われるものとしても構わない。
【０１４３】
又、図２４の撮像システムにおいて、撮像装置２００の入出力インターフェース２０２とコンピュータ２５０の入出力インターフェース２５６とが通信接続されることで、撮像装置２００で撮像されて得られたフレームデータがコンピュータ２５０に送信されるものとしたが、撮像装置２００がフレキシブルディスクやコンパクトフラッシュやメモリカードなどの記録メディアにフレームデータ又はストリームデータを記録する記録部を備えるとともに、コンピュータ２５０がこの記録メディアのフレームデータ又はストリームデータを読み出す再生部を備えるものとしても構わない。このようにすることで、記録メディアを介して、撮像装置２００からコンピュータ２５０に、撮像して得られたフレームデータ又はストリームデータを転送することができる。
【図面の簡単な説明】
【０１４４】
【図１】は、本発明の実施形態である撮像装置の構成を示すブロック図である。
【図２】は、固体撮像素子に設けられる色フィルタの配列を示す図である。
【図３】は、コアリング回路におけるエッジ成分に対するレベル変換特性を示すグラフである。
【図４】は、固体撮像素子の全体の構成を説明するための回路ブロック図。
【図５】は、図４の固体撮像素子を構成する画素の一構成例を示す回路図である。
【図６】は、図５の画素の動作を示すタイミングチャートである。
【図７】は、被写体の輝度と画素の出力との関係を示すグラフである。
【図８】は、ＡＥ・ＷＢ評価値検出回路の内部構成の一例を示すブロック図である。
【図９】は、全体制御部の内部構成を示すブロック図である。
【図１０】は、ＲＧＢ信号の輝度値と信号レベルとの関係を示すグラフである。
【図１１】は、ＷＢ評価値演算部の動作を示すための図である。
【図１２】は、ＷＢ評価値演算部の動作を示すための図である。
【図１３】は、ＡＥ・ＷＢ評価値検出回路の内部構成の他の例を示すブロック図である。
【図１４】は、全体制御部のメモリ内に格納されるＲＢ信号の光電変換特性の一例を示す図である。
【図１５】は、全体制御部のデータテーブルの生成手順の一例を機能ブロック図として示したものである。
【図１６】は、データテーブルの生成動作を説明するための図である。
【図１７】は、全体制御部のデータテーブルの生成手順の他の例を機能ブロック図として示したものである。
【図１８】は、光電変換特性の生成動作を説明するための図である。
【図１９】は、全体制御部のデータテーブルの生成手順の他の例を機能ブロック図として示したものである。
【図２０】は、光電変換特性の生成動作を説明するための図である。
【図２１】は、ＷＢ制御回路の内部構成の一例を示すブロック図である。
【図２２】は、ＷＢ制御回路におけるＲＧＢ信号の入出力関係をを示すグラフである。
【図２３】は、ＷＢ制御回路の内部構成の他の例を示すブロック図である。
【図２４】は、本発明の実施形態である撮像システムの構成を示すブロック図である。
【図２５】は、図２４の撮像システムのコンピュータに表示される画面の一例を示す図である。
【図２６】は、図２４の撮像システムのコンピュータにおける信号処理動作を示すフローチャートである。
【符号の説明】
【０１４５】
１    光学系
２    固体撮像素子
３    アンプ
４    ＡＤ変換回路
５    黒基準補正回路
６    ＦＰＮ補正回路
７    ＡＥ・ＷＢ評価値検出回路
８    ＷＢ制御回路
９    色補間回路
１０    色補正回路
１１    階調変換回路
１２    コアリング回路
１３    全体制御部
１４    絞り制御部
１５    タイミング生成回路
【図１】
2005110234.tif 000003
【図２】
2005110234.tif 000004
【図３】
2005110234.tif 000005
【図４】
2005110234.tif 000006
【図５】
2005110234.tif 000007
【図６】
2005110234.tif 000008
【図７】
2005110234.tif 000009
【図８】
2005110234.tif 000010
【図９】
2005110234.tif 000011
【図１０】
2005110234.tif 000012
【図１１】
2005110234.tif 000013
【図１２】
2005110234.tif 000014
【図１３】
2005110234.tif 000015
【図１４】
2005110234.tif 000016
【図１５】
2005110234.tif 000017
【図１６】
2005110234.tif 000018
【図１７】
2005110234.tif 000019
【図１８】
2005110234.tif 000020
【図１９】
2005110234.tif 000021
【図２０】
2005110234.tif 000022
【図２１】
2005110234.tif 000023
【図２２】
2005110234.tif 000024
【図２３】
2005110234.tif 000025
【図２４】
2005110234.tif 000026
【図２５】
2005110234.tif 000027
【図２６】
2005110234.tif 000028