(57)【要約】  撮像素子の出力信号を一つの特性により統一的に変換された状態に変換する特性変換を精度よく行うことを可能とする撮像装置を提供する。そのためには、撮像装置１に、複数種類の変換特性を有する撮像素子４と、出力信号に信号処理を行う信号処理部１２とを設け、信号処理部１２は、撮像素子４の入出力特性の変動補正を行う変動補正部１３と、撮像素子４の出力信号を一つの変換特性により統一的に変換された状態に変換する線形化部１４とを備え、変動補正部１３は、複数種類の変換特性をモデル化した演算式に基づいて変動補正を行う第１の補正部１３ａと、第１の補正部１３ａにより変動補正された出力信号のうち複数種類の変換特性の切換点近傍領域の出力信号を撮像素子４の特性と重なるように切換点の両側の２つの特性のモデル式を用いて補正する第２の補正部１３ｂとを設ける撮像装置とする。
2007145099.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、
前記撮像素子の出力信号に対して信号処理を行う信号処理部とを備え、
前記信号処理部は、
前記撮像素子の少なくとも１つの駆動条件に起因して前記撮像素子の入出力特性が変動する場合に、この撮像素子の出力信号の変動補正を行う変動補正部と、
前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部とを備え、
前記変動補正部は、前記複数種類の変換特性をモデル化した演算式に基づいて変動補正を行う第１の補正部と、前記第１の補正部により変動補正された出力信号のうち前記複数種類の変換特性の切換点近傍領域の出力信号を前記撮像素子の特性と重なるように前記切換点の両側の２つの特性のモデル式を用いて補正する第２の補正部とを備えることを特徴とする撮像装置。
【請求項２】
前記第１の補正部は、
補正係数を導出する係数導出部と、
前記補正係数に基づいて前記変動補正を行う演算処理部とを備えることを特徴とする請求の範囲第１項記載の撮像装置。
【請求項３】
前記係数導出部は、前記駆動条件に基づいて前記補正係数を導出することを特徴とする請求の範囲第２項記載の撮像装置。
【請求項４】
前記係数導出部は、前記駆動条件と、前記画素についての画素情報とに基づいて、画素毎に前記補正係数を導出し、
前記演算処理部は、各画素について前記変動補正を行うことを特徴とする請求の範囲第２項又は第３項記載の撮像装置。
【請求項５】
前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出するルックアップテーブルを備えることを特徴とする請求の範囲第２項乃至第４項いずれか一項に記載の撮像装置。
【請求項６】
前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出する演算器を備えることを特徴とする請求の範囲第２項乃至第４項いずれか一項に記載の撮像装置。
【請求項７】
前記第１の補正部は、
前記駆動条件と、前記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出するルックアップテーブルを備えることを特徴とする請求の範囲第１項記載の撮像装置。
【請求項８】
前記ルックアップテーブルは、前記駆動条件と、前記画素についての画素情報と、前記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出することを特徴とする請求の範囲第７項記載の撮像装置。
【請求項９】
前記第２の補正部は、前記駆動条件ごとの前記複数種類の変換特性の切換点に応じて前記切換点近傍領域の出力信号の補正を行うことを特徴とする請求の範囲第１項記載の撮像装置。
【請求項１０】
前記第２の補正部は、前記切換点近傍領域の出力信号の入力により前記撮像素子の特性と重なるように前記切換点の両側の２つの特性のモデル式を用いて補正された出力信号を導出するルックアップテーブルを備えることを特徴とする請求の範囲第１項又は第９項記載の撮像装置。
【請求項１１】
複数の前記変動補正部を、各画素に対応づけて備えることを特徴とする請求の範囲第１項乃至第１０項いずれか一項に記載の撮像装置。
【請求項１２】
複数の前記特性変換部を、各画素に対応づけて備えることを特徴とする請求の範囲第１項乃至第１１項いずれか一項に記載の撮像装置。
【請求項１３】
前記複数種類の変換特性の切換点における切換わり点信号値を導出する導出部を備え、
前記信号処理部は、前記撮像素子からの出力信号の信号値と前記切換わり点信号値との大小に基づき、前記撮像素子からの出力信号が前記複数種類の変換特性のいずれか一つの特性により変換された電気信号である場合にのみ、前記信号処理を行うことを特徴とする請求の範囲第１項乃至第１２項いずれか一項に記載の撮像装置。
【請求項１４】
前記導出部は前記駆動条件に基づいて前記切換わり点信号値を導出することを特徴とする請求の範囲第１３項記載の撮像装置。
【請求項１５】
前記導出部は前記駆動条件と前記画素についての画素情報とに基づいて前記切換わり点信号値を導出することを特徴とする請求の範囲第１３項又は第１４項記載の撮像装置。
【請求項１６】
前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出するルックアップテーブルを備えることを特徴とする請求の範囲第１４項又は第１５項記載の撮像装置。
【請求項１７】
前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出する演算器を備えることを特徴とする請求の範囲第１４項又は第１５項記載の撮像装置。
【請求項１８】
前記駆動条件は、撮影時の温度と、前記画素の露光時間と、前記画素に対する制御電圧との少なくとも１つであることを特徴とする請求の範囲第１項乃至第１７項いずれか一項に記載の撮像装置。
【請求項１９】
前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする請求の範囲第１項乃至第１８項いずれか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射光を電気信号に変換する撮像素子を有する撮像装置に関する。
【背景技術】
【０００２】
従来から、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する複数の画素を有する撮像素子が設けられている。また、近年では、複数種類の光電変換特性を有する撮像素子が提案されている。【０００３】
複数種類の光電変換特性を有する撮像素子としては、例えば、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサがある（特許文献１参照）。これによれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することが可能となる。【０００４】
このような複数種類の光電変換特性を有する撮像素子では、複数の特性により変化する出力信号が得られるため、信号処理の演算が複雑になるという問題がある。そこで、出力信号全体を複数種類の光電変換特性のうちいずれか一つの特性により統一的に変換された状態にする特性変換（以下、単に「統一する」ともいう）を行うことにより、信号処理を容易化する処理が行われている。【０００５】
ところで、上記のような撮像素子は、画素の違いに起因して入出力特性にばらつきを有する場合がある。そのため、このようなばらつきを解消する方法として、各画素からの出力を補正して基準出力値に一致させる方法が提案されている（特許文献１及び特許文献２参照）。
【特許文献１】特開平１１−２９８７９９号公報
【特許文献２】特開平５−３０３５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び特許文献２に記載の補正方法では、撮影条件や環境条件などの駆動条件によって入出力特性が変動する場合に、基準条件における基準出力値と、実際の画素の出力値とのズレを補正することができない。そのため、電気信号全体を正確に線形変換された状態又は対数変換された状態に統一することができなかった。【０００７】
また、上記の補正において、基準出力値として各特性の出力信号（線形変換信号や対数変換信号）を数式化した出力信号モデルを用いると、実際の撮像素子の出力信号は各特性の信号が混在する領域において滑らかな曲線状に変化していることから、この領域において実際の出力信号と出力信号モデルとの補正誤差が生じ、撮像素子の出力信号を正確に補正することができないという問題があった。【０００８】
本発明の課題は、撮像素子の出力信号を一つの特性により統一的に変換された状態に変換する特性変換を精度よく行うことを可能とする撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
請求の範囲第１項記載の発明は、撮像装置であって、複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子と、前記撮像素子の出力信号に対して信号処理を行う信号処理部とを備え、前記信号処理部は、前記撮像素子の少なくとも１つの駆動条件に起因して前記撮像素子の入出力特性が変動する場合に、この撮像素子の出力信号の変動補正を行う変動補正部と、前記撮像素子の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部とを備え、前記変動補正部は、前記複数種類の変換特性をモデル化した演算式に基づいて変動補正を行う第１の補正部と、前記第１の補正部により変動補正された出力信号のうち前記複数種類の変換特性の切換点近傍領域の出力信号を前記撮像素子の特性と重なるように前記切換点の両側の２つの特性のモデル式を用いて補正する第２の補正部とを備えることを特徴とする。【００１０】
ここで、撮像素子の駆動条件としては、外部条件と撮像条件とがある。外部条件としては温度などがあり、撮像条件としては画素の露光時間や制御電圧などがある。【００１１】
請求の範囲第１項記載の発明によれば、撮像素子の少なくとも１つの駆動条件に起因して当該撮像素子の入出力特性が変動する場合に、この撮像素子から出力される電気信号の変動補正を行うので、駆動条件によって入出力特性が変動する場合であっても、従来と異なり、基準駆動条件における出力値と、撮像素子の実際の出力値とのズレが補正される。従って、特性変換によって電気信号を正確に線形変換された状態又は対数変換された状態に統一することができる。
また、第１の補正部において、モデル化した演算式に基づき、簡易かつ高速に変動補正を行うことができると共に、各特性の出力信号をモデル化した演算式に基づいて変動補正を行うと、実際の撮像素子の出力信号は切換点近傍領域において滑らかな曲線状に変化していることから出力信号モデルとの補正誤差が生じるが、第２の補正部において、切換点近傍領域の出力信号を切換点の両側の２つの特性のモデル式を用いて補正することにより、変換誤差を抑制して画質劣化を改善することが可能となる。【００１２】
請求の範囲第２項記載の発明は、請求の範囲第１項記載の撮像装置であって、前記第１の補正部は、補正係数を導出する係数導出部と、前記補正係数に基づいて前記変動補正を行う演算処理部とを備えることを特徴とする。【００１３】
ここで、補正係数を導出するとは、補正係数を算出することとしてもよいし、複数の補正係数の中から選択することとしてもよい。【００１４】
請求の範囲第２項記載の発明によれば、上記の発明と同様の効果を得ることができる。【００１５】
請求の範囲第３項記載の発明は、請求の範囲第２項記載の撮像装置であって、前記係数導出部は、前記駆動条件に基づいて前記補正係数を導出することを特徴とする。【００１６】
請求の範囲第３項記載の発明によれば、係数導出部は駆動条件に基づいて補正係数を導出するので、導出される補正係数を演算処理部が用いることによって、駆動条件に起因する撮像素子の入出力特性の変動を正確に補正することができる。【００１７】
請求の範囲第４項記載の発明は、請求の範囲第２項又は第３項記載の撮像装置であって、前記係数導出部は、前記駆動条件と、前記画素についての画素情報とに基づいて、画素毎に前記補正係数を導出し、前記演算処理部は、各画素について前記変動補正を行うことを特徴とする。【００１８】
ここで、画素情報としては、画素のＩＤナンバー等の固有情報や、撮像素子中での位置情報などを用いることができる。【００１９】
請求の範囲第４項記載の発明によれば、係数導出部は駆動条件及び画素情報に基づいて補正係数を導出するので、導出される補正係数を演算処理部が用いることによって、駆動条件や画素に起因する撮像素子の入出力特性の変動を正確に補正することができる。【００２０】
請求の範囲第５項記載の発明は、請求の範囲第２項乃至第４項いずれか一項に記載の撮像装置であって、前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出するルックアップテーブルを備えることを特徴とする。【００２１】
請求の範囲第５項記載の発明によれば、ルックアップテーブルにより補正係数を導出するので、演算によって補正係数を導出する場合と比較して、係数導出部の構成を簡素化すると共に導出処理を高速化することができる。【００２２】
請求の範囲第６項記載の発明は、請求の範囲第２項乃至第４項いずれか一項に記載の撮像装置であって、前記係数導出部は、少なくとも前記駆動条件の入力によって前記補正係数を導出する演算器を備えることを特徴とする。【００２３】
請求の範囲第６項記載の発明によれば、上記の発明と同様の効果を得ることができる。【００２４】
請求の範囲第７項記載の発明は、請求の範囲第１項記載の撮像装置であって、前記第１の補正部は、前記駆動条件と、前記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出するルックアップテーブルを備えることを特徴とする。【００２５】
請求の範囲第７項記載の発明によれば、変動補正部は駆動条件に基づいて変動補正後の電気信号を導出するので、駆動条件に起因する撮像素子の入出力特性の変動を正確に補正することができる。
また、ルックアップテーブルによって変動補正後の電気信号を導出するので、演算によって変動補正後の電気信号を導出する場合と比較して、変動補正部の構成を簡素化すると共に導出処理を高速化することができる。【００２６】
請求の範囲第８項記載の発明は、請求の範囲第７項記載の撮像装置であって、前記ルックアップテーブルは、前記駆動条件と、前記画素についての画素情報と、前記撮像素子の出力信号との入力によって前記変動補正後の電気信号を導出することを特徴とする。【００２７】
請求の範囲第８記載の発明によれば、駆動条件と、画素情報とに基づいて変動補正後の電気信号を導出するので、駆動条件や画素に起因する撮像素子の入出力特性の変動を正確に補正することができる。【００２８】
請求の範囲第９項記載の発明は、請求の範囲第１項記載の撮像装置であって、前記第２の補正部は、前記駆動条件ごとの前記複数種類の変換特性の切換点に応じて前記切換点近傍領域の出力信号の補正を行うことを特徴とする。【００２９】
請求の範囲第９項記載の発明によれば、複数種類の変換特性の切換点は撮像素子の駆動条件に応じて変動するが、この切換点に応じて切換点近傍領域の出力信号の補正を行うことにより、変換誤差を更に効果的に抑制することが可能となる。【００３０】
請求の範囲第１０項記載の発明は、請求の範囲第１項又は第９項記載の撮像装置であって、前記第２の補正部は、前記切換点近傍領域の出力信号の入力により前記撮像素子の特性と重なるように前記切換点の両側の２つの特性のモデル式を用いて補正された出力信号を導出するルックアップテーブルを備えることを特徴とする。【００３１】
請求の範囲第１０項記載の発明によれば、ルックアップテーブルにより補正後の出力信号を導出するので、演算によって補正を行う場合と比較して、第２の補正部の構成を簡素化すると共に導出処理を高速化することができる。【００３２】
請求の範囲第１１項記載の発明は、請求の範囲第１項乃至第１０項いずれか一項に記載の撮像装置であって、複数の前記変動補正部を、各画素に対応づけて備えることを特徴とする。【００３３】
請求の範囲第１１項項記載の発明によれば、変動補正部を各画素に対応付けて備えるので、画素毎に入出力特性の変動量が異なる場合であっても、正確に変動補正を行うことができる。【００３４】
請求の範囲第１２項記載の発明は、請求の範囲第１項乃至第１１項いずれか一項に記載の撮像装置であって、複数の前記特性変換部を、各画素に対応づけて備えることを特徴とする。【００３５】
請求の範囲第１２項記載の発明によれば、特性変換部を各画素に対応付けて備えるので、画素毎に光電変換の変換特性が異なる場合であっても、電気信号全体を正確に線形変換された状態又は対数変換された状態に統一することができる。【００３６】
請求の範囲第１３項記載の発明は、請求の範囲第１項乃至第１２項いずれか一項に記載の撮像装置であって、前記複数種類の変換特性の切換点における切換わり点信号値を導出する導出部を備え、前記信号処理部は、前記撮像素子からの出力信号の信号値と前記切換わり点信号値との大小に基づき、前記撮像素子からの出力信号が前記複数種類の変換特性のいずれか一つの特性により変換された電気信号である場合にのみ、前記信号処理を行うことを特徴とする。【００３７】
請求の範囲第１３項記載の発明によれば、撮像素子の出力信号が複数種類の変換特性のいずれか一つの特性により変換された電気信号である場合にのみ、信号処理部が信号処理を行うので、他方の変換特性により変換された状態にする必要のない場合には、特性変換や変動補正などの信号処理が行われない。従って、無駄に信号処理を行う手間を省くことができるため、処理を高速化することができる。【００３８】
請求の範囲第１４項記載の発明は、請求の範囲第１３項記載の撮像装置であって、前記導出部は前記駆動条件に基づいて前記切換わり点信号値を導出することを特徴とする。【００３９】
請求の範囲第１４項記載の発明によれば、駆動条件に基づいて切換点における出力信号値を導出するので、切換わり点信号値の導出を正確に行うことができる。【００４０】
請求の範囲第１５項記載の発明は、請求の範囲第１３項又は第１４項記載の撮像装置であって、前記導出部は前記駆動条件と前記画素についての画素情報とに基づいて前記切換わり点信号値を導出することを特徴とする。【００４１】
請求の範囲第１５項記載の発明によれば、駆動条件及び画素情報に基づいて切換わり点信号値を導出するので、切換わり点信号値の導出を正確に行うことができる。【００４２】
請求の範囲第１６項記載の発明は、請求の範囲第１４項又は第１５項記載の撮像装置であって、前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出するルックアップテーブルを備えることを特徴とする。【００４３】
請求の範囲第１６項記載の発明によれば、ルックアップテーブルによって切換わり点信号値を導出するので、演算によって導出する場合と比較して、導出部の構成を簡素化すると共に導出処理を高速化することができる。【００４４】
請求の範囲第１７項記載の発明は、請求の範囲第１４項又は第１５項記載の撮像装置であって、前記導出部は少なくとも前記駆動条件の入力により前記切換わり点信号値を導出する演算器を備えることを特徴とする。【００４５】
請求の範囲第１７項記載の発明によれば、上記と同様の効果を得ることができる。【００４６】
請求の範囲第１８項記載の発明は、請求の範囲第１項乃至第１７項いずれか一項に記載の撮像装置であって、前記駆動条件は、撮影時の温度と、前記画素の露光時間と、前記画素に対する制御電圧との少なくとも１つであることを特徴とする。【００４７】
請求の範囲第１８項記載の発明によれば、上記と同様の効果を得ることができる。【００４８】
請求の範囲第１９項記載の発明は、請求の範囲第１項乃至第１８項いずれか一項に記載の撮像装置であって、前記複数の画素は入射光を電気信号に線形変換する線形変換特性と入射光を電気信号に対数変換する対数変換特性とを入射光量に応じて切り換え可能に構成されていることを特徴とする。【００４９】
請求の範囲第１９項記載の発明によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の作用を得ることが可能となる。
【発明の効果】
【００５０】
請求の範囲第１項記載の発明によれば、駆動条件によって撮像素子の入出力特性が変動する場合でも、特性変換によって電気信号を正確に線形変換された状態又は対数変換された状態に統一することが可能となる。また、簡易かつ高速に変動補正を行うことができると共に、切換点近傍領域の出力信号を実際の撮像素子の特性に合わせて切換点の両側の２つの特性のモデル式を用いて補正して変換誤差を抑制し、画質劣化を改善することが可能となる。【００５１】
請求の範囲第２項記載の発明によれば、上記の発明と同様の効果を得ることができる。【００５２】
請求の範囲第３項記載の発明によれば、駆動条件に起因する撮像素子の入出力特性の変動を正確に補正することが可能となる。【００５３】
請求の範囲第４項記載の発明によれば、駆動条件や画素に起因する撮像素子の入出力特性の変動を正確に補正することが可能となる。【００５４】
請求の範囲第５項記載の発明によれば、ルックアップテーブルにより係数導出部の構成を簡素化すると共に導出処理を高速化することが可能となる。【００５５】
請求の範囲第６項記載の発明によれば、上記の発明と同様の効果を得ることが可能となる。【００５６】
請求の範囲第７項記載の発明によれば、駆動条件に起因する撮像素子の入出力特性の変動を正確に補正することができる。また、ルックアップテーブルにより変動補正部の構成を簡素化すると共に導出処理を高速化することが可能となる。【００５７】
請求の範囲第８項記載の発明によれば、駆動条件や画素に起因する撮像素子の入出力特性の変動を正確に補正することが可能となる。【００５８】
請求の範囲第９項記載の発明によれば、駆動条件ごとの切換点に応じて補正を行うことにより変換誤差を更に効果的に抑制することが可能となる。【００５９】
請求の範囲第１０項記載の発明によれば、ルックアップテーブルにより第２の補正部の構成を簡素化すると共に導出処理を高速化することが可能となる。【００６０】
請求の範囲第１１項記載の発明によれば、画素毎に入出力特性の変動量が異なる場合でも、正確に変動補正を行うことが可能となる。【００６１】
請求の範囲第１２項記載の発明によれば、画素毎に光電変換の変換特性が異なる場合でも、電気信号全体を正確に線形変換された状態又は対数変換された状態に統一することが可能となる。【００６２】
請求の範囲第１３項記載の発明によれば、無駄に信号処理を行う手間を省くことができるため、処理を高速化することが可能となる。【００６３】
請求の範囲第１４項記載の発明によれば、切換わり点信号値の導出を正確に行うことができる。【００６４】
請求の範囲第１５項記載の発明によれば、切換わり点信号値の導出を正確に行うことができる。【００６５】
請求の範囲第１６項記載の発明によれば、ルックアップテーブルにより導出部の構成を簡素化すると共に導出処理を高速化することが可能となる。【００６６】
請求の範囲第１７項記載の発明によれば、上記と同様の効果を得ることができる。【００６７】
請求の範囲第１８項記載の発明によれば、上記と同様の効果を得ることができる。【００６８】
請求の範囲第１９項記載の発明によれば、撮像素子としてリニアログ変換型センサを備えた撮像装置において上記と同様の効果を得ることが可能となる。
【図面の簡単な説明】
【００６９】
【図１】本発明に係る撮像装置の概略構成を示すブロック図である。
【図２】撮像素子の構成を示すブロック図である。
【図３】画素の構成を示す回路図である。
【図４】画素及び線形化部の動作を説明するための図である。
【図５】露光時間と変曲点との関係を示す図である。
【図６】制御電圧と変曲点との関係を示す図である。
【図７】信号処理部及び変曲信号導出部を示すブロック図である。
【図８】補正係数αを示す図である。
【図９】撮像素子の特性及び出力信号モデルの例を示すグラフである。
【図１０】撮像素子の特性及び出力信号モデルの例を示すグラフである。
【図１１】撮像素子の特性及び出力信号モデルの例を示すグラフである。
【図１２】撮像素子の特性及び出力信号モデルの例を示すグラフである。
【図１３】撮像素子の特性及び出力信号モデルの例を示すグラフである。
【図１４】撮像素子の特性を示すグラフである。
【図１５】線形変換信号及び対数変換信号の混合比を示すグラフである。
【図１６】変動補正及び特性変換の処理を示すフローチャートである。
【符号の説明】
【００７０】
１  撮像装置
２  レンズ群
３  絞り
４  撮像素子
９  アンプ
１０  ＡＤコンバータ
１１  黒基準設定部
１２  信号処理部
１３  変動補正部
１４  線形化部
１５  係数導出部
１５ａ  ルックアップテーブル
１６  演算処理部
１７  ルックアップテーブル
１８  変曲信号導出部
１８ａ  ルックアップテーブル
１９  画像処理部
２０  ＡＷＢ処理部
２１  色補間部
２２  色補正部
２３  階調変換部
２４  色空間変換部
２５  評価値算出部
２６  制御装置
２７  露光制御処理部
２８  信号生成部
【発明を実施するための最良の形態】
【００７１】
［実施の形態］
本発明の実施の形態について図面を参照して説明する。【００７２】
図１は、本実施形態の撮像装置１の概略構成を示すブロック図である。【００７３】
この図に示すように、撮像装置１は、レンズ群２及び絞り３を介して入射光を受光する撮像素子４を備えている。これらレンズ群２及び絞り３としては、従来より公知のものが用いられている。【００７４】
ここで、本発明の撮像素子は複数種類の変換特性によって入射光を電気信号に変換する複数の画素を有する撮像素子であり、複数の変換特性の出力信号が切換点を介して連続的に変化するようになっている。【００７５】
本実施形態の撮像素子４は、入射光量に基づいて入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるリニアログ変換型センサとして構成されている。すなわち、撮像素子４の出力信号は変曲点を介してリニア領域からログ領域に連続的に変化するようになっている。ここで、「変曲点」とは線形変換動作と対数変換動作との境界を意味し、複数種類の変換特性を有する撮像素子の出力信号の「切換点」の下位概念となる語である。【００７６】
撮像素子４は、図２に示すように、行列配置（マトリクス配置）された複数の画素Ｇ１１〜Ｇｍｎ（但し、ｎ，ｍは１以上の整数）を有している。【００７７】
各画素Ｇ１１〜Ｇｍｎのレンズ群２側には、レッド（Ｒｅｄ）、グリーン（Ｇｒｅｅｎ）及びブルー（Ｂｌｕｅ）のうち、いずれか１色のフィルタ（図示せず）が配設されている。なお、画素Ｇ１１〜Ｇｍｎにシアン（Ｃｙａｎ）、マゼンタ（Ｍａｇｅｎｔａ）及びイエロー（Ｙｅｌｌｏｗ）などの他の色
フィルタを設けてもよい。【００７８】
また、画素Ｇ１１〜Ｇｍｎには、図２に示すように、電源ライン５や信号印加ラインＬＡ１〜ＬＡｎ，ＬＢ１〜ＬＢｎ，ＬＣ１〜ＬＣｎ、信号読出ラインＬＤ１〜ＬＤｍが接続されている。なお、画素Ｇ１１〜Ｇｍｎには、クロックラインやバイアス供給ラインなどのラインも接続されているが、図２ではこれらの図示を省略している。【００７９】
信号印加ラインＬＡ１〜ＬＡｎ，ＬＢ１〜ＬＢｎ，ＬＣ１〜ＬＣｎは、画素Ｇ１１〜Ｇｍｎに対して信号φｖ，φＶＰＳ（図３参照）を与えるようになっている。これら信号印加ラインＬＡ１〜ＬＡｎ，ＬＢ１〜ＬＢｎ，ＬＣ１〜ＬＣｎには、垂直走査回路６が接続されている。この垂直走査回路６は、信号生成部２８（図１参照）からの信号に基づいて信号印加ラインＬＡ１〜ＬＡｎ，ＬＢ１〜ＬＢｎ，ＬＣ１〜ＬＣｎに信号を印加するものであり、信号を印加する対象の信号印加ラインＬＡ１〜ＬＡｎ，ＬＢ１〜ＬＢｎ，ＬＣ１〜ＬＣｎをＸ方向に順次切り換えるようになっている。【００８０】
信号読出ラインＬＤ１〜ＬＤｍには、各画素Ｇ１１〜Ｇｍｎで生成された電気信号が導出されるようになっている。これら信号読出ラインＬＤ１〜ＬＤｍには定電流源Ｄ１〜Ｄｍ及び選択回路Ｓ１〜Ｓｍが接続されている。【００８１】
定電流源Ｄ１〜Ｄｍの一端（図中下側の端部）には、直流電圧ＶＰＳが印加されるようになっている。【００８２】
選択回路Ｓ１〜Ｓｍは、各信号読出ラインＬＤ１〜ＬＤｍを介して画素Ｇ１１〜Ｇｍｎから与えられるノイズ信号と撮像時の電気信号とをサンプルホールドするものである。この選択回路Ｓ１〜Ｓｍには、水平走査回路７及び補正回路８が接続されている。水平走査回路７は、電気信号をサンプルホールドして補正回路８に送信する選択回路Ｓ１〜Ｓｍを、Ｙ方向に順次切り換えるものである。また、補正回路８は、選択回路Ｓ１〜Ｓｍから送信されるノイズ信号及び撮像時の電気信号に基づき、当該電気信号からノイズ信号を除去するものである。【００８３】
なお、選択回路Ｓ１〜Ｓｍ及び補正回路８としては、特開平２００１−２２３９４８号公報に開示のものを用いることができる。また、本実施の形態においては、選択回路Ｓ１〜Ｓｍの全体に対して補正回路８を１つのみ設けることとして説明するが、選択回路Ｓ１〜Ｓｍのそれぞれに対して補正回路８を１つずつ設けることとしてもよい。【００８４】
次に、各画素Ｇ１１〜Ｇｍｎについて説明する。【００８５】
各画素Ｇ１１〜Ｇｍｎは、図３に示すように、フォトダイオードＰ及びトランジスタＴ１〜Ｔ３を備えている。なお、トランジスタＴ１〜Ｔ３は、バックゲートの接地されたＮチャネルのＭＯＳトランジスタである。【００８６】
フォトダイオードＰには、レンズ群２及び絞り３を通過した光が当たるようになっている。このフォトダイオードＰのカソードＰｋには直流電圧ＶＰＤが印加されており、アノードＰＡにはトランジスタＴ１のドレインＴ１Ｄ及びゲートＴ１Ｇと、トランジスタＴ２のゲートＴ２Ｇとが接続されている。【００８７】
トランジスタＴ１のソースＴ１Ｓには信号印加ラインＬＣ（図２のＬＣ１〜ＬＣｎに相当）が接続されており、この信号印加ラインＬＣから信号φＶＰＳが入力されるようになっている。ここで、信号φＶＰＳは２値の電圧信号であり、より詳細には、入射光量が所定値を超えたときにトランジスタＴ１をサブスレッショルド領域で動作させるための電圧値ＶＨと、トランジスタＴ１を導通状態にする電圧値ＶＬとの２つの値をとるようになっている。【００８８】
また、トランジスタＴ２のドレインＴ２Ｄには直流電圧ＶＰＤが印加されており、トランジスタＴ２のソースＴ２Ｓは行選択用のトランジスタＴ３のドレインＴ３Ｄに接続されている。【００８９】
このトランジスタＴ３のゲートＴ３Ｇには信号印加ラインＬＡ（図２のＬＡ１〜ＬＡｎに相当）が接続されており、この信号印加ラインＬＡから信号φＶが入力されるようになっている。また、トランジスタＴ３のソースＴ３Ｓは信号読出ラインＬＤ（図２のＬＤ１〜ＬＤｍに相当）に接続されている。【００９０】
なお、以上のような画素Ｇ１１〜Ｇｍｎとしては、特開２００２−７７７３３号公報に開示のものを用いることができる。【００９１】
以上の構成により、各画素Ｇ１１〜Ｇｍｎは入射光を光電変換して電気信号を出力するようになっている。本実施形態の画素Ｇ１１〜Ｇｍｎは、入射光量に基づいて電気信号への変換動作を切り換えるようになっており、図４に実線で示すように、所定入射光量ｔｈ未満の入射光量に対しては入射光を線形変換する線形変換動作を、所定入射光量ｔｈ以上の入射光量に対しては入射光を対数変換する対数変換動作を行うようになっている。なお、図４では、線形変換特性と対数変換特性の２種類の変換特性によって入射光を電気信号に変換する画素Ｇの例について説明したが、これに限られない。例えば、傾きの異なる二つの線形変換特性と一つの対数変換特性の３種類の変換特性を有する画素であってもよい。【００９２】
また、線形変換動作と対数変換動作とが切り換えられる境界、いわゆる変曲点は撮像素子４における画素Ｇ１１〜Ｇｍｎの駆動条件、例えば撮影時での露光時間や制御電圧などによって変化するようになっている。【００９３】
すなわち、露光時間が短くなるほど、トランジスタＴ２のゲートＴ２ＧとソースＴ２Ｓとの間のポテンシャルの差が大きくなり、トランジスタＴ２がカットオフ状態で動作する被写体輝度の割合、つまり線形変換する被写体輝度の割合が大きくなる。これにより、露光時間が短くなるほど線形変換動作の割合は大きくなるようになっている。また、撮像素子４に対する制御電圧、つまり、信号φＶＰＳの電圧値ＶＬ、電圧値ＶＨの差が大きくなる場合や、温度が低くなる場合にも、線形変換する被写体輝度の割合は大きくなる。そのため、これら制御電圧や露光時間、温度などを変化させることによって、画像信号のダイナミックレンジや、切換点すなわち変曲点での前記所定入射光量ｔｈ、切換点での出力信号値（切換わり点信号値）すなわち変曲点での出力信号値（以下、変曲出力信号値Ｈとする）を制御することができる。【００９４】
具体的には、例えば、被写体の輝度範囲が狭い場合には電圧値ＶＬを低くして線形変換する輝度範囲を広くすると共に、被写体の輝度範囲が広い場合には電圧値ＶＬを高くして対数変換する輝度範囲を広くすることで、画素Ｇ１１〜Ｇｍｎの光電変換特性を被写体の特性に合わせることができる。更に、電圧値ＶＬを最小とするときには常に画素Ｇ１１〜Ｇｍｎを線形変換する状態とし、電圧値ＶＬを最大とするときには常に画素Ｇ１１〜Ｇｍｎを対数変換する状態とすることもできる。【００９５】
例えば、図５に示すように、露光時間が「ｔ１」〜「ｔ３」の順に短くなるほど、変曲点における変曲出力信号値Ｈと前記所定入射光量ｔｈとは「Ｉ」〜「ＩＩＩ」の順に大きくなる。また、図６に示すように、制御電圧が「Ｖ１」〜「Ｖ３」の順に小さくなるほど、画素Ｇ１１〜Ｇｍｎの変曲出力信号値Ｈは「ＩＶ」〜「ＶＩ」の順に大きくなる。なお、図５、図６中、「ａ１」〜「ａ３」、「ｂ」〜「ｄ」、「ａ」、「ｄ１」〜「ｄ３」はそれぞれ定数である。このうち、露光時間ｔ１〜ｔ３の駆動条件下での線形変換動作における入出力特性の傾きａ１〜ａ３は、当該露光時間ｔ１〜ｔ３に対して比例関係を有している。また、制御電圧Ｖ１〜Ｖ３の駆動条件下での対数変換動作における入出力特性の切片ｄ１〜ｄ３は、当該制御電圧Ｖ１〜Ｖ３に対して比例関係を有している。以下、所定入射光量ｔｈが最も小さいとき、つまり、線形変換動作の行われる割合が最も小さく、対数変換動作の行われる割合が最も大きいときの露光時間ｔ１を、基準露光時間とする。【００９６】
図１に戻り、撮像素子４には、アンプ９及びＡＤコンバータ１０を介して、黒基準設定部１１及び信号処理部１２がこの順に接続されている。【００９７】
アンプ９は、従来から公知のものが用いられるようになっており、撮像素子４により光電変換された信号を増幅するようになっている。【００９８】
ＡＤコンバータ１０は、アンプ９において増幅された電気信号をアナログ信号からデジタル信号に変換するようになっている。【００９９】
黒基準設定部１１は、デジタル信号の最低レベルを設定するものである。【０１００】
信号処理部１２は、対数変換動作によって撮像素子４から出力される電気信号に対して信号処理を行うものであり、図７に示すように、変動補正部１３及び線形化部１４を備えている。【０１０１】
変動補正部１３は、撮像素子４の駆動条件すなわち画素Ｇ１１〜Ｇｍｎの露光時間や画素Ｇ１１〜Ｇｍｎに印加する制御電圧などに起因して撮像素子４の入出力特性が変動する場合に、この撮像素子４から出力される電気信号の変動補正を行うものであり、第１の補正部１３ａ及び第２の補正部１３ｂを備えて構成されている。【０１０２】
図７に示すように、第１の補正部１３ａは、係数導出部１５及び演算処理部１６を備えて構成されている。【０１０３】
第１の補正部１３ａが備える係数導出部１５は、画素Ｇ１１〜Ｇｍｎの露光時間についての露光時間情報と、画素Ｇ１１〜Ｇｍｎについての画素情報とに基づいて画素Ｇ１１〜Ｇｍｎごとに補正係数α１１〜αｍｎを導出するものであり、本実施の形態においては、露光時間情報及び画素情報の入力によって補正係数α１１〜αｍｎを算出するルックアップテーブル１５ａを備えている。【０１０４】
ここで、例えば、撮像時の露光時間が露光時間ｔ２（変数）（図５参照）である場合は、補正係数αはα＝ｃＬｎ（ａ１／ａ２）＝ｃＬｎ（ｔ１／ｔ２）で示される値であり、換言すれば、図８（ａ）に示すように、露光時間ｔ２の駆動条件下で撮像素子４から対数変換された電気信号が正確に線形変換された状態の電気信号となるような変換特性を有する仮想の変換テーブル（図中の点線参照）と、基準変換テーブル１４ａ（図中の実線参照）との入力軸（図中のｘ軸）上での距離である。なお、このような仮想の変換テーブルは、実験や理論計算などによって求めることができ、仮想の変換テーブルと基準変換テーブル１４ａとは、互いに平行な関係となっている。また、図８（ａ）中では、線形領域に対する各変換テーブルの図示を省略している。【０１０５】
また、画素情報としては、各画素Ｇ１１〜ＧｍｎのＩＤナンバーなどの固有情報や、撮像素子４の中における位置情報などが用いられている。【０１０６】
第１の補正部１３ａが備える演算処理部１６は、係数導出部１５で導出された補正係数α１１〜αｍｎに基づいて、画素Ｇ１１〜Ｇｍｎごとに変動補正を行うものであり、本実施形態においては、対数変換動作によって各画素Ｇ１１〜Ｇｍｎより出力される電気信号から、補正係数α１１〜αｍｎを減算するようになっている。これにより、変動補正後の対数変換された電気信号は、基準変換テーブル１４ａによって正確に線形変換された状態の電気信号に特性変換することが可能な状態となる。【０１０７】
具体的には、例えば図８（ａ）に示すように、露光時間ｔ２（図５参照）の駆動条件において画素Ｇ１１〜Ｇｍｎから対数変換された電気信号の信号値がＸ２であるとする。この場合、対数変換された信号値Ｘ２が正確に線形変換された状態の電気信号に特性変換されるとき、つまり、信号値Ｘ２が前記仮想の変換テーブルで特性変換されるときには、特性変換後の出力信号値はＹ２である。これに対し、信号値Ｘ２をそのまま基準変換テーブル１４ａによって特性変換すると、特性変換後の信号値はＹ１であるが、信号値Ｘ２を補正係数αで減算した信号値Ｘ１（＝Ｘ２−α）を基準変換テーブル１４ａによって特性変換したときには、特性変換後の信号値はＹ２である。つまり、対数変換された信号値Ｘ２を補正係数αで減算することにより、減算後の電気信号は基準変換テーブル１４ａにより正確に線形変換された状態の電気信号に特性変換することが可能な状態となる。【０１０８】
第２の補正部１３ｂは、基準変換テーブル１４ａと重なるように補正された電気信号のうち、撮像素子４の変換特性の切換点近傍領域の電気信号を、実際の撮像素子４の特性と重なるよう切換点の両側の２つの特性のモデル式を用いて補正するものであり、図７に示すように、ルックアップテーブル１７を備えて構成されている。本実施形態では、変曲点近傍領域の電気信号を、変曲点（切換点）の両側の２つの特性のモデル式を用いて補正するようになっている。【０１０９】
すなわち、本実施形態の撮像素子４はリニアログ変換型センサであり、実際の撮像素子４の特性は、変曲点近傍領域において滑らかな曲線状となる。このため、図８（ａ）に示す基準変換テーブル（１４ａ）のままでは、変曲点近傍領域において実際の撮像素子４の特性との補正誤差が生じ、変換誤差の要因となる。【０１１０】
例えば、図９は入射光量に対する撮像素子４の出力信号を示すグラフである。図９において、線形領域及び対数領域の出力信号をそれぞれ数式化した出力信号モデルとしてのグラフは、変曲点近傍領域において実際の撮像素子４の特性と補正誤差が生じている。【０１１１】
また、図１０は図９の入射光量を対数軸としたグラフである。出力信号モデルでは対数領域が直線状となっており、実際の撮像素子４の特性との補正誤差がより明確になっている。
一方、図１１は、図９の撮像素子４の出力を対数軸としたグラフである。やはり対数領域において直線状の出力信号モデルが実際の撮像素子４の特性と補正誤差が生じている。【０１１２】
更に、図１２は、撮像素子４の駆動条件の設定、すなわち露光時間や制御電圧の設定によって変曲点が複数となった場合の入射光量に対する撮像素子４の出力信号を示すものであり、図１０と同様に入射光量を対数軸としたグラフである。図１２では、複数の変曲点近傍領域のいずれにおいても出力信号モデルと実際の撮像素子４の特性との補正誤差が生じており、また、変曲点によって補正誤差の度合いも異なっている。【０１１３】
また、図１３は、図１２の撮像素子４の出力を対数軸としたグラフであるが、やはり複数の変曲点近傍領域のいずれにおいても出力信号モデルと実際の撮像素子４の特性とに補正誤差が生じており、また、変曲点によって補正誤差の度合いも異なっている。【０１１４】
そこで、第２の補正部１３ｂは、ルックアップテーブル１７により、第１の補正部１３ａから出力された電気信号のうち、変曲点近傍領域の電気信号を変曲点の両側の２つの特性のモデル式を用いて補正し、実際の撮像素子４の特性との補正誤差を抑制するようになっている。【０１１５】
また、第２の補正部１３ｂは、撮像素子４の駆動条件ごとの変曲点に応じてルックアップテーブル１７の値を変更し又は変曲点ごとにルックアップテーブル１７を作成しておくことにより、駆動条件ごとの変曲点に応じて上記補正を行い、変換誤差を抑制するようになっている。【０１１６】
ルックアップテーブル１７は、第１の補正部１３ａから出力された電気信号のうち、変曲点近傍領域の電気信号の入力により、変曲点近傍領域の電気信号が実際の撮像素子４の特性と重なるよう変曲点の両側の２つの特性のモデル式を用いて補正された電気信号を導出するようになっている。【０１１７】
この際、第２の補正部１３ｂは、変曲信号導出部１８（図１参照）から入力される変曲出力信号値に基づいて変曲点近傍領域を判断し、変曲点近傍領域の電気信号をルックアップテーブル１７に入力させるようになっている。ここで、図１４（ａ）は図８（ａ）に対応する実際の撮像素子４の特性を示すものであり、変曲点をＸ１、Ｘ２に対し、入力信号Ｘ＝Ｘ１−ｍ１〜Ｘ１＋ｎ１、Ｘ＝Ｘ２−ｍ２〜Ｘ２＋ｎ２の範囲が変曲点近傍領域とされている。なお、図１４では、図１１と同様に、撮像素子４の出力が対数軸とされている。本実施形態の第２の補正部１３ｂは、変曲出力信号値の入力により、図１４の係数ｍ，ｎを導出する図示しないルックアップテーブルを備えており、このルックアップテーブルを用いて変曲点近傍領域を判断するようになっている。【０１１８】
また、変曲点近傍領域の電気信号を変曲点の両側の２つの特性のモデル式を用いて補正するためのパラメータは、撮像素子４の特性に合うように予め実験的に求めておくことが可能であり、これによりルックアップテーブル１７を作成しておくことができる。【０１１９】
例えば、本実施形態の撮像素子４としてのリニアログ変換型センサの特性は、下記式（１）又は下記式（２）などの演算式によって表すことができる。下記式（１）は図１４（ａ）の基準変換テーブルを表し、下記式（２）は図１４（ａ）の露光時間ｔ２に対する変換テーブルを表している。【０１２０】
【数１】
2007145099.tif 000003
【０１２１】
【数２】
2007145099.tif 000004
【０１２２】
図１４（ａ）のグラフでは縦軸が対数軸であり、上記式（１）、（２）の係数β１、β２は線形領域の項の係数を示し、係数γ１、γ２は対数領域の項の係数を示している。【０１２３】
また、図１５（ａ）に撮像素子４の変曲点近傍領域における係数βａの変化の一例を、図１５（ｂ）に係数γａの変化の一例を示す。図１５（ａ）に示すように、変曲点近傍領域において係数βａは徐々に減少する一方で、図１５（ｂ）に示すように、係数γａは係数βａとは反対に徐々に増大している。このように、変曲点近傍領域では、図１５（ａ）及び図１５（ｂ）に示す混合比により線形変換特性と対数変換特性とが混在しており、撮像素子４の出力信号は滑らかな曲線を描いて変化している。【０１２４】
このように、実際の撮像素子４の特性は上記式（１）又は上記式（２）などの演算式によって表すことが可能であり、この実際の撮像素子４の特性に基づき、第１の補正部１３ａから出力された電気信号のうち、変曲点近傍領域の電気信号を変曲点の両側の２つの特性のモデル式を用いて補正するためのパラメータを実験的に求めることにより、ルックアップテーブル１７を作成しておくことが可能である。【０１２５】
また、撮像素子４の切換点近傍領域（変曲点近傍領域）における特性は、上記式（１）又は（２）などの演算式で表すのみならず、実際に撮像素子４の特性を測定することにより求めることも可能である。【０１２６】
図７に戻り、線形化部１４は、複数種類の変換特性を有する撮像素子４の出力信号を一つの変換特性により統一的に変換された状態に変換する特性変換部である。本実施形態に示す線形化部１４は、線形変換特性と対数変換特性の２種類の変換特性を有する撮像素子４の出力信号を一方の線形変換特性により統一的に変換された状態の電気信号に変換（統一）するようになっている。なお、線形化部１４に代えて対数変換特性により統一的に変換された状態の電気信号に変換する対数化部を備えた信号処理部１２としてもよい。図７に示すように、線形化部１４は、セレクタ１４ｂ、基準変換テーブル１４ａ及び出力部１４ｃを備えている。なお、図７では、ＡＤコンバータ１０や制御装置２６などの図示を省略している。【０１２７】
セレクタ１４ｂは、撮像素子４からの電気信号と前記変曲出力信号値Ｈとの大小を判別し、撮像素子４からの電気信号が前記変曲出力信号値Ｈより大きい場合、つまり対数変換された電気信号が撮像素子４から出力される場合には、撮像素子４からの出力信号を基準変換テーブル１４ａに出力し、変曲出力信号値Ｈ以下の場合には出力部１４ｃに出力するようになっている。【０１２８】
基準変換テーブル１４ａは、図４に矢印Ｚで示すように、撮像素子４から出力される電気信号のうち、対数変換された電気信号を、入射光から線形変換された状態に特性変換するものである。この基準変換テーブル１４ａの変換特性は、撮像素子４の駆動条件が所定の基準条件である場合、本実施の形態においては画素Ｇ１１〜Ｇｍｎの露光時間が前記基準露光時間ｔ１である場合に前記撮像素子４から対数変換動作で出力される電気信号が正確に線形変換された状態となるように設定されている。【０１２９】
出力部１４ｃは、セレクタ１４ｂ又は基準変換テーブル１４ａから入力される電気信号を出力するものである。【０１３０】
図１に戻り、信号処理部１２には、変曲信号導出部１８及び画像処理部１９がそれぞれ接続されている。【０１３１】
変曲信号導出部１８は、露光時間情報と画素情報とに基づいて変曲出力信号値Ｈを導出するものであり、本実施形態においては、図７に示すように、露光時間情報及び画素情報の入力によって変曲出力信号値Ｈを導出するルックアップテーブル１８ａを備えている。【０１３２】
画像処理部１９は、画素Ｇ１１〜Ｇｍｎからの電気信号全体によって構成される画像データに対して画像処理を行うものであり、ＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）処理部２０、色補間部２１、色補正部２２、階調変換部２３及び色空間変換部２４を備えている。これらＡＷＢ処理部２０、色補間部２１、色補正部２２、階調変換部２３及び色空間変換部２４は信号処理部１２に対してこの順に接続されている。【０１３３】
ＡＷＢ処理部２０は、画像データに対してホワイトバランス処理を行うものであり、色補間部２１は、同色のフィルタが設けられた複数の近接画素からの電気信号に基づき、これら近接画素間に位置する画素について、この色の電気信号を補間演算するものである。色補正部２２は画像データの色合いを補正するものであり、より詳細には、各色の電気信号を他の色の電気信号に基づき画素Ｇ１１〜Ｇｍｎごとに補正するものである。階調変換部２３は画像データの階調変換を行うものであり、色空間変換部２４はＲＧＢ信号をＹＣｂＣｒ信号に変換するものである。【０１３４】
また、信号処理部１２には、評価値算出部２５及び制御装置２６がこの順に接続されている。【０１３５】
評価値算出部２５は、ＡＷＢ処理部２０でのホワイトバランス処理（ＡＷＢ処理）に用いられるＡＷＢ評価値や、露光制御処理部２７での露出制御処理（ＡＥ処理）に用いられるＡＥ評価値を算出するものである。【０１３６】
制御装置２６は、撮像装置１の各部を制御するものであり、図１に示すように、アンプ９、黒基準設定部１１、信号処理部１２、変曲信号導出部１８、ＡＷＢ処理部２０、色補間部２１、色補正部２２、階調変換部２３及び色空間変換部２４と接続されている。【０１３７】
また、制御装置２６は、露光制御処理部２７を介して絞り３と接続され、信号生成部２８を介して撮像素子４及びＡＤコンバータ１０と接続されている。【０１３８】
露光制御処理部２７は、絞り制御機構などにより構成され、評価値算出部２５の出力信号などのフィードバックを受けながら制御装置２６からの制御信号により絞り３を制御するようになっている。【０１３９】
信号生成部２８は、撮像素子４の撮影動作を制御するようになっている。すなわち、制御装置２６からの撮影制御信号に基づいて所定のタイミングパルス（画素駆動信号、水平同期信号、垂直同期信号、水平走査回路駆動信号、垂直走査回路駆動信号など）を生成して撮像素子４に出力するようになっている。また、信号生成部２８はＡＤ変換用のタイミング信号も生成するようになっている。【０１４０】
続いて、撮像装置１の撮像動作について、図１６を参照して説明する。【０１４１】
まず、撮像素子４が各画素Ｇ１１〜Ｇｍｎへの入射光を光電変換し、線形変換又は対数変換された電気信号をアナログ信号として出力する。具体的には、各画素Ｇ１１〜Ｇｍｎが信号読出ラインＬＤに電気信号を出力すると、この電気信号を定電流源Ｄが増幅し、選択回路Ｓが順にサンプルホールドする。そして、サンプルホールドされた電気信号が選択回路Ｓから補正回路８に送出されると、補正回路８がノイズを除去して電気信号を出力する。【０１４２】
次に、撮像素子４から出力されたアナログ信号をアンプ９が増幅し、ＡＤコンバータ１０がデジタル信号に変換する。次に、黒基準設定部１１がデジタル信号の最低レベルを設定した後、図１６に示すように、このデジタル信号を信号処理部１２の線形化部１４及び変動補正部１３に送信する（ステップＴ１、ステップＵ１）。また、制御装置２６が撮像素子４の各画素Ｇ１１〜Ｇｍｎの露光時間情報と、画素情報とを変動補正部１３及び変曲信号導出部１８に送信する（ステップＵ１、ステップＳ１）。【０１４３】
露光時間情報及び画素情報を受信したら、変曲信号導出部１８は、ルックアップテーブル１８ａによって変曲出力信号値Ｈを導出し（ステップＳ２）、変動補正部１３と線形化部１４のセレクタ１４ｂとに送信する（ステップＳ３）。このように、ルックアップテーブル１８ａが露光時間及び画素情報に基づいて変曲出力信号値Ｈを導出するので、変曲出力信号値Ｈの導出が正確かつ高速に行われる。【０１４４】
変曲信号導出部１８からの変曲出力信号値Ｈを受信したら（ステップＵ２）、変動補正部１３は画素Ｇ１１〜Ｇｍｎからの出力信号の信号値と変曲出力信号値Ｈ（より詳細には変曲点近傍領域）との大小を比較し（ステップＵ３）、画素Ｇ１１〜Ｇｍｎからの出力信号の信号値が変曲出力信号値Ｈ以下である場合（より詳細には変曲出力信号Ｈ近傍領域（図１５のｍａ相当）よりも小さい場合）、つまり画素Ｇ１１〜Ｇｍｎからの出力信号が線形変換された電気信号である場合（ステップＵ３；Ｙｅｓ）は、変動補正部１３は処理を終了する。【０１４５】
一方、ステップＵ３において画素Ｇ１１〜Ｇｍｎからの出力信号が変曲出力信号値Ｈより大きい場合（より詳細には変曲出力信号Ｈ近傍領域（図１５のｍａ相当）以上の場合）、つまり画素Ｇ１１〜Ｇｍｎからの出力信号が線形変換された電気信号でない場合（ステップＵ３；Ｎｏ）には、変動補正部１３の第１の補正部１３ａは、ルックアップテーブル１５ａにより画素Ｇ１１〜Ｇｍｎごとに補正係数α１１〜αｍｎを導出し（ステップＵ４）、演算処理部１６により画素Ｇ１１〜Ｇｍｎごとに変動補正を行う（ステップＵ５）。続いて、第２の補正部１３ｂは、変動補正後の電気信号のうち変曲点近傍領域の電気信号を、実際の撮像素子４の特性と重なるよう変曲点の両側の２つの特性のモデル式を用いて補正する（ステップＵ６）。具体的には、ルックアップテーブル１７に変曲点近傍領域の電気信号を入力することにより、変曲点の両側の２つの特性のモデル式を用いて補正された変曲点近傍領域の電気信号を導出する。続いて、変動補正部１３は変動補正後の電気信号を線形化部１４のセレクタ１４ｂに送信する（ステップＵ７）。【０１４６】
このように、画素Ｇ１１〜Ｇｍｎの露光時間に起因して当該画素Ｇ１１〜Ｇｍｎの入出力特性が変動する場合でも、第１の補正部１３ａの変動補正により、基準露光時間ｔ１における出力値と画素Ｇ１１〜Ｇｍｎの実際の出力値とのズレが補正される。また、係数導出部１５が撮像時の露光時間及び画素情報に基づいて補正係数α１１〜αｍｎを導出するので、演算処理部１６が補正係数α１１〜αｍｎを用いることにより、撮像素子４の入出力特性の変動が正確に補正される。また、ルックアップテーブル１５ａにより、係数α１１〜αｍｎが正確かつ高速に導出される。また、画素Ｇ１１〜Ｇｍｎからの出力信号が対数変換された電気信号である場合にのみ変動補正を行うので、無駄に変動補正が行われないこととなり、信号処理が高速化される。また、第２の補正部１３ｂにより、変曲点近傍領域において変動補正後の電気信号と実際の撮像素子４の特性との補正誤差が防止される。【０１４７】
続いて、線形化部１４では変曲信号導出部１８からの変曲出力信号値Ｈを受信すると（ステップＴ２）、線形化部１４のセレクタ１４ｂは画素Ｇ１１〜Ｇｍｎからの出力信号の信号値と変曲出力信号値Ｈとの大小を比較し（ステップＴ３）、画素Ｇ１１〜Ｇｍｎからの出力信号が変曲出力信号値Ｈ以下である場合（ステップＴ３；Ｙｅｓ）には、出力部１４ｃを介して画素Ｇ１１〜Ｇｍｎからの出力信号をそのまま出力する（ステップＴ４）。一方、画素Ｇ１１〜Ｇｍｎからの出力信号が変曲出力信号値Ｈより大きい場合（ステップＴ３；Ｎｏ）には、セレクタ１４ｂは変動補正部１３から変動補正後の電気信号を受信し（ステップＴ５）、この電気信号に対して基準変換テーブル１４ａに特性変換を行わせた後（ステップＴ６）、出力部１４ｃを介して出力する（ステップＴ７）。【０１４８】
このように、線形化部１４では画素Ｇ１１〜Ｇｍｎからの出力信号が対数変換された電気信号である場合にのみ特性変換を行うので、無駄に特性変換が行われないこととなり、信号処理が高速化される。【０１４９】
次に、線形化部１４から出力される電気信号に基づいて評価値算出部２５が前記ＡＷＢ評価値、ＡＥ評価値を算出する。【０１５０】
次に、算出されたＡＥ評価値に基づいて制御装置２６が露光制御処理部２７を制御し、撮像素子４に対する露光量を調節させる。【０１５１】
また、ＡＷＢ評価値や、前記黒基準設定部１１で設定された前記最低レベルなどに基づいて制御装置２６がＡＷＢ処理部２０を制御し、信号処理部１２から出力される画像データに対してホワイトバランス処理を行わせる。【０１５２】
そして、ＡＷＢ処理部２０から出力される画像データに基づいて色補間部２１、色補正部２２、階調変換部２３及び色空間変換部２４がそれぞれ画像処理を行った後、画像データを出力する。【０１５３】
このように本実施形態の撮像装置１によれば、撮像素子４の少なくとも１つの駆動条件に起因して撮像素子４の入出力特性が変動する場合に、撮像素子４から出力される電気信号の変動補正を行うので、駆動条件によって入出力特性が変動する場合であっても、従来と異なり、基準駆動条件における出力値と、撮像素子４の実際の出力値とのズレが補正される。従って、特性変換によって電気信号を正確に線形変換された状態に統一することができる。【０１５４】
また、第１の補正部１３ａにおいて、モデル化した演算式に基づき、簡易かつ高速に変動補正を行うことができる。また、第１の補正部１３ａで各特性の出力信号をモデル化した演算式に基づいて変動補正を行うと、実際の撮像素子４の出力信号は変曲点近傍領域において滑らかな曲線状に変化していることから、出力信号モデルとの補正誤差が生じるが、変曲点近傍領域の出力信号を変曲点の両側の２つの特性のモデル式を用いて補正することにより、変換誤差を抑制して画質劣化を改善することが可能となる。【０１５５】
また、係数導出部１５は駆動条件に基づいて補正係数を導出するので、導出される補正係数を演算処理部１６が用いることによって、駆動条件に起因する撮像素子４の入出力特性の変動を正確に補正することができる。【０１５６】
また、係数導出部１５は駆動条件及び画素情報に基づいて補正係数を導出するので、導出される補正係数を演算処理部１６が用いることによって、駆動条件や画素に起因する撮像素子４の入出力特性の変動を正確に補正することができる。【０１５７】
また、ルックアップテーブル１５ａにより補正係数を導出するので、演算によって補正係数を導出する場合と比較して、係数導出部１５の構成を簡素化すると共に導出処理を高速化することができる。【０１５８】
また、変動補正部１３は駆動条件に基づいて変動補正後の電気信号を導出するので、駆動条件に起因する撮像素子４の入出力特性の変動を正確に補正することができる。また、ルックアップテーブルによって変動補正後の電気信号を導出することにより、演算によって変動補正後の電気信号を導出する場合と比較して、変動補正部１３の構成を簡素化すると共に導出処理を高速化することができる。【０１５９】
また、駆動条件と、画素情報とに基づいて変動補正後の電気信号を導出するので、駆動条件や画素に起因する撮像素子４の入出力特性の変動を正確に補正することができる。【０１６０】
また、複数種類の変換特性の切換点は撮像素子４の駆動条件に応じて変動するが、この切換点に応じて切換点近傍領域の出力信号の補正を行うことにより、変換誤差を更に効果的に抑制することが可能となる。【０１６１】
また、ルックアップテーブル１７により補正後の出力信号を導出するので、演算によって補正を行う場合と比較して、第２の補正部１３ｂの構成を簡素化すると共に導出処理を高速化することができる。【０１６２】
また、変動補正部１３を各画素に対応付けて備えるので、画素毎に入出力特性の変動量が異なる場合であっても、正確に変動補正を行うことができる。【０１６３】
また、線形化部１４を各画素に対応付けて備えるので、画素毎に光電変換の変換特性が異なる場合であっても、電気信号全体を正確に線形変換された状態に統一することができる。【０１６４】
また、撮像素子４の出力信号が複数種類の変換特性のいずれか一つの特性により変換された電気信号である場合にのみ信号処理部１２が信号処理を行うので、他方の変換特性により変換された状態にする必要のない場合は、特性変換や変動補正などの信号処理が行われない。従って、無駄に信号処理を行う手間を省くことができるため、処理を高速化することができる。【０１６５】
また、駆動条件に基づいて変曲出力信号値を導出するので、変曲出力信号値の導出を正確に行うことができる。【０１６６】
また、駆動条件及び画素情報に基づいて変曲出力信号値を導出するので、変曲出力信号値の導出を正確に行うことができる。【０１６７】
また、ルックアップテーブル１８ａによって変曲出力信号値を導出するので、演算によって導出する場合と比較して、変曲信号導出部の構成を簡素化すると共に導出処理を高速化することができる。【０１６８】
［実施の形態の変形例］
次に、上記の実施形態の変形例について説明する。なお、上記の実施形態と同様の構成要素には同一の符号を付し、その説明を省略する。【０１６９】
本変形例における変動補正部１３の第１の補正部１３ａは、各画素Ｇ１１〜Ｇｍｎの制御電圧に起因して画素Ｇ１１〜Ｇｍｎの入出力特性が変動する場合に、この画素Ｇ１１〜Ｇｍｎから出力される電気信号の変動補正を行うようになっている。【０１７０】
具体的には、第１の補正部１３ａの係数導出部１５は、図６及び図８（ｂ）に示すように、所定入射光量ｔｈが最も小さいときの制御電圧Ｖ１を基準制御電圧とし、制御電圧Ｖ２（変数）の駆動条件に対応する仮想の変換テーブルと、基準制御電圧Ｖ１の駆動条件に対応する基準変換テーブル１４ａとの入力軸（図８（ｂ）中のｘ軸）上での距離Ｘ２−Ｘ１＝ｄ１−ｄ２＝ｍ１Ｖ１−ｍ２Ｖ２（但し、ｍ２＝ｄ２／Ｖ２、ｍ１＝ｄ１／Ｖ１）を補正係数αとして用いるようになっている。【０１７１】
また、本変形例における第２の補正部１３ｂも、上記の実施形態と同様に、第１の補正部１３ａから出力された電気信号のうち、変曲点近傍領域の電気信号を、ルックアップテーブル１７により変曲点の両側の２つの特性のモデル式を用いて補正するようになっている。本実施形態でも、実際の撮像素子４の特性は下記式（３）又は下記式（４）で表すことができ、これらの演算式に基づいて補正に必要なパラメータを実験的に求めて、ルックアップテーブル１７を作成しておくことができる。なお、下記式（３）は図１４（ｂ）における基準変換テーブルによる出力信号Ｙ１を表し、下記式（４）は図１４（ｂ）における変換テーブルによる出力信号Ｙ２を表している。【０１７２】
【数３】
2007145099.tif 000005
【０１７３】
【数４】
2007145099.tif 000006
【０１７４】
このような場合にも、上記の実施形態と同様の作用効果を得ることができる。【０１７５】
なお、上記の実施形態及び変形例においては、変動補正部１３は線形化部１４の前段に配設されることとして説明したが、後段に配設されることとしてもよく、係数導出部１５を線形化部１４の前段に、演算処理部１６を後段に設けてもよい。【０１７６】
また、撮像素子４の駆動条件として、露光時間や制御電圧を用いることとして説明したが、温度を用いることとしてもよい。【０１７７】
また、変動補正部１３の第１の補正部１３ａは、変動補正後の電気信号を導出する演算処理部１６を備えることとして説明したが、駆動条件や画素情報、撮像素子４から出力される電気信号などの入力によって変動補正後の電気信号を導出するルックアップテーブルを備えることとしてもよい。この場合は、上記の実施形態と同様の効果を得ることができると共に、演算により変動補正後の電気信号を導出する場合と比較して変動補正部１３の構成を簡素化することが可能となる。【０１７８】
また、変動補正部１３及び線形化部１４は１つずつ設けられていることとして説明したが、各画素Ｇ１１〜Ｇｍｎに対応づけて複数設けてもよい。特に、線形化部１４が複数設けられる場合には、画素Ｇ１１〜Ｇｍｎごとに光電変換の変換特性が異なる場合であっても、電気信号全体を正確に線形変換された状態に統一することができる。また、変動補正部１３を複数設けることにより、画素Ｇ１１〜Ｇｍｎごとに入出力特性の変動量が異なる場合であっても、正確に変動補正を行うことができる。【０１７９】
また、係数導出部１５は、駆動条件と画素情報とに基づいて画素Ｇ１１〜Ｇｍｎごとに補正係数α１１〜αｍｎを導出することとして説明したが、駆動条件のみに基づいて、画素Ｇ１１〜Ｇｍｎに共通の補正係数αを導出することとしてもよい。【０１８０】
また、係数導出部１５は、補正係数を導出する基準変換テーブル１４ａを備えることとして説明したが、駆動条件などの入力によって補正係数を導出する演算器を備えることとしてもよい。【０１８１】
また、本発明における特性変換部を、対数変換された電気信号を線形変換によって生成された状態に特性変換する線形化部１４として説明したが、線形変換された電気信号を対数変換された状態に特性変換するものとしてもよい。【０１８２】
また、変曲信号導出部１８は、駆動条件と画素情報とに基づいて変曲出力信号値Ｈを導出するものとしたが、駆動条件のみに基づいて導出してもよい。また変曲信号導出部１８は、変曲出力信号値Ｈを導出するルックアップテーブル１８ａを備えることとしたが、変曲出力信号値Ｈを導出する演算器を備えてもよい。
また、線形化部１４は基準変換テーブル１４ａによって特性変換を行うこととしたが、指数変換するなどの演算によって行ってもよい。【０１８３】
また、画素Ｇ１１〜Ｇｍｎは図３のような構成を有することとしたが、線形変換動作と対数変換動作とを切り換え可能であれば、例えば上述の特許文献１に示されるような構成を有するものであってもよい。
【図１】
2007145099.tif 000007
【図２】
2007145099.tif 000008
【図３】
2007145099.tif 000009
【図４】
2007145099.tif 000010
【図５】
2007145099.tif 000011
【図６】
2007145099.tif 000012
【図７】
2007145099.tif 000013
【図８】
2007145099.tif 000014
【図９】
2007145099.tif 000015
【図１０】
2007145099.tif 000016
【図１１】
2007145099.tif 000017
【図１２】
2007145099.tif 000018
【図１３】
2007145099.tif 000019
【図１４】
2007145099.tif 000020
【図１５】
2007145099.tif 000021
【図１６】
2007145099.tif 000022
【国際調査報告】
2007145099.tif 000023
2007145099.tif 000024
2007145099.tif 000025
2007145099.tif 000026