(57)【要約】【課題】演算処理を行う回路を別途設けることなく、線形領域及び対数領域のいずれをも含む電気信号を後段の処理回路において処理が容易な信号に変換することを可能とする撮像装置を提供する。【解決手段】撮像装置１において、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子６と、撮像素子６の対数領域における出力信号の近似式の逆関数を線形領域における出力信号の近似式に代入することにより求めた対数領域が線形化された出力信号を格納したＬｏｇ−Ｌｉｎ変換ＬＵＴを有し、このＬｏｇ−Ｌｉｎ変換ＬＵＴによって前記撮像素子の対数領域における出力信号を線形変換する処理を行うＬｏｇ−Ｌｉｎ変換部２０と、前記撮像素子の出力信号を画像処理する画像処理部とを設ける。【選択図】図１
2006180065.tif 000002
【特許請求の範囲】
【請求項１】
入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子と、
前記撮像素子の対数領域における出力信号の近似式の逆関数を線形領域における出力信号の近似式に代入することによって対数領域を線形化した出力信号を格納したＬＵＴを有し、このＬＵＴによって前記撮像素子の対数領域における出力信号を線形変換する処理を行う変換部と、
前記撮像素子の出力信号を画像処理する画像処理部と、
を備えることを特徴とする撮像装置。
【請求項２】
前記変換部は、前記撮像素子の出力信号が線形領域から対数領域に変わる変極点が変化した場合は、前記撮像素子の対数領域における出力信号を、前記変極点の変化前における前記対数領域の出力信号に所定の演算を行うことによって求めた出力信号に変換することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変換部は、前記画像処理部のうちＷＢ調整部におけるＷＢ調整が行われるより前に線形変換処理を行うことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記変換部は、前記画像処理部のうちＡＥ評価値検出部におけるＡＥ評価値検出が行われるより前に線形変換処理を行うことを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項５】
入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子の対数領域における出力信号を、前記撮像素子の対数領域における出力信号の近似式の逆関数を線形領域における出力信号の近似式に代入することにより線形化した出力信号を格納したＬＵＴによって線形変換する処理を行う変換工程と、
前記撮像素子の出力信号を画像処理する画像処理工程と、
を備えることを特徴とする撮像方法。
【請求項６】
前記変換工程は、前記撮像素子の出力信号が線形領域から対数領域に変わる変極点が変化した場合は、前記撮像素子の出力信号を、前記変極点の変化前における前記対数領域の出力信号に所定の演算を行うことによって求めた出力信号に変換する工程を有することを特徴とする請求項５に記載の撮像方法。
【請求項７】
前記変換工程は、前記画像処理工程のうちＷＢ調整工程より前に行われることを特徴とする請求項５又は請求項６に記載の撮像方法。
【請求項８】
前記変換工程は、前記画像処理工程のうちＡＥ評価値検出工程より前に行われることを特徴とする請求項５又は請求項６に記載の撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置及び撮像方法に係り、特に、対数変換動作及び線形変換動作の切り換えが可能な撮像素子を有する撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
従来、デジタルカメラなどの撮像装置には、入射光を電気信号に変換する撮像素子が設けられている。この撮像素子は電気信号への変換動作を切り換えるようになっており、より詳細には、入射光量に基づき入射光を電気信号に線形変換する線形変換動作と対数変換する対数変換動作とを切り換えるようになっている（特許文献１，非特許文献１及び非特許文献２参照）。
【０００３】
このような撮像素子によれば、線形変換動作のみを行う撮像素子と比較して電気信号のダイナミックレンジが広くなるため、輝度範囲の広い被写体を撮影した場合でも全輝度情報を電気信号で表現することができる。
【０００４】
また、対数変換動作のみを行う撮像素子と比較して、撮像可能領域のうち高輝度領域・低輝度領域で輝度データのない領域が発生するという問題も少なくなり、高輝度領域・低輝度領域の輝度データを抽出して被写体のコントラストを十分に得ることができる。
【特許文献１】特開２００２−０７７７３３号公報
【非特許文献１】映像情報メディア学会誌Vol.57,No8(2003)のX(36)
【非特許文献２】映像情報メディア学会誌Vol.57,No9(2003)のX(93)
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記撮像素子の出力は線形領域及び対数領域を有することから、撮像装置は線形動作用画像処理回路及び対数動作用画像処理回路の双方を備える必要がある。したがって、線形変換動作のみを行う撮像素子を備えた撮像装置又は対数変換動作のみを行う撮像素子を備えた撮像装置に比べて２倍の回路規模となり、消費電力の増大、画像処理の遅延、メモリの不足という問題が生じていた。
【０００６】
また、対数領域における画像処理は線形領域における画像処理よりも演算処理が複雑であり、回路規模が大きくなるため、消費電力の増大、画像処理の遅延、メモリの不足がより一層問題となっていた。
【０００７】
ここで、撮像装置に演算処理を行う回路を設け、対数領域の出力信号に演算処理を施して後段の処理回路において処理が容易な信号に変換することが考えられる。しかし、撮像装置に演算処理を行う回路を別途設けるとすると、回路規模が大きくなることから、消費電力の低減の妨げとなってしまう。
【０００８】
本発明の課題は、対数変換動作及び線形変換動作の切り換えが可能な撮像素子を有する撮像装置において、演算処理を行う回路を別途設けることなく、線形領域及び対数領域のいずれをも含む電気信号を後段の処理回路において処理が容易な信号に変換することを可能とする撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、請求項１に記載の発明は、撮像装置であって、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子と、前記撮像素子の対数領域における出力信号の近似式の逆関数を線形領域における出力信号の近似式に代入することによって対数領域を線形化した出力信号を格納したＬＵＴを有し、このＬＵＴによって前記撮像素子の対数領域における出力信号を線形変換する処理を行う変換部と、前記撮像素子の出力信号を画像処理する画像処理部と、を備えることを特徴とする。
【００１０】
請求項１に記載の発明によれば、撮像素子から出力された線形領域及び対数領域を含むの出力信号のうち対数領域を線形化することから、後段の処理回路において対数領域における複雑な演算処理を行う必要はない。また、撮像装置が線形動作用画像処理回路及び対数動作用画像処理回路の双方を備えなくても、線形動作用画像処理回路を備えるのみで出力信号の処理を行うことができる。
また、ＬＵＴを使用して処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もない。
【００１１】
請求項２に記載の発明は、請求項１に記載の撮像装置であって、前記変換部は、前記撮像素子の出力信号が線形領域から対数領域に変わる変極点が変化した場合は、前記撮像素子の対数領域における出力信号を、前記変極点の変化前における前記対数領域の出力信号に所定の演算を行うことによって求めた出力信号に変換することを特徴とする。
【００１２】
請求項２に記載の発明によれば、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に変わる変極点が変化した場合でも、その都度その変極点に応じたＬＵＴを作成することなく、変極点の変化前の出力信号について作成したＬＵＴを用いて変化後の変極点以上の対数領域が線形化された出力信号を求めることが可能である。
【００１３】
請求項３に記載の発明は、請求項１又は請求項２に記載の撮像装置であって、前記変換部は、前記画像処理部のうちＷＢ調整部におけるＷＢ調整が行われるより前に線形変換処理を行うことを特徴とする。
【００１４】
請求項３に記載の発明によれば、線形領域及び対数領域それぞれの領域における出力信号の処理が必要なＷＢ（ホワイトバランス）制御回路に入力される前に、対数領域の出力信号が線形化されることから、対数領域における複雑な演算処理を行う必要がなくなる。
【００１５】
請求項４に記載の発明は、請求項１又は請求項２に記載の撮像装置であって、前記変換部は、前記画像処理部のうちＡＥ評価値検出部におけるＡＥ評価値検出が行われるより前に線形変換処理を行うことを特徴とする。
【００１６】
請求項４に記載の発明によれば、線形領域及び対数領域それぞれの領域における出力信号の処理が必要なＡＥ（自動露出）制御回路に入力される前に、対数領域の出力信号が線形化されることから、対数領域における複雑な演算処理を行う必要がなくなる。
【００１７】
請求項５に記載の発明は、撮像方法であって、入射光量に基づき入射光を電気信号に線形変換又は対数変換する複数の画素を有する撮像素子の対数領域における出力信号を、前記撮像素子の対数領域における出力信号の近似式の逆関数を線形領域における出力信号の近似式に代入することにより線形化した出力信号を格納したＬＵＴによって線形変換する処理を行う変換工程と、前記撮像素子の出力信号を画像処理する画像処理工程と、を備えることを特徴とする。
【００１８】
請求項５に記載の発明によれば、撮像素子から出力された線形領域及び対数領域を含むの出力信号のうち対数領域を線形化することから、後段の処理回路において対数領域における複雑な演算処理を行う必要はない。また、撮像装置が線形動作用画像処理回路及び対数動作用画像処理回路の双方を備えなくても、線形動作用画像処理回路を備えるのみで出力信号の処理を行うことができる。
また、ＬＵＴを使用して処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もない。
【００１９】
請求項６に記載の発明は、請求項５に記載の撮像方法であって、前記変換工程は、前記撮像素子の出力信号が線形領域から対数領域に変わる変極点が変化した場合は、前記撮像素子の出力信号を、前記変極点の変化前における前記対数領域の出力信号に所定の演算を行うことによって求めた出力信号に変換する工程を有することを特徴とする。
【００２０】
請求項６に記載の発明によれば、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に変わる変極点が変化した場合でも、その都度その変極点に応じたＬＵＴを作成することなく、変極点の変化前の出力信号について作成したＬＵＴを用いて変化後の変極点以上の対数領域が線形化された出力信号を求めることが可能である。
【００２１】
請求項７に記載の発明は、請求項５又は請求項６に記載の撮像方法であって、前記変換工程は、前記画像処理工程のうちＷＢ調整工程より前に行われることを特徴とする。
【００２２】
請求項７に記載の発明によれば、線形領域及び対数領域それぞれの領域における出力信号の処理が必要なＷＢ制御回路に入力される前に、対数領域の出力信号が線形化されることから、対数領域における複雑な演算処理を行う必要がなくなる。
【００２３】
請求項８に記載の発明は、請求項５又は請求項６に記載の撮像方法であって、前記変換工程は、前記画像処理工程のうちＡＥ評価値検出工程より前に行われることを特徴とする。
【００２４】
請求項８に記載の発明によれば、線形領域及び対数領域それぞれの領域における出力信号の処理が必要なＡＥ制御回路に入力される前に、対数領域の出力信号が線形化されることから、対数領域における複雑な演算処理を行う必要がなくなる。
【発明の効果】
【００２５】
請求項１に記載の発明によれば、後段の処理回路において対数領域における複雑な演算処理を行う必要はなく、また、撮像装置が対数動作用画像処理回路を備える必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
また、ＬＵＴを使用して処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もなく、回路規模の縮小及び消費電力の低減を図ることができる。
【００２６】
請求項２に記載の発明によれば、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に換わる変極点が変化するたびにその変極点に応じたＬＵＴを作成する必要がないため、既に作成されているＬＵＴを有効に利用して処理の効率化を図ることができる。
【００２７】
請求項３に記載の発明によれば、ＷＢ制御回路において対数領域における複雑な演算処理を行う必要がなくなることから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
【００２８】
請求項４に記載の発明によれば、ＡＥ制御回路において対数領域における複雑な演算処理を行う必要がなくなることから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
【００２９】
請求項５に記載の発明によれば、後段の処理回路において対数領域における複雑な演算処理を行う必要はなく、また、撮像装置が対数動作用画像処理回路を備える必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
また、ＬＵＴを使用して処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もなく、回路規模の縮小及び消費電力の低減を図ることができる。
【００３０】
請求項６に記載の発明によれば、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に換わる変極点が変化するたびにその変極点に応じたＬＵＴを作成する必要がないため、既に作成されているＬＵＴを有効に利用して処理の効率化を図ることができる。
【００３１】
請求項７に記載の発明によれば、ＷＢ制御回路において対数領域における複雑な演算処理を行う必要がなくなることから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
【００３２】
請求項８に記載の発明によれば、ＡＥ制御回路において対数領域における複雑な演算処理を行う必要がなくなることから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
【発明を実施するための最良の形態】
【００３３】
本発明の実施形態を、図１を参照して説明する。
【００３４】
図１は、本発明の実施形態に係る撮像装置１のブロック構成図である。
【００３５】
図１に示すように撮像装置１はシステム制御部２を備えている。システム制御部２は、ＣＰＵ（Central Processing Unit）、書き換え可能な半導体素子で構成されるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリで構成されるＲＯＭ（Read Only Memory）から構成されている。また、システム制御部２には撮像装置１の各構成部分が接続されており、システム制御部２は、ＲＯＭに記録された処理プログラムをＲＡＭに展開し、ＣＰＵによりこの処理プログラムを実行して、これらの各構成部分を駆動制御するようになっている。
【００３６】
撮像装置１には、被写体からの反射光（被写体光像）を撮像装置１に導く光学系が備えられている。光学系は、被写体光像を撮像系の撮像面に結像する複数のレンズ３、レンズ３により集光される光の量を調整する絞り部４及びこの絞り部４の駆動を制御する絞り制御部５から構成されている。絞り制御部５は、システム制御部１４から入力される露光制御値に基づき、撮像素子６の撮像動作開始直前に絞り部４を開口させてから所定の露光時間の経過後に絞り部４を閉塞させ、また、非撮像時は撮像素子６への入射光を遮断することにより入射光量を制御するようになっている。
【００３７】
また、撮像装置１は、被写体光像であるＲ，Ｇ，Ｂの各色成分の入射光を電気信号に光電変換して取り込む撮像素子６を備えている。なお、本実施形態において、入射光を電気信号に変換するとは、光量の時間積分値を電気信号に変換することである。
【００３８】
図２は、本実施形態の撮像素子６の構成を示すブロック図である。
【００３９】
図２に示すように、撮像素子６は行列配置（マトリクス配置）された画素Ｇａｂ（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ≦ｎの自然数）を有している。垂直走査回路７は、各画素に信号φＶを与える行（ライン）８−１、８−２、・・・、８−ｎを順次走査すると共に、ライン９−１、９−２、・・・、９−ｎを介して各画素に信号φＶＤを、ライン１０−１、１０−２、・・・、１０−ｎを介して各画素に信号φＶＰＳを、それぞれ与えるようになっている。一方、水平走査回路１１は、画素から出力信号線１２−１、１２−２、・・・、１２−ｍに導出された光電変換信号を、画素ごとに水平方向に順次読み出すようになっている。各画素には、電源ライン１３の他、クロックラインやバイアス供給ライン（いずれも図示せず）が接続されている。
【００４０】
さらに、出力信号線１２−１〜１２−ｍのそれぞれには、画素Ｇａｂからの出力となる画像信号及びノイズ信号を直流電圧ＶＰＳの印加により増幅する定電流源１４−１〜１４−ｍが接続されている。さらに、出力信号線１２−１〜１２−ｍのそれぞれには画像信号及びノイズ信号をサンプルホールドする選択回路１５−１〜１５−ｍが接続されている。選択回路１５−１〜１５−ｍには画像信号の補正処理を行う補正回路１６が接続されており、選択回路１５−ａより与えられた画像信号を、同じく選択回路１５−ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去された画像信号をアンプ１７に出力するようになっている。
【００４１】
図３は、画素Ｇ１１〜Ｇｍｎの構成の一例である。図３の画素において、ＭＯＳトランジスタＴ１〜Ｔ６は、ＰチャネルのＭＯＳトランジスタである。カソードに直流電圧ＶＰＤが印加されたフォトダイオードＰＤのアノードにＭＯＳトランジスタＴ１のドレインが接続され、ＭＯＳトランジスタＴ１のソースにＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続されている。
【００４２】
また、ＭＯＳトランジスタＴ３のソースにＭＯＳトランジスタＴ４のゲート及びＭＯＳトランジスタＴ５のドレインが接続され、ＭＯＳトランジスタＴ４のソースにＭＯＳトランジスタＴ６のドレインが接続されている。そして、ＭＯＳトランジスタＴ６のソースが出力信号線１２（図２の出力信号線１２−１〜１２−ｍに相当する）に接続されている。
【００４３】
ＭＯＳトランジスタＴ２のソースには、ライン１０（図２のライン１０−１〜１０−ｎに相当する）を介して信号φＶＰＳが入力され、ＭＯＳトランジスタＴ３，Ｔ４のドレインに直流電圧ＶＰＤが印加されるようになっている。また、ＭＯＳトランジスタＴ３のソースには、その一端にライン９（図２のライン９−１〜９−ｎに相当する）を介して信号φＶＤが与えられるキャパシタＣの他端が接続されている。また、ＭＯＳトランジスタＴ５のソースには直流電圧ＶＲＧが入力され、そのゲートに信号φＲＳが入力されるようになっている。更に、ＭＯＳトランジスタＴ１，Ｔ６のゲートにはそれぞれ、信号φＳ，φＶが入力されるようになっている。
【００４４】
なお、信号φＶＰＳは２値の電圧信号で、入射光量が所定値を超えたときにＭＯＳトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をＶＬとし、又、この電圧よりも高くＭＯＳトランジスタＴ２を導通状態にする電圧をＶＨとする。又、信号φＶＤは３値の電圧信号であり、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、画像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりも低いＶｌとする。
【００４５】
撮像素子６における画素Ｇ１１〜Ｇｍｎは、図４のタイムチャートに示すような動作を行うように構成されている。すなわち、電圧値Ｖｍのパルス信号φＶＤとパルス信号φＶが与えられて画像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてＭＯＳトランジスタＴ１をＯＦＦにして、リセット動作が始まるようになっている。また、ＭＯＳトランジスタＴ２のソースに与える信号φＶＰＳをＶＨにして、ＭＯＳトランジスタＴ２のソース電圧を高くするとＭＯＳトランジスタＴ２のソース側から流入する正の電荷の量が増加し、ＭＯＳトランジスタＴ２のゲート及びドレイン、そしてＭＯＳトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合されるようになっている。このとき、信号φＲＳをローとして、ＭＯＳトランジスタＴ５をＯＮとすることにより、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧を初期化するようになっている。
【００４６】
そして、ＭＯＳトランジスタＴ２のソースに与える信号φＶＰＳをＶＬにして、ＭＯＳトランジスタＴ２のポテンシャル状態を基の状態に戻した後、信号φＲＳをハイにして、ＭＯＳトランジスタＴ５をＯＦＦにするようになっている。
【００４７】
その後、キャパシタＣが積分動作を行うと、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧はリセットされたＭＯＳトランジスタＴ２のゲート電圧に応じたものとなり、また、パルス信号φＶをＭＯＳトランジスタＴ６のゲートに与えてＭＯＳトランジスタＴ６をＯＮにすると共に信号φＶＤの電圧値をＶｌにすると、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６にはノイズ信号が電圧信号として現れるようになっている。また、再びパルス信号φＲＳをＭＯＳトランジスタＴ５に与えて、キャパシタＣとＭＯＳトランジスタＴ４のゲートとの接続ノードの電圧をリセットした後、信号φＳをローにしてＭＯＳトランジスタＴ１を導通すると、撮像動作を行うことができる状態となるように構成されている。
【００４８】
また、各画素は次のような動作で撮像を行うように構成されている。ＭＯＳトランジスタＴ１をＯＮとすると撮像動作が開始される。このとき、信号φＲＳをハイとしてＭＯＳトランジスタＴ５をＯＦＦとし、ＭＯＳトランジスタＴ２のソースに与える信号φＶＰＳをＶＬとすると共に、キャパシタＣに与える信号φＶＤの電圧値をＶｈとして積分動作を行うようにすると、フォトダイオードＰＤより入射光量に応じた光電荷がＭＯＳトランジスタＴ２に流れ込み、ＭＯＳトランジスタＴ２はカットオフ状態なので、光電荷がＭＯＳトランジスタＴ２のゲートに蓄積されるようになっている。
【００４９】
よって、撮像する被写体の輝度が低くフォトダイオードＰＤに入射される入射光量が少ない場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧がＭＯＳトランジスタＴ２のゲートに現れるため、入射光量の積分値に対して線形的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れるようになっている。
【００５０】
また、撮像する被写体の輝度が高くフォトダイオードＰＤに入射される入射光量が多い場合は、ＭＯＳトランジスタＴ２のゲートに蓄積された光電荷量に応じた電圧が高くなると、ＭＯＳトランジスタＴ２がサブスレッショルド領域で動作を行うため、入射光量の積分値に対して自然対数的に変化する電圧がＭＯＳトランジスタＴ３のゲートに現れるようになっている。
【００５１】
このように、入射光量に対して線形的に又は自然対数的に変化する電圧がＭＯＳトランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れるため、ＭＯＳトランジスタＴ４のゲート電圧が、入射光量の積分値に対して線形的又は自然対数的に変化する電圧となる。そして、信号φＶＤの電圧値をＶｍとすると共に、ＭＯＳトランジスタＴ６にパルス信号φＶを与えることで、ＭＯＳトランジスタＴ４のゲート電圧に応じたソース電流が、ＭＯＳトランジスタＴ６を介して出力信号線６へ流れるようになっている。このとき、ＭＯＳトランジスタＴ４がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には画像信号が電圧信号として現れるようになっている。その後、信号φＶをハイにしてＭＯＳトランジスタＴ６をＯＦＦにすると共に、信号φＶＤの電圧値をＶｈとするようになっている。
【００５２】
このように動作するとき、撮像時の信号φＶＰＳの電圧値ＶＬが低くなり、リセット時の信号φＶＰＳの電圧値ＶＨとの差を大きくするほど、ＭＯＳトランジスタＴ２のゲート・ソース間におけるポテンシャル差が大きくなり、ＭＯＳトランジスタＴ２がカットオフ状態で動作する被写体輝度の割合が大きくなる。よって、図５に示すように、電圧値ＶＬが低いほど、線形変換する被写体輝度の割合が大きくなる。そこで、例えば、被写体の輝度範囲を検出し、被写体の輝度範囲が狭いと電圧値ＶＬを低くして、線形変換する輝度範囲を広くし、また、被写体の輝度範囲が広いと電圧値ＶＬを高くして、対数変換する輝度範囲を広くすることで、被写体の特性に合った光電変換特性とすることができる。なお、電圧値ＶＬを最小とするとき、常に線形変換する状態とし、また、電圧値ＶＬを最大とするとき、常に対数変換する状態とすることもできる。
【００５３】
このように動作する撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬの値をシステム制御部２が切り換えることによって、被写体の輝度範囲などに応じてダイナミックレンジを切り換えることが可能となっている。すなわち、システム制御部２が信号φＶＰＳの電圧値ＶＬの値を切り換えることによって、撮像素子６の画素Ｇ１１〜Ｇｍｎにおける線形変換動作から対数変換動作に切り換わる変極点を設定することができるようになっている。なお、撮像時に対数変換動作に切り換わるときのＭＯＳトランジスタＴ２のゲート電圧に至るまでにＭＯＳトランジスタＴ２に流れ込む光電荷量は、全ての画素において等しくなっている。
【００５４】
なお、本発明に係る撮像素子６は線形変換動作と対数変換動作とを各画素において自動的に切り換えることができるものであればよく、本実施形態のような構成の画素を備えた撮像素子６のみならず他の構成の画素を備えた撮像素子６であってもよい。
【００５５】
また、本実施形態においては撮像時の信号φＶＰＳの電圧値ＶＬを変更することで線形変換動作と対数変換動作とを切り換えることとしたが、リセット時の信号φＶＰＳの電圧値ＶＨを変更することで線形変換動作と対数変換動作との変極点を変更してもよい。さらに、リセット時間を変更することで線形変換動作と対数変換動作との変極点を変更してもよい。
【００５６】
また、本実施形態の撮像素子６は各画素にＲＧＢフィルタを備えるものとしたが、シアン（Cyan）、マゼンタ（Magenta）、イエロー（Yellow）など他の色フィルタを備えるものとしてもよい。
【００５７】
図１に戻り、アンプ１７は、撮像素子６から出力された画像信号を所定の規定レベルに増幅するようになっている。
【００５８】
Ａ／Ｄ変換部１８は、アンプ１７から出力された画像信号をアナログ信号からデジタル信号に変換するようになっている。
【００５９】
タイミングジェネレータ１９は、クロックパルスを生成して撮像素子６及びＡ／Ｄ変換部１８に動作タイミング用のクロックを与えるようになっている。
【００６０】
Ｌｏｇ−Ｌｉｎ変換部２０は、撮像素子６の出力信号がアンプ１７により所定値に増幅され、Ａ／Ｄ変換部１８においてアナログ信号からデジタル信号に変換されると、Ｌｏｇ−Ｌｉｎ変換ＬＵＴによって線形領域及び対数領域を含む出力信号のうち対数領域における出力信号を線形化する処理を行うようになっている。すなわち、図６に示す撮像素子６の出力信号のうち、変極点以上の対数領域における画像信号を線形化するようになっている。
【００６１】
このＬｏｇ−Ｌｉｎ変換ＬＵＴには、線形領域及び対数領域を含む出力信号と対数領域が線形化された出力信号とが予め対応付けられており、対数領域から抽出したデータをアドレスとして、対数領域が線形化された画像信号をＬｏｇ−Ｌｉｎ変換ＬＵＴにより選択して変換するようになっている。
【００６２】
ここで、線形領域における出力信号の測定データ及び対数領域における出力信号の測定データから対数領域が線形化された出力信号を求める演算処理について説明する。
【００６３】
まず、線形領域における出力信号の近似式を最小二乗法によって求める。
【００６４】
本実施形態に係る撮像素子６の出力信号には、上述したように線形領域及び対数領域が存在するが、このうち線形領域における測定データは下記式（１）によって表すことができる。
【００６５】
【数１】
2006180065.tif 000003
【００６６】
一方、対数領域における測定データは下記式（２）によって表すことができる。
【００６７】
【数２】
2006180065.tif 000004
【００６８】
ここで、線形領域における測定データは上記式（１）のように表されることから、下記式（３）のように連立方程式をたてることができる。
【００６９】
【数３】
2006180065.tif 000005
【００７０】
そして、上記式（３）を行列式で表すと、下記式（４）のようになる。
【００７１】
【数４】
2006180065.tif 000006
【００７２】
ここで、上記式（４）を下記式（５）のように置く。
【００７３】
【数５】
2006180065.tif 000007
【００７４】
すると、上記式（５）は、下記式（６）のように表すことができる。
【００７５】
【数６】
2006180065.tif 000008
【００７６】
したがって、[X]すなわち係数ａ，ｂを求めることにより、線形領域における入射光量に対する撮像素子６の出力信号の特性についての近似式を得ることができる。
【００７７】
このとき、[A]が正方行列ならば、[A]の逆行列[A]−１を求めれば、下記式（７）のように[X]を求めることができる。
【００７８】
【数７】
2006180065.tif 000009
【００７９】
しかし、一般に出力信号の測定は複数回行い、複数個の測定値に対して連立方程式をたてるため、[A]は正方行列ではない。このように、[A]が正方行列でない場合は、一般擬似逆行列により[X]を求めることができる。
【００８０】
ここで、一般擬似逆行列とは、求められた[X]＝[Xest] を用いて[Y]＝[Yest] を計算したとき、すなわち下記式（８）を計算した場合に、実際の[Y]と[Yest]との関係が下記式（９）となるように係数ａ，ｂを求める手法である。
【００８１】
【数８】
2006180065.tif 000010
【００８２】
【数９】
2006180065.tif 000011
【００８３】
すなわち、下記式（１０）によって[X]すなわち係数ａ，ｂを求める手法である。
【００８４】
【数１０】
2006180065.tif 000012
【００８５】
したがって、上記式（１０）によって得られた[X]、すなわち係数ａ，ｂより、線形領域における入射光量に対する撮像素子６の出力信号の特性についての近似式を得ることができる。すなわち、近似式は下記式（１１）のようになる。
【００８６】
【数１１】
2006180065.tif 000013
【００８７】
次に、対数領域における出力信号の近似式を最小二乗法によって求める。対数領域における測定データは上記式（２）のように仮定していることから、下記式（１２）のように連立方程式をたてることができる。
【００８８】
【数１２】
2006180065.tif 000014
【００８９】
また、上記式（１２）を行列式で表すと下記式（１３）となる。
【００９０】
【数１３】
2006180065.tif 000015
【００９１】
ここで、上記式（１３）を下記式（１４）のように置く。
【００９２】
【数１４】
2006180065.tif 000016
【００９３】
上記式（１４）は、下記式（１５）のように表すことができる。
【００９４】
【数１５】
2006180065.tif 000017
【００９５】
したがって、[X]すなわち係数ｃ，ｄを求めることにより、対数領域における入射光量に対する撮像素子６の出力信号の特性についての近似式を得ることができる。
【００９６】
このとき、[A]が正方行列ならば、[A]の逆行列[A]−１を求めれば、下記式（１６）のように[X]を求めることができる。
【００９７】
【数１６】
2006180065.tif 000018
【００９８】
しかし、一般に出力信号の測定は複数回行い、複数個の測定値に対して連立方程式をたてるため、[A]は正方行列ではない。このように、[A]が正方行列でない場合は、下記式（１７）のように一般擬似逆行列により[X]を求めることができる。
【００９９】
【数１７】
2006180065.tif 000019
【０１００】
したがって、上記式（１７）によって得られた[X]、すなわち係数ｃ，ｄより、対数領域における入射光量に対する撮像素子６の出力信号の特性についての近似式を得ることができる。すなわち、近似式は下記式（１８）のように得られる。
【０１０１】
【数１８】
2006180065.tif 000020
【０１０２】
ここで、対数領域における出力信号を後段の画像処理回路で処理しやすいように線形化するために、上記式（１８）の逆関数を求めると、下記式（１９）が得られる。
【０１０３】
【数１９】
2006180065.tif 000021
【０１０４】
ここで、上記式（１９）で求めたｙを線形領域における特性近似式である上記式（１１）のｘとして代入することにより、線形化された対数領域の出力信号を表す下記式（２０）を求めることができる。
【０１０５】
【数２０】
2006180065.tif 000022
【０１０６】
なお、本実施形態において近似式を求める演算方法は最小二乗法に限らず、他の一般的な演算方法を使用することも可能である。
【０１０７】
このように、Ｌｏｇ−Ｌｉｎ変換部２０はＬｏｇ−Ｌｉｎ変換ＬＵＴによって変極点以上の対数領域における画像信号を線形化する処理を行うように構成されている。ここで、図７に示すように、線形領域から対数領域に切り換わる変極点は、露光時間や撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬによって変化するようになっている。図７の（ａ）は露光時間による変極点の変化であり、これは線形領域の傾きが変わることにより変化している。また、図７の（ｂ）は電圧値ＶＬによる変極点の変化であり、線形領域の傾きは変わらずに変化している。このように、露光時間や電圧値ＶＬによって変極点が変化することから、図７のように変化した変極点ごとに、その変極点以上の対数領域を線形化するためのＬｏｇ−Ｌｉｎ変換ＬＵＴを作成する必要がある。
【０１０８】
しかし、一般に撮像素子の特性から、変極点が変化したとしても対数領域を線形化した出力信号の傾きは変わらない。図８は、入力値に対する対数領域を線形化した出力信号を示すグラフであり、出力信号Ａ〜Ｄは各変極点ａ，ｂ，ｃ，ｄ以上の対数領域を線形化した出力信号である。図８において、出力信号Ａ，Ｂ，Ｃ，Ｄは、理想的にはそれぞれ平行となる。したがって、出力信号Ａを平行移動することによって出力信号Ｂ＝Ａ２，出力信号Ｃ＝Ａ３，出力信号Ｄ＝Ａ４というようにＬｏｇ−Ｌｉｎ変換ＬＵＴを代用することが可能である。
【０１０９】
そこで、本実施形態においては、Ｌｏｇ−Ｌｉｎ変換部２０が備える演算回路により、Ｌｏｇ−Ｌｉｎ変換ＬＵＴとして予め格納されている対数領域を線形化した出力信号に、補正値αを加算又は減算することにより、変極点の変化に対応した出力信号とするようになっている。ここで補正値αとは、露光時間や撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬを変化する前のＬｏｇ−Ｌｉｎ変換ＬＵＴにおける出力信号を基にして、再度測定を行うことなく、演算により露光時間や撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬを変化した後のＬｏｇ−Ｌｉｎ変換ＬＵＴにおける出力信号を求めるための補正値である。すなわち、例えば、図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける撮像素子６の出力値ａ´及び変極点ｂにおける出力値ｂ´を基に、ａ´＋α＝ｂ´又はａ´−α＝ｂ´となるαを演算により求めたものである。また、出力信号Ａを出力信号Ｃ，出力信号Ｄその他の変極点における出力信号に変換する場合も同様の演算を行う。なお、Ｌｏｇ−Ｌｉｎ変換前の対数領域における画像信号又はＬｏｇ−Ｌｉｎ変換後の対数領域における画像信号に対して直接補正値αによる演算を行うようにしてもよい。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。
【０１１０】
また、出力信号Ａから出力信号Ｂ＝Ａ´を求める他の演算方法として、出力信号Ａに補正係数α´を乗算又は除算することもできる。ここで補正係数α´とは、例えば、図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける出力値ａ´及び変極点ｂにおける出力値ｂ´を基に、ａ´×α´＝ｂ´又はａ´／α´＝ｂ´となるα´を演算により求めたものである。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。この方法によれば、補正値αを加算又は減算する方法よりも対数領域における演算の誤差が少なくなる。
【０１１１】
また、対数領域の出力信号が理論値通りの曲線にならず、変極点の変化前の出力信号と変化後の出力信号とが互いに平行とならない場合がある。このような場合を想定して、出力信号Ａに関数ｆ(x)＝βｘ＋γを乗算又は除算することにより、出力信号Ｂ＝Ａ´を求めることもできる。ここで関数ｆ(x)とは、変極点の変化前の出力信号を基にして、変極点の変化後におけるＬＵＴの出力信号を求めるための関数ｆ(x)である。また、関数ｆ(x) における「ｘ」とは撮像素子の入力値を表す。関数ｆ(x)は、例えば図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける出力値ａ´及び変極点ｂにおける出力値ｂ´の値を基に、ａ´×ｆ(x)＝ｂ´又はａ´／ｆ(x) ＝ｂ´となるｆ(x)を演算により求めたものである。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。
【０１１２】
図９は、補正値α，補正係数α´及びｆ(x)の露光時間に対する特性を示すグラフである。ただし、ｆ(x)に関してはｘを一定の値にした場合の特性である。なお、横軸を撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬとした場合の特性も同様の曲線となる。
【０１１３】
このように、Ｌｏｇ−Ｌｉｎ変換部２０においては、露光時間や撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬの変化により変極点が変化した場合でも、その都度その変極点に応じたＬｏｇ−Ｌｉｎ変換ＬＵＴを作成することなく、出力信号Ａについて作成したＬｏｇ−Ｌｉｎ変換ＬＵＴを用いて変化後の変極点以上の対数領域が線形化された出力信号を求めることが可能となっている。
【０１１４】
なお、本実施形態では出力信号がＡ／Ｄ変換部１８でデジタル信号に変換された後、黒基準補正部２１に入力される前に、システム制御部２がＬｏｇ−Ｌｉｎ変換ＬＵＴを使用した対数領域の出力信号の線形化処理を行うようになっているが、対数領域の出力信号の線形化処理を行うタイミングはこれに限らず、図１０に示すように黒基準補正部２１から出力された後、ＦＰＮ補正部２２に入力される前に行ってもよく、また、図１１に示すようにＦＰＮ補正部２２から出力された後、ＲＧＢゲインＡＭＰ２３に入力される前に行ってもよい。いずれの場合においても、ホワイトバランスなどの複雑な画像処理を行う前に対数領域における出力信号が線形化されるため、後段の回路における画像処理が効率的に行われる。
【０１１５】
図１に戻り、黒基準補正部２１は最低輝度値となる黒レベルを基準値に補正するようになっている。すなわち、撮像素子６のダイナミックレンジにより黒レベルが異なるため、ＡＤ変換回路から出力されるＲＧＢ各信号の信号レベルに対して黒レベルとなる信号レベルが減算されることで黒基準補正が行われるようになっている。
【０１１６】
ＦＰＮ補正部２２は、撮像素子６の画素Ｇ１１〜Ｇｍｎを構成するＭＯＳトランジスタの閾値ばらつきなどに起因するオフセットばらつきであるＦＰＮ（固定パターンノイズ：Fixed Pattern Noise）を、ＦＰＮ補正回路で減算することにより除去するようになっている。
【０１１７】
ＲＧＢゲインＡＭＰ２３は、ＷＢを行うために、ＲＧＢの各原色成分を適宜ゲイン調整するようになっている。
【０１１８】
ＡＥ・ＷＢ評価値検出部２４は、ＦＰＮ補正後の画像信号からＡＥ及びＷＢのために必要な評価値を検出するようになっている。すなわち、ＲＧＢの各原色成分から成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出して、入射光量を設定するＡＥ評価値としてシステム制御部２に送出するようになっている。絞り制御部５は、システム制御部２から入力されるＡＥ評価値に基づいて絞り部４の開口度を制御することで、入射光量を制御するようになっている。また、ＡＥ・ＷＢ評価値検出回路２３では、Ｒ信号、Ｇ信号及びＢ信号それぞれの輝度比及び輝度差を確認し、ＷＢ調整を行うための基準値であるＷＢ評価値を算出してシステム制御部２に送出するようになっている。
【０１１９】
ＷＢ調整部２５は、システム制御部２より与えられるＷＢ評価値に基づいて、Ｒ信号及びＧ信号及びＢ信号が、同一の光電変換特性となるようにホワイトバランス処理を施すようになっている。
【０１２０】
色補間部２６は、撮像素子６の画素から出てくる信号が原色のうち一つあるいは二つだけである場合に、各画素についてＲ，Ｇ，Ｂの各色成分値を求めることができるように、欠落する色成分を画素ごとに補間する色補間処理を行うようになっている。
【０１２１】
色補正部２７は、色補間部２６から入力する画像データの画素ごとの色成分値を補正して、各画素の色合いを強調した画像を生成するようになっている。
【０１２２】
階調変換部２８は、画像を忠実に再現すべく、画像の入力から最終出力までにおいてガンマを１として理想階調再現特性を実現するために、画像の階調の応答特性を撮像装置１のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行うようになっている。
【０１２３】
コアリング回路２９は、画像信号からノイズ成分を除去するローパスフィルタ及びエッジ成分に所定量となるエッジ強調量を乗算する乗算器などを備え、エッジ成分を抽出してエッジ強調処理を施すと共にＲＧＢ信号それぞれに重畳したノイズ成分を除去するようになっている。
【０１２４】
次に、上述の撮像装置１を用いた本発明の撮像方法について説明する。
【０１２５】
撮像素子６がリセット動作を行った後、撮像動作を開始すると、画素Ｇ１１〜Ｇｍｎにおいて光電変換された電荷がタイミングジェネレータ１９から与えられるパルスのタイミングに従って走査され、入射光量が少ない場合は線形的に、入射光量が多い場合は自然対数的に変換された画像信号がアンプ１７に出力される。
【０１２６】
そして、アンプ１７が撮像素子６から出力された画像信号を所定の規定レベルに増幅すると、Ａ／Ｄ変換部１８がアンプ１７から出力された画像信号をアナログ信号からデジタル信号に変換する。
【０１２７】
次に、Ｌｏｇ−Ｌｉｎ変換部２０は、Ｌｏｇ−Ｌｉｎ変換ＬＵＴによって線形領域及び対数領域を含む出力信号のうち対数領域における出力信号を線形化する変換工程に移行する。
【０１２８】
ここで、対数領域における出力信号を線形化するためのＬｏｇ−Ｌｉｎ変換ＬＵＴは、予め線形領域における測定データ及び対数領域における測定データに基づく演算を行うことにより作成する。
【０１２９】
具体的には、デジタル信号に変換された出力信号のうち、線形領域における測定データに基づき、上記式（１）及び（３）〜（１０）により線形領域における出力信号の近似式（１１）を求める。また、対数領域における測定データに基づき、上記式（２）及び（１２）〜（１７）により対数領域における出力信号の近似式（１８）を求める。そして、対数領域の近似式（１８）の逆関数である上記式（１９）を求め、上記式（１９）で求めたｙを線形領域の近似式である上記式（１１）のｘとして代入することにより、線形化された対数領域の出力信号を表す下記式（２０）を求める。そして、線形領域及び対数領域を含む出力信号と対数領域が線形化された出力信号とを対応付けたＬｏｇ−Ｌｉｎ変換ＬＵＴを作成して、Ｌｏｇ−Ｌｉｎ変換部２０に格納しておく。
【０１３０】
このように、Ｌｏｇ−Ｌｉｎ変換部２０がＬｏｇ−Ｌｉｎ変換ＬＵＴを使用して対数領域における出力信号を線形化する処理を行うことにより、後段の回路における画像処理を効率的に行うことができる。
【０１３１】
また、本実施形態においては、Ｌｏｇ−Ｌｉｎ変換部２０が備える演算回路により、Ｌｏｇ−Ｌｉｎ変換ＬＵＴとして予め格納されている出力信号Ａに補正値αを加算又は減算することにより、図８のように、Ｌｏｇ−Ｌｉｎ変換後の出力信号を出力信号Ａを平行移動した出力信号Ｂ＝Ａ´とする。ここで補正値αとは、例えば図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける撮像素子６の出力値ａ´及び変極点ｂにおける出力値ｂ´の値を基に、ａ´＋α＝ｂ´又はａ´−α＝ｂ´となるαを演算により求めたものである。また、出力信号Ａを出力信号Ｃ，出力信号Ｄその他の変極点における出力信号に変換する場合も同様の演算を行う。なお、Ｌｏｇ−Ｌｉｎ変換ＬＵＴとして格納された対数領域が線形化された画像信号に対して補正値αを用いた演算を行うのではなく、Ｌｏｇ−Ｌｉｎ変換前の線形領域における画像信号又はＬｏｇ−Ｌｉｎ変換後の対数領域における画像信号に対して直接演算を行うようにしてもよい。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。
【０１３２】
また、出力信号Ａを平行移動した出力信号Ｂ＝Ａ´を求める他の演算方法としては、出力信号Ａに補正係数α´を乗算又は除算することもできる。ここで補正係数α´とは、例えば図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける出力値ａ´及び変極点ｂにおける出力値ｂ´を基にａ´×α´＝ｂ´又はａ´／α´＝ｂ´となるようなα´を演算によって求めたものである。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。この方法によれば、補正値αを加算する方法よりも対数領域における演算の誤差が少なくなる。
【０１３３】
さらに、出力信号Ａに関数ｆ(x)＝βｘ＋γを乗算又は除算することにより、出力信号Ａを平行移動した出力信号Ｂ＝Ａ´を求めることもできる。ここで関数ｆ(x)とは、変極点の変化前の出力信号を基にして変極点の変化後におけるＬＵＴの出力信号を求めるための関数ｆ(x)である。すなわち、例えば、図８における出力信号Ａの変極点ａを出力信号Ｂの変極点ｂにシフトさせるために、変極点ａにおける出力値ａ´及び変極点ｂにおける出力値ｂ´を基にａ´×ｆ(x)＝ｂ´又はａ´／ｆ(x) ＝ｂ´となるようなｆ(x)を演算によって求めたものである。また、この演算は演算回路を設けることなくＬＵＴによって行ってもよい。
【０１３４】
これにより、露光時間や撮像素子６の画素Ｇ１１〜Ｇｍｎに与える信号φＶＰＳの電圧値ＶＬを変化させた場合でも、その都度その変極点に応じたＬｏｇ−Ｌｉｎ変換ＬＵＴを作成することなく、出力信号Ａについて作成したＬｏｇ−Ｌｉｎ変換ＬＵＴを用いて変化後の変極点以上の対数領域が線形化された出力信号を求めることが可能となっている。
【０１３５】
なお、本実施形態ではＡ／Ｄ変換部１８が出力信号をデジタル信号に変換した後、黒基準補正部２１に入力する前に、システム制御部２がＬｏｇ−Ｌｉｎ変換ＬＵＴを使用した対数領域の出力信号の線形化処理を行うが、対数領域の出力信号の線形化処理を行うタイミングはこれに限らず、図１０に示すように黒基準補正部２１が出力信号を出力した後、ＦＰＮ補正部２２に入力する前に行ってもよく、また、図１１に示すようにＦＰＮ補正部２２が出力信号を出力した後、ＲＧＢゲインＡＭＰ２３に入力する前に行ってもよい。いずれの場合においても、ホワイトバランスなどの複雑な画像処理を行う前に対数領域における出力信号が線形化されるため、後段の回路における画像処理が効率的に行われる。
【０１３６】
その後、画像処理工程に移行すると、黒基準補正部２１が黒基準の補正を行った後、ＦＰＮ補正部２２が固定パターンノイズ（ＦＰＮ）を低減する補正を行い、ＲＧＢゲインＡＭＰ２３はＷＢを行うためにＲＧＢの各原色成分を適宜ゲイン調整する。
【０１３７】
一方、ＡＥ・ＷＢ評価値検出部２４は、ＦＰＮ補正後の画像信号からＡＥ及びＷＢのために必要な評価値を検出する。すなわち、ＲＧＢの各原色成分から成る画像信号の輝度値を確認することにより、被写体の輝度範囲を表す輝度の平均値分布範囲を算出し、入射光量を設定するＡＥ評価値としてシステム制御部２に送出する。絞り制御部５は、システム制御部２から入力されるＡＥ評価値に基づいて絞り部４の開口度を制御することで入射光量を制御する。また、ＡＥ・ＷＢ評価値検出部２４では、Ｒ信号、Ｇ信号及びＢ信号それぞれの輝度比及び輝度差を確認し、ＷＢ調整を行うための基準値であるＷＢ評価値を算出してシステム制御部２に送出する。
【０１３８】
ＷＢ調整部２５は、システム制御部２より与えられるＷＢ評価値に基づいて、Ｒ信号及びＧ信号及びＢ信号が同一の光電変換特性となるようにホワイトバランス処理を施す。
【０１３９】
また、色補間部２６は各画素についてＲ，Ｇ，Ｂの各色成分値を求めることができるように欠落する色成分を画素ごとに補間する色補間処理を行う。そして、色補正部２７は、色補間部２６から入力する画像データの画素ごとの色成分値を補正して、視覚に適した色彩の画像を生成する。また、階調変換部２８は、画像の階調の応答特性を撮像装置１のガンマ値に応じた最適のカーブに補正するガンマ補正処理を行い、コアリング回路２９は画像信号からエッジ強調を行うと共にノイズ成分を除去する。
【０１４０】
以上より、本実施形態の撮像装置１及び撮像方法によれば、撮像素子から出力された線形領域及び対数領域を含むの出力信号のうち対数領域を線形化することから、後段の処理回路において対数領域における複雑な演算処理を行う必要はない。また、撮像装置１が線形動作用画像処理回路及び対数動作用画像処理回路の双方を備えなくても、線形動作用画像処理回路を備えるのみで出力信号の処理を行うことができる。
また、Ｌｏｇ−Ｌｉｎ変換部２０がＬｏｇ−Ｌｉｎ変換ＬＵＴにより線形化処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もない。
【０１４１】
また、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に換わる変極点が変化した場合でも、その都度その変極点に応じたＬＵＴを作成することなく、変極点の変化前の出力信号について作成したＬＵＴを用いて変化後の変極点以上の対数領域が線形化された出力信号を求めることが可能である。
【０１４２】
また、ＷＢ制御回路やＡＥ制御回路など、線形領域及び対数領域それぞれの領域における出力信号の処理が必要な回路に入力される前に、システム制御部２が出力信号のうち対数領域の線形化することから、これらの処理回路において対数領域における複雑な演算処理を行う必要がなくなる。
【０１４３】
以上述べたように本発明の撮像装置及び撮像方法によれば、後段の処理回路において対数領域における複雑な演算処理を行う必要はなく、また、撮像装置１が対数動作用画像処理回路を備える必要がないことから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
また、Ｌｏｇ−Ｌｉｎ変換部２０がＬｏｇ−Ｌｉｎ変換ＬＵＴにより線形化処理を行うことから、対数領域の出力信号を線形化する演算処理を行うための回路を設ける必要もなく、回路規模の縮小及び消費電力の低減を図ることができる。
【０１４４】
また、露光時間や撮像素子の画素に与えるの電圧値の変化により線形領域から対数領域に換わる変極点が変化するたびにその変極点に応じたＬＵＴを作成する必要がないため、既に作成されているＬＵＴを有効に利用して処理の効率化を図ることができる。
【０１４５】
また、撮像素子の出力信号を処理する処理回路において対数領域における複雑な演算処理を行う必要がなくなることから、回路規模の縮小、消費電力の低減、画像処理の迅速化及びメモリ容量の低減を図ることが可能となる。
【図面の簡単な説明】
【０１４６】
【図１】本発明の実施形態に係る撮像装置の全体構成を示すブロック図である。
【図２】本発明の実施形態に係る撮像素子の構成を示すブロック図である。
【図３】本発明の実施形態に係る撮像素子が備える画素を示す回路図である。
【図４】本発明の実施形態に係る撮像素子が備える画素の動作を表すタイムチャートである。
【図５】本発明の実施形態に係る撮像素子の入射光量に対する出力を示すグラフである。
【図６】本発明の実施形態に係る撮像素子の出力信号の変極点を示すグラフである。
【図７】本発明の実施形態に係る撮像素子の出力信号の変極点の変化を示すグラフである。
【図８】本発明の実施形態に係る撮像素子の出力信号において変極点が変化した場合の対数領域における各画像信号を示すグラフである。
【図９】本発明の実施形態に係るＬＵＴの画像信号を補正する補正値などの特性を示すグラフである。
【図１０】本発明の実施形態に係る撮像装置の他の構成例を示すブロック図である。
【図１１】本発明の実施形態に係る撮像装置の更に他の構成例を示すブロック図である。
【符号の説明】
【０１４７】
１  撮像装置
２  システム制御部
３  レンズ系
４  絞り部
５  絞り制御部
６  撮像素子
１７  アンプ
１８  Ａ／Ｄ変換部
１９  タイミングジェネレータ
２０  Ｌｏｇ−Ｌｉｎ変換部
２１  黒基準補正部
２２  ＦＰＮ補正部
２３  ＲＧＢゲインＡＭＰ
２４  ＡＥ・ＷＢ評価値検出部
２５  ＷＢ制御部
２６  色補間部
２７  色補正部
２８  階調変換部
２９  コアリング回路
【図１】
2006180065.tif 000023
【図２】
2006180065.tif 000024
【図３】
2006180065.tif 000025
【図４】
2006180065.tif 000026
【図５】
2006180065.tif 000027
【図６】
2006180065.tif 000028
【図７】
2006180065.tif 000029
【図８】
2006180065.tif 000030
【図９】
2006180065.tif 000031
【図１０】
2006180065.tif 000032
【図１１】
2006180065.tif 000033