(57)【要約】【課題】通常露光と短時間露光の組み合わせによることなく、光電変換素子による電荷蓄積量のニー特性領域以上の領域を有効利用することでダイナミックレンジの拡大を図る。【解決手段】信号処理回路４により、予め固体撮像素子１のニーポイント前後及びニーポイント以上の直線性の無い領域の入出力特性（入力光の入力レベルと出力レベルとの関係）を画素毎に測定して記憶装置５に記憶しておく。そして、実際の撮像時に、その記憶した入出力特性に基づいて固体撮像素子１の出力値から入力光のレベルを逆算し、この逆算によって求められる入力光のレベルを用いて撮像信号を算出することにより、光電変換素子の飽和領域であるニーポイント前後及びニーポイント以上の領域も出力信号として利用できるようにし、実用上のダイナミックレンジを拡大する。【選択図】　　　　図１
2004080189.tif 000002
【特許請求の範囲】
【請求項１】
予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出する補正用データ算出手段と、
前記補正用データ算出手段によって算出された補正用データを記憶する記憶手段と、
実際の撮像時に、前記固体撮像素子からの撮像データを前記補正用データを用いて補正することにより、前記光電変換素子の飽和曲線を理想曲線に近似させる補正演算手段と、
を有することを特徴とする固体撮像素子の信号処理装置。
【請求項２】
前記補正用データ算出手段は、前記光電変換素子の入出力特性が直線的特性を有する部分の傾きと飽和信号レベルに基づいて補正用データを算出することを特徴とする請求項１記載の固体撮像素子の信号処理装置。
【請求項３】
前記補正演算手段は、前記光電変換素子の入出力特性が直線的特性を有する部分の傾き線を用いて前記光電変換素子の飽和曲線を理想曲線に近似させることを特徴とする請求項２記載の固体撮像素子の信号処理装置。
【請求項４】
前記補正用データ算出手段は、固体撮像素子の全ての画素毎に補正用データの算出を行うことを特徴とする請求項１記載の固体撮像素子の信号処理装置。
【請求項５】
前記補正用データ算出手段は、固体撮像素子の複数の画素を単位とし、各単位毎に補正用データの算出を行うことを特徴とする請求項１記載の固体撮像素子の信号処理装置。
【請求項６】
予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出する補正用データ算出ステップと、
前記補正用データ算出ステップによって算出された補正用データを記憶手段に記憶する記憶ステップと、
実際の撮像時に、前記固体撮像素子からの撮像データを前記補正用データを用いて補正することにより、前記光電変換素子の飽和曲線を理想曲線に近似させる補正演算ステップと、
を有することを特徴とする固体撮像素子の信号処理方法。
【請求項７】
前記補正用データ算出ステップは、前記光電変換素子の入出力特性が直線的特性を有する部分の傾きと飽和信号レベルに基づいて補正用データを算出することを特徴とする請求項６記載の固体撮像素子の信号処理方法。
【請求項８】
前記補正演算ステップは、前記光電変換素子の入出力特性が直線的特性を有する部分の傾き線を用いて前記光電変換素子の飽和曲線を理想曲線に近似させることを特徴とする請求項７記載の固体撮像素子の信号処理方法。
【請求項９】
前記補正用データ算出ステップは、固体撮像素子の全ての画素毎に補正用データの算出を行うことを特徴とする請求項６記載の固体撮像素子の信号処理方法。
【請求項１０】
前記補正用データ算出ステップは、固体撮像素子の複数の画素を単位とし、各単位毎に補正用データの算出を行うことを特徴とする請求項６記載の固体撮像素子の信号処理方法。
【請求項１１】
被写体を撮像する固体撮像素子と、前記固体撮像素子から出力された信号を処理する信号処理回路とを有し、
前記信号処理回路は、
予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出する補正用データ算出手段と、
前記補正用データ算出手段によって算出された補正用データを記憶する記憶手段と、
実際の撮像時に、前記固体撮像素子からの撮像データを前記補正用データを用いて補正することにより、前記光電変換素子の飽和曲線を理想曲線に近似させる補正演算手段と、
を有することを特徴とする固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、各種のカメラシステム等に用いられる固体撮像素子の信号処理装置及び信号処理方法に関する。
【０００２】
【従来の技術】
従来より、固体撮像素子の画素アレイを構成する光電変換素子の電荷蓄積量（飽和信号レベル）には画素毎にバラツキがあり、高輝度時の固定パターンノイズとして現れる。
その制約から、従来の固体撮像素子では、各光電変換素子の電荷蓄積特性が全体として直線性を確保できる部分のみを使用して光量検出を行っていたため、各光電変換素子の一番小さい飽和信号レベルによって全体のダイナミックレンジが規制されていた。
図４は、２つの画素信号の二ー（Ｋｎｅｅ）特性と飽和信号レベルのバラツキと使用特性領域の一例を示す説明図である。
図示のように、２つの画素信号の二ー特性Ｓ１、Ｓ２の相違によって、それぞれの飽和信号レベルＱｓ１、Ｑｓ２が異なるため、光量と出力信号の関係が直線性を有するａ点以下の領域を使用することが必要となる。
【０００３】
一方、例えば室内から屋外を撮影するときなどのように、極めて明るい（高輝度）被写体と比較的暗い（低輝度）被写体とが混在するような場面を撮像する場合には、高輝度被写体または低輝度被写体のいずれか一方に対応して適正レベルとなる露光時間を調整すると、固体撮像素子のダイナミックレンジが狭いために、白とび、または黒つぶれが生じるという問題がある。
【０００４】
そこで、近年、このような問題を解決するために、通常の露光時間による電荷蓄積で得られる信号（以下、通常露光信号という）ＶＨと、短時間露光による電荷蓄積で得られる信号（以下、短時間露光信号という）ＶＬとを、それぞれ適当なレベルに調整して加算するような信号処理により、ダイナミックレンジの拡大を図るような方法が提案されている（例えば、特願平１１−２７１２３８号等参照）。
図５は、このような通常露光信号と短時間露光信号とを加算して高ダイナミックレンジ画像を得る場合の信号処理を示す説明図である。
例えば、固体撮像素子の電子シャッタ機能を用いて通常露光と短時間露光とを別々に行い、それぞれの露光によって得られる図５（Ａ）に示す通常露光信号ＶＨと図５（Ｂ）に示す短時間露光信号ＶＬとをそれぞれレベル調整し、加算器１０で加算することにより、図５（Ｃ）に示すような高ダイナミックレンジ画像を得ることができる。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術のように、通常露光と短時間露光とを組み合わせる方法では、複数回の露光動作を行う必要があり、露光制御が煩雑であるという問題があった。
また、信号処理にてＶＨとＶＬの信号を適当なレベルで足し合わせているが、信号処理が複雑になることや、複数回露光によって撮像したタイミングが異なるために合成した画像にズレを生ずることなどの問題があった。
【０００６】
そこで本発明の目的は、通常露光と短時間露光の組み合わせによることなく、光電変換素子による電荷蓄積量のニー特性領域以上の領域を有効利用することでダイナミックレンジを拡大させることができる固体撮像素子の信号処理装置及び信号処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
本発明は前記目的を達成するため、予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出する補正用データ算出手段と、前記補正用データ算出手段によって算出された補正用データを記憶する記憶手段と、実際の撮像時に、前記固体撮像素子からの撮像データを前記補正用データを用いて補正することにより、前記光電変換素子の飽和曲線を理想曲線に近似させる補正演算手段とを有するものである。
また本発明は、予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出する補正用データ算出ステップと、前記補正用データ算出ステップによって算出された補正用データを記憶手段に記憶する記憶ステップと、実際の撮像時に、前記固体撮像素子からの撮像データを前記補正用データを用いて補正することにより、前記光電変換素子の飽和曲線を理想曲線に近似させる補正演算ステップとを有することを特徴とする。
【０００８】
本発明では、予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出して記憶しておき、実際の撮像時には固体撮像素子からの撮像データを補正用データを用いて補正することにより、光電変換素子の飽和曲線を理想曲線に近似させるようにしたことから、上記従来技術のように通常露光と短時間露光の組み合わせる方法を用いることなく、光電変換素子による電荷蓄積量の飽和領域、すなわち、ニー特性領域以上の領域を有効利用して出力信号を得ることができ、固体撮像素子のダイナミックレンジを拡大させることができる。
【０００９】
【発明の実施の形態】
以下、本発明の実施の形態例を図面に基づき詳細に説明する。
本実施の形態例による信号処理装置及び信号処理方法は、固体撮像素子のニーポイント前後及びニーポイント以上の直線性の無い領域の入出力特性（入力光の入力レベルと出力レベルとの関係）を画素毎に測定して記憶しておき、その記憶した入出力特性に基づいて実際の撮像時における出力値から入力光のレベルを逆算し、この逆算によって求められる入力光のレベルを用いて撮像信号を算出することにより、光電変換素子の飽和領域であるニーポイント前後及びニーポイント以上の領域も出力信号として利用できるようにし、実用上のダイナミックレンジを拡大するものである。
すなわち、本実施の形態例では、従来は用いていなかった直線性の無いニーポイント前後及びニーポイント以上の領域を有効利用することにより、ダイナミックレンジを拡大させることができる。
【００１０】
図１は、本発明の実施の形態例による固体撮像素子とその信号処理装置を含むカメラシステムの構成例を示すブロック図である。
図示のように、本実施の形態例によるカメラシステムは、固体撮像素子１、ＣＤＳ／ＡＧＣ回路２、Ａ／Ｄ回路３、信号処理部４、及び記憶装置５を有し、被写体（光源Ａ）の撮像を行うものである。
【００１１】
固体撮像素子１は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等であり、半導体チップ上に、それぞれフォトダイオード等の光電変換素子よりなる複数の単位画素を２次元アレイ状に配置した撮像領域を有し、被写体から得られる反射光を各単位画素によって画素信号に変換し、アナログ画像信号の状態で出力するものである。
ＣＤＳ／ＡＧＣ回路２は、固体撮像素子１からの画像信号に対してＣＤＳ（相関二重サンプリング）によるノイズ除去やＡＧＣ（自動利得制御）等の処理を行うものであり、Ａ／Ｄ回路３は、このＣＤＳ／ＡＧＣ回路２によって処理されたアナログ画像信号をデジタル画像信号に変換するものである。
【００１２】
信号処理部４は、例えばＤＳＰ（デジタルシグナルプロセッサ）やマイクロプロセッサ等を含んで構成され、Ａ／Ｄ回路３から出力されるデジタル画像信号に対し、例えば色分離、ホワイトバランス、ガンマ補正等の各種信号処理を施すものである。また、特に本例では、固体撮像素子１のニーポイント前後及びニーポイント以上の直線性の無い領域の入出力特性（入力光の入力レベルと出力レベルとの関係）を画素毎に測定して記憶装置５に記憶するための演算処理や、この記憶した入出力特性に基づいて実際の撮像時における固体撮像素子１の出力値から入力光のレベルを逆算し、この逆算によって求められる入力光のレベルを用いて撮像信号を算出するための演算処理を行う演算機能を有している。
記憶装置５は、この信号処理部４によって算出された各種演算データを保存しておくものである。
【００１３】
光源Ａは、固体撮像素子１のニーポイント前後及びニーポイント以上の直線性の無い領域の入出力特性（入力光の入力レベルと出力レベルとの関係）を画素毎に測定する場合の測定用基準光源であり、光量レベルを高精度に制御できる機能を有しているものとする。
なお、図１に示す構成は、本発明を適用できるカメラシステムの一例であり、特に本発明を限定するものではない。例えば、Ａ／Ｄ変換後にＣＤＳやＡＧＣの処理を行う構成や、固体撮像素子１自体がデジタル出力機能を有するような場合も適用可能である。
【００１４】
次に、このような構成のカメラシステムにおけるダイナミックレンジ拡大のための信号処理方法について説明する。
まず、第１の方法としては、例えばカメラシステムの製造時に、光源Ａからの光を固体撮像素子１に低レベル光から高レベル光まで入力させ、固体撮像素子１の画素毎に入出力特性を記憶装置５に記憶させる。
図２は、ある画素における入出力特性の例を示す説明図であり、縦軸は光電変換素子の電荷蓄積量（出力レベル）、横軸は光源Ａからの光量を示している。なお、便宜上、縦軸にはｂ、ｄ、ｆの各点を付し、横軸にはａ、ｃ、ｅ、ｇの各点を付しているが、ｅ点とｆ点の交点が二ーポイントを示し、また、ｆ点が飽和信号レベルとなっている。
そして、このときのニー特性は、おおむね飽和信号レベルｆ及び傾き｛（ｄ−ｃ）／（ｂ−ａ）｝で近似できる。
ここで、記憶装置５におけるニー特性の具体的記憶方法としては、飽和信号レベルｆに１バイト、傾き｛（ｄ−ｃ）／（ｂ−ａ）｝として２バイトを割り当て、固体撮像素子１の有効画素数をＮとすると、３Ｎバイト程度の記憶容量で実現できる。
【００１５】
次に、ダイナミックレンジ拡大のために、ニーポイント前後及びニーポイント以上の直線性の無い領域での出力信号の算出方法について説明する。
まず、光源Ａの光量を、低レベル光から高レベル光まで段階的に変化させて入力し、図２に示す光量ａ、ｃ、ｇに対応する出力信号が得られるようにする。そして、信号処理部４では、この出力信号を画素毎に測定し、その値を生の撮像データとしていったん記憶装置５に記憶させる。
次に、この生の撮像データに基づいて、信号処理部４による演算処理を行い、その画素に対応する飽和信号量ｆ及び傾きを計算し、記憶装置５に記憶させる。飽和信号量ｆは光量ｇに対応する出力信号から求めることができ、傾きは光量ａ、ｃに対する出力信号ｂ、ｄから｛（ｄ−ｃ）／（ｂ−ａ）｝で計算できる。
【００１６】
次に、実際の撮像時の処理について説明する。
図３は、実際の撮像時における２つの画素信号の二ー特性と飽和信号レベルのバラツキを示す説明図であり、縦軸は光電変換素子の電荷蓄積量（出力レベル）、横軸は被写体からの入射光量を示している。なお、図３に示す内容は、基本的に図４に示す内容と対応するものである。
ここで、実際の撮像の際には、固体撮像素子１から得られた生の撮像データに対し、記憶装置５に記憶された飽和信号量と傾きを用いて補正を行う。
まず、実際の撮像時に得られた生の撮像データのレベルが飽和信号レベルに対して小さい場合（すなわち図３に示す矢線ａの範囲内の場合）には、生の撮像データのレベルが、おおむね｛（ｄ−ｃ）／（ｂ−ａ）｝の傾き線上に存在することになるので、生の撮像データのレベルが出力レベルとなる。
【００１７】
しかし、実際の撮像時に得られた生の撮像データのレベルが飽和信号レベルに近い場合には、特性の線形性が損なわれており、図２に示すような飽和曲線となるため、その生の撮像データのレベルを｛（ｄ−ｃ）／（ｂ−ａ）｝の傾き線で近似する。
すなわち、図２に示すように、｛（ｄ−ｃ）／（ｂ−ａ）｝の傾き線上では、飽和信号レベルに対応する光量がｅ点にあるので、生の撮像データのレベルに基づいて、ｃ点からｅ点までの間の該当する光量を逆算する。そして、この光量に対応する傾き線上の出力レベルを当該画素の出力レベルとして出力する。
このようにして、飽和信号レベルの小さい画素について、入出力特性の直線性が確保できない飽和領域（ニーポイント前後及びニーポイント以上の領域）において、出力信号を理想曲線としての傾き線によって直線的に近似することで、ダイナミックレンジを拡大することができる。
例えば、図３に示すように、飽和信号レベルの小さい画素でダイナミックレンジが矢印ａから矢印ｂに拡大でき、固体撮像素子全体としてのダイナミックレンジの拡大に寄与できる。
【００１８】
なお、以上のような信号処理方法では、カメラシステムの製造時に補正用のデータを記憶させたが、光源の色温度が異なる場合など、状況に応じて補正用データの書き換えを行うこともできる。
この場合、固体撮像素子の電子シャッタを用いて、一定光量の光源に対して光量を低レベルから高ライトまで段階的に調整することにより、上述と同様の補正用データの入力が可能となる。
また、上述した例では、飽和信号レベルｆ及び傾き線から飽和曲線を近似したが、より正確な理想曲線に近似させるための測定方法として、２点間の折れ線近似を複数回行い、曲線近似させたグラフのテーブルデータを画素毎に記憶させ、その値を読み出して信号処理を行うようにすることも可能である。
また、上述した例では、画素毎に補正をかけていたが、記憶装置５の容量を削減、処理速度向上のため、複数画素からなるエリアを単位エリアとし、この単位エリア毎に補正処理を行うような構成であってもよい。
すなわち、具体的な近似や補正の方法としては、例えばカメラシステムのグレートや用途等に応じて、簡易なものから高精度のものまで種々採用し得るものである。
【００１９】
また、以上の実施の形態例では、本発明を固体撮像素子の信号処理装置として構成した例を説明したが、本発明は、同様の機能を有する固体撮像素子と信号処理回路とを具備した固体撮像装置として捉えることも可能である。
図６は、このような固体撮像装置の１つの構成例を示す説明図であり、ＣＣＤイメージセンサと信号処理回路とを１つの半導体チップ１１上に設けた例を示している。
この固体撮像装置において、２次元画素アレイ１１０には、それぞれフォトダイオード等の光電変換素子を含む単位画素１２０が２次元配列で設けられており、各単位画素１２０の各列に沿って複数の垂直レジスタ１３０が設けられている。そして、各垂直レジスタ１３０は、各単位画素１２０によって生成、蓄積された信号電荷を読み出して垂直方向に転送し、２次元画素アレイ１１０の側部に設けられた水平レジスタ１４０に出力する。
【００２０】
また、水平レジスタ１４０は、各垂直レジスタ１３０からの信号電荷を行毎に水平方向に転送し、出力部１５０に出力する。
出力部１５０は、水平レジスタ１４０から転送された信号電荷をフローティングデフュージョン部を介して電圧信号に変換し、さらに増幅して後段の信号処理回路１６０に出力するものである。
そして、この信号処理回路１６０には、例えば図１に示したＣＤＳ／ＡＧＣ回路２、Ａ／Ｄ回路３、信号処理部４、記憶装置５等が設けられている。
また、図では省略しているが、２次元画素アレイ１１０等を設けた半導体チップ１１の上には、ゲート絶縁膜、各レジスタ１３０、１４０用の転送電極、遮光膜、層間絶縁膜、及び各種配線層等が積層され、その上にオンチップ構造でカラーフィルタやマイクロレンズが搭載されている。
なお、信号処理回路１６０における処理の内容としては、図１の例で説明した内容と共通であるので説明は省略する。
また、図６に示した例では、固体撮像素子を設けた同一半導体チップ上に信号処理回路を搭載した例を示しているが、別のチップに分離した構成であってもよい。また、固体撮像素子としてＣＭＯＳイメージセンサを用いた場合にも同様である。
【００２１】
【発明の効果】
以上説明したように本発明では、予め固体撮像素子の各画素における入出力特性を測定することにより、光電変換素子の飽和領域に対する補正用データを算出して記憶しておき、実際の撮像時には固体撮像素子からの撮像データを補正用データを用いて補正することにより、光電変換素子の飽和曲線を理想曲線に近似させるようにしたことから、光電変換素子による電荷蓄積量の飽和領域、すなわち、ニー特性領域以上の領域を有効利用して出力信号を得ることができる。
したがって、上記従来技術のように通常露光と短時間露光の組み合わせる方法を用いることなく、固体撮像素子のダイナミックレンジを拡大させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態例による固体撮像素子とその信号処理装置を含むカメラシステムの構成例を示すブロック図である。
【図２】図１に示すカメラシステムで用いられる固体撮像素子のある画素における入出力特性の例を示す説明図である。
【図３】図１に示すカメラシステムの実際の撮像時における２つの画素信号の二ー特性と飽和信号レベルのバラツキを示す説明図である。
【図４】固体撮像素子における２つの画素信号の二ー（Ｋｎｅｅ）特性と飽和信号レベルのバラツキと使用特性領域の一例を示す説明図である。
【図５】従来の通常露光信号と短時間露光信号とを加算して高ダイナミックレンジ画像を得る場合の信号処理を示す説明図である。
【図６】本発明の第２の実施の形態例による固体撮像装置の構成例を示す説明図である。
【符号の説明】
Ａ……光源、１……固体撮像素子、２……ＣＤＳ／ＡＧＣ回路、３……Ａ／Ｄ回路、４……信号処理部、５……記憶装置。
【図１】
2004080189.tif 000003
【図２】
2004080189.tif 000004
【図３】
2004080189.tif 000005
【図４】
2004080189.tif 000006
【図５】
2004080189.tif 000007
【図６】
2004080189.tif 000008