(57)【特許請求の範囲】
【請求項１】
入射光量に応じて対数的に変化する出力信号を発生する固体撮像素子と、
前記固体撮像素子からの出力信号をＡＤ変換するためのＡＤコンバータと、
前記ＡＤコンバータでＡＤ変換されたデータの輝度を表す階調に対する頻度を、低階調側の所定階調範囲で第１の階調間隔でカウントし、高階調側の所定階調範囲で前記第１の階調間隔よりも粗い第２の階調間隔ごとにカウントし、さらに、前記低階調側の所定階調範囲と前記高階調側の所定階調範囲との間の階調範囲においてはヒストグラムを作成しないカウント手段と、
前記カウント手段のカウント結果に基づいて、前記ＡＤコンバータでＡＤ変換されたデータの黒レベル及び白レベルを決定するための黒白レベル決定手段と、
を備えたことを特徴とする固体撮像装置。
【請求項２】
前記黒白レベル決定手段は、低階調側からの累積カウント値が所定値に達するときの階調範囲内又はカウント値が所定値に達する最も低階調側の階調範囲内にある任意の階調値Ｂを黒レベルとし、高階調側からの累積カウント値が所定値に達するときの階調範囲内又はカウント値が所定値に達する最も高階調側の階調範囲内にある任意の階調値Ｗを白レベルとして決定することを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
さらに、前記ＡＤコンバータでＡＤ変換されたデータを出力装置の再現可能範囲に合わせて再編成するための調整手段を備え、
前記調整手段は、前記階調値Ｂが出力装置の再現可能範囲の最小値になるように演算を行い、かつ、階調値Ｂと前記階調値Ｗとの差に基づいて前記データの再編成を行うこと、
を特徴とする請求項１又は請求項２に記載の固体撮像装置。
【請求項４】
さらに、前記階調値Ｂと前記階調値Ｗとの差に対するデータ再編成用の変数を記憶しているメモリを備えたことを特徴とする請求項３に記載の固体撮像装置。
【請求項５】
前記階調値Ｂ及び前記階調値Ｗのうち少なくとも一方について、階調値近傍の所定階調範囲内にカウント値が実質的にゼロの領域が存在するか否かを判定し、存在する場合はその領域を除いたうえで新たに階調値を求めることを特徴とする請求項２、請求項３又は請求項４に記載の固体撮像装置。
【請求項６】
前記第１及び第２の階調間隔は等間隔であることを特徴とする請求項１に記載の固体撮像装置。
【請求項７】
前記低階調側からの累積カウント値及び前記高階調側からの累積カウント値が達する前記所定値は、全画素数の０．１〜１％であることを特徴とする請求項２に記載の固体撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、固体撮像装置、特に、入射光量の対数値に比例した出力信号を発生する固体撮像素子を備えた固体撮像装置に関する。
【０００２】
【従来の技術】
一般に、極めて広いダイナミックレンジ（約６桁）を持つイメージセンサ（ＬＯＧセンサ）で撮像した場合、画像の明るさに関するヒストグラムが黒又は白に偏っている場合が多く、そのままモニタ画面に映し出すと何が映っているのか分からないことが多く、分かったとしても黒と白がはっきりせず、コントラストに欠けた画像となっていた。
【０００３】
【特許文献１】
特開２００１−２８７１４号公報
【０００４】
そこで、本出願人は、特許文献１に開示されているように、輝度分布のある部分のみを切り出し、モニタ画面の再現可能範囲に合うようにデータを伸張することを提案した。
【０００５】
【発明が解決しようとする課題】
しかしながら、コントラストを付けるために輝度分布のＡＤ値の最小値及び最大値をＣＲＴなどのモニタの表示可能範囲の最小及び最大になるように演算して表示するのは以下に示す理由によって不十分である。
【０００６】
理由の一つは、イメージセンサ（ＬＯＧセンサ）内の画素欠陥の存在などによって、正確に被写体の照度分布が求められない場合があること、いま一つはヒストグラムの計測や分布の最小値及び最大値を求めるための回路が大規模になり、ＣＲＴ出力などに要求されるリアルタイムな画像処理が困難になることにある。
【０００７】
特に、動画の撮像などスピードが要求される場合は、被写体の照度分布に対する厳密なゲインコントロールは不要であり、弊害のほうが大きくなる。
【０００８】
そこで、本発明の目的は、コントラストの高い画像を簡単に得ることのできる固体撮像装置を提供することにある。
【０００９】
【発明の構成、作用及び効果】
以上の目的を達成するため、本発明に係る固体撮像装置は、入射光量に応じて対数的に変化する出力信号を発生する固体撮像素子と、該固体撮像素子からの出力信号をＡＤ変換するためのＡＤコンバータと、該ＡＤコンバータでＡＤ変換されたデータの輝度を表す階調に対する頻度を、低階調側の所定階調範囲で第１の階調間隔でカウントし、高階調側の所定階調範囲で前記第１の階調間隔よりも粗い第２の階調間隔ごとにカウントし、さらに、前記低階調側の所定階調範囲と前記高階調側の所定階調範囲との間の階調範囲においてはヒストグラムを作成しないカウント手段と、該カウント手段のカウント結果に基づいて、前記ＡＤコンバータでＡＤ変換されたデータの黒レベル及び白レベルを決定するための黒白レベル決定手段と、を備えたことを特徴とする。
【００１０】
以上の構成からなる固体撮像装置においては、低階調側及び高階調側でのみ輝度分布のヒストグラムを作成し、全輝度分布にわたってヒストグラムを作成することがないために、コントラストの良好な画像を簡単に得ることができ、動画の撮像に最適である。また、高階調側に比べて低階調側は細かい階調間隔でヒストグラムを作成するため、黒の締まったコントラストのある画像を得ることができる。
【００１１】
本発明に係る固体撮像装置おいて、前記黒白レベル決定手段は、低階調側からの累積カウント値が所定値に達するときの階調範囲内又はカウント値が所定値に達する最も低階調側の階調範囲内にある任意の階調値Ｂを黒レベルとし、高階調側からの累積カウント値が所定値に達するときの階調範囲内又はカウント値が所定値に達する最も高階調側の階調範囲内にある任意の階調値Ｗを白レベルとして決定することが好ましい。前記所定値は全画素数の０．１〜１％であることが適切である。
【００１２】
本発明に係る固体撮像装置は、さらに、前記ＡＤコンバータでＡＤ変換されたデータを出力装置の再現可能範囲に合わせて再編成するための調整手段を備えていることが好ましい。この調整手段は、前記階調値Ｂが出力装置の再現可能範囲の最小値になるように演算を行い、かつ、階調値Ｂと前記階調値Ｗとの差に基づいて前記データの再編成を行う。この場合、さらに、階調値Ｂと階調値Ｗとの差に対するデータ再編成用の変数を記憶しているメモリを、例えばルックアップテーブルとして備えることが好ましい。
【００１３】
また、本発明に係る固体撮像装置は、前記固体撮像素子からの出力信号を増幅して前記ＡＤコンバータに転送するためのオペアンプを備えていてもよい。この場合、オペアンプの出力のダイナミックレンジは前記固体撮像素子のそれよりも２桁小さくなるように予めゲイン調整されていることが好ましい。
【００１４】
また、本発明に係る固体撮像装置において、階調値Ｂ及び階調値Ｗのうち少なくとも一方について、階調値近傍の所定階調範囲内にカウント値が実質的にゼロの領域が存在するか否かを判定し、存在する場合はその領域を除いたうえで新たに階調値を求めることができる。
【００１５】
【発明の実施の形態】
以下、本発明に係る固体撮像装置の実施形態について、添付図面を参照して説明する。
【００１６】
（第１実施形態、図１〜図３参照）
図１は、本発明の第１実施形態である固体撮像装置１のブロックダイアグラムを示す。この固体撮像装置１は、ＩＲカットフィルタ１２を備えたイメージセンサ１１とオペアンプ１３とＡＤコンバータ１４と画像処理器１５とルックアップテーブル１６とから構成され、画像処理器１５にはＣＲＴなどのモニタ１９が接続されている。
【００１７】
イメージセンサ１１は、光電変換特性にＬＯＧ特性を有するもの（以下、ＬＯＧセンサと称する）、即ち、入射光量に応じて対数的に変化する出力信号を発生し、輝度で６桁の範囲を一度に撮像することができる。
【００１８】
オペアンプ１３はＬＯＧセンサ１１の出力信号をダイナミックレンジ２〜４桁の範囲がＣＲＴなどのモニタ１９の表示可能な範囲になるようにゲイン調整がされている（図２参照）。ＬＯＧセンサ１１は輝度に対して６桁のダイナミックレンジを持っているが、被写体の照度分布は最大４桁程度であり、ほとんどの場合は２桁から３桁で収まるからである。ＡＤコンバータ１４はオペアンプ１３の出力をＡＤ変換するためのものである。
【００１９】
画像処理器１５は、ＡＤ変換後の画像データ（ＡＤデータ）の低輝度領域及び高輝度領域での画素数の分布を求めるためのカウンタを有しており、該カウンタのカウント結果から所定画素数以上存在している最も大きなＡＤ値（階調値）と所定画素以上存在している最も小さなＡＤ値（階調値）をＣＲＴなどのモニタ１９の表示可能な範囲の最小値になるように演算する。
【００２０】
そして、画像処理器１５は、所定画素数以上存在している最も大きなＡＤ値と、所定画素数以上存在している最も小さなＡＤ値との差を求め、その差に応じてゲインコントロールを行うための変数をルックアップテーブル１６から参照し、ゲインコントロールを行う。
【００２１】
前記カウントは所定のＡＤ値範囲ごと（例えば、ＡＤ値で１０ごと）に行い、低輝度領域と高輝度領域とで範囲の粗さが異なっており、低輝度領域に対して高輝度領域が粗くなるようにしている（図３（Ａ）参照）。即ち、低輝度領域ＸではＡＤ値の１０ステップごとにヒストグラムを作成し、高輝度領域Ｚでは１００ステップごとにヒストグラムを作成する。中間輝度領域Ｙではヒストグラムを作成しない。
【００２２】
なお、全輝度領域について画素数の分布を求めてヒストグラムを作成し、そのヒストグラムに基づいてゲインコントロール用の変数を決めてもよい。しかし、これでは算出のための演算が大規模になり、動画の撮像には不向きである。そこで、本第１実施形態では、所定の低輝度領域と所定の高輝度領域についてのみ画素数の分布を求めるようにしている。
【００２３】
画像処理器１５で行っている画像処理演算は数フィールド又は数フレームごとに一度行い、処理を行わないフィールド又はフレームでは前回用いた値をそのまま流用する。動画の撮像を行った場合、被写体の照度分布が急激に変化し、１／６０秒単位で表示範囲に相当するＡＤ値の範囲を修正しなければならない状況はまれなためである。
【００２４】
以下、１０ビットのＡＤコンバータ１４を用いて８ビットのモニタ１９に出力する場合を例にして説明する。
【００２５】
ＬＯＧセンサ１１はリニアセンサに比べてダイナミックレンジが広い以外に、オプティカルブラックと呼ばれる黒レベルを決める画素を設けることができない点が異なる。そのため、ＬＯＧセンサ１１の画像を信号処理を行わずにモニタ１９に出力した場合、黒及び白の存在しないモノクロセンサではグレーのみ、カラーセンサでは中間調のみの締まりのない画像になる。従って、ＬＯＧセンサ１１では黒レベルを決めることは非常に重要である。
【００２６】
また、適当に黒レベルを決めると、改善はされるものの被写体の照度分布によっては黒が浮いた画像になったり、見たい画像情報が黒のなかに埋もれて視認することが不可能になる場合もある。
【００２７】
換言すると、ＬＯＧセンサ１１では黒レベルを決めるためのヒストグラムは正確に求める必要があり、緻密な間隔で求める必要がある。一方、被写体の照度分布に合わせてゲインコントロールを行うには、白レベルを決定する必要がある。単純にゲインを決定する式は以下のとおりである。
【００２８】
ゲイン＝２５６／（白レベルのＡＤ値−黒レベルのＡＤ値）
【００２９】
画像に合わせて正確に、最大約０．０３倍（１／２５６）ステップでゲインを求めることができる。しかし、動画を表示する場合にこのような緻密なゲインコントロールは必要ない。また、前記式に基づく演算には比較的時間を要するため、リアルタイム性が要求される動画撮像の場合には不向きである。前記式の演算をＡＳＩＣ等で行う場合、回路が大規模になったり、大規模になったことによりパイプライン処理など演算速度を上げるための複雑な工夫を設ける必要が生じたり、モニタ１９への出力などに要求されるリアルタイムな画像処理が困難となったりするおそれがある。
【００３０】
そこで、所定画素数以上存在している最も大きなＡＤ値Ｗと最も小さなＡＤ値Ｂとの差を求め、ＡＤ値の差（Ｗ−Ｂ）に応じてゲインコントロールを行うための変数をルックアップテーブル１６から参照し、ゲインコントロールの演算を行う。
【００３１】
ルックアップテーブル１６の一例を以下の表１に示す。この例では、ＡＤ値の差（Ｗ−Ｂ）が１５０以上で２００未満であれば１倍、１２５以上１５０未満であれば１．２５倍のように設定し、倍率を０．２５倍ステップで変化させる。このような倍率設定を行う領域は図３（Ｂ）の符号Ｔで示した領域である。
【００３２】
【表１】
0003722119.tif 000002
【００３３】
以上、要するに、ＬＯＧセンサ１１の出力信号をダイナミックレンジ２〜４桁の範囲がＣＲＴなどのモニタ１９の表示可能な範囲になるように調整してあるオペアンプ１３を通し、ＡＤコンバータ１４でＡＤ変換した画像データを前記黒レベルの決定を行う画像処理を画像処理器１５で行う。
【００３４】
ゲインコントロールを行わずにモニタ１９などに表示しても、黒レベルに関する画像処理を行うこととゲイン調整を行っているオペアンプ１３を通すことで黒の締まったある程度コントラストのある画像を得ることができる。
【００３５】
さらに、最も大きなＡＤ値Ｗと最も小さなＡＤ値Ｂとの差に応じてルックアップテーブル１６を参照して前記ゲインコントロールを行うことで被写体の照度分布に応じた適切な画像処理を簡単かつリアルタイムに行うことができる。
【００３６】
（第２実施形態、図４、図５参照）
図４は、本発明の第２実施形態である固体撮像装置２のブロックダイアグラムを示す。この固体撮像装置２は、前記第１実施形態として示した固体撮像装置１に画像調整器１７を追加したものである。
【００３７】
画像調整器１７は、画像処理器１５から出力された画像データに対して画素数のヒストグラムを求め、モニタ１９で表示可能な最小値近傍又は最大値近傍にＡＤ値で数１０の範囲にわたって画素が分布していない領域か又は分布していないに等しい領域が存在するか否かの確認、即ち、カウント値が実質的にゼロの領域が存在するか否かの確認を行う。
【００３８】
カウント値が実質的にゼロの領域が存在する場合、最小値近傍でそのような領域を持つときは、その領域を無視して新たに所定画素以上存在する最も小さなＡＤ値を求め、表示可能な領域に最小値とする演算と、最大値と新たに求めなおした最小値とのＡＤ値の差に応じたゲインコントロールの演算をルックアップテーブル１６を参照して再度行う。
【００３９】
一方、最大値近傍でカウント値が実質的にゼロの領域を持つときは、その領域を無視して新たに所定画素数以上存在する最も大きなＡＤ値を求め、表示可能な領域に最大値とする演算と、最小値と新たに求めなおした最大値とのＡＤ値の差に応じたゲインコントロールの演算をルックアップテーブル１６を参照して再度演算を行う。
【００４０】
黒レベルとゲインコントロールを行うために一度だけ分布を求めた場合、画素欠陥又は被写体の照度分布などの何らかの原因により演算後でも図５（Ａ），（Ｂ）のようになることがある。図５（Ａ）の場合では黒の浮いた締まりのない画像になり、図５（Ｂ）の場合では白のない黒と中間調につまったコントラストの画像になる。
【００４１】
そこで、本第２実施形態では、前記第１実施形態の構成要素に加えて画像調整器１７を追加した。この画像調整器１７は、画像処理器１５から出力された画像データに対して再度ヒストグラムを求め、モニタ１９が表示可能な最小値近傍又は最大値近傍にＡＤ値で数１０の範囲にわたって画素が分布していないか又は分布していないに等しい領域を持つ分布になっていないかの確認を行い、前述の如く２回目の演算を行う。
【００４２】
即ち、まず、画像処理器１５で黒レベルを決定し、ゲインコントロールに関する演算を行った画像データに対して画像調整器１７で同様のヒストグラムを求め、前述のようにカウント値が実質的にゼロの領域が存在していれば、前記の演算を再度行う。２回演算を行い、黒レベル及びゲインコントロールを行うことで、図５（Ａ’），（Ｂ’）のようになり、黒の締まったコントラストの取れた画像を得ることができる。
【００４３】
以上、要するに、ＬＯＧセンサ１１の出力信号をダイナミックレンジ２〜４桁の範囲がＣＲＴなどのモニタ１９の表示可能な範囲になるように調整してあるオペアンプ１３を通し、ＡＤコンバータ１４でＡＤ変換した画像データを前記黒レベルの決定を行う画像処理を画像処理器１５で行い、同様に、画像処理器１５で最も大きなＡＤ値と最も小さなＡＤ値との差に応じてルックアップテーブル１６を参照し、前記ゲインコントロールを行う。
【００４４】
さらに、画像処理器１５から出力された画像データに対して再度画像調整器１７でヒストグラムを求め、図５（Ａ），（Ｂ）に示した不具合がある場合は２回目の演算を行って出力することで、被写体の照度分布に応じた適切な画像処理を簡単かつリアルタイムに行うことができる。
【００４５】
（他の実施形態）
なお、本発明に係る固体撮像装置は前記実施形態に限定するものではなく、その要旨の範囲内で種々に変更することができる。
【００４６】
例えば、前記第１及び第２実施形態である固体撮像装置は、外付けのオペアンプ、ＡＤコンバータ、画像処理器、画像調整器及びルックアップテーブルで構成したものとして説明したが、ＬＯＧセンサに内蔵して１チップ化したものであってもよい。また、本発明に係る固体撮像装置は、モノクロ画像のみならずカラー画像を処理することも可能である。
【図面の簡単な説明】
【図１】本発明の第１実施形態である固体撮像装置を示すブロックダイアグラム図である。
【図２】ダイナミックレンジが２〜４桁の場合と６桁の場合における画像データに対する画素数の分布を示すヒストグラム図である。
【図３】（Ａ）は画像データに対する画素数の分布を示すヒストグラム図、（Ｂ）はＬＯＧセンサの感度とＣＲＴの表示領域との関係を示すチャート図である。
【図４】本発明の第２実施形態である固体撮像装置を示すブロックダイアグラム図である。
【図５】ＡＤデータに対する画素数の分布を示すヒストグラム図で、（Ａ），（Ｂ）は画像調整器での処理前の状態を示し、（Ａ’），（Ｂ’）は画像調整器での処理後の状態を示す。
【符号の説明】
１，２…固体撮像装置
１１…ＬＯＧセンサ
１３…オペアンプ
１４…ＡＤコンバータ
１５…画像処理器
１６…ルックアップテーブル
１７…画像調整器
１９…モニタ
【図１】
0003722119.tif 000003
【図２】
0003722119.tif 000004
【図３】
0003722119.tif 000005
【図４】
0003722119.tif 000006
【図５】
0003722119.tif 000007