(57)【要約】【課題】黒沈みしない安定した画像を撮像できるようにする。【解決手段】有効画素とOB（Optical Black）画素とを含むイメージセンサが設けられており、OB画素の画素値の分布に基づいて、クランプ値を設定し、有効画素の画素信号を、設定されたクランプ値で調整し、調整した画素信号にゲインを掛けて増幅し、ゲインに応じた黒レベルを、ゲインを掛けた画素信号に加算するようにした。これにより半波整流の発生が抑制されて黒レベルの平均値の上昇を抑制できるので、黒沈みを抑制できる。本技術は、撮像装置に適用することができる。【選択図】図４
2016225867.tif 000002
【特許請求の範囲】
【請求項１】
有効画素とOB（Optical Black）画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部と、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
を含む撮像装置。
【請求項２】
前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
請求項１に記載の撮像装置。
【請求項３】
前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
請求項３に記載の撮像装置。
【請求項５】
前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
請求項３に記載の撮像装置。
【請求項６】
前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
請求項５に記載の撮像装置。
【請求項７】
前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
請求項５に記載の撮像装置。
【請求項８】
前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記複数のゲインのそれぞれの条件で撮像された画素信号より生成される複数の画像を、それぞれのゲイン比で合成する合成部をさらに含む
請求項１に記載の撮像装置。
【請求項９】
前記増幅部が複数のゲインに切り替えて撮像された画素信号より生成される複数の画像を合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
請求項１に記載の撮像装置。
【請求項１０】
有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記有効画素の画素信号を、設定されたクランプ値で調整し、
前記調整された画素信号にゲインを掛けて増幅し、
前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
ステップを含む撮像方法。
【請求項１１】
有効画素とOB（Optical Black）画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置、および撮像方法、並びにプログラムに関し、特に、黒沈みしない安定した画像を撮像できるようにした撮像装置、および撮像方法、並びにプログラムに関する。
【背景技術】
【０００２】
CCD（Charge Coupled Device）等の固体撮像素子を使った画像処理では、画素部を遮光した画素（OB（Optical Black）画素）の画素値を黒レベルの基準として画像処理を行う。この黒レベルの生成では、OB画素の画素値を積分し、DAC（Digital Analog Converter）を介してCDS（Correlated Double Sampling）にフィードバックすることで、黒レベルをクランプしている。
【０００３】
ところが、固体撮像素子の出力は、ノイズを含んでおり、イメージセンサの動作条件によってその量は異なる。ノイズには、ランダムノイズやシェーディング等の固定パターンノイズなどがある。
【０００４】
そこで、OB画素が水平方向にシェーディングをしているときに、垂直方向のOB画素の水平方向に基準点をとって、シェーディングに合わせた基準点と比較することで黒沈みを防ぐようにする技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３４７９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述したようなクランプループでは、ゲインによりノイズが増幅されることでOB画素の画素値の一部が半端整流となり、正しくAD（Analog/Digital）変換できず、OB画素値の平均値が実際より大きく出てしまう。
【０００７】
通常、OB画素の画素値の平均値を使って黒レベルを設定するが、ゲインアンプによりノイズが増幅されることで平均値が実際の黒レベルより大きくなることで黒沈みが発生してしまう。また、画像処理部（ISP）でもOB画素の画素値の情報をもとに黒レベルを合わせるが、OB画素の画素値の平均値を使用すると、ゲインアンプによりノイズが増幅されて、より大きな値になるため、実際の黒レベル以上に高い値が黒レベルとして引かれてしまい、黒が沈んだ画になってしまう。
【０００８】
本技術は、このような状況に鑑みてなされたものであり、特に、黒沈みしない安定した画像を撮像できるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面の情報処理装置は、有効画素とOB（Optical Black）画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部と、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部とを含む撮像装置である。
【００１０】
前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルとすることができる。
【００１１】
前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含ませるようにすることができ、前記加算部には、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算させるようにすることができる。
【００１２】
前記制御部には、前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含ませるようにすることができ、前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算させるようにすることができる。
【００１３】
前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含ませるようにすることができる。
【００１４】
前記制御部には、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給させるようにすることができる。
【００１５】
前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含ませるようにすることができ、前記減算部には、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算させるようにすることができる。
【００１６】
前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含ませるようにすることができる。
【００１７】
前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成されるようにしてもよい。
【００１８】
本技術の一側面の撮像方法は、有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、前記有効画素の画素信号を、設定されたクランプ値で調整し、前記調整された画素信号にゲインを掛けて増幅し、前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算するステップを含む撮像方法である。
【００１９】
本技術の一側面のプログラムは、有効画素とOB（Optical Black）画素とを含むイメージセンサと、前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラムである。
【００２０】
本技術の一側面においては、有効画素とOB（Optical Black）画素とを含むイメージセンサが設けられ、前記OB画素の画素値の分布に基づいて、クランプ値が設定され、前記有効画素の画素信号が、前記クランプ部により設定されたクランプ値で調整され、前記調整された画素信号にゲインが掛けられて増幅され、前記ゲインに応じた黒レベルが、ゲインが掛けられた画素信号に加算される。
【００２１】
本技術の一側面の撮像装置は、それぞれ独立した装置であっても良いし、撮像装置として機能するブロックであっても良い。
【発明の効果】
【００２２】
本技術の一側面によれば、黒沈みしない安定した画像を撮像することが可能となる。
【図面の簡単な説明】
【００２３】
【図１】一般的な撮像装置の構成例を説明する図である。
【図２】OBクランプによる黒沈みが生じる原因を説明する図である。
【図３】本技術を適用した撮像装置の概要を説明する図である。
【図４】本技術を適用した撮像装置の第１の実施の形態の構成例を説明する図である。
【図５】PGAのゲインに対する適切な黒レベルを説明する図である。
【図６】OBクランプにより黒レベルを調整してもゲインの上昇に伴って黒レベルが上昇することを説明する図である。
【図７】黒レベルの設定値毎にゲインを上昇させるときの黒レベルの変化を説明する図である。
【図８】キャラブレーション処理を説明するフローチャートである。
【図９】図４の撮像装置における撮像処理を説明するフローチャートである。
【図１０】本技術を適用した撮像装置の第２の実施の形態の構成例を説明する図である。
【図１１】図１０の撮像装置における撮像処理を説明するフローチャートである。
【図１２】第２の実施の形態における変形例を説明する図である。
【図１３】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００２４】
＜一般的な撮像装置の構成例＞
本技術の撮像装置を説明するにあたって、まず、一般的な撮像装置の構成例について説明する。
【００２５】
図１の撮像装置１１は、イメージセンサ３１、CDS（Correlated Double Sampling）３２、PGA（Programming Gain Amplifier）３３、ADC（Analog/Digital Converter）３４、ISP（Image Signal Processor）３５、OB（Optical Black）クランプ部３６、およびDAC（Digital/Analog Converter）３７を備えている。
【００２６】
イメージセンサ３１は、CMOS（Complementary Metal Oxide Semiconductor）などの２次元平面に設けられた複数の画素単位のセンサであり、画素単位で入射光に応じた画像信号を生成し、CDS３２に出力する。イメージセンサ３１は、画像信号として使用する領域の通常画素と、遮光領域の画素からなるOB（Optical Black）画素とが設けられており、画像信号を出力する場合、通常画素からの画素信号を出力し、黒レベルを調整する場合、OB画素の画素信号を出力する。
【００２７】
CDS（Correlated Double Sampling）３２は、相関二重サンプリングにより、イメージセンサ３１の信号電荷が流入する前後の電圧レベルの差を信号として検出することで、熱雑音ノイズを低減した画素信号をPGA３３に出力する。この際、DAC３７を介してOBクランプ部３６より供給されてくるOB画素の画素値の平均値からなる黒レベル分の画素信号を減算した画素信号をPGA３３に出力する。
【００２８】
PGA（Programming Gain Amplifier）３３は、CDS３２より供給されてくる画素信号にゲインを掛けて増幅しADC３４に出力する。
【００２９】
ADC（Analog/Digital Converter）３４は、アナログ信号をデジタル信号に変換し、ISP３５、およびOBクランプ３６に出力する。
【００３０】
ISP（Image Signal Processor）３５は、通常画素からの画素信号が出力されるとき、図示せぬレンズなど光学系の補正処理や、イメージセンサ３１の各画素のばらつきなどから生じる傷補正など、画素単位での信号処理を施して出力する。
【００３１】
OB（Optical Black）クランプ部３６は、OB画素からの画素信号が出力されるとき、図２の左部で示されるように、黒レベル（黒データ）の画素信号の分布を求め、その分布中心Ｃ１として求める。さらに、OBクランプ部３６は、図２の中央部で示されるように、黒データの画素信号の分布が信号レベルの最小値と一致するように、すなわち、黒レベルの画素信号の分布中心Ｃ１から分布中心Ｃ２へとクランプして（OBクランプして）DAC３７に出力する。
【００３２】
DAC（Digital/Analog Converter）３７は、デジタル信号をアナログ信号に変換して、CDS３２に適切に調整された黒レベルの画素信号を供給する。
【００３３】
この結果、CDS３２は、DAC３７を介してOBクランプされることで、適切に設定された黒レベルを利用してイメージセンサ３１からの画素信号をオフセットした状態で出力する。これにより、イメージセンサ３１における各画素の熱雑音ノイズによる黒レベルのずれが補正される。
【００３４】
しかしながら、上述したOBクランプにより黒レベルがオフセットされた状態で画素信号がCDS３２から出力されると、PGA３３でゲインが掛けられることにより、黒レベルの信号のノイズも増幅されることにより、図２の右部で示されるような分布となって出力される。図２の右部における範囲Ｚ２で示される領域の信号については、半波整流となり適切にAD変換することができない信号となるため、黒レベルの信号分布の分布平均は、範囲Ｚ２で示される信号が除去されることにより、ゲインが全体として上昇し、範囲Ｚ１で示されるように、本来の分布平均Ｃ２から分布平均Ｃ３へと変化する。この結果、適切に黒レベルが調整できない。
【００３５】
＜本技術の撮像装置の概要＞
そこで、本技術を適用した撮像装置においては、PGA３３によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力できるように、OBクランプ部３６によるOBクランプのレベルを、例えば、図３の中央部で示されるように、分布中心Ｃ２よりも高い分布中心Ｃ１１となるように調整する。このようにすることで、図３の右部で示されるように、PGA３３によりゲインが掛けられた後、黒レベルの信号分布の全範囲が出力されるようにすることができる。この結果、図３の右部で示されるように、信号分布の中心は、分布中心Ｃ１２となり、分布中心Ｃ１１とほぼ同一にすることができる。尚、図３の左部は、図２の左部と同一のものである。
【００３６】
この後、デジタル信号に変換された後、OBクランプを調整して、分布中心Ｃ１１とＣ２との差分となるレベルを減算することで、PGA３３によるゲインが掛けられることで上昇する分布中心の変動を避けつつ、適切に黒レベルを補正することが可能となる。
【００３７】
＜第１の実施の形態＞
次に、図４を参照して、本技術を適用した撮像装置の第１の実施の形態の構成例について説明する。
【００３８】
図４の撮像装置５１は、イメージセンサ７１、CDS（Correlated Double Sampling）７２、PGA（Programming Gain Amplifier）７３、加算器７４、ADC（Analog/Digital Converter）７５、ISP（Image Signal Processor）７６、制御部７７、OB（Optical Black）クランプ部７８、DAC（Digital/Analog Converter）７９、および積分回路８０を備えている。
【００３９】
イメージセンサ７１、CDS７２、PGA７３、ADC（Analog/Digital Converter）７５、OB（Optical Black）クランプ部７８、およびDAC（Digital/Analog Converter）７９については、図１における撮像装置１１におけるイメージセンサ３１、CDS３２、PGA３３、ADC（Analog/Digital Converter）３４、OB（Optical Black）クランプ部３６、およびDAC（Digital/Analog Converter）３７と同一の機能を備えたものであるので、その説明は省略するものとする。
【００４０】
制御部７７は、撮像装置５１の動作の全体を制御する。また、制御部７７は、キャリブレーション部７７ａを備えており、PGA７３のゲインに応じて、黒レベルを調整するため、起動時などにPGA７３のゲインに応じた適正な黒レベルをキャリブレーションにより求めさせ、制御曲線として記憶させる。
【００４１】
より詳細には、上述した図２の中央部で示されるように、OBクランプにより設定される黒レベルの分布中心Ｃ２に対して、PGA７３でゲインが掛けられることによりノイズも増幅されることで黒レベルの分布が広がって、範囲Ｚ２で示される部分において半波整流が生じることで、範囲Ｚ１で示されるように、黒レベルの分布が上昇して、その中心も分布中心Ｃ３へと上昇する。
【００４２】
この上昇のレベルは、PGA７３のゲインの大きさに応じたものであるので、例えば、黒レベルは、図５で示されるように、PGA７３のゲインに対して影響がない範囲（PGAゲインのレベルがＧ１よりも小さい範囲）においては、デフォルトの黒レベルとして、PGAゲインがＧ１以降においては、ゲインに比例して黒レベルを上昇するように設定する。ただし、熱雑音ノイズの量によっては、ゲインがある値以上になると黒レベル設定値を上げても半波整流が発生してしまうので、例えば、図５で示されるように、ADC７５のレンジに対して、その50%程度となる、ゲインがＧ２となる黒レベルを上限に設定する。
【００４３】
ここで、黒レベルは、設定された値に応じて、PGA７３のゲインによる影響の受け方が変化する。すなわち、黒レベルは、図６で示されるように、ある程度のゲインに変化があっても、図中のゲインＧ１１に至るまでのゲインでは、黒レベルの上昇がみられず、所定のゲインＧ１１以降において、半波整流が発生し、黒レベルが上昇する。
【００４４】
このゲインＧ１１は、設定された黒レベルに応じて変化する。すなわち、図７で示されるように、黒レベルの設定値が２５６である場合、範囲Ｚ１１で示されるようにゲインが30dB程度で上昇し始める。また、黒レベルの設定値が５１２である場合、範囲Ｚ１２で示されるようにゲインが34dB程度で上昇し始める。さらに、黒レベルの設定値が1200である場合、範囲Ｚ１３で示されるようにゲインが41dB程度で上昇し始める。
【００４５】
このことから、キャリブレーションにおいては、黒レベル設定値毎に、徐々にゲインを上昇させ、黒レベルが上昇し始めるゲインをプロットすることにより、図５で示されるようなPGA７３のゲインに対する適正な黒レベルを示す制御曲線を設定することができる。尚、図５乃至図７においては、横軸がPGA７３のゲインであり、縦軸は、OBクランプ部７８により設定される黒レベルを示している。ただし、図７においては、図５，図６とは異なるスケールが設けられている。
【００４６】
制御部７７は、キャリブレーション部７７ａに記憶されているキャリブレーションにより求められた制御曲線の情報を利用して、PGA７３のゲインに応じた適正な黒レベルを読み出し、加算器７４を制御して、PGA７３の出力値にアナログ値の適正な黒レベルを加算させる。また、制御部７７は、ISP７６に設けられている減算器７６ａを制御して、加算器７４に加算させた適正な黒レベルのアナログ値に相当するデジタル値を、ADC７５より出力される信号から減算させる。さらに、制御部７７は、OP画素の画素信号がイメージセンサ７１より出力されるとき、ISP７６、およびOBクランプ部７８にOB画素選択パルスを供給する。このOB画素選択パルスにより、ISP７６、およびOBクランプ部７８は、現在処理されている画素信号がOB画素であることを認識することができ、それ以外のとき有効画素による画素信号であることを認識することができる。
【００４７】
積分回路８０は、DAC７９を介してアナログ信号に変換されたOBクランプ部７８より出力されるクランプ値を設定する画素信号を積分して、CDS７２に出力する。
【００４８】
＜キャリブレーション処理＞
次に、図８のフローチャートを参照して、キャリブレーション処理について説明する。ここでは、OB画素からの画素信号のみがイメージセンサ７１より供給されてくるものとし、制御部７７からは、OB画素選択パルスが出力されているものとする。
【００４９】
ステップＳ１１において、制御部７７のキャリブレーション部７７ａは、OBクランプ部７８を制御して、設定する黒レベルを最小値に設定させると共に、PGA７３を制御して、ゲインを最小値に設定させる。
【００５０】
ステップＳ１２において、キャリブレーション部７７ａは、ISP７６を制御して、OB画素の画素値の平均値を計算させる。
【００５１】
ステップＳ１３において、キャリブレーション部７７ａは、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）より大きいか否かを判定し、大きくない場合、処理は、ステップＳ１５に進む。
【００５２】
ステップＳ１５において、キャリブレーション部７７ａは、PGA７３のゲインが最大値であるか否かを判定し、最大値ではない場合、処理は、ステップＳ１６に進む。
【００５３】
ステップＳ１６において、キャリブレーション部７７ａは、PGA７３のゲインを所定値だけ上げて、処理は、ステップＳ１２に戻る。すなわち、ステップＳ１３において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）よりも大きいと判定されるまで、ステップＳ１２，Ｓ１３，Ｓ１５，Ｓ１６の処理が繰り返される。そして、ステップＳ１３において、OB画素の画素値の平均値が、黒レベル設定値よりも僅かに大きな値（黒レベル設定値＋ε）よりも大きいと判定された場合、処理は、ステップＳ１４に進む。
【００５４】
ステップＳ１４において、キャリブレーション部７７ａは、OB画素の画素値の平均値とPGA７３のゲインとを対応付けて記憶し、処理は、ステップＳ１５に進む。
【００５５】
すなわち、ステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、このときの黒レベル設定値に対する、PGA７３のゲインと、OB画素の画素値の平均値との変化が記録されていくことになる。そして、ステップＳ１５において、PGA７３のゲインが最大値であると判定された場合、処理は、ステップＳ１７に進む。
【００５６】
ステップＳ１７において、キャリブレーション部７７ａは、PGA７３のゲインを最小値に設定する。
【００５７】
ステップＳ１８において、キャリブレーション部７７ａは、黒レベル設定値が最大値であるか否かを判定し、最大値ではないと判定された場合、処理は、ステップＳ１９に進む。
【００５８】
ステップＳ１９において、キャリブレーション部７７ａは、OBクランプ部７８を制御して、黒レベル設定値を所定値だけ上げて、処理は、ステップＳ１２に進み、以降の処理が繰り返される。
【００５９】
すなわち、この黒レベル設定値でステップＳ１２乃至Ｓ１６の処理が繰り返されることにより、黒レベル設定値毎のPGA７３のゲインの変化に対するOB画素の画素値の平均値が求められる。
【００６０】
そして、ステップＳ１２乃至Ｓ１９の処理が繰り返されることにより、各黒レベル設定値において、PGA７３のゲインの上昇に伴って、増加するOB画素の画素値の平均値との関係が求められる。
【００６１】
そして、ステップＳ１８において、黒レベル設定値が最大値になったと判定された場合、処理は、ステップＳ２０に進む。
【００６２】
ステップＳ２０において、キャリブレーション部７７ａは、黒レベル設定値毎のPGA７３のゲインの変化に対する、OB画素の画素値の平均値の変曲点を算出する。すなわち、図７における範囲Ｚ１１乃至Ｚ１３で示されるような、各黒レベル設定値における、PGA７３ゲインに対するOB画素の画素値の平均値の変曲点が求められることになる。
【００６３】
ステップＳ２１において、キャリブレーション部７７ａは、求められた変曲点を用いて制御曲線を算出する。
【００６４】
ステップＳ２２において、キャリブレーション部７７ａは、求められた制御曲線を記憶する。
【００６５】
すなわち、図７における範囲Ｚ１１乃至Ｚ１３で示されるような変曲点から、図５で示されるような制御曲線が求められて、キャリブレーション部７７ａに記憶される。
【００６６】
この制御曲線で示されるPGA７３のゲインに応じた黒レベルは、PGA７３が、OB画素の画素信号に掛けるゲインに対して、ゲインを掛ける前に設定されたOB画素の画素信号の平均値と、ゲインが掛けられた後のOB画素の画素信号の黒レベルの平均値が変化しない最大の黒レベルを示したものであるともいえる。このように求められた制御曲線を利用することで、PGA７３を掛けても黒レベルが変化しない適切な黒レベルを設定することが可能となる。
【００６７】
＜撮像処理＞
次に、図９のフローチャートを参照して、撮像処理について説明する。尚、ここでは、イメージセンサ７１における有効画素により撮像された画像信号が供給されてきたときの処理について説明する。また、OB画素の全画素の分布とその平均値となる分布中心については所定の時間間隔で求められているものとし、OBクランプ部７８のクランプ値は、この分布中心に設定されているものとする。
【００６８】
ステップＳ５１において、イメージセンサ７１は、未処理の画素を処理対象画素に設定する。
【００６９】
ステップＳ５２において、イメージセンサ７１は、処理対象画素の画素値を取得し、CDS７２に出力する。
【００７０】
ステップＳ５３において、OBクランプ部７８は、所定のクランプ値でOBクランプを掛ける。すなわち、図２の左部および中央部で示されるように、OBクランプ部７８は、予め求められている分布中心Ｃ１を分布中心Ｃ２となるように黒レベルのデフォルト値となる画素信号を出力する。
【００７１】
ステップＳ５４において、DAC７９は、OBクランプ部７８からの信号をアナログ信号に変換して出力する。
【００７２】
ステップＳ５５において、積分回路８０は、DAC７９より供給されてきた信号を積分してCDS７２、および制御部７７に出力する。
【００７３】
ステップＳ５６において、CDS７２は、処理対象画素についてCDSを掛けた後、積分回路８０からのデフォルトの黒レベルが設定された信号を用いて、画素レベルを調整して画素信号を出力する。
【００７４】
ステップＳ５７において、PGA７３は、CDS７２より供給されてくる処理対象画素の画素信号にゲインを掛けて加算器７４に出力する。
【００７５】
ステップＳ５８において、制御部７７は、キャリブレーション部７７ａに記憶されている制御曲線を利用して、PGA７３のゲインに対応する適正な黒レベルを求める。
【００７６】
ステップＳ５９において、制御部７７は、加算部７４を制御して、画素信号に対してアナログ値の適正な黒レベルを加算させて、ADC７５に出力する。この処理により、黒レベルの分布は、図２の中央部で示される分布中心Ｃ２の状態から、図３の中央部で示される分布中心Ｃ１１の状態にされる。したがって、この時点で画素信号は、ADC７５において半波整流を起こすことなく、適切にデジタル信号に変換できる状態となる。
【００７７】
ステップＳ６０において、ADC７５は、加算部７４より供給されてきた画素信号をデジタル信号に変換し、ISP７６に出力する。
【００７８】
ステップＳ６１において、制御部７７は、ISP７６内の減算部７６ａを制御して、適正な黒レベルをデジタル化し、デジタル信号に変換された画素信号から、デジタル化された適正な黒レベルを減算する。この時点で、OBクランプ部７８により設定されたクランプ値に相当する黒レベルに戻される。
【００７９】
ステップＳ６２において、ISP７６は、画素信号を信号処理して出力する。
【００８０】
ステップＳ６３において、イメージセンサ７１は、未処理の画素がないか判定し、未処理の画素がある場合、処理は、ステップＳ５１に戻る。すなわち、未処理の画素がなくなるまで、ステップＳ５１乃至Ｓ６３の処理が繰り返される。そして、ステップＳ６３において、未処理の画素がないと判定された場合、処理が終了する。
【００８１】
以上の処理により、PGA７３によりゲインが掛けられた後、適切な黒レベルに調整されて、ADC７５においてデジタル信号に変換されるため、半波整流によりデジタル信号に変換できないといったことが防止され、黒沈みしない安定した画像を撮像することが可能となる。
【００８２】
＜第２の実施の形態＞
以上においては、単一露光における構成について説明してきたが、WD（Wide Dynamic Range）センサを使用する場合、露光条件に応じたゲインで撮像される複数の画像の枚数に合わせてクランプループを増やす、または、クランプループをトグルさせて制御させるようにしてもよい。
【００８３】
図１０は、露光条件が２種類であり、それぞれの露光条件のゲインに応じた２系統のクランプループを設けるようにした撮像装置５１の構成例を示している。尚、図１０の撮像装置５１の各構成において、図４における撮像装置５１の各構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【００８４】
すなわち、図１０の撮像装置５１においては、図４の撮像装置５１におけるクランプループを構成する加算器７４、減算器７６ａ、OBクランプ部７８、および積分回路８０が、それぞれ２個ずつ設けられている。尚、図１０においては、２個の構成を区別するため、「−」を付して１または２を付した符号としている。すなわち、加算器７４−１，７４−２、減算器７６ａ−１，７６ａ−２、OBクランプ部７８−１，７８−２、および積分回路８０−１，８０−２とされている。ここで、「−１」が付された構成は、第１のゲインに対応する第１のクランプ値のとき使用される構成であり、「−２」が付された構成は、第２のゲインに対応する第２のクランプ値のとき使用される構成である。
【００８５】
また、図１０の撮像装置５１においては、加算器７４−１，７４−２、減算器７６ａ−１，７６ａ−２、OBクランプ部７８−１，７８−２、および積分回路８０−１，８０−２のクランプループを切り替えるためのスイッチ９１−１乃至９１−５が設けられている。
【００８６】
スイッチ９１−１乃至９１−５は、端子９１ａ−１乃至９１ａ−５，９１ｂ−１乃至９１ｂ−５が設けられている。スイッチ９１−１乃至９１−５は、制御部７７により制御されて、第１のゲインに応じた第１のクランプ値に対しては、スイッチ９１−１乃至９１−５が、いずれもスイッチ９１ａ−１乃至９１ａ−５に接続される。また、スイッチ９１−１乃至９１−５は、制御部７７により制御されて、第２のゲインに応じた第２のクランプ値に対しては、スイッチ９１−１乃至９１−５が、いずれもスイッチ９１ｂ−１乃至９１ｂ−５に接続される。
【００８７】
また、ISP７６は、さらに、合成部７６ｂを備えており、第１のゲインの画像と、第２のゲインの画像とを、PGA７３におけるそれぞれのゲイン比で合成する。
【００８８】
＜図１０の撮像装置による撮像処理＞
次に、図１１のフローチャートを参照して、図１０の撮像装置５１による撮像処理について説明する。
【００８９】
ステップＳ９１において、制御部７７は、第１のゲインに応じた第１のクランプ値でのクランプループを構成するため、スイッチ９１−１乃至９１−５をそれぞれ端子９１ａ−１乃至９１ａ−５に接続する。
【００９０】
ステップＳ９２において、制御部７７は、第１のゲインに応じた第１のクランプ値による撮像処理を実行する。尚、撮像処理については、図９のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
【００９１】
ステップＳ９３において、制御部７７は、第２のゲインに応じた第２のクランプ値でのクランプループを構成するため、スイッチ９１−１乃至９１−５をそれぞれ端子９１ｂ−１乃至９１ｂ−５に接続する。
【００９２】
ステップＳ９４において、制御部７７は、第２のゲインに応じた第２のクランプ値による撮像処理を実行する。尚、撮像処理については、図９のフローチャートを参照して説明した処理と同一であるので、その説明は省略するものとする。
【００９３】
ステップＳ９５において、ISP７６の合成部７６ｂは、PGA７３のゲインに基づいて、第１のクランプ値で撮像された画像と、第２のクランプ値で撮像された画像とをゲイン比で合成する。
【００９４】
ステップＳ９６において、合成部７６ｂは、合成した画像を出力する。
【００９５】
以上の処理により、露光の異なる複数の画像を合成する処理において、前段で個々にそれぞれのゲインを掛けても黒のレベルをずれないようにすることが可能となる。また、黒沈みを防止する際、黒レベルを上昇させることで、黒沈みが防止可能となるが、ダイナミックレンジが小さくなる。しかしながら、上述したように、露光の異なる複数の画像を撮像することで、ダイナミックレンジを確保しつつ、黒沈みを低減させることが可能となる。さらに、以上においては、２種類の露光で２枚の画像を撮像して合成する例について説明してきたが、さらに、大きなダイナミックレンジの画像に対応する場合、より多くの種類の露光からなる３枚以上の画像を撮像して合成するようにしてもよい。
【００９６】
＜変形例＞
以上においては、黒レベルを減算した後の画像をゲイン比で合成する例について説明してきたが、例えば、それぞれのゲインの画像より、それぞれのゲインにおけるOB画素値の平均値を減算して、ゲイン比で合成するようにしてもよい。
【００９７】
すなわち、図１２で示されるように、ISP７６には、第１のゲインに対応するOB画素値平均算出部１０１−１および減算器１０２−１、並びに、第２のゲインに対応するOB画素値平均算出部１０１−２および減算器１０２−２が設けられており、それぞれの画像を合成する合成部１０３が設けられている。
【００９８】
OB画素値平均算出部１０１−１は、第１のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器１０２−１に供給する。減算器１０２−１は、第１のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部１０１−１より供給されてきたOB画素の画素値の平均値を減算し、合成部１０３に出力する。
【００９９】
OB画素値平均算出部１０１−２は、第２のゲインのクランプループにおけるOB画素の画素値の平均値を算出し、減算器１０２−２に供給する。減算器１０２−２は、第２のゲインにおけるクランプループで撮像された画像の各画素より、OB画素値平均算出部１０１−２より供給されてきたOB画素の画素値の平均値を減算し、合成部１０３に出力する。
【０１００】
合成部１０３は、第１のゲインのクランプループで撮像された画像と、第２のゲインのクランプループで撮像された画像とをゲイン比で合成して出力する。
【０１０１】
この処理により、第１のゲインがゲイン高であり、第２のゲインがゲイン低である場合、ゲイン高における有効データのうち、範囲Ｚ３１で示されるように、飽和してしまうことでデータとして切れてしまう部分を無くすことが可能となる。
【０１０２】
尚、図１２の例においては、第２のゲインであるゲイン低の画像については、ゲインが大きくないので、範囲Ｚ３２において、半波整流の発生がないので、黒レベルの調整はなされていない。
【０１０３】
さらに、以上においては、アナログクランプとアナログゲインにおいて黒レベルを調整する例について説明してきたが、ADC後のデジタルデータでクランプすることでも同様の効果を奏することが可能となる。ただし、ゲインによるノイズの増幅分を踏まえてADCの解像度を上げておくことが望ましい。
【０１０４】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１０５】
図１３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１０６】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１０７】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１０８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１０９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１１０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１１１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１１２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１１３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１１４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１１５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１１７】
尚、本技術は、以下のような構成も取ることができる。
（１）  有効画素とOB（Optical Black）画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と、
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部と、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部と
を含む撮像装置。
（２）  前記増幅部のゲインに応じた黒レベルは、前記増幅部が、前記OB画素の画素信号に掛けるゲインに対して、前記ゲインを掛ける前に設定された前記OB画素の画素信号の平均値と、前記ゲインが掛けられた後の前記OB画素の画素信号の黒レベルの平均値が上昇しない最大の黒レベルである
（１）に記載の撮像装置。
（３）  前記増幅部のゲインを読み取り、前記ゲインに対応する黒レベルを前記加算部に供給する制御部をさらに含み、
前記加算部は、前記制御部より供給される黒レベルを前記増幅部によりゲインを掛けて増幅された画素信号に加算する
（１）または（２）に記載の撮像装置。
（４）  前記制御部は、
前記クランプ部を制御して、前記クランプ値を変えることで、前記増幅部前段の前記黒レベルを変化させながら、前記増幅部のゲインを変化させて、前記増幅部前段の黒レベルよりも、前記増幅部の後段の黒レベルが上昇するゲインを、前記増幅部前段の前記黒レベル毎に求め、前記増幅部の後段の黒レベルが上昇するゲインに対する、前記増幅部前段の前記黒レベルの分布より求められる制御曲線を求めて記憶するキャリブレーション処理を実行するキャリブレーション部を含み、
前記キャリブレーション部に記憶された制御曲線を用いて、前記ゲインに応じた黒レベルを求め、求めた前記黒レベルを前記加算部に供給して、前記増幅部によりゲインが掛けられた前記有効画素の画素信号に加算する
（３）に記載の撮像装置。
（５）  前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記黒レベルを減算する減算部をさらに含む
（３）に記載の撮像装置。
（６）  前記制御部は、前記加算部に供給する、前記ゲインに応じた前記黒レベルを、前記減算部にも供給する
（５）に記載の撮像装置。
（７）  前記ゲインに応じたOB画素の画素値の平均値を算出するOB画素平均値算出部をさらに含み、
前記減算部は、前記増幅部によりゲインが掛けられ、前記加算部により前記黒レベルが加算された画素信号より、前記ゲインに応じたOB画素の画素値の平均値を、前記黒レベルとして減算する
（５）に記載の撮像装置。
（８）  前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれについて、前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記複数のゲインのそれぞれの条件で撮像された画像を、それぞれのゲイン比で合成する合成部をさらに含む
（１）乃至（８）のいずれかに記載の撮像装置。
（９）  前記増幅部が複数のゲインに切り替えて複数の画像を撮像し、合成する場合、
前記クランプ部は、前記複数のゲインのそれぞれの条件でのみ、前記OB画素の画素値の分布に基づいて、前記クランプ値を設定する複数のクランプ部より構成される
（１）乃至（８）のいずれかに記載の撮像装置。
（１０）  有効画素とOB（Optical Black）画素とを含むイメージセンサを含む撮像装置の撮像方法であって、
前記OB画素の画素値の分布に基づいて、クランプ値を設定し、
前記有効画素の画素信号を、設定されたクランプ値で調整し、
前記調整された画素信号にゲインを掛けて増幅し、
前記ゲインに応じた黒レベルを、前記ゲインが掛けられた画素信号に加算する
ステップを含む撮像方法。
（１１）  有効画素とOB（Optical Black）画素とを含むイメージセンサと、
前記OB画素の画素値の分布に基づいて、クランプ値を設定するクランプ部と
前記有効画素の画素信号を、前記クランプ部により設定されたクランプ値で調整する調整部と、
前記調整された画素信号にゲインを掛けて増幅する増幅部とを含む撮像装置を制御するコンピュータを、
前記ゲインに応じた黒レベルを、前記増幅部によりゲインが掛けられた画素信号に加算する加算部として機能させるプログラム。
【符号の説明】
【０１１８】
１１  撮像装置，  ３１  イメージセンサ，  ３２  CDS，  ３３  PGA，  ３４  ADC，  ３５  ISP，  ３６  OBクランプ部，  ３７  DAC，  ５１  撮像装置，  ７１  イメージセンサ，  ７２  CDS，  ７３  PGA，  ７４  加算器，  ７５  ADC，  ７６  ISP，  ７７  制御部，  ７８，７８−１，７８−２  OBクランプ部，  ７９  DAC，  ８０，８０−１，８０−２  積分回路，  ９１，９１−乃至９１−５  スイッチ，  ９１ａ−１乃至９１ａ−５，９１ｂ−１乃至９１ｂ−５  端子，  １０１，１０１−１，１０１−２  OB画素値平均算出部，  １０２，１０２−１，１０２−２  減算器，  １０３  合成部
【図１】
2016225867.tif 000003
【図２】
2016225867.tif 000004
【図３】
2016225867.tif 000005
【図４】
2016225867.tif 000006
【図５】
2016225867.tif 000007
【図６】
2016225867.tif 000008
【図７】
2016225867.tif 000009
【図８】
2016225867.tif 000010
【図９】
2016225867.tif 000011
【図１０】
2016225867.tif 000012
【図１１】
2016225867.tif 000013
【図１２】
2016225867.tif 000014
【図１３】
2016225867.tif 000015