(57)【特許請求の範囲】
【請求項１】
色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、
前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、
前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、
前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、
前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、
前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、
前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する変更手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記変更手段は、前記第１の増幅率を前記第１の値から前記第２の値に変更した色成分に対応する前記補正値が、前記上限値から該上限値よりも低い所定値以下となったときに、該色成分に対する前記第１の増幅率を、前記第２の値から前記第１の値に変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記変更手段は、前記記憶手段に前記色成分ごとに保持された前記補正値のうち、単一の色成分に対応する前記補正値のみを監視し、該色成分に対応する前記補正値が前記上限値に達した場合に、該色成分に対する前記第１の増幅率を、前記第１の値から前記第２の値に変更することを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記単一の色成分は、青色成分であることを特徴とする請求項３に記載の撮像装置。
【請求項５】
色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、
前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、
前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、
前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、
前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、
前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、を備える撮像装置の制御方法であって、
前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する工程を含むことを特徴とする撮像装置の制御方法。
【請求項６】
色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、
前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、
前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、
前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、
前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、
前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、を備える撮像装置に、
前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する機能を実現させることを特徴とする撮像装置の制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像装置の制御方法および撮像装置の制御プログラムに関する。
【背景技術】
【０００２】
従来、ＣＭＯＳイメージセンサなどの撮像素子を用いて画像を撮像する撮像装置において、撮像素子から出力されるＲＧＢ各色の撮像信号のレベルを調整して画像の色相を正常に保つ、オートホワイトバランス（ＡＷＢ）処理が知られている。
【０００３】
撮像素子から出力されるＲＧＢ各色の撮像信号は、色フィルタを通した光に対する撮像素子の色ごとの受光感度の違いによってレベル差が生じる。そして、この撮像信号の色ごとのレベル差がＡＷＢ処理の調整範囲を超えると、ＡＷＢ処理を行っても画像の色相を正常に保てない懸念がある。そこで、予め設定された増幅率（固定ゲイン）で撮像素子から出力されるＲＧＢ各色の撮像信号を個別に増幅する増幅器を設け、この増幅器で撮像信号の色ごとのレベル差をある程度吸収した後にＡＷＢ処理を行うことにより、調整範囲に限りのあるＡＷＢ処理でも画像の色相を適切に調整できるようにすることも行われている。
【０００４】
また、撮像素子から出力される撮像信号には、温度に依存して発生する暗電流による定常ノイズ成分である熱雑音が重畳している。この熱雑音をキャンセルするために、撮像素子の光の当たらないオプティカルブラックと呼ばれる画素の信号を用いて、撮像素子から出力されるＲＧＢ各色の撮像信号を補正する、ブラックレベルコントロール（ＢＬＣ）処理が行われている。ＢＬＣ処理は、例えば、オプティカルブラックの出力に応じて補正すべき暗電流による定常ノイズの値（補正値）を求めてレジスタに書き込み、撮像素子から出力される撮像信号からレジスタに保持された補正値を減算することで、暗電流による定常ノイズ成分である熱雑音をキャンセルする。
【０００５】
なお、本発明に関連性のある従来技術として、例えば、特許文献１にて公開された技術や特許文献２にて公開された技術などが挙げられる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、撮像素子から出力されるＲＧＢ各色の撮像信号を個別に増幅する増幅器を設けた撮像装置においては、ＢＬＣ処理の際に、オプティカルブラックの出力に対して増幅器の増幅率を乗算した値を、撮像信号から減算する必要がある。
【０００７】
しかしながら、ＢＬＣ処理に用いられるレジスタは保持する値の大きさに上限があるため、温度上昇によって暗電流による定常ノイズの値が大きくなると、特に増幅器の増幅率が高い値に設定されている色成分については、撮像信号から減算する補正値が、レジスタにより保持できる上限値によって制限される。その結果、その色成分の黒（輝度なし）にあたる部分に輝度が発生する。
【０００８】
そして、ＡＷＢ処理の際には、その色成分の黒にあたる部分に発生した輝度をキャンセルするように、各色成分の撮像信号のレベルを調整するための増幅率が設定されることになる。その結果、ＡＷＢ処理が誤作動を起こして、画像の色相の崩れを招くといった問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、高温時においても画像の色相を正常に保つことができる撮像装置、撮像装置の制御方法および撮像装置の制御プログラムを提供することを目的としている。
【課題を解決するための手段】
【００１０】
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する変更手段と、を備えることを特徴とする。
【００１１】
また、本発明に係る撮像装置の制御方法は、色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、を備える撮像装置の制御方法であって、前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する工程を含むことを特徴とする。
【００１２】
また、本発明に係る撮像装置の制御プログラムは、色フィルタを通して画像を撮像し、前記色フィルタに対応した色成分ごとの撮像信号を出力する撮像素子と、前記色成分ごとに設定された第１の増幅率に従って、前記撮像素子から出力された撮像信号を増幅する第１の増幅器と、前記撮像素子に生じる暗電流に応じて変更される補正値を、前記色成分ごとに保持する記憶手段であって、予め定められた上限値以下の値を保持可能な記憶手段と、前記色成分ごとに、前記第１の増幅器により増幅された撮像信号から前記記憶手段に保持された前記補正値を減算する減算器と、前記色成分ごとに設定された第２の増幅率に従って、前記減算器により前記補正値が減算された撮像信号を増幅する第２の増幅器と、前記撮像素子が撮像した画像のホワイトバランスを調整するように、前記第２の増幅率を設定するホワイトバランス制御手段と、を備える撮像装置に、前記記憶手段に保持された前記補正値が前記上限値に達した色成分に対する前記第１の増幅率を、第１の値から、該第１の値よりも低い第２の値に変更する機能を実現させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像信号から減算する暗電流に応じた補正値が記憶手段が保持可能な値の上限値によって制限された色成分については、第１の増幅器における増幅率を低い値に変更するようにしているので、高温時においても画像の色相を正常に保つことができるという効果を奏する。
【図面の簡単な説明】
【００１４】
【図１】図１は、撮像装置の全体構成を示す概略構成図である。
【図２】図２は、センサチップおよび制御装置の詳細を示すブロック図である。
【図３】図３は、ベイヤ配列の色フィルタを説明する図である。
【図４】図４は、Ｂ成分の撮像信号に対する処理を抽出して示す模式図である。
【図５】図５は、ゲイン変更部がＢ成分のみを監視する場合の具体的な処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照して、この発明に係る撮像装置、撮像装置の制御方法および撮像装置の制御プログラムの最良な実施の形態を詳細に説明する。なお、以下で示す実施の形態は、車載カメラとして使用される撮像装置に対して本発明を適用した例であるが、本発明は、車載カメラに限らず、高温環境下での使用が想定される各種の撮像装置に対して有効に適用することができる。
【００１６】
図１は、本実施の形態に係る撮像装置の全体構成を示す概略構成図である。本実施の形態に係る撮像装置は、図１に示すように、レンズＬを介して入射する光を光電変換して撮像信号を生成し、生成した撮像信号に対して各種処理を施して画像データとして出力するセンサチップ１０と、このセンサチップ１０に対して各種の動作指令を出力し、センサチップ１０の動作を制御する制御装置２０とを備える。
【００１７】
図２は、センサチップ１０および制御装置２０の本発明に関わる部分を詳細に示すブロック図である。センサチップ１０は、図２に示すように、ＣＭＯＳイメージセンサなどの撮像素子１１と、この撮像素子１１から出力される撮像信号に対して各種処理を施して画像データとして出力する信号処理回路１２とを有している。センサチップ１０は、これら撮像素子１１と信号処理回路１２とを一体に形成した、ワンチップの半導体素子である。
【００１８】
撮像素子１１は、レンズＬによって受光部に結像される画像を撮像し、画像の明るさに応じた撮像信号を出力する。撮像素子１１には、例えば、図３に示すようなベイヤ配列の色フィルタが設けられている。ベイヤ配列の色フィルタは、撮像素子１１に入射する光をＲ（赤色），Ｇ（緑色），Ｂ（青色）の３原色に分解する原色フィルタであり、２つのＲ（赤色）の間にＧｒ（緑色）、２つのＢ（青色）の間にＧｂ（緑色）をそれぞれ配置した構成である。撮像素子１１は、この色フィルタを通してＲ，Ｇｂ，Ｇｒ，Ｂの色成分に分解された光を受光部の各画素で受光する。そして、撮像素子１１は、画素ごとに受光した光を電気信号に変換し、Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとの撮像信号を出力する。つまり、色フィルタのＲに対応する画素（図２中の「イメージセンサセルＲ」）からはＲ成分の撮像信号が出力され、色フィルタのＧｂに対応する画素（図２中の「イメージセンサセルＧｂ」）からはＧｂ成分の撮像信号が出力され、色フィルタのＧｒに対応する画素（図２中の「イメージセンサセルＧｒ」）からはＧｒ成分の撮像信号が出力され、色フィルタのＢに対応する画素（図２中の「イメージセンサセルＢ」）からはＢ成分の撮像信号が出力される。
【００１９】
また、撮像素子１１には、受光部を構成する有効画素以外に、光の入射が遮断されたオプティカルブラックと呼ばれる画素が設けられている。このオプティカルブラックの信号（ＯＢ信号）は、撮像素子１１に生じる暗電流を反映した信号であり、後述するように、暗電流による定常ノイズ成分である熱雑音をキャンセルするための補正値を求める際に用いられる。
【００２０】
信号処理回路１２には、第１の増幅器１３と、減算器１４と、ベイヤ補間部１５と、第２の増幅器１６と、ＢＬＣ制御部１７と、レジスタ１８とが設けられている。
【００２１】
第１の増幅器１３は、Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとに個別に設定された増幅率（図２中の「前ゲインＲ」、「前ゲインＧｂ」、「前ゲインＧｒ」および「前ゲインＢ」）に従って、撮像素子１１から出力されたＲ，Ｇｂ，Ｇｒ，Ｂの色成分の撮像信号を各々増幅する。この第１の増幅器１３は、色フィルタを通した光に対する撮像素子１１の色ごとの受光感度の違いによって生じる撮像信号のレベル差を吸収するための増幅器であり、各色成分に対して、例えば１．０倍、１．５倍、２．０倍など、予め定めた増幅率（固定ゲイン）を個別に設定することが可能である。通常、色フィルタの特性上、撮像素子１１の受光感度は、特にＢ（青色）成分に対する感度が低くなる。このため、Ｂ成分に対する増幅率は、一般的に、他の色成分に対する増幅率よりも高い値に設定されている。
【００２２】
減算器１４は、Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとに、第１の増幅器１３により増幅された撮像信号から、レジスタ１８に保持された補正値を減算する。レジスタ１８には、後述するように、ＢＬＣ制御部１７によって、撮像素子１１に生じる暗電流に応じたＲ，Ｇｂ，Ｇｒ，Ｂの色成分ごとの補正値（図２中の「補正値Ｒ」、「補正値Ｇｂ」、「補正値Ｇｒ」および「補正値Ｂ」）が書き込まれている。減算器１４のＲ成分に対応するブロック（図２中の「ＢＬＣ＿Ｒ」）では、第１の増幅器１３により「前ゲインＲ」で増幅されたＲ成分の撮像信号から、レジスタ１８に保持された「補正値Ｒ」を減算し、暗電流による定常ノイズ成分である熱雑音をキャンセルしたＲ成分の撮像信号を出力する。また、減算器１４のＧｂ成分に対応するブロック（図２中の「ＢＬＣ＿Ｇｂ」）では、第１の増幅器１３により「前ゲインＧｂ」で増幅されたＧｂ成分の撮像信号から、レジスタ１８に保持された「補正値Ｇｂ」を減算し、暗電流による定常ノイズ成分である熱雑音をキャンセルしたＧｂ成分の撮像信号を出力する。また、減算器１４のＧｒ成分に対応するブロック（図２中の「ＢＬＣ＿Ｇｒ」）では、第１の増幅器１３により「前ゲインＧｒ」で増幅されたＧｒ成分の撮像信号から、レジスタ１８に保持された「補正値Ｇｒ」を減算し、暗電流による定常ノイズ成分である熱雑音をキャンセルしたＧｒ成分の撮像信号を出力する。また、減算器１４のＢ成分に対応するブロック（図２中の「ＢＬＣ＿Ｂ」）では、第１の増幅器１３により「前ゲインＢ」で増幅されたＢ成分の撮像信号から、レジスタ１８に保持された「補正値Ｂ」を減算し、暗電流による定常ノイズ成分である熱雑音をキャンセルしたＢ成分の撮像信号を出力する。
【００２３】
ベイヤ補間部１５は、減算器１４により熱雑音をキャンセルしたＲ，Ｇｂ，Ｇｒ，Ｂの各色成分の撮像信号を入力し、撮像素子１１の画素ごとに、Ｒ成分に対応する画素については他の周辺画素の情報を用いてＧ成分の色情報とＢ成分の色情報を補間し、Ｇｂ成分およびＧｒ成分の画素については他の周辺画素の情報を用いてＲ成分の色情報とＢ成分の色情報を補間し、Ｂ成分に対応する画素については他の周辺画素の情報を用いてＲ成分の色情報とＧ成分の色情報を補間する。すなわち、撮像素子１１の各画素は、ベイヤ配列の色フィルタを用いて色分解した光を受光しているため、色フィルタの単一の色成分の情報しか得ることができない。そこで、ベイヤ補間部１５によって、撮像素子１１の各画素の不足する色情報を他の周辺画素の情報を用いて推定し、画素ごとのＲ，Ｇ，Ｂ情報を生成する。なお、このベイヤ補間部１５による補間の方法としては、線形補間法、勾配法、適応型カラープレーン補間法（ＡＣＰＩ：Ａｄｖａｎｃｅｄ  Ｃｏｌｏｒ  Ｐｌａｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ）など、一般的に知られている様々な方法を用いることができる。
【００２４】
第２の増幅器１６は、後述する制御装置２０のＡＷＢ制御部２１によってＲ，Ｇ，Ｂの色成分ごとに設定された増幅率（図２中の「ＡＷＢゲインＲ」、「ＡＷＢゲインＧ」および「ＡＷＢゲインＢ」）に従って、ベイヤ補間部１５から出力されたＲ，Ｇ，Ｂの色成分の撮像信号を増幅する。この第２の増幅器１３は、撮像素子１１が撮像した画像のホワイトバランスを調整して画像の色相を正常に保つための増幅器であり、Ｒ，Ｇ，Ｂの色成分ごとの増幅率は、制御装置２０のＡＷＢ制御部２１によって随時変更される（可変ゲイン）。この第２の増幅器１６によりホワイトバランスの調整が行われたＲ，Ｇ，Ｂの色成分の撮像信号が、画像データとしてセンサチップ１０から出力される。
【００２５】
ＢＬＣ制御部１７は、撮像装置１１の有効画素以外の領域に設けられた光の当たらない画素であるオプティカルブラックの信号（ＯＢ信号）を入力し、このＯＢ信号に応じて、撮像素子１１に生じる暗電流による定常ノイズ成分である熱雑音をキャンセルするための補正値をＲ，Ｇｂ，Ｇｒ，Ｂの色成分ごとに求める。Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとの補正値は、撮像素子１１の暗電流に応じた信号であるＯＢ信号に対して、Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとに個別に設定された第１の増幅器１３における増幅率を乗算した値となる。ＢＬＣ制御部１７は、Ｒ，Ｇｂ，Ｇｒ，Ｂの色成分ごとに求めた補正値をレジスタ１８に書き込む。
【００２６】
レジスタ１８は、ＢＬＣ制御部１７によって書き込まれたＲ，Ｇｂ，Ｇｒ，Ｂの色成分ごとの補正値（「補正値Ｒ」、「補正値Ｇｂ」、「補正値Ｇｒ」、「補正値Ｂ」）を保持する記憶手段である。レジスタ１８は、予め定められた上限値以下の値を保持可能であり、例えば８ｂｉｔレジスタであれば、００ｈからＦＦｈまでの２５６値を保持することができる。このように、レジスタ１８が保持する値には上限があるため、ＢＬＣ制御部１７がＯＢ信号から求めた補正値がレジスタ１８の上限値を超える色成分があると、その色成分の補正値がレジスタ１８の上限値によって制限され、レジスタ１８にはその色成分の補正値として上限値（８ｂｉｔレジスタであればＦＦｈ）が保持されることになる。
【００２７】
制御装置２０は、例えばＣＰＵやＲＯＭ、ＲＡＭ、入出力回路などを備えるマイクロコンピュータとして構成される。この制御装置２０は、例えばＣＰＵがＲＡＭをワークエリアとして利用してＲＯＭに格納された制御プログラムを実行することによって、センサチップ１０の動作を統括的に制御する。特に、この制御装置２０は、制御プログラムにより実現される本発明に関わる機能構成として、図２に示すように、ＡＷＢ制御部２１と、ゲイン変更部２２とを備える。
【００２８】
ＡＷＢ制御部２１は、撮像素子１１が撮像した画像のホワイトバランスを調整するように、Ｒ，Ｇ，Ｂの色成分ごとに第２の増幅器１６の増幅率（「ＡＷＢゲインＲ」、「ＡＷＢゲインＧ」、「ＡＷＢゲインＢ」）を設定する。具体的には、ＡＷＢ制御部２１は、例えば、撮像素子１１が撮像した画像の中で白またはグレーなどの無彩色となる部分に対応するＲ成分とＧ成分とＢ成分の比が１：１：１となるように、「ＡＷＢゲインＲ」、「ＡＷＢゲインＧ」、「ＡＷＢゲインＢ」をそれぞれ設定する。
【００２９】
ゲイン変更部２２は、レジスタ１８に保持されたＲ，Ｇｂ，Ｇｒ，Ｂの色成分ごとの補正値を監視し、レジスタ１８に保持された補正値がレジスタ１８の上限値に達した色成分があれば、その色成分に対する第１の増幅器１３の増幅率を、初期設定値である第１の値から、この第１の値よりも低い値である第２の値に変更する。また、ゲイン変更部２２は、第１の増幅器１３の増幅率を第１の値から第２の値に変更した色成分に対応する補正値が、レジスタ１８の上限値から低下して、予め定めた所定値以下となったときに、この色成分に対する第１の増幅器１３の増幅率を、第２の値から第１の値に変更する。
【００３０】
具体的な例を挙げて説明すると、レジスタ１８が８ｂｉｔレジスタの場合、レジスタ１８の上限値はＦＦｈである。ここで、例えばＢ成分に対する第１の増幅器１３の増幅率「前ゲインＢ」が１．５倍に設定されている状態で、ＢＬＣ制御部１７により求めたＢ成分に対する補正値「補正値Ｂ」がレジスタ１８の上限値を超えていたとする。このとき、レジスタ１８には「補正値Ｂ」としてＦＦｈが保持されているので、ゲイン変更部２２は、Ｂ成分に対する第１の増幅器１３の増幅率「前ゲインＢ」を、初期設定値である１．５倍から、それよりも低い値、例えば１．０倍に変更する。
【００３１】
その後、第１の増幅器１３の増幅率「前ゲインＢ」が低くなったことで、Ｂ成分に対する補正値「補正値Ｂ」は小さくなり、上限値ＦＦｈよりも小さな値がレジスタ１８に保持される。このレジスタ１８に保持されたＢ成分に対する補正値「補正値Ｂ」が、予め定めた所定値Ｃ０ｈ以下となると、ゲイン変更部２２は、Ｂ成分に対する第１の増幅器１３の増幅率「前ゲインＢ」を、１．０倍から１．５倍に戻す。このように、第１の増幅器１３の増幅率を変更する場合に、第１の値から第２の値への切替えと第２の値から第１の値への切替えとの間にヒステリシスを設けることにより、境界付近で増幅率が頻繁に切替わることを防止することができる。
【００３２】
以上のように構成される撮像装置では、撮像素子１１の「イメージセンサセルＲ」から出力されたＲ成分の撮像信号が、第１の増幅器１３において「前ゲインＲ」で増幅され、減算器１４の「ＢＬＣ＿Ｒ」に入力される。また、撮像素子１１の「イメージセンサセルＧｂ」から出力されたＧｂ成分の撮像信号が、第１の増幅器１３において「前ゲインＧｂ」で増幅され、減算器１４の「ＢＬＣ＿Ｇｂ」に入力される。また、撮像素子１１の「イメージセンサセルＧｒ」から出力されたＧｒ成分の撮像信号が、第１の増幅器１３において「前ゲインＧｒ」で増幅され、減算器１４の「ＢＬＣ＿Ｇｒ」に入力される。また、撮像素子１１の「イメージセンサセルＢ」から出力されたＢ成分の撮像信号が、第１の増幅器１３において「前ゲインＢ」で増幅され、減算器１４の「ＢＬＣ＿Ｂ」に入力される。
【００３３】
また、撮像素子１１のオプティカルブラックから出力されたＯＢ信号がＢＬＣ制御部１７に入力され、ＢＬＣ制御部１７により、Ｒ成分に対応する「補正値Ｒ」と、Ｇｂ成分に対応する「補正値Ｇｂ」と、Ｇｒ成分に対応する「補正値Ｇｒ」と、Ｂ成分に対応する「補正値Ｂ」とがレジスタ１８に書き込まれる。このとき、ゲイン変更部２２が、レジスタ１８に保持された「補正値Ｒ」、「補正値Ｇｂ」、「補正値Ｇｒ」、「補正値Ｂ」を参照し、レジスタ１８の上限値に達しているものがあれば、その色成分に対する第１の増幅器１３の増幅率を、初期設定値である第１の値から、この第１の値よりも低い値である第２の値に変更する。
【００３４】
減算器１４の「ＢＬＣ＿Ｒ」に入力されたＲ成分の撮像信号は、「ＢＬＣ＿Ｒ」においてレジスタ１８に保持された「補正値Ｒ」が減算されることで熱雑音がキャンセルされる。また、減算器１４の「ＢＬＣ＿Ｇｂ」に入力されたＧｂ成分の撮像信号は、「ＢＬＣ＿Ｇｂ」においてレジスタ１８に保持された「補正値Ｇｂ」が減算されることで熱雑音がキャンセルされる。また、減算器１４の「ＢＬＣ＿Ｇｒ」に入力されたＧｒ成分の撮像信号は、「ＢＬＣ＿Ｇｒ」においてレジスタ１８に保持された「補正値Ｇｒ」が減算されることで熱雑音がキャンセルされる。また、減算器１４の「ＢＬＣ＿Ｂ」に入力されたＢ成分の撮像信号は、「ＢＬＣ＿Ｂ」においてレジスタ１８に保持された「補正値Ｂ」が減算されることで熱雑音がキャンセルされる。この減算器１４で撮像信号から熱雑音をキャンセルする処理が、上述したＢＬＣ処理に相当する。
【００３５】
減算器１４で熱雑音がキャンセルされたＲ，Ｇｂ，Ｇｒ，Ｂの各色成分の撮像信号は、ベイヤ補間部１５での補間処理によって、撮像素子１１の画素ごとのＲ，Ｇ，Ｂの各色成分の撮像信号に変換される。その後、Ｒ成分の撮像信号は、第２の増幅器１６において、ＡＷＢ制御部２１により設定された「ＡＷＢゲインＲ」で増幅される。また、Ｇ成分の撮像信号は、第２の増幅器１６において、ＡＷＢ制御部２１により設定された「ＡＷＢゲインＧ」で増幅される。また、Ｂ成分の撮像信号は、第２の増幅器１６において、ＡＷＢ制御部２１により設定された「ＡＷＢゲインＢ」で増幅される。ＡＷＢ制御部２１は、撮像素子１１が撮像した画像のホワイトバランスを調整し、画像の色相を正常に保つように、「ＡＷＢゲインＲ」、「ＡＷＢゲインＧ」、「ＡＷＢゲインＢ」をそれぞれ設定している。このＡＷＢ制御部２１が設定した「ＡＷＢゲインＲ」、「ＡＷＢゲインＧ」、「ＡＷＢゲインＢ」により、Ｒ，Ｇ，Ｂの各色成分の撮像信号を第２の増幅器１６で増幅する処理が、上述したＡＷＢ処理に相当する。
【００３６】
以上のように、撮像素子１１から出力される撮像信号に対して信号処理回路１２でＢＬＣ処理を行うことにより、撮像素子１１に生じる暗電流による定常ノイズ成分である熱雑音をキャンセルすることができる。また、熱雑音をキャンセルした撮像信号に対してＡＷＢ処理を行うことにより、撮像素子１１で撮像した画像の色相を正常に保つことが可能となる。
【００３７】
しかしながら、従来技術においては、高温環境下での使用時にＡＷＢ処理が誤作動を起こし、画像の色相の崩れを招くといった問題が生じていた。これは、高温時に撮像素子１１の暗電流が増加し、ＢＬＣ処理で熱雑音をキャンセルするための補正値がレジスタ１８の上限値を超えるとその補正値がレジスタ１８の上限値によって制限されるため、ＢＬＣ処理後の撮像信号の黒（輝度なし）にあたる部分に輝度が発生し、ＡＷＢ処理では、その輝度をキャンセルするように、Ｒ，Ｇ，Ｂの各色成分の増幅率が設定されることによるものと考えられる。
【００３８】
そこで、本実施の形態に係る撮像装置では、制御装置２０にゲイン変更部２２を設け、このゲイン変更部２２が、レジスタ１８に保持された補正値を監視して、補正値がレジスタ１８の上限値に達した色成分があれば、その色成分に対する第１の増幅器１３の増幅率を、初期設定値である第１の値から、この第１の値よりも低い値である第２の値に変更するようにしている。これにより、第１の増幅器１３の増幅率が低下した分だけ熱雑音をキャンセルするための補正値が下がり、レジスタ１８が保持可能な値となる。その結果、ＢＬＣ処理の影響によるＡＷＢ処理の誤作動を有効に防止することができ、高温時においても画像の色相を正常に保つことができる。
【００３９】
ところで、第１の増幅器１３では、上述したように、Ｒ，Ｇｂ，Ｇｒ，Ｂの各色成分に対する増幅率のうち、通常は、特にＢ（青色）成分の増幅率が他の色成分に対する増幅率よりも高い値に設定されている。このため、高温時において熱雑音をキャンセルするための補正値が最初にレジスタ１８の上限値に達するのは、Ｂ成分に対応する補正値である。そこで、ゲイン変更部２２は、レジスタ１８に保持されたすべての色成分に対する補正値を監視するのではなく、Ｂ成分に対する補正値のみを監視し、Ｂ成分に対する補正値がレジスタ１８の上限値に達したら、第１の増幅器１３のＢ成分に対する増幅率のみを第１の値から第２の値に変更する構成としてもよい。このように、ゲイン変更部２２が単一の色成分のみを監視する構成とすれば、制御装置２０の処理負荷を軽減することができる。勿論、制御装置２０の処理能力に余裕があれば、すべての色成分を監視するようにしてもよいし、例えば温度センサにより周囲温度を検出して、周囲温度が所定温度以下の場合はＢ成分のみを監視し、周囲温度が所定温度を超えたらすべての色成分を監視するようにしてもよい。
【００４０】
図４は、本実施の形態に係る撮像装置において特徴的な処理のうち、Ｂ成分についての処理を抽出して分かりやすく示した模式図である。Ｂ成分の撮像信号は、第１の増幅器１３において、Ｂ成分に対して設定された「前ゲインＢ」で増幅される。その後、減算器１４において、「前ゲインＢ」で増幅されたＢ成分の撮像信号から「補正値Ｂ」が減算されることで、熱雑音がキャンセルされる。そして、熱雑音がキャンセルされたＢ成分の撮像信号が、第２の増幅器１６において、ＡＷＢ制御部２１により設定された「ＡＷＢゲインＢ」で増幅され、Ｂ成分の画像データとして出力される。この際、ゲイン変更部２２が、「補正値Ｂ」を監視し、「補正値Ｂ」がレジスタ１８の上限値となっていれば、「前ゲインＢ」を、初期設定値である第１の値から、第１の値よりも低い値である第２の値に変更する。また、ゲイン変更部２２は、「前ゲインＢ」を第１の値から第２の値に変更した後、「補正値Ｂ」が予め定めた所定値以下となった段階で、「前ゲイン」を第２の値から第１の値に戻す。これにより、高温時においても画像の色相を正常に保つことができる。
【００４１】
図５は、ゲイン変更部２２がＢ成分のみを監視する場合の具体的な処理の一例を示すフローチャートである。この例では、レジスタ１８が８ｂｉｔレジスタであり、第１の増幅器１３の「前ゲインＢ」は、第１の値が１．５倍、第２の値が１．０倍であるものとする。また、図５に示すフローチャートは、制御装置２０からセンサチップ１０に対して出力する垂直同期信号の割り込みに合わせて、ゲイン変更部２２により繰り返し実行されるものとする。
【００４２】
図５に示すフローチャートが開始されると、ゲイン変更部２２は、まず、レジスタ１８に保持された「補正値Ｂ」の値と変更フラグの値を参照する（ステップＳ１０１）。ここで、変更フラグは、「前ゲインＢ」の現在の設定値を示すものであり、「前ゲインＢ」が１．５倍（第１の値）であれば０、「前ゲインＢ」が１．０倍（第２の値）であれば１を保持する。
【００４３】
次に、ゲイン変更部２２は、変更フラグの値が０であるか否かを判定し（ステップＳ１０２）、変更フラグの値が０であれば（ステップＳ１０２：Ｙｅｓ）、「補正値Ｂ」の値がＦＦｈとなっているか否かを判定する（ステップＳ１０３）。そして、ゲイン変更部２２は、「補正値Ｂ」の値がＦＦｈになっていれば（ステップＳ１０３：Ｙｅｓ）、「前ゲインＢ」を１．５倍から１．０倍に変更し（ステップＳ１０４）、変更フラグの値を０から１に書き換えて（ステップＳ１０５）、処理を終了する。一方、「補正値Ｂ」の値がＦＦｈになっていなければ（ステップＳ１０３：Ｎｏ）、ゲイン変更部２２は、ステップＳ１０４およびステップＳ１０５の処理を行うことなく処理を終了する。
【００４４】
また、ゲイン変更部２２は、ステップＳ１０１で参照した変更フラグの値が１であれば（ステップＳ１０２：Ｎｏ）、「補正値Ｂ」の値がＣ０ｈとなっているか否かを判定する（ステップＳ１０６）。なお、Ｃ０ｈは、予め実験等を行って求めた所定値である。そして、ゲイン変更部２２は、「補正値Ｂ」の値がＣ０ｈになっていれば（ステップＳ１０６：Ｙｅｓ）、「前ゲインＢ」を１．０倍から１．５倍に変更し（ステップＳ１０７）、変更フラグの値を１から０に書き換えて（ステップＳ１０８）、処理を終了する。一方、「補正値Ｂ」の値がＣ０ｈになっていなければ（ステップＳ１０６：Ｎｏ）、ゲイン変更部２２は、ステップＳ１０７およびステップＳ１０８の処理を行うことなく処理を終了する。
【００４５】
以上、具体的な例を挙げながら詳細に説明したように、本実施の形態に係る撮像装置では、制御装置２０に設けたゲイン変更部２２が、レジスタ１８に保持された熱雑音をキャンセルするための補正値を監視して、この補正値がレジスタ１８の上限値となっている色成分があれば、その色成分に対する第１の増幅器１３の増幅率を、初期設定値である第１の値から、この第１の値よりも低い値である第２の値に変更するようにしている。したがって、この撮像装置によれば、ＢＬＣ処理の影響によるＡＷＢ処理の誤作動を有効に防止することができ、高温時においても画像の色相を正常に保つことができる。
【００４６】
また、ゲイン変更部２２は、補正値がレジスタ１８の上限値に達した色成分に対する第１の増幅器１３の増幅率を第１の値から第２の値に変更した後、当該色成分に対応する補正値が予め定めた所定値以下となった段階で、当該色成分に対する第１の増幅器１３の増幅率を第２の値から第１の値に戻すようにし、第１の値から第２の値への切替えと第２の値から第１の値への切替えとの間にヒステリシスを設けるようにしているので、境界付近で増幅率が頻繁に切替わることを防止することができる。
【００４７】
また、ゲイン変更部２２がレジスタ１８に保持された補正値を監視する色成分を単一の色成分のみとすれば、制御装置２０の処理負荷の軽減を図ることができる。このとき、ゲイン変更部２２が監視する単一の色成分を、第１の増幅器１３の増幅率が他の色成分よりも高いことが見込まれるＢ（青色）成分とすることで、効率のよい処理が可能となる。
【００４８】
なお、本実施の形態に係る撮像装置において実行される制御プログラムは、制御装置２０のＲＯＭ等に予め組み込まれて提供される。また、本実施の形態に係る撮像装置において実行される制御プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。さらに、本実施の形態に係る撮像装置で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施の形態に係る撮像装置で実行される制御プログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。
【００４９】
本実施の形態に係る撮像装置で実行される制御プログラムは、上述したＡＷＢ制御部２１およびゲイン変更部２２を含むモジュール構成となっており、実際のハードウェアとしては、制御装置２０のＣＰＵ（プロセッサ）が上記ＲＯＭから制御プログラムを読み出して実行することにより、上記各部が主記憶装置（ＲＡＭ）上にロードされ、ＡＷＢ制御部２１やゲイン変更部２２が主記憶装置上に生成されるようになっている。
【００５０】
以上、本発明の具体的な実施の形態について説明したが、本発明は、上述した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。例えば、上述した撮像装置の構成や動作は、車載カメラとして使用される撮像装置の具体的な一例を示したものであり、用途や目的に応じて様々な変形が可能である。
【符号の説明】
【００５１】
１０  センサチップ
１１  撮像素子
１２  信号処理回路
１３  第１の増幅器
１４  減算器
１６  第２の増幅器
１８  レジスタ（記憶手段）
２０  制御装置
２１  ＡＷＢ制御部（ホワイトバランス調整手段）
２２  ゲイン変更部（変更手段）
【先行技術文献】
【特許文献】
【００５２】
【特許文献１】特許第４３６６９６６号公報
【特許文献２】特許第２６５２１５２号公報
【図１】
0005545169.tif 000002
【図２】
0005545169.tif 000003
【図３】
0005545169.tif 000004
【図４】
0005545169.tif 000005
【図５】
0005545169.tif 000006