(57)【要約】【課題】太陽光等の強い光が入射しても、フォトダイオードが電荷で飽和してスミア等の画像の乱れが発生するのを防止できる撮像装置の提供。【解決手段】照明光を供給する照明部と、１フレームの露光時間内において照明部を所定時間オフした後に当該所定時間オンする制御を複数回繰り返す照明制御部と、各画素毎に設けられた光電変換部と、照明部がオフの間およびオンの間にそれぞれ所定時間ずつ光電変換部が露光されるように露光時間を制御する露光時間制御部と、光電変換部により得られた照明部がオンの時の露光量と照明部がオフの時の露光量の差分に対応する値を算出する減算部と、減算部で算出された値を積分する積分部と、積分部で算出された積分値が所定値に達したか否かを判定する判定部と、ｎ個の画素において積分値が所定値に達したと判定された場合に、露光時間制御部に対し１フレーム中における全画素の露光を停止させる露光停止部とを備える。【選択図】図２
2009212698.tif 000002
【特許請求の範囲】
【請求項１】
照明光により照明された被写体を、複数の画素を含む固体撮像素子を用いて撮像する撮像装置であって、
照明光を供給する照明部と、
１フレームの露光時間内において前記照明部を所定時間オフした後に当該所定時間オンする制御を複数回繰り返す照明制御部と、
各画素毎に設けられた光電変換部と、
前記照明部がオフの間およびオンの間にそれぞれ所定時間ずつ前記光電変換部が露光されるように露光時間を制御する露光時間制御部と、
前記光電変換部により得られた前記照明部がオンの時の露光量と前記照明部がオフの時の露光量の差分に対応する値を算出する減算部と、
前記減算部で算出された値を積分する積分部と、
前記積分部で算出された積分値が所定値に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の前記画素において前記積分値が前記所定値に達したと判定された場合に、前記露光時間制御部に対し１フレーム中における全画素の露光を停止させる露光停止部とを備えた、撮像装置。
【請求項２】
前記判定部は、ｎ個（ｎは任意の自然数）の前記画素において前記積分値がオーバー露光に相当する値に達したと判定された場合に、前記露光時間制御部に対し１フレーム中における全画素の露光を停止させることを特徴とする請求項１に記載の撮像装置。
【請求項３】
被写体を照明しつつ、固体撮像素子を用いて当該被写体を撮像する撮像装置であって、
点灯と消灯を交互に繰り返し、点灯したときの光で被写体を照明する照明部と、
複数の画素を含む固体撮像素子と、
前記照明部の点灯期間及び消灯期間の各々において、各前記画素に入射する光の露光時間を制御するシャッタとを備え、
各前記画素は、
入射した光を光電変換し、光電変換により生じた電荷を電圧に変換する光電変換部と、
前記光電変換部で生じた電圧を増幅することにより信号電圧を生成する増幅部と、
前記点灯期間に前記光電変換部で生じた電荷に基づく信号電圧から、前記消灯期間に前記光電変換部で生じた電荷に基づく信号電圧を減算することにより、前記点灯期間に前記照明部の光を光電変換することで生じた電荷に基づく信号電圧を算出する減算部と、
１フレーム毎に、前記減算部で算出された信号電圧を積分する積分部とを含み、
前記撮像装置は、さらに、
前記積分部で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の画素についてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる露光停止部を備えた、撮像装置。
【請求項４】
各前記画素は、
前記点灯期間に前記増幅部から出力された信号電圧を保持し、前記消灯期間に前記増幅部から出力された信号電圧が前記減算部へ入力されるのに同期して、保持している信号電圧を前記減算部に入力する電圧保持部を備えていることを特徴とする請求項３に記載の撮像装置。
【請求項５】
被写体を照明しつつ、固体撮像素子を用いて当該被写体を撮像する撮像装置であって、
点灯と消灯を交互に繰り返し、点灯したときの光で被写体を照明する照明部と、
入射光を光電変換する光電変換部を有する複数の画素と、各前記光電変換部で生じた電荷を電圧に変換し当該電圧を増幅することにより信号電圧を生成する増幅部とを含む固体撮像素子と、
前記照明部の点灯期間及び消灯期間の各々において、各前記画素に入射する光の露光時間を制御するシャッタと、
前記点灯期間に前記光電変換部で生じた電荷に基づく信号電圧から、前記消灯期間に前記光電変換部で生じた電荷に基づく信号電圧を減算することにより、前記点灯期間に前記照明部の光を光電変換することで生じた電荷に基づく信号電圧を各前記画素毎に算出する減算部と、
前記減算部で算出された信号電圧を各前記画素毎に積分する積分部と、
前記積分部で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の画素についてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる露光停止部とを備えた、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子を用いた撮像装置に関し、より詳しくは、フォトダイオードに太陽光等の強い光が入射しても、フォトダイオードが電荷で飽和してスミア等の画像の乱れが発生するのを防止し、高品質の画像を生成することができる撮像装置に関する。
【背景技術】
【０００２】
近年、固体撮像素子を用いた撮像装置を自動車の運転席付近に設置することで、ドライバの顔を認識する技術が提案されている。この撮像装置は、固体撮像素子と、ドライバの顔を照明する照明部とを備えている。照明光がドライバの運転に支障をきたさないように、照明部は主として近赤外光をドライバの顔に照射する。トンネル等においても安定してドライバの顔を照明するために、照明部は、夜間だけでなく、昼間においてもドライバの顔を照明する。固体撮像素子は、ドライバの顔で反射された照明光をフォトダイオードで捕らえ、捕らえた光を光電変換することで信号電荷を生成し、その信号電荷に基づいて顔画像を生成する。
【０００３】
しかしながら、上記した従来の撮像装置は、特に昼間において以下の課題を有していた。すなわち、昼間は車室内に太陽光が入射する。太陽光は強い光であるため、ドライバの顔で反射された太陽光がフォトダイオードに入射すると、フォトダイオードが太陽光による信号電荷で飽和してしまうことがあった。この場合、フォトダイオードは、ドライバの顔で反射された照明光を十分に光電変換することができなかった。そうすると、撮像装置が生成する顔画像にスミア等の乱れが生じることがあった。
【０００４】
引用文献１には、ＣＭＯＳイメージセンサについての技術が開示されている。しかしながら、このイメージセンサにおいても、太陽光等の強い光がフォトダイオードに入射すると、フォトダイオードが太陽光による信号電荷で飽和し、スミア等の画像の乱れが生じてしまう可能性があった。
【特許文献１】特開２００６−１５７８６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、このような実情に鑑みてなされたもので、フォトダイオードに太陽光等の強い光が入射しても、フォトダイオードが電荷で飽和してスミア等の画像の乱れが発生するのを防止し、高品質の画像を生成することができる撮像装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る撮像装置は、
照明光により照明された被写体を、複数の画素を含む固体撮像素子を用いて撮像する撮像装置であって、
照明光を供給する照明部と、
１フレームの露光時間内において上記照明部を所定時間オフした後に当該所定時間オンする制御を複数回繰り返す照明制御部と、
各画素毎に設けられた光電変換部と、
上記照明部がオフの間およびオンの間にそれぞれ所定時間ずつ上記光電変換部が露光されるように露光時間を制御する露光時間制御部と、
上記光電変換部により得られた上記照明部がオンの時の露光量と上記照明部がオフの時の露光量の差分に対応する値を算出する減算部と、
上記減算部で算出された値を積分する積分部と、
上記積分部で算出された積分値が所定値に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の上記画素において上記積分値が上記所定値に達したと判定された場合に、上記露光時間制御部に対し１フレーム中における全画素の露光を停止させる露光停止部とを備える。
【０００７】
本発明によれば、光電変換部により得られた照明部がオンの時の露光量と照明部がオフの時の露光量の差分に対応する値を算出し、算出した値を積分する。これにより、太陽光等の強い光の影響を受けることなく照明部の光を十分に光電変換し、照明部の光を光電変換することによって得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、本発明によれば、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは任意の自然数）の画素において積分値が所定値に達したと判定された場合に、露光時間制御部に対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値（例えば、スミア等の画像の乱れが生じる直前の値）に設定しておけば、そのような画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【０００８】
本発明においては、
上記判定部は、ｎ個（ｎは任意の自然数）の上記画素において上記積分値がオーバー露光に相当する値に達したと判定された場合に、上記露光時間制御部に対し１フレーム中における全画素の露光を停止させることが好ましい。
【０００９】
この構成によれば、ｎ個（ｎは任意の自然数）の画素において積分値がオーバー露光に相当する値に達したときに、１フレーム中における全画素の露光が停止する。よって、本発明によれば、スミア等の画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【００１０】
また、本発明に係る撮像装置は、
被写体を照明しつつ、固体撮像素子を用いて当該被写体を撮像する撮像装置であって、
点灯と消灯を交互に繰り返し、点灯したときの光で被写体を照明する照明部と、
複数の画素を含む固体撮像素子と、
上記照明部の点灯期間及び消灯期間の各々において、各上記画素に入射する光の露光時間を制御するシャッタとを備え、
各上記画素は、
入射した光を光電変換し、光電変換により生じた電荷を電圧に変換する光電変換部と、
上記光電変換部で生じた電圧を増幅することにより信号電圧を生成する増幅部と、
上記点灯期間に上記光電変換部で生じた電荷に基づく信号電圧から、上記消灯期間に上記光電変換部で生じた電荷に基づく信号電圧を減算することにより、上記点灯期間に上記照明部の光を光電変換することで生じた電荷に基づく信号電圧を算出する減算部と、
１フレーム毎に、上記減算部で算出された信号電圧を積分する積分部とを含み、
上記撮像装置は、さらに、
上記積分部で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の画素についてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる露光停止部を備える。
【００１１】
本発明によれば、減算部は、点灯期間に光電変換部で生じた電荷に基づく信号電圧から、消灯期間に光電変換部で生じた電荷に基づく信号電圧を減算することにより、点灯期間に照明部の光を光電変換することで生じた電荷に基づく信号電圧を算出する。よって、本発明によれば、太陽光等の強い光の影響を受けることなく照明部の光を十分に光電変換し、照明部の光を光電変換することによって得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、本発明によれば、減算部で算出された信号電圧を１フレーム毎に積分し、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは任意の自然数）の画素において積分値が所定値に達したと判定された場合に、露光時間制御部に対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値（例えば、スミア等の画像の乱れが生じる直前の値）に設定しておけば、そのような画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
また、本発明によれば、各減算部における減算処理を並列して行うことになるので、フレームレートを高くすることができる。よって、本発明によれば、ブレのない画像を生成することができる。
なお、上記固体撮像素子は、ＣＭＯＳイメージセンサである。ＣＭＯＳイメージセンサは、画素の中で信号電荷を増幅するので、信号伝達経路におけるノイズの影響を受けにくい。また、ＣＭＯＳ  ＬＳＩと同様のプロセスを用いて製造できるので、製造が容易となる。
【００１２】
本発明においては、
各上記画素は、
上記点灯期間に上記増幅部から出力された信号電圧を保持し、上記消灯期間に上記増幅部から出力された信号電圧が上記減算部へ入力されるのに同期して、保持している信号電圧を上記減算部に入力する電圧保持部を備えていることが好ましい。
【００１３】
この電圧保持部を設けることにより、点灯期間に増幅部から出力された信号電圧と、消灯期間に増幅部から出力された信号電圧が同時に減算部に入力される。よって、減算部は、点灯期間に照明部の光を光電変換することで生じた電荷に基づく信号電圧を正確に算出することができる。
【００１４】
また、本発明に係る撮像装置は、
被写体を照明しつつ、固体撮像素子を用いて当該被写体を撮像する撮像装置であって、
点灯と消灯を交互に繰り返し、点灯したときの光で被写体を照明する照明部と、
入射光を光電変換する光電変換部を有する複数の画素と、各上記光電変換部で生じた電荷を電圧に変換し当該電圧を増幅することにより信号電圧を生成する増幅部とを含む固体撮像素子と、
上記照明部の点灯期間及び消灯期間の各々において、各上記画素に入射する光の露光時間を制御するシャッタと、
上記点灯期間に上記光電変換部で生じた電荷に基づく信号電圧から、上記消灯期間に上記光電変換部で生じた電荷に基づく信号電圧を減算することにより、前記点灯期間に前記照明部の光を光電変換することで生じた電荷に基づく信号電圧を各前記画素毎に算出する減算部と、
前記減算部で算出された信号電圧を各前記画素毎に積分する積分部と、
前記積分部で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを判定する判定部と、
ｎ個（ｎは任意の自然数）の画素についてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる露光停止部とを備える。
【００１５】
本発明によれば、点灯期間に光電変換部で生じた電荷に基づく信号電圧から、消灯期間に光電変換部で生じた電荷に基づく信号電圧を減算することにより、点灯期間に照明部の光を光電変換することで生じた電荷に基づく信号電圧を各画素毎に算出する。よって、本発明によれば、太陽光等の強い光の影響を受けることなく照明光を十分に光電変換し、照明光を光電変換することで得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、本発明によれば、減算部で算出された信号電圧を１フレーム毎に積分し、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは任意の自然数）の画素において積分値が所定値に達したと判定された場合に、露光時間制御部に対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値（例えば、スミア等の画像の乱れが生じる直前の値）に設定しておけば、そのような画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
なお、上記固体撮像素子は、ＣＣＤイメージセンサである。
【発明の効果】
【００１６】
本発明によれば、光電変換部により得られた照明部がオンの時の露光量と照明部がオフの時の露光量の差分に対応する値を算出し、算出した値を積分する。これにより、太陽光等の強い光の影響を受けることなく照明部の光を十分に光電変換し、照明部の光を光電変換することによって得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、本発明によれば、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは任意の自然数）の画素において積分値が所定値に達したと判定された場合に、露光時間制御部に対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値（例えば、スミア等の画像の乱れが生じる直前の値）に設定しておけば、そのような画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【発明を実施するための最良の形態】
【００１７】
（第１実施形態）
本発明の第１実施形態について、図面を参照しつつ説明する。図１は、第１実施形態に係る撮像装置を示すブロック図である。図２は、第１実施形態における主要部の構成を示す図である。図３は、第１実施形態に係る撮像装置の動作を示すフローチャートである。
【００１８】
第１実施形態に係る撮像装置１は、被写体を照明しつつ、固体撮像素子３を用いて当該被写体を撮像する撮像装置である。
【００１９】
撮像装置１は、照明部２と、固体撮像素子３と、シャッタ（図示せず）と、Ａ／Ｄ変換部２７と、カウント部２３と、露光停止部２２と、画像処理部１２とを備えている。
【００２０】
照明部２は、点灯と消灯を交互に繰り返し、点灯したときの光で被写体を照明する。照明部２が放つ光の種類は特に限定されないが、近赤外光とすることが好ましく、中でも波長９４０ｎｍの近赤外光とすることがより好ましい。近赤外光が好ましい理由は、近赤外光がドライバ（運転者）に見えない光であるため、点滅した光がドライバの顔を照らしてもドライバの運転に支障をきたさないからである。波長９４０ｎｍの近赤外光がより好ましい理由は、この波長の光は空気中の水蒸気に吸収され易いために、地上に届く太陽光に含まれる割合が少ないからである。つまり、固体撮像素子３において波長９４０ｎｍの光を選択的に受光するようにしておけば、受光時に固体撮像素子３が太陽光から受ける影響を少なくすることができる。照明部２の種類は特に限定されないが、例えば、ＬＥＤ（発光ダイオード）とすることができる。ＬＥＤは、その点灯及び消灯を高速のスイッチングで制御することができる。ＬＥＤは、点灯時間が長いときよりも短いときの方が高い定格電圧を有するので、高速の点灯及び消灯を繰り返す場合には、高輝度の光を放つことができて好都合だからである。
【００２１】
固体撮像素子３は、図２に示されるように、複数の画素５を含む。固体撮像素子３は、ＣＭＯＳイメージセンサである。ＣＭＯＳイメージセンサは、後述するように、各画素５がそれぞれ増幅部７を有しており、各画素５の中で電荷を電圧に変換し当該電圧を増幅する。よって、信号伝達経路においてノイズの影響を受けにくい。また、ＣＭＯＳ  ＬＳＩと同様のプロセスを用いて製造できるので、製造が容易である。
【００２２】
画素５は、光電変換部６と、増幅部７と、電圧保持部１０と、減算部８と、積分部９と、判定部２１とを含む。なお、図２においては、本実施形態を説明するのに重要な構成についてのみ示し、水平走査回路、垂直走査回路等の図示は省略している。
【００２３】
光電変換部６は、入射した光を光電変換し、光電変換により生じた電荷を電圧に変換する。光電変換部６は、フォトダイオードである。
【００２４】
増幅部７は、光電変換部６で生じた電圧を増幅することにより、信号電圧を生成する。
【００２５】
電圧保持部１０は、照明部２の点灯期間に光電変換部６で生じた電圧を増幅することにより生成した信号電圧（増幅部７からの出力される増幅電圧）を保持する。電圧保持部１０は、照明部２の消灯期間に光電変換部６で生じた電圧を増幅することにより生成した信号電圧が減算部８に入力されるのに同期して、保持している信号電圧を減算部８に入力する。電圧保持部１０は、例えばキャパシタで構成することができる。
【００２６】
減算部８は、照明部２の点灯期間に光電変換部６で生じた電荷に基づく信号電圧から、照明部２の消灯期間に光電変換部６で生じた電荷に基づく信号電圧を減算する。減算部８は、この減算により、照明部２の点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を算出する。つまり、減算部８は、照明部２の点灯期間に太陽光等の強い光を光電変換することによって生じた電荷に基づく信号電圧と、照明部２の消灯期間に太陽光等の強い光を光電変換することによって生じた電荷に基づく信号電圧とを相殺する。減算部８は、例えば、差動アンプである。差動アンプとした場合、信号電圧の減算値は増幅される。
照明部２の点灯期間に生じた電荷に基づく信号電圧と、照明部２の消灯期間に生じた電荷に基づく信号電圧は、減算部８へ同時に入力される。従って、減算部８は、太陽光等の強い光によって生じた電荷に基づく信号電圧を確実に相殺することができる。
【００２７】
積分部９は、１フレーム分の露光が終了するまで、減算部８で算出された信号電圧を積分し、１フレーム分の露光が終了すると、積分した信号電圧を出力する。つまり、積分部９には照明部２の光を光電変換して得られた電荷に基づく信号電圧のみが入力されるので、積分部９は、照明部２の光を光電変換して得られた電荷に基づく信号電圧のみを積分する。積分部９は、例えばキャパシタで構成することができる。
【００２８】
シャッタは、照明部２の点灯期間及び消灯期間の各々において、各画素５に入射する光の露光時間を制御する。すなわち、シャッタは露光時間制御部である。シャッタのシャッタスピードは、光電変換部６に太陽光等の強い光が入射しても光電変換部６が光電変換によって生じた電荷で飽和しにくいスピードに設定される。シャッタのシャッタスピードは、照明部２の点灯期間と消灯期間において同一のスピードとされる。つまり、照明部２の点灯期間と消灯期間において、露光時間は同一とされる。点灯期間と消灯期間はそれぞれ極めて短い時間に設定される（例えば０．０２秒）から、時間軸上で隣り合う点灯期間と消灯期間では、太陽光等の外光の強さは略同一である。よって、時間軸上で隣り合う点灯期間と消灯期間において同一の露光時間とすれば、点灯期間と消灯期間において外光によって生じる電荷は同一である。従って、点灯期間に生じた電荷に基づく信号電圧から消灯期間に生じた電荷に基づく信号電圧を減算すれば、点灯期間に照明部２の光によって生じた電荷に基づく信号電圧が算出される。
【００２９】
シャッタの種類は特に限定されるものではないが、例えば、電子シャッタとすることができる。電子シャッタであれば、高速のシャッタスピードを実現することができる。なお、高速のシャッタスピードを実現できるのであれば、シャッタはメカニカルシャッタや液晶シャッタであってもよい。
【００３０】
Ａ／Ｄ変換部２７は、出力回路１１が出力したアナログの信号電圧をデジタルの信号電圧に変換する。Ａ／Ｄ変換部２７は、出力回路１１よりも下流側に設けられる。
【００３１】
判定部２１は、積分部９で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを各画素毎に判定する。これにより、判定部２１は、光電変換部６にオーバー露光が生じているか否かを各画素毎に判定することができる。
【００３２】
カウント部２３は、何個の画素においてオーバー露光が生じているかをカウントする。カウント部２３は、オーバー露光がｎ個（ｎは任意の自然数）の画素で生じているか否かを判定することができる。ｎは、例えば１に設定することができるが、特に限定はされない。
【００３３】
露光停止部２２は、ｎ個の画素においてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる。これにより、ｎ個の画素においてオーバー露光が生じたときに、１フレーム中における全画素の露光が停止する。よって、ｎを適切な値に設定することにより、撮像装置１はスミア等の画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【００３４】
次に、図３を参照しつつ撮像装置１の動作を詳細に説明する。
まず、照明部２をＯＮし、そのＯＮの期間中に短いシャッタスピードでシャッタによる露光を行う（ステップＳ１）。すると、露光期間中に光電変換部６に照明部２の光と太陽等の強い光が入射する。光電変換部６は、入射した光の光電変換を行う（ステップＳ２）。光電変換により、光電変換部６内に電荷が生じる。当該電荷は、電圧に変換される。次いで、増幅部７は、光電変換部６で生じた電圧を増幅することにより、信号電圧を生成する（ステップＳ３）。次いで、電圧保持部１０は、信号電圧を保持する（ステップＳ４）。電圧保持部１０における信号電圧の保持は、図２におけるスイッチＳＷ１をＯＮ、スイッチＳＷ２をＯＦＦ、スイッチＳＷ３をＯＦＦ、スイッチＳＷ４をＯＦＦすることにより行われる。
【００３５】
次いで、照明部２をＯＦＦし、そのＯＦＦの期間中に短いシャッタスピードでシャッタによる露光を行う（ステップＳ５）。このときのシャッタスピードは、ステップＳ１のときと同じシャッタスピードである。すると、露光期間中に光電変換部６に太陽等の外光が入射する。光電変換部６は、入射した光の光電変換を行う（ステップＳ６）。光電変換により、光電変換部６内に電荷が生じる。当該電荷は、電圧に変換される。次いで、増幅部７は、光電変換部６で生じた信号電圧を増幅することにより、信号電圧を生成する（ステップＳ７）。信号電圧は、減算部８に入力される。ステップＳ７で生成された信号電圧が減算部８に入力されるのと同期して、ステップＳ４で電圧保持部１０に保持されている信号電圧が減算部８に入力される。減算部８への信号電圧の入力は、図２におけるスイッチＳＷ１をＯＦＦ、スイッチＳＷ２をＯＮ、スイッチＳＷ３をＯＮ、スイッチＳＷ４をＯＦＦすることにより行われる。
【００３６】
次いで、減算部８は、照明部２の点灯期間に光電変換部６で生じた電荷に基づく信号電圧から、照明部２の消灯期間に光電変換部６で生じた電荷に基づく信号電圧を減算する（ステップＳ８）。減算部８は、この減算により、照明部２の点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を算出し、太陽光等の外光によって生じた電荷に基づく信号電圧を相殺する。
【００３７】
次いで、積分部９は、減算部８で算出された信号電圧を蓄積する（ステップＳ９）。次いで、蓄積された信号電圧が所定値以上であるか否かが判断される（ステップＳ１０）。所定値は、オーバー露光に相当する電圧である。蓄積された信号電圧が所定値に達していると判定された場合、当該画素５が図示しない垂直走査回路及び水平走査回路によってＸＹアドレス方式で選択されたことを条件として、積分部９から信号電圧が出力回路１１へ出力される（ステップＳ１１）。積分部９からの信号電圧の出力は、スイッチＳＷ４をＯＮすることにより行われる。
【００３８】
出力回路１１は、信号電圧をカウント部２３に出力する（ステップＳ１２）。カウント部２３は、オーバー露光が生じた画素がｎ個に達したか否か判定する（ステップＳ１３）。その数がｎ個に達するとステップＳ１４に移り、ｎ個に達していなければステップＳ１に戻る。ｎの値は、例えば１に設定することができるが特に限定はされず、任意の自然数に設定可能である。ステップＳ１４では、露光停止部２２がシャッタを制御して全ての画素５について露光を停止させる。次いで、カウント部２３は画像処理部１２に信号電圧を出力する（ステップＳ１５）。
【００３９】
一方、ステップＳ１０において、蓄積された信号電圧が所定値に達していない、つまりオーバー露光が生じていないと判定された場合、ステップＳ１６に移る。ステップＳ１６では、露光時間の合計が１フレーム分の露光時間に達したかどうかが判断される。露光時間の合計が１フレーム分の露光時間に達している場合には、ステップＳ１７に移る。ステップ１７では、図示しない垂直走査回路及び水平走査回路によって画素５がＸＹアドレス方式で選択され、選択された画素５の積分部９で積分された信号電圧が出力回路１１に出力される。次いで、出力回路１１は、信号電圧をカウント部２３に出力する（ステップＳ１８）。次いで、ステップＳ１４に移る。一方、ステップＳ１６において、露光時間の合計が１フレーム分の露光時間に達していない場合には、ステップＳ１に戻る。以上が撮像装置１の動作である。
【００４０】
上記した撮像装置１における露光停止のタイミングについて具体的に説明すると、図４に示すものとなる。図４は、撮像装置１の露光停止のタイミングを示す図である。
図４における上側２つのグラフは、ｎ番目（ｎは任意の自然数）の画素の露光量に基づく電圧（以下、第ｎ露光量電圧と称する）を示すグラフｎ１およびｎ番目の画素の累積露光量に基づく電圧（以下、第ｎ累積露光量電圧と称する）を示すグラフｎ２である。下側２つのグラフは、ｍ番目（ｍはｎ以外の任意の自然数）の画素の露光量に基づく電圧（以下、第ｍ露光量電圧と称する）を示すグラフｍ１およびｍ番目の画素の累積露光量に基づく電圧（以下、第ｍ累積露光量電圧と称する）を示すグラフｍ２である。
なお、照明オン時の露光量に基づく電圧から照明オフ時の露光量に基づく電圧を減算するのに合わせて、第ｎ累積露光量電圧のグラフｎ２および第ｍ累積露光量電圧のグラフｍ２において、便宜上、照明オフ時の部分を右下がりとし、照明オン時の部分を右上がりとした。
【００４１】
ｎ番目の画素およびｍ番目の画素において、照明オフ時の露光量よりも照明オン時の露光量の方が大きい。従って、照明オン時の露光量電圧から照明オフ時の露光量電圧を減算すると、太陽光等の外光による露光量電圧が相殺され、照明光による露光量電圧が算出される。照明光による露光量電圧は経時的に累積されていく。照明光による露光量電圧は、ｎ番目の画素よりもｍ番目の画素の方が大きい。やがて、第ｍ累積露光量電圧が、オーバー露光に相当する所定値電圧ｔｈに達する。累積露光量が所定値電圧ｔｈに達したときに、シャッタの制御により全ての画素において露光が停止される。露光停止までの累積露光量電圧が画像処理に供される。よって、画像装置１は、スミア等の乱れのない鮮明な画層を生成することができる。
【００４２】
以上説明したように、撮像装置１によれば、減算部８は、点灯期間に光電変換部６で生じた電荷に基づく信号電圧から、消灯期間に光電変換部６で生じた電荷に基づく信号電圧を減算することにより、点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を算出する。よって、撮像装置１によれば、太陽光等の強い光の影響を受けることなく照明部２の光を十分に光電変換し、照明部２の光を光電変換することによって得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、撮像装置１によれば、減算部８で算出された信号電圧を１フレーム毎に積分し、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは１以上の任意の整数）の画素において積分値が所定値に達したと判定された場合に、シャッタ（露光時間制御部）に対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値、例えば、スミア等の画像の乱れが生じる直前の値に設定しておけば、スミア等の画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
また、撮像装置１によれば、各減算部８における減算処理を並列して行うことになるので、フレームレートを高くすることができる。よって、撮像装置１によれば、ブレのない画像を生成することができる。
【００４３】
（第２実施形態）
本発明の第２実施形態について、図面を参照しつつ説明する。図５は、第２実施形態に係る撮像装置を示すブロック図である。図６は、第２実施形態における主要部の構成を示す図である。図７は、第２実施形態に係る撮像装置の動作を示すフローチャートである。なお、第１実施形態と同様の構成については、第１実施形態と同じ符号を付してその説明を省略する。
【００４４】
第１実施形態と第２実施形態の主な相違点は、固体撮像素子がＣＭＯＳイメージセンサからＣＣＤイメージセンサに変更されていることと、電圧保持部、減算部、積分部、判定部、露光停止部、およびカウント部の位置が変更されていることであり、その他の構成は第１実施形態と同様である。
【００４５】
第２実施形態に係る撮像装置１３は、被写体を照明しつつ、固体撮像素子１４を用いて当該被写体を撮像する撮像装置である。
【００４６】
撮像装置１３は、照明部２と、固体撮像素子１４と、シャッタと、Ａ／Ｄ変換部２８と、電圧保持部１８と、減算部１９と、積分部２０と、判定部２４と、露光停止部２５と、カウント部２６とを備えている。
【００４７】
固体撮像素子１４は、図６に示されるように、光電変換部１６を有する複数の画素１５と、増幅部１７とを含む。固体撮像素子１４は、ＣＣＤイメージセンサである。なお、図６においては、本実施形態を説明するのに重要な構成のみを示し、水平ＣＣＤ、垂直ＣＣＤ等の図示は省略している。
【００４８】
光電変換部１６は、入射した光を光電変換する。光電変換部１６は、フォトダイオードである。
【００４９】
増幅部１７は、各光電変換部１６で生じた電荷を電圧に変換し、当該電圧を増幅することにより信号電圧を生成する。第２実施形態における増幅部１７は、画素１５毎に設けられるのではなく、全画素１５について１つのみ設けられている。
【００５０】
Ａ／Ｄ変換部２８は、増幅部１７が出力したアナログの信号電圧をデジタルの信号電圧に変換する。Ａ／Ｄ変換部２８は、増幅部１７よりも下流側に設けられる。
【００５１】
電圧保持部１８は、照明部２の点灯期間に光電変換部１６で生成された電荷に基づく信号電圧を保持する。電圧保持部１８は、照明部２の消灯期間に光電変換部１６で生成された電荷に基づく信号電圧が減算部１９に入力されるのに同期して、保持している信号電圧を減算部１９に入力する。電圧保持部１８は、Ａ／Ｄ変換部２８よりも下流側に設けられる。
【００５２】
減算部１９は、照明部２の点灯期間に光電変換部１６で生じた電荷に基づく信号電圧から、照明部２の消灯期間に光電変換部１６で生じた電荷に基づく信号電圧を減算する。減算部１９は、この減算により、照明部２の点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を算出する。つまり、減算部１９は、照明部２の点灯期間に太陽光等の強い光を光電変換することによって生じた電荷に基づく信号電圧と、照明部２の消灯期間に太陽光等の強い光を光電変換することによって生じた電荷に基づく信号電圧を相殺する。
照明部２の点灯期間に生じた電荷に基づく信号電圧と、照明部２の消灯期間に生じた電荷に基づく信号電圧は、減算部１９へ同時に入力される。従って、減算部１９は、太陽光等の強い光によって生じた電荷に基づく信号電圧を確実に相殺することができる。減算部１９は、電圧保持部１８よりも下流側に設けられる。
【００５３】
積分部２０は、１フレーム分の露光が終了するまで、減算部１９で算出された信号電圧を各画素１５毎に積分し、１フレーム分の露光が終了すると、積分した信号電圧を出力する。つまり、積分部２０には照明部２の光を光電変換して得られた電荷に基づく信号電圧のみが入力される。よって、積分部２０は、照明部２の光を光電変換して得られた電荷に基づく信号電圧のみを積分する。積分部２０は、減算部１９よりも下流側に設けられる。
【００５４】
判定部２４は、積分部２０で積分された信号電圧がオーバー露光に相当する電圧に達したか否かを各画素毎に判定する。これにより、判定部２４は、光電変換部６にオーバー露光が生じているか否かを各画素毎に判定することができる。
【００５５】
カウント部２６は、何個の画素においてオーバー露光が生じているかをカウントする。カウント部２６は、オーバー露光がｎ個（ｎは任意の自然数）の画素で生じているか否かについて判定することができる。ｎは、例えば１に設定することができるが、特に限定はされない。
【００５６】
露光停止部２５は、ｎ個の画素についてオーバー露光が生じていると判定されたときに、１フレーム中における全画素の露光を停止させる。これにより、ｎ個の画素についてオーバー露光が生じたときに、１フレーム中における全画素の露光が停止する。よって、ｎを適切な値に設定することにより、撮像装置１３はスミア等の画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【００５７】
次に、図７を参照しつつ撮像装置１３の動作を詳細に説明する。
まず、照明部２をＯＮし、そのＯＮの期間中に短いシャッタスピードでシャッタによる露光を行う（ステップＳ１）。すると、露光期間中に光電変換部１６に照明部２の光と太陽等の強い光が入射する。光電変換部１６は、入射した光の光電変換を行う（ステップＳ２）。光電変換により、光電変換部１６内に電荷が生じる。次いで、増幅部１７は、光電変換部１６内で生じた電荷を電圧に変換し、当該電圧を増幅することにより信号電圧を生成する（ステップＳ３）。次いで、電圧保持部１８は、増幅部１７で生成された信号電圧を保持する（ステップＳ４）。電圧保持部１８における電圧保持は、図６におけるスイッチＳＷ１をＯＮ、スイッチＳＷ２をＯＦＦ、スイッチＳＷ３をＯＦＦ、スイッチＳＷ４をＯＦＦすることにより行われる。
【００５８】
次いで、照明部２をＯＦＦし、そのＯＦＦの期間中に短いシャッタスピードでシャッタによる露光を行う（ステップＳ５）。このときのシャッタスピードは、ステップＳ１のときと同じシャッタスピードである。すると、露光期間中に光電変換部１６に太陽等の外光が入射する。光電変換部１６は、入射した光の光電変換を行う（ステップＳ６）。光電変換により、光電変換部１６内に電荷が生じる。次いで、増幅部１７は、光電変換部１６内で生じた電荷を電圧に変換し、当該電圧を増幅することにより信号電圧を生成する（ステップＳ７）。生成された信号電圧は、減算部１９に入力される。ステップＳ７で生成された信号電圧が減算部１９に入力されるのと同期して、ステップＳ４で電圧保持部１８に保持されている信号電圧が減算部１９に入力される。減算部１９への信号電圧の入力は、図６におけるスイッチＳＷ１をＯＦＦ、スイッチＳＷ２をＯＮ、スイッチＳＷ３をＯＮ、スイッチＳＷ４をＯＦＦすることにより行われる。
【００５９】
次いで、減算部１９は、照明部２の点灯期間に光電変換部１６で生じた電荷に基づく信号電圧から、照明部２の消灯期間に光電変換部１６で生じた電荷に基づく信号電圧を減算する（ステップＳ８）。減算部１９は、この減算により、照明部２の点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を算出し、太陽光等の外光によって生じた電荷に基づく信号電圧を相殺する。
【００６０】
次いで、積分部２０は、減算部１９で算出された信号電圧を蓄積する（ステップＳ９）。次いで、判定部２４により、蓄積された信号電圧が所定値以上であるか否かが判断される（ステップＳ１０）。所定値は、オーバー露光に相当する電圧である。蓄積された信号電圧が所定値に達していると判定された場合、積分部２０から信号電圧がカウント部２６へ出力される（ステップＳ１１）。積分部２０からの信号電圧の出力は、スイッチＳＷ４をＯＮすることにより行われる。
【００６１】
次いで、カウント部２６は、オーバー露光が生じた画素がｎ個（ｎは任意の自然数）に達したか否か判定する（ステップＳ１２）。ｎの値は、例えば１に設定することができるが特に限定はされず、任意の自然数に設定可能である。オーバー露光が生じた画素の数がｎ個に達するとステップＳ１３に移り、ｎ個に達していなければステップＳ１に戻る。ステップＳ１３では、露光停止部２５がシャッタを制御して露光を停止させる。次いで、カウント部２６は画像処理部１２に信号電圧を出力する（ステップＳ１４）。
【００６２】
一方、ステップＳ１０において、蓄積された信号電圧が所定値に達していない、つまりオーバー露光が生じていないと判定された場合、ステップＳ１５に移る。ステップＳ１５では、露光時間の合計が１フレーム分の露光時間に達したかどうかが判断される。露光時間の合計が１フレーム分の露光時間に達している場合には、ステップＳ１６に移る。ステップ１６では、積分部２０で積分された信号電圧がカウント部２６に出力される。次いで、カウント部２６は、信号電圧を画像処理部１２に出力する（ステップＳ１３）。以上が撮像装置１３の動作である。
【００６３】
撮像装置１３によれば、点灯期間に光電変換部１６で生じた電荷に基づく信号電圧から、消灯期間に光電変換部１６で生じた電荷に基づく信号電圧を減算することにより、点灯期間に照明部２の光を光電変換することで生じた電荷に基づく信号電圧を各画素毎に算出する。よって、撮像装置１３によれば、太陽光等の強い光の影響を受けることなく照明光を十分に光電変換し、照明光を光電変換することで得た電荷に基づいて、乱れのない高品質の画像を生成することができる。また、撮像装置１３によれば、減算部１９で算出された信号電圧を積分し、算出した積分値が所定値に達したか否かを判定し、ｎ個（ｎは任意の自然数）の画素において積分値が所定値に達したと判定された場合に、シャッタに対し１フレーム中における全画素の露光を停止させる。よって、所定値をスミア等の画像の乱れが生じない値（例えば、スミア等の画像の乱れが生じる直前の値）に設定しておけば、スミア等の画像の乱れが生じる前に露光を停止し、鮮明な画像を生成することができる。
【産業上の利用可能性】
【００６４】
本発明は、自動車ドライバの顔認識システムに用いられる撮像装置等に利用可能である。
【図面の簡単な説明】
【００６５】
【図１】第１実施形態に係る撮像装置を示すブロック図
【図２】第１実施形態における主要部の構成を示す図
【図３】第１実施形態に係る撮像装置の動作を示すフローチャート
【図４】第１実施形態に係る撮像装置の露光停止のタイミングを示す図
【図５】第２実施形態に係る撮像装置を示すブロック図
【図６】第２実施形態における主要部の構成を示す図
【図７】第２実施形態に係る撮像装置の動作を示すフローチャート
【符号の説明】
【００６６】
１、１３    撮像装置
２    照明部
３、１４    固体撮像素子
５、１５    画素
６、１６    光電変換部
７、１７    増幅部
８、１９    減算部
９、２０    積分部
１０、１８    電圧保持部
１１    出力回路
１２    画像処理部
２１、２４    判定部
２２、２５    露光停止部
２３、２６    カウント部
【図１】
2009212698.tif 000003
【図２】
2009212698.tif 000004
【図３】
2009212698.tif 000005
【図４】
2009212698.tif 000006
【図５】
2009212698.tif 000007
【図６】
2009212698.tif 000008
【図７】
2009212698.tif 000009