(57)【要約】【課題】高輝度光の漏れ光による白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供すること。【解決手段】高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。【選択図】図４
2007128220.tif 000002
【特許請求の範囲】
【請求項１】
順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置において、
白黒反転処理手段を備え、
白黒反転処理手段は、高輝度領域抽出手段と、白黒反転判定手段と、画像補正手段とを具備し、
高輝度領域抽出手段は、前記撮像素子で撮像された撮像データから高輝度領域を抽出し、
白黒反転判定手段は、前記高輝度領域抽出手段で抽出された高輝度領域での白黒反転発生の有無を判定し、
画像補正手段は、前記白黒反転判定手段の判定結果に基づき、前記高輝度領域抽出手段で抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置。
【請求項２】
前記高輝度領域抽出手段は、高輝度画素値メモリ手段と、比較手段と、２値化手段と、境界線追跡手段とを具備し、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記撮像データと前記高輝度画素値メモリ手段に記録された閾値とを比較し、
２値化手段は、前記比較手段の比較結果に応じて２値化処理を行い、
境界線追跡手段は、前記２値化手段の出力の境界線追跡を行うことで、高輝度領域を示すアドレスを得ることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記白黒反転判定手段は、行アドレス演算手段と、２値分布調査手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから２値分布を求める行アドレスを演算し、
２値分布調査手段は、前記行アドレス演算手段で求められた行アドレスの２値分布を求め、
反転判定手段は、前記２値分布調査手段から出力される２値分布から、高輝度領域内に黒を示す値が存在した場合白黒反転していると判定し、存在しない場合反転していないと判定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記高輝度領域抽出手段は、微分手段と、境界線追跡手段と、比較手段と、高輝度画素値メモリ手段とを具備し、
微分手段は、前記撮像データに対して微分処理を施し、
境界線追跡手段は、前記微分手段の出力の境界線追跡を行うことで画像の輪郭抽出を行って、高輝度領域の輪郭を抽出することで、高輝度領域を示すアドレスを求め、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記境界線追跡手段で抽出された輪郭で囲まれた領域の前記撮像データと、前記高輝度画素値メモリ手段に記録された閾値とを比較することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記白黒反転判定手段は、行アドレス演算手段と、輝度分布調査手段と、判定値メモリ手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから輝度分布を求める行アドレスを演算し、
輝度分布調査手段は、前記行アドレス演算手段で求められた行アドレスの輝度分布を求め、
判定値メモリ手段には、白黒反転の判定値が記録され、
反転判定手段は、前記輝度分布調査手段で求められた輝度分布と、前記判定値メモリ手段に記録された白黒反転の判定値とを比較して、前記輝度分布調査手段で求められた輝度分布の方が大きい場合には白黒反転していないと判定し、小さいまたは同じ場合には白黒反転していると判定することを特徴とする請求項１、２または４の何れか１項に記載の撮像装置。
【請求項６】
前記白黒反転判定手段は、変化量演算手段と、行・列アドレス演算手段と、判定値メモリ手段と、反転判定手段とを具備し、
行・列アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから変化量を求める行・列アドレスを演算し、
変化量演算手段は、前記行・列アドレス演算手段で求められた行・列アドレスの撮像データの変化量を演算し、
判定値メモリ手段には、白黒反転の判定の閾値となる撮像データの変化量が記録され、
反転判定手段は、前記変化量演算手段で求められた撮像データの変化量と、前記判定値メモリ手段に記録された白黒反転の判定の閾値となる撮像データの変化量とを比較して、前記変化量演算手段で求められた撮像データの変化量の方が大きいまたは同じ場合には白黒反転していると判定し、小さい場合には白黒反転していないと判定することを特徴とする請求項１、２または４の何れか１項に記載の撮像装置。
【請求項７】
前記画像補正手段は、反転画素アドレス検出手段と、アドレス記録手段と、補正値記録手段と、補間手段とを具備し、
反転画素アドレス検出手段は、前記白黒反転判定手段の判定結果から白黒反転が発生している画素のアドレスを求め、
アドレス記録手段には、前記反転画素アドレス検出手段で求められた白黒反転が発生している画素のアドレスが記録され、
補正値記録手段には、白黒反転の補正に用いる既定値が記録され、
補間手段は、前記アドレス記録手段に記録されているアドレスの画像データを、白黒反転が発生していない周辺画素の撮像データから求めた補正データ、または前記補正値記録手段に記録されている補正値に置き換えることを特徴とする請求項１乃至６の何れか１項に記載の撮像装置。
【請求項８】
前記境界線追跡手段は、前処理手段を具備し、
前処理手段は、前記境界線追跡手段の入力に、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理の内、少なくとも１つの処理を施すことを特徴とする請求項２乃至７の何れか１項に記載の撮像装置。
【請求項９】
前記撮像素子は、対数変換型撮像素子であることを特徴とする請求項１乃至８の何れか１項に記載の撮像装置。
【請求項１０】
順次転送型の全画素同時露光方式の撮像素子と、撮像光学系とを備えた撮像装置の白黒反転補正方法であって、
前記撮像素子で撮像された撮像データから高輝度領域を抽出し、抽出された高輝度領域での白黒反転発生の有無を判定し、前記白黒反転発生の有無の判定結果に基づいて、抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置の白黒反転補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および該撮像装置の白黒反転補正方法に関し、特に、順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置および該撮像装置の白黒反転補正方法に関する。
【背景技術】
【０００２】
監視カメラ等の撮像装置において、特に屋外を撮影する際には、太陽や夜間照明用ライト、車のヘッドライト等の非常に高輝度な物体を良好に撮影すると共に、影となる部分も撮影する必要があるため、適正な出力信号を得ることができる入射光量範囲、すなわちダイナミックレンジの広い撮像素子が必要となる。これを実現するために、対数変換方式のＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型撮像素子が提案されている（例えば、特許文献１参照）。
【０００３】
また、入射光量に応じて電気信号が対数的に変換されて出力され、広ダイナミックレンジ撮像が可能な対数変換型撮像素子において、トランジスタに特定のリセット電圧を与えることで、入射光量に応じて電気信号が線形的に変換されて出力される線形特性状態と、対数的に変換されて出力される対数特性状態とを自動的に切り替えることが可能な（以下、リニアログ特性と言う）対数変換型撮像素子（以下、リニアログセンサと言う）が提案されている（例えば、特許文献２参照）。
【０００４】
さらに、特に車両等の移動する物体の形状を歪みなく撮影するためには、典型的な順次転送型撮像素子であるＣＭＯＳ型撮像素子で一般的に行われている、露光と撮像データ読み出しを画素配列の行毎に時系列で行う線順次方式ではなく、全画素同時露光方式が望ましいため、そのための回路も特許文献２に提案されている。
【０００５】
さらに、全画素同時露光方式の撮像素子で課題となる、リセット用トランジスタのリーク電流によるシェーディングノイズ対策案として、リセット用トランジスタのリセット電圧を２値化する方法が提案されている（例えば特許文献３参照）。
【特許文献１】特開平１１−２９８７９８号公報
【特許文献２】特開２００２−７７７３３号公報
【特許文献３】特開２００４−３４９９０７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、これらの種々の電気的対応を施した撮像素子においても、非常に輝度の高い被写体を撮影した場合に、高輝度光の漏れ光によって回路の誤動作が起き、非常に輝度の高い被写体であるにも関わらず、真っ黒な被写体であるかのごとき画像データになってしまう、いわゆる白黒反転という不具合現象が発生する場合がある。図１９を用いて、白黒反転現象について説明する。
【０００７】
図１９（ａ）は、例として、高輝度被写体の代表である太陽ＳＵＮが、撮像光学系２１１を通して撮像素子１６２上に結像する場合を示している。図１９（ｂ）は、撮像素子１６２の撮像面１６２ａ上の輝度分布を示している。太陽ＳＵＮの像ＩＭ００１が撮像面１６２ａの中央より図１９（ｂ）において下側に入射している。この時、理想的な撮像が行われれば、図１９（ｃ）のように、太陽に相当する部分が全て明るくなった画像が得られ、像ＩＭ００１の中心を通る水平Ｘ行目の輝度分布データは、図１９（ｄ）のように、太陽に相当する輝度領域は全域高輝度を表す輝度分布を示すはずである。
【０００８】
しかしながら、例えば太陽のように非常に輝度の高い被写体の場合は、図１９（ｅ）のように、像ＩＭ００１の中心部ＩＭ００２が真っ黒になる白黒反転現象が発生し、像ＩＭ００１の中心を通る水平Ｘ行目の輝度分布データは、図１９（ｆ）のように、中央が凹になった形状になる。これが「白黒反転」である。
【０００９】
本件出願人による検討の結果、以上に述べた白黒反転現象は、高輝度光の漏れ光が撮像素子の画素を構成するトランジスタに入射することにより、回路が誤動作することで発生している可能性が高いことが分かっている。
【００１０】
本発明は、上記事情に鑑みてなされたもので、高輝度光の漏れ光による白黒反転現象を検出して補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の目的は、下記構成により達成することができる。
【００１２】
１．  順次転送型の全画素同時露光方式の撮像素子を備えた撮像装置において、
白黒反転処理手段を備え、
白黒反転処理手段は、高輝度領域抽出手段と、白黒反転判定手段と、画像補正手段とを具備し、
高輝度領域抽出手段は、前記撮像素子で撮像された撮像データから高輝度領域を抽出し、
白黒反転判定手段は、前記高輝度領域抽出手段で抽出された高輝度領域での白黒反転発生の有無を判定し、
画像補正手段は、前記白黒反転判定手段の判定結果に基づき、前記高輝度領域抽出手段で抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置。
【００１３】
２．  前記高輝度領域抽出手段は、高輝度画素値メモリ手段と、比較手段と、２値化手段と、境界線追跡手段とを具備し、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記撮像データと前記高輝度画素値メモリ手段に記録された閾値とを比較し、
２値化手段は、前記比較手段の比較結果に応じて２値化処理を行い、
境界線追跡手段は、前記２値化手段の出力の境界線追跡を行うことで、高輝度領域を示すアドレスを得ることを特徴とする１に記載の撮像装置。
【００１４】
３．  前記白黒反転判定手段は、行アドレス演算手段と、２値分布調査手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから２値分布を求める行アドレスを演算し、
２値分布調査手段は、前記行アドレス演算手段で求められた行アドレスの２値分布を求め、
反転判定手段は、前記２値分布調査手段から出力される２値分布から、高輝度領域内に黒を示す値が存在した場合白黒反転していると判定し、存在しない場合反転していないと判定することを特徴とする１または２に記載の撮像装置。
【００１５】
４．  前記高輝度領域抽出手段は、微分手段と、境界線追跡手段と、比較手段と、高輝度画素値メモリ手段とを具備し、
微分手段は、前記撮像データに対して微分処理を施し、
境界線追跡手段は、前記微分手段の出力の境界線追跡を行うことで画像の輪郭抽出を行って、高輝度領域の輪郭を抽出することで、高輝度領域を示すアドレスを求め、
高輝度画素値メモリ手段には、高輝度を示す閾値が記録され、
比較手段は、前記境界線追跡手段で抽出された輪郭で囲まれた領域の前記撮像データと、前記高輝度画素値メモリ手段に記録された閾値とを比較することを特徴とする１に記載の撮像装置。
【００１６】
５．  前記白黒反転判定手段は、行アドレス演算手段と、輝度分布調査手段と、判定値メモリ手段と、反転判定手段とを具備し、
行アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから輝度分布を求める行アドレスを演算し、
輝度分布調査手段は、前記行アドレス演算手段で求められた行アドレスの輝度分布を求め、
判定値メモリ手段には、白黒反転の判定値が記録され、
反転判定手段は、前記輝度分布調査手段で求められた輝度分布と、前記判定値メモリ手段に記録された白黒反転の判定値とを比較して、前記輝度分布調査手段で求められた輝度分布の方が大きい場合には白黒反転していないと判定し、小さいまたは同じ場合には白黒反転していると判定することを特徴とする１、２または４の何れか１項に記載の撮像装置。
【００１７】
６．  前記白黒反転判定手段は、変化量演算手段と、行・列アドレス演算手段と、判定値メモリ手段と、反転判定手段とを具備し、
行・列アドレス演算手段は、前記高輝度領域抽出手段で抽出された高輝度領域を示すアドレスから変化量を求める行・列アドレスを演算し、
変化量演算手段は、前記行・列アドレス演算手段で求められた行・列アドレスの撮像データの変化量を演算し、
判定値メモリ手段には、白黒反転の判定の閾値となる撮像データの変化量が記録され、
反転判定手段は、前記変化量演算手段で求められた撮像データの変化量と、前記判定値メモリ手段に記録された白黒反転の判定の閾値となる撮像データの変化量とを比較して、前記変化量演算手段で求められた撮像データの変化量の方が大きいまたは同じ場合には白黒反転していると判定し、小さい場合には白黒反転していないと判定することを特徴とする１、２または４の何れか１項に記載の撮像装置。
【００１８】
７．  前記画像補正手段は、反転画素アドレス検出手段と、アドレス記録手段と、補正値記録手段と、補間手段とを具備し、
反転画素アドレス検出手段は、前記白黒反転判定手段の判定結果から白黒反転が発生している画素のアドレスを求め、
アドレス記録手段には、前記反転画素アドレス検出手段で求められた白黒反転が発生している画素のアドレスが記録され、
補正値記録手段には、白黒反転の補正に用いる既定値が記録され、
補間手段は、前記アドレス記録手段に記録されているアドレスの画像データを、白黒反転が発生していない周辺画素の撮像データから求めた補正データ、または前記補正値記録手段に記録されている補正値に置き換えることを特徴とする１乃至６の何れか１項に記載の撮像装置。
【００１９】
８．  前記境界線追跡手段は、前処理手段を具備し、
前処理手段は、前記境界線追跡手段の入力に、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理の内、少なくとも１つの処理を施すことを特徴とする２乃至７の何れか１項に記載の撮像装置。
【００２０】
９．  前記撮像素子は、対数変換型撮像素子であることを特徴とする１乃至８の何れか１項に記載の撮像装置。
【００２１】
１０．  順次転送型の全画素同時露光方式の撮像素子と、撮像光学系とを備えた撮像装置の白黒反転補正方法であって、
前記撮像素子で撮像された撮像データから高輝度領域を抽出し、抽出された高輝度領域での白黒反転発生の有無を判定し、前記白黒反転発生の有無の判定結果に基づいて、抽出された高輝度領域の撮像データに白黒反転の補正を施すことを特徴とする撮像装置の白黒反転補正方法。
【発明の効果】
【００２２】
本発明によれば、高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面に基づき本発明の実施の形態を説明する。
【００２４】
まず、本発明における撮像素子の構成とその特性、および「白黒反転」現象の発生のメカニズムを、図１乃至図３を用いて説明する。
【００２５】
図１は、順次転送型の、全画素同時露光方式の撮像素子１６２の回路構成の例を示すブロック図である。図１において、撮像素子１６２の撮像面１６２ａ上には、画素１６２ｂが複数個２次元に配列され、各画素には２次元配列の水平行と垂直列のアドレスが割り付けられている。
【００２６】
各画素は、垂直走査回路１６２ｃの行選択線１６２ｉと垂直信号線１６２ｊとにそれぞれ接続され、全画素同時露光が行われて各画素毎に撮像信号が保持された後、垂直走査回路１６２ｃの行選択線１６２ｉで指定された水平行の全画素の撮像信号が、垂直信号線１６２ｊを介して同時にサンプルホールド回路１６２ｄに転送されて保持され、水平走査回路１６２ｆの動作によって、出力回路１６２ｅから出力アンプ１６２ｇを介して順次転送され、撮像出力１６２ｋとして撮像素子の外部に出力される。これらの動作は、撮像制御手段１６１の制御信号１６１ａに基づき、タイミングジェネレータ１６２ｈにより制御される。
【００２７】
図２は、図１に示した順次転送型の、全画素同時露光方式の撮像素子１６２を構成する画素の回路例で、前述したリニアログセンサの１例である。図示しない撮像光学系によって撮像素子１６２上に結像された被写体からの光は、画素１６２ｂのフォトダイオードＰＤで光電変換され、トランジスタＴ１でリニアログ変換され、全画素同時露光期間中、トランジスタＴ１とミラー回路接続されたトランジスタＴ２によって、リニアログ特性の電荷がキャパシタＣ１に蓄積される。
【００２８】
図３は、図２に示した画素１６２ｂの回路の光電変換特性を示す模式図である。横軸には、撮像素子面照度を対数軸でとってあり、縦軸には撮像出力１６２ｋを線形軸でとってある。上述したように、図２のトランジスタＴ１のソース電圧φＶＰＳの制御によって、図３の特性１６２ｍに示すような対数特性から、特性１６２ｎに示す線形特性までを切り換えることが可能である。
【００２９】
特性１６２ｐは、撮像素子面照度が低照度の場合は特性１６２ｎと同じ線形特性、撮像素子面照度が高照度の場合は特性１６２ｍと同じ傾きの対数特性を示すリニアログ特性であり、線形特性と対数特性の切り替わり点（以下、変曲点と言う）１６２ｒは、上述のトランジスタＴ１のソース電位φＶＰＳの制御によって任意に設定可能である。φＶＰＳの設定条件を撮像素子１６２の駆動条件と呼ぶ。
【００３０】
図２に戻って、全画素同時露光終了のタイミングで信号φＳＷが一定期間オンされてトランジスタＴ４が一定期間オンされ、キャパシタＣ１とＣ２の容量比に従って、Ｃ１に蓄積された電荷がＣ２に転送される。これで、全画素同時に撮像信号が記憶されたことになる。トランジスタＴ４オフ後、信号φＲＳ１が一定期間オンされてトランジスタＴ３が一定期間オンされ、キャパシタＣ１の電位が電位ＲＳＢにリセットされ、次の撮像が可能になる。
【００３１】
次に、図１に示した垂直走査回路１６２ｃにより、撮像素子１６２の各水平行の中の読み出し行のφＶ（行選択信号１６２ｉ）が一定期間オンされてトランジスタＴ７がオンされ、トランジスタＴ６を介して、キャパシタＣ２に記憶された撮像信号が垂直信号線１６２ｊに出力され、図１に示したサンプルホールド回路１６２ｄに転送される。転送後、φＲＳ２が一定期間オンされてトランジスタＴ５が一定期間オンされ、キャパシタＣ２の電位が電位ＲＳＢにリセットされる。以上が正常な動作である。
【００３２】
ここで、撮像素子１６２への入射光が非常に高輝度の場合、上述のように全画素同時に撮像信号がキャパシタＣ２に記憶されてから、キャパシタＣ２に記憶された撮像信号が垂直信号線１６２ｊに出力されるまでに、例えばトランジスタＴ４やＴ５に高輝度光の漏れ光が入射すると、トランジスタＴ４やＴ５が誤動作してキャパシタＣ２に記憶されている電荷を放電してしまう。漏れ光による誤動作の度合いが強過ぎると、キャパシタＣ２に記憶された電荷は完全に放電されてしまい、暗黒状態と同じ撮像信号となる。これが「白黒反転」である。
【００３３】
キャパシタＣ２に記憶された撮像信号の垂直信号線１６２ｊへの転送は、通常は撮像素子１６２の水平行毎に順次行われるので、転送の順番が遅い水平行ほど高輝度光の漏れ光による放電の度合いが強くなり、白黒反転の量も大きくなる。
【００３４】
もちろん、このようなトランジスタの誤動作を防ぐために、画素１６２ｂのパターン設計では遮光パターンを用いて遮光が行われるが、感度を確保するために光電変換回路ＰＥＣ中のフォトダイオード部は開口を極力大きくする必要があり、かつ、最近の撮像素子は非常に小型化されているため、遮光パターンによる遮光率は相対的に低くなり、漏れ光がトランジスタに入射することを完全に抑制することは困難で、漏れ光による誤動作は防ぎきれない。
【００３５】
そこで、本発明の実施の形態においては、撮像素子から出力された撮像データから高輝度領域を抽出し、更に高輝度領域の内側に白黒反転した領域が存在するか否かを確認し、白黒反転した領域が存在する場合は画像補正することで白黒反転を修正する。以下、本発明の実施の形態を詳述する。
【００３６】
まず、本発明における撮像装置の実施の形態について、図４乃至図１１を用いて説明する。図４は、本発明における撮像装置の実施の形態を示す主要回路ブロック図であり、図４（ａ）は撮像装置単体での例であり、図４（ｂ）は複数台の撮像装置を備えた撮像システムの例である。
【００３７】
図４（ａ）において、撮像装置１の鏡胴２０内には撮像光学系２１１が設けられている。撮像装置１の筐体１０内で、撮像光学系２１１の結像面位置に、撮像面１６２ａが光軸２００に垂直となるように、前述した撮像素子１６２が配置されている。撮像素子１６２の撮像出力１６２ｋは、アンプ１６３で増幅された後、アナログデジタル変換手段（以下、Ａ／Ｄ変換手段と言う）１６４でデジタル撮像データ１６４ａに変換され、本発明の主要部である白黒反転処理手段１７０で白黒反転の補正が施され、画像処理手段１６５で、ノイズ除去、画素補間、色補正等の一般的な画像処理が施されて撮像データ１６５ａとなる。これらの動作は、撮像制御手段１６１で制御される。
【００３８】
図４（ｂ）において、撮像システム３は、複数台のカメラ（例えば、第１のカメラ１Ａ、第２のカメラ１Ｂ、第３のカメラ１Ｃの３台のカメラ）と撮像制御システム３０とで構成される。各々のカメラは、撮像光学系と撮像素子、アンプ、Ａ／Ｄ変換手段および撮像制御手段から構成されており、図４（ａ）に示した撮像装置から白黒反転処理手段１７０と画像処理手段１６５を省いた構成となっている。
【００３９】
各々のカメラのデジタル撮像データ１６４ａは、インターフェース３２を介して撮像制御システム３０の白黒反転処理手段１７０に入力され、白黒反転の補正を施された後画像処理手段１６５に入力される。これらの動作は、撮像制御システム３０のシステム制御手段３１によって制御される。
【００４０】
本構成によれば、各々のカメラの構成が簡単となり、小型化、低コスト化が可能であり、消費電力の削減もできるので長時間の電池駆動が可能となり、カメラの設置場所の制約が大きく緩和される。さらに、撮像制御システム３０には高性能のパーソナルコンピュータ等を用いることが可能であり、白黒反転の補正処理や画像処理の高速化、高性能化が可能である。
【００４１】
図５は、図４に示した白黒反転処理手段１７０の第１の実施の形態を示す回路ブロック図である。図中、図４と同じ部分には同じ番号を付与した。
【００４２】
図５において、白黒反転処理手段１７０は、高輝度領域抽出手段１２０、白黒反転判定手段１３０、画像補正手段１４０および画像メモリ１５０からなる。
【００４３】
まず、高輝度領域抽出手段１２０の第１の実施の形態について述べる。デジタル撮像データ１６４ａは、高輝度領域抽出手段１２０の比較手段１２１に入力されると共に、画像メモリ１５０に入力されて記憶され、必要に応じて以後の各処理で使用される。
【００４４】
デジタル撮像データ１６４ａは、比較手段１２１に入力され、高輝度画素値メモリ手段１２２に記録されている高輝度閾値１２３と比較される。高輝度閾値１２３は、高輝度領域を判定する既定値であり、太陽の直接像、ガラスや金属表面などの鏡面での太陽の反射像、サーチライトや自動車のヘッドライトなどの明るい光源の直接像等の高輝度像のみがそのレベルを超えるような撮像データ値、またはそれより少し低い撮像データ値に設定される。また高輝度閾値１２３は、上述した撮像素子１６２の駆動条件（つまり、リニアログセンサにおける変曲点の設定値）に対応した複数の値が準備され、撮像素子１６２の駆動条件に合わせて最適なものが用いられることが望ましい。
【００４５】
比較手段１２１の比較結果に応じて、２値化手段１２４で、全画素のデジタル撮像データ１６４ａの２値化処理が行われ、２値化画像１２５が出力される。２値化画像１２５は、例えば高輝度閾値１２３よりデジタル撮像データ１６４ａが大きい場合は白を示す１、小さい場合は黒を示す０で表現される。上述したように、高輝度閾値１２３は明るい光源の直接像等の高輝度像のみがそのレベルを超えるような撮像データ値であるので、一般的な被写体を撮像した画像であれば、２値化画像１２５は全て０（黒）の画像となる。
【００４６】
次に、境界線追跡手段１２７で境界線追跡を行うことで、高輝度領域が抽出される。高輝度領域の抽出は２値化画像１２５を用いて行ってもよいが、以下に述べる理由から、２値化画像１２５に前処理を施すのが望ましい。
【００４７】
図１９に示したように、撮像素子１６２に白黒反転が発生しなかった場合、高輝度光が入射すると、高輝度領域ＩＭ００１の中心を通る水平Ｘ行の輝度分布データは、図１９（ｄ）に示すように、高輝度光付近で急激に輝度値が高くなり、更に高輝度光の中心に向かうにしたがって輝度値は高くなる。
【００４８】
しかし、白黒反転が発生すると、図１９（ｅ）、（ｆ）に示すように、高輝度光の周辺は輝度値が高く、本来更に輝度値が高くなるはずの中心部は完全に黒となった、いわゆるドーナツ状の高輝度領域となる。言い換えると白黒反転を起こしている場所を特定するには、ドーナツ状の高輝度領域を検出することが重要である。
【００４９】
ところが、実際の画像で２値化処理を行った場合、白黒反転を起こした高輝度領域は、例えば高輝度閾値１２３の設定によって、必ずしもドーナツ状の高輝度領域を示す形状にはならず、かすれたり切れ切れになったような形状になる場合があり、高輝度領域を抽出するのに支障をきたすことがある。境界線追跡手段１２７は前処理手段１２６を備え、このような場合の画像処理での常套手段として、２値化画像１２５に対して、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理などの前処理が行われる。これによって、簡単にかつ高精度に、ドーナツ状の高輝度領域を検出することが可能となる。
【００５０】
次に、境界線追跡手段１２７で前処理後画像１２８に対して境界線追跡が行われて高輝度領域が抽出され、高輝度領域信号１２９として、例えば図１０（ａ）に示すように、高輝度領域の存在するアドレス、すなわち、高輝度領域の高さを示す上下各々の行アドレス１２９ａ、１２９ｂと、高輝度領域の横幅を示す左右各々の列アドレス１２９ｃ、１２９ｄが出力される。ここに、図１０は、前処理後画像１２８中の高輝度部の近傍の模式図であり、白い部分Ｗは高輝度部、斜線部分Ｂｋは低輝度部または白黒反転部を示す。
【００５１】
次に、白黒反転判定手段１３０の第１の実施の形態について述べる。図５において、高輝度領域抽出手段１２０から出力された高輝度領域信号１２９中の、高輝度領域の高さを示す行アドレス１２９ａ、１２９ｂから、行アドレス演算手段１３２により高輝度領域の存在する、例えば中心付近の中心行アドレス１３３が演算で求められ、２値分布調査手段１３１に送信される。２値分布調査手段１３１により、前処理後画像１２８の中心行アドレス１３３の２値分布が求められ、求められた結果が反転判定手段１３４に送られる。
【００５２】
反転判定手段１３４により、２値分布調査手段１３１の２値分布出力の、高輝度領域信号１２９中の高輝度領域の存在する列アドレス１２９ｃと１２９ｄの間に、黒を示す０が存在するか否かが確認され、０が存在する場合は白黒反転を起こしていると判定され、存在しない場合は起こしていないと判定されて、判定結果１３５が画像補正手段１４０に出力される。
【００５３】
次に、画像補整手段１４０の第１の実施の形態について述べる。画像補正手段１４０により、白黒反転判定手段１３０の判定結果１３５に従って画像補正が行われる。判定結果１３５が反転を起こしていないことを示している場合、画像補正手段１４０は、デジタル撮像データ１６４ａに補正処理を施さずに、そのまま白黒反転処理済の撮像データ１７０ａとして画像処理手段１６５に出力する。
【００５４】
白黒反転判定手段１３０の判定結果１３５が反転を起こしていることを示している場合、白黒反転を起こしている画素のアドレスを特定するために、以下のことが行われる。高輝度領域は行アドレス１２９ａ、１２９ｂと列アドレス１２９ｃ、１２９ｄに囲まれた領域に存在する。そこで、前処理後画像１２８の行アドレス１２９ａから行アドレス１２９ｂの範囲の各行の２値分布の中で、列アドレス１２９ｃから列アドレス１２９ｄの２値の変化に注目して、図１０（ｂ）と図１１とを用いて、反転画素アドレス検出手段１４２の動作を説明する。
【００５５】
図１０（ｂ）は、白黒反転を起こした画像における、前処理後画像１２８の一例を示す模式図である。図１０（ｂ）において、水平の破線は上から順に行アドレス１２９ａ、Ａ行、Ｂ行、Ｃ行、Ｄ行、Ｅ行、行アドレス１２９ｂを示している。行アドレス１２９ａと行アドレス１２９ｂは、上述の通り各々高輝度領域の始まる上下位置を示すものである。Ａ行は高輝度領域内で白黒反転を起こしていない任意の行、Ｂ行は上側を基準にしたときの高輝度領域で白黒反転を起こす最初の行、Ｃ行は高輝度領域の中心で最も白黒反転を起こしている行、Ｄ行は白黒反転を起こす最後の行、Ｅ行は高輝度領域内の白黒反転を起こしていない任意の行を各々示している。
【００５６】
図１１は、図１０（ｂ）に示した行アドレス１２９ａ、Ａ行、Ｂ行、Ｃ行、Ｄ行、Ｅ行、行アドレス１２９ｂの各行での、列アドレスを横軸に取った前処理後画像１２８の２値分布を示す模式図で、図１１（ａ）は行アドレス１２９ａの、図１１（ｂ）はＡ行の、図１１（ｃ）はＢ行の、図１１（ｄ）はＣ行の、図１１（ｅ）はＤ行の、図１１（ｆ）はＥ行の、図１１（ｇ）は行アドレス１２９ｂの２値分布である。また図１１（ｃ）のＦ、図１１（ｄ）のＧ、図１１（ｅ）のＨは、白黒反転を起こしている部分を示している。図の縦方向には、高輝度領域を示す列アドレス１２９ｃと列アドレス１２９ｄを一点鎖線で記した。
【００５７】
白黒反転を起こしていない図１１（ａ）、（ｂ）、（ｆ）、（ｇ）では、列アドレス１２９ｃと１２９ｄの範囲で、画素値が「０→１→０」を示すのに対し、白黒反転を起こしている図１１（ｃ）、（ｅ）の場合は、「０→１→０→１→０」、また図１１（ｄ）の場合は、「１→０→１」と変化する。
【００５８】
図５に戻って、反転画素アドレス検出手段１４２は、列アドレス１２９ｃと列アドレス１２９ｄの間で、前処理後画像１２８の２値化画素値１で挟まれた２値化画素値０の範囲、すなわち上述した白黒反転を示す画素の行アドレスと列アドレスを検出し、アドレス記録手段１４３に、この白黒反転画素アドレス１４２ａを記録する。
【００５９】
画像メモリ１５０に記憶されたデジタル撮像データ１６４ａは、反転画素アドレスの検出動作に合わせて補間手段１４５に入力される。補間手段１４５は、デジタル撮像データ１６４ａ中の、アドレス記録手段１４３に記録されている白黒反転画素アドレス１４２ａに対応する画素のデータを、予め補正値記録手段１４４に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求めた補正値に置き換えることで、白黒反転の補正を行う。以上のようにすることで、簡単かつ正確に白黒反転を補正することが可能となる。
【００６０】
次に、図５で示した回路の動作の流れについて、図６乃至図９を用いて説明する。図６は白黒反転補正の動作の流れを示すフローチャートのメインルーチンで、図７乃至図９が、図６のフローチャートの第１の実施の形態の動作の流れを示すサブルーチンである。
【００６１】
まず、ステップＳ１０１で、デジタル撮像データ１６４ａは、高輝度領域抽出手段１２０に入力されると共に、画像メモリ１５０に入力されて記憶され、必要に応じて以後の各処理で使用される。
【００６２】
ステップＳ１２０は、高輝度領域抽出の動作の流れを示すサブルーチンである。ステップＳ１３０は、白黒反転判定の動作の流れを示すサブルーチンである。ステップ１４０は、画像補正の動作の流れを示すサブルーチンである。次に、図７乃至図９を用いて、第１の実施の形態の動作の流れを説明する。
【００６３】
図７は、図６のステップＳ１２０「高輝度領域抽出サブルーチン」の第１の実施の形態である。ステップＳ１２１で、デジタル撮像データ１６４ａと高輝度画素値メモリ手段１２２に記録されている高輝度閾値１２３とが比較手段１２１で比較される。
【００６４】
比較の結果、デジタル撮像データ１６４ａの方が小さい場合（ステップＳ１２１；ＹＥＳ）は、ステップＳ１２２で該当する画素の２値データを「０」にして、ステップＳ１２４に進む。デジタル撮像データ１６４ａの方が大きいか等しい場合（ステップＳ１２１；ＮＯ）は、ステップＳ１２３で該当する画素の２値データを「１」にして、ステップＳ１２４に進む。ステップＳ１２４で、全画素の２値化が完了したか否かが確認され、完了している場合（ステップＳ１２４；ＹＥＳ）は、ステップＳ１２５に進み、完了していない場合（ステップＳ１２４；ＮＯ）はステップＳ１２１に戻って、ステップＳ１２１からステップＳ１２４の動作をくり返す。
【００６５】
ステップＳ１２５で、２値化画像１２５に対して、拡張カルマンフィルタ処理、ハフ変換処理または最小二乗法処理などの前処理を行い、ステップＳ１２６に進む。ステップＳ１２６で、前処理後画像１２８に対して境界線追跡手段１２７を用いて境界線追跡を行うことで高輝度領域を抽出し、ステップＳ１２７で、高輝度領域の存在するアドレス、すなわち、高輝度領域の高さを示す上下各々の行アドレス１２９ａ、１２９ｂと、高輝度領域の横幅を示す左右各々の列アドレス１２９ｃ、１２９ｄを高輝度領域信号１２９として出力し、図６のステップＳ１２０に戻る。
【００６６】
図８は、図６のステップＳ１３０「白黒反転判定サブルーチン」の第１の実施の形態である。ステップＳ１３１で、行アドレス演算手段１３２により、高輝度領域抽出手段１２０から出力された高輝度領域信号１２９中の、高輝度領域の高さを示す行アドレス１２９ａ、１２９ｂから高輝度領域の中心付近の中心行アドレス１３３が演算で求められ、２値分布調査手段１３１に送信される。ステップＳ１３２で、２値分布調査手段１３１により、前処理後画像１２８の中心行アドレス１３３の２値分布が求められ、求められた結果が反転判定手段１３４に送られる。
【００６７】
ステップＳ１３３で、反転判定手段１３４により、２値分布調査手段１３１の２値分布出力の、高輝度領域信号１２９中の高輝度領域の存在する列アドレス１２９ｃと１２９ｄの間に、黒を示す０が存在するか否かが確認され、０が存在する場合は白黒反転を起こしていると判定し、存在しない場合は起こしていないと判定し、判定結果１３５が画像補正手段１４０に出力される。
【００６８】
図９は、図６のステップＳ１４０「画像補正サブルーチン」の第１の実施の形態である。ステップＳ１４１で、ステップＳ１３０で判定された白黒反転フラグが「１（白黒反転有り）」であるか否かが確認される。「０（白黒反転なし）」の場合（ステップＳ１４１；ＮＯ）、ステップＳ１４２に進み、デジタル撮像データ１６４ａは、画像補正手段１４０による補正処理が施されずに、ステップＳ１４７で、そのまま白黒反転処理済の撮像データ１７０ａとして画像処理手段１６５に出力される。
【００６９】
白黒反転フラグが「１（白黒反転有り）」の場合（ステップＳ１４１；ＹＥＳ）、白黒反転を起こしている画素のアドレスの特定が行われる。ステップＳ１４３で、前処理後画像１２８の行アドレス１２９ａ、１２９ｂと列アドレス１２９ｃ、１２９ｄに囲まれた領域の各行の２値分布の中で、列アドレス１２９ｃから列アドレス１２９ｄの２値の変化が、「１→０→１」と変化している部分が確認され、「１→０→１」と変化する部分が存在する場合（ステップＳ１４３；ＹＥＳ）、ステップＳ１４４でアドレス記録手段１４３に白黒反転画素アドレス１４２ａが記録される。
【００７０】
「１→０→１」と変化する部分が存在しない場合（ステップＳ１４３；ＮＯ）、そのままステップＳ１４５に進む。ステップＳ１４５で高輝度領域の全行の画素値変化が確認されたか否かが確認され、確認が完了している場合（ステップＳ１４５；ＹＥＳ）は、ステップＳ１４６に進む。完了していない場合（ステップＳ１４５；ＮＯ）、ステップＳ１４３に戻り、高輝度領域の全行の画素値変化の確認が完了するまでステップＳ１４３からＳ１４５がくり返される。
【００７１】
ステップＳ１４６で、補間手段１４５により、デジタル撮像データ１６４ａ中の、アドレス記録手段１４３に記録されている白黒反転画素アドレス１４２ａに対応する画素のデータが、予め補正値記録手段１４４に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求められた補正値に置き換えられ、白黒反転の補正が行われる。
【００７２】
次に、白黒反転処理手段１７０の第２の実施の形態について、図１２乃至図１６を用いて説明する。図１２は、図４に示した白黒反転処理手段１７０の第２の実施の形態を示す回路ブロック図である。図中、図４および図５と同じ部分には同じ番号を付与した。
【００７３】
まず、高輝度領域抽出手段１２０の第２の実施の形態について述べる。デジタル撮像データ１６４ａは、高輝度領域抽出手段１２０の微分手段３２４に入力されると共に、画像メモリ１５０に入力されて記憶され、必要に応じて以後の各処理で使用される。微分手段３２４は、入力されたデジタル撮像データ１６４ａに対して、一般的な微分手段（例えばソベルフィルタ等）を用いて微分処理を行う。微分処理によりおおよその境界線追跡は可能であるが、図５でも述べたように、境界線追跡が確実に行えるように、前処理手段１２６にてハフ変換等の前処理を行うことが望ましい。次に、境界線追跡手段１２７で境界線追跡を行い、高輝度領域と思われる領域を抽出する。
【００７４】
画像メモリ１５０から比較手段１２１に入力されたデジタル撮像データ１６４ａ中の、境界線追跡手段１２７で検出された高輝度領域と思われる領域の撮像データと、高輝度画素値メモリ手段１２２に記録されている、撮像素子１６２の駆動条件に対応した既定の高輝度閾値１２３とを、比較手段１２１にて比較することで、この領域が高輝度領域か否かが判定される。上述した段階を踏む理由は、画像に対して微分処理を行うと輝度変化のある輪郭を全て抽出するため、高輝度閾値１２３と比較して高輝度領域だけを抽出する必要があるためである。
【００７５】
高輝度領域と判定された場合、比較手段１２１は、比較出力１２１ａとして、図１０（ａ）に示したと同じ、高輝度領域の存在範囲を示す行アドレス１２９ａ、１２９ｂ、列アドレス１２９ｃ、１２９ｄを、白黒反転判定手段１３０の比較出力記録手段３３２に出力する。本例では、図５に示したように全画素の撮像データを高輝度閾値１２３と比較するのではなく、微分処理の結果高輝度領域と思われる領域の画素の撮像データだけを高輝度閾値１２３と比較するため、比較演算にかかる時間を短縮することができる。
【００７６】
次に、白黒反転判定手段１３０の第２の実施の形態について述べる。輝度分布調査手段３３１は、比較出力記録手段３３２に記録された比較出力１２１ａに従って、画像メモリ１５０に記憶されているデジタル撮像データ１６４ａ中の、行アドレス１２９ａから１２９ｂの間の各行の輝度分布を求める。
【００７７】
反転判定手段３３４は、輝度分布調査手段３３１によって求められた高輝度領域の存在する行アドレス１２９ａから１２９ｂの間の各行の輝度分布の内、列アドレス１２９ｃから１２９ｄの各画素の輝度分布と、判定値メモリ手段３３５に記録されている既定の白黒反転判定値３３６とを比較し、輝度分布が白黒反転判定値３３６より小さいか若しくは同じ場合は白黒反転を起こしていると判定し、大きい場合は起こしていないと判定し、判定結果３３４ａを画像補正手段１４０の反転画素アドレス検出手段３４２に出力する。
【００７８】
ここに、例えば高輝度光源のムラにより中心の輝度値が周辺よりも低くなった場合や、円形の蛍光灯を直視した場合等のようにドーナツ状の高輝度光源の中心の輝度値が低い場合等を白黒反転と誤判断しないように、白黒反転判定値３３６は、高輝度光源の中の暗い部分が取る可能性のある撮像データより低い値に設定される。
【００７９】
次に、画像補正手段１４０の第２の実施の形態について説明する。画像補正手段１４０は、白黒反転判定手段１３０の判定結果３３４ａに従って画像補正を行う。判定結果３３４ａが白黒反転を起こしていないことを示している場合、画像補正手段１４０は、画像メモリ１５０に記憶されているデジタル撮像データ１６４ａに補正処理を施さずに、そのまま白黒反転処理済の撮像データ１７０ａとして画像処理手段１６５に出力する。
【００８０】
判定結果３３４ａが白黒反転していることを示している場合、反転を起こしている画素を特定するために以下のことを行う。高輝度領域は行アドレス１２９ａ、１２９ｂと列アドレス１２９ｃ、１２９ｄに囲まれた領域に存在する。そこで反転画素アドレス検出手段３４２は、行アドレス１２９ａから１２９ｂの輝度分布を求め、更に列アドレス１２９ｃから１２９ｄの範囲の輝度値の変化に注目する。
【００８１】
図１６は、図１１と同様に、図１０（ｂ）に示した行アドレス１２９ａ、Ａ行、Ｂ行、Ｃ行、Ｄ行、Ｅ行、行アドレス１２９ｂの輝度分布を示す模式図である。図１６の輝度分布は、図１１のような２値化された分布ではなく、多値（例えば、０から２５５の８ビット）のデジタル撮像データである。
【００８２】
図１６（ａ）から（ｇ）は、横軸を列アドレスに取った、行アドレス１２９ａから行アドレス１２９ｂ近傍の輝度分布である。縦軸のＴＨは、白黒反転判定値３３６を示す。また、縦方向の１点鎖線の左側は列アドレス１２９ｃ、右側は列アドレス１２９ｄを示している。図１６においては、図１６（ｃ）のＦ、図１６（ｄ）のＧ、図１６（ｅ）のＨがＴＨ（白黒反転判定値３３６）より低い値を示しており、白黒反転を起こしていることになる。
【００８３】
白黒反転を起こしていない、例えば図１６（ａ）の輝度分布の変化は、高輝度領域の横幅を示す列アドレス１２９ｃから１２９ｄの範囲では、左側から「低→高→低」と変化している。次に、白黒反転を起こしている、例えば図１６（ｄ）の輝度分布の変化は、同様に考えると、「高→低→高」と変化している。
【００８４】
図１２に戻って、以上より、反転アドレス検出手段３４２は、列アドレス１２９ｃと列アドレス１２９ｄの間で且つ高輝度（高）に挟まれた低輝度（低）を示す画素の行アドレスと列アドレスを検出し、アドレス記録手段１４３に前記アドレス３４２ａを記録しておけばよいことになる。
【００８５】
補間手段１４５は、画像メモリ１５０に記憶されたデジタル撮像データ１６４ａ中の、アドレス記録手段１４３に記録されている白黒反転画素アドレス３４２ａに対応する画素のデータを、予め補正値記録手段１４４に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求めた補正値に置き換えることで、白黒反転の補正を行う。以上のようにすることで、簡単かつ正確に白黒反転を補正することが可能となる。
【００８６】
次に、図１２で示した回路の動作の流れについて、図１３乃至図１５を用いて説明する。図６が白黒反転補正の実施の形態の動作の流れを示すフローチャートのメインルーチンであり、図１３乃至図１５は、図６のフローチャートの第２の実施の形態の動作の流れを示すサブルーチンである。図６乃至図９と同じステップには同じステップ番号を付与する。
【００８７】
図１３は、図６のステップＳ１２０「高輝度領域抽出サブルーチン」の第２の実施の形態である。ステップＳ２２１で、微分手段３２４により、デジタル撮像データ１６４ａに対して一般的な微分手段（例えばソベルフィルタ等）を用いた微分処理が施される。ステップＳ１２５で、ステップＳ２２１の微分出力にハフ変換等の前処理が施される。ステップＳ１２６で、境界線追跡が行われ、高輝度領域と思われる候補領域が抽出され、ステップＳ２２２で、候補領域内のデジタル撮像データ１６４ａと、高輝度画素値メモリ手段１２２に記録されている、撮像素子１６２の駆動条件に対応した既定の高輝度閾値１２３とが、比較され、高輝度領域か否かが判断される。
【００８８】
ステップＳ２２２の比較の結果、高輝度領域と判断された場合（ステップＳ２２２；ＹＥＳ）、ステップＳ２２３で高輝度領域のアドレスが記録され、ステップＳ２２４に進む。高輝度領域と判断されなかった場合（ステップＳ２２２；ＮＯ）、そのままステップＳ２２４に進む。ステップＳ２２４で、全ての高輝度領域の候補領域に対する比較が完了したか否かが確認され、完了するまでステップＳ２２２からステップＳ２２４がくり返される。
【００８９】
全ての高輝度領域の候補領域に対する比較が完了したら（ステップＳ２２４；ＹＥＳ）、ステップＳ２２５で、図１０（ａ）に示したと同様に、ステップＳ２２３で記録された高輝度領域の存在範囲を示す行アドレス１２９ａ、１２９ｂ、列アドレス１２９ｃ、１２９ｄが、比較出力１２１ａとして出力され、図６のステップＳ１２０に戻る。
【００９０】
図１４は、図６のステップＳ１３０「白黒反転判定サブルーチン」の第２の実施の形態である。ステップＳ３３１で、比較出力記録手段３３２に記録された比較出力１２１ａに従って、輝度分布調査手段３３１により、画像メモリ１５０に記憶されているデジタル撮像データ１６４ａ中の、行アドレス１２９ａから１２９ｂの間の各行の輝度分布が求められる。
【００９１】
ステップＳ３３２で、反転判定手段３３４により、輝度分布調査手段３３１によって求められた高輝度領域の存在する行アドレス１２９ａから１２９ｂの間の各行の輝度分布の内、列アドレス１２９ｃから１２９ｄの各画素の輝度分布と、判定値メモリ手段３３５に記録されている既定の白黒反転判定値３３６とが比較される。
【００９２】
輝度分布が白黒反転判定値３３６より小さい若しくは同じ場合は白黒反転を起こしていると判定され（ステップＳ１３３；ＹＥＳ）、ステップＳ１３４で白黒反転フラグが「１（白黒反転有り）」に設定され、輝度分布が白黒反転判定値３３６より大きい場合は白黒反転を起こしていないと判定され（ステップＳ１３３；ＮＯ）、ステップＳ１３５で白黒反転フラグが「０（白黒反転なし）」に設定され、図６のステップＳ１３０に戻る。
【００９３】
図１５は、図６のステップＳ１４０「画像補正サブルーチン」の第２の実施の形態である。ステップＳ１４１で、ステップＳ１３０で判定された白黒反転フラグが「１（白黒反転有り）」であるか否かが確認される。「０（白黒反転なし）」の場合（ステップＳ１４１；ＮＯ）、ステップＳ１４２に進み、デジタル撮像データ１６４ａは、画像補正手段１４０による補正処理が施されずに、ステップＳ１４７で、そのまま白黒反転処理済の撮像データ１７０ａとして画像処理手段１６５に出力される。
【００９４】
白黒反転フラグが「１（白黒反転有り）」の場合（ステップＳ１４１；ＹＥＳ）、ステップＳ４４１で、行アドレス１２９ａから１２９ｂの輝度分布と白黒反転判定値３３６とが比較されて、その結果として、輝度分布と白黒反転判定値３３６の高低の関係が「高→低→高」と変化しているか否かが確認される。「高→低→高」と変化している部分が存在する場合（ステップＳ４４１；ＹＥＳ）は白黒反転を起こしていると判断され、ステップＳ１４４でアドレス記録手段１４３に白黒反転画素アドレス３４２ａが記録される。
【００９５】
「高→低→高」と変化している部分が存在しない場合（ステップＳ４４１；ＮＯ）、そのままステップＳ１４５に進む。ステップＳ１４５で高輝度領域の全行の画素値変化が確認されたか否かが確認され、確認が完了している場合（ステップＳ１４５；ＹＥＳ）は、ステップＳ１４６に進む。完了していない場合（ステップＳ１４５；ＮＯ）、ステップＳ４４１に戻り、高輝度領域の全行の画素値変化の確認が完了するまでステップＳ４４１からＳ１４５がくり返される。
【００９６】
ステップＳ１４６で、補間手段１４５により、デジタル撮像データ１６４ａ中の、アドレス記録手段１４３に記録されている白黒反転画素アドレス１４２ａに対応する画素のデータが、予め補正値記録手段１４４に記録されている補正値、または白黒反転画素の周辺の白黒反転を起こしていない画素のデータから演算で求められた補正値に置き換えられ、白黒反転の補正が行われる。
【００９７】
続いて、白黒反転処理手段１７０の第３の実施の形態について、図１７と図１８を用いて説明する。図１７は、図４に示した白黒反転処理手段１７０の第３の実施の形態を示す回路ブロック図である。図中、図４および図５と同じ部分には同じ番号を付与した。なお、本第３の実施の形態は、図５に示した第１の実施の形態中の白黒反転判定手段１３０を変更したものであり、異なる部分についてのみ説明する。
【００９８】
行・列アドレス演算手段５３２は、境界線追跡手段１２７から高輝度領域信号１２９（行アドレス１２９ａ、１２９ｂ、列アドレス１２９ｃ、１２９ｄ）を受信し、図１８で後述する高輝度領域の中心付近の中心行・列アドレス５３３（例えば、（５３３ｘ，５３３ｙ））を演算で求め、変化量演算手段５３１に出力する。変化量演算手段５３１は、高輝度領域の、例えば中心部の画素と周辺部の画素の輝度の変化量５３８を求めて、反転判定手段３３４に出力する。ここに、中心部の画素とは、中心行・列アドレス５３３（５３３ｘ，５３３ｙ）の画素であり、周辺部の画素とは、例えば（中心行アドレス５３３ｘ、列アドレス１２９ｃ）画素である。
【００９９】
反転判定手段３３４は、変化量演算手段５３１によって求められた、高輝度領域の中心部と周辺部の輝度の変化量５３８と、判定値メモリ手段３３５に記録されている既定の白黒反転判定値３３６とを比較し、輝度の変化量５３８が白黒反転判定値３３６より大きいか同じ場合は白黒反転を起こしていると判定し、小さい場合は起こしていないと判定し、判定結果３３４ａを画像補正手段１４０の反転画素アドレス検出手段１４２に出力する。その他は図５と同じである。
【０１００】
輝度の変化量によって白黒反転を見極めることができる理由は、以下の通りである。つまり、ドーナツ形状の高輝度光源を考えた場合には、撮像光学系２１１のフレアや解説等により、暗部と高輝度部の境界付近の輝度変化はあまり急峻にはならない。一方、図２で説明したように、高輝度光の漏れ光によるトランジスタの誤動作が原因の白黒反転の場合、画素内のキャパシタＣ２に記憶された電荷は完全に放電されてしまうため、暗黒状態と同じ撮像データとなり、ドーナツ形状の高輝度光源の暗部と高輝度部の境界付近の輝度変化とは比較にならないほど急峻な輝度変化を示す。以上より、白黒反転判定値３３６を適切に設定することで、白黒反転とドーナツ形状の光源との違いを切り分けることが可能である。
【０１０１】
次に、図１７で示した白黒反転判定手段１３０の動作の流れについて、図１８を用いて説明する。図１８は、図６のステップＳ１３０「白黒反転判定サブルーチン」の第３の実施の形態である。
【０１０２】
ステップＳ３６１で、行・列アドレス演算手段５３２により、高輝度領域信号１２９（行アドレス１２９ａ、１２９ｂ、列アドレス１２９ｃ、１２９ｄ）から、高輝度領域の中心部の中心行・列アドレス５３３（例えば、（５３３ｘ，５３３ｙ））を演算する。ステップＳ３６２で、変化量演算手段５３１により、高輝度領域の中心部の画素と周辺部の画素との輝度の変化量５３８を求める。ステップＳ３６３で、ステップＳ３６２で求められた高輝度領域の中心部と周辺部の輝度の変化量５３８と、判定値メモリ手段３３５に記録されている既定の白黒反転判定値３３６とが比較され、輝度の変化量５３８が白黒反転判定値３３６より大きいか同じ場合は白黒反転を起こしていると判定され（ステップＳ３６３；ＹＥＳ）、ステップＳ１３４で白黒反転フラグが「１（白黒反転有り）」に設定され、輝度の変化量５３８が白黒反転判定値３３６より小さい場合は白黒反転を起こしていないと判定され（ステップＳ３６３；ＮＯ）、ステップＳ１３５で白黒反転フラグが「０（白黒反転なし）」に設定され、図６のステップＳ１３０に戻る。
【０１０３】
なお、上述した第３の実施の形態は、第１の実施の形態の白黒反転判定手段１３０を変更したものとして説明したが、第２の実施の形態の白黒反転手段１３０を入れ替えたものとしても成り立つことは言うまでもない。
【０１０４】
以上に述べたように、本発明の各実施の形態によれば、高輝度光の漏れ光による白黒反転現象を起こしている画素を、撮像データを解析することで検出し、既定の補正値、あるいは白黒反転していない周辺画素から演算される補正値を用いて補正することにより、白黒反転現象のない画像が得られる撮像装置および該撮像装置の白黒反転補正方法を提供することができる。
【０１０５】
また、高輝度部分のみを用いて白黒反転の発生を検出するので、検出のための処理が容易になり、短時間で検出を行うことができる。さらに、抽出した高輝度領域に現れる特有の明暗パターンに由来する上記領域内の輝度の変化に基づいて白黒反転の有無を検出することにより、比較的容易に高い精度で検出を行うことができる。
【０１０６】
尚、本発明に係る撮像装置および該撮像装置の白黒反転補正方法を構成する各構成の細部構成および細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【図面の簡単な説明】
【０１０７】
【図１】撮像素子の回路構成の例を示すブロック図である。
【図２】図１に示した撮像素子を構成する画素の回路例である。
【図３】図２に示した画素の回路の光電変換特性を示す模式図である。
【図４】本発明における撮像装置の実施の形態を示す主要回路ブロック図である。
【図５】図４の白黒反転処理手段の第１の実施の形態を示す回路ブロック図である。
【図６】白黒反転補正の動作の流れを示すフローチャートのメインルーチンである。
【図７】白黒反転補正の動作の流れを示すフローチャートの第１の実施の形態のサブルーチン（１／３）である。
【図８】白黒反転補正の動作の流れを示すフローチャートの第１の実施の形態のサブルーチン（２／３）である。
【図９】白黒反転補正の動作の流れを示すフローチャートの第１の実施の形態のサブルーチン（３／３）である。
【図１０】前処理後画像中の高輝度部の近傍の模式図である。
【図１１】図１０（ｂ）の各行の前処理後画像の２値分布を示す模式図である。
【図１２】図４の白黒反転処理手段の第２の実施の形態を示す回路ブロック図である。
【図１３】白黒反転補正の動作の流れを示すフローチャートの第２の実施の形態のサブルーチン（１／３）である。
【図１４】白黒反転補正の動作の流れを示すフローチャートの第２の実施の形態のサブルーチン（２／３）である。
【図１５】白黒反転補正の動作の流れを示すフローチャートの第２の実施の形態のサブルーチン（３／３）である。
【図１６】図１０（ｂ）の各行の輝度分布を示す模式図である。
【図１７】図４の白黒反転処理手段の第３の実施の形態を示す回路ブロック図である。
【図１８】白黒反転補正の動作の流れを示すフローチャートの第３の実施の形態のサブルーチン（１／１）である。
【図１９】白黒反転現象について説明するための模式図である。
【符号の説明】
【０１０８】
１  撮像装置
１０  筐体
２０  鏡胴
２００  光軸
１Ａ  第１のカメラ
１Ｂ  第２のカメラ
１Ｃ  第３のカメラ
３  撮像システム
３０  撮像制御システム
３１  システム制御手段
３２  インターフェース
２１１  撮像光学系
１６１  撮像制御手段
１６２  撮像素子
１６２ｂ  画素
１６２ｋ  撮像出力
１６３  アンプ
１６４  Ａ／Ｄ変換手段
１６４ａ  デジタル撮像データ
１６５  画像処理手段
１７０  白黒反転処理手段
１２０  高輝度領域抽出手段
１２１  比較手段
１２２  高輝度画素値メモリ手段
１２３  高輝度閾値
１２４  ２値化手段
１２５  ２値化画像
１２６  前処理手段
１２７  境界線追跡手段
１２８  前処理後画像
１２９  高輝度領域信号
１３０  白黒反転判定手段
１３１  ２値分布調査手段
１３２  行アドレス演算手段
１３３  中心行アドレス
１３４  反転判定手段
１３５  判定結果
１４０  画像補正手段
１４２  反転画素アドレス検出手段
１４３  アドレス記録手段
１４４  補正値記録手段
１４５  補間手段
１５０  画像メモリ
３２４  微分手段
３３１  輝度分布調査手段
３３２  比較出力記録手段
３３４  反転判定手段
３３４ａ  判定結果
３３５  判定値メモリ手段
３３６  白黒反転判定値
３４２  反転画素アドレス検出手段
５３１  変化量演算手段
５３２  行・列アドレス演算手段
５３３  中心行・列アドレス
５３８  輝度の変化量
【図１】
2007128220.tif 000003
【図２】
2007128220.tif 000004
【図３】
2007128220.tif 000005
【図４】
2007128220.tif 000006
【図５】
2007128220.tif 000007
【図６】
2007128220.tif 000008
【図７】
2007128220.tif 000009
【図８】
2007128220.tif 000010
【図９】
2007128220.tif 000011
【図１０】
2007128220.tif 000012
【図１１】
2007128220.tif 000013
【図１２】
2007128220.tif 000014
【図１３】
2007128220.tif 000015
【図１４】
2007128220.tif 000016
【図１５】
2007128220.tif 000017
【図１６】
2007128220.tif 000018
【図１７】
2007128220.tif 000019
【図１８】
2007128220.tif 000020
【図１９】
2007128220.tif 000021