(57)【特許請求の範囲】
【請求項１】
可視光と近赤外光を透過するレンズと、
可視光と近赤外光に感度を有する撮像素子と、
前記撮像素子から得られた映像信号のハイライトレベルの低下または暗部レベルの上昇に応じた有効コントラストを検出するコントラスト検出部と、
可視光を通過し近赤外光を除去する第１光学フィルタと、
緑及び青色光をカットし赤色光を通過する第２光学フィルタと、
近赤外光の内の空気中の分子を透過する波長の光を通過する第３光学フィルタと、を有し、
前記第１乃至第３光学フィルタは、前記撮像素子の前に選択挿入可能に設けられ、
前記第１光学フィルタを挿入した状態の前記撮像素子で撮像した映像信号の前記有効コントラストが所定レベルを下回った場合は、前記第２光学フィルタを挿入して撮像した映像を出力し、
前記第２光学フィルタを挿入した状態の前記撮像素子で撮像した映像信号の前記有効コントラストが所定レベルを下回った場合は、前記第３光学フィルタを挿入して撮像した映像を出力することを特徴とする撮像装置。
【請求項２】
可視光と近赤外光を透過するレンズと、
可視光と近赤外光に感度を有する撮像素子と、
前記撮像素子から得られた映像信号のハイライトレベルと暗部レベルを測定し、有効コントラストを検出するコントラスト検出部と、
可視光を通過し近赤外光を除去する第１光学フィルタと、
緑及び青色光をカットし赤色光を通過する第２光学フィルタと、
近赤外光の内の空気中の分子を透過する波長の光を通過する第３光学フィルタと、を有し、
前記第１乃至第３光学フィルタは、前記撮像素子の前に選択挿入可能に設けられ、
前記第１光学フィルタを挿入した状態の前記撮像素子で撮像した映像信号の前記暗部レベルが第一の所定レベルを上回る場合、又は、該映像信号の前記ハイライトレベルが第二の所定レベルを下回る場合に、前記第２光学フィルタを挿入して撮像した映像信号の前記暗部レベルと、前記第３光学フィルタを挿入して撮像した映像信号の前記暗部レベルを測定し、該測定した２つの暗部レベルのうち小さい方の暗部レベルに対応する光学フィルタを挿入して撮像された映映像信号を出力することを特徴とする撮像装置。
【請求項３】
可視光と近赤外光を透過するレンズと、
可視光と近赤外光に感度を有する撮像素子と、
前記撮像素子から得られた映像信号のハイライトレベルと暗部レベルを測定し、有効コントラストを検出するコントラスト検出部と、
可視光を通過し近赤外光を除去する第１光学フィルタと、
緑及び青色光をカットし赤色光を通過する第２光学フィルタと、
近赤外光の内の空気中の分子を透過する波長の光を通過する第３光学フィルタと、
湿度計と、を有し、
前記第１乃至第３光学フィルタは、前記撮像素子の前に選択挿入可能に設けられ、
前記第１光学フィルタ挿入時に前記暗部レベルが第一の所定レベルを上回る場合または前記ハイライトレベルが第二の所定レベルを下回る場合は、湿度計の湿度が所定値より高ければ、前記第２光学フィルタを選択挿入して白黒撮像し、前記湿度が前記所定値より高くなければ、前記第３光学フィルタを選択挿入して白黒撮像することを特徴とする撮像装置。
【請求項４】
請求項１乃至請求項３の撮像装置において、
前記撮像素子からの入力映像信号を走査線期間遅延する６以上の偶数（２Ｍ）個のラインメモリ部と、上記入力映像信号と走査線期間遅延後の２Ｍ個の映像信号をそれぞれ６以上の偶数（２Ｎ）個の画素遅延をする２Ｍ＋１個の画素遅延部と、を有する第１画面内遅延部と、
上記入力映像信号と走査線期間遅延後の映像信号とから垂直輪郭信号を生成する垂直輪郭信号生成部と、
上記入力映像信号をＭ走査線期間遅延した映像信号と該Ｍ走査線期間遅延され各画素遅延後の２Ｎ個の映像信号とから、水平輪郭信号を生成する水平輪郭信号生成部と、
上記入力映像信号をＭ走査線期間遅延しＮ画素遅延した中心映像信号に、上記垂直輪郭信号と上記水平輪郭信号とを加算する輪郭補正部と、
上記入力映像信号を垂直走査線期間遅延する映像信号画面遅延部と、
上記第１画面内遅延部と同じ構成を有し、前記撮像素子からの入力映像信号に替えて、垂直走査線期間遅延された上記映像信号画面遅延部からの映像信号を入力する第２画面内遅延部と、
上記第１画面内遅延部の前記前記ラインメモリ及び前記画素遅延部が出力する（２Ｍ＋１）×（２Ｎ＋１）個の信号と、上記第２画面内遅延部の前記前記ラインメモリ及び前記画素遅延部が出力する（２Ｍ＋１）×（２Ｎ＋１）個の信号との相関を検出し、上記中心映像信号と相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成する相関平均部と、
上記中心映像信号と上記相関平均信号とを選択可能に上記輪郭補正部に供給するスイッチと、
上記輪郭補正部で補正された後の映像信号に対し、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限するかハイライト圧縮を弱めるかの少なくとも一つを行うコントラスト増強部と、を有し、
前記暗部レベルが第一の所定レベルを上回る場合または前記ハイライトレベルが第二の所定レベルを下回る場合は、上記垂直輪郭信号の強調中心となる周波数を低くすることと、上記水平輪郭信号の強調中心となる周波数を低くすることと、上記輪郭補正部による輪郭強調を強くすることと、暗部の輪郭強調を強くすることと、ハイライトの輪郭強調を強くすることと、上記相関平均部による相関平均を強くすることと、上記コントラスト増強部により黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、ハイライト圧縮を弱めることと、の少なくとも一つを行うことを特徴とする撮像装置。
【請求項５】
前記レンズを通った入射光について、１２００ｎｍから１６５０ｎｍの波長の赤外光とその他の光との少なくとも２つに分光する分光光学系と、
前記撮像素子と別個に、上記分光された１２００ｎｍから１６５０ｎｍの波長の赤外光を撮像する赤外用撮像素子と、を更に備え、
前記レンズは単焦点レンズであり、
前記撮像素子はシリコン製であり、上記分光されたその他の光を撮像し、
前記第３光学フィルタは、少なくとも前記赤外用撮像素子の入射光路に挿入され、約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ及び約１０４０ｎｍの帯域のうち少なくとも１つと、約１２００〜１２５０ｎｍ及び約１５５０〜１６５０ｎｍの帯域の少なくとも１つを通過するものであることを特徴とする請求項１乃至３記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システムに用いる固体撮像装置の改良に関するものである。
【背景技術】
【０００２】
オンチップカラーフイルタ付き固体撮像素子を１ヶ用いたカラー固体撮像装置（以下単板カラーカメラ）はＩＴ(Interline Transfer)−ＣＣＤ（Charge  Coupled  Device）撮像素子(以下ＩＴ−ＣＣＤ)と雑音を除去するＣＤＳ（Correlated  Double  Sampling）と暗電流補正と利得可変増幅回路（Automatic  Gain  Control以下ＡＧＣ）と１４ｂｉｔ程度の撮像装置内部映像信号Ｖｉに変換するＡＤＣ（Analog  Digital  Converter）とを内蔵したアナログフロントエンド（Analog  Front  End：ＡＦＥ）とＣＣＤ駆動回路と信号処理回路からなる。上記の全ての機能を実現したＣＭＯＳ撮像素子を用いても良い。
【０００３】
ところで、霧でも黄砂でも空気中に直径1μｍ程度の粒子があると、可視光の短波長が乱反射され、遠距離の被写体の黒が持ち上がりコントラストが減少する。
さらに空気中の酸素は約６８０ｎｍの赤を少し吸収し減衰し短波長可視光に比較して１／２に減衰し、約７６０ｎｍの近赤外光を吸収し短波長可視光に比較して１／１０に減衰する。標高が低い地表や海上では、太陽光が水蒸気等に吸収されて減衰し、約７００ｎｍの赤は少し吸収減衰する。さらに約８２０ｎｍと約９００ｎｍから約１０００ｎｍまでと約１１２０ｎｍから約１１６０ｎｍまでと約１３００ｎｍから約１５００ｎｍまでの近赤外光を吸収減衰する。特に、約９７０ｎｍ付近と、約１１３０ｎｍ付近の近赤外光の大気中の透過率は、可視光に比較して１／２０以下と小さい。したがって、水蒸気がある霞や霧は近赤外光を吸収し、遠距離の被写体の近赤外光光がカメラに届かない（非特許文献１参照）。従って、水蒸気がある霞や霧の場合、近赤外光カットの可視光撮影が良く、水蒸気がない細かい土埃の場合、可視光カットの近赤外光撮影が良い。
【０００４】
使用波長帯域は一般に１オクターブの約４００−８００ｎｍ波長帯域となり、広帯域としても一般に１．５オクターブの約４００−１２００ｎｍ波長帯域となり、反射防止コーティングは一般に１／４波長の厚さなので、広い波長帯域用には多層の反射防止コーティングを用いることが困難ある。従って、ズームレンズの場合、例えば、３０面程度のレンズ面の反射が多くなるため、映像信号の暗部レベルが持ち上がるフレアが目立つので、反射防止の面で単焦点レンズが一般的に有利である。
生産量が多く、安価な昼夜兼用レンズの場合、収差補正の波長帯域が一般に約４００−９００ｎｍの可視光と可視光近傍の近赤外光となり、さらに長い近赤外光では、一般に収差が増加しコントラストも解像度も低下する。
また、少ない数のレンズで３倍程度に焦点距離を可変し焦点面の変動はカムで機械補正するか電動で補正するレンズが発売された。
【０００５】
また、約４００−７００ｎｍの可視光と約７００−１２００ｎｍの可視光近傍の近赤外光が処理可能なフォトダイオード下の近赤外光を反射する微細構造やＥＭ−ＣＣＤ（Ｅｌｅｃｔｒｏｎ  Ｍｕｌｔｉｐｌｙｉｎｇ−Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等高感度で暗電流の少なく撮像素子も生産量が多く安価に入手できる。約４００−８００ｎｍなら撮像素子表面に反射防止フィルムを貼ることも可能である。さらに、裏面照射構造または光ガイド内蔵とすれば短波長光の感度が向上する（非特許文献５参照）。
従って、従来は、帯域通過光学フイルタで波長が長い可視光つまり赤を選択し、収差補正と反射防止を施したレンズで入射光を結像し、可視光と可視光近傍の近赤外光に高感度の撮像素子を用いていた。
また、約９００−１７００ｎｍ近赤外光に感度のあるインジウムガリウム砒素（InGaAs）製の撮像素子も入手可能になった。この波長帯域内では、空気中の水蒸気と酸素との分子に吸収されず透過する波長帯域が比較的広いので、光学帯域通過フィルタの製作は容易で、感度も確保しやすい。そこで、約９００−１７００ｎｍの近赤外光に感度のあるInGaAs製の撮像素子と反射防止コーティングを用いないレンズ面の少ない単焦点レンズで撮像していたが、暗電流のばらつきが多く、冷却が必要だった（非特許文献６参照）。
【０００６】
映像信号からは霞や霧も土埃も、灰色の山肌や砂も、白く持ち上がり区別がつきにくい。
そこで、従来の固体撮像装置（単板カラーカメラ）を用いた監視システムのブロック図の図７のように、映像信号処理部の４Ｆの後ろに外付けした暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の５Ｆで、コントラストを増強していた。映像信号処理部の４Ｆから暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の５Ｆに受け渡す信号は８ｂｉｔ諧調であり、黒が持ち上がりコントラストが減少した映像には信号諧調が欠落しているので、コントラスト増強で偽信号増加による実効雑音が目立つ。そのため、受信処理と画像伸長と画像処理含む記録再生部の７での侵入者検知等の画像
処理が困難になっている。
【０００７】
具体的には、従来の固体撮像装置（単板カラーカメラ）の入射光量応答（入射光の輝度分布とカメラ出力の輝度分布とコントラスト増強出力の輝度分布対応）を示す模式図の図８のように、靄が濃く霧がかかったり、長距離の靄越しの被写体では、入射光の暗部レベルが定格の約３０％（出力信号の５５〜６５％）まで上昇し、ハイライトが定格の約０％（出力信号の８５〜９０％）まで低下し、輝度出力信号の振幅が約３０％まで低下する。
【０００８】
SMPTE244-1995により、ＮＴＳＣのアナログ複合映像信号(Video Burst Sync以下VBSと省略)の白レベルを100%（ＮＴＳＣ正式単位は100IREだがＰＡＬやコンポーネント信号の単位％と揃えるため、以下100%と省略）として同期先端レベル−40%の下の最低量子化レベル−42.1%からピーククロマレベル130.8％の上の最高量子化レベル端138.6%までをサンプリングしてデジタル化する。スタジオ機器では、１０bit、階調１０２４の４から１０１９までを割り当てるが、低価格の汎用機器では８bit、階調２５６の１から２５４までを割り当て、ブランキングレベルは６０で白レベルは２００となる。
したがって、図７の単板カラーカメラの映像信号処理部の４Ｆの出力にコントラストが一定になるまで増強する汎用８bit、２５６階調の暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の５Ｆを外付けしても、単板カラーカメラの映像信号処理部の４Ｆの出力信号輝度出力信号の振幅が約３０％、４２階調、約５．４bitを無理に暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部の５Ｆの出力では、１４０階調、約７．１bitに伸張するので、５Ｆで雑音低減しても偽信号増加による実効雑音が目立つ。そのため、受信処理と画像伸長と画像処理含む記録再生部の７での侵入者検知等の画像処理が困難になっている。
【０００９】
また、入射光の暗部レベル上昇とハイライトピーク低下と色信号ピーク低下による映像信号のコントラスト低下を補正するため、少なくとも１つ以上の撮像素子を有し、利得可変と自動絞り制御と自動電子感度制御とブラックレベル可変とガンマ可変と暗部伸張圧縮可変と白圧縮伸張可変と高輝度色伸張と色差演算増強と色信号利得可変と輪郭強調可変とフレア補正との少なくとも一つの機能を有する撮像装置において、２次元コントラスト増強と連動して利得と自動絞りと自動電子感度とブラックレベルとガンマ補正と暗部伸張と暗部圧縮と白圧縮と白伸張と色差演算増強と色信号利得と輪郭強調とフレア補正との少なくとも一つを可変する方法も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００３−２５９３８５号公報
【非特許文献】
【００１１】
【非特許文献１】土田聡、「可視・近赤外域における大気補正」、資源・環境リモートセンシング実用シリーズ２：地球観測データの処理、p.124-139，2002
【非特許文献２】近赤外光超高感度構造新世代  ソニー  CX-PALNo62  2004.10
【非特許文献３】シリコンの高感度近赤外検出素子  浜松ホトニクス  http://jp.hamamatsu.com/hamamatsu/press/2010/2010_01_13.html
【非特許文献４】ＴＩ製品カタログ、TC246CYM-B0 680 x 500 PIXELIMPACTRONTM PRIMARY COLOR CCDIMAGESENSOR 、SOCS089 MAY 2005
【非特許文献５】光ガイド内蔵撮像素子  日経エレクトロニクス  2010.07.12P15
【非特許文献６】900−1700nmInGaAsCCD  http://www.xenics.com/documents/20090714_LR_Xeva-1.7-640_scientific_A4.pdf
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は上記欠点を除去し、近赤外光を吸収する霞や霧でも、青い光を吸収する細かい土埃でも画面所定部分の暗部レベル上昇と映像信号のコントラスト低下を低減し、遠距離の被写体からコントラストの高い映像を撮影することができるカメラを実現することを目的とする。
【課題を解決するための手段】
【００１３】
そこで本発明は上記課題を解決するため、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、赤通過する帯域通過光学フィルタと近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタとの内の少なくとも１つを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の有効コントラストが第一の所定レベルを下回った場合は、赤通過する帯域通過光学フィルタ又は近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することを特徴とする撮像装置である。
【００１４】
具体的には、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部と可視光通過し近赤外光を除去する光学フィルタとを有し、（Ａ）赤通過する帯域通過光学フィルタと近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタとを有し、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することと、（Ｂ）可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルが第一の所定レベルを上回る場合、又は、該当映像信号のハイライトレベルが第二の所定レベルを下回る場合は、赤通過する帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを測定し、近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した上記撮像素子の映像信号の暗部レベルを測定し、上記測定した映像信号の暗部レベルのうち大きくない暗部レベルに対応する光学フィルタを入射光路に挿入した上記撮像素子の映像信号を出力すること、（Ｃ）赤通過する帯域通過光学フィルタと近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタと湿度計とを有し、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが第一の所定レベルを上回る場合または該映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、湿度計の湿度が所定値より高い場合は前記赤通過する帯域通過光学フィルタを選択挿入し白黒撮像し、湿度計の湿度が所定値より高くない場合は前記近赤外線の内の空気中の分子を透過する波長の帯域通過光学フィルタを選択挿入し白黒撮像することと、の少なくとも一方を特徴とする撮像装置である。
【００１５】
また、上記の撮像装置において、被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストの変化を検出するコントラスト検出部を有し、入力映像信号を走査線期間遅延する映像信号走査線遅延部（ラインメモリ）を６ヶ以上の偶数２Ｍヶと上記入力映像信号と走査線期間遅延後の映像信号とから垂直輪郭信号を生成する多画素垂直輪郭信号生成部と上記入力映像信号と走査線期間遅延後の映像信号とを画素遅延する映像信号画素遅延部を各６ヶ以上の偶数２Ｎヶ合計４ＭＮヶと上記入力映像信号をＭ走査線期間遅延した映像信号とＭ走査線期間遅延し各画素遅延後の映像信号とから水平輪郭信号を生成する多画素水平輪郭信号生成部と上記入力映像信号をＭ走査線期間遅延しＮ画素遅延した映像信号に上記多画素垂直輪郭信号と上記多画素水平輪郭信号とを加算する多画素輪郭補正部と、上記入力映像信号を垂直走査線期間遅延する映像信号画面遅延部（画面メモリ）を１ヶ以上と上記入力映像信号と垂直走査線期間遅延した映像信号とを走査線期間遅延する映像信号走査線遅延部（ラインメモリ）を各６ヶ以上の偶数２Ｍヶと上記入力映像信号と垂直走査線期間遅延した映像信号とを走査線期間遅延した映像信号とを各６ヶ以上の偶数２Ｎヶ合計４ＭＮヶと上記入力映像信号をＭ走査線期間遅延しＮ画素遅延した映像信号と上記入力映像信号と垂直走査線期間遅延した映像信号とそれぞれ垂直走査線期間遅延した映像信号とそれぞれ画素遅延した信号との相関を検出し相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成する相関平均信号生成部と上記入力映像信号をＭ走査線期間遅延しＮ画素遅延した映像信号と上記相関平均信号との平均をとる相関平均部と、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強部と、の少なくとも一方を有し、少なくとも被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多く（垂直周波数を低く）することと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、暗部の輪郭補正を強くすることと、ハイライトの輪郭強調を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、ハイライト圧縮を弱めることと、の少なくとも一方を行うことを特徴とする撮像装置である。
【００１６】
可視光と近赤外光を透過する解放絞り値Ｆ２以上の非球面レンズで焦点距離を可変し焦点面の変動はカムで機械補正するか電動で補正するレンズと、５．６μm以上深いフォトダイオードとフォトダイオード下の近赤外光を反射する微細構造と電荷増倍電極との少なくとも一つを含んだ可視光と近赤外光に感度を有する撮像素子と、１２ｂｉｔ以上のアナログフロントエンドと１２ｂｉｔ以上の複数ラインメモリ機能とフィールドメモリ機能とを含んだ雑音低減部との、少なくとも一つを有し、少なくとも可視光撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、可視光除去し近赤外光を通過する光学フィルタを入射光路に挿入した上記撮像素子のレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加し複数ラインメモリとフィールドメモリとを用いた雑音低減することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、赤帯域通過光学フィルタを入射光路に挿入した上記撮像素子のレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ、約１０４０ｎｍの帯域通過光学フィルタを上記撮像素子の入射光路に挿入しレンズ絞りを開くことと撮像素子で増倍することとアナログフロントエンドの増幅を増加し複数ラインメモリとフィールドメモリとを用いた雑音低減することとの少なくとも一つを行った映像信号の暗部レベルを測定すること、約１６５０ｎｍまでの近赤外光帯域通過レンズと約１２００−１２５０ｎｍと約１５５０−１６５０ｎｍとの少なくとも一方の帯域通過光学フィルタを入射光路に挿入し冷却した約１７００ｎｍまで感度を持つ少なくともフォトダイオードがInGaAs製の撮像素子で撮像した映像信号の暗部レベルを測定すること、の２つ以上を測定し、映像信号の暗部レベルが最も低い光学フィルタを入射光路に挿入した上記撮像素子の映像信号の黒レベルを低減させて出力し、上記映像信号を出力する撮像素子を冷却するか、暗電流のばらつきを画素単位で補正することを特徴とする撮像装置である。
【００１７】
撮像素子と映像信号処理機能と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタとを有する撮像装置において、上記光学フィルタには赤外光カットで可視光透過フィルタと可視光カットで赤外光透過フィルタと青と緑と赤外光とをカットで赤透過のフィルタつまり赤通過する帯域通過光学フィルタとを含み、湿度計と映像信号の暗部レベルを検出する機能とを有し、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが持ち上がった場合と動作命令を受けた場合は、湿度計の湿度が高い場合は前記赤通過する帯域通過光学フィルタを選択挿入し湿度計の湿度が低い場合は前記可視光カットで赤外光透過フィルタを選択挿入することと、前記赤通過する帯域通過光学フィルタを選択挿入し映像信号の暗部レベルを測定し、前記可視光カットで赤外光透過フィルタを選択挿入映像信号の暗部レベルを測定し、前記赤通過する帯域通過光学フィルタと前記可視光カットで赤外光透過フィルタとの映像信号の暗部レベルの測定結果のより低い方のフィルタを選択挿入し、前記赤通過する帯域通過光学フィルタと前記可視光カットで赤外光透過フィルタとの映像信号の暗部レベルが所定以下しか下がらない場合は赤外光カットで可視光透過フィルタを選択挿入することとの、の少なくとも一方を行うことを特徴とする撮像装置である。
【００１８】
また、撮像素子と映像信号処理機能と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも１枚以上の光学フィルタとを有する撮像装置において、上記光学フィルタには赤通過する帯域通過光学フィルタを含み、映像信号の暗部レベルを検出する機能とを有し、映像信号の暗部レベルが持ち上がった場合は、赤通過する帯域通過光学フィルタを選択挿入することを特徴とする撮像装置である。
【発明の効果】
【００１９】
上記によると、映像信号の暗部レベルを検出する機能により、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【図面の簡単な説明】
【００２０】
【図１Ａ】本発明の１実施例の固体撮像装置を用いた監視システムのブロック図（レンズと撮像素子は１組）
【図１Ｂ】本発明の１実施例の固体撮像装置を用いた監視システムのブロック図（レンズと撮像素子は２組）
【図１Ｃ】本発明の１実施例の固体撮像装置を用いた監視システムのブロック図（レンズと撮像素子は３組）
【図２Ａ】本発明の１実施例のフローチャート（レンズと撮像素子が１組）
【図２Ｂ】本発明の１実施例のフローチャート（レンズと撮像素子が２組）
【図２Ｃ】本発明の１実施例のフローチャート（レンズと撮像素子が３組）
【図２Ｄ】本発明の１実施例のフローチャート（レンズと撮像素子が１組）
【図２Ｅ】本発明の１実施例のフローチャート（湿度計有り）
【図３】本発明の１実施例の固体撮像装置の撮像部と映像信号処理部を示すブロック図
【図４Ａ】本発明の１実施例の固体撮像装置の入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す模式図
【図４Ｂ】本発明の１実施例の固体撮像装置の入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す模式図
【図５】本発明の１実施例の相関平均含む多画素輪郭補正部を示すブロック図
【図６】本発明の１実施例の多画素輪郭補正の動作を示す模式図
【図７】従来の固体撮像装置を用いた監視システムのブロック図
【図８】従来の固体撮像装置の入射光量応答を示す模式図
【発明を実施するための形態】
【００２１】
以下、本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ａと図１Ｂと図１Ｃと、本発明の１実施例のフローチャートの図２Ａと図２Ｂと図２Ｃと図２Ｄと図２Ｅと、本発明の１実施例の固体撮像装置の撮像部と映像信号処理部を示すブロック図の図３と、を用いて、本発明の実施例の概要を説明する。次に、レンズと撮像素子が１組の本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ａと本発明の１実施例のフローチャートの図２Ａと図２Ｄと図２Ｅとを用い実施例１を説明する。次に、レンズと撮像素子が２組の本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ｂと本発明の１実施例のフローチャートの図２Ｂとを用い実施例２を説明する。さらに、レンズと撮像素子が３組の本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ｃと本発明の１実施例のフローチャートの図２Ｃとを用い実施例３を説明する。
なお、本発明の１実施例の固体撮像装置を用いた監視システムの動作は、本発明の１実施例のフローチャートの図２Ａ〜図２Ｅに限らず、図２Ａ〜図２Ｅの動作を組み合わせても良い。
【００２２】
図１Ａ、図１Ｂ、図１Ｃの本発明の１実施例の固体撮像装置を用いた監視システムのブロック図において、１Ａ、１Ｂ、１Ｃは固体撮像装置、２と１７と２０は可視光と近赤外光とを結像するレンズ、１９は近赤外光を結像するレンズ、３は可視光と近赤外光の撮像部撮像部で３Ａ，３Ｂ，３Ｄはシリコン（Si）撮像部、３Ｃはインジウムガリウム砒素（InGaAs）撮像部である。４は全画素暗電流ばらつき補正と相関平均と多画素輪郭補正とコントラスト増強含む映像信号処理部であり、５は画像圧縮含む送信処理部、６はＣＰＵである。７は受信処理と画像伸長と画像処理含む記録再生部であり、８は湿度計であり、９は８ｂｉｔ相当のアナログＶＢＳ（Ｖｉｄｅｏ  Ｂｕｒｓｔ  Ｓｙｎｃ）入力の監視用モニタの表示部である。１０Ａは撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタで４００−７００ｎｍ通過と、６００−７００ｎｍ通過と、７００ｎｍ以上の水蒸気透過帯域（約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍ）の通過との帯域通過光学フィルタを含む。１０Ｂは撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタであって、４００−７００ｎｍ通過と、６００−７００ｎｍ通過と、７００ｎｍ以上の水蒸気透過帯域（約７４０ｎｍ、約７８０ｎｍ、約８６０ｎｍ、約１０４０ｎｍ）通過の光学フィルタを含む。また、１８は近赤外光の内の空気中の（水蒸気と酸素の）分子透過帯域（約１２００−１２５０ｎｍ、約１５５０−１６５０ｎｍ）通過の光学フィルタを含む。１４は電動雲台、２１は分光光学系である。Linは入射光で、ＬａとＬｂとＬｃとＬｄとＬｅとは光学フィルタを通過した入射光である。Viは固体撮像装置内部映像信号（１４ｂｉｔ）で、Voは外部出力映像信号（８ｂｉｔ相当）で、VIPはインタネットプロトコル画像パケット信号で、VBSはアナログ複合映像信号（８ｂｉｔ相当）である。外部出力映像信号Voを記録再生部７や監視用モニタ９に入力しても良い。
【００２３】
本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ａと、従来の固体撮像装置を用いた監視システムのブロック図の図７との相違は、８の湿度計の有無と、１０Ａの光学フィルタの通過波長と、全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部の４である。つまり詳細は後で述べるが、全画素暗電流ばらつき補正と相関平均とによる雑音低減と、多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強とが、映像信号処理部の４の中において１４ｂｉｔで処理されていることである。
【００２４】
図３は、固体撮像装置のＣＣＤを用いた撮像部３と映像信号処理部４の一例であり、撮像部３においてＣＣＤの代わりにCMOS撮像素子を用いても良い。図３の撮像部３において、６はＣＰＵ、１２はＡＦＥ（Ａｎａｌｏｇ
Ｆｒｏｎｔ Ｅｎｄ）、１３は垂直転送駆動部、２２は冷却部、２３は冷却駆動部、２４は温度センサである。図３の映像信号処理部４において、２５はＯＢ（Ｏｐｔｉｃａｌ
Ｂｌａｃｋ）検出含むコントラスト検出部、２６は全画素基準暗電流画面メモリ、２７は乗算器、２８は減算器、２９は周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部、であり、３０は黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強部含む映像信号処理部である。
図１Ａの入射光Linを光学フィルタ１０Ａを通過し図３のＣＣＤ１１で電気信号に変換し、アナログフロントエンド（ＡＦＥ）１２で１４ｂｉｔ程度の撮像装置内部映像信号Viとする。図３の温度センサ２４でＣＣＤ１１の温度を検出し、暗電流の変化量を算出する。ＣＣＤ１１がＥＭ−ＣＣＤでは温度と電荷増倍の積で暗電流の変化量が定まるので、詳細は後述するがＯＢ検出含むコントラスト検出部の２５で、Ｖ−ＯＢのＨ−ＯＢ平均値から暗電流の変化量とを算出する。全画素基準暗電流画面メモリの２６に記憶された全画素でばらついた基準暗電流に乗算器の２７で暗電流の変化量をかけ全画素でばらついた暗電流を算出し、減算器２８で映像信号Viから減算し、全画素の暗電流ばらつきを補正する。詳細は後述するが、周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部の２９で相関平均と多画素輪郭補正を行い、映像信号処理部の３０で、黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かでコントラストを増強し、ガンマ補正とニー補正して８ｂｉｔ程度の出力映像信号Voとする。
【実施例１】
【００２５】
本発明の１実施例の固体撮像装置を用いた監視システムはブロック図の図１Ａのように、可視光と近赤外光を透過するレンズ２と可視光と近赤外光に感度を有する撮像部３と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタ１０Ａと映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出する図３のコントラスト検出部２５を含む映像信号処理部の４とを有する。そこで、本発明の１実施例のフローチャートの図２Ａと図２Ｄとのように、カラー撮像の映像信号の有効コントラストが第一の所定レベルを下回った場合は、近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
【００２６】
図２Ｄは、本発明の１実施例の一例のフローチャートであり、６１の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、６２のカラー撮像映像信号の暗部は第一の所定値より持ち上がっているかの判定で、Ｎｏなら６４の可視光透過近赤外光カットのフィルタでカラー撮像する。６２の判定で、Ｙｅｓなら６３の青緑カット赤透過近赤外光カットのフィルタで白黒撮像する。６３のあと８０の「映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Ｎｏなら６７の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになる。６５の判定で、Ｙｅｓなら６６の可視光カットで空気中（水蒸気と酸素との）分子透過の近赤外光を透過のフィルタで白黒撮像してから６７になる。６７のあと、６８の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、６９の終了となる。図２Ａから図２Ｅにおいて、６２または８０は「映像信号のハイライトレベルレベルが第二の所定レベルを下回るか」でも良い。
【００２７】
つまり、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部とを有し、可視光撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、赤又は近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力し、赤撮像の映像信号の暗部レベルが第一の所定レベルを上回る場合または被写体の可視光及び近赤外光の撮像の映像信号のハイライトレベルレベルが第二の所定レベルを下回る場合は、近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力することを特徴とする撮像装置である。
また、上記光学フィルタは、約４００−７００ｎｍと、約６００−７００ｎｍと、約７００ｎｍ以上の水蒸気透過帯域通過の光学フィルタであり、順次挿入し、映像信号の暗部レベルが低い方のフィルタを選択挿入し撮影することもできる。例として本発明の１実施例の他の例のフローチャートの図２Ａのように、６１の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、６２の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Ｎｏなら６４の可視光透過近赤外光カットのフィルタでカラー撮像する。６２の判定で、Ｙｅｓなら６３の青緑カット赤透過近赤外光カットのフィルタで白黒撮像し６６の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。６５の「６６の映像信号の暗部は６３の映像信号の暗部より持ち上がっているか」の判定で、Ｎｏなら６６で撮像した映像に対して６７で多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになる。６５の判定で、Ｙｅｓなら６３の青緑カット赤透過近赤外光カットのフィルタで白黒撮像してから６７になる。６７のあと、６８の黒レベルを下げ暗部立ち上がりとハイライト圧縮とを補正するとなり、６９の終了となる。
上記によると、近赤外光を吸収する霞や霧でも青い光を吸収する細かい土埃でも、映像信号の暗部レベル上昇とコントラスト低下の検出でも灰色の岩肌と霧と判別が困難であっても、映像信号の暗部レベルを検出する機能とフィルタ交換の映像信号の暗部レベルの測定により、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【００２８】
また簡易には、可視光通過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の有効コントラストが第一の所定レベルを下回った場合は、赤通過する帯域通過光学フィルタ又は近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
この方法でも近赤外光を吸収する霞や霧でも青い光を吸収する細かい土埃でも、画面所定部分の暗部レベル上昇と映像信号のコントラスト低下を低減し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【００２９】
また、湿度計８を有するので、本発明の１実施例のまた他の例のフローチャートの図２Ｅのように、６１の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、６２の「カラー撮像映像信号の暗部第一の所定値より持ち上がっているか」の判定で、Ｎｏなら６４の可視光透過近赤外光カットのフィルタでカラー撮像する。６２の判定で、Ｙｅｓなら７０の「湿度計の湿度は所定値より持ち上がっているか」の判定し、Ｎｏなら６６の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。７０の判定で、Ｙｅｓなら、６３の青緑カット赤透過近赤外光カットのフィルタで白黒撮像する。６３と６６のあと６７の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするとなり、６８の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、６９の終了となる。
つまり、赤外光カットで可視光透過フィルタ挿入時に映像信号の暗部レベルが持ち上がった場合は、湿度計の湿度が高い場合は前記青緑カットで赤透過フィルタを選択挿入し白黒撮像し、湿度計の湿度が低い場合は前記可視光カットで赤外光透過フィルタを選択挿入し白黒撮像する。
湿度計８は、撮像装置１Ａの近くより、監視する被写体の近くの方が、被写体の近くの霧と細かい土埃との判定には、好ましい。
【００３０】
以下、本発明の１実施例の映像信号の黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強補正の動作を、本発明の１実施例の固体撮像装置の入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す図の図４Ａと図４Ｂとを用いて、説明する。
【００３１】
入射光の暗部が少し上がっても、映像信号の黒レベルを下げてガンマ補正を増強しなかったり低減すると、出力映像信号Voのコントラストを確保できる。入射光の暗部が定格の２５％（出力信号の５０〜６０％）付近まで上がると、映像信号の黒レベルを下げてガンマ補正を増強しないほうが出力のコントラスト確保できる。入射光の暗部が定格の３０％（出力信号の５５〜６５％）付近まで上がると、映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する暗部補正のほうが出力のコントラスト確保できる。映像信号の黒レベルを下げて暗部のガンマ補正を低減し暗部を圧縮し制限する映像信号処理は、画面全体に均一に行うより、画面各部で行うか画素単位で行う方が効果が高い。
また、暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成すれば、アイリスが絞られず、ハイライトレベルの低下が少なく、定格の約８５％（出力信号の８５〜９５％）まで回復する。
【００３２】
図４Ａと図４Ｂとに本発明の１実施例の撮像装置の画面の所定の部分のコントラスト増強の、入射光の輝度分布と内部映像信号Ｖｉの輝度分布と出力映像信号Ｖｏの輝度分布対応を示す。図４Ａでは、暗部の入射光量が定格の約３０％の場合、映像信号の黒レベルを定格の−５０％付近まで大きく下げて暗部のガンマ補正を低減し、映像信号の暗部レベルを出力信号の約５５％から約１５％まで下げる。また、利得を上げるか絞りを開くか電子シャッタを遅くして、入射光の暗部が上がったことと、映像信号の黒レベルを下げたことによるハイライトの低下を、例えば、定格の約６０％、出力信号の約８０％から、定格の約７０％、出力信号の約８５％まで回復させる。輝度出力信号の振幅が約７０％１０５階調約6.8bitになる。さらに輪郭強調を強くする。
【００３３】
図４Ｂに、本発明の他の１実施例の撮像装置の入射光の輝度分布と出力映像信号Ｖｏの輝度分布と対応を示す。図４Ｂでは、入力映像信号の暗部レベル上昇を検出して、映像信号の黒レベルを定格の−100%付近まで大きく下げ暗部圧縮と暗部制限を実施し、暗部のガンマ補正を低減し、暗部の輪郭強調を強くして、出力映像信号の暗部レベルを一定（図４Ｂでは約５％）にする。映像信号の暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成し、出力信号のハイライトを回復する。さらに、入力映像信号のハイライトレベル低下を検出して、ハイライト圧縮を弱め、ハイライト色伸張を強くし、ハイライトの輪郭強調を強くして、出力映像信号のハイライトレベルを一定（図４Ｂでは約９５％）にする。コントラストが確保されている映像信号では暗部とハイライトの輪郭強調を弱くする。
【００３４】
以下、本発明の１実施例の霞や霧や細かい土埃で、変調度が低域から低下することを補正する例を、本発明の１実施例の相関平均含む多画素輪郭補正部を示すブロック図の図５と、本発明の１実施例の多画素輪郭補正の動作を示す模式図の図６とを用い、説明する。
図５において、２９は相関平均含む多画素輪郭補正部であり、３１と４３は画面内遅延部、０〜２Ｍヶ (６以上の偶数, 本発明の１実施例では,
Ｍ=３)画素遅延を行う３２〜３８は画素遅延６ヶ部、４０は映像レベル判定部、４１と４２は輪郭信号生成部、４４は相関平均部、４５〜５２は加算器、５３は正負と増幅度を可変する掛け算器、５４は小振幅大振幅の圧縮制限部、５５は輪郭補正部、５６はスイッチ、Ｍ１〜Ｍ６はラインメモリ部、Ｍ７は画面メモリ部、Ｎ０〜Ｎ６は負の掛け算器、Ｐ３は正の掛け算器である。
【００３５】
補正前信号は、画面内遅延部の３１において、２Ｎヶ(６以上の偶数, 本発明の１実施例では, Ｎ=３)のＭ１〜Ｍ６のラインメモリ部で走査線（Ｈ）期間遅延し０Ｈから６Ｈの合計７Ｈの信号となる。３Ｈ信号は、さらに３８の画素遅延６ヶ部で画素時間つまりＣＣＤクロック時間し合計７組の遅延信号となる。合計７Ｈの信号と合計７組の遅延信号とは、４１と４２との輪郭信号生成部に入り、垂直輪郭信号と水平輪郭信号とになり、加算器５１で加算され、小振幅大振幅圧縮制限部５４で小振幅と大振幅とを圧縮制限され、３Ｈ３画素遅延信号を入力した映像レベル判定部４０の制御を受ける正負掛算器５３で輪郭補正信号となり、３Ｈ３画素遅延信号または相関平均加算の３Ｈ３画素遅延信号に加算されて、補正後信号となる。
その結果、本発明の１実施例の多画素輪郭補正部の動作を示す模式図である図６の(a)低周波数から低い変調度の補正前信号のように低周波数から変調度が低下していても、(b)輪郭補正７画素成分と、(c)輪郭補正５画素成分と、(d)輪郭補正３画素成分とを合成し、(e)本発明補正後信号のように、輪郭が補正できる。つまり、低周波数から変調度が低下していても、輪郭が再現できる。
【００３６】
また、合計７Ｈの信号は３２から３８の画素遅延６ヶ部で画素時間つまりＣＣＤクロック時間遅延し各Ｈで合計７組で総計４９ヶの遅延信号となる。さらに、補正前信号は、画面メモリのＭ７で、垂直走査（Ｖ）期間遅延され、画面内遅延部の４３において画面内遅延部の３１と同様に、走査線（Ｈ）期間遅延し０Ｈから６Ｈの合計７Ｈの信号となり、画素時間つまりＣＣＤクロック時間遅延し各Ｈで合計７組で総計４９ヶの遅延信号となる。
画面内遅延部の３１からの４９ヶの遅延信号と画面内遅延部の４３からの４９ヶの遅延信号との総計９８ヶの遅延信号は相関平均部４４で９８ヶの遅延信号と３Ｈ３画素遅延信号との相関を算出され、９８ヶの遅延信号の内相関の高い信号を重点加算平均する。すなわち、３Ｈ３画素遅延信号と９８ヶの遅延信号の相関を検出し、
相関の高い信号を相関に比例して重点加算平均した相関平均信号を生成し、上記入力映像信号をＭ走査線期間遅延しＮ画素遅延した映像信号と上記相関平均信号との平均をとる。その結果、雑音が低減する。
被写体の可視光及び近赤外光の撮像の映像信号の暗部レベルが所定レベルを上回る場合は、多画素輪郭補正の垂直輪郭補正の強調中心となる走査線本数を多くすることと、多画素輪郭補正の水平輪郭補正の強調中心となる周波数を低くすることと、多画素輪郭補正を強くすることと、相関平均を強くすることと、黒レベルを低下することと、暗部のガンマ補正を弱くすることと、暗部を圧縮制限することと、の少なくとも一方を行う。
【００３７】
コントラスト増強後のVoのＳ／Ｎ（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ ｒａｔｉｏ）確保のため、ＡＦＥ１２と映像信号処理部４とは、ＡＦＥ１２の増幅を増加しなくても、図２の映像信号処理のダイナミックレンジ確保とに最低でも８ｂｉｔ＋２ｂｉｔで１０ｂｉｔ以上は必要であり、１２ｂｉｔ以上が好ましい。ＡＦＥ１２の増幅を４ｂｉｔ（１６倍）増加する際は、Ｓ／Ｎ確保のため、ＡＦＥは１０ｂｉｔ＋４ｂｉｔで１４ｂｉｔ以上は必要である。図１Ｂ，図１Ｃの撮像部３Ａ、３Ｂ、３Ｃ、３Ｄも同様である。
【００３８】
湿度計に連動するという制御機能の追加のみで、暗部レベルが出力信号の約５％に下がり、暗部レベルを一定にした映像信号を用いてアイリス制御出力を生成するのでアイリスが絞られず、ハイライトが出力信号の約９５％と上がり、出力輝度信号振幅が出力信号の約９０％確保できる。
靄が濃く霧がかかったり、長距離の靄越しの被写体では、入射光の暗部レベルが定格の約３０％まで上昇し、ハイライトが定格の約７０％まで低下しても、出力映像信号の被写体成分のコントラストが容易に判別できる。そのため、撮像装置の大型化や原価上昇することなく、遠距離監視が可能になる。
【００３９】
つまり、撮像装置において、映像信号の第一の所定以上の暗部レベルを検出した場合、映像信号の黒レベルを低減させることを特徴とする撮像装置である。
実施例１は、図１Ａのレンズ２と撮像部３とが１組で小型化が容易なので、霧や土埃の多い鉄道沿線や高速道路の監視に適している。
【００４０】
可視光に近い近赤外光の空気中の（水蒸気と酸素との）分子を透過する波長のでは約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍと狭帯域の帯域通過となり、入射光のエネルギーが減衰する。従って、下記の実効感度向上策のいずれか一つがが必要となる。
解放絞りの大きいレンズを用い入射光を増加させる。解放絞りの大きいレンズは大型で高価となる。
前述の非特許文献２の様に、約５．６μm以上深いフォトダイオードのＳｉ撮像素子を用いて（約＋４．５ｄＢの）高感度とする。または、前述の非特許文献３の様に、フォトダイオード下に近赤外光を反射する微細構造を形成し近赤外光を閉じ込めて吸収率を増やすＳｉ撮像素子を用いて（約＋９ｄＢの）高感度とする。微細構造を形成したＳｉ撮像素子でも約４００−１２００ｎｍの高感度撮像も可能である。さらに、前述の非特許文献４の様に、電荷増倍電極の撮像素子を用いて（＋４０ｄＢ以上の）高感度とする。微細加工の進歩で撮像素子の改良が進んでいる。いずれにせよ、暗電流が目立つので、撮像素子を冷却するか、暗電流のばらつきを画素単位で補正するかが必要になる。
【００４１】
撮像素子の暗電流は温度の指数関数に比例する。具体的にはSi撮像素子の暗電流は、６℃温度上昇で２倍になる。従って、撮像素子の温度を温度センサで検出し、検出した温度から記憶しておいた非増倍時の撮像面の全画素の基準暗電流の測定時の撮像素子温度を減算した値で２のべき乗を算出し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流とＡＦＥ１２の増幅度とを掛け算すれば、現在の非増倍時の撮像面の全画素の暗電流の補正値を算出できる。
【００４２】
また、ＣＣＤ１１がＥＭ−ＣＣＤでは温度と電荷増倍の積で暗電流の変化量が定まる。そこで、ＣＣＤ撮像素子の垂直方向の光学的黒画素（ Vertical-Optical Black：Ｖ−ＯＢ）ライン内のＨ−ＯＢを加算平均した値、またはＶ−ＯＢライン内のＨ−ＯＢの最小値を、Ｖ−ＯＢライン内のＨ−ＯＢの暗電流の代表値とする。Ｖ−ＯＢライン内のＨ−ＯＢには、垂直スミア成分も水平スミア成分もない。従って、映像信号処理部で、現在のＶ−ＯＢライン内のＨ−ＯＢの代表値を検出して、検出した現在のＶ−ＯＢライン内のＨ−ＯＢの代表値を記憶しておいた非増倍時のＶ−ＯＢライン内のＨ−ＯＢの基準代表値で除算し、記憶しておいた非増倍時の撮像面の全画素の基準暗電流を掛け算すれば、現在の撮像面の全画素の暗電流の補正値を算出できる。算出した現在の撮像面の全画素の暗電流の補正値を映像信号から減算すれば、撮像面の全画素の暗電流のばらつきを補正でき、Ｓ／Ｎが向上し、実効的に感度が向上する。
または、ＡＦＥ１２の増幅を増加し複数ラインメモリとフィールドメモリとを用い周辺画素と前画面画素との適応型平均により雑音低減し実効的な（約１２ｄＢの）高感度とする。ＡＦＥ１２の増幅を４ｂｉｔ（１６倍）増加する際は、Ｓ／Ｎ確保のため、ＡＦＥは８ｂｉｔ＋４ｂｉｔで１２ｂｉｔ以上は必要であり、１４ｂｉｔ以上が好ましい。全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部４ともＡＦＥと同一ｂｉｔ以上が好ましい。
【００４３】
前述の非特許文献５の短波長光が減衰せずにフォトダイオードに届く裏面照射構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約４００−１７００ｎｍの高感度撮像も可能である。短波長光がほとんど減衰せずにフォトダイオードに届く光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約６００−１７００ｎｍの高感度撮像も可能である。短波長光の透過率の良い光ガイドで、光ガイド内蔵構造を少なくともフォトダイオードがInGaAs製の撮像素子に適用すれば、約４００−１７００ｎｍの高感度撮像も可能である。フォトダイオードがInGaAs製の方が約９００−１７００ｎｍの高感度撮像が容易であり、フォトダイオード以外はＳｉ製の方が微細加工が容易である。
【００４４】
アッベ数９５と分散のほとんどないガラスを用いた非球面レンズで、反射防止コーティングを各波長向けを単層とし、焦点距離を可変した際の焦点面の変動はカムで機械補正するか電動で補正するズームレンズ相当のバリフォーカルレンズを製作すれば、空気とレンズの境界で光が反射する面が少なくなり、収差も少なく、約４００−１７００ｎｍのコントラストの高い結像も可能である。
【００４５】
上記によると、映像信号の暗部レベル上昇とコントラスト低下の検出でも灰色の岩肌と霧と判別が困難であっても、映像信号の暗部レベルを検出する機能と湿度計とにより、撮像素子直前に光学フィルタを選択挿入し、遠距離の被写体からコントラストの高い映像を撮影することができる。
【実施例２】
【００４６】
実施例１と同様の動作の説明は省略し、実施例２特有の構成と動作を、本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ｂと本発明の１実施例のフローチャートの図２Ｂとを用いて説明する。
【００４７】
本発明の実施例２の固体撮像装置を用いた監視システムのブロック図の図１Ｂのように、可視光と近赤外光を透過するレンズ１７と可視光と近赤外光に感度を有する撮像部３Ｄと上記撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタ１０Ｂと、近赤外光を透過するレンズ１９と近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタ１８と近赤外光に感度を有する撮像部３Ｃと、映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出する図３のコントラスト検出部２５を含む全画素暗電流ばらつき補正と相関適応型平均含む映像信号処理部４とを有する。
【００４８】
そこで、本発明の１実施例のフローチャートの図２Ｂのように、カラー撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、光学フィルタ１０Ｂの内で近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入し撮像部３Ｄで撮像した映像の暗部レベルと撮像部３Ｃで撮像した映像の暗部レベルとを比較し、暗部レベルの低い映像信号を出力する。
具体的には、図２Ｂの６１の開始のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、６２の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Ｎｏなら６４の可視光透過近赤外光カットのフィルタでカラー撮像する。６２の判定で、Ｙｅｓなら６６の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像する。また、９０のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。その後、７１の「６６の映像信号の暗部は９０のＩｎＧａＡｓ撮像映像信号の暗部より持ち上がっているか」の判定で、Ｎｏなら７３の可視光カットで空気中分子透過の近赤外光を透過のフィルタでシリコン撮像部３Ｄにより白黒撮像した映像信号を出力する。６５の判定で、Ｙｅｓなら、７２のInGaAs撮像映像信号を出力する。７２または７３の後は、６７の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになり、６８の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、６９の終了となる。
【００４９】
本発明の実施例２のレンズと撮像素子は２組の固体撮像装置を用いた監視システムのブロック図の図１Ｂのように、約４００−９００ｎｍの可視光と近赤外光を結像するレンズと、５．６μm以上深いフォトダイオード（＋４．５ｄB）のＳｉ撮像素子と約４００−７００ｎｍ通過と、約６００−７００ｎｍ通過と、約７００ｎｍ以上の水蒸気透過帯域（約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ）の通過との帯域通過光学フィルタと使用し、可視光と約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍの酸素と水蒸気とを透過する近赤外光を撮像し、約１０００−１６５０ｎｍ用レンズと、InGaAs撮像素子を使用し、約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍの水蒸気を透過する近赤外光を撮像しても良い。
約４００−１０００ｎｍの可視光と近赤外光を結像するレンズと、フォトダイオード下の近赤外光を反射する微細構造のＳｉ撮像素子を使用し約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍの酸素と水蒸気とを透過する近赤外光を撮像し、約１２００−１６５０ｎｍ用レンズと、InGaAs撮像素子を使用し約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍの水蒸気を透過する近赤外光を撮像しても良い。
【００５０】
映像信号の暗部レベルが最も低い光学フィルタを入射光路に挿入した撮像素子の映像信号を出力すれば、ネットワーク等の伝送路が有効に活用できる。
実施例２は、図１Ｂのレンズ１７と１９とが受け持つ波長帯域が上記の様に比較的狭いので高倍率望遠ズーム化が容易なので、霧や土埃の多い海岸や海峡や国境等の遠距離の監視に適している。
【実施例３】
【００５１】
実施例１と実施例２と同様の動作の説明は省略し、実施例３特有の構成と動作を本発明の実施例３の固体撮像装置を用いた監視システムのブロック図の図１Ｃと本発明の実施例３のフローチャートの図２Ｃとを用いて説明する。
説明する。
【００５２】
本発明の１実施例の固体撮像装置を用いた監視システムのブロック図の図１Ｃのように、可視光と近赤外光を透過するレンズと可視光と近赤外光に感度を有する撮像素子と上記撮像素子直前に選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタと映像信号のハイライトレベルが低下または暗部レベルが上昇の有効コントラストを検出するコントラスト検出部とを有する。
【００５３】
そこで、本発明の１実施例のフローチャートの図２Ｃのように、カラー撮像の映像信号の暗部レベルが第一の所定レベルを上回った場合は、約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍ等の近赤外光の内の空気中の（水蒸気と酸素との）分子を透過する波長の帯域通過光学フィルタを入射光路に挿入した撮像素子で撮像した映像を出力する。
具体的には、６１の開始のあと６１の開示のあとに可視光透過し近赤外光を除去する光学フィルタを入射光路に挿入した撮像素子で撮像した映像信号の暗部レベルを判断する。即ち、６２の「カラー撮像映像信号の暗部は第一の所定値より持ち上がっているか」の判定で、Ｎｏなら６４の可視光透過近赤外光カットのフィルタでカラー撮像する。６２の判定で、Ｙｅｓなら７４の青緑光カットで赤透過で近赤外光カットのフィルタつまり赤透過の帯域通過光学フィルタで白黒撮像する。また、９０のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。その後、７５の「７４の映像信号の暗部は９０のＩｎＧａＡｓ撮像映像信号の暗部より持ち上がっているか」の判定で、Ｎｏなら７６の青緑光カットで赤透過で近赤外光カットのフィルタで白黒撮像した映像信号を出力する。７５の判定で、Ｙｅｓなら、６６の可視光カットで空気中の（水蒸気と酸素との）分子透過の近赤外光を透過のフィルタで白黒撮像し、９１のInGaAs撮像素子を用いて空気中の水蒸気を透過する近赤外光を撮像する。そして、７７の「６６の映像信号の暗部は９１のInGaAs撮像映像信号の暗部より持ち上がっているか」の判定で、Ｎｏなら、７３の可視光カットで空気中分子透過の近赤外光を透過のフィルタで白黒撮像した映像信号を出力する。７７の判定でＹｅｓなら、７２のＩｎＧａＡｓ撮像映像信号を出力する。７６、７２または７３の後は、６７の多画素輪郭補正の強調の中心の垂直水平周波数を下げ、多画素輪郭補正を強く、暗部の輪郭補正を強く、ハイライトの輪郭強調を強く、相関平均を強くするになり、６８の黒レベルを低下し、暗部のガンマ補正を弱く、暗部を圧縮制限し、ハイライト圧縮を弱めるとなり、６９の終了となる。
【００５４】
本発明の１実施例のレンズと撮像素子は３組の固体撮像装置を用いた監視システムのブロック図の図１Ｃのように、NDフィルタと、素通しフィルタと、約600ｎｍ以上通過フィルタとの光学フィルタと、分光プリズムまたは分光ミラーの約４００−７００ｎｍと約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍ，約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍとの分光光学系を設ける。約４００−７００ｎｍをＳｉ製可視光用撮像素子と約７４０ｎｍ，約７８０ｎｍ，約８６０ｎｍ，約１０４０ｎｍをＳｉ製近赤外光用撮像素子と約１２００−１２５０ｎｍ，約１５５０−１６５０ｎｍを少なくともフォトダイオードがInGaAs製の撮像素子を使用すると良い。
また、NDフィルタと、素通しフィルタと、青緑除去し赤近赤外透過とのフィルタとを含む電動フィルタディスクを用いる。
【００５５】
NDフィルタまたは素通しフィルタを選択して可視光を撮像した映像信号の暗部レベルが持ち上がった場合は、青緑除去し赤近赤外透過とのフィルタを選択して、映像信号の暗部レベルが最も低い撮像素子の映像信号を出力すれば、ネットワーク等の伝送路が有効に活用できる。
実施例３は、図１Ｃの撮像部３Ａ，３Ｂ，３Ｃが各波長帯ごとに独立し，複数ラインメモリと暗部レベル検出含む映像信号処理部３０で常時各波長帯の撮像映像信号の暗部レベルが検出できるので、天候が急変する、霧や土埃の多い山岳やダムや海峡等の監視に適している。
【符号の説明】
【００５６】
１Ａ，１Ｂ，１Ｃ，１Ｅ：固体撮像装置、
２，１７，２０：可視光と近赤外光とを結像するレンズ、
３：可視光と近赤外光の撮像部、
３Ａ，３Ｂ，３Ｃ，３Ｄ，３Ｅ：シリコン（Si）撮像部、
３Ｃ：インジウムガリウム砒素（InGaAs）撮像部、
４：全画素暗電流ばらつき補正と相関平均と多画素輪郭補正と黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強含む映像信号処理部、
４Ｆ：映像信号処理部、５：画像圧縮含む送信処理部、
５Ｆ：暗部立ち上がり補正のコントラスト増強と画像圧縮含む送信処理部、
６：ＣＰＵ、７：受信処理と画像伸長と画像処理含む記録再生部、
８：湿度計、９：表示部（監視用モニタ）、
１０Ａ、１０Ｂ：選択挿入する駆動部を備えた少なくとも３枚以上の光学フィルタ、
１１：ＣＣＤ、１２：ＡＦＥ、１３：垂直転送駆動部、１４：電動雲台、
１９：近赤外光を結像するレンズ、
２１：分光光学系、２２：冷却部、２３：冷却駆動部、２４：温度センサ、
２５：ＯＢ検出含むコントラスト検出部、２６：全画素基準暗電流画面メモリ、
２７：乗算器、２８：減算器、
２９：周辺画素と前画面周辺画素との相関平均含む多画素輪郭補正部、
３０：黒レベルを低下させ暗部のガンマ補正を弱くするか暗部を圧縮制限する（暗部補正）かハイライト圧縮を弱める（ハイライト補正）かの少なくとも一方を行うコントラスト増強部含む映像信号処理部、
３１，４３：画面内遅延部、３２〜３８：画素遅延６ヶ部、４０：映像レベル判定部、
４１，４２：輪郭信号生成部、４４：相関平均部、４５〜５２：加算器、
５３：正負と増幅度を可変する掛け算器、５４：小振幅大振幅の圧縮制限部、
５５：輪郭補正部、５６：スイッチ、
Ｍ１〜Ｍ６：ラインメモリ部、Ｍ７：画面メモリ、
Ｎ１〜Ｎ７：負の掛け算器、Ｐ３：正の掛け算器、
Lin：入射光、Vi：固体撮像装置内部映像信号（１４ｂｉｔ）、
Vo：外部出力映像信号（８ｂｉｔ）、VBS：アナログ複合映像信号（８ｂｉｔ相当）
【図１Ａ】
0005605904.tif 000002
【図１Ｂ】
0005605904.tif 000003
【図１Ｃ】
0005605904.tif 000004
【図２Ａ】
0005605904.tif 000005
【図２Ｂ】
0005605904.tif 000006
【図２Ｃ】
0005605904.tif 000007
【図２Ｄ】
0005605904.tif 000008
【図２Ｅ】
0005605904.tif 000009
【図３】
0005605904.tif 000010
【図４Ａ】
0005605904.tif 000011
【図４Ｂ】
0005605904.tif 000012
【図５】
0005605904.tif 000013
【図６】
0005605904.tif 000014
【図７】
0005605904.tif 000015
【図８】
0005605904.tif 000016