(57)【要約】【課題】夜間等の低照度環境下においても霧などの発生を検出可能とし、輝度信号を補正することにより、画像の視認性を向上させる。【解決手段】信号処理装置は、フィルタと判断部と補正部とを具備する。フィルタは、輝度信号の高周波成分と赤外光信号の高周波成分とを抽出する。判断部は、抽出された輝度信号の高周波成分より抽出された赤外光信号の高周波成分の方が大きいか否かを判断する。補正部は、判断の結果に基づいて輝度信号を補正する。【選択図】図４
2016082390.tif 000002
【特許請求の範囲】
【請求項１】
輝度信号の高周波成分と赤外光信号の高周波成分とを抽出するフィルタと、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、
前記判断の結果に基づいて前記輝度信号を補正する補正部と
を具備する信号処理装置。
【請求項２】
前記補正部は、前記判断部において前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいと判断された場合に所定の信号レベルより低い信号レベルの前記輝度信号を減衰させる請求項１記載の信号処理装置。
【請求項３】
前記補正部は、前記判断部において前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいと判断された場合に前記輝度信号に前記抽出された前記赤外光信号の高周波成分を所定の比率に基づいて混合する請求項１記載の信号処理装置。
【請求項４】
前記判断部は、前記抽出された前記輝度信号の高周波成分の平均値と前記抽出された前記赤外光信号の高周波成分の平均値とを比較して判断する請求項１記載の信号処理装置。
【請求項５】
前記判断部は、前記抽出された前記輝度信号の高周波成分の二乗平均値と前記抽出された前記赤外光信号の高周波成分の二乗平均値とを比較して判断する請求項１記載の信号処理装置。
【請求項６】
可視光信号および赤外光信号を出力する撮像素子と、
前記出力された前記可視光信号から輝度信号を生成する生成部と、
前記生成された前記輝度信号の高周波成分と前記出力された前記赤外光信号の高周波成分とを抽出するフィルタと、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、
前記判断の結果に基づいて前記輝度信号を補正する補正部と
を具備する撮像装置。
【請求項７】
輝度信号の高周波成分と赤外光信号の高周波成分とを抽出する抽出手順と、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断手順と、
前記判断の結果に基づいて前記輝度信号を補正する補正手順と
を具備する信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置、撮像装置および信号処理方法に関する。詳しくは、監視カメラ等に使用される撮像装置、撮像装置における信号処理装置およびこれらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
従来、可視光および赤外光に対応する画像信号を出力する撮像素子とその画像信号を処理する信号処理装置とを備えた監視カメラが使用されている。このような監視カメラを霧や煙が発生した状態で使用すると、可視光のうち短波長の光が霧などにより乱反射されて、被写体の暗部における画像信号の信号レベルが高くなり、コントラストが低下する。このため、監視カメラの画像は、視認性が低下した画像となる。これを防ぐため、霧などが発生しているか否かを判断し、これらが発生している場合は、画像のコントラストを高める処理等を行う撮像装置が提案されている。例えば、可視光に対応する画像信号と赤外光に対応する画像信号とを撮像素子から取得し、可視光に対応する画像信号の暗部における信号レベルが所定のレベルを下回った場合には、霧などが発生していると判断する。この場合には、可視光および赤外光に対応する画像信号について、暗部における画像信号の信号レベルがより低い画像信号を選択するとともに当該画像信号のコントラストを増強する。これにより、高いコントラストの画像信号を出力するシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０５４９０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術では、波長が長いため可視光に比べて散乱しにくい赤外光に対応する画像信号を使用することにより、霧などの発生を検出している。しかし、暗部における画像信号の信号レベルに基づいて比較を行うため、低輝度環境下における撮影では、霧などの発生の検出が困難となり、コントラストの低下を補償できないという問題があった。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、夜間等の低照度環境下においても霧などの発生を検出し、画像の視認性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、輝度信号の高周波成分と赤外光信号の高周波成分とを抽出するフィルタと、上記抽出された上記輝度信号の高周波成分より上記抽出された上記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、上記判断の結果に基づいて上記輝度信号を補正する補正部とを具備する信号処理装置である。これにより、輝度信号の高周波成分より赤外光信号の高周波成分の方が大きい場合に、輝度信号を補正するという作用をもたらす。
【０００７】
また、この第１の側面において、上記補正部は、上記判断部において上記抽出された上記輝度信号の高周波成分より上記抽出された上記赤外光信号の高周波成分の方が大きいと判断された場合に所定の信号レベルより低い信号レベルの上記輝度信号を減衰させてもよい。これにより、輝度信号の高周波成分より赤外光信号の高周波成分の方が大きいと判断された場合に所定の信号レベルより低い信号レベルの上記輝度信号を減衰させるという作用をもたらす。
【０００８】
また、この第１の側面において、上記補正部は、上記判断部において上記抽出された上記輝度信号の高周波成分より上記抽出された上記赤外光信号の高周波成分の方が大きいと判断された場合に上記輝度信号に上記抽出された上記赤外光信号の高周波成分を所定の比率に基づいて混合してもよい。これにより、輝度信号の高周波成分より赤外光信号の高周波成分の方が大きいと判断された場合に輝度信号に赤外光信号の高周波成分を所定の比率に基づいて混合するという作用をもたらす。
【０００９】
また、この第１の側面において、上記判断部は、上記抽出された上記輝度信号の高周波成分の平均値と上記抽出された上記赤外光信号の高周波成分の平均値とを比較して判断してもよい。これにより、輝度信号の高周波成分の平均値と赤外光信号の高周波成分の平均値とを比較して判断するという作用をもたらす。
【００１０】
また、この第１の側面において、上記判断部は、上記抽出された上記輝度信号の高周波成分の二乗平均値と上記抽出された上記赤外光信号の高周波成分の二乗平均値とを比較して判断してもよい。これにより、輝度信号の高周波成分の二乗平均値と赤外光信号の高周波成分の二乗平均値とを比較して判断するという作用をもたらす。
【００１１】
また、本技術の第２の側面は、可視光信号および赤外光信号を出力する撮像素子と、上記出力された上記可視光信号から輝度信号を生成する生成部と、上記生成された上記輝度信号の高周波成分と上記出力された上記赤外光信号の高周波成分とを抽出するフィルタと、上記抽出された上記輝度信号の高周波成分より上記抽出された上記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、上記判断の結果に基づいて上記輝度信号を補正する補正部とを具備する撮像装置である。これにより、輝度信号の高周波成分より赤外光信号の高周波成分の方が大きい場合に、輝度信号を補正するという作用をもたらす。
【００１２】
また、本技術の第３の側面は、輝度信号の高周波成分と赤外光信号の高周波成分とを抽出する抽出手順と、上記抽出された上記輝度信号の高周波成分より上記抽出された上記赤外光信号の高周波成分の方が大きいか否かを判断する判断手順と、上記判断の結果に基づいて上記輝度信号を補正する補正手順とを具備する信号処理方法である。これにより、輝度信号の高周波成分より赤外光信号の高周波成分の方が大きい場合に、輝度信号を補正するという作用をもたらす。
【発明の効果】
【００１３】
本技術によれば、夜間等の低照度環境下においても霧などの発生を検出して、画像信号を補正することにより視認性を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術の実施の形態における撮像装置の構成例を示す図である。
【図２】本技術の実施の形態における撮像素子２００の構成例を示す図である。
【図３】本技術の実施の形態における信号処理装置３００の構成例を示す図である。
【図４】本技術の第１の実施の形態における画像処理部３６０の構成例を示す図である。
【図５】本技術の第１の実施の形態における信号変換部３６１の構成例を示す図である。
【図６】本技術の第１の実施の形態におけるＨＰＦ３６２の構成例を示す図である。
【図７】本技術の第１の実施の形態における補正方法を示す図である。
【図８】本技術の第１の実施の形態における信号処理手順の一例を示す図である。
【図９】本技術の第２の実施の形態における画像処理部３６０の構成例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（可視光信号のコントラストを増強して補正する場合の例）
２．第２の実施の形態（可視光信号に赤外光信号の高周波成分を加算して補正する場合の例）
【００１６】
＜１．第１の実施の形態＞
［撮像装置の構成］
図１は、本技術の実施の形態における撮像装置の構成例を示す図である。同図における撮像装置１０は、レンズ１００と、撮像素子２００と、信号処理装置３００と、画像信号出力部４００と、赤外光照射部５００とを備える。
【００１７】
レンズ１００は、撮像素子２００に対して光学的に被写体を結像するものである。撮像素子２００は、レンズ１００によって結像された光学画像を画像信号に変換し、出力するものである。この撮像素子２００は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されて構成されている。この画素は、赤色光に対応する画像信号を出力する画素（Ｒ画素）、緑色光に対応する画像信号を出力する画素（Ｇ画素）および青色光に対応する画像信号を出力する画素（Ｂ画素）が含まれる。また、この画素には、赤外光に対応する画像信号を出力する画素（ＩＲ画素）がさらに含まれる。以下、赤色光に対応する画像信号、緑色光に対応する画像信号、青色光に対応する画像信号および赤外光に対応する画像信号をそれぞれＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号と称する。なお、撮像素子２００は、信号処理装置３００により制御される。
【００１８】
信号処理装置３００は、画像信号を処理するものである。この信号処理装置３００は、画像信号（Ｒ信号、Ｇ信号およびＢ信号）から輝度信号および色差信号を生成し、これらの信号とＩＲ信号とについて各種の処理を行う。その後、処理された画像信号を出力する。また、信号処理装置３００は、撮像装置１０の全体の制御も行う。
【００１９】
画像信号出力部４００は、信号処理装置３００により処理された画像信号を撮像装置１０の外部に出力するものである。この画像信号出力部４００は、撮像装置１０が接続される信号線インターフェースの規格に適合するように画像信号を変換して出力する。
【００２０】
赤外光照射部５００は、被写体に赤外光を照射するものである。この赤外光照射部５００は、信号処理装置３００により制御される。
【００２１】
［撮像素子の構成］
図２は、本技術の実施の形態における撮像素子２００の構成例を示す図である。この撮像素子２００は、画面上に画素２０１が２次元格子状に配置されて構成されている。なお、画素２０１に記載された記号は、画素２０１の種類を表すものである。Ｒ、Ｇ、ＢおよびＩＲが記載された画素は、それぞれＲ画素、Ｇ画素、Ｂ画素およびＩＲ画素を表している。これらの画素が画面上に一定の規則に基づいて配置されている。
【００２２】
同図におけるａは、Ｒ画素、Ｇ画素およびＢ画素をベイヤー配列形状に配置させた後、２つあるＧ画素のうちの１つをＩＲ画素に置き換えた配置の例を表したものである。また、同図におけるｂは、ベイヤー配列におけるＧ画素に代えてＩＲ画素を配置し、他の画素については、Ｒ画素およびＢ画素に対するＧ画素の比率が２となるように配置した例を表したものである。同図におけるａに表した撮像素子よりもＩＲ画素が多く配置されており、赤外光に対する解像度を高めることができる。なお、これらは、画面の一部のみを表示したものであり、このような画素の配置が画面全体に繰り返されて、撮像素子２００の画面が構成されている。
【００２３】
［信号処理装置の構成］
図３は、本技術の実施の形態における信号処理装置３００の構成例を示す図である。この信号処理装置３００は、撮像素子インターフェース３１０と、プロセッサ３２０と、出力インターフェース３３０と、ＲＡＭ３４０と、ＲＯＭ３５０と、画像処理部３６０と、画像圧縮部３７０と、バス３０１とを備える。
【００２４】
撮像素子インターフェース３１０は、撮像素子２００との間でやり取りを行い、画像信号を取り込むものである。この画像信号にはＲ信号、Ｇ信号、Ｂ信号およびＩＲ信号が含まれる。
【００２５】
プロセッサ３２０は、信号処理装置３００の全体を制御するものである。また、このプロセッサ３２０は、撮像素子２００および赤外光照射部５００の制御も行う（不図示）。
【００２６】
ＲＡＭ３４０は、データを一時的に記憶するものである。このＲＡＭ３４０は、画像信号を記憶するための画像メモリおよびプロセッサ３２０が作成した作業データを記憶するための作業メモリを有している。ＲＯＭ３５０は、プロセッサ３２０のファームウェアを記憶するメモリである。
【００２７】
画像処理部３６０は、画像信号（Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号）に対して各種の信号処理を行うものである。この画像処理部３６０の詳細については後述する。
【００２８】
画像圧縮部３７０は、画像処理部３６０により処理された画像信号に対して符号化、圧縮および動画における画像データのビット列であるビットストリームの生成を行うものである。なお、画像データの符号化の方式としてＭＰＥＧ（Moving Picture Experts Group）形式を使用することができる。
【００２９】
出力インターフェース３３０は、画像圧縮部３７０により生成されたビットストリームを画像信号出力部４００に対して出力するものである。バス３０１は、信号処理装置３００内各部を相互に接続するものである。
【００３０】
［画像処理部の構成］
図４は、本技術の第１の実施の形態における画像処理部３６０の構成例を示す図である。この画像処理部３６０は、信号変換部３６１と、ハイパスフィルタ（ＨＰＦ）３６２と、判断部３６３と、補正部３６４とを備える。なお、ＨＰＦ３６２は、特許請求の範囲に記載のフィルタの一例である。
【００３１】
信号変換部３６１は、Ｒ信号、Ｇ信号およびＢ信号を輝度信号（Ｙ信号）および色差信号（ＣｂおよびＣｒ信号）に変換するものである。なお、色差信号ＣｂはＢ信号と輝度信号との差分に基づく信号であり、色差信号ＣｒはＲ信号と輝度信号との差分に基づく信号である。また、信号変換部３６１は、デモザイク等の処理も行う。
【００３２】
ＨＰＦ３６２は、Ｙ信号およびＩＲ信号の低周波成分を除去し、高周波成分を通過させることにより高周波成分を抽出するものである。なお、抽出されたＹ信号およびＩＲ信号の高周波成分をそれぞれＹ＿Ｈ信号およびＩＲ＿Ｈ信号と称する。
【００３３】
判断部３６３は、ＨＰＦ３６２から出力されたＹ信号の高周波成分Ｙ＿Ｈ信号とＩＲ信号の高周波成分ＩＲ＿Ｈ信号とを比較して、Ｙ信号の高周波成分Ｙ＿Ｈ信号よりＩＲ信号の高周波成分ＩＲ＿Ｈ信号の方が大きいか否かを判断するものである。補正部３６４は、判断部３６３による判断結果に基づいて、Ｙ信号を補正して、補正後の輝度信号であるＹ'信号を生成するものである。これら判断部３６３および補正部３６４の動作の詳細については後述する。
【００３４】
［信号変換部の構成］
図５は、本技術の第１の実施の形態における信号変換部３６１の構成例を示す図である。この信号変換部３６１は、暗電流ばらつき補正部３６７と、デモザイク部３６８と、ＹＣ変換部３６９とを備える。
【００３５】
暗電流ばらつき補正部３６７は、撮像素子２００の各画素における暗電流ばらつきを補正するものである。この暗電流ばらつき補正は、例えば、事前に取得した各画素における暗電流の値を画像信号から減算することにより行うことができる。また、この暗電流ばらつき補正部３６７において、画素の欠陥の補正を行ってもよい。画素の欠陥は、この暗電流のばらつきが大きい状態ととらえることができ、暗電流ばらつき補正と同様の方法により補正することが可能なためである。
【００３６】
デモザイク部３６８は、デモザイク処理を行うものである。このデモザイク処理は、撮像素子２００から出力された単色の画像信号に対して不足する画像信号を補間するものである。このデモザイク処理により、１画素当たりの画像信号は、Ｒ信号、Ｇ信号、Ｂ信号およびＩＲ信号の４つに増加することになる。このデモザイク処理として、公知の方法を使用することができる。例えば、補間対象画素においてＲ信号を補間する際には、補間対象画素の周囲のＲ画素におけるＲ信号の平均値を補間対象画素のＲ信号とする方式を使用することができる。
【００３７】
ＹＣ変換部３６９は、Ｒ信号、Ｇ信号およびＢ信号をＹ信号、Ｃｂ信号およびＣｒ信号に変換するものである。この変換は、次式に基づいて行うことができる。
Ｙ  ＝  ０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
Ｃｂ＝−０．１６９×Ｒ−０．３３１×Ｇ＋０．５００×Ｂ
Ｃｒ＝  ０．５００×Ｒ−０．４１９×Ｇ−０．０８１×Ｂ
但し、Ｒ、ＧおよびＢは、それぞれＲ信号、Ｇ信号およびＢ信号を表す。なお、ＹＣ変換部３６９は、特許請求の範囲に記載の生成部の一例である。
【００３８】
なお、信号変換部３６１における処理は、上に挙げた処理に限定されるものではなく、これら以外の処理、例えば、ノイズリダクション等の処理を加えてもよい。
【００３９】
［ＨＰＦの構成］
図６は、本技術の第１の実施の形態におけるＨＰＦ３６２の構成例を示す図である。このＨＰＦ３６２は、画像信号の演算により、入力された画像信号の高周波成分を通過させ、低周波成分を除去するものである。この演算は、次式に示されるものであり、Ｙ信号およびＲＩ信号について演算を行う。
【数１】
2016082390.tif 000003
ただし、Ｙ＿ＨおよびＲＩ＿Ｈは、それぞれＹ信号の高周波成分およびＲＩ信号の高周波成分を表す。ＹｉおよびＲＩｉは、入力されたＹ信号およびＲＩ信号を表す。Ｋｉは、係数である。また、添え字ｉは、Ｙ信号、ＲＩ信号および係数Ｋを識別するものである。このように係数Ｋを乗算したＹ信号およびＲＩ信号を加算して演算を行う。この演算を画素ごとに行う。
【００４０】
同図におけるａは、輝度信号の場合を例に挙げて、演算の様子を図示したものである。なお、同図は、輝度信号Ｙ１１乃至Ｙ５５について演算を行う場合を表している。また、Ｋ１１乃至Ｋ５５は係数である。同図におけるｂは、このＹ１１乃至Ｙ５５に対応する画素の配置を表したものであり、Ｙ３３に対応する画素を注目画素２０２として演算する場合を例に挙げて表したものである。このように、注目画素２０２を中心とする５×５画素の領域の輝度信号について演算が行われる。同図におけるｃは、Ｋ１１乃至Ｋ５５の配置を表したものであり、同図におけるｄは、Ｋ１１乃至Ｋ５５の値の例を表したものである。
【００４１】
このような処理を行うＨＰＦ３６２を通過した画像信号は、低周波成分が除去されるため、高周波成分のみの信号となる。高周波成分は、画像における急峻な変化を表している。この画像における急峻な変化は主に被写体の輪郭部分で発生するため、ＨＰＦ３６２を通過した画像信号は、被写体の輪郭部分の情報を多く含む信号となる。
【００４２】
［判断部および補正部の処理］
前述のように判断部３６３は、Ｙ信号の高周波成分Ｙ＿ＨとＩＲ信号の高周波成分ＩＲ＿Ｈとの比較を行う。通常の撮影では、Ｙ信号の高周波成分Ｙ＿ＨおよびＩＲ信号の高周波成分ＩＲ＿Ｈには、顕著な差異はない。しかし、霧などが発生した環境下では可視光が散乱されるため、可視光による画像は、被写体の輪郭がぼやけた画像となる。一方、赤外光は散乱されにくいため、赤外光による画像は、比較的輪郭のぼやけが少ない画像となる。そこで、これらの信号の高周波成分を比較することにより、霧などが発生しているか否かを判断することが可能となる。すなわち、Ｙ信号の高周波成分Ｙ＿ＨとＩＲ信号の高周波成分ＩＲ＿Ｈとを比較して、ＩＲ信号の高周波成分ＩＲ＿Ｈの方が大きい場合には、霧などが発生していると判断することができる。この比較方法として、Ｙ信号の高周波成分Ｙ＿ＨおよびＩＲ信号の高周波成分ＩＲ＿Ｈの絶対値の画面全体における平均値[0]を比較する方法を使用することができる。
【００４３】
比較方法の他の例として、Ｙ信号の高周波成分Ｙ＿ＨおよびＩＲ信号の高周波成分ＩＲ＿Ｈの画面全体における二乗平均値を比較する方法を使用してもよい。
【００４４】
補正部３６４は、判断部３６３の判断結果に基づいて輝度信号Ｙの補正を行う。具体的には、判断部３６３が、Ｙ信号の高周波成分Ｙ＿ＨよりＩＲ信号の高周波成分ＩＲ＿Ｈの方が大きいと判断した場合には、霧などが発生しているため、輝度信号Ｙに対してコントラストを高める補正を行ったＹ'信号を生成する。このコントラストを高める補正として、例えば、非線形な利得特性を有する増幅器を使用して信号レベルが低い領域の輝度信号を減衰させることにより補正する方式を使用することができる。
【００４５】
［補正方法］
図７は、本技術の第１の実施の形態における補正方法を示す図である。同図は、補正に使用する非線形な利得特性を有する増幅器の特性を示すグラフを表している。グラフの横軸は増幅器の入力信号の信号レベルを表し、縦軸は利得を定常時の利得に対する比率により表したものである。この増幅器は、入力信号を増幅するものであり、その利得は、入力信号レベルにより変化する。すなわち、閾値以下の信号レベルでは、利得が徐々に低下する。なお、定常時の利得は、例えば、値「１」にすることができる。この増幅器により、信号レベルの低い輝度信号が減衰されるため、輝度信号の明部および暗部の信号レベルの差が大きくなり、コントラストが補正される。なお、このような増幅器に代えて、同様の機能を有するガンマ補正を行ってもよい。具体的には、Ｙ信号、Ｃｂ信号およびＣｒ信号をＲ信号、Ｇ信号およびＢ信号に再度変換して、ガンマ補正を行う。この際、ガンマ曲線は、信号レベルの低い領域の利得が小さくなるように設定する必要がある。
【００４６】
［信号処理手順］
図８は、本技術の第１の実施の形態における信号処理手順の一例を示す図である。信号処理装置３００は、撮像素子２００から、画像信号が入力されると、本処理を開始する。まず、信号処理装置３００は、入力された画像信号に対してデモザイク等の信号変換処理を行う（ステップＳ９０１）。次に、信号処理装置３００は、ＩＲ信号と信号変換処理により得られたＹ信号とについて高周波成分の抽出を行う（ステップＳ９０２）。これにより、Ｙ信号およびＩＲ信号からＹ信号の高周波成分Ｙ＿Ｈ信号およびＩＲ信号の高周波成分ＩＲ＿Ｈ信号が得られる。次に、信号処理装置３００は、Ｙ信号の高周波成分Ｙ＿Ｈ信号およびＩＲ信号の高周波成分ＩＲ＿Ｈ信号の平均値を算出し（ステップＳ９０３）、これらの平均値を比較して判断を行う（ステップＳ９０４）。その結果、ＩＲ信号の高周波成分ＩＲ＿Ｈの平均値の方が大きい場合には（ステップＳ９０４：Ｙｅｓ）、信号処理装置３００は、Ｙ信号の補正を行い（ステップＳ９０５）処理を終了する。一方、大きくない場合には（ステップＳ９０４：Ｎｏ）、信号処理装置３００は、ステップＳ９０５の処理をスキップして、処理を終了する。
【００４７】
このように、本技術の第１の実施の形態によれば、Ｙ信号の高周波成分Ｙ＿ＨとＩＲ信号の高周波成分ＩＲ＿Ｈとを比較して霧などが発生しているか否かを判断する。これにより、夜間等の低照度環境下であっても、適正な判断が可能となり、これに基づいて輝度信号のコントラストの低下を補正し、視認性を向上させることができる。
【００４８】
＜２．第２の実施の形態＞
上述の第１の実施の形態では、輝度信号の補正に、信号レベルが低い領域の輝度信号を減衰させる方式を使用していた。これに対し、本技術の第２の実施の形態では、輝度信号にＩＲ信号の高周波成分を混合して補正する。これにより、より鮮明な画像を得ることができる。
【００４９】
［画像処理部の構成］
図９は、本技術の第２の実施の形態における画像処理部３６０の構成例を示す図である。この画像処理部３６０は、補正部３６４の代わりに補正部３６５を備える。この補正部３６５には、Ｙ信号、Ｃｂ信号およびＣｒ信号に加えて、ＩＲ信号の高周波成分ＩＲ＿Ｈ信号を入力する。これ以外の画像処理部３６０および信号処理装置３００の構成は本技術の第１の実施の形態における画像処理部３６０および信号処理装置３００と同様であるため説明を省略する。
【００５０】
［補正部の処理］
補正部３６５は、判断部３６３の結果に基づいてＹ信号の補正を行う。この補正は次式に基づいて行うことができる。
Ｙ'＝α×Ｙ＋（１−α）×ＩＲ＿Ｈ
但し、αは混合比率である。この混合比率αを０乃至１の任意の値にすることにより、Ｙ信号に混合されるＩＲ信号の高周波成分ＩＲ＿Ｈ信号の比率を変更することができる。このように混合比率αに基づいて、Ｙ信号とＩＲ信号の高周波成分ＩＲ＿Ｈ信号とを混合して、Ｙ信号を補正することができる。ＩＲ信号の高周波成分ＩＲ＿Ｈ信号が混合されるため、補正後の信号であるＹ'信号は、被写体の輪郭が強調された画像信号となる。そのため、鮮明な画像を得ることができる。
【００５１】
このように、本技術の第２の実施の形態によれば、Ｙ信号の高周波成分Ｙ＿ＨとＩＲ信号の高周波成分ＩＲ＿Ｈとを加算する補正を行うことにより、より鮮明な画像を得ることができ、視認性を向上させることができる。
【００５２】
上述のように、本技術の実施の形態によれば、夜間等の低照度環境下であっても、霧などが発生しているか否かについて適正な判断が可能となる。これに基づいて、輝度信号を補正することにより視認性を向上させることができる。
【００５３】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【００５４】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【００５５】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【００５６】
なお、本技術は以下のような構成もとることができる。
（１）輝度信号の高周波成分と赤外光信号の高周波成分とを抽出するフィルタと、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、
前記判断の結果に基づいて前記輝度信号を補正する補正部と
を具備する信号処理装置。
（２）前記補正部は、前記判断部において前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいと判断された場合に所定の信号レベルより低い信号レベルの前記輝度信号を減衰させる前記（１）に記載の信号処理装置。
（３）前記補正部は、前記判断部において前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいと判断された場合に前記輝度信号に前記抽出された前記赤外光信号の高周波成分を所定の比率に基づいて混合する前記（１）に記載の信号処理装置。
（４）前記判断部は、前記抽出された前記輝度信号の高周波成分の平均値と前記抽出された前記赤外光信号の高周波成分の平均値とを比較して判断する前記（１）から（３）に記載の信号処理装置。
（５）前記判断部は、前記抽出された前記輝度信号の高周波成分の二乗平均値と前記抽出された前記赤外光信号の高周波成分の二乗平均値とを比較して判断する前記（１）から（３）に記載の信号処理装置。
（６）可視光信号および赤外光信号を出力する撮像素子と、
前記出力された前記可視光信号から輝度信号を生成する生成部と、
前記生成された前記輝度信号の高周波成分と前記出力された前記赤外光信号の高周波成分とを抽出するフィルタと、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断部と、
前記判断の結果に基づいて前記輝度信号を補正する補正部と
を具備する撮像装置。
（７）輝度信号の高周波成分と赤外光信号の高周波成分とを抽出する抽出手順と、
前記抽出された前記輝度信号の高周波成分より前記抽出された前記赤外光信号の高周波成分の方が大きいか否かを判断する判断手順と、
前記判断の結果に基づいて前記輝度信号を補正する補正手順と
を具備する信号処理方法。
【符号の説明】
【００５７】
１０  撮像装置
１００  レンズ
２００  撮像素子
２０１  画素
２０２  注目画素
３００  信号処理装置
３０１  バス
３１０  撮像素子インターフェース
３２０  プロセッサ
３３０  出力インターフェース
３６０  画像処理部
３６１  信号変換部
３６３  判断部
３６４、３６５  補正部
３６７  暗電流ばらつき補正部
３６８  デモザイク部
３６９  ＹＣ変換部
３７０  画像圧縮部
４００  画像信号出力部
５００  赤外光照射部
【図１】
2016082390.tif 000004
【図２】
2016082390.tif 000005
【図３】
2016082390.tif 000006
【図４】
2016082390.tif 000007
【図５】
2016082390.tif 000008
【図６】
2016082390.tif 000009
【図７】
2016082390.tif 000010
【図８】
2016082390.tif 000011
【図９】
2016082390.tif 000012