(57)【要約】【課題】容易に算出可能なしきい値を用いて衣類などの白く浮き上がった感じを残しつつ、Ｓ／Ｎを改善することができる夜間撮像装置を提供すること。【解決手段】撮像素子３は、可視光および近赤外光に感度を有し、可視光カットフィルタの付けられている画素と可視光カットフィルタの付けられていない画素とが混在する構成となっている。信号処理部４の補間生成部４１は、注目画素周辺の注目画素の可視光カットフィルタの有無の構成と異なる構成の画素の画素信号から、注目画素の可視光カットフィルタの有無の構成と異なる構成の場合の画素信号を補間生成し、比較合成部４２は、補間生成された画素信号と撮像素子３からの画素信号とを、撮像素子３の分光特性の積分値と可視光カットフィルタを付けた場合の分光特性の積分値との比率を基準としたしきい値に基づいて比較し、いずれかを出力する。【選択図】図１
2008270935.tif 000002
【特許請求の範囲】
【請求項１】
外界の画像を結ぶレンズ系と、前記レンズ系からの光を画像信号に変換する撮像素子と、前記画像信号を信号処理して外部に出力する信号処理部とを備える夜間撮像装置であって、
前記撮像素子は、可視光および近赤外光に感度を有し、可視光カットフィルタの付けられている画素と可視光カットフィルタの付けられていない画素とが混在する構成であり、
前記信号処理部には、
前記撮像素子の注目画素に可視光カットフィルタが無い場合には、
可視光カットフィルタの有る注目画素周辺の画素信号から可視光カットフィルタ有りとみなす補間した注目画素信号を生成し、
前記撮像素子の注目画素に可視光カットフィルタが有る場合には、
可視光カットフィルタの無い注目画素周辺の画素信号から可視光カットフィルタ無しとみなす補間した注目画素信号を生成する補間生成部と、
前記撮像素子の注目画素に可視光カットフィルタが無い場合には、
前記撮像素子の注目画素信号レベルに対する前記可視光カットフィルタ有りとみなす補間した注目画素信号レベルの比率を算出し、
前記撮像素子の注目画素に可視光カットフィルタが有る場合には、
前記可視光カットフィルタ無しとみなす補間した注目画素信号レベルに対する前記撮像素子の注目画素信号レベルの比率を算出し、
前記算出された比率が、
可視光カットフィルタ有りの場合における前記撮像素子の分光特性の積分値に対する可視光カットフィルタを付けた場合に分光特性の積分値との比率に基づいたしきい値を超える場合は可視光カットフィルタ有りの注目画素信号を出力し、超えない場合は可視光カットフィルタ無しの注目画素信号を出力する比較合成部とを備えることを特徴とする夜間撮像装置。
【請求項２】
前記比較合成部は、前記しきい値付近で複数のしきい値を設け、しきい値が大きくなるに従って前記可視光カットフィルタ無しの場合の注目画素信号のレベルに対して前記可視光カットフィルタ有りの場合の注目画素信号のレベルの比率を大きくして合成した信号を出力することを特徴とする請求項１記載の夜間撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、可視光カットフィルタを使用するなどして近赤外光を主に撮像し、夜間でも人などを認識しやすい画像を提供する夜間撮像装置に関するものである。
【背景技術】
【０００２】
夜間の運転中、撮像装置で撮像した映像をモニタに表示し、運転者がその映像を見ることで視界を補助するシステムがあり、夜間の撮像において一般的に行われるのが近赤外光を主とした撮像である。
【０００３】
これにより、近赤外領域で反射率の高い傾向にある衣類などの反射光が撮像装置で多く受光される傾向となり、モニタに表示される画像の中で白く浮き上がった感じとなり、運転者がその画像を見て、人であることを認識しやすくなる。
【０００４】
図４は、従来の夜間の撮像方法の例を示す図である。図４の例では、カメラ１０２で撮像を行う際に、可視光カットフィルタ１０３によって可視光をカットした受光を行う構成となっている。
【０００５】
更に、受光量を得るために、近赤外ＬＥＤ（Light-Emitting Diode）１０４による照射によって撮像物体からの反射光を強くできる構成となっている（例えば、特許文献１参照）。なお、セキュリティＥＣＵ１０１は、各部を制御し車両周囲の状態を監視するものである。
【特許文献１】特開２００５−１２３７９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、可視光カットフィルタを用いるということは、可視光をカットした分の受光量が減るため、良好なＳ／Ｎが得られない傾向となる。特に衣類など近赤外領域での反射率が高い部分ではない部分は、良好なＳ／Ｎが得られない傾向となる。そのため、その部分の画像にノイズが現れる傾向となってしまう。
【０００７】
これを補うために、特許文献１に記載の方法にもあるように、近赤外ＬＥＤによる照射手段が必要となる。しかしながら、近赤外ＬＥＤ光が照射されない範囲や遠い場所は、その効果が得られないため、照射範囲を広くする、あるいは照射を強くするということも必要となる。
【０００８】
一方、Ｓ／Ｎの改善として容易に想像し得る方法は、フィルタのカットする波長を変更する方法である。例えば、カットする波長を700nm以下としていたものを、600nm以下とすることである。これにより、可視光側も受光することになるので、受光量が多くなり、Ｓ／Ｎの改善へとつながる。
【０００９】
しかしながら、この場合は、可視光を取り込んでしまうため、近赤外の撮像として特徴となる衣類などの白く浮きあがった感じが減ってしまう。
【００１０】
本発明は、従来の問題を解決するためになされたもので、容易に算出可能なしきい値を用いて衣類などの白く浮き上がった感じを残しつつ、Ｓ／Ｎを改善することができる夜間撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の夜間撮像装置は、外界の画像を結ぶレンズ系と、前記レンズ系からの光を画像信号に変換する撮像素子と、前記画像信号を信号処理して外部に出力する信号処理部とを備える夜間撮像装置であって、前記撮像素子は、可視光および近赤外光に感度を有し、可視光カットフィルタの付けられている画素と可視光カットフィルタの付けられていない画素とが混在する構成であり、前記信号処理部には、前記撮像素子の注目画素に可視光カットフィルタが無い場合には、可視光カットフィルタの有る注目画素周辺の画素信号から可視光カットフィルタ有りとみなす補間した注目画素信号を生成し、前記撮像素子の注目画素に可視光カットフィルタが有る場合には、可視光カットフィルタの無い注目画素周辺の画素信号から可視光カットフィルタ無しとみなす補間した注目画素信号を生成する補間生成部と、前記撮像素子の注目画素に可視光カットフィルタが無い場合には、前記撮像素子の注目画素信号レベルに対する前記可視光カットフィルタ有りとみなす補間した注目画素信号レベルの比率を算出し、前記撮像素子の注目画素に可視光カットフィルタが有る場合には、前記可視光カットフィルタ無しとみなす補間した注目画素信号レベルに対する前記撮像素子の注目画素信号レベルの比率を算出し、前記算出された比率が、可視光カットフィルタ有りの場合における前記撮像素子の分光特性の積分値に対する可視光カットフィルタを付けた場合に分光特性の積分値との比率に基づいたしきい値を超える場合は可視光カットフィルタ有りの注目画素信号を出力し、超えない場合は可視光カットフィルタ無しの注目画素信号を出力する比較合成部とを備える構成を有している。
【００１２】
この構成により、近赤外光の反射率が高い物体の画像は可視光カットフィルタ有りの画素信号により作られ、近赤外光の反射率の高くない物体の画像は可視光カットフィルタ無しの画素信号により作られ、衣類などの白く浮き上がった感じを損なうことなく良好なＳ／Ｎの画像を出力することができる。
【００１３】
ここで、前記比較合成部は、前記しきい値付近で複数のしきい値を設け、しきい値が大きくなるに従って前記可視光カットフィルタ無しの場合の注目画素信号のレベルに対して前記可視光カットフィルタ有りの場合の注目画素信号のレベルの比率を大きくして合成した信号を出力する構成とした。
【００１４】
この構成により、可視光カットフィルタ無しの場合の画素信号のレベルに対する可視光カットフィルタ有りの場合の画素信号のレベルの比率としきい値との差が少ない場合は、可視光カットフィルタ有りの場合の画素信号と可視光カットフィルタ無しの場合の画素信号が合成されて出力され、出力画像の可視光カットフィルタ有りの画素信号からなる部分と可視光カットフィルタ無しの画素信号からなる部分の近接する画素での不連続なエッジを軽減できる。
【発明の効果】
【００１５】
本発明によれば、撮像素子の注目画素に可視光カットフィルタが無い場合には、可視光カットフィルタの有る注目画素周辺の画素信号から可視光カットフィルタ有りとみなす補間した注目画素信号を生成し、撮像素子の注目画素に可視光カットフィルタが有る場合には、可視光カットフィルタの無い注目画素周辺の画素信号から可視光カットフィルタ無しとみなす補間した注目画素信号を生成し、撮像素子の分光特性の積分値に対する可視光カットフィルタを付けた場合の分光特性の積分値の比率をしきい値とし、補間生成された画素信号と撮像素子からの画素信号とから、可視光カットフィルタ無しの場合の画素信号のレベルに対する可視光カットフィルタ有りの場合の画素信号のレベルの比率を算出し、算出された比率がしきい値を超える場合は、可視光カットフィルタ有りの場合の画素信号を出力し、超えない場合は可視光カットフィルタ無しの場合の画素信号を出力しているので、近赤外光の反射率が高い物体の画像は可視光カットフィルタ有りの画素信号により作られ、近赤外光の反射率の高くない物体の画像は可視光カットフィルタ無しの画素信号により作られ、衣類などの白く浮き上がった感じを損なうことなく良好なＳ／Ｎの画像を出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００１７】
（第１の実施の形態）
図１は本発明の第１の実施の形態の夜間撮像装置を示す図である。
【００１８】
図１において、本実施の形態の夜間撮像装置１は、外界の画像を結ぶレンズ系２と、レンズ系２からの光を受ける撮像素子３と、前記撮像素子３からの画像信号を信号処理して外部に出力する信号処理部４とを備えている。
【００１９】
撮像素子３は、可視光および近赤外光に感度を有し、可視光カットフィルタの付けられている画素と可視光カットフィルタの付けられていない画素が混在する構成となっている。
【００２０】
図２は、撮像素子３の可視光カットフィルタが付けられた画素３１と可視光カットフィルタが付けられていない画素３２の混在パターンの例を示す図である。
【００２１】
図２（ａ）は、可視光カットフィルタが付けられた画素と可視光カットフィルタが付けられていない画素が水平ライン（横方向の１ライン）単位で交互に配置されたパターンであり、図２（ｂ）は、可視光カットフィルタが付けられた画素と可視光カットフィルタが付けられていない画素が水平方向および垂直方向に画素単位で交互に配置されたパターンである。なお、混在のパターンは、これ以外でもかまわない。
【００２２】
本実施の形態の撮像素子３では、図２（ａ）のパターンで可視光カットフィルタが付けられた画素３１と可視光カットフィルタが付けられていない画素３２が配置されている。
【００２３】
信号処理部４は、可視光カットフィルタが付けられた画素３１の可視光カットフィルタ無しとみなす補間した画素信号を、周辺の可視光カットフィルタが付けられていない画素３２の画素信号から生成し、また可視光カットフィルタが付けられていない画素３２の可視光カットフィルタ有りとみなす補間した画素信号を、周辺の可視光カットフィルタが付けられた画素３１の画素信号から生成する補間生成部４１と、補間生成部４１で生成された補間信号と対応する画素の信号を比較して一方を選択して出力する比較合成部４２とを有している。
【００２４】
図３は、信号処理部４の動作を説明するための図である。
【００２５】
図３に示すように、Ｙ１〜Ｙ４は、撮像素子３の垂直方向に隣り合った画素の画素信号であり、Ｙ１，Ｙ３は、可視光カットフィルタが付けられた画素３１の画素信号であり、Ｙ２，Ｙ４は、可視光カットフィルタが付けられていない画素３２の画素信号である。Ｙ’１〜Ｙ’４は信号処理部４で処理されたＹ１〜Ｙ４に対応する画素信号である。
【００２６】
まず、Ｙ’２の画素信号生成の場合を説明する。この画素信号の撮像素子３での画素位置はＹ２の画素信号の画素位置に相当し、この画素は可視光カットフィルタ無しであるため、可視光カットフィルタが有った場合の画素信号を想定する必要がある。
【００２７】
このため、Ｙ１とＹ３の画素信号から可視光カットフィルタが有った場合の画素信号を補間する。
【００２８】
補間生成部４１は、Ｙ１とＹ３の信号をそれぞれ２分の１にした値を加算して補間信号を生成する。比較合成部４２は、Ｙ２の信号と補間生成部４１で生成された補間信号との比率（可視光カットフィルタが無い場合の信号と可視光カットフィルタが有る場合の信号の比率）を算出して設定されたしきい値と比較し、算出した比率がしきい値より大きければ補間信号をＹ’２とし、算出した比率がしきい値以下であればＹ２の信号をＹ’２として出力する。
【００２９】
次に、Ｙ’３の画素信号生成の場合を説明する。この画素信号の撮像素子３での画素位置はＹ３の画素信号の画素位置に相当し、この画素は可視光カットフィルタ有りであるため、可視光カットフィルタが無かった場合の画素信号を想定する必要がある。
【００３０】
このため、Ｙ２とＹ４の画素信号から可視光カットフィルタが無かった場合の画素信号を補間する。
【００３１】
補間生成部４１は、Ｙ２とＹ４の信号をそれぞれ２分の１にした値を加算して補間信号を生成する。比較合成部４２は、補間生成部４１で生成された補間信号とＹ３の信号の比率（可視光カットフィルタが無い場合の信号と可視光カットフィルタが有る場合の信号の比率）を算出して設定されたしきい値と比較し、算出した比率がしきい値より大きければＹ３の信号をＹ’３とし、算出した比率がしきい値以下であれば補間信号をＹ’３として出力する。
【００３２】
なお、図３では、互いの関係を分かり易くするため、補間生成部４１と比較合成部４２を２ブロックで記載したが、補間生成部４１および比較合成部４２への入力信号の関係を切り替えることで１ブロックで構成することができる。
【００３３】
次に、しきい値について説明する。しきい値の算出には撮像素子３の分光特性と、可視光カットフィルタの分光特性を使用する。説明を簡単にするために撮像素子３の感度や可視光カットフィルタの透過率の分光特性を次のように簡易的な値に仮定する。
【００３４】
撮像素子３の感度の分光特性を、波長400nmよりも短い波長および1000nmよりも長い波長で０とし、400nm〜1000nmの範囲では均一に１とする。
【００３５】
可視光カットフィルタの透過率は、700nmよりも短い波長では０％、700nmよりも長い波長では１００％とする。
【００３６】
この場合、可視光カットフィルタが無い場合の撮像素子３の受光量は、撮像素子３の分光特性の積分値
(1000nm-400nm)×1=600
と考える。
【００３７】
可視光カットフィルタが有る場合の撮像素子３の受光量は、波長毎に撮像素子３の分光特性と可視光カットフィルタの透過率を積算した分光特性の積分値
400nm〜700nmの範囲の積分値    (700nm-400nm)×0=0
700nm〜1000nmの範囲の積分値   (1000nm-700nm)×1=300
合計  0+300=300
と考える。
【００３８】
以上より、可視光カットフィルタが無い場合と有る場合の受光量の比率は、
600:300=2:1
と算出される。
【００３９】
実際の撮像素子の分光特性は700nm以上では感度が低いのが一般的なので、可視光カットフィルタが有る場合の受光量は下がり、その比率はこれより大きくなる。
【００４０】
算出された2:1の比率を撮像素子３のシャッター制御やゲインに反映させる場合は、可視光カットフィルタ有りの画素のシャッターを２倍の時間にするか、ゲインを６dB上げる。これにより、信号処理部４に入力される可視光カットフィルタ有りの画素信号は２倍となり、比較合成部４２のしきい値は、可視光カットフィルタ無しの画素信号に対する可視光カットフィルタ有りの画素信号の比率のしきい値として１倍（０dB）とすればよいので、可視光カットフィルタ無しの画素信号レベルを可視光カットフィルタ有りの信号レベルが超える場合は、可視光カットフィルタ有りの画素信号を出力すればよい。
【００４１】
また、算出された2:1の比率を撮像素子３のシャッター制御やゲインに反映させない場合は、可視光カットフィルタ有り無しの画素のそれぞれのシャッター制御やゲインは同じとし、比較合成部４２のしきい値は、比率を２分の１倍（−６dB）とすればよいので、可視光カットフィルタ無しの画素信号レベルの２分の１を可視光カットフィルタ有りの信号レベルが超える場合は、可視光カットフィルタ有りの画素信号を２倍に増幅して出力すればよい。
【００４２】
光源が400nmから1000nmの範囲で均一に１であり、それに照射された物体の反射率が400nmから1000nmの範囲で均一であったとすると、可視光カットフィルタ無しの画素の受光量に対して可視光カットフィルタ有りの画素の受光量は２分の１である。
【００４３】
しかし、同じ光源に照射された物体の反射率が、仮に700nmより短い波長では０％で700nmよりも長い波長では１００％であったとすると、可視光カットフィルタ無しの画素の受光量と可視光カットフィルタ有りの画素の受光量は同じとなる。
【００４４】
このように物体の反射率が700nmで極端に変わるものでなくとも、照射光の波長が長くなるに従って反射率が高くなるものであれば、可視光カットフィルタ有りの画素の受光量は可視光カットフィルタ無しの画素の受光量に対して２分の１よりも大きくなる。従って、比較合成部４２にて近赤外光の反射率の高い物体の反射光を受けている画素を容易に判別し、出力することができることが分かる。
【００４５】
以上のように本実施の形態によれば、近赤外光の反射率が高い物体の画像は可視光カットフィルタ有りの画素信号により作られ、衣類などの白く浮き上がった感じを損なうことはない。一方、近赤外光の反射率の高くない物体の画像は可視光カットフィルタ無しの画素信号により作られ、可視光カットフィルタ有りでは良好なＳ／Ｎが得られなくても、可視光カットフィルタ無しの画素信号により良好なＳ／Ｎの画像を出力することができる。
【００４６】
なお、比較合成部４２のしきい値を１倍または２分の１倍としたが、誤差等に応じて微調整したしきい値としてもよい。
【００４７】
また、補間生成部４１では、注目画素の隣り合った２つの画素の信号をそれぞれ２分の１にした値を加算して補間信号としたが、もっとたくさんの画素の信号を元に補間信号を生成してもかまわないし、それぞれの画素の比率を変えるようにしてもかまわない。
【００４８】
（第２の実施の形態）
次に、本発明の第２の実施の形態の夜間撮像装置を説明する。なお、本実施の形態は、上述の第１の実施の形態と略同様に構成されているので、図１を流用して特徴部分のみ説明する。
【００４９】
本実施の形態では、上述の第１の実施の形態で算出された可視光カットフィルタが無い場合と有る場合の受光量の比率を撮像素子３のシャッター制御やゲインに反映させた場合を例に説明する。ここで、比較合成部４２のしきい値は１倍としている。
【００５０】
夜間撮像装置１から出力された画像のそれぞれの画素信号は、このしきい値によって選択された可視光カットフィルタ有りの画素信号または可視光カットフィルタ無しの画素信号となっているので、これら可視光カットフィルタ有りの画素信号が選択された部分と可視光カットフィルタ無しの画素信号が選択された部分が近接した箇所の画像が、不連続なエッジとなって不自然な場合がある。
【００５１】
そこで、本実施の形態では、しきい値付近で複数のしきい値を設け、各しきい値ごとに可視光カットフィルタ有りの画素信号のレベルと可視光カットフィルタ無しの画素信号のレベルをそれぞれ変えて合成した信号を出力する。
【００５２】
簡単な例として、しきい値を１倍、１．３倍とし、しきい値が１倍以下の場合は可視光カットフィルタ無しの画素信号を出力し、しきい値が１倍を超えて１．３倍以下の場合は、可視光カットフィルタ有りと無しの画素信号を、それぞれ２分の１して加算した信号を出力し、しきい値が１．３倍を超える場合は、可視光カットフィルタ有りの信号を出力する。
【００５３】
なお、しきい値や合成する信号の比率、あるいはしきい値の段数は、得られる画像の傾向やその他の条件に合わせて決めればよい。
【００５４】
以上のように本実施の形態によれば、出力画像の可視光カットフィルタ有りの画素信号からなる部分と可視光カットフィルタ無しの画素信号からなる部分の近接する画素での不連続なエッジを軽減できるので、より自然な出力画像を得ることができる。
【産業上の利用可能性】
【００５５】
以上のように、本発明にかかる夜間撮像装置は、近赤外光の照射量の増大に頼ることなく、また可視光カットフィルタのカット波長を変更することなく、容易に算出可能なしきい値を用いて衣類などの白く浮き上がった感じを損なうことなく良好なＳ／Ｎの画像を出力することができるという効果を有し、可視光カットフィルタを使用するなどして近赤外光を主に撮像し、夜間でも人などを認識しやすい画像を提供する夜間撮像装置等として有用である。
【図面の簡単な説明】
【００５６】
【図１】本発明の第１の実施の形態における夜間撮像装置のブロック図
【図２】（ａ）本発明の第１の実施の形態における夜間撮像装置の撮像素子の可視光カットフィルタが付けられた画素と付けられていない画素の混在パターンの例を示す図  （ｂ）本発明の第１の実施の形態における夜間撮像装置の撮像素子の可視光カットフィルタが付けられた画素と付けられていない画素の混在パターンの他の例を示す図
【図３】本発明の第１の実施の形態における夜間撮像装置の信号処理部の動作を説明するための図
【図４】従来の夜間撮像装置のブロック図
【符号の説明】
【００５７】
１  夜間撮像装置
２  レンズ系
３  撮像素子
３１  可視光カットフィルタが付けられた画素
３２  可視光カットフィルタが付けられていない画素
４  信号処理部
４１  補間生成部
４２  比較合成部
１０１  セキュリティＥＣＵ
１０２  カメラ
１０３  可視光カットフィルタ
１０４  近赤外ＬＥＤ
【図１】
2008270935.tif 000003
【図２】
2008270935.tif 000004
【図３】
2008270935.tif 000005
【図４】
2008270935.tif 000006