(57)【要約】赤外線撮像装置及びその制御方法、並びに車両において、コストを低減しつつ、不均一性補正処理で使用するデータを取得している間も、外乱光による影響を抑制した画像を取得する。第１の撮像部１１０は、遠赤外線を検出し第１の画像を撮像する。第２の撮像部１２０は、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する。不均一性補正部４２は、第１の画像に対して不均一性補正処理を実施する。補正データ取得部４４は、不均一性を補正するための補正データを取得する。光照射判定部１５０は、第２の撮像部１２０に対する、第２の撮像部１２０が撮像する波長範囲の光の照射を判定する。制御部１６０は、光照射判定部１５０が、第２の撮像部１２０に対する光照射がないと判定している場合に、補正データ取得部４４に補正データを取得させる。
2017073348.tif 000002
【特許請求の範囲】
【請求項１】
遠赤外線を検出し第１の画像を撮像する第１の撮像部と、
遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部と、
前記第１の画像における画素の不均一性を補正する不均一性補正処理を実施する不均一性補正部と、
前記不均一性を補正するための補正データを取得する補正データ取得処理を実施する補正データ取得部と、
前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する光照射判定部と、
前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記補正データ取得部に前記補正データ取得処理を実施させる制御部とを備えたことを特徴とする赤外線撮像装置。
【請求項２】
前記第２の撮像部は、近赤外線の波長領域の光、及び可視光線の波長領域の光の少なくとも一方を検出する請求項１に記載の赤外線撮像装置。
【請求項３】
前記第２の撮像部の撮像範囲に、前記第２の撮像部において検出される波長領域に含まれる波長の照明光を照射する光照射部を更に有する請求項１又は２に記載の赤外線撮像装置。
【請求項４】
前記制御部は、前記光照射部を制御し、前記補正データ取得部が前記補正データ取得処理を実施している間は前記第２の撮像部の撮像範囲に前記照明光を照射させる請求項３に記載の赤外線撮像装置。
【請求項５】
前記制御部は、前記補正データ取得処理が完了する前に前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていると判定した場合は、前記補正データ取得処理を停止させる請求項１から４何れか１項に記載の赤外線撮像装置。
【請求項６】
前記第１の撮像部は、外部から入射する前記遠赤外線の波長領域の光を遮断するシャッタを含み、
前記制御部は、前記補正データ取得部に前記補正データ取得処理を実施させる場合に、前記シャッタを制御して前記遠赤外線の波長領域の光を遮断させる請求項１から５何れか１項に記載の赤外線撮像装置。
【請求項７】
前記補正データ取得処理が、前記シャッタが前記遠赤外線の波長領域の光を遮断させた状態で前記補正データを取得することを含む請求項６に記載の赤外線撮像装置。
【請求項８】
前記第１の撮像部は、被写体の結像位置の制御が可能な光学系を含み、
前記制御部は、前記補正データ取得部に前記補正データ取得処理を実施させる場合に、前記光学系による結像位置を制御して前記光学系を非合焦状態とする請求項１から５何れか１項に記載の赤外線撮像装置。
【請求項９】
前記補正データ取得処理が、前記光学系を非合焦状態とした状態で前記補正データを取得することを含む請求項８に記載の赤外線撮像装置。
【請求項１０】
前記第１の撮像部の撮像範囲と前記第２の撮像部の撮像範囲との少なくとも一部が重複しており、
前記補正データ取得部が前記補正データ取得処理を実施していない場合は少なくとも前記第１の画像を出力し、前記補正データ取得部が前記補正データ取得処理を実施している場合は前記第２の画像を出力する画像出力部を更に有する請求項１から９何れか１項に記載の赤外線撮像装置。
【請求項１１】
前記補正データ取得処理を実施する条件が成立したか否かを判定する条件判定部を更に有し、
前記制御部は、前記条件判定部が前記条件が成立したと判定し、かつ前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記補正データ取得部に前記補正データ取得処理を実施させる請求項１から１０何れか１項に記載の赤外線撮像装置。
【請求項１２】
温度を計測する温度計測部を更に有し、
前記条件判定部は、前記温度計測部が計測した温度と、前回の前記補正データ取得処理の実施時点における温度との差が温度しきい値以上の場合に、前記条件が成立したと判定する請求項１１に記載の赤外線撮像装置。
【請求項１３】
前記条件判定部は、前回の前記補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、前記条件が成立したと判定する請求項１１又は１２に記載の赤外線撮像装置。
【請求項１４】
前記光照射判定部は、前記第２の撮像部により撮像された第２の画像に基づいて前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する請求項１から１３何れか１項に記載の赤外線撮像装置。
【請求項１５】
前記遠赤外線よりも短い波長領域の光の照射を検出する光センサを更に有し、
前記光照射判定部は、前記光センサの出力信号に基づいて前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する請求項１から１４何れか１項に記載の赤外線撮像装置。
【請求項１６】
請求項１から１５何れか１項に記載の赤外線撮像装置を備えることを特徴とする車両。
【請求項１７】
前記第１の撮像部及び前記第２の撮像部は車両前方の映像を撮像する請求項１６に記載の車両。
【請求項１８】
遠赤外線を検出し第１の画像を撮像する第１の撮像部と、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部とを有する赤外線撮像装置の制御方法であって、
前記遠赤外線よりも短い波長領域の光が照射されているか否かを判定するステップと、
前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記第１の画像における画素の不均一性を補正するための補正データを取得するステップとを有することを特徴とする赤外線撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線撮像装置に関し、更に詳しくは、入射赤外線を検出して電気信号に変換する赤外線検出器を有する赤外線撮像装置に関する。また、本発明は、そのような赤外線撮像装置の制御方法に関する。さらに、本発明は、赤外線撮像装置を搭載した車両に関する。
【背景技術】
【０００２】
入射赤外光（赤外線）を検出して赤外線画像を生成する赤外線撮像装置が知られている。一般に、赤外線撮像装置は、被写体から放射される赤外線を検出して電気信号に変換する赤外線検出器を含む。赤外線撮像装置は、監視カメラ、暗視装置、サーモグラフィ、又は車両や航空機などに搭載する先方監視装置などの広範囲の分野で利用されている。【０００３】
赤外線撮像装置を車両に用いた例として、特許文献１には、遠赤外線撮像装置により撮像された赤外線画像から障害物を検出する障害物検出システムが記載されている。特許文献１では、複数の遠赤外線撮像装置を用いて車両の周辺を複数の視点から時系列的に撮像し、視差画像から画像中の障害物の存在を検出する。【０００４】
ここで、遠赤外線撮像装置では、赤外線検出器が持つ感度のばらつきや、回路のゲイン及びオフセットのばらつきなどの装置固有の固定パターンノイズが発生する。特に、赤外線の検出器素子として２次元的に配列されたフォーカルプレーンアレイを用いた遠赤外線撮像装置では、アレイ内の各検出器素子が特性の変動を有しているため、結果として、比較的長い時間で変化する固定パターンノイズが発生する。【０００５】
固定パターンノイズが発生すると、遠赤外線撮像装置により均一な温度の面を撮像しても、画素値に変動が生じて均一な画像が得られない。遠赤外線撮像装置は、画素の不均一性を補正する不均一性補正処理（固定パターンノイズ補正処理）を実施する不均一性補正処理部（固定パターンノイズ補正処理部）を有している。固定パターンノイズ補正処理で使用される補正データ（固定パターンノイズデータ）は、例えば、均一な光量の光源を赤外線検出器の前面に設置し、かつ外部から赤外線検出器に入射する赤外線を遮断した状態で取得される。固定パターンノイズ補正処理部は、被写体を撮像して得られた画像信号からあらかじめ取得された固定パターンノイズデータを減算することにより、固定パターンノイズの影響を低減する。【０００６】
固定パターンノイズは、温度など環境の変化によって変動するため、撮像を行っている途中に、繰り返し固定パターンノイズデータの取得を行うことが要望される。特許文献１に記載の遠赤外線撮像装置は、赤外線検出器の前面にシャッタ機構を有しており、外部から赤外線検出器に入射する赤外線を遮断して固定パターンノイズデータを取得することができるように構成されている。【０００７】
遠赤外線撮像装置において、固定パターンノイズデータを取得するためにシャッタ機構を閉じると、赤外線画像の取得が途切れる。赤外線画像の取得が途切れると、障害物の検出処理も中断することから、固定パターンノイズデータを取得する処理の間は、安全を担保することができない。この問題に対し、特許文献１では、複数の遠赤外線撮像装置間でタイミングをずらして固定パターンノイズデータの取得処理を実施する。このようにすることで、例えば２つの遠赤外線撮像装置で同時に赤外線画像の取得が途切れる事態を回避することができ、安全性を向上することができる。【０００８】
上記特許文献１以外にも、赤外線撮像装置を車両に用いた別の例として、特許文献２に記載された、遠赤外線撮像装置と近赤外線撮像装置とを用いた障害物検出システムが知られている。一般に、近赤外線撮像装置により撮像された近赤外線画像は、遠赤外線撮像装置により撮像された遠赤外線画像に比べて輪郭情報を多く含んでいる。このため、双方の赤外線画像から同一の特徴量を抽出した場合、近赤外線画像を用いた方がより精度良く画像認識処理を行うことができる。しかし、一方で、近赤外線画像は例えば対向車両のヘッドライトのような外乱光の影響を受けやすく、夜間に対向車両が走行する道路などの撮像範囲に他の光源が存在する場合には、画像認識することが可能な画像を取得することが困難であるという問題がある。【０００９】
上記問題に対し、特許文献２では、光センサにより車両の周囲の光量を検出し、検出した光量が少ない場合は周囲に外乱光が存在しないものとして、近赤外線画像から特徴量の抽出を行い、抽出した特徴量に基づいて障害物候補領域を判定する。光センサが検出した光量が多い場合は周囲に外乱光が存在するものとして、遠赤外線画像から特徴量の抽出を行い、抽出した特徴量に基づいて障害物候補領域を判定する。このようにすることで、外乱光が存在しない場合には、輪郭情報を多く含む近赤外線画像から抽出された特徴量に基づいて障害物候補領域を判定することができ、外乱光が存在する場合には、外乱光の影響を受けない遠赤外線画像から抽出された特徴量に基づいて障害物候補領域を判定することができる。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００７−３３６２８８号公報
【特許文献２】特開２００７−２１４８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
特許文献１では、視差画像を得るために複数の赤外線撮像装置を用いている。特許文献１では、複数の赤外線撮像装置を有していることから、１つの赤外線撮像装置で撮像を中断して固定パターンノイズデータを取得している間でも、他の赤外線撮像装置において撮像を継続することができる。しかしながら、一般に、遠赤外線撮像装置は高価であり、遠赤外線撮像装置を２台以上備えることは、コスト面で不利である。【００１２】
特許文献２では、遠赤外線撮像装置と近赤外線撮像装置とを用いている。一般に、近赤外線撮像装置は、遠赤外線撮像装置と比較して安価であり、遠赤外線撮像装置を２台用いる場合に比べて、コストを低減できる。【００１３】
しかしながら、特許文献２では、遠赤外線撮像装置における固定パターンノイズデータの取得は考慮されていない。特許文献２において、遠赤外線撮像装置において固定パターンノイズデータの取得処理を行っている間は、遠赤外線画像は取得されず、近赤外線画像のみが取得される。近赤外線画像のみが取得される期間に車両の周囲に外乱光が存在する場合、近赤外線画像において障害物などが見えなくなり、障害物を見落とす可能性が高まるという問題がある。【００１４】
本発明は、上記事情に鑑み、コストを低減しつつ、不均一性補正処理で使用するデータを取得している間も、外乱光による影響を抑制した画像を取得できる赤外線撮像装置及びその制御方法を提供する。【００１５】
また、本発明は、上記赤外線撮像装置を有する車両を提供する。
【課題を解決するための手段】
【００１６】
上記目的を達成するために、本発明は、遠赤外線を検出し第１の画像を撮像する第１の撮像部と、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部と、第１の画像における画素の不均一性を補正する不均一性補正処理を実施する不均一性補正部と、第１の画像における画素の不均一性を補正するための補正データを取得する補正データ取得処理を実施する補正データ取得部と、第２の撮像部に対する、第２の撮像部において検出される波長領域の光の照射を判定する光照射判定部と、その光照射判定部が第２の撮像部に対して遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、補正データ取得部に補正データ取得処理を実施させる制御部とを備えたことを特徴とする赤外線撮像装置を提供する。【００１７】
本発明の赤外線撮像装置において、第２の撮像部は、近赤外線の波長領域の光、及び可視光線の波長領域の光の少なくとも一方を検出するものであってよい。【００１８】
本発明の赤外線撮像装置は、第２の撮像部の撮像範囲に第２の撮像部において検出される波長領域に含まれる波長の照明光を照射する光照射部を更に有する構成を採用できる。【００１９】
本発明の赤外線撮像装置において、制御部は光照射部を制御してもよい。その場合、制御部は、補正データ取得部が補正データ取得処理を実施している間は光照射部から第２の撮像部の撮像範囲に照明光を照射させてもよい。【００２０】
本発明の赤外線撮像装置において、制御部は、補正データ取得処理が完了する前に光照射判定部が第２の撮像部に対して遠赤外線よりも短い波長領域の光が照射されていると判定した場合は、補正データ取得処理を停止させてもよい。【００２１】
本発明の赤外線撮像装置において、第１の撮像部は、外部から入射する遠赤外線の波長領域の光を遮断するシャッタを含んでいてもよい。その場合、制御部は、補正データ取得部に補正データ取得処理を実施させる場合に、シャッタを制御して遠赤外線の波長領域の光を遮断させることとしてもよい。この場合、補正データ取得処理は、シャッタが遠赤外線の波長領域の光を遮断させた状態で補正データを取得することを含むものであってよい。【００２２】
あるいは、本発明の赤外線撮像装置において、第１の撮像部は、被写体の結像位置の制御が可能な光学系を有していてもよい。その場合、制御部は、補正データ取得部に補正データ取得処理を実施させる場合に、光学系による結像位置を制御して光学系を非合焦状態としてもよい。この場合、補正データ取得処理は、光学系を非合焦状態とした状態で補正データを取得することを含むものであってよい。【００２３】
本発明の赤外線撮像装置において、第１の撮像部の撮像範囲と第２の撮像部の撮像範囲との少なくとも一部は重複していることが好ましい。本発明の赤外線撮像装置は、補正データ取得部が補正データ取得処理を実施していない場合は少なくとも第１の画像を出力し、補正データ取得部が補正データ取得処理を実施している場合は第２の画像を出力する画像出力部を更に有することが好ましい。【００２４】
本発明の赤外線撮像装置は、補正データ取得処理を実施する条件が成立したか否かを判定する条件判定部を更に有する構成であってもよい。その場合、制御部は、条件判定部が条件が成立したと判定し、かつ光照射判定部が光が照射されていないと判定している場合に、補正データ取得部に補正データ取得処理を実施させることとしてもよい。【００２５】
本発明の赤外線撮像装置は、温度を計測する温度計測部を更に有していてもよい。その場合、条件判定部は、温度計測部が計測した温度と、前回の補正データ取得処理の実施時点における温度との差が温度しきい値以上の場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。あるいは、条件判定部は、前回の補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。【００２６】
本発明の赤外線撮像装置において、光照射判定部は、第２の撮像部により撮像された第２の画像に基づいて第２の撮像部に対する遠赤外線よりも短い波長領域の光の照射を判定する構成であってもよい。あるいは、赤外線撮像装置が第２の撮像部において検出される遠赤外線よりも短い波長領域の光の照射を検出する光センサを更に有し、光照射判定部が、光センサの出力信号に基づいて第２の撮像部に対する遠赤外線よりも短い波長領域の光の照射を判定する構成であってもよい。【００２７】
本発明は、また、本発明の赤外線撮像装置を備えることを特徴とする車両を提供する。【００２８】
本発明の車両において、第１の撮像部及び第２の撮像部は車両前方の映像を撮像するものであることが好ましい。【００２９】
本発明は、更に、遠赤外線を検出し第１の画像を撮像する第１の撮像部と、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部とを有する赤外線撮像装置の制御方法であって、第２の撮像部において検出される波長領域の光が照射されているか否かを判定するステップと、光が照射されていないと判定している場合に、第１の画像における画素の不均一性を補正するための補正データを取得するステップとを有することを特徴とする赤外線撮像装置の制御方法を提供する。
【発明の効果】
【００３０】
本発明の遠赤外線撮像装置及びその制御方法、並びに車両では、遠赤外線を撮像する第１の撮像部と、遠赤外線よりも短い波長、例えば近赤外線及び可視光の少なくとも一方を撮像する第２の撮像部とが用いられる。第１の撮像部において、不均一性補正処理で使用するデータを取得する処理は、第２の撮像部に対して光が照射されていない場合に実施される。このようにすることで、第１の撮像部において不均一性補正処理で使用するデータを取得している間も、外乱光による影響を抑制した画像を取得できる。また、遠赤外線撮像装置を複数台用いる場合に比べて、コストを低減することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の第１実施形態に係る赤外線撮像装置を含む車両を示すブロック図。
【図２】第１の撮像部を示すブロック図。
【図３】デジタル信号処理部の構成を示すブロック図。
【図４】光照射部により照射される近赤外光の照射範囲を示す図。
【図５】第２の撮像部に対して光照射があった場合の第２の画像を示す図。
【図６】本発明の第１実施形態に係る赤外線撮像装置における動作手順を示すフローチャート。
【図７】本発明の第２実施形態に係る赤外線撮像装置における動作手順を示すフローチャート。
【図８】変形例に係る第１の撮像部を示すブロック図。
【発明を実施するための形態】
【００３２】
以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１は、本発明の第１実施形態に係る赤外線撮像装置を含む車両を示すブロック図である。車両２００は、赤外線撮像装置１００と、画像処理装置２１０と、画像表示装置２２０とを有する。赤外線撮像装置１００は、第１の撮像部１１０、第２の撮像部１２０、画像出力部１３０、光照射部１４０、光照射判定部１５０、及び制御部１６０を有する。
【００３３】
第１の撮像部１１０は、遠赤外線を検出し遠赤外線画像（第１の画像）を撮像する。一般に、第１の撮像部１１０では、遠赤外線を検出する赤外線検出器において、検出器素子（画素）ごとに感度がばらつくことに起因して、検出信号のオフセット、及び／又はゲインが検出器素子ごとにばらつく。本実施形態において、検出器素子ごとにばらつく検出信号のオフセット、及び／又はゲインを補正し、遠赤外線画像における画素間のばらつき（不均一性）を補正する処理を不均一性補正処理と呼ぶ。また、そのような不均一性補正処理において不均一性を補正するために使用されるデータ（補正データ）を取得する処理を、補正データ取得処理と呼ぶ。第１の撮像部１１０は、不均一性補正処理を実施する不均一性補正部４２と、補正データ取得処理を実施する補正データ取得部４４とを含む。
【００３４】
図２は、第１の撮像部を示すブロック図である。第１の撮像部１１０は、光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器（Analog to Digital Convertor）１３、デジタル信号処理部１４、出力部１５、温度センサ１８、制御部１９、シャッタ駆動部２０、及びシャッタ２１を有する。
【００３５】
光学系１０は１以上のレンズを含む結像光学系である。光学系１０は、結像面の位置（結像位置）の制御が可能であることが好ましい。赤外線検出器１１は、赤外線撮像素子（赤外センサ）であり、光学系１０により形成された光学像を撮像して電気信号に変換する。赤外線検出器１１は、入射赤外光（赤外線）を検出する複数の検出器素子を含む。赤外線検出器１１において、複数の検出器素子は例えば２次元状に配列されている。赤外線検出器１１の赤外線検出面には、光学系１０を介して赤外線が入射される。赤外線検出器１１の各検出器素子の検出信号に基づいて、赤外線画像が構成される。
【００３６】
赤外線検出器１１は、例えば波長０．８３μｍから１０００μｍの範囲の赤外線を検出する。赤外線検出器１１は、特に、波長６μｍから１０００μｍの範囲の遠赤外線を検出するものであることが好ましい。赤外線検出器１１には、マイクロボロメータ又はＳＯＩ（Silicon on Insulator）ダイオード型などの熱型の赤外線センサを用いることができる。
【００３７】
アナログ信号処理部１２は、赤外線検出器１１が出力する赤外線検出信号に対してアナログ電気処理を実施する。アナログ信号処理部１２は、典型的には、赤外線検出信号を増幅する増幅器を含む。ＡＤ変換器１３は、赤外線検出信号をサンプリングし、サンプリングした赤外線検出信号をデジタルデータ（デジタル信号値）に変換する。デジタル信号処理部１４は、ＡＤ変換器１３によりデジタルデータに変換された赤外線検出信号に対して信号処理を行う。デジタル信号処理部１４における信号処理は、不均一性補正処理と、補正データ取得処理とが含まれる。
【００３８】
出力部１５は、デジタル信号処理部１４で信号処理された赤外線検出信号（遠赤外線画像データ）を、第１の撮像部１１０の出力信号として出力する。出力部１５は、例えばデジタル信号をアナログ信号に変換するＤＡ変換器（Digital Analog Convertor）を含み、赤外線検出信号をアナログ信号として出力する。出力部１５は、赤外線検出信号をデジタル信号として出力してもよい。
【００３９】
制御部１９は、第１の撮像部１１０の全体的な制御を行う。制御部１９には、例えばＦＰＧＡ（Field-Programmable Gate Array）などのＰＬＤ（Programmable Logic Device）を用いることができる。制御部１９は、第１の撮像部１１０の動作モードを、通常撮像モードと補正データ取得処理を実施するモード（補正データ取得モード）との間で切り替える。制御部１９は、制御信号を通じて、デジタル信号処理部１４における信号処理を動作モードに応じて制御する。具体的には、通常撮像モード時はデジタル信号処理部１４に不均一性補正処理を実施させ、補正データ取得モード時は補正データ取得処理を実施させる。
【００４０】
温度センサ（温度計測部）１８は、例えば赤外線検出器１１及びその周辺の温度を計測する。制御部１９は、補正データ取得処理を実施する条件が成立したか否かを判定する条件判定部としても機能する。制御部１９は、例えば温度センサ１８が計測する温度の変化に基づいて、補正データ取得処理を実施する条件が成立したか否かを判定する。具体的には、温度センサ１８により計測された温度と、前回の補正データ取得処理の実施時点における温度との差が温度しきい値以上の場合に、補正データ取得処理を実施する条件が成立したと判断してもよい。
【００４１】
制御部１９は、上記に代えて、時間に基づいて補正データ取得処理を実施する条件が成立したか否かを判定してもよい。制御部１９は、例えば、前回の補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。時間しきい値は固定値である必要はなく、制御部１９は、毎回、一定の固定時間が経過するたびに補正データ取得処理を実施する条件が成立したと判定する必要はない。
【００４２】
制御部１９は、補正データ取得処理を実施する条件が成立したと判定した場合、条件が成立した旨を、赤外線撮像装置１００の制御部１６０（図１）に通知する。制御部１６０は、補正データ取得処理を実施するか否かを決定する。制御部１６０における補正データ取得処理を実施するか否かの決定については後述する。制御部１６０は、補正データ取得処理を実施すると決定した場合は、制御部１９にその旨を通知する。制御部１９は、制御部１６０からの通知に基づいて、動作モードの切り替えを行う。
【００４３】
シャッタ２１は、光学系１０と赤外線検出器１１との間に設けられる。シャッタ駆動部２０は、制御部１９による指令に従ってシャッタ２１を駆動する。シャッタ駆動部２０は、光学系１０を透過した赤外線を赤外線検出器１１に入射させる開状態と、光学系１０を透過した赤外線を遮断して赤外線検出器１１に入射させない閉状態との間で、シャッタ２１を駆動する。制御部１９は、通常撮像モード時はシャッタ２１を開状態とさせる旨をシャッタ駆動部２０に指示し、補正データ取得モード時はシャッタ２１を閉状態とさせる旨をシャッタ駆動部２０に指示する。シャッタ２１が閉状態となることで、遠赤外線の波長領域の光が遮断される。
【００４４】
図３は、デジタル信号処理部１４の構成を示すブロック図である。デジタル信号処理部１４は、スイッチ４１、不均一性補正部４２、補正データ記憶部４３、及び補正データ取得部４４を有する。デジタル信号処理部１４は、例えばＤＳＰ（Digital Signal Processor）などのＬＳＩ（Large Scale Integration）によって構成される。ＤＳＰは、典型的には、プロセッサと、プロセッサに対する命令を格納するＲＯＭ（Read Only Memory）と、データを格納するＲＡＭ（Random Access Memory）とを含み、これらはバスを介して接続されている。プロセッサがＲＯＭに格納された命令に従って動作することで、不均一性補正部４２及び補正データ取得部４４などの機能が実現される。ＤＳＰは、外部の記憶装置などと接続するインタフェースを有していてもよい。
【００４５】
スイッチ４１には、ＡＤ変換器１３（図２を参照）が出力する赤外線検出信号のデジタルデータ（以下では、デジタルデータに変換された赤外線検出信号を、特に区別せずに赤外線検出信号と呼ぶことがある）が入力される。スイッチ４１は、赤外線検出信号を、不均一性補正部４２と補正データ取得部４４とに選択的に出力する。スイッチ４１の切り替えは、例えば制御部１９が出力する制御信号に基づいて実施される。制御部１９は、通常撮像モード時はスイッチ４１から不均一性補正部４２に赤外線検出信号を出力させる。制御部１９は、補正データ取得モード時は、スイッチ４１から補正データ取得部４４に赤外線検出信号を出力させる。
【００４６】
不均一性補正部４２は、遠赤外線画像における画素の不均一性を補正する不均一性補正処理を実施する。補正データ取得部４４は、不均一性を補正するための補正データを取得する補正データ取得処理を実施する。補正データ取得部４４にて実施される補正データ取得処理は、シャッタ２１により遠赤外線の波長領域の光が遮断された状態で補正データを取得することを含む。
【００４７】
不均一性補正部４２には、スイッチ４１を介して、シャッタ２１が開状態に駆動された状態で赤外線検出器１１により検出された赤外線検出信号が入力される。不均一性補正部４２は、補正データ記憶部４３を参照して、赤外線検出信号に含まれる画素間の不均一性を補正する。補正データ記憶部４３は、不均一性補正処理のための補正データを記憶する。補正データ記憶部４３は、例えばデジタル信号処理部１４が有するＲＡＭの内部に構成されていてもよいし、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの書き換え可能な不揮発性メモリで構成されていてもよい。
【００４８】
ここで、本実施形態では、不均一性補正部４２が実施する不均一性補正処理として、特に固定パターンノイズ（以下、ＦＰＮ（Fixed Pattern Noise）とも呼ぶ）を補正するＦＰＮ補正処理を考える。ＦＰＮとは、赤外線検出器１１（図１を参照）の各検出器素子（各画素）に固有の、各検出器素子の検出信号に含まれるノイズ成分を指す。補正データ記憶部４３は、ＦＰＮ補正処理で用いられるＦＰＮデータを補正データとして記憶する。ＦＰＮデータは、各検出器素子のＦＰＮを表すデータであり、各検出器素子のＦＰＮの集合である。補正データ記憶部４３は、初期状態では、均一な光量の光源を赤外線検出器１１の前面に設置し、かつ外部から赤外線検出器１１に入射する赤外線を遮断した状態で赤外線検出器１１により検出された赤外線検出信号を、ＦＰＮデータとして記憶していてもよい。
【００４９】
不均一性補正部４２は、赤外線検出信号からＦＰＮデータを減算することにより、赤外線検出信号からＦＰＮを除去する。より詳細には、不均一性補正部４２は、赤外線検出器１１に含まれる各検出器素子が出力する赤外線検出信号からその検出器素子のＦＰＮデータを減算することにより、各検出器素子に固有のノイズ成分を除去する。このようにすることにより、各検出器素子に入射した赤外線の量に依存した信号成分が得られる。
【００５０】
補正データ取得部４４には、スイッチ４１を介して、シャッタ２１が閉状態に駆動された状態で赤外線検出器１１により検出された赤外線検出信号が入力される。補正データ取得部４４は、入力された赤外線検出信号に基づいてＦＰＮデータを生成する。補正データ取得部４４は、生成したＦＰＮデータを補正データ記憶部４３に格納することにより、補正データ記憶部４３に記憶されたＦＰＮデータを更新する。
【００５１】
ここで、ＦＰＮデータを更新するとは、補正データ記憶部４３に記憶されたＦＰＮデータを新たなデータで書き換えることを意味する。ＦＰＮデータの更新は、赤外線検出器１１に含まれる全ての検出器素子を一度に更新するもののみならず、全検出器素子のうちの一部を対象に行う一部更新も含む。例えば赤外線検出器１１が検出器素子を１００個含むとき、それら１００個の検出器素子のＦＰＮデータを一度に更新してもよいし、１回の更新につき、１００個のうちの４０個から７０個の検出器素子のＦＰＮデータを更新してもよい。
【００５２】
図１に戻り、第２の撮像部１２０は、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する。第２の撮像部１２０が撮像する光の波長範囲の下限は、例えば紫外線の波長領域と可視光線の波長領域との境界である波長約３８０ｎｍであるとする。第２の撮像部１２０は、例えば近赤外線の波長領域の光、及び可視光線の波長領域の光の少なくとも一方を検出する。以下では、主に、第２の撮像部１２０が近赤外線の波長領域の光を検出して近赤外線画像を生成するものとして説明する。
【００５３】
光照射部１４０は、ランプや投光器などを含み、第２の撮像部１２０の撮像範囲に照明光を照射する。光照射部１４０から照明光を照射することで、例えば夜間など周囲が暗い状況においても、第２の撮像部１２０による撮像が可能となる。光照射部１４０が照射する照明光の波長は、第２の撮像部１２０にて撮像される光の波長範囲に含まれる。例えば第２の撮像部１２０が近赤外線を撮像するものである場合、光照射部１４０は、近赤外光を照明光として照射する。第２の撮像部１２０が可視光線を撮像するものである場合、光照射部１４０は可視光を照明光として照射する。一般に、近赤外線は可視光よりも遠くまで届くため、第２の撮像部１２０は近赤外線の波長領域の光を撮像するものであることが好ましい。ここで、例えば、近赤外線の波長領域は、0.7μm以上 2.5μm未満であり、遠赤外線の波長領域は、4μm以上 1000μm未満である。また、例えば、可視光線の波長領域は、380nm以上800nm以下である。
【００５４】
第２の撮像部１２０の基本的な構成は、図２に示す第１の撮像部１１０の構成と同様でよい。ただし、第２の撮像部１２０においては、デジタル信号処理部１４にて補正データ取得処理を実施する必要はなく、従って制御部１９は第２の撮像部１２０の動作モードを通常撮像モードと補正データ取得モードとの間で切り替える必要はない。
【００５５】
第１の撮像部１１０及び第２の撮像部１２０は、例えば車両前方の監視のために用いられる撮像部であり、車両前方の映像を撮像する。ここで、車両前方とは、車両２００の前進方向を指す。第１の撮像部１１０と第２の撮像部１２０とは、例えば、ほぼ同じアングル、かつほぼ同じ撮像倍率で撮像範囲を撮像する。第１の撮像部１１０の撮像範囲と第２の撮像部１２０の撮像範囲とは、必ずしも完全に一致している必要はなく、少なくとも一部が重複していればよい。
【００５６】
画像出力部１３０は、第１の撮像部１１０により撮像された遠赤外線画像と、第２の撮像部１２０により撮像された近赤外線画像との少なくとも一方を、赤外線撮像装置１００の出力画像として出力する。画像出力部１３０は、例えば、遠赤外線画像又は近赤外線画像の何れか一方を選択的に出力してもよいし、遠赤外線画像と近赤外線画像の双方を出力してもよい。画像出力部１３０は、遠赤外線画像と近赤外線画像の双方を出力する場合は、双方の画像を重畳した画像を出力してもよい。
【００５７】
画像処理装置２１０は、赤外線撮像装置１００が出力する画像、つまり画像出力部１３０により出力された画像に対して、画像処理を実施する。画像処理装置２１０は、例えばＤＳＰなどのＬＳＩを含んで構成される。画像処理装置２１０により実施される画像処理は、例えば車両２００の前方の走路の上に存在する人物、又は走路に近接して存在する人物を検出する処理を含む。画像処理は、走路上に存在する落下物などの障害物を検出する処理を含んでいてもよい。
【００５８】
画像処理装置２１０は、赤外線撮像装置１００の出力画像と画像処理の結果とを、画像表示装置２２０に表示する。画像表示装置２２０は、例えば液晶ディスプレイなどを用いて構成される。画像処理装置２１０は、画像表示を行うだけでなく、図示しないスピーカーや警告灯などの報知部により、ユーザに注意喚起を促してもよい。画像処理装置２１０を省き、赤外線撮像装置１００の出力画像を画像表示装置２２０に表示するだけでもよい。
【００５９】
光照射判定部１５０は、第２の撮像部１２０において撮像される光の波長範囲の光が第２の撮像部１２０に対して照射されているか否かを判定する。光照射判定部１５０は、例えば第２の撮像部１２０が近赤外線を撮像するものである場合に、第２の撮像部１２０に対して近赤外光（近赤外線）が照射されているか否かを判定する。光照射判定部１５０は、例えば第２の撮像部１２０により撮像された近赤外線画像に基づいて、第２の撮像部１２０に対する近赤外光の照射を判定してもよい。光照射判定部１５０は、例えば近赤外線画像を画像処理するＤＳＰなどで構成される。
【００６０】
第２の撮像部１２０により撮像された近赤外線画像に基づいて光照射を判定するのに代えて、第２の撮像部１２０が撮像する波長領域の光の照射を検出する光センサ（図１において図示せず）を別途設け、光照射判定部１５０がその光センサの出力信号に基づいて光照射の有無を判定してもよい。具体的には、そのような光センサの出力信号がしきい値以上となった場合に、第２の撮像部１２０に対して近赤外光が照射されていると判定してもよい。光照射判定部１５０は、近赤外光が照射されていると判定すると、その旨を示す信号を制御部１６０に送信する。
【００６１】
制御部１６０は、光照射判定部１５０から受信する信号に基づいて、第１の撮像部１１０に補正データ取得処理を実施させるか否かを決定する。制御部１６０は、光照射判定部１５０から、近赤外光が第２の撮像部１２０に照射されていることを示す信号を受信していない場合、又は近赤外光が第２の撮像部１２０に照射されていないことを示す信号を受信している場合、第１の撮像部１１０に補正データ取得処理を実施させると決定する。制御部１６０は、例えばＦＰＧＡなどのＰＬＤにより構成される。
【００６２】
制御部１６０は、例えば第１の撮像部１１０の制御部１９から補正データ取得処理を実施する条件が成立した旨の通知を受信した場合に、補正データ取得処理を実施させるか否かの決定を行う。制御部１６０は、補正データ取得処理を実施する条件が成立し、かつ光照射判定部１５０が第２の撮像部１２０に対して近赤外光が照射されていないと判定している場合に、第１の撮像部１１０に補正データ取得処理を実施させると決定する。補正データ取得処理を実施する条件が成立していても、光照射判定部１５０が、第２の撮像部１２０に対して近赤外光が照射されている、と判定している場合は、第１の撮像部１１０において補正データ取得処理を実施させないと決定する。
【００６３】
制御部１６０は、補正データ取得処理を実施させると決定した場合は、制御部１９（図２を参照）にその旨を通知する。制御部１９は、シャッタ駆動部２０によりシャッタ２１を閉状態に駆動し、スイッチ４１（図３を参照）の選択を切り替え、補正データ取得部４４に補正データ取得処理を開始させる。なお、第１の撮像部１１０の制御部１９において補正データ取得処理を実施する条件が成立したか否かを判定するのに代えて、制御部１６０において条件が成立したか否かの判定を行ってもよい。言い換えれば、制御部１６０自体が条件判定部として機能してもよい。
【００６４】
制御部１６０は、画像出力部１３０が出力する画像の制御も行う。制御部１６０は、第１の撮像部１１０において補正データ取得部４４が補正データ取得処理を実施していない場合は、画像出力部１３０に、遠赤外線画像を出力させる。制御部１６０は、補正データ取得部４４が補正データ取得処理を実施している場合は、画像出力部１３０は近赤外線画像を出力させる。画像出力部１３０は、補正データ取得処理が実施されていない場合は、少なくとも遠赤外線画像を出力すればよく、遠赤外線画像に加えて近赤外線画像を出力してもよい。
【００６５】
制御部１６０は、光照射部１４０による照明光の照射の制御も行う。制御部１６０は、例えば第１の撮像部１１０において補正データ取得部４４に補正データ取得処理を実施している間は、光照射部１４０から照明光（近赤外光）を照射させる。制御部１６０は、補正データ取得部４４に補正データ取得処理を実施させない場合は、光照射部１４０から近赤外光を照射させない。補正データ取得処理の実施中にのみ近赤外光を照射する場合、近赤外光の照射は、対向車線上を走行する対向車に対し、自車両において第１の撮像部１１０による撮像を中断して補正データ取得処理を実施していることを知らせる効果もある。なお、光照射部１４０による近赤外光の照射は必須ではない。例えば、昼間など、近赤外光の照射がなくても第２の撮像部１２０による近赤外線画像の撮像が可能な場合は、光照射部１４０から近赤外光を照射する必要はない。
【００６６】
図４は、光照射部１４０により照射される近赤外光の照射範囲を示す。光照射部１４０は、例えば車両２００のフロントのバンパー又はグリルなどの部分に配置され、車両２００の前方を照らす照明光（近赤外光）ＩＲを出射する。近赤外光ＩＲの照射範囲は、例えば車両２００のヘッドライトのハイビームの照射範囲と同等であることが好ましい。近赤外光ＩＲの照射範囲に人物や障害物がある場合、その人物や障害物によって生じた反射近赤外光を第２の撮像部１２０が検出することにより、近赤外線画像において人物や障害物の認識が可能である。
【００６７】
図５は、第２の撮像部１２０に対して光照射があった場合の近赤外線画像を示す。車両２００に対して、対向車線上を走行する対向車から近赤外光ＩＲが照射される場合を考える。その場合、光源から照射される近赤外光ＩＲの強度が強いため、第２の撮像部１２０により撮像される近赤外線画像において、近赤外光ＩＲが照射された部分の信号値（輝度値）は周囲の信号値よりも極端に高くなる。また、近赤外線画像全体に占める信号値が高い領域の面積は比較的広くなる。
【００６８】
本実施形態では、自車両２００の第２の撮像部１２０に対して近赤外光が照射されているか否かの判定に、第２の撮像部１２０により撮像された近赤外線画像が用いられる。対向車線側から自車両２００に対して近赤外光が照射されているか否かは、図５に示す近赤外画像において、信号値が輝度に関連したしきい値以上の領域の面積を求め、その面積が面積に関連したしきい値以上であるか否かを調べることにより、判定することができる。
【００６９】
図５に示す例のように、対向車線側から近赤外光ＩＲが照射され、近赤外線画像に近赤外光ＩＲの光源が写り込むと、近赤外線画像においてハレーションなどが生じることがある。その場合、走行車線上や走行車線の付近に人物又は障害物が存在する場合でも、近赤外線画像においてその人物や障害物を視認することが困難になる。また、対象車線側から近赤外光ＩＲが照射されている状況で、自車両２００の光照射部１４０から近赤外光を照射すると、双方の近赤外光により蒸発現象が生じ、自車両２００の前方に存在する人物が見えなくなることもある。一方で、対向車線側から近赤外光ＩＲが照射されたとしても、その近赤外光ＩＲは、第１の撮像部１１０により撮像される遠赤外線画像に対してほとんど影響を与えない。
【００７０】
第１の撮像部１１０において、補正データ取得処理が必要となる状況（補正データ取得処理を実施する条件が成立するタイミング）は、車両２００の走行状況とは無関係に発生する。補正データ取得処理が必要となった場合に、第１の撮像部１１０において即座に補正データ取得処理を実施すると、第２の撮像部１２０に対して近赤外光が照射される状況であっても、赤外線撮像装置１００が出力する画像が第２の撮像部１２０により撮像された近赤外線画像に切り替えられる。その場合、近赤外線画像において、人物や障害物を見落とす可能性がある。
【００７１】
そこで、本実施形態では、第２の撮像部１２０に対する光照射の有無に基づいて、第１の撮像部１１０における補正データ取得処理を実施するか否かを制御する。制御部１６０は、第１の撮像部１１０において補正データ取得処理を実施する条件が成立している場合でも、光照射判定部１５０が、第２の撮像部１２０に対して近赤外光が照射されている、と判定している場合は、補正データ取得処理の実施を抑制する。補正データ取得処理の実施を抑制することで、引き続き、遠赤外線画像による車両前方の監視が可能であり、走路及びその付近に存在する人物又は障害物を見落とす危険性を低減することができる。
【００７２】
図６は、赤外線撮像装置１００の動作手順を示すフローチャートである。第１の撮像部１１０は遠赤外線画像を撮像する（ステップＡ１）。第１の撮像部１１０で撮像された遠赤外線画像は、画像出力部１３０から画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。ドライバーなどのユーザは、画像表示装置２２０に表示される遠赤外線画像を観察することで、走路上に人物や障害物が存在していなかを確認することができる。画像出力部１３０から遠赤外線画像が出力されている間、第２の撮像部１２０は近赤外線画像を撮像する。近赤外線画像は、例えば光照射判定部１５０における判定に使用される。
【００７３】
第１の撮像部１１０の制御部１９（図２を参照）は、補正データ取得処理を実施する条件が成立したか否かを判定する（ステップＡ２）。制御部１９は、例えば温度センサ１８により計測された温度と、前回の補正データ取得処理実施時の温度との差が温度しきい値以上である場合に、補正データ取得処理を実施する条件が成立したと判定する。これに代えて、制御部１９は、前回の補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、補正データ取得処理を実施する条件が成立したと判定してもよい。ステップＡ２において補正データ取得処理を実施する条件が成立していないと判定された場合は、ステップＡ１に戻り、遠赤外線画像の撮像が継続される。
【００７４】
ステップＡ２において補正データ取得処理を実施する条件が成立したと判定されると、制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＡ３）。ステップＡ３において第２の撮像部１２０に対して近赤外光が照射されていると判定された場合は、第１の撮像部１１０は引き続き遠赤外線画像を撮像し（ステップＡ４）、撮像された遠赤外線画像が画像表示装置２２０に表示される。第１の撮像部１１０による遠赤外線画像の撮像は、ステップＡ３において第２の撮像部１２０に対して近赤外光が照射されていないと判定されるまで継続して実施される。
【００７５】
制御部１６０は、ステップＡ３において近赤外光が照射されていないと判定すると、光照射部１４０から第２の撮像部１２０の撮像範囲に照明光（近赤外光）を照射させる（ステップＡ５）。制御部１６０は、画像出力部１３０が出力する画像を、第１の撮像部１１０により撮像された遠赤外線画像から、第２の撮像部１２０により撮像された近赤外線画像に切り替える（ステップＡ６）。画像出力部１３０から出力された近赤外線画像は画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。
【００７６】
その後、制御部１６０は、第１の撮像部１１０に対して補正データ取得処理の実施を指示し、第１の撮像部１１０は補正データ取得処理を実施する（ステップＡ７）。第１の撮像部１１０は、ステップＡ７では、例えばシャッタ駆動部２０（図２を参照）によりシャッタ２１を閉状態とし、スイッチ４１（図３を参照）の選択を不均一性補正部４２から補正データ取得部４４側に切り替え、補正データ取得部４４に補正データ取得処理を開始させる。
【００７７】
制御部１６０は、第１の撮像部１１０において補正データ取得処理が終了すると、画像出力部１３０が出力する画像を、近赤外線画像から遠赤外線画像に戻す。制御部１６０は、光照射部１４０に、近赤外光の照射を停止させる（ステップＡ８）。近赤外光の照射の停止のタイミングは、画像出力部１３０が出力する画像が近赤外線画像から遠赤外線画像に切り替わった後のタイミングが好ましい。光照射部１４０による近赤外光の照射が停止した後、第２の撮像部１２０により撮像される近赤外線画像は、光照射判定部１５０による第２の撮像部１２０に対する光照射の判定に用いられる。光照射部１４０による近赤外光の照射の停止後、ステップＡ１に戻り、遠赤外線画像の撮像が継続される。
【００７８】
本実施形態では、赤外線撮像装置１００は、遠赤外線画像を撮像する第１の撮像部１１０と、近赤外線画像を撮像する第２の撮像部１２０とを有する。第１の撮像部１１０は、画素間の不均一性を補正する不均一性補正処理を必須としており、第１の撮像部１１０において、不均一性補正処理で用いられる補正データを取得する補正データ取得処理を周期的に実施することが好ましい。一般に、第１の撮像部１１０において補正データ取得処理が実施されている期間は、遠赤外線画像の撮像が途切れ、遠赤外線画像が利用できなくなる。本実施形態では、赤外線撮像装置１００は、補正データ取得処理が実施され、遠赤外線画像が利用できない期間は、第２の撮像部１２０により撮像された近赤外線画像を出力する。ユーザは、第２の撮像部１２０により撮像された近赤外線画像により、車両前方の監視が可能である。
【００７９】
しかしながら、近赤外線画像は外乱光の影響が大きいため、第２の撮像部１２０に対して近赤外光が照射されている状況で、第２の撮像部１２０により撮像された近赤外線画像により車両前方の監視を行うと、人物や障害物を見落とすおそれがある。そこで、本実施形態では、光照射判定部１５０により第２の撮像部１２０に対する光照射があるか否かを判定し、光照射がないと判定された場合に、第１の撮像部１１０において補正データ取得処理を実施する。このようにすることで、補正データを取得している間、第２の撮像部１２０において外乱光による影響を抑制した第２の画像を取得できる。本実施形態では、近赤外線画像において人物や障害物などが見えにくい状況で、赤外線撮像装置１００が出力する画像が近赤外線画像に切り替わることを防ぐことができ、車両前方の監視における安全性を向上できる。
【００８０】
本実施形態では、第１の撮像部１１０において補正データ取得処理が実施されており、遠赤外線画像による監視ができない期間は、第２の撮像部１２０により撮像された近赤外線画像によって車両前方の監視が行われる。仮に、第２の撮像部１２０に、第１の撮像部と同様な撮像部を用いたとすると、一般に遠赤外線を撮像する撮像部は高価であるため、赤外線撮像装置１００のコストが増大する。近赤外線、及び／又は可視光を撮像する撮像部は、遠赤外線を撮像する撮像部よりも安価であるため、遠赤外線を撮像する撮像部を複数台使用する場合に比べて、赤外線撮像装置１００のコストを抑制できる。
【００８１】
本実施形態では、制御部１６０は、第１の撮像部１１０において補正データ取得処理が実施されている期間だけ、光照射部１４０から近赤外光（照明光）を照射させる。仮に、光照射部１４０が常に近赤外光を照射するものであるとすると、光照射部１４０から照射された近赤外光は、対向車線側を走行する車両に照射される。対向車線側を走行する車両において近赤外線の撮像が実施されているとすると、自車両２００の光照射部１４０が照射する近赤外光は、対向車線を走行する車両で撮像される近赤外線画像において外乱光となる。本実施形態では、光照射部１４０が近赤外光を照射する期間を、補正データ取得処理が実施されている期間に限定することで、自車両２００の光照射部１４０から照射された近赤外光が対向車線を走行する車両などに与える悪影響を抑制することができる。
【００８２】
次いで、本発明の第２実施形態を説明する。本発明の第２実施形態に係る赤外線撮像装置の構成は、図１に示す第１実施形態に係る赤外線撮像装置１００の構成と同様でよい。本実施形態では、第１の撮像部１１０において補正データ取得処理を実施している間も、光照射判定部１５０が第２の撮像部１２０に対して光が照射されているか否かを判定する。制御部１６０は、補正データ取得処理が完了する前に、光照射判定部１５０が第２の撮像部１２０に対して光が照射されていると判定した場合は、補正データ取得処理を停止させる。その他の点は、第１実施形態と同様でよい。
【００８３】
図７は、本実施形態に係る赤外線撮像装置１００の動作手順を示すフローチャートである。第１の撮像部１１０は遠赤外線画像を撮像する（ステップＢ１）。第１の撮像部１１０で撮像された遠赤外線画像は、画像出力部１３０から画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。
【００８４】
第１の撮像部１１０の制御部１９（図２を参照）は、補正データ取得処理を実施する条件が成立したか否かを判定する（ステップＢ２）。ステップＢ２において補正データ取得処理を実施する条件が成立していないと判定された場合は、ステップＢ１に戻り、遠赤外線画像の撮像が継続される。
【００８５】
ステップＢ２において補正データ取得処理を実施する条件が成立したと判定されると、制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＢ３）。ステップＢ３において近赤外光が照射されていると判定された場合は、第１の撮像部１１０は引き続き遠赤外線画像を撮像し（ステップＢ４）、撮像された遠赤外線画像が画像表示装置２２０に表示される。第１の撮像部１１０による遠赤外線画像の撮像は、ステップＢ３において近赤外光が照射されていないと判定されるまで継続して実施される。
【００８６】
制御部１６０は、ステップＢ３において近赤外光が照射されていないと判定すると、光照射部１４０から第２の撮像部１２０の撮像範囲に照明光（近赤外光）を照射させる（ステップＢ５）。制御部１６０は、画像出力部１３０が出力する画像を、第１の撮像部１１０により撮像された遠赤外線画像から、第２の撮像部１２０により撮像された近赤外線画像に切り替える（ステップＢ６）。画像出力部１３０から出力された近赤外線画像は画像処理装置２１０に出力され、画像処理装置２１０により車両２００に設置された画像表示装置２２０に表示される。ステップＢ１からステップＢ６までの処理は、図６に示すステップＡ１からステップＡ６までの処理と同様でよい。
【００８７】
制御部１６０は、第１の撮像部１１０に対して補正データ取得処理の実施を指示する。第１の撮像部１１０は補正データ取得処理を開始する（ステップＢ７）。第１の撮像部１１０は、ステップＢ７では、例えばシャッタ駆動部２０（図２を参照）によりシャッタ２１を閉状態とし、スイッチ４１（図３を参照）の選択を不均一性補正部４２から補正データ取得部４４側に切り替え、補正データ取得部４４に補正データ取得処理を開始させる。
【００８８】
制御部１６０は、光照射判定部１５０における判定結果に基づいて、第２の撮像部１２０に対して近赤外光が照射されているか否かを判定する（ステップＢ８）。ステップＢ８で第２の撮像部１２０に対して近赤外光が照射されていないと判定された場合は、第１の撮像部１１０において補正データ取得処理を継続し、かつ第２の撮像部１２０による近赤外画像の撮像を継続する（ステップＢ９）。
【００８９】
ステップＢ８で第２の撮像部１２０に対して近赤外光が照射されていると判定された場合は、第１の撮像部１１０は補正データ取得処理を停止（中断）する（ステップＢ１０）。第１の撮像部１１０は、例えばシャッタ駆動部２０によりシャッタ２１を開状態とし、スイッチ４１（図３を参照）の選択を補正データ取得部４４側から不均一性補正部４２側に切り替え、不均一性補正部４２に不均一性補正処理を実施させる。
【００９０】
制御部１６０は、補正データ取得処理が完了すると、又は補正データ取得処理が停止されると、画像出力部１３０が出力する画像を、近赤外線画像から遠赤外線画像に戻す。制御部１６０は、光照射部１４０に、近赤外光の照射を停止させる（ステップＢ１１）。近赤外光の照射の停止のタイミングは、画像出力部１３０が出力する画像が近赤外線画像から遠赤外線画像に切り替わった後のタイミングが好ましい。光照射部１４０による近赤外光の照射の停止後、ステップＢ１に戻り、遠赤外線画像の撮像が継続される。
【００９１】
本実施形態では、補正データ取得処理の実施中にも、第２の撮像部１２０に光が照射されたか否かを判定する。第１の撮像部１１０において補正データ取得処理が実施されている間に、第２の撮像部１２０に対して光が照射された場合は、補正データ取得処理を停止して、画像出力部１３０に第１の撮像部１１０により撮像された遠赤外線画像を出力させる。このようにすることで、補正データ取得処理の開始後に、近赤外線画像において人物や障害物を見落とす可能性がある状況となった場合に、補正データ取得処理の完了を待たずに遠赤外線画像による監視が可能である。その他の効果は、第１実施形態と同様である。
【００９２】
なお、上記各実施形態では、第１の撮像部１１０がシャッタ２１を有し、補正データ取得処理がシャッタ２１を閉状態に駆動した状態で実施するものであるとして説明したが、補正データ取得処理は、シャッタを閉状態に駆動して実施するものには限定されない。例えば、シャッタ２１を閉状態として補正データ取得処理を実施するのに代えて、光学系による結像位置を制御して光学系を非合焦状態とし、補正データ取得処理を実施してもよい。その場合、補正データ取得処理は、光学系を非合焦状態とした状態で画素の不均一性を補正するための補正データを取得することを含んでもよい。
【００９３】
図８は、変形例に係る第１の撮像部のブロック図を示す。変形例に係る第１の撮像部１１０ａは、光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器１３、デジタル信号処理部１４、出力部１５、焦点調整機構１６、位置センサ１７、温度センサ１８、及び制御部１９を有する。光学系１０、赤外線検出器１１、アナログ信号処理部１２、ＡＤ変換器１３、出力部１５、及び温度センサ１８については、第１実施形態において説明したものと同様でよい。
【００９４】
光学系１０は１以上のレンズを含む結像光学系である。光学系１０は、結像面の位置（結像位置）の制御が可能である。焦点調整機構１６は、光学系１０と赤外線検出器１１との相対的な位置関係を調整する。以下では、光学系１０の位置を変化させることで、光学系１０と赤外線検出器１１との相対的な位置関係を調整するものとして説明する。焦点調整機構１６は、例えば光学系１０に含まれるレンズの位置を変化させるモータと、モータを駆動する駆動回路とを含む。位置センサ１７は、光学系１０に含まれるレンズの位置を検出する。光学系１０に含まれるレンズの位置が変化することで、光学系１０の結像位置が変化する。
【００９５】
制御部１９は、光学系１０の結像位置を制御する焦点制御部としても働く。制御部１９は、焦点調整機構１６に光学系１０の位置を制御するための位置信号を送信する。焦点調整機構１６は、受信した位置信号が示す位置に光学系１０を移動させる。制御部１９は、通常撮像モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致する位置に制御する。通常撮像モード時において、光学系１０の位置は、被写体の動きに追従して変化させてもよいし、ある位置に固定してもよい。
【００９６】
制御部１９は、ＦＰＮデータの更新モード時は、焦点調整機構１６を介して、光学系１０の位置を、光学系１０の結像面が赤外線検出器１１の検出面と一致しない位置に制御する。制御部１９は、例えば、光学系１０の位置を、被写体が最も光学系１０に近いときに光学系１０が合焦状態となる位置、又は被写体が無限遠に存在するときに光学系１０が合焦状態となる位置に制御する。
【００９７】
ここで、光学系１０の結像面が赤外線検出器１１の検出面と一致しない状態を、非合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像しない状態を、非合焦状態と呼ぶ。全ての検出器素子の領域において像が結像しない状態であることまでは要せず、一部の領域において像が結像していたとしても、全体としては非合焦状態であるとする。また、光学系１０の結像面が赤外線検出器１１の検出面と一致する状態を、合焦状態と呼ぶ。つまり、赤外線検出器１１の検出器素子に光学系１０による像が結像する状態を、合焦状態と呼ぶ。光学系１０の結像面と赤外線検出器１１の検出面とは完全に一致している必要はなく、赤外線検出器１１の検出面に被写体が認識できる程度に解像している状態を含む。
【００９８】
通常撮像モード時に、光学系１０は合焦状態に制御されており、検出器素子に入射する赤外線の量は、被写体の像に依存して異なる。光学系１０が非合焦状態にされると、被写体の像が、赤外線検出器１１の検出面からずれた位置に結像し、被写体が解像しない。このため、赤外線検出器１１により撮像される赤外線画像はぼけた画像となり、赤外線検出器１１の各検出器素子に入射する赤外線の量を均一化できる。
【００９９】
本変形例では、補正データ取得部４４は、シャッタが閉状態で赤外線検出器１１により検出された赤外線検出信号に基づいて補正データを取得するのに代えて、光学系１０が非合焦状態に制御された状態で赤外線検出器１１により検出された赤外線検出信号に基づいて補正データを取得する。本変形例は、シャッタ、及びシャッタを駆動する駆動回路が不要であり、第１の撮像部１１０の小型化などの観点において有利である。
【０１００】
上記各実施形態では、赤外線撮像装置１００が車両２００に搭載される例について説明したが、これには限定されず、赤外線撮像装置１００は、車両２００における車両前方の監視以外の用途に使用されてもよい。画像出力部１３０が出力する画像は、画像処理装置２１０において画像処理され、或いは、画像表示装置２２０に表示されるだけでなく、ハードディスク装置やメモリカードなどの外部記憶装置に記憶されてもよい。画像出力部１３０は、ネットワークや通信ケーブルなどを通じて、外部のサーバや処理装置に画像データを送信してもよい。
【０１０１】
以上、本発明をその好適な実施形態に基づいて説明したが、本発明の赤外線撮像装置及びその制御方法、並びに車両は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。
【符号の説明】
【０１０２】
１０：光学系
１１：赤外線検出器
１２：アナログ信号処理部
１３：ＡＤ変換器
１４：デジタル信号処理部
１５：出力部
１６：焦点調整機構
１７：位置センサ
１８：温度センサ
１９：制御部
２０：シャッタ駆動部
２１：シャッタ
４１：スイッチ
４２：不均一性補正部
４３：補正データ記憶部
４４：補正データ取得部
１００：赤外線撮像装置
１１０：第１の撮像部
１２０：第２の撮像部
１３０：画像出力部
１４０：光照射部
１５０：光照射判定部
１６０：制御部
２００：車両
２１０：画像処理装置
２２０：画像表示装置
ＩＲ：近赤外光（照明光）
【図１】
2017073348.tif 000003
【図２】
2017073348.tif 000004
【図３】
2017073348.tif 000005
【図４】
2017073348.tif 000006
【図５】
2017073348.tif 000007
【図６】
2017073348.tif 000008
【図７】
2017073348.tif 000009
【図８】
2017073348.tif 000010
【手続補正書】
【提出日】平成30年4月20日(2018.4.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
遠赤外線を検出し第１の画像を撮像する第１の撮像部と、
遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部と、
前記第１の画像における画素の不均一性を補正する不均一性補正処理を実施する不均一性補正部と、
前記不均一性を補正するための補正データを取得する補正データ取得処理を実施する補正データ取得部と、
前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する光照射判定部と、
前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記補正データ取得部に前記補正データ取得処理を実施させ、かつ前記補正データ取得処理が完了する前に前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていると判定した場合は、前記補正データ取得処理を停止させる制御部とを備えたことを特徴とする赤外線撮像装置。
【請求項２】
前記第２の撮像部は、近赤外線の波長領域の光、及び可視光線の波長領域の光の少なくとも一方を検出する請求項１に記載の赤外線撮像装置。
【請求項３】
前記第２の撮像部の撮像範囲に、前記第２の撮像部において検出される波長領域に含まれる波長の照明光を照射する光照射部を更に有する請求項１又は２に記載の赤外線撮像装置。
【請求項４】
前記制御部は、前記光照射部を制御し、前記補正データ取得部が前記補正データ取得処理を実施している間は前記第２の撮像部の撮像範囲に前記照明光を照射させる請求項３に記載の赤外線撮像装置。
【請求項５】
前記第１の撮像部は、外部から入射する前記遠赤外線の波長領域の光を遮断するシャッタを含み、
前記制御部は、前記補正データ取得部に前記補正データ取得処理を実施させる場合に、前記シャッタを制御して前記遠赤外線の波長領域の光を遮断させる請求項１から４何れか１項に記載の赤外線撮像装置。
【請求項６】
前記補正データ取得処理が、前記シャッタが前記遠赤外線の波長領域の光を遮断させた状態で前記補正データを取得することを含む請求項５に記載の赤外線撮像装置。
【請求項７】
前記第１の撮像部は、被写体の結像位置の制御が可能な光学系を含み、
前記制御部は、前記補正データ取得部に前記補正データ取得処理を実施させる場合に、前記光学系による結像位置を制御して前記光学系を非合焦状態とする請求項１から４何れか１項に記載の赤外線撮像装置。
【請求項８】
前記補正データ取得処理が、前記光学系を非合焦状態とした状態で前記補正データを取得することを含む請求項７に記載の赤外線撮像装置。
【請求項９】
前記第１の撮像部の撮像範囲と前記第２の撮像部の撮像範囲との少なくとも一部が重複しており、
前記補正データ取得部が前記補正データ取得処理を実施していない場合は少なくとも前記第１の画像を出力し、前記補正データ取得部が前記補正データ取得処理を実施している場合は前記第２の画像を出力する画像出力部を更に有する請求項１から８何れか１項に記載の赤外線撮像装置。
【請求項１０】
前記補正データ取得処理を実施する条件が成立したか否かを判定する条件判定部を更に有し、
前記制御部は、前記条件判定部が前記条件が成立したと判定し、かつ前記光照射判定部が前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記補正データ取得部に前記補正データ取得処理を実施させる請求項１から９何れか１項に記載の赤外線撮像装置。
【請求項１１】
温度を計測する温度計測部を更に有し、
前記条件判定部は、前記温度計測部が計測した温度と、前回の前記補正データ取得処理の実施時点における温度との差が温度しきい値以上の場合に、前記条件が成立したと判定する請求項１０に記載の赤外線撮像装置。
【請求項１２】
前記条件判定部は、前回の前記補正データ取得処理の実施時点から時間しきい値以上の時間が経過した場合に、前記条件が成立したと判定する請求項１０又は１１に記載の赤外線撮像装置。
【請求項１３】
前記光照射判定部は、前記第２の撮像部により撮像された第２の画像に基づいて前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する請求項１から１２何れか１項に記載の赤外線撮像装置。
【請求項１４】
前記遠赤外線よりも短い波長領域の光の照射を検出する光センサを更に有し、
前記光照射判定部は、前記光センサの出力信号に基づいて前記第２の撮像部に対する前記遠赤外線よりも短い波長領域の光の照射を判定する請求項１から１３何れか１項に記載の赤外線撮像装置。
【請求項１５】
請求項１から１４何れか１項に記載の赤外線撮像装置を備えることを特徴とする車両。
【請求項１６】
前記第１の撮像部及び前記第２の撮像部は車両前方の映像を撮像する請求項１５に記載の車両。
【請求項１７】
遠赤外線を検出し第１の画像を撮像する第１の撮像部と、遠赤外線よりも短い波長領域の光を検出し第２の画像を撮像する第２の撮像部とを有する赤外線撮像装置の制御方法であって、
前記遠赤外線よりも短い波長領域の光が照射されているか否かを判定するステップと、
前記遠赤外線よりも短い波長領域の光が照射されていないと判定している場合に、前記第１の画像における画素の不均一性を補正するための補正データを取得するステップと、前記補正データの取得処理が完了する前に前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されているか否かを判定するステップと、
前記第２の撮像部に対して前記遠赤外線よりも短い波長領域の光が照射されていると判定した場合は、前記補正データの取得処理を停止させるステップとを有することを特徴とする赤外線撮像装置の制御方法。
【国際調査報告】
2017073348.tif 000011
2017073348.tif 000012
2017073348.tif 000013
2017073348.tif 000014
2017073348.tif 000015