(57)【要約】【課題】  熱源の誤検出を防止する。【解決手段】  赤外線で被写界を撮像して赤外画像を出力する赤外線撮像手段２と、赤外線撮像手段２の被写界における撮像範囲を含む範囲を可視光線で撮像し、可視画像を出力する可視光線撮像手段１とを備え、赤外線撮像手段２による赤外画像の輝度をしきい値と比較して熱源の存在を検出する際に、可視光線撮像手段１による可視画像の輝度に基づいてしきい値を変更する。【選択図】  図１
2005249529.tif 000002
【特許請求の範囲】
【請求項１】
赤外線で被写界を撮像して赤外画像を出力する赤外線撮像手段と、
前記赤外線撮像手段の被写界における撮像範囲を含む範囲を可視光線で撮像し、可視画像を出力する可視光線撮像手段と、
前記赤外線撮像手段による赤外画像の輝度をしきい値と比較して熱源の存在を検出する熱源判定手段と、
前記可視光線撮像手段による可視画像の輝度に基づいて前記しきい値を変更するしきい値変更手段とを備えることを特徴とする熱源検出装置。
【請求項２】
請求項１に記載の熱源検出装置において、
前記しきい値変更手段は、前記可視画像の最高輝度と最低輝度との差に基づいて前記しきい値を変更することを特徴とする熱源検出装置。
【請求項３】
請求項１に記載の熱源検出装置において、
前記しきい値変更手段は、前記可視画像の最高輝度と平均輝度との差に基づいて前記しきい値を変更することを特徴とする熱源検出装置。
【請求項４】
請求項１に記載の熱源検出装置において、
前記しきい値変更手段は、前記可視画像の最高輝度と最低輝度または平均輝度との差に黒体放射に基づく可視光受光エネルギーと赤外光受光エネルギーの比率を乗じた値に基づいて前記しきい値を変更することを特徴とする熱源検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、歩行者などの熱源を検出する熱源検出装置に関する。
【背景技術】
【０００２】
赤外線カメラと可視光線カメラとにより車両前方を撮像し、赤外線カメラの画像から可視光線カメラの画像を減じて熱源のみの画像を生成し、表示するようにした環境認識装置が知られている（例えば、特許文献１参照）。
【０００３】
この出願の発明に関連する先行技術文献としては次のものがある。
【特許文献１】特開２０００−１９２２５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の装置では、昼間、特に日射が強いシーンでの太陽光線の影響を考慮していないので、検出領域が日陰から日向に変化した場合には、路面の温度がそれほど上昇していないにもかかわらず、日光に含まれる遠赤外線が路面で反射されて路面に熱源があると誤検出するという問題がある。また、検出領域内に日向部分と日陰部分とがある場合にも、日向部分に熱源がないのに熱源があると誤検出するという問題がある。
【課題を解決するための手段】
【０００５】
赤外線で被写界を撮像して赤外画像を出力する赤外線撮像手段と、赤外線撮像手段の被写界における撮像範囲を含む範囲を可視光線で撮像し、可視画像を出力する可視光線撮像手段とを備え、赤外線撮像手段による赤外画像の輝度をしきい値と比較して熱源の存在を検出する際に、可視光線撮像手段による可視画像の輝度に基づいてしきい値を変更する。
【発明の効果】
【０００６】
本発明によれば、熱源の誤検出を防止することができる。
【発明を実施するための最良の形態】
【０００７】
図１は一実施の形態の構成を示す図である。可視光線カメラ１は可視光線で被写界を撮像し、可視画像を出力する。赤外線カメラ２は赤外線で被写界を撮像し、赤外画像を出力する。可視光線カメラ１と赤外線カメラ２は車両後端に設置され、車両後方を撮像する。可視光線カメラ１と赤外線カメラ２は同一位置に設置され、またそれらの撮像範囲は同一であることが望ましいが、同一位置および同一範囲でなくても少なくとも可視光線カメラ１の撮像範囲の中に赤外線カメラ２の撮像範囲が含まれる必要がある。熱源判断装置３はマイクロコンピューターを中心に構成され、可視光線カメラ１と赤外線カメラ２で撮像した画像を処理して視野内の熱源の有無を判定する。報知装置４は熱源判断装置３により視野内に熱源があると判定された場合に熱源の画像を表示するとともに、音声、ブザー、バイブレーターなどにより警報を行う。
【０００８】
図２は日差しによって車両後方に日陰の部分と日向の部分ができた場合を示す図であり、図３は車両後部の日陰部分と日向部分を上から見た図である。車両の前方上空から太陽光が照射している場合には車両後方に車両の影が生じ、可視光線カメラ１と赤外線カメラ２による熱源検出領域の一部が日陰部分になる。熱源検出領域内に日向部分と日陰部分とがある場合に、日向部分では路面の凹凸によって図４に示すように太陽光が乱反射され、一部が赤外線カメラ２の方向に反射されて赤外線カメラ２に入射する。太陽光の強度が強いほど反射光も強くなり、日向部分に熱源がないのにあたかも熱源があるかのように検出してしまう。
【０００９】
人体から発せられる熱源を検出して車両周辺の歩行者などを認識する場合には、基本的には赤外線カメラ２により撮像した画像に２値化処理を施し、信号値の大きい部分に熱源が存在すると判断する。ところが、背景の温度によって画像全体の信号値が変化するため、２値化処理におけるしきい値、すなわち熱源判定しきい値を変える必要がある。例えば、熱源判定しきい値が低すぎるために、太陽光が反射された日向部分の背景を熱源として誤認することがある。そこで、この一実施の形態では可視光線カメラ１により撮像した画像の最高輝度と最低輝度または平均輝度に基づいて２値化処理における熱源判定しきい値を変更する。
【００１０】
図５は、２値化処理における熱源判定しきい値を変更しない場合の熱源検出動作を説明する図である。一方、図６は、２値化処理における熱源判定しきい値を変更する場合の一実施の形態の熱源検出動作を説明する図である。可視光線カメラ１と赤外線カメラ２の撮像画像に日陰部分と日向部分とがある場合には、可視光線カメラ１による可視画像は図５(ａ)および図６(ａ)のようになり、この場合の可視画像の横軸方向の輝度は図５(ｂ)および部６(ｂ)に示すようになる。当然、可視画像の日向部分の輝度は日陰部分の輝度よりも高い。
【００１１】
一方、可視光線カメラ１と赤外線カメラ２の撮像画像に日陰部分と日向部分とがある場合には、赤外線カメラ２による赤外画像は図５(ｃ)および図６(ｃ)に示すようになり、上述した日向部分の反射光によって明暗ができる。例えば日向部分では太陽光の照度が５４０００〜７６４６２ルクスになり、日陰部分の照度の約８倍になる。太陽光は温度約６０００度の黒体放射にともなう波長成分を含み、可視光線と人体検出に用いる８〜１３μｍの赤外光の強度割合もほぼ同様な比率で変化する。さらに、路面の反射率は路面によって異なるがほぼ数％程度であるため、赤外線カメラ２に入射する赤外線光も減少する。仮に反射率を５％と仮定すると、赤外線カメラ２に入射する赤外線光は８×０．０５＝０．４倍、すなわち４０％だけ変化する。この変化によって赤外線輝度が２値化しきい値（熱源判定しきい値）を上まわる場合には、図５(ｄ)に示すように熱源がない日向部分に熱源があると誤検出する。なお、図５(ｄ)および図６(ｄ)は赤外画像の横軸方向の輝度、すなわち赤外線カメラ２の撮像素子（不図示）の画素ごとの出力（画素値）を示す。
【００１２】
そこで、この一実施の形態では、図６(ｄ)に示すように、日向部分における２値化しきい値を反射光に相当する分だけ高くする。こうすれば反射光により日向部分の赤外線輝度が上がっても２値化しきい値を超えることはなく、熱源の誤検出を防止することができる。
【００１３】
次に、図５(ｅ)および図６(ｅ)に示すように、可視光線カメラ１と赤外線カメラ２の撮像画像の日陰部分と日向部分の境界に人体がある場合には、熱源である人体部分で赤外線輝度が大きく上昇し、図５(ｆ)および図６(ｆ)に示すように赤外線輝度が２値化しきい値を超えて熱源の存在が検出される。なお、図５(ｆ)および図６(ｆ)は、図５(ｅ)および図６(ｅ)に示す赤外画像の破線部の輝度、すなわち赤外線カメラ２の撮像素子（不図示）の画素ごとの出力（画素値）を示す。日向部分の２値化しきい値を変更しない場合には、図５(ｆ)に示すように日向部分の赤外線輝度が２値化しきい値を超えてしまい、日向部分には熱源がないにも係わらず熱源が存在すると誤検出する。一方、日向部分の２値化しきい値を変更する一実施の形態では、図６(ｆ)に示すように日向部分の赤外線輝度が２値化しきい値を超えることはなく、誤検出を防止することができる。
【００１４】
図７は一実施の形態の熱源判断処理を示すフローチャートである。このフローチャートにより、一実施の形態の動作を説明する。ステップ１において赤外線カメラ２により赤外線画像を取得する。ステップ２で予め設定した熱源判定しきい値（２値化しきい値）をメモリ（不図示）から読み出すか、または赤外画像により熱源判定しきい値（２値化しきい値）を計算により求め、続くステップ３で赤外線画像に２値化処理を施し、熱源判定しきい値を用いて熱源検出を行う。
【００１５】
次に、ステップ４で可視光線カメラ１により可視画像を取得する。続くステップ５において可視画像の輝度に基づいて各画像ごとに熱源判定しきい値を補正する。
ＴＨ’＝ＴＨ＋ＴＨＣ＝ＴＨ＋（Ｖmax−Ｖm）＊Ｗ＊Ｒ  ・・・（１）
（１）式において、ＴＨ’は補正後の熱源判定しきい値、ＴＨは予め設定または赤外画像に基づいて算出した熱源判定しきい値、ＴＨＣは可視画像の輝度に基づいて演算した熱源判定しきい値の補正値である。また、Ｖmaxは可視画像の日向部分の最高輝度、Ｖmは可視画像の日陰部分の最低輝度、または平均輝度、Ｗは可視画像の輝度の赤外画像の輝度に及ぼす波長係数、つまり黒体放射に基づく可視光受光エネルギーと赤外光受光エネルギーの比率、Ｒは想定される路面の反射率である。
【００１６】
ステップ６では補正後の熱源判定しきい値ＴＨ’を用いて可視画像から熱源検出処理を行う。以後、上述した処理を繰り返す。
【００１７】
このように、一実施の形態によれば、赤外線で被写界を撮像して赤外画像を出力する赤外線カメラ２と、赤外線カメラ２の被写界における撮像範囲を含む範囲を可視光線で撮像し、可視画像を出力する可視カメラ１とを備え、赤外線カメラ２による赤外画像の輝度をしきい値と比較して熱源の存在を検出する際に、可視カメラ１による可視画像の輝度に基づいてしきい値を変更するようにしたので、路面反射光などの熱源検出に及ぼす影響を効果的に抑制することができ、熱源の誤検出を防止することができる。
【００１８】
また、一実施の形態では、可視画像の最高輝度と最低輝度または平均輝度との差に、黒体放射に基づく可視光受光エネルギーと赤外光受光エネルギーの比率を乗じた値に基づいて熱源判定しきい値を変更するようにしたので、より正確に熱源を検出することができる。
【００１９】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、可視カメラ１が可視光線撮像手段を、赤外線カメラ２が赤外線撮像手段を、熱源判断装置３が熱源判定手段およびしきい値変更手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【００２０】
なお、上述した一実施の形態では車両に搭載される熱源検出装置を例に上げて説明したが、本願発明は車両用に限定されるものではない。
【図面の簡単な説明】
【００２１】
【図１】一実施の形態の構成を示す図である。
【図２】日差しによって車両後方に日陰の部分と日向の部分ができた場合を示す図である。
【図３】車両後部の日陰部分と日向部分を上から見た図である。
【図４】路面の反射を示す図である。
【図５】熱源判定しきい値を変更しない場合の熱源検出動作を説明する図である。
【図６】熱源判定しきい値を変更する場合の熱源検出動作を説明する図である。
【図７】熱源判断処理を示すフローチャートである。
【符号の説明】
【００２２】
１  可視光線カメラ
２  赤外線カメラ
３  熱源判断装置
４  報知器
【図１】
2005249529.tif 000003
【図２】
2005249529.tif 000004
【図３】
2005249529.tif 000005
【図４】
2005249529.tif 000006
【図５】
2005249529.tif 000007
【図６】
2005249529.tif 000008
【図７】
2005249529.tif 000009