(57)【要約】【課題】遠赤外線を透過しない透明な物質が存在している部分の奥側の状況を確認することができる撮像装置を提供する。【解決手段】低レベル領域検出部１４は、遠赤外線カメラ画像より低レベル領域を検出する。透明領域検出部３４は、少なくとも近赤外線カメラ画像に基づいて、低レベル領域検出部１４によって検出された低レベル領域のうち、視覚的に透明な材質で覆われた領域である透明領域であることに起因して低レベル領域となっている透明領域を検出する。画像切り出し部２４は、近赤外線カメラ画像より透明領域の画像部分を切り出す。重ね合わせ部１５は、透明領域の位置に対応した遠赤外線カメラ画像の位置に透明領域の画像部分を重ね合わせて、合成画像を生成する。【選択図】図１
2016005213.tif 000002
【特許請求の範囲】
【請求項１】
第１の波長帯域の遠赤外線によって被写体を撮像して、遠赤外線カメラ画像を生成する遠赤外線カメラと、
前記第１の波長帯域より短い第２の波長帯域の近赤外線によって前記被写体を撮像して、近赤外線カメラ画像を生成する近赤外線カメラと、
前記遠赤外線カメラ画像より、所定のレベル以下の低レベル領域を検出する低レベル領域検出部と、
少なくとも前記近赤外線カメラ画像に基づいて、前記低レベル領域検出部によって検出された低レベル領域のうち、視覚的に透明な材質で覆われた領域である透明領域であることに起因して前記所定のレベル以下となっている低レベル領域を透明領域として検出する透明領域検出部と、
前記近赤外線カメラ画像より前記透明領域の画像部分を切り出す画像切り出し部と、
前記透明領域の位置に対応した前記遠赤外線カメラ画像の位置に前記透明領域の画像部分を重ね合わせて、合成画像を生成する重ね合わせ部と、
を備えることを特徴とする撮像装置。
【請求項２】
可視光によって被写体を撮像して、可視光カメラ画像を生成する可視光カメラをさらに備え、
前記透明領域検出部は、前記近赤外線カメラ画像と前記可視光カメラ画像との双方に基づいて、前記透明領域を検出する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記遠赤外線カメラ画像と前記近赤外線カメラ画像とは画像サイズが異なり、
前記画像切り出し部が切り出した前記透明領域の画像部分の画像サイズを、前記遠赤外線カメラ画像の画像サイズに対応させるよう画像サイズを変更するリサイズ部をさらに備えることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
第１の波長帯域の遠赤外線によって被写体を撮像する遠赤外線カメラによって、遠赤外線カメラ画像を生成し、
前記第１の波長帯域より短い第２の波長帯域の近赤外線によって前記被写体を撮像する近赤外線カメラによって、近赤外線カメラ画像を生成し、
前記遠赤外線カメラ画像より、所定のレベル以下の低レベル領域を検出し、
少なくとも前記近赤外線カメラ画像に基づいて、検出された低レベル領域のうち、視覚的に透明な材質で覆われた領域である透明領域であることに起因して前記所定のレベル以下となっている低レベル領域を透明領域として検出し、
前記近赤外線カメラ画像より前記透明領域の画像部分を切り出し、
前記透明領域の位置に対応した前記遠赤外線カメラ画像の位置に前記透明領域の画像部分を重ね合わせて、合成画像を生成する
ことを特徴とする赤外線画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線によって被写体を撮像する撮像装置及び赤外線画像生成方法に関する。
【背景技術】
【０００２】
特許文献１には、可視光カメラと遠赤外線カメラとを用いて被写体を撮像する撮像装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１０６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遠赤外線カメラを用いた撮像装置によれば、可視光カメラでは撮像できない熱画像を撮像することができる。しかしながら、遠赤外線カメラを用いた撮像装置は、次のような問題点を有する。
【０００５】
例えば、建物内で火事が発生しており、窓の内側（部屋内）が炎によって高温になっている場合を想定する。窓ガラスは遠赤外線を透過しないため、遠赤外線カメラでは部屋内が高温になっていることを検出することができないという問題点がある。
【０００６】
本発明はこのような問題点に鑑み、遠赤外線を透過しない透明な物質が存在している部分の奥側の状況を確認することができる撮像装置及び赤外線画像生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、第１の波長帯域の遠赤外線によって被写体を撮像して、遠赤外線カメラ画像を生成する遠赤外線カメラと、前記第１の波長帯域より短い第２の波長帯域の近赤外線によって前記被写体を撮像して、近赤外線カメラ画像を生成する近赤外線カメラと、前記遠赤外線カメラ画像より、所定のレベル以下の低レベル領域を検出する低レベル領域検出部と、少なくとも前記近赤外線カメラ画像に基づいて、前記低レベル領域検出部によって検出された低レベル領域のうち、視覚的に透明な材質で覆われた領域である透明領域であることに起因して前記所定のレベル以下となっている低レベル領域を透明領域として検出する透明領域検出部と、前記近赤外線カメラ画像より前記透明領域の画像部分を切り出す画像切り出し部と、前記透明領域の位置に対応した前記遠赤外線カメラ画像の位置に前記透明領域の画像部分を重ね合わせて、合成画像を生成する重ね合わせ部とを備えることを特徴とする撮像装置を提供する。
【０００８】
また、本発明は、上述した従来の技術の課題を解決するため、第１の波長帯域の遠赤外線によって被写体を撮像する遠赤外線カメラによって、遠赤外線カメラ画像を生成し、前記第１の波長帯域より短い第２の波長帯域の近赤外線によって前記被写体を撮像する近赤外線カメラによって、近赤外線カメラ画像を生成し、前記遠赤外線カメラ画像より、所定のレベル以下の低レベル領域を検出し、少なくとも前記近赤外線カメラ画像に基づいて、検出された低レベル領域のうち、視覚的に透明な材質で覆われた領域である透明領域であることに起因して前記所定のレベル以下となっている低レベル領域を透明領域として検出し、前記近赤外線カメラ画像より前記透明領域の画像部分を切り出し、前記透明領域の位置に対応した前記遠赤外線カメラ画像の位置に前記透明領域の画像部分を重ね合わせて、合成画像を生成することを特徴とする赤外線画像生成方法を提供する。
【発明の効果】
【０００９】
本発明の撮像装置及び赤外線画像生成方法によれば、遠赤外線を透過しない透明な物質が存在している部分の奥側の状況を確認することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態の撮像装置を示すブロック図である。
【図２】一実施形態の撮像装置が撮像する被写体の例を概略的に示す図である。
【図３】図１における遠赤外線カメラ１１が被写体を撮像して生成した遠赤外線カメラ画像の一例を示す図である。
【図４】図１における近赤外線カメラ２１が被写体を撮像して生成した近赤外線カメラ画像の一例を示す図である。
【図５】図１における可視光カメラ３１が被写体を撮像して生成した可視光カメラ画像の一例を示す図である。
【図６】図１における画像切り出し部２４が切り出した窓撮像画像２５１を示す図である。
【図７】図１におけるリサイズ部２５が窓撮像画像２５１の画像サイズを変更した窓撮像画像251rを示す図である。
【図８】図１における重ね合わせ部１５が生成した合成画像６１０を示す図である。
【図９】一実施形態の撮像装置の動作、及び、一実施形態の赤外線画像生成方法を示すフローチャートである。
【図１０】図１における記録部１７の代わりに無線送信部４１を設けた第１の変形例を示す部分ブロック図である。
【図１１】図１における記録部１７の代わりにＩＰ送信部４２を設けた第２の変形例を示す部分ブロック図である。
【発明を実施するための形態】
【００１１】
以下、一実施形態の撮像装置及び赤外線画像生成方法について、添付図面を参照して説明する。一例として、建物に火事が発生し、高温になっている箇所を確認するために本実施形態の撮像装置及び赤外線画像生成方法を用いる場合について説明する。
【００１２】
まず、図２を用いて、撮像装置が撮像する被写体の例である火事の現場を概略的に説明する。図２において、建物５０内で火事が発生している。窓５１の内側（部屋内）は、炎によって高温になっている。部屋内には、人がいる。建物５０の前には煙５２が発生している。煙５２の奥側には熱源である動物５４がいる。建物５０の前に、任意の低温物体５３が存在している。
【００１３】
図１に示すように、本実施形態の撮像装置は、遠赤外線カメラ１１と、近赤外線カメラ２１と、可視光カメラ３１とを備える。
【００１４】
図１においては、遠赤外線カメラ１１と近赤外線カメラ２１と可視光カメラ３１とを互いに離して示しているが、少なくともそれぞれのレンズ部分を近接させて配置するのがよい。それぞれのレンズ部分を三角形状に近接配置して、撮像する被写体の画角（撮像領域）をほぼ共通にするのがよい。
【００１５】
遠赤外線カメラ１１と近赤外線カメラ２１と可視光カメラ３１が１つの筐体内に一体的に配置されていてもよい。
【００１６】
遠赤外線カメラ１１は、第１の波長帯域の遠赤外線によって被写体を撮像して、遠赤外線カメラ画像を生成する。第１の波長帯域は、例えば、波長４〜1000μｍ（遠赤外線カメラ１１の性能としては７〜１４μｍ）である。
【００１７】
近赤外線カメラ２１は、第１の波長帯域より短い第２の波長帯域の近赤外線によって被写体を撮像して、近赤外線カメラ画像を生成する。第２の波長帯域は、例えば、０．７〜２．５μｍ（近赤外線カメラ２１の性能としては０．９〜１．７μｍ）である。可視光カメラ３１は、可視光の帯域で被写体を撮像して、可視光カメラ画像を生成する。
【００１８】
Ａ／Ｄ変換器１２は、遠赤外線カメラ１１より出力された遠赤外線カメラ画像それぞれのフレームをデジタル化する。フレームメモリ１３は、デジタル化されたそれぞれのフレームを一時的に記憶する。
【００１９】
Ａ／Ｄ変換器２２は、近赤外線カメラ２１より出力された近赤外線カメラ画像それぞれのフレームをデジタル化する。フレームメモリ２３は、デジタル化されたそれぞれのフレームを一時的に記憶する。
【００２０】
Ａ／Ｄ変換器３２は、可視光カメラ３１より出力された可視光カメラ画像それぞれのフレームをデジタル化する。フレームメモリ３３は、デジタル化されたそれぞれのフレームを一時的に記憶する。
【００２１】
図３は、遠赤外線カメラ１１が被写体を撮像してフレームメモリ１３に記憶された１フレームの遠赤外線カメラ画像６１を示している。遠赤外線は図２における窓５１のガラスを透過しないため、窓５１の部分は、所定のレベル以下の低レベル領域１５１となる。低温物体５３の部分も同様に低レベル領域１５３となる。
【００２２】
低レベル領域１５１は、被写体のうち、視覚的に透明な材質で覆われていて、遠赤外線が透過しない領域である透明領域であることに起因して所定のレベル以下となっている低レベル領域である。一方、低レベル領域１５３は、低温であることによって所定のレベル以下となっている低レベル領域である。
【００２３】
遠赤外線は煙５２を透過するため、煙５２の奥側にいる動物５４が撮像される。よって、遠赤外線カメラ画像６１は、動物５４を撮像した動物撮像画像１５４を含む。動物５４の代わりに人がいる場合も同様となる。また、遠赤外線は水蒸気も透過するため、煙５２の代わりに水蒸気が存在し、水蒸気の奥側にいる動物５４等の熱源が存在する場合も同様となる。
【００２４】
図４は、近赤外線カメラ２１が被写体を撮像してフレームメモリ２３に記憶された１フレームの近赤外線カメラ画像６２を示している。近赤外線は図２における窓５１のガラスを透過するため、窓５１の部分は高レベルの窓撮像画像２５１となる。近赤外線は煙５２（または水蒸気）を透過しにくいので、煙５２の部分は比較的低レベルの煙撮像画像２５２となる。低温物体５３の部分は、低レベル領域２５３となる。
【００２５】
図５は、可視光カメラ３１が被写体を撮像してフレームメモリ３３に記憶された１フレームの可視光カメラ画像６３を示している。可視光カメラ画像６３は、窓撮像画像３５１と煙撮像画像３５２と低温物体５３を撮像した低温物体撮像画像３５３とを含む。
【００２６】
ところで、遠赤外線カメラ画像６１の水平及び垂直方向の画素数（画像サイズ）は、通常、近赤外線カメラ画像６２や可視光カメラ画像６３における画素数よりも小さい。図３〜図５においては、遠赤外線カメラ画像６１の画像サイズが最も小さく、可視光カメラ画像６３の画像サイズが最も大きい例を示している。
【００２７】
遠赤外線カメラ画像６１と近赤外線カメラ画像６２と可視光カメラ画像６３との画像サイズは、全て同じであってもよい。画像サイズの大小関係は特に限定されない。
【００２８】
図１に戻り、低レベル領域検出部１４は、遠赤外線カメラ画像６１から、所定の面積以上の面積を有する低レベル領域を検出する。図３の例では、低レベル領域検出部１４は、低レベル領域１５１，１５３を検出する。遠赤外線カメラ画像６１は、重ね合わせ部１５に入力される。
【００２９】
低レベル領域検出部１４は、所定の面積より小さい低レベル領域を検出しなくてもよい。
【００３０】
低レベル領域検出部１４が低レベル領域であると検出する閾値は、遠赤外線カメラ画像６１で用いるセンサの種類，感度，画素数，設定状態等によって適宜な値とすればよい。
【００３１】
低レベル領域検出部１４が検出した低レベル領域１５１，１５３の位置情報は、透明領域検出部３４に入力される。透明領域検出部３４には、近赤外線カメラ画像６２及び可視光カメラ画像６３も入力される。
【００３２】
透明領域検出部３４は、近赤外線カメラ画像６２及び可視光カメラ画像６３に基づいて、低レベル領域１５１，１５３のうちのいずれが窓５１の領域（透明領域）であるかを検出する。
【００３３】
具体的には、透明領域検出部３４は、次のようにして透明領域を検出する。透明領域検出部３４は、可視光カメラ画像６３をＦＦＴ（Fast Fourier Transform）またはＤＣＴ（Discrete Cosine Transform）等で周波数変換する。透明領域検出部３４は、周波数変換した信号に基づき、高周波成分を基準値以上含めば透明領域であると判定し、高周波成分を基準値以上含まなければ透明領域ではないと判定する。
【００３４】
窓５１のような透明領域であれば、窓５１の内側は人等の複雑な画像が存在するので、周波数変換した信号には基準値以上の高周波成分が含まれることになる。一方、低温物体５３が比較的単純な画像であると、周波数変換した信号には基準値以上の高周波成分は含まれない。
【００３５】
また、透明領域検出部３４は、近赤外線カメラ画像６２のレベルを確認し、所定レベル以上であると透明領域であると判定し、所定レベル以上でなければ透明領域ではないと判定する。
【００３６】
図４に示す窓撮像画像２５１は高レベルであるので、透明領域検出部３４は、窓撮像画像２５１の部分を透明領域であると判定する。
【００３７】
透明領域検出部３４は、近赤外線カメラ画像６２のみに基づいて、透明領域を検出してもよい。この場合、可視光カメラ３１からフレームメモリ３３の部分は省略可能である。
【００３８】
近赤外線カメラ画像６２と可視光カメラ画像６３との双方に基づいて透明領域を検出すると、検出精度を向上させることができる。よって、透明領域検出部３４は、近赤外線カメラ画像６２と可視光カメラ画像６３との双方に基づいて透明領域を検出する方が好ましい。
【００３９】
ところで、遠赤外線カメラ画像６１と近赤外線カメラ画像６２と可視光カメラ画像６３との画像サイズが異なる場合には、透明領域検出部３４は、画像サイズの違いを考慮しながら、透明領域を検出すればよい。
【００４０】
透明領域検出部３４が検出した透明領域である窓５１の領域を示す位置情報は、画像切り出し部２４に入力される。画像切り出し部２４に入力される位置情報は、近赤外線カメラ画像６２の画像サイズに対応した位置情報である。
【００４１】
画像切り出し部２４は、窓５１の領域を示す位置情報に基づいて、図４に示す近赤外線カメラ画像６２から窓撮像画像２５１の画像部分を切り出す。図６は、切り出した窓撮像画像２５１を示している。図６に示す窓撮像画像２５１は、リサイズ部２５に入力される。
【００４２】
リサイズ部２５は、窓撮像画像２５１を遠赤外線カメラ画像６１の画像サイズに合わせるように画像サイズを変更する。ここでは、リサイズ部２５は、窓撮像画像２５１を縮小する。図７は、リサイズした窓撮像画像251rを示している。図７に示す窓撮像画像251rは、重ね合わせ部１５に入力される。
【００４３】
遠赤外線カメラ画像６１の画像サイズと近赤外線カメラ画像６２の画像サイズとが同じ場合には、リサイズ部２５を設ける必要ない。
【００４４】
重ね合わせ部１５は、図３に示す遠赤外線カメラ画像６１の低レベル領域１５１の位置に窓撮像画像251rを重ね合わせ、図８に示す合成画像６１０を生成する。重ね合わせ部１５は、低レベル領域１５１を窓撮像画像251rに完全に置換してもよいし、窓撮像画像251rを所定の透過率の半透明状とし、低レベル領域１５１に重ね合わせてもよい。
【００４５】
図８に示す合成画像６１０によれば、窓５１の内側の部分も煙５２に隠れている部分もいずれも確認することができる。
【００４６】
合成画像６１０は、画像圧縮部１６及び表示部１８に入力される。画像圧縮部１６は、合成画像６１０をＪＰＥＧ，ＭＰＥＧ等の任意の圧縮方式で圧縮する。表示部１８は、入力された合成画像６１０を表示する。記録部１７は、画像圧縮部１６より出力された圧縮画像を記録する。
【００４７】
図９に示すフローチャートを用いて、図１に示す撮像装置の動作、及び、撮像装置で実行される赤外線画像生成方法を改めて説明する。図９において、撮像装置が動作を開始すると、遠赤外線カメラ１１と近赤外線カメラ２１と可視光カメラ３１は、ステップＳ９１にて、それぞれ画像を取り込む。
【００４８】
低レベル領域検出部１４は、ステップＳ９２にて、遠赤外線カメラ画像６１に基づいて、低レベル領域を検出したか否かを判定する。低レベル領域を検出したら（YES）、透明領域検出部３４は、ステップＳ９３にて、少なくとも近赤外線カメラ画像６２に基づいて、透明領域を検出したか否かを判定する。
【００４９】
透明領域を検出したら（YES）、画像切り出し部２４は、ステップＳ９４にて、窓５１の領域を示す位置情報に基づいて、近赤外線カメラ画像６２から窓撮像画像２５１を切り出す画像切り出し処理を実行する。
【００５０】
ステップＳ９２にて低レベル領域を検出しなかったら（NO）、また、ステップＳ９３にて透明領域を検出しなかったら（NO）、撮像装置は処理をステップＳ９７に移行させる。
【００５１】
リサイズ部２５は、ステップＳ９５にて、切り出した窓撮像画像２５１を遠赤外線カメラ画像６１の画像サイズに合わせるリサイズ処理を実行する。重ね合わせ部１５は、ステップＳ９６にて、遠赤外線カメラ画像６１にリサイズした窓撮像画像251rを重ね合わせる重ね合わせ処理を実行する。
【００５２】
画像圧縮部１６は、ステップＳ９７にて、重ね合わせ部１５がステップＳ９６にて生成した合成画像６１０に対して画像圧縮処理を実行する。記録部１７は、ステップＳ９８にて、画像圧縮部１６がステップＳ９７にて生成した圧縮画像を記録して、処理を終了させる。
【００５３】
図１においては、記録部１７を設けて圧縮画像を記録しているが、図１０，図１１に示すように構成してもよい。図１０において、無線送信部４１は、圧縮画像信号を無線にて図示していない無線受信部へと送信する。図１０に示す構成によれば、図８に示す合成画像６１０を、撮像装置と離れた遠隔地で確認することができる。
【００５４】
図１１において、ＩＰ送信部４２は、インターネットプロトコルに従って、圧縮画像信号をインターネット４３へと送信する。図１１に示す構成によれば、インターネット４３を介して、図８に示す合成画像６１０を、撮像装置と離れた遠隔地で確認することができる。
【００５５】
図１１において、インターネット４３の代わりに組織内ネットワーク（イントラネット）としてもよい。ネットワークの種類は限定されない。
【００５６】
本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１に示す構成を、部分的にソフトウェア（コンピュータプログラム）で実現することも可能である。ハードウェアをソフトウェアに置換可能な部分を全てソフトウェアに置換してもよいし、一部のみ置換してもよい。
【００５７】
窓５１のガラスは、遠赤外線を透過しない視覚的に透明な物質の一例である。プラスチックも遠赤外線を透過しない視覚的に透明な物質である。被写体に含まれる透明領域は、ガラスに限定されない。
【符号の説明】
【００５８】
１１  遠赤外線カメラ
１４  低レベル領域検出部
１５  重ね合わせ部
２１  近赤外線カメラ
２４  画像切り出し部
２５  リサイズ部
３１  可視光カメラ
３４  透明領域検出部
【図１】
2016005213.tif 000003
【図２】
2016005213.tif 000004
【図３】
2016005213.tif 000005
【図４】
2016005213.tif 000006
【図５】
2016005213.tif 000007
【図６】
2016005213.tif 000008
【図７】
2016005213.tif 000009
【図８】
2016005213.tif 000010
【図９】
2016005213.tif 000011
【図１０】
2016005213.tif 000012
【図１１】
2016005213.tif 000013