(57)【要約】      （修正有）【課題】赤外線画像と可視画像とを併用して鮮明なカメラ画像により監視対象を監視する低コスト、かつ、省スペースのシステムを提供する。【解決手段】画像処理装置のプロセッサ１０２は、可視カメラで撮影された可視画像を取り込むとともに、可視カメラによる撮像領域内の物体から放射される赤外線を検知する赤外線カメラで撮影された赤外線画像を取り込む。赤外線画像については、赤外線量が所定量以上の領域を抜き出す。そして、可視画像に、抜き出された赤外線画像を合成し、得られた合成画像を表示デバイスに出力する。【選択図】図２
2018124808.tif 000002
【特許請求の範囲】
【請求項１】
可視カメラで撮像された可視画像を取り込む可視画像取得手段と、
前記可視カメラによる撮像領域内の物体から放射される赤外線を検知する赤外線カメラで撮像された赤外線画像を取り込む赤外線画像取得手段と、
前記赤外線画像取得手段により取得した前記赤外線画像から赤外線量が所定量以上の領域を抜き出す抜出手段と、
前記可視画像取得手段により取得した前記可視画像に、前記抜出手段により抜き出された前記赤外線画像を合成する合成手段と、
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段と、
を具備する画像処理装置。
【請求項２】
前記撮像領域でのセンシングデータを取り込むデータ取得手段と、
前記データ取得手段により取得したセンシングデータの異常を検知する異常検知手段と、
前記異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段と、
をさらに具備し、
前記合成手段は、前記警告画像をさらに合成する、請求項１記載の画像処理装置。
【請求項３】
可視カメラで撮像された可視画像を取り込む可視画像取得手段と、
前記可視カメラによる撮像領域でのセンシングデータを取り込むデータ取得手段と、
前記データ取得手段により取得したセンシングデータの異常を検知する異常検知手段と、
前記異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段と、
前記可視画像取得手段により取得した前記可視画像に、前記警告画像生成手段により生成された前記警告画像を合成する合成手段と、
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段と、
を具備する画像処理装置。
【請求項４】
撮像領域内の物体から放射される赤外線を検知する赤外線カメラで撮像された赤外線画像を取り込む赤外線画像取得手段と、
前記撮像領域でのセンシングデータを取り込むデータ取得手段と、
前記データ取得手段により取得したセンシングデータの異常を検知する異常検知手段と、
前記異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段と、
前記赤外線画像取得手段により取得した前記赤外線画像に、前記警告画像生成手段により生成された前記警告画像を合成する合成手段と、
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段と、
を具備する画像処理装置。
【請求項５】
前記警告画像生成手段は、前記センシングデータの異常度合いに応じて異なる警告画像を生成する、請求項２乃至４のうちいずれか一項記載の画像処理装置。
【請求項６】
コンピュータを、
可視カメラで撮像された可視画像を取り込む可視画像取得手段、
前記可視カメラによる撮像領域内の物体から放射される赤外線を検知する赤外線カメラで撮像された赤外線画像を取り込む赤外線画像取得手段、
前記赤外線画像取得手段により取得した前記赤外線画像から赤外線量が所定量以上の領域を抜き出す抜出手段、
前記可視画像取得手段により取得した前記可視画像に、前記抜出手段により抜き出された前記赤外線画像を合成する合成手段、及び
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段、
として機能させるための画像処理プログラム。
【請求項７】
コンピュータを、
可視カメラで撮像された可視画像を取り込む可視画像取得手段、
前記可視カメラによる撮像領域でのセンシングデータを取り込むデータ取得手段、
前記データ取得手段により取得したセンシングデータの異常を検知する異常検知手段、
前記異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段、
前記可視画像取得手段により取得した前記可視画像に、前記警告画像生成手段により生成された前記警告画像を合成する合成手段、及び
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段、
として機能させるための画像処理プログラム。
【請求項８】
コンピュータを、
撮像領域の物体から放射される赤外線を検知する赤外線カメラで撮像された赤外線画像を取り込む赤外線画像取得手段、
前記撮像領域でのセンシングデータを取り込むデータ取得手段、
前記データ取得手段により取得したセンシングデータの異常を検知する異常検知手段、
前記異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段、
前記赤外線画像取得手段により取得した前記赤外線画像に、前記警告画像生成手段により生成された前記警告画像を合成する合成手段、及び
前記合成手段により得られた合成画像を表示デバイスに出力する出力手段、
として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ画像により撮像領域の異常検知を可能にした画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
監視対象を含む撮像領域を、赤外線サーモグラフィ等と称される赤外線カメラで撮影し、その赤外線カメラで撮影された赤外線画像から火災を検知して報知するシステムは既に知られている（例えば、特許文献１参照）。
【０００３】
また、赤外線画像から火災を検知すると可視カメラを火災検知位置に旋回させて、監視者が可視カメラで撮影された可視画像から火災の状況を把握できるようにしたシステムも既に知られている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９‐１００１９８号公報
【特許文献２】特開２０１３‐１９６６５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
赤外線カメラは通常、撮像領域内の物体から放射される赤外線を検知し、その赤外線量の分布を色の違いにより視覚的に表示する。そこで、例えば赤外線画像と可視画像とを併用して監視対象を監視するシステムを構築する場合、双方の画像を重ねて表示しても不鮮明な画像となるため、赤外線画像を表示するための表示デバイスと可視画像を表示するための表示デバイスとをそれぞれ用意するのが一般的である。このため、設備コストがかかる上、表示デバイスの設置スペースも必要となるという問題がある。
【０００６】
また従来は、赤外線カメラを用いることで火災のように熱の異常を視覚的に捉えることはできるものの、物体から発せられる音、光等の異常をカメラ映像と合わせて視覚的に捉えることはできない。
【０００７】
この発明は上記事情に着目してなされたもので、第１の目的は、赤外線画像と可視画像とを併用して鮮明なカメラ画像により監視対象を監視するシステムを、低コストかつ省スペースで実現できる画像処理装置を提供することにある。
【０００８】
また第２の目的は、カメラ画像により監視対象を監視するシステムにおいて、その監視対象のセンシングデータ異常をも視覚的に捉えることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決しその目的を達成するために、この発明の第１の態様の画像処理装置は、可視カメラで撮影された可視画像を取り込む可視画像取得手段と、可視カメラによる撮像領域内の物体から放射される赤外線を検知する赤外線カメラで撮影された赤外線画像を取り込む赤外線画像取得手段と、を備える。また、赤外線画像取得手段により取得した赤外線画像から赤外線量が所定量以上の領域を抜き出す抜出手段を備える。そして合成手段が、可視画像取得手段により取得した可視画像に、抜出手段により抜き出された赤外線画像を合成し、出力手段が、合成手段により得られた合成画像を表示デバイスに出力するようにしたものである。
【００１０】
また、上記課題を解決しその目的を達成するために、この発明の第２の態様の画像処理装置は、上記第１の態様の画像処理装置に、さらに撮像領域でのセンシングデータを取り込むデータ取得手段と、データ取得手段により取得したセンシングデータの異常を検知する異常検知手段と、異常検知手段によりセンシングデータの異常が検知されたことに応じて警告画像を生成する警告画像生成手段とを備える。そして合成手段が、警告画像をさらに合成するようにしたものである。
【００１１】
また、上記課題を解決しその目的を達成するために、この発明の第３の態様の画像処理装置は、上記可視画像取得手段、上記データ取得手段、上記異常検知手段及び上記警告画像生成手段を備える。そして合成手段が、可視画像取得手段により取得した可視画像に、警告画像生成手段により生成された警告画像を合成し、出力手段が、合成手段により得られた合成画像を表示デバイスに出力するようにしたものである。
【００１２】
また、上記課題を解決しその目的を達成するために、この発明の第４の態様の画像処理装置は、上記赤外線画像取得手段、上記データ取得手段、上記異常検知手段及び上記警告画像生成手段を備える。そして合成手段が、赤外線画像取得手段により取得した赤外線画像に、警告画像生成手段により生成された警告画像を合成し、出力手段が、合成手段により得られた合成画像を表示デバイスに出力するようにしたものである。
【００１３】
また、この発明の第５の態様の画像処理装置は、第２乃至第４の態様の画像処理装置のうちいずれかにおいて、警告画像生成手段が、センシングデータの異常度合いに応じて異なる警告画像を生成するようにしたものである。
【００１４】
また、この発明の第６の態様は、コンピュータを、上記可視画像取得手段、上記赤外線画像取得手段及び上記抜出手段として機能させるとともに、可視画像取得手段により取得した可視画像に、抜出手段により抜き出された赤外線画像を合成する合成手段、及び、合成手段により得られた合成画像を表示デバイスに出力する出力手段、として機能させるための画像処理プログラムにある。
【００１５】
また、この発明の第７の態様は、コンピュータを、上記可視画像取得手段、上記データ取得手段、上記異常検知手段及び上記警告画像生成手段として機能させるとともに、可視画像取得手段により取得した可視画像に、警告画像生成手段により生成された警告画像を合成する合成手段、及び、合成手段により得られた合成画像を表示デバイスに出力する出力手段、として機能させるための画像処理プログラムにある。
【００１６】
また、この発明の第８の態様は、コンピュータを、上記赤外線画像取得手段、上記データ取得手段、上記異常検知手段及び上記警告画像生成手段として機能させるとともに、赤外線画像取得手段により取得した赤外線画像に、警告画像生成手段により生成された警告画像を合成する合成手段、及び、合成手段により得られた合成画像を表示デバイスに出力する出力手段、として機能させるための画像処理プログラムにある。
【発明の効果】
【００１７】
第１の態様によれば、可視画像に赤外線画像を重ねても赤外線画像は赤外線量が所定量以上の領域に限るために不鮮明な画像とはならないので、可視画像に赤外線画像を重ねて表示することができ、ひいては赤外線画像と可視画像とを併用して鮮明な画像により監視対象を監視するシステムを、低コストかつ省スペースで実現させることができる。
【００１８】
第２の態様によれば、監視対象のセンシングデータ異常についても可視画像と赤外線画像とを重ねた画像から視覚的に捉えることができ、より信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００１９】
第３の態様によれば、可視画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像がその可視画像に重ねて表示されるので、監視対象のセンシングデータ異常を視覚的に捉えることができ、信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００２０】
第４の態様によれば、赤外線画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像がその赤外線画像に重ねて表示されるので、監視対象のセンシングデータ異常を視覚的に捉えることができ、信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００２１】
第５の態様によれば、さらにセンシングデータ異常の度合いまで視覚的に捉えることができ、より信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００２２】
第６の態様によれば、可視画像に赤外線画像を重ねて表示することで、赤外線画像と可視画像とを併用して鮮明な画像により監視対象を監視するシステムを、低コストかつ省スペースで実現させることができる画像処理装置を、コンピュータにより構成できる画像処理プログラムを提供できる。
【００２３】
第７の態様によれば、可視画像に、その可視画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像を重ねて表示させることで、信頼性の高い監視システムを低コストかつ省スペースで実現させることができる画像処理装置を、コンピュータにより構成できる画像処理プログラムを提供できる。
【００２４】
第８の態様によれば、赤外線画像に、その赤外線画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像を重ねて表示させることで、より信頼性の高い監視システムを低コストかつ省スペースで実現させることができる画像処理装置を、コンピュータにより構成できる画像処理プログラムを提供できる。
【図面の簡単な説明】
【００２５】
【図１】一実施形態の画像処理装置を含む監視システムの概略図。
【図２】図１におけるプロセッサの機能構成と、その機能の実現を支援するために必要な記憶デバイスのデータ構成を示すブロック図。
【図３】監視対象と可視カメラ及び赤外線カメラとマイクロフォンとの配置関係の一例を示す模式図。
【図４】可視カメラの撮像領域と赤外線カメラの赤外線検知領域との対応関係を示す模式図。
【図５】プロセッサが実行する制御手順の一例を示す流れ図。
【図６】可視画像に閾値以上の赤外線量が検知された領域の赤外線画像が合成された画像の表示例を示す図。
【図７】可視画像に閾値以上の赤外線量が検知された領域の赤外線画像と第１警告画像とが合成された画像の表示例を示す図。
【図８】可視画像に閾値以上の赤外線量が検知された領域の赤外線画像と第２警告画像とが合成された画像の表示例を示す図。
【図９】プロセッサが実行する制御手順の他の例を示す流れ図。
【発明を実施するための形態】
【００２６】
以下、図面を参照してこの発明に係る一実施形態を説明する。なお、各図面及び以下におけるその説明において、同一の要素には同一の符号を付している。
【００２７】
（構成）
図１は、本実施形態の画像処理装置１０を含む監視システム１の概略図である。監視システム１は、画像処理装置１０と、可視カメラ１１と、赤外線カメラ１２と、マイクロフォン１３と、可視カメラ１１の画像エンコーダ１４と、赤外線カメラ１２の画像エンコーダ１５と、音声エンコーダ１６と、表示デバイス１７とを備える。
【００２８】
可視カメラ１１は、物体である監視対象２を撮影可能な位置に配置される。可視カメラ１１は、監視対象２を含む領域を撮像領域Ａ１として繰り返し撮影し、その都度、撮像されたフレーム画像、いわゆる可視画像を画像エンコーダ１４へと出力する。画像エンコーダ１４は、可視画像のデータを符号化圧縮した後、画像処理装置１０に向け送信する。可視カメラ１１は、例えば一般的な動画撮影用のビデオカメラ、デジタルビデオカメラ等でよい。
【００２９】
赤外線カメラ１２は、監視対象２を含む物体から放射される赤外線を検知可能な位置に配置される。赤外線カメラ１２は、監視対象２を含む領域を赤外線検知領域Ａ２として撮影し、その撮像されたフレーム画像、いわゆる赤外線画像を画像エンコーダ１５へと出力する。画像エンコーダ１５は、赤外線画像のデータを符号化圧縮した後、画像処理装置１０に向け送信する。この種の赤外線カメラ１２は、赤外線サーモグラフィ等と称される。
【００３０】
マイクロフォン１３は、監視対象２に生じる音声を検知可能な位置に配置される。マイクロフォン１３は、監視対象２に向けて指向性を有しており、集音した音声、いわゆるセンシングデータを音声エンコーダ１６へと出力する。音声エンコーダ１６は、音声のデータを符号化圧縮した後、画像処理装置１０に向け送信する。
【００３１】
画像処理装置１０は、通信インターフェース１０１、プロセッサ１０２及び記憶デバイス１０３等を備える。通信インターフェース１０１には、前記画像エンコーダ１４，１５及び音声エンコーダ１６が接続される。すなわち、画像エンコーダ１４によって符号化圧縮された可視画像のデータは、通信インターフェース１０１を介して画像処理装置１０に取り込まれる。同様に、画像エンコーダ１５によって符号化圧縮された赤外線画像のデータも、通信インターフェース１０１を介して画像処理装置１０に取り込まれ、音声エンコーダ１６によって符号化圧縮された音声のデータも、通信インターフェース１０１を介して画像処理装置１０に取り込まれる。
【００３２】
プロセッサ１０２及び記憶デバイス１０３は、画像処理装置１０のコンピュータを構成する。プロセッサ１０２は、上記コンピュータの中枢部分に相当する。プロセッサ１０２は、オペレーティングシステムやアプリケーションプログラムに従って、画像処理装置１０としての機能を実現するべく各部を制御する。
【００３３】
記憶デバイス１０３は、コンピュータの主記憶部分に相当するメインメモリと、補助記憶部分に相当する補助記憶デバイスとを含む。メインメモリは、不揮発性のメモリ領域と揮発性のメモリ領域とを有する。不揮発性のメモリ領域はオペレーティングシステムやアプリケーションプログラムなど固定的データを記憶するための領域である。揮発性のメモリ領域は、プロセッサ１０２によってデータが適宜書き換えられるワークエリア等として使用される。補助記憶デバイスは、例えばＥＥＰＲＯＭ（Electric Erasable Programmable Read-Only Memory）、ＨＤＤ（Hard Disc Drive）、あるいはＳＳＤ（Solid State Drive）等である。補助記憶デバイスは、プロセッサ１０２が各種の処理を行う上で使用するデータや、プロセッサ１０２での処理によって生成されたデータを保存する。補助記憶デバイスは、上記のアプリケーションプログラムを記憶する場合もある。
【００３４】
アプリケーションプログラムは、画像処理プログラムを含む。プロセッサ１０２は、この画像処理プログラムに従って、通信インターフェース１０１で受信した可視画像、赤外線画像及び音声の各データを取り込み、画像処理する。そしてプロセッサ１０２は、この画像処理により得られた画像を、表示デバイス１７に表示させる。
【００３５】
表示デバイス１７は、典型的には液晶ディスプレイ、有機ＥＬディスプレイ等である。ただし表示デバイス１７の種類は特に限定されるものではない。要は、画像処理装置１０で生成された画像を表示できればよい。  
上述した画像処理装置１０及び表示デバイス１７としては、一般的なパーソナルコンピュータシステムを用いることができる。
【００３６】
図２は、プロセッサ１０２の機能構成と、その機能の実現を支援するために必要な記憶デバイス１０３のデータ構成を示すブロック図である。図示するように、プロセッサ１０２は、可視画像の処理機能として可視画像読出し部２１及び可視画像トリミング部２２を有する。またプロセッサ１０２は、赤外線画像の処理機能として赤外線画像読出し部２３、赤外線画像トリミング部２４及び異常温度画像抜出部２５を有する。またプロセッサ１０２は、音声の処理機能として音声読出し部２６、比較部２７及び警告画像生成部２８を有する。さらにプロセッサ１０２は、画像合成部２９および表示制御部３０としての機能を有する。
【００３７】
一方、記憶デバイス１０３は、可視画像の処理を支援するメモリ領域として、可視画像メモリ３１及び領域設定メモリ３２を形成している。また記憶デバイス１０３は、赤外線画像の処理を支援するメモリ領域として、赤外線画像メモリ３３、領域設定メモリ３４及び異常温度閾値メモリ３５を形成している。また記憶デバイス１０３は、音声の処理を支援するメモリ領域として、音声メモリ３６、比較値メモリ３７及び警告画像メモリ３８を形成している。さらに記憶デバイス１０３は、合成画像メモリ３９及び画像保存メモリ４０を形成している。
【００３８】
可視画像メモリ３１には、通信インターフェース１０１を介して取り込まれた可視画像のデータが時系列に記憶される。領域設定メモリ３２には、可視画像のトリミング領域を指定するトリミングデータが予め記憶される。
【００３９】
可視画像読出し部２１は、可視画像メモリ３１に記憶された可視画像のデータを順次読み出し、可視画像トリミング部２２に与える。可視画像トリミング部２２は、領域設定メモリ３２に記憶されたトリミングデータに基づいて可視画像をトリミングした後、画像合成部２９に与える。
【００４０】
赤外線画像メモリ３３には、通信インターフェース１０１を介して取り込まれた赤外線画像のデータが時系列に記憶される。領域設定メモリ３４には、赤外線画像のトリミング領域を指定するトリミングデータが予め記憶される。異常温度閾値メモリ３５には、所定温度以上の物体から放射される赤外線量の下限値が閾値として予め記憶される。
【００４１】
赤外線画像読出し部２３は、赤外線画像メモリ３３に記憶された赤外線画像のデータを順次読み出し、赤外線画像トリミング部２４に与える。赤外線画像トリミング部２４は、領域設定メモリ３４に記憶されたトリミングデータに基づいて赤外線画像をトリミングした後、異常温度画像抜出部２５に与える。異常温度画像抜出部２５は、トリミングされた赤外線画像から、異常温度閾値メモリ３５に記憶されている閾値以上の赤外線量が検知された領域を抜出す。そして異常温度画像抜出部２５は、抜き出した赤外線画像を画像合成部２９に与える。
【００４２】
音声メモリ３６には、通信インターフェース１０１を介して取り込まれた音声のデータが時系列に記憶される。比較値メモリ３７には、音量を表す２種類の値が、それぞれ第１比較値Ｌ１及び第２比較値Ｌ２として記憶される。第２比較値Ｌ２は、第１比較値Ｌ１よりも大きい音量を表す。警告画像メモリ３８には、予め用意された警告画像が記憶される。警告画像には、音声の音量が第１比較値Ｌ１以上で第２比較値Ｌ２未満のときの第１警告画像と、第２比較値Ｌ２以上のときの第２警告画像とがある。また警告画像メモリ３８には、警告画像を表示させる位置を特定する座標データも記憶されている。
【００４３】
音声読出し部２６は、音声メモリ３６から音声のデータを読み出し、比較部２７に与える。比較部２７は、音声の音量を比較値メモリ３７に設定されている２種類の比較値Ｌ１，Ｌ２とそれぞれ比較し、その結果を示す比較結果データを警告画像生成部２８に通知する。比較結果データには、音量が第１比較値Ｌ１未満のときのＬ１未満データと、第１比較値Ｌ１以上で第２比較値Ｌ２未満のＬ１Ｌ２間データと、第２比較値Ｌ２以上のＬ２以上データとの３パターンがある。
【００４４】
警告画像生成部２８は、比較部２７からのデータがＬ１Ｌ２間データであった場合、警告画像メモリ３８から第１警告画像を読出し、座標データとともに画像合成部２９に出力する。警告画像生成部２８は、比較部２７からのデータがＬ２以上データであった場合、警告画像メモリ３８から第２警告画像を読出し、座標データとともに画像合成部２９に出力する。なお、警告画像生成部２８は、比較部２７からのデータがＬ１未満データであった場合には、警告画像を画像合成部２９に出力しない。
【００４５】
画像合成部２９は、可視画像トリミング部２２でトリミングされた可視画像に、異常温度画像抜出部２５で抜き出された赤外線画像を合成する。さらに画像合成部２９は、警告画像生成部２８から警告画像が入力された場合、その警告画像を座標データで示される位置に合成する。そして画像合成部２９は、合成画像のデータを合成画像メモリ３９に書き込む。
【００４６】
表示制御部３０は、合成画像メモリ３９に合成画像のデータが書き込まれる毎に、その合成画像データを読出し、表示デバイス１７へと送出する。この処理により、表示デバイス１７に合成画像が表示される。また表示制御部３０は、その合成画像データを画像保存メモリ４０へと転送する。この処理により、画像保存メモリ４０に合成画像データが蓄積保存される。
【００４７】
ここに、プロセッサ１０２において、可視画像読出し部２１は可視画像取得手段を構成し、赤外線画像読出し部２３は赤外線画像取得手段を構成し、異常温度画像抜出部２５は抜出手段を構成し、画像合成部２９は合成手段を構成し、表示制御部３０は出力手段を構成する。  
また、音声読出し部２６はデータ取得手段を構成し、比較部２７は異常検知手段を構成し、警告画像生成部２８は警告画像生成手段を構成する。
【００４８】
ここで、可視画像及び赤外線画像のトリミングデータと警告画像の座標データとについて、図３及び図４を用いて説明する。  
図３は、監視対象２と、可視カメラ１１及び赤外線カメラ１２と、マイクロフォン１３との配置関係の一例を示す模式図である。図４は、可視カメラ１１の撮像領域Ａ１と、赤外線カメラ１２の赤外線検知領域Ａ２との対応関係を示す模式図である。
【００４９】
図３に示すように、監視対象２は、一実施形態としてコンベアを想定している。なお、監視対象２は任意であり、特に限定されるものではない。  
可視カメラ１１は、撮像領域Ａ１内に監視対象２であるコンベアが含まれる位置に設置されている。同様に赤外線カメラ１２は、赤外線検知領域Ａ２内に監視対象２であるコンベアが含まれる位置に設置されている。
【００５０】
しかしながら、可視カメラ１１の撮像領域Ａ１と、赤外線カメラ１２の赤外線検知領域Ａ２とは必ずしも一致しない。そもそも撮像領域Ａ１のフレームサイズと赤外線検知領域Ａ２のフレームサイズとは異なる場合が多い。また、可視カメラ１１と赤外線カメラ１２との配置位置のずれによって、撮像領域Ａ１と赤外線検知領域Ａ２とがずれることは避けられない。
【００５１】
そこで本実施形態では、図４においてハッチングで示される領域Ａ３、すなわち撮像領域Ａ１と赤外線検知領域Ａ２とが重複する領域を残すように、可視画像及び赤外線画像をそれぞれトリミングする。したがって、可視画像側の領域設定メモリ３２には、領域Ａ３からはみ出す撮像領域Ａ１の部分を切り取るように、トリミングデータが設定されている。また、赤外線画像側の領域設定メモリ３４には、領域Ａ３からはみ出す赤外線検知領域Ａ２の部分を切り取るように、トリミングデータが設定されている。
【００５２】
一方、本実施形態において、マイクロフォン１３は、図３に示すように、コンベアの駆動源であるモータが収容されているボックスに取り付けられている。すなわちマイクロフォン１３は、モータの音を集音可能な位置に取り付けられている。そして図４に示すように、領域Ａ３において、マイクロフォン１３の位置に対応した二次元座標Ｐ（ｘ，ｙ）を警告画像の座標データとしている。
【００５３】
（動作）
図５は、プロセッサ１０２が実行する制御手順の一例を示す流れ図である。以下、図５を用いて画像処理装置１０の動作について説明する。なお、図５に示す制御手順は一例であり、同様な結果を得ることが可能であればその制御手順及び制御の内容は特に限定されるものではない。
【００５４】
先ずプロセッサ１０２は、ステップＳ１としてデータの読出しタイミングであるか否かを判断する。プロセッサ１０２はクロック発振回路を内蔵しており、このクロック信号を基に内部クロックを生成してタイミング制御を行っている。この内部クロックによりデータの読出しタイミングであると判定すると（Ｓ１にてＹＥＳ）、プロセッサ１０２は、ステップＳ２として可視画像読出し部２１、赤外線画像読出し部２３及び音声読出し部２６を動作させる。この制御により、可視画像メモリ３１からは可視画像が読み出され、赤外線画像メモリ３３からは赤外線画像が読み出され、音声メモリ３６からは音声データが読み出される。
【００５５】
プロセッサ１０２は、ステップＳ３として可視画像が読み出されるか、ステップＳ４として赤外線画像が読み出されるか、ステップＳ５として音声データが読み出されるのを待機する。そして、可視画像読出し部２１によって可視画像が読み出されたならば（Ｓ３にてＹＥＳ）、プロセッサ１０２は、ステップＳ７として可視画像トリミング部２２を動作させる。この制御により、可視画像の撮像領域Ａ１から領域Ａ３以外の部分がトリミングされる。
【００５６】
赤外線画像読出し部２３によって赤外線画像が読み出された場合には（Ｓ４にてＹＥＳ）、プロセッサ１０２は、ステップＳ８として赤外線画像トリミング部２４を動作させる。この制御により、赤外線画像の赤外線検知領域Ａ２から領域Ａ３以外の部分がトリミングされるので、続いてプロセッサ１０２は、ステップＳ９，Ｓ１０として異常温度画像抜出部２５を動作させる。この制御により、トリミングされた赤外線画像に閾値以上の赤外線量が検知された領域が有るか否かが判定される（Ｓ９）。そして閾値以上の赤外線量が検知された領域がある場合（Ｓ９にてＹＥＳ）、赤外線画像から閾値以上の赤外線量が検知された領域が抜き出される（Ｓ１０）。閾値以上の赤外線量が検知された領域がない場合には（Ｓ９にてＮＯ）、赤外線画像の抜出は行われない。
【００５７】
音声読出し部２６によって音声データが読み出された場合には（Ｓ６にてＹＥＳ）、プロセッサ１０２は、ステップＳ１１〜Ｓ１５として比較部２７及び警告画像生成部２８を動作させる。この制御により、音声データの音量と第１比較値Ｌ１及び第２比較値Ｌ２とが比較される（Ｓ１１）。そして、音声データの音量が第１比較値Ｌ１未満の場合（Ｓ１２にてＹＥＳ）、警告画像は生成されない。これに対し、音量が第１比較値Ｌ１以上で第２比較値Ｌ２未満の場合（Ｓ１３にてＹＥＳ）、第１警告画像が生成される（Ｓ１４）。また、音量が第２比較値Ｌ２以上の場合には（Ｓ１３にてＮＯ）、第２警告画像が生成される（Ｓ１５）。
【００５８】
その後、プロセッサ１０２は、ステップＳ１６として画像合成部２９を動作させる。この制御により、ステップＳ７の制御によりトリミングされた可視画像に、ステップＳ１０の制御により抜き出された赤外線画像と、ステップＳ１４又はステップＳ１５の制御により生成された警告画像（第１警告画像又は第２警告画像）とが合成される。ただし、ステップＳ９にて閾値以上の赤外線量が検知された領域がないと判定された場合には、赤外線画像は合成されない。また、ステップＳ１２にて音声データの音量が第１比較値Ｌ１未満であると判定された場合には、警告画像は合成されない。
【００５９】
ステップＳ１６の制御により生成された合成画像は、合成画像メモリ３９に記憶される。そこでプロセッサ１０２は、ステップＳ１７，Ｓ１８として表示制御部３０を動作させる。この制御により、合成画像メモリ３９に記憶された合成画像のデータが表示デバイスに出力される（Ｓ１７）。また、この合成画像のデータが画像保存メモリ４０に転送されて、画像保存メモリ４０において蓄積保存される（Ｓ１８）。
【００６０】
以上の制御ルーチンを終了すると、プロセッサ１０２は、ステップＳ１の制御に戻る。したがって、次のデータ読出しタイミングにおいて、プロセッサ１０２は、ステップＳ２乃至Ｓ１８の制御を再度実行する。
【００６１】
図６は、可視画像Ｇ１に、閾値以上の赤外線量が検知された領域の赤外線画像Ｇ２が合成された画像の表示例である。図示するように、可視画像Ｇ１に赤外線画像Ｇ２が合成される領域は、閾値以上の赤外線量が検知された領域に限られる。したがって、可視画像Ｇ１が不鮮明になることなく、閾値以上の赤外線量が検知された領域、つまりは異常温度以上の高温となっている部位を監視者が容易に特定することができる。
【００６２】
図７は、可視画像Ｇ１に、閾値以上の赤外線量が検知された領域の赤外線画像Ｇ２と第１警告画像Ｇ３とが合成された画像の表示例である。図示するように、第１警告画像Ｇ３が合成される領域は、マイクロフォン１３が取り付けられている部位の近傍である。したがって、可視画像Ｇ１が不鮮明になることなく、第１比較値Ｌ１以上の音量の音が発生している部位を監視者が容易に特定することができる。この例の場合、マイクロフォン１３によって集音されている音はモータの音と考えられるので、監視者は、赤外線画像Ｇ２によって特定される領域が異常温度以上の高温となっている原因が、モータの異常であると推測できる。
【００６３】
図８は、可視画像Ｇ１に、閾値以上の赤外線量が検知された領域の赤外線画像Ｇ２と第２警告画像Ｇ４とが合成された画像の表示例である。監視者は、例えば合成画像が図７の状態から図８の状態に代わったことを確認することによって、マイクロフォン１３によって集音されている音の音量が、第２比較値Ｌ２以上まで大きくなっていることを容易に確認することができる。
【００６４】
以上説明したように、本実施形態によれば、可視画像を表示するための表示デバイスと赤外線画像を表示するための表示デバイスとをそれぞれ用意しなくても、赤外線画像と可視画像とを併用して１つの表示デバイス上に表示でき、且つ鮮明なカメラ画像により監視対象を監視するシステムを実現することができる。したがって、映像以外の複数の情報を映像として可視化できることで異常状況がより把握しやすくなると共に、設備コストを節約できるうえ、表示デバイスの設置スペースも節約することができる。具体的には、赤外線画像による温度の異常や監視対象のセンシングデータである音の異常も視覚的に捉えることができる。
【００６５】
（変形例）
前記実施形態では、異常温度閾値メモリ３５に設定される閾値を所定温度以上の物体から放射される赤外線量の下限値としたが、閾値はこれに限定されるものではない。例えば所定温度範囲の物体から放射される赤外線量の下限値と上限値とをそれぞれ閾値として設定してもよい。こうすることにより、監視対象２の温度が所定温度範囲に入っているか否かを、可視画像に合成された赤外線画像によって監視することができる。
【００６６】
前記実施形態では、画像合成部２９で合成された合成画像を全て画像保存メモリ４０に蓄積保存する場合を例示した。しかしその場合は、赤外線画像と警告画像とが合成されていない可視画像までもが蓄積されるため、画像保存メモリ４０の記憶容量が過大なものとなる。そこで、赤外線画像又は警告画像が合成された場合のみその合成画像を全て画像保存メモリ４０に蓄積保存するようにしてもよい。
【００６７】
このような実施形態は、プロセッサ１０２が実行する制御手順を図９に示すように変形することで実現可能である。すなわち、ステップＳ９にて赤外線画像に閾値以上の赤外線量が検知された領域が有るか否かを判定した結果、閾値以上の赤外線量が検知された領域がある場合（Ｓ９にてＹＥＳ）、プロセッサ１０２は、ステップＳ２１として保存フラグをセットする。また、ステップＳ１１にて、音声データの音量と第１比較値Ｌ１及び第２比較値Ｌ２とを比較した結果、音声データの音量が第１比較値Ｌ１以上であった場合（Ｓ１２にてＮＯ）、プロセッサ１０２は、ステップＳ２２として保存フラグをセットする。なお、保存フラグは、記憶デバイス１０３に記憶されている。
【００６８】
そしてプロセッサ１０２は、ステップＳ１７として合成画像メモリ３９に記憶された合成画像のデータを表示デバイスに出力した後、ステップＳ２３として保存フラグを調べる。ここで、保存フラグがセットされていた場合（Ｓ２３にてＹＥＳ）、プロセッサ１０２は、ステップＳ１８として合成画像のデータを画像保存メモリ４０に転送するとともに、ステップＳ２４として保存フラグをリセットする。これに対し、保存フラグがセットされていない場合には（Ｓ２３にてＮＯ）、ステップＳ１８及びＳ２４の処理を実行しない。  
プロセッサ１０２が実行する制御手順を図９に示すように変形することで、赤外線画像又は警告画像が合成された場合のみその合成画像を画像保存メモリ４０に蓄積保存できるようになる。
【００６９】
前記実施形態では、マイクロフォンによって集音される音声をセンシングデータとしている。センシングデータは、音声に限るものではない。例えば、監視対象が異常時に発光するものであった場合、光センサを用いてその発光量を計測し、発光量のデータをセンシングデータとしてもよい。この場合も、監視対象のセンシングデータ異常を視覚的に捉えることができる。
【００７０】
前記実施形態において、赤外線カメラ１２を省略してもよい。その場合、赤外線画像の処理機能とともに可視画像トリミング部２２を省略する。すなわち画像合成部２９は、可視画像に警告画像を合成することとなる。この場合においても、可視画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像が、その可視画像に重ねて表示されるので、監視対象のセンシングデータ異常を視覚的に捉えることができる。ひいては、信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００７１】
また前記実施形態において、可視カメラ１１を省略してもよい。その場合、可視画像の処理機能とともに赤外線画像トリミング部２４と異常温度画像抜出部２５とを省略する。すなわち画像合成部２９は、赤外線画像に警告画像を合成することとなる。この場合においても、赤外線画像に映し出されている監視対象のセンシングデータ異常を警告する警告画像が、その赤外線画像に重ねて表示されるので、監視対象の温度異常とともにセンシングデータの異常を視覚的に捉えることができる。ひいては、より信頼性の高い監視システムを低コストかつ省スペースで実現させることができる。
【００７２】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００７３】
１…監視システム、１０…画像処理装置、１１…可視カメラ、１２…赤外線カメラ、１３…マイクロフォン、１４，１５…画像エンコーダ、１６…音声エンコーダ、１７…表示デバイス、２１…可視画像読出し部、２２…可視画像トリミング部、２３…赤外線画像読出し部、２４…赤外線画像トリミング部、２５…異常温度画像抜出部、２６…音声読出し部、２７…比較部、２８…警告画像生成部、２９…画像合成部、３０…表示制御部、３１…可視画像メモリ、３２…領域設定メモリ、３３…赤外線画像メモリ、３４…領域設定メモリ、３５…異常温度閾値メモリ、３６…音声メモリ、３７…比較値メモリ、３８…警告画像メモリ、３９…合成画像メモリ、４０…画像保存メモリ、１０１…通信インターフェース、１０２…プロセッサ、１０３…記憶デバイス。
【図１】
2018124808.tif 000003
【図２】
2018124808.tif 000004
【図３】
2018124808.tif 000005
【図４】
2018124808.tif 000006
【図５】
2018124808.tif 000007
【図６】
2018124808.tif 000008
【図７】
2018124808.tif 000009
【図８】
2018124808.tif 000010
【図９】
2018124808.tif 000011