(57)【要約】【課題】対象物を容易に発見する。【解決手段】電波を探知する方位探知機１１０と、可視画像を撮像する可視カメラ１２０と、赤外線画像を取得する赤外線カメラ１３０と、方位探知機１１０が電波を探知した方位に基づいて、可視カメラ１２０および赤外線カメラ１３０の撮像方位を制御する撮像方位制御部１４０と、可視カメラ１２０が撮像した可視画像と、赤外線カメラ１３０が取得した赤外線画像とを合成する合成部１５０とを有する。【選択図】図１
2018170712.tif 000002
【特許請求の範囲】
【請求項１】
電波を探知する方位探知機と、
可視画像を撮像する可視カメラと、
赤外線画像を取得する赤外線カメラと、
前記方位探知機が前記電波を探知した方位に基づいて、前記可視カメラおよび前記赤外線カメラの撮像方位を制御する撮像方位制御部と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する合成部とを有する監視システム。
【請求項２】
請求項１に記載の監視システムにおいて、
前記合成部は、前記可視カメラが撮像した可視画像における特徴点と、前記赤外線カメラが取得した赤外線画像における特徴点とを照合し、該照合した結果に基づいて、前記合成を行う監視システム。
【請求項３】
請求項１または請求項２に記載の監視システムにおいて、
前記合成部が合成した画像を表示する表示部を有する監視システム。
【請求項４】
請求項３に記載の監視システムにおいて、
前記撮像方位制御部は、前記表示部における対象物の表示位置に基づいて、前記可視カメラおよび前記赤外線カメラの撮像方位を制御する監視システム。
【請求項５】
請求項１から４のいずれか１項に記載の監視システムにおいて、
前記方位探知機と、前記可視カメラと、前記赤外線カメラとが、車両に搭載された監視システム。
【請求項６】
電波を探知する方位探知機が前記電波を探知した方位に基づいて、可視画像を撮像する可視カメラおよび赤外線画像を取得する赤外線カメラの撮像方位を制御する撮像方位制御部と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する合成部とを有する監視制御装置。
【請求項７】
電波を探知する処理と、
可視画像を撮像する処理と、
赤外線画像を取得する処理と、
前記電波を探知した方位に基づいて、前記可視画像を撮像する可視カメラおよび前記赤外線画像を取得する赤外線カメラの撮像方位を制御する処理と、
前記撮像した可視画像と、前記取得した赤外線画像とを合成する処理とを行う監視方法。
【請求項８】
コンピュータに、
電波を探知する方位探知機が前記電波を探知した方位に基づいて、可視画像を撮像する可視カメラおよび赤外線画像を取得する赤外線カメラの撮像方位を制御する手順と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する手順とを実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視システム、監視制御装置、監視方法およびプログラムに関する。
【背景技術】
【０００２】
人物などの目標物を監視する場合、所定の場所に固定された可視カメラや赤外線カメラを用いた撮像が一般的に採用されている。しかしながら、このような監視方法には、以下の３つの課題が存在する。
１つ目の課題は、固定式カメラを用いて監視を行う場合、監視場所ごとにカメラを設置しなければならないことである。２つ目の課題は、カメラのみを用いた監視を行う場合、監視領域が狭くなってしまうことである。広角レンズを用いて監視を行う場合、広い範囲を監視することが可能であるが、遠距離に存在する小型無人機等の監視を行うことは困難である。また、狭角レンズを用いて監視を行う場合、遠距離の監視は可能であるが、広い範囲を監視することができないため、小型無人機等を発見することが困難となる。３つ目の課題は、ドローンなどの小型無人機を目標物として監視する場合、これらは小型かつ監視背景と同化しやすいため、単一のカメラだけでは監視が困難となることである。例えば、可視カメラを用いて黒色の小型無人機を監視する場合、木や森が背景であると、小型無人機が背景と同化してしまい、監視が困難となる。また、熱の差を用いて監視を行う赤外線カメラを用いた場合、建物が背景であると、小型無人機と建物間とに熱の差が表れにくくなり、監視が困難となる。
【０００３】
そこで、ミリ波レーダを用いて目標検出を行う技術が考えられている（例えば、特許文献１参照。）。また、可視カメラ、赤外線カメラおよびミリ波レーダを用いて観測した結果を融合した画像に基づいて操縦支援を行う技術が考えられている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−０２５２１６号公報
【特許文献２】特開２００４−３４１９３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１，２に記載された技術においては、ミリ波レーダを用いているため、装置自ら電波を送出しなければならなく、その構造が複雑になってしまうという問題点がある。さらに、特許文献２に記載された技術においては、可視カメラおよび赤外線カメラが航空機内で固定されているため、航空機に対するミリ波レーダが検知した対象物の相対位置によっては、可視カメラおよび赤外線カメラが対象物を撮像することができないおそれがある。
このように、上述した技術においては、対象物を容易に発見することができないという問題点がある。
【０００６】
本発明の目的は、上記課題を解決する監視システム、監視制御装置、監視方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の監視システムは、
電波を探知する方位探知機と、
可視画像を撮像する可視カメラと、
赤外線画像を取得する赤外線カメラと、
前記方位探知機が前記電波を探知した方位に基づいて、前記可視カメラおよび前記赤外線カメラの撮像方位を制御する撮像方位制御部と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する合成部とを有する。
また、本発明の監視制御装置は、
電波を探知する方位探知機が前記電波を探知した方位に基づいて、可視画像を撮像する可視カメラおよび赤外線画像を取得する赤外線カメラの撮像方位を制御する撮像方位制御部と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する合成部とを有する。
また、本発明の監視方法は、
電波を探知する処理と、
可視画像を撮像する処理と、
赤外線画像を取得する処理と、
前記電波を探知した方位に基づいて、前記可視画像を撮像する可視カメラおよび前記赤外線画像を取得する赤外線カメラの撮像方位を制御する処理と、
前記撮像した可視画像と、前記取得した赤外線画像とを合成する処理とを行う。
また、本発明のプログラムは、
コンピュータに実行させるためのプログラムであって、
電波を探知する方位探知機が前記電波を探知した方位に基づいて、可視画像を撮像する可視カメラおよび赤外線画像を取得する赤外線カメラの撮像方位を制御する手順と、
前記可視カメラが撮像した可視画像と、前記赤外線カメラが取得した赤外線画像とを合成する手順とを実行させる。
【発明の効果】
【０００８】
以上説明したように、本発明においては、対象物を容易に発見することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の監視システムの第１の実施の形態を示す図である。
【図２】図１に示した監視システムにおける監視方法を説明するためのフローチャートである。
【図３】本発明の監視システムの第２の実施の形態を示す図である。
【図４】図３に示した監視装置の内部構成の一例を示す図である。
【図５】図３に示した監視装置の使用態様の一例を示す図である。
【図６】図３に示した監視装置の使用態様の他の例を示す図である。
【図７】図３に示した監視制御装置の内部構成の一例を示す図である。
【図８】図７に示した合成部が画像を合成する方法の一例を説明するための図である。
【図９】図３に示した監視システムにおける監視方法の一例を説明するためのシーケンス図である。
【図１０】図７に示した表示部が小型無人機を表示している態様の一例を示す図である。
【図１１】図７に示した表示部が小型無人機を表示している態様の他の例を示す図である。
【図１２】図７に示した表示部が小型無人機を表示している態様の他の例を示す図である。
【図１３】複数の監視装置を用いて、電波を検出し、画像を撮像する一形態を示す図である。
【図１４】図１３に示した形態における監視制御装置での表示態様の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下に本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）
【００１１】
図１は、本発明の監視システムの第１の実施の形態を示す図である。本形態における監視システムは図１に示すように、方位探知機１１０と、可視カメラ１２０と、赤外線カメラ１３０と、撮像方位制御部１４０と、合成部１５０とを有する。なお、図１には、本形態における監視システムが具備する構成要素のうち、本実施の形態に関わる主要な構成要素の一例を示す。
【００１２】
方位探知機１１０は、電波を探知する。
可視カメラ１２０は、可視画像を撮像する。
赤外線カメラ１３０は、赤外線画像を取得する。
撮像方位制御部１４０は、方位探知機１１０が電波を探知した方位に基づいて、可視カメラ１２０および赤外線カメラ１３０の撮像方位を制御する。
合成部１５０は、可視カメラ１２０が撮像した可視画像と、赤外線カメラ１３０が取得した赤外線画像とを合成する。
【００１３】
以下に、図１に示した監視システムにおける監視方法について説明する。図２は、図１に示した監視システムにおける監視方法を説明するためのフローチャートである。
【００１４】
まず、方位探知機１１０が、電波を探知（検知）する（ステップＳ１）。また、可視カメラ１２０が、可視画像を撮像する（ステップＳ２）。また、赤外線カメラ１３０が、赤外線画像を取得（撮像）する（ステップＳ３）。すると、撮像方位制御部１４０は、方位探知機１１０が電波を探知した方位に基づいて、可視カメラ１２０および赤外線カメラ１３０の撮像方位を制御する（ステップＳ４）。続いて、合成部１５０は、可視カメラ１２０が撮像した可視画像と、赤外線カメラ１３０が取得した赤外線画像とを合成する（ステップＳ５）。
【００１５】
このように、電波を検知した方位に基づいた方位へ可視カメラおよび赤外線カメラを向けて、可視画像および赤外線画像を撮像し、それぞれの画像を合成する。これにより、対象物を容易に発見することができる。
（第２の実施の形態）
【００１６】
図３は、本発明の監視システムの第２の実施の形態を示す図である。本形態における監視システムは図３に示すように、監視制御装置１００と、監視装置２００−１〜２００−３とを有する。監視制御装置１００と監視装置２００−１〜２００−３とは互いに通信ネットワーク３００を介して接続されている。通信ネットワーク３００は、有線を用いたもの、無線を用いたもの、有線と無線との双方を用いたもののいずれであっても良い。また、図３は、監視装置２００−１〜２００−３が３台である場合を例に挙げて示しているが、その数に限定しない。なお、図３には、本形態における監視システムが具備する構成要素のうち、本実施の形態に関わる主要な構成要素の一例を示す。
【００１７】
図４は、図３に示した監視装置２００−１の内部構成の一例を示す図である。図３に示した監視装置２００−１は図４に示すように、方位探知機１１１と、可視カメラ１２１と、赤外線カメラ１３１と、通信部１６１と、雲台１７１とを有する。なお、図４には、図３に示した監視装置２００−１が具備する構成要素のうち、本実施の形態に関わる主要な構成要素の一例を示す。また、図３に示した監視装置２００−２，２００−３の内部構成も、監視装置２００−１の内部構成と同じで良い。
【００１８】
方位探知機１１１は、監視エリアとなる監視装置２００−１の周囲の電波を探知（検知）する。この電波は、小型無人機等の飛行物体を操縦するために、操縦するための装置から飛行物体へ送信されている電波である。方位探知機１１１は、電波を検知した場合、検知した結果に基づいて対象物の方位を算出し、算出した方位を示す電波検知方位情報を通信部１６１へ出力する。
可視カメラ１２１は、監視エリアとなる監視装置２００−１の周囲の可視画像を撮像する。可視カメラ１２１は、撮像した可視画像を通信部１６１へ出力する。なお、可視カメラ１２１は、雲台１７１に搭載される。
赤外線カメラ１３１は、監視エリアとなる監視装置２００−１の周囲の赤外線画像を取得（撮像）する。赤外線カメラ１３１は、取得した赤外線画像を通信部１６１へ出力する。なお、赤外線カメラ１３１は、雲台１７１に搭載される。
通信部１６１は、方位探知機１１１から出力された電波検知方位情報を監視制御装置１００へ送信する。また、通信部１６１は、可視カメラ１２１から出力された可視画像を監視制御装置１００へ送信する。また、通信部１６１は、赤外線カメラ１３１から出力された赤外線画像を監視制御装置１００へ送信する。また、通信部１６１は、監視制御装置１００から送信されてきた、雲台１７１を回転させるための撮像方位制御信号を受信し、受信した撮像方位制御信号を雲台１７１へ出力する。
雲台１７１は、可視カメラ１２１と赤外線カメラ１３１とを搭載する。また、雲台１７１は、通信部１６１から出力されてきた撮像方位制御信号に基づいて、雲台１７１を回転させる。
【００１９】
監視装置２００−１は、車両に搭載されているものであっても良い。図５は、図３に示した監視装置の使用態様の一例を示す図である。図５に示すように、監視装置２００−１が、外部の電波を検知し、可視画像および赤外線画像を撮像可能な、車両の屋根等の位置に搭載されている。
【００２０】
また、複数の監視装置を用いて、電波の探知や、画像の撮像を行うものであっても良い。図６は、図３に示した監視装置の使用態様の他の例を示す図である。図６に示すように、複数の監視装置２００−１，２００−２を用いて、小型無人機４００への電波を検知し、可視画像および赤外線画像を撮像するものであっても良い。
【００２１】
図７は、図３に示した監視制御装置１００の内部構成の一例を示す図である。図３に示した監視制御装置１００は図７に示すように、撮像方位制御部１４１と、合成部１５１と、表示部１８１と、通信部１９１とを有する。なお、図７には、図３に示した監視制御装置１００が具備する構成要素のうち、本実施の形態に関わる主要な構成要素の一例を示す。
【００２２】
通信部１９１は、監視装置２００−１〜２００−３から送信されてきた電波検知方位情報を撮像方位制御部１４１へ出力する。また、通信部１９１は、監視装置２００−１〜２００−３から送信されてきた可視画像および赤外線画像を合成部１５１へ出力する。また、通信部１９１は、撮像方位制御部１４１から出力された撮像方位制御信号を監視装置２００−１〜２００−３へ送信する。
撮像方位制御部１４１は、通信部１９１から出力された電波検知方位情報に基づいて、可視カメラ１２１および赤外線カメラ１３１の撮像方位を決定する。具体的には、撮像方位制御部１４１は、通信部１９１から出力された電波検知方位情報が示す、方位探知機１１１が電波を探知した対象物の方位に基づいて、可視カメラ１２１および赤外線カメラ１３１の撮像方位を制御する。また、撮像方位制御部１４１は、表示部１８１における対象物の表示位置に基づいて、可視カメラ１２１および赤外線カメラ１３１の撮像方位を決定する。撮像方位制御部１４１は、決定した可視カメラ１２１および赤外線カメラ１３１の撮像方位を示す撮像方位制御信号を通信部１９１へ出力する。
合成部１５１は、通信部１９１から出力された可視画像と赤外線画像とを合成する。このとき、合成部１５１は、可視画像における特徴点と、赤外線画像における特徴点とを照合し、その照合の結果に基づいて、画像の合成を行う。合成部１５１は、合成した合成画像を表示部１８１へ出力する。
表示部１８１は、合成部１５１から出力された合成画像を表示する。
【００２３】
図８は、図７に示した合成部１５１が画像を合成する方法の一例を説明するための図である。図８に示すように、合成部１５１は、通信部１９１から出力された可視画像の任意の７点（エッジ等の特徴点）を選択する。また、合成部１５１は、通信部１９１から出力された赤外線画像の任意の７点を選択する。そして、合成部１５１は、選択したそれぞれの点を互いに照合し、照合した結果に基づいて、可視画像と赤外線画像とを合成する。
【００２４】
以下に、図３に示した監視システムにおける監視方法について説明する。図９は、図３に示した監視システムにおける監視方法の一例を説明するためのシーケンス図である。
【００２５】
まず、可視カメラ１２１および赤外線カメラ１３１が撮像を開始する（ステップＳ１１）。すると、方位探知機１１１が電波を検知したかどうかを判定する（ステップＳ１２）。
【００２６】
方位探知機１１１が電波を検知すると、方位探知機１１１は対象物の方位（位置情報であっても良い）を算出し、算出した方位を示す電波検知方位情報を、通信部１６１を介して、監視制御装置１００へ送信する（ステップＳ１３）。ここで、方位探知機１１１が検知した電波から対象物の方位を算出する方法については、一般的な方法で良く、ここでは特に規定しない。
【００２７】
すると、撮像方位制御部１４１は、監視装置２００−１から送信されてきた方位情報が示す方位に基づいて、可視カメラ１２１の撮像方位および赤外線カメラ１３１の撮像方位を決定する（ステップＳ１４）。すると、撮像方位制御部１４１は、通信部１９１を介して、可視カメラ１２１の撮像方位および赤外線カメラ１３１の撮像方位を制御するための撮像方位制御情報を監視装置２００−１へ送信する（ステップＳ１５）。
【００２８】
監視装置２００−１の通信部１６１が、撮像方位制御情報を受信すると、雲台１７１は、撮像方位制御情報が示す方位に基づいて、可視カメラ１２１および赤外線カメラ１３１の撮像方位を制御するために雲台１７１を回転させる（ステップＳ１６）。雲台１７１が回転した後、可視カメラ１２１が撮像した可視画像と、赤外線カメラ１３１が取得した赤外線画像とを通信部１６１が監視制御装置１００へ送信する（ステップＳ１７）。
【００２９】
監視制御装置１００の通信部１９１が、監視装置２００−１から送信されてきた可視画像と赤外線画像とを受信すると、合成部１５１が、それらを合成して合成画像を生成する（ステップＳ１８）。すると、表示部１８１が合成画像を表示する（ステップＳ１９）。続いて、表示部１８１が表示している対象物が表示部１８１内の所定の範囲の外にあるかどうかを判定する（ステップＳ２０）。この所定の範囲とは、例えば、表示部１８１の中心から８０％の範囲としても良い。また、表示部１８１が表示している画像の中から対象物を識別するには、対象物の特徴量をあらかじめ登録しておき、その特徴量に基づいて、表示画像の中から対象物を特定するものであっても良い。
【００３０】
図１０は、図７に示した表示部１８１が小型無人機４００を表示している態様の一例を示す図である。図１０に示すように、対象物である小型無人機４００が表示部１８１のほぼ中央に表示されている。ここで、図１０に示した破線は、表示部１８１の中心から８０％の範囲の境界を示す。
【００３１】
ステップＳ２０にて、表示部１８１が表示している対象物が表示部１８１内の所定の範囲の外にある場合、撮像方位制御部１４１は、対象物が表示部１８１内の所定の範囲の中に表示されるように、可視カメラ１２１の撮像方位と赤外線カメラ１３１の撮像方位とを決定する。そして、決定した方位を用いて、監視制御装置１００と監視装置２００−１とが、ステップＳ１５〜Ｓ１９の処理を行う。
【００３２】
図１１は、図７に示した表示部１８１が小型無人機４００を表示している態様の他の例を示す図である。図１１に示すように、対象物である小型無人機４００が図１０に示した位置から移動することで、表示部１８１の所定の範囲を外れた位置に表示されている。
図１２は、図７に示した表示部１８１が小型無人機４００を表示している態様の他の例を示す図である。図１２に示した例は、図１１に示したように、対象物である小型無人機４００が表示部１８１の所定の範囲を外れた位置に表示された後、ステップＳ１４〜Ｓ１９の処理が行われ、小型無人機４００が表示部１８１のほぼ中央に表示される例である。
【００３３】
その後、小型無人機４００が移動することで、監視領域外に移動すると処理は終了する。
【００３４】
なお、表示部１８１の表示内容に基づいて、監視制御装置１００を操作する監視者が、表示部１８１に対して小型無人機４００を表示部１８１のほぼ中央に表示するための操作を行うものであっても良い。この操作は、監視者が追尾したい対象物を指定するための操作である。この操作を受け付けた撮像方位制御部１４１は、操作に応じた方位へ可視カメラ１２１の撮像方位と赤外線カメラ１３１の撮像方位を制御する。
【００３５】
なお、撮像方位制御部１４１および合成部１５１は、監視装置２００−１〜２００−３が具備するものであっても良い。
【００３６】
このように、監視制御装置１００が、移動可能な車両等に搭載された監視装置２００−１〜２００−３の方位探知機１１１が検知した電波に基づいて、可視カメラ１２１および赤外線カメラ１３１の撮像方向を制御し、可視カメラ１２１の撮像画像と赤外線カメラ１３１の撮像画像とを合成部１５１が合成して表示部１８１が表示する。これにより、固定式カメラと違い、監視領域にとらわれず、広い領域を監視することができる。また、カメラでは監視が難しい遠距離の目標物であっても広い範囲を監視可能となる。また、可視カメラが撮像した画像と赤外カメラが撮像した画像との映像を合成することで、可視カメラと赤外カメラそれぞれ弱点を補い、監視性能を向上させることができる。したがって、本形態においては、目標物を容易に監視することができる。
（変形例）
【００３７】
また、複数の監視装置を用いて、電波を検出し、画像を撮像するものであっても良い。
図１３は、複数の監視装置を用いて、電波を検出し、画像を撮像する一形態を示す図である。図１３に示すように、複数の方位探知機を用いて対象物への電波を検出し、複数のカメラを用いて対象物を撮像するものであっても良い。
図１４は、図１３に示した形態における監視制御装置での表示態様の一例を示す図である。図１４に示すように、監視制御装置は、１つの画面で電波情報と撮像情報とを表示する。
【００３８】
以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。
【００３９】
上述した監視制御装置１００に設けられた各構成要素が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を監視制御装置１００にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを監視制御装置１００に読み込ませ、実行するものであっても良い。監視制御装置１００にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃなどの移設可能な記録媒体の他、監視制御装置１００に内蔵されたＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、監視制御装置１００に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。
【符号の説明】
【００４０】
１００    監視制御装置
１１０，１１１    方位探知機
１２０，１２１    可視カメラ
１３０，１３１    赤外線カメラ
１４０，１４１    撮像方位制御部
１５０，１５１    合成部
１６１，１９１    通信部
１７１    雲台
１８１    表示部
２００−１〜２００−３    監視装置
３００    通信ネットワーク
４００    小型無人機
【図１】
2018170712.tif 000003
【図２】
2018170712.tif 000004
【図３】
2018170712.tif 000005
【図４】
2018170712.tif 000006
【図５】
2018170712.tif 000007
【図６】
2018170712.tif 000008
【図７】
2018170712.tif 000009
【図８】
2018170712.tif 000010
【図９】
2018170712.tif 000011
【図１０】
2018170712.tif 000012
【図１１】
2018170712.tif 000013
【図１２】
2018170712.tif 000014
【図１３】
2018170712.tif 000015
【図１４】
2018170712.tif 000016