(57)【要約】      （修正有）【課題】所定位置において検出対象人物を止めることなく、テラヘルツ画像から、検出対象人物が所持する物体を検出する監視システムを提供する。【解決手段】監視システムは、第１画像取得部（テラヘルツ画像取得部１０１）と、第２画像取得部（可視化画像取得部１０２）と、人物検出部１０３と、物体検出部１０５と、物体分類部１０６と、表示部１０８と、を備える。第１画像取得部は、所定位置を通過する人物から放出されるテラヘルツ波を受信し、当該テラヘルツ波の受信結果に基づいて、所定位置を画像化した第１画像を取得する。第２画像取得部は、所定位置で反射した光を受光し、当該光の受光結果に基づいて、所定位置を画像化した第２画像を取得する。人物検出部は、第２画像から、人物を検出する。物体検出部は、第１画像における当該検出した人物に対応する第１位置から、人物が所持する物体を検出する。【選択図】図１
2018156586.tif 000002
【特許請求の範囲】
【請求項１】
所定位置を通過する人物から放出されるテラヘルツ波を受信し、当該テラヘルツ波の受信結果に基づいて、前記所定位置を画像化した第１画像を取得する第１画像取得部と、
前記所定位置で反射した光を受光し、当該光の受光結果に基づいて、前記所定位置を画像化した第２画像を取得する第２画像取得部と、
前記第２画像から、前記人物を検出する人物検出部と、
前記第１画像における前記検出した人物に対応する第１位置から、前記人物が所持する物体を検出する物体検出部と、
前記検出した物体が所定物体であるか否かを判断する分類処理を実行する分類部と、
前記分類処理の実行結果、および当該実行結果に基づく前記検出した物体の警報レベルを表示する表示部と、
を備える監視システム。
【請求項２】
前記表示部は、さらに、前記第１位置における前記物体の第２位置に基づいて、前記警報レベルを変更する請求項１に記載の監視システム。
【請求項３】
動画像の前記第２画像を構成するフレーム間において前記人物を追跡する人物追跡部をさらに備え、
前記分類部は、追跡中の同一の前記人物の前記第１位置から検出された前記物体について前記分類処理を実行する請求項１または２に記載の監視システム。
【請求項４】
前記物体検出部は、さらに、動画像の前記第１画像を構成するフレーム間において、同一の前記物体を追跡し、
前記分類部は、追跡中の同一の前記物体として追跡された前記物体毎に前記分類処理を実行する請求項３に記載の監視システム。
【請求項５】
前記第２画像に基づいて、前記人物が着用する衣類を検出し、当該検出した衣類のポケットの第３位置を推定する衣類検出部をさらに備え、
前記表示部は、前記第２位置が、前記第１位置における前記第３位置に対応する位置以外の位置である場合、前記警報レベルを上げる請求項２に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、監視システムに関する。
【背景技術】
【０００２】
建物への人物の入退出を管理するゲートやエスカレータの出口等の所定位置で人物を停止させ、当該人物にテラヘルツ波を照射し、当該人物で反射したテラヘルツ波の受光結果に基づいて、当該人物が所持する物体を検知する技術が開発されている。また、所定位置で人物を止めて、ハンドヘルド可能な装置を用い、電磁誘導を利用して物体を検知する技術が開発されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４７５１３３２号公報
【特許文献２】特許第５０７２９７２号公報
【特許文献３】特表２００９−５１９４３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の技術では、所定位置で人物を一旦止めて、当該人物が所持する物体を検知しなければならず、当該所定位置の人物の通過が滞る場合がある。
【課題を解決するための手段】
【０００５】
実施形態の監視システムは、第１画像取得部と、第２画像取得部と、人物検出部と、物体検出部と、分類部と、表示部と、を備える。第１画像取得部は、所定位置を通過する人物から放出されるテラヘルツ波を受信し、当該テラヘルツ波の受信結果に基づいて、所定位置を画像化した第１画像を取得する。第２画像取得部は、所定位置で反射した光を受光し、当該光の受光結果に基づいて、所定位置を画像化した第２画像を取得する。人物検出部は、第２画像から、人物を検出する。物体検出部は、第１画像における当該検出した人物に対応する第１位置から、人物が所持する物体を検出する。分類部は、検出した物体が所定物体であるか否かを判断する分類処理を実行する。表示部は、分類処理の実行結果、および当該実行結果に基づく検出した物体の警報レベルを表示する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。
【図２】図２は、第１の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【図３】図３は、第１の実施形態にかかる監視システムにおいて警報レベルを表示する処理の流れの一例を示すフローチャートである。
【図４】図４は、第１の実施形態にかかる監視システムによる警報レベルの表示例を示す図である。
【図５】図５は、第２の実施形態にかかる監視システムの構成の一例を示す図である。
【図６】図６は、第２の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【図７】図７は、第３の実施形態にかかる監視システムの構成の一例を示す図である。
【図８】図８は、第３の実施形態にかかる監視システムのテラヘルツ画像取得部および可視化画像取得部の配置位置の一例を上方から見た図である。
【図９】図９は、第３の実施形態にかかる監視システムのテラヘルツ画像取得部および可視化画像取得部の配置位置の一例を側方から見た図である。
【図１０】図１０は、第３の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【図１１】図１１は、第３の実施形態にかかる監視システムにおける警報レベルを表示する処理の流れの一例を示すフローチャートである。
【図１２】図１２は、第３の実施形態にかかる監視システムによる警報レベルの表示例を示す図である。
【図１３】図１３は、第３の実施形態にかかる監視システムによる警報レベルの表示例を示す図である。
【発明を実施するための形態】
【０００７】
以下、添付の図面を用いて、本実施形態にかかる監視システムについて説明する。
【０００８】
（第１の実施形態）
図１は、第１の実施形態にかかる監視システムの構成の一例を示す図である。図１に示すように、本実施形態にかかる監視システムは、テラヘルツ画像取得部１０１と、可視化画像取得部１０２と、人物検出部１０３と、画像処理部１０４と、物体検出部１０５と、物体分類部１０６と、検出物体データベース１０７と、表示部１０８と、を備える。
【０００９】
テラヘルツ画像取得部１０１（第１画像取得部の一例）は、建物への人物の入退出を管理するゲートやエスカレータの出口など、所定位置を通過する人物（以下、検出対象人物と言う）から放出されるテラヘルツ波を受信するセンサを有する。そして、テラヘルツ画像取得部１０１は、テラヘルツ波の受信結果に基づいて、所定位置を画像化した画像（以下、テラヘルツ画像と言う。第１画像の一例）を取得する。これにより、テラヘルツ画像取得部１０１がテラヘルツ波を検出対象人物に向けて照射する必要が無くなるので、監視システムを構成する部品の数を減らすことができる。
【００１０】
本実施形態では、テラヘルツ画像取得部１０１は、検出対象人物から放出されるテラヘルツ波を受信するパッシブ方式を用いているが、検出対象人物に対してテラヘルツ波を照射しかつ検出対象人物で反射したテラヘルツ波を受信するアクティブ方式を用いることも可能である。また、本実施形態では、監視システムは、テラヘルツ画像取得部１０１の設置位置の外気温を、人物から放出されるテラヘルツ波の受信精度が高くなる所定の温度範囲（例えば、２０℃前後）に保つ空調設備（例えば、冷却素子）を有していても良い。
【００１１】
可視化画像取得部１０２（第２画像取得部の一例）は、カメラ等で構成され、所定位置で反射した光を受光し、当該光の受光結果に基づいて、所定位置を画像化した画像（以下、可視化画像と言う。第２画像の一例）を取得する。人物検出部１０３は、可視化画像から、検出対象人物を検出する。
【００１２】
画像処理部１０４は、テラヘルツ画像から、検出対象人物が所持する物体が検出し易くなるように、テラヘルツ画像に対して、フィルタリング処理等の画像処理を実行する。
【００１３】
物体検出部１０５は、画像処理を実行したテラヘルツ画像における、検出した検出対象人物に対応する位置（以下、人物位置と言う。第１位置の一例）から、検出対象人物が所持する物体を検出する。これにより、検出対象人物が動いていても、テラヘルツ画像における、検出対象人物の位置を高精度に特定できるので、所定位置において検出対象人物を止めることなく、テラヘルツ画像から、検出対象人物が所持する物体を検出できる。
【００１４】
また、画像処理部１０４は、検出対象人物が所持する比較的小さい物体（例えば、折り畳みナイフ）等が検出し易くなるように、テラヘルツ画像に対して、画像処理を実行する。これにより、検出対象人物が所持する比較的小さい物体も検出することができる。
【００１５】
本実施形態では、物体検出部１０５は、画像処理を実行したテラヘルツ画像から、物体を検出しているが、これに限定するものではなく、画像処理を実行していないテラヘルツ画像（言い換えると、テラヘルツ画像取得部１０１により取得されたそのままのテラヘルツ画像）から、物体を検出しても良い。
【００１６】
物体分類部１０６（分類部の一例）は、検出した物体が所定物体であるか否かを判断する分類処理を実行する。ここで、所定物体は、所定位置の通過が禁止されている物体である。検出物体データベース１０７は、所定物体の分類毎の画像（以下、モデル画像と言う）を記憶する。本実施形態では、物体分類部１０６は、検出した物体が、検出物体データベース１０７のモデル画像と類似または一致した場合に、当該検出した物体が所定物体であると判断する。また、本実施形態では、物体分類部１０６は、検出した物体と類似または一致したモデル画像の分類を、検出した物体の分類として特定する。
【００１７】
表示部１０８は、物体分類部１０６による分類処理の実行結果、および当該実行結果に基づく、検出した物体の警報レベルを表示する。本実施形態では、表示部１０８は、検出した物体が所定物体であると判断した場合、検出した物体の分類に応じて、警報レベルを変更する。また、本実施形態では、表示部１０８は、分類処理の実行結果および警報レベルに加えて、テラヘルツ画像および可視化画像を表示する。
【００１８】
次に、図２を用いて、本実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例について説明する。図２は、第１の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【００１９】
テラヘルツ画像取得部１０１は、予め設定された周期で、検出対象人物から放出されるテラヘルツ波を受信し、当該テラヘルツ波の受信結果に基づいて、テラヘルツ画像を取得する（ステップＳ２０１）。可視化画像取得部１０２は、テラヘルツ画像取得部１０１によるテラヘルツ波の受信に同期して、検出対象人物で反射した光を受光し、当該光の受光結果に基づいて、可視化画像を取得する（ステップＳ２０１）。
【００２０】
画像処理部１０４は、テラヘルツ画像に対して、平滑化処理、二値化処理、膨張収縮処理等の画像処理を実行して、テラヘルツ画像を、当該テラヘルツ画像に含まれる物体を強調した画像に変換する（ステップＳ２０２）。人物検出部１０３は、可視化画像から、検出対象人物を検出する（ステップＳ２０３）。本実施形態では、人物検出部１０３は、複数の人物の画像それぞれにおける矩形領域の画像を平均化した画像をテンプレート（以下、人物テンプレートと言う）として作成する。そして、人物検出部１０３は、可視化画像内において、人物テンプレートを平行移動、回転、または拡大縮小しながら、当該可視化画像において人物テンプレートとの輝度値の差分が最も小さい位置を、検出対象人物として検出する。
【００２１】
物体検出部１０６は、画像処理を実行したテラヘルツ画像内の人物位置から、検出対象人物が所持する物体を検出する（ステップＳ２０４）。これにより、検出対象人物が動いていても、テラヘルツ画像における、検出対象人物の位置を高精度に特定できるので、所定位置において検出対象人物を止めることなく、テラヘルツ画像から、検出対象人物が所持する物体を検出できる。ここで、人物位置は、テラヘルツ画像において、検出した検出対象人物に対応する位置である。また、本実施形態では、物体検出部１０５は、二値化処理が実行されたテラヘルツ画像の人物位置において、同じ画素値を持つ連続する画素に対して同じラベルを設定する。そして、物体検出部１０５は、テラヘルツ画像の人物位置において、ラベルが設定された領域のうち、予め設定された大きさより小さい孤立領域を、検出対象人物が所持する物体として検出する。
【００２２】
物体分類部１０６は、物体検出部１０５によって、検出対象人物が所持する物体が検出されたか否かを判断する（ステップＳ２０５）。検出対象人物が所持する物体が検出されなかった場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０１に戻り、テラヘルツ画像取得部１０１および可視化画像取得部１０２は、新たなテラヘルツ画像および可視化画像を取得する。
【００２３】
一方、検出対象人物が所持する物体が検出された場合（ステップＳ２０５：Ｙｅｓ）、物体分類部１０６は、検出した物体毎に、当該物体が所定物体であるか否かを判断する分類処理を実行する（ステップＳ２０６）。本実施形態では、物体分類部１０６は、検出した全ての物体について、分類処理を繰り返す。また、表示部１０８は、物体分類部１０６による分類処理の実行結果、および当該実行結果に基づく、検出した物体の警報レベルを表示する（ステップＳ２０６）。
【００２４】
具体的には、物体分類部１０６は、検出した物体と、検出物体データベース１０７に記憶される各モデル画像との類似度を算出する。そして、物体分類部１０６は、検出した物体と、少なくとも１つのモデル画像との類似度が予め設定された類似度以上である場合、当該検出した物体が所定物体であると判断する。物体分類部１０６は、検出した物体と複数のモデル画像との類似度が予め設定された類似度以上である場合、当該複数のモデル画像のうち、検出した物体との類似度が最も高いモデル画像の分類を、当該検出した物体の分類として特定する。または、物体分類部１０６は、テラヘルツ画像を入力としかつ検出した物体の分類を出力する分類方法を、深層学習等を用いて構築し、当該分類方法を用いて、検出した物体の分類を特定しても良い。
【００２５】
次に、図３を用いて、本実施形態にかかる監視システムにおいて警報レベルを表示する処理の流れの一例について説明する。図３は、第１の実施形態にかかる監視システムにおいて警報レベルを表示する処理の流れの一例を示すフローチャートである。
【００２６】
表示部１０８は、検出した物体の分類の信頼度を取得する（ステップＳ３０１）。ここで、信頼度は、検出した物体の分類の信頼性の度合いである。本実施形態では、信頼度は、検出した物体とモデル画像との類似度が高くなるに従って、高くなる。次いで、表示部１０８は、取得した信頼度が予め設定された閾値Ｒより大きいか否かを判断する（ステップＳ３０２）。そして、取得した信頼度が閾値Ｒより大きい場合（ステップＳ３０２：Ｙｅｓ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「３」とし、当該警報レベル：「３」を表示する（ステップＳ３０３）。本実施形態では、警報レベルは、検出した物体の危険度が大きくなるに従って、高くなる。
【００２７】
一方、取得した信頼度が閾値Ｒ以下である場合（ステップＳ３０２：Ｎｏ）、表示部１０８は、人物位置における、検出した物体の位置が、検出対象人物が着用する衣服のポケット領域などの所定位置であるか否かを判断する（ステップＳ３０４）。検出した物体の位置が所定位置であると判断した場合（ステップＳ３０４：Ｙｅｓ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「１」とし、当該警報レベル：「１」を表示する（ステップＳ３０５）。一方、検出した物体の位置が所定位置以外であると判断した場合（ステップＳ３０４：Ｎｏ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「２」とし、当該警報レベル：「２」を表示する（ステップＳ３０６）。すなわち、表示部１０８は、人物位置における、検出した物体の位置（第２位置の一例）に基づいて、警報レベルを変更する。
【００２８】
検出した物体の位置が所定位置以外であると判断した場合の警報レベルを、検出した物体の位置が所定位置であると判断した場合の警報レベルより高くしているのは、検出対象人物が所定物体を意図して隠蔽している可能性が高いと仮定できるからである。また、表示部１０８は、検出した物体の分類および検出した物体の位置（例えば、ポケット領域）の少なくとも一方に基づいて、警報レベルを細分化して表示しても良い。
【００２９】
次に、図４を用いて、本実施形態にかかる監視システムによる警報レベルの表示例について説明する。図４は、第１の実施形態にかかる監視システムによる警報レベルの表示例を示す図である。
【００３０】
図４に示すように、表示部１０８は、可視化画像４０１、所定位置（例えば、ポケット領域）を表すポケット領域画像４０２、テラヘルツ画像４０３、検出した物体の画像である物体画像４０４、検出した物体の位置がポケット領域内であるか否かの判断結果４０５（検出した物体の位置がポケット内にある場合：「〇」、検出した物体の位置がポケット以外である場合：「×」）、検出した物体の分類結果４０６、当該分類結果の信頼度４０７、および警報レベル４０８を含む画面を表示する。
【００３１】
本実施形態では、ポケット領域画像４０２は、画像処理部１０４によって画像処理を実行したテラヘルツ画像に対して、ポケットの画像を重畳した画像である。また、表示部１０８は、警報レベル４０８に応じて、当該警報レベル４０８を表す文字の表示態様（例えば、色、アニメーション）を変更しても良い。また、表示部１０８は、警報レベル４０８に応じて、警報レベル４０８を通知する音声を出力しても良い。
【００３２】
このように、第１の実施形態にかかる監視システムによれば、テラヘルツ画像内において、可視化画像に基づいて特定した人物位置から、検出対象人物が所持する物体を検出することにより、検出対象人物が動いていても、テラヘルツ画像における、検出対象人物の位置を高精度に特定できるので、所定位置において検出対象人物を止めることなく、テラヘルツ画像から、検出対象人物が所持する物体を検出できる。
【００３３】
（第２の実施形態）
本実施形態は、動画像を構成するフレームとしての可視化画像間において検出対象人物を追跡し、追跡中の同一の検出対象人物の人物位置から検出される物体について分類処理を実行する例である。以下の説明では、第１の実施形態と同様の構成については説明を省略する。
【００３４】
図５は、第２の実施形態にかかる監視システムの構成の一例を示す図である。図５に示すように、本実施形態にかかる監視システムは、テラヘルツ画像取得部１０１、可視化画像取得部１０２、人物検出部１０３、画像処理部１０４、物体検出部１０５、物体分類部１０６、検出物体データベース１０７、および表示部１０８に加えて、人物追跡部５０１を有する。
【００３５】
人物追跡部５０１は、動画像の可視化画像を構成するフレーム間において、人物検出部１０３により検出される検出対象人物を追跡する。そして、物体分類部１０６は、追跡中の同一の検出対象人物の人物位置から検出された物体について分類処理を実行する。これにより、異なる検出対象人物の人物位置から検出される物体について分類処理が行われることを防止できるので、検出した物体の分類の精度を向上させることができる。その際、物体分類部１０６は、追跡中の同一の検出対象人物の人物位置から検出された物体同士を比較して、当該物体に含まれるノイズの除去、および当該物体に含まれる特徴の統合の少なくとも一方を実行しても良い。
【００３６】
また、物体検出部１０５は、動画像のテラヘルツ画像を構成するフレーム間において、人物位置から、同一の物体を追跡しても良い。この場合、物体分類部１０６は、追跡中の同一の検出対象人物の人物位置から検出された物体のうち、同一の物体として追跡された物体毎に分類処理を実行する。これにより、異なる物体が同一の物体として分類処理が行われることを防止できるので、検出した物体の分類の精度を向上させることができる。具体的には、物体検出部１０５は、フレーム間において物体が検出される矩形領域の移動量が所定量以下でありかつテラヘルツ画像間における矩形領域の類似度が予め設定された類似度以上の物体を、同一の物体として追跡する。
【００３７】
次に、図６を用いて、本実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例について説明する。図６は、第２の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【００３８】
本実施形態では、人物追跡部５０１は、動画像の可視化画像を構成するフレーム間において、人物検出部１０３により検出される検出対象人物を追跡する（ステップＳ６０１）。具体的には、人物追跡部５０１は、フレーム間において検出対象人物が検出される矩形領域の移動量が所定量以下でありかつフレーム間における矩形領域の類似度が予め設定された類似度以上の検出対象人物を、同一の検出対象人物として追跡する。
【００３９】
物体分類部１０６は、同一の検出対象人物の追跡が終了したか否かを判断する（ステップＳ６０２）。同一の検出対象人物の追跡が終了していないと判断した場合（ステップＳ６０２：Ｎｏ）、ステップＳ２０１に戻り、テラヘルツ画像取得部１０１および可視化画像取得部１０２は、テラヘルツ画像および可視化画像の取得を継続する。
【００４０】
一方、同一の検出対象人物の追跡が終了したと判断した場合（ステップＳ６０２：Ｙｅｓ）、物体分類部１０６は、物体検出部１０５によって、検出対象人物が所持する物体が検出されたか否かを判断する（ステップＳ２０５）。そして、検出対象人物が所持する物体が検出された場合（ステップＳ２０５：Ｙｅｓ）、物体分類部１０６は、同一の検出対象人物の人物位置から検出された物体について分類処理を実行する（ステップＳ６０３）。これにより、異なる検出対象人物の人物位置から検出された物体について分類処理が実行されることを防止できるので、テラヘルツ画像から検出された物体の分類処理の精度を向上させることができる。
【００４１】
その際、物体分類部１０６は、同一の検出対象人物の人物位置から検出された物体を比較して（例えば、物体の画像の大きさや形状等を比較して）、当該物体に含まれるノイズの除去、および当該物体に含まれる特徴の統合の少なくとも一方を実行した上で、当該物体について分類処理を実行する。
【００４２】
その際、物体分類部１０６は、同一の物体として追跡された物体を比較しても良い。これにより、異なる物体に基づいて、物体に含まれるノイズの除去、および当該物体に含まれる特徴の統合が実行されることを防止できるので、テラヘルツ画像から検出された物体が所定物体であるか否かを判断する分類処理の精度をさらに、向上させることができる。
【００４３】
このように、第２の実施形態にかかる監視システムによれば、同一の検出対象人物の人物位置から検出された物体について分類処理を実行することにより、異なる検出対象人物の人物位置から検出された物体について分類処理が行われることを防止できるので、テラヘルツ画像から検出された物体の分類処理の精度を向上させることができる。
【００４４】
（第３の実施形態）
本実施形態は、可視化画像に基づいて、検出対象人物が着用する衣類を検出し、当該検出した衣類のポケットの位置を推定し、検出した物体の位置が、人物位置における、推定したポケットの位置以外の不審位置である場合、警報レベルを上げる例である。以下の説明では、上述の実施形態と同様の箇所については説明を省略する。
【００４５】
図７は、第３の実施形態にかかる監視システムの構成の一例を示す図である。図７に示すように、本実施形態にかかる監視システムは、テラヘルツ画像取得部１０１、可視化画像取得部１０２、人物検出部１０３、画像処理部１０４、物体検出部１０５、物体分類部１０６、検出物体データベース１０７、表示部１０８、および人物追跡部５０１に加えて、衣類分類部７０１および衣類データベース７０２を有する。
【００４６】
衣類データベース７０２は、人物が着用する衣類の画像（以下、衣類モデルと言う）と、当該衣類が有するポケットの位置とを対応付けて記憶する。衣類分類部７０１（衣類検出部の一例）は、可視化画像に基づいて、検出対象人物が着用する衣類を検出する。本実施形態では、衣類分類部７０１は、同一の検出対象人物の追跡が終わる度に、当該検出対象人物から、衣類を検出する。また、衣類分類部７０１は、検出した衣類が有するポケットの位置（第３位置の一例）を推定する。本実施形態では、衣類分類部７０１は、衣類データベース７０２において、検出した衣類の衣類モデルと対応付けられたポケットの位置を、当該検出した衣類が有するポケットの位置と推定する。そして、表示部１０８は、検出した物体の位置がポケットの位置以外の位置である場合、警報レベルを上げる。これにより、検出対象人物が意図的に物体を隠している可能性が高い場合に警報レベルを上げることができるので、検出対象人物が所持する物体に応じてより適切な警報レベルを表示することができる。
【００４７】
次に、図８および図９を用いて、本実施形態にかかる監視システムが有するテラヘルツ画像取得部１０１および可視化画像取得部１０２の配置例について説明する。図８は、第３の実施形態にかかる監視システムのテラヘルツ画像取得部および可視化画像取得部の配置位置の一例を上方から見た図である。図９は、第３の実施形態にかかる監視システムのテラヘルツ画像取得部および可視化画像取得部の配置位置の一例を側方から見た図である。
【００４８】
本実施形態では、監視システムは、図８および図９に示すように、テラヘルツ画像取得部１０１および可視化画像取得部１０２をそれぞれ４つ有する。具体的には、監視システムは、図８に示すように、所定位置Ｐを通過する検出対象人物の進行方向において、上流側および下流側それぞれに２つずつテラヘルツ画像取得部１０１および可視化画像取得部１０２を有する。
【００４９】
上流側の２つのテラヘルツ画像取得部１０１は、図８および図９に示すように、所定位置Ｐを挟んで水平方向に離間して設けられ、かつ検出対象人物を正面から見たテラヘルツ画像が取得されるように設けられる。下流側の２つのテラヘルツ画像取得部１０１は、図８および図９に示すように、所定位置Ｐを挟んで水平方向に離間して設けられ、かつ検出対象人物を背面から見たテラヘルツ画像が取得されるように設けられる。
【００５０】
上流側の２つの可視化画像取得部１０２は、図８および図９に示すように、所定位置Ｐを挟んで水平方向に離間して設けられ、かつ検出対象人物を正面から見た可視化画像が取得されるように設けられる。下流側の２つの可視化画像取得部１０２は、図８および図９に示すように、所定位置Ｐを挟んで水平方向に離間して設けられ、かつ検出対象人物を背面から見た可視化画像が取得されるように設けられる。
【００５１】
また、テラヘルツ画像取得部１０１および可視化画像取得部１０２は、所定位置Ｐを通過する検出対象人物の上方に設けられ、検出対象人物の前後に存在する人物によって、テラヘルツ画像および可視化画像に含まれる検出対象人物が隠れ難い角度で設置される。これにより、検出対象人物の全身の画像を含むテラヘルツ画像および可視化画像を取得することが可能となる。
【００５２】
次に、図１０を用いて、本実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例について説明する。図１０は、第３の実施形態にかかる監視システムにおける検出対象人物が所持する物体の分類処理の流れの一例を示すフローチャートである。
【００５３】
本実施形態では、監視システムは、テラヘルツ画像取得部１０１を複数有するため、各テラヘルツ画像取得部１０１により取得される各テラヘルツ画像について、ステップＳ２０２、およびステップＳ２０４に示す処理を並行して実行する。若しくは、監視システムは、上流側の２つのテラヘルツ画像取得部１０１により取得されるテラヘルツ画像の特徴を統合したテラヘルツ画像、または下流側２つのテラヘルツ画像取得部１０１により取得されるテラヘルツ画像の特徴を統合したテラヘルツ画像について、ステップＳ２０２、およびステップＳ２０４に示す処理を実行しても良い。
【００５４】
また、監視システムは、可視化画像取得部１０２を複数有するため、各可視化画像取得部１０２により取得される各可視化画像に対して、ステップＳ２０３、およびステップＳ６０１〜６０２に示す処理を並行して実行する。若しくは、監視システムは、上流側の２つの可視化画像取得部１０２により取得される可視化画像の特徴を統合した可視化画像、または下流側２つの可視化画像取得部１０２により取得される可視化画像の特徴を統合した可視化画像について、ステップＳ２０３、およびステップＳ６０１〜６０２に示す処理を実行しても良い。
【００５５】
本実施形態では、検出対象人物が所持する物体が検出された場合（ステップＳ２０５：Ｙｅｓ）、衣類分類部７０１は、衣類データベース７０２に記憶される衣類モデルを用いて、同一の検出対象人物から、衣類を検出する（ステップＳ１００１）。そして、衣類分類部７０１は、衣類データベース７０２において、検出した衣類の衣類モデルと対応付けられるポケットの位置を、検出した衣類が有するポケットの位置と推定する。次いで、表示部１０８は、検出した物体の位置および推定したポケットの位置に基づいて、警報レベルを表示する（ステップＳ１００２）。
【００５６】
次に、図１１を用いて、本実施形態にかかる監視システムにおける警報レベルを表示する処理の流れの一例について説明する。図１１は、第３の実施形態にかかる監視システムにおける警報レベルを表示する処理の流れの一例を示すフローチャートである。
【００５７】
表示部１０８は、検出した物体の分類の信頼度を取得する（ステップＳ３０１）。本実施形態では、物体分類部１０６は、検出した物体の分類を所定物体の分類だけでなく、スマートフォンや財布などの所定物体以外の物体の分類にも分類するものとする。次いで、表示部１０８は、取得した信頼度が閾値Ｒより大きいか否かを判断する（ステップＳ３０２）。そして、取得した信頼度が閾値Ｒより大きい場合（ステップＳ３０２：Ｙｅｓ）、表示部１０８は、検出した物体が所定物体か否かを判断する（ステップＳ１１０１）。
【００５８】
検出した物体が所定物体である場合（ステップＳ１１０１：Ｙｅｓ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「３」とし、当該警報レベル：「３」を表示する（ステップＳ３０３）。一方、検出した物体が所定物体以外の物体である場合（ステップＳ１１０１：Ｎｏ）、表示部１０８は、警報レベルを表示しない（ステップＳ１１０２）。
【００５９】
また、取得した信頼度が閾値Ｒ以下である場合（ステップＳ３０２：Ｎｏ）、表示部１０８は、人物位置における、検出した物体の位置が、推定したポケットの位置以外の不審位置内か否かを判断する（ステップＳ１１０３）。検出した物体の位置が不審位置外である場合（ステップＳ１１０３：Ｎｏ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「１」とし、当該警報レベル：「１」を表示する（ステップＳ１１０４）。一方、検出した物体の位置が不審位置内である場合（ステップＳ１１０３：Ｙｅｓ）、表示部１０８は、検出した物体の警報レベルを、警報レベル：「２」とし、当該警報レベル：「２」を表示する（ステップＳ１１０５）。これにより、検出対象人物が意図的に物体を隠している可能性が高い場合に警報レベルを上げることができるので、検出対象人物が所持する物体に応じてより適切な警報レベルを表示することができる。また、検出対象人物の入退出を管理する管理者が、警報レベルを判断する必要が無くなるので、警備リソースの省力化を図ることができる。
【００６０】
次に、図１２および図１３を用いて、本実施形態にかかる監視システムによる警報レベルの表示例について説明する。図１２および図１３は、第３の実施形態にかかる監視システムによる警報レベルの表示例を示す図である。
【００６１】
図１２に示すように、表示部１０８は、上流側の可視化画像取得部１０２により取得される可視化画像４０１、ポケット領域画像４０２、上流側のテラヘルツ画像取得部１０１により取得されるテラヘルツ画像４０３、テラヘルツ画像４０３に対してポケット領域画像４０２を重畳した重畳画像１２０１、物体画像４０４、判断結果４０５、分類結果４０６、信頼度４０７、および警報レベル４０８を含む画面を表示する。また、表示部１０８は、下流側の可視化画像取得部１０２により取得される可視化画像４０１、ポケット領域画像４０２、下流側のテラヘルツ画像取得部１０１により取得されるテラヘルツ画像４０３、テラヘルツ画像４０３に対してポケット領域画像４０２を重畳した重畳画像１２０１、物体画像４０４、判断結果４０５、分類結果４０６、信頼度４０７、および警報レベル４０８を含む画面を表示する。
【００６２】
または、図１３に示すように、表示部１０８は、ポケット領域画像４０２に代えて、不審位置を表す不審位置画像１３０１を表示し、かつテラヘルツ画像４０３に対してポケット領域画像４０２を重畳した重畳画像１２０１に代えて、テラヘルツ画像４０３に対して不審位置画像１３０１を重畳した重畳画像１３０２を表示しても良い。
【００６３】
本実施形態では、表示部１０８は、衣類データベース７０２を用いて、検出した衣類が有するポケットの位置を推定しているが、これに限定するものではなく、テラヘルツ画像および可視化画像の少なくとも一方に基づいて、検出した衣類が有するポケットの位置を推定しても良い。
【００６４】
このように、第３の実施形態にかかる監視システムによれば、検出対象人物が意図的に物体を隠している可能性が高い場合に警報レベルを上げることができるので、検出対象人物が所持する物体に応じてより適切な警報レベルを表示することができる。
【００６５】
また、本実施形態にかかる監視システムを複数の地点（所定位置）に設置し、警報レベルが所定の警報レベル（例えば、警報レベル：「２」）以上の警報レベルの検出対象人物を、記憶部に保存しても良い。これにより、各地点の監視システムで検出された検出対象人物と、記憶部に記憶された検出対象人物とを照合することにより、要注意人物を追跡することが可能となる。また、各地点の監視システムで検出された検出対象人物と、記憶部に記憶された検出対象人物との照合に成功した場合、閾値Ｒや警報レベルを上げる処理を行い、要注意人物が所持する物体の分類処理を、一般の検出対象人物が所持する物体の分類処理と異ならせても良い。
【００６６】
以上説明したとおり、第１から第３の実施形態によれば、所定位置において検出対象人物を止めることなく、テラヘルツ画像から、検出対象人物が所持する物体を検出できる。
【００６７】
なお、本実施形態の監視システムで実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。本実施形態の監視システムで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成しても良い。
【００６８】
さらに、本実施形態の監視システムで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の監視システムで実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００６９】
本実施形態の監視システムで実行されるプログラムは、上述した各部（人物検出部１０３、画像処理部１０４、物体検出部１０５、物体分類部１０６、人物追跡部５０１、および衣類分類部７０１）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（Central  Processing  Unit）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、人物検出部１０３、画像処理部１０４、物体検出部１０５、物体分類部１０６、人物追跡部５０１、および衣類分類部７０１が主記憶装置上に生成されるようになっている。
【００７０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７１】
１０１  テラヘルツ画像取得部
１０２  可視化画像取得部
１０３  人物検出部
１０４  画像処理部
１０５  物体検出部
１０６  物体分類部
１０７  検出物体データベース
１０８  表示部
５０１  人物追跡部
７０１  衣類分類部
７０２  衣類データベース
【図１】
2018156586.tif 000003
【図２】
2018156586.tif 000004
【図３】
2018156586.tif 000005
【図４】
2018156586.tif 000006
【図５】
2018156586.tif 000007
【図６】
2018156586.tif 000008
【図７】
2018156586.tif 000009
【図８】
2018156586.tif 000010
【図９】
2018156586.tif 000011
【図１０】
2018156586.tif 000012
【図１１】
2018156586.tif 000013
【図１２】
2018156586.tif 000014
【図１３】
2018156586.tif 000015