(57)【要約】【課題】複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現すること。【解決手段】センサ情報統合システム１０１は、第１の対象物から送信される無線フレームを解析して第１の属性情報を抽出する無線フレーム解析部３３と、第２の対象物が検知された映像を解析して第２の属性情報を抽出する映像解析部４０と、第１の属性情報と第２の属性情報とを用いて、第１の対象物と第２の対象物との対応付けを判定する対応判定部２１と、を備える。
2020090390.tif 000002
【特許請求の範囲】
【請求項１】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析部と、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析部と、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定部と、を備えるセンサ情報統合システム。
【請求項２】
前記対応判定部により対応付け判定した結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合する識別情報統合部を更に備えること請求項１記載のセンサ情報統合システム。
【請求項３】
電波から前記第１の対象物の位置情報を推定する第１の位置推定部と、
映像から前記第２の対象物の位置情報を推定する第２の位置推定部と、を更に備え、
前記対応判定部は、前記第１の対象物の位置情報と前記第２の対象物の位置情報とを更に用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する、請求項１又は２記載のセンサ情報統合システム。
【請求項４】
前記対応判定部により対応付け判定した結果と、前記第１の対象物の位置情報と、前記第２の対象物の位置情報とを用いて、検知対象の位置情報を統合する位置情報統合部を更に備える請求項３記載のセンサ情報統合システム。
【請求項５】
前記対応判定部は、前記第１の属性情報と前記第２の属性情報との類似度を算出する類似度算出部と、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出する距離算出部と、を有する請求項３又は４記載のセンサ情報統合システム。
【請求項６】
前記対応判定部は、前記類似度と前記距離とを、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する重み付け統合部を更に備える請求項５記載のセンサ情報統合システム。
【請求項７】
前記距離算出部により算出される前記距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含むことを特徴とする請求項５又は６記載のセンサ情報統合システム。
【請求項８】
前記第１の属性情報は、前記第１の対象物が搭載された搭載物に関する情報と、前記無線フレームが伝送される通信ノードに関する情報と、前記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至７のうち何れか１項記載のセンサ情報統合システム。
【請求項９】
前記第１の対象物が搭載された搭載物に関する情報は、前記搭載物の種類を示す情報と、前記搭載物の機種名又は製造ベンダに関する情報、前記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む、請求項８記載のセンサ情報統合システム。
【請求項１０】
前記無線フレームが伝送される通信ノードに関する情報は、センサネットワークのハブ局又は端末局に関する情報を含む請求項８又は９記載のセンサ情報統合システム。
【請求項１１】
前記第１の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、請求項８乃至１０のうち何れか１項記載のセンサ情報統合システム。
【請求項１２】
前記第２の属性情報は、前記第２の対象物を識別するための情報と、前記第２の対象物の通信動作に関する情報と、前記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至１１のうち何れか１項記載のセンサ情報統合システム。
【請求項１３】
前記第２の対象物を識別するための情報は、前記第２の対象物の種類を示す情報と人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む、請求項１２記載のセンサ情報統合システム。
【請求項１４】
前記第２の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、請求項１２又は１３記載のセンサ情報統合システム。
【請求項１５】
前記第２の対象物に取り付けられたアンテナの配置に関する情報は、アンテナの伸長又は収納に関する情報を含む、請求項１２乃至１４のうち何れか１項記載のセンサ情報統合システム。
【請求項１６】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含むセンサ情報統合方法。
【請求項１７】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラム。
【請求項１８】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラや電波センサなど複数のセンサにより取得されたセンサ情報を統合するセンサ情報統合システム、センサ情報統合方法、プログラム、及び記録媒体に関する。
【背景技術】
【０００２】
カメラやレーダー、電波センサ、音波センサなどの各種のセンサを用いて、対象物（人も含む）や端末の検知および識別を行い、当該対象物の位置を推定したり追跡したりするシステムが提案されている。【０００３】
また、近年では、各種センサで取得した位置情報や識別情報を統合することで、各々のセンサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能な、複数センサ間の統合連携システム（センサフュージョン）も提案されている。【０００４】
各種センサで検知した対象の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物について、どれとどれが同じ対象物なのかを対応付けること、すなわち対象物同士の対応付け（紐付け、名寄せ、同定、マッチング）が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化することが可能となる。一方で、誤った対応付けが行われると、異なる対象物を１つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム（センサフュージョン）において重要な処理となる。【０００５】
ここで、対応付けのための主要な方法の１つとして、例えば特許文献１乃至３には、各々のセンサで取得した対象の位置推定情報を用いる方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−２８４４４２号公報
【特許文献２】国際公開２００９／１１３２６５号公報
【特許文献３】特開２００６−０６０５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１乃至３に開示された技術のように、各センサで検知した対象物間における距離の情報のみを用いて対応付け可否を判断する場合には、一定のエリア内に複数の対象物が存在すると双方のセンサの位置推定精度等に起因して、誤った対応付けが発生したり、対応付けができなかったりするという問題が生じる。【０００８】
例えば、電波強度に基づいた電波発信源の位置推定精度は、電波センサの設置間隔等に依存し、一例として、数メートル〜十数メートル程度である。また、カメラを用いた映像情報に基づいた対象物の位置推定精度は、カメラから対象物までの距離にも依存することから、一例として、数メートル程度である。また、対応付けの信頼度と対応付けに要する時間との間にはトレードオフの関係が生じうる。このため、上述した技術では、短時間で且つ高信頼な対応付けは困難であるという問題がある。【０００９】
本発明の目的は、複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することである。
【課題を解決するための手段】
【００１０】
本発明の一つの態様に係る情報統合システムは、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析部と、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析部と、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定部と、を備える。【００１１】
本発明の一つの態様に係る情報統合方法は、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含む。【００１２】
本発明の一つの態様に係るプログラムは、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させる。【００１３】
本発明の一つの態様に係る記録媒体は、第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体である。
【発明の効果】
【００１４】
本発明によれば、複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することが可能になる。なお、本発明により、当該効果の代わりに、又は当該効果とともに、他の効果が奏されてもよい。
【図面の簡単な説明】
【００１５】
【図１】図１は、第１の実施形態であるセンサ情報統合システム１００の全体構成を示す図である。
【図２】図２は、対応判定部２１の具体的な構成例を示す図である。
【図３】図３は、物体及びふるまい認識部４３により推定される上記第２の属性情報（ふるまい情報）の例を示す図である。
【図４】図４は、電波探知部３０における無線フレーム解析部３３により推定される上記第１の属性情報(ふるまい情報)の例を示す図である。
【図５】図５は、対応判定部２１における対応付け判定処理の動作シーケンスの例を示す図である。
【図６】図６は、センサＡがカメラを用いた映像解析を行い、センサＢが電波探知を行う場合について、検知対象物の例を示す図である。
【図７】図７は、映像解析部４０により推定された検知対象物Ａ１における各属性との一致度と、電波探知部３０により推定された検知対象物Ｂ１，Ｂ２における各属性との一致度を示す表である。
【図８】図８は、判定処理部７４の処理フローの一例を示す図である。
【図９】図９は、第１の実施形態の適用例を示す図である。
【図１０】図１０は、本実施形態における効果の例を示す図である。
【図１１】図１１は、第２の実施形態であるセンサ情報統合システム１０１の全体構成を示す図である。
【図１２】図１２は、図１１に示した対応判定部２１ｂの構成例を示す図である。
【図１３】図１３は、第２の実施形態の適用例を示す図である。
【図１４】図１４は、第２の実施形態における対応判定部２１ｂの対応付け判定処理の動作シーケンスを示す図である。
【図１５】図１５は、３次元空間にも適用可能に拡張した場合のセンサ統合システムの全体像を示す図である。
【図１６】図１６は、第３の実施形態に係るセンサ情報統合システム１０２の概略的な構成の例を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、添付の図面を参照して本発明の実施形態を詳細に説明する。なお、本明細書及び図面において、同様に説明されることが可能な要素については、同一の符号を付することにより重複説明が省略され得る。
【００１７】
説明は、以下の順序で行われる。
１．本発明の実施形態の概要
２．第１の実施形態
３．第２の実施形態
４．第３の実施形態
５．実施形態の効果
６．他の形態
【００１８】
＜＜１．本発明の実施形態の概要＞＞
まず、本発明の実施形態の概要を説明する。
【００１９】
（１）技術的課題
カメラやレーダー、電波センサ、音波センサなどの各種のセンサを用いて、対象物（人も含む）や端末の検知および識別を行い、当該対象物の位置を推定したり追跡したりするシステムが提案されている。
【００２０】
また、近年では、各種センサで取得した位置情報や識別情報を統合することで、各々のセンサの長所短所を補完して、一部センサにおける死角も含めて対象物を追跡可能な、複数センサ間の統合連携システム（センサフュージョン）も提案されている。
【００２１】
各種センサで検知した対象の位置情報や識別情報を統合して高精度化するためには、それぞれのセンサで検知した対象物について、どれとどれが同じ対象物なのかを対応付けること、すなわち対象物同士の対応付け（紐付け、名寄せ、同定、マッチング）が重要である。対応付けが正しく行われると、当該対象物に関する複数センサ間の情報を統合して高精度化することが可能となる。一方で、誤った対応付けが行われると、異なる対象物を１つの対象物と判断してしまい、誤検知や精度低下の原因となる。したがって、複数センサ間で検知した対象物間における対応付け処理は、複数センサ間の統合連携システム（センサフュージョン）において重要な処理となる。
【００２２】
ここで、対応付けのための主要な方法の１つとして、例えば下記の文献には、各々のセンサで取得した対象の位置推定情報を用いる方法が開示されている。
【００２３】
例えば、特開２００９−２８４４４２号公報には、人物と携帯端末との対応を自動的に認識する装置が開示されている。具体的には、カメラで検知した人物の位置と、電波センサで検知した携帯端末の位置とを比較して、距離が閾値以下の場合に当該人物と携帯端末を対応付ける。これにより、通信端末の有するデータや機能を対応する人物に対して適正に提供することが可能になる。しかしながら、この場合、対応付けのための情報として検知された人物と検知された携帯端末間の距離だけが使用されている。このため、双方のセンサの位置推定精度や対応付け判定用の閾値に依存して、誤対応が発生したり、対応付けができなかったりという問題が生じる。具体的には、比較的小さな閾値を設定した場合には真の対象物が対応付け候補から外れて誤対応する可能性が高くなる。一方、比較的大きな閾値を設定した場合には、複数の対象物が対応付け候補となり、対応付けができない可能性が高くなってしまう。
【００２４】
また、国際公開２００９／１１３２６５号公報には、無線端末との無線通信、および監視対象の撮影画像に基づいて、監視対象の位置を特定するシステムが提案されている。具体的には、双方のセンサの測位精度を比較して起点として探索する対象物を選択したり、探索範囲を設定したりする方法が提案されている。これにより、対象物同士の対応付けを行った上で位置情報を確率的に統合することにより、位置特定精度を向上することができる。しかしながら、この場合も、対応付けを判定するための情報として位置情報のみが使用されている。このため、一定の範囲内に複数の対象物が存在すると、位置推定精度に依存して誤対応が増える、もしくは、対応付けに長時間を要する（なかなか対応付けできない）という問題がある。
【００２５】
さらに、特開２００６−０６０５３２号公報には、ピッチ内にて競技を行う競技者に携帯させた無線タグが発信する電波の電界強度に基づいて各競技者のピッチ内における存在位置が特定されること、中継ソース画像の撮像エリア内に一又は複数の競技者が進入したと判定すると進入した競技者の属性情報を中継ソース画像に合成することが開示されている。この場合、指向性アンテナを複数用いること等により、位置推定精度の向上が可能であるが、上述したように、一定の範囲内に複数の対象物（競技者など）が存在すると区別できないという課題が発生する。
【００２６】
上述した技術のように、各センサで検知した対象物間における距離の情報のみを用いて対応付け可否を判断する場合には、一定のエリア内に複数の対象物が存在すると双方のセンサの位置推定精度等に起因して、誤対応が発生したり対応付けができなかったりするという問題が生じる。
【００２７】
例えば、電波強度をベースにした電波発信源の位置推定精度は、電波センサの設置間隔等に依存し、一例として、数メートル〜十数メートル程度である。また、カメラを用いた映像情報からの対象物の位置推定精度は、カメラから対象までの距離にも依存するため、一例として、数メートル程度である。
【００２８】
したがって、検知対象物である人物や端末が、数メートル以内の範囲に複数存在する場合には、比較的小さな閾値を設定した場合には真の対象物が対応付け候補から外れて誤対応する可能性が高くなる。一方、比較的大きな閾値を設定した場合には、複数の対象物が対応付け候補となり、対応付けが難しくなる可能性が高くなってしまう。さらに、対応付けの信頼度と対応付けに要する時間との間にはトレードオフの関係が生じうる。このため、上述した技術では、短時間で且つ高信頼な対応付けが困難であるという問題がある。
【００２９】
本実施形態の目的は、複数のセンサで検知した対象物同士を対応付けし、個々のセンサで推定した情報を統合する場合において、適切な対応付けを実現することである。より具体的に、本実施形態の目的は、複数のセンサで検知した対象物同士を、短時間で且つ高信頼な対応付けすることを実現することである。
【００３０】
（２）技術的特徴
本発明の実施形態では、例えば、第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出し、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出し、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。
【００３１】
これにより、例えば、複数のセンサで検知した対象物同士を対応付けし、個々のセンサで推定した情報を統合する場合において、適切な対応付けを実現することが可能になる。
【００３２】
また、上記第１の属性情報は、例えば、上記第１の対象物が搭載された搭載物に関する情報と、上記無線フレームが伝送される通信ノードに関する情報と、上記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む。
【００３３】
例えば、上記第１の対象物が搭載された搭載物に関する情報は、上記搭載物の種類（端末、車両、船舶、ＵＡＶなど）を示す情報と、上記搭載物の機種名又は製造ベンダに関する情報、上記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む。また、上記無線フレームが伝送される通信ノードに関する情報は、センサネットワークのハブ局（例えば、ゲートウェイ）又は端末局（例えばセンサ局）に関する情報を含む。上記第１の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む。より具体的な、これらの情報の例については後述する。
【００３４】
また、上記第２の属性情報は、例えば、上記第２の対象物を識別するための情報と、上記第２の対象物の通信動作に関する情報と、上記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む。また、上記第２の対象物を識別するための情報は、人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む。
【００３５】
上記第２の対象物を識別するための情報は、上記第２の対象物の種類を示す情報と人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む。また、上記第２の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む。また、上記第２の対象物に取り付けられたアンテナの配置に関する情報は、アンテナの伸長又は収納に関する情報を含む。より具体的なこれらの情報の例については後述する。
【００３６】
なお、上述した技術的特徴は本発明の実施形態の具体的な一例であり、当然ながら、本発明の実施形態は上述した技術的特徴に限定されない。
【００３７】
本実施形態によれば、受信電波を用いて発信源の位置情報を推定するだけでなく、その周波数、受信電力、フレーム長、ヘッダ、転送頻度などの無線フレーム情報を用いて、発信源の属性情報(ふるまい情報)を推定する。また、カメラからの映像情報を用いた映像解析により、位置情報と属性情報(ふるまい情報)の両方を推定する。そして、両者の位置情報に加えて、両者の属性情報も考慮して対応付けを行い、その対応付けには、両者の推定精度を考慮した重み付けを行うことで、より高信頼に判定する。
【００３８】
すなわち、受信電波の情報を用いて対象のふるまいを推定する無線フレーム解析の結果と、映像を用いて対象の物体やその行動(ふるまい)を推定する映像解析の結果から、同時に起こり得る共起関係を抽出して対応付ける(紐付ける)。
【００３９】
これにより、各々のセンサで検知した対象同士の位置情報(距離情報)だけでなく、対象の属性情報(ふるまい情報)を推定して対応付け判定に用いることで、対応付けの信頼度を向上させることができる。例えば、複数の対象が近傍（一定のエリア内）に存在する場合に、位置情報だけでは各々のセンサの位置推定精度に応じて対応付けの信頼度が低下するが、各々の対象が独立した属性情報(ふるまい情報)を持っている場合、より信頼性の高い対応付けが可能となる。
【００４０】
また、副次的な効果として、センサ情報の統合(紐付け)を高精度にできると、取得した属性情報を相補的に結合および補完できるため、対象の識別性能が合わせて向上する。例えば、侵入禁止区域に立ち入ったのは、「ＵＡＶ操作中の子供である」等と推定できる。または、「ｘ＝３５，ｙ＝４５０地点の車両が、業務グループ（自営網）Ａの自律ネットワークのハブ局である」等と推定できる。
【００４１】
以下では、図１から図１５を参照して、本発明の実施の形態について詳細に説明する。第１の実施形態では、センサ情報統合システムの例として、電波センサからの無線信号を解析する電波探知部、カメラからの映像を解析する映像解析部、電波解析結果と映像解析結果とを統合するセンサフュージョン部の基本構成と特徴、動作について詳説する。
【００４２】
また、第２の実施形態では、各センサからの位置推定の確度情報を用いて対応判定処理に用いる閾値を候補点ごとに算出することにより、候補点ごとに動的に変化する位置推定の信頼度を積極的に対応付け判定に活用する場合の例について説明する。
【００４３】
＜＜２．第１の実施形態＞＞
（１）構成
図１は、第１の実施形態であるセンサ情報統合システム１００の全体構成を示す図である。センサ情報統合システム１００は、電波探知部と映像解析部などの各種センサ解析部を備え、センサフュージョン部により電波解析結果と映像解析結果を対応付けして統合し、位置情報や識別情報を高精度化するセンサ情報統合システムの全体構成を示す図である。
【００４４】
すなわち、センサ情報統合システム１００は、各種センサ解析部（電波探知部３０、映像解析部４０）と、センサフュージョン部２０と、を備える。また、センサ情報統合システム１００は、データ入力手段として、１つまたは複数の電波センサ３１と、１つ以上のカメラ４１を備えてもよい。電波探知部３０は、位置推定部３２と無線フレーム解析部３３とを含む。また、映像解析部４０は、位置推定部４２と、物体及びふるまい認識部４３を含む。なお、センサ情報統合システム１００は、各種センサ解析部として、電波探知部３０や映像解析部４０の他に、各種レーダーやレーザー(Light Detection and Ranging: LiDAR)、音響センサなどで取得した信号を解析する他センサ解析部を含んでもよい。
【００４５】
電波探知部３０は、例えば、複数の電波センサ３１で受信した電波の強度情報を用いて、位置推定部３２にて発信源（第１の対象物）の位置推定を行い、位置推定情報を出力する。ここで、位置推定部３２は、位置推定処理における確度情報（誤差の確率分布や標準偏差等）も算出して出力してもよい。
【００４６】
無線フレーム解析部３３は、上記第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出する。具体的には、無線フレーム解析部３３は、上記第１の対象物からの受信電波の周波数、受信電力、フレーム長、ヘッダ、及び転送頻度などの無線フレーム情報を用いて、発信源（上記第１の対象物）の属性やふるまいを推定し、上記第１の属性情報（ふるまい情報）を出力する。
【００４７】
また、映像解析部４０は、カメラ４１で撮像した第２の対象物の映像情報を用いて、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い、その検知した上記第２の対象物の位置も推定する。具体的には、位置推定部４２は、認識対象（上記第２の対象物）の位置推定処理を行う。なお、位置推定部４２は、位置推定処理における確度情報（誤差の確率分布や標準偏差等）も合わせて出力してもよい。
【００４８】
映像解析部４０（物体及びふるまい認識部４３）は、上記第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出する。具体的に、映像解析部４０（物体及びふるまい認識部４３）は、複数の映像を用いた機械学習や対象物に含まれる特徴解析など、映像解析による物体認識やふるまい認識を行い、認識した対象（上記第２の対象物）の上記第２の属性情報（ふるまい情報）を出力する。
【００４９】
また、センサフュージョン部２０は、対応判定部２１、位置情報統合部２２、及び識別情報統合部２３などを含み、電波探知部３０および映像解析部４０からの位置推定情報、確度情報、識別情報などを統合して位置情報や識別情報を高精度化する。センサフュージョン部２０（対応判定部２１）は、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。言い換えれば、センサフュージョン部２０（対応判定部２１）は、各センサで検知した対象のどれとどれが対応しているかを判定する。そして、センサフュージョン部２０は、対応判定部２１での対応付け結果を基にして、位置情報統合部２２により位置情報を統合し、識別情報統合部２３により識別情報を統合する。換言すれば、位置情報統合部２２は、対応判定部２１により対応付け判定した結果と、上記第１の対象物の位置情報と、上記前記第２の対象物の位置情報とを用いて、検知対象の位置情報を統合する。また、識別情報統合部２３は、対応判定部２１により対応付け判定した結果と、上記第１の属性情報と、上記第２の属性情報とを用いて、検知対象の識別情報を統合する。
【００５０】
また、対応判定部２１は、上記第１の対象物の位置情報と上記第２の対象物の位置情報とを更に用いて、上記第１の対象物と上記第２の対象物との対応付けを判定してもよい。図２は、対応判定部２１の具体的な構成例を示す図である。対応判定部２１は、図２に示すように、類似度算出部７１、距離算出部７２、閾値算出部７３、及び判定処理部７４を備える。
【００５１】
類似度算出部７１は、上記第１の属性情報と上記第２の属性情報との類似度を算出する。言い換えれば、類似度算出部７１は、主に、電波探知部３０や映像解析部４０などの各センサで検知した対象の属性情報(ふるまい情報)を基に、対象同士の属性情報の類似度を算出する。
【００５２】
距離算出部７２は、各センサで推定した対象の位置情報（上記第１の対象物の位置情報および上記第２の対象物の位置情報）を基に、検知した対象同士、すなわち上記第１の対象物と上記第２の対象物との間の距離を算出する。
【００５３】
閾値算出部７３は、各センサからの位置推定の確度情報を用いて対応判定処理に用いる閾値を算出する。言い換えれば、閾値算出部７３は、上記第１の対象物の位置情報と上記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて対応判定処理に用いる閾値を算出する。
【００５４】
判定処理部７４は、類似度算出部７１で求めた各対象同士の類似度と、距離算出部７２で求めた各対象同士の距離と、閾値算出部７３で算出した閾値とを用いて対応付け可否を判定する。
【００５５】
（２）動作
次に、第１の実施形態に係るセンサ情報統合システム１００の動作について、図１から図９を参照して説明する。
【００５６】
まず、図１に示したように、電波探知部３０や映像解析部４０などの各種センサ解析部にて、対象物（上記第１の対象物、上記第２の対象物）の検知、識別、及び当該対象物の位置推定処理を行う。例えば、電波探知部３０は、複数の電波センサ３１で受信した電波情報により特定の発信源（上記第１の対象物）を検知し、位置推定部３２により受信電波の強度情報や到来時間差情報等を用いて当該発信源（上記第１の対象物）の位置を推定する。また、無線フレーム解析部３３は、受信電波の周波数、受信電力、フレーム長、ヘッダ、転送頻度などの無線フレーム情報を用いて、発信源（上記第１の対象物）の属性やふるまいを推定し、上記第１の属性情報(ふるまい情報)として出力する。
【００５７】
また、映像解析部４０は、カメラ４１で撮像した映像情報を用いて、顔認証や人物認識、物体認識や移動体検知などの映像解析処理を行い、位置推定部４２により認識対象（上記第２の対象物）の位置座標を推定する。また、物体及びふるまい認識部４３は、映像解析による物体認識やふるまい認識を行い、認識対象（上記第２の対象物）の上記第２の属性情報（ふるまい情報）を出力する。
【００５８】
なお、電波探知部３０や映像解析部４０における対象の位置推定処理の際に、位置推定部３２、４２にて位置推定の確度情報を計算してもよい。確度情報の例としては、位置推定尤度の確率分布（２次元のガウス分布、等方的なガウス分布、正規分布など）とその標準偏差や分散などが相当する。
【００５９】
図３は、物体及びふるまい認識部４３により推定される上記第２の属性情報（ふるまい情報）の例を示す図である。物体及びふるまい認識部４３は、種々の映像解析エンジンを用いて映像から物体や人物等のふるまい情報を識別する。映像解析エンジンとしては、例えば、機械学習を用いた認識エンジン等を用いることができる。図３の例では、認識対象として、ＵＡＶ（Unmanned Aerial Vehicle）（ドローン）、車両、人物（通話中の人物、端末操作中の人物、待受中の人物）等が識別される。ＵＡＶ、車両、人物（通話中、操作中、待受中）等を認識および識別する動作に関し、撮影された多数の画像や映像は、事前に機械学習等を用いた認識エンジンに学習される。ここで、人物のふるまいに関し、耳の付近に手を挙げている人物を「通話中人物」として学習させ、胸や腰の前あたりに何らかの端末等を持っている人物を「操作中人物」として学習させ、それ以外の人物を「待受中人物」として学習させて分類することが想定される。そして、ＵＡＶ、車両、通話中人物、操作中人物、待受中人物、などの認識結果（分類結果、各々の認識対象である確率、一致度など）が上記第２の属性情報(ふるまい情報)として出力される。
【００６０】
図４は、電波探知部３０における無線フレーム解析部３３により推定される上記第１の属性情報(ふるまい情報)の例を示す図である。具体的に、図４は、上記第１の属性情報(ふるまい情報)の例として、ＵＡＶのＵＬ(Uplink, 上り制御チャネル)、ＵＡＶのＤＬ(Downlink,  下りデータチャネル)、携帯端末の待受中、携帯端末の操作中、携帯端末の通話中、の各状態で当該無線機から送信される電波の特徴に関して、縦軸を周波数、横軸を時間として模式的に無線信号情報をプロットしたものである。例えば、図４（ａ）に示すように、ＵＡＶのＵＬ（上りの制御信号伝送）では、一般的にFrequency Hopping方式（ＦＨ）による通信方式が用いられるため、時間と共に電波の周波数帯がHoppingするような無線信号となる。図４（ｂ）に示すように、ＵＡＶのＤＬ（下りのデータ信号伝送）では、主にＵＡＶ上のカメラ映像データが連続的に伝送されるため、ある周波数帯域を占有するような無線信号となる。図４（ｃ）に示すように、携帯端末の待受中では、比較的長時間の時間間隔（例：３０秒〜数分など）ごとに通信するような無線信号となる。これは、例えばＷｉ−Ｆｉではプローブリクエストの送信間隔に対応し、ＬＴＥ等のセルラでは、バックグラウンド通信や位置登録更新の送信間隔に対応する。図４（ｄ）に示すように、携帯端末の操作中では、比較的短時間の時間間隔（例：数秒〜十数秒など）ごとに通信するような無線信号となる。これは、例えば、Ｗｉ−Ｆｉでは端末操作中にプローブリクエストの頻度が待受中に比べて増加することや、ＬＴＥ等のセルラではＷｅｂアクセスやＳＮＳ等の通信が発生することに対応する。図４（ｅ）に示すように、携帯端末の通信中では、音声通信に対応するプロトコルに沿った無線信号となる。言い換えれば、ある周波数帯域をほぼ占有し、一定の伝送レートで通信するような無線信号となる。
【００６１】
そこで、無線フレーム解析部３３は、受信した無線信号フレームを解析することにより、これらのＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などを識別する。例えば、機械学習を用いた信号解析エンジンを用いたり、ＵＡＶや携帯端末における通信方式（周波数帯や通信プロトコル）と上記ふるまいとを区別するための転送間隔の情報を用いたりして、解析的に分類してもよい。前者の機械学習に基づいた解析エンジンが用いられる場合には、受信電波の信号特徴量（受信電力、受信周波数、パケット長、パケット数、転送間隔、など）と、それに対応する正解データ、すなわち、分類対象であるＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などの各属性(ふるまい)に関する情報とを組みにして、沢山のデータを入力して事前に学習させることで、分類する手法が想定される。また、後者の解析的に分類する場合には、電波を受信した際に上記の信号特徴量を抽出してテーブル引きしたり、相関を計算して閾値判定したりすることにより、各属性情報(ふるまい情報)のいずれが妥当かを推定する手法が想定される。そして、ＵＡＶ(UL)、ＵＡＶ(DL)、携帯端末(待受中)、携帯端末(操作中)、携帯端末(通話中)などの識別結果（分類結果、各々の属性対象である確率、一致度など）が上記第１の属性情報(ふるまい情報)として出力される。
【００６２】
次に、センサフュージョン部２０は、電波探知部３０や映像解析部４０などの各種センサ解析部から出力される属性情報と位置推定情報を用いて、まず、対応判定部２１により、各種センサで検知した対象のどれとどれが対応しているかの対応付け判定（同定判定、紐付け判定）を行う。そして、対応判定部２１による対応付け判定によって複数のセンサ解析部により検知された対象同士が同一（対応している）と判定された場合は、位置情報統合部２２により各センサ解析部からの当該対象の位置推定情報を統合化することで対象位置を高精度化する。また、同様に、識別情報統合部２３により各センサ解析部からの当該対象の属性情報や識別情報等を統合化することで対象の識別情報を高精度化する。
【００６３】
センサフュージョン部２０における対応判定部２１の動作詳細について、図２から図９を用いて説明する。図５は、対応判定部２１における対応付け判定処理の動作シーケンスの例を示す図である。また、図６は、センサＡがカメラを用いた映像解析を行い、センサＢが電波探知を行う場合について、検知対象物の例を示す図である。ここで、センサＡ（例：映像解析部４０）の検知対象物Ａ１に対してセンサＢ（例：電波探知部３０）の検知対象物Ｂ１，Ｂ２のどれが対応するかを判定する場合を例として説明する。
【００６４】
まず、映像解析部４０と電波探知部３０の双方にて検知した対象群の中で、映像解析部４０にて検知した対象物（上記第２の対象物）に対して、電波探知部３０で検知したどの対象物（上記第１の対象物）が対応付け候補になり得るかを選択する（Ｓ０：対応付け候補選択)。選択基準として、各カメラ４１の撮像位置と各電波センサ３１の信号取得範囲などから可能性のあるものが選択される。例えば、図６に示す例では、映像解析による検知対象物Ａ１に対して、電波探知による検知対象として、その撮像範囲に入る検知対象物Ｂ１，Ｂ２が選択される。なお、双方で検知した全ての対象同士を対応付け候補としても、演算量等の観点で特に問題なければ、本処理が省略されてもよい。
【００６５】
次に、距離算出部７２は、センサ間における検知対象同士の距離を計算する（Ｓ２ａ：距離計算）。具体的には、センサＡ（映像解析部４０）で検知された検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知された検知対象物Ｂ１,Ｂ２のいずれが対応するか、またはいずれも対応しないか対応付け判定するための距離計算を行う。距離計算の例を、図６（ｂ）に示す。距離の計算は、一般的には各対象同士の間のユークリッド距離を計算するなどの手法が用いられる。
【００６６】
ここで、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、算出した距離が時間平均化されてもよい（Ｓ２ｂ：距離計算（時間平均化））。ここで、時間平均化処理は、例えば、図６に示す例を想定すると、Ａ１−Ｂ１間の距離、及びＡ１−Ｂ２間の距離に関して、それぞれ位置推定結果を入力して距離を計算する度に時間平均処理が行われる。また、センサＡやセンサＢで位置推定が行われる度に確度情報（標準偏差や分散等の値）が動的に変化する場合は、その標準偏差の値などを用いて時間ごとに重み付けして時間平均化が行われてもよい。これにより信頼度を高めることが可能になる。
【００６７】
次に、閾値算出部７３は、電波探知部３０や映像解析部４０などの各種センサからの確度情報を用いて、後述する対応判定処理に用いる閾値を算出する（Ｓ３ａ：閾値計算）。ここで、図５に示す例では、閾値算出処理が距離算出処理と並行して実施される動作シーケンスであるが、これに限らず、例えば距離算出処理後に閾値算出を行う動作シーケンスであってもよい。例えば、図６に示す例では、検知対象物Ａ１への対応付け候補として、検知対象物Ｂ２が候補点となる。そして、閾値算出部７３は、検知対象物Ｂ２の検知対象物Ａ１への対応付け可否を判定するために、例えば、検知対象物Ａ１から閾値範囲の領域の中に検知対象物Ｂ２だけが含まれれば対応付け可とするように、閾値を決定する。例としては、映像解析部４０からの位置推定の確度情報(標準偏差)と、電波探知部３０からの位置推定の確度情報(標準偏差)の和を、閾値として算出できる。なお、閾値算出部７３においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、算出した閾値を時間平均化してもよい。
【００６８】
次に、類似度算出部７１における属性(ふるまい)類似度の算出処理について説明する。具体的には、センサＡ（映像解析部４０）で検知した検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知した各対応付け候補の検知対象物Ｂ１,Ｂ２の属性類似度を計算する（Ｓ１ａ：類似度計算）。図７は、映像解析部４０により推定された検知対象物Ａ１における各属性との一致度と、電波探知部３０により推定された検知対象物Ｂ１，Ｂ２における各属性との一致度を示す表である。例えば、１．０は一致度１００％と推定されたことを意味し、０．０は一致度０％と推定されたことを意味している。類似度算出部７１により行われる属性類似度の計算としては、例えば、各々の属性一致度の積で求められることができる。図７の例では、検知対象物Ａ１と検知対象物Ｂ１の属性類似度は、属性「人物(待受中)」において最大で０．２７（０．３×０．９）、検知対象物Ａ１と検知対象物Ｂ２の属性類似度は、属性「人物(通話中)」において最大で０．７２（０．８×０．９）である。
【００６９】
ここで、属性類似度の算出処理においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、距離算出処理と同様に、算出した各々の類似度が時間平均化されてもよい（Ｓ１Ｂ：類似度計算（平均化））。
【００７０】
最後に、判定処理部７４において対応判定処理が行われる。まず、距離算出部７２で算出された各対象同士の距離と、閾値算出部７３で算出された閾値を用いて対応付け可否を判定する（Ｓ４ａ：距離判定処理）。次に、距離による判定処理で対応付けできなかった場合に、類似度算出部７１で算出された属性類似度情報を用いて対応付け可否を判定する（Ｓ４Ｂ：対応判定処理）。
【００７１】
図８は、判定処理部７４の処理フローの一例を示す図である。まず、前述したように、センサＡ（映像解析部４０）で検知された検知対象物Ａ１に対して、センサＢ（電波探知部３０）で検知された検知対象物Ｂ１，Ｂ２などの対応付け判定が行われる場合、距離が最小である対象を候補点とし、それ以外の全ての候補対象を対抗点とする。例えば、図６に示す例では、検知対象物Ｂ２が候補点となり、検知対象物Ｂ１が対抗点となる。次に、検知対象物Ｂ２と検知対象物Ａ１との間の距離ＤＡ１Ｂ２と、閾値ＤＴＨとの比較を行い、候補点の距離の判定条件として、ＤＡ１Ｂ２≦ＤＴＨを満たすかどうか（候補対象Ｂ２が閾値以内の領域に存在するか）が判定される（Ｓ４ａ）。また、同様に、検知対象物Ｂ１と検知対象物Ａ１との間の距離ＤＡ１Ｂ１と、閾値ＤＴＨとの比較を行い、他の対抗点との距離の判定条件として、ＤＡ１Ｂ１＞ＤＴＨを満たすか（全ての検知対象物Ｂ１が閾値以内の領域には１つも存在しないか）を判定する（Ｓ４ｂ）。そして、本実施形態では、双方の判定条件を両方とも満足する場合に、候補対象Ｂ２を対象Ａ１と同一（対応している）として対応付け判定結果が出力される（Ｓ４ｃ）。
【００７２】
一方、最初の候補対象Ｂ２における閾値判定で判定条件を満足しない場合には、対応付け不可として、次の位置推定結果が得られるタイミングで対応付け判定を再度繰り返す（Ｓ４ｄ）。
【００７３】
更に、最初の候補対象である検知対象物Ｂ２における閾値判定（Ｓ４ａ）では判定条件を満足し、次の他の対抗である検知対象物Ｂ１における閾値判定（Ｓ４ｂ）では判定条件を満足しない場合、すなわち、閾値以内の領域に複数の候補点および対抗点が存在する場合にのみ、属性類似度を用いた対応付け判定（Ｓ４ｅ）が行われる。属性類似度を用いた対応付け判定では、例えば、候補対象Ｂである検知対象物Ｂ２の属性類似度が０．５以上であり（属性が似ていると判定され）、閾値以内に存在する他の全ての対抗対象である検知対象物Ｂ１の属性類似度が０．３未満（属性が似ていないと判定）であるか否かを判定する（Ｓ４ｅ）。本条件を満足する場合には、候補対象Ｂ２を対象Ａ１と同一（対応している）として対応付け判定結果（Ｓ４ｃ）が出力される。一方で、本条件を満足しない場合には、対応付け不可（対応付け候補を１つに絞り切れない）として、次の位置推定結果や属性推定結果が得られるタイミングで対応付け判定を再度繰り返す（Ｓ４ｄ）。例えば、図７に示す例では、Ａ１とＢ２の属性類似度は、属性「人物(通話中)」において０．７２（０．５以上）であり、Ａ１とＢ１の属性類似度は、属性「人物(待受中)」において０．２７（０．３未満）であるため、図８における上記条件を満たし、検知対象物Ｂ２は検知対象物Ａ１と対応付け可能として出力される。
【００７４】
また、センサフュージョン部２０は、上述したように、対応判定部２１により電波探知部３０や映像解析部４０等の各種センサで検知した対象同士が対応している（同一）と判定された場合、位置情報統合部２２により各センサ解析部からの当該対象の位置推定情報を統合化することで当該対象の位置を高精度化する。位置推定情報の統合方法としては、例えば、電波探知部３０や映像解析部４０から出力される当該対象の位置推定の確度情報（確率分布や標準偏差等）を基に、その信頼度を尤度として双方の確率分布を結合する結合確率分布を用いて統合する方法が用いられる。または、電波探知部３０や映像解析部４０から出力される位置推定結果に対して、各々の確度情報（標準偏差や分散等）を基にその信頼度で重み付けして平均化（加重平均）する方法が用いられてもよい。
【００７５】
更に、同様の手法にて、識別情報統合部２３により各センサ解析部からの当該対象の識別情報や属性情報を統合化することで対象の識別情報が高精度化される。例えば、図７に示す例では、対応判定部２１は、検知対象物Ｂ２が検知対象物Ａ１と対応付けられ、属性「人物(通話中)」において最大の属性類似度０．７２として出力される。すなわち、識別情報統合部２３でも、検知対象物Ａ１及びＢ２が同一であり、通話中の人物である可能性が高いものとして出力することができる。また、図７に示す例において、映像解析部４０からは検知対象物Ａ１が人物であり通話中や操作中である可能性が高いという情報が入力され、電波探知部３０からは検知対象物Ｂ２が通話中の人物または映像伝送中のＵＡＶである可能性が高いと入力される。識別情報統合部２３は、これらの情報を類似度算出部７１と同様の処理により、一致度の結合確率（積）を求めることで、属性情報の統合結果として、「通話中の人物」(確率０．７２＝７２％)として出力してもよい。
【００７６】
図９は、第１の実施形態の適用例を示す図である。これは、公共エリア等を通過したり待ち合わせしたりしている人物に関し、映像解析と電波探知による属性やふるまい情報を用いて統合や追跡精度を向上させる場合の例である。
【００７７】
電波探知部３０における無線フレーム解析部３３は、図１や図４を用いて説明した無線フレーム解析部３３の処理に加えて、無線機の機種として、端末（スマートフォン、携帯端末、ＩｏＴ端末、ＵＥ等)なのか、ＡＰ(アクセスポイント、基地局、モバイルルータ等)なのかを判定する。これは、例えばＷｉ−Ｆｉ信号であれば無線フレームを解析し、Ｐｒｏｂｅ  Ｒｅｑｕｅｓｔフレーム等であれば発信源が端末であると属性判定可能であり、ビーコンやＰｒｏｂｅ  Ｒｅｓｐｏｎｓｅフレーム等であれば発信源がＡＰであると属性判定可能である。なお、ＬＴＥの場合は、ＦＤＤなら周波数帯などから上り通信（端末側）、下り通信（基地局側）の属性判定が可能である。更に、端末の場合、無線フレーム内にあるＭＡＣアドレスの前半部分ＯＵＩ（Organizationally Unique Identifier）コード等から製品ベンダを、機種によっては後半部分から機種名等を解析することで、子供向け携帯なのか老人向け携帯なのか、なども推定することができる。また、ふるまい情報としては、その機種の製品ベンダのＯＵＩ登録国が販売国と一致すれば、居住国や渡航国に関係する情報を推定することもできる。また、Ｗｉ−Ｆｉの場合、端末からのＰｒｏｂｅ  Ｒｅｑｕｅｓｔフレーム内に過去に接続したＡＰのＳＳＩＤ名が含まれることがあるため、そのＡＰの設置国がわかれば、同様に居住国や渡航国に相当する情報を推定できる可能性がある。
【００７８】
人物及びふるまい認識部４３ｂは、図１や図３を用いて説明した物体及びふるまい認識部４３の処理に加えて、人物の年齢や性別推定エンジン等を映像解析エンジンとして用いて、検知した人物の年齢や性別、自国民と外国人のいずれの可能性が高いか、等を推定する。
【００７９】
そして、センサ情報統合部（センサフュージョン部２０）は、図２における対応判定部２１により、図５から図８を用いて説明した対応判定処理によって各対象同士の対応付け判定を行った後、属性情報統合部２３ａや位置情報統合部２２でセンサ情報を統合および高精度化する。
【００８０】
類似度算出部７１や、属性情報統合部２３ａでは、図１や図７を用いて説明した各々の属性情報に加え、検知した人物の年齢属性（子供か老人かその他か）や、端末かＡＰかの機種属性、自国民か外国人かの渡航国情報なども、属性(ふるまい)情報として利用可能である。すなわち、類似度算出部７１は、紐付けのための属性類似度として上記追加の属性情報を利用可能である。属性情報統合部２３ａは、上記追加の属性情報も含めて、映像解析部４０からの上記第２の属性情報と電波探知部３０からの上記第１の属性情報との統合確率として、いずれの属性（ふるまい）である確率が高いか、などを出力可能である。
【００８１】
図１０は、本実施形態における効果の例を示す図である。上述したように、本実施形態では、電波探知部３０や映像解析部４０等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加し、各対象同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となる。具体的には、電波探知部３０に無線端末等の属性（ふるまい）を推定する無線フレーム解析部３３を備える。映像解析部４０には人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部４３を備える。センサフュージョン部２０は、類似度算出部７１にて各々の対象間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、図１０（ａ）に示すように、位置情報だけでは各対象同士が近傍に存在してその時点では対応付けできないケースにおいても、図１０（ｂ）に示すように、属性類似度の情報を用いることで高信頼に対応付け可能と判定することができる。
【００８２】
また、副次的な効果として、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完することができる。これにより、対象の識別性能も向上することができる。具体的には、識別情報統合部２３にて、映像解析と電波探知による個々の様々な属性情報（ふるまい情報）を高精度に統合できるため、例えば、検出したのは「ＵＡＶ操縦中の子供である」等と推定することができる。
【００８３】
＜＜３．第２の実施形態＞＞
次に、第２の実施形態であるセンサ情報統合システムについて説明する。このセンサ情報統合システムは、対応判定部において、各センサから推定して入力される位置情報と属性(ふるまい)情報の信頼度とから各々の重み付け係数を算出し、重み付けした距離情報と属性類似度情報を統合した値を対応付け判定に用いる。
【００８４】
（１）構成
図１１は、第２の実施形態であるセンサ情報統合システム１０１の全体構成を示す図である。第２の実施形態におけるセンサ情報統合システム１０１は、第１の実施形態と同様に、各種センサ解析部（電波探知部３０、映像解析部４０）とセンサフュージョン部２０とを備える。また、センサ情報統合システム１０１は、上述した第１の実施形態と同様に、データ入力手段として、１つまたは複数の電波センサ３１と、１つ以上のカメラ４１を備えてもよい。電波探知部３０は、位置推定部３２と無線フレーム解析部３３ｂとを含む。また、映像解析部４０は、位置推定部４２と物体及びふるまい認識部４３ｂとを含む。なお、センサ情報統合システム１０１は、各種センサ解析部として、アクティブレーダーや各種レーザー（ＬｉＤＡＲ）、音響センサなどの解析部を備えてもよい。
【００８５】
また、センサフュージョン部２０は、各種センサ解析部（電波探知部３０、映像解析部４０）からの位置推定情報、確度情報、属性(ふるまい)情報などを統合して高精度化する。このため、センサフュージョン部２０は、対応判定部２１ｂ、位置情報統合部２２、識別情報統合部２３ｂ等を含む。
【００８６】
図１２は、図１１に示した対応判定部２１ｂの構成例を示す図である。対応判定部２１ｂは、類似度算出部７１、距離算出部７２、判定処理部７４ｂを備え、更に、第２の実施形態に特有の構成として、重み付け統合部７５を備える。
【００８７】
重み付け統合部７５は、類似度算出部７１により算出された類似度と距離算出部７２により算出された距離とを、上記第１の対象物の位置情報と上記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する。具体的に、重み付け統合部７５は、類似度算出部７１により算出された各対象物同士の類似度と、距離算出部７２により算出された各対象物同士の距離を、それぞれ規格化した上で、位置推定の確度情報等から重み付けして統合する処理を行う。そして、判定処理部７４は、統合された一致度情報に基づいた対応付け判定を行う。ここで、重み付け統合部７５は、電波探知と映像解析の位置情報の確度情報のみが入力される場合に限らず、各々の属性情報の確度情報も合わせて入力され、これらの情報を用いて上記重み付けを行うようにしてもよい。
【００８８】
（２）動作
第２の実施の形態の動作について図１１から図１４を参照して説明する。
【００８９】
図１３は、第２の実施形態の適用例を示す図である。これは、警察や消防、防災、防衛向け等の自営の業務無線ネットワークの運用に関し、映像解析と電波探知による属性情報（ふるまい情報）を用いて、業務無線ネットワークの構成や業務員の行動調査、異常を検知する場合の例を示す図である。
【００９０】
第２の実施形態の動作としては、図１１に示したように、まず、電波探知部３０や映像解析部４０などの各種センサ解析部にて、対象物（上記第１の対象物、上記第２の対象物）の検知、識別や、当該対象物の位置推定処理を行う。例えば、電波探知部３０において、無線フレーム解析部３３ｂは、無線発信機の属性（ふるまい）情報を解析する。また、映像解析部４０において、物体及びふるまい認識部４３ｂは、対象物の映像上での物体認識やふるまい推定を行う。なお、各々のセンサ解析部における対象物の位置推定処理の際に、位置推定部３２、４２により位置推定の確度情報を計算してもよい。確度情報の例としては、位置推定確率の標準偏差や分散などが用いられる。
【００９１】
第２の実施形態における無線フレーム解析部３３ｂに特有の動作について説明する。図１３に示したように、無線フレーム解析部３３ｂは、図１や図４を用いて説明した無線フレーム解析部３３の携帯端末とＵＡＶ等を識別するような処理に加えて、送信電力や伝送パケット数等の違いから、携帯端末と車両端末、センサ局とハブ局（ゲートウェイ）等を識別する処理を行う。このような処理は、車両端末が、センサネットワークの中で、ゲートウェイやハブ局の役割を担うことが多いことに着目したものである。具体的には、車両端末の場合、一般的には電源確保が容易であるため、携帯端末（センサ局）に比べて高い送信電力で信号出力される傾向にある。加えて、ハブ局（ゲートウェイ）の場合、携帯端末（センサ局）単体に比べて多くのパケット数が出力される傾向にある。例えば、無線フレーム解析部３３と同様の方法にてこれらの無線フレームを事前学習または解析的に処理することで、センサ局やハブ局などを分類することができる。無線フレーム解析部３３ｂは、第１の実施形態と同様、これらの識別結果（分類結果、各々の属性対象である確率、一致度など）を上記第１の属性情報(ふるまい情報)として出力する。
【００９２】
第２の実施形態における物体及びふるまい認識部４３ｂに特有の動作について説明する。物体及びふるまい認識部４３ｂは、図１や図３を用いて説明した物体及びふるまい認識部４３の処理を拡張し、人物やＵＡＶだけでなく、車両、船舶等も識別する処理を行う。例えば、物体及びふるまい認識部４３ｂは、物体及びふるまい認識部４３と同様に、例えば、これらの画像を事前に機械学習等を用いた認識エンジン等で学習することや、これらの画像上の対象物に含まれる特徴を解析することで、車両、船舶等を分類することができる。また、物体及びふるまい認識部４３ｂは、車両や船舶のふるまいとして、アンテナの伸長及び／又は収納状況を映像解析により分類してもよい。車両や船舶がアンテナを伸長していれば無線通信中である可能性が高く、収納中であれば無線通信中でない可能性が高いことに着目したものである。一般に、ハブ局やゲートウェイであれば周囲から見てわかるような高いアンテナが設置される可能性がある。物体及びふるまい認識部４３ｂは、認識結果（分類結果、各々の認識対象である確率、一致度など）を上記第２の属性情報(ふるまい情報)として出力する。
【００９３】
次に、センサフュージョン部２０は、電波探知部３０や映像解析部４０などの各種センサ解析部から出力される属性情報（ふるまい情報）と位置情報（確度情報）を用いて、まず、対応判定部２１ｂにより、各種センサで検知した対象物のどれとどれが対応しているかの対応付け判定（同定判定、紐付け判定）を行う。そして、センサフュージョン部２０は、対応判定部２１による対応付け判定によって複数のセンサ解析部にて検知した対象物が同一（対応している）と判定した場合は、位置情報統合部２２により、各センサ解析部からの当該対象物の位置推定情報を統合化することで対象物の位置情報を高精度化する。また、同様に、センサフュージョン部２０は、識別情報統合部２３ｂにより、各センサ解析部からの当該対象物の識別情報や属性情報を統合化することで対象物の識別情報を高精度化する。
【００９４】
センサフュージョン部２０における対応判定部２１ｂの動作詳細について、図１１から図１４を参照して説明する。図１４は、第２の実施形態における対応判定部２１ｂの対応付け判定処理の動作シーケンスを示す図である。図１４に示す例では、第１の実施形態と同様、センサＡ（例：映像解析部４０)の検知対象物Ａ１に対してセンサＢ（例：電波探知部３０）の検知対象物Ｂ１、Ｂ２のどれが対応するかを判定する場合を例として説明する。
【００９５】
まず、第１の実施形態と同様、必要に応じて、映像解析部４０により検知された対象物に対して、電波探知部３０により検知されたどの対象物が対応付け候補になり得るかが選択される（Ｓ１０：対応付け候補選択)。そして、第１の実施形態と同様、距離算出部７２により、各センサで検知した対象物同士間における距離が計算される（Ｓ１２ａ：距離計算）。ここで、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮し、算出した距離が時間平均化されてもよい（Ｓ１２ｂ：距離計算（平均化））。
【００９６】
また、第１の実施形態と同様、類似度算出部７１により、属性(ふるまい)情報の類似度の算出処理が行われる（Ｓ１１ａ：類似度計算）。具体的には、センサＡ（映像解析部４０）により検知された対象物に対して、センサＢ（電波探知部３０）により検知された各対応付け候補対象物の属性類似度が計算される。ここで、属性類似度の算出処理においても、後述する対応判定処理にて対応付けの条件を満足せず対応判定処理を繰り返す場合を考慮して、距離算出処理と同様に、算出した各々の類似度が時間平均化されてもよい（Ｓ１１ｂ：類似度計算（平均化））。
【００９７】
次に、第２の実施形態に特有の処理として、重み付け統合部７５により、距離算出部７２により算出された検知対象物間の距離情報と、類似度算出部７１により算出された検知対象物間の属性類似度の情報を、正規化（規格化）した上で、重み付けして統合する処理が行われる。まず、検知対象物間の距離情報と、検知対象物間の属性類似度の情報が、それぞれ正規化（規格化）される（Ｓ１３ａ：正規化（規格化）処理）。例えば、属性類似度が、各属性(ふるまい)への一致度として０．０〜１．０の範囲（０．０以上１．０以下）で出力される場合は、そのままで正規化（規格化）されるため、そのままの値が正規化した属性類似度として出力される。一方で、距離情報は、値が小さい方が近距離であるため一致度が高いこと、値が大きい方が離れているため一致度が低いことをそれぞれ意味する。このため、例えば、電波探知部３０の位置推定の確度情報（標準偏差×３）の平均値をα（α＝３σ）として、距離情報の一致度βを、β＝｛（α−算出した距離)／α｝としてそれぞれ規格化されて出力される。これにより、算出された距離が短い（０に近い）場合の一致度βは１に近づき、距離が長い（標準偏差×３に近い）場合の一致度βは０に近づく。
【００９８】
そして、規格化された距離の一致度βと、正規化された属性類似度のそれぞれが重み付けされて統合される（Ｓ１３ｂ：重み付け統合処理）。例えば、統合は次の式のように行われる。｛重み付け統合した一致度｝＝γ×（規格化した距離の一致度β）＋（１−γ）×（正規化した属性類似度）。規格化された距離の一致度βと正規化された属性類似度が同じ重みで統合される場合は、γ＝０．５として計算される。また、位置推定の確度情報や動作環境から、距離情報の信頼度が属性類似度に比べて高い場合はγの値を０．５より大きく１に近づけ、距離情報の信頼度が属性類似度に比べて低い場合はγの値を０．５より小さく０に近づける。これにより、位置推定と属性(ふるまい)推定の確度情報に基づいて、各々の一致度および類似度が重み付けされた上で統合される。ここで、重み付け統合部７５は、属性情報の確度情報が一定であると仮定して、電波探知と映像解析の位置情報の確度情報のみが入力されて重み付け係数γを相対的に計算しているがこれに限定されるものではない。つまり、重み付け統合部７５は、各々の属性情報の確度情報も合わせて入力され、これらの情報を用いて重み付け係数γを算出してもよい。
【００９９】
最後に、判定処理部７４ｂにより、重み付け統合された一致度情報に基づいて、対応付け判定が行われる。例えば、センサＡ（映像解析部４０）により検知された対象物Ａ１に対して、センサＢ（電波探知部３０）により検知された全ての対応付け候補となる対象物Ｂ１、Ｂ２などのうち、重み付け統合された一致度が最大の値を持つ対象物Ｂ２を候補点とし、それ以外の全ての対象物Ｂ１などを対抗点とする。そして、例えば、候補点の統合一致度が０．７以上であり、他の全ての対抗点の統合一致度が０．３未満の場合に、候補点Ｂ２が対応付け可能として出力される。一方で、上記条件を満たさない場合、すなわち、候補点の統合一致度が０．７未満である場合、または、他のいずれかの対抗点の統合一致度が０．３以上である場合は、対応付け不可として、検知された対象物の情報が更新された際に、再度、対応判定部２１ｂの処理が繰り返される。
【０１００】
また、センサフュージョン部２０は、第１の実施形態と同様、対応判定部２１ｂにて電波探知部３０や映像解析部４０等の各種センサにより検知された対象物同士が対応している（同一）と判定された場合、位置情報統合部２２により各センサ解析部からの当該対象物の位置推定情報を統合化することで当該対象の位置を高精度化する。また、センサフュージョン部２０は、第１の実施形態と同様、識別情報統合部２３ｂにより、各センサ解析部からの当該対象物の識別情報や属性情報（ふるまい情報）を統合化することで対象の識別情報を高精度化する。
【０１０１】
類似度算出部７１や識別情報統合部２３ｂは、図１３に示すように、第２の実施形態に特有の属性情報を統合することができる。例えば、映像解析による属性情報（ふるまい情報）によって、人物、車両、ＵＡＶ、又は船舶などが推定され、更に、電波探知による属性情報（ふるまい情報）とも統合する。これにより、上述した対象のうち、どの対象物がハブ局（ゲートウェイ）で、どの対象物が端末（センサ局）であるのか、等を推定することができる。また、映像解析による各アンテナの伸長及び収縮状況とも組み合わせることによって、それらの推定精度を高めることもできる。結果として、検知対象物であるセンサネットワークのネットワーク全体の構成や、各ハブ局およびセンサ局の搭載機や存在位置を推定することができる。
【０１０２】
すなわち、類似度算出部７１は、紐付けのための属性類似度として第２の実施形態に特有の属性情報を利用可能である。識別情報統合部２３ｂは、それらの属性情報も含めて、映像解析部４０からの属性情報と、電波探知部３０からの属性情報の統合及び結合確率として、どういう属性（ふるまい）である確率が高いか、などを出力することが可能である。つまり、一旦、対応判定部２１ｂにより対応付けられれば、映像解析による属性情報と、無線フレーム解析による属性情報を組み合わせることで、一方だけではわからなかった情報を補完する形で、属性情報（ふるまい情報）として出力することが可能である。
【０１０３】
このように、第２の実施形態では、第１の実施の形態と同様、電波探知部３０や映像解析部４０等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加し、各対象物同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となる。具体的には、電波探知部３０が無線端末等の属性（ふるまい）を推定する無線フレーム解析部３３ｂを備え、映像解析部４０が人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部４３ｂを備える。また、センサフュージョン部２０は、類似度算出部７１により各々の対象物間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、位置情報だけでは各対象同士が近傍に存在してその時点では対応付けできないケースにおいても、属性類似度の情報を用いることで高信頼に対応付け可能と判定することが可能となる。
【０１０４】
ここで、第２の実施形態に特有の効果としては、各検知対象物間における属性情報（ふるまい情報）の類似度に関する情報と、位置推定結果を用いた各検知対象物間における距離に関する情報とを、それぞれ正規化(規格化)し、位置推定の確度等の情報を用いて重み付けした上で対応付け判定に用いることで、それぞれの情報の信頼度を考慮して対応付け判定できることである。すなわち、位置推定の確度が高ければ距離に関する情報の重みを大きくし、位置推定の確度が低ければ距離に関する重みを小さくするなどにより、より柔軟且つ適応的に対応付けの信頼度を向上させることができる。なお、第１の実施形態の場合は、距離情報を用いた対応付け判定で判定可否が保留された場合に、属性情報を使用した対応付けが行われる。
【０１０５】
また、第１の実施形態と同様、副次的な効果として、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完することができるため、対象物の識別性能の粒度が合わせて向上する。具体的には、識別情報統合部２３ｂにより、映像解析と電波探知による個々の様々な属性情報（ふるまい情報）を高精度に統合することができるため、例えば、「検知エリア内に、２台の車両と１台のＵＡＶ、１６人の人物が検知され、そのうち、右側にある１台の車両がセンサネットワークのハブ局（ゲートウェイ）を搭載しており、１台のＵＡＶと１６人の人物とのうち右側エリアにいる１０人の作業者が現在、端末局（センサ局）を保有して通信している。」等と推定することができる。
【０１０６】
（３）変形例
また、上記の第１の実施形態や第２の実施形態においては、主に、２次元の位置座標（平面座標）を例として説明してきたが、本発明が適用されたセンサ情報統合システム及びセンサ情報統合方法は、３次元の位置座標（空間座標）にも拡張することが可能である。すなわち上述した記距離算出部により算出される距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含んでもよい。
【０１０７】
図１５は、３次元空間にも適用可能に拡張した場合のセンサ統合システムの全体像を示す図である。３次元空間に拡張した場合、電波探知部３０の位置推定部３２ｂ、映像解析部４０の位置推定部４２ｂ、センサフュージョン部２０の距離算出部７２と位置情報統合部２２ｂの処理が、３次元空間を対象とした処理に拡張される。つまり、３次元の位置推定情報と確度情報、距離情報（ユークリッド距離の情報）等を用いることによって３次元空間への拡張が可能である。
【０１０８】
基本的な手法としては、第１の実施形態や第２の実施の形態で説明した手法と同様である。また、３次元の情報を用いることで、地上に存在する人物や車両等と、一定の高度で飛行するＵＡＶ等の間における、属性情報の信頼度を向上させることも可能になる。
【０１０９】
＜＜４．第３の実施形態＞＞
続いて、図１６を参照して、本発明の第３の実施形態を説明する。上述した第１の実施形態及び第２の実施形態は、具体的な実施形態であるが、第３の実施形態は、より一般化された実施形態である。
【０１１０】
図１６を参照して、第３の実施形態に係るセンサ情報統合システム１０２の構成の例を説明する。図１６は、第３の実施形態に係るセンサ情報統合システム１０２の概略的な構成の例を示すブロック図である。図１６を参照すると、センサ情報統合システム１０２は、無線フレーム解析部１１０、映像解析部１２０及び対応判定部１３０を備える。
【０１１１】
以上のような構成からなるセンサ情報統合システム１０２によれば、無線フレーム解析部１１０は、第１の対象物から送信される無線フレームを解析して、上記第１の対象物に関する第１の属性情報を抽出する。映像解析部１２０は、第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、上記第２の対象物に関する第２の属性情報を抽出する。対応判定部１３０は、上記第１の属性情報と上記第２の属性情報とを用いて、上記第１の対象物と上記第２の対象物との対応付けを判定する。
【０１１２】
例えば、センサ情報統合システム１０２は、上述した第１の実施形態又は第２の実施形態に係るセンサ情報統合システム１００、１０１の動作を行ってもよい。
【０１１３】
＜＜５．実施形態の効果＞＞
以上のような実施形態によれば、以下のような効果が期待できる。
【０１１４】
第１の効果は、電波探知部や映像解析部などの各種センサで検知した対象物同士を、高い信頼度で対応付け（同定、紐付け）できることである。その理由は、電波探知部や映像解析部等の各種センサにおける位置推定処理に加えて、属性情報（ふるまい情報）を推定する処理を追加するからである。また、その理由は、各対象物同士の対応付け判定に、各属性情報の類似度を算出して用いることにより、より信頼度の高い対応付け判定を行うことが可能となるためである。具体的には、電波探知部は、無線端末等の属性（ふるまい）を推定する無線フレーム解析部を備える。映像解析部は、人物やモノの属性（ふるまい）を推定する物体及びふるまい認識部を備える。センサフュージョン部は、類似度算出部により各々の対象間の属性類似度を算出し、その属性類似度の情報を対応付け判定に用いる。これにより、位置情報だけでは各対象物同士が近傍に存在して信頼度の高い対応付けが難しい状況においても、属性類似度の情報を用いることで高信頼に対応付け判定することができる。
【０１１５】
また、第２の効果は、電波探知部や映像解析部などの各種センサで検知した対象物同士を、より短い時間（少ない繰り返し回数）での対応付けが可能になることである。その理由は、電波探知部や映像解析部等の各種センサにおける位置推定時の確度情報を用いて動的に閾値を変更する閾値計算手段、各種センサからの属性情報の類似度を算出する類似度算出手段、及び、それらの閾値および属性類似度を用いて対応付けを判定する対応判定手段を含むからである。これにより、まず、各種センサからの位置推定誤差（確度情報）に沿って適応的に閾値を設定（動的に変更）して対応付けを判定できるためである。したがって、誤対応を防ぐためにマージンを持った閾値を固定的に設定するような参考手法に比べて、位置推定する度に変化する確度情報を積極的に活用することで、高い信頼度のまま上記参考手法と比べて早い段階で対応付け可能との判定が得られる可能性が高くなる。更に、距離情報を用いるだけでは対応付けできないような対象同士が近傍にいる場合においても、属性類似度の情報を用いた対応付け判定を追加で行うことにより、より短い時間（少ない繰り返し回数）で信頼性の高い対応付けを行うことができるという利点がある。
【０１１６】
とりわけ、第２の実施形態に特有の効果としては、各検知対象物間における属性情報（ふるまい情報）の類似度に関する情報と、位置推定結果を用いた各検知対象物間における距離に関する情報とを、それぞれ正規化（規格化）し、位置推定の確度等の情報を用いて重み付けした上で対応付け判定に用いることで、それぞれの情報の信頼度を考慮して対応付け判定できることである。すなわち、位置推定の確度が高ければ距離に関する情報の重みを大きくし、位置推定の確度が低ければ距離に関する重みを小さくするなどにより、より柔軟且つ適応的に対応付けの信頼度を向上させることができる。これにより、より短い時間（少ない繰り返し回数）で信頼性の対応付けを行うことができるという利点がある。
【０１１７】
第３の効果は、副次的な効果として、検知した対象物の識別情報の粒度や、その推定精度が向上することである。その理由は、上述した第１の効果や第２の効果で説明したように、センサ情報の統合（対応付け）を高精度にできると、取得した属性情報を相補的に結合及び補完できるからである。すなわち、対象の識別性能の粒度が合わせて向上するからである。具体的には、識別情報統合部により、映像解析や電波探知等による個々の様々な属性情報（ふるまい情報）を高精度に統合することができるようになるためである。また、１種類のセンサだけでは推定できない属性情報（ふるまい情報）も、複数センサ情報間の高信頼な対応付けと、他センサにおいて推定可能な属性情報（ふるまい情報）とを組み合わせることにより、様々な粒度の属性情報（ふるまい情報）を推定できるようになるという利点がある。
【０１１８】
例えば、「検出したのはＵＡＶ操縦中の子供である。」や、または、「検知エリア内に、２台の車両と１台のＵＡＶ、１６人の人物が検出され、そのうち、右側の｛ｘ，ｙ｝地点にある１台の車両がセンサネットワークのハブ局（ゲートウェイ）を搭載しており、検知した１台のＵＡＶと１６人の人物とのうちの右側エリアにいる１０人の作業者が現在、端末局（センサ局）を保有して通信している。」等と推定できるという利点がある。
【０１１９】
第４の効果は、種々のセンサに対する柔軟性や拡張性が高いことである。その理由は、第１の実施形態および第２の実施形態で説明したように、本発明が適用されるセンサ情報統合システムが、カメラを用いた映像解析、電波センサを用いた電波探知、各種レーダーを用いたレーダー解析、各種レーザー解析（ＬｉＤＡＲ等）、音響センサを用いた音波探知など、種々のセンサへの対応を考慮したセンサ情報統合機能とインタフェースを備えているためである。すなわち、センサ情報統合機能の例として、対応判定部における距離算出部や類似度算出部、対応判定部により行われる処理では、種々のセンサの特性を考慮した位置推定情報や属性情報（ふるまい情報）を入力および利用できる。このようにして、各種センサにおいて推定する属性情報（ふるまい情報）を、他センサとの属性類似度を算出できる粒度で分類するので、いずれのセンサにも対応できる。
【０１２０】
また、図１５に示したように、本発明が適用されるセンサ情報統合方法は、２次元の位置座標（平面座標）における位置推定情報や属性情報（ふるまい情報）を統合する場合や、３次元の位置座標（空間座標）における位置推定情報や属性情報（ふるまい情報）を統合する場合など、いずれの場合にも対応できるという利点もある。
【０１２１】
＜＜６．他の形態＞＞
以上、本発明の実施形態を説明したが、本発明はこれらの実施形態に限定されるものではない。これらの実施形態は例示にすぎないということ、及び、本発明のスコープ及び精神から逸脱することなく様々な変形が可能であるということは、当業者に理解されるであろう。
【０１２２】
例えば、本明細書に記載されている処理におけるステップは、必ずしもシーケンス図に記載された順序に沿って時系列に実行されなくてよい。例えば、処理におけるステップは、シーケンス図として記載した順序と異なる順序で実行されても、並列的に実行されてもよい。また、処理におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。
【０１２３】
上記実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
【０１２４】
（付記１）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析部と、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析部と、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定部と、を備えるセンサ情報統合システム。
【０１２５】
（付記２）
前記対応判定部により対応付け判定した結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合する識別情報統合部を更に備える付記１記載のセンサ情報統合システム。
【０１２６】
（付記３）
電波から前記第１の対象物の位置情報を推定する第１の位置推定部と、
映像から前記第２の対象物の位置情報を推定する第２の位置推定部と、を更に備え、
前記対応判定部は、前記第１の対象物の位置情報と前記第２の対象物の位置情報とを更に用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する、付記１又は２記載のセンサ情報統合システム。
【０１２７】
（付記４）
前記対応判定部により対応付け判定した結果と、前記第１の対象物の位置情報と、前記第２の対象物の位置情報とを用いて、検知対象の位置情報を統合する位置情報統合部を更に備える付記３記載のセンサ情報統合システム。
【０１２８】
（付記５）
前記対応判定部は、前記第１の属性情報と前記第２の属性情報との類似度を算出する類似度算出部と、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出する距離算出部と、を有する付記３又は４記載のセンサ情報統合システム。
【０１２９】
（付記６）
前記対応判定部は、前記類似度と前記距離とを、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する重み付け統合部を更に備える付記５記載のセンサ情報統合システム。
【０１３０】
（付記７）
前記距離算出部により算出される前記距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含むことを特徴とする付記５又は６記載のセンサ情報統合システム。
【０１３１】
（付記８）
前記第１の属性情報は、前記第１の対象物が搭載された搭載物に関する情報と、前記無線フレームが伝送される通信ノードに関する情報と、前記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む付記１乃至７のうち何れか１項記載のセンサ情報統合システム。
【０１３２】
（付記９）
前記第１の対象物が搭載された搭載物に関する情報は、前記搭載物の種類を示す情報と、前記搭載物の機種名又は製造ベンダに関する情報、前記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む、付記８記載のセンサ情報統合システム。
【０１３３】
（付記１０）
前記無線フレームが伝送される通信ノードに関する情報は、センサネットワークのハブ局又は端末局に関する情報を含む付記８又は９記載のセンサ情報統合システム。
【０１３４】
（付記１１）
前記第１の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、付記８乃至１０のうち何れか１項記載のセンサ情報統合システム。
【０１３５】
（付記１２）
前記第２の属性情報は、前記第２の対象物を識別するための情報と、前記第２の対象物の通信動作に関する情報と、前記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む付記１乃至１１のうち何れか１項記載のセンサ情報統合システム。
【０１３６】
（付記１３）
前記第２の対象物を識別するための情報は、前記第２の対象物の種類を示す情報と人の年齢と性別と出身地とのうち少なくとも１つに関する情報を含む、付記１２記載のセンサ情報統合システム。
【０１３７】
（付記１４）
前記第２の対象物の通信動作に関する情報は、待受中と操作中と通話中とのうちのいずれか１つの動作に関する情報を含む、付記１２又は１３記載のセンサ情報統合システム。
【０１３８】
（付記１５）
前記第２の対象物に取り付けられたアンテナの配置に関する情報は、アンテナの伸長又は収納に関する情報を含む、付記１２乃至１４のうち何れか１項記載のセンサ情報統合システム。
【０１３９】
（付記１６）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含むセンサ情報統合方法。
【０１４０】
（付記１７）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラム。
【０１４１】
（付記１８）
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、をプロセッサに実行させるプログラムを記録したコンピュータに読み取り可能な非一時的記録媒体。
【０１４２】
この出願は、２０１８年１０月２９日に出願された日本出願特願２０１８−２０３１４６を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１４３】
複数のセンサで検知した対象物同士の対応付けを行うことにより各々のセンサで推定された情報を統合する場合において、適切な対応付けを実現することが可能になる。
【符号の説明】
【０１４４】
１００、１０１、１０２  センサ情報統合システム
３３、３３ｂ、１１０  無線フレーム解析部
４０、１２０  映像解析部
２１、２１ｂ、１３０  対応判定部
【図１】
2020090390.tif 000003
【図２】
2020090390.tif 000004
【図３】
2020090390.tif 000005
【図４】
2020090390.tif 000006
【図５】
2020090390.tif 000007
【図６】
2020090390.tif 000008
【図７】
2020090390.tif 000009
【図８】
2020090390.tif 000010
【図９】
2020090390.tif 000011
【図１０】
2020090390.tif 000012
【図１１】
2020090390.tif 000013
【図１２】
2020090390.tif 000014
【図１３】
2020090390.tif 000015
【図１４】
2020090390.tif 000016
【図１５】
2020090390.tif 000017
【図１６】
2020090390.tif 000018
【手続補正書】
【提出日】令和3年4月12日(2021.4.12)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出する無線フレーム解析手段と、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出する映像解析手段と、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する対応判定手段と、を備えるセンサ情報統合システム。
【請求項２】
前記対応判定手段により対応付け判定した結果と、前記第１の属性情報と、前記第２の属性情報とを用いて、検知対象の識別情報を統合する識別情報統合手段を更に備える、請求項１記載のセンサ情報統合システム。
【請求項３】
電波から前記第１の対象物の位置情報を推定する第１の位置推定手段と、
映像から前記第２の対象物の位置情報を推定する第２の位置推定手段と、を更に備え、
前記対応判定手段は、前記第１の対象物の位置情報と前記第２の対象物の位置情報とを更に用いて、前記第１の対象物と前記第２の対象物との対応付けを判定する、請求項１又は２記載のセンサ情報統合システム。
【請求項４】
前記対応判定手段は、前記第１の属性情報と前記第２の属性情報との類似度を算出する類似度算出手段と、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいて前記第１の対象物と前記第２の対象物との間の距離を算出する距離算出手段と、を有する請求項３記載のセンサ情報統合システム。
【請求項５】
前記対応判定手段は、前記類似度と前記距離とを、前記第１の対象物の位置情報と前記第２の対象物の位置情報とに基づいた位置推定の確度情報を用いて重み付けして合成する重み付け統合手段を更に備える請求項４記載のセンサ情報統合システム。
【請求項６】
前記距離算出手段により算出される前記距離における方向軸は、角度方向と奥行方向と高度方向のうちの、少なくとも２つの方向軸を含むことを特徴とする請求項４又は５記載のセンサ情報統合システム。
【請求項７】
前記第１の属性情報は、前記第１の対象物が搭載された搭載物に関する情報と、前記無線フレームが伝送される通信ノードに関する情報と、前記第１の対象物の通信動作に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至６のうち何れか１項記載のセンサ情報統合システム。
【請求項８】
前記第１の対象物が搭載された搭載物に関する情報は、前記搭載物の種類を示す情報と、前記搭載物の機種名又は製造ベンダに関する情報、前記搭載物の製造国又は渡航国に関する情報とのうちの少なくとも１つを含む、請求項７記載のセンサ情報統合システム。
【請求項９】
前記第２の属性情報は、前記第２の対象物を識別するための情報と、前記第２の対象物の通信動作に関する情報と、前記第２の対象物に取り付けられたアンテナの配置に関する情報とのうちの、少なくとも１つの情報を含む請求項１乃至８のうち何れか１項記載のセンサ情報統合システム。
【請求項１０】
第１の対象物から送信される無線フレームを解析して、前記第１の対象物に関する第１の属性情報を抽出することと、
第２の対象物が検知された映像を解析して、複数の映像と１以上の対象物の情報とのうちの少なくとも一方に基づいた複数の属性情報の中から、前記第２の対象物に関する第２の属性情報を抽出することと、
前記第１の属性情報と前記第２の属性情報とを用いて、前記第１の対象物と前記第２の対象物との対応付けを判定することと、を含むセンサ情報統合方法。
【国際調査報告】
2020090390.tif 000019
2020090390.tif 000020
2020090390.tif 000021
2020090390.tif 000022