(57)【要約】【課題】非同期の複数センサのセンサ数が不定であっても、検出頻度を考慮して移動物の状態量を精度良く求める。【解決手段】センシング結果獲得部（１４）が、数不定の複数センサによる複数の移動物を検出した検出結果を受け取る。移動物状態量予測部（１８）が、複数の移動物それぞれについて、移動物状態量記憶部（１６）に記憶された状態量を用いて移動物の状態量を予測する。移動物状態量整合部（２０）が、センシング結果獲得部（１４）によって検出結果を受け取る毎に、予測された移動物の状態量と、複数の移動物それぞれの検出結果とを対応付ける。移動物検出頻度予測部（２１）が、複数センサにより検出される移動物の検出頻度を予測する。移動物状態量消去部（２２）が、移動物検出頻度予測部（２１）で予測された検出頻度より小さい状態量を消去する。【選択図】図２
2020154526.tif 000002
【特許請求の範囲】
【請求項１】
複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶部と、
前記複数の移動物それぞれについて、前記移動物状態量記憶部に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測部と、
数不定の複数センサの何れかから、複数の移動物を検出した検出結果、及び検出性能情報を受け取るセンシング結果獲得部と、
前記センシング結果獲得部によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測部によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶部に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合部と、
前記複数センサそれぞれの検出性能情報に基づいて、前記複数の移動物それぞれについて前記複数のセンサのうち検出可能なセンサによって検出される検出頻度を予測する移動物検出頻度予測部と、
前記移動物状態量整合部によって前記検出結果と対応付かなかった前記移動物の状態量であって、複数の移動物を検出した検出結果により定まる検出頻度が前記移動物検出頻度予測部によって予測された検出頻度より小さい前記移動物の状態量を、前記移動物状態量記憶部から消去する移動物状態量消去部と、
を含む移動物状態量推定装置。
【請求項２】
前記複数センサは、各々異なる移動体に搭載されたセンサを含む請求項１に記載の移動物状態量推定装置。
【請求項３】
前記複数の移動物それぞれの存在確率を記憶する移動物存在確率記憶部と、
前記移動物状態量整合部による前記検出結果との対応付けの結果、又は前記センサについて予め定められた検出精度に応じて、前記移動物の存在確率を、前記移動物存在確率記憶部に設定し、又は
前記移動物存在確率記憶部に記憶されている前記複数の移動物それぞれの存在確率を、前記移動物状態量整合部による前記検出結果との対応付けの結果、前記最後に観測した時刻からの経過時間、又は前記センサについて予め定められた検出精度若しくは前記移動物検出頻度予測部による前記検出頻度に応じて増減させる移動物存在確率更新部と、
を更に含み、
前記移動物状態量消去部は、前記移動物存在確率記憶部に記憶されている前記複数の移動物それぞれの存在確率に基づいて、前記移動物の状態量を、前記移動物状態量記憶部から消去する請求項１又は請求項２に記載の移動物状態量推定装置。
【請求項４】
前記移動物検出頻度予測部は、
前記複数センサそれぞれの前記検出性能情報を記憶する検出性能情報記憶部と、
前記検出性能情報記憶部に記憶された前記複数センサそれぞれの前記検出性能情報、移動物の検出可能範囲が記録されている移動物検出可能範囲情報、及び前記移動物状態量整合部によって更新された前記移動物の状態量に基づいて、前記検出頻度を算出する検出頻度算出部と、
を含む請求項３に記載の移動物状態量推定装置。
【請求項５】
前記移動物検出頻度予測部は、
前記移動物検出頻度予測部によって予測された移動物の検出位置毎の検出頻度を示す情報を記憶する検出頻度記憶部と、
前記センシング結果獲得部によって受け取った前記検出性能情報、及び移動物の検出可能範囲が記録されている移動物検出可能範囲情報に基づいて、前記検出頻度記憶部に記憶された前記移動物の検出位置毎の検出頻度を更新する検出頻度更新部と、
前記検出頻度記憶部から、前記移動物の状態量に対応する検出頻度を抽出する検出頻度抽出部と、
を含む請求項３に記載の移動物状態量推定装置。
【請求項６】
前記複数センサは、複数の車両に搭載された、又はインフラセンサに用いられた、歩行者又は車両を検出する複数の検出器であって、
前記移動物の状態量は、歩行者又は車両の位置及び速度であって、
前記移動物検出可能範囲情報は、センサ検出可能範囲を削減する構造物の位置を示す地図である請求項４又は請求項５に記載の移動物状態量推定装置。
【請求項７】
複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶部を含むコンピュータを、
前記複数の移動物それぞれについて、前記移動物状態量記憶部に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測部、
数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得部、
前記センシング結果獲得部によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測部によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶部に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合部、
前記複数センサそれぞれの検出性能情報に基づいて、前記複数の移動物それぞれについて前記複数のセンサのうち検出可能なセンサによって検出される検出頻度を予測する移動物検出頻度予測部、および
前記移動物状態量整合部によって前記検出結果と対応付かなかった前記移動物の状態量であって、複数の移動物を検出した検出結果により定まる検出頻度が前記移動物検出頻度予測部によって予測された検出頻度より小さい前記移動物の状態量を、前記移動物状態量記憶部から消去する移動物状態量消去部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動物状態量推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、各々非同期でありセンサ数が不定の複数のセンサによって歩行者の動きを捉えるために、特定のセンサからの検出結果を得る毎に、検出結果と歩行者の位置及び速度などを示す移動物の状態量とを対応付け、該状態量と最後に観測した時刻を更新して、検出結果と一定時間以上対応付けられなかった移動物の状態量を消去する技術が知られている（特許文献１）。
【０００３】
また、複数のカメラ映像を用いて、各カメラの検出結果を統合して物体を検出する際に、物体と各カメラの位置関係を元にして画像中の検出範囲を予め限定することにより、物体の誤検出を抑制することで、追跡精度を向上することができる物体追跡装置が知られている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−９２３６８号公報
【特許文献２】特開２０１６ー７１８３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１の技術では、最後に観測されてから一定時間を経過した場合に、移動物の状態量を消去することで誤検出を抑制している。
しかしながら、例えば、センサ性能に応じて観測する時間間隔が変化したり移動物の周辺の明るさ等の検出環境が変化したりする場合、誤検出される検出頻度が変化する。特に、一定時間より短い時間に誤検出される検出頻度が増加した場合、正検出と誤検出との区別が困難であり、誤検出を抑制するには、改善の余地がある。
【０００６】
また、上記特許文献２では、物体とカメラの位置関係を基にして検出範囲を予め制限して誤検出を抑制するが、例えばセンサ性能が異なる複数センサの各々における誤検出の検出頻度は異なるので、物体とカメラの位置関係を基にして検出範囲を制限しても、誤検出を抑制することが困難な場合がある。
【０００７】
本発明は、上記の事情に鑑みてなされたもので、非同期の複数センサのセンサ数が不定であっても、検出頻度を考慮して複数センサの結果を統合して、移動物の状態量を精度良く求めることができる移動物状態量推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために第１態様に係る移動物状態量推定装置は、複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶部と、前記複数の移動物それぞれについて、前記移動物状態量記憶部に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測部と、数不定の複数センサの何れかから、複数の移動物を検出した検出結果、及び検出性能情報を受け取るセンシング結果獲得部と、前記センシング結果獲得部によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測部によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶部に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合部と、前記複数センサそれぞれの検出性能情報に基づいて、前記複数の移動物それぞれについて前記複数のセンサのうち検出可能なセンサによって検出される検出頻度を予測する移動物検出頻度予測部と、前記移動物状態量整合部によって前記検出結果と対応付かなかった前記移動物の状態量であって、複数の移動物を検出した検出結果により定まる検出頻度が前記移動物検出頻度予測部によって予測された検出頻度より小さい前記移動物の状態量を、前記移動物状態量記憶部から消去する移動物状態量消去部と、を含む移動物状態量推定装置である。
【０００９】
第２態様は、第１態様に記載の移動物状態量推定装置において、前記複数センサは、各々異なる移動体に搭載されたセンサを含む。
【００１０】
第３態様は、第１態様又は第２態様に記載の移動物状態量推定装置において、前記複数の移動物それぞれの存在確率を記憶する移動物存在確率記憶部と、前記移動物状態量整合部による前記検出結果との対応付けの結果、又は前記センサについて予め定められた検出精度に応じて、前記移動物の存在確率を、前記移動物存在確率記憶部に設定し、又は前記移動物存在確率記憶部に記憶されている前記複数の移動物それぞれの存在確率を、前記移動物状態量整合部による前記検出結果との対応付けの結果、前記最後に観測した時刻からの経過時間、又は前記センサについて予め定められた検出精度若しくは前記移動物検出頻度予測部による前記検出頻度に応じて増減させる移動物存在確率更新部と、を更に含み、前記移動物状態量消去部は、前記移動物存在確率記憶部に記憶されている前記複数の移動物それぞれの存在確率に基づいて、前記移動物の状態量を、前記移動物状態量記憶部から消去する。
【００１１】
第４態様は、請求項３に記載の移動物状態量推定装置において、前記移動物検出頻度予測部は、前記複数センサそれぞれの前記検出性能情報を記憶する検出性能情報記憶部と、前記検出性能情報記憶部に記憶された前記複数センサそれぞれの前記検出性能情報、移動物の検出可能範囲が記録されている移動物検出可能範囲情報、及び前記移動物状態量整合部によって更新された前記移動物の状態量に基づいて、前記検出頻度を算出する検出頻度算出部と、を含む。
【００１２】
第５態様は、請求項３に記載の移動物状態量推定装置において、前記移動物検出頻度予測部は、前記移動物検出頻度予測部によって予測された移動物の検出位置毎の検出頻度を示す情報を記憶する検出頻度記憶部と、前記センシング結果獲得部によって受け取った前記検出性能情報、及び移動物の検出可能範囲が記録されている移動物検出可能範囲情報に基づいて、前記検出頻度記憶部に記憶された前記移動物の検出位置毎の検出頻度を更新する検出頻度更新部と、前記検出頻度記憶部から、前記移動物の状態量に対応する検出頻度を抽出する検出頻度抽出部と、を含む。
【００１３】
第６態様は、第４態様又は第５態様に記載の移動物状態量推定装置において、前記複数センサは、複数の車両に搭載された、又はインフラセンサに用いられた、歩行者又は車両を検出する複数の検出器であって、前記移動物の状態量は、歩行者又は車両の位置及び速度であって、前記移動物検出可能範囲情報は、センサ検出可能範囲を削減する構造物の位置を示す地図である。
【００１４】
第７態様は、複数の移動物それぞれの、状態量及び最後に観測した時刻を記憶する移動物状態量記憶部を含むコンピュータを、前記複数の移動物それぞれについて、前記移動物状態量記憶部に記憶された状態量を用いて次の時刻の前記移動物の状態量を予測する移動物状態量予測部、数不定の複数センサの何れかから、複数の移動物を検出した検出結果を受け取るセンシング結果獲得部、前記センシング結果獲得部によって前記検出結果を受け取る毎に、前記検出結果の時刻に対応して前記移動物状態量予測部によって前記複数の移動物それぞれについて予測された前記移動物の状態量と、複数の移動物それぞれの前記検出結果との対応付けを行い、前記移動物状態量記憶部に格納された、前記複数の移動物それぞれの、状態量及び最後に観測した時刻を更新する移動物状態量整合部、前記複数センサそれぞれの検出性能情報に基づいて、前記複数の移動物それぞれについて前記複数のセンサのうち検出可能なセンサによって検出される検出頻度を予測する移動物検出頻度予測部、および前記移動物状態量整合部によって前記検出結果と対応付かなかった前記移動物の状態量であって、複数の移動物を検出した検出結果により定まる検出頻度が前記移動物検出頻度予測部によって予測された検出頻度より小さい前記移動物の状態量を、前記移動物状態量記憶部から消去する移動物状態量消去部、として機能させるためのプログラムである。
【００１５】
また、本開示のプログラムは、記録媒体に格納して提供することも可能である。
【発明の効果】
【００１６】
以上説明したように、本開示によれば、非同期の複数センサのセンサ数が不定であっても、検出頻度を考慮して複数センサの結果を統合して、移動物の状態量を精度良く求めることができる、という効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】第１実施形態に係る歩行者状態量推定システムを示すブロック図である。
【図２】第１実施形態に係る歩行者状態量推定装置を示すブロック図である。
【図３】非同期の複数センサからの検出結果を用いた検出頻度に基づくセンシング結果統合のイメージ図である。
【図４】第１実施形態に係る歩行者状態量推定装置における歩行者状態量推定処理ルーチンの内容を示すフローチャートである。
【図５】第２実施形態に係る歩行者状態量推定装置を示すブロック図である。
【図６】非同期の複数センサからの検出結果を用いた検出頻度に基づくセンシング結果統合のイメージ図である。
【図７】第２実施形態に係る歩行者状態量推定装置における歩行者状態量推定処理ルーチンの内容を示すフローチャートである。
【図８】第３実施形態に係る歩行者状態量推定装置における移動物検出頻度予測部を示すブロック図である。
【図９】第４実施形態に係る歩行者状態量推定装置における移動物検出頻度予測部を示すブロック図である。
【図１０】頻度マップを示すイメージ図である。
【発明を実施するための形態】
【００１８】
以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。
【００１９】
＜実施形態の概要＞
本開示の技術を実現する実施形態は、複数のセンサ間でフレーム同期をしないアプローチをとっている。或るセンサからのセンシング結果を受け取ったタイミングで、歩行者位置の状態量（仮説）と受け取ったセンシング結果とを対応付けて、誤差を計算し、仮説の歩行者位置を補正しながら、歩行者を検出・追従する。この処理を各センサからセンシング結果が統合処理装置に届く毎に行う。
【００２０】
しかしながら、本アプローチは、１台のセンサの結果だけを使って逐次上記処理を行うため、例えば、センサの検出精度等の検出性能が低い場合（歩行者が存在しない所に誤って歩行者が存在すると結果を出す頻度が高い場合）には、誤検出による存在しない歩行者の仮説が増えてしまい、歩行者数を誤って推定する場合がある。
【００２１】
このために、各センサの検出頻度を考慮して、誤検出の可能性が高い歩行者の検出結果を棄却する。
【００２２】
［第１実施形態］
【００２３】
第１実施形態では、車両に搭載された歩行者の検出器やインフラセンサとしての歩行者の検出器の検出結果を統合して歩行者の状態量を推定する歩行者状態量推定装置に本開示の技術を適用した場合を例に説明する。
【００２４】
＜歩行者状態量推定システムのシステム構成＞
図１に示すように、第１実施形態に係る歩行者状態量推定システム１００は、歩行者状態量推定装置１０と、基地局５０と、複数の車両に搭載された複数の検出器６０と、インフラセンサとしての検出器６２とを備え、基地局５０と歩行者状態量推定装置１０とは、インターネットなどのネットワーク７０で接続されており、基地局５０と検出器６０、６２とは、無線通信により接続されている。
【００２５】
検出器６０、６２は、カメラやレーダを用いて歩行者を随時検出し、検出する度に、検出結果を、基地局５０を介して、歩行者状態量推定装置１０へ送信する。
【００２６】
例えば、検出器６０は、自車両の前方を撮像するカメラによって撮像された前方の道路画像から、スライディングウィンドウ毎に、画像特徴量（ＳＩＦＴ，ＦＩＮＤ、ＨＯＧなど）を抽出し、スライディングウィンドウ毎の画像特徴量と、歩行者検出モデル（ＳＶＭ、ＡｄａＢｏｏｓｔ）とを用いて、歩行者を検出し、検出された歩行者位置を表す画像座標を求める。また、検出器６０は、歩行者位置を表す画像座標を、３次元位置に変換する。この際に、検出された歩行者の高さに応じて誤差分散行列を求める。また、検出器６０は、自車両に搭載されたＧＰＳにより計測された自車両の絶対座標と、求められた３次元位置とに基づいて、歩行者の絶対的な３次元位置を求める。
【００２７】
上記の歩行者の３次元位置及び誤差分散行列を、検出された歩行者毎に求め、車両Ｃｉの検出器６０において検出した歩行者の３次元位置のセットＹｉ＝｛ｙｉ，１，…ｙｉ，ｍ｝と、観測誤差分散行列のセットＲｉ＝｛ｒｉ，１，…，ｒｉ，ｍ｝とを、観測毎に、歩行者状態量推定装置１０へ送信する。また、検出器６０は、検出性能情報を含むセンサ情報を送信可能になっている。センサ情報の検出性能情報の一例には、検出時刻、検出器６０の検出範囲（検出時点における検出器の位置を含む）、動作周期、及び移動物の未検出率を示す情報が挙げられる。
【００２８】
検出器６２は、検出器６０と同様に、検出した歩行者の３次元位置のセットと、観測誤差分散行列のセットとを、観測毎に、歩行者状態量推定装置１０へ送信する。
【００２９】
複数の検出器６０、６２は、非同期に、歩行者を検出している。また、複数の検出器６０は、各々異なる車両に搭載されているため、歩行者状態量推定装置１０へ検出結果を送信する検出器６０、６２の数は、不定となる。
【００３０】
歩行者状態量推定装置１０は、例えば、サーバで構成され、歩行者状態量推定装置１０は、ＣＰＵと、ＲＡＭと、後述する歩行者状態量推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。図２に示すように、歩行者状態量推定装置１０は、通信部１２と、センシング結果獲得部１４と、移動物状態量記憶部１６と、移動物状態量予測部１８と、移動物状態量整合部２０と、移動物検出頻度予測部２１と、移動物状態量消去部２２と、移動物状態量更新部２４とを備えている。
【００３１】
センシング結果獲得部１４は、検出器６０、６２の何れかから送信された歩行者の座標のセット及び観測誤差分散行列のセットを、通信部１２により受信する毎に、歩行者の座標のセット及び観測誤差分散行列のセットを取得する。また、センシング結果獲得部１４は、検出器６０、６２それぞれのセンサ情報を取得可能になっている。
【００３２】
移動物状態量記憶部１６は、観測された複数の歩行者それぞれの、移動物状態量更新部２４により更新された状態量（歩行者の位置及び速度）、及び最後に観測した時刻を記憶する。
【００３３】
移動物状態量予測部１８は、センシング結果獲得部１４により取得した最新のデータの時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、当該最新のデータの時刻における歩行者の状態量のセットＸ＝｛ｘ１，…ｘｎ｝、および、状態量の分散共分散行列Ｖ＝｛ｖ１，…，ｖｎ｝を求める。例えば、等速予測などにより、次の時刻の歩行者の状態量を予測する。
【００３４】
移動物状態量整合部２０は、センシング結果獲得部１４により最新のデータを受け取る毎に、当該最新のデータの時刻に対応して移動物状態量予測部１８によって複数の歩行者それぞれについて予測された状態量と、当該最新のデータが表す複数の歩行者それぞれの検出結果との対応付けを行う。
【００３５】
具体的には、当該最新のデータの時刻における歩行者の状態量のセットＸ＝｛ｘ１，…ｘｎ｝と、当該最新のデータにおいて検出した歩行者の３次元位置のセットＹｉ＝｛ｙｉ，１，…ｙｉ，ｍ｝との対応付けを行う。例えば、対応付けられた状態量ｘｋと検出された歩行者の３次元位置ｙｉ，ｊとの組み合わせの確率ｐ（ｙｉ，ｊ｜ｘｋ）の積を最大にする対応付けを、ハンガリアン法などの手法により高速に計算する。
【００３６】
なお、状態量ｘｋと検出された歩行者の３次元位置ｙｉ，ｊとの組み合わせの確率ｐ（ｙｉ，ｊ｜ｘｋ）は、状態量ｘｋを中心とし、対応するカルマンフィルタの分散ｖｋと、３次元位置ｙｉ，ｊに対応する観測誤差分散行列ｒｉ，ｊとの和を、分散とした多次元正規分布における、３次元位置ｙｉ，ｊの確率に基づいて、確率ｐ（ｙｉ，ｊ｜ｘｋ）を求めればよい。
【００３７】
また、対応付けない確率を設定値として与え、この設定値より小さい確率の組み合わせは、対応付けられないようにする。
【００３８】
移動物状態量更新部２４は、移動物状態量整合部２０により最新のデータの検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙｉ，ｊを観測値として、その誤差分散行列ｒｉ，ｊと、予測ステップで得られた歩行者の状態量及び分散共分散行列と用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。
【００３９】
また、移動物状態量更新部２４は、移動物状態量整合部２０による検出結果との対応付けの結果に基づいて、最新のデータの検出結果のうち、状態量と対応付かなかった歩行者の検出結果から、新たな状態量ｘを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。なお、新たな状態量ｘは観測された歩行者の３次元位置ｙと同じ座標、誤差分散行列を持つこととする。
【００４０】
移動物検出頻度予測部２１は、複数の歩行者それぞれについて、共通する時刻間の所定時間内において、複数の検出器６０、６２のうち検出可能な検出器により検出される検出頻度を予測する。すなわち、複数の検出器６０、６２それぞれのセンサ情報である検出時刻、検出範囲（検出時点における検出器の位置を含む）、動作周期、及び移動物の未検出率を用いて、複数の歩行者それぞれについて共通する時刻間の所定時間内における検出頻度を求めることにより、検出頻度を予測する。
【００４１】
具体的には、センシング結果獲得部１４により取得した検出器６０、６２それぞれのセンサ情報を用いて、共通する時刻間の所定時間内において或る歩行者を共通に検出可能な検出器６０、６２を特定し、特定された検出器それぞれの検出頻度の総和を、予測検出頻度とする。この場合、観測された歩行者の３次元位置ｙと同じ座標を検出範囲とする検出器を特定すればよい。例えば、図３に示すように、複数の検出器６０、６２として、カメラを利用し、歩行者を検出する状況を考える。図３に示す例では、全てのカメラについて、検出性能として、未検出率が５％（０．０５）であり、カメラ１の動作周期が１０Ｈｚであり、カメラ２の動作周期が１Ｈｚであるとすると、カメラ１により１度の観測によって歩行者を検出する場合、９．５回／秒の頻度で歩行者が検出されると予測し、カメラ２により１度の観測によって歩行者を検出する場合、０．９５回／秒の頻度で歩行者が検出されると予測する。２台のカメラ１及びカメラ２の観測では、検出タイミングが異なるが、共通する時刻間の所定時間内に検出された検出頻度の合計、この場合、１０．４５回／秒の頻度で歩行者が検出されると予測する。換言すれば、或る位置に存在する歩行者を複数台のカメラで観測した場合、共通する時刻間の所定時間内では、複数台のカメラそれぞれの検出頻度の合計した検出頻度で歩行者が検出される。
【００４２】
移動物状態量消去部２２は、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、観測された検出頻度が移動物検出頻度予測部２１によって予測された検出頻度より小さい検出頻度の移動物の状態量を、移動物状態量記憶部１６から消去する。移動物状態量消去部２２は、移動物検出頻度予測部２１によって予測された検出頻度により定まる閾値を、移動物として存在する可能性が低い検出頻度として設定する。従って、移動物状態量消去部２２は、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、移動物検出頻度予測部２１によって予測された検出頻度が閾値より小さい移動物の状態量を、移動物状態量記憶部１６から消去する。例えば、閾値を、予測した検出頻度の例えば５０％の検出頻度と設定した場合、図３に示す例では、カメラ１により観測された検出頻度が１回／秒の歩行者は、予測された検出頻度が９．５回／秒より定まる閾値より小さい歩行者の状態量を消去する。なお、閾値は、検出性能情報を含むセンサ情報によって適宜設定すればよい。
【００４３】
なお、移動物状態量消去部２２は、簡易的な処理として、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、最後に観測した時刻から一定時間以上経過している歩行者の状態量を、移動物状態量記憶部１６から消去する機能を有することも可能である。
【００４４】
歩行者状態量推定装置１０は、上記の一連の処理により更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力する。
【００４５】
＜歩行者状態量推定システム１００の動作＞
次に、第１実施形態に係る歩行者状態量推定システム１００の動作について説明する。まず、複数の車両に搭載された複数の検出器６０、及びインフラセンサとしての検出器６２の各々によって、歩行者が逐次検出され、検出される毎に、検出結果が、基地局５０を介して、歩行者状態量推定装置１０に送信されているときに、歩行者状態量推定装置１０において、図４に示す歩行者状態量推定処理ルーチンが実行される。
【００４６】
ステップＳ１００において、複数の検出器６０及び検出器６２の何れかから、歩行者の検出結果として、歩行者の３次元位置のセットＹｉ＝｛ｙｉ，１，…ｙｉ，ｍ｝と、観測誤差分散行列のセットＲｉ＝｛ｒｉ，１，…，ｒｉ，ｍ｝とを受信すると、ステップＳ１０２へ進む。
【００４７】
ステップＳ１０２では、上記ステップＳ１００で受信した検出結果の時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、上記ステップＳ１００で受信した検出結果の時刻における歩行者の状態量のセットＸ＝｛ｘ１，…ｘｎ｝、および、その分散共分散行列Ｖ＝｛ｖ１，…，ｖｎ｝を求める。
【００４８】
ステップＳ１０４では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ１０２で複数の歩行者それぞれについて予測された状態量と、上記ステップＳ１００で受信した検出結果が表す複数の歩行者それぞれの３次元位置との対応付けを行う。
【００４９】
ステップＳ１０５では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ１０２で複数の歩行者それぞれについて、共通する時刻間の所定時間内において、複数の検出器のうち検出可能な検出器により検出される検出頻度を予測する。
【００５０】
ステップＳ１０６では、上記ステップＳ１０４で検出結果と対応付かなった歩行者の状態量のうち、観測した検出頻度が上記ステップＳ１０５で予測した検出頻度が閾値より小さい歩行者の状態量を、移動物状態量記憶部１６から消去する。
【００５１】
ステップＳ１０８では、上記ステップＳ１０４で検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙｉ，ｊを観測値として、その誤差分散行列ｒｉ，ｊと上記ステップＳ１０２で得られた歩行者の状態量及び分散共分散行列とを用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。また、上記ステップＳ１００で受信した検出結果のうち、状態量と対応付かなかった歩行者の検出結果に基づき、新たな状態量ｘを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。
【００５２】
そして、ステップＳ１１０では、更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力し、上記ステップＳ１００へ戻る。
【００５３】
以上説明したように、第１実施形態に係る歩行者状態量推定システムによれば、非同期の複数センサのセンサ数が不定であっても、検出頻度を考慮して複数センサの結果を統合して、歩行者の状態量を精度良く求めることができる。
【００５４】
また、非同期に不特定の複数センサからセンシング結果が来る場合に、検出頻度を考慮して削除することにより、信頼できない検出結果の影響が状態量として残らないようにすることで、各センサの誤検出にロバストになる。このように、非同期に来る複数センサからのセンシング結果をリアルタイムに統合処理をする場合に、各センサの誤検出にロバストになる。
【００５５】
［第２実施形態］
＜歩行者状態量推定システムのシステム構成＞
次に、第２実施形態に係る歩行者状態量推定システムについて説明する。なお、第１実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００５６】
第２実施形態では、複数の歩行者それぞれの存在確率を保持し、検出結果と状態量との対応付けに基づいて、複数の歩行者それぞれの存在確率を更新している点と、状態量を消去する際に、予測された検出頻度に応じて変化する存在確率を考慮している点とが第１実施形態と異なっている。
【００５７】
図５に示すように、第２実施形態に係る歩行者状態量推定装置２１０は、通信部１２と、センシング結果獲得部１４と、移動物状態量記憶部１６と、移動物状態量予測部１８と、移動物状態量整合部２０と、移動物検出頻度予測部２１と、移動物状態量消去部２２と、移動物状態量更新部２４と、移動物存在確率更新部２２０と、移動物存在確率記憶部２２２と、を備えている。
【００５８】
移動物存在確率記憶部２２２は、移動物状態量記憶部１６に記憶されている複数の歩行者それぞれの存在確率を記憶する。
【００５９】
移動物存在確率更新部２２０は、移動物状態量整合部２０による検出結果との対応付けの結果に基づいて、最新のデータの検出結果のうち、状態量と対応付かなかった歩行者の検出結果に対し、当該歩行者の存在確率として、設定値を移動物存在確率記憶部２２２に格納する。設定値は、検出器６０、６２について予め定められた検出精度に応じて定めればよい。
【００６０】
また、移動物存在確率更新部２２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられた歩行者の存在確率の各々について、検出器６０、６２について検出頻度に応じて増加させるように更新する（図６参照）。
【００６１】
また、移動物存在確率更新部２２０は、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、移動物状態量整合部２０により最新のデータの検出結果と対応付けられなかった歩行者の存在確率の各々について、検出頻度に応じた存在確率となるように減衰させて更新する（図６参照）。
【００６２】
移動物状態量消去部２２は、移動物状態量整合部２０によって検出結果と対応付かなった歩行者の状態量のうち、移動物検出頻度予測部２１によって予測された検出頻度が第１閾値（第１実施形態における閾値）より小さい歩行者の状態量に対応する、移動物存在確率記憶部２２２に記憶されている存在確率が第２閾値より小さい歩行者の状態量を消去する。なお、第２閾値は、移動物として存在する可能性が低い確率として予め定めた歩行者の存在確率に対応した値とする。
【００６３】
ここで、移動物存在確率更新部２２０で、存在確率を検出頻度に応じて更新することについてさらに説明する。ここでは、複数の検出器６０、６２として、カメラを利用し、歩行者を検出する場合を考える。
【００６４】
或る移動物の状態量について、前回時刻からの経過時間をΔｔで表し、存在確率の減少速度をνで表すと、存在確率の変化量Δｐは、次の式で表すことができる。
Δｐ＝−νΔｔ
【００６５】
歩行者状態量推定装置２１０としてＮ台のカメラが存在する場合、ｉ番目のカメラ（ｉ＝１、２、・・・、Ｎ）の時刻ｔにおける動作周波数をｆｉ、カメラの撮影可能範囲を削減する構造物により不可視の予め定めた領域（例えば、壁などによる死角）を考慮したカメラｉの視野をＲｉ（ｔ）とする。さらに、或る場所ｘがカメラｉの視野内に含まれるか否かを示す関数σｉ（ｘ、ｔ）を、次の式で表す。
【数１】
2020154526.tif 000003
【００６６】
また、場所ｘにおけるカメラｉによる物体の未検出率をｐＦＮ,i（ｘ、ｔ）と表す。移動物の未検出率は検出器からの距離、日照条件、などから導出すればよい。すると、位置ｘに移動物が存在した場合、Ｎ台のカメラによる総検出頻度ｆ（ｘ、ｔ）は、次の式により計算可能である。
【数２】
2020154526.tif 000004
【００６７】
従って、時刻ｔで場所ｘｊ、ｊ番目の移動物の存在確率の減少量νｊ（ｔ）を、次の式で表すことが可能である。
νｊ（ｔ）＝ν０・ｆ（ｘ、ｔ）
このようにすることで、存在確率を検出頻度に応じて更新することが可能である。
【００６８】
また、各センサの検出頻度を各移動物の存在確率の更新のたびに計算する代わりに、各検出器について算出した検出頻度を予め格納しておき、移動物の位置に応じた値を抽出してもよい。検出頻度の分布に変化があった検出器のみ格納した情報を更新することで、検出器及び移動物の数が増加した場合に効率よく算出可能となる。
【００６９】
なお、第２実施形態に係る歩行者状態量推定システムの他の構成は、第１実施形態と同様であるため、説明を省略する。
【００７０】
＜歩行者状態量推定システムの動作＞
次に、第２実施形態に係る歩行者状態量推定システムの動作について説明する。まず、複数の車両に搭載された複数の検出器６０、及びインフラセンサとしての検出器６２の各々によって、歩行者が逐次検出され、検出結果が、基地局５０を介して、歩行者状態量推定装置１０に送信されているときに、歩行者状態量推定装置２１０において、図７に示す歩行者状態量推定処理ルーチンが実行される。なお、第１実施形態と同様の処理については、同一符号を付して詳細な説明を省略する。
【００７１】
ステップＳ１００において、複数の検出器６０及び検出器６２の何れかから、歩行者の検出結果として、歩行者の３次元位置のセットＹｉ＝｛ｙｉ，１，…ｙｉ，ｍ｝と、観測誤差分散行列のセットＲｉ＝｛ｒｉ，１，…，ｒｉ，ｍ｝とを受信すると、ステップＳ２００へ進む。
【００７２】
ステップＳ１０２では、上記ステップＳ１００で受信した検出結果の時刻に合わせて、複数の歩行者それぞれについて、カルマンフィルタの予測ステップにより、移動物状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、上記ステップＳ１００で受信した検出結果の時刻における歩行者の状態量のセットＸ＝｛ｘ１，…ｘｎ｝、および、その分散共分散行列Ｖ＝｛ｖ１，…，ｖｎ｝を求める。
【００７３】
ステップＳ１０４では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ１０２で複数の歩行者それぞれについて予測された状態量と、上記ステップＳ１００で受信した検出結果が表す複数の歩行者それぞれの３次元位置との対応付けを行う。
【００７４】
ステップＳ１０５では、上記ステップＳ１００で受信した検出結果の時刻に対応して上記ステップＳ１０２で複数の歩行者それぞれについて、共通する時刻間の所定時間内において、複数の検出器のうち検出可能な検出器により検出される検出頻度を予測する。
【００７５】
ステップＳ１０６では、上記ステップＳ１０４で検出結果と対応付かなった歩行者の状態量のうち、観測した検出頻度が上記ステップＳ１０５で予測した検出頻度が閾値より小さい歩行者の状態量を、移動物状態量記憶部１６から消去する。
【００７６】
ステップＳ２０２では、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、上記ステップＳ１０４により最新のデータの検出結果と対応付けられた歩行者の存在確率の各々について、検出器６０、６２についてステップＳ１０５で予測した検出頻度に応じて増加させるように更新する。また、移動物存在確率記憶部２２２に記憶されている複数の歩行者それぞれの存在確率のうち、上記ステップＳ１０４により最新のデータの検出結果と対応付けられなかった歩行者の存在確率の各々について、ステップＳ１０５で予測した検出頻度に応じた存在確率となるように減衰させて更新する。
【００７７】
ステップＳ２０４では、上記ステップＳ１０４で検出結果と対応付かなった歩行者の状態量のうち、移動物存在確率記憶部２２２に記憶されている存在確率が第２閾値より小さい歩行者の状態量を消去する。
【００７８】
ステップＳ１０８では、上記ステップＳ１０４で検出結果と対応付けられた状態量の各々について、対応する３次元位置ｙｉ，ｊを観測値として、その誤差分散行列ｒｉ，ｊと上記ステップＳ２００で得られた歩行者の状態量及び分散共分散行列とを用いて、カルマンフィルタのフィルタリングステップにより、状態量を更新すると共に、最後に観測した時刻を更新する。また、上記ステップＳ１００で受信した検出結果のうち、状態量と対応付かなかった歩行者の検出結果に基づき、新たな状態量xを生成し、最後に観測した時刻として、現在時刻を、移動物状態量記憶部１６に格納する。また、所定の存在確率を、移動物存在確率記憶部２２２に格納する。
【００７９】
そして、ステップＳ１１０では、更新された状態量のセットＸを、歩行者の検出結果の統合結果として出力し、上記ステップＳ１００へ戻る。
【００８０】
以上説明したように、第２実施形態に係る歩行者状態量推定システムによれば、非同期に不特定の複数センサからセンシング結果が来る場合に、検出された状態量を、検出頻度から定まる存在確率に基づいて削除することにより、信頼できない検出結果の影響が状態量として残らないようにすることで、各センサの誤検出にロバストになる。
【００８１】
［第３実施形態］
＜歩行者状態量推定システムのシステム構成＞
次に、第３実施形態に係る歩行者状態量推定システムについて説明する。なお、第１実施形態及び第２実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８２】
第３実施形態は、移動物の検出頻度を予測した結果から歩行者の存在確率を更新する際に、予め記憶されている検出器６０、６２それぞれの最新のセンサ情報、及び壁などの構造物の位置を示す地図を用いて、移動物の検出頻度を予測する点が第２実施形態と異なっている。
【００８３】
図８に示すように、第３実施形態に係る歩行者状態量推定装置における移動物検出頻度予測部３２１は、センサログ記憶部３２２と、地図３２３と、検出頻度算出部３２４と、を備えている。
【００８４】
センサログ記憶部３２２は、検出器６０、６２それぞれの最新のセンサ情報を記憶する。また、地図３２３は、検出器６０、６２の検出可能範囲を削減する壁などの構造物の位置を示す地図情報を記憶する。
【００８５】
検出頻度算出部３２４は、センサログ記憶部３２２は、検出器６０、６２それぞれの最新のセンサ情報と、地図３２３は、検出器６０、６２の検出可能範囲を削減する壁などの構造物の位置を示す地図情報とを用いて検出頻度を算出する。
【００８６】
具体的には、例えば、複数の検出器６０、６２として、カメラを利用し、歩行者を検出する場合、検出頻度算出部３２４は、カメラそれぞれの検出位置（検出方向を含む）及び検出範囲と、壁などの構造物の位置とから、壁などの構造物により生じる死角または検出不可領域（構造物により検出器では検出不可の領域）を求める。この検出不可領域を除く領域を、カメラｉの視野Ｒｉ（ｔ）とし、或る場所ｘがカメラｉの視野内に含まれるか否かを示す関数σｉ（ｘ、ｔ）を定める。
【００８７】
また、センサ情報による最新の未検出率ｐＦＮ,i（ｘ、ｔ）用いて、Ｎ台のカメラによる総検出頻度ｆ（ｘ、ｔ）を算出する。従って、時刻ｔで場所ｘｊ、ｊ番目の移動物の存在確率の減少量νｊ（ｔ）を、上記の式により求めることで、存在確率を検出頻度に応じて更新することが可能である。
【００８８】
なお、第３実施形態に係る歩行者状態量推定システムの他の構成及び作用は、第２実施形態と同様であるため、説明を省略する。
【００８９】
このように、地図により定まる検出器により検出が不可能な範囲を制約として用いて、歩行者の存在確率を更新することにより、存在しない歩行者の状態量を適切に消去することができる。
【００９０】
［第４実施形態］
＜歩行者状態量推定システムのシステム構成＞
次に、第４実施形態に係る歩行者状態量推定システムについて説明する。なお、第１実施形態及び第２実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００９１】
第４実施形態は、位置毎に予測された移動物の検出頻度を記憶しておき、記憶されている検出頻度を用いて、移動物の検出頻度を予測する点が第２実施形態と異なっている。
【００９２】
図９に示すように、第４実施形態に係る歩行者状態量推定装置における移動物検出頻度予測部４２１は、頻度マップ更新部４２２と、地図３２３と、頻度マップ４２３と、検出頻度算出部４２４と、を備えている。
【００９３】
頻度マップ４２３は、地図３２３に記憶されている地図情報、及び検出器６０、６２それぞれの最新のセンサ情報を用いて、歩行者の検出可能範囲における位置毎の検出頻度を記憶する。具体的には、例えば、複数の検出器６０、６２を、２台のカメラ１及びカメラ２とした場合、図１０に示すように、カメラ１及びカメラ２それぞれのカメラ位置で、センサ情報による検出可能範囲とする。また、地図情報により壁が検出可能範囲に存在するとする。この場合、歩行者が存在する可能性のある全体領域は、カメラ１及びカメラ２により歩行者を検出不可能な領域（カメラ台数Ｎｃ＝０）、カメラ１またはカメラ２でのみ歩行者を検出可能な領域（カメラ台数Ｎｃ＝１）、及びカメラ１及びカメラ２の両方で歩行者を検出可能な領域（カメラ台数Ｎｃ＝２）に分類される。従って、歩行者の位置に応じて、検出可能なカメラの台数が異なり、検出可能なカメラの台数に応じて検出頻度が変化する。従って、図１０に示すように位置毎にカメラ台数を示す領域を頻度マップとする。この頻度マップは、各領域に該当するカメラの動作周期からカメラそれぞれの検出頻度を算出可能であり、台数分を加算することで、該当領域の検出頻度を導出可能である。従って、頻度マップ更新部４２２は、センサ情報及び地図３２３に記憶された地図情報を用いて、頻度マップを最新の状態に更新する。
【００９４】
検出頻度算出部４２４は、頻度マップ４２３に記憶されている検出頻度のうち歩行者の状態量で示される位置の検出頻度を抽出することで、検出頻度を算出して出力する。
【００９５】
なお、第４実施形態に係る歩行者状態量推定システムの他の構成及び作用は、第２実施形態と同様であるため、説明を省略する。
【００９６】
このように、地図により定まる検出器により検出が不可能な範囲を制約として用いて、センサ情報から頻度マップを更新することにより、歩行者の状態量による位置に対応する検出頻度を迅速に求めることが可能になり、存在しない歩行者の状態量を適切に消去することができる。
【００９７】
なお、上記の実施の形態では、検出対象となる移動物として歩行者を対象とする場合を例に説明したが、これに限定されるものではなく、例えば車両などの他の移動体を検出対象としてもよい。
【００９８】
また、複数の車両に搭載された複数の検出器及びインフラセンサとしての検出器を、非同期の複数センサとする場合を例に説明したが、これに限定されるものではなく、インフラセンサとしての検出器を用いないように構成してもよい。
【００９９】
また、単一の車両に搭載され、かつ、カメラ及びレーダを含む複数の計測器を用いた、複数の検出器を、非同期の複数センサとしてもよい。例えば、異なる計測器を用いた検出器が、後付けで当該車両に追加される場合には、複数センサの数が不定になることが想定される。
【０１００】
なお、本開示のプログラムは、記録媒体に格納して提供することができる。
【符号の説明】
【０１０１】
１０、２１０  歩行者状態量推定装置
１２   通信部
１４   センシング結果獲得部
１６   移動物状態量記憶部
１８   移動物状態量予測部
２０   移動物状態量整合部
２１   移動物検出頻度予測部
２２   移動物状態量消去部
２４   移動物状態量更新部
５０   基地局
６０、６２    検出器
７０   ネットワーク
１００ 歩行者状態量推定システム
２１０ 歩行者状態量推定装置
２２０ 移動物存在確率更新部
２２２ 移動物存在確率記憶部
３２１ 移動物検出頻度予測部
３２２ センサログ記憶部
３２３ 地図
３２４ 検出頻度算出部
４２１ 移動物検出頻度予測部
４２２ 頻度マップ更新部
４２３ 頻度マップ
４２４ 検出頻度算出部
【図１】
2020154526.tif 000005
【図２】
2020154526.tif 000006
【図３】
2020154526.tif 000007
【図４】
2020154526.tif 000008
【図５】
2020154526.tif 000009
【図６】
2020154526.tif 000010
【図７】
2020154526.tif 000011
【図８】
2020154526.tif 000012
【図９】
2020154526.tif 000013
【図１０】
2020154526.tif 000014