(57)【要約】      （修正有）【課題】移動物体の位置がリアルタイムに検出できない場合であっても、移動物体の行動を的確に推定することが可能な行動推定装置、行動推定方法及びコンピュータプログラムを提供する。【解決手段】行動推定装置１は、物体を検知するセンサ２から時系列的にセンサデータを取得する取得部と、該取得部が取得したセンサデータに基づいて物体の位置を検出する位置検出部と、取得部が取得したセンサデータに基づいて物体の将来の行動を推定する行動推定部４０と、取得部が取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、センサデータに含まれる情報に基づいて判定する遅延判定部とを備え、位置検出部は、取得部が取得したセンサデータのうち、遅延判定部が遅延無しと判定したセンサデータに基づいて物体の位置を検出し、行動推定部は、遅延判定部の判定結果に関わらず、取得部が取得したセンサデータに基づいて行動を推定する。【選択図】図２
2020093624.tif 000002
【特許請求の範囲】
【請求項１】
物体を検知するセンサから時系列的にセンサデータを取得する取得部と、該取得部が取得したセンサデータに基づいて前記物体の位置を検出する位置検出部と、前記取得部が取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定部とを備える行動推定装置であって、
前記センサデータは、該センサデータの生成時点又は生成順序を示す情報を含み、
前記取得部が取得したセンサデータに所定の閾値より大きい遅延が有るか否かを前記情報に基づいて判定する遅延判定部を備え、
前記位置検出部は、前記取得部が取得したセンサデータのうち、前記遅延判定部が遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するようにしてあり、
前記行動推定部は、前記遅延判定部の判定結果に関わらず、前記取得部が取得したセンサデータに基づいて前記行動を推定するようにしてある行動推定装置。
【請求項２】
前記取得部が取得したセンサデータに欠落が有るか否かを前記情報に基づいて判定する欠落判定部を更に備え、
前記位置検出部は、前記取得部が取得したセンサデータのうち、前記欠落判定部が欠落無しと判定したセンサデータに基づいて前記物体の位置を検出するようにしてあり、
前記行動推定部は、前記欠落判定部の判定結果に関わらず、前記取得部が取得したセンサデータに基づいて前記行動を推定するようにしてある
請求項１に記載の行動推定装置。
【請求項３】
前記取得部が取得したセンサデータに連続性が有るか否かを前記情報に基づいて判定する連続性判定部を更に備え、
前記行動推定部は、前記連続性判定部が連続性有りと判定したセンサデータに基づいて前記行動を推定するようにしてある
請求項１又は２に記載の行動推定装置。
【請求項４】
前記センサは、前記センサデータを再送可能に構成してあり、
前記取得部による前記センサデータの取得が所定時間以上中断されたか否かを判定する中断判定部と、
該中断判定部が所定時間以上中断されたと判定した場合、中断されたセンサデータの再送を前記センサに要求する再送要求部と
を更に備える請求項１から請求項３の何れか１項に記載の行動推定装置。
【請求項５】
前記取得部が取得したセンサデータが示す物体の属性を検知する属性検知部を更に備え、
前記所定の閾値は、前記属性検知部が検知する物体の属性に応じた大きさである
請求項１から請求項４の何れか１項に記載の行動推定装置。
【請求項６】
前記行動推定部は、前記属性検知部が検知した物体の属性に基づいて、前記物体の位置の予測及び行動の推定を行う請求項５に記載の行動推定装置。
【請求項７】
物体を検知するセンサから時系列的にセンサデータを取得する情報処理装置で、取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定方法であって、
取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、
取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、
遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップと
を含む行動推定方法。
【請求項８】
物体を検知するセンサから時系列的にセンサデータを取得するコンピュータに、前記物体の将来の行動を推定させるためのコンピュータプログラムであって、
コンピュータに、
取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、
取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、
遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップと
を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、行動推定装置、行動推定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、車両の周辺を移動する移動体の将来の進路又は行動を予測又は推定し、予測結果又は推定結果に基づいて運転を支援する運転支援装置が提案されている。例えば、特許文献１には、センサで検出した監視対象エリア内の移動物体が所定の時刻に所定の位置に存在する確率を表す予測情報を生成して移動物体の進路の予測精度を向上させる移動物体位置予測装置が開示されている。
【０００３】
この装置は、監視対象エリア内を移動した複数の過去の移動物体夫々の軌跡を表す軌跡情報を記憶しておき、センサで検出した移動物体の想定される進路と類似する軌跡を表す軌跡情報を少なくとも一つ選択する。そして、この装置は、選択した軌跡情報の夫々が表す軌跡に近い位置ほど移動物体が存在する確率が高くなる確率分布を生成し、生成した確率分布の夫々を含む混合分布に従って、上記の予測情報を生成するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−５２８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された技術では、過去の移動物体の軌跡が時間的に遅れずに検出されることを前提としており、移動物体の軌跡の検出が遅れた場合は、検出が遅れた軌跡を予測情報の生成に利用できないという問題があった。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、移動物体の位置がリアルタイムに検出できない場合であっても、移動物体の行動を的確に推定することが可能な行動推定装置、行動推定方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る行動推定装置は、物体を検知するセンサから時系列的にセンサデータを取得する取得部と、該取得部が取得したセンサデータに基づいて前記物体の位置を検出する位置検出部と、前記取得部が取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定部とを備える行動推定装置であって、前記センサデータは、該センサデータの生成時点又は生成順序を示す情報を含み、前記取得部が取得したセンサデータに所定の閾値より大きい遅延が有るか否かを前記情報に基づいて判定する遅延判定部を備え、前記位置検出部は、前記取得部が取得したセンサデータのうち、前記遅延判定部が遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するようにしてあり、前記行動推定部は、前記遅延判定部の判定結果に関わらず、前記取得部が取得したセンサデータに基づいて前記行動を推定するようにしてある。
【０００８】
本発明の一態様に係る行動推定方法は、物体を検知するセンサから時系列的にセンサデータを取得する情報処理装置で、取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定方法であって、取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップとを含む。
【０００９】
本発明の一態様に係るコンピュータプログラムは、物体を検知するセンサから時系列的にセンサデータを取得するコンピュータに、前記物体の将来の行動を推定させるためのコンピュータプログラムであって、コンピュータに、取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップとを実行させる。
【００１０】
なお、本願は、このような特徴的な処理部を備える行動推定装置として実現したり、特徴的な処理をステップとする行動推定方法として実現したり、係るステップをコンピュータに実行させるためのコンピュータプログラムとして実現したりすることができるだけでなく、行動推定装置の一部又は全部を半導体集積回路として実現したり、行動推定装置を含むシステムとして実現したりすることができる。
【発明の効果】
【００１１】
上記によれば、移動物体の位置がリアルタイムに検出できない場合であっても、移動物体の行動を的確に推定することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施形態１に係る行動推定装置の構成例を示すブロック図である。
【図２】実施形態１に係る行動推定装置における情報の流れを模式的に示す説明図である。
【図３】物体の位置の予測及び行動の推定の一例を示す説明図である。
【図４】実施形態１に係る行動推定装置で物体の行動を推定する制御部の処理手順を示すシーケンス図である。
【図５】実施形態２に係る行動推定装置における情報の流れを模式的に示す説明図である。
【図６】実施形態２に係る行動推定装置で物体の行動を推定する制御部の処理手順を示すシーケンス図である。
【図７】実施形態３に係る行動推定装置における情報の流れを模式的に示す説明図である。
【図８】実施形態３に係る行動推定装置で物体の行動を推定する制御部の処理手順を示すシーケンス図である。
【発明を実施するための形態】
【００１３】
［本発明の実施形態の説明］
最初に本発明の実施態様を列記して説明する。また、以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【００１４】
（１）本発明の一態様に係る行動推定装置は、物体を検知するセンサから時系列的にセンサデータを取得する取得部と、該取得部が取得したセンサデータに基づいて前記物体の位置を検出する位置検出部と、前記取得部が取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定部とを備える行動推定装置であって、前記センサデータは、該センサデータの生成時点又は生成順序を示す情報を含み、前記取得部が取得したセンサデータに所定の閾値より大きい遅延が有るか否かを前記情報に基づいて判定する遅延判定部を備え、前記位置検出部は、前記取得部が取得したセンサデータのうち、前記遅延判定部が遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するようにしてあり、前記行動推定部は、前記遅延判定部の判定結果に関わらず、前記取得部が取得したセンサデータに基づいて前記行動を推定するようにしてある。
【００１５】
（７）本発明の一態様に係る行動推定方法は、物体を検知するセンサから時系列的にセンサデータを取得する情報処理装置で、取得したセンサデータに基づいて前記物体の将来の行動を推定する行動推定方法であって、取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップとを含む。
【００１６】
（８）本発明の一態様に係るコンピュータプログラムは、物体を検知するセンサから時系列的にセンサデータを取得するコンピュータに、前記物体の将来の行動を推定させるためのコンピュータプログラムであって、コンピュータに、取得したセンサデータに所定の閾値より大きい遅延が有るか否かを、前記センサデータが含む該センサデータの生成時点又は生成順序を示す情報に基づいて判定するステップと、取得したセンサデータのうち、遅延無しと判定したセンサデータに基づいて前記物体の位置を検出するステップと、遅延の有無の判定結果に関わらず、取得したセンサデータに基づいて前記行動を推定するステップとを実行させる。
【００１７】
本態様にあっては、行動推定装置が、物体を検知するセンサから時系列的に取得したセンサデータに基づいて、物体の位置を検出すると共に、物体の将来の行動を推定する。行動推定装置は、センサデータに含まれるデータの生成時点又は生成順序を示す情報によって所定の閾値より大きい遅延が無いと判定したセンサデータを用いて物体の位置を検出し、センサデータの遅延の有無にかかわらず、取得したセンサデータを用いて物体の行動を推定する。これにより、取得されたセンサデータが物体の行動推定に漏れなく利用される。
【００１８】
（２）前記取得部が取得したセンサデータに欠落が有るか否かを前記情報に基づいて判定する欠落判定部を更に備え、前記位置検出部は、前記取得部が取得したセンサデータのうち、前記欠落判定部が欠落無しと判定したセンサデータに基づいて前記物体の位置を検出するようにしてあり、前記行動推定部は、前記欠落判定部の判定結果に関わらず、前記取得部が取得したセンサデータに基づいて前記行動を推定するようにしてあることが好ましい。
【００１９】
本態様にあっては、行動推定装置は、センサデータに含まれる情報によってデータの欠落が無いと判定したセンサデータを用いて物体の位置を検出し、センサデータの欠落の有無にかかわらず、取得したセンサデータを用いて物体の行動を推定する。これにより、取得されたセンサデータが物体の行動推定に漏れなく利用される。
【００２０】
（３）前記取得部が取得したセンサデータに連続性が有るか否かを前記情報に基づいて判定する連続性判定部を更に備え、前記行動推定部は、前記連続性判定部が連続性有りと判定したセンサデータに基づいて前記行動を推定するようにしてあることが好ましい。
【００２１】
本態様にあっては、行動推定装置は、センサデータに含まれる情報によって連続性が有ると判定したセンサデータを用いて物体の行動を推定する。これにより、センサデータの一部に遅延及び一時的な欠落があった場合であっても、時系列的に連続するセンサデータが物体の行動推定に漏れなく利用される。
【００２２】
（４）前記センサは、前記センサデータを再送可能に構成してあり、前記取得部による前記センサデータの取得が所定時間以上中断されたか否かを判定する中断判定部と、該中断判定部が所定時間以上中断されたと判定した場合、中断されたセンサデータの再送を前記センサに要求する再送要求部とを更に備えることが好ましい。
【００２３】
本態様にあっては、行動推定装置は、センサデータの取得が所定時間以上中断された場合、中断されたセンサデータの再送をセンサに要求する。これにより、センサデータの取得が中断された場合であっても、再送によって後に取得されたセンサデータが物体の行動推定に利用される。
【００２４】
（５）前記取得部が取得したセンサデータが示す物体の属性を検知する属性検知部を更に備え、前記所定の閾値は、前記属性検知部が検知する物体の属性に応じた大きさであることが好ましい。
【００２５】
本態様にあっては、行動推定装置は、取得したセンサデータが示す物体の属性を検知し、検知する属性に応じた大きさの閾値より遅延が小さいセンサデータを用いて物体の位置を検出する。これにより、物体の位置検出に適当なセンサデータを最大限に利用できる。
【００２６】
（６）前記行動推定部は、前記属性検知部が検知した物体の属性に基づいて、前記物体の位置の予測及び行動の推定を行うことが好ましい。
【００２７】
本態様にあっては、行動推定装置は、検知した物体の属性に基づいて、物体の位置の予測及び行動の推定を行うため、予測及び推定の信頼性が高まる。
【００２８】
［本発明の実施形態の詳細］
以下、本発明の実施形態に係る行動推定装置、行動推定方法及びコンピュータプログラムの具体例を、以下に図面を参照しつつ説明する。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。また、各実施形態で記載されている技術的特徴は、お互いに組み合わせることが可能である。
【００２９】
（実施形態１）
図１は、実施形態１に係る行動推定装置１の構成例を示すブロック図である。行動推定装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含む制御部１０が全体を制御する。行動推定装置１は、制御部１０の他に、外部のセンサ２との間でデータの入出力を行う取得部１１と、記憶部１２と、時刻及び時間を計時する計時部１３と、外部と通信するための通信部１４とを備える。
【００３０】
記憶部１２は、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ：登録商標）等の不揮発性メモリ、及びＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の書き換え可能なメモリを含む。記憶部１２には、制御部１０が実行する制御プログラム、及び一時的に発生したデータが記憶される。
【００３１】
行動推定装置１は、取得部１１がセンサ２から取得したセンサデータについて再送処理を行う再送部２０と、取得したセンサデータを解析するデータ解析部３０と、取得したセンサデータに基づいてセンサ２が検知した物体の行動を推定する行動推定部４０と、取得したセンサデータを統合的に処理するデータ統合部５０とを更に備える。センサデータは、例えばフレーミングされたデータパケットを構成する。
【００３２】
再送部２０は、取得部１１が取得したセンサデータの欠落の有無を判定する欠落判定部２１と、取得したセンサデータの中断の有無を判定する中断判定部２２と、中断されたセンサデータの再送を要求する再送要求部２３とを有する。本実施形態１では、再送部２０及び該再送部２０が有する各部は、特段の機能を発揮しない。
【００３３】
データ解析部３０は、取得部１１が取得したセンサデータが示す物体の属性を検知する属性検知部３１と、取得したセンサデータの遅延の有無を判定する遅延判定部３２とを有する。行動推定部４０は、取得したセンサデータの連続性の有無を判定する連続性判定部４１を有する。データ統合部５０は、センサデータが示す物体の位置を検出する位置検出部５１を有する。
【００３４】
再送部２０、データ解析部３０、行動推定部４０、データ統合部５０及びこれらが有する上述の各部は、制御部１０がハードウェアを用いて実行するソフトウェア処理によって実現される機能ブロックである。
【００３５】
図２は、実施形態１に係る行動推定装置１における情報の流れを模式的に示す説明図である。ここでは取得部１１及び再送部２０の図示を省略する。図中の矢印付きの実線は遅延が無いセンサデータの流れを示し、矢印付きの破線は遅延が有るセンサデータの流れを示す。また、白抜きの矢印は、処理結果及び生成された情報の流れを示す。図２では、取得部１１がセンサ２から取得するセンサデータに恒常的な遅延が有る場合、又は制御部１０の内部で、例えば処理待ちによるセンサデータの遅延が発生する場合について説明する。
【００３６】
制御部１０が有する取得部１１は、路側に設置された赤外線センサ、画像センサ等のセンサ２から時系列的にセンサデータを取得し、取得したセンサデータを再送部２０に受け渡す。再送部２０は、取得部１１から受け渡されたセンサデータを、データ解析部３０に更に受け渡す。センサ２は、例えば歩道から横断歩道に進入しつつある歩行者３及び車道を横断歩道に向けて走行する車両４を検知する。
【００３７】
データ解析部３０は、取得部１１によって取得されて自身に受け渡されたセンサデータのうち、遅延が無いセンサデータをデータ統合部５０に受け渡す。遅延の有無の判定は、遅延判定部３２にて行う。データ解析部３０は、一方では、取得部１１から受け渡されたセンサデータの全てを、遅延の有無に関わらず行動推定部４０に受け渡す。
【００３８】
データ解析部３０は、また、自身に受け渡されたセンサデータが示す物体の属性を検知する。物体の属性の検知は、属性検知部３１にて行う。ここで言う属性とは、例えば物体が人であるか車であるかの区別、物体の位置、物体の移動速度、物体が人である場合の性別及び服装等を示す情報である。推定される行動には、例えば人の体や顔の向きの変化等が含まれる。車の危険運転も推定される。
【００３９】
遅延判定部３２は、センサデータに含まれるデータの生成時点又は生成順序を示す情報に基づいて、センサデータに所定の閾値より大きい遅延が有るか否かを判定することにより、遅延の有無を判定する。所定の閾値は、属性検知部３１が検知する物体の属性に応じた大きさに都度設定される。所定の閾値は、物体の属性に応じたセンサデータの有効時間であることが好ましい。このような閾値を用いることにより、物体の位置検出に適当なセンサデータを、物体の属性に応じて最大限に利用することができる。
【００４０】
例えばセンサデータにデータの生成時刻を示すタイムスタンプが含まれる場合、センサデータ毎に含まれるタイムスタンプが示す時刻と、計時部１３が計時する時刻との差分が所定の閾値より大きいか否かが判定される。タイムスタンプが示す時刻と、計時部１３が計時する時刻とに誤差が含まれる場合は、誤差の量だけ判定の閾値を大きくすることが好ましい。また例えば、センサデータに順序番号が含まれる場合、順次インクリメントされる順序番号を有するセンサデータがデータ解析部３０に受け渡されるべき時刻と、実際にセンサデータが受け渡された時刻との差分が所定の閾値より大きいか否かが判定される。
【００４１】
行動推定部４０は、データ解析部３０から受け渡された複数フレームのセンサデータに基づき、データ解析部３０が検知した属性を有する物体の位置及び軌跡を予測して予測情報を生成すると共に、当該物体の行動を推定する。行動の推定結果及び生成された予測情報は、通信部１４から外部に送信される。物体の将来の位置に予測行動を付加して外部に配信することもできる。
【００４２】
行動推定部４０は、連続性判定部４１によってセンサデータの連続性の有無を判定し、連続性が有るセンサデータに基づいて物体の行動を推定する。センサデータに連続性が無い場合は、例えば一定時間だけ待機した後に、再びセンサデータの連続性の有無を判定する。
【００４３】
連続性判定部４１は、センサデータに含まれるデータの生成時点又は生成順序を示す情報に基づいて、センサデータに連続性が有るか否かを判定する。例えばセンサデータにタイムスタンプが含まれる場合、センサデータ毎に含まれるタイムスタンプが示す時刻の増分が一定の範囲内に有るか否かによって連続性の有無が判定される。また例えば、センサデータに順序番号が含まれる場合は、順次インクリメントされる順序番号が連続しているか否かによってセンサデータの連続性の有無が判定される。
【００４４】
データ統合部５０は、データ解析部３０から受け渡された遅延が無いセンサデータに基づき、データ解析部３０が検知した属性を有する物体の位置を検出してリアルタイムの物体位置情報を生成する。物体の位置の検出は、位置検出部５１にて行う。ここで言うリアルタイムの情報とは、例えば１００ｍｓ程度の間隔で生成されるものである。生成された物体位置情報は、通信部１４から外部に送信される。取得部１１が複数のセンサ２からセンサデータを取得する場合、データ統合部５０は、複数のセンサデータを取捨選択したり、各センサデータが示す情報を平均化したりする他に、例えば赤外線センサからのセンサデータに画像センサからの画像データを付加する処理を行う。
【００４５】
図３は、物体の位置の予測及び行動の推定の一例を示す説明図である。図３Ａでは、行動推定部４０が移動物体の将来の位置を予測する場合を例示する。具体的に符号Ａ１で示す歩道から横断歩道の中程までの領域では、経過時間と移動物体の位置座標の遷移から、歩行者３である移動物体の移動速度が算出される。そし、符号Ａ２で示す横断歩道の中程以降の領域では、移動物体の移動速度から移動物体の将来の位置が予測される。移動物体の将来の位置を連ねることにより、移動物体の将来の軌跡が予測される。
【００４６】
図３Ｂでは、行動推定部４０が動的物体の振る舞いを推定する場合を例示する。具体的に符号Ｂ１で示す横断歩道に至るまでの歩道上の領域では、歩行者３である動的物体が「走っている」又は「ふらついている」という属性が検知される。そし、符号Ｂ２で示す横断歩道上の領域では、将来赤信号になると予測される横断歩道に移動物体が進入するような危険行動が推定される。
【００４７】
以下では、上述した行動推定装置１の動作を、シーケンス図を用いて説明する。図４は、実施形態１に係る行動推定装置１で物体の行動を推定する制御部１０の処理手順を示すシーケンス図である。図中の再送部２０、データ解析部３０、行動推定部４０及びデータ統合部５０は、上述したように制御部１０がハードウェアを用いて実行するソフトウェア処理によって実現される機能ブロックである。取得部１１は、制御部１０に制御されてセンサ２からセンサデータを取得する。よって、ここでは、図４に示す行動推定装置１に含まれる各部がシーケンスに沿う処理を実行するものとして説明する。
【００４８】
センサ２は、フレーム毎にタイムスタンプ又は順序番号を付与してセンサデータを周期的に送信する（Ｓ２）。取得部１１は、センサ２から取得したセンサデータを再送部２０に受け渡す（Ｓ１１）。再送部２０は、取得部１１から受け渡されたセンサデータをデータ解析部３０に更に受け渡す（Ｓ２１）。
【００４９】
データ解析部３０は、再送部２０から受け渡されたセンサデータが示す物体の属性を属性検知部３１によって検知し（Ｓ３１）、検知した属性に応じた閾値より大きい遅延がセンサデータに有るか否かを遅延判定部３２によって判定する（Ｓ３２）。閾値より大きい遅延が無いと判定した場合（Ｓ３２：ＮＯ）、データ解析部３０は、遅延が無いセンサデータを行動推定部４０及びデータ統合部５０に受け渡す（Ｓ３３）。一方、閾値より大きい遅延が有ると判定した場合（Ｓ３２：ＹＥＳ）、データ解析部３０は、遅延が有るセンサデータを行動推定部４０に受け渡す（Ｓ３４）。
【００５０】
行動推定部４０は、データ解析部３０から受け渡されたセンサデータに連続性が有るか否かを連続性判定部４１によって判定し（Ｓ４１）、連続性が無いと判定した場合（Ｓ４１：ＮＯ）、一定時間待機した（Ｓ４２）後に、ステップＳ４１に処理を移す。この一定時間は、欠落したセンサデータが遅れて取得されるであろう時間より長い時間であることが好ましい。
【００５１】
一方、連続性が有ると判定した場合（Ｓ４１：ＹＥＳ）、行動推定部４０は、センサデータが示す物体について位置の予測及び行動推定を実行する（Ｓ４３）。予測及び推定は、属性検知部３１が検知した属性に基づいて行われることが好ましい。センサデータに遅延が有る場合であっても、遅延量が比較的少ない場合は、センサデータに連続性があると判定されることがあり得る。
【００５２】
データ統合部５０は、データ解析部３０から受け渡された遅延が無いセンサデータに基づき、位置検出部５１によってセンサデータが示す物体の位置をリアルタイムに検出する（Ｓ５１）。
【００５３】
なお、本実施形態１にあっては、再送部２０はセンサデータを単に中継するのみであり、図４に示すシーケンス図から削除してもよい。また，行動推定部４０におけるステップＳ５１からＳ５３を削除して、センサデータの連続性の有無を判定しないようにしてもよい。
【００５４】
以上のように本実施形態１によれば、行動推定装置１は、センサデータに含まれるデータの生成時点又は生成順序を示す情報によって所定の閾値より大きい遅延が無いと判定したセンサデータを用いて物体の位置を検出し、センサデータの遅延の有無にかかわらず、取得したセンサデータを用いて物体の行動を推定する。これにより、取得されたセンサデータが物体の行動推定に漏れなく利用される。従って、センサデータに遅延が有って移動物体の位置がリアルタイムに検出できない場合であっても、移動物体の行動を的確に推定することが可能となる。
【００５５】
また、実施形態１によれば、行動推定装置１は、センサデータに含まれるデータの生成時点又は生成順序を示す情報によって連続性が有ると判定したセンサデータを用いて物体の行動を推定する。従って、センサデータの一部に遅延及び一時的な欠落があった場合であっても、時系列的に連続するセンサデータを物体の行動推定に漏れなく利用することができる。
【００５６】
更に、実施形態１によれば、行動推定装置１は、取得したセンサデータが示す物体の属性を検知し、検知する属性に応じた大きさの閾値より遅延が小さいセンサデータを用いて物体の位置を検出する。従って、物体の位置検出に適当なセンサデータを、物体の属性に応じて最大限に利用することができる。
【００５７】
更に、実施形態１によれば、行動推定装置１は、検知した物体の属性に基づいて、物体の位置の予測及び行動の推定を行うため、予測及び推定の信頼性を高めることができる。
【００５８】
（実施形態２）
実施形態１は、取得したセンサデータに恒常的な遅延が有るか又は取得後のセンサデータに遅延が発生する形態であるのに対し、実施形態２は、取得したセンサデータの一部に欠落があり、欠落したセンサデータが後に取得される形態である。実施形態２に係る行動推定装置１のブロック構成は、実施形態１の図１に示すものと同様であるため、ここでの図示を省略すると共に、実施形態１に対応する箇所には同様の符号を付してその説明を省略する。
【００５９】
図５は、実施形態２に係る行動推定装置１における情報の流れを模式的に示す説明図である。ここでも取得部１１及び再送部２０の図示を省略する。図中の矢印付きの実線は部分的な欠落が有るセンサデータの流れを示し、矢印付きの破線は欠落後に遅れて到達するセンサデータの流れを示す。また、白抜きの矢印は、処理結果及び生成された情報の流れを示す。
【００６０】
データ解析部３０は、取得部１１によって取得されて自身に受け渡されたセンサデータのうち、部分的な欠落が有るセンサデータを行動推定部４０に受け渡す。例えば、１フレーム分のセンサデータが欠落して次のフレームのセンサデータが取得された場合が挙げられる。部分的な欠落の有無の判定は、再送部２０が有する欠落判定部２１にて行う。データ解析部３０が、自身に受け渡されたセンサデータが示す物体の属性を検知するのは、実施形態１の場合と同様である。
【００６１】
データ解析部３０は、また、欠落後に遅れて取得されたセンサデータを行動推定部４０に受け渡す。例えば、１フレーム分だけ欠落したセンサデータが、下位レイヤの再送処理によって再送された場合が挙げられる。この場合のセンサデータは、欠落無しと判定され、欠落した直前のセンサデータと関連付けられて行動推定部４０に受け渡される。
【００６２】
部分的な欠落が有るセンサデータは、データ統合部５０に受け渡されない。欠落後に遅れて取得されたセンサデータは、遅延判定部３２で遅延有りと判定される限りデータ統合部５０に受け渡されない。部分的な欠落が無く、且つ遅延が無いセンサデータは、実施形態１の場合と同様にデータ統合部５０に受け渡される（図５では不図示）。
【００６３】
欠落判定部２１は、センサデータに含まれるデータの生成時点又は生成順序を示す情報に基づいて、センサデータに欠落が有るか否かを判定する。例えばセンサデータにタイムスタンプが含まれる場合、センサデータ毎に含まれるタイムスタンプが示す時刻の増分が一定の範囲から逸脱するか否かによって欠落の有無が判定される。また例えば、センサデータに順序番号が含まれる場合は、順次インクリメントされる順序番号に欠落が有るか否かによってセンサデータの欠落の有無が判定される。
【００６４】
行動推定部４０は、実施形態１の場合と同様に、連続性判定部４１によってセンサデータの連続性の有無を判定し、連続性が有るセンサデータに基づいて物体の行動を推定してもよい。センサデータに連続性が無い場合は、一定時間だけ待機した後に、再びセンサデータの連続性の有無を判定すればよい。
【００６５】
以下では、上述した行動推定装置１の動作を、シーケンス図を用いて説明する。図６は、実施形態２に係る行動推定装置１で物体の行動を推定する制御部１０の処理手順を示すシーケンス図である。実施形態１の場合と同様に、図６に示す行動推定装置１に含まれる各部がシーケンスに沿う処理を実行するものとして説明する。実施形態１の図４に示すステップ番号と同じステップ番号の処理については、説明の一部又は全部を省略する。
【００６６】
再送部２０は、取得部１１から受け渡されたセンサデータに欠落が有るか否かを欠落判定部２１によって判定し（Ｓ２２）、欠落が無いと判定した場合（Ｓ２２：ＮＯ）、欠落が無いセンサデータをデータ解析部３０に受け渡す。一方、欠落があると判定した場合（Ｓ２２：ＹＥＳ）、再送部２０は、欠落が有るセンサデータを、データ解析部３０に受け渡す（Ｓ２４）。
【００６７】
データ解析部３０は、再送部２０のステップＳ２３から受け渡された欠落が無いセンサデータが示す物体の属性を検知し（Ｓ３１）、検知した属性に応じた閾値より大きい遅延がセンサデータに有るか否かを判定する（Ｓ３２）。閾値より大きい遅延が無いと判定した場合（Ｓ３２：ＮＯ）、データ解析部３０は、欠落及び遅延が無いセンサデータを行動推定部４０及びデータ統合部５０に受け渡す（Ｓ３３）。
【００６８】
一方、閾値より大きい遅延が有ると判定した場合（Ｓ３２：ＹＥＳ）、データ解析部３０は、遅延が有るセンサデータを行動推定部４０に受け渡す（Ｓ３４）。データ解析部３０は、また、再送部２０のステップＳ２４から受け渡された欠落が有るセンサデータを行動推定部４０に受け渡す（Ｓ３５）。
【００６９】
行動推定部４０は、データ解析部３０のステップＳ３３から受け渡された欠落及び遅延が無いセンサデータと、ステップＳ３４から受け渡された遅延が有るセンサデータと、ステップＳ３４から受け渡された欠落が有るセンサデータとについて、センサデータが示す物体に係る行動推定を実行する（Ｓ４３）。
【００７０】
データ統合部５０は、データ解析部３０から受け渡された欠落及び遅延が無いセンサデータに基づき、位置検出部５１によってセンサデータが示す物体の位置をリアルタイムに検出する（Ｓ５１）。
【００７１】
以上のように本実施形態２によれば、行動推定装置１は、センサデータに含まれるデータの生成時点又は生成順序を示す情報によってデータの欠落及び遅延が無いと判定したセンサデータを用いて物体の位置を検出し、センサデータの欠落の有無にかかわらず、取得したセンサデータを用いて物体の行動を推定する。従って、取得したセンサデータを物体の行動推定に漏れなく利用することができる。
【００７２】
（実施形態３）
実施形態２は、行動推定装置１が再送を要求することがない形態であるのに対し、実施形態３は、行動推定装置１が積極的に再送を要求する形態である。実施形態３に係る行動推定装置１のブロック構成は、実施形態１の図１に示すものと同様であるため、ここでの図示を省略すると共に、実施形態１に対応する箇所には同様の符号を付してその説明を省略する。
【００７３】
図７は、実施形態３に係る行動推定装置１における情報の流れを模式的に示す説明図である。ここでは取得部１１の図示を省略する。図中の矢印付きの一点鎖線は中断されたセンサデータの流れを示し、矢印付きの実線は再送要求の流れを示し、矢印付きの破線は再送されたセンサデータの流れを示す。また、白抜きの矢印は、処理結果及び生成された情報の流れを示す。本実施形態３で用いられるセンサ２は、外部に出力したセンサデータを一時的に蓄積するストレージ（記憶部）を有することが前提である。
【００７４】
再送部２０は、取得部１１によって取得されて自身に受け渡されるセンサデータに中断が発生したか否かを判定し、中断が発生したと判定した場合、取得部１１を介してセンサ２に再送を要求する。センサデータの中断の有無の判定は、再送部２０が有する中断判定部２２にて行う。再送の要求は、再送部２０が有する再送要求部２３にて行う。再送部２０は、また、センサ２から再送されて自身に受け渡されたセンサデータをデータ解析部３０に受け渡す。
【００７５】
データ解析部３０は、再送されて自身に受け渡されたセンサデータを行動推定部４０に更に受け渡す。再送されたセンサデータは、遅延判定部３２で遅延有りと判定される限りデータ統合部５０に受け渡されない。データ解析部３０が、自身に受け渡されたセンサデータが示す物体の属性を検知するのは、実施形態１の場合と同様である。
【００７６】
中断判定部２２は、最新のセンサデータが取得部１１から受け渡されてから所定時間以上、次のセンサデータが受け渡されない状態が継続するか否かを判定することにより、センサデータの中断の有無を判定する。センサデータの中断は、例えばセンサ２との間の通信接続が切断された場合に生じる。切断された通信接続の再接続は、図示しない他の処理にて行われる。
【００７７】
行動推定部４０は、実施形態１の場合と同様に、連続性判定部４１によってセンサデータの連続性の有無を判定し、連続性が有るセンサデータに基づいて物体の行動を推定してもよい。センサデータに連続性が無い場合は、一定時間だけ待機した後に、再びセンサデータの連続性の有無を判定すればよい。
【００７８】
以下では、上述した行動推定装置１の動作を、シーケンス図を用いて説明する。図８は、実施形態３に係る行動推定装置１で物体の行動を推定する制御部１０の処理手順を示すシーケンス図である。実施形態１の場合と同様に、図８に示す行動推定装置１に含まれる各部がシーケンスに沿う処理を実行するものとして説明する。実施形態１の図４に示すステップ番号と同じステップ番号の処理については、説明の一部又は全部を省略する。
【００７９】
再送部２０は、取得部１１から受け渡されたセンサデータをデータ解析部３０に更に受け渡す（Ｓ２１）。再送部２０は、また、取得部１１から最新のセンサデータを受け渡されてから所定時間以上の中断が有るか否かを中断判定部２２によって判定する（Ｓ２５）。中断がないと判定した場合（Ｓ２５：ＮＯ）、即ち、所定時間内に次のセンサデータが受け渡された場合、再送部２０は特段の処理を行わない。
【００８０】
一方、所定時間以上の中断が有ると判定した場合（Ｓ２５：ＹＥＳ）、再送部２０は、再送要求部２３によって取得部１１に再送要求を受け渡す（Ｓ２６）。この再送要求を受け渡された取得部１１は、受け渡された再送要求をセンサ２に送信する（Ｓ１２）。センサ２は再送を要求されたセンサデータを再送し（Ｓ２）、取得部１１が再送されたセンサデータを再送部２０に更に受け渡す。
【００８１】
データ解析部３０は、再送部２０から受け渡されたセンサデータ（再送データを含む）が示す物体の属性を検知し（Ｓ３１）、検知した属性に応じた閾値より大きい遅延がセンサデータに有るか否かを判定する（Ｓ３２）。再送されたセンサデータは、通常このステップで遅延有りと判定される。
【００８２】
閾値より大きい遅延が無いと判定した場合（Ｓ３２：ＮＯ）、データ解析部３０は、遅延が無いセンサデータを行動推定部４０及びデータ統合部５０に受け渡す（Ｓ３３）。一方、閾値より大きい遅延が有ると判定した場合（Ｓ３２：ＹＥＳ）、データ解析部３０は、遅延が有るセンサデータを行動推定部４０に受け渡す（Ｓ３４）。
【００８３】
行動推定部４０は、データ解析部３０のステップＳ３３から受け渡された遅延が無いセンサデータと、ステップＳ３４から受け渡された遅延が有るセンサデータ（再送データを含む）とについて、センサデータが示す物体に係る行動推定を実行する（Ｓ４３）。これにより、再送されたセンサデータと、中断される直前のセンサデータとに基づいて物体の行動が推定される。
【００８４】
以上のように本実施形態３によれば、行動推定装置１は、センサデータの取得が所定時間以上中断された場合、中断されたセンサデータの再送をセンサ２に要求する。従って、センサデータの取得が中断された場合であっても、再送によって後に取得できたセンサデータを物体の行動推定に利用することができる。
【符号の説明】
【００８５】
１  行動推定装置
１０  制御部
１１  取得部
１２  記憶部
１３  計時部
１４  通信部
２０  再送部
２１  欠落判定部
２２  中断判定部
２３  再送要求部
３０  データ解析部
３１  属性検知部
３２  遅延判定部
４０  行動推定部
４１  連続性判定部
５０  データ統合部
５１  位置検出部
２  センサ
３  歩行者
４  車両
【図１】
2020093624.tif 000003
【図２】
2020093624.tif 000004
【図３】
2020093624.tif 000005
【図４】
2020093624.tif 000006
【図５】
2020093624.tif 000007
【図６】
2020093624.tif 000008
【図７】
2020093624.tif 000009
【図８】
2020093624.tif 000010