(57)【要約】【課題】異なる種類の複数のセンサデータを解析して統合する場合に、遅延したセンサデータを有効に活用でき、精度の高い統合結果を得ることができるデータ統合装置、データ統合システム、データ統合方法及びそのコンピュータプログラムを提供する。【解決手段】データ統合装置は、複数のセンサにより検出されたデータの解析結果を統合するデータ統合装置であって、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、解析結果及び統合結果を統合状態情報とともに記憶する記憶部と、解析結果に対して統合処理を実行する統合部と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する更新部とを含み、統合部は、統合状態情報を参照して統合処理を行なう。【選択図】図４
2019215784.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンサにより検出されたデータの解析結果を統合するデータ統合装置であって、
前記解析結果と前記解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、前記解析結果及び前記統合結果を前記統合状態情報とともに記憶する記憶部と、
前記解析結果に対して前記統合処理を実行する統合部と、
前記解析結果に対する前記統合処理の実行状態に応じて、当該解析結果に対応する前記統合状態情報を変更する更新部とを含み、
前記統合部は、前記統合状態情報を参照して前記統合処理を行なうデータ統合装置。
【請求項２】
前記統合状態情報は、
前記統合処理が実行されていない解析結果であることを表す第１情報と、
前記統合処理が実行された解析結果であることを表す第２情報と、
前記統合結果であることを表す第３情報とを含む、請求項１に記載のデータ統合装置。
【請求項３】
前記第２情報が付与された前記解析結果と、当該解析結果に対応する前記統合結果とに同じ識別情報が付与される、請求項２に記載のデータ統合装置。
【請求項４】
前記更新部は、前記統合処理が実行された前記解析結果に付与された前記第１情報を前記第２情報に変更し、前記識別情報を付与する、請求項３に記載のデータ統合装置。
【請求項５】
前記統合部は、前記第１情報が付与された前記解析結果を統合する対象が、前記第２情報が付与された前記解析結果及び前記第３情報が付与された前記統合結果に含まれているか否かを判定し、当該判定結果に応じて前記統合処理を実行する、請求項２〜４のいずれか１項に記載のデータ統合装置。
【請求項６】
前記統合部は、前記第１情報が付与された前記解析結果の中の１つである特定の解析結果を統合する対象が、前記第２情報を付与された前記解析結果に含まれていると判定したことを受けて、前記対象として特定された前記第２情報が付与された前記解析結果に付与された識別情報と同じ識別情報が付与された前記統合結果に、前記特定の解析結果を統合する、請求項５に記載のデータ統合装置。
【請求項７】
前記統合部は、前記第１情報が付与された前記解析結果の中の１つである特定の解析結果を統合する対象が、前記第２情報が付与された前記解析結果に含まれておらず、前記第３情報が付与された前記統合結果に含まれていると判定したことを受けて、前記対象として特定された前記第３情報が付与された前記統合結果に、前記特定の解析結果を統合する、請求項５又は６に記載のデータ統合装置。
【請求項８】
前記統合部は、前記第１情報が付与された前記解析結果の中の１つである特定の解析結果を統合する対象が、前記第２情報が付与された前記解析結果及び前記第３情報が付与された前記統合結果のいずれにも含まれていないと判定したことを受けて、前記特定の解析結果の複製に前記第３情報と一意の識別情報とを付与して、新たな統合結果を生成する、請求項５〜７のいずれか１項に記載のデータ統合装置。
【請求項９】
前記解析結果及び前記統合結果のそれぞれは、位置情報及び時刻情報を特徴量として含み、
前記統合部による前記判定は、前記第１情報が付与された前記解析結果に含まれている特徴量と、前記第２情報が付与された前記解析結果及び前記第３情報が付与された前記統合結果に含まれている特徴量とが、所定の範囲内にあるか否かを判定することにより成される、請求項５〜８のいずれか１項に記載のデータ統合装置。
【請求項１０】
複数のセンサにより検出されたデータの解析結果を統合するデータ統合方法であって、
前記解析結果と前記解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１ステップと、
前記解析結果及び前記統合結果を前記統合状態情報とともに記憶する第２ステップと、
前記解析結果に対して前記統合処理を実行する第３ステップと、
前記解析結果に対する前記統合処理の実行状態に応じて、当該解析結果に対応する前記統合状態情報を変更する第４ステップとを含み、
前記第３ステップにおいて、前記統合状態情報を参照して前記統合処理が行なわれるデータ統合方法。
【請求項１１】
コンピュータに、
複数のセンサにより検出されたデータの解析結果と前記解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１機能と、
前記解析結果及び前記統合結果を前記統合状態情報とともに記憶する第２機能と、
前記解析結果に対して前記統合処理を実行する第３機能と、
前記解析結果に対する前記統合処理の実行状態に応じて、当該解析結果に対応する前記統合状態情報を変更する第４機能とを実現させ、
前記第３機能において、前記統合状態情報を参照して前記統合処理が行なわれる、コンピュータプログラム。
【請求項１２】
センサを有する複数の装置と、
前記センサにより検出されたデータの解析結果を統合するデータ統合装置とを含み、
前記データ統合装置は、
前記解析結果と前記解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、前記解析結果及び前記統合結果を前記統合状態情報とともに記憶する記憶部と、
前記解析結果に対して前記統合処理を実行する統合部と、
前記解析結果に対する前記統合処理の実行状態に応じて、当該解析結果に対応する前記統合状態情報を変更する更新部とを備え、
前記統合部は、前記統合状態情報を参照して前記統合処理を行なう、データ統合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、データ統合装置、データ統合システム、データ統合方法及びそのコンピュータプログラムに関する。
【背景技術】
【０００２】
街頭監視カメラ、レーダ装置等の固定設置されたセンサ（以下、インフラセンサともいう）によるセンサ情報（以下、センサデータともいう）をサーバコンピュータ（以下、単にサーバともいう）にアップロードし、解析して監視するシステムが提案されている。また、自動車及び自動二輪車等（以下、車両という）にも種々のセンサを搭載し、これらのセンサデータをサーバにアップロードして解析し、運転支援のために使用することが提案されている。車載センサのデータの解析結果と、インフラセンサのデータの解析結果とを合わせて、運転支援のために使用することも提案されている。
【０００３】
複数のセンサによる検出結果を共有することに関しては、例えば、後掲の特許文献１に、センサによって検出された対象物の検出結果によって、他の対象物に影響を与える情報を取得することで、センサ検出性能を向上させるとともに、複数センサの検出結果及びその影響を取得し共有することで、システム全体の性能向上を図るセンサ情報統合方法及びその装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−８５６０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
運転支援等の所定の目的に利用するために、異なる種類の複数のセンサの検出データを解析し、解析結果を統合する場合、全ての解析結果がリアルタイム性を有しているとは限らない（解析結果は、各センサのデータ取得速度、通信回線速度、解析処理の速度に依存する。）ので、例えば、統合処理を、最も早いリアルタイム性を有するセンサに合わせると、統合できないデータが生じ、せっかく取得したセンサデータを有効に活用できない問題がある。
【０００６】
また、高性能のサーバで処理された解析結果を車載装置に送信して運転支援に利用する場合、性能が低い車載装置では、受信したデータを統合データとして（例えば、同時刻のデータとして）活用できない可能性がある。その結果、同一物体を別物体と間違って処理してしまうことも起こり得る。したがって、リアルタイム性の高いデータと、多少の遅延があるデータとをうまく統合することが望まれる。
【０００７】
したがって、本発明は、異なる種類の複数のセンサデータを解析して統合する場合に、遅延したセンサデータを有効に活用でき、精度の高い統合結果を得ることができるデータ統合装置、データ統合システム、データ統合方法及びそのコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明のある局面に係るデータ統合装置は、複数のセンサにより検出されたデータの解析結果を統合するデータ統合装置であって、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、解析結果及び統合結果を統合状態情報とともに記憶する記憶部と、解析結果に対して統合処理を実行する統合部と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する更新部とを含み、統合部は、統合状態情報を参照して統合処理を行なう。
【０００９】
本発明の別の局面に係るデータ統合方法は、複数のセンサにより検出されたデータの解析結果を統合するデータ統合方法であって、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１ステップと、解析結果及び統合結果を統合状態情報とともに記憶する第２ステップと、解析結果に対して統合処理を実行する第３ステップと、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する第４ステップとを含み、第３ステップにおいて、統合状態情報を参照して統合処理が行なわれる。
【００１０】
本発明のさらに別の局面に係るコンピュータプログラムは、コンピュータに、複数のセンサにより検出されたデータの解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１機能と、解析結果及び統合結果を統合状態情報とともに記憶する第２機能と、解析結果に対して統合処理を実行する第３機能と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する第４機能とを実現させ、第３機能において、統合状態情報を参照して統合処理が行なわれる。
【００１１】
本発明のさらに別の局面に係るデータ統合システムは、センサを有する複数の装置と、センサにより検出されたデータの解析結果を統合するデータ統合装置とを含み、データ統合装置は、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、解析結果及び統合結果を統合状態情報とともに記憶する記憶部と、解析結果に対して統合処理を実行する統合部と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する更新部とを備え、統合部は、統合状態情報を参照して統合処理を行なう。
【発明の効果】
【００１２】
本発明によれば、異なる種類の複数のセンサデータを解析して統合する場合に、遅延したセンサデータを有効に活用でき、精度の高い統合結果を得ることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本発明の実施形態に係るデータ統合システムの構成を示すブロック図である。
【図２】図２は、サーバの構成を示すブロック図である。
【図３】図３は、車載装置の構成を示すブロック図である。
【図４】図４は、サーバの機能を示すブロック図である。
【図５】図５は、データベースの構成を示すブロック図である。
【図６】図６は、統合処理の概要を示すブロック図である。
【図７】図７は、サーバの処理を示すフローチャートである。
【図８】図８は、統合処理において、統合中レコード部に統合対象があると判定されたときの処理を示すブロック図である。
【図９】図９は、図８に続く処理を示すブロック図である。
【図１０】図１０は、統合処理において、統合済レコード部に統合対象があると判定されたときの処理を示すブロック図である。
【図１１】図１１は、統合処理において、統合対象がないと判定されたときの処理を示すブロック図である。
【図１２】図１２は、変形例における車載装置の処理を示すフローチャートである。
【発明を実施するための形態】
【００１４】
［本発明の実施形態の説明］
最初に、本発明の実施形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組み合わせてもよい。
【００１５】
（１）本発明の第１の局面に係るデータ統合装置は、複数のセンサにより検出されたデータの解析結果を統合するデータ統合装置であって、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、解析結果及び統合結果を統合状態情報とともに記憶する記憶部と、解析結果に対して統合処理を実行する統合部と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する更新部とを含み、統合部は、統合状態情報を参照して統合処理を行なう。これにより、異なる種類の複数のセンサデータを解析して統合する場合に、リアルタイム性の高いデータと、多少の遅延があるデータとをうまく統合することができる。
【００１６】
（２）好ましくは、統合状態情報は、統合処理が実行されていない解析結果であることを表す第１情報と、統合処理が実行された解析結果であることを表す第２情報と、統合結果であることを表す第３情報とを含む。これにより、効率的に統合処理を行なうことができる。
【００１７】
（３）より好ましくは、第２情報が付与された解析結果と、当該解析結果に対応する統合結果とに同じ識別情報が付与される。これにより、高速且つ効率的に統合処理を行なうことができる。
【００１８】
（４）さらに好ましくは、更新部は、統合処理が実行された解析結果に付与された第１情報を第２情報に変更し、識別情報を付与する。これにより、統合処理が実行された解析結果が残り、新たな解析結果に対する統合処理において参照されるので、多少遅延したセンサデータの解析結果をもリアルタイム情報に反映して活用することができる。また、リアルタイム性の高い解析結果と、多少の遅延がある解析結果とをうまく統合することができ、同一物体を別の物体と間違って処理してしまうことを回避することができる。
【００１９】
（５）好ましくは、統合部は、第１情報が付与された解析結果を統合する対象が、第２情報が付与された解析結果及び第３情報が付与された統合結果に含まれているか否かを判定し、当該判定結果に応じて統合処理を実行する。これにより、効率的に統合処理を行なうことができる。
【００２０】
（６）より好ましくは、統合部は、第１情報が付与された解析結果の中の１つである特定の解析結果を統合する対象が、第２情報を付与された解析結果に含まれていると判定したことを受けて、対象として特定された第２情報が付与された解析結果に付与された識別情報と同じ識別情報が付与された統合結果に、特定の解析結果を統合する。これにより、効率的に統合処理を行なうことができる。
【００２１】
（７）さらに好ましくは、統合部は、第１情報が付与された解析結果の中の１つである特定の解析結果を統合する対象が、第２情報が付与された解析結果に含まれておらず、第３情報が付与された統合結果に含まれていると判定したことを受けて、対象として特定された第３情報が付与された統合結果に、特定の解析結果を統合する。これにより、遅延したセンサデータの解析結果を有効に活用でき、精度の高い統合結果を得ることができる。
【００２２】
（８）好ましくは、統合部は、第１情報が付与された解析結果の中の１つである特定の解析結果を統合する対象が、第２情報が付与された解析結果及び第３情報が付与された統合結果のいずれにも含まれていないと判定したことを受けて、特定の解析結果の複製に第３情報と一意の識別情報とを付与して、新たな統合結果を生成する。これにより、センサデータを無駄にすることなく有効に活用することができる。
【００２３】
（９）より好ましくは、解析結果及び統合結果のそれぞれは、位置情報及び時刻情報を特徴量として含み、統合部による判定は、第１情報が付与された解析結果に含まれている特徴量と、第２情報が付与された解析結果及び第３情報が付与された統合結果に含まれている特徴量とが、所定の範囲内にあるか否かを判定することにより成される。これにより、より精度の高い統合結果を得ることができ、同一物体を別の物体と間違って処理してしまうことをより確実に回避することができる。
【００２４】
（１０）本発明の第２の局面に係るデータ統合方法は、複数のセンサにより検出されたデータの解析結果を統合するデータ統合方法であって、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１ステップと、解析結果及び統合結果を統合状態情報とともに記憶する第２ステップと、解析結果に対して統合処理を実行する第３ステップと、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する第４ステップとを含み、第３ステップにおいて、統合状態情報を参照して統合処理が行なわれる。これにより、異なる種類の複数のセンサデータを解析して統合する場合に、リアルタイム性の高いデータと、多少の遅延があるデータとをうまく統合することができる。
【００２５】
（１１）本発明の第３の局面に係るコンピュータプログラムは、コンピュータに、複数のセンサにより検出されたデータの解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与する第１機能と、解析結果及び統合結果を統合状態情報とともに記憶する第２機能と、解析結果に対して統合処理を実行する第３機能と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する第４機能とを実現させ、第３機能において、統合状態情報を参照して統合処理が行なわれる。これにより、異なる種類の複数のセンサデータを解析して統合する場合に、リアルタイム性の高いデータと、多少の遅延があるデータとをうまく統合することができる。
【００２６】
（１２）本発明の第４の局面に係るデータ統合システムは、センサを有する複数の装置と、センサにより検出されたデータの解析結果を統合するデータ統合装置とを含み、データ統合装置は、解析結果と解析結果に統合処理が実行されて得られた統合結果とに統合状態情報を付与して、解析結果及び統合結果を統合状態情報とともに記憶する記憶部と、解析結果に対して統合処理を実行する統合部と、解析結果に対する統合処理の実行状態に応じて、当該解析結果に対応する統合状態情報を変更する更新部とを備え、統合部は、統合状態情報を参照して統合処理を行なう。これにより、異なる種類の複数のセンサデータを解析して統合する場合に、リアルタイム性の高いデータと、多少の遅延があるデータとをうまく統合することができる。
【００２７】
［本発明の実施形態の詳細］
以下の実施形態では、同一の部品には同一の参照番号を付してある。それらの名称及び機能も同一である。したがって、それらについての詳細な説明は繰返さない。
【００２８】
（実施形態）
［全体構成］
図１を参照して、本発明の実施形態に係るデータ統合システム１００は、第１センサ装置１０２、第２センサ装置１０４、基地局１０６、ネットワーク１０８を介して基地局１０６と通信するサーバ１１０、及び、車両１１２を含む。ここでは、データ統合システム１００を構成する各要素間の通信は、移動通信の基地局１０６により行なわれるとする。基地局１０６はＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）回線及び５Ｇ（第５世代移動通信システム）回線等による移動通信サービスを提供している。サーバ１１０は、第１センサ装置１０２、第２センサ装置１０４及び車両１１２から、基地局１０６を介してアップロードされるセンサ情報を受信して解析し、解析結果を統合して、運転支援のために、例えば車両１１２に送信する。図１には、第１センサ装置１０２及び第２センサ装置１０４の検出対象である対象物１１４を示している。
【００２９】
車両１１２が搭載している車載装置は、ＬＴＥ回線及び５Ｇ回線等による通信機能を有している。第１センサ装置１０２及び第２センサ装置１０４は道路及びその周辺に設置されたセンサを備えた装置（インフラセンサ）であり、基地局１０６との通信機能を有している。第１センサ装置１０２及び第２センサ装置１０４は異なる種類のセンサであり、第１センサ装置１０２は、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ、Ｌａｓｅｒ  Ｉｍａｇｉｎｇ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）等のレーザレーダであり、第２センサ装置１０４は、例えばデジタルの監視カメラである。
【００３０】
図１には、代表的に１つの基地局１０６、２つのインフラセンサ（第１センサ装置１０２及び第２センサ装置１０４）、１台の車両１１２を示しているが、これに限定されない。通常、複数の基地局が設けられ、複数の車両に移動通信機能を提供している。インフラセンサは、３台以上設置されていてもよい。サーバ１１０は、より多くの固定設置されたセンサ及びより多くの車両の車載装置と通信し、情報を収集して解析し、運転支援情報を提供する。
【００３１】
［サーバのハードウェア構成］
図２を参照して、サーバ１１０は、各部を制御する制御部１２０と、データを記憶するメモリ１２２と、通信を行なう通信部１２４と、各部の間でデータを交換するためのバス１２６とを含む。制御部１２０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を含んで構成されており、各部を制御することにより、後述する機能を実現する。メモリ１２２は、書換可能な半導体の不揮発性メモリ及びハードディスクドライブ（以下、ＨＤＤという）等の大容量記憶装置を含む。通信部１２４は、道路等に配置された第１センサ装置１０２及び第２センサ装置１０４からアップロードされるセンサ情報、並びに、車両１１２の車載装置からアップロードされるセンサ情報を、基地局１０６を介して受信する。通信部１２４により受信されたデータは、メモリ１２２に伝送され、データベースとして記憶される。
【００３２】
［車載装置のハードウェア構成］
図３を参照して、車両１１２に搭載されている車載装置１４０のハードウェア構成の一例を示す。車載装置１４０は、センサ１４２に接続されたインターフェイス部（以下、Ｉ／Ｆ部という）１４４、無線通信を行なう通信部１４６、データを記憶するメモリ１４８、それらを制御する制御部１５０、及び、各部の間でデータを交換するためのバス１５２を含む。
【００３３】
センサ１４２は、車両１１２に搭載されている公知のセンサである。車両には、種々のセンサが搭載されているが、それらのうちセンサ１４２は、サーバ１１０による運転支援に利用できるものを意味する。センサ１４２は、例えば、デジタルカメラ（ＣＣＤカメラ、ＣＭＯＳカメラ）、レーダ（ミリ波レーダ、レーザレーダ）等である。センサ１４２は、対象物を検知して所定の検出信号（アナログ信号又はデジタルデータ）を出力する。センサ１４２による検出信号はＩ／Ｆ部１４４に入力される。Ｉ／Ｆ部１４４はＡ／Ｄ変換部を含み、アナログ信号が入力されると所定周波数でサンプリングし、デジタルデータ（センサ情報）を生成して出力する。生成されたデジタルデータは、メモリ１４８に伝送されて記憶される。センサ１４２からの出力信号がデジタルデータであれば、Ｉ／Ｆ部１４４は、入力されるデジタルデータをメモリ１４８に記憶する。メモリ１４８は、例えば書換可能な不揮発性の半導体メモリ又はＨＤＤである。
【００３４】
通信部１４６は、ＬＴＥ回線及び５Ｇ回線等の移動通信機能を有し、サーバ１１０との通信を行なう。車載装置１４０とサーバ１１０との間の通信は基地局１０６を介して行なわれる。通信部１４６は、ＬＴＥ回線及び５Ｇ回線等のそれぞれで採用されている変調及び多重化を行なうためのＩＣ、所定周波数の電波を放射及び受信するためのアンテナ、並びにＲＦ回路等により構成されている。制御部１５０は、ＣＰＵを含んで構成されており、各部を制御することにより車載装置１４０の機能を実現する。
【００３５】
［インフラセンサのハードウェア構成］
インフラセンサである第１センサ装置１０２及び第２センサ装置１０４も、基本的に車載装置１４０と同様に構成されており、センサにより取得したセンサ情報（例えば、ビデオ映像等）をサーバ１１０にアップロードする。ここでは、第１センサ装置１０２及び第２センサ装置１０４とサーバ１１０との通信は、基地局１０６を介して行なわれるとするが、固定設置されている第１センサ装置１０２及び第２センサ装置１０４の通信機能は任意である。ＷｉＦｉ等の無線ＬＡＮによる通信機能であってもよい。なお、ＷｉＦｉ通信の場合、移動通信の基地局１０６とは別にＷｉＦｉサービスを提供する装置（無線ルータ等）が設けられ、第１センサ装置１０２及び第２センサ装置１０４はサーバ１１０とネットワーク１０８を介して通信する。
【００３６】
［サーバの機能的構成］
図４を参照して、サーバ１１０の機能について説明する。サーバ１１０は、パケットデータを受信するパケット受信部１８０と、パケットデータを送信するパケット送信部１８２と、受信データ（センサ情報）に対して所定の解析処理を実行する解析処理部１８４と、解析結果に対して統合処理を実行する統合処理部１８６とを含む。
【００３７】
パケット受信部１８０は、第１センサ装置１０２、第２センサ装置１０４、及び車両１１２の車載装置１４０から送信されたセンサ情報を含むパケットデータを受信すると、受信データを解析処理部１８４に入力する。パケット受信部１８０の機能は、図２の通信部１２４及びメモリ１２２により実現される。
【００３８】
解析処理部１８４は、入力されるパケットデータに含まれるセンサ情報に対して解析処理を実行して対象物１１４を検出する。ここでは、検出の対象物は移動しているもの（人を含む。以下、移動物体という）である。解析処理には、公知の対象物の検出処理、及び特徴量の抽出処理を使用することができ、例えば、検出された移動物体に関する特徴量（位置、時刻、移動情報（速度、方向）、大きさ、形状、色等）を求めることができる。解析処理部１８４は、例えば図２の制御部１２０及びメモリ１２２により実現される。なお、サーバ１１０は、解析処理部１８４用の専用のハードウェア（回路基板、ＡＳＩＣ等）を備えていてもよい。
【００３９】
統合処理部１８６は、解析処理部１８４から新たな解析結果（移動物体に関する特徴量）が入力されると、その解析結果を、統合されデータベースに記憶されている過去の解析結果と統合する処理を実行する。統合された結果は、適宜運転支援情報（パケットデータ）としてパケット送信部１８２を介して、車両１１２に送信される。統合処理部１８６は、例えば図２の制御部１２０及びメモリ１２２により実現される。サーバ１１０は、統合処理部１８６用の専用のハードウェア（回路基板、ＡＳＩＣ等）を備えていてもよい。
【００４０】
統合処理の詳細は後述するが、概要は次の通りである。解析処理部１８４による解析結果として、例えば、移動物体を特定する識別情報（以下、移動物体ＩＤという）とその特徴量との組｛移動物体ＩＤ，特徴量｝（以下、レコードともいう）が生成される。図５及び図６を参照して、統合処理部１８６は、解析処理部１８４により作成された新規解析結果２０８の各レコード（解析結果、例えば｛移動物体ＩＤ，特徴量｝）に、「未統合」のラベルを付与して、データベース２００の未統合レコード部２０２に登録する。統合処理部１８６は、未統合レコード部２０２の各未統合レコード（「未統合」のラベルが付与されているレコード。例えば図６のレコード２１０）を、統合中レコード部２０４の各統合中レコード（「統合中」のラベルが付与されている、既に統合された過去のレコード）と比較して、統合対象があるか否かを判定する。統合対象の有無は、例えば、レコード（解析結果）に特徴量として含まれる位置及び時刻が所定範囲内であるか否かにより判定される。例えば、位置に関しては５ｍ以内、且つ時刻に関しては５００ｍｓｅｃ以内であれば、統合対象と判定する。統合対象があれば、統合処理部１８６は、統合対象として特定された統合中レコードの識別情報（以下、統合ＩＤともいう）と同じ識別情報が付与された統合済レコード部２０６中の統合済レコード（「統合済」のラベルが付与されている、過去の統合結果のレコード）に、未統合レコード（例えばレコード２１０）を統合する。
【００４１】
統合処理部１８６は、統合中レコード部２０４に統合対象が見つからなければ、統合済レコード部２０６の各統合済レコードと比較して、統合対象があるか否かを判定する。統合中レコード部２０４の古いレコードは削除されるので、統合対象が統合中レコード部２０４に見つからなくても、統合済レコード部２０６に見つかる可能性がある。統合対象があれば、統合対象として特定された統合済レコードに、未統合レコードを統合する。
【００４２】
統合処理部１８６は、統合中レコード部２０４及び統合済レコード部２０６のいずれにも統合対象が見つからなければ、その未統合レコード（例えばレコード２１０）を統合済レコード部２０６に追加（コピーして「統合済」のラベルを付与）する。
【００４３】
さらに、統合処理部１８６は、統合処理を実行した未統合レコードのラベルを、「未統合」から「統合中」に変更する機能を有する。これにより、未統合レコード部２０２のレコードは、統合中レコード部２０４に移動されることになる。なお、未統合レコード部２０２、統合中レコード部２０４及び統合済レコード部２０６は、個別の集合（例えばテーブル形式）として管理されても、ラベル（未統合、統合中、統合済）を要素の属性とする１つの集合（テーブル形式）として管理されてもよい。
【００４４】
［サーバの動作］
図７を参照して、サーバ１１０による統合処理に関して、より具体的に説明する。図７に示した処理は、制御部１２０が、所定のプログラムをメモリ１２２から読出して実行することにより実現される。なお、制御部１２０は、統合処理とは別に、上記した解析処理を実行し、解析結果を本プログラムに引き渡す。また、制御部１２０は、本プログラムにより統合された結果を、適宜運転支援情報として車両１１２に送信する。
【００４５】
ステップ３００において、制御部１２０は、新規の解析結果（レコード）があるか否かを判定する。あると判定された場合、制御はステップ３０２に移行する。そうでなければ、制御はステップ３０４に移行する。
【００４６】
ステップ３０２において、制御部１２０は、新規のレコードに「未統合」のラベルを付与して、データベース２００に登録する。その後、制御はステップ３０６に移行する。
【００４７】
一方、新規の解析結果がなければ、ステップ３０４において、制御部１２０は、統合中レコードのうち所定時間が経過したレコードを削除する。その後、制御はステップ３００に戻る。所定時間は、例えば５００ｍｓｅｃである。上記したように、各統合中レコードは、特徴量に時刻情報を含む。時刻情報は、例えば、その特徴量が生成されるもとになるセンサデータが、取得された時刻である。即ち、サーバ１１０がセンサから受信するパケットデータには、時刻情報（センサデータの取得時刻）が含まれている。削除の判定基準である所定時間は、予め設定されていればよい。制御部１２０は、現在時刻を内部のタイマから取得して、ステップ３０４が前回実行されたとき（基準時刻）から所定時間が経過したか否かを判定することができる。制御部１２０は、現在時刻を、次回ステップ３０４が実行されるときの基準時刻としてメモリ１２２に記憶する。ステップ３０４が初めて実行される場合には、本プログラムの開始時刻を基準時刻とすればよい。
【００４８】
ステップ３０６において、制御部１２０は、未統合レコードの中から１つレコードを選択する。
【００４９】
ステップ３０８において、制御部１２０は、ステップ３０６で選択されたレコードに関して、複数の統合中レコードの中に統合対象があるか否かを判定する。統合対象があると判定された場合、制御はステップ３１０に移行する。そうでなければ、制御はステップ３１４に移行する。具体的には、制御部１２０は、統合中レコードのそれぞれに含まれている位置（座標）が、ステップ３０６で選択されたレコードに含まれている位置（座標）の所定範囲（所定距離）内にあるか否かを判定する。また、制御部１２０は、統合中レコードのそれぞれに含まれている時刻が、ステップ３０６で選択されたレコードに含まれている時刻の所定範囲（所定時間）内にあるか否かを判定する。制御部１２０は、位置座標及び時刻が共に所定範囲内にある統合中レコードがあれば、ステップ３０６で選択されたレコードに関して、統合対象があると判定する。そうでなければ、制御部１２０は、ステップ３０６で選択されたレコードに関して、統合対象がないと判定する。
【００５０】
ステップ３１０において、制御部１２０は、ステップ３０８で統合対象であると判定された統合中レコードの統合ＩＤと同じ統合ＩＤを持つ統合済レコードに、ステップ３０６で選択されたレコードを統合する。図８を参照して、例えば、レコード２１０に含まれる位置及び時刻と、レコード２２０に含まれる位置及び時刻とが所定範囲内にある場合、レコード２２０が統合対象として特定される。そして、レコード２２０に付与されている統合ＩＤ２２２（ＩＤｊ）と同じ統合ＩＤ２２４（ＩＤｊ）が付与されているレコード２２６に、レコード２１０を統合する。レコード２１０のレコード２２６への統合は、例えば、レコード２１０の情報をコピーしてレコード２２６に追加することにより行なわれる。このとき、重複する情報は削除されてもよい。
【００５１】
ステップ３１２において、制御部１２０は、ステップ３０６で選択された未統合レコードのラベルを「統合中」に変更し、統合先の統合レコードの統合ＩＤと同じ統合ＩＤを付与する。これにより、ステップ３０６で選択された未統合レコードは、統合中レコードとなる。図９を参照して、例えば、レコード２１０は、統合先のレコード２２６に付与されている統合ＩＤ２２４（ＩＤｊ）と同じ統合ＩＤ２２８（ＩＤｊ）が付与され、そのラベルは「統合中」に変更される。
【００５２】
一方、ステップ３０８で、統合対象なしと判定された場合、ステップ３１４において、制御部１２０は、ステップ３０６で選択されたレコードに関して、複数の統合済レコードの中に統合対象があるか否かを判定する。統合対象があると判定された場合、制御はステップ３１６に移行する。そうでなければ、制御はステップ３１８に移行する。具体的には、制御部１２０は、ステップ３１０と同様に、統合済レコードのそれぞれに含まれている位置及び時刻が、ステップ３０６で選択されたレコードに含まれている位置及び時刻の所定範囲にあるか否かを判定する。制御部１２０は、位置座標及び時刻が共に所定範囲内にある統合済レコードがあれば、ステップ３０６で選択されたレコードに関して、統合対象があると判定する。そうでなければ、制御部１２０は、ステップ３０６で選択されたレコードに関して、統合対象がないと判定する。
【００５３】
ステップ３１６において、制御部１２０は、ステップ３１４で統合対象であると特定された統合済レコードに、ステップ３０６で選択されたレコードを統合する。図１０を参照して、例えば、レコード２１０に含まれる位置及び時刻と、レコード２３０に含まれる位置及び時刻とが所定範囲内にある場合、レコード２３０が統合対象として特定される。そして、レコード２３０にレコード２１０を統合する。レコード２１０のレコード２３０への統合は、例えば、レコード２１０の情報をコピーしてレコード２３０に追加することにより行なわれる。このとき、重複する情報は削除されてもよい。その後、制御はステップ３１２に移行し、上記した処理が実行される。即ち、ステップ３１２では、図１０を参照して、例えば、レコード２１０は、統合先のレコード２３０に付与されている統合ＩＤ２３２（ＩＤｋ）と同じ統合ＩＤ２３４（ＩＤｋ）が付与され、そのラベルは「統合中」に変更される。
【００５４】
ステップ３１８において、制御部１２０は、ステップ３０６で選択されたレコードを統合するレコードがないので、ステップ３０６で選択されたレコードをコピーしてその複製に、「統合済」のラベルと、新規の統合ＩＤとを付与する。これにより、新たに統合済レコードが追加される。新規の統合ＩＤは、既に統合済レコードに付与されているＩＤと重複しないように一意に決定される。図１１を参照して、例えば、レコード２１０がコピーされてレコード２４０が生成され、レコード２４０に統合ＩＤ２４２と「統合済」のラベルが付与される。
【００５５】
ステップ３２０において、制御部１２０は、ステップ３０６で選択された未統合レコードのラベルを「統合中」に変更し、ステップ３１８でコピーして生成した統合済レコードに付与した統合ＩＤと同じＩＤを付与する。これにより、ステップ３０６で選択された未統合レコードは、統合中レコードとなる。図１１を参照して、例えば、レコード２１０は、レコード２４０に付与された統合ＩＤ２４２（ＩＤｐ）と同じ統合ＩＤ２４４（ＩＤｐ）が付与され、そのラベルは「統合中」に変更される。
【００５６】
ステップ３２２において、制御部１２０は、ステップ３０２で未統合のラベルが付与されて登録された未統合レコードがあるか否かを判定する。未統合レコードがあると判定された場合、制御はステップ３０６に戻る。そうでなければ、制御はステップ３２４に移行する。上記したように、ステップ３０２で登録された未統合レコードは、ステップ３１２及びステップ３２０において、ラベルが「統合中」に変更されるので、未統合レコードは統合処理が進むにつれて少なくなる。
【００５７】
ステップ３２４において、制御部１２０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ３００に戻る。終了の指示は、例えば、サーバ１１０が管理者等により操作されることにより成される。
【００５８】
以上により、サーバ１１０は、第１センサ装置１０２、第２センサ装置１０４及び車両１１２から受信したセンサデータを解析し、解析結果をデータベース２００に記憶している過去の解析結果（統合済レコード）に統合することができる。例えば、種々のセンサから送信されたセンサデータの解析結果を、移動物体毎に統合することができる。
【００５９】
センサデータは、種々のセンサから、種々のタイミングで送信され、リアルタイム性の高いものと低いものもとが混在しているが、リアルタイム性の高いデータと、多少の遅延があるデータとを、例えば移動物体毎に、うまく統合することができる。したがって、受信したセンサデータを無駄にすることなく、運転支援情報として有効に活用することができる。例えば、種類の異なるセンサの検出データの解析結果が生成されてデータベースに登録されるタイミング（周期等）は様々である。例えば、ＬｉＤＡＲの検出データの解析結果が所定のタイミング（例えば１００ｍｓｅｃ間隔）で生成され、カメラの検出データ（映像データ）の解析結果がそれよりも長いタイミング（例えば２００ｍｓｅｃ間隔）で生成され、データベースに登録されるような場合が考えられる。そのような場合にも、両者の解析結果に含まれる対応する移動物体の情報を統合することができる。
【００６０】
上記のように、データベースにおいて、レコード（解析結果）を未統合、統合中及び統合済に分類することにより、効率的に統合処理を行なうことができる。また、統合中レコードと統合済レコードに同じ統合ＩＤを付与することにより、高速且つ効率的に統合処理を行なうことができる。
【００６１】
上記のように、統合処理が実行された未統合レコードを、所定の期間、統合中レコードとして残すことにより、多少遅延したセンサデータの解析結果をもリアルタイム情報に反映して活用することができる。また、リアルタイム性の高い解析結果と、多少の遅延がある解析結果とをうまく統合することができ、同一物体を別の物体と間違って処理してしまうことを回避することができる。
【００６２】
上記のように、未統合レコードを統合する対象を、最初に統合中レコードの中で探し、ない場合に統合済レコードの中を探すことにより、効率的に統合処理を行なうことができる。また、所定時間以上前の統合中レコードが削除されても、統合済レコードを検索して、統合可能なレコードを探して、未統合レコードを統合することにより、遅延したセンサデータの解析結果を有効に活用でき、精度の高い統合結果を得ることができる。さらに、未統合レコードを統合する対象がない場合には、その未統合レコードを統合済レコードとして新たに登録することにより、センサデータを無駄にすることなく有効に活用することができる。
【００６３】
上記のように、未統合レコードを統合できるか否かを、レコードに特徴量として含まれる位置情報及び時刻情報により判定することにより、より精度の高い統合結果を得ることができ、同一物体を別の物体と間違って処理してしまうことをより確実に回避することができる。
【００６４】
（変形例）
上記では、サーバ１１０が解析処理を実行する場合を説明したが、これに限定されない。第１センサ装置１０２、第２センサ装置１０４、及び車両１１２の車載装置１４０がそれぞれ解析処理を実行してもよい。例えば、車両１１２の車載装置１４０が、センサ１４２から取得したセンサデータを解析し、その結果をサーバ１１０に送信してもよい。その場合、車載装置１４０の制御部１５０は、図１２に示した処理を実行すればよい。ここでは、センサ１４２により検出されたセンサデータは、Ｉ／Ｆ部１４４により適宜メモリ１４８に記憶されるとする。
【００６５】
ステップ４００において、制御部１５０は、解析処理を開始するか否かを判定する。解析処理を開始すると判定された場合、制御はステップ４０２に移行する。そうでなければ、ステップ４００の処理が繰返される。例えば、センサ１４２により検出されたセンサデータが所定量メモリ１４８に記憶されたときに、解析処理を開始することができる。また、所定の時間間隔で解析処理を開始してもよい。
【００６６】
ステップ４０２において、制御部１５０は、メモリ１４８からセンサデータを読み出して解析処理を実行し、その結果をメモリ１４８に記憶する。解析処理は、サーバ１１０により実行される上記した処理と同様の処理であればよい。なお、車載装置１４０の性能がサーバ１１０よりも低い場合には、サーバ１１０が実行する解析処理よりも負荷の軽い解析処理が実行されてもよい。
【００６７】
ステップ４０４において、制御部１５０は、ステップ４０２でメモリ１４８に記憶された解析結果をサーバ１１０に送信する。具体的には、制御部１５０は、通信部１４６を制御し、解析結果を含むパケットデータを、基地局１０６を介してサーバ１１０に送信する。続いて、ステップ４０６において、制御部１５０は、ステップ４０４で送信した解析結果をメモリ１４８から削除する。続いて、ステップ４０８において、制御部１５０は、終了の指示を受けたか否かを判定する。終了の指示を受けたと判定された場合、本プログラムは終了する。そうでなければ、制御はステップ４００に戻る。終了の指示は、例えば、車両１１２のエンジンがオフされたことにより成される。
【００６８】
第１センサ装置１０２及び第２センサ装置１０４も、車両１１２と同様に、検出したセンサデータを解析し、解析結果をサーバ１１０に送信してもよい。解析結果を受信したサーバ１１０は、解析処理を行なうことなく、上記したように、図７に示した統合処理を実行することができる。
【００６９】
上記では、統合処理の対象を判定する基準として使用される時刻情報が、センサデータを取得した時刻である場合を説明したが、これに限定されない。通常、通信の遅延時間は比較的小さいので、判定に使用される時刻は、センサデータがサーバ１１０により受信された時刻であってもよい。サーバ１１０によるセンサデータの受信時刻を使用することは、各センサの時刻が同期していない場合に有効である。その場合、サーバ１１０が受信するパケットデータには時刻情報が含まれていなくてもよい。さらに、解析処理に要する時間が小さい場合には、判定に使用される時刻は、センサデータがサーバ１１０により解析されて解析結果が生成された時刻であってもよい。即ち、サーバ１１０は時刻情報を含めて解析結果を生成すればよい。
【００７０】
上記では、統合対象の判定条件として位置及び時刻を用い、位置に関しては５ｍ以内、且つ時刻に関しては５００ｍｓｅｃ以内であることを説明したが、これに限定されない。これら以外の値であってもよい。また、解析結果に含まれる移動物体の別の特徴量を用いてもよい。例えば、移動物体が車であれば、特徴量として車種、車体の色等が挙げられる。移動物体が歩行者であれば、特徴量として身長、服の色等が挙げられる。これらのいずれかの特徴量を、位置及び時刻の代わりに用いて、又は、位置及び時刻と組合せて用いて、統合対象を判定してもよい。
【００７１】
上記では、解析結果に「未統合」、「統合中」及び「統合済」のラベルを付与する場合を説明したが、これに限定されない。解析結果の３種類の状態（統合処理が実行されていない状態／統合処理が実行された状態／統合結果に含まれた状態）を区別できればよく、付与されるラベルは任意である。
【００７２】
また、所定時間が経過した統合中データを削除する処理に関して、所定時間は任意に設定することができる。センサの種類等を考慮して、例えば１０ｓｅｃ未満の時間を設定することができる。
【００７３】
以上、実施の形態を説明することにより本発明を説明したが、上記した実施の形態は例示であって、本発明は上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【００７４】
１００    データ統合システム
１０２    第１センサ装置
１０４    第２センサ装置
１０６    基地局
１０８    ネットワーク
１１０    サーバ
１１２    車両
１１４    対象物
１２０、１５０    制御部
１２２、１４８    メモリ
１２４、１４６    通信部
１２６、１５２    バス
１４０    車載装置
１４２    センサ
１４４    Ｉ／Ｆ部
１８０    パケット受信部
１８２    パケット送信部
１８４    解析処理部
１８６    統合処理部
２００    データベース
２０２    未統合レコード部
２０４    統合中レコード部
２０６    統合済レコード部
２０８    新規解析結果
２１０、２２０、２２６、２３０、２４０    レコード
２２２、２２４、２２８、２３２、２３４、２４２、２４４    統合ＩＤ
【図１】
2019215784.tif 000003
【図２】
2019215784.tif 000004
【図３】
2019215784.tif 000005
【図４】
2019215784.tif 000006
【図５】
2019215784.tif 000007
【図６】
2019215784.tif 000008
【図７】
2019215784.tif 000009
【図８】
2019215784.tif 000010
【図９】
2019215784.tif 000011
【図１０】
2019215784.tif 000012
【図１１】
2019215784.tif 000013
【図１２】
2019215784.tif 000014