(57)【要約】【課題】車両の周囲の状況認識において認識の誤りが発生したときのデータを抽出する。【解決手段】情報処理装置（１）は、第１情報を逐次取得する第１情報取得部（１１）と、第２情報を逐次取得する第２情報取得部（１２）と、第１情報に基づき、車両（５０）の周囲の状況をリアルタイムで認識する第１認識部（１４）と、第２情報に基づき、車両（５０）の周囲の状況をリアルタイムで認識する第２認識部（１５）と、第１認識部（１４）の認識結果と第２認識部（１５）の認識結果とに不整合が生じた場合、第１情報および第２情報それぞれから、不整合が生じた時点における測定情報を含む部分データを抽出して互いに関連付ける抽出部（１６）と、を備える。【選択図】図１
2020149358.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲の状況に関するデータを測定する複数の車載センサと通信する、情報処理装置であって、
前記車載センサの一種である第１センサの測定情報である第１情報を逐次取得する第１情報取得部と、
前記車載センサの一種であり、前記第１センサと異なるセンサである第２センサの測定情報である第２情報を逐次取得する第２情報取得部と、
前記第１情報に基づき、前記周囲の状況をリアルタイムで認識する第１認識部と、
前記第２情報に基づき、前記周囲の状況をリアルタイムで認識する第２認識部と、
前記第１認識部の認識結果と前記第２認識部の認識結果とに不整合が生じた場合、前記第１情報および前記第２情報それぞれから、前記不整合が生じた時点における測定情報を含む部分データを抽出して互いに関連付ける抽出部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記第１認識部および前記第２認識部は、前記周囲の状況として、前記車両の周囲に在る物体、前記車両が走行中の道路の特徴部分、および、前記物体の現在位置もしくは将来位置のうち、少なくとも１つを認識することを特徴とする、請求項１に記載の情報処理装置。
【請求項３】
前記抽出部は、前記第１情報および前記第２情報それぞれから、前記不整合が生じた時点の前後にわたる所定期間分の測定情報を含む部分データを抽出して、互いに関連付けることを特徴とする、請求項１または２に記載の情報処理装置。
【請求項４】
前記第２センサは、前記第１センサよりも高精度な測定情報を得られるセンサであることを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記第１センサおよび前記第２センサは、それぞれ種類の異なるＬｉＤＡＲ（Light Detection and Ranging）であることを特徴とする、請求項４に記載の情報処理装置。
【請求項６】
前記車載センサの一種である第３センサの測定情報である第３情報を逐次取得する第３情報取得部と、
前記第３情報に基づき、前記周囲の状況をリアルタイムで認識する第３認識部と、を備え、
前記抽出部は、前記第１認識部の認識結果と、前記第２認識部の認識結果と、前記第３認識部の認識結果と、のうち少なくとも１つが、他の認識結果と不整合である場合、前記第１情報、前記第２情報、および前記第３情報から、それぞれ前記不整合が生じた時点における測定情報が含まれた部分データを抽出しして関連付けることを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項７】
前記第１センサはＬｉＤＡＲ（Light Detection and Ranging）であり、
前記第２センサはカメラであり、
前記第３センサはミリ波レーダーであることを特徴とする、請求項６に記載の情報処理装置。
【請求項８】
請求項１〜７のいずれか１項に記載の情報処理装置と、
複数の前記車載センサと、
前記情報処理装置から、前記抽出部によって互いに関連付けられた前記部分データを受信して記憶する記憶装置と、を備えることを特徴とする、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載センサと通信する情報処理装置等に関する。
【背景技術】
【０００２】
従来、車両の周囲の物体を認識するための技術、および該認識の精度を向上させるための技術が知られている。例えば、特許文献１には、第一のセンサの出力データに基づく第一の物体認識手段による信頼度の高い物体の認識結果データを教師データ、第二のセンサの出力データを入力データとし、これらの組合せを学習データとして格納する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−１０２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の技術では、例えば２つのセンサの認識結果に違いが生じた場合、すなわち、いずれかのセンサ由来の認識結果に誤りが発生した時のデータを比較検討することは出来ない。また、該比較検討を実行しようとすると、各センサからの測定情報を全て記録することになり、データ量が膨大になるため、現実的に実行が困難である。
【０００５】
本発明の一態様は、上記問題点に鑑みたものであり、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決するために、本発明の一態様に係る情報処理装置は、車両の周囲の状況に関するデータを測定する複数の車載センサと通信する、情報処理装置であって、前記車載センサの一種である第１センサの測定情報である第１情報を逐次取得する第１情報取得部と、前記車載センサの一種であり、前記第１センサと異なるセンサである第２センサの測定情報である第２情報を逐次取得する第２情報取得部と、前記第１情報に基づき、前記周囲の状況をリアルタイムで認識する第１認識部と、前記第２情報に基づき、前記周囲の状況をリアルタイムで認識する第２認識部と、前記第１認識部の認識結果と前記第２認識部の認識結果とに不整合が生じた場合、前記第１情報および前記第２情報それぞれから、前記不整合が生じた時点における測定情報を含む部分データを抽出して互いに関連付ける抽出部と、を備える。
【０００７】
前記の構成によれば、第１センサ由来の情報に基づく認識結果と、第２センサ由来の情報に基づく認識結果とに不整合が生じた場合、該不整合が生じた部分を含んだ部分データを抽出して関連付けする。ここで、該不整合は、第１認識部もしくは第２認識部の認識結果が誤っているため起こる。したがって、前記の構成によれば、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することができる。
【０００８】
前記情報処理装置の前記第１認識部および前記第２認識部は、前記周囲の状況として、前記車両の周囲に在る物体、前記車両が走行中の道路の特徴部分、および、前記物体の現在位置もしくは将来位置のうち、少なくとも１つを認識してもよい。
【０００９】
前記の構成によれば、車両の周囲に在る物体、車両が走行中の道路の特徴部分、および、物体の現在位置もしくは将来位置の少なくとも１つの認識結果について、第１センサおよび第２センサのいずれかに由来する認識結果に誤りが発生したときの、データを抽出することができる。
【００１０】
前記情報処理装置の前記抽出部は、前記第１情報および前記第２情報それぞれから、前記不整合が生じた時点の前後にわたる所定期間分の測定情報を含む部分データを抽出して、互いに関連付けてもよい。
【００１１】
前記の構成によれば、車両の周囲の状況認識において、認識の誤りが発生した時点の前後のデータを抽出することができる。換言すると、第１認識部の認識結果と第２認識部の認識結果の齟齬の原因分析を行いやすいデータを抽出することができる。
【００１２】
前記情報処理装置の前記第２センサは、前記第１センサよりも高精度な測定情報を得られるセンサであってもよい。前記の構成によれば、第２センサ由来の認識結果をリファレンスとして、精度のより低い第１センサ由来の認識結果に誤りが発生したときのデータを抽出することができる。
【００１３】
前記情報処理装置において、前記第１センサおよび前記第２センサは、それぞれ種類の異なるＬｉＤＡＲ（Light Detection and Ranging）であってよい。
【００１４】
一般的に、ＬｉＤＡＲの測定情報に基づいて車両周囲の状況認識を行う場合、より多種類の道路をより多く走行して、該状況認識の精度を向上させることが必要である。前記の構成によれば、２つのＬｉＤＡＲそれぞれに由来する認識結果に齟齬が生じたときのデータを部分データとして抽出することができる。したがって、各ＬｉＤＡＲの測定精度または各ＬｉＤＡＲについての認識処理のアルゴリズム等を解析するために有用なデータを抽出することができる。
【００１５】
前記情報処理装置は、前記車載センサの一種である第３センサの測定情報である第３情報を逐次取得する第３情報取得部と、前記第３情報に基づき、前記周囲の状況をリアルタイムで認識する第３認識部と、を備えていてもよい。そして、前記抽出部は、前記第１認識部の認識結果と、前記第２認識部の認識結果と、前記第３認識部の認識結果と、のうち少なくとも１つが、他の認識結果と不整合である場合、前記第１情報、前記第２情報、および前記第３情報から、それぞれ前記不整合が生じた時点における測定情報が含まれた部分データを抽出しして関連付けてもよい。
【００１６】
前記の構成によれば、第１センサ由来の情報に基づく認識結果と、第２センサ由来の情報に基づく認識結果と、第３センサ由来の情報に基づく認識結果と、の少なくとも１つに不整合が生じた場合、それぞれの情報から該不整合が生じた部分を含んだ部分データを抽出して関連付けする。ここで、該不整合は、第１認識部、第２認識部、または第３認識部の少なくともいずれかの認識結果が誤っているため起こる。したがって、前記の構成によれば、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することができる。
【００１７】
前記情報処理装置において、前記第１センサはＬｉＤＡＲ（Light Detection and Ranging）であってよく、前記第２センサはカメラであってよく、前記第３センサはミリ波レーダーであってよい。
【００１８】
車両周囲の環境条件、気象条件、および認識対象の物体等に応じて、各センサの測定精度、および各センサ由来の認識結果の精度は変動する。前記の構成によれば、ＬｉＤＡＲ、カメラ、およびミリ波レーダーという種類の異なる３つのセンサを使用することで、各センサ由来の認識結果の変動を記録することができる。
【００１９】
上記の課題を解決するために、本発明の一態様に係る情報処理システムは、前記情報処理装置と、複数の前記車載センサと、前記情報処理装置から、前記抽出部によって互いに関連付けられた前記部分データを受信して記憶する記憶装置と、を備える。前記の構成によれば、前記情報処理装置と同様の効果を奏する。
【発明の効果】
【００２０】
本発明の一態様によれば、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することができる。
【図面の簡単な説明】
【００２１】
【図１】実施形態１に係る情報処理システムの要部構成を示す図である。
【図２】前記情報処理システムに含まれる情報処理装置の処理の流れの一例を示すフローチャートである。
【図３】実施形態２に係る情報処理システムの要部構成を示す図である。
【図４】前記情報処理システムに含まれる情報処理装置の処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
〔実施形態１〕
以下、本発明の第１の実施形態について、図１〜図２を用いて説明する。
【００２３】
≪要部構成≫
図１は、本実施形態に係る情報処理システム１００の要部構成を示す図である。情報処理システム１００は、２つの車載センサ（第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５）と、情報処理装置１と、コネクティッドＥＣＵ（Electronic control unit）２と、サーバ３とを含む。図１の例では、２つの車載センサと、情報処理装置１と、コネクティッドＥＣＵ２とは車両５０に搭載された車載装置である。
【００２４】
（車載センサ）
車載センサは、車両５０に搭載された、車両の周囲の状況に関するデータを測定するためのセンサの総称である。図示の例では、情報処理システム１００は車載センサの一種として、第１ＬｉＤＡＲ（Light Detection and Ranging）４と、第２ＬｉＤＡＲ５とを含む。
【００２５】
第１ＬｉＤＡＲ（第１センサ）４は、車両５０の周囲にレーザー光を照射して、該レーザー光が物体に当たって跳ね返ってくるまでの時間を計測することで、車両５０の周囲の物体までの距離および方向を測定するセンサである。第１ＬｉＤＡＲ４は、測定情報を逐次情報処理装置１に送信する。本実施形態では、第１ＬｉＤＡＲ４の測定情報を「第１情報」とする。
【００２６】
第２ＬｉＤＡＲ（第２センサ）５も第１ＬｉＤＡＲ４と同様に、レーザー光を照射することによって、車両５０の周囲の物体までの距離および方向を測定するセンサである。第２ＬｉＤＡＲ５は、第１ＬｉＤＡＲ４と種類の異なるＬｉＤＡＲである。第２ＬｉＤＡＲ５は、測定情報を逐次情報処理装置１に送信する。本実施形態では、第２ＬｉＤＡＲ５の測定情報を「第２情報」とする。なお、第２ＬｉＤＡＲ５は、第１ＬｉＤＡＲ４よりも高精度な測定情報を得られるセンサであることが望ましい。
【００２７】
（情報処理装置１）
情報処理装置１は、複数の車載センサと通信する装置であって、各センサの測定情報から、車両５０の周囲の状況をリアルタイムで認識する装置である。情報処理装置１は、第１情報取得部１１、第２情報取得部１２、フラッシュメモリ１３、第１認識部１４、第２認識部１５、抽出部１６、および送信部１７を含む。
【００２８】
第１情報取得部１１は、第１ＬｉＤＡＲ４から第１情報を逐次取得する。第１情報取得部１１は、取得した第１情報を逐次フラッシュメモリ１３に書き込む。また、第１情報取得部１１は、取得した第１情報を逐次第１認識部１４に出力する。
【００２９】
第２情報取得部１２は、第２ＬｉＤＡＲ５から第２情報を逐次取得する。第２情報取得部１２は、取得した第２情報を逐次フラッシュメモリ１３に書き込む。また、第２情報取得部１２は、取得した第２情報を逐次第２認識部１５に出力する。
【００３０】
フラッシュメモリ１３は、第１情報および第２情報を一時的に記憶しておく記憶装置である。フラッシュメモリ１３は、所定期間分の第１情報および第２情報を記憶している。フラッシュメモリ１３に記憶された第１情報または第２情報は、キュー方式（先入れ先出し方式）で更新される。これにより、フラッシュメモリ１３は、常に現在から所定期間前までの第１情報および第２情報を保持することができる。
【００３１】
なお、フラッシュメモリ１３における、第１情報の記憶期間および第２情報の記憶期間は、特に限定されない。例えば、フラッシュメモリ１３は、現在から３０秒前までの第１情報および第２情報を保持していてもよい。
【００３２】
第１認識部１４は、逐次入力される第１情報に基づいて、車両５０の周囲の状況をリアルタイムで認識する。第１認識部１４は、認識結果を抽出部１６に出力する。第２認識部１５は、逐次入力される第２情報に基づいて、車両５０の周囲の状況をリアルタイムで認識する。第２認識部１５は、認識結果を抽出部１６に出力する。
【００３３】
なお、第１認識部１４および第２認識部１５における認識処理の方法は特に限定されない。また、第１認識部１４および第２認識部１５は、車両５０の周囲の状況として、同一の対象についての認識結果を出力するのであれば、該対象の種類は問わない。例えば、第１認識部１４および第２認識部１５は車両５０の周囲に存在する物体を認識してもよいし、車両５０の周囲の環境を特定してもよい。
【００３４】
より具体的には、第１認識部１４および第２認識部１５は、車両５０の周囲の状況として、例えば車両５０の周囲に在る障害物または他の車両等の物体、車両５０が走行中の道路の白線等の特徴部分、ならびに、前述の物体の現在位置もしくは将来位置のうち、少なくとも１つを認識してもよい。
【００３５】
抽出部１６は、第１認識部１４および第２認識部１５からそれぞれの認識結果が入力されると、まず、互いの認識結果に不整合が生じているか否かを判定する。不整合が生じている場合、抽出部１６は、フラッシュメモリ１３に記憶された第１情報および第２情報それぞれから、前述の不整合が生じた時点における測定情報を含む部分データを抽出して、これらを互いに関連付ける。以降、第１情報から抽出された部分データのことを「第１情報の部分データ」と称する。また、第２情報から抽出された部分データのことを「第２情報の部分データ」と称する。抽出部１６は、互いに関連付けた第１情報の部分データおよび第２情報の部分データを、送信部１７に出力する。なお、前述の不整合が生じていない場合、抽出部１６は部分データの抽出および関連付けは実行しない。
【００３６】
なお、部分データの抽出範囲は特に限定されない。例えば、抽出部１６は第１情報および第２情報それぞれから、不整合が生じる所定期間（第１所定期間）前から、不整合が生じた時点までの測定情報を部分データとして抽出してもよい。また、抽出部１６は、第１情報および第２情報それぞれから、不整合が生じた時点から所定期間（第２所定期間）後までの測定情報を、部分データとして抽出してもよい。この場合、抽出部１６は、フラッシュメモリ１３に該第２所定期間後までの第１情報および第２情報が記憶されるまで待機してから、第１情報の部分データおよび第２情報の部分データの抽出を実行してもよい。なお、第１所定期間と第２所定期間とは、同一の期間であっても異なる期間であってもよい。
【００３７】
また、抽出部１６は第１情報および第２情報それぞれから、前述の不整合が生じた時点の前後にわたる所定期間分の測定情報を含む部分データを抽出して、互いに関連付けてもよい。例えば、抽出部１６は、第１情報および第２情報それぞれから、不整合が生じた時点の前後５秒間の測定情報を含む部分データを抽出して関連付けてもよい。
【００３８】
これにより、車両５０の周囲の状況認識において、第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５のいずれかに由来する認識結果に誤りが発生した時点の、前後のデータを部分データとして抽出することができる。このように、誤り時点の前後の部分データをサーバ３に蓄積することで、例えば第１認識部１４の認識結果と第２認識部１５の認識結果の齟齬の原因分析を行いやすいデータを抽出および蓄積することができる。
【００３９】
また、抽出部１６は、第１情報および第２情報それぞれについて、前述の不整合が生じた時点の第１所定期間前から、該時点の第２所定期間後までの測定情報を、部分データとして抽出してもよい。例えば、抽出部１６は、第１情報および第２情報それぞれから、不整合が生じた時点の前の５秒間と、後の１０秒間の測定情報を含む部分データを抽出して関連付けてもよい。
【００４０】
送信部１７は、抽出部１６から入力された第１情報の部分データおよび第２情報の部分データを、コネクティッドＥＣＵ２に送信する。
【００４１】
（コネクティッドＥＣＵ２）
コネクティッドＥＣＵ２は、車両５０の内部ネットワークと外部ネットワーク（インターネット）とをつなぐゲートウェイである。なお、情報処理システム１００において、情報処理装置１の送信部１７がセキュリティを担保しつつ、インターネットと接続してサーバ３と直接通信できる場合、コネクティッドＥＣＵ２は必須構成ではない。
【００４２】
（サーバ３）
サーバ３は、情報処理装置１の抽出部１６が抽出および関連付けした部分データを、コネクティッドＥＣＵ２を介して受信し、記憶する記憶装置である。サーバ３は、インターネットを介してコネクティッドＥＣＵ２から、第１情報の部分データおよび第２情報の部分データを受信する。サーバ３は受信した第１情報の部分データおよび第２情報の部分データを記憶する。これにより、第１ＬｉＤＡＲ４由来の認識結果と第２ＬｉＤＡＲ５由来の認識結果とに不整合が生じた時点における測定情報を含んだ部分データを、サーバ３に蓄積することができる。
【００４３】
≪処理の流れ≫
図２は、情報処理装置１の処理の流れの一例を示すフローチャートである。車両５０において、車載センサの一種である第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５は、逐次測定を実行し、測定情報、すなわち第１情報および第２情報を、それぞれ情報処理装置１に送信する。
【００４４】
第１情報取得部１１は、第１ＬｉＤＡＲ４からの第１情報を逐次取得する（Ｓ１００）。第１情報取得部１１は、取得した第１情報をフラッシュメモリ１３に記憶させる（Ｓ１０１）。また、第１情報取得部１１は、取得した第１情報を第１認識部１４に出力する。第１認識部１４は、第１情報に基づいて認識処理を実行する（Ｓ１０２）。第１認識部１４は認識結果を抽出部１６に出力する。
【００４５】
また、第２情報取得部１２は、第２ＬｉＤＡＲ５からの第２情報を逐次取得する（Ｓ１０３）。第２情報取得部１２は、取得した第２情報をフラッシュメモリ１３に記憶させる（Ｓ１０４）。また、第２情報取得部１２は、取得した第２情報を第２認識部１５に出力する。第２認識部１５は、第２情報に基づいて認識処理を実行する（Ｓ１０５）。第２認識部１５は認識結果を抽出部１６に出力する。
【００４６】
Ｓ１００〜Ｓ１０２の処理と、Ｓ１０３〜Ｓ１０６の処理とは並行して実行される。なお、Ｓ１０１の処理とＳ１０２の処理とは順不同で実行されてよい。同様に、Ｓ１０４の処理とＳ１０５の処理とは順不同で実行されてよい。
【００４７】
抽出部１６は、第１認識部１４の認識結果と、第２認識部１５の認識結果とに不整合が生じているか否かを判定する（Ｓ１０６）。不整合が生じていない場合（Ｓ１０６でＮＯ）、抽出部１６は以降の処理を実行せず、再び第１認識部１４および第２認識部１５から認識結果が入力されるまで待機する。前述のように、情報処理装置１には第１情報および第２情報が逐次入力される。情報処理装置１は、第１情報および第２情報が入力される度にＳ１００およびＳ１０３からの処理を繰り返す。
【００４８】
一方、第１認識部１４の認識結果と、第２認識部１５の認識結果とに不整合が生じている場合（Ｓ１０６でＹＥＳ）。抽出部１６は、フラッシュメモリ１３に記憶された第１情報および第２情報から、それぞれ不整合が生じた時点における測定情報を含む部分データを抽出して関連付ける（Ｓ１０７）。抽出部１６は抽出および関連付けを行った、第１情報の部分データおよび第２情報の部分データを、送信部１７に出力する。
【００４９】
送信部１７は、関連付けられた前述の部分データを、コネクティッドＥＣＵ２を介してサーバ３に送信する（Ｓ１０８）。以降、情報処理装置１は、第１情報および第２情報が入力される度にＳ１００およびＳ１０３からの処理を繰り返す。
【００５０】
以上の処理によれば、抽出部１６は、第１ＬｉＤＡＲ４由来の情報に基づく認識結果と、第２ＬｉＤＡＲ５由来の情報に基づく認識結果とに不整合が生じた場合、該不整合が生じた部分を含んだ部分データを抽出して関連付けする。ここで、該不整合は、第１認識部１４もしくは第２認識部１５の認識結果が誤っているため起こる。したがって、以上の処理によれば、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することができる。
【００５１】
ところで、ＬｉＤＡＲの測定情報に基づいて車両周囲の状況認識を行う場合、より多種類の道路をより多く走行して、該状況認識の精度を向上させることが必要である。したがって、本実施形態の例のように、車載センサが２つの異なるＬｉＤＡＲ（第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５）である場合、第１ＬｉＤＡＲ４と第２ＬｉＤＡＲ５、それぞれに由来する認識結果に齟齬が生じたときのデータを部分データとして抽出することができる。したがって、各ＬｉＤＡＲの測定精度、または各ＬｉＤＡＲについての認識処理のアルゴリズム等を解析するために有用なデータを抽出することができる。
【００５２】
また、上記認識の誤りは、第１認識部もしくは第２認識部の認識処理が適切でない場合の他に、例えば第１センサもしくは第２センサの測定結果が正確でない場合にも起こり得る。例えば第２ＬｉＤＡＲ５が第１ＬｉＤＡＲ４よりも高精度な測定情報を得られるセンサである場合、第２ＬｉＤＡＲ５を、第１ＬｉＤＡＲ４のリファレンス機とすることができる。具体的には、例えば第１ＬｉＤＡＲ４と第２ＬｉＤＡＲ５を搭載した車両５０を走行させて上述の一連の処理を行わせることで、第１ＬｉＤＡＲ４が第２ＬｉＤＡＲ５と異なる測定結果を得たときの部分データを抽出することができる。これにより、精度の低い方の第１ＬｉＤＡＲ４の認識結果に誤りが発生した場合の部分データを抽出および蓄積させることができる。
【００５３】
さらに、情報処理装置１はコネクティッドＥＣＵ２を介して部分データをサーバ３に送信するため、サーバ３において、該部分データを蓄積することができる。換言すると、例えば第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５の全測定結果のデータを蓄積する場合に比べ、サーバ３における記憶容量を少なくすることができる。また、例えば第１認識部１４の認識結果と、第２認識部１５の認識結果との齟齬の原因分析等を行う場合、全測定結果のデータを比較対照する必要が無いため、前記原因分析をより効率的に行うことができる。
【００５４】
〔実施形態２〕
本発明に係る情報処理システムは、車載センサの一種である第３センサの測定情報である第３情報を逐次取得する第３情報取得部と、第３情報に基づき、前記周囲の状況をリアルタイムで認識する第３認識部と、を備えていてもよい。そして、抽出部は、第１認識部の認識結果と、第２認識部の認識結果と、第３認識部の認識結果と、のうち少なくとも１つが、他の認識結果と不整合である場合、第１情報、第２情報、および第３情報から、それぞれ前記不整合が生じた時点における測定情報が含まれた部分データを抽出しして関連付けてもよい。
【００５５】
以下、本発明の第２の実施形態について、図３〜図４を用いて説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
【００５６】
≪要部構成≫
図３は、本実施形態に係る情報処理システム２００の要部構成を示す図である。情報処理システム２００は、車載センサの数および種類が異なる点と、情報処理装置１に代わり情報処理装置６を含む点で、実施形態１に係る情報処理システム１００と異なる。
【００５７】
情報処理システム２００は、３つの車載センサ（ＬｉＤＡＲ７、カメラ８、およびミリ波レーダー９）と、情報処理装置６と、コネクティッドＥＣＵ２と、サーバ３とを含む。図３の例では、３つの車載センサと、情報処理装置１と、コネクティッドＥＣＵ２とは車両５０に搭載された車載装置である。
【００５８】
（車載センサ）
図示の例では、情報処理システム２００は車載センサの一種として、ＬｉＤＡＲ７と、カメラ８と、ミリ波レーダー９とを含む。
【００５９】
ＬｉＤＡＲ（第１センサ）７は、第１ＬｉＤＡＲ４および第２ＬｉＤＡＲ５と同様、レーザー光を照射することによって、車両５０の周囲の物体までの距離および方向を測定するセンサである。ＬｉＤＡＲ７は、測定情報を情報処理装置６の第１情報取得部１１に送信する。本実施形態では、ＬｉＤＡＲ７の測定情報を「第１情報」とする。
【００６０】
カメラ（第２センサ）８は、車両５０の周囲を撮影する。カメラ８は例えば、先進運転支援システム（ＡＤＡＳ）用のカメラである。カメラ８は、測定情報を情報処理装置６の第２情報取得部１２に送信する。本実施形態では、カメラ８の測定情報を「第２情報」とする。
【００６１】
ミリ波レーダー（第３センサ）９は、車両５０の周囲に電波を発信し、該電波の反射を測定することで、車両５０の周囲に在る物体等を検知するセンサである。ミリ波レーダー９は、測定情報を情報処理装置６の第３情報取得部６３に送信する。本実施形態では、ミリ波レーダー９の測定情報を「第３情報」とする。
【００６２】
（情報処理装置６）
情報処理装置６は、第１情報取得部６１と、第２情報取得部６２と、第３情報取得部６３と、フラッシュメモリ６４と、第１認識部６５と、第２認識部６６と、第３認識部６７と、抽出部６８と、送信部６９と、を含む。
【００６３】
第１情報取得部６１は、ＬｉＤＡＲ７から第１情報を逐次取得する。第１情報取得部６１は、取得した第１情報を逐次フラッシュメモリ６４に書き込む。また、第１情報取得部６１は、取得した第１情報を逐次第１認識部６５に出力する。
【００６４】
第２情報取得部６２は、カメラ８から第２情報を逐次取得する。第２情報取得部６２は、取得した第２情報を逐次フラッシュメモリ６４に書き込む。また、第２情報取得部６２は、取得した第２情報を逐次第２認識部６６に出力する。
【００６５】
第３情報取得部６３は、ミリ波レーダー９から第３情報を逐次取得する。第３情報取得部６３は、取得した第３情報を逐次フラッシュメモリ６４に書き込む。また、第３情報取得部６３は、取得した第３情報を逐次第３認識部６７に出力する。
【００６６】
フラッシュメモリ６４は、情報処理装置１のフラッシュメモリ１３と同様の機能を有する。加えて、フラッシュメモリ６４は、第３情報を一時的に記憶しておく機能を有する。フラッシュメモリ６４は、所定期間分の第３情報を記憶する。フラッシュメモリ６４に記憶された第３情報は、キュー方式で更新される。これにより、フラッシュメモリ６４は、常に現在から所定期間前までの第３情報を保持することができる。なお、フラッシュメモリ６４における第３情報の記憶期間は特に限定されない。
【００６７】
第１認識部６５は、第１情報取得部６１から逐次入力される第１情報に基づいて、車両５０の周囲の状況をリアルタイムで認識する。第１認識部６５は、認識結果を抽出部６８に出力する。第２認識部６６は、第２情報取得部６２から逐次入力される第２情報に基づいて、車両５０の周囲の状況をリアルタイムで認識する。第２認識部６６は、認識結果を抽出部６８に出力する。第３認識部６７は、第３情報取得部６３から逐次入力される第３情報に基づいて、車両５０の周囲の状況をリアルタイムで認識する。第３認識部６７は、認識結果を抽出部６８に出力する。
【００６８】
第１認識部６５、第２認識部６６、および第３認識部６７の認識処理の方法は特に限定されない。第１認識部６５、第２認識部６６、および第３認識部６７は、それぞれ第１情報、第２情報、および第３情報の種類または内容に応じた認識処理を行ってよい。
【００６９】
また、第１認識部６５、第２認識部６６、および第３認識部６７は、車両５０の周囲の状況として、同一の対象についての認識結果を出力するのであれば、該対象の種類は問わない。例えば、第１認識部６５、第２認識部６６、および第３認識部６７は、車両５０の周囲の状況として、第１認識部１４および第２認識部１５と同様、車両５０の周囲に在る障害物または他の車両等の物体、車両５０が走行中の道路の白線等の特徴部分、ならびに、前述の物体の現在位置もしくは将来位置のうち、少なくとも１つを認識してもよい。
【００７０】
抽出部６８は、第１認識部６５、第２認識部６６、および第３認識部６７からそれぞれの認識結果が入力されると、まず、互いの認識結果に不整合が生じているか否かを判定する。第１認識部６５の認識結果と、第２認識部６６の認識結果と、第３認識部６７の認識結果と、のうち少なくとも１つが、他の認識結果と不整合である場合、抽出部６８は、フラッシュメモリ６４に記憶された第１情報〜第３情報それぞれから、前述の不整合が生じた時点における測定情報を含む部分データを抽出する。抽出部６８は、抽出したこれら３つの部分データを互いに関連付ける。以降、第３情報から抽出された部分データのことを「第３情報の部分データ」と称する。抽出部６８は、互いに関連付けた第１情報〜第３情報の部分データを、送信部６９に出力する。なお、前述の不整合が生じていない場合、抽出部６８は部分データの抽出および関連付けは実行しない。なお、情報処理装置１に係る抽出部１６と同様、抽出部６８においても、各部分データの抽出範囲は特に限定されない。
【００７１】
送信部６９は、抽出部６８から入力された、第１情報の部分データ、第２情報の部分データ、および第３情報の部分データを、コネクティッドＥＣＵ２に送信する。コネクティッドＥＣＵ２は、これら３つの部分データをサーバ３に送信し、サーバ３は該３つの部分データを記憶する。
【００７２】
≪処理の流れ≫
図４は、情報処理装置６の処理の流れの一例を示すフローチャートである。車両５０において、車載センサの一種であるＬｉＤＡＲ７、カメラ８、およびミリ波レーダー９は、逐次測定を実行し、測定情報、すなわち第１情報〜第３情報を、それぞれ情報処理装置６に送信する。
【００７３】
第１情報取得部６１は、ＬｉＤＡＲ７からの第１情報を逐次取得する（Ｓ２００）。第１情報取得部６１は、取得した第１情報をフラッシュメモリ６４に記憶させる（Ｓ２０１）。また、第１情報取得部６１は、取得した第１情報を第１認識部６５に出力する。第１認識部６５は、第１情報に基づいて認識処理を実行する（Ｓ２０２）。第１認識部６５は認識結果を抽出部６８に出力する。
【００７４】
また、第２情報取得部６２は、カメラ８からの第２情報を逐次取得する（Ｓ２０３）。第２情報取得部６２は、取得した第２情報をフラッシュメモリ６４に記憶させる（Ｓ２０４）。また、第２情報取得部６２は、取得した第２情報を第２認識部６６に出力する。第２認識部６６は、第２情報に基づいて認識処理を実行する（Ｓ２０５）。第２認識部６６は認識結果を抽出部６８に出力する。
【００７５】
また、第３情報取得部６３は、ミリ波レーダー９からの第３情報を逐次取得する（Ｓ２０６）。第３情報取得部６３は、取得した第３情報をフラッシュメモリ６４に記憶させる（Ｓ２０７）。また、第３情報取得部６３は、取得した第３情報を第３認識部６７に出力する。第３認識部６７は、第３情報に基づいて認識処理を実行する（Ｓ２０８）。第３認識部６７は認識結果を抽出部６８に出力する。
【００７６】
Ｓ２００〜Ｓ２０２の処理、Ｓ２０３〜Ｓ２０５の処理、および、Ｓ２０６〜Ｓ２０８の処理は並行して実行される。なお、Ｓ２０１の処理とＳ２０２の処理、Ｓ２０４とＳ２０５の処理、および、Ｓ２０７とＳ２０８の処理は、それぞれ順不同で実行されてよい。
【００７７】
抽出部１６は、第１認識部６５の認識結果と、第２認識部６６の認識結果と、第３認識部６７の認識結果との、少なくとも１つと、他方の認識結果との間に不整合が生じているか否かを判定する（Ｓ２０９）。不整合が生じていない場合（Ｓ２０９でＮＯ）、抽出部６８は以降の処理を実行せず、再び認識結果が入力されるまで待機する。そして、情報処理装置６は、第１情報〜第３情報が入力される度にＳ２００からの処理を繰り返す。
【００７８】
一方、認識結果の少なくとも１つと他方の認識結果との間に不整合が生じている場合（Ｓ２０９でＹＥＳ）。抽出部６８は、フラッシュメモリ６４に記憶された第１情報〜第３情報から、それぞれ不整合が生じた時点における測定情報を含む部分データを抽出して関連付ける（Ｓ２１０）。抽出部６８は抽出および関連付けを行った、第１情報〜第３情報の部分データを、送信部６９に出力する。
【００７９】
送信部６９は、関連付けられた前述の部分データを、コネクティッドＥＣＵ２を介してサーバ３に送信する（Ｓ２１１）。以降、情報処理装置１は、第１情報〜第３情報が入力される度にＳ２００からの処理を繰り返す。
【００８０】
以上の処理によれば、ＬｉＤＡＲ７由来の情報に基づく認識結果と、カメラ８由来の情報に基づく認識結果と、ミリ波レーダー９由来の情報に基づく認識結果と、の少なくとも１つに不整合が生じた場合、それぞれの情報から該不整合が生じた部分を含んだ部分データを抽出して関連付けする。ここで、該不整合は、第１認識部６５、第２認識部６６、または第３認識部６７の少なくともいずれかの認識結果が誤っているため起こる。したがって、前記の構成によれば、車両の周囲の状況認識において、認識の誤りが発生したときのデータを抽出することができる。
【００８１】
ところで、車両周囲の環境条件、気象条件、および認識対象の物体等に応じて、各センサの測定精度、および各センサ由来の認識結果の精度は変動する。例えば、雨天状況下ではカメラ８由来の認識の精度は低下する。前記の構成によれば、ＬｉＤＡＲ、カメラ、およびミリ波レーダーという種類の異なる３つのセンサを使用することで、各センサ由来の認識結果の変動を記録することができる。
【００８２】
〔ソフトウェアによる実現例〕
情報処理装置１および情報処理装置６の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
【００８３】
後者の場合、情報処理装置１および情報処理装置６は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００８４】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００８５】
１００、２００  情報処理システム
１、６  情報処理装置
２  コネクティッドＥＣＵ
３  サーバ
４  第１ＬｉＤＡＲ
５  第２ＬｉＤＡＲ
７  ＬｉＤＡＲ
８  カメラ
９  ミリ波レーダー
１１、６１  第１情報取得部
１２、６２  第２情報取得部
６３  第３情報取得部
１３、６４  フラッシュメモリ
１４、６５  第１認識部
１５、６６  第２認識部
６７  第３認識部
１６、６８  抽出部
１７、６９  送信部
【図１】
2020149358.tif 000003
【図２】
2020149358.tif 000004
【図３】
2020149358.tif 000005
【図４】
2020149358.tif 000006