(57)【要約】【課題】自車が移動する場合であっても、自車に搭載されたセンサによって検出される物体の状態を推定することのできる物体認識装置等を得る。【解決手段】物体認識装置等は、前回処理時刻から今回処理時刻までの期間に各センサから受信した検出物体データおよび検出自車データについて、検出物体データごとに物体データ時刻を関連付け、検出自車データごとに自車データ時刻を関連付け、物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成し、物体データ時刻における更新物体データを予測し、その予測結果を予測物体データとして生成するように構成されている。【選択図】図１
2018205237.tif 000002
【特許請求の範囲】
【請求項１】
物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する物体認識装置であって、
時刻を計測する時刻計測部と、
今回処理時刻よりも１つ前の前回処理時刻から前記今回処理時刻までの期間に受信した前記検出物体データおよび前記検出自車データについて、前記検出物体データごとに、前記時刻計測部によって計測された時刻を物体データ時刻として関連付け、前記検出自車データごとに、前記時刻計測部によって計測された時刻を自車データ時刻として関連付け、前記検出物体データ、前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を出力するデータ受信部と、
前記データ受信部によって出力される前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を入力として、前記物体データ時刻における前記検出自車データを予測し、予測結果を前記補正自車データとして生成して出力し、前記更新物体データと、前記データ受信部によって出力される前記物体データ時刻を入力として、前記物体データ時刻における前記更新物体データを予測し、予測結果を予測物体データとして生成して出力する予測処理部と、
前記データ受信部によって出力される前記検出物体データと、前記予測処理部によって出力される前記予測物体データおよび前記補正自車データを入力として、前記検出物体データと前記予測物体データとの対応関係を決定し、前記補正自車データと、前記検出物体データと、前記予測物体データと、前記対応関係とをまとめたものを相関データとして生成して出力する相関処理部と、
前記相関処理部によって出力される前記相関データを入力として、対応する前記検出物体データおよび前記予測物体データを用いて、前記物体データ時刻における前記更新物体データを生成し、前記物体データ時刻における前記更新物体データおよび前記補正自車データを出力する更新処理部と、
を備えた物体認識装置。
【請求項２】
前記データ受信部は、
受信した前記検出物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定して前記物体データ時刻として関連付け、
受信した前記検出自車データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定して前記自車データ時刻として関連付ける
請求項１に記載の物体認識装置。
【請求項３】
前記データ受信部は、
受信した前記検出物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定した前記受信時刻から遅延時間を減算した時刻をさらに確定して前記物体データ時刻として関連付ける
請求項１に記載の物体認識装置。
【請求項４】
前記データ受信部は、
受信した前記検出自車データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定した前記受信時刻から遅延時間を減算した時刻をさらに確定して前記自車データ時刻として関連付ける
請求項３に記載の物体認識装置。
【請求項５】
前記予測処理部は、
前記今回処理時刻よりも前の前記自車データ時刻における前記検出自車データを時系列フィルタによって処理することで、前記物体データ時刻における前記検出自車データを予測して前記補正自車データを生成する
請求項１から４のいずれか１項に記載の物体認識装置。
【請求項６】
前記予測処理部は、
前記今回処理時刻よりも前の前記自車データ時刻における前記検出自車データのうちの、前記物体データ時刻に対して時間的に前後に隣り合う前記自車データ時刻における前記検出自車データを線形近似することで、前記物体データ時刻における前記検出自車データを予測して前記補正自車データを生成する
請求項１から４のいずれか１項に記載の物体認識装置。
【請求項７】
請求項１から６のいずれか１項に記載の物体認識装置と、
前記物体認識装置によって出力される前記更新物体データおよび前記補正自車データに従って車両を制御する車両制御装置と、
を備えた車両制御システム。
【請求項８】
前記更新物体データおよび前記補正自車データに従って情報を報知する情報報知装置をさらに備えた
請求項７に記載の車両制御システム。
【請求項９】
物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する物体認識方法であって、
今回処理時刻よりも１つ前の前回処理時刻から前記今回処理時刻までの期間に受信した前記検出物体データおよび前記検出自車データについて、前記検出物体データごとに物体データ時刻を関連付け、前記検出自車データごとに自車データ時刻を関連付け、前記検出物体データ、前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を出力するステップと、
前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を入力として、前記物体データ時刻における前記検出自車データを予測し、予測結果を前記補正自車データとして生成して出力し、前記更新物体データと、前記物体データ時刻を入力として、前記物体データ時刻における前記更新物体データを予測し、予測結果を予測物体データとして生成して出力するステップと、
前記検出物体データと、前記予測物体データおよび前記補正自車データを入力として、前記検出物体データと前記予測物体データとの対応関係を決定し、前記補正自車データと、前記検出物体データと、前記予測物体データと、前記対応関係とをまとめたものを相関データとして生成して出力するステップと、
前記相関データを入力として、対応する前記検出物体データおよび前記予測物体データを用いて、前記物体データ時刻における前記更新物体データを生成し、前記物体データ時刻における前記更新物体データおよび前記補正自車データを出力するステップと、
を備えた物体認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車に搭載されたセンサによって検出される物体の状態を推定する物体認識装置および物体認識方法と、その物体認識装置を備えた車両制御システムに関する。
【背景技術】
【０００２】
従来の物体認識装置は、自車に搭載され、物体の状態に関する情報を検出物体データとして検出する単数または複数のセンサから受信したデータを処理することで、自車の周辺物体を認識するように構成されている。また、自動運転システム等の車両制御システムは、物体認識装置が物体を認識した結果を用いて、自動ブレーキ、車間維持制御などの様々な車両制御を行うように構成されている。
【０００３】
ここで、自車が移動しながら物体を正確に認識するには、例えば、センサによって検出される検出物体の絶対速度を算出し、その検出物体が移動物であるか静止物であるかを判定することが必要である。そこで、従来において、自車速度と、センサによって検出される検出物体のセンサに対する相対速度とを取得し、自車速度を取得した時刻をずれ量ｄだけずらした前提の下で、その検出物体の絶対速度を算出し、その絶対速度（すなわち、自車速度と相対速度との差）が０となる物体数が最大となるずれ量ｄを推定することで、自車速度の時刻ずれを補正する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５６９８６１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の従来技術では、センサが検出する物体の多くは静止物体であると仮定して、自車速度の時刻ずれを、センサによって検出される検出物体の相対速度から推定するように構成されている。
【０００６】
しかしながら、上記の構成では、自車が停止、または一定速度で移動している場合、静止物体の相対速度および自車速度がともに変化しないので、時刻ずれ量ｄを推定することができない。また、上記の構成では、検出物体の相対速度に誤差が含まれ、静止物体の相対速度と自車速度との差をもたらす要因として、その誤差と時刻ずれを区別できないので、時刻ずれ量ｄの推定を誤ってしまう。
【０００７】
したがって、自車が移動しながら物体を正確に認識するにあたって、特許文献１に記載の従来技術とは異なる技術が求められる。
【０００８】
本発明は、例えば上記のような課題を解決するためになされたものであり、自車が移動する場合であっても、自車に搭載されたセンサによって検出される物体の状態を推定することのできる物体認識装置および物体認識方法と、その物体認識装置を備えた車両制御システムを得ることを目的とする。
【課題を解決するための手段】
【０００９】
本発明における物体認識装置は、物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する物体認識装置であって、時刻を計測する時刻計測部と、今回処理時刻よりも１つ前の前回処理時刻から今回処理時刻までの期間に受信した検出物体データおよび検出自車データについて、検出物体データごとに、時刻計測部によって計測された時刻を物体データ時刻として関連付け、検出自車データごとに、時刻計測部によって計測された時刻を自車データ時刻として関連付け、検出物体データ、物体データ時刻、検出自車データおよび自車データ時刻を出力するデータ受信部と、データ受信部によって出力される物体データ時刻、検出自車データおよび自車データ時刻を入力として、物体データ時刻における検出自車データを予測し、予測結果を補正自車データとして生成して出力し、更新物体データと、データ受信部によって出力される物体データ時刻を入力として、物体データ時刻における更新物体データを予測し、予測結果を予測物体データとして生成して出力する予測処理部と、データ受信部によって出力される検出物体データと、予測処理部によって出力される予測物体データおよび補正自車データを入力として、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、対応関係とをまとめたものを相関データとして生成して出力する相関処理部と、相関処理部によって出力される相関データを入力として、対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力する更新処理部と、を備えたものである。
【００１０】
本発明における物体認識方法は、物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する物体認識方法であって、今回処理時刻よりも１つ前の前回処理時刻から今回処理時刻までの期間に受信した検出物体データおよび検出自車データについて、検出物体データごとに物体データ時刻を関連付け、検出自車データごとに自車データ時刻を関連付け、検出物体データ、物体データ時刻、検出自車データおよび自車データ時刻を出力するステップと、物体データ時刻、検出自車データおよび自車データ時刻を入力として、物体データ時刻における検出自車データを予測し、予測結果を補正自車データとして生成して出力し、更新物体データと、物体データ時刻を入力として、物体データ時刻における更新物体データを予測し、予測結果を予測物体データとして生成して出力するステップと、検出物体データと、予測物体データおよび補正自車データを入力として、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、対応関係とをまとめたものを相関データとして生成して出力するステップと、相関データを入力として、対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力するものである。
【００１１】
本発明における車両制御システムは、物体認識装置と、物体認識装置によって出力される更新物体データおよび補正自車データに従って車両を制御する車両制御装置と、を備えたものである。
【発明の効果】
【００１２】
本発明によれば、自車が移動する場合であっても、自車に搭載されたセンサによって検出される物体の状態を推定することのできる物体認識装置および物体認識方法と、その物体認識装置を備えた車両制御システムを得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施の形態１における車両制御システムの構成を示すブロック図である。
【図２】本発明の実施の形態１における物体認識装置の動作を示すフローチャートである。
【図３】本発明の実施の形態１における予測処理部による補正自車データの生成の第１の処理例を示すタイミングチャートである。
【図４】本発明の実施の形態１における予測処理部による補正自車データの生成の第２の処理例を示すタイミングチャートである。
【図５】本発明の実施の形態１における予測処理部による補正自車データの生成の第３の処理例を示すタイミングチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明による物体認識装置、物体認識方法および車両制御システムを、好適な実施の形態にしたがって図面を用いて説明する。なお、図面の説明においては、同一部分または相当部分には同一符号を付し、重複する説明を省略する。
【００１５】
実施の形態１．
図１は、本発明の実施の形態１における車両制御システムの構成を示すブロック図である。図１において、車両制御システムは、物体情報センサ１、車両情報センサ２、物体認識装置３、情報報知装置４および車両制御装置５を備える。
【００１６】
物体情報センサ１は、自車に搭載されており、検出可能な範囲に存在する自車周辺の物体の状態に関する情報を検出物体データとして検出し、その検出物体データを物体認識装置３に送信する。
【００１７】
なお、検出物体データには、例えば、物体情報センサ１を搭載する自車に対する物体の相対位置、物体の相対速度、物体種類等の情報が含まれる。
【００１８】
物体情報センサ１として、例えば、物体から放射された光、電磁波等の検出波を受信し、受信した検出波に対して信号処理、画像処理等の処理が行われることで、物体までの距離、物体の方位角、物体の相対速度等を検出するタイプのセンサを用いればよい。物体情報センサ１として、物体に検出波を照射し、その物体から反射した検出波を受信し、受信した検出波に対して処理が行われることで、物体までの距離、物体の方位角、物体の相対速度等を検出するタイプのセンサを用いてもよい。
【００１９】
具体的には、物体情報センサ１として、例えば、ミリ波レーダ、レーザレーダ、超音波センサ、赤外線センサ、光学カメラ等を用いることができる。なお、以下では、具体例として、物体情報センサ１の数が単数である場合について説明するが、物体情報センサ１の数が複数であってもよい。
【００２０】
車両情報センサ２は、自車の状態に関する情報を検出自車データとして検出し、その検出自車データを物体認識装置３に送信する。
【００２１】
なお、検出自車データには、例えば、自車の速度、車輪速、ステアリング角、ヨーレート等の情報が含まれる。
【００２２】
物体認識装置３は、時刻計測部３１、データ受信部３２、データ記憶部３３、予測処理部３４、相関処理部３５および更新処理部３６を備える。物体認識装置３は、例えば、演算処理を実行するマイクロコンピュータと、プログラムデータ、固定値データ等のデータを記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）と、格納されているデータを更新して順次書き換えられるＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と、データを送受信する通信機と、時間を計測するタイマによって実現される。
【００２３】
時刻計測部３１は、物体認識装置３において時刻を計測する。なお、以下、時刻計測部３１が計測した時刻を共通時刻と呼ぶ。
【００２４】
データ受信部３２は、物体情報センサ１から検出物体データを受信し、車両情報センサ２から検出自車データを受信する。また、データ受信部３２は、受信したデータごとに、時刻計測部３１によって計測された共通時刻を関連時刻として関連付ける。なお、必ずしも、各センサが各データを検出するタイミングは同期している必要はないし、データ受信部３２が各データを受信するタイミングも同期している必要はない。
【００２５】
各データと関連付けられる関連時刻について、各データを受信した順に各データの関連時刻が並んでいれば、各データと関連付ける時刻としては、どのような時刻を採用してもよい。
【００２６】
例えば、データ受信部３２がデータを受信する時刻を、時刻計測部３１によって計測し、その時刻を、そのデータと関連付ける関連時刻とすればよい。本実施の形態１では、データ受信部３２は、物体情報センサ１から検出物体データを受信した受信時刻を、その検出物体データと関連付け、車両情報センサ２から検出自車データを受信した受信時刻を、その検出自車データと関連付けるように構成される場合を例示する。
【００２７】
なお、以下、検出物体データと関連付けられた関連時刻を物体データ時刻と呼び、検出自車データと関連付けられた関連時刻を自車データ時刻と呼ぶ。
【００２８】
データ受信部３２は、物体情報センサ１から受信した検出物体データを相関処理部３５に出力し、その検出物体データと関連付けられた物体データ時刻を予測処理部３４に出力する。また、データ受信部３２は、車両情報センサ２から受信した検出物体データと、その検出物体データと関連付けられた自車データ時刻を、予測処理部３４に出力する。
【００２９】
データ記憶部３３は、必要に応じて、データ受信部３２が受信したデータを、各データと関連付けられた関連時刻とともに記憶する。
【００３０】
予測処理部３４は、データ受信部３２によって出力される検出自車データ、その検出自車データと関連付けられた自車データ時刻、および物体データ時刻を入力として、その物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成する。なお、補正自車データの生成方法の例については後述する。
【００３１】
予測処理部３４は、後述する更新処理部３６によって出力される更新物体データと、データ受信部３２から入力される物体データ時刻を入力として、その物体データ時刻における更新物体データを予測し、その予測結果を予測物体データとして生成する。なお、物体データ時刻における更新物体データを予測する方法としては、公知の技術を適用すればよく、ここでは当該方法の詳細な説明を省略する。
【００３２】
なお、更新物体データには、物体情報センサ１によって検出された物体の状態に関する情報が含まれ、例えば、物体情報センサ１を搭載する自車に対する物体の相対位置、物体の相対速度、物体の相対加速度、物体種類等の情報が含まれる。
【００３３】
相関処理部３５は、データ受信部３２によって出力される検出物体データと、予測処理部３４によって出力される予測物体データおよび補正自車データを入力として、必要に応じて補正自車データを用いて、検出物体データと予測物体データの対応関係を決定する。
【００３４】
なお、物体情報センサ１の数が複数である場合には、更新物体データは、各物体情報センサ１によって検出される検出物体データを統合ないし融合したセンサフュージョンの結果である。
【００３５】
相関処理部３５は、決定した対応関係とともに、検出物体データと、予測物体データと、補正自車データとをまとめた相関データを更新処理部３６に出力する。
【００３６】
更新処理部３６は、相関処理部３５によって出力される相関データを入力として、相関データに含まれる、対応する検出物体データおよび予測物体データを用いて、さらに必要に応じて補正自車データを用いて、更新物体データを更新する。また、更新処理部３６は、その更新物体データを予測処理部３４に出力し、その更新物体データおよび補正自車データを情報報知装置４および車両制御装置５に出力する。
【００３７】
情報報知装置４は、更新処理部３６によって出力される更新物体データおよび補正自車データを入力として、その更新物体データおよび補正自車データに従って情報を視覚的ないし聴覚的に報知する。例えば、情報報知装置４は、更新物体データおよび補正自車データから、自車と前方車両との衝突を予想した場合、警報器が警報を鳴らすように制御したり、ディスプレイがその旨を表示するように制御したりする。
【００３８】
車両制御装置５は、更新処理部３６によって出力される更新物体データおよび補正自車データを入力として、その更新物体データおよび補正自車データに従って車両の動作を制御する。例えば、車両制御装置５は、更新物体データおよび補正自車データから、自車と前方車両との衝突を回避できないと判断した場合、ブレーキを作動させる制御を行う。
【００３９】
例えば、物体情報センサ１、車両情報センサ２、物体認識装置３、情報報知装置４および車両制御装置５は、ＣＡＮ（Ｃｏｎｔｒｏｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、Ｅｔｈｅｒｎｅｔ（登録商標）などの車載ネットワークに接続し、それぞれ所定のプロトコルに基づいてデータを送受信する形態であってもよい。
【００４０】
次に、本実施の形態１における物体認識装置３の動作について、図２を参照しながら説明する。図２は、本発明の実施の形態１における物体認識装置３の動作を示すフローチャートである。なお、物体認識装置３は、所定の動作周期で、以下の動作を繰り返し実行する。図２では、或る動作周期（処理時刻ｔｋ）における動作について示している。
【００４１】
ステップＳ１０１において、データ受信部３２は、物体情報センサ１から検出物体データを受信し、車両情報センサ２から検出自車データを受信する。また、データ受信部３２は、受信した検出物体データおよび検出自車データを、各データを受信した時刻とともにデータ記憶部３３に格納する。
【００４２】
続いて、ステップＳ１０２において、データ受信部３２は、データ記憶部３３に格納されている、１つ前の処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した検出物体データについて、その検出物体データを受信した時刻を、その検出物体データと関連付ける物体データ時刻として確定する。同様に、データ受信部３２は、データ記憶部３３に格納されている、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に受信した検出自車データについて、その検出自車データを受信した時刻を、その検出自車データと関連付ける自車データ時刻として確定する。
【００４３】
なお、ステップＳ１０２で確定される物体データ時刻および自車データ時刻のそれぞれは、前回の処理時刻ｔｋ−１よりも大きく、かつ今回の処理時刻ｔｋ以下である実数値である。
【００４４】
例えば、物体情報センサ１と車両情報センサ２において内部時刻を同期させておき、物体情報センサ１が検出物体データを生成した生成時刻をその検出物体データに含め、車両情報センサ２が検出自車データを生成した生成時刻をその検出自車データに含めて、データ受信部３２に入力するようにしてもよい。この場合、データ受信部３２は、受信した検出物体データについて、その検出物体データが生成された生成時刻を、その検出物体データと関連付ける物体データ時刻として確定する。同様に、データ受信部３２は、受信した検出自車データについて、その検出自車データが生成された生成時刻を、その検出自車データと関連付ける自車データ時刻として確定する。
【００４５】
ただし、物体情報センサ１と車両情報センサ２において内部時刻を同期させることができるとは限らず、また、そもそも各センサが生成時刻を計測できるとは限らない。そこで、上記のとおり、時刻計測部３１が共通時刻を計測し、データ受信部３２は、物体情報センサ１から検出物体データを受信したタイミングの共通時刻を物体データ時刻として確定し、車両情報センサ２から検出自車データを受信したタイミングの共通時刻を自車データ時刻として確定することが望ましい。
【００４６】
データ受信部３２は、自車データとともに、確定した物体データ時刻および自車データ時刻を予測処理部３４に出力する。また、データ受信部３２は、検出物体データを相関処理部３５に出力する。
【００４７】
このように、データ受信部３２は、前回処理時刻（処理時刻ｔｋ−１）から今回処理時刻（処理時刻ｔｋ）までの期間に受信した検出物体データおよび検出自車データについて、検出物体データごとに物体データ時刻を関連付け、検出自車データごとに自車データ時刻を関連付け、検出物体データ、物体データ時刻、検出自車データおよび自車データ時刻を出力する。
【００４８】
続いて、ステップＳ１０３において、予測処理部３４は、データ受信部３２から入力される自車データ時刻における検出自車データを用いて、物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成する。なお、補正自車データの生成の例については後述する。予測処理部３４は、生成した補正自車データを相関処理部３５に出力する。
【００４９】
続いて、ステップＳ１０４において、予測処理部３４は、更新処理部３６から入力される更新物体データを用い、必要に応じて補正自車データをさらに用いて、物体データ時刻における更新物体データを予測し、その予測結果を予測物体データとして生成する。予測処理部３４は、生成した予測物体データを相関処理部３５に出力する。
【００５０】
このように、予測処理部３４は、自車データ時刻における検出自車データについて、物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成して出力する。また、予測処理部３４は、更新処理部３６から入力される更新物体データについて、物体データ時刻における更新物体データを予測し、その予測結果を予測物体データとして生成して出力する。
【００５１】
続いて、ステップＳ１０５において、相関処理部３５は、必要に応じて補正自車データを用いて、検出物体データと予測物体データとの対応関係を決定する。
【００５２】
なお、相関処理部３５は、検出物体データと予測物体データとの対応関係を、例えば、ＳＮＮ（Ｓｉｍｐｌｅ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＧＮＮ（Ｇｌｏｂａｌ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）アルゴリズム、ＪＰＤＡ（Ｊｏｉｎｔ  Ｐｒｏｂａｂｉｌｉｓｔｉｃ  Ｄａｔａ  Ａｓｓｏｃｉａｔｉｏｎ）アルゴリズムなどを用いて決定する。
【００５３】
相関処理部３５は、検出物体データと、予測物体データと、補正自車データと、検出物体データおよび予測物体データの対応関係とをまとめた相関データを更新処理部３６に出力する。
【００５４】
このように、相関処理部３５は、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、その対応関係とをまとめたものを相関データとして生成して出力する。
【００５５】
続いて、ステップＳ１０６において、更新処理部３６は、相関データに含まれる検出物体データと予測物体データとの対応関係に基づいた、対応する検出物体データおよび予測物体データを用いて、処理時刻ｔｋ−１に更新して出力した更新物体データを更新することで、物体データ時刻における更新物体データを生成する。
【００５６】
なお、更新処理部３６は、例えば、最小二乗法、カルマンフィルタ、粒子フィルタなどを用いて、更新物体データを更新する。
【００５７】
更新処理部３６は、処理時刻ｔｋに更新した更新物体データ、すなわち物体データ時刻における更新物体データを予測処理部３４に出力し、さらに、この更新物体データと、物体データ時刻における補正自車データを、情報報知装置４および車両制御装置５に出力する。その後、処理時刻ｔｋでの処理が終了となる。
【００５８】
このように、更新処理部３６は、対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力する。
【００５９】
次に、補正自車データの生成方法の例について、図３〜図５を参照しながら説明する。図３〜図５は、本発明の実施の形態１における予測処理部３４による補正自車データの生成の第１〜第３の処理例を示すタイミングチャートである。
【００６０】
ここで、物体情報センサ１による検出物体データの検出と、車両情報センサ２による検出自車データの検出は同期しているとは限らないため、一般的には、物体データ時刻と自車データ時刻は異なる。また、自車が停止、または一定速度で直進、あるいは一定速度かつ一定舵角で旋回している状況では、検出自車データが一定となるので、補正自車データを生成する必要はない。
【００６１】
しかしながら、自車が加減速、または舵角が変化しながら旋回している状況では、検出自車データは一定ではない。このような状況では、例えば、検出物体データに対応する物体の絶対速度を算出したり、検出物体データに対応する物体が静止物体であるか否かを判定したりするためには、その検出物体データと関連付けた物体データ時刻における自車データを正確に推定する必要がある。つまり、検出物体データと検出自車データの時間的な整合を取る必要がある。
【００６２】
そこで、本実施の形態１では、上記のような状況に対応するために、検出物体データと関連付けた物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成するように構成されている。
【００６３】
まず、図３を参照しながら、補正自車データの生成の第１の処理例について説明する。なお、図３では、予測処理部３４が、以下のように、物体データ時刻、検出自車データおよび自車データ時刻をデータ受信部３２から取得したと仮定している。
（１）処理時刻ｔｋ−１において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ１とともに取得する。
（２）処理時刻ｔｋにおいて、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ２とともに取得し、さらに、物体データ時刻ＴＯ１を取得する。
（３）処理時刻ｔｋ＋１において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ３とともに取得し、さらに、物体データ時刻ＴＯ２を取得する。
（４）処理時刻ｔｋ＋２において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ４とともに取得し、さらに、物体データ時刻ＴＯ３を取得する。
【００６４】
処理時刻ｔｋにおいて、予測処理部３４は、処理時刻ｔｋよりも前の複数の任意の自車データ時刻における検出自車データを用いて、物体データ時刻ＴＯ１における検出自車データを予測し、その予測結果を補正自車データとして生成する。
【００６５】
具体的には、例えば、予測処理部３４は、図３に示す座標系において、ＴＥ１における検出自車データと、ＴＥ２における検出自車データとを、ＴＯ１において内分する、換言すれば、ＴＯ１において線形近似することで得られる自車データを、ＴＯ１における補正自車データとして生成する。
【００６６】
処理時刻ｔｋ＋１において、予測処理部３４は、処理時刻ｔｋ＋１よりも前の複数の任意の自車データ時刻における検出自車データを用いて、物体データ時刻ＴＯ２における検出自車データを予測し、その予測結果を補正自車データとして生成する。
【００６７】
具体的には、例えば、予測処理部３４は、図３に示す座標系において、ＴＥ２における検出自車データと、ＴＥ３における検出自車データとを、ＴＯ２において内分することで得られる自車データを、ＴＯ２における補正自車データとして生成する。
【００６８】
処理時刻ｔｋ＋２においても、予測処理部３４は、上記と同様の動作を行うことで、ＴＯ３における補正自車データを生成する。
【００６９】
なお、予測処理部３４は、上述した具体例のような方法に限らず、今回処理時刻よりも前の複数の任意の自車データ時刻における検出自車データを用いて、物体データ時刻における補正自車データを予測して生成可能であれば、どのような方法で補正自車データを予測してもよい。
【００７０】
なお、予測処理部３４は、上述した具体例のような方法に限らず、今回処理時刻よりも前の自車データ時刻における検出自車データを時系列フィルタによって処理することで、物体データ時刻における検出自車データを予測して補正自車データを生成してもよい。具体的には、例えば、予測処理部３４は、自車が一定の加速度で運動すると仮定した上で、最小二乗法、カルマンフィルタなどを用いて、物体データ時刻における自車速度などを予測する。
【００７１】
続いて、図４を参照しながら、補正自車データの生成の第２の処理例について説明する。なお、図４では、予測処理部３４が、以下のように、物体データ時刻、検出自車データおよび自車データ時刻をデータ受信部３２から取得したと仮定している。
（１）処理時刻ｔｋ−１において、２つの検出自車データを、各検出自車データと関連付けた自車データ時刻とともに取得する。
（２）処理時刻ｔｋにおいて、５つの検出自車データを、各検出自車データと関連付けた自車データ時刻とともに取得し、さらに、物体データ時刻ＴＯ１を取得する。
（３）処理時刻ｔｋ＋１において、５つの検出自車データを、各検出自車データと関連付けた自車データ時刻とともに取得する。
（４）処理時刻ｔｋ＋２において、５つの検出自車データを、各検出自車データと関連付けた自車データ時刻とともに取得し、さらに、物体データ時刻ＴＯ２を取得する。
【００７２】
また、図４に示す状況では、先の図３に示す状況と比較して、データ受信部３２が車両情報センサ２から取得する検出自車データの取得レートが高い。第２の処理例は、データ受信部３２が車両情報センサ２から取得する検出自車データの取得レートが高い場合に有効な処理である。
【００７３】
処理時刻ｔｋにおいて、予測処理部３４は、処理時刻ｔｋよりも前の複数の任意の自車データ時刻における検出自車データを用いて、物体データ時刻ＴＯ１における検出自車データを予測し、その予測結果を補正自車データとして生成する。
【００７４】
前述したとおり、これらの検出自車データは、各検出自車データと関連付けた自車データ時刻とともに、データ記憶部３３に格納されているので、予測処理部３４は、予測するのに必要な検出自車データを自車データ時刻とともにデータ記憶部３３から取得する。
【００７５】
具体的には、例えば、予測処理部３４は、図４に示す座標系において、処理時刻ｔｋ＋１よりも前の複数の任意の自車データ時刻における検出自車データから、物体データ時刻ＴＯ１に対して時間的に前後に隣り合う２つの検出自車データを選択する。予測処理部３４は、これら２つの検出自車データを、ＴＯ１において内分することで得られる自車データを、ＴＯ１における補正自車データとして生成する。
【００７６】
処理時刻ｔｋ＋２においても同様に、予測処理部３４は、上記と同様の動作を行うことで、ＴＯ２における補正自車データを生成する。
【００７７】
このように、予測処理部３４は、今回処理時刻よりも前の自車データ時刻における検出自車データのうちの、物体データ時刻に対して時間的に前後に隣り合う自車データ時刻における検出自車データを線形近似することで、物体データ時刻における検出自車データを予測して補正自車データを生成する。
【００７８】
続いて、図５を参照しながら、補正自車データの生成の第３の処理例について説明する。なお、図５では、予測処理部３４が、以下のように、物体データ時刻、検出自車データおよび自車データ時刻をデータ受信部３２から取得したと仮定している。
（１）処理時刻ｔｋ−２において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ１とともに取得する。
（２）処理時刻ｔｋ−１において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ２とともに取得する。
（３）処理時刻ｔｋにおいて、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ３とともに取得し、さらに、ＴＯ１に対して遅延時間を考慮した物体データ時刻ＴＯ’１を取得する。
（４）処理時刻ｔｋ＋１において、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ４とともに取得し、さらに、ＴＯ２に対して遅延時間を考慮した物体データ時刻ＴＯ’２を取得する。
【００７９】
また、図５に示す状況では、先の図３に示す状況と比較して、物体情報センサ１が検出物体データを検出した時刻に対して、データ受信部３２がその検出物体データを受信した時刻が遅延している。すなわち、データ受信部３２は、処理時刻ｔｋ−１から処理時刻ｔｋまでの期間に物体情報センサ１から検出物体データを受信した受信時刻を物体データ時刻ＴＯ１として、そのＴＯ１を検出物体データと関連付けるのではなく、上記の遅延を考慮して、ＴＯ１よりも前の時刻ＴＯ’１を検出物体データと関連付ける。物体データ時刻ＴＯ２と、遅延を考慮した時刻ＴＯ’２の関係についても同様である。
【００８０】
第３の処理例は、物体情報センサ１が検出物体データを検出した時刻に対して、データ受信部３２がその検出物体データを受信した時刻が遅延する際の遅延時間を考慮する場合に有効な処理である。
【００８１】
処理時刻ｔｋにおいて、データ受信部３２は、受信時刻ＴＯ１から遅延時間を減算することで得られる時刻ＴＯ’１を物体データ時刻として、時刻ＴＯ１に受信した検出物体データと関連付ける。なお、遅延時間、すなわち、ＴＯ１とＴＯ’１の時間差は、予め分かっている値である。
【００８２】
この場合、上記のとおり、予測処理部３４は、検出自車データを、その検出自車データと関連付けた自車データ時刻ＴＥ３とともに取得し、さらに、物体データ時刻ＴＯ’１をデータ受信部３２から取得する。
【００８３】
処理時刻ｔｋにおいて、予測処理部３４は、処理時刻ｔｋよりも前の複数の任意の自車データ時刻における検出自車データを用いて、物体データ時刻ＴＯ’１における検出自車データを予測し、その予測結果を補正自車データとして生成する。
【００８４】
前述したとおり、これらの検出自車データは、各検出自車データと関連付けた自車データ時刻とともに、データ記憶部３３に格納されているので、予測処理部３４は、予測するのに必要な検出自車データを自車データ時刻とともにデータ記憶部３３から取得する。
【００８５】
具体的には、例えば、予測処理部３４は、図５に示す座標系において、ＴＥ１における検出自車データと、ＴＥ２における検出自車データとを、ＴＯ’１において内分することで得られる自車データを、ＴＯ’１における補正自車データとして生成する。
【００８６】
処理時刻ｔｋ＋１においても同様に、予測処理部３４は、上記と同様の動作を行うことで、ＴＯ’２における補正自車データを生成する。
【００８７】
このように、データ受信部３２は、受信した検出物体データごとに、時刻計測部３１によって計測された時刻から受信時刻を確定し、確定した受信時刻から遅延時間を減算した時刻をさらに確定して物体データ時刻として関連付ける。
【００８８】
なお、データ受信部３２は、上記の物体データ時刻ＴＯ１’、ＴＯ２’の確定と同様に、車両情報センサ２が検出自車データを検出した時刻に対して、データ受信部３２がその検出自車データを受信した時刻が遅延する際の遅延時間を考慮して、自車データ時刻を確定してもよい。つまり、データ受信部３２は、受信した検出自車データごとに、時刻計測部３１によって計測された時刻から受信時刻を確定し、確定した受信時刻から遅延時間を減算した時刻をさらに確定して自車データ時刻として関連付けるようにしてもよい。
【００８９】
以上、本実施の形態１によれば、前回処理時刻から今回処理時刻までの期間に各センサから受信した検出物体データおよび検出自車データについて、検出物体データごとに物体データ時刻を関連付け、検出自車データごとに自車データ時刻を関連付け、物体データ時刻における検出自車データを予測し、その予測結果を補正自車データとして生成し、物体データ時刻における更新物体データを予測し、その予測結果を予測物体データとして生成するように構成されている。
【００９０】
さらに、上記の構成に対して、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、対応関係とをまとめたものを相関データとして生成し、相関データに含まれる対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力するように構成されている。
【００９１】
これにより、更新物体データおよび補正自車データを参照することで、自車に搭載されたセンサによって検出される物体の状態を推定することができる。また、物体情報センサと車両情報センサから入力されるデータの受信タイミングが非同期的であったり、各センサの入力遅れがあったりした場合であっても、検出物体データと関連付けられた時刻に合わせてその時刻における検出自車データを予測して、検出物体データと検出自車データの時間的な整合を取っているので、物体の状態のより正確な推定が期待できる。
【符号の説明】
【００９２】
１  物体情報センサ、２  車両情報センサ、３  物体認識装置、４  情報報知装置、５  車両制御装置、３１  時刻計測部、３２  データ受信部、３３  データ記憶部、３４  予測処理部、３５  相関処理部、３６  更新処理部。
【図１】
2018205237.tif 000003
【図２】
2018205237.tif 000004
【図３】
2018205237.tif 000005
【図４】
2018205237.tif 000006
【図５】
2018205237.tif 000007
【手続補正書】
【提出日】平成30年8月9日(2018.8.9)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明における物体認識装置は、物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する処理を行う物体認識装置であって、時刻を計測する時刻計測部と、物体認識装置が処理を開始する処理時刻よりも１つ前の処理時刻である前回処理時刻から処理時刻までの期間に受信した検出物体データおよび検出自車データについて、検出物体データごとに、時刻計測部によって計測された時刻を物体データ時刻として関連付け、検出自車データごとに、時刻計測部によって計測された時刻を自車データ時刻として関連付け、検出物体データ、物体データ時刻、検出自車データおよび自車データ時刻を出力するデータ受信部と、データ受信部によって出力される物体データ時刻、検出自車データおよび自車データ時刻を入力として、物体データ時刻における検出自車データを予測し、予測結果を補正自車データとして生成して出力し、更新物体データと、データ受信部によって出力される物体データ時刻を入力として、物体データ時刻における更新物体データを予測し、予測結果を予測物体データとして生成して出力する予測処理部と、データ受信部によって出力される検出物体データと、予測処理部によって出力される予測物体データおよび補正自車データを入力として、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、対応関係とをまとめたものを相関データとして生成して出力する相関処理部と、相関処理部によって出力される相関データを入力として、対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力する更新処理部と、を備えたものである。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
本発明における物体認識方法は、物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する処理を行う物体認識方法であって、処理が開始される処理時刻よりも１つ前の処理時刻である前回処理時刻から処理時刻までの期間に受信した検出物体データおよび検出自車データについて、検出物体データごとに物体データ時刻を関連付け、検出自車データごとに自車データ時刻を関連付け、検出物体データ、物体データ時刻、検出自車データおよび自車データ時刻を出力するステップと、物体データ時刻、検出自車データおよび自車データ時刻を入力として、物体データ時刻における検出自車データを予測し、予測結果を補正自車データとして生成して出力し、更新物体データと、物体データ時刻を入力として、物体データ時刻における更新物体データを予測し、予測結果を予測物体データとして生成して出力するステップと、検出物体データと、予測物体データおよび補正自車データを入力として、検出物体データと予測物体データとの対応関係を決定し、補正自車データと、検出物体データと、予測物体データと、対応関係とをまとめたものを相関データとして生成して出力するステップと、相関データを入力として、対応する検出物体データおよび予測物体データを用いて、物体データ時刻における更新物体データを生成し、物体データ時刻における更新物体データおよび補正自車データを出力するものである。
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する処理を行う物体認識装置であって、
時刻を計測する時刻計測部と、
前記物体認識装置が前記処理を開始する処理時刻よりも１つ前の前記処理時刻である前回処理時刻から前記処理時刻までの期間に受信した前記検出物体データおよび前記検出自車データについて、前記検出物体データごとに、前記時刻計測部によって計測された時刻を物体データ時刻として関連付け、前記検出自車データごとに、前記時刻計測部によって計測された時刻を自車データ時刻として関連付け、前記検出物体データ、前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を出力するデータ受信部と、
前記データ受信部によって出力される前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を入力として、前記物体データ時刻における前記検出自車データを予測し、予測結果を前記補正自車データとして生成して出力し、前記更新物体データと、前記データ受信部によって出力される前記物体データ時刻を入力として、前記物体データ時刻における前記更新物体データを予測し、予測結果を予測物体データとして生成して出力する予測処理部と、
前記データ受信部によって出力される前記検出物体データと、前記予測処理部によって出力される前記予測物体データおよび前記補正自車データを入力として、前記検出物体データと前記予測物体データとの対応関係を決定し、前記補正自車データと、前記検出物体データと、前記予測物体データと、前記対応関係とをまとめたものを相関データとして生成して出力する相関処理部と、
前記相関処理部によって出力される前記相関データを入力として、対応する前記検出物体データおよび前記予測物体データを用いて、前記物体データ時刻における前記更新物体データを生成し、前記物体データ時刻における前記更新物体データおよび前記補正自車データを出力する更新処理部と、
を備えた物体認識装置。
【請求項２】
前記データ受信部は、
受信した前記検出物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定して前記物体データ時刻として関連付け、
受信した前記検出自車データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定して前記自車データ時刻として関連付ける
請求項１に記載の物体認識装置。
【請求項３】
前記データ受信部は、
受信した前記検出物体データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定した前記受信時刻から遅延時間を減算した時刻をさらに確定して前記物体データ時刻として関連付ける
請求項１に記載の物体認識装置。
【請求項４】
前記データ受信部は、
受信した前記検出自車データごとに、前記時刻計測部によって計測された時刻から受信時刻を確定し、確定した前記受信時刻から遅延時間を減算した時刻をさらに確定して前記自車データ時刻として関連付ける
請求項３に記載の物体認識装置。
【請求項５】
前記予測処理部は、
前記処理時刻よりも前の前記自車データ時刻における前記検出自車データを時系列フィルタによって処理することで、前記物体データ時刻における前記検出自車データを予測して前記補正自車データを生成する
請求項１から４のいずれか１項に記載の物体認識装置。
【請求項６】
前記予測処理部は、
前記処理時刻よりも前の前記自車データ時刻における前記検出自車データのうちの、前記物体データ時刻に対して時間的に前後に隣り合う前記自車データ時刻における前記検出自車データを線形近似することで、前記物体データ時刻における前記検出自車データを予測して前記補正自車データを生成する
請求項１から４のいずれか１項に記載の物体認識装置。
【請求項７】
請求項１から６のいずれか１項に記載の物体認識装置と、
前記物体認識装置によって出力される前記更新物体データおよび前記補正自車データに従って車両を制御する車両制御装置と、
を備えた車両制御システム。
【請求項８】
前記更新物体データおよび前記補正自車データに従って情報を報知する情報報知装置をさらに備えた
請求項７に記載の車両制御システム。
【請求項９】
物体情報センサから受信した検出物体データと、車両情報センサから受信した検出自車データから、更新物体データおよび補正自車データを生成して出力する処理を行う物体認識方法であって、
前記処理が開始される処理時刻よりも１つ前の前記処理時刻である前回処理時刻から前記処理時刻までの期間に受信した前記検出物体データおよび前記検出自車データについて、前記検出物体データごとに物体データ時刻を関連付け、前記検出自車データごとに自車データ時刻を関連付け、前記検出物体データ、前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を出力するステップと、
前記物体データ時刻、前記検出自車データおよび前記自車データ時刻を入力として、前記物体データ時刻における前記検出自車データを予測し、予測結果を前記補正自車データとして生成して出力し、前記更新物体データと、前記物体データ時刻を入力として、前記物体データ時刻における前記更新物体データを予測し、予測結果を予測物体データとして生成して出力するステップと、
前記検出物体データと、前記予測物体データおよび前記補正自車データを入力として、前記検出物体データと前記予測物体データとの対応関係を決定し、前記補正自車データと、前記検出物体データと、前記予測物体データと、前記対応関係とをまとめたものを相関データとして生成して出力するステップと、
前記相関データを入力として、対応する前記検出物体データおよび前記予測物体データを用いて、前記物体データ時刻における前記更新物体データを生成し、前記物体データ時刻における前記更新物体データおよび前記補正自車データを出力するステップと、
を備えた物体認識方法。