(57)【特許請求の範囲】
【請求項１】
自動車に搭載され、前記自動車を自車として自車周辺の他車を検出する車載周辺他車検出装置であって、
自車周辺を撮影するカメラと、
前記カメラが撮影した画像に対して画像認識処理を施して自車周辺の他車を検出する画像認識処理部とを有し、
前記画像認識処理部は、
前記カメラが撮影した画像の、自車に対して最も近い領域である第１の領域が写り込む部分である第１の部分に対して、自動四輪車と自動二輪車の位置を検出する画像認識処理を施す近距離他車認識手段と、
前記カメラが撮影した画像の、前記第１の領域の次に自車に対して近い領域である第２の領域が写り込む部分である第２の部分に対して、自動四輪車の位置を検出する画像認識処理を施す遠距離四輪車認識手段と、
前記遠距離四輪車認識手段が、前記自動四輪車の位置を検出した場合に、前記カメラが撮影した画像の、当該検出された自動四輪車の周辺の領域である第３の領域が写り込む部分である第３の部分に対して、自動二輪車の位置を検出することのできる画像認識処理を施す遠距離二輪車認識手段とを有し、
前記第３の領域は、遠距離四輪車認識手段が位置を検出した前記自動四輪車の、前記カメラから見て左右に位置する領域であることを特徴とする車載周辺他車検出装置。
【請求項２】
自動車に搭載され、前記自動車を自車として自車周辺の他車を検出する車載周辺他車検出装置であって、
自車周辺を撮影するカメラと、
前記カメラが撮影した画像に対して画像認識処理を施して自車周辺の他車を検出する画像認識処理部とを有し、
前記画像認識処理部は、
前記カメラが撮影した画像の、自車に対して最も近い領域である第１の領域が写り込む部分である第１の部分に対して、自動四輪車と自動二輪車の位置を検出する画像認識処理を施す近距離他車認識手段と、
前記カメラが撮影した画像の、前記第１の領域の次に自車に対して近い領域である第２の領域が写り込む部分である第２の部分に対して、自動四輪車の位置を検出する画像認識処理を施す遠距離四輪車認識手段と、
前記遠距離四輪車認識手段が、前記自動四輪車の位置を検出した場合に、前記カメラが撮影した画像の、当該検出された自動四輪車の周辺の領域である第３の領域が写り込む部分である第３の部分に対して、自動二輪車の位置を検出することのできる画像認識処理を施す遠距離二輪車認識手段とを有し、
前記第３の領域は、遠距離四輪車認識手段が位置を検出した前記自動四輪車が自車に接近したときに、当該自動四輪車によって生じる前記カメラの死角となる領域と同じ相対位置関係を、当該自動四輪車に対して有する領域であることを特徴とする車載周辺他車検出装置。
【請求項３】
請求項１または２記載の車載周辺他車検出装置であって、
前記カメラは前記自動車後方を撮影することを特徴とする車載周辺他車検出装置。
【請求項４】
請求項３記載の車載周辺他車検出装置であって、
前記遠距離四輪車認識手段が前記自動四輪車の位置を検出した場合に、当該検出された自動四輪車の位置が、自車と同じ走行レーン上にあるかどうかを算定する走行レーン算定手段を有し、
前記遠距離二輪車認識手段は、前記走行レーン算定手段が、前記遠距離四輪車認識手段が検出した自動四輪車の位置が自車と同じ走行レーン上にあることを算定した場合にのみ、前記第３の部分に対して、前記自動二輪車の位置を検出することのできる画像認識処理を施すことを特徴とする車載周辺他車検出装置。
【請求項５】
請求項３または４記載の車載周辺他車検出装置であって、
前記遠距離二輪車認識手段が過去に前記第３の部分に対して検出した自動二輪車の位置の推移に基づいて、自車近傍の自動四輪車のために前記カメラの死角となっている範囲内に現在位置する自動二輪車の存在及び当該自動二輪車の位置を推定する二輪車位置推定手段を、さらに有することを特徴とする車載周辺他車検出装置。
【請求項６】
請求項５記載の車載周辺他車検出装置であって、
前記二輪車位置推定手段が推定した自動二輪車の位置が、自車後方の、自車の方向指示器の操作状態から予測される進路変更方向側の位置であった場合に、当該自動二輪車の存在を提示する状況提示手段を有することを特徴とする車載周辺他車検出装置。
【請求項７】
自動車に搭載された装置において、前記自動車を自車として自車周辺の他車を検出する周辺他車検出方法であって、
前記装置が、カメラによって自車周辺を撮影するステップと、
前記装置が、前記カメラが撮影した画像の、自車に対して最も近い領域である第１の領域が写り込む部分である第１の部分に対して、自動四輪車と自動二輪車の位置を検出する画像認識処理を施すステップと、
前記装置が、前記カメラが撮影した画像の、前記第１の領域の次に自車に対して近い領域である第２の領域が写り込む部分である第２の部分に対して、自動四輪車の位置を検出する画像認識処理を施すステップと、
前記装置が、前記第２の部分に対する画像認識処理によって前記自動四輪車が検出された場合に、前記カメラが撮影した画像の、当該検出された自動四輪車の周辺の領域である第３の領域が写り込む部分である第３の部分に対して、自動二輪車の位置を検出することのできる画像認識処理を施すステップとを有し、
前記第３の領域は、遠距離四輪車認識手段が位置を検出した前記自動四輪車の、前記カメラから見て左右に位置する領域であることを特徴とする周辺他車検出方法。
【請求項８】
自動車に搭載された装置において、前記自動車を自車として自車周辺の他車を検出する周辺他車検出方法であって、
前記装置が、カメラによって自車周辺を撮影するステップと、
前記装置が、前記カメラが撮影した画像の、自車に対して最も近い領域である第１の領域が写り込む部分である第１の部分に対して、自動四輪車と自動二輪車の位置を検出する画像認識処理を施すステップと、
前記装置が、前記カメラが撮影した画像の、前記第１の領域の次に自車に対して近い領域である第２の領域が写り込む部分である第２の部分に対して、自動四輪車の位置を検出する画像認識処理を施すステップと、
前記装置が、前記第２の部分に対する画像認識処理によって前記自動四輪車が検出された場合に、前記カメラが撮影した画像の、当該検出された自動四輪車の周辺の領域である第３の領域が写り込む部分である第３の部分に対して、自動二輪車の位置を検出することのできる画像認識処理を施すステップとを有し、
前記第３の領域は、遠距離四輪車認識手段が位置を検出した前記自動四輪車が自車に接近したときに、当該自動四輪車によって生じる前記カメラの死角となる領域と同じ相対位置関係を、当該自動四輪車に対して有する領域であることを特徴とする周辺他車検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載される、自動車周辺の他車を検出する車載周辺他車検出装置に関するものである。
【背景技術】
【０００２】
自動車周辺の他車を検出する技術としては、カメラで撮影した自車周辺の画像に対して画像認識処理を施して、自車周辺に存在する他車を検出し、検出した他車の位置などの情報を提示する技術が知られている（たとえば、特許文献１）。
【特許文献１】特開2005-215964号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
運転者の周辺状況認識の支援のために、自車近くに存在する自動二輪車を検出し運転者に対して提示しようとする場合、前記カメラで撮影した自車周辺の画像に対する画像認識処理によって他車を識別する技術によれば次のような問題が生じる。
すなわち、自車近くの自動二輪車は、自車近くの他の自動四輪車の陰となってカメラで撮影できなくなってしまうことが多い。そして、このために、自車近くの自動二輪車の検出漏れが多く発生する。
一方で、自車に近づいてくる自動二輪車を、自車から遠い位置にある時点から検出するようにし、過去に検出した自動二輪車位置やその推移から、現在、当該自動二輪車が自車の近くに存在するかどうかを推定することにより、自車近くの自動二輪車を検出するようにすることも考えられる。しかし、このようにすると、カメラで撮影した画像の広い領域について画像認識処理を行わなければならない。また、遠距離にあって画像中に写り込むサイズの小さい自動二輪車を認識するために、高精度な画像認識処理を行わなければならなくなる。すなわち、自車から遠い位置にある自動二輪車を検出するようにすると、画像認識処理の処理量が増大し、効率的な他車検出の妨げとなる。
【０００４】
そこで、本発明は、カメラで撮影した画像に基づいて、より効率的に自車周辺の他車を適正に検出することを課題とする。
【課題を解決するための手段】
【０００５】
前記課題達成のために、本発明は、自動車に搭載され、前記自動車を自車として自車周辺の他車を検出する車載周辺他車検出装置に、自車周辺を撮影するカメラと、前記カメラが撮影した画像に対して画像認識処理を施して自車周辺の他車を検出する画像認識処理部とを備えると共に、前記画像認識処理部を、前記カメラが撮影した画像の、自車に対して最も近い領域である第１の領域が写り込む部分である第１の部分に対して、自動四輪車と自動二輪車の位置を検出する画像認識処理を施す近距離他車認識手段と、前記カメラが撮影した画像の、前記第１の領域の次に自車に対して近い領域である第２の領域が写り込む部分である第２の部分に対して、自動四輪車の位置を検出する画像認識処理を施す遠距離四輪車認識手段と、前記遠距離四輪車認識手段が、前記自動四輪車の位置を検出した場合に、前記カメラが撮影した画像の、当該検出された自動四輪車の周辺の領域である第３の領域が写り込む部分である第３の部分に対して、自動二輪輪車の位置を検出することのできる画像認識処理を施す遠距離二輪車認識手段とより構成したものである。
【０００６】
ここで、自車から遠い位置にある自動二輪車のうち、自車に接近したときに他の自動四輪車の陰になる可能性の高い自動二輪車は、少なくとも他の自動四輪車の周辺に位置する自動二輪車である。したがって、本車載周辺他車検出装置のように、自車から遠い位置に自動四輪車が存在する場合にのみ、当該自動四輪車の周辺を対象として自車から遠い位置にある自動二輪車を検出するための画像認識処理を行うことにより、当該画像認識処理の処理量を抑えつつ、自車に接近したときに他の自動四輪車の陰になる可能性のある自動二輪車を、当該自動二輪車が自車から遠い位置にある時点から検出することができる。そして、このようにして過去に検出した自動二輪車位置やその推移から、現在、当該自動二輪車が自車の近くに存在するかどうかを推定することにより、自車近くの自動二輪車を当該自動二輪車が他の自動四輪車の死角に位置する場合も適正に検出するようができるようになる。
【０００７】
ここで、より具体的には、車載周辺他車検出装置において、前記第３の領域としては、たとえば、遠距離四輪車認識手段が位置を検出した前記自動四輪車の、前記カメラから見て左右に位置する領域を用いることができる。または、前記第３の領域としては、遠距離四輪車認識手段が位置を検出した前記自動四輪車が自車に接近したときに、当該自動四輪車によって生じる前記カメラの死角となる領域と同じ相対位置関係を、当該自動四輪車に対して有する領域を用いるようにしてもよい。
【０００８】
これらのようにすることにより、自車から遠い位置にある自動二輪車を検出するための画像認識処理の対象とする画像の部分を、現在遠い位置にあって自車に接近したときに他の自動四輪車の陰になる可能性がより高い自動二輪車が存在する部分に限定することができ、この結果、当該画像認識処理の処理量を増大をより抑制することができるようになる。
【０００９】
ここで、以上のような車載周辺他車検出装置は、前記カメラは前記自動車後方を撮影するものとして良い。また、この場合には、車載周辺他車検出装置に、前記遠距離四輪車認識手段が前記自動四輪車の位置を検出した場合に、当該検出された自動四輪車の位置が、自車と同じ走行レーン上にあるかどうかを算定する走行レーン算定手段を設け、前記遠距離二輪車認識手段において、前記走行レーン算定手段が、前記遠距離四輪車認識手段が検出した自動四輪車の位置が自車と同じ走行レーン上にあることを算定した場合にのみ、前記第３の部分に対して、自動二輪輪車の位置を検出することのできる画像認識処理を施すようにしてもよい。
【００１０】
ここで、現在自車後方の遠い位置にあって自車に接近したときに他の自動四輪車の陰になる可能性の高い自動二輪車は、自車と同じ走行レーンを走行している他の自動四輪車の周辺に位置する自動二輪車である。したがって、このように、自車と同じ走行レーンを走行している他の自動四輪車が存在する場合にのみ、自車から遠い位置にある自動二輪車を検出するための画像認識処理を行うことにより、当該画像認識処理の処理量を増大をより抑えることができる。
【００１１】
また、以上のような車載周辺他車検出装置には、前記遠距離二輪車認識手段が過去に検出した自動二輪車の位置に基づいて、自車近傍の自動四輪車のために前記カメラの死角となっている範囲内に存在する自動二輪車の位置を推定する二輪車位置推定手段を設けることが好ましい。このようにすることにより、他の自動四輪車の死角に存在する自車周辺の自動二輪車を検出して、検出した自動二輪車についての情報を提示したりすることができるようになる。すなわち、この場合には、たとえば、他の自動四輪車の死角に存在する自動二輪車についての情報を提示する手段として、前記二輪車位置推定手段が推定した自動二輪車の位置が、自車の状態と所定の関係を有するものであった場合に、当該自動二輪車の存在を提示する状況提示手段などを備えることができる。
【発明の効果】
【００１２】
以上のように、本発明によれば、カメラで撮影した画像に基づいて、より効率的に自車周辺の他車を適正に検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺他車提示装置の構成を示す。
本周辺状況他車装置は自動車に搭載される装置であり、図示するように、後方カメラ１、画像認識処理部２、他車追尾部３、周辺状況提示部４、車両状態センサ５、表示装置７、音声出力装置７とを備えている。ここで、車両状態センサ５は、自動車の方向指示器操作状態などの車両の各種状態を計測するセンサの集合である。
【００１４】
また、図１ｂに示すように、後方カメラ１は自動車の前部に設置され、自車の後方を撮影する。
また、画像認識処理部２は、以下に示す画像認識処理を行う。
図２ａに、この画像認識処理の手順を示す。
図示するように、この処理では、まず、後方カメラ１が撮影した画像の近距離認識領域を対象とする、近距離四輪車及び二輪車認識処理を起動する（ステップ２０２）。ここで、近距離認識領域は、後方カメラ１が撮影した画像中の、自車に対して所定距離以内の被写体が写り込む領域であり、たとえば、図３ａに示すように、後方カメラ１が撮影した画像３００の下方の領域３０１として予め設定する。
【００１５】
ここで、起動された近距離四輪車及び二輪車認識処理は、所定の近距離四輪車認識用の画像認識アルゴリズムを用いた、後方カメラ１が撮影した画像の近距離認識領域内に存在する四輪車の画像パターンの検出と、検出した画像パターンの画像中の位置より推定される当該四輪車の自車に対する相対位置の算定とを繰り返し行う。また、起動された近距離四輪車及び二輪車認識処理は、所定の近距離二輪車認識用の画像認識アルゴリズムを用いた、後方カメラ１が撮影した画像の近距離認識領域内に存在する二輪車の画像パターンの検出と、検出した画像パターンの画像中の位置より推定される当該二輪車の自車に対する相対位置の算定とを繰り返し行う。また、近距離四輪車及び二輪車認識処理では、算定した四輪車の相対位置を、四輪車の現在位置データとして他車追尾部３に出力し、算定した二輪車の相対位置を、二輪車の現在位置データとして他車追尾部３に出力する。
【００１６】
図２ａに戻り、次に、後方カメラ１が撮影した画像の遠距離四輪車認識領域を対象とする、遠距離四輪車認識処理を起動する（ステップ２０４）。ここで、遠距離四輪車認識領域は、近距離認識領域３０１に写り込む被写体よりも自車に対してある程度遠い被写体が写り込む、後方カメラ１が撮影した画像中の領域であり、たとえば、図３ａに示すように、後方カメラ１が撮影した画像３００の、近距離認識領域３０１の上部の領域３０２として予め設定する。
【００１７】
ここで、起動された遠距離四輪車認識処理は、所定の遠距離四輪車認識用の画像認識アルゴリズムを用いた、後方カメラ１が撮影した画像の遠距離四輪車認識領域内の四輪車の画像パターンの検出と、検出した画像パターンの画像中の位置より推定される当該四輪車の自車に対する相対位置の算定とを繰り返し行う。なお、遠距離四輪車認識処理では、距離認識領域内の二輪車の認識は行わない。また、遠距離四輪車認識処理では、現在位置データの他車追尾部３への出力を行わない。
【００１８】
図２に戻り、以上のようにして、近距離四輪車及び二輪車認識処理と遠距離四輪車認識処理を起動したならば、遠距離四輪車認識処理による四輪車の認識の発生、すなわち、遠距離四輪車認識処理による遠距離四輪車認識領域内の四輪車の画像パターンの検出の発生を監視する（ステップ２０６）。
【００１９】
そして、遠距離四輪車認識処理による四輪車の認識が発生したならば、その認識された四輪車が、自車の後方において自車と同じ走行レーン（車線）を走行している他車であるかどうかを識別し（ステップ２０８）、自車と同じ走行レーンを走行中でなければ（ステップ２１０）、ステップ２０６に戻って、遠距離四輪車認識処理による次の四輪車の認識の発生を待つ。ここで、遠距離四輪車認識処理によって認識された四輪車が自車の後方において自車と同じ走行レーン（車線）を走行している他車であるかどうかは、たとえば、遠距離四輪車認識処理が算定した当該四輪車の自車に対する相対位置や、後方カメラ１で撮影した画像に対して白線認識処理を施して認識した自車後方の走行レーンの配置に応じて識別するようにする。
【００２０】
そして、遠距離四輪車認識処理によって認識された四輪車が自車と同じ走行レーンを走行中であれば（ステップ２１０）。後方カメラ１で撮影した画像中に、遠距離二輪車認識領域を設定し（ステップ２１２）、設定した遠距離二輪車認識領域を対象とする、遠距離二輪車認識処理を起動し（ステップ２１４）、ステップ２０６に戻って、遠距離四輪車認識処理による次の四輪車の認識の発生を待つ。
【００２１】
ここで、ステップ２１２において、遠距離二輪車認識領域は、次のように設定する。すなわち、たとえば、図３ｂのように、後方カメラ１が撮影した画像３００中の遠距離四輪車認識領域３０２内に、四輪車の画像パターン３０２１が検出されたならば、図３ｃに示すように、その画像パターン３０２１の左右に、それぞれ遠距離二輪車認識領域３０３を設定する。
【００２２】
遠距離二輪車領域３０３のサイズは、図３ｄに示すように、画像パターン３０２１の下辺上の左右方向について中央の位置Ｘを基準に定める。
すなわち、二つの遠距離二輪車領域３０３の水平方向のサイズは、自車後方に水平な地面のみが存在するものとして次のように求める。すなわち、後方カメラ１が撮影した画像３００の位置Ｘに写り込む地面上の地点から、自車左方向に所定距離Ｄ移動した地点が写り込むことになる後方カメラ１が撮影した画像３００中の位置Ａが、左側の遠距離二輪車領域３０３の左下角の点となり、後方カメラ１が撮影した画像３００の位置Ｘに写り込む地面上の地点から、自車右方向に所定距離Ｄ移動した地点が写り込むことになる後方カメラ１が撮影した画像３００中の位置Ｂが、右側の遠距離二輪車領域３０３の右下角の点となるように二つの遠距離二輪車領域３０３のサイズは定める。ここで、このように二つの遠距離二輪車領域３０３の水平方向のサイズを求めるために用いる、所定距離Ｄは、１走行レーンの幅に所定のオフセットを加えた長さの半分の長さとする。なお、このように二つの遠距離二輪車領域３０３の水平方向のサイズを定める結果、左側の遠距離二輪車領域３０３の左下角の点Ａと、右側の遠距離二輪車領域３０３の右下角の点Ｂの距離Ｗは、画像パターン３０２１が認識された他車の位置する地点を中心とする、１走行レーンの幅に所定のオフセットを加えた左右方向の長さに対応するものとなる。
【００２３】
次に、二つの遠距離二輪車領域の垂直方向のサイズＨは、自車後方に水平な地面のみが存在するものとして次のように求める。すなわち、後方カメラ１が撮影した画像３００の位置Ｘに写り込む地面上の地点に配置した、自動二輪車の高さに所定のオフセットを加えた高さを有する物体の上端が写り込むことになる後方カメラ１が撮影した画像３００中の位置Ｃと、位置Ｘと間の距離を遠距離二輪車領域の垂直方向のサイズＨとして求める。
【００２４】
以上、画像認識処理によって説明した。
次に、この画像認識処理のステップ２１４で起動する遠距離二輪車認識処理について説明する。
図２ｂに示すように、この処理では、所定の遠距離二輪車認識用の画像認識アルゴリズムを用いて、後方カメラ１が撮影した画像の遠距離二輪車認識領域内に存在する二輪車の画像パターンを検出する（ステップ２５２）。そして、検出に失敗した場合には（ステップ２５４）、そのまま処理を終了する。一方、検出に成功した場合には（ステップ２５４）、検出した画像パターンの画像中の位置より推定される当該二輪車の自車に対する相対位置を算定し、算定した二輪車の相対位置を、二輪車の現在位置データとして他車追尾部３に出力する（ステップ２５６）。そして、遠距離二輪車認識処理を終了する。
【００２５】
ここで、以上のような画像認識処理の処理例を示す。
いま、図４ａに示すような配置で、自車４０１の後方に他の四輪車４０２と自動二輪車４０３が存在する場合を考える。
この場合、図４ｂの自車４０１に近い範囲４１１が、後方カメラ１によって近距離認識領域内の画像として撮影され、近距離認識領域を対象として他車認識を行う近距離四輪車及び二輪車認識処理によって、当該範囲４１１に存在する四輪車と二輪車の認識が行われる。一方、範囲４１１の次に自車に近い範囲４１２は、後方カメラ１によって遠距離四輪車認識領域内の画像として撮影され、遠距離四輪車認識領域を対象として四輪車の認識を行う遠距離四輪車認識処理によって、当該範囲４１２に存在する四輪車認識が行われる。そして、この結果、範囲４１２内に存在する四輪車４０２が、遠距離四輪車認識処理によって認識される。
【００２６】
また、四輪車４０２が遠距離四輪車認識処理によって認識されると、図４ｃに示すように、四輪車４０２の周辺の四輪車４０２に対して左右および斜め後ろ方向に位置する範囲４１３が写り込む範囲が、遠距離二輪車認識領域として設定される。なお、前述のように遠距離二輪車認識領域のサイズが設定されるため、この範囲４１３の、他車４０２の自車４０１側端における左右方向の幅ＷＲは、走行レーンの幅に所定のオフセットを加えたものとなる。
【００２７】
ここで、このように遠距離二輪車認識領域が設定されると、遠距離二輪車認識領域を対象として二輪車の認識を行う遠距離二輪車認識処理が行われ、この結果、範囲４１３内に存在する二輪車４０３が、遠距離四輪車認識処理によって認識されることになる。
以上、画像認識処理部２の動作について説明した。
ところで、以上の画像認識処理で用いる遠距離二輪車認識領域は、次のように設定するようにしてもよい。
すなわち、図５ａに示すように、（図４ｂと同様に）遠距離四輪車認識領域の画像として撮影される範囲４１２内に存在する四輪車４０２が、遠距離四輪車認識処理によって認識されたならば、この四輪車４０２が、図５ｂに示すようにそのまま自車に接近した場合、当該接近した四輪車４０２１によって後方カメラ１の死角となる相対範囲５０１を、当該接近した四輪車４０２１に対して求める。そして、図５ｃに示すように、当該相対範囲５０１と接近した四輪車４０２１との位置関係と同じ位置関係を、他車４０２に対して有する範囲５０２を求める。
【００２８】
そして、図５ｄに示すように、範囲５０２を含む、対応する画像上の領域が矩形となる最小の範囲５０３が写り込む範囲を遠距離二輪車認識領域として設定する。
以上のように、本実施形態に係る画像認識処理部２では、自車から遠い位置にある二輪車を検出するために行う遠距離二輪車認識処理を、現在自車から遠い位置にあって自車に接近したときに、後方カメラ１に対して自車周辺の二輪車を隠す死角を作る可能性の高い四輪車が存在する場合にのみ、当該四輪車が自車に接近したときに当該四輪車の陰となる二輪車が現在存在する可能性の高い領域のみを対象として行う。したがって、遠距離二輪車認識処理の処理量を抑えつつ、現在自車から遠い位置にあって自車に接近したときに他の四輪車の陰になる可能性のある自動二輪車を適正に検出することができる。
【００２９】
さて、図１に戻り、他車追尾部３は、画像認識処理部２から四輪車及び二輪車の現在位置データに基づいて、自車後方の各他車（四輪車及び二輪車）の追尾を行い、追尾中の各他車毎に、追尾情報を生成し管理する他車追尾処理を繰り返し行う。ここで、他車の追尾とは、各時点で画像認識処理部２から出力された現在位置データを、個々の他車毎に、当該他車の時系列の現在位置データとして系列化する処理である。また、ある他車の追尾情報とは、このように系列化された当該他車の時系列の現在位置データを指す。すなわち、他車追尾部３によって、同じ他車（四輪車または二輪車）に対して各時点で画像認識処理部２で算定された各現在位置データは、一つの他車の追尾情報として管理される。なお、一般的には、画像認識処理部２から出力される現在位置データのうちに、ある追尾中の他車の過去の現在位置データから推定される当該他車の現在位置近傍の現在位置を示す現在位置データが存在する場合に、当該現在位置データを、当該追尾中の他車の現在位置データであるとすることにより、当該追尾中の他車の追尾を行う。また、画像認識処理部２から出力される現在位置データのうちに、追尾中の他車の現在位置データとすることのできなかった現在位置データが存在する場合には、新たに追尾する他車を生成し、当該存在した現在位置データを、生成した追尾する他車の現在位置データとする。ただし、以上の他車の追尾の処理は、画像認識処理部２が出力する四輪車の現在位置データと、画像認識処理部２が出力する二輪車現在位置データについて各々独立的に行う。
【００３０】
ここで、他車追尾部３は、最近に行われた近距離四輪車及び二輪車認識処理による近距離認識領域の画像認識によっても、最近に行われた遠距離二輪車認識処理によっても、対応する現在位置データが出力されなかった追尾中の他車については、その追尾を終了し、当該他車についての追尾情報を消去する。ただし、対応する現在位置データが出力されなかった他車が二輪車である場合には、次に示す死角範囲内二輪車位置補完処理を行って、当該二輪車の現在の現在位置データの補完を試み、補完が成功した場合には、補完した現在位置データを用いて、当該二輪車の追尾を継続する。
【００３１】
図６に、この死角範囲内二輪車位置補完処理の手順を示す。
図示するように、この処理では、対応する現在位置データが出力されなかった追尾中の二輪車について以下の処理を行う。
すなわち、まず、当該追尾中の二輪車について、最近の過去所定期間内に、現在位置データを画像認識処理部２より取得できた回数が所定のしきい値Ｔｈより大きいかどうかを当該追尾中の二輪車の追尾情報を参照して調べ（ステップ６０２）、回数がしきい値Ｔｈ以下であれば、補完失敗として、そのまま処理を終了する。
【００３２】
一方、最近の過去所定期間内に、現在位置データを画像認識処理部２より取得できた回数が所定のしきい値Ｔｈより大きい場合には、当該追尾中の二輪車の追尾情報が示すこれまでの現在位置データの推移に基づいて、当該二輪車の現在の相対位置を推定する（ステップ６０４）。そして、推定した相対位置が、他の四輪車や二輪車によって後方カメラ１に対して死角となっている範囲内にあるかどうかを、各追尾中他車の追尾情報を参照して調べ（ステップ６０６）、死角となっている範囲内になければ、補完失敗としてそのまま処理を終了する。
【００３３】
一方、推定した現在位置が死角となっている範囲内にあれば、推定した相対位置を表す現在位置データを、当該二輪車の現在の現在位置データとして、当該二輪車の追尾情報中に補完し（ステップ６０８）、処理を終了する。なお、現在位置データを追尾情報中に補完する場合には、当該補完した現在位置データが画像認識処理部２より取得したものではなく、補完したものであることを示す情報も、追尾情報中に含めるようにする。このようにすることにより、当該二輪車について後に行われる死角範囲内二輪車位置補完処理のステップ６０２において、追尾情報より、最近の過去所定期間内に現在位置データを画像認識処理部２より取得できた回数を適正に求めることができるようになる。
【００３４】
以上、他車追尾部３の動作について説明した。
このように、本実施形態に係る他車追尾部３によれば、自車周辺の二輪車が、他の四輪車の死角に存在する場合であっても、当該二輪車の現在の相対位置を、過去に前述した遠距離二輪車認識処理で求めた二輪車の現在位置データを用いて推定、検出することができる。
次に、図１において、周辺状況提示部４は、他車追尾部３が追尾中の各他車の現在の相対位置に基づいて、周辺状況を提示する処理を行う。
この周辺状況の処理では、たとえば、自車を表す図形と共に、他車追尾部３が追尾中の各他車を表すマークを、自車を表す図形に対して、当該他車の追尾情報の最新の相対位置が示す当該他車と自車との位置関係に従って配置した画像を表示装置７に表示することにより、各他車の現在の相対位置を提示する。また、追尾中のいずれかの他車の追尾情報が示す現在の相対位置が、所定のレベルを超えて他車が自車に接近していることを表している場合に、その旨を警告する音声を音声出力装置７から出力する。また、車両状態センサ５が検出している方向指示器操作状態より自車の進路変更が予測されたときに、追尾中のいずれかの他車の追尾情報が示す現在の相対位置が、自車後方の自車の進路変更予定方向側に他車が存在していることを表している場合に、その旨を警告する音声を音声出力装置７から出力する処理なども行う。
【００３５】
なお、ここで、このように周辺状況の提示処理で取り扱う追尾中の他車には、前記死角範囲内二輪車位置補完処理で現在位置が補完された自動二輪車も含まれる。したがって、このような周辺状況提示部４の動作によれば、自車周辺の他の四輪車の死角に存在する二輪車についても、その情報を提示することができる。
【００３６】
以上、周辺状況提示部４の処理について説明した。
以上、本発明の実施形態について説明した。
ところで、以上の実施形態では、次の動作を行うようにしてもよい。
すなわち、上述した画像認識処理において、遠距離四輪車認識処理で四輪車Ｘが認識され、かつ、当該認識に応答して設定された遠距離二輪車認識領域に対する遠距離二輪車認識処理で二輪車Ｙが認識されたならば、遠距離四輪車認識処理で求めた四輪車Ｘの現在位置データを、遠距離二輪車認識処理で認識した二輪車Ｙの遠距離四輪車認識処理で認識した四輪車Ｘに対する相対位置を伴わせた形態で、他車追尾部３に出力する。
【００３７】
また、以降、他車追尾部３は、遠距離四輪車認識処理から出力される現在位置データと近距離四輪車及び二輪車認識処理から出力される現在位置データに基づいて四輪車Ｘの追尾を行う。そして、四輪車Ｘが自車に接近したならば、遠距離四輪車認識処理から最後に出力された四輪車Ｘの現在位置データに伴っていた二輪車Ｙの相対位置と同じ位置関係を四輪車Ｘに対して持つ位置が、現在の四輪車Ｘによる後方カメラ１の死角範囲に含まれるかどうかを判定し、死角範囲に含まれている場合には、当該位置に二輪車Ｙが存在するものと推定する。
【００３８】
そして、周辺状況提示部４において、推定した二輪車Ｙの位置に基づく周辺状況の提示処理を行う。すなわち、たとえば、車両状態センサ５が検出している方向指示器操作状態より自車の進路変更が予測されたときに、自車後方の、自車の進路変更予定方向側に、推定した二輪車Ｙの位置が存在している場合には、その旨を警告する音声を音声出力装置７から出力する処理などを行う。
【００３９】
このように本実施形態によれば、自車から遠い位置にある二輪車を検出するための画像認識処理の処理量を抑えつつ、現在自車から遠い位置にあって自車に接近したときに他の四輪車の陰になる可能性のある二輪車を検出することができる。また、このようにして過去に行った二輪車の検出内容に基づいて、自車周辺の他の四輪車の死角範囲内に存在する二輪車を検出し、検出した二輪車についての情報を提示することができる。
【図面の簡単な説明】
【００４０】
【図１】本発明の実施形態に係る周辺状況提示装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像認識処理を示すフローチャートである。
【図３】本発明の実施形態に係る画像認識処理の処理例を示す図である。
【図４】本発明の実施形態に係る画像認識処理の処理例を示す図である。
【図５】本発明の実施形態に係る画像認識処理の処理例を示す図である。
【図６】本発明の実施形態に係る死角範囲内二輪車位置補完処理を示すフローチャートである。
【符号の説明】
【００４１】
１…後方カメラ、２…画像認識処理部、３…他車追尾部、４…周辺状況提示部、５…車両状態センサ、７…音声出力装置、７…表示装置。
【図１】
0004768499.tif 000002
【図２】
0004768499.tif 000003
【図３】
0004768499.tif 000004
【図４】
0004768499.tif 000005
【図５】
0004768499.tif 000006
【図６】
0004768499.tif 000007