(57)【要約】【課題】カメラで撮影した画像に基づいて適正に他車位置を検出する「車載周辺物体検出装置」を提供する。【解決手段】各時点における自車位置の緯度、経度、標高方向の座標を走行履歴として保持する。後方カメラ１が撮影した画像中における他車の画像パターンの位置と自車のピッチ角に基づいて、後方カメラ１から見た他車の方向Ｔａが、水平方向Ｈｃに対して垂直方向に成す角Ωを求める（ａ１、ａ２）。また、走行履歴が示す自車後方道路の標高の推移より、現時点における後方カメラ１と自車後方の各地点の地表面４０１との位置関係を求める（ａ３）。そして、後方カメラ１の位置から水平方向と角Ωを成す方向に自車後方に向かって引いた線と地表面４０１との交点をポイントＴＬとして求め（ａ４）、求めたポイントＴＬを、他車の自車前後方向の相対位置とする。【選択図】図４
2007285851.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載され、前記自動車周辺の物体を検出する車載周辺物体検出装置であって、
自車後方を撮影するカメラと、
各時点における自車が位置する地点の水平方向及び標高方向の位置を自車位置履歴として保持する自車位置履歴保持手段と、
前記カメラによって撮影された自車周辺の物体を検出対象物体として、前記カメラが撮影した画像に含まれる前記検出対象物体の画像部分の座標を位置算定対象画像座標として検出する画像認識手段と、
前記画像認識手段が検出した前記位置算定対象画像座標に基づいて求めた前記カメラの位置から見た前記検出対象物体の方向と、前記自車位置履歴より求まる自車後方の領域の勾配とに従って、前記検出対象物体の自車前後方向についての位置を算定する物体位置算定手段とを有することを特徴とする車載周辺物体検出装置。
【請求項２】
請求項１記載の車載周辺物体検出装置であって、
前記物体位置算定手段は、前記画像認識手段が検出した前記位置算定対象画像座標に基づいて前記カメラの位置から見た前記検出対象物体の方向を求めると共に、前記自車位置履歴より自車後方の領域の勾配を求め、自車後方の地面が求めた勾配を有するものとして求めた、当該地面上の、前記カメラから見た方向が前記求めた方向となる地点の自車前後方向についての位置を、前記検出対象物体の自車前後方向についての位置として算定することを特徴とする車載周辺物体検出装置。
【請求項３】
請求項１または２記載の車載周辺物体検出装置であって、
前記カメラの傾斜角を検出するカメラ傾斜検出手段を有し、
前記物体位置算定手段は、前記画像認識手段が検出した前記位置算定対象画像座標より定まる前記カメラの撮影方向に対する前記検出対象物体の方向と、前記カメラ傾斜検出手段が検出した前記カメラの傾斜角とより、前記カメラの位置から見た前記検出対象物体の方向を求めることを特徴とする車載周辺物体検出装置。
【請求項４】
請求項１、２または３記載の車載周辺物体検出装置であって、
三次元の道路地図を表す三次元地図データを記憶する記憶手段と、
自車の現在位置を算出する現在位置算出手段と、
前記物体位置算定手段は、前記自車位置履歴より自車後方の領域の勾配を求めることができなかった場合に、三次元地図データが表す前記現在位置算出手段が算出した現在位置後方の領域の勾配を、前記自車後方の領域の勾配として算定し、算定した勾配と、前記画像認識手段が検出した前記位置算定対象画像座標に基づいて求めた前記カメラの位置から見た前記検出対象物体の方向とに従って、前記検出対象物体の自車前後方向についての位置を算定することを特徴とする車載周辺物体検出装置。
【請求項５】
自動車に搭載された装置において、前記自動車周辺の物体を検出する周辺物体検出方法であって、
各時点における自車が位置する地点の水平方向及び標高方向の位置を自車位置履歴として保持するステップと、
前記自動車に固定した自車後方を撮影するカメラによって撮影された自車周辺の物体を検出対象物体として、前記カメラが撮影した画像に含まれる前記検出対象物体の画像部分の座標を位置算定対象画像座標として検出するステップと、
検出した前記位置算定対象画像座標に基づいて求めた前記カメラの位置から見た前記検出対象物体の方向と、前記自車位置履歴より求まる自車後方の領域の勾配とに従って、前記検出対象物体の自車前後方向についての位置を算定するステップとを有することを特徴とする周辺物体検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車に搭載される、自動車周辺の物体を検出する車載周辺物体検出装置に関するものである。
【背景技術】
【０００２】
自動車周辺の物体を検出する技術としては、カメラで撮影した自車後方の画像に対して画像認識処理を施して、自車後方に存在する他車等を識別し、識別した他車等の情報を提示する技術が知られている（たとえば、特許文献１）。
一方で、カメラで撮影した画像から自動車を検出する技術として、道路に対して固定的設置したカメラによって撮影した自動車の位置を、予め求めておいた当該カメラによって撮影する道路の勾配を加味して算出する技術も知られている（たとえば、特許文献２）。
【特許文献１】特開2005-044196号公報
【特許文献２】特開2001-159507号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自動車に搭載したカメラによって水平な地面を撮影すると仮定した場合には、画像中の各座標と、当該座標に写り込む被写体のカメラに対する相対位置は、カメラの画角などの特性と、カメラの取付位置、方向とに応じて、１対１に対応づけることができる。
すなわち、自動車の前後方向について示せば、たとえば、図５ａ１に示すように、自車後方をカメラ５０によって撮影する場合に、自車後方に距離Ｌ１離れた水平な地面上の位置にある物体Ｐが、カメラ５０で撮影した画像中に写り込む位置の垂直方向の座標は常に図５ａ２に示すようにＤ１となり、図５ａ１に示すように自車後方に距離Ｌ２離れた水平な地面上の位置にある物体Ｑが、カメラ５０で撮影した画像中に写り込む位置の垂直方向の座標は常に図５ａ２に示すようにＤ２となるといったように、画像中の各座標と、当該座標に写り込む被写体のカメラ５０に対する相対位置は１対１に関係付けることができる。
【０００４】
しかしながら、このような関係に基づいて、画像中の物体が写り込んだ座標から、当該物体の相対位置を算出するようにすると、カメラの撮影範囲に含まれる地面が水平でなく勾配を有するものである場合には、正しく、物体の相対位置を検出することができなくなる。
【０００５】
すなわち、たとえば、図５ｂ１に示すように、自車後方をカメラ５０によって撮影する場合に、自車後方の地面が勾配を有するものである場合、自車後方に距離Ｌ３離れた水平な地面上の位置にある物体Ｐが、カメラ５０で撮影した画像中に写り込む位置の垂直方向の座標は、図５ｂ２に示すように、自車後方の地面が水平である場合に自車後方に距離Ｌ１（＜Ｌ３）離れた水平な地面上の位置にある物体Ｐが写り込む位置の垂直方向の座標と同じＤ１となってしまう。
【０００６】
一方で、自動車は移動体であるために、カメラの撮影範囲の地面の勾配を予め固定的に決定することはできない。したがって、予め求めておいたカメラの撮影範囲の地面の勾配に応じてカメラが撮影した画像に写り込んだ自動車の相対位置を算定する前記特許文献２の技術は、自動車に搭載したカメラを用いる場合には、これを適用することができない。
【０００７】
そこで、本発明は、カメラで撮影した画像に基づいて、より適正に自車周辺の物体の位置を検出することを課題とする。
【課題を解決するための手段】
【０００８】
前記課題達成のために、本発明は、自動車に搭載され、前記自動車周辺の物体を検出する車載周辺物体検出装置を、自車後方を撮影するカメラと、各時点における自車が位置する地点の水平方向及び標高方向の位置を自車位置履歴として保持する自車位置履歴保持手段と、前記カメラによって撮影された自車周辺の物体を検出対象物体として、前記カメラが撮影した画像に含まれる前記検出対象物体の画像部分の座標を位置算定対象画像座標として検出する画像認識手段と、前記画像認識手段が検出した前記位置算定対象画像座標に基づいて求めた前記カメラの位置から見た前記検出対象物体の方向と、前記自車位置履歴より求まる自車後方の領域の勾配とに従って、前記検出対象物体の自車前後方向についての位置を算定する物体位置算定手段とを含めて構成したものである。ここで、より具体的には、前記物体位置算定手段は、たとえば、前記画像認識手段が検出した前記位置算定対象画像座標に基づいて前記カメラの位置から見た前記検出対象物体の方向を求めると共に、前記自車位置履歴より自車後方の領域の勾配を求め、自車後方の地面が求めた勾配を有するものとして求めた、当該地面上の、前記カメラから見た方向が前記求めた方向となる地点の自車前後方向についての位置を、前記検出対象物体の自車前後方向についての位置として算定するものである。
【０００９】
このような車載周辺物体検出装置によれば、自車位置履歴を保持すると共に保持した自車位置履歴から求まる自車後方の領域の勾配を考慮して自車後方の物体の位置を算定するので、自車後方の領域が水平でなく勾配を有するものであった場合でも、自車後方の物体の位置を適正に算定することができるようになる。
【００１０】
ここで、以上のような車載周辺物体検出装置に、さらに、前記カメラの傾斜角を検出するカメラ傾斜検出手段を備え、前記物体位置算定手段において、前記画像認識手段が検出した前記位置算定対象画像座標より定まる前記カメラの撮影方向に対する前記検出対象物体の方向と、前記カメラ傾斜検出手段が検出した前記カメラの傾斜角とより、前記カメラの位置から見た前記検出対象物体の方向を求めるようにしてもよい。このようにすることにより、自車の傾斜によるカメラの撮影方向の変化を反映した、より精度の良い自車後方の物体の位置算定が可能となる。
【００１１】
また、以上のような車載周辺物体検出装置に、三次元の道路地図を表す三次元地図データを記憶する記憶手段と、自車の現在位置を算出する現在位置算出手段とを備え、前記物体位置算定手段において、前記自車位置履歴より自車後方の領域の勾配を求めることができなかった場合に、三次元地図データが表す前記現在位置算出手段が算出した現在位置後方の領域の勾配を、前記自車後方の領域の勾配として算定し、算定した勾配と、前記画像認識手段が検出した前記位置算定対象画像座標に基づいて求めた前記カメラの位置から見た前記検出対象物体の方向とに従って、前記検出対象物体の自車前後方向についての位置を算定するようにしてもよい。
【００１２】
このようにすることにより、大きく旋回した直後であるなどのために、自車位置履歴から自車後方の領域の勾配を求めることができないときでも、ある程度、適正に自車後方の物体の位置を算定することができるようになる。
【発明の効果】
【００１３】
以上のように、本発明によれば、自車後方に関して、カメラで撮影した画像に基づいて、より適正に自車周辺の物体の位置を検出することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態について説明する。
図１ａに、本実施形態に係る周辺状況提示装置の構成を示す。
本周辺状況提示装置は自動車に搭載される装置であり、図示するように、後方カメラ１、ＧＰＳ受信機２、車両状態センサ３、走行履歴生成部４、走行履歴記憶部５、ナビゲーション装置６、他車認識部７、周辺状況提示部８、表示装置９、音声出力装置１０とを備えている。ここで、車両状態センサ３は、自動車の車速を検出する車速センサや、自動車の角加速度を検出するジャイロセンサや、自動車の傾きを検出する傾斜センサなどの車両の各種状態を計測するセンサの集合である。
【００１５】
また、図１ｂに示すように、後方カメラ１は自動車の後部に設置され、水平、垂直方向について、所定の撮影方向１１と画角１２とをもって、自車の後方を撮影する。
次に、走行履歴生成部４は、ＧＰＳ受信機２や車両状態センサ３の出力から、自車の走行の履歴を表す走行履歴情報を生成し、走行履歴記憶部５に格納する処理を繰り返す。ここで、この走行履歴記憶部５に格納する走行履歴情報は、各時点における自車位置の緯度方向の座標、経度方向の座標、標高方向の座標を表す。
【００１６】
そして、他車認識部７は、以下に示す他車位置認識処理を行う。
図２に、この他車位置認識処理の手順を示す。
図示するように、この処理では、まず、走行履歴記憶部５から、最近所定距離分の走行履歴情報を取得する（ステップ２０２）。そして、取得した走行履歴情報が表す自車の最近の走行軌跡より、直前に自車が走行してきた道路の方向を現在後方カメラ１で撮影しているかどうかを調べる（ステップ２０４）。すなわち、たとえば、図３ａのように自車３０１の走行軌跡３０２が、現在の状態が自車が大きく方向転換した直後の状態でないことを表している場合には、直前に自車が走行してきた道路の方向を現在後方カメラ１で撮影していると判定し、図３ｂのように、自車３０１の走行軌跡３０２が、現在の状態が自車が大きく方向転換した直後の状態であることを表している場合には、直前に自車が走行してきた道路の方向を現在後方カメラ１で撮影していないと判定する。
【００１７】
図２に戻り、直前に自車が走行してきた道路の方向を現在後方カメラ１で撮影していると判定された場合には、走行履歴情報が表す自車の走行履歴より、後方カメラ１の撮影領域に含まれる自車後方の道路の標高の推移を算定する（ステップ２０６）。一方、直前に自車が走行してきた方向を現在後方カメラ１で撮影していないと判定された場合には、ナビゲーション装置６に問い合わせを行うことにより、自車後方の道路の標高の推移を取得する（ステップ２２２）。
【００１８】
ここで、ナビゲーション装置６は、三次元の道路地図データを保持し、保持した三次元の道路地図データを参照しつつＧＰＳ受信機２や車両状態センサ３の出力より自車の現在位置や進行方向を算出する装置である。また、ナビゲーション装置６は、他車認識部７から問い合わせがあると、算出している現在位置や進行方向に応じて定まる自車後方の道路の標高の推移を三次元道路地図データに基づいて求め、他車認識処理部に応答する。なお、本実施形態では、三次元道路地図データが表す道路の標高の推移の精度は、走行履歴情報が表す道路の標高の推移の精度より低いものとする。
【００１９】
さて、このようにして自車後方道路の標高の推移を算定もしくは取得できたならば、次に、自車の、左右方向の軸の回りの傾斜（ピッチ）角を算出する（ステップ２０８）。この傾斜角は、車両状態センサ３を用いて自車の左右方向の軸の回りの傾斜角を計測することにより算出するようにしても良い。または、走行履歴情報より推定される自車の現在地点における道路の自車の前後方向の勾配の角度を、自車の左右方向の軸の回りの傾斜角として算定するようにしても良い。
【００２０】
また、次に、後方カメラ１が撮影した画像に対して画像認識処理を施して、画像中に写り込んでいる他車の画像パターンを抽出する（ステップ２１０）。
そして、抽出した他車の画像パターンのそれぞれについて（ステップ２１２、２１８、２２０）、以下の処理を行う。
すなわち、まず、後方カメラ１が撮影した画像中の、他車の画像パターンの中心位置を取得する（ステップ２１４）、この中心位置としては、画像パターンの重心位置を用いるようにしてもよいし、当該画像パターンに対して画像認識処理を施して求まる他車の左右方向中央の箇所が写り込んでいる位置を用いるようにしても良い。
【００２１】
そして、画像パターンの中心位置が求まったならば、ステップ２０８で検出した自車の傾斜角とステップ２０６またはステップ２２２で求めた自車後方道路の標高の推移を考慮して、画像パターンの中心位置に対応する相対位置を、他車位置として算出する（ステップ２１６）。
【００２２】
この他車位置の算出は、次のように行う。
まず、画像パターンの中心位置を対象位置として、図４ａ１に示すように、後方カメラ１が撮影した画像中の対象位置に写り込んでいる被写体（他車上の点）の位置をポイントＴとして、後方カメラ１からポイントＴに向かう方向Ｔａが、自車の前後方向と平行な方向Ｈｃに対して垂直方向に成す角θを求める。この角θは、後方カメラ１の自車に対する取付方向に従って定まる後方カメラ１の撮影方向（通常は後方カメラ１の対物レンズの光学中心軸）が自車の前後方向に対して垂直方向に成す角に、後方カメラ１が撮影した画像中における対象位置の垂直方向座標より求まる、後方カメラ１から見た対象位置方向が後方カメラ１の撮影方向に対して垂直方向に成す角を加算して求まる。
【００２３】
次に、図４ａ２に示すように、求めた角θに自車の左右の軸回りの傾斜（ピッチ角）Φを加算し、後方カメラ１からポイントＴに向かう方向Ｔａが、水平方向Ｈｗに対して垂直方向に成す角Ωを求める。
そして、図４ａ３に示すように、自車後方道路の標高の推移より、現時点における後方カメラ１と自車後方の各地点の地表面４０１との位置関係を求める。ここでは、まず、後方カメラ１の高さを、後方カメラ１の自車に対する取付高さをｄとしてｄcosΦを、現時点で自車が位置する地点の標高に加算して求める。なお、Φは、自車の左右の軸回りの傾斜である。そして、現時点で自車が位置する地点から自車の前後方向に距離Ｆ後方に離れた標高Ｇの地点を過去に走行していれば、現時点で自車が位置する地点から自車の前後方向に距離Ｆ後方離れた地点の標高は全てＧであるとして、自車後方の各地点の地表面４０１の標高を近似的に求める。そして、求めた後方カメラ１の標高と、求めた自車後方の各地点の地表面４０１の標高より、両者の位置関係を求める。
【００２４】
そして、後方カメラ１の位置から水平方向Ｈｗと角Ωを成す方向に自車後方に向かって引いた線と地表面４０１との交点をポイントＴＬとして、ポイントＴＬまでの自車からの距離Ｌを、ポイントＴの、自車前後方向の相対座標とする。ただし、後方カメラ１の位置から水平方向Ｈｗと角Ωを成す方向と地表面４０１とから、ポイントＴと同じ自車前後方向座標を持つと推定される自車後方の他の位置をポイントＴＬとして求めるようにしてもよい。たとえば、地表面４０１を自動車の中心位置の平均的な高さ分上昇させた面と、後方カメラ１の位置から水平方向Ｈｗと角Ωを成す方向に自車後方に向かって引いた線との交点をポイントＴＬとするなどしてもよい。
次に、後方カメラ１が撮影した画像中の対象位置の水平方向座標より、後方カメラ１から見たポイントＴの方向Ｔａが後方カメラ１の撮影方向に対して水平方向に成す角γを求め、図４ａ４に示すように、自車後方の自車に対して自車前後方向に距離Ｌを有し、後方カメラ１の撮影方向に対して水平方向に角γを成すポイントをポイントＴとして求め、求めたポイントＴの、後方カメラ１に対する自車左右方向の距離ＤをポイントＴの自車左右方向の相対座標とする。なお、水平方向に関する後方カメラ１の撮影方向は自車真後ろ方向である。また、ポイントＴが後方カメラ１に対して左にあれば、その自車左右方向の相対座標は正とし、右にあれば、その自車左右方向の相対座標は負とする。
【００２５】
そして、以上のようにして求めたポイントＴの自車前後方向の相対座標Ｌと自車左右方向の相対座標Ｄが、ステップ２１６で求める他車位置の相対座標となる。
さて、図２に戻り、以上のようにして、後方カメラ１が撮影した画像中に含まれる他車の画像パターンの全てについて、当該他車の他車位置を算出したならば、ステップ２０２からの処理に戻る。
以上、他車認識部７が行う他車認識処理について説明した。
ところで、ステップ２１６で求める他車位置の算出は、次のように行うようにしてもよい。すなわち、予め、自車の傾斜角と自車後方道路の標高の推移との組み合わせを規定する勾配パターンを、相互に規定する自車の傾斜角と自車後方道路の標高の推移との組み合わせが異なるように複数選定すると共に、図４ｂに示すような、選定した各勾配パターンに対応づけたマッピングテーブルを用意する。そして、各マッピングテーブルには、予め後方カメラ１が撮影する画像中の各座標を他車位置の相対座標に変換するためのテーブルを登録する。画像中のある座標が変換されるべき他車位置の相対座標は、当該画像中の座標が、他車の画像パターンの中心位置として算定された場合に、図４ａ１からａ４のようにして算定して他車位置の相対座標として予め求める。
【００２６】
そして、ステップ２０８で検出した自車の傾斜角とステップ２０６またはステップ２２２で求めた自車後方道路の標高の推移との組み合わせに最も近似する勾配パターンに対応するマッピングテーブルを用いて、後方カメラ１が撮影した画像中の画像パターンの中心位置の座標を他車位置の相対座標に変換するようにする。
【００２７】
次に、図１において、周辺状況提示部８は、他車認識部７が算定した各他車位置に基づいて、周辺状況を提示する処理を行う。
この周辺状況を提示する処理では、たとえば、自車を表す図形と共に、他車位置が算定された各他車を表すマークを、自車を表す図形に対して当該他車と自車との位置関係に従って配置した画像を表示装置９に表示することにより、各他車位置を提示する。または、算定した他車位置が、所定のレベルを超えて他車が自車に接近していることを表している場合に、その旨を通知する音声を音声出力装置１０から出力する警告処理などを行う。
【００２８】
以上、本発明の実施形態について説明した。
このように本実施形態によれば、各時点における自車位置の緯度方向の座標、経度方向の座標、標高方向の座標を走行履歴情報として保持すると共に、保持した走行履歴情報から求まる自車後方の領域の標高の推移を考慮して自車後方の他車の相対座標を算定するので、自車後方の領域が水平でなく勾配を有するものであった場合でも、自車後方の他車の位置を適正に算定することができるようになる。また、この際に、自車の傾斜によるカメラの撮影方向の変化を考慮して他車の相対座標を算定するので、精度よい他車位置の算定が実現される。
【００２９】
また、走行履歴情報から自車の後方領域の標高の推移を求めることができない場合には、ナビゲーション装置６によって算定した三次元の道路地図データから求まる自車の後方領域の標高の推移を代用として用いるので、大きく旋回した直後であるなどのために、走行履歴情報から自車後方の領域の標高の推移を求めることができないときでも、ある程度、適正に他車位置を算定することができるようになる。
【００３０】
なお、以上の実施形態では自車後方の他車の相対座標を算定する場合について説明したが、本実施形態は、他車に限らず自車後方の任意の物体の位置を算定するように構成してよい。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る周辺状況提示装置の構成を示すブロック図である。
【図２】本発明の実施形態に係る他車位置認識処理を示すフローチャートである。
【図３】本発明の実施形態に係る他車位置認識処理の処理例を示す図である。
【図４】本発明の実施形態に係る他車位置認識処理の処理例を示す図である。
【図５】従来の他車位置の算定法を示す図である。
【符号の説明】
【００３２】
１…後方カメラ、２…ＧＰＳ受信機、３…車両状態センサ、４…走行履歴生成部、５…走行履歴記憶部、６…ナビゲーション装置、７…他車認識部、８…周辺状況提示部、９…表示装置、１０…音声出力装置。
【図１】
2007285851.tif 000003
【図２】
2007285851.tif 000004
【図３】
2007285851.tif 000005
【図４】
2007285851.tif 000006
【図５】
2007285851.tif 000007