(57)【要約】【課題】車両周囲を撮影した画像に対して、ドライバが車両の進行方向における車両の軌跡を容易に認識できるガイド線を重畳させて表示することが可能な運転支援装置及び運転支援方法を提供する。【解決手段】運転支援装置は、車両（１０）の周囲を撮影して、車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、車両（１０）の進行方向の軌跡を推定し、その軌跡に沿った所定幅を持つガイド線を実空間上での車両周囲の構造物の位置を表す実座標系上で設定し、かつ実座標系上のガイド線を、撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、画像上での車両周囲の構造物の位置を表す画像座標系上に投影することにより、画像上にガイド線を描画するガイド描画部（４３３）と、画像上に描画されたガイド線を重畳した合成画像を作成する画像合成部（４３４）と、合成画像を表示する表示部（３）とを有する。【選択図】図１
2010136289.tif 000002
【特許請求の範囲】
【請求項１】
車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、
車両（１０）の進行方向の軌跡を推定し、該軌跡に沿った所定幅を持つガイド線を実空間上での前記車両周囲の構造物の位置を表す実座標系上で設定し、かつ実座標系上のガイド線を、前記撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、前記画像上での前記車両周囲の構造物の位置を表す画像座標系上に投影することにより、前記画像上にガイド線を描画するガイド描画部（４３３）と、
前記画像上に前記描画されたガイド線を重畳した合成画像を作成する画像合成部（４３４）と、
前記合成画像を表示する表示部（３）と、
を有することを特徴とする運転支援装置。
【請求項２】
前記撮像部（２ａ〜２ｃ）が有する撮像光学系の歪曲収差量を前記画像上の各画素について示したルックアップテーブルを記憶する記憶部（４１）をさらに有し、
前記ガイド描画部（４３３）は、前記ルックアップテーブルを参照することにより、前記画像座標系上に投影されたガイド線の位置を前記歪曲収差量に応じて補正する、請求項１に記載の運転支援装置。
【請求項３】
前記ガイド描画部（４３３）は、前記実座標系上で前記ガイド線を車両（１０）の進行方向における車両（１０）の左右端の推定軌跡間に格子状に設定し、かつ該格子状に設定されたガイド線を前記画像座標系上に投影することにより、前記画像上に格子状のガイド線を描画する請求項１または２に記載の運転支援装置。
【請求項４】
前記画像から、前記車両周囲の立体構造物を検出する立体構造物検出部（４３５）をさらに有し、
前記ガイド描画部（４３３）は、前記ガイド線のうちの前記立体構造物が重なる部分を描画しない、請求項１〜３の何れか一項に記載の運転支援装置。
【請求項５】
前記ガイド描画部（４３３）は、前記実座標系におけるガイド線を、前記車両（１０）の進行方向において、前記車両（１０）の最も突出した部分の高さにを設定する、請求項１〜４の何れか一項に記載の運転支援装置。
【請求項６】
前記撮像部（２ｂ）は、前記車両（１０）の左前方に取り付けられ、前記車両（１０）の前側端部の少なくとも一部及び前記車両（１０）の左前方の路面を撮影する、請求項１〜５の何れか一項に記載の運転支援装置。
【請求項７】
車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、該車両周囲の構造物を撮影した画像を取得するステップと、
車両（１０）の進行方向の軌跡を推定し、該軌跡に沿った所定幅を持つガイド線を実空間上での前記車両周囲の構造物の位置を表す実座標系上で設定するステップと、
前記実座標系上のガイド線を、前記撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、前記画像上での前記車両周囲の構造物の位置を表す画像座標系上に投影することにより、前記画像上にガイド線を描画するステップと、
前記画像上に前記描画されたガイド線を重畳した合成画像を作成するステップと、
前記合成画像を表示するステップと、
を有することを特徴とする運転支援方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転支援装置及び運転支援方法に関し、特に、車載カメラで撮影した画像上に車両の進行方向の推定軌跡を示すガイド線を表示する運転支援装置及び運転支援方法に関する。
【背景技術】
【０００２】
近年、車両後方または車両左前方など、運転席から見え難い位置を、車載カメラにより撮影し、その撮影画像を車内に設置されたモニタに表示することにより、ドライバの運転を支援する装置が提案されている（例えば、特許文献１を参照）。
【０００３】
例えば、特許文献１に開示された操舵支援装置は、現時点の操舵角αでの後退時の車両の予想軌跡を演算し、その予想軌跡に基づいて車幅の目安を示すガイド表示を、そのときの操舵角αに対応した所定位置にカメラにより撮像された映像を重畳させて、モニタに表示させる。
【０００４】
【特許文献１】特開２０００−２７２４４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような運転支援装置に用いられる車載カメラは、広い範囲を撮像してドライバに提示できるようにするために、広い画角を有することが要求される。一方、車載カメラは、限られた設置スペースに配置できるように、小型であることが求められる。そのため、車載カメラで使用される撮像光学系では、一般に歪曲収差が十分に補正されていない。従って、車載カメラで撮像された画像は、画像中心から離れるほど歪んだ像となる。さらに、車両の近傍に位置する物体と車両から遠くに位置する物体とでは、画像上の見え方、特に大きさなどが異なる。そのため、運転支援装置が、車載カメラで撮像された画像に対して、単純に予想軌跡を計算することにより得られるガイド線を重畳させてモニタに表示しても、ドライバは、ガイド線が路面に描かれているという実感をあまり感じることができない。そのため、車載カメラで撮像された画像上にガイド線が表示されていても、ドライバが車両の進行方向の予想軌跡と車両周囲の構造物との位置関係を認識することは難しく、ドライバがガイド線を参照して車両が所望の方向へ進むようにハンドルの操舵角を調節することは困難な場合があった。
【０００６】
また、特許文献１に開示された操舵支援装置のように、車両が直進するときのガイド線と所定の操舵角で車両が旋回するときのガイド線が一つの画像上に重畳して表示されると、局所的にガイド線が集中してしまい、ドライバは画像上に写っている路面または物体を見難くなるおそれがあった。さらに、その操舵支援装置は、他の車両などの立体構造物が存在するか否かにかかわらずガイド線を描くため、立体構造物上にガイド線が表示されてしまい、ドライバは車両の進行方向に存在する立体構造物を認識することが難しくなるおそれがあった。
【０００７】
そこで、本発明の目的は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向における車両の軌跡を容易に認識できるガイド線を重畳させて表示することが可能な運転支援装置及び運転支援方法を提供することにある。
【０００８】
また本発明の他の目的は、車載カメラにより撮影された画像から、ドライバが車両の進行方向上に存在する立体構造物を容易に認識することが可能な運転支援装置及び運転支援方法を提供することにある。
【課題を解決するための手段】
【０００９】
請求項１の記載によれば、本発明の一つの形態として、運転支援装置が提供される。係る運転支援装置は、車両（１０）の周囲を撮影して、車両周囲の構造物を撮影した画像を取得する撮像部（２ａ〜２ｃ）と、車両（１０）の進行方向の軌跡を推定し、その軌跡に沿った所定幅を持つガイド線を実空間上での車両周囲の構造物の位置を表す実座標系上で設定し、かつ実座標系上のガイド線を、撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、画像上での車両周囲の構造物の位置を表す画像座標系上に投影することにより、画像上にガイド線を描画するガイド描画部（４３３）と、画像上に描画されたガイド線を重畳した合成画像を作成する画像合成部（４３４）と、合成画像を表示する表示部（３）とを有する。
本発明に係る運転支援装置は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向の軌跡を容易に認識できるガイド線を重畳させて表示することができる。特に、この運転支援装置は、実座標系上で、車両の進行方向の推定軌跡に沿った所定幅を持つガイド線を設定し、そのガイド線を、撮像部の車両に対する取り付け位置及び撮影方向に従って画像座標系上に投影するので、合成画像上でガイド線に遠近感を与えることができる。そのため、この運転支援装置は、ドライバに対して、ガイド線が路面上に描画されているように見せることができるので、ドライバは、ガイド線を参照することにより、車両の進行方向における車両の軌跡を正確に認識することができる。
【００１０】
また請求項２の記載によれば、運転支援装置は、撮像部（２ａ〜２ｃ）が有する撮像光学系の歪曲収差量を画像上の各画素について示したルックアップテーブルを記憶する記憶部（４１）をさらに有し、ガイド描画部（４３３）は、ルックアップテーブルを参照することにより、画像座標系上に投影されたガイド線の位置を歪曲収差量に応じて補正することが好ましい。
これにより、運転支援装置は、歪曲収差を十分に補正することが難しい小型撮像光学系を用いて車両周囲の画像を取得する場合でも、その歪曲収差による、画像上に写った車両周囲の路面などの歪みと同様の歪みをガイド線に加えることができる。そのため、運転支援装置は、ドライバに対して、ガイド線が路面上に描画されているように見せることができる。
【００１１】
さらに、請求項３の記載によれば、ガイド描画部（４３３）は、実座標系上でガイド線を車両（１０）の進行方向における車両（１０）の左右端の推定軌跡間に格子状に設定し、かつ格子状に設定されたガイド線を画像座標系上に投影することにより、画像上に格子状のガイド線を描画することが好ましい。
これにより、運転支援装置は、ドライバに対して、進行方向における車両の占める領域を正確に認識させることができる。
【００１２】
さらに、請求項４の記載によれば、運転支援装置は、撮像部（２ａ〜２ｃ）により撮像された画像から、車両周囲の立体構造物を検出する立体構造物検出部（４３５）をさらに有し、ガイド描画部（４３３）は、ガイド線のうちの立体構造物が重なる部分を描画しないことが好ましい。
これにより、運転支援装置は、立体構造物が車両の進行方向上に存在する場合、その立体構造物がガイド線の上に存在するようにドライバに画像を見せることができる。そのため、運転支援装置は、ドライバが車両の進行方向上に存在する立体構造物の存在を認識することを容易にする。
【００１３】
さらに、請求項５の記載によれば、ガイド描画部（４３３）は、実座標系におけるガイド線を、車両（１０）の進行方向において、車両（１０）の最も突出した部分の高さに設定することが好ましい。
これにより、運転支援装置は、立体構造物が車両の予測進行方向上に存在する場合、車両とその立体構造物が衝突する場所をドライバに認識させることができる。
【００１４】
さらに、請求項６の記載によれば、撮像部（２ｂ）は、車両（１０）の左前方に取り付けられ、車両（１０）の前側端部の少なくとも一部及び車両（１０）の左前方の路面を撮影することが好ましい。なお、撮像部（２ａ）は、車両（１０）の後方に取り付けられ、車両（１０）の後側端部の少なくとも一部及び車両（１０）の後方の路面を撮影するものであってもよい。
【００１５】
また、請求項７の記載によれば、本発明の他の一つの形態として、運転支援方法が提供される。係る運転支援方法は、車両（１０）に取り付けられた撮像部（２ａ〜２ｃ）により車両（１０）の周囲を撮影して、車両周囲の構造物を撮影した画像を取得するステップと、車両（１０）の進行方向の軌跡を推定し、その軌跡に沿った所定幅を持つガイド線を実空間上での車両周囲の構造物の位置を表す実座標系上で設定するステップと、実座標系上のガイド線を、撮像部（２ａ〜２ｃ）の車両（１０）に対する取り付け位置及び撮影方向にしたがって、撮像部（２ａ〜２ｃ）により撮影された画像上での車両周囲の構造物の位置を表す画像座標系上に投影することにより、その画像上にガイド線を描画するステップと、画像上に描画されたガイド線を重畳した合成画像を作成するステップと、合成画像を表示するステップとを有する。
本発明に係る運転支援方法は、車両周囲を撮影した画像に対して、ドライバが車両の進行方向の軌跡を容易に認識できるガイド線を重畳させて表示することができる。特に、この運転支援方法は、実座標系上で、車両の進行方向の推定軌跡に沿った所定幅を持つガイド線を設定し、そのガイド線を、撮像部の車両に対する取り付け位置及び撮影方向に従って画像座標系上に投影するので、合成画像上でガイド線に遠近感を与えることができる。そのため、この運転支援方法は、ドライバに対して、ガイド線が路面上に描画されているように見せることができるので、ドライバは、ガイド線を参照することにより、車両の進行方向の軌跡を正確に認識することができる。
【００１６】
上記各部に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の第１の実施形態に係る運転支援装置について説明する。
本発明の第１の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を写す周辺画像に、車両の進行方向における車両の左右端の推定軌跡を示すガイド線を重畳した合成画像を作成して、車内に設置されたディスプレイに表示するものである。特にこの運転支援装置は、ガイド線自体に遠近感が表れるようにガイド線の幅を調整することにより、ドライバが車両の進行方向の推定軌跡及びその推定軌跡と車両周囲の構造物との位置関係を認識することを容易にする。
【００１８】
図１は、本発明の第１の実施形態に係る運転支援装置１の全体構成を示す。図１に示すように、運転支援装置１は、車両１０に搭載された３台のカメラ２ａ、２ｂ、２ｃと、ディスプレイ３と、コントローラ４とを有する。カメラ２及びディスプレイ３と、コントローラ４とは、コントロールエリアネットワーク（以下、ＣＡＮという）５によって互いに接続されている。
また、コントローラ４は、ＣＡＮ５を介して、ハンドルの操舵角を検知する操舵角センサ６、車両１０の車輪速度を検知可能な車輪速度センサ７及び車両１０の電子制御ユニット８とも接続されている。そしてコントローラ４は、操舵角センサ６から、ハンドルの操舵角を表す操舵角信号を取得可能となっている。またコントローラ４は、車輪速度センサ７から車輪速度を表す車輪速度信号を取得可能となっている。さらにコントローラ４は、電子制御ユニット８からシフトレバーのポジションを表すシフトポジション信号を取得可能となっており、そのシフトポジション信号に基づいて、車両１０が前進しているか、後進しているかを判断可能となっている。
【００１９】
カメラ２ａ〜２ｃは、CCDあるいはC-MOSなど、可視光に感度を有する光電変換器で構成された２次元検出器と、その２次元検出器上に車両１０の周囲の路面などの像を結像する結像光学系などを有する。そしてカメラ２ａ〜２ｃは、一定の時間間隔（例えば1/30秒）ごとに撮影を行う。そしてカメラ２ａ〜２ｃは、車両１０の周囲を撮影した周辺画像を、例えば、横640画素×縦480画素を持ち、各画素の輝度が赤、緑、青それぞれ256階調で表されるカラー画像として生成する。なお、カメラ２ａ〜２ｃは、周辺画像を、その撮像範囲内の近赤外光の照度に応じたグレー画像として生成してもよい。
カメラ２ａ〜２ｃは、撮影により得られた周辺画像を逐次コントローラ４へ送信する。
【００２０】
図２（ａ）及び図２（ｂ）は、それぞれ、３台のカメラ２ａ、２ｂ、２ｃが車両１０に設置された、カメラの配置の一例を示す、車両１０の概略平面図及び概略側面図である。図２（ａ）及び図２（ｂ）に示すように、カメラ２ａは、車両１０の後方、トランクの上部中央に、カメラ２ａの撮像光学系の光軸が、車両１０の後方且つ斜め下方に向くように取り付けられる。そしてカメラ２ａは、車両１０の後側端部の少なくとも一部及び車両１０の後方の路面を含む所定範囲を撮影する。またカメラ２ｂは、車両１０の左前方に、カメラ２ｂの撮像系の光軸が車両の前後方向の中心軸に対して左方向に４５°の角をなすように取り付けられる。そしてカメラ２ｂは、車両１０の前側端部の少なくとも一部及び車両１０の左前方の路面を含む所定範囲を撮影する。さらにカメラ２ｃは、車両１０の右前方に、カメラ２ｃの撮像系の光軸が車両の前後方向の中心軸に対して右方向に４５°の角をなすように取り付けられる。そしてカメラ２ｃは、車両１０の前側端部の少なくとも一部及び車両１０の右前方の路面を含む所定範囲を撮影する。
【００２１】
ディスプレイ３は、例えば、液晶ディスプレイあるいは有機ＥＬディスプレイで構成され、インストルメントパネル内に配置される。なお、ディスプレイ３は、インストルメントパネルと独立して配置してもよい。あるいは、ディスプレイ３は、ナビゲーション装置など、他の装置のディスプレイであってもよい。
【００２２】
コントローラ４は、記憶部４１と、通信部４２と、制御部４３とを有する。記憶部４１は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部４１は、運転支援装置１を制御するための各種プログラム及びパラメータ、制御部４３による一時的な演算結果などを記憶する。また、通信部４２は、カメラ２、ディスプレイ３、操舵角センサ６、車輪速度センサ７及び電子制御ユニット８とＣＡＮ５を通じて通信する通信インターフェース及びその制御回路を有する。
【００２３】
制御部４３は、１個もしくは複数個の図示してないマイクロプロセッサ及びその周辺回路を有する。そして制御部４３は、運転支援装置１全体を制御する。
図３に、制御部４３の機能ブロック図を示す。図３に示すように、制御部４３は、画像選択部４３１と、画像描画部４３２と、ガイド描画部４３３と、画像合成部４３４とを有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。
【００２４】
画像選択部４３１は、カメラ２ａ〜２ｃのうちの何れのカメラにより取得された周辺画像をディスプレイ３に表示させるかを選択する。そのために、画像選択部４３１は、操舵角センサ６から取得した操舵角信号及び電子制御ユニット８から取得したシフトポジション信号を参照する。そして、画像選択部４３１は、シフトポジション信号がシフトレバーがリバースポジションとなっていることを示していれば、車両１０の後部に取り付けられたカメラ２ａを選択する。なお、画像選択部４３１は、車輪速度センサ７から取得した車輪速度信号が、車両１０が後進していることを示していれば、カメラ２ａを選択してもよい。そして画像選択部４３１は、カメラ２ａの識別信号を制御部４３に通知する。一方、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が左方向へ旋回していることを示していれば、車両１０の左前方に取り付けられたカメラ２ｂを選択する。そして画像選択部４３１は、カメラ２ｂの識別信号を制御部４３に通知する。また、画像選択部４３１は、シフトポジション信号がシフトレバーがドライブポジションとなっていることを示しているか、あるいは車輪速度信号が車両１０が前進していることを示しており、かつ操舵角信号が車両１０が右方向へ旋回していることを示していれば、車両１０の右前方に取り付けられたカメラ２ｃを選択する。そして画像選択部４３１は、カメラ２ｃの識別信号を制御部４３に通知する。
制御部４３は、画像選択部４３１から通知された識別信号に対応するカメラに対して画像要求信号を送信する。そして制御部４３は、そのカメラから画像信号を受信し、画像描画部４３２に渡す。
【００２５】
画像描画部４３２は、ドライバがディスプレイ３に表示された画像から、車両周囲の状態を容易に認識できるように、何れかのカメラによって取得された周辺画像に対して所定の補正処理を行う。例えば、画像描画部４３２は、そのような補正処理として、取得された周辺画像に含まれる各画素の輝度値を平均した輝度平均値が所定の値となるように、その所定の値から輝度平均値を引いた差を各画素の輝度値に加える輝度補正処理を行ってもよい。また画像描画部４３２は、取得された周辺画像に含まれる各画素の輝度値のうちの最大値と最小値が一定の値となるように階調変換処理を行ってもよい。さらに画像描画部４３２は、ドライバが、車両１０または他の構造物の影と重なった暗領域と、太陽または街灯などの光源から直接光が照射された明領域の両方とも見え易いように、取得された周辺画像に対してダイナミックレンジ圧縮処理を行ってもよい。画像描画部４３２は、公知の手法を用いてダイナミックレンジ圧縮処理を行うことができる。例えば、画像描画部４３２は、周辺画像中の着目画素について、その着目画素を含む周辺画像中の所定領域の平均輝度値が所定値以下の場合に、その所定値と平均輝度値の差に所定の係数を乗じた値を着目画素の輝度値に加えることによって、周辺画像のダイナミックレンジを圧縮し、ドライバにとって明領域と暗領域の何れも見易くすることができる。
さらに画像描画部４３２は、ディスプレイ３の特性に応じた補正処理などを行ってもよい。
画像描画部４３２は、上記のような補正処理のうちの少なくとも一つまたは複数の補正処理を、何れかのカメラによって取得された周辺画像に対して実行する。そして画像描画部４３２は、周辺画像に対して補正処理を行うことにより得られた補正画像を画像合成部４３４へ渡す。
【００２６】
ガイド描画部４３３は、ディスプレイ３に表示される合成画像上で、車両１０の予測進行方向に沿って車両１０の左右端の推定軌跡を表すガイド線を描画する。その際、ガイド描画部４３３は、ガイド線が実際に路面上に描かれているように見せるために、実空間上での車両１０の周囲の構造物の位置を表す実座標系上でガイド線に所定の幅を設定するとともに、その実座標系上でのガイド線の位置を決定する。さらに、ガイド描画部４３３は、カメラ２ａ〜２ｃの画角、撮影方向、路面からの高さ、歪曲収差の量などの撮影条件を表すパラメータを用いて、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影する。これにより、ガイド描画部４３３は、合成画像上に描画されるガイド線に、車両１０の周囲の景色と同様の遠近感を持たせることができるので、ドライバは車両１０の進行方向における車両の軌跡と車両１０の周囲の構造物との位置関係を容易に認識することができる。なお、実座標系上でのガイド線の幅は、実際の駐車場または道路などにおいて路面上に描かれる車線境界線あるいは区画線と同程度の幅、例えば、２０cmに設定されることが好ましい。
【００２７】
まず、ガイド描画部４３３は、操舵角センサ６から取得した操舵角信号に基づいて、車両１０の進行方向における車両１０の左右端の軌跡を推定する。そしてガイド描画部４３３は、車両１０の左右端の推定軌跡のそれぞれに沿って、実座標系上でのガイド線の位置を決定する。
【００２８】
図４を参照しつつ、車両１０の進行方向の軌跡の決定方法について説明する。図４において、車両１０はｘｚ平面上に存在するものとする。そして車両１０の前側端の中心１０１をｘｚ平面の原点とし、車両１０が直進するときにｚ軸と平行となるように実座標系を設定する。また車両１０が存在する路面からの高さ方向にｙ軸を設定する。また図４では、車両１０は、右方向へ旋回するものとする。さらに図４において、車両１０のホイールベース長及び前輪１０２から車両１０の前側端までの距離は、それぞれ、Ｌ、Ｌ’で表される。また、車幅及びトレッド長（左右の車輪の中心間の距離）は、それぞれ、Ｗ、Ｔで表される。さらに、車両１０の旋回中心はｃで表される。
【００２９】
このとき、車両１０の前側端の中心１０１の最小回転半径θcは次式により求められる。
【数１】
2010136289.tif 000003
ただし、Routは、旋回中心ｃから外側の車輪（図４では、左側の車輪）の中心までの距離である。そして、車両１０のハンドルの操舵角をθstrとし、ハンドルの左右どちらか一方における最大回転角をθmaxstrとすれば、車両１０の前側端の中心１０１の回転角αは次式で表すことができる。
【数２】
2010136289.tif 000004
したがって、車両１０の旋回中心ｃから、車両１０の前側端の中心１０１が通る軌跡までの回転半径Rcは、次式により求められる。
【数３】
2010136289.tif 000005
したがって、旋回中心ｃの座標(Xc,Yc,Zc)は、次式で与えられる。
【数４】
2010136289.tif 000006
ただし、hは、ガイド線が描画される高さを表し、ガイド描画部４３３が路面上にガイド線を描画する場合、hは0に設定される。
【００３０】
次に、ガイド線として描画する軌跡の長さをL2とする。ガイド描画部４３３は、軌跡の長さL2を、例えば、車両１０の前方におけるドライバの死角に相当する長さとすることができる。そしてガイド描画部４３３は、例えば、車両１０の左右端の推定軌跡を表すガイド線をそれぞれN個（ただしNは自然数）の円弧lok、lik(k=0,1,2,...,N)の集合として描画する。この場合、車両１０の外側の軌跡（図４では、車両１０の左端の軌跡）に相当する外側の円弧lokの車両１０から遠い方の端点（以下、遠端点という）における、車両１０の前側端からの回転角βok (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の前側端の外側端部までの距離をRoとして次式で求められる。
【数５】
2010136289.tif 000007
したがって、車両１０の外側の軌跡に対応する、ガイド線の各円弧lokの遠端点の座標(Xok,Yok,Zok)は次式で与えられる。
【数６】
2010136289.tif 000008
ただし、Gwは、ガイド線の幅であり、（５）式において(+Gw/2)となる場合、座標(Xok,Yok,Zok)はガイド線の各円弧lokの遠端点の外側の座標を表し、一方、（５）式において(-Gw/2)となる場合、座標(Xok,Yok,Zok)はガイド線の各円弧lokの遠端点の内側の座標を表す。なお、ガイド線の各円弧lokの車両１０に近い方の端点（以下、近端点という）の座標は、円弧lok-1の遠端点の座標と同一とすることができる。
【００３１】
同様に、車両１０の内側の軌跡（図４では、車両１０の右端の軌跡）に相当する内側の円弧likの遠端点における、車両１０の前側端からの回転角βik (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の前側端の内側端部までの距離をRiとして次式で求められる。
【数７】
2010136289.tif 000009
したがって、車両１０の内側の軌跡に対応する、ガイド線の各円弧likの遠端点の座標(Xik,Yik,Zik)は次式で与えられる。
【数８】
2010136289.tif 000010
ただし、Gwは、ガイド線の幅であり、（７）式において(+Gw/2)となる場合、座標(Xik,Yik,Zik)はガイド線の各円弧likの遠端点の外側の座標を表し、一方、（７）式において(-Gw/2)となる場合、座標(Xik,Yik,Zik)はガイド線の各円弧likの遠端点の内側の座標を表す。なお、ガイド線の各円弧likの近端点の座標は、円弧lik-1の遠端点の座標と同一とすることができる。
【００３２】
次に、車両１０が後進するときの軌跡について説明する。図４において、車両１０の後側端と後輪間の距離はＬ”で表される。このとき、旋回中心ｃから車両１０の後側端の中心１０３までの距離Rrは、以下の式で表される。
【数９】
2010136289.tif 000011
また、ガイド線として描画する軌跡の長さをL3とする。ガイド描画部４３３は、軌跡の長さL3を、例えば、車両１０の後方におけるドライバの死角に相当する長さとすることができる。そしてガイド描画部４３３は、例えば、車両１０の左右端の推定軌跡を表すガイド線をそれぞれN個（ただしNは自然数）の円弧lom、lim(m=0,1,2,...,N)の集合として描画する。この場合、車両１０の外側の軌跡（図４では、車両１０の左端の軌跡）に相当する外側の円弧lomの遠端点における、車両１０の後側端からの回転角γom(m=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の後側端の外側端部までの距離をRobとして次式で求められる。
【数１０】
2010136289.tif 000012
【００３３】
したがって、車両１０の外側の軌跡に対応する、ガイド線の各円弧lomの遠端点の座標(Xom,Yom,Zom)は次式で与えられる。
【数１１】
2010136289.tif 000013
ただし、Gwは、ガイド線の幅であり、（１０）式において(+Gw/2)となる場合、座標(Xom,Yom,Zom)はガイド線の各円弧lomの遠端点の外側の座標を表し、一方、（１０）式において(-Gw/2)となる場合、座標(Xom,Yom,Zom)はガイド線の各円弧lomの遠端点の内側の座標を表す。なお、ガイド線の各円弧lomの近端点の座標は、円弧lom-1の遠端点の座標と同一とすることができる。
【００３４】
同様に、車両１０の内側の軌跡に相当する内側の円弧limの遠端点における、車両１０の後側端からの回転角γim (k=0,1,2,...,N)は、車両１０の旋回中心ｃから車両１０の後側端の内側端部までの距離をRibとして次式で求められる。
【数１２】
2010136289.tif 000014
したがって、車両１０の内側の軌跡に対応する、ガイド線の各円弧limの遠端点の座標(Xim,Yim,Zim)は次式で与えられる。
【数１３】
2010136289.tif 000015
ただし、Gwは、ガイド線の幅であり、（１２）式において(+Gw/2)となる場合、座標(Xim,Yim,Zim)はガイド線の各円弧limの遠端点の外側の座標を表し、一方、（１２）式において(-Gw/2)となる場合、座標(Xim,Yim,Zim)はガイド線の各円弧limの遠端点の内側の座標を表す。なお、ガイド線の各円弧limの近端点の座標は、円弧lim-1の遠端点の座標と同一とすることができる。
【００３５】
なお、ガイド描画部４３３は、車両１０が左旋回するときも、ｘ軸の正負を逆向きに設定することにより、上記と同様にガイド線の位置を決定することができる。なお、ガイド描画部４３３は、実座標系上で車両の軌跡を推定する他の様々な方法、例えば、特開２０００−２７２４４５号公報に開示された方法にしたがって、ガイド線の位置を決定してもよい。
【００３６】
ガイド描画部４３３は、実座標系でのガイド線の位置を決定すると、そのガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影する。そのために、ガイド描画部４３３は、例えば、Ellen Schwalbe, "GEOMETRIC MODELLING AND CALIBRATION OF FISHEYE LENS CAMERA SYSTEMS", Proceedings of the ISPRS working group V/5, 'Panoramic Photogrammetry Workshop', 2005に開示された方法を使用することができる。
【００３７】
具体的には、先ず、ガイド描画部４３３は、次式にしたがって、実座標系上の特定点の座標(Xw,Yw,Zw)を、カメラ２ａ〜２ｃのうちの撮像したカメラを原点としたカメラ座標系上の座標(xt,yt,zt)に変換する。なお、実座標系の原点は、例えば、図４に示したように、車両１０の前側端の中心１０１に設定される。
【数１４】
2010136289.tif 000016
ただし、座標(tx,ty,tz)は、実座標系上でのカメラの位置を表す。Ｒはカメラ回転行列であり、カメラ座標系のx軸、y軸、z軸それぞれの周りの回転成分をＲx、Ｒy、Ｒzとして、Ｒ＝ＲxＲyＲzと表される。なお、各軸周りの回転成分は、以下のように表される。
【数１５】
2010136289.tif 000017
ただし、θx、θy、θzは、撮像したカメラの光軸が実座標系のＸ軸、Ｙ軸、Ｚ軸それぞれとなす角である。
【００３８】
次に、ガイド描画部４３３は、次式にしたがって、カメラ座標系上の座標(xt,yt,zt)を合成画像の画像座標系上の座標(u,v)に変換する。ただし、uは、画像座標系上の水平方向の座標であり、vは、画像座標系上の垂直方向の座標である。
【数１６】
2010136289.tif 000018
ただし、Cuは画像座標系の水平方向の中心位置の座標であり、Cvは画像座標系の垂直方向の中心位置の座標である。すなわち、座標(Cu,Cv)は、カメラの撮像光学系の光軸に対応する。またDは、撮像光学系の最大画角に対応する、座標(Cu,Cv)からの距離である。
【００３９】
ガイド描画部４３３は、得られた座標(u,v)に対するカメラの撮像光学系の水平方向及び垂直方向の歪曲収差量(dx,dy)を特定する。そしてガイド描画部４３３は、座標(u,v)を、水平方向及び垂直方向の歪曲収差量だけ平行移動させることにより、最終的な座標(ui,vi)を得る（すなわち、ui=u+dx,vi=v+dy）。なお、歪曲収差量(dx,dy)は、カメラの撮像光学系の特性及び座標(u,v)に対応する物像間距離によって定まる。そしてその物像間距離は、カメラ２ａ〜２ｃの撮像範囲に路面のみが写ると仮定することにより、予め求められる。そこで、運転支援装置１は、画像座標系上の各座標(u,v)に対する歪曲収差量(dx,dy)を、予めルックアップテーブルに記録し、そのルックアップテーブルを記憶部４１に格納しておく。これにより、ガイド描画部４３３は、そのルックアップテーブルを参照することにより、画像座標系上の各座標(u,v)に対する歪曲収差量(dx,dy)を求めることができる。
【００４０】
ガイド描画部４３３は、上記の（１）式〜（１６）式にしたがって、車両１０の進行方向の推定軌跡に沿って描画されるガイド線を構成する各円弧の端点の画像座標系上の位置を決定する。そしてガイド描画部４３３は、その位置にしたがって、ガイド線の各円弧を描画したガイド画像を作成する。ガイド画像は、例えば、カメラ２ａ〜２ｃにより撮像された周辺画像と同じサイズの画像とすることができる。そしてガイド描画部４３３は、ガイド線を、路面表示された境界線と区別可能なように、例えば、緑色でガイド画像上に描画する。
【００４１】
また、ガイド描画部４３３は、格子状のガイド線を描画してもよい。この場合も、ガイド描画部４３３は、実座標系上でガイド線の位置を決定し、その後に、ガイド線を画像座標系上に投影することにより、合成画像上でのガイド線の位置を決定する。この場合、実座標系上における、車両１０の進行方向に対して直交する方向について、ガイド描画部４３３は、前進時には、上記の（６）、（８）式により求められる座標(Xok,Yok,Zok)と座標(Xik,Yik,Zik)を結ぶ線分をガイド線として描画すればよく、後進時には、（１１）、（１３）式により求められる座標(Xom,Yom,Zom)と座標(Xim,Yim,Zim)を結ぶ線分をガイド線として描画すればよい。一方、実座標系上における、車両１０の進行方向に平行な方向について、ガイド描画部４３３は、車両１０の進行方向に沿った車両左右端の推定軌跡間の間隔を所定等分する線に沿ってガイド線を描画すればよい。
【００４２】
なお、ガイド描画部４３３は、格子状のガイド線を描画する場合、ガイド線が路面の情報を見難くすることを防止するために、個々のガイド線の幅を、車両１０の進行方向における車両１０の左右端の推定軌跡に沿ったガイド線のみを描画する場合よりも細くすることが好ましい。例えば、格子状のガイド線が描画される場合、個々のガイド線は、実座標系上で5cm程度の幅を持つことが好ましい。
【００４３】
さらに、ガイド描画部４３３は、ドライバにとってガイド線を見易くするために、ガイド線に陰影を付してもよい。そのために、例えば、ガイド描画部４３３は、所定位置に仮想光源を設定し、その仮想光源によりガイド線を照明し、ガイド線の下方数ｃｍの位置に影が投影されるものとして、ガイド線の影を作成することができる。このような陰影の作成方法自体は公知であるため、その詳細な説明は省略する。なお、この場合において、仮想光源が設定される所定位置は、例えば、車両１０の上方数ｍの位置とすることができる。また、ガイド描画部４３３は、陰影を見易くするために、その所定位置を、車両１０の真上から、車両１０が旋回する方向と反対方向に数ｍずらしてもよい。例えば、ガイド描画部４３３は、車両１０が左旋回する場合、仮想光源の位置を、車両１０の直上方よりも右側に数ｍずらした位置とする。このように仮想光源の位置を設定することにより、ガイド描画部４３３は、車両１０の推定軌跡に沿って湾曲するガイド線の内側に影を付することができるので、ガイド線の影がガイド線そのものに隠れることがなくなる。
なお、ガイド描画部４３３は、実座標系上でガイド線に陰影を付し、その陰影も、ガイド線自体と同様に画像座標系上に投影してもよい。
また、陰影自体の幅は小さくてよいため、ガイド描画部４３３は、画像座標系上でのガイド線の位置を決定した後、ガイド線の下方数画素の輝度値を単純にガイド線よりも小さくすることにより、ガイド線の陰影としてもよい。
【００４４】
さらに、ガイド描画部４３３は、ガイド線の色または輝度を、実座標系における車両１０からの距離に応じて変化させてもよい。例えば、ガイド描画部４３３は、車両１０から離れるにつれてガイド線の輝度が低下するように、グラディエーション状にガイド線の輝度を変化させてもよい。あるいは、ガイド描画部４３３は、車両１０から離れるにつれてガイド線の色が周囲の路面の色に近づくように、グラディエーション状にガイド線の色を変化させてもよい。
【００４５】
画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する。その際、画像合成部４３３は、ガイド画像上の各画素のうち、ガイド線以外の画素を透明とする。すなわち、画像合成部４３４は、合成画像のうち、ガイド線が描画される画素は、ガイド画像上の対応する画素の輝度値を有し、ガイド線以外の画素は、補正画像上の対応する画素の輝度値を有するように合成画像を作成する。
また、画像合成部４３４は、ガイド線を半透明として、補正画像上のガイド線と重畳される部位に写っているものも、ドライバが見えるようにしてもよい。これらの画像合成法自体は公知であるため、その画像合成法の詳細な説明は省略する。
画像合成部４３４は、作成した合成画像を制御部４３へ渡す。そして制御部４３は、その合成画像をディスプレイ３に表示させる。
【００４６】
図５に、ガイド線が表示された合成画像の一例を示す。図５に示された合成画像５００では、車両１０の左右端の推定軌跡を表すガイド線５１０及び５２０が陰影を伴って表示されている。そして合成画像５００から分かるように、ガイド線５１０及び５２０の線幅は、車両１０から遠ざかるにしたがって細くなっている。そのため、合成画像５００はカメラの歪曲収差によって大きく歪んでいるにもかかわらず、ガイド線５１０及び５２０は、路面上に描画されているように見える。したがって、ドライバは、ガイド線５１０及び５２０を参照することにより、車両１０の進行方向における車両１０の左右端の推定軌跡及びその推定軌跡と他の構造物との位置関係を容易に認識できる。
【００４７】
図６に、ガイド線が表示された合成画像の他の一例を示す。図６に示された合成画像６００では、車両１０の左右端の推定軌跡間に格子状に描画されたガイド線６１０が示されている。そして、合成画像６００では、車両１０から離れるほど、ガイド線６１０の隣接する線同士の間隔が狭くなっている。そのため、合成画像６００はカメラの歪曲収差によって大きく歪んでいるにもかかわらず、ガイド線６１０は、路面上に描画されているように見える。したがって、ドライバは、ガイド線６１０を参照することにより、車両１０の進行方向における車両１０全体の推定軌跡及びその推定軌跡と他の構造物との位置関係を容易に認識できる。
【００４８】
図７に、制御部４３により制御される、運転支援装置１の動作フローチャートを示す。
まず、制御部４３は、操舵角センサ６から取得した操舵角信号、車輪速度センサ７から取得した車輪速度信号または電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。
【００４９】
まず、制御部４３の画像選択部４３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ１０１）。そして制御部４３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ１０２）。
次に、制御部４３の画像描画部４３２は、取得した周辺画像に対して輝度補正またはコントラスト補正などの補正処理を行って、補正画像を作成する（ステップＳ１０３）。そして画像描画部４３２は、作成した補正画像を制御部４３の画像合成部４３４へ渡す。
【００５０】
また、制御部４３のガイド描画部４３３は、操舵角信号及び車輪速度信号に基づいて、車両１０の進行方向における、車両１０の左右端の軌跡を推定する（ステップＳ１０４）。そしてガイド描画部４３３は、その推定軌跡に沿って、所定幅を持つガイド線の実座標系上の位置を決定する（ステップＳ１０５）。その後、ガイド描画部４３３は、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影して、合成画像上のガイド線の位置を決定することにより、ガイド線が描画されたガイド画像を作成する（ステップＳ１０６）。ガイド描画部４３３は、ガイド画像を画像合成部４３４へ渡す。
【００５１】
画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する（ステップＳ１０７）。そして画像合成部４３４は、作成された合成画像を制御部４３へ渡す。制御部４３は、ディスプレイ３にその合成画像を表示させる（ステップＳ１０８）。
【００５２】
次に、制御部４３は、運転支援装置１を待機状態にすべきか否か判定する（ステップＳ１０９）。制御部４３は、運転支援装置１を待機状態にしない場合、ステップＳ１０２〜Ｓ１０９の処理を繰り返す。一方、制御部４３は、運転支援装置１を待機状態にすべき場合、処理を終了する。なお、運転支援装置１を待機状態にする条件は、例えば、車両１０が停止してから所定時間（例えば、１０秒間）経過したこととすることができる。あるいは、その条件は、車両１０のインストルメントパネルなどに設置された運転支援装置１の操作部（図示せず）を介して、ドライバが運転支援装置１をオフにしたことであってもよい。
なお、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。
【００５３】
以上説明してきたように、本発明の第１の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を表す周辺画像に、車両の進行方向における、車両の左右端の推定軌跡を示すガイド線を重畳して、車内に設置されたディスプレイに表示する。特にこの運転支援装置は、実座標系上でガイド線に所定の幅を設定し、その所定の幅を持つガイド線をディスプレイに表示される合成画像の画像座標系上に投影することにより、ガイド線に遠近感を持たせることができる。さらにこの運転支援装置は、カメラの撮像光学系の歪曲収差に応じて合成画像上のガイド線の位置を補正することにより、合成画像上でのガイド線の違和感をなくすことができる。そのため、この運転支援装置は、ドライバが合成画像上のガイド線を参照することにより、車両の進行方向の推定軌跡及びその推定軌跡と車両周囲の構造物との位置関係を認識することを容易にする。
【００５４】
次に、本発明の第２の実施形態に係る運転支援装置について説明する。本発明の第２の実施形態に係る運転支援装置は、車載カメラにより撮影された周辺画像から、その撮像範囲内に存在する立体構造物を検出する。そして係る運転支援装置は、車両の予測進行方向を示すガイド線とその立体構造物が重なる場合に、ガイド線よりも立体構造物を優先して表示することで、ドライバが立体構造物の存在を容易に認識できるようにする。
【００５５】
第２の実施形態に係る運転支援装置は、第１の実施形態に係る運転支援装置と比較して、図１に示されるコントローラ４の制御部４３により実現される機能のみが異なる。そこで、以下では、制御部４３により実現される機能についてのみ説明する。第２の実施形態に係る運転支援装置の全体構成及びカメラの配置については、図１及び図２を参照されたい。
【００５６】
図８に、制御部４３の機能ブロック図を示す。図８に示すように、制御部４３は、画像選択部４３１と、画像描画部４３２と、ガイド描画部４３３と、画像合成部４３４と、立体構造物検出部４３５を有する。制御部４３が有するこれらの各部は、例えば、制御部４３が有するマイクロプロセッサ上で実行されるコンピュータプログラムによって実現される機能モジュールとして実装される。制御部４３が有するこれらの各部のうち、画像選択部４３１、画像描画部４３２及び画像合成部４３４については、第１の実施形態における画像選択部４３１、画像描画部４３２及び画像合成部４３４と同じ機能を有するため、ここではその説明を省略する。また、ガイド描画部４３３は、立体構造検出部４３５により検出された立体構造物に関する処理を除いて、第１の実施形態におけるガイド描画部４３３と同様の処理を実行する。そのため、ここでは、ガイド描画部４３３については、立体構造物に関する処理についてのみ説明する。
【００５７】
立体構造物検出部４３５は、カメラ２ａ〜２ｃにより撮像された周辺画像から、その撮像範囲内に存在する立体構造物を検出する。なお、立体構造物は、路面上に存在する３次元状の形状を持つ物体であり、例えば、他の車両、ガードレール、壁、ポール、ブロックなどである。
【００５８】
立体構造物検出部４３５は、カメラ２ａ〜２ｃのうち、画像選択部４３１により選択された一つのカメラが、車両１０の移動中に連続して撮影することにより得られた複数の周辺画像から、公知の様々な単眼ステレオ法を用いて立体構造物を検出する。例えば、立体構造物検出部４３５は、撮影時刻の異なる２枚の周辺画像の何れにも写っていると判断される特徴点を複数抽出する。そして立体構造物検出部４３５は、一方の周辺画像上で抽出された各特徴点について、公知のトラッキング技術を用いることにより、他方の周辺画像上で対応する特徴点を決定する。一方、立体構造物検出部４３５は、それら２枚の周辺画像を取得する間に得られた操舵角センサ６から取得した操舵角信号及び車輪速度センサ７から取得した車輪速度信号に基づいて、２枚の画像撮影間におけるカメラの移動距離を決定する。そして立体構造物検出部４３５は、三角測量の原理を用いて、各特徴点までの距離を求める。また、カメラの画角、撮影方向及び取り付け位置は予め分かっている。そのため、周辺画像上に路面のみが写っていると仮定した場合における、周辺画像上の各画素についての路面までの距離も予め求めることができる。そこで、立体構造物検出部４３５は、各特徴点までの距離と、その特徴点に対応する画素における路面までの距離が異なる画素を抽出することにより、立体構造物を検出できる。
【００５９】
また、立体構造物検出部４３５は、特開２００７−２５６０２９号公報、あるいは、K.Fintzel他, "3D Parking Assistant System", 2004 IEEE Intelligent Vehicles Symposium, 2004などに開示された単眼ステレオ法を利用して、周辺画像上の各点までの距離を調べることにより、立体構造物を検出してもよい。
【００６０】
あるいは、立体構造物検出部４３５は、車両の移動によってカメラの位置が変わることによる、周辺画像上の特定の路面領域の形状変化と立体構造物の形状変化が異なることを利用して、立体構造物を検出してもよい。この場合、立体構造物検出部４３５は、複数の周辺画像において抽出された、同一の対象物に対応する複数の特徴点が含まれる所定領域の形状の変化を調べ、その形状変化を、予め予測される路面の形状変化か立体構造物の形状変化の何れに属するかを判定することにより、立体構造物を検出してもよい。
【００６１】
また、立体構造物検出部４３５は、カメラ２ａ〜２ｃのうち、画像選択部４３１により選択された一つのカメラが、車両１０の移動中に連続して撮影することにより得られた複数の周辺画像から路面領域を推定し、推定された路面領域以外の周辺画像上に立体構造物が写っているとして、立体構造物を検出してもよい。そのために、例えば、立体構造物検出部４３５は、選択されたカメラにより取得された２枚の周辺画像間の対応点から、カメラの位置変化と路面に関するパラメータを推定する。そして立体構造物検出部４３５は、得られたカメラの位置変化と路面に関するパラメータから２枚の周辺画像間の路面に対する２次元射影変換行列を計算する。そして立体構造物検出部４３５は、得られた２次元射影変換行列を用いて一方の周辺画像を変換することにより、路面領域を推定する。なお、このような路面領域の推定方法は、例えば、山口他、「車載単眼カメラを用いた道路面領域の推定」、画像の認識・理解シンポジウム（MIRU2008）、2008年7月、などに開示されている。
【００６２】
また、車両１０に距離センサが搭載されている場合、立体構造物検出部４３５は、コントローラ４がＣＡＮ５を通じてその距離センサから取得した測距信号を用いて立体構造物を検出してもよい。この場合、測距信号が車両１０から所定距離に物体が存在することを示していれば、立体構造物検出部４３５は、その距離センサの測定対象領域に対応する周辺画像上の領域に立体構造物が存在すると判定する。
【００６３】
立体構造物検出部４３５は、周辺画像上の立体構造物に相当する領域を示す立体構造物情報を、ガイド描画部４３３へ渡す。立体構造物情報は、例えば、周辺画像と同じサイズの２値画像で表され、その２値画像は、検出された立体構造物に対応する領域に属する画素とその他の領域に属する画素が異なる輝度値を有する。また、立体構造物情報は、周辺画像の各画素ごとに、車両１０からの距離を表す距離情報を有していてもよい。
【００６４】
ガイド描画部４３３は、ガイド線と周辺画像上で検出された立体構造物が重なる場合、その重複領域ではガイド線を描画しない。そのために、先ず、ガイド描画部４３３は、第１の実施形態に関して説明した手順に従って、車両１０の進行方向における車両１０の左右端の推定軌跡に沿って画像座標系上でのガイド線の位置を決定する。そしてガイド描画部４３３は、決定されたガイド線の位置に基づいて、ガイド線が描画されるべき領域が立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域ではガイド線を消去する。
【００６５】
そしてガイド描画部４３３は、ガイド線について、立体構造物との重複領域に関する修正を行って得られたガイド画像を画像合成部４３４へ渡す。画像合成部４３４は、画像描画部４３２から取得した補正画像上にそのガイド画像を重畳して合成画像を作成する。そして制御部４３は、得られた合成画像をディスプレイ３に表示させる。
これにより、合成画像上で、ガイド線は立体構造物の下に隠れるように見えるので、ドライバは、ディスプレイ３に表示された合成画像を参照して、車両１０の進行方向上に存在する立体構造物を容易に認識することができる。そのため、運転支援装置１は、ドライバが車両１０を立体構造物と衝突させてしまうことを防止できる。
【００６６】
図９に、車両１０の進行方向上に立体構造物が存在する状況の一例を示す鳥瞰図９００を示す。図９に示される鳥瞰図９００では、車両１０が後進しようとしており、車両１０の後方に他の車両２０が存在する。そして、車両１０の左右端の推定軌跡９１０、９２０から明らかなように、車両１０がそのまま後進すると、車両１０は車両２０と衝突するおそれがある。
図１０に、図９に示される状況に対応する、ガイド線が表示された合成画像の一例を示す。図１０に示された合成画像１０００では、ガイド線１０１０及び１０２０が立体構造物である他の車両２０の下に隠れているように表示されている。そのため、ドライバは、ガイド線１０１０及び１０２０を参照することにより、車両１０の進行方向に存在する車両２０を容易に認識することが可能となる。
【００６７】
なお、ガイド描画部４３３は、車両の左右端の推定軌跡に沿って設定されたガイド線と立体構造物が重なる場合、車両１０から遠い方のガイド線の端点を、立体構造物と重なる点よりも実座標系上で所定距離手前側に相当する位置に設定し、その端点よりも遠いガイド線を消去してもよい。これにより、運転支援装置１は、ドライバがディスプレイ３に表示された合成画像上のガイド線の端点を参照することにより、車両１０を立体構造物と衝突する前に停止させることを補助できる。
【００６８】
また、ガイド描画部４３３は、車両１０の進行方向において、最も突出した部分（例えば、バンパー）の高さにガイド線を描画してもよい。そのために、ガイド描画部４３３は、上記の（６）、（８）式または（１１）、（１３）式において、Ｙ軸方向の高さhを、車両１０の進行方向において、最も突出した部分の高さに設定すればよい。あるいは、ガイド描画部４３３は、実座標系上において、車両１０の左右端の推定軌跡に沿って、路面に対して垂直な面内に格子状のガイド線を設定してもよい。
この場合も、ガイド描画部４３３は、車両１０の左右端の推定軌跡に沿って設定されたガイド線と立体構造物が重なる場合に、その重複領域ではガイド線を消去する。あるいは、ガイド描画部４３３は、何れかのガイド線が、立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域では立体構造物の輪郭に沿ってガイド線を描画してもよい。なお、立体構造物の輪郭に沿ってガイド線を描画するために、立体構造物中の任意の部位の実座標系上の座標が分かることが好ましい。そのため、この場合には、立体構造物検出部４３５は、単眼ステレオ法または距離センサを用いて立体構造物を検出することが好ましい。
【００６９】
図１１に、図９に示される状況に対応する、ガイド線が表示された合成画像の他の一例を示す。図１１に示された合成画像１１００では、路面に対して垂直な面内に、車両１０の左右端の推定軌跡に沿って、格子状のガイド線が描画されている。このうち、ガイド線１１１０及び１１２０が車両１０のバンパーの高さに合わせて描画されている。さらに、ガイド線１１１０が、他の車両２０とぶつかったところで途切れている。そのため、ドライバは、ガイド線１１１０を参照することにより、車両１０が車両２０と衝突する位置を容易に認識できるので、車両１０が車両２０と衝突する前に車両１０を停止させることができる。
【００７０】
さらに、ガイド描画部４３３は、車両１０の左右端の推定軌跡に沿ってガイド線を表示する代わりに、車両１０の進行方向における先端部を中心とし、車両１０の進行方向において、最も突出した部分の高さにおいて、車両１０からの距離を様々に変えた同心円状のガイド線を描画してもよい。この場合も、ガイド描画部４３３は、実座標系上でその同心円状のガイド線の位置を決め、その後、同心円状のガイド線を画像座標系に投影することにより、合成画像上でのガイド線の位置を決定する。そしてガイド描画部４３３は、何れかのガイド線が、立体構造物情報に示された立体構造物に対応する領域と重複する場合、その重複領域ではガイド線を消去する。
さらに、ガイド描画部４３３は、ガイド線と立体構造物が重なった点に、ガイド線と異なるマークを描画してもよい。そのようなマークは、例えば、ガイド線と異なる色で描画される、円形、星型などの図形とすることができる。
【００７１】
図１２に、図９に示される状況に対応する、ガイド線が表示された合成画像の他の一例を示す。図１２に示された合成画像１２００では、同心円状のガイド線１２１０〜１２４０が車両１０のバンパーの高さに合わせて描画されている。さらに、ガイド線１２１０〜１２３０が、他の車両２０とぶつかったところで途切れている。そのため、ドライバは、ガイド線１２１０〜１２４０を参照することにより、車両１０を他の車両と衝突させることなく、移動させることが可能な範囲を容易に認識することができる。
【００７２】
このように、ガイド線を車両１０の最も突出した部分で描画することにより、ドライバは、ディスプレイ３に表示された合成画像を参照して、車両１０と立体構造物が最初に衝突する部分を容易に認識することができる。そのため、運転支援装置１は、ドライバが車両１０を立体構造物と衝突させてしまうことを防止できる。
【００７３】
図１３に、制御部４３により制御される、第２の実施形態に係る運転支援装置１の動作フローチャートを示す。
まず、制御部４３は、操舵角センサ６から取得した操舵角信号、車輪速度センサ７から取得した車輪速度信号または電子制御ユニット８から取得したシフトポジション信号に基づいて、車両１０が後進を開始したこと、あるいは車両１０が所定速度（例えば、２０ｋｍ／ｈ）以下で旋回を開始したことを検知すると、処理を開始する。
【００７４】
まず、制御部４３の画像選択部４３１は、カメラ２ａ〜２ｃのうち、操舵角信号と、シフトポジション信号または車輪速度信号に基づいて、車両１０の進行方向に対応するカメラを選択する（ステップＳ２０１）。そして制御部４３は、選択されたカメラに対して画像取得要求信号を送信し、選択されたカメラから周辺画像を取得する（ステップＳ２０２）。そして制御部４３は、取得した周辺画像にその取得時間を関連付けて記憶部４１に記憶する。
次に、制御部４３の画像描画部４３２は、取得した周辺画像に対して輝度補正またはコントラスト補正などの補正処理を行って、補正画像を作成する（ステップＳ２０３）。そして画像描画部４３２は、作成した補正画像を制御部４３の画像合成部４３４へ渡す。
【００７５】
また、制御部４３の立体構造物検出部４３５は、記憶部４１に記憶されている、所定フレーム数前に取得された過去の周辺画像及び最新の周辺画像と、その過去の周辺画像が取得されてから最新の周辺画像が取得されるまでの操舵角信号及び車輪速度信号に基づき、単眼ステレオ法などを用いることにより、周辺画像中に写っている立体構造物を検出する（ステップＳ２０４）。そして立体構造物検出部４３５は、検出された立体構造物に対応する領域を示す立体構造物情報を制御部４３のガイド描画部４３３へ渡す。なお、所定フレーム数は、例えば、1〜10フレームの何れかとすることができる。
【００７６】
また、制御部４３のガイド描画部４３３は、操舵角信号及び車輪速度信号に基づいて、車両１０の進行方向における、車両１０の左右端の軌跡を推定する（ステップＳ２０５）。そしてガイド描画部４３３は、その推定軌跡に沿って、所定幅を持つガイド線の実座標系上の位置を決定する（ステップＳ２０６）。その後、ガイド描画部４３３は、実座標系上のガイド線を、合成画像上での車両周囲の構造物の位置を表す画像座標系上に投影して、合成画像上のガイド線の位置を決定する（ステップＳ２０７）。
【００７７】
次に、ガイド描画部４３３は、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複するか否か判定する（ステップＳ２０８）。ステップＳ２０８において、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複する場合、ガイド描画部４３３は、その重複領域内ではガイド線を描画しないように、ガイド線を修正する（ステップＳ２０９）。ステップＳ２０９の後、ガイド描画部４３３は、ガイド線が描画されたガイド画像を作成する（ステップＳ２１０）。そしてガイド描画部４３３は、ガイド画像を画像合成部４３４へ渡す。
一方、ステップＳ２０８において、ガイド線が描画されるべき領域と立体構造物が存在する領域が重複しない場合、制御部４３は、制御を直接ステップＳ２１０へ移行する。
【００７８】
画像合成部４３４は、画像描画部４３２により作成された補正画像上にガイド描画部４３３により描画されたガイド画像を重畳して、合成画像を作成する（ステップＳ２１１）。そして画像合成部４３４は、作成された合成画像を制御部４３へ渡す。制御部４３は、ディスプレイ３にその合成画像を表示させる（ステップＳ２１２）。
【００７９】
次に、制御部４３は、運転支援装置１を待機状態にすべきか否か判定する（ステップＳ２１３）。制御部４３は、運転支援装置１を待機状態にしない場合、ステップＳ２０２〜Ｓ２１３の処理を繰り返す。一方、制御部４３は、運転支援装置１を待機状態にすべき場合、処理を終了する。なお、運転支援装置１を待機状態にする条件は、例えば、車両１０が停止してから所定時間（例えば、１０秒間）経過したこととすることができる。あるいは、その条件は、車両１０のインストルメントパネルなどに設置された運転支援装置１の操作部（図示せず）を介して、ドライバが運転支援装置１をオフにしたことであってもよい。
【００８０】
なお、上記の動作フローチャートでは、立体構造物を検出するために、立体構造物検出部４３５は、単眼ステレオ法など複数フレームの画像を用いるものとしている。そのため、所定フレーム数前に取得された過去の周辺画像が記憶部４１に記憶されていない場合、制御部４３は、ステップＳ２０４、Ｓ２０８及びＳ２０９の処理を省略する。しかし、立体構造物検出部４３５が距離センサを利用して立体構造物を検出する場合、ステップＳ２０４では、最新フレームの周辺画像のみが用いられて立体構造物が検出される。
また、各ステップにおける、制御部４３の各部の処理の詳細は既に詳述したので、ここではその説明を省略する。
【００８１】
以上説明してきたように、本発明の第２の実施形態に係る運転支援装置は、車両後方または車両の左右前方などに設置されたカメラにより撮影された車両周囲の構造物を表す周辺画像から、その撮像範囲内に存在する立体構造物を検出する。そしてこの運転支援装置は、車両の予測進行方向を示すガイド線とその立体構造物が重なる場合に、ガイド線よりも立体構造物を優先して表示する。そのため、この運転支援装置は、ドライバが立体構造物の存在を容易に認識できるとともに、ドライバ自身が運転する車両が立体構造物に衝突する可能性をドライバに正確に認識させることができる。
【００８２】
なお、本発明は上記の実施形態に限定されるものではない。例えば、運転支援装置が有するカメラの台数は３台に限られず、例えば、運転支援装置は、車両後方を撮影する１台のカメラのみを有していてもよい。あるいは、運転支援装置は、車両後方を撮影するカメラと、車両前方の左右の角のうち、運転席から離れた方の角に設置されたカメラのみを有していてもよい。
また、制御部は、カメラにより取得された周辺画像をそのままディスプレイに表示させても、ドライバがその周辺画像に写った車両周囲の景色を認識できると考えられる場合、画像描画部の処理を省略してもよい。
【００８３】
さらに、制御部のガイド描画部は、ガイド線の代わりに、あるいはガイド線とともに、車両の予測進行方向を示す矢印マークをガイド画像上に描画してもよい。この矢印マークは、例えば、車両の予測進行方向が右旋回である場合は、右折を表す道路標示のように、途中で右側へ所定角度だけ曲がる矢印とすることができ、また、車両の回転半径が小さくなるほど、ガイド描画部はその所定角度を大きくしてもよい。同様に、矢印マークは、例えば、車両の予測進行方向が左旋回である場合は、左折を表す道路標示のように、途中で左側へ所定角度だけ曲がる矢印とすることができ、また、車両の回転半径が小さくなるほど、ガイド描画部はその所定角度を大きくしてもよい。
【００８４】
さらにガイド描画部は、その矢印マークにおいて、車両が旋回する方向に対応する側の部分の色を他の部分の色と変えてもよい。例えば、車両の予測進行方向が右旋回である場合、ガイド描画部は、矢印マークの右側面部分の色を赤色とし、矢印マークのその他の部分の色を白色としてもよい。さらにまた、ガイド描画部は、車両の回転半径が小さくなるほど、その矢印マークにおける、車両が旋回する方向に対応する側の部分の色と、他の部分の色の差を大きくしてもよい。
上記のように、当業者は、本発明の範囲内で様々な修正を行うことが可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施形態に係る運転支援装置の全体構成図である。
【図２】（ａ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略平面図であり、（ｂ）は、本発明の実施形態に係る運転支援装置に含まれるカメラの配置を示す車両の概略側面図である。
【図３】本発明の第１の実施形態に係る運転支援装置の制御部の機能ブロック図である。
【図４】車両の進行方向の推定軌跡を求める方法の説明図である。
【図５】合成画像の一例を示す図である。
【図６】合成画像の他の一例を示す図である。
【図７】本発明の第１の実施形態に係る運転支援装置の動作フローチャートである。
【図８】本発明の第２の実施形態に係る運転支援装置の制御部の機能ブロック図である。
【図９】運転支援装置が搭載された車両の進行方向に他の車両が存在する状況の一例を示す鳥瞰図である。
【図１０】図９の状況に対応する合成画像の一例を示す図である。
【図１１】図９の状況に対応する合成画像の他の一例を示す図である。
【図１２】図９の状況に対応する合成画像のさらに他の一例を示す図である。
【図１３】本発明の第２の実施形態に係る運転支援装置の動作フローチャートである。
【符号の説明】
【００８６】
１    運転支援装置
２ａ、２ｂ、２ｃ    カメラ
３    ディスプレイ
４    コントローラ
４１    記憶部
４２    通信部
４３    制御部
４３１    画像選択部
４３２    画像描画部
４３３    ガイド描画部
４３４    画像合成部
４３５    立体構造物検出部
５    コントロールエリアネットワーク（ＣＡＮ）
１０    車両
【図１】
2010136289.tif 000019
【図２】
2010136289.tif 000020
【図３】
2010136289.tif 000021
【図４】
2010136289.tif 000022
【図７】
2010136289.tif 000023
【図８】
2010136289.tif 000024
【図１３】
2010136289.tif 000025
【図５】
2010136289.tif 000026
【図６】
2010136289.tif 000027
【図９】
2010136289.tif 000028
【図１０】
2010136289.tif 000029
【図１１】
2010136289.tif 000030
【図１２】
2010136289.tif 000031