(57)【要約】【課題】  計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供すること。【解決手段】  撮像装置２の外にもレーダ３を設け、撮像装置２では車両の走行方向の画像情報を得、レーダ３では車両前方の先行車両や静止物までの距離、方位を得る。画像処理装置１は、撮像装置２から得られる画像内で、レーダ３から得た距離と方位により、先行車両の対応付けを行ない、これにより先行車両の認識に必要な画像信号処理が簡単に得られるようにする。その上で静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。また、道路地図装置４は、ＧＩＳアンテナ５から得た車両位置を道路地図上に対応付け、車両前方の交差点の有無、交差点までの距離情報を画像処理装置１に出力する。従って、複雑な走行環境にあっても、自車両の周囲状況を応答性よく認識することができる。【選択図】  図１
2004265432.tif 000002
【特許請求の範囲】
【請求項１】
自車両の走行方向を撮像視野とする撮像装置と、自車両の走行方向を検出範囲とするレーダと、前記撮像装置で撮像した画像情報と、前記レーダの検出結果とにより、走行レーンの認識と先行車両の認識及び前方にある静止物の認識を行う画像処理装置とを備えた走行環境認識装置において、
前記画像処理装置に、前記レーダの検出結果に基づいて、前記画像情報内に前記先行車両の存在を表す車両領域を設定する手段を設け、
該車両領域により、前記画像情報内での走行レーンの認識処理における前記先行車両の影響を排除するように構成されていることを特徴とする走行環境認識装置。
【請求項２】
人工衛星電波による車両位置検出装置から得た車両位置を道路地図に対応付ける道路地図装置と、
前記道路地図装置から自車両の走行前方の交差点情報を受け取り、交差点近傍では撮像装置から得られた画像内で信号機、横断歩道などの位置を推定して信号機の状態の認識、歩行者の認識及び右左折車の認識を行なう画像処理装置とを備えていることを特徴とする走行環境認識装置。
【請求項３】
請求項１又は請求項２の発明において、
前記画像処理装置の認識結果を表示する表示装置を備え、
前記画像処理装置による認識結果の表示が、
前記表示装置の表示画像の中の当該認識部分の色彩を所定の色に着色させる表示及び枠図形で包囲させる表示の何れかにより強調された表示となるように構成されていることを特徴とする走行環境認識装置。
【請求項４】
請求項１から請求項３の何れかの発明において、
前記画像処理装置は、
前記撮像装置の画像情報中での前方車両位置の対応付けを、レーダによる距離と方位の検出結果により行い、該前方車両位置内で水平方向の画素の輝度又は色を調べ、輝度又は色の近似した画素の統合により前記車両領域の水平幅を計測し、該水平幅と前記距離から車両の車種(大型、中型、小型)を判別するように構成されていることを特徴とする走行環境認識装置。
【請求項５】
請求項１から請求項４の何れかの発明において、
前記画像処理装置は、
前記画像情報による画面の中央に垂直線分を設定し、該垂直線分から水平方向に画素の輝度の変化を調べることにより、路面に描かれている白線のエッジを検出し、そのエッジの位置座標を用いて白線のモデルを作成するように構成されていることを特徴とする走行環境認識装置。
【請求項６】
請求項５の発明において、
前記画像処理装置は、
作成した白線のモデルに沿って小さな白線追跡領域を移動させ、前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させるように構成されていることを特徴とする走行環境認識装置。
【請求項７】
請求項５又は請求項６の発明において、
前記画像処理装置は、
前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させる際に、前記白線追跡領域が車両領域にぶつかった場合、前記白線追跡領域を対となる隣の白線モデルに移動して白線モデルの適合処理を続けるように構成されていることを特徴とする走行環境認識装置。
【請求項８】
請求項７の発明において、
前記画像処理装置は、
前記白線追跡領域内の白線のエッジの傾きに適合するように変化させた白線モデルから計算した消失点の移動を調べ、移動量が所定値を越えた場合は、前方にカーブがあると判断し、移動方向によって右カーブ、左カーブと判断するように構成されていることを特徴とする走行環境認識装置。
【請求項９】
請求項１から請求項５の何れかの発明において、
前記撮像装置の撮像光軸と、前記レーダの検出軸が同一軸上に設置されていることを特徴とする走行環境認識装置。
【請求項１０】
請求項１から請求項５の何れかの発明において、
前記撮像装置が車両の運転席側に設置され、
運転者の視点方向の画像を撮像するように構成されていることを特徴とする走行環境認識装置。
【請求項１１】
請求項１から請求項５の何れかの発明において、
前記撮像装置が車両の運転席と反対側に設置され、
運転者から見えない部分も含んだ画像を撮像するように構成されていることを特徴とする走行環境認識装置。
【請求項１２】
請求項２又は請求項３の発明において、
前記画像処理装置は、認識結果に基づいて自車両を制御するように構成されていることを特徴とする走行環境認識装置。
【請求項１３】
請求項４の発明において、
前記画像処理装置は、判別した車両の車種に基づいて車両領域の高さを推定するように構成されていることを特徴とする走行環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車などの車両に搭載され、自車両が走行する道路の環境を認識する装置に係り、特に画像処理により走行環境を認識する装置に関する。
【背景技術】
【０００２】
自動車の性能が向上するにつれ、走行レーンや、他の車両など、自車両が走行する周囲の環境を認識して、事故が発生しそうな状況を検出し、ドライバーに警報を出して危険回避操作を促したり、或いは積極的に車を自動制御して事故を未然に防止するという予防安全機能の付与が重要になってきている。
【０００３】
更に、このとき、ドライバーに警告を与えるだけでなく、積極的に車両を制御し、例えば車間距離を一定に制御して走行する自動クルーズや、更には自動運転等のシステムに対する関心が大きく高まってきているが、このような予防安全、自動クルーズ走行、更には自動運転を達成するためには、自車両の走行環境を高速で認識する必要がある。
【０００４】
そこで、ＴＶカメラなどの撮像装置を用い、車両の前方を中心とする画像情報を処理することより、走行レーンや他車両などを抽出し、車両の走行環境を認識する技術が、従来から用いられていた。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上記従来技術は、画像情報から走行レーンや他車両などを抽出するのに必要な画像信号処理が膨大になる点についての配慮がされておらず、必要とする応答性に対して信号処理能力の大幅な増強を要するという問題があった。
【０００６】
すなわち、画像情報による車両の走行環境の認識には、画像情報の中から認識すべき対象を探索して切り出す必要があるが、従来技術では、撮像装置から得た複雑な画像情報からそのまま切り出し処理を実行しているため、その信号処理に膨大な計算量が必要になり、この結果、要求される応答性の維持に、大幅な信号処理能力の増強を伴ってしまうのである。
【０００７】
特に、近年、走行環境があまり変化しない自動車専用道路(高速道路)だけでなく、一般道路をも対象とする点についての要望が高まっているが、この要望を満たすためには、信号機、交差点内の右左折車、歩行者等も認識する必要があり、更に複雑な画像が対象となる。
【０００８】
そうすると、このように更に複雑な画像から、走行レーンや前方車両の他に、信号機等の対象物を切り出すためには、従来技術では、より膨大な計算量を要することになり、上記の問題は、より一層、深刻なものになってしまう。
【０００９】
本発明の目的は、計算量の増加を抑えながら、充分な応答性の維持が得られるようにした走行環境認識装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記目的は、車両に搭載したレーダから得た車両前方の前方車両や静止物までの距離、方位、更にはＧＰＳ装置から得た車両位置に対応付けた道路地図から車両前方の交差点情報を用い、これにより撮像装置から得られる画像内での走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して走行環境を認識するようにして達成される。
【００１１】
撮像装置は車両の走行方向の画像を撮影する。
【００１２】
画像処理装置は撮像装置から得られる画像内で、走行レーン、前方車両、静止物、信号機、横断歩道等の位置を推定して車両周囲の走行環境を認識する。
【００１３】
レーダは電波やレーザ光を発射し、反射信号を処理して、車両前方の前方車両や静止物までの距離、方位を計測する。
【００１４】
道路地図装置は、ＧＰＳ装置から得た車両位置を道路地図上に対応付け、車両前方での交差点の有無、交差点までの距離情報を画像処理装置に出力する。
【発明の効果】
【００１５】
本発明によれば、複雑な走行環境においても、応答性良く自車両の周囲状況を認識することができ、この結果、安全性の向上と、自動車の自動運転化を大いに図ることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明による走行環境認識装置について、図示の一実施形態により詳細に説明する。
【００１７】
図１は本発明の一実施形態例で、１は画像処理装置、２は撮像装置、３はレーダ、４は道路地図装置、５はＧＰＳアンテナ、６は表示装置である。
【００１８】
そして、これらは、例えば図２に示すように、車両１００に設置されて用いられる。従って、以下、この車両１００を自車両１００と記す。
【００１９】
この図２で、自車両１００は、例えば自動車で、図２(a)は自車両１００の側面から見た状態で、図２(b)は自車両１００を上面から見た状態である。
【００２０】
画像処理装置１は、マイクロコンピュータを備え、所定のプログラムを搭載していて、撮像装置２、レーダ３、道路地図装置４などから所定の各種の信号の供給をうけ、後述する各種の画像信号処理を実行する。
【００２１】
撮像装置２は、自車両１００の前方の所定範囲を撮像視野とするテレビジョンカメラなどで構成されており、自車両１００が走行中の画像信号を画像処理装置１に供給する働きをする。
【００２２】
レーダ３は、電波又はレーザ光(以下、電波等という)を用いて、自車両１００の前方にある物体までの距離と方位を測定し、測定結果を画像処理装置１に供給する働きをするが、このとき、後述する座標変換を簡単化するため、図２(b)から明らかなように、方位がゼロのときレーダ３から発射される電波等の放射軸、すなわち検出軸が撮像装置２の撮像光軸と同一の軸Ｚに合わせて設置してある。
【００２３】
なお、撮像装置２とレーダ３については、必ずしもこのように設置する必要はなく、ドライバーの視点から見た画像を必要とする場合は撮像装置を運転席側に設置すればよい。
【００２４】
また、運転席と反対側に設置すれば、ドライバーから見えない部分も含んだ画像を得ることができる。
【００２５】
道路地図装置４は、ＧＰＳアンテナ５と共にカーナビゲーション装置として周知の人工衛星電波による車両位置検出装置を構成し、自車両１００の位置を逐次検出し、その位置の検出結果と、その位置に対応した道路地図の画像情報を記憶装置の中から選択し、その道路地図の表示に必要な画像信号とを画像処理装置１に供給する働きをする。
【００２６】
表示装置６は、カラー液晶表示素子などの画像モニタで構成され、画像処理装置１から供給される画像情報をカラー画像として表示させ、ドライバーに認識させる働きをする。
【００２７】
次に、これら図１、図２に示した走行環境認識装置を用い、走行する車両の周囲環境を認識する方法について、以下に説明する。
【００２８】
まず、本発明の実施形態では、例えば図３に示すように、前方に右カーブがある高速道路上において、自車両１００の前方に、先行(前方)車両１０１、１０２が存在していて、共に走行している場合を想定する。ここで、走行レーンは路面に描かれている白線で規定されているものとする。
【００２９】
そして、この図３で、ｒ１、ｒ２は、自車両１００に搭載されているレーダ３で計測した、先行車両１０１と１０２のＰ１点及びＰ２点までの距離で、θ１、θ２は、Ｚ軸を基準としたＰ１点及びＰ２点までの角度、つまり方位を表わしている。
【００３０】
この図３の状況を、自車両１００に登載した撮像装置２で撮影すると、図４に示すような画像が得られる。
【００３１】
この図４の画像では、走行レーンの白線の一部が、先行車両１０２によって隠されているため、この隠されている部分に対しては、白線を認識する処理が行われないようにする必要があり、このためには、まず先行車両１０２を抽出する必要がある。
【００３２】
しかしながら、図４には示されていないが、道路の周囲は一般的に複雑な背景画像になっている上、車両の影も存在するため、これらを排除しながら画像の中から車両を抽出しなければならない。
【００３３】
従って、これが、従来技術で処理時間を多く必要としていた理由である。
【００３４】
しかして、これが、この実施形態によれば、レーダ３からの信号を使うことにより簡単に解決できる。すなわち、レーダ３によれば、上記したように、先行車両までの距離と方向を計測することができ、これらの距離と方位を用いることにより、上記の問題が解決できるのである。
【００３５】
そして、このように、先行車両の距離と方向が判れば、これと、撮像装置２で撮影した画像との対応付けは、画像処理装置１による座標変換で容易に得ることができる。
【００３６】
但し、このとき、レーダでは、先行車両だけでなく、電波等を反射する物体の全てを検知してしまう。
【００３７】
そこで、画像処理装置１は、レーダ３で検出した距離の変化を計算し、検出されている物体と自車両の相対速度を測定し、これにより、例えば自車両と同じ速度で接近してくる物体は静止物で、さらに早い速度で接近してくる物体は対向車両であるなどの判断を行うことができ、この結果、相対速度が所定値以下のものだけを選定することにより、先行している車両だけの情報を抽出するようになっている。
【００３８】
次に、画像処理装置１による座標変換について説明する。
【００３９】
まず、この実施形態では、撮像装置２で撮像した先行車両の画像と、レーダ３で測定された距離と方位との対応付けのため、次の２段のステップを用いる。
【００４０】
・・撮像装置２の俯角や焦点距離を考慮して、先行車両１０１及び
１０２を画像面上にマップするステップ。
【００４１】
・・レーダ３で測定された先行車両１０１及び１０２までの距離と
方向を、撮像装置２のレンズからの距離と方向に変換して表示す
るステップ。
【００４２】
この実施形態では、先行車両１０１及び１０２を画像面上に表示するために、レーダ３を原点とする座標系(レーダ座標系という)と、撮像装置２のレンズを原点とする座標系(ワールド座標系という)との間の座標変換と、さらにワールド座標系と画像面上に設定された座標系(画像座標系という)との間の座標変換とを用いる。
【００４３】
また、距離と方向の変換には、ワールド座標系における先行車両の座標を利用する。
【００４４】
以下、これらについて、
Ａ．ワールド座標系、画像座標系、レーダ座標系の定義
Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法
の順で説明する。
【００４５】
Ａ．ワールド座標系、画像座標系、レーダ座標系の定義について
＜ワールド座標系＞
ワールド座標系(Ｘ，Ｙ，Ｚ)は、車両に固定された座標系で、レンズの中心から進行方向をＺ軸とする右手座標系であり、従って、原点０(０，０，０)は、レンズの中心点となる。
【００４６】
＜画像座標系＞
画像座標系(ｘ，ｙ)のｘ軸は、図５に示すように、ワールド座標系のＸ軸に平行で逆方向、ｙ軸はＹ軸と逆方向で、撮像装置２のレンズの光軸の上下方向の傾き角φだけ傾いている。
【００４７】
従って、撮像装置２レンズの焦点距離をＦとすると、画像座標系の原点は、ワールド座標系の(０，Ｆsinφ，−Ｆcosφ)になる。
【００４８】
そして、ワールド座標系の点Ｐ(Ｘ，Ｙ，Ｚ)と、点Ｐが画像上に透視されたときの画像座標系の点ｑ(ｘ，ｙ)との関係は、次の(1)式で表される。
【００４９】
ｘ＝−ＦＸ／(Ｚcosφ−Ｙsinφ)
ｙ＝−Ｆ(Ｙcosφ−Ｚsinφ)／(Ｚcosφ−Ｙsinφ)
……  ……(1)
【００５０】
＜レーダ座標系＞
レーダ座標系(ｒ，θ)は、図６に示すように、レーダ３を原点とする極座標系で、θはワールド座標系のＺ軸から反時計回りとする。
【００５１】
いま、レーダ座標系の原点のワールド座標系に対する座標を(０，Ｙd ，Ｚd )とすると、レーダ座標系の点Ｐ(ｒ，θ)と、この点をワールド座標系から見た点Ｐ(Ｘ，Ｙ，Ｚ)との関係は、次の(2)式で表される。
【００５２】
Ｘ＝−ｒsinθ
Ｙ＝Ｙd
Ｚ＝Ｚd ＋ｒcosθ
……  ……(2)
【００５３】
Ｂ．レーダ座標系の先行車両の画像座標系へ変換方法について
図６に示すように、レーダ３により、距離ｒ、方向θと測定された先行車両Ｐに対する画像座標系での座標について説明する。
【００５４】
まず、レーダ３のワールド座標系における座標を(０，Ｙd ，Ｚd )とする。
【００５５】
一方、先行車両Ｐのワールド座標系での座標(Ｘ，Ｙ，Ｚ)は、上記の(2)式で表されるので、この座標(Ｘ，Ｙ，Ｚ)の画像座標系上での座標は、上記(1)式を用いて、次の(3)式で表される。
【００５６】
ｘ＝−Ｆｒsinθ／〔(Ｚd ＋ｒcosθ)cosφ−Ｙd sinφ〕
ｙ＝−Ｆ〔Ｙd cosφ−(Ｚd ＋ｒcosθ)sinφ〕／
〔(Ｚd ＋ｒcosθ)cosφ−Ｙd sinφ〕
……  ……(3)
【００５７】
この(3)式を用いることにより、図７に示すように、レーダ３で計測した先行車両１０１及び１０２等の位置を、表示装置６に表示された画像上で対応付けることができる。
【００５８】
そして、この図７のようにして先行車両１０１、１０２の位置Ｐ１、Ｐ２が決定されたら、次に画像処理装置１により、以下のようにして、車両が存在する領域を推定する。
【００５９】
まず、車両の画像には水平方向に類似した画素成分が多く含まれるという知識を用い、例えば、点Ｐ１からｘ軸に沿って、画像の輝度、或いは色を調べ、点Ｐ１の輝度、或いは色に近い画素をまとめていくことにより、車両領域２１の水平幅を計測することができる。
【００６０】
この水平幅と距離から車両の車種(大型、中型、小型)が判別でき、さらに車種から車両の高さ、すなわち車両領域２１の垂直幅が推定できるので、結局、図７に示すように、先行車両１０１が存在する車両領域２１の全体を推定することができるのである。
【００６１】
これと同様の処理を点Ｐ２について行えば、同じく図７に示すように、先行車両１０２が存在する車両領域２２も推定することができる。
【００６２】
このようにして車両領域が推定されたら、その領域を避けて走行レーンを認識すればよい。
【００６３】
この実施形態では、走行レーンの認識に、路面に描かれている白線を利用するようになっており、画像処理装置１は、この白線の認識を、以下のようにして行うように構成されている。
【００６４】
すなわち、図８に示すように、白線の初期モデルを作成するインバータ１１を決定し、領域１１内で白線の初期モデルを作成し、次いで、実際の白線の画像上に合うように初期モデルを変形させるのである。
【００６５】
まず領域１１を次のようにして決定する。
【００６６】
領域１１のｙ軸方向の長さは、画面下から車両領域２２の下端までとし、ｘ軸方向の長さは、画面左端から車両領域２１の左端までとする。
【００６７】
このようにすれば、前方を走行する車両に邪魔されることなく、白線の初期モデルが作成できる。
【００６８】
次に、白線の初期モデルを作成する。
【００６９】
最初に、図８の画像全体に対して画像の水平方向の明るさの変化を強調するための水平微分処理を行う。
【００７０】
そして、領域１１に、ｘ軸に平行な複数の線分１２−１〜１２−ｎを設定し、これらの線分に沿って順次画素の輝度レベルを調べ、最初に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第１の白線のエッジとし、次に到達した所定輝度変化レベル以上の輝度を持つ画素位置を第２の白線のエッジとする。
【００７１】
次いで、これら第１と第２の白線のエッジ位置に基づいて、直線近似により白線のモデルを２本作成し、これら２本の直線の延長線が交差する点を、道路の消失点とする。
【００７２】
しかしながら、このようにして作成した白線の初期モデルは、領域１１内に限定されており、且つ線分１２−１〜１２−ｎのように代表線で検出した白線エッジを用いているだけなので、領域１１内の白線を正確に求めている訳ではないことと、領域１１の外で白線がどのように変化しているのかは判らない。
【００７３】
そこで、最後に、実際の画像の白線上に合うように、初期モデルを変形させる白線適合化処理を実行する。
【００７４】
そこで、図８に示すように、最初、線分１２−１で検出した白線のエッジの位置を中心として所定サイズの白線追跡領域１３を設定する。
【００７５】
そして、この白線追跡領域１３を白線モデルに沿って移動させ、白線追跡領域１３内の白線のエッジの傾きに適合するように白線モデルを変化させる。
【００７６】
このときの傾きの適合方法としては、例えば白線追跡領域１３内に白線の初期モデルを作成したときと同様な複数の線分を設定し、これらの線分に沿って白線のエッジ位置を求め、このエッジ位置から傾きを求めてやればよい。
【００７７】
次に、この白線追跡領域１３内で求めた傾きを用いて白線の初期モデルを再び作成する。
【００７８】
そして、この再度作成したモデルに沿って白線追跡領域１３を消失点の方向に向かって移動させ、そこで白線追跡領域１３の白線の傾きを求めてモデルを変更する。
【００７９】
この操作を、以下、白線追跡領域１３内に消失点が含まれるようになるまで繰り返す。
【００８０】
ここで、白線追跡領域１３を移動させていったとき、車両領域にぶつかった場合(図８では、車両領域２２にぶつかる)には、この車両によって白線が隠されている可能性がある。
【００８１】
そこで、今までは第１の白線エッジに着目して移動させていた白線追跡領域１３を、右側の白線モデルに着目した白線に沿って移動させ、白線モデルの適合処理を続けるのである。
【００８２】
ところで、道路が直線の場合は、消失点は移動しないが、図８のようにカーブがある場合は白線適合処理により消失点が移動する。
【００８３】
そこで、消失点が検出される毎に、前回の位置と比較して移動量を求め、それが所定値を越えたとき、前方にカーブがあると判断し、さらに、図８のように、その移動方向がｘ軸方向のときには右カーブ、ーｘ軸方向なら左カーブと判断するのである。
【００８４】
こうして、カーブ有りと判断されたら、画像処理装置１は、表示装置６に所定の信号を供給し、図８に示すように、その表示画面のメッセージ領域３０に、判断結果を文章として表示させ、ドライバーの注意が喚起されるようにし、安全速度の順守と的確な操舵が得られるようにする。
【００８５】
また、このとき、画像処理装置１は、信号線７にも所定の信号を出力し、これにより自車両１００の速度制御、操舵制御などに用いられるようにする。
【００８６】
さらに、この白線モデル適合処理により逐次認識した走行レーンの中に、レーダ３で計測した静止物が存在していた場合には、前述した車両の対応付けと同様の手法で、この静止物の画像上での位置を求め、例えばその位置を囲む枠に所定の色を付けるなどの方法により、静止物の存在を強調して画像上に表示させ、ドライバーに注意を喚起させるようにする。
【００８７】
従って、この実施形態によれば、予め設定されている車両領域により、先行車両の影響が除かれているので、膨大な計算量を要することなく、走行レーンの認識を行うことができる。
【００８８】
ところで、以上の説明は、自動車専用道路など、道路環境が比較的良い場合の動作であり、従って、処理もそれほど複雑にはならない。
【００８９】
しかして、車間距離制御による自動クルーズ装置や自動運転装置は、自動車専用道路での利用に限らず、一般道路でも利用できれば、更に望ましい。
【００９０】
しかし、一般道路は、自動車専用道路とは異なり、道路環境が非常に複雑になる。そして、その代表が交差点付近の道路環境である。
【００９１】
図９は、交差点を含んだ一般道路の概要を示したもので、自車両１００の進行方向には、自車両と同一方向に進行する車両１０３が存在するだけでなく、交差点内で右折を待つ車両１０４や、横断歩道１０６−１〜１０６−４を歩行している人(歩行者)、信号機１０５等が存在する。
【００９２】
従って、交差点付近では、先行車両に追従していくとき、先行車両１０３が信号機が黄色から赤に変わる直前に交差点を渡った場合、そのまま前歩車両１０３に追従すると事故を引き起こすことになる。
【００９３】
また、自車両１００と先行車両１０３の間を歩行者や右折車両１０４が横切る虞れもあり、その場合は危険回避措置をしなければならない。
【００９４】
従って、どのような状況にも対応できる走行環境認識を実現する必要がある。
【００９５】
そのためには、まず自車両１００が交差点付近にいるかどうかを判断する必要があるが、この実施形態では、図１に示されている道路地図装置４を利用する。
【００９６】
道路地図装置４は、道路地図が記憶されたＣＤ−ＲＯＭ、ハードディスクなどを備えている。
【００９７】
そして、この実施形態での道路地図装置４に記憶されている道路地図は、図１０に示す実際の道路の外、これ対応して、図１１に示すように、ノード(道路と道路が交差する点、すなわち交差点)に関係する情報と、リンク(ノードとノードを接続する道路)に関係する情報とからなるテーブル状のデータベースとで構成されている。ここで、白抜き丸印〇がノードで、リンクは線で示されており、数字は、それぞれの番号である。
【００９８】
なお、道路地図には、道路以外にも、建物や公園などの施設、鉄道、水系などの位置や、名称データ等もあり、カーナビゲーション用としては、これらも道路地図装置４に記憶しておく必要があるが、本発明には関連しないので、ここでは省略する。
【００９９】
図１１に示すように、このデータベースは、ノードテーブルとリンクテーブルがあり、まずノードテーブルは、ノードの番号、座標、そのノードから流出するリンク数及びそれらのリンク番号を含み、次に、リンクテーブルは、リンクの番号、リンクを構成する始点ノードと終点ノード、リンク長を含んでいる。
【０１００】
このとき、ノード番号は、互いに重なりがないように決められ、リンク番号も同様である。
【０１０１】
次に、図１１のテーブルと実際の道路地図との対応を、図１０の道路地図を例に説明すると、図１１のノードテーブル中のノードの番号１５と３４は、それぞれの座標値から、図１０の〇印で示したノードであることが判る。
【０１０２】
そして、番号１５のノードから流出するリンク数は４本あり、それらはリンク番号２０、２１、１９、３０であることも判る。
【０１０３】
また、リンクテーブルのリンク番号２１を見れば、これは、ノード１５からノード３４に向かう道路であることが判り、従って、この道路が一方通行でなければ、ノード３４からノード１５に向う道路が存在し、リンクテーブルを見れば、この道路には、リンク番号５５が付けられているのが判る。
【０１０４】
なお、この図１１に示したデータベースは、基本的な構成であり、このデータの他にも、ノードに隣接するノード、右折の可否、リンクの幅員等の情報を付加しても良い。
【０１０５】
図１に示すように、この道路地図装置４にはＧＰＳアンテナ５が設けてあり、これにより、周知のカーナビゲーション装置と同様に、自車両１００の位置に応じて、対応する道路地図を表示装置６に表示し、この表示された道路地図上に、図１０に示すように、自車両１００を表す□印を表示してゆくように構成されている。
【０１０６】
そこで、いま、図示のように、自車両１００がノード３４に向かって走行しているとする。
【０１０７】
そうすると、自車両１００の位置、ノード３４の位置及び自車両１００の速度から、ノード３４に到着するまでの時間を計算することができる。なお、このため図示してないが、この道路地図装置４には、自車両に備えられている速度センサから、走行速度が入力されている。
【０１０８】
こうして、予め設定してある所定時間で、自車両１００がノード３４に到着できることが判ると、ここで道路地図装置４は、交差点到着信号と交差点までの距離を画像処理装置１に出力する。
【０１０９】
画像処理装置１は、この交差点到着信号と交差点までの距離を受け取ると、撮像装置２で撮影した画像を基にして、上記した白線認識処理に加えて、さらに信号機認識、右折車両認識、歩行者認識等の追加認識処理を実行する。
【０１１０】
そこで、これらの追加認識処理について、図１２により説明する。
【０１１１】
信号機認識処理では、交差点までの距離と、予め設定してある信号機の高さの知識から、上記した先行車両と画像との対応付けで行ったと同じ手法により、信号機が存在すると推定される領域、すなわち、信号機領域１１０を決定し、その内部の色情報から信号状態を認識する。
【０１１２】
そして、黄色又は赤色が認識されたときは、追従走行を停止するような信号を図１の信号線７を介して出力したり、画像上に認識結果をメッセージ等で表示するのである。
【０１１３】
次に、右折車両認識処理、つまり右折待ちで静止している右折車両の認識処理は、レーダ３で計測した静止物の位置情報から、白線認識で決定してきた白線モデルのうちの右側の白線モデルに近接している静止物を選択することにより、右折車両１０４と判断するのである。
【０１１４】
そして、必要に応じて減速信号を信号線７から出力し、車両の制御に適用するのである。
【０１１５】
また、歩行者認識処理は、白線モデルと、交差点までの距離情報を用いて横断歩道が存在すると推定される領域、すなわち、歩行者領域１２０−１及び１２０−２を推定し、撮像装置２で撮像した画像の対応する領域に対して、公知の移動体識別技術を適用し、歩行者を認識するのである。
【０１１６】
ここで、この移動体識別技術の公知例としては、例えば、下記の文献の記載を挙ることができる。
【０１１７】
１９９０年電子情報通信学会春季全国大会、
阿居院  猛等  「動画像を用いた移動人物の抽出」  pp.7-383〜7-384
従って、この実施形態によれば、一般道路でも充分正確に走行環境を識別することができ、安全運転の確保と自動運転実現に大きく貢献することができる。
【図面の簡単な説明】
【０１１８】
【図１】本発明による走行環境認識装置の一実施形態を示すブロック図である。
【図２】本発明による走行環境認識装置の実施形態における各装置の設置図である。
【図３】本発明が対象とする車両の高速道路走路における位置の一例を示す説明図である。
【図４】本発明の一実施形態による撮像画像例を示す説明図である。
【図５】本発明の一実施形態におけるワールド座標系と画像座標系の説明図である。
【図６】本発明の一実施形態におけるワールド座標系とレーダ座標系の説明図である。
【図７】本発明の一実施形態による先行車両領域推定処理の説明図である。
【図８】本発明の一実施形態による白線認識推定及び白線追跡処理の説明図である。
【図９】車両の一般道路走路における位置の説明図である。
【図１０】本発明の一実施形態における道路地図の一例を示す説明図である。
【図１１】本発明の一実施形態における道路地図データベースの説明図である。
【図１２】本発明の一実施形態を一般道路に適用した場合の説明図である。
【符号の説明】
【０１１９】
１：画像処理装置
２：撮像装置
３：レーダ
４：道路地図装置
５：ＧＰＳアンテナ
６：表示装置
１００  ：車両
２１、２２：前方車の車両領域
１１：白線認識領域
１３：白線追跡領域
３０：メッセージ領域
１１０：信号機領域
１２０−１、１２０−２：歩行者
【図１】
2004265432.tif 000003
【図２】
2004265432.tif 000004
【図３】
2004265432.tif 000005
【図４】
2004265432.tif 000006
【図５】
2004265432.tif 000007
【図６】
2004265432.tif 000008
【図７】
2004265432.tif 000009
【図８】
2004265432.tif 000010
【図９】
2004265432.tif 000011
【図１０】
2004265432.tif 000012
【図１１】
2004265432.tif 000013
【図１２】
2004265432.tif 000014
【手続補正書】
【提出日】平成16年4月28日(2004.4.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
自車両の走行方向を撮像視野とする撮像装置と、自車両の走行方向を検出範囲とするレーダと、前記撮像装置で撮像した画像情報と、前記レーダの検出結果とにより、走行レーンの認識と先行車両の認識及び前方にある静止物の認識を行う画像処理装置とを備えた走行環境認識装置において、
人工衛星電波による車両位置検出装置から得た車両位置を道路地図に対応付ける道路地図装置と、
前記道路地図装置から自車両の走行前方の交差点情報を受け取り、交差点近傍では撮像装置から得られた画像内で信号機、横断歩道などの位置を推定して信号機の状態の認識、歩行者の認識及び右左折車の認識を行なう画像処理装置とを備えていることを特徴とする走行環境認識装置。
【請求項２】
請求項１の発明において、
前記画像処理装置の認識結果を表示する表示装置を備え、
前記画像処理装置による認識結果の表示が、
前記表示装置の表示画像の中の当該認識部分の色彩を所定の色に着色させる表示及び枠図形で包囲させる表示の何れかにより強調された表示となるように構成されていることを特徴とする走行環境認識装置。
【請求項３】
請求項１又は請求項２の発明において、
前記画像処理装置は、
前記撮像装置の画像情報中での前方車両位置の対応付けを、レーダによる距離と方位の検出結果により行い、該前方車両位置内で水平方向の画素の輝度又は色を調べ、輝度又は色の近似した画素の統合により前記車両領域の水平幅を計測し、該水平幅と前記距離から車両の車種(大型、中型、小型)を判別するように構成されていることを特徴とする走行環境認識装置。
【請求項４】
請求項１から請求項３の何れかの発明において、
前記画像処理装置は、
前記画像情報による画面の中央に垂直線分を設定し、該垂直線分から水平方向に画素の輝度の変化を調べることにより、路面に描かれている白線のエッジを検出し、そのエッジの位置座標を用いて白線のモデルを作成するように構成されていることを特徴とする走行環境認識装置。
【請求項５】
請求項４の発明において、
前記画像処理装置は、
作成した白線のモデルに沿って小さな白線追跡領域を移動させ、前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させるように構成されていることを特徴とする走行環境認識装置。
【請求項６】
請求項４又は請求項５の発明において、
前記画像処理装置は、
前記白線追跡領域内の白線のエッジの傾きに適合するように白線モデルを変化させる際に、前記白線追跡領域が車両領域にぶつかった場合、前記白線追跡領域を対となる隣の白線モデルに移動して白線モデルの適合処理を続けるように構成されていることを特徴とする走行環境認識装置。
【請求項７】
請求項６の発明において、
前記画像処理装置は、
前記白線追跡領域内の白線のエッジの傾きに適合するように変化させた白線モデルから計算した消失点の移動を調べ、移動量が所定値を越えた場合は、前方にカーブがあると判断し、移動方向によって右カーブ、左カーブと判断するように構成されていることを特徴とする走行環境認識装置。
【請求項８】
請求項１から請求項４の何れかの発明において、
前記撮像装置の撮像光軸と、前記レーダの検出軸が同一軸上に設置されていることを特徴とする走行環境認識装置。
【請求項９】
請求項１から請求項４の何れかの発明において、
前記撮像装置が車両の運転席側に設置され、
運転者の視点方向の画像を撮像するように構成されていることを特徴とする走行環境認識装置。
【請求項１０】
請求項１から請求項４の何れかの発明において、
前記撮像装置が車両の運転席と反対側に設置され、
運転者から見えない部分も含んだ画像を撮像するように構成されていることを特徴とする走行環境認識装置。
【請求項１１】
請求項１の発明において、
前記画像処理装置は、認識結果に基づいて自車両を制御するように構成されていることを特徴とする走行環境認識装置。
【請求項１２】
請求項３の発明において、
前記画像処理装置は、判別した車両の車種に基づいて車両領域の高さを推定するように構成されていることを特徴とする走行環境認識装置。