(57)【要約】【課題】運転者がディスプレイを見る余裕がないような状況下でも、車両が路肩と接触する危険性を検出して運転者に報知する。【解決手段】車両の左側ドアミラーに内蔵されるＣＣＤカメラ１により撮像された画像に基づいて、道路と平行な方向のエッジを検出し、検出された複数のエッジのうち、道路上に描かれるペイント表示に対応するエッジを除外して、立体障害物のエッジを抽出する。抽出された立体障害物のエッジと車両との距離が所定距離以下の場合に、ディスプレイ４およびスピーカ５を用いて、立体障害物と車両との接触の可能性を乗員に報知する。【選択図】図１
2004302609.tif 000002
【特許請求の範囲】
【請求項１】
自車両の側面を含む車両側方を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、道路と平行な方向のエッジを検出するエッジ検出手段と、
前記エッジ検出手段により検出された複数のエッジのうち、非立体障害物のエッジを除外して、立体障害物のエッジを抽出する抽出手段と、
前記抽出手段により抽出された立体障害物のエッジと車両との位置関係に基づいて、立体障害物と車両との接触の可能性を乗員に報知する報知手段とを備えることを特徴とする車両用周囲監視装置。
【請求項２】
請求項１に記載の車両用周囲監視装置において、
前記非立体障害物のエッジは、道路上に描かれるペイント表示のエッジであることを特徴とする車両用周囲監視装置。
【請求項３】
請求項１または２に記載の車両用周囲監視装置において、
前記抽出手段は、前記エッジ検出手段により検出されたエッジの輝度変化特性に基づいて、前記非立体障害物のエッジを除外して、立体障害物のエッジを抽出することを特徴とする車両用周囲監視装置。
【請求項４】
請求項１〜３のいずれかに記載の車両用周囲監視装置において、
前記抽出手段により抽出された立体障害物の複数のエッジのうち、車両に最も近い位置のエッジと車両との距離が所定距離以下であるか否かを判定する判定手段をさらに備え、
前記報知手段は、前記判定手段により前記車両に最も近い位置のエッジと車両との距離が所定距離以下であると判定された場合に、乗員に報知を行うことを特徴とする車両用周囲監視装置。
【請求項５】
請求項４に記載の車両用周囲監視装置において、
前記報知手段は、警告音または音声アナウンスにより乗員への報知を行うことを特徴とする車両用周囲監視装置。
【請求項６】
請求項４または５に記載の車両用周囲監視装置において、
少なくとも前記撮像手段により撮像された映像を表示する表示手段をさらに備え、
前記表示手段は、前記判定手段により前記車両に最も近い位置のエッジと車両との距離が所定距離以下であると判定された場合に、前記撮像手段により撮像された映像を表示することを特徴とする車両用周囲監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車載カメラを用いて自車両の周囲を監視する装置に関する。
【０００２】
【従来の技術】
車載カメラを用いて、運転者にとって死角となる車両の左前輪付近を撮像して、車内のディスプレイに表示する車載カメラ装置が知られている（特許文献１参照）。この車載カメラ装置によれば、運転者は、ディスプレイに表示された映像を参照しながら、車両を路肩へ幅寄せすることができる。
【０００３】
【特許文献１】
特開２０００−２２２６９７号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の車載カメラ装置によれば、車両の周囲に歩行者や対向車等が多い状況下では、運転者は、歩行者や対向車等に気を取られてディスプレイを見ている余裕がなく、車体やタイヤが路肩と接触する可能性があった。
【０００５】
本発明は、運転者がディスプレイを見る余裕がないような状況下でも、車両が路肩と接触する危険性を検出して運転者に報知する車両用周囲監視装置を提供する。
【０００６】
【課題を解決するための手段】
本発明による車両用周囲監視装置は、自車両の側面を含む車両側方を撮像する撮像手段と、撮像手段により撮像された画像に基づいて道路と平行な方向のエッジを検出するエッジ検出手段と、エッジ検出手段により検出された複数のエッジのうち、非立体障害物のエッジを除外して立体障害物のエッジを抽出する抽出手段と、抽出手段により抽出された立体障害物のエッジと車両との位置関係に基づいて、立体障害物と車両との接触の可能性を乗員に報知する報知手段とを備えることを特徴とする。
【０００７】
【発明の効果】
本発明による車両用周囲監視装置によれば、撮像画像に基づいて検出される複数のエッジのうち、非立体障害物のエッジを除外して立体障害物のエッジを抽出し、抽出された立体障害物のエッジと車両との位置関係に基づいて立体障害物と車両との接触の可能性を乗員に報知するので、車両周囲に歩行者や対向車が存在する場合でも、運転者は安心して路肩に幅寄せをすることができる。
【０００８】
【発明の実施の形態】
図１は、本発明による車両用周囲監視装置を車両１０に適用した一実施の形態の構成を示す図である。一実施の形態における車両用周囲監視装置は、ＣＣＤカメラ１と、コントロールユニット２と、スイッチ装置３と、ディスプレイ４と、スピーカ５とを備える。
【０００９】
ＣＣＤカメラ１は、車両の左側ミラー１１に内蔵されており（図２参照）、車両１０の側面を含む車両側方、特に、左前輪６付近を撮像する。コントロールユニット２は、ＣＣＤカメラ１により撮像された映像に基づいて、路肩などの立体障害物を検知する。この時、検知した立体障害物と自車両１０との間の距離が所定距離以下であれば、ＣＣＤカメラ１による撮像映像をディスプレイ４に表示するとともに、立体障害物と接触する危険性があることをスピーカ５を用いて乗員に報知する。路肩などの立体障害物の検知方法については、後述する。
【００１０】
スイッチ装置３は、例えば、運転席のダッシュボードに設けられ、車両の乗員により操作される。乗員は、スイッチ装置３を操作することにより、ＣＣＤカメラ１により撮像された映像を車内に設置されたディスプレイ４に表示させることができる。ディスプレイ４は、運転者が見やすい位置に設けられており、ＣＣＤカメラ１により撮像された映像を少なくとも表示することができる。車両１０がカーナビゲーション装置を備えている場合には、目的地までの経路情報を含む地図情報をディスプレイ４に表示することもできる。スピーカ５は、コントロールユニット２からの信号に基づいて、立体障害物と車両１０とが接触する可能性があることを運転者に報知する。なお、スピーカ５は、車載オーディオのスピーカと兼用することができる。
【００１１】
図２は、車両１０が路肩１２に幅寄せする状況を、車両１０の後方から見た様子を示す図である。図２に示すように、路肩１２は、車道のアスファルト面１３と同一平面上にはなく、段差となっている。従って、車両１０を路肩１２に寄せすぎると、左前輪６や左後輪７、および、車輪に取り付けられているホイール（不図示）を路肩１２にこすってしまう可能性がある。
【００１２】
図３は、図２に示す状況下において、左側ミラー１１に内蔵されたＣＣＤカメラ１により撮像された映像をディスプレイ４に表示した様子を示す図である。図３に示すように、撮像された映像の右側には、左前輪６および車両１０のボディが映されており、それらの左側には、白線１４の描かれたアスファルト面１３および路肩１２が映されている。
【００１３】
車両１０を路肩１２に幅寄せする場合、運転者は通常、スイッチ装置３を操作することにより、ＣＣＤカメラ１により撮像される映像を車内のディスプレイ４に表示させる。そして、ディスプレイ４に表示された自車両１０と路肩１２との位置関係を把握することにより、車両１０の幅寄せを行う。スイッチ装置３を操作して、ディスプレイ４に撮像映像を表示した場合でも、車両１０の周囲に存在する歩行者等に気を取られて、ディスプレイ４の映像を見る余裕がないこともある。従って、一実施の形態における車両用周囲監視装置では、ＣＣＤカメラ１により撮像された映像に基づいて立体障害物である路肩１２を検出し、検出された路肩１２と自車両１０との距離に基づいて、車両１０が路肩１２に接触する可能性があると判断した場合に、運転者に対する報知を行う。
【００１４】
図４は、自車両１０の近くに存在する障害物の有無、および、スイッチ装置３の操作状態に対する、ディスプレイ４の表示およびスピーカ５による警報の要否についてまとめた図である。後述する障害物検知処理により、自車両１０から近い位置に路肩（障害物）１２が検出された場合には、スイッチ装置３の操作状態に関わらず、ＣＣＤカメラ１により撮像される映像をディスプレイ４に表示するとともに、スピーカ５から警報を発して、運転者に報知する。警報は、ビープ音を用いたり、「障害物に接近しています」などの音声アナウンスを用いることができる。
【００１５】
自車両１０から近い位置に路肩１２が検出されない状況では、スピーカ５を用いた運転者への報知は行われない。この場合、スイッチ装置３の操作状態に応じて、ＣＣＤカメラ１による撮像映像がディスプレイ４に表示される。すなわち、乗員がＣＣＤカメラ１により撮像される映像をディスプレイ４に表示させるために、スイッチ装置３を操作した場合には（スイッチＯＮ）、ＣＣＤカメラ１により撮像される映像がディスプレイ４に表示される。一方、スイッチ装置３が操作されていない場合には（スイッチＯＦＦ）、ディスプレイ４にはＣＣＤカメラ１により撮像される映像が表示されない。
【００１６】
ＣＣＤカメラ１により撮像された映像に基づいて、路肩などの立体障害物を検出し、検出された立体障害物に基づいて、運転者に警報を発する方法について、図５〜図７を用いて説明する。図５は、障害物検知処理の手順を示すフローチャートである。ステップＳ１０から始まる処理は、例えば所定の時間間隔にて、コントロールユニット２により行われる。ステップＳ１０では、ＣＣＤカメラ１により撮像された画像のうち、障害物検知処理を行う障害物検出領域の画像を切り出す。
【００１７】
図６（ａ）は、ＣＣＤカメラ１により撮像された画像中における障害物検出領域Ｃを示す図である。図６（ａ）において、横方向をＸ方向とする。障害物検出領域Ｃは、図６（ａ）に示すように、撮像画像中において、車両１０の左前輪６の横の位置に、Ｘ方向に長い長方形の領域として設定する。なお、障害物検出領域Ｃの位置および大きさは、ＣＣＤカメラ１の取り付け位置および撮像範囲等に基づいて、障害物を検出したい領域に予め設定しておく。
【００１８】
ステップＳ１０において、撮像画像のうち、障害物検出領域Ｃ内の画像を切り出すと、ステップＳ２０に進む。ステップＳ２０では、障害物検出領域Ｃ内の画像において、各画素の輝度値に対してＸ方向の微分演算を実行することにより、Ｘ方向と垂直な縦方向のエッジを検出する。すなわち、路肩１２やガードレールなどの立体障害物は、道路と平行に位置しているために、縦方向エッジを検出することにより、路肩１２などの立体障害物を検出する。図６（ａ）の障害物検出領域Ｃ内の画像に基づいて検出された縦方向エッジを図６（ｂ）に示す。
【００１９】
ステップＳ２０に続くステップＳ３０では、ステップＳ２０で検出された複数の縦方向エッジのうち、ノイズと思われるものを除去する。具体的には、ステップＳ２０において検出された複数の縦方向エッジのうち、エッジが障害物検出領域Ｃの上端から下端まで連続的に存在しているもののみを抽出する。図６（ｂ）に示す縦方向エッジの中からノイズを除去した図を図６（ｃ）に示す。
【００２０】
ステップＳ３０に続くステップＳ４０では、図６（ｄ）に示すように、障害物検出領域Ｃ内の中央の横１ライン（Ａ−Ａ’）上の濃度プロファイルを作成する。図６（ｅ）は、図６（ｄ）に対応した濃度プロファイルを示す図であり、縦軸は、輝度変化の大きさを示す。図６（ｅ）に示すように、道路に平行なペイント表示および障害物の両端（エッジ）において、輝度変化のピークが現れる。
【００２１】
ステップＳ４０に続くステップＳ５０では、ステップＳ４０で検出されたペイント表示および障害物の中から、道路上に描かれているペイント表示を除去して、高さのある立体障害物のみを抽出する。この方法を図７（ａ）および図７（ｂ）を用いて説明する。
【００２２】
図７（ａ）は、図６（ａ）に示す障害物検出領域Ｃ内の撮像画像を示す図である。図７（ａ）には、左から順に▲１▼歩道などの道路脇、▲２▼路肩の上面（水平面）、▲３▼路肩の側面、▲４▼アスファルト（車道）、▲５▼道路の白線、▲６▼アスファルト（車道）が示されている。図７（ｂ）は、図７（ａ）に示す画像に基づいて求められる濃度プロファイルである。図７（ｂ）の上部に示される障害物領域Ｃ内の斜め方向の線分は、上述したステップＳ１０〜ステップＳ３０の処理により求められる縦エッジであり、図７（ａ）に示す各領域▲１▼〜▲６▼の境界線にそれぞれ対応している。また、図７（ｂ）に示す濃度プロファイルは、ステップＳ４０の処理により作成されるものである。図７（ｂ）に示す濃度プロファイルにおける輝度変化のピーク値の大きさは、隣接する各領域間の輝度差に応じて決定される。
【００２３】
ここで、道路（アスファルト）に描かれる白線などのペイント表示と、路肩などの立体障害物とを区別する方法について説明する。上述したように、白線は、路肩などと同様に道路と平行に延びているので、撮像画像中の縦方向エッジを検出するだけでは、立体障害物である路肩と白線とを区別することはできない。しかし、道路上に描かれる白線は、白線の両端（エッジ）がアスファルトに接しており、線の幅はそれほど大きくない（ある程度決められた大きさである）という特徴がある。従って、白線の濃度プロファイルは、白線の両端に対応する輝度変化のピーク値がほぼ等しく、かつ、両ピーク値は近接した位置に現れるという特徴がある。
【００２４】
図７（ｂ）に示す濃度プロファイルでは、輝度変化のピーク値がほぼ等しく、かつ、近接している部分（領域▲４▼と▲５▼の境界、および、領域▲５▼と▲６▼の境界）の線分が道路に描かれた白線であると考えられる。なお、輝度変化のピーク値がほぼ等しい２本の線分が存在する場合でも、両ピーク値が離れた位置に現れる場合には、この２本の線分は白線を構成しないと考えられる。
【００２５】
図５に示すフローチャートのステップＳ５０では、このような方法により、道路上に描かれている白線などのペイント表示を検出して、高さのある立体障害物のみを抽出する。
【００２６】
ステップＳ５０に続くステップＳ６０では、ステップＳ５０で抽出された立体障害物（路肩）と自車両１０との距離が所定の距離以下であるか否かを判定する。まず始めに、ステップＳ５０で抽出された立体障害物を構成する複数のエッジのうち、車両１０に最も近いエッジを検出し、検出したエッジと、上述した障害物検出領域Ｃ内の中央線Ａ−Ａ’との交点Ｂを検出する（図６（ａ），図６（ｅ）参照）。図６（ａ）に示すように、車両１０に最も近いエッジは、立体障害物である路肩の側面と路面（アスファルト）との接線に相当する。次に、障害物検出領域Ｃ内の中央線Ａ−Ａ’の延長線と、自車両１０の側面のラインとの交点Ｂ’を検出する。図６（ａ）に示すように、点Ｂと点Ｂ’との間の距離ｄ１は、障害物検出領域Ｃ内の中央線Ａ−Ａ’上において、車両１０と路肩との間の最短距離に相当する。
【００２７】
コントロールユニット２は、上述した点Ｂおよび点Ｂ’を検出することにより、Ｂ−Ｂ’間の距離ｄ１を算出し、図示しないＲＯＭに予め記憶している接近危険距離ｄ２と距離ｄ１との大きさを比較する。算出した距離ｄ１が距離ｄ２以下であれば、車両１０と路肩との距離が近いと判断し、距離ｄ１が距離ｄ２より大きければ、車両１０は路肩と十分離れていると判断する。
【００２８】
ステップＳ６０において、ｄ１≦ｄ２の関係が成り立つと判定するとステップＳ７０に進み、ｄ１＞ｄ２の関係が成り立つと判定すると、図５に示すフローチャートによる処理を終了する。ステップＳ７０では、ＣＣＤカメラ１により撮像される映像をディスプレイ４に表示するとともに、スピーカ５を用いて車両１０が路肩に接近している旨を運転者に報知する。運転者に対する報知を行うと、図５に示すフローチャートによる処理を終了する。
【００２９】
一実施の形態における車両用周囲監視装置によれば、ＣＣＤカメラ１により撮像された映像に基づいて、道路と平行な方向のエッジ（縦エッジ）を検出し、検出した複数の縦エッジのうち、白線などの路面ペイント表示に対応するエッジを除外して立体障害物のエッジを検出するので、簡易な方法により確実に立体障害物を検出することができる。また、検出した立体障害物のエッジと自車両１０との位置関係に基づいて立体障害物と接触する可能性を乗員に報知するので、乗員が必要とする状況下において、乗員に警告等を行うことができる。すなわち、商店街等のように周囲に歩行者が多い場合や、幹線道路等のように交通量が多い場合でも、路肩と接触する不安を感じることなく、安心して路肩への幅寄せを行うことができる。また、白線と立体障害物とを識別するので、白線のエッジが検出された場合にまで乗員に報知が行われるのを防ぐことができる。
【００３０】
一実施の形態における車両用周囲監視装置では、撮像画像に基づいて検出される縦エッジの輝度変化特性（濃度プロファイル）に基づいて、白線などのペイント表示に対応するエッジを検出して、立体障害物のエッジを抽出するので、複数の縦エッジの中から、立体障害物のエッジを確実に検出することができる。
【００３１】
また、抽出された立体障害物のエッジと車両との距離が所定の距離以下の場合に、スピーカ５による警告音または音声アナウンスにより乗員に報知を行うので、乗員がディスプレイ４を見る余裕がない場合でも、車両１０が立体障害物に接触する可能性があることを確実に乗員に報知することができる。この場合には、ＣＣＤカメラ１により撮像される映像をディスプレイ４に自動的に表示するようにしたので、撮像映像をディスプレイ４に表示するためにスイッチ装置３を操作できない場合や、スイッチ装置３を操作し忘れていた場合でも、車両１０の周囲の状況を認識することができる。
【００３２】
本発明は、上述した一実施の形態に限定されることはない。例えば、上述した一実施の形態では、右ハンドルの車両１０を運転する場合には、車両の左側が運転者にとって死角になるために、左側のドアミラー１１にＣＣＤカメラ１を内蔵させたが、左ハンドルの車両の場合には車両の右側が死角となるので、右側のドアミラーにＣＣＤカメラ１を内蔵させることができる。また、ＣＣＤカメラ１は、ドアミラー１１に内蔵させたが、車両の死角となる位置が撮像できれば、他の位置に取り付けてもよい。
【００３３】
上述した一実施の形態では、立体障害物として路肩１２を検出する場合について説明したが、上述した方法により、壁やガードレールなどの立体障害物の他に、側溝なども検出することができることは言うまでもない。従って、側溝が存在する場所に幅寄せする場合には、一実施の形態における車両用周囲監視装置を用いることにより、側溝に脱輪することを防ぐことができる。また、立体障害物と区別する非立体障害物として、道路上に描かれたペイント表示（白線）を一例に挙げたが、ペイント表示に限定されることはない。
【００３４】
上述した一実施の形態では、撮像装置としてＣＣＤカメラ１を用いたが、ＣＭＯＳ型撮像素子を用いたＣＭＯＳカメラを用いてもよいし、その他の撮像素子を用いるカメラを用いることもできる。また、車両が立体障害物と接触する可能性があることを乗員に報知する際に、ディスプレイ４に「注意！」などの文字表示を行うこともできる。さらに、障害物検出領域Ｃも図６（ａ）に示す形状および大きさに限定されることはない。
【００３５】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ＣＣＤカメラ１が撮影手段を、コントロールユニット２がエッジ検出手段、抽出手段、および、判定手段を、スピーカ５が報知手段を、ディスプレイ４が表示手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明による車両用周囲監視装置を車両に適用した一実施の形態の構成を示す図
【図２】車両が路肩に幅寄せする状況を、車両の後方から見た様子を示す図
【図３】図２に示す状況下において、ＣＣＤカメラにより撮像されてディスプレイに表示される映像を示す図
【図４】自車両の近くに存在する障害物の有無、および、スイッチ装置の操作状況に対する、ディスプレイの表示およびスピーカによる警報の要否についてまとめた図
【図５】障害物検知処理の手順を示すフローチャート
【図６】図６（ａ）〜図６（ｅ）は、ＣＣＤカメラにより撮像された映像に基づいて路肩などの立体障害物を検出する方法を説明するための図
【図７】図７（ａ）は、障害物検出領域Ｃ内の撮像映像を示す図、図７（ｂ）は、立体障害物と白線とを区別する方法を説明するための図
【符号の説明】
１…ＣＣＤカメラ、２…コントロールユニット、３…スイッチ装置、４…ディスプレイ、５…スピーカ、６…左前輪、７…左後輪、１０…車両、１１…左側ドアミラー、１２…路肩、１３…車道のアスファルト面、１４…白線
【図１】
2004302609.tif 000003
【図２】
2004302609.tif 000004
【図３】
2004302609.tif 000005
【図４】
2004302609.tif 000006
【図５】
2004302609.tif 000007
【図６】
2004302609.tif 000008
【図７】
2004302609.tif 000009