(57)【要約】  【課題】車両を停止させる際の目標となる目標物と自車両との平行具合が運転者に容易に把握できるようにする。  【解決手段】ＣＣＤカメラ１により撮影された映像に基づいて、白線などの目標物を検出する。ディスプレイ３には、ＣＣＤカメラ１により撮影された映像とともに、検出された目標物の位置を基準として、自車両と平行なマーカー線を重畳して表示する。これにより、自車両と白線とが平行であれば、白線とマーカー線とは重ねて表示されるようになり、自車両と白線とが平行でなければ、白線とマーカー線とは重ねて表示されない。  【選択図】図１
2005079966.tif 000002
【特許請求の範囲】
【請求項１】
車両の側方を撮影する撮影手段と、
少なくとも前記撮影手段により撮影された映像を表示する表示手段と、
前記撮影手段により撮影された映像に基づいて、車両を停止させる際の目標となるライン状の目標物を検出する目標物検出手段と、
前記目標物検出手段により検出された目標物の位置を基準として、前記表示手段により表示される映像上に、自車両と平行なマーカー線を重畳して描写するマーカー線描写手段とを備えることを特徴とする車両用周囲監視装置。
【請求項２】
請求項１に記載の車両用周囲監視装置において、
前記撮影手段は、ドアミラーに設けられて、車両の前輪付近を撮影し、
前記目標物検出手段は、前記撮影手段により撮影された映像に基づいて、縦方向のエッジを検出することにより、前記ライン状の目標物を検出することを特徴とする車両用周囲監視装置。
【請求項３】
請求項１または２に記載の車両用周囲監視装置において、
前記表示手段の異なる位置にそれぞれ表示される、自車両と平行なマーカー線を複数格納する格納手段と、
前記格納手段に格納されている複数のマーカー線の中から、前記目標物検出手段により検出された目標物の位置に最も近いマーカー線を選択する選択手段とをさらに備え、
前記マーカー線描写手段は、前記選択手段により選択されたマーカー線を描写することを特徴とする車両用周囲監視装置。
【請求項４】
請求項１〜３のいずれかに記載の車両用周囲監視装置において、
前記目標物検出手段は、自車両に最も近い目標物を検出し、
前記マーカー線描写手段は、前記目標物検出手段により検出された自車両に最も近い目標物の位置を基準として、前記マーカー線を描写することを特徴とする車両用周囲監視装置。
【請求項５】
請求項１〜４のいずれかに記載の車両用周囲監視装置において、
車両の速度を検出する車速検出手段をさらに備え、
前記マーカー線描写手段は、前記車速検出手段により検出された車速が所定の速度以下の場合に、前記マーカー線を描写することを特徴とする車両用周囲監視装置。
【請求項６】
請求項１〜５のいずれかに記載の車両用周囲監視装置において、
前記表示手段は、前記マーカー線を強調表示することを特徴とする車両用周囲監視装置。
【請求項７】
請求項１〜６のいずれかに記載の車両用周囲監視装置において、
前記マーカー線は、点線、破線、鎖線、波線、太線のうちの少なくともいずれか１つであることを特徴とする車両用周囲監視装置。
【請求項８】
車両の側方を撮影し、
前記撮影された映像に基づいて、車両を停止させる際の目標となるライン状の目標物を検出し、
前記検出された目標物の位置を基準として、自車両と平行なマーカー線を前記撮影された映像に重畳させて表示手段に描写することを特徴とする車両用周囲表示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラを用いて自車両の周囲を監視する装置および自車両の周囲の映像を表示する方法に関し、特に、運転者の死角となる車両周辺の情報を車内のディスプレイに表示して、運転操作を補助する車両用周囲監視装置および車両用周囲表示方法に関する。
【背景技術】
【０００２】
運転者の死角となる車両周辺を車載カメラで撮影し、撮影された画像に運転操作の助けとなる情報を重ねて表示する装置が知られている（特許文献１参照）。この装置では、車両の最外側ラインを地面に垂直に下ろし、そのラインを車両前後方向に延長したラインを撮影画像上に重ねて表示することにより、目標物に対して自車両を幅寄せすることを容易にしている。
【０００３】
【特許文献１】特開２０００−１７２９９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の装置では、運転者の死角となる位置を撮影するため、カメラの光軸が車両直進方向と一致せず、自車両と白線などの目標物とが実際に平行になっていても、画面上では平行に表示されず、自車両との平行具合が分かりにくいという問題があった。
【課題を解決するための手段】
【０００５】
本発明による車両用周囲監視装置および車両用周囲表示方法は、撮影手段により撮影された映像に基づいて、車両を停止させる際の目標となるライン状の目標物を検出し、検出した目標物の位置を基準として、自車両と平行なマーカー線を撮影された映像上に重畳して表示することを特徴とする。
【発明の効果】
【０００６】
本発明による車両用周囲監視装置および車両用周囲表示方法によれば、検出したライン状の目標物の位置を基準として、自車両と平行なマーカー線を重畳して表示するので、自車両と白線などの目標物との位置関係に関わらず、目標物と自車両との平行具合を容易に確認することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、本発明による車両用周囲監視装置を車両１０に適用した一実施の形態の構成を示す図である。一実施の形態における車両用周囲監視装置は、ＣＣＤカメラ１と、コントロールユニット２と、ディスプレイ３と、車速センサ４とを備える。
【０００８】
ＣＣＤカメラ１は、車両の左側ドアミラー１１に内蔵されており（図２参照）、車両１０の側面の一部を含む車両側方、特に、左前輪６付近を撮影する。コントロールユニット２は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭを備え、ＣＣＤカメラ１により撮像された映像に基づいて、路側の縁石や白線を検出し、自車両と平行なマーカー線を撮影映像に重畳させてディスプレイ３に表示させる。路側の縁石や白線を検出する方法、および、マーカー線を撮影映像に重畳させる方法については、後述する。
【０００９】
ディスプレイ３は、運転者が見やすい位置に設けられており、ＣＣＤカメラ１により撮像された映像を少なくとも表示することができる。車両１０がカーナビゲーション装置を備えている場合には、目的地までの経路情報を含む地図情報をディスプレイ３に表示することもできる。車速センサ４は、自車両の速度を検出し、検出した車速信号をコントロールユニット２に出力する。
【００１０】
図２は、車両１０が路側に存在する縁石１３に対して幅寄せする状況を、車両１０の後方から見た様子を示す図である。図２に示すように、ＣＣＤカメラ１は、右ハンドル車両の運転者にとって、死角となる位置を撮影する。
【００１１】
図３は、図２に示す状況下において、左側ドアミラー１１に内蔵されたＣＣＤカメラ１により撮像された映像をディスプレイ３に表示した図である。図３に示すように、ディスプレイ３に表示される画面の右側には、左前輪６および車両１０のボディの一部が映されており、それらの左側には、白線１４の描かれたアスファルト面１２および縁石１３が映されている。
【００１２】
車両１０を路側に幅寄せする場合、運転者は、ＣＣＤカメラ１により撮像されて、ディスプレイ３に表示される映像を見て、縁石１３または白線１４を基準として、幅寄せを行う。この時、図３に示すように、ＣＣＤカメラ１は、左前輪６付近を撮像するように光軸が調整されているので、自車両１０と縁石１３または白線１４との平行具合は分かりにくい。この点について、図４および図５を用いて、詳しく説明する。
【００１３】
図４は、車両１０が縁石１３および白線１４と平行に停車している様子を、車両１０の上方から見た図である。図５は、図４に示す状況下において、ＣＣＤカメラ１により撮影された映像をディスプレイ３に表示した画面を示す図である。図５に示すように、縁石１３に沿って延びる直線Ｌ１と、自車両と平行な直線Ｌ２との間には、角度θ1が存在する。すなわち、縁石１３と自車両１０とが平行であっても、ＣＣＤカメラ１で撮影された映像上では両者は平行に映らない。
【００１４】
図６は、上述した特許文献１に記載されているように、ＣＣＤカメラ１で撮影された映像上に、自車両と平行なマーカー線１５を重畳させてディスプレイ３に表示した様子を示す図である。このマーカー線１５は、自車両１０に対して固定された位置、すなわち、画面上において予め定められた位置に表示される線であるため、縁石１３に沿って延びる直線Ｌ１との間には、角度θ2が存在する。すなわち、この場合にも、自車両１０と縁石１３または白線１４との平行具合を確認することは容易ではない。
【００１５】
図７は、駐車場に描かれている白線で区切られる駐車枠内に、後退しながら車両１０を駐車させる様子を示す図である。運転者は、図７に示すＡの位置から駐車するための動作を開始し、図示しないステアリングを操舵しながら、Ｂの位置に車両１０を停止させる。この時、運転者は、図８に示すような、ＣＣＤカメラ１により撮影されてディスプレイ３に表示される映像を見て、駐車枠線２０と平行に車両１０を停車させる。しかし、上述したように、自車両１０と駐車枠線２０との平行具合は把握しにくい。
【００１６】
一実施の形態における車両用周囲監視装置では、ＣＣＤカメラ１により撮影される映像に基づいて、目標物（図７に示す例では、駐車枠線２０）を検出し、検出した目標物の特徴点に基づいて、自車両１０と平行な直線（マーカー線）を撮影された映像上に重畳させて表示する。
【００１７】
図９は、一実施の形態における車両用周囲監視装置によって、検出した目標物の特徴点に基づいて描かれた、自車両１０と平行な直線（マーカー線）３０ａ，３０ｂを示す図である。この直線３０ａ，３０ｂを描く方法を簡単に説明する。まず、自車両１０の左前輪６と路面１２との接点Ｃを通り、画面の水平軸に平行な線Ｅ1−Ｅ2を引き、この線Ｅ1−Ｅ2と駐車枠線２０との交点Ｄ1，Ｄ2を検出する。この交点Ｄ1，Ｄ2を通り、自車両１０と平行な線が直線３０ａおよび３０ｂとなる。この場合、図１０に示すように、自車両１０が駐車枠線２０と平行であれば、直線３０ａ，３０ｂは、白線２０と重なる。
【００１８】
一方、図１１に示すように、自車両１０と駐車枠線２０とが平行でない場合に、同様の方法により画面上に描かれた直線３０ａ，３０ｂを図１２に示す。この場合には、直線３０ａ，３０ｂは、白線２０と重ならない。従って、運転者は、直線３０ａ，３０ｂと、白線２０との位置関係を見ることにより、自車両１０が駐車枠線２０と平行であるか否かが一目で把握することができる。
【００１９】
以下では、ＣＣＤカメラ１により撮影された映像に基づいて、駐車枠線２０を検出して、自車両と平行なマーカー線を描く方法を、図１３に示すフローチャート、および、図１４，図１５を用いて説明する。ステップＳ１０から始まる処理は、例えば、車両の起動により始まり、コントロールユニット２により行われる。
【００２０】
ステップＳ１０では、車速センサ４から入力される車速信号に基づいて、自車両１０の速度Ｖが所定のしきい値Ｖh以下であるか否かを判定する。しきい値Ｖhは、例えば、１５ｋｍ／ｈとする。車速Ｖが所定のしきい値Ｖhより高いと判定すると、ステップＳ１０で待機し、所定のしきい値Ｖh以下であると判定すると、ステップＳ２０に進む。
【００２１】
ステップＳ２０では、ＣＣＤカメラ１により撮影された映像を取り込んで、ステップＳ３０に進む。ステップＳ３０では、ステップＳ２０で取り込んだ映像に基づいて、白線や縁石などの目標物を検出するための領域を設定する。図１４（ａ）は、ＣＣＤカメラ１により撮影された映像と、目標物を検出するための領域４０とを示す図である。ここでは、ディスプレイ３に表示される画面の横軸（水平軸）をｈ軸、縦軸（垂直軸）をｖ軸と定義する。
【００２２】
領域４０は、自車両１０の左前輪６と地面１２とが接する点Ｃを通り、ｈ軸に平行な線Ｅ1−Ｅ2を中心とする所定の大きさの矩形領域とする。なお、撮影映像上において、自車両１０の左前輪６と地面１２とが接する点Ｃは、ＣＣＤカメラ１の設置位置および撮影方向により定まる点である。目標物を検出するための領域４０を設定すると、ステップＳ４０に進む。
【００２３】
車両を駐車する際の目安となる白線や縁石は、ＣＣＤカメラ１で撮影された映像上では縦方向のエッジ（以下、縦エッジと呼ぶ）を有する。ここでは、前述した目標物を検出するための領域４０内を上下方向に伸びているエッジのことを縦方向のエッジと呼ぶ。従って、ステップＳ４０では、ステップＳ３０で設定された検出領域４０内に存在する縦エッジを検出する。具体的には、検出領域４０内の画像の輝度値に対して、ｈ軸方向の微分演算を行うことにより、縦エッジを検出する。検出領域４０内で検出された縦エッジを図１４（ｂ）に示す。縦エッジを検出するとステップＳ５０に進む。
【００２４】
ステップＳ５０では、ステップＳ４０で検出した縦エッジの中から、ノイズとなるエッジを除去する。具体的には、検出された縦エッジのうち、検出領域４０の上端から下端まで連続して伸びているエッジを検出する。図１４（ｃ）は、ノイズとなるエッジを除去した後の検出領域４０を示す図である。
【００２５】
ステップＳ６０では、ステップＳ５０で検出された縦エッジと、水平ラインＥ1−Ｅ2との交点Ｄ1，Ｄ2を検出する（図１４（ｃ）参照）。交点Ｄ1，Ｄ2を検出すると、ステップＳ７０に進む。ステップＳ７０では、コントロールユニット２のＲＯＭ（不図示）に複数格納されている自車両と平行なマーカー線のうち、目標物に最も近いマーカー線を選択する。
【００２６】
目標物に最も近いマーカー線を選択する方法について図１５を参照しながら説明する。図１５は、ＣＣＤカメラ１により撮影された映像とともに、コントロールユニット２のＲＯＭに格納されている複数のマーカー線を表示した図である。ただし、ディスプレイ３には、図１５に示すように全てのマーカー線が表示されることはない。ここでは、コントロールユニット２のＲＯＭに、自車両１０と平行なマーカー線がｎ本（ｎは自然数）格納されているものとする。このｎ本のマーカー線は、次式（１）により表されるものとする。
ｖ＝ｆn（ｈ）  （ｎ＝１，２，３，…）                …（１）
【００２７】
また、撮影映像上において、自車両１０の左前輪６と地面１２とが接する点Ｃの座標を予め求めておき、ＲＯＭに記憶させておく。この点Ｃのｖ座標の値がａであるとすると、点Ｃを通り、ｈ軸と水平なラインＥ1−Ｅ2を表す式は、次式（２）となる。
ｖ＝ａ                    …（２）
【００２８】
従って、ｎ本のマーカー線と、水平ラインＥ1−Ｅ2との交点は、式（１）および（２）より、次式（３）の方程式を解くことにより求められる。
ａ＝ｆn（ｈ）  （ｎ＝１，２，３，…）                …（３）
式（３）の解ｈを次式（４）とする。
ｈ＝ｈn        （ｎ＝１，２，３，…）                …（４）
【００２９】
ここで、ステップＳ６０において検出した交点Ｄ1の座標を（ｈD，ｖD）とすると、交点Ｄ1と、式（４）で表されるｎ個の交点とのｈ軸方向の距離ｄnは、次式（５）で表される。
ｄn＝｜ｈD−ｈn｜    （ｎ＝１，２，３，…）            …（５）
【００３０】
従って、式（５）で表される距離ｄnが最小となるｎを求めることにより、目標物に最も近いマーカー線を選択することができる。図１５に示す例では、ｎ＝２のマーカー線が目標物に最も近いマーカー線となる。目標物に最も近いマーカー線を選択すると、ステップＳ８０に進む。ステップＳ８０では、ステップＳ７０で選択したマーカー線をＣＣＤカメラ１により撮影された映像上に重ねて描写する。以後、ステップＳ１０からステップＳ８０までの処理が繰り返し行われる。
【００３１】
なお、上述した説明では、交点Ｄ1に対して最も近いマーカー線を選択・描写する方法について説明したが、交点Ｄ2に最も近いマーカー線についても同様の方法により選択・描写することができる。
【００３２】
一実施の形態における車両用周囲監視装置によれば、ＣＣＤカメラ１により撮影された映像に基づいて、車両を停止させる際の目標となる目標物（白線や縁石）を検出し、検出した目標物の位置を基準として、自車両と平行なマーカー線を撮影映像に重畳させてディスプレイ３に表示する。これにより、自車両と白線などの目標物との位置関係に関わらず、両者の平行具合を容易に把握することができる。
【００３３】
また、運転者は、ドアミラーや、自車両後方を監視するカメラにより撮影された映像を見て、車両を駐車枠に入れて停車させた後に、一実施の形態における車両用周囲監視装置によって、ディスプレイ３に表示されるマーカー線を見て、駐車枠と自車両との平行具合を確認することもできる。
【００３４】
また、一実施の形態における車両用周囲監視装置によれば、自車両の速度Ｖが所定の速度Ｖh以下の場合に、マーカー線をディスプレイ３に表示するようにしたので、通常の車両走行時のように、マーカー線の表示が不必要な場合にマーカー線が表示されることを防ぐことができる。
【００３５】
本発明は、上述した一実施の形態に限定されることはない。例えば、ディスプレイ３に重畳して描写するマーカー線を１本だけにすることもできる。すなわち、図１３に示すフローチャートでは、撮影された映像に基づいて、縦エッジを検出し、検出した縦エッジに基づいて、自車両と平行なマーカー線を描写しているが、この場合、複数の縦エッジが検出された場合には、複数のマーカー線が描かれることになる。
【００３６】
図１６（ａ）は、白線１４以外に縁石１３が存在する場所で、映像上の全ての縦エッジを検出し、検出した全ての縦エッジに対して、マーカー線を描いた様子を示す図である。この場合、マーカー線が複数描かれるため、逆に映像が見にくくなる。図１６（ｂ）は、検出された縦エッジのうち、自車両と最も近い縦エッジを基準として、マーカー線を描いた様子を示す図である。この場合、複数のマーカー線が描かれるという煩わしさを防ぐことができる。
【００３７】
本発明による車両用周囲監視装置を、予め用意されている固定したマーカー線をディスプレイ３に描く機能を備えたシステムにも適用することができる。この固定したマーカー線とは、図６に示すマーカー線１５のように、画面上の決められた位置に表示されるラインのことである。図１７（ａ）は、固定したマーカー線と、一実施の形態における車両用周囲監視装置によって描かれるマーカー線とを共にディスプレイ３上に表示した図である。この場合、どちらが一実施の形態における車両用周囲監視装置によって描かれたマーカー線であるか区別することができなくなる。従って、この場合には、図１７（ｂ）に示すように、一実施の形態における車両用周囲監視装置により描くマーカー線を点線で描くことにより、実線で描かれる固定したマーカー線と区別することができる。
【００３８】
マーカー線を自車両と目標物との間隔を知る目安として利用する場合には、ディスプレイ３上には、固定したマーカー線のみを表示した方が分かりやすい。従って、自車両と目標物との平行度合いを確認するためのマーカー線を表示するモードと、間隔を把握するために固定したマーカー線を表示するモードとを切り替えるためスイッチを設け、このスイッチを操作することにより、いずれか一方のマーカー線のみを表示するようにしてもよい。この場合、マーカー線を全く表示しないモードを設けてもよい。
【００３９】
マーカー線は、図１６（ｂ）に示す実線や、図１７（ｂ）に示す点線に限られることはなく、破線や鎖線、波線、太線などの線を用いてもよい。また、マーカー線をディスプレイ３上で表示される映像の中で、マーカー線以外の映像よりも強調させるように表示すれば（例えば、赤色）、乗員の視認性を向上させることができる。
【００４０】
車両の前輪付近を撮影するカメラは、ＣＣＤカメラに限定されることはなく、ＣＭＯＳ撮像素子を有するカメラでもよいし、他の種類のカメラでもよい。また、左ハンドル車両のように、運転者にとって、車両の右側が死角となる場合には、ＣＣＤカメラ１を右側のドアミラーに取り付けて、右前輪付近を撮影するようにすればよい。すなわち、カメラの取り付け位置や撮影範囲により、本発明が限定されることはない。
【００４１】
運転者が車両を停止させる際の目標とする目標物も、上述した白線や縁石に限定されることはなく、駐車場の側壁などでもよい。すなわち、ディスプレイ３にマーカー線を描くことにより、自車両と平行具合が把握できるものであればよい。
【００４２】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、ＣＣＤカメラ１が撮影手段を、コントロールユニット２が目標物検出手段およびマーカー線描写手段を、ディスプレイ３が表示手段を、車速センサ４が車速検出手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【００４３】
【図１】本発明による車両用周囲監視装置を車両に適用した一実施の形態の構成を示す図
【図２】車両が縁石に幅寄せする状況を、車両の後方から見た様子を示す図
【図３】図２に示す状況下において、ＣＣＤカメラにより撮像されてディスプレイに表示される映像を示す図
【図４】車両が縁石および白線と平行に停車している様子を、車両の上方から見た図
【図５】図４に示す状況下において、ＣＣＤカメラにより撮影された映像をディスプレイに表示した画面を示す図であって、縁石に沿って延びる直線Ｌ１と、自車両に平行な直線Ｌとは映像上では平行にならないことを説明するための図
【図６】従来技術の方法により描かれたマーカー線と、縁石に沿って延びる直線Ｌ１とが映像上では平行にならないことを説明するための図
【図７】駐車場に描かれた線で区切られる駐車枠内に、後退しながら車両を駐車させる様子を示す図
【図８】図７に示す状況下において、ＣＣＤカメラにより撮影されてディスプレイに表示される映像を示す図
【図９】車両が駐車枠線と平行に止められた場合において、検出した目標物の特徴点に基づいて描かれた、自車両と平行な直線（マーカー線）３０ａ，３０ｂを示す図
【図１０】駐車枠線と平行に止められた車両を示す図
【図１１】駐車枠線と平行に止まっていない車両を示す図
【図１２】図１１に示す状況において、検出した目標物の特徴点に基づいて描かれた、自車両と平行な直線（マーカー線）３０ａ，３０ｂを示す図
【図１３】一実施の形態における車両用周囲監視装置により行われる処理内容を示すフローチャート
【図１４】図１４（ａ）は、撮影映像上に設定される検出領域４０を示す図、図１４（ｂ）は、検出領域内で検出された縦エッジを示す図、図１４（ｃ）は、検出された縦エッジの中から、ノイズとなる縦エッジを取り除いた図
【図１５】自車両と平行なｎ本のマーカー線を描いた図
【図１６】図１６（ａ）は複数のマーカー線を表示した図、図１６（ｂ）は、１本のマーカー線のみを表示した図
【図１７】図１７（ａ）は、固定されたマーカー線とともに、検出された目標物と平行なマーカー線を描いた様子を示す図、図１７（ｂ）は、固定されたマーカー線を実線で描くとともに、検出された目標物と平行なマーカー線を点線で描いた様子を示す図
【符号の説明】
【００４４】
１…ＣＣＤカメラ
２…コントロールユニット
３…ディスプレイ
４…車速センサ
６…左前輪
１０…車両
１１…左側ミラー
１２…車道のアスファルト面
１３…縁石
１４…白線
１５…マーカー線
２０…駐車枠線
３０ａ，３０ｂ…マーカー線
４０…検出領域
【図１】
2005079966.tif 000003
【図２】
2005079966.tif 000004
【図３】
2005079966.tif 000005
【図４】
2005079966.tif 000006
【図５】
2005079966.tif 000007
【図６】
2005079966.tif 000008
【図７】
2005079966.tif 000009
【図８】
2005079966.tif 000010
【図９】
2005079966.tif 000011
【図１０】
2005079966.tif 000012
【図１１】
2005079966.tif 000013
【図１２】
2005079966.tif 000014
【図１３】
2005079966.tif 000015
【図１４】
2005079966.tif 000016
【図１５】
2005079966.tif 000017
【図１６】
2005079966.tif 000018
【図１７】
2005079966.tif 000019