(57)【要約】【課題】  この発明は、障害物検知が容易に行えるようになる運転支援システムを提供することを目的とする。【解決手段】  車両に搭載された表示器、車両に搭載された車両周辺の画像を撮像する撮像装置、撮像装置によって撮像された時間差のある２つの画像それぞれから、鳥瞰図画像を生成する鳥瞰図画像生成手段、鳥瞰図画像生成手段によって生成された２つの鳥瞰図画像間の路面上の２組以上の対応点を抽出する対応点抽出手段、対応点抽出手段によって抽出された路面上の２組以上の対応点に基づいて、両鳥瞰図画像間の対応点どうしが一致するように一方の鳥瞰図画像の座標を変換する座標変換手段、座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとることにより、高さのある障害物領域を抽出する障害物領域抽出手段を備えている。【選択図】  図２
2006268076.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された表示器、
車両に搭載された車両周辺の画像を撮像する撮像装置、
撮像装置によって撮像された時間差のある２つの画像それぞれから、鳥瞰図画像を生成する鳥瞰図画像生成手段、
鳥瞰図画像生成手段によって生成された２つの鳥瞰図画像間の路面上の２組以上の対応点を抽出する対応点抽出手段、
対応点抽出手段によって抽出された路面上の２組以上の対応点に基づいて、両鳥瞰図画像間の対応点どうしが一致するように一方の鳥瞰図画像の座標を変換する座標変換手段、  座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとることにより、高さのある障害物領域を抽出する障害物領域抽出手段、ならびに
２つの鳥瞰図画像のうち一方の鳥瞰図画像を表示器に表示するとともに、その鳥瞰図画像のうち障害物領域抽出手段によって抽出された障害物領域を他の部分と識別できるように表示器に表示させる表示手段、
を備えていることを特徴とする運転支援システム。
【請求項２】
障害物領域抽出手段によって抽出された各障害物領域毎に、車両からの距離を算出する距離算出手段を備えており、表示手段は距離算出手段によって算出された各障害物領域に対応する距離を表示させる手段を備えていることを特徴とする請求項１に記載の運転支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、運転支援システムに関する。
【背景技術】
【０００２】
自動車などの運転手にとって、バックするときには、死角が生じるため後方確認が難しくなる。そこで、運転手の死角となりやすい車両の後方を監視する車載カメラを装備し、その撮像画像をカーナビゲーション等の画面に表示するシステムが既に開発されている。      
【０００３】
しかしながら、広範囲を映し出すために広角レンズを用いると映像にレンズ歪みが生じる。さらに、カメラから離れるほど通常のレンズより小さく映り、撮像画像からでは車両後方の距離やスペースを把握しにくくなる。
【０００４】
そこで、カメラの映像を単に表示するのではなく、画像処理技術を利用して、より人間に優しい映像を見せる研究がなされている。その１つに、撮影した画像を座標変換して、地面の上方から眺めたような鳥瞰図画像を生成して、表示するものがある（特開平１０−２１１８４９号公報、特開２００２−８７１６０号公報参照）。上方からの鳥瞰図を表示することによって、運転手は車両後方の距離やスペースを把握し易くなる。
【０００５】
また、様々に画像処理技術やセンサを用いて、撮像画像中の障害物を検知し、障害物に車両が衝突する危険度を判定して、警報を出したり、障害物と車両との間の距離を表示したり、その距離に応じて車両の速度を落としたりすることにより、安全を確保する技術も考案されている。
【０００６】
このような技術として、車両に搭載された２台のカメラによって撮像されたステレオ画像に基づいて障害物を検知したり、障害物と車両との間の距離を検出したりするものがある。また、特開２００１−１８７５５３号公報には、舵角センサと車輪速センサとによって獲得した車両移動情報と、車両移動前後のバックカメラによる撮像画像とから障害物を特定し、車両から障害物までの距離を算出し、障害物領域と障害物までの距離を明示した鳥瞰図画像をモニタに表示させる技術が開示されている。
【０００７】
ところで、鳥瞰図画像を表示した場合、地面の上方から眺めた見やすい画像を運転手に提示することができるが、本来高さを持つ障害物が平面に投影されるため、障害物の高さ情報を失い、障害物を知覚しにくくなるという欠点がある。
【０００８】
特開２００１−１８７５５３号公報に開示された技術では、障害物を検知できるとともに車両から障害物までの距離を算出できるが、舵角センサと車輪速センサとから正確な車両移動情報を求める必要があり、厳しい精度が要求される。また、異なる時点で撮像された原画像間で差分を取る必要があるため、両画像間のスケール差異を解消しなければならず、その計算には工夫が必要となる。
【特許文献１】特開平１０−２１１８４９号公報
【特許文献２】特開２００２−８７１６０号公報
【特許文献３】特開２００１−１８７５５３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明は、障害物検知が容易に行えるようになる運転支援システムを提供することを目的とする。
【００１０】
また、この発明は、障害物検知と車両から障害物までの距離の算出が容易に行えるようになる運転支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
請求項１に記載の発明は、車両に搭載された表示器、車両に搭載された車両周辺の画像を撮像する撮像装置、撮像装置によって撮像された時間差のある２つの画像それぞれから、鳥瞰図画像を生成する鳥瞰図画像生成手段、鳥瞰図画像生成手段によって生成された２つの鳥瞰図画像間の路面上の２組以上の対応点を抽出する対応点抽出手段、対応点抽出手段によって抽出された路面上の２組以上の対応点に基づいて、両鳥瞰図画像間の対応点どうしが一致するように一方の鳥瞰図画像の座標を変換する座標変換手段、座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとることにより、高さのある障害物領域を抽出する障害物領域抽出手段、ならびに２つの鳥瞰図画像のうち一方の鳥瞰図画像を表示器に表示するとともに、その鳥瞰図画像のうち障害物領域抽出手段によって抽出された障害物領域を他の部分と識別できるように表示器に表示させる表示手段を備えていることを特徴とする。
【００１２】
請求項２に記載の発明は、請求項１に記載の発明において、障害物領域抽出手段によって抽出された各障害物領域毎に、車両からの距離を算出する距離算出手段を備えており、表示手段は距離算出手段によって算出された各障害物領域に対応する距離を表示させる手段を備えていることを特徴とする。
【発明の効果】
【００１３】
この発明によれば、障害物検知が容易に行えるようになる。また、この発明によれば、車両から離れた領域においても高い視認性が得られるようになる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して、この発明の実施例について説明する。
【実施例１】
【００１５】
〔１〕運転支援システムの構成についての説明
図１は、自動車に設けられた運転支援システムの構成を示している。
【００１６】
運転支援システムは、車両の後部に後方斜め下向きに配置されたカメラ（撮像装置）１と、車両内に設けられかつカメラ１によって撮像された画像から鳥瞰図画像等を生成するための画像処理ユニット２と、車両内のダッシュボードに配置されかつ画像処理ユニット２によって生成された鳥瞰図画像等を表示するモニタ（表示器）３とを備えている。
【００１７】
カメラ１としては、例えば、ＣＣＤカメラが用いられる。画像処理ユニット２としては、例えば、マイクロコンピュータが用いられる。モニタ３としては、例えば、ナビゲーションシステムのモニタが用いられる。
【００１８】
水平面とカメラ１の光軸とのなす角は、図１にαで表される角度と、βで表される角度との２種類がある。αは、一般的には、見下ろし角または俯角αと呼ばれている。この明細書では、角度βを水平面に対するカメラ１の傾き角度θということにする。
【００１９】
〔２〕画像処理ユニット２による処理手順の説明
図２は、画像処理ユニット２による処理手順を示している。
カメラ１の地面からの高さｈ、水平面に対するカメラ１の傾き角度θ、カメラ１のレンズ焦点距離ｆ等のパラメータは、予め設定されているものとする。
【００２０】
まず、カメラ１の撮像画像（第１画像：時点ｔの画像）を読み込む（ステップＳ１）。この後、車両が移動すると（ステップＳ２でＹＥＳ）、カメラ１の撮像画像（第２画像：時点ｔ＋１の画像）を読み込む（ステップＳ３）。
【００２１】
第１画像を第１鳥瞰図画像に変換するとともに、第２画像を第２鳥瞰図画像に変換する（ステップＳ４）。
【００２２】
次に、第１鳥瞰図画像と第２鳥瞰図画像との間のマッチングを行ない、第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２組の対応点を抽出する（ステップＳ５）。
【００２３】
第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２組の対応点に基づいて、両画像間の２組の対応点どうしが一致するように、両画像のうちの一方の画像の座標を変換する（ステップＳ６）。この例では、第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２組の対応点どうしが一致するように、第１鳥瞰図画像の座標を変換する。
【００２４】
座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとることにより、高さのある障害物領域を抽出する（ステップＳ７）。この例では、座標変換された第１の鳥瞰図画像と第２の鳥瞰図画像との差分をとることにより、高さのある障害物領域を抽出する。
【００２５】
次に、車両から、ステップＳ７で抽出した各障害物領域までの距離を計算する（ステップＳ８）。そして、第２の鳥瞰図画像に、その画像内の各障害物領域を他の部分から識別できるような表示と、各障害物領域の車両からの距離データとを付加した画像を表示器に表示させる（ステップＳ９）。
【００２６】
以下、ステップＳ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８およびＳ９の処理について、詳しく説明する。
【００２７】
〔３〕ステップＳ４の処理についての説明
ステップＳ４では、原画像を路面上に透視投影することによって、鳥瞰図画像を生成する。以下、この鳥瞰図画像の生成方法について説明する。
【００２８】
図３は、カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示している。
【００２９】
カメラ座標系ＸＹＺでは、カメラの光学中心を原点Ｏとして、光軸方向にＺ軸が、Ｚ軸に直交しかつ地面に平行な方向にＸ軸が、Ｚ軸およびＸ軸に直交する方向にＹ軸がとられている。撮像面Ｓの座標系ＸbuＹbuでは、撮像面Ｓの中心に原点をとり、撮像面Ｓの横方向にＸbu軸が、撮像面Ｓの縦方向にＹbuが取られている。
【００３０】
世界座標系Ｘw Ｙw Ｚw では、カメラ座標系ＸＹＺの原点Ｏを通る垂線と地面との交点を原点Ｏw とし、地面と垂直な方向にＹw 軸が、カメラ座標系ＸＹＺのＸ軸と平行な方向にＸw 軸が、Ｘw 軸およびＹw 軸に直交する方向にＺw 軸がとられている。
【００３１】
世界座標系Ｘw Ｙw Ｚw とカメラ座標系ＸＹＺとの間の平行移動量は〔０，ｈ，０〕であり、Ｘ軸周りの回転量はθ（＝θｏ）である。
【００３２】
したがって、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）と世界座標系Ｘw Ｙw Ｚw の座標（ｘw ，ｙw ，ｚw ）との間の変換式は、次式（１）で表される。
【００３３】
【数１】
2006268076.tif 000003
【００３４】
また、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と、カメラ座標系ＸＹＺの座標（ｘ，ｙ，ｚ）との間の変換式は、カメラ１の焦点距離をｆとすると、次式（２）で表される。
【００３５】
【数２】
2006268076.tif 000004
【００３６】
上記式（１）、（２）から、撮像面Ｓの座標系ＸbuＹbuの座標（ｘbu，ｙbu）と二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）との間の変換式（３）が得られる。
【００３７】
【数３】
2006268076.tif 000005
【００３８】
また、二次元地面座標系Ｘw Ｚw から仮想カメラの鳥瞰図座標系ＸauＹauへの投影は、平行投影によって行われる。カメラ１の焦点距離をｆとし、仮想カメラの高さ位置をＨとすると、二次元地面座標系Ｘw Ｚw の座標（ｘw ，ｚw ）と鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）との間の変換式は、次式（４）で表される。仮想カメラの高さ位置Ｈは予め設定されている。
【００３９】
【数４】
2006268076.tif 000006
【００４０】
上記式（４）から、次式（５）が得られる。
【００４１】
【数５】
2006268076.tif 000007
【００４２】
得られた式（５）を上記式（３）に代入すると、次式（６）が得られる。
【００４３】
【数６】
2006268076.tif 000008
【００４４】
上記式（６）から、入力画像Ｉの座標（ｘbu，ｙbu）を、鳥瞰図座標系ＸauＹauの座標（ｘau，ｙau）に変換するための式（７）が得られる。
【００４５】
【数７】
2006268076.tif 000009
【００４６】
上記ステップＳ４では、上記式（７）に基づいて、第１画像を第１鳥瞰図画像に変換するとともに、第２画像を第２鳥瞰図画像に変換する。
【００４７】
図４（ａ）は駐車枠の原画像を示し、図４（ｂ）は図４（ａ）の原画像に対応する鳥瞰図画像を示している。図４（ａ）および図４（ｂ）から、鳥瞰図画像では、上方から見た画像に変換されていることがわかる。
【００４８】
〔４〕ステップＳ５の処理についての説明
ステップ５では、第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２組の対応点を抽出する。この場合、２組の対応点は、路面上の点でなければならない。これは、鳥瞰図では撮影地点によらず路面上のスケールが常に同じになることを利用して、第１鳥瞰図画像と第２鳥瞰図画像とを同じ座標系に変換するためである。
【００４９】
まず、第１鳥瞰図画像と第２鳥瞰図画像の一方の画像から３以上の複数の特徴点を抽出する。特徴点は、例えば、エッジ部の点である。そして、第１鳥瞰図画像と第２鳥瞰図画像との間のマッチングにより、一方の画像上の各特徴点に対応する他方の画像上の対応点を求める。これにより、両鳥瞰図画像間で対応する点を３組以上の複数組求める。そして、求めた複数組の対応点から、ランダムに２組の対応点を選択する。ランダムに選択した２組の対応点を（ａ１，ａ２）、（ｂ１，ｂ２）とする。
【００５０】
鳥瞰図では撮影地点によらず路面上のスケールが常に同じであるので、これらの対応点（ａ１，ａ２）、（ｂ１，ｂ２）が路面上にある場合には、ａｂ間の長さａ１ｂ１と、ａ２ｂ２間の長さａ２ｂ２とは等しくなる。そこで、選択した２組の対応点（ａ１，ａ２）、（ｂ１，ｂ２）について、ａ１ｂ１間の長さａ１ｂ１とａ２ｂ２間の長さａ２ｂ２とが等しいか否かを判別し、等しければそれらの対応点（ａ１，ａ２）、（ｂ１，ｂ２）を、第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２つの対応点とする。
【００５１】
等しくなけば、改めて２組の対応点をランダム選択し、選択した２組の対応点（ａ１，ａ２）、（ｂ１，ｂ２）について、ａ１ｂ１間の長さａ１ｂ１とａ２ｂ２間の長さａ２ｂ２とが等しいか否かを判別する。このような処理を、選択した２組の対応点（ａ１，ａ２）、（ｂ１，ｂ２）について、ａ１ｂ１間の長さａ１ｂ１とａ２ｂ２間の長さａ２ｂ２とが等しいと判定されるまで、繰り返し行う。
【００５２】
〔５〕ステップＳ６の処理についての説明
ステップＳ６では、第１鳥瞰図画像と第２鳥瞰図画像との間の路面上の２組の対応点に基づいて、両画像間の２組の対応点どうしが一致するように、両画像のうちの一方の画像の座標を変換する。この座標変換の基本的な考え方について説明する。
【００５３】
図５（ａ）は第１鳥瞰図画像の例を示し、図５（ｂ）は第２鳥瞰図画像の例を示している。
【００５４】
両鳥瞰図画像において、（ａ１，ａ２）、（ｂ１，ｂ２）がステップＳ６で抽出された２組の対応点であるとする。上述したように、ａ１ｂ１間の長さａ１ｂ１と、ａ２ｂ２間の長さａ２ｂ２とは等しい。この性質を利用して、各対応点どうし（ａ１，ａ２）、（ｂ１，ｂ２）が一致するように、第１鳥瞰図画像の座標を第２鳥瞰図画像上の座標に変換することができる。
【００５５】
まず、図６に示すように、第１鳥瞰図画像の点ａ１が、第２鳥瞰図画像の点ａ２に一致するように、第１鳥瞰図画像を（Δｘ，Δｙ）だけ平行移動させる。次に、図７に示すように、点ｂ１が点ｂ２に一致するように、第１鳥瞰図画像をΔθだけ回転させる。なお、（Δｘ，Δｙ）およびΔθは、車両の移動量であり、直線ａ１ｂ１と直線ａ２ｂ２との画像相対位置から容易に求めることができる。
【００５６】
〔６〕ステップＳ７の処理についての説明
ステップＳ７では、座標変換された一方の鳥瞰図画像と他方の鳥瞰図画像との差分をとることにより、高さのある障害物領域を検出する。
【００５７】
上記ステップＳ６の座標変換により、座標変換後の第１の鳥瞰図画像と、第２の鳥瞰図画像との間においては、路面上の平面画像領域は一致するが、高さを有する障害物の領域においては不一致部分が発生する。
【００５８】
図８は、ある障害物Ｑに対する座標変換後の第１の鳥瞰図画像上の画像Ｑ１と、第２鳥瞰図画像上の画像Ｑ２とを示している。Ｑ１とＱ２とは、一部は一致しているが、不一致部分が発生している。
【００５９】
そこで、ステップＳ７では、座標変換後の第１の鳥瞰図画像と、第２の鳥瞰図画像との差分をとることにより、図９に示すように、障害物の画像Ｑ１とＱ２の間の不一致部分Ｑ１’、Ｑ２’を障害物領域として抽出する。
【００６０】
〔７〕ステップＳ８の処理についての説明
ステップＳ８では、車両からステップＳ７で抽出した各障害物までの距離を計算する。つまり、第２の鳥瞰図画像上において、車両から各障害物までの距離を算出する。具体的には、上記式（５）に基づいて、第２の鳥瞰図画像上の障害物の位置（ｘau，ｙau）に対応する２次元地面座標系の座標（ｘw ，ｚw ）を算出する。得られたｚw が、車両からの距離となる。
【００６１】
〔８〕ステップＳ９の処理についての説明
ステップＳ９では、第２の鳥瞰図画像に、その画像内の各障害物領域を他の部分から識別できるような表示と各障害物領域の車両からの距離データを付加した画像を表示器に表示させる。
【００６２】
障害物領域を他の部分から識別できるような表示としては、障害物領域に特殊な色をつけたり、点滅表示させたりするといったことが行われる。距離データは、障害物領域の近くに数値表示させる。
【図面の簡単な説明】
【００６３】
【図１】自動車に設けられた運転支援システムの構成を示している。
【図２】画像処理ユニット２による処理手順を示すフローチャートである。
【図３】カメラ座標系ＸＹＺと、カメラ１の撮像面Ｓの座標系ＸbuＹbuと、２次元地面座標系Ｘw Ｚw を含む世界座標系Ｘw Ｙw Ｚw との関係を示す模式図である。
【図４】駐車枠の原画像と、その原画像に対応する鳥瞰図画像とを示す模式図である。
【図５】第１鳥瞰図画像と第２鳥瞰図画像の例を示す模式図である。
【図６】第１鳥瞰図画像の点ａ１が、第２鳥瞰図画像の点ａ２に一致するように、第１鳥瞰図画像を平行移動させた状態を示す模式図である。
【図７】図６の状態から、点ｂ１が点ｂ２に一致するように、第１鳥瞰図画像を回転させた状態を示す模式図である。
【図８】ある障害物Ｑに対する座標変換後の第１の鳥瞰図画像上の画像Ｑ１と、第２鳥瞰図画像上の画像Ｑ２とを示す模式図である。
【図９】座標変換後の第１の鳥瞰図画像と第２の鳥瞰図画像との差分をとることにより抽出された障害物領域を示す模式図である。
【符号の説明】
【００６４】
１  カメラ
２  画像処理ユニット
３  モニタ
【図１】
2006268076.tif 000010
【図２】
2006268076.tif 000011
【図３】
2006268076.tif 000012
【図４】
2006268076.tif 000013
【図５】
2006268076.tif 000014
【図６】
2006268076.tif 000015
【図７】
2006268076.tif 000016
【図８】
2006268076.tif 000017
【図９】
2006268076.tif 000018