(57)【要約】【課題】カメラの取り付け誤差があっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行う。【解決手段】フロントカメラ１が撮像した前方画像中において、車両Ｖの走行車線に沿った進行方向に対応する進行方向点Ｐ３と、その時点の車両の車両軸方向に対応する車両軸方向点Ｐ２とを検出する。車両軸方向点Ｐ２に対する進行方向点Ｐ３の相対的な位置偏差ベクトルＸの左右方向成分の方向と大きさは、当該車両Ｖが走行している走行車線のカーブの方向と曲率にほぼ対応していると見なせる。この位置偏差ベクトルＶの左右方向成分の方向と大きさに対応した方向と回転角度で進行方向マークＭｄを生成し、前方画像中の前方車両に重畳することで、走行車線のカーブの曲率に正しく対応した支援表示を反映させることができる。
2012131947.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、
前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、
前記前方画像中において、その時点の当該車両の車両軸方向に対応する車両軸方向点を検出する車両軸方向点検出手段と、
前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、
前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
前記車両軸方向点検出手段は、前記平均消失点を前記車両軸方向点として検出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
前記車線消失点検出手段は、当該車両が過去に略直線状の走行車線を走行した際に前記撮像手段が撮像した前方画像中で前記車線消失点を検出し、
前記車両軸方向点検出手段は、前記車線消失点を前記車両軸方向点として検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置において、
その時点で当該車両が位置している現在位置情報と地図情報とを取得可能なナビゲーション手段を有しており、
前記車線消失点検出手段は、前記ナビゲーション手段により当該車両がその時点で前記略直線状の走行車線を走行していると検知した際に前記撮像手段が撮像した前方画像中で前記車線消失点を検出する
ことを特徴とする画像処理装置。
【請求項５】
請求項２又は４記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線における前方車両の画像部分を認識する前方車両認識手段を有し、
前記進行方向点検出手段は、前記前方車両の画像部分中に前記進行方向点を検出する
ことを特徴とする画像処理装置。
【請求項６】
請求項２又は４記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
前記進行方向点検出手段は、前記車線消失点を前記進行方向点として検出する
ことを特徴とする画像処理装置。
【請求項７】
請求項５又は６記載の画像処理装置において、
前記前方画像加工手段は、所定の情報を反映した表示態様の印画像を重畳するよう前記前方画像を加工する
ことを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置において、
前記前方画像加工手段は、前記所定の情報として前記位置偏差を前記印画像の表示態様に反映させる
ことを特徴とする画像処理装置。
【請求項９】
請求項８記載の画像処理装置が処理した前記前方画像を表示する画像表示装置であって、
前記前方画像加工手段により前記印画像が重畳された前記前方画像を表示する前方画像表示手段、を有する
ことを特徴とする画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の進行方向の前方画像を解析及び加工により処理する画像処理装置、及び当該画像処理装置により処理された前方画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
近年では、車両に搭載されたカメラで周囲の画像を撮像し、その撮像した画像を解析することで当該車両の周囲の状況を検出する技術が提案されている。【０００３】
例えば、特許文献１に記載されているように、車両の走行方向の前方画像を撮像し、当該前方画像中に映し出されている走行車線の両側の白線を認識して、それら白線の形状の近似式から当該走行車線のカーブの曲率などを算出する。そしてこの従来技術では、走行車線のカーブの曲率に対応してステアリング装置に付加する操舵力を制御することで、現在の走行車線上での当該車両の走行を維持できるよう運転を支援する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０５３１９号公報（[００２６]〜[００３０]）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えばユーザー自身の手作業によって車両にカメラを取り付ける場合や、カメラの固定位置や姿勢が動く可能性がある場合には、当該カメラの撮像方向が規定の方向からズレやすくなる。この場合、同じ走行車線のカーブに対してもカメラの撮像方向の誤差によって前方画像中での白線の形状が異なってしまうため、上記従来技術では走行車線のカーブの曲率を正確に算出することが困難となる。そのため、カメラの取り付け誤差があっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行える技術が要望されていた。【０００６】
本発明が解決しようとする課題には、上記した問題が一例として挙げられる。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１記載の発明は、車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両の車両軸方向に対応する車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。【０００８】
上記課題を解決するために、請求項９記載の発明は、請求項８記載の画像処理装置が処理した前記前方画像を表示する表示装置であって、前記位置偏差検出手段が検出した前記位置偏差を反映した表示態様の印画像と前記前方画像とを重畳表示する重畳表示手段、を有する。
【図面の簡単な説明】
【０００９】
【図１】本発明の画像処理装置及び画像表示装置を含む実施形態の運転支援システムを搭載した車両の構成例を示す斜視図である。
【図２】実施形態の運転支援システムのシステム構成を示すブロック図である。
【図３】運転室から見た車窓風景及びこれに対応するディスプレイの表示の一例を示す図である。
【図４】図３に示した姿勢状態のフロントカメラが撮像した前方画像をディスプレイに表示した場合の表示例を表した図である
【図５】車線輪郭線、車線消失点、及び平均消失点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。
【図６】進行方向マークを含んだ車両マークの一例を表した図である。
【図７】位置偏差ベクトルとそれを反映させた車両マークの重畳表示例を表した図である。
【図８】車両マークを前方車両の画像部分に重畳した前方画像のディスプレイ上での表示例を表した図である。
【図９】イメージングユニットのＣＰＵが実行する制御内容を表すフローチャートである。
【図１０】進行方向マークを前方車両の画像部分以外に重畳した前方画像のディスプレイ上での表示例を表した図である。
【図１１】車線消失点を進行方向点に適用し、平均消失点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。
【図１２】車線消失点を進行方向点に適用し、前方車両中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。
【図１３】前方車両中心点、及び平均中心点を写し込んだ前方画像をディスプレイに表示した場合の表示例を表した図である。
【図１４】前方車両中心点を進行方向点に適用し、平均中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。
【図１５】車線消失点を進行方向点に適用し、平均中心点を車両軸方向点に適用した場合の車両マークの重畳表示例を表した図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を参照しつつ説明する。
【００１１】
図１は、本発明の画像処理装置及び画像表示装置を含む本実施形態の運転支援システムを搭載した車両の構成例を示す斜視図である。この図１において、運転支援システムＳは、車両Ｖの車内天井におけるルームミラー１０１の裏面にフロントカメラ１を設けている。なお、ルームミラー１０１は一般的なものと同等にその取り付け姿勢が可動となっており、その姿勢の可動範囲内では、フロントカメラ１の撮像方向は当該車両Ｖの進行方向の前方を撮像可能な範囲に収まる。また、このフロントカメラ１の撮像方向Ｄｃの可動範囲内では、当該車両の中央前後方向を貫く車両軸の方向Ｄｖを撮像範囲から外さない。
【００１２】
図２は、運転支援システムＳのハードウェア構成例を示すブロック図である。この図２において、運転支援システムＳは、フロントカメラ１、イメージングユニット２、ディスプレイ３を有している。
【００１３】
フロントカメラ１は撮像手段に相当し、例えばＣＣＤ撮像素子などを利用して、上述した当該車両の進行方向の前方画像を撮像し、対応する信号をイメージングユニット２のＣＰＵ（後述）へ出力する機能を有する。なお、本実施形態の例では、このフロントカメラ１が短い時間間隔で前方画像を撮像し続けることで、前方画像を動画の形態で撮像する。
【００１４】
ディスプレイ３は画像表示装置及び前方画像表示手段に相当し、例えばＬＣＤパネルなどで構成されて、イメージングユニット２のグラフィックコントローラ（後述）から入力された画像信号に基づいて前方画像を表示する機能を有する。
【００１５】
イメージングユニット２は画像処理装置に相当し、ＣＰＵ１１、記憶装置１２、ナビゲーション装置１３、車速センサ１４、グラフィックコントローラ１５を有している。
【００１６】
ＣＰＵ１１は、所定のプログラムの動作によって各種の演算を行うとともに、他の各部との間で情報の交換や各種の制御指示を出力することで、運転支援システム全体を制御する機能を有する。
【００１７】
記憶装置１２は、ＲＯＭ１２ａ、ＲＡＭ１２ｂ、及び記憶媒体１２ｃを有する。ＲＯＭ１２ａは、各種の処理プログラムやその他必要な情報が予め書き込まれた情報記憶媒体である。ＲＡＭ１２ｂは、上記各種のプログラムを実行する上で必要な情報の書き込み及び読み出しが行われる情報記憶媒体である。記憶媒体１２ｃは、例えばフラッシュメモリ、ハードディスクなどの不揮発性の情報記憶媒体である。
【００１８】
ナビゲーション装置１３はナビゲーション手段に相当し、ＧＰＳセンサ（特に図示せず）を利用して車両の現在地の測位を行い現在位置情報を取得するとともに、予め記憶している地図情報に基づいて所定の経路探索や経路誘導を行う機能を有する。
【００１９】
車速センサ１４は、自車の走行速度を検出する機能（言い換えれば走行していることを検出する機能）を有する。ＣＰＵ１１は、この車速センサ１４の検出信号に基づき、当該自動車が走行中の状態であるか、停止中の状態であるかを識別することができる。
【００２０】
グラフィックコントローラ１５は、ＣＰＵ１１の制御によってビデオＲＡＭ（図示せず）及び上記ナビゲーション装置１３などから画像データを取得し、この画像データに基づく画像信号を上記ディスプレイ２に表示させる機能を有する。
【００２１】
図３は、運転室から見た車窓風景及びこれに対応するディスプレイ３の表示の一例を示す図である。この図３に示す例において、インストゥルメントパネル１０２の中央位置に上記ディスプレイ３が配置されており、また図中の右側が運転席に対応して、その前方にステアリングホィール１０３が配置されている。
【００２２】
図示する例では、当該車両Ｖはほぼ直線の走行車線を走行しており、その走行方向前方にいる前方車両Ｖｆに追従している状態を示している。ルームミラー１０１は運転者へ向けて視線が少しだけ斜めに向いている。このルームミラー１０１の裏側（進行方向側）に備えられているフロントカメラ１は、上記直線の走行車線と前方車両Ｖｆを含んだ前方画像を撮像している。このとき、上述したように、フロントカメラ１の撮像範囲は当該車両Ｖの車両軸方向Ｄｖを外さずに含んでいる。そして、ディスプレイ３は、フロントカメラ１が撮像した前方画像を表示している。
【００２３】
ここで、上述したようにルームミラー１０１とともにフロントカメラ１の取り付け姿勢が可動であって、その撮像方向Ｄｃが車両軸方向Ｄｖと平行な配置関係にない場合には、走行車線がカーブしている際に前方画像の解析だけではそのカーブの曲率を正確に算出することが難しくなる。これは、ユーザーがフロントカメラ１を任意の位置に取り付けた場合や、手作業で取り付けた場合などにも生じうる。そこで本実施形態では、走行車線のカーブの曲率を正確に算出する代わりに、運転者の運転を支援できる程度でカーブの曲率に正しく対応した支援表示を当該前方画像に重畳させて表示する。以下、そのような支援表示の生成手法及び表示例を順次説明する。
【００２４】
まず、図４は、上記図３に示した姿勢状態のフロントカメラ１が撮像した前方画像をディスプレイ３に表示した場合の表示例を表している。この図４において、ディスプレイ３の表示領域の中心位置、つまり図中の縦方向、横方向それぞれの中心線Ｌｖ，Ｌｌの交点位置が、車両軸方向Ｄｖから離れている。このため、前方画像は中心線Ｌｌに対する左右方向の対称性を損なっており、実際の走行車線が同じ曲率の右カーブと左カーブに変わっても、前方画像上ではそれぞれ異なる曲率で写り込む（図示省略）。
【００２５】
これに対し、図示する例のように直線状の走行車線を走行している際に撮像した前方画像中においては、前方車両Ｖｆがほぼ車両軸方向Ｄｖの延長上に位置する。また、走行車線の無限遠方点に相当する車線消失点Ｐ１も、当該走行車線が直線状である場合には車両軸方向Ｄｖの延長上に位置する。このように、前方画像中において車両軸方向Ｄｖの延長上に対応する位置にある点を、以下において車両軸方向点という。
【００２６】
上記車線消失点Ｐ１を検出する手法としては、まず図示するように実際の走行車線の両側に塗布されている白線や、路面と縁石との境界線や、又はアスファルト道路の縁部などを前方画像の画像解析により検出し、当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒとして認識する。そして、これら２本の車線輪郭線Ｌｒの車両進行方向の延長線上の交点が、前方画像上における上記車線消失点Ｐ１として検出される。
【００２７】
ここで例えば図５に示すように、走行車線がカーブ状である場合には、上記２本の車線輪郭線Ｌｒも、前方画像上におけるそのカーブの方向と曲率に合わせて認識される。なお、特に図示しないが、このカーブの曲率が途中で変化する場合には、当該車両Ｖの手前側の曲率を優先して２本の車線輪郭線Ｌｒが認識される。そして手前側の曲率に基づいた近似式でカーブの延長線を算出し、それらの交点位置が車線消失点Ｐ１として検出される。
【００２８】
当該車両Ｖが多様な形状の走行車線を長く走行し、上記車線消失点Ｐ１を多数検出して記録した場合には、それら車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２は統計的に車両軸方向Ｄｖの延長上に近接する。つまり、平均消失点Ｐ２は、上述した車両軸方向点と同等に見なせる。
【００２９】
また本実施形態では、前方画像中において当該車両Ｖに最も近い前方車両Ｖｆに、図６に示すような車両マークＭｖを重畳させてディスプレイ３に表示する。図６において、車両マークＭｖはその中心位置が視認しやすいよう構成された幾何形状の模様である。また、この車両マークＭｖには、中心位置に対して回転可能な進行方向マークＭｄが含まれている。この進行方向マークＭｄは印画像に相当し、図示する例では、正三角形の各辺のうち各頂点部の近傍部分だけを残した形状となっている。
【００３０】
このような車両マークＭｖを、図７に示すような態様で前方車両Ｖｆに重畳させる。例えば、図７（ａ）に示すように走行車線が左カーブである場合には、イメージングユニット２のＣＰＵ１１が前方画像中における前方車両Ｖｆの画像部分を認識して、その中心位置に位置する前方車両中心点Ｐ３を検出する。前方画像上におけるこの前方車両中心点Ｐ３は、上記車両軸方向点（この例の平均消失点Ｐ２）に対し、走行車線に沿った当該車両Ｖの進行方向の側に位置する。このように、前方画像中において当該車両Ｖの走行車線に沿った進行方向に対応する点を、以下において進行方向点という。
【００３１】
そして、イメージングユニット２のＣＰＵ１１は、車両軸方向点に対する進行方向点の相対的な位置偏差ベクトルＸを検出する。すなわちこの例では、上記平均消失点Ｐ２に対する前方車両中心点Ｐ３の相対的な位置偏差ベクトルを検出する。この位置偏差ベクトルＸの左右方向成分の方向と大きさは、当該走行車線のカーブの方向と曲率にほぼ対応していると見なせる。本実施形態では、この位置偏差ベクトルＸの左右方向成分の方向と大きさに対応して回転させた進行方向マークＭｄを含む車両マークＭｖを生成し、この車両マークＭｖを前方車両中心点Ｐ３の位置に重畳表示させる。
【００３２】
これにより、図７（ａ）に示す左カーブの場合には、進行方向マークＭｄを反時計方向に回転させた車両マークＭｖが重畳表示される。また、図７（ｂ）に示す右カーブの場合には、進行方向マークＭｄを時計方向に回転させた車両マークＭｖが重畳表示される。なお、それぞれの進行方向マークＭｄの回転角度は、位置偏差ベクトルＸの左右方向成分の大きさに比例する。
【００３３】
図８は、このような車両マークＭｖを前方車両中心点Ｐ３の位置に重畳した前方画像のディスプレイ３上での表示例を表している。運転者は、車両マークＭｖにより前方車両Ｖｆの存在をより明確に目視することができる。さらに、車両マークＭｖに含まれる進行方向マークＭｄの回転角度に合わせてステアリングホィール１０３を操舵することで、実際の走行車線におけるカーブの方向と曲率に対応した操舵が可能となる。
【００３４】
図９は、以上説明した動作態様を実現するために、イメージングユニット２のＣＰＵ１１が実行する制御内容を表すフローチャートである。なお、このフローは、当該車両の走行中でフロントカメラ１が動画の形態で前方画像を撮像している間に、例えば適宜の時間間隔で呼び出されて実行を開始する。
【００３５】
図９において、まずステップＳ５において、フロントカメラ１で前方画像を撮像する。
【００３６】
次にステップＳ１０へ移り、上記ステップＳ５で撮像した前方画像中において、現在の走行車線における２本の車線輪郭線Ｌｒを認識する。なお、このステップＳ１０の手順が、車両輪郭線認識手段に相当する。
【００３７】
次にステップＳ１５へ移り、上記ステップＳ１０で認識した２本の車線輪郭線Ｌｒに基づいて、現在の走行車線における車線消失点Ｐ１を検出する。なお、このステップＳ１５の手順が、車線消失点検出手段に相当する。
【００３８】
次にステップＳ２０へ移り、上記ステップＳ１５で検出した車線消失点Ｐ１を記憶媒体１２ｃに蓄積するよう追加記録する。
【００３９】
次にステップＳ２５へ移り、記憶媒体１２ｃに記録されている全ての車線消失点Ｐ１を読み出す。
【００４０】
次にステップＳ３０へ移り、上記ステップＳ２５で読み出した全ての車線消失点Ｐ１の平均位置に位置する平均消失点Ｐ２を検出する。なお、このステップＳ３０の手順が、車両軸方向点検出手段及び平均消失点検出手段に相当する。
【００４１】
次にステップＳ３５へ移り、上記ステップＳ５で撮像した前方画像において、当該車両Ｖと同じ走行車線上で最も近い前方車両Ｖｆの画像部分を認識する。なお、このステップＳ３５の手順が、前方車両認識手段に相当する。
【００４２】
次にステップＳ４０へ移り、上記ステップＳ３５で検出した前方車両Ｖｆの画像部分の中心点、つまり前方車両中心点Ｐ３を検出する。なお、このステップＳ４０の手順が、進行方向点検出手段に相当する。
【００４３】
次にステップＳ４５へ移り、上記ステップＳ３０で検出した平均消失点Ｐ２に対する、上記ステップＳ４０で検出した前方車両中心点Ｐ３の相対的な位置偏差ベクトルＸを検出する。なお、このステップＳ４５の手順が、位置偏差検出手段に相当する。
【００４４】
次にステップＳ５０へ移り、上記ステップＳ４５で検出した位置偏差ベクトルＸの左右方向成分を検出し、この左右方向成分の方向と大きさに対応して進行方向マークＭｄを回転させた車両マークＭｖを生成する。
【００４５】
次にステップＳ５５へ移り、上記ステップＳ５０で生成した車両マークＭｖを、上記ステップＳ４０で検出した前方車両中心点Ｐ３の位置に重畳させるよう前方画像を加工する。なお、上記ステップＳ５０の手順とこのステップＳ５５の手順が、前方画像加工手段に相当する。また、ＣＰＵ１１は必要なデータと指令をグラフィックコントローラ１５に送信し、実際の加工処理はグラフィックコントローラ１５が行う。
【００４６】
次にステップＳ６０へ移り、上記ステップＳ５５で加工した前方画像をディスプレイ３に表示させる。なお、ＣＰＵ１１はグラフィックコントローラ１５に対して指令を送信し、グラフィックコントローラ１５に加工済みの前方画像の画像データをディスプレイ３に出力させる。そして、このフローを終了する。
【００４７】
なお、ステップＳ５のあと、ステップＳ３５〜Ｓ４０を実行してから、ステップＳ１０〜ステップＳ３０を実行し、ステップＳ４５以降の処理を実行してもよい。
【００４８】
以上説明したように、上記実施形態の運転支援システムＳが備えるイメージングユニット２においては、車両Ｖに搭載したフロントカメラ１（撮像手段に相当）により当該車両Ｖの進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行うイメージングユニット２（画像処理装置に相当）であって、前記前方画像中において、当該車両Ｖの走行車線に沿った進行方向に対応する進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両Ｖの車両軸方向Ｄｖに対応する車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差ベクトルＸ（位置偏差に相当）を検出する位置偏差検出手段と、前記位置偏差ベクトルＸに対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
【００４９】
このようにすると、前方画像中における進行方向点の位置は、当該車両Ｖが進行する予定方向のおおよその指標位置と見なすことができ、前方画像中における車両軸方向点の位置は、当該車両Ｖがその時点で向いている方向のおおよその指標位置と見なすことができる。これにより、車両軸方向点に対する進行方向点の相対的な位置偏差ベクトルＸの方向と大きさは、当該車両Ｖが走行している走行車線のカーブの方向と曲率にほぼ対応していると見なせる。従って、この位置偏差ベクトルＸに対応した表示態様で前方画像を加工することで、走行車線のカーブの曲率に正しく対応した支援表示を反映させることができる。そしてこの画像処理は、フロントカメラ１の撮像方向Ｄｃと車両軸方向Ｄｖとの間の偏差の影響を受けずに、前方画像の画像内容の解析と加工だけで行える。この結果、カメラの取り付け誤差が多少あっても、前方画像の解析だけで走行車線のカーブの曲率に正しく対応した支援表示を行える。
【００５０】
また、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Ｖの走行車線における前方車両Ｖｆの画像部分を認識する前方車両認識手段を有し、前記進行方向点検出手段は、前記前方車両Ｖｆの画像部分中に前記進行方向点を検出する。
【００５１】
このようにすると、前方画像中において車両軸方向点に対し進行方向側に相対的に位置する前方車両Ｖｆの位置を進行方向点として検出できるため、位置偏差ベクトルＸをほぼ正しく検出することができる。
【００５２】
また、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像加工手段は、所定の情報を反映した表示態様の進行方向マークＭｄ（印画像に相当）を重畳するよう前記前方画像を加工する。
【００５３】
このようにすると、運転者は、前方画像中において通常では目視しにくい情報も併せて認識できる。
【００５４】
なお、上記図８の表示例では、進行方向マークＭｄを含む車両マークＭｖ全体を前方車両中心点Ｐ３の位置、つまり前方車両Ｖｆの画像部分上に重畳させていた。この場合には、車両マークＭｖにより前方車両Ｖｆの存在をより明確に目視できるとともに、視点をほとんど動かすことなく進行マークＭｄによる情報も併せて認識できた。しかし、本発明はこれに限られず、例えば上記図８に対応する図１０に示すように、進行方向マークＭｄを含む部分Ｍｖ１と、含まない部分Ｍｖ２とに車両マークＭｖを分解してそれぞれ異なる配置で表示させてもよい。図示する例では、進行方向マークＭｄを含まない部分Ｍｖ２を前方車両Ｖｆの画像部分上に重畳させ、進行方向マークＭｄを含む部分Ｍｖ１を前方画像の左上の定位置に配置して重畳させている。この場合には、部分Ｍｖ２により前方車両Ｖｆの存在をより明確に目視できるとともに、それとは別に部分Ｍｖ１に含まれる進行方向マークＭｄを前方車両Ｖｆから離れた固定位置で明確に表示できる。
【００５５】
また、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像加工手段は、前記所定の情報として前記位置偏差を前記進行方向マークＭｄの表示態様に反映させる。
【００５６】
このようにすると、進行方向マークＭｄの表示態様（上記実施形態の例では回転角度）に合わせてステアリングホィール１０３を操舵することで、実際の走行車線におけるカーブの方向と曲率に対応した操舵が可能となる。
【００５７】
また、上記実施形態の運転支援システムＳにおけるディスプレイ３においては、前記前方画像加工手段により前記進行方向マークＭｄが重畳された前記前方画像を表示する前方画像表示手段、を有する。
【００５８】
このようにすると、運転者の運転を支援する進行方向マークＭｄを重畳した前方画像の表示を具現化できる。
【００５９】
また、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識する車線輪郭線認識手段と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出する車線消失点検出手段と、前記車線消失点検出手段が過去に検出した複数の前記車線消失点Ｐ１のそれぞれの平均位置に位置する平均消失点Ｐ２を検出する平均消失点検出手段と、を有し、前記車両軸方向点検出手段は、前記平均消失点Ｐ２を前記車両軸方向点として検出する。
【００６０】
このようにすると、前方画像中において車両軸方向Ｄｖに対応する位置の平均消失点Ｐ２を車両軸方向点として検出できるため、位置偏差ベクトルＸをほぼ正しく検出することができる。
【００６１】
なお、上記実施形態では、車線消失点Ｐ１を多様な走行車線で検出して、それらの平均位置にある平均消失点Ｐ２を車両軸方向点として検出したが、本発明はこれに限られない。例えば、イメージングユニット２のナビゲーション装置１３を利用して、当該車両Ｖがその時点で略直線状の走行車線を走行していると検知した際にフロントカメラ１が撮像した前方画像で検出した車線消失点Ｐ１を車両軸方向点として検出してもよい。
【００６２】
このようにして、運転支援システムＳが備えるイメージングユニット２においては、上述した基本構成に加えてさらに、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識する車線輪郭線認識手段と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出する車線消失点検出手段と、を有し、前記車線消失点検出手段は、当該車両Ｖが過去に略直線状の走行車線を走行した際にフロントカメラ１が撮像した前方画像中で前記車線消失点Ｐ１を検出し、前記車両軸方向点検出手段は、前記車線消失点Ｐ１を前記車両軸方向点として検出してもよい。
【００６３】
このようにすると、車両軸方向Ｄｖに近接する車線消失点Ｐ１だけを直接検出でき、そのまま車両軸方向点として容易に検出できる。
【００６４】
またこのようにして、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、その時点で当該車両Ｖが位置している現在位置情報と地図情報とを取得可能なナビゲーション装置１３（ナビゲーション手段に相当）を有しており、前記車線消失点検出手段は、前記ナビゲーション装置１３により当該車両Ｖがその時点で前記略直線状の走行車線を走行していると検知した際にフロントカメラ１が撮像した前方画像中で前記車線消失点Ｐ１を検出してもよい。
【００６５】
このようにすると、略直線状の走行車線を高い精度で検知し、対応する車線消失点Ｐ１を正確に検出できる。
【００６６】
なお、上記実施形態では、前方車両中心点Ｐ３を進行方向点に適用し、平均消失点Ｐ２を車両軸方向点に適用して位置偏差ベクトルＸを検出したが、本発明はこれに限られない。例えば上記図７（ａ）に対応する図１１に示すように、車線消失点Ｐ１を進行方向点に適用し、平均消失点Ｐ２を車両軸方向点に適用して位置偏差ベクトルＸを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
【００６７】
このようにして、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識する車線輪郭線認識手段と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出する車線消失点検出手段と、を有し、前記進行方向点検出手段は、前記車線消失点Ｐ１を前記進行方向点として検出してもよい。
【００６８】
このようにすると、前方車両が存在しない場合でも、前方画像中において車両軸方向点に対し進行方向側に相対的に位置する車線消失点Ｐ１の位置を進行方向点として検出できるため、位置偏差ベクトルＸをほぼ正しく検出することができる。
【００６９】
また同様にして、上記図７（ａ）に対応する図１２に示すように、車線消失点Ｐ１を進行方向点に適用し、前方車両中心点Ｐ３を車両軸方向点に適用して位置偏差ベクトルＸを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
【００７０】
また、上記図５に対応する図１３に示すように、当該車両Ｖが多様な形状の走行車線を長く走行し、前方車両中心点Ｐ３を多数検出して記録した場合には、それら前方車両中心点Ｐ３の平均位置に位置する平均中心点Ｐ４もまた統計的に車両軸方向Ｄｖの延長上に近接する。つまり、平均中心点Ｐ４は、上述した車両軸方向点と同等に見なせる。
【００７１】
これにより、例えば上記図７（ａ）に対応する図１４に示すように、前方車両中心点Ｐ３を進行方向点に適用し、平均中心点Ｐ４を車両軸方向点に適用して位置偏差ベクトルＸを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
【００７２】
また同様にして、上記図７（ａ）に対応する図１５に示すように、車線消失点Ｐ１を進行方向点に適用し、平均中心点Ｐ４を車両軸方向点に適用して位置偏差ベクトルＸを検出した場合でも、上記実施形態と同等に走行車線のカーブの曲率に正しく対応した支援表示を前方画像に反映させることができる。
【００７３】
また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。
【符号の説明】
【００７４】
１              フロントカメラ（撮像手段に相当）
２              イメージングユニット（画像処理装置に相当）
３              ディスプレイ（画像表示装置に相当）
１１            ＣＰＵ
１３            ナビゲーション装置（ナビゲーション手段に相当）
１５            グラフィックコントローラ
Ｄｃ            撮像方向
Ｄｖ            車両軸方向
Ｌｒ            車線輪郭線
Ｍｖ            車両マーク
Ｍｄ            進行方向マーク（印画像に相当）
Ｐ１            車線消失点
Ｐ２            平均消失点
Ｐ３            車両中心点
Ｐ４            平均中心点
Ｓ              運転支援システム
Ｖ              車両
Ｖｆ            前方車両
Ｘ              位置偏差ベクトル（位置偏差に相当）
【図１】
2012131947.tif 000003
【図２】
2012131947.tif 000004
【図３】
2012131947.tif 000005
【図４】
2012131947.tif 000006
【図５】
2012131947.tif 000007
【図６】
2012131947.tif 000008
【図７】
2012131947.tif 000009
【図８】
2012131947.tif 000010
【図９】
2012131947.tif 000011
【図１０】
2012131947.tif 000012
【図１１】
2012131947.tif 000013
【図１２】
2012131947.tif 000014
【図１３】
2012131947.tif 000015
【図１４】
2012131947.tif 000016
【図１５】
2012131947.tif 000017
【手続補正書】
【提出日】平成25年9月5日(2013.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、
前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する位置にある進行方向点を検出する進行方向点検出手段と、
前記前方画像中において、その時点の当該車両の車両軸方向の延長上に対応する位置にある車両軸方向点を検出する車両軸方向点検出手段と、
前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、
前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
請求項１記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、
前記車線消失点検出手段が過去に検出した複数の前記車線消失点のそれぞれの平均位置に位置する平均消失点を検出する平均消失点検出手段と、を有し、
前記車両軸方向点検出手段は、前記平均消失点を前記車両軸方向点として検出する
ことを特徴とする画像処理装置。
【請求項３】
請求項１記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
前記車両軸方向点検出手段は、前記車線消失点検出手段により、当該車両が過去に略直線状の走行車線を走行した際に検出された車線消失点を、前記車両軸方向点として検出する
ことを特徴とする画像処理装置。
【請求項４】
請求項３記載の画像処理装置において、
その時点で当該車両が位置している現在位置情報と地図情報とを取得可能なナビゲーション手段を有しており、
前記車線消失点検出手段は、前記ナビゲーション手段により当該車両がその時点で前記略直線状の走行車線を走行していると検知した際に前記撮像手段が撮像した前方画像中で前記車線消失点を検出する
ことを特徴とする画像処理装置。
【請求項５】
請求項２又は４記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線における前方車両の画像部分を認識する前方車両認識手段を有し、
前記進行方向点検出手段は、前記前方車両の画像部分中に前記進行方向点を検出する
ことを特徴とする画像処理装置。
【請求項６】
請求項２又は４記載の画像処理装置において、
前記前方画像中において、当該車両の走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線を認識する車線輪郭線認識手段と、
前記２本の車線輪郭線のそれぞれの前記進行方向の延長線上の交点を車線消失点として検出する車線消失点検出手段と、を有し、
前記進行方向点検出手段は、前記車線消失点を前記進行方向点として検出する
ことを特徴とする画像処理装置。
【請求項７】
請求項５又は６記載の画像処理装置において、
前記前方画像加工手段は、所定の情報を反映した表示態様の印画像を重畳するよう前記前方画像を加工する
ことを特徴とする画像処理装置。
【請求項８】
請求項７記載の画像処理装置において、
前記前方画像加工手段は、前記所定の情報として前記位置偏差を前記印画像の表示態様に反映させる
ことを特徴とする画像処理装置。
【請求項９】
請求項８記載の画像処理装置が処理した前記前方画像を表示する画像表示装置であって、
前記前方画像加工手段により前記印画像が重畳された前記前方画像を表示する前方画像表示手段、を有する
ことを特徴とする画像表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、請求項１記載の発明は、車両に搭載した撮像手段により当該車両の進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行う画像処理装置であって、前記前方画像中において、当該車両の走行車線に沿った進行方向に対応する位置にある進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両の車両軸方向の延長上に対応する位置にある車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差を検出する位置偏差検出手段と、前記位置偏差に対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
以上説明したように、上記実施形態の運転支援システムＳが備えるイメージングユニット２においては、車両Ｖに搭載したフロントカメラ１（撮像手段に相当）により当該車両Ｖの進行方向の前方を撮像した前方画像に対し、当該前方画像中の画像内容の解析と加工により処理を行うイメージングユニット２（画像処理装置に相当）であって、前記前方画像中において、当該車両Ｖの走行車線に沿った進行方向に対応する位置にある進行方向点を検出する進行方向点検出手段と、前記前方画像中において、その時点の当該車両Ｖの車両軸方向Ｄｖの延長上に対応する位置にある車両軸方向点を検出する車両軸方向点検出手段と、前記車両軸方向点に対する前記進行方向点の相対的な位置偏差ベクトルＸ（位置偏差に相当）を検出する位置偏差検出手段と、前記位置偏差ベクトルＸに対応した表示態様で前記前方画像を加工する前方画像加工手段と、を有する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
また、運転支援システムＳが備えるイメージングユニット２においては、上述した構成に加えてさらに、前記前方画像中において、当該車両Ｖの走行車線の左右両側に位置して当該走行車線の輪郭を形成する２本の車線輪郭線Ｌｒを認識する車線輪郭線認識手段と、前記２本の車線輪郭線Ｌｒのそれぞれの前記進行方向の延長線上の交点を車線消失点Ｐ１として検出する車線消失点検出手段と、を有し、前記車両軸方向点検出手段は、前記車線消失点検出手段により、当該車両Ｖが過去に略直線状の走行車線を走行した際に検出された前記平均消失点Ｐ２を前記車両軸方向点として検出する。
【国際調査報告】
2012131947.tif 000018
2012131947.tif 000019
2012131947.tif 000020
2012131947.tif 000021