(57)【要約】【課題】立体物があっても道路マーカを確実に検出する。【解決手段】撮像部１０で撮像された路面を含む画像が、画像変換、合成部２０で俯瞰画像に変換されて、端点位置検出部３０が、俯瞰画像を少なくとも１つの所定方向にスキャンして、輝度が暗から明に変化する第１の点の位置と第１の点から所定方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、所定方向に直交する方向に亘って検出された複数の、第１の点と第２の点の中点同士を連結した中心線Ｍの両端点の位置を検出して、放射状エッジ検出部４０が、この両端点を結ぶ線分の中から、撮像部１０の設置位置に対応する点から俯瞰画像の周縁に向かって延びる線分を検出して、道路マーカ検出部５０が、中心線Ｍの両端点を結ぶ線分のうち、放射状エッジ検出部４０で検出された線分を除いた線分に基づいて横断歩道Ｚ（道路マーカ）を検出する。【選択図】図２
2014106704.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部で撮像された画像を、前記車両の真上から見下ろした俯瞰画像に変換する画像変換部と、
前記俯瞰画像を少なくとも１つの所定方向にスキャンしながら、輝度が暗から明に変化する第１の点の位置と前記第１の点から前記所定方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、前記所定方向に直交する方向に亘って検出された複数の第１の点からなる線素の両端点の位置、複数の第２の点からなる線素の両端点の位置、または前記第１の点と前記第２の点の中点同士を連結した中心線の両端点の位置を検出する端点位置検出部と、
前記両端点を結ぶ線分のうち、前記撮像部の設置位置に対応する点から前記俯瞰画像の周縁に向かって延びる線分を検出する放射状エッジ検出部と、
前記両端点を結ぶ線分の中から、前記放射状エッジ検出部で検出された線分を除いた線分に基づいて道路マーカの位置を検出する道路マーカ検出部と、を有することを特徴とする車載画像処理装置。
【請求項２】
前記放射状エッジ検出部は、前記俯瞰画像の中で、前記両端点のうち前記撮像部の設置位置に近い側の端点と前記撮像部の設置位置とを結ぶ線分と、前記両端点を結ぶ線分とのなす角度の差が所定値以内であるときに、前記両端点を結ぶ線分を放射状エッジとすることを特徴とする請求項１に記載の車載画像処理装置。
【請求項３】
前記放射状エッジ検出部で検出された複数の放射状エッジに挟まれた領域のうち、前記領域の輝度分布が所定の条件を満たすときに、前記領域の内部の輝度情報を除いて道路マーカの検出を行うことを特徴とする請求項１または請求項２に記載の車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラによって、路面に描かれた横断歩道や道路標識等の道路マーカを検出する車載画像処理装置に関するものである。
【背景技術】
【０００２】
近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、路面に引かれた白線や黄線によって表現された横断歩道や道路標識等を検出して、こうして検出された情報を運転者に伝えて安全運転を支援するシステムが研究開発されている。
【０００３】
このようなシステムでは、例えば、横断歩道等の路面標識の認識を行う際に、道路の走路境界を示す白線を構成するエッジ情報を抑制して、横断歩道を確実に検出している（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１５４４８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された発明によると、横断歩道の認識を行う際に、横断歩道と誤認識する可能性のある、道路の走路境界を示す白線の情報を抑制することはできるが、道路上には、走路境界を示す白線以外にも、横断歩道のような道路標識（以下、道路マーカと呼ぶ。）を認識する際に、誤認識を誘発する構造物が存在する。例えば、道路上にある立体物を構成するエッジや、レンズに付着した水滴等は、その明暗パターンが道路マーカと類似する場合、道路マーカと誤認識をしてしまうという問題がある。したがって、単に走路境界示す白線の情報を抑制しただけでは、横断歩道のような道路マーカを安定して確実に検出するのは困難である。
【０００６】
本発明は、上記課題に鑑みてなされたもので、路面上にある立体物を構成するエッジ情報や、レンズに付着した水滴等の、道路マーカを検出する上でノイズとなる物標を予め除去することによって、路面に描かれた横断歩道や道路標識等の道路マーカを安定して確実に検出することができる車載画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る車載画像処理装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部で撮像された画像を、前記車両の真上から見下ろした俯瞰画像に変換する画像変換部と、前記俯瞰画像を少なくとも１つの所定方向にスキャンしながら、輝度が暗から明に変化する第１の点の位置と前記第１の点から前記所定方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、前記所定方向に直交する方向に亘って検出された複数の第１の点からなる線素の両端点の位置、複数の第２の点からなる線素の両端点の位置、または前記第１の点と前記第２の点の中点同士を連結した中心線の両端点の位置を検出する端点位置検出部と、前記両端点を結ぶ線分の中から、前記撮像部の設置位置に対応する点から前記俯瞰画像の周縁に向かって延びる線分を検出する放射状エッジ検出部と、前記両端点を結ぶ線分のうち、前記放射状エッジ検出部で検出された線分を除いた線分に基づいて道路マーカを検出する道路マーカ検出部と、を有することを特徴とする。
【０００８】
このように構成された本発明に係る車載画像処理装置によれば、撮像部で撮像された路面を含む画像が、画像変換部で俯瞰画像に変換されて、端点位置検出部が、俯瞰画像を少なくとも１つの所定方向にスキャンしながら、輝度が暗から明に変化する第１の点の位置と前記第１の点から前記所定方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、前記所定方向に直交する方向に亘って検出された複数の第１の点からなる線素の両端点の位置、複数の第２の点からなる線素の両端点の位置、または前記第１の点と前記第２の点の中点同士を連結した中心線の両端点の位置を検出して、放射状エッジ検出部が、端点位置検出部で検出された両端点を結ぶ線分の中から、撮像部の設置位置に対応する点から俯瞰画像の周縁に向かって延びる線分を検出して、道路マーカ検出部が、端点位置検出部で検出された両端点を結ぶ線分のうち、放射状エッジ検出部で検出された線分を除いた線分に基づいて道路マーカを検出するため、道路上に存在する立体物を構成するエッジや、レンズに付着した水滴等の影響を除去することができ、これによって、路面に描かれた道路マーカを安定して確実に検出することができる。
【発明の効果】
【０００９】
本発明に係る車載画像処理装置によれば、路面に描かれた道路マーカを安定して確実に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明に係る車載画像処理装置の実施例１が実装された車両について説明する図である。
【図２】本発明の実施例１の全体構成を示すブロック図である。
【図３】（ａ）は具体的な道路環境の１例を示す図である。（ｂ）は（ａ）の道路環境を車載した撮像部で撮像して、俯瞰画像に変換して合成した画像の１例である。
【図４】（ａ）は立体物を構成するエッジの特徴について説明する図である。（ｂ）は放射状エッジの検出方法について説明する図である。
【図５】道路マーカの１例である横断歩道の検出方法について説明する図である。
【図６】本発明の実施例１の処理の流れを説明するフローチャートである。
【図７】画像に付着した水滴の影響を除去する例について説明する図である、
【発明を実施するための形態】
【００１１】
以下、本発明に係る車載画像処理装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値のことを輝度値と呼ぶ。また、画像Ｉの画素（ｘ，ｙ）の輝度値をＩ（ｘ，ｙ）で表すものとする。
【実施例１】
【００１２】
本実施例は、本発明の車載画像処理装置を、路面に描かれた横断歩道，停止線，駐車枠，道路標識等の道路マーカを検出して、検出された道路マーカに基づいて、注意喚起や運転アドバイス等の運転支援情報を提供するシステムに適用した例である。
【００１３】
まず、図１と図２を用いて、本発明に係る車載画像処理装置の構成を説明する。本車載画像処理装置５（図２参照）は、車両１（図１参照）に実装されて、図１に示すように、車両１の前方を撮像する前方カメラ１０Ａと、車両１の左ドアミラーに装着されて、車両の左方向を撮像する左方カメラ１０Ｂと、車両１の右ドアミラーに装着されて、車両の右方向を撮像する右方カメラ１０Ｃと、車両１の後方を撮像する後方カメラ１０Ｄを有している。そして、これら４台のカメラによって構成された撮像部１０によって、車両１の周囲の路面を観測できるようになっている。なお、各カメラは、レンズ等の集光機能を有する光学系とＣ−ＭＯＳ等の光電変換素子とから構成されている。
【００１４】
図２は、実施例１の全体構成を示すブロック図である。車載画像処理装置５は、車両１（図１参照）に実装されて、車両１の周囲の路面を含む領域を撮像する撮像部１０と、撮像部１０を構成する前方カメラ１０Ａ，左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄで撮像された画像を、それぞれ、車両１の上空から見下ろした俯瞰画像に座標変換して、１枚の画像に合成する画像変換、合成部２０と、画像変換、合成部２０で合成された画像の中から、所定の方向に近接する複数の＋エッジと−エッジの中点同士を連結した線分の両端点の位置を検出する端点位置検出部３０と、端点位置検出部３０で検出された複数の両端点の中から、その両端点を結ぶ線分が、俯瞰画像の中で撮像部１０の設置位置から、その撮像部１０が撮像した画像の周縁部に向けて放射状に延びているものを検出する放射状エッジ検出部４０と、検出された両端点の位置を記憶しておく端点リスト４５と、横断歩道や停車線、路面標識、駐車枠等の道路マーカの形状特徴が記憶された道路マーカデータベース４８と、端点リスト４５に記憶された両端点の位置と道路マーカデータベース４８に基づいて道路マーカを検出する道路マーカ検出部５０と、車両１の運転者に対して、検出された道路マーカに応じた注意喚起表示を行う、ディスプレイ装置や音声出力装置からなる情報出力部６０と、からなる。
【００１５】
以下、車載画像処理装置５の動作概要のうち、ポイントになる部分について説明する。
＜俯瞰画像の生成、合成方法の説明＞
図３（ｂ）に示すように、前方カメラ１０Ａで撮像した画像と、左方カメラ１０Ｂで撮像した画像と、右方カメラ１０Ｃで撮像した画像と、後方カメラ１０Ｄで撮像した画像は、画像変換、合成部２０において、車両１を真上から見下ろした俯瞰画像に座標変換されて、さらに、１枚の画像Ｉとして合成される。
【００１６】
この画像Ｉは、車両１の位置を表す領域Ｖの回りに、前方カメラ１０Ａで撮像した画像が変換された俯瞰画像Ｉ１と、左方カメラ１０Ｂで撮像した画像が変換された俯瞰画像Ｉ２と、右方カメラ１０Ｃで撮像した画像が変換された俯瞰画像Ｉ３と、後方カメラ１０Ｄで撮像した画像が変換された俯瞰画像Ｉ４が、各カメラの設置方向に対応する方向に向けて合成されたものである。すなわち、例えば俯瞰画像Ｉ１は、前方カメラ１０Ａが設置された位置に対応する俯瞰画像上の点Ｏ１から、領域Ｖにおける車両１の前方に対応する方向に、領域Ｖからの距離が大きくなるほど広い範囲が映るように配置される。
【００１７】
俯瞰画像Ｉ２，俯瞰画像Ｉ３，俯瞰画像Ｉ４についても同様に、それぞれ、左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄが設置された位置に対応する俯瞰画像上の位置から、領域Ｖにおける車両１の左方に対応する方向、右方に対応する方向、後方に対応する方向に、それぞれ、領域Ｖからの距離が大きくなるほど広い範囲が映るように配置される。
【００１８】
なお、この俯瞰画像への座標変換は、昨今、車両周囲のモニタリングシステムとして実用化されている公知の技術であるため、詳細な処理方法の説明は省略する。
【００１９】
＜道路マーカ候補領域の検出方法の説明＞
次に、道路マーカ候補領域の端点位置を検出する方法について説明する。
【００２０】
車両１が図３（ａ）に示す道路Ｒにあるときに、撮像部１０で撮像された画像Ｉ（図３（ｂ））の中には、道路Ｒの路面に描かれた横断歩道Ｚがその像Ｚ’として映り、また、道路Ｒに設置された電信柱Ｓがその像Ｓ’として映る。
【００２１】
画像Ｉの左上を原点（０，０）として、左右方向をｘ、上下方向をｙとする。そして、端点位置検出部３０（図２参照）において、画像Ｉの中を、左から右に向かって、画像Ｉに格納された輝度値Ｉ（ｘ，ｙ）を参照しながら、隣接する２つの画素の輝度値の差を計算する。参照した画素（ｘ，ｙ）に対して、輝度差Ｉ（ｘ−１，ｙ）−Ｉ（ｘ，ｙ）と、輝度差Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）を、画像Ｉの全ての画素に対して順次計算する。
【００２２】
そして、輝度値が所定値よりも大きく明るく変化する画素、すなわち、予め設定した輝度差しきい値Ｉｔｈに対して、Ｉ（ｘ，ｙ）−Ｉ（ｘ−１，ｙ）＞Ｉｔｈを満たす画素、すなわち、輝度が暗から明に所定値以上変化する点を第１の点として検出する。この画素を＋エッジと呼ぶ。
【００２３】
さらに、輝度値が所定値よりも大きく暗く変化する画素、すなわち、Ｉ（ｘ，ｙ）−Ｉ（ｘ＋１，ｙ）＞Ｉｔｈである画素、すなわち、輝度が明から暗に所定値以上変化する点を第２の点として検出する。この画素を−エッジと呼ぶ。
【００２４】
道路マーカであれば、＋エッジを構成する画素と−エッジを構成する画素の間隔は、道路マーカを構成する白線の幅とほぼ等しくなるため、画像Ｉの中から検出された＋エッジを構成する画素と、その＋エッジに隣接して検出された−エッジを構成する画素のペア（エッジペアと呼ぶ。）の間隔ｗが所定距離以内であるとき、このエッジペアは、道路マーカを構成する可能性が高いと判断して、＋エッジを構成する画素と−エッジを構成する画素を検出する。
【００２５】
例えば、画像Ｉに格納された輝度値を、図３（ｂ）の左から右に向かって参照したとき、例えば、道路Ｒの路面領域に対して高い輝度を有する電信柱Ｓの像Ｓ’の領域においては、図４（ａ）に示すように、＋エッジで構成される画素が連続して構成される線分Ｌ１と、−エッジで構成される画素が連続して構成される線分Ｌ２が検出される。
【００２６】
すなわち、電信柱Ｓの像Ｓ’の領域にあっては、＋エッジと−エッジに挟まれた領域は、輝度を参照した左右方向に直交する方向に亘って連続して検出される。こうして形成された、＋エッジで構成される画素が連続して構成される線分Ｌ１と、−エッジで構成される画素が連続して構成される線分Ｌ２によって挟まれた領域を道路マーカ候補領域と呼ぶ。
【００２７】
こうした道路マーカ候補領域の検出は、画像Ｉの全体に対して行われる。
【００２８】
＜道路マーカ候補領域の端点検出方法の説明＞
次に、検出された道路マーカ候補領域の中から、その端点を検出する方法について説明する。
【００２９】
＋エッジで構成される画素が連続して構成される線分Ｌ１と、−エッジで構成される画素が連続して構成される線分Ｌ２から、画像Ｉを左右方向に探索したときに隣り合って検出された＋エッジで構成される画素と−エッジで構成される画素の中点同士を連結した中心線Ｍを検出する。これによって、例えば、電信柱Ｓの像Ｓ’の領域からは、図４（ａ）に示すように、点ｍ１と点ｍｎを結ぶ中心線Ｍが検出される。このようにして検出された中心線Ｍの両端点（点ｍ１と点ｍｎ）を、道路マーカ候補領域の端点と呼ぶ。
【００３０】
なお、実際は、１つの道路マーカ候補領域の中から、端点ｍ１，ｍｎだけではなく、より多くの中点を検出して、それらの中点を連結して中心線Ｍとする。
【００３１】
こうした端点の検出を、領域Ｖの内部を除く画像Ｉの全体について行い、検出された端点は、端点リスト４５に記憶される。
＜放射状エッジの検出方法の説明＞
前述した電信柱Ｓは路面から垂直に立っているため、その像Ｓ’の領域から検出した中心線Ｍの両端点ｍ１，ｍｎと点Ｏ１とは１直線上にある。
【００３２】
これは、前述した俯瞰画像を生成する際に行う座標変換は、カメラに映った点が、全て路面上の点であると仮定して行われるため、路面から垂直に立ち上がった物標を構成する点は、その点の高い位置にあるほど、カメラから遠方の路面上にあるものとして座標変換されるためである。
【００３３】
さらに、電信柱Ｓの左右の垂直エッジを構成する点は、俯瞰画像上で、それぞれ線分Ｌ１と線分Ｌ２に座標変換されるが、このとき、線分Ｌ１と線分Ｌ２は、点Ｏ１から遠さかるほど、その間隔が広がるように変換される。すなわち、実環境において路面から垂直に立ち上がった垂直エッジのペアは、俯瞰画像上では、撮像部が設置された位置に対応する点から放射状に広がる領域に座標変換される。
【００３４】
本発明では、この特徴を用いて、実環境における垂直エッジの有無を判断する。そして、俯瞰画像の中からその条件に該当するエッジを除去することによって、立体物の存在に影響されずに、道路マーカの検出を行う。
【００３５】
放射状に広がるエッジの検出は、放射状エッジ検出部４０において行われる。具体的な検出方法について、図４，５を用いて、俯瞰画像Ｉ１の内部で放射状エッジを検出する場合を例にあげて説明する。
【００３６】
端点リスト３５に記憶された、中心線Ｍの両端点の座標（例えば点ｍ１と点ｍｎ）を読み出して、前方カメラ１０Ａの設置位置に対応する点Ｏ１の座標と、点ｍ１の座標と、点ｍｎの座標を用いて、図４（ｂ）に示すように、画像Ｉの左右方向に対して線分Ｏ１ｍｎのなす角度θａと、画像Ｉの左右方向に対して線分ｍ１ｍｎのなす角度θｂの差の絶対値を求める。
【００３７】
このとき、角度θａと角度θｂの差の絶対値が、所定の角度θｃと等しいときに、線分ｍ１ｍｎは点Ｏ１から放射状に延びるエッジであると判断する。
【００３８】
実際は、角度θｃに所定の幅を持たせて、角度θａと角度θｂの差の絶対値が、その幅の中に収まっているときに、線分ｍ１ｍｎは点Ｏ１から放射状に延びたエッジであると判断する。
【００３９】
なお、この判断方法は、前方カメラ１０Ａの設置位置に対応する点Ｏ１と、中心線Ｍの両側の端点ｍｎ，ｍ１のうち前方カメラ１０Ａの設置位置に近い側の端点ｍｎと点Ｏ１を結ぶ線分Ｏ１ｍｎと、前記両側の端点ｍｎ，ｍ１を結ぶ線分ｍ１ｍｎとのなす角度θｃが所定値以内であると言い換えることもできる。
【００４０】
横断歩道のように路面に描かれた物標を構成するエッジは、電信柱Ｓの左右の垂直エッジのように、俯瞰画像の中で放射状に延びた形状に座標変換されないため、先に説明した線分の角度による評価を行うと、角度θｃは所定の幅の範囲に収まらない。そのため、放射状に延びた形状ではないと判断される。
【００４１】
同様の処理は、俯瞰画像Ｉ１の内部で検出された全ての端点について行われる。また、俯瞰画像Ｉ２，Ｉ３，Ｉ４の内部についても同様の処理を行うが、その場合は、点Ｏ１を用いるのではなく、左方カメラ１０Ｂ，右方カメラ１０Ｃ，後方カメラ１０Ｄのそれぞれの設置位置に対応した画像Ｉの中の点の位置を用いる。
【００４２】
このようにして、放射状に延びた中心線Ｍであると判断されたときには、端点リスト３５の中から、中心線Ｍの両側の端点を削除する。
【００４３】
＜横断歩道の検出方法の説明＞
次に、路面に描かれた横断歩道Ｚを検出する方法について説明する。横断歩道Ｚを検出する方法には様々なものが考えられ、そのいずれの方法を適用してもよい。ここでは、横断歩道Ｚの形状特徴を利用した検出方法について説明する。
【００４４】
横断歩道Ｚの形状特徴は、例えば、以下の（１）〜（２）のようなものである。
【００４５】
（１）横断歩道Ｚは、道路Ｒの伸びる方向に沿う長さＤの白線が、間隔Ｗで引かれている。
【００４６】
（２）横断歩道Ｚは本数Ｎの白線から構成されており、それらの白線は全て互いに平行になっている。
【００４７】
これらの形状特徴を図示すると、図５のようになる。こうした形状特徴は、予め、道路マーカデータベース４８に格納しておく。
【００４８】
なお、前記した形状特徴のうち、長さＤと間隔Ｗの値は、画像Ｉが観測している範囲によって変化する。しかし、撮像した画像を俯瞰画像に変換するパラメータは予めわかっているため、横断歩道を構成する白線の長さＤと間隔Ｗは、容易に推定することができ、こうして推定した値を用いて横断歩道Ｚの検出を行う。
【００４９】
道路マーカ検出部５０では、端点リスト４５に記憶された中心線Ｍの端点の位置を読み出して、道路マーカデータベース４８に格納されている情報と照合することによって、画像Ｉの中に横断歩道Ｚの像Ｚ’が映っているか否かを判断する。
【００５０】
具体的には、端点リスト４５に記憶された中心線Ｍの端点の位置に基づいて、各中心線Ｍの長さと予想される長さＤとの比較、隣り合う中心線Ｍの間隔と予想される間隔Ｗとの比較、隣り合う中心線Ｍ同士の平行度と評価、さらに、長さＤの条件、間隔Ｗの条件、平行度の条件を全て満たす中心線Ｍの本数と、横断歩道が存在したときに予想される中心線Ｍの本数Ｎとの比較を行って、横断歩道Ｚの像Ｚ’が映っているか否かを判断する。
【００５１】
この横断歩道の検出を行うときには、放射状に広がるエッジが既に取り除かれているため、処理対象となる端点の数が少なくなることによって、横断歩道の誤検出や未検出を防止できるとともに、横断歩道の検出を短時間で行うことができる
【００５２】
＜実施例１の作用の説明＞
次に、実施例１に係る車載画像処理装置５の一連の動作の流れについて、図６のフローチャートを用いて説明する。
【００５３】
（ステップＳ１０）  撮像部１０によって、車両１の周囲を撮像する。
【００５４】
（ステップＳ２０）  画像変換、合成部２０において、撮像部１０で撮像された画像が俯瞰図に変換され、さらに、図３（ｂ）に示すような１枚の画像Ｉに合成される。
【００５５】
（ステップＳ３０）  端点位置検出部３０において、画像Ｉの中から、左右方向に所定の間隔をもって隣接する、＋エッジを構成する画素と−エッジを構成する画素のペアであるエッジペアを検出する。
【００５６】
（ステップＳ４０）  さらに、端点位置検出部３０において、エッジペアを構成する２つの画素の中点で構成される中心線Ｍを検出する。
【００５７】
（ステップＳ５０）  そして、端点位置検出部３０において、中心線Ｍの両側の端点の位置を求める。
【００５８】
（ステップＳ６０）  検出された端点の位置を、端点リスト４５に記憶する。
【００５９】
（ステップＳ７０）  放射状エッジ検出部４０において、端点リスト４５に記憶された、中心線Ｍの両側の端点の位置を読み出して、先に説明した方法によって、中心線Ｍが放射状に広がるエッジをなしているか否かを判定する。放射状に広がるエッジをなしていると判定されたらステップＳ８０に進み、放射状に広がるエッジをなしていないと判定されたらステップＳ９０に進む。
【００６０】
（ステップＳ８０）  放射状エッジをなしていると判定された中心線Ｍの両側の端点を端点リスト４５から削除する。
【００６１】
（ステップＳ９０）  道路マーカ検出部５０において、画像Ｉの中から横断歩道Ｚの像Ｚ’を検出する。ここでは、道路マーカデータベース４８に記憶された横断歩道の形状特徴を読み出して、そこに記憶された横断歩道の形状特徴を有する一群の中心線Ｍが、端点リスト４５に記憶された、複数の中心線Ｍの両側の端点の位置を表すデータの中に存在するか否かを判断する。具体的には、端点リスト４５に記憶された中心線Ｍの両側の端点の位置を読み出して、中心線Ｍの長さと、隣接する中心線Ｍ同士の間隔と、隣接する中心線Ｍ同士の平行度を評価して、さらに、条件を満たす中心線Ｍの本数を評価して、横断歩道Ｚの像Ｚ’の有無を判断する。
【００６２】
（ステップＳ１００）  横断歩道Ｚの像Ｚ’が検出されたときは、情報出力部６０によって、横断歩道の手前では歩行者に注意する旨の情報を、画面表示もしくは音声ガイドによって出力し、運転者の注意喚起を行う。
【００６３】
以上説明したように、このように構成された本発明の車載画像処理装置５によれば、撮像部１０で撮像された路面を含む画像が、画像変換、合成部２０（画像変換部）で俯瞰画像に変換されて、端点位置検出部３０が、俯瞰画像の中を左から右に向かって（少なくとも１つの所定方向に）スキャンしながら、輝度が暗から明に変化する第１の点の位置と前記第１の点から前記所定方向に所定距離以内にある、輝度が明から暗に変化する第２の点の位置を検出し、前記所定方向に直交する方向に亘って検出された複数の第１の点からなる線素の両端点の位置、複数の第２の点からなる線素の両端点の位置、または前記第１の点と前記第２の点の中点同士を連結した中心線Ｍの両端点の位置を検出して、放射状エッジ検出部４０が、端点位置検出部３０で検出された両端点によって構成される線分の中から、撮像部１０の設置位置に対応する点から俯瞰画像の周縁に向かって延びる線分を検出して、道路マーカ検出部５０が、端点位置検出部３０で検出された両端点によって構成される線分のうち、放射状エッジ検出部４０で検出された線分を除いた線分に基づいて横断歩道Ｚ（道路マーカ）を検出するため、道路上に存在する立体物を構成するエッジの影響を除去することができ、これによって、路面に描かれた横断歩道Ｚ（道路マーカ）を安定して確実に検出することができる。
【００６４】
また、本発明の車載画像処理装置５によれば、放射状エッジ検出部４０が、俯瞰画像の中で、中心線Ｍの両端点のうち前方カメラ１０Ａの設置位置である点Ｏ１に近い側の端点ｍｎと前方カメラ１０Ａの設置位置である点Ｏ１とを結ぶ線分Ｏ１ｍｎと、前記両側の端点を結ぶ線分ｍ１ｍｎとのなす角度の差が所定の角度θｃ以内であるときに、その中心線Ｍの両端点を結ぶ線分ｍ１ｍｎを放射状エッジとするため、３つの点Ｏ１と、ｍｎと、ｍ１の位置関係を調べるという非常に簡単な処理によって放射状エッジを検出することができる。
【００６５】
なお、実施例１では、電信柱Ｓを例にあげて、道路上に存在する立体物を構成するエッジの影響を除去する例を説明したが、他の立体物がある場合、例えば、ガードレールや停止車両が存在した場合にも同様に、それらのエッジを除去することができるのはいうまでもない。
【００６６】
また、立体物以外にも、そのエッジの形状が放射状に広がるものがある。例えば、カメラのレンズに付着した水滴は、立体物ではないが、レンズ表面に付着することによって、図４（ａ）に示した電信柱Ｓの像Ｓ’のように、画像上で放射状のエッジを構成する。
【００６７】
レンズに付着した水滴は重力によって路面の方向（下方向）に流れ落ちるため、俯瞰変換前の画像において、立体物と同様に鉛直方向のエッジ成分を有するためである。
【００６８】
図７に、前方カメラ１０Ａで撮像した俯瞰画像Ｉ１の中に、水滴が付着した様子を示す。図７に示すように、レンズに水滴Ｍａ，Ｍｂが付着しており、水滴Ｍａの辺縁のエッジである、端点ｍａ１１と端点ｍａ１ｎを有する線分Ｌａ１と、端点ｍａ２１と端点ｍａ２ｎを有する線分Ｌａ２、そして、水滴Ｍｂの辺縁のエッジである端点ｍｂ１１と端点ｍｂ１ｎを有する線分Ｌｂ１と端点ｍｂ２１と端点ｍｂ２ｎを有する線分Ｌｂ２からなる放射状エッジを形成する。
【００６９】
このような放射状エッジも、実施例１で説明した方法を用いることによって検出することができる。そして、道路マーカを検出する際に、水滴によって発生した放射状エッジも削除して処理を行うことによって、雨天時であっても安定した道路マーカの検出が可能となる。
【００７０】
なお、図７に示した例では、線分Ｌａ１と線分Ｌａ２に挟まれた領域Ｍａ、および、線分Ｌｂ１と線分Ｌｂ２に挟まれた領域Ｍｂには水滴が付着していると予想されるため、線分のみでなく、それらの線分に挟まれた領域の情報を道路マーカの検出に使用しないことによって、道路マーカの検出結果の信頼度を高めることもできる。
【００７１】
水滴が付着した領域Ｍａや領域Ｍｂは透明な領域となるため、水滴を透過して道路や背景の情報が映りこむ可能性があり、これによって、擬似的なエッジが発生する可能性がある。そのため、放射状エッジに挟まれた領域の情報を道路マーカの検出に使用しないことによって、こうした擬似的なエッジによる道路マーカの誤検出を防止することができる。なお、水滴に挟まれた放射状エッジであることは、その領域の内部の輝度分布を算出して、例えば、輝度分布から算出されるエッジ強度が弱いときに、水滴が存在すると判断すればよい。
【００７２】
具体的には、図７において、端点ｍａ１１，端点ｍａ１ｎ，端点ｍａ２１，端点ｍａ２ｎで囲まれた領域Ｍａと、端点ｍｂ１１，端点ｍｂ１ｎ，端点ｍｂ２１，端点ｍｂ２ｎで囲まれた領域Ｍｂの内部の輝度分布からエッジ強度を算出して、水滴であると予測されたときには、その領域の内部の輝度値を、道路マーカの検出に用いないようにする。
【００７３】
このように、本発明の車載画像処理装置５によれば、放射状エッジ検出部４０で検出された複数の放射状エッジに挟まれた領域のうち、輝度分布が所定の条件を満たす領域の輝度情報を除いて道路マーカの検出を行うため、放射状エッジに挟まれた領域の内部に出現する擬似エッジによる道路マーカの誤検出を防止することができる。
【００７４】
以上、放射状エッジが出現する例として、立体物が存在する例と、レンズ表面に水滴が付着した例を説明したが、太陽光や街路灯の光が路面に反射して撮像部１０に撮像されることによって生じる路面反射が発生したときにも、放射状エッジが観測される場合がある。このような路面反射についても、立体物や水滴と同様にして、放射状エッジを道路マーカの検出処理から削除することによって、道路マーカの検出の信頼度を高めることができる。
【００７５】
なお、実施例１では、道路マーカ候補領域の中心線Ｍを検出して、この中心線Ｍが放射状エッジをなすときに、道路マーカの候補から除去する構成としたが、これは、道路マーカ候補領域の中心線Ｍではなく、道路マーカ候補領域を構成する＋エッジからなる線分を検出して、その線分が放射状エッジをなすときに、その＋エッジからなる線分を道路マーカの候補から除去するようにしてもよいし、または道路マーカ候補領域を構成する−エッジからなる線分を検出して、その線分が放射状エッジをなすときに、その−エッジからなる線分を道路マーカの候補から除去するようにしても同様の効果を得ることができる。
【００７６】
また、実施例１では、画像Ｉの中を、左から右に向かってスキャンしながら＋エッジを構成する画素と−エッジを構成する画素を検出したが、これは、他に方向に向かってスキャンしながら＋エッジを構成する画素と−エッジを構成する画素を検出して、複数の方向で検出した＋エッジを構成する画素と−エッジを構成する画素を合わせて、＋エッジを構成する画素と−エッジを構成する画素として取り扱うようにしてもよい。
【００７７】
このように複数の方向に亘って＋エッジを構成する画素と−エッジを構成する画素を検出することによって、画像Ｉの中で任意の方向に向かって延びている道路マーカを確実に検出することができる。
【００７８】
なお、実施例１では横断歩道Ｚの像Ｚ’を検出する例を説明したが、これは、横断歩道に限定されるものではない。すなわち、路面に描かれた道路マーカであれば、停止線、駐車枠、道路標識等の横断歩道以外の道路マーカであっても検出することができる。なお、このときに検出する道路マーカの形状特徴は、予め道路マーカデータベース４８に登録しておくものとする。
【００７９】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【００８０】
５      車載画像処理装置
１０    撮像部
１０Ａ  前方カメラ
１０Ｂ  左方カメラ
１０Ｃ  右方カメラ
１０Ｄ  後方カメラ
２０    画像変換、合成部
３０    端点位置検出部
４０    放射状エッジ検出部
４５    端点リスト
４８    道路マーカデータベース
５０    道路マーカ検出部
６０    情報出力部
【図１】
2014106704.tif 000003
【図２】
2014106704.tif 000004
【図３】
2014106704.tif 000005
【図４】
2014106704.tif 000006
【図５】
2014106704.tif 000007
【図６】
2014106704.tif 000008
【図７】
2014106704.tif 000009