(57)【要約】【課題】遠方の縁石も検出可能な路側物検出装置を提供すること。【解決手段】複数の撮影画像を用いて路側物を検出する路側物検出装置１００であって、複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段２４、２５，２６と、前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段２７と、前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段２９と、前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段３０と、を有することを特徴とする。【選択図】図１
2014002608.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮影画像を用いて路側物を検出する路側物検出装置であって、
複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、
前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、
前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、
前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、
を有することを特徴とする路側物検出装置。
【請求項２】
前記路側物検出手段は、
前記仮想線を、該仮想線に対し対称又は非対称になるように所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
ことを特徴とする請求項１記載の路側物検出装置。
【請求項３】
前記路側物検出手段は、
前記仮想線を、該仮想線に対し対称又は非対称になるように所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
前記近傍領域の前記路側物を含むテンプレート画像を切り出し、前記テンプレート画像により前記探索範囲にテンプレートマッチングを施すことで、前記遠方領域の前記路側物を検出するテンプレートマッチング手段と、を有する、
ことを特徴とする請求項１記載の路側物検出装置。
【請求項４】
複数の前記撮影画像の少なくとも１つから、自車両が走行する車線を区分する車線区分標示を検出する車線区分標示検出手段を有し、
前記路側物検出手段は、
前記仮想線を、前記仮想線と進行方向に対し左側の車線区分標示との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
ことを特徴とする請求項１記載の路側物検出装置。
【請求項５】
少なくとも先行車両の横位置と共に該先行車両を検出する先行車両検出手段を有し、
前記路側物検出手段は、
前記仮想線を、前記仮想線と前記先行車両との間で前記仮想線から離間する方向に平行移動すると共に、前記方向と反対方向に前記仮想線を該仮想線から離間する方向に所定の距離だけ平行移動することで前記路側物の前記探索範囲を設定する探索範囲設定手段と、
前記探索範囲のエッジを検出し、前記エッジから１つ以上の線分を生成し、前記線分の数及び長さの少なくともいずれかに基づき前記遠方領域にある前記路側物の前記特徴点から生成された前記線分を特定する線分特定手段と、を有する、
ことを特徴とする請求項１記載の路側物検出装置。
【請求項６】
前記テンプレートマッチング手段は、前記探索範囲のうち自車両に近い領域からテンプレートマッチングを行い、前記近傍領域の前記テンプレート画像により前記遠方領域の前記路側物を検出した場合、検出した前記路側物を含む領域を新たな前記テンプレート画像に設定し、前記探索範囲のうち次に自車両に近い領域からテンプレートマッチングを行う、
ことを特徴とする請求項３記載の路側物検出装置。
【請求項７】
前記線分特定手段は、前記遠方領域にある前記路側物の前記特徴点から生成された前記線分が２本の場合は歩道帯縁があると推定し、３本の場合は縁石があると推定する、
ことを特徴とする請求項２、４、５いずれか１項記載の路側物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影画像を用いて路側物を検出する路側物検出装置に関する。
【背景技術】
【０００２】
車載されたカメラで撮影した白線を利用して車線からの逸脱防止などの様々な運転支援を行う技術が知られている。白線が検出されない場合や白線の検出精度を向上させるために、縁石や歩道帯縁を検出して白線の手がかりとする場合がある（例えば、特許文献１参照。）。特許文献１には、カメラからの距離に応じて縁石の側面部の長さの増減と路面に平行な平行部の長さの増減が変わることを利用して縁石を検出する画像認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−０１８０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に開示された画像認識装置では、車両から比較的遠い縁石の検出が困難になるという問題がある。
【０００５】
図２６（ａ）は、撮影された遠方の縁石と近傍の縁石を示す図の一例であり、図２６（ｂ）は図２６（ａ）の写真を模式的に示す図の一例である。車両の左側に縁石が存在し、側面部がやや影になって撮影されている。側面部及び路面に平行な平行部の長さは、遠方に行くほど短くなるので、特許文献１に記載された検出方法では遠方の縁石ほど検出が困難になる。
【０００６】
本発明は、上記課題に鑑み、遠方の縁石等の路側物も検出可能な路側物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、  複数の撮影画像を用いて路側物を検出する路側物検出装置であって、複数の前記撮影画像を解析して、自車両からの距離が閾値未満の近傍領域における撮影対象の高さ情報を検出する高さ情報検出手段と、前記近傍領域の高さ情報から路側物により生じる路面の高さの変化を検出する高さ変化検出手段と、前記高さの変化が検出された位置を前記路側物の特徴点に決定し、前記特徴点を道路モデルに従って自車両からの距離が前記閾値以上の遠方領域に外挿する特徴点外挿手段と、前記特徴点外挿手段が前記特徴点を外挿して得られる仮想線に基づいて前記路側物の探索範囲を設定し、前記探索範囲から前記遠方領域の前記路側物を検出する路側物検出手段と、を有することを特徴とする路側物検出装置。
【発明の効果】
【０００８】
遠方の縁石等の路側物も検出可能な路側物検出装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】路側物検出装置による路側物の検出を概略的に説明する図の一例である。
【図２】路側物検出装置を含む運転支援システムの概略構成図の一例である。
【図３】カメラコンピュータの機能ブロック図の一例である。
【図４】路側物検出装置の動作点順を説明するフローチャート図の一例である。
【図５】フィルタ処理の一例を示す図である。
【図６】視差の探索を説明する図の一例である。
【図７】等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。
【図８】路面領域の推定を説明する図の一例である。
【図９】道路座標系と平面座標系等を説明する図の一例である。
【図１０】段差の検出を説明する図の一例である。
【図１１】走路パラメータの推定を説明する図の一例である。
【図１２】探索範囲の設定を説明する図の一例である。
【図１３】エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。
【図１４】カメラコンピュータの機能ブロック図の一例である（実施例２）。
【図１５】路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例２）。
【図１６】テンプレートマッチングの処理手順を説明するフローチャート図の一例である。
【図１７】テンプレートマッチングを説明する図の一例である。
【図１８】カメラコンピュータの機能ブロック図の一例である（実施例３）。
【図１９】路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例３）。
【図２０】白線の検出を模式的に説明する図の一例である。
【図２１】探索範囲設定部による探索範囲の設定を説明する図の一例である。
【図２２】エッジ線分検出部がエッジ線分を検出する手順を示すフローチャート図の一例である。
【図２３】カメラコンピュータの機能ブロック図の一例である（実施例４）。
【図２４】路側物検出装置が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である（実施例４）。
【図２５】探索範囲設定部による探索範囲の設定を説明する図の一例である
【図２６】撮影された遠方の縁石と近傍の縁石を示す図の一例である（従来図）。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１１】
図１は、路側物検出装置による路側物の検出を概略的に説明する図の一例である。まず、路側物検出装置は、ステレオカメラで車両の進行方向を撮影し、三次元情報を取得する。三次元情報は画面の全体から取得され得るが、路側物検出装置は近傍領域のみの路面構造を推定する。近傍領域のみの画像を使用するのは、遠方になるほど視差の誤差を含みやすくなるためである。
【００１２】
路側物検出装置は、三次元情報又は路面構造を利用して、近傍領域から高さ方向に一定以上の段差がある特徴点を検出する。例えば、画像データを水平方向に走査し、縁石と見なせる段差を検出する。図のＡ点のように縁石上の画素とＢ点のように縁石以外の画素では高さが異なっているので、縁石が形成する段差を検出することができる。
【００１３】
縁石の段差による特徴点は、１つの水平方向の走査で３点検出される（図の"×"マーク）。なお、歩道が縁石と同じ高さになる歩道縁帯の場合は２点の段差が検出される。
【００１４】
この段差の位置（座標）を道路モデルに適用すれば、道路モデルの係数（走路パラメータ）を求めることができる。なお、道路モデルは、道路の形状を数式とその係数で表す道路形状の表現形式である。道路モデルが定まれば、三次元情報が検出されていない遠方の画像において、道路モデルを外挿することで、縁石がある範囲を推定できる。道路モデルの外挿とは、道路モデルの式により定まる点を遠方領域で算出することをいう。この点の集まりは線になるが、本実施例ではこの線を仮想線と称する。
【００１５】
近傍領域と同様に、遠方領域の画像では縁石の段差がエッジとして検出されることが期待できる。そこで、仮想線を水平方向に左右に移動することで、エッジの探索範囲を設定する。路側物検出装置はこの探索範囲から縁石のエッジを検出する（図の三角のマーク）。
【００１６】
縁石があれば３本、歩道帯縁があれば２本のほぼ平行な直線が検出されるはずである。よって、路側物検出装置はエッジを直線に変換するなどして、エッジから線分を抽出する。そして、３本のほぼ平行な直線が水平方向の一定距離内に検出された場合に縁石を、２本のほぼ平行な直線が水平方向の一定距離内に検出された場合に歩道帯縁をそれぞれ検出する。
【００１７】
このように、正確な距離情報が得られる近傍領域の三次元情報を利用することで、遠方の縁石又は歩道帯縁の検出精度を向上させることができる。
【００１８】
〔構成例〕
図２は、路側物検出装置１００を含む運転支援システム５００の概略構成図の一例を示す。運転支援システム５００は、ＣＡＮ（Controller  Area  Network）バスなどの車載ＬＡＮを介して互いに接続された路側物検出装置１００、運転支援ＥＣＵ（Electronic  Control  Unit）２００及び作動デバイス３００を有している。
【００１９】
路側物検出装置１００は、後述する走路パラメータに加え、障害物までのターゲット情報などを運転支援ＥＣＵ２００に送信する。運転支援ＥＣＵ２００は走路パラメータやターゲット情報に基づき運転支援の必要性を判断し、作動デバイス３００に作動を要求する。作動デバイス３００は例えば、メータパネルの警報装置、電動パワーステアリング装置、及び、ブレーキアクチュエータなどである。
【００２０】
走路パラメータは、例えば、道路の曲率（半径）、道路の車線幅、車線内での自車両の横位置、道路に対する自車両のヨー角等、である。運転支援ＥＣＵ２００は、車載ＬＡＮに接続された他のＥＣＵ、又は、センサーが検出した情報（例えば、車輪速、操舵角、ヨーレート等）を用いて運転支援を行う。走路パラメータを用いた運転支援としては、ＬＤＷ（Lane  Departure  Warning）やＬＫＡ（Lane  Keeping  Assist）などが知られている。ＬＤＷは、横位置、ヨー角及び車速から車線を逸脱するおそれがある場合に警報音や振動などで運転者に注意喚起する運転支援をいう。ＬＫＡは、自車両が車線内の目標走行線を走行するように、電動パワーステアリング装置を制御してステアリングシャフトに操舵トルクを加えたり、車輪毎の制動やエンジン出力を制御する運転支援形態である。目標走行線を走行するように操舵トルク、又は、車輪毎の制動やエンジン出力を制御する以外に、車線から逸脱するおそれがある際に車線を維持するように制御するＬＫＡもある。このように、白線を検出することで多様な運転支援が可能になる。なお、本実施例では走路パラメータは白線から検出することができ、白線の検出が困難な場合は縁石や歩道帯縁から検出することができる。
【００２１】
また、ターゲット情報は、例えば、距離情報、相対速度、及び、方位（横位置）である。運転支援ＥＣＵ２００は、方位（横位置）から衝突のおそれがある障害物を抽出し、距離情報と相対速度から計算されたＴＴＣ（Ｔｉｍｅ  Ｔｏ  Ｃｏｌｌｉｓｉｏｎ）が所定値以下になると警報音を吹鳴したり減速するなどの運転支援を行う。
【００２２】
路側物検出装置１００は、右カメラ１１、左カメラ１２、及び、カメラコンピュータ１３を有している。右カメラ１１と左カメラ１２で１つのステレオカメラである。ステレオカメラは、例えば、光軸を車両前方に向けてルームミラーに配置されるが、ルーフトップなど別の場所に配置することもできる。右カメラ１１と左カメラ１２は、所定間隔（基線長）、離間して配置されている。右カメラ１１と左カメラ１２はそれぞれＣＣＤ又はＣＭＯＳ、裏面照射ＣＭＯＳなどの個体撮像素子を有している。右カメラ１１と左カメラ１２は輝度情報だけを取得するモノクロのカメラでも、カラーのカメラでもよい。
【００２３】
右カメラ１１と左カメラ１２は、それぞれほぼ同時に車両前方の所定範囲を周期的に撮影する。路面に白線が標示されている場合、画像には縁石（又は歩道帯縁）及び白線が撮影されている。なお、白線とは、路面標示の一例に過ぎない。白線と表現した場合、白い色の線に限られず有彩色の線状標示、点線、破線、ボッツドッツ及びキャッツアイなどを含む。
【００２４】
カメラコンピュータ１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮコントローラ、入出力Ｉ／Ｆ、及び、その他の一般的な回路を備えたコンピュータである。カメラコンピュータ１３は、後述するように、歪み補正・平行化、段差の検出、走路パラメータの推定、及び、遠方領域の線分の検出などを行う。
【００２５】
〔カメラコンピュータの機能について〕
図３は、カメラコンピュータ１３の機能ブロック図の一例を示す。カメラコンピュータ１３は、ステレオ画像取得部２１、歪補正・平行化部２２、エッジ抽出部２３、視差検出部２４、路面検出部２５、路面構造推定部２６、段差判定部２７、走路パラメータ推定部２８、探索範囲設定部２９、及び、エッジ線分検出部３０を有する。
【００２６】
これらの各機能は、図４のフローチャート図に示す路側物検出装置１００の動作の中で機能する。以下、図４に基づきこれらの各機能を順番に説明する。なお、図４の手順は、左右一対の画像が撮影される毎に繰り返し実行される。
【００２７】
＜Ｓ１０  画像データの取得＞
ステレオ画像取得部２１は、右カメラ１１が周期的に撮影した画像及び左カメラ１２が周期的に撮影した画像の画像データをそれぞれ取得し、バッファなどに記憶する。
【００２８】
＜Ｓ２０  歪補正・平行化＞
歪補正・平行化部２２は、予め取得してあるカメラの外部パラメータ、及び、内部パラメータを用いて左右の画像の歪みを補正し、平行化する。内部パラメータは、例えば右カメラ１１と左カメラ１２それぞれのレンズの歪みや歪曲収差、撮像素子の歪み、焦点距離などをいう。レンズの歪みは、例えば、レンズの設計値に基づき生成された補正変換テーブルを参照して、画像データを補正することで低減される。歪曲収差は半径方向の歪曲収差のモデルを用いたパラメータ推定に基づき画像データを補正することで低減される。
【００２９】
外部パラメータは、例えばカメラの取り付け位置と向きを数値化したものである。左右のカメラの取り付け位置（例えば高さ）及び向き（ピッチ、ロール、ヨー）にはわずかな違いがあるので、右カメラ１１と左カメラ１２の光軸も完全に高さが一致しかつ平行とならない場合がある。このため、この外部パラメータの違いによって、例えば、右カメラ１１と左カメラ１２の撮像系が光軸を中心に相対的に回転する場合がある。このような回転を低減するため、ステレオカメラでは、出荷前に車両メーカなどによりキャリブレーションされている。キャリブレーションでは、右カメラ１１と左カメラ１２でそれぞれ歪み校正用のチャートを撮影する。校正用のチャートは、市松模様状に正方形の白マスと黒マスが反転した格子が描かれている。例えば、左カメラ１２の画像の白黒のマスに、右カメラ１１の画像の白黒のマスが一致するように、画素同士の対応関係を特定する。対応関係はテーブルに登録され、例えば右カメラ１１の全画素に対応づけて、補正前の画素位置がどの画素位置に変換されるかが設定されている。
【００３０】
図では、内部パラメータと外部パラメータに基づく左右の画像の歪み補正及び平行化するためのデータをルックアップテーブル３１としている。このように、歪補正及び平行化することで効率的な視差の探索が可能になる。
【００３１】
図５（ａ）は、平行化された右カメラ１１の画像データと左カメラ１２の画像データの一例を示す図である。本実施形態では、道路座標系として、車幅方向をＸ軸、車高方向をＹ軸、及び、進行方向をＺ軸とする。座標Ｐ（X，Y，Z）は左カメラ１２の画素Ｐｌと右カメラ１１の画素Ｐｒにそれぞれ映る。
【００３２】
＜Ｓ３０  視差算出＞
視差を検出する際には、画素Ｐｌに画素Ｐｒが対応することを探索する。２つの画像が平行化されていることが分かっているので、路側物検出装置１００は、水平方向と平行にのみ画像データを探索すればよい。
【００３３】
なお、視差探索は、歪補正・平行化部２２が平行化した左右の画像データに対し行ってもよいが、エッジ強調処理を行ってから視差探索することで探索が容易になる。そこで、エッジ抽出部２３は左右の画像からエッジを抽出する。エッジ抽出のフィルタは各種知られているが、例えばｓｏｂｅｌフィルタを使用する。
【００３４】
図５（ｂ）はフィルタ処理の結果の一例を示す図である。元の画像には、白線、ガードレール、及び、木々などが撮影されているが、フィルタ処理により、右カメラ１１と左カメラ１２の画像は白線、ガードレール又は木々の端部が強調された（図では白い画素で示されている）画像になる。
【００３５】
図６（ａ）は、視差の探索を説明する図の一例である。ここでは右の画像データの画素に着目して、左の画像データから右の画像データと一致する（相関性が最も高い又は一定以上の相関性を有する）領域を特定する。視差算出部２７は、着目している画素を含む領域（以下、ウィンドウという）毎に、ＳＡＤ（Sum  of  Absolute  Difference）又はＳＳＤ（Sum  of  Squared  Differences）を計算する。ＳＡＤは画素毎の画素値の差の絶対値の合計であり、ＳＳＤは画素毎の画素値の差の二乗和である。いずれも小さいほど、ウィンドウに含まれる画像の一致度が高いことを意味する。
【００３６】
図示するように、（ｘ、ｙ）の画素に着目している場合、（ｘ、ｙ）の画素を中心とする矩形のウィンドウを生成し、右の画像からも（ｘ、ｙ）の画素を中心とするウィンドウを生成する。視差算出部２７は、左の画像のウィンドウと右の画像のウィンドウでＳＡＤ又はＳＳＤを算出すると、右の画像のウィンドウの全体を右に１ピクセル（画素）ずらしてＳＡＤ又はＳＳＤを算出することを繰り返す。つまり、平行化されているため、右の画像においてウィンドウをｙ軸方向にずらすことなく、１ピクセルずつｘ方向にずらせばよい。
【００３７】
図６（ｂ）はｘ方向のずらし量（視差）とＳＡＤの関係の一例を示す。ずらし量に対しＳＡＤが極小値を示している。いくつかの極小値のうち最小値を示す画素のずらし量が、右の画像で着目した画素（ｘ、ｙ）における視差である。
【００３８】
ｘ方向の探索範囲は予め定められているものとする。しかし、視差算出部２７は、右の画像のｘ方向の全ての画素に対してＳＡＤ又はＳＳＤを求めてもよいし、探索範囲を定めずにＳＡＤ又はＳＳＤが閾値以下の極小値を示した場合に、ＳＡＤ又はＳＳＤの算出を打ち切ってもよい。前者では最も確かな視差を求めることでき、後者ではある程度確からしい視差を効率的に求めることができる。
【００３９】
なお、上記のように輝度画像から視差を求めてもよい。また、エッジ画像と輝度画像の両方から視差を求めてもよい。エッジ画像と輝度画像の両方を用いた場合、ＳＡＤ又はＳＳＤが極小となる画素のずらし量の平均を視差とするか、又は、エッジ画像と輝度画像に重み付けして視差を決定する。こうすることで、より正確に視差を求めることができる。
【００４０】
視差算出部２７は、画素単位の整数視差に加え、サブピクセル視差を算出する。サブピクセル視差の求め方には、等角フィッティングやパラボラフィッティングなどが知られている。
【００４１】
また、視差は画面の全体で取得されてもよいし、近傍領域でのみ使用されることを考慮して近傍領域のみで取得されてもよい。
【００４２】
図７は等角フィッティングによるサブピクセル視差の求め方の一例を示す図である。図７では図６（ｂ）のＳＡＤが最小値となる視差と、その前後のＳＡＤ値が示されている。ＳＡＤが最小値になる視差のＳＡＤ値をｃ、最小値より視差が小さい側のＳＡＤ値をａ、視差が大きい側のＳＡＤ値をｂ、とする。ａ＝ｂであれば、ＳＡＤが最小値になる視差がサブピクセル単位の視差である。図示するようにａ＞ｂの場合、サブピクセル視差ＳＰは最小値となる視差より、大きい値となる。ａ＜ｂの場合はこの逆になる。等角フィッティングでは、ＳＡＤが最小値になる視差に対し、サブピクセル視差ＳＰを以下のようにして求める。
ａ＞ｂの場合  ＳＰ＝（ａ−ｂ）／２（ａ−ｂ）
ａ≦ｂの場合  ＳＰ＝−（ｂ−ｃ）／２（ｂ−ｃ）
視差算出部２７は、整数視差とサブピクセル視差ＳＰの和を注目画素の視差に決定する。このように画素単位で視差が求められると、画素単位で画素に映っている物までの距離を算出することができる。
【００４３】
＜Ｓ４０  路面推定＞
路面検出部２５は、視差画像から路面の構造を推定する。このため、まず、画像から路面の領域だけを推定する。なお、路面の領域とは、縁石や歩道帯縁などの歩行者が走行する領域と、車両が走行する車道を区別することなく、立体物がない平坦な領域であれば路面の領域とする。
【００４４】
図８は、路面領域の推定を説明する図の一例である。図８では、画像に視差情報を重畳して表している。視差に輝度を対応づけ画像データと重畳することで、同じ視差の画素は同程度の輝度になるように加工されている。
【００４５】
画像に立体物が撮影されている場合、立体物までの距離はその立体物において同程度なので視差も同程度となる。これに対し、路面は遠方になるほど視差が大きくなるので、ｙ方向の視差はｙ値に応じて異なる。よって、画像のｙ座標の下端から上方に走査して（図の矢印）、視差の違いが所定値内の画素が連続する場合は、立体物と判定できる。視差の違いが所定値内の画素が連続しない場合、路面（の視差）であると判定する。なお、所定値とは、本実施例ではサブピクセル単位の視差を検出しているので、１ピクセル未満とすることができる。
【００４６】
図示する矢印にて走査した場合、歩道や縁石を含め路面を走査中は視差が徐々に大きくなるので路面であると判定される。先行車両の走査を開始すると、視差の変化が所定値内に収まるので立体物と判定される。
【００４７】
＜Ｓ５０  路面構造の推定＞
路面構造推定部２６は、車両に対し近傍領域のみの視差情報を用いて路面構造の推定を行う。近傍領域のみの画像データを用いることで、誤差が含まれやすい遠方の視差情報を用いることなく路面構造を推定できる。近傍領域とは、視差情報の精度に信頼性がある領域であり、ステレオカメラの品質や設計に依存する。また、日中と夜間の違い、又は、晴天と雨天の違い等により視差情報の精度が影響される場合、ある車両に搭載された同一のステレオカメラであっても、近傍領域が一定とはならない場合がある。したがって、近傍領域は視差情報の精度が閾値以上のある領域（画像のｙ座標の下端から所定画素数）に対し、条件が悪化した場合を考慮して所定のマージンを設けた領域（つまり、視差情報の精度が閾値以上のある領域よりもやや狭い領域）である。また、照度センサなどにより日中か夜間かを検出し、また、レインセンサなどにより天候を検出して、近傍領域を可変に設定してもよい。こうすることで、視差情報の精度に影響を与える状況に応じて、最大限、遠方までの視差情報を利用することができる。
【００４８】
まず、路面構造推定部２６は、視差情報を利用して、近傍領域の路面までの距離Ｄを算出する。
Ｄ＝（ｆ×Ｂ）／（Δｄ）
ｆはレンズの焦点距離、Ｂは基線長、Δｄは視差（画素数×撮像素子の画素ピッチ）である。
【００４９】
また、図９（ａ）に示すように道路座標系を取る。レンズの中心を原点として、左から右の水平方向をＸ軸、車両の高さ方向をＹ軸、車両の進行方向をＺ軸とする。また、画像内の点の座標系である平面座標系は、原点が道路座標系のＺ軸上にあり、Ｘ軸に平行なｘ軸、Ｙ軸に平行なｙ軸を有する座標系であるとする。焦点距離ｆが無視できるほどレンズから像までの距離が長い場合、距離Ｄにある物体の高さＹ、横位置Ｘは以下の式から求められる。
Ｘ＝ｘＤ／ｆ
Ｙ＝−ｙＤ／ｆ
Ｘ、Ｙが分かればＤが分かっているのでＺを求めることができる。これにより路面のＹ座標が得られるので、Ｚ軸方向の路面の構造を定式化することができる。
【００５０】
図９（ｂ）は路面構造の定式化を説明する図の一例である。路面は一般には平坦であり、また、元々の特殊な地形を除けば道路設計上の勾配の上限は法令などで定められている。したがって、一次間数や二次関数で近似することができる。路面構造は、断面曲率をａ、ピッチをｂ、カメラ高さをｃとすると例えば下記の式で表される。
Ｙ＝ａ×Ｚ２＋ｂ×Ｚ＋ｃ  …（１）
距離ＤをＺに、距離Ｄから求めたＹを式（１）に代入し、最小二乗法などを用いることで、ａ、ｂ、ｃを決定することができる。なお、回帰的に係数を求めることができれば、最小二乗法の他、ニュートン法、ガウスニュートン法などを用いてもよい。
【００５１】
＜Ｓ６０  段差検出＞
段差判定部２７は、路面（縁石、歩道帯縁と車道の区別がされていない）から段差を検出する。ここまでの処理により路面と推定された領域の画素では、距離Ｄ、高さＹ、及び、横位置Ｘが求められている。また、路面構造が求められている。
【００５２】
段差判定部２７は、路面構造と高さＹの少なくとも一方を用いて、段差を検出する。３次元情報の高さＹを直接用いてもよいが、３次元情報はばらついている場合がある。このため、式（１）等のように路面構造により求めた高さＹを用いることが好適となる。しかしながら、３次元情報の高さＹを直接用いて段差を検出することも可能である。
【００５３】
図１０は段差の検出を説明する図の一例である。図１０（ａ）では、ｙ座標の値が一定の画素に対し、ｘ方向に矢印線（以下、走査水平ラインという）が描画されている。段差判定部２７は、高さＹが求められているｙ方向の領域において、走査水平ラインに沿って走査し、高さＹを読み出す。
【００５４】
図１０（ｂ）は画素と段差を対応づけて説明する図の一例である。図１０（ｂ）は路面の左側に歩道帯縁があるので、点Ａ、点Ｂの高さＹは同程度である。点Ｂから点Ｄの画素は歩道帯縁の段差の側面部に相当するので、高さＹは点Ｂと点Ｄの間の値を取る。点Ｄ以降の例えば点Ｅの高さＹは車道となるのでＸ座標に関係なくほぼ一定となる。なお、点Ｂから点Ｄの高さＹは模式的に示したものに過ぎず、点Ｃの高さは点Ｂの高さＹ以下、点Ｄの高さＹ以上であればよい。
【００５５】
したがって、段差判定部２７は、点Ｂの高さＹと点Ｄの高さＹが異なることから、段差を検出する（段差があると判定する）。なお、段差の高さは例えば道路構造例により定められているので、その値を参考に段差の閾値（例えば、１５ｃｍ）を設定する。この値は、国や地域に応じて変更できる。
【００５６】
よって、段差判定部２７は、走査水平ラインに沿って左から右に高さＹを読み出し、高さＹが閾値程度低下した場合、又は、走査水平ラインと逆方向に沿って右から左に高さＹを読み出し、高さＹが閾値程度上昇した場合、段差を検出する。なお、走査水平ラインの走査範囲は画像の中央より左側などに限定してもよく、こうすることで処理負荷を抑制し段差の検出速度を向上できる。
【００５７】
また、縁石や歩道帯縁の段差は、路面からほぼ９０度に立ち上がっているので、高さＹが変化するＸ軸方向の範囲を例えば、１０ｃｍ〜３０ｃｍ程度に制限してもよい。こうすることで、縁石や歩道帯縁がないが物が置かれている場所から段差を検出してしまうことを抑制できる。
【００５８】
段差判定部２７は、点Ｂ、点Ｄを特徴点として特定する。よって、１つの走査水平ラインに対し２つの特徴点が特定される。これらの特徴点の距離Ｄ（Ｚ）、高さＹ、及び、横位置Ｘは明かになっている。
【００５９】
図１０（ｃ）は縁石の場合の画素と段差を対応づけて説明する図の一例である。縁石の場合、縁石よりも画像の端に近い領域は車道と同じ高さＹとなる。よって、点Ｆ、点Ｅの高さＹは同程度である。その後、点Ａで高さＹは急に大きくなり、点Ｂまで同程度の高さＹを維持する。点Ｂ以降の高さは図１０（ｂ）と同様である。
【００６０】
したがって、段差判定部２７は、走査水平ラインに沿って左から右に高さＹを読み出した場合に高さＹが閾値程度増大し、さらに走査水平ラインに沿って左から右に高さＹを読み出した場合に高さＹが閾値程度減少した場合、段差を検出する。走査水平ラインと逆方向に沿って走査する場合も同様である。なお、縁石の場合、高さＹの増大又は減少の一方のみから段差を検出してもよい。
【００６１】
段差判定部２７は、点Ａ、点Ｂ、点Ｄを特徴点として特定する。よって、縁石の場合、１つの走査水平ラインに対し３つの特徴点が特定される。
【００６２】
また、縁石や歩道帯縁の断面形状は９０度に側面部が立ち上がる場合が多いが、９０度以上の緩やかな角度で立ち上がったり、９０度未満の鋭角で立ち上がる場合でも、高さＹから段差を検出することができる。その他、縁石や歩道帯縁の断面形状は限定されない。また、縁石や歩道帯縁にキャッツアイが埋設されていてもよい。
【００６３】
＜Ｓ７０  走路パラメータの推定＞
走路パラメータ推定部２８は、道路モデルを設定し道路モデルの係数を決定することで走路の走路パラメータを推定する。道路はクロソイド曲線やＢスプラインモデルに基づき設計されることが多い。縁石や歩道帯縁は道路に沿って配置されるので、特徴点も道路モデルに沿って検出されていると予想できる。
【００６４】
図１１は走路パラメータの推定を説明する図の一例である。例えば、歩道帯縁の場合、走査水平ライン毎に２点の特徴点が検出されている。走路パラメータ推定部２８はこれらの特徴点からそれぞれ道路モデルの係数を推定する。係数の推定にはいくつか方法がある。例えば、道路モデルの式を用いて、複数の特徴点の座標を代入し、最小二乗法により道路モデルの係数を特定する方法や、カルマンフィルタやパーティクルフィルタ等の最尤値推定手法を用いて、係数を推定する方法がある。係数が求められば道路モデルに基づき走路パラメータが求められる。
【００６５】
道路モデルの一例として例えば以下のように定義する。
Ｘ＝Ｘ０＋θ×Ｚ＋０．５×ｃ×Ｚ２  …（２）
ｘ０は、Ｚ＝ゼロにおいて、ＸＺ平面の原点から特徴点までの距離である。θは、右カメラ１１又は左カメラ１２の光軸と縁石又は歩道帯縁とのなす角（車両のヨー角）である。θは正面方向に対し右向きを正とする。ｃは道路の曲率である。ｃはＸＺ平面の定義から左カーブで負、右カーブで正となる。式（２）によれば、ｘ０を起点に、ヨー角によるずれを補正し（車両が右向きのヨーを有する場合、白線は左方向に傾斜して撮影されるのでその分を補正する）、曲率ｃをｚの二乗で作用させている。
【００６６】
走路パラメータ推定部２８は、式（２）にＸＺ平面の特徴点の座標（Ｘ、Ｚ）を代入し、最小二乗法でθとｃを求める。これにより、走路パラメータの内、ヨー角θと道路の曲率ｃ（半径Ｒ）を求めることができる。また、幅員Ｗは、任意のＺ座標における左側の白線（白線がある場合は白線で、なければ左側の縁石等の特徴点）から、右側の白線（白線がある場合は白線で、なければ右側の縁石等の特徴点）までの距離から求められる。車線内の自車両の位置は、例えばレーンの中央位置をゼロ（基準）にして、Ｗ／２−Ｘoにより表すことができる。このように、縁石や歩道帯縁から走路パラメータを求めることができる。
【００６７】
＜Ｓ８０  探索範囲の設定＞
探索範囲設定部２９は、係数が決定された道路モデルを用いてエッジの探索範囲を設定する。エッジの探索範囲とは、遠方領域の縁石や歩道帯縁のエッジを探索するための画像処理範囲である。
【００６８】
図１２は、探索範囲の設定を説明する図の一例である。走路パラメータ推定部２８により、近傍領域の特徴点から所定の道路モデルの走路パラメータが決定されている。探索範囲設定部２９は、まず、決定された走路パラメータを用いて、遠方領域の任意のＺにおけるＸを算出する。これにより、縁石や歩道帯縁の特徴点を遠方領域に外挿した仮想線４１が得られる。
【００６９】
探索範囲設定部２９は、仮想線に対称又は非対称に仮想線を所定距離、平行移動して探索範囲を設定する。仮想線４１は２本の直線の間に存在するようになる。例えば、直線道路では、仮想線４１をＸ軸方向の正方向と負方向（左側と右側）に所定距離、平行に移動することで２つの探索範囲線４２，４３を設定する。正方向の探索範囲線４３から負方向の探索範囲線４２までがエッジの探索範囲である。
【００７０】
また、前方で道路がカーブしているため、画面のｙ軸方向に対し縁石等が傾きを持っている場合は、仮想線４１を仮想線４１に対し斜め上と斜め下に所定距離、平行に移動することで２つの探索範囲線４２，４３を設定する。また、前方で道路がカーブしているため、画面のｘ軸方向に対し略平行な縁石等が撮影されている場合は、仮想線４１を仮想線４１に対し上方向と下方向に所定距離、平行移動して探索範囲を設定する。なお、仮想線４１と探索範囲線４２までの距離、仮想線４１と探索範囲線４３までの距離は、等しくても（対称）、等しくなくてもよい（非対称）。
【００７１】
歩道帯縁の場合、特徴点から２本の仮想線４１が得られ、縁石の場合は３本の仮想線４１が得られる。このため、１本の特徴点の仮想線毎に探索範囲をそれぞれ設定した場合、探索範囲を設定するために仮想線の数×２本の線分を設定する。
【００７２】
また、探索範囲設定部２９は、Ｘ値が最も大きい仮想線４１に対し、Ｘ値が大きくなる方向に探索範囲線４３を設定し、Ｘ値が最も小さい仮想線４１に対し、Ｘ値が小さくなる方向に探索範囲線４２を設定してもよい。こうすることで、縁石のように３つの特徴点の仮想線４１が検出されても、探索範囲の設定のためには２本の探索範囲線４２，４３を設定すればよいことになる。
【００７３】
＜Ｓ９０  エッジ線分の検出＞
エッジ線分検出部３０は、探索範囲からエッジ線分を検出する。すでにエッジ抽出部がエッジを抽出しているので、探索範囲のエッジは検出されている。これらのエッジには、近傍領域の特徴部と連続したエッジが含まれているので、エッジ線分検出部３０は近傍領域の特徴部と連続したエッジ線分を検出する。
【００７４】
図１３（ａ）は、エッジ線分検出部３０がエッジ線分を検出する手順を示すフローチャート図の一例である。
【００７５】
まず、エッジ線分検出部３０は、探索範囲のエッジを読み出す（Ｓ３０１）。
【００７６】
エッジ線分検出部３０は、エッジにハフ変換を施す（Ｓ３０２）。このハフ変換は線分の検出を目的とするので、確率的ハフ変換であることが好ましい。確率的ハフ変換により検出される線分は端点を有し、また、同じ端点を通過する線分は１つだけである。なお、ハフ変換で線分を検出するのでなく、例えば２点のエッジを通過する一次関数を求め、該一次関数上にある他のエッジを特定していくことで、線分を検出してもよい。
【００７７】
次に、エッジ線分検出部３０は一定以上の長さの線分を抽出する（Ｓ３０３）。一定以上の長さの線分とは、遠方領域をある程度カバーする程度の長さ（例えば、１０〜３０メートル）である。エッジ線分は、Ｚ方向に途切れていてもよく、Ｚ方向の直線に載る（傾きも切片も同じ）複数のエッジ線分の長さが一定以上の長さであればよい。
【００７８】
エッジ線分検出部３０は、一定以上の長さの線分が、水平方向（Ｘ方向）の一定距離内に２本又は３本あるか否かを判定する（Ｓ３０４）。また、一定以上の長さの線分がほぼ平行であることを条件に加えてもよい。この場合の一定距離とは、縁石又は歩道帯縁の特徴点がある範囲なので例えば数十ｃｍ（５０ｃｍ〜１００ｃｍ）とすればよい。
【００７９】
図１３（ｂ）は一定以上の長さの線分の数と、縁石又は歩道帯縁の判定の一例を示す図である。２本ある場合には、歩道帯縁の特徴点である可能性が高く、３本ある場合には縁石の特徴点である可能性が高い。このようにして、遠方領域の縁石又は歩道帯縁を検出することができる。
【００８０】
したがって、エッジ線分検出部３０は、２本のエッジ線分を検出した場合、歩道帯縁を検出し、３本のエッジ線分を検出した場合、縁石を検出する（Ｓ３０５）。
【００８１】
なお、一定以上の長さの線分が１本しかない場合に、縁石又は歩道帯縁の特徴点であると判定してもよい。しかし、誤検知とならないように、さらに条件を加えることが好ましい。例えば近傍領域の特徴点の傾きと、一定以上の長さの線分の傾きが一致する場合にのみ、縁石又は歩道帯縁の特徴点であると判定する。
【００８２】
また、一定以上の長さの線分が４本以上あった場合、近傍領域の特徴点の数から絞り込むことができる。例えば、近傍領域の特徴点が３つなら、一定以上の長さの線分のうち、傾きが最も異なっている線分、又は、近傍領域と遠方領域の境界で近傍領域の特徴点から最も遠くにある線分を排除する。
【００８３】
このようにして遠方領域の縁石又は歩道帯縁が検出されることで、遠方領域の走路パラメータが決定される。よって、例えば、遠方領域の白線が検出されない場合でも、遠方領域の走路パラメータを決定でき、運転支援ＥＣＵは走路パラメータに基づき運転支援することが可能となる。
【００８４】
以上説明したように、本実施例の路側物検出装置１００は、近傍領域の精度が高い視差情報を用いて段差を検出し、段差の特徴点を遠方領域に外挿することで、遠方領域の縁石や歩道帯縁の検出精度を向上できる。
【実施例２】
【００８５】
実施例１では探索範囲のエッジから線分を検出して縁石や歩道帯縁を検出したが、本実施例では特徴点が外挿された領域にテンプレートマッチングを施して縁石や歩道帯縁を検出する路側物検出装置１００について説明する。
【００８６】
図１４は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図１４においてすでに説明した機能の説明は省略し主要部について説明する。図１４のカメラコンピュータ１３は、テンプレートマッチング部３２を有している。テンプレートマッチング部３２は、近傍領域の縁石の画像からテンプレート画像を作成し、探索範囲の画像とテンプレートマッチングする。
【００８７】
図１５は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図１５では実施例１のステップＳ９０の処理がテンプレートマッチングに置き換わっている。
【００８８】
＜Ｓ９２  テンプレートマッチング＞
図１６はテンプレートマッチングの処理手順を説明するフローチャート図の一例であり、図１７はテンプレートマッチングを説明する図の一例である。
【００８９】
テンプレートマッチング部３２は、近傍領域の縁石を含む画像（輝度画像）を切り出してテンプレート画像を作成する（Ｓ４０１）。切り出す範囲は、少なくとも縁石の側面部を含むことが好ましい。なお、縁石では、歩道帯縁と異なり歩道側にも特徴点があるので特徴点を含むように切り出すことが好ましい。これらの特徴点は図１０（ｂ）（ｃ）から明らかなので、テンプレートマッチング部３２は、最適化されたサイズでテンプレート画像を切り出すことができる。一方、歩道帯縁の場合に切り出す画像のサイズを変える必要性は低いので、歩道帯縁か縁石かに関わらず切り出すサイズは共通にしてよい。例えば、テンプレート画像の横のサイズは特徴点ＢＤの間隔の２倍程度、縦のサイズはそれと同程度かやや小さくする。
【００９０】
テンプレートマッチング部３２は、好ましくは、近傍領域のうち車両から最も遠方の領域からテンプレート画像を切り出す。遠方領域の縁石や歩道帯縁に類似したテンプレート画像を切り出しやすくなるためである。
【００９１】
なお、近傍領域が固定されており、車両から最も遠方の領域からテンプレート画像を切り出す場合、テンプレート画像のサイズも同程度となるはずなので、特徴点に基づき切り出す画像を決定するのでなく、予めテンプレート画像のサイズを定めておくことができる。
【００９２】
また、テンプレート画像は輝度画像としているが、エッジ画像からテンプレート画像を切り出してもよい。
【００９３】
次に、テンプレートマッチング部３２は、道路モデルを外挿して得られた仮想線４１を中心に、遠方領域の探索範囲の画像にテンプレートマッチングを施す（Ｓ４０２）。仮想線４１は、遠方領域の縁石や歩道帯縁の特徴点又はその近くに存在する可能性が高い。そこで、テンプレートマッチング部３２は、遠方領域の仮想線４１を中心にテンプレート画像でテンプレートマッチングを施す。テンプレートマッチングは画像で行われるので、仮想線４１は平面座標系に変換されている。なお、テンプレートマッチングは、探索範囲のうち自車両からの距離が近い部分から行う。例えば、探索範囲を遠方方向にいくつかのグループに分け、グループ単位でテンプレートマッチングを行う。
【００９４】
テンプレートマッチング部３２は、グループ内で画素をずらしながら探索する毎に類似度を算出する。類似度は例えばＳＡＤやＳＳＤの逆数である。
【００９５】
次に、テンプレートマッチング部３２は、グループ内の探索範囲で最大の類似度を特定し、その値が閾値以上か否かを判定する（Ｓ４０３）。
【００９６】
類似度が閾値以上の場合（Ｓ４０３のＹｅｓ）、テンプレートマッチング部３２は最もよい類似度が得られたテンプレート画像の位置に縁石があると決定する（Ｓ４０４）。テンプレート画像では特徴点が得られているので、テンプレート画像と同サイズの探索領域の画像において、対応する画素に特徴点があると推定することができる。または、テンプレート画像と同サイズの探索領域の画像からエッジを検出しても特徴点の位置を特定できる。
【００９７】
テンプレートマッチング部３２は、縁石があると判定した画像を切り出して新たなテンプレート画像に設定する（Ｓ４０５）。
【００９８】
テンプレートマッチング部３２は新しいテンプレート画像を用いて、探索範囲の次のグループの領域にステップＳ２０以下の処理を繰り返す。遠方領域では、縁石や歩道帯縁は徐々に小さくなるので、テンプレート画像の外縁を削除するなどして徐々にテンプレート画像を小さくしてもよい。
【００９９】
このように、遠方領域の縁石又は歩道帯縁の位置を特定しながらテンプレート画像を切り替え、遠方の縁石又は歩道帯縁の特定を繰り返すので、検出対象の縁石又は歩道帯縁と類似した画像をテンプレート画像に設定できる。よって、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
【実施例３】
【０１００】
本実施例では白線を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置１００について説明する。
【０１０１】
図１８は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図１８においてすでに説明した機能の説明は省略し主要部について説明する。図１８のカメラコンピュータ１３は、白線検出部３３を有している。白線検出部３３は、縁石又は歩道帯縁側の白線を検出する。また、エッジ線分検出部３０は実施例１のカメラコンピュータも有していたが、本実施例のエッジ線分検出部３０は、エッジ線分を検出すると共に白線との平行度や白線との距離を評価して縁石や歩道帯縁の特徴点が形成するエッジ線分を特定する。
【０１０２】
図１９は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図１９では新たにステップＳ１００の白線検出処理が追加されている。また、ステップＳ８０，Ｓ９０の処理は白線を利用したものとなるので実施例１と異なっている。
【０１０３】
＜Ｓ１００  白線検出＞
白線検出部３３は、右カメラ１１又は左カメラ１２が撮影した画像から白線を検出する。ステレオカメラの場合、どちらか一方のカメラの画像から白線を検出してもよく、右カメラ１１と左カメラ１２の画像の共通領域から白線を検出してもよい。
【０１０４】
図２０は、白線の検出を模式的に説明する図の一例である。白線検出部３３は、エッジ画像又は輝度画像から白線を検出する。図２０では、画像データ（平面座標系の白線）を模式的に示している。白線検出部３３は、エッジ抽出部２３が抽出したエッジのうち、エッジ強度が閾値以上の画素を特定する。図２０では左右の白線のそれぞれで、道路の輝度から白線の輝度に変化するエッジと、白線の輝度から道路の輝度に変化するエッジが求められている。なお、道路の中央には白線がないと推定して、白線の検出領域を画像の右側の一部と左側の一部にそれぞれ制限してもよい。これにより、カメラコンピュータ１３の処理負荷を低減できる。
【０１０５】
白線検出部３３は、画面の下から上にエッジ強度が閾値以上の画素を探索する。白線が直線でも画像には「ハ」の字状（下方の間隔が広く、上方の間隔が広い２本の直線状）に撮影されるので、それまで探索した複数のエッジを延長して探索を繰り返す。白線が存在すれば、左右の白線のそれぞれで画面の下から上方向にエッジが得られる。このエッジは、実線の白線が良好に撮影されていれば連続して検出され、点や破線であれば、間隔を置いて検出される。
【０１０６】
白線検出部３３は、ほぼ連続してエッジが検出されるか否か、又は、検出されない場合にはエッジの間隔が等間隔か否かなどを判定することで、エッジが白線の一部と推定できる否かを判定する。エッジが白線の一部であると判定した場合、左右それぞれの２本のエッジ線の幅を一般的な白線の幅と比較するなどして白線でないものを削除することで、左右にそれぞれ白線を検出する。なお、必ずしも左右に白線があるとは限らず、どちらかの白線しか検出されない場合がある。本実施例では、少なくとも縁石又は歩道帯縁側の白線を検出する。白線検出部３３は、道路座標系と平面座標系の対応式を用いて、白線エッジをＸＺ平面にて表すことができる。
【０１０７】
＜Ｓ8０  探索範囲の設定＞
図２１は、探索範囲設定部２９による探索範囲の設定を説明する図の一例である。縁石よりも車道側に白線が標示されている。縁石又は歩道帯縁はこの白線よりも歩道側にあるはずである。
【０１０８】
探索範囲設定部２９は、外挿された仮想線４１を平行移動して探索範囲線４２，４３を設定するが、この時、探索範囲線４３が白線を越えないように探索範囲を再設定（修正）する。例えば、車道側の探索範囲線４３が白線よりも歩道側になるように、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
【０１０９】
＜Ｓ９０  エッジ線分の検出＞
エッジ線分検出部３０は、探索範囲からエッジ線分を検出し、そのエッジ線分と白線を比較して縁石や歩道帯縁の特徴点のエッジ線分を絞り込む。
【０１１０】
図２２は、エッジ線分検出部３０がエッジ線分を検出する手順を示すフローチャート図の一例である。図２２では新たにステップＳ３１１の処理が追加されている。
【０１１１】
エッジ線分検出部３０は、ステップＳ３０３で検出された一定以上の長さの線分から、さらに以下のエッジ線分を抽出する（Ｓ３１１）。
・白線との平行度が閾値以上
・白線との距離が所定範囲内
平行度を求めるため、白線に一次関数を適用して最小二乗法などで関数化する。エッジ線分は直線なので、エッジ線分と白線の傾きを比較することで平行度を特定できる。また、白線との距離は、エッジ線分上の任意の点から引いたエッジ線分に垂直な線が白線と交わる点を求め、エッジ線分上の点との２点間の距離として求めることができる。
【０１１２】
平行度の閾値は、例えば５〜１０度程度とする。また、白線が探索される所定範囲は、近傍領域の白線と縁石又は歩道帯縁との距離から設定される。すなわち、近傍領域において白線と縁石又は歩道帯縁との距離が５０ｃｍであれば、これにマージンを加え例えば６０ｃｍとする。
【０１１３】
エッジ線分検出部３０は、このようにして特定した２本又は３本のエッジ線分を縁石又は歩道帯縁の特徴点から形成されるエッジ線分であると判定する。
【０１１４】
このように、本実施例の路側物検出装置１００は、縁石側の白線を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
【実施例４】
【０１１５】
本実施例では先行車両を利用して遠方領域の縁石又は歩道帯縁を検出する路側物検出装置１００について説明する。
【０１１６】
図２３は、本実施例のカメラコンピュータ１３の機能ブロック図の一例を示す。図２３においてすでに説明した機能の説明は省略し主要部について説明する。図２３のカメラコンピュータ１３は、先行車検出部３４を有している。先行車検出部３４は、自車両に先行して走行している先行車を検出する。また、探索範囲設定部２９は探索範囲が先行車よりも歩道側になるように探索範囲線を再設定する。
【０１１７】
図２４は、路側物検出装置１００が画像から縁石や歩道帯縁を検出する手順を示すフローチャート図の一例である。図２４では新たにステップＳ１１０の先行車検出処理が追加されている。また、ステップＳ８０の処理は先行車を利用したものとなるので実施例１と異なっている。
【０１１８】
＜Ｓ１１０  先行車の検出＞
先行車検出部３４は予め用意されているテンプレートを用いて、画像中の先行車両を検出する。また、オプティカルフローを利用してもよい。例えば、画素値の変化が連続的ないくつかのグループにグループ分けして、路面に対しゼロより大きい速度で移動し、自車両の前方にあるグループは先行車両であると推定する。また、先行車をミリ波などのレーダ装置で検出してもよいが、先行車の横位置の検出精度は画像から求めた場合の方が高いことが多い。
【０１１９】
先行車検出部３４は、先行車までの距離と横位置を対応づけて記録する。距離を検出することで、先行車が遠方領域を走行していることを確認できる。また、先行車検出部３４は、過去の数フレームの距離と横位置を記録しておく。これにより、先行車の軌跡を求めることができる。
【０１２０】
＜Ｓ8０  探索範囲の設定＞
図２５は、探索範囲設定部２９による探索範囲の設定を説明する図の一例である。先行車が走行しているが、縁石又は歩道帯縁は先行車よりも歩道側にあるはずである。
【０１２１】
探索範囲設定部２９は、仮想線４１を平行移動して探索範囲を設定するが、この時、探索範囲線４３が先行車に重ならないように探索範囲を再設定する。例えば、車道側の探索範囲線４３が先行車よりも歩道側になるように、平行移動すればよい。これにより、縁石や歩道帯縁を含んだまま、探索範囲を狭めることができ、エッジ線分の検出時間を短縮できる。
【０１２２】
ステップＳ９０のエッジ線分の検出方法は実施例１と同様である。また、先行車の過去の横位置が所定長以上の長さを有する場合、横位置の軌跡を白線とみなし、実施例３と同様に平行度や距離を判定してもよい。
【０１２３】
このように、本実施例の路側物検出装置１００は、先行車を利用して、遠方領域の縁石又は歩道帯縁の検出精度を向上できる。
【０１２４】
以上説明したように、本実施形態の路側物検出装置１００は、遠方の縁石や歩道帯縁の特徴点を精度よく検出でき、白線が検出されない場合の走路パラメータの取得を可能とすることができる。また、白線の検出の手がかりとすることも可能となる。
【０１２５】
なお、以上では、実施例を分けて説明したが、実施例１〜４はその内の２つ以上を適宜組み合わせて適用できる。また、縁石や歩道帯縁の検出方法を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。
【符号の説明】
【０１２６】
１１    右カメラ
１２    左カメラ
１３    カメラコンピュータ
２１    ステレオ画像取得部
２２    歪補正・平行化部
２３    エッジ抽出部
２４    視差算出部
２５    路面検出部
２６    路面構造推定部
２７    段差判定部
２８    走路パラメータ推定部
２９    探索範囲設定部
３０    エッジ線分検出部
３２    テンプレートマッチング部
３３    白線検出部  
３４    先行車検出部
１００  白線検出装置
【図１】
2014002608.tif 000003
【図２】
2014002608.tif 000004
【図３】
2014002608.tif 000005
【図４】
2014002608.tif 000006
【図６】
2014002608.tif 000007
【図７】
2014002608.tif 000008
【図９】
2014002608.tif 000009
【図１０】
2014002608.tif 000010
【図１１】
2014002608.tif 000011
【図１２】
2014002608.tif 000012
【図１３】
2014002608.tif 000013
【図１４】
2014002608.tif 000014
【図１５】
2014002608.tif 000015
【図１６】
2014002608.tif 000016
【図１７】
2014002608.tif 000017
【図１８】
2014002608.tif 000018
【図１９】
2014002608.tif 000019
【図２０】
2014002608.tif 000020
【図２１】
2014002608.tif 000021
【図２２】
2014002608.tif 000022
【図２３】
2014002608.tif 000023
【図２４】
2014002608.tif 000024
【図２５】
2014002608.tif 000025
【図５】
2014002608.tif 000026
【図８】
2014002608.tif 000027
【図２６】
2014002608.tif 000028