(57)【要約】【課題】簡易な構成で路面領域を検出することのできる路面領域検出装置を提供する。【解決手段】路面領域検出装置１０は、走行する車両１に搭載されたカメラ１３が取得した画像における特徴点Ｐの移動に基づいて正規化速度ｎｖを求める正規化速度算出部２５と、車両１の進行方向Ｄｍと直交する幅方向Ｄｗにおける車両１を中心とする中央領域部ｃｐにおいて、幅方向Ｄｗの位置が異なる少なくとも２つの特徴点Ｐの正規化速度ｎｖに基づいて正規化速度ｎｖの大きさで示す路面判定範囲Ｅを求める判定範囲算出部２８と、路面判定範囲Ｅ内に正規化速度ｎｖが存在する特徴点Ｐが位置する幅方向Ｄｗまでを車両１が走行する路面領域Ａｒであると特定する路面領域特定部２９と、を備える。【選択図】図１
2019087070.tif 000002
【特許請求の範囲】
【請求項１】
走行する車両に搭載されたカメラが取得した画像における特徴点の移動に基づいて正規化速度を求める正規化速度算出部と、
前記車両の幅方向における前記車両を中心とする所定の中央領域部において、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度に基づいて前記正規化速度の大きさで示す路面判定範囲を求める判定範囲算出部と、
前記路面判定範囲内に前記正規化速度が存在する前記特徴点が位置する前記幅方向を前記車両が走行する路面領域であると特定する路面領域特定部と、を備えることを特徴とする路面領域検出装置。
【請求項２】
前記路面領域特定部は、前記正規化速度が前記路面判定範囲外となる前記特徴点のうち、前記幅方向において前記車両から最も近くに位置する前記特徴点よりも前記車両側を前記路面領域であると特定することを特徴とする請求項１に記載の路面領域検出装置。
【請求項３】
前記路面判定範囲は、横軸を前記幅方向の距離で示しかつ縦軸を前記正規化速度の大きさで示す分布グラフにおいて、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度を結ぶ近似直線を路面判定基準線とし、前記路面判定基準線を基準に求めた路面判定上限線と路面判定下限線とに挟まれた範囲に設定されることを特徴とする請求項１または請求項２に記載の路面領域検出装置。
【請求項４】
前記判定範囲算出部は、等しい前記幅方向の位置で複数の前記特徴点が存在すると、それぞれの前記正規化速度の平均をこの前記幅方向の位置における前記正規化速度の代表点として前記分布グラフ上に記して前記路面判定基準線を求めることを特徴とする請求項３に記載の路面領域検出装置。
【請求項５】
前記正規化速度算出部は、前記路面領域の検出対象とする検出領域を前記幅方向で所定の大きさ毎に区切って設定した複数の幅方向区分毎に前記正規化速度を算出し、
前記路面領域特定部は、前記幅方向区分単位で前記路面領域を特定することを特徴とする請求項１から請求項４までのいずれか１項に記載の路面領域検出装置。
【請求項６】
前記路面判定範囲は、前記検出領域における前記中央領域部内で前記幅方向区分が異なる少なくとも２つの前記特徴点の前記正規化速度を結ぶ近似直線を路面判定基準線とし、前記路面判定基準線を基準に求めた路面判定上限線と路面判定下限線とに挟まれた範囲に設定されることを特徴とする請求項５に記載の路面領域検出装置。
【請求項７】
前記正規化速度算出部は、前記特徴点の移動量を、その間の前記車両の移動量で除算することで、前記正規化速度を算出することを特徴とする請求項１から請求項６までのいずれか１項に記載の路面領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、路面領域を検出する路面領域検出装置に関する。
【背景技術】
【０００２】
車両では、路面を検出する路面検出装置を搭載することが考えられている（例えば、特許文献１参照）。この路面検出装置は、双眼カメラ等からの画像等に基づいてＶ視差図を取得し、そのＶ視差図から線分を路面として抽出して路面線分を推定することにより、路面を検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１１００５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した路面検出装置は、双眼カメラやステレオカメラや多眼カメラ等を用いるものであり、そのような装備を路面の検知のために車両に設ける必要がある。
【０００５】
本開示は、上記の事情に鑑みて為されたもので、簡易な構成で路面領域を検出することのできる路面領域検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記した目的を達成するために、本開示の路面領域検出装置は、走行する車両に搭載されたカメラが取得した画像における特徴点の移動に基づいて正規化速度を求める正規化速度算出部と、前記車両の幅方向における前記車両を中心とする所定の中央領域部において、前記幅方向の位置が異なる少なくとも２つの前記特徴点の前記正規化速度に基づいて前記正規化速度の大きさで示す路面判定範囲を求める判定範囲算出部と、前記路面判定範囲内に前記正規化速度が存在する前記特徴点が位置する前記幅方向を前記車両が走行する路面領域であると特定する路面領域特定部と、を備えることを特徴とする。
【発明の効果】
【０００７】
このように構成された本開示の路面領域検出装置は、簡易な構成で路面領域を検出することができる。
【図面の簡単な説明】
【０００８】
【図１】本開示に係る路面領域検出装置の一例としての実施例１の路面領域検出装置の構成を示すブロック図である。
【図２】カメラが取得した画像で抽出した特徴点を追跡する様子を説明する説明図である。
【図３】取得した特徴点系列の一例を示す説明図である。
【図４】取得した特徴点系列の他の例を示す説明図である。
【図５】代表点の分布を示す分布グラフであり、横軸を車両を中心とする幅方向の距離で示し、縦軸を正規化速度の大きさで示している。
【図６】図５と同様のグラフ上で、算出した路面判定基準線と路面判定上限線と路面判定下限線とを示す説明図である。
【図７】路面領域を検出する様子の一例を説明する説明図である。
【図８】路面領域を検出する様子の他の例を説明する説明図である。
【図９】演算処理装置が実行する路面領域特定処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本開示に係る路面領域検出装置の一例としての実施例１の路面領域検出装置１０について図面を参照しつつ説明する。
【実施例１】
【００１０】
本開示の実施例１の路面領域検出装置１０について、図１から図９を用いて説明する。路面領域検出装置１０は、車両１（図３等参照）が走行している路面に加えて、その路面と高さ位置を変化させることなく連続する平坦な領域を路面領域Ａｒ（図７等参照）として検出するものである。以下では、車両１が進行する方向を進行方向Ｄｍとし、進行方向Ｄｍに直交する方向を幅方向Ｄｗとする（図３等参照）。
【００１１】
路面領域検出装置１０は、図１に示すように、演算処理装置１１と記憶装置１２とを備える。演算処理装置１１には、カメラ１３と車速センサ１４と舵角センサ１５と映像表示装置１６とが、通信プロトコルとしてのＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の車載ネットワークを介して接続されている。
【００１２】
カメラ１３は、車両１を中心として幅方向Ｄｗで所定の範囲の画像を取得できるもので、実施例１では車両１の前部に設けられた単一の広角な魚眼レンズを備えたカメラであり車両１の前方の画像を幅方向Ｄｗの大きな範囲で取得できる。カメラ１３は、実施例１では、車両１の全周囲の画像を取得して俯瞰画像を形成するために車両１の前後左右に設けられたカメラのうちの車両１の前部に設けられたものを用いている。カメラ１３は、取得した画像（画像データ）を演算処理装置１１に出力する。なお、カメラ１３は、車両１を中心として幅方向Ｄｗで所定の範囲の画像を取得できるものであれば、例えば車両１の後部に設けられて車両１の後方の画像を取得するものでもよく、複数のカメラを用いるものでもよく、他の構成でもよく、実施例１の構成に限定されない。
【００１３】
車速センサ１４は、車両１の車速を検出するもので、検出した車速（車速データ）を演算処理装置１１に出力する。舵角センサ１５は、車両１の舵角を検出するもので、検出した舵角（舵角データ）を演算処理装置１１に出力する。映像表示装置１６は、演算処理装置１１で処理されたカメラ１３からの画像等を表示するもので、演算処理装置１１（その後述する画像変換部２３）により形成された俯瞰画像（図３等参照）を表示可能である。
【００１４】
記憶装置１２は、例えば、路面領域Ａｒを特定するためのプログラムや、俯瞰画像を形成するためのプログラムや、それらのプログラムで必要となる情報のうちで書き換えをせずに利用される情報が事前に格納される。記憶装置１２は、格納する情報が演算処理装置１１により適宜読み出すことが可能とされている。
【００１５】
演算処理装置１１は、カメラ１３や車速センサ１４や舵角センサ１５からの情報を適宜受け取り、路面領域Ａｒを特定する路面領域特定処理や、俯瞰画像を形成する俯瞰画像形成処理や、カメラ１３のキャリブレーション処理等を、記憶装置１２に記憶されたプログラムにより統括的に行う。演算処理装置１１は、特定した路面領域Ａｒや形成した俯瞰画像等を映像表示装置１６に適宜表示させる。
【００１６】
演算処理装置１１は、特徴点取得部２１と挙動判断部２２と画像変換部２３と列長算出部２４と正規化速度算出部２５と代表点算出部２６と近似直線算出部２７と判定範囲算出部２８と路面領域特定部２９と記憶部３１とを有する。記憶部３１を除くこれらの各部は、プログラムにより構成されている。なお、これらの各部は、電子回路により専用に構成されているものであってもよく、実施例１の構成に限定されない。記憶部３１は、演算処理装置１１の各部における演算処理過程で必要となる数値データ、演算処理途中の処理結果に対するプログラムの変数等が適宜書き込まれ、それらが演算処理装置１１の各部により適宜読み取られる。記憶部３１は、演算処理装置１１が行う各処理のためのプログラムを記憶していてもよい。
【００１７】
特徴点取得部２１は、カメラ１３から画像（画像データ）が入力されると、その画像の特徴点Ｐ（図２等参照）を抽出する。この特徴点Ｐは、特定の特徴物の位置に対応した座標点であり、道路上に設けられた白線や道路標識の隅部等のように画像（第Ｎフレーム）においてエッジ強度が高い箇所を特定の特徴物とする。例えば、特徴点取得部２１は、図２の上側に示すように、カメラ１３が取得した第Ｎフレームにおける白線の角を特徴点Ｐとして検出する。このような特徴点Ｐの抽出は、例えばＨａｒｒｉｓオペレータを用いた手法のような公知の特徴点抽出技術を用いて行うことができる。
【００１８】
また、特徴点取得部２１は、抽出した特徴点Ｐの追跡、すなわち第Ｎフレームで抽出した特徴点Ｐが次のフレーム（第Ｎ＋１フレーム）でどの位置に存在するのかを検出する。例えば、特徴点取得部２１は、図２の下側に示すように、カメラ１３が取得した第Ｎフレームで抽出した特徴点Ｐが、第Ｎ＋１フレームでどの位置に存在するのかを検出する。このような特徴点Ｐの追跡は、ＬＫ（Ｌｕｃａｓ−Ｋａｎａｄｅ）法のような公知の特徴点追跡技術を用いて行うことができる。特徴点取得部２１は、図２に示す例のように連続する２つのフレーム間のみではなく、それ以降も可能な限り特徴点Ｐを追跡する。
【００１９】
この単一のフレーム（画像）で検出される特徴点Ｐは、図２では理解を容易とするために一つのみの例を示しているが、単一のフレームで複数（数百に及ぶ場合も有る）を抽出することができ、それらの追跡結果も複数となる場合がある。特徴点取得部２１は、抽出した特徴点Ｐの第Ｎフレームにおける座標位置と、その追跡結果となる特徴点Ｐの第Ｎ＋１フレームにおける座標位置（追跡結果が複数の場合はＮ＋２以降の座標位置も）と、を特徴点系列Ｐｓとして記憶部３１に格納する。
【００２０】
挙動判断部２２は、車速センサ１４や舵角センサ１５から車速（車速データ）や舵角（舵角データ）が入力されると、それらに基づいて車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かを判断する。挙動判断部２２は、車両１において、車速の変動が所定の範囲内であるとともに、舵角が所定の範囲内である場合に、路面領域Ａｒの特定に適した状態であると判断する。これは、以下のことによる。車速の変動が大きいと、車両１の姿勢の変化を招くので、特徴点取得部２１による特徴点Ｐの抽出結果および追跡結果の精度が低下する虞がある。また、車速の変動が大きいと、車速センサ１４からの検出結果を用いても、抽出した特徴点Ｐを追跡した間に車両１が移動した距離の算出結果の精度が低下する虞がある。これらは、後述するように正規化速度ｎｖの算出に用いることから、正規化速度ｎｖの精度の低減を招いてしまう。加えて、舵角が大きいと、抽出した特徴点Ｐの追跡が困難となる。これらのことから、実施例１では、車両１が略一定の速度で直進しているものと見做せる場合に、路面領域Ａｒの特定に適した状態であると判断する。
【００２１】
画像変換部２３は、カメラ１３から画像（画像データ（図２参照））が入力されると、その画像を視点変換し、上方から地面を見下ろしたような俯瞰画像（図３等参照）を生成する（俯瞰画像形成処理）。画像変換部２３は、記憶装置１２から、カメラ１３の設置位置や角度（ピッチ角、ヨー角、ロール角、カメラ高さ）の設計値（外部パラメータ）や、カメラ１３の焦点距離、画素サイズ、光軸中心、歪み関数等（内部パラメータ）のカメラパラメータを取得する。画像変換部２３は、取得した歪み関数を用いてレンズによる画像の歪みを補正する歪み補正処理を行う。画像変換部２３は、周知のカメラの幾何変換式を使い、世界座標で示される俯瞰画像におけるすべての座標位置の画素の出力値（各色の輝度値）を、歪み補正した画像の対応する画素の出力値（各色の輝度値）に基づいて生成する。このとき、画像変換部２３は、俯瞰画像の特定の画素に対応する歪み補正した画像の画素が無い場合には、周知の輝度の補間処理により周辺画素の各輝度値に基づいて特定の画素の出力値を求める。さらに、画像変換部２３は、カメラ１３を含む前後左右の４つのカメラの隣り合う撮影画像を、対応する座標値の輝度を線形補間等することで繋ぎ目の違和感を無くしつつ１枚の画像として繋ぎ合わせることで、車両１の取り囲む俯瞰画像を生成する。なお、画像変換部２３は、俯瞰画像（その画像データ）を生成すれば、これらの各処理を同時に行ってもよく、他の内容の処理を行ってもよく、実施例１に限定されない。
【００２２】
また、画像変換部２３は、特徴点取得部２１で検出されて記憶部３１に格納された特徴点系列Ｐｓ（特徴点Ｐの抽出結果および追跡結果）を世界座標に変換して、記憶部３１に格納する。すなわち、画像変換部２３は、カメラ１３からの画像における座標位置で抽出した特徴点系列Ｐｓ（特徴点Ｐの軌跡を示す座標位置（図２参照））を、俯瞰画像における座標位置（図３等参照）に変換する。なお、この特徴点Ｐの抽出結果および追跡結果の座標位置の変換は、特徴点取得部２１が行ってもよく列長算出部２４が行ってもよい。
【００２３】
列長算出部２４は、同一の特徴点Ｐが変位して形成された直線である特徴点系列Ｐｓの長さ、すなわち特徴点Ｐの移動量を特徴点系列長Ｐｌとして算出する。列長算出部２４は、世界座標に変換された同一の特徴点Ｐの抽出結果および追跡結果すなわちその座標位置の変化に基づいて、特徴点系列長Ｐｌを算出する。例えば、図２で抽出した特徴点Ｐを例にすると、第Ｎフレームの俯瞰画像では図３の上側に示すように特徴点Ｐ１が検出され、第Ｎ＋１フレームの俯瞰画像では図３の下側に示すように特徴点Ｐ１が変位したので、その両座標位置を結ぶ直線の長さ寸法が特徴点系列長Ｐｌ１となる。ここで、この特徴点系列長Ｐｌ１は、俯瞰画像での長さ寸法が世界座標上での長さ寸法であることから、実際に特徴点Ｐが変位した距離と等しくなる。
【００２４】
この特徴点系列長Ｐｌは、同様に連続する２つのフレームから求めたとしても、車両１の速度が異なったり特徴点Ｐの高さ位置が異なったりすると、上記した例とは異なるものとなる。この異なる一例を図４に示す。図４の上側の第Ｍフレームの俯瞰画像で検出された特徴点Ｐ２は、第Ｍ＋１フレームの俯瞰画像では図４の下側に示すように変位したものとすると、その両座標位置を結ぶ直線の長さ寸法として特徴点系列長Ｐｌ２を算出する。この特徴点Ｐ２は、左右は異なるものの、図３に示す特徴点Ｐ１と同様に車両１が走行する路面の白線を検出しているので、図３に示す場面とは車両１の速度が異なるものされている。
【００２５】
列長算出部２４は、実施例１では、特徴点Ｐが属する幅方向区分ｄｖ毎（図５参照）に算出した特徴点系列長Ｐｌを集める（累積させる）。各幅方向区分ｄｖは、路面領域検出装置１０が路面領域Ａｒであるか否かの検出を行う検出領域Ａｄを幅方向Ｄｗに所定の大きさ毎に区切って設定したもので、実施例１では図５に示すように検出領域Ａｄを幅方向Ｄｗに１ｍ毎に区切って車両１を中心として２４個設定している。この図５に示す分布グラフは、横軸を幅方向Ｄｗの距離で示し、縦軸を正規化速度ｎｖの大きさで示したもので、後述する代表点Ｒｖ（正規化速度ｎｖ）が分布する様子を表すものである。以下では、複数の幅方向区分ｄｖを個別に述べる際には、図５を正面視して左側から順に１〜２４の番号を第ｎ幅方向区分ｄｖのｎとして記載して示す。実施例１では、第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖが車両１の走行する位置となる。この検出領域Ａｄでは、車両１が位置する第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖを中心とする複数の幅方向区分ｄｖを中央領域部ｃｐとして設定している。中央領域部ｃｐは、多くの特徴点Ｐ（特定の特徴物）を検出できることが予想される範囲に設定するもので、実施例１では一例として、第１０幅方向区分ｄｖから第１５幅方向区分ｄｖすなわち車両１を中心とする６ｍの範囲に設定している。なお、各幅方向区分ｄｖの大きさや中央領域部ｃｐの範囲（幅方向区分ｄｖの個数）は適宜設定すればよく、実施例１の構成に限定されない。
【００２６】
列長算出部２４は、算出した複数の特徴点系列長Ｐｌを、それぞれが対象とした特徴点Ｐが位置する幅方向区分ｄｖと関連付けて記憶部３１に格納する。この特徴点Ｐが位置する幅方向区分ｄｖは、画像変換部２３により抽出結果および追跡結果が俯瞰画像における座標位置に変換されているので、その幅方向Ｄｗの座標位置から判別できる。
【００２７】
正規化速度算出部２５は、各特徴点Ｐにおける移動速度を正規化した正規化速度ｎｖを算出する。正規化速度算出部２５は、実施例１では、列長算出部２４で算出した特徴点系列長Ｐｌを、その特徴点系列長Ｐｌとなった間に車両１が移動した距離で、除算したものを正規化速度ｎｖとする。この正規化速度ｎｖは、車両１の移動距離（速度）に対する特徴点系列長Ｐｌ（特徴点Ｐの移動距離（速度））の比で表したもので、特徴点Ｐの移動量の差異の比較すなわち特徴点Ｐの路面に対する高さ位置の比較を可能としている。これは、車両１の移動量が同一であっても、同一の画像において、路面と等しい高さ位置である場合と異なる場合とで特徴点Ｐの移動量が異なることによる。
【００２８】
その車両１が移動した距離は、特徴点系列長Ｐｌの算出に用いた連続する複数のフレームの画像をカメラ１３が取得した時間と、その間の車速センサ１４からの速度と、を用いて算出する。なお、車両１が移動した距離は、車両１に設けられた車輪速度センサからの情報を利用して算出してもよく、他の方法でもよく、実施例１の方法に限定されない。ここで、特徴点Ｐの移動量は、車両１が走行している路面と同じ高さに位置しているときには車両１の移動量と等しくなり、その路面の高さとの差異が大きくなるほど車両１の移動量との差異が大きくなる。このため、正規化速度ｎｖは、対象とする特徴点Ｐが路面と同じ高さに位置しているときには理論上は１となる。正規化速度算出部２５は、算出した各正規化速度ｎｖを、それぞれが対象とした特徴点Ｐが位置する幅方向区分ｄｖと関連付けて記憶部３１に格納する。
【００２９】
代表点算出部２６は、各幅方向区分ｄｖにおいて、その中に属する複数の正規化速度ｎｖの平均となる代表点Ｒｖを算出する。代表点算出部２６は、実施例１では、単に平均とするのではなく、次のように代表点Ｒｖを算出する。先ず、代表点算出部２６は、対象とする幅方向区分ｄｖにおける全ての正規化速度ｎｖの平均ａｖ１と標準偏差σ１とを算出する。その後、代表点算出部２６は、対象とする幅方向区分ｄｖにおける全ての正規化速度ｎｖの中から、平均ａｖ１に標準偏差σ１を三倍した値を加算または減算した値（ａｖ１±３σ１）以内となる正規化速度ｎｖ（以下では区別のために正規化速度ｎｖαと記す）を取り出す。そして、代表点算出部２６は、全ての正規化速度ｎｖαの平均ａｖ２を算出し、この平均ａｖ２を対象とする幅方向区分ｄｖにおける代表点Ｒｖとする。このように、実施例１の代表点算出部２６は、対象とする幅方向区分ｄｖにおいて算出された全ての正規化速度ｎｖの中から、大きく異なる数値とされたものを除外した上で求めた平均を代表点Ｒｖとしているので、特徴点Ｐの抽出や追跡や車両１の移動量の検出等の際に大きな誤差が生じたものを除外して代表点Ｒｖを求めることができ、精度を高めることができる。代表点算出部２６は、対象とする幅方向区分ｄｖに単一の正規化速度ｎｖのみが存在する場合には、その正規化速度ｎｖを代表点Ｒｖとする。代表点算出部２６は、算出した各代表点Ｒｖを、それぞれが対象とした幅方向区分ｄｖと関連付けて記憶部３１に格納する。
【００３０】
近似直線算出部２７は、図６に示すように、中央領域部ｃｐとなる各幅方向区分ｄｖ（実施例１では第１０幅方向区分ｄｖから第１５幅方向区分ｄｖ）の代表点Ｒｖを結ぶ近似直線を算出して路面判定基準線Ｓｂとする。ここで、近似直線算出部２７は、中央領域部ｃｐとなる各幅方向区分ｄｖのうちの２つのみで代表点Ｒｖが算出されている場合には、その２つの代表点Ｒｖを結ぶ直線を路面判定基準線Ｓｂとする。近似直線算出部２７は、算出した路面判定基準線Ｓｂを記憶部３１に格納する。
【００３１】
判定範囲算出部２８は、各幅方向区分ｄｖが路面領域Ａｒであるか否かを判定するために、正規化速度ｎｖの大きさで示す路面判定範囲Ｅ（図６でドットを付して示す箇所）を求める。判定範囲算出部２８は、実施例１では、図６に示す分布グラフにおいて、近似直線算出部２７が算出した路面判定基準線Ｓｂに対して、Δｎｖだけ平行移動させた路面判定上限線Ｓｕを算出するとともに、−Δｎｖだけ平行移動させた路面判定下限線Ｓｌを算出する。このΔｎｖは、適宜設定すればよく、実施例１では検証実験に基づいて設定している。なお、Δｎｖは、路面領域検出装置１０の利用者が設定するものとしてもよい。判定範囲算出部２８は、路面判定上限線Ｓｕと路面判定下限線Ｓｌとで挟まれた範囲を路面判定範囲Ｅとして、記憶部３１に格納する。
【００３２】
路面領域特定部２９は、判定範囲算出部２８が算出した路面判定範囲Ｅに、代表点Ｒｖが存在するか否かを判断することで、各幅方向区分ｄｖが路面領域Ａｒ（図７等参照）であるか否かを判断する。路面領域特定部２９は、基本的には、中央領域部ｃｐを含む全ての幅方向区分ｄｖの代表点Ｒｖのうち、路面判定範囲Ｅ内に存在する代表点Ｒｖを有する幅方向区分ｄｖを路面領域Ａｒとして特定する。具体的には、路面領域特定部２９は、図７に示す例の場合には、車両１の左側において最も離れた位置（外側の位置）となる第６幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在し、車両１の右側において最も離れた位置（外側の位置）となる第１８幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在したものとすると、第６幅方向区分ｄｖから第１８幅方向区分ｄｖまでの間を路面領域Ａｒとして特定する。
【００３３】
実施例１の路面領域特定部２９は、代表点Ｒｖが路面判定範囲Ｅ内に存在するか否かの判断の対象を、車両１が位置する第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖの両外側に隣接する幅方向区分ｄｖから、各々の外側へ向けて順に変更していく。すなわち、路面領域特定部２９は、先ず第１１幅方向区分ｄｖおよび第１４幅方向区分ｄｖを判断対象とし、次に第１０幅方向区分ｄｖおよび第１５幅方向区分ｄｖを判断対象としていくことを繰り返す。そして、路面領域特定部２９は、代表点Ｒｖが路面判定範囲Ｅ内に存在しない幅方向区分ｄｖを検出すると、その内側に隣接する幅方向区分ｄｖまでを路面領域Ａｒとして特定する。具体的には、図８に示す例の場合には、車両１の左側では、第１０幅方向区分ｄｖまでの代表点Ｒｖが路面判定範囲Ｅ内に存在し、第９幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在せず、車両１の右側では、第１４幅方向区分ｄｖまでの代表点Ｒｖが路面判定範囲Ｅ内に存在し、第１５幅方向区分ｄｖの代表点Ｒｖが路面判定範囲Ｅ内に存在しない。この場合、路面領域特定部２９は、第１０幅方向区分ｄｖから第１４幅方向区分ｄｖまでの間を路面領域Ａｒとして特定する。このように、路面領域特定部２９は、代表点Ｒｖ（正規化速度ｎｖ）が路面判定範囲Ｅ外となる特徴点Ｐのうち、幅方向Ｄｗにおいて車両１から最も近くに位置する特徴点Ｐよりも車両１側に位置する特徴点Ｐの位置となる幅方向区分ｄｖまでを路面領域Ａｒであると特定している。ここで、第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖは、現在車両１が走行している路面であるので、それぞれの代表点Ｒｖが路面判定範囲Ｅ内に存在して路面領域Ａｒとなるので、代表点Ｒｖが路面判定範囲Ｅ内に存在するか否かの判断は行わなくても問題ない。
【００３４】
次に、路面領域検出装置１０において、演算処理装置１１の制御下で、路面領域Ａｒを特定する路面領域特定処理の一例について、図９を用いて説明する。図９は、実施例１における演算処理装置１１にて実行される路面領域特定処理（路面領域特定方法）を示すフローチャートである。この路面領域特定処理は、記憶装置１２に記憶されたプログラムに基づいて演算処理装置１１が実行する。以下では、図９のフローチャートの各ステップ（各工程）について説明する。図９のフローチャートは、路面領域検出装置１０が路面領域特定処理を実行する状態とされることにより開始される。路面領域検出装置１０は、常に路面領域特定処理を実行する状態とされていてもよく、操作部への操作で実行の有無を切り替え可能としてもよい。実施例１では、車両１が起動されると路面領域特定処理を実行する状態となり、図９のフローチャートが開始される。
【００３５】
ステップＳ１は、カメラ１３からの画像（画像データ）の取得を開始し、ステップＳ２へ進む。
【００３６】
ステップＳ２は、車速センサ１４および舵角センサ１５から車速（車速データ）および舵角（舵角データ）を取得し、ステップＳ３へ進む。ステップＳ２は、後述するように車速および舵角の変化の有無の判断のために取得しているので、所定の時間で車速および舵角の取得を行う。
【００３７】
ステップＳ３は、車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かの挙動判断を行い、ＹＥＳ（適した状態）の場合はステップＳ４へ進み、ＮＯ（適さない状態）の場合はステップＳ２へ戻る。ステップＳ３は、挙動判断部２２がステップＳ２で取得した車速や舵角に基づいて車両１の挙動が路面領域Ａｒの特定に適した状態であるか否かを判断する。
【００３８】
ステップＳ４は、取得時間の計時を開始し、ステップＳ５へ進む。ステップＳ４は、後述するステップＳ５およびステップＳ６での特徴点Ｐの抽出およびその追跡を行う取得時間の計時を開始する。
【００３９】
ステップＳ５は、特徴点Ｐを抽出し、ステップＳ６へ進む。ステップＳ５は、特徴点取得部２１がカメラ１３からの画像の第Ｎフレームにおける特徴点Ｐの抽出（単一でもよく複数でも良い）を行い、その特徴点Ｐの座標位置を求める。
【００４０】
ステップＳ６は、特徴点Ｐを追跡し、ステップＳ７へ進む。ステップＳ６は、特徴点取得部２１がステップＳ５において第Ｎフレームで抽出した特徴点Ｐが、第Ｎ＋１フレームでどの位置に存在するのかを検出してその座標位置を求め、それ以降も可能な限り特徴点Ｐを追跡する（座標位置を求める）。
【００４１】
ステップＳ７は、取得時間が所定の時間となったか否かを判断し、ＹＥＳ（適した状態）の場合はステップＳ８へ進み、ＮＯ（適さない状態）の場合はステップＳ５へ戻る。この所定の時間は、路面領域Ａｒの特定に必要な数の特徴点系列Ｐｓの取得を可能とする観点で設定される。これにより、ステップＳ８に進む際には、複数の特徴点系列Ｐｓが取得できている。このことから、ステップＳ４およびステップＳ７では、特徴点Ｐの抽出および追跡を行ったフレーム数で判断してもよく、特徴点系列Ｐｓの累積数で判断してもよく、実施例１の構成に限定されない。
【００４２】
ステップＳ８は、中央領域部ｃｐにおける各代表点Ｒｖを算出し、ステップＳ９へ進む。ステップＳ８は、中央領域部ｃｐとされた各幅方向区分ｄｖ（実施例１では第１０幅方向区分ｄｖから第１５幅方向区分ｄｖ）において、列長算出部２４が特徴点系列長Ｐｌを算出し、それを用いて正規化速度算出部２５が正規化速度ｎｖを算出し、それを用いて代表点算出部２６が代表点Ｒｖを算出する。
【００４３】
ステップＳ９は、ステップＳ８で算出した代表点Ｒｖが２つ以上あるか否かを判断し、ＹＥＳの場合はステップＳ１０へ進み、ＮＯの場合はステップＳ２へ戻る。ステップＳ９は、算出した代表点Ｒｖが２つ以上あるか否か、すなわち中央領域部ｃｐにおける２つ以上の幅方向区分ｄｖの代表点Ｒｖを算出したか否かを判断する。なお、ステップＳ９では、路面判定基準線Ｓｂの算出を可能とするために設定するものなので、中央領域部ｃｐとしての幅方向区分ｄｖの個数（実施例１では６つ）以下であれば３よりも多い数の代表点Ｒｖを算出したか否かで判断してもよく、実施例１の構成に限定されない。また、実施例１では、代表点Ｒｖが１つ以下でステップＳ２へ戻る場合には、ステップＳ５からステップＳ７を繰り返すことで求めた各特徴点系列ＰｓおよびステップＳ８で求めた各代表点Ｒｖ（それらのデータ）は破棄する。これは、ステップＳ２へ戻る場合には、車両１が走行している路面およびその周辺の状況が変化している場合があるので、先に取得した各特徴点系列Ｐｓおよび各代表点Ｒｖを、この後に取得する各特徴点系列Ｐｓおよび各代表点Ｒｖに合わせてしまうと不正確なものとなる虞があることによる。
【００４４】
ステップＳ１０は、中央領域部ｃｐの各代表点Ｒｖに基づいて路面判定範囲Ｅを算出し、ステップＳ１１へ進む。ステップＳ１０は、近似直線算出部２７がステップＳ８で算出した代表点Ｒｖに基づいて路面判定基準線Ｓｂを算出し、それを用いて判定範囲算出部２８が路面判定上限線Ｓｕと路面判定下限線Ｓｌとを求めて路面判定範囲Ｅを算出する。
【００４５】
ステップＳ１１は、検出領域Ａｄにおける他の各代表点Ｒｖを算出し、ステップＳ１２へ進む。ステップＳ１１は、検出領域Ａｄにおいて、ステップＳ８で各代表点Ｒｖを算出した中央領域部ｃｐ以外の各幅方向区分ｄｖ（実施例１では第１幅方向区分ｄｖから第９幅方向区分ｄｖと第１６幅方向区分ｄｖから第２４幅方向区分ｄｖ）の各代表点ＲｖをステップＳ８と同様に算出する。なお、各代表点Ｒｖは、ステップＳ８とステップＳ１１とで分けて行うのではなく、ステップＳ８で一斉に全ての幅方向区分ｄｖの代表点Ｒｖを算出するものとしてもよい。
【００４６】
ステップＳ１２は、各幅方向区分ｄｖの各代表点Ｒｖが路面判定範囲Ｅ内に存在しているか否かを判断し、ステップＳ１３へ進む。ステップＳ１２は、路面領域特定部２９が、ステップＳ８またはステップＳ１１で算出した各幅方向区分ｄｖの各代表点Ｒｖが、ステップＳ１０で算出した路面判定範囲Ｅ内に存在しているか否かを判断する。
【００４７】
ステップＳ１３は、ステップＳ１２での判断に基づいて路面領域Ａｒを特定し、この路面領域特定処理を終了する。ステップＳ１３は、車両１すなわち第１２幅方向区分ｄｖおよび第１３幅方向区分ｄｖの左右において、最も近くで代表点Ｒｖが路面判定範囲Ｅ内に存在しない幅方向区分ｄｖを求め、その１つ内側の幅方向区分ｄｖまでを路面領域Ａｒとして特定する。
【００４８】
このため、路面領域検出装置１０は、車両１が走行している際、自らが走行している路面と等しい高さ位置で連続する平坦な領域を路面領域Ａｒとして特定できる。路面領域検出装置１０は、正規化速度ｎｖを用いることで、車両１の移動量に対するカメラ１３が取得した同一の画像における特徴点Ｐの移動量が、路面と等しい高さ位置である場合と異なる場合とで変化することを利用することで、路面と等しい高さ位置であるかを判断して路面領域Ａｒを特定している。このため、路面領域検出装置１０は、双眼カメラやステレオカメラや多眼カメラ等を用いることなく、単一のカメラ１３を用いて路面領域Ａｒを特定することができる。
【００４９】
路面領域検出装置１０は、特徴点Ｐの抽出および追跡が可能であれば路面領域Ａｒを特定できるので、様々な路面に対応して路面領域Ａｒを特定できるとともに、路面に限らず路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定できる。これは、路面を特定する従来技術として色の違いを検出することで路面であるか否かの判断を行うものがあるが、路面上で異なる複数の色が用いられている場合には適切に特定できなる虞があることによる。また、この従来技術では、路面と等しい高さ位置で連続する平坦な領域であっても、路面のみを検出してしまうことによる。
【００５０】
路面領域検出装置１０は、走行中に路面領域Ａｒを特定できるので、例えば、カメラ１３の俯瞰画像を適切に形成するためのキャリブレーションに利用することができる。これは、カメラ１３のキャリブレーションを正確に行うには、路面と等しい高さ位置とされた平坦な面上の特徴点を用いる必要がある場合があることによる。特に、路面領域検出装置１０は、路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定するので、路面のみならずより広い路面領域Ａｒを用いてキャリブレーションを行うことを可能とするので、より正確に行うことを可能にできる。路面領域検出装置１０は、検出した路面領域Ａｒを俯瞰画像に重ねて映像表示装置１６に表示させることで、路面領域Ａｒを乗員に認識させることができる。
【００５１】
本開示に係る路面領域検出装置の一実施例の路面領域検出装置１０は、以下の各作用効果を得ることができる。
【００５２】
路面領域検出装置１０は、カメラ１３が取得した画像における特徴点Ｐの移動に基づいて求めた正規化速度ｎｖが、中央領域部ｃｐの正規化速度ｎｖに基づいて求めた路面判定範囲Ｅ内に存在しているとき、その正規化速度ｎｖとなる特徴点Ｐが位置する幅方向Ｄｗを路面領域Ａｒであると特定する。このため、路面領域検出装置１０は、同一の画像であっても路面と等しい高さ位置である場合と異なる場合とで特徴点Ｐの移動量が変化することを利用して路面領域Ａｒであると特定しているので、単一のカメラ１３を用いて路面領域Ａｒを特定することができる。加えて、路面領域検出装置１０は、特徴点Ｐとして抽出する道路上の白線や道路標識が存在する可能性の高い中央領域部ｃｐの正規化速度ｎｖに基づいて路面判定範囲Ｅを求めているので、適切な路面判定範囲Ｅを高い確率で適切に算出することができ、適切に路面領域Ａｒを特定できる。その中央領域部ｃｐは、車両１が走行している路面を含んでいるので、路面と等しい高さ位置となる箇所の特定を適切なものにできる。
【００５３】
また、路面領域検出装置１０は、正規化速度ｎｖが路面判定範囲Ｅ外となる特徴点Ｐのうち、幅方向Ｄｗにおいて車両１から最も近くに位置する特徴点Ｐよりも車両１側を路面領域Ａｒとして特定する。このため、路面領域検出装置１０は、路面と等しい高さ位置で連続する平坦な領域までを路面領域Ａｒとして特定することができる。
【００５４】
さらに、路面領域検出装置１０は、横軸を幅方向Ｄｗの距離で示しかつ縦軸を正規化速度ｎｖの大きさで示す分布グラフにおいて、幅方向Ｄｗの位置が異なる少なくとも２つの特徴点Ｐの正規化速度ｎｖを結ぶ近似直線を路面判定基準線Ｓｂとし、それを基準に求めた路面判定上限線Ｓｕと路面判定下限線Ｓｌとに挟まれた範囲として路面判定範囲Ｅを設定する。このため、路面領域検出装置１０は、簡易な構成で路面と等しい高さ位置となる箇所を適切に検出することができる。
【００５５】
路面領域検出装置１０は、等しい幅方向Ｄｗの位置で複数の特徴点Ｐが存在すると、それぞれの正規化速度ｎｖの平均をこの幅方向Ｄｗの位置における正規化速度ｎｖの代表点Ｒｖとして分布グラフ上に記して近似直線を求めて路面判定基準線Ｓｂを求める。このため、路面領域検出装置１０は、特徴点Ｐの抽出等で生じる誤差の影響を小さくして路面領域Ａｒを特定することができる。
【００５６】
路面領域検出装置１０は、路面領域Ａｒの検出対象とする検出領域Ａｄを幅方向Ｄｗで所定の大きさ毎に区切って設定した複数の幅方向区分ｄｖ毎に正規化速度ｎｖを算出し、幅方向区分ｄｖ単位で路面領域Ａｒを特定する。このため、路面領域検出装置１０は、幅方向区分ｄｖ毎に正規化速度ｎｖとしての代表点Ｒｖを求めることができるので、特徴点Ｐの抽出等で生じる誤差の影響をより小さくして路面領域Ａｒを特定することができる。
【００５７】
路面領域検出装置１０は、検出領域Ａｄにおける車両１を中心とする所定の中央領域部ｃｐ内で幅方向区分ｄｖが異なる少なくとも２つの特徴点Ｐの正規化速度ｎｖを結ぶ近似直線を路面判定基準線Ｓｂとし、それを基準に求めた路面判定上限線Ｓｕと路面判定下限線Ｓｌとに挟まれた範囲を路面判定範囲Ｅとして設定している。このため、路面領域検出装置１０は、簡易な構成で特徴点Ｐの抽出等で生じる誤差の影響をより小さくして路面領域Ａｒを特定することができる。
【００５８】
路面領域検出装置１０は、特徴点Ｐの移動量を、その間の車両１の移動量で除算することで、正規化速度ｎｖを算出している。このため、路面領域検出装置１０は、簡易な構成で特徴点Ｐの移動量の差異の比較を可能とすることができ、路面領域Ａｒの特定に用いることができる。
【００５９】
したがって、本開示に係る路面領域検出装置としての実施例１の路面領域検出装置１０は、双眼カメラやステレオカメラや多眼カメラ等を用いることのない簡易な構成で路面領域Ａｒを検出することができる。
【００６０】
以上、本開示の路面領域検出装置を実施例１に基づき説明してきたが、具体的な構成については実施例１に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【００６１】
例えば、実施例１では、検出領域Ａｄを幅方向Ｄｗで所定の大きさ毎に区切った幅方向区分ｄｖ毎に正規化速度ｎｖや代表点Ｒｖを求めるとともに幅方向区分ｄｖ単位で路面領域Ａｒを特定している。しかしながら、幅方向区分ｄｖを設定することなく正規化速度ｎｖや代表点Ｒｖを用いて路面領域Ａｒを特定してもよく、実施例１の構成に限定されない。
【００６２】
また、実施例１では、等しい幅方向Ｄｗの位置で複数の特徴点Ｐが存在すると、各正規化速度ｎｖの平均ａｖ１と標準偏差σ１とから大きく異なる数値を除外した正規化速度ｎｖαを求め、その正規化速度ｎｖαの平均ａｖ２を当該幅方向Ｄｗの位置の代表点Ｒｖとしている。しかしながら、各正規化速度ｎｖの平均ａｖ１を当該幅方向Ｄｗの位置の代表点Ｒｖとしてもよく、他の方法で平均を求めて代表点Ｒｖとしてもよく、実施例１の構成に限定されない。
【００６３】
さらに、実施例１では、挙動判断部２２が、車速と舵角とから路面領域Ａｒの特定に適した状態であるか否かを判断していたが、車両１が走行している路面の傾斜の変化があるか否かも特定に適した状態の判断に用いてもよい。これは、例えば、カメラ１３が取得した画像における路面が車両１の走行する路面に対して傾斜している場合と傾斜していない場合とでは路面の写り方が変化するので、路面の傾斜が途中で変化するとカメラ１３が取得した画像における特徴点Ｐの追跡が困難となることによる。このため、路面の傾斜の変化が所定の範囲内であるか否かを特定に適した状態の判断に用いることで、特徴点Ｐをより適切に追跡することができ、路面領域Ａｒをより適切に特定できる。他方、路面領域検出装置１０では、路面の傾斜の変化を取得する傾斜センサを用いて、特徴点取得部２１が特徴点Ｐの追跡を行う際に路面の傾斜を考慮するものとすることで、特徴点Ｐをより適切に追跡することを可能とするものとしてもよい。
【符号の説明】
【００６４】
１  車両      １０  路面領域検出装置      １３  カメラ      ２５  正規化速度算出部      ２８  判定範囲算出部      ２９  路面領域特定部      Ａｒ  路面領域      Ａｄ  検出領域      ｃｐ  中央領域部      ｄｖ  幅方向区分      Ｄｗ  幅方向      Ｅ  路面判定範囲      ｎｖ  正規化速度      Ｐ  特徴点      Ｒｖ  代表点      Ｓｂ  路面判定基準線      Ｓｌ  路面判定下限線      Ｓｕ  路面判定上限線
【図１】
2019087070.tif 000003
【図２】
2019087070.tif 000004
【図３】
2019087070.tif 000005
【図４】
2019087070.tif 000006
【図５】
2019087070.tif 000007
【図６】
2019087070.tif 000008
【図７】
2019087070.tif 000009
【図８】
2019087070.tif 000010
【図９】
2019087070.tif 000011