(57)【特許請求の範囲】
【請求項１】
車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両用車線認識装置。
【請求項２】
車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、
前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする車両用車線認識装置。
【請求項３】
撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、
前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、
前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする車両。
【請求項４】
撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、
前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、
前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、
前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、
前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、
前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、
前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする車両。
【請求項５】
車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定処理と、
前記取得されたカラー画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、
前記平滑化処理により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出処理と、
前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、
前記画素値置換処理により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得処理と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、
前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、
前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする車両用車線認識プログラム。
【請求項６】
車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、
前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定処理と、
前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化処理と、
前記平滑化処理により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化処理により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出処理と、
前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、
前記画素値置換処理により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得処理と、
前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、
前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、
前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、
前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする車両用車線認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段を介して取得された道路の画像を処理して、車両が走行している車線を認識する装置、車両、及び当該装置の処理をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
近年、車両にＣＣＤカメラ等の撮像手段を搭載して、走行している道路の路面を撮像し、得られたカラー画像を処理して道路上の白線や黄線等のレーンマークを検出し、検出した結果から認識される車両が走行する車線（走行レーン）の情報に基づいて、車両の走行制御や運転者への情報提示を行う技術が知られている（例えば特許文献１参照）。
【０００３】
特許文献１の認識方法では、自車の前方画像の全画素の濃度を微分処理し、拡大焦点を中心とする放射状の画素毎の濃度微分値の合計を算出してエッジヒストグラムを導出する。そして、前記認識方法では、このエッジヒストグラムで濃度微分値がピークとなる複数の候補線から道路上の白線、黄線等を認識する。詳細には、前記認識方法では、エッジヒストグラムから選定した候補線のうちそのピーク値が極めて高いものは白線と判断し、Ｒ成分を強調した画像中に重畳した候補線のなかに強いＲ成分を含むものがあれば道路上の黄線であると判断する。
【特許文献１】特開平１１−０５３６９１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の認識方法では、レーンマークとして白線と黄線が検出される。しかし、道路上に設けられるレーンマークには、走行区分線（白線・黄線）のような線型のレーンマーク以外にも、多様な色や種別が使用される。例えば、Botts Dotsやキャッツアイのように離散的に設けられる鋲型のレーンマークが使用されている。また、線型のレーンマークには、さらに実線と破線がある。また、例えば、レーンマークの色として、白色、黄色の他に、赤色が使用される場合もある。そして、レーンマークは、その色や種別によって道路法規上の意味が異なることがあるため、車両の走行制御や運転者への情報提示を行うためには、多様なレーンマークの色や種別を区別して認識することが望ましい。
【０００５】
本発明は、かかる背景に鑑みてなされたものであり、車両が走行している道路のカラー画像から、多様な色や種別のレーンマークを区別して車線を認識可能な車両用車線認識装置、車両、及び車両用車線認識プログラムを提供することを目的とする。
【０００６】
さらに、本発明は、車線を規定しているレーンマークの色や種別を精度良く認識し、この認識結果に基づいて車両の走行制御や運転者への情報提示を行うことが可能な車両用車線認識装置、車両、及び車両用車線認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
かかる目的を達成するために、本発明の車両用車線認識装置は、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする（第１発明）。
また、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する車両用車線認識装置において、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えることを特徴とする（第２発明）。
【０００８】
第１発明及び第２発明の車両用車線認識装置によれば、レーンマーク検出用画像取得手段により、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像が取得される。第１画像領域は、例えばレーンマークの画像部分が一般的に有する輝度や色の特徴に基づいて、第２画像領域と分けられる。そして、クラスタリング手段により、レーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割する。このとき、例えば、レーンマークの種別が実線である場合は線全体の画像部分、レーンマークの種別が破線である場合は破線を構成する各線分の画像部分、レーンマークの種別が鋲型である場合は各鋲の画像部分が、それぞれ、画像上で隣接した画素からなる領域となると想定される。よって、実線・破線、線型・鋲型といったレーンマークの種別によらずに、１つのレーンマークの画像部分が、共通の処理で部分領域として得られる。
【０００９】
この部分領域について、色判定手段により色を判定し、車線認識手段は、色判定手段により色が同一であると判定された部分領域を１つのグループとして、グループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される車線の境界位置を認識する。色が同一であるグループ毎に直線成分抽出処理を行うことで、各色のレーンマークにより規定される車線に対応する直線成分を、それぞれ精度良く抽出して、車線を認識することができる。このように、多様な色や種別のレーンマークを区別して、これらのレーンマークにより規定される車線が適切に認識される。よって、車両機器制御手段により、車線認識手段の認識結果に応じて、車線からの逸脱の可能性や道路法規に合致するように車両の機器を適切に制御することができ、車両の走行制御や運転者への情報提示を行うことが可能となる。
【００１７】
さらに、第１発明の車両用車線認識装置によれば、カラー画像を、所定方向の幅がレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化するので、レーンマークや局所的な補修跡や影等の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に周囲の路面の画像部分が多く含まれることとなる。よって、平滑化後のカラー画像では、路面上の局所的な補修跡や影やレーンマークの画像部分を構成する画素の画素値は、周囲の路面の画像部分を構成する画素の画素値と近い画素値となる。また、路面の画像部分のサイズはレーンマークの画像部分に比べて大きいと想定されるため、路面の画像部分の画素を中心画素としてカーネルを配置した場合、カーネルの範囲に路面の画像部分が多く含まれることとなる。よって、路面の画像部分については平滑化の影響が小さく、平滑化された後のカラー画像でも、平滑化される前のカラー画像における画素値が保持される。このため、平滑化後のカラー画像に対する、取得されたカラー画像の画素の画素値の変化度合は、路面の画像部分より画素値が大きいレーンマークの画像部分では正の大きい値となり、路面の画像部分より画素値が小さい局所的な補修跡や影の画像部分では小さい値（負の値も含む）となる。また、平滑化前後で画素値の変化が小さい路面の画像部分でも、変化度合は小さい値となる。よって、画素値置換手段により、取得されたカラー画像の、変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する。これにより、置換された後のカラー画像では、路面の画像部分や局所的な補修跡や影の画像部分の画素の画素値は一定値に置換され、レーンマークの画像部分の画素の画素値のみが保持される。よって、レーンマーク検出用画像取得手段は、画素値が保持された（画素値が一定値以外の）画素からなる領域を第１画像領域とし、この置換された後の画像をレーンマーク検出用画像として取得する。このレーンマーク検出用画像では、第１画像領域としてレーンマークに相当する画像部分が適切に分けられていることから、このレーンマーク検出用画像から車線を精度良く認識することができる。
【００１９】
さらに、第２発明の車両用車線認識装置によれば、白色のレーンマークの画像部分は輝度が大きく、黄色等の有色のレーンマークの画像部分は彩度が大きくなると考えられる。よって、輝度画像と彩度画像についてそれぞれ平滑化処理を行って平滑化前後の画素値の変化度合を算出し、取得されたカラー画像の、輝度画像から算出された変化度合が所定値以下となり、且つ彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換することで、多様な色のレーンマークに対応したレーンマーク検出用画像が取得される。
【００２４】
次に、本発明の車両は、撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像を、前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化手段と、前記平滑化手段により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出手段と、前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする（第３発明）。
また、撮像手段を備え、該撮像手段を介して取得した道路のカラー画像から、走行している車線を認識する機能を有する車両であって、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定手段と、前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定手段により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化手段と、前記平滑化手段により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化手段により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出手段と、前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換手段と、前記画素値置換手段により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得手段と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を行うクラスタリング手段と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定手段と、前記色判定手段により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識手段と、前記車線認識手段の認識結果に応じて、前記車両の機器を制御する車両機器制御手段とを備えたことを特徴とする（第４発明）。
【００２５】
第３発明及び第４発明の車両によれば、第１発明及び第２発明の車両用車線認識装置に関して説明したように、レーンマーク検出用画像取得手段によりレーンマーク検出用画像を取得し、クラスタリング手段により、レーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割することで、レーンマークの種別によらずに、１つのレーンマークの画像部分が、共通の処理で部分領域として得られる。また、車線認識手段により、色が同一であると判定された部分領域を１つのグループとして、グループ毎に直線成分抽出処理を行い、抽出された直線成分から車線を認識することで、共通の処理で、各色のレーンマークにより規定される車線を精度良く認識することができる。このように、多様な色や種別のレーンマークが、共通の処理でそれぞれ精度良く検出され、これらのレーンマークにより規定される車線が適切に認識される。よって、車両機器制御手段により、車線認識手段の認識結果に応じて、車線からの逸脱の可能性や道路法規に合致するように車両の機器を適切に制御することができ、車両の走行制御や運転者への情報提示を行うことが可能となる。
さらに、第３発明の車両によれば第１発明に関して説明した効果が得られ、第４発明の車両によれば第２発明に関して説明した効果が得られる。
【００２６】
次に、本発明の車両用車線認識プログラムは、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定処理と、前記取得されたカラー画像を、前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理により平滑化する平滑化処理と、前記平滑化処理により平滑化された後のカラー画像に対する、前記取得されたカラー画像の各画素の画素値の変化度合を算出する変化度合算出処理と、前記取得されたカラー画像の、前記変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、前記画素値置換処理により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得処理と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする（第５発明）。
また、車両に搭載された撮像手段を介して取得した道路のカラー画像から、該車両が走行している車線を認識する処理をコンピュータに実行させる車両用車線認識プログラムであって、前記撮像手段を介して取得されたカラー画像に対して、所定方向の幅が、前記車線を規定するレーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定するカーネル設定処理と、前記取得されたカラー画像のカラー成分から算出される、輝度を画素値とする輝度画像と、彩度を画素値とする彩度画像とをそれぞれ取得し、該輝度画像と彩度画像とを前記カーネル設定処理により設定されたサイズの平滑化用のカーネルを用いたフィルタ処理によりそれぞれ平滑化する平滑化処理と、前記平滑化処理により平滑化された後の輝度画像に対する、前記取得された輝度画像の各画素の画素値の変化度合と、前記平滑化処理により平滑化された後の彩度画像に対する、前記取得された彩度画像の各画素の画素値の変化度合とをそれぞれ算出する変化度合算出処理と、前記取得されたカラー画像の、前記輝度画像から算出された変化度合が所定値以下となり、且つ前記彩度画像から算出された変化度合が所定値以下となる画素の画素値を、予め定められた一定値に置換する画素値置換処理と、前記画素値置換処理により画素値が置換された後のカラー画像を、レーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像として取得するレーンマーク検出用画像取得処理と、前記レーンマーク検出用画像の前記第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理と、前記クラスタリング処理により分割された前記第１画像領域の前記各部分領域の色を判定する色判定処理と、前記色判定処理により色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される前記車線の境界位置を認識する車線認識処理と、前記車線認識処理の認識結果に応じて、前記車両の機器を制御する車両機器制御処理とをコンピュータに実行させる機能を有することを特徴とする（第６発明）。
【００２７】
第５発明の車両用車線認識プログラムによれば、第１発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。また、第６発明の車両用車線認識プログラムによれば、第２発明に関して説明した効果を奏し得る処理をコンピュータに実行させることができる。
【発明を実施するための最良の形態】
【００２８】
本発明の一実施形態を、図１〜図９を参照して説明する。図１を参照して、本発明の実施形態である車両用車線認識装置は、自車両１（本発明の車両）に搭載して使用され、画像処理ユニット１０とＥＣＵ（Electronic Control Unit）２０から構成される。画像処理ユニット１０は、自車両１の前方を撮像するカメラ２により撮像される画像を処理するものであり、撮像された画像から、自車両１の走行している道路上のレーンマークにより規定される車線を認識する。なお、カメラ２（本発明の撮像手段）はＣＣＤカメラ等であり、自車両１のフロント部分に取り付けられている。また、画像処理ユニット１０により認識された車線のデータは、ＥＣＵ２０に出力される。ＥＣＵ２０は、自車両１の電気的な制御を総合的に行うものであり、入力された車線のデータに応じて、自車両１のステアリング装置を制御して、自車両１が車線に沿って走行するようにアシストする。
【００２９】
次に、図２を参照して、画像処理ユニット１０は、その機能として、自車両１の前方の道路のカラー画像から車線を認識するための、画像取得手段１１と、レーンマーク検出用画像取得手段１２と、クラスタリング手段１３と、色判定手段１４と、車線認識手段１５と、種別判定手段１６とを備えている。さらに、画像処理ユニット１０は、画像取得手段１１により取得されたカラー画像を処理して、処理後の画像をレーンマーク検出用画像取得手段１２に出力するための、カーネル設定手段３１と、平滑化手段３２と、変化度合算出手段３３と、画素値置換手段３４とを備えている。これらの各機能の詳細については後述する。
【００３０】
また、ＥＣＵ２０は、その機能として、認識された車線のデータに応じて自車両１のステアリング装置を制御して、車線維持支援処理を実行する車両機器制御手段２１を備えている。ステアリング装置は本発明の機器に相当する。具体的には、車両機器制御手段２１は、認識された車線に沿って自車両１が走行するように、ステアリング装置（図示せず）のアクチュエータを駆動することによりトルク（操舵アシストトルク）を発生し、自車両１のステアリング装置のステアリングハンドルを介して運転者の手動操作により入力されたトルク（運転者操舵トルク）と共に、ステアリング装置の操舵機構を介して操舵輪に伝達する。このとき、車両機器制御手段２１は、認識された車線の境界位置に基づいて、自車両１が車線を逸脱する可能性があるか否か（車線維持支援処理を行うべきか否か）を判定する車線逸脱判定処理を実行する。そして、車線を逸脱する可能性がある場合に、車線を規定するレーンマークの色及び形状に基づいて制御レベルを選択し、この制御レベルに応じて操舵アシストトルクを発生して車線維持支援処理を実行する。
【００３１】
画像処理ユニット１０は、入力アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路と、デジタル化した画像信号を記憶する画像メモリと、画像メモリに記憶されたデータにアクセス（読み出し及び書き込み）するためのインタフェース回路を有して、該画像メモリに記憶された画像に対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。また、ＥＣＵ２０も、各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等により構成された電子ユニットである。
【００３２】
画像処理ユニット１０は、そのコンピュータに本発明の車線認識用プログラムを実行させることによって、該コンピュータが、画像取得手段１１、レーンマーク検出用画像取得手段１２、クラスタリング手段１３、色判定手段１４、車線認識手段１５、種別判定手段１６、カーネル設定手段３１、平滑化手段３２、変化度合算出手段３３、及び画素値置換手段１４として機能する。また、ＥＣＵ２０は、そのコンピュータに本発明の車線認識用プログラムを実行させることによって、該コンピュータが、車両機器制御手段２１として機能する。
【００３３】
次に、車両用車線認識装置による作動（車両用車線認識処理）を、図３に示したフローチャートに従って説明する。図３に示したフローチャートによる処理は、車両用車線認識装置の制御周期毎に繰り返し実行される。
【００３４】
図３のＳＴＥＰ１で、画像取得手段１１は、カメラ２から出力される画像信号を入力し、入力した画像信号から、画素データにより構成されるカラー画像を取得する。このとき、画素データは、Ｒ値、Ｇ値、Ｂ値からなるカラー成分で構成されている。取得されたカラー画像はＡ／Ｄ変換されて画像メモリに格納される。図５（ａ）に、ある制御周期の時刻においてカメラ２を介して取得されるカラー画像Ｉ1を例示する。カラー画像Ｉ1は、図５（ａ）に例示するような、m×n個の画素からなる画像である。カラー画像Ｉ1の各画素Ｐ1は、カラー成分としてＲ値，Ｇ値，Ｂ値を有するものであり、Ｐ1（i，j）＝（Ｒij，Ｇij，Ｂij）で表される。ただし、i，jは、各画素の座標であり、0≦i＜m，0≦j＜nとなる整数である。
【００３５】
図５（ａ）の例では、自車両１が矢印方向に走行しており、自車両１が走行している道路の車線の左側を規定するレーンマークが破線の黄線Ａ１（レーンマークａ１〜ａ６から構成される）であり、右側を規定するレーンマークが破線の白線Ａ２（レーンマークａ７〜ａ１２から構成される）である場合を示す。
【００３６】
次に、ＳＴＥＰ２で、レーンマーク検出用画像取得手段１２は、ＳＴＥＰ１で取得した道路のカラー画像から、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域と、それ以外の画素からなる第２画像領域とに分けられたレーンマーク検出用画像を取得する。このレーンマーク検出用画像を取得する処理は、図４に示すフローチャートのように行われる。
【００３７】
図４を参照して、ＳＴＥＰ２１で、平滑化手段３２は、ＳＴＥＰ１で取得したカラー画像Ｉ1の画素のカラー成分（Ｒ，Ｇ，Ｂ）から、画素の輝度Ｙを算出し、この輝度Ｙを画素値とする輝度画像Ｉ2を取得すると共に、画素の彩度Ｓを算出し、この彩度Ｓを画素値とする彩度画像Ｉ3を取得する。
【００３８】
詳細には、平滑化手段３２は、カラー画像Ｉ1の各画素Ｐ1（i，j）のカラー成分（Ｒij，Ｇij，Ｂij）から、Ｙij＝α×Ｒij＋β×Ｇij＋γ×Ｂijにより輝度Ｙijを算出する。ただし、α，β，γは、α＋β＋γ＝１となるような所定の係数である。これにより、図６（ａ）に例示するような、輝度Ｙijを各画素Ｐ2（i，j）のデータとする、m×n個の画素からなる輝度画像Ｉ2が取得される。なお、画像取得手段１１は、輝度Ｙijを、（Ｒij，Ｇij，Ｂij）のうちの最大値MAXij、最小値MINijを用いて、Ｙij＝（MAXij＋MINij）／２により算出してもよい。または、平滑化手段３２は、輝度ＹijとしてＧij値を用いるものとしてもよい。図６（ａ）に示すように、輝度画像Ｉ2において、白線Ａ２の画像部分は輝度が大きく、黄線Ａ１の画像部分は白線Ａ２より輝度が小さい。また、路面の画像部分はさらに輝度が小さく平均的な路面の輝度となる。
【００３９】
これと共に、平滑化手段３２は、カラー画像Ｉ1の各画素Ｐ1（i，j）のＲ値，Ｇ値，Ｂ値（Ｒij，Ｇij，Ｂij）から、Ｓij＝（MAXij−MINij）／MAXijにより彩度Ｓijを算出する。これにより、図６（ｂ）に例示するような、彩度Ｓijを各画素Ｐ3（i，j）のデータとする、m×n個の画素からなる彩度画像Ｉ3が取得される。図６（ｂ）に示すように、彩度画像Ｉ3において、黄線Ａ１の画像部分は彩度が大きく、白線Ａ２の画像部分は黄線Ａ１より彩度が小さい。また、路面の画像部分はさらに彩度が小さく平均的な路面の彩度となる。
【００４０】
次に、ＳＴＥＰ２２で、カーネル設定手段３１は、ＳＴＥＰ２１で取得した輝度画像Ｉ2と彩度画像Ｉ3に対して、複数のサイズの平滑化用のカーネルを設定する。このとき、カーネル設定手段３１は、所定方向の幅が、レーンマークの画像部分の該所定方向の幅よりも大きい所定範囲内となるサイズのカーネルを設定する。
【００４１】
図６（ｃ）に、輝度画像Ｉ2に対して設定された５つの平滑化用のカーネルＫ1〜Ｋ5を例示する。なお、彩度画像Ｉ3に対しても、輝度画像Ｉ2と同様に平滑化用のカーネルＫ1〜Ｋ5が設定される。平滑化用のカーネルＫ1〜Ｋ5は、それぞれ、輝度画像Ｉ2の領域Ｒ1〜Ｒ5に含まれる画素を中心画素として平滑化する際に用いられる。
【００４２】
平滑化用のカーネルＫ1〜Ｋ5の縦方向のサイズＹｆ［Pixel］は、いずれも数画素（例えば、1〜3［Pixel］）とする。領域Ｒ1〜Ｒ5は、自車両１から離れるにしたがって、段階的に縦方向の幅を狭くしている。なお、サイズＹｆは、自車両１からの距離が離れるほど小さくなるような値を用いてもよい。
【００４３】
また、平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆ［Pixel］は、実空間における所定幅ΔＸに該当する値とする。所定幅ΔＸとしては、レーンマークの幅と想定される値（例えば、0.1〜0.75［m］）より大きい値（例えば、レーンマークの幅の数倍、具体的には0.5〜1［m］）が用いられる。なお、所定幅ΔＸは、道路の幅と想定される値よりは小さい値とする。平滑化用のカーネルＫ1〜Ｋ5の横方向のサイズＸｆは、例えば、それぞれ10，20，50，100，150［Pixel］となる。サイズＸｆは、自車両１の実空間座標系と画像座標系との関係（カメラ２の取り付け位置、焦点距離、画素間隔等により定まる）から、自車両１からの距離が離れるほど小さくなるような値に設定される。
【００４４】
図４に戻り、次に、ＳＴＥＰ２３で、平滑化手段３２は、ＳＴＥＰ２２で設定した平滑化用のカーネルＫ1〜Ｋ5を用いたフィルタ処理により、輝度画像Ｉ2と彩度画像Ｉ3とをそれぞれ平滑化する。平滑化では、画像内の各画素について、当該画素を中心画素として平滑化用カーネルを配置し、平滑化用カーネルの範囲に含まれる全画素の画素値の平均を、中心画素の画素値とする処理が行われる。
【００４５】
図６（ｄ）に、平滑化後の輝度画像Ｉ4を示す。平滑化により、輝度画像Ｉ2内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の輝度画像Ｉ4では、白線Ａ２の画像部分の画素値も、平均的な路面の輝度に近い画素値となっている。
【００４６】
また、図６（ｅ）に、平滑化後の彩度画像Ｉ5を示す。平滑化により、彩度画像Ｉ3内の画素値の変化の幅が狭くなって、低コントラストの画像が得られる。平滑化後の彩度画像Ｉ5では、黄線Ａ１の画像部分の画素値も、平均的な路面の彩度に近い画素値となっている。
【００４７】
次に、カラー画像Ｉ１の全画素（i＝1〜m，j＝1〜n）について、ＳＴＥＰ２４〜２７の処理が実行される。
【００４８】
まず、ＳＴＥＰ２４で、変化度合算出手段３３は、ＳＴＥＰ２２で取得した輝度画像Ｉ2の画素値Ｐ2（i，j）から、ＳＴＥＰ２３の平滑化後の輝度画像Ｉ4の画素値Ｐ4（i，j）を減算して、画素（i，j）の輝度の変化度合ΔＩY（i，j）＝Ｐ2（i，j）−Ｐ4（i，j）を算出する。
【００４９】
次に、ＳＴＥＰ２５で、変化度合算出手段３３は、ＳＴＥＰ２２で取得した彩度画像Ｉ3の画素値Ｐ3（i，j）から、ＳＴＥＰ２３の平滑化後の彩度画像Ｉ5の画素値Ｐ5（i，j）を減算して、画素（i，j）の彩度の変化度合ΔＩS（i，j）＝Ｐ3（i，j）−Ｐ5（i，j）を算出する。
【００５０】
次に、ＳＴＥＰ２６で、画素値置換手段３４は、輝度の変化度合ΔＩY（i，j）が所定値ＩYth以下であり、且つ彩度の変化度合ΔＩS（i，j）が所定値ＩSth以下であるか否かを判断する。所定値ＩYthは、レーンマーク（白線）の画像部分の輝度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。また、所定値ＩSthは、レーンマーク（黄線）の画像部分の彩度の変化度合が取り得る範囲に応じて定められる値（例えば、０以下の値）である。
【００５１】
ＳＴＥＰ２６の判断結果がＹＥＳの場合は、画素（i，j）が、輝度の変化度合ΔＩY（i，j）が小さく且つ彩度の変化度合ΔＩS（i，j）が小さい画像部分、すなわち、平滑化前後で輝度及び彩度の変化が小さい路面の画像部分と想定される。よって、ＳＴＥＰ２７に進み、画素値置換手段３４は、カラー画像Ｉ1の画素値Ｐ1（i，j）を予め定められた一定値Ｐcに置換し、ＳＴＥＰ５に戻る。なお、一定値Ｐcは、例えば、レーンマークの画像部分の画素値が取り得る値より十分小さい値（例えば（０，０，０））である。
【００５２】
一方、ＳＴＥＰ２６の判断結果がＮＯの場合は、画素（i，j）が輝度が大きい白線Ａ２の画像部分か、彩度が大きい黄線Ａ１の画像部分であると想定される。よって、画素値置換手段３４は、画素（i，j）の画素値を置換せずに、そのままＳＴＥＰ２５に戻る。
【００５３】
レーンマーク検出用画像取得手段１２は、カラー画像Ｉ1の全画素についてＳＴＥＰ２４〜２６の処理が実行された結果として得られる、画素値が置換された後のカラー画像を、レーンマーク検出用画像Ｉ6として取得する。取得されたレーンマーク検出用画像Ｉ6を図５（ｂ）に示す。図５（ｂ）において、ハッチングを付した部分が、カラー画像Ｉ1の画素値のまま保持された画素からなる領域であり、第１画像領域に相当する。また、それ以外の白抜きの部分が、画素値が一定値に置換された画素からなる領域であり、第２画像領域に相当する。図５（ｂ）に示すように、画素値が置換された後のカラー画像では、黄線Ａ１、白線Ａ２の画像部分のみがカラー画像Ｉ1の画素値のまま保持されることから、この領域を、車線を規定するレーンマークの画像部分と想定される画素値を有する画素からなる第１画像領域とすることができる。
【００５４】
図３に戻り、次に、ＳＴＥＰ３で、クラスタリング手段１３は、ＳＴＥＰ２で取得されたレーンマーク検出用画像の第１画像領域を、隣接した画素からなる部分領域に分割するクラスタリング処理を実行する。具体的には、クラスタリング手段１３は、レーンマーク検出用画像Ｉ6の第１画像領域について輪郭線追跡を行い、１つの輪郭線で囲まれた閉領域を１つの部分領域とする。例えば、図７（ａ）の領域Ｒについて、図７（ｂ）に示すように輪郭線を追跡して、１つの輪郭線Ｌで囲まれた閉領域を１つの部分領域Ｃとする。このクラスタリング処理により図８（ａ）に示すように、レーンマーク検出用画像Ｉ6の第１画像領域が、部分領域Ｃ1〜Ｃ12に分割される。
【００５５】
次に、ＳＴＥＰ４で、車線認識手段１５は、ＳＴＥＰ３で得られた部分領域Ｃ1〜Ｃ12のうち、所定方向の幅が、該所定方向に対応するレーンマークの幅に応じて設定された所定範囲外となる部分領域を、処理の対象から除外する。具体的には、車線認識手段１５は、自車両１の実空間座標系と画像座標系との関係を用いて、部分領域Ｃ1〜Ｃ12を実空間座標系に変換する。図９に、実空間上での部分領域Ｃ1〜Ｃ12を例示する。次に、車線認識手段１５は、実空間上での部分領域Ｃ1〜Ｃ12の幅Ｗ1〜Ｗ12が、実空間上でのレーンマークの幅に応じて設定される範囲Ｗth1〜Ｗth2（例えば0.05〜1［m］）外か否かを判断する。そして、範囲Ｗth1〜Ｗth2外と判断された部分領域は、レーンマークの画像部分ではないと想定されることから、車線認識手段１５は、当該部分領域を、以降の処理の対象から除外する。図９に示した例では、部分領域Ｃ1〜Ｃ12の幅Ｗ1〜Ｗ12は、全て範囲Ｗth1〜Ｗth2内であると判断され、全て以降の処理の対象となる。
【００５６】
次に、ＳＴＥＰ５で、色判定手段１４は、クラスタリング処理により分割された第１画像領域の各部分領域の色を判定する。具体的には、色判定手段１４は、各部分領域について、所定の色（例えば白、黄、その他（青、赤、緑）等に分類）に画素毎に投票する投票処理を行い、各部分領域の色を判定する。図８（ａ）に示した例では、部分領域Ｃ1〜Ｃ6は色が黄色と判定され、部分領域Ｃ7〜Ｃ12は色が白色と判定される。
【００５７】
次に、ＳＴＥＰ６で、車線認識手段１５は、ＳＴＥＰ５で色が同一であると判定された部分領域を１つのグループとしてグループ毎に直線成分抽出処理を行い、抽出された直線成分からレーンマークにより規定される車線の境界位置を認識する。直線成分を抽出する手法としては、ハフ変換や、最小２乗法による直線の当てはめ等の手法を用いることができる。そして、抽出された直線成分と、これらの直線成分と自車両１との位置関係等に基いて、車線の境界位置を認識する。図８（ａ）に示した例では、図８（ｂ）に示すように、部分領域Ｃ1〜Ｃ6からなるグループから、直線成分Ｌ１が抽出され、部分領域Ｃ7〜Ｃ12からなるグループから、直線成分Ｌ２が抽出される。そして、車線認識手段１５は、この抽出された直線成分Ｌ１，Ｌ２を画像上での車線の左右の境界位置として認識し、実空間座標系に変換することで、実空間上での車線の境界位置を取得する。
【００５８】
次に、ＳＴＥＰ７で、車線認識手段１５は、車線を規定するレーンマークの色を認識する。具体的には、車線認識手段１５は、直線成分が抽出されたグループを構成する部分領域の色を、該直線成分から認識された車線を規定するレーンマークの色として認識する。すなわち、図８（ｂ）に示した例では、車線認識手段１５は、直線成分Ｌ１が抽出されたグループを構成する部分領域Ｃ1〜Ｃ6についてＳＴＥＰ５で判定された色（黄色）を、直線成分Ｌ１から認識された車線を規定するレーンマークの色として認識する。また、車線認識手段１５は、直線成分Ｌ２が抽出されたグループを構成する部分領域Ｃ7〜Ｃ12についてＳＴＥＰ５で判定された色（白色）を、直線成分Ｌ２から認識された車線を規定するレーンマークの色として認識する。
【００５９】
次に、ＳＴＥＰ８で、種別判定手段１６は、認識された車線を規定するレーンマークの種別を判定する。このとき、種別判定手段１６は、直線成分が抽出されたグループを構成する、該直線成分の近傍の部分領域の分布状態に基づいて、該直線成分から認識された車線を規定するレーンマークの種別を判定する。具体的には、種別判定手段１６は、図９に示すように、直線成分Ｌ１のうち、部分領域Ｃ1〜Ｃ6の自車両１に最も近い箇所から最も遠い箇所までの線分の長さＤと、各部分領域Ｃ1〜Ｃ6の長さｄ1〜ｄ6の総和との比（（ｄ1+ｄ2+ｄ3+ｄ4+ｄ5+ｄ6）／Ｄ）を算出する。そして、この算出した比が所定値Ｄth以上の場合、この直線成分Ｌ１から認識された車線を規定するレーンマークの種別を実線と判定し、所定値Ｄth未満の場合、破線と判定する。直線成分Ｌ２についても同様である。図９に示した例では、直線成分Ｌ１、Ｌ２について、それぞれ破線と判定される。
【００６０】
次に、ＳＴＥＰ９で、車両機器制御手段２１は、認識された車線のデータに基づいて、車線逸脱判定処理を実行する。具体的には、車両機器制御手段２１は、認識された車線の境界位置と、現在の自車両１の位置や車速等とから、自車両１が認識された車線から逸脱する可能性を判定する。そして、車両機器制御手段２１は、車線から逸脱する可能性が高い場合に、車線維持支援処理を行うべきと判断する。
【００６１】
次に、ＳＴＥＰ１０で、車両機器制御手段２１は、ＳＴＥＰ９で車線維持支援処理を行うべきと判断された場合、認識された車線のデータに基づいて、車線維持支援処理を実行する。具体的には、車両機器制御手段２１は、認識された車線の境界位置と、現在の自車両１の位置や車速等とから、自車両１が認識された車線に沿って走行するように目標ヨーレートを設定する。そして、車両機器制御手段２１は、目標ヨーレートと、自車両１に備えられたヨーレートセンサの出力との偏差が解消するように操舵アシストトルクを算出し、この算出した操舵アシストトルクをステアリング装置のアクチュエータに発生させる。
【００６２】
このとき、車両機器制御手段２１は、認識された車線を規定するレーンマークの色及び種別に応じて、ステアリング装置の制御を変更する。具体的には、車両機器制御手段２１は、レーンマークの色及び種別から判断される道路法規上の意味に応じて、設定される制御量（目標ヨーレート）の大きさを変更することで、車線維持支援処理の制御レベルを変更する。これにより、車線からの逸脱の可能性や道路法規に合致するように自車両１のステアリング装置をアシスト駆動して、自車両１の走行制御を行うことができる。
【００６３】
例えば、日本では、道路法規上、車線を規定するレーンマークが、白色の実線の場合、はみ出し禁止を意味し、黄線の場合、追い越しのための右側はみ出し禁止を意味し、白色の破線の場合、はみ出し可を意味する。よって、車線から逸脱する可能性があると判断したとき、白色の実線の場合に、最も強い制御レベル１で車線維持支援処理を行い、黄線の場合、中の制御レベル２で車線維持支援処理を行い、白色の破線の場合、最も弱い制御レベル３で車線維持支援処理を行う。
【００６４】
また、例えば、米国では、道路法規上、車線を規定するレーンマークが、白色又は黄色の実線の場合、はみ出し禁止を意味し、黄色の破線の場合、追い越しのための右側はみ出し禁止を意味し、白の破線の場合、はみ出し可を意味する。よって、車線から逸脱する可能性があると判断したとき、白色又は黄色の実線の場合に、最も強い制御レベル１で車線維持支援処理を行い、黄色の破線の場合、中の制御レベル２で車線維持支援処理を行い、白の破線の場合、最も弱い制御レベル３で車線維持支援処理を行う。
【００６５】
以上が、本実施形態の車両用車線認識装置における車両用車線認識処理である。本実施形態によれば、自車両１が走行している道路のカラー画像から、多様な色や種別のレーンマークＡ１，Ａ２を区別して車線を認識することができる。そして、車線の境界位置と共に、車線を規定しているレーンマークＡ１，Ａ２の色や種別を精度良く認識し、この認識結果に基づいて、自車両１の走行制御を行うことができる。
【００６６】
なお、本実施形態では、車両機器制御手段２１は、車線を規定するレーンマークの色及び種別に応じて、車線維持支援処理の制御レベルを変更するものとしたが、他の実施形態として、車線逸脱判定処理の判定基準のレベルを変更するものとしてもよい。
【００６７】
また、本実施形態では、車両機器制御手段２１は、車線維持支援処理において、機器としてステアリング装置を制御するものとしたが、他の実施形態として、自車両１のブレーキ装置やアクセル装置を制御（アシスト駆動）するものとしてもよい。また、車両機器制御手段２１は、機器として自車両１に搭載されたスピーカや表示装置を制御し、自車両１が車線から逸脱する可能性がある場合に、スピーカや表示装置を介して自車両１の運転者に複数の種類の注意喚起情報を切り替えて出力する注意喚起出力処理を実行するものとしてもよい。このとき、車両機器制御手段２１は、認識された車線のデータに応じて、出力する注意喚起情報を切り替える。これにより、車線からの逸脱の可能性や道路法規に合致するように自車両１の機器を制御して、運転者への情報提示を適切に行うことができる。さらに、車両機器制御手段２１は、車線維持支援処理と注意喚起出力処理とを、並行して行うようにしてもよい。
【００６８】
なお、本実施形態では、変化度合算出手段３３は、変化度合として画素値の差を用いたが、他の実施形態において、変化度合として、取得された画像を平滑化後の画像で除算して得られる各画素の画素値の比を用いるものとしてもよい（ΔＩY（i，j）＝Ｐ2（i，j）／Ｐ4（i，j）、ΔＩS（i，j）＝Ｐ3（i，j）／Ｐ5（i，j））。この場合、所定値ＩYth，ＩSthは、レーンマークの画像部分の画素値の変化度合が取り得る範囲に応じて定められる値（例えば、１以下の値）とする。
【００６９】
また、本実施形態では、画像取得手段１１は、画素データがＲ値、Ｇ値、Ｂ値からなるカラー成分で構成されるカラー画像を取得するものとしたが、他の実施形態として、画素データがＣＭＹ出力等からなるカラー成分で構成されるカラー画像を取得するものとしてもよい。
【００７０】
また、本実施形態では、レーンマーク検出用画像取得手段１２は、輝度画像と彩度画像のそれぞれについて平滑化処理・画素値置換処理を行った後の画像を、レーンマーク検出用画像として取得するものとしたが、輝度及び彩度のいずれか一方、或いは輝度及び彩度以外を画素値とする画像を取得して平滑化処理・画素値置換処理を行い、レーンマーク検出用画像を取得するものとしてもよい。
【図面の簡単な説明】
【００７２】
【図１】本発明の車両用車線認識装置の自車両への搭載態様を示した説明図。
【図２】本発明の車両用車線認識装置の構成図。
【図３】図２に示した車両用車線認識装置による車両用車線認識処理を示すフローチャート。
【図４】図３の車両用車線認識処理におけるレーンマーク検出用画像の取得処理を示すフローチャート。
【図５】図３の車両用車線認識処理の処理画像例及び説明図。
【図６】図４のレーンマーク検出用画像の取得処理の処理画像例及び説明図。
【図７】図３の車両用車線認識処理におけるクラスタリング処理の説明図。
【図８】図３の車両用車線認識処理における直線成分抽出処理の説明図。
【図９】図３の車両用車線認識処理における実空間上での部分領域の説明図。
【符号の説明】
【００７３】
１…車両（自車両）、２…カメラ（撮像手段）、１０…画像処理ユニット、１１…画像取得手段、１２…レーンマーク検出用画像取得手段、１３…クラスタリング手段、１４…色判定手段、１５…車線認識手段、１６…種別判定手段、２０…ＥＣＵ、２１…車両機器制御手段、３１…カーネル設定手段、３２…平滑化手段、３３…変化度合算出手段、３４…画素値置換手段。
【図１】
0005083658.tif 000002
【図２】
0005083658.tif 000003
【図３】
0005083658.tif 000004
【図４】
0005083658.tif 000005
【図５】
0005083658.tif 000006
【図６】
0005083658.tif 000007
【図７】
0005083658.tif 000008
【図８】
0005083658.tif 000009
【図９】
0005083658.tif 000010