(57)【要約】【課題】単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置を提供する。【解決手段】横断歩道認識装置は、撮像装置と、水平ラインの輝度変化を検出する輝度変化検出部、第１の輝度変化と第２の輝度変化とが交互に繰り返される分布のパターンを含む第１の水平ラインの存在を判定してグループ化するグループ化部、異なる第１の水平ラインの間で同じ輝度変化の輝度変化点どうしが群をなして並ぶか判定し、さらに群の並び方向が垂直方向に近いか遠いかを判定し、垂直方向に近い並び方向の群をなす輝度変化点を含む第２の水平ラインが所定数以上存在する場合に第２の水平ラインの領域の垂直方向範囲を抽出する横断歩道領域抽出部、第２の水平ラインの領域を通らない第３の水平ラインを横断歩道領域を通る水平ラインの候補から除外して横断歩道を認識する横断歩道認識部、を備える画像認識装置とを備えている。【選択図】図１
2013186663.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、
前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、
前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、
前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインをグループ化する、グループ化部と、
前記グループ化部によってグループ化された前記第１の水平ラインのそれぞれについて、異なる前記第１の水平ラインとの間で、前記第１の輝度変化を伴う前記輝度変化点どうしおよび前記第２の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの２通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの２通りに判定し、前記第１の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第２の水平ラインが複数の所定数以上存在する場合に、前記第２の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出する、横断歩道領域抽出部と、
前記第２の水平ラインで構成される領域を通らない前記第１の水平ラインである第３の水平ラインが存在する場合に前記第３の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、
を備えていることを特徴とする横断歩道認識装置。
【請求項２】
前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項１に記載の横断歩道認識装置。
【請求項３】
前記撮像装置は単眼カメラであることを特徴とする請求項１または２に記載の横断歩道認識装置。
【請求項４】
前記画像認識装置は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、
Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）
に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する距離算出部を備えていることを特徴とする請求項１から３までのいずれかに記載の横断歩道認識装置。
【請求項５】
前記横断歩道認識部は、前記第２の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第２の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道を含む領域の前記水平方向の範囲を認識することを特徴とする請求項１から４までのいずれか１項に記載の横断歩道認識装置。
【請求項６】
画像を撮像し、
前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、
前記水平ラインの中に、検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインをグループ化し、
グループ化された前記第１の水平ラインのそれぞれについて、異なる前記第１の水平ラインとの間で、前記第１の輝度変化を伴う前記輝度変化点どうしおよび前記第２の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの２通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの２通りに判定し、前記第１の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第２の水平ラインが複数の所定数以上存在する場合に、前記第２の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出し、
前記第２の水平ラインで構成される領域を通らない前記第１の水平ラインである第３の水平ラインが存在する場合に前記第３の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識することを特徴とする横断歩道認識方法。
【請求項７】
前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布であることを特徴とする請求項６に記載の横断歩道認識方法。
【請求項８】
認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、
Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）
に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出することを特徴とする請求項６または７に記載の横断歩道認識方法。
【請求項９】
前記第２の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第２の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識することを特徴とする請求項６から８までのいずれか１項に記載の横断歩道認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されるいわゆる運転支援システムに係り、特に、横断歩道を認識する装置に関するものである。
【背景技術】
【０００２】
近年、車両の周囲環境を認識して搭乗者の安全を図る運転支援システムが盛んに開発されている。係る運転支援システムでは、例えば、撮像装置で撮像した周囲環境の画像を画像認識機能を有するＥＣＵ（Electronic Control Unit）によって処理し、運転者や搭乗者に必要な警告を発するようになっている。このような撮像される車両の周囲環境の１つとして横断歩道が挙げられる。
【０００３】
特許文献１には、メインカメラとサブカメラとで撮像した２枚のステレオ画像から横断歩道を認識する装置が開示されている。メインカメラとサブカメラとから出力された一対の画像は、ステレオマッチング処理およびフィルタリング処理により基準画像と比較画像とに変換される。そして、得られた２枚のステレオ画像の視差を算出し、画素ブロックに対して実空間における距離を算出する。視差から距離が算出されることを利用し、実空間において自車両から所定距離だけ離れた前方領域のみを探索して横断歩道を検出する。このとき、基準画像の道路面上に高輝度領域が所定の距離で出現していれば横断歩道と認識する。
【０００４】
また、特許文献２は、特許文献１の方法で横断歩道までの距離を検出しようとして、短い周期で撮像される画像から逐次横断歩道の検出のために広い画像領域を探索すると、計算に時間がかかりリアルタイム性を損なうことを改善することを提案している。この改善された手法では、ステレオカメラによる視差算出を行う点は特許文献１と同じであるが、車線の幅と横断歩道の幅とが区別できない場合があることに着目して認識処理を軽減している。検出した実空間における車線候補の高輝度領域の幅が横断歩道の幅に相当する場合にのみ、高輝度領域と低輝度領域とが水平方向に繰り返し現れるか否かを判定して横断歩道を認識し、横断歩道までの距離を求める。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０９３１３号公報
【特許文献２】特開２０１１−１１８５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１および２などの従来の横断歩道認識技術は、ステレオ画像の視差から距離を算出しておりセンサのコストが高い。センサに単眼カメラを用いることができればコストは低減され、構成が簡略化される。しかしながら、単眼カメラを用いる場合には視差が求まらないため、実空間の距離を知ることが困難である。従って、単眼カメラで撮像した周囲環境に対して、水平方向にサーチした撮像パターンのみをグループ化して横断歩道を認識しようとすると、サーチ領域が確かに横断歩道の存在する領域であることを特定できず、横断歩道以外のものを横断歩道と誤認識する虞があるという問題がある。
【０００７】
例えば図１０に示すように、カメラの撮像範囲内に白線ペイントからなる駐車場の駐車枠線Ｍや並列して駐車している複数の車両Ｎが存在する場合などがある。前方の路面はカーブ形状をなしており、撮像画像上で画像認識を行うための注目領域内にこれらの駐車枠線や車両が存在している。視差が分かればこの注目領域が車両から規定距離以上に離れているなどとしてサーチ対象領域から除外できるが、単眼カメラを用いた場合には、道路領域を認識するなどの特別な処理を行わない限り、これらのペイントや物体が横断歩道の候補にはならないことが即座には判定できない。そして、これらの撮像画像を一点鎖線で示すように水平方向にサーチしたときに、駐車枠線Ｍの一部が周期的に現れたり、車両Ｎの一部Ｎが明暗の繰り返しパターンを形成したりしていると、これらの画像パターンが横断歩道であると誤認識されてしまう。
【０００８】
このように、従来の横断歩道の認識技術では、単眼カメラを用いて横断歩道を他物体から区別して高精度に認識することができなかった。
【０００９】
本発明は、上記課題を解決するものであり、単眼カメラを用いて横断歩道を高精度に認識することのできる横断歩道認識装置および横断歩道認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の局面は、撮像装置と、前記撮像装置によって撮像された画像から横断歩道を認識する画像認識装置であって、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出する、輝度変化検出部と、前記水平ラインの中に、前記輝度変化検出部によって検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインをグループ化する、グループ化部と、前記グループ化部によってグループ化された前記第１の水平ラインのそれぞれについて、異なる前記第１の水平ラインとの間で、前記第１の輝度変化を伴う前記輝度変化点どうしおよび前記第２の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの２通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの２通りに判定し、前記第１の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第２の水平ラインが複数の所定数以上存在する場合に、前記第２の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出する、横断歩道領域抽出部と、前記第２の水平ラインで構成される領域を通らない前記第１の水平ラインである第３の水平ラインが存在する場合に前記第３の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する、横断歩道認識部と、を備える画像認識装置と、を備えている。
【００１１】
本発明の第２の局面は、前記第１の局面において、前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。
【００１２】
本発明の第３の局面は、前記第１の局面または前記第２の局面において、前記撮像装置は単眼カメラである。
【００１３】
本発明の第４の局面は、前記第１の局面から前記第３の局面までのいずれかにおいて、前記画像認識装置は、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する距離算出部を備えている。
【００１４】
本発明の第５の局面は、前記横断歩道認識部は、前記第２の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第２の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。
【００１５】
本発明の第６の局面は、画像を撮像し、前記画像の少なくとも一部の領域を構成する水平ラインのそれぞれについて、水平方向における輝度変化を検出し、前記水平ラインの中に、検出された前記輝度変化が暗から明への第１の輝度変化と明から暗への第２の輝度変化とが交互に繰り返される分布を有するパターンを含む第１の水平ラインが複数存在するか否かを判定し、前記第１の水平ラインが複数存在すると判定した場合に前記第１の水平ラインをグループ化し、グループ化された前記第１の水平ラインのそれぞれについて、異なる前記第１の水平ラインとの間で、前記第１の輝度変化を伴う前記輝度変化点どうしおよび前記第２の輝度変化を伴う前記輝度変化点どうしが群をなして並んでいるか否かの２通りに判定し、群をなして並んでいると判定された前記輝度変化点については、前記画像の垂直方向に近い並び方向の群をなすか、前記画像の垂直方向に遠い並び方向の群をなすかの２通りに判定し、前記第１の水平ラインの中に、前記画像の垂直方向に近い並び方向の群をなすと判定された前記輝度変化点を含む第２の水平ラインが複数の所定数以上存在する場合に、前記第２の水平ラインで構成される領域の前記垂直方向の範囲を横断歩道を含む領域の前記垂直方向の範囲として抽出し、前記第２の水平ラインで構成される領域を通らない前記第１の水平ラインである第３の水平ラインが存在する場合に前記第３の水平ラインを前記横断歩道を通る前記水平ラインの候補から除外し、前記横断歩道を含む領域の前記垂直方向の範囲に基づいて前記横断歩道の前記垂直方向の範囲を認識する。
【００１６】
本発明の第７の局面は、前記第６の局面において、前記輝度変化が有する前記分布は、前記第１の輝度変化を伴う前記輝度変化点と前記第２の輝度変化を伴う前記輝度変化点との間の前記画像上での距離、前記第１の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離、あるいは、前記第２の輝度変化を伴う前記輝度変化点どうしの間の前記画像上での距離が、前記画像上での距離に対応する２つの前記輝度変化点の組合せからなるペア間で比較して均一であると判定した分布である。
【００１７】
本発明の第８の局面は、前記第６の局面または前記第７の局面において、認識した前記横断歩道について、前記横断歩道の前記画像上の注目領域における水平方向の規格上の長さをＡ、前記注目領域の水平方向の画像の大きさをａ、前記撮像装置の角度分解能をＰ、前記撮像装置から前記注目領域までの道路面に沿った実空間における距離をＬとして、Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）に基づいて、前記撮像装置を搭載した車両から前記横断歩道までの実空間における距離を算出する。
【００１８】
本発明の第９の局面は、前記第６の局面から前記第８の局面までのいずれかにおいて、前記第２の水平ラインで構成される領域のうち、前記画像の垂直方向に近い並び方向の群をなす前記輝度変化点が前記水平方向に連続して複数並んでいる第１の範囲を有する前記第２の水平ラインから前記第１の範囲を抽出し、全ての前記第１の範囲からなる領域に基づいて前記横断歩道の前記水平方向の範囲を認識する。
【発明の効果】
【００１９】
第１の局面によれば、輝度変化点が垂直方向に連結されたとみなした水平ラインをグループ化することにより横断歩道を含む領域を抽出するので、目前に迫っている横断歩道に対してほぼ直進状態にあるとみなせる車両にとっては、車両正面付近にある横断歩道の白線領域の撮像画像から、垂直方向に連結された輝度変化点が安定して得られる。そして、横断歩道の認識にあたり第３の水平ラインを横断歩道を通る候補ラインから除外するので、横断歩道の輝度変化分布条件と輝度変化点の垂直方向の連結に関する所定の関係とを横断歩道のようには満たすことがほとんどない目前の横断歩道以外の物体およびペイントの検出結果を、容易に除外することができる。これにより、目前の横断歩道以外の物体およびペイントの検出結果を横断歩道として誤認識することを防ぐことができる。
【００２０】
また、差し迫った認識を必要としない遠方にある横断歩道も、撮像装置によって輝度変化点の垂直方向の連結条件を満たすような大きな画像、あるいは、横断歩道の輝度変化分布条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道を通る候補ラインから除外することができる。また、横断歩道を認識するのに、撮像画像に対する実空間の距離を知る必要がないので撮像装置に単眼カメラを用いることができる。
【００２１】
このように、本発明によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識装置を提供することができる。
【００２２】
第２の局面によれば、水平ラインを横断歩道を通る候補ラインとなる第１の水平ラインとしてグループ化するのに、エッジ点間の画像上での距離の均一度を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
【００２３】
第３の局面によれば、撮像装置として単眼カメラを用いるので、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化された横断歩道認識装置を提供することができる。
【００２４】
第４の局面によれば、横断歩道の所定部位の規格上の大きさを加味して横断歩道までの距離を算出するので、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置による撮像画像から精度良く算出できる。
【００２５】
第５の局面によれば、車両正面付近にある横断歩道の白線領域の撮像画像から、第１の範囲を安定して抽出することができるので、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。
【００２６】
第６の局面によれば、単眼カメラを用いて横断歩道を高精度に認識することができる横断歩道認識方法を提供することができる。
【００２７】
第７の局面によれば、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
【００２８】
第８の局面によれば、横断歩道が自車両から遠方に存在する状況であっても、横断歩道までの距離を撮像装置２による撮像画像から精度良く算出できる。
【００２９】
第９の局面によれば、横断歩道を認識する上で水平方向の最小限の範囲を容易かつ高精度に認識することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態を示すものであり、横断歩道認識装置の構成を示すブロック図
【図２】（ａ）ないし（ｅ）は、図１の横断歩道認識装置による横断歩道認識方法を説明する図
【図３】図１の横断歩道認識装置が実行する横断歩道認識の手順を説明するフローチャート
【図４】本発明の実施形態を示すものであり、横断歩道の各部の寸法を説明する平面図
【図５】本発明の実施形態を示すものであり、横断歩道までの距離と左右方向の撮像範囲との関係を示す図
【図６】本発明の実施形態を示すものであり、ピクセル幅と横断歩道までの距離との関係を示すグラフ
【図７】本発明の実施形態を示すものであり、（ａ）および（ｂ）は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果を示すグラフ
【図８】本発明の実施形態を示すものであり、算出する距離を補正する手順を説明するフローチャート
【図９】本発明の実施形態を示すものであり、横断歩道までの距離と上下方向の撮像範囲との関係を示す図
【図１０】本発明が解決しようとする課題を説明する図
【発明を実施するための形態】
【００３１】
本発明の実施形態について図１ないし図９を用いて説明すれば以下の通りである。
【００３２】
図１に、本実施形態に係る横断歩道認識装置１の構成を示す。
【００３３】
横断歩道認識装置１は撮像装置２およびＥＣＵ（画像認識装置）３を備えている。撮像装置２は例えばＣＭＯＳセンサあるいはＣＣＤを備えた単眼カメラである。ＥＣＵ３は撮像装置２から出力された撮像画像データから横断歩道を認識する画像認識ＥＣＵである。
【００３４】
ＥＣＵ３は、ＣＰＵ３１、Ａ／Ｄ変換器３２、画像認識プロセッサ３３、ＲＯＭ３４、ＲＡＭ３５、および、表示制御／音声制御部３６を備えている。ＣＰＵ３１はＥＣＵ３の内部の処理の全体を監視し、必要な制御信号を各デバイスに与える。Ａ／Ｄ変換器３２は、撮像装置２から出力されるアナログの画像信号をデジタルの画像データに変換する。画像認識プロセッサ３３はＡ／Ｄ変換器３２から出力されたデジタルの画像データから画像処理を行って横断歩道を認識するＤＳＰ（Digital Signal Processor）である。ＲＯＭ３４はフラッシュメモリなどの不揮発性メモリからなり、ＣＰＵ３１が実行するプログラムおよび画像認識プロセッサ３３が実行するプログラムおよび必要なデータを格納している。ＲＡＭ３５はＤＲＡＭあるいはＳＲＡＭなどの揮発性メモリからなり、ＣＰＵ３１、Ａ／Ｄ変換器３２、画像認識プロセッサ３３、および、表示制御／音声制御部３６が必要に応じて処理データを展開する領域を提供する。表示制御／音声制御部３６は画像認識プロセッサ３３による画像認識処理の結果を受けて、運転者および搭乗者に知らせる警告画面あるいは警告音を生成する。
【００３５】
なお、画像認識プロセッサ３３は、以下に説明する画像認識処理の一部をＣＰＵ３１に実行させてもよいし、ＲＯＭ３４内に格納されている画像認識処理用のプログラムおよびデータを画像認識プロセッサ３３内に保持していてもよい。また、画像認識プロセッサ３３は、典型的には処理回路によるデータ処理にプログラムの実行を加えた画像認識処理を行うが、プログラムを使用せずに処理回路のみにより画像認識処理を行ってもよいし、プログラムの実行のみによって画像認識処理を行ってもよい。従って、ＣＰＵ３１は画像認識処理に関与しなくてもよく、ＥＣＵ３に必ずしも備えられていなくてよい。また、表示制御／音声制御部３６は便宜的に１つのブロックで示してあるが、適宜用途別に分離されたブロックとして設けられてもよいし、ＥＣＵ３以外の場所に設けられてもよい。さらに、ＥＣＵ３は他のＥＣＵとネットワークで接続されていてもよく、画像認識処理に関するデータを他のＥＣＵとやり取りしてもよい。
【００３６】
画像認識プロセッサ３３は、垂直エッジ抽出部（輝度変化検出部）３３ａ、輝度変化パターン分類部３３ｂ、横断歩道候補ライン抽出部３３ｃ、横断歩道領域抽出部３３ｄ、横断歩道認識部３３ｅ、および、距離算出部３３ｆを備えている。輝度変化パターン分類部３３ｂおよび横断歩道候補ライン抽出部３３ｃはグループ化部を構成している。
【００３７】
次に、画像認識プロセッサ３３による画像認識処理を含めた横断歩道認識装置１の動作について説明する。
【００３８】
図２（ａ）〜（ｅ）に、横断歩道を含む車両の周囲環境の画像から横断歩道を認識する過程を示す。
【００３９】
図２（ａ）は、撮像装置２が撮像した車両前方の周囲環境の画像を示す。この画像は、撮像画像から、画像認識処理を行うための注目領域１０を切り出したものである。当該画像には、横断歩道２１、車道区画線２２、および、車道外側線２３の画像が含まれている。横断歩道２１は、長手方向が車線方向に延びる４つの白線領域ｐ１・ｐ２・ｐ３・ｐ４を、車道外側線２３側から車道区画線２２側に向ってこの順に所定の間隔で並ぶように備えている。撮像装置２から出力された画像信号はＥＣＵ３内のＡ／Ｄ変換器３２によってデジタルの画像データに変換される。図２（ａ）の画像は得られたデジタル画像を示し、ピクセル単位で輝度の大小が所定の階調数によって表現されている。注目領域１０は、１ピクセルあるいは複数ピクセルの幅を単位とする水平ラインが複数含まれる大きさに設定されている。また、注目領域１０は、画像上の水平方向に並ぶピクセルで構成される水平ラインＨＬが、画像上の垂直方向に連続して配置されることで構成されているとみなすことができる。
【００４０】
Ａ／Ｄ変換器２３から出力された画像データは画像認識プロセッサ３３に入力される。画像認識プロセッサ３３の垂直エッジ抽出部３３ａは、画像上で各水平ラインＨＬについて水平方向の輝度変化を検出する。左側から右側へと、あるいは、右側から左側へと１つの向きの水平方向に画像をサーチした場合に、画素の輝度が予め設定した正の変化率の閾値を超えて暗から明に変化するような立ち上がりの変化（第１の輝度変化）と、画素の輝度が予め設定した負の変化率の閾値を超えて明から暗に変化するような立ち下がりの変化（第２の輝度変化）との少なくともいずれか一方が含まれていると、それぞれを上記輝度変化として検出する。水平ラインが複数ピクセルの幅を有している場合には、水平ラインに含まれるいずれかのピクセルラインが上記輝度変化を含んでいれば水平位置が区別される輝度変化を全て検出対象とするなど、適宜検出ルールを決めることができる。但し、あまり多くのピクセルラインを含む水平ラインを設定すると、後述するような垂直方向への特徴点の連続性を検出するのに都合がよくないため、極力少ないピクセルライン数で水平ラインを構成したほうが好ましい。
【００４１】
垂直エッジ抽出部３３ａは、図２（ｂ）に白四角印で示すように、この輝度変化を、立ち上がりの変化と立ち下がりの変化とを区別せずに抽出する。抽出された輝度変化が生じている輝度変化点は、画像を水平方向にサーチしたときの、画像の垂直方向（縦方向）成分を有するエッジ点、すなわちいわゆる垂直エッジが有する特徴点として認識可能である。垂直エッジの検出精度を高めるために、輝度の変化率に加えて、昼夜それぞれにおいて立ち上がり変化および立ち下がり変化の前後点が有するべき明輝度および暗輝度の絶対値の範囲を条件に含めるなどしてもよい。
【００４２】
次いで、輝度変化パターン分類部３３ｂが、上記輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。図２（ｃ）は画像を左側から右側にサーチした場合の輝度変化を示し、立ち上がり変化を白四角印で、立ち下がり変化を黒四角印で区別したものである。各白四角印および各黒四角印は水平ラインの幅に対応した大きさを有し、例えば、水平ラインが１ピクセル分の幅を有しているときに上記印は１ピクセルの大きさに設定される。横断歩道２１の白線領域ｐ１・ｐ２・ｐ３・ｐ４が有する車道外側線２３側のエッジｐ１ａ・ｐ２ａ・ｐ３ａ・ｐ４ａ上で立ち上がりの変化としての輝度変化を生じている点は立ち上がりエッジ点として、白線領域ｐ１・ｐ２・ｐ３・ｐ４が有する車道区画線２２側のエッジｐ１ｂ・ｐ２ｂ・ｐ３ｂ・ｐ４ｂ上で立ち下がりの変化としての輝度変化を生じている点は立ち下がりエッジ点として、それぞれ検出されている。車道区画線２２および車道外側線２３のそれぞれの立ち上がりエッジ点および立ち下がりエッジ点も検出されている。また、エッジ以外の場所にもノイズによる輝度変化点３５が検出され得る。
【００４３】
画像を右側から左側にサーチした場合には、図２（ｃ）において立ち上がりの変化と立ち下がりの変化との位置が入れ替わる。横断歩道の白線領域ｐ１〜ｐ４を車線方向と直交する方向に横切る度に、理想的には、立ち上がりエッジから隣の立が下がりエッジまで続く高輝度領域が存在する。また、白線領域どうしの間の領域、白線領域ｐ１よりも車道外側線２３側の領域、および、白線領域ｐ４よりも車道区画線２２側の領域は、低輝度領域として存在する。
【００４４】
横断歩道候補ライン抽出部３３ｃは、輝度変化パターン分類部３３ｂによる分類結果から、立ち上がり変化と立が下がり変化とが交互に出現する水平ラインＨＬを検出すると、その水平ラインＨＬに輝度変化が立ち上がりの変化と立ち下がりの変化とが繰り返される分布を有するパターンが存在すると判定する。このパターンは横断歩道のエッジパターンである可能性があるパターンである。そして、当該パターンが存在すると判定された水平ラインＨＬについて、横断歩道候補ライン抽出部３３ｃは、当該パターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。
【００４５】
例えば、１個の立ち上がりエッジ点と１個の立ち下がりエッジ点との組合せを１ペアとして、１本の水平ラインに３ペア以上が存在することを第１の条件とする。また、ペアを構成する２つのエッジ点間の画像上での距離が３ペア以上の間で所定の範囲にある（例えば、ペア間で比較した当該距離の比が０．９〜１．１の範囲にある）ことを第２の条件とする。この場合に、横断歩道候補ライン抽出部３３ｃは、第１の条件と第２の条件とを満たした水平ラインを抽出する。上記第２の条件として、異なるペアの立ち上がりエッジ間および立ち下がりエッジ間の画像上での距離を規定することなども可能である。上記の判定は、明暗の繰り返し分布が画像上での距離に対応する２つのエッジ点の組合せからなるペア間で比較して均一であるか否かを判定するものである。均一度の基準は上記例のように距離の比の許容範囲を定めておくことなどして設定することができる。
【００４６】
このようにして、横断歩道候補ライン抽出部３３ｃは、規定の相互配置関係を満たす複数のエッジ点を含む水平ラインＨＬを複数抽出すると、当該水平ラインＨＬを横断歩道候補ライン（第１の水平ライン）としてグループ化する。エッジ点間の画像上での距離の均一度を評価した結果を用いるので、規格値に従った明暗の繰り返しパターンで構成される横断歩道２１に対して、容易かつ高精度にグループ化を行うことができる。
【００４７】
図２（ｄ）には、横断歩道を含む領域上を通る複数の第１の横断歩道候補ライン４１と、横断歩道を含む領域上を通らないが前記規定の相互配置関係を満たすエッジ点を含むと判定された、第２の横断歩道候補ライン４２および複数の第３の横断歩道候補ライン４３とが示されている。複数の第１の横断歩道候補ライン４１および第３の横断歩道候補ライン４３は画像上で垂直方向に他の水平ラインＨＬと連続して並ぶ水平ラインＨＬである。第２の横断歩道候補ライン４２および第３の横断歩道候補ライン４３は、例えば車道外側線２３のエッジ点およびノイズによる輝度変化点３５を横断歩道２１のエッジ点と区別できずにグループ化されたものである。なお、ここでは、各横断歩道候補ラインを前記規定の相互配置関係を満たすエッジ点間のみで表示して、横断歩道候補領域の水平方向の範囲が規定されるようにしている。なお、横断歩道は自車両にとって車線方向に迫っているか否かを認識できることが最も重要であるので、各横断歩道候補ラインを画像上の水平方向の全範囲でのみ処理してもよい。
【００４８】
水平ラインＨＬを横断歩道候補ラインとしてグループ化するのに、上記のようにエッジ点間の画像上での距離を評価するので、規格値に従った明暗の繰り返しパターンで構成される横断歩道に対して、容易かつ高精度にグループ化を行うことができる。
【００４９】
次いで、横断歩道領域抽出部３３ｄが、横断歩道候補ライン４１〜４３の各ラインについて、垂直方向へのサーチを行い、エッジ点が互いに他の横断歩道候補ラインのエッジ点と画像上の垂直方向（縦方向）に所定の関係で連結されているか否かを判定する。所定の関係には、例えば、まず第１の条件として、各横断歩道候補ラインに含まれる立ち上がりエッジ点のうち、隣接する横断歩道候補ラインに含まれる立ち上がりエッジ点に対して水平方向に見て所定ピクセル数以内（例えば３ピクセル数以内）の距離で配置されているエッジ点がライン上に連続して複数の所定数以上（例えば４つ以上）存在することを含める。そして、第２の条件として、上記第１の条件を満たすエッジ点が垂直方向に所定ライン数以上（例えば２ライン以上）だけ連続することを含める。当該第１の条件と第２の条件とを満たせば、これらの立ち上がりエッジ点どうしは垂直方向に連結されているとみなす。
【００５０】
上記垂直方向の連結条件を満たしているか否かの判定においては、最初に横断歩道候補ライン４１〜４３のそれぞれについて、異なる横断歩道候補ラインとの間で、立ち上がりの変化を伴うエッジ点どうしおよび立ち下がりの変化を伴うエッジ点どうしが群をなして並んでいるか否かの２通りに判定することを行う。群をなしているか否かは、例えば、画像上のある距離の幅内で整列するとともに当該幅に直交する方向に規定間隔以下で並んでいるエッジ点の組合せが存在するか否かの判定により行う。次いで、群をなして並んでいると判定されたエッジ点については、画像の垂直方向に近い並び方向の群（第１の群）をなすか、画像の垂直方向に遠い並び方向の群（第２の群）をなすかの２通りに判定する。第１の群と第２の群とを識別するには、例えば、群の延びる方向が垂直方向に対してなす閾値角度より小さいか大きいかを判定することにより行う。そして、横断歩道候補ライン４１〜４３の中に、第１の群をなすと判定されたエッジ点を含む横断歩道候補ライン（第２の水平ライン）が複数の所定数以上存在する場合に、第２の水平ライン上で同じ第１の群をなすエッジ点どうしが垂直方向に連結されているとみなす。
【００５１】
このようにして、横断歩道候補ライン４１は、隣接する他の横断歩道候補ラインのエッジ点と上記所定の関係で連結されているエッジ点を有すると判定される。隣接する他の横断歩道候補ラインを有しない第２の横断歩道候補ライン（第３の水平ライン）４２は、孤立した１本の水平ラインであることから、上記例の群をなさないエッジ点に相当し、必然的に上記所定の関係で連結されているエッジ点を有しないと判定される。２本の横断歩道候補ライン（第３の水平ライン）４３どうしは互いに隣接しているが、これらに含まれるエッジ点どうしが画像上で垂直方向から大きく傾斜した方向に連結されていることから、上記例の第２の群のエッジ点に相当し、上記所定の関係で連結されていないと判定される。
【００５２】
図２（ｅ）に示すように、横断歩道領域抽出部３３ｄは、連結される全ての横断歩道候補ライン４１で構成される領域の垂直方向の範囲を横断歩道を含む領域の垂直方向の範囲である垂直範囲４１Ａとして抽出する。さらに、ここでは、連結される全ての横断歩道候補ライン４１で構成される領域のうち、垂直方向の連結条件を満たした複数のエッジ点を結んでできる領域の幅を、横断歩道候補ライン４１ごとに横断歩道を含む領域の水平方向の範囲である水平範囲４１Ｂとして抽出している。水平範囲４１Ｂの定め方は任意でよく、例えば、各横断歩道候補ラインにおいて垂直方向の連結条件を満たしたエッジ点を全て包含してもよいし、水平方向に連続して所定数以上並んでいるエッジ点のみを包含してもよい。図２（ｅ）では、垂直範囲４１Ａと各横断歩道候補ライン４１の水平範囲４１Ｂとが全て抽出されるため、横断歩道を含む領域４１Ｒが確定する。なお、横断歩道を含む領域はここでは１つであるが、複数の横断歩道が撮像される場合もあるので、抽出される横断歩道を含む領域は複数存在していてもよい。
【００５３】
車両の斜め左前方にある白線領域ｐ１のエッジｐ１ａの一部と、車両の斜め右側先方にある白線領域ｐ４のエッジｐ４ｂとについては、含まれるエッジ点どうしが画像上で垂直方向から大きく傾斜した方向に連結されていて、前記例の第２の群のエッジ点に相当していたことから、垂直方向の連結条件を満たしていないと判定されている。
【００５４】
また、第２の横断歩道候補ライン４２および第３の横断歩道候補ライン４３は、垂直範囲４１Ａに無く、従って横断歩道を含む領域を通らない。第２の横断歩道候補ライン４２および第３の横断歩道候補ライン４３のデータには、横断歩道を含む領域内に存在しない物体領域あるいはペイント領域である単独候補領域であることを示すフラグを付与する。
【００５５】
横断歩道認識部３３ｅは、単独候補領域のフラグを付与された第２の横断歩道候補ライン４２および第３の横断歩道候補ライン４３を横断歩道２１を通る水平ラインＨＬの候補から除外し、垂直範囲４１Ａそのものを横断歩道２１の垂直方向の範囲であると認識する。また、水平範囲４１Ｂそのものを横断歩道の水平方向の範囲であると認識する。ここでは、横断歩道を含む領域４１Ｒが確定しているため、横断歩道２１の認識結果を画像のより狭い領域に絞ることができる。垂直範囲４１Ａのみを抽出し、垂直範囲４１Ａに存在する水平ラインＨＬの全領域を横断歩道領域であると認識してもよい。垂直方向に連結される横断歩道候補ラインの領域に基づいてどのような領域を横断歩道領域として抽出するかは、設計の都合に合わせて選択すればよい。従って、横断歩道を含む領域４１Ｒの内側の領域を横断歩道領域と認識してもよい。
【００５６】
横断歩道認識部３３ｅは、横断歩道２１の認識結果に関する情報を表示制御／音声制御部３６に送信する。
【００５７】
また、距離算出部３３ｆは、認識した横断歩道２１までの路面に沿った距離を計算する。距離算出部３３ｆは、算出した距離に関する情報を表示制御／音声制御部３６に送信する。なお、横断歩道２１の認識ができれば運転者および搭乗者への警告は可能であるので、横断歩道２１までの距離の算出は必ずしも行わなくてよい。
【００５８】
図３に、以上の横断歩道認識処理の手順を説明するフローチャートを示す。
【００５９】
まずステップＳ３０１において、垂直エッジ抽出部３３ａが撮像装置２から定期的に送信されてデジタルデータに変換された画像データの注目領域１０に対して各水平ラインの画素の輝度分布を検出し、立ち上がりの変化あるいは立ち下がりの変化からなる輝度変化を伴う垂直エッジが存在するか否かを判定する。垂直エッジが存在すれば垂直エッジ抽出部３３ａが垂直エッジに含まれる輝度変化点を抽出し、ステップＳ３０２に進む。ステップＳ３０２においては、輝度変化パターン分類部３３ｂが、抽出された各輝度変化点の輝度変化を立ち上がりの変化と立ち下がりの変化とに分類する。
【００６０】
次いで、ステップＳ３０３において、横断歩道候補ライン抽出部３３ｃが輝度変化パターン分類部３３ｂによる輝度変化の分類結果を用いて、輝度変化が明暗変化の繰り返しとなるエッジパターンが存在する水平ラインが注目領域１０に含まれているか否かを判定する。そして、当該エッジパターンが存在すると判定された水平ラインが含まれていると、横断歩道候補ライン抽出部３３ｃは、当該エッジパターンに含まれる立ち上がりエッジ点および立ち下がりエッジ点が規定の相互配置関係を満たすか否かを判定する。
【００６１】
上記エッジパターンが存在する水平ラインが含まれていない場合と、規定の相互配置関係を満たすエッジ点が存在しない場合とには、横断歩道候補ラインが含まれていないと判定してステップＳ３０１に戻り、規定の相互配置関係を満たすエッジ点が複数存在すれば、当該エッジ点を含む水平ラインを横断歩道候補ラインとしてグループ化してステップＳ３０４に進む。なお、横断歩道候補ラインが所定数以下の少ない数しか含まれていない場合に、横断歩道領域が無いものとしてステップＳ３０１に戻るようにしてもよい。
【００６２】
ステップＳ３０４においては、横断歩道領域抽出部３３ｄが、横断歩道候補ラインについて、垂直方向へのサーチを行い、エッジ点が互いに他の横断歩道候補ラインのエッジ点と画像上の垂直方向に所定の関係で連結されているか否かを判定する。続くステップＳ３０５において、サーチの結果、垂直方向に連結されたエッジ点が存在していなければステップＳ３０１へ戻り、垂直方向に連結されたエッジ点が存在していればステップＳ３０６に進む。
【００６３】
ステップＳ３０６においては、横断歩道領域抽出部３３ｄが、連結される横断歩道候補ラインどうしで構成される領域に含まれる領域から横断歩道領域の垂直範囲４１Ａおよび水平範囲４１Ｂを抽出する。そして続くステップＳ３０７において、横断歩道領域を通らない横断歩道候補ラインが存在すれば、ステップＳ３０８で横断歩道距離認識部３３ｅがこの候補外ラインを除外して横断歩道を認識し、ステップＳ３０９で距離算出部３３ｆが認識した横断歩道までの距離を算出する。ステップＳ３０７において横断歩道領域を通らない横断歩道候補ラインが存在しなければ、直接ステップＳ３０９に進む。
【００６４】
画像認識プロセッサ３３による以上のような画像認識処理によって、横断歩道とは異なる物体およびペイントを横断歩道であると誤認識することを避けることができる。横断歩道は、数メートルから数十メートル手前といった目前に迫っているときに確実に認識されることが望ましい。目前に迫っている横断歩道に対して車両はほぼ直進状態にある。従って、図２（ｅ）を用いて説明したように、少なくとも車両正面付近にある横断歩道の白線領域の撮像画像からは、垂直方向に連結された立ち上がりエッジ点および立ち下がりエッジ点が安定して得られる。そして、目前の横断歩道以外の物体およびペイントが、横断歩道のエッジパターン条件と垂直方向の連結条件とを同時に満たすことはほとんどないため、これらの検出結果を横断歩道領域を構成する候補ラインから除外することにより、誤認識を防ぐことができる。差し迫った認識を必要としない遠方にある横断歩道も、撮像装置２によってエッジ点の垂直方向の連結条件を満たすような大きな画像、あるいは、横断歩道のエッジパターン条件を満たすような歪みの無い画像として撮像されにくいことから、横断歩道領域を構成する候補ラインから除外することができる。
【００６５】
また、横断歩道を認識するのに、撮像画像に対する実空間の距離を知る必要がないので撮像装置２に単眼カメラを用いることができる。これにより、横断歩道認識装置１については、横断歩道を認識するためにステレオカメラを用いて実空間の距離を知る必要のあった従来の装置よりも、大幅に構成および処理が簡略化される。
【００６６】
このように、本実施形態の横断歩道認識装置１によれば、単眼カメラを用いて横断歩道を高精度に認識することができる。
【００６７】
次に、距離算出部３３ｆによる、認識した横断歩道までの距離を計算する手順について説明する。
【００６８】
図４は横断歩道２１を路面上方から見た図である。距離算出部３３ｆは、抽出された垂直範囲４１Ａに含まれるペアの中で、例えば、最も左側の白線領域ｐ１が有するペアの立ち上がりエッジであるエッジｐ１ａから、左から３番目の白線領域ｐ３が有するペアの立ち下がりエッジであるエッジｐ３ｂまでの距離に相当する３ペア分のピクセル幅ａを検出する。ピクセル幅ａは、白線領域ｐ１の幅ｂ１、白線領域ｐ１と白線領域ｐ２との間の距離ｃ１、白線領域ｐ２の幅ｂ２、白線領域ｐ２と白線領域ｐ３との間の距離ｃ２、および、白線領域ｐ３の幅ｂ３の和であるが、これらの幅および距離の実寸長には規格値が存在する。
【００６９】
そこで、横断歩道２１のその３ペア分の両端間の実寸長に対する規格上の長さ（すなわち、ピクセル幅ａの部分に対応する部位の規格上求められる値）をＡとし、撮像装置２の左右方向の角度分解能をＰとし、図５に示すように自車両２５に搭載された撮像装置２から横断歩道２１までの実空間における道路面に沿った距離をＬとすると、
Ｌ＝Ａ／ｔａｎ（ａ×Ｐ）        ・・・（１）
という関係が成り立つ。ここで、角度分解能Ｐは、撮像装置２の左右方向の画角をα[度]、撮像装置２によって得られる撮像画像の左右のピクセル数をＷ[pix.]とすると、「Ｐ＝α／Ｗ[度／pix.]」によって表すことが可能な固定値である。つまり、距離算出部３３ｆは、式（１）に基づいて、横断歩道２１までの距離Ｌを算出することができる。図６に、ピクセル幅ａと横断歩道までの距離Ｌ[ｍ]との関係例を示す。横断歩道に対して数十メートル手前辺りから接近するにつれて、ピクセル幅ａが大きく変化するので、当該数十メートル範囲内での距離Ｌの算出分解能が高いことが分かる。
【００７０】
もちろん、抽出された垂直範囲４１Ａに含まれるエッジであれば、どのエッジ間のピクセル幅を検出してもよく、その検出されたピクセル幅をａとした場合、ピクセル幅ａの部分に対応する部位の規格値が固定値Ａに相当する。
【００７１】
算出された距離Ｌに基づいて、自車両２５から横断歩道２１までの実空間における距離を算出することができる。距離Ｌそのものを自車両２５から横断歩道２１までの距離と決定してもよいし、後述するように、距離Ｌに横断歩道の実寸長のばらつきを考慮したキャリブレーションを施した値を、自車両２５から横断歩道２１までの距離と決定してもよい。
【００７２】
従って、横断歩道認識装置１は、撮像装置２および画像認識プロセッサ３３の距離算出部３３ｆを備えていることにより横断歩道２１の所定部位の規格上の大きさを加味して横断歩道２１までの距離Ｌを算出するので、横断歩道２１が自車両２５から遠方に存在する状況であっても、横断歩道２１までの距離を撮像装置２による撮像画像から精度良く算出できる。撮像装置２に単眼カメラを用いることができる点で、横断歩道認識処理と併せてシステム構成を低コストで簡単に構成することができる。
【００７３】
図７は、一般道路環境下の実シーンにおける横断歩道までの距離の算出結果であって、図７（ａ）は本発明の実施例を示し、図７（ｂ）は、測距点の画像上の上下方向の位置を表す縦座標とその測距点までの距離との対応関係に基づいて、画像上の横断歩道領域の最下端の縦座標から横断歩道までの距離を算出する手法からなる比較例を示している。図７から明らかなように、本発明の実施例の方が、上下方向の位置を表す縦座標を基準に距離を算出する比較例に比べて、自車両のピッチ変動や道路勾配変化などの外乱の影響を受けにくいため、横断歩道までの距離の真値に対してずれが小さく、精度良く距離を算出できることが分かる。
【００７４】
ところで、横断歩道の所定部位の大きさの規格値には、ある程度の許容公差が認められている。例えば、横断歩道の１つの白線領域（すなわち、ある１つのペアの立ち上がりエッジと立ち下がりエッジとに挟まれた高輝度領域）の規格値は４５ｃｍ〜５０ｃｍであり、地域等によってその規格の範囲内で採用している値に差があるのが現状である。
【００７５】
このような差を吸収するために、横断歩道の所定部位が撮像画像上の上下方向で所定の位置にあるときの当該所定部位の撮像画像上の大きさ（例えば、左右方向の長さ）を用いて、その所定部位の大きさの規格値をキャリブレーションした値（キャリブレーション値）を算出する。このようなキャリブレーション値を次回以降の距離算出に用いることによって、その算出精度を向上させることができる。例えば、画像上で所定の位置にあるときの横断歩道の白線領域を構成するピクセル幅ｆを用いて、その白線領域の大きさの規格値Ｆについてのキャリブレーション値Ｆ１を算出し、次回以降の距離算出に用いる。
【００７６】
図８は、横断歩道の白線領域の大きさの規格値Ｆのキャリブレーション例を示したフローチャートである。図２（ｅ）のように、抽出された垂直範囲４１Ａの画像上の最下端の位置がＹａ（撮像画像の最下位またはそれよりわずかに上側の位置の縦座標）の位置にあるときに（ステップＳ８０１）、距離算出部３３ｆは、白線領域を構成するピクセル幅ｆを検出する（ステップ８０２）。自車両２５が横断歩道２１に近づくほど、規格値Ｆが最大値のときに検出されるピクセル幅ｆと規格値Ｆが最小値のときに検出されるピクセル幅ｆとの差分（ピクセル数の差）は大きくなり、また、道路勾配の影響を受けにくくなる。そこで、Ｙａの位置での白線領域のピクセル幅ｆを用いてキャリブレーションを行うことによって、そのキャリブレーションの効果を高めることができ、ひいては距離精度を高めることができる。
【００７７】
白線領域を構成するピクセル幅ｆを検出するには、具体的には、横断歩道候補ライン抽出部３３ｃによって抽出された一つのペアの立ち上がりエッジと立ち下がりエッジとのピクセル数を計測すればよい。Ｙａの位置での白線領域のピクセル幅をｆ、撮像装置２の路面からの取り付け高さをＨｃ、消失点のＹ座標をＹｖ、撮像装置２の左右方向の角度分解能をＰとし、撮像装置２の上下方向の角度分解能をＱとし、白線領域の左右方向の規格値Ｆのキャリブレーション値をＦ１とすると、
【００７８】
Ｆ１＝Ｈｃ×ｔａｎ（ｆ×Ｐ）／ｔａｎ（（Ｙａ−Ｙｖ）×Ｑ）    ・・・（２）
という関係式が成り立つ。ここで、角度分解能Ｑは、上述の角度分解能Ｐと同様に考えることができる。すなわち、角度分解能Ｑは、撮像装置２の上下方向の画角をβ[度]、撮像装置２によって得られる撮像画像の上下方向のピクセル数をＨ[pix.]とすると、「Ｑ＝β／Ｈ[度／pix.]」によって表すことが可能な固定値である。つまり、距離算出部３３ｆは、式（２）に基づいて、白線領域の規格値Ｆのキャリブレーション値Ｆ１を算出することができる。
【００７９】
距離算出部３３ｆは、白線領域の大きさの規格値としてＲＯＭ３４に記憶されている値を、上述のように算出されたキャリブレーション値Ｆ１に更新する（ステップＳ８０３）。過去の複数のキャリブレーション値Ｆ１の履歴に基づいて平均された値に、白線領域の規格値を更新してもよい。距離算出部３３ｆは、キャリブレーション値Ｆ１に基づいて算出された長さＡを式（１）に代入することによって、横断歩道２１までの距離Ｌを正確に算出できる。
【００８０】
以上、本実施形態について説明した。
【００８１】
なお、撮像装置２は単眼カメラに限らず、ステレオカメラなどの複眼カメラを備えていてもよい。この場合に、ＥＣＵ３は各撮像画像を用いて認識処理を行ってもよい。また、撮像装置２を複数備え、ＥＣＵ３がそれぞれの撮像装置２の撮像画像について横断歩道認識処理を施してもよい。
【産業上の利用可能性】
【００８２】
本発明は、車両に搭載される運転支援システム等に適用可能である。
【符号の説明】
【００８３】
１            横断歩道認識装置
２            撮像装置
３            ＥＣＵ
１０          注目領域
２１          横断歩道
３３          画像認識プロセッサ
３３ａ        垂直エッジ抽出
３３ｂ        輝度変化パターン分類部
３３ｃ        横断歩道候補ライン抽出部
３３ｄ        横断歩道領域抽出部
３３ｅ        横断歩道認識部
３３ｆ        距離算出部
４１〜４３    横断歩道候補ライン
４１Ａ        垂直範囲
４１Ｂ        水平範囲
４１Ｒ        横断歩道を含む領域
ＨＬ          水平ライン
Ｌ            距離
【図１】
2013186663.tif 000003
【図２】
2013186663.tif 000004
【図３】
2013186663.tif 000005
【図４】
2013186663.tif 000006
【図５】
2013186663.tif 000007
【図６】
2013186663.tif 000008
【図７】
2013186663.tif 000009
【図８】
2013186663.tif 000010
【図９】
2013186663.tif 000011
【図１０】
2013186663.tif 000012