(57)【要約】【課題】レーンマーク認識にあたって、計算コストを削減しながら、レーンマークの検知精度を向上させることができるレーンマーク認識装置等を提供する。【解決手段】  候補画像部分抽出部１３は、エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分５１ｃ〜５５ｃ、６１ｃ〜６３ｃ、７１ｃ〜７８ｃを抽出する。  特定候補除外部１４は、候補画像部分抽出部１３により抽出された候補画像部分５１ｃ〜５５ｃ、６１ｃ〜６３ｃ、７１ｃ〜７８ｃのうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分７３ｃ〜７７ｃを除外する。  レーンマーク認識部１５は、特定候補除外部１４により除外されなかった候補画像部分５１ｃ〜５５ｃ、６１ｃ〜６３ｃに基づいてレーンマーク５１ｂ〜５５ｂ、６１ｂ〜６３ｂを認識する。【選択図】  図３
2015210654.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置であって、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出部と、
当該候補画像部分抽出部により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外部と、
前記特定候補除外部により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識部とを備えることを特徴とするレーンマーク認識装置。
【請求項２】
請求項１記載のレーンマーク認識装置において、
前記所定長は、前記車両と前記候補画像部分に対応する実空間上の位置にレーンマークがあると仮定したときの撮像画像上での当該レーンマークの画像部分の前記特定方向の長さから乖離した長さであることを特徴とするレーンマーク認識装置。
【請求項３】
請求項１または２記載のレーンマーク認識装置において、
前記特定候補除外部は、前記特定方向における位置が撮像画像の消失点よりも高い前記候補画像部分を除外するように構成されていることを特徴とするレーンマーク認識装置。
【請求項４】
請求項１〜３のいずれか１項記載のレーンマーク認識装置において、
前記特定候補除外部は、前記撮像画像の中央領域に存在する候補画像部分については、除外しないように構成されていることを特徴とするレーンマーク認識装置。
【請求項５】
請求項４記載のレーンマーク認識装置において、
前記特定候補除外部は、前記車両が車線変更をしている場合に限って前記撮像画像の中央に存在する候補画像部分を除外しないように構成されていることを特徴とするレーンマーク認識装置。
【請求項６】
請求項１〜５のいずれか１項記載のレーンマーク認識装置において、
前記特定候補除外部により除外された候補画像部分を障害物として認識する障害物認識部と、
前記レーンマーク認識部により認識されたレーンマークにより区分される車線内を走行させるとともに、前記車両と前記障害物認識部により認識された前記障害物との接触を回避させるように前記車両の操舵の支援を実施する操舵制御部とを備えることを特徴とするレーンマーク認識装置。
【請求項７】
請求項１〜６のいずれか１項記載のレーンマーク認識装置において、
前記特定候補除外部は、対応する実空間上の位置が前記カメラから所定の距離以上離れている前記候補画像部分に限定して除外処理を行うように構成されていることを特徴とするレーンマーク認識装置。
【請求項８】
車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識する車両であって、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出部と、
当該候補画像部分抽出部により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外部と、
前記特定候補除外部により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識部とを備えることを特徴とする車両。
【請求項９】
車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識方法であって、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出工程と、
当該候補画像部分抽出工程により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外工程と、
前記特定候補除外工程により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識工程とを含むことを特徴とするレーンマーク認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載されたカメラの撮像画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置に関する。
【背景技術】
【０００２】
従来より、車載カメラにより撮像された車両前方の道路の画像から、道路に設けられたレーンマークを認識するレーンマーク認識装置が知られている。
【０００３】
レーンマーク以外にも、車線分離標及びパイロン等の自車両の走行レーン上またはその周辺に配置される走行誘導障害物を認識する走行誘導障害物検出装置が提案されている（例えば、特許文献１参照）。
【０００４】
特許文献１に記載された走行誘導障害物検出装置は、画像から検出された立体物の実空間上の大きさが予め設定された閾値以内で、かつ、画像中に検出された立体物の上下方向の輝度変化が一定のパターンを有する場合にその立体物を走行誘導障害物として検出している。
【０００５】
特許文献１に記載された走行誘導障害物検出装置によれば、画像中に検出された立体物の幅や高さに基づいて大きさによる選別を行い、さらに輝度の繰り返しパターンにより選別を行うことで、自車両の前方に存在する立体物の中から車線分離標やパイロン等の走行誘導障害物を的確に検出することが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４９０１２７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来のレーンマーク認識装置において、特許文献１の技術により検出された走行誘導障害物をレーンマークの候補とならない画像部分として処理対象から除外し、残りの画像部分からレーンマークを認識することにより、処理速度及びレーンマークの検出精度の向上を図ることが考えられる。
【０００８】
しかしながら、特許文献１の技術における走行誘導障害物の検出には、検出物と、複数種類の障害物に関する大きさ及び輝度変化パターン等の情報との照合が必要となる。このため、特許文献１の技術によって走行誘導物を検知して、それをレーンマークの候補とならない画像部分として除外しようとすると、計算コストが膨大となるおそれがある。
【０００９】
本発明はかかる背景に鑑みてなされたものであり、レーンマーク認識にあたって、計算コストを削減しながら、レーンマークの検知精度を向上させることができるレーンマーク認識装置等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は上記目的を達成するためになされたものであり、車両に搭載されたカメラにより撮像された該車両周囲の画像に基づいて、道路に設けられたレーンマークを認識するレーンマーク認識装置、車両、及びレーンマーク認識方法に関する。
【００１１】
そして、本発明のレーンマーク認識装置は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出部と、
当該候補画像部分抽出部により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外部と、
前記特定候補除外部により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識部とを備えることを特徴とする。
【００１２】
本発明者らの検討によれば、レーンマークは、撮像画像上において、斜線として撮像されることが多い。また、レーンマークは道路に敷設されているものであるから、平坦な道路であれば、実空間上の鉛直方向の長さはほぼゼロに等しい。このため、当該候補画像部分に対応する実空間上の鉛直方向に相当する特定方向の長さにより、レーンマークを表す候補画像部分か否かを高精度で判定できる。
【００１３】
この点に着目して構成された本実施形態のレーンマーク認識装置によれば、候補画像部分に対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上という条件を満たすレーンマークの画像部分でない蓋然性が高い候補画像部分が除外される。このため、検出物と複数種類の障害物に関する大きさ及び輝度変化パターン等の情報との照合が必要な場合に比べ、計算コストが削減される。
【００１４】
本発明のレーンマーク認識装置において、
前記所定長は、前記車両と前記候補画像部分に対応する実空間上の位置にレーンマークがあると仮定したときの撮像画像での当該レーンマークの画像部分の前記特定方向の長さから乖離した長さであることが好ましい。
【００１５】
当該構成のレーンマーク認識装置によれば、車両と撮像画像上の仮定上のレーンマークの画像部分の特定方向の長さと乖離した特定方向の長さを有する候補画像部分が除外される。この結果、当該構成のレーンマーク認識装置によれば、計算コストが削減されながら、レーンマークの検知精度の向上が図られうる。
【００１６】
本発明のレーンマーク認識装置において、
前記特定候補除外部は、前記特定方向における位置が撮像画像の消失点よりも高い前記候補画像部分を除外するように構成されていることが好ましい。
【００１７】
前述した通り、レーンマークは道路に敷設されているものであるから、平坦な道路の走行中の撮像画像においては、レーンマークの画像部分の全部の特定方向の位置は消失点よりも低い位置にあることが多い。すなわち、候補画像部分の一部の撮像画像上の特定方向の位置が、前記撮像画像の消失点よりも高い位置にある場合には、候補画像部分はレーンマークの画像部分でない蓋然性が高い。
【００１８】
この点に着目して構成された当該構成のレーンマーク認識装置によれば、計算コストの削減と、レーンマークの検知精度の向上との両立が図られうる。
【００１９】
本発明のレーンマーク認識装置において、
前記特定候補除外部は、前記撮像画像の中央領域に存在する候補画像部分については、除外しないように構成されていることが好ましい。
【００２０】
車両がレーンマークをまたいでいる状況では、撮像画像において、レーンマークの候補画像部分が撮像画像の中央に垂直方向に延在しうる。
【００２１】
この点に着目して構成された当該構成のレーンマーク認識装置によれば、所定条件を満たす候補画像部分である場合であっても、それが撮像画像の中央に存在している場合には、当該候補画像部分は除外されない。
【００２２】
この結果、当該構成のレーンマーク認識装置によれば、計算コストが削減されるとともに、レーンマークの除外処理についての誤動作の蓋然性が低下するので、レーンマークの検知精度の向上が図られうる。
【００２３】
当該構成のレーンマーク認識装置において、
前記特定候補除外部は、前記車両が車線変更をしている場合に限って前記撮像画像の中央に存在する候補画像部分を除外しないように構成されていることが好ましい。
【００２４】
車両がレーンマークをまたいでいる場合、車両は車線変更をしている蓋然性が高い。この点に着目して構成された当該構成のレーンマーク認識装置によれば、計算コストが削減されるとともに、車両がレーンマークをまたいでいる蓋然性が高い場合に限って撮像画像の中央に存在している候補画像部分が除外対象とされないので、レーンマークの検知精度の向上が図られうる。
【００２５】
本発明のレーンマーク認識装置において、
前記特定候補除外部により除外された候補画像部分を障害物として認識する障害物認識部と、
前記レーンマーク認識部により認識されたレーンマークにより区分される車線内を走行させるとともに、前記車両と前記障害物認識部により認識された前記障害物との接触を回避させるように前記車両の操舵の支援を実施する操舵制御部とを備えることが好ましい。
【００２６】
当該構成のレーンマーク認識装置によれば、レーンマークの認識処理における計算結果を障害物の認識に流用できる。そして、車両と認識された障害物との接触を回避するように車両の操舵が制御される。この結果、装置全体としての計算コストが削減される。
【００２７】
本発明のレーンマーク認識装置において、
前記特定候補除外部は、対応する実空間上の位置が前記カメラから所定の距離以上離れている前記候補画像部分に限定して除外処理を行うように構成されていることが好ましい。
【００２８】
当該構成のレーンマーク認識装置によれば、車両の制御に直接影響のない遠距離の候補画像部分に対して除外処理が行われる。この結果、レーンマークの検出精度を維持しながら、装置全体としての計算コストが削減される。
【００２９】
本発明の車両は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成部と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出部と、
当該候補画像部分抽出部により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外部と、
前記特定候補除外部により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識部とを備えることを特徴とする。
【００３０】
本発明の車両によれば、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。
【００３１】
本発明のレーンマーク認識方法は、
前記カメラの撮像画像から、周囲部に対する輝度の変化量が所定値以上であるエッジ点を抽出したエッジ画像を生成するエッジ画像生成工程と、
前記エッジ点のうち、同一物の画像部分から抽出されたと推定されるエッジ点を組み合わせてレーンマークの候補画像部分を抽出する候補画像部分抽出工程と、
当該候補画像部分抽出工程により抽出された候補画像部分のうち、対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上である前記候補画像部分を除外する特定候補除外工程と、
前記特定候補除外工程により除外されなかった候補画像部分に基づいてレーンマークを認識するレーンマーク認識工程とを含むことを特徴とする。
【００３２】
本発明のレーンマーク認識方法を車両に適用して実施することによって、上述した本発明のレーンマーク認識装置と同様の作用効果を得ることができる。
【図面の簡単な説明】
【００３３】
【図１】レーンマーク認識装置の構成図。
【図２（ａ）】レーンマーク認識処理のフローチャート。
【図２（ｂ）】レーンマーク認識処理のフローチャート。
【図３】撮像画像及びエッジ画像を説明する図で、（ａ）は撮像画像を説明する図、（ｂ）はエッジ画像を説明する図。
【図４】垂直方向の候補画像を除外しない場合のエッジ画像を説明する図。
【図５】レーンマーク及び障害物の認識と操舵制御との関係を説明する図。
【発明を実施するための形態】
【００３４】
本発明のレーンマーク認識装置の実施形態について、図１〜図５を参照して説明する。
【００３５】
（レーンマーク認識装置の構成）
図１を参照して、レーンマーク認識装置１０は、カメラ２（カラーカメラ）、スピーカ５、表示器６、及び操舵機構７を備えた車両１（本発明の車両に相当する）に搭載されている。
【００３６】
レーンマーク認識装置１０は、図示しないＣＰＵ、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持されたレーンマーク認識及び操舵制御用のプログラムをＣＰＵで実行することにより、撮像画像取得部１１、エッジ画像生成部１２、候補画像部分抽出部１３、特定候補除外部１４、レーンマーク認識部１５、障害物認識部１６及び操舵制御部１７として機能する。また、レーンマーク認識装置１０により、本発明のレーンマーク認識方法が実施される。
【００３７】
（レーンマーク認識処理）
以下、図２（ａ）及び図２（ｂ）に示したフローチャートに従って、レーンマーク認識装置１０により、道路に設けられたレーンマークを認識する処理について説明する。レーンマーク認識装置１０は、所定の制御周期毎に図２（ａ）及び図２（ｂ）に示したフローチャートによる処理を実行して、車両１が走行している道路のレーンマーク（連続線レーンマーク、及び破線レーンマーク）を認識する。
【００３８】
図２（ａ）／ＳＴＥＰ１は撮像画像取得部１１による処理である。撮像画像取得部１１は、カメラ２から出力される車両１の前方（本発明の車両周囲に相当する）の映像信号を入力して、この映像信号のカラー成分（Ｒ値，Ｇ値，Ｂ値）をデモザイキングし、各画素のデータとしてＲ値，Ｇ値，Ｂ値を有するカラーの撮像画像２１を取得する。取得された撮像画像２１のデータは画像メモリ２０に保持される。
【００３９】
続く図２（ａ）／ＳＴＥＰ２はエッジ画像生成部１２による処理である。なお、エッジ画像生成部１２による処理工程は、本発明のレーンマーク認識方法におけるエッジ画像生成工程に相当する。
【００４０】
エッジ画像生成部１２は、撮像画像２１の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像（多値画像）を生成する。そして、エッジ画像生成部１２は、グレースケール画像からエッジ点（周囲部の画素（画像部分）との輝度差（輝度の変化量）が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む）を抽出して、エッジ画像２２（図１参照）を生成する。
【００４１】
なお、カメラ２がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
【００４２】
ここで、図３（ａ）に示したＩｍ１は撮像画像２１から生成されたグレースケール画像の例であり、車両１（自車両）が走行している車線を区画する左側の破線レーンマーク５１ａ〜５５ａと、右側の実線レーンマーク６１ａ、６２ａ，６３ａの画像部分が含まれている。また、Ｉｍ１には、右側の実線レーンマーク６１ａ、６２ａの周辺に延在する光の像７１ａ〜７８ａが含まれている。また、説明のため、撮像画像２１の消失点８１ａと、消失点８１ａとカメラ座標系で同じ高さを一点鎖線で示す水平線８２ａとを書き加えている。
【００４３】
図３（ｂ）に示したＩｍ２は、グレースケール画像Ｉｍ１に対してエッジ抽出処理を行うことにより生成されたエッジ画像である。エッジ画像Ｉｍ２において、左側の破線レーンマークの画像部分５１ｃ〜５５ｃと、右側の実線レーンマークの画像部分６１ｃ、６２ｃ、６３ｃと、光の像の画像部分７１ｃ〜７８ｃとは、直線的に連続したエッジ点を多く含む画像部分となる。また、説明のため、撮像画像２１の消失点８１ａに相当する点８１ｃ（以下、消失点８１ｃという。）と、一点鎖線で示される水平線８２ａに相当する線８２ｃ（以下、水平線８２ｃという。）とを書き加えている。
【００４４】
なお、以下、撮像画像２１、グレースケール画像Ｉｍ１，エッジ画像Ｉｍ２（以下まとめて撮像画像２１という。）の座標系（カメラ座標系）において、水平方向をｘ軸方向といい、垂直方向をｙ軸方向という。また、実空間座標系の水平方向をＸ軸方向といい、鉛直方向をＹ軸方向、奥行きをＺ軸方向という。
【００４５】
続く図２（ａ）／ＳＴＥＰ３〜図２（ａ）／ＳＴＥＰ４は、候補画像部分抽出部１３による処理である。候補画像部分抽出部１３は、エッジ画像Ｉｍ２に対して、ひとかたまりになっているエッジ点（以下、エッジ部分という）にラベルを付するラべリングと、近接したエッジ部分を同一物体の画像部分であるとして関連付けるクラスタリングを行う。
【００４６】
また、候補画像部分抽出部１３は、図２（ａ）／ＳＴＥＰ４で、クラスタリングにより抽出された画像部分のうち、線特徴性を有する画像部分（例えば、直線的に連続したエッジ点の割合が所定レベル以上である画像部分）を、レーンマークの画像部分の候補である候補画像部分として抽出する。
【００４７】
なお、候補画像部分抽出部１３による処理工程は、本発明のレーンマーク認識方法における候補画像部分抽出工程に相当する。
【００４８】
続く図２（ａ）／ＳＴＥＰ５及び図２（ａ）／ＳＴＥＰ６（図２（ａ）／ＳＴＥＰ６１〜図２（ａ）／ＳＴＥＰ６６）は、特定候補除外部１４による処理である。なお、特定候補除外部１４による処理工程は、本発明のレーンマーク認識方法における特定候補除外工程に相当する。
【００４９】
特定候補除外部１４は、図２（ａ）／ＳＴＥＰ４で抽出された各候補画像部分に対して、カメラ座標から実空間座標への逆射影変換を行って、各候補画像部分に対応する実空間での物体の位置を算出する（図２（ａ）／ＳＴＥＰ５）。なお、大きさが所定サイズ（レーンマークの画像部分ではないと想定されるサイズ）以下である画像部分が候補画像部分から除外されてもよい。
【００５０】
特定候補除外部１４は、図２（ａ）／ＳＴＥＰ４で抽出された候補画像部分のうち、対応する実空間上での車両１との距離が所定の距離以上となる各候補画像部分（図３（ｂ）において二点鎖線８３ｃより車両１（カメラ２）から見て遠方の位置の候補画像部分５３ｃ〜５５ａ、６３ｃ、７１ｃ〜７７ｃ）について、図２（ａ）／ＳＴＥＰ６１〜図２（ａ）／ＳＴＥＰ６６の処理を実行する。以下、図２（ａ）／ＳＴＥＰ６１〜図２（ａ）／ＳＴＥＰ６６による処理対象となっている候補画像部分を、「今回の候補画像部分」という。
【００５１】
特定候補除外部１４は、今回の候補画像部分に含まれるエッジに占める垂直エッジの割合に基づき、今回の候補画像部分が撮像画像２１上で垂直か否かを判定する（図２（ａ）／ＳＴＥＰ６１）。たとえば、垂直エッジの割合が所定の割合（たとえば６０％）以上である場合には、今回の候補画像部分が撮像画像２１上で垂直であると判断される。なお、「垂直エッジ」とは、水平方向の位置変化に対する濃淡変化（輝度の変化）が急峻となっているエッジ点の集まりによって形成されるｙ方向に延びるエッジをいう。本実施形態において、「垂直エッジ」には、厳密な意味での撮像画像２１における垂直方向（ｙ方向）に延びるエッジだけではなく、ほぼ垂直方向に延びているとみなせる程度のエッジも含まれる。
【００５２】
たとえば、図３（ｂ）に示される左側の破線レーンマークの画像部分５３ｃ〜５５ａ、右側の実線レーンマークの画像部分６３ｃについては、垂直エッジをほとんど含んでいない。このため、左側の実線レーンマークの画像部分５３ｃ〜５５ｃ及び右側の破線レーンマークの画像部分６３ｃについての当該判定結果は否定的となる。
【００５３】
一方、図３（ｂ）に示される光の像の画像部分７１ｃ〜７７ｃについては、垂直エッジを多く含んでおり、その割合が所定の割合以上である。このため、光の像の画像部分７１ｃ〜７７ｃについての当該判定結果は肯定的となる。
【００５４】
当該判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ６１‥ＹＥＳ）、特定候補除外部１４は、今回の候補画像部分が第１条件を充足するか否かを判定する（図２（ａ）／ＳＴＥＰ６２）。
【００５５】
ここで、第１条件は、当該今回の候補画像部分に対応する実空間座標系の鉛直方向（Ｙ方向）に相当する特定方向の長さについての条件である。
【００５６】
当該今回の候補画像部分に対応する実空間座標系の鉛直方向（Ｙ方向）に相当する特定方向の長さは、今回の候補画像部分の撮像画像２１上の長さと、図２（ａ）／ＳＴＥＰ５で算出された今回の候補画像部分に対応する実空間での物体の位置とから算出される。
【００５７】
第１条件として、車両１と今回の候補画像部分に対応する実空間上の物体との距離（実空間での物体の位置と実空間での車両１の位置とから算出される距離）から推定されるレーンマークの画像部分のｙ方向の長さと、今回の候補画像部分のｙ方向の長さとの差が所定の閾値以上であるという条件（換言すれば、今回の候補画像部分のｙ方向の長さが、車両１と今回の候補画像部分に対応する実空間上の物体との距離から推定されるレーンマークの画像部分のｙ方向の長さから乖離しているという条件）が採用されうる。ここで、距離から推定される撮像画像２１上のレーンマークの画像部分のｙ方向の長さは、たとえば、距離と撮像倍率とを入力とする所定の関数を使用することにより、又は予め作成されたマップを距離で探索することにより求められる。
【００５８】
たとえば、図３（ｂ）において、たとえば光の像の画像部分７３ｃ〜７７ｃはその実距離から想定されるレーンマークの画像部分よりもｙ方向の長さが大きな像となっている。このため、光の像の画像部分７３ｃ〜７７ｃは、第１条件を充足すると判定される。一方、光の像の画像部分７１ｃ〜７２ｃは誤差も勘案すると、ｙ方向の長さが小さいため、レーンマークでないとは断定できない像である。このため、光の像の画像部分７１ｃ〜７２ｃについては、第１条件を充足すると判断されない。
【００５９】
また、第１条件として、今回の候補画像部分に対応する実空間上の物体の鉛直方向（Ｙ方向）の長さが所定の長さ以上であるという条件が採用されてもよい。
【００６０】
図２（ａ）／ＳＴＥＰ６２の判定結果が否定的である場合（図２（ａ）／ＳＴＥＰ６２‥ＮＯ）、特定候補除外部１４は、今回の候補画像部分が第２条件を充足するか否かを判定する（図２（ａ）／ＳＴＥＰ６３）。ここで、第２条件は、今回の候補画像部分の少なくとも一部がｙ方向において撮像画像の消失点よりも高い位置にあるという条件である。
【００６１】
たとえば、図３（ｂ）において、光の像の画像部分７１ｃ〜７５ｃはそれぞれその一部が水平線８２ｃよりも高い位置にある。このため、光の像の画像部分７１ｃ〜７５ｃについての当該判定結果は肯定的となる。
【００６２】
図２（ａ）／ＳＴＥＰ６２の判定結果及び図２（ａ）／ＳＴＥＰ６３の判定結果のいずれかが肯定的である場合（図２（ａ）／ＳＴＥＰ６２‥ＹＥＳ又は図２（ａ）／ＳＴＥＰ６３‥ＹＥＳ）、特定候補除外部１４は、車両１が車線変更中であるか否かを判定する（図２（ａ）／ＳＴＥＰ６４）。車線変更中であるか否かは、たとえば走行路の特性（それまでの車線認識処理によって認識された道路が分岐しているか否か、車線の数等の特性）、ウィンカーの動作状態、車両１の速度及びステアリングの操作速度等に基づいて判定される。たとえば、走行路に分岐がなく、２車線以上の車線であり、一方向のウィンカーが点灯しており、車両１の速度が所定の速度以上であり、当該方向へのステアリングの操作速度が所定の範囲内である場合に、車線変更中と判断されうる。
【００６３】
図２（ａ）／ＳＴＥＰ６４の判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ６４‥ＹＥＳ）、特定候補除外部１４は、今回の候補画像部分が撮像画像２１の中央領域に存在するか否かを判定する（図２（ａ）／ＳＴＥＰ６５）。ここで撮像画像２１の中央領域とは、車両１の前方部分（車幅と同じ幅ｗの前方部分、図４参照）に相当する撮像画像２１上の所定の範囲をいう。
【００６４】
たとえば、図４に示されるように、車線変更中には画像部分がほぼ垂直かつ所定の長さを持つレーンマークの候補画像部分９１ｃ〜９５ｃが抽出されうる。このような候補画像部分についての図２（ａ）／ＳＴＥＰ６５の判定結果は、肯定的な判定結果となる。
【００６５】
図２（ａ）／ＳＴＥＰ６４の判定結果が否定的である場合（図２（ａ）／ＳＴＥＰ６４‥ＮＯ）、又は図２（ａ）／ＳＴＥＰ６５の判定結果が否定的である場合（図２（ａ）／ＳＴＥＰ６５‥ＮＯ）、特定候補除外部１４は、今回の候補画像部分を除外し（図２（ａ）／ＳＴＥＰ６６）、次回の候補画像部分の処理を実行する。
【００６６】
図２（ａ）／ＳＴＥＰ６１もしくは図２（ａ）／ＳＴＥＰ６３の判定結果が否定的である場合図２（ａ）／ＳＴＥＰ６１‥ＮＯ、もしくは図２（ａ）／ＳＴＥＰ６３‥ＮＯ）、又は図２（ａ）／ＳＴＥＰ６５の判定結果が肯定的である場合（図２（ａ）／ＳＴＥＰ６４‥ＹＥＳ）、特定候補除外部１４は、今回の候補画像部分を除外しない。
【００６７】
続く図２（ｂ）／ＳＴＥＰ７は、レーンマーク認識部１５による処理である。なお、レーンマーク認識部１５による処理工程は、本発明のレーンマーク認識方法におけるレーンマーク認識工程に相当する。
【００６８】
レーンマーク認識部１５は、図２（ｂ）／ＳＴＥＰ５で求められた対応する実空間での長さが所定範囲（法規で定められた破線レーンマークの長さ（規定長）を基準として設定される）内であって、一定方向に連続した候補画像部分に基づいて、破線レーンマークの候補を検出する。
【００６９】
また、レーンマーク認識部１５は、車線が連続線レーンマーク（白線、黄線等）で区画されているときには、例えば特開平１１−２１９４３５号公報に記載された公知の手法により、連続線レーンマークの候補を検出する。
【００７０】
レーンマーク認識部１５は、これらのレーンマークの候補に基づき、レーンマークを認識する。
【００７１】
例えば、図５に示されているように、車両１が走行している車線の左側に左レーンマーク５１ｂ〜５４ｂ、右側に右レーンマーク６１ｂ、６２ｂ、６３ｂが認識される。
【００７２】
続くＳＴＥＰ８で、レーンマーク認識部１５は、左右のレーンマークの位置に基づいて、車線の中心位置を認識する。図５の例では、左側の左レーンマーク５１ｂ〜５４ｂの内側位置ＸＬ１と、右側の右レーンマーク６１ｂの内側位置ＸＲ１との中心位置Ｘｃを認識する。
【００７３】
続く図２（ｂ）／ＳＴＥＰ９は、障害物認識部１６による処理である。
【００７４】
障害物認識部１６は、図２（ａ）／ＳＴＥＰ６６で除外された候補画像部分を障害物として認識する。例えば、図５に示されているように、照明７７ｂが障害物として認識される。また、車両１から見て実空間上の距離が所定の距離以内である照明７８ｂについては、パターンマッチング等のより詳細な障害物判定が行われることにより、障害物として認識されうる。
【００７５】
次の図２（ｂ）／ＳＴＥＰ１０は操舵制御部１７による処理である。操舵制御部１７は、車両１が車線内の中心位置Ｘｃ付近を走行するように、操舵機構７を作動させて車両１の運転者の運転操作をアシストする。
【００７６】
ここで、操舵制御部１７は、車両１と中心位置Ｘｃとのずれが大きくなって、車両１と右レーンマーク６１ｂとの間隔ＷＲ、又は車両１と左レーンマーク５１ｂ〜５４ｂとの間隔ＷＬが予め設定された判定値以下になったときに、操舵機構７を作動させて車両１を中心位置Ｘｃに近づける制御を行う。
【００７７】
また、車両１が照明７７ｂ、７８ｂに接触する可能性があると検知された場合、操舵制御部１７は、接触を避ける制御を行うか、スピーカ５又は表示器６を介して運転者に警告を行う。
【００７８】
（本実施形態の作用・効果）
本願発明者らの検討によれば、レーンマークは、撮像画像２１上において、斜線として撮像されることが多い。また、レーンマークは道路に敷設されているものであるから、平坦な道路であれば、実空間上の鉛直方向（Ｙ方向）の長さはほぼゼロに等しい。このため、当該候補画像部分５１ｃ〜５５ｃ、６１ｃ〜６３ｃ、７１ｃ〜７８ｃに対応する実空間上の鉛直方向に相当する特定方向の長さにより、レーンマークを表す候補画像部分か否かを高精度で判定できる。
【００７９】
この点に着目して構成された本実施形態のレーンマーク認識装置１０によれば、候補画像部分５１ｃ〜５５ｃ、６１ｃ〜６３ｃ、７１ｃ〜７８ｃに対応する実空間上の鉛直方向に相当する特定方向の長さが所定長以上という条件を満たすレーンマークの画像部分でない蓋然性が高い候補画像部分７１ｃ〜７８ｃが除外される。このため、検出物と複数種類の障害物に関する大きさ及び輝度変化パターン等の情報との照合が必要な場合に比べ、計算コストが削減される。
【００８０】
また、当該構成のレーンマーク認識装置１０によれば、車両１と撮像画像上の仮定上のレーンマークの画像部分の垂直方向（ｙ方向）の長さと乖離した垂直方向（ｙ方向）の長さを有する候補画像部分７３ｃ〜７８ｃが除外される。この結果、当該構成のレーンマーク認識装置１０によれば、計算コストが削減されながら、レーンマークの検知精度の向上が図られうる。
【００８１】
また、前述した通り、レーンマークは道路に敷設されているものであるから、平坦な道路の走行中の撮像画像２１においては、レーンマークの画像部分の全部の垂直方向の位置は消失点８１ａよりも低い位置にあることが多い。すなわち、候補画像部分の一部の撮像画像上の垂直方向の位置が、前記撮像画像の消失点よりも高い位置にある場合には、候補画像部分７１ｃ〜７５ｃはレーンマークの画像部分でない蓋然性が高い。
【００８２】
この点に着目して構成された当該構成のレーンマーク認識装置１０によれば、計算コストの削減と、レーンマークの検知精度の向上との両立が図られうる。
【００８３】
また、車両１がレーンマークをまたいでいる状況では、撮像画像２１において、レーンマークの候補画像部分９１ａ〜９１ｃが撮像画像２１の中央に垂直方向に延在しうる。
【００８４】
この点に着目して構成された当該構成のレーンマーク認識装置１０によれば、第１条件又は第２条件を満たす候補画像部分である場合であっても、それが撮像画像２１の中央に存在している場合には、当該候補画像部分９１ａ〜９１ｃは除外されない。
【００８５】
この結果、当該構成のレーンマーク認識装置１０によれば、計算コストが削減されるとともに、レーンマークの除外処理についての誤動作の蓋然性が低下するので、レーンマークの検知精度の向上が図られうる。
【００８６】
また、車両１がレーンマークをまたいでいる場合、車両１は車線変更をしている蓋然性が高い。この点に着目して構成された当該構成のレーンマーク認識装置によれば、計算コストが削減されるとともに、車両がレーンマークをまたいでいる蓋然性が高い場合に限って撮像画像の中央に存在している候補画像部分９１ａ〜９１ｃが除外対象とされないので、レーンマークの検知精度の向上が図られうる。
【００８７】
また、当該構成のレーンマーク認識装置１０によれば、レーンマークの認識処理における計算結果を障害物７７ｂ、７８ｂの認識に流用できる。この結果、装置全体としての計算コストが削減される。
【００８８】
また、当該構成のレーンマーク認識装置によれば、車両１の制御に直接影響のない遠距離の候補画像部分５３ｃ〜５５ｃ、７１ｃ〜７７ｃに対して除外処理が行われる。この結果、レーンマークの検出精度を維持しながら、装置全体としての計算コストが削減される。
【００８９】
（変形態様）
候補画像部分が垂直であるか否かの判定（図２（ａ）／ＳＴＥＰ６１）は省略されてもよい。
【００９０】
また、図２（ａ）／ＳＴＥＰ６３が省略されてもよい。
【００９１】
車両が車線変更中か否かの判定（図２（ａ）／ＳＴＥＰ６５）の処理が省略されてもよい。また、車両が車線変更中か否かの判定（図２（ａ）／ＳＴＥＰ６５）に加え、候補画像部分が中央に存在するか否かの判定（図２（ａ）／ＳＴＥＰ６６）の処理が省略されてもよい。
【００９２】
除外された候補画像部分を障害物として認識する処理が省略されてもよい（図２（ｂ）／ＳＴＥＰ１１）。
【符号の説明】
【００９３】
１…車両（自車両）、２…カメラ、７…操舵機構、１０…レーンマーク認識装置、１１…撮像画像取得部、１２…エッジ画像生成部、１３…候補画像部分抽出部、１４…特定画像除外部、１５…レーンマーク認識部、１６…障害物認識部、１７…操舵制御部、２０…画像メモリ、２１…撮像画像、２２…エッジ画像。
【図１】
2015210654.tif 000003
【図２（ａ）】
2015210654.tif 000004
【図２（ｂ）】
2015210654.tif 000005
【図３】
2015210654.tif 000006
【図４】
2015210654.tif 000007
【図５】
2015210654.tif 000008