(57)【要約】【課題】反射して光った道路継ぎ目を停止線に誤認識することのない路面標示認識装置等を提供する。【解決手段】停止線候補検出モジュール１０１が車載カメラ映像中から停止線の候補領域を検出するとともに、前記候補領域に対応する路面領域までの距離を推定し、停止線判定モジュール１０４が前記路面領域までの距離と車両速度とから得られる車輪の該路面領域通過時刻において、路面の凹凸による車両の振動を検出した場合は、前記停止線の候補領域は光った道路継ぎ目であり、停止線ではないと判断する。振動を検出しなければ、前記候補領域は真の停止線であったと判断する。【選択図】図１
2010237799.tif 000002
【特許請求の範囲】
【請求項１】
路面上を移動する移動体に搭載する路面標示認識装置であって、
前記路面を撮像する撮像手段と、
前記撮像手段による撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出手段と、
前記移動体の移動速度を検出する移動速度検出手段と、
前記移動体の振動を検出する振動検出手段と、
前記路面標示候補検出手段が推定した前記路面標示候補までの距離と前記移動速度検出手段により検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出し、算出した時間を超えても前記振動検出手段により振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定手段と、
を具備することを特徴とする、路面標示認識装置。
【請求項２】
前記撮像手段は、前記移動体の移動方向に対して逆方向の前記路面を撮像し、
前記判定手段は、前記振動検出手段が検出した振動を、前記移動体があらかじめ定めた距離を移動する間記憶し、前記判定に用いることを特徴とする、請求項１記載の路面標示認識装置。
【請求項３】
前記撮像手段は、前記移動体の移動方向に対して順方向の前記路面を撮像し、
前記判定手段は、前記路面標示候補検出手段が推定した前記路面標示候補までの距離を、常に修正しながら記憶し、前記判定に用いることを特徴とする、請求項１記載の路面標示認識装置。
【請求項４】
路面上を移動する移動体に搭載された路面標示認識装置による路面標示認識方法であって、
前記路面を撮像する撮像工程と、
前記撮像工程の撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出工程と、
前記移動体の移動速度を検出する移動速度検出工程と、
前記路面標示候補検出工程にて推定された前記路面標示候補までの距離と前記移動速度検出工程にて検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出する通過時間算出工程と、
前記移動体の振動を検出する振動検出工程と、
前記通過時間算出工程にて算出された時間を超えても前記振動検出工程にて振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定工程と、
を含むことを特徴とする、路面標示認識方法。
【請求項５】
路面上を移動する移動体であって、前記路面を撮像する撮像手段と、前記移動体の移動速度を検出する移動速度検出手段と、前記移動体の振動を検出する振動検出手段と、を具備する移動体に搭載するコンピュータを、
前記撮像手段による撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出手段と、
前記路面標示候補検出手段が推定した前記路面標示候補までの距離と前記移動速度検出手段により検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出し、算出した時間を超えても前記振動検出手段により振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定手段として機能させることを特徴とする、プログラム。
【請求項６】
請求項５記載のプログラムを記憶したことを特徴とする、コンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は路面標示認識装置、方法、プログラム及びコンピュータ読取可能な記憶媒体に関し、特に停止線の誤認識を低減する路面標示認識装置、方法、プログラム及びコンピュータ読取可能な記憶媒体に関する。
【背景技術】
【０００２】
ドライバに対する安全支援などを目的として、車載カメラ映像から路面に描かれた標示を認識する装置がこれまでにいろいろ提案されている。ここで認識対象となる路面標示の１種類として停止線が挙げられる。停止線認識装置としては、例えば特許文献１が挙げられる。特許文献１では、車幅方向に長く描かれる停止線を確実に認識するための手段として、車載カメラ画像の下部に６つの小領域を定め、このうち連続する３つの小領域の平均輝度が低い状態から高くなり、その後低くなった場合に停止線が存在すると判定する。
【０００３】
しかし、停止線はその幾何学的形状が単純であるため、特許文献１のような構成では、実際には停止線でない路面上の領域を誤って停止線と誤認識してしまうことがある。こうした誤認識を抑制するための発明が、特許文献２、３に開示されている。
【０００４】
特許文献２には、停止線の近くに設けられた横断歩道の一部を誤って停止線と誤検出することを防止する方法として、横断歩道を検出し、前記横断歩道を含まないように停止線検出対象範囲を定め、この範囲内で停止線を検出する停止線検出装置が開示されている。
【０００５】
また、特許文献３には、車載カメラ映像から第１の路面標示と第２の路面標示を検出して、その位置関係があらかじめ規定されている相互位置関係が成立する場合に路面標示を認識したものとする路面標示認識装置が開示されている。この発明では、横断歩道と停止線の組に関して、前進中の自動車から見れば停止線、横断歩道の順番に配置されていなければならないとしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−０８５５６２号公報
【特許文献２】特開２００７−０６６００３号公報
【特許文献３】特開２００８−２１６５４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献に記載の技術には課題がある。
【０００８】
車載カメラ画像上で停止線に似た形状に写ることがある道路上の構造物として、図６に示すような金属製の道路の継ぎ目６０１が挙げられる。道路の継ぎ目とは、橋の両端や高速道路において、道路の伸縮を吸収するために道路に設置された構造物である。この道路の継ぎ目が日光などを反射した場合、車載カメラ映像上では道路の継ぎ目に対応する領域が高輝度に観測される。線の幅（奥行き方向の長さ）も停止線と類似しており、車載カメラ映像から停止線と反射した道路の継ぎ目とを区別するのは難しい。
【０００９】
この課題に対して、特許文献２の発明は効果を有しない。なぜならば、特許文献２は横断歩道の一部を停止線に誤認識することを防止する効果は有するが、横断歩道以外の類似図形領域に対しては誤認識抑制効果は有しないためである。また、停止線にみしか存在しない交差点は一般的に存在するので、横断歩道を付帯する停止線のみを認識するならば、横断歩道を伴わない多くの停止線を認識できなくなってしまう。
【００１０】
特許文献３の発明も反射した道路の継ぎ目の誤認識を避ける効果は期待できない。なぜなら、すべての停止線もしくは道路継ぎ目に共通して、他路面標示と一定の位置関係に存在するという事実はないためである。特許文献３は、たまたま２つの路面標示が近接して存在する道路箇所においては有効に機能するが、停止線や道路継ぎ目に関しては他の路面標示と近接していない場合が少なくなく、有効とはいえない。
【００１１】
そこで、本発明は反射して光った道路継ぎ目を停止線に誤認識することのない路面標示認識装置、方法、プログラム及びコンピュータ読取可能な記憶媒体を提供可能とすることを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、下記の構成の発明を提供する。
【００１３】
本発明に係る路面標示認識装置は、路面上を移動する移動体に搭載する路面標示認識装置であって、前記路面を撮像する撮像手段と、前記撮像手段による撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出手段と、前記移動体の移動速度を検出する移動速度検出手段と、前記移動体の振動を検出する振動検出手段と、前記路面標示候補検出手段が推定した前記路面標示候補までの距離と前記移動速度検出手段により検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出し、算出した時間を超えても前記振動検出手段により振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定手段と、を具備することを特徴とする。
【００１４】
本発明に係る路面標示認識方法は、路面上を移動する移動体に搭載された路面標示認識装置による路面標示認識方法であって、前記路面を撮像する撮像工程と、前記撮像工程の撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出工程と、前記移動体の移動速度を検出する移動速度検出工程と、前記路面標示候補検出工程にて推定された前記路面標示候補までの距離と前記移動速度検出工程にて検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出する通過時間算出工程と、前記移動体の振動を検出する振動検出工程と、前記通過時間算出工程にて算出された時間を超えても前記振動検出工程にて振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定工程と、を含むことを特徴とする。
【００１５】
本発明に係るプログラムは、路面上を移動する移動体であって、前記路面を撮像する撮像手段と、前記移動体の移動速度を検出する移動速度検出手段と、前記移動体の振動を検出する振動検出手段と、を具備する移動体に搭載するコンピュータを、前記撮像手段による撮像結果から、所定の路面標示の候補である路面標示候補を検出するとともに、前記移動体から前記路面標示候補までの距離を推定する路面標示候補検出手段と、前記路面標示候補検出手段が推定した前記路面標示候補までの距離と前記移動速度検出手段により検出された前記移動速度に基づいて、前記路面標示候補上を前記移動体が通過する時間を算出し、算出した時間を超えても前記振動検出手段により振動が検出されなければ、前記路面標示候補を前記所定の路面標示である旨の判定を行う判定手段として機能させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、反射して光った道路継ぎ目を停止線に誤認識することのない路面標示認識装置、方法及、プログラム及びコンピュータ読取可能な記憶媒体を提供することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施形態の機能構成を示すブロック図である。
【図２】停止線を含む入力画像の一例を示す図である。
【図３】図２の入力画像に対する停止線候補領域の抽出方法を説明するための図である。
【図４】本実施形態における停止線候補領域抽出処理の流れを示すフローチャート図である。
【図５】本実施形態の停止線判定モジュールの判定原理を説明するための図である。
【図６】道路継ぎ目を含む入力画像の一例を示す図である。
【図７】本実施形態に係る路面表示認識処理の流れを示すフローチャート図である。
【図８】前向きカメラを用いた場合の、本実施形態の停止線判定モジュールの判定原理を説明するための図である。
【図９】本実施形態のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明を実施形態により詳細に説明する。
【００１９】
本発明の実施の形態について図面を参照して詳細に説明する。
図１を参照すると、本発明の実施の形態に係る路面表示認識装置は、車載カメラ映像中から停止線の候補領域を検出する停止線候補検出モジュール１０１、車両の速度を測定する車速検出モジュール１０２、路面の凹凸による車両の振動を検出する振動検出モジュール１０３、振動の検出情報に基づいて停止線候補が真の停止線か否かを判定する停止線判定モジュール１０４を備える構成である。
【００２０】
なお、図１において、「モジュール」とは、ソフトウェアによる処理及び／又は各種センサなどのハードウェアによる動作により提供される「一機能単位」をなす固まりをいうこととする。
【００２１】
停止線候補検出モジュール１０１は、車載カメラ映像中から停止線の可能性がある候補領域を検出するとともに、実世界における自車から路面上停止線候補領域までの距離を推定し停止線判定モジュール１０４に出力する。本実施形態では、車載カメラは前進中の車両後部に後向きにすえつけられているものとする。
【００２２】
停止線の可能性がある候補領域の検出方法としては、特許文献１に開示されている方法でもかまわないし、別の方法でもかなわない。一般的な停止線認識方法の一例として、図２から図４を参照しつつ横に長い帯状の高輝度領域を抽出する方法について説明する。
【００２３】
図２は入力画像の一例を示す図である。入力画像は濃淡画像で、実世界上で白い（明るい）領域ほど高い画素値を持つ画像である。図３は図２の入力画像に対する画像処理の様子を説明するための図である。図４は、本実施形態における停止線候補領域抽出処理の流れを示すフローチャートであり、図２に示したような入力画像から横に長い帯状の高輝度領域を抽出するアルゴリズムを示す図である。
【００２４】
まず、停止線候補検出対象範囲３０４内において、水平方向に画素値を累積してヒストグラム３０１を作成する（ステップＳ４０１）。次に、ヒストグラム３０１に対して、ヒストグラム値が閾値３０２を越えるｙ座標の範囲３０３を抽出する（ステップＳ４０２）。これにより、範囲３０３に含まれる入力画像の領域が停止線候補領域となる。
【００２５】
多少傾いた停止線に対しても適切に停止線候補領域を検出するには、ヒストグラムを想定される傾きの範囲内で何通りか斜め方向にヒストグラムを集計し、得られたヒストグラムの中からヒストグラム値の分散が大きいヒストグラムを１つ選んで次にステップＳ４０２の手順を適用すればよい。ヒストグラム値の分散が大きいヒストグラムを選ぶ理由は、停止線の傾きと同じ傾きの方向にヒストグラムを集計した場合に分散値が最大となり、より適切に停止線候補領域を検出することができるためである。
【００２６】
車速検出モジュール１０２は車両の移動速度を検出し、停止線判定モジュール１０４に出力する。車速検出モジュール１０２は、既存の車両にも搭載されている車速パルスに基づくモジュールでもよいし、光学マウスの技術を応用したようなモジュールでもよい。
【００２７】
振動検出モジュール１０３は路面の凹凸による車両の振動を検出し、停止線判定モジュール１０４に振動検出結果を出力する。振動検出モジュール１０３は、加速度センサやジャイロセンサなどから構成される。凹凸の程度が大きいほど、振動検出モジュールは大きな値を出力する。
【００２８】
停止線判定モジュール１０４は、停止線候補が検出された場合、この停止線候補を車輪が通過したと推測される時刻における振動検出モジュール１０３の出力に基づいて、停止線候補が真の停止線か否かを判定する。後方カメラを用いた本実施形態では、停止線候補が検出される時刻に対し、対応する路面上停止線候補領域を車輪が通過した時刻は過去であるので、停止線判定モジュール１０４は振動検出モジュール１０３から入力される振動の強さと時刻の情報を、車両が一定距離進む間保持する。一定距離とは、例えば停止線候補検出モジュール１０１が停止線候補を検出する際の、実世界における自車車輪から路面上停止線候補領域までの最大距離でよい。また、車両速度が極めて低速な場合を無視するならば、一定距離の間でなく一定時間の間振動検出結果を保持するのでもかまわない。
【００２９】
図５を参照しつつ、停止線判定モジュールによる具体的判定方法について説明する。図５は左方向へ速度ｖ（ｍ／ｓ）で進行している車両５０１の後ろ向きカメラ５０２が停止線候補として道路継ぎ目（路面上停止線候補領域）５０３を検出した場合の図である。この場合、鉛直方向とカメラから見た停止線候補範囲との角度５０７をθ（度）、路面からのカメラの高さをＨ（ｍ）とすると、カメラから路面に鉛直に落とした点と路面上停止線候補領域５０３までの距離５０４をＬ１（＝Ｈ×ｔａｎ（θ））、カメラから路面に鉛直に落とした点と車輪後輪までの距離５０５をＬ２（ｍ）、同じく車輪前輪までの距離５０６をＬ３（ｍ）とすると、後輪は（Ｌ１＋Ｌ２）（ｍ）前、前輪は（Ｌ１＋Ｌ２＋Ｌ３）（ｍ）前に路面上停止線候補領域５０３上を通過したと推定される。時刻でいえば、現時刻よりも後輪は（Ｌ１＋Ｌ２）／ｖ（ｓ）秒前、前輪は（Ｌ１＋Ｌ２＋Ｌ３）／ｖ（ｓ）秒前ということができる。
【００３０】
そこで、現時点よりも車両の位置が（Ｌ１＋Ｌ２）（ｍ）もしくは（Ｌ１＋Ｌ２＋Ｌ３）（ｍ）だけ前の時刻、言い換えれば現時刻よりも後輪は（Ｌ１＋Ｌ２）／ｖ（ｓ）秒前、前輪は（Ｌ１＋Ｌ２＋Ｌ３）／ｖ（ｓ）秒前に、振動検出モジュール１０３が路面の凹凸による車両の振動を検出したか否かを判定する。もし、あらかじめ定めた強度を上回る振動を検出したならば、路面上停止線候補領域５０３は光った道路継ぎ目であったと判定し、振動を検出しなかったならば、路面上停止線候補領域５０３は真の停止線であると判定する。
【００３１】
次に、図面を参照して本実施形態に係る路面表示認識処理の流れについて説明する。図７は本実施形態に係る路面表示認識処理の流れを示すフローチャートを示す図である。
【００３２】
まず、停止線候補検出モジュール１０１が横方向に長い高輝度の帯状領域を停止線候補として検出する（ステップＳ７０１）。車速検出モジュール１０２は、車両の速度を計測する (ステップＳ７０２)。振動検出モジュール１０３は、道路の凸凹による車両の振動を検出する（ステップＳ７０３）。最後に、停止線判定モジュール１０４は、停止線候補検出モジュール１０１が停止線候補を検出した場合、これに対応する路面上停止線候補領域を車輪が通過したと推測される時刻における振動検出モジュール１０３の出力に基づいて、停止線候補が真の停止線か否かを判定する（ステップＳ７０４）。
【００３３】
なお、停止線候補検出ステップＳ７０１、車速検出ステップＳ７０２，振動検出ステップＳ７０３は独立な処理ステップなので、実行順序をいれかえても差し支えない。また、上記説明では振動検出モジュール１０３は現時刻に検出した情報を停止線判定モジュール１０４に出力し、停止線判定モジュール１０４が振動検出結果情報を保持することとしたが、振動検出モジュール１０３が振動検出結果情報を保持し、停止線判定モジュール１０４は路面上停止線候補領域を車輪が通過したと推測される時刻における振動検出結果を振動検出モジュール１０３に問い合わせて取得する構成としてもかまわない。
【００３４】
停止線候補検出モジュール１０１が車載カメラ映像中から停止線の候補領域を検出するとともに、前記候補領域に対応する路面領域までの距離を推定し、停止線判定モジュール１０４が前記路面領域までの距離と車両速度とから得られる車輪の該路面領域通過時刻において、路面の凹凸による車両の振動を検出した場合は、前記停止線の候補領域は光った道路継ぎ目であり、停止線ではないと判断する。振動を検出しなければ、前記候補領域は真の停止線であったと判断する。
【００３５】
また、上記実施形態では、車両後ろ向きに設置したカメラを用いた場合について説明したが、車載カメラとして前向きカメラを用いてもかまわない。ただし、この場合は、時間的に、（１）停止線候補の検出、（２）前輪の路面上停止線候補領域通過、（３）後輪の路面上停止線候補領域通過という順番にイベントが発生するので、停止線判定モジュール１０４は、停止線候補領域を検出した際の距離情報を基に、時々刻々車両が前進した距離を差し引いて、前輪もしくは後輪と路面上停止線候補領域までの距離を修正しつつ記憶し、通過するタイミングを特定できるようにしておく。
【００３６】
前向きカメラ８０２によって、図８に示す状態において停止線候補を検出した場合は、対応する路面上停止線候補領域から車載カメラまでの水平距離８０３をＬ４（ｍ）、前輪から車載カメラまでの水平距離８０４をＬ５（ｍ）、車載カメラから後輪までの水平距離８０５をＬ６（ｍ）、車両速度をｖ（ｍ／ｓ）とすると、路面上停止線候補領域抽出時点よりも車両８０１が（Ｌ４−Ｌ５）（ｍ）もしくは（Ｌ４＋Ｌ６）（ｍ）進んだ時の時刻、言い換えれば現時刻よりも（Ｌ４−Ｌ５）／ｖ（ｓ）秒後、および（Ｌ４＋Ｌ６）／ｖ（ｓ）秒後に、振動検出モジュールがあらかじめ定めた強さを上回る振動を検出したら、停止線候補は光った道路継ぎ目であったと判断する。振動を検出しなかったら、真の停止線であったと判断する。よって、前向きカメラを用いた場合には、停止線候補が真の停止線か否かの判定は、停止線候補を検出した時刻よりもやや遅れて行われる。
【００３７】
なお、上述の路面標示認識装置は、図９のようなネットワークでつながったＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）９０１と車載カメラ９０２と車速計測部９０３を備える構成であり、本構成の装置において上記で説明したモジュールを搭載し動作させるような構成として説明した。
【００３８】
ＥＣＵ９０１は、装置全体の制御を行うものであり、例えばＣＰＵ、メモリ、信号処理回路、電源回路などから構成される。つまり、上述した各実施形態を例に説明した本発明は、上述した路面標示認識装置に対して、その説明において参照したフローチャートの機能や判定ロジックを実現可能なコンピュータ・プログラムをＥＣＵ９０１に読み出して実行することにより達成される。
【００３９】
また、そのようなコンピュータ・プログラムをコンピュータ読取可能な形式で記憶した記憶媒体によっても、本発明の目的は達成される。
【００４０】
また、本発明の路面標示認識機能をハードウェア化したマイコンを構成することも可能である。一部の機能をハードウェアで実現し、それらのハードウェアとソフトウェア・プログラムの協調動作により同様の機能を実現してもよい。
【符号の説明】
【００４１】
１０１    停止線候補検出モジュール
１０２    車速検出モジュール
１０３    振動検出モジュール
１０４    停止線判定モジュール
３０１    画素値を水平方向に投影したヒストグラム
３０２    停止線候補を検出するための閾値
３０３    検出された停止線候補領域
３０４    ヒストグラム作成に用いる入力画像の範囲
５０１、８０１    車両
５０２    後ろ向き車載カメラ
５０３    停止線候補として抽出された道路継ぎ目（路面上停止線候補領域）
５０４    車載カメラから抽出された道路継ぎ目（路面上停止線候補領域）までの水平距離
５０５    車両後輪から車載カメラまでの水平距離
５０６    車両前輪から車両後輪までの水平距離
６０１    道路継ぎ目
８０２    前向き車載カメラ
８０３    抽出された道路継ぎ目（路面上停止線候補領域）から車載カメラまでの水平距離
８０４    車両前輪から車載カメラまでの水平距離
８０５    車載カメラから車両後輪までの水平距離
９０１    ＥＣＵ
９０２    車載カメラ
９０３    車速計測部
【図１】
2010237799.tif 000003
【図２】
2010237799.tif 000004
【図３】
2010237799.tif 000005
【図４】
2010237799.tif 000006
【図５】
2010237799.tif 000007
【図６】
2010237799.tif 000008
【図７】
2010237799.tif 000009
【図８】
2010237799.tif 000010
【図９】
2010237799.tif 000011