(57)【要約】【課題】車線逸脱判断に必要なレーンマーカの位置を確実に認識する。【解決手段】撮像部１０で撮像された画像Ｉの所定の領域の中から、レーンマーカ候補検出部２０が、レーンマーカの候補を検出して、多重線であると認識したときに、ウインドゥ設定部３０が、画像Ｉの中のレーンマーカが映ると考えられる位置にウインドゥを設定して、レーンマーカ特徴量検出部４０が、ウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出し、レーンマーカ検出部が、レーンマーカ特徴量に基づいて所定の第１レーンマーカを検出して、第１レーンマーカの検出結果に基づいて、画像Ｉの中から、所定の第２レーンマーカを検出し、車線逸脱判断部７０が、第２レーンマーカの検出結果に基づいて、車両５が走行中の車線から逸脱する可能性を判断して、車線から逸脱する可能性があるときに、警報出力部８０が警報を出力する。【選択図】図３
2014026519.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、
前記撮像部で撮像された画像の中の所定の領域から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部と、
前記レーンマーカ候補検出部の検出結果に基づいて、前記撮像部で撮像された画像の中に、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部と、
前記ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出するレーンマーカ特徴量検出部と、
前記レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、レーンマーカを検出するレーンマーカ検出部と、
前記レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、前記車両が走行中のレーンから逸脱する可能性を判断する車線逸脱判断部と、
前記車線逸脱判断部において、前記車両が走行中のレーンから逸脱する可能性があると判断されたときに警報を出力する警報出力部と、を有する車載レーンマーカ認識装置において、
前記レーンマーカ候補検出部が、前記レーンマーカが複数の線で構成される多重線であると認識したときには、前記レーンマーカ検出部は、前記多重線の中から所定の第１レーンマーカを検出して、前記所定の第１レーンマーカの検出結果に基づいて、前記多重線の中から、所定の第２レーンマーカを検出して、前記車線逸脱判断部は、前記第２レーンマーカの検出結果に基づいて、前記車両が走行中のレーンから逸脱する可能性を判断することを特徴とする車載レーンマーカ認識装置。
【請求項２】
前記レーンマーカ候補検出部が、前記レーンマーカが複数の線で構成される多重線であると認識したときには、前記レーンマーカ検出部は、前記多重線の中から所定の第１レーンマーカを検出して、前記所定の第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を推定し、前記車線逸脱判断部は、前記第２レーンマーカの位置の推定結果に基づいて、前記車両が走行中のレーンから逸脱する可能性を判断することを特徴とする請求項１に記載の車載レーンマーカ認識装置。
【請求項３】
前記多重線を構成する複数の線の線種と色と並び順、および、前記多重線を構成する複数の線のうち、いずれの線が前記第１レーンマーカに対応して、いずれの線が前記第２レーンマーカに対応するか、が登録された多重線種別データベースを有することを特徴とする請求項１または請求項２に記載の車載レーンマーカ認識装置。
【請求項４】
前記ウインドゥ設定部は、前記レーンマーカ候補検出部が検出した多重線を全て包含するように前記画像の中にウインドゥを設定することを特徴とする請求項１から請求項３のいずれか１項に記載の車載レーンマーカ認識装置。
【請求項５】
前記レーンマーカ特徴量検出部は、前記多重線を構成する線毎に前記レーンマーカ特徴量を検出することを特徴とする請求項１から請求項４のいずれか１項に記載の車載レーンマーカ認識装置。
【請求項６】
前記多重線は、異なる線種を含む複数の線、もしくは同一線種で構成された複数の線であることを特徴とする請求項１から請求項５のいずれか１項に記載の車載レーンマーカ認識装置。
【請求項７】
前記多重線が実線と破線を含むときには、前記第１レーンマーカを実線として、前記第２レーンマーカを破線とすることを特徴とする請求項１から請求項６のいずれか１項に記載の車載レーンマーカ認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラでレーンマーカの位置を検出する車載レーンマーカ認識装置に関するものである。
【背景技術】
【０００２】
近年、車両にカメラを搭載して、そのカメラで車両の周辺を観測し、観測された画像の中から、車線の境界に敷設されたレーンマーカの位置を検出して、こうして検出されたレーンマーカの位置に基づいて車両の位置と車線の位置との関係を算出し、車線逸脱の可能性を判断して注意喚起を行う車載レーンマーカ認識装置が実用化されている。
【０００３】
このようなシステムでは、例えば、路面との輝度差が大きいというレーンマーカの特徴を用いて、この路面との輝度差の大きい画素を検出して、検出された画素の列に対してレーン形状を当てはめることによってレーンマーカの位置を検出している。そして、そのような装置の例として、レーン認識装置が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１４１４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載されたレーン認識装置では、路面に敷設されたレーンマーカが、複数の実線の組み合わせ、あるいは、実線と破線の組み合わせによって構成されるときであっても、最も内側のレーンマーカを検出することによってレーンの検出を行っていた。
【０００６】
このように、複数のレーンマーカによって構成されるレーンマーカを、以後、多重線と呼ぶことにする。
【０００７】
多重線は、一般に実線のみならず破線を含む場合もある。さらに、多重線を構成するレーンマーカの色は、白色に限定されるわけではなく、黄色のレーンマーカも存在する。
【０００８】
したがって、多重線を構成するレーンマーカの中には、白色の実線のように、路面とのコントラストが高く、画像認識によって認識しやすいレーンマーカと、黄色の実線のように路面とのコントラストが低いため、画像認識によって認識しにくいレーンマーカ、あるいは、破線のようにレーンマーカを構成する特徴量が少ないため、画像認識によって認識しにくいレーンマーカが存在する。
【０００９】
ところで、検出されたレーンマーカの位置に応じて、車線逸脱の可能性を判断する場合、その判断の信頼性を向上させるためには、多重線の中で車両から最も近い位置にある、最も内側のレーンマーカの位置に応じて車線逸脱を判断すべきである。しかしながら、多重線の最も内側に、前述した黄色の実線や破線からなるレーンマーカのように、画像認識によって認識しにくいレーンマーカが存在する場合には、画像認識の誤認識や不認識によって、車線逸脱判断に用いるレーンマーカの検出に失敗する可能性がある。
【００１０】
特許文献１に記載された発明は、こうした多重線で構成されるレーンマーカを検出対象として、多重線を構成する最も内側のレーンマーカの位置を検出する構成になっているため、最も内側に認識しにくいレーンマーカがあったときに、誤認識や不認識が発生する可能性があった。
【００１１】
そして、このような誤認識が発生したときには、本来、車線逸脱警報が不要なときに報知を行う誤警報が発生する。また、不認識が発生したときには、本来報知すべき車線逸脱を報知しない不警報が発生する。
【００１２】
本発明は、上記課題に鑑みてなされたもので、レーンマーカが多重線で構成されているときであっても、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる車載レーンマーカ認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明に係る車載レーンマーカ認識装置は、多重線の中から、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる車載レーンマーカ認識装置に関するものである。
【００１４】
すなわち、本発明の請求項１に係る車載レーンマーカ認識装置は、車両に設置されて、前記車両の周囲を観測して、少なくとも路面を含む画像を撮像する撮像部と、前記撮像部で撮像された画像の中の所定の領域から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部と、前記レーンマーカ候補検出部の検出結果に基づいて、前記撮像部で撮像された画像の中に、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部と、前記ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出するレーンマーカ特徴量検出部と、前記レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、レーンマーカを検出するレーンマーカ検出部と、前記レーンマーカ検出部で検出されたレーンマーカの位置に基づいて、前記車両が走行中の車線から逸脱する可能性を判断する車線逸脱判断部と、前記車線逸脱判断部において、前記車両が走行中の車線から逸脱する可能性があると判断されたときに警報を出力する警報出力部と、を有する車載レーンマーカ認識装置において、前記レーンマーカ候補検出部が、前記レーンマーカが複数の線で構成される多重線であると認識したときには、前記レーンマーカ検出部は、前記多重線の中から所定の第１レーンマーカを検出して、前記所定の第１レーンマーカの検出結果に基づいて、前記多重線の中から、所定の第２レーンマーカを検出して、前記車線逸脱判断部は、前記第２レーンマーカの検出結果に基づいて、前記車両が走行中の車線から逸脱する可能性を判断することを特徴とする。
【００１５】
このように構成された本発明の請求項１に係る車載レーンマーカ認識装置によれば、撮像部によって撮像された画像の中の所定の領域の中から、レーンマーカ候補検出部が、左右のレーンマーカの候補を検出して、多重線であると認識したときに、ウインドゥ設定部が、レーンマーカ候補検出部の検出結果に基づいて、撮像部で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定して、レーンマーカ特徴量検出部が、ウインドゥ設定部で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出して、レーンマーカ検出部が、レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、所定の第１レーンマーカを検出して、こうして検出された所定の第１レーンマーカの検出結果に基づいて、撮像部によって撮像された画像の中から、所定の第２レーンマーカを検出し、車線逸脱判断部が、第２レーンマーカの検出結果に基づいて、車両が、走行中の車線から逸脱する可能性を判断して、車線から逸脱する可能性があるときに、警報出力部が警報を出力するため、レーンマーカが多重線で構成されているときであっても、最初に、認識しやすい第１レーンマーカを検出して、この第１レーンマーカの位置に基づいて、車線逸脱判断を行う第２レーンマーカを検出するため、車線逸脱判断に必要な第２レーンマーカが低コントラストで見えにくい状態にあった場合でも、認識しやすい第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を確実に認識することができるため、これによって、誤警報や不警報の発生を防止することができる。
【発明の効果】
【００１６】
本発明に係る車載レーンマーカ認識装置によれば、レーンマーカが多重線で構成されているときであっても、車線逸脱判断に必要なレーンマーカの位置を確実に認識することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る車載レーンマーカ認識装置が実装された車載システムの一例であるＬＤＷ（Lane Departure Warning）システムについて説明する図である。
【図２】車両に設置された撮像部で撮像した画像の例を示す図である。
【図３】本発明の実施例１に係る車載レーンマーカ認識装置の概略構成を示すブロック図である。
【図４】本発明の実施例１に係る車載レーンマーカ認識装置の処理領域設定部の詳細構成を示すブロック図である。
【図５】本発明の実施例１に係る車載レーンマーカ認識装置の多重線認識部の詳細構成を示すブロック図である。
【図６】本発明の実施例１に係る車載レーンマーカ認識装置の車線逸脱警報部の詳細構成を示すブロック図である。
【図７】本発明の実施例１に係る車載レーンマーカ認識装置の多重線種別データベースの内容の一例を説明する図である。
【図８】本発明の実施例１に係る車載レーンマーカ認識装置において実行されるメインルーチンのフローチャートである。
【図９】本発明の実施例１において撮像された画像の一例を示す図である。
【図１０】本発明の実施例１において行われる処理領域設定処理の内容を説明する図であり、（ａ）は多重線認識前の動作例であり、（ｂ）は多重線認識後の動作例である。
【図１１】本発明の実施例１において行われる多重線認識処理の内容を説明する図であり、（ａ）は多重線認識前の動作例であり、（ｂ）は多重線認識後の動作例である。
【図１２】本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線の構成を認識していないときの動作例を示す図である。
【図１３】本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線が２本のレーンマーカで構成されており、多重線の構成を認識したときの動作例を示す図である。
【図１４】本発明の実施例１において行われる多重線判断処理の内容を説明する図であり、特に、多重線が３本のレーンマーカで構成されており、多重線の構成を認識したときの動作例を示す図である。
【図１５】本発明の実施例１の動作例を説明する図であり、特に、多重線が３本の実線から構成されて、最も内側の実線が黄色の場合の動作例である。
【図１６】本発明の実施例１の動作例を説明する図であり、特に、多重線が２本の破線と１本の実線から構成されている場合の動作例である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る車載レーンマーカ認識装置の実施形態について、図面を参照して説明する。なお、以下の説明において、画像に格納された濃淡値を輝度値と呼ぶ。
【実施例１】
【００１９】
本実施例は、本発明の車載レーンマーカ認識装置を、車両の走行中に、走行車線からの逸脱の可能性を判断して、逸脱の可能性があると判断されたときに、注意喚起や警報、もしくは、車両の挙動を制御して車線逸脱を未然に防止するＬＤＷ（Lane Departure Warning）システムが実装された車両に適用した例である。
【００２０】
まず、図１を用いてＬＤＷシステムの動作を説明する。道路２を紙面左に向かって走行中の車両５の後方を監視する撮像部１０は、車両５の後部に後ろ向きに取り付けられて、車両５の後方の左右隣接車線を含む範囲ωを撮像する。そして、撮像された画像の中から、画像処理によって車両５が走行中の車線Ｙ１の左右両側にある車線境界Ｂ１，Ｂ２の位置を検出する。
【００２１】
一般に、車線境界には、その位置を運転者に知らせるマーカが敷設されている。マーカの例としては、白や黄色にペイントされた実線や破線、また、鋲などがある。こうした車線境界の位置を示すマーカを、以下、レーンマーカと呼ぶことにする。そして、以下の説明では、レーンマーカが、白や黄色にペイントされた実線や破線で構成されている場合を例にあげて説明する。
【００２２】
さらに、前述したように、レーンマーカが複数の実線や破線からなる多重線で構成されている場合もある。図１は、撮像部１０から見て左側の車線境界Ｂ１が多重線で構成されている例であり、車線境界Ｂ１は、撮像部１０から見て左から順に破線ＬＬ１、実線ＬＬ２、破線ＬＬ３で構成されている。ここで、実線ＬＬ２と破線ＬＬ３の間隔をオフセットεと呼ぶ。オフセットεは、車両の逸脱を判断するときに利用されるが、詳しくは後述する。
【００２３】
なお、図１において、撮像部１０から見て右側の車線境界Ｂ２は１本の実線ＬＲ１で構成されている。
【００２４】
ＬＤＷシステムは、車両５が所定車速以上で走行しているときに起動されて、時刻ｔにおいて撮像部１０で撮像された画像Ｉ（ｘ,ｙ,ｔ）（以後、画像Ｉと呼ぶ。また、特に（ｘ,ｙ）の値が意味を持つときは画像Ｉ（ｘ,ｙ）と呼び、ｔの値が意味を持つときは画像Ｉ（ｔ）と呼ぶ。）の中から、左右のレーンマーカをそれぞれ検出する。ここで、撮像部１０で撮像された画像Ｉの中で左側に映ったレーンマーカをＬＬ、右側に映ったレーンマーカをＬＲとする。
【００２５】
左右のレーンマーカＬＬ，ＬＲが検出されると、車両５から左側のレーンマーカＬＬまでの距離、または車両５から右側のレーンマーカＬＲまでの距離と、車両５のヨー角、およびそのときの車速に基づいて、車両５がそのときと同じ状態（同じ車速、同じ操舵角）で進行したときに車線を逸脱するまでの時間（車線逸脱予測時間Ｆ）が算出される。
【００２６】
そして、こうして算出された車線逸脱予測時間Ｆが所定時間以内であるときに、警報を出力して、運転者に注意を喚起する。
【００２７】
本発明に係る車載レーンマーカ認識装置では、レーンマーカとして多重線が検出されたときに、その多重線の中から、最も認識しやすいレーンマーカを認識基準線として最初に検出し、次に、検出した認識基準線（以下、第１レーンマーカと呼ぶ）の位置に基づいて、車線逸脱判断を行う警報基準線（以下、第２レーンマーカと呼ぶ）を検出する。
【００２８】
ここで、図２を用いて、第１レーンマーカと第２レーンマーカについて説明する。図２は、前記車両５が、前記道路２を走行中（図１参照）に、車両５に設置された前記撮像部１０で撮像した画像Ｉを示す。
【００２９】
図２に示すように、画像Ｉの中央から左側の領域には、左から順に、破線からなるレーンマーカＬＬ１，実線からなるレーンマーカＬＬ２，破線からなるＬＬ３で構成された多重線からなる道路境界（図１のＢ１）が映っており、画像Ｉの中央から右側の領域には、実線からなるレーンマーカＬＲ１から構成された道路境界（図１のＢ２）が映っている。
【００３０】
なお、画像Ｉの下部に映っている影Ｋは、車両５のリアバンパーの映りこみである。そして、以後説明する画像処理では、影Ｋの領域に対しては、画像処理を行わないものとする。
【００３１】
ここで、レーンマーカＬＬｉは、撮像部１０で撮像した画像Ｉの中で中央から左側の領域（以後、単に左側と呼ぶ。）に映るレーンマーカのうち、左からｉ番目のレーンマーカであることを表し、レーンマーカＬＲｉは、撮像部１０で撮像した画像Ｉの中で中央から右側の領域（以後、単に右側と呼ぶ。）に映るレーンマーカのうち、左からｉ番目のレーンマーカであることを表すものとする。
【００３２】
画像Ｉの左側に映ったレーンマーカに着目すると、多重線を構成する真中の実線からなるレーンマーカＬＬ２は、左側の破線からなるレーンマーカＬＬ１や右側の破線からなるレーンマーカＬＬ３と比べて、レーンマーカを構成する特徴点であるエッジ構成点の数が多いため、画像処理によって検出しやすい。このように、多重線を構成するレーンマーカの中で最も検出しやすいと考えられるレーンマーカを第１レーンマーカ（認識基準線）と呼ぶ。そして、画像Ｉの左側に映ったレーンマーカの中の第１レーンマーカをＬＬＭで表すことにする。
【００３３】
また、画像Ｉの中から検出したレーンマーカの位置に基づいて車線逸脱の可能性を判断する場合、その判断の信頼性を向上させるためには、例えば、多重線の中で車両から最も近い位置にある、最も内側のレーンマーカの位置に応じて車線逸脱を判断すべきである。このように、多重線を構成するレーンマーカの中で、車線逸脱を判断する基準とするレーンマーカを第２レーンマーカ（警報基準線）と呼ぶ。
【００３４】
そして、図２において、画像Ｉの左側に映ったレーンマーカの場合、最も内側に映ったレーンマーカであるＬＬ３を第２レーンマーカとする。そして、画像Ｉの左側に映ったレーンマーカの中の第２レーンマーカをＬＬＳで表すことにする。
【００３５】
なお、図２において、画像Ｉの右側に映ったレーンマーカは、１本の実線から構成されている。このような場合は、第１レーンマーカと第２レーンマーカは一致する。そして、画像Ｉの右側に映ったレーンマーカの中の第１レーンマーカをＬＲＭで表し、画像Ｉの右側に映ったレーンマーカの中の第２レーンマーカをＬＲＳで表すことにする。
【００３６】
次に、図３から図６を用いて、実施例１に係る車載レーンマーカ認識装置の構成を説明する。
【００３７】
実施例１に係る車載レーンマーカ認識装置８は、図３に示すように、図示しない車両５の後部ライセンスプレート付近に設置されて、進行方向後方を観測する撮像部１０と、撮像部１０で撮像された画像の中の所定の領域の中から、前記車両が走行中の車線の左右にあるレーンマーカの候補を検出するレーンマーカ候補検出部２０と、撮像部で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定するウインドゥ設定部３０と、設定されたレーンマーカを検出する領域の中から、レーンマーカらしさを表す特徴量として、画像Ｉの中から、左右に隣接する画素の間の輝度差を検出するレーンマーカ特徴量検出部４０と、検出されたレーンマーカ特徴量に基づいて、多重線を構成する各レーンマーカの位置を、多重線を構成する各レーンマーカの属性と対応付けて算出する多重線認識部５０（レーンマーカ検出部）と、車両５の車速と車輪速とヨーレートを取得する車両情報取得部６０と、レーンマーカの検出結果と車両５の車速とヨー角から、車両５の車線逸脱を判断する車線逸脱判断部７０と、車線逸脱すると判断されたときに車内に設置されたブザー等を鳴動させて警報を出力する警報出力部８０と、多重線認識部５０において多重線を認識する際に利用する、多重線の構造（線種別、色、並び順等）、および、多重線を構成するレーンマーカの中で、いずれのレーンマーカが第１レーンマーカであり、いずれのレーンマーカが第２レーンマーカであるか、に関する情報が格納された多重線種別データベース９０を備えている。
【００３８】
前記レーンマーカ候補検出部２０は、図４に示すように、撮像部１０で撮像された画像Ｉの中に設定した所定の領域の中から、レーンマーカを構成すると考えられる特徴量を検出して、レーンマーカの左右方向の幅を推定する多重線幅推定部２２と、多重線幅推定部２２の推定結果に基づいて、レーンマーカの中の第１レーンマーカの幅を設定する第１レーンマーカ幅設定部２４を備えている。
【００３９】
前記多重線認識部５０（レーンマーカ検出部）は、図５に示すように、前記レーンマーカ特徴量検出部４０で検出された特徴量をパラメータ平面に投票する特徴量投票部５１と、特徴量投票部５１の投票結果に基づいて、多重線を構成する各レーンマーカの属性を判定する多重線判定部５２と、多重線判定部５２の判定結果に基づいて、レーンマーカを検出する領域のサイズと位置を制御する処理領域制御部５３と、多重線判定部５２の判定結果に基づいて、特徴量投票部５１の投票結果の中からレーンマーカの候補となる候補線を抽出する候補線抽出部５４と、候補線抽出部５４で抽出した候補線の中から、第１レーンマーカ（ＬＬＭまたはＬＲＭ）を選択する第１レーンマーカ選択部５５と、第１レーンマーカ選択部５５で選択した第１レーンマーカ（ＬＬＭまたはＬＲＭ）の選択結果に基づいて、前記レーンマーカ候補検出部２０における特徴量検出の閾値を制御する特徴量検出制御部５６と、候補線抽出部５４で抽出した候補線の中から、第２レーンマーカ（ＬＬＳまたはＬＲＳ）を選択する第２レーンマーカ選択部５７を備えている。
【００４０】
また、前記車線逸脱判断部７０は、図６に示すように、前記第１レーンマーカ（ＬＬＭまたはＬＲＭ）と前記第２レーンマーカ（ＬＬＳまたはＬＲＳ）の間隔であるオフセットεを推定するオフセット推定部７２と、オフセット推定部７２で推定したオフセットεと、前記車両情報取得部６０で取得した車速Ｖ、および、前記車両情報取得部６０で取得した情報を用いて算出した車両５のヨー角ρに基づいて、車両５が車線を逸脱するまでの車線逸脱予測時間Ｆを推定する車線逸脱推定部７４を備えている。
【００４１】
次に、図７を用いて、前記多重線種別データベース９０の詳細構成を説明する。
【００４２】
多重線種別データベース９０は、図７に示すように、多重線を構成するレーンマーカの属性であるレーンマーカの形態（実線、破線、線の色、並び順）、および、多重線を構成するレーンマーカのうち、いずれのレーンマーカが第１レーンマーカ（ＬＬＭまたはＬＲＭ）であり、いずれのレーンマーカが第２レーンマーカ（ＬＬＳまたはＬＲＳ）であるかが登録されている。
【００４３】
具体的には、図７の各行Ａ，Ｂ，Ｃ，…には、多重線の種類が登録されている。そして、行Ａは、撮像部１０から見て左から順に、「白い実線」、「白い実線」で構成されるレーンマーカであることを表し、行Ｂは、撮像部１０から見て左から順に、「白い実線」、「白い実線」、「黄色い実線」で構成されるレーンマーカであることを表し、行Ｃは、撮像部１０から見て左から順に、「白い破線」、「白い実線」、「白い破線」で構成されるレーンマーカであることを表している。
【００４４】
そして、図７の横軸方向には、各多重線を構成するレーンマーカの属性（線の種類、線の色、線の並び順）と、多重線を構成するレーンマーカのうち、いずれのレーンマーカが第１レーンマーカ（ＬＬＭまたはＬＲＭ）に対応して、いずれのレーンマーカが第２レーンマーカ（ＬＬＳまたはＬＲＳ）に対応するかが登録されている。なお、レーンマーカが、撮像部１０で撮像した画像Ｉの中で左側に見えるか、右側に見えるかによって、第１レーンマーカ，第２レーンマーカの定義が異なるため、図７に示すように、両方のケースが登録されている。
【００４５】
また、図７には記載しないが、多重線種別データベース９０には、図７に記載した情報の他に、レーンマーカを構成する各線の間隔（オフセットε）や各線の幅等が登録されている。
【００４６】
具体的には、行Ａの多重線は、撮像部１０から見て左側の「白い実線」が１番のレーンマーカであり、撮像部１０から見て右側の「白い実線」が２番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬＬＭであり、２番のレーンマーカが第２レーンマーカＬＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、１番のレーンマーカが第１レーンマーカＬＲＭであり、２番のレーンマーカが第２レーンマーカＬＲＳであることを表している。
【００４７】
また、行Ｂの多重線は、撮像部１０から見て左側の「白い実線」が１番のレーンマーカであり、撮像部１０から見て中央の「白い実線」が２番のレーンマーカであり、撮像部１０から見て右側の「黄色い実線」が３番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬＬＭであり、３番のレーンマーカが第２レーンマーカＬＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、２番のレーンマーカが第１レーンマーカＬＲＭであり、１番のレーンマーカが第２レーンマーカＬＲＳであることを表している。
【００４８】
さらに、行Ｃの多重線は、撮像部１０から見て左側の「白い破線」が１番のレーンマーカであり、撮像部１０から見て中央の「白い実線」が２番のレーンマーカであり、撮像部１０から見て右側の「白い破線」が３番のレーンマーカである。そして、このレーンマーカが画像の中で左側に見えたときは、２番のレーンマーカが第１レーンマーカＬＬＭであり、３番のレーンマーカが第２レーンマーカＬＬＳであることを表している。また、このレーンマーカが画像の中で右側に見えたときは、２番のレーンマーカが第１レーンマーカＬＲＭであり、１番のレーンマーカが第２レーンマーカＬＲＳであることを表している。
【００４９】
次に、実施例１に係る車載レーンマーカ認識装置８の一連の動作の流れについて、図８のフローチャートを用いて説明する。
【００５０】
まず、ステップＳ１０において、前記撮像部１０で撮像された画像Ｉの中に、前記レーンマーカ候補検出部２０、および前記ウインドゥ設定部３０によって、レーンマーカを検出すべき領域が設定される。このレーンマーカ候補検出部２０によって行われる処理領域設定処理の詳細は後述する。
【００５１】
次に、ステップＳ２０において、前記レーンマーカ特徴量検出部４０によって、画像Ｉの中から、レーンマーカを構成すると考えられる特徴量が検出される。このレーンマーカ特徴量検出部４０によって行われる特徴量検出処理の詳細は後述する。
【００５２】
次に、ステップＳ３０において、前記多重線認識部５０によって、前記特徴量抽出処理の結果に基づいて、画像Ｉの中に映っているレーンマーカが多重線であるか否かを判定する多重線判断処理が行われる。この多重線判断処理の詳細は後述する。
【００５３】
ステップＳ３０において、多重線であると判断されると、ステップＳ５０に進み、多重線でないと判断されると、ステップＳ４０に進む。
【００５４】
そして、ステップＳ４０では、多重線認識部５０によって、第１レーンマーカを検出する第１レーンマーカ検出処理が行われる。この第１レーンマーカ検出処理の詳細は後述する。そして、その後、ステップＳ８０に進む。
【００５５】
一方、ステップＳ５０では、多重線認識部５０によって、第１レーンマーカを検出する第１レーンマーカ検出処理が行われる。この第１レーンマーカ検出処理の詳細は後述する。
【００５６】
次に、ステップＳ６０において、多重線認識部５０によって、第１レーンマーカと第２レーンマーカの間にオフセットがあるか否かを判定するオフセット判定処理が行われる。この判定は、多重線認識部５０によって認識された多重線の構成と、多重線種別データベース９０に登録された情報に基づいて行われる。このオフセット判定処理の詳細は後述する。
【００５７】
ステップＳ６０において、オフセット有と判定されると、ステップＳ７０に進み、オフセット無と判定されると、ステップＳ８０に進む。
【００５８】
そして、オフセット有と判定されたときは、ステップＳ７０において、多重線認識部５０によって、第２レーンマーカを検出する第２レーンマーカ検出処理が行われる。この第２レーンマーカ検出処理の詳細は後述する。
【００５９】
次に、ステップＳ８０において、車線逸脱判断部７０によって、車両の逸脱の可能性を判断する車線逸脱可能性判断処理が行われる。そして、車線逸脱の可能性があると判断されたときはステップＳ９０に進み、車線逸脱の可能性がないと判断されたときは、図８の処理を終了する。この車線逸脱可能性判断処理の詳細は後述する。
【００６０】
そして、車線逸脱の可能性があると判断されたときは、ステップＳ９０において、警報出力部８０によって警報を出力して、運転者の注意を喚起する。また、図３の構成図には記載しないが、車両５の制動制御や操舵制御に介入して、車両５の車線逸脱を防止する制御を行ってもよい。
【００６１】
次に、図８の各ステップで行われる処理の詳細について、順に説明する。
【００６２】
（処理領域設定処理）
図９，図１０を用いて、ステップＳ１０で行われる処理領域設定処理について説明する。まず、前記レーンマーカ候補検出部２０によって、図９に示すように、画像Ｉの中の所定の位置に、レーンマーカの特徴量を検出するためのウインドゥが設定される。このウインドゥは、画像Ｉの中で道路が映っている領域のなるべく下部の位置に、画像Ｉの左側と右側にそれぞれ設定する。ここで、左側のウインドゥをＷＬ０、右側のウインドゥをＷＲ０とする。
【００６３】
そして、次に、ウインドゥＷＬ０とウインドゥＷＲ０の内部でレーンマーカ特徴量が検出される。
【００６４】
レーンマーカ特徴量は、ウインドゥＷＬ０の内部に設定した所定の水平ラインｍＬ上を右から左に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算することによって算出する。そして、この差分値が所定値を超える正の値を示す画素（Ｓ１，Ｓ３）と、差分値が負の値を示し、その絶対値が所定値を超える画素（Ｓ２，Ｓ４）を検出する。
【００６５】
次に、ウインドゥＷＲ０の内部に設定した所定の水平ラインｍＲ上を左から右に探索しながら、画像Ｉ（ｘ，ｙ，ｔ）の中の隣接する画素の輝度値の差分値（I（ｘ，ｙ，ｔ）−I（ｘ＋１，ｙ，ｔ））を演算し、差分値が負の値を示し、その絶対値が所定値を超える画素Ｓ５と、差分値が所定値を超える正の値を示す画素Ｓ６を検出する。
【００６６】
こうして検出された画素のうち、隣り合った画素（ウインドゥＷＬ０内の画素Ｓ１と画素Ｓ２、および画素Ｓ３と画素Ｓ４、ウインドゥＷＲ０内の画素Ｓ５と画素Ｓ６）が、多重線を構成する各々のレーンマーカの位置を示す候補となる。
【００６７】
次に、前記多重線幅推定部２２において、ウインドゥＷＬ０内、およびウインドゥＷＲ０内において想定される多重線の幅を推定する。この推定は、先にウインドゥＷＬ０、ウインドゥＷＲ０内で検出されたレーンマーカの位置を示す候補となる画素の最大座標と最小座標の差を演算することによって行う。
【００６８】
すなわち、図９の場合、ウインドゥＷＬ０では、画素Ｓ１と画素Ｓ４の水平方向の座標の差が算出される。また、ウインドゥＷＲ０では、画素Ｓ５と画素Ｓ６の水平方向の座標の差が算出される。
【００６９】
そして、こうして算出された水平方向の画素の位置の差が、ウインドゥＷＬ０、およびウインドゥＷＲ０の内部に存在する多重線の幅であると推定する。
【００７０】
なお、多重線の幅の推定を確実に行うために、ウインドゥＷＬ０の内部、およびウインドゥＷＲ０の内部に、複数の水平ラインｍＬｉ（ｉ＝１，２，…）、およびｍＲｉ（ｉ＝１，２，…）を設定して、複数の水平ラインｍＬｉ、およびｍＲｉで検出したレーンマーカの位置を示す候補となる画素に基づいて、多重線の幅を推定してもよい。
【００７１】
また、異なる時間に撮像された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…からそれぞれ検出された、レーンマーカの位置を示す候補となる画素に基づいて、多重線の幅を推定してもよい。
【００７２】
そして、このとき、多重線種別データベース９０の内容を参照して、検出された特徴点に、多重線を構成する何本目のレーンマーカであるかを示すラベル付けを行う。また、このときに、検出された特徴点の輝度差、ウインドゥＷＬ０内の特徴点の数、時系列で見たときの特徴点の出現頻度等に基づいて、多重線を構成する各々のレーンマーカの種別（実線、破線、白線、黄色線等）の情報を付与することもできる。
【００７３】
次に、前記第１レーンマーカ幅設定部２４において、画像Ｉの中に設定したウインドゥＷＬ０、およびウインドゥＷＲ０における第１レーンマーカの幅を設定する。これは、車両５への撮像部１０の設置レイアウト（高さや俯角）、および、多重線種別データベース９０から読み取った、第１レーンマーカの実際の幅の値に基づいて算出される。
【００７４】
次に、前記ウインドゥ設定部３０において、画像Ｉの中の、レーンマーカが映る領域にウインドゥが設定される。この領域の設定方法について、図１０を用いて説明する。
【００７５】
図１０（ａ）は、多重線の幅推定が実施されない場合に、画像Ｉの内部に設定された領域の例を示し、図１０（ｂ）は、先に説明した多重線の幅推定が行われた後で、画像Ｉの内部に設定された領域の例を示す。
【００７６】
設定する領域は、画像Ｉの左側と右側にそれぞれ設定され、車両５の直近から遠方に亘って延びる長方形状を有する。そして、その横幅は、先に推定した多重線の幅に所定値を加えた値に設定される。これは、前方の道路線形によっては、レーンマーカが屈曲している場合もあるためである。
【００７７】
そして、図１０（ａ）に示すように、多重線の幅推定が実施されないときは、内側のレーンマーカＬＬ２に設定したウインドゥＷＬ’が触れてしまい、この先に行うレーンマーカの検出処理に失敗してしまう可能性があるのに対し、多重線の幅推定がなされると、図１０（ｂ）に示すように、多重線を構成する２本のレーンマーカＬＬ１とＬＬ２が、設定したウインドゥＷＬに包含されることがわかる。
【００７８】
なお、画像Ｉの右側には、レーンマーカが１本しかないため、多重線の幅推定を実施しないで設定した図１０（ａ）のウインドゥＷＲ’、多重線の幅推定を行って設定した図１０（ｂ）のウインドゥＷＲのいずれであっても、レーンマーカＬＲ１を包含するウインドゥが設定される。
【００７９】
（特徴量検出処理）
次に、図１１を用いて、ステップＳ２０で行われる特徴量検出処理について説明する。この特徴量検出処理は、前記レーンマーカ特徴量検出部４０において行われる。
【００８０】
特徴検出は、先に処理領域設定処理の説明の中で説明した通り、画像Ｉの中の隣り合った画素の輝度値の差分に基づいて行う。そして、例えば、図１１（ａ）に示すように、先の処理領域設定処理で設定されたウインドゥの内部で画像Ｉを右から左に探索して、輝度差が所定値以上の画素（特徴点）を全て検出する。なお、この探索は、探索位置の上下方向の座標を複数設定して、複数の位置で行う。そして、図１１（ａ）の例では、検出した画素（特徴点）の位置に、「＋」印を付与している。なお、画像Ｉの右側に設定したウインドゥの内部についても、同様の処理を行う。
【００８１】
なお、この特徴量検出処理を行った後で、多重線種別データベース９０の内容を参照して、検出された特徴点に、多重線を構成する何本目のレーンマーカであるかを示すラベル付けを行うことができる。また、このときに、検出された特徴点の輝度差、ウインドゥＷＬ０内の特徴点の数、時系列で見たときの特徴点の出現頻度等に基づいて、多重線を構成する各々のレーンマーカの種別（実線、破線、白線、黄色線等）の情報を付与することもできる。
【００８２】
なお、図１１（ａ）は特徴量検出のみ行って、特徴点にラベル付けを行わなかったときの結果を示し、図１１（ｂ）は特徴量検出を行った後で、特徴点にラベル付けを行ったときの結果を示す。
【００８３】
図１１（ｂ）からわかるように、特徴量検出を行った後で、レーンマーカ２本から構成される多重線であることを認識してラベル付けを行うことによって、２本のレーンマーカをそれぞれ識別することができ、図１１（ｂ）の例では、外側のレーンマーカＬＬ１から検出された画素（特徴点）の位置に「×」印が付与されて、内側のレーンマーカＬＬ２から検出された画素（特徴点）の位置に「＋」印が付与される。なお、図１１（ａ），（ｂ）に示すように、レーンマーカの位置は、レーンマーカの内側端部を構成する画素の位置（左側のレーンマーカは右端部、右側のレーンマーカは左端部）によって規定されるものとする。
【００８４】
（多重線判断処理）
次に、図１２〜図１４を用いて、ステップＳ３０で行われる多重線判断処理について説明する。この多重線判断処理は、前記多重線認識部５０において行われる。
【００８５】
まず、前記特徴量投票部５１において、先に特徴量検出処理で検出した特徴点の座標を、予め用意したＸＹ平面（前記パラメータ平面）に投票する。
【００８６】
この投票の様子を、図１２を用いて説明する。図１２（ａ）は、画像Ｉの中から特徴点を検出した結果を示す。ここで、図１２（ａ）の中に表示した「＋」印を付与された特徴点は、撮像部１０の設置レイアウト（高さや俯角）が既知であるため、例えば、道路が平面で構成されており、勾配がないと仮定すると、各特徴点の道路上の座標値を推定することができる。
【００８７】
図１２（ｂ）は、図１２（ａ）の左側のレーンマーカＬＬ１，ＬＬ２について、上記の推定を行い、推定結果をＸＹ平面に投票した結果を示す。
【００８８】
図１２（ｂ）からわかるように、道路左側の２本のレーンマーカＬＬ１，ＬＬ２に対応する位置に「＋」印がプロットされる。なお、図１２（ｂ）ではプロットされた様子をわかり易くするために、「＋」印をプロットしているが、実際の処理では、「＋」印をプロットするのではなく、対応するＸＹ平面の値をインクリメントする（投票を行う）。
【００８９】
そして、この投票を、異なる時間に撮影された複数の画像Ｉ（ｔ），Ｉ（ｔ＋Δｔ），…から検出された特徴点に対して順次実施する。なお、このとき、時間Δｔの間の車両５の移動量を、車両情報取得部６０から取得した車速Ｖに基づいて算出し、こうして算出された車両５の移動量の分だけ、ＸＹ平面にインクリメントすべき座標位置を移動させた後で、ＸＹ平面に投票を行う。これにより、ＸＹ平面は、レーンマーカの右端部が存在する位置において、高い値を有する。
【００９０】
なお、図１２は、画像Ｉの中に多重線があることを認識していない例である。したがって、車載レーンマーカ認識装置８は、図１２（ｂ）の中に何本のレーンマーカが存在するかを認識していない。そのため、図１２（ｂ）の中から実際のレーンマーカを検出するのは困難である。
【００９１】
一方、図１３，図１４は、画像Ｉの中に多重線があることを認識できた場合（前記したラベル付けを行った場合）の例である。すなわち、検出された特徴点が、多重線を構成するどのレーンマーカを表しているかがわかっているため、先に説明した手順によってＸＹ平面への投票を行うと、図１３（ｂ），図１４（ｂ）に示すように、多重線を構成する各々のレーンマーカが識別されてＸＹ平面に投票される。そのため、この後説明する第１レーンマーカ検出処理、および第２レーンマーカ検出処理を効率的に実行することができる。
【００９２】
なお、図１３はレーンマーカが２本の実線から構成されている場合の例であり、図１４はレーンマーカが１本の実線と２本の破線から構成されている場合の例である。特に、図１４のように、レーンマーカが破線を含むときは、多重線種別データベース９０の内容を参照して特徴点にラベル付けを行う効果が高く、少ない特徴点を確実に検出することができる。
【００９３】
そして、多重線判定部５２は、ＸＹ平面に投票されたラベルの数に基づいて、ラベルの数が２以上のときは、ＸＹ平面に多重線が投票されたと判定する。
【００９４】
なお、図８のフローチャートには記載しないが、処理領域制御部５３において、この多重線の判定結果に基づいて、ステップＳ１０で設定した処理領域のサイズや位置を見直してもよい。すなわち、ステップＳ１０で推定した多重線の幅（多重線を構成するレーンマーカの数）と、ステップＳ３０で判定した多重線を構成するレーンマーカの数とが異なったときには、ステップＳ３０の判定結果を採用して、処理領域のサイズや位置を見直すことができる。
【００９５】
（第１レーンマーカ検出処理）
次に、図１３，図１４を用いて、ステップＳ４０とステップＳ５０で行われる第１レーンマーカ検出処理について説明する。この第１レーンマーカ検出処理は、前記多重線認識部５０において行われる。
【００９６】
なお、ステップＳ４０において行われる第１レーンマーカ検出処理は、前記ＸＹ平面に投票された１本のレーンマーカの投票結果の中から、その１本のレーンマーカを検出するものである。これは、ステップＳ５０において行われる、前記ＸＹ平面に投票された複数本のレーンマーカの投票結果の中から、第１レーンマーカを検出する処理の特別な場合であるため、以下ではステップＳ５０の処理内容について説明する。
【００９７】
まず、生成されたＸＹ平面の中から、前記候補線抽出部５４において、レーンマーカの候補線を抽出する。この処理は、図１３（ｂ），図１４（ｂ）に示すＸＹ平面の投票結果に対して、直線や曲線の適合処理を行うことによって行われる。このとき、同じラベルが付与された情報同士に１本の直線や曲線が適合される。実際の適合処理は、最小二乗法を用いる方法等、数学的に提案されているいずれの方法によって行っても構わない。
【００９８】
なお、この適合を行うときには、多重線が複数のレーンマーカから構成されている場合、多重線を構成する個々のレーンマーカ同士は互いに平行になっているため、平行な直線や平行な曲線を適合させる等の効率化を図ることができる。
【００９９】
こうして、直線や曲線を適合させることによって、多重線を構成する個々のレーンマーカを検出することができる。
【０１００】
次に、第１レーンマーカ選択部５５において、先に検出された候補線の中から第１レーンマーカを選択する。
【０１０１】
第１レーンマーカは、多重線を構成するレーンマーカのうち、どのレーンマーカに対応するかは、予め多重線種別データベース９０に登録されているため、その情報に基づいて、先に検出した候補線の中から、該当する線を、第１レーンマーカとして選択する。
【０１０２】
なお、図８のフローチャートには記載しないが、第１レーンマーカの検出結果に応じて、前記特徴量検出制御部５６において、前記レーンマーカ候補検出部２０やレーンマーカ特徴量検出部４０において使用される特徴量検出の閾値を制御するようにしてもよい。これは、同じ白線であっても、汚れた白線である場合や、夜間で視認性が低い場合等は、実際の第１レーンマーカの検出結果に応じて、特徴量検出の閾値を変更して、より確実にレーンマーカを検出できるようにするためである。
【０１０３】
（オフセット判定処理）
次に、ステップＳ６０で行われるオフセット判定処理について説明する。オフセット判定処理は、先に検出した第１レーンマーカの検出結果と、多重線種別データベース９０の登録内容に基づいて、前記オフセット推定部７２において行われる。
【０１０４】
オフセット推定部７２は、多重線種別データベース９０の登録内容の中から、先に検出した第１レーンマーカを含む多重線の欄を参照して、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが同一のレーンマーカか否かを判断する。
【０１０５】
このとき、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが同一であったら、オフセットなし（ε＝０）と判定する。
【０１０６】
一方、第１レーンマーカとして定義されたレーンマーカと、第２レーンマーカとして定義されたレーンマーカが異なるときは、オフセットあり（ε≠０）と判定する。
【０１０７】
（第２レーンマーカ検出処理）
次に、ステップＳ７０で行われる第２レーンマーカ検出処理について説明する。前記オフセット判定処理において、オフセットあり（ε≠０）と判定されたときは、前記第２レーンマーカ選択部５７において、第２レーンマーカの選択を行う。
【０１０８】
ここでは、まず、多重線種別データベース９０の登録内容を参照して、第１レーンマーカと第２レーンマーカの相対関係の確認を行う。そして、第１レーンマーカの何本隣が第２レーンマーカであるかを確認する。
【０１０９】
第２レーンマーカ選択部５７は、その確認結果に基づいて、対応する第２レーンマーカを、先に抽出した候補線の中から選択する。
【０１１０】
（車線逸脱可能性判断処理）
次に、図１５，図１６を用いて、ステップＳ８０で行われる車線逸脱可能性判断処理について説明する。車線逸脱可能性判断処理は、前記車線逸脱推定部７４で行われる。
【０１１１】
車線逸脱推定部７４は、まず、前記車両情報取得部６０によって取得した情報に基づいて、車両５のヨー角ρ（図１５，図１６参照）を算出する。また、多重線種別データベース９０の登録内容を参照して、オフセットεの値を取得する。
【０１１２】
次に、車線逸脱推定部７４は、検出された第１レーンマーカの位置に基づいて、車両５と第１レーンマーカの横偏位量δ（図１５，図１６参照）を算出する。横偏位量δは、具体的には、画像Ｉの中から無限遠点である消失点の位置を検出して、こうして検出した消失点を通る、画像Ｉの中で上下方向に延びる直線と、第１レーンマーカの位置とのずれ量に基づいて算出される。
【０１１３】
そして、こうして取得した値に基づいて、（式１）によって車線逸脱予測時間Ｆを算出する。
Ｆ＝（δ−ε）／（Ｖｓｉｎρ）      （式１）
【０１１４】
こうして算出された車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性があるものと判断する。一方、車線逸脱予測時間Ｆが、所定値よりも小さいときには、車線逸脱の可能性がないものと判断する。
【０１１５】
以下、図１５，図１６を用いて、車載レーンマーカ認識装置８の実際の適用例を説明する。
【０１１６】
図１５は、車両５が、左側に白い実線からなるレーンマーカＬＲ３，白い実線からなるレーンマーカＬＲ２，黄色い実線からなるレーンマーカＬＲ１で構成された多重線を有し、右側に白い実線ＬＬ１からなるレーンマーカを有する車線を走行中の様子を示す（撮像部１０で撮像された画像Ｉの中では、左右の位置、および順番が逆転する）。
【０１１７】
そして、左側の多重線の中で、レーンマーカＬＲ２が第１レーンマーカＬＲＭ、レーンマーカＬＲ１が第２レーンマーカＬＲＳに定義されており、右側のレーンマーカの中でレーンマーカＬＬ１が第１レーンマーカＬＬＭ、および第２レーンマーカＬＬＳに定義されている。
【０１１８】
すなわち、図１５の場合、多重線を構成する黄色線（レーンマーカＬＲ１）は路面とのコントラストが低く、画像処理によって検出しにくい場合があるため、多重線を構成する最も内側の白い実線であるレーンマーカＬＲ２が第１レーンマーカＬＬＭに選択される。
【０１１９】
そして、車線逸脱警報は、車両５に最も近いレーンマーカの位置に基づいて出力すべきであるため、黄色線（レーンマーカＬＲ１）が第２レーンマーカＬＬＳに選択される。
【０１２０】
車両５に設置された撮像部１０は、図１５に示す撮像範囲Ｔ１の領域を撮像して画像Ｉを取得し、画像Ｉの中から先に説明した画像処理によって、第１レーンマーカＬＲＭ，第２レーンマーカＬＲＳ、そして第１レーンマーカＬＬＭ（第２レーンマーカＬＬＳ）を検出する。
【０１２１】
こうして検出された第１レーンマーカＬＲＭの位置に基づいて、車両５と第１レーンマーカＬＲＭの横偏位量δを算出し、第１レーンマーカＬＲＭと第２レーンマーカＬＲＳのオフセットε、車速Ｖ，ヨー角ρを用いて、車線逸脱予測時間Ｆを算出して、車線逸脱予測時間Ｆが所定値よりも小さいときに、警報が出力される。
【０１２２】
このように、レーンマーカが多重線で構成されているときに、画像処理によって認識するレーンマーカ（第１レーンマーカ（認識基準線））と、車線逸脱を判断するレーンマーカ（第２レーンマーカ（警報基準線））を異なるレーンマーカとすることによって、多重線が黄色線を含む場合であっても、レーンマーカの位置を確実に検出することができる。
【０１２３】
また、図１６は、車両５が、左側に白い実線からなるレーンマーカＬＲ１からなるレーンマーカを有し、右側に白い破線からなるレーンマーカＬＬ３，白い実線からなるレーンマーカＬＬ２，白い破線からなるレーンマーカＬＬ１で構成された多重線を有する車線を走行中の様子を示す（撮像部１０で撮像された画像Ｉの中では、左右の位置、および順番が逆転する）。
【０１２４】
そして、左側のレーンマーカの中で、レーンマーカＬＲ１が第１レーンマーカＬＲＭ、および第２レーンマーカＬＲＳに定義されており、右側の多重線の中でレーンマーカＬＬ２が第１レーンマーカＬＬＭ、レーンマーカＬＬ３が第２レーンマーカＬＬＳに定義されている。
【０１２５】
すなわち、図１６の場合、多重線を構成する破線（レーンマーカＬＬ３）は途中で途切れているため、画像処理によって検出しにくく、認識結果が安定しない場合があるため、多重線を構成する最も内側の白い実線であるレーンマーカＬＬ２が第１レーンマーカＬＬＭに選択される。
【０１２６】
そして、車線逸脱警報は、車両５に最も近いレーンマーカの位置に基づいて出力すべきであるため、破線（レーンマーカＬＬ３）が第２レーンマーカＬＬＳに選択される。
【０１２７】
車両５に設置された撮像部１０は、図１６に示す撮像範囲Ｔ２の領域を撮像して画像Ｉを取得し、画像Ｉの中から先に説明した画像処理によって、第１レーンマーカＬＬＭ，第２レーンマーカＬＬＳ、そして第１レーンマーカＬＲＭ（第２レーンマーカＬＲＳ）を検出する。
【０１２８】
こうして検出された第１レーンマーカＬＬＭの位置に基づいて、車両５と第１レーンマーカＬＬＭの横偏位量δを算出し、第１レーンマーカＬＬＭと第２レーンマーカＬＬＳのオフセットε、車速Ｖ，ヨー角ρを用いて、車線逸脱予測時間Ｆを算出して、車線逸脱予測時間Ｆが所定値よりも小さいときに、警報が出力される。
【０１２９】
このように、レーンマーカが多重線で構成されているときに、画像処理によって認識するレーンマーカ（第１レーンマーカ（認識基準線））と、車線逸脱を判断するレーンマーカ（第２レーンマーカ（警報基準線））を異なるレーンマーカとすることによって、多重線が破線を含む場合であっても、レーンマーカの位置を確実に検出することができる。
【０１３０】
なお、図１６は直線路の場合で説明したが、図１６のレーンマーカの構成を有する左カーブの場合には、車両の進路がカーブの外側に膨らむことによって右側のレーンマーカに近づくため、車線逸脱警報が出力されやすくなる。したがって、このような場合には、外側の破線であるレーンマーカＬＬ１を第２レーンマーカＬＬＳとしてもよい。このように、道路状況に応じて、第１レーンマーカや第２レーンマーカの位置を変更することによって、より一層、運転状況に合った車線逸脱警報を実現することができる。
【０１３１】
以上、本発明に係る車載レーンマーカ認識装置の動作について説明したが、第１レーンマーカ、第２レーンマーカの検出方法は、上記した方法に限定されるものではない。
【０１３２】
すなわち、上記説明では、ＸＹ平面への投票結果から、レーンマーカの候補線を全て検出して、その後、レーンマーカの候補線の中から第１レーンマーカを選択し、次に第２レーンマーカを選択したが、これは、ＸＹ平面の中から第１レーンマーカのみを検出して、第１レーンマーカの検出結果と、多重線種別データベース９０から読み取った、第１レーンマーカから第２レーンマーカまでのオフセットεと、そのオフセットの方向に基づいて、ＸＹ平面の中から第２レーンマーカを検出するようにしてもよい。この検出方法によると、全てのレーンマーカ候補を抽出する必要がないため、処理時間の短縮を図ることができる。
【０１３３】
さらに、ＸＹ平面の中から第１レーンマーカのみを検出して、第１レーンマーカの検出結果と多重線種別データベース９０の登録内容の中から、第１レーンマーカから第２レーンマーカまでのオフセットεと、そのオフセットの方向を読み取って、画像Ｉの中の第１レーンマーカが検出された位置を、オフセットに相当する量だけオフセットの方向に対応する方向に移動させることによって、第２レーンマーカの出現位置を推定し、こうして推定された第２レーンマーカの出現位置に基づいて車線逸脱判断を行うようにしてもよい。この検出方法によると、実際に検出を行うのは第１レーンマーカのみでよいため、より一層の処理時間の短縮を図ることができる。
【０１３４】
以上説明したように、このように構成された本発明の車載レーンマーカ認識装置８によれば、撮像部１０によって撮像された画像Ｉの中の所定の領域の中から、レーンマーカ候補検出部２０が、左右のレーンマーカの候補を検出して、多重線であると認識したときに、ウインドゥ設定部３０が、レーンマーカ候補検出部２０の検出結果に基づいて、撮像部１０で撮像された画像の中の、レーンマーカが映ると考えられる位置にウインドゥを設定して、レーンマーカ特徴量検出部４０が、ウインドゥ設定部３０で設定されたウインドゥの中で、レーンマーカらしさを表すレーンマーカ特徴量を検出して、多重線認識部５０（レーンマーカ検出部）が、レーンマーカ特徴量検出部で検出されたレーンマーカ特徴量に基づいて、所定の第１レーンマーカを検出して、こうして検出された所定の第１レーンマーカの検出結果に基づいて、撮像部１０によって撮像された画像Ｉの中から、所定の第２レーンマーカを検出し、車線逸脱判断部７０が、第２レーンマーカの検出結果に基づいて、車両５が、走行中の車線から逸脱する可能性を判断して、車線から逸脱する可能性があるときに、警報出力部８０が警報を出力するため、レーンマーカが多重線で構成されているときであっても、最初に、認識しやすい第１レーンマーカ（ＬＬＭまたはＬＲＭ）を検出して、この第１レーンマーカの位置に基づいて、車線逸脱判断を行う第２レーンマーカ（ＬＬＳまたはＬＲＳ）を検出するため、車線逸脱判断に必要な第２レーンマーカが低コントラストで見えにくい状態にあった場合でも、認識しやすい第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を確実に認識することができるため、これによって、誤警報や不警報の発生を防止することができる。
【０１３５】
また、本発明の車載レーンマーカ認識装置８によれば、レーンマーカ候補検出部２０が、レーンマーカが複数の線で構成される多重線であると認識したときには、多重線認識部５０（レーンマーカ検出部）は、多重線の中から所定の第１レーンマーカを検出して、所定の第１レーンマーカの検出結果に基づいて、第２レーンマーカの位置を推定し、車線逸脱判断部７０は、第２レーンマーカの位置の推定結果に基づいて、車両５が走行中の車線Ｙ２から逸脱する可能性を判断するため、第１のレーンマーカのみを検出することによって車線逸脱判断を行うことができ、これによって処理時間の短縮を図ることができる。
【０１３６】
また、本発明の車載レーンマーカ認識装置８によれば、多重線を構成する複数の線の線種と色と並び順、および、多重線を構成する複数の線のうち、いずれの線が第１レーンマーカ（ＬＬＭまたはＬＲＭ）に対応して、いずれの線が第２レーンマーカ（ＬＬＳまたはＬＲＳ）に対応するか、が登録された多重線種別データベースを有するため、レーンマーカが多重線で構成されているときに、多重線を構成するレーンマーカを個別に認識することができるため、これによって、画像処理で検出する第１レーンマーカと、車線逸脱警報を出力する際の判断基準となる第２レーンマーカを、別のレーンマーカとして設定することができる。
【０１３７】
また、本発明の車載レーンマーカ認識装置８によれば、ウインドゥ設定部３０は、レーンマーカ候補検出部２０が検出した多重線を全て包含するように画像Ｉの中にウインドゥＷＲ，ＷＲを設定するため、多重線を構成するレーンマーカの本数が増加した場合であっても、多重線を構成するレーンマーカの位置を確実に検出することができる。
【０１３８】
また、本発明の車載レーンマーカ認識装置８によれば、レーンマーカ特徴量検出部４０は、多重線を構成する線毎にレーンマーカ特徴量を検出するため、画像処理で検出する第１レーンマーカと、車線逸脱警報を出力する際の判断基準となる第２レーンマーカを、別のレーンマーカとして設定することができる。
【０１３９】
また、本発明の車載レーンマーカ認識装置８によれば、多重線は、異なる線種を含む複数の線、もしくは同一線種で構成された複数の線としたため、様々な形態の多重線に対して、多重線を構成する個々のレーンマーカの位置を確実に検出することができる。
【０１４０】
また、本発明の車載レーンマーカ認識装置８によれば、多重線が実線と破線を含むときには、第１レーンマーカ（ＬＬＭまたはＬＲＭ）を実線として、第２レーンマーカＬＬＳまたはＬＲＳ）を破線とするため、画像処理によって第１レーンマーカを確実に検出して、第２レーンマーカによって車線逸脱を適切なタイミングで確実に判断することができる。
【０１４１】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【符号の説明】
【０１４２】
８    車載レーンマーカ認識装置
１０  撮像部
２０  レーンマーカ候補検出部
３０  ウインドゥ設定部
４０  レーンマーカ特徴量検出部
５０  多重線認識部（レーンマーカ検出部）
６０  車両情報取得部
７０  車線逸脱判断部
８０  警報出力部
９０  多重線種別データベース
【図１】
2014026519.tif 000003
【図２】
2014026519.tif 000004
【図３】
2014026519.tif 000005
【図４】
2014026519.tif 000006
【図５】
2014026519.tif 000007
【図６】
2014026519.tif 000008
【図７】
2014026519.tif 000009
【図８】
2014026519.tif 000010
【図９】
2014026519.tif 000011
【図１０】
2014026519.tif 000012
【図１１】
2014026519.tif 000013
【図１２】
2014026519.tif 000014
【図１３】
2014026519.tif 000015
【図１４】
2014026519.tif 000016
【図１５】
2014026519.tif 000017
【図１６】
2014026519.tif 000018