(57)【特許請求の範囲】
【請求項１】
車両周辺を撮影する複数のカメラ（３）により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する生成手段（１３、Ｓ２）と、
前記生成手段により生成された前記鳥瞰画像からエッジを検出し、該エッジに基づいて路面の標示物を検出する標示物検出手段（１６、Ｓ７）と、を備え、
前記標示物検出手段は、２つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分（４１ａ、４２ａ）それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において前記標示物の検出を行うものであり、
前記割り当て範囲は、前記重複部分のうち、前記標示物検出手段により検出されるエッジに基づく前記標示物の検出しやすさの度合を示すパラメータが所定の閾値以上である部分から設定される
ことを特徴とする走行路面標示検知装置（７）。
【請求項２】
車両周辺を撮影する複数のカメラ（３）により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する生成手段（１３、Ｓ２）と、
前記生成手段により生成された前記鳥瞰画像から路面の標示物を検出する標示物検出手段（１６、Ｓ７）と、
前記撮影画像における同一の部分に継続して発生する、前記カメラのレンズの汚れによるノイズである固定ノイズを検知するノイズ検知手段（１６、Ｓ３）と、を備え、
前記標示物検出手段は、２つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分（４１ａ、４２ａ）それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において前記標示物の検出を行うものであり、
前記割り当て範囲は、前記重複部分のうち前記ノイズ検知手段により前記固定ノイズが検知されていない部分の中から設定される
ことを特徴とする走行路面標示検知装置（７）。
【請求項３】
前記標示物検出手段は、前記鳥瞰画像からエッジを検出して該エッジに基づいて前記標示物を検出するものであり、
前記重複部分のうち、他の前記鳥瞰画像における前記重複部分と比較して、前記標示物検出手段により検出されるエッジの前記標示物の検出しやすさの度合を示すパラメータが大きい部分を含む範囲を、前記割り当て範囲として設定する範囲設定手段（１５）を備える
ことを特徴とする請求項２に記載の走行路面標示検知装置。
【請求項４】
前記重複部分の一部または全部を占める第１領域であって、前記撮影画像における前記第１領域と対応する部分の解像度である元解像度が、他の前記鳥瞰画像における前記第１領域と撮影範囲が重複する第２領域の前記元解像度よりも大きい前記第１領域を含むように、前記割り当て範囲が設定される
ことを特徴とする請求項１から請求項３のいずれか１項に記載の走行路面標示検知装置。
【請求項５】
前記重複部分それぞれの前記元解像度に基づいて、前記割り当て範囲を設定する範囲設定手段（１５、Ｓ６）を備える
ことを特徴とする請求項４に記載の走行路面標示検知装置。
【請求項６】
前記カメラの搭載位置を検知する位置検知手段（１２、Ｓ４）と、
前記位置検知手段により検知された前記搭載位置に基づいて、前記重複部分の前記元解像度を算出する算出手段（１４、Ｓ５）と、を備え、
前記範囲設定手段は、前記算出手段により算出された前記元解像度に基づいて前記重複部分の前記割り当て範囲を設定する
ことを特徴とする請求項５に記載の走行路面標示検知装置。
【請求項７】
車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法であって、
前記複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ（Ｓ２）と、
前記画像生成ステップにおいて生成された前記鳥瞰画像からエッジを検出し、該エッジに基づいて前記標示物が検出される標示物検出ステップ（Ｓ７）と、を備え、
前記標示物検出ステップでは、２つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から前記標示物の検出が行われ、
前記割り当て範囲は、前記重複部分のうち、前記標示物検出ステップにおいて検出されるエッジに基づく前記標示物の検出しやすさの度合を示すパラメータが所定の閾値以上である部分から設定される
ことを特徴とする走行路面標示検知方法。
【請求項８】
車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法であって、
前記複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ（Ｓ２）と、
前記画像生成ステップにおいて生成された前記鳥瞰画像から前記標示物が検出される標示物検出ステップ（Ｓ７）と、
前記撮影画像における同一の部分に継続して発生する、前記カメラのレンズの汚れによるノイズである固定ノイズを検知するノイズ検知ステップ（Ｓ３）と、を備え、
前記標示物検出ステップでは、２つ以上の前記鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から前記標示物の検出が行われ、
前記割り当て範囲は、前記重複部分のうち前記ノイズ検知ステップにおいて前記固定ノイズが検知されていない部分の中から設定される
ことを特徴とする走行路面標示検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺を撮影するカメラにより撮影された撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置に関する。
【背景技術】
【０００２】
従来、車両に搭載されたカメラを用いて、白線等の区画線や道路鋲などの路面の標示物を検出するシステムが提案されている。車両と標示物の位置関係を計算するために、複数のカメラにて撮影した画像を鳥瞰画像に変換する場合がある（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２４５８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両周囲の標示物の検出漏れを抑制するためには車両の周囲を複数のカメラで隙間無く撮影することが好ましい。そのため、撮影範囲に隙間が生じないように複数のカメラはその撮影範囲の一部が重複するように配置することが考えられる。
【０００５】
上述したようにカメラを配置すると、撮影された撮影画像、およびその撮影画像から変換された鳥瞰画像にも重複する部分が生じる。重複する部分には同じ路面が撮影されているが、重複する部分すべてに対して標示物を検出するための画像処理を行うと処理装置の負荷が大きくなってしまう虞がある。
【０００６】
本発明の目的は、路面の標示物の検出負荷を低減できる走行路面標示検知装置および走行路面標示検知方法を提供することである。
【課題を解決するための手段】
【０００７】
上述した問題を解決するためになされた本開示の第１の態様は、生成手段（１３、Ｓ２）および標示物検出手段（１６、Ｓ７）を備える走行路面標示検知装置（７）である。
生成手段は、車両周辺を撮影する複数のカメラ（３）により撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像に基づいて、所定の仮想視点から見た鳥瞰画像を生成する。標示物検出手段は、生成手段により生成された鳥瞰画像から路面の標示物を検出する。
【０００８】
そして標示物検出手段は、２つ以上の鳥瞰画像における撮影範囲が互いに重複する部分である重複部分（４１ａ、４２ａ）それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲において標示物の検出を行う。
【０００９】
このように構成された走行路面標示検知装置は、複数の鳥瞰画像の重複部分では割り当て範囲において標示物の検出を行うため、割り当て範囲以外の部分は標示物の検出処理を行う必要がなく、画像処理による検出負荷を低減することができる。
【００１０】
上記割り当て範囲の設定方法は特に限定されない。例えば、重複部分の一部または全部を占める第１領域であって、撮影画像における上記第１領域と対応する部分の解像度である元解像度が、他の鳥瞰画像における上記第１領域と撮影範囲が重複する第２領域の元解像度よりも大きい上記第１領域を含むように、割り当て範囲が設定されていてもよい。
【００１１】
車両に取り付けられたカメラにより撮影される路面は、カメラからの距離が近いほど大きく、即ち大きな解像度で撮影される。よって撮影画像を鳥瞰画像に変換すると、路面におけるカメラからの距離が遠く、解像度が小さい部分の画像ほど拡大度合が大きくなる。大きく拡大された部分は画像がぼけてしまうので、標示物の検知の精度が低下する虞がある。
【００１２】
しかしながら、上述したように重複部分の元の撮影画像における解像度である元解像度に基づいて割り当て範囲を設定することで、拡大度合がより小さく検知対象がぼけていない鳥瞰画像に基づいて標示物を検出することができ、標示物の検出精度の低下を抑制することができる。
【００１３】
また、上述した問題を解決するためになされた本開示の第２の態様は、車両周辺を撮影する複数のカメラにより撮影された少なくとも撮影範囲の一部が重複しない複数の撮影画像を画像処理することにより路面の標示物を検知する走行路面標示検知装置で用いられる走行路面標示検知方法に関する。
【００１４】
この走行路面標示検知方法では、複数の撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像が生成される画像生成ステップ（Ｓ２）と、画像生成ステップにおいて生成された鳥瞰画像から標示物が検出される標示物検出ステップ（Ｓ７）と、を備え、その標示物検出ステップでは、２つ以上の鳥瞰画像における撮影範囲が互いに重複する部分である重複部分それぞれについては、該重複部分それぞれに対して割り当てられた割り当て範囲から標示物の検出が行われることを特徴とする。
【００１５】
このような走行路面標示検知方法を走行路面標示検知装置にて用いることで、第１の態様として記載の走行路面標示検知装置と同様の作用および効果を奏することができる。
なお、この欄および特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【００１６】
また、本発明は、前述した走行路面標示検知装置および走行路面標示検知方法の他、当該走行路面標示検知装置を構成要素とするシステム、当該走行路面標示検知方法をコンピュータに実行させるためのプログラム、当該プログラムが記録された記録媒体など、種々の形態で実現することができる。
【図面の簡単な説明】
【００１７】
【図１】標示物認識システムの構成を説明するブロック図である。
【図２】車線逸脱警告処理の処理手順を説明するフローチャートである。
【図３】車両周辺の撮影画像を鳥瞰画像に変換した画像の例である。
【図４】鳥瞰画像における重複部分の一部を拡大した拡大図である。
【図５】割り当て範囲の設定方法の一例を説明する図である。
【図６】割り当て範囲の設定において不適部分の取り扱いを説明する図である。
【図７】割り当て範囲の設定方法の一例を説明する図である。
【発明を実施するための形態】
【００１８】
以下に本発明の実施形態を図面と共に説明する。
［実施例］
（１）標示物認識システム１の構成
標示物認識システム１は自動車等の車両に搭載されて用いられるシステムであって、図１に示すように、複数の車載カメラ３と、表示手段５と、走行路面標示検知装置７と、を備えている。
【００１９】
本標示物認識システム１は、車道中央線または車道外側線などの白線を検出し、走行する車両が車線を逸脱すると予測された場合に警告表示を行う。なお本実施例では路面の標示物の一例として白線を対象とする構成を例示するが、白線以外の区画線や道路鋲などを検出するように構成することができる。
【００２０】
車載カメラ３は、車両周辺を撮影する撮影装置であって、例えば公知のＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることができる。車載カメラ３は車両の前方、後方、左方、および右方に配置され、それぞれ車両の前方斜め下、後方斜め下、左方斜め下、右方斜め下を撮影する。各車載カメラ３は、所定の時間間隔（一例として１／１５ｓ）で車両周辺を撮影し、撮影した撮影画像を走行路面標示検知装置７に出力する。
【００２１】
車載カメラ３の撮影範囲は、一部が他の車載カメラ３の撮影範囲と重複し、その一部を除く他の部分は他の車載カメラ３の撮影範囲と重複しないように配置されている。
表示手段５は、画像を表示する液晶ディスプレイであって、走行路面標示検知装置７から入力される信号に従って画像を表示する。本実施例では、走行中の車両が走行車線から逸脱すると予測されたときに警告画面を表示する。
【００２２】
走行路面標示検知装置７は、車載カメラ３にて撮影された撮影画像を取得し、画像処理して白線を検出すると共に、車両が走行車線を逸脱するか否かを予測する。
この走行路面標示検知装置７は、図示しないＣＰＵと、ＣＰＵが実行するプログラム等を記憶するＲＯＭと、ＣＰＵによるプログラム実行時に作業領域として使用されるＲＡＭと、電気的にデータを書き換え可能なフラッシュメモリやＥＥＰＲＯＭ等の不揮発性メモリとしてのＮＶＲＡＭなどを備えるコンピュータシステムとして構成されており、プログラムの実行により所定の処理を実行する。
【００２３】
この走行路面標示検知装置７は、車両に搭載されるＥＣＵや各種センサからの走行情報９を入力する。走行情報９としては、シフトレンジ、車速、ステアリングまたはヨーレートなどの情報が挙げられる。
【００２４】
またこの走行路面標示検知装置７は、車両運動計算部１１、カメラ搭載パラメータ補正部１２、視点変換部１３、解像度分布計算部１４、画像範囲選択処理部１５、画像検知処理部１６、標示認識結果統合判定部１７、として機能する。
【００２５】
カメラ搭載パラメータ補正部１２は、車載カメラ３の搭載位置を示すカメラ搭載パラメータ１２ａとして、各車載カメラ３の撮影範囲を特定可能な情報を記憶している。具体的には、車両を基準とした各車載カメラ３の位置情報（３次元座標）および撮影方向（ピッチ、ロール、ヨー、の角度）の情報を記憶している。
【００２６】
（２）走行路面標示検知装置７による処理
走行路面標示検知装置７により実行される車線逸脱警告処理について、図２に示すフローチャートに基づいて説明する。本処理は、一例として車両の走行が開始されたとき（車速が所定の閾値を超えたとき）に開始され、所定の時間間隔で繰り返し実行される。
【００２７】
Ｓ１では、車載カメラ３それぞれにて撮影した撮影画像を取得する。
Ｓ２では、取得した撮影画像を鳥瞰画像に変換する。この処理は、上述した視点変換部１３により実現される。
【００２８】
視点変換部１３は、車載カメラ３それぞれから撮影画像を取得し、取得した撮影画像それぞれに基づいて、所定の仮想視点から見た複数の鳥瞰画像を生成する。本実施例における仮想視点は車両の真上であって、カメラ搭載位置を示すカメラ搭載パラメータ１２ａに応じた所定の変換式を用いて路面を鉛直に俯瞰した鳥瞰画像を生成する。鳥瞰画像の生成方法は公知であるが、例えば特開平１０−２１１８４９号に記載された手法を用いることができる。この視点変換部１３が、本発明における生成手段の一例である。
【００２９】
図３に示す鳥瞰画像２１、２２、２３、２４がそれぞれ車両の前方、後方、左方、右方を示す鳥瞰画像であって、同一のタイミングで各車載カメラ３により撮影された撮影画像に基づく鳥瞰画像である。各鳥瞰画像における撮影範囲が互いに重複する部分である重複部分には、車両周囲の同一の路面が写される。
【００３０】
なお確認のために記載すると、図３の各鳥瞰画像は車両を中心とした撮影方向に合せて並べただけのものであって、実際の位置に合せて合成したものではない。
続くＳ３では、汚れなどの固定ノイズ、およびエッジ適性値を検出する。この処理は、上述した画像検知処理部１６により実現される。
【００３１】
画像検知処理部１６は、（ａ）固定ノイズ検知、（ｂ）エッジ適性値計算、（ｃ）白線検出、の３つの処理を実行する。Ｓ３では上記（ａ）、（ｂ）を実行するため、ここではそれらの処理について説明する。
【００３２】
（ａ）固定ノイズ検知
画像検知処理部１６は、撮影画像に基づいて、車載カメラ３のレンズ汚れ等の同一の部分に継続して発生する固定ノイズを検出する。汚れ等の固定ノイズ検知の方法は公知であるが、一例として、特開２００３−２５９３５８号公報に記載の手法を用いることができる。この固定ノイズ検出は鳥瞰画像に基づいて行ってもよい。画像検知処理部１６が、本発明におけるノイズ検知手段の一例である。
【００３３】
（ｂ）エッジ適性値計算
画像検知処理部１６は、各鳥瞰画像からエッジを検出し、検出されたエッジについて、白線の検出しやすさの度合を示すパラメータ（以降、単にエッジ適性値とも記載する）を算出する。このパラメータは、エッジ強度、エッジ数、およびエッジ角度から求まるパラメータである。
【００３４】
エッジの強度とは、白線と路面とのコントラスト（輝度差）であり、コントラストが大きいほどエッジ適性値は大きくなる。エッジ数とは検出されるエッジの数であり、この数が大きいほどエッジ適性値は大きくなる。またエッジ角度とはエッジの並ぶ方向であり、車両の進行方向や過去に検出された白線の方向を考慮して、適切な角度にエッジが並んでいるほどエッジ適性値は大きくなる。
【００３５】
つまりエッジ適性値が高い部分とは、白線の検出に不適となる問題、例えば白飛びがある、過度に暗い、不適切なエッジが多数検出される、といった問題が少ない、白線検出に適した部分である。
【００３６】
続くＳ４では、カメラ搭載パラメータ１２ａの正確さを確認し、誤差があれば補正を行う。この処理は、上述したカメラ搭載パラメータ補正部１２により実現される。
カメラ搭載パラメータ補正部１２は、撮影画像に基づいて、車載カメラ３の現在の位置情報および現在の撮影方向の情報を推定する。推定されたカメラ搭載パラメータと、記憶されているカメラ搭載パラメータ１２ａと、を比較し、所定の閾値以上相違していれば、新たに推定されたパラメータをカメラ搭載パラメータ１２ａとして更新する。
【００３７】
このカメラ搭載パラメータ補正部１２が、本発明における位置検知手段の一例である。
続くＳ５では、カメラ搭載位置に基づいて解像度分布を計算する。この処理は、上述した解像度分布計算部１４により実現される。
【００３８】
解像度分布計算部１４は、カメラ搭載パラメータ１２ａを用いて解像度分布を算出する。解像度分布とは、鳥瞰画像の各画素の元解像度を示す情報である。ここで言う元解像度とは、視点変換部１３による変換前の撮影画像（以降、単に元の撮影画像ともいう）における、変換後の鳥瞰画像の１つの画素に対応する部分の、１ピクセル当りの路面の実際の距離を示すパラメータである。
【００３９】
なお、上記パラメータは元解像度として利用できるパラメータの一例に過ぎず、例えば路面の単位長さ（例えば１ｃｍ）当りの撮影画像のピクセル数を元解像度として用いることもできる。また元解像度は、画素ごとでなく、一定の画素の集合ごとに算出しても良い。解像度分布は、後述する重複部分においてのみ算出しても良い。
【００４０】
撮影画像において、車載カメラ３から相対的に近い路面は、車載カメラ３から相対的に遠い路面に比べて１ピクセルあたりの路面距離が短くなる。鳥瞰画像に変換すると車載カメラ３から相対的に近い路面ほど相対的な拡大度合が小さく、遠い路面ほど相対的な拡大度合が大きくなる。拡大度合が小さいほど画面が精細になる。
【００４１】
図４に、図３の鳥瞰画像２２、２３において、同一の撮影範囲が示される部分２２ａ、２３ａを拡大した拡大画像を示す。鳥瞰画像２３の上記部分２３ａは元解像度が相対的に小さいため拡大の度合が大きく、白線３１とその周囲の路面部分３３との境界が曖昧になっている。一方鳥瞰画像２２の上記部分２２ａは、元解像度が相対的に大きい拡大の度合が小さく、白線３１と路面部分３３との境界が比較的明確になっている。
【００４２】
白線検出を行う際には画像処理によりエッジを検出するが、白線と路面との境界が明確である場合、例えば白線と路面との輝度の差が大きい場合に、エッジを高い精度で検出することができる。よって、同一の路面を撮影した画像であっても、より元解像度が大きい画像を用いることでエッジを良好に検出することができる。
【００４３】
上述した解像度分布計算部１４が、本発明における算出手段の一例である。
続くＳ６では、車載カメラ３それぞれに対応する鳥瞰画像ごとの画像処理範囲を決定する。鳥瞰画像における画像処理範囲は、他の鳥瞰画像と撮影範囲が重複しない部分と、他の鳥瞰画像と撮影範囲が重複する重複部分のうち画像範囲選択処理部１５により割り当て範囲として設定される部分と、を合せた範囲である。
【００４４】
画像範囲選択処理部１５は、上記２つの鳥瞰画像の重複部分それぞれに対して割り当て範囲を設定する。
図５を用いて具体的な割り当て範囲の設定方法を説明する。鳥瞰画像４１、４２はそれぞれ異なる車載カメラ３にて撮影された撮影画像を鳥瞰画像に変換したものである。鳥瞰画像４１、４２において互いに重複する部分をそれぞれ重複部分４１ａ、４２ａとする。これらは同一の大きさであるため画素の配置が等しくなっており、同じ位置の画素は同じ撮影範囲に対応する。
【００４５】
重複部分４１ａ、４２ａの各画素は、解像度分布計算部１４によってそれぞれ元解像度が求められている。重複部分４１ａのうち、重複部分４２ａよりも対応する画素の元解像度が大きい部分が、割り当て範囲４１ｂとして設定される。一方、重複部分４２ａのうち重複部分４１ａよりも元解像度が大きい部分が、割り当て範囲４２ｂとして設定される。
【００４６】
但し、Ｓ３において固定ノイズが検知された部分、およびＳ３において算出されたエッジ適性値が所定の閾値より小さい部分（以降、これらいずれかの部分を単に不適部分とも記載する）は、割り当て範囲の対象から除外される。即ち、固定ノイズが検知されていない部分でありエッジ適性値が所定の閾値以上である部分から割り当て範囲が設定される。
【００４７】
図６に示すように、重複部分４１ａにおいて不適部分４１ｃが存在する場合、その不適部分４１ｃは割り当て範囲４１ｂとして設定されず、その部分は重複部分４２ａにおいて元解像度に関わらず割り当て範囲４２ｂとして設定される。
【００４８】
なお、元解像度を複数の画素の集合ごとに算出した場合には、その元解像度に基づいて割り当て範囲を設定してもよい。
また、複数の重複部分の元解像度の比較結果に基づいて厳密に割り当て範囲を設定せずに、図７に示すように、元解像度の比較結果に基づいて定められる境界線４３を境界として割り当て範囲を設定してもよい。この境界線４３は、一方の重複部分における他方の重複部分よりも元解像度の大きい部分（画素）が、その一方の重複部分の割り当て範囲に含まれるように設定される。
【００４９】
なお図７のように重複部分を設定する際には、一方の重複部分における他方の重複部分よりも元解像度の大きい部分が、一方の重複部分における割り当て範囲の主たる部分を占めるように設定するとよい。また、一方の重複部分における他方の重複部分よりも元解像度の大きい部分が、一方の重複部分の割り当て範囲において所定の割合以上含まれるように設定してもよい。
【００５０】
なお重複部分４１ａ、４２ａで同一の元解像度の部分が生じた場合は、その部分については重複部分４１ａ、４２ａのいずれかの割り当て範囲に含めることができる。
上述した画像範囲選択処理部１５が、本発明における範囲設定手段の一例である。また、重複部分４１ａにおいて重複部分４２ａよりも元解像度の大きい画素または画素の集合が、重複部分４１ａを基準としたときの本発明における第１領域の一例であり、重複部分４２ａにおける重複部分４１ａよりも元解像度の小さい画素または画素の集合が本発明における第２領域の一例である。
【００５１】
続くＳ７では、鳥瞰画像ごとにＳ６にて定めた画像処理範囲において白線検出処理を行う。この処理は、上述した画像検知処理部１６により実現される（ｃ）の処理である。
（ｃ）白線検出
画像検知処理部１６は、各鳥瞰画像からエッジを抽出し、白線検出を行う。具体的な方法は公知であるため説明を割愛する。各鳥瞰画像における撮影範囲が互いに重複する重複部分それぞれにおいては、割り当て範囲として設定された部分において白線検出を行う。
【００５２】
白線検出を行う場合には、過去に撮影された撮影画像に基づいて検出されたエッジも利用する。車両運動計算部１１は、走行情報９に基づいて車両の移動パラメータ（進行方向および速度）を算出するする。この算出された移動パラメータを利用して、時間の経過による車両を基準としたエッジの移動先を推定する。
【００５３】
上記画像検知処理部１６が、本発明における標示物検出手段の一例である。
続くＳ８では、Ｓ７にて白線検出処理を行った結果を統合し、車両を基準とした白線の位置を判定する。この処理は、上述した標示認識結果統合判定部１７により実現される。
【００５４】
標示認識結果統合判定部１７は、画像検知処理部１６により各鳥瞰画像それぞれにおいて検出された白線の情報に基づいて、車両を基準とした白線の位置を判定する。具体的には、各鳥瞰画像から検出された白線の尤度、他の鳥瞰画像から検出された白線との一致および相違の度合、および上記Ｓ７と同様に過去に算出した白線の情報などを考慮して、現在の白線の位置を判定する。白線の尤度は、例えばエッジ適性値を用いることができる。
【００５５】
続くＳ９では、Ｓ８により判定された白線の位置と、車両運動計算部１１により算出された車両の移動パラメータと、に基づいて、所定の時間内に車両が車線を逸脱する（白線を交差して通過する）か否かを判定する車線逸脱判定を行い、車線を逸脱すると判定された場合には、運転者に危険を示すための警告画面を表示手段５に表示させる。この処理もＳ８と同様に、上述した標示認識結果統合判定部１７により実現される。
【００５６】
（３）効果
本実施例の標示物認識システム１では、複数の鳥瞰画像が重複する重複部分では割り当て範囲において白線の検出を行う。各重複部分の割り当て範囲同士は互いに重複しないため、同一の撮影範囲に対して重複して白線の検出を行うことを抑制でき、画像処理による検出負荷を低減することができる。
【００５７】
また、割り当て範囲を重複部分の元の撮影画像における解像度である元解像度に基づいて設定しているため、複数の重複部分のうち、拡大度合が小さく検知対象がぼけていない方の画像に基づいて白線を検出することができ、白線の検出精度の低下を抑制することができる。
【００５８】
また、車載カメラ３の搭載位置を検知して、検知された搭載位置に基づいて重複部分の元解像度を算出し、割り当て範囲を設定することから、車載カメラ３を車両に固定する固定具の経年劣化や車両の走行に伴う路面角度の変化に基づいて、割り当て範囲を適切に変化させることができ、白線の検出精度の低下を抑制することができる。
【００５９】
また、重複部分における汚れ等の固定ノイズがある部分やエッジ適性値が低い部分を割り当て範囲から除外して白線を検出するため、これによっても白線の検出精度の低下を抑制することができる。
【００６０】
［変形例］
以上本発明の実施例について説明したが、本発明は、上記実施例に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の形態をとり得ることはいうまでもない。
【００６１】
例えば上記実施例においては、重複部分の元解像度に基づいて割り当て範囲を設定するにあたり、固定ノイズが検知された部分およびエッジ適性値が低い部分を割り当て範囲から除外する構成を例示したが、いずれか一方のみ考慮する構成であってもよいし、いずれも考慮せず元解像度のみに基づいて割り当て範囲を設定する構成であってもよい。
【００６２】
また、画像範囲選択処理部１５が、元解像度を考慮せず、エッジ適性値に基づいて割り当て範囲を設定する構成としてもよい。例えば、重複部分のうち、同一の撮影範囲を示す他の重複部分と比較してエッジ適性値が大きい部分を含む範囲を、割り当て範囲として設定することが考えられる。
【００６３】
また上記実施例においては、カメラ搭載パラメータ１２ａを随時更新して、そのカメラ搭載パラメータ１２ａに基づき適切な割り当て範囲を算出する構成を例示したが、割り当て範囲は変化せず一定とする構成であってもよい。
【００６４】
また上記実施例においては、鳥瞰画像ごとに白線を検出する構成を例示したが、白線を検出する前に各鳥瞰画像を一枚の画像に合成し、その合成した鳥瞰画像から白線を検出するように構成してもよい。一枚の画像に合成する際には、重複部分については割り当て範囲を合成に用いるように構成するとよい。
【００６５】
また上記実施例においては、割り当て範囲は複数の重複部分で重複しないように設定される構成を例示したが、一部が重複する構成であってもよい。
【符号の説明】
【００６６】
１…標示物認識システム、３…車載カメラ、７…走行路面標示検知装置、１２…カメラ搭載パラメータ補正部、１３…視点変換部、１４…解像度分布計算部、１５…画像範囲選択処理部、１６…画像検知処理部
【図１】
0006032141.tif 000002
【図２】
0006032141.tif 000003
【図５】
0006032141.tif 000004
【図６】
0006032141.tif 000005
【図７】
0006032141.tif 000006
【図３】
0006032141.tif 000007
【図４】
0006032141.tif 000008