(57)【要約】【課題】路面標示の誤検出を抑制しつつ、処理の高速化を図る。【解決手段】車載画像処理装置において、演算処理部４は、特徴量抽出部４０２、特徴量補正部４０３、特徴量グループ化部４０４、線抽出部４０５および路面標示認識部４０６を備える。特徴量抽出部４０２は、カメラの撮影画像に基づいて、車両の走行面に描かれた標示線の線幅に応じた特徴量を抽出する。特徴量補正部４０３は、カメラの設置状態に基づいて各特徴量を補正する。特徴量グループ化部４０４は、補正された各特徴量をグループ化する。線抽出部４０５は、グループ化された各特徴量に基づいて、車両の走行面に描かれた標示線を抽出する。路面標示認識部４０６は、抽出された標示線に基づいて路面標示を認識し、その認識結果を出力する。【選択図】図４
2014106739.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮影して撮影画像を取得する撮影装置と、
前記撮影装置の設置状態を検出する設置状態検出部と、
前記撮影画像に基づいて、前記車両の走行面に描かれた標示線の線幅に応じた特徴量を所定間隔ごとに抽出する特徴量抽出部と、
前記設置状態検出部により検出された撮影装置の設置状態に基づいて、前記特徴量抽出部により抽出された各特徴量を補正する特徴量補正部と、
前記特徴量補正部により補正された各特徴量をグループ化する特徴量グループ化部と、
前記特徴量グループ化部によりグループ化された各特徴量に基づいて、前記標示線を抽出する線抽出部と、
前記線抽出部により抽出された標示線に基づいて路面標示を認識し、その認識結果を出力する路面標示認識部と、を備えることを特徴とする車載画像処理装置。
【請求項２】
請求項１に記載の車載画像処理装置において、
前記特徴量グループ化部は、前記特徴量補正部により補正された各特徴量のうち、所定の対象線幅の範囲内に属する各特徴量のみをグループ化することを特徴とする車載画像処理装置。
【請求項３】
請求項２に記載の車載画像処理装置において、
前記対象線幅は、路面標示に対応する第１の対象線幅と、横断歩道に対応する第２の対象線幅とを含み、
前記特徴量グループ化部は、前記第１の対象線幅の範囲内に属する各特徴量と、前記第２の対象線幅の範囲内に属する各特徴量とを、それぞれ別々にグループ化することを特徴とする車載画像処理装置。
【請求項４】
請求項１乃至３のいずれか一項に記載の車載画像処理装置において、
前記設置状態検出部は、前記撮影装置の設置状態として、前記車両の走行面に対する前記撮影装置の位置および姿勢を検出することを特徴とする車載画像処理装置。
【請求項５】
請求項１乃至３のいずれか一項に記載の車載画像処理装置において、
前記撮影装置を複数有しており、
前記複数の撮影装置により取得された各撮影画像に基づいて俯瞰画像を合成する画像合成部をさらに備え、
前記特徴量抽出部は、前記俯瞰画像から前記特徴量を抽出することを特徴とする車載画像処理装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の車載画像処理装置において、
前記路面標示認識部は、前記路面標示として駐車枠線を認識することを特徴とする車載画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、車両走行環境における路面標示を認識する装置に関する。
【背景技術】
【０００２】
従来、車両に搭載され、カメラにより撮影して得られた画像から駐車枠線を認識することで車両の駐車を支援する装置が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１２８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された装置では、画像における輝度変化点（エッジ）を特徴点として抽出し、この特徴点の点列を直線近似した輪郭線において、２つの互いに平行なペアの輪郭線を駐車枠線として検出している。したがって、車両が道路を走行しているときには、たとえば車道中央線や車線境界線などの駐車枠線以外の線を駐車枠線として誤検出してしまう可能性がある。また、たとえば画像中に多数の線や複雑な形状の線が存在するなど、輪郭線を求めるための処理負荷が過大となるような状況では、所定の処理時間内に処理が間に合わない可能性もある。
【課題を解決するための手段】
【０００５】
本発明による車載画像処理装置は、車両の周囲を撮影して撮影画像を取得する撮影装置と、撮影装置の設置状態を検出する設置状態検出部と、撮影画像に基づいて、車両の走行面に描かれた標示線の線幅に応じた特徴量を所定間隔ごとに抽出する特徴量抽出部と、設置状態検出部により検出された撮影装置の設置状態に基づいて、特徴量抽出部により抽出された各特徴量を補正する特徴量補正部と、特徴量補正部により補正された各特徴量をグループ化する特徴量グループ化部と、特徴量グループ化部によりグループ化された各特徴量に基づいて、標示線を抽出する線抽出部と、線抽出部により抽出された標示線に基づいて路面標示を認識し、その認識結果を出力する路面標示認識部と、を備える。
【発明の効果】
【０００６】
本発明によれば、路面標示の誤検出を抑制しつつ、処理の高速化を図ることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施形態による車載画像処理装置の構成を示すブロック図である。
【図２】俯瞰画像と車両前方の撮影画像を合わせた表示画像の例を示す図である。
【図３】様々な路面標示の例を示す図である。
【図４】演算処理の制御ブロック図である。
【図５】特徴量の抽出とグループ化の具体例を示す図である。
【図６】抽出された各特徴量の具体例を示す図である。
【図７】車載画像処理装置において実行される処理のフローチャートである。
【図８】特徴量抽出処理のフローチャートである。
【図９】特徴量グループ化処理のフローチャートである。
【図１０】線抽出処理のフローチャートである。
【発明を実施するための形態】
【０００８】
図１は、本発明の一実施形態による車載画像処理装置１００の構成を示すブロック図である。図１に示す車載画像処理装置１００は、車両に搭載されて使用されるものであり、カメラ１ａ、１ｂ、１ｃおよび１ｄと、画像合成部２と、設置状態検出部３と、演算処理部４と、出力部５と、を備える。
【０００９】
カメラ１ａ〜１ｄは、車両の周囲をそれぞれ異なる撮影範囲で撮影する電子式カメラであり、車両のボディ、バンパー、ドアミラー等の各部に設置されている。これらの各カメラの撮影範囲は、合わせて車両の全周囲をカバーできるように定められている。本実施形態では、カメラ１ａは車両前方の撮影範囲を、カメラ１ｂは車両左側方の撮影範囲を、カメラ１ｃは車両右側方の撮影範囲を、カメラ１ｄは車両後方の撮影範囲をそれぞれ撮影するものとして説明する。カメラ１ａ〜１ｄにより所定のフレームレート間隔でそれぞれ取得された撮影画像は、画像合成部２へ出力される。
【００１０】
なお、本実施形態では、４つのカメラ１ａ〜１ｄが上記のような各撮影範囲をそれぞれ撮影するものとして説明するが、車両に搭載されるカメラの個数および撮影範囲はこれに限定されない。また、各カメラを合わせた撮影範囲は、必ずしも車両の全周囲をカバーしていなくてもよい。車両の周囲を適切な範囲で撮影できれば、任意の個数のカメラを用いて、任意の撮影範囲について撮影画像を取得することができる。
【００１１】
画像合成部２は、カメラ１ａ〜１ｄにより取得された各撮影画像に基づいて、車両の全周囲を俯瞰した様子を示す俯瞰画像（アラウンドビュー画像）を合成する。この俯瞰画像は、カメラ１ａ〜１ｄの各撮影画像をその撮影方向に応じて座標変換した上で繋ぎ合わせることによって合成されるものである。このとき必要に応じて、レンズ歪み補正や輝度変換処理を行ってもよい。輝度変換処理としては、たとえば、周囲の照明環境や対象物の経年変化に応じたコントラストの補正や、レンズ周辺で光量が低下して暗くなる周辺減光減少に応じた明度の補正などを行うことができる。さらに、伝送路上で重畳されたノイズを低減するためのノイズ低減処理等を行ってもよい。画像合成部２により合成された俯瞰画像は、演算処理部４へ出力される。
【００１２】
設置状態検出部３は、カメラ１ａ〜１ｄの設置状態を検出し、その検出結果を演算処理部４へ出力する。たとえば、車両の各車輪に対応するサスペンションの伸縮量や、水平面に対する車両とカメラ１ａ〜１ｄの傾き具合、カメラ１ａ〜１ｄの車両への取り付け誤差などを検出することで、車両の走行面に対するカメラ１ａ〜１ｄの位置や姿勢を検出し、その検出結果からカメラ１ａ〜１ｄの設置状態を求めることができる。ここで、カメラ１ａ〜１ｄの車両への取り付け誤差は、たとえば、各カメラの撮影範囲内において車両表面の一部分に取り付け誤差検出用のマークをそれぞれ付しておき、このマークの撮影画面内での位置ずれを求めることにより検出できる。なお、カメラ１ａ〜１ｄの設置状態を検出することができれば、他の方法を用いてもよい。
【００１３】
演算処理部４は、画像合成部２により合成された俯瞰画像と、設置状態検出部３により検出されたカメラ１ａ〜１ｄの設置状態とに基づいて、所定の演算処理を行うことにより、車両周囲の路面標示を認識する。この演算処理部４が行う演算処理の内容については、後で詳しく説明する。演算処理部４による路面標示の認識結果は、出力部５へ出力される。
【００１４】
出力部５は、演算処理部４による路面標示の認識結果に基づいて、車両周囲の路面標示に対する路面標示情報を出力する。たとえば、車両に対する路面標示の方向や路面標示までの距離を示す情報を路面標示情報として出力する。この路面標示情報は、車載画像処理装置１００と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。
【００１５】
たとえば、出力部５は、車両に対する駐車枠の方向や駐車枠までの距離を示す情報を駐車枠情報として出力する。この駐車枠情報は、車載用駐車枠認識装置と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、周囲に駐車場が存在する状況であることを自動で認識し、例えば、駐車場環境である場合には、モニタに自車周囲の俯瞰映像を自動で切り替えて表示することができる。これにより、公道において駐車場であると誤検知する状況を抑制し、適切なタイミングでユーザへの提示映像を切り替えることができるようになる。
【００１６】
また、出力部５は、駐車枠の左右枠線の端点座標、駐車枠線の角度および切片といった、実環境中における駐車枠の位置情報を出力する。この駐車枠情報は、車載用駐車枠認識装置と接続されている上位の車両制御装置（不図示）へと出力され、車両の駐車支援や走行制御等に利用される。たとえば、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、ドライバーにブレーキやシフトポジション変更のタイミングや、舵角の操作量を通知することによって、駐車支援を行うことが可能となる。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、短時間で駐車動作が完了できるようになる。
【００１７】
さらには、自車から駐車枠までの相対的な位置姿勢に基づいて、駐車枠までの走行経路を計算し、自動で車両の前進・後退・旋回の制御量を計算し、その計算結果に従って車両運動を自動制御してもよい。これにより、車庫入れ等の運転操作に不慣れなドライバーにとっても、安全かつ正確に駐車動作を完了できるようになる。
【００１８】
図２は、画像合成部２により合成された俯瞰画像とカメラ１ａにより撮影された車両前方の撮影画像を合わせた表示画像の例を示す図である。図２において、左側の画像２１は俯瞰画像を示し、右側の画像２２は車両前方の撮影画像を示している。
【００１９】
俯瞰画像２１は、車両の前方、左側方、右側方および後方にそれぞれ対応する４つの画像領域２１ａ、２１ｂ、２１ｃおよび２１ｄにより構成されている。これらの画像領域の各画像は、図１のカメラ１ａ〜１ｄによってそれぞれ撮影された画像に基づいて作成されたものである。画像領域２１ａ内には、路面標示２３の一部が表示されている。この路面標示２３は、撮影画像２２にも表示されている。
【００２０】
以上説明したような画像は、たとえば車両内に設置された不図示の表示モニタにおいて表示される。なお、撮影画像２２として表示される画像は、車両の進行方向に応じて切り替えられることが好ましい。たとえば、車両のシフトレバーを前進方向に切り替えたときには、車両が前進していると判断して、カメラ１ａにより撮影された車両前方の撮影画像を表示する。一方、車両のシフトレバーを後退方向に切り替えたときには、車両が後退していると判断して、カメラ１ｄにより撮影された車両後方の撮影画像を表示する。このようにすれば、車両の進行方向に応じた適切な撮影画像を車両の運転者に提示し、駐車時などの運転操作支援を行うことができる。
【００２１】
図３は、様々な路面標示の例を示す図である。図３（ａ）の駐車枠線は、車両２台分の駐車枠に対して、それぞれの左右の境界線のみを駐車枠線として描いた例を示している。図３（ｂ）の駐車枠線は、図３（ａ）の駐車枠線に加えて、さらに前後いずれか一方の境界線を駐車枠線として描いた例を示している。図３（ｃ）の駐車枠線は、図３（ａ）の駐車枠線に加えて、さらに前後両方の境界線を駐車枠線として描いた例を示している。図３（ｄ）の駐車枠線は、図３（ａ）の駐車枠線を斜めに描いた例を示している。
【００２２】
図３（ｅ）の駐車枠線は、車両１台分の駐車枠に対して、左右の境界線をＵ字状の駐車枠線により描いた例を示している。図３（ｆ）の駐車枠線は、図３（ｅ）の駐車枠線に加えて、さらに前後いずれか一方の境界線を駐車枠線として描いた例を示している。図３（ｇ）の駐車枠線は、図３（ｅ）のような駐車枠線を車両２台分の駐車枠線に対して斜めに描いた例を示している。
【００２３】
次に、演算処理部４が行う演算処理の内容について説明する。図４は、演算処理部４が行う演算処理の制御ブロック図である。図４に示すように、演算処理部４は、エッジ探索方向決定部４０１、特徴量抽出部４０２、特徴量補正部４０３、特徴量グループ化部４０４、線抽出部４０５および路面標示認識部４０６の各制御ブロックを機能的に有する。演算処理部４では、たとえば、これらの各制御ブロックに対応してメモリに記録されているプログラムをマイクロコンピュータで実行することにより、図４の各制御ブロックを実現している。
【００２４】
エッジ探索方向決定部４０１は、特徴量抽出部４０２において画像合成部２により合成された俯瞰画像から特徴量を抽出する際のエッジ探索方向を決定する。後述のように、特徴量抽出部４０２では、画像合成部２により合成された俯瞰画像に対してエッジ探索を行うことにより、車両の走行面における標示線の線幅に応じた特徴量を抽出する。このときのエッジ探索方向は、標示線に対して直交方向であることが好ましい。ここで、演算処理部４の処理サイクルが十分に短いと、車両が駐車場を低速で走行している場合には、前回の処理サイクルで発見した標示線の角度が大きく変わることはないと考えられる。そのため、エッジ探索方向決定部４０１は、こうした条件を利用して、特徴量を抽出する標示線に対する直交方向を決定することが可能である。具体的には、前回の処理サイクルで発見された標示線の俯瞰画像内での位置と角度を記録しておき、これを今回の処理サイクルにおいて利用することで、標示線に対する直交方向を求めてエッジ探索方向を決定することができる。また、不図示のカーナビゲーションシステムにおいて用いられる地図データに記録されている駐車場情報から駐車枠線の向きを取得すると共に、ＧＰＳや地磁気センサから車両の方向を取得することで、俯瞰画像中で探索すべき標示線の直交方向を算出し、その方向に基づいてエッジ探索方向を決定してもよい。
【００２５】
画像合成部２により合成された俯瞰画像は、演算処理部４において特徴量抽出部４０２に入力される。特徴量抽出部４０２は、入力された俯瞰画像をエッジ探索方向決定部４０１により決定されたエッジ探索方向にエッジ探索することで、車両の走行面に描かれた標示線の線幅に応じた特徴量を抽出する。具体的には、俯瞰画像をエッジ探索方向に所定間隔で走査し、所定の閾値を超える一対の輝度変化点（エッジ）が見つかったら、それらを特徴点として抽出し、両特徴点間の距離、すなわちエッジ間距離を特徴量として記録する。このようにすることで、標示線の線幅に応じた各特徴量を所定間隔ごとに抽出することができる。ここで、俯瞰画像においては、路面標示の太さは一定であることが期待できるため、路面標示に対して一定の特徴量を抽出することができる。なお、エッジ探索方向の探索範囲中にエッジの組み合わせが複数見つかった場合は、それらのエッジ間距離を全て特徴量として記憶しておくことが好ましい。この場合、後述する特徴量グループ化部４０４において、路面標示の認識に用いる特徴量を確定することができる。
【００２６】
なお、特徴量抽出部４０２により特徴量が抽出される標示線には、道路上に描かれた各種の道路標示線（車道中央線、車線境界線、車道外側線、横断歩道等）や、駐車場に描かれた駐車枠線などが含まれる。特徴量抽出部４０２により抽出された特徴量の情報は、特徴量補正部４０３へ出力される。
【００２７】
設置状態検出部３により検出されたカメラ１ａ〜１ｄの設置状態は、演算処理部４において特徴量補正部４０３に入力される。特徴量補正部４０３は、入力されたカメラ１ａ〜１ｄの設置状態に基づいて、特徴量抽出部４０２により抽出された各特徴量を補正する。ここで、カメラ１ａ〜１ｄの位置や姿勢が本来の状態からずれていると、そのずれに応じて撮影範囲が変化する。そのため、取得された撮影画像から画像合成部２において俯瞰画像を合成すると、カメラ１ａ〜１ｄの位置や姿勢のずれに応じて俯瞰画像が歪んでしまう。こうした俯瞰画像の歪みは、車両からの距離が離れるほど大きくなる。その結果、標示線の線幅が本来のものから変化してしまい、特徴量抽出部４０２において特徴量を正しく抽出できなくなってしまう。
【００２８】
そこで、本発明に係る車載画像処理装置１００では、特徴量補正部４０３により、カメラ１ａ〜１ｄの設置状態の検出結果から、俯瞰画像における歪みの大きさを抽出された各特徴量について予測し、その分に応じた補正を各特徴量に対して行う。このとき、各特徴量に対応する輝度変換点の俯瞰画像上での位置に応じて、各特徴量に対する補正量を調節することが好ましい。特徴量補正部４０３により補正された各特徴量の情報は、特徴量グループ化部４０４へ出力される。
【００２９】
特徴量グループ化部４０４は、特徴量補正部４０３により補正された各特徴量を、それぞれの類似性や、各特徴点の俯瞰画像上での位置の連続性などに応じてグループ化する。たとえば、対応する特徴点の位置が俯瞰画像上で互いに隣接しており、かつ互いの差分が所定範囲内である特徴量同士をまとめて、同一グループに分類する。なお、特徴量グループ化部４０４により行われる特徴量のグループ化の詳細については、後で図５を参照して詳しく説明する。特徴量グループ化部４０４によりグループ化された各特徴量の情報は、線抽出部４０５へ出力される。
【００３０】
線抽出部４０５は、特徴量グループ化部４０４によりグループ化された各特徴量に基づいて、車両の走行面に描かれた標示線を抽出する。ここでは、同一グループの各特徴量に対応する特徴点同士を一つの標示線として抽出し、さらに他のグループとの間で所定の条件を満たすものがある場合は、当該グループについても一つの標示線として抽出する。これにより、前述のような様々な標示線が俯瞰画像から抽出される。線抽出部４０５による線抽出結果は、路面標示認識部４０６へ出力される。
【００３１】
路面標示認識部４０６は、線抽出部４０５による標示線抽出結果に基づいて、各標示線が路面標示であるか否かをそれぞれ判定し、路面標示であれば、それに対応する路面標示の認識結果を図１の出力部５へ出力する。このとき、車両が駐車場内を走行中であるか否かを判定し、車両が駐車場内を走行中であると判定した場合にのみ、各標示線が路面標示であるか否かを判断することが好ましい。車両が駐車場内を走行中であるか否かの判定は、たとえば、車両の挙動を示す車速、操舵角等の情報や、ナビゲーション装置からの現在位置情報および地図情報などを利用することができる。さらに、カメラ１ａ〜１ｄの各撮影画像や合成された俯瞰画像に基づいて、駐車場や道路において特徴的な標示線や構造物等を検出することで、車両が駐車場内を走行中であるか否かの判定を行ってもよい。
【００３２】
次に、特徴量抽出部４０２が行う特徴量の抽出および特徴量グループ化部４０４が行う特徴量のグループ化の詳細について説明する。図５は、特徴量の抽出とグループ化の具体例を示す図である。ここでは、図５（ａ）に示すような標示線（路面ペイント）について特徴量を抽出し、グループ化する際の具体例を説明する。
【００３３】
図５（ａ）のような路面ペイントについて特徴量を抽出する場合、特徴量抽出部４０２は、エッジ探索方向決定部４０１により設定されたエッジ探索方向に従って、図５（ｂ）に点線で示したようなサンプリング直線を所定の画素間隔（サンプリング間隔）ごとに設定する。そして、設定したサンプリング直線に沿って俯瞰画像を順次走査していき、輝度の立ち上がりおよび立ち下がりを一組の特徴点（エッジ）としてそれぞれ検出して、これらの間の距離、すなわち線幅を特徴量として抽出する。その結果、各サンプリング直線に対して、たとえば図５（ｃ）に示したような特徴量が抽出される。なお、図５（ｃ）では、各特徴量の大きさを、元の路面ペイントの各部位に対応する短冊状図形の横幅により模式的に示している。このように、特徴量抽出部４０２では俯瞰画像を利用することで、レンズ歪みの影響を考慮せずに直線でサンプリングすることができる。
【００３４】
上記のようにして抽出された各特徴量は、特徴量補正部４０３により補正される。特徴量グループ化部４０４は、この補正後の各特徴量を、その類似性や連続性などを考慮して図５（ｄ）のようにグループ化する。なお、図５（ｄ）では、同一グループに含まれる各特徴量を破線で囲って示している。
【００３５】
ここで、特徴量の類似性の判定条件として、たとえば同一性条件と単調性条件とを用いることができる。同一性条件とは、比較する２つの特徴量の差の絶対値が所定の第一の閾値範囲内に収まることである。一方、単調性条件とは、３つ以上の特徴量を比較する場合に、その位置関係順に各特徴量が単調に増加または減少しており、その増加量または減少量が第二の閾値範囲内に収まっていることである。なお、この第二の閾値は、上記の第一の閾値よりも大きくすることが好ましい。
【００３６】
図６は、特徴量抽出部４０２により抽出された各特徴量の具体例を示す図である。図６（ａ）は、図５（ｃ）に例示した各特徴量の一部を拡大し、実空間上における所定の基準点との間の位置関係を示している。なお、図６（ａ）では左側の端点を基準点としているが、他の位置の点、たとえば右側の端点や左右端点の中点を基準点としても構わない。
【００３７】
図６（ｂ）は、図６（ａ）に示した各特徴量と基準点との位置関係に基づいてグループ化を行った結果の一覧表を示している。この一覧表には、各特徴量について、その世界座標すなわち実空間上の位置と、その大きさを示すエッジ間距離と、グループ化によりどのグループに分類されたかを示すグループ番号とが記録されている。
【００３８】
図６（ｂ）の世界座標は、俯瞰画像が示す車両の走行面上の座標系で表されている。すなわち、車両の走行方向（奥行き方向）に沿って第一座標軸を、車両の走行方向を横切る方向に沿って第二座標軸をそれぞれ設定し、これらの座標軸によって定義される座標平面上の座標値を、各特徴量の世界座標としている。なお、図６（ａ）において、第一座標軸は図の上方向を正方向とする座標軸であり、第二座標軸は図の右方向を正方向とする座標軸である。また、これらの座標軸の単位系はメートルである。
【００３９】
図７は、車載画像処理装置１００において実行される処理のフローチャートである。ステップＳ１０では、設置状態検出部３により、カメラ１ａ〜１ｄの設置状態を検出し、その検出結果を演算処理部４へ出力する。
【００４０】
ステップＳ２０では、カメラ１ａ〜１ｄにより撮影画像をそれぞれ取得し、画像合成部２へ出力する。続くステップＳ３０では、画像合成部２により俯瞰画像を生成し、演算処理部４へ出力する。
【００４１】
ステップＳ４０において、演算処理部４は、エッジ探索方向決定部４０１により、前述のような方法でエッジ探索方向を決定する。
【００４２】
ステップＳ５０において、演算処理部４は、特徴量抽出部４０２により、特徴量抽出処理を行う。ここでは、後で説明する図８のフローチャートに従って特徴量抽出処理を実行することにより、ステップＳ２０で生成された俯瞰画像から特徴量を抽出する。
【００４３】
ステップＳ６０において、演算処理部４は、特徴量補正部４０３により、ステップＳ５０で抽出した各特徴量を補正する。ここでは、ステップＳ１０で検出したカメラ１ａ〜１ｄの設置状態に基づいて各特徴量の補正量を決定し、その補正量に応じて各特徴量を補正する。これにより、カメラ１ａ〜１ｄの位置や姿勢のずれによって生じる俯瞰画像の歪みに応じた各特徴量の誤差を補正する。
【００４４】
ステップＳ７０において、演算処理部４は、特徴量グループ化部４０４により、特徴量グループ化処理を行う。ここでは、後で説明する図９のフローチャートに従って特徴量グループ化処理を実行することにより、ステップＳ６０で補正された各特徴量をグループ化する。
【００４５】
ステップＳ８０において、演算処理部４は、線抽出部４０５により、線抽出処理を行う。ここでは、後で説明する図１０のフローチャートに従って線抽出処理を実行することにより、ステップＳ７０でグループ化された各特徴量に基づいて、車両の走行面に描かれた標示線を抽出する。
【００４６】
ステップＳ９０において、演算処理部４は、路面標示認識部４０６により、路面標示の認識を行う。ここでは、ステップＳ８０で抽出された各標示線が路面標示であるか否かをそれぞれ判定し、路面標示であれば、それに対応する路面標示の位置等を認識して出力部５へ出力する。
【００４７】
ステップＳ１００では、出力部５により、ステップＳ９０で演算処理部４から出力された路面標示の認識結果に基づく路面標示情報を出力する。なお、ステップＳ９０において車両が駐車場ではなく道路上を走行していると判定された場合や、路面標示を認識できなかった場合は、その旨を示す情報を路面標示情報として出力することが好ましい。ステップＳ１００を実行したら、図７のフローチャートに示す処理を終了する。
【００４８】
続いて、ステップＳ５０の特徴量抽出処理について説明する。図８は、特徴量抽出処理のフローチャートである。
【００４９】
ステップＳ５１において、特徴量抽出部４０２は、図７のステップＳ２０で画像合成部２により合成された俯瞰画像に対して、エッジ探索を行うサンプリングラインを設定する。ここでは、図７のステップＳ４０で決定されたエッジ探索方向に応じて、所定間隔ごとにサンプリングラインを設定する。
【００５０】
以下のステップＳ５２〜Ｓ５５の処理は、ステップＳ５１で設定された各サンプリングラインの始点から終点までの間に位置する俯瞰画像の各画素を処理対象として順次選択して行われる。ステップＳ５２において、特徴量抽出部４０２は、選択中の画素における立ち上がり輝度差分が所定の閾値以上であるか否かを判定する。その結果、閾値未満であれば次の画素を処理対象として選択し、閾値以上であれば、その画素を輝度立ち上がり点として検出してステップＳ５３へ進む。たとえば、当該画素の輝度よりも、当該画素とエッジ探索方向に隣接する画素の輝度の方が高く、さらにこれらの輝度差が所定の閾値以上である場合に、当該画素を輝度立ち上がり点として検出することができる。
【００５１】
以下のステップＳ５３〜Ｓ５５の処理は、ステップＳ５２で検出した輝度立ち上がり点から後述のステップＳ５３またはＳ５４で検出される輝度立ち下がり点までの間に位置する俯瞰画像の各画素を処理対象として順次選択して行われる。ステップＳ５３において、特徴量抽出部４０２は、選択中の画素における立ち下がり輝度差分が所定の閾値以上であるか否かを判定する。その結果、閾値未満であればステップＳ５４へ進み、閾値以上であれば、その画素を輝度立ち下がり点として検出してステップＳ５５へ進む。たとえば、当該画素の輝度よりも、当該画素とエッジ探索方向に隣接する画素の輝度が低く、さらにこれらの輝度差が所定の閾値以上である場合に、当該画素を輝度立ち下がり点として検出することができる。
【００５２】
ステップＳ５４において、特徴量抽出部４０２は、選択中の画素がサンプリングラインの終点に到達したか否かを判定する。その結果、終点に到達していなければ次の画素へと進み、到達していた場合は、その画素を輝度立ち下がり点として検出してステップＳ５５へ進む。
【００５３】
ステップＳ５５において、特徴量抽出部４０２は、ステップＳ５２で検出した輝度立ち上がり点と、ステップＳ５３またはＳ５４で検出した輝度立ち下がり点との間の距離から、特徴量としてのエッジ間隔を算出する。
【００５４】
ステップＳ５６において、特徴量抽出部４０２は、ステップＳ５５で算出した各サンプリングラインのエッジ間隔、すなわち特徴量の情報を、特徴点情報として不図示のメモリに記録する。ステップＳ５６を実行したら、特徴量抽出処理を完了し、図７のステップＳ６０へ進む。
【００５５】
次に、ステップＳ７０の特徴量グループ化処理について説明する。図９は、特徴量グループ化処理のフローチャートである。
【００５６】
ステップＳ７１において、特徴量グループ化部４０４は、グループ番号を初期化する。
【００５７】
以下のステップＳ７２〜Ｓ７６の処理は、図７のステップＳ６０で特徴量補正部４０３により特徴量を補正された全ての特徴点に対して、各特徴点を処理対象として順次選択して行われる。ステップＳ７２において、特徴量グループ化部４０４は、選択中の特徴点における補正後の特徴量の大きさが所定範囲内であるか否かを判定する。その結果、所定範囲外であれば次の特徴点を処理対象として選択し、所定範囲内であれば、その特徴点を処理対象として選択してステップＳ７３へ進む。
【００５８】
上記の処理により、特徴量グループ化部４０４は、特徴量補正部４０３により補正された各特徴量のうち、所定の対象線幅の範囲内にないものは除外して、対象線幅の範囲内に属する各特徴量のみをグループ化することができる。なお、対象線幅には、抽出対象とする標示線の種類に応じて任意の値を設定することができる。たとえば、駐車枠線に対応する第１の対象線幅として１０〜２０ｃｍ、横断歩道に対応する第２の対象線幅として５０〜７０ｃｍをそれぞれ設定した場合、以降のステップＳ７３〜Ｓ７６の処理では、これらの対象線幅の範囲内にある特徴量のみをグループ化の対象として、それぞれ別々にグループ化することができる。
【００５９】
ステップＳ７３において、特徴量グループ化部４０４は、選択中の特徴点の近傍に、既にグループ番号を付与済みである特徴点が存在するか否かを判定する。こうした特徴点が近傍に存在すればステップＳ７４へ進み、存在しなければステップＳ７５へ進む。
【００６０】
ステップＳ７４において、特徴量グループ化部４０４は、選択中の特徴点における補正後の特徴量と、ステップＳ７４で判定した近傍特徴点における特徴量とが類似しているか否かを判定する。これらの特徴量の差が小さければ、類似していると判定してステップＳ７６へ進み、差が大きければ、類似していないと判定してステップＳ７５へ進む。
【００６１】
ステップＳ７５において、特徴量グループ化部４０４は、選択中の特徴点に対して新規のグループ番号を付与する。これにより、当該特徴点を、これまでにグループ化済みの各特徴点とは別のグループに分類する。
【００６２】
ステップＳ７６において、特徴量グループ化部４０４は、選択中の特徴点を、ステップＳ７４で特徴量が類似していると判定した近傍特徴点と同一のグループに登録して、これらに同じグループ番号を付与する。これにより、当該特徴点を既に分類済みのグループのいずれかに加える。
【００６３】
ステップＳ７７において、特徴量グループ化部４０４は、各特徴点に付与されたグループ番号の情報をグループ情報として不図示のメモリに記録する。ステップＳ７７を実行したら、特徴量グループ化処理を完了し、図７のステップＳ８０へ進む。
【００６４】
次に、ステップＳ８０の線抽出処理について説明する。図１０は、線抽出処理のフローチャートである。
【００６５】
ステップＳ８１において、線抽出部４０５は、グループ番号を初期化する。
【００６６】
以下のステップＳ８２〜Ｓ８６の処理は、図８のステップＳ７０で特徴量グループ化部４０４により分類された全てのグループに対して、各グループを一対の処理対象グループの一方として順次選択して行われる。ステップＳ８２において、線抽出部４０５は、選択中のグループが白線として既に登録済みであるか否かを判定する。既に登録済みであれば次のグループを処理対象として選択し、未登録であれば、そのグループを処理対象として選択してステップＳ８３へ進む。
【００６７】
以下のステップＳ８３〜Ｓ８６の処理は、上記で選択中のグループを除いた他の全てのグループに対して、その各グループを一対の処理対象グループの他方として順次選択して行われる。ステップＳ８３において、線抽出部４０５は、選択中の一対のグループの間で所定の同一性条件が成立するか否かを判定する。その結果、同一性条件が成立すればステップＳ８４へ進み、成立しなければ次のグループを選択する。
【００６８】
ステップＳ８４において、線抽出部４０５は、選択中の一対のグループの間で所定の角度条件が成立するか否かを判定する。その結果、角度条件が成立すればステップＳ８５へ進み、成立しなければ次のグループを選択する。
【００６９】
ステップＳ８５において、線抽出部４０５は、選択中の一対のグループの間で所定の長さ条件が成立するか否かを判定する。その結果、長さ条件が成立すればステップＳ８６へ進み、成立しなければ次のグループを選択する。
【００７０】
ステップＳ８６において、線抽出部４０５は、選択中の一対のグループを同一の白線としてそれぞれ登録する。
【００７１】
ステップＳ８７において、線抽出部４０５は、ステップＳ８６で登録された各白線の情報を線抽出結果として路面標示認識部４０６へ出力する。ステップＳ８７を実行したら、線抽出処理を完了し、図７のステップＳ９０へ進む。
【００７２】
以上説明した実施の形態によれば、次のような作用効果を奏する。
【００７３】
（１）車載画像処理装置１００は、車両の周囲を撮影して撮影画像を取得するカメラ１ａ〜１ｄと、カメラ１ａ〜１ｄの設置状態を検出する設置状態検出部３と、演算処理部４とを備える。演算処理部４は、特徴量抽出部４０２、特徴量補正部４０３、特徴量グループ化部４０４、線抽出部４０５および路面標示認識部４０６を備える。特徴量抽出部４０２は、撮影画像に基づいて、車両の走行面に描かれた標示線の線幅に応じた特徴量を抽出する（ステップＳ５０）。特徴量補正部４０３は、ステップＳ１０で設置状態検出部３により検出されたカメラ１ａ〜１ｄの設置状態に基づいて、特徴量抽出部４０２により抽出された各特徴量を補正する（ステップＳ６０）。特徴量グループ化部４０４は、特徴量補正部４０３により補正された各特徴量をグループ化する（ステップＳ７０）。線抽出部４０５は、特徴量グループ化部４０４によりグループ化された各特徴量に基づいて、車両の走行面に描かれた標示線を抽出する（ステップＳ８０）。路面標示認識部４０６は、線抽出部４０５により抽出された標示線に基づいて路面標示を認識し、その認識結果を出力する（ステップＳ９０）。このようにしたので、路面標示の誤検出を抑制しつつ、処理の高速化を図ることができる。
【００７４】
（２）特徴量グループ化部４０４は、特徴量補正部４０３により補正された各特徴量のうち、所定の対象線幅の範囲内に属する各特徴量のみをグループ化する（ステップＳ７２）。このようにしたので、処理に関係のない標示線に対応する特徴量をグループ化の対象から除外して、以降の処理負荷を軽減し、さらなる処理の高速化を図ることができる。
【００７５】
（３）上記の対象線幅は、たとえば、駐車枠線に対応する第１の対象線幅と、横断歩道に対応する第２の対象線幅とを含むことができる。この場合、特徴量グループ化部４０４は、第１の対象線幅の範囲内に属する各特徴量と、第２の対象線幅の範囲内に属する各特徴量とを、それぞれ別々にグループ化する（ステップＳ７３〜Ｓ７６）。このようにすれば、駐車枠線と横断歩道をそれぞれ別々の線として確実に抽出することができる。
【００７６】
（４）設置状態検出部３は、カメラ１ａ〜１ｄの設置状態として、車両の走行面に対するカメラ１ａ〜１ｄの位置および姿勢を検出する。このようにしたので、特徴量に影響を及ぼすカメラ１ａ〜１ｄの設置状態を確実に検出できる。
【００７７】
（５）車載画像処理装置１００は、複数のカメラ１ａ〜１ｄと、この複数のカメラ１ａ〜１ｄにより取得された各撮影画像に基づいて俯瞰画像を合成する画像合成部２とを有している。特徴量抽出部４０２は、この俯瞰画像から特徴量を抽出する。このようにしたので、車両周囲の走行面に描かれた標示線の特徴量を確実に抽出することができる。
【００７８】
なお、以上説明した実施の形態では、カメラ１ａ〜１ｄにより撮影された各撮影画像に基づいて、画像合成部２により俯瞰画像を合成し、この俯瞰画像から特徴量抽出部４０２により特徴量を抽出することとした。しかし、俯瞰画像を合成せずに、カメラの撮影画像から直接に特徴量を抽出してもよい。
【００７９】
（変形例１）
撮影装置の設置状態を検出する設置状態検出部として、公知技術であるセルフキャリブレーションを用いても良い。セルフキャリブレーションはターゲットレスキャリブレーションなどとも呼ばれ、移動体が走行中に複数地点で画像を撮像し、画像中に写る同一特徴点を追跡することにより、自車姿勢を算出できる。さらに、自車姿勢からの相対的な位置関係で撮像装置の設置状態を検出してもよい。こうすることにより、追加のセンサ装置が不要となり、装置を低コスト化することが可能となる。
【００８０】
（変形例２）
撮影装置の設置状態を検出する設置状態検出部として、公知技術である走行路白線ペアの平行性や、横断歩道予告などの形状が既知の路面標示を観測することにより、自車姿勢を算出し、自車姿勢からの相対的な位置関係で撮像装置の設置状態を検出してもよい。こうすることにより、追加のセンサ装置が不要となり、装置を低コスト化することが可能となる。
【００８１】
以上説明した実施の形態や各種の変形例はあくまで一例であり、発明の特徴が損なわれない限り、本発明はこれらの内容に限定されるものではない。
【符号の説明】
【００８２】
１ａ、１ｂ、１ｃ、１ｄ  カメラ
２  画像合成部
３  設置状態検出部
４  演算処理部
５  出力部
１００  車載画像処理装置
４０１  エッジ探索方向決定部
４０２  特徴量抽出部
４０３  特徴量補正部
４０４  特徴量グループ化部
４０５  線抽出部
４０６  路面標示認識部
【図１】
2014106739.tif 000003
【図２】
2014106739.tif 000004
【図３】
2014106739.tif 000005
【図４】
2014106739.tif 000006
【図５】
2014106739.tif 000007
【図６】
2014106739.tif 000008
【図７】
2014106739.tif 000009
【図８】
2014106739.tif 000010
【図９】
2014106739.tif 000011
【図１０】
2014106739.tif 000012