(57)【要約】【課題】移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される周辺線分処理装置、走路推定装置、および周辺線分処理プログラムを提供すること。【解決手段】移動体に搭載された撮像手段によって撮像された移動体の走行する走路に隣接する隣接走路の隣接画像から、隣接走路の境界線を周辺線分として抽出する抽出手段と、１本の周辺線分、並びに移動体が備える検出手段によって検出された移動体の速度に基づいて走路パラメータの追跡値を出力する追跡手段と、を含む。【選択図】図１
2020135586.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像手段によって撮像された前記移動体の走行する走路に隣接する隣接走路の隣接画像から、前記隣接走路の境界線を周辺線分として抽出する抽出手段と、  １本の前記周辺線分、並びに前記移動体が備える検出手段によって検出された前記移動体の速度に基づいて走路パラメータの追跡値を出力する追跡手段と、
を含む周辺線分処理装置。
【請求項２】
前記追跡手段は、前記周辺線分の抽出エッジ点を観測値として、カルマンフィルタにより前記走路と交差する方向の前記移動体の横位置、ヨー角、およびピッチ角の少なくとも１つの追跡値を出力する
請求項１に記載の周辺線分処理装置。
【請求項３】
前記抽出手段は、前記隣接走路の白線、道路端、および境界標識の少なくとも１つを用いて前記周辺線分を抽出する
請求項１または請求項２に記載の周辺線分処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載された周辺線分処理装置と、
移動体に搭載され、前記移動体の走行する走路および前記走路に隣接する隣接走路の走路画像を撮像する撮像手段と、
前記移動体の速度およびヨーレイトを検出する検出手段と、
前記走路画像、並びに前記速度およびヨーレイトに基づいて走路パラメータを推定する推定手段と、を含み、
前記推定手段は、前記周辺線分処理装置から受け取った追跡値を用いて前記走路パラメータを補正する
走路推定装置。
【請求項５】
前記追跡値がピッチ角である
請求項４に記載の走路推定装置。
【請求項６】
前記推定手段によって補正される走路パラメータが前記走路の曲率である
請求項５に記載の走路推定装置。
【請求項７】
前記追跡値がさらに前記ピッチ角の分散を含む
請求項５または請求項６に記載の走路推定装置。
【請求項８】
前記移動体の中心と前記境界線との距離が５ｍ以上である
請求項４から請求項７のいずれか１項に記載の走路推定装置。
【請求項９】
前記推定手段は、前記移動体の走行する走路から抽出した線分に基づいて推定したヨー角と、前記周辺線分処理装置から出力されたヨー角と、のなす角度が予め定められた角度を越える場合に、前記隣接走路が分岐車線または合流車線であると推定する
請求項４から請求項８のいずれか１項に記載の走路推定装置。
【請求項１０】
コンピュータを、
移動体に搭載された撮像手段によって撮像された前記移動体の走行する走路に隣接する隣接走路の隣接画像から、前記隣接走路の境界線を周辺線分として抽出する抽出手段と、  １本の前記周辺線分、並びに前記移動体が備える検出手段によって検出された前記移動体の速度に基づいて走路パラメータの追跡値を出力する追跡手段と、
として機能させるための周辺線分処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺線分処理装置、走路推定装置、および周辺線分処理プログラム、特に車線の白線等に基づく線分を用いて走路の状態を推定する周辺線分処理装置、走路推定装置、および周辺線分処理プログラムに関する。
【背景技術】
【０００２】
線分を用いた走路推定装置に関連して、特許文献１には、２時刻間のエッジ点画像の上下方向の相関から上下振動成分（ピッチ角変動に相当）と左右振動成分（ヨー角変動に相当）を検出する振動成分検出画像処理装置が開示されている。
【０００３】
一方、特許文献２には、道路画像から複数の白線・道路端線の交点位置の平均位置を求め、該平均位置から消失点（＝ピッチ角に相当）を推定する消失点算出方法が開示されている。
【０００４】
また、特許文献３には、前回撮像された画像に基づいて生成された存在度合い分布に基づいて、時刻tにおける消失点の予測仮説点を生成し、時刻tの道路画像から直線を検出し、検出された直線と予測仮説点との間の画像上の距離に基づいて、予測仮説点の各々における重みを更新することにより存在度合い分布を生成し、存在度合い分布から最大の重みとなる予測仮説点を検索し、撮像画像上において、検索された予測仮説点の位置を消失点の位置として推定する消失点推定装置が開示されている。
【０００５】
さら、に特許文献４には、２時刻の画像間のオプティカルフローと路面モデルに基づき、カメラのピッチ角等の変動分と道路の垂直輪郭を検出する道路の垂直輪郭検出方法が開示されている。「オプティカルフロー」とは、物体やカメラの動きによって生じる隣接フレーム間の物体の動きの見え方のパターンをいう。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平４−７２９６５号公報
【特許文献２】特開２０００−１２３３００号公報
【特許文献３】特開２００８−２９３１７２号公報
【特許文献４】特開２０１３−２３９１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術には以下のような問題点がある。
【０００８】
特許文献１に開示された振動成分検出画像処理装置では、ヒストグラム処理を用いるので、画像上に十分なエッジ成分が必要である点が問題である。すなわち、白線や周辺構造物の輪郭線が理想的に観測できている必要があり、単一の白線しか検出できない場合は、ヨー角変動とピッチ角変動を区別できない点が問題である。すなわち、ヨー角が変動した場合でも、見かけ上、上下振動成分が発生してしまうためである。
【０００９】
特許文献２に開示された消失点算出方法では、複数の白線や道路端線が検出できることが要件とされるため、単一の白線しか検出されない場合に対応できない点が問題である。
また、合流や分岐、あるいはノイズの線分に対応できない。すなわち、特許文献１同様単一の白線からは消失点が計算できないためである。また、分岐や合流、あるいはノイズの線分では平行の仮定が崩れるためである。
【００１０】
特許文献３に開示された消失点推定装置では、同一直線を長時間継続して検出し続けると、推定精度が劣化する点が問題である。また、合流や分岐、あるいはノイズの線分に対応できない。これは、特許文献３に開示された消失点推定装置では直線に平行な方向の誤差が増大するためである。また、分岐や合流、あるいはノイズの線分では平行の仮定が崩れるためである。
【００１１】
特許文献４に開示された垂直輪郭検出方法では、路面に顕著な特徴点（輝度変化）が少ない単調な環境（整備された高速道路等）では使えない点が問題である。これは、路面に顕著な特徴点（輝度変化）が少ないとオプティカルフローが計算困難なためである。
【００１２】
ところで、走路の推定は、通常走路パラメータを用いて行う。この走路パラメータには、ピッチ角、ヨー角、移動体の横位置（走行車線等と自車両の相対的な位置、「オフセット」ともいう）、車線形状（車線幅、曲率）が含まれる。ここで、ヨー角とは、所定の基準に対する平面視での移動体の角度、ピッチ角とは、所定の基準に対する断面視での角度をさす。両者を合わせて姿勢角という。
【００１３】
一方、走路パラメータの算出においては、まず車線の白線等の走路推定における推定媒体を線分に変換するが、白線等が車線上に常に理想的な状態で検出されるとは限らない（以下、「白線の劣化」）。実際の走路では、以下のような白線の劣化を惹起する要因が存在する。
・白線が片側だけしか検出できない場合。
・破線状の白線の長さが、白線として認識するには短すぎる場合。
・ピッチ角変動、あるいは路面勾配の変動により見かけのピッチ角変動が発生している場合。
・先行車両により白線が隠蔽された場合。
【００１４】
白線が劣化した場合、上述したような従来の走路推定装置ではピッチ角の推定に誤差が発生し、さらにピッチ角の変動が他の曲率（走路の屈曲）やヨー角として誤推定される場合がある。従って、移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される走路推定装置が求められている。特に昨今自動操舵や自動運転の検討が進む中で、技術的性能低下を防ぐためにも必須の技術となっている。この点、上記の従来技術では種々問題点があり、さらに以上のような要求に答えた走路推定装置の実現を意図したものでもない。
【００１５】
本発明は、上記諸問題に鑑みてなされたものであり、移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される周辺線分処理装置、走路推定装置、および周辺線分処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
上記の目的を達成するために、請求項１に記載の周辺線分処理装置は、移動体に搭載された撮像手段によって撮像された前記移動体の走行する走路に隣接する隣接走路の隣接画像から、前記隣接走路の境界線を周辺線分として抽出する抽出手段と、１本の前記周辺線分、並びに前記移動体が備える検出手段によって検出された前記移動体の速度に基づいて走路パラメータの追跡値を出力する追跡手段と、を含むものである。
【００１７】
また、請求項２に記載の発明は、請求項１に記載の発明において、前記追跡手段は、前記周辺線分の抽出エッジ点を観測値として、カルマンフィルタにより前記走路と交差する方向の前記移動体の横位置、ヨー角、およびピッチ角の少なくとも１つの追跡値を出力するものである。
【００１８】
また、請求項３に記載の発明は、請求項１または請求項２に記載の発明において、前記抽出手段は、前記隣接走路の白線、道路端、および境界標識の少なくとも１つを用いて前記周辺線分を抽出するものである。
【００１９】
上記の目的を達成するために、請求項４に記載の走路推定装置は、請求項１から請求項３のいずれか１項に記載された周辺線分処理装置と、移動体に搭載され、前記移動体の走行する走路および前記走路に隣接する隣接走路の走路画像を撮像する撮像手段と、前記移動体の速度およびヨーレイトを検出する検出手段と、前記走路画像、並びに前記速度およびヨーレイトに基づいて走路パラメータを推定する推定手段と、を含み、前記推定手段は、前記周辺線分処理装置から受け取った追跡値を用いて前記走路パラメータを補正するものである。
【００２０】
また、請求項５に記載の発明は、請求項４に記載の発明において、前記追跡値がピッチ角であるものである。
【００２１】
また、請求項６に記載の発明は、請求項５に記載の発明において、前記推定手段によって補正される走路パラメータが前記走路の曲率であるものである。
【００２２】
また、請求項７に記載の発明は、請求項５または請求項６に記載の発明において、前記追跡値がさらに前記ピッチ角の分散を含むものである。
【００２３】
また、請求項８に記載の発明は、請求項４から請求項７のいずれか１項に記載の発明において、前記移動体の中心と前記境界線との距離が５ｍ以上であるものである。
【００２４】
また、請求項９に記載の発明は、請求項４から請求項８のいずれか１項に記載の発明において、前記推定手段は、前記移動体の走行する走路から抽出した線分に基づいて推定したヨー角と、前記周辺線分処理装置から出力されたヨー角と、のなす角度が予め定められた角度を越える場合に、前記隣接走路が分岐車線または合流車線であると推定するものである。
【００２５】
上記の目的を達成するために、請求項１０に記載の周辺線分処理プログラムは、コンピュータを、移動体に搭載された撮像手段によって撮像された前記移動体の走行する走路に隣接する隣接走路の隣接画像から、前記隣接走路の境界線を周辺線分として抽出する抽出手段と、１本の前記周辺線分、並びに前記移動体が備える検出手段によって検出された前記移動体の速度に基づいて走路パラメータの追跡値を出力する追跡手段と、として機能させるためのものである。
【発明の効果】
【００２６】
本発明によれば、移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される周辺線分処理装置、走路推定装置、および周辺線分処理プログラムを提供することができるという効果を奏する。
【図面の簡単な説明】
【００２７】
【図１】第１の実施の形態に係る、（ａ）は走路推定装置の構成の一例を示すブロック図、（ｂ）は周辺線分処理部における処理を説明する図、（ｃ）は走路推定装置における処理を説明する図である。
【図２】（ａ）は良好な環境における白線の一例を示す走路画像、（ｂ）は劣化した白線の一例を示す走路画像、（ｃ）は白線の劣化による誤推定の一例を示す走路画像である。
【図３】（ａ）は本実施の形態に係る走路推定装置の作用を説明する図、（ｂ）は隣接車線側の白線が直線とみなすことができる理由を説明するためのグラフである。
【図４】実施の形態に係る分岐・合流を説明する図である。
【図５】実施の形態に係る走路推定手順の一部を示す図である。
【図６】実施の形態に係る走路推定手順の一部を示す図である。
【図７】第２の実施の形態に係る走路推定装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照して、本発明を実施するための形態について詳細に説明する。以下の説明では、本発明に係る周辺線分処理装置、走路推定装置、および周辺線分処理プログラムを、車両等に搭載され、走行車線を含む領域の走路を推定する周辺線分処理装置、走路推定装置、および周辺線分処理プログラムに適用した形態を例示して説明する。また、本実施の形態においては周辺線分の抽出媒体として特に限定されず、隣接車線の白線、道路端や路肩、ガードレール等が挙げられるが、以下の説明では白線を例示して説明する。なお、以下の説明においては斜体の文字を斜体でない文字で表す場合がある。
【００２９】
［第１の実施の形態］
（走路推定装置について）
図１（ａ）に示すように、本実施の形態に係る走路推定装置１０は、周辺線分特徴抽出部１１、周辺線分特徴追跡部１２、走路認識装置１３、車速、ヨーレイト検出部１４、および車載カメラ１５を含んで構成されている。
【００３０】
車載カメラ１５は、一例として、車室内のリアビューミラー位置に前向きに配置され、車両前方の道路画像（以下、「走路画像」）を撮像する撮像装置である。本実施の形態では、車載カメラ１５の水平路面に対する高さ、俯角は予め既知の値に設定されているものとする。図１（ａ）に示すように、車載カメラ１５で撮像された画像は周辺線分特徴抽出部１１および走路認識装置１３へ出力される。
【００３１】
車速、ヨーレイト検出部１４は、自車両の路面に対する速度、および自車両のヨーレイトを計測する部位である。車速、ヨーレイト検出部１４から車速とヨーレイトの情報が、周辺線分特徴追跡部１２および走路認識装置１３へ出力される。
【００３２】
走路認識装置１３は、自車両が走行中の走行車線の左右の白線レーンマーク（以下、「白線」、図２（ａ）参照）を車載カメラ１５によって撮像された走行車線を含む領域の画像、すなわち走路画像から抽出し、その抽出結果から走行車線と自車両との相対的な位置（すなわち、オフセット）、姿勢角（ヨー角、ピッチ角）、車線形状（車線幅、曲率）等の走路パラメータを推定する。
【００３３】
周辺線分特徴抽出部１１は、車載カメラ１５によって撮像された走路画像に基づいて、走行車線以外の隣接車線の白線や道路端等の線分の特徴である周辺線分の特徴を抽出する。周辺線分特徴追跡部１２は、周辺線分特徴抽出部１１によって抽出された周辺線分の特徴を、車速、ヨーレイト検出部１４から取得した車速に基づいて追跡する。すなわち、周辺線分の抽出エッジ点を観測値としてカルマンフィルタにより、車体座標上の線分の横位置、ヨー角、ピッチ角を推定する。周辺線分特徴抽出部１１および周辺線分特徴追跡部１２を含んで周辺線分処理部１８が構成されている。周辺線分特徴抽出部１１および周辺線分特徴追跡部１２の詳細については後述する。なお、周辺線分特徴抽出部１１および周辺線分特徴追跡部１２は、各々本発明に係る「抽出手段」、「追跡手段」の一例である。
【００３４】
図１（ｂ）は、周辺線分処理部１８における処理の流れを示した図である。図１（ｂ）に示すように、周辺線分処理部１８にはデータとしての車載カメラが撮像したカメラ画像Ｄ１が入力され、周辺線分特徴抽出部１１による周辺線分特徴抽出処理Ｐ１、および周辺線分特徴追跡部１２による周辺線分特徴追跡処理Ｐ２を実行して例えばピッチ角を出力する。
【００３５】
図１（ｃ）は、走路推定装置１０における処理の流れを示した図である。図１（ｃ）に示すように、走路認識装置１３には、カメラ画像Ｄ１および車速、ヨーレイト検出部１４が検出したデータとしての車速およびヨーレイトＤ２、さらに周辺線分処理部１８によって算出されたピッチ角推定値が入力され、これらのデータに基づいて走路認識装置１３は例えば警報を報知したり、他の構成の制御目標値を算出する画像認識処理Ｐ３を実行する。
【００３６】
ここで、周辺線分特徴抽出部１１における処理のような線分の特徴抽出においては、輪郭線の抽出に一例としてＳｏｂｅｌフィルタ等のエッジ抽出フィルタが利用され、直線検出には一例としてハフ変換等が利用される。一方、走路パラメータの推定には、ＲＡＮＳＡＣや拡張カルマンフィルタ、あるいはパーティクルフィルタ等が利用される。これらの処理については公知であるので説明を省略する。なお、計算の簡略化のために、カメラのパラメータは既知とし、路面平面やカメラ高さ、車線の幅は一定であると仮定し、その際道路構造令による規定（例えば、一車線の幅は日本であれば２．７５ｍから３．７５ｍ）を利用してもよい。
【００３７】
次に、図２を参照して、本実施の形態に係る走路推定装置１０の動作についてより詳細に説明する。図２における各図は、車載カメラ１５によって撮像された走路画像の一例を示している。図２（ａ）は、道路環境が良好で劣化のない白線が存在する場合の一例を示している。図２（ａ）に示すように、自車両が走行する走行車線５０の左側に左側隣接車線５１、右側に右側隣接車線５２が配置され、走行車線５０と左側隣接車線５１との間に白線６０、走行車線５０と右側隣接車線５２との間に白線６１が配置されている。本実施の形態では、白線６０および白線６１を走行車線の白線と定義し、隣接車線に関連するその他の白線を隣接車線の白線と定義する。
【００３８】
上述したように、さまざまな理由によって、線分の抽出媒体の一例である白線は劣化する場合がある。図２（ｂ）は、破線状の白線の長さが線分処理を実行するには短すぎる場合の劣化の例を示している。すなわち、白線６２は、白線６０あるいは６１と比較して短く、線分として検出するのが困難な場合の一例である。なお、白線６３は、隣接車線の白線の一例を示している。
【００３９】
図２（ｃ）を参照して、上記白線の劣化による従来技術に係る線分抽出処理の誤動作について説明する。図２（ｃ）は、自車両がＸ１方向にピッチ角変動している状態を示している。この場合、画像上の白線６２の相対的な位置も白線６２’の位置に変動する。この場合、白線６２が短すぎ、かつ片側白線であるため、ピッチ角が正常に推定されずピッチ角変動が曲率に変換され、誤った推定結果５３が周辺線分処理部から出力されている。すなわち、ピッチ角変動を曲率と誤推定し、実際は直線である走行車線５０が右側に屈曲する車線と認識している。
【００４０】
上述の誤動作に対応するため、本実施の形態に係る周辺線分特徴抽出部１１および周辺線分特徴追跡部１２は、走路認識装置１３で用いる走行車線側の白線情報が劣化した場合の補助情報として、隣接車線側の白線や、道路端や路肩の境界部分、あるいはガードレール（境界標識）の稜線の線分（すなわち、周辺線分）を抽出し、その抽出結果を手掛かりとしてピッチ角変動を推定し、走路認識装置１３に送るようにしている。このことにより、移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される走路推定装置が提供される。
【００４１】
図３を参照して、本実施の形態に係る周辺線分処理部１８の作用について説明する。図３（ａ）は、白線６３の情報を加味して周辺線分処理を行う場合の走路画像の一例を示している。１車線の幅は、上述したように、日本であれば道路構造令により２．７５ｍから３．７５ｍと規定されているので、自車両が走行車線の中央を走行していると仮定すると、図３（ａ）に示す隣接車線側の白線の検出範囲５４、５５が設定できる。周辺線分処理部１８の周辺線分特徴抽出部１１はこの検出範囲５４、５５の内部から、以下に詳述する処理により直線を検出する。なお、図３（ａ）に示すように、検出範囲５４、５５における白線（すなわち、隣接車線の白線）は、水平線に対する見かけ上の角度が走行車線５０側の白線よりも水平になってくる（０度に近づく）という特徴を有している。本実施の形態では、上記のとおり隣接車線の白線の水平線に対する角度が小さくなることに付随して、隣接車線の白線に対応する周辺線分は車線の屈曲に鈍感になるという特性を用いている。以下図３（ｂ）を参照し、この原理について説明する。
【００４２】
図３（ｂ）は走行平面上の白線の曲率（単位：ｍ−１）をパラメータとした、横方向の離間距離（単位：ｍ）と白線の見かけ上の曲率（単位：１／ｐｉｘｅｌ（ピクセル））との関係を示したグラフである。見かけ上の曲率は、走路画像に投影された白線の、車載カメラ１５から２０ｍ前方の曲率を示している。図３（ｂ）に示すように、白線の見かけ上の曲率は、横方向の離間距離が大きくなるほど大きくなることがわかる。
【００４３】
ここで、日本の高速道路の一般的な車線幅は３．５ｍなので、走路の中央を走行する場合の隣接車線の外側の白線（つまり、白線６３）までの横方向の離間距離は５．２５ｍとなる。図３（ｂ）から、離間距離が５．２５ｍの場合、走路画像上に投影された白線のみかけ上の曲率はほぼ０になることが分る。換言すると、離間距離が５ｍ以上であれば曲率がほぼ０となる。つまり、走路画像上に投影された隣接車線の外側の白線は直線と見なすことができるが、カーブ曲率に敏感になる。そのため、隣接車線の白線を用いて抽出された周辺線分を用いて、直線として推定することによって、姿勢角（主にピッチ角）の推定精度を改善することができる。換言すると曲率の推定精度は低下している。なお、隣接車線の周辺線分の抽出においては、隣接車線の白線を含む画像に対して垂直方向へスキャンしたり、水平方向のエッジを強調して線分抽出したりした方がより好ましい。
【００４４】
一方、周辺線分特徴追跡部１２は、周辺線分特徴抽出部１１で抽出した白線の位置座標値を観測値として、車両座標系上の該白線に対応する線分のオフセット、ヨー角、ピッチ角の３つ推定パラメータを拡張カルマンフィルタを用いて更新する。該線分のオフセットとヨー角を考慮することにより、走行車線に平行でない線分も利用することができる。周辺線分特徴追跡部１２は、走路認識装置１３に対してピッチ角の推定値（以下、「ピッチ角推定値」）とその分散（以下、「ピッチ角分散」）を出力する。走路認識装置１３は、そのピッチ角推定値を用いて、あるいはさらにピッチ角分散を考慮して用いることにより走行車線側の走行パラメータを補正し、推定する。
【００４５】
以上のように、本実施の形態によれば、走行車線側の白線が、さまざまな要因（先行車による隠蔽や路面の汚れ・摩耗等）により検出しにくい状況であっても、隣接車線側の白線や路側等から抽出された周辺線分によって、ピッチ角が補間される。すなわち、走行車線側の白線が観測されない場合でも、隣接する他の車線側の白線や路側の道路端の線分を検出し、その線分を手掛かりにピッチ角を推定する。その結果、走行車線側の曲率等を安定に推定することが可能となる。また、推定モデルにおいて、観測する線分が走行車線と平行であるという仮定を要しないため、車線が分岐、あるいは合流した場合でも推定が可能である。この点に関する詳細は後述する。
【００４６】
（周辺線分から推定したパラメータの他の応用形態）
図４を参照して、本実施の形態に係る走路推定装置１０の応用形態について説明する。
走路推定装置１０を用いて周辺線分から推定したパラメータの他の応用例として、合流・分岐の判定が挙げられる。合流とは、例えば一般道路から高速道路に乗り入れるような場合であり、分岐は逆に高速道路から一般道路に抜けるような場合、あるいはＹ字路のような場合である。
【００４７】
図４は、上記の一例として右側隣接車線が例えば分岐車線である場合を示している。この場合隣接車線の白線６５は、隣接車線が走行車線に平行であるとした場合の周辺線分に対して所定の角度αをなすことになる。そのため、周辺線分から推定した隣接車線の外側のヨー角と走行車線側のヨー角を比較して平行性を判定することにより、隣接車線が分岐車線であるか否か判定することができる。より具体的には、例えば走路認識装置１３が走行車線から抽出した線分に基づいて推定したヨー角と、周辺線分処理部１８から出力されたヨー角と、のなす角度が予め定められた角度を越える場合に、隣接車線が分岐車線または合流車線であると判定する。隣接車線が合流車線である場合も考え方は分岐車線と同様である。
【００４８】
（周辺線分の抽出方法）
次に、図５および図６を参照して、周辺線分の抽出方法についてより詳細に説明する。
以下の説明では周辺線分の抽出方法を便宜的にステップＡ、ステップＢ、ステップＣに分けて説明する。ステップＡは主として走行車線側の線分抽出方法であり、ステップＢは主として隣接車線側の周辺線分抽出方法であり、ステップＣは主として隣接車線側で推定したピッチ角を走行車線側へ反映させる手順である。
【００４９】
＜ステップＡ＞
図５を参照して、白線のモデル化の一について説明する。図５（ａ）は走路の走行平面図を示し、図５（ｂ）は縦断面図を示し、図５（ｃ）は走路画像を示している。図５（ａ）、（ｂ）に示すように、走行車線側白線の平面線形と縦断線形はカメラ位置を原点とした三次元直交座標系ＸＹＺ上の直線として表現する。このとき、Ｚ軸はカメラの光軸方向を示し、Ｘ軸は横位置方向、Ｙ軸は光軸を含む鉛直面内かつ光軸に直角な方向を示す。また、走行平面（路面）から車載カメラ１５までのカメラ高さは既知であるとする。
【００５０】
車載カメラ１５の設置位置を原点にとった車体座標系において、走行車線側の白線は以下に示す（式１）、（式２）で表わされる
2020135586.tif 000003
2020135586.tif 000004
2020135586.tif 000005
【００５１】
ここで状態ベクトルxを（式３）で定義して、この状態ベクトルxを拡張カルマンフィルタにより推定する。
2020135586.tif 000006
ここで、Ｔは転置記号である。
【００５２】
既知である拡張カルマンフィルタによる状態ベクトルxの推定値の更新式を（式４）〜（式９）に示す。カルマンフィルタはダイナミクスによる時間更新と、白線点の観測による観測更新の２ステップを更新時間ごとに実行する。
時間更新：
2020135586.tif 000007
2020135586.tif 000008
観測更新：
2020135586.tif 000009
2020135586.tif 000010
2020135586.tif 000011
2020135586.tif 000012
2020135586.tif 000013
【００５３】
時間更新のFとBの要素を（式１０）〜（式１１）に示す
2020135586.tif 000014
2020135586.tif 000015
ここで、
Δt：時刻t-1から時刻tまでの更新時間[s]、
Δz：更新時間Δt内の移動距離（＝車速×Δｔ）[m]、
である。
【００５４】
次に、観測更新の詳細を示す。
カメラ設置位置を原点にとった車体座標系（図５（ａ）、（ｂ））から車体カメラ座標系（図５（ｃ））への透視投影変換を考えると、走路画像上の隣接車線側の白線上のj番目の白線点座標値(ixj,iyj)は以下に示す（式１２）、（式１３）で計算される。
2020135586.tif 000016
2020135586.tif 000017
2020135586.tif 000018
【００５５】
（式１３）をzjに関して変形すると、（式１４）が得られる。
2020135586.tif 000019
（式１４）と観測値iyjよりzj を算出して、（式１２）へ代入する。
【００５６】
以下では、前述の拡張カルマンフィルタを利用する準備として、j番目の白線点ixjの計算式である（式１２）を観測関数hj(x)で表わす。
観測するm個の白線点をまとめた観測関数h(x)は（式１５）で表わす。
2020135586.tif 000020
観測値ベクトルyは、（式１６）に示すように、走路画像から前処理で抽出されたm個の白線点のixj座標値を順に並べたベクトルである。
2020135586.tif 000021
また、観測ヤコビアン行列Hは、（式１７）に示すように0、・・・、(m-1)番目の観測関数hiを状態ベクトルxで偏微分した行列Hiを縦に積み重ねた形となる。
2020135586.tif 000022
【００５７】
以上のように設定した拡張カルマンフィルタで更新により、走行車線側の白線点の観測更新により、状態ベクトルxの推定値とその共分散の推定値が得られる。
【００５８】
＜ステップＢ＞
次に、図６を参照して、周辺線分から走路を推定する手順について説明する。まず、隣接車線の白線のモデルについて説明する。図６に示すように、隣接車線の白線または道路端の平面線形と縦断線形はカメラ位置を原点とした三次元直交座標系ＸＹＺ上の直線として表現する。このとき、Ｚ軸はカメラの光軸方向を示し、Ｘ軸は横位置方向、Ｙ軸は光軸を含む鉛直面内かつ光軸に直角な方向を示す。走行車線と隣接車線は同一の走行平面上にあることを仮定するが、走行車線側の白線と隣接車線側の白線とが平行であることは仮定しない。隣接車線の白線は、概ね直線で近似できる範囲を観測していることを仮定する。
また、走行平面から車載カメラ１５までのカメラ高さは既知であると仮定する。
【００５９】
カメラ設置位置を原点にとった車体座標系で、隣接車線の白線は（式１８）および（式１９）で表わす。
2020135586.tif 000023
2020135586.tif 000024
2020135586.tif 000025
【００６０】
状態ベクトルxを（式２０）で定義し、この状態ベクトルxを拡張カルマンフィルタにより推定する。
2020135586.tif 000026
既知である拡張カルマンフィルタによる状態ベクトルxの推定値の更新式は（式４）〜（式９）と同様である。
拡張カルマンフィルタの時間更新のFとBを（式２１ａ）、（式２１ｂ）および式（２２）に示す。
2020135586.tif 000027
2020135586.tif 000028
ここで、直線路やカーブ路を定常走行中は（式２１ａ）を用い、ヨーレートは使わない。方向指示器のスイッチ信号により、車線変更による操舵が予期される場合は、追従性を高めるため、（式２１ｂ）を使用してもよい。
2020135586.tif 000029
【００６１】
次に、観測更新の詳細を示す。
カメラ設置位置を原点にとった車体座標系から車体カメラ座標系への透視投影変換を考えると、画像上隣接車線の白線上のj番目の白線点座標値(ixj,iyj)は（式２３）および（式２４）で計算される。
2020135586.tif 000030
2020135586.tif 000031
走行車線の白線と比較して、隣接車線の白線は走路画像上で水平に漸近するので、iyjを観測した方が観測ノイズを適正に設定できる。
【００６２】
（式２３）をzjに関して変形すると、（式２５）が得られる。
2020135586.tif 000032
（式２４）に（式２５）を代入して、zjを消去すると、（式２６）が得られる。
2020135586.tif 000033
【００６３】
ここでは、前述の拡張カルマンフィルタを利用する準備として、j番目の白線点iyjの計算式である（式２６）を観測関数hj(x)で表わす。
観測するm個の白線点をまとめた観測関数h(x)は（式２７）で表わす。
2020135586.tif 000034
【００６４】
観測値ベクトルyは、（式２８）に示すように、走路画像から前処理で抽出されたm個の白線点のiyj座標値を順に並べたベクトルである。
2020135586.tif 000035
【００６５】
また、観測ヤコビアン行列Hは、（式２９）に示すように、0、・・・、(m-1)番目の観測関数hiを状態ベクトルxで偏微分した行Hiを縦に積み重ねた形となる。
2020135586.tif 000036
【００６６】
このとき、j番目の白線点の観測ヤコビアン行列Hjは（式３０）〜（式３３）で表される。
2020135586.tif 000037
2020135586.tif 000038
2020135586.tif 000039
2020135586.tif 000040
【００６７】
ここで、一般には、白線は水平方向にixjを観測値として探索されることが多いので、参考のために、ixjを観測する場合の変更点について以下に述べる。
【００６８】
（式２４）をzjに関して変形すると、（式２５a）が得られる。
2020135586.tif 000041
（式２３）に（式２５a）を代入して、zjを消去すると、（式２６a）が得られる。
2020135586.tif 000042
ここでは、前述の拡張カルマンフィルタを利用する準備として、j番目の白線点ixjの（式２６a）を観測関数hj(x)で表わす。
観測値ベクトルyは、（式２８ａ）に示すように、道路画像から前処理で抽出されたｍ個の白線点のixj座標値を順に並べたベクトルである。
2020135586.tif 000043
このとき、j番目の白線点の観測ヤコビアン行列Hjは（式３０a）〜（式３3a）で表される。
2020135586.tif 000044
2020135586.tif 000045
2020135586.tif 000046
2020135586.tif 000047
【００６９】
以上のように拡張カルマンフィルタによる更新により、隣接車線の白線により、ピッチ角推定値とその共分散の推定値が得られる。このピッチ角推定値を走行車線の走路推定のピッチ角の観測値として、その分散を観測ノイズとして与えて、従来の走行車線側の走路推定の観測更新を実行すれば隣接車線側のピッチ角推定値を走行車線側に反映することができる。
【００７０】
＜ステップＣ＞
次に、隣接車線側で推定したピッチ角を走行車線側へ反映させる手順について説明する。以下では走行車線側の走路推定の状態ベクトルをxDLと表現し、その要素を（式３４）のように設定したものとする。
2020135586.tif 000048
2020135586.tif 000049
【００７１】
隣接車線側で推定したピッチ角を、走行車線側の観測値と見なしてカルマンフィルタに基づいて観測更新する式は、以下に示す（式３５）〜（式３９）のようになる。
2020135586.tif 000050
2020135586.tif 000051
2020135586.tif 000052
2020135586.tif 000053
2020135586.tif 000054
2020135586.tif 000055
2020135586.tif 000056
【００７２】
（周辺線分抽出方法の補足１）
以上の説明では、カルマンフィルタを利用した隣接車線側のピッチ角推定値の走行車線側のピッチ角推定値への反映方法を示した。しかし、走行車線側走路推定が拡張カルマンフィルタを利用しない場合も想定される。その場合は、走行車線側のピッチ角推定値φDLとその分散V(φDL)、および、隣接車線側のピッチ角推定値φDLのその分散p33から、既知の重み付き平均に基づき、更新後の走行車線側のピッチ角推定値φ'DLとその分散V(φ'DL)を（式４１）および（式４２）から得ればよい。このとき、分散V(φDL)はピッチ角推定値φDLから事前に計算しておく。
2020135586.tif 000057
2020135586.tif 000058
【００７３】
また、例えば、地図情報を参照することで分岐や合流ではないことが明白である場合は、隣接車線側の白線と走行車線側の白線が平行という仮定を利用してもよい。この場合も以上と同様に、隣接車線側の走路推定において推定したピッチ角とヨー角を走行車線側の観測値として扱えばよい。
【００７４】
（周辺線分抽出方法の補足２）
本実施の形態においては、従来技術のように周辺線分の抽出媒体が走行車線と平行であることを要件としていない。以下この理由について補足説明する。
【００７５】
従来技術では、１フレーム（１時刻）の画像から姿勢角（ヨー角、ピッチ角）を求める前提で構成されていた。つまり、走行車線の左右の白線を検出し、その平行性を仮定して画像上の消失点を求め、画像中心と消失点の画像上の差分から走行車線に対する相対的な姿勢角を求めていた。これに対し、本実施の形態では、画像上の最低１本の直線でモデル化した周辺線分を追跡して、その時間変化成分に基づき姿勢角（ピッチ角、ヨー角）と横位置を推定する。そのため、本実施の形態では、消失点を検出する必要はない。加えて、上述したように、周辺線分は離間距離が大きければ概ね直線と見なすことができるので、道路曲率によって生じる姿勢角の推定誤差も抑制できる。
【００７６】
以下では時間変化に基づく具体的な計算ステップ例を示す。（式２６）をiyで偏微分することにより、（式４３）が得られる。
2020135586.tif 000059
つまり、（式４３）より、画像上の周辺線分の傾き
2020135586.tif 000060
より、eaが一意に求められる。
【００７７】
さらに、時刻t-1のea,t-1から時刻tのea,tの間の時間変化分より、（式４４）を用いてθaが計算できる。
2020135586.tif 000061
【００７８】
（式２６）をφについて解いて得た（式４５）と、（式４３）で得たeaと、（式４４）で得たθaと白線点位置座標値ixj、iyjとによりφが計算できる。
2020135586.tif 000062
ただし、（式４３）〜（式４５）では観測ノイズやシステムノイズの影響を考慮した方が適正な推定値が得られるので、実際には前述のような拡張カルマンフィルタを構成して計算した方が望ましい。
【００７９】
［第２の実施の形態］
図７を参照して、本実施の形態について説明する。図７に示すように、本実施の形態に係る走路推定装置１０Ａは、周辺線分特徴追跡部１２、走路認識装置１３Ａ、車速、ヨーレイト検出部１４、および車載カメラ１５を含んで構成されている。走路推定装置１０Ａは、図１（ａ）に示す走路推定装置１０において周辺線分特徴抽出部１１を削除し、走路認識装置１３を走路認識装置１３Ａに置き換えた形態である。従って、走路推定装置１０と同様の構成には同じ符号を付して、詳細な説明を省略する。
【００８０】
図７に示すように、走路認識装置１３Ａは、車線境界特徴抽出部１６および走路パラメータ推定部１７を備えている。車線境界特徴抽出部１６は、車載カメラ１５が取得した走路画像を受け取り、走行車線側および隣接車線側の境界の観測値（以下、「境界観測値」）を抽出する。隣接車線側の境界観測値は周辺線分特徴追跡部１２に送られ、走行車線側の境界観測値は走路パラメータ推定部１７に送られる。
【００８１】
周辺線分特徴追跡部１２は、車線境界特徴抽出部１６から受け取った隣接車線の境界観測値を用いて周辺線分の特徴を追跡するとともに、走路パラメータ推定部１７に、例えばピッチ角推定値を送る。走路パラメータ推定部１７は、車線境界特徴抽出部１６から受け取った走行車線の境界観測値、および周辺線分特徴追跡部１２から受け取ったピッチ角推定値を用いて、上記の手順に則って走路パラメータを推定する。
【００８２】
すなわち、図１（ａ）は本発明に係る走路推定装置の構成一例であり、上記走行車線の線分による走路推定手順、および隣接車線の周辺線分による走路推定手順に則る限り様々な形態をとることが可能であり、上記実施の形態と同様本発明の効果、すなわち、移動体が走行する走路の走路パラメータの推定媒体が劣化した場合でも、走行パラメータの誤推定が抑制される周辺線分処理装置、走路推定装置、および周辺線分処理プログラムを提供することが可能となるという効果を奏することができる。
【符号の説明】
【００８３】
１０、１０Ａ  走路推定装置
１１    周辺線分特徴抽出部
１２    周辺線分特徴追跡部
１３    走路認識装置
１４    車速、ヨーレイト検出部
１５    車載カメラ
１６    車線境界特徴抽出部
１７    走行パラメータ推定部
１８    周辺線分処理部
５０    走行車線
５１    左側隣接車線
５２    右側隣接車線
５３    推定結果
５４、５５  検出範囲
６０、６１、６２、６２’、６３、６３’、６４、６５  白線
Ｄ１  カメラ画像、Ｄ２  車速、ヨーレイト、Ｐ１  周辺線分特徴抽出処理、Ｐ２  周辺線分特徴追跡処理、Ｐ３  画像認識処理
Ｘ１    方向
【図１】
2020135586.tif 000063
【図２】
2020135586.tif 000064
【図３】
2020135586.tif 000065
【図４】
2020135586.tif 000066
【図５】
2020135586.tif 000067
【図６】
2020135586.tif 000068
【図７】
2020135586.tif 000069