(57)【要約】【課題】道路モデル推定に用いるカルマンフイルタ等の状態空間フイルタの追従の安定性と高速性の両立を図り、前記状態空間フイルタを車両挙動に応じた適切な追従特性に設定する。【解決手段】推定処理ＥＣＵ４により、車両１に搭載されたカメラ２の撮影画像に基づくエッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用し、道路形状、車両状態のパラメータを導出して道路モデルを推定し、その際、舵角センサ３の検出舵角変化速度の大小に応じて状態空間フイルタの駆動行列の動特性を高低可変し、状態空間フイルタの追従特性を可変する。【選択図】図１
2006285493.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されて車両前方を撮像するカメラと、
前記車両のステアリング操作を検出する舵角センサと、
前記カメラの撮影画像から前記車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定する推定処理部とを備え、
前記推定処理部に、
前記カメラの撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成するエッジ画像形成手段と、
前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出するパラメータ導出手段と、
前記舵角センサの検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前前記状態空間フイルタの追従特性を可変する駆動行列特性調整手段とを設けたことを特徴とする道路モデル推定装置。
【請求項２】
駆動行列特性調整手段が、舵角センサの検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とする請求項１に記載の道路モデル推定装置。
【請求項３】
状態空間フイルタがカルマンフイルタであることを特徴とする請求項１または２に記載の道路モデル推定装置。
【請求項４】
車両前方の撮影画像から車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定するときに、
前記撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成
し、
前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出し、
かつ、前記車両の検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変することを特徴とする道路モデル推定方法。
【請求項５】
検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の応答特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とする請求項４に記載の道路モデル推定方法。
【請求項６】
状態空間フイルタがカルマンフイルタであることを特徴とする請求項４または５に記載の道路モデル推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両前方の撮影画像を処理して走行中の道路状態及び車両状態を推定する道路モデル推定装置及び道路モデル推定方法に関する。
【背景技術】
【０００２】
従来、走行中の車両に搭載したカメラにより車両前方を撮像して得られる時々刻々の撮影画像にいわゆる最適フイルタ処理を施し、走行中の道路のレーン幅や直線路、カーブ路を示す道路曲率などの道路状態及びその車両の横変位、ヨー角、ピッチ角などの車両状態のパラメータを導出して道路モデルを推定することが行われている。
【０００３】
この場合、前記の最適フイルタ処理の状態空間フイルタには、一般にカルマンフイルタ（拡張カルマンフイルタ）が用いられ、車両前方の撮影画像から得られた走行中の道路の各レーンマーカ（車線区分線）候補点の画像平面上の座標を観測ベクトルに含む道路モデルとしての状態空間モデル（非線形モデル）に前記カルマンフイルタを適用することで、その状態方程式の状態推定量としての前記の横変位、道路曲率や車両のヨー角、ピッチ角等の道路パラメータを導出し、これらのパラメータ及び撮像部の取付位置の地上高さを用いて道路モデルを推定する（例えば、特許文献１参照。）。
【０００４】
【特許文献１】特開２００２−１０９６９５号公報（第３−６頁）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、前記のカルマンフイルタ等の状態空間フイルタは、その追従特性の設定が容易でない。
【０００６】
そして、フイルタの追従特性を高く設定すると、ノイズ（外乱）に対する追従特性までも大きくなってしまい、推定結果が非常に暴れて不安定になり、とくに直進走行中に問題となる。
【０００７】
また、フイルタの追従特性を低く設定すると、フイルタの応答が遅いので、例えば車線変更等の比較的素早いステアリング操作（操舵）が発生したときに、推定の遅れが生じる問題がある。
【０００８】
本発明は、道路モデル推定に用いるカルマンフイルタ等の状態空間フイルタの追従の安定性と高速性の両立を図り、前記状態空間フイルタを車両挙動に応じた適切な追従特性に設定することを目的とする。
【課題を解決するための手段】
【０００９】
上記した目的を達成するために、本発明の道路モデル推定装置は、車両に搭載されて車両前方を撮像するカメラと、前記車両のステアリング操作を検出する舵角センサと、前記カメラの撮影画像から前記車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定する推定処理部とを備え、前記推定処理部に、前記カメラの撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成するエッジ画像形成手段と、前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出するパラメータ導出手段と、前記舵角センサの検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変する駆動行列特性調整手段とを設けたことを特徴としている（請求項１）。
【００１０】
また、本発明の道路モデル推定装置は、前記駆動行列特性調整手段が、舵角センサの検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とし（請求項２）、前記状態空間フイルタがカルマンフイルタであることも特徴としている（請求項３）。
【００１１】
つぎに、本発明の道路モデル推定方法は、車両前方の撮影画像から車両が走行中の道路形状及び前記車両の車両状態を表す道路モデルを推定するときに、前記撮像画像から前記車両が走行中の道路のレーンマーカを含むエッジ画像を形成し、前記エッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む前記道路モデルとしての状態空間モデルに所定の状態空間フィルタを適用して前記道路形状、前記車両状態のパラメータを導出し、かつ、前記車両の検出舵角変化速度の大小に応じて前記状態空間フイルタの駆動行列の動特性を高低可変し、前記状態空間フイルタの追従特性を可変することを特徴としている（請求項４）。
【００１２】
また、本発明の道路モデル推定方法は、検出舵角変化速度と１又は複数個の閾値との比較に基づき、状態空間フイルタの駆動行列の応答特性を２値切り換え又はステップ切り換えにより高低可変することを特徴とし（請求項５）、前記状態空間フイルタがカルマンフイルタであることも特徴としている（請求項６）。
【発明の効果】
【００１３】
まず、請求項１、４の発明によれば、舵角センサの検出操舵角変化速度に基づき、ドライバが素早くステアリング操作を行う車線変更時等には、状態空間フイルタの駆動行列の動特性が高くなって状態空間フイルタの追従が高速になり、推定の遅れが生じることがない。また、ドライバのステアリング操作がゆっくりとしている直進走行時等には、状態空間フイルタの駆動行列の動特性が低くなって状態空間フイルタの安定性が向上し、推定結果が暴れることがない。
【００１４】
したがって、道路モデル推定に用いる状態空間フイルタの追従の安定性と高速性の両立を図ることができ、その状態空間フイルタを車両挙動に応じた適切な追従特性に設定することができる。
【００１５】
また、請求項２、５の発明によれば、前記の状態空間フイルタの駆動行列の動特性の高低可変を、舵角センサの検出舵角変化速度と閾値との比較に基づく駆動行列の動特性の切り換えにより実現することができる。
【００１６】
さらに、請求項３、６の発明によれば、前記の状態空間フイルタをカルマンフイルタで形成した実用的な構成で上記の各効果を得ることができる。
【発明を実施するための最良の形態】
【００１７】
つぎに、本発明をより詳細に説明するため、その一実施形態について、図１〜図３にしたがって詳述する。
【００１８】
図１は車両１に搭載された道路モデル推定装置のブロック図、図２はその状態空間フイルタの追従特性調整のフローチャート、図３の（ａ）、（ｂ）は撮影画像、そのエッジ画像の例示図である。
【００１９】
そして、図１において、２は車両１に搭載されて車両前方を撮像するカメラであり、例えばＣＣＤの単眼カメラからなる。３は車両１の舵角センサであり、ドライバのステアリング操作に基づく車両１の舵角変化速度を検出する。
【００２０】
４は推定処理部を形成する推定処理ＥＣＵであり、時々刻々のカメラ２の撮影画像及び舵角センサ３の検出舵角変化速度θｖを取り込むとともに、予め設定された道路モデル推定のプログラムを実行してソフトウエアで構成されたつぎの（ｉ）〜（ｉｉｉ）の各手段を有する。
【００２１】
（ｉ）エッジ画像形成手段
この手段は、カメラ２の例えば図３の（ａ）の撮像画像Ｐから車両１が走行中の道路のレーンマーカを含む同図の（ｂ）のエッジ画像Ｐ＊を形成する。
【００２２】
（ｉｉ）パラメータ導出手段
この手段は、前記のエッジ画像から求めた各レーンマーカ候補点の座標を観測ベクトルに含む道路モデルとしての状態空間モデルΓに所定の状態空間フィルタを適用して道路形状、車両状態のパラメータを導出する。そして、この実施形態にあっては、前記状態空間フイルタはカルマンフイルタ（詳しくは拡張カルマンフイルタ）からなる。
【００２３】
（ｉｉｉ）駆動行列特性調整手段
この手段は、舵角センサ３の検出舵角変化速度θｖの大小に応じて前記の状態空間フイルタの駆動行列の動特性を高低可変し、状態空間フイルタの追従特性を可変する。そして、この実施形態の場合、前記の動特性の可変は、舵角センサ３の検出舵角変化速度θｖと予め設定された所定の閾値との比較に基づき、状態空間フイルタの駆動行列の動特性を高、低の２値に切り換える。すなわち、検出舵角変化速度θｖが閾値より大きときは前記駆動行列の対角成分を大きくしてその動特性を高くし、検出舵角変化速度θｖが閾値以下のときは前記駆動行列の対角成分を小さくしてその動特性を低くする。
【００２４】
なお、検出舵角変化速度θｖは前後する時刻（時点）ｋ−１、ｋのステアリング角度θｋ−１、θｋの差の絶対値、換言すれば、微分値であり、θｖ＝｜θｋ−θｋ−１｜である。
【００２５】
さらに、図１の５、６はアクチュエータＥＣＵ、警報ＥＣＵであり、推定処理ＥＣＵ４の前記各パラメータの変化等に基づく追従走行制御や自動ブレーキ制御に基づき、車両１のスロットル、ブレーキのアクチュエータ制御、ブレーキや衝突の警報制御それぞれを行う。
【００２６】
そして、カメラ２の毎フレームの撮像画像Ｐが推定処理ＥＣＵ４に取り込まれると、このＥＣＵ４は、そのエッジ画像形成手段により、取り込んだ画像の全画素の濃度値を微分２値化処理してエッジ画像Ｐ＊を形成する。
【００２７】
さらに、パラメータ導出手段により、形成したエッジ画像Ｐ＊から、道路のレーンマーカに対応するレーンマーカ候補点を複数抽出し、抽出した複数のレーンマーカ候補点の画像平面上の座標を求め、これらの座標を観測ベクトルに含む道路モデルとしての状態空間モデル（非線形モデル）Γにカルマンフイルタを適用する。
【００２８】
つぎに、このカルマンフイルタについて説明する。
【００２９】
まず、道路モデルは、よく知られているように、つぎの数１の（１）式、数２の（２）式で示される。
【００３０】
【数１】
2006285493.tif 000003
【００３１】
【数２】
2006285493.tif 000004
【００３２】
この両式において、Ｘ、Ｙ、Ｚは道路座標系の横幅方向、高さ方向、車両進行方向の直交３軸の位置座標のパラメータ、ｘ、ｙはＸ、Ｙ座標に平行な画像座標系の横軸、縦軸の位置座標のパラメータであり、いずれの座標系もカメラ２のレンズ中心が原点であり、カメラ２の焦点距離をｆとして、ｘ＝−ｆ（Ｘ／Ｚ）、ｙ＝−ｆ（Ｙ／Ｚ）である。
【００３３】
また、ｙ０は車両１の横変位、ρは道路曲率、φは車両１のヨー角、ＷＬは道路幅、βはカメラ２のカメラピッチ、ｈ０はカメラ２の路面からの高さそれぞれのパラーメータである。
【００３４】
さらに、（１）式、（２）式等を整理すると、画像平面上のレーンマーカ候補点の各座標Ｐ（ｘ、ｙ）と推定すべきパラメータ（ρ、φ、ｙｃ、ＷＬ、β）との関係を示す、つぎの数３の（３）式が得られる。
【００３５】
【数３】
2006285493.tif 000005
【００３６】
つぎに、前記（１）式〜（３）式の道路モデルから、対応する状態空間モデルΓの時刻（時点）ｋの状態ベクトルξｋ、観測ベクトルζｋは、つぎの数４の（４）式、数５の（５）式それぞれで表すことができ、観測ベクトルζｋに、前記の各レーンマーカ候補点のｘ座標値が含まれる。
【００３７】
【数４】
2006285493.tif 000006
【００３８】
【数５】
2006285493.tif 000007
【００３９】
そして、状態空間モデルΓの状態方程式はつぎの数６の（６）式で与えられる。なお、（６）式において、ｋは０、１、…、Ｎの各時刻であり、Ｆｋは状態遷移行列であり、ここでは単位行列とする。Ｇｋは駆動行列である。
【００４０】
【数６】
2006285493.tif 000008
【００４１】
そのため、（３）式〜（５）式に基き、状態空間モデルΓは、つぎの数７の（７）式〜数１１の（１１）式に示すようになる。なお、Ｌｋはいわゆるゲインの行列であり、式中のＴは転置行列であることを示す。
【００４２】
【数７】
2006285493.tif 000009
【００４３】
【数８】
2006285493.tif 000010
【００４４】
【数９】
2006285493.tif 000011
【００４５】
【数１０】
2006285493.tif 000012
【００４６】
【数１１】
2006285493.tif 000013
【００４７】
そして、この状態空間モデルΓに適用する拡張カルマンフイルタは、つぎの数１２の（１２）式〜数１６の（１６）式のアルゴリズムのフイルタである。
【００４８】
【数１２】
2006285493.tif 000014
【００４９】
【数１３】
2006285493.tif 000015
【００５０】
【数１４】
2006285493.tif 000016
【００５１】
【数１５】
2006285493.tif 000017
【００５２】
【数１６】
2006285493.tif 000018
【００５３】
なお、（１２）式〜（１６）式において、Ｒｋは観測雑音ｖｋの共分散行列、Ｑｋはいわゆるシステム雑音ｗｋの共分散行列、Ｈｋはつきの数１７の（１７）式で示される観測行列である。
【００５４】
【数１７】
2006285493.tif 000019
【００５５】
また、行列Ｑｋがカルマンフイルタの駆動行列であり、例えばつぎの数１８の（１８）式の対角行列で表わされる。
【００５６】
【数１８】
2006285493.tif 000020
【００５７】
そして、この実施形態においては、行列Ｑｋとして、その動特性の高、低に対応する、対角成分が異なる２種類の対角行列を、駆動行列特性調整手段の書き換え自在の不揮発性メモリ（図示せず）に保持する。
【００５８】
さらに、ドライバのステアリング操作の緩、急に応じて、すなわち、舵角センサ３の検出舵角速度θｖの高、低にしたがってカルマンフイルタの駆動行列の動特性を高、低に２値切り換えで可変し、カルマンフイルタの追従特性を遅、速に切り換えて可変するため、駆動行列特性調整手段により、例えば図２のステップＳ１〜Ｓ４の手順で行列Ｑｋを前記の２種類の対角行列に択一的に切り換えて設定する。
【００５９】
具体的には、ステップＳ１により舵角センサ３の検出舵角速度θｖを取り込むと、ステップＳ２により検出舵角速度θｖと設定された閾値Ｔｈと比較する。
【００６０】
そして、車線変更等行なうためにドライバがステアリングをすばやく操作し、検出舵角速度θｖが閾値Ｔｈより大きくなるときは、ステップＳ２からステップＳ３に移行し、行列Ｑｋを動特性の高い一方の対角行列に切り換える。
【００６１】
また、直進走行等のドライバがステアリングをゆっくり操作するときは、検出舵角速度θｖが閾値Ｔｈ以下になることから、ステップＳ２からステップＳ４に移行し、行列Ｑｋを動特性の低い他方の対角行列に切り換える。
【００６２】
そして、パラメータ導出手段により、状態空間モデルΓに上記のように検出舵角速度θｖの高、低にしたがって駆動行列を切り換えて追従特性を可変したカルマンフイルタを適用して道路形状、車両状態のパラメータρ、φ、ｙｃ、ＷＬ、βを導出し、道路モデルを推定する。
【００６３】
なお、前記の２種類の対角行列は、カルマンフイルタの追従特性の変化等を考慮して実験等に基いて設定され、例えば、低特性の行列が対角成分（ｑ１、…、ｑ５）＝（１０、５、３０、４０、５）であれば、高特性の行列は対角成分（ｑ１、…、ｑ５）＝（１００、５０、３００、４００、５０）に設定される。
【００６４】
したがって、この実施形態の場合、状態空間フイルタをカルマンフイルタとし、その駆動行列の動特性を、舵角センサ３の検出舵角変化速度θｖと閾値との比較に基づいて２値に切り換える簡単な構成で、ドライバが素早くステアリング操作を行う車線変更時等には、状態空間フイルタの駆動行列の動特性を高くして状態空間フイルタの追従性を高速にし、推定の遅れをが生じないようにすることができ、また、ドライバのステアリング操作がゆっくりとしている直進走行時等には、状態空間フイルタの駆動行列の動特性を低くして状態空間フイルタの安定性を向上し、推定結果が暴れることがないようにすることができる。
【００６５】
したがって、道路モデル推定に用いる状態空間フイルタの追従の安定性と高速性の両立を、簡単な構成で図ることができ、状態空間フイルタを車両挙動に応じた適切な追従特性に設定することができる。
【００６６】
そして、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。
【００６７】
例えば、前記実施形態においては、閾値を１個設定して状態空間フィルタ（カルマンフイルタ）の駆動行列の動特性を高、低の２値に切り換えたが、異なる複数個の閾値を設定して状態空間フィルタの駆動行列の動特性を検出舵角変化速度θｖの大きさにしたがって高から低、その逆にステップ状に切り換えるようにしてもよく、この場合は、状態空間フイルタの追従特性のより細やかな調整が行なえる。また、場合によっては、前記駆動行列の動特性を検出舵角変化速度θｖの大きさにしたがて連続的に可変し、状態空間フイルタの追従特性の一層細やかな調整をするようにしてもよい。
【００６８】
また、状態空間フイルタがＨ∞フィルタ等の場合にも本発明を同様に適用できるのは勿論である。
【図面の簡単な説明】
【００６９】
【図１】この発明の一実施形態のブロック図である。
【図２】図１の推定処理部の状態空間フイルタの追従特性調整のフローチャートである。
【図３】（ａ）、（ｂ）は図１のカメラの撮影画像、そのエッジ画像の例示図である。
【符号の説明】
【００７０】
１    車両
２    カメラ
３    舵角センサ
４    推定処理ＥＣＵ
【図１】
2006285493.tif 000021
【図２】
2006285493.tif 000022
【図３】
2006285493.tif 000023