(57)【要約】【課題】  車載カメラによって撮影して得た画像データに基づいて、自車両の走行状態の検出を行う。【解決手段】  車両カメラによって車両の外の状況の画像を撮影すると共に、その画像データをＥＣＵに入力する。また、車輪速度センサからの検出信号をＥＣＵに入力する。そして、ＥＣＵにて、画像データからその画像中の任意の点のオプティカルフローＶｙ_flowを求めると共に、車輪速度センサからの検出信号から車速Ｖを求め、これらオプティカルフローＶｙ_flowと車速Ｖと車両状態となるヨーレートγやスリップ角βを求める。【選択図】        図３
2005254861.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、該車両の外の状況の画像を撮影すると共に、その画像データを出力する画像認識手段（１）と、
前記車両の車速に応じた検出信号を出力する車速検出手段（２）と、
画像認識手段（１）が撮影した車両走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の点のオプティカルフローＶｙ_flowを求め、このオプティカルフローＶｙ_flowおよび前記車速検出手段（２）からの車速に応じた検出信号とに基づいて車両状態を求める車両状態検知手段（３）と、を備えていることを特徴とする車両状態検知システム。
【請求項２】
前記車両状態検知手段（３）は、前記車両状態として、車両の横方向における並進運動を示すスリップ角βを求めるようになっていることを特徴とする請求項１に記載の車両状態検知システム。
【請求項３】
前記車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、
【数１】
2005254861.tif 000012
により、前記スリップ角βを求めるようになっていることを特徴とする請求項２に記載の車両状態検知システム。
【請求項４】
前記車両状態検知手段（３）は、前記車両状態として、車両の重心周りの回転運動を示すヨーレートγを求めるようになっていることを特徴とする請求項１ないし３のいずれか１つに記載の車両状態検知システム。
【請求項５】
前記車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、
【数２】
2005254861.tif 000013
により、前記ヨーレートγを求めるようになっていることを特徴とする請求項４に記載の車両状態検知システム。
【請求項６】
車両における車速を求めるステップと、
画像認識手段（１）が撮影した車両走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の点のオプティカルフローＶｙ_flowを求めるステップと、
前記車速およびオプティカルフローＶｙ_flowから車両状態を求めるステップと、を含んでいることを特徴とする車両状態検知方法。
【請求項７】
前記車両状態を求めるステップでは、前記車両状態として、車両の横方向における並進運動を示すスリップ角βを求めることを特徴とする請求項６に記載の車両状態検知方法。
【請求項８】
前記車両状態を求めるステップでは、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、
【数３】
2005254861.tif 000014
により、前記スリップ角βを求めることを特徴とする請求項７に記載の車両状態検知システム。
【請求項９】
前記車両状態を求めるステップでは、前記車両状態として、車両の重心周りの回転運動を示すヨーレートγを求めることを特徴とする請求項６ないし８のいずれか１つに記載の車両状態検知方法。
【請求項１０】
前記車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、
【数４】
2005254861.tif 000015
により、前記ヨーレートγを求めるようになっていることを特徴とする請求項９に記載の車両状態検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載カメラで撮影して得た画像データに基づいて、自車両の走行状態を検知する車両状態検知システムおよび車両状態検知方法に関するものである。
【背景技術】
【０００２】
従来、車載カメラなどで撮影して得た画像データに基づいて、走行路面の曲率半径や車線幅を認識し、その認識結果をカーブ進入時に車両がオーバスピードとなっていて車線を逸脱する可能性があるか否かに用いるような装置が提案されている（例えば、特許文献１参照）。
【０００３】
この装置では、車載カメラによって車両前方の道路、交通環境を三次元的に認識した画像デ−タを得て、その画像デ−タから道路に相当するデータを抽出している。そして、そのデータからカーブ路であることをその進入前に検出すると共に、そのカーブ路の曲率半径、車線幅を画像データから求めるようにしている。
【特許文献１】特開平９−２６３２００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記従来の装置では、車載カメラで撮影して得た画像データに基づいて、車両走行路面、すなわち車両が走行中における周囲の状況を検出している。しかしながら、車載カメラで撮影した画像データを自車両自身の走行状態、例えば自車両の並進運動量を求めたりするような装置は、未だ提案されていない。
【０００５】
本発明は上記点に鑑みて、車載カメラなどの画像認識手段によって撮影して得た画像データに基づいて、自車両の走行状態の検出を行う車両状態検知システムおよび車両状態検知方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、請求項１に記載の発明では、車両に搭載され、該車両の外の状況の画像を撮影すると共に、その画像データを出力する画像認識手段（１）と、車両の車速に応じた検出信号を出力する車速検出手段（２）と、画像認識手段（１）が撮影した車両走行中における車外の画像の画像データを受け取り、該画像データからその画像中の任意の点のオプティカルフローＶｙ_flowを求め、このオプティカルフローＶｙ_flowと車速検出手段（２）からの車速に応じた検出信号とに基づいて車両状態を求める車両状態検知手段（３）と、を備えていることを特徴としている。
【０００７】
このように、画像認識手段（１）によって車外の画像を撮影し、その画像データからオプティカルフローを抽出することで、車両状態を検出することが可能である。
【０００８】
例えば、請求項２に示されるように、車両状態検知手段（３）は、車両状態として、車両の横方向における並進運動を示すスリップ角βを求めることができる。
【０００９】
具体的には、請求項３に示されるように、車両状態検知手段（３）は、車両から注視点までの距離をｄ、車両質量をＭ、ホイールベースをＬ、車両重心と前輪軸との間の距離をＬｆ、車両重心と後輪軸との間の距離をＬｒ、後輪のタイヤコーナリングパワーをＫｃｒとした場合に、上記した数式１により、スリップ角βを求めることができる。
【００１０】
また、請求項４に示されるように、車両状態検知手段（３）は、車両状態として、車両の重心周りの回転運動を示すヨーレートγを求めることもできる。この場合、請求項５に示されるように、車両状態検知手段（３）は、上記した数式２により、ヨーレートγを求めることができる。
【００１１】
請求項６ないし１０に記載の発明は、請求項１ないし５に記載の発明を方法として示したものである。これら各請求項に示す発明により、請求項１ないし５に記載の発明と同様の効果を得ることができる。
【００１２】
なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示すものである。
【発明を実施するための最良の形態】
【００１３】
（第１実施形態）
本発明の一実施形態を適用した車両状態検知システムのブロック構成を図１に示す。この図に示されるように、車両状態検知システムは、車載カメラ１、車輪速度センサ２および車両状態検出用のＥＣＵ３を有して構成されている。
【００１４】
車載カメラ１は、車両前方を映し出すものであり、車両走行中、常に車両前方の画像を撮影し、その画像データを車両状態検出用のＥＣＵ３に伝えるようになっている。
【００１５】
車輪速度センサ２は、車輪速度に応じた信号を出力するものであり、この車輪速度センサ２の検出信号に基づいて車速Ｖが求められる。この車速Ｖの演算方法に関しては、ブレーキ分野等において周知のものであるため、ここでは説明を省略する。
【００１６】
ＥＣＵ３は、車載カメラ１の画像データおよび車輪速度センサ２からの検出信号に基づき、車両の走行状態を検出するものである。具体的には、ＥＣＵ３は、車両の走行状態を示すパラメータとして、車両の回転角速度、すなわち車両中心軸まわりのの回転角速度を示すヨーレートγと、車両の並進運動による横方向移動速度を示すスリップ角βとを求めるようになっている。
【００１７】
これらヨーレートレートγおよびスリップ角βは、車載カメラ１によって撮影された画像の画像データから求められる。この求め方について、図２を参照して説明する。
【００１８】
図２（ａ）は、車両が横方向へ並進運動のみを行ったとした場合のオプティカルフロー、図２（ｂ）は、車両が回転運動のみを行ったとした場合のオプティカルフローを示したものである。なお、この図では、車両前後方向をＸ軸、左右方向Ｙ軸、上下方向をＺ軸として示してあり、車両が横方向へ並進運動したということは車両がＹ軸上で移動したことを意味し、車両が回転運動したということは車両がＺ軸を中心として回転したことを意味する。
【００１９】
オプティカルフローとは、車載カメラ１で見た任意の前方注視点での車両横方向移動速度を示したものであり、画像座標中において任意の注視点が所定時間後にある点に移動したとしたときに、それら２点を結ぶベクトルに相当するものである。本発明者らは、このオプティカルフローが自車両の走行状態を示す物理量を含んだものとなっていることを見出し、このオプティカルフローに基づいてヨーレートレートγおよびスリップ角βを求めることを考え出した。
【００２０】
以下、このオプティカルフローの物理的意味について説明する。
【００２１】
図２（ａ）に示されるように、車両が横方向へ並進運動した場合、画像データのうち車両前方における車両から遠い位置ではオプティカルフローは小さく、車両左右の位置ではオプティカルフローが大きくなる。一方、図２（ｂ）に示されるように、車両が回転した場合、画像データのうち車両前方の位置、左右の位置いずれの場合にもオプティカルフローが大きくなっている。
【００２２】
これらから、車両が横方向に並進運動した場合と回転運動した場合とで、それぞれオプティカルフローが異なっていることが判る。これは、オプティカルフローが車両の並進運動および回転運動を表していることを意味しており、車載カメラ１で画像を撮影した場合に、その画像データに含まれるオプティカルフローを解析すれば、車両の並進運動や回転運動を検出することが可能になると考えられる。
【００２３】
図３は、車両の前方注視位置のうち距離ｄの位置を注視点Ｐとして設定し、所定時間後に車両の移動に伴って注視点がどのように移動するかを示した図である。
【００２４】
この図に示されるように、車両がスリップ角βとヨーレートγを持つ状態で進行している場合、注視点Ｐは、車両横方向にｄ・γ＋Ｖβの速度で移動する。したがって、画像データから得られるオプティカルフローの横方向速度をＶｙ_flowとすると、これは次式で示される。
【００２５】
（数５）
ｄ・γ＋Ｖβ＝Ｖｙ_flow
この数式は、車両の横すべりによる横移動速度Ｖβと、重心周りの回転角速度による前方注視点の横移動速度ｄ・γとの総和が画像で捉えた前方注視点Ｐのオプティカルフローの横方向成分として現れることを意味している。換言すれば、オプティカルフローの横方向速度成分は、車両の横滑り運動の回転運動の拘束関係を示すことになる。
【００２６】
一方、定常円旋回時において、スリップ角βとヨーレートγは、以下のように定義される。これらについて、図４を参照して説明する。
【００２７】
図４は、車両各部のサイズ等について模式的に示したものである。この図に示されるように、車両質量［ｋｇ］をＭ、ホイールベース［ｍ］をＬ、車両重心と前輪軸との間の距離［ｍ］をＬｆ、車両重心と後輪軸との間の距離［ｍ］をＬｒとしている。また、車速をＶ［ｍ／ｓｅｃ］、舵角をδ［ｒａｄ］、前後輪のタイヤコーナリングパワーをそれぞれＫｃｆ、Ｋｃｒ［Ｎ／ｒａｄ］としている。これらを基に、旋回半径ρを表すと、次式になることが知られている。
【００２８】
【数６】
2005254861.tif 000003
なお、数式６において、Ａはスタビリティファクタ（Stability Factor）であり、次式で示され、車両ごとに決まる値である。
【００２９】
【数７】
2005254861.tif 000004
また、旋回半径ρは、車速Ｖおよびヨーレートγとから、数式８のように表すことができることから、数式８と上記数式６とから、ヨーレートγは、数式９のように表されることが判る。
【００３０】
（数８）
ρ＝Ｖ／γ
【００３１】
【数９】
2005254861.tif 000005
同様にして、定常円旋回時におけるスリップ角βを表すと、次式のようになる。
【００３２】
【数１０】
2005254861.tif 000006
なお、数式１０において、Ｋは次式のように定義される。
【００３３】
【数１１】
2005254861.tif 000007
したがって、数式９と数式１０との関係から、数式１２が導き出される。また、回転角速度による前方注視点の横移動速度ｄ・γと横滑りによる横移動速度Ｖβとは比例関係にあり、横移動速度Ｖβが横移動速度ｄ・γに対して所定の勾配αで増加する関係にあることが確認されている。このため、数式１２は、さらに、横移動速度Ｖβが横移動速度ｄ・γに対して勾配αで増加するという式としても表される。
【００３４】
（数１２）
Ｖβ＝（１−ＫＶ２）Ｌｒγ
＝α・ｄ・γ
ただし、α＝（１−ＫＶ２）Ｌｒ／ｄである。
【００３５】
このような関係が成り立つため、横移動速度Ｖβと横移動速度ｄ・γとは数式１３、１４のように表されることが判る。
【００３６】
【数１３】
2005254861.tif 000008
【００３７】
【数１４】
2005254861.tif 000009
したがって、これら各式から、ヨーレートγおよびスリップ角βが数式１５、１６のように表されることが判る。
【００３８】
【数１５】
2005254861.tif 000010
【００３９】
【数１６】
2005254861.tif 000011
このようにして、オプティカルフローに基づき、ヨーレートγおよびスリップ角βを求めることが可能となる。
【００４０】
したがって、本実施形態では、車輪速度センサ２からの信号および車載カメラ１からの画像データを受け取ると、ＥＣＵ３にて車速Ｖを求めると共にオプティカルフローを求め、それら車速およびオプティカルフローを数式１５、１６内のＶおよびＶｙ_flowに代入することで、ヨーレートγおよびスリップ角βを求めるようにしている。
【００４１】
なお、数式１５、１６内におけるＶおよびＶｙ_flow以外の係数に関しては、車種やタイヤの種類などに応じて決定するものであるため、ＶおよびＶｙ_flowに基づいて、ヨーレートγおよびスリップ角βを求めることが可能である。
【００４２】
続いて、本実施形態で示した車両状態検知システムの作動について、図５を参照して説明する。
【００４３】
図５は、ＥＣＵ３３が実行する車両状態検知処理のフローチャートである。このフローチャートに示される処理は、例えば車両におけるイグニッションスイッチがＯＮされると同時に実行される。
【００４４】
まず、車載カメラ１１を通じて車外の状況を示す画像が撮影されると、その画像データがＥＣＵ３３に逐次送られる。一方、車輪速度センサ２２が車輪回転に伴う検出信号を出力すると、その検出信号がＥＣＵ３３に送られる。
【００４５】
これにより、ＥＣＵ３３は、図５に示される車両状態処理を実行する。まず、ステップ１００において、画像データから所定時間ごと（例えば、車載カメラ１の分解能で決まる画像データの取り込み間隔）のオプティカルフローが抽出される。この抽出は、画像データにおける注視点の画像座標に基づいて横方向の移動量を求めることにより行われる。
【００４６】
次いで、ステップ１１０では、そのときの車速が車輪速度センサ２２からの検出信号に基づいて求められる。
【００４７】
そして、ステップ１２０では、抽出したオプティカルフローと車速とが上述した数式１５、１６におけるＶおよびＶｙ_flowに代入されることで、ヨーレートγおよびスリップ角βが求められる。このようにして、ヨーレートγおよびスリップ角βが求められる。このような処理が繰り返し行われることで、車両が走行中、常にヨーレートγおよびスリップ角βを求めることが可能となる。
【００４８】
以上説明したように、本実施形態の車両状態検知システムでは、車載カメラ１によって車両前方の画像を撮影し、その画像データからオプティカルフローを抽出することで、車両状態を示すヨーレートγおよびスリップ角βを求めることが可能となる。このように、車載カメラ１による画像データに基づいて、車両の横方向における並進運動や重心周りの回転運動といった自車両の状態を検出することができる。
【００４９】
なお、一般的に、車載カメラ１によって撮影した画像から物、例えば白線や車両、人や障害物を識別する能力に関しては、コンピュータによる処理は人間には敵わない。しかしながら、周囲環境から見た車両の動きを正確に捉えることに関しては、コンピュータの方が人間よりも優れている。したがって、上記のように、ＥＣＵ３にてオプティカルフローを用いた車両の走行状態検出を行うことにより、優れた走行状態検出を行うことが可能となる。そして、この検出結果に基づいて、様々な車両走行制御を行うことが可能となる。
【００５０】
（他の実施形態）
上記実施形態では、車速を求めるために車輪速度センサ２からの検出信号を用いているが、いわゆる車速センサからの検出信号によって車速を求めても構わない。また、車載カメラ１により車両前方の画像を撮影するものとして説明したが、必ずしも前方でなくてもよく、車両側から車外の状況を撮影し、その画像データ中に車両の横方向の並進運動および重心周りの回転運動が含まれるものであればどの方向であっても構わない。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１実施形態における車両状態検知システムのブロック構成を示す図である。
【図２】（ａ）は、車両が横方向へ並進運動のみを行ったとした場合のオプティカルフロー、（ｂ）は、車両が回転運動のみを行ったとした場合のオプティカルフローを示したものである。
【図３】車両の前方中心位置のうち距離ｄの位置を注視点Ｐとして設定し、所定時間後に車両の移動に伴って注視点がどのように移動するかを示した図である。
【図４】車両各部のサイズ等について模式的に示した図である。
【図５】図１に示す車両状態検知システムにおけるＥＣＵが実行する処理のフローチャートである。
【符号の説明】
【００５２】
１…車載カメラ、２…車輪速度センサ、３…ＥＣＵ。
【図１】
2005254861.tif 000016
【図２】
2005254861.tif 000017
【図３】
2005254861.tif 000018
【図４】
2005254861.tif 000019
【図５】
2005254861.tif 000020