(57)【特許請求の範囲】
【請求項１】
複眼カメラにより前方車両との車間距離を計測する複眼カメラによる車間距離計測装置において、
前記複眼カメラからの画像データをサンプリングするサンプリング部と、
サンプリングされた画像データを基に処理された前方車両の認識データを用いて、三角測量の原理により前方車両と自車との車間距離を演算する三角測量・距離演算部と、
前記複眼カメラで撮像された画像データにおける前方車両の高さの画素数と車間距離の関係データを予め格納し、前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記関係データから前方車両との車間距離を演算する画素・距離演算部と、
前記三角測量・距離演算部及び前記画素・距離演算部により得られた車間距離を平均化処理して車間距離を決定する距離決定部と、を具備し、
前記画素・距離演算部において、車両の大きさに依存して前方車両の高さの画素数と車間距離の複数の関係データを予め格納し前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記複数の関係データから車両の大きさに依存して前方車両との複数の車間距離を演算し、
前記距離決定部において、前記三角測量・距離演算部より得られた車間距離と前記画素・距離演算部により得られた複数の車間距離とを相互比較し最も近いものを平均化処理して車間距離を決定することを特徴とする、複眼カメラによる前方車間距離計測装置。
【請求項２】
前記距離決定部における比較を所定速度以下の場合に行うことを特徴とする、請求項１に記載の複眼カメラによる前方車間距離計測装置。
【請求項３】
前記距離決定部において前記三角測量・距離演算部により得られた車間距離の平均値と前記画素・距離演算部により得られた車間距離の平均値とを平均化処理して車間距離を決定することを特徴とする、請求項１に記載の複眼カメラによる前方車間距離計測装置。
【請求項４】
前記距離決定部において得られた車間距離が所定値よりも大きい場合には前記サンプリング部のサンプリング周期を長くすることを特徴とする、請求項１又は３に記載の複眼カメラによる前方車間距離計測装置。
【請求項５】
前記距離決定部において前記三角測量・距離演算部により得られた車間距離と前記画素・距離演算部により得られた車間距離との差が所定値以上の場合には前記サンプリング部のサンプリング周期を短くすることを特徴とする、請求項１に記載の複眼カメラによる前方車間距離計測装置。
【請求項６】
前記サンプリング部において車速センサより入力する速度が所定値以下の場合にはサンプリング周期を短くすることを特徴とする、請求項１に記載の複眼カメラによる前方車間距離計測装置。
【請求項７】
前記サンプリング部において車速センサより入力する速度が小さくなるにつれてサンプリング周期を連続的に小さくすることを特徴とする、請求項１に記載の複眼カメラによる前方車間距離計測装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は車両に搭載される複眼カメラを用いて前方車両との間の距離を計測する、複眼カメラによる前方車間距離計測装置に関し、特に三角測量で計測された距離の精度を向上することができる装置に関する。
【０００２】
【従来の技術】
上記複眼カメラによる前方車間距離計測装置は画像処理技術を用いた運転支援システムの１つであり、特に低速走行時（渋滞時）に前方車両に追従走行するシステムに使用される。前方車両との距離は三角測量の原理を利用して求められる。
【０００３】
図７は従来の複眼カメラによる前方車間距離計測装置に使用される距離演算を説明する図である。本図に示すように、自車に高さ方向に２台のカメラ１、２が設置され、カメラ１−１、１−２は前方車両を撮像する。以下の式により前方車両との車間距離〔ｍ〕が求められる。
Ｌ＝ｆ・Ｂ／｛Ｆ・（ｂ−ａ）｝  〔ｍ〕      …（１）
ここに、
Ｂ：ベースライン（カメラ間距離）〔ｍ〕
ｆ：焦点距離〔ｍ〕
Ｆ：解像度（縦方向）〔ｍ／画素〕
ａ，ｂ：２台のカメラの光軸方向から離れる画像での対象位置〔画素〕
Ｈ：下カメラの高さ〔ｍ〕
であり、前方車両の高さｈ〔ｍ〕は、以下の式により求められる。
【０００４】
0003827368.tif 000002
このように上記式（１）及び（２）より算出される前方車両までの距離Ｌ及び高さｈを用いて、前方車両に追従走行する制御を行っていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記複眼カメラによる前方車間距離計測装置を用いて前方車両までの距離を計測する場合、車両信号の影響等により複眼カメラの視差がずれることがあり、以下の式に示す計測誤差が発生する。
0003827368.tif 000003
ここに、
Ｌｄ＝Ｂ／｛Ｆ・（ｂ−ａ＋ｄ）｝
ｄは上記式（１）の分母の（ｂ−ａ）の画素ずれである。
【０００６】
車間距離Ｌが大きくなれば計測誤差ΔＬも大きくなるため（例えば２０ｍ先で１５〜２０％の誤差）、前方車両に追従走行する制御に支障を発生するという問題がある。
したがって、本発明は、上記問題点に鑑み、車両の振動により視差に誤差が発生しても、前方車両との距離が精度良く計測できる複眼カメラによる前方車間距離計測装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は、前記問題点を解決するために、複眼カメラにより前方車両との車間距離を計測する複眼カメラによる車間距離計測装置において、前記複眼カメラからの画像データをサンプリングするサンプリング部と、サンプリングされた画像データを基に処理された前方車両の認識データを用いて、三角測量の原理により前方車両と自車との車間距離を演算する三角測量・距離演算部と、前記複眼カメラで撮像された画像データにおける前方車両の高さの画素数と車間距離の関係データを予め格納し、前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記関係データから前方車両との車間距離を演算する画素・距離演算部と、前記三角測量・距離演算部及び前記画素・距離演算部により得られた車間距離を平均化処理して車間距離を決定する距離決定部とが具備される。この手段により、三角測量の視差ずれに起因する前方車両までの車間距離の計測誤差の縮小ができ、より安定した前方車両追従走行が可能になる。
【０００８】
前記画素・距離演算部において、車両の大きさに依存して前方車両の高さの画素数と車間距離の複数の関係データを予め格納し前記認識データから車両の高さの画素数を演算し、この演算画素数を基に前記複数の関係データから車両の大きさに依存して前方車両との複数の車間距離を演算し、前記距離決定部において、前記三角測量・距離演算部より得られた車間距離と前記画素・距離演算部により得られた複数の車間距離とを相互比較し最も近いものを平均化処理して車間距離を決定する。この手段により、種々の車両に対応することが可能になる。
【０００９】
前記距離決定部における比較を所定速度以下の場合に行う。この手段により、低速走行時に頻繁な前方車両の入れ換えが行われるので計測誤差の縮小が可能になり、この低速走行を越えると前方車両の追跡制御の要求がなくなるので比較処理を低減することが可能になる。
前記距離決定部において前記三角測量・距離演算部により得られた車間距離の平均値と前記画素・距離演算部により得られた車間距離の平均値とを平均化処理して車間距離を決定する。この手段により統計的精度が向上する。
【００１０】
前記距離決定部において得られた車間距離が所定値よりも大きい場合には前記サンプリング部のサンプリング周期を長くする。この手段により、車間距離が大きく、前方車両の追従走行制御の必要が無い場合には処理量を少なくする。
前記距離決定部において前記三角測量・距離演算部により得られた車間距離と前記画素・距離演算部により得られた車間距離との差が所定値以上の場合には前記サンプリング部のサンプリング周期を短くする。この手段により、双方の車間距離の差が大きい場合には、前記三角測量・距離演算部により得られる車間距離の計測誤差が大きいおそれがあるので、更新時間を短くして、計測誤差の小さいものを得ることを可能にする。
【００１１】
前記サンプリング部において車速センサより入力する速度が所定値以下の場合にはサンプリング周期を短くする。この手段により、速度が小さい場合には車間距離が小さく、前方車両の追従走行制御の必要が高いため、車間距離の更新期間を短くし、逆に速度が大きい場合には更新期間を長くして処理量を少なくする。
前記サンプリング部において車速センサより入力する速度が大きくなるにつれたサンプリング周期を連続的に長くする。この手段により、速度に応じて連続的に更新期間を短くでき、処理量との適切な調整が可能になる。
【００１２】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照して説明する。
図１は本発明の実施の形態に係る複眼カメラによる前方車間距離計測装置の概略を示す図である。サンプリング部２は、カメラ１−１、１−２から、例えば横方向に６４０画素、縦方向に４８０画素の撮像データを一定周期でサンプリングし、サンプリング周期を変更することも可能である。サンプリング部２によりサンプリングされたデータを入力する前方車両認識部３は、以下のようにして、前方車両を認識する。まず入力する撮像データに時系列平滑化を行う。すなわち、前方車両の認識において、車両のエッジを特徴として認識することが有効である。しかし、路側物体からの影のエッジが混在する場合、これを誤認識するおそれがある。そこで、路側物体からの影の影響を少なくために、画像を時間方向に平滑化する処理を行う。具体的には時間方向に複数の画像を比較し、画面上での変化（動き）の大きい物体の映像をぼかすことによって、画面上での変化の少ない部分のみを抽出する処理が行われる。この処理を行うことにより、路側物体の影のように画面上を高速で移動する物体の形はぼけてエッジは抽出されなくなる。反面、追従している前方車両など画面上での移動が少ない物体については、変化なく出力されるので、エッジは抽出することができる。次に、前方車両の後部にはエッジが数多く集まって現れる。そこで、このエッジの分布状態を、以下のように求めて、前方車両の認識特徴とする。
【００１３】
まず、一定の長さ以上の水平方向に長いエッジが現れる位置を探索する。ここで、車両以外のエッジと区別するために、水平エッジは上下に隣接して複数現れた場合にのみ前方車両の最下部とする。
図２は前方車両認識の処理における探索領域の設定、投影分布を説明する図である。本図に示すように、抽出した前方車両の最下部の位置から、ある大きさの前方車両の探索領域を設定する。次に、探索領域内のエッジの投影を求める。投影は、垂直方向の直線に沿った画素の濃度を逐次たし合わせ、その合計を求めたものであり、本図に示すように、前方車両の幅方向の投影値の分布が得られる。投影結果として、前方車両の幅が求められる。同様にして、水平方向の直線に沿った誤差の濃度を逐次たし合わせ、その合計を求めて、前方車両の高さ方向の投影値の分布が得られる。投影結果として、前方車両の高さが求められる。
【００１４】
このようにして前方車両認識部３で得られた認識データを用いて、三角測量・距離演算部４は、さらに三角測量による上記式（１）及び（２）を用いて、前方車両の距離を演算する。
画素・距離演算部５は、前方車両認識部３で認識データの入力を基に、前方車両が遠くなるほど車両の高さが小さくなる現象を利用して、前方の車両の高さを求めて、前方車両との距離を演算する。
【００１５】
図３は画素・距離演算部５の演算処理を説明する図である。
画素・距離演算部５は、本図に示すように、車両の高さの画素数を演算する車両高さ画素数演算部５１と、車両の高さに相当する画素数と前方車両までの距離の関係データを格納する画素数と距離との関係データ格納部５２と、車両高さ画素数演算部５１からの画素数により画素数と距離との関係データ格納部５２から読み出されたデータを内挿、外挿処理して前方車両までの位置を演算する距離演算部５３とを具備する。
【００１６】
図４は画素数と距離との関係データ格納部５２におけるデータを説明する図である。本図に示すように、例えば、普通自動車の場合、画像内での車両の高さに相当する画像数は、
５ｍ前方：４４０画素
１０ｍ前方：２２０画素
２０ｍ前方：１１０画素
である。
【００１７】
上記のように、予め所持している前方車両の距離と高さのデータを各形状の自動車、例えば、１ボックス、軽自動車、大型トラック、小型トラックなどに対して用意する。
次に、距離決定部６は三角測量・距離演算部４からの距離データＡと画素・距離演算部５の距離演算部５３からの距離データＢとを比較する。この際、画素・距離演算部５の画素数と距離との関係データ格納部５２に格納される車両の大きさを変えて比較を行い、上記比較における差が最小になる車両の大きさの関係データが選択される。この比較後の車両の大きさの関係データの選択は低速走行中において、特に、初期状態、例えば速度５ｋｍ／ｈ以下の場合に、行われるようにしてもよい。この速度以下では、前方の車両が入れ代わることが少ないためである。
【００１８】
図５は距離決定部６における距離決定の処理を説明するフローチャートである。
ステップＳ１において、
ｔ＝ｔn（n=0,1,…,k…）
かを判断する。ここに、ｔn はサンプリング時間である。
【００１９】
ステップＳ２において、サンプリング時間毎に、三角測量・距離演算部４からの距離データＡn 及び画素・距離演算部５からの距離データＢn をサンプリングして、その平均（Ａn ＋Ｂn ）／２を前方車両との車間距離として求める。具体的には、以下のようになる。
ｔ０                  ｔ１              …        ｔk           …
Ａ０                  Ａ１              …        Ａk           …
Ｂ０                  Ｂ１              …        Ｂk           …
（Ａ０＋Ｂ０）／２    （Ａ1 ＋Ｂ1 ）／２    …    （Ａk ＋Ｂk ）／２…
異なる方法により求められた車間距離をサンプリング周期毎に平均化したので、視差ずれによる計測誤差が縮小でき、より安定した前方車両追従走行が可能になる。
【００２０】
図６は距離決定部６の他の処理を説明するフローチャートである。
ステップＳ１０において、
前回の（Ａk ＋Ｂk ）／２≧所定値
を判断する。この判断がＹＥＳならステップＳ１１に進む。
ステップＳ１１において、サンプリング部２のデータのサンプリング周期を短い周期ｔn にする。
【００２１】
ステップＳ１２において、ステップＳ１０の判断がＮＯならば、サンプリング部２のデータのサンプリング周期を上記の２倍の長い周期ｔ2nにする。
ステップＳ１３において、次の平均値、
（Ａk+１＋Ｂk+１）／２
を求める。
【００２２】
なお、上記ステップＳ１２における上記サンプリング周期をさらに数倍にしてもよい。このようにして、車間距離が大きい場合には、追跡走行制御の要請がないので、処理量を低減できる。
さらに、三角測量・距離演算部４の３回のサンプリング、例えば前サンプリング、現サンプリング、後サンプリングの平均値と画素・距離演算部５の３回のサンプリング、例えば前サンプリング、現サンプリング、後サンプリングの平均値とを平均化して、その値を前方車両と車間距離としてもよい。具体的には以下の通りである。
【００２３】
前方車間距離＝｛（Ａn-1 ＋Ａn ＋Ａn+1 ）／３＋（Ｂn-1 ＋Ｂn ＋Ｂn+1 ）／３｝／２
また、三角測量・距離演算部４の数回のサンプリングの平均値と画素・距離演算部５の数回のサンプリングの平均値とを平均化して、その値を前方車両との車間距離としてもよい。計測誤差を統計的に小さくするためである。
【００２４】
この場合にも、車間距離が大きい場合にはサンプリング周期を長くしてもよい。処理量を低減するためである。
さらに、三角測量・距離演算部４による距離データＡと画素・距離演算部５による距離データＢの差が別の所定値以上の場合にはサンプリング部２のサンプリング周期を短くし、この別の所定値未満の場合にはサンプリング部２のサンプリング周期（上記短いサンプリング周期の数倍）を長くする。このようにして、差が大きい場合には三角測量・距離演算部４の距離データＡに視差による大きな計測誤差が発生しているおそれがあるので、サンプリング周期を短くして次の小さい計測誤差の距離データＡで更新が可能なようにする。差が小さい場合には視差による計測誤差が小さいので、サンプリング周期を長くして処理量を小さくする。
【００２５】
さらに、複眼カメラによる前方車間距離計測装置において、サンプリング部２に車速センサからの車速信号が入力され、この入力車速信号に対してある設定速度を閾値として、サンプリング部２のサンプリング周期が２段に切り換えられる。具体的例としては、
１０ｋｍ／ｈ未満：短いサンプリング周期
１０ｋｍ／ｈ以上：長いサンプリング周期（短いサンプリング周期の数倍）
である。小さい速度では車間距離が小さく、その変化が大きいため、大きな計測誤差を早く更新する必要があるためである。大きい速度ではこの逆のため、大きな計測誤差に対して更新の必要がないので、処理量を小さくできる。
【００２６】
さらに、車速センサの速度信号に応じてサンプリング部２のサンプリング周期を多段に切り換えるようにしてもよい。切り換えが滑らかになり、追跡走行の制御と処理量の適正化を図ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る複眼カメラによる前方車間距離計測装置の概略を示す図である。
【図２】前方車両認識の処理における探索領域の設定、投影分布を説明する図である。
【図３】画素・距離演算部５の演算処理を説明する図である。
【図４】画素数と距離との関係データ格納部５２におけるデータを説明する図である。
【図５】距離決定部６における距離決定の処理を説明するフローチャートである。
【図６】距離決定部６の他の処理を説明するフローチャートである。
【図７】従来の複眼カメラによる前方車間距離計測装置に使用される距離演算を説明する図である。
【符号の説明】
１−１、１−２…カメラ
２…サンプリング部
３…前方車両認識部
４…三角測量・距離演算部
５…画素・距離演算部
６…距離決定部
【図１】
0003827368.tif 000004
【図２】
0003827368.tif 000005
【図３】
0003827368.tif 000006
【図４】
0003827368.tif 000007
【図５】
0003827368.tif 000008
【図６】
0003827368.tif 000009
【図７】
0003827368.tif 000010