(57)【特許請求の範囲】
【請求項１】
車両に搭載された単眼の撮像手段と、
自車両の車速を検出する車速センサと、
前記撮像手段によって得られた画像内で、道路近傍に固定された構造体を検出する構造体検出手段と、
前記構造体の画像変化の状態と前記自車両の車速とに基づいて、前記撮像手段から前記構造体までの距離を推定する構造体距離推定手段と、
画像上で走行路上に存在する物体と前記構造体との画像上の位置関係および前記構造体距離推定手段で推定した前記構造体までの距離を用いて前記撮像手段から前記物体までの距離を推定する物体距離推定手段と、
を備えた車載用測距装置。
【請求項２】
前記構造体検出手段は、前記撮像手段で得られた画像内で前記構造体が存在すると予想される領域を設定し、その領域内で、画面上の移動速度が所定範囲の物体を道路近傍に固定された構造体と推定して検出することを特徴とする請求項１に記載の車載用測距装置。
【請求項３】
前記構造体距離推定手段は、前記撮像手段によって得られた画像から、所定時間間隔で時系列的に撮像された複数の画像の差分画像を求め、差分画像を求める際の二つの画像間の時間差を順次変化させ、前記構造体の差分画像が画像上に現われ始めた際の差分画像の時間差と、その際における差分画像の単位時間当たりの大きさの変化と、自車両の車速と、に基づいて、前記撮像手段から前記構造体までの距離を推定することを特徴とする請求項１に記載の車載用測距装置。
【請求項４】
前記物体距離推定手段は、画像上で検出された物体と前記構造体との位置関係から前記物体と前記構造体との距離を推定し、前記構造体距離推定手段で推定した前記撮像手段から前記構造体までの距離に、前記物体と構造体との距離を加減算することにより、前記撮像手段から前記物体までの距離を推定することを特徴とする請求項１に記載の車載用測距装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車載用の測距装置に関する。
【０００２】
【従来の技術】
電子式のカメラで撮像した画像を用いて距離を測る手法としては、複数のカメラからなるステレオカメラを用い、複数のカメラで同一物体を撮像したときの視差を用いて測距する方法が一般的である。
一方、一つのカメラ（以下、単眼カメラと記す）によって得られた撮像画像内の物体の距離を算定する方法としては、撮像画像内で物体の特徴的な場所（たとえば画像内に写っている車両の後方２つのタイヤの道路設置面）を結んだ線分と撮像画面内の基準線（たとえば画像の下方水平線）との距離ｌ（上記線分と基準線間の長さ：例えば画素数）を画像から計測し、カメラの画角やカメラ取り付け位置から幾何学的に決定される固定パラメータを用いて、上記の距離ｌを空間的なカメラと物体までの距離ｄに一意に換算する方法がある。このような単眼カメラを用いる方法は、前記のステレオカメラを用いる方法よりも、カメラが一つで構造が簡単であり、かつ、計算処理量も多くないので、簡便であるという特徴がある。
【０００３】
【発明が解決しようとする課題】
上記のような単眼カメラを用いる測距方法は、本質的には３次元情報を２次元情報として平面内に投影した物体の位置関係から距離を算定する構成となっているので、距離を算定するための前提となる幾何学的なパラメータが変化すると、測距の値が大きく変化するという問題を有している。特に、車載用の測距装置においては、車両の挙動変化によって幾何学パラメータが大きく変化するので影響が大きい。たとえば、自車両が加速すると車両前部が上方を向くので、先行車と自車両の位置が変化しなくても、画像面上では先行車が下方に移動するため、距離が見かけ上短くなる。逆に、自車両がブレーキをかけると、車両前部が沈み込むため、視覚的に遠方の先行車は画面上方に移動し、距離を実際よりも遠方に推定してしまう。このようにピッチングによって自車両の水平方向に対する角度が変化すると距離の計測値が変化してしまうという問題があった。
【０００４】
本発明は、上記のごとき従来技術の問題を解決するためになされたものであり、車両の姿勢変化があっても距離を正確に計測することの出来る車載用測距装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。すなわち、請求項１においては、車両に搭載された単眼の撮像手段と、自車両の車速を検出する車速センサと、前記撮像手段によって得られた画像内で、道路近傍に固定された構造体を検出する構造体検出手段と、前記構造体の画像変化の状態と前記自車両の車速とに基づいて、前記撮像手段から前記構造体までの距離を推定する構造体距離推定手段と、画像上で走行路上に存在する物体と前記構造体との画像上の位置関係および前記構造体距離推定手段で推定した前記構造体までの距離を用いて前記撮像手段から前記物体までの距離を推定する物体距離推定手段と、を備えるように構成している。
【０００６】
また、請求項２に記載のように、前記構造体検出手段は、前記撮像手段で得られた画像内で前記構造体が存在すると予想される領域を設定し、その領域内で、画面上の移動速度が所定範囲の物体を道路近傍に固定された構造体と推定して検出するように構成している。
【０００７】
また、請求項３に記載のように、前記構造体距離推定手段は、前記撮像手段によって得られた画像から、所定時間間隔で時系列的に撮像された複数の画像の差分画像を求め、差分画像を求める際の二つの画像間の時間差を順次変化させ、前記構造体の差分画像が画像上に現われ始めた際の差分画像の時間差と、その際における差分画像の単位時間当たりの大きさの変化と、自車両の車速と、に基づいて、前記撮像手段から前記構造体までの距離を推定するように構成している。
【０００８】
また、請求項４に記載のように、前記物体距離推定手段は、画像上で検出された物体と前記構造体との位置関係から前記物体と前記構造体との距離を推定し、前記構造体距離推定手段で推定した前記撮像手段から前記構造体までの距離に、前記物体と構造体との距離を加減算することにより、前記撮像手段から前記物体までの距離を推定するように構成している。
【０００９】
【発明の効果】
請求項１の発明によれば、撮像された画像内の物体（例えば先行車）までの距離を推定する際に、物体自体の画像内位置ではなく、物体の近傍にある道路近傍の構造体に着目し、構造体の見え方の変化（構造体が自車両に接近する時の絵の大きさの変化）に基づいて距離を推定し、その構造体の位置を基準として対象とする物体までの距離を推定するように構成している。そのため、車両のピッチング等の姿勢変化に関わらず、距離を精度よく測定することができる。なお、接近する物体の画像内における像の大きさの変化に着目しただけでなく、その物体として道路近傍に静止している街灯やデリニエータなどの道路構造体を用いたことにより、精度よく測距のためのリファレンス対象を発見することができるという特徴がある。
【００１０】
請求項２においては、撮像手段で得られた画像内で構造体が存在すると予想される領域を設定し、その領域内で、画面上の移動速度が所定範囲の（例えば自車両と同じ速度で接近する）物体を道路近傍に固定された構造体と推定するので、容易で確実に構造体を検出することが出来、かつ、演算量を少なくすることが出来る。
【００１１】
また、請求項３においては、差分画像の大きさの変化は車両の姿勢に影響されないので、車両のピッチング等の姿勢変化に関わらず、距離を精度よく測定することができる。
【００１２】
また、請求項４においては、正確に検出された構造体までの距離を基準として先行車等の物体までの距離を推定するので、車両のピッチング等の姿勢変化に関わらず、距離を精度よく測定することができる。
【００１３】
【発明の実施の形態】
図１は本発明の一実施例を示すブロック図である。
図１において、撮像装置１は車両に搭載され、車両前方の画像を撮像する。車速センサ２は自車両の車速を計測するものであり、例えば車輪速パルス計である。また、速度フィルタ３、道路構造体検出手段４、道路構造体距離推定手段５および先行車距離推定手段６は、例えばマイクロコンピュータとその付属部品から構成される。なお、上記の３〜６の詳細については後述する。
【００１４】
撮像装置１として用いる撮像デバイスとしては、一般的にはＣＣＤなどが知られている。本発明ではＣＣＤを用いてもよいが、できれば１フレームあたりの撮像時間が１ｍｓ程度の高速イメージャが適している。高速イメージャとしては、例えば「小室孝、鈴木伸介、石井抱、石川正俊“汎用プロセッシングエレメントを用いた超並列、超高速ビジョンチップの設計”電子情報通信学会論文誌,Vol.J81-D-I,No2,pp.70-76,1998」に記載された装置がある。このような高速イメージャを用いることにより、速い動きのある物体でも正確に撮像することができる。こうした撮像装置１から得られた画像信号は、速度フィルタ２に入力される。
【００１５】
以下、速度フィルタ２について説明する。なお、速度フィルタの技術については本出願人が既に出願（特願２００１−２３６５９５号）している。
速度フィルタ２は、基本的には、時間的な差分画像処理を行う手段であり、これを使用するときには自車速が必要なので、車速センサ３（例えば車輪速パルス計）から自車速を入力する。
撮像装置１において、１フレームが、仮に１ｍｓで撮像できるとし、１ｍｓごとに多数のフレーム画像を入力する。このとき、時刻ｔ０のフレーム画像をＦ（ｔ０）とし、１ｍｓ前のフレーム画像は、Ｆ（ｔ０−１）と表現する。よって、ｔ０のフレームからＮｍｓ前のフレーム画像は、Ｆ（ｔ０−Ｎ）で表すことが出来る。このとき、画像上で静止またはゆっくりした動きをする物体（例えば自車両と同じ程度の速度で移動している他車両等）は、Ｆ（ｔ０）でもＦ（ｔ０−１）でも、画像上のほぼ同じ場所に存在する。よって、Ｆ（ｔ０）−Ｆ（ｔ０−１）の差分画像処理を行うと、ほぼ同じ場所にあるため、差分画像には像が残らない。しかし、十分大きなＮを用い、Ｆ（ｔ０）−Ｆ（ｔ０−Ｎ）にすれば、両フレームにおいて物体の位置が異なるであろうから、差分画像処理をしても物体の像が現れる。このように、上記Ｎを適当に取ることによって、画像上である速さ以上で動いている物体を差分画像内に表示することができる。ここで、Ｎを１から所定の値までスイープすることによって、差分処理画像内に見え始めた物体の画像上の移動速度は、見え始めたときのＮによって推定することができる。このように速度フィルタ２を用いることにより、画像内で任意の移動速度を有する物体を検出することが出来、また、画像内での移動速度の大きな物体と移動速度の小さな物体とを区別することが出来る。
【００１６】
次に、本発明における道路構造体までの距離推定の原理を説明する。
自車両の移動に応じて、道路上に静止している電灯、標識などの道路構造体は、画像上では等価的に自車両の速度で接近してくる。一般的に、直線道路を前提としたとき、近傍の物体は、接近によって急激にその輪郭などが大きくなるが、遠方の物体は、接近に伴って急激には物体輪郭が大きくならない。すなわち、自車速度をＶとし、道路上の検出対象を静止物（画像上では移動する）に限定するならば、輪郭が単位時間ごとに大きくなる速さ（ｄＳ／ｄｔ）は、
ｄＳ／ｄｔ＝Ｇ（Ｎ、Ｖ、ｄ）      …（数１）
で表される。ただし、ｄは静止物とカメラの間の距離である。
この変化は、幾何学的に双曲線としてあらわされるが、前記速度フィルタにおいて差分するフレームを逐次増加してゆき、何フレームの差分画像から像が現れるかを観察する。このとき、何フレームの差分画像で見え始めるかは、静止物とカメラの間の距離ｄと、車が静止物に接近する速さＶと、によって算定される。
【００１７】
ここで、距離ｄが含まれるのは、先述したように、遠方の物体は、大きさの変化が小さいので、等価的に低い速度（Ｎが大きい）で、像が現れる。一方、距離ｄが近ければ、大きさの変化は大きく、少ないフレーム（Ｎが小）間で差分画像内に物体が現れる。以上の関係を図２に示す。
ここで、もし、対象が道路構造体であり、静止しているものであることが前提としてわかっているならば、前記（数１）式において、ｄＳ／ｄｔは、Ｎをスイープして見え始まったときの大きさ変化であり、これは画像から測定することができる既知量である。幾何学的に上記の式が一意に設定されることから、ｄＳ／ｄｔ、Ｎ、Ｖがわかれば、ｄが計算できる。つまり、
ｄ＝Ｈ[Ｎ、Ｖ、（ｄＳ／ｄｔ）]      …（数２）
として算出することができ、距離ｄを推定することができる。
【００１８】
本発明においては、画面上で道路構造体が存在すると予想される領域（詳細後述）を設定し、その領域内で、移動速度が所定範囲（例えば、構造物に自車両が接近する速度：対象が固定物であるから自車速に相当）の物体を道路構造体（道路近傍に存在する固定の構造体）と推定し、前記の方法でその道路構造体までの距離ｄを推定する。そして画面上で検出した先行車（あるいはその他の物体：障害物等）と道路構造体との間隔ｄ’を画像上で求め、上記の距離ｄに加算または減算（先行車が道路構造体より先方なら加算、手前なら減算）することにより、自車両から先行車までの距離（ｄ±ｄ’）を求めるように構成している。
【００１９】
上記のように、道路構造体までの距離の推定値は、道路構造体の大きさ（例えば縦の長さ：画素値）の時間的な変化に基づいているので、車両がピッチングしても、あまり影響を受けない。そしてその推定値を基準として、そこから先行車までの距離を画面上で推定するので、先行車までの距離を安定して推定することが可能になる。したがって従来のように単にカメラの画角やカメラ取り付け位置から幾何学的に決定される固定パラメータを用いて求めた距離のように、車両のピッチングによって影響されることなく、常に正確な距離を推定することが出来る。
【００２０】
図３は、上記の演算処理を示すフローチャートである。
図３において、まず、ステップＳ１では、前方の道路状況を撮像する。この撮像画像をＦ（ｔ０）とする。
ステップＳ２では、過去の撮像画面を１単位時間だけ戻して、Ｆ（ｔ０−１）からＦ（ｔ０−Ｎ）までとして蓄積する。すなわち、ステップＳ１で撮像前の前回のサイクルにおけるＦ（ｔ０）をＦ（ｔ０−１）として格納し直し、前回のサイクルにおけるＦ（ｔ０−Ｎ）は、ステップＳ１のステップにおける撮像後破棄され、撮像前にＦ（ｔ０−Ｎ＋１）だった画像が、ステップＳ１の撮像後にＦ（ｔ０−Ｎ）として蓄積される。
【００２１】
ステップＳ３では、道路構造体を検出するためのマスク処理を行う。つまり、画面上で道路構造体が存在すると予想される領域のみを道路構造体検出領域として残す。この領域は、例えば図４に示すように、道路の両端を示す白線や溝等の上方の領域である。
【００２２】
ステップＳ４では、差分間隔を変化させて差分画像を観測する。具体的には、差分間隔をｎとすれば、ステップＳ２によって蓄積された撮像画像において、
ΔＦｎ（ｔ０）＝Ｆ（ｔ０）−Ｆ（ｔ０−ｎ）を算定する。
ただし、ｎは、Ｎに対して十分小さな値であり、ｎが差分間隔に対応している。ステップＳ４では、ｎを小さな値から大きな値に徐々にスイープし、差分画像に物体の絵が現れるか否かを観察する。
【００２３】
ステップＳ５では、差分画像内に物体が現れた時のパラメータｎをＮｔ０とする。
ステップＳ６では、物体が道路構造体か否かを判断する。例えば、Ｎｔ０が所定範囲（例えば自車両の速度に相当する程度の範囲）の物体を道路構造体と判断する。なお、移動速度が所定範囲で、かつ、長い縦エッジを持つ物体（建物や街路灯など）や周期的に出現する物体（道路標識等）を道路構造体と判断するように構成してもよい。
【００２４】
ステップＳ７では、その画像内の物体の大きさ（＝高さ：例えば画素数）をＳｔ０とする。
ステップＳ８では、あらかじめ設定してある所定値ｍフレーム後のＳ（ｔ０−ｍ）を算定し、ステップＳ７で初めて出現したときの高さＳｔ０との差ΔＳｔ０を求める。このΔＳｔ０は単位時間ｔ当たりの高さの変化、つまり大きさの変化率ｄＳ／ｄｔに相当する。
【００２５】
ステップＳ９では、車速Ｖ、単位時間当たりの高さの変化ΔＳｔ０（つまりｄＳ／ｄｔ）、およびＮｔ０より、前記（数２）式（具体的には後記（数３）式）を用いて道路構造体までの距離を算定する。この関係は前記図２にような特性となる。
【００２６】
ステップＳ１０では、画面上で求められた先行車に対して、それに近い位置にある道路構造体との位置の差（距離）ｄ’を求め、その距離にステップＳ８で求めた道路構造体までの距離ｄを加減算することによって先行車までの距離を求める。
【００２７】
具体的には、図５に示すように、注目している道路構造体までの距離ｄが得られたら、道路構造体の位置を基準として、水平方向に基準線を伸ばし、その基準線に対して自車レーン内の先行車の位置を求める。すなわち、道路構造体の位置を基準距離ｄとし、その基準線から車両のタイヤまでの距離ｄ’を求め、ｄにｄ’を加算または減算（先行車が道路構造体より先方なら加算、手前なら減算：図５の例ではｄ−ｄ’）することにより、自車両から先行車までの距離を求める。
【００２８】
図５（ａ）において、０は、道路構造体の道路面と先行車のタイヤ面が同一の場面である。図５の例は、基準となる道路構造体よりも近い場所に先行車がいる場合を示している。このように自車両（カメラ）から道路構造体までの距離を求め、道路構造体の位置を基準として先行車両まで距離を算定する。道路構造体（基準位置）から先行車両までの距離は画像上の位置関係から従来と同様の方法（基準位置から何画素だけ先方または手前に存在するかの値と幾何学的パラメータから算出）で容易に算出することが出来る。
【００２９】
従来装置においては、図６（ａ）に示すように、単純に画像上の位置から固定パラメータを用いて、撮影フレーム端から先行車両までの距離を求めていたので、ピッチングによって自車両の角度が変化すると、実際の距離が変化しなくとも距離の演算結果が変化してしまう。そのため正確な距離を安定して求めることが困難であった。本発明においては、図６（ｂ）に示すように、固定の道路構造体を検出し、その道路構造体までの距離を求めている。道路構造体までの距離の推定値は、前記のように道路構造体の大きさの変化に基づいているので、車両にピッチングが生じてもあまり影響を受けない。したがって道路構造体までの距離は正確な値である。この正確な距離を基準として、その付近に存在する先行車両までの距離を求めるので、先行車両までの距離も正確に求めることが出来る。
【００３０】
以下、道路構造体までの距離の推定を具体例に基づいて説明する。
前方距離ｄに道路に垂直に存在する高さｈの物体は、カメラの画角（カメラの中心軸と水平面とのなす角）をΘ、撮像面の縦方向画像サイズをＬ（撮像画面の縦方向の全画素数）とすれば、上記物体の縦画像サイズｌ（物体の写っている画素数）とは、下記（数３）式の関係がある。
ｄ＝（Ｌ・ｈ）／（Θ・ｌ）      …（数３）
よって、撮像環境からＬ、Θが規定され、撮像面からｌが導き出せれば、ｄを求めることが出来る。なお、上記の式は、Θが一般に３度程度と小さいので、ｔａｎ（Θ／２）＝Θ／２とおいて求めている。
【００３１】
例えば、自車両が１００ｋｍ／ｈで走行しているときに、現時点における自車両の位置から、測定したい道路構造体までの距離ｄを求める場合について考える。距離を測定するための目印となる道路構造体としては、路側に存在する街路灯とする。街路灯の高さは、その種類によって異なるため、ここでは未知数ｈとする。カメラの垂直方向の画角Θを３度とし、カメラの撮像面（ＣＣＤ画素面）が横５１２×縦２５６の画素から構成（したがってＬ＝２５６）されているものとする。このとき上記の街路灯がカメラ撮像面において、縦方向に２０画素に対応している（ｌ＝２０）とすれば、前記の（数３）式において、
Θ＝３
Ｌ＝２５６
ｌ＝２０
であるから、
ｄ＝（２５６×ｈ）／（３×２０）  …（数４）
となり、ｄ＝４.２ｈが得られる。
次に、０.５秒後に同じ観測を行う。この場合、自車両は１００ｋｍ／ｈで走行しているので、０.５秒で街路灯に接近した距離δｄは、
δｄ＝０.５×（１０００００／３６００）＝１３.９ｍ
となる。
ここで、上記０.５秒間で街路灯が接近したことにより、撮像面上に投影された街路灯の垂直方向の画素数が２５画素になったとする。
したがって、この場合には、前記（数３）式は
ｄ−１３.９＝（２５６×ｈ）／（３×２５）
となり、
ｄ＝１３.９＋（２５６×ｈ）／（３×２５）    …（数５）
が得られる。
上記（数４）式と（数５）式からｈを消去してｄを求めれば、
ｄ＝６９.５
が得られる。つまり、自車両から道路構造体である街路灯までの距離は６９.５ｍであることが判る。
前記（数２）式に当て嵌めれば、最初２０画素で０.５秒後に２５画素になっているから、ｄＳ／ｄｔは５である。前記の速度フィルタにおいて、０.５秒で、輪郭（高さ）の変化が５だけ大きくなったものが見えたとすれば、前記の説明により、自車両から街路灯までの距離は６９.５ｍと推定することが出来る。
【００３２】
最後に、道路構造体について説明する。
道路構造体は、画像内で図４に示したような道路構造体が存在すると予想される領域内で検出された物体のうちで、画面上の移動速度が所定範囲の物体を道路近傍に固定された構造体と推定することができる。つまり、道路構造体は、道路周囲に固定された物体であるから、図４に示したように、画面上で道路の側に存在し、かつ、自車両が移動するのに伴って、自車両と同じ速度で近寄って来るものである。具体的な道路構造体としては、例えば、ガードレール、コンクリート側壁のテクスチャ、防音壁の表面のテクスチャ、デリニエータ、街灯、街灯のポールなどに設定することが出来る。また、道路上に書かれた白線マークの途切れた部分なども距離の参照物となりうる。これらの物体は、図４に示したように、道路の右側面、もしくは左側面に存在する可能性が高い。よって、図４に示す領域のみについて速度フィルタによって出現した物体の距離を測定すれば、道路構造体を参照物として、前方対象の距離を観測することができる。
【図面の簡単な説明】
【図１】本発明の一実施例を示すブロック図。
【図２】接近によって対象物が大きくなる速さ（ｄＳ／ｄｔ）と画像上の対象物までの距離ｄとの関係を示す特性図。
【図３】道路構造体までの距離の演算処理を示すフローチャート。
【図４】道路構造体の検出領域を示す図。
【図５】検出した道路構造体を基準位置として先行車両までの距離算出を示す図。
【図６】従来例と本発明における距離算出の差異を説明するための図。
【符号の説明】
１…撮像装置                          ２…車速センサ
３…速度フィルタ                      ４…道路構造体検出手段
５…道路構造体距離推定手段            ６…先行車距離推定手段
【図１】
0003747863.tif 000002
【図２】
0003747863.tif 000003
【図３】
0003747863.tif 000004
【図４】
0003747863.tif 000005
【図５】
0003747863.tif 000006
【図６】
0003747863.tif 000007