(57)【要約】【課題】衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることを可能にする。【解決手段】撮像手段２が車両周囲の画像を撮像し、エッジ抽出手段３が撮像手段２が撮像した画像の中からエッジ画像を抽出し、エッジ幅規格化手段４がエッジ抽出手段３により抽出されたエッジ画像のエッジ幅を規格化し、投票手段５が、エッジ幅規格化手段４により規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化し、移動速度検出手段６がカウント値の傾きに基づいてエッジ抽出手段３により抽出されたエッジ画像の移動方向と移動速度を算出し、衝突時間算出手段７が、移動速度検出手段６により算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する。【選択図】図１
2006092117.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定装置であって、
車両周囲の画像を撮像する撮像手段と、
前記撮像手段が撮像した画像からエッジ画像を抽出するエッジ抽出手段と、
前記エッジ抽出手段により抽出されたエッジ画像のエッジ幅を規格化するエッジ幅規格化手段と、
前記エッジ幅規格化手段により規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化する投票手段と、
前記カウント値の傾きに基づいて、前記エッジ抽出手段により抽出されたエッジ画像の移動方向と移動速度を算出する移動速度検出手段と、
前記移動速度検出手段により算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する衝突時間算出手段と
を備えることを特徴とする車両用衝突時間推定装置。
【請求項２】
請求項１に記載の車両用衝突時間推定装置であって、
前記撮像手段は、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所、又は対象物との正確な衝突時間を計測すべき箇所に取り付けられることを特徴とする車両用衝突時間推定装置。
【請求項３】
請求項１又は請求項２に記載の車両用衝突時間推定装置であって、
前記衝突時間算出手段は、算出された衝突時間に基づいて対象物を分類することを特徴とする車両用衝突時間推定装置。
【請求項４】
車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定方法であって、
車両周囲の画像を撮像するステップと、
撮像された画像の中からエッジ画像を抽出するステップと、
抽出されたエッジ画像のエッジ幅を規格化するステップと、
規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化するステップと、
前記カウント値の傾きに基づいて、抽出されたエッジ画像の移動方向と移動速度を算出するステップと、
算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出するステップと
を有することを特徴とする車両用衝突時間推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載され、対象物との衝突時間を推定する車両用衝突時間推定装置及び車両用衝突時間推定方法に関する。
【背景技術】
【０００２】
従来より、時間的に異なる２つの車両周囲画像から衝突可能性がある対象物の水平方向又は垂直方向のエッジを検出し、検出されたエッジのオプティカルフローを相関法によって算出し、算出されたオプティカルフローに基づいて対象物との衝突時間を推定する車両用衝突時間推定装置が知られている（例えば、特許文献１を参照）。そして、このような車両用衝突時間推定装置によれば、推定された衝突時間に基づいて警報を発することにより、対象物に対する衝突回避行動を運転者にとらせることができる。
【０００３】
なお、上記相関法とは、画像を複数の領域に分割し、時間的に連続する画像の中から類似する領域を見付けるブロックマッチング手法であり、この手法では、時刻ｔにおけるフレーム内の注目領域Ｉ（ｘ，ｙ，ｔ）と、時刻ｔにおけるフレームに時間的に連続するフレーム内の注目領域Ｉ（ｘ，ｙ，ｔ）対応する領域Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）とについて、ΣΣ｛Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）｝２とΣΣ｜Ｉ（ｘ，ｙ，ｔ）−Ｉ（ｘ＋ｕ，ｙ＋ｖ，ｔ＋１）｜の値を最小にする（ｕ，ｖ）を連続するフレーム間での対象物のオプティカルフローとして検出する。
【特許文献１】特開平１１−３５３５６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、相関法を利用してオプティカルフローを検出する場合、注目する領域の周りに相関値を算出する設け、時間的に異なる２つのフレーム間で領域内輝度の相関値を検出するために、計算量が大きくなり、衝突時間を容易に算出することができない。また、画像内の対応位置を検出した後に画像内のエッジの速度を算出するために、画像内におけるエッジの位置決め精度が衝突時間の推定精度に直接影響する。すなわち、エッジ位置検出に誤差が含まれると、エッジ移動量にその誤差が含まれてしまう。
【０００５】
本発明は、上述の課題を解決するためになされたものであり、その目的は、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることが可能な車両用衝突時間推定装置及び車両用衝突時間推定方法を提供することにある。
【課題を解決するための手段】
【０００６】
上述の課題を解決するために、本発明に係る車両用衝突時間推定装置及び車両用衝突時間推定方法は、エッジ画像のエッジ幅を規格化し、規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化し、カウント値の傾きに基づいてエッジ画像の移動方向と移動速度を算出し、算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する。
【発明の効果】
【０００７】
本発明に係る車両用衝突時間推定装置及び車両用衝突時間推定方法によれば、テンプレートマッチングのようなブロックマッチング処理を行うことなくエッジ画像の移動速度及び衝突時間を算出することができるので、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明の実施形態となる車両用衝突時間推定装置の構成と動作について説明する。
【０００９】
［車両用衝突時間推定装置の構成］
本発明の実施形態となる車両用衝突時間推定装置１は、車両に搭載され、図１に示すように、車両周囲の画像を撮像する撮像手段２と、Ｓｏｂｅｌフィルタを利用して撮像手段２により撮像された時間的に連続する画像からエッジ画像を抽出するエッジ抽出手段３と、エッジ抽出手段３により抽出されたエッジ画像のエッジ幅を所定画素数に規格化するエッジ幅規格化手段４と、規格化されたエッジ画像が何フレーム連続して観測されたかの情報をカウントアップマスク１４（図２参照）として記憶する投票手段５と、カウントアップマスク１４を利用してエッジ画像の移動速度及び移動方向を算出する移動速度検出手段６と、エッジ画像の位置と移動速度を利用して衝突危険性がある対象物との衝突時間ＴＴＣを算出する衝突時間算出手段７とを有する。
【００１０】
なお、上記撮像手段２は、ＣＭＯＳやＣＣＤ等の撮像素子により構成され、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所、又は衝突危険性がある対象物との正確な衝突時間を計測すべき箇所に取り付けられる。また、撮像手段２は、エッジ画像の移動速度及び移動方向を簡易的に算出可能なように、エッジ画像の移動速度より速い所定値以上のフレームレートで自車両周囲画像を取得する（詳しくは後述する）。
【００１１】
また、上記エッジ幅規格化手段４は、図２に示すように、２値化手段１１と、細線化手段１２と、膨張手段１３とを有する。また、上記移動速度検出手段６は、投票値勾配算出手段１５を有する。また、上記エッジ抽出手段３，エッジ幅規格化手段４，投票手段５，移動速度検出手段６，及び衝突時間算出手段７の各機能は、車載コンピュータがコンピュータプログラムを実行することにより実現される。
【００１２】
このような構成を有する車両用衝突時間推定装置１は、以下に示す衝突時間算出処理を実行することにより、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることを可能にする。以下、図３に示すフローチャートを参照して、衝突時間算出処理を実行する際の車両用衝突時間推定装置１内部の動作について説明する。
【００１３】
［衝突時間算出処理］
図３に示すフローチャートは、撮像手段２が所定のフレームレート毎に車両周囲画像を取得し、取得した車両周囲画像をエッジ抽出手段３に入力することで開始となり、衝突時間算出処理はステップＳ１の処理に進む。
【００１４】
ステップＳ１の処理では、エッジ抽出手段３が、Ｓｏｂｅｌフィルタを利用して撮像手段２により撮像された車両周囲画像から横方向及び縦方向のエッジ画像を抽出する。これにより、このステップＳ１の処理は完了し、この算出処理はステップＳ２の処理に進む。
【００１５】
ステップＳ２の処理では、２値化手段１１が、図４（ａ）に示すように、ステップＳ１の処理により抽出された横方向及び縦方向のエッジ画像に対して２値化（０／１）処理を施す。これにより、このステップＳ２の処理は完了し、この算出処理はステップＳ３の処理に進む。
【００１６】
ステップＳ３の処理では、細線化手段１２が、図４（ｂ）に示すように、アクティブ（値が１）なエッジ画像を所定画素幅（図４（ｂ）に示す例では１画素）まで細線化する。なお、細線化手段１２は、エッジ幅が所定画素幅になるまで繰り返し細線化処理を実行する。これにより、このステップＳ３の処理は完了し、この算出処理はステップＳ４の処理に進む。
【００１７】
ステップＳ４の処理では、膨張手段１３が、エッジ画像を所定画素幅まで膨張させる。具体的には、エッジ画像を細線化した結果、図４（ｂ）に示すように位置ｘ０にエッジ画像が観測された場合、膨張手段１３は、図４（ｃ）に示すように、位置ｘ０の両側の位置ｘ０−１及び位置ｘ０＋１の画素をアクティブに設定することにより、エッジ画像を所定画素幅（図４（ｃ）に示す例では３画素）まで膨張させる。これにより、このステップＳ４の処理は完了し、この算出処理はステップＳ５の処理に進む。
【００１８】
ステップＳ５，Ｓ６の処理では、投票手段５が、規格化されたエッジ画像が観測された位置に対応するメモリアドレスの値（カウント値）をカウントアップ（ステップＳ５）、且つ、エッジが観測されなかった位置に対応するメモリアドレスの値を０にリセットする（ステップＳ６）。具体的には、時刻ｔにおいて図４（ｃ）に示すエッジ画像が検出された場合、投票手段５は、図５（ａ）に示すように、エッジ画像が検出された位置ｘ０−１，ｘ０，ｘ０＋１のカウント値を１つカウントアップする共に、それ以外の位置のカウント値を０にリセットする。
【００１９】
次に、時刻ｔ＋１においても位置ｘ０にエッジ画像が観測された場合、投票手段５は、図５（ｂ）に示すように、エッジ画像が検出された位置ｘ０−１，ｘ０，ｘ０＋１のカウント値をさらに１つカウントアップする共に、それ以外の位置の投票値を０にリセットする。次に、時刻ｔ＋２においてエッジ画像がｘ軸正方向に１画素シフトして位置ｘ０＋１に観測された場合、投票手段５は、図５（ｃ）に示すように、エッジ画像が検出された位置ｘ０，ｘ０＋１，ｘ０＋２のカウント値を１つカウントアップする共に、それ以外の位置のカウント値を０にリセットする。これにより、このステップＳ５，Ｓ６の処理は完了し、この算出処理はステップＳ７の処理に進む。
【００２０】
ここで、エッジ画像が移動する速度に比べてフレームレートが十分に高い場合、エッジ画像は連続するフレーム間で必ず重複する領域を有する（図５に示す例では２画素幅で重複している）。従って、上記のようにエッジ画像が観測された位置のカウント値をカウントアップしていくことにより、カウント値はエッジ画像が同じ位置に観測されている時間と等価になる。また、エッジ画像が移動した場合、エッジ画像が新たに観測された位置のカウント値は１であり、エッジ画像の投票値の中で最も小さい値となる。つまり、エッジ画像が移動する方向のカウント値は小さく、逆にエッジ画像が移動する方向と反対方向のエッジ画像のカウント値は大きくなる。従って、このようなカウント値の差によって生まれる勾配、すなわち図５に示す直線Ｙの傾きαは、エッジ画像が移動するまでの間にエッジ画像が何フレーム連続して同じ位置で観測されていたかを示す値、換言すれば、以下の数式１に示すようにエッジ画像の移動速度ｖedgeの逆数と等価になる。
【数１】
2006092117.tif 000003
【００２１】
具体的には、図５（ｂ）に示す例において、位置ｘ０−１，ｘ０，ｘ０＋１のカウント値がそれぞれ６，４，２であるとすると、エッジ画像の位置はシフトする度毎に位置ｘ０−１のカウント値と位置ｘ０＋１のカウント値の差であるＨ＝６−２＝４フレーム連続して観測されていたことがわかる。そして、位置ｘ０にシフトしてからは、位置ｘ０＋１の投票値ｈ＝２であることから、エッジ画像は２フレーム連続して観測されていることがわかる。従って、注目しているエッジ画像は４フレームで１画素移動していることがわかり、エッジ画像の移動速度を検出することができる。さらに、フレームレートが十分高い場合にはエッジ画像は等速移動していると仮定できるので、図５に示す例では、エッジ画像は、４フレームで１画素移動し、時刻ｔ＋１の時点では２フレーム連続して観測されていることより、時刻ｔ＋１の時点では、エッジ画像は、２フレーム／｛４フレーム／１画素｝＝０．５画素だけ位置ｘ０からシフトしていることがわかる。
【００２２】
ステップＳ７の処理では、投票値勾配算出手段１５が、カウント値の勾配αを算出することにより、エッジ画像の移動速度ｖedgeの逆数を算出する。これにより、このステップＳ７の処理は完了し、この算出処理はステップＳ８の処理に進む。
【００２３】
ステップＳ８の処理では、衝突時間算出手段７が、エッジ画像の位置とその移動速度に基づいて、衝突危険性がある対象物との衝突時間を算出する。具体的には、図６，７に示すように、時刻ｔ及び時刻ｔ＋ｄｔに検出されたエッジ画像の位置をそれぞれｙ，ｙ＋ｄｙ、時刻ｔから時刻ｔ＋ｄｔの間に自車両Ａが移動した距離をｄＬとした場合、時刻ｔ＋ｄｔにおける自車両Ａから他車両Ｂまでの距離Ｚは以下に示す数式２のように表すことができる。また、エッジ画像のｙ方向（垂直方向）の移動速度ｖedge及び他車両Ｂの自車両Ａとの相対速度Ｖvehicleはそれぞれ以下に示す数式３，４のように表すことができる。
【数２】
2006092117.tif 000004
【数３】
2006092117.tif 000005
【数４】
2006092117.tif 000006
【００２４】
従って、時刻ｔ＋ｄｔにおける自車両Ａから他車両Ｂまでの距離Ｚは、数式３，４を数式２に代入することにより、以下に示す数式５のように表されるので、以下に示す数式６に時刻ｔにおけるエッジ画像の位置ｙと移動速度ｖedge（又はカウント値の勾配α）を代入することにより、他車両Ｂとの衝突時間ＴＴＣを算出することができる。すなわち、他車両Ｂとの間の正確な距離や他車両Ｂとの相対速度を算出することなく、他車両Ｂとの間の距離が０になる時間を算出することにより、他車両Ｂとの衝突時間ＴＴＣを算出する。これにより、このステップＳ８の処理は完了し、一連の算出処理は終了する。
【数５】
2006092117.tif 000007
【数６】
2006092117.tif 000008
【００２５】
なお、このような算出処理によれば、エッジ画像の各点について衝突時間を算出することができるので、衝突時間算出手段７は、各点についての衝突時間を算出した後に、衝突時間に従って図８に示すように画像中から対象エッジＥｏｂｊと背景エッジＥｂｃｋとを分離することができる。具体的には、一般に、遠くにある背景エッジＥｂｃｋについて算出される衝突時間は大きくなるのに対して、自車両に接近する対象エッジＥｏｂｊについて算出される衝突時間は小さくなる。従って、衝突時間算出手段７は、衝突時間の大小に従って対象に付随するエッジを分類することができる。なお、自車両と等速で並進する、又は自車両から遠ざかる対象については衝突時間が大きくなるので、衝突時間算出手段７は対象を正確に分類する必要はない。
【００２６】
以上の説明から明らかなように、本発明の一実施形態となる車両用衝突時間推定装置１では、撮像手段２が車両周囲の画像を撮像し、エッジ抽出手段３が撮像手段２が撮像した画像の中からエッジ画像を抽出し、エッジ幅規格化手段４がエッジ抽出手段３により抽出されたエッジ画像のエッジ幅を規格化し、投票手段５が、エッジ幅規格化手段４により規格化されたエッジ画像について、エッジ画像が検出された位置に対応するカウント値を増数すると共に、エッジ画像が検出されなかった位置に対応するカウント値を初期化し、移動速度検出手段６がカウント値の傾きに基づいてエッジ抽出手段３により抽出されたエッジ画像の移動方向と移動速度を算出し、衝突時間算出手段７が、移動速度検出手段６により算出されたエッジ画像の位置及び移動速度を利用して、対象物との衝突時間を算出する。そして、このような構成によれば、テンプレートマッチングのようなブロックマッチング処理を行うことなくエッジ画像の移動速度及び衝突時間を算出することができるので、衝突時間の算出を容易にすると共に、位置検出誤差に対してロバストな出力を得ることができる。
【００２７】
また、本発明の一実施形態となる車両用衝突時間推定装置１では、撮像手段２は、車両の前端部、後端部、及び側面部のうちの少なくとも１箇所、又は対象物との正確な衝突時間を計測すべき箇所に取り付けられるので、撮像手段２が車両両端部からオフセットされて取り付けられた際に算出される衝突時間について、撮影手段２の位置の影響を排除することができる。
【００２８】
さらに、本発明の一実施形態となる車両用衝突時間推定装置１では、衝突時間算出手段７は、算出された衝突時間に基づいて画像内の対象物を分類することができるので、衝突危険性がある対象物とほぼ同じ位置に検出された背景物を除去することができる。
【００２９】
以上、本発明者らによってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、上記実施形態では、細線化処理と膨張処理を行うことによりエッジ幅を規格化したが、エッジ画像のエッジピーク位置を検出し、エッジピーク位置に所定画素数幅を持たせた２値画像を生成することにより、エッジ幅を規格化してもよい。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施形態となる車両用衝突時間推定装置の構成を示すブロック図である。
【図２】図１に示すエッジ幅規格化手段、投票手段、及び移動速度検出手段の内部構成を示すブロック図である。
【図３】本発明の実施形態となる衝突時間算出処理の流れを示すフローチャート図である。
【図４】図１に示すエッジ幅規格化手段による規格化処理を説明するための図である。
【図５】図１に示す投票手段によるカウント処理を説明するための図である。
【図６】図１に示す衝突時間算出手段による衝突時間算出処理を説明するための図である。
【図７】図１に示す衝突時間算出手段による衝突時間算出処理を説明するための図である。
【図８】図１に示す衝突時間算出手段による対象物分類処理を説明するための図である。
【符号の説明】
【００３１】
１：車両用衝突時間推定装置
２：撮像手段
３：エッジ抽出手段
４：エッジ幅規格化手段
５：投票手段
６：移動速度検出手段
７：衝突時間算出手段
１１：２値化手段
１２：細線化手段
１３：膨張手段
１４：カウントアップマスク
１５：投票値勾配算出手段
【図１】
2006092117.tif 000009
【図２】
2006092117.tif 000010
【図３】
2006092117.tif 000011
【図４】
2006092117.tif 000012
【図５】
2006092117.tif 000013
【図６】
2006092117.tif 000014
【図７】
2006092117.tif 000015
【図８】
2006092117.tif 000016