(57)【要約】【課題】カメラの光軸にぶれが生じた場合にも、的確に障害物を検出することができる障害物検出装置を提供する。【解決手段】カメラＣにより車両の進行方向前方を路面上の白線と共に撮影する。画像取得部１１は、カメラＣから所定時刻毎に画像を取得し、時空間画像生成部１４は画像取得部１１により取得された画像からライン位置上の画素をライン画素として抽出すると共に、そのライン画素を用いて時空間画像を生成する。障害物検出部１５は、その時空間画像を解析することにより障害物を検出する。時空間画像生成に際し、白線検出部１２は画像取得部１１により取得された画像中の白線を検出し、ライン位置決定部１３は白線検出部１２により検出された白線の情報に基づき、現時刻の画像中から前時刻におけるライン位置上の白線と最も類似する白線を含むライン画素を規定するライン位置を決定する。【選択図】図１
2010205041.tif 000002
【特許請求の範囲】
【請求項１】
車両の進行方向前方を路面上の白線と共に撮影するカメラと、
前記カメラから所定時刻毎に画像を取得する画像取得部と、
各々の前記画像から所定ライン位置の画素をライン画素として取得し、当該ライン画素を時刻順にライン画素の並び方向と直交する方向に並べることにより時空間画像を生成する時空間画像生成部と、
前記時空間画像上の被撮影物の軌跡に基づき障害物を検出する障害物検出部と、を備えた障害物検出装置であって、
前記画像中の白線を検出する白線検出部と、
一の時刻における前記画像中に複数の仮ライン位置を設定し、各々の仮ライン位置の画素を仮ライン画素として設定すると共に、各々の当該仮ライン画素中の前記白線と当該一の時刻の直前時刻における前記ライン画素中の前記白線とを比較することにより、当該直前時刻における前記白線と最も類似する白線を含む仮ライン画素を規定する仮ライン位置を前記所定ライン位置として決定するライン位置決定部と、を備えたことを特徴とする障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
車両に搭載される障害物検出装置における障害物検出技術に関し、特に車両の進行方向前方を横断する障害物の検出技術に関する。
【背景技術】
【０００２】
車両の近傍の障害物を検出する技術として、時空間画像を用いたものがある（特許文献１参照）。時空間画像中では、障害物等はその移動状態および車両の移動状態とに応じた軌跡として表れる。特許文献１では、そのような特性に着目して障害物の検出を行っている。
【０００３】
しかしながら、道路の状態や車両自身の振動によりカメラの光軸にぶれが生じているため、生成された時空間画像には時間軸方向において不連続性が生じている。この不連続性は、軌跡を解析するには不都合を生じる。この問題点を解決するために、初期状態のカメラの方向と障害物検出を行うために画像撮影した際のカメラの方向とに基づき時空間画像を生成する検出ラインの設定位置（本発明のライン位置に相当）を補正する技術がある（特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−２４０３９７（段落番号０００６、０００９）
【特許文献２】特開２００６−４０１６５（段落番号０００３、図９）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２では初期状態のカメラ方向と障害物検出時のカメラ方向により検出ライン位置を補正しているため、時々刻々変化するカメラ方向に対する補正を行うことができない。また、カメラ方向に基づいて補正を行っているため、路面が傾斜している場合には、不要な補正を行う可能性がある。
【０００６】
本発明の目的は、カメラの光軸にぶれが生じた場合にも、的確に障害物を検出することができる障害物検出装置を提供することである。
【課題を解決するための手段】
【０００７】
前記課題を解決するために、本発明の障害物検出装置は、車両の進行方向前方を路面上の白線と共に撮影するカメラと、前記カメラから所定時刻毎に画像を取得する画像取得部と、各々の前記画像から所定ライン位置の画素をライン画素として取得し、当該ライン画素を時刻順にライン画素の並び方向と直交する方向に並べることにより時空間画像を生成する時空間画像生成部と、前記時空間画像上の被撮影物の軌跡に基づき障害物を検出する障害物検出部と、を備えた障害物検出装置であって、前記画像中の白線を検出する白線検出部と、一の時刻における前記画像中に複数の仮ライン位置を設定し、各々の仮ライン位置の画素を仮ライン画素として設定すると共に、各々の当該仮ライン画素中の前記白線と当該一の時刻の直前時刻における前記ライン画素中の前記白線とを比較することにより、当該直前時刻における前記白線と最も類似する白線を含む仮ライン画素を規定する仮ライン位置を前記所定ライン位置として決定するライン位置決定部と、を備えている。
【０００８】
この構成では、ライン位置決定部により、現時刻の画像中から、直前の時刻におけるライン画素中の白線と最も一致する白線を含むライン位置が決定される。このように決定されたライン位置を用いて時空間画像を生成することにより、時空間画像上での白線は時間軸方向に平行な直線となる。すなわち、時空間画像の時間軸方向での不連続性が解消される。これにより、障害物の軌跡の解析精度および障害物検出精度を高めることがでる。また、車両と障害物との衝突の可能性を判定するためには、障害物の軌跡と白線を構成する直線との交差角を正確に求める必要がある。本発明では、上述のように時空間画像中の白線は直線となっているため、障害物の軌跡と白線を構成する直線との交差角を正確に求めることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の障害物検出装置の機能ブロック図である。
【図２】時空間画像の概念図である。
【図３】従来の時空間画像の生成方法による時空間画像の生成方法を表す図である。
【図４】本発明の障害物検出装置の処理の流れを表すフローチャートである。
【図５】本発明におけるライン位置決定の概念図である。
【図６】本発明におけるライン位置決定の処理の流れを表すフローチャートである。
【図７】本発明により生成された時空間画像生成の例である。
【図８】本発明における障害物検出処理の流れを表すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に図面を用いて、本発明の障害物検出装置の実施形態を説明する。図１は、本発明の障害物検出装置の各機能部を表す機能ブロック図である。図に示すように、障害物検出装置は、車両の進行方向前方を撮影するカメラＣ、カメラＣにより撮影された画像を解析することにより横断障害物を検出する演算処理部Ａを備えている。
【００１１】
本実施形態では、カメラＣは、バンパーやフロントガラスの近傍等、車両前方を撮影可能な位置に設置されている。なお、車両後方を撮影可能な位置にカメラＣを設置すれば、後進時における進行方向前方の横断障害物の検出に用いることができる。また、本発明の障害物検出装置では、後述するように路面上の白線を用いた処理を行うために、カメラＣにより撮影された画像に白線が含まれる必要がある。そのため、本実施形態では、カメラＣとしてドライブレコーダに使用されるカメラを使用する。一般的な、ドライブレコーダに用いられるカメラは、画角が１２０°程度あり、車線両側の白線を撮影することができるため好適である。当然ながら、車線の一方側の白線が撮影されていれば、その側からの横断障害物を検出することができるため、通常の画角が狭いカメラも使用することができる。この場合には、２台のカメラを両側の白線が撮影可能な位置に設置することが望ましい。
【００１２】
演算処理部Ａは、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、Ｉ／Ｏバス等から構成されている。演算処理部Ａ内には、カメラＣにより撮影された画像をＩ／Ｏバスを介して取得する画像取得部１１、画像取得部１１により取得された画像から白線を検出する白線検出部１２、白線検出部１２により検出された白線位置に基づき時空間画像を生成するためのライン位置を決定するライン位置決定部１３、画像中のライン位置決定部１３により決定されたライン位置の画素を用いて時空間画像を生成する時空間画像生成部１４、時空間画像生成部１４により生成された時空間画像から横断障害物を検出する障害物検出部１５、障害物検出部１５により障害物が検出された際に、運転者に警告等を行う制御部１６がソフトウェアおよび／またはハードウェアにより構成されている。
【００１３】
図２は、時空間画像の概念図である。図中では、時刻ｔ，ｔ＋１，ｔ＋２・・・ｔ＋ｎに撮影された画像をＩt，Ｉt+1，Ｉt+2・・・Ｉt+nとしている（図２上段参照）。通常、時空間画像を生成する際には、予めライン位置を定めておき、各時刻の画像からそのライン位置の画素（以下、ライン画素と称する）を抽出し、ライン画素を時刻順にライン方向と直交する方向に並べることにより生成する。予め定められたライン位置をＬ、画像中Ｉのライン画素をＩ（Ｌ）（図中点線上の画素）とすると、各時刻の画像からライン画素Ｉt（Ｌ），Ｉt+1（Ｌ），Ｉt+2（Ｌ）・・・Ｉt+n（Ｌ）が得られる。これを時刻順に縦方向に並べることにより生成した画像が時空間画像である（図２下段参照）。すなわち、時空間画像はｙ軸を時間軸とする画像である。なお、画像中のこのライン位置において障害物の検出が行われるため、このライン位置はカメラの設置角度、検出すべき障害物の車両からの距離、車両の速度等に基づき決定することが望ましい。
【００１４】
上述した一般的な時空間画像生成方法では、カメラの光軸がぶれない場合には時間軸方向に連続な時空間画像を得ることができる。しかしながら、実際に車両が走行する際には、路面状況の変化や車両自身の揺れ等によりカメラの光軸にぶれが生じている。この場合には、撮影された画像間で白線等の位置にもずれが生じる。例えば、図３（ａ）、（ｂ）は連続する時刻に撮影された画像であり、撮影された際のカメラＣにはヨーイングが生じている。そのため、これらの画像からライン位置Ｌのライン画素を抽出し、縦方向に並べると図３（ｃ）に示すように白線（ハッチング部分）が不連続となる。この不連続性は、白線だけでなく画像中の全ての被撮影物にも現れる。また、ヨーイングだけでなく、カメラＣに他の方向の回転が生じた場合も同様である。このため、時空間画像中に現れる障害物の移動軌跡が不連続となり、障害物の検出を困難にしている。この問題を解決するために、本発明では、以下の方法により時空間画像を生成している。
【００１５】
図４は、本発明における障害物検出の処理の流れを表すフローチャートである。
【００１６】
カメラＣは撮影した画像を、常にＩ／Ｏバスを介して演算処理部Ａの画像取得部１１に通信している。画像取得部１１は、所定の時間間隔でカメラＣからの画像を静止画像として取得する（＃１１）。このとき、カメラＣからの信号がＮＴＳＣ等のアナログ信号の場合には、画像取得部１１はＡ／Ｄ変換して、デジタル化する機能を備える。画像取得部１１により取得された画像は、ＲＡＭに一時記憶され、画像取得部１１は画像を取得した旨を白線検出部１２に通知する。
【００１７】
画像を取得した旨の通知を受けた白線検出部１２は、ＲＡＭから画像取得部１１により取得された画像を取得し、その画像中から白線を検出する（＃１３）。図５（ａ）は、時刻ｔ−１における画像Ｉt-1である。図に示すように、画像Ｉt-1中には、車線左右の白線ＷLおよびＷRが撮影されている。この画像に対してＨｏｕｇｈ変換を用いて直線を検出する。通常、画像中には様々な物が映り込んでいるため、白線以外にも多数の直線が検出される。この場合には、平行する２直線、直線の消失点の方向等の条件を用いて白線を構成する直線を得ることができる。図中では、左側の白線ＷLの外側および内側の直線がｌinおよびｌout、右側の白線ＲLの外側および内側の直線がｒinおよびｒoutとして検出されている。このとき、白線検出部１２は、検出した白線の位置情報をライン位置決定部１３に通知すると共にＲＡＭに画像の取得時刻と関連付けて記憶させる。白線の位置情報の表現方法は、白線を構成する直線の式、座標列等を用いることができるが、本実施形態では、処理を簡便にするために白線を構成する各直線の座標列を用いる。なお、直線の検出方法はＨｏｕｇｈ変換に限定されるものではなく、他の方法を用いても構わない。
【００１８】
白線検出部１２から白線の位置情報を取得したライン位置決定部１３は、白線の位置情報に基づき、時空間画像生成に用いるライン画素のライン位置を決定する（＃１４）。決定したライン位置は、時空間画像生成部１４に通知されると共に、ＲＡＭに時刻と関連付けて記録させる。
【００１９】
以下に、ライン位置決定部１３における処理（＃１４）の流れを図５および図６のフローチャートを用いて説明する。なお、ここでの説明において現時刻をｔ、前時刻をｔ−１として表し、各時刻におけるライン位置をＬtとして表す。
【００２０】
まず、前時刻ｔ−１におけるライン位置Ｌt-1および白線の位置情報をＲＡＭから取得する（＃２１）。次に、前時刻におけるライン位置Ｌt-1における左右の白線ＷLとＷRの内側の直線ｌinおよびｒin間の距離Ｘt-1を求める（＃２２、図５（ａ））。すなわち、直線ｌinおよびｒinを構成する点群のうちｙ座標がＬt-1である点Ｐl（ｘl，Ｌt-1）およびＰr（ｘr，Ｌt-1）を求め、Ｘt-1＝ｘr−ｘlとする。
【００２１】
次に、ＲＡＭから現時刻における白線の位置情報を取得し（＃２３）、ライン位置をｉ（ｉ＝０〜画像のｙ方向サイズ−１）と仮定した場合における白線間の距離Ｘiを上述した方法と同様の方法により算出する（＃２４）。以下、この仮定したライン位置ｉを仮ライン位置と称する。このとき、仮ライン位置を全てのｙ座標とするのではなく、前時刻のライン位置Ｌt-1の上下数ラインのみに限定すると、演算量を低減し処理速度を向上させることができる。
【００２２】
このようにして求められた、前時刻のライン位置Ｌt-1における白線間距離Ｘt-1と現時刻における複数の仮ライン位置ｉにおけるＸiとを比較することにより現時刻のライン位置Ｌtを決定する。具体的には、｜Ｘt-1−Ｘi｜が最小となる仮ライン位置ｉを現時刻のライン位置Ｌtとする（＃２５）。
【００２３】
なお、白線間距離は白線を構成する外側の直線間の距離としても構わない。
【００２４】
白線検出およびライン位置決定処理は、前時刻の情報が必要であるため、画像取得部１１により取得された画像が最初の画像の場合（＃１２のYes分岐）には、白線検出処理（＃１３）およびライン位置決定処理（＃１４）は行われない。この場合のライン位置は、デフォルト値が用いられる。
【００２５】
ライン位置決定部１３から現時刻のライン位置Ｌtの通知を受けた時空間画像生成部１４は、ＲＡＭ上の空間画像を更新生成する（＃１６）。具体的には、時空間画像生成部１４は、時空間画像がＲＡＭ上に存在しない場合、すなわち現時刻が最初の画像取得の時刻の場合には、ＲＡＭ上の現時刻の画像中のライン位置Ｌtのライン画素を時空間画像としてＲＡＭに記憶させる（＃１５、１６）。一方、時空間画像がＲＡＭ上に存在する場合には、ＲＡＭから時空間画像を取得すると共に、ＲＡＭ上の現時刻の画像からライン位置Ｌtのライン画素を取得し（＃１５）、取得した時空間画像の最下ラインの下に取得したライン画素を配置した画像を新たな時空間画像としてＲＡＭに記憶させる（＃１６）。時空間画像生成部１４は、時空間画像の生成が完了すると、その旨を障害物検出部１５に通知する。なお、時空間画像には全時刻のライン画素が含まれている必要はなく、所定時間範囲のライン画素が含まれていればよい。そのため、時空間画像のライン数が所定数を超えた場合には、最先のライン画素を削除し、最新のライン画素を追加するように構成すると好適である。
【００２６】
時空間画像生成部１４から時空間画像生成の完了通知を受けた障害物検出部１５は、ＲＡＭから時空間画像を取得し、その時空間画像を解析することにより障害物を検出する（＃１７）。この検出結果は、制御部１６に通知される。
【００２７】
本発明が対象とする障害物は、車両前方を横断する歩行者等である。そのような障害物は、上述のようにして生成された時空間画像上において、図７の軌跡１００のような軌跡を描く。障害物の横断速度が一定であるとすると、時空間画像中の軌跡１００のｘ方向の移動速度は一定となる。しかしながら、カメラＣの解像度は近傍の物体に比べて遠方の物体が低くなるため、障害物が遠方にある場合にはｙ方向の見かけの移動速度は小さく、障害物がカメラＣに近づくに連れてｙ方向の見かけの移動速度は大きくなる。そのため、横断障害物の軌跡は軌跡１００のような形状となる。一方、静止している物体は、時空間画像中ではｘ方向には移動しないため、図７の軌跡１１０のようにｙ方向に平行な形状となる。したがって、軌跡の形状を解析すれば、障害物が車両前方を横断しているか否かを判定することができる。また、障害物の軌跡と白線の外側の直線との交差角θは、障害物と車両との距離および車両と障害物との相対速度により決定されるものであるため、この交差角度により車両と障害物との接触の可能性を求めることができる。
【００２８】
以下に、図８のフローチャートを用いて横断障害物検出の処理の流れを説明する。まず、ＲＡＭから時空間画像を取得する（＃３１）。上述したように、障害物は時空間画像において線として表れる。そのため、障害物を検出するために時空間画像に対してエッジ検出を行う（＃３２）。エッジ検出の方法は、Ｓｏｂｅｌオペレータ、Ｐｒｅｗｉｔｔフィルタ等様々な方法が知られているが、水平および斜めエッジ方向のエッジを検出可能な方法を用いると、静止障害物を除去することができ好適である。
【００２９】
通常、上述の処理により複数のエッジが検出される。そのため、個々のエッジに対して以下の処理を行う。まず、検出されたエッジから一のエッジを選択する（＃３３）。選択されたエッジを画像のｘ方向外側から内側に向けて追跡し（＃３４）、白線の外側の直線と交差するか否かを判定する（＃３５）。エッジと白線の外側の直線とが交差しない場合（＃３５のNo分岐）には、このエッジが表す障害物と車両との衝突の可能性は低いと判定する。このとき、他に判定されていないエッジがあれば（＃３８のNo分岐）、処理を＃３３に移行し、全てのエッジの判定が終了している場合（＃３８のYes分岐）には、警告は不要であるとして（＃３９）処理を完了する。一方、エッジと白線の外側の直線とが交差する場合（＃３５のYes分岐）には、その交差角θが所定角度以下であるかを判定する（＃３６）。交差角θが所定角度以下の場合（＃３６のYes分岐）には、警告の必要ありとして（＃３７）処理を終了する。一方、交差角θが所定角以上の場合（＃３６のNo分岐）には、障害物と車両との衝突の可能性は低いとして他のエッジの判定を行う（＃３８）。
【００３０】
なお、軌跡と白線との交差角θを求める際に、白線がｙ軸に平行であることを考慮し、軌跡の傾きを用いると、演算が容易になる好適である。
【００３１】
障害物検出部１５から検出結果を受けた制御部１６は、警告の必要ありとの結果であれば（＃１８のYes分岐）、スピーカＳを介して運転者に警告音声や警告音を発する（＃１９）。一方、警告が不要であるとの結果であれば（＃１８のNo分岐）、上述の処理が繰り返される。
【００３２】
〔別実施形態〕
（１）上述の実施形態では、ライン位置の決定は白線間距離を用いたが他の方法を用いても構わない。例えば、パターンマッチングを用いことができる。この場合には、ＲＡＭには少なくとも現時刻と前時刻との画像を一時記憶しておき、前時刻におけるライン位置Ｌｔ−１におけるライン画素をテンプレートとして現時刻の画像上でパターンマッチングを行うことにより、ライン位置を求めることができる。このとき、ライン位置を中心として上下数ライン分のライン画素を用いてテンプレートを作成すると、ライン位置決定の精度を向上させることができ、好適である。
【００３３】
（２）上述の実施形態では、制御部１６は、障害物を検出した際に音声等による警告を行ったが、他の制御を行っても構わない。例えば、エンジンへの燃料供給の遮断、ブレーキの作動等により車両を減速させる制御を行うことができる。
【００３４】
（３）上述の実施形態では、横断障害物の軌跡と白線とが所定の角度以下で交差した場合にのみ警告する構成としたが、警告を行う条件はこれに限定されるものではなく、種々設定可能である。例えば、軌跡と白線とが交差したことのみを警告条件としても構わない。
【産業上の利用可能性】
【００３５】
車両の進行方向を横切る歩行者等の障害物の検出に用いることができる。
【符号の説明】
【００３６】
Ｃ：カメラ
１１：画像取得部
１２：白線検出部
１３：ライン位置決定部
１４：時空間画像生成部
１５：障害物検出部
【図１】
2010205041.tif 000003
【図２】
2010205041.tif 000004
【図３】
2010205041.tif 000005
【図４】
2010205041.tif 000006
【図５】
2010205041.tif 000007
【図６】
2010205041.tif 000008
【図７】
2010205041.tif 000009
【図８】
2010205041.tif 000010