(57)【要約】      （修正有）【課題】測距センサや車載カメラなど複数のセンサを利用した車両用障害物検知システムにおいて、自車近傍の障害物に対する検知性能を向上する自動車の外界認識装置。【解決手段】自車近傍で測距センサ２０２の検知範囲外にいる障害物に対して、車両２０１に搭載するカメラ２０３で撮影した障害物を含む画像情報に基づいて障害物のオプティカルフローを計測し、計測したフローベクトルから障害物の速度（第２速度とする）を演算する。そして、障害物が測距センサ２０２の検知範囲に進入した場合に、測距センサ２０２の検知情報に基づいて障害物の速度（第１速度とする）を演算し、第１速度Ｖ１および第２速度Ｖ２の速度差が所定範囲内であれば、同一物体を検知していると判断する。【選択図】図２
2010244474.tif 000002
【特許請求の範囲】
【請求項１】
自車前方の障害物を検知して該障害物の測距情報を取得する第１検知部と、
自車前方を撮像した画像に画像処理を実行して前記障害物を検知する第２検知部と、
前記測距情報に基づいて前記自車に対する前記障害物の相対的な移動速度である第１速度を演算する第１速度演算部と、
前記画像に基づいて前記自車に対する前記障害物の相対的な移動速度である第２速度を演算する第２速度演算部と、
前記第１速度と前記第２速度との速度差が予め設定された所定の範囲内の値であるか否かを判定する速度判定部と、
該速度判定部により前記速度差が前記所定の範囲内の値であると判定された場合には、前記第１検知部で検知した障害物と前記第２検知部で検知した障害物とが同一物体であると判断する障害物検知部とを有することを特徴とする自動車の外界認識装置。
【請求項２】
前記障害物検知部は、前記速度判定部により前記速度差が所定の範囲外の値であると判定された場合には、前記第１検知部で検知した障害物と前記第２検知部で検知した障害物とが同一物体ではないと判断し、前記第２検知部による検知を中止することを特徴とする請求項１に記載の自動車の外界認識装置。
【請求項３】
前記第１検知部は、水平方向および垂直方向に送信波を照射し、前記送信波が自車前方に存在する障害物に反射した場合、その反射波を受信することにより、前記自車に対する前記障害物の位置と相対距離の少なくとも一方を計測し、前記測距情報として取得することを特徴とする請求項１および２に記載の自動車の外界認識装置。
【請求項４】
自車前方を撮像する撮像装置を備え、
前記第２検知部は、前記撮像装置により撮像した画像に対して所定の画像処理を実行することにより、前記障害物が所定の障害物か否かを認識することを特徴とする請求項１から請求項３のいずれか一項に記載の自動車の外界認識装置。
【請求項５】
前記第２検知部は、前記画像にオプティカルフロー計測点を設定し、前記障害物を構成する特徴部分が前記計測点と交差した場合に、前記計測点における前記障害物のオプティカルフローを計測することを特徴とする請求項１から請求項４のいずれか一項に記載の自動車の外界認識装置。
【請求項６】
前記第２速度演算部は、前記第２検知部で計測した前記障害物のオプティカルフローに基づいて第２速度を演算することを特徴とする請求項５に記載の自動車の外界認識装置。
【請求項７】
前記第２検知部は、前記速度判定部により前記速度差が所定の範囲内であると判断された場合に、前記オプティカルフロー計測を継続することを特徴とする請求項６に記載の自動車の外界認識装置。
【請求項８】
前記第２検知部は、前記障害物が前記自車の予測進路上に存在する場合に、前記障害物を含む所定範囲の画像を切り出して、該切り出した画像内の障害物の特徴部分と予め記憶されている複数のパターンとを比較し、類似度に応じて前記予測進路上の障害物を識別することを特徴とする請求項１から請求項７のいずれか一項に記載の自動車の外界認識装置。
【請求項９】
自車の水平幅、高さ、ステア角、車速、ヨーレート、ヨー角、加速度などの自車情報を検出する車両情報検出部と、
該車両情報検出部により検出した前記ステア角と前記車速に基づいて前記自車の予測進路を演算し、該演算した予測進路と前記自車の車幅に基づいて第１検知領域を設定するとともに、前記撮像装置の撮影範囲もしくは車速に応じて前記自車の近傍に第２検知領域を設定する検知領域設定部と、
を有することを特徴とする請求項１から請求項８のいずれか一項に記載の自動車の外界認識装置。
【請求項１０】
前記第１速度と前記第２速度との速度差が所定の範囲内であるか否かを判定するための速度差閾値を記憶する速度判定閾値記憶部を有し、
前記速度差閾値は、定数、もしくは自車の車速、自車と障害物との相対距離、衝突時間（ＴＴＣ）のうち少なくとも１つ以上のパラメータを独立変数に持つ従属変数であることを特徴とする請求項１から請求項９のいずれか一項に記載の自動車の外界認識装置。
【請求項１１】
前記障害物とは、自車周囲に存在する歩行者、他車、電柱およびガードレール等の路側物、歩行者以外の移動物のうち、少なくとも１種類以上であることを特徴とする請求項１から請求項１０のいずれか一項に記載の自動車の外界認識装置。
【請求項１２】
前記障害物を、前記第１検知部もしくは第２検知部のうち少なくとも一方で検知することによって、自車と前記障害物との衝突時間（ＴＴＣ）に応じて運転者に対する警報音を発し、
前記第１検知部および第２検知部の両方で検知することによって、前記衝突時間に応じて運転者に対する警報音を発し、シートベルトを巻上げて、ブレーキを作動させる制御を行うことを特徴とする請求項１から請求項１１のいずれか一項に記載の自動車の外界認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物を検知・識別する車載用レーダや車載カメラ等の外界認識装置に関係し、レーダによる障害物検知やカメラ映像の画像処理により、自動車の通行上の障害物を検出し、その検出結果に基づいてドライバ等に適切な警報や車両制御を実行する外界認識装置に関する。
【背景技術】
【０００２】
交通事故による死傷者および事故そのものの低減に向けて、プリクラッシュ・セーフティ・システム等の事故を未然に防ぐための予防安全技術の研究・開発を世界のカーメーカーおよび部品メーカー等が進めている。特に、周辺の障害物を検知する車載用レーダやカメラといった外界認識装置（センサ）およびその外界認識プログラム等の研究・開発は、自動車の予防安全技術において非常に重要である。
【０００３】
従来、上記外界認識装置を利用して障害物を検知する場合は、測距性能に優れたレーダと障害物を識別できるカメラ等を併用して、周囲の障害物から自車の状態に至るまで、その走行状況を的確に検出することにより、運転者への警報や車両の走行制御などを安全に実行することができる。
【０００４】
例えば、特許文献１に記載の障害物検出装置では、自車に搭載したカメラで進行方向の所定の範囲を撮影し、障害物を含む画像データを取得する。同時に測距センサを用いて同障害物との相対距離を計測する。そして、カメラの画像データを基にオプティカルフローを計測し、そのオプティカルフローから自車の進行方向を判定し、自車の車速および自車と障害物との相対距離から検知した障害物が注意すべき障害物か否かを判断する方法が開示されている。  
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３４９９２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されている障害物検出装置では、測距センサとしてレーザーレンジファインダを用いており、その測距センサから算出した自車と障害物との相対距離と、予め記憶している自車速度に応じた相対距離の閾値とを比較して、自車前方の障害物が注意すべき障害物であるか否かを判断する。
【０００７】
しかしながら、自車近傍で自車の前方を横移動する障害物が存在する場合、単位時間当たりの見かけの移動距離（カメラ映像上での移動距離）が大きいため、反射式の測距センサを単独で用いる障害物検知では、送受信処理および距離演算処理中に障害物が大きく移動するおそれがあり、正確な位置情報を取得することが難しい。
【０００８】
本発明の目的は、自車近傍の障害物に対する検知性能を向上することにあり、自車近傍の障害物に対する未検知や検知遅れを改善できる自動車の外界認識装置を提供する。
【課題を解決するための手段】
【０００９】
上記課題を解決する本発明の自動車の外界認識装置は、自車前方の障害物を検知してその障害物の測距情報を取得する第１検知部と、自車前方を撮像した画像に画像処理を実行して障害物を検知する第２検知部と、測距情報に基づいて自車に対する障害物の相対的な移動速度である第１速度を演算する第１速度演算部と、画像に基づいて自車に対する障害物の相対的な移動速度である第２速度を演算する第２速度演算部と、第１速度と第２速度との速度差が予め設定された所定の範囲内の値であるか否かを判定する速度判定部と、速度判定部により速度差が所定の範囲内の値であると判定された場合には、第１検知部で検知した障害物と第２検知部で検知した障害物とが同一物体であると判断する障害物検知部とを有することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、第１検知部で測距情報に基づき算出した第１速度と、第２検知部で画像に基づき算出した第２速度との速度差が所定の範囲内の値である場合には、同一物体であると判断するので、障害物の検知性能を向上させることができる。したがって、自車近傍の障害物（特に自車の前を横断する歩行者など）に対する未検知数や検知遅れが発生する割合を低減することができる。
【００１１】
また、例えば第２検知部による障害物検知を継続することによって、第１検知部が障害物を見失った場合にも、障害物の位置を把握することができ、障害物の検知性能を向上させることができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施の形態における外界認識装置の機能ブロック図。
【図２】外界認識装置によって設定される障害物検知領域の構成を説明する図。
【図３】撮像装置で撮像した画像の模式図。
【図４】外界認識方法を説明するフローチャート。
【図５】オプティカルフロー計測方法を説明する図。
【図６】測距センサによる障害物検知および障害物の位置情報に関する実施例を示す図。
【図７】測距センサの障害物検知に基づく速度演算方法を説明するフローチャート。
【図８】オプティカルフロー計測結果に基づく速度演算方法を説明するフローチャート。
【図９】速度判定と判定結果に基づく障害物検知方法を説明するフローチャート。
【図１０】速度判定時に用いる速度差閾値の設定方法を説明する図。
【図１１】障害物との相対距離と検知成功率との関係を示す図。
【図１２】本発明における警報・制御の一実施例を示す図。
【図１３】２つの撮像装置を取り付けた場合の障害物検知の一実施例を示す図。
【図１４】他の検知領域設定方法を説明する図。
【図１５】第２実施の形態における外界認識方法を説明するフローチャート。
【発明を実施するための形態】
【００１３】
［第１実施の形態］
以下、図面を用いて本実施の形態について説明する。
図１は、本実施の形態における外界認識装置の機能ブロック図である。図１に示すブロック図の処理内容は、撮像装置や自動車に搭載されるコンピュータにプログラミングされた外界認識装置用のプログラムを実行することによって実現され、予め定められた周期で繰り返し実行される。
【００１４】
本実施の形態における外界認識装置１００は、検知領域設定部１０１と、物体検知部１０２と、速度演算部１０３と、速度判定部１０４と、障害物検知部１０５を有している。
【００１５】
検知領域設定部１０１は、自車の車両情報に基づいて自車前方の障害物を検知する障害物検知領域を設定する処理を行う。自車の車両情報には、ホイールベースなどの車両本体に関する情報の他に、ステア角α［ｒａｄ］、車速ＶＳＰ［ｍ／ｓ］などの走行状態を表すパラメータを含み、ステア角αおよび車速ＶＳＰの他にはヨーレートもしくはヨー角、加速度・減速度などでもよい。車両情報は、自車に設けられた車両情報検出部１３２によって検出され、検知領域設定部１０１に提供される。
【００１６】
物体検知部１０２は、自車前方に送信波を照射し、その送信波が障害物に反射したときの反射波を受信して障害物を検知し、障害物と自車との位置や相対距離を計測する第１検知部１１１と、撮像装置２０３によって撮像した映像データ（画像）を画像処理して障害物を検知する第２検知部１１２を有している。
【００１７】
第２検知部１１２の画像処理には、障害物の速度ベクトルを計測するオプティカルフロー計測、及び画像内の障害物を検出するパターンマッチングが含まれる。オプティカルフロー計測では、移動する障害物を検知した時刻における障害物の画像と、当該検知時刻より所定時間前の時刻における障害物の画像とを比較し、当該２つの画像に共通する障害物の特徴部分の移動（画素の変化）から、障害物のオプティカルフロー（速度ベクトル）が演算される。
【００１８】
パターンマッチングでは、予め学習して記憶した様々な障害物の形状パターンと、画像上の障害物が有する局所的なエッジなどの外形の特徴部分とを比較して、類似度を求め、その類似度に基づいて障害物を識別する。物体検知部１０２で検知される障害物としては、主に歩行者を対象とするが、その他には、車両、自転車、犬や猫などの小動物でも良い。
【００１９】
自車周囲の映像データは、撮像装置２０３によって撮像され、撮像装置２０３から第２検知部１１２に供給される。撮像装置２０３は、主にカメラ装置であり、自車に取り付けられ、障害物などを含む自車周囲の道路環境の映像を撮影する。なお、カメラは光学式の単眼カメラの他に、ステレオカメラや赤外線カメラでもよく、単体もしくは複数台取り付けることが可能である。第１検知部１１１による障害物検知結果と第２検知部１１２による障害物検知結果は、それぞれ速度演算部１０３に出力される。
【００２０】
速度演算部１０３は、物体検知部１０２の第１検知部１１１による検知結果から自車と障害物との相対速度を演算する第１速度演算部１２１と、第２検知部１１２による検知結果から障害物の相対速度を演算する第２速度演算部１２２を有している。
【００２１】
第１速度演算部１２１では、第１検知部１１１で検出した自車と障害物との位置もしくは相対距離の情報に基づいて該障害物の相対速度（第１速度Ｖ１（Ｖｘ１、Ｖｙ１））が演算される。
【００２２】
第２速度演算部１２２では、第２検知部１１２で計測した障害物のオプティカルフローに基づいて該障害物の相対速度（第２速度Ｖ２（Ｖｘ２、Ｖｙ２））が演算される。第１速度演算部１２１による相対速度演算結果と、第２速度演算部１２２による相対速度演算結果は、それぞれ速度判定部１０４に出力される。
【００２３】
速度判定部１０４は、速度演算部１０３の第１速度演算部１２１により演算した障害物の相対速度である第１速度Ｖ１と、第２速度演算部１２２により演算した障害物の相対速度である第２速度Ｖ２との速度差ΔＶを演算する。そして、その速度差ΔＶと速度差閾値ΔＶＴＨとを比較して、速度差ΔＶが速度差閾値ΔＶＴＨよりも小さいか否かを判定する処理を行う。速度差閾値ΔＶＴＨは、速度差閾値記憶部１０６に予め記憶されている。
【００２４】
障害物検知部１０５は、速度判定部１０４の判定結果に基づいて所定の検知領域内における障害物の検知を行い、その検知結果を障害物検知信号として出力する。例えば、速度判定部１０４において速度差ΔＶと閾値ΔＶＴＨとの差が所定の範囲内であれば、第１検知部１１１と第２検知部１１１２が検知した障害物は互いに同一であると判定して物体検出フラグをセットし、所定の範囲外であれば第１検知部１１１と第２検知部１１２が検知した障害物は互いに異なると判定して物体検出フラグをクリアする処理を行う。
【００２５】
次に、図２を用いて、検知領域設定部１０１で設定される障害物検知領域（測距センサの検知範囲及び画像処理対象の領域）２１０について説明する。
【００２６】
自車（自動車の車両）２０１には、図２に示すように、測距センサ（測距手段）２０２と、画像処理装置を内蔵する撮像装置２０３が搭載されている。測距センサ２０２は、自車２０１の前方の障害物を検知可能に取り付けられ、撮像装置２０３は、自車２０１の前方を撮像可能に取り付けられている。なお、図２に符号２０２Ｒ、２０２Ｌは、測距センサ２０２の最大検知角を示す破線であり、符号２０３Ｒ、２０３Ｌは、撮像装置２０３の最大視野角を示す破線である。
【００２７】
障害物検知領域２１０は、測距センサ２０２の最大検知角（破線２０２Ｒ、２０２Ｌの間に挟まれる範囲）と、撮像装置２０３の最大視野角（破線２０３Ｒ、２０３Ｌの間に挟まれる範囲）の範囲内に設定される。
【００２８】
自車２０１と障害物検知領域２１０との間には、非検知領域２０９が存在する。非検知領域２０９（長さＤＮＲ［ｍ］）は、撮像装置２０３の取り付け位置や仕様等の関係から、撮像装置２０３で障害物を検知することが困難な領域である。検知が困難な理由としては、例えば、非検知領域２０９に人間等のように上下に長い障害物が存在する場合に、障害物の最下部や最上部が撮像装置２０３のフレーム枠外にはみ出してパターンマッチングによる検知精度が低下すること、また、障害物と自車２０１との距離が近すぎて画像上での障害物の情報量が多くかつ移動する障害物の場合は画像に映っている時間が短いことなどが挙げられる。
【００２９】
障害物検知領域２１０は、第１検知領域２１１と第２検知領域２２１とからなる。第１検知領域２１１は、自車２０１のステア角および車速に基づいて演算される予測進路と自車２０１の車幅とを考慮して設定され、非検知領域２０９との境界ライン２２２から自車２０１の前方に延在するように設定される。本実施の形態では、最大長さ４０［ｍ］に設定されている。
【００３０】
第１検知領域２１１は、自車２０１の車幅と等価の幅ＷＣＲで自車２０１の予測進路に沿って延在する主警戒領域２１２と、主警戒領域２１２の車幅方向両側に沿って延在する準警戒領域２１３によって構成されている。準警戒領域２１３は、自車２０１の車幅の２分の１の幅（１／２）ＷＣＲに設定されている。したがって、第１検知領域２１１の全幅ＷＡＴ［ｍ］は、自車２０１の車幅の２倍の大きさとなる（ＷＡＴ＝２ＷＣＲ）。
【００３１】
第１検知領域２１１は、上述のように、自車２０１の予測進路に応じて設定されるので、運転者がハンドルを操作するとハンドルを切った方向に曲線を描いて変化する。なお、予測進路は、以下の（１）式に基づいて計算される。ここで、Ｒ［ｍ］は旋回半径、Ａはスタビリティファクタ［ｓ２／ｍ２］、Ｈ［ｍ］は自車２０１のホイールベース、δはステア角αとステアリング比ｇからδ＝α／ｇで演算する操舵角［ｒａｄ］である。
【００３２】
2010244474.tif 000003
【００３３】
第２検知領域２２１は、自車２０１前方の近傍位置にて、所定の前後幅ＤＯＰ［ｍ］で撮像装置２０３の最大視野角２０３Ｒ、２０３Ｌの間に亘って設定される。第２検知領域２２１の基端ライン２２２は、非検知領域２０９との境界に沿って設定され、基端ライン２２２から前方に所定の前後幅ＤＯＰ［ｍ］だけ離間した位置に先端ライン２２３が設定される。そして、基端ライン２２２と、先端ライン２２３と、左右の最大視野角２０Ｒ、２０３Ｌで囲まれる範囲内に第２検知領域２２１が形成される。
【００３４】
本実施の形態では、自車２０１の近傍位置は、自車２０１の先端（例えば、フロントバンパー）から５〜１０ｍ程度の距離を想定しており、前後幅ＤＯＰは約５ｍに設定している。
【００３５】
例えば、障害物が自車２０１の予測進路（主警戒領域２１２と準警戒領域２１３）に接近してきた場合に、測距センサ２０２によって障害物が検知され、その障害物との相対距離が計測される。そして、その障害物が準警戒領域２１３から主警戒領域２１２に進入すると、測距センサ２０２から撮像装置２０３に検知信号が出力され、撮像装置２０３で取得した画像に基づいて障害物に対するパターンマッチング処理が実行される。また、障害物が第２検知領域２２１に進入した場合には、撮像装置２０３で取得する画像を用いて障害物のオプティカルフローを計測する処理が実行される。
【００３６】
障害物検知領域２１０内に存在する障害物と自車との衝突時間（ＴＴＣ［ｓ］＝相対距離ＤＲ［ｍ］／相対速度Ｖｙ１［ｍ／ｓ］）に応じて、自車２０１の運転者に警報を発し、運転者によるブレーキ操作等がない場合には、前記衝突時間に応じて自動的にブレーキ制御を実行する。
【００３７】
なお、警報については「ピピピ・・・」などのビープ音の他に、音声メッセージを発する警報でもよく、カーナビゲーションのモニタやインストルメントパネル上、ヘッドアップディスプレイ上に表示する視覚的な警報でもよい。
【００３８】
図３は、撮像装置で撮像した画像に障害物検知領域を重ね合わせて示す図であり、図３（ａ）は、車両の道路走行中に歩行者が前方を横切って移動する状況を説明する図、図３（ｂ）は、障害物のオプティカルフローを計測するための計測点を画像上に配置した状態を示す図である。
【００３９】
撮像装置２０３によって撮像された画像３０１には、道路３０６と歩行者３０３が映っており、さらに、測距センサ２０２の検知範囲枠３０２と、障害物検知領域２１０が重ねて表示されている。
【００４０】
歩行者３０３が測距センサ２０２の検知範囲枠３０２内に入ると、測距センサ２０２で歩行者３０３を検知し、相対距離に基づいて相対速度Ｖ１が演算される。そして、歩行者３０３が第１検知領域２１１に進入すると、測距センサ２０２で計測した相対距離（位置）に基づいて、歩行者３０３を中心に画像処理枠３０８が設定され、画像処理枠３０８内でパターンマッチング処理が実行される。
【００４１】
パターンマッチング処理では、予め学習して記憶した種々の障害物の形状パターンと、画像上の障害物（歩行者３０３）が有する局所的なエッジなどの外形の特徴部分とを比較し、前記パターンのうち少なくとも１つ以上のパターンと類似している場合に、所定の障害物（図３では歩行者３０３）であると認識する。
【００４２】
なお、画像処理枠３０８の横幅ＹＩＰ  、縦幅ＸＩＰは、下記の（２）式によって設定され、障害物幅ＷＰＤと障害物高さＨＰＤに、それぞれ車両ピッチ角相当幅ＹＰ、障害物がシステムの処理時間中に横移動する距離に相当する幅ＸＬ、および車両ヨー角相当幅ＸＹＡを加えることで設定される。
【００４３】
2010244474.tif 000004
【００４４】
そして、歩行者３０３が第２検知領域２２１に進入すると、図３（ｂ）に示すように、計測点３１０が配置された画像を用いて、オプティカルフローの計測が行われる。
【００４５】
計測点３１０は、画像３０１上に縦方向および横方向にそれぞれ等間隔をおいて配置され、計測点の数は画像処理負荷に応じて任意に設定できる。
【００４６】
例えば、障害物（歩行者３０３）のエッジ等の外形上の特徴部分が計測点３１０を通過すると、障害物が通過した計測点３１０におけるオプティカルフロー（Ｆｘｎ、Ｆｙｎ）（ｎ＝１、２、３、・・・：計測点番号）が演算される。
【００４７】
オプティカルフローは、画像３０１上の障害物（歩行者３０３）が有する局所的なエッジなどの外形の特徴部分が、ある計測点３１０を通過する時刻をＴとするとき、時刻Ｔより所定の時間ΔＴだけ前の時刻Ｔ−ΔＴにおいて同一の特徴部分が同じ計測点３１０を通過しているとすると、該特徴量について時刻Ｔ−ΔＴと時刻Ｔで対応する箇所をそれぞれ抽出することにより、該計測点におけるオプティカルフローを計測する。
【００４８】
なお、計測点３１０は、基本的に自車２０１が直進している場合に配置される。また、カーナビゲーション装置と連携して、自車２０１が横断歩道などの所定の道路に近づくときに、計測点３１０を配置するようにしてもよい。
【００４９】
図４は、本実施の形態における外界認識方法を説明するフローチャートである。まず、処理Ｓ４０１において、撮像装置２０３で撮像された画像を読み込み、処理Ｓ４０２において、車両情報検出部１０８で検出された自車２０１のステア角α［ｒａｄ］、車速ＶＳＰ［ｍ／ｓ］、ホイールベースＨ［ｍ］、自車幅ＷＣＲ［ｍ］などの車両情報を読み込み、処理Ｓ４０３に進む。
【００５０】
処理Ｓ４０３において、処理Ｓ４０２で読み込んだ自車２０１の車両情報に基づいて、上述の（１）式より、自車２０１の予測進路（旋回半径Ｒ［ｍ］）を演算し、該予測進路と自車の車幅に応じた第１検知領域（図２および図３）２１１を設定し、処理Ｓ４０４および処理Ｓ４０６にそれぞれ進む。
【００５１】
処理Ｓ４０４では、自車２０１に搭載する測距センサ２０２によって検知された障害物の位置（ＸＲ、ＹＲ）、もしくは相対距離ＤＲ［ｍ］を取得し、処理Ｓ４０５に進む。処理Ｓ４０５では、処理Ｓ４０４で取得した障害物の位置（ＸＲ、ＹＲ）もしくは相対距離ＤＲを用いて、下記の（３）式（（３）−１式、（３）−２式）および（４）式（（４）−１式、（４）−２式）により、障害物の相対速度である第１速度Ｖ１（Ｖｘ１、Ｖｙ１）［ｍ／ｓ］を演算し、処理Ｓ４０８に進む。
【００５２】
ここで、（Ｘ’Ｒ  、Ｙ’Ｒ）は処理１周期前の障害物の位置、（Ｘ”Ｒ  、Ｙ”Ｒ）は処理２周期前の障害物の位置、Ｃ０、Ｃ１、Ｃ２は相対距離に関する微分係数（ｘ、ｙ共に）、Ｖ’１は処理１周期前の第１速度（ｘ、ｙ共に）、Ｖ”１は処理２周期前の第１速度（ｘ、ｙ共に）、Ｓ１、Ｓ２は相対速度に関する微分係数（ｘ、ｙ共に）である。
（ｉ）  測距センサ２０２で最初に障害物を検知した時点
2010244474.tif 000005
（ｉｉ）（ｉ）以外の場合
2010244474.tif 000006
【００５３】
一方、処理Ｓ４０６では、図３（ｂ）に示すようなオプティカルフローの計測点３１０において、障害物のオプティカルフローベクトル（Ｆｘｎ、Ｆｙｎ）（ｎ＝１、２、３、・・・：計測点番号）を演算する処理が行われる。
【００５４】
オプティカルフローベクトルの演算は、障害物が第１検知領域２１１内に進入したときに開始される。障害物が第１検知領域２１１内に進入したか否かは、例えば、画像上の障害物のＹ方向（縦方向）の大きさに基づいて判断され、障害物のＹ方向の大きさが人間の大きさ等に基づいて予め設定された所定値以上である場合に、オプティカルフローベクトルの演算が開始される。
【００５５】
処理Ｓ４０７において、処理Ｓ４０６で計測した障害物のオプティカルフローベクトル（Ｆｘｎ、Ｆｙｎ）に基づいて、下記の（５）−１、（５）−２式より障害物の相対速度である第２速度Ｖ２（Ｖｘ２、Ｖｙ２）［ｍ／ｓ］を演算し、処理Ｓ４０８に進む。
【００５６】
ここで、ｍは障害物中心位置でのフローベクトル分布数（障害物の中心線が計測点を通過したときのフローベクトルの数）、（Ｉｙ、Ｉｘ）は画素の次元［ｐｉｘｅｌ］から速度次元［ｍ／ｓ］への変換係数を示す。
【００５７】
2010244474.tif 000007
【００５８】
処理Ｓ４０８では、処理Ｓ４０５およびＳ４０７で演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）と第２速度Ｖ２（Ｖｘ２、Ｖｙ２）とから、下記の（６）式を用いて速度差ΔＶ（ΔＶｘ、ΔＶｙ）を演算し、同時に速度差閾値記憶部１０６に予め記憶している速度差閾値ΔＶＴＨ（ΔＶｘＴＨ、ΔＶｙＴＨ）［ｍ／ｓ］を読み込み、処理Ｓ４０９に進む。
【００５９】
2010244474.tif 000008
【００６０】
処理Ｓ４０９では、処理Ｓ４０８において、上記（６）式で演算したΔＶがΔＶＴＨ以内であるか否かを下記の（７）式に基づいて判定する。
【００６１】
2010244474.tif 000009
【００６２】
これら処理Ｓ４０８、処理Ｓ４０９が速度判定部１４０の処理に相当する。
【００６３】
処理Ｓ４０９にて、上記（７）式の判定条件が成立している場合（ＹＥＳ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と第２検知部１１２が検知した障害物は同一物体であると判断して、処理Ｓ４１０に進み、処理Ｓ４１０において物体検出フラグをセットする（ｆＯＢＪＤＴＣ＝１）。そして、処理Ｓ４１１において、第１速度Ｖ１（Ｖｘ１、Ｖｙ１）を出力して処理を終了する。
【００６４】
処理Ｓ４０９にて上記（７）式の判定条件が不成立の場合（ＮＯ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ４１２に進み、処理Ｓ４１２において物体検出フラグをクリアする（ｆＯＢＪＤＴＣ＝０）。そして、処理Ｓ４１３において、第２検知部１１２による障害物のオプティカルフロー計測を中止して処理を終了する。
【００６５】
次に、図５を用いて、第２検知部１１２によるオプティカルフロー計測の方法を説明する。自車２０１（図２を参照）が道路３０６を低速走行中に、歩行者３０３が右方向から横断してくる状況を撮像装置２０３で撮像しており、その撮像した画像３０１に対して画像処理を施して、オプティカルフロー計測点３１０を配置し、オプティカルフロー計測を実行する。
【００６６】
第２検知部１１２は、撮像装置２０３で取得した画像に対してオプティカルフロー計測点３１０を所定の範囲に設定する。計測点３１０の数は、画像３０１上の縦方向および横方向に対して任意に設定可能である。
【００６７】
自車２０１が道路３０６を走行する場合、自車２０１に搭載されている撮像装置２０３も移動することになる。したがって、撮像装置２０３で撮像した画像３０１内では相対的に背景が移動するように見える。そして、画像３０１上で背景を構成するエッジ等の外形の特徴部分が計測点３１０を通過すると、背景に対するフローベクトル５０１が計測される。
【００６８】
背景のフローベクトル５０１は、画像３０１の中央から左右に離れた計測点３１０でのフローベクトル５０１ほど、速度が大きいベクトルとなる。背景に関しては、画像３０１の中央から左右に離れるほど自車２０１（図３を参照）と背景として映っている物体との実距離が近くなり、画像３０１上での物体の見かけの移動速度が大きくなるからである。なお、背景フローベクトル５０１は、図５に示す計測点３１０だけではなく、設定する全ての計測点３１０において計測しうるフローベクトルである。
【００６９】
自車２０１の近傍には、オプティカルフローを計測する第２検知領域２２１を設定し、第２検知領域２２１に障害物（図５では歩行者３０３）が存在する場合に、該障害物のオプティカルフローを計測する。
【００７０】
図５では、歩行者３０３が第２検知領域２２１に進入しており、画像３０１上の計測点３１０を通過した際に、歩行者３０３に対するフローベクトル５０２が計測されている。
【００７１】
本実施の形態では、ブロックマッチング法によるオプティカルフロー計測を実行しており、各画像フレームをテンプレートブロックでスキャニングし、前画像（Ｎ−１）と現画像（Ｎ）において同様の特徴量（注目点／画素）を対応づけてフローベクトルを演算する。なお、テンプレートブロックのサイズ（ＳＸ、ＳＹ）は任意に設定可能である。
【００７２】
障害物（歩行者３０３）のフローベクトル５０２が計測された場合に、最大のフローベクトル５０２が計測されたｍ列（ｍ：整数）目の各計測点について、ベクトルの大きさ｜Ｖｉｊ｜（ベクトルの長さ［ｐｉｘｅｌ］）が所定値ＶｍＴＨ以上のベクトルが連続した計測点を抽出する。そして、同様にｍ−１列目のフローベクトル５０２とｍ＋１列目のフローベクトル５０２に対して、所定値Ｖ’ｍＴＨ以上の大きさのベクトルが連続した計測点（フローベクトル）を抽出する。そして、上記抽出した計測点（ベクトル）群を１つの物体としてクラスタリング（検知枠５０３）することにより、オプティカルフローに基づいて障害物を抽出する。
【００７３】
なお、オプティカルフローの計測がなされる障害物は、図５に示す一般の歩行者３０３に限定されるものはなく、基本的に移動している障害物であればよく、例えば、カートや乳母車を押す歩行者、自転車、車両でもよい。また、本実施の形態では、オプティカルフロー計測を第２検知領域２２１内の障害物に限定したが、第２検知領域２２１より遠方の障害物に対してもオプティカルフローの計測を実施してもよい。
【００７４】
次に、図６を用いて、測距センサによる障害物検知方法について説明する。図６には、自車２０１に搭載した測距センサ２０２を座標原点にとった直交座標６０１（Ｘ軸６０２、Ｙ軸６０３）を設定し、該直交座標６０１上において、測距センサ２０２の最大検知角を示す破線２０２Ｒ、２０２Ｌと、障害物である歩行者３０３の位置（ＸＲ、ＹＲ）を示している。
【００７５】
測距センサ２０２は、自車２０１の前方に送信波を照射し、その送信波が歩行者３０３に反射した反射波を測距センサ２０２が受信することにより、歩行者３０３の位置（ＸＲ、ＹＲ）および相対距離ＤＲ［ｍ］、相対速度、障害物の幅などを計測できる。
【００７６】
なお、送信波としてはミリ波、レーザー光、赤外線などがあり、それぞれの送信波を用いた測距センサ２０２としては、ミリ波レーダ、レーザーレーダ、赤外線レーダがある。また、測距センサ２０２の取り付け位置としては、基本的に自車２０１のフロントバンパー付近であり、自車２０１のサイドや後方など、複数台の測距センサ２０２を目的（サイドの障害物検知、後方の障害物検知）に応じて取り付けてもよい。
【００７７】
図６に示すように、自車２０１に搭載する測距センサ２０２で歩行者３０３を検知した場合、座標６０１（Ｘ軸６０２、Ｙ軸６０３）上での歩行者３０３の位置（ＸＲ、ＹＲ）は、次の式（８）、式（９）で演算する。
【００７８】
2010244474.tif 000010
【００７９】
ここで、ｃは光速［ｍ／ｓ］、ＴＲ［ｓｅｃ］は測距センサ２０２から照射された送信波が歩行者３０３に反射し、その反射波が測距センサ２０２で受信されるまでの時間、θＲ［ｒａｄ］は、歩行者３０３と自車２０１との間を結ぶ直線と、Ｙ軸６０３との間の挟角である。
【００８０】
次に、図７のフローチャートを用いて、第１検知部１１１の検知結果に基づく障害物の相対速度（第１速度Ｖ１）を演算する方法を説明する。
【００８１】
処理Ｓ７０１において、測距センサ２０２から測距情報を取得する。測距情報には、測距センサ２０２で検知した障害物との相対距離や位置座標の情報の少なくとも一つが含まれている。
【００８２】
そして、処理Ｓ７０２において、障害物検知カウンタＣＮＴＤＴをインクリメントして処理Ｓ７０３に進む。処理Ｓ７０３において、処理Ｓ７０２でインクリメントを開始した障害物検知カウンタＣＮＴＤＴに対して、下記（１０）式の判定を実行する。
【００８３】
2010244474.tif 000011
【００８４】
処理Ｓ７０３にて、上記（１０）式の判定条件が成立している場合には、カウンタが小さい数なので、測距センサ２０２が「それまで検知していた障害物を１回ロスとした後に再び同じ障害物を検知した」もしくは「全く新しい障害物を検知した」と判断して、処理Ｓ７０４に進み、処理Ｓ７０４において、それまで取得していた相対速度、相対距離、位置座標などのパラメータを一度初期化する。
【００８５】
次に処理Ｓ７０５において、上述した（３）式、（４）式に基づいて障害物の相対速度（第１速度Ｖ１（Ｖｘ１、Ｖｙ１））を演算し、処理Ｓ７０６に進む。処理Ｓ７０６において、処理Ｓ７０５において演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）を速度判定部１０４に出力し処理を終了する。
【００８６】
処理Ｓ７０３にて、上記（１０）式の判定条件が不成立の場合（ＮＯ）には、（１０）式よりＣＮＴＤＴ＝０もしくはＣＮＴＤＴ＞２であると判断して、処理Ｓ７０７に進み、処理Ｓ７０７において、測距センサ２０２が障害物を検知していない、もしくはそれまで検知していた障害物を続けて検知しているかどうか判断する。
【００８７】
処理Ｓ７０７において、障害物を検知している（ＣＮＴＤＴ＞２）と判断した場合（ＹＥＳ）は、処理Ｓ７０５に進み、処理Ｓ７０５において、前述した（３）および（４）式に基づいて検知した障害物の相対速度（第１速度Ｖ１（Ｖｘ１、Ｖｙ１））を演算し、処理Ｓ７０６に進む。そして、処理Ｓ７０６において、処理Ｓ７０５にて演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）を速度判定部１０４に出力し処理を終了する。一方、処理Ｓ７０７において障害物を検知していない（ＣＮＴＤＴ＝０）と判断した場合（ＮＯ）には、処理を終了する。
【００８８】
次に、図８のフローチャートを用いて、第２検知部１１２で演算した障害物のオプティカルフローに基づく障害物の相対速度（第２速度Ｖ２）を演算する方法を説明する。
【００８９】
処理Ｓ８０１において、撮像装置２０３で撮影した画像を読み込み、処理Ｓ８０２に進む。処理Ｓ８０２において、処理Ｓ８０１で読み込んだ画像を利用して障害物のオプティカルフローを演算し、処理Ｓ８０３に進む。
【００９０】
処理Ｓ８０３において、図５で述べた障害物のフローベクトル群を抽出したか否かを判定する。処理Ｓ８０３の判定条件が成立した場合（ＹＥＳ）には、オプティカルフローにより障害物を検出したと判断して、処理Ｓ８０４に進み、処理Ｓ８０４においてフロー検知カウンタＣＮＴＯＰＦをインクリメントする。一方、処理Ｓ８０３の判定条件が不成立の場合（ＮＯ）には、障害物を検出していないと判断して、第２検知部１１２における同障害物に対するオプティカルフロー処理を終了する。
【００９１】
次に、処理Ｓ８０５において、処理Ｓ８０４でインクリメントを開始したフロー検知カウンタＣＮＴＯＰＦに対して、下記（１１）式の判定を実行する。ここで、ＣＮＴＯＰＦＴＨはフロー検知カウンタの上限値であり、任意の自然数を設定する事が可能である。
【００９２】
2010244474.tif 000012
【００９３】
処理Ｓ８０５の判定条件（上記（１１）式）が成立している場合（ＹＥＳ）には、オプティカルフローにより障害物を検出していると判断して、処理Ｓ８０６に進み、処理Ｓ８０６において、抽出した障害物に関するフローベクトル群において最大値をとるフローベクトルを抽出する。ただし、処理Ｓ８０６では、最大値をとるフローベクトルではなく、抽出したフローベクトル群の平均値を計算してもよい。
【００９４】
そして、処理Ｓ８０７において、前述した（５）式に基づいて障害物の第２速度Ｖ２（Ｖｘ２、Ｖｙ２）［ｍ／ｓ］を演算し、処理Ｓ８０８に進む。処理Ｓ８０８では、第２速度Ｖ２（Ｖｘ２、Ｖｙ２）を速度判定部１０４に出力し、処理を終了する。
【００９５】
一方、処理Ｓ８０５の判定条件（上記（１１）式）が不成立の場合には、未検出もしくは障害物が既に自車２０１の予測進路を通り過ぎた後の状態であると判断して、同障害物に対する第２速度演算処理を終了する。
【００９６】
次に、図９を用いて、速度判定と判定結果に基づく障害物検地方法について説明する。図９のフローチャートでは、速度演算部１０３で演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）および第２速度Ｖ２（Ｖｘ２、Ｖｙ２）を用いた測距センサとオプティカルフロー計測のフュージョン処理が行われる。
【００９７】
まず、処理Ｓ９０１において、測距センサ２０２の障害物検知結果に基づいて第１速度演算部１２１で演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）を読み込み、処理Ｓ９０２に進む。そして、処理９０２において、第２検知部１１２における障害物のオプティカルフロー計測結果に基づいて第２速度演算部１２２で演算した第２速度Ｖ２（Ｖｘ２、Ｖｙ２）を読み込み、処理Ｓ９０３に進む。
【００９８】
処理９０３では、処理Ｓ９０１および処理Ｓ９０２でそれぞれ読み込んだ第１速度Ｖ１と第２速度Ｖ２との速度差ΔＶ（ΔＶｘ、ΔＶｙ）を、上述の（６）式より演算し、処理Ｓ９０４に進む。
【００９９】
処理Ｓ９０４において、予め速度差閾値記憶部１０６に記憶している速度差閾値ΔＶＴＨ（ΔＶｘＴＨ、ΔＶｙＴＨ）を読み込み、処理Ｓ９０５に進む。なお、速度差閾値記憶部１０６の記憶媒体としては、コンピュータが読み取り可能なＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、Ｂｌｕ−ｒａｙ  Ｄｉｓｃ、ＨＤＤ、フラッシュメモリ等がある。
【０１００】
次に、処理Ｓ９０５において、上述の（６）式で演算したΔＶがΔＶＴＨ以内であるか否かを上述の（７）式に基づいて判定する。ここで、処理Ｓ９０５の判定条件が成立している場合（ＹＥＳ）には、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物とが同一物体であると判断して、処理Ｓ９０６に進み、処理Ｓ９０６において物体検出フラグをセットして（ｆＯＢＪＤＴＣ＝１）、処理を終了する。
【０１０１】
一方、処理Ｓ９０５の判定条件が不成立の場合（ＮＯ）には、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ９０７に進み、処理Ｓ９０７において物体検出フラグをクリアして（ｆＯＢＪＤＴＣ＝０）、処理を終了する。
【０１０２】
図１０（ａ）〜（ｃ）は、速度差閾値記憶部１０６に予め記憶される速度差閾値ΔＶＴＨの実施例である。図１０（ａ）〜（ｃ）で示すように、定数もしくは車速ＶＳＰ［ｍ／ｓ］を独立変数にもつ関数として定義される速度差閾値ΔＶＴＨのうち、少なくとも１つを任意に選択することが可能である。
【０１０３】
図１０（ａ）では、横軸に車速ＶＳＰ、縦軸に速度差閾値ΔＶＴＨをとったグラフ１００１上に車速ＶＳＰを独立変数としない定数ｄＶ１（実線１００２）として速度差閾値ΔＶＴＨを定義している例であり、閾値ｄＶ１は予め設定する必要がある。ただし、閾値ｄＶ１は車速ＶＳＰよりも小さい値である。閾値ｄＶ１の値を小さく設定すると判定精度は向上するが、冗長性が低下し、速度演算時の誤差（例えば、車速ＶＳＰの変化に起因するものなど）の影響を受けやすくなる。逆に、閾値ｄＶ１の値を大きく設定すると判定精度がして別の物体にも関わらず同一物体と判定する可能性がある。
【０１０４】
図１０（ｂ）では、同様のグラフ１００１上に自車２０１の車速ＶＳＰに対してステップ関数（実線１００３）として（１２）式のように速度差閾値ΔＶＴＨを定義している例である。
【０１０５】
2010244474.tif 000013
【０１０６】
各閾値ｄＶＡ、ｄＶＢ、ｄＶＣおよび車速の境界値ＶＡＳＰ、ＶＢＳＰ、ＶＣＳＰは、予め任意に設定する必要があるが、各閾値ｄＶＡ、ｄＶＢ、ｄＶＣおよび境界値ＶＡＳＰ、ＶＢＳＰ、ＶＣＳＰの間隔は、図１０（ｂ）に示す実施例のように等間隔に区分しても良く、また、等間隔に区分しなくても良い。
【０１０７】
例えば、走行機会の多い速度域を中央のステップ（図１０ではＶＡＳＰ＜ＶＳＰ≦ＶＢＳＰ）として比較的広めの速度域で設定し、前後の速度域（０≦ＶＳＰ≦ＶＡＳＰとＶＢＳＰ＜ＶＳＰ≦ＶＣＳＰ）を狭く設定するなどしてもよい。
【０１０８】
なお、本実施例では３段階のステップで閾値ΔＶＴＨを定義しているが、２段階もしくは３段階以上に分割してもよい。また、閾値の大きさも図１０（ｂ）のようにｄＶＡ＜ｄＶＢ＜ｄＶＣでなくてもよく、任意に調整することができる。
【０１０９】
図１０（ｃ）では、同様のグラフ１００１上に自車２０１の車速ＶＳＰを独立変数とする関数ΔＶＴＨ＝ｆ（ＶＳＰ）として速度差閾値ΔＶＴＨを定義している例である。実線１００４は、車速ＶＳＰに比例する１次関数ΔＶＴＨ＝ｆ（ＶＳＰ）＝αＶＳＰ＋βとして閾値を定義している。
【０１１０】
ここで、αおよびβは定数であり、例えば実験・評価データなどから最小二乗法を用いて算出しても良く、また、任意に設定しても良い。また、上記１次関数のほかに、ｆ（ＶＳＰ）＝αＶｎＳＰ＋βＶｎ−１ＳＰ＋・・・などの高次関数、ｆ（ＶＳＰ）＝αｌｏｇＶＳＰ＋βなどの対数関数、他に指数関数、三角関数など、任意の関数で定義してもよい。また、独立変数として車速ＶＳＰの他に測距センサで計測する障害物との相対距離や衝突時間（ＴＴＣ［ｓ］＝相対距離ＤＲ［ｍ］／相対速度Ｖｙ１［ｍ／ｓ］）でもよい。
【０１１１】
図１１は、障害物との相対距離と検知成功率との関係を示す図である。図１１には、第２検知部１１２によるオプティカルフロー計測を、第２検知領域２２１（図２および図３を参照）に進入してくる障害物に適用し、オプティカルフロー計測結果と測距センサ２０２による検知結果とのフュージョンシステムを導入した場合の障害物検知性能における効果を概念的に示した図である。
【０１１２】
図１１は、横軸に障害物検知距離［ｍ］、縦軸に障害物検知率（パターンマッチングまで含む）［％］をとった棒グラフである。棒グラフ１１０２（１１０４、１１０５も含む）は、測距センサ２０２と画像処理（パターンマッチングのみ）による検知距離別の障害物検知率を示している。距離の区分けは自車前方５ｍ地点から４０ｍ地点まで５ｍ毎に区分している。
【０１１３】
なお、自車前方０〜５ｍの範囲は、撮像装置２０３の取り付け位置および撮像装置２０３の仕様等の関係から、撮像装置２０３では障害物を検知できない非検知領域２０９である（図２参照）。
【０１１４】
点線１１０３は、各距離での検知率を結んだ折れ線グラフである。従来の測距センサとパターンマッチング（画像処理）のフュージョンによる障害物検知の場合、車両近傍の領域（５〜１０ｍ／１０〜１５ｍ付近）ではパターンマッチングの成功率（検知率）が著しく低下する傾向がある（斜線棒グラフ１１０４と１１０５）。
【０１１５】
この原因の一つとしては、例えば、車両近傍と遠方においてそれぞれ同じ速度で横移動（横断）する障害物を仮定して、各距離で障害物が移動する平面（画像と同等）を考えた場合に、（イ）その平面上では単位時間当たりの障害物の移動距離は近傍の方が大きくなること、（ロ）近傍の障害物は画像上でパターンマッチング時の情報量が多くなることが挙げられる。
【０１１６】
前記の理由（イ）、（ロ）の２点から、近傍検知領域での測距センサによる検知遅れや未検知が発生すると、再度検知する前に障害物が検知領域から外れてしまうため、遠方に比べてパターンマッチングの成功率が大きく低下する（斜線棒グラフ１１０４と１１０５）。
【０１１７】
本実施例では、その第２検知領域２２１の障害物に対して、測距センサ２０２で計測した相対距離ＤＲ［ｍ］に基づく第１速度Ｖ１と、同障害物のオプティカルフローから演算する第２速度Ｖ２とを用いて、同一物体か否かを判定することにより、オプティカルフローで測距センサ２０２の障害物検知をサポートし、第２検知領域２２１における障害物検知の検知率を向上することができる（斜線棒グラフ１１０６および１１０７）。点線１１０８は、近傍での障害物検知率向上後の折れ線グラフである。
【０１１８】
以上のように、外界認識装置１００によれば、測距センサ２０２および撮像装置２０３に基づく画像処理（オプティカルフロー）などの複数センサで構成される障害物検知システムにおいて、各センサ情報に基づいて演算する相対速度を用いて、第２検知領域２２１における障害物の検知率向上を図ることができる。
【０１１９】
図１２は、本実施の形態における警報およびブレーキ制御の一実施例を示した図である。図１２では、撮像装置２０３をルームミラー付近に備え付け、測距センサ２０２をフロントバンパー付近に備え付けた自車２０１が道路３０６を走行中に、歩行者３０３が自車２０１の右側（奥）から矢印１２０１の方向（手前）へ歩いてくる場合（図１２（ａ））に、測距センサ２０２および撮像装置２０３の検知状況に応じて実行する警報およびブレーキ制御の実施例を示している。
【０１２０】
また、測距センサ２０２および撮像装置２０３の障害物検知状況別に、撮像装置２０３で撮影した画像１２１１に対して検知領域表示などの画像処理を施した画像を、自車２０１に搭載するカーナビゲーションのモニタ画面などに出力した様子を、図１２（ｂ）〜（ｄ）に示している。なお、モニタ画面としては上述したカーナビゲーション画面の他に、ヘッドアップディスプレイやインストルメントパネル上の画面（液晶他）などでもよい。
【０１２１】
図１２（ｂ）は、測距センサ２０２のみで歩行者３０３を検知し、歩行者３０３のオプティカルフローが計測されなかった（検知が成功しなかった）場合を示す。測距センサ３０３は、自車２０１の前方において送信波を水平方向にスキャニングしながら照射（点線１２１２）して、その歩行者３０３からの反射波を受信することで歩行者３０３を検知しており、前記画像１２１１上では測距センサ２０２の検知枠１２１３を表示している。
【０１２２】
図１２（ｃ）は、撮像装置２０３の画像に対して画像処理を施し、複数のオプティカルフロー計測点３１０を前記画像上に表示している。前記画像上で歩行者３０３が計測点３１０を通過すると、通過した計測点３１０において歩行者３０３の移動速度や方向に応じたフローベクトル５０２が演算（画像処理）され、計測点３１０の列において所定のフローベクトル群が抽出（図５を参照）された場合に、歩行者３０３と判断して検知枠５０３を表示する（第２検知部１１２）。なお、図１２（ｃ）ではオプティカルフローによる歩行者検知みのであり、測距センサ２０２による検知が実行されていない（未検知状態）。
【０１２３】
上記図１２（ｂ）、（ｃ）のように、測距センサ単独の障害物検知、もしくはオプティカルフロー計測のみによる障害物検知など、どちらか一方のみで障害物を検知した場合には、図１２（ｅ）に示すように、自車２０１の運転者１２２１に対し、ＴＴＣＡＲ［ｓｅｃ］（＝ＴＴＣＣＴＲ［ｓｅｃ］＋０．８［ｓｅｃ］）に応じて警報が作動する。
【０１２４】
警報は、音による警報の他に音声メッセージや、画像１２１１へ注意標示を出力するような視覚的な警報でもよく、それらを組み合わせた警報でもよい。ここで、ＴＴＣＡＲは、警報作動開始時の衝突時間であり、ＴＴＣＣＴＲ（≧１．６［ｓｅｃ］）は、制御作動開始時の衝突時間である。
【０１２５】
図１２（ｄ）は、前述した図１２（ｂ）の測距センサ２０２による障害物検知と、図１２（ｃ）のオプティカルフロー計測に基づく障害物検知が共に実行され、各検知結果から演算した第１速度Ｖ１と第２速度Ｖ２を用いた物体判定において、測距センサとオプティカルフローとが同一物体を検知していると判断された場合（フュージョン成功した場合）に、それぞれの検知枠（１２１３と５０３）を前記映像上に表示している。
【０１２６】
この場合、図１２（ｆ）に示すように、運転者１２２１に対してＴＴＣＡＲ［ｓｅｃ］に応じた警報が作動し、運転者１２２１による回避動作や制動動作がない場合には、同じくＴＴＣＣＴＲ［ｓｅｃ］に応じてシートベルト１２２２の締め付け制御が作動するとともに、自動ブレーキ制御が作動する。
【０１２７】
図１３は、２つの撮像装置を取り付けた場合の障害物検知の一実施例を示す図である。本実施例では、レーダ等の測距センサ２０２の代わりに、２台の撮像装置１３０２、１３０３を用いて障害物との相対位置や距離等の測距情報を取得する方法について説明する。
【０１２８】
図１３には、自車１３０１に画像処理装置を内蔵する２台の撮像装置１３０２、１３０３を取り付けた場合の取り付け位置及び画像処理を実行する領域（以下、画像処理領域と称する）が示されている。
【０１２９】
自車１３０１の左側に取り付けた撮像装置１３０２の画角は、破線１３０５、１３０５で示されており、その画像処理領域は、前記画角１３０５、１３０５間の領域１３０７と１３０９から構成される。
【０１３０】
同様に、自車１３０１の右側に取り付けた撮像装置１３０３の画角は、破線１３０６、１３０６で示されており、その画像処理領域は、前記画角１３０６、１３０６間の領域１３０８と１３０９から構成される。
【０１３１】
撮像装置１３０２、１３０３の画像処理領域１３０７、１３０８、１３０９において、歩行者１３０４が右方向から歩いてくる場合に、各画像処理領域内のＡ地点、Ｂ地点、Ｃ地点における障害物検知は下記のように実施される。
【０１３２】
まず、Ａ地点の歩行者１３０４に対しては、撮像装置１３０３から取得する画像に対してオプティカルフローもしくはパターンマッチング等の画像処理を実行して歩行者１３０４を検知する。
【０１３３】
歩行者１３０４がＢ地点に移動した場合、撮像装置１３０２および１３０３の両方で歩行者１３０４を検知することが可能であり、この場合、一方の画像処理領域１３０７に進入するまでは、基本的に最初に歩行者１３０４を検知した撮像装置（本実施例では１３０３）の画像処理を優先して検知結果を出力する。
【０１３４】
その場合、領域１３０９は基本的に自車１３０１の予測進路上に相当するため、一方の撮像装置（本実施例では１３０２）は、メインの障害物検知において未検知などが発生した場合にも対処できるように、障害物検知を継続して実行する。
【０１３５】
歩行者１３０４がＣ地点に移動した場合は、撮像装置１３０２から取得する画像に対してオプティカルフローもしくはパターンマッチング等の画像処理を実行して歩行者１３０４を検知する。
【０１３６】
従って、画像処理領域１３０７、１３０８、１３０９に亘って障害物検知を実行する場合、その検知結果、例えば、相対距離（位置座標）や相対速度、障害物の幅などの情報は、速度演算部や速度判定部のほかに、撮像装置１３０２および１３０３に備わる互いの第２検知部（画像処理部）にも出力される。
【０１３７】
また、領域１３０９における障害物検知において、撮像装置１３０２および１３０３のそれぞれの画像に基づいたオプティカルフロー計測により、各第２検知部で障害物を検知している場合に、それぞれのフローベクトルから演算した互いの第２速度Ｖ２を利用して速度判定部１０４にて速度判定を実行し、同一物体であるか否かを判断することも可能である。
【０１３８】
また、判定時のパラメータとしては、障害物の相対速度（第２速度）の他に、障害物の幅、相対距離（位置座標）などを用いても良い。なお、基本的に図１３の２台の撮像装置は同機種であるが、一方の撮像装置は可視光、もう一方の撮像装置は赤外線を用いるなど、機種もしくは仕様が異なるものでも良い。
【０１３９】
撮像装置１３０２、１３０３の取り付け位置としては、例えば自車１３０１の左右のヘッドランプ辺りに１台ずつ、あるいは、左右のサイドミラーに１台ずつ、取り付けてもよく、撮像装置１３０２および１３０３の画像処理領域が重ならないように撮像装置の方向や取り付け位置を調整することも可能である。
【０１４０】
次に、図１４を用いて、検知領域設定部１０１で設定される障害物検知領域（測距センサの検知領域と画像処理対象の領域）の他の実施例について説明する。図１４は、検知領域設定部による他の検知領域設定方法を説明する図である。なお、図２と同様の構成要素には同一の符号を付することでその詳細な説明を省略する。本実施例において特徴的なことは、障害物検知領域１４０１における第２検知領域１４０２の大きさを、自車２０１の車速ＶＳＰ［ｍ／ｓ］に応じて変更することである。
【０１４１】
障害物検知領域１４０１は、第１検知領域２１１と第２検知領域１４０２とからなる。
【０１４２】
第２検知領域１４０２は、自車２０１前方の近傍位置にて、撮像装置２０３の最大視野角２０３Ｒ、２０３Ｌの間に亘って設定される。第２検知領域１４０２は、測距センサ２０２の最大検知角２０２Ｌ、２０２Ｒ間に形成される中央領域部１４０３と、測距センサ２０２の最大検知角２０２Ｌと撮像装置２０３の最大視野角２０３Ｌとの間に形成される左領域部１４０４と、測距センサ２０２の最大検知角２０２Ｒと撮像装置２０３の最大視野角２０３Ｒとの間に形成される右領域部１４０５とを有している。
【０１４３】
第２検知領域１４０２の各領域部１４０３〜１４０５は、自車２０１の車速ＶＳＰ［ｍ／ｓ］に応じてその大きさを可変にすることが可能である。
【０１４４】
例えば、自車２０１が所定の速度域（ＶＯＰ≦ＶＳＰ≦Ｖ’ＯＰ）で走行する場合には、各領域１４０３〜１４０５をそれぞれ個別もしくは同時に前方に拡大して、領域１４０３’、１４０４’、１４０５’（長さＤ’ＯＰ［ｍ］）としてもよい。
【０１４５】
各領域部１４０３〜１４０５を個別に拡大する場合は、例えば、左領域部１４０４と右領域部１４０５をそれぞれ領域１４０４’、１４０５’まで拡大しても良く、また、自車２０１の予測進路に対応できるように中央領域部１４０３を領域１４０３’まで拡大することも可能である。
【０１４６】
なお、拡大した領域１４０３’〜１４０５’の長さＤ’ＯＰ［ｍ］は、下記（１３）式で演算される。ただし、Ｄ’ＯＰは、下記（１４）式を満たさなければならない。ここで、ＴＨＷＯＰ［ｓｅｃ］は車間時間であり、初期値は１．６［ｓｅｃ］、そして、Ｖ’ＯＰ［ｍ／ｓ］は所定の速度域の上限値（初期値＝１１．１［ｍ／ｓ］）である。Ｖ’ＯＰ以上の速度で自車２０１が走行する場合には、障害物検知領域はデフォルト（領域１４０３、１４０４、１４０５）に設定する。
【０１４７】
2010244474.tif 000014
【０１４８】
第２検知領域１４０２では、画像処理として、基本的にオプティカルフロー計測のみを実行し、パターンマッチング処理による障害物検知を実行しない。また、自車２０１の予測進路に基づいて設定する第１検知領域２１１においては、障害物のオプティカルフローを計測せずに、基本的にはパターンマッチング処理による障害物検知を実行する。
【０１４９】
［第２実施の形態］
次に、図１５を用いて、本発明の第２実施の形態について説明する。
図１５は、本実施の形態における外界認識方法を説明するフローチャートである。本実施の形態では、測距センサによる障害物検知において、検知している障害物に対して途中で未検知の状態になった場合に、測距センサの検知結果に代わり、第２検知部１１２によるオプティカルフローの演算結果を出力する場合のフローチャートである。
【０１５０】
まず、処理Ｓ１５０１において、自車２０１に搭載する測距センサ２０２で検知された障害物の位置座標もしくは相対距離を取得し、処理Ｓ１５０２に進む。そして、処理Ｓ１５０２において、障害物検知カウンタＣＮＴＤＴをインクリメントして処理Ｓ１５０３に進む。
【０１５１】
処理Ｓ１５０３では、処理Ｓ１５０２でインクリメントを開始した障害物検知カウンタＣＮＴＤＴに対して、上述の（１０）式の判定を実行する。処理Ｓ１５０３にて上述の（１０）式の判定条件が成立している場合（ＹＥＳ）には、測距センサ２０２が改めて障害物を検知したと判断して処理Ｓ１５０４に進み、処理Ｓ１５０４において相対速度、相対距離、位置座標などのパラメータを初期化する。
【０１５２】
そして、処理Ｓ１５０５において、上述の（３）式および（４）式に基づいて、検知した障害物の相対速度（第１速度Ｖ１（Ｖｘ１、Ｖｙ１））を演算し、処理Ｓ１５１２に進む。処理１５１２において、処理Ｓ１５０５および図８のＳ８０７で演算した第１速度Ｖ１（Ｖｘ１、Ｖｙ１）と第２速度Ｖ２（Ｖｘ２、Ｖｙ２）とから、上述の（６）式を用いて速度差ΔＶ（ΔＶｘ、ΔＶｙ）を演算し、同時に速度差閾値記憶部１０６に予め記憶している速度差閾値ΔＶＴＨ（ΔＶｘＴＨ、ΔＶｙＴＨ）［ｍ／ｓ］を読み込み、処理Ｓ１５１３に進む。処理Ｓ１５１３では、処理Ｓ１５１２において、上述の（６）式で演算したΔＶがΔＶＴＨ以内であるか否かを上述の（７）式に基づいて判定する。これら処理Ｓ１５１２、処理Ｓ１５１３が速度判定部１４０の処理に相当する。
【０１５３】
処理Ｓ１５１３にて、上述した（７）式の判定条件が成立している場合（ＹＥＳ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と第２検知部１１２が検知した障害物は同一物体であると判断して、処理Ｓ１５１４に進み、処理Ｓ１５１４において物体検出フラグをセットする（ｆＯＢＪＤＴＣ＝１）。処理Ｓ１５１４で物体検出フラグをセットした後、処理１５０６に進み、測距センサ２０２がそれまで検知していた障害物をロストしたか否かを判断する。なお、ロストとは、障害物を検知しない（未検知）状態であり、ここでは、前記検知障害物の位置および相対距離情報を取得できない状態を指す。
【０１５４】
処理Ｓ１５０６の判定条件が成立した場合（ＹＥＳ）には、測距センサ２０２が障害物をロストしたと判断して処理Ｓ１５０７に進み、処理Ｓ１５０７において検知ロストフラグをセットする（ｆＤＴＣＬＯＳＴ＝１）。そして、処理Ｓ１５０８において、第２速度演算部１２２で演算された該障害物の第２速度Ｖ２を出力し、処理を終了する。
【０１５５】
一方、処理Ｓ１５０６の判定条件が不成立の場合（ＮＯ）には、測距センサ２０２は障害物をロストせず、引き続き該障害物を検知していると判断して処理Ｓ１５０９に進み、処理Ｓ１５０９において検知ロストフラグをクリアする（ｆＤＴＣＬＯＳＴ＝０）。そして、処理Ｓ１５１０において、第１速度演算部１２１で演算された該障害物の第１速度Ｖ１を出力し、処理を終了する。
【０１５６】
一方、処理Ｓ１５１３にて上述した（７）式の判定条件が不成立の場合（ＮＯ）は、障害物検知部１０５において、第１検知部１１１が検知した障害物と、第２検知部１１２が検知した障害物は、互いに別の物体であると判断して、処理Ｓ１５１５に進み、処理Ｓ１５１５において物体検出フラグをクリアする（ｆＯＢＪＤＴＣ＝０）。そして、処理Ｓ１５１６において、第２検知部１１２による障害物のオプティカルフロー計測を中止して処理を終了する。
【０１５７】
処理Ｓ１５０３にて、上述の（１０）式の判定条件が不成立の場合（ＮＯ）には、（１０）式よりＣＮＴＤＴ＝０もしくはＣＮＴＤＴ＞２であると判断して、処理Ｓ１５１１に進む。そして、処理Ｓ１５１１において、測距センサ２０２が障害物を検知していない、もしくはそれまで検知していた障害物を引き続き検知しているかどうかを判断する。
【０１５８】
処理Ｓ１５１１にて、引き続き障害物を検知している（ＣＮＴＤＴ＞２）と判断した場合は、処理Ｓ１５０５に進む。そして、処理Ｓ１５０５において、上述の（３）式および（４）式に基づいて第１速度Ｖ１（Ｖｘ１、Ｖｙ１）を演算し、前述したように処理Ｓ１５１２以降の処理ステップへ順次進む。処理Ｓ１５１１にて、障害物を検知していないと判断した（ＮＯ）場合、すなわち、処理Ｓ１５０３で（ＣＮＴＤＴ＝０）と判定された場合には、処理を終了する。
【０１５９】
以上、測距センサ２０２が検知していた障害物をロストしたことにより、相対速度（第１速度）を取得できない場合でも、同障害物に対するオプティカルフローに基づいて演算した相対速度（第２速度）を取得することにより、同障害物を継続して検知し続けることが可能である。
【０１６０】
本発明は、上述の実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。
【符号の説明】
【０１６１】
１００…外界認識装置、１０１…検知領域設定部、１０２…物体検知部、１０３…速度演算部、１０４…速度判定部、１０５…障害物検知部、１０６…速度差閾値記憶部、２０１…自車、２０２…測距センサ、２０３…撮像装置、２０９…非検知領域、２１０…障害物検知領域、２１１…通常検知領域、２２１…近傍検知領域、３０３…歩行者（障害物）
【図１】
2010244474.tif 000015
【図２】
2010244474.tif 000016
【図３】
2010244474.tif 000017
【図４】
2010244474.tif 000018
【図５】
2010244474.tif 000019
【図６】
2010244474.tif 000020
【図７】
2010244474.tif 000021
【図８】
2010244474.tif 000022
【図９】
2010244474.tif 000023
【図１０】
2010244474.tif 000024
【図１１】
2010244474.tif 000025
【図１２】
2010244474.tif 000026
【図１３】
2010244474.tif 000027
【図１４】
2010244474.tif 000028
【図１５】
2010244474.tif 000029