(57)【特許請求の範囲】
【請求項１】
自車周辺の所定範囲に対して電磁波を走査することにより、前記所定範囲内の物体を検知して、自車と検知した物体との相対位置を検出するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記撮像手段の撮像結果である画像による物体トラッキング処理、若しくは前記画像のうちの前記スキャニング式測距手段によって検出された物体の位置に対応する領域を注目領域としてエッジ検出処理を行う処理のいずれかの画像処理を行い、自車と自車周辺の物体との相対位置を検出する画像処理手段と、
前記スキャニング式測距手段の出力に基づき、該スキャニング式測距手段によって検出した物体が前記所定範囲の端部に位置する度合いである測距状況を把握する測距状況把握手段と、
前記測距状況把握手段によって、前記スキャニング式測距手段によって検知した物体が前記所定範囲の端部に位置する度合いが低いと把握された場合には、前記スキャニング式測距手段によって検出した自車と物体との相対位置と、前記画像処理手段によって検出した自車と物体との相対位置とを照合して比較し、前記スキャニング式測距手段によって検出した自車と物体との相対位置と前記画像処理手段によって検出した自車と物体との差が予め定められた所定値よりも小さい時には前記画像処理手段の処理を前記物体トラッキング処理に変更し、
前記スキャニング式測距手段によって検出した自車と物体との相対位置と前記画像処理手段によって検出した自車と物体との差が予め定められた所定値以上の時には、前記画像処置手段の処理を前記エッジ検出処理に変更し、
前記測距状況把握手段によって、前記スキャニング式測距手段によって検出した物体が前記所定範囲の端部に位置する度合いが高いと把握された場合には、前記スキャニング式測距手段によって検出した自車と物体との相対位置と、前記画像処理手段によって検出した自車と物体との相対位置との照合を行わず、且つ前記画像処理手段の処理の変更を行わない画像処理変更手段と
を設けたことを特徴とする車両用外界認識装置。
【請求項２】
請求項１に記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段における視野角の左右端付近に物体を検出し、かつ検出物体の幅が小さい場合、前記スキャニング式測距手段によって検出した物体が前記所定範囲の端部に位置する度合いが高いと把握すること
を特徴とする車両用外界認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、レーザなどの電磁波を用いてスキャニングすることにより、物体との相対位置を検知する装置と、カメラ等の撮像結果から画像処理を行う装置とをフュージョンする技術に関する。
【０００２】
【従来の技術】
レーザの照射範囲を複数の検知エリアに区切り、各検知エリアの受信強度から物体の存在を判定する物体検知装置が提案されている（特許文献１参照）。この装置では、各検知エリアの受信強度の加算値と閾値との比較を行うため、物体との相対距離に関わらず確実に物体を検知することが可能となるものである。
【０００３】
【特許文献１】
特開２０００−２８７１８号公報（第４〜６頁）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に記載のような装置では、レーダからの電磁波を反射する反射物が、その全体で完全に電磁波を反射できないとき(物体の一部が検知範囲から外れる等により物体の本当の大きさに対する反射可能エリアが異なる場合)には、正しい相対横位置が検出できない場合が生じる。これについて図７〜図９を用いて説明する。時刻ｔ０において停止車両の全体がレーダ視野角内に存在している。このとき、反射可能エリアを検知し、検知リフレクタ群の左端と右端の中心位置を車両の横位置として認識する。時刻ｔ１において停止車両の一部がレーダ視野角外に出るため、図８の実線で示す位置に停止車両が位置し、右端側のみのリフレクタによって横位置を認識することになる。その後、時刻ｔ２において車両全体が視野角外に出る。図９は物体検知装置が認識している停止車両の横位置と物体の幅（車幅）との関係を表すタイムチャートである。図９の横位置のタイムチャートに示すように、一方のリフレクタのみによって車両を認識すると車幅が大きく変化する。これにより、実際の横位置に対してレーダ出力の相対横位置との間に段差が生じる。
【０００５】
ところで、レーダで検知した物体Aを単眼カメラ画像からも冗長的に検知するフュージョンシステム（ピッチング変動などでのレーダの一時的なロストに備え、レーダと同一の物体Aを単眼の画像で捕捉するシステム）では、画像単体での外界認識と比べて、処理時間の短縮や信頼性の向上を実現するものである。例として、フュージョンシステムによる代表的な処理シーケンスを図１０に示す。処理１において、物体を発見すると、処理２において、レーダで検知した位置結果に基づき、撮像結果から注目領域を決める。そして、処理３において、単眼の画像から所定の特徴をもった領域Ωを抽出し、その単眼画像における領域Ωが如何ほどの距離を有するものであるかのキャリブレーションを行う。その後、処理４において、画像だけを用いてトラッキングする処理（パターンマッチングやエッジ検出など）により物体Aを追跡し、追跡結果とキャリブレーション結果に基づき物体Aの位置を算出する。
【０００６】
一般に、カメラによる物体検知はレーダの物体検知より信頼性が低い。そこで、確実性を増すため、｛レーダ検知位置と画像処理による検知位置とを比較して、その差が小さいときが所定期間τ以上連続した場合＝これを処理εとする｝から、現在の走行状況におけるカメラ画像処理は信頼性が高いかどうかを判断する処理５を行う。
【０００７】
画像で物体をトラッキングする際、トラッキング期間が長くなると、物体を画像から正しく検知・追跡できなくなることがある。これは、トラッキング中に、ターゲットとする物体に背景などが入ってしまうことが原因となる。このため、レーダと画像で捕らえているものが同じ物体であるか否かの判断は、定常的に行うことが一般的である。これにより、レーダと画像の双方が別々の動きを行った場合に、どっちを信じて良いか分からなくなるという問題を回避している。特に、割り込み車両などの急な出現を除けば、単眼カメラでレーダ検知物をトラッキングする時間が長いため、上記の処理εにより、画像での検知結果の信頼性の高さを定常的に判断する。
【０００８】
そして、処理６において、信頼性が低いと判断されたときには、処理１から再度実行する初期画像処理状態（再度カメラ画像の特徴領域Ωをレーダ検知位置に基づき決め、画像とレーダとのキャリブレーションを行う処理）に戻す。
逆に信頼性が高いと判断されたときには、画像処理だけで物体位置のトラッキングを継続し、信頼性の低い場合とはタイミングや大きさの異なる制動や警報を行う。
【０００９】
このようなフュージョンシステムにおいて、図７〜９のようなレーダ位置変化が生じた場合には、レーダ検知位置と画像検知位置の差が大きいと判断され、次の問題が発生する。
・所定期間τ未満（信頼性が高くなる以前）：信頼性が高くなるまでの期間がさらに遅くなる。
・所定期間τ以降（信頼性が高くなった後）：キャリブレ状態（信頼性の低い初期状態）に戻される。
【００１０】
本発明は、上述の課題に鑑み、レーダ視野角の左右端付近に検知したい物体が存在し、レーダが検知物体の横位置を誤検知する場合であっても、画像処理を継続することが可能な車両用外界認識装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記目的を達成するため、本願発明では、自車周辺の所定範囲に対して電磁波を走査することにより、前記所定範囲内の物体を検知して、自車と検知した物体との相対位置を検出するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記撮像手段の撮像結果である画像による物体トラッキング処理、若しくは前記画像のうちの前記スキャニング式測距手段によって検出された物体の位置に対応する領域を注目領域としてエッジ検出処理を行う処理のいずれかの画像処理を行い、自車と自車周辺の物体との相対位置を検出する画像処理手段と、前記スキャニング式測距手段の出力に基づき、該スキャニング式測距手段によって検出した物体が前記所定範囲の端部に位置する度合いである測距状況を把握する測距状況把握手段と、前記測距状況把握手段によって、前記スキャニング式測距手段によって検知した物体が前記所定範囲の端部に位置する度合いが低いと把握された場合には、前記スキャニング式測距手段によって検出した自車と物体との相対位置と、前記画像処理手段によって検出した自車と物体との相対位置とを照合して比較し、前記スキャニング式測距手段によって検出した自車と物体との相対位置と前記画像処理手段によって検出した自車と物体との差が予め定められた所定値よりも小さい時には前記画像処理手段の処理を前記物体トラッキング処理に変更し、前記スキャニング式測距手段によって検出した自車と物体との相対位置と前記画像処理手段によって検出した自車と物体との差が予め定められた所定値以上の時には、前記画像処置手段の処理を前記エッジ検出処理に変更し、前記測距状況把握手段によって、前記スキャニング式測距手段によって検出した物体が前記所定範囲の端部に位置する度合いが高いと把握された場合には、前記スキャニング式測距手段によって検出した自車と物体との相対位置と、前記画像処理手段によって検出した自車と物体との相対位置との照合を行わず、且つ前記画像処理手段の処理の変更を行わない画像処理変更手段とを設けたことで、上記課題を解決するに至った。
【００１２】
【発明の効果】
本願発明にあっては、スキャニングにより検知した各物体について、その検知状況を把握する。そして、検知状況の把握結果から、画像処理の変更の必要性に応じて、画像の処理内容を一時的に変更する。つまり、レーダ検知位置に段差が生じ、本来の物体位置と画像処理による検知位置との差異が生じても、画像による物体トラッキングに支障をきたすことなく、物体を正確に検知することができる。
【００１３】
【発明の実施の形態】
以下、本発明における車両用外界認識装置の実施形態について実施例をもとに説明するが、本発明は実施例に限定されるものではない。
【００１４】
（第１実施例）
図１は、この発明の第１実施例を示す図である。まず構成を説明すると、車両の先頭にはスキャニング式のレーザレーダ１が設けられている。このレーザレーダ１には、走査した結果から障害物候補を抽出するレーダ処理装置２が接続され、このレーダ処理装置２では一つ又は複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と、障害物候補の幅（大きさ）の算出が実施される。
【００１５】
また、自車前方の状況を高速に把握するプログレッシブスキャン式の３CCDカメラ３が搭載されている。この3CCDカメラ３の撮像結果が画像処理装置４に接続されている。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１６】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続されている。この外界認識装置５には、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７が接続されている。
【００１７】
上述のようなハード構成から、本発明の測距状況把握手段と後段の処理（相対速度算出処理や障害物判断処理）変更手段等の演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１８】
外界認識装置５では、レーダ処理装置で検知した各物体が自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に出力される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。
【００１９】
これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００２０】
図２は、第１実施例における車両用外界認識装置の制御構成を表すブロック図である。まず構成を説明すると、図中の101は物体との相対位置を出力するスキャニング式測距手段、102は自車周辺状況を撮像する撮像手段、103はスキャニング式測距手段の測距結果に基づき撮像手段102の撮像結果におけるパターンマッチング処理を行う画像処理手段、104はスキャニング式測距手段101で検知した物体の測距状況を把握する測距状況把握手段、105は測距状況把握手段104の出力をトリガーとして画像処理手段103の画像処理を変更する画像処理変更手段である。
【００２１】
図３は第１実施例における物体検知制御を表すフローチャートである。この実施例は、請求項１，２項に対応するものであり、自車前方の状況を把握するスキャニング式レーザレーダの走査結果（位置の変化や幅の変化）から、検知物体の測距状況を把握し、画像処理に関する処理内容を一時的に変更することで信頼性の高い画像処理を行う場合である。尚、本制御は100[ms]毎に実施されるものとする。
【００２２】
ステップ２０１では、スキャニング式レーザレーダ１の検知した各物体の位置ベクトル（横方向：Px_z0, 縦方向Py_z0），および、物体の幅（大きさ：W_z0）を読み込む。更に、カメラ撮像結果も取り込む。なお、添え字のz0とは今回の値を、z1は１サンプリング（100ms）過去の値を、znはnサンプリング過去の値を、それぞれ意味する。
【００２３】
ステップ２０２では、ステップ２０１で読み込んだ検知物体の縦位置と横位置から、次式（１）を算出する。
α =  func1[ abs{ atan( Px_z0 ／ Py_z0 )} − K1 Th_R ] ・・・ （１）
ここで、func1(A)とは図４のような特性を有する関数であって、func1∈[0, 1]の範囲をとる。atan(A)とは、A(引数argumentの頭文字)の逆正接値を出力する関数であり、abs(A)とは、Aの絶対値を出力する関数である。K1は1未満の正数であり、Th_LとTh_Rはスキャニングレーザレーダの視野角における左右端の角度を表すものである。例えば、視野角12degのスキャニング式レーザレーダで自車の進行方向右側をプラスとした場合、自車正面を中心（ゼロdeg）として、Th_L = −6[deg]，Th_R = ＋6[deg] となる。
【００２４】
ステップ２０３では、ステップ２０１で読み込んだ検知物体の幅から、次式（２）を算出する。
β＝func2{ W_z0 − Th_W } ・・・（２）
ここで、Th_Wとは、警報や制御する対象として扱う物体の幅から決まる閾値である。func2(A)とは図５のような特性を有する関数であって、func2∈[0, 1]の範囲をとる。
【００２５】
ステップ２０４では、後述する初回画像処理終了フラグ：IP_Stateが次式（３）を満たしている場合（初回処理が終了の場合）にはステップ２０８へ、そうでない場合にはステップ２０５へ進む。
IP_State ＞ 0 ・・・（３）
【００２６】
ステップ２０５では、画像処理領域を、レーダの視野角外側方向に広げて透視変換を行い、画像処理する注目領域を決める。
disp_obj_YA = ( yo + ( focusV * CAM_h2 / Py_z0 ) )
disp_obj_YB = (yo+(focusV*CAM_h/Py_z0))                    ・・・(４)
disp_obj_XL = (xo+(focusH/Py_z0*Px_z0))-(focusH*wide/Py_z0)
disp_obj_XR = (xo+(focusH/Py_z0*Px_z0))+(focusH*wide/Py_z0)
ここで、disp_obj_＊＊とは画像処理を行う矩形領域の端っこの座標値であって、disp_obj_YAは矩形の上側、disp_obj_YBは矩形の下側、disp_obj_XLは矩形の左側、disp_obj_XRは矩形の右側の画像座標を表している。また、yoは消失点の縦座標[pix]を、xoは消失点の横座標[pix]を（yo,xoはカメラ取り付け位置と向きで決まるパラメータ）、focusVは画素換算したカメラの鉛直方向の焦点距離[pix]であり、focusH画素換算したカメラの水平方向の焦点距離[pix]であり、受光面が正方格子である場合にはfocusV=focusHである(focusVとfocusHはカメラ画角と受光素子の解像度で決まるパラメータ)。そして、CAM_hはカメラの取り付け高さ[m]で、CAM_h2はCAM_hから障害物候補として考慮すべき物体の高さ：obj_H[m]を減算した値であり、wideはレーザレーダの横方向位置の検知精度（標準偏差[m]）と障害物として考慮すべき物体の最大値との和で決まる幅[m]の半分の値を画素換算した値[pix]である。
【００２７】
ステップ２０６では、ステップ２０５の上式（４）で限定した注目領域に対して、次の要領で初回特徴検出処理を行う。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める。ここで、sobelフィルターとは、ある画素に隣接する画素同士の輝度変化を求める演算である。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する。ここで、2値化とは、各画素の輝度（＝ここでは微分画像の輝度）が閾値以下の弱い場合には黒色、閾値以上の強い場合には白色と、2色に離散化する処理である。
▲３▼2値化した画像の投影処理を行う。具体的には、輝度変化の強い白色の画素の数を画面の水平・垂直方向にそれぞれ加算するようにカウントする。すると、レーダ検知車両の左右端や上下端付近では、背景と車両の輝度変化が強いため、白色の画素が他の場所より多くカウントされることとなる。
▲４▼投影結果から、2値画像におけるレーダ検知車両の四隅に相当する領域は、他の領域より投影量が多いため、車両のエッジを検出する。本実施例では、車両の左右端に相当する1対の縦方向のエッジペアを検出し、画面内座標を求める。ここで、求めたエッジペアの画像上の位置（水平方向座標値）をそれぞれSideEdge_RとSideEdge_Lとする。
▲５▼レーダ検知車両の画像上の幅：EdgeWidth は投影処理により検出したエッジペアの間隔[pix]から求められる（EdgeWidth = SideEdge_R−SideEdge_L）。
▲６▼投影結果における、SideEdge_RとSideEdge_Lの間に横方向のエッジが存在するかを調べる。
▲７▼撮像結果の注目領域から、厳密な特徴（▲４▼の縦エッジペアと▲６▼の横エッジの組み合わせからなるH型のエッジ）を検出できた場合には、初回特徴検出処理を終了するためIP_State = 1に設定し、そうでない場合には、初回特徴検出処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0,
IP_State = 0と設定する。
【００２８】
ステップ２０７では、次式（５）〜（７）で、レーダ検知物の位置を画像からの位置[m]として算出して、ステップ２１３へ進む。
CamTate = Py_z0                                            ・・・（５）
CamYoko
= ((((SideEdge_R+SideEdge_L) / 2)-xo)*Py_z0) / focusH      ・・・（６）
RealWidth = EdgeWidth * Py_z0 / focusH                    ・・・（７）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力値としてCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。また、レーダと画像との照合時間を表すカウンタ：LR_IP_Cntをゼロにクリアする。
【００２９】
ステップ２０８では、注目領域に対して次の要領で特徴追跡処理を行う。
▲１▼注目領域の微分画像をsobelフィルターなどにより求める。具体的には、撮像結果の全体から微分画像を求めても良いし、前回のサンプリングにおけるSideEdge_RとSideEdge_Lが含まれる領域より少し広めの領域だけに絞って微分画像を求めても良い。
▲２▼求めた微分画像の輝度に関する平均値と分散値を用いて設定する閾値で2値化する。
▲３▼2値化した画像から、前回のサンプリングで求めたSideEdge_RとSideEdge_L付近だけの２つ小領域を求める。
▲４▼２つの小領域のそれぞれに対して、投影処理を行う。
▲５▼２つの投影処理結果から、最も多くカウントされる（長い）エッジを、それぞれの小領域から1つずつ求める。ここで求めた２つの縦エッジを、今回のサンプリングにおけるSideEdge_RとSideEdge_Lとする。
▲６▼レーダ検知車両の画像上の幅：EdgeWidth をエッジペアの間隔[pix]から求める。
▲７▼撮像結果の注目領域から、簡素化した特徴（▲５▼の縦エッジペア）を検出できた場合には、特徴追跡処理の成功を意味するIP_State = 1に設定し、そうでない場合には、特徴追跡処理が失敗＝画像のロストを意味するようにSideEdge_R=0, SideEdge_L=0, EdgeWidth=0, IP_State = 0と設定する。
【００３０】
ステップ２０９では、次式（８）〜（１０）で、レーダ検知物の位置を画像からの位置として算出する。
CamTate = (focusV * RealWidth) / (EdgeWidth)              ・・・（８）
CamYoko
= ((((SideEdge_R+SideEdge_L) / 2)-xo)*CamTate)/focusH      ・・・（９）
RealWidth = EdgeWidth * CamTate / focusH                ・・・（１０）
ここで、SideEdge_R=0, SideEdge_L=0の場合には、画像でのロストを意味する出力値としてCamTate とCamYokoを設定する。例えば、CamTate =CamYoko=256[m]とする。
【００３１】
ステップ２１０では、ステップ２０２とステップ２０３で求めたαとβが、次式（１１）を満足すればステップ２１２へ、そうでなければステップ２１１へ、それぞれ進む。
α＋β ＞ Th_Crit1                                       ・・・（１１）
ここで、Th_Crit1とは画像における一時的な処理変更を実施する頻度に関する正の閾値であり、2未満の数値をとる。すなわち、初回画像処理が終了し、その後、検知物体がレーダ視野角の左右端に存在する度合いが高い場合には、レーダ検知位置との照合を行わず、画像検知位置を重視することで、画像による物体トラッキングを実施中の場合でも、誤った判断により、初期画像処理状態に戻されることが無く、トラッキングを継続することができる（請求項１に対応）。
【００３２】
ステップ２１１では、ステップ２０１で読み込んだレーダ検知位置とステップ２０７もしくは２０９で算出した画像での検知位置とを次式（１２）から比較して、照合時間を表すカウンタ：LR_IP_Cntを変更する。
if ( abs(CamTate−Py_z0) + abs(CamYoko−Px_z0) ＜ Th_D ) LR_IP_Cnt
= LR_IP_Cnt+1
else  IP_State = 0, LR_IP_Cnt = 0                       ・・・（１２）
ここで、if (expression) statement1 else statement2 とは、expressionを満たす場合にstatement1 を実施し、expressionを満たさない場合にはstatement2 を実施する関数である。また、Th_Dとはレーダと画像との位置ズレの許容範囲を意味する正の閾値[m]である。
【００３３】
ステップ２１２では、画像処理の信頼性を把握する。次式（１３）を満足すればステップ２１３へ、そうでない場合にはステップ２１４へ、それぞれ進む。
LR_IP_Cnt ＜ Th_Cnt ・・・（１３）
ここで、Th_Cntは動作サンプリング周期で決まる正の整数の閾値であり、この閾値以下の場合には画像の信頼性が低いものとする。
【００３４】
ステップ２１３では、後段へ出力する画像とレーダとの統合位置を出力する際、画像の信頼性が低いためレーダ検知位置を重視し、次式として設定してステップ２１７へ進む。
integratedPx = Px_z0                                  ・・・（１４）
integratedPy = Py_z0                                  ・・・（１５）
【００３５】
ステップ２１４では、後段へ出力する画像とレーダとの統合位置を求める。
ここで、統合して求められた横位置をintegratedPx、縦位置をintegratedPyとする。
【００３６】
ステップ２１５では、次式（１６）によるレーダの検知状況から、画像での検知結果を重視するか否かを判断する。式（１６）を満足する場合にはステップ２１６へ、そうでない場合にはステップ２１７へ、それぞれ進む。
α＋β ＞ Th_Crit2                                      ・・・（１６）
ここで、Th_Crit2とは、レーダ検知位置の精度が悪くなることを判断するための正の閾値であり、2未満の数値をとる。すなわち、検知物体がレーダ視野角の左右端に存在するときは、レーダ検知位置の精度が悪い虞があるためである。
【００３７】
ステップ２１６では、後段へ出力する画像とレーダとの統合位置において、画像処理の位置を重視するように、次式による統合位置の修正を行う。
integratedPx = CamTate                                 ・・・（１７）
integratedPy = CamYoko                                 ・・・（１８）
すなわち、画像とレーダとの位置を統合する際に、レーダ視野角の左右端に検知物体が存在するときは、図９に示すように横位置に段差が発生する場合があり、レーダが物体を誤検知する場合がある。よって、画像処理からの物体検知位置を重視することで、検知位置と画像検知位置の差が大きい場合であっても、画像による物体トラッキングを実施中の場合でも、誤った判断により、初期画像処理状態に戻されることが無く、トラッキングを継続することができる。尚、第１実施例では、画像処理の位置のみを用いたが、レーダによる検知位置に第１確信度を乗じ、画像処理による検知位置に第２確信度を乗じ、各確信度を乗じた検知位置を統合する構成としても良い。このとき、第２確信度を大きくするよう変更することで統合位置を求めても良い。
【００３８】
ステップ２１７では、レーダ検知位置と画像からの検知位置を統合した位置を後段へ出力し、過去値の更新を行い、終了する。
【００３９】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に停止車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に停止車両が存在するとき（時刻ｔ０〜ｔ１）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０５→ステップ２０６→ステップ２０７→ステップ２１２へと進み、画像検知位置の信頼性を確認する。そして、画像検知位置の信頼性が高いときは、ステップ２１４→ステップ２１５→ステップ２１７へと進み、レーダ検知位置と画像検知位置を統合して統合位置を出力するとともに、過去値を更新する。画像検知の信頼性が低いときは、ステップ２１３へ進み、統合位置としてレーダ検知位置を出力する。一旦初回画像処理が終了すると、その後は、ステップ２０４→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１１へと進み、画像のトラッキングを継続しつつレーダ検知位置と照合することで、画像の信頼性を確認しつつ検知物体の位置を出力する。
【００４０】
（前方に停止車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角外に出て行く状態）
前方に停止車両が存在し、その車両がレーダ視野角の左右端から更に自車から離れる側に移動したとき（時刻ｔ１〜ｔ２）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０８→ステップ２０９→ステップ２１０→ステップ２１０へと進む。すなわち、検知物体がレーダ視野角の左右端に存在するときは検知物体の幅が小さいが、徐々に自車から離れる側に移動しレーダ視野角外に出ると、右側のみのリフレクタを認識するため検知物体の幅が急激に小さくなる（図７〜９参照）。このときは、レーダ検知位置の誤差が大きいにも関わらず、画像検知位置とのずれが大きくなるため、画像処理の信頼性が低いと判断し、再度信頼性の低い初期状態に戻されてしまうという問題や、信頼性が高くなるまでの期間が遅くなるという問題がある。そこで、検知車両がレーダ視野角の左右端に存在するときは、レーダ検知位置と画像検知位置との照合を行わないことで、画像処理の信頼性が低いと認識することがなく、画像による物体トラッキングに支障をきたすことがない。
【００４１】
以上説明したように、第１実施例にあっては、画像処理で長期トラッキング中には、そのトラッキング状態の良否の判断としてレーダとの差異を把握する処理において、レーダ検知位置に段差や誤差が生じそうな場合では、レーダと画像との位置照合での画像失敗判断を行わない。さらに、レーダと画像との位置を統合する際には画像を重視する。このように、画像処理を一時的に変更することにより、レーダの検知精度が悪いときに誤って画像側にミスがあるものと勘違いすることがなくなるため、画像によるトラッキング性能が向上することや、後段での障害物判断処理の正確さを向上することができる。
【００４２】
（参考例）
次に参考例について説明する。基本的なハード構成は第１実施例と同様であるため、異なる点についてのみ説明する。第１の実施例はレーザレーダ視野角付近では画像処理の失敗判断を行わずに画像検知位置を重視するものであるが、参考例では、レーダ横位置段差に対して画像処理で用いる横位置を一時的に補正するように変更することにより、より正確なフュージョン処理を行う場合である。
【００４３】
図４は参考例における相対速度算出制御及び障害物判断制御を表すフローチャートである。本実施例も100ms毎に実施され、ステップ３０１は第1実施例のステップ２０１と同様なので省略する。
【００４４】
ステップ３０２は、ステップ２０２と同様であるが、次式（１９）を満足する場合には３０５へ、そうでない場合には３０３へ進む。
K1 Th_L ＜ atan( Px_z0 ／ Py_z0 ) ＜ K1 Th_R ・・・ （１９）
ここで、式１９を満足しない場合には検知物はレーダ視野角の左右端付近に存在する微妙な測距状態であることが分かる。
【００４５】
ステップ３０３では、ステップ２０１で読み込んだ検知物体の横位置とその過去値が、次式（２０）を満足する場合にはステップ３０４へ、そうでない場合にはステップ３０６へ進む。
abs(Px_z0 − Px_z1) ＞ Th_Px ・・・（２０）
ここで、Th_Pxとは横位置の変化に関する正の閾値であり、通常は障害物とする物体の大きさよりも小さい値とする。すなわち、式２０を満足すれば、検知位置の急激な変化を意味しており、車両のリフレクタの一方がレーダ視野角外に出ることで変化したことが分かる。
【００４６】
ステップ３０４では、後に用いる物体横位置の補正量を算出する。
cmpPx = Px_z0 − Px_z1 ・・・（２１）
【００４７】
ステップ３０５では、後に用いる物体横位置の補正量をリセットする。
cmpPx = 0 ・・・（２２）
【００４８】
ステップ３０６では、第１実施例におけるステップ２０４と同様なので省略する。
【００４９】
ステップ３０７では、第１実施例におけるステップ２０５と同様であるが、上式（２１）、（２２）の補正を考慮して式（２３）から、注目領域を算出する。
disp_obj_YA=( yo + ( focusV * CAM_h2 / Py_z0 ) )
disp_obj_YB=(yo+(focusV*CAM_h/Py_z0))                    ・・・(２３)
disp_obj_XL=(xo+(focusH/Py_z0*(Px_z0−cmpPx)))-(focusH*wide/Py_z0)
disp_obj_XR=(xo+(focusH/Py_z0*(Px_z0−cmpPx)))+(focusH*wide/Py_z0)
このように、レーダの検知位置を補正し、この補正した値に基づいて画像の注目領域を決定することで、画像処理による物体トラッキング性能が向上する。
【００５０】
ステップ３０８からステップ３１１は、第1実施例におけるステップ２０６からステップ２０９と同様なので省略する。
【００５１】
ステップ３１２は、第１実施例におけるステップ２１１と同様であるが、式（２１）、（２２）の補正を考慮して次式（２４）のように、レーダと画像の位置を比較する。
if ( abs(CamTate−Py_z0) + abs(CamYoko−(Px_z0−cmpPx)) ＜ Th_D ) LR_IP_Cnt = LR_IP_Cnt+1
else  IP_State = 0, LR_IP_Cnt = 0 ・・・（２４）
このように、補正したレーダ検知位置と画像検知位置との照合を行うことで、画像処理の信頼性が高いにも関わらずレーダ検知位置と画像検知位置が大きくずれることが無い。尚、レーダ検知位置の横位置を急変前の値として保持し、レーダ検知位置の縦位置のみ更新し、このレーダ検知位置と画像検知位置とを照合しても良い。
【００５２】
ステップ３１３は、第１実施例におけるステップ２１２と同様なので省略する。
【００５３】
ステップ３１４は、第１実施例におけるステップ２１３と同様であるが、式（２１）、（２２）の補正を考慮して次式（２５）のように、統合位置における横位置を補正する。（縦位置は式１５と同じため、省略。）そして、ステップ３１６へ進む。
integratedPx = Px_z0−cmpPx                              ・・・（２５）
【００５４】
ステップ３１５は、第１実施例におけるステップ２１４と同様のため、省略する。
【００５５】
ステップ３１６は、第１実施例におけるステップ２１７と同様のため、省略する。
【００５６】
次に、上記画像処理制御について図７〜図９を用いて状況別に説明する。
（前方に停止車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に停止車両が存在するとき（時刻ｔ０〜ｔ１）は、ステップ３０１→ステップ３０２→ステップ３０３→ステップ３０６→ステップ３０７→ステップ３０８→ステップ３０９へと進み、画像検知位置の信頼性を確認する。そして、画像検知位置の信頼性が高いときは、ステップ３１５→ステップ３１６へと進み、レーダ検知位置と画像検知位置を統合して統合位置を出力するとともに、過去値を更新する。画像検知の信頼性が低いときは、ステップ３１４へ進み、統合位置としてレーダ検知位置を出力する。一旦初回画像処理が終了すると、その後は、ステップ３０６→ステップ３１０→ステップ３１１→ステップ３１２へと進み、画像のトラッキングを継続しつつレーダ検知位置と照合することで、画像の信頼性を確認しつつ検知物体の位置を出力する。尚、この段階では、検知車両の左右リフレクタが両方とも検知されているため、レーダ視野角の左右端であっても特に横位置の補正は行われない。
【００５７】
（前方に停止車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角外に出て行く状態）
前方に停止車両が存在し、その車両がレーダ視野角の左右端から更に自車から離れる側に移動したとき（時刻ｔ１〜ｔ２）は、ステップ３０１→ステップ３０２→ステップ３０３→ステップ３０４→ステップ３０６→ステップ３１０→ステップ３１１→ステップ３１２へと進む。すなわち、検知物体がレーダ視野角の左右端に存在していたとしても、左右のリフレクタを検知しているときは検知物体の幅が大きい。しかし、徐々に自車から離れる側に移動しレーダ視野角外に出ると、一方（例えば右側）のみのリフレクタを認識するため検知物体の幅が急激に小さくなり、更に、検知物体の中心位置が自車両側に急激に近づく方向に変化する。（図７〜９参照）。このときは、レーダ検知位置の誤差が大きいにも関わらず、画像検知位置とのずれが大きくなるため、画像処理の信頼性が低いと判断し、再度信頼性の低い初期状態に戻されてしまうことがないように、検知車両がレーダ視野角の左右端に存在し、レーダ検知位置が急激に変化したときは、横位置の変化量を補正することで、レーダ検知位置と画像検知位置との照合を行ったとしても、画像処理の信頼性が低いと認識することがなく、画像による物体トラッキングに支障をきたすことがない。
【００５８】
以上説明したように、参考例にあっては、画像処理で長期トラッキング中には、そのトラッキング状態の良否の判断としてレーダとの差異を把握する処理において、レーダ検知位置に段差や誤差が生じた場合では、レーダ位置に補正を行う。このように、画像処理を一時的に変更することにより、レーダの視野角左右端における検知精度の悪化に対しても適切に画像処理で対応することができるため、画像によるトラッキング性能が向上することや、後段での障害物判断処理の正確さが向上することができる。
【図面の簡単な説明】
【図１】第１実施例における基本構成を示す概略図である。
【図２】第１実施例における、外界認識装置の制御構成を表すブロック図である。
【図３】第１実施例における、画像処理制御を表すフローチャートである。
【図４】第１実施例における、関数fanc1の特性を表すマップである。
【図５】第１実施例における、関数fanc2の特性を表すマップである。
【図６】第２実施例における、外界認識装置の制御構成を表すブロック図である。
【図７】停止車両を検知した場合の測距状況を表す概略図である。
【図８】停止車両を検知した場合のリフレクタと車両中心の関係を表す図である。
【図９】停止車両を検知した場合の横位置及び車幅の関係を表す図である。
【図１０】画像処理シーケンスを表す図である。
【符号の説明】
１    レーザレーダ
２    レーダ処理装置
３    CCDカメラ
４    画像処理装置
５    外界認識装置
６    車速検出装置
７    操舵角検出装置
８    自動ブレーキ制御装置
９    負圧ブレーキブースタ
【図１】
0004175087.tif 000002
【図２】
0004175087.tif 000003
【図３】
0004175087.tif 000004
【図４】
0004175087.tif 000005
【図５】
0004175087.tif 000006
【図６】
0004175087.tif 000007
【図７】
0004175087.tif 000008
【図８】
0004175087.tif 000009
【図９】
0004175087.tif 000010
【図１０】
0004175087.tif 000011