(57)【要約】【課題】レーダ視野角の左右端付近に検知したい物体が存在する場合であっても、誤った画像処理（パターンマッチング）による物体検出を行うことのない車両用外界認識装置を提供すること。【解決手段】自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段を用いて前記撮像手段の撮像結果からパターンマッチングに関する処理領域を決める画像処理手段と、を備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段とを設けた。【選択図】        図３
2004148991.tif 000002
【特許請求の範囲】
【請求項１】
自車周辺の物体を検知して、自車と検知した物体との相対位置を出力するスキャニング式測距手段と、
自車周辺の状況を撮像する撮像手段と、
前記スキャニング式測距手段を用いて前記撮像手段の撮像結果からパターンマッチングに関する処理領域を決める画像処理手段と、
を備えた車両用外界認識装置において、
前記スキャニング式測距手段の出力に基づき各物体の測距状況を把握する測距状況把握手段と、
該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段と、
を設けたことを特徴とする車両用外界認識装置。
【請求項２】
請求項１に記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段における視野角の左右端付近に物体を検知したときに、前記画像処理変更手段に対し処理を変更する情報を出力することを特徴とする車両用外界認識装置。
【請求項３】
請求項１または２に記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から、検知物体の幅が小さいときに、前記画像処理変更手段に対し処理を変更する情報を出力することを特徴とする車両用外界認識装置。
【請求項４】
請求項１ないし３いずれか１つに記載の車両用外界認識装置において、
前記測距状況把握手段は、前記スキャニング式測距手段の出力から検知物体の横方向（車両にあっては車幅方向）の位置が自車から離れる方向に急変したとき、或いは検知物体の大きさが急増したときに、前記画像処理変更手段に処理の変更を知らせる情報を出力することを特徴とする車両用外界認識装置。
【請求項５】
請求項１ないし４いずれか１つに記載の車両用外界認識装置において、
前記画像処理変更手段は、前記測距状況判断手段の出力から変更を知らせる情報が出力されると、前記画像処理手段で既に作成した基準テンプレートを、変更を知らせる情報が出力された直後のスキャニング式測距手段の出力に基づき新たに作成した基準テンプレートに更新することを特徴とする車両用外界認識装置。
【請求項６】
請求項１ないし５いずれか１つに記載の車両用外界認識装置において、
前記画像処理変更手段は、前記測距状況判断手段の出力から変更を知らせる情報が出力されると、変更に該当する検知物体に対しては画像処理を実施しないことを特徴とする車両用外界認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、レーザなどの電磁波を用いて、スキャニングすることにより、物体との相対位置を検知する装置に関する。
【０００２】
【従来の技術】
レーザの照射範囲を複数の検知エリアに区切り、各検知エリアの受信強度から物体の存在を判定する物体検知装置が提案されている（特許文献１参照）。この装置では、各検知エリアの受信強度の加算値と閾値との比較を行うため、物体との相対距離に関わらず確実に物体を検知することが可能となるものである。
【０００３】
【特許文献１】
特開２０００−２８７１８号公報（第４〜６頁）
【０００４】
【発明が解決しようとする課題】
しかしながら、上述の特許文献１に記載のような装置では、レーダからの電磁波を反射する反射物が、その全体で完全に電磁波を反射できないとき（物体の一部が検知範囲から外れる等により物体の本当の大きさに対する反射可能エリアが異なる場合）には、正しい相対横位置が検出できない場合が生じる。これについて図４〜図６を用いて説明する。時刻ｔ０において隣接レーンから自車進行方向の前方に割り込む車両が存在し、時刻ｔ１において割り込み車両の一部がレーダ視野角に入る。このとき、反射可能エリアを検知し、検知リフレクタ群の左端と右端の中心位置を車両の横位置として認識する。よって、図５の実線で示す位置に割り込み車両が位置し、左端側のみのリフレクタによって横位置を認識することになる。その後、時刻ｔ２において車両全体が視野角に入り、図中右端側と左端側のリフレクタから横位置を認識するため、図５の場合、横位置が図中左側に移動することとなる。図６は物体検知装置が認識している割り込み車両の横位置と物体の幅（車幅）との関係を表すタイムチャートである。図６の横位置のタイムチャートに示すように、車幅が大きく変化すると、レーダ出力の相対横位置に段差が生じる。
【０００５】
ところで、レーダ検知物をカメラ画像から把握するため、レーダ検知位置付近の画像領域を基準テンプレートとして記憶し、レーダの瞬間的なロストに対応するような簡易的なフュージョンによる外界認識システムでは、画像単体での外界認識と比べて、処理時間の短縮や信頼性の向上を実現するものである。例として、フュージョンシステムによる代表的な処理シーケンスを図７に示す。処理１において、物体を発見すると、処理２において、レーダで検知した位置結果に基づき、撮像結果における小領域を基準テンプレートとして記憶する。次に、処理３において、基準テンプレートとマッチングさせるサーチ領域部分を決定する。次に、処理４において、新たな撮像結果（入力画像）と基準テンプレートとのパターンマッチング手法（入力画像から基準テンプレートとの相関が高い領域を検索し、その領域の画像座標［ｐｉｘ］と相関値を求める手法）から逆透視変換することでカメラ画像からレーダ検知物体位置［ｍ］を求める。これにより、単純な処理でレーダを補う冗長系が構成できるため、レーダ単体での外界認識系と比較して捕捉率の向上を、画像単体での外界認識と比べて処理時間の短縮や信頼性の向上を、実現するものである。
【０００６】
このようなフュージョンシステムにおいて、上述のレーダ視野角左右端における問題が生じる場合では、撮像結果における注目すべき画像領域は、図８に示すように、検知したい物体の一部が欠ける。すると、この注目領域にはレーダ検知物体以外の背景が含まれる。パターンマッチングの性能を決める本質的な要素は、基準テンプレートにおけるＳＮ比の高さ、つまり、検知したい車両（Ｎ）の領域に対して背景（Ｎ）の領域を少なくすることができるかである。
【０００７】
このため、レーダで検知した物体を画像からパターンマッチングを行う場合には、レーダの視野角ギリギリのため、基準テンプレートに背景を比較的多く含むことになる。すると、検知したい物体の画像領域から少し離れた画像領域に誤マッチングする頻度が高まり、パターンマッチングにより求められる物体位置の精度が悪化する、という問題が生じる。更には、検知したい物体が撮影さている画像領域よりも、背景（路面や路側構造物等）に引っ張られてしまい、実際には自車と並走する前方車両が、パターンマッチングの失敗により、停止しているかのように検知してしまう、という問題が生じる。
【０００８】
本発明は、上述の課題に鑑み、レーダ視野角の左右端付近に検知したい物体が存在する場合であっても、誤った画像処理（パターンマッチング）による物体検出を行うことのない車両用外界認識装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本願発明では、自車周辺の物体を検知して相対位置を出力するスキャニング式測距手段と、自車周辺の状況を撮像する撮像手段と、前記スキャニング式測距手段の出力を用いて前記撮像手段の撮像結果からパターンマッチングに関する処理領域を決める画像処理手段とを備えた車両用外界認識装置において、前記スキャニング式測距手段の出力に基づき各物体の測距状態を把握する測距状況把握手段と、該測距状況把握手段の出力に応じて前記画像処理手段の処理を変更する画像処理変更手段とを設けたことで、上記課題を解決するに至った。
【００１０】
【発明の効果】
本願発明にあっては、スキャニングにより検知した各物体について、その検知状況を把握する。そして、検知状況の把握結果から、画像処理の変更の必要性に応じて、画像の処理内容を一時的に変更する。このようにして、変更した画像処理に基づく物体検知位置は、本来の検知すべき画像領域からずれた領域にマッチングする頻度を低下できることや、実際には存在しない画像領域に物体が存在するといった誤検知を防止することができる。また、レーダと画像の位置を統合して１つの位置を決める際には、誤って画像の位置の信頼性を高くすることを防止することができる。
【００１１】
【発明の実施の形態】
以下、本発明における車両用外界認識装置の実施形態について実施例をもとに説明するが、本発明は実施例に限定されるものではない。
【００１２】
（第１実施例）
図１は、この発明の第１実施例を示す図である。まず構成を説明すると、車両の先頭にはスキャニング式のレーザレーダ１が設けられている。このレーザレーダ１には、走査した結果から障害物候補を抽出するレーダ処理装置２が接続され、このレーダ処理装置２では一つ又は複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と、障害物候補の幅（大きさ）の算出が実施される。
【００１３】
また、自車前方の状況を高速に把握するプログレッシブスキャン式の３ＣＣＤカメラ３が搭載されている。この３ＣＣＤカメラ３の撮像結果が画像処理装置４に接続されている。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１４】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続されている。この外界認識装置５には、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７が接続されている。
【００１５】
上述のようなハード構成から、本発明の測距状況把握手段と後段の処理（相対速度算出処理や障害物判断処理）変更手段等の演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１６】
外界認識装置５では、レーダ処理装置で検知した各物体が自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に出力される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。
【００１７】
これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００１８】
図２は、第１実施例における車両用外界認識装置の制御構成を表すブロック図である。まず構成を説明すると、図中の１０１は物体との相対位置を出力するスキャニング式測距手段、１０２は自車周辺状況を撮像する撮像手段、１０３はスキャニング式測距手段の測距結果に基づき撮像手段１０２の撮像結果におけるパターンマッチング処理を行う画像処理手段、１０４はスキャニング式測距手段１０１で検知した物体の測距状況を把握する測距状況把握手段、１０５は測距状況把握手段１０４の出力をトリガーとして画像処理手段１０３の画像処理を変更する画像処理変更手段である。
【００１９】
図３は第１実施例における相対速度算出制御を表すフローチャートである。この実施例は、請求項１〜６項に対応するものであり、自車前方の状況を把握するスキャニング式レーザレーダの走査結果（位置の変化や幅の変化）から、検知物体の測距状況を把握し、画像処理に関する処理内容を一時的に変更することで信頼性の高い画像処理を行う場合である。尚、本制御は１００［ｍｓ］毎に実施されるものとする。
【００２０】
ステップ２０１では、スキャニング式レーザレーダ１の検知した各物体の位置ベクトル（横方向：Ｐｘ＿ｚ０，  縦方向Ｐｙ＿ｚ０），および、物体の幅（大きさ：Ｗ＿ｚ０）を読み込む。更に、カメラ撮像結果も取り込む。なお、添え字のｚ０とは今回の値を、ｚ１は１サンプリング（１００ｍｓ）過去の値を、ｚｎはｎサンプリング過去の値を、それぞれ意味する。
【００２１】
ステップ２０２では、ステップ２０１で読み込んだ検知物体の縦位置と横位置が、次式（１）を満足する場合には、ｂｎｄｒｙＦｌａｇ＝０を代入してステップ２０６へ進み、そうでない場合には、ｂｎｄｒｙＦｌａｇ＝１を代入してステップ２０３へ進む
Ｋ１  Ｔｈ＿Ｌ  ＜  ａｔａｎ（  Ｐｘ＿ｚ０  ／  Ｐｙ＿ｚ０  ）  ＜  Ｋ１  Ｔｈ＿Ｒ  ・・・  （１）
ここで、ａｔａｎ（Ａ）とは、Ａ（引数ａｒｇｕｍｅｎｔの頭文字）の逆正接値を出力する関数であり、Ｋ１は１未満の正数であり、Ｔｈ＿ＬとＴｈ＿Ｒはスキャニングレーザレーダの視野角における左右端の角度を表すものである。例えば、視野角１２ｄｅｇのスキャニング式レーザレーダで自車の進行方向右側をプラスとした場合、自車正面を中心（ゼロｄｅｇ）として、Ｔｈ＿Ｌ  ＝  −６［ｄｅｇ］，Ｔｈ＿Ｒ  ＝  ＋６［ｄｅｇ］  となる。式１を満足しない場合には検知物はレーダ視野角の左右端付近に存在する微妙な測距状態であることが分かるため、後述する画像処理を確実に変更することができる（請求項２に対応）。
【００２２】
ステップ２０３では、ステップ２０１で読み込んだ検知物体の幅が、次式（２）を満足する場合にはステップ２０７へ、そうでない場合にはステップ２０４へ進む。
Ｗ＿ｚ０  ｃ  Ｔｈ＿Ｗ１  ・・・（２）
ここで、Ｔｈ＿Ｗ１とは、警報や制御する対象として扱う物体の幅から決まる閾値である。すなわち、レーダ検知物の幅が小さいか否かを判断することで、ステップ２０２と同様に、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項３に対応）。
【００２３】
ステップ２０４では、ステップ２０１で読み込んだ検知物体の幅とその過去値が、次式（３）を満足する場合にはステップ２０５へ、そうでない場合にはステップ２０６へ進む。
Ｗ＿ｚ０  −  Ｗ＿ｚ１  ＞  Ｔｈ＿Ｗ２  ・・・（３）
ここで、Ｔｈ＿Ｗ２とは幅の変化に関する正の閾値であり、障害物とする物体の大きさから決めても良い。すなわち、式３を満足すれば、検知幅の急な増加を意味するため、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、後述する画像処理を確実に変更することができる（請求項４に対応）。
【００２４】
ステップ２０５では、パターンマッチング処理を実施しないため、画像による物体検知位置は、ロスト状態を意味する値として、ＣａｍＴａｔｅとＣａｍＹｏｋｏを設定する。例えば、ＣａｍＴａｔｅ  ＝ＣａｍＹｏｋｏ＝  ２５６［ｍ］とする。そして、基準テンプレートの登録をクリアして、ステップ２１０へ進む。このように、レーダ視野角の左右端に存在する可能性がある場合には、画像処理を強制的に中止することで、実際には存在しない物体を誤検知してしまい、レーダによる検知と画像処理による検知のフュージョンを行うことで、かえって誤った位置を検知することを防止することができる（請求項６に対応）。
【００２５】
ステップ２０６では、基準テンプレートが有るかどうかの登録状況を調べ、既に登録されている場合にはステップ２０８へ、そうでない場合にはステップ２０７へ、それぞれ進む。
【００２６】
ステップ２０７では、ステップ２０１で読み込んだ画像領域に対して、レーダ検知位置に基づき、基準テンプレートを登録する。具体的には次式の矩形領域を基準テンプレートとする。
ｄｉｓｐ＿ｏｂｊ＿ＹＡ  ＝  （  ｙｏ  ＋  （  ｆｏｃｕｓＶ  ＊  ＣＡＭ＿ｈ２  ／  Ｐｙ＿ｚ０  ）  ）
ｄｉｓｐ＿ｏｂｊ＿ＹＢ  ＝  （ｙｏ＋（ｆｏｃｕｓＶ＊ＣＡＭ＿ｈ／Ｐｙ＿ｚ０））                      ・・・（４）
ｄｉｓｐ＿ｏｂｊ＿ＸＬ  ＝  （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））−（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）
ｄｉｓｐ＿ｏｂｊ＿ＸＲ  ＝  （ｘｏ＋（ｆｏｃｕｓＨ／Ｐｙ＿ｚ０＊Ｐｘ＿ｚ０））＋（ｆｏｃｕｓＨ＊ｗｉｄｅ／Ｐｙ＿ｚ０）
ここで、ｄｉｓｐ＿ｏｂｊ＿＊＊とは画像処理を行う矩形領域の端っこの座標値であって、ｄｉｓｐ＿ｏｂｊ＿ＹＡは矩形の上側、ｄｉｓｐ＿ｏｂｊ＿ＹＢは矩形の下側、ｄｉｓｐ＿ｏｂｊ＿ＸＬは矩形の左側、ｄｉｓｐ＿ｏｂｊ＿ＸＲは矩形の右側の画像座標を表している。また、ｙｏは消失点の縦座標［ｐｉｘ］を、ｘｏは消失点の横座標［ｐｉｘ］を（ｙｏ，ｘｏはカメラ取り付け位置と向きで決まるパラメータ）、ｆｏｃｕｓＶは画素換算したカメラの鉛直方向の焦点距離［ｐｉｘ］であり、ｆｏｃｕｓＨ画素換算したカメラの水平方向の焦点距離［ｐｉｘ］であり、受光面が正方格子である場合にはｆｏｃｕｓＶ＝ｆｏｃｕｓＨである（ｆｏｃｕｓＶとｆｏｃｕｓＨはカメラ画角と受光素子の解像度で決まるパラメータ）。そして、ＣＡＭ＿ｈはカメラの取り付け高さ［ｍ］で、ＣＡＭ＿ｈ２はＣＡＭ＿ｈから障害物候補として考慮すべき物体の高さ：ｏｂｊ＿Ｈ［ｍ］を減算した値であり、ｗｉｄｅは検知物体の画像領域として記憶する幅［ｍ］の半分の値を画素換算した値［ｐｉｘ］である。すなわち、検知幅が急増したときは、検知物がレーダ視野角の左右端付近に存在する微妙な測距状態であるかどうかが分かるため、このときは基準テンプレートに背景を多く含んでいる虞がある。よって、この場合は再度基準テンプレートを作成しなおすことで、パターンマッチングの精度悪化の頻度を減らすことで精度を向上することができる（請求項５に対応）。
【００２７】
ステップ２０８では、ステップ２０１の撮像結果とステップ２０７の基準テンプレートからパターンマッチングを行い、撮像結果における最も相関が高い画像上の領域の中心座標値（水平方向：Ｘｐｍ，  鉛直方向：Ｙｐｍ）を得る。
【００２８】
ステップ２０９では、パターンマッチング、次の要領で初回特徴検出処理を行う。
ＣａｍＴａｔｅ  ＝  （ｆｏｃｕｓＶ  ＊  ０．５  ＊  （ＣＡＭ＿ｈ＋ＣＡＭ＿ｈ２）  ）  ／  （Ｙｐｍ−ｙｏ）    ・・・（５）
ＣａｍＹｏｋｏ  ＝  （（Ｘｐｍ−ｘｏ）＊ＣａｍＴａｔｅ）／ｆｏｃｕｓＨ                        ・・・（６）
【００２９】
ステップ２１０では、レーダ検知位置と画像からの検知位置の双方を後段（位置の統合を行う処理や制御・警報判断処理）へ出力し、過去値の更新を行い、終了する。
【００３０】
次に、上記画像処理制御について図４〜図６を用いて状況別に説明する。
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端に存在するとき（時刻ｔ０〜ｔ１）は、ステップ２０１→ステップ２０２→ステップ２０５→ステップ２１０へと進む。すなわち、検知物体がレーダ視野角の左右端で、幅が小さければ、レーダ視野角内に検知物体全てが存在していないと判断し、パターンマッチング処理を中止するととも基準テンプレートの登録をクリアする。また、レーダ視野角の左右端ではないと判断した場合であっても、検知している物体の幅が小さいときは、片側のみのリフレクタを認識している可能性があるため、そのときは、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０５→ステップ２１０へと進み、同様に基準テンプレートの登録をクリアする。これにより、レーダ視野角の左右端に検知物体が存在する場合に、基準テンプレートを確実にクリアすることができる。
【００３１】
（前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更にレーダ視野角内に入ってきた状態）
前方に割り込み車両が存在し、その車両がレーダ視野角の左右端から更に横方向自車両側に移動してきたとき（時刻ｔ１〜ｔ２）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０７→ステップ２０８→ステップ２０９→ステップ２１０へと進む。すなわち、検知物体がレーダ視野角の左右端に存在するときは検知物体の幅が小さいが、徐々に横方向自車側に移動しレーダ視野角内に入ると、左右のリフレクタを認識するため検知物体の幅が急激に大きくなる（図４〜６参照）。このときは、基準テンプレートを更新することで、精度の高いパターンマッチング処理を実行することができる。
【００３２】
（前方に割り込み車両が存在し、その車両がレーダ視野角内に存在するとき）前方の割り込み車両がレーダ視野角内に完全に入ったとき（時刻ｔ３〜ｔ４）は、ステップ２０１→ステップ２０２→ステップ２０３→ステップ２０４→ステップ２０６→ステップ２０８→ステップ２０９→ステップ２１０へと進む通常の制御を実行する。
【００３３】
以上説明したように、第１実施例にあっては、レーダ視野角の左右端付近で検知物体の横位置に誤差や段差が生じる可能性のある場合には、基準テンプレートを新たに更新する処理や画像処理を行わない処理へ、一時的に変更する。これにより、レーダの検知精度が悪いときに背景を多く含んだ基準テンプレートを作成した場合でも、対応できるため、パターンマッチングによる物体検出精度を向上することや、誤マッチングによる誤った物体検出の発生防止と処理負荷の軽減を行うことが可能な車両用外界認識装置が実現される。
【図面の簡単な説明】
【図１】第１実施例における基本構成を示す概略図である。
【図２】第１実施例における、外界認識装置の制御構成を表すブロック図である。
【図３】第１実施例における、画像処理制御を表すフローチャートである。
【図４】割り込み車両を検知した場合の測距状況を表す概略図である。
【図５】割り込み車両を検知した場合のリフレクタと車両中心の関係を表す図である。
【図６】割り込み車両を検知した場合の横位置及び車幅の関係を表す図である。
【図７】画像処理（パターンマッチング）シーケンスを表す図である。
【図８】画像処理における視野角端部において、基準テンプレートに背景が多く含まれる状態を表す図である。
【符号の説明】
１    レーザレーダ
２    レーダ処理装置
３    ＣＣＤカメラ
４    画像処理装置
５    外界認識装置
６    車速検出装置
７    操舵角検出装置
８    自動ブレーキ制御装置
９    負圧ブレーキブースタ
【図１】
2004148991.tif 000003
【図２】
2004148991.tif 000004
【図３】
2004148991.tif 000005
【図４】
2004148991.tif 000006
【図５】
2004148991.tif 000007
【図６】
2004148991.tif 000008
【図７】
2004148991.tif 000009
【図８】
2004148991.tif 000010