(57)【要約】【課題】複数の物体が存在するとき、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる車両用外界認識装置を提供する。【解決手段】選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段１０５と、追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段１０６と、選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段１０７と、選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段１０８を設けた。【選択図】      図１
2005025458.tif 000002
【特許請求の範囲】
【請求項１】
自車前方の物体位置を検出する物体位置検出手段と、
自車前方の状況を画像として取り込む画像取り込み手段と、
検出された物体位置に基づいて、自車にとって最も注目すべき物体を１つだけ選択する注目物体選択手段と、
選択された物体を初期的に参照し、取り込まれた画像の処理により物体を追跡する画像処理物体追跡手段と、
を備えた車両用外界認識装置において、
選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段と、
追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段と、
選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段と、
選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段と、
を設けたことを特徴とする車両用外界認識装置。
【請求項２】
請求項１に記載の車両用外界認識装置において、
前記画像処理物体追跡手段の処理状態の信頼性を、画像処理信頼性として出力する画像処理信頼性出力手段を設け、
前記追跡物体選択手段は、選択された物体と追跡中の物体が同一であると判断されたとき、第１確信度と第２確信度と画像処理信頼性とに基づき、追跡する物体を選択することを特徴とする車両用外界認識装置。
【請求項３】
請求項１または請求項２に記載の車両用外界認識装置において、
前記第１確信度と第２確信度と画像処理信頼性のうちの少なくとも２つ以上と、同一物体判断手段の判断結果とに基づき、後段へ出力する物体位置を選択的に決定する出力物体位置決定手段を設けたことを特徴とする車両用外界認識装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度よりも第２確信度の方が高いとき、追跡中の物体を選択することを特徴とする車両用外界認識装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度よりも第２確信度の方が低いとき、選択された物体を選択することを特徴とする車両用外界認識装置。
【請求項６】
請求項１ないし請求項５のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度と第２確信度が共に所定値よりも低いとき、選択された物体を選択することを特徴とする車両用外界認識装置。
【請求項７】
請求項１ないし請求項６のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、第１確信度と第２確信度が共に所定値よりも高いとき、追跡中の物体を選択することを特徴とする車両用外界認識装置。
【請求項８】
請求項１ないし請求項７のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、
画像処理信頼性が高いと判断されたとき、追跡中の物体を選択し、
画像処理信頼性が低いと判断されたとき、第１確信度または第２確信度の少なくとも一方が所定値よりも高い場合には、追跡中の物体を選択することを特徴とする車両用外界認識装置。
【請求項９】
請求項１ないし請求項８のいずれか１項に記載の車両用外界認識装置において、
前記追跡物体選択手段は、
画像処理信頼性が高いと判断されたとき、追跡中の物体を選択し、
画像処理信頼性が低いと判断されたとき、第１確信度または第２確信度の少なくとも一方が所定値よりも低い場合には、選択された物体を選択することを特徴とする車両用外界認識装置。
【請求項１０】
請求項１ないし請求項９のいずれか１項に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、
選択された物体と追跡中の物体が同一であると判断されたとき、選択された物体の縦（車間距離）方向位置と、追跡中の物体位置の横（車幅）方向を物体位置として決定し、
画像信頼性が低いと判断されたとき、選択された物体の縦方向位置と横方向位置を物体位置として決定することを特徴とする車両用外界認識装置。
【請求項１１】
請求項１ないし請求項１０のいずれか１項に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、選択された物体と追跡中の物体が同一ではないと判断されたとき、
第１確信度よりも第２確信度の方が高い場合には、追跡中の物体の縦方向位置と横方向位置を物体位置として決定し、
第１確信度よりも第２確信度の方が低い場合には、選択された物体の縦方向位置と横方向位置を物体位置として決定し、
第１確信度よりも第２確信度の方が高く、かつ、第１確信度と第２確信度が共に所定値よりも低い場合には、選択された物体の縦方向位置と横方向位置を物体位置として決定することを特徴とする車両用外界認識装置。
【請求項１２】
請求項１ないし請求項１１のいずれか１項に記載の車両用外界認識装置において、
前記出力物体位置決定手段は、選択された物体と追跡中の物体が同一ではないと判断されたとき、
第１確信度よりも第２確信度の方が低く、かつ、第１確信度と第２確信度が共に所定値よりも高い場合には、選択された物体と追跡中の物体の双方に対し、必要となる自車の制動力を演算し、より大きな制動力が必要となる方を物体位置として決定することを特徴とする車両用外界認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、レーザレーダやミリ波レーダ等の測距センサとＣＣＤカメラやＣＭＯＳカメラなどにより測距センサの検知物を冗長に捕捉することにより、より高精度に物体位置を検出するとともに、測距センサのロストを補うことを目的とする車両用外界認識装置に関するものである。
【０００２】
【従来の技術】
レーザレーダが物体を検知した場合には、その物体位置に相当する画像領域についてステレオカメラにより冗長に物体検知することで信頼性の向上を狙った装置が提案されている。
【０００３】
この装置では、カメラにより冗長検知する画像処理領域をレーダで検知した先行車位置に基づき限定するため、画像処理を高速に行うことが可能となるものである。
【０００４】
【特許文献１】
特開平７−１２５５６７号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来技術にあっては、常にレーダと画像は同一物体を捕捉するため、図１８のように操舵回避の後に低速車Ｂとの接近が起こるシーン、または図１９のように直進時でも停止車Ａの近くをすり抜けるシーン等に対応できない。
【０００６】
つまり、常にレーダと同一の物体を画像で捕捉する場合では、一般的にカメラよりも視野角の狭いレーダが停止車Ａ（に接近するために、停止車Ａ）をロストして低速車Ｂを検知すると、画像処理対象も低速車Ｂに切り換える。このとき、停止車Ａに接近し過ぎる状況が生じた場合には、システム全体でそれを検知できないという問題が生じる。ここで、画像処理により停止車Ａと低速車Ｂの双方について追跡を行えば問題はないが、現在および近い将来におけるＣＰＵ能力では、画像処理可能な物体数は１物体に限られてしまう。
【０００７】
本発明は、上記問題に着目してなされたもので、その目的とするところは、複数の物体が存在するとき、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる車両用外界認識装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の目的を達成するため、本発明では、自車前方の物体位置を検出する物体位置検出手段と、自車前方の状況を画像として取り込む画像取り込み手段と、検出された物体位置に基づいて、自車にとって最も注目すべき物体を１つだけ選択する注目物体選択手段と、選択された物体を初期的に参照し、取り込まれた画像の処理により物体を追跡する画像処理物体追跡手段と、を備えた車両用外界認識装置において、選択された物体が自車にとって障害物となる可能性を第１確信度として算出する第１確信度算出手段と、追跡中の物体が自車にとって障害物となる可能性を第２確信度として算出する第２確信度算出手段と、選択された物体と追跡中の物体が同一であるかどうかを判断する同一物体判断手段と、選択された物体と追跡中の物体が同一ではないと判断されたとき、第１確信度と第２確信度に基づき、画像処理物体追跡手段で追跡する物体を選択する追跡物体選択手段と、を設けたことを特徴とする。
【０００９】
【発明の効果】
よって、本発明にあっては、追跡物体選択手段は、選択された物体と追跡中の物体が異なる場合には、選択された物体が障害物となる可能性と、追跡中の物体が障害物となる可能性とに基づいて、追跡する物体を選択するため、画像処理する物体を状況に応じて適切なタイミングで切り換えることができ、画像処理の演算負荷を軽減できる。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、車両用外界認識装置の構成を示すブロック図である。この車両用外界認識装置は、物体位置検出手段１０１と、画像取り込み手段１０２と、注目物体選択手段１０３と、画像処理物体追跡手段１０４と、第１確信度算出手段１０５と、第２確信度算出手段１０６と、同一物体判断手段１０７と、追跡物体選択手段１０８とから構成される。
【００１１】
前記物体位置検出手段１０１は、検知物体との相対位置を出力する。画像取り込み手段１０２は、自車前方の画像を撮らえる。注目物体選択手段１０３は、物体位置検出手段１０１の出力に基づき自車にとって最も注目したい物体を１つだけ選択する。画像処理物体追跡手段１０４は、注目物体選択手段１０３で選択した物体を初期的に参照し、画像取り込み手段１０２の画像の処理で物体を追跡する。
【００１２】
前記第１確信度算出手段１０５は、注目物体選択手段１０３で選択した物体が自車にとって障害物となる可能性として第１確信度を算出する。第２確信度算出手段１０６は、画像処理物体追跡手段１０４で追跡中の物体が自車にとって障害物となる可能性として第２確信度を算出する。同一物体判断手段１０７は、注目物体選択手段１０３で選択された物体と、画像処理物体追跡手段１０４で追跡中の物体が同一であるか否かを判断する。
【００１３】
前記追跡物体選択手段１０８は、第１確信度と第２確信度と同一物体判断手段１０７の判断結果に基づき、画像処理物体追跡手段１０４が追跡する物体を選択する。
【００１４】
次に、実施の形態を実現する具体的実施例を説明する。
【００１５】
（第１実施例）
第１実施例は、請求項１、４、５、６および７項に対応するものであり、画像処理可能な物体数が１物体のみというシステムにおいて、自車前方に複数の物体が存在する場合に、それらの画像処理を適切なタイミングで切り換えることにより、現実的なフュージョンシステムの構成を可能とする場合である。
【００１６】
まず、構成を説明する。
図２は、第１実施例の車両用外界認識装置の構成を示すブロック図である。スキャニング式レーザレーダ（物体位置検出手段）１で走査した結果から障害物候補を抽出するレーダ処理装置（注目物体選択手段）２が接続され、このレーダ処理装置２では一つまたは複数の障害物候補に対して自車両を原点とする２次元（車間距離方向と車幅方向）座標値の算出と障害物候補の幅（大きさ）の算出が実施される。
【００１７】
また自車前方の状況を高速に把握するプログレッシブスキャン式ＣＣＤカメラ（画像取り込み手段）３が搭載され、この撮像結果が画像処理装置（画像処理物体追跡手段）４に接続される。この画像処理装置４ではレーダ処理装置２で捕捉した障害物候補の座標付近の画像データを記憶し、自車両のピッチング変動等によりレーダ検知物体をロストした場合に、画像処理により物体を検知する処理が実施される。
【００１８】
レーダ処理装置２の出力、および画像処理装置４の出力は外界認識装置５に接続され、自車両の状態量を推定するために従属左右車輪速度を検出する車速検出装置６と、前輪操舵角を検出する操舵角検出装置７も接続される。このようなハード構成から、本発明の第１確信度算出手段、第２確信度算出手段、同一物体判断手段および追跡物体選択手段に相当する演算処理が行われ、これにより高度な車両用の外界認識システムが実施される。
【００１９】
外界認識装置５では、レーダ処理装置２で検知した各物体位置と画像処理により追跡中の物体位置とを選択して自車両にとって障害物であるか否かを正確に判断し、その判断結果は自動ブレーキ制御装置８に接続される。そして、前後輪には任意な制動力を達成する負圧ブレーキブースタ９が接続され、自車両の自動ブレーキ制御８からの制動力指令電圧が負圧ブレーキブースタ９のソレノイドバルブに印加されることにより行われる。これらのレーダ処理装置２や自動ブレーキ制御装置８は、それぞれマイクロコンピュータとその周辺部品や各種アクチュエータの駆動回路などを備え、互いに通信回路を介して情報を送受信する。
【００２０】
次に、作用を説明する。
［追跡物体選択制御処理］
図３〜図５は、追跡物体選択制御処理の流れを示すフローチャートであり、本制御は、例えば、１００［ｍｓ］毎に実施される。
【００２１】
ステップ２０１では、スキャニング式レーザレーダの検知した各物体の位置をＲ（Ｐｘ＿ｚ０［ｉ］，  Ｐｙ＿ｚ０［ｉ］）として読込む。ここで、添え字のｘは横方向（車幅方向）の物体位置であって、ｙは縦方向の位置（車間距離）である。また、ｉとは各検知物のＩＤ番号で０以上の整数あり、ｚ０とは今回の値を、ｚ１は１サンプリング（１００ｍｓ）過去の値を、ｚｎはｎサンプリング過去の値を、それぞれ意味する。
【００２２】
ステップ２０２では、ＣＣＤカメラ３から今回のサンプリングにおける撮像結果（画像）を取り込む。
【００２３】
ステップ２０３では、ステップ２０１で検知した各物体（各ＩＤ番号）の中から、最も注目する物体を１物体選択する。具体的な流れを、図６のフローチャートに示す。
【００２４】
ステップ２０３−１では、今回のサンプリングにおける自車両の車速Ｖｓｐと舵角Ｓｔｒとヨーレートｄψ／ｄｔを読み込む。
【００２５】
ステップ２０３−２では、ステップ２０３−１で求めた車速と舵角とヨーレートを用いて、下記の式（１）より自車の将来の移動軌跡を、自車の旋回半径として予測する。
Ｒ＝Ｖｓｐ／（ｄψ／ｄｔ）（ｉｎ  ｃａｓｅ  ｏｆ  Ｖｓｐ＞３０ｋｍ／ｈ）  …（１）
Ｒ＝（ｌｆ＋ｌｒ）／Ｓｔｒ（ｉｎ  ｃａｓｅ  ｏｆ  Ｖｓｐ≦３０ｋｍ／ｈ）
ここで、ｌｆ，ｌｒは、それぞれ前輪から重心までの距離と、後輪から重心までの距離を表している。
【００２６】
ステップ２０３−３では、ステップ２０１で読み込んだ検知物体の位置から自車と接触する可能性の最も高い相対速度ベクトルの向きを下記の式（２）から、自車両とギリギリで接触する場合の相対速度ベクトルの向きを下記の式（３）からそれぞれ求める。
ｄｉｒｅｃｔｉｏｎ＿Ｃ［ｉ］＝ａｔａｎ（Ｐｘ＿ｚ０［ｉ］／Ｐｙ＿ｚ０［ｉ］）  …（２）
ｄｉｒｅｃｔｉｏｎ＿Ｌ［ｉ］＝ａｔａｎ（（Ｐｘ＿ｚ０［ｉ］＋Ｗ＿ｚｏ［ｉ］／２＋ｗ／２）／（Ｐｙ＿ｚ０［ｉ］））  …（３）
ここで、ｗは自車の幅を表している。
【００２７】
次に、自車に対する障害物候補の相対速度ベクトルの向きを下記の式（４）で算出し、これにより、検知物体が自車にとって障害物となり得る可能性を下記の式（５）により算出する。
2005025458.tif 000003
ここで、Ｒｅｃｏｇ＿ｒＶｘｙは接触する可能性があるときには０．８から１までの範囲を取り、可能性が低いほど小さい値となる、
【００２８】
ステップ２０３−４では、式（１）で算出した自車の将来の移動軌跡Ｒから、下記の式（６）により検知物体と自車との接触可能性を求める。
Ｒｅｃｏｇ＿Ｄｉｓｔ［ｉ］＝（−０．２／ｗ／２）＊ａｂｓ（ｈｙｐｏｔ（Ｐｙ＿ｚ０［ｉ］，（Ｐｘ＿ｚ０［ｉ］−Ｒ））−Ｒ）＋１．０  …（６）
ここで、ｈｙｐｏｔ（ｐ１，ｐ２）は（ｐ１＊ｐ１＋ｐ２＊ｐ２）０．５を返す引数であり、Ｒｅｃｏｇ＿Ｄｉｓｔ［ｉ］は接触する可能性があるときには０．８から１までの範囲を取り、可能性が低いほど小さい値となる。
【００２９】
ステップ２０３−５では、式（５），（６）で算出した２つの接触可能性を１つの接触可能性に統合する。
Ｒｐｒｏｂ［ｉ］＝
ｆｕｎｃ（Ｔｈ＿ｒＶｙ＿Ｌ，Ｔｈ＿ｒＶｙ＿Ｈ，ｒＶｙ＿ｚ０［ｉ］，Ｒｅｃｏｇ＿ｒＶｘｙ［ｉ］，Ｒｅｃｏｇ＿Ｄｉｓｔ［ｉ］）  …（７）
ここで、Ｔｈ＿ｒＶｙとＴｈ＿ｒＶｙ＿Ｈは障害物判断方法の重みを決める適当な閾値である。ｆｕｎｃ（ａ１，ａ２，ａ３，ａ４，ａ５）は図７に表されるような特性を持つ関数であり、縦方向の相対速度が小さいときには式（６）の結果を重視し、相対速度が大きいときには式（５）の結果を重視する。
【００３０】
各物体について自車との接触可能性Ｒｐｒｏｂ［ｉ］を算出した後、すべてのＲｐｒｏｂ［ｉ］の中で所定以上高い物体の中から最も高い物体を１つだけ選択し、その物体ＩＤ番号をｓｌｃｔとする。すべてのＲｐｒｏｂ［ｉ］が所定以上とならない（障害物が存在しない）場合にはｓｌｃｔ＝−１とする。
【００３１】
ステップ２０４では、ステップ２０３でｓｌｃｔ＜０の場合には、ステップ２２０へ、そうでない場合にはステップ２０５へ進む。
【００３２】
ステップ２０５では、画像処理による物体追跡を行っているか否かをフラグ：ＩＰ＿Ｔｒａｃｋｉｎｇ  より調べる。このフラグは、画像処理によるトラッキングを行っている場合にはＩＰ＿Ｔｒａｃｋｉｎｇ＝１となり、そうでない場合にはＩＰ＿Ｔｒａｃｋｉｎｇ＝０となる。ここで、ＩＰ＿Ｔｒａｃｋｉｎｇ＝０の場合にはステップ２０６へ、そうでない場合にはステップ２０８へ進む。
【００３３】
ステップ２０６では、ステップ２０３で選択した物体の位置：Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］，  Ｐｙ＿ｚ０［ｓｌｃｔ］）に基づく画像領域に関して、物体の抽出を行う（初回抽出処理と呼ぶ）。
【００３４】
ステップ２０７では、ステップ２０６で初回抽出処理が成功した場合には、レーダ位置Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］，Ｐｙ＿ｚ０［ｓｌｃｔ］）と画像のエッジ位置との関係付けを行い、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１として設定して、ステップ２１０へ進む。初回抽出処理が失敗した場合には物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０のままにしてステップ２２０へ進む。
【００３５】
ステップ２０８では、前回の画像による物体追跡領域に基づき、物体追跡処理用の領域を定め、その領域内で物体追跡を実施する。
【００３６】
ステップ２０９では、ステップ２０８の画像処理で物体を追跡できた場合には、画像処理から検出する物体の位置：Ｉ（Ｐｘ＿ｚ０，Ｐｙ＿ｚ０）を算出する。画像では１物体しか処理しないため、Ｉ（Ｐｘ＿ｚ０，Ｐｙ＿ｚ０）はスカラーとなる。そして、物体追跡フラグはＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままでステップ２１０へ進む。画像による追跡処理が失敗した場合には物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０のに設定してステップ２２０へ進む。
【００３７】
ステップ２１０では、画像で検知した物体が自車にとって障害物となる可能性：Ｉｐｒｏｂを算出する。具体的な方法としては、ステップ２０３と同様である。ここで、Ｉｐｒｏｂを算出する際には相対速度ベクトルに基づく判断は行わず、検知物の位置と自車の予測進路に基づき（つまりＲｅｃｏｇ＿ｒＶｘｙではなくＲｅｃｏｇ＿Ｄｉｓｔから）Ｉｐｒｏｂを算出する。なぜならば、画像処理で算出した横方向位置は高精度であるが、縦位置の精度は悪いため微分演算を必要とする相対速度がキレイに得られないからである。
【００３８】
ステップ２１１では、画像で検知した物体とステップ２０３で選択したレーダ検知物が同一物体であるか否かの判断を行う。具体的には例えば下記の式（８），（９）の双方を満足したら同一物体と判断する。ここで、レーダと画像が同一物体を捕捉中にはステップ２２０へ、そうでない場合にはステップ２１２へ進む。
ａｂｓ｛  Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］  ）  −  Ｉ（Ｐｘ＿ｚ０）  ｝    ＜  Ｔｈ＿Ｐｘ１  …（８）
ａｂｓ｛  Ｒ（Ｐｙ＿ｚ０［ｓｌｃｔ］  ）  −  Ｉ（Ｐｙ＿ｚ０）  ｝    ＜  Ｔｈ＿Ｐｙ１  …（９）
ここで、ａｂｓ（Ａ）とは、Ａ（引数ａｒｇｕｍｅｎｔの頭文字）の絶対値を出力する関数である。また、Ｔｈ＿Ｐｘ１とは横方向の検知位置の変化に関する閾値であって、Ｔｈ＿Ｐｙ１とは縦方向の検知位置に関する閾値である。つまり、レーダ検知位置と画像の検知位置が所定よりも離れた場合には、双方で違う物体を検知している、ことを意味する。
【００３９】
ここでは、双方の位置の隔たりから判断したが、レーザの位置に入れ替わりが生じた場合も同様に、レーダと画像では別の物体を検知していることになる。これを判断する例として、下記の式（１０），（１１）の双方を満足するとレーダ検知物に入れ替わりが生じたと判断し、ステップ２１２へ進むとしても構わない。
ａｂｓ｛  Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］  ）  −  Ｒ（Ｐｘ＿ｚ１［ｓｌｃｔ］  ）  ｝    ＞  Ｔｈ＿Ｐｘ２  …（１０）
ａｂｓ｛  Ｒ（Ｐｙ＿ｚ０［ｓｌｃｔ］  ）  −  Ｒ（Ｐｙ＿ｚ１［ｓｌｃｔ］  ）  ｝    ＞  Ｔｈ＿Ｐｙ２  …（１１）
ここで、Ｔｈ＿Ｐｘ２、Ｔｈ＿Ｐｙ２とは前回と今回のサンプリング周期の間に物体の動きに関する許容値を表しています。つまり、今回と前回のサンプリングにおけるレーダで最も注目する物体が変わらなければ（入れ替わりが生じない場合には）、式（１０），（１１）の左辺は比較的小さい値になり、これにより判断できる。
【００４０】
ステップ２１２では、ＩｐｒｏｂとＲｐｒｏｂ［ｓｌｃｔ］から、下記の式（１２），（１３）の双方を満たす場合にはステップ２１３へ進み、そうでない場合にはステップ２１４へ進む。
Ｒｐｒｏｂ［ｓｌｃｔ］  ＜  Ｔｈ＿Ｐｒｏｂ１…（１２）
Ｉｐｒｏｂ  ＜  Ｔｈ＿Ｐｒｏｂ１  …（１３）
ここで、Ｔｈ＿Ｐｒｏｂ１とは障害物ではないと確信できる程度の小さい値を意味している。
【００４１】
ステップ２１３では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］，Ｐｙ＿ｚ０［ｓｌｃｔ］）に基づき初回抽出処理が行われるため、請求項６記載の効果が得られる。そして、ステップ２２０へ進む。
【００４２】
ステップ２１４では、ＩｐｒｏｂとＲｐｒｏｂ［ｓｌｃｔ］から、下記の式（１４），（１５）の双方を満たす場合にはステップ２１５へ進み、そうでない場合にはステップ２１６へ進む。
Ｒｐｒｏｂ［ｓｌｃｔ］  ＞  Ｔｈ＿Ｐｒｏｂ２  …（１４）
Ｉｐｒｏｂ  ＞  Ｔｈ＿Ｐｒｏｂ２  …（１５）
ここで、Ｔｈ＿Ｐｒｏｂ２とは障害物であると確信できる程度の大きい値を意味している。
【００４３】
ステップ２１５では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：Ｉ（Ｐｘ＿ｚ０，  Ｐｙ＿ｚ０）に基づき追跡処理が続行されるため、請求項７記載の効果が得られる。そして、ステップ２２０へ進む。
【００４４】
ステップ２１６では、ＩｐｒｏｂとＲｐｒｏｂ［ｓｌｃｔ］から、下記の式（１６）を満たす場合にはステップ２１７へ進み、そうでない場合にはステップ２１８へ進む。
Ｒｐｒｏｂ［ｓｌｃｔ］  ＜  Ｉｐｒｏｂ  …（１６）
【００４５】
ステップ２１７では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：Ｉ（Ｐｘ＿ｚ０，Ｐｙ＿ｚ０）に基づき追跡処理が続行されるため、請求項４記載の効果が得られる。そして、ステップ２２０へ進む。
【００４６】
ステップ２１８では、ＩｐｒｏｂとＲｐｒｏｂ［ｓｌｃｔ］から、下記の式（１７）を満たす場合にはステップ２１９へ進み、そうでない場合にはステップ２２０へ進む。
Ｒｐｒｏｂ［ｓｌｃｔ］  ＞  Ｉｐｒｏｂ  …（１７）
【００４７】
ステップ２１９では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０としてリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］，Ｐｙ＿ｚ０［ｓｌｃｔ］）に基づき初回抽出処理が行われるため、請求項５記載の効果が得られる。そして、ステップ２２０へ進む。
【００４８】
ステップ２２０では、ステップ２０３などの確信度演算に用いる変数について過去値を更新し、終了する。
【００４９】
このようにして、レーダ検知物体と画像追跡物体が異なる場合には、ステップ２１２から２１９の条件により画像での追跡処理をコントロールする。これにより、画像処理可能な物体数が１物体だけのシステムでも、前方に複数の物体が存在する場合に、状況に応じて適切な物体に関して画像処理を行うことが可能となり、フュージョンによる信頼性の高い外界認識系を現実的なプロセッサー構成で実現することが可能となる。
【００５０】
次に、効果を説明する。
第１実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００５１】
画像処理装置４で検知した物体と、レーダ処理装置２が選択したレーダ検知物が同一物体ではないと判断された場合には、レーザレーダ１で検知した物体群の中で最も高い接触可能性Ｒｐｒｏｂ［ｓｌｃｔ］と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Ｉｐｒｏｂとの関係に応じて、追跡する対象を切り換えるため、常に自車にとって最も留意する必要のある物体を選択することができる。よって、画像処理領域を１物体に限定でき、画像処理の演算負荷を下げることができる（請求項１に対応）。
【００５２】
Ｒｐｒｏｂ［ｓｌｃｔ］がＩｐｒｏｂよりも小さい場合には、画像の追跡を続行するため、レーダの視野角外に存在する物体であるが、自車と接近しているために注意する必要のある物体を見落とすことがなくなる（請求項４に対応）。
【００５３】
Ｒｐｒｏｂ［ｓｌｃｔ］がＩｐｒｏｂよりも大きい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、適切なタイミングでレーダと同一物体を冗長に検知して信頼性を高めることができる（請求項５に対応）。
【００５４】
Ｒｐｒｏｂ［ｓｌｃｔ］とＩｐｒｏｂが共にＴｈ＿Ｐｒｏｂ１よりも小さい場合には、画像の追跡を強制終了し、レーダ検知物を初回抽出処理により検知し直すため、画像処理対象をレーダ検知物に切り換えることで、将来、障害物となるかもしれない物体に、早期に備えることができる（請求項６に対応）。一般に、レーダよりもカメラの方が広視野角であるため、このような場面は、レーダは車間距離方向に遠い物体を検知しているが、画像では横方向（車幅方向）に遠い物体であって自車の操舵回避で通過する直前のシーンである。
【００５５】
Ｒｐｒｏｂ［ｓｌｃｔ］とＩｐｒｏｂが共にＴｈ＿Ｐｒｏｂ１よりも大きい場合には、画像の追跡を続行するため、レーダ視野角外で検知できない物体とレーダで検知中の物体の双方について注意を怠らないシステム構成が可能となる（請求項７に対応）。
【００５６】
図８に、レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す。
【００５７】
（第２実施例）
第２実施例は、請求項１、２、４、５〜９項に対応するものであり、第１実施例はレーダ検知物体と画像検知物体が異なる場合に、画像処理する物体を状況に応じて適切に選択するものであるが、第２実施例では、これに加えてレーダ検知物体と画像検知物体が同じ場合における、画像処理への追跡処理をコントロールすることで、画像処理の位置精度が低い場合に対応するものである。なお、第２実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００５８】
次に、作用を説明する。
［追跡物体選択制御処理］
図９，１０は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００５９】
ステップ３０７では、第１の実施例のステップ２０７と同様であるが、これに加えて、画像処理が精度良く実施されることを意味するフラグ：ＩＰ＿Ｓｔａｔｅ＝１をセットする。このフラグがＩＰ＿Ｓｔａｔｅ＝０の場合には、画像処理により物体追跡を行うことはできているが、検知位置精度は高くない場合を意味している。
【００６０】
ステップ３０９は、第１実施例のステップ２０７とほぼ同様であるが、これに加えて、物体追跡フラグはＩＰ＿Ｔｒａｃｋｉｎｇ＝１としてセットされた場合には、画像処理による追跡での位置精度を調べ、精度良く実施されていればＩＰ＿Ｓｔａｔｅ＝１をセットする。追跡はできたが位置精度が悪い可能性がある場合にはＩＰ＿Ｓｔａｔｅ＝０にセットする。具体的な方法としては、エッジ検出により物体を検出した場合にはＩＰ＿Ｓｔａｔｅ＝１とセットし、パターンマッチングにより検出した場合にはＩＰ＿Ｓｔａｔｅ＝０をセットする。
【００６１】
ステップ３１１は、第１実施例のステップ２１１と同様であるが、第１実施例ではレーダと画像が同一物体を検知している場合にはステップ２２０へ進んで本制御を終了したのに対し、ステップ３２１へ進む点が異なる。
【００６２】
ステップ３２１では、下記の式（１８）を満足する場合にはステップ３２２へ進み、そうでない場合にはステップ３２３へ進む。
ＩＰ＿Ｓｔａｔｅ  ＝  １  …（１８）
【００６３】
ステップ３２２では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままにセットする。これにより、次回の画像処理ではステップ３０８において画像追跡物体の位置：Ｉ（Ｐｘ＿ｚ０，Ｐｙ＿ｚ０）に基づき追跡処理が続行される。そして、ステップ３２０へ行く。
【００６４】
ステップ３２３では、式（１７）を満足する場合にはステップ３２４へ進み、そうでない場合にはステップ３２５へ進む。
ここで、式（１７）を流用したが、新たな閾値を設定しても良い。また、レーダの確信度を用いたが画像の確信度：Ｉｐｒｏｂを用いても良い。
【００６５】
ステップ３２４では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままにセットする。これにより、次回の画像処理ではステップ２０８において画像追跡物体の位置：Ｉ（Ｐｘ＿ｚ０，Ｐｙ＿ｚ０）に基づき追跡処理が続行される。これにより請求項８記載の効果が得られる。そして、ステップ２２０へ行く。
【００６６】
ステップ３２５では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０にリセットする。これにより、次回の画像処理ではステップ２０６においてレーダ検知物体の位置：Ｒ（Ｐｘ＿ｚ０［ｓｌｃｔ］，Ｐｙ＿ｚ０［ｓｌｃｔ］）に基づき初回抽出処理が行われるため、これにより請求項９記載の効果が得られる。そして、ステップ２２０へ行く。
【００６７】
このようにして、レーダ検知物体と画像追跡物体が同じ場合では、検知物が障害物となる可能性の高さと画像処理による物体追跡位置精度に応じて画像での追跡処理の｛続行｝と｛強制終了｝とをコントロールする。これにより、画像処理での追跡位置精度が悪い場合には走行状況に応じて、冗長に検知することを優先する、或いは、位置精度向上を優先する、に対応することが可能となり、フュージョンによる信頼性の向上と位置精度の向上をを実現することが可能となる。
【００６８】
次に、効果を説明する。
第２実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００６９】
画像で検知した物体とレーダ検知物が同一物体である場合には、画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Ｒｐｒｏｂ［ｓｌｃｔ］と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Ｉｐｒｏｂとの関係に応じて、追跡する対象を切り換える。すなわち、今のところ検知物が障害物にならないと判断できる場合に画像処理の信頼性が低いときは、追跡処理を一旦強制的に終了させ、より高精度な位置検出が画像から実施できるように画像処理を最初からやり直す。これにより、将来的に障害物となる場合に備えることができる。また、検知物が障害物の場合に画像処理の信頼性が低いときは、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる（請求項２に対応）。
【００７０】
画像追跡の位置精度が低いと判断された場合でも、レーダの確信度Ｒｐｒｏｂ［ｓｌｃｔ］が所定値Ｔｈ＿Ｐｒｏｂ２よりも大きい場合には画像の追跡を続行するため、画像から算出される物体位置精度は多少低下するが、常に連続して障害物位置を求めることで、レーダとの冗長な物体検知系が構成でき、視野が狭いために近距離でロストする可能性のあるレーダのバックアップが可能となる（請求項８に対応）。
【００７１】
画像追跡の位置精度が低いと判断され、かつ、レーダの確信度Ｒｐｒｏｂ［ｓｌｃｔ］が所定値Ｔｈ＿Ｐｒｏｂ２以下である場合には、画像の追跡を一度強制終了し、以前から画像で追跡していた物体＝レーダ検知物を再度、初期的な画像処理からやり直す。すなわち、画像追跡中に追跡物体の画像領域に多少の背景を含んでしまうことにより信頼性が低くなった場合、画像処理を最初からやり直すことで背景を再度除去できる。これにより、将来的に障害物となる場合に高精度な位置検出が画像から実施できるように備えることができる（請求項９に対応）。
【００７２】
図１１に、レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す。
【００７３】
（第３実施例）
第３実施例は、請求項１〜１２項に対応するものであり、第１，第２実施例は、画像処理する物体を限定するため、追跡処理をコントロールするものであるが、第３実施例では、これに加え、後段へ出力する物体位置を、シンプルに高精度化でき、かつ、適切な物体を選択して出力するものである。なお、第３実施例の構成は図２に示した第１実施例の構成と同一であるため、説明を省略する。
【００７４】
次に、作用を説明する。
［追跡物体選択制御処理］
図１２〜１６は、追跡物体選択制御処理の流れを示すフローチャートである。なお、第１および第２実施例と同一部分には、同一のステップ番号を付して説明を省略する。
【００７５】
ステップ４１３，４１９，４２５では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝０としてリセットし、ステップ４２６へ進む。
【００７６】
ステップ４１５，４１７，４２２，４２４では、物体追跡フラグをＩＰ＿Ｔｒａｃｋｉｎｇ＝１のままにセットし、ステップ４２６へ進む。
【００７７】
ステップ４２６では、式（１２），（１３）の双方を満たす場合にはステップ４２７へ進み、そうでない場合にはステップ４２８へ進む。
【００７８】
ステップ４２７では、縦方向の位置と横方向の位置とを、どちらもレーダ検知物の位置であるＲ（Ｐｘ＿ｚ０［ｓｌｃｔ］，  Ｐｙ＿ｚ０［ｓｌｃｔ］）を後段へ出力し、ステップ２２０へ進む。
【００７９】
ステップ４２８では、式（１４），（１５）の双方を満たす場合にはステップ４２９へ進み、そうでない場合にはステップ４３０へ進む。
【００８０】
ステップ４２９では、衝突速度低減のための目標減速度を下記の式（１９）から演算し、このときのブレーキトルク、ブレーキ圧を下記の式（２０）から求める。これをレーダ検知物体と画像追跡物体とで比較し、強い制動力を必要とする物体位置を後段へ出力して、ステップ２２０へ進む。
αＣＡ  ＝  （Ｖｐ２  −  Ｖｃ２）  ／｛２  （Ｌ  −  Ｌｔ）  ｝…（１９）
ｗｈｅｒｅ，  Ｖｐ  ＝  Ｖｃ  ＋  Ｖｒ
Ｔｂｒｋ  ＝  Ｔｗ  −  Ｒｔ  Ｒａｔ  Ｒｄｅｆ  （  Ｔｅ−Ｊｅ  ｄＮｅ  ）  …（２０）
ｗｈｅｒｅ，  Ｔｗ  ＝  Ｍｖ  αＣＡ  Ｒｗ
ここで、式（１９）のαＣＡは目標加速度、Ｖｃは自車速度、Ｖｒは物体との相対速度、Ｌは物体までの距離を、Ｌｔは目標車間距離を表している。また、式（２０）のＴｂｒｋはブレーキトルクを、Ｔｗは駆動軸トルクを、Ｒｔはトルコンの入出力軸の速度比から求まるトルク比を、ＲａｔはＡＴの変速ギア比を、Ｒｄｅｆはデフギア比を、Ｎｅは計測するエンジン回転数を、ｄＮ  はその時間微分値を、ＴｅはＮｅで決まるエンジンブレーキトルクを、Ｊｅはエンジンイナーシャを、Ｍｖは自車両の重さを、Ｒｗは車輪半径を、それぞれ表している。
【００８１】
ステップ４３０では、式（１６）を満たす場合にはステップ４３１へ進み、そうでない場合にはステップ４３２へ進む。
【００８２】
ステップ４３１では、縦方向の位置と横方向の位置とを、どちらも画像検知物の位置であるＩ（Ｐｘ＿ｚ０，  Ｐｙ＿ｚ０）を後段へ出力し、ステップ２２０へ進む。
【００８３】
ステップ４３２では、式（１７）を満たす場合にはステップ４３３へ進み、そうでない場合にはステップ２２０へ進む。
【００８４】
ステップ４３３では、縦方向の位置と横方向の位置とを、どちらも  レーダ検知物の位置であるＲ（Ｐｘ＿ｚ０［ｓｌｃｔ］，  Ｐｙ＿ｚ０［ｓｌｃｔ］）を後段へ出力して、ステップ２２０へ進む。
【００８５】
ステップ４３４では、式（１８）を満足する場合にはステップ４３５へ、そうでない場合にはステップ４３６へ進む。
【００８６】
ステップ４３５では、縦方向の位置はレーダ検知物の縦位置であるＲ（Ｐｙ＿ｚ０［ｓｌｃｔ］）を、横方向の位置は画像検知物体の横位置であるＩ（Ｐｘ＿ｚ０）を後段へ出力して、ステップ２２０へ進む。
【００８７】
ステップ４３６では、縦方向の位置と横方向の位置を、どちらもレーダ検知物の位置であるＲ（Ｐｘ＿ｚ０［ｓｌｃｔ］，  Ｐｙ＿ｚ０［ｓｌｃｔ］）を後段へ出力して、ステップ２２０へ進む。
【００８８】
このようにして、レーダ検知物体と画像追跡物体が同じか否か、および、障害物確信度、画像処理の信頼性に基づき、物体位置を選択して後段へ出力する。このため、後段への出力位置をシンプルな構成で高精度化でき、かつ、適切な物体を選択して出力することが可能となる。
【００８９】
次に、効果を説明する。
第３実施例の車両用外界認識装置にあっては、次に列挙する効果が得られる。
【００９０】
画像処理による位置精度と、レーザレーダ１で検知した物体群の中で最も高い接触可能性Ｒｐｒｏｂ［ｓｌｃｔ］と、画像処理装置４で検知した物体が自車にとって障害物となる可能性Ｉｐｒｏｂに基づき、後段へ出力する物体位置を選択的に決定するため、簡単に後段への出力する位置を高精度化することができる（請求項３に対応）。
【００９１】
レーダと画像が同一の物体を追跡中と判断した場合には、後段への位置出力を、
縦方向（車間距離）がレーダの出力、横方向（車幅方向）が画像検知物の出力となるように選択し、画像処理の信頼性が低い場合には、縦方向も横方向も共にレーダの出力を選択して後段に出力するため、シンプルに後段への出力する位置を高精度化することができる（請求項１０に対応）。
【００９２】
レーダと画像が同一物体を追跡していないと判断した場合、Ｒｐｒｏｂ［ｓｌｃｔ］がＩｐｒｏｂよりも小さい場合には、縦方向も横方向も共に画像検知物の位置を後段に出力し、Ｒｐｒｏｂ［ｓｌｃｔ］がＩｐｒｏｂよりも大きい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力し、Ｒｐｒｏｂ［ｓｌｃｔ］とＩｐｒｏｂが共に所定値Ｔｈ＿Ｐｒｏｂ１よりも小さい場合には、縦方向も横方向も共にレーダ検知物の位置を後段へ出力するため、後段への出力する位置を状況に応じて適切に選択することができる（請求項１１に対応）。
【００９３】
レーダと画像が同一物体を追跡していないと判断した場合、Ｒｐｒｏｂ［ｓｌｃｔ］とＩｐｒｏｂが共に所定値Ｔｈ＿Ｐｒｏｂ１よりも大きい場合には、衝突速度低減のための目標減速度を演算し、このときのブレーキトルク、ブレーキ圧を求め、これをレーダ検知物体と画像追跡物体とで比較し、より大きな制動力が必要となる方の物体位置を後段へ選択して出力するため、レーダで検知中の物体と視野角外で検知できない物体の双方がともに障害物の場合に、自車にとってより適切な物体位置を後段へ出力することができる（請求項１２に対応）。
【００９４】
図１７に、後段への検知物位置を出力する際の条件とその効果を示す。
【図面の簡単な説明】
【図１】車両用外界認識装置の構成を示すブロック図である。
【図２】第１実施例の車両用外界認識装置の構成を示すブロック図である。
【図３】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図４】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図５】第１実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図６】注目する物体を選択する処理の流れを示すフローチャートである。
【図７】関数ｆｕｎｃの特性を表すマップである。
【図８】レーダ検知物と画像検知物が異なる場合における、画像処理のアクションとその効果を示す図である。
【図９】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１０】第２実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１１】レーダ検知物と画像検知物が同一である場合における、画像処理のアクションとその効果を示す図である。
【図１２】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１３】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１４】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１５】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１６】第３実施例の追跡物体選択制御処理の流れを示すフローチャートである。
【図１７】後段への検知物位置を出力する際の条件とその効果を示す図である。
【図１８】従来技術の問題点を示す説明図である。
【図１９】従来技術の問題点を示す説明図である。
【符号の説明】
１  レーザレーダ
２  レーダ処理装置
３  ＣＣＤカメラ
４  画像処理装置
５  外界認識装置
６  車速検出装置
７  操舵角検出装置
８  自動ブレーキ制御装置
９  負圧ブレーキブースタ
１０１  物体位置検出手段
１０２  画像取り込み手段
１０３  注目物体選択手段
１０４  画像処理物体追跡手段
１０５  第１確信度算出手段
１０６  第２確信度算出手段
１０７  同一物体判断手段
１０８  追跡物体選択手段
【図１】
2005025458.tif 000004
【図２】
2005025458.tif 000005
【図３】
2005025458.tif 000006
【図４】
2005025458.tif 000007
【図５】
2005025458.tif 000008
【図６】
2005025458.tif 000009
【図７】
2005025458.tif 000010
【図８】
2005025458.tif 000011
【図９】
2005025458.tif 000012
【図１０】
2005025458.tif 000013
【図１１】
2005025458.tif 000014
【図１２】
2005025458.tif 000015
【図１３】
2005025458.tif 000016
【図１４】
2005025458.tif 000017
【図１５】
2005025458.tif 000018
【図１６】
2005025458.tif 000019
【図１７】
2005025458.tif 000020
【図１８】
2005025458.tif 000021
【図１９】
2005025458.tif 000022