(57)【特許請求の範囲】
【請求項１】
物体の位置情報を検出するレーダ手段と、
物体の位置大きさ情報を検出する撮像手段と、
前記レーダ手段および前記撮像手段による検出結果が所定のフュージョン条件を満たす場合に前記レーダ手段によって検出した物体と前記撮像手段によって検出した物体を同一物体としてフュージョンして位置情報および大きさ情報を有するフュージョン物標を生成するフュージョン処理手段と、
を備え、
前記フュージョン処理手段は、
生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合、過去に取得した該フュージョン物標の大きさ情報に対して１より小さい係数を掛けて減少させた値を有する大きさ情報が設定された仮フュージョン物標を生成して該フュージョン物標を更新する更新手段を有する、
ことを特徴とする物体検出装置。
【請求項２】
前記更新手段は、
生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値を、時間の経過とともに小さくすることを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記更新手段は、
生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値の前回設定された値からの減少幅を、時間の経過とともに非線形に増大させることを特徴とする請求項２に記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レーダ手段および撮像手段による検出結果をフュージョンして物体を検出する物体検出装置に関するものである。
【背景技術】
【０００２】
近年、衝突軽減装置、車間距離制御装置、追従走行装置などの運転支援装置が開発されている。これら運転支援装置では、自車両の前方を走行する車両を検出することが重要となる。物体検出装置には、検出精度を向上させるために、ミリ波レーダなどのレーダ手段およびステレオカメラなどの撮像手段を備える装置がある。このレーダ手段と撮像手段とを備える物体検出装置では、レーダ手段によって物体の位置（距離）を検出し、撮像手段によって物体の大きさを検出するようにしている（例えば、特許文献１参照）。また、このレーダ手段と撮像手段とを備える物体検出装置では、レーダによる情報に基づいて検出されたレーダ検出物と画像による情報に基づいて検出した画像検出物とを照合し、レーダ検出物と画像検出物とが同一の物体か否かを判断し、同一と判断した物体を前方車両などの検出対象の物体（フュージョン物標）として設定する（例えば、特許文献２参照）。
【０００３】
そして、新たなフュージョン物標が設定されると、前回登録されたフュージョン物標との一致判定を行い、一致した場合には、フュージョン物標の情報を更新する一方、一致しなかった新たなフュージョン物標は新規登録を行い、一致しなかった過去のフュージョン物標は即座に消去するようにしている。
【０００４】
【特許文献１】特開２００１−１３４７６９号公報
【特許文献２】特開２００４−１１７０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、ステレオカメラ等の撮像手段による画像は不安定であり、本来は物体が存在していても（レーダは検出していても）、例えば光の当り具合（夕日、影など）の影響によって、瞬間的に画像検出物をロスト（画像未検出）してしまうことが多々ある。このような瞬間的な画像ロストに対して、従来のものによると、一致しなかった過去のフュージョン物標として即消去され、フュージョン物標は、新規→消去→新規…が繰返されて、物体の大きさ情報を適正に更新できない場合がある。よって、フュージョン物標の履歴情報（連続検出率）を用いて算出される信頼度情報が、実際の状況とは異なる結果になってしまう可能性がある。このような状況は、画像ロストに限らず、例えば、先行車両と道路上の白線との瞬間的な重なりや並走している先行車両同士の瞬間的な重なりによって画像検出物の幅が極端に広くなってしまう誤検出などによっても発生する問題である。
【０００６】
本発明は、上記に鑑みてなされたものであって、撮像手段による瞬間的に不安定な検出結果によりフュージョン物標の大きさ情報を適正に取得できない場合であっても、その影響を極力受けることなくフュージョン物標を更新することができる物体検出装置を提供することである。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る物体検出装置は、物体の位置情報を検出するレーダ手段と、物体の位置大きさ情報を検出する撮像手段と、前記レーダ手段および前記撮像手段による検出結果が所定のフュージョン条件を満たす場合に前記レーダ手段によって検出した物体と前記撮像手段によって検出した物体を同一物体としてフュージョンして位置情報および大きさ情報を有するフュージョン物標を生成するフュージョン処理手段と、を備え、前記フュージョン処理手段は、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合、過去に取得した該フュージョン物標の大きさ情報に対して１より小さい係数を掛けて減少させた値を有する大きさ情報が設定された仮フュージョン物標を生成して該フュージョン物標を更新する更新手段を有する、ことを特徴とする。
【０００８】
また、本発明に係る物体検出装置は、上記発明において、前記更新手段は、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値を、時間の経過とともに小さくすることを特徴とする。
【０００９】
また、本発明に係る物体検出装置は、上記発明において、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値の前回設定された値からの減少幅を、時間の経過とともに非線形に増大させることを特徴とする。
【発明の効果】
【００１０】
本発明に係る物体検出装置によれば、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合、過去に取得した該フュージョン物標の大きさ情報に対して１より小さい係数を掛けて減少させた値を有する大きさ情報が設定された仮フュージョン物標を生成することで、大きさ情報を適正に取得できないことによる影響を極力受けることなく、フュージョン物標を更新することができるという効果を奏する。
【００１１】
また、本発明に係る物体検出装置によれば、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値を、時間の経過とともに小さくするようにしたので、時間の経過ととともに信頼性の落ちた大きさ情報の影響度を低減させることができるという効果を奏する。
【００１２】
また、本発明に係る物体検出装置によれば、生成されたフュージョン物標について、フュージョン条件の更新判定時に前記レーダ手段による検出結果がある一方、前記撮像手段による検出結果がない場合が連続するとき、仮フュージョン物標を生成する際に設定する大きさ情報の値の前回設定された値からの減少幅を、時間の経過とともに非線形に増大させるようにしたので、撮像手段側の検出結果が瞬間的に不安定な場合にはその後の正常な検出結果時に元のフュージョン物標に戻しやすいとともに、レーダ手段側の検出結果に誤りがあり撮像手段側の検出結果が正しかった場合に後段のロジックに与える誤情報の影響を小さくすることができるという効果を奏する。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して、本発明に係る物体検出装置の実施の形態を説明する。本実施の形態は、本発明に係る物体検出装置を、車両に搭載される衝突軽減装置への適用例を示す。本実施の形態に係る衝突軽減装置は、検出対象として前方車両を検出し、前方車両との衝突を防止／軽減するために各種制御を行う。特に、本実施の形態に係る衝突軽減装置は、前方車両を検出するためにミリ波レーダとステレオカメラとの２つのセンサを備え、ミリ波レーダによる検出物体とステレオカメラによる検出物体とを照合することによって前方車両を検出する。
【００１４】
図１〜図８を参照して、本実施の形態に係る衝突軽減装置１について説明する。図１は、本実施の形態に係る衝突軽減装置１の構成図である。衝突軽減装置１は、前方車両を検出し、前方車両を検出した場合には衝突の可能性に応じてブレーキ制御、サスペンション制御、シートベルト制御および警報制御を行う。衝突軽減装置１は、前方車両を検出するために、ミリ波レーダによる検出情報に基づいてレーダ物標を設定するとともにステレオカメラによるステレオ画像に基づいて画像物標を設定し、レーダ物標と画像物標との照合によってフュージョン物標を設定する。
【００１５】
このような衝突軽減装置１は、レーダ手段に相当するミリ波レーダ２、撮像手段に相当するステレオカメラ３、ブレーキＥＣＵ（Electronic Control Unit）４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７および衝突軽減ＥＣＵ１０などを備え、これらがＣＡＮ（Controller Area Network）（車内ＬＡＮの標準インターフェース規格）通信で各種信号を送受信する。
【００１６】
まず、各物標について説明しておく。レーダ物標は、ミリ波レーダ２による情報に基づいて検出された物体である。レーダ物標の情報としては、レーダ情報から取得できる物体までの距離（位置情報）、物体の横位置が設定される。画像物標は、ステレオカメラ３によるステレオ画像に基づいて検出された物体である。画像物標の情報としては、ステレオ画像から取得できる物体までの距離、物体の横位置（物体の横幅も含む）（大きさ情報）が設定される。フュージョン物標は、レーダ物標と画像物標とが同一物体であると判断できる物体であり、同一探索範囲内に存在するというフュージョン条件を満たすレーダ物標と画像物標とを統合した物体である。フュージョン物標には、レーダ物標による距離、レーダ物標の情報と画像物標の情報を統合した横位置（横幅を含む情報）（大きさ情報）が設定される。横位置は、自車両の車幅方向の中心位置における自車両の進行方向上の位置を基準とした位置であり、中心位置における進行方向を０として右横方向の位置がプラス値であり、左横方向の位置がマイナス値である。各物標の位置は、自車両に対する相対的な位置として、距離（位置情報）と横位置（大きさ情報）で規定できる。なお、レーダ物標の情報として他に相対速度などを設定してもよいし、画像物標の情報として他に物体の奥行き、高さ、高さ位置、相対速度などを設定してもよい。それに応じて、フュージョン物標の情報として他の情報を設定してもよい。
【００１７】
また、本実施の形態では、後述するフュージョン処理結果に応じて、上述したような通常のフュージョン物標の他に、レーダ単独フュージョン物標、画像単独フュージョン物標および画像ロストフュージョン物標を用いる。レーダ単独フュージョン物標は、画像物標とフュージョンできなかったレーダ物標単独の物体である。画像単独フュージョン物標は、レーダ物標とフュージョンできなかった画像物標単独の物体である。画像ロストフュージョン物標は、仮フュージョン物標の一例として、生成されたフュージョン物標についての画像更新時に画像ロストによりフュージョンを維持できなかった場合に生成される物標であり、通常のフュージョン物標に属する。
【００１８】
ミリ波レーダ２は、ミリ波を利用して物体を検出するためのレーダである。ミリ波レーダ２は、自車両の前側の中央に取り付けられる。ミリ波レーダ２は、ミリ波を水平面内で走査しながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、ミリ波レーダ２は、そのミリ波の送受信データをレーダ信号として衝突軽減ＥＣＵ１０に送信する。この送受信データには、送信したミリ波の情報、送信したミリ波に対する反射波を受信できたか否かの情報、反射波を受信できた場合にはその受信情報などが含まれる。
【００１９】
ステレオカメラ３は、２台のＣＣＤカメラからなり、２台のＣＣＤカメラが水平方向に所定間隔離間させて配置されている。ステレオカメラ３は、自車両の前側の中央に取り付けられる。ステレオカメラ３は、２つのＣＣＤカメラで撮像した左右のステレオ画像のデータを各画像信号として衝突軽減ＥＣＵ１０に送信する。
【００２０】
ブレーキＥＣＵ４は、４輪の各ホイールシリンダの油圧を調節し、４輪のブレーキ力を制御するＥＣＵである。ブレーキＥＣＵ４は、各輪の目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定し、その各油圧信号を各ホイールシリンダの油圧を変化させるブレーキ制御アクチュエータに対してそれぞれ送信する。特に、ブレーキＥＣＵ４は、衝突軽減ＥＣＵ１０から各輪に対する目標ブレーキ力を受信すると、その目標ブレーキ力信号に示される目標ブレーキ力に基づいて油圧制御信号をそれぞれ設定する。ちなみに、ブレーキ制御アクチュエータは、油圧制御信号を受信すると、油圧制御信号に示される目標油圧に基づいてホイールシリンダの油圧を変化させる。
【００２１】
サスペンション制御アクチュエータ５は、４輪の各油圧式アクティブサスペンションの油圧を変化させるアクチュエータである。サスペンション制御アクチュエータ５は、衝突軽減ＥＣＵ１０から各輪に対する目標減衰力信号を受信すると、各目標減衰力信号に示される目標減衰力に基づいて目標油圧を設定し、目標油圧に基づいて油圧式アクティブサスペンションの油圧を変化させる。なお、図１には、サスペンション制御アクチュエータ５は１個しか図示してないが、４輪のサスペンション毎にそれぞれ設けられている。
【００２２】
シートベルトアクチュエータ６は、各シートベルトを引き込み、シートベルトによる拘束力を変化させるアクチュエータである。シートベルトアクチュエータ６は、衝突軽減ＥＣＵ１０から各シートベルトに対する目標引込量信号を受信すると、各目標引込量信号に示される目標引込量に応じてシートベルトを引き込む。なお、図１には、シートベルトアクチュエータ６は１個しか図示してないが、シートベルトにそれぞれ設けられている。また、ブザー７は、衝突軽減ＥＣＵ１０から警報信号を受信すると、ブザー音を出力する。
【００２３】
衝突軽減ＥＣＵ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭなどからなる電子制御ユニットであり、衝突軽減装置１を統括制御する。衝突軽減ＥＣＵ１０は、レーダ物標設定部１１、画像物標設定部１２、フュージョンロジック部１３、メモリ１４、衝突予測部１５および車両制御部１６などを備える。衝突軽減ＥＣＵ１０は、ＣＰＵのマスタクロックに基づく一定時間毎に、ミリ波レーダ２からのレーダ信号およびステレオカメラ３からの各画像信号を取り入れ、一定時間毎に、レーダ情報に基づくレーダ物標設定部１１によるレーダ物標の設定処理、およびステレオ画像に基づく画像物標設定部１２による画像物標の設定処理を行い、設定されたレーダ物標および画像物標に基づくフュージョン処理をフュージョンロジック部１３により行う。これにより、前方車両を検出し、検出した前方車両との衝突の可能性に応じてブレーキＥＣＵ４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７に対する制御を行う。
【００２４】
レーダ物標設定部１１について説明する。衝突軽減ＥＣＵ１０は、ミリ波の出射から受信までの時間に基づいて前方の物体までの距離を演算する。ミリ波レーダ２による物体検出では、反射したミリ波を所定の閾値以上の受信強度で受信できた場合に物体を検出したことになるので、レーダ物標設定部１１は、反射したミリ波を閾値以上の受信強度で受信する毎に１個のレーダ物標を設定する。ここで、ミリ波レーダ２による物体検出によれば、物体までの距離を正確に検出できるので、設定されたレーダ物標の距離の精度が特に高い。
【００２５】
画像物標設定部１２について説明する。画像物標設定部１２は、左右のステレオ画像における物体の見え方のずれを利用して三角測量的に前方の物体を特定し、物体を特定できた場合に画像物標を設定する。画像物標を設定する場合、画像物標設定部１２は、ステレオ画像に基づいてステレオカメラ３から物体までの距離、物体の横位置を演算する。この距離と横位置が、画像物標の情報である。特に、横位置は、物体の横幅を含む情報であり、ステレオカメラ３で物体を検出できた横方向における範囲を示す。ステレオカメラ３による物体検出は、左右のステレオ画像から物体を特定できた場合に物体を検出したことになるので、画像物標設定部１２は、物体を特定する毎に１個の画像物標を設定する。
【００２６】
次に、更新手段を有するフュージョン処理手段としてのフュージョンロジック部１３について説明する。フュージョンロジック部１３は、一定時間毎に周期的に、物標探索処理やフュージョン物標生成処理を繰返す。まず、レーダ物標設定部１１でレーダ物標を検出している場合、フュージョンロジック部１３は、図２に示すように、そのレーダ物標に設定されている距離と横位置とを中心とし、距離方向に±Ｌと横方向に±Ｗとした探索範囲ＳＡをフュージョン条件として設定する。図２は、レーダ物標に対して設定される探索範囲の例を示す説明図である。このような探索範囲ＳＡは、車両の平均的な大きさ等を考慮して予め設定され、メモリ１４に保持されている。そして、フュージョンロジック部１３は、画像物標設定部１２で検出されている画像物標のうち、所定の探索範囲ＳＡ内に画像物標の位置（距離と横位置）が含まれているものがあるか否かを判定する。この探索範囲ＳＡ内に含まれる画像物標がある場合、フュージョンロジック部１３は、レーダ物標と画像物標とは類似性があると判定し、同一の物体と判断する。
【００２７】
レーダ物標と画像物標とが同一の物体と判断された場合、フュージョンロジック部１３は、同一物体と判断されたレーダ物標の情報と画像物標の情報とを統合してフュージョン物標を生成する。フュージョン物標の情報として距離は、レーダ物標の距離がそのまま設定される。フュージョン物標の情報として横位置は、レーダ物標の横位置と１つまたは複数の画像物標の横位置のうち、右端の位置と左端の位置とを両端とした横位置が設定される。したがって、この横位置は、物体の横幅を含む情報であり、ミリ波レーダ２とステレオカメラ３で物体を検出できた最も広い横方向の範囲を示す。
【００２８】
図２に示す例の場合、レーダ物標ＭＰを中心として探索範囲ＳＡが設定され、この探察範囲ＳＡ内に１つの画像物標ＩＰが存在する。なお、図２等では、レーダ物標をＸ状の記号で示し、画像物標をＨ状の記号で示し、フュージョン物標を□状の記号で示すものとする。画像物標を示すＨ状の記号およびフュージョン物標を示す□状の記号は、その横方向の長さで画像物標やフュージョン物標に設定されている横幅を示している。したがって、図２に示す例では、レーダ物標ＭＰと画像物標ＩＰとはフュージョン条件を満たし同一の物体を検出した物標と判断され、レーダ物標ＭＰの中心位置に画像物標ＩＰの横幅を矢印で示すように重ね合わせることによりフュージョン物標ＦＰが設定される。ここで、フュージョン物標は、レーダ物標を基準に生成されるため、同一物体を追跡するための履歴管理用のフュージョン物標番号としてはレーダ物標番号がそのまま用いられる。
【００２９】
なお、探索範囲ＳＡ内に複数の画像物標が含まれている場合も、その複数の画像物標とレーダ物標とは同一の物体と判断される。図３は、探索範囲内に複数の画像物標が含まれる場合の補間処理およびフュージョン物標生成例を示す模式図である。ステレオカメラ３は、縦エッジ画像を検出しているため、例えば図３（ａ）に示すように探索範囲ＳＡ内において１つの物体の両端を検出することで複数の画像物標ＩＰａ，ＩＰｂが含まれる場合がある。このような場合に対処するため、フュージョン物標生成の前に、図３（ｂ）に示すように画像物標ＩＰａ，ＩＰｂに対して最大幅をとるように補間処理を施すことで１つの補間画像物標ＩＰａｂを生成し、図３（ｃ）に示すように補間画像物標ＩＰａｂを用いてフュージョン物標ＦＰａｂが生成される。
【００３０】
図４は、フュージョンロジック部１３による実際的な探索処理例を示す模式図である。図４は、自車両ＯＶに対して前方車両ＦＶの後部に処理対象となるレーダ物標ＭＰ2が設定され、レーダ物標ＭＰ2を基準とした探索範囲ＳＡ２の範囲内に画像物標ＩＰ1が存在してフュージョン条件を満たし、フュージョン物標ＦＰ2が設定される様子を示している。添え字の数字は、それぞれの物標の物標番号を示しており、フュージョン物標の物標番号はレーダ物標番号で管理される。この他のレーダ物標ＭＰ1，ＭＰ3，ＭＰ4、画像物標ＩＰ2，ＩＰ3等は、レーダ物標ＭＰ2を基準とした場合のフュージョン条件を満たしていない例を示している。
【００３１】
図５は、図４のような状況に対するフュージョンロジック部１３による探索処理、フュージョン物標生成後の様子を示す模式図である。上述のように、フュージョン物標ＦＰ２が設定される他、レーダ物標ＭＰ1，ＭＰ3，ＭＰ4に対してはレーダ単独フュージョン物標ＦＭＰ1，ＦＭＰ3，ＦＭＰ4がそれぞれ設定され、画像物標ＩＰ2，ＩＰ3に対しては画像単独フュージョン物標ＦＩＰ18，ＦＩＰ19がそれぞれ設定され（物標番号は所定のルールに従い付与される）、いずれも衝突予測部１５側へ出力され、適宜利用される。
【００３２】
ここで、一旦生成されたフュージョン物標に対してその後の画像更新タイミングによるフュージョン条件の判定時（フュージョン探索処理時）に、例えばミリ波レーダ２は物体を検出しているがステレオカメラ３による検出結果がない場合（未検出の場合）のフュージョンロジック部１３が有する更新手段による更新処理について説明する。このような状況は、ミリ波レーダ２の検出結果が誤っており現実に物体が存在しなくなってしまった場合もあるが、例えば光の当り具合（夕日、影など）の影響によって、ステレオカメラ３側で瞬間的に画像検出物をロスト（未検出）してしまうことも多々ある。
【００３３】
そこで、本実施の形態では、このような場合、検出精度の高いミリ波レーダ２の検出結果を優先することでステレオカメラ３の検出結果に瞬間的な誤りがあり前回の画像物標が存在すると推定し、大きさ情報が過去に取得した該フュージョン物標の大きさ情報に基づいて設定された画像ロストフュージョン物標（仮フュージョン物標）を生成することで、対応する前回のフュージョン物標の更新を所定の時間内（所定の回数範囲内）で継続させるものである。この際、大きさ情報を有する画像物標が検出されない状況で画像ロストフュージョン物標を生成するものであり、少なくとも大きさ情報の信頼度が低下しているので、生成する画像ロストフュージョン物標に設定する横幅値などの大きさ情報は、対応する前回のフュージョン物標の大きさ情報より減少させた値とする。
【００３４】
また、画像ロストフュージョン物標を生成する回数は、画像ロスト回数が例えば５回連続する所定の時間内に限定し、それ以上の時間に亘って連続する場合にはステレオカメラ３の検出結果が正しく実際に画像物標が存在しないものとして扱う。そして、画像ロストが連続する程（画像ロストの時間が継続する程）、画像物標に関する大きさ情報の信頼度の低下は大きくなるので、生成する画像ロストフュージョン物標に設定する大きさ情報を時間の経過とともに元のフュージョン物標の大きさ情報に近い値から遠ざかる方向（大きさ情報が小さくなる方向）にさらに減少させる。特に、本実施の形態では、生成する画像ロストフュージョン物標に設定する大きさ情報を決定するための係数を、図６に示すように、時間の経過を示すロスト回数が多くなるほど急激に減少させることで、減少幅を非線形に増大させるように設定されている。図６は、ロスト回数に対する係数値を示す特性図であり、各ロスト回数に応じた係数値がテーブルとしてメモリ１４に格納されている。なお、図６中に破線で示すように係数値をロスト回数に応じて直線的に変化させることも可能である。
【００３５】
図７を参照して画像更新に伴う画像ロストフュージョン物標の生成処理例を説明する。図７は、画像ロスト回数に応じた画像ロストフュージョン物標の生成処理例を時系列的に示す模式図である。まず、図７（ａ）は、前提として基準となる画像更新フレーム０ではレーダ物標ＭＰ、画像物標ＩＰの検出結果が探索範囲内に存在してフュージョン条件を満たし、画像物標ＩＰに関して必要な補間処理を施して補間画像物標ＩＰ´を生成し、レーダ物標ＭＰと統合することによりフュージョン物標ＦＰが生成されている場合を示している。通常は、物体が実際に検出されなくなるまで画像更新フレーム毎に画像更新フレーム０の状態を繰返す。
【００３６】
図７（ｂ）は、次の更新判定時となる画像更新フレーム１において、レーダ物標ＭＰはそのまま存在するが、画像物標ＩＰが破線で示すように画像ロストとなった場合を示している。ここで、レーダ物標ＭＰが前回更新時にレーダ単独フュージョン物標でなかった場合には、フュージョンロジック部１３は、メモリ１４に格納されているテーブルを参照して、画像更新フレーム０中のフュージョン物標ＦＰが取得している大きさ情報に対して所定の係数（例えば０．９５）を掛けることで大きさ情報が設定された補間画像物標ＬＩＰ1（添え字は、ロスト回数に対応する）を生成し、この大きさ情報の補間画像物標ＬＩＰ1をレーダ物標ＭＰの位置に統合させることにより画像ロストフュージョン物標ＬＦＰ1を生成し（添え字は、ロスト回数に対応する）、画像更新フレーム０のフュージョン物標ＦＰを画像更新フレーム１においては画像ロストフュージョン物標ＬＦＰ1として更新する。
【００３７】
図７（ｃ）は、さらに時間が経過し、更新判定時となる画像更新フレーム２においても、レーダ物標ＭＰはそのまま存在するが、画像物標ＩＰが破線で示すように画像ロストとなっている場合を示している。ここで、レーダ物標ＭＰが以前の更新時にレーダ単独フュージョン物標でなかった場合には、フュージョンロジック部１３は、メモリ１４に格納されているテーブルを参照して、画像更新フレーム０中のフュージョン物標ＦＰが取得している大きさ情報に対して所定の係数（例えば０．９）を掛けることで大きさ情報が設定された補間画像物標ＬＩＰ2を生成し、この大きさ情報の補間画像物標ＬＩＰ2をレーダ物標ＭＰの位置に統合させることにより画像ロストフュージョン物標ＬＦＰ2を生成し、画像更新フレーム０のフュージョン物標ＦＰを画像更新フレーム２においては画像ロストフュージョン物標ＬＦＰ1として更新する。
【００３８】
図７（ｄ）は、さらに時間が経過し、例えば更新判定時となる画像更新フレーム４においても、レーダ物標ＭＰはそのまま存在するが、画像物標ＩＰが破線で示すように画像ロストが継続している場合を示している。ここで、レーダ物標ＭＰが以前の更新時にレーダ単独フュージョン物標でなかった場合には、フュージョンロジック部１３は、メモリ１４に格納されているテーブルを参照して、画像更新フレーム０中のフュージョン物標ＦＰが取得している大きさ情報に対して所定の係数（例えば０．４）を掛けることで大きさ情報が設定された補間画像物標ＬＩＰ4を生成し、この大きさ情報の補間画像物標ＬＩＰ4をレーダ物標ＭＰの位置に統合させることにより画像ロストフュージョン物標ＬＦＰ4を生成し、画像更新フレーム０のフュージョン物標ＦＰを画像更新フレーム４においては画像ロストフュージョン物標ＬＦＰ4として更新する。
【００３９】
このような画像ロストフュージョン物標を生成する処理を行うことにより、例えば、画像ロストが１回または２回であって、推定通り、ステレオカメラ３による瞬間的な画像ロストの場合には、その後のステレオカメラ３による正常な検出結果が得られた場合には即座に元のフュージョン物標ＦＰの状態に戻して更新させることができる。例えば、画像更新フレーム２の時点で画像物標ＩＰが正しく得られた場合には、図７（ｂ）に示す画像ロストフュージョン物標ＬＦＰ1から図７（ａ）に示すフュージョン物標ＦＰに即座に戻すことができる。同様に、画像更新フレーム３の時点で画像物標ＩＰが正しく得られた場合には、図７（ｃ）、図７（ｂ）に示す画像ロストフュージョン物標ＬＦＰ2、画像ロストフュージョン物標ＬＦＰ1を経て図７（ａ）に示すフュージョン物標ＦＰに戻すことができる。特に、ロスト回数が１回、２回程度の場合には、当初の画像物標ＩＰによる画像物標情報の信頼度はある程度高いものとして大きさ情報の減少幅を低く抑えているので、画像ロストフュージョン物標ＬＦＰ2、ＬＦＰ1とフュージョン物標ＦＰとの間の遷移を違和感なく行わせることができる。
【００４０】
一方、画像ロスト回数が４〜５回も連続する場合には、推定に反して、ステレオカメラ３による検出結果（画像未検出）が正しく、ミリ波レーダ２の検出が誤検出の可能性が高いが、このような場合には、当初の画像物標ＩＰによる画像物標情報の信頼度が極めて低いものとして大きさ情報の減少幅を非線形で増大させることで、殆ど横幅値を持たない画像ロストフュージョン物標ＬＦＰ4としているので、後段のロジックに与える誤情報の影響を小さくすることができる。
【００４１】
次に、衝突予測部１５について説明する。フュージョンロジック部１３によりフュージョン物標（画像ロストフュージョン物標を含む）が設定された場合（つまり、前方車両が存在する場合）、衝突予測部１５は、車速を考慮して、フュージョン物標に設定されている前方車両までの距離に基づいて衝突する可能性の段階（例えば、可能性が高い、低い、無しの３段階）を設定する。
【００４２】
また、車両制御部１６は、衝突予測部１５により衝突する可能性の段階が設定されると、衝突する可能性の段階に応じて、ブレーキＥＣＵ４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７を制御する。
【００４３】
次に、衝突軽減装置１における動作について説明する。特に、衝突軽減ＥＣＵ１０のフュージョンロジック部１３における物標探索処理、フュージョン物標生成処理の流れは図８に示すフローチャートを参照して説明する。図８は、本実施の形態に係るフュージョン処理の流れを示す概略フローチャートである。
【００４４】
ミリ波レーダ２では、前方にミリ波を走査しながら送信するとともにその反射波を受信し、その送受信データをレーダ信号として衝突軽減ＥＣＵ１０に送信する。ステレオカメラ３では、前方をそれぞれ撮像し、その撮像した左右のステレオ画像を各画像信号として衝突軽減ＥＣＵ１０に送信する。
【００４５】
衝突軽減ＥＣＵ１０は、ミリ波レーダ２からのレーダ信号を受信するとともに、ステレオカメラ３からの各画像信号をそれぞれ受信する。そして、レーダ物標設定部１１は、一定時間毎に、レーダ信号によるレーダ情報に基づいてレーダ物標を設定する。また、画像物標設定部１２は、一定時間毎に、各画像信号による左右のステレオ画像に基づいて画像物標を設定する。
【００４６】
そして、フュージョンロジック部１３は、一定時間毎に、以下の物標探索処理およびフュージョン物標生成処理を行う。まず、一定時間毎に、レーダ物標および画像物標の情報を取得する（ステップＳ１）。ここでは、処理対象となるレーダ物標を特定し、該レーダ物標を基準に探索範囲を設定するとともにレーダ物標周りに存在する所定個数の他のレーダ物標や画像物標を対象とする。
【００４７】
次に、処理対象となるレーダ物標を基準に、取得したレーダ物標や画像物標とを照合することにより（ステップＳ２）、レーダ物標と画像物標とがともに探索範囲内に存在してフュージョン条件を満たすか否かの類似性判定処理を行う（ステップＳ３）。
【００４８】
この判定処理で、類似性がなく（ステップＳ３：Ｎｏ）、かつ、レーダ単独物標でもなければ（ステップＳ４：Ｎｏ）、画像単独フュージョン物標としてフュージョンロジック部１３から出力する（ステップＳ５）。また、同様に類似性がなく（ステップＳ３：Ｎｏ）、かつ、レーダ単独物標の場合には（ステップＳ４：Ｙｅｓ）、前回の更新判定時（更新フレーム）においてそのレーダ物標がレーダ単独フュージョン物標であった場合には（ステップＳ６：Ｙｅｓ）、そのまま今回もレーダ単独フュージョン物標として更新されフュージョンロジック部１３から出力する（ステップＳ７）。フュージョン物標番号はレーダ物標番号と同一番号で履歴情報として管理されるため、前回単独であったかフュージョン物標であったかは判別できる。
【００４９】
また、フュージョン条件を満たし、類似性があると判定された場合には（ステップＳ３：Ｙｅｓ）、画像物標に関して必要な補間処理を施した上で（ステップＳ８）、レーダ物標の情報と画像物標の情報とを統合してフュージョン物標を生成し、フュージョンロジック部１３から出力する（ステップＳ９）。ここで、ステップＳ８における必要な補間処理は、例えば図３で説明したようなフュージョン条件を満たす複数の画像物標の統合処理や、レーダ物標と画像物標との更新周期が異なることに伴う補間処理などである。また、ステップＳ９の処理においては、物標番号を参照することで、新規なフュージョン物標か前回に引き続く更新すべきフュージョン物標であるかが判別される。
【００５０】
一方、レーダ物標はフュージョン条件を満たすが画像物標がフュージョン条件を満たさない場合において（ステップＳ３：Ｎｏ、Ｓ４：Ｙｅｓ）、前回の更新判定時（更新フレーム）においてそのレーダ物標がレーダ単独フュージョン物標でなかった場合には（ステップＳ６：Ｎｏ）、前回の更新判定時にはフュージョン物標であって今回画像ロストが生じたものと推定し、画像ロスト回数の管理を行い（ステップＳ１０）、画像ロスト回数に対応する係数を用いて大きさ情報が設定された補間画像物標を生成する等の必要な処理を施した上で（ステップＳ１１）、レーダ物標の情報と補間画像物標の情報とを統合して画像ロストフュージョン物標を生成し、フュージョンロジック部１３から出力する（ステップＳ１２）。この画像ロストフュージョン物標は、前回の更新判定時のフュージョン物標を更新する。図８に示すような処理をレーダ物標と画像物標との全ての組合せについて同様に行う。
【００５１】
このようなフュージョン処理によって、今回のフュージョン物標が設定された場合、衝突予測部１５は、そのフュージョン物標に設定されている情報に基づいて衝突する可能性の段階を設定し、車両制御部１６は、衝突する可能性の段階に応じて、ブレーキＥＣＵ４、サスペンション制御アクチュエータ５、シートベルトアクチュエータ６、ブザー７を制御する。この制御によって、前方車両との衝突の可能性の低い段階では、シートベルトアクチュエータ６によるシートベルトの引き込みとブザー７によるブザー音の出力によって前方車両の接近を運転者に認識させる。さらに、前方車両との衝突の可能性が高くなると、ブレーキＥＣＵ４による自動ブレーキ力による減速とサスペンション制御アクチュエータ５によるサスペンションの硬さ調節を行い、シートベルトアクチュエータ６によるシートベルトのさらなる引き込みによって乗員を強く拘束し、ブザー７によるブザー音の出力によって前方車両のさらなる接近を運転者に認識させる。
【００５２】
本発明は、上述した実施の形態に限らず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
【００５３】
例えば、本実施の形態では、車両に搭載される衝突軽減装置への適用例で説明したが、車間距離制御装置、追従走行装置などの他の運転支援装置や周辺監視装置などの他の装置にも適用可能であり、物体検出装置単体としても活用可能である。また、検出対象としては、前方車両以外にも、歩行者や自転車などの他の物体を検出することも可能である。また、搭載対象としては、車両以外に、ロボットなどに搭載するようにしてもよい。
【００５４】
また、本実施の形態では、レーダ手段としてミリ波レーダ２を用いたが、レーザレーダなどの他のレーダを用いてもよい。同様に、撮像手段としてステレオカメラ３を用いたが、単眼カメラを用いるようにしてもよい。
【００５５】
また、本実施の形態は、フュージョン条件の更新判定時（画像更新時）にミリ波レーダ２の検出結果に対してステレオカメラ３の検出結果がフュージョン条件を満たさない例として、ステレオカメラ３における瞬間的な画像ロストを想定した処理例で説明したが、画像ロスト（画像未検出）に限らず、例えば先行車両と道路上の白線との瞬間的な重なりや並走している先行車両同士の瞬間的な重なりによって画像検出物の幅が極端に広くなってしまう誤検出の場合にも適用可能である。この場合、ステレオカメラ３による検出結果において画像物標の大きさ情報が大きすぎてフュージョン条件を満たさないものであり、生成する仮フュージョン物標の大きさ情報としては、時間の経過とともに、過去に取得したフュージョン物標の大きさ情報に近い値から遠ざかる方向（大きさ情報が大きくなる方向）に変化させればよい。特に、変化させる大きさ情報の可変幅を、時間の経過とともに非線形に増大させることが望ましい。例えば、元のフュージョン物標の２倍の大きさとして検出したような場合、元のフュージョン物標の大きさ情報に対して、時間の経過とともに、仮フュージョン物標に設定する大きさ情報を１．０５倍、１．１倍、１．３倍、１．６倍、２倍の如く変化させればよい。
【００５６】
また、本実施の形態では、レーダ物標を基準に画像物標との照合を行ってフュージョン条件を満たすか否かの判断を行う処理例としているが、これに限定されるものではない。例えば、ワイパーや強い光源が撮像された場合など、画像情報から物標が検出できないことが判断できる場合は、画像情報のみからフュージョン条件を満たさないと判断としてもよい。
【図面の簡単な説明】
【００５７】
【図１】本実施の形態に係る衝突軽減装置の構成図である。
【図２】レーダ物標に対して設定される探索範囲の例を示す説明図である。
【図３】探索範囲内に複数の画像物標が含まれる場合の補間処理およびフュージョン物標生成例を示す模式図である。
【図４】フュージョンロジック部による実際的な探索処理例を示す模式図である。
【図５】フュージョンロジック部による探索処理、フュージョン物標生成後の様子を示す模式図である。
【図６】ロスト回数に対する係数値を示す特性図である。
【図７】画像ロスト回数に応じた画像ロストフュージョン物標の生成処理例を時系列的に示す模式図である。
【図８】本実施の形態に係るフュージョン処理の流れを示す概略フローチャートである。
【符号の説明】
【００５８】
２  ミリ波レーダ
３  ステレオカメラ
１３  フュージョンロジック部
【図１】
0004595833.tif 000002
【図２】
0004595833.tif 000003
【図３】
0004595833.tif 000004
【図４】
0004595833.tif 000005
【図５】
0004595833.tif 000006
【図６】
0004595833.tif 000007
【図７】
0004595833.tif 000008
【図８】
0004595833.tif 000009