(57)【要約】【課題】複数のセンサによって検出された対象物のそれぞれにおいて、同一の対象物を有効に特定する。【解決手段】まず、検出された対象物の位置および速度の誤差を特定する。そして、複数のセンサのそれぞれが同一の対象物を検出した際の位置および速度の誤差に関する正規分布に基づき、特定された位置および速度の誤差から、検出された対象物のそれぞれが位置的および速度的に同一の対象物である確率として第１および第２の確率が算出される。これら算出された第１の確率と第２の確率とに基づき、検出された対象物のそれぞれが同一の対象物である確率として第３の確率が算出される。そして、第３の確率が第１の判定値を超えた場合に、検出された対象物のそれぞれを同一の対象物として判断する。【選択図】　図１
2004037239.tif 000002
【特許請求の範囲】
【請求項１】
複数のセンサによって検出された対象物のそれぞれが同一の対象物であるか否かを判断する同一対象物判断方法において、
前記検出された対象物のそれぞれについて、前記対象物の相対的な位置と、前記対象物の相対的な速度とを特定する第１のステップと、
前記特定された位置に基づき、前記検出された対象物の位置の誤差を特定するとともに、前記複数のセンサのそれぞれが同一の対象物を検出した際の位置の誤差に関する正規分布に基づき、前記特定された位置の誤差から、前記検出された対象物のそれぞれが位置的に同一の対象物である確率として第１の確率を算出する第２のステップと、
前記特定された速度に基づき、前記検出された対象物の速度の誤差を特定するとともに、前記複数のセンサのそれぞれが同一の対象物を検出した際の速度の誤差に関する正規分布に基づき、前記特定された速度の誤差から、前記検出された対象物のそれぞれが速度的に同一の対象物である確率として第２の確率を算出する第３のステップと、
前記算出された第１の確率と、前記算出された第２の確率とに基づき、前記検出された対象物のそれぞれが同一の対象物である確率として第３の確率を算出する第４のステップと、
前記第３の確率が第１の判定値を超えた場合に、前記検出された対象物のそれぞれを同一の対象物として判断する第５のステップと
を有することを特徴とする同一対象物判断方法。
【請求項２】
前記第３の確率が前記第１の判定値より小さい場合には、前記検出された対象物のそれぞれの中から任意の組合わせで対象物を抽出するとともに、当該抽出された対象物のそれぞれを処理対象として、前記抽出された対象物のそれぞれが同一の対象物である確率として第４の確率を算出するステップと、
前記算出された第４の確率が、前記第１の判定値を越えた場合に、前記抽出された対象物のそれぞれを同一の対象物として判断するステップと
をさらに有することを特徴とする請求項１に記載された同一対象物判断方法。
【請求項３】
前記複数のセンサを構成する個々のセンサのうち、少なくとも一つのセンサが複数の対象物を検出した場合には、
前記第２のステップは、前記検出された対象物のそれぞれの中からセンサ毎に対象物を一つ選択することにより、異なる組合わせでグループを構成するとともに、当該構成されたグループのそれぞれを処理対象として、前記グループを構成する対象物のそれぞれが位置的に同一の対象物である確率として前記第１の確率を算出し、
前記第３のステップは、前記構成されたグループのそれぞれを処理対象として、前記グループを構成する対象物のそれぞれが速度的に同一の対象物である確率として前記第２の確率を算出し、
前記第４のステップは、前記算出された第１の確率と前記算出された第２の確率とに基づき、前記グループ毎に、当該グループを構成する対象物のそれぞれが同一の対象物である確率として第３の確率を算出し、
前記第５のステップは、前記複数のセンサのうちのあるセンサによって検出された対象物を基準とし、当該基準の対象物を含む前記グループの中から前記第３の確率が最大となるグループを特定するとともに、前記特定されたグループに関して算出された前記第３の確率が、前記第１の判定値を越えた場合に、前記特定されたグループを構成する対象物のそれぞれを同一の対象物であると判断することを特徴とする請求項１または２に記載された同一対象物判断方法。
【請求項４】
前記第５のステップは、
前記基準の対象物を含む第１のグループに関して算出された前記第３の確率と、前記基準の対象物を含み前記第１のグループとは異なる第２のグループに関して算出された前記第３の確率とのそれぞれが前記第１の判定値を越える場合には、前記第１のグループに関して算出された前記第３の確率と、前記第２のグループに関して算出された前記第３の確率とのそれぞれを、前記第１の判定値より大きな第２の判定値と比較するステップと、
前記第１のグループに関して算出された前記第３の確率と、前記第２のグループに関して算出された前記第３の確率とのそれぞれが前記第２の判定値を越える場合に、前記第１のグループと前記第２のグループとを構成する対象物のそれぞれを同一の対象物であると判断し、
前記第１のグループに関して算出された前記第３の確率、または、前記第２のグループに関して算出された前記第３の確率のどちらか一方が前記第２の判定値を越える場合には、当該第２の判定値を越えた前記第３の確率となるグループを構成する対象物のそれぞれを同一の対象物であると判断するステップと
を有することを特徴とする請求項３に記載された同一対象物判断方法。
【請求項５】
あるセンサによって検出された対象物が、他のセンサによって検出された対象物のどれと同一であると判断されたかを示す履歴情報に基づき、前記算出された第３の確率を補正するステップをさらに有することを特徴とする請求項１から４のいずれかに記載された同一対象物判断方法。
【請求項６】
前記あるセンサによって検出された対象物が、前記他のセンサによって検出された対象物と何回連続して同一と判断されたかを示す履歴情報に基づき、前記算出された第３の確率を補正するステップをさらに有する請求項５に記載された同一対象物判断方法。
【請求項７】
あるセンサによって検出された対象物と、他のセンサによって検出された対象物とに関して算出された前記第３の確率を示す履歴情報に基づき、前記算出された第３の確率を補正するステップをさらに有する請求項１から４のいずれかに記載された同一対象物判断方法。
【請求項８】
前記複数のセンサは、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサ、ミリ波レーダおよびレーザレーダを含むグループからそれぞれ選択されることを特徴とする請求項１から７のいずれかに記載された同一対象物判断方法。
【請求項９】
請求項１から８のいずれかに記載された同一対象物判断方法を用いて、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断装置。
【請求項１０】
複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断方法において、
前記検出された対象物のそれぞれについて、前記対象物の相対的な位置と、前記対象物の相対的な速度とを特定する第１のステップと、
前記特定された位置に基づき、前記検出された対象物の位置の誤差を特定し、当該特定された位置の誤差と第１の判定値とを比較するとともに、前記特定された速度に基づき、前記検出された対象物の速度の誤差を特定し、当該特定された速度の誤差と第２の判定値とを比較することにより、前記検出された対象物のそれぞれのうち同一の対象物であるものと、同一の対象物でないものとの切り分けを行う第２のステップと
を有することを特徴とすることを特徴とする同一対象物判断方法。
【請求項１１】
前記第２のステップは、前記特定された位置の誤差が前記第１の判定値より小さく、かつ、前記特定された速度の誤差が前記第２の判定値より小さい場合には、前記検出された対象物のそれぞれを同一の対象物であると判断することを特徴とする請求項１０に記載された同一対象物判断方法。
【請求項１２】
前記複数のセンサは、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサ、ミリ波レーダおよびレーザレーダを含むグループからそれぞれ選択されることを特徴とする請求項１０または１１に記載された同一対象物判断方法。
【請求項１３】
請求項１０から１２のいずれかに記載された同一対象物判断方法を用いて、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断装置。
【請求項１４】
互いに協働して対象物を検出する複数のセンサであって、一のセンサと他のセンサとによって検出される同一の対象物の相対的な位置ずれを補正する位置ずれ補正方法において、
前記一のセンサによって検出された対象物の位置と、前記他のセンサによって検出された前記対象物の位置との相対的な位置ずれを補正する複数の補正パラメータを設定する第１のステップと、
前記複数の補正パラメータのそれぞれに基づき、前記他のセンサによって検出された対象物の位置を相対的に補正する第２のステップと、
前記複数の補正パラメータ毎に、前記一のセンサによって検出された前記対象物と、前記他のセンサで検出されて、かつ、前記補正パラメータに基づいて位置が補正された前記対象物とが同一の対象物であるか否かの判断をする第３のステップと、
前記第３のステップにおける判断結果を比較し、最も同一の対象物であると判断された補正パラメータに基づき、前記一のセンサと前記他のセンサとによって検出される同一の対象物の相対的な位置ずれをフィードバック補正するフィードバック補正パラメータを決定する第４のステップと
を有することを特徴とする位置ずれ補正方法。
【請求項１５】
前記補正パラメータは、前記一のセンサの取付位置と前記他のセンサの取付位置との相対的なずれに基づいて設定されることを特徴とする請求項１４に記載された位置ずれ補正方法。
【請求項１６】
前記補正パラメータは、前記一のセンサと前記他のセンサとの相対的な検出位置誤差に基づいて設定されることを特徴とする請求項１４または１５に記載された位置ずれ補正方法。
【請求項１７】
前記補正パラメータは、前記一のセンサと前記他のセンサとの相対的な検出時間差に基づいて設定されることを特徴とする請求項１４から１６のいずれかに記載された位置ずれ補正方法。
【請求項１８】
前記第１のステップから前記第３のステップを複数回繰り返して行い、より同一の対象物であると判断された前記補正パラメータの回数が所定の判定値を超える補正パラメータに基づき、前記フィードバック補正パラメータを決定することを特徴とする請求項１４から１７のいずれかに記載された位置ずれ補正方法。
【請求項１９】
前記第１のステップから前記第３のステップを複数回繰り返して行い、より同一の対象物であると判断された前記補正パラメータの回数が最大となる補正パラメータに基づき、前記フィードバック補正パラメータを決定することを特徴とする請求項１４から１７のいずれかに記載された位置ずれ補正方法。
【請求項２０】
前記第４のステップは、前記第３のステップにおける判断結果を比較する際に、位置的に所定の判定値より遠い対象物に関する前記判断結果のみを用いることを特徴とする請求項１４から１９のいずれかに記載された位置ずれ補正方法。
【請求項２１】
前記複数の補正パラメータを複数のグループに分割し、当該分割されたグループに含まれる前記補正パラメータを一回の処理対象とすることを特徴とする請求項１４から２０のいずれかに記載された位置ずれ補正方法。
【請求項２２】
前記分割されたグループは、当該グループのそれぞれで共通する補正パラメータを一つ含むことを特徴とする請求項２１に記載された位置ずれ補正方法。
【請求項２３】
前記第３のステップは、請求項１から８のいずれかに記載された同一対象物判断方法、または、請求項１０から１２のいずれかに記載された同一対象物判断方法を用いることを特徴とする請求項１４から２２のいずれかに記載された位置ずれ補正方法。
【請求項２４】
請求項１４から２３のいずれかに記載された位置ずれ補正方法を用いて、互いに協働して対象物を検出する複数のセンサによって検出される同一の対象物の相対的な位置ずれを補正する位置ずれ補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断方法および装置、並びに、同一の対象物の相対的な位置ずれを補正する位置ずれ補正方法および装置に関する。
【０００２】
【従来の技術】
近年、車外監視、踏切監視、地形認識または高度計といった様々な用途において、ある領域内の状況を認識する、或いは、この認識結果に基づきその領域内の状況を監視する監視システムが注目・実用化されている。この類の監視システムでは、領域内に存在する対象物を検出すべく、一対の撮像画像に基づき対象物の視差を算出するステレオ画像処理、レーザレーダまたはミリ波レーダといった各種センサが用いられる。精度の高い認識を行うためには、これらのセンサを単一で用いるよりも、複数のセンサを併用することが有利である。ところで、複数のセンサを併用した場合、これらセンサの検出動作はそれぞれ独立して行われるため、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する必要がある。
【０００３】
例えば、特開２０００−１３１４３２号公報には、センサとして、ミリ波レーダとレーザレーダとを併用し、それぞれのセンサによって検出された対象物（障害物）が同一の対象物であるか否かを判断する手法が開示されている。この従来技術では、ミリ波レーダによって検出される障害物と、この障害物の周囲に設定した判定領域内でレーザレーダによって検出される障害物とを同一の障害物であるとして判断している。
【０００４】
なお、特開平１１−４４７５６号公報または特開平０９−２１８２６５号公報には、レーダセンサとカメラとの取付角度補正方法が開示されている。これらの方法によれば、それぞれのセンサで検出した対象物は同一の対象物であるという前提のもと、それぞれのセンサで計測した計測値の差からこれらのセンサの取付誤差が補正される。また、特開平６−２３０１１５号公報では、レーザセンサとカメラとの距離計測値の補正方法が開示されている。この方法によれば、レーザセンサとカメラとで検出した対象物は同一の対象物であるという前提のもと、各々に計測した距離計測値の差分からこれらの距離計測値が補正される。
【０００５】
【発明が解決しようとする課題】
しかしながら、特開２０００−１３１４３２号公報に記載された従来技術では、両センサによって検出される対象物の位置的な比較を行うのみであるため、同一の対象物を２つの異なる対象物と判断してしまう（または、２つの異なる対象物を同一対象物と判断してしまう）といった可能性がある。例えば、自車両前方の走行状況を監視する車外監視において、自車両前方を走行する対象物（先行車）と、相対する方向に走行する対象物（対向車）とが位置的に近似している場合、これらを同一の対象物であると判断してしまうといった如くである。
【０００６】
また、誤差補正に関する従来技術では、基本的にそれぞれのセンサで検出した対象物は同一であるという前提のもと誤差補正を行う。しかしながら、これらの従来技術では、それぞれのセンサによって検出された対象物が同一の対象物であるという判断ができないほどの誤差が生じている場合には、これらの誤差を補正することができない。また、それぞれのセンサで検出された対象物が同一の対象物であるか否かが特定されない限り、この誤差補正の信頼性は確保されない。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、複数のセンサによって検出された対象物のそれぞれにおいて、同一の対象物を有効に特定することである。
【０００８】
また、本発明の別の目的は、複数のセンサによって検出された対象物が同一の対象物である否かを判断することにより、これらのセンサによって検出される対象物の位置ずれを補正することである。
【０００９】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、複数のセンサによって検出された対象物のそれぞれが同一の対象物であるか否かを判断する同一対象物判断方法を提供する。この同一対象物判断方法では、第１のステップとして、検出された対象物のそれぞれについて、対象物の相対的な位置と、対象物の相対的な速度とを特定する。第２のステップとして、まず、特定された位置に基づき、検出された対象物の位置の誤差を特定する。そして、複数のセンサのそれぞれが同一の対象物を検出した際の位置の誤差に関する正規分布に基づき、特定された位置の誤差から、検出された対象物のそれぞれが位置的に同一の対象物である確率として第１の確率を算出する。第３のステップとして、まず、特定された速度に基づき、検出された対象物の速度の誤差を特定する。そして、複数のセンサのそれぞれが同一の対象物を検出した際の速度の誤差に関する正規分布に基づき、特定された速度の誤差から、検出された対象物のそれぞれが速度的に同一の対象物である確率として第２の確率を算出する。第４のステップは、算出された第１の確率と、算出された第２の確率とに基づき、検出された対象物のそれぞれが同一の対象物である確率として第３の確率を算出する。第５のステップは、第３の確率が第１の判定値を超えた場合に、検出された対象物のそれぞれを同一の対象物として判断する。
【００１０】
ここで、第１の発明において、第３の確率が第１の判定値より小さい場合には、以下に示すステップをさらに有することが好ましい。一のステップとして、検出された対象物のそれぞれの中から任意の組合わせで対象物を抽出する。そして、抽出された対象物のそれぞれを処理対象として、抽出された対象物のそれぞれが同一の対象物である確率として第４の確率を算出する。また、他のステップとして、算出された第４の確率が、第１の判定値を越えた場合に、抽出された対象物のそれぞれを同一の対象物として判断する。
【００１１】
また、第１の発明において、複数のセンサを構成する個々のセンサのうち、少なくとも一つのセンサが複数の対象物を検出した場合には、上述したステップは以下に示す処理を行うことが好ましい。まず、第２のステップとして、検出された対象物のそれぞれの中からセンサ毎に対象物を一つ選択することにより、異なる組合わせでグループを構成する。そして、この構成されたグループのそれぞれを処理対象として、グループを構成する対象物のそれぞれが位置的に同一の対象物である確率として第１の確率を算出する。また、第３のステップとして、構成されたグループのそれぞれを処理対象として、グループを構成する対象物のそれぞれが速度的に同一の対象物である確率として第２の確率を算出する。また、第４のステップとして、算出された第１の確率と算出された第２の確率とに基づき、グループ毎に、グループを構成する対象物のそれぞれが同一の対象物である確率として第３の確率を算出する。そして、第５のステップとして、複数のセンサのうちのあるセンサによって検出された対象物を基準とし、基準の対象物を含むグループの中から第３の確率が最大となるグループを特定する。そして、この特定されたグループに関して算出された第３の確率が、第１の判定値を越えた場合に、特定されたグループを構成する対象物のそれぞれを同一の対象物であると判断する。
【００１２】
ここで、この第５のステップは、基準の対象物を含む第１のグループに関して算出された第３の確率と、基準の対象物を含み第１のグループとは異なる第２のグループに関して算出された第３の確率とのそれぞれが第１の判定値を越える場合には、以下に示すステップを有することが好ましい。一のステップとして、第１のグループに関して算出された第３の確率と、第２のグループに関して算出された第３の確率とのそれぞれを、第１の判定値より大きな第２の判定値と比較する。また、他のステップとして、第１のグループに関して算出された第３の確率と、第２のグループに関して算出された第３の確率とのそれぞれが第２の判定値を越える場合に、第１のグループと第２のグループとを構成する対象物のそれぞれを同一の対象物であると判断する。あるいは、第１のグループに関して算出された第３の確率、または、第２のグループに関して算出された第３の確率のどちらか一方が第２の判定値を越える場合には、第２の判定値を越えた第３の確率となるグループを構成する対象物のそれぞれを同一の対象物であると判断する。
【００１３】
また、第１の発明において、あるセンサによって検出された対象物が、他のセンサによって検出された対象物のどれと同一であると判断されたかを示す履歴情報に基づき、算出された第３の確率を補正するステップをさらに有することが好ましい。この場合、さらに別のステップとして、あるセンサによって検出された対象物が、他のセンサによって検出された対象物と何回連続して同一と判断されたかを示す履歴情報に基づき、算出された第３の確率を補正することが好ましい。
【００１４】
また、第１の発明において、あるセンサによって検出された対象物と、他のセンサによって検出された対象物とに関して算出された第３の確率を示す履歴情報に基づき、算出された第３の確率を補正するステップをさらに有することが好ましい。
【００１５】
さらに、第１の発明において、複数のセンサは、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサ、ミリ波レーダおよびレーザレーダを含むグループからそれぞれ選択されることが好ましい。
【００１６】
また、第２の発明は、第１の発明のいずれかに記載された同一対象物判断方法を用いて、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断装置を提供することである。
【００１７】
また、第３の発明は、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断方法を提供する。この同一対象物判断方法では、第１のステップとして、検出された対象物のそれぞれについて、対象物の相対的な位置と、対象物の相対的な速度とを特定する。第２のステップとして、特定された位置に基づき、検出された対象物の位置の誤差を特定し、この特定された位置の誤差と第１の判定値とを比較する。さらに、特定された速度に基づき、検出された対象物の速度の誤差を特定し、この特定された速度の誤差と第２の判定値とを比較する。これにより、検出された対象物のそれぞれのうち同一の対象物であるものと、同一の対象物でないものとの切り分けを行う。
【００１８】
ここで、第３の発明において、第２のステップは、特定された位置の誤差が第１の判定値より小さく、かつ、特定された速度の誤差が第２の判定値より小さい場合には、検出された対象物のそれぞれを同一の対象物であると判断することが好ましい。
【００１９】
さらに、第３の発明において、複数のセンサは、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサ、ミリ波レーダおよびレーザレーダを含むグループからそれぞれ選択されることが好ましい。
【００２０】
また、第４の発明は、第３の発明のいずれかに記載された同一対象物判断方法を用いて、複数のセンサによって検出された対象物のそれぞれが、同一の対象物であるか否かを判断する同一対象物判断装置を提供することである。
【００２１】
また、第５の発明は、互いに協働して対象物を検出する複数のセンサであって、一のセンサと他のセンサとによって検出される同一の対象物の相対的な位置ずれを補正する位置ずれ補正方法を提供する。かかる位置ずれ補正方法において、第１のステップとして、一のセンサによって検出された対象物の位置と、他のセンサによって検出された対象物の位置との相対的な位置ずれを補正する複数の補正パラメータを設定する。第２のステップとして、複数の補正パラメータのそれぞれに基づき、他のセンサによって検出された対象物の位置を相対的に補正する。第３のステップとして、複数の補正パラメータ毎に、一のセンサによって検出された対象物と、他のセンサで検出されて、かつ、補正パラメータに基づいて位置が補正された対象物とが同一の対象物であるか否かの判断をする。第４のステップとして、第３のステップにおける判断結果を比較し、最も同一の対象物であると判断された補正パラメータに基づき、一のセンサと他のセンサとによって検出される同一の対象物の相対的な位置ずれをフィードバック補正するフィードバック補正パラメータを決定する。
【００２２】
ここで、第５の発明において、補正パラメータは、一のセンサの取付位置と他のセンサの取付位置との相対的なずれに基づいて設定されることが好ましい。また、この補正パラメータは、一のセンサと他のセンサとの相対的な検出位置誤差に基づいて設定されることが好ましい。さらに、この補正パラメータは、一のセンサと他のセンサとの相対的な検出時間差に基づいて設定されることが好ましい。
【００２３】
また、第５の発明において、第１のステップから第３のステップを複数回繰り返して行い、より同一の対象物であると判断された補正パラメータの回数が所定の判定値を超える補正パラメータに基づき、フィードバック補正パラメータを決定することが好ましい。あるいは、第１のステップから第３のステップを複数回繰り返して行い、より同一の対象物であると判断された補正パラメータの回数が最大となる補正パラメータに基づき、フィードバック補正パラメータを決定することが好ましい。
【００２４】
また、第５の発明において、第４のステップは、第３のステップにおける判断結果を比較する際に、位置的に所定の判定値より遠い対象物に関する判断結果のみを用いることが好ましい。
【００２５】
また、第５の発明は、複数の補正パラメータを複数のグループに分割し、分割されたグループに含まれる補正パラメータを一回の処理対象とすることが好ましい。この場合、分割されたグループは、当該グループのそれぞれで共通する補正パラメータを一つ含むことが好ましい。
【００２６】
さらに、第５の発明において、第３のステップは、第１の発明のいずれかに記載された同一対象物判断方法、または、第３の発明のいずれかに記載された同一対象物判断方法を用いることが好ましい。
【００２７】
さらに、第６の発明は、第５の発明のいずれかに記載された位置ずれ補正方法を用いて、互いに協働して対象物を検出する複数のセンサによって検出される同一の対象物の相対的な位置ずれを補正する位置ずれ補正装置を提供することである。
【００２８】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかる同一対象物判断装置のブロック構成図である。本実施形態にかかる同一対象物判断装置１は、一例として、車両前方の走行状況を監視する監視システムの一部として機能している。この監視システムは、複数のセンサを併用し、それぞれのセンサによって検出された対象物のそれぞれが同一の対象物であるか否かを判断するとともに、この判断結果と複数のセンサからの検出情報とに基づき走行状況を認識する。
【００２９】
この監視システムは、複数のセンサ（本実施形態では、２つのセンサ）のうちの一のセンサとして、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサ（以下、「第１のセンサＳ１」と称する）を有する。第１のセンサＳ１の一部として機能するステレオカメラ２は、基準位置、例えばルームミラーの近傍に取り付けられており、車両前方の景色を撮像する。このステレオカメラ２は、一対のカメラ２ａ，２ｂで構成されており、それぞれのカメラ２ａ，２ｂには、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２ｂは、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００３０】
デジタル化された一対の画像データは、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００３１】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一フレーム（一画像の表示単位）相当の画像データは、後段のステレオ画像処理部６に出力されるとともに、画像データメモリ７に格納される。この画像データメモリ７に格納された画像データは、後段の画像認識部１１によって、適宜、読み込まれ、画像認識処理において利用される。
【００３２】
ステレオ画像処理部６は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関する距離データを算出する。ここで、「距離データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロック毎に１つ算出される。
【００３３】
例えば、基準画像が２００×５１２画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２ａ，２ｂに近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００３４】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部６は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００３５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
2004037239.tif 000003
【００３６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部６のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ８に格納される。
【００３７】
図２は、ミリ波レーダの検出ビームを示す説明図である。本実施形態にかかる監視システムは、複数のセンサのうちの他のセンサとして、ミリ波レーダ９をさらに有する（以下、単に「第２のセンサＳ２」と称する場合もある）。ミリ波レーダ９は、その基準方向（基準ビームの放射方向）を車長方向と一致させて車両の基準位置（例えば、前部の略中央）に取り付けられており、複数本のミリ波のビームを前方に放射状に送信するとともに反射波を受信する。このとき、ビームの送信から受信までの時間に基づき、対象物の距離方向の相対的な位置、すなわち、同図に示すｚ方向の位置（以下、「前後位置ｚ」と称する）が特定される。また、複数本のビームのうち、反射波が受信されたビームの送信方向に基づき、対象物の角度方向の相対的な位置、すなわち、同図に示すｘ方向の位置（以下、「左右位置ｘ」と称する）が特定される。さらに、ドップラー原理に基づき、対象物のｚ方向の相対的な速度ｖｚが特定される。また、現在検出された対象物に関する左右位置ｘと、所定時間前に検出された対象物の左右位置ｘ’とに基づき、対象物のｘ方向の相対的な速度ｖｘが特定される（ｖｘ＝（ｘ−ｘ’）／所定時間）。この検出動作は、基本的に、ステレオカメラ２の撮像動作とタイミングを同期して行われ、ミリ波レーダ９によって検出された対象物（正確には、対象物を規定する位置および速度）は、マイクロコンピュータ１０に出力される。なお、第１のセンサＳ１とミリ波レーダ９（すなわち、第２のセンサＳ２）とによって検出される対象物の位置的な対応を図る上で、上述したｘ，ｚ方向は、後述する画像認識部１１によって認識される座標系と対応していることが好ましい。
【００３８】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、画像認識部１１、判断部１２および制御部１３を有する。
【００３９】
画像認識部１１は、距離データメモリ８から距離データを読み出すとともに、読み出された距離データに基づき、周知の座標変換式を用いて、対象物の実空間上の位置を算出する。自車両の位置を基準に設定された実空間の座標系は、メインカメラ２ａの中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。そして、このような座標系上で算出された対象物の位置に基づき、対象物のｚ軸方向の相対的な位置（前後位置ｚ）を特定し、また、対象物のｘ軸方向の相対的な位置（左右位置ｘ）を特定する。さらに、検出された対象物に関する位置と、所定時間前に検出された対象物の位置とに基づき、対象物に関する相対的な速度、すなわち、ｚ方向の相対的な速度ｖｚと、ｘ方向の相対的な速度ｖｘとが特定される。これらステレオ画像処理を用いた第１のセンサＳ１によって検出された対象物（正確には、対象物を規定する位置および速度）は、判断部１２に出力される。
【００４０】
判断部１２は、対象物の位置および速度に基づき、それぞれのセンサＳ１，Ｓ２で検出された対象物が同一の対象物であるか否を判断し、それぞれのセンサによって検出される同一の対象物を特定する。そして、判断部１２は、複数のセンサによって検出された対象物のそれぞれの位置および速度、さらには、複数のセンサによって検出されて同一の対象物と特定された対象物の組合わせを制御部１３に対して出力する。
【００４１】
制御部１３は、判断部１２からの出力結果を用い、複数のセンサによって検出された対象物の情報に基づき、車両前方の認識・監視を行うとともに、必要に応じて、図示しない警報装置や制御装置等の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００４２】
図３は、第１の実施形態にかかる同一対象物の判断手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１０によって実行される。まず、ステップ１において、判断部１２は、個々のセンサＳ１，Ｓ２によって検出された対象物が同一の対象物である確率として同一確率Ｐｏを算出する。本実施形態では、第１のセンサＳ１によって検出される第１の対象物Ｏ１ｉのそれぞれと、第２のセンサＳ２によって検出される第２の対象物Ｏ２ｉのそれぞれとが処理対象とされ、この検出された対象物Ｏ１ｉ，Ｏ２ｉの全ての組合わせについて同一確率Ｐｏが算出される。
【００４３】
図４は、ステップ１における同一確率算出ルーチンの詳細を示すフローチャートである。まず、ステップ１０において、第１のセンサＳ１によって検出された第１の対象物Ｏ１ｉの中から、ある一つの第１の対象物Ｏ１ｉが選択される。
【００４４】
ステップ１１において、まず、前後位置ｚにおいて、選択された第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として、同一確率Ｐｚが算出される。第２の対象物Ｏ２ｉが複数検出されている場合には、これら複数の第２の対象物Ｏ２ｉのそれぞれと、選択された第１の対象物Ｏ１ｉとを一つずつ組合わせ、この組合わせのそれぞれについて同一確率Ｐｚが算出される。なお、本明細書において、以下、この第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとの組合わせを、単に、「グループ」と称する場合もある。
【００４５】
ここで、同一確率Ｐｚの算出手法について説明する。二つのセンサＳ１，Ｓ２で対象物の前後位置ｚを計測した場合、両センサＳ１，Ｓ２によって検出される前後位置ｚ１，ｚ２は、計測誤差をそれぞれ含むため、計測する度にその値がある程度変化する。本実施形態では、計測値である前後位置ｚ１，ｚ２が正規分布に従う確率変数であるものと仮定する。この仮定のもとでは、これら前後位置ｚ１，ｚ２は、平均値ｍ１，ｍ２、標準偏差σ１，σ２の正規分布に従うこととなる。このとき、前後位置ｚ１，ｚ２の差分Δｚ＝ｚ１−ｚ２は、正規分布の再生性から、平均値ｍ１−ｍ２、標準偏差√（σ１２）＋σ２２）の正規分布となる。
【００４６】
ここで、第１および第２のセンサＳ１，Ｓ２で、ある対象物の前後位置ｚに関する計測を行ったところ、前後位置ｚ１と前後位置ｚ２との差分がΔｚ’と特定されたとする。このとき、「第１および第２のセンサＳ１，Ｓ２のそれぞれで検出された対象物は、同一の対象物である」という仮説を立て、この仮説の真偽を検定する方法を考える。
【００４７】
一対のセンサＳ１，Ｓ２が同一の対象物を検出した場合、本来ｍ１＝ｍ２となり、差分Δｚは、平均値０、標準偏差√（σ１２）＋σ２２）の正規分布に従う。図５は、統計的な仮説検定における受容領域および棄却領域の定義を示す説明図である。統計学では一般に、仮説検定に対する受容領域と棄却領域とを正規分布上に設定することで、仮説の真偽を評価する。同図に斜線で示した正規分布上の面積Ｐは、有意水準と呼ばれ、仮説が真である確率に相当する。このような誤差Δｚ（すなわち、対象物が同一であると仮定した場合、差分Δｚは、誤差に相当する）に関する正規分布において、特定された誤差Δｚ’が同図に示す受容領域に存在したとき、仮説が「真」と判定される。一方、誤差Δｚ’が棄却領域内に存在したとき、この仮説が「偽」と判定される。
【００４８】
ところで、誤差Δｚ’を得た場合、この誤差Δｚ’が「真」、すなわち、「同一の対象物である」という仮説が「真」となる最大の有意水準は、図６の斜線で示される領域に設定される。具体的には、有意水準は、この誤差Δｚ’より外側の領域、すなわち、この誤差Δｚ’以上の誤差が占める領域に設定される。このときの面積Ｐは、誤差Δｚに関する正規分布に基づき、特定された誤差Δｚ’から一義的に算出され得る。有意水準は、その面積Ｐの大きさにより、仮説が「真」である確率、換言すれば、センサＳ１，Ｓ２で検出された対象物が同一である確率の高さを示す。
【００４９】
このような正規分布に基づき、センサＳ１，Ｓ２で検出された対象物の前後位置ｚ１，ｚ２の誤差Δｚ’から、この誤差Δｚ’が「真」となる最大の有意水準を求めることは、これら対象物が同一の対象物である確率を求めることと等価である。例えば、Δｚ’が小さければ、有意水準の面積Ｐは大きくなり、それにともない同一確率Ｐｚも高くなる。このとき、両センサＳ１，Ｓ２によって特定された対象物の前後位置ｚ１，ｚ２は近似しており、検出された対象物が同一の対象物である可能性、すなわち、同一確率Ｐｚが高いことと一致している。
【００５０】
このような前提のもと同一確率Ｐｚは、以下に示す数式２に基づき算出される。
【数２】
2004037239.tif 000004
ここで、σｚ１は第１のセンサＳ１の距離ｚ１の標準偏差、σｚ２は第２のセンサＳ２の距離ｚ２の標準偏差、および、Δｚは第１のセンサＳ１および第２のセンサＳ２での距離ｚの差である。なお、両標準偏差σｚ１，σｚ２は適宜適当な値としてに設定可能である。
【００５１】
この数式の意味するところは、センサＳ１，Ｓ２のそれぞれが同一の対象物を検出した際の前後位置ｚの誤差Δｚに関する正規分布に基づき、特定された前後位置の誤差Δｚ’から、検出された対象物Ｏ１，Ｏ２のそれぞれが前後位置ｚにおいて同一の対象物である確率を算出することである。
【００５２】
そして、ステップ１２において、次に、左右位置ｘにおいて、選択された第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として同一確率Ｐｘがグループ毎に算出される。この同一確率Ｐｘは、ステップ１１と同様、センサＳ１，Ｓ２が同一の対象物をそれぞれ検出した際の左右位置ｘの誤差Δｘに関する正規分布に基づき、第１および第２の対象物Ｏ１ｉ，Ｏ２ｉの左右位置ｘ１，ｘ２の誤差Δｘ’から、一義的に算出される。このステップ１１およびステップ１２の処理により、検出された第１および第２の対象物Ｏ１ｉ，Ｏ２ｉが位置的に同一の対象物である確率として同一確率Ｐｚ，Ｐｘが算出される。
【００５３】
つぎに、ｚ方向の速度ｖｚにおいて、選択された第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として同一確率Ｐｖｚがグループ毎に算出される（ステップ１３）。また、ｘ方向の速度ｖｘにおいて、選択された第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として同一確率Ｐｖｘがグループ毎に算出される（ステップ１４）。すなわち、これらの処理では、検出された対象物のそれぞれが速度的に同一の対象物である確率として同一確率Ｐｖｚ，Ｐｖｘが算出される。
【００５４】
ステップ１４に続くステップ１５において、位置に関する同一確率Ｐｚ，Ｐｘと、速度に関する同一確率Ｐｖｚ，Ｐｖｘとに基づき、第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として同一確率Ｐｏが算出される。この同一確率Ｐｏは、以下に示す数式３に基づき一義的に算出される。本ステップ１５では、この同一確率Ｐｏがグループ毎に算出されることとなる。
【数３】
2004037239.tif 000005
【００５５】
この数式３から理解されるように、同一確率Ｐｏは、ステップ１１〜ステップ１４で求められた位置および速度に関する同一確率Ｐｚ，Ｐｘ，ＰｖｚおよびＰｖｘの積である。したがって、同一確率Ｐｏは、第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとが同一の対象物である確率として、両者が位置的に同一であることの確率のみならず、速度的にも同一であることの確率までもが含まれている。また、同一確率Ｐｏは、ある値として定量的に求められている。したがって、この算出された同一確率Ｐｏは、それぞれのセンサＳ１，Ｓ２によって検出された対象物が同一の対象物であるか否かの判断を、位置と速度とで総合的に行うことを可能にしている。例えば、位置的に近似するものの、相対速度が大きく異なる対象物同士（或いは、速度的には近似するものの、位置が大きく異なる対象物同士）は、同一確率Ｐｏとして定量的に反映されるので、明確に区別される。
【００５６】
そして、ステップ１６において、第１のセンサＳ１によって検出された第１の対象物Ｏ１ｉのうち、全ての第１の対象物Ｏ１ｉが選択されたか否かが判断される。この判断で肯定された場合、すなわち、検出された全ての第１の対象物Ｏｉ１が選択された場合には、本ルーチンを抜ける。一方、この判断で否定された場合、すなわち、まだ選択されていない第１の対象物Ｏ１ｉがある場合には、選択されていない第１の対象物Ｏｉ１を選択対象として、上述の処理を繰り返し実行する。
【００５７】
次に、図３に示したステップ２において、あるセンサによって検出された対象物を基準とするべく、ステレオ画像処理側の第１のセンサＳ１によって検出された第１の対象物Ｏ１ｉのそれぞれを特定する変数ｉとして、１がセットされる。例えば、画像平面上に写し出された第１の対象物Ｏ１ｉのそれぞれについて、左側から順番に１から昇順のラベル付けを行ったのなら、本ステップ２では、画像平面上で一番左側に写し出されている第１の対象物Ｏ１ｉが特定される。
【００５８】
ステップ３において、第１のセンサＳ１によって検出された第１の対象物Ｏｉ１の総数が、変数ｉ以上であるか否かが判断される。この判断で肯定された場合、次のステップ４に進む。
【００５９】
ステップ３に続くステップ４において、基準の対象物、すなわち、ｉ番目の第１の対象物Ｏｉ１を含むグループに関して算出された同一確率Ｐｏのなかで、その値が最大となるグループが特定される。上述したように、第１の対象物Ｏ１ｉと第２の対象物Ｏ２ｉとに関する同一確率Ｐｏは、検出された第１および第２の対象物Ｏ１ｉ，Ｏ２ｉの全ての組合わせについて求められている。そこで、この処理では、ｉ番目の第１の対象物Ｏ１ｉについて、同一確率Ｐｏが最大となる組合わせの第２の対象物Ｏ２ｉが特定される。
【００６０】
そして、ステップ５において、特定されたグループに関して算出された同一確率Ｐｏが、所定の判定値Ｐｔｈを超えるか否かが判断される。この所定の判定値Ｐｔｈは、センサＳ１，Ｓ２によって検出される対象物のそれぞれが、位置的および速度的にも同一の対象物であると見なせる程度の値（確率値）として決定されている。この結果、このステップ５で肯定判定された場合、特定されたグループは、位置的および速度的にも同一である確率が高いと判断され、このグループを構成する第１および第２の対象物Ｏ１ｉ，Ｏ２ｉが同一の対象物として決定される（ステップ６）。一方、このステップ５で否定判定された場合、特定されたグループは、位置的および速度的、或いは、位置的または速度的に同一である確率が低いと判断される。そして、このグループを構成する第１および第２の対象物Ｏ１ｉ，Ｏ２ｉのそれぞれが異なる対象物として決定される（ステップ７）。
【００６１】
そして、ステップ６またはステップ７に続くステップ８において、変数ｉとして、ｉ＋１がセットされ、第１のセンサＳ１によって検出された第１の対象物Ｏ１ｉ個数分、上述した処理が繰り返し実行される。これにより、第１および第２の対象物Ｏ１ｉ，Ｏ２ｉの全ての組合わせについて、同一対象物であるか否かの判断が行われる。
【００６２】
一方、上述したステップ３で否定判定された場合には、本ルーチンを抜ける。このとき、判断部１２は、第１のセンサＳ１によって検出された第１の対象物Ｏ１ｉのそれぞれについての位置および速度を制御部１３に対して出力する。また、第２のセンサＳ２によって検出された第２の対象物Ｏ２ｉのそれぞれについての位置および速度が制御部１３に対して出力される。さらに、判断部１２は、第１および第２のセンサＳ１，Ｓ２によって検出されて同一の対象物であると判断されたグループを、そのグループに関する同一確率Ｐｏとともに出力する。そして、制御部１３は、この出力結果を用いて、それぞれのセンサＳ１，Ｓ２によって検出された同一の対象物、さらにはいずれか一方のセンサＳ１（或いは、センサＳ２）のみによって検出された対象物の情報に基づき、車両前方の認識・監視を行う。
【００６３】
以上説明したように、第１の実施形態では、それぞれのセンサによって検出された対象物について、位置と速度との両者を用い、同一の対象物であるか否かを判断している。これにより、位置または速度のどちらか一方の要素が近似するような場合であっても、他方の要素がさらに考慮されるので、検出された対象物が同一の対象物であるか否かを正確に判断することができる。また、第１の実施形態では、一方のセンサによって検出される対象物と、他方のセンサによって検出される対象物との一致度合いを同一確率として定量的に評価することができる。また、測定値の誤差に関する正規分布上で同一確率が算出されるため、この正規分布に関する標準偏差を任意に変更することで、判断の妥当性を適宜に変更することもできる。さらに、それぞれのセンサによって検出される同一対象物を正確に把握することができるので、個々のセンサのみによって検出される対象物をも正確に把握することができる。これにより、監視システムとして単に複数のセンサを併用した場合と比べ、第１の実施形態では、一層の認識精度の向上を図ることができる。
【００６４】
なお、第１の実施形態では、一方のセンサによって検出された対象物を基準とし、この基準の対象物を含むグループのそれぞれにおいて、同一確率Ｐｏが最大となるグループを特定し（ステップ４）、以降の処理を行っている。しかしながら、この基準の対象物を含むグループのそれぞれにおいて、２つ以上のグループで同一確率Ｐｏが所定の判定値Ｐｔｈ以上となることも考えられる。例えば、レーザレーダのように、車両のリフレクタを検出する関係上一つの対象物に対して二つの検出結果を持つ場合には、このようなことが起こり得る。したがって、同一確率Ｐｏが最大となるグループを特定しただけでは、対象物を含むグループに漏れが生じる可能性がある。
【００６５】
ここで、所定の判定値Ｐｔｈを超えるグループが２つ存在したと仮定して、このグループをそれぞれ第１および第２のグループと名付ける。このとき、判断部１２は、以下に示す処理を行うことが好ましい。具体的には、第１のグループに関して算出された同一確率Ｐｏと、第２のグループに関して算出された同一確率Ｐｏとのそれぞれを、所定の判定値Ｐｔｈより大きな判定値Ｐｔｈ’と比較する。そして、第１および第２のグループに関して算出された同一確率Ｐｏのそれぞれが判定値Ｐｔｈ’を越える場合に、第１のグループと第２のグループとを構成する対象物のそれぞれを同一の対象物であると判断する。一方、第１のグループに関して算出された同一確率Ｐｏ、または、第２のグループに関して算出された同一確率Ｐｏのどちらか一方のみ、或いは、いずれもが判定値Ｐｔｈ’を越えない場合もある。この場合には、この判定値Ｐｔｈ’を越えた同一確率Ｐｏとなるグループを構成する対象物のそれぞれを同一の対象物であると判断するとよい。このような処理を行うことで、同一対象物をさらに有効に判断することができる。
【００６６】
また、第１の実施形態では、センサとして、ステレオ画像処理を用いて一対の撮像画像に基づき対象物を検出するセンサと、ミリ波レーダ９とを用いている。しかしながら、本実施形態では、これらのセンサのいずれかと置換して、例えば、レーザレーダなどのセンサを使用することもできる。なお、レーザレーダは、その特性として、対象物の位置を検出可能であるものの、速度は検出不可能である。しかしながら、上述した第１のセンサＳ１と同様、検出された対象物に関する位置と、所定時間前に検出された対象物の位置とに基づき、対象物に関する相対的な速度を特定することができる。このように、本発明では、対象物の位置を特定するのみならず、所定時間前に検出された対象物の位置に基づき相対的な速度を特定することも、センサの一機能として含むものとして理解されたい。
【００６７】
また、第１の実施形態では、センサを２種類併用する構成であるが、３つ以上のセンサを併用することもできる。３つ以上のセンサを併用する構成であっても、上述した実施形態と同様な手順で、これらのセンサから検出された対象物が同一の対象物であるか否かを判断することができる。例えば、３つ以上のセンサによって検出された対象物に関して算出された同一確率Ｐｏが、所定の判定値Ｐｔｈ以上の場合には、これらのセンサによって検出された対象物のそれぞれを同一の対象物とみなすといった如くである。
【００６８】
このように複数のセンサを用いる構成では、これら複数のセンサを構成する個々のセンサのうち、少なくとも一つのセンサが複数の対象物を検出する場合もある。このような場合には、図３および図４に示したルーチンのように、複数のセンサのそれぞれによって検出された対象物の全て（或いは、任意）の組合わせについて、同一対象物であるか否かの判断を行うことが好ましい。
【００６９】
具体的には、検出された対象物のそれぞれの中からセンサ毎に対象物を一つ選択することにより、異なる組合わせでグループが構成される。そして、このグループのそれぞれを処理対象として、位置的な同一確率Ｐｚ，Ｐｘと、速度的な同一確率Ｐｖｚ，Ｐｖｘとが算出される。そして、算出された位置的な同一確率Ｐｚ，Ｐｘと、速度的な同一確率Ｐｖｚ，Ｐｖｘとに基づき、グループを構成する対象物のそれぞれが同一の対象物である確率として同一確率Ｐｏがグループ毎に算出される。つぎに、複数のセンサのうち、あるセンサによって検出された対象物を基準として、この基準の対象物を含むグループに関して算出された同一確率Ｐｏが最大となるグループが特定される。そして、特定されたグループに関して算出された同一確率Ｐｏが所定の判定値Ｐｔｈを越えた場合に、特定されたグループを構成する対象物のそれぞれが同一の対象物であると判断される。このように、それぞれのセンサで検出された対象物の全て（或いは、任意）の組合わせについて同一の対象物であるかの判断を行うことは、同一対象物の判断を正確に行ううえで好ましい。
【００７０】
また、３つ以上のセンサを用いる構成では、判断部１２に以下に示す機能を含めてもよい。具体的には、判断部１２は、特定された同一確率Ｐｏが、所定の判定値Ｐｔｈより小さい場合には、検出された対象物の中から任意の組合わせで対象物を抽出する。これにより、３つ以上のセンサのそれぞれで検出された対象物のうち、例えば、２つのセンサによって検出された対象物が２つ抽出される。そして、この抽出された対象物のそれぞれを処理対象として、同一確率Ｐｏが算出される。このとき、算出された同一確率Ｐｏが、所定の判定値Ｐｔｈを越えた場合に、抽出された対象物のそれぞれを同一の対象物として判断する。このような機能により、３つ以上のセンサのうち、大多数のセンサによって検出される対象物を同一の対象物と見なしてもよい（すなわち、全てのセンサによって検出される必要はない）。
【００７１】
また、このように３つ以上のセンサを併用する場合には、状況に応じてセンサを使い分けることも考えられる。例えば、濃霧の場合は、レーザレーダの検出精度が通常の状態と比べると低下することがあるので、レーザレーダからの検出情報を棄却するといった如くである。また、分解能を優先させる場合には、ミリ波レーダの情報を棄却するといった如くである。このように、特性のよいセンサをのみを状況によって使い分けることにより、より有効に対象物を検出することができる。
【００７２】
また、第１の実施形態に示す同一対象物の判断手法において、前回までの処理で取り扱われた情報、すなわち、履歴情報を利用することもできる。この履歴情報を同一対象物判断に活用することにより、同一対象物判断をより正確に行うことができる。この処理を行う前提として、幾つかの情報を履歴情報として保持している必要がある。この履歴情報としては、例えば、以下に示す３つが挙げられる。
（１）あるセンサによって検出された対象物が、前回の処理において、他のセンサによって検出された対象物のどれと同一と判断されたかを示す履歴情報
（２）あるセンサによって検出された対象物が、前回までの処理において、他のセンサによって検出された対象物と何回連続して同一と判断されたかを示す履歴情報
（３）あるセンサによって検出された対象物と、他のセンサによって検出された対象物との同一確率Ｐｏを示す履歴情報
【００７３】
これらの情報を用いて、同一対象物を判断する処理は、以下に示す通りである。まず、一例としては、上述した同一対象物判断の手法に加えて、上記（１）の情報を用いて、前回の処理でも同一対象物と判定されていたグループの同一確率Ｐｏを、所定の確率分だけ高めるような補正を行うことである。さらに、この（１）の情報を用いた手法に、さらに上記（２）の情報を用いて、連続して同一と判断された回数に応じて、同一対象物と判定されていたグループの同一確率Ｐｏを、さらに所定の確率分だけ高めるような補正を行ってもよい。また、別の一例としては、上述した同一対象物判断の手法に加えて、上記（３）の情報を用いて、前回の処理で算出された同一確率Ｐｏに基づき、今回の算出された同一確率Ｐｏのデータの補正、例えば、平滑化を行うことである。このように、履歴情報を用いて、前回までの処理で同一対象物と判断されているグループの同一確率を高めることにより、同一対象物の判断精度をより高めることができる。また、このように履歴情報を用いることで、一時的な誤差が生じた場合であっても同一対象物の判断に誤りを生じる可能性を低減することができる。
【００７４】
なお、本実施形態では、センサによって検出された対象物が同一である確率Ｐｏを算出し、同一の対象物であるか否かを定量的に判断したが、位置情報と速度情報を判断要素として用いる手法であれば、これに限定されるものではない。その他の手法の一例としては、以下に示す手法が挙げられる。まず、検出された対象物のそれぞれについて、対象物の相対的な位置と、対象物の相対的な速度とが特定される。そして、特定された位置に基づき、検出された対象物の位置の誤差を特定し、特定された位置の誤差と第１の判定値とが比較される。このとき、さらに、特定された速度に基づき、検出された対象物の速度の誤差を特定し、特定された速度の誤差と第２の判定値とが比較される。これにより、検出された対象物のうち同一の対象物であるものと、同一の対象物でないものとの切り分けが行われる。例えば、特定された位置の誤差が第１の判定値より小さく、かつ、特定された速度の誤差が第２の判定値より小さい場合に、検出された対象物のそれぞれを同一の対象物であると判断するといった如くである。このような手法であっても、位置的に一致するもの、更には、速度的に一致することを条件とすることでで、同一の対象物を有効に検出することができる。例えば、図７に示すように、自車両の前方を走行する先行車と、この先行車とすれ違う対向車とを、正確に切り分けて認識することができる。
【００７５】
（第２の実施形態）
図８は、第２の実施形態にかかる位置ずれ補正装置のブロック構成図である。本実施形態にかかる位置ずれ補正装置１ａは、一例として、車両前方の走行状況を監視する監視システムの一部として機能している。この監視システムは、複数のセンサを用いて、これらのセンサが互いに協働することにより対象物を検出し、この検出情報に基づき走行状況を認識する。さらに、この監視システムは、この位置ずれ補正装置１ａの機能として、一のセンサと他のセンサとによって検出される同一対象物の位置ずれを補正する。なお、第２の実施形態において、上述した第１の実施形態で説明した構成要素と同じの要素については、同一の符号を付し、その詳細な説明は省略する。
【００７６】
第２の実施形態が第１の実施形態と相違する点は、それぞれのセンサによって検出される同一の対象物の位置ずれを補正することである。このような位置ずれの要因としては、例えば、センサの取付誤差が考えられる。通常、監視システムに用いられるセンサは、検出された対象物の位置的な対応を図るため、予め決められた基準位置にそれぞれ精度よく取付けられている。ところが、これらのセンサを使用していると、例えば経時的な変化に伴い、これらセンサの取付状態が本来あるべき状態とは異なる状態、すなわち、基準位置からずれた状態となってしまう場合がある。このような基準位置からのずれの一例としては、ステレオカメラ２の撮像方向、或いは、ミリ波レーダ９の基準ビームの射出方向の車長方向からのずれ、または、それぞれのセンサの前後方向或いは左右方向の位置的なずれが挙げられる。このような状態で同一の対象物をそれぞれのセンサが検出したとしても、これらのずれに起因して、センサで検出される対象物の位置に相対的なずれ、すなわち、位置ずれが生じる。この結果、検出された対象物が、異なる対象物であると判断されてしまう可能性がある。検出精度を上げるべく複数のセンサを用いるのにも拘わらず、このような現象が起こることは好ましくない。
【００７７】
そこで、第２の実施形態では、この位置ずれを補正するべく、第１の実施形態の構成要素に加え、マイクロコンピュータ１０の機能的な要素として、補正量算出部１４と、補正部１５とをさらに有する。なお、以下の説明において、それぞれのセンサによって検出される同一の対象物の位置ずれは、それぞれのセンサの角度方向の相対的なずれθｔに起因しているものと仮定して説明する。
【００７８】
補正量算出部１４は、ステレオ画像処理側の第１のセンサＳ１と、ミリ波レーダ９である第２のセンサＳ２とによって検出される同一の対象物の相対的な位置ずれを補正する補正パラメータδを設定する。本実施形態では、補正量算出部１４は、例示的に、第１の補正パラメータδ１と、第２の補正パラメータδ２との２つの補正パラメータδを設定する。同一対象物の位置ずれが、センサの角度方向の相対的なずれに起因すると仮定した場合、この補正パラメータδは、検出された対象物の位置をずれθ分だけ相対的に回転させるような補正を可能とする。設定された補正パラメータδは、補正部１５に対して出力さる。この補正部１５は、この補正パラメータδに基づき、センサによって検出された対象物の位置を相対的に補正する。本実施形態では、図８に示すように、補正部１５は、第２のセンサＳ２によって検出された対象物について、この補正を行う。これにより、補正された第２の対象物Ｏ２ｉのそれぞれに関する位置情報は、この第２のセンサＳ２が現在の取付状態よりもある角度θだけ相対的にずれた状態で対象物を検出した際の位置情報と等価となる。
【００７９】
補正パラメータδに基づき、その位置が相対的に補正された対象物の位置情報および速度情報は、判断部１２に対して出力される。そして、判断部１２は、それぞれのセンサＳ１，Ｓ２で検出された対象物が同一の対象物であるか否を判断する。補正量算出部１４は、判断部１２の判断結果を比較し、より同一の対象物であると判断された補正パラメータδを特定する。そして、この特定された補正パラメータδに基づき、それぞれのセンサによって検出される対象物の相対的な位置ずれをフィードバック補正するフィードバック補正パラメータδａｍが決定される。決定されたフィードバック補正パラメータδａｍは、補正部１５に対して出力され、第２のセンサから検出された対象物の位置は、常に、フィードバック補正パラメータδａｍ相当の補正がなされる。
【００８０】
図９は、第２の実施形態にかかる位置ずれ補正手順を示したフローチャートである。まず、ステップ１００において、補正量算出部１４は、第１のセンサＳ１によって検出された対象物の位置と、第２のセンサＳ２とによって検出された対象物の位置との相対的な位置ずれを補正する第１の補正パラメータδ１を設定する。そして、補正部１５は、第２のセンサＳ２によって検出された第２の対象物Ｏ２ｉのそれぞれを処理対象として、設定された第１の補正パラメータδ１に基づき、第２の対象物Ｏ２ｉの位置を補正する（ステップ１１０）。
【００８１】
ステップ１２０において、判断部１２は、第１の対象物Ｏ１ｉのそれぞれと、第１の補正パラメータδ１に基づいてその位置が補正された第２の対象物Ｏ１ｉのそれぞれとを処理対象として、同一の対象物を判断する。判断部１２は、第１の実施形態と同様、それぞれ検出された対象物が同一の対象物であると判断された場合には、この同一と認められた対象物の組合わせを特定するとともに、この組合わせが同一の対象物である確率として同一確率Ｐｏを定量的に算出する。
【００８２】
ステップ１３０において、補正量算出部１４は、第１のセンサＳ１によって検出された対象物の位置と、第２のセンサＳ２によって検出された対象物の位置との相対的な位置ずれを補正する第２の補正パラメータδ１（≠第１の補正パラメータδ１）を設定する。そして、補正部１５は、第２のセンサＳ２によって検出された第２の対象物Ｏ２ｉのそれぞれを処理対象として、設定された第２の補正パラメータδ２に基づき、第２の対象物Ｏ２ｉの位置を補正する（ステップ１４０）。
【００８３】
ステップ１５０において、判断部１２は、第１の対象物Ｏ１ｉのそれぞれと、第２の補正パラメータδ２に基づいてその位置が補正された第２の対象物Ｏ２ｉのそれぞれとを処理対象として、同一の対象物を判断する。判断部１２は、ステップ１２０と同様、それぞれ検出された対象物が同一の対象物である場合には、この同一と認められた対象物の組合わせを特定するとともに、この組合わせが同一の対象物である確率として同一確率Ｐｏを定量的に算出する。
【００８４】
ステップ１６０において、補正量算出部１４は、第１の補正パラメータδ１または第２の補正パラメータδ２のどちらが妥当な補正パラメータδであるかを判断する。具体的には、第１の補正パラメータδ１で相対的な位置が補正された場合の同一確率Ｐｏと、第２の補正パラメータδ２で相対的な位置が補正された場合の同一確率Ｐｏとを比較する。例えば、これらの比較手法としては、算出された同一確率Ｐｏのそれぞれに関する平均値または総和を補正パラメータδ１，δ２毎に求め、この平均値または総和を用いて、それぞれの同一確率Ｐｏを比較するといった如くである。この比較に基づき、より同一確率Ｐｏが高いと判断された、すなわち、より同一の対象物であると判断された補正パラメータδ１，δ２のどちらかを、妥当な補正パラメータδとして特定する。
【００８５】
ステップ１７０において、この特定された補正パラメータδに基づき、それぞれのセンサによって検出される同一対象物の相対的な位置ずれをフィードバック補正するフィードバック補正パラメータδａｍが決定される。なお、本実施形態では、制御の安定性を図るため、この特定された補正パラメータδをそのままフィードバック補正パラメータδａｍとして用いるのではなく、以下に示す処理を行う。具体的には、まず、フィードバック補正パラメータδａｍの現在値と、ステップ１６０において特定された補正パラメータδの値との差が、ずれ量Δδとして算出される。そして、このずれ量Δδに比例定数（０＜ｋ＜１）を乗じた値を、フィードバック補正パラメータδａｍの現在値に加算することで、フィードバック補正パラメータδａｍの値を更新する。そして、更新されたフィードバック補正パラメータδａｍが補正部１５に対して出力され、本フローチャートに示したルーチンの実行が終了する。
【００８６】
以上説明したように、第２の実施形態によれば、補正パラメータδを設定し、対象物の同一の度合いにより、この補正パラメータδが妥当なものであるか否かを判断している。すなわち、実際起こっているであろう位置ずれを補正する補正パラメータδを仮定的に設定し、この補正パラメータδの有効性を、同一対象物の一致具合（すなわち、同一確率Ｐｏ）を求めることにより評価している。これにより、妥当と判断された補正パラメータδを用いて検出される対象物の位置を補正することで、複数のセンサによって検出される同一対象物の位置ずれを有効に補正することができる。また、補正パラメータδは適宜設定することができるので、ずれ量が大きく異なり両者が同一であると認められないような状況であっても、位置ずれを有効に補正することができる。
【００８７】
なお、図１０に示すように、対象物とセンサとが位置的に近い場合には（同図（ａ）参照）、対象物とセンサとが位置的に遠い場合と比べて（同図（ｂ）参照）、それぞれの検出位置の違いにより、位置的なずれが大きく反映されてしまう。これにより、検出された対象物の位置には、取付角度誤差以上の誤差が含まれてしまう可能性がある。そこで、本実施形態では、ステップ１２０および１５０における判断結果を比較する際に、位置的に所定の判定値より遠い対象物に関する判断結果のみを用いることが好ましい。これにより、誤差の少ない同一確率Ｐｏのみを用いて処理が行われるので、位置ずれを正確に補正することができる。
【００８８】
なお、第１のセンサＳ１と第２のセンサＳ２との相対的なずれは角度方向のずれに限定されるものではなく、前後、あるいは、左右方向のずれとして仮定して上述の処理を行ってもよい。
【００８９】
また、第２の実施形態では、検出された対象物の位置ずれを、センサの取付誤差に起因するものとして説明をおこなったが、本発明はこれに限定されるものではない。例えば、センサの測距精度の誤差に起因した同一対象物の相対的な位置ずれについても、同様の手法により、これらの誤差を補正可能である。たえば、上述した補正量算出部１４が、あるセンサと他のセンサとの相対的な検出位置誤差に基づき、補正パラメータδを設定することで、検出誤差に起因する位置ずれを補正することができる。
【００９０】
また、第２の実施形態では、補正パラメータδを２つ設定し、この中から妥当と判断された補正パラメータδを、フィードバック補正パラメータδａｍとして決定したが、はじめに設定する補正パラメータδの個数は２つ以上であってもよい。
【００９１】
このように２つ以上の補正パラメータδを設定した場合、妥当な補正パラメータを決定するためには、これらの補正パラメータδの全てを処理対象として同一対象物の判断を行い、この判断結果を評価する必要がある。しかしながら、このような処理は、処理負荷が大きくなるとともに、処理時間が長くなる可能性がある。そこで、このように２つ以上の補正パラメータを設定する場合には、この補正パラメータδを幾つかのグループに分類し、１回の処理では、１つのグループに該当する補正パラメータδのみについて、上述した処理を行うことが好ましい。これにより、一回の処理で行われる同一対象物の判断などの処理時間を短縮することができる。そして、グループ毎に選択された補正パラメータδをさらに比較することで、これらの中から妥当な補正パラメータδを決定することができる。なお、このような場合には、基準となる補正パラメータδをグループのそれぞれに含ませておくことが好ましい。
【００９２】
なお、異なるグループ間での補正パラメータδを比較する手法としては、各グループにおいて共通な評価量を用いることが挙げられる。例えば、この評価量としては、各グループで代表される同一確率Ｐｏの平均値（または総和）を、基準補正パラメータδに基づいた同一確率Ｐｏで割った値を用いるといった如くである。
【００９３】
また、上述した実施形態では、センサによる一回の検出結果に基づき、補正パラメータδを決定したが、補正パラメータδの妥当性を高めるためには、上述した処理を複数回繰り返し行い、補正パラメータδを決定することが好ましい。例えば、このような手法としては、最も妥当と判断された補正パラメータδの回数が所定の判定値を超える補正パラメータδを信頼する、または、最も妥当と判断された回数が最大となる補正パラメータδを信頼するといった如くである。これにより、補正パラメータδを精度よく算出することができる。
【００９４】
また、同一対象物の判断手法は、上述した同一確率Ｐｏを求める手法に限定されない。第１の実施形態で述べたように、位置情報と速度情報との誤差に基づき、同一対象物であるか否の判断を行ってもよい。ただし、本実施形態のように同一確率を定量的に評価できる手法は、比較処理を簡単に行うことができるので好ましい。
【００９５】
（第３の実施形態）
第３の実施形態が第２の実施形態と相違する点は、センサの計測時間差に起因する対象物の位置ずれを補正することにある。例えば、複数のセンサを使用する場合、基本的に、それぞれの検出タイミングは一致している。しかしながら、これらの検出タイミングがずれた場合、特に自車両が旋回している状態では、このタイミングのずれにより、それぞれのセンサが検出する対象物の相対的な位置が異なってしまう。このような状態で同一の対象物をそれぞれのセンサが検出したとしても、これらの位置ずれにより、それぞれのセンサで検出した同一の対象物を、異なる対象物であると判断してしまう可能性がある。
【００９６】
そこで、第３の実施形態では、これらの計測時間差に起因する誤差を補正するべく、第２の実施形態の構成要素に加えて、ヨーレートセンサをさらに有する。例えば、ステレオ画像処理では、画像の読み出しや画像処理に要する時間分だけ、必ずデータに遅れが生じる。上述したように、ステレオ画像処理側の第１のセンサＳ１と、ミリ波レーダ９である第２のセンサＳ２とを併用する場合、ミリ波レーダ９の処理時間に対するステレオ画像処理の処理時間のずれΔｔをデータとして持っておくことが好ましい。これにより、ヨーレート×Δｔだけ、データを回転させることによりこれ補正することができる。
【００９７】
このような同一対象物の相対的な位置ずれについても、第２の実施形態と同様の手法により、これらの誤差を補正可能である。例えば、上述した補正量算出部１４で、あるセンサと他のセンサとの相対的な検出時間差Δｔに基づき、ヨーレート×Δｔだけデータを回転させるべく、補正パラメータδを設定するといった如くである。このような手法であっても、上述した第２の実施形態と同様、同一の対象物の位置ずれを効果的に補正することができる。
【００９８】
【発明の効果】
このように、本発明によれば、複数のセンサによって検出された対象物について、位置情報と速度情報との両者を用い、同一の対象物であるか否かを判断している。これにより、位置情報または速度情報のどちらか一方の情報が近似する場合であっても、他方の情報がさらに考慮されるので、検出された対象物が同一の対象物であるか否かを正確に判断することができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかる同一対象物判断装置のブロック構成図
【図２】ミリ波レーダの検出ビームを示す説明図
【図３】第１の実施形態にかかる同一対象物の判断手順を示したフローチャート
【図４】同一確率算出ルーチンの詳細を示すフローチャート
【図５】統計的な仮説検定における受容領域および棄却領域の定義を示す説明図
【図６】誤差が「真」となる最大の有意水準を示す説明図
【図７】対象物の切り分けを示す説明図
【図８】第２の実施形態にかかる位置ずれ補正装置のブロック構成図
【図９】第２の実施形態にかかる位置ずれ補正手順を示したフローチャート
【図１０】対象物の位置と誤差との関係を示す説明図
【符号の説明】
１　　　　同一対象物判断装置
１ａ　　　位置ずれ補正装置
２　　　　ステレオカメラ
２ａ　　　メインカメラ
２ｂ　　　サブカメラ
３　　　　Ａ／Ｄコンバータ
４　　　　Ａ／Ｄコンバータ
５　　　　画像補正部
６　　　　ステレオ画像処理部
７　　　　画像データメモリ
８　　　　距離データメモリ
９　　　　ミリ波レーダ
１０　　　　マイクロコンピュータ
１１　　　　画像認識部
１２　　　　判断部
１３　　　　制御部
１４　　　　補正量算出部
１５　　　　補正部
【図１】
2004037239.tif 000006
【図２】
2004037239.tif 000007
【図３】
2004037239.tif 000008
【図４】
2004037239.tif 000009
【図５】
2004037239.tif 000010
【図６】
2004037239.tif 000011
【図７】
2004037239.tif 000012
【図８】
2004037239.tif 000013
【図９】
2004037239.tif 000014
【図１０】
2004037239.tif 000015