(57)【要約】【課題】画像から特定可能な距離の二次元的な分布である距離画像データと、距離測定により算出される距離の二次元的な分布である距離測定データとを統合することで、認識精度の向上を図る。【解決手段】ステレオ画像処理部７は、一対の画像データに基づいて、距離画像データを出力する。また、レーザレーダ１０は、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部１２は、距離画像データを複数の区分に分割し、区分内に存在する視差群に基づいて距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。さらに、データ補正部１３は、距離測定データ上の所定位置における距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第１の距離に補正される。【選択図】　図１
2004028727.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定するとともに、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を前記第１の距離に補正するデータ補正部とを有し、
前記認識部は、前記データ補正部によって補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。
【請求項２】
監視領域内の状況を監視する監視システムにおいて、
前記監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定し、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定するデータ補正部とを有し、
前記認識部は、補正された前記距離算出データに基づき、前記監視領域内の立体物を認識することを特徴とする監視システム。
【請求項３】
前記データ補正部は、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第１の距離として決定することを特徴とする請求項２に記載された監視システム。
【請求項４】
前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする請求項３に記載された監視システム。
【請求項５】
前記データ補正部は、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定することを特徴とする請求項３に記載された監視システム。
【請求項６】
監視システムの距離補正装置において、
監視領域を含む景色を撮像し、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステレオ画像処理部と、
前記監視領域内の距離を測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するレーザレーダと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する認識部と、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定し、前記距離算出データにおいて前記立体物までの距離を示す前記区分を特定することにより、当該特定された区分に関して算出された距離を第２の距離として特定するとともに、前記第１の距離と前記第２の距離とに基づき前記パラメータを算出する視差補正部と
を有することを特徴とする監視システムの距離補正装置。
【請求項７】
監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を、前記第１の距離に補正する第４のステップと、
前記第４のステップにおいて補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第５のステップと
を有することを特徴とする監視方法。
【請求項８】
監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と当該画像データにより規定される画像平面上の位置とが対応付けられた距離画像データと、レーザレーダにより前記監視領域内の距離が測定されて距離の二次元的な分布として算出される距離測定データとを用いて監視領域内の状況を監視する監視方法において、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群に基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出する第１のステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定する第２のステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定する第３のステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定する第４のステップと、
前記第１の距離と前記第２の距離とを比較することにより、前記特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する第５のステップと、
補正された前記距離算出データに基づき、前記監視領域内の立体物を認識する第６のステップと
を有することを特徴とする監視方法。
【請求項９】
前記第２のステップは、前記距離測定データ上の所定位置において、前記立体物までの距離に相当する測定値があると判断した場合には、当該測定値を前記第１の距離として決定するステップを有することを特徴とする請求項８に記載された監視方法。
【請求項１０】
前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定するステップを有することを特徴とする請求項９に記載された監視方法。
【請求項１１】
前記第５のステップは、前記第１の距離と前記第２の距離との差が所定のしきい値以内である場合には、前記第１の距離と前記第２の距離との平均値を前記第３の距離として決定し、前記第１の距離と前記第２の距離との差が所定のしきい値より大きい場合には、前記第２の距離を前記第３の距離として決定するステップを有することを特徴とする請求項９に記載された監視方法。
【請求項１２】
監視システムの距離補正方法において、
監視領域を含む景色を撮像し、一対の画像データを出力するステップと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、当該画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力するステップと、
前記監視領域内の距離をレーザレーダで測定するとともに、当該監視領域内の距離の二次元的な分布を距離測定データとして出力するステップと、
前記距離画像データにより規定される二次元平面を複数の区分に分割し、当該区分内に存在する視差群と、距離補正値としてのパラメータとに基づいて前記監視領域内の距離を算出するとともに、前記分割された区分のそれぞれと前記算出された距離とが対応付けられた距離算出データを算出するステップと、
前記距離測定データ上の所定位置における前記監視領域内の立体物までの距離を第１の距離として特定するステップと、
前記距離算出データにおいて、前記立体物までの距離を示す前記区分を特定するステップと、
前記距離算出データにおいて、前記特定された区分に関して算出された距離を第２の距離として特定するステップと、
前記第１の距離と前記第２の距離とに基づき前記パラメータを算出するステップと、
前記算出された距離算出データに基づき立体物を認識するステップと
を有することを特徴とする監視システムの距離補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、監視領域内の状況を監視する監視システムおよび監視方法に関し、また、この監視システムにおける距離補正装置および距離補正方法にも関する。
【０００２】
【従来の技術】
近年、所定の監視領域内の状況を監視する監視装置が注目・実用化されている。この監視装置は、車両や航空機等の移動体に搭載され、或いは、支柱等の静止体に固定されている。前者の一例であるステレオ式車外監視装置は、車両に搭載されたステレオカメラによって所定の監視領域内の景色を撮像し、これにより得られた情報に基づいて、走行状況を認識する。ステレオ式監視装置では、一対の撮像画像（ステレオ画像）に写し出された同一対象物に関する位置的なずれ量（すなわち視差）が、ステレオマッチングによって算出される。画像に写し出されたある対象物の実空間上の位置（三次元的な位置）は、その対象物に関して算出された視差と画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
さらに、監視精度の一層の向上を目的として、ステレオカメラとレーザレーダとを併用した監視装置も提案されている。例えば、特開平７−１２５５６７号公報および特開平７−３２０１９９号公報には、レーザレーダで監視領域内の対象物の位置を検出するとともに、監視領域内の景色を撮像した画像平面上において、この検出位置に対応する領域に処理エリアを設定する技術が開示されている。そして、画像平面上に設定された処理エリアを処理対象として、ステレオマッチングを行うことにより、対象物までの距離を検出する。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記公報に開示された従来技術では、レーザレーダからのデータに基づき、処理エリアを設定した上で、この処理エリアを処理対象としたステレオマッチングを行う必要がある。そのため、複雑な処理が必要となり、システム構成の複雑化を招くため好ましくない。また、距離センサは、距離の算出精度には優れるものの、先行車等以外の物体に関しては、検出精度があまり高くないという問題がある。そのような物体の典型例としては歩行者が挙げられる。歩行者は、画像処理による検出が比較的容易である反面、レーザレーダでは検出し難い物体である。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオカメラにより得られる距離画像データと、レーザレーダより得られる距離測定データとを統合することによって、対象物の認識精度の一層の向上を図ることである。
【０００６】
また、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の一層の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、この画像データにより規定される画像平面上の位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。さらに、データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が、第１の距離に補正される。このとき、認識部は、補正部によって補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００８】
また、第２の発明は、監視領域内の状況を監視する監視システムにおいて、ステレオカメラと、ステレオ画像処理部と、レーザレーダと、認識部と、データ補正部とを有する監視システムを提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。また、ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。また、レーザレーダは、監視領域内の距離を測定し、この監視領域内の距離の二次元的な分布を距離測定データとして出力する。また、認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データが算出される。データ補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。また、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とが比較されることにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離が決定される。このとき、認識部は、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【０００９】
ここで、第２の発明において、データ補正部は、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定することが好ましい。
【００１０】
この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定することが好ましい。または、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１１】
あるいは、この場合、データ補正部は、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定することが好ましい。また、データ補正部は、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定することが好ましい。
【００１２】
また、第３の発明は、監視システムの距離補正装置において、ステレオカメラと、ステレオ画像処理部と、認識部と、視差補正部とを有する監視システムの距離補正装置を提供する。ここで、ステレオカメラは、監視領域を含む景色を撮像し、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。レーザレーダは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。認識部は、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出する。そして、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。そして、この距離算出データに基づき立体物が認識される。視差補正部は、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。そして、距離算出データにおいて立体物までの距離を示す区分を特定することにより、この特定された区分に関して算出された距離が第２の距離として特定される。そして、第１の距離と第２の距離とに基づきパラメータが算出される。
【００１３】
また、第４の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を、第１の距離に補正する。そして、第５のステップは、第４のステップにおいて補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１４】
また、第５の発明は、距離画像データと、距離測定データとを用いて監視領域内の状況を監視する監視方法を提供する。ここで、距離画像データは、監視領域を含む景色が撮像された一対の画像データに基づいて、ステレオマッチングにより算出された１フレーム相当の画像データに関する視差群と画像データにより規定される画像平面上の位置とが対応付けられている。また、距離測定データは、レーザレーダにより監視領域内の距離が測定されて距離の二次元的な分布として算出される。この監視方法において、第１のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第２のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第３のステップは、距離算出データにおいて、立体物までの距離を示す区分を特定する。第４のステップは、距離算出データにおいて、特定された区分に関して算出された距離を第２の距離として特定する。第５のステップは、第１の距離と第２の距離とを比較することにより、特定された区分に関して算出された距離を補正する補正値としての第３の距離を決定する。第６のステップは、補正された距離算出データに基づき、監視領域内の立体物を認識する。
【００１５】
ここで、第５の発明において、第２のステップは、距離測定データ上の所定位置において、立体物までの距離に相当する測定値があると判断した場合には、測定値を第１の距離として決定する。
【００１６】
この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１７】
また、この場合、第５のステップは、第１の距離と第２の距離との差が所定のしきい値以内である場合には、第１の距離と第２の距離との平均値を第３の距離として決定する。あるいは、第５のステップは、第１の距離と第２の距離との差が所定のしきい値より大きい場合には、第２の距離を第３の距離として決定するステップを有することが好ましい。
【００１８】
さらに、第６の発明は、監視システムの距離補正方法を提供する。この距離補正方法において、第１のステップは、監視領域を含む景色を撮像し、一対の画像データを出力する。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出するとともに、１フレーム相当の画像データに関する視差群と、画像データにより規定される画像平面上の座標位置とが対応付けられた距離画像データを出力する。第３のステップは、監視領域内の距離を測定するとともに、監視領域内の距離の二次元的な分布を距離測定データとして出力する。第４のステップは、距離画像データにより規定される二次元平面を複数の区分に分割し、区分内に存在する視差群に基づいて監視領域内の距離を算出するとともに、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データを算出する。第５のステップは、距離測定データ上の所定位置における監視領域内の立体物までの距離を第１の距離として特定する。第６のステップは、距離算出データにおいて、監視領域内の立体物までの距離を示す区分を特定する。第７のステップは、特定された区分に対応付けられた監視領域内の距離を第２の距離として特定する。第８のステップは、第１の距離と第２の距離とに基づきパラメータを算出する。第９のステップは、算出された距離算出データに基づき立体物を認識する。
【００１９】
【発明の実施の形態】
（第１の実施形態）
図１は、第１の実施形態にかかるステレオ式監視システムのブロック構成図である。このステレオ式監視システム１は、自動車等の車両に搭載され、車両前方の走行状況を監視する。車両前方の監視領域内の景色を撮像するステレオカメラは、ルームミラーの近傍に取り付けられている。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。
【００２０】
デジタル化された一対の画像データは、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データ（ステレオ画像データ）は、各画素の輝度値（０〜２５５）の集合である。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、後段の画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関する距離画像データＤｐを算出する。ここで、「距離画像データ」とは、画像データによって規定される画像平面において小領域毎に算出された視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が２００×５１２画素で構成されている場合、１フレーム相当の撮像画像から、画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００２４】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢｉｊの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離画像データＤｐ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ９に格納される。
【００２７】
また、ステレオ式監視システム１において、監視領域内の距離を測定するレーザレーダ１０が、車両前部に取り付けられている。このレーザレーダ１０は、図３に示すように、縦長のレーザビーム（例えば、上下方向に±２°、左右方向に０．０３°）を照射し、地面より高い位置にある監視領域内の立体物の距離を検出する。図４に示すように、このレーザレーダ１０は、一定間隔毎にレーザビームを発光・受光しながら、所定の走査範囲内で水平方向の走査を行うことにより、距離を順次検出していく。そして、走査範囲内の一連の検出動作にともない、それぞれの走査位置に対応した所定個数の測定値の集合が距離測定データＤｍとして算出される。換言すれば、この距離測定データＤｍは、監視領域内における距離の二次元的な分布である。この検出動作は、カメラ２，３の撮像動作とタイミングを同期して行われ、１フレーム相当の画像データの出力と対応して、距離測定データＤｍがマイクロコンピュータ１１（具体的には、データ補正部１３）に出力される。
【００２８】
マイクロコンピュータ１１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、認識部１２、データ補正部１３および制御部１４を有する。
【００２９】
認識部１２は、画像データまたは距離画像データＤｐに基づき、監視領域内の道路形状を特定する。そして、距離画像データＤｐにより規定される二次元平面を複数の区分に分割し、特定された道路形状に基づき、区分内に存在する視差群に基づいて監視領域内の距離が算出される。そして、分割された区分のそれぞれと、この算出された距離とが対応付けられた距離算出データＤｃが算出される。なお、この距離算出データＤｃに関して、各区分に対応付けられた距離は、それぞれ補正可能な値であり、データ補正部１３において補正される。認識部１２は、データ補正部１３によって補正された距離算出データＤｃ’に基づき、監視領域内の立体物を認識する。
【００３０】
データ補正部１３は、レーザレーダ１０の出力データである距離測定データＤｍに基づき、認識部１２の出力データである距離算出データＤｃを補正し、それを距離算出データＤｃ’として認識部１２に出力する。
【００３１】
制御部１４は、認識部１２における認識結果に基づき、必要に応じて、図示しない警報装置や制御装置等の制御を行う。例えば、先行車との車間距離が短くなり、ドライバーへの警報が必要な走行状況では、モニタやスピーカ等の警報装置を動作させて、ドライバーの注意を喚起する。また、このような状況で車両を減速させるべく、ブレーキの動作、自動変速機のシフトダウン、エンジン出力の低下等を行う。
【００３２】
図５は、第１の実施形態にかかる監視手順を示したフローチャートである。本ルーチンは、所定の間隔で呼び出され、マイクロコンピュータ１１によって実行される。まず、ステップ１において、認識部１２は、一対の画像データ（以下、単に「画像データ」と称する）を画像データメモリ８から読み込み、また、この画像データに対応する距離画像データＤｐを距離データメモリ９から読み込む。
【００３３】
ステップ２において、認識部１２は、画像データまたは距離画像データＤｐに基づき、監視領域内の道路形状を特定する。この処理では、道路モデルのパラメータを実際の道路形状に対応するよう補正・変更することで、道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。なお、道路モデルの詳細については、本出願人によって既に出願されている特開２００１−１６０１３７号公報に開示されているので、必要ならば参照されたい。
【００３４】
ステップ３において、認識部１２は、距離算出データＤｃを算出する。この距離算出データＤｃは、以下に説明するように、距離画像データＤｐにより規定される二次元平面を複数の区分に分割し、それぞれの区分に関して一つ算出される代表距離の集合である。ある区分に関する代表距離は、その区分内に存在する視差群より一義的に算出される。
【００３５】
具体的には、図６に示すように、まず、読み込まれた距離画像データＤｐによって規定されるｉｊ平面を、所定の間隔で（例えば、水平方向に４画素間隔）で分割することにより、格子状（縦短冊状）の複数の区分を規定する。そして、水平方向に並んだ複数の区分のうち、一つの区分（例えば、一番左端の区分）が選択される。
つぎに、選択された区分において、この区分内に存在する全データの中から、任意のデータ（例えば、（ｉ，ｊ）位置が最も原点に近いデータ）が選択される。ここで、「データ」とは、位置（ｉ，ｊ）に対応付けられた視差ｄをいう。そして、選択されたデータについて、周知の座標変換式に基づき、三次元位置（ｘ，ｙ，ｚ）が算出される。自車両の位置を基準に設定された実空間の座標系は、メインカメラ２の中央真下の道路面を原点として、車幅方向をｘ軸、車高方向をｙ軸、車長方向（距離方向）をｚ軸とする。そして、上述した道路モデルの直線式を使って、この距離ｚにおける道路面の高さが算出される。この道路面の高さと、座標変換されたデータの高さを比較して、このデータが道路面より上にある場合には、そのデータが立体物データとして抽出される。
【００３６】
このとき、道路面からの高さの差が小さい（例えば、高さが０．１ｍ程度以下）データは、道路上の白線や汚れ、影等に関するデータとみなす。この場合、認識部１２は、以下の処理において、このデータを取り扱わない。一方、その高さが自車両の高さより上にあるデータは、歩道橋や標識等に関するデータとみなし、認識部１２は、以下の処理において、このデータを取り扱わない。これにより、道路上の立体物と推定されるデータ、すなわち、道路面よりも高く、自車両の車高よりも低いデータのみが、立体物データとして選別される。
【００３７】
その後、この区分内の全データについて、同様の処理が繰り返し実行されて、その区分内の立体物データが順次抽出される。例えば、ｉ座標を基準に、ｊ座標を０〜１９９まで順次シフトしながらデータを選択していき、そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を順次シフトしながらデータの選択が行われるといった如くである。
【００３８】
そして、１つの区分内において、上述した立体物の推定処理が完了すると、抽出された立体物データに関し、ヒストグラム（距離頻度分布）が作成される。この距離頻度分布は、予め設定された距離（例えば、１５ｍ）の区間に含まれる立体物データの個数を数えることで、距離ｚを横軸とした立体物データの頻度として表される。この距離頻度分布が作成されたら、分布の度数が所定のしきい値以上で、かつ、最頻距離となる区間を検出する。このとき、認識部１２は、この条件に該当する区間があれば、その区分には立体物が存在すると判断する。そして、その区間内に存在する個数相当の距離の平均値または代表値、或いは、該当区間の中間値が、その立体物までの距離として算出される。
【００３９】
一般に、ステレオマッチングによって算出される距離画像データＤｐは、ミスマッチング等の影響によって、誤差データを含むことが多い。このような誤差データの一態様として、ある実空間上の位置に立体物が存在しないにも拘わらず、その位置に値をもったデータが算出されてしまうことがある。そこで、作成された距離頻度分布において、予め設定したしきい値以上かつ最大値をとる区間があれば、その区間に立体物が存在すると判断し、また、度数の最大値が判定値以下の場合は物体が存在しないと判断することが好ましい。なぜならば、ある程度の大きさの立体物がある場合には、その区間の度数が大きくなる傾向があり、一方、物体が何も存在しない場合には、たとえ誤ったデータが存在したとしても、発生する度数が小さくなる傾向があるからである。これにより、データに多少のノイズが含まれている場合においても、この影響を最小限にして立体物を検出することができる。
【００４０】
そして、次の区分（例えば、左端から２番目の区分）のデータが順次選択され、道路面より上にあるデータの抽出、距離頻度分布の作成、および、区間内での立体物の存在と、立体物までの距離の算出がデータ毎に行われる。そして、この処理が分割された距離画像データＤｐの全ての区分について行われる。これにより、分割された複数の区分と、それぞれの区分内に関する視差群に基づき特定された監視領域内の距離とが対応付けられた距離算出データＤｃが算出される。
【００４１】
図７は、距離算出データＤｃに関する区分毎に検出した対象物までの距離を説明するための図である。同図において、区分毎の距離に対応する実空間上の位置とが、実線と点とで示されている。ここで、図４を再び参照してみると、レーザレーダ１０からの出力をベースにした距離測定データＤｍは、ステレオカメラからの出力、すなわち、画像をベースにした距離算出データＤｃと類似したデータであることがわかる。両データＤｃ，Ｄｍは、メインカメラ２またはレーザレーダ１０から立体物までの距離を放射状に測定したデータであり、レーザレーダ１０のスキャン毎の距離は、図７に示す距離算出データＤｃの区分毎の距離と対応している。そこで、第１の実施形態では、以下、説明するように両データＤｃ，Ｄｍを統合させることで、距離算出データＤｃの原形としての距離画像データＤｐと距離測定データＤｍとのデータの統合を図っている。
【００４２】
ステップ３に続くステップ４において、データ補正部１３は、画像ベースで算出された距離算出データＤｃを補正する。図８は、ステップ４における補正手順を示す詳細なフローチャートである。前提として、データ補正部１３は、認識部１２から出力された距離算出データＤｃを取得しているものとする。また、データ補正部１３は、この距離算出データＤｃが算出された距離画像データＤｐ（より具体的には、この距離画像データＤｐの元画像である一対の画像データ）に対応するレーザレーダ１０から出力された距離測定データＤｍを取得しているものとする。ここで、レーダをベースにした距離測定データＤｍにおける測定値の個数をｍ個と定める。また、この距離測定データＤｍにおいて、その測定値のデータ上での位置を特定するため、走査範囲左から右にかけて、走査位置と測定値とを対応付けるとともに、１〜ｍまでの番号を昇順に割り当てる。
【００４３】
まず、ステップ４０において、レーダをベースにした距離測定データＤｍ上の処理対象とする位置を特定する変数ｎとして１がセットされる。このとき、データ補正部１３は、取得したレーダベースの距離測定データＤｍに関し、走査範囲の測定回数ｍを把握しており、処理対象とする測定値の最大個数Ｍｍａｘとして、ｍがセットされる。
【００４４】
そして、ステップ４１において、レーダベースの距離測定データＤｍ上のｎ番目の位置において、特定すべき測定値が存在するか否かが判断される。このステップ４１で肯定判定された場合、すなわち、位置ｎに測定値（データ）が存在すると判断された場合、データ補正部１３は、ステップ４２に進み、この位置ｎに対応するデータを第１の距離Ｌ１として特定する。換言すれば、距離測定データＤｍ上の所定位置における監視領域内の立体物までの距離が、第１の距離Ｌ１として特定される。一方、この判断で否定判定された場合、すなわち、位置ｎに測定値が存在しないと判断された場合、データ補正部１３は、後述するステップ４７に進む。
【００４５】
ステップ４２に続くステップ４３において、レーダベースの距離測定データＤｍ上の位置ｎに対応する画像ベースの距離算出データＤｃ上の区分が特定される。換言すれば、このステップ４３では、画像ベースの距離算出データＤｃにおいて、監視領域内の立体物（正確には、レーダベースの距離測定データＤｍ上の位置ｎから特定された距離Ｌ１に相当する立体物）までの距離を示す区分が特定される。レーダベースの距離測定データＤｍ上の位置ｎと、画像ベースの距離算出データＤｃ上の区分との間には相関があり、以下に示す数式２および３に基づく数式４から、一義的に特定される。
【数２】
ｚｏ＝Ｌ１×ｃｏｓθｓ＋ｄｚ
ｘｏ＝Ｌ１×ｓｉｎθｓ＋ｄｘ
【００４６】
ここで、数式２は、図９に示すように、レーダベースの距離測定データＤｍ上の位置ｎに対応する立体物Ｏの実空間上での座標位置（ｘｏ，ｚｏ）を示す。なお、θｓは、ｚ軸に平行するレーザレーダ１０の走査方向を基準として、データ上の位置ｎに対応するレーザレーダ１０から立体物Ｏまでの傾き（左側への傾きを「＋θ」、右側への傾きを「−θ」）である。このとき、ｚ軸方向を基準としたメインカメラ２から見た立体物Ｏまでの角度θｃは、数式３で表される。
【数３】
θｃ＝ｔａｎ−１（ｘｏ／ｚｏ）
【００４７】
【数４】
Ｎ＝Ｎｃｅｎ＋θｃ／ｄθｃ
【００４８】
ここで、Ｎは、画像ベースの距離算出データＤｃにおいて、一番左側に位置する区分を１として、それと隣り合う方向に存在するそれぞれの区分に昇順で番号を付した際の、区分の番号を示している。また、Ｎｃｅｎはｚ軸延在方向に対応する距離算出データＤｃ上の区分の番号を示し、ｄθｃは区分の間隔（例えば、４画素幅の場合、０．２°）を示している。そして、数式４によって算出された区分Ｎに基づき、この区分Ｎに対応付けられた立体物までの距離ｌが第２の距離Ｌ２として特定される。
【００４９】
そして、ステップ４４において、第１の距離Ｌ１と第２の距離Ｌ２とが比較される。そして、この比較結果に応じて、画像をベースにした距離算出データＤｃ上の区分Ｎに対応付けられた監視領域内の距離ｌを補正する補正値として、第３の距離Ｌ３が決定される。第１の実施形態では、第１の距離Ｌ１と第２の距離Ｌ２との差（具体的には、両者の絶対値（｜Ｌ１−Ｌ２｜））が、所定のしきい値Ｌｔｈ以下であるか否かにより、その第３の距離Ｌ３の値が決定される。
【００５０】
このステップ４４で肯定判定された場合、データ補正部１３は、第１の距離Ｌ１と第２の距離Ｌ２とが近似する値であると判断する。そして、ステップ４５に進み、第３の距離Ｌ３として、レーザレーダ１０からの出力をベースにしたＬ１（第１の距離）がセットされる。そして、これにともない画像ベースの距離算出データＤｃにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第１の距離Ｌ１に補正される。
【００５１】
一般に、画像をベースにした距離画像データＤｐ、或いは、その変形である距離算出データＤｃは、大小様々な物体（特に小さいな物体）を広く検出できるため、検出精度の点で有利である。一方、レーダをベースにした距離測定データＤｍは、検出精度の点ではステレオカメラより劣るものの、計測された距離の信頼性（測距精度）の点で有利である。そこで、第１の実施形態では、レーダをベースにした第１の距離Ｌ１に優位性を持たせ、この値を信頼することで、監視精度の信頼性の向上を図っている。
【００５２】
一方、先のステップ４４で否定判定された場合には、データ補正部１３は、第１の距離Ｌ１と第２の距離Ｌ２とが異なる値であると判断する。そして、ステップ４６に進み、第３の距離Ｌ３として、ステレオカメラからの出力をベースにしたＬ２（第２の距離）がセットされる。これにより、画像ベースの距離算出データＤｃにおいて、特定された区分Ｎに対応付けられた監視領域内の距離ｌが、第２の距離Ｌ２に補正される（すなわち、距離ｌがそのまま維持される）。
【００５３】
一般に、レーダをベースにした距離Ｌ１と、画像をベースにした距離Ｌ２とに関して、ある区分に存在する同一物体の距離を示す限り、両者の値が大きく異なることは少ない。しかしながら、別個の物体の距離を示す場合、或いは、両者の測距原理の相違が顕著に出現する場合には、距離Ｌ１，Ｌ２が異なってしまうことがある。そこで、このような場合には、様々な物体を高精度に検出可能な画像ベースの距離算出データＤｃを優先し、画像ベースの距離Ｌ２を採用する。これにより、監視精度の信頼性の向上を図る。
【００５４】
そして、ステップ４７において、Ｍｍａｘとｎが一致するか否かが判断される。このステップ４７で肯定判定された場合、データ補正部１３は、画像をベースにした距離算出データＤｃとレーダをベースにした距離測定データＤｍとの統合が全ての位置ｎにおいて行われたと判断し、本ルーチンを抜ける。一方、このステップ４７で否定判定された場合、ステップ４８に進み、変数ｎとして、ｎ＋１がセットされる。そして、ｎがＭｍａｘと一致するまで、上述した処理が繰り返し実行される。
【００５５】
そして、図５のステップ４に続くステップ５において、認識部１２は、距離算出データＤｃ’（すなわち、データ補正部１３によって補正された距離算出データＤｃ）に基づき、立体物の認識を行う。具体的には、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としてのデータの並び方向から個々のグループが立体物或いは壁部に分類される。ここで、立体物とは先行車、人或いは障害物等をいい、壁部とはガードレール等の道路側部の側壁をいう。そして、立体物と分類されたグループについて、グループ内のデータから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。そして、制御部１４は、認識された先行車、人或いは障害物までの距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００５６】
なお、この立体物或いは壁部の認識に際してグループのパラメータを算出するが、このとき、補正された距離算出データＤｃ’において、グループを構成する区分のなかに、第１の距離Ｌ１に補正された距離が含まれていることがある。この場合には、この補正された距離Ｌ１のみを使って、グループの距離が算出されることが好ましい。上述したように、レーザレーダ１０は、測距精度が高いので、その値のみを使用することで、測距精度の向上が図れるからである。なお、グループを構成する区分の中に補正された距離が複数存在する場合には、それらの平均値を用いることがより好ましい。
【００５７】
以上説明したように、第１の実施形態のステレオ式監視システム１によれば、画像をベースにした距離算出データＤｃとレーダをベースにした距離測定データＤｍとをデータ上で統合することができる。これにより、大小様々な物体を広く検出できるステレオ画像認識の長所と、計測された距離の信頼性に優れるレーザレーダ１０の長所との両立を図ることができるので、監視精度における信頼性の一層の向上を図ることができる。また、第１の実施形態のステレオ式監視システム１によれば、従来の技術のように、レーザレーダ１０からのデータに基づき、処理エリアを設定し、この処理エリアのみを処理対象としてステレオマッチングを行う等といった煩雑な作業が必要とされないので、このための機器や部品を省略することができる。
【００５８】
なお、第１の実施形態において、第１の距離Ｌ１と第２の距離Ｌ２と差がしきい値以下である場合、この両者Ｌ１とＬ２との平均値を第３の距離Ｌ３として決定してもよい。また、第１の実施形態では、第１の距離Ｌ１と第２の距離Ｌ２とを比較したが、レーダベースの距離測定データＤｍにおける測距精度に信頼性をおき、このデータの値を常に採用することも可能である。換言すれば、特定された区分Ｎに対応付けられた監視領域内の距離ｌを、常に第１の距離Ｌ１に補正してもよい。
【００５９】
（第２の実施形態）
図１０は、第２の実施形態にかかる監視処理の詳細な手順を示すフローチャートである。第２の実施形態にかかる監視手順が、第１の実施形態にかかる手順と相違する点は、同図に示すステップ６以降の処理の手法であり、同様の手順については、ここでの説明を省略する。
【００６０】
具体的には、第２の実施形態と、第１の実施形態との相違は、視差補正を行うことである。レーダをベースにした距離測定データＤｍと、画像をベースにした距離算出データＤｃとに関して、ある区分に存在する同一物体の距離を示す限り、両者の距離の値が異なることは好ましくない。そこで、第２の実施形態では、図１１に示すように、ステレオ式監視システム１ａは、視差補正部１５において、画像ベースの距離算出データＤｃがレーダベースの距離測定データＤｍと一致するように、距離の誤差を補正する。
【００６１】
この視差補正部１５は、レーザレーダ１０から出力された距離測定データＤｍと、認識部１２から出力された距離算出データＤｃとに基づき、消失点視差ｄｐを算出する。ここで、消失点視差ｄｐは、距離補正値としてのパラメータである。そして、この算出された消失点視差ｄｐ（正確には、複数の消失点視差ｄｐの平均値である消失点視差ｄｐ’）が、認識部１２に反映される。これにより、認識部１２は、この消失点視差ｄｐ’に基づき、画像をベースにした距離算出データＤｃ’を新たに算出し、監視領域内の立体物を認識することができる。
【００６２】
図１２は、図１０に示すステップ６における詳細な手順を示したフローチャートである。なお、ここで、ステップ６０〜ステップ６３については、上述したステップ４０〜ステップ４３と同様であるため、ここでの詳細な説明は省略する。
【００６３】
ステップ６４において、視差補正部１５は、第１の距離Ｌ１と第２の距離Ｌ２とに基づき、上述したパラメータとしての消失点視差ｄｐを算出する。具体的には、以下に示す数式５に基づき、画像をベースにした距離算出データＤｃにおける第２の距離Ｌ２を、レーダをベースにした距離測定データＤｍにおける第１の距離Ｌ１と一致させるように、消失点視差ｄｐが算出される。
【数５】
ｄｐ＝ｄｐｘ−ＫＺＨ／ｚ
【００６４】
ここで、数式５は、数式６で示される周知の座標変換式から特定される。
【数６】
ｚ＝ＫＺＨ／（ｄｐｘ−ｄｐ）
【００６５】
ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ｄｐｘはステレオカメラからの出力をベースにした第２の距離Ｌ２に対応する視差ｄである。そして、ｚにはレーザレーダ１０からの出力をベースにした測定値、すなわち、第１の距離Ｌ１が代入される。
【００６６】
なお、ステップ３において距離算出データＤｃを算出する時点では、このｄｐは０、または、初期設定値としての所定の値を使用すること好ましい。
【００６７】
そして、ステップ６５において、Ｍｍａｘとｎが一致するか否かが判断される。このステップ６５で肯定判定された場合、視差補正部１５は、距離算出データＤｃの全区分において、消失点視差ｄｐが算出されたと判断し、ステップ６７に進む。一方、このステップ６５で否定判定された場合、ステップ６６に進み、ｎがｎ＋１にセットされる。そして、ｎがＭｍａｘと一致するまで処理が繰り返し実行される。
【００６８】
そして、ステップ６５に続くステップ６７において、この算出された全部の消失点視差ｄｐの平均値ｄｐ’が算出されて、本ルーチンを抜ける。
【００６９】
ステップ６に続くステップ７において、認識部１２は、再度、距離画像データＤｐを複数の区分に分割する。そして、区分内に存在する視差群と消失点視差ｄｐ’とに基づき、数式６を含む周知の座標変換式を用いて、三次元位置が算出される。そして、上述したステップ３で示した手法と同様の手順により、分割された区分のそれぞれと算出された距離とが対応付けられた距離算出データＤｃ’が算出される。この距離算出データＤｃ’は、座標変換された時点で、レーダをベースにした距離測定データＤｍとの統合が成されているため、第１の実施形態で述べた補正された距離算出データＤｃ’と略同一なデータとして算出される。
【００７０】
そして、ステップ８において、認識部１２は、この補正された距離算出データＤｃ’に基づき、立体物の認識を行う。これにともない、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。
【００７１】
なお、ステップ６において、消失点視差ｄｐ’が一度算出されてしまえば、以降の処理でこの値を引き続き使用することができる。したがって、次に処理対象とするフレームについては、ステップ３〜６の処理はスキップすることができる。ただし、この消失点視差ｄｐ（或いは、消失点視差ｄｐ’）を、所定フレーム間隔で特定することで、適宜最適な消失点視差ｄｐを採用できるので好ましい。
【００７２】
以上説明したように、第２の実施形態のステレオ式監視システム１ａによれば、設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることができる。
【００７３】
なお、本実施形態では、車外監視を例にとって説明したが、本発明がこれに限定されるものではない。このような手法を用いた適用例としては、ステレオ画像処理とレーザレーダを併用した踏切監視、地形認識または高度測定といった様々な用途に適用可能である。
【００７４】
【発明の効果】
このように、本発明によれば、レーザレーダからの出力データとしての距離測定データの所定位置における距離を用いて、認識部からの出力データとしての距離算出データ上における対応する区分の距離を補正している。これにより、距離測定データと距離算出データとが統合されたデータを用いて立体物を認識することができるので、監視精度の向上を図ることができる。
【図面の簡単な説明】
【図１】第１の実施形態にかかるステレオ式監視システムを示すブロック図
【図２】基準画像に設定される画素ブロックの説明図
【図３】レーザレーダの距離検出を示す説明図
【図４】レーザレーダの距離検出を示す説明図
【図５】第１の実施形態にかかる監視手順を示したフローチャート
【図６】格子状に分割された距離画像データの説明図
【図７】距離算出データに関する区分毎に検出した対象物までの距離の説明図
【図８】図５に示すステップ４における補正手順を示す詳細なフローチャート
【図９】距離測定データと距離算出データとの相関を示した説明図
【図１０】第２の実施形態にかかる監視処理の詳細な手順を示すフローチャート
【図１１】第２の実施形態にかかるステレオ式監視システムを示すブロック図
【図１２】図１０に示すステップ６における詳細な手順を示したフローチャート
【符号の説明】
１，１ａ　　ステレオ式監視システム
２　　　　　メインカメラ
３　　　　　サブカメラ
４　　　　　Ａ／Ｄコンバータ
５　　　　　Ａ／Ｄコンバータ
６　　　　　画像補正部
７　　　　　ステレオ画像処理部
８　　　　　画像データメモリ
９　　　　　距離データメモリ
１０　　　　　レーザレーダ
１１　　　　　マイクロコンピュータ
１２　　　　　認識部
１３　　　　　データ補正部
１４　　　　　制御部
１５　　　　　視差補正部
【図１】
2004028727.tif 000003
【図２】
2004028727.tif 000004
【図３】
2004028727.tif 000005
【図４】
2004028727.tif 000006
【図５】
2004028727.tif 000007
【図６】
2004028727.tif 000008
【図７】
2004028727.tif 000009
【図８】
2004028727.tif 000010
【図９】
2004028727.tif 000011
【図１０】
2004028727.tif 000012
【図１１】
2004028727.tif 000013
【図１２】
2004028727.tif 000014