(57)【要約】【課題】車外監視装置において、上り坂の路面上に存在する立体物を精度よく認識する。【解決手段】ステレオ画像処理部５は、一対のカメラ２，３により得られた一対の撮像画像を用いたステレオマッチングを行い、撮像画像上における距離の分布である距離画像を生成する。立体物検出部８は、距離画像上の距離をグルーピングすることによって、路面上に存在する立体物を検出する。立体物補正部９は、立体物検出部８によって検出された立体物の領域を含む探索範囲において、撮像画像における垂直方向の輝度エッジに基づき検出された垂直線分のペアが左右対称に存在する場合、垂直線分の下端に基づいて、立体物の下端を補正する。【選択図】図１
2018026021.tif 000002
【特許請求の範囲】
【請求項１】
車外監視装置において、
撮像装置により撮像された撮像画像を用いて、路面上に存在する立体物を検出する立体物検出部と、
前記立体物検出部によって検出された前記立体物の領域を含む探索範囲において、前記撮像画像における垂直方向の輝度エッジに基づき検出された垂直線分のペアが左右対称に存在する場合、前記垂直線分の下端に基づいて、前記立体物の下端を補正する立体物補正部と、
を有することを特徴とする車外監視装置。
【請求項２】
前記立体物補正部は、前記撮像画像における水平方向の輝度エッジのヒストグラムを生成し、前記ヒストグラムのピークに基づいて、前記垂直線分のペアを検出するための検出領域を設定することを特徴とする請求項１に記載された車外監視装置。
【請求項３】
前記立体物補正部は、前記ヒストグラムのピークに対して所定の割合に落ち込んだ位置を左右の落込位置として設定し、前記落込位置のそれぞれの外側に設定された前記検出領域において、前記垂直線分のペアを検出することを特徴とする請求項２に記載された車外監視装置。
【請求項４】
前記立体物補正部は、前記垂直線分のエッジ強度に基づいて、隣り合った垂直線分同士の削除および統合を行うことを特徴とする請求項３に記載された車外監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、路面上に存在する立体物を認識する車外監視装置に関する。
【背景技術】
【０００２】
例えば、ステレオカメラを用いた車外監視装置では、ステレオカメラによって得られた一対の撮像画像に基づいて道路形状を規定する道路モデルを生成し、路面より上に存在する距離データをグルーピングすることによって、立体物を認識している。車外監視装置に対しては、撮像される道路シーンに関わりなく、常に、立体物（先行車等）を的確に認識できることが要求されるが、特に、急な登り坂では道路モデルが即応できず、坂の路面が立体物の一部として検出されてしまうといった課題がある。また、トレース中の先行車が坂と一体化し、徐々に坂へと乗り移っていくといった現象が生じ得る。この場合、直前まで先行車の特徴を持っていたがゆえに坂の判定が遅れるのみならず、先行車を見失ってしまうおそれもある。そのため、上り坂における認識精度や即応性の確保は、車外監視装置における重要な技術的課題の一つになっている。
【０００３】
特許文献１には、上り坂における道路標示を的確に検出可能な物体傾き検出装置が開示されている。この検出装置では、道路面より上方に存在し、かつ、同一立体物と見なせる画素をグループ化することで立体物を検出すると共に、この立体物に該当する距離データの変化量を計算することで、撮像方向に対する立体物の高さ方向の傾きを算出する。上り坂における道路標示の傾きは、通常、先行車の背面の傾きとは大きく異なることから、傾きに関する閾値を適切に設定することで、道路標示と先行車とを区別する。
【０００４】
また、特許文献２には、坂であるか否かの判別精度の向上を図り、車両制御の誤動作を防止する画像処理装置が開示されている。この画像処理装置では、距離画像を短冊状に分割した縦領域ごとに、距離分布に基づいて被写体の坂らしさを表す坂指標値を算出する。そして、この坂指標値に基づき、被写体が坂以外であるとみなされる縦領域を選択し、これを検出対象領域として、画像内に存在する物体を検出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−３３７５０号公報
【特許文献２】特開２０１４−１１９８５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、車外監視装置において、上り坂の路面上に存在する立体物を精度よく認識することである。
【課題を解決するための手段】
【０００７】
かかる課題を解決すべく、本発明は、立体物検出部と、立体物補正部とを有する車外監視装置を提供する。立体物検出部は、撮像装置により撮像された撮像画像を用いて、路面上に存在する立体物を検出する。立体物補正部は、立体物検出部によって検出された立体物の領域を含む探索範囲において、撮像画像における垂直方向の輝度エッジに基づき検出された垂直線分のペアが左右対称に存在する場合、垂直線分の下端に基づいて、立体物の下端を補正する。
【０００８】
ここで、本発明において、上記立体物補正部は、撮像画像における水平方向の輝度エッジのヒストグラムを生成し、ヒストグラムのピークに基づいて、垂直線分のペアを検出するための検出領域を設定することが好ましい。この場合、上記立体物補正部は、ヒストグラムのピークに対して所定の割合に落ち込んだ位置を左右の落込位置として設定し、落込位置のそれぞれの外側に設定された検出領域において、垂直線分のペアを検出してもよい。また、上記立体物補正部は、垂直線分のエッジ強度に基づいて、隣り合った垂直線分同士の削除および統合を行うことが望ましい。
【発明の効果】
【０００９】
本発明によれば、立体物検出部において、実際の立体物が路面の一部と一体化した形で立体物として検出されたとしても、ペアとなる垂直線分の下端に基づいて立体物の下端位置を補正することによって、路面部分を分離でき、実際の立体物のみを精度よく認識できる。これは、路面上に存在する先行車は左右対称な形状を有するがゆえに、撮像画像において、立体物の左右の縁部には、垂直方向の輝度エッジが左右対称に存在するという知得に基づくものである。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る車外監視装置のブロック図
【図２】立体物検出部によって検出された立体物を示す図
【図３】立体物補正部によって補正された立体物を示す図
【図４】立体物補正処理のフローチャートである。
【図５】ソーベルフィルタのオペレータを示す図
【図６】落込位置の説明図
【図７】垂直線分の検出の説明図
【図８】垂直線分の削除・統合の説明図
【図９】垂直線分のペアリングの説明図
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
図１は、本実施形態に係る車外監視装置のブロック構成図である。この車外監視装置１は、自動車等の車両に搭載され、自車両前方の走行状況をリアルタイムで監視すると共に、走行状況に応じた各種制御を行う。撮像装置としてのステレオカメラは、ルームミラーの近傍に取り付けられており、車両前方の監視領域内の景色を撮像する。このステレオカメラは、一対のカメラ２，３で構成されており、それぞれのカメラ２，３には、イメージセンサ（例えば、ＣＣＤまたはＣＭＯＳセンサ等）が内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータを介して所定の輝度階調（例えば、ＲＧＢ２５６階調）のデジタル画像に変換され、画像補正部４に出力される。
【００１３】
画像補正部４は、それぞれのカメラ２，３から出力されたデジタル画像に対して、輝度の補正や画像の幾何学的な変換等を施す。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換回路等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。ここで、画像データによって規定される画像平面は、ｉ−ｊ座標系で表現され、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。１フレーム（１画像の表示単位）相当のステレオ画像は、後段のステレオ画像処理部５に出力されるとともに、後段の画像データメモリ６に格納される。
【００１４】
ステレオ画像処理部５は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。ステレオ画像処理部５は、基準画像と比較画像とに基づいて、１フレーム相当の撮像画像に関する距離画像を算出する。ここで、「距離画像」とは、１フレームの撮像画像によって規定される画像平面において小領域毎に算出された視差ｄの分布・集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄの算出単位は、基準画像の一部を構成する所定面積（例えば、４×４画素）の画素ブロックであり、１つの画素ブロックより１つの視差が算出される。例えば、基準画像が２００×５１２画素で構成されている場合、１フレーム相当の撮像画像から、最大で画素ブロックＰＢｉｊの個数相当（５０×１２８個）の視差群が算出される。周知のように、視差ｄは、その算出単位である画素ブロックＰＢｉｊに関する水平方向のずれ量であり、画素ブロックＰＢｉｊに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢｉｊ内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢｉｊの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは０になる）。
【００１５】
ある画素ブロックＰＢｉｊ（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢｉｊの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰｉｊのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部５は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を１画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量が、その画素ブロックＰＢｉｊの視差ｄとなる。
【００１６】
２つの画素ブロックの相関は、数式１に示すように、輝度差絶対和ＣＢを算出することにより評価することができる。同数式において、ｐ１ｉｊは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ｉｊは他方の画素ブロックのｉｊ番目の輝度値である。輝度差絶対和ＣＢは、位置的に対応した輝度値ｐ１ｉｊ，ｐ２ｉｊの差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。基本的に、エピポーラライン上に存在する画素ブロック毎に算出された輝度差絶対和ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。そして、このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。このような処理を経て算出された距離画像、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合が、距離データメモリ７に格納される。なお、ブロック間の相関評価は、輝度差絶対和ＣＢに限らず、輝度差二乗和を含めて任意の相関評価手法を用いることができる。
【００１７】
［数式１］
ＣＢ＝Σ｜ｐ１ｉｊ−ｐ２ｉｊ｜
【００１８】
立体物検出部８および立体物補正部９を含む演算ユニットは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びワークエリアとしてのＲＡＭ（Random Access Memory）を備えたマイクロコンピュータで構成され、ＲＯＭに格納されたプログラムに従った各種の処理を実行する。立体物検出部８は、画像データメモリ６から読み出された撮像画像と、距離データメモリ７から読み出された距離画像とに基づき、自車両を基準とした三次元空間上における道路の形状を規定する道路モデルを算出する。道路モデルは、実空間の座標系において、水平方向および垂直方向における直線式で表現される。道路に沿って存在する植物の植え込みやパイロン、ガードレールなどの立体物、または、路面に描かれた車線を規定する白線（または黄線）といった特徴物は、道路形状を認識する上で有効である。立体物検出部８は、道路に沿って存在するこれらの特徴物の実空間上の位置を認識し、この位置を連結することにより道路モデルを算出する。特徴物の実空間上の位置（ｘ，ｙ，ｚ）は、距離データ上の位置（ｉ，ｊ）とこの位置に関して算出された視差ｄとに基づいて、周知の座標変換式より一義的に算出される。
【００１９】
また、立体物検出部８は、距離画像上に設定された複数の区分のそれぞれについて、区分内に存在する距離のヒストグラムに基づいて距離代表値を算出すると共に、区分毎の距離代表値をグルーピングすることによって、路面上に存在する立体物を検出する。具体的には、まず、１フレームの距離画像を横方向に分割することによって、縦短冊形状の複数の区分が設定される。それぞれの区分は、地面近傍が写し出される画像下側と、空が写し出される画像上方とを除いた領域として定義される。つぎに、個々の区分に関して、その内部に存在する距離値のヒストグラムが生成される。距離レンジを所定の長さ（区間）毎に分割した上で、ある区分内に存在するすべての距離値が該当する区間に投票される。そして、それぞれの区分について、区分内の距離値群を代表する距離代表値が特定される。この距離代表値は、所定のしきい値以上の出現頻度を有する距離値であり、同一区分内において単一または複数選択される。そして、区分と距離とによって規定される処理空間において、互いに隣接した距離代表値（前後方向および横方向の距離が近接しているもの）を同一物体とみなしてグループ化することによって、路面上に存在する立体物が検出される。立体物の実空間上の位置（ｘ，ｙ，ｚ）は、上記特徴物の場合と同様、距離データ上の位置（ｉ，ｊ）とこの位置に関して算出された視差ｄ（代表視差）とに基づいて、周知の座標変換式より一義的に算出される。以上の処理を経て、路面上に存在する立体物が検出される。
【００２０】
なお、道路形状を規定する道路モデルおよび立体物の認識に関する詳細については、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開平１１−２１３１３８号公報、特開２００１−９２９７０号公報などに開示されているので必要ならば参照されたい。
【００２１】
立体物補正部９は、立体物検出部８によって検出された立体物の領域を含む探索範囲において、撮像画像における垂直方向の輝度エッジに基づき検出された垂直線分のペアが左右対称に存在する場合、垂直線分の下端に基づいて、立体物の下端を補正する。例えば、図２に示すように、急な坂道を走行している先行車が存在する場合、立体物検出部８の検出結果として、先行車と下方の路面の一部とが一体化した形で立体物が検出されることがある。この場合、図３に示すように、先行車の左右の輪郭の下端位置に基づいて路面を分離すれば、実際の先行車のみを立体物として適切に認識できる。
【００２２】
制御部１０は、立体物補正部９による後処理が施された立体物の認識結果に基づき、必要に応じて、ドライバーへの警報、ナビゲーションシステムの画面表示、ブレーキ等による自動制動、自動操舵といった各種の制御を行う。
【００２３】
図４は、立体物補正部９において行われる立体物補正処理のフローチャートである。この処理は、画像データメモリ６から読み出された一方の撮像画像（例えば基準画像）を対象に行われ、１フレーム毎に繰り返される。
【００２４】
ステップ１において、撮像画像における水平方向（Ｘ方向）の輝度エッジと、垂直方向（Ｙ方向）が輝度エッジとが算出される。周知のように、輝度エッジの検出は、空間一次微分を計算して輪郭を検出するソーベルフィルタを用いて行われ、例えば、図５（ａ）に示すような縦線検出用のオペレータと、同図（ｂ）に示すような横線検出用のオペレータとを用いることができる。オペレータ中の位置的に対応する値で注目画素周りの３×３画素の各輝度値を重み付けした上でこれらの総和をとり、この総和値を注目画素の新たな輝度値とする。そして、この新たな輝度値を縦横のそれぞれに設けられたしきい値と比較することによって、水平エッジおよび垂直エッジが検出される。
【００２５】
ステップ２において、水平方向の輝度エッジのヒストグラムにおいて、立体物の中央位置から左右外側に向かって落ち込む位置（以下、「落込位置Ｘｒ，Ｘｌ」という。）が特定される。図６は、落込位置Ｘｒ，Ｘｌの説明図である。まず、立体物検出部８によって検出された立体物の領域または立体物を含む拡張した領域を探索範囲Ｒとし、この探索範囲Ｒに含まれるｎ本の水平方向の輝度エッジＨ1〜Ｈnについて、その出現頻度を示すヒストグラムが作成される。つぎに、ノイズの影響を抑制すべく、探索範囲Ｒの左側から中央へ、右側から中央へ向かって移動平均をとる。平均区間は、探索範囲Ｒの幅に基づいて決定する（例えば探索範囲Ｒの幅の１／２０）。そして、ヒストグラムの最頻値Ａ（ピーク）が特定され、このピークから所定の割合（α％）だけ落ち込んだ頻度（Ａ×α％）をとるＸ座標を落込位置Ｘｒ，Ｘｌとする。そして、落込位置Ｘｒ，Ｘｌよりも外側の領域が垂直線分のペアの検出領域Ｒ１，Ｒ２として設定される。
【００２６】
同図に示したように、立体物検出部８によって検出された立体物の範囲（探索範囲Ｒ）は、実際の立体物（典型的には先行車）の領域と一致しているとは限らず、ずれている場合もある。しかしながら、先行車の領域が探索範囲Ｒの中心からずれていても、水平方向の輝度エッジのピークは先行車の中心付近を示す。したがって、このピークを求めることで、先行車の中心を特定することができる。また、このピークを基準とすることで、左右対称性を有さない垂直線分Ｖ1がペアリングされることを防止できる。さらに、落込位置Ｘｒ，Ｘｌよりも外側に検出領域Ｒ１，Ｒ２が設定されているので、垂直線分Ｖ２，Ｖ３は左右対称であっても、ペアリングの対象とはならない。このような垂直線分Ｖ２，Ｖ３は、先行車の左右の縁部に起因したものではなく、路面に起因したものとして無視される。なお、垂直線分のペアリングは、なるべく外側の落込位置からペアリングをすることが好ましい。下の方に路面テクスチャに起因して検出された垂直線分のペアリングを防止すると共に、処理負荷の低減を図るためである。
【００２７】
ステップ３において、検出領域Ｒ１，Ｒ２を縦短冊状に細分化した列毎に、垂直線分が検出され、垂直線分の削除・統合が行われる。図７は、垂直線分の検出の説明図であり、同図に示した数値はエッジ強度を示す。まず、同図（ａ）に示すように、列内で最も強度の高い輝度エッジが特定され、線分探索のスタート位置として座標が保持される。つぎに、同図（ｂ）に示すように、始点から画像上方に向かって探索し、始点のエッジ強度からの乖離量が所定の閾値（例えば１００）以内の場合には、線分として接続し、それ以外の場合には、途切れたカウントをインクリメントする。そして、途切れたカウントが所定の閾値（例えば２）以上になったところで画像上方への探索を中断する。同様の方法で、同図（ｃ）に示すように、始点から画像下方についても探索する。そして、上下を繋いだ線分の長さが所定の閾値（例えば５）以上であれば、線分として保持する。最後に、同図（ｄ）に示すように、列内のエッジ強度に基づいて、 線分の情報として存在度を保持する。線分の存在度は、列内のエッジ強度の合計を探索幅（＝１２）で割った値であり、線分の構成要素となる各エッジ強度が大きい程、その線分の存在度は高くなる。一度線分として使用したエッジには使用済みフラグを立て、次の線分探索時には使用しない。全てのエッジが使用済みになるまで同様の処理が繰り返される。
【００２８】
このようにして検出された垂直線分について、隣り合った線分同士を比較して削除・統合処理が施される。具体的には、まず、ある垂直線分を起点に閾値範囲内に存在する他の垂直線分について、重複する線分であるかが判定される。つぎに、垂直線分の長さの比が閾値以上一致しているかが判定される。そして、図８に示すように、比較した中で最も存在度の高い垂直線分に他の垂直線分を吸収、すなわち、垂直線分の始点と終点をより外側に延在する垂直線分のものに更新し、吸収された垂直線分は削除する。
【００２９】
ステップ４において、垂直線分のペアリングが行われる。図９は、垂直線分のペアリングの説明図である。まず、（１）ヒストグラム落込位置Ｘｒ，Ｘｌより外側の検出領域Ｒ１，Ｒ２に存在する垂直線分Ｌｒ，Ｌｌについて、下端の位置Ｙｌ，Ｙｒの位置、存在度および線長を比較することにより（閾値処理）、ペアとすべき関係にあるかが判定される。つぎに、（２）２つの垂直線分Ｌｒ，Ｌｌがヒストグラムの落込位置Ｘｒ，Ｘｌからの距離が同等であるかが判定される（閾値処理）。さらに、上記（１）および（２）を満たす垂直線分Ｌｒのうち、ヒストグラムの落込位置Ｘｒ，Ｘｌからの距離差が最小である垂直線分をペアとする。以上の処理を全ての垂直線分に対して行う。
【００３０】
ステップ５において、ペアとされた垂直線分に基づいて、立体物の下端が補正される。具体的には、（１）ペアとされた垂直線分の幅（間隔）が探索範囲Ｒの幅に対して、閾値以上の比率幅を有しており、かつ、（２）探索範囲Ｒの下部（閾値で決定）にペアとされた垂直線分の下端が存在するかが判定される。そして、上記条件を満たした垂直線分のペアのうち、左右の存在度の合計値が閾値を超え、かつ、垂直線分の下端が最も下に位置するものに基づいて、立体物の下端位置が補正される。上記条件を満たす垂直線分のペアが存在しない場合には、立体物の下端位置の補正は行われない。
【００３１】
このように、本実施形態によれば、立体物検出部８において、実際の立体物が路面の一部と一体化した形で立体物として検出されたとしても、立体物補正部９の補正処理によって、実際の立体物のみを精度よく認識できる。一般に、路面上に存在する先行車等の立体物は左右対称な形状を有し、撮像画像における立体物の左右の縁部には、左右対称で、かつ、垂直方向に延在する一対の輝度エッジが存在する。そこで、輝度エッジに基づいて検出された垂直線分のペアの下端に基づいて立体物の下端位置を補正すれば、路面を含んだ立体物から路面部分を有効に分離することができる。
【００３２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。例えば、上述した実施形態においては、視点の異なる２つの撮像装置（カメラ２，３）において同時に撮像された一対の画像を用いるステレオカメラを挙げて説明したが、かかる場合に限らず、互いに関連性を有する一対の画像に対して広く適用可能である。このような互いに関連性を有する一対の画像としては、例えば、所謂オプティカルフローの処理対象である、単眼カメラによる撮像装置（単眼撮像装置）で異なる時刻に撮像され、時系列に出力された２つの画像が考えられる。
【００３３】
また上述した実施形態では、ステレオ画像処理部５および演算ユニット（立体物検出部８、立体物補正部９等）のそれぞれが、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成される例について説明したが、これに限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、単一の中央処理装置、ＦＰＧＡ、ＡＳＩＣによって構成されるようにしてもよいし、これら複数を組み合わせることによって構成されるようにしてもよい。
【００３４】
また、コンピュータを、上述した車外監視装置１として機能させるプログラム、あるいは、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＮＶＲＡＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も、本発明の他の形態として提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００３５】
さらに、上述した車外監視装置１によって実行される処理（図４に示したフローチャート）を構成する各工程は、必ずしも上記実施形態で説明した順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【符号の説明】
【００３６】
１  車外監視装置
２  メインカメラ
３  サブカメラ
４  画像補正部
５  ステレオ画像処理部
６  画像データメモリ
７  距離データメモリ
８  立体物検出部
９  データ補正部
１０  制御部
【図１】
2018026021.tif 000003
【図２】
2018026021.tif 000004
【図３】
2018026021.tif 000005
【図４】
2018026021.tif 000006
【図５】
2018026021.tif 000007
【図６】
2018026021.tif 000008
【図７】
2018026021.tif 000009
【図８】
2018026021.tif 000010
【図９】
2018026021.tif 000011