(57)【要約】【課題】特徴点の乏しい面成分を検出できる面成分検出装置を提供すること。【解決手段】画像取得部１１０は、面成分を複数カメラで撮影してステレオ画像を取得する。対応点探索部１２０は、ステレオ画像におけるエピポーラ線上の１次元画像信号ごとに、１次元位相限定相関法を用いてステレオ対応付けを行う。３次元復元部１３０は、ステレオ画像を基に視差情報を算出し、視差情報を基に面成分の３次元位置を検出する。地上面検出部１４０は、面成分の連続性から、地上面を検出する。【選択図】図１
2009026250.tif 000002
【特許請求の範囲】
【請求項１】
所定物体の表面領域である面成分を複数カメラで撮影してステレオ画像を取得する画像取得部と、
前記ステレオ画像におけるエピポーラ線に基づく１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する視差情報算出部と、
前記視差情報を基に面成分を検出する面成分検出部と、
を有する面成分検出装置。
【請求項２】
前記画像取得部は、
前記面成分と平行になるエピポーラ線を決定する前記複数カメラを用いて、前記ステレオ画像を取得する、
請求項１に記載の面成分検出装置。
【請求項３】
前記画像取得部は、
前記面成分中で同じ視差を持つ領域の長軸と平行になるエピポーラ線を決定する前記複数カメラを用いて、前記ステレオ画像を取得する、
請求項１に記載の面成分検出装置。
【請求項４】
前記視差情報算出部は、
前記ステレオ画像における前記エピポーラ線に沿ってライン状の１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する、
請求項１に記載の面成分検出装置。
【請求項５】
前記視差情報算出部は、
前記エピポーラ線に沿って等視差が存在する面成分において前記ステレオ対応付けを行う、
請求項１に記載の面成分検出装置。
【請求項６】
前記視差情報算出部は、
低階層で求めたステレオ対応付け位置を基に高階層におけるステレオ対応付けの初期位置を決定して階層探索を行う、
請求項１に記載の面成分検出装置。
【請求項７】
前記視差情報算出部は、
所定範囲の視差の値を持つ複数の１次元画像信号に基づき、前記視差情報となる視差の値を算出する、
請求項１〜請求項６のいずれかに記載の面成分検出装置。
【請求項８】
前記視差情報算出部は、
前記ステレオ画像に対して離散フーリエ変換を行うことで算出される、前記１次元画像信号における周波数成分の位相差により、前記視差情報となる視差の値を算出する、
請求項１〜請求項７のいずれかに記載の面成分検出装置。
【請求項９】
前記視差情報算出部は、
前記ステレオ対応付けをステレオ画像における複数のエピポーラ線について行うことにより前記視差情報を複数算出し、
前記面成分検出部は、
前記ステレオ画像における前記エピポーラ線に直交する方向に対して、前記複数の視差情報の連続性を判定することで、前記面成分を検出する、
請求項１〜請求項８のいずれかに記載の面成分検出装置。
【請求項１０】
請求項１〜請求項９のいずれかに記載の面成分検出装置と、
前記面成分検出装置で検出された前記面成分の情報を基に地上面を検出する地上面検出部と、
を有する地上面検出装置。
【請求項１１】
請求項１〜請求項９のいずれかに記載の面成分検出装置と、
前記面成分検出装置で検出された前記面成分の情報を基に障害物を検出する障害物検出部と、
を有する障害物検出装置。
【請求項１２】
請求項１〜請求項９のいずれかに記載の面成分検出装置と、
前記面成分検出装置で検出された前記面成分の情報を基に地上面を検出する地上面検出部と、
前記地上面検出部で検出された前記地上面の情報を基に障害物を検出する障害物検出部と、
を有する障害物検出装置。
【請求項１３】
障害物を検出したときに警告を出力する警告出力部、
をさらに有する請求項１２記載の障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、地上面及び障害物を含む環境を複数カメラで撮影して得られたステレオ画像から、面成分を検出し、地上面及び障害物を検出する装置に関する。
【背景技術】
【０００２】
自動車等において、障害物との衝突の危険を運転者に警告する障害物警告システムが開発されている。このような障害物警告システムでは、障害物の検出のために、カメラやレーダといった車載のセンサを用いる。
【０００３】
車載のセンサとして複数のカメラからなるステレオカメラを用いた場合には、各カメラ画像において同じ物体が撮像されている位置を特定して（この処理を「ステレオ対応付け」と呼ぶ）、撮像位置の違いである「視差」を算出する。この算出された視差を基に三角測量を行うことで、自車から物体までの距離を測定することができ、自車と衝突する可能性の高い障害物を検出することができる。
【０００４】
車環境における障害物は地上面に接して存在するため、障害物検出の前処理として地上面検出を行い、検出された地上面の位置や形状の情報を利用することにより、障害物検出を高精度化することが可能となる。地上面検出の従来の装置としては、例えば特許文献１に記載されているものがある。
【０００５】
特許文献１記載の技術では、自車前方をステレオカメラで撮影して一対の画像データを取得し、画像データ対の視差に基づいて距離データを算出する。そして画像データを垂直方向の複数領域に分割して分割領域毎に白線を検出し、算出済み距離データを基に白線の３次元位置を求めることで、地上面を検出する。
【特許文献１】特開２００１−８８６３６号公報
【非特許文献１】柴原 琢磨、青木 孝文、中島 寛、小林 孝次  「１次元位相限定相関法に基づくステレオ画像のサブピクセル対応付け手法」（第２１回信号処理シンポジウム資料）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように従来の装置では、まず地上面上の特徴点や線分（白線など）を検出して、その特徴点までの距離計測や白線幅の計測によって地上面を検出する。しかしながら、特徴点の乏しい環境や白線の無い環境においては、地上面の検出を行うことができないという問題がある。
【０００７】
本発明は、かかる点に鑑みてなされたものであり、特徴点の乏しい面成分を検出できる面成分検出装置、地上面検出装置、及び障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の面成分検出装置は、所定物体の表面領域である面成分を複数カメラで撮影してステレオ画像を取得する画像取得部と、前記ステレオ画像におけるエピポーラ線に基づく１次元画像信号ごとにステレオ対応付けを行うことで、視差情報を算出する視差情報算出部と、前記視差情報を基に面成分を検出する面成分検出部とを具備する構成を採る。
【０００９】
これにより、エピポーラ線上に等視差が存在する面成分において、ステレオ対応付けに必要な画像信号の情報量を適切に増加させることができるため、面成分に該当する視差を高精度に算出でき、面成分の検出を高精度に行うことが可能となる。
【００１０】
また、ステレオカメラの光学中心を結ぶ線（基線）が地上面に平行となるようにステレオカメラを配置した場合、地上面の検出を高精度に行うことができる。さらに、地上面を検出することにより、地上面の位置より上方に存在する物体を障害物として検出することが可能となる。
【発明の効果】
【００１１】
本発明によれば、特徴点の乏しい面成分を検出できる。また、この面成分検出を用いることにより、特徴点や白線などの線分の無い地上面でも検出でき、地上面を用いた障害物検出が可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
【００１３】
（実施の形態１）
図１は、本発明の実施の形態１に係る障害物警告装置１００の概略構成を表すブロック図である。本実施の形態は、視差情報を基に所定物体の表面領域である面成分を検出する面成分検出装置を、車両に搭載される障害物警告装置に適用した例である。
【００１４】
障害物警告装置１００は、画像取得部１１０、対応点探索部１２０、３次元復元部１３０、地上面検出部１４０、障害物検出部１５０、衝突判断部１６０、及び警告出力部１７０を有する。
【００１５】
画像取得部１１０は、車両に搭載された２個のカメラを用いて地上面のステレオ画像を取得し、取得したステレオ画像の平行化処理を行う。２個のカメラは、地上面の画像をステレオ画像として取り込むカメラであり、例えば、車両のフロントガラスの上部の車室天井面前方、室内ミラー上部に設置される。この２個のカメラは、２個一組のモジュール構成でもよく、障害物警告装置１００と一体に設けられてもよい。２個のカメラは、撮影領域の視線方向が車両の進行方向に向き、かつ車両の幅方向、つまり車両の進行方向に向かって左右の方向（以下「左右方向」という）のステレオ画像を撮像する。本実施の形態では、車両の進行方向に対して左の撮影領域を撮影するカメラを基準カメラ、右の撮影領域を撮影するカメラを比較カメラとし、基準カメラと比較カメラを合わせてステレオカメラとする。基準カメラで撮影された画像を基準画像、比較カメラで撮影された画像を比較画像とし、基準画像と比較画像を合わせてステレオ画像とする。右のカメラを基準カメラとし、左のカメラを比較カメラとしてもよい。また、カメラの数は２個に限定されるものではなく、より多くのカメラを備えるように構成してもよい。
【００１６】
画像取得部１１０は、左右に配置した２個のカメラで同時刻に撮影を行い、車両の前方で撮影領域がオーバーラップした２枚１組の画像（ステレオ画像）を取得する処理を行う。
【００１７】
画像取得部１１０は、取得したステレオ画像の平行化処理を行う。平行化処理とは、撮影されたステレオ画像を平行カメラで撮影した画像に変換する処理である。
【００１８】
平行化処理を行うためには、必要なパラメータを予め求めておく必要がある。このパラメータの算出方法としては、形状が既知で特徴点の明確な対象物（例えばチェッカーボード）をステレオカメラで撮影し、各カメラにおける特徴点の検出結果を基にしてパラメータを生成する方法が一般的に知られている。ここでは、平行化処理に必要なパラメータの生成は、既に障害物警告装置１００の出荷前に行われ、障害物警告装置１００は、平行化処理に必要なパラメータを持っているものとする。
【００１９】
ここで、上記ステレオ画像の平行化処理は必ずしも必要ではなく、平行化処理を行わない構成としてもよい。この場合には、後段の対応点探索部１２０において、エピポーラ線に沿って１次元画像信号を切り出すように処理すればよい。
【００２０】
対応点探索部１２０は、画像取得部１１０にて取得されたステレオ画像における対応点を求める処理を行う。基準画像と比較画像において、同一物体が撮像された位置をステレオ対応付けにより求めて対応点を得る。対応点を求める際に、対応点探索部１２０は、ステレオ画像におけるエピポーラ線上の１次元画像信号ごとに、ステレオ対応付けを行う。ステレオ対応付けにより対応点を求める方法の詳細については後述する。
【００２１】
３次元復元部１３０は、対応点探索部１２０により算出された対応点情報から視差を求め、３次元空間において座標を持つ３次元点に変換する。３次元復元部１３０により算出された３次元点情報は、地上面検出部１４０と障害物検出部１５０に送られる。
【００２２】
地上面検出部１４０は、３次元復元部１３０により算出された３次元点情報を基に、地上面の検出を行う。
【００２３】
障害物検出部１５０は、３次元復元部１３０により算出された３次元点情報と、地上面検出部１４０によって検出された地上面情報とを基に、障害物の検出を行う。
【００２４】
衝突判断部１６０は、障害物検出部１５０の検出結果を基に、障害物警告装置１００を搭載した車両（以下単に「車両」という）と障害物との衝突の可能性を判断する。衝突判断部１６０は、障害物検出結果を時系列に保存しておき、障害物の位置の変化を解析することで、車両に対する障害物の相対速度を算出する。そしてこの相対速度が車両に接近する方向に対して所定の閾値以上の場合には、障害物と衝突する可能性があるとする判断結果を生成する。
【００２５】
警告出力部１７０は、衝突判断部１６０の判断結果を基に、運転者に対して警告を行う。
【００２６】
障害物警告装置１００は、マイクロプロセッサ等により構成され、図示しないＲＯＭ等の記憶媒体に格納された制御プログラムを実行して地上面検出動作を行う。障害物警告装置１００は、地上面の３次元点を複数検出することにより、地上面を検出する。地上面の３次元点は、地上面の各点のステレオ画像における視差と、ステレオカメラの焦点距離とから、三角測量の原理を用いて算出する。
【００２７】
以下、上述のように構成された障害物警告装置１００の動作について説明する。まず、本発明の基本的な考え方について説明する。
【００２８】
〔三角測量の原理〕
図２は、三角測量の原理を用いた３次元点算出の概要を示す図である。図２では物体（ここでは車両）の３次元位置を、左カメラ（基準カメラ）と右カメラ（比較カメラ）を用いて求める場合を例として説明する。
【００２９】
左右カメラのそれぞれにおいて、物体の像は、レンズを介してＣＣＤセンサ等の撮像素子の撮像面で結像する。左右のカメラが平行ステレオの場合、左右カメラにおける物体の像の視差は、左右方向における像の位置のずれとして検出される。このずれ（視差）と左右のカメラの距離（基線長）、および焦点距離とから、三角測量の原理により、物体までの距離が求められる。具体的には、左右カメラの焦点距離に基線長を乗じた値を視差で除することにより、カメラから物体までの光軸方向における距離が算出される。また、距離以外の物体の３次元的な位置情報についても、撮像面における物体の像の位置、焦点距離、および視差から算出することが可能である。
【００３０】
〔地上面検出方法〕
図３〜図５は、本実施例における地上面検出方法を説明する図である。図３は、車両の前方に見える風景の一例を、図４は、図３の風景を撮像したときのステレオ画像の一例をそれぞれ示す。図５は、図４のステレオ画像を例として、エピポーラ線上の１次元画像信号を用いた対応点検出の概要を説明する図である。図３〜図５において、５０１は面成分を検出する対象となる道路面、５０２１〜５０２３は道路面５０１を走行する車両、５０３は道路面５０１の側方の壁である。
【００３１】
図３の車両から見た風景に対して左右カメラは、図４に示す画像を撮影する。図４に示すように、左カメラ画像５００Ｌと右カメラ画像５００Ｒの双方に、道路面５０１、車両５０２１〜５０２３、壁５０３が写っている。左カメラ画像５００Ｌと右カメラ画像５００Ｒでは、車両５０２１〜５０２３と壁５０３の位置が異なっており、特に、手前側に位置する車両５０２ほど位置の違いが大きくなっている。
【００３２】
左カメラ画像５００Ｌと右カメラ画像５００Ｒにおける像の位置の違いは、ステレオカメラにより近い物体ほど大きくなる。これは、物体までの距離と視差は反比例の関係にあるためである。ステレオカメラからの距離に応じて視差が異なるのは、上記車両５０２１〜５０２３に限らず地上面の各点についても同様である。地上面の各点について、視差が異なることが顕在化しないのは、地上面が一見して特徴がないように見えることに過ぎない。
【００３３】
車両などの障害物の場合、左右カメラの画像で対応する点を検出することは容易である。白線などの特徴点を有する地上面の場合も、分割領域毎の距離データを基に白線の３次元位置を求めることで比較的容易に検出できる。ところが、特徴点に乏しい地上面の場合、左右カメラの画像で対応する点を検出することは難しい。
【００３４】
そこで、障害物警告装置１００は、地上面に平行にステレオカメラを配置したときにエピポーラ線上で等視差となる領域が地上面に存在することを利用し、ステレオ画像における地上面の対応点を検出する。
【００３５】
物体とステレオカメラの光学中心が張る平面をエピポーラ平面と呼ぶ。エピポーラ線は、エピポーラ平面とステレオカメラの画像面との交線として定義される。
【００３６】
道路面の多くは平面であり、起伏がある場合でも各地点の幅方向成分は平行となっている場合が多い。また、道路面上を走行する車両の左右方向は、通常、道路面の幅方向に対して平行である。つまり、車両の進行方向前方に見える道路面は、車両の左右方向に平行な成分を多く有する。また、エピポーラ平面は、常にステレオカメラの光学中心を結ぶ線を通過する。したがって、ステレオカメラの光学中心を結ぶ線が車両の左右方向に平行となるようにステレオカメラを配置した場合、エピポーラ平面と地上面との交線の多くは、ステレオカメラの光学中心を結ぶ線に平行となる。また、ステレオカメラの光学中心を結ぶ線に平行な直線上の各点の視差は等しくなる。
【００３７】
つまり、同一のエピポーラ平面に属するエピポーラ線上には、地上面の等視差となる領域の１次元画像が存在する可能性が高い。障害物警告装置１００は、エピポーラ線上に地上面の等視差となる領域の１次元画像が存在する可能性が高いことを利用し、ステレオ対応付けをエピポーラ線上の１次元画像信号ごとに行うことにより、地上面の各点の対応点を検出する。
【００３８】
障害物警告装置１００は、図５に示すように、左カメラ画像（基準画像）５００Ｌにおけるエピポーラ線５１０Ｌ上の１次元画像信号５２０Ｌと、右カメラ画像（比較画像）５００Ｒにおけるエピポーラ線５１０Ｒ上の１次元画像信号５２０Ｒとを抽出する。エピポーラ線５１０Ｌ、５１０Ｒは、同一のエピポーラ平面上に存在する線である。ここでは、左右カメラ画像それぞれの中心を基準として、同じサイズの１次元画像を切り出した例を図示している。
【００３９】
ここで、１次元画像信号５２０Ｌ、５２０Ｒの各ピクセルを、それぞれ基準からの番号を添え字とする記号Ｐで表す。１次元画像信号５２０Ｌ、５２０Ｒのパターンを比較すると、例えば、１次元画像信号５２０Ｌにおける９番目〜１２番目のピクセルＰ９〜Ｐ１２は、１次元画像信号５２０Ｒにおける６番目〜９番目のピクセルＰ６〜Ｐ９に対応している。つまり、１次元画像信号５２０Ｌと１次元画像信号５２０Ｒでは、３ピクセル分、パターンの位置がずれていることがわかる。
【００４０】
障害物警告装置１００は、このようなパターンの位置の違いを検出することにより、地上面の視差を算出する。また、上記したように特徴点の少ない地上面であっても検出できるように、後述する１次元位相限定相関法を用いた１次元画像の比較を行う。その後、障害物警告装置１００は、視差が検出された部分の３次元位置を算出し、複数箇所の３次元位置から、地上面を検出する。
【００４１】
〔障害物警告装置１００の動作〕
図６は、障害物警告装置１００の動作を示すフローチャートであり、この動作はマイクロプロセッサにより実行される。
【００４２】
ステップＳ１では、画像取得部１１０は、カメラを用いて前方画像を取得する。そして、取得した画像の平行化処理を行い、対応点探索部１２０に送る。
【００４３】
ステップＳ２では、対応点探索部１２０は、画像取得部１１０にて取得された画像を基にステレオ対応付けを行い、対応点を算出する。そして、算出した対応点情報を、３次元復元部１３０に送る。
【００４４】
ステップＳ３では、３次元復元部１３０は、対応点探索部１２０にて算出した対応点情報を基に視差を求め、３次元空間における座標を算出して３次元点を復元する。そして、復元された３次元点の情報を、地上面検出部１４０と障害物検出部１５０に送る。
【００４５】
ステップＳ４では、地上面検出部１４０は、３次元復元部１３０にて算出された３次元点情報を基に、前述した地上面検出手順にて地上面を検出する。そして、検出した地上面の情報を、障害物検出部１５０に送る。
【００４６】
ステップＳ５では、障害物検出部１５０は、３次元復元部１３０にて算出された３次元点情報と、地上面検出部１４０にて検出された地上面の情報を基に、障害物を検出する。そして、検出した障害物の情報を、衝突判断部１６０に送る。
【００４７】
ステップＳ６では、衝突判断部１６０は、障害物検出部１５０にて検出された障害物の情報を基に、車両が障害物と衝突する可能性を判断する。そして、警告出力部１７０は、衝突判断部１６０の判断結果に応じて、運転者に危険警告を行う。
【００４８】
マイクロプロセッサは、障害物警告装置１００の動作中、上記ステップＳ１〜Ｓ５の処理を、所定の周期で繰り返し実行する。
【００４９】
次に、障害物警告装置１００の各部の動作について、詳細に説明する。
【００５０】
〔画像取得部１１０の動作〕
画像取得部１１０は、車両に搭載されたカメラを用いて地上面のステレオ画像を取得し、取得したステレオ画像の平行化処理を行う。
【００５１】
図７は、画像取得部１１０が実行するステレオ画像の平行化処理を説明する図である。図７（Ａ）は、平行化前のステレオ画像を示し、図７（Ｂ）は、平行化後のステレオ画像を示す。
【００５２】
平行化処理とは、図７に示すように、ステレオ画像における基準画像と比較画像について、それぞれのエピポーラ線が画像の水平座標軸に対して平行となるように幾何補正を行う処理である。平行化処理に必要なパラメータは、上記したように出荷前に生成される。
【００５３】
基準画像５００Ｌにおけるエピポーラ線５１０Ｌと基準画像５００Ｌにおけるエピポーラ線５１０Ｌは、同一のエピポーラ平面に属しているものとする。平行化前の基準画像５００Ｌにおけるエピポーラ線５１０Ｌと、平行化前の比較画像５００Ｒにおけるエピポーラ線５１０Ｒは、通常、図７（Ａ）に示すように、画像の水平座標軸に対して平行となっていない。
【００５４】
図７（Ｂ）に示すように、平行化後の基準画像５００Ｌにおけるエピポーラ線５１０Ｌと、平行化後の比較画像５００Ｒにおけるエピポーラ線５１０Ｒは、画像の水平座標軸に対して平行となる。画像取得部１１０は、平行化処理したステレオ画像を、対応点探索部１２０に送る。
【００５５】
対応点探索部１２０は、エピポーラ線５１０Ｌ上の１次元画像信号ｆ（ｎ）と、エピポーラ線５１０Ｒ上の１次元画像信号ｇ（ｎ）を切り出し、基準点ｐに対応する対応点ｑを求める。したがって、平行化処理が行われることにより、対応点探索部１２０では、画像の水平方向に連続した画像信号を取得して１次元画像信号を容易に切り出すことが可能となる。
【００５６】
なお、上述したように、ステレオ画像の平行化処理は必ずしも必要ではなく、対応点探索部１２０では、図７（Ａ）に示すエピポーラ線に沿って１次元画像信号を切り出すようにしてもよい。
【００５７】
〔対応点探索部１２０の動作〕
対応点探索部１２０は、図７（Ｂ）に示すように、基準点ｐを中心としたエピポーラ線５１０Ｌ上の１次元画像信号ｆ（ｎ）と、エピポーラ線５１０Ｒ上の１次元画像信号ｇ（ｎ）とを比較し、基準点ｐに対応する対応点ｑを求める。対応点探索部１２０は、基準点ｐに対応する対応点ｑの候補となる対応候補点ｑ’を中心として、１次元画像信号ｇ（ｎ）を切り出す。
【００５８】
対応点探索部１２０の動作について具体的に説明する。まず、１次元位相限定相関法によるステレオ対応付け方法、階層探索と１次元位相限定相関法を用いた対応点探索、及び等視差情報の利用による対応点探索の高精度化について順次説明する。
【００５９】
なお、１次元位相限定相関法によるステレオ対応付け方法、及び、階層探索と１次元位相限定相関法を用いた対応点探索については、非特許文献１に記載の内容に基づいている。
【００６０】
[１次元位相限定相関法によるステレオ対応付け方法]
平行化された２枚の画像を基準画像及び比較画像としたとき、基準画像の基準点ｐに対応する比較画像の対応点ｑを見付ける方法を説明する。
【００６１】
図７（Ｂ）で説明したように、対応点探索部１２０は、平行化後の基準画像５００Ｌから、基準点ｐを中心とした１次元の画像信号を切り出し、ｆ（ｎ）とする。ここで、１次元画像信号ｆ（ｎ）はエピポーラ線５１０Ｌと同じ方向に有限の長さで切り出すものとする。同様に、対応点探索部１２０は、平行化後の比較画像５００Ｒから、探索する対応点ｑの候補となる点ｑ’を中心として１次元画像信号ｇ（ｎ）を切り出す。この１次元画像信号ｇ（ｎ）は基準点ｐに対応するエピポーラ線５１０Ｒ上に存在する。
【００６２】
ここで、１次元画像信号の離散空間インデックスを便宜上、ｎ＝−Ｍ，・・・，Ｍとする。Ｍは正の整数であり、１次元画像信号の長さＮは、Ｎ＝２Ｍ＋１で与えられる。なお、ここでは、説明を簡単にするために離散空間のインデックスを正負対称に取り、かつ１次元画像信号の長さを奇数にしているが、これは本手法の構成において必須ではない。例えば、０以上の離散空間インデックスを用い、１次元画像信号の長さＮを任意の正の整数に設定するように一般化することが可能である。
【００６３】
なお、１次元画像信号ｆ（ｎ）とｇ（ｎ）は、必ずしも基準点ｐとその対応候補点ｑ’を厳密に中心として切り出す必要はなく、それらの上を通るように切り出せばよい。このとき、ｆ（ｎ）とｇ（ｎ）の１次元離散フーリエ変換を、それぞれ以下の式（１）、（２）で定義する。
【数１】
2009026250.tif 000003
【数２】
2009026250.tif 000004
【００６４】
上記ＷＮは、以下の式（３）で与える。
【数３】
2009026250.tif 000005
【００６５】
ここで、ＡＦ（ｋ）及びＡＧ（ｋ）はそれぞれ１次元画像信号ｆ（ｎ）及びｇ（ｎ）の振幅成分であり、θＦ（ｋ）及びθＧ（ｋ）はそれぞれの位相成分である。また、離散周波数のインデックスをｋ＝−Ｍ，・・・，Ｍとする。ここで、離散空間のインデックスｎと同様に、離散周波数ｋのインデックスの選び方にも自由度がある。このとき、合成位相スペクトルＲ（ｋ）を、以下の式（４）で与える。
【数４】
2009026250.tif 000006
【００６６】
上線が付されたＧ（ｋ）はＧ（ｋ）の複素共役を表し、θ（ｋ）＝θＦ（ｋ）−θＧ（ｋ）である。なお、Ｆ（ｋ）とＧ（ｋ）の複素共役との積が値「０」の場合は、式（４）の計算は不可能であり、計算上の工夫が必要である。しかし、実際のカメラで撮影された画像の場合、これは大きな問題にならない。
【００６７】
ｆ（ｎ）とｇ（ｎ）の１次元位相限定相関関数ｒ（ｎ）を、合成位相スペクトルＲ（ｋ）の１次元逆離散フーリエ変換として、以下の式（５）のように定義する。ここで、ｎ＝−Ｍ，・・・，Ｍである。
【数５】
2009026250.tif 000007
【００６８】
次に、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）が、互いに微小移動した関係にある場合を考える。つまり、このｆ（ｎ）とｇ（ｎ）に含まれる位置ずれ量を、サブピクセル分解能で推定する問題を考える。
【００６９】
ここで、ｆｃ（ｘ）を、連続空間変数ｘの上で定義された１次元画像信号とする。これを実数値δだけ微小移動した１次元画像信号は、ｆｃ（ｘ−δ）と表される。このとき、ｆ（ｎ）とｇ（ｎ）が、ｆｃ（ｘ）及びｆｃ（ｘ−δ）を適当な空間サンプリング間隔Ｔでサンプリングしたものであると仮定する。つまりｆ（ｎ）とｇ（ｎ）を、それぞれ以下の式（６）、（７）で定義する。
【数６】
2009026250.tif 000008
【数７】
2009026250.tif 000009
【００７０】
以下、簡単のためにＴ＝１とする。このとき実数値の移動量δについて、サンプリング間隔を越える分解能で検出する方法を示す。
【００７１】
まず、δが小さい場合、ｆ（ｎ）とｇ（ｎ）の１次元離散フーリエ変換Ｆ（ｋ）とＧ（ｋ）に関して、以下の式（８）に示す近似が成り立つ。
【数８】
2009026250.tif 000010
【００７２】
式（８）が近似であるのは、連続時間信号と離散時間信号に対するフーリエ変換の性質の違いに起因する。このとき、Ｆ（ｋ）とＧ（ｋ）の合成位相スペクトルＲ（ｋ）及び１次元位相限定相関関数ｒ（ｎ）は、それぞれ以下の式（９）、（１０）で与えられる。
【数９】
2009026250.tif 000011
【数１０】
2009026250.tif 000012
【００７３】
ここで、α＝１、ｎ＝−Ｍ，・・・，Ｍである。式（１０）は１次元画像信号がδだけ位置ずれした場合における１次元位相限定相関関数の一般形を表している。αは相関値のピークの高さを表現するために導入されたパラメータであり、画像にノイズが加わると、αの値が減少することが実験で確認されているため、実際にはα≦１となる。
【００７４】
δが整数の場合、式（１０）はデルタ関数となり、そのピークはｎ＝−δに位置し、ピークの高さはαとなる。実際の１次元位相限定相関関数ｒ（ｎ）の計算値から、このピークの位置を検出することにより、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）の位置ずれδを検出することができる。つまり、１次元画像信号ｆ（ｎ）における基準点ｐに対して、１次元画像信号ｇ（ｎ）におけるその対応点ｑは、対応候補点ｑ’とδを用いて、以下の式（１１）のように求めることができる。
【数１１】
2009026250.tif 000013
【００７５】
ここで、式（１１）において、ｑ及びｑ’は、直交座標系の位置ベクトルとして表現されているものとする。なお、その際、位置ずれδの方向を水平方向、つまりベクトル（１，０）の方向にとっている。
【００７６】
[１次元位相限定相関法によるステレオ対応付け方法の高精度化]
次に、上記基本手法を基にして、それを発展させ、切り出した１次元画像信号ｆ（ｎ）とｇ（ｎ）の間の位置ずれ量δを高精度に推定する手法について説明する。
【００７７】
Ａ．位置ずれ量をサブピクセル精度で推定するための関数フィッティング手法
一般に、位置ずれ量δは実数値をとり、１次元位相限定相関関数のピーク座標はサンプリング格子点の間に存在するため、正確に位置ずれ量δを推定することが困難になる。そこで、１次元位相限定相関関数のピーク形状のモデルが式（１０）の右辺の関数で表わされることを考慮し、この関数そのもの、または、式（１０）の右辺を近似的に表現する適当な関数（例えば、２次関数など）を、実際に計算された１次元位相限定相関関数の数値データに対してフィッティングすることによって、画像のピクセル間に存在するピークの位置を推定することができる。一般に、（及び必要に応じてα）が推定されるパラメータとなる。
【００７８】
Ｂ．離散フーリエ変換における不連続性を低減するための窓関数の適用
１次元離散フーリエ変換は信号が循環することを仮定するため、端点での信号の不連続性が問題となる。この不連続性の影響を低減するため、入力された１次元画像信号ｆ（ｎ）及びｇ（ｎ）に対して適当な窓関数（ハニング窓、ガウス窓など）を適用することが高精度化を実現する上で重要である。例えば，窓関数の一例としては，以下の式（１２）に示すようなハニング窓が挙げられる
【数１２】
2009026250.tif 000014
【００７９】
Ｃ．スペクトル重み付け関数の適用
一般に、自然画像の場合、そのエネルギーは低周波成分に集中し、高周波成分のエネルギーは相対的に小さいことが知られている。このため、エイリアシング、ぼけ、雑音、歪みなどの影響により高周波成分に外乱が加わると、画像の高周波成分のＳ／Ｎ比が大幅に劣化する。そこで、信頼性の低い高周波成分の影響を抑制するためにスペクトル重み付け関数を適用する。
【００８０】
具体的には、任意の特性を持つスペクトル重み付け関数Ｈ（ｋ）を合成位相スペクトルＲ（ｋ）に乗じることにより、周波数成分ごとに重み付けを行う。なお、通常は、低域通過型のスペクトル重み付け関数（方形フィルタ、ガウスフィルタなど）を適用し、信頼性の低い高周波成分の除去を行うと効果的である。
【００８１】
スペクトル重み付け関数Ｈ（ｋ）を用いる場合、１次元位相限定相関関数ｒ（ｎ）はＨ（ｋ）・Ｒ（ｋ）の１次元逆離散フーリエ変換として定義されるため、そのピーク形状のモデルが式（１０）とは異なる。そこで、Ｈ（ｋ）に応じて異なるピーク形状のモデルを用いる必要がある。その場合も、基本的には本実施の形態で説明する各種の手法が適用可能である。例えば，スペクトル重み付け関数Ｈ（ｋ）の一例としては，以下の式（１３）のようなガウス関数が挙げられる。
【数１３】
2009026250.tif 000015
【００８２】
Ｄ．複数の１次元画像信号の利用による高信頼化
これまで、基準画像における基準点ｐを中心として抽出した１次元画像信号ｆ（ｎ）と比較画像における対応候補点ｑ’を中心として抽出した１次元画像信号ｇ（ｎ）を用いて、その位置ずれ量δを推定することにより、真の対応点ｑを求める手法について示してきた。しかし、実際に撮影した画像を用いた場合、一組の１次元画像信号を用いただけでは、高い信頼性でピークの位置を判定することはきわめて難しい。
【００８３】
そこで、以下、複数の１次元画像信号の組を対応点ｑの近傍から抽出し、それらの相関計算の結果を統合することによって、より信頼性の高いピーク位置の推定を行う方法について説明する。
【００８４】
図８は、複数の１次元画像信号の組の選び方の一例を示す図である。
【００８５】
図８に示すように、まず、対応点探索部１２０は、基準画像の基準点ｐの周辺からＢ個の１次元画像信号ｆｉ（ｎ）（ｉ＝１，２，・・・，Ｂ）を抽出する。一方、比較画像の点ｑ’の周辺の対応する位置からも、Ｂ個の１次元画像信号ｇｉ（ｎ）（ｉ＝１，２，・・・，Ｂ）を抽出する。図８に示す例ではＢ＝５としており、ｐとｑ’の周辺から規則正しい配置で、１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）をそれぞれ５つずつ抽出している。これらの５つの１次元画像信号の対から位置ずれ量δを高精度に推定することによって、基準点ｐに対応する真の対応点ｑを求めることができる。
【００８６】
１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）の１次元位相限定相関関数を、以下、ｒｉ（ｎ）と表記し、ｉ＝１，２，・・・，Ｂである。これらＢ個の１次元位相限定相関関数ｒｉ（ｎ）の重み付き平均として、累積位相限定相関関数ｒａｌｌ（ｎ）を以下の式（１４）のように定義する。
【数１４】
2009026250.tif 000016
【００８７】
ここで、ｗｉはｒｉ（ｎ）に付随する重み係数であり、任意の定数に選ぶことができる。このように定義されたｒａｌｌ（ｎ）は重み付き平均化された１次元位相限定相関関数である。ｒｉ（ｎ）及びｒａｌｌ（ｎ）に対して、基本的にこれまでに説明した全ての高精度化手法を適用することができる。つまり、これまでに説明した単一の１次元位相限定相関関数ｒｉ（ｎ）を用いた手法は、容易にｒｉ（ｎ）及びｒａｌｌ（ｎ）を用いるように拡張することが可能である。
【００８８】
なお、計算量を減少させる手法として次のようなことが考えられる。１次元画像信号ｆｉ（ｎ）とｇｉ（ｎ）の合成位相スペクトルをＲｉ（ｋ）と表記し、累積合成位相スペクトルＲａｌｌ（ｋ）を、以下の式（１５）で定義する。
【数１５】
2009026250.tif 000017
【００８９】
このとき、ｒａｌｌ（ｎ）はＲａｌｌ（ｋ）の１次元逆離散フーリエ変換であるため、あらかじめＲａｌｌ（ｋ）を計算してから、これを１次元逆離散フーリエ変換してｒａｌｌ（ｎ）を計算することができる。Ｂが大きい場合は、この計算法は、Ｒｉ（ｋ）をｒｉ（ｎ）に個別に１次元逆離散フーリエ変換するよりも計算量が少ない。
【００９０】
対応点探索部１２０は、以上説明した手法Ａ〜Ｄのいずれかを用いることによって、または用途に応じて手法Ａ〜Ｄを組み合わせて用いることによって、対応点を探索し、１次元画像信号ｆ（ｎ）とｇ（ｎ）の間の位置ずれ量δを推定する。
【００９１】
[階層探索と１次元位相限定相関法を用いた対応点探索]
上記ステレオ対応付け処理では、探索範囲内の対応候補点ｑ’の付近に真の対応点ｑが存在すると暗に仮定してきた。この仮定を常に成立させるために、１次元位相限定相関法による対応付けと粗密戦略に基づく階層探索とを組み合わせる。このアルゴリズムによって、基準画像の全域にわたって基準点ｐを変化させながら、対応点ｑを探索することによって、基準画像と比較画像の全体についてステレオ対応付けを行うことができる。
【００９２】
図９は、１次元位相限定相関法による対応付けと階層探索との組み合わせによる対応点探索処理を示す図である。ここでは、３段階の解像度の画像を用いて対応点探索を行う場合を例として説明する。図９において、上段は低解像度のステレオ画像、中段は中解像度のステレオ画像、下段は原画像など高解像度のステレオ画像である。また、１次元画像信号の切り出しサイズを一定とし、１次元画像信号の切り出しサイズを揃えた大きさで各解像度の画像を示している。
【００９３】
まず、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１で、対応候補点ｑ’を基準点ｐと同一として、エピポーラ線５１０上に１次元画像信号５２０Ｌ１、５２０Ｒ１の切り出し位置を設定する。このとき、真の対応点ｑが、右カメラ画像５００Ｒ１の１次元画像信号５２０Ｒ１に含まれるように、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１の解像度を十分に低く設定する。そして、図５で説明したように、１次元画像信号５２０Ｌ１、５２０Ｒ１の位置のずれを判別し、対応候補点ｑ’を更新する。
【００９４】
次に、中解像度の左右カメラ画像５００Ｌ２、５００Ｒ２で、エピポーラ線５１０上に１次元画像信号５２０Ｌ２、５２０Ｒ２の切り出し位置を設定する。このとき、低解像度の左右カメラ画像５００Ｌ１、５００Ｒ１に基づいて設定された対応候補点ｑ’を中心として、右カメラ画像５００Ｒ２における１次元画像信号５２０Ｒ２の位置を設定する。そして同様に、１次元画像信号５２０Ｌ２、５２０Ｒ２のパターンを比較して何ピクセルずれているかを判別し、対応候補点ｑ’を更新する。
【００９５】
さらに、高解像度の左右カメラ画像５００Ｌ３、５００Ｒ３で、同様に中解像度の左右カメラ画像５００Ｌ２、５００Ｒ２に基づいて設定された対応候補点ｑ’を中心として、右カメラ画像５００Ｒ３における１次元画像信号５２０Ｒ３の位置を設定する。そして、１次元画像信号５２０Ｌ３、５２０Ｒ３のパターンを比較して何ピクセルずれているかを判別し、対応点ｑを求める。
【００９６】
このように、基準画像及び比較画像のそれぞれについて、解像度を段階的に低下させた複数の低解像度画像を準備して、低い解像度から順に階層探索することにより、画像に対する相対的な探索の範囲を階層ごとに変更する。これにより、高い解像度の画像において対応点探索の範囲を絞り込むことができ、演算量を低減することができる。
【００９７】
但し、多重解像度画像を用いることは必須ではなく、単純に、原画像上で探索範囲を段階的に変更（徐々に縮小）しつつ階層探索することによって、対応点ｑの候補位置を絞っていくことも可能である。
【００９８】
以下に、多重解像度画像を用いた場合の対応点探索アルゴリズムを示す。ここで、基準画像における基準点及び基準点の座標ベクトルをｐ、比較画像における対応点及び対応点の座標ベクトルをｑと示す。
【００９９】
図１０及び図１１は、本実施形態の対応点探索部１２０における、階層探索と１次元位相限定相関法を用いた対応点探索の動作フローチャートである。
【０１００】
ステップＳ２１では、対応点探索部１２０は、多重解像度画像を生成する。ここで、上位階層を低解像度画像、下位階層を高解像度画像とし、最下位の階層を原画像とする。なお、以下では、基準点ｐ、対応点ｑ、対応候補点ｑ’は、全て原画像（基準画像及び比較画像）に換算した画像座標系上の位置ベクトルで表現されているものとする。つまり、上位階層の低解像度画像においては、その点の位置を原画像の座標系に換算して表示するものとする。また、基準画像及び比較画像は共通の画像座標系上で定義されているものとする。
【０１０１】
ステップＳ２２では、対応点探索部１２０は、最も解像度の低い最上位階層において、対応候補点の初期値をｑ’←ｐとして探索を開始する。つまり、この仮定が成り立つために十分な階層の数を設定するものとする。現在の探索階層を最上位階層に設定する。
【０１０２】
ステップＳ２３では、対応点探索部１２０は、現在の探索階層において、基準点ｐを中心として基準画像からエピポーラ線に平行な１次元画像信号を抽出し、対応候補点ｑ’を中心として基準画像に対応する比較画像からエピポーラ線に平行な１次元画像信号を抽出する。図７で説明したように、対応候補点ｑ’は、基準点ｐと同一のエピポーラ平面に属するものである。
【０１０３】
ステップＳ２４では、対応点探索部１２０は、１次元位相限定相関法を用いて、１次元画像信号の位置ずれ量δ高精度に推定する。
【０１０４】
ステップＳ２５では、対応点探索部１２０は、この位置ずれ量δを基にして、以下の式（１６）により対応候補点ｑ’を更新する。
【数１６】
2009026250.tif 000018
【０１０５】
この式（１６）は、真の対応点を求める式（１１）に対応する。
【０１０６】
ステップＳ２６では、対応点探索部１２０は、現在の探索階層が最下位階層（原画像階層）の場合は、ステップＳ２７に進み、最下位階層ではない場合は、現在の探索階層を、ひとつ下の階層に設定し、ステップＳ２３に戻る。
【０１０７】
ステップＳ２７では、対応点探索部１２０は、最下位階層（原画像階層）において、基準点ｐ及び対応候補点ｑ’を中心としてエピポーラ線に平行な１次元画像信号をサブピクセル精度で抽出する。
【０１０８】
ステップＳ２８では、対応点探索部１２０は、１次元位相限定相関法を用いて、１次元画像信号の位置ずれ量δを高精度に推定する。
【０１０９】
ステップＳ２９では、対応点探索部１２０は、推定した位置ずれ量δを基にして、以下の式（１７）により対応候補点ｑ’を更新する。
【数１７】
2009026250.tif 000019
【０１１０】
ステップＳ３０では、対応点探索部１２０は、位置ずれ量δが微小な値に収束したかどうかを判定する。位置ずれ量δが微小な値に収束しない場合には、ステップＳ２７に戻り、収束した場合には、ステップＳ３１に進む。
【０１１１】
ステップＳ３１では、対応点探索部１２０は、相関計算におけるピークの値αが小さいか否かを、例えば所定の閾値との比較により判別する。そして、値αが小さい場合は、「対応点なし」を出力して終了し、小さくない場合は、ｑ←ｑ’として、対応点ｑを出力する。つまり、対応候補点ｑ’を用いて対応点ｑを求める。そして、一連の処理を終了する。
【０１１２】
このように、低階層で求めたステレオ対応付け位置を基に高階層におけるステレオ対応付けの初期位置を決定して階層探索を行うことにより、初期位置取得までの演算処理量を大幅に低減することができ、最下位階層であらゆる点を対応候補点ｑ’として探索を行う場合に比べて演算処理を少なくすることができる。これにより、対応点の位置の予測が難しい場合でも、高精度かつ高速に対応点を探索できる。
【０１１３】
[等視差情報の利用による対応点探索の高精度化]
以下、対応点近傍の等視差領域から複数の１次元画像信号の組を抽出し、それらの１次元位相限定相関法によるステレオ対応付けの結果を統計処理することによって、より高精度に位置ずれ量を推定する方法を説明する。
【０１１４】
この方法の入力として必要となる近似的な対応点は、上記の階層探索と１次元位相限定相関法を用いた方法以外の方法で求めてもよい。以下、基準画像における基準点及び基準点の座標ベクトルをｐ、比較画像における近似的な対応点及び近似的な対応点の座標ベクトルをｑチルダ、比較画像における対応点及び対応点の座標ベクトルをｑとそれぞれ示す。基準画像の基準点ｐと比較画像の近似的な対応点ｑチルダの視差ベクトルを、ｄチルダと示す。
【０１１５】
図１２は、対応点探索部１２０における、等視差情報の利用による対応点探索の高精度化の動作フローチャートである。
【０１１６】
ステップＳ４１では、対応点探索部１２０は、以下の式（１８）を用いて、基準点ｐと近似的な対応点ｑチルダの間の視差ｄチルダを算出する。
【数１８】
2009026250.tif 000020
【０１１７】
ステップＳ４２では、対応点探索部１２０は、基準画像及び比較画像において、ｄチルダに等しい視差を持つ領域を、それぞれ基準画像の等視差領域及び比較画像の等視差領域として抽出する。
【０１１８】
ステップＳ４３では、対応点探索部１２０は、基準画像の等視差領域、及び比較画像の等視差領域から、複数の１次元画像信号の組を抽出する。
【０１１９】
ステップＳ４４では、対応点探索部１２０は、抽出した複数の対応する１次元画像信号の組から、１次元位相限定相関法を用いて、位置ずれ量δを高精度に推定する。
【０１２０】
ステップＳ４５では、対応点探索部１２０は、推定した位置ずれ量δを基にして、比較画像における対応点ｑを以下の式（１９）のように求め、一連の処理を終了する。
【数１９】
2009026250.tif 000021
【０１２１】
このようにして、対応点探索部１２０では、基準点ごとに対応点が算出される。なお、対応点探索部１２０は、階層探索と１次元位相限定相関法を用いた対応点探索、及び等視差情報の利用による対応点探索の高精度化は、必ずしも実行しなくてもよい。
【０１２２】
通常、地上面と交差するエピポーラ平面は複数存在する。対応点探索部１２０は、上記手法を用いて、複数の基準点について対応点ｑを算出する。例えば、対応点探索部１２０は、平行化された基準画像において、水平軸方向にａＸ個、垂直軸方向にａＹ個の格子状に基準点ｐを設定し、対応点ｑを算出する。対応点探索部１２０にて算出された各対応点ｑの座標ベクトルは、それぞれの基準点ｐの座標ベクトルと対応付けられた状態で、対応点情報として、３次元復元部１３０に送られる。
【０１２３】
なお、対応点探索に用いる１次元画像信号の切り出しサイズを、画像垂直軸に沿って可変にしてもよい。例えば、画像の下から上へと徐々に切り出しサイズが小さくなるように設定してもよい。
【０１２４】
また、前回の視差情報算出結果を基に、１次元画像信号の処理を切り替えてもよい。例えば、前回算出した視差情報を初期値として、今回の視差情報を求めるようにすることで、計算時間の削減が期待できる。
【０１２５】
また、１次元画像信号の切り出しサイズを決定するために、予め他の方法で大まかな距離を求めるようにしてもよい。他の方法で求めた距離を初期値として、今回の視差情報を求めるようにすることで、計算時間の削減が期待できる。
【０１２６】
以上、対応点探索部１２０による１次元画像信号の抽出及び１次元位相限定相関法を用いた１次元画像信号のステレオ対応付けについて説明した。再び図１に戻り、３次元復元部１３０の動作について説明する。
【０１２７】
〔３次元復元部１３０の動作〕
３次元復元部１３０は、対応点探索部１２０にて算出された対応点情報から視差を求め、３次元空間において座標を持つ３次元点に変換する処理を行う。３次元復元部１３０は、対応点探索部１２０において算出されたステレオ画像の対応点情報及びカメラ校正情報を基にして、３次元空間の位置情報（カメラからの距離情報）を計算する。３次元復元の処理内容を以下に示す。
【０１２８】
ここで、基準画像における基準点をｐ、基準点ｐの座標ベクトルをｐ＝（ｕｐ，ｖｐ）とする。比較画像における対応点をｑ、対応点ｑの座標ベクトルをｑ＝（ｕｑ，ｖｐ）とする。ステレオカメラの焦点距離をｆ、ステレオカメラの基線長をｂとする。また、３次元点（基準画像のカメラ座標系を基準とした３次元の座標ベクトル）を（Ｘ，Ｙ，Ｚ）とする。
【０１２９】
まず、３次元復元部１３０は、以下の式（２０）を用いて、基準点ｐと対応点ｑの間の視差ｕｄを算出する。
【数２０】
2009026250.tif 000022
【０１３０】
次いで、３次元復元部１３０は、視差ｕｄ、焦点距離ｆ、基線長ｂを用いて、以下の式（２１）〜（２３）により、３次元点の位置（Ｘ，Ｙ，Ｚ）を計算する。
【数２１】
2009026250.tif 000023
【数２２】
2009026250.tif 000024
【数２３】
2009026250.tif 000025
【０１３１】
このように、基準点ｐごとに３次元復元部１３０で算出された３次元点の位置（Ｘ，Ｙ，Ｚ）は、３次元点情報として、地上面検出部１４０と障害物検出部１５０に送られる。
【０１３２】
なお、３次元復元部１３０は、３次元点の位置（Ｘ，Ｙ，Ｚ）まで求めず、視差ｄだけを求めるようにしてもよい。その場合、以降の処理部（地上面検出部１４０など）は、３次元点情報ではなく、視差情報を用いて各処理を行うような構成にする必要がある。３次元点情報と視差情報は式（２１）〜（２３）で容易に変換可能であるため、適宜置き換えることで各処理を実施可能である。また、平行化処理を行わない場合においては、カメラの内部パラメータ（焦点距離、アスペクト比など）および外部パラメータ（回転成分、並進成分）を用いて、３次元復元を行うことが可能である。
【０１３３】
〔地上面検出部１４０の動作〕
地上面検出部１４０は、３次元復元部１３０にて算出された３次元点情報を基に、その連続性を判定することで、地上面の検出を行う。
【０１３４】
地上面検出部１４０は、画像の垂直座標における最下点（またはそれに準ずる位置）を地上面であるとし、画像の最下点で算出される３次元点を地上面検出の初期値として、上方へと順に３次元点の変化量を調べる。そして、変化量がある一定以下である場合に、地上面が続いていると判定することで、地上面の検出を行う。
【０１３５】
図１３は、３次元復元部１３０の動作を説明するための概略図であり、図１４は、地上面検出部１４０の動作を示すフローチャートである。図１３と図１４を参照して、地上面検出部１４０の動作について説明する。
【０１３６】
図１３の左側に示すように、３次元復元部１３０により、ステレオ画像から格子状に設定された基準点ｐについて、３次元情報または視差情報が算出されるものとする。図１３の右側には、各基準点ｐに対応して算出された３次元位置の一例を、ステレオカメラからの距離情報の分布図として示す。例えば、上記したように、３次元復元部１３０では、水平軸方向にａＸ個、垂直軸方向にａＹ個の３次元点の位置（Ｘｋ１，ｋ２，Ｙｋ１，ｋ２，Ｚｋ１，ｋ２）、または視差情報が算出される。ここで、水平位置のインデックスをｋ１=０、・・・、ａＸ−１とし、垂直位置のインデックスをｋ２=０、・・・、ａｙ−１とする。また，Ｘｋ１，ｋ２はカメラの水平方向の座標軸の値であることを示し、Ｙｋ１，ｋ２はカメラの垂直方向の座標軸の値であることを示し、Ｚｋ１，ｋ２はカメラの奥行き方向の座標軸の値であることを示す。
【０１３７】
ステップＳ６１では、地上面検出部１４０は、基準画面の端から順に地上面を求めるために、水平位置の初期値をｋ１＝０とする。
【０１３８】
ステップＳ６２では、地上面検出部１４０は、画面の最下点は地上面であるとして、ｋ２＝０における視差δｋ１，０を地上面の視差とする。そしてｋ２＝ｋ２＋１とし、処理の対象を垂直方向へ１つ移動する。
【０１３９】
ステップＳ６３では、地上面検出部１４０は、視差の値に対応する値であるＺｋ１，ｋ２の変化量ΔＺｋ１，ｋ２（＝｜Ｚｋ１，ｋ２−１−Ｚｋ１，ｋ２｜）が、あらかじめ定めた閾値以下である場合には、現在の位置ｋ１，ｋ２の視差が地上面の視差であると判定する。そうでない場合には、現在の位置ｋ１，ｋ２の視差は地上面の視差ではない（障害物の視差である）と判定する。ここで、例えば、最下点と次の点とのＺの変化量ΔＺｋ１，１（＝｜Ｚｋ１，０−Ｚｋ１，１｜）に基づいて、閾値を決定するようにしてもよい。また、１つ前の変化量ΔＺｋ１，ｋ２−１と変化量ΔＺｋ１，ｋ２との差分を、あらかじめ定めた閾値と比較するようにしてもよい。この場合には、ΔＺｋ１，ｋ２＝Ｚｋ１，ｋ２−１−Ｚｋ１，ｋ２とする。
【０１４０】
ステップＳ６４では、地上面検出部１４０は、ｋ２＝ｋ２＋１とし、ｋ２＜ａＸであるか否かを判別する。地上面検出部１４０は、ｋ２＜ａＸである場合は（Ｓ６４：ＹＥＳ）、ステップＳ６３に戻って処理を繰り返し、ｋ２＜ａＸではない場合には（Ｓ６４：ＮＯ）、ステップＳ６５に進む。
【０１４１】
ステップＳ６５では、地上面検出部１４０は、ｋ１＝ｋ１＋１とし、ｋ１＜ａＹであるか否かを判別する。地上面検出部１４０は、ｋ１＜ａＹである場合は（Ｓ６５：ＹＥＳ）、ステップＳ６２に戻って処理を繰り返し、ｋ１＜ａＹではない場合には（Ｓ６５：ＮＯ）、ステップＳ６６に進む。
【０１４２】
このようにして、ａＸ個×ａＹ個の基準点ｐの全てに対して、基準画面の端から順に、垂直方向における３次元点情報の連続性の判別結果が得られる。
【０１４３】
そして、ステップＳ６６では、地上面検出部１４０は、判別結果から得られた地上面の３次元位置を出力し、一連の処理を終了する。
【０１４４】
上記の処理により、地上面検出部１４０において地上面の検出が行われる。地上面が曲面であっても、３次元点情報は連続性を有する。したがって、曲面の地上面でも検出することができる。地上面検出部１４０にて検出された地上面情報は、障害物検出部１５０に送られる。
【０１４５】
なお、地上面の検出方法はこれに限定されることなく、３次元点の連続性を判定する他の方法であっても構わない。また、地上面検出部１４０は、例えば、検出された地上面の３次元位置の全てを含む、所定の距離までの連続した地上面の３次元モデルを求め、これを地上面情報として出力してもよい。
【０１４６】
〔障害物検出部１５０の動作〕
障害物検出部１５０は、３次元復元部１３０にて算出された３次元点情報と、地上面検出部１４０にて検出された地上面情報とを基に障害物の検出を行う。
【０１４７】
具体的には、障害物検出部１５０は、地上面情報を用いて、地上面の位置より上方に存在する３次元点を障害物候補の点として抽出する。物体が存在する位置には３次元点が集中するため、障害物候補の点のうち高密度となっている部分を切り出すことで、障害物を検出することができる。
【０１４８】
なお、他の車両や人などの物体は、通常、道路面の幅方向に平行な面成分に乏しいため、地上面検出で行ったような１次元画像信号の対応付けによる対応点探索には不向きである。したがって、障害物警告装置１００は、障害物候補の対応点探索のために、２次元画像のパターンマッチングなど、従来の手法を用いて対応点を探索する手段を備えてもよい。
【０１４９】
障害物検出部１５０にて検出された障害物の３次元点は、障害物情報として、衝突判断部１６０に送られる。
【０１５０】
なお、地上面検出部１４０は、例えば、検出された３次元点から障害物の３次元モデルを構築し、これを障害物情報として出力してもよい。
【０１５１】
〔衝突判断部１６０の動作〕
衝突判断部１６０は、障害物検出部１５０の検出結果を基に、車両と障害物との衝突の可能性を判断する。衝突判断部１６０は、障害物検出部１５０から出力される障害物検出結果を時系列に保存しておき、障害物の位置の変化を解析することで、車両に対する障害物の車両に対する相対速度を算出する。そしてこの相対速度が車両に接近する方向に対してある閾値以上に大きい場合には、障害物と衝突する可能性があるとする判断結果を生成する。
【０１５２】
なお、障害物の種類に応じて、異なる閾値を設定してもよい。この場合、衝突判断部１６０は、障害物の大きさや形状などから障害物の種類を判別し、該当する閾値との比較を行う。これにより、障害物の種類に応じてより的確な判断結果を出力することができる。
【０１５３】
衝突判断部１６０にて生成された判断結果は、警告出力部１７０に送られる。
【０１５４】
〔警告出力部１７０の動作〕
警告出力部１７０は、衝突判断部１６０の判断結果を基に、運転者に対して警告を行う。警告内容の出力方法は、音声以外にも映像や画像など何れであっても構わない。また、その他の例えばハンドルや座席を振動させるような方法であっても構わない。
【０１５５】
なお、衝突判断部１６０から障害物の相対速度や種類を受信し、障害物の相対速度や種類に応じて、警告の種類や程度を変えるようにしてもよい。これにより、危険度や状況に応じた警告を行うことができる。例えば、障害物の相対速度が低い場合には小さめの音声で警告を行い、高い場合には大きめの音声で警告を行うことができ、運転の快適さをできるだけ確保しながら、衝突の防止を図ることができる。
【０１５６】
このように、本実施の形態によれば、地上面に平行にステレオカメラを配置したときにエピポーラ線上で等視差となる領域が地上面に存在することに着目し、ステレオ画像におけるエピポーラ線上の１次元画像信号ごとにステレオ対応付けを行い、視差情報を算出するようにした。具体的には、地上面の等視差となる領域を左右カメラ画像のそれぞれから１次元画像信号として切り出し、１次元位相限定相関法を用いて１次元画像信号を比較することにより、視差情報を算出するようにした。これにより、特徴点の少ない地上面であっても、視差情報を容易に算出することができ、算出が容易なことから、地上面を検出するためのステレオ対応付けに必要な画像信号の情報量を適切に増加させることができる。したがって、少ない演算処理で、高精度に地上面を検出することができる。
【０１５７】
特に、１次元位相限定相関法を用いて１次元画像のステレオ対応付けを行うので、特徴点の少ない地上面であっても、視差情報を高精度に算出することができる。また、階層探索や、等視差情報の利用と組み合わせる。これにより、視差情報をさらに高精度に算出できる。
【０１５８】
また、地上面を検出し、地上面よりも上方に存在する物体を障害物として検出するので、地上面を障害物として検出するのを防ぐことができ、誤った警告を低減することができる。
【０１５９】
なお、既に検出された範囲の地上面の３次元位置と、車両の走行速度から、車両に対する地上面の相対的な移動、または地上面に対する車両の相対的な移動を検出するようにしてもよい。この場合、地上面の検出処理を、既に検出された部分については省略し、移動に伴って新たにステレオ画像上に現れた部分に対してのみ行えばよい。これにより、演算負荷を軽減することが可能となる。
【０１６０】
また、地上面として検出した面の、車両の進行方向に対する角度を算出し、角度によって検出した面が道路面であるか否かを判別して、道路面ではない場合には警告を行うようにしてもよい。これにより、進行方向に壁や道路ではない斜面がある場合に、壁への衝突や斜面への乗り上げなどを防止することができる。
【０１６１】
また、基準カメラの視線方向と比較カメラの視線方向は、必ずしも平行でなくてもよく、チェッカーボード等を用いて、エピポーラ線の平行化処理のための適切なパラメータを設定するようにすればよい。
【０１６２】
また、地上面は下側にのみ存在し、車両により近い領域ほど画面の下端に近い位置で撮像されることから、より下側に位置する画像部分から検出された情報を優先させて地上面の検出を行うことや、上側に位置する画像部分を地上面検出の対象外としてもよい。これにより、地上面検出や障害物検出において不必要な対応点探索や３次元位置算出を省くことができ、処理負荷を軽減できる。
【０１６３】
また、地上面が特定の形状に近似していると仮定して、地上面の検出を行ってもよい。この場合、より少ない３次元点から地上面を検出できる。例えば、地上面が平面に近似していると仮定した場合には、３点の基準点における１次元画像のステレオ対応付けによって地上面を検出できる。
【０１６４】
また、例えば、車両の直下の地上面からのステレオカメラの高さをあらかじめ記憶しておき、ステレオカメラの垂線と地上面との交点を地上面が通るものとして、地上面の検出を行ってもよい。この場合には、最小で１組のエピポーラ線における１次元画像のステレオ対応付けによって地上面を検出できる。
【０１６５】
（実施の形態２）
実施の形態１では、ステレオカメラを車両の左右方向に配置することにより、地上面を検出するようにした。本実施の形態では、さらに壁面など車両の上下方向に平行な面成分を障害物として検出する。以下、説明の簡便化のため、車両の左右方向は水平であり、車両の上下方向は左右方向及び車両の進行方向を含む平面に対して垂直であるものとして説明を行う。
【０１６６】
例えば、高速道路の防音壁は特徴点が乏しく、地上面と同様、ステレオカメラの画像で対応する点を検出することが難しい。そこで、本実施の形態では、垂直方向に２個のカメラ（上下カメラ）を並べて配置した場合、エピポーラ平面と壁面との交線が垂直方向となること、つまり、同一のエピポーラ平面に属するエピポーラ線上に等視差となる壁面領域の１次元画像が存在する可能性が高いことを利用して、壁面を検出する。より具体的には、本実施の形態に係る障害物警告装置は、上下カメラにおけるステレオ対応付けをエピポーラ線上の１次元画像信号ごとに行うことにより、壁面の各点の対応点を効率良く検出する。
【０１６７】
図１５は、本発明の実施の形態２に係る障害物警告装置２００の概略構成を表すブロック図である。障害物警告装置２００は、水平ステレオ画像取得部２１１、垂直ステレオ画像取得部２１２、対応点探索部２２０、３次元復元部２３０、地上面検出部２４０、障害物検出部２５０、衝突判断部２６０、及び警告出力部２７０を有する。
【０１６８】
地上面検出部２４０、衝突判断部２６０、及び警告出力部２７０は、それぞれ実施の形態１の地上面検出部１４０、衝突判断部１６０、及び警告出力部１７０と同様の処理内容であり、これらについての説明を省略する。
【０１６９】
水平ステレオ画像取得部２１１は、画像取得部１１０と同様であり、水平方向に２個のカメラでステレオ画像を取得し、エピポーラ線が画像の水平座標軸と平行になるように平行化処理を行った後に、画像を対応点探索部２２０に送る。
【０１７０】
垂直ステレオ画像取得部２１２は、垂直方向に配置された２個のカメラ（上下カメラ）でステレオ画像を取得し、エピポーラ線が画像の垂直座標軸と平行になるように平行化処理を行った後に、画像を対応点探索部２２０に送る。なお、垂直方向に配置された２個のカメラのいずれかは、水平方向に配置した２個のカメラのいずれかを兼ねてもよい。
【０１７１】
対応点探索部２２０は、水平ステレオ画像取得部２１１と垂直ステレオ画像取得部２１２のそれぞれのステレオ画像に対して、実施の形態１の対応点探索部１２０と同様の対応点探索処理を行う。
【０１７２】
対応点探索部２２０による地上面の対応点の探索は、実施の形態１で説明した手法を用いる。また、対応点探索部２２０による壁面の対応点の探索は、実施の形態１で説明した地上面の対応点の探索の手法を、左右方向を上下方向に置き換えて用いる。つまり、上下カメラにおいて、同一のエピポーラ平面に属するエピポーラ線上の１次元画像信号の視差を、１次元位相限定相関法を用いて求める。但し、下側にのみ存在する地上面とは異なり、壁面は左側と右側に存在する可能性があるため、画面の左端に近い領域と右端に近い領域の両方を、壁面検出の対象とすることが望ましい。また、トンネル内の分岐箇所などを考慮する場合、さらに、車両の進行方向である画面の中央に近い領域を壁面検出の対象とすることが望ましい。
【０１７３】
対応点探索部２２０は、水平ステレオ画像取得部２１１のステレオ画像から算出した対応点情報（水平対応点情報とする）と、垂直ステレオ画像取得部２１２のステレオ画像から算出した対応点情報（垂直対応点情報とする）とを、３次元復元部２３０に送る。
【０１７４】
３次元復元部２３０は、水平対応点情報と垂直対応点情報をそれぞれに対応する３次元点（水平３次元点及び垂直３次元点とする）に復元し、水平３次元点情報を地上面検出部２４０へ、そして垂直３次元点による３次元点を障害物検出部２５０へ、それぞれ送る。
【０１７５】
障害物検出部２５０は、実施の形態１で説明した手法を用い、地上面の左右方向を上下方向に置き換えて、地上面の面成分の検出と同様に垂直３次元点情報を基に壁面の面成分を検出する。上記したように衝突の危険性がより高い壁面領域の画像は、画面の左端、右側、及び中央に存在する可能性が高い。したがって、画面の左端、右側、及び中央を３次元点の連続性判定の基点とすることが望ましい。
【０１７６】
そして、障害物検出部２５０は、地上面情報を基に、地上面よりも上方に存在する壁面の面成分、または地上面として検出された面と同じ位置に存在する壁面の面成分を、障害物として検出する。
【０１７７】
このように、本実施の形態によれば、垂直方向に配置したステレオカメラから得られるステレオ画像に対して地上面検出と同様の手法を適用するようにした。これにより、特徴点の少ない壁面であっても、視差情報を容易に算出することができ、算出が容易なことから、壁面を検出するためのステレオ対応付けに必要な画像信号の情報量を適切に増加させることができる。したがって、少ない演算処理で、高精度に壁面を検出することができる。
【０１７８】
また、検出された地上面よりも上方に存在する壁面を障害物として検出するので、障害物の検出を高精度に行うことができ、壁面への衝突をより確実に防ぐことができる。また、例えば、車両の左右方向と平行な壁面が正面に存在するときに、この壁面を地上面として検出してしまうのを防ぐことができる。
【０１７９】
また、本実施の形態で説明した手法の適用は、壁面の検出に限定されるものではなく、車両の上下方向に平行な面成分を有する物体（車両、歩行者、電柱など）であれば、本手法を適用することが可能である。
【０１８０】
（実施の形態３）
実施の形態１では、ステレオカメラの光学中心を結ぶ線が道路面の幅方向に対して平行であるものとして説明した。ところが、実際には、車両の左右における荷重の差やタイヤ空気圧の差、ステレオカメラの設置状況などにより、ステレオカメラの光学中心を結ぶ線を道路面の幅方向に対して精度良く平行にすることは難しい。そこで、本実施の形態では、ステレオカメラの配置方向が地上面に平行ではない場合でも地上面を高精度に検出できる障害物警告装置について説明する。
【０１８１】
図１６は、本発明の実施の形態３に係る障害物警告装置の概略構成を表すブロック図である。障害物警告装置３００は、画像取得部３１０、対応点探索部３２０、３次元復元部３３０、地上面検出部３４０、障害物検出部３５０、衝突判断部３６０、警告出力部３７０、等視差長軸算出部３８０、及び車両状態取得部３９０を有する。
【０１８２】
対応点探索部３２０、地上面検出部３４０、障害物検出部３５０、衝突判断部３６０、及び警告出力部３７０は、それぞれ実施の形態１の対応点探索部１２０、地上面検出部１４０、障害物検出部１５０、衝突判断部１６０、及び警告出力部１７０と同様の処理内容であり、これらについての説明を省略する。
【０１８３】
３次元復元部３３０は、実施の形態１における３次元復元部１３０の処理以外の処理として、算出した視差情報及び３次元点情報を、等視差長軸算出部３８０に送る。
【０１８４】
等視差長軸算出部３８０は、３次元復元部３３０で算出された視差情報を基に、同様の視差を持つ領域（等視差領域）を特定する。そして、３次元点情報を基にその等視差領域の長軸の方向（以下「等視差領域方向」という）を特定して、その等視差領域方向の情報を画像取得部３１０に送る。具体的には、例えば、同様の視差持つ複数の３次元位置の回帰直線を算出すればよい。
【０１８５】
車両状態取得部３９０は、車両の状態を推定して得られた車両状態情報を画像取得部３１０に送る。ここで、車両の状態とは、例えば、車両の直下の地上面または水平面に対する車両の左右方向の傾きである。車両状態取得部３９０は、例えば、センサの測定データから、車両に対する加重方向、及び車両の左右のサスペンションの状態を判別し、判別した情報から車両の状態を推定する。
【０１８６】
画像取得部３１０は、実施の形態１における画像取得部１１０の処理以外に、ステレオ画像のエピポーラ線が上記等視差長軸算出部３８０で特定された等視差領域方向となるように、カメラの光学系の調整を行う。その調整の際には、等視差長軸算出部３８０の長軸方向情報と、車両状態取得部３９０の車両状態情報とを用いる。
【０１８７】
エピポーラ線が等視差領域方向となるように調整されたステレオ画像から、実施の形態１と同様に対応点が探索され、視差情報が生成される。この視差情報に基づいて、再び等視差長軸算出部３８０で等視差領域が特定され、さらにエピポーラ線が等視差領域方向となるようにステレオ画像が調整される。この処理が繰り返されることにより、ステレオ画像のエピポーラ線の位置を、地上面の等視差となる領域の１次元画像の位置に収束させることができる。また、さらに車両の状態に起因する上記１次元画像と上記エピポーラ線とのずれを補償することができる。これにより、ステレオカメラの配置方向が地上面に平行ではない場合でも、ステレオ画像のエピポーラ線の位置を地上面の等視差となる領域の１次元画像の位置に高い精度で一致させることができ、地上面を高精度に検出できる。
【０１８８】
以上説明したように、本実施の形態によれば、道路環境における障害物検出の高精度化に利用でき、車両と障害物との衝突を警告するシステムを高精度化することが可能となる。
【０１８９】
地上面検出方法の応用例について、捕捉して説明する。
【０１９０】
また、地上面の情報を利用することで白線の存在位置を限定できるため、白線検出の高精度化を行うことができる。例えば、車両のレーン逸脱を警告するシステムに応用できる。また、停止線、横断歩道、減速マークなどの路面標示の存在位置も限定できるため、路面標示の検出にも応用できる。
【０１９１】
また、地上面検出を用いることで車両の走行先の道路状況（上り坂／下り坂）を把握でき、道路状況に合わせたエンジン制御を行うことが可能となる。つまり、本発明は、ハイブリッドカーのエンジン制御にも応用できる。
【０１９２】
また、屋外の道路環境だけでなく、例えば屋内における車両の移動にも適用できる。また、車両のみならず、ステレオカメラを備えた移動ロボット等にも応用することができる。このような場合、車両という表現を移動体・ロボット等とすることが可能である。さらにいえば、例えば、面成分が移動し、面成分を所定の装置に対する相対位置として検出する場合に適用してもよい。この場合、所定の装置は必ずしも移動体でなくてもよい。
【０１９３】
以上の説明は本発明の好適な実施の形態の例証であり、本発明の範囲はこれに限定されることはない。
【０１９４】
各実施の形態では、本発明を障害物警告装置に適用した場合について説明したが、これに限定されるものではなく、面成分を検出する他の各種装置に適用可能であることはいうまでもない。
【０１９５】
また、上記各実施の形態では、車両に搭載される障害物警告装置について説明したが、これは一例であって、撮影領域がオーバーラップした複数の画像を入力可能なものであればどのような装置にも適用可能である。
【０１９６】
また、上記実施の形態では、障害物警告装置という名称を用いたが、これは説明の便宜上であり、衝突防止装置、地上面検出装置、車載機等、他の名称であってもよいことは勿論である。
【０１９７】
さらに、上記障害物警告装置を構成する各部、例えば画像取得部、対応点探索部、３次元復元部、地上面検出部の種類及び数等は、どのようなものでもよい。
【０１９８】
以上説明した面成分検出装置、地上面検出装置、及び障害物検出装置は、これらの装置を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納される。
【産業上の利用可能性】
【０１９９】
本発明は、特徴点の乏しい面成分を検出できる面成分検出装置、地上面検出装置、及び障害物検出装置として有用である。
【図面の簡単な説明】
【０２００】
【図１】本発明の実施の形態１に係る障害物警告装置の概略構成を表すブロック図
【図２】実施の形態１における三角測量の原理を用いた３次元点算出の概要を示す図
【図３】実施の形態１における基準画像の一例を示す図
【図４】実施の形態１におけるステレオ画像の一例を示す図
【図５】実施の形態１におけるエピポーラ線上の１次元画像信号を用いた対応点検出の概要を示す図
【図６】実施の形態１における障害物警告装置の動作を示すフローチャート
【図７】実施の形態１における画像取得部の平行化処理を説明する図
【図８】実施の形態１における複数の１次元画像信号の組の選び方の一例を示す図
【図９】実施の形態１における対応点探索処理を示す図
【図１０】実施の形態１における対応点探索部の動作を示すフローチャート１
【図１１】実施の形態１における対応点探索部の動作を示すフローチャート２
【図１２】実施の形態１における対応点探索部の動作を示すフローチャート３
【図１３】実施の形態１における３次元復元部の動作を示す図
【図１４】実施の形態１における地上面検出部の動作を示すフローチャート
【図１５】本発明の実施の形態２に係る障害物警告装置の概略構成を表すブロック図
【図１６】本発明の実施の形態３に係る障害物警告装置の概略構成を表すブロック図
【符号の説明】
【０２０１】
１００、２００、３００  障害物警告装置
１１０、３１０  画像取得部
１２０、２２０、３２０  対応点探索部
１３０、２３０、３３０  ３次元復元部
１４０、２４０、３４０  地上面検出部
１５０、２５０、３５０  障害物検出部
１６０、２６０、３６０  衝突判断部
１７０、２７０、３７０  警告出力部
２１１  水平ステレオ画像取得部
２１２  垂直ステレオ画像取得部
３８０  等視差長軸算出部
３９０  車両状態取得部
【図１】
2009026250.tif 000026
【図２】
2009026250.tif 000027
【図３】
2009026250.tif 000028
【図４】
2009026250.tif 000029
【図５】
2009026250.tif 000030
【図６】
2009026250.tif 000031
【図７】
2009026250.tif 000032
【図８】
2009026250.tif 000033
【図９】
2009026250.tif 000034
【図１０】
2009026250.tif 000035
【図１１】
2009026250.tif 000036
【図１２】
2009026250.tif 000037
【図１３】
2009026250.tif 000038
【図１４】
2009026250.tif 000039
【図１５】
2009026250.tif 000040
【図１６】
2009026250.tif 000041