(57)【特許請求の範囲】
【請求項１】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
前記ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差と消失点視差とに基づいて、対象物までの距離を算出する距離算出手段と、
一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、当該近似直線の交点から第１の消失点を算出するとともに、他方の撮像画像平面において、距離方向に延在する互いに平行な複数の近似直線を算出し、当該近似直線の交点から第２の消失点を算出する消失点算出手段と、
前記消失点算出手段により算出された前記第１の消失点と前記第２の消失点とのずれ量に基づいて、前記消失点視差を更新する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項２】
撮像画像中に写し出された景色から、距離方向に延在する互いに空間的に平行な複数の基準対象物を検出するとともに、撮像画像平面における基準対象物の位置を特定する検出手段をさらに有し、
前記消失点算出手段は、前記検出手段によって複数の基準対象物が検出された場合、当該基準対象物のそれぞれについて撮像画像平面における近似直線を算出することを特徴とする請求項１に記載された監視システムの距離補正装置。
【請求項３】
前記基準対象物は、撮像画像に写し出された道路上の左右の車線であることを特徴とする請求項２に記載された監視システムの距離補正装置。
【請求項４】
前記基準対象物は、撮像画像に写し出された壁と床との境界を示す左右の境界線であることを特徴とする請求項２に記載された監視システムの距離補正装置。
【請求項５】
前記基準対象物は、撮像画像に写し出された線路の左右のレールであることを特徴とする請求項２に記載された監視システムの距離補正装置。
【請求項６】
監視システムの距離補正方法において、
同一の景色を同一の時刻に撮像した一対の撮像画像に基づいて、ステレオマッチングにより視差を算出するステップと、
前記視差と消失点視差とに基づいて、対象物までの距離を算出するステップと、
一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、当該近似直線の交点から第１の消失点を算出するステップと、
他方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、当該近似直線の交点から第２の消失点を算出するステップと、
前記第１の消失点と前記第２の消失点とのずれ量に基づいて、前記消失点視差を更新するステップと
を有することを特徴とする監視システムの距離補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの位置ずれに起因した誤差を含んだ距離情報を補正する、監視システム用の距離補正装置および距離補正方法に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式車外監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方の画像におけるある画素ブロックと相関を有する領域を他方の画像において特定する。そして、この画素ブロックの視差、すなわち、双方の画像（ステレオ画像）における画素ブロックの相対的なずれ量に基づき、三角測量の原理を用いて対象物までの距離を算出する。したがって、ステレオマッチングの精度を高めるためには、換言すると、信頼性の高い距離情報を得るためには、視差以外の位置的なずれがステレオ画像に存在しないことが望ましい。しかしながら、実際は、ステレオカメラの機械的な取付精度に起因した位置ずれ（例えば、水平方向や垂直方向への並進ずれ、或いは回転ずれ等）が存在する。この位置ずれのうち、特に、水平方向の並進ずれ（以下「水平ずれ」という）は、ステレオ画像における視差の誤差となって現れるため、それに基づき算出された距離は実測値と異なってしまう。
【０００３】
例えば、特開２００１−１６０１３７号公報には、ステレオカメラを用いた監視システムにおいて、ステレオカメラの水平ずれに起因した誤差を含む算出距離を、消失点視差ＤＰを用いて補正する手法が開示されている。この距離補正手法では、一方の撮像画像（基準画像）平面上に写し出された左右の車線の交点から消失点JV2Dを算出し、この消失点JV2Dに基づいて道路面の傾き角度ａを検出する。この傾き角度ａは、消失点JV2Dに基づいて、写真解析の手法を用いて算出される。また、ステレオ処理によって算出された距離画像（算出距離群の二次元的な配列）を用いて、三次元空間における道路面の傾き角度ａ’を検出する。そして、これらの傾き角度ａ，ａ’の差異を求め、両者が一致するように消失点視差ＤＰを補正する。
【０００４】
また、特開平６−３４１８３７号公報には、上述した水平ずれの影響の低減を図る車間距離計測装置が開示されている。この計測装置では、自車両前方を撮影することにより得られる一対の撮像画像のそれぞれについて、左右の車線の交点より算出される消失点と、先行車の像の中心軸（対称軸）とを求める。つぎに、一方の撮像画像上における消失点と中心線との視差を算出するとともに、他方の撮像画像上における消失点と中心線との視差とを算出する。そして、両視差を合計することによって、先行車までの距離を算出する。
【０００５】
【発明が解決しようとする課題】
本発明の目的は、ステレオカメラの位置ずれ、特に水平ずれに起因した誤差を含む視差を補正する、新規な距離補正手法を提供することである。
【０００６】
また、本発明の別の目的は、補正された視差を用いて対象物までの距離を算出することにより、距離計測の精度の向上を図ることである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差と消失点視差とに基づいて、対象物までの距離を算出する距離算出手段と、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第１の消失点を算出するとともに、他方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、この近似直線の交点から第２の消失点を算出する消失点算出手段と、消失点算出手段により算出された第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を更新する補正手段とを有する監視システムの距離補正装置を提供する。
【０００８】
ここで、上記第１の発明において、撮像画像中に写し出された景色から、距離方向に延在する互いに平行な複数の基準対象物を検出するとともに、撮像画像平面における基準対象物の位置を特定する検出手段をさらに設けてもよい。この場合、消失点算出手段は、検出手段によって複数の基準対象物が検出されたならば、検出された基準対象物のそれぞれについて撮像画像平面における近似直線を算出することが好ましい。
【０００９】
上記基準対象物は、撮像画像に写し出された道路上の左右の車線であってもよく、撮像画像に写し出された壁と床との境界を示す左右の境界線であってもよい。また、撮像画像に写し出された線路の左右のレールを基準対象物として用いてもよい。
【００１０】
第２の発明は、同一の景色を同一の時刻に撮像した一対の撮像画像に基づいて、ステレオマッチングにより視差を算出するステップと、視差と消失点視差とに基づいて、対象物までの距離を算出するステップと、一方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、これらの近似直線の交点から第１の消失点を算出するステップと、他方の撮像画像平面において、距離方向に延在する互いに空間的に平行な複数の近似直線を算出し、これらの近似直線の交点から第２の消失点を算出するステップと、第１の消失点と第２の消失点とのずれ量に基づいて、消失点視差を更新するステップとを有する監視システムの距離補正方法を提供する。
【００１１】
【発明の実施の形態】
図１は、本実施形態に係るステレオ式車外監視装置の構成を示すブロック図である。ルームミラーの近傍に取付けられたステレオカメラは、通常の走行状態において、自車輛前方の道路や先行車等を含む景色（同一の景色）を同一の時刻で撮像する。このステレオカメラは、ＣＣＤやＣＭＯＳセンサ、或いは、赤外線カメラ等のイメージセンサを内蔵した一対のカメラ１，２で構成されており、各カメラ１，２は、車幅方向において所定のカメラ基線長で取付けられている。基準画像信号を出力するメインカメラ１は、車輌の進行方向に向かって右側に取付けられている。一方、比較画像信号を出力するサブカメラ２は、進行方向に向かって左側に取付けられている。カメラ対１，２は、互いに同期が取れており、同一タイミングで前方の景色を撮像し、２系統のアナログ画像信号を出力する。これらのアナログ画像信号は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａにおいて画像の明るさバランスが調整される。
【００１２】
アナログインターフェース３において調整されたアナログ画像信号は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像データに変換される。デジタル化された各データは、補正回路５においてアフィン変換が施される。各カメラ１，２の位置ずれ、そしてそれに起因したステレオ画像のずれは、画像にアフィン変換を施すことにより等価的に補正される。ここで、「アフィン変換」とは、画像を回転、移動または拡大・縮小する幾何学的な座標変換の総称をいう。補正回路５は、４つのアフィンパラメータＫ，θ，SHFTI，SHFTJを用いて、原画像に対して下式で示した線形変換を施す。
【数１】
0004803927.tif 000002
【００１３】
この数式において、（ｉ，ｊ）は原画像の座標であり、（ｉ’，ｊ’）は変換後の座標である。また、アフィンパラメータSHFTI，SHFTJはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。また、アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の拡大（|Ｋ|＜1の場合は縮小）を示している。ステレオ画像にアフィン変換を施すことによって、ステレオマッチングの精度を確保する上で重要な「ステレオ画像における水平線の一致」が保証される。なお、補正回路５の詳細なハードウェア構成については、特開平１０−３０７３５２号公報に記述されているので、必要ならば参照されたい。
【００１４】
このような画像処理を経て、メインカメラ１の出力信号から、例えば、水平方向が５１２画素、垂直方向が２００画素の画像領域における各画素の輝度値が基準画像データとして得られる。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが得られる（一例として、水平方向が６４０画素、垂直方向が２００画素）。なお、二次元平面である画像のｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする（単位は画素）。基準画像データおよび比較画像データは、画像データメモリ７に格納される。
【００１５】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて視差ｄを算出する。視差ｄは、基準画像において、例えば４×４画素の画素ブロック毎に一つ算出されるため、一フレーム分の基準画像全体では最大で１２８×５０個算出され得る。基準画像中の一画素ブロック（以下「対象画素ブロック」という）の視差ｄiを算出する場合、まず、その対象画素ブロックの輝度特性と相関を有する領域を比較画像において特定する。周知のとおり、ステレオ画像に写し出された対象物までの距離は、ステレオ画像における視差、すなわち、基準画像と比較画像との間における画素ブロックの水平方向のずれ量として現れる。したがって、比較画像中の画素ブロック（以下「比較画素ブロック」という）を探索する場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を一画素ずつシフトしながら、比較画素ブロック毎に対象画素ブロックとの相関を評価する（ステレオマッチング）。
【００１６】
二つの画素ブロックの相関関係は、例えば、周知の相関評価手法であるシティブロック距離を用いて評価することができる。ステレオ演算回路６は、エピポーラライン上に存在する領域（対象画素ブロックと同一面積）毎にシティブロック距離を求め、基本的には、シティブロック距離の値が最小となる領域を対象画素ブロックの相関先として特定する。そして、対象画素ブロックと相関先に係る画素ブロックとの水平方向のずれ量が視差ｄiとなる。なお、シティブロック距離の算出に関するハードウェア構成および相関先の詳細な決定手法については、特開平５−１１４０９９号公報に開示されているので必要ならば参照されたい。ステレオ演算回路６によって算出された視差ｄは距離データメモリ８に格納される。
【００１７】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、画像データメモリ７から基準画像データを読み出し、基準画像中に写し出された対象物（例えば先行車等）を周知の画像認識技術を用いて認識する。また、認識部１０は、距離データメモリ８から読み出した視差ｄを基本パラメータとして、下式に基づいて対象物までの距離Ｚを算出する。
【数２】
0004803927.tif 000003
【００１８】
同式において、ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ＤＰは消失点視差である。本実施形態において、消失点視差ＤＰは視差補正値（可変）であり、その値は後述する補正演算部１３において算出される。
【００１９】
また、認識部１０は「道路形状の認識」を行う。ここで、「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。なお、以下の説明では、車線の典型である白線を例に説明するが、追越し車線等を含めた各種車線に対しても適用可能である。以下、本実施形態における白線モデルの算出手法を図２を参照しつつ説明する。
【００２０】
まず、基準画像において白線エッジＰedge、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）の内、白線に起因して生じたものが特定される。白線エッジＰedgeは、走行路の左側と右側とについて別個に探索され、複数の左白線エッジＰedge1と複数の右白線エッジＰedge2とがそれぞれ特定される。具体的には、下記の３つの条件を具備する輝度エッジが白線エッジＰedgeとして認識される。
【００２１】
（白線エッジの３条件）
１．輝度変化量が所定値以上である輝度エッジで、かつ、輝度エッジの内側（画像中央側）の画素よりも外側（画像端側）の画素の方が輝度が大きいこと
すなわち走行路の左右の白線に起因した白線エッジＰedgeは、図２に示したように、白線の内側の境界（白線と舗装路との境界）における輝度エッジである。
【００２２】
２．条件１を満たす白線エッジＰedgeの候補に関して、それと同一水平線上の外側にさらに輝度エッジが存在し、かつ、この輝度エッジの外側の画素よりも内側の画素の方が輝度が大きいこと
白線は所定の幅を有しているため、白線エッジＰedgeの外側にも境界が存在する。この条件は、このような白線の特徴に鑑みて設けられたものである。
【００２３】
３．条件１を満たす白線エッジＰedgeを含む画素ブロックに関して、視差ｄが算出されていること
白線エッジＰedgeが存在する箇所に視差ｄが算出されていなければ、その白線エッジＰedgeは道路形状を認識するのに有効な情報とはならない。
【００２４】
認識部１０は、特定された白線エッジＰedge毎に、その座標（ｉ，ｊ）およびその視差ｄを下記の数式３および数式４に示した周知の座標変換式に代入することにより、その実空間上の座標（Ｘ，Ｙ，Ｚ）を算出する。
【数３】
0004803927.tif 000004
【数４】
0004803927.tif 000005
【００２５】
ここで、定数ＣＡＨはステレオカメラ１，２の取付高さ、定数ｒはステレオカメラ１，２の取り付け間隔、定数ＰＷＶ，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。また、定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。また、自車輌の位置を基準に設定された実空間の座標系は、ステレオカメラ１，２の中央真下の道路面を原点として、車幅方向をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とする。撮像画像に写し出された対象物（先行車、立体物、または道路等）に関して、画像平面上の座標（ｉ，ｊ）および視差ｄが特定されると、数式２〜数式４に示した変換式に基づいて、実空間上の座標（Ｘ，Ｙ，Ｚ）を一義的に特定することができる。
【００２６】
このようにして特定された各白線エッジＰedgeの実空間上の座標（Ｘ，Ｙ，Ｚ）に基づいて白線モデルが特定される。白線モデルは、認識範囲（例えばカメラ位置から車輌前方８４ｍ先まで）内の左右の白線エッジＰedge1，Ｐedge2のそれぞれ関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。一例として示す図３の白線モデルは、認識範囲を７つの区間に分けて、各区間における左右の白線エッジＰedge1，Ｐedge2毎に最小二乗法を用いて下式の直線で近似している。
【数５】
（左白線モデルＬ）
Ｘ ＝ ａL・Ｚ ＋ ｂL
Ｙ ＝ ｃL・Ｚ ＋ ｄL
（右白線モデルＲ）
Ｘ ＝ ａR・Ｚ ＋ ｂR
Ｙ ＝ ｃR・Ｚ ＋ ｄR
【００２７】
これらの白線モデルＬ，Ｒは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ(Ｚ)）と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ(Ｚ)）とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルＬ，Ｒによって把握することができる。認識部１０により算出された各白線エッジＰedgeおよび左右の白線モデルＬ，Ｒは補正演算部１３に伝達される。
【００２８】
認識部１０は、先行車や道路形状に関する認識結果に基づいて、警報が必要と判定した場合、モニタやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御が実行される。
【００２９】
つぎに、本実施形態にかかる視差補正の詳細を、図４および図５に示すフローチャートを参照しながら説明する。補正演算部１３は、このフローチャートに示した一連の手順に従って消失点視差ＤＰの値を更新し、その値を認識部１０にフィードバックする。なお、このフローチャートは、所定期間のサイクル毎に繰り返し実行される。
【００３０】
まず、ステップ１において、補正演算部１３は、認識部１０において算出された一対の撮像画像（基準画像および比較画像）のそれぞれに関して、白線エッジＰedgeと白線モデルＬ，Ｒとを読み込む。つぎに、ステップ２において、基準画像において左右の白線が存在するか否かが判断される。これは、認識部１０において左右の白線モデルＬ，Ｒが算出されているかを調べることにより判断することができる。また、左白線エッジＰedge1と右白線エッジＰedge2とが算出されているか否かを調べることにより判断してもよい。
【００３１】
ステップ２において否定判定された場合、すなわち左右の双方に白線が存在しない場合は、互いに平行な線分を抽出できないので消失点を算出することができない。したがって、制御の安定性を図るため、消失点視差ＤＰの現在値を変更することなくリターンへ進み、今回のサイクルにおける本フローチャートの実行を終了する。一方、ステップ２において肯定判定された場合は、ステップ３に進む。
【００３２】
ステップ３において、左右の白線の信頼性が評価される。具体的には以下の２つの点が評価される。そしてステップ４において白線として信頼できると判断された場合のみステップ５に進む。一方、白線として信頼できないと判断された場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
【００３３】
（白線の信頼性評価）
１．前回のサイクルにおける白線位置と今回のサイクルにおける白線位置とのずれが所定値よりも大きい場合は白線としての信頼性が低いと判断する。具体的には、従前のサイクルで検出された白線エッジＰedgeの位置と今回のサイクルで検出された白線エッジＰedgeの位置的が大きくずれている場合には白線としての信頼性が低いと判断する。
【００３４】
２．白線がどのくらい先まで見えているかを検証する。白線は少なくともある程度の長さを有している。したがって、フレーム間の白線の推移も考慮して、白線エッジＰedgeが奥行き方向において一定の長さ以上延在していない場合には白線としての信頼性が低いと判断する。
【００３５】
ステップ５において、白線モデルＲ，Ｌに基づいて、白線の直線性が評価される。正確な消失点を算出するためには、その算出ベースとなる左右の白線が直線的に延在している必要があり、カーブした白線からは正確な消失点を算出することができない。そこで、ステップ６において白線が直線であると判断された場合のみステップ７へ進み、それ以外の場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
【００３６】
白線の直線性は、例えば、認識部１０において算出された白線モデル（カーブ関数Ｘ＝ｆ(Ｚ)）に基づいて評価することができる。図３を参照しながら説明すると、まず、Ｚ−Ｘ平面における所定の距離レンジ（例えば０〜Ｚ2）におけるカーブ関数の傾きＡ１（左右の白線Ｌ，Ｒの傾きａL，ａRの平均）を算出する。この傾きＡ１は、第１区間における傾きａ1と第２区間における傾きａ2との平均値を用いる。つぎに、その先の所定の距離レンジ（例えばＺ2〜Ｚ4）におけるカーブ関数の傾きＡ２を算出する。この傾きＡ２は、第３区間における傾きａ3と第４区間における傾きａ4との平均値を用いる。そして、傾きＡ１と傾きＡ２との差（絶対値）を求め、この差が所定のしきい値以下であれば白線が直線であると判断する。
【００３７】
図５に示すステップ７以降の手順は、消失点視差ＤＰの更新処理に関する。まず、ステップ７において、基準画像における所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１mが、最小自乗法により算出される（図６参照）。同様に、その距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２mも最小自乗法により算出される。そして、ステップ８において、図６に示したように近似直線Ｌ１m，Ｌ２mの交点を特定することで、基準画像における消失点Ｖm（ＩＶm，ＪＶm）のｉ座標値ＩＶmが算出される。
【００３８】
続くステップ９において、基準画像の場合と同様の手法で、比較画像における所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１sが最小自乗法により算出される。それとともに、所定の距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２sも最小自乗法により算出される。そして、ステップ１０において、近似直線Ｌ１s，Ｌ２sの交点を特定することで、比較画像における消失点Ｖs（ＩＶs，ＪＶs）のｉ座標値ＩＶsが算出される。
【００３９】
そして、ステップ１１において、これらの消失点ＩＶm，ＩＶsに基づいて、視差補正値、すなわち消失点視差ＤＰの更新処理が行われる。基本的には、基準画像側に関して算出された消失点Ｖmのｉ座標値ＩＶmと、比較画像側に関して算出された消失点Ｖsのｉ座標値ＩＶsとのずれ量が、消失点視差ＤＰになる。そして、算出された消失点視差ＤＰが認識部１０に対して出力され、今回のサイクルにおける本フローチャートの処理が終了する。なお、制御の安定性を考慮して、このステップ１１で算出された消失点視差ＤＰを１〜ｎ回の処理サイクルに亘って保存し、その平均値を距離補正に使用するパラメータ（消失点視差）として適用してもよい。
【００４０】
本実施形態によれば、消失点視差ＤＰに関するフィードバック調整を監視制御と並行して行うことで、ステレオカメラの水平ずれが生じた場合であっても常に精度の高い距離を算出することができる。したがって、経年変化や衝撃等によってステレオカメラの取付け位置が初期設定状態から変化した場合であっても、信頼性の高い距離情報を安定して得ることができる。そして、このような算出距離に基づいて監視制御を行うことにより、車外監視の信頼性の向上を図ることができる。特に、本実施形態によれば、一対の撮像画像を用いて消失点視差ＤＰを直接的に検出するため、消失点視差が大きくずれた場合でも、それを安定して検出することができる。
【００４１】
なお、上述した説明において、消失点視差の更新は、比例制御や統計制御等によって行ってもよい。例えば、消失点視差ＤＰの１０００サンプル分のヒストグラムを取り、その最頻値を用いてもよい。
【００４２】
（撮像画像を用いた各種監視システムへの適用）
上述した実施形態では、撮像画像に写し出された道路上の左右の車線（白線）を利用して、消失点視差ＤＰを算出する手法について説明した。これは、自動車の前方監視の場合、通常、距離方向（Ｚ方向）に向かって延在する車線が道路の左右に存在し、これらは空間的に互いに平行であることが多いという一般的な傾向に鑑みたものである。本明細書では、車線のように、距離方向に向かって互いに平行に延在し、消失点算出のベースとなる直線的な対象物を「基準対象物」という。そして、本発明は、「基準対象物」が写し出される撮像画像を用いた各種監視システムに広く適用することができる。
【００４３】
一例として、撮像画像に基づき周囲の状況を認識する屋内ロボットに適用する場合、壁と床との２つの境界線を「基準対象物」として用いることができる。図７は、屋内ロボットにおける撮像画像の一例である。なお、同図に示す直線Ｌ１（またはＬ２）は、基準画像側の直線Ｌ１m（またはＬ２m）と比較画像側の直線Ｌ１s（またはＬ２s）とを総称する意味で用いている。通常、左壁と床との境界線および右壁と床との境界線は、距離方向（奥行方向）に向かって互いに平行に延在していることが多い。したがって、左右の境界線を利用して、消失点補正や距離補正を行うことができる。以下、境界線を利用した消失点の調整手順の概略を説明する。
【００４４】
まず、基準画像に基づき複数の直線Ｌ１m，Ｌ２mを検出する。上述した（白線エッジの条件）と同様に、壁と床との境界部分の輝度エッジや視差に関する条件を予め設定しておく。そして、撮像画像において、この条件に合致する部分を境界線として認識し、その直線性を適宜評価した上で、それぞれの近似直線Ｌ１m，Ｌ２mを算出する。また、別の手法としては、周知のハフ変換等を用いて、撮像画像において直線を形成する点（境界部分のエッジ画素）を抽出することにより、「基準対象物」となる直線Ｌ１m，Ｌ２mを算出してもよい。
【００４５】
つぎに、距離画像に基づき直線Ｌ１m，Ｌ２mが空間的に概ね平行であることを判定する。上述したように、距離画像に基づいて、直線Ｌ１m，Ｌ２mを構成する各領域の実空間上の位置を特定することができる。したがって、２本の直線Ｌ１m，Ｌ２mが検出された場合、周知の手法を用いて、これらの直線Ｌ１m，Ｌ２mの空間的な平行性を判定する。
【００４６】
直線Ｌ１m，Ｌ２mが空間的に平行である場合、基準画像におけるこれらの交点より、消失点Ｖmを算出する。同様の手法で、比較画像における直線Ｌ１s，Ｌ２sを検出し、比較画像におけるこれらの交点より消失点Ｖsを算出する。そして、これらの消失点Ｖm，Ｖsのｉ座標値の差異から消失点視差ＤＰを算出する。
【００４７】
また、他の例として、鉄道車両の前方状況を監視するシステムに適用する場合、左右のレールを「基準対象物」として用いることができる。図８は、鉄道車両前方の撮像画像の一例である。左右のレールは、距離方向に向かって互いに平行に延在している。したがって、左右のレールを「基準対象物」として用いることで２本の平行な直線Ｌ１，Ｌ２を特定できるため、上述した手法で消失点視差ＤＰを調整することが可能となる。
【００４８】
【発明の効果】
このように本発明では、距離情報等の三次元情報を算出する際に用いられる消失点視差を、一対の撮像画像平面上における平行な近似直線の交点として算出された消失点のずれに基づいて補正している。したがって、ステレオカメラの位置ずれが生じた場合であっても、それに起因した誤差を相殺するような消失点視差値が自動的に算出されるため、精度の高い三次元情報（距離情報）を安定して得ることができる。
【図面の簡単な説明】
【図１】ステレオ式車外監視装置の構成を示すブロック図
【図２】基準画像の白線エッジの説明図
【図３】白線モデルを示す図
【図４】視差補正手順の一部を示すフローチャート
【図５】図４に続く手順を示したフローチャート
【図６】撮像画像平面上における消失点の算出説明図
【図７】屋内ロボットの撮像画像の一例を示す図
【図８】鉄道車両前方の撮像画像の一例を示す図
【符号の説明】
１  メインカメラ
２  サブカメラ
３  アナログインターフェース
３ａ  ゲインコントロールアンプ
４  Ａ／Ｄコンバータ
５  補正回路
６  ステレオ演算回路
７  画像データメモリ
８  距離データメモリ
９  マイクロコンピュータ
１０  認識部
１１  警報装置
１２  制御装置
１３  補正演算部
【図１】
0004803927.tif 000006
【図２】
0004803927.tif 000007
【図３】
0004803927.tif 000008
【図４】
0004803927.tif 000009
【図５】
0004803927.tif 000010
【図６】
0004803927.tif 000011
【図７】
0004803927.tif 000012
【図８】
0004803927.tif 000013