(57)【特許請求の範囲】
【請求項１】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
前記ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、
撮像画像中の所定の距離レンジ内に存在する左右の車線に基づいて、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、算出された複数の近似直線によって形成された白線モデルが直線であるか否かを判断し、白線モデルが直線であると判断した場合に当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
前記消失点算出手段により算出された消失点に基づいて、前記パラメータを補正する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項２】
前記消失点算出手段は、撮像画像中に映し出された車線の位置の経時的な変化を評価し、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断して、撮像画像の消失点を算出することを特徴とする請求項１に記載された監視システムの距離補正装置。
【請求項３】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
前記ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、
撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、
前記消失点算出手段により算出された消失点に基づいて実路面高の変化状態を特定し、前記検出手段により算出された車線モデルに基づいて算出路面高の変化状態を特定し、かつ、前記算出路面高の変化状態が前記実路面高の変化状態に近づくように、前記パラメータを補正する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項４】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
前記ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、
撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、
前記消失点算出手段により算出された消失点に基づいて前記消失点算出手段により算出された消失点に基づいて距離に対する路面高の変化を示す第１の傾きを特定し、前記検出手段により算出された車線モデルに基づいて距離に対する路面高の変化を示す第２の傾きを特定し、かつ、前記第１の傾きに対する前記第２の傾きのずれが小さくなるように、前記パラメータを補正する補正手段とを
有することを特徴とする監視システムの距離補正装置。
【請求項５】
前記パラメータは消失点視差であることを特徴とする請求項１から４のいずれかに記載された監視システムの距離補正装置。
【請求項６】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
水平方向への移動を示すパラメータに基づいて、前記ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、
前記変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、
撮像画像中の所定の距離レンジ内に存在する左右の車線に基づいて、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、算出された複数の近似直線によって形成された白線モデルが直線であるか否かを判断し、白線モデルが直線であると判断した場合に当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
前記消失点算出手段により算出された消失点に基づいて、前記パラメータを補正する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項７】
前記消失点算出手段は、撮像画像中に映し出された車線の位置の経時的な変化を評価し、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断して、撮像画像の消失点を算出することを特徴とする請求項６に記載された監視システムの距離補正装置。
【請求項８】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
水平方向への移動を示すパラメータに基づいて、前記ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、
前記変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、
撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、
前記消失点算出手段により算出された消失点に基づいて実路面高の変化状態を特定し、前記検出手段により算出された車線モデルに基づいて算出路面高の変化状態を特定し、かつ、前記算出路面高の変化状態が前記実路面高の変化状態に近づくように、前記パラメータを補正する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項９】
監視システムの距離補正装置において、
一対の撮像画像を得るステレオ撮像手段と、
水平方向への移動を示すパラメータに基づいて、前記ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、
前記変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、
前記視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、
撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、
距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、
前記消失点算出手段により算出された消失点に基づいて前記消失点算出手段により算出された消失点に基づいて距離に対する路面高の変化を示す第１の傾きを特定し、前記検出手段により算出された車線モデルに基づいて距離に対する路面高の変化を示す第２の傾きを特定し、かつ、前記第１の傾きに対する前記第２の傾きのずれが小さくなるように、前記パラメータを補正する補正手段と
を有することを特徴とする監視システムの距離補正装置。
【請求項１０】
自車輌の前方の景色を撮像し、当該撮像画像中に映し出された対象物に関する三次元情報を予め設定された設定消失点を用いて求める監視システムの消失点補正装置において、
撮像画像中に映し出された道路上の車線を検出するとともに、撮像画像平面における車線の位置を特定する検出手段と、
道路上の左右の車線が検出された場合、撮像画像中に映し出された車線が直線であると判断されたときは、左右の車線のそれぞれについて撮像画像平面における近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出し、撮像画像中に映し出された車線の位置の経時的な変化の評価から、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断する消失点算出手段と、
前記設定消失点が、前記消失点算出手段により算出された消失点に近づくように、前記設定消失点を補正する補正手段と
を有することを特徴とする監視システムの消失点補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ステレオカメラの位置ずれに起因した誤差を含んだ距離情報を補正する監視システム用の距離補正装置、およびその消失点補正装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の固体撮像素子を内蔵した一対の車載カメラ（ステレオカメラ）を用いたステレオ式車外監視装置が注目されている。三次元計測技術の一つであるステレオ法では、一方の画像におけるある画素ブロックと相関を有する領域を他方の画像において特定する。そして、この画素ブロックの視差、すなわち、双方の画像（ステレオ画像）における画素ブロックの相対的なずれ量に基づき、三角測量の原理を用いて対象物までの距離を算出する。したがって、ステレオマッチングの精度を高めるためには、換言すると、信頼性の高い距離情報を得るためには、視差以外の位置的なずれがステレオ画像に存在しないことが望ましい。
しかしながら、実際は、ステレオカメラの機械的な取り付け精度に起因した位置ずれ（例えば、水平方向や垂直方向への並進ずれ、或いは回転ずれ等）が存在する。この位置ずれのうち、特に、水平方向の並進ずれ（以下「水平ずれ」という）は、ステレオ画像における視差の誤差となって現れるため、それに基づき算出された距離は実測値と異なってしまう。
【０００３】
この点に関して、特開平１０−３０７３５２号公報には、ステレオ画像に幾何学的な変換を施すことによって、ステレオカメラの位置ずれを補正する技術が開示されている。すなわち、位置ずれを初期調整する場合、または経年変化により生じた位置ずれを再調整する場合、専用の補正値検出装置を、アフィン変換を行う画像補正装置に接続する。そして、それ専用の調整用パターンを撮像することにより得られたステレオ画像の画角差、回転ずれまたは並進ずれを算出し、それに応じたアフィン変換のパラメータを画像補正装置に設定(または再設定)する。
このようにして設定されたアフィンパラメータに基づいて画像にアフィン変換を施すことで、ステレオカメラの水平ずれを含む位置ずれを画像処理によって等価的に補正している。
【０００４】
【発明が解決しようとする課題】
上記の従来技術は、特別な調整用パターンをステレオカメラで撮像し、撮像画像におけるそのパターンの位置に基づいてずれ補正を行うものである。そのため、この技術は、位置ずれの調整時に通常の監視制御を中断する必要があるため、監視制御と並行したリアルタイム処理には向かない。したがって、経年変化または衝撃等により生じた位置ずれを、監視制御と並行して補正することは困難である。
【０００５】
この発明は、かかる事情に鑑みてなされたもので、その目的は、ステレオカメラの位置ずれ、特に水平ずれに起因した誤差を有する視差を、リアルタイム処理によって補正することである。
【０００６】
また、この発明の別の目的は、補正された視差を用いて対象物までの距離を算出することにより、距離計測の精度の向上を図ることである。
【０００７】
さらに、この発明の別の目的は、予め設定された消失点を用いて対象物に関する三次元情報を求める場合、この設定消失点を補正することにより、対象物に関する三次元情報の精度の向上を図ることである。
【０００８】
かかる課題を解決するために、第１の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、撮像画像中の所定の距離レンジ内に存在する左右の車線に基づいて、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、算出された複数の近似直線によって形成された白線モデルが直線であるか否かを判断し、白線モデルが直線であると判断した場合に当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、消失点算出手段により算出された消失点に基づいて、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【０００９】
ここで、第１の発明において、消失点算出手段は、撮像画像中に映し出された車線の位置の経時的な変化を評価し、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断して、撮像画像の消失点を算出することが好ましい。
【００１０】
第２の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、消失点算出手段により算出された消失点に基づいて実路面高の変化状態を特定し、検出手段により算出された車線モデルに基づいて算出路面高の変化状態を特定し、かつ、算出路面高の変化状態が前記実路面高の変化状態に近づくように、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【００１１】
第３の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、ステレオ撮像手段により得られた一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差と、距離補正値としてのパラメータとに基づいて、対象物までの距離を算出する距離算出手段と、撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、消失点算出手段により算出された消失点に基づいて消失点算出手段により算出された消失点に基づいて距離に対する路面高の変化を示す第１の傾きを特定し、検出手段により算出された車線モデルに基づいて距離に対する路面高の変化を示す第２の傾きを特定し、かつ、第１の傾きに対する第２の傾きのずれが小さくなるように、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【００１２】
ここで、第１から第３の発明において、パラメータは消失点視差であることが好ましい。
【００１３】
第４の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、水平方向への移動を示すパラメータに基づいて、ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、撮像画像中の所定の距離レンジ内に存在する左右の車線に基づいて、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、算出された複数の近似直線によって形成された白線モデルが直線であるか否かを判断し、白線モデルが直線であると判断した場合に当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、消失点算出手段により算出された消失点に基づいて、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【００１４】
第４の発明において、消失点算出手段は、撮像画像中に映し出された車線の位置の経時的な変化を評価し、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断して、撮像画像の消失点を算出することが好ましい。
【００１５】
第５の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、水平方向への移動を示すパラメータに基づいて、ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、消失点算出手段により算出された消失点に基づいて実路面高の変化状態を特定し、検出手段により算出された車線モデルに基づいて算出路面高の変化状態を特定し、かつ、算出路面高の変化状態が実路面高の変化状態に近づくように、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【００１６】
第６の発明は、監視システムの距離補正装置において、一対の撮像画像を得るステレオ撮像手段と、水平方向への移動を示すパラメータに基づいて、前記ステレオ撮像手段により得られた一対の撮像画像に幾何学的な変換を施す変換手段と、変換手段から出力された一対の撮像画像に基づいて、ステレオマッチングにより視差を算出する視差算出手段と、視差算出手段により算出された視差から、対象物までの距離を算出する距離算出手段と、撮像画像中に映し出された道路上の車線に基づき、距離方向に延在する互いに平行な複数の車線それぞれについての近似直線を算出するとともに、当該近似直線の交点から撮像画像の消失点を算出する消失点算出手段と、距離に対する路面高の変化を表現した車線モデルを算出する検出手段と、消失点算出手段により算出された消失点に基づいて実路面高の変化状態を特定し、検出手段により算出された車線モデルに基づいて算出路面高の変化状態を特定し、かつ、算出路面高の変化状態が実路面高の変化状態に近づくように、パラメータを補正する補正手段とを有する監視システムの距離補正装置を提供する。
【００１８】
第７の発明は、自車輌の前方の景色を撮像し、この撮像画像中に映し出された対象物に関する三次元情報を予め設定された設定消失点を用いて求める監視システムの消失点補正装置において、撮像画像中に映し出された道路上の車線を検出するとともに、撮像画像平面における車線の位置を特定する検出手段と、道路上の左右の車線が検出された場合、撮像画像中に映し出された車線が直線であると判断されたときは、左右の車線のそれぞれについて撮像画像平面における近似直線を算出するとともに、これらの近似直線の交点から撮像画像の消失点を算出し、撮像画像中に映し出された車線の位置の経時的な変化の評価から、車線の位置の経時的な変化が小さいならば車線としての信頼性が高いものと判断する消失点算出手段と、設定消失点が、消失点算出手段により算出された消失点に近づくように、設定消失点を補正する補正手段とを有する監視システムの消失点補正装置を提供する。
【００１９】
【発明の実施の形態】
（第１の実施例）
図１は、第１の実施例にかかるステレオ式車外監視装置の構成を示したブロック図である。ルームミラーの近傍に取り付けられたステレオカメラは、通常の走行状態において、自車輛前方の道路や先行車等を含む景色を撮像する。このステレオカメラは、ＣＣＤ等のイメージセンサを内蔵した一対のカメラ１，２で構成されており、各カメラ１，２は、車幅方向において所定の間隔で取り付けられている。基準画像信号を出力するメインカメラ１は、車輌の進行方向に向かって右側に取り付けられている。一方、比較画像信号を出力するサブカメラ２は、進行方向に向かって左側に取り付けられている。カメラ対１，２の同期が取れている状態において、各カメラ１，２から出力されたアナログ画像信号は、後段の回路の入力レンジに合致するように、アナログインターフェース３において調整される。また、アナログインターフェース３中のゲインコントロールアンプ（ＧＣＡ）３ａにおいて画像の明るさバランスが調整される。
【００２０】
アナログインターフェース３において調整されたアナログ画像信号は、Ａ／Ｄコンバータ４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像データに変換される。デジタル化された各データは、補正回路５においてアフィン変換が施される。各カメラ１，２の位置ずれ、そしてそれに起因したステレオ画像のずれは、画像にアフィン変換を施すことにより等価的に補正される。本明細書では、「アフィン変換」という用語を、画像を回転、移動または拡大・縮小する幾何学的な座標変換を総称する意味で用いている。補正回路５は、４つのアフィンパラメータＫ，θ，SHFTI，SHFTJを用いて、原画像に対して下式で示した線形変換を施す。
【数１】
0004573977.tif 000002
この数式において、（i,j）は原画像の座標であり、（i',j'）は変換後の座標である。また、アフィンパラメータSHFTI，SHFTJはそれぞれ、ｉ方向（画像の水平方向）への移動、ｊ方向（画像の垂直方向）への移動を表している。また、アフィンパラメータθ，Ｋはそれぞれθの回転、Ｋ倍の拡大（|Ｋ|＜1の場合は縮小）を示している。ステレオ画像にアフィン変換を施すことによって、ステレオマッチングの精度を確保する上で重要な「ステレオ画像における水平線の一致」が保証される。なお、補正回路５の詳細なハードウェア構成については、特開平10-307352号公報に記述されているので、必要ならば参照されたい。
【００２１】
このような画像処理を経て、メインカメラ１の出力信号から、水平方向が512画素、垂直方向が200画素の画像領域における各画素の輝度値が基準画像データとして得られる。また、サブカメラ２の出力信号から、基準画像と垂直方向長が同じで、基準画像よりも大きな水平方向長を有する比較画像データが得られる（一例として、水平方向が640画素、垂直方向が200画素）。なお、二次元平面である画像のｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする（単位は画素）。基準画像データおよび比較画像データは、画像データメモリ７に格納される。
【００２２】
ステレオ演算回路６は、基準画像データと比較画像データとに基づいて視差ｄを算出する。視差ｄは、基準画像において4×4画素の画素ブロック毎に一つ算出されるため、一フレーム分の基準画像では128×50個算出され得る。基準画像中の一画素ブロックの視差ｄiを算出する場合、まず、その対象画素ブロックの輝度特性と相関を有する領域を比較画像において特定する。周知のとおり、ステレオ画像に映し出された対象物までの距離はステレオ画像における視差、すなわち、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像を探索する場合、対象画素ブロックのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ演算回路６は、このエピポーラライン上を一画素ずつシフトしながら、画素ブロック毎に対象画素ブロックとの相関を評価する（ステレオマッチング）。
【００２３】
二つの画素ブロックの相関関係は、例えば、周知の相関評価手法であるシティブロック距離を用いて評価することができる。ステレオ演算回路６は、エピポーラライン上に存在する領域（対象画素ブロックと同一面積）毎にシティブロック距離を求め、基本的には、シティブロック距離の値が最小となる領域を対象画素ブロックの相関先として特定する。そして、対象画素ブロックとその特定された相関先との水平方向のずれ量が視差ｄiとなる。なお、シティブロック距離の算出に関するハードウェア構成および相関先の詳細な決定手法については、特開平5-114099号公報に開示されているので必要ならば参照されたい。ステレオ演算回路６により算出された視差ｄは距離データメモリ８に格納される。
【００２４】
マイクロコンピュータ９（機能的に捉えた場合、その機能的ブロックである認識部１０）は、画像データメモリ７から基準画像データを読み出し、基準画像中に映し出された対象物（例えば先行車等）を周知の画像認識技術を用いて認識する。また、認識部１０は、距離データメモリ８から読み出した視差ｄを基本パラメータとして、下式に基づいて対象物までの距離Ｚを算出する。
【数２】
0004573977.tif 000003
同式において、ＫＺＨは所定の定数（カメラ基線長／水平視野角）であり、ＤＰは消失点視差である。本実施例において、消失点視差ＤＰは視差補正値（可変）であり、その値は後述する補正演算部１３において算出される。
【００２５】
また、認識部１０は「道路形状の認識」を行う。ここで、「道路形状の認識」とは、三次元的な道路形状を左右の車線（白線や追い越し禁止ライン等）に関する関数で表現し、この関数の各パラメータを、実際の道路形状（直線、カーブ曲率または起伏）に合致するような値に設定することである。なお、以下の説明では、車線の典型が白線であるから、白線を例に説明する。ただし、本発明は白線に限定されるものではない点に留意されたい。以下、本実施例における白線モデルの算出手法を図１２を参照しつつ説明する。
【００２６】
まず、基準画像において白線エッジＰedge、すなわち、水平方向の輝度エッジ（隣接画素間の輝度の変化量が大きい箇所）のうち白線に起因して生じたものが特定される。白線エッジＰedgeは、走行路の左側と右側とについて別個に探索され、複数の左白線エッジＰedge1と複数の右白線エッジＰedge2とがそれぞれ特定される。具体的には、下記の３つの条件を具備する輝度エッジが白線エッジＰedgeとして認識される。
（白線エッジの条件）
１．輝度変化量が所定値以上である輝度エッジで、かつ、輝度エッジの内側（画像中央側）の画素よりも外側（画像端側）の画素の方が輝度が大きいこと
すなわち走行路の左右の白線に起因した白線エッジＰedgeは、図１２に示したように、白線の内側の境界（白線と舗装路との境界）における輝度エッジである。
２．条件１を満たす白線エッジＰedgeの候補に関して、それと同一水平線上の外側にさらに輝度エッジが存在し、かつ、この輝度エッジの外側の画素よりも内側の画素の方が輝度が大きいこと
白線は所定の幅を有しているため、白線エッジＰedgeの外側にも境界が存在する。この条件は、このような白線の特徴に鑑みて設けられたものである。
３．条件１を満たす白線エッジＰedgeを含む画素ブロックに関して、視差ｄが算出されていること
白線エッジＰedgeが存在する箇所に視差ｄが算出されていなければ、その白線エッジＰedgeは道路形状を認識するのに有効な情報とはならないからである。
【００２７】
認識部１０は、特定された白線エッジＰedge毎に、その座標（ｉ，ｊ）およびその視差ｄを下記の数式３および数式４に示した周知の座標変換式に代入することにより、その実空間上の座標（Ｘ，Ｙ，Ｚ）を算出する。
【数３】
0004573977.tif 000004
【数４】
0004573977.tif 000005
ここで、定数ＣＡＨはステレオカメラ１，２の取付高さ、定数ｒはステレオカメラ１，２の取り付け間隔、定数ＰＷＶ，ＰＷＨはそれぞれ１画素当たりの垂直視野角、水平視野角である。また、定数ＩＶ，ＪＶはそれぞれ予め設定された消失点Ｖのｉ座標値、ｊ座標値である。また、自車輌の位置を基準に設定された実空間の座標系は、ステレオカメラ１，２の中央真下の道路面を原点として、車幅方向をＸ軸、車高方向をＹ軸、車長方向（距離方向）をＺ軸とする。撮像画像に映し出された対象物（先行車、立体物、または道路等）に関して、画像平面上の座標（ｉ，ｊ）および視差ｄが特定されると、数式２〜数式４に示した変換式に基づいて、実空間上の座標（Ｘ，Ｙ，Ｚ）を一意に特定することができる。
【００２８】
このようにして特定された各白線エッジＰedgeの実空間上の座標（Ｘ，Ｙ，Ｚ）に基づいて白線モデルが特定される。白線モデルは、認識範囲（例えばカメラ位置から車輌前方８４ｍ先まで）内の左右の白線エッジＰedge1，Ｐedge2のそれぞれ関して所定区間ごとに近似直線を求め、これを折れ線状に連結して表現したものである。一例として図１１の白線モデルは、認識範囲を７つの区間に分けて、各区間における左右の白線エッジＰedge1，Ｐedge2毎に最小二乗法を用いて下式の直線で近似している。
【数５】
（左白線モデルＬ）
Ｘ ＝ ａL・Ｚ ＋ ｂL
Ｙ ＝ ｃL・Ｚ ＋ ｄL
（右白線モデルＲ）
Ｘ ＝ ａR・Ｚ ＋ ｂR
Ｙ ＝ ｃR・Ｚ ＋ ｄR
【００２９】
これらの白線モデルＬ，Ｒは、道路のカーブ曲率を表現したカーブ関数（Ｘ＝ｆ(Ｚ)）と、道路の勾配や起伏を表現した勾配関数（Ｙ＝ｆ(Ｚ)）とで構成されている。したがって、実空間における道路の三次元的な変化状態は、左右の白線モデルＬ，Ｒによって把握することができる。認識部１０により算出された各白線エッジＰedgeおよび左右の白線モデルＬ，Ｒは補正演算部１３に伝達される。
【００３０】
認識部１０は、先行車や道路形状に関する認識結果に基づいて、警報が必要1と判定された場合、モニタやスピーカー等の警報装置１１を作動させてドライバーに注意を促す。また、必要に応じて制御装置１２を制御することにより、ＡＴ（自動変速機）のシフトダウンやエンジン出力の抑制、或いはブレーキの作動といった車輌制御が実行される。
【００３１】
つぎに、本実施例における距離情報の補正手法の概略について、図８を参照しつつ説明する。まず、起伏のない平坦な道路がＺ軸に対して常に水平である（すなわち自車輌のピッチングが存在しない）と仮定した場合、距離Ｚに対する路面高Ｙの変化状態は傾きａ＝０の直線Ｌrで表現される（以下、この直線Ｌrを実路面高という）。つぎに、基準画像に映し出された路面上の一点ｐ1（以下、路面点という）の座標を（ｉ1，ｊ1）としその視差をｄ1とした場合、この路面点ｐ1の実空間上の位置は、下式に示した（ｘ1，ｙ1，ｚ1）として一意に特定される。
【数６】
0004573977.tif 000006
【数７】
0004573977.tif 000007
【数８】
0004573977.tif 000008
【００３２】
起伏のない平坦な道路が水平に存在する場合、視差ｄ1により算出された距離ｚ1が誤差を含まないならば、数式７により算出された高さｙ1は当然０となるはずである。つまり、距離ｚ1の値が実測値と一致するならば、原点と路面点ｐ1とを結ぶ直線Ｌr'（以下、この直線Ｌr'を算出路面高という）は、実路面高Ｌrと完全に一致する（つまり算出路面高Ｌr'の傾きは０となる）。これに対して、距離ｚ1の値が誤差を含み実測値と異なる場合、数式７から算出される高さｙ1は０とはならず、算出路面高Ｌr'はある傾きａ'（ａ'＝ｙ1／ｚ1≠０）を有する。算出された高さｙ1が０にならない理由は、ステレオカメラの水平ずれの影響により誤差を含んだ視差ｄ1が算出され、その誤差が消失点視差ＤＰ（視差補正値に相当）によって適切に相殺されていないからである（数式６参照）。そこで、実路面高Ｌrの傾きａ（ａ＝０）に対する算出路面高Ｌr'の傾きａ'（ａ≠０）のずれ量がわかれば、以下に述べる数式変形によって消失点視差ＤＰの適正値と現在値とのずれ量ΔＤＰを算出することができる。
【００３３】
まず、消失点視差ＤＰが誤差を完全に相殺するような最適値である場合、算出路面高Ｌr'の傾きの値はａ（実路面高Ｌrの傾きと一致）となる。したがって、この傾きａは、上述した数式６および数式７に基づいて下式で表される。
【数９】
0004573977.tif 000009
一方、消失点視差が本来設定されるべき適切値ＤＰからずれた値ＤＰ'である場合、算出路面高Ｌr'の傾きａ'は、下式で表される。
【数１０】
0004573977.tif 000010
上記の数式９と数式１０とに基づいて、ｄ、ｊを消去すると、下式が得られる。
【数１１】
0004573977.tif 000011
そして、数式１１を変形し、ＤＰ−ＤＰ'、すなわち消失点視差のずれ量ΔＤＰを求めると下式のようになる。
【数１２】
0004573977.tif 000012
【００３４】
ここで実路面高Ｌrの傾きａは０である。一方、算出路面高Ｌr'の傾きａ'は認識部１０において算出された白線モデルＬ，Ｒ（Ｙ＝ｃ・Ｚ＋ｄ）のパラメータｃ（距離Ｚに対する路面高Ｙの変化を示す）に基づいて特定することができる。
算出路面高Ｌr'の傾きａ'と同様に、ステレオカメラの水平ずれが生じている場合には、白線モデルＬ，Ｒ（パラメータｃも含めて）にもその誤差が反映される。そこで、所定範囲の距離（例えば０〜Ｚ2）までの左右の白線モデルＬ，ＲのパラメータｃL，ｃRの平均値をパラメータＣとして、この値Ｃを算出路面高Ｌr'の傾きａ'と見なすことができる。そして、ａ＝０、ａ'＝Ｃを数式１２に代入することにより、消失点視差のずれ量ΔＤＰは、最終的に下式で表される。
【数１３】
0004573977.tif 000013
数式１３からわかるように、白線モデルＬ，Ｒから算出されたパラメータＣに定数（ＫＺＨ／ＣＡＨ）を乗じた値が、消失点視差のずれ量ΔＤＰとなる。そこで、現在の消失点視差ＤＰにずれ量ΔＤＰを加算した値に変更すれば、算出路面高Ｌr'を実路面高Ｌrと一致させることができる（ａ'＝ａ＝０）。つまり、ステレオカメラの水平ずれに起因した視差ｄの誤差は、数式１３にしたがって算出されたずれ量ΔＤＰに基づき適切に設定された消失点視差ＤＰを用いることにより、その影響を相殺することができる。その結果、ステレオカメラに水平ずれが存在したとしても、視差補正値である消失点視差ＤＰを適切に設定することで、正確な距離Ｚを算出することができる。
【００３５】
上述した説明は、起伏のない平坦な道路がＺ軸に対して常に水平に存在することを前提としている。しかしながら、実際には、自車輌のピッチングの影響があるため、水平な道路の実路面高Ｌが常にＺ軸と一致するとは限らない。例えば、自車輌が上方（空側）を向いている状態では実路面高Ｌrの傾きａが負の値となり、下方（地面側）を向いている状態ではその傾きａが正の値となる。上述した説明のように実路面高Ｌrの傾きａを０としてしまうと、ピッチングの影響によって、消失点視差のずれ量ΔＤＰ自体に誤差が生じてしまうため好ましくない。
算出距離の精度を向上させるという観点でいえば、ピッチングを考慮して実路面高Ｌrの傾きａを適切に算出する必要がある。
【００３６】
そこで、基準画像における左右の白線の二次元的な（すなわちｉ−ｊ平面上の）位置情報に基づいて「消失点」を特定し、この「消失点」から実路面高Ｌrの傾きａを算出する。ここで「消失点」とは、すべての奥行方向の平行線分が収束する無限に遠い点（無限遠点）をいう。例えば、三次元空間内に配置された直方体をカメラを通して二次元平面に写像すると、直方体を構成する奥行方向の平行線分は平行にはならず、必ず１点に向かう（収束する）。これらの線分の延長線上の交点が「消失点」である。自車輌の前方を撮像する車外監視装置においては、舗装された道路端に存在する左右の白線が、奥行方向に平行に延在する線分に該当する。左右の白線は互いに平行であるから、画像平面における左右の白線をそれぞれ直線近似し、これらの直線の交点を消失点Ｖ2d（IV2D,JV2D）とする。
【００３７】
具体的には、図１３に示したように、複数の左白線エッジＰedge1を直線で近似して近似直線Ｌ１を求めると共に、複数の右白線エッジＰedge2を直線で近似して近似直線Ｌ２を求める。その際、消失点JV2Dの算出精度を向上させるために、適切に設定された距離レンジ（例えば０〜Ｚ2）内の白線エッジＰedgeだけを対象として近似直線を算出することが好ましい。あまり距離レンジが短いと近似直線Ｌ１，Ｌ２の近似精度が低下してしまうからである。逆に、あまり距離レンジが長いと演算量の増大を招いたり、直線上の白線を映し出すケースが少なくなる（つまり消失点JV2Dの算出に適した白線状態にマッチする可能性が少なくなる）からである。そして、これらの近似直線Ｌ１，Ｌ２の交点が消失点Ｖ2dに相当する。なお、実路面高Ｌrの傾きａは消失点Ｖ2dのｊ座標値JV2Dさえ特定できれば算出することができるので、以下の説明では消失点Ｖ2dのｊ座標値JV2Dを「消失点」、または設定消失点ＪＶとの相違を明確化する意味で「実消失点」と呼ぶことにする。
【００３８】
図９は、実路面高Ｌrと算出路面高Ｌr'との関係を示した図である。ステレオカメラは、図９に示したようにカメラの取付高さＣＡＨと  実消失点JV2Dとを結ぶ消失線Ｌvが、実路面高Ｌrと平行になるように取り付けられている。自車輌にピッチングが生じた場合、実路面高Ｌrの傾きは変化するが、それと同時に消失線Ｌvの傾きも同様に変化する。つまり、自車輌のピッチングの有無に拘わらず、実路面高Ｌrの傾きは消失線Ｌvの傾きと常に一致する（それらの傾きはともにａ）。つまり、ピッチングが生じても、消失線Ｌvと実路面高Ｌrとは常に平行な関係が保たれる。したがって、実路面高Ｌrの傾きは消失線Ｌvの傾きａを求めることにより特定することができる。この傾きａさえ分かれば、以下のような数式変形により、消失点視差ＤＰを算出することができる。
【００３９】
まず、上述した数式３の変数ｊに実消失点JV2Dを代入した後、これを数式変形してＺ−Ｙ平面上における傾き（Ｙ／Ｚ）について求めたのが下式である。同数式からわかるように、実消失点JV2Dが特定できれば、消失線Ｌvの傾きａ（これが実路面高Ｌrの傾きに相当）は一意に特定される。
【数１４】
0004573977.tif 000014
この数式１４を数式１２に代入することにより、最終的に下式を得ることができる。
【数１５】
0004573977.tif 000015
この数式１５は、数式１３からピッチングの影響分を補正項として減算したものである。この補正項は、設定消失点ＪＶと実消失点JV2Dとの差を引いたものに所定の定数（ＫＺＨ／ＣＡＨ）を乗じた値である。したがって、消失点視差ＤＰの現在値にずれ量ΔＤＰを加算すれば、自車輌のピッチングの有無に拘らず、算出路面高Ｌr'の傾きａ'は実路面高Ｌrの傾きａと常に一致する。これは、ステレオカメラの水平ずれに起因した誤差が消失点視差ＤＰにより相殺され、実測値どおりの距離Ｚが算出されていることを意味している。自車輌のピッチングの影響は、消失線Ｌv（および実路面高Ｌr）の傾きａのみならず、算出路面高Ｌr'の傾きａ'にも同様に作用する。しかしながら、ずれ量ΔＤＰは、傾きａに関するピッチング影響分と傾きａ'に関するその影響分とが互いに相殺される形で算出される（数式１２参照）。したがって、ピッチングの影響を受けることなく、正確なずれ量ΔＤＰを算出することができる。
【００４０】
つぎに、本実施例にかかる視差補正の詳細について、図２から図３に示したフローチャートに基づいて説明する。補正演算部１３は、このフローチャートに示した一連の手順にしたがって消失点視差ＤＰの値を更新し、その値を認識部１０にフィードバックする。なお、このフローチャートは、所定期間のサイクル毎に繰り返し実行される。
【００４１】
まず、ステップ１において、補正演算部１３は、認識部１０において算出されたある基準画像の白線エッジＰedgeと白線モデルＬ，Ｒとを読み込む。つぎに、ステップ２からステップ６までの各手順において、基準画像が消失点JV2Dを算出するのに適した状態であるか否かが評価される。まず、消失点JV2Dの算出対象となっている基準画像（対象フレーム）において左右の白線が存在するか否かが判断される（ステップ２）。これは、認識部１０において左右の白線モデルＬ，Ｒが算出されているかを調べることにより判断することができる。また、左白線エッジＰedge1と右白線エッジＰedge2とが算出されているか否かを調べることにより判断してもよい。ステップ２において否定判定された場合、すなわち左右の双方に白線が存在しない場合は、互いに平行な線分を抽出できないので消失点JV2Dを算出することができない。したがって、制御の安定性を図るため、消失点視差ＤＰの現在値を変更することなくリターンへ進み、今回のサイクルにおける本フローチャートの実行を終了する。一方、ステップ２において肯定判定された場合は、ステップ３に進む。
【００４２】
ステップ２に続くステップ３において左右の白線の信頼性が検証される。具体的には以下の２つの点が評価される。そしてステップ４において白線として信頼できると判断された場合のみステップ５に進む。一方、白線として信頼できないと判断された場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
（白線の信頼性評価）
１．前回のサイクルにおける白線位置と今回のサイクルにおける白線位置とのずれが所定値よりも大きい場合は白線としての信頼性が低いと判断する。具体的には、従前のサイクルで検出された白線エッジＰedgeの位置と今回のサイクルで検出された白線エッジＰedgeの位置的が大きくずれている場合には白線としての信頼性が低いと判断する。
２．白線がどのくらい先まで見えているかを検証する。白線は少なくともある程度の長さを有している。したがって、フレーム間の白線の推移も考慮して、白線エッジＰedgeが奥行き方向において一定の長さ以上延在していない場合には白線としての信頼性が低いと判断する。
【００４３】
ステップ５において白線の直線性が評価される。正確な消失点JV2Dを算出するためには、その算出のベースとなる左右の白線が直線的に延在した状態である必要があり、カーブした白線からでは正確な消失点JV2Dを算出することできない。
そこで、ステップ６において白線が直線であると判断された場合のみステップ７へ進み、それ以外の場合は、消失点視差ＤＰの値を変更することなくリターンへ進む。
【００４４】
白線の直線性は、例えば、認識部１０において算出された白線モデル（カーブ関数Ｘ＝ｆ(Ｚ)）に基づいて評価することができる。図１１を参照しながら説明すると、まず、Ｚ−Ｘ平面における所定の距離レンジ（例えば０〜Ｚ2）におけるカーブ関数の傾きＡ１（左右の白線Ｌ，Ｒの傾きａL，ａRの平均）を算出する。この傾きＡ１は、第１区間における傾きａ1と第２区間における傾きａ2との平均値を用いる。つぎに、その先の所定の距離レンジ（例えばＺ2〜Ｚ4）におけるカーブ関数の傾きＡ２を算出する。この傾きＡ２は、第３区間における傾きａ3と第４区間における傾きａ4との平均値を用いる。そして、傾きＡ１と傾きＡ２との差（絶対値）を求め、この差が所定のしきい値以下であれば白線が直線であると判断する。
【００４５】
ステップ７以降の手順は、消失点視差ＤＰの更新に関するものである。まず、ステップ７において、所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１が、最小自乗法により算出される（図１３参照）。同様に、その距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２も最小自乗法により算出される。
【００４６】
ステップ７に続くステップ８において、図１３に示したように近似直線Ｌ１，Ｌ２の交点を特定することで、基準画像の消失点JV2Dが算出される。そして、ステップ８にて算出された消失点JV2Dを数式１４に代入することにより消失線Ｌvの傾きａが算出される（ステップ９）。上述したように、消失線Ｌvの傾きａを求めるということは、実路面高の傾きａを算出することに他ならない。
【００４７】
つぎに、ステップ１０において、算出路面高Ｌr'の傾きａ'が算出される。上述したように、傾きａ'は左右の白線モデルＬ，Ｒから算出されたパラメータＣを用いる。
【００４８】
そして、ステップ１１において視差補正値、すなわち消失点視差ＤＰの更新処理が行われる。図４は、消失点視差ＤＰの更新処理手順を示したフローチャートである。まず、ステップ２１において、数式１５にパラメータＣと消失点JV2Dとを代入することにより、消失点視差のずれ量ΔＤＰが算出される。
【００４９】
ステップ２１に続くステップ２２において、制御の安定性を図るために比例制御を用いて消失点視差ＤＰの更新演算が行われる。すなわち、消失点視差ＤＰの現在値に、ステップ２１において算出されたずれ量ΔＤＰに比例定数ｋ（０＜ｋ＜１）を乗じた値を加算することで、消失点視差ＤＰの値を更新する。そして、更新された消失点視差ＤＰが認識部１０に対して出力され（ステップ２３）、今回のサイクルにおける本フローチャートの実行が終了する。
【００５０】
上述したフローチャートを各サイクルにおいて実行する。それにより、消失点視差ＤＰが適切な値でない状況が発生した場合であっても、その値が本来の適切値へと徐々に近づいていく。これにより、ステレオカメラの水平ずれに起因した距離Ｚの誤差は消失点視差ＤＰにより相殺されていくので、算出路面高Ｌr'の傾きａ'は実路面高Ｌrの傾きａに収束していく。
【００５１】
以上のような手順で、消失点視差ＤＰに関するフィードバック調整を監視制御と並行して行うことにより、ステレオカメラの水平ずれが生じた場合であっても常に精度の高い距離を算出することができる。したがって、経年変化や衝撃等によってステレオカメラの取付け位置が初期設定状態から変化した場合であっても、信頼性の高い距離情報を安定して得ることができる。そして、このような算出距離に基づいて監視制御を行うことにより、車外監視の信頼性の向上を図ることができる。
【００５２】
また、基準画像の実消失点JV2Dを算出するのに必要な奥行き方向に延在する互いに平行な直線として、道路端に存在する左右の白線を用いている。本実施例では、白線の直線性やフレーム間における白線の位置関係を評価することにより、白線が消失点JV2Dを算出するのに適したものであるかを判断している。そして、適していると判断された場合のみ視差補正値である消失点視差ＤＰの値を変更している。したがって、不適切な消失点JV2Dが算出されてしまうのを防ぐことができるので、信頼性の高い距離情報を一層安定して得ることができる。
【００５３】
なお、上記の説明において、消失点視差の更新は、比例制御によって行っているが、それを統計制御によって行ってもよい。例えば、消失点視差のずれ量ΔＤＰの1000サンプル分のヒストグラムを取り、その最頻値をずれ量ΔＤＰとして用いてもよい。なお、統計制御による更新処理が可能な点は第２から第４の実施例についても同様である。
【００５４】
（第２の実施例）
第２の実施例は、実路面高Ｌrの傾きａ（すなわち消失線Ｌvの傾きａ）と算出路面高Ｌr'の傾きａ'（すなわち路面モデルＬ，Ｒから特定されたパラメータＣ）との大小関係から、視差補正値ＤＰを更新するものである。この更新手順は第１の実施例における図２および図３のフローチャートと同様である。第１の実施例と相違する点は、図３のステップ１１、すなわち距離算出パラメータ更新処理に関する部分である。
【００５５】
図５は、第２の実施例にかかる視差補正値ＤＰの更新処理手順を示したフローチャートである。まず、ステップ３１において、算出路面高Ｌr'の傾きａ'から実路面高Ｌrの傾きａを減算した値が正のしきい値ＴＨよりも大きいか否かが判断される。ステップ３１において肯定判定された場合は、消失点視差ＤＰに関して、現在の値に所定値αが加算され（ステップ３４）、従前よりも大きな消失点視差ＤＰが認識部１０へ出力される（ステップ３６）。一方、ステップ３１において否定判定された場合はステップ３２に進む。
【００５６】
ステップ３２において、傾きａ'から傾きａを減算した値が負のしきい値−ＴＨよりも小さいか否かが判断される。ステップ３２において肯定判定された場合は、消失点視差ＤＰに関して現在の値から所定値αが減算され（ステップ３４）、従前よりも小さな消失点視差ＤＰが認識部１０へ出力される（ステップ３６）。一方、ステップ３２において否定判定された場合、すなわち傾きａ'から傾きａを減算した値が負のしきい値−ＴＨから正のしきい値ＴＨの範囲である場合は、制御の安定性を図るために適切な消失点視差ＤＰであると判断し、この値は変更しない。
【００５７】
算出路面高Ｌr'の傾きａ'と実路面高Ｌrの傾きａとの差と距離Ｚとの関係を図１０に基づいて説明する。路面点Ｐ1までの距離がｚ1であり、この路面点Ｐ1を通る実路面高Ｌrの傾きをａとする。一方、カメラの水平ずれにより誤差を含んだ距離ｚ1'が算出された場合、Ｚ−Ｙ平面における路面点Ｐ1'は、カメラの取付高さＣＡＨと本来の路面点Ｐ1とを結ぶ直線ｍ上に出現する。したがって、本来の距離ｚ1よりも算出された距離ｚ1'の方が小さくなるほど、算出路面高Ｌr'の傾きａ'の方が実路面高Ｌrの傾きａよりも大きくなることがわかる。このような観点から、ａ'＞ａの場合は算出距離ｚ1'が大きくなるようにすればよく、そのためには消失点視差ＤＰの値を増大させればよい（数式２参照）。逆に、ａ'＜ａの場合は算出距離ｚ1'が小さくなるようにすればよく、そのためには消失点視差ＤＰの値を減少させればよい。
【００５８】
上述したフローチャートを各サイクルにおいて実行することで、消失点視差ＤＰが適切でない状況が生じたとしても、その値が本来の適切値へと徐々に近づいていく。これにより、ステレオカメラの水平ずれに起因した距離Ｚの誤差は消失点視差ＤＰにより相殺されていくので、算出路面高Ｌr'の傾きａ'は実路面高Ｌrの傾きａに収束していく。そのため、本実施例においても、第１の実施例と同様に、精度の高い距離を安定して算出することができる。そして、このような算出距離に基づいて監視制御を行うことにより、車外監視の信頼性の向上を図ることができる。
【００５９】
（第３の実施例）
本実施例の特徴は、算出路面高Ｌr'の傾きａ'と実路面高Ｌrの傾きａとの差に応じて、アフィン変換におけるアフィンパラメータSHFTI（水平方向への移動）を更新する点にある。
【００６０】
図６は、第３の実施例にかかるステレオ式車外監視装置の構成を示したブロック図である。補正演算部１３において算出されたアフィンパラメータSHFTIが補正回路５へとフィードバックされている点を除けば、図１のブロック図と同一である。したがって、図１のブロック図に示した構成要素と同一のものについては、同一の符号を付してここでの説明を省略する。
【００６１】
アフィンパラメータSHFTIの更新手順は第１の実施例における図２および図３のフローチャートと同様である。第１の実施例と相違する点は、図３のステップ１１、すなわち距離算出パラメータ更新処理に関する部分である。
【００６２】
図７は、視差補正値である水平方向への移動を表すアフィンパラメータSHFTIの更新処理手順を示したフローチャートである。まず、ステップ４１において、算出路面高Ｌr'の傾きａ'から実路面高Ｌrの傾きａを減算した値が正のしきい値ＴＨよりも大きいか否かが判断される。ステップ４１において肯定判定された場合は、アフィンパラメータSHFTIに関して、現在の値から所定値βを減算し（ステップ４４）、従前よりも小さなアフィンパラメータSHFTIが補正回路５へ出力される（ステップ４６）。一方、ステップ４１において否定判定された場合はステップ４２に進む。
【００６３】
ステップ４２において、傾きａ'から傾きａを減算した値が負のしきい値−ＴＨよりも小さいか否かが判断される。ステップ４２において肯定判定された場合は、アフィンパラメータSHFTIに関して現在の値に所定値βを加算し（ステップ４４）、従前よりも大きなアフィンパラメータSHFTIが補正回路５へ出力される（ステップ４６）。一方、ステップ４２において否定判定された場合、すなわち傾きａ'から傾きａを減算した値が負のしきい値−ＴＨから正のしきい値ＴＨの範囲である場合は、制御の安定性を図るために適切なアフィンパラメータSHFTIであると判断し、この値は変更しない。
【００６４】
第２の実施例において説明したように、ａ'＞ａの場合は算出距離ｚ1'が大きくなるように、換言すれば、視差ｄを小さくすればよい。そのためにはアフィンパラメータSHFTIの値を従前よりも小さくし、水平方向への移動量が小さくなるように更新すればよい。逆に、ａ'＜ａの場合は算出距離ｚ1'が小さくなるように、換言すれば、視差ｄを大きくすればよい。そのためにはアフィンパラメータSHFTIの値を従前よりも大きくし、水平方向への移動量が大きくなるように更新すればよい。
【００６５】
以上のような、水平方向への移動を表すアフィンパラメータSHFTIに関するフィードバック調整を監視制御と並行して行う。これにより、ステレオカメラの水平ずれが生じた場合であっても、その影響はアフィンパラメータSHFTIにより相殺されるため、精度の高い視差ｄを算出することができる。その結果、第１の実施例と同様に、精度の高い距離情報を得ることができるため、車外監視の信頼性の向上を図ることができる。
【００６６】
（第４の実施例）
本実施例は、上述した数式３，４、すなわち対象物の位置（Ｘ，Ｙ座標）を算出する変換式において用いられている設定消失点Ｖ（IV,JV）を、図１３に示した消失点Ｖ2d（IV2D,JV2D）を用いて調整する手法に関するものである。
【００６７】
図１４は、第４の実施例にかかるステレオ式車外監視装置の構成を示したブロック図である。補正演算部１３は、基準画像データに基づいて算出された基準画像中の消失点Ｖ2d（IV2D,JV2D）に基づいて、設定消失点Ｖ（IV,JV）の更新演算を行う。そして、算出された消失点ＩＶ，ＪＶが認識部１０へ出力される。なお、この点を除けば、図１のブロック図と同一であるので、図１のブロック図に示した構成要素と同一の符号を付してここでの説明を省略する。
【００６８】
つぎに、設定消失点ＩＶ，ＪＶの更新手順について説明する。まず、図２に示したフローチャートに示したステップ１からステップ６までの手順にしたがい、基準画像が消失点Ｊ2d（IV2D,JV2D）を算出するのに適した状態であるか否かが評価される。
【００６９】
図１５は、本実施例にかかる図２に続く手順を示したフローチャートであり、設定消失点Ｖ（IV,JV）の更新処理に関するものである。まず、ステップ５１において、所定の距離レンジ（例えば０〜Ｚ2）内に存在する複数の左白線エッジＰedge1の近似直線Ｌ１が最小自乗法により算出される（図１３参照）。同様に、このステップ５１において、その距離レンジ内に存在する複数の右白線エッジＰedge2の近似直線Ｌ２が最小自乗法により算出される。そして、ステップ５２において、図１３に示したように近似直線Ｌ１，Ｌ２の交点を特定することで、基準画像の消失点Ｊ2d（IV2D,JV2D）が算出される。
【００７０】
ステップ５２に続くステップ５３において、上述した数式３，４において用いられる設定消失点Ｖ（IV,JV）の更新処理が行われる。まず、設定消失点Ｖのｉ座標値ＩＶの現在値とステップ５２において算出された消失点Ｖ2dのｉ座標値IV2Dとを比較することにより、下記のような比例制御によって消失点ＩＶを更新する。ここで、γは０＜γ＜１の定数である。
（消失点ＩＶの更新）
ＩＶ−IV2D  ＞  ＴＨ  ・・・  ＩＶ ← ＩＶ − γ
ＩＶ−IV2D  ＜−ＴＨ  ・・・  ＩＶ ← ＩＶ ＋ γ
|ＩＶ−IV2D|≦  ＴＨ  ・・・  ＩＶ ← ＩＶ
【００７１】
すなわち、設定消失点ＩＶが画像の左右の白線から特定された消失点ＩＶ２Ｄよりも大きい場合は、設定消失点ＩＶは画像の水平方向右側にずれてしまっていることを意味している。この場合は、設定消失点ＩＶの現在値から定数γを引くことにより、設定消失点ＩＶを所定量だけ左側にシフトさせる。また、設定消失点ＩＶが消失点ＩＶ２Ｄよりも小さい場合は、設定消失点ＩＶは画像の左側にずれてしまっていることを意味している。この場合は、設定消失点ＩＶの現在値に定数γを加算することにより、設定消失点ＩＶを所定量だけ右側にシフトさせる。ただし、制御の安定性を図るために、両者の差（絶対値）が所定値ＴＨ以内である場合は、設定消失点ＩＶは変更しない。
【００７２】
同様に、設定消失点Ｖのｊ座標値ＪＶの現在値とステップ５２において算出された消失点Ｖ2dのｊ座標値JV2Dとを比較することにより、下記のような比例制御によって消失点ＪＶを更新する。ここで、δは０＜δ＜１の定数である。
（消失点JＶの更新）
ＪＶ−JV2D  ＞  ＴＨ  ・・・  ＪＶ ← ＪＶ − δ
ＪＶ−JV2D  ＜−ＴＨ  ・・・  ＪＶ ← ＪＶ ＋ δ
|ＪＶ−JV2D|≦  ＴＨ  ・・・  ＪＶ ← ＪＶ
【００７３】
すなわち、設定消失点ＪＶが画像の左右の白線から特定された消失点ＪＶ２Ｄよりも大きい場合は、設定消失点ＪＶは画像の垂直方向上側にずれてしまっていることを意味している。この場合は、設定消失点ＪＶの現在値から定数δを引くことにより、設定消失点ＪＶを所定量だけ下側にシフトさせる。また、設定消失点ＪＶが消失点ＪＶ２Ｄよりも小さい場合は、設定消失点ＪＶは画像の下側にずれてしまっていることを意味している。この場合は、設定消失点ＪＶの現在値に定数δを加算することにより、設定消失点ＪＶを所定量だけ上側にシフトさせる。ただし、制御の安定性を図るために、両者の差（絶対値）が所定値ＴＨ以内である場合は、設定消失点ＪＶは変更しない。
【００７４】
ステップ５３に続くステップ５４において、ステップ５３において設定された消失点ＩＶ，ＪＶが認識部１０へ出力される。
【００７５】
上述したフローチャートを各サイクルにおいて実行することで、設定消失点ＩＶ，ＪＶが適切でない状況が生じたとしても、その値が本来の適切値へと徐々に近づいていく。この制御を通常の監視制御と平行してリアルタイムで行えば、設定消失点ＩＶ，ＪＶの現在値に誤差が生じたとしても、その値を最適値へ徐々に収束させることができる。その結果、対象物の位置（Ｘ，Ｙ）を精度よく算出することができるため、車外監視の信頼性の向上を図ることができる。
【００７６】
（撮像画像を用いた各種監視システムへの適用）
上述した各実施例では、撮像画像に映し出された道路上の左右の車線（白線）を利用して、消失点を算出する手法について説明した。これは、自動車の前方監視の場合、通常、距離方向（Ｚ方向）に向かって延在する車線が道路の左右に存在し、これらは互いに平行であることが多いという一般的な傾向に鑑みたものである。本明細書では、車線のように、距離方向に向かって互いに平行に延在し、消失点算出のベースとなる直線的な対象物を「基準対象物」という。そして、本発明は、「基準対象物」が映し出される撮像画像を用いた各種監視システムに広く適用することができる。
【００７７】
一例として、撮像画像に基づき周囲の状況を認識する屋内ロボットに適用する場合、壁と床との２つの境界線を「基準対象物」として用いることができる。図１６は、屋内ロボットにおける撮像画像の一例である。通常、左壁と床との境界線および右壁と床との境界線は、距離方向（奥行方向）に向かって互いに平行に延在していることが多い。したがって、左右の境界線を利用して、消失点補正や距離補正を行うことができる。以下、境界線を利用した消失点の調整手順の概略を説明する。
【００７８】
まず、基準画像に基づき複数の直線Ｌ１，Ｌ２を検出する。上述した（白線エッジの条件）と同様に、壁と床との境界部分の輝度エッジや視差に関する条件を予め設定しておく。そして、撮像画像において、この条件に合致する部分を境界線として認識し、その直線性を適宜評価した上で、それぞれの近似直線Ｌ１，Ｌ２を算出する。また、別の手法としては、周知のハフ変換等を用いて、撮像画像において直線を形成する点（境界部分のエッジ画素）を抽出することにより、「基準対象物」となる直線Ｌ１，Ｌ２を算出してもよい。
【００７９】
つぎに、距離画像に基づき直線Ｌ１，Ｌ２が概ね平行であることを判定する。
上述したように、距離画像に基づいて、直線Ｌ１，Ｌ２を構成する各領域の実空間上の位置を特定することができる。したがって、２本の直線Ｌ１，Ｌ２が検出された場合、周知の手法を用いて、これらの直線Ｌ１，Ｌ２の平行性を判定する。
【００８０】
直線Ｌ１，Ｌ２が平行である場合、基準画像におけるこれらの交点より、消失点を算出する。そして、距離画像から直線Ｌ１，Ｌ２の傾きａを計算し、この値から消失点の座標を逆算する。最後に、算出された２つの消失点の座標が一致するように、消失点視差の値を調整する。
【００８１】
また、他の例として、鉄道車両の前方状況を監視するシステムに適用する場合、左右のレールを「基準対象物」として用いることができる。図１７は、鉄道車両前方の撮像画像の一例である。左右のレールは、距離方向に向かって互いに平行に延在している。したがって、左右のレールを「基準対象物」として用いることで２本の平行な直線Ｌ１，Ｌ２を特定できるため、上述した手法で消失点を調整することが可能となる。
【００８２】
【発明の効果】
このように本発明では、距離情報等の三次元情報の算出にかかるパラメータ（例えば、消失点視差ＤＰ、アフィンパラメータSHFTI、設定消失点ＩＶ，ＪＶ等）を、撮像画像における左右の白線から算出された実消失点に基づいて補正している。したがって、ステレオカメラの位置ずれが生じた場合であっても、それに起因した誤差を相殺するようなパラメータ値に自動的に調整されるため、精度の高い三次元情報（例えば距離情報）を安定して得ることができるという効果がある。
【図面の簡単な説明】
【図１】第１の実施例にかかるステレオ式車外監視装置の構成を示したブロック図
【図２】第１の実施例にかかる視差補正手順の一部を示したフローチャート
【図３】図２に続く手順を示したフローチャート
【図４】第１の実施例にかかる視差補正値ＤＰの更新処理手順を示したフローチャート
【図５】第２の実施例にかかる視差補正値ＤＰの更新処理手順を示したフローチャート
【図６】第３の実施例にかかるステレオ式車外監視装置の構成を示したブロック図
【図７】視差補正値SHFTIの更新処理手順を示したフローチャート
【図８】算出路面高を説明するための図
【図９】実路面高と算出路面高との関係を示した図
【図１０】実路面高と算出路面高との相違による距離のずれを説明するための図
【図１１】白線モデルを示した図
【図１２】基準画像の白線エッジを説明するための図
【図１３】基準画像における消失点の算出手法を説明するための図
【図１４】第４の実施例にかかるステレオ式車外監視装置の構成を示したブロック図
【図１５】第４の実施例にかかる図２に続く手順を示したフローチャート
【図１６】屋内ロボットの撮像画像の一例
【図１７】鉄道車両前方の撮像画像の一例
【符号の説明】
１  メインカメラ、                ２  サブカメラ、
３  アナログインターフェース、  ３ａ  ゲインコントロールアンプ、
４  Ａ／Ｄコンバータ、            ５  補正回路、
６  ステレオ演算回路、            ７  画像データメモリ、
８  距離データメモリ、            ９  マイクロコンピュータ、
１０  認識部、                    １１  警報装置、
１２  制御装置、                  １３  補正演算部
【図１】
0004573977.tif 000016
【図２】
0004573977.tif 000017
【図３】
0004573977.tif 000018
【図４】
0004573977.tif 000019
【図５】
0004573977.tif 000020
【図６】
0004573977.tif 000021
【図７】
0004573977.tif 000022
【図８】
0004573977.tif 000023
【図９】
0004573977.tif 000024
【図１０】
0004573977.tif 000025
【図１１】
0004573977.tif 000026
【図１２】
0004573977.tif 000027
【図１３】
0004573977.tif 000028
【図１４】
0004573977.tif 000029
【図１５】
0004573977.tif 000030
【図１６】
0004573977.tif 000031
【図１７】
0004573977.tif 000032