(57)【特許請求の範囲】
【請求項１】
車両の前方を撮影して左側画像および右側画像を生成するステレオカメラ、
前記左側画像および前記右側画像にブロックマッチングアルゴリズムを適用して基準値以上の類似度を有する複数の特徴点を抽出し、前記抽出された複数の特徴点の各々の座標および深さを算出する画像マッチング部、
前記複数の特徴点の各々の座標および深さに基づいて、前記複数の特徴点を３個ずつ連結して複数の三角形を算出する面算出部、
前記複数の三角形の各々の頂点に対応する３個の特徴点の各々の座標および深さに基づいて、前記複数の三角形の各々の法線の方向を算出し、前記複数の三角形のうち、２つの頂点を共有し、法線の方向の差が既に設定された第１閾値未満である２個の三角形の各々の法線方向を同一値に設定する法線算出部、および
前記ステレオカメラの撮影方向を前記複数の三角形の各々の法線方向と比較した結果に基づいて、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された第２閾値未満の差を有する法線の方向を有する三角形を前記車両の前方に存在する障害物として検出し、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された第２閾値以上の差を有する法線の方向を有する三角形を道路面と判断する障害物を検出する障害物検出部、を含む、障害物検出装置。
【請求項２】
前記画像マッチング部は、
エッジ検出（ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ）を用いて前記左側画像および前記右側画像において既に設定された値以上の明るさの変化が現れる領域を算出し、
前記既に設定された値以上の明るさ変化が現れる領域に前記ブロックマッチングアルゴリズムを適用して前記複数の特徴点を抽出する、請求項１に記載の障害物検出装置。
【請求項３】
前記面算出部は、
ドローネー三角分割（ｄｅｌａｕｎａｙ  ｔｒｉａｎｇｕｌａｔｉｏｎ）を用いて前記複数の三角形を算出する、請求項１に記載の障害物検出装置。
【請求項４】
前記法線算出部は、
前記複数の三角形の各々の重心を通過する法線の方向を算出する、請求項１に記載の障害物検出装置。
【請求項５】
前記法線算出部は、
前記複数の三角形のうち第１三角形と第２三角形が１つの辺を共有し、前記第１三角形の法線の方向である第１方向と前記第２三角形の法線の方向である第２方向との差が既に設定された第１閾値未満である場合、
前記第１三角形と前記第２三角形の法線が各々前記第１方向、前記第２方向または前記第１方向と第２方向の中間方向のいずれか１つの方向を有するように設定する、請求項１に記載の障害物検出装置。
【請求項６】
前記障害物検出部によって前記車両の前方に存在する障害物が検出される時、前記障害物に対する情報または警報メッセージを出力する警報部
をさらに含む、請求項１に記載の障害物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、障害物検出装置に関し、より詳しくは、ステレオカメラが出力した車両の前方の画像において特徴点を設定して同じ空間の面を算出し、法線を求めて隣接する面を合わせ、法線の方向に障害物を検出する障害物検出装置および障害物検出方法に関する。
【背景技術】
【０００２】
最近、車両の前方のオブジェクトを検知し、それに応じて車両を制御する技術が多くの車両に適用されている。特にステレオカメラを用いて車両周辺のオブジェクトを検知する技術が益々多くなっている。
【０００３】
しかし、従来のステレオカメラを用いたオブジェクト検知装置は、アルゴリズムの複雑度が大きいため、リアルタイムで処理しなければならない車両周辺の画像を処理するのに困難があった。車両周辺のオブジェクトを検知するのは運転者、歩行者および他車両の運転者の安全と直結する技術である。最近では車両で撮影した画像をより迅速に処理して車両周辺の障害物を検出する技術が研究中である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明が解決しようとする課題は、ステレオカメラによって生成される車両の前方の画像において特徴点を検出し、検出された特徴点を連結した三角形の法線の方向に基づいて、車両の前方に存在する障害物を検出する障害物検出装置を提供することにある。
【０００５】
本発明の課題は以上で言及した課題に制限されず、言及していないまた他の課題は下記の記載によって当業者が明らかに理解できるものである。
【課題を解決するための手段】
【０００６】
前記課題を達成するために、本発明の実施形態による障害物検出装置は、車両の前方を撮影して左側画像および右側画像を生成するステレオカメラ、前記左側画像および前記右側画像にブロックマッチングアルゴリズムを適用して基準値以上の類似度を有する複数の特徴点を抽出し、前記抽出された複数の特徴点の各々の座標および深さを算出する画像マッチング部、前記複数の特徴点の各々の座標および深さに基づいて、前記複数の特徴点を３個ずつ連結して複数の三角形を算出する面算出部、前記複数の三角形の各々の頂点に対応する３個の特徴点の各々の座標および深さに基づいて、前記複数の三角形の各々の法線の方向を算出する法線算出部、および前記ステレオカメラの撮影方向を前記複数の三角形の各々の法線方向と比較した結果に基づいて、前記車両の前方に存在する障害物を検出する障害物検出部を含む。
【０００７】
また、前記画像マッチング部は、エッジ検出（ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ）を用いて前記左側画像および前記右側画像において既に設定された値以上の明るさ変化が現れる領域を算出し、前記既に設定された値以上の明るさ変化が現れる領域に前記ブロックマッチングアルゴリズムを適用して前記複数の特徴点を抽出することができる。
【０００８】
なお、前記面算出部は、ドローネー三角分割（ｄｅｌａｕｎａｙ  ｔｒｉａｎｇｕｌａｔｉｏｎ）を用いて前記複数の三角形を算出することができる。
【０００９】
また、前記法線算出部は、前記複数の三角形の各々の重心を通過する法線の方向を算出することができる。
【００１０】
なお、前記法線算出部は、前記複数の三角形のうち、１つのコーナーを共有し、法線の方向の差が既に設定された第１閾値未満である２個の三角形の各々の法線方向を同一値に設定することができる。
【００１１】
また、前記法線算出部は、前記複数の三角形のうち第１三角形と第２三角形が１つのコーナーを共有し、前記第１三角形の法線の方向である第１方向と前記第２三角形の法線の方向である第２方向との差が既に設定された第１閾値未満である場合、前記第１三角形と前記第２三角形の法線が各々前記第１方向、前記第２方向または前記第１方向と第２方向の中間方向のいずれか１つの方向を有するように設定することができる。
【００１２】
なお、前記障害物検出部は、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された第２閾値未満の差を有する法線の方向を有する三角形を前記障害物として検出することができる。
【００１３】
また、前記障害物検出部は、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された第２閾値以上の差を有する法線の方向を有する三角形を道路面と判断することができる。
【００１４】
なお、前記障害物検出部によって前記車両の前方に存在する障害物が検出される時、前記障害物に対する情報または警報メッセージを出力する警報部をさらに含むことができる。
【００１５】
本発明の他の側面によれば、ステレオカメラを用いて車両の前方に対する左側画像および右側画像を生成するステップ、前記左側画像および前記右側画像にブロックマッチングアルゴリズムを適用して基準値以上の類似度を有する複数の特徴点を抽出するステップ、前記抽出された複数の特徴点の各々の座標および深さを算出するステップ、前記複数の特徴点の各々の座標および深さに基づいて、前記複数の特徴点を３個ずつ連結して複数の三角形を算出するステップ、前記複数の三角形の各々の頂点に対応する３個の特徴点の各々の座標および深さに基づいて、前記複数の三角形の各々の法線の方向を算出するステップ、および前記ステレオカメラの撮影方向を前記複数の三角形の各々の法線方向と比較した結果に基づいて、前記車両の前方に存在する障害物を検出するステップを含む障害物検出方法を提供する。
【００１６】
また、前記複数の特徴点を抽出するステップは、エッジ検出（ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ）を用いて前記左側画像および前記右側画像において既に設定された値以上の明るさの変化が現れる領域を算出するステップ、および前記既に設定された値以上の明るさの変化が現れる領域に前記ブロックマッチングアルゴリズムを適用して前記複数の特徴点を抽出するステップを含むことができる。
【００１７】
なお、前記複数の三角形の各々の法線の方向を算出するステップは、前記複数の三角形のうち、１つのコーナーを共有し、法線の方向の差が既に設定された第１閾値未満である２個の三角形の各々の法線方向を同一値に設定することができる。
【００１８】
また、前記車両の前方に存在する障害物を検出するステップは、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された第２閾値未満の差を有する法線の方向を有する三角形を前記障害物として検出することができる。
【００１９】
なお、前記車両の前方に存在する障害物が検出される時、前記障害物に対する情報または警報メッセージを出力するステップをさらに含むことができる。
【００２０】
また、前記障害物検出ステップは、前記複数の三角形のうち、前記ステレオカメラの撮影方向と既に設定された値以上の差を有する法線の方向を有する三角形を道路面と判断することができる。
その他の実施形態の具体的な事項は詳細な説明および図面に含まれている。
【発明の効果】
【００２１】
本発明の障害物検出装置によれば、次のような効果が１つあるいはそれ以上ある。
第１に、ステレオカメラによって生成される左側画像と右側画像の全体領域ではなく類似度の高い一定領域に含まれた特徴点の深さ（ｄｅｐｔｈ）だけを算出することにより、画像から障害物を検出するのに求められる演算量を低減できるという長所がある。
【００２２】
第２に、３個の特徴点を頂点にする三角形の法線の方向に基づいて、障害物の存在有無を検出することができるため、深さの推定（ｄｅｐｔｈ  ｅｓｔｉｍａｔｉｏｎ）過程が省略されて障害物の検出速度が向上するという長所もある。
【００２３】
第３に、ステレオカメラによって生成される左側画像と右側画像の一部分に対してのみ障害物の検出を行うため、画像の処理速度の相対的に低い低価な部品を用いても一定レベル以上の障害物の検出性能を確保することができる。
【００２４】
本発明の効果は以上で言及した効果に制限されず、言及していないまた他の効果は請求範囲の記載から当業者に明らかに理解できるものである。
【図面の簡単な説明】
【００２５】
【図１】本発明の一実施形態による障害物検出装置の構成を示す構成図である。
【図２】一実施形態による法線算出部が任意の点において法線ベクトルを算出した結果を示すものである。
【図３】本発明の一実施形態により、ステレオカメラを用いて撮影された画像から障害物を検出する一例を示すものである。
【図４】本発明の一実施形態により、三角形の法線方向に基づいて障害物であるか否かを判断する例示図である。
【図５】本発明の一実施形態による障害物検出方法のフローチャートである。
【発明を実施するための形態】
【００２６】
本発明の利点および特徴、そしてそれらを達成する方法は添付図面と共に詳細に後述している実施形態を参照すれば明らかになる。但し、本発明は以下にて開示される実施形態に限定されるものではなく互いに異なる様々な形態に実現されてもよく、単に本実施形態は本発明の開示が完全になるようにし、本発明が属する技術分野で通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。明細書の全体にかけて同一の参照符号は同一の構成要素を指し示す。
【００２７】
以下、本発明の実施形態によって障害物検出装置を説明するための図面を参考にして本発明について説明する。
図１は、本発明の一実施形態による障害物検出装置の構成を示す構成図である。本発明の一実施形態による障害物検出装置は、ステレオカメラ１００、画像マッチング部２００、面算出部３００、法線算出部４００および障害物検出部５００を含む。
【００２８】
先ず、ステレオカメラ１００は、車両の前方を撮影して左側画像および右側画像を生成する。具体的に、ステレオカメラ１００は、車両の一位置（例；ウインドシールドの上段、ボンネットなど）に取り付けられた状態で、所定の撮影方向に対応する車両の前方を撮影して左側画像および右側画像を生成し、生成された左側画像および右側画像を画像マッチング部２００に出力する。例えば、ステレオカメラ１００は、ステレオカメラ１００の左側レンズを介して撮影した左側画像およびステレオカメラ１００の右側レンズを介して撮影した右側画像を生成することができる。この時、ステレオカメラ１００の撮影方向は、直進時の車両の走行方向と同一になるように予め設定することができる。
【００２９】
この時、左側画像および右側画像は時間に応じて順次生成される画像を意味する。例えば、第１時点の左側画像および右側画像は、第２時点の左側画像および右側画像とは異なる。
【００３０】
画像マッチング部２００は、左側画像および右側画像に含まれた複数の特徴点を抽出する。この時、少なくとも１つ以上の面を算出することができるように、複数の特徴点は３個以上であることが好ましい。具体的に、画像マッチング部２００は、左側画像および右側画像にブロックマッチングアルゴリズムを適用して、基準値以上の類似度を有する複数の特徴点を抽出する。ここで、各特徴点は１つのピクセルに対応するものであってもよい。例えば、画像マッチング部２００は、左側画像および右側画像中、ＳＡＤ（ｓｕｍ  ｏｆ  ａｌｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ）またはＳＳＤ（ｓｕｍ  ｏｆ  ｓｑｕａｒｅｄ  ｄｉｆｆｅｒｅｎｃｅｓ）が所定値より小さいブロックに含まれたピクセルを特徴点として抽出することができる。すなわち、左側画像および右側画像中、ＳＡＤ（ｓｕｍ  ｏｆ  ａｌｓｏｌｕｔｅ  ｄｉｆｆｅｒｅｎｃｅｓ）またはＳＳＤ（ｓｕｍ  ｏｆ  ｓｑｕａｒｅｄ  ｄｉｆｆｅｒｅｎｃｅｓ）が前記所定値より小さいブロックに含まれたピクセルは、左側画像および右側画像に含まれた全体ピクセルのうち基準値以上の類似度を有するピクセルであってもよい。
【００３１】
また、画像マッチング部２００は、複数の特徴点の各々の座標および深さを算出することができる。ここで、各特徴点の深さは左側画像と右側画像間のディスパリティ（ｄｉｓｐａｒｉｔｙ）に基づいて算出できるということは公知されているので具体的な説明は省略する。
【００３２】
また、画像マッチング部２００は、左側画像と右側画像間の歪みに対してキャリブレーション（ｃａｌｉｂｒａｔｉｏｎ）を行うことができる。
なお、画像マッチング部２００は、ステレオカメラ１００の左側レンズと右側レンズが広角レンズである場合に生じ得る画像の歪みを補正することができる。
【００３３】
また、画像マッチング部２００は、左側画像および右側画像に形成された糸巻き型歪み（Ｐｉｎ  ｃｕｓｈｉｏｎ  ｄｉｓｔｏｒｔｉｏｎ）を補正することができる。
なお、画像マッチング部２００は、左側画像および右側画像に形成された樽型歪み（Ｂａｒｒｅｌ  ｄｉｓｔｏｒｔｉｏｎ）を補正することができる。
【００３４】
また、画像マッチング部２００は、左側画像および右側画像に形成されたラジアルディストーション（Ｒａｄｉａｌ  ｄｉｓｔｏｒｔｉｏｎ）を補正することができる。
なお、画像マッチング部２００は、左側画像および右側画像に形成されたタンジェンシャルディストーション（Ｔａｎｇｅｎｔｉａｌ  ｄｉｓｔｏｒｔｉｏｎ）を補正することができる。
【００３５】
また、画像マッチング部２００は、左側画像および右側画像内の歪みに対して修正（ｒｅｃｔｉｆｉｃａｔｉｏｎ）を行うことができる。
なお、画像マッチング部２００は、左側画像および右側画像を交差させて水平上（Ｓｃａｎｌｉｎｅ）のポイントと一致する立体画像を生成することができる。
さらに、画像マッチング部２００は、左側画像と右側画像に共通するピクセルを特徴点に設定し、特徴点間の距離を求めることができる。
【００３６】
また、画像マッチング部２００は、左側画像と右側画像中、既に設定された値以上の明るさの変化が発生する領域であるエッジ（ｅｄｇｅ）の深さ（ｄｅｐｔｈ）を算出することができる。例えば、エッジ（ｅｄｇｅ）には複数のピクセルが含まれることができるため、画像マッチング部２００はエッジ（ｅｄｇｅ）に対して集合形態の特徴点の各々の深さを算出することができる。
【００３７】
また、画像マッチング部２００は、左側画像および右側画像において対応点（ｃｏｒｒｅｓｐｏｎｄｉｎｇ  ｐｏｉｎｔ）を探して三角点（Ｔｒｉａｎｇｕｌａｔｉｏｎ  ｐｏｉｎｔ）を算出することができる。
なお、画像マッチング部２００は、時間に応じて順次入力される左側画像および右側画像内で再配置されたピクセルの空間的な位置変位量（Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を算出することができる。
【００３８】
また、画像マッチング部２００は、左側画像および右側画像内で再配置されたピクセルの画像回転変位量（Ｒｏｔａｔｉｏｎ）を算出することができる。
なお、画像マッチング部２００は、左側画像および右側画像において平均的な情報値（例；明るさ、色、深さなど）を有する平均画像を算出する。
【００３９】
また、画像マッチング部２００は、左側画像および右側画像において明暗を示す照明成分に対する情報を算出することができる。この場合、画像マッチング部２００は、算出された照明成分に対する情報と入力を受けた画像の情報をコンボリューション（Ｃｏｎｖｏｌｕｔｉｏｎ）して平均画像を算出することができる。
【００４０】
また、画像マッチング部２００は、平均画像を用いて車両の前方の画像においてオブジェクトの特徴を表現する反射成分に対する情報を算出する。
なお、画像マッチング部２００は、左側画像および右側画像に含まれたピクセルの各々の座標に応じ、左側画像および右側画像のピクセル情報値から平均画像のピクセル情報値を除去して反射成分に対する情報を算出する。
【００４１】
また、画像マッチング部２００は、算出された反射成分に対する情報を圧縮することができる。
なお、画像マッチング部２００は、反射成分に対する情報を算出し、算出された反射成分に対する情報をログ（ｌｏｇ）スケール化する。
【００４２】
また、画像マッチング部２００は、動的プログラム方式（Ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｍｇ）を用いて左側画像と右側画像間のステレオマッチングを行うことができる。また、画像マッチング部２００は、ステレオマッチングを行ってディスパリティマップ（Ｄｉｓｐａｒｉｔｙ  ｍａｐ）を生成することができる。
【００４３】
なお、画像マッチング部２００は、一実施形態により、ＥＬＡＳ（Ｅｆｆｉｃｉｅｎｔ  ＬＡｒｇｅ−ｓｃａｌｅ  Ｓｔｅｒｅｏ）マッチング方式に基づいて、線間の連結によって三角形を描いて深さを算出することもできる。
また、画像マッチング部２００は、複数の特徴点の各々に対して算出された深さおよび座標を面算出部３００または法線算出部４００に出力することができる。
【００４４】
面算出部３００は、各特徴点が同じ空間にあると推定される面を算出する。
例えば、面算出部３００は、車両の前方の画像にカラーセグメンテーション（ｃｏｌｏｒ  ｓｅｇｍｅｎｔａｔｉｏｎ）を行い、各特徴点が同じ空間にあると推定される面を算出することができる。
【００４５】
または、面算出部３００は、複数の特徴点の各々の座標および深さに基づいて、複数の特徴点を３個ずつ連結して複数の三角形を算出することができる。ここで、三角形とは三角平面であり、各三角形の頂点は互いに異なる３個の特徴点に該当する。
【００４６】
例えば、面算出部３００は、ドローネー三角分割（ｄｅｌａｕｎａｙ  ｔｒｉａｎｇｕｌａｔｉｏｎ）を用いて、複数の特徴点から複数の三角形を算出することができる。ここで、ドローネー三角分割（ｄｅｌａｕｎａｙ  ｔｒｉａｎｇｕｌａｔｉｏｎ）とは、任意の空間に含まれた点を複数の三角形に連結する時、各三角形の外接円がその三角形に含まれていない点を含まないようにする技法を意味する。
【００４７】
法線算出部４００は、面算出部３００によって算出された複数の三角形の各々が眺める方向（例；法線方向）を算出することができる。具体的に、面算出部３００によって算出された三角形の各々は３個の特徴点を含み、各特徴点の座標および深さは画像マッチング部２００によって既に算出された状態であるため、法線算出部４００は各三角形の法線方向または法線ベクトルを算出することができる。この時、法線算出部４００は、各三角形の重心を通過する法線の方向を算出することができる。
【００４８】
また、法線算出部４００は、複数の三角形のうち類似した法線を有した２つの三角形を１つの面に合わせることができる。例えば、法線算出部４００は、互いに異なる２つの三角形の各々の法線方向が既に設定された角度内の差を有すれば、２つの三角形が類似すると判断し、２つの三角形を１つの面に合わせることができる。この時、法線算出部４００は、合わさった面の法線方向がステレオカメラ１００の撮影方向と既に設定された角度未満の差を有すれば、２つの三角形が合わさった面を障害物として検出することができる。それにより、後述する障害物検出部５００が障害物を検出するのに求められる演算量を低減することができる。
【００４９】
他例を挙げれば、法線算出部４００は、複数の三角形のうち、１つのコーナーを共有し、法線の方向の差が既に設定された角度内である２個の三角形の各々の法線方向を同一値に設定することができる。具体的に、法線算出部４００は、複数の三角形のうち、第１三角形と第２三角形が１つのコーナーを共有し、第１三角形の法線の方向である第１方向と第２三角形の法線の方向である第２方向との差が既に設定された第１閾値未満である場合、第１三角形と第２三角形の法線が各々第１方向、第２方向または第１方向と第２方向の中間方向のいずれか１つの方向を有するように設定することができる。
【００５０】
障害物検出部５００は、ステレオカメラ１００の撮影方向を複数の三角形の各々の法線方向と比較した結果に基づいて、車両の周辺（例；前方）に存在する障害物を検出することができる。
具体的に、法線算出部４００は、複数の三角形のうち、ステレオカメラ１００と対向する三角形を抽出することができる。ここで、ステレオカメラ１００と対向する三角形とは、面算出部３００によって算出された三角形のうち、ステレオカメラ１００の撮影方向との差が既に設定された第２閾値未満である法線方向を有する三角形を意味する。
【００５１】
また、障害物検出部５００は、画像マッチング部２００によって生成される立体画像中、既に設定された関心領域（ＲＯＩ、Ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）に含まれる少なくとも１つ以上の三角形だけを対象に、障害物を検出することができる。例えば、障害物検出部５００は、複数の三角形のうち、関心領域（ＲＯＩ）外に位置する第３三角形の法線方向とステレオカメラ１００の撮影方向との差が既に設定された第２閾値未満であっても、第３三角形を障害物として検出しない。
【００５２】
一方、障害物検出部５００は、複数の三角形のいずれか１つの三角形の法線方向とステレオカメラ１００の撮影方向との差が既に設定された第２閾値以上である時、該三角形は障害物として検出しない。例えば、障害物検出部５００は、任意の三角形の法線がステレオカメラ１００の撮影方向と直交する方向に向かえば、該三角形は障害物ではなく道路面と判断することができる。
【００５３】
警報部６００は、障害物検出部５００によって車両の前方に存在する障害物が検出される時、検出された障害物に対する情報または警報メッセージを出力することができる。検出された障害物に対する情報には、障害物の大きさ、障害物の位置および車両から障害物までの距離のうち少なくともいずれか１つに対する情報が含まれる。この時、警報部６００は、検出された障害物までの距離が既に設定された基準距離未満の場合に限って警報メッセージを出力することができる。警報メッセージは、車両のディスプレイに視覚的に表示されるか、または車両のスピーカーを介して聴覚的に出力される。
【００５４】
図２は、一実施形態による法線算出部４００が任意の点において法線ベクトルＮｉを算出した結果を示すものである。図２（ａ）は深度図のピクセルを示し、図２（ｂ）は３次元の点集合データを示す。法線算出部４００は、深度図上において点Ｐｉを中心にピクセル上で上下左右に位置した４点を選択し、図２（ｂ）の３次元の点集合データ上において図２（ａ）で選択された４点を探し、ピクセル上で左右に位置した点間のベクトルと上下に位置した点間のベクトルを構成した後、２つのベクトル間の外積を計算して法線を算出することができる。
【００５５】
図３は、本発明の一実施形態により、ステレオカメラ１００を用いて撮影された画像から障害物を検出する一例を示すものである。説明の便宜のため、面算出部３００が画像マッチング部２００によって生成された立体画像から複数の特徴点を算出し、法線算出部４００が複数の特徴点を連結して複数の三角形を算出した状態であると仮定する。
【００５６】
先ず、図３（ａ）は、面算出部３００が画像マッチング部２００によって生成された立体画像から抽出した複数の特徴点を３個ずつ連結して、複数の三角形を算出した結果を示す。図示したように、いずれか１つの三角形は他の１つの三角形と共通したコーナーを有し、複数の三角形が順次連結される。法線算出部４００は、図３（ａ）のように順次連結された複数の三角形の各々に対する法線方向を算出することができる。
【００５７】
次に、図３（ｂ）は、障害物検出部５００が図３（ａ）に示された複数の三角形を、ステレオカメラ１００の撮影方向と既に設定された第２閾値未満の差を有するか否かに応じて分類した結果を示す。
【００５８】
具体的に、障害物検出部５００は、ステレオカメラ１００の撮影方向との差が既に設定された第２閾値未満である法線方向を有する三角形を障害物と分類することができる。また、障害物検出部５００は、ステレオカメラ１００の撮影方向との差が既に設定された第２閾値以上である法線方向を有する三角形を非障害物と分類することができる。図３（ｂ）で灰色で表示された領域は障害物と分類された三角形が位置する領域であり、黒色で表示された領域は障害物と分類されていない三角形が位置する領域である。
【００５９】
それによれば、障害物検出部５００は、立体画像に含まれた全体ピクセルではなく、特徴点に対応する一部ピクセルを頂点にする三角形の法線方向に基づいて障害物の検出を行うため、性能の低下なしに障害物の検出速度を顕著に向上させることができる。
【００６０】
図４は、本発明の一実施形態により、三角形の法線方向に基づいて障害物であるか否かを判断する例示図である。説明の便宜のため、サイドビューを基準に説明することにする。
【００６１】
図４を参照すれば、走行中の車両の一位置（例；ウインドシールド）にはステレオカメラ１００が備えられ、車両の前方に位置するオブジェクトを撮影することができる。この時、ステレオカメラ１００の撮影方向は、図示したように地面に平行したものと仮定する。
【００６２】
この時、撮影されるオブジェクトは面算出部３００によって複数の三角形に算出され、この中の一部の三角形が車両に対して障害物として作用する可能性が存在する。
【００６３】
例えば、図示したように、面算出部３００は、オブジェクトに対する画像に基づいて、第１三角形Ｔ１および第２三角形Ｔ２を算出することができる。また、法線算出部４００は、第１三角形Ｔ１に対する第１法線Ｎ１と第２三角形Ｔ２に対する第2法線Ｎ２を算出することができる。
【００６４】
障害物検出部５００は、地面に平行したステレオカメラ１００の撮影方向ＤＡと第１法線Ｎ１の方向間の差である第１方向差θ１を算出することができる。障害物検出部５００は、地面に平行したステレオカメラ１００の撮影方向ＤＡと第２法線Ｎ２の方向間の差である第２方向差θ２を算出することができる。
【００６５】
仮に、第１方向差θ１、第２方向差θ２および第２閾値θＴｈの関係がθ１＜θＴｈ≦θ２を満たせば、障害物検出部５００は、第１三角形Ｔ１を障害物として検出し、第2三角形Ｔ2を障害物として検出しない。
【００６６】
図４には、車両の前方に単一のオブジェクトが存在し、該オブジェクトに対して算出される三角形が２つであると示されているが、これは例示的であり、車両の前方に２以上のオブジェクトが存在し、各オブジェクトに対して算出される三角形が３以上の場合にも同様な障害物検出方式が適用される。
【００６７】
図５は、本発明の一実施形態による障害物検出方法のフローチャートである。
一実施形態によるステレオカメラ１００は左側画像および右側画像を生成する（Ｓ１００）。具体的に、ステレオカメラ１００は、車両の前方の一位置に所定の撮影方向を有するように取り付けられた状態で、左側レンズを用いて左側画像を生成し、右側レンズを用いて右側画像を生成することができる。また、ステレオカメラ１００は、左側画像および右側画像を画像マッチング部２００に出力することができる。
【００６８】
次に、画像マッチング部２００は左側画像および前記右側画像に共通に含まれた複数の特徴点を抽出する（Ｓ１１０）。例えば、画像マッチング部２００は、ブロックマッチングアルゴリズムを適用し、左側画像および前記右側画像に共通に含まれ、基準値以上の類似度を有するピクセルである特徴点を抽出することができる。また、画像マッチング部２００は、前記画像において設定された値以上のエッジ（ｅｄｇｅ）から深さ（ｄｅｐｔｈ）を算出することができる。また、画像マッチング部２００は、エッジ検出（ｅｄｇｅ  ｄｅｔｅｃｔｉｏｎ）を用いて左側画像および前記右側画像において既に設定された値以上の明るさの変化が現れる領域を算出した後、既に設定された値以上の明るさの変化が現れるものとして算出された領域にブロックマッチングアルゴリズムを適用して複数の特徴点を抽出することができる。
【００６９】
次に、画像マッチング部２００は、抽出された複数の特徴点の各々の座標および深さを算出する（Ｓ１２０）。ここで、画像マッチング部２００は、左側画像と右側画像間のディスパリティ（ｄｉｓｐａｒｉｔｙ）に基づいて、各特徴点の深さを算出することができる。また、画像マッチング部２００は、集合形態の特徴点の各々の深さを算出することができる。
【００７０】
次に、面算出部３００は、複数の特徴点の各々の座標および深さに基づいて、複数の特徴点を３個ずつ連結して複数の三角形を算出する（Ｓ１３０）。
【００７１】
次に、法線算出部４００は複数の三角形の各々の法線方向を算出する（Ｓ１４０）。各三角形の３個の頂点は既に抽出された特徴点に対応し、各特徴点の座標および深さが既に算出された状態であるため、法線算出部４００は複数の三角形の各々の法線方向を算出することができる。
【００７２】
次に、障害物検出部５００は、ステレオカメラ１００の撮影方向を複数の三角形の各々の法線方向と比較した結果に基づいて、車両の前方に存在する障害物を検出する（Ｓ１５０）。
【００７３】
具体的に、障害物検出部５００は、複数の三角形のうち、ステレオカメラ１００の撮影方向との差が既に設定された第２閾値未満の法線方向を有する三角形を障害物と分類することができる。
【００７４】
この時、障害物検出部５００は、検出された障害物の大きさ、障害物の位置および車両から障害物までの距離のうち少なくともいずれか１つに対する情報を算出することができる。例えば、障害物検出部５００は、障害物と分類された三角形の面積に基づいて障害物の大きさを算出し、障害物と分類された三角形に含まれた特徴点の深さに基づいて障害物までの距離を算出し、障害物と分類された三角形に含まれた特徴点の座標に基づいて障害物の位置を算出することができる。
【００７５】
また、障害物検出部５００は、複数の三角形のうち、ステレオカメラ１００の撮影方向との差が既に設定された第２閾値以上の法線方向を有する三角形を非障害物と分類することができる。また、法線算出部４００は、画像マッチング部２００が出力した集合の形態の特徴点の各々の深さを受信することができる。また、障害物検出部５００は、画像マッチング部２００によって生成される立体画像中、既に設定された関心領域（ＲＯＩ、Ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ）に含まれる三角形だけを対象に、障害物を検出することができる。例えば、障害物検出部５００は、複数の三角形のうち、関心領域（ＲＯＩ）外に位置する第３三角形の法線方向とステレオカメラ１００の撮影方向との差が既に設定された第２閾値未満であっても、第３三角形を障害物として検出しない。
【００７６】
次に、警報部６００は、障害物検出部５００によって車両の前方に存在する障害物が検出される時、検出された障害物に対する情報または警報メッセージを出力することができる（Ｓ１６０）。検出された障害物に対する情報には、障害物の大きさ、障害物の位置および車両から障害物までの距離のうち少なくともいずれか１つに対する情報が含まれる。この時、警報部６００は、検出された障害物までの距離が既に設定された基準距離未満の場合に限って警報メッセージを出力することができる。警報メッセージは車両のディスプレイに視覚的に表示されるか、または車両のスピーカーを介して聴覚的に出力される。
【００７７】
以上では本発明の好ましい実施形態について図示し説明したが、本発明は上述した特定の実施形態に限定されず、特許請求の範囲で請求する本発明の要旨を逸脱することなく、当該発明が属する技術分野で通常の知識を有した者によって様々な変形実施が可能であることは勿論であり、このような変形された実施は本発明の技術的思想や展望から個別的に理解されてはならない。
【符号の説明】
【００７８】
１００  ・・・ステレオカメラ
２００  ・・・画像マッチング部
３００  ・・・面算出部
４００  ・・・法線算出部
５００  ・・・障害物検出部
６００  ・・・警報部
【図１】
0006291469.tif 000002
【図２】
0006291469.tif 000003
【図３】
0006291469.tif 000004
【図４】
0006291469.tif 000005
【図５】
0006291469.tif 000006