(57)【要約】【課題】車両周辺の高低差を適切に認識することが可能な「高低差認識システム」を提供する。【解決手段】高低差認識システムを適用した車両周辺画像提供装置１００において、制御部１０２は、画像における車両２００の遠方範囲の特徴点の時間当たりの動きを示す遠方特徴点動きベクトルの長さに対する、車両２００の近傍範囲の特徴点の単位時間当たりの動きを示す近傍特徴点動きベクトルの長さの比率である動きベクトル比を算出する。更に制御部１０２は、この動きベクトル比と、近傍特徴点と遠方特徴点との間に高低差が存在しないと仮定した場合における動きベクトル比とを比較して、近傍特徴点と遠方特徴点との間の高低差の有無を判定する。【選択図】図１
2009003761.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺の高低差を認識する高低差認識システムであって、
前記車両の周辺を撮影し、画像データを生成する撮影手段と、
前記撮影手段によって生成された前記画像データに対応する画像に基づいて、前記車両の近傍の第１の範囲内の第１の特徴点と、該第１の範囲よりも遠方の第２の範囲内の第２の特徴点とを抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された前記第１の特徴点の前記車両の移動に伴う動きを示す第１の動きベクトルと、前記第２の特徴点の前記車両の移動に伴う動きを示す第２の動きベクトルとを取得する動きベクトル取得手段と、
前記動きベクトル取得手段により取得された前記第１の動きベクトルと前記第２の動きベクトルとの差に基づいて、前記高低差の有無を判定する高低差判定手段とを有することを特徴とする高低差認識システム。
【請求項２】
前記画像内における前記第１の特徴点と前記第２の特徴点との距離に基づいて、前記高低差が存在しないと仮定した場合における前記第１の特徴点の動きベクトルと前記第２の特徴点の動きベクトルとの差を示す基準値を取得する基準値取得手段を有し、
前記高低差判定手段は、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値と異なる場合に、前記第１の特徴点と前記第２の特徴点との間に前記高低差が存在すると判定することを特徴とする請求項１に記載の高低差認識システム。
【請求項３】
前記第１の特徴点の動きベクトルと前記第２の特徴点の動きベクトルとの差は、前記第２の特徴点の動きベクトルの長さに対する前記第１の特徴点の動きベクトルの長さの比率であることを特徴とする請求項２に記載の高低差認識システム。
【請求項４】
前記高低差判定手段は、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値よりも大きい場合に、前記第１の特徴点と前記第２の特徴点との間に前記車両の近傍から遠方に向かって下がる高低差が存在すると判定することを特徴とする請求項２又は３に記載の高低差認識システム。
【請求項５】
前記高低差判定手段は、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値よりも小さい場合に、前記第１の特徴点と前記第２の特徴点との間に前記車両の近傍から遠方に向かって上がる高低差が存在すると判定することを特徴とする請求項２乃至４のいずれかに記載の高低差認識システム。
【請求項６】
前記高低差判定手段により前記高低差が存在すると判定された場合に、警報を発する警報手段を有することを特徴とする請求項１乃至５のいずれかに記載の高低差認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺の高低差を認識する高低差認識システムに関する。
【背景技術】
【０００２】
近年、車両の安全性を確保すべく、車両周辺を監視するシステムが提案されている。例えば、特許文献１に記載された車両用周囲監視装置では、車両に搭載されたカメラによって車両周辺を撮影し、得られた画像の色彩に基づいて、高低差等の立体障害物の境界を認識する。そして、その立体障害物の境界が車両から所定距離内である場合には、接触の可能性を警告する。
【特許文献１】特開２００４−３０２６０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、特許文献１に記載された車両用周囲監視装置では、色彩のみに基づいて、高低差等を認識しているため、路面に他の部分とは色が異なる部分が存在するような場合、その色の異なる部分に高低差が存在すると誤って認識してしまうことが起こり得る。
【０００４】
本発明の目的は、上述した問題を解決するものであり、車両周辺の高低差を適切に認識することが可能な高低差認識システムを提供するものである。
【課題を解決するための手段】
【０００５】
本発明に係る、車両の周辺の高低差を認識する高低差認識システムは、前記車両の周辺を撮影し、画像データを生成する撮影手段と、前記撮影手段によって生成された前記画像データに対応する画像に基づいて、前記車両の近傍の第１の範囲内の第１の特徴点と、該第１の範囲よりも遠方の第２の範囲内の第２の特徴点とを抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された前記第１の特徴点の前記車両の移動に伴う動きを示す第１の動きベクトルと、前記第２の特徴点の前記車両の移動に伴う動きを示す第２の動きベクトルとを取得する動きベクトル取得手段と、前記動きベクトル取得手段により取得された前記第１の動きベクトルと前記第２の動きベクトルとの差に基づいて、前記高低差の有無を判定する高低差判定手段とを有することを特徴とする。
【０００６】
この構成によれば、画像における車両近傍の第１の特徴点の動きを示す第１の動きベクトルと、車両遠方の第２の特徴点の動きを示す第２の動きベクトルとの差が、第１の特徴点と第２の特徴点との間に高低差が存在する場合と存在しない場合とで異なることに鑑み、第１の動きベクトルと第２の動きベクトルとの差に基づいて、高低差の有無を判定することで、従来のような色彩のみに基づいて高低差を認識する場合のような誤認識を防止し、高低差を適切に認識することが可能となる。
【０００７】
また、本発明に係る高低差認識システムは、前記画像内における前記第１の特徴点と前記第２の特徴点との距離に基づいて、前記高低差が存在しないと仮定した場合における前記第１の特徴点の動きベクトルと前記第２の特徴点の動きベクトルとの差を示す基準値を取得する基準値取得手段を有し、前記高低差判定手段が、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値と異なる場合に、前記第１の特徴点と前記第２の特徴点との間に前記高低差が存在すると判定するようにしてもよい。
【０００８】
この構成によれば、高低差が存在しないと仮定した場合の第１の動きベクトルと第２の動きベクトルとの差を基準値として取得し、その基準値と、実際の第１の動きベクトルと第２の動きベクトルとの差とを比較して、高低差の有無を判定することにより、高低差を適切に認識することができる。なお、基準値は、単一の値でも、所定の範囲でもよい。
【０００９】
同様の観点から本発明に係る高低差認識システムは、前記第１の特徴点の動きベクトルと前記第２の特徴点の動きベクトルとの差が、前記第２の特徴点の動きベクトルの長さに対する前記第１の特徴点の動きベクトル長さの比率であるようにしてもよい。
【００１０】
同様の観点から本発明に係る高低差認識システムは、前記高低差判定手段が、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値よりも大きい場合に、前記第１の特徴点と前記第２の特徴点との間に前記車両の近傍から遠方に向かって下がる高低差が存在すると判定するようにしてもよい。
【００１１】
更に同様の観点から本発明に係る高低差認識システムは、前記高低差判定手段が、前記第１の動きベクトルと前記第２の動きベクトルとの差が前記基準値取得手段により取得された前記基準値よりも小さい場合に、前記第１の特徴点と前記第２の特徴点との間に前記車両の近傍から遠方に向かって上がる高低差が存在すると判定するようにしてもよい。
【００１２】
また、本発明に係る高低差認識システムは、前記高低差判定手段により前記高低差が存在すると判定された場合に、警報を発する警報手段を有するようにしてもよい。
【００１３】
この構成によれば、車両周辺に高低差が存在する場合には、当該車両の搭乗者に注意を促すことが可能となる。
【発明の効果】
【００１４】
本発明によれば、画像における車両近傍の特徴点の動きを示す動きベクトルと、車両遠方の特徴点の動きを示す動きベクトルとの差に基づいて、高低差の有無を判定することで、高低差を適切に認識することが可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して具体的に説明する。図１は、本発明の実施形態に係る高低差認識システムを適用した車両周辺画像提供装置の構成を示す図である。
【００１６】
図１に示す車両周辺画像提供装置１００は、車両に搭載されるものであり、カメラ１５２、１５４、１５６、１５８及び１６０と、制御部１０２と、メモリ１０４と、ディスプレイ１０６と、スピーカ１０８とにより構成される。
【００１７】
カメラ１５２乃至１６０は、車両２００の外部に取り付けられており、車両周辺を撮影して画像データを生成する。図２は、車両におけるカメラ１５２乃至１６０の取り付け位置を示す図である。図２において、カメラ１５２は車両２００の左側面に、カメラ１５４は右側面に、カメラ１５６は前部左側に、カメラ１５８は前部右側に、カメラ１６０は後部中央にそれぞれ取り付けられている。カメラ１５２乃至１６０は、広角もしくは魚眼レンズ（図示せず）を内蔵し、広い画角を有しており、これらカメラ１５２乃至１６０によって車両２００の周辺の全周を撮影可能である。
【００１８】
再び、図１に戻って説明する。制御部１０２は、車両周辺画像提供装置１００の全体を制御する。具体的には、制御部１０２は、カメラ１５２乃至１６０からの画像データを入力すると、画像変換処理によって、例えば、運転者に車両上方からの俯瞰画像を生成し、ディスプレイ１０６に表示させる。運転者は、このディスプレイ１０６に表示される画像を見ることによって、車両周辺の障害物の存在を認識することが可能となり、運転席からの死角を補うことができる。しかし、車両周辺の高低差は、車両上方からの俯瞰画像のみでは認識しづらい。そこで、制御部１０２は、車両の周辺の高低差を認識する処理を行う。以下、高低差認識の詳細を説明する。
【００１９】
図３は、本実施形態における高低差認識の原理を説明する図である。図３（ａ）は、カメラ１５２の近傍の特徴点３０１と遠方の特徴点４０１との間に高低差が存在しない場合、図３（ｂ）は近傍特徴点３０１と遠方特徴点４０２との間にカメラ１５２の近傍から遠方に向かって下がる高低差が存在する場合、図３（ｃ）は近傍特徴点３０１と遠方特徴点４０３との間にカメラ１５２の近傍から遠方に向かって上がる高低差が存在する場合を示す。図３（ａ）における遠方特徴点４０１、図３（ｂ）における遠方特徴点４０２、及び、図３（ｃ）における遠方特徴点４０３は位置が異なっているが、カメラ１５２から見て同一の方向に存在する。従って、カメラ１５２の撮影によって得られる画像の座標系において、これら遠方特徴点４０１、４０２及び４０３は同一の位置に存在することになる。
【００２０】
本実施形態における高低差認識では、このように画像からは特徴点の位置の相違を認識することができない場合にも、その位置の相違を認識し、更にはその位置が相違することによる高低差の存在を認識可能とする。
【００２１】
具体的には、制御部１０２は、図４に示すように、時刻０におけるカメラ１５２による撮影によって得られる画像から当該カメラ１５２の近傍、すなわち、車両２００の近傍の特徴点３０１を抽出するとともに、車両の遠方の特徴点（図３（ａ）では特徴点４０１、図３（ｂ）では特徴点４０２、図３（ｃ）では特徴点４０３）を抽出する。更に、制御部１０２は、車両２００の移動に伴う、単位時間ｔ経過後の時刻ｔの画像から近傍特徴点３０１及び遠方特徴点４０１等のそれぞれを抽出し、図５に示すように、画像における、近傍特徴点３０１の単位時間ｔ当たりの動きを示す動きベクトル３１１、遠方特徴点４０１、４０２及び４０３のそれぞれの単位時間ｔ当たりの動きを示す動きベクトル４１１、４１２及び４１３を取得する。
【００２２】
ここでは、車両２００から最も近い位置に図３（ｃ）に示す遠方特徴点４０３、最も遠い位置に図３（ｂ）に示す遠方特徴点４０２、中間の位置に図３（ａ）に示す遠方特徴点４０１が存在するため、画像における単位時間ｔ当たりの移動量は、遠方特徴点４０３が最も多く、遠方特徴点４０２が最も少なくなり、遠方特徴点４０１は中間の移動量となる。従って、図５に示すように、動きベクトルは、遠方特徴点４０３の動きベクトル４１３が最も長くなり、遠方特徴点４０２の動きベクトル４１２が最も短くなり、遠方特徴点４０１の動きベクトル４１１が中間の長さとなる。
【００２３】
このように、時刻０の画像において、遠方特徴点４０１、４０２及び４０３が同一の位置に存在しても、高低差の有無によって、これらの動きベクトルの長さが異なること、更には、遠方特徴点４０１等の動きベクトルの長さは車両２００の速度に依存するため、当該遠方特徴点４０１等の動きベクトルの長さのみでは高低差の有無を判定することはできず、遠方特徴点４０１等の動きベクトルと近傍特徴点３０１の動きベクトルとの相対的な関係を考慮する必要があることに鑑み、制御部１０２は、近傍特徴点３０１の動きベクトルと、遠方特徴点４０１等の動きベクトルとの差に基づいて、高低差の存在を認識する。
【００２４】
図６及び図７は、高低差認識の動作を示すフローチャートである。以下においては、車両２００が走行中であるものとする。また、以下においては、カメラ１５２の撮影によって得られた画像を利用して高低差を認識する場合について説明するが、カメラ１５４乃至１６０の撮影によって得られた画像を利用して高低差を認識する場合も同様である。
【００２５】
制御部１０２は、カメラ１５２に対して撮影を指示する。カメラ１５２は、この指示に応じて車両２００の周辺を撮影し、画像データを生成する（Ｓ１０１）。生成された画像データは、制御部１０２へ出力される。なお、Ｓ１０１の処理は、Ｓ１０２以降の処理が行われている間も継続される。
【００２６】
制御部１０２は、入力した画像データに対応する画像を形成し、当該画像を車両２００の近傍の範囲に対応する画像と、車両２００の遠方の範囲に対応する画像とに分ける。例えば、制御部１０２は、画像の下側半分を近傍範囲に対応する画像とし、上側半分を遠方範囲に対応する画像とする。次に、制御部１０２は、画像を構成する画素の色彩を示す画素値に基づいて、近傍範囲に対応する画像における特徴点（近傍特徴点）と、遠方範囲に対応する画像における特徴点（遠方特徴点）とを抽出する（Ｓ１０２）。これら近傍特徴点及び遠方特徴点は、画像の座標系における座標により位置が特定される。
【００２７】
次に、制御部１０２は、画像における近傍特徴点と遠方特徴点との距離を取得する（Ｓ１０３）。距離は、例えば、近傍特徴点と遠方特徴点との間の画素数によって表される。
【００２８】
次に、制御部１０２は、近傍特徴点と遠方特徴点との間に高低差が存在しないと仮定した場合における、車両２００の移動に伴う単位時間ｔ当たりの画像上の遠方特徴点の動きを示す動きベクトルの長さに対する近傍特徴点の動きを示す動きベクトルの長さの比率（動きベクトル比）を中心値とする所定範囲を、動きベクトル比の基準範囲として設定する（Ｓ１０４）。
【００２９】
具体的には、メモリ１０４には、図８に示すようなテーブルが記憶されている。図８に示すテーブルは、画像における近傍特徴点と遠方特徴点との距離（特徴点距離）と動きベクトル比の基準範囲との対応関係を示しており、制御部１０２は、このテーブルを参照して、Ｓ１０３において取得した特徴点距離に対応する動きベクトル比の基準範囲を取得し、設定する。ここで、特徴点距離に応じて、動きベクトル比の基準範囲が定まるようにしたのは、特徴点距離が長いほど、近傍特徴点と遠方特徴点との間に高低差が存在しないと仮定した場合における動きベクトル比は大きくなる、すなわち、動きベクトル比は、特徴点距離に依存することを考慮したものである。
【００３０】
次に、制御部１０２は、Ｓ１０２において近傍特徴点及び遠方特徴点を抽出してから単位時間ｔが経過したか否かを判定する（Ｓ１０５）。単位時間ｔが経過している場合には、図７に示す動作に移行し、最新にカメラ１５２から入力した画像データに対応する画像を形成し、Ｓ１０２で抽出した近傍特徴点と遠方特徴点とを、当該画像において抽出する。Ｓ１０２の場合と同様、これら近傍特徴点及び遠方特徴点は、画像の座標系における座標により位置が特定される。更に、制御部１０２は、この抽出した近傍特徴点及び遠方特徴点の画像上の位置と、Ｓ１０２において抽出した近傍特徴点及び遠方特徴点の画像上の位置とに基づいて、単位時間ｔの間における画像上の近傍特徴点の動きを示す近傍特徴点動きベクトルと、遠方特徴点の動きを示す遠方特徴点動きベクトルとを取得する（Ｓ１０６）。
【００３１】
次に、制御部１０２は、これら取得した近傍特徴点動きベクトルと、遠方特徴点の動きを示す遠方特徴点動きベクトルとに基づいて、遠方特徴点動きベクトルの長さに対する近傍特徴点動きベクトルの比率である動きベクトル比を算出する（Ｓ１０７）。更に、制御部１０２は、Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲内であるか否かを判定する（Ｓ１０８）。
【００３２】
Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲内である場合には、当該動きベクトル比は、近傍特徴点と遠方特徴点との間に高低差が存在しないと仮定した場合における動きベクトル比に近い値であるということであり、近傍特徴点と遠方特徴点とは図３（ａ）に示すような位置関係にある。このため、制御部１０２は、動きベクトル比が基準範囲内である場合には、近傍特徴点と遠方特徴点との間に高低差が存在しないと認識する（Ｓ１０９）。その後は、再び図６における近傍特徴点と遠方特徴点の抽出（Ｓ１０２）以降の動作が繰り返される。
【００３３】
一方、Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲外である場合には、制御部１０２は、更に、Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲よりも大きいか否かを判定する（Ｓ１１０）。
【００３４】
Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲よりも大きい場合には、近傍特徴点と遠方特徴点とは図３（ｂ）に示すような位置関係にある。このため、制御部１０２は、動きベクトル比が基準範囲よりも大きい場合には、近傍特徴点と遠方特徴点との間に近傍から遠方に向かって下がる高低差が存在すると認識する（Ｓ１１１）。一方、Ｓ１０７において算出した動きベクトル比が、Ｓ１０４において設定した基準範囲よりも小さい場合には、近傍特徴点と遠方特徴点とは図３（ｃ）に示すような位置関係にある。このため、制御部１０２は、動きベクトル比が基準範囲よりも大きい場合には、近傍特徴点と遠方特徴点との間に近傍から遠方に向かって上がる高低差が存在すると認識する（Ｓ１１２）。
【００３５】
Ｓ１１１又はＳ１１２において高低差を認識した場合、制御部１０２は、ディスプレイ１０６に、高低差が存在する旨の警報の画面を表示させるとともに、スピーカ１０８から警報音を鳴動させる（Ｓ１１３）。その後は、再び図６における近傍特徴点と遠方特徴点の抽出（Ｓ１０２）以降の動作が繰り返される。
【００３６】
このように、本実施形態では、画像における車両２００の遠方範囲の特徴点の時間ｔ当たりの動きを示す遠方特徴点動きベクトルの長さに対する、車両２００の近傍範囲の特徴点の単位時間ｔ当たりの動きを示す近傍特徴点動きベクトルの長さの比率である動きベクトル比を算出し、当該動きベクトル比と、近傍特徴点と遠方特徴点との間に高低差が存在しないと仮定した場合における動きベクトル比とを比較して、近傍特徴点と遠方特徴点との間の高低差の有無を判定することで、高低差を適切に認識することが可能となる。
【００３７】
なお、上述した実施形態では、近傍特徴点動きベクトルと遠方特徴点動きベクトルの差として、遠方特徴点動きベクトルの長さに対する近傍特徴点動きベクトルの長さの比率を算出したが、近傍特徴点動きベクトルと遠方特徴点動きベクトルとのベクトル差を算出し、当該ベクトル差に基づいて、高低差の有無を判定するようにしてもよい。
【００３８】
この場合、メモリ１０４には、図８に示すテーブルに代えて、特徴点距離と、近傍特徴点と遠方特徴点との間に高低差が存在せず、且つ、車両２００が予め定められた基準速度で移動したと仮定した場合における、単位時間ｔ当たりの画像上の遠方特徴点の動きベクトルと近傍特徴点の動きベクトルとのベクトル差を中心値とする所定範囲（基準範囲）とを対応付けたテーブルを記憶させておく。そして、図６におけるＳ１０１乃至Ｓ１０３の処理の後、Ｓ１０４に処理に代えて、制御部１０２は、メモリ１０４に記憶されたテーブルを参照して、算出した特徴点距離に対応する基準範囲を取得、設定する。
【００３９】
更に、Ｓ１０５及びＳ１０６の処理の後、Ｓ１０７乃至Ｓ１１３の処理に代えて、制御部１０２は、車両２００の速度を取得するとともに、近傍特徴点動きベクトルと遠方特徴点動きベクトルとのベクトル差を算出する。そして、制御部１０２は、上述した基準速度を取得した車両２００の速度で除し、その除算値を、算出したベクトル差に乗ずる。更に、制御部１０２は、この演算により得られたベクトル差が基準範囲内であるか否かを判定し、基準範囲内であれば、近傍特徴点と遠方特徴点との間に高低差が存在しないと認識する。また、制御部１０２は、演算により得られたベクトル差が基準範囲より大きい場合には、近傍特徴点と遠方特徴点との間に近傍から遠方に向かって下がる高低差が存在すると認識し、演算により得られたベクトル差が基準範囲より小さい場合には、近傍特徴点と遠方特徴点との間に近傍から遠方に向かって上がる高低差が存在すると認識して、ディスプレイ１０６に、高低差が存在する旨の警報の画面を表示させるとともに、スピーカ１０８から警報音を鳴動させる。
【産業上の利用可能性】
【００４０】
以上、説明したように、本発明に係る高低差認識システムは、車両周辺の高低差を適切に認識することが可能であり、高低差認識システムとして有用である。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施形態に係る高低差認識システムを適用した車両周辺画像提供装置の構成を示す図である。
【図２】車両におけるカメラの取り付け位置を示す図である。
【図３】高低差認識の原理を説明する図である。
【図４】画像内の近傍特徴点及び遠方特徴点の一例を示す図である。
【図５】画像内の近傍特徴点及び遠方特徴点と動きベクトルの一例を示す図である。
【図６】高低差認識の動作を示す第１のフローチャートである。
【図７】高低差認識の動作を示す第２のフローチャートである。
【図８】特徴点距離と動きベクトル比基準範囲とを対応付けたテーブルの一例を示す図である。
【符号の説明】
【００４２】
１００  車両周辺画像提供装置
１０２  制御部
１０４  メモリ
１０６  ディスプレイ
１０８  スピーカ
１５２、１５４、１５６、１５８、１６０  カメラ
２００  車両
【図１】
2009003761.tif 000003
【図２】
2009003761.tif 000004
【図３】
2009003761.tif 000005
【図４】
2009003761.tif 000006
【図５】
2009003761.tif 000007
【図６】
2009003761.tif 000008
【図７】
2009003761.tif 000009
【図８】
2009003761.tif 000010