(57)【要約】【課題】車両周辺に存在する物体等の高さの認識を安価に実現する。【解決手段】周辺状況認識装置１は、車両１５が位置Ａ１に位置するときにカメラ２による撮像によって得られた第１の俯瞰画像中における縁石１８の位置と、車両１５が位置Ａ２に位置するときにカメラ２による撮像によって得られた第２の俯瞰画像中における縁石１８の位置との差を検出対象変位量として算出し、検出対象変位量と、位置Ａ１から位置Ａ２までの車両１５の移動距離とに基づいて縁石１８の高さを認識する。【選択図】図２
2020177437.tif 000002
【特許請求の範囲】
【請求項１】
車両に取り付けられ、前記車両の周辺を撮像するカメラと、
前記車両の移動距離を検出する車両移動距離検出部と、
前記車両の周辺に存在する検出対象の高さを認識する検出対象高さ認識部とを備え、
前記検出対象高さ認識部は、前記車両が第１の位置に位置するときに前記カメラによる撮像によって得られた第１の車両周辺画像中における前記検出対象の位置と、前記車両が第２の位置に位置するときに前記カメラによる撮像によって得られた第２の車両周辺画像中における前記検出対象の位置との差を検出対象変位量として算出し、前記検出対象変位量と、前記車両移動距離検出部により検出された前記第１の位置から前記第２の位置までの前記車両の移動距離とに基づいて前記検出対象の高さを認識することを特徴とする周辺状況認識装置。
【請求項２】
前記カメラによる撮像によって得られた撮像画像に対応する俯瞰画像を生成する俯瞰画像生成部を備え、
前記俯瞰画像生成部は、前記車両が前記第１の位置に位置するときに前記カメラによる撮像によって得られた撮像画像に対応する俯瞰画像を前記第１の車両周辺画像として生成し、前記車両が前記第２の位置に位置するときに前記カメラによる撮像によって得られた撮像画像に対応する俯瞰画像を前記第２の車両周辺画像として生成することを特徴とする請求項１に記載の周辺状況認識装置。
【請求項３】
前記検出対象高さ認識部は、前記検出対象変位量と、前記車両移動距離検出部により検出された前記第１の位置から前記第２の位置までの前記車両の移動距離とに基づいて、前記カメラと前記検出対象の上面との間のカメラ検出対象間距離を検出し、前記カメラの直下の地面と前記カメラとの間の上下方向における距離から前記カメラ検出対象間距離を引くことにより前記検出対象の高さを算出することを特徴とする請求項２に記載の周辺状況認識装置。
【請求項４】
前記検出対象高さ認識部は、前記検出対象変位量をＤとし、前記車両移動距離検出部により検出された前記第１の位置から前記第２の位置までの前記車両の移動距離をＬとし、前記カメラのレンズの焦点距離をｆとした場合に、前記カメラ検出対象間距離を、
ｆ・Ｌ／Ｄ
の式により算出することを特徴とする請求項３に記載の周辺状況認識装置。
【請求項５】
前記検出対象は前記車両の周辺に存在する物体であることを特徴とする請求項１ないし４のいずれかに記載の周辺状況認識装置。
【請求項６】
前記検出対象は前記車両の周辺の地面であることを特徴とする請求項１ないし４のいずれかに記載の周辺状況認識装置。
【請求項７】
前記カメラは前記車両の後方の周辺を撮像し、前記検出対象高さ認識部は前記車両の後方の周辺に存在する前記検出対象の高さを認識することを特徴とする請求項１ないし６のいずれかに記載の周辺状況認識装置。
【請求項８】
前記検出対象高さ認識部により検出された前記検出対象の高さが所定の閾値を超えた場合に通報を出力する状況判定部を備えていることを特徴とする請求項１ないし７のいずれかに記載の周辺状況認識装置。
【請求項９】
車両の周辺の状況を認識する周辺状況認識方法であって、
前記車両が第１の位置に位置するときに前記車両の周辺を前記車両に取り付けられたカメラにより撮像する第１の撮像工程と、
前記車両が第２の位置に位置するときに前記車両の周辺を前記カメラにより撮像する第２の撮像工程と、
前記第１の位置から前記第２の位置までの前記車両の移動距離を検出する車両移動距離検出工程と、
前記第１の撮像工程における撮像により得られた第１の車両周辺画像中における検出対象の位置と、前記第２の撮像工程における撮像により得られた第２の車両周辺画像中における前記検出対象の位置との差を検出対象変位量として算出し、前記検出対象変位量と、前記車両移動距離検出工程において検出された前記車両の移動距離とに基づいて前記検出対象の高さを認識する検出対象高さ認識工程とを備えていることを特徴とする周辺状況認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周辺に存在する物体等の高さを認識することができる周辺状況認識装置および周辺状況認識方法に関する。
【背景技術】
【０００２】
車両の周辺に存在する物体、特に、車両の近傍に存在し、その高さが車両のバンパの高さ程度であるような低い物体は、車両内から確認することが難しい。例えば、車両を駐車場の駐車スペースや車庫に後退して入れるとき、ドライバが、車両後方に存在する縁石や低い障害物を認識することは容易でない。そこで、車両の駐車時等に、車両のバンパ等、車両において地面に近い部分が縁石や低い障害物に衝突することを回避するための方策が求められる。また、自動運転車両を実現する場合には、縁石や低い障害物を検出し、その結果に基づいて車両の動きを制御する必要がある。
【０００３】
下記の特許文献１には、レーザレーダを利用して、駐車スペースに設置された輪留めを検出する機能を有する駐車支援装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１０５０７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の駐車時等に、車両のバンパ等が縁石や低い障害物に衝突することを回避するためには、縁石や低い障害物の高さを認識することが必要である。
【０００６】
例えば超音波センサを用いることによって車両と縁石との間の距離を検出することができる。しかしながら、超音波センサでは縁石の高さを認識することは困難である。
【０００７】
また、下記の特許文献１には、レーザレーダを用いることによって、障害物の高さを検出する旨が記載されている。具体的には、レーザ光を掃引照射することにより障害物の形状を特定し、障害物の高さが閾値以下であるか否かに基づいて、障害物が輪留めであるか否かを判定する旨が記載されている。しかしながら、レーザレーダは高価である。より安価な手段により縁石や低い障害物の高さを認識する方法が求められる。
【０００８】
本発明は例えば上述したような問題に鑑みなされたものであり、本発明の課題は、車両周辺に存在する物体等の高さの認識を安価に実現することができる周辺状況認識装置および周辺状況認識方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の周辺状況認識装置は、車両に取り付けられ、前記車両の周辺を撮像するカメラと、前記車両の移動距離を検出する車両移動距離検出部と、前記車両の周辺に存在する検出対象の高さを認識する検出対象高さ認識部とを備え、前記検出対象高さ認識部は、前記車両が第１の位置に位置するときに前記カメラによる撮像によって得られた第１の車両周辺画像中における前記検出対象の位置と、前記車両が第２の位置に位置するときに前記カメラによる撮像によって得られた第２の車両周辺画像中における前記検出対象の位置との差を検出対象変位量として算出し、前記検出対象変位量と、前記車両移動距離検出部により検出された前記第１の位置から前記第２の位置までの前記車両の移動距離とに基づいて前記検出対象の高さを認識することを特徴とする。
【００１０】
また、上記課題を解決するために、本発明の周辺状況認識方法は、車両の周辺の状況を認識する周辺状況認識方法であって、前記車両が第１の位置に位置するときに前記車両の周辺を前記車両に取り付けられたカメラにより撮像する第１の撮像工程と、前記車両が第２の位置に位置するときに前記車両の周辺を前記カメラにより撮像する第２の撮像工程と、前記第１の位置から前記第２の位置までの前記車両の移動距離を検出する車両移動距離検出工程と、前記第１の撮像工程における撮像により得られた第１の車両周辺画像中における検出対象の位置と、前記第２の撮像工程における撮像により得られた第２の車両周辺画像中における前記検出対象の位置との差を検出対象変位量として算出し、前記検出対象変位量と、前記車両移動距離検出工程において検出された前記車両の移動距離とに基づいて前記検出対象の高さを認識する検出対象高さ認識工程とを備えていることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、車両周辺に存在する物体等の高さの認識を安価に実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例の周辺状況認識装置を示すブロック図である。
【図２】車両が、縁石の置かれた駐車スペースに後退して入る様子を示す説明図である。
【図３】第１の俯瞰画像および第２の俯瞰画像を示す説明図である。
【図４】車両が、後方に勾配がある駐車スペースに後退して入る様子を示す説明図である。
【図５】第３の俯瞰画像および第４の俯瞰画像を示す説明図である。
【図６】本発明の実施例の周辺状況認識装置において、カメラ検出対象間距離を算出する式の導出方法を示す説明図である。
【図７】本発明の実施例の周辺状況認識装置における周辺状況認識処理を示すフローチャートである。
【図８】図７に続く周辺状況認識処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
本発明の実施形態の周辺状況認識装置は、車両に取り付けられ、車両の周辺を撮像するカメラと、車両の移動距離を検出する車両移動距離検出部と、車両の周辺に存在する検出対象の高さを認識する検出対象高さ認識部とを備えている。
【００１４】
検出対象高さ認識部は、車両が第１の位置に位置するときにカメラによる撮像によって得られた第１の車両周辺画像中における検出対象の位置と、車両が第２の位置に位置するときにカメラによる撮像によって得られた第２の車両周辺画像中における検出対象の位置との差を検出対象変位量として算出する。そして、検出対象高さ認識部は、検出対象変位量と、車両移動距離検出部により検出された第１の位置から第２の位置までの車両の移動距離とに基づき、三角測量の原理を用いて検出対象の高さを認識する。
【００１５】
本発明の実施形態の周辺状況認識装置によれば、カメラによる撮像によって得られた画像に基づいて、車両周辺に存在する縁石等の物体の高さを認識することができる。カメラを用いて物体の高さの認識を行うことにより、レーザレーダ等の手段を用いて物体の高さの認識を行う場合と比較して、物体の高さの認識を安価に実現することができる。
【００１６】
また、本発明の実施形態の周辺状況認識方法は、車両が第１の位置に位置するときに車両の周辺を車両に取り付けられたカメラにより撮像する第１の撮像工程と、車両が第２の位置に位置するときに車両の周辺を上記カメラにより撮像する第２の撮像工程と、第１の位置から第２の位置までの車両の移動距離を検出する車両移動距離検出工程と、第１の撮像工程における撮像により得られた第１の車両周辺画像、第２の撮像工程における撮像により得られた第２の車両周辺画像、および車両移動距離検出工程において検出された車両の移動距離に基づいて検出対象の高さを認識する検出対象高さ認識工程とを備えている。
【００１７】
検出対象高さ認識工程では、第１の車両周辺画像中における検出対象の位置と、第２の車両周辺画像中における検出対象の位置との差を検出対象変位量として算出する。そして、この検出対象変位量と、第１の位置から第２の位置までの車両の移動距離とに基づき、三角測量の原理を用いて検出対象の高さを認識する。
【００１８】
本発明の実施形態の周辺状況認識方法によれば、車両周辺に存在する縁石等の物体の高さの認識を安価に実現することができる。
【実施例】
【００１９】
図面を用いて、本発明の周辺状況認識装置および周辺状況認識方法の実施例を説明する。なお、図２ないし図５中には、上（Ｕ）、下（Ｄ）、前（Ｆ）、後（Ｂ）、左（Ｌ）、右（Ｒ）をそれぞれ示す矢印が描かれている。実施例に関して方向を述べる際には、それらの矢印に従う。
【００２０】
（周辺状況認識装置）
図１は、本発明の実施例の周辺状況認識装置１を示している。周辺状況認識装置１は、車両に搭載され、車両の周辺状況を認識する装置である。本実施例の周辺状況認識装置１は、車両の後方周辺に存在する検出対象の高さを認識する機能を有している。検出対象は物体または地面である。例えば縁石、輪留め、低い位置にある障害物等は検出対象となり得る。周辺状況認識装置１は、これらの物体の地面からの高さを認識することができる。また、周辺状況認識装置１は、地面の高さの変化、例えば勾配、地面の凹み、地面の盛り上がり等を認識することができる。
【００２１】
図１に示すように、周辺状況認識装置１は、カメラ２、ディスプレイ３、記憶装置４、撮像制御部５、車両移動監視部６、俯瞰画像生成部７、画像記憶制御部８、検出対象高さ認識部９、および状況判定部１０を備えている。
【００２２】
カメラ２は車両の後方を撮像する装置である。カメラ２は、単眼カメラであり、例えば９０度ないし１８０度程度の広い画角を有するレンズを備えている。また、カメラ２は、例えば２４ないし６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）のフレームレートで車両１５の後方を連続撮像することができる。カメラ２は車両の後部に取り付けられている。カメラ２は、車両の後ろ側のバンパよりも高い位置に配置されている。例えば、カメラ２は、車両の後ろ側のバンパとリアウィンドウとの間に配置されている。なお、カメラ２を車両のリアウィンドウの上方に配置してもよい。また、カメラ２は、車両の左右方向中央に配置されている。また、カメラ２は、車両後方の地面が写るように、レンズの光軸が水平方向に対して例えば４５度程度下へ傾くように配置されている。
【００２３】
ディスプレイ３は、車両のドライバ等の乗員に向けて情報を表示する装置である。ディスプレイ３は、例えば、液晶ディスプレイ等であり、車両のダッシュボード等に取り付けられている。ディスプレイ３には、カメラ２による撮像によって得られた車両の後方の画像、または状況判定部１０により出力された警報等が表示される。
【００２４】
記憶装置４は、周辺状況認識装置１が後述する周辺状況認識処理を行うのに必要なプログラムおよびデータ等を記憶する装置である。記憶装置４は、例えばフラッシュメモリ等の半導体記憶素子を有する半導体記憶装置である。なお、記憶装置４として、例えばハードディスクドライブ等の磁気記憶装置を用いることもできる。
【００２５】
撮像制御部５、車両移動監視部６、俯瞰画像生成部７、画像記憶制御部８、検出対象高さ認識部９、および状況判定部１０は、コントローラ１１が、記憶装置４に記憶されたコンピュータプログラムを読み取って実行することにより実現される。コントローラ１１は車両に設けられ、ＣＰＵ（中央演算処理装置）等を備えている。
【００２６】
撮像制御部５は、カメラ２の撮像動作を制御する機能を有している。車両移動監視部６は、車両の移動を監視する機能を有している。具体的には、車両移動監視部６は、車両の位置の検出、および車両の移動距離の検出を行う。なお、車両移動監視部６は特許請求の範囲の記載における「車両移動距離検出部」の具体例である。俯瞰画像生成部７は、カメラ２による撮像によって直接得られた画像（以下、これを「撮像画像」という。）に対応する俯瞰画像を生成する機能を有している。画像記憶制御部８は、俯瞰画像生成部７により生成された俯瞰画像を所定のタイミングで記憶装置４に記憶する機能を有している。検出対象高さ認識部９は、車両の後方に存在する検出対象の高さを認識する機能を有している。状況判定部１０は、検出対象高さ認識部９により検出された検出対象の高さが所定の閾値を超えた場合に警報を出力する機能を有している。
【００２７】
また、コントローラ１１にはカメラ２、ディスプレイ３および記憶装置４が電気的に接続されている。また、コントローラ１１には、車両のギアがリバースに切り換えられたことを示すリバース信号が入力される。なお、リバース信号は、車両１５に設けられた、車両１５の動作を制御する他のコントローラから出力される。また、コントローラ１１には、車両１５の速度を示す車速信号が入力される。後述する周辺状況認識処理において、車両移動監視部６は、車速信号に基づいて車両１５の速度を認識する。なお、車速信号は、車両１５に設けられた車速センサから出力される。また、コントローラ１１は計時機能を有している。
【００２８】
（検出対象の高さの認識方法）
周辺状況認識装置１は、車両１５の後方周辺に存在する検出対象の高さを認識する。この検出対象の高さを認識する方法につき、検出対象が駐車スペースに置かれた縁石である場合と、検出対象が地面の勾配である場合を例にあげて説明する。
【００２９】
まず、縁石の高さを認識する方法について説明する。図２（Ａ）は、一対の縁石１８、１９が置かれた駐車スペース１６に、後退して入る車両１５をその上方から見た状態を示している。図２（Ｂ）は、図２（Ａ）中の車両１５をその左方から見た状態を示している。
【００３０】
図２（Ａ）に示すように、車両１５は駐車場の駐車スペース１６に入るために後退している。車両１５には周辺状況認識装置１が搭載されている。車両１５の後部にはカメラ２が取り付けられている。また、駐車スペース１６の左縁および右縁には、舗装された地面に白線を塗布することにより駐車枠線１７がそれぞれ標示されている。また、左右の駐車枠線１７の後端を結んだ直線が駐車スペース１６の後縁に当たる。図２（Ａ）においては、位置Ａ３が駐車スペース１６の後縁の位置である。また、駐車スペース１６内の後部には、一対の縁石１８、１９が置かれている。
【００３１】
ここでは、周辺状況認識装置１が、一対の縁石１８、１９のうち、一方の縁石１８の高さを認識することとする。周辺状況認識装置１が縁石１８の高さを認識するに当たり、周辺状況認識装置１は、まず、車両１５が後退している間、車両１５が位置Ａ１に達した時点にカメラ２による撮像によって得られた撮像画像に対応する俯瞰画像を取得する。この俯瞰画像を「第１の俯瞰画像」という。次に、周辺状況認識装置１は、車両１５が後退している間に、車両１５が位置Ａ２に達した時点にカメラ２による撮像によって得られた撮像画像に対応する俯瞰画像を取得する。この俯瞰画像を「第２の俯瞰画像」という。ここで、図３（Ａ）は第１の俯瞰画像３１を示し、図３（Ｂ）は第２の俯瞰画像３２を示している。図３（Ａ）および図３（Ｂ）に示すように、第１の俯瞰画像３１および第２の俯瞰画像３２中には、真上から見た状態の縁石１８がそれぞれ写っている。
【００３２】
次に、周辺状況認識装置１は、周知の画像認識の手法を用いて、第１の俯瞰画像３１中における縁石１８の上面の特徴的部分Ｅの位置と、第２の俯瞰画像３２中における縁石１８の上面の特徴的部分Ｅの位置とをそれぞれ特定する。なお、第１の俯瞰画像３１中における縁石１８の上面の特徴的部分Ｅと、第２の俯瞰画像３２中における縁石１８の上面の特徴的部分Ｅとは同一の縁石の上面における同一の特徴的部分である。
【００３３】
次に、周辺状況認識装置１は、第１の俯瞰画像３１の全体と第２の俯瞰画像３２の全体とを、両者の四隅をそれぞれ互いに一致させるようにして、互いに完全に重ね合わせ、第１の俯瞰画像３１中における縁石１８の上面の特徴的部分Ｅの位置と、第２の俯瞰画像３２中における縁石１８の上面の特徴的部分Ｅの位置との差を検出対象変位量Ｄとして算出する。この検出対象変位量Ｄは、カメラ２が位置Ａ１から縁石１８を見た方向と、カメラ２が位置Ａ２から縁石１８を見た方向との視差に相当する。
【００３４】
次に、周辺状況認識装置１は、次の式（１）により、カメラ検出対象間距離Ｈｔを算出する。カメラ検出対象間距離Ｈｔとは、カメラ２のレンズと検出対象の上面との間の距離を意味する。この例では、カメラ検出対象間距離Ｈｔは、カメラ２のレンズと縁石１８の上面の特徴的部分Ｅとの間の距離である。
Ｈｔ＝ｆ・Ｌ／Ｄ      （１）
【００３５】
ここで、ｆはカメラ２のレンズの焦点距離であり、Ｌは位置Ａ１から位置Ａ２までの間の車両１５の移動距離、つまり位置Ａ１と位置Ａ２との間の距離である。カメラ２のレンズの焦点距離ｆを示す情報は、記憶装置４に予め記憶されている。また、位置Ａ１から位置Ａ２までの間の車両１５の移動距離Ｌは、後述するように、車両移動監視部６により算出される。
【００３６】
次に、周辺状況認識装置１は、次の式（２）に示すように、カメラ２の直下の地面とカメラ２との間の上下方向における距離Ｈｃから、カメラ検出対象間距離Ｈｔを引くことにより、縁石１８の高さＨｄを算出する（図２（Ｂ）を参照）。
Ｈｄ＝Ｈｃ−Ｈｔ      （２）
カメラ２の直下の地面とカメラ２との間の上下方向における距離Ｈｃは、カメラ２の車両１５への取付位置によって定まる。この距離Ｈｃは予め測定され、その値が記憶装置４に記憶されている。
【００３７】
なお、以上の縁石の高さの認識方法において、第１の俯瞰画像３１が特許請求の範囲の記載における「第１の車両周辺画像」の具体例であり、第２の俯瞰画像３２が特許請求の範囲の記載における「第２の車両周辺画像」の具体例である。また、位置Ａ１が特許請求の範囲の記載における「第１の位置」の具体例であり、位置Ａ２が特許請求の範囲の記載における「第２の位置」の具体例である。
【００３８】
次に、地面の勾配を認識する方法について説明する。図４（Ａ）は、駐車スペース２１に、後退して入る車両１５をその上方から見た状態を示している。図４（Ｂ）は、図４（Ａ）中の車両１５をその左方から見た状態を示している。
【００３９】
図４（Ａ）に示すように、車両１５は駐車場の駐車スペース２１に入るために後退している。車両１５には周辺状況認識装置１が搭載され、車両１５の後部にはカメラ２が取り付けられている。また、図４（Ａ）中の駐車スペース２１の左縁および右縁には、図２（Ａ）に示す駐車スペース１６と同様に駐車枠線２２がそれぞれ標示され、これら駐車枠線２２の後端を結んだ直線が駐車スペース２１の後縁に当たる。図４（Ａ）においては、位置Ａ３が駐車スペース２１の後縁の位置である。しかしながら、図２（Ａ）に示す駐車スペース１６と異なり、図４（Ａ）中の駐車スペース２１内には縁石が置かれていない。また、駐車スペース２１の後方の領域２３には、図４（Ｂ）に示すように、地面が後方に行くに従って下降するように傾斜した勾配が形成されている。また、駐車スペース２１は舗装されているが、勾配のある領域２３は舗装されていない。
【００４０】
ここで、駐車スペース２１に輪留めとして機能する縁石がないため、車両１５が駐車スペース２１の後縁（位置Ａ３）を超えて後退し、勾配のある領域２３に接近していると仮定する。
【００４１】
このような状況において、周辺状況認識装置１は、まず、車両１５が後退し、車両１５が位置Ａ４に達した時点にカメラ２による撮像によって得られた撮像画像に対応する俯瞰画像を取得する。この俯瞰画像を「第３の俯瞰画像」という。次に、周辺状況認識装置１は、車両１５が後退し、車両１５が位置Ａ５に達した時点にカメラ２による撮像によって得られた撮像画像に対応する俯瞰画像を取得する。この俯瞰画像を「第４の俯瞰画像」という。ここで、図５（Ａ）は第３の俯瞰画像３３を示し、図５（Ｂ）は第４の俯瞰画像３４を示している。図５（Ａ）および図５（Ｂ）に示すように、第３の俯瞰画像３３および第４の俯瞰画像３４中には、真上から見た地面の領域２３が写っている。
【００４２】
次に、周辺状況認識装置１は、周知の画像認識の手法を用いて、第３の俯瞰画像３３中において領域２３内の地面上に存在する石等の１つの物体２４を特定する。続いて、周辺状況認識装置１は、第３の俯瞰画像３３中において特定した物体２４と同一の物体を、第４の俯瞰画像３４中において特定する。そして、周辺状況認識装置１は、第３の俯瞰画像３３中における物体２４の上面の特徴的部分Ｇの位置と、第４の俯瞰画像３４中における物体２４の上面の特徴的部分Ｇの位置とをそれぞれ特定する。なお、第３の俯瞰画像３３中における物体２４の上面の特徴的部分Ｇと、第４の俯瞰画像３４中における物体２４の上面の特徴的部分Ｇとは同一の物体の上面における同一の特徴的部分である。
【００４３】
次に、周辺状況認識装置１は、第３の俯瞰画像３３の全体と第４の俯瞰画像３４の全体とを、両者の四隅をそれぞれ互いに一致させるようにして、互いに完全に重ね合わせ、第３の俯瞰画像３３中における物体２４の上面の特徴的部分Ｇの位置と、第４の俯瞰画像３４中における物体２４の上面の特徴的部分Ｇの位置との差を検出対象変位量Ｄとして算出する。この検出対象変位量Ｄは、カメラ２が位置Ａ４から物体２４を見た方向と、カメラ２が位置Ａ５から物体２４を見た方向との視差に相当する。
【００４４】
次に、周辺状況認識装置１は、上記式（１）により、カメラ検出対象間距離Ｈｔを算出する。この例では、カメラ検出対象間距離Ｈｔは、カメラ２のレンズと物体２４の上面の特徴的部分Ｇとの間の距離である。
【００４５】
続いて、周辺状況認識装置１は、第３の俯瞰画像３３および第４の俯瞰画像３４を用いて、領域２３内の地面上に存在する複数の物体のそれぞれについて、上述した方法により、カメラ検出対象間距離Ｈｔを算出する。領域２３内の地面上に存在する複数の物体は、例えば、領域２３内に散在している複数の石等である。
【００４６】
次に、周辺状況認識装置１は、領域２３内の地面上に存在する複数の物体のそれぞれのカメラ検出対象間距離Ｈｔのうち最大値と最小値を除外し、残りのカメラ検出対象間距離Ｈｔの値の平均値を算出し、その平均値を、カメラ２のレンズと領域２３内における地面との距離Ｈｇとして認識する。
【００４７】
次に、周辺状況認識装置１は、次の式（３）に示すように、カメラ２の直下の地面とカメラ２との間の上下方向における距離Ｈｃから距離Ｈｇを引き、勾配検出値Ｈｓを算出する（図４（Ｂ）を参照）。
Ｈｓ＝Ｈｃ−Ｈｇ      （３）
勾配検出値Ｈｓは、車両１５が位置する地面の高さよりも車両１５の後方周辺の地面の高さが低い場合にはマイナスの値となり、車両１５が位置する地面の高さよりも車両１５の後方周辺の地面の高さが高い場合にはプラスの値となる。周辺状況認識装置１は、勾配検出値Ｈｓに基づき、車両１５の後方周辺に、下降する勾配、また上昇する勾配が存在することを認識することができる。この例では、周辺状況認識装置１は、車両１５の後方の地面の領域２３に、下降する勾配が存在することを認識する。
【００４８】
なお、以上の地面の勾配の認識方法において、第３の俯瞰画像３３が特許請求の範囲の記載における「第１の車両周辺画像」の具体例であり、第４の俯瞰画像３４が特許請求の範囲の記載における「第２の車両周辺画像」の具体例である。また、位置Ａ４が特許請求の範囲の記載における「第１の位置」の具体例であり、位置Ａ５が特許請求の範囲の記載における「第２の位置」の具体例である。
【００４９】
（式（１）の導出）
上記式（１）は、三角測量の原理に基づき、次のように導き出すことができる。図６（Ａ）は、第１の位置、例えば図２中の位置Ａ１に車両１５が位置しているときのカメラ２のレンズの中心Ｏ１を原点とし、前後方向をｙ軸とし、上下方向をｚ軸とした二次元のカメラ座標系を示している。このカメラ座標系において、検出対象の位置をＫ１とし、その座標を（ｙＫ１、ｚＫ１）とする。また、カメラにおける画像平面Ｃに投影された検出対象の位置をＰ１とし、その座標（ｙＰ１、ｚＰ１）とする。なお、実際にはカメラにおいて画像平面Ｃは、被写体からレンズを見てレンズの向こう側に位置するが、図６（Ａ）においては、説明の便宜上、画像平面Ｃの位置を、Ｚ軸の正負およびＹ軸の正負をそれぞれ逆転させた状態で表示しており、それゆえ、画像平面Ｃは被写体（検出対象の位置Ｋ１）とレンズ（レンズの中心Ｏ１）との間に位置している。
【００５０】
図６（Ｂ）は、第２の位置、例えば図２中の位置Ａ２に車両１５が位置しているときのカメラ２のレンズの中心Ｏ２を原点とし、前後方向をｙ軸とし、上下方向をｚ軸とした二次元のカメラ座標系を示している。このカメラ座標系において、検出対象の位置をＫ２とし、その座標を（ｙＫ２、ｚＫ２）とする。また、カメラにおける画像平面Ｃに投影された検出対象の位置をＰ２とし、その座標（ｙＰ２、ｚＰ２）とする。図６（Ａ）と同様に、図６（Ｂ）においても、画像平面Ｃの位置を、Ｚ軸の正負およびＹ軸の正負をそれぞれ逆転させた状態で表示している。
【００５１】
ここで、第１の位置から第２の位置までの車両１５の移動距離はＬであるので、第２の位置における検出対象の位置Ｋ２の座標は次のように表すことができる。
ｙＫ２＝ｙＫ１＋Ｌ
ｚＫ２＝ｚＫ１          （４）
【００５２】
また、図６（Ａ）において、点Ｏ１、点Ｋ１および点Ｎ１を頂点とする三角形と、点Ｏ１、点Ｐ１および点Ｍ１を頂点とする三角形は相似の関係にあるので、第１の位置において画像平面Ｃに投影された検出対象の位置Ｐ１の座標（ｙＰ１、ｚＰ１）は次のように表すことができる。
ｙＰ１＝ｚｐ１・ｙＫ１／ｚＫ１      （５）
【００５３】
ここでｚＰ１はカメラのレンズの焦点距離ｆと等しいので、上記式（５）は次のようになる。
ｙｐ１＝ｆ・ｙＫ１／ｚＫ１      （６）
【００５４】
また、図６（Ｂ）において、点Ｏ２、点Ｋ２および点Ｎ２を頂点とする三角形と、点Ｏ２、点Ｐ２および点Ｍ２を頂点とする三角形は相似の関係にあるので、第２の位置において画像平面Ｃに投影された検出対象の位置Ｐ２の座標（ｙＰ２、ｚＰ２）は次のように表すことができる。
ｙＰ２＝ｚｐ２・ｙＫ２／ｚＫ２      （７）
【００５５】
また、ｚＰ２はカメラのレンズの焦点距離ｆと等しいので、上記式（７）は次のようになる。
ｙｐ２＝ｆ・ｙＫ２／ｚＫ２      （８）
【００５６】
そして、上記式（４）および（６）を上記式（８）に代入すると、次の式が得られる。
ｙＰ２＝ｆ・（ｙＫ１＋Ｌ）／ｚＫ１
＝ｆ・ｙＫ１／ｚＫ１＋ｆ・Ｌ／ｚＫ１
＝ｙＰ１＋ｆ・Ｌ／ｚＫ１      （９）
【００５７】
さらに、上記式（９）から、次の式が得られる。
ｚＫ１＝ｆ・Ｌ／（ｙＰ２−ｙＰ１）      （１０）
【００５８】
ｚＫ１はカメラ検出対象間距離Ｈｔであり、ｙＰ２ーＹｐ１は検出対象変位量Ｄである。よって、カメラ検出対象間距離Ｈｔは、上記式（１）により算出することができる。
【００５９】
（周辺状況認識処理）
図７および図８は周辺状況認識装置１における周辺状況認識処理の流れを示している。周辺状況認識装置１は、車両１５が後退するときに、車両１５の後方周辺に存在する物体または地面等の検出対象の高さを認識する周辺状況認識処理を行う。
【００６０】
ドライバが、車両１５を後退させて駐車スペースに入れるために、ギアをリバースに切り換えたとき、リバース信号がコントローラ１１に入力される。周辺状況認識処理において、まず、図７に示すように、車両移動監視部６が、リバース信号が入力されたか否かを判断する（ステップＳ１）。
【００６１】
リバース信号が入力されたとき（ステップＳ１：ＹＥＳ）、次に、車両移動監視部６は、駐車スペースの駐車枠線の後端が検出されたか否かを判断する（ステップＳ２）。すなわち、車両１５の電装系が稼働しているとき、カメラ２は車両１５の後方周辺を常時撮像している。車両１５が後退し、車両１５の後部が駐車スペースに入ると、カメラ２の撮像範囲内に、駐車スペースの駐車枠線の後端が入る。車両移動監視部６は、カメラ２による撮像により得られた撮像画像に基づいて、駐車スペースの駐車枠線の後端が検出されたか否かを判断する。
【００６２】
駐車スペースの駐車枠線の後端が検出されたとき（ステップＳ２：ＹＥＳ）、俯瞰画像生成部７が、カメラ２による撮像によって得られた撮像画像に対応する俯瞰画像を生成する処理を開始する（ステップＳ３）。俯瞰画像の生成は、例えば撮像画像を鳥瞰変換することにより行うことができる。俯瞰画像生成部７は、車両１５が後退を継続している間、カメラ２による撮像によって得られた各フレームの撮像画像を次々に俯瞰画像に変換していく。
【００６３】
続いて、車両移動監視部６が、俯瞰画像生成部７により生成された俯瞰画像に基づいて、車両１５が、駐車枠線の後端から前方へ所定距離（例えば１．５ｍ）離れた位置を超えて後方へ移動したか否かを判断する（ステップＳ４）。
【００６４】
車両１５が、駐車枠線の後端から前方へ所定距離離れた位置を超えて後方へ移動したとき（ステップＳ４：ＹＥＳ）、画像記憶制御部８が、その時点において俯瞰画像生成部７により生成された俯瞰画像を第１の俯瞰画像３１として記憶装置４に記憶する（ステップＳ５）。
【００６５】
続いて、第１の俯瞰画像３１を記憶装置４に記憶してからｔ秒経過した後（ステップＳ６：ＹＥＳ）、画像記憶制御部８は、その時点において俯瞰画像生成部７により生成された俯瞰画像を第２の俯瞰画像３２として記憶装置４に記憶する（ステップＳ７）。
【００６６】
ここで、図７中のステップＳ５からステップＳ７までの処理を、図２に基づいて説明すると、図２において、位置Ａ３が駐車枠線１７の後端の位置であり、位置Ａ０が駐車枠線１７の後端から前方へ所定距離離れた位置である。また、車両１５が位置Ａ１に達したとき、画像記憶制御部８により第１の俯瞰画像３１が記憶装置４に記憶される。また、車両１５が位置Ａ１に達してからｔ秒後に、車両が位置Ａ２に達し、車両が位置Ａ２に達したとき、画像記憶制御部８により第２の俯瞰画像３２が記憶装置４に記憶される。
【００６７】
画像記憶制御部８が第２の俯瞰画像３２を記憶した後、車両移動監視部６が、第１の俯瞰画像３１を記憶した時点から第２の俯瞰画像３２を記憶した時点までの時間（ｔ秒）と、第１の俯瞰画像３１を記憶した時点から第２の俯瞰画像３２を記憶した時点までの間における車両１５の速度とに基づいて、第１の俯瞰画像３１を記憶した時点から第２の俯瞰画像３２を記憶した時点までの間における車両の移動距離、すなわち、位置Ａ１から位置Ａ２までの車両の移動距離Ｌを算出する（ステップＳ８）。
【００６８】
続いて、検出対象高さ認識部９が、記憶装置４に記憶されている第１の俯瞰画像３１に対して画像認識処理を行い、第１の俯瞰画像３１中に、検出対象としての縁石が存在するか否かを判断する（ステップＳ９）。
【００６９】
第１の俯瞰画像３１中に縁石が存在する場合には（ステップＳ９：ＹＥＳ）、検出対象高さ認識部９は、上述した縁石の高さの認識方法に従い、記憶装置４に記憶されている第１の俯瞰画像３１および第２の俯瞰画像３２に基づいて、縁石の高さＨｄを認識する（ステップＳ１０）。
【００７０】
続いて、状況判定部１０が、検出対象高さ認識部９により認識された縁石１８の高さＨｄが、所定の閾値以上であるか否かを判断する（ステップＳ１１）。例えば、この所定の閾値は車両１５の後ろ側のバンパの下端部の高さの値に設定されている。そして、縁石の高さＨｄが上記所定の閾値以上である場合には（ステップＳ１１：ＹＥＳ）、状況判定部１０は、例えば、縁石が車両１５のバンパに衝突することが予測される旨を告げる警報をディスプレイ３に表示すると共に、車両１５の中に設けられたスピーカから警報音を出力する（ステップＳ１２）。
【００７１】
一方、ステップＳ９において、第１の俯瞰画像３１中に縁石が存在しない場合には（ステップＳ９：ＮＯ）、続いて、図８に示すように、車両移動監視部６が、俯瞰画像生成部７により生成された俯瞰画像に基づいて、後方へ移動している車両１５が、駐車枠線の後端を超えたか否かを判断する（ステップＳ１３）。すなわち、駐車スペース内に輪留めとして機能する縁石が存在しない場合には、車両１５が駐車スペースの後縁を超えて後退し、図４に示すように、駐車スペースの後方にある地面の勾配に接近する可能性がある。ステップＳ１３以降の処理はこのような事態を想定している。
【００７２】
車両１５が、駐車枠線の後端を超えて後方へ移動したとき（ステップＳ１３：ＹＥＳ）、画像記憶制御部８が、その時点において俯瞰画像生成部７により生成された俯瞰画像を第３の俯瞰画像３３として記憶装置４に記憶する（ステップＳ１４）。
【００７３】
続いて、第３の俯瞰画像３３を記憶装置４に記憶してからｔ秒経過した後（ステップＳ１５：ＹＥＳ）、画像記憶制御部８は、その時点において俯瞰画像生成部７により生成された俯瞰画像を第４の俯瞰画像３４として記憶装置４に記憶する（ステップＳ１６）。
【００７４】
ここで、図８中のステップＳ１４からステップＳ１５までの処理を、図４に基づいて説明すると、図４において、位置Ａ３が駐車枠線２２の後端の位置である。また、車両１５が位置Ａ４に達したとき、画像記憶制御部８により第３の俯瞰画像３３が記憶装置４に記憶される。また、車両１５が位置Ａ４に達してからｔ秒後に、車両が位置Ａ５に達し、車両が位置Ａ５に達したとき、画像記憶制御部８により第４の俯瞰画像３４が記憶装置４に記憶される。
【００７５】
画像記憶制御部８が第４の俯瞰画像３４を記憶した後、車両移動監視部６が、第３の俯瞰画像３３を記憶した時点から第４の俯瞰画像３４を記憶した時点までの時間（ｔ秒）と、第３の俯瞰画像３３を記憶した時点から第４の俯瞰画像３４を記憶した時点までの間における車両１５の速度とに基づいて、第３の俯瞰画像３３を記憶した時点から第４の俯瞰画像３４を記憶した時点までの間における車両の移動距離、すなわち、位置Ａ４から位置Ａ５までの車両の移動距離Ｌを算出する（ステップＳ１７）。
【００７６】
続いて、検出対象高さ認識部９が、上述した地面の勾配の認識方法に従い、記憶装置４に記憶されている第３の俯瞰画像３３および第４の俯瞰画像３４に基づいて、車両１５の後方周辺の地面の勾配を認識する処理を行う（ステップＳ１８）。
【００７７】
そして、車両１５の後方周辺に勾配が存在する場合には（ステップＳ１９：ＹＥＳ）、状況判定部１０が車両の後方周辺に勾配が存在する旨を告げる警報をディスプレイ３に表示すると共に、車両１５の中に設けられたスピーカから警報音を出力する（ステップＳ２０）。
【００７８】
以上説明した通り、本発明の実施例の周辺状況認識装置１は、車両１５が位置Ａ１に位置するときにカメラ２による撮像によって得られた第１の俯瞰画像３１中における縁石の位置と、車両１５が位置Ａ２に位置するときにカメラ２による撮像によって得られた第２の俯瞰画像３２中における縁石の位置との差を検出対象変位量Ｄとして算出し、検出対象変位量Ｄと、位置Ａ１から位置Ａ２までの車両１５の移動距離Ｌとに基づいて縁石の高さＨｄを認識する。この構成によれば、カメラによる撮像によって得られた画像に基づいて、車両の後方周辺に存在する縁石等の物体の高さを認識することができる。車両の後方周辺に存在する物体の高さをカメラを用いて認識することができるので、車両の後方周辺に存在する物体の高さをレーザレーダ等の手段を用いて認識する場合と比較して、車両の後方周辺に存在する物体の高さの認識を安価に実現することができる。
【００７９】
また、本実施例の周辺状況認識装置１は、互いに異なる２つの位置で撮像した２つの撮像画像にそれぞれ対応する２つの俯瞰画像を用いることにより、車両の後方周辺に存在する物体の高さを認識する。この構成により、三角測量の原理に基づいて、車両の後方周辺に存在する物体の高さを容易に認識することができる。
【００８０】
また、本実施例の周辺状況認識装置１は、検出対象変位量Ｄと、位置Ａ１から位置Ａ２までの車両１５の移動距離Ｌとに基づいて、カメラ検出対象間距離Ｈｔを検出し、カメラの直下の地面とカメラとの間の上下方向における距離Ｈｃからカメラ検出対象間距離Ｈｔを引くことにより縁石の高さＨｄを認識する。この構成により、カメラ検出対象間距離Ｈｔから車両の後方周辺の物体の高さを簡単に求めることができる。
【００８１】
また、本実施例の周辺状況認識装置１は、検出対象変位量Ｄ、位置Ａ１から位置Ａ２までの車両の移動距離Ｌ、およびカメラのレンズの焦点距離ｆから、上記式（１）の演算を行うことにより、カメラ検出対象間距離Ｈｔを算出する。この構成により、三角測量の原理を利用した簡単な式を用いて、車両の後方周辺に存在する物体の高さを容易に算出することができる。
【００８２】
また、本実施例の周辺状況認識装置１は、互いに異なる２つの位置で撮像した２つの撮像画像にそれぞれ対応する２つの俯瞰画像を用いることにより、車両の後方周辺に存在する地面の勾配を認識する。この構成により、三角測量の原理に基づいて、車両の後方周辺の地面の勾配の認識を安価に実現することができる。
【００８３】
また、本実施例の周辺状況認識装置１は、車両１５の後方周辺に存在する縁石等の物体の高さが所定の閾値を超えた場合に警報を出力する。この構成により、例えば、車両１５のバンパ等が縁石に衝突するおそれのあることをドライバ等に伝えることができ、このような衝突を未然に防ぐことができる。また、本実施例の周辺状況認識装置１は、車両１５の後方周辺に勾配が存在する場合には警報を出力する。これにより、例えば、車両が、下降する勾配に進入にしてしまい、そこから抜き出せない状態となること等を防止することができる。
【００８４】
なお、上記実施例では、車両の後方周辺に存在する物体、または地面の勾配を認識する場合を例にあげたが、本発明はこれに限らない。カメラ２を車両の前方に取り付け、車両の前方周辺に存在する物体、または地面の勾配を認識するようにしてもよいし、カメラ２を車両の側方に取り付け、車両の側方周辺に存在する物体、または地面の勾配を認識するようにしてもよい。
【００８５】
また、上記実施例では、車両の後方周辺に存在する物体の高さが所定の閾値以上である場合、または車両の後方周辺に存在する地面の勾配が認識された場合に警報を出力する場合を例にあげたが、このような場合に、車両１５を自動停止させるようにしてもよい。
【００８６】
また、図７から図８にかけて示した周辺状況認識処理におけるステップと、特許請求の範囲に記載された周辺状況認識方法の工程との対応関係は次の通りである。すなわち、図７中のステップＳ５または図８中のステップＳ１４が第１の撮像工程の具体例であり、図７中のステップＳ７または図８中のステップＳ１６が第２の撮像工程の具体例である。また、図７中のステップＳ８または図８中のステップＳ１７が車両移動距離検出工程の具体例であり、図７中のステップＳ１０または図８中のステップＳ１８が検出対象高さ認識工程の具体例である。
【００８７】
また、本発明は、請求の範囲および明細書全体から読み取ることのできる発明の要旨または思想に反しない範囲で適宜変更可能であり、そのような変更を伴う周辺状況認識装置および周辺状況認識方法もまた本発明の技術思想に含まれる。
【符号の説明】
【００８８】
１  周辺状況認識装置
２  カメラ
６  車両移動監視部（車両移動距離検出部）
７  俯瞰画像生成部
９  検出対象高さ認識部
１０  状況判定部
１５  車両
１８、１９  縁石（物体）
２３  領域
３１  第１の俯瞰画像（第１の車両周辺画像）
３２  第２の俯瞰画像（第２の車両周辺画像）
３３  第３の俯瞰画像（第１の車両周辺画像）
３４  第４の俯瞰画像（第２の車両周辺画像）
【図１】
2020177437.tif 000003
【図２】
2020177437.tif 000004
【図３】
2020177437.tif 000005
【図４】
2020177437.tif 000006
【図５】
2020177437.tif 000007
【図６】
2020177437.tif 000008
【図７】
2020177437.tif 000009
【図８】
2020177437.tif 000010