(57)【要約】【課題】車両の位置を精度よく推定することができるようにする。【解決手段】情報取得部１８によって、自車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する。路面情報抽出部２０によって、取得された周辺情報を自車両が走行する路面に投影した路面画像を生成する。環境画像生成部２４によって、周辺情報に含まれる周辺位置の各々の３次元情報を、生成された路面画像における、周辺位置に対応する位置に付与した、環境画像を生成する。記憶画像取得部２８によって、取得された自車両の位置情報に基づいて、データベースから、自車両の位置情報に対応する記憶画像を取得する。画像照合部３０によって、生成された環境画像と、取得された記憶画像とを照合する。推定部３２によって、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する。【選択図】図１
2016099172.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する情報取得手段と、
前記情報取得手段によって取得された前記周辺情報を自車両が走行する路面に投影した路面画像を生成する路面情報抽出手段と、
前記周辺情報に含まれる周辺位置の各々の前記３次元情報を、前記路面情報抽出手段によって生成された前記路面画像における、前記周辺位置に対応する位置に付与した、環境画像を生成する環境画像生成手段と、
前記情報取得手段によって取得された自車両の位置情報に基づいて、車両の位置情報の各々に対応する路面画像であって、各位置に３次元情報が付与された路面画像である記憶画像が予め格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得する記憶画像取得手段と、
前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像とを照合する画像照合手段と、
前記画像照合手段によって得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する推定手段と、
を含む車両位置推定装置。
【請求項２】
前記情報取得手段によって取得された前記周辺情報に基づいて、自車両の周辺の立体物を検出する立体物検出手段と、
前記立体物検出手段によって検出された前記立体物に基づいて、路面上における前記立体物の位置及び高さを表す疑似画像を、自車両の周辺の３次元情報として生成する疑似画像生成手段とを含み、
前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像に、前記疑似画像生成手段によって生成された疑似画像を付与することによって、前記環境画像を生成する
請求項１に記載の車両位置推定装置。
【請求項３】
前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像を前記環境画像の実数成分とし、前記３次元情報を前記環境画像の虚数成分とした、複素数形式の前記環境画像を生成し、
前記記憶画像取得手段は、路面画像を前記記憶画像の実数成分とし、各位置の３次元情報を前記記憶画像の虚数成分とした複素数形式の記憶画像が格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得し、
前記画像照合手段は、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像との各々に対して周波数変換を行い、前記環境画像の周波数成分と前記記憶画像の周波数成分との相関を計算することにより、前記環境画像と前記記憶画像とを照合し、
前記推定手段は、前記画像照合手段によって計算された前記相関に基づいて、自車両の位置情報のずれ量を推定する
請求項１又は請求項２に記載の車両位置推定装置。
【請求項４】
前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像を前記環境画像の虚数成分とし、前記３次元情報を前記環境画像の実数成分とした、複素数形式の前記環境画像を生成し、
前記記憶画像取得手段は、路面画像を前記記憶画像の虚数成分とし、各位置の３次元情報を前記記憶画像の実数成分とした複素数形式の記憶画像が格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得し、
前記画像照合手段は、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像との各々に対して周波数変換を行い、前記環境画像の周波数成分と前記記憶画像の周波数成分との相関を計算することにより、前記環境画像と前記記憶画像とを照合し、
前記推定手段は、前記画像照合手段によって計算された前記相関に基づいて、自車両の位置情報のずれ量を推定する
請求項１又は請求項２に記載の車両位置推定装置。
【請求項５】
コンピュータを
自車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する情報取得手段、
前記情報取得手段によって取得された前記周辺情報を、自車両が走行する路面に投影した路面画像を生成する路面情報抽出手段、
前記周辺情報に含まれる周辺位置の各々の前記３次元情報を、前記路面情報抽出手段によって生成された前記路面画像における、前記周辺位置に対応する位置に付与した、環境画像を生成する環境画像生成手段、
前記情報取得手段によって取得された自車両の位置情報に基づいて、車両の位置情報の各々に対応する路面画像であって、各位置に３次元情報が付与された路面画像である記憶画像が予め格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得する記憶画像取得手段、
前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像とを照合する画像照合手段、及び
前記画像照合手段によって得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する推定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両位置推定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、車載カメラ撮影画像から車線情報およびランドマーク情報を抽出し、地図と照合することで車両位置を推定し、地図情報が存在しない箇所では車速の累積により車両位置を求める車両位置推定装置が知られている（例えば、特許文献１を参照。）。
【０００３】
また、前方および後方の複数のカメラを用い、路面と地物を認識し、データベースと位置照会することで自車の位置を推定する画像認識装置が知られている（例えば、特許文献２を参照。）。
【０００４】
また、周囲環境の３次元データを取得し、壁面等の点群データをIterative Closest Pointアルゴリズムによりデータベースと照合することで、自己位置を推定する自己位置推定装置が知られている（例えば、特許文献３を参照。）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２６５４９４号公報
【特許文献２】特開２００７−１４７５６４号公報
【特許文献３】特開２０１１−８３２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１に記載の技術では、車線およびランドマーク情報を地図照合し、車両位置補正に利用している。しかし、車線など周囲の環境情報の多くは、左右方向の位置ずれ補正に利用できるが、前後方向の位置ずれ補正に適した手がかりは少ない。したがって、周囲の環境をそのまま利用すると、前後方向の位置ずれが大きくなる傾向がある。
【０００７】
また、上記の特許文献２に記載の技術では、特定の物体を検出した結果を利用するが、誤検出、未検出、又は誤分類があった場合に位置ずれを発生する可能性がある。
【０００８】
また、上記の特許文献３に記載の技術では、３次元点群についてＩＣＰアルゴリズムを利用して照合するが、ステレオカメラ等により取得された点群データは、ノイズの影響を受けやすく、植生又は移動物も存在するため、アウトライアの安定除去が難しい。
【０００９】
本発明は、上記の事情に鑑みてなされたもので、自車両の位置を精度よく推定することができる車両位置推定装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために本発明に係る車両位置推定装置は、自車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する情報取得手段と、前記情報取得手段によって取得された前記周辺情報を自車両が走行する路面に投影した路面画像を生成する路面情報抽出手段と、前記周辺情報に含まれる周辺位置の各々の前記３次元情報を、前記路面情報抽出手段によって生成された前記路面画像における、前記周辺位置に対応する位置に付与した、環境画像を生成する環境画像生成手段と、前記情報取得手段によって取得された自車両の位置情報に基づいて、車両の位置情報の各々に対応する路面画像であって、各位置に３次元情報が付与された路面画像である記憶画像が予め格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得する記憶画像取得手段と、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像とを照合する画像照合手段と、前記画像照合手段によって得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する推定手段と、を含んで構成されている。
【００１１】
本発明に係るプログラムは、コンピュータを自車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する情報取得手段、前記情報取得手段によって取得された前記周辺情報を、自車両が走行する路面に投影した路面画像を生成する路面情報抽出手段、前記周辺情報に含まれる周辺位置の各々の前記３次元情報を、前記路面情報抽出手段によって生成された前記路面画像における、前記周辺位置に対応する位置に付与した、環境画像を生成する環境画像生成手段、前記情報取得手段によって取得された自車両の位置情報に基づいて、車両の位置情報の各々に対応する路面画像であって、各位置に３次元情報が付与された路面画像である記憶画像が予め格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得する記憶画像取得手段、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像とを照合する画像照合手段、及び前記画像照合手段によって得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する推定手段として機能させるためのプログラムである。
【００１２】
本発明によれば、情報取得手段によって、車両の周辺位置の各々の３次元情報を含む周辺情報と、自車両の位置情報とを取得する。
【００１３】
路面情報抽出手段によって、情報取得手段によって取得された周辺情報を自車両が走行する路面に投影した路面画像を生成する。
【００１４】
環境画像生成手段によって、周辺情報に含まれる周辺位置の各々の３次元情報を、路面情報抽出手段によって生成された路面画像における、周辺位置に対応する位置に付与した、環境画像を生成する。
【００１５】
記憶画像取得手段によって、情報取得手段によって取得された自車両の位置情報に基づいて、車両の位置情報の各々に対応する路面画像であって、各位置に３次元情報が付与された路面画像である記憶画像が予め格納されたデータベースから、自車両の位置情報に対応する記憶画像を取得する。
【００１６】
画像照合手段によって、環境画像生成手段によって生成された環境画像と、記憶画像取得手段によって取得された記憶画像とを照合する。
【００１７】
推定手段によって、画像照合手段によって得られた照合結果に基づいて、自車両の位置情報のずれ量を推定する。
【００１８】
このように、自車両の周辺情報に含まれる周辺位置の各々の３次元情報を、生成された路面画像における周辺位置に対応する位置に付与した環境画像を生成し、自車両の位置情報に基づいて、データベースから、自車両の位置情報に対応する記憶画像を取得し、生成された環境画像と、取得された記憶画像とを照合し、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる。
【００１９】
本発明は、前記情報取得手段によって取得された前記周辺情報に基づいて、自車両の周辺の立体物を検出する立体物検出手段と、前記立体物検出手段によって検出された前記立体物に基づいて、路面上における前記立体物の位置及び高さを表す疑似画像を、自車両の周辺の３次元情報として生成する疑似画像生成手段とを含み、前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像に、前記疑似画像生成手段によって生成された疑似画像を付与することによって、前記環境画像を生成するようにすることができる。
【００２０】
本発明に係る前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像を前記環境画像の実数成分とし、前記３次元情報を前記環境画像の虚数成分とした、複素数形式の前記環境画像を生成し、前記記憶画像取得手段は、路面画像を前記記憶画像の実数成分とし、各位置の３次元情報を前記記憶画像の虚数成分とした複素数形式の記憶画像が格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得し、前記画像照合手段は、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像との各々に対して周波数変換を行い、前記環境画像の周波数成分と前記記憶画像の周波数成分との相関を計算することにより、前記環境画像と前記記憶画像とを照合し、前記推定手段は、前記画像照合手段によって計算された前記相関に基づいて、自車両の位置情報のずれ量を推定するようにすることができる。
【００２１】
本発明に係る前記環境画像生成手段は、前記路面情報抽出手段によって生成された前記路面画像を前記環境画像の虚数成分とし、前記３次元情報を前記環境画像の実数成分とした、複素数形式の前記環境画像を生成し、前記記憶画像取得手段は、路面画像を前記記憶画像の虚数成分とし、各位置の３次元情報を前記記憶画像の実数成分とした複素数形式の記憶画像が格納されたデータベースから、自車両の位置情報に対応する前記記憶画像を取得し、前記画像照合手段は、前記環境画像生成手段によって生成された前記環境画像と、前記記憶画像取得手段によって取得された前記記憶画像との各々に対して周波数変換を行い、前記環境画像の周波数成分と前記記憶画像の周波数成分との相関を計算することにより、前記環境画像と前記記憶画像とを照合し、前記推定手段は、前記画像照合手段によって計算された前記相関に基づいて、自車両の位置情報のずれ量を推定するようにすることができる。
【発明の効果】
【００２２】
以上説明したように、本発明の車両位置推定装置及びプログラムによれば、自車両の周辺情報に含まれる周辺位置の各々の３次元情報を、生成された路面画像における周辺位置に対応する位置に付与した環境画像を生成し、自車両の位置情報に基づいて、データベースから、自車両の位置情報に対応する記憶画像を取得し、生成された環境画像と、取得された記憶画像とを照合し、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる、という効果が得られる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１の実施の形態に係る車両位置推定装置を示すブロック図である。
【図２】路面画像の生成処理を説明するための図である。
【図３】路面画像とグリッドとの関係を説明するための図である。
【図４】路面画像の一例を示す図である。
【図５】データベースに格納された画像から記憶画像を取得する処理を説明するための図である。
【図６】環境画像と記憶画像との照合処理を説明するための図である。
【図７】本発明の第１の実施の形態に係る車両位置推定装置における車両位置推定処理ルーチンの内容を示すフローチャートである。
【図８】本発明の第２の実施の形態に係る車両位置推定装置を示すブロック図である。
【図９】路面画像と疑似画像とから環境画像を生成する処理を説明するための図である。
【図１０】本発明の第２の実施の形態に係る車両位置推定装置における車両位置推定処理ルーチンの内容を示すフローチャートである。
【図１１】本発明の第３の実施の形態に係る車両位置推定装置を示すブロック図である。
【図１２】本発明の第４の実施の形態に係る車両位置推定装置を示すブロック図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２５】
本発明の実施の形態では、自車両の位置を推定する車両位置推定装置に本発明を適用させた場合を例に説明する。
【００２６】
車両位置推定装置によって自車両の位置を推定する際に、自車両の位置の補正の手掛かりとなる路面情報としてはレーンマークなどが挙げられる。しかし、レーンマーク中の線分を用いて補正できる位置ずれは左右方向の成分のみである。したがって、自車両の周囲環境中の情報は必ずしも車両位置推定に適しているとはいえない。
また、左右方向のみならず、前後方向の位置合わせを適切に行うためには、意図的に前後方向の位置合わせに適した手がかりを生成する必要がある。前後方向の位置合わせに対しては、点群などの３次元情報を利用する方法も広く利用されているが、周囲の移動物、季節による植生変化等の影響を受けやすい。
したがって、本発明の実施の形態では、３次元情報と路面情報との双方を利用して、自車両の位置を推定する。
【００２７】
［第１の実施の形態］
＜第１の実施の形態に係る車両位置推定装置１０の構成＞
図１に示すように、本発明の第１の実施の形態に係る車両位置推定装置１０は、道路領域を含む自車両前方を撮像して画像を出力する撮像装置１２と、自車両の位置情報を計測する測位装置１４と、自車両の速度を計測する車速センサ１５と、自車両の撮像装置１２から得られる画像と測位装置１４から得られる位置情報とに基づいて、自車両の位置を推定する処理を実行するコンピュータ１６と、コンピュータ１６によって推定された自車両の位置情報を出力する出力装置４０とを含んで構成されている。
【００２８】
撮像装置１２は、車両に搭載され、道路領域を含む自車両前方を逐次撮像して、自車両の前方画像を出力する。第１の実施の形態では、撮像装置１２はステレオカメラを用いて構成される場合を例に説明する。撮像装置１２は、例えば２台の車載カメラを備え、左の車載カメラで撮像された画像と、右の車載カメラで撮像された画像とを出力する。撮像装置１２は、自車両前方を撮像し、画像の画像信号を生成する２つの撮像部（図示省略）と、２つの撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００２９】
測位装置１４は、例えばＧＰＳセンサを用いて構成され、自車両の位置情報を逐次計測する。
【００３０】
コンピュータ１６は、ＣＰＵと、ＲＡＭと、後述する車両位置推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部１８と、路面情報抽出部２０と、３次元情報抽出部２２と、環境画像生成部２４と、データベース２６と、記憶画像取得部２８と、画像照合部３０と、推定部３２とを含んだ構成で表すことができる。センサ情報取得部１８及び３次元情報抽出部２２は、情報取得手段の一例である。
【００３１】
センサ情報取得部１８は、撮像装置１２によって撮像された左右の各画像を取得する。  また、センサ情報取得部１８は、測位装置１４によって計測された自車両の位置情報と、車速センサ１５によって計測された自車両の速度を取得する。
【００３２】
路面情報抽出部２０は、センサ情報取得部１８によって取得された画像を自車両が走行する路面に投影した路面画像を生成する。図２に、路面画像の生成処理を説明するための図を示す。
具体的には、路面情報抽出部２０は、図２（Ｂ）に示されるように、撮像装置１２によって撮像された画像に対して、画像座標から路面座標へ座標変換し、図２（Ａ）に示される路面座標を基準とする路面画像を生成する。以下、画像を座標変換し路面画像を生成する方法を説明する。なお、本実施の形態では、撮像装置１２が備える２台の車載カメラのうち、何れか一方の車載カメラによって撮像された画像から路面画像を生成する場合を例に説明する。
【００３３】
撮像装置１２の車載カメラは、予め参考文献１（Z．Zhang，“A Flexible New Technique for Camera Calibration.”，IEEE Transactions on Pattern Analysis and Machine Intelligence，22(11)，p.1330-1334，2000.）の方法を用いてキャリブレーションされ、内部パラメータ行列Ａ、及び外部パラメータ行列［Ｒ｜ｔ］は求められているものとする。センサ情報取得部１８によって取得された自車両の位置情報から得られる自車両の方向（ｙａｗ角）をφ［ｒａｄ］、スケール変数をｓ、車載カメラの設置位置の高さをｈ［ｍ］とすると、実空間上の位置（ｅ，ｎ）［ｍ］と画像中の位置（ｘ，ｙ）［ｐｉｘｅｌ］との関係は以下の式（１）で与えられる。
【００３４】
【数１】
2016099172.tif 000003
【００３５】
路面情報抽出部２０は、上記の式（１）と、センサ情報取得部１８によって取得された自車両の位置情報とを用いて画像上の画素の実位置を求め、図２（Ａ）及び図２（Ｂ）に示されるように、路面を所定間隔で区切ったグリッド上（例えば１マスあたり５ｃｍ）に画素値を投影することで路面画像を生成する。
【００３６】
図３に、グリッドと路面画像との関係を表す概念図を示す。図３の右側の画像はグリッドを表し、左側の画像は路面画像を表す。図３では、右方向を東、上方向を北とする。図３に示されるように、グリッドの１マスが路面画像の１ｐｉｘｅｌに対応しており、例えば１マス（１ｐｉｘｅｌ）を５ｃｍとする。また、自車両の測位装置１４は、路面画像の中心に位置している。
【００３７】
路面情報抽出部２０は、上記図３に示されるように、自車両が走行する路面を所定間隔のグリッドで区切り、グリッド上に、画像中の各画素の画素値を投影することで路面画像を生成する。画像中の点の３次元位置を左右位置ｘ、上下位置ｙ、奥行きｚとする場合は、グリッドは（ｘ，ｚ）平面上に置かれる。なお、画像中の点の画素が同一のグリッドに対応するときは、自車両に対してより至近距離で観測された点を信頼性が高いとみなし、優先的にグリッドに記録する。
【００３８】
また、路面情報抽出部２０は、センサ情報取得部１８によって取得された自車両の位置情報と自車両の速度とに基づいて、路面画像を生成する。図４に、路面情報抽出部２０によって生成された路面画像の一例を示す。図４では、自車両の後方にも路面画像が生成されている。路面情報抽出部２０は、上述のように、撮像装置１２によって撮像された画像を画像変換して自車両の前方の路面画像を生成した後、センサ情報取得部１８によって取得された自車両の位置情報と自車両の速度とに基づいて、１時刻前に生成された路面画像と次時刻に生成された路面画像とを繋ぎ合わせ、自車両の後方にも路面画像が生成されるようにする。
【００３９】
３次元情報抽出部２２は、センサ情報取得部１８によって取得された左右の各画像から周辺位置の３次元情報を抽出する。なお、周辺位置の３次元情報は、周辺情報の一例である。
具体的には、３次元情報抽出部２２は、撮像装置１２によって撮像された各画像中から特徴点を抽出し、左の車載カメラによって撮像された画像と、右の車載カメラによって撮像された画像との視差を計算する。さらに、３次元情報抽出部２２は、計算された視差に基づいて、撮像装置１２によって撮像された画像中の各点（画素）の３次元位置（実際の空間上）を算出する。ここで、視差については、予めキャリブレーションされたカメラを用い、例えば参考文献２（A. Geiger，M. Roser and R. Urtasun，“Efficient large-scale stereo matching”，Proc. Asian Conf. on Computer Vision，Queenstown，New Zealand，November 2010.）の方法により求めることができる。また、画像中の点の３次元位置は、参考文献３（M Bertozz，A Broggi，“Stereo inverse perspective mapping: theory and applications”，Image Vis. Comput., vol. 8, no. 16，p.585‐590，1998.）の方法により求めることができる。
例えば、点の奥行きｚ［ｍ］は、視差をｄ［ｐｉｘｅｌ］、カメラ焦点距離をｆ［ｐｉｘｅｌ］、カメラ間距離をｂ［ｍ］として以下の式（２）で与えられる。
【００４０】
【数２】
2016099172.tif 000004
【００４１】
具体的には、３次元情報抽出部２２は、撮像装置１２のステレオカメラを利用して取得された各点の３次元情報を、路面情報抽出部２０によって生成された路面画像と同様にグリッド形式で記録する。なお、撮像装置１２のステレオカメラを利用して取得された各点の３次元情報をグリッド形式で記録することは、移動ステレオ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）や、レーザにより観測された３次元情報でも同様のことができる。
上記の路面情報抽出部２０では、撮像装置１２によって撮像された画像の画素値をグリッド上に記憶したが、３次元情報抽出部２２は、例えば路面画像中の点の高さ（上下位置ｙ）をグリッド上に記録する。複数の点が同一のグリッドに対応するときは、より高い位置にある点を優先的に記録する。例えば、柱状物体を例にとると、高い位置で観測された点がグリッド記録されることによって、そこに高い柱状物体が存在するという情報がグリッド上に表現される。
【００４２】
環境画像生成部２４は、３次元情報抽出部２２によって抽出された周辺位置の各々の３次元情報を、路面情報抽出部２０によって生成された路面画像における、周辺位置に対応する位置に付与した、環境画像を生成する。
具体的には、環境画像生成部２４は、３次元情報抽出部２２によって抽出された３次元情報を路面画像に埋め込む。３次元情報を路面画像に埋め込む方法として、環境画像生成部２４は、路面情報抽出部２０によって生成された路面画像を環境画像の実数成分とし、３次元情報抽出部２２によって記録された、路面画像中の各点の高さを環境画像の虚数成分とした、複素数形式の環境画像を生成する。後述する画像照合部３０における照合処理で利用するフーリエ変換は、もともと複素数形式で実施するため、虚数成分を利用することで、本来の路面画像を損なうことがなく、また、照合にかかる計算コストの増加もない。本実施の形態で用いる方式と３次元点群を用いる方式とを比べても、２次元の画像照合（窓走査なし）の枠組で３次元情報（立体物体）を扱えるため計算コストを抑えられる。
【００４３】
データベース２６には、車両の位置情報の各々に対応する路面画像であって、各位置に高さ情報が付与された路面画像である記憶画像が予め格納されている。具体的には、データベース２６には、路面画像を記憶画像の実数成分とし、路面画像中の各点の高さを記憶画像の虚数成分とした複素数形式の記憶画像が格納されている。このように、記憶画像には、路面画像だけでなく、３次元情報が含まれている。なお、データベース２６の記憶画像は、路面情報抽出部２０と３次元情報抽出部２２とを用いて、高精度な測位装置を利用して予め蓄積されたものとする。路面画像の各位置には、高精度な測位装置を利用して予め計測された位置情報（例えば、経度情報及び緯度情報）が付与されている。
【００４４】
記憶画像取得部２８は、センサ情報取得部１８によって取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得する。記憶画像取得部２８は、予め構築されたデータベース２６から、後述する画像照合部３０において参照する記憶画像を取得する。
図５は、センサ情報取得部１８によって取得された自車両の位置情報より、参照先の記憶画像に含まれる路面画像を取得する処理を示している。記憶画像取得部２８は、図５に示されるように、例えば、センサ情報取得部１８によって取得された自車両の位置情報（ＧＰＳ観測値）を中心とした正方形の領域を、自車両の位置情報に対応する記憶画像として取得する。
【００４５】
画像照合部３０は、環境画像生成部２４によって生成された環境画像と、記憶画像取得部２８によって取得された記憶画像とを照合する。
画像照合部３０は、環境画像生成部２４によって生成された環境画像と、データベース２６に記憶された記憶画像とを照合することで、自車両の位置のずれ量を算出する。なお、環境画像は、測位装置１４の位置が中心となるよう描画される。環境画像と記憶画像との画像の位置ずれ量が、測位装置１４によって計測された自車両の位置と、真の自車両の位置とのずれに相当する。
【００４６】
具体的には、画像照合部３０は、環境画像生成部２４によって生成された環境画像と、記憶画像取得部２８によって取得された記憶画像との各々に対して周波数変換を行い、以下の式（３）に従って、環境画像の周波数成分と記憶画像の周波数成分との相関を計算することにより、環境画像と記憶画像とを照合する。
図６に、環境画像と記憶画像との照合処理のイメージ図を示す。
画像照合部３０は、図６に示されるように、記憶画像ｆ（ｘ，ｙ）と、環境画像ｇ（ｘ，ｙ）とをそれぞれ２次元フーリエ変換し、記憶画像の周波数成分Ｆ（ｕ，ｖ）と、環境画像の周波数成分Ｇ（ｕ，ｖ）とを求める。次に、画像照合部３０は、各（ｕ，ｖ）について、以下の式（３）に従って、記憶画像の周波数成分と環境画像の周波数成分との相関を計算し、相関画像を生成する。そして、画像照合部３０は、生成された相関画像を逆フーリエ変換する。なお、図６のＦＦＴは、高速フーリエ変換を表し、ｉＦＦＴは逆高速フーリエ変換を表す。また、式（３）中の上線は複素共役を表す。
【００４７】
【数３】
2016099172.tif 000005
【００４８】
推定部３２は、画像照合部３０によって得られた照合結果に基づいて、測位装置１４によって計測された自車両の位置情報のずれ量を推定する。
具体的には、推定部３２は、画像照合部３０によって算出された照合結果に基づいて、上記式（３）によって得られた相関画像の絶対値が最大となる位置（ｘ，ｙ）を求め、当該位置を、測位装置１４によって計測された自車両の位置のずれ量とする。なお、推定部３２は、参考文献４（青木孝文他，「位相限定相関法に基づく高精度マシンビジョン −ピクセル分解能の壁を超える画像センシング技術を目指して」、IEICE Fundamentals Review、vol. 1 ,no. 1、p.30-40、2007.）に記載の手法により、サブピクセル単位の位置のずれ量を推定することもできる。
また、推定部３２は、必要に応じて路面画像の解像度を落とし（１／４に縮小し１ｐｉｘｅｌ＝２０ｃｍ）した上で、サブピクセル精度の位置ずれ計算を実施することも、計算量削減の上で有効である。
また、推定部３２は、推定された自車両の位置のずれ量と、測位装置１４によって計測された自車両の位置情報とに基づいて、自車両の位置を推定する。
【００４９】
出力装置４０は、推定部３２によって推定された自車両の位置を出力する。
【００５０】
＜第１の実施の形態に係る車両位置推定装置１０の作用＞
次に、本発明の実施の形態に係る車両位置推定装置１０の作用について説明する。まず、撮像装置１２によって、自車両前方の撮像が開始されると、コンピュータ１６において、図７に示す車両位置推定処理ルーチンが繰り返し実行される。
【００５１】
ステップＳ１００において、センサ情報取得部１８によって、撮像装置１２によって撮像された左右の各画像と、測位装置１４によって計測された自車両の位置情報と、車速センサ１５によって計測された自車両の速度とを取得する。
【００５２】
ステップＳ１０２において、路面情報抽出部２０によって、上記ステップＳ１００で取得された画像を自車両が走行する路面に投影した路面画像を生成する。
【００５３】
ステップＳ１０４において、３次元情報抽出部２２によって、上記ステップＳ１００で取得された左右の画像から、周辺位置の各々の３次元情報を抽出する。
【００５４】
ステップＳ１０６において、環境画像生成部２４によって、上記ステップＳ１０４で抽出された周辺位置の各々の３次元情報を、上記ステップＳ１０２で生成された路面画像における、周辺位置に対応する位置に付与した、環境画像を生成する。
【００５５】
そして、ステップＳ１０８において、記憶画像取得部２８によって、上記ステップＳ１００で取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得する。
【００５６】
次に、ステップＳ１１０において、画像照合部３０によって、上記ステップＳ１０６で生成された環境画像と、上記ステップＳ１０８で取得された記憶画像との各々に対してフーリエ変換を行う。
【００５７】
ステップＳ１１２において、画像照合部３０によって、上記ステップＳ１１０で得られた変換結果に基づいて、上記式（３）に従って、環境画像の周波数成分と記憶画像の周波数成分との相関を計算し、相関画像を生成する。
【００５８】
ステップＳ１１４において、画像照合部３０によって、上記ステップＳ１１２で生成された相関画像を逆フーリエ変換する。
【００５９】
ステップＳ１１６において、推定部３２によって、上記ステップＳ１１４で得られた照合結果に基づいて、相関画像の絶対値が最大となる位置（ｘ，ｙ）を求め、当該位置を、測位装置１４によって計測された自車両の位置のずれ量として推定する。
【００６０】
ステップＳ１１８において、推定部３２によって、上記ステップＳ１１６で推定された自車両の位置のずれ量と、測位装置１４によって計測された自車両の位置情報とに基づいて、自車両の位置を推定する。
【００６１】
ステップＳ１２０において、上記ステップＳ１１８で推定された自車両の位置を結果として出力して、車両位置推定処理ルーチンを終了する。
【００６２】
以上説明したように、第１の実施の形態の車両位置推定装置によれば、車両前方の左右の画像から抽出された周辺位置の各々の３次元情報を、生成された路面画像における周辺位置に対応する位置に付与した環境画像を生成し、自車両の位置情報に基づいて、データベースから、自車両の位置情報に対応する記憶画像を取得し、生成された環境画像と、取得された記憶画像とを照合し、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる。
【００６３】
また、自車両の位置を推定する際に、路面情報のみを手がかりとしてマップマッチングできない環境であっても、車両の位置の補正が可能となる。
【００６４】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００６５】
第２の実施の形態では、センサ情報取得部１８によって取得された画像に基づいて、自車両の周辺の立体物を検出し、路面上における立体物の位置及び高さを表す疑似画像を生成し、生成された路面画像に疑似画像を付与することによって環境画像を生成する点が、第１の実施の形態と異なっている。
【００６６】
＜第２の実施の形態に係る車両位置推定装置２１０の構成＞
図８に示すように、第２の実施の形態に係る車両位置推定装置２１０のコンピュータ２１６は、ＣＰＵと、ＲＡＭと、後述する車両位置推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部１８と、路面情報抽出部２０と、立体物検出部２２２と、疑似画像生成部２２３と、環境画像生成部２２４と、データベース２６と、記憶画像取得部２２８と、画像照合部３０と、推定部３２とを含んだ構成で表すことができる。
【００６７】
立体物検出部２２２は、センサ情報取得部１８によって取得された左右の画像の各々から、自車両の周辺の立体物を検出する。第１の実施の形態の３次元情報抽出部２２によって抽出された３次元情報抽出は、グリッドによる物標の記述方法であるが、第２の実施の形態では、明示的に立体物を検出する。
【００６８】
具体的には、立体物検出部２２２は、センサ情報取得部１８によって取得された左右の画像の各々からハフ変換によりエッジ線を抽出し、抽出されたエッジ線から、路面に垂直なエッジ線分を抽出することで、電柱や柱状物体等の立体物を構成するエッジ線を抽出する。そして、立体物検出部２２２は、左右の画像の各々から抽出されたエッジ線の視差から上記式（２）により自車両と立体物との相対位置を求め、グリッド上の一点に投影する。なお、エッジ線分の線分単位の視差を求めるには、線分上の視差の中央値を用いることが有効である。抽出されたエッジ線上端の点の高さを記録することで、柱状物体等の立体物の特徴がグリッド上に表現される。
【００６９】
疑似画像生成部２２３は、立体物検出部２２２によって検出された立体物に基づいて、路面上における当該立体物の位置及び高さを表す疑似画像を、自車両の周辺の３次元情報として生成する。立体物の情報は、画像形式に変換され、路面画像と同形式で保持される。また、環境画像と記憶画像との照合処理の際に、記憶画像に対しても同様の処理で疑似画像が生成される。
疑似画像生成部２２３は、立体物のうち柱状物体に対しては、「その根元位置を中心とする円」などの簡単な図形によってデフォルメして疑似画像に埋め込むことができる。また、疑似画像生成部２２３は、立体物のうち他の物体に対しては、ガードレール又は電線等を線分形式で画像中に描画したり、特徴点又はコーナー点を円形式で画像中に描画したり、標識又は看板情報を文字又は記号として疑似画像中に描画することもできる。
【００７０】
環境画像生成部２２４は、路面情報抽出部２０によって生成された路面画像に、疑似画像生成部２２３によって生成された疑似画像を付与することによって、環境画像を生成する。図９に、路面画像と疑似画像とから環境画像を生成する処理を説明するための図を示す。図９に示されるように、環境画像生成部２２４は、路面情報抽出部２０によって生成された路面画像を環境画像の実数成分とし、疑似画像生成部２２３によって生成された疑似画像を環境画像の虚数成分とした、複素数形式の環境画像を生成する。上記図９（Ａ）及び（Ｃ）に示されるように、前方の画像中の柱状物体は「その根元位置を中心とする円」として疑似画像中で表され、当該疑似画像が虚数成分として埋め込まれている。また、上記図９（Ｂ）に示されるように、路面情報抽出部２０によって生成された路面画像が、環境画像の実数成分として埋め込まれている。
【００７１】
記憶画像取得部２２８は、センサ情報取得部１８によって取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得する。
記憶画像取得部２２８は、データベース２６から、例えばセンサ情報取得部１８によって取得された自車両の位置情報を中心とした正方形の領域を、自車両の位置情報に対応する記憶画像として取得する。次に記憶画像取得部２２８は、記憶画像に予め付与された３次元情報に基づいて、疑似画像生成部２２３と同様に、疑似画像を生成する。そして、記憶画像取得部２２８は、路面画像を記憶画像の実数成分とし、路面画像中の各点の疑似画像を記憶画像の虚数成分とした、複素数形式の画像を記憶画像として取得する。
【００７２】
なお、第２の実施の形態に係る車両位置推定装置の他の構成については、第１の実施の形態と同様であるため、説明を省略する。
【００７３】
＜第２の実施の形態に係る車両位置推定装置２１０の作用＞
次に、第２の実施の形態に係る車両位置推定装置２１０の作用について説明する。まず、撮像装置１２によって、自車両前方の撮像が開始されると、コンピュータ２１６において、図１０に示す車両位置推定処理ルーチンが繰り返し実行される。
【００７４】
ステップＳ２０４において、立体物検出部２２２によって、ステップＳ１００で取得された左右の画像の各々から、自車両の周辺の立体物を検出する。
【００７５】
ステップＳ２０５において、疑似画像生成部２２３によって、上記ステップＳ２０４で検出された立体物に基づいて、路面上における当該立体物の位置及び高さを表す疑似画像を、自車両の周辺の３次元情報として生成する。
【００７６】
ステップＳ２０６において、環境画像生成部２２４によって、ステップＳ１０２で生成された路面画像に、上記ステップＳ２０５で生成された疑似画像を付与することによって、環境画像を生成する。
【００７７】
ステップＳ２０８において、記憶画像取得部２２８によって、ステップＳ１００で取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得し、記憶画像に予め付与された３次元情報に基づいて、疑似画像を生成する。そして、記憶画像取得部２２８によって、路面画像を記憶画像の実数成分とし、路面画像中の各点の疑似画像を記憶画像の虚数成分とした、複素数形式の画像を記憶画像として取得する。
【００７８】
なお、第２の実施の形態に係る車両位置推定装置の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００７９】
以上説明したように、第２の実施の形態の車両位置推定装置によれば、車両前方の左右の画像の各々から、自車両の周辺の立体物を検出し、検出された立体物に基づいて、路面上における当該立体物の位置及び高さを表す疑似画像を自車両の周辺の３次元情報として生成し、生成された路面画像に疑似画像を付与することによって環境画像を生成し、生成された環境画像と取得された記憶画像とを照合し、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる。
【００８０】
また、路面情報を用いて自車両の位置の補正を行うと、路面情報がレーンマークなど進行方向に平行な直線成分に偏っているため、前後方向の位置の補正が困難な場合が多いが、電柱等の立体物を検出し、デフォルメして存在を強調することで、車両の前後の位置ずれ補正に必要な情報を意図的に増幅させ、自車両の位置合わせを高精度化することができる。なお、車両の前後の位置ずれ補正に必要な情報を増幅させずに位置情報（点）のみを利用すると、路面情報に比べて特徴量が少ないため、車両の前後の位置ずれ補正に必要な情報を増幅させることが有効である。
【００８１】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、第１又は第２の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８２】
第３の実施の形態では、自車両の周辺位置の各々の３次元情報を含む周辺情報を取得するレーザレーダを更に備え、撮像装置が単一カメラである点が、第１又は第２の実施の形態と異なっている。
【００８３】
＜第３の実施の形態に係る車両位置推定装置３１０の構成＞
図１１に示すように、本発明の第３の実施の形態に係る車両位置推定装置３１０は、道路領域を含む自車両後方を撮像して画像を出力する撮像装置３１２と、自車両の位置情報を計測する測位装置１４と、自車両の車速を計測する車速センサ１５と、自車両の周辺位置の各々の３次元情報を含む周辺情報を取得するレーザレーダ３１５と、自車両の撮像装置１２から得られる画像と測位装置１４から得られる位置情報とレーザレーダ３１５とから得られる周辺情報とに基づいて、自車両の位置を推定する処理を実行するコンピュータ３１６と、コンピュータ３１６によって推定された自車両の位置情報を出力する出力装置４０とを含んで構成されている。
【００８４】
撮像装置３１２は、車両に搭載され、道路領域を含む自車両後方を逐次撮像して、自車両の後方画像を出力する。第３の実施の形態では、撮像装置３１２は、単一のカメラを用いて構成される場合を例に説明する。撮像装置３１２は、例えば車両後方のバックモニタ用カメラを用いて構成され、撮像された画像を出力する。撮像装置３１２は、自車両後方を撮像し、画像の画像信号を生成する２つの撮像部（図示省略）と、２つの撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。
【００８５】
レーザレーダ３１５は、車両に搭載され、自車両の周辺位置の各々の３次元情報を含む周辺情報を取得する。なお、レーザレーダ３１５は、撮像装置３１２と同様に、車両の後方に設置される。レーザレーダ３１５は、投光部と受光部とを含んで構成されていて、投光部より発射されたレーザ光が対象物に反射されて受光部で検知するまでのＴＯＦ（Time of Flight）を計測することにより測距を行い、自車両の周辺位置の各々の３次元情報を含む周辺情報を取得する。
【００８６】
コンピュータ３１６は、ＣＰＵと、ＲＡＭと、車両位置推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ３１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部３１８と、路面情報抽出部３２０と、３次元情報抽出部３２２と、環境画像生成部２４と、データベース２６と、記憶画像取得部３２８と、画像照合部３０と、推定部３２とを含んだ構成で表すことができる。なお、センサ情報取得部３１８は情報取得手段の一例である。
【００８７】
センサ情報取得部３１８は、撮像装置３１２によって撮像された後方画像を取得する。また、センサ情報取得部３１８は、測位装置１４によって計測された自車両の位置情報と、車速センサ１５によって計測された自車両の速度を取得する。また、センサ情報取得部３１８は、レーザレーダ３１５によって取得された自車両の周辺位置の各々の３次元情報を含む周辺情報を取得する。
【００８８】
路面情報抽出部３２０は、センサ情報取得部３１８によって取得された画像を自車両が走行する路面に投影した路面画像を生成する。具体的には、路面情報抽出部３２０は、第１の実施の形態と同様に、上記図２に示されるように、撮像装置３１２によって撮像された画像を座標変換し、路面画像を生成する。
【００８９】
３次元情報抽出部３２２は、センサ情報取得部３１８によって取得された周辺情報に基づいて、第１の実施の形態と同様に、レーザレーダ３１５によって取得された自車両の周辺位置の各々の３次元情報を、グリッド形式で記録する。
【００９０】
記憶画像取得部３２８は、センサ情報取得部３１８によって取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得する。ここで、路面情報抽出部３２０によって生成された路面画像、及び３次元情報抽出部３２２によって取得された３次元情報は車両後方に対する情報であるため、記憶画像取得部３２８は、データベース２６から自車両の位置の後方の領域を、自車両の位置情報に対応する記憶画像として取得する。
【００９１】
なお、第３の実施の形態に係る車両位置推定装置の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９２】
以上説明したように、第３の実施の形態の車両位置推定装置によれば、レーザレーダにより取得された車両の周辺情報に含まれる周辺位置の各々の３次元情報を、生成された路面画像における周辺位置に対応する位置に付与した環境画像を生成し、自車両の位置情報に基づいて、データベースから、自車両の位置情報に対応する記憶画像を取得し、生成された環境画像と、取得された記憶画像とを照合し、得られた照合結果に基づいて、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる。
【００９３】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、第１〜第３の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００９４】
第４の実施の形態では、車両位置取得部４２９を更に備える点が、第１〜第３の実施の形態と異なっている。
【００９５】
＜第４の実施の形態に係る車両位置推定装置４１０の構成＞
図１２に示すように、本発明の第４の実施の形態に係る車両位置推定装置４１０のコンピュータ４１６は、ＣＰＵと、ＲＡＭと、車両位置推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭと、これらを接続するバスとを含んで構成されている。このコンピュータ４１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、センサ情報取得部１８と、路面情報抽出部２０と、３次元情報抽出部２２と、環境画像生成部２４と、データベース２６と、記憶画像取得部２８と、画像照合部３０と、推定部３２と、車両位置取得部４２９とを含んだ構成で表すことができる。
【００９６】
車両位置取得部４２９は、センサ情報取得部１８によって取得された自車両の位置情報と自車両の車速とに基づいて、自車両の位置を推定し、推定結果を記憶画像取得部２８へ出力する。車両位置取得部４２９は、例えば、車速パルスを用いた軌跡の高精度化技術（参考文献５（J. Meguro，Y. Kojima，N. Suzuki，and E. Teramoto，“Automotive positioning based on bundle adjustment of GPS raw data and vehicle trajectory”，Proc. Int. Tech. Meet. of the Satellite Division of the Institute of Navigation，p．1005−1010，Portland，OR，September 2011.）を参照。）を用いることができる。
【００９７】
例えば、車両位置取得部４２９は、センサ情報取得部１８によって取得された自車両の位置情報と自車両の車速とに基づいて、位置情報に含まれるＧＰＳ衛星の軌道情報及び自車両の速度から自車両の軌跡を推定し、推定された自車両の軌跡に基づいて、自車両の位置を推定する。
【００９８】
なお、第４の実施の形態に係る車両位置推定装置の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【００９９】
以上説明したように、第４の実施の形態の車両位置推定装置によれば、車両位置取得部４２９によって自車両の位置を推定した後に、自車両の位置情報のずれ量を推定することにより、自車両の位置を精度よく推定することができる。
【０１００】
また、上記第２の実施の形態では、記憶画像取得部２２８は、記憶画像に予め付与された３次元情報に基づいて、疑似画像生成部２２３と同様に、疑似画像を生成する場合を例に説明したが、これに限定されるものではない。例えば、データベース２６に車両の位置情報の各々に対応する路面画像であって、各位置に疑似画像が付与された路面画像である記憶画像が予め格納され、記憶画像取得部２２８は、センサ情報取得部１８によって取得された自車両の位置情報に基づいて、データベース２６から、自車両の位置情報に対応する記憶画像を取得し、路面画像を記憶画像の実数成分とし、路面画像中の各点の疑似画像を記憶画像の虚数成分とした、複素数形式の画像を記憶画像として取得してもよい。
【０１０１】
また、上記第３の実施の形態では、単一カメラから得られた画像と、レーザレーダから得られた周辺情報とに基づいて、環境画像を生成する場合を例に説明したが、これに限定されるものではなく、レーザレーダから得られた周辺情報のみに基づいて、環境画像を生成しても良い。
【０１０２】
また、上記第３の実施の形態では、撮像装置３１２とレーザレーダ３１５とが自車両の後方に設置されている場合を例に説明したが、これに限定されるものではなく、撮像装置３１２とレーザレーダ３１５とが自車両の前方に設置されていてもよい。
【０１０３】
また、上記の実施の形態では、生成された路面画像を環境画像の実数成分とし、路面画像中の各点の高さ（又は疑似画像）を環境画像の虚数成分とした複素数形式の環境画像を生成し、記憶画像に関しては、路面画像を記憶画像の実数成分とし、路面画像中の各点の高さ（又は疑似画像）を記憶画像の虚数成分とした複素数形式の記憶画像を取得する場合を例に説明したが、これに限定されるものではない。例えば、生成された路面画像を環境画像の虚数成分とし、路面画像中の各点の高さ（又は疑似画像）を環境画像の実数成分とした複素数形式の環境画像を生成し、記憶画像に関しては、路面画像を記憶画像の虚数成分とし、路面画像中の各点の高さ（又は疑似画像）を記憶画像の実数成分とした複素数形式の記憶画像を取得してもよい。
【０１０４】
本発明のプログラムは、記憶媒体に格納して提供するようにしてもよい。
【符号の説明】
【０１０５】
１０，２１０，３１０，４１０  車両位置推定装置
１２，３１２  撮像装置
１４   測位装置
１５   車速センサ
１６，２１６，３１６，４１６  コンピュータ
１８，３１８  センサ情報取得部
２０，３２０  路面情報抽出部
２２，３２２  ３次元情報抽出部
２４，２２４  環境画像生成部
２６   データベース
２８，２２８  記憶画像取得部
３０   画像照合部
３２   推定部
４０   出力装置
２２２ 立体物検出部
２２３ 疑似画像生成部
３１５ レーザレーダ
４２９ 車両位置取得部
【図１】
2016099172.tif 000006
【図７】
2016099172.tif 000007
【図８】
2016099172.tif 000008
【図１０】
2016099172.tif 000009
【図１１】
2016099172.tif 000010
【図１２】
2016099172.tif 000011
【図２】
2016099172.tif 000012
【図３】
2016099172.tif 000013
【図４】
2016099172.tif 000014
【図５】
2016099172.tif 000015
【図６】
2016099172.tif 000016
【図９】
2016099172.tif 000017