(57)【要約】【課題】移動体に搭載されるカメラで撮像した画像に基づき移動体の位置を推定する場合に、移動体周辺の環境条件の変化による位置推定精度の低下を抑制することが可能な位置推定装置等を提供すること。【解決手段】周辺を撮像するカメラを備える移動体の位置を推定する位置推定装置であって、所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報と、該複数の画像情報のそれぞれに対応づけられ、該複数の画像情報以外の情報に基づき取得された複数の第１位置情報とを含む複数の地図情報であって、複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を記憶する記憶部と、カメラで撮像された画像を取得する画像取得部と、画像取得部が取得した画像と、複数の地図情報とに基づき、移動体の位置を推定する位置推定部と、を備える。【選択図】図６
2018028489.tif 000002
【特許請求の範囲】
【請求項１】
周辺を撮像するカメラを備える移動体の位置を推定する位置推定装置であって、
所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報と、該複数の画像情報以外の情報に基づき取得された、前記複数の地点に対応する複数の第１位置情報とを含む複数の地図情報であって、前記複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を記憶する記憶部と、
前記カメラで撮像された画像を取得する画像取得部と、
前記画像取得部が取得した画像と、前記複数の地図情報とに基づき、前記移動体の位置を推定する位置推定部と、を備える、
位置推定装置。
【請求項２】
前記位置推定部は、前記画像取得部が取得した画像と、前記複数の地図情報のそれぞれに含まれる前記複数の画像情報とに基づき、前記移動体の位置を算出すると共に、前記複数の地図情報のそれぞれに含まれる前記複数の第１位置情報に基づき、算出された前記移動体の位置を補正することにより、前記移動体の位置を推定する、
請求項１に記載の位置推定装置。
【請求項３】
前記複数の画像情報は、前記複数の画像から抽出された複数の特徴点の位置情報と、前記複数の画像のそれぞれが撮像された位置に対応する複数の第２位置情報であって、前記複数の画像のそれぞれに対応する前記複数の特徴点の位置情報に基づき取得される複数の第２位置情報とを含む３次元地図データであり、
前記位置推定部は、前記画像取得部が取得した画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置情報と、前記３次元地図データに含まれる複数の特徴点の位置情報とに基づき、前記移動体の位置を算出する共に、前記第２位置情報と前記第１位置情報との対応関係に基づき、算出した前記移動体の位置を補正することにより、前記移動体の位置を推定する、
請求項２に記載の位置推定装置。
【請求項４】
前記移動体に搭載される、
請求項１乃至３の何れか一項に記載の位置推定装置。
【請求項５】
前記移動体から送信される前記カメラが撮像した画像を受信可能な態様で、前記移動体の遠隔に配置される、
請求項１乃至３の何れか一項に記載の位置推定装置。
【請求項６】
所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報と、該複数の画像情報以外の情報に基づき取得された、前記複数の地点に対応する複数の第１位置情報とを含む複数の地図情報であって、前記複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を記憶する記憶部と、画像取得部と、位置推定部とを備える位置推定装置により実行され、周辺を撮像するカメラを備える移動体の位置を推定する位置推定方法であって、
前記画像取得部が、前記カメラで撮像された画像を取得する画像取得ステップと、
前記位置推定部が、前記画像取得ステップで取得される画像と、前記複数の地図情報とに基づき、前記移動体の位置を推定する位置推定ステップと、を含む、
位置推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体の位置を推定する位置推定装置等に関する。
【背景技術】
【０００２】
車両等の移動体に搭載されたカメラが撮像する画像に基づき、当該移動体の位置を推定する技術が知られている（例えば、特許文献１）。
【０００３】
特許文献１では、自車両に取り付けられたカメラの撮像画像と、地図データに含まれる地図画像とに基づき、自車両の位置を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１４１２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、同じ場所で撮像された画像であっても、環境条件（例えば、昼夜の別を含む時間帯の条件や晴、雨、雪等の別を含む天候条件等）に依って、画像に映っている物体の見え方が全く異なってしまう可能性がある。そのため、環境条件に依っては、移動体の位置を適切に推定できず、位置推定精度が低下する可能性がある。
【０００６】
そこで、上記課題に鑑み、移動体に搭載されるカメラで撮像した画像に基づき移動体の位置を推定する場合に、移動体周辺の環境条件の変化による位置推定精度の低下を抑制することが可能な位置推定装置等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の一実施形態では、
周辺を撮像するカメラを備える移動体の位置を推定する位置推定装置であって、
所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報と、該複数の画像情報以外の情報に基づき取得された、前記複数の地点に対応する複数の第１位置情報とを含む複数の地図情報であって、前記複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を記憶する記憶部と、
前記カメラで撮像された画像を取得する画像取得部と、
前記画像取得部が取得した画像と、前記複数の地図情報とに基づき、前記移動体の位置を推定する位置推定部と、を備える、
位置推定装置が提供される。
【０００８】
本発明の一実施形態によれば、複数の地図情報のそれぞれに含まれる複数の画像情報には、複数の画像情報以外の情報に基づき取得された第１位置情報、例えば、ＧＮＳＳ（Global Navigation Satellite System：全地球衛星航法システム）／ＩＮＳ（Inertial Navigation System：慣性航法システム）複合航法やＬＩＤＡＲ（Light Detection and Ranging）の距離画像等に基づき取得される高精度な位置情報を対応付けることができる。従って、移動体のカメラで取得される画像と、所定範囲に亘る複数の地点で撮像された複数の画像情報とに基づき、移動体の位置を推定する際に、複数の画像情報以外の情報に基づき生成される第１位置情報として、画像情報から取得可能な位置情報よりも精度の高い位置情報を利用することができる。そのため、位置推定装置は、移動体のカメラで取得される画像と、複数の地図情報とに基づき、比較的高精度に移動体の位置を推定することができる。また、位置推定装置は、複数の画像情報に対応する複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を有している。従って、例えば、時間帯の条件（朝、昼、夜等）、天候の条件（晴れ、曇り、雨、雪、霧等）のように、移動体のカメラで撮像される画像の見え方が大きく異なるような環境条件の変化があっても、複数の地図情報の中に現在の移動体の周辺の環境条件に適合する地図情報が含まれる可能性が高くなる。即ち、移動体のカメラで撮像される画像の見え方が大きく異なるような環境条件の変化に対して、複数の地図情報の何れかの複数の画像情報を用いて、移動体の位置を推定できる可能性が高くなる。そのため、移動体周辺の環境条件の変化による位置推定精度の低下を抑制することができる。
【０００９】
また、上述の実施形態において、
前記位置推定部は、前記画像取得部が取得した画像と、前記複数の地図情報のそれぞれに含まれる前記複数の画像情報とに基づき、前記移動体の位置を算出すると共に、前記複数の地図情報のそれぞれに含まれる前記複数の第１位置情報に基づき、算出された前記移動体の位置を補正することにより、前記移動体の位置を推定してもよい。
【００１０】
本実施形態によれば、位置推定装置は、移動体のカメラで取得される画像と、複数の画像情報との比較等に基づき、移動体の位置を算出し、複数の画像情報に対応付けられた第１位置情報に基づき、算出した移動体の位置を補正することにより、具体的に、移動体の位置を比較的高精度に推定することができる。
【００１１】
また、上述の実施形態において、
前記複数の画像情報は、前記複数の画像から抽出された複数の特徴点の位置情報と、前記複数の画像のそれぞれが撮像された位置に対応する複数の第２位置情報であって、前記複数の画像のそれぞれに対応する前記複数の特徴点の位置情報に基づき取得される複数の第２位置情報とを含む３次元地図データであり、
前記位置推定部は、前記画像取得部が取得した画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置情報と、前記３次元地図データに含まれる複数の特徴点の位置情報とに基づき、前記移動体の位置を算出する共に、前記第２位置情報と前記第１位置情報との対応関係に基づき、算出した前記移動体の位置を補正することにより、前記移動体の位置を推定してもよい。
【００１２】
本実施形態によれば、位置推定装置は、例えば、Ｖｉｓｕａｌ  ＳＬＡＭ（Simultaneous Localization and Mapping）等を用いて生成された３次元地図データに基づき、位置を算出することができる。そして、位置推定装置は、複数の画像情報に含まれる第２位置情報と複数の画像情報以外の情報に基づく第１位置情報との対応関係に基づき、移動体の位置を補正することにより、具体的に、移動体の位置を比較的高精度に推定することができる。
【００１３】
また、上述の実施形態において、
位置推定装置は、前記移動体に搭載されてもよい。
【００１４】
本実施形態によれば、位置推定装置は、該位置推定装置が搭載される移動体の位置を推定することができる。
【００１５】
また、上述の実施形態において、
位置推定装置は、前記移動体から送信される前記カメラが撮像した画像を受信可能な態様で、前記移動体の遠隔に配置されてもよい。
【００１６】
本実施形態によれば、位置推定装置は、遠隔の移動体の位置を推定することができる。
【００１７】
また、本発明の他の実施形態では、
所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報と、該複数の画像情報以外の情報に基づき取得された、前記複数の地点に対応する複数の第１位置情報とを含む複数の地図情報であって、前記複数の画像が撮像されたときの環境条件が、それぞれで異なる複数の地図情報を記憶する記憶部と、画像取得部と、位置推定部とを備える位置推定装置により実行され、周辺を撮像するカメラを備える移動体の位置を推定する位置推定方法であって、
前記画像取得部が、前記カメラで撮像された画像を取得する画像取得ステップと、
前記位置推定部が、前記画像取得ステップで取得される画像と、前記複数の地図情報とに基づき、前記移動体の位置を推定する位置推定ステップと、を含む、
位置推定方法が提供される。
【発明の効果】
【００１８】
本実施の形態によれば、移動体に搭載されるカメラで撮像した画像に基づき移動体の位置を推定する場合に、移動体周辺の環境条件の変化による位置推定精度の低下を抑制することが可能な位置推定装置等を提供することができる。
【図面の簡単な説明】
【００１９】
【図１】本実施形態に係る位置推定装置の構成の一例を示すブロック図である。
【図２】ＥＣＵの機能ブロック図である。
【図３】本実施形態に係る地図情報生成装置の構成の一例を示すブロック図である。
【図４】ＥＣＵの機能ブロック図である。
【図５】Ｖｉｓｕａｌ  ＳＬＡＭによる３次元地図情報（ＶＳ地図情報）の一例を示す図である。
【図６】本実施形態に係る位置推定装置による位置推定処理の一例を概略的に示すフローチャートである。
【図７】本実施形態に係る位置推定装置による位置推定処理の一例を説明する概念図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して発明を実施するための形態について説明する。
【００２１】
まず、図１、図２を参照して、本実施形態に係る位置推定装置１の構成の概要について説明する。
【００２２】
図１は、本実施形態に係る位置推定装置１の構成の一例を概略的に示すブロック図である。
【００２３】
本実施形態に係る位置推定装置１は、移動体の一例である車両Ｖ１に搭載され、車両Ｖ１（自車）の位置を推定する。位置推定装置１は、カメラ１０、ＥＣＵ（Electronic Control Unit）２０を備える。
【００２４】
尚、本実施形態に係る位置推定装置１は、車両Ｖ１以外の移動体、例えば、自律移動式のロボット等に搭載されてもよい。
【００２５】
カメラ１０は、車両Ｖ１の周辺、例えば、車両Ｖ１の前方を撮像する撮像手段である。カメラ１０は、例えば、車両Ｖ１のイグニッションオン（ＩＧ−ＯＮ）後の初期処理完了からイグニッションオフ（ＩＧ−ＯＦＦ）までの期間で、逐次（例えば、約１／３０秒毎に）車両Ｖ１の前方の所定範囲（具体的には、上下左右の所定の角度範囲）を撮像する。カメラ１０は、１対１の通信線やＣＡＮ（Controller Area Network）等の車載ネットワークを通じてＥＣＵ２０と通信可能に接続され、撮像画像をＥＣＵ２０に出力する。以下、カメラ１０に対するカメラキャリブレーションは、既に完了しており、カメラ１０の内部パラメータや基準となる座標系に対する位置・姿勢の関係に関する情報は、既に、取得済である前提で説明を行う。即ち、ＥＣＵ２０は、カメラ１０の撮像画像に含まれる各物体上の点とカメラ１０（車両Ｖ１）との距離等の位置関係を算出することができる。
【００２６】
ＥＣＵ２０は、カメラ１０から入力される撮像画像に基づき、車両Ｖ１（自車）の位置を推定する電子制御ユニットである。ＥＣＵ２０は、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成され、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより各種制御処理を実現することができる。以下、図２を参照して、ＥＣＵ２０の具体的な機能構成について説明する。
【００２７】
図２は、ＥＣＵ２０の構成の一例を概略的に示す機能ブロック図である。
【００２８】
ＥＣＵ２０は、ＲＯＭに格納される１つ以上のプログラムをＣＰＵ上で実行することにより実現される機能部として、画像取得部２１、位置推定部２２を含む。また、ＥＣＵ２０は、ＲＯＭ等の内部メモリに予め規定される記憶領域として、記憶部２５を含む。
【００２９】
画像取得部２１は、カメラ１０からＥＣＵ２０に逐次入力される撮像画像をＲＡＭ内の入力バッファから取得する。
【００３０】
位置推定部２２は、画像取得部２１が取得するカメラ１０の撮像画像と、記憶部２５に記憶される複合地図情報２５１とに基づき、リアルタイムに車両Ｖ１の位置（具体的には、カメラ１０により対象となる撮像画像が撮像された時点の車両Ｖ１の位置）を推定する。位置推定部２２は、ＶＳ部２２１、近傍点探索部２２２、高精度位置情報検索部２２３、相対位置算出部２２４、補正パラメータ算出部２２５、相対位置補正部２２６、自車位置算出部２２７を含む。各部２２１〜２２７の詳細については、後述する。
【００３１】
記憶部２５には、対象となる所定範囲（以下、対象範囲と称する）の複合地図情報２５１が記憶されている。複合地図情報２５１は、後述するＶｉｓｕａｌ  ＳＬＡＭアルゴリズムを用いて生成されるＶＳ地図情報２５１Ａと、ＶＳ地図情報２５１Ａに対応する高精度位置情報２５１Ｂを含む。
【００３２】
ＶＳ地図情報２５１Ａは、後述するＶｉｓｕａｌ  ＳＬＡＭアルゴリズムのプログラムで読み込み可能な３次元地図情報であり、具体的には、対象範囲に亘る複数の地点で撮像された複数の撮像画像に対応する複数の画像情報により表される３次元地図情報である。本実施形態では、対象範囲に亘り異なる環境条件で撮像された撮像画像に基づき生成された複数（本例では、２以上であるＮ個）のＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎを含む複数（Ｎ個）の複合地図情報２５１−１〜２５１−Ｎが記憶部２５に記憶されている。
【００３３】
尚、環境条件には、同じ対象（建物、壁、標識、ガードレール等の地物）を撮像する場合であってもカメラ１０の撮像画像の見え方に差異が生じるような任意の条件が含まれる。例えば、環境条件には、時間帯の条件（例えば、昼と夜の別等）、季節の条件（例えば、夏と冬の別等）、天候の条件（例えば、晴れ、曇り、雨、雪、霧等の別）が含まれる。また、例えば、環境条件には、車道や歩道の混雑具合の条件等が含まれる。車道や歩道が車両や歩行者等で混雑している場合、車両や歩行者によって、カメラ１０から建物等の地物の一部が見えない状態になるからである。
【００３４】
高精度位置情報２５１Ｂは、ＶＳ地図情報２５１Ａに含まれる複数の画像情報に対応する複数の撮像画像が撮像された各地点の位置情報であって、複数の画像情報以外の情報に基づき取得される位置情報（第１位置情報）を含む。高精度位置情報２５１Ｂに含まれる各位置情報は、比較的高い精度（高精度）の位置情報であり、後述の如く、例えば、ＧＮＳＳ／ＩＮＳ複合航法に基づく位置情報である。また、高精度位置情報２５１Ｂに含まれる各位置情報は、ＬＩＤＡＲ等の高精度のＴＯＦ（Time Of Flight）センサの距離画像に基づき生成される位置情報であってもよい。
【００３５】
次に、図３、図４を参照して、車両Ｖ１の位置を推定する際の前提となる複合地図情報２５１−１〜２５１−Ｎ（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ、高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎ）を生成する処理について説明をする。
【００３６】
図３は、本実施形態に係る地図情報生成装置１００の構成の一例を概略的に示すブロック図である。本実施形態に係る地図情報生成装置１００は、車両Ｖ２に搭載され、カメラ１１０、ＧＰＳセンサ１１１、車輪速センサ１１２、加速度センサ１１３、ジャイロセンサ１１４、ＥＣＵ１２０を備える。
【００３７】
尚、車両Ｖ１と車両Ｖ２は、同じであってもよいし、異なっていてもよい。即ち、位置推定装置１は、他車に搭載される地図情報生成装置１００で生成される複合地図情報２５１を用いて、自車の位置を推定してもよいし、自車に搭載される地図情報生成装置１００で生成された複合地図情報２５１を用いて、自車の位置を推定してもよい。
【００３８】
カメラ１１０は、カメラ１０と同様、車両Ｖ２の周辺、例えば、車両Ｖ２の前方を撮像する撮像手段である。カメラ１１０は、例えば、車両Ｖ２のＩＧ−ＯＮ後の初期処理終了からＩＧ−ＯＦＦまでの期間で、逐次、車両Ｖ２の前方の所定範囲を撮像する。カメラ１１０は、１対１の通信線やＣＡＮ等の車載ネットワークを通じてＥＣＵ１２０と通信可能に接続され、撮像画像をＥＣＵ１２０に出力する。以下、カメラ１０と同様、カメラ１１０に対するカメラキャリブレーションは、既に完了しており、カメラ１１０の内部パラメータや基準となる座標系に対する位置・姿勢の関係に関する情報は、既に、取得済である前提で説明を行う。即ち、ＥＣＵ１２０は、カメラ１１０の撮像画像に含まれる各物体上の点とカメラ１１０（車両Ｖ２）との距離等の位置関係を算出することができる。
【００３９】
ＧＰＳセンサ１１１は、地球軌道上を周回するＧＰＳ衛星から配信されるＧＰＳ信号を受信し、該ＧＰＳ信号に基づき、車両Ｖ２の位置を測位する（ＧＰＳ測位）。ＧＰＳセンサ１１１は、１対１の通信線やＣＡＮ等の車載ネットワークを通じてＥＣＵ１２０と通信可能に接続され、測位結果（ＧＰＳ位置情報）をＥＣＵ１２０に出力する。
【００４０】
車輪速センサ１１２は、車両Ｖ２の各車輪の回転速度（車輪速）を検出する既知の検出手段である。車輪速センサ１１２は、１対１の通信線やＣＡＮ等の車載ネットワークを通じてＥＣＵ１２０と通信可能に接続され、車輪速に対応する検出信号（車輪速情報）をＥＣＵ１２０に出力する。
【００４１】
加速度センサ１１３は、車両Ｖ２の加速度を検出する既知の検出手段である。加速度センサ１１３は、１対１の通信線やＣＡＮ等の車載ネットワークを通じてＥＣＵ１２０と通信可能に接続され、加速度に対応する検出信号（加速度情報）をＥＣＵ１２０に出力する。
【００４２】
ジャイロセンサ１１４は、車両Ｖ２の角速度（例えば、車両Ｖ２の前後軸、左右軸、上下軸の３軸まわりの角速度）を検出する。ジャイロセンサ１１４は、１対１の通信線やＣＡＮ等の車載ネットワークを通じてＥＣＵ１２０と通信可能に接続され、加速度に対応する検出信号（角速度情報）をＥＣＵ１２０に出力する。
【００４３】
ＥＣＵ１２０は、カメラ１１０、ＧＰＳセンサ１１１、車輪速センサ１１２、加速度センサ１１３、ジャイロセンサ１１４から入力される各情報に基づき、複合地図情報２５１を生成する制御処理を行う電子制御ユニットである。ＥＣＵ１２０は、ＥＣＵ２０と同様、例えば、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を含むマイクロコンピュータを中心に構成され、ＲＯＭに格納される各種プログラムをＣＰＵ上で実行することにより各種制御処理が実現される。以下、図４を参照して、ＥＣＵ１２０の具体的な機能構成について説明する。
【００４４】
図４は、ＥＣＵ１２０の構成の一例を概略的に示す機能ブロック図である。
【００４５】
ＥＣＵ１２０は、ＲＯＭに格納される１つ以上のプログラムを実行することにより実現される機能部として、画像取得部１２１、ＧＰＳ位置情報取得部１２２、車輪速情報取得部１２３、加速度情報取得部１２４、角速度情報取得部１２５、ＶＳ部１２６、スケール補正部１２７、位置情報生成部１２８、を含む。
【００４６】
画像取得部１２１は、カメラ１１０からＥＣＵ１２０に逐次入力される撮像画像をＲＡＭ内の入力バッファから取得する。
【００４７】
ＧＰＳ位置情報取得部１２２は、ＧＰＳセンサ１１１からＥＣＵ１２０に逐次入力されるＧＰＳ位置情報をＲＡＭ内の入力バッファから取得する。
【００４８】
車輪速情報取得部１２３は、車輪速センサ１１２からＥＣＵ１２０に逐次入力される車輪速情報をＲＡＭ内の入力バッファから取得する。
【００４９】
加速度情報取得部１２４は、加速度センサ１１３からＥＣＵ１２０に逐次入力される加速度情報をＲＡＭ内の入力バッファから取得する。
【００５０】
角速度情報取得部１２５は、ジャイロセンサ１１４からＥＣＵ１２０に逐次入力される角速度情報をＲＡＭ内の入力バッファから取得する。
【００５１】
ＶＳ部１２６は、既知のＶｉｓｕａｌ  ＳＬＡＭアルゴリズムを用いて、画像取得部１２１が逐次取得する撮像画像に基づき、車両Ｖ２（カメラ１１０）の位置を推定すると共に、撮像画像に含まれる物体（地物等）の特徴点等を抽出し、抽出した特徴点等の３次元位置を含む３次元地図情報（ＶＳ地図情報２５１Ａ）を生成する。Ｖｉｓｕａｌ  ＳＬＡＭでは、逐次入力される撮像画像から特徴点を抽出すると共に、特徴点のトラッキング処理を行うことにより、車両Ｖ２（カメラ１１０）の直前位置からの移動量、移動方向を推定したり、車両Ｖ２の姿勢（即ち、カメラ１１０の向き）を推定したりすることができる。よって、Ｖｉｓｕａｌ  ＳＬＡＭでは、グローバル座標系、例えば、緯度、経度、標高で表される地図座標系等の初期位置が与えられることにより、逐次入力される撮像画像から車両Ｖ２の位置をリアルタイムに推定することができる。ＶＳ部１２６は、車両Ｖ２が対象範囲を移動する間、画像取得部１２１が逐次取得する撮像画像に基づき、撮像画像が撮像された地点におけるカメラ１１０（車両Ｖ２）の位置を推定すると共に、撮像画像の特徴点の位置を算出する。これにより、ＶＳ部１２６は、対象範囲に亘る複数の地点の撮像画像から抽出された複数の特徴点の位置情報と、各撮像画像が撮像された各地点の位置情報（第２位置情報の一例）、即ち、各撮像画像が撮像されたときの車両Ｖ２（カメラ１１０）の位置情報を含む３次元地図データを生成することができる。
【００５２】
尚、本実施形態におけるＶｉｓｕａｌ  ＳＬＡＭアルゴリズムは、逐次入力される画像に基づき、位置の推定と、３次元地図情報とを生成可能であればよく、例えば、ＯＲＢ（ORiented-Brief）−ＳＬＡＭ、ＬＳＤ−（Large-Scale Direct monocular）−ＳＬＡＭ、ＰＴＡＭ（Parallel Tracking And Mapping）等を任意に適用することができる。
【００５３】
スケール補正部１２７は、車輪速情報取得部１２３が取得する車輪速情報（車両Ｖ２の車速）に基づき、ＶＳ部１２６が生成する３次元地図データのスケール補正を行う。ＶＳ部１２６が生成する３次元地図データは、スケール誤差を含んでいる場合があるからである。スケール補正部１２７は、ＶＳ部１２６が生成する３次元地図データをスケール補正し、ＶＳ地図情報２５１Ａとして記憶部１２９に記憶させる。
【００５４】
ここで、図５は、Ｖｉｓｕａｌ  ＳＬＡＭによる３次元地図データ（ＶＳ地図情報２５１Ａ）の一例を示す図である。具体的には、図５（ａ）は、対象範囲に亘る複数の地点の撮像画像から抽出された特徴点の位置情報で表される対象範囲の３次元地図データの一例であり、図５（ｂ）は、対象範囲に亘る複数の地点の撮像画像が撮像されたときの車両Ｖ２の位置情報を移動軌跡として表す地図データの一例である。
【００５５】
尚、図５（ｂ）では、図示の簡単のため、車両Ｖ２の３次元の位置情報（移動軌跡）のうちの高さ（標高）の情報を省略した２次元地図データが示されている。
【００５６】
図５に示すように、ＶＳ地図情報２５１Ａは、対象範囲に亘る複数の地点の撮像画像から抽出された複数の特徴点の位置情報を表す３次元地図データと、各撮像画像が撮像された各地点の位置情報、即ち、各撮像画像が撮像されたときの車両Ｖ２（カメラ１１０）の各位置情報に対応する地点を時間経過に沿って繋いだ移動軌跡を表す３次元地図データを含む。以下、移動軌跡上における各撮像画像が撮像されたときの車両Ｖ２（カメラ１１０）の各位置をキーフレームと称する場合がある。
【００５７】
図４に戻り、位置情報生成部１２８は、画像取得部１２１により逐次取得される各撮像画像が撮像された各地点に対応する、比較的高精度な位置情報を生成する。例えば、位置情報生成部１２８は、ＧＰＳ位置情報取得部１２２、車輪速情報取得部１２３、加速度情報取得部１２４、角速度情報取得部１２５が取得するＧＰＳ位置情報、車輪速情報、加速度情報、角速度情報取得部に基づき、既知のＧＮＳＳ／ＩＮＳ複合航法による車両Ｖ２（カメラ１１０）の位置情報を生成する。位置情報生成部１２８は、画像取得部１２１により逐次取得される各撮像画像に対応して生成する位置情報を、高精度位置情報２５１Ｂとして記憶部１２９に記憶させる。
【００５８】
尚、位置情報生成部１２８は、ＬＩＤＡＲ等の高精度のＴＯＦセンサの距離画像に基づき、比較的高精度の位置情報を生成してもよい。この場合、位置情報生成部１２８は、比較的高精度な初期位置情報（例えば、多数のＧＰＳ衛星からのＧＰＳ信号を良好に受信可能な状況下におけるＧＰＳ位置情報）をベースにして、ＴＯＦセンサが逐次取得する距離画像に対するトラッキング処理を行うことにより、車両Ｖ２の位置情報を生成する。
【００５９】
このように、地図情報生成装置１００は、車両Ｖ２が、相互に異なる環境条件下で、対象範囲を少なくともＮ回走行することにより、相互に異なる環境条件で撮像された複数の画像に基づく複合地図情報２５１−１〜２５１−Ｎを生成することができる。
【００６０】
次に、図６、図７を参照して、位置推定装置１（位置推定部２２）による位置推定処理について説明をする。
【００６１】
図６は、本実施形態に係る位置推定装置１による位置推定処理の一例を概略的に示すフローチャートである。図７は、本実施形態に係る位置推定装置１による位置推定処理の一例を説明する概念図であり、具体的には、ＶＳ地図情報２５１Ａの座標系における車両Ｖ１の位置Ｐｏを高精度位置情報２５１Ｂの座標系における車両Ｖ１の位置Ｐｃに補正する手法を説明する図である。
【００６２】
尚、図６に示す処理フローは、車両Ｖ１のＩＧ−ＯＮ後のＥＣＵ２０の初期処理終了後からＩＧ−ＯＦＦまでの間で、カメラ１０からＥＣＵ２０に撮像画像が入力される度に実行されてよい。また、図６に示す処理フローは、Ｎ個の複合地図情報２５１−１〜２５１−Ｎ（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）のそれぞれに対して実行される。また、図６に示す処理フローでは、ＶＳ部１２６が既にＶＳ地図情報２５１Ａ（具体的には、ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎのうちの対象とする何れか）を既に読み込んでいることを前提とする。
【００６３】
図６を参照するに、ステップＳ１０２にて、画像取得部２１は、ＥＣＵ２０に入力されるカメラ１０の撮像画像をＲＡＭ内の入力バッファ等から取得する。
【００６４】
ステップＳ１０４にて、ＶＳ部２２１は、Ｖｉｓｕａｌ  ＳＬＡＭアルゴリズムを用いて、ＶＳ地図情報２５１Ａ（３次元地図データ）の座標系における車両Ｖ１の位置Ｐｏ（図７（ａ）参照）を算出する。
【００６５】
尚、ＶＳ部２２１は、車両Ｖ１の周辺の環境条件に依って、カメラ１０の撮像画像の特徴点とＶＳ地図情報２５１Ａ（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎの何れか）の特徴点の位置情報を表す３次元地図データとに基づき、車両Ｖ１の位置Ｐｏを算出することができない場合が生じ得る。この場合、対象となる複合地図情報２５１（複合地図情報２５１−１〜２５１−Ｎの何れか）に対する図６の処理フローは、割り込み終了する。
【００６６】
ステップＳ１０６にて、近傍点探索部２２２は、ＶＳ地図情報２５１Ａに含まれる車両Ｖ２の移動軌跡において、位置Ｐｏから最も近いキーフレームＰｋ１（図７（ａ）参照）を探索する。
【００６７】
ステップＳ１０８にて、近傍点探索部２２２は、ステップＳ１０６で見つけたキーフレームＰｋ１から所定距離以上離れたキーフレームＰｋ２、例えば、移動軌跡上で、所定距離以上離れたキーフレームのうちの最も近いキーフレームＰｋ２（図７（ａ）参照）を探索する。
【００６８】
ステップＳ１１０にて、高精度位置情報検索部２２３は、高精度位置情報２５１Ｂの中を検索し、キーフレームＰｋ１，Ｐｋ２に対応する位置（補正キーフレーム）Ｐｎ１，Ｐｎ２（図７（ｂ）参照）を取得する。
【００６９】
ステップＳ１１２にて、相対位置算出部２２４は、ＶＳ地図情報２５１Ａの３次元地図データ上において、位置ＰｏのキーフレームＰｋ１に対する相対位置ベクトルＰｏｒ（図７（ａ）参照）を算出する。
【００７０】
ステップＳ１１４にて、補正パラメータ算出部２２５は、ＶＳ地図情報２５１Ａの座標系から高精度位置情報２５１Ｂの座標系に補正するための補正パラメータＳを算出する。具体的には、補正パラメータ算出部２２５は、キーフレームＰｋ１，Ｐｋ２の位置関係と、補正キーフレームＰｎ１，Ｐｎ２の位置関係とに基づき、補正パラメータＳ（スケール及び方向角を補正するパラメータ）を算出する。
【００７１】
ステップＳ１１６にて、相対位置補正部２２６は、ＶＳ地図情報２５１Ａの座標系における相対位置ベクトルＰｏｒを、高精度位置情報２５１Ｂの座標系における相対位置ベクトルＰｃｒ、即ち、高精度位置情報２５１Ｂの座標系における補正キーフレームＰｎ１に対する車両Ｖ１の位置Ｐｃの相対位置ベクトルＰｃｒ（図７（ｂ）参照）に補正する。具体的には、相対位置補正部２２６は、補正パラメータＳを用いて、ＶＳ地図情報２５１Ａの座標系における相対位置ベクトルＰｏｒを、高精度位置情報２５１Ｂの座標系における相対位置ベクトルＰｃｒに補正する。
【００７２】
ステップＳ１１８にて、自車位置算出部２２７は、補正キーフレームＰｎ１と、相対位置ベクトルＰｃｒとに基づき、（高精度位置情報２５１Ｂの座標系における）車両Ｖ１の位置Ｐｃを算出する。
【００７３】
尚、自車位置算出部２２７は、複合地図情報２５１−１〜２５１−Ｎのそれぞれに対応する図６の処理のうちの複数で、車両Ｖ１の位置Ｐｃが算出された場合、例えば、全ての平均を車両Ｖ１の位置としてよい。また、自車位置算出部２２７は、例えば、異常な算出結果（例えば、算出された車両Ｖ１の位置Ｐｃが全ての平均に対して所定範囲を超えて外れている等）を除外し、残りの平均を車両Ｖ１の位置としてもよい。また、自車位置算出部２２７は、ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎのそれぞれに対応する環境条件と、現在の車両Ｖ１の周辺の環境条件との一致性に応じて、複数の算出結果のうちの１つを車両Ｖ１の位置としてもよい。また、位置推定部２２は、複合地図情報２５１−１〜２５１−Ｎの中から現在の車両Ｖ１の周辺の環境条件に適合する１又は複数の複合地図情報２５１−ｋ（ｋ＝１，２，...，Ｎ）を選択し、選択した複合地図情報２５１−ｋに対する図６の処理を行ってもよい。この場合、位置推定部２２は、例えば、画像取得部２１が取得する撮像画像を既知の手法を用いて画像解析することにより、現在の車両Ｖ１の周辺における環境条件（時間帯、天候、車道及び歩道の混雑具合等に関する条件）を判断してもよい。また、位置推定部２２は、ＥＣＵ２０に内蔵される時計（不図示）に基づき、時間帯に関する条件を判断してもよい。また、位置推定部２２は、車両Ｖ１の遠隔に配置される天候情報サーバ等から配信される天候情報や車両Ｖ１に搭載されるレインセンサ（不図示）等の検出信号等に基づき、天候に関する条件を判断してもよい。また、位置推定部２２は、車両Ｖ１の遠隔に配置される道路情報サーバ等から配信される交通情報等に基づき、車道の混雑具合（渋滞）に関する条件を判断してもよい。
【００７４】
このように、本実施形態に係る位置推定装置１は、所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）と、複数の画像情報以外の情報に基づき取得された、複数の地点に対応する複数の第１位置情報（高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎ）とを含む複合地図情報２５１−１〜２５１−Ｎであって、複数の画像が撮像されたときの環境条件が、それぞれで異なる複合地図情報２５１−１〜２５１−Ｎを記憶する記憶部２５と、移動体（車両Ｖ１）に搭載されるカメラ１０で撮像された画像を取得する画像取得部２１と、画像取得部２１が取得した画像と、複数の複合地図情報２５１−１〜２５１−Ｎとに基づき、移動体の位置を推定する位置推定部２２と、を備える。従って、本実施形態では、複合地図情報２５１−１〜２５１−Ｎのそれぞれに含まれる複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）には、複数の画像情報以外の情報に基づき取得された高精度位置情報２５１Ｂ、例えば、ＧＮＳＳ／ＩＮＳ複合航法やＬＩＤＡＲの距離画像等に基づき取得される高精度な位置情報を対応付けることができる。即ち、移動体のカメラ１０で取得される画像と、所定範囲に亘る複数の地点で撮像された複数の画像に対応する複数の画像情報とに基づき、移動体の位置を推定する際に、複数の画像情報以外の情報に基づき生成される高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎとして、画像情報から取得可能な位置情報よりも精度の高い位置情報を利用することができる。そのため、位置推定装置１は、移動体のカメラ１０で取得される画像と、複合地図情報２５１−１〜２５１−Ｎとに基づき、比較的高精度に移動体の位置を推定することができる。また、位置推定装置１は、複数の画像情報に対応する複数の画像が撮像されたときの環境条件が、それぞれで異なる複合地図情報２５１−１〜２５１−Ｎを有している。従って、例えば、時間帯の条件（朝、昼、夜等）や天候の条件（晴れ、曇り、雨、雪、霧等）のように、移動体のカメラ１０で撮像される画像の見え方が大きく異なるような環境条件の変化があっても、複合地図情報２５１−１〜２５１−Ｎの中に現在の移動体の周辺の環境条件に適合する複合地図情報２５１−ｋ（ｋ＝１，２，...，Ｎ）が含まれる可能性が高くなる。即ち、移動体のカメラ１０で撮像される画像の見え方が大きく異なるような環境条件の変化に対して、複合地図情報２５１−１〜２５１−Ｎの何れかの複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎの何れか）を用いて、移動体の位置を推定できる可能性が高くなる。そのため、移動体周辺の環境条件の変化による位置推定精度の低下を抑制することができる。
【００７５】
また、本実施形態に係る位置推定装置１（位置推定部２２）は、画像取得部２１が取得した画像と、複合地図情報２５１−１〜２５１−Ｎのそれぞれに含まれる複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）とに基づき、移動体の位置を算出すると共に、複合地図情報２５１−１〜２５１−Ｎのそれぞれに含まれる高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎに基づき、算出された移動体の位置を補正することにより、移動体の位置を推定する。従って、位置推定装置１は、移動体のカメラ１０で取得される画像と、複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）のそれぞれとの比較等に基づき、移動体の位置を算出し、複数の画像情報に対応付けられた高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎに基づき、算出した移動体の位置を補正することにより、具体的に、移動体の位置を比較的高精度に推定することができる。
【００７６】
また、本実施形態に係る複数の画像情報（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）は、複数の画像から抽出された複数の特徴点の位置情報と、複数の画像のそれぞれが撮像された位置に対応する複数の第２位置情報であって、複数の画像のそれぞれに対応する複数の特徴点の位置情報に基づき取得される複数の第２位置情報とを含む３次元地図データであり、位置推定装置１（位置推定部２２）は、画像取得部２１が取得した画像から複数の特徴点を抽出し、抽出した複数の特徴点の位置情報と、３次元地図データに含まれる複数の特徴点の位置情報とに基づき、移動体の位置を算出する共に、第２位置情報と第１位置情報との対応関係に基づき、算出した移動体の位置を補正することにより、移動体の位置を推定する。具体的には、位置推定装置１は、例えば、Ｖｉｓｕａｌ  ＳＬＡＭ等を用いて生成された３次元地図データ（ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎ）に基づき、移動体の位置を算出することができる。そして、位置推定装置１（位置推定部２２）は、ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎに含まれるキーフレームの位置情報と高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎとの対応関係に基づき、移動体の位置を補正することにより、移動体の位置を比較的高精度に推定することができる。
【００７７】
また、通常、異なるタイミングで生成されるＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎは、それぞれの座標系のスケールが異なってしまう場合が多い。よって、移動体周辺の環境条件の変化による位置推定精度の低下を抑制するために、異なる環境条件に対応する複数のＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎを用いても、それぞれの座標系のスケールが異なるので、同じ尺度で移動体の位置を推定できない可能性がある。これに対して、本実施形態では、ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎのそれぞれに対して、相互に略同じスケールの座標系を有する高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎを対応付けている。そのため、ＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎのそれぞれの座標系のスケールが異なっていても、高精度位置情報２５１Ｂ−１〜２５１Ｂ−Ｎの座標系を用いて、移動体の位置を同じ尺度で推定することができる。
【００７８】
尚、本実施形態では、Ｖｉｓｕａｌ  ＳＬＡＭを用いて、複数の地点に対応する複数の画像情報としてのＶＳ地図情報２５１Ａ−１〜２５１Ａ−Ｎに基づき、移動体の位置が推定されるが、複数の地点に対応する複数の画像情報に基づき、移動体の位置を推定する態様であれば、Ｖｉｓｕａｌ  ＳＬＡＭ以外の手法（例えば、Ｐｌａｃｅ  ｒｅｃｏｇｎｉｔｉｏｎによる位置推定手法等）が用いられてもよい。
【００７９】
また、本実施形態では、位置推定装置１は、位置を推定する対象となる移動体（車両Ｖ１）に搭載されるが、移動体の外部（例えば、センタ）に設けられてもよい。この場合、例えば、位置推定装置１は、移動体からカメラ１０が撮像した画像を受信可能な態様で、位置を推定する対象となる移動体の遠隔に配置され、移動体から逐次送信されるカメラ１０の撮像画像を受信すると共に、受信したカメラ１０の撮像画像に基づき、移動体の位置を推定する。これにより、移動体の遠隔（例えば、センタ等）において、移動体の位置を推定することができる。
【００８０】
以上、本発明を実施するための形態について詳述したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００８１】
１  位置推定装置
１０  カメラ
２０  ＥＣＵ
２１  画像取得部
２２  位置推定部
２５  記憶部
１００  地図情報生成装置
１１０  カメラ
１１１  ＧＰＳセンサ
１１２  車輪速センサ
１１３  加速度センサ
１１４  ジャイロセンサ
１２０  ＥＣＵ
１２１  画像取得部
１２２  ＧＰＳ位置情報取得部
１２３  車輪速情報取得部
１２４  加速度情報取得部
１２５  角速度情報取得部
１２６  ＶＳ部
１２７  スケール補正部
１２８  位置情報生成部
１２９  記憶部
２２１  ＶＳ部
２２２  近傍点探索部
２２３  高精度位置情報検索部
２２４  相対位置算出部
２２５  補正パラメータ算出部
２２６  相対位置補正部
２２７  自車位置算出部
２５１，２５１−１〜２５１−Ｎ  複合地図情報（複数の地図情報）
２５１Ａ，２５１Ａ−１〜２５１Ａ−Ｎ  ＶＳ地図情報（複数の画像情報）
２５１Ｂ，２５１Ｂ−１〜２５１Ｂ−Ｎ  高精度位置情報（複数の第１位置情報）
【図１】
2018028489.tif 000003
【図２】
2018028489.tif 000004
【図３】
2018028489.tif 000005
【図４】
2018028489.tif 000006
【図５】
2018028489.tif 000007
【図６】
2018028489.tif 000008
【図７】
2018028489.tif 000009