(57)【要約】【課題】環境が変化しても短時間で移動体の位置を推定できる移動体位置推定システムの提供。【解決手段】移動体位置推定端末装置及び情報格納装置を有する移動体位置推定システムであって、移動体位置推定端末装置が、移動体周辺の画像を取得する画像取得手段と、移動体の位置情報を含む撮影環境情報を取得する撮影環境情報取得手段と、画像の特徴点情報を取得する特徴点情報取得手段と、画像の特徴点情報及び撮影環境情報を対応付けた第一の地図情報のうち、撮影環境情報に対応する第二の地図情報を抽出して返送する要求を情報格納装置に送信し、第一の地図情報を情報格納装置に格納するために送信する制御を行う通信制御手段と、情報格納装置から返送された第二の地図情報に含まれる特徴点情報と、第一の地図情報に含まれる特徴点情報とを照合し、移動体の位置を推定する位置推定手段と、を有する移動体位置推定システムである。【選択図】図１０
2018128314.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定する移動体位置推定端末装置と、
前記移動体位置推定端末装置から送信された前記第一の環境地図情報を格納する情報格納装置と、
を有する移動体位置推定システムであって、
前記移動体位置推定端末装置が、
前記移動体の周辺の前記画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得手段と、
前記画像取得手段と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得手段と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の前記撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御手段と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定手段と、
を有することを特徴とする移動体位置推定システム。
【請求項２】
前記撮影環境情報が、撮影日時、撮影対象物の明るさの情報、及び天候情報の少なくともいずれかが含まれる請求項１に記載の移動体位置推定システム。
【請求項３】
前記撮影対象物の明るさの情報が、取得した前記画像の輝度に基づいて算出される請求項２に記載の移動体位置推定システム。
【請求項４】
前記天候情報が、外部の天気情報から入手される請求項２から３のいずれかに記載の移動体位置推定システム。
【請求項５】
前記特徴点情報取得手段が、前記画像取得手段が取得した前記画像の前記特徴点に、前記移動体に対する相対位置座標を対応付け、
前記位置推定手段が、前記第一の環境地図情報の前記特徴点情報と、既に前記特徴点の絶対位置座標が定められた前記第二の環境地図情報の前記特徴点情報との間で、同一又は類似する前記特徴点同士を対応付け、対応付けた前記特徴点の対について、前記第二の環境地図情報における前記特徴点の前記絶対位置座標に、前記第一の環境地図情報における前記特徴点の前記移動体に対する前記相対位置座標をあてはめて、前記移動体の位置を推定する請求項１から４のいずれかに記載の移動体位置推定システム。
【請求項６】
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定すると共に、前記第一の環境地図情報を情報格納装置に送信して格納させる移動体位置推定端末装置であって、
前記移動体の周辺の前記画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得手段と、
前記画像取得手段と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得手段と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の前記撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御手段と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定手段と、
を有することを特徴とする移動体位置推定端末装置。
【請求項７】
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定する移動体位置推定端末装置から前記第一の環境地図情報を受信し、前記第一の環境地図情報を格納する情報格納装置であって、
前記移動体の周辺における前記画像の特徴点に関する特徴点情報と、前記特徴点の周辺の撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記移動体位置推定端末装置から受信し、要求された前記第二の環境地図情報を前記移動体位置推定端末装置に送信すると共に、前記移動体位置推定端末装置が受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記第一の環境地図情報を受信する通信手段と、
受信した前記第一の環境地図情報を格納する格納手段と、
を有することを特徴とする情報格納装置。
【請求項８】
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定すると共に、前記第一の環境地図情報を情報格納装置に格納する移動体位置推定方法であって、
前記移動体の周辺の前記画像を取得する画像取得工程と、
前記画像取得工程で取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得工程と、
前記画像取得工程と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得工程と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御工程と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定工程と、
を含むことを特徴とする移動体位置推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体位置推定システム、移動体位置推定端末装置、情報格納装置、及び移動体位置推定方法に関する。
【背景技術】
【０００２】
近年では、自動運転車やロボット等の自律型移動体に関する開発が進められており、自律型移動体が目的地まで自律移動するために、地図情報に基づいて自律型移動体の位置を把握しながら移動する必要がある。このため、地図情報における自律型移動体の位置をリアルタイムで継続的に把握する目的で、様々な提案がされている。
【０００３】
例えば、車両に搭載した測距カメラを用いて車両の周辺の３次元画像を取得し、取得した３次元画像の特徴点と、既知の３次元画像の特徴点とを照合することにより、移動体の位置を推定する方法が提案されている（例えば、特許文献１及び２参照）。また、部屋の内部で使用される移動体において、移動体に搭載したカメラで天井方向を撮影した画像と、事前に照明等の異なる条件で天井方向を撮影した多数の画像とを比較して、移動体の位置を推定する方法が提案されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２６３６５７号公報
【特許文献２】国際公開第２０１２／１７２８７０号パンフレット
【特許文献３】特開２００４−１２４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１及び特許文献２に記載の技術では、特徴点は天候などの条件により見え方が変化してしまい、新たに取得した３次元画像の特徴点と、既知の３次元画像の特徴点との照合が困難となり、位置推定ができなくなる場合があるという問題がある。また、特許文献３に記載の技術では、移動体に搭載したカメラで撮影した画像と、事前に異なる条件で撮影したすべての画像とを比較する必要があるため、演算処理時間がかかる場合があるという問題がある。
【０００６】
一つの側面では、環境が変化しても短時間で移動体の位置を推定できる移動体位置推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施態様では、移動体位置推定システムは、移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の前記第二の環境地図情報とを照合して前記移動体の位置を推定する移動体位置推定端末装置と、前記移動体位置推定端末装置から送信された前記第一の環境地図情報を格納する情報格納装置と、を有する移動体位置推定システムであって、前記移動体位置推定端末装置が、前記移動体の周辺の前記画像を取得する画像取得手段と、前記画像取得手段が取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得手段と、前記画像取得手段と同期して、前記特徴点の周辺の前記撮影環境情報を取得する撮影環境情報取得手段と、前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の前記撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御手段と、前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定手段と、を有する。
【発明の効果】
【０００８】
一つの側面では、環境が変化しても短時間で移動体の位置を推定できる移動体位置推定システムを提供することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の一実施例に係る情報格納装置及び移動体位置推定端末装置を含む移動体位置推定システムの構成を示す説明図である。
【図２】図２は、カメラにより取得した画像の一例を示す説明図である。
【図３】図３は、図２の画像から抽出した特徴点群を示す説明図である。
【図４】図４は、図３に基づく環境地図の示す説明図である。
【図５】図５は、移動体位置推定端末装置の機能構成の一例を示す説明図である。
【図６】図６は、移動体位置推定端末装置のハードウェア構成の一例を示す説明図である。
【図７】図７は、情報格納装置の機能構成の一例を示す説明図である。
【図８】図８は、環境地図情報ＤＢに格納される環境地図情報の一例を示す説明図である。
【図９】図９は、情報格納装置のハードウェア構成の一例を示す説明図である。
【図１０】図１０は、移動体位置推定端末装置が車両の位置を推定する流れの一例を示すフローチャートである。
【図１１】図１１は、情報格納装置が移動体位置推定端末装置と第一又は第二の環境地図情報を送受信する流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明の一実施例を説明するが、本発明は、この実施例に何ら限定されるものではない。
なお、本発明の「移動体位置推定システム」は、「移動体位置推定端末装置」及び「情報格納装置」を有していることから、「移動体位置推定システム」全体について説明すると共に、「移動体位置推定端末装置」及び「情報格納装置」についても詳細に説明する。また、本発明の「移動体位置推定端末装置」における制御手段の各部が行う制御は、本発明の「移動体位置推定方法」を実施することと同義であるので、本発明の「移動体位置推定端末装置」の説明を通じて本発明の「移動体位置推定方法」の詳細についても明らかにする。
また、「移動体位置推定端末装置」は「車載装置」と称することもあり、「情報格納装置」は「サーバ装置」と称することもある。
【実施例】
【００１１】
（移動体位置推定システム）
図１は、本発明の一実施例に係る移動体位置推定端末装置１００及び情報格納装置３００を含む移動体位置推定システム１０の構成を示す説明図である。なお、移動体位置推定端末装置１００を実施すると移動体位置推定方法が実施される。
図１に示すように、移動体位置推定システム１０は、移動体としての車両２００に搭載されている移動体位置推定端末装置１００のカメラにより車両２００の周辺の画像を取得し、取得した画像の特徴点情報と、画像を取得したときの撮影環境情報とを対応付けた第一の環境地図情報を、ネットワーク４００を介してデータベースとしての情報格納装置３００に格納して蓄積する、いわゆる「コネクテッドカー」の形態になっている。移動体位置推定システム１０は、情報格納装置３００に蓄積した過去の第二の環境地図情報と、最新の第一の環境地図情報とに基づき、移動体位置推定端末装置１００が車両２００の位置を推定するシステムである。
【００１２】
従来から知られているＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）という技術では、移動体の周辺を撮影した画像の特徴点などに基づいて環境地図を作成すると共に、作成した環境地図における自己位置を推定することが可能である。しかしながら、環境地図を最初に作成する際の天候が晴れで明るく、次に同じ場所に移動してきた際に天候が曇りで暗い場合、同一の位置において取得した画像の特徴点がそれぞれ異なってしまい、特徴点を照合できずに自己位置を推定することができない場合があるという問題がある。
これに対し、移動体位置推定システム１０では、天候などの撮影環境が変化しても短時間で移動体の位置を推定できる。
【００１３】
具体的には、移動体位置推定システム１０において、まず、移動体位置推定端末装置１００は、車両２００の周辺の画像を取得し、画像を取得したときの周辺の明るさや天候などの撮影環境情報と、取得した画像の特徴点情報とを対応付けた第一の環境地図情報を得る。
【００１４】
車両２００の周辺の画像における特徴点情報は、特徴点の特徴量と、特徴点の３次元座標情報を含む位置情報と、を含む。
画像の特徴点は、図２に示すような、車両２００の周辺を撮影した画像から、図３に示すような特徴点群を抽出することにより、図４に示すように抽出することができる。
【００１５】
次に、移動体位置推定端末装置１００は、第一の環境地図情報の撮影環境情報に対応する第二の環境地図情報を返送する要求を情報格納装置３００に送信し、情報格納装置３００から返送された第二の環境地図情報に含まれる特徴点情報と、第一の環境地図情報に含まれる特徴点情報とを照合し、車両２００の位置を推定する。
ここで、「第一の環境地図情報の撮影環境情報に対応する第二の環境地図情報」とは、第一の環境地図情報に係る画像を取得したときの撮影環境と同一又は類似する撮影環境で取得した画像に係る第二の環境地図情報を意味する。したがって、情報格納装置３００は、第一の環境地図情報の撮影環境情報と完全に一致する撮影環境情報を含む第二の環境地図情報を抽出することが好ましいが、最も類似している第二の環境地図情報を抽出できればよく、所定の類似の範囲の第二の環境地図情報を抽出してもよい。
【００１６】
また、移動体位置推定端末装置１００は、第一の環境地図情報を情報格納装置３００に送信する。情報格納装置３００は、受信した第一の環境地図情報をデータベースに格納して更新する。これにより、多様な撮影環境の環境地図情報を蓄積でき、かつ最新の環境地図情報に更新できるため、撮影環境が変化した場合であっても、第一及び第二の特徴点情報を照合しやすくなり、長期に安定した車両２００の位置の推定ができる。
【００１７】
更に、情報格納装置３００は、第一の環境地図情報の撮影環境情報に対応する第二の環境地図情報を返送する要求を移動体位置推定端末装置１００から受信すると、第二の環境地図情報のデータベースから、第一の環境地図情報の撮影環境情報に基づいて抽出した第二の環境地図情報を移動体位置推定端末装置１００に送信する。
このように、情報格納装置３００が第二の環境地図情報のデータベースから第一の環境地図情報の撮影環境情報に基づいて第二の環境地図情報を抽出することにより、第二の環境地図情報のデータベースのすべての第二の環境地図情報を参照することなく、短時間で車両２００の位置を推定でき、リアルタイム処理を実現しやすくなる。
【００１８】
なお、取得できる環境地図情報の量を多くして環境地図情報の更新頻度を高める観点から、移動体位置推定端末装置１００を搭載する車両２００を複数として多くすることが好ましい。また、情報格納装置３００については複数であってもよい。
また、車両２００としては、例えば、大型自動車、中型自動車、普通自動車、大型特殊自動車、小型特殊自動車、大型自動二輪車、普通自動二輪車などが挙げられ、自動運転システムにおける自動運転車が好ましい。
【００１９】
＜移動体位置推定端末装置＞
図５は、移動体位置推定端末装置１００の機能構成の一例を示す説明図である。
図５に示すように、移動体位置推定端末装置１００は、車両２００の周辺の画像を取得し、画像を取得したときの第一の環境地図情報と、第一の環境地図情報より過去の第二の環境地図情報とを照合して車両２００の位置を推定するものであり、移動体位置推定端末装置１００は、画像取得手段１０１と、撮影環境情報取得手段１０２と、特徴点情報取得手段１０３と、通信制御手段１０４と、位置推定手段１０５と、通信手段１０６と、記憶手段１０７と、入力手段１０８と、出力手段１０９と、制御手段１１０と、を有する。
【００２０】
＜＜画像取得手段＞＞
画像取得手段１０１は、車両２００に設置されたカメラにより車両２００の周辺を撮影して画像を取得する（図１０のＳ１０１）。
【００２１】
＜＜撮影環境情報取得手段＞＞
撮影環境情報取得手段１０２は、画像取得手段１０１と同期して、特徴点の周辺の撮影環境情報を取得する（図１０のＳ１０２）。
【００２２】
＜＜特徴点情報取得手段＞＞
特徴点情報取得手段１０３は、画像取得手段１０１が取得した画像の特徴点に関する特徴点情報を取得する（図１０のＳ１０３）。特徴点情報取得手段１０３は、画像取得手段１０１が取得した画像の特徴点に、車両２００に対する相対位置座標を対応付ける。即ち、画像の特徴点情報には、特徴点の特徴量と、特徴点の位置情報としての、特徴点の車両２００に対する相対位置座標（又は相対的方向）と、を含む。
特徴点の車両２００に対する相対位置座標を取得する方法としては、例えば、測距カメラにより取得した距離情報に基づいて特徴点の位置情報を算出することができるが、これに限ることなく、他の方法でもよい。例えば、車両２００の移動により生じる運動視差を用いたモーションステレオにより、車両２００に対する特徴点の相対位置座標を求めることができる。
特徴点の特徴量を取得する方法としては、特に制限はなく、目的に応じて適宜選択することができ、例えば、ＳＵＲＦ（Ｓｐｅｅｄｅｄ  Ｕｐ  Ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）やＲＩＦＦ（Ｒｏｔａｔｉｏｎ−Ｉｎｖａｒｉａｎｔ  Ｆａｓｔ  Ｆｅａｔｕｒｅ）等の手法により得る方法などが挙げられる。
【００２３】
＜＜通信制御手段＞＞
通信制御手段１０４は、車両２００の周辺における画像の特徴点情報と、特徴点の周辺の撮影環境情報とを対応付けて第一の環境地図情報として、第一の環境地図情報の撮影環境情報に対応する、第二の環境地図情報を抽出して返送する要求を情報格納装置３００に送信し（図１０のＳ１０６）、返送された第二の環境地図情報を情報格納装置３００から受信する制御を行う。また、通信制御手段１０４は、第一の環境地図情報を情報格納装置３００に格納するために送信する制御を行う（図１０のＳ１０８）。
【００２４】
通信制御手段１０４が情報格納装置３００に第二の環境地図情報を返送する要求をする頻度は、所定の時間間隔ごとに要求してもよく、所定の領域ごとに要求してもよい。
所定の領域ごとに要求する場合とは、例えば、車両２００が駐車場の入口に移動してきたときに、駐車場全体の環境地図情報を返送する要求をするようにする。更に、駐車場にいる間に日が暮れてきたなどの撮影環境が変化した場合は、再度返送する要求をしてもよい。
【００２５】
＜＜位置推定手段＞＞
位置推定手段１０５は、情報格納装置３００から受信した第二の環境地図情報に含まれる特徴点情報と、第一の環境地図情報に含まれる特徴点情報とを照合し、車両２００の位置を推定する（図１０のＳ１０７）。
具体的には、第二の環境地図情報に含まれる特徴点情報は、当該特徴点の位置情報として、例えば、緯度、経度、及び高度で定義される地球上での絶対位置座標を含む。一方、第一の環境地図情報に含まれる特徴点情報は、当該特徴点の位置情報として、特徴点の車両２００に対する相対位置座標（又は相対的方向）の情報を含む。位置推定手段１０５は、第一の環境地図情報の特徴点情報と、第二の環境地図情報の特徴点情報との間で、特徴量が同一又は類似する特徴点同士を対応付け、対応付けられた特徴点の対について、第二の環境地図情報における当該特徴点の絶対位置座標に、第一の環境地図情報における特徴点の車両２００に対する相対位置座標をあてはめて、車両２００の絶対位置を推定する。このように推定された車両２００の絶対位置座標に基づき、第一の環境地図情報に含まれる、車両２００に対する相対位置座標を取得している全ての特徴点について、地球上での絶対位置座標を求めることができ、求めた特徴点の絶対位置座標を第二の環境地図情報のデータベースに格納する。
【００２６】
通信手段１０６は、通信制御手段１０４の指示に基づき、情報格納装置３００にネットワーク４００を介して各種情報や要求を送受信することができる。
【００２７】
記憶手段１０７は、制御手段１１０の指示に基づき、撮影環境情報と、画像の特徴点情報とを対応付けて環境地図情報として記憶する。
また、記憶手段１０７は、制御手段１１０の指示に基づき、移動体位置推定端末装置１００にインストールされた各種プログラムや、プログラムを実行することにより生成されるデータ等を記憶する。
【００２８】
入力手段１０８は、制御手段１１０の指示に基づき、移動体位置推定端末装置１００に対する各種指示を受け付ける。
【００２９】
出力手段１０９は、制御手段１１０の指示に基づき、移動体位置推定端末装置１００の内部状態の表示を行う。
【００３０】
制御手段１１０は、記憶手段１０７に記憶された各種プログラムを実行し、移動体位置推定端末装置１００全体を制御する。
なお、本実施例では、画像取得手段１０１、撮影環境情報取得手段１０２、特徴点情報取得手段１０３、通信制御手段１０４、及び位置推定手段１０５の各部と、制御手段１１０とを分離して説明したが、各部の機能の少なくともいずれかを制御手段１１０が有するようにしてもよい。
【００３１】
図６は、移動体位置推定端末装置１００のハードウェア構成の一例を示す説明図である。
図６に示すように、移動体位置推定端末装置１００は、カメラ１０１と、通信手段１０６と、記憶手段１０７と、入力手段１０８と、出力手段１０９と、制御手段１１０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１１１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１２と、を有する。なお、移動体位置推定端末装置１００の各手段は、バス１１３を介してそれぞれ通信可能に接続されている。
【００３２】
カメラ１０１は、車両２００の周辺を撮影して画像を取得できれば特に制限はなく、例えば、ステレオカメラ、測距可能な単眼カメラなどの測距カメラが挙げられ、市販品を使用してもよい。カメラ１０１は、必ずしも測距機能を持つ必要は無く、通常のカメラであってよい。通常のカメラの場合、カメラ１０１を搭載した車両２００が移動する際の移動量が既知であれば、同一のカメラで異なる時刻に撮影された複数の画像の間に運動視差が生じることを利用したモーションステレオの原理により、カメラ１０１から静止物体までの距離を求めることができる。
【００３３】
通信手段１０６は、図７に示した情報格納装置３００の通信手段３０１と通信可能に接続されていれば特に制限はなく、適宜公知のものを用いることができ、例えば、テレマティクスを利用するための送受信機などが挙げられる。
【００３４】
記憶手段１０７は、各種情報を記憶できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ソリッドステートドライブ、ハードディスクドライブなどのほか、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）ドライブ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）ドライブ、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）ドライブなどの可搬記憶装置であってもよく、ネットワーク上のコンピュータ群であるクラウドの一部であってもよい。
【００３５】
入力手段１０８は、移動体位置推定端末装置１００に対する各種要求を受け付けることができれば特に制限はなく、適宜公知のものを用いることができ、例えば、キーボード、マウス、タッチパネル、マイクなどが挙げられる。
【００３６】
出力手段１０９は、特に制限はなく、適宜公知のものを用いることができ、例えば、ディスプレイ、スピーカーなどが挙げられる。
【００３７】
制御手段１１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などが挙げられる。ソフトウェアを実行するプロセッサはハードウェアである。
【００３８】
ＲＯＭ１１１は、記憶手段１４０に記憶された各種プログラムを制御手段１７０が実行するために必要な各種プログラム、データ等を記憶する。具体的には、ＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＥＦＩ（Ｅｘｔｅｎｓｉｂｌｅ  Ｆｉｒｍｗａｒｅ  Ｉｎｔｅｒｆａｃｅ）等のブートプログラムなどを記憶する。
【００３９】
ＲＡＭ１１２は、主記憶装置であり、記憶手段１０７に記憶された各種プログラムが制御手段１１０によって実行される際に展開される作業領域として機能する。ＲＡＭ１１２としては、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などが挙げられる。
【００４０】
＜情報格納装置＞
図７は、情報格納装置３００の機能構成の一例を示す説明図である。
情報格納装置３００は、移動体位置推定端末装置１００が取得した第一の環境地図情報を格納する。
図７に示すように、情報格納装置３００は、通信手段３０１と、格納手段３０２と、記憶手段３０３と、入力手段３０４と、出力手段３０５と、制御手段３０６と、を有する。
【００４１】
＜＜通信手段＞＞
通信手段３０１は、制御手段３０６の指示に基づき、第一の環境地図情報の撮影環境情報に対応する第二の環境地図情報を抽出して返送する要求を移動体位置推定端末装置１００から受信し（図１１のＳ２０１）、要求された第二の環境地図情報を移動体位置推定端末装置１００に返送する（図１１のＳ２０２）。また、通信手段３０１は、移動体位置推定端末装置１００から第一の環境地図情報を受信する（図１１のＳ２０３）。
【００４２】
＜＜格納手段＞＞
格納手段３０２は、移動体位置推定端末装置１００から受信した第一の環境地図情報を、記憶手段３０３の環境地図情報データベース３０３ａに格納する（図１１のＳ２０４）。なお、データベースは「ＤＢ」と称することもある。
また、格納手段３０２が第一の環境地図情報を格納する前に、第一の環境地図情報に含まれる特徴点情報の信頼度を算出し、信頼度が高い特徴点情報のみを格納することが好ましい。特徴点情報には、誤差や誤りが含まれる可能性があるためである。
特徴点情報の信頼度を算出する方法としては、例えば、推定された誤差値に基づき信頼度を算出する方法、複数の移動体位置推定端末装置１００から受信した特徴点情報を統計処理することにより信頼度を算出する方法などが挙げられる。特徴点情報の信頼度の算出は、情報格納装置３００側で行ってもよく、移動体位置推定端末装置１００側で行ってもよい。
【００４３】
記憶手段３０３は、環境地図情報ＤＢ３０３ａを有し、制御手段３０６の指示に基づき、移動体位置推定端末装置１００にインストールされた各種プログラムや、プログラムを実行することにより生成されるデータ等を記憶する。
【００４４】
図８は、環境地図情報ＤＢ３０３ａに格納される環境地図情報の一例を示す説明図である。
図８に示すように、環境地図情報ＤＢ３０３ａには、本実施例では、環境地図情報は、特徴点情報及び撮影環境情報を含み、特徴点情報として「特徴点の位置情報、特徴量」の項目の情報と、撮影環境情報として「撮影日時、撮影位置情報、撮影対象物の明るさの情報、天候情報」の項目の情報とを対応付けて格納する。
【００４５】
「特徴点の位置情報」は、本実施例では、緯度、経度、及び高度で定義される地球上での絶対位置座標の情報である。
「特徴量」は、例えば、ＳＵＲＦやＲＩＦＦなどの手法により得られた特徴量の情報である。
【００４６】
「撮影日時」は、カメラ１０１で車両２００の周辺を撮影して画像を取得した日時の情報である。
「撮影位置情報」は、本実施例では、当該特徴点情報を取得した画像を撮影した時点でのカメラ１０１の位置であり、例えば、緯度、経度、及び高度の値で定義される。の位置情報と車両２００の位置情報とに基づき算出された相対位置座標であり、特徴点と車両２００との３次元座標における位置関係を示す。
「撮影対象物の明るさの情報」は、本実施例では、取得した画像の輝度に基づき、０から１００までの数値として算出される情報である。
「天候情報」は、本実施例では、外部の天気情報から入手される情報であり、画像取得時の特徴点の周辺の天候の情報である。外部の天気情報に基づき、「晴れ」、「曇り」、「雨」、及び「雪」の項目のいずれかが選択される。
なお、本実施例では、撮影環境情報として「撮影日時、撮影位置情報、撮影対象物の明るさの情報、天候情報」の項目の情報としたが、これに限ることなく、例えば、画像全体の輝度平均値、画像全体の輝度のヒストグラム、画像全体の色のヒストグラムなどが挙げられる。
【００４７】
入力手段３０４は、制御手段３０６の指示に基づき、ユーザからの各種要求を受け付ける。
【００４８】
出力手段３０５は、制御手段３０６の指示に基づき、ユーザが必要とする画像、音声などを出力する。
【００４９】
制御手段３０６は、第一の環境地図情報の撮影環境情報に対応する第二の環境地図情報を抽出する。即ち、制御手段３０６は、第一の環境地図情報に係る画像を取得したときの撮影環境と同一又は類似する撮影環境で取得した画像に係る第二の環境地図情報を抽出する。
第一の環境地図情報の撮影環境情報と、第二の環境地図情報の撮影環境情報が同一又は類似か否かを判定する方法としては、例えば、撮影環境情報に含まれる各情報に基づき、類似度を算出して所定の値以上の撮影環境情報であれば類似すると判定する方法などが挙げられる。
また、制御手段３０６は、記憶手段３０３に記憶された各種プログラムを実行し、移動体位置推定端末装置１００全体を制御する。
なお、本実施例では、格納手段３０２と、制御手段３０６とを分離して説明したが、格納手段３０２の機能を制御手段１１０が有するようにしてもよい。
【００５０】
図９は、情報格納装置３００のハードウェア構成の一例を示す説明図である。
図９に示すように、情報格納装置３００は、通信手段３０１と、記憶手段３０３と、入力手段３０４と、出力手段３０５と、制御手段３０６と、ＲＯＭ３０７と、ＲＡＭ３０８と、を有する。なお、情報格納装置３００の各手段は、バス３０９を介してそれぞれ通信可能に接続されている。
【００５１】
通信手段３０１は、図５に示した移動体位置推定端末装置１００の通信手段１０６と通信可能に接続されていれば特に制限はなく、適宜公知のものを用いることができ、例えば、テレマティクスを利用するための送受信機などが挙げられる。
【００５２】
記憶手段３０３は、各種情報を記憶できれば特に制限はなく、目的に応じて適宜選択することができ、例えば、ソリッドステートドライブ、ハードディスクドライブなどのほか、ＣＤドライブ、ＤＶＤドライブ、ＢＤドライブなどの可搬記憶装置であってもよく、ネットワーク上のコンピュータ群であるクラウドの一部であってもよい。
【００５３】
入力手段３０４は、ユーザからの各種要求を受け付けることができれば特に制限はなく、適宜公知のものを用いることができ、例えば、タッチパネル、マイクなどが挙げられる。
【００５４】
出力手段３０５は、特に制限はなく、適宜公知のものを用いることができ、例えば、ディスプレイ、スピーカーなどが挙げられる。
【００５５】
制御手段３０６は、例えば、ＣＰＵなどが挙げられる。
【００５６】
ＲＯＭ３０７は、記憶手段３０３に記憶された各種プログラムを制御手段３０６が実行するために必要な各種プログラム、データ等を記憶する。具体的には、ＢＩＯＳやＥＦＩ等のブートプログラムなどを記憶する。
【００５７】
ＲＡＭ３０８は、主記憶装置であり、記憶手段３０３に記憶された各種プログラムが制御手段３０６によって実行される際に展開される作業領域として機能する。ＲＡＭ３０８としては、例えば、ＤＲＡＭ、ＳＲＡＭなどが挙げられる。
【００５８】
次に、本実施例において、移動体位置推定システム１０が行う各処理のフローについて説明する。
【００５９】
図１０は、移動体位置推定端末装置１００が車両２００の位置を推定する流れを示すフローチャートである。
以下、図１０に示すフローチャートにしたがって図１及び図５を参照しながら、移動体位置推定端末装置１００が車両２００の位置を推定する流れについて説明する。
【００６０】
ステップＳ１０１では、画像取得手段１０１は、カメラにより車両２００の周辺を撮影して画像を取得すると処理をＳ１０２に移行させる。
【００６１】
ステップＳ１０２では、撮影環境情報取得手段１０２は、画像取得手段１０１と同期して、車両２００に周辺の撮影環境情報を取得すると処理をＳ１０３に移行させる。
なお、位置情報以外の撮影環境情報は、画像取得手段１０１が取得した車両２００の周辺の画像に基づいて算出してもよく、外部からの情報に基づいてもよい。
また、車両２００に周辺の撮影環境情報とは、車両２００の周辺を撮影した画像における特徴点の周辺の撮影環境情報を意味する。
【００６２】
ステップＳ１０３では、特徴点情報取得手段１０３は、画像取得手段１０１が取得した画像における特徴点情報を取得すると処理をＳ１０４に移行させる。
【００６３】
ステップＳ１０４では、記憶手段１０７は、制御手段１１０に指示に基づき、特徴点の周辺の撮影環境情報と、画像の特徴点情報とを対応付けて環境地図情報として記憶する。
【００６４】
ステップＳ１０５では、制御手段１１０は、第一の環境地図情報の撮影環境情報に対応する、第二の環境地図情報を情報格納装置３００から受信したか否かを判定する。制御手段１１０は、第二の環境地図情報を情報格納装置３００から受信したと判定すると処理をＳ１０７に移行させ、情報格納装置３００から取得していないと判定すると処理をＳ１０６に移行させる。
【００６５】
ステップＳ１０６では、通信制御手段１０４は、Ｓ１０２で取得した撮影環境情報に対応する、第二の環境地図情報を抽出して返送する要求を情報格納装置３００に送信し、返送された第二の環境地図情報を情報格納装置３００から受信する制御を行うと処理をＳ１０７に移行させる。
【００６６】
ステップＳ１０７では、位置推定手段１０５は、情報格納装置３００から受信した第二の環境地図情報に含まれる特徴点情報と、Ｓ１０３で取得した第一の環境地図情報に含まれる特徴点情報とを照合し、車両２００の位置を推定すると処理をＳ１０８に移行させる。
【００６７】
ステップＳ１０８では、通信制御手段１０４は、第一の環境地図情報を情報格納装置３００に格納するために送信する制御を行うと処理をＳ１０９に移行させる。
【００６８】
ステップＳ１０９では、制御手段１１０は、処理を継続するか否か判定する。制御手段１１０は、処理を継続すると判定すると処理をＳ１０１に戻し、処理を継続しないと判定すると本処理を終了させる。
【００６９】
図１１は、情報格納装置３００が移動体位置推定端末装置１００と第一又は第二の環境地図情報を送受信する流れの一例を示すフローチャートである。
以下、図１１に示すフローチャートにしたがって図１、図５、及び図７を参照しながら、情報格納装置３００が移動体位置推定端末装置１００と第一又は第二の環境地図情報を送受信する流れについて説明する。
【００７０】
ステップＳ２０１では、制御手段３０６は、通信手段３０１が、移動体位置推定端末装置１００の通信制御手段１０４から、第一の環境地図情報の撮影環境情報に対応する、第二の環境地図情報を返送する要求を受信したか否かと判定する。制御手段３０６は、通信手段３０１が第二の環境地図情報を返送する要求を受信したと判定すると処理をＳ２０２に移行させ、要求がないと判定すると処理をＳ２０３に移行させる。
【００７１】
ステップＳ２０２では、制御手段３０６は、通信手段３０１に指示し、移動体位置推定端末装置１００から要求された第二の環境地図情報を返送すると処理をＳ２０３に移行させる。
【００７２】
ステップＳ２０３では、制御手段３０６は、通信手段３０１が移動体位置推定端末装置１００から第一の環境地図情報を受信したか否かを判定する。制御手段３０６は、通信手段３０１が第一の環境地図情報を受信したと判定すると処理をＳ２０４に移行させ、受信していないと判定すると処理をＳ２０５に移行させる。
【００７３】
ステップＳ２０４では、格納手段３０２は、移動体位置推定端末装置１００から受信した第一の環境地図情報を、記憶手段３０３の環境地図情報ＤＢ３０３ａに格納すると処理をＳ２０５に移行させる。
【００７４】
ステップＳ２０５では、制御手段３０６は、処理を継続するか否か判定する。制御手段３０６は、処理を継続すると判定すると処理をＳ２０１に戻し、処理を継続しないと判定すると本処理を終了させる。
【００７５】
なお、本実施例では、移動体として車両２００としたが、これに限ることなく、例えば、ロボット、ドローンなどとしてもよい。
【００７６】
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定する移動体位置推定端末装置と、
前記移動体位置推定端末装置から送信された前記第一の環境地図情報を格納する情報格納装置と、
を有する移動体位置推定システムであって、
前記移動体位置推定端末装置が、
前記移動体の周辺の前記画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得手段と、
前記画像取得手段と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得手段と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の前記撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御手段と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定手段と、
を有することを特徴とする移動体位置推定システム。
（付記２）
前記撮影環境情報が、撮影日時、撮影対象物の明るさの情報、及び天候情報の少なくともいずれかが含まれる付記１に記載の移動体位置推定システム。
（付記３）
前記撮影対象物の明るさの情報が、取得した前記画像の輝度に基づいて算出される付記２に記載の移動体位置推定システム。
（付記４）
前記天候情報が、外部の天気情報から入手される付記２から３のいずれかに記載の移動体位置推定システム。
（付記５）
前記特徴点情報取得手段が、前記画像取得手段が取得した前記画像の前記特徴点に、前記移動体に対する相対位置座標を対応付け、
前記位置推定手段が、前記第一の環境地図情報の前記特徴点情報と、既に前記特徴点の絶対位置座標が定められた前記第二の環境地図情報の前記特徴点情報との間で、同一又は類似する前記特徴点同士を対応付け、対応付けた前記特徴点の対について、前記第二の環境地図情報における前記特徴点の前記絶対位置座標に、前記第一の環境地図情報における前記特徴点の前記移動体に対する前記相対位置座標をあてはめて、前記移動体の位置を推定する付記１から４のいずれかに記載の移動体位置推定システム。
（付記６）
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定すると共に、前記第一の環境地図情報を情報格納装置に送信して格納させる移動体位置推定端末装置であって、
前記移動体の周辺の前記画像を取得する画像取得手段と、
前記画像取得手段が取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得手段と、
前記画像取得手段と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得手段と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の前記撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御手段と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定手段と、
を有することを特徴とする移動体位置推定端末装置。
（付記７）
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定する移動体位置推定端末装置から前記第一の環境地図情報を受信し、前記第一の環境地図情報を格納する情報格納装置であって、
前記移動体の周辺における前記画像の特徴点に関する特徴点情報と、前記特徴点の周辺の撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記移動体位置推定端末装置から受信し、要求された前記第二の環境地図情報を前記移動体位置推定端末装置に送信すると共に、前記移動体位置推定端末装置が受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記第一の環境地図情報を受信する通信手段と、
受信した前記第一の環境地図情報を格納する格納手段と、
を有することを特徴とする情報格納装置。
（付記８）
移動体の周辺の画像を取得し、前記画像を取得したときの第一の環境地図情報と、前記第一の環境地図情報より過去の第二の環境地図情報とを照合して前記移動体の位置を推定すると共に、前記第一の環境地図情報を情報格納装置に格納する移動体位置推定方法であって、
前記移動体の周辺の前記画像を取得する画像取得工程と、
前記画像取得工程で取得した前記画像の特徴点に関する特徴点情報を取得する特徴点情報取得工程と、
前記画像取得工程と同期して、前記特徴点の周辺の撮影環境情報を取得する撮影環境情報取得工程と、
前記移動体の周辺における前記画像の前記特徴点情報と、前記特徴点の周辺の撮影環境情報とを対応付けて前記第一の環境地図情報として、前記第一の環境地図情報の前記撮影環境情報に対応する、前記第二の環境地図情報を抽出して返送する要求を前記情報格納装置に送信し、返送された前記第二の環境地図情報を受信する制御を行うと共に、前記第一の環境地図情報を前記情報格納装置に格納するために送信する制御を行う通信制御工程と、
前記情報格納装置から受信した前記第二の環境地図情報に含まれる前記特徴点情報と、前記第一の環境地図情報に含まれる前記特徴点情報とを照合し、前記移動体の位置を推定する位置推定工程と、
を含むことを特徴とする移動体位置推定方法。
【符号の説明】
【００７７】
１０    移動体位置推定システム
１００    移動体位置推定端末装置（車載装置）
１０１    画像取得手段（カメラ）
１０２    撮影環境情報取得手段
１０３    特徴点情報取得手段
１０４    通信制御手段
１０５    位置推定手段
２００    車両（移動体）
３００    情報格納装置（サーバ装置）
３０１    通信手段
３０２    格納手段
【図１】
2018128314.tif 000003
【図２】
2018128314.tif 000004
【図３】
2018128314.tif 000005
【図４】
2018128314.tif 000006
【図５】
2018128314.tif 000007
【図６】
2018128314.tif 000008
【図７】
2018128314.tif 000009
【図８】
2018128314.tif 000010
【図９】
2018128314.tif 000011
【図１０】
2018128314.tif 000012
【図１１】
2018128314.tif 000013