(57)【要約】  画像を用いた位置の推定における参照用画像の更新を簡易かつ適切に行う。  位置推定システム１０は、参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベース１１と、位置推定の対象となる推定用画像を取得する取得部１２と、参照用画像と推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定すると共に推定した位置の信頼度を算出する推定部１３と、信頼度に基づいて推定用画像を用いて参照用画像を更新する更新部１４とを備える。
2020137069.tif 000002
【特許請求の範囲】
【請求項１】
参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベースと、
位置推定の対象となる推定用画像を取得する取得部と、
前記参照用画像データベースに記憶された参照用画像と前記取得部によって取得された推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定すると共に推定した位置の信頼度を算出する推定部と、
前記推定部によって算出された信頼度に基づいて前記推定用画像を用いて前記参照用画像データベースに記憶される参照用画像を更新する更新部と、
を備える位置推定システム。
【請求項２】
前記参照用画像データベースは、複数の参照用画像を記憶し、
前記推定部は、複数の参照用画像それぞれと推定用画像との比較を行って、参照用画像それぞれと推定用画像と類似度を算出し、算出した類似度に基づいて推定した位置の信頼度を算出する、請求項１に記載の位置推定システム。
【請求項３】
前記推定部は、複数の手法によって当該手法毎に推定用画像に係る位置を推定すると共に当該手法毎の位置に基づいて前記信頼度を算出する請求項１又は２に記載の位置推定システム。
【請求項４】
前記推定部は、前記推定用画像に対して画像の加工を行って複数のパターンの推定用画像を生成し、当該パターン毎に推定用画像に係る位置を推定すると共に当該パターン毎の位置に基づいて前記信頼度を算出する請求項１〜３の何れか一項に記載の位置推定システム。
【請求項５】
前記取得部は、複数の推定用画像を取得し、
前記推定部は、推定用画像毎に前記信頼度を算出し、
前記更新部は、推定された位置に応じた複数の推定用画像の信頼度の変化に基づいて参照用画像を更新する、請求項１〜４の何れか一項に記載の位置推定システム。
【請求項６】
前記更新部は、前記推定用画像に写っている移動物体を検出して、当該検出に基づいて参照用画像を更新する請求項１〜５の何れか一項に記載の位置推定システム。
【請求項７】
前記取得部は、複数の推定用画像を取得し、
前記更新部は、推定された位置に応じた前記複数の推定用画像から１枚の更新用画像を生成して、生成した更新用画像を用いて参照用画像を更新する、請求項１〜６の何れか一項に記載の位置推定システム。
【請求項８】
前記更新部は、更新前の参照用画像も用いて参照用画像を更新する請求項１〜７の何れか一項に記載の位置推定システム。
【請求項９】
前記取得部は、推定用画像の画角に係る情報を取得し、
前記推定部は、前記取得部によって取得された前記推定用画像の画角に係る情報に基づいて、前記参照用画像及び前記推定用画像の少なくとも何れか一方の画像の拡大又は縮小を行って、拡大又は縮小が行われた画像を用いて、当該参照用画像と当該推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定する、請求項１〜８の何れか一項に記載の位置推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に基づいて位置を推定する位置推定システムに関する。
【背景技術】
【０００２】
従来から、撮像（撮影）によって得られた撮像画像から、当該撮像画像が撮像された位置を推定する技術が提案されている（例えば、特許文献１参照）。例えば、位置に対応付けた参照用画像を予め用意しておき、参照用画像と撮像画像とを比較して、撮像画像に類似している参照用画像に対応付けられた位置から、当該位置を推定する。【０００３】
参照用画像、及び当該参照用画像に対応付けられる位置を示す情報の用意は、例えば、特許文献１に示されるように撮像による画像の取得と当該撮像が行われた位置でのＧＰＳ（グローバルポジショニングシステム）等による測位とによって行われる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−５４７５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のような画像に基づく位置推定においては、工事等によって風景（景観）が変化した場合、同じ位置であっても過去に撮像した参照用画像と推定対象の撮像画像であるユーザ画像とが異なり正確な位置が推定できないことがある。そのため参照用画像は、現状の風景を反映したものであることが望ましい。しかしながら、上述したように撮像と測位とによる参照用画像の更新は大きな手間となる。【０００６】
本発明の一実施形態は、上記に鑑みてなされたものであり、画像を用いた位置の推定における参照用画像の更新を簡易かつ適切に行うことができる位置推定システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の一実施形態に係る位置推定システムは、参照用画像と位置を示す情報とを対応付けて記憶した参照用画像データベースと、位置推定の対象となる推定用画像を取得する取得部と、参照用画像データベースに記憶された参照用画像と取得部によって取得された推定用画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該推定用画像に係る位置を推定すると共に推定した位置の信頼度を算出する推定部と、推定部によって算出された信頼度に基づいて推定用画像を用いて参照用画像データベースに記憶される参照用画像を更新する更新部と、を備える。【０００８】
本発明の一実施形態に係る位置推定システムでは、推定用画像が用いられて参照用画像が更新されるため、参照用画像の登録のためだけの撮像及び測位を行う必要がない。また、本発明の一実施形態に係る位置推定システムでは、信頼度に基づいて参照用画像が更新されるため、適切な更新が行われる。従って、本発明の一実施形態に係る位置推定システムによれば、画像を用いた位置の推定における参照用画像の更新を簡易かつ適切に行うことができる。
【発明の効果】
【０００９】
本発明の一実施形態では、推定用画像が用いられて参照用画像が更新されるため、参照用画像の登録のためだけの撮像及び測位を行う必要がない。また、本発明の一実施形態では、信頼度に基づいて参照用画像が更新されるため、適切な更新が行われる。従って、本発明の一実施形態によれば、画像を用いた位置の推定における参照用画像の更新を簡易かつ適切に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る位置推定システムの構成を示す図である。
【図２】信頼度の時系列の変化を示すグラフである。
【図３】更新用画像の生成の例を示す図である。
【図４】画像の分割された領域を示す図である。
【図５】更新用画像の生成の別の例を示す図である。
【図６】参照用画像の更新の例を示す図である。
【図７】本発明の実施形態に係る位置推定システムで実行される処理を示すフローチャートである。
【図８】画像センサのサイズ、焦点距離及び画角の関係を示す図である。
【図９】画像のクロップを示す図である。
【図１０】画像のアンクロップを示す図である。
【図１１】アンクロップ前の画像及びアンクロップ後の画像の例を示す図である。
【図１２】画像の縦横比を変更する画像処理の例を示す図である。
【図１３】本発明の実施形態に係る位置推定システムのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面と共に本発明に係る位置推定システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
【００１２】
図１に本実施形態に係る位置推定システム１０を示す。位置推定システム１０は、画像（画像データ）に基づいて位置を推定するシステムである。具体的には、位置推定システム１０は、ユーザ端末２０によって撮像されたユーザ画像に基づいて、ユーザ端末２０の位置、具体的にはユーザ画像を撮像した位置（ユーザ位置）を推定する。また、位置推定システム１０は、位置の推定とあわせて、ユーザ画像が撮像された方向（方位）を推定することとしてもよい。
【００１３】
ユーザ端末２０は、ユーザに所持（携帯）されて利用される。ユーザ端末２０は、例えば、携帯電話機、スマートフォン又はタブレット端末である。ユーザ端末２０は、撮像装置であるカメラを備えており、撮像によってユーザ画像を取得することができる。また、ユーザ端末２０は、移動体通信機能等の通信機能を有している。位置推定システム１０とユーザ端末２０とは、移動体通信網等の通信網を介して互いに情報の送受信を行うことができる。
【００１４】
ユーザ端末２０は、自身の位置の推定を行う際に自身が備えるカメラで周囲の風景を撮像して撮像によって得られたユーザ画像を位置推定システム１０に送信する。
【００１５】
位置推定システム１０は、例えば、サーバ装置によって実現される。また、位置推定システム１０は、複数のサーバ装置、即ち、コンピュータシステムによって実現されてもよい。
【００１６】
引き続いて、本実施形態に係る位置推定システム１０の機能を説明する。図１に示すように位置推定システム１０は、参照用画像データベース１１と、取得部１２と、推定部１３と、更新部１４とを備えて構成される。
【００１７】
参照用画像データベース１１は、参照用画像と位置を示す情報とを対応付けて記憶したデータベースである。参照用画像は、画像に基づいた位置推定に用いられる位置推定システム１０に予め記憶される画像である。参照用画像に対応付けられる情報によって示される位置は、参照用画像が撮像された位置である。本実施形態では、参照用画像と位置推定の対象となる推定用画像とを比較して、それらが同じ画像であれば、参照用画像に対応付けられた情報によって示される位置を推定位置とするという考え方に基づいて画像に基づいた位置推定を行う。
【００１８】
参照用画像に対応付けられる位置を示す情報は、例えば、当該位置の緯度及び経度である。但し、位置を示す情報としてそれ以外の情報が用いられてもよい。参照用画像データベース１１は、複数の参照用画像を記憶する。適切な位置推定を行えるように、参照用画像データベース１１は、様々な位置を示す情報に対応付けられた複数の参照用画像を記憶することとしてもよい。
【００１９】
また、参照用画像データベース１１は、それぞれの参照用画像に対応付けて、方向を示す情報を記憶していてもよい。当該方向は、参照用画像が撮像された方向である。方向を示す情報を記憶することで、位置推定システム１０において、推定用画像に対して、位置に加えて方向を推定することができる。
【００２０】
参照用画像データベース１１に記憶される参照用画像、及び参照用画像に係る情報は、参照用画像に対応付いた位置での撮像及び当該位置でのＧＰＳ等での測位等によって生成される。また、後述するように、参照用画像データベース１１に記憶される参照用画像は、ユーザ画像が用いられて更新される。
【００２１】
取得部１２は、位置推定の対象となる推定用画像を取得する機能部である。具体的には、取得部１２は、ユーザ端末２０から送信されるユーザ画像を、推定用画像として受信して取得する。取得部１２は、複数のユーザ画像を取得してもよい。複数のユーザ画像を取得する場合、取得部１２は、ユーザ画像に係る時刻を示す情報を取得してもよい。ユーザ画像に係る時刻は、例えば、ユーザ画像に係る撮像が行われた時刻、又は取得部１２によってユーザ画像が受信された時刻である。ユーザ画像に係る撮像が行われた時刻を示す情報が取得される場合には、例えば、ユーザ端末２０がユーザ画像とあわせて当該時刻を示す情報を位置推定システム１０に送信し、取得部１２は、ユーザ画像とあわせて当該情報を受信する。取得部１２は、取得したユーザ画像及び情報を推定部１３及び更新部１４に出力する。
【００２２】
推定部１３は、参照用画像データベース１１に記憶された参照用画像と取得部１２によって取得されたユーザ画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該ユーザ画像に係る位置を推定すると共に推定した位置の信頼度を算出する機能部である。推定部１３は、複数の参照用画像それぞれとユーザ画像との比較を行って、参照用画像それぞれとユーザ画像と類似度を算出し、算出した類似度に基づいて推定した位置の信頼度を算出してもよい。推定部１３は、複数の手法によって当該手法毎にユーザ画像に係る位置を推定すると共に当該手法毎の位置に基づいて信頼度を算出してもよい。推定部１３は、ユーザ画像に対して画像の加工を行って複数のパターンのユーザ画像を生成し、当該パターン毎にユーザ画像に係る位置を推定すると共に当該パターン毎の位置に基づいて信頼度を算出してもよい。取得部１２によって複数のユーザ画像が取得される場合には、推定部１３は、ユーザ画像毎に信頼度を算出する。
【００２３】
具体的には推定部１３は、以下のようにユーザ画像に係る位置の推定を行う。推定されるユーザ画像に係る位置は、上述したようにユーザ画像を撮像した位置である。推定部１３は、取得部１２からユーザ画像を入力する。また、推定部１３は、参照用画像データベース１１から参照用画像を読み出す。推定部１３は、ユーザ画像と参照用画像とを比較して類似度を算出する。推定部１３は、類似度を、例えば、０％〜１００％の値で算出する。推定部１３は、ユーザ画像に対して各参照用画像との類似度を算出する。
【００２４】
類似度の算出については、ＳＩＦＴ（Scale  Invariant  Feature  Transform）と呼ばれる手法等を用いて特徴点又は特徴量を抽出して、あるいは輪郭、エッジを抽出して双方の画像の特徴点又は輪郭等のマッチングを行って類似度を算出する方法を用いることができる。あるいは、色調のヒストグラムを比較して類似度を算出することとしてもよい。あるいは、ニューラルネットワークによる深層学習（Deep  Learning）技術を用いて類似度を算出することとしてもよい。
【００２５】
１枚の参照用画像のみに対して、参照用画像とユーザ画像との類似度が１００％であった場合、即ち参照用画像とユーザ画像とに１００％の一致が見られた場合、推定部１３は、当該参照用画像に対応付けられて参照用画像データベース１１に記憶された情報によって示される位置、即ち当該参照用画像の位置をユーザ画像に係る位置と推定する。
【００２６】
但し、１００％の一致が見られることはまれであり、多くの場合においては複数の参照用画像について０％を超える類似度が算出される。この場合、推定部１３は、最も類似度が高い参照用画像の位置を、ユーザ画像に係る位置と推定してもよい。あるいは、推定部１３は、０％を超える類似度が算出された複数の参照用画像について、類似度の合計が１００％になるように類似度の正規化を行い、正規化後の類似度で参照用画像の位置に重み付けを行った重心位置をユーザ画像に係る位置と推定してもよい。
【００２７】
また、推定部１３は、以下のように互いに異なる複数の手法によって当該手法毎にユーザ画像に係る位置を推定してもよい。推定部１３は、上述した互いに異なる複数の手法で参照用画像とユーザ画像との類似度を算出して、当該手法毎に上記のように位置推定を行う。どのような手法で類似度を算出するかは、予め推定部１３に記憶されている。推定部１３は、それぞれの手法毎に推定した位置の重心を算出して、重心位置をユーザ画像に係る位置と推定する。
【００２８】
また、推定部１３は、ユーザ画像に対して画像の加工（画像処理）を行って複数のパターンのユーザ画像を生成し、当該パターン毎にユーザ画像に係る位置を推定してもよい。画像の加工としては、例えば、明るさの変更、コントラストの変更、及び画像の一部の領域をマスクしたりノイズを入れたりする加工等がある。推定部１３は、ユーザ画像に対してそれぞれの画像処理を施して複数のパターンのユーザ画像を生成する。どのような加工を行うかは、予め推定部１３に記憶されている。１種類の加工方法について変更の具合を変化させて複数のパターンのユーザ画像を生成してもよいし、互いに異なる複数の加工方法によって複数のパターンのユーザ画像を生成してもよい。推定部１３は、複数のパターンのユーザ画像それぞれについて参照用画像との類似度を算出して、当該パターン毎に上記のように位置推定を行う。推定部１３は、それぞれのパターン毎に推定した位置の重心を算出して、重心位置をユーザ画像に係る位置と推定する。
【００２９】
上述した複数の手法、及び複数のパターンのユーザ画像に基づく、ユーザ画像に係る位置の推定は、後述する推定した位置の信頼度の算出に役立つ。つまり、ユーザ画像に係る位置の推定に用いた複数の位置のばらつきが小さければ、その推定位置は強固であり精度が高いとみなすことができる。
【００３０】
推定部１３は、推定した位置の信頼度を算出する。信頼度は、位置推定の確からしさを示す指標である。具体的には推定部１３は、以下のように信頼度を算出する。１枚の参照用画像のみに対して、参照用画像とユーザ画像との類似度が０％を超える値であった場合、推定部１３は、その類似度を信頼度とする。複数の参照用画像に対して０％を超える類似度が算出された場合、推定部１３は、算出された（正規化されていない）類似度の合計値が１（１００％）にどの程度近いかで信頼度を算出する。例えば、参照用画像Ａ，Ｂ，Ｃについて（正規化されていない）類似度がそれぞれ４０％，３０％，３０％と算出された場合、即ち、類似度の合計値が１００％になる場合、その重心位置は極めて真の位置に近しいと推定できるため信頼度を１００％（＝１００／１００）とする。類似度合計値が１００％より小さい場合、信頼度をその類似度合計値とする。
【００３１】
類似度合計値が１００％より大きくなる場合、１００をその類似度合計値で割った値を信頼度とする。例えば、類似度合計値が２００％であった場合、１００／２００＝５０％を信頼度とする。類似度合計値が１００％を超える場合は、１００％を超えるほど類似度の計算値に信頼度がないとし、推定された位置も信頼度がないとみなす。
【００３２】
この信頼度の算出（特に類似度合計値が１００％を超える場合）は、参照用画像の位置が過密ではないことを前提とする。参照用画像の位置が非常に過密であり、ある位置のごく近傍に複数の参照用画像の位置がある場合は、それぞれの参照用画像の位置の近傍で撮像されたユーザ画像とそれぞれの参照用画像との間で算出される類似度は１００％に近い値となり、よって類似度合計値が１００％を超えることになる。一方、この場合に推定された位置は、参照用画像の位置の近傍で撮像されたものであるため、参照用画像の位置を用いて推定されるユーザ画像の位置はかなり精度が高いという場合もあり得る。しかしながら、通常、参照用画像の位置が過密となる、即ち、密集した位置にそれぞれ対応付けられた参照用画像が用意されることはなく、上記のような前提で算出してもよい。但し、類似度合計値が１００％を超える場合は、類似度が０％を超える参照用画像の位置同士の距離を算出し、その距離が小さい場合、即ち、（上記の前提とは異なり）参照用画像の位置が過密である場合には信頼度を高くしてもよい。
【００３３】
また、複数の手法で参照用画像とユーザ画像との類似度を算出して位置推定を行った場合、推定部１３は、手法毎に推定された位置に基づいて信頼度を算出してもよい。例えば、推定部１３は、手法毎に推定された位置のばらつき具合を示す値を信頼度として算出する。当該ばらつき具合を示す値は、手法毎に推定されたそれぞれの位置と当該位置の重心位置との距離の平均等として算出される。この場合、上記の類似度を用いて算出される信頼度とは異なり、値が小さい（０に近い）ほうが信頼度が高い。
【００３４】
また、画像の加工によって複数のパターンのユーザ画像を用いて位置推定を行った場合、推定部１３は、パターン毎に推定された位置に基づいて信頼度を算出してもよい。例えば、推定部１３は、パターン毎に推定された位置のばらつき具合を示す値を信頼度として算出する。当該ばらつき具合を示す値は、パターン毎に推定されたそれぞれの位置と当該位置の重心位置との距離の平均等として算出される。この場合、上記の類似度を用いて算出される信頼度とは異なり、値が小さい（０に近い）ほうが信頼度が高い。
【００３５】
なお、参照用画像とユーザ画像との比較に基づく位置の推定及び信頼度の算出は、上記の方法に限られず、従来の技術を含む任意の方法で行われてもよい。また、推定部１３は、位置の推定と同様の方法でユーザ画像に係る方向（方位）、具体的には、ユーザ画像を撮像した方向を推定してもよい。また、信頼度の算出の際に位置と同様に方向を考慮してもよい。
【００３６】
推定部１３は、推定したユーザ画像に係る位置及び算出した信頼度を示す情報、並びに推定に用いたユーザ画像を更新部１４に出力する。また、推定部１３は、ユーザ端末２０からのユーザ画像の受信に応じた、推定した位置を示す情報の出力を行う。例えば、推定部１３は、ユーザ画像の送信元であるユーザ端末２０に推定した位置を示す情報を送信する。また、推定した位置を示す情報の出力は、上記以外での任意の方法によって行われてもよい。
【００３７】
推定部１３は、参照用画像及びユーザ画像の少なくとも何れか一方の画像に対して歪み補正を行うこととしてもよい。参照用画像あるいはユーザ画像の撮像において、利用するカメラ及びレンズの性質によって画像に歪み（レンズディストーション、歪曲収差）が発生することがある。画像が広角になるほど類似度算出に利用できる特徴が増加するため位置推定精度が向上するが、一方で画像の歪みによって正確な類似度が算出できない可能性がある。例えば、参照用画像がたる型の歪み、ユーザ画像が糸巻き型の歪みというように歪みの種類が異なったり、あるいは同種の歪みでも歪みの程度が異なったりする場合、類似度の算出時に影響を及ぼす。そのため、推定部１３は、既存の歪み補正技術により、参照用画像及びユーザ画像の何れか、又は両方に対して歪み補正を行ってから、上記の類似度算出を行ってもよい。この処理により、位置推定の精度を向上させることができる。
【００３８】
更新部１４は、推定部１３によって算出された信頼度に基づいてユーザ画像を用いて参照用画像データベース１１に記憶される参照用画像を更新する機能部である。更新部１４は、推定された位置に応じた複数のユーザ画像の信頼度の変化に基づいて参照用画像を更新してもよい。更新部１４は、ユーザ画像に写っている移動物体を検出して、当該検出に基づいて参照用画像を更新してもよい。更新部１４は、推定された位置に応じた複数のユーザ画像から１枚の更新用画像を生成して、生成した更新用画像を用いて参照用画像を更新してもよい。更新部１４は、更新前の参照用画像も用いて参照用画像を更新してもよい。
【００３９】
具体的には更新部１４は、以下のように参照用画像の更新を行う。更新部１４は、推定部１３から、推定されたユーザ画像に係る位置及び算出された信頼度を示す情報、並びに推定に用いられたユーザ画像を入力する。更新部１４は、推定部１３から入力された情報によって示される信頼度に基づいて、参照用画像の更新を行うか否かを判定する。
【００４０】
例えば、更新部１４は、信頼度が予め設定される範囲に入っているか否かによって参照用画像の更新を行うか否かを判定する。具体的には、更新部１４は、信頼度と予め設定した基準（閾値）とを比較して、信頼度が予め設定した基準（閾値）以上である場合、更新部１４は、参照用画像の更新を行うと判定する。推定された位置の信頼度が高い場合、当該位置の推定に用いられたユーザ画像は、参照用画像として適切であると考えられるためである。
【００４１】
あるいは、更新部１４は、複数のユーザ画像に係る時系列の信頼度を記憶しておき、時系列の信頼度の変化から参照用画像の更新を行うか否かを判定してもよい。この場合、上述したように取得部１２によってユーザ画像に係る時刻を示す情報が取得される。更新部１４は、推定された位置毎に信頼度を参照して判定を行う。例えば、更新部１４は、位置の推定対象となるエリアを複数の区画（例えば、メッシュ）に区切って区画毎に区画に含まれる推定位置の時系列の信頼度を参照する。メッシュの大きさは、例えば、当該メッシュに含まれる位置同士が、数１０ｃｍ〜１ｍ程度の距離以内となるような近傍となるように設定される。
【００４２】
更新部１４は、予め設定した期間、例えば、更新を判断する時点（現時点）から一定時間遡った期間における信頼度から参照用画像の更新を行うか否かを判定する。更新部１４は、当該期間における信頼度の下落と予め設定した閾値とを比較して、当該下落が閾値以上であれば参照用画像の更新を行うと判定する。図２に信頼度が下落した場合のグラフを示す。図２は、横軸を時刻、縦軸を信頼度としたグラフである。図２では、時刻ｔ１から時刻ｔ２にかけて信頼度が下落しており、下落した分が閾値以上であれば参照用画像の更新を行うと判定される。
【００４３】
あるいは、更新部１４は、信頼度と予め設定した閾値（下落の閾値とは異なる）とを比較して、当該期間において信頼度が閾値を上回った状態から下回った状態に変化していたら参照用画像の更新を行うと判定する。上記のように信頼度が一定値以上低下したり、閾値を下回ったりした場合、工事等の何らかの理由によって風景が変化したと考えられるため、参照用画像の更新を行うと判定する。
【００４４】
更新部１４は、参照用画像の更新を行うと判定した場合、以下のように参照用画像を更新する。更新部１４は、１枚のユーザ画像から推定された信頼度のみから参照用画像の更新を行うと判定した場合、当該ユーザ画像自体を参照用画像としてもよい。その場合の参照用画像に対応付けられる位置は、当該ユーザ画像に対して推定部１３によって推定された位置である。この場合、当該ユーザ画像に対して推定部１３によって推定された位置と同一のメッシュの位置に対応付けられた参照用画像は参照用画像データベース１１から削除されてもよい。即ち、更新部１４は、ユーザ画像を新たな参照用画像として置き換えてもよい。
【００４５】
あるいは、更新部１４は、以下のようにユーザ画像から参照用画像の更新に用いられる更新用画像を設定又は生成して更新を行ってもよい。更新部１４は、参照用画像を更新するとされた区画の最新のユーザ画像を更新用画像とする。更新用画像とするユーザ画像には、人及び車（例えば、自動車）等の位置推定（参照用画像とユーザ画像との比較処理）においてノイズとなる移動物体が写り込んでいる可能性がある。移動物体を参照用画像に反映させることは避けるべきである。そのため、更新部１４は、ユーザ画像から移動物体を除去した更新用画像を生成してもよい。
【００４６】
例えば、更新部１４は、画像認識・物体検出アルゴリズム（例えば、ＹＯＬＯ（You  Only  Look  Once））を用いて物体検出を行い、人及び車等の移動物体の領域を特定する。例えば、図３（ａ）に示すように、ユーザ画像における、人及び車等の移動物体が写った領域Ｍが特定される。更新部１４は、例えば、図３（ｂ）に示すように特定した領域Ｍを切り取った画像を更新用画像として生成する。切り取った領域Ｍの部分は、画像無しとして扱う。即ち、当該部分は、ユーザ画像との比較の際に特徴量等を抽出する範囲の対象外とする等とされる。なお、移動物体の領域がない場合には、更新部１４は、ユーザ画像の領域を切り取らずに更新用画像としてもよい。
【００４７】
更新部１４は、複数のユーザ画像から更新用画像を生成してもよい。更新用画像の生成に用いる複数のユーザ画像は、上記の予め設定した期間において推定された位置が同じ位置又は近傍であるユーザ画像である。例えば、更新部１４は、上記の期間において推定された位置が同一の区画に含まれる複数のユーザ画像を、更新用画像の生成に用いるユーザ画像とする。
【００４８】
更新部１４は、複数のユーザ画像のうち何れかを、生成する更新用画像のベースとする。更新部１４は、例えば、更新用画像の生成に用いる複数のユーザ画像のうち、最も新しいユーザ画像を生成する更新用画像のベースとする。更新部１４は、図４に示すように当該ベースとしたユーザ画像を複数の領域に分割する。図４に示すユーザ画像の領域のうち、ハッチングがされた領域は“Ｃ４”である。
【００４９】
更新部１４は、ベースのユーザ画像の領域のうち、移動物体が写っている領域を特定する。当該領域の特定は、上記と同様に行うことができる。更新部１４は、当該領域を、当該領域に対応する別のユーザ画像の領域の画像で置き換えて更新用画像を生成する。置き換える別のユーザ画像の領域は、移動物体が写っていない領域とする。あるいは、更新部１４は、別のユーザ画像で共通する風景が写っている領域で、ベースのユーザ画像では当該風景とは異なる物体が写っている領域を、当該別のユーザ画像の領域の画像で置き換えて更新用画像を生成する。
【００５０】
図５を用いて３枚のユーザ画像から更新用画像を生成する例を示す。図５（ａ）〜（ｃ）の画像がそれぞれ更新用画像を生成するためのユーザ画像であり、そのうち図５（ａ）の画像がベースのユーザ画像である。図５（ｄ）の画像が生成される更新用画像である。ベースのユーザ画像の“Ａ５”の領域には、車が写っているが、ベース以外のユーザ画像の対応する領域は同一の風景が写っている。そこで、ベースのユーザ画像の“Ａ５”の領域を図５（ｂ）又は図５（ｃ）の対応する領域の画像で上書きする。同様に別の領域（例えば、“Ｃ３”及び“Ｄ４”の領域）についてもベースのユーザ画像を別のユーザ画像で上書きする。
【００５１】
上記の例では、わかりやすく２４分割としているが、分割数を十分に多く、かつ更新用画像の生成に用いるユーザ画像の数を多くすることで移動物体を除去できる可能性を高くすることができる。なお、複数のユーザ画像を、同一の位置を同一の範囲に画像として収めた画像、即ち、同じ位置の画像とすることは困難である。そのため、複数のユーザ画像間で画像上の位置と当該位置に写っている場所の位置のずれを、画像の特徴点、及び画像に写っている物体の輪郭、エッジ等を用いて直してから、即ち、位置合わせを行ってから、更新用情報の生成を行ってもよい。位置合わせは、写っている重複部分の重ね合わせを行うことである。当該重ね合わせでは、例えば、画像の平行移動、拡大、縮小等が行われる。ここでは、ベース以外のユーザ画像をベースのユーザ画像に合わせるように位置合わせを行う。
【００５２】
更新部１４は、生成した更新用画像を用いて参照用画像の更新を行う。例えば、更新部１４は、更新用画像を新たな参照用画像として置き換えてもよい。あるいは、更新部１４は、更新前の参照用画像と生成した更新用画像とを用いて参照用画像の更新を行ってもよい。例えば、更新部１４は、以下のように更新を行う。
【００５３】
更新部１４は、更新用画像のベースとなったユーザ画像に対する位置の推定の際に類似度が算出された（類似度が０％を超える値であった）参照用画像を更新の対象とする。例えば、類似度が６０％であった参照用画像であった場合、移動物体及び工事等による風景変更の影響にもよるが、参照用画像の概ね６０％の領域が更新対象となる。
【００５４】
更新部１４は、更新用画像と更新対象となる参照用画像との間で、上述した画像間の位置合わせを行う。ここでは、ここでは、更新用画像を参照用画像に合わせるように位置合わせを行う。更新部１４は、更新対象となる参照用画像の更新用画像と一致（重複）する領域を更新用画像で上書きして、更新後の参照用画像とする。
【００５５】
図６を用いて更新用画像の更新の例を示す。図６（ａ）及び図６（ｂ）の画像が、更新前の参照用画像である。図６（ｃ）の画像が、更新用画像である。図６（ａ）の参照用画像に係る類似度は６０％であり、図６（ｂ）の参照用画像に係る類似度は４０％である。図６（ａ）の参照用画像の右側の概ね６０％の領域が、更新用画像の左側の概ね６０％の領域で上書きされて、図６（ｄ）の更新後の参照用画像とされる。図６（ｄ）の更新後の参照用画像では、車が除去され家に窓が追加されている。図６（ｂ）の参照用画像の左側の概ね４０％の領域が、更新用画像の右側の概ね４０％の領域で上書きされて、図６（ｅ）の更新後の参照用画像とされる。図６（ｅ）の更新後の参照用画像では、木に実が付いている。
【００５６】
類似度が１００％の参照用画像については、更新部１４は、位置合わせをせずに更新用画像を新たな参照用画像として置き換えてもよい。なお、類似度の算出方法にもよるが、特徴点が検出されない部分等もあるため、類似度が１００％だからといって必ずしも完全に同一の画像というわけではなく、参照用画像を更新する意味はある。
【００５７】
また、更新用画像のベースとなったユーザ画像から推定された位置の信頼度が１００％である場合には、推定された位置が確かであるため、当該更新用画像を参照用画像として新たに参照用画像データベース１１に追加してもよい。その場合の参照用画像に対応付けられる位置は、当該ユーザ画像に対して推定部１３によって推定された位置である。上記のように更新された参照用画像は、以降の位置推定に用いられる。
【００５８】
なお、参照用画像の更新には、位置だけでなく方向も考慮されてもよい。例えば、ユーザ画像に対して推定部１３によって推定された方向を基準とした一定の範囲の方向に対応付けられた参照用画像が更新対象とされてもよい。また、信頼度の変化を判断するための複数のユーザ画像、及び更新用画像を生成するためのユーザ画像としては、同一の区画内の位置が推定されただけでなく、一定の範囲の方向が推定されたものを用いることとしてもよい。以上が、本実施形態に係る位置推定システム１０の機能である。
【００５９】
引き続いて、図７のフローチャートを用いて、本実施形態に係る位置推定システム１０で実行される処理（位置推定システム１０が行う動作方法）を説明する。本処理では、まず、取得部１２によって、ユーザ画像が取得される（Ｓ０１）。続いて、推定部１３によって、参照用画像データベース１１に記憶された参照用画像と取得部１２によって取得されたユーザ画像との比較が行われて、当該参照用画像に対応付けられた位置を示す情報から当該ユーザ画像に係る位置が推定されると共に推定された位置の信頼度が算出される（Ｓ０２）。続いて、推定部１３によって、推定された位置を示す情報が出力される（Ｓ０３）。
【００６０】
また、更新部１４によって、推定部１３によって算出された信頼度に基づいてユーザ画像を用いて参照用画像データベース１１に記憶される参照用画像を更新するか否かが判定される（Ｓ０４）。参照用画像を更新しないと判定された場合（Ｓ０４のＮＯ）、本処理は終了する。参照用画像を更新すると判定された場合（Ｓ０４のＹＥＳ）、更新部１４によって、更新用画像が生成される（Ｓ０５）。続いて、更新部１４によって、更新用画像が用いられて、参照用画像データベース１１に記憶される参照用画像が更新される（Ｓ０６）。以上が、本実施形態に係る位置推定システム１０で実行される処理である。
【００６１】
上述したように本実施形態では、ユーザ画像が用いられて参照用画像が更新されるため、参照用画像の登録のためだけの撮像及び測位を行う必要がない。また、本実施形態では、信頼度に基づいて参照用画像が更新されるため、適切な更新が行われる。従って、本実施形態によれば、画像を用いた位置の推定における参照用画像の更新を簡易かつ適切に行うことができる。
【００６２】
また、本実施形態のように複数の参照用画像に対する類似度に基づいて信頼度を算出してもよい。あるいは、類似度の算出の手法等の手法毎に推定された位置に基づいて信頼度を算出してもよい。あるいは、画像の加工による複数の画像のパターン毎に推定された位置に基づいて信頼度を算出してもよい。これらの構成によれば、適切かつ確実に信頼度を算出することができる。その結果、適切かつ確実に参照用画像の更新を行うことができる。但し、信頼度の算出は、必ずしも上記の方法で行われる必要はなく、上記の方法以外で行われてもよい。
【００６３】
また、本実施形態のように複数のユーザ画像の信頼度の変化、例えば、時系列の変化に基づいて参照用画像を更新してもよい。この構成によれば、上述したように適切に参照用画像の更新の判定を行うことができ、その結果、適切に参照用画像の更新を行うことができる。
【００６４】
また、本実施形態のようにユーザ画像に写っている移動物体を検出して、当該検出に基づいて参照用画像を更新してもよい。この構成によれば、参照用画像データベースに記憶される参照用画像が、移動物体が写ったものとなることを防止することができる。
【００６５】
また、本実施形態のように複数のユーザ画像から更新用画像を生成して、生成した更新用画像を用いて参照用画像を更新してもよい。また、更新前の参照用画像も用いて、参照用画像を更新してもよい。これらの構成によれば、上述したように参照用画像を適切なものにすることができる。
【００６６】
なお、本実施形態では、位置の推定対象となる推定用画像は、ユーザ端末２０によって撮像されて送信されたユーザ画像であったが、推定用画像としては任意の画像を用いることができる。
【００６７】
上述した実施形態では、各画像の画角については考慮していなかった。参照用画像とユーザ画像との画角が一致していればよいが、それらの画角が一致していない場合、誤って位置が推定されるおそれがある。そこで、以下のように画角を考慮した構成を取ってもよい。
【００６８】
この場合、ユーザ端末２０は、ユーザ画像の送信とあわせて当該ユーザ画像の画角に係る情報を位置推定システム１０に送信する。ユーザ端末２０から位置推定システム１０に送信される画角に係る情報としては、画角自体を示す情報であってもよいし、画角を算出するための情報であってもよい。画角自体の情報である場合、当該情報は、例えば、ユーザ画像の縦方向（垂直方向）の画角及び横方向（水平方向）の画角の情報である。画角を算出するための情報は、例えば、カメラの画像センサの縦方向及び横方向のサイズ、並びに撮像時の焦点距離の情報である。位置推定システム１０は、これらをユーザ端末２０から受信して位置の推定に用いる。
【００６９】
この場合、位置推定システム１０は、以下の構成を取る。参照用画像データベース１１は、参照用画像に対応付けて当該参照用画像の画角に係る情報を記憶することとしてもよい。参照用画像データベース１１によって記憶される参照用画像は、当該参照用画像の画角（当該参照用画像が撮像された際の画角）が把握されているものである。参照用画像データベース１１は、それぞれの参照用画像の画角が異なる場合には、それぞれの参照用画像に対応付けて当該参照用画像の画角に係る情報、具体的には当該画角を示す情報を記憶することとしてもよい。それぞれの参照用画像に対応付けて記憶される情報は、例えば、当該参照用画像の縦方向の画角及び横方向の画角の情報である。
【００７０】
取得部１２は、ユーザ画像の画角に係る情報を取得する。取得部１２は、ユーザ画像の画角に係る情報として、当該画角を算出するための情報を取得することとしてもよい。具体的には、取得部１２は、ユーザ端末２０からユーザ画像とあわせて送信される当該ユーザ画像の画角に係る情報を受信して取得する。ユーザ画像の画角に係る情報は、例えば、上述したように画角自体を示す情報である。あるいは、ユーザ画像の画角に係る情報は、画角を算出するための情報であってもよい。当該情報は、例えば、上述したようにカメラの画像センサの縦方向及び横方向のサイズ、並びに撮像時の焦点距離の情報である。取得部１２は、取得した情報を推定部１３に出力する。
【００７１】
推定部１３は、取得部１２によって取得されたユーザ画像の画角に係る情報に基づいて、参照用画像及びユーザ画像の少なくとも何れか一方の画像の拡大又は縮小を行う。推定部１３は、参照用画像の画角に係る情報にも基づいて、画像の拡大又は縮小を行うこととしてもよい。推定部１３は、画角を算出するための情報から画角を算出して、算出した画角に基づいて、画像の拡大又は縮小を行うこととしてもよい。推定部１３は、参照用画像及びユーザ画像の縦横比を合わせる画像処理を行い、画像の拡大又は縮小を行うこととしてもよい。
【００７２】
推定部１３は、取得部１２からユーザ画像及び情報を入力する。推定部１３から入力したユーザ画像の画角に係る情報が、当該画角を算出するための上述した情報であった場合、推定部１３は、例えば、以下のように画角を算出する。図８に示すように画像センササイズ（図８に示す画像センサ２１の長さ）Ｓ、焦点距離Ｆ及び画角Ａの間には下記の関係が成立する。
画像センササイズＳ／（２×焦点距離Ｆ）＝ｔａｎ（画角Ａ／２）
従って、推定部１３は、逆三角関数ａｒｃｔａｎｇｅｎｔを用いて下記の式によって画角Ａを算出する。
画角Ａ＝２×ａｒｃｔａｎ（画像センササイズＳ／（２×焦点距離Ｆ））
なお、縦方向の画角を求める場合には、画像センサの縦方向のサイズ（長さ）を用い、横方向の画角を求める場合には、画像センサの横方向のサイズ（長さ）を用いる。
【００７３】
なお、画角を算出するための情報及び画角の算出方法は、上記以外のものが用いられてもよい。例えば、ユーザ画像の撮像に用いられたカメラの機種を示す情報が、画角を算出するための情報として用いられてもよい。
【００７４】
取得部１２によって取得されたユーザ画像は、位置推定のために参照用画像データベース１１に記憶された各参照用画像と比較される。ユーザ画像と参照用画像とを比較する前に、推定部１３は、ユーザ画像又はユーザ画像の一方を基準として、もう一方の画像を基準の画角に合わせて拡大又は縮小する。なお、画角に応じた画像の拡大又は縮小は、画像の縦及び横双方について行われる。
【００７５】
画角を合わせる方の画像が、基準の画角よりも大きい場合、推定部１３は、画像の縮小として画像のクロップ（切り抜き、切り取り）を行う。画角を合わせる方の画像が、基準の画角よりも小さい場合、推定部１３は、画像の拡大として画像のアンクロップ（塗り足し）を行う。
【００７６】
推定部１３は、取得部１２から入力した情報によって示されるユーザ画像の画角又は上記のように算出したユーザ画像の画角と、参照用画像データベース１１に記憶された参照用画像の画角とを参照して画像のクロップ又はアンクロップを行う。なお、ユーザ画像と参照用画像との画角が同一である場合、推定部１３は、画像の拡大及び縮小を行わない。
【００７７】
画角Ｘ＞画角Ｙである画角Ｘの画像を画角Ｙに合わせる処理であるクロップの処理を説明する。推定部１３は、クロップ後の画像の長さＬの元画像に対する割合を、三角関数ｔａｎｇｅｎｔを用いた以下の式により算出する。
クロップ後の画像の長さの元画像に対する割合＝ｔａｎ（Ｙ／２）／ｔａｎ（Ｘ／２）
続いて、図９に示すように、推定部１３は、画像の中心線を基準に上記で算出した割合で元画像の切り出し処理を行って、画角Ｙの画像を生成する。上記の割合の算出及び切り出し処理は、画像の縦方向及び横方向それぞれについて行われる。なお、図９では、縦方向の画角をＸ，Ｙ、クロップ後の画像の長さをＬとし、横方向の画角をＸ´，Ｙ´、クロップ後の画像の長さをＬ´としている。
【００７８】
画角Ｘ＜画角Ｙである画角Ｘの画像を画角Ｙに合わせる処理であるアンクロップの処理を説明する。推定部１３は、アンクロップ後の画像の長さＬの元画像に対する割合を、三角関数ｔａｎｇｅｎｔを用いた以下の式により算出する。
アンクロップ後の画像の長さの元画像に対する割合＝ｔａｎ（Ｙ／２）／ｔａｎ（Ｘ／２）
なお、上記の式は、画角Ｘ，Ｙの大小によらない。即ち、上記の式は、画角Ｘ＞画角Ｙの場合と同様である。続いて、図１０に示すように、推定部１３は、画像の中心線を基準に上記で算出した割合で画像の塗り足し処理を行って、画角Ｙの画像を生成する。画角Ｙの画像のうち、元画像に含まれない部分、即ち塗り足しを行う部分については、当然ながら何が写っているか未知の領域であるため、予め設定した色（例えば、白又は黒）にて補間を行うことで画角Ｙの画像を生成する。上記の割合の算出及び塗り足し処理は、画像の縦方向及び横方向それぞれについて行われる。なお、図１０では、縦方向の画角をＸ，Ｙ、アンクロップ後の画像の長さをＬとし、横方向の画角をＸ´，Ｙ´、アンクロップ後の画像の長さをＬ´としている。図１１にアンクロップ前の画像及びアンクロップ後の画像の例を示す。
【００７９】
なお、上記の図９及び図１０の例では、画像の縦方向及び横方向の何れも、画角Ｘ＞画角Ｙ、又は画角Ｘ＜画角Ｙとなっていた。しかしながら、縦方向及び横方向の一方が、画角Ｘ＞画角Ｙであり、もう一方が画角Ｘ＜画角Ｙとなっている場合もある。その場合、画角Ｘ＞画角Ｙとなっている方向については上記と同様にクロップを行い、画角Ｘ＜画角Ｙとなっている方向については上記と同様にアンクロップを行えばよい。
【００８０】
推定部１３は、例えば、参照用画像毎、即ちユーザ画像と各参照用画像との組み合わせ毎に上記のユーザ画像のクロップ又はアンクロップを行う。但し、画角が同一である参照用画像に対してはユーザ画像のクロップ又はアンクロップは一度だけ行われればよい。例えば、参照用画像データベース１１に記憶された参照用画像の画角が全て同一であれば、全ての参照用画像に対してユーザ画像のクロップ又はアンクロップは一度だけ行われればよい。この場合、参照用画像データベース１１に参照用画像に対応付けて画角を記憶させておく必要はなく、推定部１３は、予め一律である参照用画像の画角を記憶しておき、その画角に基づいてユーザ画像のクロップ又はアンクロップを行えばよい。また、推定部１３は、ユーザ画像に対して、参照用画像のクロップ又はアンクロップを行うこととしてもよい。
【００８１】
参照用画像とユーザ画像との画角合わせ処理については、上述したように縦方向及び横方向それぞれに対してクロップあるいはアンクロップ処理を行ってもよいが、別の方法として、まず画像の縦横比（アスペクト比）を合わせる画像処理を行った後、縦方向及び横方向のどちらか一方について縦横比を維持しつつ画角合わせの処理を行ってもよい。
【００８２】
縦横比が大きい画像の縦横比を小さくする場合は、横方向のサイズを基準として、元画像の上下をアンクロップすることとすればよい。例えば、図１２（ａ）に示すように縦横比が１６：９の画像を４：３にする場合には、画像の上下をアンクロップする。縦横比が小さい画像の縦横比を大きく場合は、縦方向のサイズを基準として、元画像の左右をアンクロップすることとすればよい。例えば、図１２（ｂ）に示すように縦横比が４：３の画像を１６：９にする場合には、画像の左右をアンクロップする。なお、この際、アンクロップを行う方向の画角（アンクロップ領域も含む画角）は、基準方向の画角に基づいて縦横比に応じた割合で算出する。
【００８３】
上記はアンクロップで縦横比を合わせた例であるが、逆にクロップによって縦横比を合わせることもできる。例えば、図１２（ａ）に示す場合、左右を切り取って４：３とする。但し、この場合、画像領域を切り落とすことで後述する画像の比較に用いる領域が狭くなり、位置推定精度の劣化につながる懸念がある。
【００８４】
クロップ又はアンクロップを行った後の参照用画像とユーザ画像との画像サイズを一致させる必要はない。但し、推定部１３において、比較する画像同士の画像サイズが一致している必要がある画像の比較を行う場合には、推定部１３は、画像に対して上述したクロップ又はアンクロップを行った後に、参照用画像とユーザ画像との画像のサイズを、一方の画像全体を拡大又は縮小することで一致させる。
【００８５】
推定部１３は、拡大又は縮小が行われた画像を用いて、参照用画像とユーザ画像との比較を行って、当該参照用画像に対応付けられた位置を示す情報から当該ユーザ画像に係る位置を推定する。具体的には推定部１３は、以下のように推定を行う。推定は、上述した実施形態と同様に行われればよい。
【００８６】
なお、アンクロップにより補完した領域については、特徴量等を抽出する範囲の対象外としたり、あるいは特徴量等が抽出されない色（例えば、上述した白又は黒）で保管を行うこととしたりして、類似度の算出には利用しないようにする。アンクロップによって補完された領域は元画像に写っていない“未知”の領域であるため、類似性が見いだされるべきではなく、もし類似性が見いだされたとしたらそれはノイズというべきものであるためである。但し、アンクロップによって生成された画像全体、即ち、アンクロップによって生成された部分を含む画像のサイズについては、類似度の算出に用いられる。
【００８７】
ユーザがカメラのズーム機能を用いる等して、ユーザ画像が狭い画角となった場合、参照用画像との比較及び類似度の算出の際に十分な量の特徴又は輪郭を得られないことがある。その結果、数多くの参照用画像に対して類似度が算出されてしまい、位置推定の精度が落ちることがある。これを防ぐため、ユーザ画像の撮像時に画角が予め設定した一定値以下であった場合、即ち、受信したユーザ画像の画角が一定値以下であった場合、及び類似度の算出時に予め設定した一定数以上の参照用画像に対して一定値（例えば０％）を超える類似度が算出された場合に位置推定失敗と扱ったり、エラー又は警告を出したりしてもよい。
【００８８】
上述した構成では、ユーザ画像の画角が考慮されて画像の拡大又は縮小が行われて、ユーザ画像に係る位置が推定される。従って、画像を用いた位置の推定を高精度に行うことができる。また、その結果、適切に参照用画像を更新することができる。また、画角を合わせる画像処理を行った場合、画像処理後の画像を用いて上記の参照用画像の更新を行うこととしてもよい。
【００８９】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【００９０】
例えば、本開示の一実施の形態における位置推定システム１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図１３は、本開示の一実施の形態に係る位置推定システム１０のハードウェア構成の一例を示す図である。上述の位置推定システム１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、ユーザ端末２０も同様のハードウェアによって構成されていてもよい。
【００９１】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。位置推定システム１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００９２】
位置推定システム１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【００９３】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）によって構成されてもよい。例えば、上述の位置推定システム１０における各機能は、プロセッサ１００１によって実現されてもよい。
【００９４】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、位置推定システム１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００９５】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００９６】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。位置推定システム１０が備える記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【００９７】
通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００９８】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００９９】
また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【０１００】
また、位置推定システム１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
【０１０１】
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１０２】
入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１０３】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１０４】
本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【０１０５】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【０１０６】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【０１０７】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital  Subscriber  Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【０１０８】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【０１０９】
サーバ（位置推定システム１０）及びクライアント（ユーザ端末２０）の少なくとも一方は、送信装置、受信装置、通信装置などと呼ばれてもよい。なお、サーバ及びクライアントの少なくとも一方は、移動体に搭載されたデバイス、移動体自体などであってもよい。当該移動体は、乗り物（例えば、車、飛行機など）であってもよいし、無人で動く移動体（例えば、ドローン、自動運転車など）であってもよいし、ロボット（有人型又は無人型）であってもよい。なお、サーバ及びクライアントの少なくとも一方は、必ずしも通信動作時に移動しない装置も含む。例えば、ユーザ端末２０は、センサなどのＩｏＴ（Internet  of  Things）機器であってもよい。
【０１１０】
また、本開示におけるサーバは、クライアント端末で読み替えてもよい。例えば、サーバ及びクライアント端末間の通信を、複数のユーザ端末間の通信（例えば、Ｄ２Ｄ（Device-to-Device）、Ｖ２Ｘ（Vehicle-to-Everything）などと呼ばれてもよい）に置き換えた構成について、本開示の各態様／実施形態を適用してもよい。この場合、上述のサーバが有する機能をクライアント端末が有する構成としてもよい。
【０１１１】
同様に、本開示におけるクライアント端末は、サーバで読み替えてもよい。この場合、上述のクライアント端末が有する機能をサーバが有する構成としてもよい。
【０１１２】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１１３】
本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【０１１４】
本開示において、例えば、英語でのa,  an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【０１１５】
本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【０１１６】
１０…位置推定システム、１１…参照用画像データベース、１２…取得部、１３…推定部、１４…更新部、２０…ユーザ端末、２１…画像センサ、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。
【図１】
2020137069.tif 000003
【図２】
2020137069.tif 000004
【図３】
2020137069.tif 000005
【図４】
2020137069.tif 000006
【図５】
2020137069.tif 000007
【図６】
2020137069.tif 000008
【図７】
2020137069.tif 000009
【図８】
2020137069.tif 000010
【図９】
2020137069.tif 000011
【図１０】
2020137069.tif 000012
【図１１】
2020137069.tif 000013
【図１２】
2020137069.tif 000014
【図１３】
2020137069.tif 000015
【国際調査報告】
2020137069.tif 000016
2020137069.tif 000017
2020137069.tif 000018