(57)【特許請求の範囲】
【請求項１】
画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと関連付けされた位置推定装置であって、
位置推定対象画像と前記特徴点データベースに格納された画像との特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理部と、
前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理部と、を有し、
前記自動特徴点登録処理部は、
前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定装置。
【請求項２】
前記自動特徴点登録処理部は、
前記事前登録情報、他の全ての自動登録画像との位置推定率が、予め決められている自動登録最小推定率と自動登録最大推定率との範囲内にあり、
かつ、
前記事前登録画像との位置推定率が、事前登録最小推定率と事前登録最大推定率との範囲内にある場合に、
前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする請求項１に記載の位置推定装置。
【請求項３】
さらに、前記事前登録情報、他の全ての自動登録画像との位置推定率が、前記事前登録最小推定率と前記事前登録最大推定率との範囲内に予め登録されていた閾値内の最小滞留回数だけ留まっていた場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする請求項２に記載の位置推定装置。
【請求項４】
マッチングしていない前記自動登録情報を、順次前記自動登録情報格納部から削除していく自動登録情報削除部を有することを特徴とする請求項１から３までのいずれか１項に記載の位置推定装置。
【請求項５】
前記位置推定処理部において正しくマッチングできた場合に、
前記特徴点データベース内の前記事前登録情報、前記自動登録情報のうち、共通特徴点と最も推定率が高くマッチングした、事前登録情報又は自動登録情報の最終マッチング日時を更新し、
前記自動登録情報削除部において、同一の登録位置毎に、全事前登録情報、全自動登録情報の前記最終マッチング日時に基づいて、マッチングに使われてない登録情報を削除することを特徴とする請求項４に記載の位置推定装置。
【請求項６】
さらに、
画像の特徴点情報を共通化する処理を行い、共通化された画像の位置情報と特徴点情報のみを前記特徴点データベースに登録する共通特徴点処理部を有することを特徴とする請求項１から５までのいずれか１項に記載の位置推定装置。
【請求項７】
画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと、前記特徴点データベースに関連付けされた位置推定装置と、を有する位置推定システムであって、
前記位置推定装置は、
位置推定対象画像と前記特徴点データベースに格納された画像との特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理部と、
前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理部と、を有し、
前記自動特徴点登録処理部は、
前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定システム。
【請求項８】
画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと関連付けされた位置推定装置における位置推定方法であって、
位置推定対象画像と前記特徴点データベースに格納された画像との特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理ステップと、
前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理ステップと、を有し、
前記自動特徴点登録処理ステップは、
前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定方法。
【請求項９】
コンピュータに、請求項８に記載の位置推定方法を実行させるための位置推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等により撮影した撮影映像を用いて屋内等の位置を判定する位置推定技術に関する。
【背景技術】
【０００２】
位置推定技術として、例えば、下記の特許文献１に記載された車載カメラにより自動車位置を推定する技術がある。特許文献１に開示されている装置は、遮断機、看板等のように、一定の場所にあり、一定の形状を保ったまま一定の法則で動くようないわゆる可動物体を車載カメラにより認識する。車載カメラの撮影画像から抽出した特徴点を、可動物体特徴点群と固定物体特徴点群とに分類する。分類された特徴点群と車載カメラの画像とに基づいて、車載カメラを設置した車両の位置推定を行なうことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−９９０１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
屋内の場合、屋外と異なり、一定の場所にあり、一定の形状を保ったまま一定の法則で動く可動物体が存在することは稀である。通路に人が立ち止まっていることもあれば、突然移動することもある。また、昨日まで壁に貼ってあったポスタが無くなっていたり、別なポスタに変っていたり、別な場所に移動していたりすることも多い。即ち、規則的な動きをしないものが存在したり、屋内の状況は変化が発生しやすい。
【０００５】
本発明は、規則的な動きをするものが存在しない屋内等において、屋内等の状況が時々刻々変化しても位置推定を可能とすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一観点によれば、画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと関連付けされた位置推定装置であって、位置推定対象画像と前記特徴点データベースに格納された画像との特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理部と、前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理部と、を有し、前記自動特徴点登録処理部は、前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている状態が続いている場合に、前記自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定装置が提供される。
【０００７】
前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている状態が続いていることにより、事前登録情報の代替情報として機能する自動登録情報を保持し、位置推定に用いることができる。
【０００８】
前記自動特徴点登録処理部は、前記位置推定対象画像と前記事前登録情報との特徴点情報が、前記事前登録画像、他の全ての自動登録画像との位置推定率が、予め決められている自動登録最小推定率と自動登録最大推定率との範囲内にあり、かつ、前記事前登録画像との位置推定率が、事前登録最小推定率と事前登録最大推定率との範囲内にある場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする。
【０００９】
さらに、前記事前登録最小推定率と前記事前登録最大推定率との範囲内に予め登録されていた閾値内の最小滞留回数だけ留まっていた場合に、前記自動登録情報として前記自動登録情報格納部に格納することを特徴とする。
【００１０】
事前登録情報と一定の割合でマッチングしている状態が続いていて、全登録情報とマッチングした場合も一定の割合でマッチングしている状態が続いていることが判明した場合、登録済みの特徴情報とは異なる状況になったと判断して、共通特徴点情報を特徴データベースに登録する。これにより、誤推定を防止でき、さらに常に最新の特徴情報を取込むことが可能となる。
【００１１】
マッチングしていない前記自動登録情報を、順次前記自動登録情報格納部から削除していく自動登録情報削除部を有することを特徴とする。
【００１２】
現時点でマッチングに利用されなくなった特徴情報、即ち、特徴点データベースにおいて、最新の特徴情報が存在する既に廃れた特徴情報は、自動特徴点削除部で削除することができる。
【００１３】
前記位置推定処理部において正しくマッチングできた場合に、前記特徴点データベース内の前記事前登録情報、前記自動登録情報のうち、共通特徴点と最も推定率が高くマッチングした、事前登録情報又は自動登録情報の最終マッチング日時を更新し、前記自動登録情報削除部において、同一の登録位置毎に、全事前登録情報、全自動登録情報の前記最終マッチング日時に基づいて、マッチングに使われてない登録情報を削除することを特徴とする。
【００１４】
さらに、画像の特徴点情報を共通化する処理を行い、共通化された画像の位置情報と特徴点情報のみを前記特徴点データベースに登録する共通特徴点処理部を有することを特徴とする。
【００１５】
前記事前登録情報とは異なる状況になったと判断して、共通特徴点情報を特徴データベースに登録する。動く部分を共通特徴点処理部で取り去った上で、画像の特徴点を共通化する処理を行う。
【００１６】
また、本発明は、画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと、前記特徴点データベースに関連付けされた位置推定装置と、を有する位置推定システムであって、前記位置推定装置は、位置推定対象画像と前記特徴点データベースに格納された画像の特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理部と、前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理部と、を有し、前記自動特徴点登録処理部は、前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている状態が続いている場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定システムである。
【００１７】
本発明の他の観点によれば、画像の位置情報と特徴点情報とからなり、事前に登録された事前登録情報を格納する事前登録情報格納部と、画像の位置情報と特徴点情報とからなり、装置が自動的に登録した自動登録情報を格納する自動登録情報格納部と、を有する特徴点データベースと関連付けされた位置推定装置における位置推定方法であって、位置推定対象画像と前記特徴点データベースに格納された画像の特徴点情報のマッチング処理に基づいて、前記位置推定対象画像の位置推定処理を行う位置推定処理ステップと、前記特徴点データベースへの前記自動登録情報の自動登録処理を行う自動特徴点登録処理ステップと、を有し、前記自動特徴点登録処理ステップは、前記位置推定対象画像と前記事前登録情報との特徴点情報が、一定の割合でマッチングしている状態が続いている場合に、前記位置推定対象画像を自動登録情報として前記自動登録情報格納部に格納することを特徴とする位置推定方法が提供される。
【００１８】
また、本発明は、コンピュータに、上記に記載の位置推定方法を実行させるための位置推定プログラムであっても良い。
【発明の効果】
【００１９】
本発明によれば、事前登録画像の変化や紛失などによる位置の誤推定を防止することができる。また常に最新の特徴情報を取込むことが可能となる。
【００２０】
さらに、現時点でマッチングに利用されなくなった特徴情報、即ち、特徴点データベースにおいて、最新の特徴情報が存在する既に不要となった特徴情報は、自動登録情報削除部により削除することで、常に最新の特徴情報だけを保持しながらマッチングすることが可能となる。
【図面の簡単な説明】
【００２１】
【図１Ａ】一般的な位置推定技術のイメージを示す図である。
【図１Ｂ】本発明の実施の形態による位置推定技術のイメージを示す図であり、図１Ａに対応する図である。
【図１Ｃ】本形態による位置推定技術のイメージを示す図であり、図１Ｂに続く図である。
【図１Ｄ】本実施の形態による位置推定技術のイメージを示す図であり、図１Ｃに続く図である。
【図２Ａ】本実施の形態による位置推定装置の一構成例を示す機能ブロック図である。
【図２Ｂ】本実施の形態による位置推定装置の共通特徴点処理部の一構成例を示す機能ブロック図である。
【図２Ｃ】本実施の形態による位置推定装置の位置推定処理部の一構成例を示す機能ブロック図である。
【図２Ｄ】本実施の形態による位置推定装置の自動特徴点登録処理部の一構成例を示す機能ブロック図である。
【図２Ｅ】位置推定装置の全体のシステム構成と、やり取りされるデータ群との関係を示す図である。
【図３】自動特徴点登録処理部の入力である登録閾値データの詳細な構成例を示す図である。
【図４】位置推定処理部から自動特徴点登録処理部に渡される推定詳細データの詳細な構成例を示す図である。
【図５】位置データベースに格納されている位置情報の詳細な構成例を示す図である。
【図６】図５の位置情報の具体例を示す図である。
【図７】特徴点データベースに格納されている事前登録情報と自動登録情報の詳細な構成例を示す図である。
【図８】共通特徴点処理部の入力である共通特徴点閾値データの詳細な構成例を示す図である。
【図９】共通特徴点処理部の入出力であり、位置推定処理部の入力となっている共通特徴点データの詳細な構成例を示す図である。
【図１０】位置推定処理部の入力となっている推定閾値データの詳細な構成例を示す図である。
【図１１】自動特徴点登録処理部の入出力となっている現滞留回数の具体例を示す図である。
【図１２】移動可能対象リスト生成処理部の出力となっている移動可能対象ノードリストの具体例を示す図である。
【図１３】特徴点の具体例を示す図である。
【図１４】カメラ画像特徴点処理部と共通特徴点処理部の処理の概要を示すフローチャートである。
【図１５Ａ】移動可能対象リスト生成処理部と位置推定処理部の処理の流れを示すフローチャート図である。
【図１５Ｂ】推定詳細データの設定処理の流れを示すフローチャート図である。
【図１６Ａ】自動特徴点登録処理部と自動登録情報削除部の処理の流れを示すフローチャート図である。
【図１６Ｂ】共通特徴点登録処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施する場合の一形態を、図面を参照して具体的に説明する。
図１Ａは、一般的な位置推定技術を屋内の位置推定に適用した場合のイメージを示す図である。位置推定装置のシステムには、画像情報又はその特徴点情報（以下、「特徴点情報」と称する。）を事前に登録しておく。これを、事前登録画像（情報）と称する。この事前登録画像Ｘは、システムの管理者などが、屋内を予めある位置で撮影した画像に基づいて登録された情報であり、例えば、１か月ごとにシステムの保守点検を行う度に、確認又は更新される。事前登録画像に関連する情報を事前登録情報と称する。
【００２３】
次いで、カメラ機能を有するスマートフォンなどの携帯端末等を用いて、現在撮像している撮影画像（撮像素子に取り込んでいる画像、図１ＡのＹ１、Ｙ２）と事前登録画像Ｘとを、画像の特徴点などに基づいて比較して、スマートフォンの位置、すなわち、その所持者の位置（実際には、後述するように、位置と方向により、精度良く位置を推定する。）、例えば、スマートフォンにおける地図情報等と、この位置情報とを利用して、スマートフォンを所持するユーザに対してデパートや施設などの案内（ナビゲート）等を行うことができる。位置以外に方向も情報として有することで、どの方向から撮影した画像であるかを正確に推定することができる。
【００２４】
現在撮像している画像Ｙ１，Ｙ２と事前登録画像Ｘとの特徴点の一致度（マッチング率又は位置推定率とも称する。）が、ある閾値（図１ＡのＡＲ１０１で示す値）を超えているか否かにより、位置推定ができた（位置推定が正しい）画像Ｙ１と位置推定ができない（位置推定が正しくない）画像Ｙ２とを区別し、位置推定ができた画像Ｙ１に関して、推定した位置情報を提供することができる。
【００２５】
ところで、図１Ａに示す方法では、例えば、事前登録画像Ｘ内に撮影されていた物が一部でも移動した場合には、位置推定ができない可能性がある。
【００２６】
そこで、本発明の実施の形態による位置推定技術においては、以下に説明するような工夫を行った。
【００２７】
図１Ｂから図１Ｄまでは、本実施の形態による位置推定技術のイメージを示す図であり、図１Ａに対応する図である。
【００２８】
位置推定装置のシステムには、図１Ａと同様に、事前に事前登録画像Ａ１をシステムに登録しておく。さらに、新しく、自動登録画像という概念を導入する。
【００２９】
自動登録画像は、以下の条件を充足する場合に、システムに自動的に登録される画像（位置情報、特徴点情報）である。
【００３０】
（条件１）
図１Ｂに示すように、撮影画像Ｃ１に関して、事前登録しておいた事前登録画像Ａ１、他の全ての自動登録画像（例えば、Ｂ１、Ｂ２等）との位置推定率が、予め決められている自動登録最小推定率と自動登録最大推定率との範囲内にある(例えば、５０％から７０％範囲内にあること、すなわち、かなりマッチングしている) ことである。
【００３１】
条件１は、撮影画像Ｃ１が、ハッチを付した領域内に存在する場合に自動登録画像としてシステムに自動的に登録する条件１を満たすことを意味する。
【００３２】
（条件２）
図１Ｃに示すように、撮影画像Ｃ１に関して、事前登録しておいた事前登録画像Ａ１との位置推定率が、事前登録最小推定率と事前登録最大推定率との範囲内にある（例えば、位置推定率が、１０％から５０％の範囲内にあること、すなわち、マッチングの程度が中間程度である)ことである。
【００３３】
条件２は、楕円の領域ＡＲ１の外周縁近傍の領域ＡＲ２を示す。
そして、上記条件１と条件２との両方を満足する状態が、最小滞留回数の値、例えば５回継続すると、その撮影映像を自動登録画像としてシステムに登録するということである。
【００３４】
このようにすることで、図１Ｄに示すように、位置推定が有効な画像の範囲がＡＲ２１まで広がり、図１Ａの範囲ＡＲ１０１と比べて一回り大きな範囲内で位置推定を行うことができる。すなわち、事前登録画像以外に自動登録画像を用いて位置推定を行うことができる。
【００３５】
尚、自動登録画像に対して、さらに自動登録はしないようにすることで、無限に自動登録が行われることを防止している。
【００３６】
自動登録情報は、事前登録情報に対応する屋内の状態が変化してしまった場合でも、その代替情報として機能させることができる。
【００３７】
図２Ａは、本実施の形態による位置推定装置１の一構成例を示す機能ブロック図である。
図２Ａに示すように、位置推定装置１は、画像の共通する特徴点に関する処理を行う共通特徴点処理部２４と、撮影画像の位置推定処理を行う位置推定処理部１２と、上記の自動登録画像の登録処理を行う自動特徴点登録処理部１１と、を有している。さらに、位置推定装置１は、位置情報（位置と方向）を格納する位置データベース（ＤＢ）９と、事前登録情報（格納部）１７、自動登録情報（格納部）１８、などの、例えば画像の特徴点を格納する特徴点データベース（ＤＢ）１６と関連付けされている。
【００３８】
図２Ｂに示すように、共通特徴点処理部２４は、画像の特徴点を抽出する特徴点抽出部２４−１と、抽出された特徴点の共通部分を求める共通特徴点演算部２４−２と、求められた共通特徴点を装置に登録する共通特徴点登録部２４−３と、を有している。
【００３９】
図２Ｃに示すように、位置推定処理部１２は、移動可能ノードを抽出する移動可能ノード抽出部１２−１と、抽出したノードのマッチング位置を演算するマッチング位置演算部１２−２と、演算されたマッチング位置に基づいて、撮影画像の位置、すなわち、現在位置を推定する現在位置推定部１２−３と、事前登録情報と最もマッチング率が高い位置での最大マッチング率を求める最大マッチング率演算部１２−４と、その時のマッチング日時で最終マッチング日時を更新する最終マッチング日時更新部１２−５と、後述する推定詳細データを設定する推定詳細データ設定部１２−６と、を有している。
【００４０】
図２Ｄに示すように、自動特徴点登録処理部１１は、上記条件１の要件を満たすか否かを判定する全特徴点推定率マッチング判定部１１−１と、上記条件２の要件を満たすか否かを判定する事前登録特徴点推定率マッチング判定部１１−２と、現滞留回数が閾値に達したか否かを判定する滞留回数判定部１１−３と、上記の各判定の結果として、共通特徴点を自動登録情報として特徴点データベース１６に格納する共通特徴点登録部１１−４と、古いなどの理由で無効な自動登録情報を自動的に削除する無効自動登録情報削除部１１−５と、を有している。
【００４１】
図２Ｅは、位置推定装置１の全体のシステム構成と、やり取りされるデータ群との関係を示す図である。上記の説明と一部重複するが、全体としてのシステム構成を、ここで説明する。
【００４２】
位置推定装置１は、例えばスマートフォンなどに内蔵されるカメラ27により読み取られたカメラ画像（撮像画像）を読み取るカメラ画像読取部20とカメラ画像から特徴点を抽出するなどの処理を行う特徴点処理部21とを備えたカメラ画像特徴点処理部19と、カメラ画像特徴点処理部19から抽出した特徴点22と共通特徴点とするか否かの閾値である共通特徴点閾値データ25とを入力として、共通特徴点データ23を作成し、更新する共通特徴点処理部24と、位置推定装置1で直前に推定した直前位置3を入力として、位置情報10を保持する位置データベース9から例えば直前位置から移動可能なノードのリストである移動可能対象ノードリスト8を生成する移動可能対象リスト生成処理部4と、共通特徴点処理部24から取得した共通特徴点データ23と位置推定の閾値として設定されている推定閾値データ6を入力として、事前登録情報17と自動登録情報18とを保持する特徴点データベース16を検索し、現在推定位置2を求め推定詳細データ7を生成する位置推定処理部12と、推定詳細データ7と登録閾値データ5とを入力とし現滞留回数56を更新しながら特徴点データベース16に自動登録すべき共通特徴点データ23だけを自動登録情報18として登録する自動特徴点登録処理部11と、直近ではマッチングしていないような無効としても良い自動登録情報を、特徴点データベース16から自動的に削除する自動登録情報削除部26とを有している。
【００４３】
以下に、各データの構成例等について例示的に説明する。
自動特徴点登録処理部11の入力である登録閾値データ5は、図３に示すように、自動登録最大推定率32と自動登録最小推定率33とを備える自動登録用推定範囲28と、事前登録最大推定率34と事前登録最小推定率35とを備える事前登録用推定範囲29と、自動登録を行うにあたって、自動登録用推定範囲28と事前登録用推定範囲29とに留まることが最低何回継続する必要があるか、その滞留回数を規定する最小滞留回数30とを有している。
【００４４】
自動登録用推定範囲28は、自動登録するための全特徴点から位置推定した時の推定率が取るべき範囲を定義したものである。事前登録用推定範囲29は、事前登録情報に限定した時の推定率が取るべき範囲を定義したものである。自動登録用と事前登録用との2つの範囲を定義したのは、上記条件１と条件２とで説明したように、自動登録用推定範囲である所定の（一定の）推定率となっていることを担保し、かつ、事前登録用推定範囲で事前登録した時の特徴点とも所定の（一定の）推定率となっていることを担保するためである。
【００４５】
事前登録用推定範囲を設けることで、全く別な位置の登録情報まで誤って自動登録してしまう可能性を排除することができる。
【００４６】
最小滞留回数30は、自動登録用推定範囲28と事前登録用推定範囲29内に収まる状況が何回継続すればよいかを定義したものである。最小滞留回数30分だけ継続して自動登録用推定範囲と事前登録用推定範囲内に収まった場合、システムが、自動登録するべき状況になったと判断する。
【００４７】
図１Ｂから図１Ｄまでを参照しながら説明すると、図3に例示されている登録閾値データの具体例の場合には、事前登録された特徴点と自動登録された特徴点全てから位置推定した場合の推定率が50%〜70%、そのうち事前登録された特徴点の最大推定率が10〜50%という状態が5回連続で発生した場合に、事前登録された特徴点の位置の最新特徴点情報であると判断して、その共通特徴点を自動登録するということを意味している。
【００４８】
位置推定処理部12から自動特徴点登録処理部11に渡される推定詳細データ7は、図4に示すように、位置推定処理部12で推定した推定位置36と、撮影画像を全特徴点とマッチングさせた時の最大推定率である全特徴点の推定率37と、推定位置36における全事前登録特徴点に対する最大推定率である事前登録特徴点の推定率38と、マッチング対象の共通特徴点39とを備えている。
【００４９】
この推定詳細データ7は、位置推定処理部12が、推定処理で、どのような推定位置となったかを表す推定位置36とその推定位置はどの程度の推定率であったかを表す全特徴点の推定率37と事前登録特徴点の推定率38とを有する。この全特徴点の推定率37と事前登録特徴点の推定率38とから、撮影画像を自動特徴点登録処理部11で自動登録すべきかどうかを判断する。
【００５０】
共通特徴点39は、自動登録対象の共通特徴点である。図4に例示されている推定詳細データ7の具体例の場合、ノード18（向き3、位置18-3）、ノード19（向き2、位置19-2）、ノード20（向き1、位置20-1）、ノード20（向き4、位置20-4）の4個の位置情報のうち、現在ノード20（向き1、位置20-1）にいると推定することができる。その推定処理の際の推定率は65%であり、他の位置では推定率が65%より低かったことを示している。また、ノード20（向き1、位置20-1）の位置における事前登録特徴点だけの推定率は20%だったということを表している。共通特徴点39は、複数の撮影画像の特徴点な部分の共通部分である。
【００５１】
移動可能対象リスト生成処理部4の入力となっている位置データベース（ＤＢ）9は、図5に示すように、推定位置40と、移動可能な次のノード41のデータとを備えた位置情報10が格納されている。
【００５２】
位置情報10は、図6に示すように、屋内のある場所、図6の具体例の場合では、屋内のある通路Ｌ1を表している。この通路Ｌ1には、3か所のノードが定義されており、それぞれノード18とノード19には1個の向きが、ノード20には2個の向きが定義されており、すなわち、この通路には4つの位置（位置と向きとの組み合わせ）があるということを表している。このように、位置情報は、屋内をノードと向きで置き換えた情報であり本実施の形態による位置推定装置1では、この位置情報から位置推定を行なう。図5に記載されている位置情報10の具体例の場合、ノード18向き3である位置18-3は移動可能な次のノードとして、ノード20があるということを表している。ノード20のように複数の位置情報がある場合は、複数の位置情報10が格納される。ノードと向きとにより位置情報を定義したのは、カメラで撮影する場合に、画像の内容は撮影位置のみならず撮影方向にも依存するからである。
【００５３】
特徴点データベース16は、図7に示すように、位置推定処理部12がマッチングを行なう上での入力情報であり、自動特徴点登録処理部11と位置推定処理部12とが出力を行なう情報であり、登録位置42と'事前登録'が設定されている事前登録・自動登録種別43と共通特徴点44と最終マッチング日時45とを備えている事前登録情報17と、登録位置46と'自動登録'が設定されている事前登録・自動登録種別47と共通特徴点48と最終マッチング日時49とを備えている自動登録情報18が格納されている。
【００５４】
登録位置42、登録位置46は、それぞれの登録情報が表している位置、即ち、ノードの位置と向きを表している。事前登録・自動登録種別43と事前登録・自動登録種別47は、該当する登録情報が事前に手動で登録された事前登録情報か、位置推定装置1が自動登録した自動登録情報かを判別するための情報である。
【００５５】
共通特徴点44と共通特徴点48は、それぞれの登録した共通特徴点である。最終マッチング日時45と最終マッチング日時49は、それぞれの登録情報が、いつ最後に利用されたのかを表している。この日付がより過去の日付であればあるほど、直近で利用されていないことを表す。
【００５６】
図7に記載されている具体例の場合、ノード18向き3の位置18-3には、事前に登録した共通特徴点44と自動で登録した共通特徴点48との2つの情報が特徴点データベースに格納されていることを表している。事前登録された共通特徴点44は、2014年12月1日9時30分ごろに位置推定に利用されたのが最後利用日時であり、自動登録の共通特徴点48は、2014年12月15日17時00分ごろに位置推定に利用されていることを表している。
【００５７】
共通特徴点処理部24の入力となっている共通特徴点閾値データ25は、図8に示すように、最小共通特徴点数50と、最大共通化回数51と、を備えている。最小共通特徴点数50は、有効な共通特徴点の下限の特徴点の定義である。最大共通化回数は、共通化を最大何回まで実施するかを定義した情報である。図8に示されている具体例の場合、共通特徴点とみなすための特徴点数は50個以上ある必要があり、共通化処理は実施されても最大5回までであることを示している。すなわち、画像間の共通特徴点が50個以上である間、最大5回まで共通特徴点化処理が実施されるように設定されていることを表している。
【００５８】
尚、共通特徴点が50個未満となってしまった場合は、直前の50個以上特徴点数がある共通特徴点が表わす位置と最新の撮影画像の位置とが異なる場所だと判断して処理を行なう。また、50個以上の特徴点数が保持されていても5回共通化が実施されると、そこで、共通化処理を一旦終了することを表している。
【００５９】
共通特徴点処理部24の入出力であり、位置推定処理部12の入力となっている共通特徴点データ23は、図9に示すように、有効フラグ52と、共通化回数53と、共通特徴点54と、を備えている。有効フラグ52は、共通特徴点54が有効であるかどうかを表している。共通化回数53は、何回共通化処理が実施された状態であるかを表している。共通特徴点54は、共通化回数53だけ共通化処理が実施された結果として得られた共通特徴点である。図9に示す具体例の場合、現在の共通特徴点データは、有効であり、共通化が2回実施されており、共通特徴点に示すような特徴点だけが残っていることを表している。
【００６０】
１回目の共通特徴点と、２回目の撮影画像の特徴点とによれば、その上に示すような両者のＡＮＤをとった共通特徴点が演算される。
【００６１】
位置推定処理部12の入力となっている推定閾値データ6は、図10に示すように有効最小推定率55を有している。有効最小推定率55は、位置推定処理部12で位置推定ができたか、位置推定ができなかったかを判断するための閾値である。図10に記載されている具体例の場合、推定結果が10%を下回った場合、位置推定ができないと判断されることを表わしている。
【００６２】
自動特徴点登録処理部11の入出力である現滞留回数56は、現時点で、図3の自動登録用推定範囲28と事前登録用推定範囲29内に、それぞれの推定率が留まっている状況が何回続いているかを表わしている。図11に記載されている具体例の場合、2回継続していることを表わしている。
【００６３】
移動可能対象リスト生成処理部4の出力である移動可能対象ノードリスト8は、直前位置3のノードから直接移動可能な全ノードを表わすリストである。図12に記載されている具体例の場合、直前にノード18、向き3にいたため、次に移動可能なノードは、自ノードを含めてノード18とノード20の2ノードということになる。この移動可能対象ノードリスト8ａが図12に例示されている。
【００６４】
特徴点22（図２Ｅ）は、カメラで撮影した画像の特徴的な部分を表している。図13に記載されている具体例の場合、カメラ27（図２Ｅ）等で撮影した画像から、その画像の特徴的な部分が特徴点22として抽出されている。
【００６５】
以下に処理の内容について、図２から図１３までを参照しながら詳細に説明する。
図14は、図2Ｅのカメラ画像特徴点処理部19と共通特徴点処理部24の処理の流れの概要を示すフローチャート図である。
【００６６】
まず、カメラ27より最新のカメラ画像をカメラ画像読取部20で読み取る(ステップS100)。
【００６７】
次に、読取った画像の特徴点を特徴点処理部21で抽出する。その抽出した特徴点が特徴点22である(ステップS 101)。
【００６８】
次に、特徴点22の共通特徴点化を実施するために、共通特徴点処理部24の共通特徴点抽出部24-1が、共通特徴点データ23の有効フラグ52が有効となっているか否かを判定する(ステップS 102)。
【００６９】
次に、ステップS 102の判定が「いいえ」となった場合、即ち、共通特徴点データ23の共通特徴点54が無効の場合（例えば、初回の場合）、特徴点抽出部24-1が抽出した特徴点22を共通特徴点登録部24-3が共通特徴点データ23の共通特徴点54に設定し(ステップS 103-１)、有効フラグ52を有効とし(ステップS 103-2)、共通化回数53を1に設定し(ステップS 103-3)、ステップS 109の処理以降を実行する。
【００７０】
次に、ステップS 102の判定が「はい」となった場合、即ち、共通特徴点データ23の共通特徴点54が有効の場合、共通特徴点演算部24-2が該当する共通特徴点54と読取った画像の特徴点22との間の共通特徴点を演算する(ステップS 104)。
【００７１】
次に、ステップS 104で抽出された共通特徴点の共通特徴点数が、図8の共通特徴点閾値データの最小共通特徴点数50に設定されている“50”以上かどうかを判定する(ステップS 105)。
【００７２】
ステップS 105の判定が「いいえ」となった場合、即ち、ステップS 104で抽出した共通特徴点数が閾値未満の場合、特徴点22で示される位置と、共通特徴点データ23で示される位置とが異なる位置になったと判断して、共通特徴点データ23を位置推定処理部12の入力として、位置推定処理部12を呼び出し位置推定を行い(ステップS106)、抽出した特徴点22を新たな共通特徴点として共通特徴点データ23の共通特徴点54に設定し(ステップS107-1)、有効フラグ52を有効とし(ステップS107-2)、共通化回数53を1に設定する(ステップS107-3)。
【００７３】
ステップ105の判定が「はい」となった場合、即ち、ステップS 104で抽出した共通特徴点数が閾値以上の場合、依然として同じ位置に留まっていると判断して共通特徴点データ23の共通特徴点54にステップS 104で抽出した共通特徴点を共通特徴点登録部24-3が設定して(ステップS 108-1)、共通化回数53の値を“1”カウントアップする(ステップS 108-2)。
【００７４】
次に、ステップS 108-2でカウントアップした共通化回数53が、共通特徴点閾値データ25の最大共通化回数51（図８）である5以上の値となっているかどうか判定する(ステップS 109)。ここで、ステップS 109の判定が「はい」となった場合、即ち、共通化回数53が最大値に逹した場合、同じ位置に留まっているものとして、現在の共通特徴点データ23を入力として、位置推定処理部12を呼び出して位置推定を行ない(ステップS110)、共通特徴点データ23の有効フラグを無効とする(ステップS111)。
【００７５】
このように、図14の処理フローがある時間間隔で繰り返し実行されることにより、適切な共通特徴点が共通特徴点データ23のデータとして生成されながら、位置推定処理部12を繰り返し呼び出すことができる。
【００７６】
図15Ａ、図15Ｂは、図2Ｅにおける移動可能対象リスト生成処理部4と位置推定処理部12の処理の流れの概要を示すフローチャート図である。
【００７７】
まず、例えばスマートフォンなどで撮影しているこれから位置推定を行う対象画像である位置推定画像において、直前位置3から短時間の間に移動可能なノードのリスト8を求めるために、移動可能ノード抽出部12-1が、位置データベース9より、直前位置3のノードと推定位置40のノードが一致する全ての移動可能な次のノード41のリストを、移動可能対象ノードリスト8ａとして生成する。その際、直前位置3のノード自身もノードリスト8ａに追加する(ステップS 112)。
【００７８】
次に、マッチング位置演算部12-2が、移動可能対象ノードリスト8内の全ノードに対して、共通特徴点データ23の共通特徴点54と、特徴点データベース16内の各ノードの登録位置の全事前登録情報17と全自動登録情報18を比較して、現在位置推定部12-3が、最も推定率（マッチング率）が高い登録情報を含む位置を求める。この処理により、どのノードのどの向きに現在いると推定するかが判別できたことになる(ステップS 113)。
【００７９】
次に、ステップS 113で求めた推定率が、推定閾値データ6の有効最小推定率55以上となっているか判定する。即ち、ステップS 113で求めた推定率が有効かどうか（推定できたかどうか）を判別する(ステップS 114)。
【００８０】
次に、ステップS 114の判定が「いいえ」となった場合、即ち、推定できなかった場合、現滞留回数56を0にして(ステップS 115)、現在推定位置2を直前位置3にセットする(ステップS 116)。
【００８１】
ステップS 114の判定が「はい」となった場合、即ち、推定できた場合、現在推定位置2を直前位置3にセットした上で、推定した位置を現在推定位置2にセットする(ステップS 117)。
【００８２】
次に、最大マッチング率演算部12-4が、ステップS 113で求めた位置に対して、共通特徴点データ23の共通特徴点54と、特徴点データベース16内の推定位置に対応する全事前登録情報17とを比較して、最も高い推定率を求めることで、ステップS 113で求めた位置での事前登録情報とどの程度マッチングしているかをチェックする。このチェックは、事前登録情報と中程度の推定率でマッチングしていた場合にだけ自動登録処理を行うようにする（図１Ｃの条件２に相当する）ためである(ステップS 118)。
【００８３】
次に、最終マッチング日時更新部12-5が、ステップS 113で最も高い推定率となった自動登録情報の最終マッチング日時を現在日時で更新する。この日付を更新することで、不要な自動登録情報を識別するためである(ステップS 119)。
【００８４】
次に、推定詳細データ設定部12-6が、推定詳細データ7の推定位置36にステップS 113で求めた位置をセットし、全特徴点の推定率37にステップS 113で求めた時の推定率をセットし、事前登録の特徴点の推定率38にステップS 118で求めた推定率をセットし、共通特徴点39に共通特徴点データ23の共通特徴点54をセットして(ステップS 120)、自動特徴点登録処理部11を呼び出す(ステップS 121)。
【００８５】
図１５Ｂは、ステップS 120の詳細な処理の流れを示すフローチャート図である。まず、ステップS 120-１において、推定詳細データの推定位置36にステップS113で求めた位置をセットし、ステップS 120-2において、全特徴点の推定率37にステップS113で求めた時の推定率をセットする。次いで、ステップS 120-3において、事前登録特徴点の推定率38にステップS 118において求めた推定率をセットする。次いで、ステップS 120-4において、共通特徴点39に共通特徴点データ23の共通特徴点54をセットする。
【００８６】
図15Aの処理フローが一定間隔で繰り返し呼び出されることにより、共通特徴点データ23から位置推定を行い、現在推定位置2を更新しながら、推定詳細データ7を作成した上で、自動特徴点登録処理部11が繰り返し呼び出されることになる。
【００８７】
図16Aは、図2Eにおける自動特徴点登録処理部11と自動登録情報削除部26の処理の流れの概要を示すフローチャート図である。
【００８８】
まず、全特徴点推定率マッチング判定部11-1が、推定詳細データ7の全特徴点の推定率37が、登録閾値データ5の自動登録用推定範囲28の範囲内に収まっている否かを判定する(ステップS 122)。
【００８９】
次に、ステップS 122の判定が「いいえ」となった場合、即ち、共通特徴点データ23が自動登録対象でなかった場合、現滞留回数56を0にセットして、自動登録のための継続回数を0リセットする(ステップS 123)。
【００９０】
次に、ステップS 122の判定が「はい」となった場合、即ち、共通特徴点データ23が自動登録対象範囲内であった場合、事前登録特徴点推定率マッチング判定部11-2が、推定詳細データ7の事前登録特徴点の推定率38が、登録閾値データ5の事前登録用推定範囲29の範囲内に収まっているか否かを判定する(ステップS 124)。
【００９１】
次に、ステップS 124の判定が「いいえ」となった場合、即ち、共通特徴点データ23が自動登録対象でなかった場合、現滞留回数56を“0”にセットして、自動登録のための継続回数を“0”リセットする(ステップS 125)。
【００９２】
次に、ステップS 124の判定が「はい」となった場合、即ち、共通特徴点データ23が事前登録対象範囲にあった場合、滞留回数判定部11-3が、現滞留回数56を1カウントアップし(ステップS 126)し、現滞留回数56が登録閾値データ5の最小滞留回数30に達しているか判定する(ステップS 127)。
【００９３】
次に、ステップS 127の判定が「はい」となった場合、即ち、共通特徴点データ23が特徴点データベースへの登録対象であった場合、共通特徴点登録部11-4が、共通特徴点データ23の共通特徴点54を自動登録情報として自動登録情報18を作成して登録する。その際、登録位置46は、推定詳細データ7の推定位置36をセットし、事前登録・自動登録種別47は自動をセットし、共通特徴点48は、推定詳細データ7の共通特徴点39をセットし、最終マッチング日時49は、現在日時をセットする(ステップS 128)。
【００９４】
ステップS 128において、自動的に無尽蔵に特徴点データベース16の自動登録情報18は増加していくため、無効自動登録情報削除部11-5が、必要に応じて、直近でマッチングしていない自動登録情報18を削除する。その際、同じ位置の事前登録情報17または、自動登録情報18の中に、直近、位置推定に採用されたものが存在しているものだけ削除して(ステップS 129)、現滞留回数56を0にセット（自動登録のための継続回数を0リセット）して、自動登録のための継続回数を0リセットする(ステップS 130)。
【００９５】
図16Bは、ステップS 128の登録処理の詳細を示すフローチャート図である。ステップS 128-1において、１）登録位置として、推定詳細データの推定位置をセットする。ステップS 128-2において、２）事前登録、自動登録種別を自動にセットする。ステップS 128-3において、共通特徴点を、推定詳細データの共通特徴点にセットする。ステップS 128-4において、最終マッチング日時として、現在日時をセットする。
【００９６】
本実施の形態では、動く部分を共通特徴点処理部で取り去った上で、事前に登録済みの特徴点データベース内の事前登録情報と自動登録情報とのマッチングを行なう。その際、事前登録情報と登録情報内の事前登録用推定範囲、即ち、一定の推定率に逹していて、さらに登録閾値データ内の自動登録用推定範囲内に登録閾値データ内の最小滞留回数だけ留まっていた場合、自動登録を行なう仕組みとなっている。
【００９７】
そのため、事前登録情報と一定の割合でマッチングしている状態が続いていて、全登録情報とマッチングした場合も一定の割合でマッチングしている状態が続いていることが判明した場合、登録済みの特徴情報とは異なる状況になったと判断して、共通特徴点情報を特徴データベースに登録する。これにより、誤推定を防止でき、さらに常に最新の特徴情報を取込むことが可能となる。
【００９８】
また、現時点でマッチングに利用されなくなった特徴情報、即ち、特徴点データベースにおいて、最新の特徴情報が存在する既に不要である古い特徴情報の場合には、自動特徴点削除部で削除することができる。このような機能を持つことで、常に最新の特徴情報だけを保持しながらマッチングすることが可能となる。
【００９９】
また、上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
尚、屋内等には、施設やテーマパークなどが含まれても良い。
【０１００】
また、特許文献１や図１Ａ等に記載の一般的な位置推定技術と、本実施の形態において説明した位置推定技術とを組み合わせて位置推定を行っても良い。例えば、規則的な動きをする対象物が多くある場合には前者を、そうでない場合には後者を用いるようにしても良い。
【０１０１】
本技術は、スマートフォンなどのほか、ウェアラブルデバイス等様々な装置に適用可能である。
【０１０２】
また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。
【産業上の利用可能性】
【０１０３】
本発明は、位置推定に利用可能である。
【符号の説明】
【０１０４】
１…位置推定装置
４…移動可能対象リスト生成処理部
９…位置データベース
１１…自動特徴点登録処理部
１２…位置推定処理部
１６…特徴点データベース
１７…事前登録情報格納部
１８…自動登録情報格納部
１９…カメラ画像特徴点処理部
２０…画像読取部
２１…特徴点処理部
２４…共通特徴点処理部
２６…自動登録情報削除部
【図１Ａ】
0006466188.tif 000002
【図１Ｂ】
0006466188.tif 000003
【図１Ｃ】
0006466188.tif 000004
【図１Ｄ】
0006466188.tif 000005
【図２Ａ】
0006466188.tif 000006
【図２Ｂ】
0006466188.tif 000007
【図２Ｃ】
0006466188.tif 000008
【図２Ｄ】
0006466188.tif 000009
【図２Ｅ】
0006466188.tif 000010
【図３】
0006466188.tif 000011
【図４】
0006466188.tif 000012
【図５】
0006466188.tif 000013
【図６】
0006466188.tif 000014
【図７】
0006466188.tif 000015
【図８】
0006466188.tif 000016
【図９】
0006466188.tif 000017
【図１０】
0006466188.tif 000018
【図１１】
0006466188.tif 000019
【図１２】
0006466188.tif 000020
【図１３】
0006466188.tif 000021
【図１４】
0006466188.tif 000022
【図１５Ａ】
0006466188.tif 000023
【図１５Ｂ】
0006466188.tif 000024
【図１６Ａ】
0006466188.tif 000025
【図１６Ｂ】
0006466188.tif 000026