(57)【要約】  本発明では、室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能記憶媒体が公開されている。当該室内位置決め方法は、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めすることを含む。
2021517284.tif 000002
【特許請求の範囲】
【請求項１】
無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、
前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと前記視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするステップを含む、
室内位置決め方法。
【請求項２】
前記無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップは、
無線位置決め技術を用いて、前記ターゲットの第1の位置座標を決定するステップと、
第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップと、
前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するステップとを備え、
そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第1のマッチング待ちキーフレームグループを取得する、
請求項1に記載の室内位置決め方法。
【請求項３】
前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするステップは、
短時間フレーム間特徴マッチング位置決めの方法を用いて前記ターゲットをリアルタイムに位置決めして第1の位置決め結果を得るステップと、
所定の時間ごとに、前記ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得るステップと、
前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するステップとを含む、
請求項1に記載の室内位置決め方法。
【請求項４】
第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップは、
前記第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップと、
【数１】
2021517284.tif 000012
そのうち、（xi、yi、zi）は前記第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、（xa、ya）は前記ターゲットの前記第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループである、
請求項2に記載の室内位置決め方法。
【請求項５】
前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するステップは、
前記ターゲット画像の現在のフレームを取得し、前記現在のフレームの視覚単語を決定するステップと、
前記第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、前記第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、
スコアが最も高いマッチング待ちキーフレームと前記ターゲット画像の現在のフレームを基に、前記ターゲットの初期位置を算出するステップとを含む、
請求項2に記載の室内位置決め方法。
【請求項６】
所定の時間ごとに、前記ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得るステップは、
第4のマッチング待ちキーフレームグループを取得するために、前記第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングするステップと、
前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置に基づいて前記ターゲットの第2の位置決め結果を算出するステップとを含み、
そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する、
請求項3に記載の室内位置決め方法。
【請求項７】
前記第1の位置決め結果を用いて視覚特徴マップにおける第3のマッチング待ちキーフレームをフィルタリングして形成される第4のマッチング待ちキーフレームグループのステップは、
前記第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップを含み、
【数２】
2021517284.tif 000013
そのうち、（xj、yj、zj）は前記第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループである、
請求項6に記載の室内位置決め方法。
【請求項８】
前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するステップは、
前記ターゲット画像の現在のフレームを取得し、前記現在のフレームの視覚単語を決定するステップと、
前記第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、前記第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、
スコアが最も高いマッチング待ちキーフレームと前記ターゲット画像の現在のフレームを基に、前記初期位置に対する現在のフレームの座標変換行列を算出するステップと、
座標変換行列を基に前記ターゲットの第2の位置決め結果を算出するステップとを含む、
請求項6に記載の室内位置決め方法。
【請求項９】
第2の位置決め結果を用いて前記第1の位置決め結果を校正するステップは、
拡張カルマンフィルタリングアルゴリズムを用いて、前記第1の位置決め結果と第2の位置決め結果をデータ融合するステップであり、そのうち、前記第1の位置決め結果を状態事前推定量として、前記第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得るステップを含む、
請求項3に記載の室内位置決め方法。
【請求項１０】
前記ターゲットのある室内環境の視覚特徴マップを構築することをさらに含む、
請求項1に記載の室内位置決め方法。
【請求項１１】
無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材と、
前記ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと前記視覚特徴マップマッチング位置決めとを組み合わせた方法を用いて前記ターゲットをリアルタイムに位置決めするように配置されたオンライン位置決め部材とを含む、
室内位置決めシステム。
【請求項１２】
前記位置決め初期化部材は、
無線位置決め技術を用いて前記ターゲットの第1の位置座標を決定するように配置された第1の位置決め部材と、
第2のマッチング待ちキーフレームグループを取得するために、前記第1の位置座標を用いて、前記視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、且つ前記第2のマッチング待ちキーフレームグループを用いて前記ターゲットの初期位置を算出するように配置された第2の位置決め部材とを備え、
そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第1のマッチング待ちキーフレームグループを取得する、
請求項11に記載の室内位置決めシステム。
【請求項１３】
前記オンライン位置決め部材は、
前記短時間フレーム間特徴マッチング位置決めの方法を用いて前記ターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置された第3の位置決め部材と、
所定の時間ごとに、前記ターゲットに対し前記視覚特徴マップマッチング位置決めを行ない、且つ前記初期位置に基づいて第2の位置決め結果を得て、且つ前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するように配置された第4の位置決め部材とを備える、
請求項11に記載の室内位置決めシステム。
【請求項１４】
第2の位置決め部材は、
第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、
【数３】
2021517284.tif 000014
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は前記第2のマッチング待ちキーフレームグループであるように配置された第1のフィルタ部材と、
前記第2のマッチング待ちキーフレームを用いて前記ターゲットの初期位置を算出するように配置された第1の算出部材とをさらに備える、
請求項12に記載の室内位置決めシステム。
【請求項１５】
前記第4の位置決め部材は、
第4のマッチング待ちキーフレームグループを取得するために、前記第1の位置決め結果を用いて、前記視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、且つ第4のマッチング待ちキーフレームグループを用いて前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材と、
所定の時間ごとに、前記サブ位置決め部材の操作を触発するように配置されたタイミング部材と、
前記第2の位置決め結果を用いて前記第1の位置決め結果を校正するように配置され校正部材とを備え、
そのうち、前記視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、前記視覚特徴マップを検索して、前記ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する、
請求項13に記載の室内位置決めシステム。
【請求項１６】
前記サブ位置決め部材は、
前記第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、
【数４】
2021517284.tif 000015
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであるように配置された第2のフィルタ部材と、
前記第4のマッチング待ちキーフレームグループを用いて、且つ前記初期位置を基に前記ターゲットの第2の位置決め結果を算出するように配置された第2の算出部材とを備える、
請求項15に記載の室内位置決めシステム。
【請求項１７】
前記校正部材は、拡張カルマンフィルタリングアルゴリズムを用いて、前記第1の位置決め結果と前記第2の位置決め結果をデータ融合するように配置され、そのうち、前記第1の位置決め結果を状態事前推定量として、前記第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得る、
請求項15に記載の室内位置決めシステム。
【請求項１８】
1つまたは複数のプロセッサと、
1つまたは複数のメモリとを備え、
そのうち、前記メモリはコンピュータ実行可能指令を記憶し、前記実行可能指令が前記プロセッサにより実行される際に請求項1〜10のいずれかに記載の室内位置決め方法を実行する、
室内位置決めデバイス。
【請求項１９】
コンピュータ読み取り可能媒体はコンピュータ実行可能指令を記憶し、且つ前記実行可能指令がプロセッサにより実行される際に請求項1〜10のいずれかに記載の室内位置決め方法を実行する、
コンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本発明は、2018年3月26日に提出された、中国特許出願NO. 201810253021.2の優先権を主張し、公開されている内容は引用して本発明に組み込まれている。
【０００２】
本発明は室内位置決め技術分野に属し、具体的には室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体に関するものである。
【背景技術】
【０００３】
データ業務とマルチメディア業務の急速な増加に伴い、人々の位置決めとナビゲーションに対する需要が日増しに増大している。特に、ビル、空港ホール、ショールーム、スーパーマーケット、図書館、地下駐車場などの複雑な室内環境において、携帯端末またはその所有者、施設と物品の室内における位置情報を確定する必要があることから、視覚位置決め技術と無線位置決め技術が現れた。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明の解決しようとする技術課題は、従来技術における上記不備に対するものであり、室内位置決め方法、室内位置決めシステム、室内位置決めデバイスおよびコンピュータ読み取り可能媒体を提供するものである。
【０００５】
第1方面において、本発明実施例は、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定し、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップを含む、室内位置決め方法を提供する。
【０００６】
本発明の一実施例において、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップは、無線位置決め技術を用いて、ターゲットの第1の位置座標を決定するステップと、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップと、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップとを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第1のマッチング待ちキーフレームグループを取得する。
【０００７】
本発明の一実施例において、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップは、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るステップと、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るステップと、第2の位置決め結果を用いて第1の位置決め結果を校正するステップとを含む。
【０００８】
本発明の一実施例において、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングするステップは、第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップと、
【０００９】
【数１】
2021517284.tif 000003
【００１０】
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループである。
【００１１】
本発明の一実施例において、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップは、ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するステップと、第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、スコアが最も高いマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、前記ターゲットの初期位置を算出するステップとを含む。
【００１２】
本発明の一実施例において、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るステップは、第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングするステップと、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置に基づいてターゲットの第2の位置決め結果を算出するステップとを含み、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して前記第3のマッチング待ちキーフレームグループを取得する。
【００１３】
本発明の一実施例において、第1の位置決め結果を用いて視覚特徴マップにおける第3のマッチング待ちキーフレームをフィルタリングして形成される第4のマッチング待ちキーフレームグループのステップは、第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断するステップを含み、
【００１４】
【数２】
2021517284.tif 000004
【００１５】
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループである。
【００１６】
本発明の一実施例において、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するステップは、ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するステップと、第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度のうちの少なくとも1つを基に、第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点するステップと、スコアが最も高いマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、初期位置に対する現在のフレームの座標変換行列を算出するステップと、座標変換行列を基にターゲットの第2の位置決め結果を算出するステップとを含む。
【００１７】
本発明の一実施例において、第2の位置決め結果を用いて第1の位置決め結果を校正するステップは、拡張カルマンフィルタリングアルゴリズムを用いて、第1の位置決め結果と第2の位置決め結果をデータ融合するステップであり、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得るステップを含む。
【００１８】
本発明の一実施例において、ターゲットのある室内環境の視覚特徴マップを構築することをさらに含む。
【００１９】
別の方面では、本発明の実施例には、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材と、ターゲットの初期位置を基に、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするように配置されたオンライン位置決め部材とを含む、室内位置決めシステムを提供する。
【００２０】
本発明の一実施例において、位置決め初期化部材は、無線位置決め技術を用いてターゲットの第1の位置座標を決定するように配置された第1の位置決め部材と、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、且つ第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置された第2の位置決め部材とを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第1のマッチング待ちキーフレームグループを取得する。
【００２１】
本発明の一実施例において、オンライン位置決め部材は、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置された第3の位置決め部材と、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得て、且つ第2の位置決め結果を用いて第1の位置決め結果を校正するように配置された第4の位置決め部材とを備える。
【００２２】
本発明の一実施例において、第2の位置決め部材は、第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、
【００２３】
【数３】
2021517284.tif 000005
【００２４】
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、（xa、ya）はターゲットの第1の位置座標であり、Δdは無線位置決めの最大の位置誤差であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループであるように配置された第1のフィルタ部材と、第2のマッチング待ちキーフレームを用いてターゲットの初期位置を算出するように配置された第1の算出部材とをさらに備える。
【００２５】
本発明の一実施例において、第4の位置決め部材は、第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、且つ第4のマッチング待ちキーフレームグループを用いて初期位置を基にターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材と、所定の時間ごとに、前記サブ位置決め部材の操作を触発するように配置されたタイミング部材と、第2の位置決め結果を用いて第1の位置決め結果を校正するように配置され校正部材とを備え、そのうち、視覚特徴マップとターゲット画像の現在のフレームの視覚単語を取得し、視覚特徴マップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを探し出す方法を通して第3のマッチング待ちキーフレームグループを取得する。
【００２６】
本発明の一実施例において、サブ位置決め部材は、第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが以下の関係を満たすかどうかを判断し、
【００２７】
【数４】
2021517284.tif 000006
【００２８】
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであるように配置された第2のフィルタ部材と、第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するように配置された第2の算出部材とを備える。
【００２９】
本発明の一実施例において、校正部材は、拡張カルマンフィルタリングアルゴリズムを用いて、第1の位置決め結果と第2の位置決め結果をデータ融合するように配置され、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得る。
【００３０】
さらに別の方面では、本発明の実施例において1つまたは複数のプロセッサと、1つまたは複数のメモリとを備え、そのうち、メモリはコンピュータ実行可能指令を記憶し、実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、室内位置決めデバイスを提供する。
【００３１】
さらに別の方面では、本発明の実施例において、コンピュータ読み取り可能媒体はコンピュータ実行可能指令を記憶し、且つ実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、コンピュータ読み取り可能媒体を提供する。
【図面の簡単な説明】
【００３２】
【図１】本発明実施例において提供される室内位置決め方法のフロー図である。
【図２】本発明実施例において提供される室内位置決め方法の位置決め初期化段階のフロー図である。
【図３】本発明実施例において提供される室内位置決め方法のステップS13のフロー図である。
【図４】本発明実施例において提供される室内位置決め方法のステップS2のフロー図である。
【図５】本発明実施例において提供される室内位置決め方法のステップS22のフロー図である。
【図６】本発明実施例において提供される室内位置決め方法のステップS222のフロー図である。
【図７】本発明実施例において提供される室内位置決めシステムのブロック図である。
【図８】本発明実施例において提供される室内位置決めシステムのもう1つのブロック図である。
【図９】本発明実施例において提供される上記室内位置決めシステムを含むデバイスの例示的なブロック図である。
【発明を実施するための形態】
【００３３】
当業者が本発明の技術案をよりよく理解するために、本発明の目的、技術案および利点をより明確にするために、以下に図面と具体的な実施形態とを組み合わせて本発明をさらに詳しく説明する。
【００３４】
データ業務とマルチメディア業務の急速な増加に伴い、人々の位置決めとナビゲーションに対する需要が日増しに増大している。特に、ビル、空港ホール、ショールーム、スーパーマーケット、図書館、地下駐車場などの複雑な室内環境において、携帯端末またはその所有者、施設と物品の室内における位置情報を確定する必要があることから、視覚位置決め技術と無線位置決め技術が現れた。Bluetooth位置決め、RFID位置決め、wifi位置決めなどの無線に基づく位置決めの方法は、計算量が小さく、ユーザが携帯する携帯電話やタブレット端末でリアルタイムに位置決めすることができるが、位置決めの精度は高くなく、環境に邪魔されやすい。視覚に基づく位置決め方法は、位置決め精度は高いが、一般的には視覚特徴マップの検索、マッチング方法を通して位置決めされており、視覚特徴マップのデータ量が多く、ユーザの携帯する電子機器では実行できない。また、視覚による位置決め方法を用いれば、周囲の環境の類似度が高い（例えば、2つの内装スタイルが似ている部屋）場合、位置決めに失敗する可能性がある。如何にして位置決めの計算量を減少させるとともに、類似度が高い環境における位置決めミスを回避するかが、現在の解決すべき技術課題となっている。
【００３５】
図1は本発明の一実施例における室内位置決め方法のフロー図であり、本実施例の室内位置決め方法は通常、無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するステップS1を含むことができる。
【００３６】
具体的には、無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。そのうち、ターゲットは、例えば、携帯電話、タブレット、またはノートパソコンなどの室内環境にあるユーザが携帯するBluetoothおよび撮像機能を備えた電子機器であってもよい。ターゲットはBluetooth位置決めプログラム、フレーム間マッチングの視覚位置決めプログラムとデータ融合プログラムを実行するために使用される。ターゲットの初期位置は、ターゲットが室内環境に入った後、位置決めを行うときの位置を指す。
【００３７】
簡潔に説明するために、ステップS1（無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定する）を位置決め初期化段階と称する。
【００３８】
ターゲットの初期位置を基に短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めするステップS2である。
【００３９】
簡潔に説明するために、ステップS2（ターゲットの初期位置を基に短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットをリアルタイムに位置決めする）をオンライン位置決め段階と称する。
【００４０】
位置決め初期化段階を実行する前に、本発明実施例の室内位置決め方法はターゲットのある室内環境の視覚特徴マップを構築することをさらに含む。視覚特徴マップの構築はターゲットのカメラを利用する。具体的には、ターゲットが置かれている室内環境全体に対して、カメラを介して室内環境画像データをカバーして収集する場合、カメラは水平面に対して斜め上に一定の角度を必要とし、本発明の一実施例では、角度は30°から45°であり、周囲の動態環境情報の収集を回避するのが目的である。これと同時に、ORB_SLAM（ORB_Simultaneous Localization And Mapping）アルゴリズム（「ORB-SLAM:A Versatile and Accurate Monocular SLAM System，in IEEE Transactionson Robotics，vol.31，no.5，pp.1147-1163，Oct.2015」ではORB_SLAMアルゴリズムが公開されている）を基に同期位置決めしてまばらな三次元特徴点マップの構築を行い、構築が完了すると、画像情報のキーフレームとマップの三次元特徴点の関連パラメータをサーバに保存し、構築されたオフラインマップデータとしてバックグラウンドサーバ端でロードとアプリケーションを行うことで、視覚特徴マップの構築を完了する。視覚オフラインマップ座標系は無線位置決めシステムの座標系と合わせる必要があり、2つの位置決めシステムが同じ世界座標系であることを保証する。サーバはターゲットを受信するデバイスから転送されたBluetooth位置決めデータと画像データに用いられ、オフラインマップデータとマッチング位置決めしてターゲットの位置決め座標値に戻る。
【００４１】
図2は本発明実施例において提供される室内位置決め方法の位置決め初期化段階のフロー図であり、具体的に、位置決め初期化段階は、
無線（例えば、Bluetooth）位置決め技術を用いて、ターゲットの第1の位置座標を決定するステップS11を備え、
3点重み付けセントロイドアルゴリズムを用いてターゲットを位置決めし、ターゲットの第1の位置座標を得る。無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。具体的には、室内環境内においてブルートゥース（登録商標）ビーコンノードを配置することができ、任意で、3〜5メートルごとにブルートゥース（登録商標）ビーコンノードを配置し、一定の高さで、ターゲットはブルートゥース（登録商標）信号を受信して、信号強度が一番強い、またはターゲットと一番近い3つのビーコンをフィルタリングする。座標はそれぞれ（x1、y1）、（x2、y2）、（x3、y3）であり、ターゲットと上記の3つのビーコンまでの距離値は、それぞれd1、d2、d3であり、3点重み付けセントロイドアルゴリズムに基づいて、ターゲットの第1の位置座標（xa、ya）を求める。
【００４２】
【数５】
2021517284.tif 000007
【００４３】
有線接続または無線接続を介して第1位置座標をサーバに送信する。
【００４４】
第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、第2のマッチング待ちキーフレームグループを取得し、そのうち、第2のマッチング待ちキーフレームグループの範囲は、第1のマッチング待ちキーフレームグループの範囲より小さいステップS12である。
【００４５】
具体的には、(xi、yi、zi)を、第1のマッチング待ちキーフレームグループの第iのマッチング待ちキーフレームの位置座標であり、視覚オフラインマップ座標系の原点に対する変換行列はTcwiであり、かつ(xi、yi、zi)T=Tcwi(x0、y0、z0)Tを満たし、そのうち、(x0、y0、z0)を、視覚オフラインマップ座標系の原点とし、(xa、ya)はターゲットの第1の位置座標であり、ΔdはBluetooth位置決めの最大の位置ミスであり、マッチング待ちキーフレームは同時に以下の関係式を満たす場合、
【００４６】
【数６】
2021517284.tif 000008
【００４７】
マッチング待ちキーフレームは、信頼可能範囲内にあるとみなされ、当該マッチング待ちキーフレームを保留する。そうでなければ、マッチング待ちキーフレームを削除し、最後に保留されたすべてのマッチング待ちキーフレームの集合を、第2のマッチング待ちキーフレームグループとする。そのうち、第2のマッチング待ちキーフレームグループの範囲は、第1のマッチング待ちキーフレームグループの範囲より小さく、すなわち、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの数は、第1のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームの数より小さい。なお、本出願の実施例において、マッチング待ちキーフレームの座標xとyだけが上記の関係を満たす必要があり、これは、無線位置決め段階で決定されるのは、ある高さでの平面上の座標、すなわち、zがある固定値であるからである。
【００４８】
ステップS12の前に、第1のマッチング待ちキーフレームグループを取得することをさらに含む。
【００４９】
具体的には、まず、有線接続または無線接続を介してサーバに送信されるオフラインマップデータとターゲット画像に対してORB（Orinted FAST and Rotated BRAIEF）の特徴を抽出し、対応する視覚単語を取得する。そして、オフラインマップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを候補フレームとして探し出すことで、第1のマッチング待ちキーフレームグループを構成する。
【００５０】
第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するステップS13である。図3を参照して、図2で説明したステップS13の具体的な流れについて説明する。図3は、本発明の実施例において提供される室内位置決め方法のステップS13のフロー図である。
【００５１】
具体的には、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するには、
ターゲット画像の現在のフレームを取得し、現在のフレームの視覚単語を決定するS131と、
第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度を基に、第2のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点し、最的なキーフレームグループを取得するS132と、を備える。
【００５２】
具体的には、第2のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの同じ視覚単語を有する単語数を統計してから、マッチング待ちキーフレームから同じ視覚単語を有する単語数が第1の閾値よりも大きく、且つ単語の整合度が第2の閾値よりも大きいマッチング待ちキーフレームを選択し、共視フレームとする。各共視フレームは、いずれも自分との共視度が最も高い（即ち、同じ視覚単語を持つ単語数が最大であり、単語の整合度が大きい）最初の10フレームを1つのグループにまとめ、累積スコアを算出し、最終的なマッチング待ちキーフレームとして最後にグループスコアが最も高いマッチング待ちキーフレームを選択する。
【００５３】
上記内容は視覚単語が同じ数と、視覚単語の整合度とを組み合わせた採点方法であるの過ぎないが、本発明の実施例はこれに限定されない。本発明のその他の実施例では、最終的なマッチング待ちキーフレームを得るために、視覚単語の同じ数だけを基に採点しても良いし、または視覚単語の整合度だけを基に採点しても良い。
【００５４】
最終的なマッチング待ちキーフレームとターゲット画像の現在のフレームを基にターゲットの初期位置を算出するS133である。
【００５５】
具体的には、ターゲットの現在のフレームと最終的なマッチング待ちキーフレームに対し、EPnPアルゴリズムに基づく姿勢反復推定を行い、最後に視覚オフラインマップ座標系の原点に対する現在のフレームの座標変換行列を求め、さらにターゲットの現在のフレームの座標、即ち、ターゲットの初期位置を決定し、位置決め初期化段階を完了する。そのうち、EPnPアルゴリズムは、ORB−SLAMにおいて、主に現在のカメラの初期姿勢を迅速に確立するために使用される。そして、EPnPアルゴリズムに基づく姿勢反復推定をデバイス端で行う。
【００５６】
位置決め初期化段階において、無線位置決め技術を利用してターゲットを大まかに位置決めし、ターゲットの第1の位置座標を得て、第1の位置座標を用いて視覚特徴マップにおける第1のマッチング待ちキーフレームグループのマッチング待ちキーフレームをスクリーニングし、マッチング待ちキーフレームの範囲を大幅に縮小し、計算量を低減し、ターゲットの初期位置の求解速度を向上させるとともに、視覚位置決めにおける高い類似度環境でのマッチングミスを効果的に回避する。
【００５７】
図4を参照して、図1で説明したオンライン位置決め段階の具体的な流れについて説明する。図4は、本発明の実施例において提供される室内位置決め方法のオンライン位置決め段階のフロー図である。
【００５８】
図4に示すように、オンライン位置決め段階は、具体的に、
短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めし、第1の位置決め結果を得るS21を含む。
【００５９】
具体的には、ターゲットのデバイスのカメラを通して、ターゲットの現在の位置の画像をリアルタイムに収集し、現在の位置の画像からターゲットの現在のフレームを取得し、フレーム間特徴マッチングの方法を用いて、前フレームに対応するターゲットの位置座標と組み合わせて、ターゲットをオンラインで位置決めし、第1の位置決め結果を得る。そのうち、オンライン位置決め段階の初期時刻において、前フレームに対応するターゲットの位置は位置決め初期化段階で得られたターゲットの初期位置である。しかしながら、次の時刻において、前フレームに対応するターゲットの位置は、前の時刻に算出された校正後の第1の位置決め結果に相当する。
【００６０】
所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得るS22である。
【００６１】
具体的には、オンライン位置決め段階に入ると、タイマーが起動し、タイマーの値が所定時間に達すると、ターゲットに対して視覚特徴マップマッチング位置決めをトリガし、第2の位置決め結果を得る操作であり、タイマーをゼロにリセットし、上記プロセスを繰り返して各所定時間を実現し、ターゲットに対して視覚特徴マップマッチング位置決めを行い、第2の位置決め結果を得る。そのうち、所定時間取得値は10〜50sであり、任意で、20sまたは30sの値をとる。
【００６２】
第2の位置決め結果を用いて第1の位置決め結果を校正するS23である。
【００６３】
具体的には、拡張カルマンフィルタリングアルゴリズムを用いて、2つの位置決め結果をデータ融合し、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得て、オンライン位置決め段階の短時間フレーム間特徴マッチング位置決めの累積誤差を削除する。
【００６４】
説明する必要がある点としては、短時間フレーム間特徴マッチングの方法を用いてターゲットをリアルタイムに位置決めし、第1の位置決め結果を得ることは、持続的な動的プロセスである。一方、所定時間ごとに、ターゲットを視覚特徴マップマッチング位置決めし、第2の位置決め結果を得ることも、持続的な動的プロセスであるが、所定時間ごとに1回実行する必要がある。上記2つのステップは同時に行われ、所定時間間隔を置くと、ターゲットを視覚特徴マップマッチング位置決めすることにより、第2の位置決め結果が得られ、第2の位置決め結果を用いて、現在の時刻の第1の位置決め結果を校正し、現在の第1の位置決め結果の累積誤差を除去する。次の時刻の短時間フレーム間特徴マッチングは、ターゲットを位置決めすると、前の時刻で校正された第1の位置決め結果に基づいて現在時刻のターゲットの位置を算出する。言い換えれば、オンライン位置決め段階の初期時刻における第1の位置決め結果は、ターゲットの初期位置（即ち、位置決め初期化段階で得られたターゲットの初期位置）を基に算出されたものである。次の時刻では、前フレームに対応するターゲットの位置座標は、前の時刻で算出された校正後の第1の位置決め結果に相当し、さらに現在のフレームの特徴を求める。このように、位置決めが終了するまで、当該オンライン位置決め段階を繰り返す。したがって，蓄積誤差を除去し、リアルタイムでの位置決めの精度を向上させることができる。このほか、本発明におけるステップ番号は、ステップ順序を限定しない。本発明のその他の実施例では、本発明に示すステップは、逆の順序または並行して実行されてもよい。
【００６５】
図5を参照して、図4で説明したステップS22の具体的な流れについて以下に説明する。図5は、本発明の実施例において提供される室内位置決め方法のステップS22のフロー図である。具体的には、図5を参照して、所定時間ごとにターゲットに対し視覚特徴マップマッチング位置決めして第2の位置決め結果を得るステップは、
第1の位置決め結果を用いて、第4のマッチング待ちキーフレームグループを取得するために視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングする。そのうち、第4のマッチング待ちキーフレームグループの範囲は、第3のマッチング待ちキーフレームグループの範囲より小さいS221を含む。
【００６６】
具体的には、（xj、yj、zj）を第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標に設置し、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、当該マッチング待ちキーフレームが同時に下記関係式を満たす場合、
【００６７】
【数７】
2021517284.tif 000009
【００６８】
当該マッチング待ちキーフレームは、信頼可能範囲内にあるとみなされ、当該マッチング待ちキーフレームを保留する。そうでなければ、当該マッチング待ちキーフレームを削除し、最後に保留されたすべてのマッチング待ちキーフレームの集合を、第4のマッチング待ちキーフレームグループとする。なお、本出願の実施例において、マッチング待ちキーフレームの座標xとyだけが上記の関係を満たす必要があり、これは、無線位置決め段階で決定されるのは、ある高さでの平面上の座標、すなわち、zがある固定値であるからである。そのうち、第4のマッチング待ちキーフレームグループの範囲は第3のマッチング待ちキーフレームグループの範囲より小さい。
【００６９】
ステップS221の前に、第3のマッチング待ちキーフレームグループをさらに含む。
【００７０】
具体的には、オフラインマップデータとターゲット画像に対してORB特徴を抽出し、対応する視覚単語を取得する。そして、オフラインマップを検索して、ターゲット画像の現在のフレームと共通の視覚単語を有し、且つ現在のフレームと連続しないすべてのキーフレームを候補フレームとして探し出すことで、第3のマッチング待ちキーフレームグループを構成する。
【００７１】
第4のマッチング待ちキーフレームグループを用いてターゲットの第2の位置決め結果を算出するS222である。
【００７２】
図6を参照して、図5で説明したステップS222の具体的な流れについて説明する。図6は、本発明の実施例において提供される室内位置決め方法のステップS222のフロー図である。
【００７３】
具体的には、図6を参照して、第4のマッチング待ちキーフレームグループを用いてターゲットの第2の位置決め結果を算出するステップは、
ターゲット画像の現在のフレームを取得し、現在フレームの視覚単語を確定するS2221と、
第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームの視覚単語が同じ数および視覚単語の整合度を基に、第4のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームを採点して、最終的なマッチング待ちキーフレームを取得するS2222とを含み、
具体的には、第4のマッチング待ちキーフレームグループにおけるすべてのマッチング待ちキーフレームと現在のフレームとが同じ視覚単語を有する単語数を統計してから、マッチング待ちキーフレームから同じ視覚単語を有する単語数が第1の閾値よりも大きく、且つ単語の整合度が第2の閾値よりも大きいマッチング待ちキーフレームを選択し、共視フレームとする。各共視フレームは、いずれも自分との共視度が最も高い（即ち、同じ視覚単語を持つ単語数が最大であり、単語の整合度が大きい）最初の10フレームを1つのグループにまとめ、累積スコアを算出し、最終的なマッチング待ちキーフレームとして最後にグループスコアが最も高いマッチング待ちキーフレームを選択する。
【００７４】
上記内容は視覚単語が同じ数と、視覚単語の整合度とを組み合わせた採点方法であるの過ぎないが、本発明の実施例はこれに限定されない。本発明のその他の実施例では、最終的なマッチング待ちキーフレームを得るために、視覚単語の同じ数だけを基に採点しても良いし、または視覚単語の整合度だけを基に採点しても良い。
【００７５】
最終的なマッチング待ちキーフレームとターゲット画像の現在のフレームを基に、初期位置に対する現在のフレームの座標変換行列を算出し、さらに座標変換行列を基にターゲットの第2の位置決め結果を算出するS2223である。
【００７６】
具体的には、ターゲットの現在のフレームと最終的なマッチング待ちキーフレームに対し、EPnPアルゴリズムに基づく姿勢反復推定を行い、ターゲットの初期位置に対する現在のフレームの座標変換行列Tcwを求め、さらに座標変換行列を基にターゲットの現在のフレームの座標を算出し、即ち、ターゲットの第2の位置決め結果を得る。
【００７７】
また、位置決めが終了するまで、オンライン位置決め段階の各ステップを繰り返す。短時間の視覚オンラインフレーム間マッチング位置決め、タイミングとオフラインマップデータのマッチングによる累積位置決め誤差を解消する技術手段を用いることで、ターゲットのデバイスのオンライン位置決め時のデータ計算量を効果的に低減し、より高い室内位置決め精度を得ることができる。
【００７８】
なお、短時間フレーム間特徴マッチング位置決めの核心的な思想は、現在のフレームの特徴と前フレームの特徴との相違点を通して、前フレームに対応するターゲットの位置座標と組み合わせて、現在のフレームの位置座標、即ち第1の位置決め結果を算出することである。そのうち、オンライン位置決め段階の初期時刻における第1の位置決め結果は、ターゲットの初期位置（即ち、位置決め初期化段階で得られたターゲットの初期位置）を基に算出される。次の時刻では、前フレームに対応するターゲットの位置座標は、前の時刻で算出された校正後の第1の位置決め結果に相当し、さらに現在のフレームの特徴を求める。このように、位置決めが終了するまで、当該オンライン位置決め段階を繰り返す。よって、短時間フレーム間特徴マッチング位置を一定時間オンライン位置決めすると、得られた第1の位置決め結果は大きな累積誤差を生じ、リアルタイム位置決め結果の精度を低下させる。したがって、ターゲットに対し所定時間ごとに視覚特徴マップマッチング位置決めを行い、さらに第2の位置決め結果を得て、第2の位置決め結果を用いて現在の第1の位置決め結果を校正し、累積誤差を除去し、校正後の位置決め結果を得ることで、オンライン位置決め結果の精度を向上させる必要がある。
【００７９】
本発明は、ブルートゥース（登録商標）位置決め技術を視覚位置決め方法に融合させることにより、ブルートゥース（登録商標）位置決め結果を用いて視覚特徴マップにおけるマッチング待ちキーフレームの範囲を大幅に縮小し、特徴マッチング時の計算量を減少させ、初期位置の求解速度を向上させるとともに、視覚位置決めにおける類似度の高い環境におけるマッチングミスを効果的に回避する。
【００８０】
別の方面では、短時間フレーム間特徴マッチング位置決めを用いて、所定時間ごとに視覚特徴マップマッチング位置決めを行い、視覚特徴マップマッチング位置決めの位置決め結果を用いて短時間フレーム間特徴マッチング位置決めの累積誤差を除去し、より高い室内位置決め精度を得ることができる。
【００８１】
図7は本発明において提供される室内位置決めシステムのブロック図である。
【００８２】
図7を参照して、本発明実施例において、位置決め初期化部材1とオンライン位置決め部材2とを含む室内位置決めシステム700であって、そのうち、
無線位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法を用いてターゲットの初期位置を決定するように配置された位置決め初期化部材1を提供する。
【００８３】
そのうち、無線位置決めは、Bluetooth位置決め、RFID位置決め、WiFi位置決めなどとすることができ、本実施例は、Bluetooth位置決めで説明する。そのうち、ターゲットは、例えば、携帯電話、タブレット、またはノートパソコンなどの室内環境にあるユーザが携帯するBluetoothおよび撮像機能を備えた電子機器であってもよい。ターゲットはBluetooth位置決めプログラム、フレーム間マッチングの視覚位置決めプログラムとデータ融合プログラムを実行するために使用される。ターゲットの初期位置は、ターゲットが室内環境に入った後、位置決めを行うときの位置を指す。
【００８４】
オンライン位置決め部材2は、位置決め初期化が成功した後に、ターゲットの初期位置に応じて、短時間フレーム間特徴マッチング位置決めと視覚特徴マップマッチング位置決めとを組み合わせた方法でターゲットに対しリアルタイムに位置決めするように配置されている。
【００８５】
本発明の一実施例において、位置決め初期化部材1は第1の位置決め部材3と第2の位置決め部材4とを含み、
第1の位置決め部材3は、無線（例えば、Bluetooth）位置決め技術を用いて、ターゲットの第1の位置座標を決定するように配置されており、実際の応用では、室内環境内においてブルートゥース（登録商標）ビーコンノードを配置することができ、任意で、3〜5メートルごとにブルートゥース（登録商標）ビーコンノードを配置することができる。
【００８６】
第2の位置決め部材4は、第2のマッチング待ちキーフレームグループを取得するために、第1の位置座標を用いて、視覚特徴マップにおける第1のマッチング待ちキーフレームグループをフィルタリングし、そのうち、第2のマッチング待ちキーフレームグループの範囲は第1のマッチング待ちキーフレームグループの範囲よりも小さく、第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置される。
【００８７】
本発明の一実施例において、オンライン位置決め部材2は第3の位置決め部材5と第4の位置決め部材6とを含み、
第3の位置決め部材5は、短時間フレーム間特徴マッチング位置決めの方法を用いてターゲットをリアルタイムに位置決めして第1の位置決め結果を得るように配置され、
第4の位置決め部材6は、所定の時間ごとに、ターゲットに対し視覚特徴マップマッチング位置決めを行ない、且つ初期位置に基づいて第2の位置決め結果を得て、且つ前記第2の位置決め結果を用いて第1の位置決め結果を校正するように配置される。
【００８８】
図8は本発明実施例において提供される室内位置決めシステム800のもう1つのブロック図である。図8を参照して、第2の位置決め部材4は、
第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標が下記関係を満たすかどうかを判断するように配置される第1のフィルタ部材7と、
【００８９】
【数８】
2021517284.tif 000010
【００９０】
そのうち、（xi、yi、zi）は第1のマッチング待ちキーフレームグループにおける第iのマッチング待ちキーフレームの位置座標であり、視覚オフラインマップ座標系の原点に対する変換行列はTcwiであり、かつ(xi、yi、zi)T=Tcwi(x0、y0、z0)Tを満たし、そのうち、(x0、y0、z0)を、視覚オフラインマップ座標系の原点とし、(xa、ya)はターゲットの第1の位置座標であり、ΔdはBluetooth位置決めの最大の位置ミスであり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第2のマッチング待ちキーフレームグループであり、
第2のマッチング待ちキーフレームグループを用いてターゲットの初期位置を算出するように配置されている第1の算出部8とを備える。
【００９１】
本発明の一実施例において、第4の位置決め部材6は、
第4のマッチング待ちキーフレームグループを取得するために、第1の位置決め結果を用いて、視覚特徴マップにおける第3のマッチング待ちキーフレームグループをフィルタリングし、そのうち第4のマッチング待ちキーフレームグループの範囲は第3のマッチング待ちキーフレームグループ範囲よりも小さく、第4のマッチング待ちキーフレームグループを用いて初期位置を基にターゲットの第2の位置決め結果を算出するように配置されたサブ位置決め部材10と、
所定の時間ごとに、サブ位置決め部材の操作を触発し、タイマーで実現することができるように配置されたタイミング部材9と、
第2の位置決め結果を用いて第1の位置決め結果を校正するように配置された校正部材11とを備える。
【００９２】
本発明の一実施例において、サブ位置決め部材10は、
第3のマッチング待ちキーフレームグループにおけるマッチング待ちキーフレームが下記関係を満たすかどうかを判断するように配置された第2のフィルタ部材（示されていない）と、
【００９３】
【数９】
2021517284.tif 000011
【００９４】
そのうち、（xj、yj、zj）は第3のマッチング待ちキーフレームグループにおける第jのマッチング待ちキーフレームの位置座標であり、第1の位置決め結果の座標は（xb、yb）であり、δは所定時間内のフレーム間特徴マッチング待ち位置決めの累積された誤差の閾値であり、
満たす場合は、当該マッチング待ちキーフレームを保留し、満たさない場合は、当該マッチング待ちキーフレームを削除し、保留されたマッチング待ちキーフレームの集合は第4のマッチング待ちキーフレームグループであり、
第4のマッチング待ちキーフレームグループを用いて、且つ初期位置を基にターゲットの第2の位置決め結果を算出するように配置されている第2の算出部材（示されていない）とを備える。
【００９５】
本発明の一実施例において、校正部材11は、拡張カルマンフィルタリングアルゴリズムを用いて、2つの位置決め結果をデータ融合するように配置され、そのうち、第1の位置決め結果を状態事前推定量として、第2の位置決め結果を状態観測量として、校正後の第1の位置決め結果を得て、オンライン位置決め段階の短時間フレーム間特徴マッチング位置決めの累積誤差を削除した。
【００９６】
説明する必要がある点としては、第1の位置決め部材3と第3の位置決め部材5の計算量は比較的小さいため、任意で、第1の位置決め部材3と第3の位置決め部材5をユーザのデバイス端に集めることができ、第2の位置決め部材4とサブ位置決め部材10の計算量が比較的大きいため、任意で、第2の位置決め部材4、サブ位置決め部材10、タイミング部材9、および校正部材11をサーバ端に集め、ユーザデバイスは、サーバと有線接続または無線接続によって通信することができ、さらにはユーザデバイスとサーバとの通信頻度を低減することができる。上記は1つの配置方法に過ぎないが、これに限らず、全てサーバ端に配置されても良いが、このような方法では、ユーザデバイスとサーバとの通信頻度がいくらか高くなる。
【００９７】
図9は本発明実施例において提供される室内位置決めデバイスの例示的なブロック図である。
【００９８】
別の方面では、本発明実施例は、1つまたは複数のプロセッサ901と、1つまたは複数のメモリ902とを備え、そのうち、メモリはコンピュータ実行可能指令を記憶し、実行可能指令がプロセッサにより実行される際に上記室内位置決め方法を実行する、室内位置決めデバイス900を提供する。
【００９９】
さらに別の方面では、本発明実施例は、コンピュータ実行可能指令を記憶し、且つ実行可能指令がプロセッサにより実行される際に室内位置決め方法を実行する、コンピュータ読み取り可能媒体を提供する。
【０１００】
以上の実施の形態は、本発明の原理を説明するためだけに採用された例示的な実施の形態であるに過ぎず、本発明はこれに限定されないということを理解することができる。当業者は、本発明の精神と本質から逸脱しない限り、様々な変形および改善が可能であり、これらの変形および改善も本発明の請求範囲とみなされる。
【符号の説明】
【０１０１】
901  1つまたは複数のプロセッサ
902  1つまたは複数のメモリ
【図１】
2021517284.tif 000016
【図２】
2021517284.tif 000017
【図３】
2021517284.tif 000018
【図４】
2021517284.tif 000019
【図５】
2021517284.tif 000020
【図６】
2021517284.tif 000021
【図７】
2021517284.tif 000022
【図８】
2021517284.tif 000023
【図９】
2021517284.tif 000024
【国際調査報告】
2021517284.tif 000025
2021517284.tif 000026
2021517284.tif 000027
2021517284.tif 000028
2021517284.tif 000029