(57)【要約】  技法は、モバイルデバイスによってワイヤレスおよびセンサー測定情報を用いて視覚データをタグ付けすることについて説明する。いくつかの実装形態では、追加のメタデータフィールドが、ワイヤレスおよび／またはセンサー測定情報を用いて視覚データをタグ付けするために使用され得る。また、実施形態は、メタデータ中にワイヤレスおよびセンサー測定値を含めるために画像（たとえば、Ｅｘｉｆ）およびビデオフォーマット（メディアオブジェクトメタデータ）のための規格によって規定される現在のフォーマットを拡張することについて説明する。さらに、センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。モバイルデバイスは、タグ付けされた視覚データをクラウドソーシングサーバに送信し得る。【選択図】  図７
2018509671.tif 000002
【特許請求の範囲】
【請求項１】
視覚データをタグ付けするための方法であって、前記方法が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を備える、方法。
【請求項２】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信することをさらに備える、請求項１に記載の方法。
【請求項３】
情報を導出することが、前記デバイスにおいて測定される、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度を導出することをさらに備える、請求項１に記載の方法。
【請求項４】
情報を導出することが、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用してラウンドトリップ時間を導出することをさらに備える、請求項１に記載の方法。
【請求項５】
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、請求項１に記載の方法。
【請求項６】
前記ソース識別情報がメディアアクセス制御（ＭＡＣ）アドレスである、請求項１に記載の方法。
【請求項７】
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、請求項１に記載の方法。
【請求項８】
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの信号放出デバイスが固定である、請求項１に記載の方法。
【請求項１０】
前記信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、請求項１に記載の方法。
【請求項１１】
気圧計情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１２】
磁力計情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１３】
動きセンサー情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１４】
前記視覚データが画像である、請求項１に記載の方法。
【請求項１５】
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ、前記視覚データをタグ付けすることが、前記画像ファイルのためのメタデータの一部として前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含むことを備える、請求項１に記載の方法。
【請求項１６】
前記視覚データがビデオである、請求項１に記載の方法。
【請求項１７】
視覚データを収集するように構成されたカメラと、
前記視覚データを記憶するように構成されたメモリと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するように構成されたトランシーバと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられた識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を行うように構成されたプロセッサと
を備えるデバイス。
【請求項１８】
前記トランシーバが、前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するようにさらに構成された、請求項１７に記載のデバイス。
【請求項１９】
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報が、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度と、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用するラウンドトリップ時間とのうちの１つまたは複数をさらに備える、請求項１７に記載のデバイス。
【請求項２０】
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、請求項１７に記載のデバイス。
【請求項２１】
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、請求項１７に記載のデバイス。
【請求項２２】
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、請求項１７に記載のデバイス。
【請求項２３】
前記信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、請求項１７に記載のデバイス。
【請求項２４】
前記プロセッサが、気圧計情報、磁力計情報および動きセンサー情報のうちの１つまたは複数を用いて前記視覚データをタグ付けするようにさらに構成された、請求項１７に記載のデバイス。
【請求項２５】
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ、前記視覚データをタグ付けすることが、前記画像ファイルのためのメタデータの一部として前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含むことを備える、請求項１７に記載のデバイス。
【請求項２６】
装置であって、
前記装置に結合されたカメラを使用して視覚データを収集するための手段と、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するための手段と、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出するための手段と、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けするための手段と
を備える、装置。
【請求項２７】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための手段をさらに備える、請求項２６に記載の装置。
【請求項２８】
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、請求項２６に記載の装置。
【請求項２９】
非一時的コンピュータ可読記憶媒体であって、ここにおいて、前記非一時的コンピュータ可読記憶媒体が、プロセッサによって実行可能な命令を備え、前記命令が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を行うための命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項３０】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための命令をさらに備える、請求項２９に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
[0001]本開示は、一般に、ロケーションベースサービスを可能にすること、より詳細には、ロケーションベースサービスを可能にするための機械ベース視覚データ収集および処理に関する。
【背景技術】
【０００２】
[0002]モバイルデバイスの場合、ロケーションベースサービスのためのモバイルデバイスのロケーションフィックスを利用する無数のアプリケーションがある。たとえば、マップアプリケーションは、モバイルデバイスの現在のロケーションに基づいて、適切なマップ、方向、ドライビングルートなどを選択することができる。ソーシャルネットワーキングアプリケーションは、デバイスのロケーションに基づいて近傍内の他のユーザを識別することができる。多くの他の例が存在する。モバイルデバイスのための位置フィックスを取得するための異なる技法が、異なる条件の下で適切であり得る。屋外環境では、モバイルデバイスは、特定のタイミング要件をもつ衛星ベース測位信号を受信することが可能であり得るので、衛星ベース手法、すなわち、ＧＮＳＳ（全地球ナビゲーション衛星システム：Global Navigation Satellite System）技法が好適であり得る。そのような衛星信号の受信に基づいて、モバイルデバイスのための位置フィックスが計算され得る。しかしながら、いくつかの事例では、衛星ベース手法は、モバイルデバイスが十分な数のＧＮＳＳ衛星への直接見通し線を有しない環境にとって十分でない。そのような環境は、屋内環境、ビルの谷間などを含む。
【０００３】
[0003]概して、そのような環境および他のソリューションにおいてロケーション検出を改善するための技法が、本明細書で説明される。
【発明の概要】
【０００４】
[0004]本開示は、一般に、ロケーションベースサービスを可能にすること、より詳細には、ロケーションベースサービスを可能にするための機械ベース視覚データ収集および処理に関する。
【０００５】
[0005]技法は、モバイルデバイスによってワイヤレスおよびセンサー測定情報を用いて視覚データ（たとえば、画像および／またはビデオデータ）をタグ付けすることについて説明する。いくつかの実装形態では、追加のメタデータフィールドが、ワイヤレスおよび／またはセンサー測定情報を用いて視覚データをタグ付けするために使用され得る。概して、メタデータは画像に関連付けられた属性を表す。たとえば、交換可能画像ファイルフォーマット（Ｅｘｉｆ：Exchangeable image file format）のためのメタデータは、ファイルのフォーマット、画像をキャプチャするために使用されるデバイス、日付および時間、画像の解像度、露出、焦点距離、フラッシュなどを含み得る。
【０００６】
[0006]また、態様は、メタデータ中にワイヤレスおよびセンサー測定値を含めるために画像（たとえば、Ｅｘｉｆ）およびビデオフォーマット（メディアオブジェクトメタデータ）のための規格によって規定される現在のフォーマットを拡張することについて説明する。ワイヤレス情報の例としては、限定はしないが、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値およびＷｉ−Ｆｉ（登録商標）測定値があり得る。Ｗｉ−Ｆｉ測定値は、ＲＳＳＩ測定値およびＲＴＴ測定値を含み得る。センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。モバイルデバイスは、タグ付けされた視覚データをクラウドソーシングサーバに送信し得る。
【０００７】
[0007]視覚データをタグ付けするための例示的な方法は、デバイスに結合されたカメラを使用して視覚データを収集することと、少なくとも１つの信号放出デバイス（signal emitting device）から少なくとも１つのワイヤレス信号を受信することと、少なくとも１つのワイヤレス信号から少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、少なくとも１つの信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けすることとを含み得る。タグ付けされた視覚データは、クラウドソーシングサーバなどのリモートサーバに送信され得る。一実施形態では、情報を導出することは、デバイスにおいて測定される、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号の信号強度を導出することをさらに含み得る。別の実施形態では、情報を導出することは、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号を使用してラウンドトリップ時間を導出することをさらに含む。
【０００８】
[0008]少なくとも１つの信号放出デバイスはワイヤレスアクセスポイントであり得、ソース識別情報はメディアアクセス制御（ＭＡＣ）アドレスである。少なくとも１つのワイヤレス信号は、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つであり得る。一実施形態では、信号放出デバイスは固定であり得る。別の実施形態では、信号放出デバイスのロケーションは、少なくとも、少なくとも１つのワイヤレス信号がデバイスによって受信される時間において知られていないことがある。視覚データは、ＧＮＳＳ使用不能環境（GNSS-denied environment）においてカメラによって収集され得る。
【０００９】
[0009]別の例では、視覚データのタグ付けは、気圧計情報、磁力計情報および／または動きセンサー情報をさらに含み得る。
【００１０】
[0010]視覚データは画像またはビデオであり得る。視覚データが画像である、一事例では、視覚データは、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ得、視覚データをタグ付けすることは、画像ファイルのためのメタデータの一部として少なくとも１つの信号放出デバイスに関連付けられた情報を含むことを備える。
【００１１】
[0011]例示的なデバイスは、視覚データを収集するように構成されたカメラと、視覚データを記憶するように構成されたメモリと、少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するように構成されたトランシーバと、少なくとも１つのワイヤレス信号から少なくとも１つの信号放出デバイスに関連付けられた識別情報を備える情報を導出することと、少なくとも１つの信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けすることとを行うように構成されたプロセッサとを含み得る。一例では、トランシーバは、タグ付けされた視覚データをリモートサーバにワイヤレス送信するようにさらに構成され得る。
【００１２】
[0012]一実装形態では、少なくとも１つの信号放出デバイスに関連付けられた情報は、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号の信号強度と、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号を使用するラウンドトリップ時間とのうちの１つまたは複数をさらに備える。
【００１３】
[0013]一実装形態では、少なくとも１つの信号放出デバイスはワイヤレスアクセスポイントであり、信号放出デバイスからの少なくとも１つのワイヤレス信号は、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである。視覚データは、ＧＮＳＳ使用不能環境においてカメラによって収集され得る。信号放出デバイスのロケーションは、少なくとも、少なくとも１つのワイヤレス信号が受信される時間において知られていないことがある。一実装形態では、プロセッサは、気圧計情報、磁力計情報および／または動きセンサー情報のうちの１つまたは複数を用いて視覚データをタグ付けするようにさらに構成され得る。
【００１４】
[0014]一例では、視覚データは、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ得、視覚データをタグ付けすることは、画像ファイルのためのメタデータの一部として少なくとも１つの信号放出デバイスに関連付けられた情報を含むことを備える。
【００１５】
[0015]例示的な装置は、本装置に結合されたカメラを使用して視覚データを収集するための手段と、少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するための手段と、少なくとも１つのワイヤレス信号から少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出するための手段と、少なくとも１つの信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けするための手段とを含み得る。本装置は、タグ付けされた視覚データをリモートサーバに送信し得る。一例では、視覚データは、ＧＮＳＳ使用不能環境においてカメラによって収集され得る。
【００１６】
[0016]例示的な非一時的コンピュータ可読記憶媒体、ここにおいて、本非一時的コンピュータ可読記憶媒体は、プロセッサによって実行可能な命令を備え、命令は、デバイスに結合されたカメラを使用して視覚データを収集することと、少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、少なくとも１つのワイヤレス信号から少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、少なくとも１つの信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けすることとを行うための命令を含み得る。いくつかの態様では、本非一時的コンピュータ可読記憶媒体は、タグ付けされた視覚データをリモートサーバにワイヤレス送信するための命令をさらに含み得る。
【００１７】
[0017]上記では、以下の発明を実施するための形態がより良く理解され得るように、例の特徴および技術的利点についてやや広く概説した。追加の特徴および利点が以下で説明される。開示される概念および具体例は、本開示の同じ目的を実行するための他の構造を変更または設計するための基礎として容易に利用され得る。そのような等価な構成は、添付の特許請求の範囲の趣旨および範囲から逸脱しない。本明細書で開示される概念を特徴づけると考えられる特徴は、それらの編成と動作方法の両方に関して、関連する利点とともに、添付の図に関連して以下の説明を検討するとより良く理解されよう。図の各々は、例示および説明のみの目的で提供され、特許請求の範囲の限界を定めるものではない。
【００１８】
[0018]本開示の態様が例として示される。図面を参照しながら以下の説明が行われる。図面全体にわたって、同様の要素を指すのに同様の参照番号を使用する。本明細書では、１つまたは複数の技法の様々な詳細が説明されるが、他の技法も可能である。いくつかの事例では、様々な技法について説明することを可能にするために、よく知られている構造およびデバイスがブロック図の形式で示される。
【００１９】
[0019]明細書の残りの部分および図面を参照することによって、本開示によって与えられる例の性質および利点のさらなる理解が実現され得、ここにおいて、同様の構成要素を指すためにいくつかの図面全体にわたって同様の参照番号が使用される。いくつかの事例では、複数の同様の構成要素のうちの１つを示すためにサブラベルが参照番号に関連付けられる。既存のサブラベルの指定なしに参照番号が参照されるとき、その参照番号は、すべてのそのような同様の構成要素を指す。
【図面の簡単な説明】
【００２０】
【図１】[0020]例示的な動作環境の一実装形態に関連付けられた特徴を示す概略図。
【図２】[0021]ショッピングモールのためのヒートマップの簡略化された例示的な視覚表現を示す図。
【図３】[0022]ロケーションを、ヒートマップ上のロケーションについてのワイヤレス情報に関連付けるための例示的なデータ構造を示す図。
【図４】[0023]視覚データと、ワイヤレス信号放出デバイスおよび／または動きセンサーに関連付けられた情報とをキャプチャするように構成可能な例示的なモバイルデバイスを示す図。
【図５】[0024]本開示のいくつかの態様による、画像ファイルのための例示的なデータ構造を示す図。
【図６】[0025]本開示のいくつかの態様による、モバイルデバイスにおいて実装される例示的なモジュールのためのブロック図。
【図７】[0026]本開示の１つまたは複数の例示的な態様を実行するための方法を示す流れ図。
【図８】[0027]本開示のいくつかの態様による、クラウドソーシングサーバにおいて実装される例示的なモジュールのためのブロック図。
【図９】[0028]本開示のいくつかの態様による、モバイルデバイスによって収集された店舗ロゴの一例を示す図。
【図１０】[0029]クラウドソーシングサーバにおいて記憶されるショッピングモールのための例示的なマップを示す図。
【図１１】[0030]本開示の１つまたは複数の例示的な態様による、本発明の実施形態を実行するための方法を示す流れ図。
【図１２】[0031]１つまたは複数の実施形態が実装され得る、コンピューティングシステムの一例を示す図。
【発明を実施するための形態】
【００２１】
[0032]次に、本出願の一部を形成する、添付の図面に関していくつかの例示的な実施形態が説明される。本開示の１つまたは複数の態様が実装され得る、特定の実施形態が以下で説明されるが、本開示の範囲または添付の特許請求の範囲の趣旨を逸脱することなく、他の実施形態が使用され得、様々な変更が行われ得る。
【００２２】
[0033]モバイルデバイスの場合、ロケーションベースサービスのためのデバイスのロケーションフィックスを利用する無数のアプリケーションがある。たとえば、マップアプリケーションは、モバイルデバイスの現在のロケーションに基づいて、適切なマップ、方向、ドライビングルートなどを選択することができる。ソーシャルネットワーキングアプリケーションは、デバイスのロケーションに基づいて近傍内の他のユーザを識別することができる。多くの他の例が存在する。モバイルデバイスのための位置フィックスを取得するための異なる技法が、異なる条件の下で適切であり得る。屋外環境では、モバイルデバイスは、特定のタイミング要件をもつ衛星ベース測位信号を受信することが可能であり得るので、衛星ベース手法、すなわち、ＧＮＳＳ（全地球ナビゲーション衛星システム）技法が好適であり得る。そのような衛星信号の受信に基づいて、モバイルデバイスのための位置フィックスが計算され得る。しかしながら、いくつかの事例では、衛星ベース手法は、モバイルデバイスが十分な数のＧＮＳＳ衛星への直接見通し線を有しない環境にとって十分でない。そのような環境は、ＧＮＳＳ使用不能環境と呼ばれることがあり、屋内環境（たとえば、ショッピングモール、空港、スポーツアリーナなど）および屋外環境（ビルの谷間など）を含み得る。
【００２３】
[0034]モバイルデバイスが十分な数の衛星への直接見通し線を有しないそのようなＧＮＳＳ使用不能環境では、アクセスポイント（ＡＰ）ベース手法が、概して、モバイルデバイスのためのロケーションフィックスを取得するためにより有用である。モバイルデバイスは、知られているロケーションにおいて、ＡＰにおよび／またはＡＰから送られた信号を観測する。モバイルデバイスにおいて、ＲＳＳＩ（受信信号強度指示）およびＲＴＴ（ラウンドトリップ時間）など、異なるタイプの測定値が取得され得る。モバイルデバイスは、デバイスのロケーションを決定するために、これらの測定値を、ワイヤレス測定値をロケーションに関連付ける（ヒートマップとも呼ばれる）マップと比較し得る。一例では、モバイルデバイスは、モバイルデバイスがある特定のロケーションのためのヒートマップを、リモートサーバ（すなわち、ヒートマップサーバ）からダウンロードし得る。
【００２４】
[0035]しかしながら、不十分な衛星カバレージをもつ無数のロケーションのためのヒートマップを生成し、それらのマップを更新された状態に保つことは、難しいタスクである。たとえば、ヒートマップを生成することは、技術者が手作業で、各屋内ロケーションを訪問し、ロケーションにおけるワイヤレス測定値とロケーション自体との間のマッピングを作成することを必要とし得る。さらに、ＡＰが削除、追加または移動されるとき、各ロケーションにおけるワイヤレス測定値は変化し、ヒートマップに関連付けられた情報が古くなり得る。周期的に、ヒートマップを更新することは、技術者が屋内ロケーションを再訪問し、ワイヤレス測定値とロケーションとの間の関連付けを再作成することを必要とし得る。
【００２５】
[0036]本発明の実施形態は、概して、モバイルデバイスによってワイヤレスおよびセンサー測定情報を用いて視覚データ（たとえば、画像および／またはビデオデータ）をタグ付けすることについて説明する。視覚データは、視覚特徴を含む画像および／またはビデオを指すことがある。視覚特徴は、商業またはそれ以外において、それらの比較的一様な表現または使用の一貫性に少なくとも部分的に基づいて識別または認識されることが可能な１つまたは複数の視覚要素を指すことがある。いくつかの実装形態では、追加のメタデータフィールドが、ワイヤレスおよび／またはセンサー測定情報を用いて視覚データをタグ付けするために使用され得る。概して、メタデータは画像に関連付けられた属性を表す。たとえば、交換可能画像ファイルフォーマット（Ｅｘｉｆ）のためのメタデータは、ファイルのフォーマット、画像をキャプチャするために使用されるデバイス、日付および時間、画像の解像度、露出、焦点距離、フラッシュなどを含み得る。
【００２６】
[0037]また、実施形態は、メタデータ中にワイヤレスおよびセンサー測定値を含めるために画像（たとえば、Ｅｘｉｆ）およびビデオフォーマット（メディアオブジェクトメタデータ）のための規格によって規定される現在のフォーマットを拡張することについて説明する。ワイヤレス情報の例としては、限定はしないが、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値およびＷｉ−Ｆｉ測定値があり得る。Ｗｉ−Ｆｉ測定値は、ＲＳＳＩ測定値およびＲＴＴ測定値を含み得る。センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。モバイルデバイスは、タグ付けされた視覚データをクラウドソーシングサーバに送信し得る。
【００２７】
[0038]クラウドソーシングサーバは、モバイルデバイスからタグ付けされた視覚データを受信し、画像から１つまたは複数の視覚特徴（たとえば、店頭ロゴ）を識別し、識別された特徴に基づいて、画像がキャプチャされたロケーションを決定する。すなわち、クラウドソーシングサーバは画像ベースロケーション推定を実行する。たとえば、クラウドソーシングサーバ１１６は、画像から店舗のための店頭ロゴ（たとえば、ＪＣｒｅｗ（登録商標））を識別し得る。クラウドソーシングサーバはまた、画像中のロゴの配向と、画像中のロゴの形状と、ロゴのサイズとに基づいて、画像がキャプチャされた角度と、ロゴからのモバイルデバイスの距離とを推定し得る。このようにして、クラウドソーシングサーバは、画像中の可視特徴に基づいて、画像がキャプチャされたロケーションを決定する。
【００２８】
[0039]クラウドソーシングサーバは画像がキャプチャされた近似ロケーションを知っているので、クラウドソーシングサーバは、画像メタデータからワイヤレス（たとえば、Ｗｉ−Ｆｉ）測定値を抽出し、それらのワイヤレス測定値をヒートマップ２００上のロケーションに関連付ける。ますます多くのデバイスがある時間期間にわたってワイヤレス測定値をもつ画像を送るとき、クラウドソーシングサーバは、ヒートマップ上のロケーションをワイヤレス測定値に関連付け続け、したがって時間とともにヒートマップを改良し、自動的に更新する。
【００２９】
[0040]後の時点において、クラウドソーシングサーバは、様々なモバイルデバイスにとって利用可能なヒートマップを製作し得る。クラウドソーシングサーバからの更新されたロバスト（robust）なヒートマップは、モバイルデバイスが、モバイルデバイスによって収集されたワイヤレス測定値と、ワイヤレス測定値をヒートマップと照合することとに基づいて、それらのロケーションを決定することを可能にする。
【００３０】
[0041]画像にタグ付けされた、他のセンサーに関連付けられた情報も役立ち得る。たとえば、多階建築物では、気圧計の読みは、モバイルデバイスが画像をキャプチャした建築物の階を決定するのを助け得る。
【００３１】
[0042]図１は、モバイルデバイス１０２の位置推定のための１つまたは複数のプロセスまたは動作を可能にするか、あるいはサポートすることが可能な例示的な動作環境１００の一実装形態に関連付けられた特徴を示す概略図である。動作環境１００は、本明細書では、公衆ネットワーク（たとえば、インターネット、ワールドワイドウェブ）、プライベートネットワーク（たとえば、イントラネット）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮなど）など、様々な通信ネットワークまたはネットワークの組合せのコンテキストにおいて、全体的にまたは部分的に実装され得る非限定的な例として説明されることを諒解されたい。
【００３２】
[0043]また、屋内実装形態に関係する例を与えながら主題が説明されるが、本発明の実施形態は屋内実装形態に限定されないことに留意されたい。いくつかの例示的なシナリオでは、本発明の実施形態は、ＧＮＳＳ使用不能（または米国の全地球測位システム（ＧＰＳ）使用不能）環境において動作可能であり得る。ＧＮＳＳ使用不能環境は、モバイルデバイスのための位置フィックスを取得するためにＧＮＳＳ衛星を使用することが可能でないことがあるか、または不十分であり得る環境を指すことがある。そのようなＧＮＳＳ使用不能環境は、ショッピングモール、空港、スポーツアリーナなどの屋内環境を含むが、モバイルデバイスが、位置フィックスを取得するために十分なＧＮＳＳ衛星との見通し線を有することが困難である、ビルの谷間、タウンスクエア、アンフィシアター、駐車場、屋上庭園、パティオなどの屋外ロケーションをも含み得る。
【００３３】
[0044]図示のように、動作環境１００は、たとえば、１つまたは複数の通信プロトコルに従ってワイヤレス通信リンク１１０を介してモバイルデバイス１０２と通信することが可能な、１つまたは複数の衛星１０４、基地トランシーバ局１０６、ワイヤレス信号放出デバイス１０８（説明しやすいように、ただ１つのワイヤレス信号放出デバイス１０８図１に示されているが、動作環境１００が、複数の信号放出デバイス１０８を含み得、概して少なくとも１つのワイヤレス信号放出デバイス１０８を含むことを理解されたい）などを備え得る。衛星１０４は、たとえば、米国の全地球測位システム（ＧＰＳ）、ロシアのＧＬＯＮＡＳＳシステム、欧州のＧａｌｉｌｅｏシステム、ならびに衛星システムの組合せからの衛星を利用し得る任意のシステム、または将来開発される任意の衛星システムなど、１つまたは複数のＧＮＳＳ衛星測位システム（ＳＰＳ）に関連付けられ得る。いくつかの実施形態について説明する際に、簡単および説明のために、ＧＰＳまたはＧＮＳＳ使用不能環境が説明されるが、本発明の範囲から逸脱することなく、他の衛星測位システムが代用され得る。基地トランシーバ局１０６、ワイヤレス信号放出デバイス１０８などは、たとえば、同じまたは同様のタイプであり得るか、あるいは実装形態に応じて、アクセスポイント、無線ビーコン、セルラー基地局、フェムトセルなど、異なるタイプのデバイスを表し得る。時々、１つまたは複数の信号放出デバイスは、たとえば、ワイヤレス信号を送信ならびに受信することが可能であり得る。いくつかのインスタンス化（instantiations）では、ワイヤレス信号放出デバイス１０８は、Ｗｉ−Ｆｉ信号、可聴および非可聴音、ならびに（可視および非可視）光線などの信号を放出するように構成可能なデバイスをも含み得る。
【００３４】
[0045]いくつかの事例では、１つまたは複数の基地トランシーバ局１０６、信号放出デバイス１０８などは、たとえば、１つまたは複数の通信リンク１１４などを介して、好適なまたは所望の情報を与えることが可能な１つまたは複数のワイヤードまたはワイヤレス通信あるいはコンピューティングネットワークを備え得るネットワーク１１２に動作可能に結合され得る。わかるように、情報は、１つの可能な実装形態をただ示すために、たとえば、関連する関心場所（ＰＯＩ：places of interests）を、関心のある屋内または同様のエリア内の知られているロケーションと、これらのＰＯＩにあるとされるブランド固有視覚シグネチャとに関連付ける支援情報を含み得る。時々、支援情報は、たとえば、動作環境１００に関連付けられた１つまたは複数の動作またはプロセスを可能にするか、あるいはサポートするために、１つまたは複数の基地トランシーバ局１０６、ワイヤレス信号放出デバイス１０８などの識別情報またはロケーションを含み得る。例示として、支援情報は、たとえば、デジタルマップ、ルックアップテーブル、数式、好適なモデル、アルゴリズムなどの形式で与えられ得、それは、アプリケーション、ネットワーク、環境などに少なくとも部分的に依存し得る。一実装形態では、ネットワーク１１２は、たとえば、モバイルデバイス１０２、１つまたは複数の基地トランシーバ局１０６、ワイヤレス信号放出デバイス１０８、ならびに動作環境１００に関連付けられた１つまたは複数のサーバなど、好適なコンピューティングプラットフォームまたはデバイス間の通信を可能にするか、あるいはサポートすることが可能であり得る。
【００３５】
[0046]いくつかの事例では、サーバは、たとえば、動作環境１００に関連付けられた１つまたは複数の動作またはプロセスを可能にするか、あるいはサポートすることが可能な、クラウドソーシングサーバ１１６、ヒートマップ配信サーバ１１８、ならびに全体的に１２０として示される、１つまたは複数の他のサーバ（たとえば、ナビゲーション、情報、マップ、サーバなど）を含み得る。
【００３６】
[0047]いくつかのシナリオでは、ヒートマップ配信サーバ１１８は、動作環境１００において動作するモバイルデバイス１０２にヒートマップを配信し得る。いくつかの事例では、ヒートマップは、ヒートマップ配信サーバ１１８によってサポートされる領域に入るモバイルデバイスに自動的に配信される。他の実施形態では、モバイルデバイス１０２は、モバイルデバイスがその中で動作しているか、または動作することになるかのいずれかである領域のための適用可能なヒートマップを要求し、ダウンロードする。１つの例示的なシナリオでは、モバイルデバイス１０２は、動作環境１００におけるそれのロケーションを決定するためにヒートマップを使用し得る。例示的な一実装形態では、モバイルデバイス１０２は、知られているロケーションにおいて、（アクセスポイントなどの）信号放出デバイスにおよび／またはそれから送られた信号を観測する。モバイルデバイスにおいて、ＲＳＳＩおよびＲＴＴなど、異なるタイプの測定値が取得され得る。モバイルデバイスは、デバイスのロケーションを決定するために、これらの測定値を、ワイヤレス測定値をロケーションに関連付けるヒートマップと比較し得る。
【００３７】
[0048]本発明の実施形態はまた、クラウドソーシングサーバ１１６を使用してヒートマップを生成し、更新し、維持するためのクラウドソーシングを使用して情報を獲得するための技法について説明する。クラウドソーシングサーバ１１６は、複数のモバイルデバイスから情報を集め、ヒートマップを更新するために使用され得る。
【００３８】
[0049]図２に、ショッピングモールのためのヒートマップの視覚表現の簡略化された例を示す。ヒートマップは、クラウドソーシングサーバ１１６によって生成され、維持され、更新され、ヒートマップ配信サーバ１１８によってモバイルデバイス１０２に配信され得る。ヒートマップ２００は、モバイルデバイスが、近隣の信号放出デバイスからのワイヤレス信号情報を使用してＧＮＳＳ使用不能環境におけるそれのロケーションを決定することにおいてを可能にし得る。一実装形態では、ヒートマップ２００は、図２に示されているように、マップ上の座標などのロケーション情報を、ＡＰなどの信号放出デバイス１０８に関連付けられたＲＳＳＩおよびＲＴＴ情報など、ワイヤレス測定情報に関連付け得る。図２では、楕円サークル（すなわち、２０２、２０４はそれぞれ、ヒートマップ２００に関連付けられたロケーション座標を表し得る。各ロケーション座標について、そのロケーション座標に関連付けられた情報は、１つまたは複数の信号放出デバイス１０８に関連付けられたロケーションおよびソース識別情報を含み得る。さらに、いくつかの実装形態では、ロケーションに関連付けられた情報は、信号放出デバイス１０８からの信号に関連付けられた測定値をも含み得る。ヒートマップ２００上の各ロケーション座標またはノードに関連付けられた情報の例示的な実装形態が、図３でさらに説明される。一実装形態では、「Ｘ」マークでマークされた楕円サークル（２０４）は、過去にそれらのそれぞれのロケーションから情報を集めた１つまたは複数のモバイルデバイスからの実際の測定値をもつロケーションを表すが、「Ｘ」マークのない楕円サークル（２０２）は、近隣のロケーションから補間されたデータを表し得る。いくつかの事例では、実際の測定値の数とともに、ヒートマップの全体的な精度は増加する。
【００３９】
[0050]クラウドソーシングサーバ１１６は、いくつかのＧＮＳＳ使用不能環境のためのそのようなヒートマップを生成し、更新し、維持し得る。異なる時点で、クラウドソーシングサーバ１１６は、様々なモバイルデバイスにとって利用可能なヒートマップ２００を製作し得る。自動的に、またはモバイルデバイス１０２からの要求時にのいずれかで、ヒートマップ配信サーバ１１８は、モバイルデバイス１０２にヒートマップを配信し得る。いくつかの事例では、ヒートマップは、ＧＮＳＳ使用不能環境へのモバイルデバイスの訪問に先立って、または、モバイルデバイス１０２がＧＮＳＳ使用不能環境を頻繁に訪問する場合、モバイルデバイスに配信され得る。クラウドソーシングサーバ１１６およびヒートマップ配信サーバ１１８からの更新されたロバストなヒートマップは、特にＧＮＳＳ使用不能環境において、モバイルデバイスにとって利用可能に製作され、モバイルデバイスがそれらのロケーションを決定することを可能にする。
【００４０】
[0051]図３に、ロケーションを、ロケーションにおいて測定された例示的なワイヤレス情報に関連付けるための例示的なデータ構造を示す。一例では、図２のヒートマップ中で楕円サークルとして示された各ノードは、ロケーションをアクセスポイント情報に関連付ける同様のデータ構造３００を備え得る。図３に示されているように、所与のロケーションＸＹＺ３０２において、ヒートマップ２００は、４つの異なる信号アクセスポイント（ＡＰ）に関連付けられた情報を有し得る。４つの異なるＡＰに関連付けられた情報は、４つのＡＰの各々についてロケーションＸＹＺ３０２における１つまたは複数の代表的モバイルデバイスによって測定されたＲＳＳＩおよび／またはＲＴＴ情報を含み得る。代替実装形態では、あるいはＲＳＳＩおよび／またはＲＴＴ測定値に加えて、データ構造３００は、測定可能であり、ＡＰとロケーションＸＹＺ３０２に位置する代表的モバイルデバイスとの間の距離に比例して変化する情報を含み得る。
【００４１】
[0052]図３では、データ構造３００は、ロケーションＸＹＺ３０２のための実行または補間された測定値を表す、４つのＡＰについて４つのエントリを有する。各エントリは、ソース識別フィールドと測定フィールドとを有し得る。たとえば、ＡＰ−１の場合、第１のエントリは、ＡＰ−１メディアアクセス制御（ＭＡＣ）アドレス３０４と、ロケーションＸＹＺ３０２においてＲＳＳＩ／ＲＴＴを測定する代表的デバイスのためのＡＰ−１についてのＲＳＳＩおよび／またはＲＴＴ情報（ブロック３０６）とを有する。同様に、ＡＰ−２、ＡＰ−３およびＡＰ−４の場合、第２、第３および第４のエントリは、それらのそれぞれのＭＡＣアドレス（３０８、３１２および３１６）と、ロケーションＸＹＺ３０２において代表的モバイルデバイスから測定されるとき、それぞれのＡＰについてのそれぞれのＲＳＳＩ／ＲＴＴ測定値（３１０、３１４および３１８）とを有する。
【００４２】
[0053]図３では、ＭＡＣアドレスは、ＡＰの各々のための一意のソース識別子として働く。いくつかのＡＰ（または他の信号放出デバイス）を互いと十分に区別する他のソース識別子が、本発明の実施形態から逸脱することなく使用され得る。たとえば、いくつかの実施形態では、インターネットプロトコル（ＩＰ）アドレスは、ＩＰアドレスがデバイスに静的に割り当てられる構成において使用され得る。
【００４３】
[0054]図３は、４つのエントリを使用して、図２に示されたヒートマップ中で表されるロケーション座標またはノードにおける情報を示している。本発明の実施形態は、４つのエントリに限定されず、より多いまたはより少ないエントリを有し得る。いくつかの事例では、データ構造のためのエントリの数は、利用可能なＡＰの数と、ＡＰの能力と、データ構造のサイズに対する実装制限とに基づき得る。さらに、いくつかの実施形態では、いくつかの信号識別エンティティのためのソース識別情報と、それらの関連付けられた信号についての測定値（たとえば、ＲＳＳＩ／ＲＴＴ）とを記憶することの代わりに、またはそれに加えて、データの一部または全部は、ロケーションにおいて観測された様々な信号特性のスナップショットビューを表す、ロケーションのための一意のフィンガープリントを生成するためにハッシングされ得る。
【００４４】
[0055]本明細書で説明されるように、説明の目的で、本発明の実施形態が、ワイヤレスアクセスポイントを参照して説明される。ただし、本発明の実施形態から逸脱することなくワイヤレス信号放出デバイス１０８が使用され得る。たとえば、いくつかの実施形態では、ワイヤレス信号放出デバイス１０８は、光（可視および非可視）放出デバイスおよび音（可聴および非可聴）放出デバイスなどのデバイスを含み得る。たとえば、光放出デバイスは蛍光灯バルブを含み得る。蛍光灯バルブは、概してその蛍光灯バルブを識別し、環境における他の蛍光灯バルブと区別することができる十分な一意性をもつ情報を放出し得る。たとえば、様々な電球から放出する光のちらつきは、概してある蛍光灯バルブを別のものと区別するために、製造プロセスにより各電球について十分に異なり得る。別の実施形態では、蛍光灯バルブは、蛍光灯バルブを識別する符号化情報とともにちらつきを放出するように製造され得る。ちらつきは人間の眼にとって顕著でないことがあるが、モバイルデバイス１０２は、そのようなちらつきを観測するようにプログラムされ得る。さらに、電球とモバイルデバイスとの間の距離に対する測定値の比例が、モバイルデバイスまたは他の好適な手段において受信された光線の振幅（すなわち、輝度、照度など）を使用して測定され得る。
【００４５】
[0056]すべてではないが、ほとんどの事例では、信号放出デバイスは、マップ上のロケーション座標に関して固定であり、したがって、ある時間期間にわたって無矛盾であり、ロケーションのためのシグネチャを生成するために使用され得る情報を与え得る。
【００４６】
[0057]一実装形態では、ヒートマップは、モバイルデバイスと信号放出デバイスとの間の信号特性の測定のための、特定のタイプの信号放出デバイスまたは技法に限定されないことがある。たとえば、ＧＮＳＳ使用不能環境のためのヒートマップの場合、ヒートマップは、ＡＰ、無線ビーコン、セルラー基地局、フェムトセル、蛍光灯バルブ、光（可視および非可視）放出デバイスおよび音（可聴および非可聴）放出デバイスなど、信号放出デバイス１０８の組合せに関連付けられた情報を含み得る。さらに、ＡＰの場合でさえ、信号特性は、ＲＴＴおよびＲＳＳＩなどの技法の組合せを使用して測定され得る。いくつかの事例では、ＡＰの能力が、使用される測定技法を決定し得る。ＡＰ、超音波デバイス、電球などの信号放出デバイスのより大きい多様性を含むヒートマップの場合、信号放出デバイスに関する測定技法は、ＲＴＴ、ＲＳＳＩ、光ちらつきなどを含むなど、一層大きい多様性を示し得る。
【００４７】
[0058]上記の図（図２および図３）は、ヒートマップと、ヒートマップのためのロケーション座標において記憶された関連付けられた情報について説明する。しかしながら、無数のＧＮＳＳ使用不能ロケーションのためのヒートマップを生成し、それらのマップを更新された状態に保つことは、難しいタスクである。たとえば、ヒートマップを生成することは、技術者が手作業で、各屋内ロケーションを訪問し、ロケーションにおけるワイヤレス測定値とロケーション自体との間のマッピングを作成することを必要とし得る。さらに、アクセスポイントが削除、追加または移動されるとき、各ロケーションにおけるワイヤレス測定値は変化し、ヒートマップに関連付けられた情報が古くなり得る。周期的にヒートマップを更新することは、技術者がＧＮＳＳ使用不能ロケーションを再訪問し、ワイヤレス測定値とロケーションとの間の関連付けを再作成することを必要とし得る。
【００４８】
[0059]以下でさらに詳細に説明されるように、モバイルデバイスにおいて、本発明の実施形態は、概して、ワイヤレスおよびセンサー測定情報を用いて視覚データ（たとえば、画像および／またはビデオデータ）をタグ付けすることについて説明する。いくつかの実装形態では、追加のメタデータフィールドが、ワイヤレスおよび／またはセンサー測定情報を用いて視覚データをタグ付けするために使用され得る。タグ付けされた情報はクラウドソーシングサーバ１１６などのサーバに送られ得、ここで、クラウドソーシングサーバ１１６は、視覚データからの視覚特徴と、場合によってはファイル中に含まれるセンサー情報とを使用して、画像がキャプチャされたロケーションを導出し得る。クラウドソーシングサーバ１１６は、ワイヤレス信号放出デバイスに関連付けられた情報を抽出し、ヒートマップ上のロケーション座標をワイヤレス信号放出デバイスに関連付けられた情報に関連付け得る。
情報を用いて視覚データをタグ付けすること：
[0060]図４に、画像および／またはビデオなどの視覚データをキャプチャし、ワイヤレス信号放出デバイスおよび／または動きセンサーに関連付けられた情報を用いて画像をタグ付けするように構成可能な例示的なモバイルデバイスを示す。図４に示されているように、所与の時点において、モバイルデバイス１０２のユーザは、モバイルデバイス１０２とともにショッピングモール４００にいる。ショッピングモール４００は、ＧＮＳＳ使用不能環境を表し得、いくつかの点で図１で説明された動作環境１００と同様であり得る。図４では、一実施形態では、モバイルデバイス１０２は、信号放出デバイス１０８に関するデータを集め、そのデータを、ヒートマップを生成し、更新し、維持するためのクラウドソーシングサーバ１１６に送信することによって、クラウドソーシング機能を可能にし得る。一実装形態では、モバイルデバイス１０２は、クラウドソーシングサーバ１１６に代わってデータを集めるために事前登録され得る。
【００４９】
[0061]図４に示されているように、ショッピングモール４００のための動作環境は、いくつかのブランド化された店舗を有し、ショッピングモール全体にわたって拡散された、ＡＰなどの８つの別個の信号放出デバイス１０８ａ〜ｇを示す。モバイルデバイス１０２のユーザは、クラウドソーシングサーバ１１６のための情報を獲得する目的で、または、通常の行動として、偶然に、たとえば、友人とともにショッピングモールを訪問し、一緒に写真を撮る間に、ショッピングモール内にいる間に写真またはビデオを撮り得る。写真は、目立つ店舗ロゴなどの視覚特徴を、シーンから意図せずにキャプチャし得る。そのような視覚特徴は、視覚データ（画像および／またはビデオ）がキャプチャされたロケーションを決定するために、クラウドソーシングサーバ１１６によって後で使用され得る。
【００５０】
[0062]図４に示されているように、ほぼ、視覚データを収集する時間において、モバイルデバイス１０２は、４つの異なる信号放出デバイス１０８ａ〜ｄから信号を受信する。モバイルデバイス１０２に対する信号放出デバイスのロケーションは、視覚データを収集するかまたは信号放出デバイスから信号を受信する時間において、知られていないことがある。モバイルデバイス１０２は、４つの信号放出デバイスの各々についてのソース識別情報（たとえば、ＭＡＣアドレス）を決定する。さらに、いくつかの実装形態では、モバイルデバイスは、信号放出デバイス１０８とモバイルデバイス１０２との間の信号についてのＲＳＳＩおよび／またはＲＴＴをも決定し得る。ソース識別情報と、ＲＳＳＩおよび／またはＲＴＴなどの信号の他の特性との組合せは、モバイルデバイス１０２の現在ロケーションと信号放出デバイスとの間の関係を表し得る。いくつかのそのような関係（たとえば、ＭＡＣアドレス、ＲＳＳＩ／ＲＴＴ）は、図３で説明されたものと同様に、モバイルデバイス１０２のロケーションのための十分に一意のシグネチャを形成し得る。
【００５１】
[0063]一実施形態では、モバイルデバイス１０２は、画像またはビデオが、モバイルデバイス１０２に結合されたカメラによって撮られた時間において収集された、１つまたは複数のＡＰに関連付けられた情報を、画像またはビデオに関連付けられたキャプチャされた視覚データにタグ付けし得る。視覚データがキャプチャされる時間における１つまたは複数のＡＰに関連付けられた情報を用いた視覚データのタグ付けは、視覚データがキャプチャされる事例において、視覚データに埋め込まれた視覚情報とモバイルデバイス１０２によって受信された信号との間の強い時間および空間関連付けを形成する。以下の図５は、ワイヤレス信号に関連付けられた情報を用いて視覚データをタグ付けする例示的な一実施形態について説明する。
【００５２】
[0064]ワイヤレス信号放出デバイス１０８に関連付けられた情報を用いて視覚データをタグ付けすることに加えて、モバイルデバイス１０２はまた、１つまたは複数の気圧計センサー、磁力計センサーまたは動きセンサーからの情報など、センサーデータを用いて視覚データをタグ付けし得る。気圧計センサーからの情報を用いて視覚データをタグ付けすることは、画像がキャプチャされた高度を示すのを助け得る。同様に、磁力計からの情報を用いて視覚データをタグ付けすることは、視覚データがキャプチャされた時間におけるモバイルデバイス１０２の方位を決定するのを助け得る。さらに、モバイルデバイスは、ジャイロスコープおよび加速度計を含み得る慣性センサーなど、動きセンサーを含み得る。動きセンサーを用いて視覚データをタグ付けすることは、視覚データが収集される時間において、デバイスのポーズと、モバイルデバイス１０２が受ける相対および絶対動きとを決定するのを同じく助け得る。
【００５３】
[0065]いくつかの事例では、センサー情報を用いて視覚データをタグ付けすることは、センサーデータの読みに関連付けられたデルタまたは変化を用いて視覚データをタグ付けすることを備え得る。たとえば、いくつかの事例では、ユーザがショッピングモールのある階からショッピングモールの別の階に移動したと決定するために絶対気圧ではなく気圧の変化を含むことが、有用であり得る。同様に、ジャイロスコープの場合、画像がキャプチャされた時間におけるジャイロスコープの読みの絶対値ではなく、ジャイロスコープセンサーの読みの変化が、あらかじめ決定されたポーズからの相対回転を決定する際により役立ち得る。
【００５４】
[0066]図５は、信号放出デバイスおよび／またはセンサーに関連付けられた情報を用いて、カメラを使用して収集された視覚データをタグ付けすることを示す、画像／ビデオファイルのための例示的なデータ構造を示している。信号放出デバイスに関連付けられた情報は、信号放出デバイスについてのソース識別情報と、ワイヤレスおよび／またはセンサー測定情報とを含み得る。信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けすることは、画像／ビデオファイルのためのメタデータ中に追加情報を含めることを指すことがある。概して、メタデータは画像／ビデオに関連付けられた属性を表す。たとえば、交換可能画像ファイルフォーマット（Ｅｘｉｆ）のためのメタデータは、ファイルのフォーマット、画像をキャプチャするために使用されるデバイス、日付および時間、画像の解像度、露出、焦点距離、フラッシュなどを含み得る。
【００５５】
[0067]また、実施形態は、メタデータ中にワイヤレス信号放出デバイスに関連付けられた情報とセンサーデータとを含めるために画像（たとえば、Ｅｘｉｆ）およびビデオフォーマット（メディアオブジェクトメタデータ）のための規格によって規定される現在のフォーマットを拡張することについて説明する。ワイヤレス情報の例としては、限定はしないが、ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値およびＷｉ−Ｆｉ測定値があり得る。Ｗｉ−Ｆｉ測定値は、ＲＳＳＩ測定値およびＲＴＴ測定値を含み得る。センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。モバイルデバイス１０２は、Ｅｘｉｆ画像のための新しい拡張規格に従ってファイルを生成し、それをメモリに記憶し得る。直ちに、または後の時点において、モバイルデバイス１０２は、タグ付けされた視覚データをもつファイルをクラウドソーシングサーバ１１６に送信し得る。
【００５６】
[0068]図５は、画像データ５０４と画像データとの関連付けられたメタデータ５０２とを示す例示的な画像ファイル５００を示している。図５では、メタデータ５０２は、本発明のいくつかの実施形態による、信号放出デバイスと、モバイルデバイス１０２に結合されたセンサーとに関連付けられた追加情報を示す。
【００５７】
[0069]一実施形態では、信号放出デバイスは、（ただ１つのＡＰのためのフィールドが示されているが）１つまたは複数のＡＰであり得る。ＡＰに関連付けられたソース識別情報は、ＭＡＣアドレスであり得る。ＡＰなどの信号放出デバイスから受信された信号に関連付けられた情報は、ＲＴＴおよび／またはＲＳＳＩ測定値であり得る。いくつかの実施形態では、測定値のタイプは、ＡＰの能力に基づいて選択され得る。たとえば、いくつかのＡＰはＲＴＴ能力をサポートしないことがあり、ＲＳＳＩ測定値が代わりに使用され得る。いくつかの事例では、ＲＴＴ測定値とＲＳＳＩ測定値の両方が、モバイルデバイス１０２のロケーションにおいて信号特性を定義する際に追加情報を与えるために使用され得る。いくつかの実装形態では、ＡＰによって使用されているチャネルまたは周波数も、画像ファイル５００のためのメタデータ５０２中に含まれ得る。
【００５８】
[0070]ユーザがモバイルデバイス１０２に結合されたカメラを使用して写真を撮っている、一例では、画像データは、本明細書で説明されるように、拡張Ｅｘｉｆ規格を使用して画像ファイルとして記憶され得る。一例では、国際標準化機構（ＩＳＯ：international organization of standards）の一部である拡張可能メタデータプラットフォーム（ＸＭＰ：Extensible Metadata Platform）は、ＭＡＣ  ＩＤ（たとえば、１ｃａａ０７ｃ６ｅ３７０）、ＲＳＳＩ（たとえば、−７０ｄｂｍ）および／またはＲＴＴ（たとえば、０．０１５４ミリ秒）など、メタデータのためのフィールドを定義し、ポピュレートする際に使用され得る。別の例（図示せず）では、同様のフィールドは、ビデオファイル（たとえば、メディアオブジェクトメタデータ）をタグ付けするために使用され得る。
【００５９】
[0071]図６に、本発明の一実施形態による、モバイルデバイス１０２において実装される例示的なモジュールのためのブロック図を示す。モバイルデバイス１０２は、図１２で説明される１つまたは複数の構成要素を使用して実装されるコンピュータデバイスであり得る。図６で説明されるモジュールは、ソフトウェア、ファームウェア、ハードウェアまたはそれらの他の組合せを使用して実装され得る。一実施形態では、図６で説明されるモジュールのうちのいくつかは、任意の磁気、電子、光、または他のコンピュータ可読記憶媒体であり得るコンピュータ可読媒体６００上にソフトウェアモジュールとして記憶され得る。一実装形態では、コンピュータ可読記憶媒体は、ワイヤレスソース識別子６０８と、信号特性識別子モジュール６１０と、データエンコーダモジュール６１２と、タグ生成器モジュール６１４と、ファイル生成器モジュール６１６とを含み得る。
【００６０】
[0072]ユーザは、ＧＮＳＳ使用不能環境においてモバイルデバイス１０２に結合された１つまたは複数のカメラモジュール６０２を使用して視覚データを収集し（すなわち、写真を撮るかまたはビデオをキャプチャし）得る。一例では、図４に示されているように、ユーザは、写真を撮るかまたはビデオをキャプチャするためにユーザのモバイルデバイス１０２をも使用しながら、ショッピングモール４００中で買い物をしていることがある。
【００６１】
[0073]データエンコーダモジュール６１２は、画像のためのタグイメージファイルフォーマット（ＴＩＦＦ：Tagged Image File Format）またはジョイントフォトグラフィックエキスパートグループ（ＪＰＥＧ：Joint Photographic Experts Group）、あるいはビデオのためのムービーピクチャエキスパートグループ４（ＭＰＥＧ４：Movie Pictures Expert Group-4）、あるいは他の好適なフォーマットなどの標準フォーマットに、視覚データを符号化し得る。
【００６２】
[0074]ほぼ、ユーザが視覚データを収集する時間において、モバイルデバイス１０２に結合されたワイヤレストランシーバ６０４は、１つまたは複数の信号放出デバイスから１つまたは複数のワイヤレス信号を受信し得る。ただ１つのトランシーバモジュール６０４が図６に示されているが、モバイルデバイスが、ワイヤレス信号を送信ならびに受信することが可能であり得る１つまたは複数のワイヤレストランシーバを含み得ることを理解されたい。いくつかのインスタンス化では、トランシーバモジュール６０４は、Ｗｉ−Ｆｉ信号、可聴および非可聴（たとえば、超音波）音、ならびに可視および非可視（たとえば、赤外）光線などの信号を放出し、受信するように構成可能な構成要素を含み得る。
【００６３】
[0075]ワイヤレス信号放出デバイスは、実装形態に応じて、アクセスポイント、無線ビーコン、セルラー基地局、フェムトセルなど、異なるタイプのデバイスを表し得る。たとえば、いくつかの実施形態では、ワイヤレス信号放出デバイス１０８は、光（可視および非可視）放出デバイスおよび音（可聴および非可聴）放出デバイスなどのデバイスを含み得る。
【００６４】
[0076]ワイヤレスソース識別子モジュール６０８は、トランシーバ６０４から情報を受信し、ワイヤレス信号から、信号放出デバイスに関連付けられたソース識別情報を導出し得る。たとえば、ワイヤレスソース識別子６０８モジュールは、ワイヤレスアクセスポイントから受信されたデータパケットのためのヘッダを復号し、ＭＡＣアドレスを導出し得る。ＭＡＣアドレスは、アクセスポイントのための十分に一意の識別子を与える。
【００６５】
[0077]信号特性識別子モジュール６１０は、信号放出デバイスに対するモバイルデバイス１０２の相対測位を示し得る、信号放出デバイスからの信号に関連付けられた特性を導出し得る。たとえば、信号特性識別子モジュール６１０は、デバイスにおいて測定される、少なくとも１つの信号放出デバイスから受信された少なくとも１つのワイヤレス信号の信号強度（すなわち、ＲＳＳＩ）を導出し得る。別の例では、信号特性識別子モジュール６１０は、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号を使用してラウンドトリップ時間（すなわち、ＲＴＴ）を導出し得る。
【００６６】
[0078]タグ生成器モジュール６１４は、信号放出デバイスの各々についてのワイヤレスソース識別子モジュール６０８からのソース識別情報と、信号特性識別子モジュール６１０からの関連付けられたＲＳＳＩ、ＲＴＴまたは他の信号特性識別子とを使用してタグを生成し得る。タグを生成することは、それがファイルのためのメタデータ中に含まれ得るように、信号放出デバイスに関する情報をフォーマットすることを備え得る。
【００６７】
[0079]一実施形態では、タグ生成器モジュール６１４は、随意に、センサー６０６モジュールからの１つまたは複数のセンサーから情報を受信し、それをタグを生成する際に使用し得る。センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。いくつかの実装形態では、タグに組み込まれたセンサー情報はまた、利用可能な場合、ＧＮＳＳ座標を含み得るか、または、さらなる処理のためにロケーションの粗い推定値を導出するのを助け得る最新の知られているＧＮＳＳ導出ロケーションを含み得る。
【００６８】
[0080]ファイル生成器モジュール６１６は、データエンコーダモジュール６１２およびタグ生成器モジュール６１４から入力を受信し、ファイルを生成し得る。一実施形態では、画像データの場合、ファイルは、データエンコーダモジュール６１２からの符号化データ（たとえば、ＪＰＥＧまたはＴＩＦＦ）と、タグ生成器モジュール６１４からのタグとを含むことによって、Ｅｘｉｆ規格に従って生成され得る。
【００６９】
[0081]ファイルを生成した後に、一実施形態では、モバイルデバイス１０２はまた、そのファイルをクラウドソーシングサーバ１１６などのリモートサーバに送信し得る。
【００７０】
[0082]図７は、本開示の１つまたは複数の例示的な態様による、本発明の実施形態を実行するための方法を示す流れ図である。１つまたは複数の態様によれば、本明細書で説明される方法および／または方法ブロックのうちのいずれかおよび／またはすべては、たとえば、図１に示されているモバイルデバイス１０２などのモバイルデバイス１０２および／または図１２でより詳細に説明されるデバイスによっておよび／またはそれらにおいて実装され得る。一実施形態では、図７に関して以下で説明される方法ブロックのうちの１つまたは複数は、プロセッサ１２１０または別のプロセッサなど、コンピューティングデバイス１２００のプロセッサによって実装される。追加または代替として、本明細書で説明される方法および／または方法ブロックのうちのいずれかおよび／またはすべては、メモリ１２３５、（１つまたは複数の）ストレージデバイス１２２５または別のコンピュータ可読媒体など、コンピュータ可読媒体に記憶されたコンピュータ可読命令など、コンピュータ可読命令において実装され得る。
【００７１】
[0083]ブロック７０２において、モバイルデバイス１０２に結合されたカメラなど、モバイルデバイス１０２の構成要素は、シーンから視覚データを収集する。視覚データは、１つまたは複数の画像および／またはビデオクリップを含み得る。一実施形態では、視覚データは、ＧＮＳＳ使用不能環境において収集され得る。たとえば、ユーザは、十分な数のＧＮＳＳ衛星への直接見通し線をもたないショッピングモールなど、屋内ロケーション中で写真を撮っていることがある。
【００７２】
[0084]ブロック７０４において、トランシーバ６０４（図６参照）など、モバイルデバイス１０２の構成要素は、１つまたは複数の信号放出デバイスから１つまたは複数のワイヤレス信号を受信する。
【００７３】
[0085]ブロック７０６において、１つまたは複数のプロセッサを使用するワイヤレスソース識別子６０８（図６参照）など、モバイルデバイス１０２の構成要素は、受信されたワイヤレス信号から、１つまたは複数の信号放出デバイスに関連付けられたソース識別情報を備える情報を導出する。たとえば、信号放出デバイスがワイヤレスアクセスポイントである事例では、モバイルデバイス１０２の構成要素は、ワイヤレス信号上で送信されたデータパケットのヘッダからＭＡＣアドレスを導出することによって、ワイヤレス信号のソースを決定し得る。
【００７４】
[0086]場合によっては、信号特性識別子モジュール６１０（図６参照）など、モバイルデバイス１０２の構成要素はまた、信号放出デバイスに対するモバイルデバイス１０２の相対測位を示し得る、信号放出デバイスからの信号に関連付けられた特性を導出し得る。たとえば、信号特性識別子モジュール６１０は、ＡＰから発信した信号についてのＲＳＳＩまたはＲＴＴを導出し得る。
【００７５】
[0087]ブロック７０８において、モバイルデバイス１０２の構成要素は、１つまたは複数の信号放出デバイスに関連付けられた情報を用いて視覚データをタグ付けし、ファイルを生成する。場合によっては、モバイルデバイス１０２の構成要素はまた、センサー６０６からの１つまたは複数のセンサーからの情報を用いて視覚データをタグ付けし得る。センサー情報は、気圧計、磁力計および動きセンサー（たとえば、加速度計、ジャイロスコープなど）情報を含み得る。一実施形態では、ファイルは、Ｅｘｉｆなどの業界規格に従ってフォーマットされ得、視覚データをタグ付けすることは、画像ファイルのためのメタデータの一部として情報を含むことを指すことがある。いくつかの実装形態では、タグに組み込まれたセンサー情報はまた、利用可能な場合、ＧＮＳＳ座標を含むか、または、画像ファイルの受信機によって、ロケーションの粗い推定値を導出するのを助け得る最新の知られているＧＮＳＳ導出ロケーションを含み得る。
【００７６】
[0088]ブロック７１０において、トランシーバ６０４など、モバイルデバイス１０２の構成要素は、ファイルをリモートサーバに送信する。
【００７７】
[0089]図７に示されている特定のブロックが、本発明の一実施形態による、動作モード間で切り替える特定の方法を与えることを諒解されたい。したがって、代替実施形態ではブロックの他のシーケンスも実行され得る。たとえば、本発明の代替実施形態は、上記で概説されたブロックを異なる順序で実行し得る。さらに、特定の適用例に応じて、それらのブロックへの追加のブロックまたは変形形態が追加または削除され得る。当業者は、プロセスの多くの変形形態、変更形態、および代替形態を認識し、諒解されよう。
ヒートマップを生成すること
[0090]図８に、本発明の一実施形態による、クラウドソーシングサーバ１１６において実装される例示的なモジュールのためのブロック図を示す。クラウドソーシングサーバ１１６は、図１２で説明される１つまたは複数の構成要素を使用して実装されるコンピュータデバイスであり得る。図８で説明されるモジュールは、ソフトウェア、ファームウェア、ハードウェアまたはそれらの他の組合せを使用して実装され得る。一実施形態では、図８で説明されるモジュールのうちのいくつかは、任意の磁気、電子、光、または他のコンピュータ可読記憶媒体であり得るコンピュータ可読媒体８００上にソフトウェアモジュールとして記憶され得る。一実装形態では、コンピュータ可読記憶媒体８００は、ファイル抽出器８０４と、視覚データ抽出器８０８と、信号情報抽出器８１０と、特徴抽出器８１４と、ポーズ距離検出器８１２と、ロケーション決定器８１６と、ロケーション信号関連付け器（associator）８１８と、ヒートマップ更新器８２０と、センサーデータ抽出器８０６とを含み得る
[0091]クラウドソーシングサーバ１１６に結合された、トランシーバ８０２は、前の図を参照しながら説明された、モバイルデバイス１０２と同様に、１つまたは複数のモバイルデバイスから情報を受信し得る。いくつかのインスタンス化では、トランシーバ８０２は、ワイヤレスまたはワイヤード送信を通して信号を送信および受信するように構成可能な構成要素を含み得る。
【００７８】
[0092]ファイル抽出器８０４は、データパケットの形式で、トランシーバ８０２からデータを受信し得る。一実施形態では、ファイル抽出器８０４は、ファイルタイプおよびサイズのためにファイルヘッダを読み取り、または／ならびにファイルを再作成するために１つまたは複数のデータパケットからのデータを組み合わせることによって、データからファイルを抽出し得る。
【００７９】
[0093]ファイルが伝送媒体から抽出され、メモリに記憶されると、視覚データ抽出器８０８は画像／ビデオ情報を抽出し、センサーデータ抽出器８０６はセンサー情報を抽出し、信号情報抽出器８１０は、信号ソース識別子、ＲＳＳＩ、および／またはＲＴＴなどの信号情報を抽出する。一実施形態では、視覚データ抽出器８０８は、視覚データを抽出するだけでなく、データを特徴抽出器８１４モジュールに提示する前に、知られている技法を使用して、視覚データをあるフォーマットから別のフォーマットに復号し得る。
【００８０】
[0094]特徴抽出器８１４モジュールは、視覚データ抽出器８０８から視覚データを受信する。特徴抽出器８１４モジュールは、たとえば、ＧＮＳＳ使用不能環境において、ロゴ検出などを介して、モバイルデバイスの位置を推定するために、画像に関連付けられたキーポイントおよび／または他の画像特徴を抽出する。本明細書で使用される、「視覚特徴」、「ロゴ」、「視覚シグネチャ」、「ブランド固有視覚シグネチャ」、または「テキストラベル」は、互換的に使用され得、商業またはそれ以外において、それらの比較的一様な表現または使用の一貫性に少なくとも部分的に基づいて識別または認識されることが可能な１つまたは複数の視覚要素を指すことがある。いくつかの事例では、ロゴは、たとえば、そのような商品またはサービスを他の商品またはサービスと区別するか、あるいはそのような商品またはサービスのソースを示すように、店舗、コーヒーショップ、小売店、銀行など、１つまたは複数の関心ポイント（ＰＯｌ：points of interest）において与えられている商品またはサービスに関連付けられ得る。時々、ロゴは、たとえば、街角、交差点、建築物など、１つまたは複数の関心ポイントにおいて与えられる、都市計画または輸送関係インフラストラクチャなど、好適なインフラストラクチャに関連付けられ得る。ロゴはまた、別の可能な実装形態をただ示すために、たとえば、建築物の外装の特定の部分（たとえば、ファサード（facade）、側面、背面など）など、好適なインフラストラクチャの特性を表し得る。言い換えれば、本明細書のコンテキストでは、「ロゴ」は広く解釈されるべきであり、たとえば、ＧＮＳＳ使用不能環境におけるロケーション検出を可能にし得る、１つまたは複数のコンピュータビジョンまたは同様の手法などを介して電子的に、識別され得る視覚要素を備え得る。
【００８１】
[0095]例示として、視覚特徴は、たとえば、建築物のロゴ、商標、商標名、トレードドレス（たとえば、ファサード、店頭など）、サイネージ（たとえば、交通標識、街路表示、規制ピクトグラフ（regulatory pictograph）など）、ロゴタイプまたはワードマーク、シンボル、アイコン、エンブレム、バッジなどを備え得る。いくつかの事例では、ロゴは、たとえば、それの形状、色、サイズ、テキスト、テキストサイズ、視覚要素の配置または構成などに関する使用のそれの一様性または一貫性に少なくとも部分的に基づいて識別または認識され得る。時々、ロゴは、たとえば、動的ロゴを備え得、これは、そのようなロゴのコンテンツまたはコンテキストが、特定の設定、時刻、季節、ロケーション、照明状態、商品、サービスなどに応じて変化し得ることを意味する。限定ではなく例として、いくつかの事例では、Ｇａｐ（登録商標）、ＧａｐＯｕｔｌｅｔ（登録商標）、ＧａｐＫｉｄｓ（登録商標）、ｂａｂｙＧａｐ（登録商標）、ＧａｐＭａｔｅｒｎｉｔｙ（登録商標）などのブランド固有視覚シグネチャは、動的ロゴを表し得る。動的ロゴの変形形態は、異なるロゴと見なされることも見なされないこともあり、それは、適用例、環境、視覚特徴抽出技法、ロゴ検出手法などに少なくとも部分的に依存し得ることを諒解されたい。もちろん、これらはロゴに関係する例にすぎず、請求される主題はそのように限定されない。図９に、ショッピングモールからのあるバンテージポイントからのモバイルデバイス１０２によって収集されたＧａｐ（登録商標）のための店舗ロゴの一例を示す。
【００８２】
[0096]特徴抽出器８１４は、視覚データから関心場所（ＰＯＩ）または他のオブジェクトを検出するために情報の１つまたは複数のソースを活用する。一実装形態では、ファイルは、さらに、画像を収集するモバイルデバイス１０２の最新の知られているロケーションを用いてタグ付けされ得る。たとえば、モバイルデバイス１０２は、ユーザがＧＮＳＳ使用不能環境に入る前に、ＧＮＳＳ情報を使用して導出されたロケーションを用いて視覚データをタグ付けし得る。最新の知られているロケーションは、クラウドソーシングサーバ１１６が、最新の知られているロケーションを使用して、ユーザの概略ロケーションの進路推定に基づいてショッピングモールのためのマップを取り出すことを可能にし得る。たとえば、モバイルデバイス１０２の最新の知られているロケーションを使用して、クラウドソーシングサーバ１１６は、クラウドソーシングサーバ１１６におけるショッピングモールのすでに記憶されたマップを使用して、特徴抽出器８１４によって決定されたロゴ（たとえば、Ｇａｐ（登録商標））などの検出された特徴を、ショッピングモールからの店舗と、より容易に照合し得る。クラウドソーシングサーバ１１６において記憶される、ショッピングモールのための例示的なマップが、図１０によって示され得る。マップ情報は、たとえば、ベニューの壁、部屋、ドア、通路、エレベータ、階段、はしご、床、天井など、１つまたは複数の構造特徴を識別する、モバイルデバイスに関連付けられた、ベニューのデジタルマップ（たとえば、フロアプランなど）を備え得る。
【００８３】
[0097]ショッピングモール中のビジョンベース測位のために採用されるものなど、視覚認識技法の場合、特徴抽出器８１４は、ＰＯＩを検出するために、テスト画像（たとえば、店頭画像）を、図１０に示されているマップのために記憶された知られている参照画像のセットと比較し得る。参照画像はスタンドアロン画像であり得るか、または代替的に、参照画像は、より一般的には、図１０に示されているように、ショッピングモールのためのマップに固有の、ロゴ、標準の店頭などに対応する知られているブランド固有視覚シグネチャのセットに関し得る。検出は、概して、スケール不変特徴変換（ＳＩＦＴ：scale-invariant feature transform）アルゴリズムなど、コンピュータビジョン技法を使用して実行される。
【００８４】
[0098]ポーズ距離検出器８１２モジュールは、１）画像自体からの視覚特徴および／または２）センサーデータ抽出器８０６モジュールからのセンサー情報を使用して、視覚特徴に対するモバイルデバイス１０２のポーズとモバイルデバイス１０２の距離とを推定するように構成され得る。たとえば、店舗ロゴの形状およびサイズは、画像収集の時間における、モバイルデバイス１０２がロゴの画像をそこからキャプチャした方向と、ロゴとモバイルデバイス１０２との間の距離とを示し得る。センサーデータ抽出器モジュール８０６からのセンサー情報は、ポーズおよび距離決定を同じく助け得る。たとえば、磁力計データは、視覚データ収集の時間におけるモバイルデバイス１０２の方位を決定するのを助け得る。気圧計データは、多階ショッピングモールのために画像が撮られたフロアを決定するのを助け得る。また、（加速度計および／またはジャイロスコープなどの）動きセンサーは、画像収集の時間におけるモバイルデバイス１０２の配向を決定するかまたは配向の決定を増補するのを助け得る。
【００８５】
[0099]ロケーション決定器８１６は、カメラを使用して視覚データ収集の時間におけるモバイルデバイス１０２のロケーションを決定する際に、特徴抽出器８１４モジュールおよびポーズ距離検出器８１２モジュールからの情報を使用し得る。特徴抽出器８１４モジュールは、ショッピングモールのためのデジタルマップを使用して視覚特徴を識別し得る。視覚特徴が抽出され、識別されると、視覚特徴の実際のサイズが、ショッピングモールのマップに関連付けられた記憶されたデータを参照することによって知られ得る。たとえば、クラウドソーシングサーバ１１６は、ＧＡＰ（登録商標）店頭ログの実際のサイズおよびロケーションをすでに知っていることがある。この情報を使用して、ポーズ距離検出器８１２モジュールは、収集された視覚特徴のサイズが視覚特徴とモバイルデバイス１０２との間の距離に正比例するので、視覚特徴に対するモバイルデバイス１０２の距離を決定することができる。ポーズ距離検出器８１２モジュールはまた、視覚特徴の形状を使用して、視覚特徴に対するモバイルデバイス１０２のポーズを決定し得る。たとえば、図１０では、ＧＡＰ（登録商標）ロゴはロゴの左エッジが最も長い台形形状で視覚データにおいて可視であるので、画像が（実際は形状が矩形である）ＧＡＰ（登録商標）ロゴの左前面から収集されたことが、導出され得る。ロケーション決定器８１６モジュールは、店舗ロゴなどの視覚特徴のロケーションと、店舗ロゴに対するモバイルデバイス１０２のポーズおよび距離とを使用して、マップ上の視覚データ収集の時間におけるモバイルデバイス１０２のロケーションを決定する。
【００８６】
[00100]ロケーション信号関連付け器８１８モジュールは、ロケーション決定器８１６から、視覚データがモバイルデバイス１０２によって収集されたロケーション座標を受信し、信号情報抽出器８１０モジュールから信号情報を受信する。一実施形態では、信号情報抽出器８１０は、ファイル抽出器８０４モジュールによって抽出されたファイル（メタデータ）からのＲＳＳＩおよび／またはＲＴＴ情報など、信号放出モジュールに関連付けられたソース識別情報および信号の特性を抽出し、ロケーション信号関連付け器８１８に信号情報を与える。ロケーション信号関連付け器８１８は、ロケーション座標と信号特性との間の関連付けを構築する。
【００８７】
[00101]ヒートマップ更新器８２０モジュールは、ロケーション信号関連付け器８１８モジュールからロケーション座標と信号情報との間の関連付けをとり、ショッピングモールのマップに関連付けられたヒートマップを更新し得る。図２に示されているヒートマップは、ＧＮＳＳ使用不能環境におけるそれらのロケーションを決定するために更新され、後で他のモバイルデバイスに与えられるそのようなヒートマップの一例を示す。
【００８８】
[00102]図８で説明されるシステムは、ワイヤレスおよび／またはセンサー情報を用いてタグ付けされた視覚データを受信することと、視覚データが１つのモバイルデバイス１０２から収集されたロケーションマップに関連付けられたヒートマップの更新とのプロセスを示す。同様に、クラウドソーシングサーバ１１６は、いくつかのモバイルデバイスからタグ付けされた視覚データを受信し、時間外にいくつかのロケーションからデータを集め得る。いくつかのモバイルデバイスからの情報を用いて、クラウドソーシングサーバにおいて記憶されたヒートマップの精度は、継続的に改善し、時間外に維持される。
【００８９】
[00103]図１１は、本開示の１つまたは複数の例示的な態様による、本発明の実施形態を実行するための方法を示す流れ図である。１つまたは複数の態様によれば、本明細書で説明される方法および／または方法ブロックのうちのいずれかおよび／またはすべては、たとえば、図１２でより詳細に説明される、クラウドソーシングサーバ１１６など、コンピュータサーバによってならびに／あるいはそれにおいて実装され得る。一実施形態では、図１１に関して以下で説明される方法ブロックのうちの１つまたは複数は、プロセッサ１２１０または別のプロセッサなど、コンピューティングデバイス１２００のプロセッサによって実装される。追加または代替として、本明細書で説明される方法および／または方法ブロックのうちのいずれかおよび／またはすべては、メモリ１２３５、（１つまたは複数の）ストレージデバイス１２２５または別のコンピュータ可読媒体など、コンピュータ可読媒体に記憶されたコンピュータ可読命令など、コンピュータ可読命令において実装され得る。
【００９０】
[00104]ブロック１１０２において、トランシーバ８０２など、モバイルデバイス１０２の構成要素は、モバイルデバイス１０２などのデバイスから視覚データを受信し、ここにおいて、視覚データは、少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を用いてタグ付けされる。視覚データは、画像データまたはビデオデータを含み得る。画像データの場合、視覚データは、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ得、視覚データのタグ付けは、画像ファイルのためのメタデータの一部として少なくとも１つの信号放出デバイスに関連付けられた情報を含むことを備え得る。
【００９１】
[00105]一実装形態では、信号放出デバイスはワイヤレスアクセスポイントであり、ソース識別情報はワイヤレスアクセスポイントのＭＡＣアドレスであり得る。信号放出デバイスのロケーションは、少なくとも、視覚データがカメラを使用して収集される時間において知られていないことがある。
【００９２】
[00106]一実施形態では、少なくとも１つの信号放出デバイスに関連付けられた情報は、デバイスにおいて測定される、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号の信号強度（すなわち、ＲＳＳＩ）を含み得る。別の実施形態では、少なくとも１つの信号放出デバイスに関連付けられた情報は、少なくとも１つの信号放出デバイスからの少なくとも１つのワイヤレス信号を使用して導出されたラウンドトリップ時間（すなわち、ＲＴＴ）を含み得る。
【００９３】
[00107]さらに、視覚データは、気圧計情報、磁力計情報、および／または動きセンサー情報を用いてタグ付けされ得る。動きセンサーは加速度計とジャイロスコープとを含み得る。デバイスに関連付けられたそのようなセンサー情報は、モバイルデバイス１０２のロケーションの決定を可能にし得、そのロケーションにおいて、デバイスに結合されたカメラを使用して視覚データが収集された。たとえば、気圧計情報は、視覚データがモバイルデバイス１０２によって収集された階または高さを与え得る。同様に、磁力計情報は、視覚データが収集された時間におけるカメラの方位を与え得る。動きセンサーは、視覚データが収集された時間におけるモバイルデバイス１０２のポーズを決定するのをも助け得る追加の配向情報を与え得る。
【００９４】
[00108]ブロック１１０４において、特徴抽出器８１４など、モバイルデバイス１０２の構成要素は、図８を参照しながら詳細に説明されたように、視覚データから少なくとも１つの視覚特徴を識別する。
【００９５】
[00109]ブロック１１０６において、ロケーション決定器８１６など、モバイルデバイス１０２の構成要素は、視覚データから少なくとも１つの視覚特徴を識別することに基づいて、視覚データが収集されたマップ上の座標を決定する。
【００９６】
[00110]ブロック１１０８において、ロケーション信号関連付け器８１８など、モバイルデバイス１０２の構成要素は、マップ上の座標を、少なくとも１つの信号放出デバイスに関連付けられた情報に関連付ける。マップは、ＧＮＳＳ使用不能環境のためのものであり得る。
【００９７】
[00111]図１１に示されている特定のブロックが、本発明の一実施形態による、動作モード間で切り替える特定の方法を与えることを諒解されたい。したがって、代替実施形態ではブロックの他のシーケンスも実行され得る。たとえば、本発明の代替実施形態は、上記で概説されたブロックを異なる順序で実行し得る。さらに、特定の適用例に応じて、それらのブロックへの追加のブロックまたは変形形態が追加または削除され得る。当業者は、プロセスの多くの変形形態、変更形態、および代替形態を認識し、諒解されよう。
【００９８】
[00112]図１２に、本発明の実施形態を実施する際に採用されるデバイスの部分を組み込んだ例示的なコンピューティングデバイスを示す。図１２に示されているコンピューティングデバイスは、本明細書では、コンピュータ化システムの一部として組み込まれ得る。たとえば、コンピューティングデバイス１２００は、モバイルデバイスまたはサーバ（たとえば、クラウドソーシングサーバ）の構成要素のうちのいくつかを表し得る。コンピューティングデバイス１２００の例としては、限定はしないが、デスクトップ、ワークステーション、パーソナルコンピュータ、スーパーコンピュータ、ビデオゲームコンソール、タブレット、スマートフォン、ラップトップ、ネットブック、または他のポータブルデバイスがある。図１２は、本明細書で説明された、様々な他の実施形態によって与えられる方法を実行し得、ならびに／あるいはホストコンピューティングデバイス、リモートキオスク／端末、ポイントオブセールデバイス、モバイル多機能デバイス、セットトップボックスおよび／またはコンピューティングデバイスとして機能し得るコンピューティングデバイス１２００の一実施形態の概略図を与える。図１２は、そのうちのいずれかまたはすべてが適宜に利用され得る、様々な構成要素の一般化された図を与えるものにすぎない。図１２は、したがって、個々のシステム要素が、比較的分離された方法または比較的より統合された方法で、どのように実装され得るかを概括的に示している。
【００９９】
[00113]バス１２０５を介して電気的に結合され得る（または、適宜に、他の方法で通信していることがある）ハードウェア要素を備えるコンピューティングデバイス１２００が示されている。ハードウェア要素は、限定はしないが、（デジタル信号処理チップ、グラフィックスアクセラレーションプロセッサなどの）１つまたは複数の汎用プロセッサおよび／または１つまたは複数の専用プロセッサを含む、１つまたは複数のプロセッサ１２１０と、限定はしないが、１つまたは複数のカメラ１２５５、センサー１２６０、マウス、キーボードなどを含み得る、１つまたは複数の入力デバイス１２１５と、限定はしないが、ディスプレイユニット、プリンタなどを含み得る、１つまたは複数の出力デバイス１２２０とを含み得る。センサー１２６０モジュールは、気圧計、磁力計ならびに／またはジャイロスコープおよび加速度計などの動きセンサーを含み得る。
【０１００】
[00114]コンピューティングデバイス１２００は、１つまたは複数の非一時的ストレージデバイス１２２５をさらに含み得（および／またはそれらと通信していることがあり）、非一時的ストレージデバイス１２２５は、限定はしないが、ローカルストレージおよび／またはネットワークアクセス可能ストレージを備え得、ならびに／あるいは、限定はしないが、ディスクドライブと、ドライブアレイと、光ストレージデバイスと、プログラム可能、フラッシュ更新可能などであり得る、ランダムアクセスメモリ（「ＲＡＭ」）および／または読取り専用メモリ（「ＲＯＭ」）などのソリッドフォームストレージデバイスとを含み得る。そのようなストレージデバイスは、限定はしないが、様々なファイルシステム、データベース構造などを含む、何らかの適切なデータストレージを実装するように構成され得る。
【０１０１】
[00115]コンピューティングデバイス１２００は通信サブシステム１２３０をも含み得る。通信サブシステム１２３０は、データを受信および送信するためのトランシーバ１２５０あるいはワイヤードおよび／またはワイヤレス媒体を含み得る。通信サブシステム１２３０はまた、限定はしないが、モデム、ネットワークカード（ワイヤレスまたはワイヤード）、赤外線通信デバイス、（Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉ（登録商標）デバイス、ＷｉＭａｘ（登録商標）デバイス、セルラー通信設備などの）ワイヤレス通信デバイスおよび／またはチップセットなどを含み得る。通信サブシステム１２３０は、データが、（一例を挙げると、以下で説明されるネットワークなどの）ネットワーク、他のコンピューティングデバイス、および／または本明細書で説明された任意の他のデバイスと交換されることを可能にし得る。多くの実施形態では、コンピューティングデバイス１２００は、上記で説明されたように、ランダムアクセス（ＲＡＭ）デバイスまたは読取り専用（ＲＯＭ）デバイスを含み得る、非一時的ワーキングメモリ１２３５をさらに備える。
【０１０２】
[00116]コンピューティングデバイス１２００は、オペレーティングシステム１２４０、デバイスドライバ、実行可能ライブラリ、および／または（１つまたは複数の）アプリケーションプログラム１２４５などの他のコードを含む、ワーキングメモリ１２３５内に現在位置するものとして示されている、ソフトウェア要素を備え得、（１つまたは複数の）アプリケーションプログラム１２４５は、様々な実施形態によって提供されるコンピュータプログラムを備え得、ならびに／あるいは、本明細書で説明された、他の実施形態によって提供される、方法を実装するように、および／またはシステムを構成するように設計され得る。単に例として、上記で説明された（１つまたは複数の）方法に関して説明された１つまたは複数のプロシージャは、コンピュータ（および／またはコンピュータ内のプロセッサ）によって実行可能なコードおよび／または命令として実装され得、一態様では、次いで、そのようなコードおよび／または命令は、説明された方法に従って１つまたは複数の動作を実行するように汎用コンピュータ（または他のデバイス）を構成し、および／または適応させるために使用され得る。
【０１０３】
[00117]これらの命令および／またはコードのセットは、上記で説明された（１つまたは複数の）ストレージデバイス１２２５などのコンピュータ可読記憶媒体上に記憶され得る。いくつかの場合には、記憶媒体は、コンピューティングデバイス１２００などのコンピューティングデバイス内に組み込まれ得る。他の実施形態では、記憶媒体は、コンピューティングデバイスとは別個（たとえば、コンパクトディスクなどのリムーバブル媒体）であり、ならびに／あるいは、記憶媒体が、その上に記憶された命令／コードで汎用コンピュータをプログラムし、構成し、および／または適応させるために使用され得るような、インストールパッケージで提供され得る。これらの命令は、コンピューティングデバイス１２００によって実行可能である、実行可能コードの形態をとり得、ならびに／あるいは、（たとえば、様々な一般に利用可能なコンパイラ、インストールプログラム、圧縮／解凍ユーティリティなどのいずれかを使用した）コンピューティングデバイス１２００上でのコンパイルおよび／またはインストール時に実行可能コードの形態をとる、ソースコードおよび／またはインストール可能コードの形態をとり得る。
【０１０４】
[00118]特定の要件に従って、実質的な変形が行われ得る。たとえば、カスタマイズされたハードウェアも使用され得、ならびに／あるいは、特定の要素が、ハードウェア、（アプレットなどのポータブルソフトウェアを含む）ソフトウェア、または両方で実装され得る。さらに、ネットワーク入力／出力デバイスなど、コンピューティングデバイス１２００と同様に、他のコンピューティングデバイスへの接続が採用され得る。
【０１０５】
[00119]いくつかの実施形態は、本開示による方法を実行するための（コンピューティングデバイス１２００などの）コンピューティングデバイスを採用し得る。たとえば、説明された方法のプロシージャの一部または全部は、ワーキングメモリ１２３５中に含まれている（オペレーティングシステム１２４０および／または（１つまたは複数の）アプリケーションプログラム１２４５などの他のコード中に組み込まれ得る）１つまたは複数の命令の１つまたは複数のシーケンスをプロセッサ１２１０が実行することに応答して、コンピューティングデバイス１２００によって実行され得る。そのような命令は、（１つまたは複数の）ストレージデバイス１２２５のうちの１つまたは複数など、別のコンピュータ可読媒体からワーキングメモリ１２３５に読み込まれ得る。単に例として、ワーキングメモリ１２３５中に含まれている命令のシーケンスの実行は、本明細書で説明された方法の１つまたは複数のプロシージャを（１つまたは複数の）プロセッサ１２１０に実行させ得る。
【０１０６】
[00120]本明細書で使用される「非一時的コンピュータ可読媒体」、「機械可読媒体」および「コンピュータ可読媒体」という用語は、機械を特定の様式で動作させるデータを与えることに関与する任意の媒体を指す。コンピューティングデバイス１２００を使用して実装される一実施形態では、様々なコンピュータ可読媒体は、実行のために（１つまたは複数の）プロセッサ１２１０に命令／コードを与えることに関与し得、ならびに／あるいはそのような命令／コードを（たとえば、信号として）記憶および／または搬送するために使用され得る。多くの実装形態では、コンピュータ可読媒体は、物理および／または有形記憶媒体である。そのような媒体は、限定はしないが、不揮発性媒体、揮発性媒体、および伝送媒体を含む、多くの形態をとり得る。不揮発性媒体は、たとえば、（１つまたは複数の）ストレージデバイス１２２５などの光ディスクおよび／または磁気ディスクを含む。揮発性媒体は、限定はしないが、ワーキングメモリ１２３５などのダイナミックメモリを含む。伝送媒体は、限定はしないが、同軸ケーブル、バス１２０５を備えるワイヤを含む銅線および光ファイバー、ならびに通信サブシステム１２３０の様々な構成要素（および／または通信サブシステム１２３０がそれによって他のデバイスとの通信を行う媒体）を含む。したがって、伝送媒体はまた、（限定はしないが、電波通信および赤外線データ通信中に生成されるものなど、電波、音響波および／または光波を含む）波の形態をとり得る。代替実施形態では、処理のうちのいくつかがアナログ領域中で実行され得る場合、カメラなどのイベント駆動型構成要素およびデバイスが使用され得る。
【０１０７】
[00121]物理および／または有形コンピュータ可読媒体の一般的な形態は、たとえば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光媒体、パンチカード、紙テープ、穴のパターンをもつ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、任意の他のメモリチップまたはカートリッジ、以下で説明される搬送波、あるいはコンピュータが命令および／またはコードを読み取り得る任意の他の媒体を含む。
【０１０８】
[00122]コンピュータ可読媒体の様々な形態は、実行のために１つまたは複数の命令の１つまたは複数のシーケンスを（１つまたは複数の）プロセッサ１２１０に搬送することに関与し得る。単に例として、命令は、初めに、リモートコンピュータの磁気ディスクおよび／または光ディスク上で搬送され得る。リモートコンピュータは、命令をそれのダイナミックメモリにロードし、その命令を、コンピューティングデバイス１２００によって受信および／または実行されるように伝送媒体を介して信号として送り得る。電磁信号、音響信号、光信号などの形態であり得るこれらの信号は、すべて、本発明の様々な実施形態による、命令がその上で符号化され得る搬送波の例である。
【０１０９】
[00123]通信サブシステム１２３０（および／またはそれの構成要素）が、概して信号を受信し、次いで、バス１２０５が、信号（および／またはその信号によって搬送される、データ、命令など）をワーキングメモリ１２３５に搬送し得、（１つまたは複数の）プロセッサ１２１０が、ワーキングメモリ１２３５から命令を取り出し、実行する。ワーキングメモリ１２３５によって受信された命令は、場合によっては、（１つまたは複数の）プロセッサ１２１０による実行の前または後のいずれかに（１つまたは複数の）非一時的ストレージデバイス１２２５に記憶され得る。
【０１１０】
[00124]上記で説明された方法、システム、およびデバイスは例である。様々な実施形態は、適宜に、様々なプロシージャまたは構成要素を省略、置換、または追加し得る。たとえば、代替構成では、説明された方法は、説明された順序とは異なる順序で実行され得、ならびに／あるいは様々な段階が追加、省略、および／または組み合わせられ得る。また、いくつかの実施形態に関して説明された特徴は、様々な他の実施形態において組み合わせられ得る。実施形態の異なる態様および要素が同様にして組み合わせられ得る。また、技術は発展し、したがって、要素の多くは例であり、それらの例は本開示の範囲をそれらの特定の例に限定しない。
【０１１１】
[00125]説明では、実施形態の完全な理解が得られるように具体的な詳細が与えられた。ただし、実施形態は、これらの具体的な詳細なしに実施され得る。たとえば、実施形態を不明瞭にすることを避けるために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示された。この説明は、例示的実施形態のみを与えるものであり、本発明の範囲、適用性、または構成を限定するものではない。そうではなく、実施形態の上述の説明は、本発明の実施形態を実装することを可能にする説明を当業者に与えるものである。本発明の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得る。
【０１１２】
[00126]また、いくつかの実施形態は、流れ図またはブロック図に示されたプロセスとして説明された。各々が、動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実行され得る。さらに、動作の順序は並べ替えられ得る。プロセスは、図に含まれない追加のブロックを有し得る。さらに、本方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはこれらの任意の組合せによって実装され得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、関連タスクを実行するためのプログラムコードまたはコードセグメントは、記憶媒体などのコンピュータ可読媒体に記憶され得る。プロセッサは、関連タスクを実行し得る。
【０１１３】
[00127]いくつかの実施形態について説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素にすぎないことがあり、他のルールが、本発明の適用例よりも優先するかまたはさもなければ本発明の適用例を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのブロックが行われ得る。したがって、上記の説明は本開示の範囲を限定しない。
【図１】
2018509671.tif 000003
【図２】
2018509671.tif 000004
【図３】
2018509671.tif 000005
【図４】
2018509671.tif 000006
【図５】
2018509671.tif 000007
【図６】
2018509671.tif 000008
【図７】
2018509671.tif 000009
【図８】
2018509671.tif 000010
【図９】
2018509671.tif 000011
【図１０】
2018509671.tif 000012
【図１１】
2018509671.tif 000013
【図１２】
2018509671.tif 000014
【手続補正書】
【提出日】平成29年9月7日(2017.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
視覚データをタグ付けするための方法であって、前記方法が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記視覚データに付属するメタデータ中に前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含めることによって、前記情報を用いて前記視覚データをタグ付けすることと、ここにおいて、前記メタデータは、前記視覚データに関連付けられた属性を表す、
を備える、方法。
【請求項２】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信することをさらに備える、請求項１に記載の方法。
【請求項３】
情報を前記導出することが、前記デバイスにおいて測定される、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度を導出することをさらに備える、請求項１に記載の方法。
【請求項４】
情報を前記導出することが、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用してラウンドトリップ時間を導出することをさらに備える、請求項１に記載の方法。
【請求項５】
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、請求項１に記載の方法。
【請求項６】
前記ソース識別情報がメディアアクセス制御（ＭＡＣ）アドレスである、請求項１に記載の方法。
【請求項７】
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、請求項１に記載の方法。
【請求項８】
前記視覚データが、全地球ナビゲーション衛星システム（ＧＮＳＳ）使用不能環境において前記カメラによって収集される、請求項１に記載の方法。
【請求項９】
前記少なくとも１つの信号放出デバイスが固定である、請求項１に記載の方法。
【請求項１０】
前記少なくとも１つの信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、請求項１に記載の方法。
【請求項１１】
気圧計情報を前記メタデータ中に含めることによって、前記気圧計情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１２】
磁力計情報を前記メタデータ中に含めることによって、前記磁力計情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１３】
動きセンサー情報を前記メタデータ中に含めることによって、前記動きセンサー情報を用いて前記視覚データをタグ付けすることをさらに備える、請求項１に記載の方法。
【請求項１４】
前記視覚データが画像である、請求項１に記載の方法。
【請求項１５】
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれる、請求項１に記載の方法。
【請求項１６】
前記視覚データがビデオである、請求項１に記載の方法。
【請求項１７】
視覚データを収集するように構成されたカメラと、
前記視覚データを記憶するように構成されたメモリと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するように構成されたトランシーバと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記視覚データに付属するメタデータ中に前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含めることによって、前記情報を用いて前記視覚データをタグ付けすることと、ここにおいて、前記メタデータは、前記視覚データに関連付けられた属性を表す、
を行うように構成されたプロセッサと
を備えるデバイス。
【請求項１８】
前記トランシーバが、前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するようにさらに構成された、請求項１７に記載のデバイス。
【請求項１９】
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報が、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度と、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用するラウンドトリップ時間とのうちの１つまたは複数をさらに備える、請求項１７に記載のデバイス。
【請求項２０】
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、請求項１７に記載のデバイス。
【請求項２１】
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、請求項１７に記載のデバイス。
【請求項２２】
前記視覚データが、全地球ナビゲーション衛星システム（ＧＮＳＳ）使用不能環境において前記カメラによって収集される、請求項１７に記載のデバイス。
【請求項２３】
前記信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、請求項１７に記載のデバイス。
【請求項２４】
前記プロセッサが、前記メタデータ中に気圧計情報、磁力計情報および動きセンサー情報のうちの１つまたは複数を含めることによって、それぞれの前記情報を用いて前記視覚データをタグ付けするようにさらに構成された、請求項１７に記載のデバイス。
【請求項２５】
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれる、請求項１７に記載のデバイス。
【請求項２６】
装置であって、
前記装置に結合されたカメラを使用して視覚データを収集するための手段と、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するための手段と、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出するための手段と、
前記視覚データに付属するメタデータ中に前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含めることによって、前記情報を用いて前記視覚データをタグ付けするための手段と、ここにおいて、メタデータは、前記視覚データに関連付けられた属性を表す、
を備える、装置。
【請求項２７】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための手段をさらに備える、請求項２６に記載の装置。
【請求項２８】
前記視覚データが、全地球ナビゲーション衛星システム（ＧＮＳＳ）使用不能環境において前記カメラによって収集される、請求項２６に記載の装置。
【請求項２９】
非一時的コンピュータ可読記憶媒体であって、ここにおいて、前記非一時的コンピュータ可読記憶媒体が、プロセッサによって実行可能な命令を備え、前記命令が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記視覚データに付属するメタデータ中に前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含めることによって、前記情報を用いて前記視覚データをタグ付けすることと、ここにおいて、メタデータは、前記視覚データに関連付けられた属性を表す、
を行うための命令を備える、非一時的コンピュータ可読記憶媒体。
【請求項３０】
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための命令をさらに備える、請求項２９に記載の非一時的コンピュータ可読記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１３
【補正方法】変更
【補正の内容】
【０１１３】
[00127]いくつかの実施形態について説明したが、本開示の趣旨から逸脱することなく、様々な変更形態、代替構成、および等価物が使用され得る。たとえば、上記の要素は、より大きいシステムの構成要素にすぎないことがあり、他のルールが、本発明の適用例よりも優先するかまたはさもなければ本発明の適用例を変更し得る。また、上記の要素が考慮される前に、考慮されている間に、または考慮された後に、いくつかのブロックが行われ得る。したがって、上記の説明は本開示の範囲を限定しない。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
視覚データをタグ付けするための方法であって、前記方法が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を備える、方法。
［Ｃ２］
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
情報を導出することが、前記デバイスにおいて測定される、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度を導出することをさらに備える、Ｃ１に記載の方法。
［Ｃ４］
情報を導出することが、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用してラウンドトリップ時間を導出することをさらに備える、Ｃ１に記載の方法。
［Ｃ５］
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、Ｃ１に記載の方法。
［Ｃ６］
前記ソース識別情報がメディアアクセス制御（ＭＡＣ）アドレスである、Ｃ１に記載の方法。
［Ｃ７］
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、Ｃ１に記載の方法。
［Ｃ８］
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、Ｃ１に記載の方法。
［Ｃ９］
前記少なくとも１つの信号放出デバイスが固定である、Ｃ１に記載の方法。
［Ｃ１０］
前記信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、Ｃ１に記載の方法。
［Ｃ１１］
気圧計情報を用いて前記視覚データをタグ付けすることをさらに備える、Ｃ１に記載の方法。
［Ｃ１２］
磁力計情報を用いて前記視覚データをタグ付けすることをさらに備える、Ｃ１に記載の方法。
［Ｃ１３］
動きセンサー情報を用いて前記視覚データをタグ付けすることをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記視覚データが画像である、Ｃ１に記載の方法。
［Ｃ１５］
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ、前記視覚データをタグ付けすることが、前記画像ファイルのためのメタデータの一部として前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含むことを備える、Ｃ１に記載の方法。
［Ｃ１６］
前記視覚データがビデオである、Ｃ１に記載の方法。
［Ｃ１７］
視覚データを収集するように構成されたカメラと、
前記視覚データを記憶するように構成されたメモリと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するように構成されたトランシーバと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられた識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を行うように構成されたプロセッサと
を備えるデバイス。
［Ｃ１８］
前記トランシーバが、前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ１９］
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報が、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号の信号強度と、前記少なくとも１つの信号放出デバイスからの前記少なくとも１つのワイヤレス信号を使用するラウンドトリップ時間とのうちの１つまたは複数をさらに備える、Ｃ１７に記載のデバイス。
［Ｃ２０］
前記少なくとも１つの信号放出デバイスがワイヤレスアクセスポイントである、Ｃ１７に記載のデバイス。
［Ｃ２１］
前記少なくとも１つのワイヤレス信号が、Ｗｉ−Ｆｉ信号、非可聴音、超音波信号および非可視光線のうちの１つである、Ｃ１７に記載のデバイス。
［Ｃ２２］
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、Ｃ１７に記載のデバイス。
［Ｃ２３］
前記信号放出デバイスのロケーションは、少なくとも、前記少なくとも１つのワイヤレス信号が受信される時間において知られていない、Ｃ１７に記載のデバイス。
［Ｃ２４］
前記プロセッサが、気圧計情報、磁力計情報および動きセンサー情報のうちの１つまたは複数を用いて前記視覚データをタグ付けするようにさらに構成された、Ｃ１７に記載のデバイス。
［Ｃ２５］
前記視覚データが、交換可能画像ファイルフォーマット（Ｅｘｉｆ）に従ってフォーマットされた画像ファイル中に含まれ、前記視覚データをタグ付けすることが、前記画像ファイルのためのメタデータの一部として前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を含むことを備える、Ｃ１７に記載のデバイス。
［Ｃ２６］
装置であって、
前記装置に結合されたカメラを使用して視覚データを収集するための手段と、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信するための手段と、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出するための手段と、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けするための手段と
を備える、装置。
［Ｃ２７］
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための手段をさらに備える、Ｃ２６に記載の装置。
［Ｃ２８］
前記視覚データが、ＧＮＳＳ使用不能環境において前記カメラによって収集される、Ｃ２６に記載の装置。
［Ｃ２９］
非一時的コンピュータ可読記憶媒体であって、ここにおいて、前記非一時的コンピュータ可読記憶媒体が、プロセッサによって実行可能な命令を備え、前記命令が、
デバイスに結合されたカメラを使用して視覚データを収集することと、
少なくとも１つの信号放出デバイスから少なくとも１つのワイヤレス信号を受信することと、
前記少なくとも１つのワイヤレス信号から前記少なくとも１つの信号放出デバイスに関連付けられたソース識別情報を備える情報を導出することと、
前記少なくとも１つの信号放出デバイスに関連付けられた前記情報を用いて前記視覚データをタグ付けすることと
を行うための命令を備える、非一時的コンピュータ可読記憶媒体。
［Ｃ３０］
前記タグ付けされた視覚データをリモートサーバにワイヤレス送信するための命令をさらに備える、Ｃ２９に記載の非一時的コンピュータ可読記憶媒体。
【国際調査報告】
2018509671.tif 000015
2018509671.tif 000016
2018509671.tif 000017