(57)【特許請求の範囲】
【請求項１】
ロケーション判断を行うための方法であって、
モバイルデバイスにおいて、前記モバイルデバイスとのハンズフリー通信を行うように構成されたヘッドセット内のイメージングデバイスを使用して取得された、前方方向にある少なくとも1つのシーンを示すデジタル画像情報を受信するステップと、
前記ヘッドセットに関連付けられた1つまたは複数の動きセンサから、前記モバイルデバイスのユーザの動きを示す信号情報を受信するステップと、
前記デジタル画像情報を処理するステップと、
前記処理に基づく前記シーン内の1つまたは複数の特徴に関連するロケーション情報を生成するステップと、
前記デジタル画像情報の処理に基づく前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を使用して、前記モバイルデバイスの位置を生成するステップと、
前記1つまたは複数の動きセンサからの前記信号情報を使用して、前記モバイルデバイスの位置を更新するステップであって、前記モバイルデバイスの位置は不確実性を有する、ステップと、
前記モバイルデバイスの位置の前記不確実性が所定のレベルを上回ることに基づいて、前記モバイルデバイスにおいて、追加のデジタル画像情報を受信するステップと
を含む方法。
【請求項２】
前記ロケーション情報に基づくオーディオナビゲーション情報を生成するステップと、
前記オーディオナビゲーション情報を前記ヘッドセットに送信するステップと
をさらに含む、請求項1に記載の方法。
【請求項３】
前記ロケーション情報に基づく視覚的ナビゲーション情報を生成し、前記視覚的ナビゲーション情報に基づくナビゲーション画像を前記モバイルデバイスのディスプレイに表示するステップ
をさらに含む、請求項1に記載の方法。
【請求項４】
前記デジタル画像情報を受信するステップは、前記モバイルデバイスにおいて、ワイヤレス通信リンクを介して、フィルタ処理されたデジタル画像を受信するステップを含む、請求項1に記載の方法。
【請求項５】
前記追加のデジタル画像情報は、前記前方方向とは異なる方向にある異なるシーンを示し、
前記異なるシーンを示す前記追加のデジタル画像情報を処理するステップと、
前記追加のデジタル画像情報の前記処理に基づく前記異なるシーン内の1つまたは複数の特徴に関連する更新されたロケーション情報を生成するステップと、
前記シーン内の1つまたは複数の特徴に関連する前記更新されたロケーション情報を使用して、前記モバイルデバイスの更新された位置を生成するステップと
をさらに含む、請求項1に記載の方法。
【請求項６】
デジタル画像をフィルタ処理するステップは、前記デジタル画像を、前記モバイルデバイスにワイヤレス送信する際のワイヤレス帯域幅に適したレベルまでフィルタ処理するステップを含む、請求項5に記載の方法。
【請求項７】
第1の不確実性を有する前記モバイルデバイスの位置を示す衛星測位情報にアクセスするステップと、
前記第1の不確実性を下回る第2の不確実性を有する前記モバイルデバイスのロケーションを生成するために、前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を使用して、前記モバイルデバイスの前記位置を示す前記衛星測位情報を精緻化するステップと
をさらに含む、請求項1に記載の方法。
【請求項８】
前記デジタル画像情報を処理するステップは、前記デジタル画像情報の少なくとも一部分と記憶されている情報とを比較するステップを含み、前記処理に基づく前記シーン内の1つまたは複数の特徴に関連するロケーション情報を生成するステップは、前記比較に基づいて関連するロケーションにアクセスするステップを含む、請求項1に記載の方法。
【請求項９】
前記デジタル画像情報を処理するステップは、前記シーン内の1つまたは複数の記号を認識するステップを含む、請求項1に記載の方法。
【請求項１０】
モバイルデバイスとのハンズフリー通信を行うように構成されたワイヤレスヘッドセットから、前方方向にある少なくとも1つのシーンを示すデジタル画像情報を受信するための回路と、
前記ワイヤレスヘッドセットに関連付けられた1つまたは複数の動きセンサから、前記モバイルデバイスのユーザの動きを示す信号情報を受信するための回路と、
前記デジタル画像情報を処理し、前記処理に基づく前記シーン内の1つまたは複数の特徴に関連するロケーション情報を生成するためのプロセッサと
を含み、
前記プロセッサは、さらに、
前記処理に基づく前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を使用して、前記モバイルデバイスの位置を生成し、
前記1つまたは複数の動きセンサからの前記信号情報を使用して、不確実性を有する前記モバイルデバイスの位置を更新し、かつ、
前記モバイルデバイスの位置の前記不確実性が所定のレベルを上回ることに基づいて、前記モバイルデバイスにおいて、追加のデジタル画像情報を受信する
ように構成された、モバイルデバイス。
【請求項１１】
前記プロセッサは、前記ロケーション情報に基づくオーディオナビゲーション情報を生成するようにさらに構成され、
前記モバイルデバイスは、前記オーディオナビゲーション情報を前記ワイヤレスヘッドセットに送信するための回路をさらに含む、請求項10に記載のモバイルデバイス。
【請求項１２】
前記プロセッサは、前記ロケーション情報に基づく視覚的ナビゲーション情報を生成するようにさらに構成され、前記モバイルデバイスは、前記視覚的ナビゲーション情報を使用してナビゲーション画像を表示するためのディスプレイをさらに含む、請求項10に記載のモバイルデバイス。
【請求項１３】
前記デジタル画像情報は、フィルタ処理されたデジタル画像情報を含む、請求項10に記載のモバイルデバイス。
【請求項１４】
前記プロセッサは、前記デジタル画像情報の少なくとも一部分と記憶されている情報とを比較することによって、前記デジタル画像情報を処理し、前記比較に基づいて関連するロケーションにアクセスすることによって、前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を生成するように構成される、請求項10に記載のモバイルデバイス。
【請求項１５】
前記プロセッサは、前記シーン内の1つまたは複数の記号を認識することによって、前記デジタル画像情報を処理するように構成される、請求項10に記載のモバイルデバイス。
【請求項１６】
モバイルデバイスとのハンズフリー通信を行うように構成されたワイヤレスヘッドセットから、前方方向にある少なくとも1つのシーンを示すデジタル画像情報を受信するための手段と、
前記ワイヤレスヘッドセットに関連付けられた1つまたは複数の動きセンサから、前記モバイルデバイスのユーザの動きを示す信号情報を受信するための手段と、
前記デジタル画像情報を処理し、前記処理に基づく前記シーン内の1つまたは複数の特徴に関連するロケーション情報を生成し、前記デジタル画像情報の処理に基づく前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を使用して、前記モバイルデバイスの位置を生成し、前記1つまたは複数の動きセンサからの前記信号情報を使用して、不確実性を有する前記モバイルデバイスの位置を更新し、かつ、前記モバイルデバイスの位置の前記不確実性が所定のレベルを上回ることに基づいて、前記モバイルデバイスにおいて、追加のデジタル画像情報を受信するための手段と
を含むモバイルデバイス。
【請求項１７】
前記ロケーション情報に基づくオーディオナビゲーション情報を生成するための手段と、
前記オーディオナビゲーション情報を前記ワイヤレスヘッドセットに送信するための手段と
をさらに含む、請求項16に記載のモバイルデバイス。
【請求項１８】
前記ロケーション情報に基づく視覚的ナビゲーション情報を生成するための手段と、
前記視覚的ナビゲーション情報を使用してナビゲーション画像を表示するための手段と
をさらに含む、請求項16に記載のモバイルデバイス。
【請求項１９】
前記デジタル画像情報を受信するための手段は、フィルタ処理されたデジタル画像情報を含む、請求項16に記載のモバイルデバイス。
【請求項２０】
前記デジタル画像情報を処理するための前記手段は、前記デジタル画像情報の少なくとも一部分と記憶されている情報とを比較するための手段を含み、前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を生成するための前記手段は、前記比較に基づいて関連するロケーションにアクセスするための手段を含む、請求項16に記載のモバイルデバイス。
【請求項２１】
前記デジタル画像情報を処理するための前記手段は、前記シーン内の1つまたは複数の記号を認識するための手段を含む、請求項16に記載のモバイルデバイス。
【請求項２２】
プロセッサによって実行されると、1つまたは複数の機械に動作を実行させる命令を記録する非一時的なコンピュータ可読記録媒体であって、前記動作は、
モバイルデバイスとのハンズフリー通信を行うように構成されたワイヤレスヘッドセットから、前方方向にある少なくとも1つのシーンを示すデジタル画像情報を受信するステップと、
前記ワイヤレスヘッドセットに関連付けられた1つまたは複数の動きセンサから、前記モバイルデバイスのユーザの動きを示す信号情報を受信するステップと、
前記デジタル画像情報を処理するステップと、
前記処理に基づく前記シーン内の1つまたは複数の特徴に関連するロケーション情報を生成するステップと、
前記処理に基づく前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を使用して、前記モバイルデバイスの位置を生成するステップと、
前記1つまたは複数の動きセンサからの前記信号情報を使用して、前記モバイルデバイスの位置を更新するステップであって、前記モバイルデバイスの位置は不確実性を有する、ステップと
前記モバイルデバイスの位置の前記不確実性が所定のレベルを上回ることに基づいて、前記モバイルデバイスにおいて、追加のデジタル画像情報を受信するステップと
を含む、非一時的なコンピュータ可読記録媒体。
【請求項２３】
前記動作は、
前記ロケーション情報に基づくオーディオナビゲーション情報を生成するステップと、
前記オーディオナビゲーション情報を前記ワイヤレスヘッドセットに送信するステップと
をさらに含む、請求項22に記載の非一時的なコンピュータ可読記録媒体。
【請求項２４】
前記動作は、
前記ロケーション情報に基づく視覚的ナビゲーション情報を生成するステップと、
前記視覚的ナビゲーション情報を使用してナビゲーション画像を表示するステップと
をさらに含む、請求項22に記載の非一時的なコンピュータ可読記録媒体。
【請求項２５】
前記デジタル画像情報は、フィルタ処理されたデジタル画像情報を含む、請求項22に記載の非一時的なコンピュータ可読記録媒体。
【請求項２６】
前記デジタル画像情報を処理するステップは、前記デジタル画像情報の少なくとも一部分と記憶されている情報とを比較するステップを含み、前記シーン内の1つまたは複数の特徴に関連する前記ロケーション情報を生成するステップは、前記比較に基づいて関連するロケーションにアクセスするステップを含む、請求項22に記載の非一時的なコンピュータ可読記録媒体。
【請求項２７】
前記デジタル画像情報を処理するステップは、前記シーン内の1つまたは複数の記号を認識するステップを含む、請求項22に記載の非一時的なコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、全体が参照により本明細書に組み込まれている、2011年1月4日に出願されたDominic G. Farmerの米国仮特許出願第61/429,560号の利益を主張するものである。
【０００２】
本開示は一般にナビゲーションに関する。
【背景技術】
【０００３】
全地球測位システム(GPS)などの衛星ナビゲーションシステム(SPS)を使用した位置判断が、モバイルデバイスまたはモバイルハンドセット、たとえば携帯電話やスマートフォンに広く適用されている。SPS受信機は通常、多数の衛星から送信された信号の到着時間を計算することによって、SPS受信機の位置を判断する。これらの衛星は、それらのナビゲーションメッセージの一部として、衛星位置データと、クロックタイミングのタイミングデータの両方、いわゆる「アルマナック」データと「エフェメリス」データを送信する。衛星信号を探索して取得し、多数の衛星に関するデータを読み取り、このデータから受信機のロケーションを計算するプロセスは、時間がかかり、しばしば数分要する。多くの場合、この長い処理時間は許容できず、さらには、小型のポータブルアプリケーションのバッテリー寿命を大きく抑制する。
【０００４】
従来型のSPS受信機器は、囲われていない空間で最もよく機能し、その理由は、衛星信号が弱く、衛星信号を検出して到着時間を判断する能力が、他の環境(たとえば、屋内、または建物もしくは他の物が存在する屋外)では減衰および/または反射によって低下し得ることにある。SPS受信機の改善により、屋内または弱いマルチパス信号もしくは純粋な反射である信号が存在する状況において衛星信号を追跡できる信号感度がもたらされる。しかしながら、そのような弱い衛星信号を取得する能力は、依然として実現困難であり、一般に他の問題を引き起こす。
【０００５】
多くの州がハンズフリー法を採用した結果、ワイヤレスヘッドセット、たとえばBluetooth(登録商標)イヤホン、およびワイヤードヘッドセットの使用が増えている。ワイヤレスヘッドセットは、一般にはBluetooth(登録商標)通信プロトコルを使用して、モバイルデバイスと通信する。Bluetooth(登録商標)イヤホンは主に、オーディオ機能を提供するために使用される。
【０００６】
1つの注目領域は、ワイヤレスヘッドセットがローカルワイヤレスネットワークを介してローカルモバイルデバイスと通信するハンズフリーワイヤレス通信に関係する。
【０００７】
ワイヤレスヘッドセットは、ユーザがモバイルデバイスを使用して友人、家族、および仲間と通信する間にユーザの両手を解放するので、ユーザは運転、買い物などの他の活動を自由に行うことができる。その結果、ワイヤレスヘッドセットは、モバイルデバイスの使用の利便性を高める。
【発明の概要】
【課題を解決するための手段】
【０００８】
本明細書で開示するシステム、装置、および方法では、ヘッドセットを改良して、ナビゲーション機能を改良する。一実施形態では、ロケーション判断を行うための方法は、モバイルデバイスとのハンズフリー通信を行うように構成されたヘッドセット内のイメージングデバイスを使用して、ユーザが注視する方向にある少なくとも1つのシーンを示すデジタル画像を生成するステップと、デジタル画像をフィルタ処理するステップと、フィルタ処理されたデジタル画像をモバイルデバイスに送信するステップと、フィルタ処理されたデジタル画像を処理して、ユーザの注視に関連するロケーション情報を生成するステップとを含む。
【０００９】
本発明の別の態様によれば、ロケーション判断を行うためのシステムは、モバイルデバイスとのハンズフリー通信を行うように構成された、イメージングデバイスおよびプロセッサを含むヘッドセットを含む。イメージングデバイスは、ユーザが注視する方向にある少なくとも1つのシーンを示すデジタル画像を生成するように構成され、プロセッサは、デジタル画像をフィルタ処理するように構成される。モバイルデバイスは、プロセッサおよびメモリを含み、モバイルデバイスは、ヘッドセットと通信して、フィルタ処理されたデジタル画像を受信し、フィルタ処理されたデジタル画像を処理して、ユーザの注視に関連するロケーション情報を生成する。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態による、ワイヤレスヘッドセットを使用したカメラベースのナビゲーションシステムを示す図である。
【図２】本発明の一実施形態による、ワイヤードヘッドセットを使用したカメラベースのナビゲーションシステムを示す図である。
【図３】本発明の一実施形態による、カメラベースのナビゲーションシステムが適用される動作環境を示す図である。
【図４】本発明の一実施形態による、カメラベースのナビゲーションシステムを構築するために使用され得るワイヤレスヘッドセットおよびモバイルデバイスを示す概略図である。
【発明を実施するための形態】
【００１１】
開示する方法および装置の性質、目的および利点は、以下の詳細な説明を添付の図面とともに検討した後、当業者にはより明らかとなろう。
【００１２】
本発明の実施形態によれば、カメラベースのナビゲーションシステムは、(動作中に)モバイルデバイスと通信するデジタルイメージングデバイスを備えたヘッドセットを含む。カメラベースのナビゲーションシステムは、ヘッドセット上のイメージングデバイスによってキャプチャされ、モバイルデバイスに提供されるデジタル画像を使用して、位置判断を実行することができる。モバイルデバイスおよび/またはヘッドセットで実施される信号処理機能により、ナビゲーションシステムは、デジタル画像から正確な姿勢、相対方向、相対速度およびデルタ位置推定値を導出することができる。
【００１３】
カメラベースのナビゲーションは、都会の環境や屋内の環境などの厳しい環境において、非常に正確なロケーション判断を行うという利点を有する。他の実施形態では、デジタル画像から導出された位置情報に基づくナビゲーション情報を生成し、ヘッドセットのオーディオ機能を通じて、かつ/またはモバイルデバイス上の視覚表示を通じてユーザに供給することができる。
【００１４】
本発明の他の実施形態によれば、カメラベースのナビゲーションシステムは、衛星ベースの測位、地上測位、ハイブリッド測位などの絶対測位システムによって支援される。したがって、いくつかの実施形態では、カメラベースのナビゲーションシステムから導出された測位情報が、SPS受信機の絶対測位能力と組み合わされて、歩行者のロケーション判断、屋内、および都会での使用を含む最も厳しいナビゲーション環境において、完全なロケーション判断およびナビゲーション解がもたらされる
【００１５】
モバイルデバイス用のヘッドセットに1つまたは複数のマイクロカメラなどのデジタルイメージングデバイスを統合することで、ユーザは、さらなる機器を携帯したり、さらなる機器に留めたりすることなく、カメラベースのナビゲーションを利用することができる。携帯電話と組み合わせたワイヤレスヘッドセットの使用が普及する中、イメージングデバイスをワイヤレスヘッドセットに統合することで、カメラベースのナビゲーションを既存のモバイルデバイスにシームレスに組み込むことができる。独立したカメラを体に別途付着させる必要があるナビゲーションシステムは、たいていのユーザにとって魅力的ではなく、不便であり得る。本発明のカメラベースのナビゲーションシステムでは、イメージングデバイスの統合は、ユーザからは透過である。モバイルデバイス用のヘッドセット内にイメージングデバイスを共存させることによって、イメージングデバイスを邪魔にならない方法で統合することができ、ユーザにとっての使いやすさおよび利便性を高めることができる。
【００１６】
本明細書で使用するモバイルデバイスは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/またはナビゲーション信号を受信することができる他の適したモバイルデバイスなどのデバイスを指す。「モバイルデバイス」という用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むものである。また、「モバイルデバイス」は、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず、インターネット、WiFi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むものとする。上記の任意の動作可能な組合せも、「モバイルデバイス」と見なされる。
【００１７】
本明細書で使用するヘッドセットは、ユーザがワイヤードインターフェースまたはワイヤレスインターフェースを使用してモバイルデバイスと通信することを可能にするハンズフリー通信デバイスを指す。従来型のヘッドセットは、モバイルデバイスとのオーディオ通信を可能にする。ワイヤレスヘッドセットの場合、ワイヤレスヘッドセットはローカルワイヤレスインターフェースを使用してモバイルデバイスと通信する。例示的な実施形態では、ローカルワイヤレスインターフェースは、Bluetooth(登録商標)ネットワークのような短距離アドホックワイヤレスネットワークを含む。Bluetooth(登録商標)ネットワークは、2つ以上のワイヤレスデバイスが短距離アドホックネットワークを介してワイヤレス通信することを可能にする汎用無線インターフェースである。Bluetooth(登録商標)技術に関する詳細は、Bluetooth(登録商標)の公式ウェブサイト(www.bluetooth.com)で確認できる。
【００１８】
以下で説明する例示的な実施形態では、短距離アドホックワイヤレスネットワークまたはBluetooth(登録商標)ネットワークを使用して、ワイヤレスヘッドセットとモバイルデバイスとの間のローカルワイヤレスインターフェースを実現する。他の実施形態では、ローカルワイヤレスインターフェースは、任意のワイヤレスインターフェースを使用して実現され得る。Bluetooth(登録商標)ネットワークの使用は例示的なものにすぎず、限定的なものではない。ヘッドセットは、ユーザの頭部にヘッドセットの構成要素を固定するサポートを含む。サポートは、耳サポートまたは頭部サポートであってよい。
【００１９】
一実施形態では、本発明のカメラベースのナビゲーションシステムは、図1に示すようにワイヤレスヘッドセットを使用して実現される。図1を参照すると、カメラベースのナビゲーションシステム10は、1つまたは複数の内蔵マイクロカメラ18を備えたワイヤレスヘッドセット14を含む。図1の例では、マイクロカメラ18はワイヤレスヘッドセット上のロケーションに位置付けられ、それにより、ワイヤレスヘッドセットをユーザが装着しているときに、マイクロカメラは、ユーザが注視する方向を向くことになる。カメラベースのナビゲーションシステム10は、本発明では携帯電話として示されるモバイルデバイス12をさらに含む。モバイルデバイス12は、ワイヤレス通信リンク16を介して、たとえばBluetooth(登録商標)短距離ワイヤレスネットワークを介してワイヤレスヘッドセット14と通信する。モバイルデバイス12はまた、ワイヤレスネットワークを介してベースデバイスと通信する。動作時に、ワイヤレスヘッドセット14上のマイクロカメラ18によってキャプチャされた画像が処理され、ワイヤレスヘッドセット14からモバイルデバイス12にダウンリンク送信される。モバイルデバイス12は、受信した画像を処理して位置判断を行う。いくつかの実施形態では、モバイルデバイス12はオーディオナビゲーション情報を、アップリンク送信を通じてワイヤレスヘッドセット14に提供する。
【００２０】
別の実施形態では、本発明のカメラベースのナビゲーションシステムは、図2に示すようにワイヤードヘッドセットを使用して実現される。図2を参照すると、カメラベースのナビゲーションシステム20は、内蔵マイクロカメラ28を備えたワイヤードヘッドセット24を含む。マイクロカメラ28はワイヤードヘッドセット上のロケーションに位置付けられ、それにより、ワイヤードヘッドセットをユーザが装着しているときに、マイクロカメラは、ユーザが注視する方向を向くことになる。カメラベースのナビゲーションシステム20は、本発明ではスマートフォンとして示されるモバイルデバイス22をさらに含む。モバイルデバイス22は、ケーブル26を介してワイヤードヘッドセット24と通信する。モバイルデバイス22はまた、ワイヤレスネットワークを介してベースデバイスと通信する。動作時に、ワイヤードヘッドセット24上のマイクロカメラ28によってキャプチャされた画像が処理され、ワイヤードヘッドセット24からモバイルデバイス22にダウンリンク送信される。モバイルデバイス22は、受信した画像を処理して位置判断またはロケーション判断を行う。詳細には、本発明の実施形態では、モバイルデバイス12、22はコンピュータビジョンまたはマシンビジョンを利用して、受信した画像から情報を取り出すことで、位置情報またはロケーション情報を取得する。コンピュータビジョンまたはマシンビジョンの技術は、画像から情報を取り出す際に使用するものとして知られている。いくつかの実施形態では、モバイルデバイス22はオーディオナビゲーション情報を、アップリンク送信を通じてワイヤードヘッドセット24に提供する。
【００２１】
いくつかの実施形態では、モバイルデバイス12、22は、記憶されている平面図などのデータベースからの情報を利用して、位置情報を導出する。代替的に、モバイルデバイスは、ヘッドセット14、24から受信したアドレス、オフィスのネームプレート、またはオフィスの部屋番号の画像からロケーション情報を導出することがある。さらに、いくつかの実施形態では、ユーザの方向および/または方位は、一体型マイクロカメラから取得された画像を通じて追跡され得る。いくつかの実施形態では、モバイルデバイスは、ユーザが見ているロケーションを識別するためにキャプチャされたデジタル画像を処理するソフトウェアおよびハードウェアを組み込んでいる。
【００２２】
他の実施形態では、ヘッドセット(ワイヤードまたはワイヤレス)は、ヘッドセットから特定の対象物までの距離を判断するための測距デバイスをさらに含み得る。一実施形態では、測距デバイスは赤外線ベースまたはレーザベースの距離判断デバイスである。いくつかの実施形態では、測距を容易にするために複数のデバイスがヘッドセットに組み込まれ得る。たとえば、ステレオ三角測量を容易にするために複数のカメラ(たとえば、複数の前方向きカメラおよび/または複数の横向きカメラ)がヘッドセットに組み込まれ得る。
【００２３】
他の実施形態では、ワイヤレスヘッドセット14またはワイヤードヘッドセット24は、衛星測位を可能にするSPS受信機および/またはSPSアンテナをさらに含み得る。SPSシステム(または他の絶対測位システム)から取得された位置判断情報が、デジタル画像から取得された位置判断情報とともに使用されて、ロケーション情報およびナビゲーション情報がユーザに提供され得る。他の実施形態では、SPS受信機および/またはSPSアンテナがモバイルデバイスに組み込まれ得る。モバイルデバイスは、キャプチャされた画像とSPS受信機からのロケーション情報の両方への操作を行って、ロケーション判断および任意のナビゲーション情報を提供する。
【００２４】
本開示のカメラベースのナビゲーションシステムの1つの重要な適用場面は、SPSなどの絶対測位システムが十分な測位精度をもたらすことができない屋内環境にある。図3は、本発明の一実施形態によるカメラベースのナビゲーションシステムが適用される動作環境を示している。図3を参照すると、カメラベースのナビゲーションシステム30のユーザは、マイクロカメラ38を備えたワイヤレスヘッドセット34を装着している。ユーザはまた、ワイヤレスヘッドセット34と通信しているモバイルデバイス32を携帯している。マイクロカメラ38は、ユーザが注視する方向にあるシーンの画像をキャプチャする。ヘッドセット搭載カメラが使用中に総じて前方に向いている場合、ユーザが注視する方向にあるシーンを、「前方」方向にあるシーンと呼ぶことができ、そのような構成では、「横断」は、ユーザが注視する方向にほぼ直角な方向を指す。
【００２５】
たとえば、屋内の廊下およびドアの画像39がキャプチャされる。キャプチャされた1つまたは複数の画像は、ワイヤレスヘッドセット34によって処理され、次いでワイヤレスリンク36を介してモバイルデバイス32に送信される。モバイルデバイス32はキャプチャされた情報を、建物の平面図などの記憶されている情報とともに使用して、ユーザのロケーションおよび/または頭部の方位を導出する。モバイルデバイス32は、通信リンク36を介してユーザにオーディオナビゲーション情報を提供することができる。他の実施形態では、モバイルデバイス32は、視覚的ナビゲーション情報をモバイルデバイスのディプレイに提供することができる。視覚的ナビゲーション情報は、マップ、方向を示す静止した矢印または動いている矢印、経路指示などのナビゲーション画像を表示するためにモバイルデバイスの回路によって使用され得る能動的情報または受動的情報を含むことができる。
【００２６】
本発明のカメラベースのナビゲーションシステムにおいて使用するヘッドセットおよびモバイルデバイスが、次のように、また図4に示すように構築される。一実施形態では、ヘッドセット104は通信インターフェース172を含む。ヘッドセット104がワイヤレスヘッドセットであるとき、通信インターフェース172は、アンテナ190を介して通信リンク114との間で信号を送信および受信するためのワイヤレストランシーバである。ヘッドセット104がワイヤードヘッドセットであるとき、通信インターフェース172は適切な通信インターフェースであり、アンテナ190は省かれ得る。
【００２７】
ヘッドセット104は、ヘッドセットの動作を制御するための命令を実行するためのプロセッサ174、動作命令、データおよびキャプチャされた画像を記憶するためのメモリ176、ならびに動作環境の画像をキャプチャするためのイメージングデバイス178をさらに含む。ヘッドセット104のプロセッサ174は、メモリ176に記憶されている命令を実行してフィルタ処理演算を実行することで、キャプチャされた画像を、関連するモバイルデバイスに送信するのに適したレベルまでフィルタ処理することができる。たとえば、フィルタ処理演算は画像を、モバイルデバイスにワイヤレス送信する際のワイヤレス帯域幅に適したレベルまでフィルタ処理することができる。ヘッドセット104は、ユーザ向けのオーディオ信号を生成するための、スピーカーなどのオーディオデバイス180をさらに含む。
【００２８】
ヘッドセット104は、以下の随意の要素をさらに含み得る。ヘッドセット104は、ユーザからオーディオ信号を受信するためのマイクロフォン188、ヘッドセットから対象物までの距離を判断するための測距デバイス186、および頭部および体の動きを検出し、方向情報を提供するためのジャイロ動き検出器184のような1つまたは複数の動きセンサを含むことができる。最後に、ヘッドセット104はSPS受信機182を含み得る。SPS受信機182は、衛星信号を受信するためにアンテナ190に結合され得る。ヘッドセット104の要素は一般に、筐体中に形成され、たとえば耳サポートを通じて、ユーザの頭部にヘッドセットを固定するためのサポート(不図示)に取り付けられる。
【００２９】
一実施形態では、モバイルデバイス102は通信インターフェース152を含む。ヘッドセット104がワイヤレスヘッドセットであるとき、通信インターフェース152は、アンテナ162を介して通信リンク114との間で信号を送信および受信し、ベースデバイスとの間で信号を送信および受信するためのワイヤレストランシーバである。ヘッドセット104がワイヤードヘッドセットであるとき、通信インターフェース152は、ワイヤード通信を容易にするための適切な通信インターフェースである。
【００３０】
モバイルデバイス102は、モバイルデバイスの動作を制御するためのプロセッサ154、メモリ156、およびディスプレイ160をさらに含む。メモリ156は、動作命令を記憶するために使用でき、また、ヘッドセット104から受信したデジタル画像情報の一部または全部を記憶することができる。いくつかの実施形態では、モバイルデバイス102はSPS受信機158を含み、SPS受信機158はモバイルデバイス102内に提供される。
【００３１】
上述のように、現在の技法は、衛星測位が難しい環境、たとえば、衛星測位解が割り出され得るが、衛星測位解の精度が何らかの理由で不十分であり得る環境において使用され得る。一例では、衛星測位解の不確実性が、(アーバンキャニオンの環境のような)複雑なマルチパス環境のために悪化することがある。そのような環境では、企業や人々の密度のために、郊外の環境にある場合よりも、正確なナビゲーション情報が一層望まれることがある。
【００３２】
そのような状況では、測位/ナビゲーションを改善するために、衛星測位情報とともに画像処理が使用され得る。衛星位置は、特定の環境(たとえば、屋内環境、都市環境および/または歩行者環境)において効率的ナビゲーションにとって望ましいレベルを上回る不確実性を伴うことがある。ユーザは、搭載カメラを使用して1つまたは複数の画像を取得することができる。画像情報を処理して、より正確なロケーション、すなわち、第1の不確実性を下回る第2の不確実性を有するロケーションを判断することができる。ユーザが移動し続ける場合、いくつかの技法を使用してロケーションを更新することができる。1つの技法では、ユーザが移動する中で追加の画像を取得することができ、追加の画像情報を処理してロケーションを更新することができる。
【００３３】
1つの技法では、位置の不確実性が特定の環境において効率的ナビゲーションにとって望ましいレベルを上回るまで、センサ(加速度計および/またはジャイロスコープ)を使用して位置を更新することができる。位置の不確実性がこのレベルを上回ると、追加の画像を取得し、処理して、ロケーションを更新することができる。
【００３４】
ナビゲーションのための画像処理は、画像データと記憶されているデータとを比較して、カメラからの画像の全部または一部が、記憶されている画像情報に対応しているか否かを判断することができる。対応している場合、ユーザのロケーションは、記憶されている画像に関連するロケーションであると判断され得る。この処理は、かなりの計算リソースを必要とし得る。1つの技法では、必要とされるリソースは、現在位置および位置の不確実性を使用することによって減らすことができ、それによって、比較に使用される記憶される画像データの量を抑制することができる。場合によっては、カメラからの画像データを1つまたは複数のネットワークリソースに送信することができ、ローカルで対応可能な処理能力を上回る処理能力を有するサーバまたは他のネットワークリソースにおいて処理を実行することができる。
【００３５】
歩行者の実施態様(屋内および/または屋外)において有益であり得る1つの技法は、1つまたは複数の認識可能な記号を画像から取得できる場合には、画像情報がより有用であり得ることを認識する。例示的な一実施形態では、ユーザは、文字、数字、アイコン、および/または他の記号などの1つまたは複数の記号的要素を含む特徴にカメラを向けて、画像を取得することがある。画像を処理して1つまたは複数の記号的要素を判断することができ、この場合、取得された画像データと記憶されているデータとを比較するのではなく、処理は、記号的要素の一致がないか探索することを含み得る。
【００３６】
たとえば、ユーザは、プロンプトに応答して、またはプロンプトなしで、店頭、道路標識などに目を向けて、文字、単語、および/または数字(および/または他の記号)がカメラの視界に入るようにすることがある。カメラは、(ユーザ入力に応答して、または自動的に)記号を含む画像をキャプチャすることができる。光学式文字認識などの技法を使用して画像情報を処理して、画像内の記号を判断することができる。判断された文字、単語、アイコン、および/または数字を使用して、画像を特定のロケーションに関連付けることができる。これは、ユーザが記号のうちの少なくともいくつかを理解していないとき(たとえば、外国を旅行しているとき)、特に有用であり得る。
【００３７】
別の実施形態では、(ユーザの移動方向で画像データを取得するように位置付けられた1つまたは複数のカメラの代替または追加として)ユーザの移動方向とは異なる方向で画像データを取得する1つまたは複数のカメラを提供することができる。歩行者環境では、そのようなカメラは、ユーザが歩いて通過する店頭、標識、または他の特徴に対して画像データをキャプチャすることができる。
【００３８】
一実施形態では、移動方向に沿って画像データを取得するように位置付けられたカメラを使用して、あるレートで画像データを取得することができ、異なる方向に沿って(たとえば、移動方向に対して横方向/横断方向で)画像データを取得するように位置付けられたカメラを使用して、異なるレートで画像データを取得することができる。歩行者の実施態様では、視界内の対象物は一般にゆっくりと変化し、ユーザと特定の対象物との間の距離はゆっくりと縮小し、そして対象物はユーザの視界から消える。移動方向に直角な方向にある対象物は、ユーザが通過するのに伴ってより迅速に変化する。したがって、移動方向に対して横断する方向で画像を取得する際は、より速い画像取得レートが使用され得る。
【００３９】
別の実施形態では、画像処理は複数のステップを含むことができる。たとえば、ユーザは最初の時間に特定の方向で移動していることがあり、第1の画像データが取得され得る。第1の画像データが処理されて、データベース内のロケーション情報に関連する可能性が高い視界内の1つまたは複数の特徴が識別され得る。たとえば、都会の歩道を歩いているユーザの前の視界は多くの対象物を含むことがあり、それらは、そのロケーションに常にある場合(たとえば、建物、標識、およびライト)、および一時的である場合(たとえば、人々および車)がある。第1の画像データが処理されて、標識や建物の特徴など、特定の固定した特徴が、データベース内のロケーション情報に関連する可能性が高いものとして識別され得る。これらの特徴は、形、色、大きさ、位置、および/または他のパラメータによって識別され得る。識別された1つまたは複数の特徴を使用して、関連する画像データとデータベース内のデータとを比較することによって、関連するロケーションを取得することができる。
【００４０】
本発明の実施形態によれば、建物の平面図、キャンパスのマップ、またはオフィスのロケーションリストなどのデータベース情報が、モバイルデバイス102のメモリ156に記憶され得る。キャプチャされた画像とともにデータベース情報が使用されて、ロケーション情報およびナビゲーション情報がもたらされ得る。ロケーション情報およびナビゲーション情報は、通信リンク114を介してオーディオ信号として、またはディスプレイ160に表示するための視覚的信号として、ユーザに提供され得る。
【００４１】
現在の技法はまた、屋内での測位の適用において有益であり得る。衛星測位は、弱い衛星信号の減衰のために、屋内では対応可能でないことがある。地上のインフラストラクチャとの間で送受信した信号を使用した測位技法は、ユーザの位置を判断するために使用されることがあるが、効率的ナビゲーションにとって十分に正確なものではないことがある。上記の例により、画像情報をキャプチャし、処理し、データベース情報と比較して、関連するロケーション情報を判断することができる。たとえば、屋内空間の特徴の画像をキャプチャし、記憶されている特徴情報と比較して、ユーザのおおよそのロケーションがわかることがある。一致があると判断された場合、記憶されている特徴情報に関連するロケーション情報は、ユーザのロケーションであると判断される。
【００４２】
本明細書では、ワイヤレスヘッドセットとモバイルデバイスの両方がペアリング回路を含む。ペアリングにより、ワイヤレスヘッドセットおよびモバイルデバイスは、ワイヤレスヘッドセットとモバイルデバイスとのペアリングが成功した後、両者間のワイヤレス接続を確立することができる。これらのペアリング回路は、個別のヘッドセットおよびモバイルデバイスに関連するペアリング情報に遜色がないときに、ワイヤレスヘッドセットとモバイルデバイスとをペアリングするように動作可能である。個別のヘッドセットおよびモバイルデバイスに関連するペアリング情報に遜色がある場合、これらの個別の構成要素は、モジュール式のワイヤレス通信システムを形成するためのペアリングをしないことがある。
【００４３】
本明細書では、モバイルデバイスは、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような1つまたは複数のワイヤレス通信ネットワークと通信し得る。「ネットワーク」および「システム」という用語は、本明細書では互換的に使用され得る。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、単一キャリア周波数分割多元接続(SC-FDMA)ネットワークなどであり得る。CDMAネットワークは、1つまたは複数の無線アクセス技術(RAT)、たとえばほんの数例の無線技術を挙げると、cdma2000、広帯域CDMA(WCDMA(登録商標))、時分割同時符号分割多元接続(TD-SCDMA)などの無線技術を実施することができる。ここで、cdma2000は、IS-95、IS-2000、およびIS-856規格に従って実施される技術を含み得る。TDMAネットワークは、Global System for Mobile Communications(GSM(登録商標))、Digital Advanced Mobile Phone System(D-AMPS)または何らかの他のRATを実施することができる。GSM(登録商標)およびWCDMA(登録商標)は「第3世代パートナーシッププロジェクト」(3GPP)と名付けられた団体による文書に記載されている。cdma2000は「第3世代パートナーシッププロジェクト2」(3GPP2)と名付けられた団体による文書に記載されている。3GPPおよび3GPP2の文書は公開されている。たとえば、WLANは、IEEE 802.11xネットワークを含んでもよく、WPANは、Bluetooth(登録商標)ネットワーク、IEEE 802.15xを含んでもよい。ワイヤレス通信ネットワークはいわゆる次世代技術(たとえば「4G」)、たとえば、ロングタームエボリューション(LTE)、Advanced LTE、WiMAX、Ultra Mobile Broadband(UMB)などを含むことができる。そのような例示的なWWAN、WLAN技術などに加えて、またはその代替として、いくつかの例示的な実装形態では、支援情報(たとえば、TOW支援など)が、ブロードキャスト技術、たとえばMediaFLO、ISDB-T、DVB-Hなどを介して、デバイス202に送信され得る。
【００４４】
本明細書に記載する方法および装置は、米国の全地球測位システム(GPS)、ロシアのGlonassシステム、欧州のGalileoシステム、衛星システムの組合せからの衛星を使う任意のシステム、または将来開発される任意の衛星システムなど、様々な衛星測位システム(SPS)とともに用いられ得る。さらに、開示する方法および装置は、擬似衛星または衛星と擬似衛星との組合せを利用する、位置判断システムとともに用いられ得る。擬似衛星は、GPSの時間と同期され得るL帯(または他の周波数)の搬送波信号において変調されるPNコードまたは他の測距コード(GPSまたはCDMAセルラー信号と類似の)をブロードキャストする地上ベースの送信機である。そのような送信機の各々は、遠隔の受信機による識別を可能にするために、固有のPNコードを割り当てられ得る。擬似衛星は、軌道衛星からの信号が利用できない可能性がある状況、たとえば、トンネル、鉱山、建物、アーバンキャニオン、または他の閉鎖された領域の中で有用である。擬似衛星の別の実装形態は、無線ビーコンとして知られている。本明細書で使用する「衛星」という用語は、擬似衛星、擬似衛星の等価物、および他のものを含むものとする。本明細書で使用する「SPS信号」という用語は、擬似衛星または擬似衛星の等価物からの、SPSのような信号を含むものとする。
【００４５】
情報および信号は、多種多様な技術および技法のいずれかを使用して表され得ることを当業者であれば理解されよう。たとえば、データ、情報、信号、ビット、シンボル、チップ、命令およびコマンドは、上記の説明全体にわたって参照され得る。これらは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光粒子、またはそれらの任意の組合せによって表すことができる。
【００４６】
1つまたは複数の例示的な実施形態では、説明した機能およびプロセスはハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実装する場合、機能は、1つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。伝搬信号は「コンピュータ可読記憶媒体」ではない。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用でき、コンピュータによってアクセスできる、任意の他の媒体を含み得る。本明細書で使用する場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フレキシブルディスク、およびブルーレイディスクを含み、ディスク(disk)は、通常、磁気的にデータを再生し、ディスク(disc)は、レーザで光学的にデータを再生する。上記の組合せもコンピュータ可読媒体の範囲内に含めるべきである。本明細書で使用する「制御論理」という用語はソフトウェア、(機能はプロセッサを使用して実行される機械可読媒体に記憶された命令によって実装される)、回路が特定の入力のために特定の出力を与えるように構成されたハードウェア(機能は回路(論理ゲートなど)を使用して実装される)、およびファームウェア(機能は再プログラム可能な回路を使用して実装される)に適合し、またソフトウェア、ハードウェアおよびファームウェアのうちの1つまたは複数の組合せにも適合する。
【００４７】
ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明する機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実装されてもよい。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明する方法の実装において使用され得る。たとえば、ソフトウェアコードは、メモリ、たとえばモバイルデバイスのメモリに記憶され、プロセッサ、たとえばモバイルデバイスのマイクロプロセッサによって実行され得る。メモリは、プロセッサの内部またはプロセッサの外部に実装され得る。本明細書では、「メモリ」という用語は、長期メモリ、短期メモリ、揮発性メモリ、不揮発性メモリ、または他のメモリのいずれかの種類を指し、メモリの特定の種類またはメモリの数、あるいはメモリが記憶される媒体の種類に限定されない。
【００４８】
また、コンピュータ命令/コードは、物理的な伝送媒体上の信号を介して、送信機から受信機に送信され得る。たとえば、ソフトウェアが同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線(DSL)、または、赤外線、無線およびマイクロ波のようなワイヤレス技術の物理的な構成要素を用いて、ウェブサイト、サーバ、または他の遠隔のソースから送信される場合である。上記の組合せも、物理的な伝送媒体の範囲内に含まれ得る。
【００４９】
さらに、開示される実装形態の上記の説明は、いかなる当業者も本発明を作成または使用できるようにするために提供される。これらの実装形態への様々な修正が当業者には容易に明らかになることになり、本明細書に定義する一般原理は、本発明の趣旨または範囲を逸脱することなしに他の実装形態に適用され得る。したがって、本発明は、本明細書に示す特徴に限定されるものではなく、本明細書で開示する原理および新規の特徴に一致する最大の範囲を与えられるものである。
【符号の説明】
【００５０】
10  カメラベースのナビゲーションシステム
12  モバイルデバイス
14  ワイヤレスヘッドセット、ヘッドセット
16  ワイヤレス通信リンク
18  内蔵マイクロカメラ、マイクロカメラ
20  カメラベースのナビゲーションシステム
22  モバイルデバイス
24  ワイヤードヘッドセット、ヘッドセット
26  ケーブル
28  内蔵マイクロカメラ、マイクロカメラ
30  カメラベースのナビゲーションシステム
32  モバイルデバイス
34  ワイヤレスヘッドセット
36  ワイヤレスリンク、通信リンク
38  マイクロカメラ
39  画像
102  モバイルデバイス
104  ヘッドセット
114  通信リンク
152  通信インターフェース
154  プロセッサ
156  メモリ
158  SPS受信機
160  ディスプレイ
162  アンテナ
172  通信インターフェース
174  プロセッサ
176  メモリ
178  イメージングデバイス
180  オーディオデバイス
182  SPS受信機
184  ジャイロ動き検出器
186  測距デバイス
188  マイクロフォン
190  アンテナ
【図１】
0005871952.tif 000002
【図２】
0005871952.tif 000003
【図３】
0005871952.tif 000004
【図４】
0005871952.tif 000005