(57)【要約】  カメラ補助による動き方向および速度推定のための方法およびデバイスを開示する。モバイルデバイスの位置特性を判断する方法は、モバイルデバイスからのビューを表す複数の画像をキャプチャするステップと、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するステップと、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するステップと、記憶デバイス内に不整合角度および動きの方向を記憶するステップとを含む。
2016514251.tif 000002
【特許請求の範囲】
【請求項１】
モバイルデバイスの位置特性を判断する方法であって、
前記モバイルデバイスからのビューを表す複数の画像をキャプチャするステップと、
前記モバイルデバイスの向きに少なくとも部分的に基づいて前記複数の画像のパースペクティブを調整するステップと、
前記複数の画像を使用して前記モバイルデバイスの動きの方向に対する不整合角度を判断するステップと、
記憶デバイス内に前記不整合角度および前記動きの方向を記憶するステップとを含む、方法。
【請求項２】
前記複数の画像のパースペクティブを調整するステップが、
1つまたは複数のセンサから収集されたデータを使用して計算された前記モバイルデバイスの前記向きに基づいて前記複数の画像のパースペクティブを調整するステップと、
前記複数の画像の中心付近の領域を使用して前記複数の画像のパースペクティブを補償するステップと、
前記複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて前記複数の画像のパースペクティブを補償するステップとのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項３】
前記不整合角度を判断するステップが、
前記複数の画像からの特徴を追跡するステップと、
前記モバイルデバイスの動きの方向を推定するステップと、
センサデータを使用して前記モバイルデバイスの前記向きを推定するステップと、
前記モバイルデバイスの前記動きの方向および前記向きに少なくとも部分的に基づいて前記不整合角度を判断するステップとを含む、請求項1に記載の方法。
【請求項４】
前記複数の画像からの特徴を前記追跡するステップが、
前記複数の画像内の少なくとも1つの移動オブジェクトを消去するために前記複数の画像の特徴内の異常値を除去するステップを含む、請求項3に記載の方法。
【請求項５】
前記モバイルデバイスのジャイロスコープによって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の信頼性を判断するステップと、
前記モバイルデバイスの磁力計によって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するステップと、
前記複数の画像の特徴を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するステップとのうちの少なくとも1つをさらに含む、請求項1に記載の方法。
【請求項６】
前記モバイルデバイスの速度推定を判断するステップと、
前記モバイルデバイスの前記速度推定の信頼性を判断するステップと、
前記モバイルデバイスのユーザをナビゲートするために前記速度推定および前記速度推定の前記信頼性を適用するステップとをさらに含む、請求項1に記載の方法。
【請求項７】
速度推定値を判断するステップが、
前記複数の画像から特徴を抽出するステップと、
前記複数の画像からの前記特徴を使用して前記モバイルデバイスの平均変位を計算するステップと、
前記モバイルデバイスの前記平均変位に少なくとも部分的に基づいて前記速度推定値を計算するステップとを含む、請求項6に記載の方法。
【請求項８】
前記速度推定値を計算するステップが、
前記複数の画像からの前記特徴を比較するステップと、
前記複数の画像内の2つの連続する画像間の画素の分離を判断するステップと、
前記2つの連続する画像間の時間間隔を判断するステップと、
前記画素の分離および前記2つの連続する画像間の前記時間間隔に従って前記モバイルデバイスの前記速度推定値を計算するステップとを含む、請求項7に記載の方法。
【請求項９】
前記モバイルデバイスのGPS位置情報およびWIFI位置情報の少なくとも一方に従って前記モバイルデバイスの高さを較正するステップをさらに含む、請求項8に記載の方法。
【請求項１０】
前記モバイルデバイスのユーザをナビゲートするために前記不整合角度および前記不整合角度の信頼性を適用するステップとをさらに含む、請求項1に記載の方法。
【請求項１１】
処理論理回路を含む制御ユニットを備える装置であって、前記処理論理回路が、
モバイルデバイスからのビューを表す複数の画像をキャプチャするように構成された論理回路と、
前記モバイルデバイスの向きに少なくとも部分的に基づいて前記複数の画像のパースペクティブを調整するように構成された論理回路と、
前記複数の画像を使用して前記モバイルデバイスの動きの方向に対する不整合角度を判断するように構成された論理回路と、
記憶デバイス内に前記不整合角度および前記動きの方向を記憶するように構成された論理回路とを備える、装置。
【請求項１２】
前記複数の画像のパースペクティブを調整するように構成された前記論理回路が、
1つまたは複数のセンサから収集されたデータを使用して計算された前記モバイルデバイスの前記向きに基づいて前記複数の画像のパースペクティブを調整するように構成された論理回路と、
前記複数の画像の中心付近の領域を使用して前記複数の画像のパースペクティブを補償するように構成された論理回路と、
前記複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて前記複数の画像のパースペクティブを補償するように構成された論理回路とのうちの少なくとも1つを備える、請求項11に記載の装置。
【請求項１３】
前記不整合角度を判断するように構成された前記論理回路が、
前記複数の画像からの特徴を追跡するように構成された論理回路と、
前記モバイルデバイスの動きの方向を推定するように構成された論理回路と、
センサデータを使用して前記モバイルデバイスの前記向きを推定するように構成された論理回路と、
前記モバイルデバイスの前記動きの方向および前記向きに少なくとも部分的に基づいて前記不整合角度を判断するように構成された論理回路とを備える、請求項11に記載の装置。
【請求項１４】
前記複数の画像からの特徴を前記追跡するように構成された前記論理回路が、
前記複数の画像内の少なくとも1つの移動オブジェクトを消去するために前記複数の画像の特徴内の異常値を除去するように構成された論理回路を備える、請求項13に記載の装置。
【請求項１５】
前記モバイルデバイスのジャイロスコープによって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の信頼性を判断するように構成された論理回路と、
前記モバイルデバイスの磁力計によって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するように構成された論理回路と、
前記複数の画像の特徴を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するように構成された論理回路とのうちの少なくとも1つをさらに備える、請求項11に記載の装置。
【請求項１６】
前記モバイルデバイスの速度推定を判断するように構成された論理回路と、
前記モバイルデバイスの前記速度推定の信頼性を判断するように構成された論理回路と、
前記モバイルデバイスのユーザをナビゲートするために前記速度推定および前記速度推定の前記信頼性を適用するように構成された論理回路とをさらに備える、請求項11に記載の装置。
【請求項１７】
速度推定値を判断するように構成された前記論理回路が、
前記複数の画像から特徴を抽出するように構成された論理回路と、
前記複数の画像からの前記特徴を使用して前記モバイルデバイスの平均変位を計算するように構成された論理回路と、
前記モバイルデバイスの前記平均変位に少なくとも部分的に基づいて前記速度推定値を計算するように構成された論理回路とを備える、請求項16に記載の装置。
【請求項１８】
前記速度推定値を計算するように構成された前記論理回路が、
前記複数の画像からの前記特徴を比較するように構成された論理回路と、
前記複数の画像内の2つの連続する画像間の画素の分離を判断するように構成された論理回路と、
前記2つの連続する画像間の時間間隔を判断するように構成された論理回路と、
前記画素の分離および前記2つの連続する画像間の前記時間間隔に従って前記モバイルデバイスの前記速度推定値を計算するように構成された論理回路とを備える、請求項17に記載の装置。
【請求項１９】
前記モバイルデバイスのGPS位置情報およびWIFI位置情報の少なくとも一方に従って前記モバイルデバイスの高さを較正するように構成された論理回路をさらに備える、請求項18に記載の装置。
【請求項２０】
前記モバイルデバイスのユーザをナビゲートするために前記不整合角度および前記不整合角度の信頼性を適用するように構成された論理回路をさらに備える、請求項11に記載の装置。
【請求項２１】
1つまたは複数のコンピュータシステムによる実行のための命令を記憶する非一時的媒体を備えるコンピュータプログラムであって、前記命令が、
モバイルデバイスからのビューを表す複数の画像をキャプチャするための命令と、
前記モバイルデバイスの向きに少なくとも部分的に基づいて前記複数の画像のパースペクティブを調整するための命令と、
前記複数の画像を使用して前記モバイルデバイスの動きの方向に対する不整合角度を判断するための命令と、
記憶デバイス内に前記不整合角度および前記動きの方向を記憶するための命令とを含む、コンピュータプログラム。
【請求項２２】
前記複数の画像のパースペクティブを調整するための前記命令が、
1つまたは複数のセンサから収集されたデータを使用して計算された前記モバイルデバイスの前記向きに基づいて前記複数の画像のパースペクティブを調整するための命令と、
前記複数の画像の中心付近の領域を使用して前記複数の画像のパースペクティブを補償するための命令と、
前記複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて前記複数の画像のパースペクティブを補償するための命令とのうちの少なくとも1つを含む、請求項21に記載のコンピュータプログラム。
【請求項２３】
前記不整合角度を判断するための前記命令が、
前記複数の画像からの特徴を追跡するための命令と、
前記モバイルデバイスの動きの方向を推定するための命令と、
センサデータを使用して前記モバイルデバイスの前記向きを推定するための命令と、
前記モバイルデバイスの前記動きの方向および前記向きに少なくとも部分的に基づいて前記不整合角度を判断するための命令とを含む、請求項21に記載のコンピュータプログラム。
【請求項２４】
前記複数の画像からの特徴を追跡するための前記命令が、
前記複数の画像内の少なくとも1つの移動オブジェクトを消去するために前記複数の画像の特徴内の異常値を除去するための命令を含む、請求項23に記載のコンピュータプログラム。
【請求項２５】
前記モバイルデバイスのジャイロスコープによって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の信頼性を判断するための命令と、
前記モバイルデバイスの磁力計によって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するための命令と、
前記複数の画像の特徴を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するための命令とのうちの少なくとも1つをさらに含む、請求項21に記載のコンピュータプログラム。
【請求項２６】
前記モバイルデバイスの速度推定を判断するための命令と、
前記モバイルデバイスの前記速度推定の信頼性を判断するための命令と、
前記モバイルデバイスのユーザをナビゲートするために前記速度推定および前記速度推定の前記信頼性を適用するための命令とをさらに含む、請求項21に記載のコンピュータプログラム。
【請求項２７】
速度推定値を判断するための前記命令が、
前記複数の画像から特徴を抽出するための命令と、
前記複数の画像からの前記特徴を使用して前記モバイルデバイスの平均変位を計算するための命令と、
前記モバイルデバイスの前記平均変位に少なくとも部分的に基づいて前記速度推定値を計算するための命令とを含む、請求項26に記載のコンピュータプログラム。
【請求項２８】
前記速度推定値を計算するための前記命令が、
前記複数の画像からの前記特徴を比較するための命令と、
前記複数の画像内の2つの連続する画像間の画素の分離を判断するための命令と、
前記2つの連続する画像間の時間間隔を判断するための命令と、
前記画素の分離および前記2つの連続する画像間の前記時間間隔に従って前記モバイルデバイスの前記速度推定値を計算するための命令とを含む、請求項27に記載のコンピュータプログラム。
【請求項２９】
前記モバイルデバイスのGPS位置情報およびWIFI位置情報の少なくとも一方に従って前記モバイルデバイスの高さを較正するための命令をさらに含む、請求項28に記載のコンピュータプログラム。
【請求項３０】
前記モバイルデバイスのユーザをナビゲートするために前記不整合角度および前記不整合角度の信頼性を適用するための命令をさらに含む、請求項21に記載のコンピュータプログラム。
【請求項３１】
モバイルデバイスからのビューを表す複数の画像をキャプチャするための手段と、
前記モバイルデバイスの向きに少なくとも部分的に基づいて前記複数の画像のパースペクティブを調整するための手段と、
前記複数の画像を使用して前記モバイルデバイスの動きの方向に対する不整合角度を判断するための手段と、
記憶デバイス内に前記不整合角度および前記動きの方向を記憶するための手段とを含む、システム。
【請求項３２】
前記複数の画像のパースペクティブを調整するための前記手段が、
1つまたは複数のセンサから収集されたデータを使用して計算された前記モバイルデバイスの前記向きに基づいて前記複数の画像のパースペクティブを調整するための手段と、
前記複数の画像の中心付近の領域を使用して前記複数の画像のパースペクティブを補償するための手段と、
前記複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて前記複数の画像のパースペクティブを補償するための手段とのうちの少なくとも1つを含む、請求項31に記載のシステム。
【請求項３３】
前記不整合角度を判断するための前記手段が、
前記複数の画像からの特徴を追跡するための手段と、
前記モバイルデバイスの動きの方向を推定するための手段と、
センサデータを使用して前記モバイルデバイスの前記向きを推定するための手段と、
前記モバイルデバイスの前記動きの方向および前記向きに少なくとも部分的に基づいて前記不整合角度を判断するための手段とを含む、請求項31に記載のシステム。
【請求項３４】
前記モバイルデバイスのジャイロスコープによって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の信頼性を判断するための手段と、
前記モバイルデバイスの磁力計によって提供された情報を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するための手段と、
前記複数の画像の特徴を使用して前記モバイルデバイスの前記動きの方向に対する前記不整合角度の前記信頼性を判断するための手段とのうちの少なくとも1つをさらに含む、請求項31に記載のシステム。
【請求項３５】
前記モバイルデバイスの速度推定を判断するための手段と、
前記モバイルデバイスの前記速度推定の信頼性を判断するための手段と、
前記モバイルデバイスのユーザをナビゲートするために前記速度推定および前記速度推定の前記信頼性を適用するための手段とをさらに含む、請求項31に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、本願譲受人に譲渡されかつ参照により本明細書に組み込むものとする2013年2月14日に提出された「Camera Aided Motion Direction and Speed Estimation」と題する米国特許出願第13/767,755号の利益ならびにこれに対する優先権を主張するものである。
【０００２】
本開示は、ワイヤレス通信の分野に関する。詳細には、本開示は、モバイルデバイスの位置特性を判断することに関する。
【背景技術】
【０００３】
ナビゲーション補助、ビジネスディレクトリ、ローカルニュース、気象関連サービスなどの様々なモバイルデバイスアプリケーションは、デバイスの位置の知識を活用する。様々な場合、モバイルデバイスの位置は、デバイスに対する動き追跡を介して識別される。たとえば、センサ補助による歩行者ナビゲーションアプリケーションの場合、動き方向は、前進運動の方向に対するデバイスセンサの向きを使用して判断される。モバイルデバイスの向きと前進運動方向との間の角度は、整合角度または不整合角度と呼ばれる。ユーザが徒歩で移動する間にユーザを支援するモバイルアプリケーションの場合、モバイルデバイスの向きは頻繁に変化し、そのことが、ひいてはモバイルデバイスの不整合角度を頻繁に変化させ、そのようなモバイルアプリケーションのユーザエクスペリエンスに悪影響を与えることがある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
したがって、従来の解決策の上記の問題点に対処することができる方法およびシステムが必要である。
【課題を解決するための手段】
【０００５】
本開示は、モバイルデバイスの位置特性を判断するための方法および装置に関する。本開示の実施形態によれば、モバイルデバイスの位置特性を判断する方法は、モバイルデバイスからのビューを表す複数の画像をキャプチャするステップと、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するステップと、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するステップと、記憶デバイス内に不整合角度および動きの方向を記憶するステップとを含む。方法は、モバイルデバイスのユーザをナビゲートするために不整合角度および不整合角度の信頼性を適用するステップをさらに含む。
【０００６】
複数の画像のパースペクティブを調整する方法は、1つまたは複数のセンサから収集されたデータを使用して計算されたモバイルデバイスの向きに基づいて複数の画像のパースペクティブを調整するステップと、複数の画像の中心付近の領域を使用して複数の画像のパースペクティブを補償するステップと、複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて複数の画像のパースペクティブを補償するステップとのうちの少なくとも1つを含む。
【０００７】
不整合角度を判断する方法は、複数の画像からの特徴を追跡するステップと、モバイルデバイスの動きの方向を推定するステップと、センサデータを使用してモバイルデバイスの向きを推定するステップと、モバイルデバイスの動きの方向および向きに少なくとも部分的に基づいて不整合角度を判断するステップとを含む。複数の画像からの特徴を追跡する方法は、複数の画像内の少なくとも1つの移動オブジェクトを消去するために複数の画像の特徴内の異常値を除去するステップを含む。
【０００８】
方法は、モバイルデバイスのジャイロスコープによって提供される情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するステップと、モバイルデバイスの磁力計によって提供される情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するステップと、複数の画像の特徴を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するステップとのうちの少なくとも1つをさらに含む。
【０００９】
方法は、モバイルデバイスの速度推定を判断するステップと、モバイルデバイスの速度推定の信頼性を判断するステップと、モバイルデバイスのユーザをナビゲートするために速度推定および速度推定の信頼性を適用するステップとをさらに含む。速度推定値を判断する方法は、複数の画像から特徴を抽出するステップと、複数の画像からの特徴を使用してモバイルデバイスの平均変位を計算するステップと、モバイルデバイスの平均変位に少なくとも部分的に基づいて速度推定値を計算するステップとを含む。速度推定値を計算する方法は、複数の画像からの特徴を比較するステップと、複数の画像内の2つの連続する画像間の画素の分離を判断するステップと、2つの連続する画像間の時間間隔を判断するステップと、2つの連続する画像間の画素の分離および時間間隔に従ってモバイルデバイスの速度推定値を計算するステップとを含む。方法は、モバイルデバイスのGPS位置情報およびWIFI位置情報の少なくとも一方に従ってモバイルデバイスの高さを較正するステップをさらに含む。
【００１０】
さらに別の実施形態では、装置は、モバイルデバイスからのビューを表す複数の画像をキャプチャするように構成された論理回路と、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するように構成された論理回路と、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するように構成された論理回路と、記憶デバイス内に不整合角度および動きの方向を記憶するように構成された論理回路とを備える処理論理回路を含む制御ユニットを備える。
【００１１】
さらに別の実施形態では、コンピュータプログラム製品は1つまたは複数のコンピュータシステムによって実行するための命令を記憶する非一時的媒体を含み、命令は、モバイルデバイスからのビューを表す複数の画像をキャプチャするための命令と、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するための命令と、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するための命令と、記憶デバイス内に不整合角度および動きの方向を記憶するための命令とを含む。
【００１２】
さらに別の実施形態では、システムは、モバイルデバイスからのビューを表す複数の画像をキャプチャするための手段と、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するための手段と、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するための手段と、記憶デバイス内に不整合角度および動きの方向を記憶するための手段とを含む。
【００１３】
本開示の上述の特徴および利点、ならびに本開示の追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解できよう。
【図面の簡単な説明】
【００１４】
【図１Ａ】本開示のいくつかの態様による、モバイルデバイスの動きの方向に対する不整合角度の一例を示す図である。
【図１Ｂ】図1Aのモバイルデバイス102の側面図である。
【図２Ａ】本開示のいくつかの態様による、カメラピッチおよび特徴の非対称的分布に対するパースペクティブ補償を実行する方法を示す図である。
【図２Ｂ】本開示のいくつかの態様による、カメラピッチおよび特徴の非対称的分布に対するパースペクティブ補償を実行する方法を示す図である。
【図２Ｃ】本開示のいくつかの態様による、カメラピッチおよび特徴の非対称的分布に対するパースペクティブ補償を実行する方法を示す図である。
【図３Ａ】本開示のいくつかの態様による、移動オブジェクトを検出して除去する方法を示す図である。
【図３Ｂ】本開示のいくつかの態様による、移動オブジェクトを検出して除去する方法を示す図である。
【図４】本開示のいくつかの態様による、例示的なモバイルデバイスのブロック図である。
【図５Ａ】本開示のいくつかの態様による、モバイルデバイスの速度および不整合角度を推定する方法を示す図である。
【図５Ｂ】本開示のいくつかの態様による、モバイルデバイスの速度を推定する方法を示す図である。
【図６】本開示のいくつかの態様による、モバイルデバイスの位置特性を判断する例示的な方法を示す図である。
【図７Ａ】本開示のいくつかの態様による、ある時間期間にわたってモバイルデバイスの動き、不整合角度、および不整合角度に関する信頼性を監視する方法を示す図である。
【図７Ｂ】本開示のいくつかの態様による、ある時間期間にわたるモバイルデバイスの平均不整合角度の変化を示すグラフである。
【発明を実施するための形態】
【００１５】
図全体で同じ番号が使用される。
【００１６】
クライアント-サーバベースの動的検索のための方法および装置の実施形態を開示する。以下の説明は、いかなる当業者でも本開示を実施し、使用することができるようにするために提示される。特定の実施形態およびアプリケーションの説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されることが意図されず、本明細書で開示される原理および特徴に一致する最大の範囲を与えられることが意図される。「例示的」または「例」という用語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」もしくは「例」として本明細書に記載される任意の態様または実施形態は、他の態様もしくは実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。
【００１７】
図1Aは、本開示のいくつかの態様による、モバイルデバイスの動きの方向に対する不整合角度の一例を示す。図1Aに示すように、いくつかの使用の場合、モバイルデバイス102の動きの方向101は、モバイルデバイスの向き103と異なることがある。不整合角度105は、モバイルデバイスの向き103と動きの方向101との間の角度である。いくつかの刊行物では、不整合角度105は、整合角度とも呼ばれることもあることに留意されたい。不整合角度105を予測する能力は、歩行者ナビゲーションアプリケーションに有用であり得る。モバイルデバイスは、1つまたは複数のカメラ108およびディスプレイ112を含むことができる。
【００１８】
本開示の態様によれば、モバイルデバイス102が歩行者ナビゲーションモードにあるとき、モバイルデバイス102の1つまたは複数のカメラ108は、不整合角度105を判断するための画像フレームをキャプチャするように構成され得る。キャプチャされた画像は、ディスプレイ112の中でユーザに示され得る。
【００１９】
図1Bは、図1Aのモバイルデバイス102の側面図を示す。一手法では、モバイルデバイス102は、画像フレームをキャプチャするために、前カメラ108a(モバイルデバイスの前側に配置される)または後カメラ108b(モバイルデバイスの後ろ側に配置される)のいずれかを使用するように構成され得る。たとえば、図1Bに示すように、前カメラ108aは、モバイルデバイス102の上の領域の視野をキャプチャするように構成され、後カメラ108bは、モバイルデバイス102の下の領域の視野をキャプチャするように構成され得る。別の手法では、モバイルデバイス102は、モバイルデバイス102の前方視界と後方視界の両方の画像フレームをキャプチャするために、前カメラ108aと後カメラ108bの両方を使用するように構成され得る。この手法を用いて、いくつかの会場において、モバイルデバイスの向き103に対するモバイルデバイス102の動きの方向を推定するために、床の上または天井の特徴が収集され得る。
【００２０】
さらに別の手法では、前カメラ108aと後カメラ108bの両方が、並列に使用され得る。この手法では、前カメラ108aおよび後カメラ108bのパースペクティブは互いに180度離れて向けられているので、前カメラ108aと後カメラ108bとにおける2つの異なるパースペクティブによって生じる誤差は、反対の符合を有し、補償され得る。さらに別の手法では、どちらかのカメラが、追跡がより容易な特徴をどの視野がより多く有するかに基づいて、およびどの視野がより少ない移動オブジェクトを有するかに基づいて選択され得る。
【００２１】
後カメラ108bに優先して前カメラ108aを選択すること、またはその逆に選択することにおいて、限定はしないが、1)どの視野がより多くの特徴を与えるか、2)どの視野が追跡がより容易であるか、および3)どの視野がより少ない移動オブジェクトを有するかを含む多くの基準が存在し、使用され得る。どのカメラが特徴追跡に対してより高い平均信頼性メトリックを与えるかに基づいて、カメラが選択され得る。加えて、本開示の態様によれば、モバイルデバイス102の環境はそれがユーザによって保持されている間に変化することがあるので、どのカメラが追跡するかの決定は適応的に行われ得る。加えて、本開示の態様によれば、画像フレームは移動部分の特徴を含むことがあるので、モバイルデバイス102は、メトリックを使用して異常値を除去するように構成され得る。たとえば、そのような移動部分の1つの原因はユーザの足であり得る。そのような移動部分の別の原因はユーザの頭であり得る。
【００２２】
図2A〜図2Cは、本開示のいくつかの態様による、カメラピッチおよび特徴の非対称的分布に対するパースペクティブ補償を実行する方法を示す。図2Aに示すように、矢印(202a、204a、206aおよび208a)は、歩行者ナビゲーションアプリケーションにおける可能なカメラピッチによる特徴の非対称的分布を示す。そのような特徴の非対称的分布は、モバイルデバイス102の動きの方向に対して誤った推定を招くことがある。図2Bは、画像の背景がない、歩行者ナビゲーションアプリケーションにおけるカメラピッチによる特徴の同じ非対称的分布(矢印で表す)を示す。対応する矢印を、202b、204b、206bおよび208bとして示す。図2Cは、対応する矢印202c、204c、206cおよび208cで表した、パースペクティブを調整された特徴の分布を示す。
【００２３】
特徴の非対称的分布の課題に対処するために、一手法では、モバイルデバイス102は、磁力計、加速度計、およびジャイロスコープなどのセンサを使用して計算された垂直に対するモバイルデバイスの角度に基づいてパースペクティブ補正を実行するように構成され得る。別の態様では、モバイルデバイス102は、モバイルデバイス102の動きの方向の計算において、画像フレームの中心付近の特徴を使用するように構成され得る。さらに別の手法では、たとえば中心付近の特徴に対するより大きい重みなど、位置に基づく特徴の加重平均が、モバイルデバイス102の動きの方向の計算に使用され得る。たとえば、矢印202aで表される画像の中心に沿った特徴は1(100%)の重みを割り当てられ、矢印204aで表される特徴は0.8(80%)の重みを割り当てられ、矢印206aで表される特徴は0.6(60%)の重みを割り当てられ、矢印208aで表される特徴は0.4(40%)の重みを割り当てられ得、以下同様である。
【００２４】
本開示の態様によれば、いくつかの技法を使用して、画像フレーム内の特徴を識別および追跡することが実行され得る。一手法では、特徴を識別する方法は、各2×2勾配行列の最小固有値を検査することによって実行され得る。次いで、2つの窓の間の差を最小化するニュートンラフソン法を使用して特徴が追跡される。多重解像度追跡の方法は、画像間の比較的大きな変位を可能にする。あるフレームから次のフレームに特徴を追跡する間、誤差が蓄積し得ることに留意されたい。潜在的に不良な特徴を検出するために、モバイルデバイス102は、現在のフレーム内の特徴を囲む窓内の画像信号が、前のフレーム内の特徴を囲む窓内の画像信号に依然として類似するかどうかを監視するように構成され得る。多くのフレームを通して特徴を追跡することができるので、画像コンテンツは変形する場合がある。この課題に対処するために、相似またはアフィンマッピングを用いて、一貫性検査を実行することができる。
【００２５】
本開示の態様によれば、画像内のオブジェクトを識別するために、オブジェクト上の点を抽出して、そのオブジェクトの(キーポイント、特徴点、または略して特徴とも呼ばれる)特徴記述子を提供することができる。次いで、多くの他のオブジェクトを含むテスト画像内のオブジェクトの位置特定を試みるとき、トレーニング画像から抽出されたこの記述子を使用して、そのオブジェクトを識別することができる。信頼性が高い認識を実行するために、トレーニング画像から抽出された特徴は、画像スケール、雑音、および照度の変更下ですら、検出可能であり得る。そのような点は、通常、オブジェクトエッジなど、画像の高コントラスト領域に存在する。
【００２６】
これらの特徴の別の特性は、元のシーン内のこれらの特徴の間の相対的な位置は画像ごとに変わらない可能性があるということである。たとえば、扉の四隅だけが特徴として使用される場合、扉の位置にかかわらず、これらの四隅は機能し得るが、フレーム内の点が使用される場合、扉が開かれた場合、または閉じられた場合、認識は失敗する可能性がある。同様に、連結したオブジェクト内またはフレキシブルなオブジェクト内に位置する特徴は、処理されているセット内の2つの画像間でその内部幾何形状に何らかの変更が発生した場合、一般に、機能しない可能性がある。いくつかの実装形態では、SIFTは、画像から多数の特徴を検出および使用し、これは、すべての特徴整合誤差の平均誤差における局所変化によって引き起こされる誤差の寄与を削減し得る。したがって、開示される方法は、クラッタ内ですら、および部分的な遮断を受けてすら、オブジェクトを識別することができるが、これは、SIFT特徴記述子が均一スケーリング、方向に対して不変であり得、アフィン歪み(affine distortion)および照度変化に対して部分的に不変であり得るからである。
【００２７】
たとえば、オブジェクトのキーポイントを、まず参照画像のセットから抽出して、データベース内に記憶することができる。新しい画像からの各特徴をこのデータベースと比較して、それらの特徴ベクトルのユークリッド距離に基づいて、候補整合特徴を見出すことによって、新しい画像内のオブジェクトが認識される。整合の完全セットから、新しい画像内のオブジェクトおよびその位置、スケール、ならびに方向に関して一致したキーポイントのサブセットを識別して、良好な整合をフィルタ除去することができる。一貫性のあるクラスタの判断は、生成されたハフ変換のハッシュ表実装形態を使用することによって実行され得る。オブジェクトおよびそのポーズに関して一致した、3つ以上の特徴の各クラスタは、次いで、さらに詳細なモデル検証を受けることが可能であり、その後、異常値が廃棄され得る。次いで、適合の精度と推定誤整合の数とに基づいて、特徴の特定のセットがオブジェクトの存在を示す確率を計算することが可能である。テストに合格するオブジェクト整合は、高い信頼性で正確として識別され得る。
【００２８】
本開示の態様によれば、画像特徴生成は、画像を、その各々が画像変換、スケーリング、および回転に対して不変であると同様に、照度変更に対しても不変であり得、局所的な幾何学的歪みに対して頑強であり得る特徴ベクトルの大きな収集物に変換する。これらの特徴は、霊長類の視覚内のオブジェクト認識に関して使用される下側頭皮質内の神経細胞と類似の性質を共有する。キー位置は、一連の平滑化および再サンプリングされた画像に対してスケール空間で適用されるガウス関数の差の結果の最大値および最小値として定義され得る。低コントラスト候補点、およびエッジに沿ったエッジ反応点を廃棄することができる。最も頻度の高い方向(dominant orientations)を局在化されたキーポイントに割り当てる。この手法は、整合および認識に関してキーポイントがより安定していることを保証する。次いで、キー位置の半径を囲む画素を考慮して、局所的な画像配向面のぼかしおよび再サンプリングによって、局所的なアフィン歪みに対して頑強なSIFT記述子が取得され得る。
【００２９】
特徴整合および索引付けは、SIFTキーを記憶することと、新しい画像から整合キーを識別することとを含み得る。一手法では、限定された量の計算を使用して、高い確率を有する最近隣を識別するために使用され得るベストビンファースト検索(best-bin-first search)方法とも呼ばれるk-dツリーアルゴリズムの修正。ベストビンファーストアルゴリズムは、特徴空間内のビンをクエリ位置から最近距離の順序で検索することができるように、k-dツリーアルゴリズムに関して、修正された検索順序を使用する。この検索順序は、検索順序を効率的に判断するために、ヒープベースの優先待ち行列(heap-based priority queue)の使用を必要とする。トレーニング画像からキーポイントのデータベース内のその最近隣を識別することによって、各キーポイントに関する最善の候補整合を見出すことができる。最近隣は、所与の記述子ベクトルから最小ユークリッド距離を有するキーポイントとして定義され得る。整合が正確である確率は、最近隣から第2の最近隣までの距離の率をとることによって判断され得る。
【００３０】
1つの例示的な実装形態では、距離比が0.8を超える整合は拒否されてよく、これは誤整合の90%を排除するのに対して、正確な整合の5%未満を廃棄する。ベストビンファーストアルゴリズムの効率をさらに改善するために、所定の数(たとえば、100個)の最近隣候補を検査した後、検索を止めることができる。100,000個のキーポイントのデータベースの場合、これは、正確な最近隣検索に関しておよそ2桁の加速を実現し得、さらに、正確な整合の数において5%未満の損失をもたらす。
【００３１】
この例示的な実装形態の場合、ハフ変換を使用して、信頼性が高いモデル仮説をクラスタ化して、特定のモデルポーズに関して一致するキーに関して検索することができることを留意されたい。その特徴に一致し得るオブジェクトポーズを決定する(vote)ための各特徴を使用することによって、一貫性のある解釈を用いて特徴のクラスタを識別するために、ハフ変換を使用することができる。特徴のクラスタがオブジェクトの同じポーズを決定することが見出されたとき、正確である解釈の確率は任意の単一の特徴に関するよりもより高い可能性がある。整合仮説からモデルの位置、方向、およびスケールを予測するために、ハッシュ表内に記入を生み出すことができる。ビン内の少なくとも3つの記入のクラスタを識別するためにハッシュ表を検索することができ、ビンをサイズの降順にソートすることができる。
【００３２】
本開示の態様によれば、SIFTキーポイントの各々は、2D位置、スケール、および方向を指定することができる。加えて、データベース内の各整合キーポイントは、その整合キーポイントが見出されるトレーニング画像に対するそのパラメータの記録を有し得る。これらの4つのパラメータによって暗示される相似変換は、3Dオブジェクトに関する6自由度のポーズ空間の近似値であり得、また任意の非剛体変形に対応しない。したがって、例示的な実装形態は、方向に関して30度の広いビンサイズ、2倍のスケール、および位置に関して(予測されたスケールを使用して)最大予測トレーニング画像寸法の0.25倍を使用することができる。より大きなスケールで生成されたSIFTキーサンプルには、より小さなスケールのSIFTキーサンプルよりも2倍の重みを与えることができる。この手法を用いると、より大きなスケールは、事実上、より小さなスケールで検査するための可能性が最も高い近隣をフィルタリングすることができる。この手法は、最も雑音の低いスケールにより大きな重みを与えることによって認識性能も改善する。本開示の態様によれば、ビン割当ての境界効果の課題を回避するために、各キーポイント整合は各次元内の2個の近接ビンを決定して、各仮説に関して合計で16個の記入を与えて、ポーズ範囲をさらに広げることができる。
【００３３】
図3Aおよび図3Bは、本開示のいくつかの態様による、移動オブジェクトを検出して除去する方法を示す。図3Aは、移動オブジェクトとしてユーザの足304aおよび304bを含む画像フレーム302を示す。図3Bは、移動オブジェクトとしてユーザの顔308を含む別の画像フレーム306を示す。ユーザの足304aおよび304bならびにユーザの顔308は、異常値と見なされ、そのような異常値の特徴は、以下のセクションで説明する方法に従って、キャプチャされた画像フレームから除去され得る。
【００３４】
本開示の態様によれば、所与のパラメータ解に関して、各画像特徴とモデルとの間の一致を検査することによって、異常値を除去することができる。たとえば、線形最小二乗解を考慮すると、各整合は、ハフ変換ビン内のパラメータに関して使用される誤差の半分の範囲内で一致することが必要とされ得る。異常値が廃棄されると、残りの点を用いて線形最小二乗解を解くことができ、このプロセスを反復することができる。いくつかの実装形態では、異常値を廃棄した後、所定数未満の点(たとえば、3個の点)が残る場合、整合は拒否され得る。加えて、トップダウン整合段階を使用して、相似変換近似値または他の誤差により、ハフ変換ビンから欠落している可能性がある、予測モデル位置に一致する任意のさらなる整合を追加することができる。
【００３５】
モデル仮説を受け入れるか、または拒否する決定は、詳細な確率モデルに基づくことが可能である。この方法は、まず、モデルの予測されたサイズと、領域内の特徴の数と、整合の精度とを考慮して、モデルポーズに対して予想される誤整合の数を計算する。次いで、ベイズ確率解析は、見出された実際の整合特徴数に基づいて、そのオブジェクトが存在し得る確率を出すことが可能である。正確な解釈に関する最終的な確率が所定の割合(たとえば、95%)を超える場合、モデルを受け入れることができる。
【００３６】
本開示の態様によれば、一手法では、クラッタ状況下または部分的な遮断状況下で対処するために、SIFTの回転不変量汎化(generalization)として、回転不変量特徴変換(RIFT:rotation invariant feature transform)方法を用いることができる。等しい幅の同心リングに分割された円正規化パッチ(circular normalized patches)を使用して、RIFT記述子を構築することが可能であり、各リング内の勾配方向ヒストグラムを計算することが可能である。回転不変を維持するために、中心から外に向かう方向に対して各点における方向を測定することができる。
【００３７】
別の手法では、正規化ロバスト不変特徴(G-RIF:generalized robust invariant feature)方法を使用することができる。G-RIFは、知覚的情報を空間符号化と組み合わせる統一形式でエッジ方向、エッジ密度、および色相情報を符号化する。オブジェクト認識方式は、近接コンテキストベースの決定を使用して、オブジェクトモデルを推定する。
【００３８】
さらに別の手法では、再現性、独自性、および頑強性に関して前に提案された方式をしのぐ可能性があるスケールおよび回転不変関心ポイント検出器(scale and rotation-invariant interest point detector)/記述子を使用する高速化ロバスト特徴(SURF:speeded up robust feature)方法を使用することができる。SURFは、計算時間を削減するための画像畳み込み用の積分画像に依存し、(検出器に関する高速ヘシアン行列ベースの測定と、配分ベースの記述子とを使用する)優れた既存の検出器および記述子の強度に基づく。SURF方法は、関心ポイント近隣内のハールウェーブレット応答の配分を記述する。速度に関して積分画像を使用することができ、64次元を使用して、特徴計算および整合に関する時間を削減することができる。索引付けステップは、記述子の整合速度および頑強性を高めるラプラシアンの信号に基づくことが可能である。
【００３９】
さらに別の手法では、主成分分析SIFT(PCA-SIFT:principle component analysis SIFT)方法を使用することができる。いくつかの実装形態では、PCA-SIFT記述子は、サポート領域内で計算されたxおよびy方向の画像勾配のベクトルである。勾配領域は、39×39位置でサンプリングされ得る。したがって、ベクトルは次元3042のものであり得る。PCAを用いて、次元を36に削減することができる。さらに別の手法では、そのロバスト性および独自性を高めるように設計されたSIFT記述子の拡張である勾配位置方向ヒストグラム(GLOH:Gradient location-orientation histogram)方法を用いることができる。いくつかの実装形態では、SIFT記述子は、(半径が6、11、および15に設定される)半径方向に3個のビンと、角度方向に8個のビンとを有し、結果として17個の位置ビンを有するログ極性(log-polar)位置グリッドに関して計算され得る。中央ビンは、角度方向に分割されない。勾配方向は、16個のビン内で量子化されて、結果として、272ビンヒストグラムをもたらし得る。PCAを用いて、この記述子のサイズを削減することができる。様々な画像から収集された画像パッチに関して、PCAに関する共分散行列を推定することができる。次いで、記述のために128個の最も大きな固有ベクトルを使用することができる。
【００４０】
さらに別の手法では、現在のモバイルデバイス限界範囲内で、2オブジェクト認識アルゴリズム(two-object recognition algorithm)を使用するために用いることができる。典型的なSIFT手法とは対照的に、特徴検出のために、加速セグメントテストからの特徴(FAST:Features from Accelerated Segment Test)コーナー検出器を使用することができる。この手法は、特徴が異なるスケールレベルで作成され得るオフライン準備段階と、特徴が、モバイルデバイスのカメラの画像の現在の固定スケールレベルで作成され得るオンライン段階とを区別する。1つの例示的な実装形態では、特徴は、所定の固定パッチサイズ(たとえば、15×15画素)から作成されることが可能であり、36次元を有するSIFT記述子を形成する。認識パイプライン内にスケーラブルな語彙ツリー(Scalable Vocabulary Tree)を統合することによって、この手法をさらに拡張することが可能である。これは、モバイルデバイス上のより多数のオブジェクトの効率的な認識を可能にする。
【００４１】
本開示の態様によれば、局所画像特徴の検出および記述は、オブジェクト認識に役立つ可能性がある。SIFT特徴は、局所的であり得、特定の関心ポイントにおけるオブジェクトの外観に基づくことが可能であり、画像のスケールおよび回転に対して不変であり得る。SIFT特徴は、やはり、照度、雑音の変化、および視野内の微小変化に対して頑強であり得る。これらの特性に加えて、これらの特徴は非常に特徴的であり得、抽出が比較的容易であり得、低い不整合確率で正確なオブジェクト識別を可能にし得る。これらの特徴は、局所特徴の(大型)データベースに対して比較的に容易に整合することができ、ベストビンファースト検索を用いたk次元(k-d)ツリーなど、一般に確率的なアルゴリズムを使用することができる。SIFT特徴のセットによるオブジェクト記述は、部分的な遮断に対しても頑強であり得る。たとえば、オブジェクトからわずか3個のSIFT特徴はその位置およびポーズを計算するのに十分であり得る。いくつかの実装形態では、認識は、小型データベースに関して、現代的なコンピュータハードウェア上で、疑似リアルタイムで実行され得る。
【００４２】
本開示の態様によれば、カメラの視野内のオブジェクトを移動させることによってもたらされる異常値を除去するために、ランダムサンプルコンセンサス(RANSAC)技法を用いることができる。RANSCAは、異常値を含む、観測されたデータのセットから数学モデルのパラメータを推定するために反復方法を使用することに留意されたい。この方法は関連する確率を有する合理的な結果を生み出すので、この方法は非決定論的であり、より多くの反復が実行されるにつれて、確率を高めることができる。
【００４３】
1つの例示的な実装形態では、観測されたデータ値のセット、対応する信頼性パラメータを有する観測に適合し得るパラメータ化されたモデル。この例示的な実装形態では、この方法は、元のデータのランダムサブセットを反復的に選択する。これらのデータは、仮説的正常値であり得、この仮説は、次いで、次のようにテストされ得る。
1.モデルは仮説的正常値に適合し、すなわち、モデルのすべての自由パラメータは正常値から再構築される。
2.次いで、適合モデルに対してすべての他のデータをテストし、点が推定モデルに十分適合する場合、その点を仮説的に正常値であると見なす。
3.十分な数の点が仮説的正常値として分類されている場合、推定モデルを許容可能と見なすことができる。
4.モデルは仮説的正常値の初期セットからだけ推定されているので、すべての仮説的正常値からモデルを再度推定する。
5.最終的に、モデルに対する正常値の誤差を推定することによって、モデルを評価する。
【００４４】
上記の手順を所定回数繰り返し、毎回、あまりにも少ない点が正常値として分類されているので拒否され得るモデル、または対応する誤差測定とともに精緻化されたモデルのいずれかを生み出すことができる。後者の場合、誤差が前に保存されたモデルよりも低い場合、精緻化されたモデルを維持する。
【００４５】
別の例示的な実装形態では、モデルベースの動き追跡方法を使用して、カメラの視野内の移動オブジェクトを積極的に識別および除去することができる。一手法では、追跡の対象は、モデル認識の問題として処理され得る。ターゲットの2進表現を追跡することができ、ハウスドルフ距離ベースの検索を使用して、オブジェクトに関する画像の領域を検索する。ターゲット(モデル)の2進表現の場合、ガウス平滑化画像の標準キャニーエッジ(canny edge)検出器からの出力は、モデル履歴の概念を用いて拡張される。各フレームで、現在の画像および現在のモデルからのキャニーエッジを使用して、各ターゲットに関してハウスドルフ検索を実行することができる。加えて、アフィン推定を実行して、正味背景運動を概算することができる。これらの2つの検索の結果から、ターゲットに関する情報を収集して、ターゲットの動きを概算するため、ならびに、ターゲットの領域内の動きから背景を分離するために、この情報を使用することができる。(オブジェクトが遮断されて影になる、オブジェクトがフレームを離れる、またはカメラ画像の歪みが不良な画像品質をもたらすなど)有害/異常状態に対処することを可能にするために、ターゲットの過去の動きおよびサイズ変更、ターゲットの特徴的視野(ターゲットが追跡されてきた様々な様式の正確な表現を実現する、時間を通じたスナップショット)、および過去の整合品質など、ターゲットに関する履歴データを保持することが可能である。
【００４６】
ターゲットを追跡する履歴は、有害/異常状態を単に補助する以上に有用な可能性があり、固体運動追跡方法の一部は、フレームごとの動き比較方法だけでなく、履歴データを必要とする場合がある。この履歴状態は、何をターゲットの一部と見なすべきであるか(たとえば、同じ速度で移動するオブジェクトに近接して移動する物をオブジェクト内に組み込むべきであること)をどのように決定するかに関する情報を提供することができ、動きおよびサイズに関する情報を用いて、この方法は、失われた対象がどこに行ったか、またはその対象がどこに再現し得るかを予測的に推定することができる(これは、フレームを離れて、後の時点で再現するターゲットを回復する際に有用である)。
【００４７】
動き追跡方法の本質的な課題は、(静的カメラとは対照的に)カメラは任意の動きを有する場合があり、これはカメラの動きの予測不可能な変化に対処し得る追跡システムの開発を困難にすることによってもたらされる場合がある。計算的に効率的なアフィン背景推定方式を使用して、カメラおよびシーンの動きに関する情報を提供することが可能である。
【００４８】
本開示の態様によれば、画像に関するアフィン変換を、時間t+dtの画像に対して、時間tで実行することができ、これは、2つの画像内の動きを相関することを可能にする。この背景情報は、この方法が、時間tの画像から時間t+dtの画像を合成することと、正味シーン動作の近似であり得るアフィン変換とを可能にする。t+dtにおける実際の画像とt+dtにおける生成画像との差を利用して、ターゲットを取り巻く空間から画像特徴を除去することができるので、この合成画像は、新しいモデル情報を生成して、モデル空間から背景クラッタを除去する際に有用であり得る。
【００４９】
検索空間を浄化するためのツールとしてアフィン変換を使用することに加えて、ターゲットの座標移動を正規化するためにこの合成画像を使用し、背景がどのように移動し得るかを追跡するためのベクトルと、ターゲットがどのように移動し得るかを追跡するためのベクトルとを有することによって、2つのベクトルの差を利用して、背景に対するターゲットの動きを記述するベクトルを生成することができる。このベクトルは、この方法が、ターゲットがどこにいるべきかを予測的に整合し、有害状態を予期することを可能にする(たとえば、動きの方向を見越すことは、近づきつつある障害に関する手掛かりを提供すると同様に、有害状態の場合、オブジェクトがどこに存在し得るかを追跡することができる)。オブジェクトが有害状態に入ったとき、この方法は、背景運動を推定することが依然として可能であり、モデルの前の動きの知識とともにその推定を使用して、モデルがどこに再現する可能性があるか、またはフレームに再び入る可能性があるかを推測することができる。
【００５０】
背景推定は、オブジェクトの長期的追跡における主な要因である。背景推定なしに、短期的追跡を実行することが可能であるが、ある時間期間後には、背景の良好な推定なしに、オブジェクトの歪みおよび危険に効果的に対処するのは困難な場合があることに留意されたい。
【００５１】
本開示の態様によれば、整合演算子としてハウスドルフ距離を使用することの利点のうちの1つは、ハウスドルフ距離は、整合の間、形状の変化に対して極めて耐性であり得ることであるが、整合演算子としてハウスドルフ距離を使用することは、追跡されているオブジェクトをより正確に定義することを必要とする場合がある。
【００５２】
一手法では、時間t+1画像から新しいモデルを捕える直線膨張(straight dilation)ベースの方法を使用することができる。(発生することが非常に多い)オブジェクトに近接する非オブジェクト特徴が存在する、いくつかの状況では、膨張方法はシーン全体をモデル内にゆっくりと組み込むことが可能であるので、この方法は効果的でない場合があることに留意されたい。したがって、モデル形状の変化に対して耐性があり得る、フレームごとにモデルを更新するが、あまり緩やか(relaxed)ではなく、そのため、非モデル画素のモデル内への組込みを採用することができる。1つの例示的な実装形態は、背景除去と、現在のモデル整合窓に前のモデルを追加して、安定した画素と思われるもの、ならびに、安定していない可能性があるので、経時的にモデルから排除される可能性、またはモデル内に組み込まれる可能性のいずれかがある、それらの画素を取り巻く新しい画素の利用との組合せを使用することである。この手法は、画像内のクラッタからモデルを比較的清浄に保つ際に効果的である。たとえば、この手法を用いると、トラックに近接する道路はもはや画素ごとにモデル内に引き込まれない。モデルは膨張しているように見える場合があるが、これはそれらのモデルがどのように構築されているかの履歴的な影響の結果である場合があるが、この方法は、場合によっては、次のフレーム内で整合するより多くのモデル画素を有し得るので、検索結果をより明確にする特徴も有し得ることに留意されたい。
【００５３】
各フレームにおいて、実行されるべきかなりの量の計算が存在し得ることに留意されたい。いくつかの実装形態によれば、モバイルデバイスは、各ターゲットの平滑化/特徴抽出、ハウスドルフ整合(たとえば、モデルごとに1つの整合)、ならびに、アフィン背景推定を実行するように構成され得る。これらの動作の各々は、個々に、非常に計算的に高価であり得る。モバイルデバイス上でリアルタイム性能を達成するために、設計は、可能な限り並行処理を使用するように構成され得る。
【００５４】
図4は、本開示のいくつかの態様による、例示的なモバイルデバイスのブロック図を示す。モバイルデバイス102は、個々の写真またはビデオのフレームのいずれかであってよい、環境の画像をキャプチャするためのカメラ108を含む。モバイルデバイス102は、それを用いてモバイルデバイス102がその位置および向き、すなわち、ポーズを判断することができるデータを提供するために使用され得るセンサ116を含むことも可能である。モバイルデバイス102とともに使用され得るセンサの例には、線形加速度計として使用される加速度計、水晶センサ、ジャイロ、マイクロ電気機械システム(MEMS)センサ、ならびに磁力計が含まれる。
【００５５】
モバイルデバイス102はまた、画像を表示することが可能なディスプレイ112を含むユーザインターフェース110を含み得る。ユーザインターフェース110はまた、ユーザがモバイルデバイス102へ情報を入力し得るようにするキーバッド114またはその他の入力デバイスを含み得る。所望される場合、キーパッド114は、仮想キーパッドをタッチセンサ付きディスプレイ112に組み込むことによって取り除くことができる。ユーザインターフェース110は、たとえば、モバイルデバイスがセルラー電話である場合、マイクロフォン117および1つまたは複数のスピーカ118を含むこともできる。当然、モバイルデバイス102は、本開示に無関係の他の構成要素も含み得る。
【００５６】
モバイルデバイス102はさらに、制御ユニット120を含んでおり、制御ユニット120は、カメラ108およびセンサ116のみならず、ユーザインターフェース110に、その他任意の所望される機能とともに接続されており、これらと通信する。制御ユニット120は、1つまたは複数のプロセッサ122と、関連するメモリ/記憶装置124とによって提供され得る。制御ユニット120は、ソフトウェア126、ならびにハードウェア128、およびファームウェア130を含むことも可能である。制御ユニット120は、モバイルデバイス102の向きと動きの方向との間の不整合角度を計算するように構成された不整合角度計算モジュール132を含む。制御ユニットは、(ユーザの動きの方向を示し得る)モバイルデバイス102の動きの方向を追跡するように構成された動き方向追跡モジュール133をさらに含む。制御ユニット120は、(ユーザの速度を示し得る)モバイルデバイス102の速度を計算するように構成された速度計算モジュール134をさらに含む。わかりやすいように、不整合角度計算モジュール132、動き方向追跡モジュール133、および速度計算モジュール134は、プロセッサ122および/またはハードウェア128とは切り離して例示されるが、ソフトウェア126内およびファームウェア130内の命令に基づいて、プロセッサ122内および/もしくはハードウェア128内で組み合わせること、ならびに/または実装することが可能である。
【００５７】
図5Aは、本開示のいくつかの態様による、モバイルデバイスの速度および不整合角度を推定する方法を示す。図5Aに示す例では、方法はブロック502において開始し、その後ブロック504に移動し、そこで方法はセンサデータを収集する。本開示の態様によれば、センサデータは、図1Bで説明したように、1つまたは複数のカメラ108aおよび108bによってキャプチャされた画像フレームを含むことができる。センサデータはまた、加速度計、ジャイロスコープ、磁力計によって、および/またはモバイルデバイス102のワイヤレス受信機によって収集されたデータを含むことができる。ブロック506において、方法は、キャプチャされた画像フレームから特徴を抽出する。ブロック508において、方法は、パースペクティブ補償を実行する。本開示の態様によれば、パースペクティブ補償を実行することの例が、図2A〜図2Cの説明に関連して提供される。ブロック510において、方法は、2つの連続する画像フレーム間の特徴を比較して、2つの連続する画像フレーム間の画素内の分離を判断する。本開示の態様によれば、画像フレーム内の特徴を抽出および比較する方法が、図2A〜図2Cの説明に関連して提供される。ブロック512において、方法は、ブロック510において実行される画像フレーム間の特徴の比較に少なくとも部分的に基づいて変位の振幅および角度を計算する。
【００５８】
ブロック514において、方法は、画像フレーム間を横断する距離を計算する。ブロック516において、方法は、図5Bに関連して説明する方法に従ってモバイルデバイスの速度を計算する。ブロック518において、方法は、ブロック512において判断された変位の角度に少なくとも部分的に基づいてモバイルデバイスの動きの方向を判断する。ブロック520において、方法は、ブロック518において判断された動きの方向およびモバイルデバイス102の1つまたは複数のセンサによって取得されたデータによって判断された向きに少なくとも部分的に基づいて、モバイルデバイスの向きと動きの方向との間の不整合角度を判断する。この方法は、ブロック520において終了する。
【００５９】
図5Bは、本開示のいくつかの態様による、モバイルデバイスの速度を推定する方法を示す。図5Bに示す例示的な実装形態では、モバイルデバイス102の1つまたは複数のカメラ108aおよび/または108bによってキャプチャされた画像フレーム内の特徴を追跡することによって、2つの連続する画像フレーム間の画素内の分離が判断され得る。方法は、画像フレーム内の画素における変位をメートルにおける距離の変位に変換する。次に、方法は、1つまたは複数のカメラ(108aおよび/または108b)の視野および地上で保持されている1つまたは複数のカメラの高さを判断する。パースペクティブ投影によって、モバイルデバイスのカメラのパースペクティブからオブジェクトがどれだけ遠く離れているかに応じて、同じ距離が、キャプチャされた画像フレーム内で異なる数の画素に対応し得ることに留意されたい。いくつかのアプリケーションでは、地上で保持されているモバイルデバイス102のデフォルトの高さが推定され得る。いくつかの他のアプリケーションでは、高さは、モバイルデバイス102のGPS位置から、または他の位置推定(WiFi、Bluetooth（登録商標）測定など)から判断され得る。
【００６０】
図5Bに示すように、長方形画像を投影するカメラ108のレンズ109に対して、画角アルファ(α)は、選択された寸法(d)および有効焦点距離(F)から、アルファ=2*arctan(d/2F)として計算され得、ここでdは測定される方向におけるセンサのサイズを表す。カメラから見られるオブジェクトの角サイズがカメラの画角に等しい場合は、オブジェクト画像はセンサ全体を占め、そのような物理的オブジェクトサイズはd*S1/S2であることに留意されたい。
【００６１】
d寸法内の画素の数を(たとえば、画像がビデオモードで取得される場合に720または1080であり得る)MaxPixとして表示すると、画像の1画素が、オブジェクト(表面)のd*S1/S2/MaxPixメートルに対応し得る。カメラ(ユーザの手中)が静止オブジェクトを横断しており、オブジェクトの特徴がN画素だけ移動した場合、それは、カメラがNpix*d*S1/S2/MaxPixだけ移動したことを意味する。移動が、(2つの隣接する30Hzフレームの間を1/30秒のように)時間間隔Tにわたって発生した場合、モバイルデバイスの速度は、速度=Npix*d*S1/S2/MaxPix/Tとして推定され得る。
【００６２】
上記の式はまた、センササイズおよびセンサからレンズまでの距離を参照することなく、代替の形態で提示され得る。例示的な実装形態では、S1は床Hからのカメラの距離を表し、S1はほぼFに等しいので、式は、速度=Npix*d*H/F/MaxPix/Tと書き換えられ得る。加えて、アルファ=2*arctan(d/2F)は、アルファ=d/Fと近似され得、それにより、式
速度=アルファ/MaxPix*Npix*H/T
が得られる。
【００６３】
この式において、アルファ/MaxPixは、既知のカメラパラメータの組合せを含み、オブジェクト画像変位Npixおよび移動時間Tは測定され得、床Hからのカメラの距離は、ユーザの速度が、たとえばGNSSまたはWiFiの位置から知ることができるとき、仮定または較正のいずれかを行うことができる。
【００６４】
図6は、本開示のいくつかの態様による、モバイルデバイスの位置特性を判断する例示的な方法を示す。ブロック602において、制御ユニット120は、モバイルデバイスからのビューを表す複数の画像をキャプチャするように構成され得る。ブロック604において、制御ユニット120は、モバイルデバイスの向きに少なくとも部分的に基づいて、複数の画像のパースペクティブを調整するように構成され得る。ブロック606において、制御ユニット120は、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するように構成され得る。ブロック608において、制御ユニット120は、記憶デバイスに不整合角度および動きの方向を記憶するように構成され得る。
【００６５】
本開示の実施形態によれば、ブロック604において実行される方法は、ブロック610において実行される方法をさらに含んでよい。ブロック610において、制御ユニット120は、1つまたは複数のセンサから収集されたデータを使用して計算されたモバイルデバイスの向きに基づいて複数の画像のパースペクティブを調整すること、複数の画像の中心付近の領域を使用して複数の画像のパースペクティブを補償すること、および/または複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて複数の画像のパースペクティブを補償することを行うように構成され得る。
【００６６】
本開示の実施形態によれば、ブロック606において実行される方法は、ブロック612〜622において実行される方法をさらに含んでよい。ブロック612において、制御ユニット120は、複数の画像からの特徴を追跡することと、モバイルデバイスの動きの方向を推定することと、センサデータを使用してモバイルデバイスの向きを推定することと、モバイルデバイスの動きの方向および向きに少なくとも部分的に基づいて不整合角度を判断することとを行うように構成され得る。
【００６７】
ブロック614において、制御ユニット120は、モバイルデバイスのジャイロスコープによって提供される情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断することと、モバイルデバイスの磁力計によって提供される情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断することと、複数の画像の特徴を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断することとのうちの少なくとも1つを実行するように構成され得る。
【００６８】
ブロック616において、制御ユニット120は、モバイルデバイスの速度推定を判断し、モバイルデバイスの速度推定の信頼性を判断し、モバイルデバイスのユーザをナビゲートするために速度推定および速度推定の信頼性を適用するように構成され得る。ブロック618において、制御ユニット120は、モバイルデバイスのユーザをナビゲートするために不整合角度および不整合角度の信頼性を適用するように構成され得る。
【００６９】
本開示の実施形態によれば、ブロック612において実行される方法は、ブロック620において実行される方法をさらに含んでよい。ブロック620において、制御ユニット120は、複数の画像内の少なくとも1つの移動オブジェクトを消去するために複数の画像の特徴内の異常値を除去するように構成され得る。
【００７０】
本開示の実施形態によれば、ブロック616において実行される方法は、ブロック622において実行される方法をさらに含んでよい。ブロック622において、制御ユニット120は、複数の画像から特徴を抽出し、複数の画像からの特徴を使用してモバイルデバイスの平均変位を計算し、モバイルデバイスの平均変位に少なくとも部分的に基づいて速度推定値を計算するように構成され得る。
【００７１】
ブロック622において、制御ユニット120は、複数の画像からの特徴を比較し、複数の画像内の2つの連続する画像間の画素の分離を判断し、2つの連続する画像間の時間間隔を判断し、画素の分離および2つの連続する画像間の時間間隔に従ってモバイルデバイスの速度推定値を計算するようにさらに構成され得る。加えて、制御ユニット120は、モバイルデバイスのGPS位置情報およびWIFI位置情報の少なくとも一方に従ってモバイルデバイスの高さを較正するようにさらに構成され得る。
【００７２】
本開示のいくつかの態様によれば、図5Aおよび図6で説明する機能は、図4の制御ユニット120と、潜在的に1つまたは複数の他の要素との組合せによって実装され得る。いくつかの実装形態では、機能は、本開示において説明する装置の様々な機能を実行するようにプロセッサ122、ソフトウェア126、ハードウェア128、およびファームウェア130またはそれらの組合せによって実行され得る。さらにいくつかの他の実装形態では、図5Aおよび図6で説明する機能は、プロセッサ122と、1つまたは複数の他の要素、たとえば図4の要素108〜118および124〜134との組合せによって実装され得る。
【００７３】
図7Aは、本開示のいくつかの態様による、ある時間期間にわたってモバイルデバイスの動き、不整合角度、および不整合角度に関する信頼性を監視する方法を示す。図7Aに示すように、第1のグラフ702は、この例では80秒である時間期間にわたってモバイルデバイス102の向きと動きの方向との間の不整合角度(図7Aでは角度とも呼ばれる)を示す。第2のグラフ704は、同じ時間期間にわたって不整合角度と関連する、対応する信頼性値を示す。第3のグラフ706は、モバイルデバイス102が、同じ時間期間にわたって動いているかどうかを示す。
【００７４】
いくつかのアプリケーションでは、信頼性推定は、モバイルデバイスがある時点において判断された不整合角度を信頼し得るかどうかを伝えるように構成され得るナビゲーションアルゴリズムに対する入力であり得る。上で示したように、信頼性推定値は、特徴追跡アルゴリズムから導出され得る。いくつかのアプリケーションでは、信頼性値もまた、ジャイロスコープおよび磁力計によって推定され得る。たとえば、ジャイロスコープおよび磁力計は、ユーザが回っている(すなわち、動きの方向を変えている)ときに低減され得る、不整合角度の信頼性値を示すように構成され得る。
【００７５】
いくつかの他のアプリケーションでは、ジャイロスコープ値がしきい値を超えるとき、ユーザは、モバイルデバイスを移動させているかまたは回っているかのいずれかであると推測され得、これらの場合、信頼性値は、相応に低減され得る。ジャイロスコープが回転を示すとき、不整合角度の平均値を計算するフィルタが、リセットされ得る。信頼性メトリックは、特徴がどれほど良好に追跡されているかを示すことに留意されたい。信頼性値が低い場合、モバイルデバイスは、前回からの角度、または前向きカメラから後ろ向きカメラに、もしくはその逆に切り替えるなど、異なるカメラからの角度を使用するように構成され得る。
【００７６】
図7Bは、本開示のいくつかの態様による、ある時間期間にわたるモバイルデバイスの平均不整合角度の変化を示すグラフを示す。図7Bに示すように、ほぼ2〜46秒の第1の期間708において、平均不整合角度(図7Bにおいて平均角度とも呼ばれる)は、ほぼ-86度である。ほぼ47〜60秒の第2の期間710において、平均不整合角度は鋭く変化し、それは、一般的に、ユーザがモバイルデバイスを異なる位置に移動させているか、またはユーザが回っていることを示す。ほぼ61〜75秒の第3の期間712において、平均不整合角度はほぼ-60°である。そのような情報は、位置決めおよび歩行者ナビゲーションアプリケーションを支援するために使用され得る。
【００７７】
本開示の態様によれば、不整合角度および動きの方向を監視する方法は、代替または追加として次のように実行され得る。いくつかの実装形態では、モバイルデバイス102上で動作するセンサ補助による歩行者ナビゲーションアプリケーションの場合、不整合角度補償モジュール132は、モバイルデバイス102の向きと、動き方向追跡モジュール133によって与えられるモバイルデバイス102の前進運動の方向との間の角度オフセットを判断するために利用され得る。たとえば、図1Aに示すように、不整合角度は、モバイルデバイス102の動きの方向Mとモバイルデバイスの向きの方向Oとの間の角度差によって定義され得る。不整合角度を計算し、利用することによって、モバイルデバイス102の動きの方向Mは、従来の動き方向技法が失敗する場合に取得され得る。より詳細には、不整合角度は、モバイルデバイス102の向きの方向Oに応じて、広範囲の値(たとえば、0〜360度)を有することができる。不整合角度がなければ、動き方向に向かうデバイスの概略的変換さえも、困難になり得る。
【００７８】
不整合角度は、モバイルデバイス102の位置決めを容易にするために利用される。たとえば、モバイルデバイス102は、モバイルデバイス102のヘディングを示す情報を提供するためにコンパスまたは他の機構を装備され得、ヘディングは、モバイルデバイスが所与の精度または許容量の中で(たとえば、磁北に対して)方向付けられる方向として定義され得る。しかしながら、モバイルデバイス102は、それが、動きの方向に常に方向付けられるように固定的に位置づけられることがない場合、モバイルデバイス102のコンパスのヘディングだけでは、モバイルデバイス102が移動されている方向は表されない。したがって、不整合角度は、モバイルデバイス102が動きの方向に方向付けられない場合に、モバイルデバイス102の向きの方向を動きの方向に変換するために利用され得る。一例として、コンパス補助によるデッドレコニングアプリケーションにおける動きの方向は、コンパスのヘディングと不整合角度との和として計算され得る。
【００７９】
動き方向追跡モジュール133および不整合角度計算モジュール132は、歩行者によって携行されるモバイルデバイス102の移動に関連する不整合角度を判断するために、センサデータ、ステップ検出器(図示せず)から取得された情報などに基づいて動作することができる。最初に、加速度計および/またはステップ検出器から収集されたデータに基づいて、歩行者のステップが識別され得、モバイルデバイス102のセンサ軸に対する重力の方向が判断され得る。これらの初期計算は、以下で説明するように、動き方向追跡モジュール133および不整合角度計算モジュール132の動作に対する基礎を形成する。
【００８０】
ウォーキング、ランニングなど、歩行者の動きに関して、動きの方向は、所与の歩行者のステップの中、および歩行者の動きの生体力学に基づいて連続するステップの間で変化する。たとえば、一定の前方向に進むのではなく、移動している歩行者は、連続したステップとともに左右に(たとえば、左足でのステップの間に左に、および右足でのステップの間に右に)シフトし、各ステップの中で垂直に(たとえば、上下に)シフトする。したがって、一連の歩行者のステップに関連する横(横方向)加速度は、2ステップ期間に左と右との間で循環し、一方で、前加速度および垂直加速度は、1ステップ期間に循環する。
【００８１】
本開示の態様によれば、動き方向追跡モジュール133は、ステップシフタ、ステップ合計モジュールおよびステップ相関モジュール(図4に示さず)を含むことができる。動き方向追跡モジュール133は、垂直および横の成分から動きの前成分を分離するために、歩行者の動きの上記の性質を活用することができる。たとえば、動き方向追跡モジュール133は、連続するステップにわたって加速度計28から取得された加速度情報を(たとえば、バッファ内に)記録する。前加速度を調整し、加速度の横成分を抑制または削除するために、動き方向追跡モジュール133は、ステップシフタおよびステップ合計モジュールを利用して奇数と偶数のステップを合計する。言い換えれば、ステップシフタは、1ステップによる時間内に一連の歩行者のステップに対応する加速度データをシフトする。続いて、ステップ合計モジュールは、シフトされた加速度情報を用いて元の加速度情報を合計する。上記のように、横加速度は、体の回転およびローリングによって2ステップ期間を有する連続ステップによって符号を変え、一方で、前加速度および垂直加速度は1ステップ期間を示す。その結果、1ステップシフトの後の歩行者のステップを合計することで、横加速度が低減され、一方で、垂直加速度または前加速度に最小の影響を与える。
【００８２】
モバイルデバイス102が歩行者の体の中心に配置されていないか、または歩行者の動きの間に向きがシフトする場合、横加速度は、ステップごとに対称でなくなることがある。したがって、ステップシフタおよびステップ合計モジュールが、加速度の横成分を低減するように動作するが、これらのモジュールは、横加速度を実質的に消去できない。横加速度の除去を強化するために、ステップ相関モジュールが、加速度計から取得された加速度データに基づいて、さらに動作することができる。
【００８３】
歩行者が(たとえば、歩くときに)前にステップするとき、歩行者の重心は、ステップの初めに上に移動し、ステップの終わりに下に移動する。同様に、歩行者の前進速度は、歩行者の足がステップの終わりに地面に着くときに減少し、ステップの間に増加する。歩行者のステップが進行する間、前進運動と垂直運動との間のこの関係は、横加速度をさらに削除することにおいてステップ相関モジュールによって活用され得る。特に、歩行者のステップに関連する加速度が周期関数として見られる場合、ステップに関連する垂直加速度および前加速度は、ステップのほぼ1/4(たとえば、90度)だけオフセットされることが観測され得る。したがって、ステップ相関モジュールは、垂直加速度を、前方と後方の両方(たとえば、+/-90度)に1/4ステップだけ(ステップシフタによって)シフトされた水平加速度と相関させる。
【００８４】
上記で説明したようにシフトおよび相関を行った後、垂直/前相関は、歩行者運動の生体力学によって比較的強くなり得る一方で、垂直/横相関は、ほぼゼロであり得る。したがって、垂直加速度と、1/4ステップだけ前方および後方にシフトされた水平加速度との間の相関が計算され、(2つの相関の結果は符号が反対であるので)前方にシフトされた結果が後方にシフトされた結果から減算され、加速度の横成分をさらに低減することができる。
【００８５】
上記で説明したように、動き方向追跡モジュール133が横加速度を実質的に削除した後、不整合角度計算モジュール132が、加速度の前成分とモバイルデバイス102の向きとの間の角度を判断する。本開示の態様によれば、不整合角度計算モジュール132は、固有値解析モジュールおよび角度方向干渉モジュール(図4に示さず)を含むことができる。例示的な一実装形態では、不整合角度計算モジュール132は、固有値解析モジュールによって実行される固有値解析を介して不整合角度を識別し、さらなる処理が角度方向干渉モジュールによって実行される。動き方向追跡モジュール133によって提供された情報に基づいて、固有値解析モジュールは、モバイルデバイスのセンサ軸の地面に対する向きを判断し、その向きから、モバイルデバイス102の動きの方向に対応する線が取得される。角度方向干渉モジュールは、取得された線ならびに対応する歩行者のステップに対応する前加速度および垂直加速度データを解析し、モバイルデバイス102の動きの方向(たとえば、取得された線に沿って前方または後方)に基づいて不整合角度の方向を判断する。そうすることによって、角度方向干渉モジュールは、不整合角度に関連する前方/後方のあいまいさを解決するように動作する。
【００８６】
本開示の態様によれば、角度方向干渉モジュールは、歩行者のステップの動きの符合を活用して、不整合角度の方向を判断する。上記で説明したように、歩行者のステップに対応する前加速度および垂直加速度は、脚の回転、体の移動、および歩行者の動きに関連する他の要因の力学によって関連付けられる。したがって、角度方向干渉モジュールは、動き方向が所与の線に沿って前向きであるか後ろ向きであるかを識別するために、これらの関係の知識を利用するように構成され得る。
【００８７】
上記の説明は、たとえば水平面に対する2次元の動き方向を取得することに関し、同様の技法が、3次元における動きの方向を取得するために利用され得る。したがって、本明細書で説明する技法は、高度の変化、不均一な表面に沿った歩行者の動き、および/または3次元における動きの方向に影響を与える他の要因を考慮するために拡張され得る。
【００８８】
加えて、上記で説明した技法は、加速度計に加えてジャイロスコープを活用するために拡張され得る。歩行者の動きの生体力学をさらに参照することによって、歩行者のステップの間の脚の回転および他の関連する運動が、たとえばピッチおよびロールに関して測定される角運動として分類され得る。したがって、ジャイロスコープは、運動による加速度から重力を分離するために使用され得、それによって、計算のための基準系が、上記で説明した計算の前にモバイルデバイス102の向きを考慮するために回転され得る。
【００８９】
少なくとも段落[0097]〜[0099]において、図4、図5A、図5B、図6、およびそれらの対応する説明は、モバイルデバイスからのビューを表す複数の画像をキャプチャするための手段と、モバイルデバイスの向きに少なくとも部分的に基づいて複数の画像のパースペクティブを調整するための手段と、複数の画像を使用してモバイルデバイスの動きの方向に対する不整合角度を判断するための手段と、記憶デバイス内に不整合角度および動きの方向を記憶するための手段とを提供する。少なくとも段落[0097]〜[0099]において、図1A、図1B、図4、図5A、図5B、図6、およびそれらの対応する説明は、1つまたは複数のセンサから収集されたデータを使用して計算されたモバイルデバイスの向きに基づいて複数の画像のパースペクティブを調整するための手段と、複数の画像の中心付近の領域を使用して複数の画像のパースペクティブを補償するための手段と、複数の画像内の特徴の位置の加重平均に少なくとも部分的に基づいて複数の画像のパースペクティブを補償するための手段と、複数の画像からの特徴を追跡するための手段と、モバイルデバイスの動きの方向を推定するための手段と、センサデータを使用してモバイルデバイスの向きを推定するための手段と、モバイルデバイスの動きの方向および向きに少なくとも部分的に基づいて不整合角度を判断するための手段と、モバイルデバイスのジャイロスコープによって提供された情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するための手段と、モバイルデバイスの磁力計によって提供された情報を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するための手段と、複数の画像の特徴を使用してモバイルデバイスの動きの方向に対する不整合角度の信頼性を判断するための手段と、モバイルデバイスの速度推定を判断するための手段と、モバイルデバイスの速度推定の信頼性を判断するための手段と、モバイルデバイスのユーザをナビゲートするために速度推定および速度推定の信頼性を適用するための手段とを提供する。
【００９０】
本明細書において説明される方法論およびモバイルデバイスは、応用形態に応じて種々の手段によって実装され得る。たとえば、これらの方法論は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。ハードウェア実装形態の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装され得る。本明細書において、「制御論理」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装される論理を包含する。
【００９１】
ファームウェアおよび/またはソフトウェアの実装形態の場合、それらの方法論は、本明細書において説明される機能を実行するモジュール(たとえば、手順、関数など)によって実装することができる。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法論の実装において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装されてもよく、または処理ユニットの外部に実装されてもよい。本明細書において用いられるときに、「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、またはメモリが格納される媒体のタイプに関して限定されない。
【００９２】
ファームウェアおよび/またはソフトウェアで実装する場合、機能は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして記憶されてもよい。例は、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は製造物品の形態をとり得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体および/またはその他の非一時的媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー（登録商標）ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲の中に含まれるべきである。
【００９３】
コンピュータ可読媒体における記憶に加えて、命令および/またはデータは、通信装置に含まれる伝送媒体における信号として提供され得る。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含むことができる。これら命令およびデータは、1つまたは複数のプロセッサに、特許請求の範囲で概説される機能を実施させるように構成されている。すなわち、通信装置は、開示する機能を実行するための情報を示す信号を有する伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第1の部分を含んでよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示する機能を実行するための情報の第2の部分を含んでよい。
【００９４】
本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような、様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置(position)」および「位置(location)」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long Term Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM（登録商標）)、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSM（登録商標）およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであり得、またWPANはBluetooth（登録商標）ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。これらの技法はまた、WWAN、WLANおよび/またはWPANの何らかの組合せと連携して実現させることもある。
【００９５】
移動局は、セルラー通信デバイスもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、またはワイヤレス通信および/もしくはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指す。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/もしく位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記のデバイスの任意の動作可能な組合せも「移動局」と見なされる。
【００９６】
何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(もしくは他の指摘に起因する他の制限)を示すものではない。これらの指摘は、特定の説明された実装形態のみを指している。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。
【００９７】
同じ基本的な根底をなす機構および方法論を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上記の例示的な議論は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。
【符号の説明】
【００９８】
101  動きの方向
102  モバイルデバイス
103  モバイルデバイスの向き
105  不整合角度
108  カメラ
108a  前カメラ
108b  後カメラ
109  レンズ
110  ユーザインターフェース
112  ディスプレイ
114  キーパッド
116  センサ
117  マイクロフォン
118  スピーカ
120  制御ユニット
122  プロセッサ
124  メモリ/記憶装置
126  ソフトウェア
128  ハードウェア
130  ファームウェア
132  不整合角度計算モジュール
133  動き方向追跡モジュール
134  速度計算モジュール
202a  矢印
202b  矢印
202c  矢印
204a  矢印
204b  矢印
204c  矢印
206a  矢印
206b  矢印
206c  矢印
208a  矢印
208b  矢印
208c  矢印
302  画像フレーム
304a  ユーザの足
304b  ユーザの足
306  画像フレーム
308  ユーザの顔
702  第1のグラフ
704  第2のグラフ
706  第3のグラフ
708  第1の期間
710  第2の期間
712  第3の期間
【図１Ａ】
2016514251.tif 000003
【図１Ｂ】
2016514251.tif 000004
【図２Ａ】
2016514251.tif 000005
【図２Ｂ−２Ｃ】
2016514251.tif 000006
【図３Ａ】
2016514251.tif 000007
【図３Ｂ】
2016514251.tif 000008
【図４】
2016514251.tif 000009
【図５Ａ】
2016514251.tif 000010
【図５Ｂ】
2016514251.tif 000011
【図６】
2016514251.tif 000012
【図７Ａ】
2016514251.tif 000013
【図７Ｂ】
2016514251.tif 000014
【国際調査報告】
2016514251.tif 000015
2016514251.tif 000016
2016514251.tif 000017