(57)【要約】  モバイルデバイスは、慣性センサー測定値からの寄与、およびビジョンベースの測定値からの寄与を含む、ビジョン支援慣性ナビゲーションシステム(VINS)を使用して、カメラとターゲットとの間の相対的ポーズを追跡する。モバイルデバイスがターゲットの動きを検出したとき、カメラとターゲットとの間の相対的ポーズを追跡するための慣性センサー測定値からの寄与が低減または除去される。ターゲットの動きは、ターゲットが移動したことを示す不一致が存在するかどうかを判断するために、キャプチャされた画像からのビジョンのみ測定値を慣性ベースの測定値と比較することによって検出され得る。追加または代替として、ターゲットの動きは、キャプチャされた画像から抽出された特徴ベクトルの投影を使用して検出され得る。
2015528936.tif 000002
【特許請求の範囲】
【請求項１】
慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するステップと、
前記ターゲットの動きを検出するステップと、
前記ターゲットの動きが検出されると、前記カメラと前記ターゲットとの間の前記相対的ポーズを追跡するために、前記慣性センサー測定値からの前記寄与を低減するステップと
を含む方法。
【請求項２】
前記慣性センサー測定値からの前記寄与を低減するステップが、前記慣性センサー測定値からの前記寄与を除去するステップを含み、前記ターゲットの前記動きが検出されると、前記カメラと前記ターゲットとの間の前記相対的ポーズが、ビジョンベースの測定値のみを使用して追跡される、請求項1に記載の方法。
【請求項３】
前記ターゲットの動きを検出するステップが、
前記ターゲットに対する前記カメラのビジョンベースのポーズの少なくとも一部を決定するステップと、
前記カメラの慣性ベースのポーズの少なくとも一部の変化を慣性センサー測定値に基づいて決定するステップと、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用して、前記ターゲットの動きを検出するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記ビジョンベースのポーズの前記少なくとも前記一部が、ビジョンベースの姿勢を含み、
前記慣性ベースのポーズの前記少なくとも前記一部の前記変化が、慣性ベースの姿勢の変化を含み、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するステップが、前記ビジョンベースの姿勢、および、前記慣性ベースの姿勢の前記変化を使用して、前記ターゲットの前記動きを検出するステップを含む
請求項3に記載の方法。
【請求項５】
前記ビジョンベースのポーズの前記少なくとも前記一部の変化を決定するステップ
をさらに含み、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するステップが、
前記慣性ベースのポーズの前記少なくとも前記一部の前記変化と、前記ビジョンベースのポーズの前記少なくとも前記一部の前記変化との間の差を決定するステップと、
前記差をしきい値と比較して、前記ターゲットが移動したと決定するステップと
を含む、請求項3に記載の方法。
【請求項６】
慣性ベースのポーズの少なくとも一部の前記変化を使用して、前記慣性ベースのポーズの前記少なくとも一部を決定するステップ
をさらに含み、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するステップが、
前記ビジョンベースのポーズの前記少なくとも前記一部と、前記慣性ベースのポーズの前記少なくとも前記一部との間の差を決定するステップと、
前記差をしきい値と比較して、前記ターゲットが移動したと決定するステップと
を含む、請求項3に記載の方法。
【請求項７】
前記ターゲットの前記動きを検出する前に前記カメラが静止していると決定するステップをさらに含む請求項1に記載の方法。
【請求項８】
前記ターゲットの動きを検出するステップが、前記慣性センサー測定値に基づく特徴ベクトルの投影を使用するステップを含む、請求項1に記載の方法。
【請求項９】
キャプチャされた画像から特徴を抽出するステップと、
前記慣性センサー測定値に基づいて特徴ベクトルの前記投影を予測するステップと、
特徴ベクトルの前記投影を、キャプチャされた画像から抽出された抽出特徴ベクトルと比較して、差を決定するステップと、
前記差をしきい値と比較して、前記ターゲットが移動したと決定するステップと
をさらに含む、請求項8に記載の方法。
【請求項１０】
ターゲットの画像をキャプチャすることが可能なカメラと、
慣性センサーと、
前記ターゲットのキャプチャされた画像を受信するために結合され、前記慣性センサーから信号を受信するために結合されたプロセッサであり、前記ターゲットの前記キャプチャされた画像を使用してビジョンベースの測定値、および、前記慣性センサーからの前記信号を使用して慣性センサー測定値を生成するように構成され、前記慣性センサー測定値からの寄与、および、前記ビジョンベースの測定値からの寄与を使用して前記カメラと前記ターゲットとの間の相対的ポーズを追跡するように構成され、前記ターゲットの動きを検出し、前記ターゲットの動きが検出されると、前記カメラと前記ターゲットとの間の前記相対的ポーズを追跡するために、前記慣性センサー測定値からの前記寄与を低減するようにさらに構成される、プロセッサと
を含むモバイルデバイス。
【請求項１１】
前記プロセッサが、前記慣性センサー測定値からの前記寄与を除去するように構成されることによって、前記慣性センサー測定値からの前記寄与を低減するように構成され、前記ターゲットの前記動きが検出されると、前記ビジョンベースの測定値のみを使用して、前記カメラと前記ターゲットとの間の前記相対的ポーズを追跡するように構成される、請求項10に記載のモバイルデバイス。
【請求項１２】
前記プロセッサが、
前記ターゲットに対する前記カメラのビジョンベースのポーズの少なくとも一部を決定し、
前記カメラの慣性ベースのポーズの少なくとも一部の変化を慣性センサー測定値に基づいて決定し、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用して、前記ターゲットの動きを検出する
ように構成されることによって、前記ターゲットの動きを検出するように構成される、請求項10に記載のモバイルデバイス。
【請求項１３】
前記ビジョンベースのポーズの前記少なくとも前記一部が、ビジョンベースの姿勢を含み、
前記慣性ベースのポーズの前記少なくとも前記一部の前記変化が、慣性ベースの姿勢の変化を含み、
前記プロセッサが、前記ビジョンベースの姿勢、および、前記慣性ベースの姿勢の前記変化を使用して、前記ターゲットの前記動きを検出するように構成されることによって、前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するように構成される
請求項12に記載のモバイルデバイス。
【請求項１４】
前記プロセッサが、前記ビジョンベースのポーズの前記少なくとも前記一部の変化を決定するようにさらに構成され、
前記慣性ベースのポーズの前記少なくとも前記一部の前記変化と、前記ビジョンベースのポーズの前記少なくとも前記一部の前記変化との間の差を決定し、
前記差をしきい値と比較して、前記ターゲットが移動したと決定する
ように構成されることによって、前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するように構成される、請求項12に記載のモバイルデバイス。
【請求項１５】
前記プロセッサが、慣性ベースのポーズの少なくとも一部の前記変化を使用して、前記慣性ベースのポーズの前記少なくとも前記一部を決定するようにさらに構成され、
前記ビジョンベースのポーズの前記少なくとも前記一部と、前記慣性ベースのポーズの前記少なくとも前記一部との間の差を決定し、
前記差をしきい値と比較して、前記ターゲットが移動したと決定する
ように構成されることによって、前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用するように構成される、請求項12に記載のモバイルデバイス。
【請求項１６】
前記プロセッサが、前記ターゲットの前記動きを検出する前に前記カメラが静止していると決定するようにさらに構成される、請求項10に記載のモバイルデバイス。
【請求項１７】
前記プロセッサが、前記慣性センサー測定値に基づいて特徴ベクトルの投影を使用するように構成されることによって、前記ターゲットの動きを検出するように構成される、請求項10に記載のモバイルデバイス。
【請求項１８】
前記プロセッサが、
前記キャプチャされた画像から特徴を抽出し、
前記慣性センサー測定値に基づいて特徴ベクトルの前記投影を予測し、
特徴ベクトルの前記投影を、キャプチャされた画像から抽出された抽出特徴ベクトルと比較して、差を決定し、
前記差をしきい値と比較して、前記ターゲットが移動したと決定する
ようにさらに構成される、請求項17に記載のモバイルデバイス。
【請求項１９】
慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するための手段と、
前記ターゲットの動きを検出するための手段と、
前記ターゲットの動きが検出されると、前記カメラと前記ターゲットとの間の前記相対的ポーズを追跡するために、前記慣性センサー測定値からの前記寄与を低減するための手段と
を含むモバイルデバイス。
【請求項２０】
前記慣性センサー測定値からの前記寄与を低減するための前記手段が、前記慣性センサー測定値からの前記寄与を除去する、請求項19に記載のモバイルデバイス。
【請求項２１】
前記ターゲットの動きを検出するための前記手段が、
前記ターゲットに対する前記カメラのビジョンベースのポーズの少なくとも一部を決定するための手段と、
前記カメラの慣性ベースのポーズの少なくとも一部の変化を慣性センサー測定値に基づいて決定するための手段と、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用して、前記ターゲットの動きを検出するための手段と
を含む、請求項19に記載のモバイルデバイス。
【請求項２２】
前記ターゲットの前記動きを検出する前に前記カメラが静止していると決定するための手段をさらに含む請求項19に記載のモバイルデバイス。
【請求項２３】
前記ターゲットの動きを検出するための前記手段が、前記慣性センサー測定値に基づいて特徴ベクトルの投影を使用するための手段を含む、請求項19に記載のモバイルデバイス。
【請求項２４】
プログラムコードを記憶した非一時的コンピュータ可読記録媒体であって、
慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するためのプログラムコードと、
前記ターゲットの動きを検出するためのプログラムコードと、
前記ターゲットの動きが検出されると、前記カメラと前記ターゲットとの間の前記相対的ポーズを追跡するために、前記慣性センサー測定値からの前記寄与を低減するためのプログラムコードと
を含む、非一時的コンピュータ可読記録媒体。
【請求項２５】
前記慣性センサー測定値からの前記寄与を低減するための前記プログラムコードが、前記慣性センサー測定値からの前記寄与を除去する、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２６】
前記ターゲットの動きを検出するための前記プログラムコードが、
前記ターゲットに対する前記カメラのビジョンベースのポーズの少なくとも一部を決定するためのプログラムコードと、
前記カメラの慣性ベースのポーズの少なくとも一部の変化を慣性センサー測定値に基づいて決定するためのプログラムコードと、
前記ビジョンベースのポーズの前記少なくとも前記一部、および、前記慣性ベースのポーズの前記少なくとも前記一部の前記変化を使用して、前記ターゲットの動きを検出するためのプログラムコードと
を含む、請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２７】
前記ターゲットの前記動きを検出する前に前記カメラが静止していると決定するためのプログラムコードをさらに含む請求項24に記載の非一時的コンピュータ可読記録媒体。
【請求項２８】
前記ターゲットの動きを検出するための前記プログラムコードが、前記慣性センサー測定値に基づいて特徴ベクトルの投影を使用するためのプログラムコードを含む、請求項24に記載の非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、本出願の譲受人に譲渡され、参照により本明細書に組み込まれる、2012年6月14日に出願した「Adaptive Switching Between Vision Aided INS and Vision Only Pose」という名称の米国出願第13/523,634号の優先権を主張するものである。
【０００２】
本明細書に記載された主題の実施形態は、ポーズ決定に関し、より詳細には、ポーズ決定のためのビジョンベースの技法の使用に関する。
【背景技術】
【０００３】
拡張現実(AR)タイプの用途では、撮像された環境に対するカメラのポーズ(並進(translation)および姿勢)が決定され、追跡される。ビジョンのみポーズ手法では、環境における特徴豊富なターゲットに対するカメラのポーズは、たとえばビデオのフレームなど、キャプチャされた画像を使用して決定され、追跡される。ビジョンのみポーズは、たとえば、フレームごとに推定され、ポーズ精緻化アルゴリズムの初期化ポイントを提供する、次のフレームにおけるポーズを予測するために、統計モデルが使用される。
【０００４】
セルラー電話など、現代のデバイスは、一般的に、慣性ナビゲーションシステム(INS)として知られる、慣性フレームに対するデバイスのポーズの変化率を測定することが可能な慣性センサーを備えている。絶対的ポーズ、すなわち、慣性フレームに対するデバイスのポーズ、および相対的ポーズ、すなわち、ターゲットに対するカメラのポーズは、一定の変換によって異なるので、INSによって提供される情報は、ターゲットに対するカメラのビジョンのみポーズの推定を向上させるために使用され得る。ビジョンのみポーズとINSとの組合せは、一般的に、ビジョン支援INS(VINS)と呼ばれる。
【０００５】
VINS手法は、ビジョンのみポーズまたはINSの別々の場合よりも多くの情報を使用し、したがって、一般に、VINSは、いずれかの方法単独よりも良く機能する。それにもかかわらず、いくつかの状況の下では、VINS手法は、ビジョンのみ手法と比較して機能が不十分である。さらに、VINS手法の性能は、モバイルデバイスの外部の状態に基づいて低下し得、またしたがって、低下は、予測不可能であり得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
モバイルデバイスは、慣性センサー測定値からの寄与、およびビジョンベースの測定値からの寄与を含む、ビジョン支援慣性ナビゲーションシステム(VINS)を使用して、カメラとターゲットとの間の相対的ポーズを追跡する。モバイルデバイスがターゲットの動きを検出したとき、カメラとターゲットとの間の相対的ポーズを追跡するための慣性センサー測定値からの寄与が低減または除去される。ターゲットの動きは、ターゲットが移動したことを示す不一致が存在するかどうかを判断するために、キャプチャされた画像からのビジョンのみ測定値を慣性ベースの測定値と比較することによって検出され得る。追加または代替として、ターゲットの動きは、キャプチャされた画像から抽出された特徴ベクトルの投影を使用して検出され得る。
【０００７】
一実装形態では、方法は、慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するステップと、ターゲットの動きを検出するステップと、ターゲットの動きが検出されると、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与を低減するステップとを含む。
【０００８】
一実装形態では、モバイルデバイスは、ターゲットの画像をキャプチャすることが可能なカメラと、慣性センサーと、ターゲットのキャプチャされた画像を受信するために結合され、慣性センサーから信号を受信するために結合されたプロセッサであり、プロセッサは、ターゲットのキャプチャされた画像を使用してビジョンベースの測定値、および慣性センサーからの信号を使用して慣性センサー測定値を生成するように構成され、プロセッサは、慣性センサー測定値からの寄与、およびビジョンベースの測定値からの寄与を使用してカメラとターゲットとの間の相対的ポーズを追跡するように構成され、プロセッサは、ターゲットの動きを検出し、ターゲットの動きが検出されると、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与を低減するようにさらに構成される、プロセッサとを含む。
【０００９】
一実装形態では、モバイルデバイスは、慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するための手段と、ターゲットの動きを検出するための手段と、ターゲットの動きが検出されると、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与を低減するための手段とを含む。
【００１０】
一実装形態では、プログラムコードを記憶した非一時的コンピュータ可読媒体は、慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するためのプログラムコードと、ターゲットの動きを検出するためのプログラムコードと、ターゲットの動きが検出されると、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与を低減するためのプログラムコードとを含む。
【図面の簡単な説明】
【００１１】
【図１】VINS追跡手法とビジョンのみ追跡手法との間を適応的に切り替えることによって、ターゲットを検出し、追跡することが可能なモバイルデバイスを示す図である。
【図２】異なる時間の静止しているターゲットおよび移動しているモバイルデバイス、ならびにビジョンのみ手法およびVINS手法を使用して生成されたポーズの平面図である。
【図３】図2と類似しているが、異なる時間の移動しているモバイルデバイスおよび移動しているターゲット、ならびにビジョンのみ手法およびVINS手法を使用して生成されたポーズの平面図である。
【図４】ターゲットが静止しているときのVINS手法と、ターゲットが移動しているときのビジョンのみ手法との間を適応的に切り替えることによって、ターゲットを検出し、追跡する方法を示すフローチャートである。
【図５】ビジョンベースの測定値および慣性センサー測定値によって決定されるポーズの少なくとも一部を使用することによって、ターゲットが移動しているかどうかを決定する方法を示すフローチャートである。
【図６】投影された特徴ベクトルを使用して、ターゲットが移動しているかどうかを決定する別の方法を示すフローチャートである。
【図７】VINS手法とビジョンのみ手法との間を適応的に切り替えることによって、ターゲットを検出し、追跡することが可能なモバイルデバイスのブロック図である。
【発明を実施するための形態】
【００１２】
図1は、ターゲット101が静止しているときのVINS手法と、ターゲットが移動しているときのビジョンのみ手法との間を適応的に切り替えることによって、ターゲット101を検出し、追跡することが可能なモバイルデバイス100を示す。いくつかの実装形態では、モバイルデバイス100は、慣性センサー測定値の寄与を完全に除去する代わりに、ターゲット101の動きが検出されると、慣性センサー測定値の寄与を実質的に低減することができる。
【００１３】
本明細書で使用するモバイルデバイスは、セルラーまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、またはビジョンベースの追跡もしくはVINSで使用され得る環境の画像をキャプチャすることが可能なワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータなどを含む他の適したモバイルデバイスなど、任意のポータブル電子デバイスを指す。モバイルデバイスは、ナビゲーション測位信号など、ワイヤレス通信および/またはナビゲーション信号を受信することが可能であり得る。「モバイルデバイス」という用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス、赤外線、有線接続、または他の接続などによって、PNDと通信するデバイスを含むものである。
【００１４】
モバイルデバイス100は、タッチスクリーンディスプレイでもよいディスプレイ102を含む。モバイルデバイス100は、ディスプレイ102に表示されるものとして示されるターゲット101などの環境を撮像する前方を向いたカメラ108を含む。カメラ108によって生成される画像またはフレームは、コンピュータビジョンベースのポーズを生成するために、ビジョンポーズモジュール112によって使用される。カメラ108が画像および/またはビデオフレームをキャプチャすることができること、ならびに画像およびフレームの用語は、本明細書では互換的に使用されることを理解されたい。モバイルデバイス100は、たとえば加速度計、またはジャイロスコープなどの慣性センサー110も含み、これは、モバイルデバイス100のポーズの決定を支援するために使用され得る。慣性センサー110の出力は、モバイルデバイスのポーズの変化を決定するために、慣性センサーシステム(INS)モジュール114によって使用され、INSポーズを生成することができる。モバイルデバイス100は、ビジョンベースポーズモジュール112からのポーズおよびINSモジュール114からのポーズを結合するVINSモジュール116をさらに含む。INSモジュール114およびVINSモジュール116は別々に示されているが、INSモジュール114がVINSモジュール116の一部でもよいことを理解されたい。動作中、モバイルデバイス100は、ターゲット101が静止しているとき、ターゲット101に対するポーズ、すなわち、慣性基準フレームに対するポーズを決定するために、VINSモジュール116を使用し、ターゲット101が移動しているとき、ターゲット101に対するポーズを決定するために、ビジョンベースポーズモジュール112に切り替える。
【００１５】
モバイルデバイス100は、たとえばモバイルデバイス100がセルラー電話である場合、スピーカ104、マイクロフォン106など、本開示に関連のない他の特徴も含み得る。
【００１６】
図2は、参照番号100t1および100t2によって識別されるように、第1の時間t1および第2の時間t2における静止しているターゲット101および移動しているモバイルデバイス100の平面図を示す。第1の時間t1に、モバイルデバイス100のビジョンベースポーズモジュール112は、ターゲット101に対する第1のポーズC(t1)を生成する。第2の時間t2に、モバイルデバイス100のビジョンベースポーズモジュール112は、ターゲット101に対する第2のポーズC(t2)を生成する。第1の時間t1と第2の時間t2との間に、モバイルデバイス100は、経路G(t1,t2)によって示されるように移動する。INSモジュール114は、モバイルデバイスの位置G(t1,t2)の変化を測定するために、慣性センサー110からサンプリングされる信号を使用する。図2の破線によって示されるように、位置G(t1,t2)の変化および第1のポーズC(t1)が結合されると、すなわちG(t1,t2)*C(t1)となると、これはINSモジュール114またはVINSモジュール116によって実行され得、結果は、第2のポーズC(t2)と理想的には同じである。VINSモジュール116は、最終的なポーズを生成するために、たとえば、拡張カルマンフィルタを使用して、ビジョンベースポーズモジュール112からのポーズC(t2)からの結果、およびINSモジュール114から生じるポーズG(t1,t2)*C(t1)からの結果を結合する。拡張カルマンフィルタの使用が単に1つの考えられるポーズ推定器にすぎないこと、および必要な場合、他のポーズ推定器が使用されてもよいことを理解されたい。
【００１７】
図3は、図2と類似しているが、参照番号によって識別されるように、第1の時間t1および第2の時間t2における移動しているモバイルデバイス100および移動しているターゲット101の平面図を示す。ビジョンベースポーズモジュール112は、ターゲット101とカメラ108との間の相対的ポーズを推定し、一方、INSモジュール114は、慣性センサー110と慣性フレームとの間のポーズの変化率を測定するために、慣性センサー110から信号をサンプリングする。ターゲット101が慣性フレームに対して静止している場合、慣性センサー測定値は、原則として、図2に示すように、ターゲット101に対するカメラ108のポーズの変化率を追跡することができる。しかしながら、ターゲット101が移動する場合、ターゲット101の動きは、INSモジュール114でなく、ビジョンベースポーズモジュール112に影響を及ぼす。したがって、図3に示すように、ターゲット101が時間t1と時間t2との間を移動したので、ビジョンベースポーズモジュール112は、ポーズC'(t2)を生成し、これは、図2に示すように静止したターゲット101のために生成されたポーズC(t2)とは異なる。しかしながら、INSモジュール114は、慣性センサー110からサンプリングされる信号のみを使用し、したがって、モバイルデバイスのポーズG(t1、t2)の変化を生成し、これは、ターゲット101の位置の変化とは無関係である。図3の破線によって示されるように、INSモジュール114からの結果として生じるポーズG(t1,t2)*C(t1)は、時間t1におけるターゲット101の位置に関連し、したがって、移動した後の時間t2におけるターゲット101と関連するビジョンベースのポーズC'(t2)とは異なることになる。VINSモジュール116は、不正確である結合されたポーズ118を生成するために、ビジョンベースポーズモジュール112からのポーズC'(t2)からの結果、およびINSモジュール114から生じるポーズG(t1,t2)*C(t1)からの結果を結合する。したがって、ターゲット101が移動しているとき、ビジョンベースポーズモジュール112単独によって生成されるポーズは、VINSモジュール116によって生成されるポーズよりも正確であることがわかる。したがって、慣性システムに対してターゲット101が移動しているとき、ビジョンベースポーズモジュール112からのポーズが最も正確なポーズとして使用されるべきである。
【００１８】
図4は、ターゲットが静止しているときのVINS手法と、ターゲットが移動しているときのビジョンのみ手法との間を適応的に切り替えることによって、ターゲットを検出し、追跡する方法を示すフローチャートである。図示のように、慣性センサー測定値からの寄与およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズが追跡される(202)。言い換えれば、カメラとターゲットとの間のポーズを追跡するために、VINSが実行される。VINS手法は、図2および図3を参照して上述されており、当業者によく知られている。一般に、VINS手法は、ビジョンベース技法を使用して決定されるポーズと、慣性センサーを使用して生成されるポーズとを結合することによって、ポーズを推定することができる。必要な場合、異なる技法からのポーズは、推定されたVINSポーズを生成するために重みが付けられ得る。例として、図2および図3からのパラメータを使用して、VINSポーズは、次のように決定され得、この場合、w1およびw2は、調整可能な加重係数である。
【００１９】
【数１】
2015528936.tif 000003
【００２０】
ターゲットが移動していない場合(204)、引き続きVINS手法が使用される(206)。一方、ターゲットが移動していると決定されると(204)、カメラとターゲットとの間の相対的ポーズを追跡するための慣性センサー測定値からの寄与が低減される(208)。例として、ターゲットの動きが検出されると、ビジョンベースの追跡のみが使用されるように、慣性センサー測定値からの寄与が除去され得る。ビジョンベースの追跡の使用は、図2および図3を参照して概略的に上述されており、当業者によく知られている。本開示は、たとえば、慣性センサーを使用して生成されるポーズの影響の意味のある効果を除去するために、式1における加重係数を調整することによって、慣性センサー測定値からの寄与を必ずしも完全に除去するというわけではないが、実質的に低減することを企図していることを理解されたい。必要な場合、重み付けは、ターゲット動き検出における信頼性に基づいて変わり得る。たとえば、信頼性の変化は、画像フレームの質、ノイズなどの結果であり得る。たとえば、ターゲット101が移動しており、しかし、信頼性が非常に低いことを動き検出が示す場合、たとえば式1におけるw1など、慣性ベースのポーズの重み付けは、0よりも大きくてよく、たとえば、w1=0.3である。他方では、検出に対する信頼性が高い場合、慣性ベースのポーズの重み付けは、0に近く、または0に等しくなり得る。ターゲットの動きが停止したことが検出されると、モバイルデバイスは、VINS手法に切り替わって戻ることができ、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与が使用される。
【００２１】
加えて、説明したように、ターゲットの動きの検出(204)は、すなわち、ハンドジッタなどによって生じる小さい動きを無視して、カメラが静止していると決定される(203)ときのみ、実行され得る。カメラは、慣性センサー110からの測定値に基づいて、静止している、または移動していると決定され得る。たとえば、ジャイロスコープなどとすることができる、慣性センサー110からの測定値のノルムの標準偏差は、所定の時間期間にわたって計算され得、標準偏差があるしきい値を超える場合、モバイルデバイスが動いていると結論づけられ得る。モバイルデバイス100が移動していると決定された場合、引き続きVINSが使用される(206)。モバイルデバイス100が静止していると決定された場合、モバイルデバイス100は、上記で説明したように、ターゲットが移動しているかどうかの評価に進むことができる(204)。モーションブラーおよびローリングシャッターなどのモーションアーティファクトが低減するので、モバイルデバイスが静止しているとき、ビジョンベースのポーズの推定値は、一般により正確であるので、モバイルデバイス100が静止していると決定することは有用である。したがって、堅牢性が増加し、ターゲットの動きの誤検出の確率はより少ない。
【００２２】
ターゲットの動きを検出する(204)ための方法がいくつかある。上記で説明したように、ターゲット101が静止しているとき、慣性センサー測定値を使用して生成されたポーズ推定値は、ビジョンベースの技法を使用して生成されるポーズ推定値とほぼ同じになることになる。一方、ターゲット101が移動するとき、ターゲットの動きは、ビジョンベースの技法を使用して生成されるポーズ推定値に影響を及ぼすことになるが、慣性センサー測定値を使用して生成されるポーズ推定値には影響を及ぼすことはない。このように、ポーズ推定値、またはポーズの決定された変化の不一致は、ターゲット101が静止しているか移動しているかを決定するために使用され得る。
【００２３】
図5は、ビジョンベースの測定値および慣性センサー測定値によって決定されるポーズの少なくとも一部を使用することによって、ターゲットが移動しているかどうかを決定する方法を示すフローチャートである。図示のように、ターゲットに対するカメラのビジョンベースのポーズの少なくとも一部が決定される(302)。例として、必要な場合、たとえば、ビジョンベースポーズモジュール112からのビジョンベースの姿勢のみが決定され得、それによって、カメラに対するターゲットの回転を検出する。あるいは、姿勢よりむしろ並進ベクトルが使用され得る。カメラの慣性ベースのポーズの少なくとも一部の変化が慣性センサー測定値に基づいて決定される(304)。また、必要な場合、たとえば、INSモジュール114からの慣性ベースの姿勢のみが決定され得る。あるいは、姿勢よりむしろ並進ベクトルが使用され得る。たとえば、所定のタイムウィンドウにわたる慣性センサー110からのサンプル信号を統合することによって、慣性ベースのポーズの少なくとも一部の変化が決定され得る。時間量、すなわち、統合間隔は、センサーバイアスおよび姿勢エラーから生じる重力の成分の統合の効果を制限するように十分に小さく、しかし、ターゲットの動きの効果が背景センサーノイズと検出可能に異なるように十分に長くなければならない。動きを検出するための並進ベクトルおよび姿勢の使用は、並進加速度、並進速度、角加速度、および角速度を使用することに、数学的に等しいことを理解されたい。
【００２４】
ターゲットの動きを検出するために、ビジョンベースのポーズの少なくとも一部、および慣性ベースのポーズの少なくとも一部の変化が使用される(306)。一例では、ビジョンベースのポーズは、慣性ベースのポーズと比較され、慣性ベースのポーズの変化を使用して決定され得、これは、ターゲットが移動したかどうかを判断するために、しきい値と比較される。別の例では、慣性ベースのポーズの変化は、ビジョンベースのポーズの変化と比較され、複数のビジョンベースのポーズを使用して決定され得、これは、ターゲットが移動したかどうかを決定するために、しきい値と比較される。ポーズまたはポーズの変化の間の差は、慣性センサー測定ノイズのためにスケーリングされるポーズまたはポーズの変化の差のノルムとして決定され得る。使用されるしきい値は、小さい動きを検出するのに十分小さく、しかし、たとえばハンドジッタなど、意図的でない動きを除外するのに十分大きくなければならない。
【００２５】
ビジョンベースのポーズが慣性ベースのポーズと比較される本例では、慣性ベースのポーズの少なくとも一部は、慣性ベースのポーズの少なくとも一部の変化を使用して決定される。例として、慣性ベースの姿勢における変化は、現在の慣性ベースの姿勢を決定するために、それより前のビジョンベースの姿勢と結合され得る。ビジョンベースのポーズの少なくとも一部と慣性ベースのポーズの少なくとも一部との間の差が決定され、ターゲットが移動したと決定するために、しきい値と比較され得る。
【００２６】
慣性ベースのポーズの変化がビジョンベースのポーズの変化と比較される本例では、ビジョンベースのポーズの少なくとも一部の変化は、ビジョンベースのポーズの少なくとも一部、およびそれより前のビジョンベースのポーズの少なくとも一部に基づいて決定され得る。例として、第1のビジョンベースの姿勢は、ビジョンベースの姿勢の変化を決定するために、第2のビジョンベースの姿勢と比較され得る。慣性ベースのポーズの少なくとも一部の変化と、ビジョンベースのポーズの少なくとも一部の変化との間の差が決定され、ターゲットが移動したかどうかを判断するために、しきい値と比較され得る。
【００２７】
追加または代替として、ターゲット101の動きは、密結合のVINS手法が使用されるとき、キャプチャされた画像における特徴ベクトルを投影することによって検出され得る。図6は、投影された特徴ベクトルを使用して、ターゲットの動きを検出することを示すフローチャートである。図示するように、特徴がキャプチャされた画像から抽出される(402)。特徴は、Speeded UP Robust Features(SURF)、スケール不変特徴変換(SIFT)、または任意の他の所望の特徴抽出技法を使用して抽出され得る。特徴ベクトルの投影は、慣性センサーからの測定値に基づいて予測される(404)。特徴ベクトルの予測された投影は、その後キャプチャされた画像における抽出された特徴と比較される(406)。差は、平均差または他の統計メトリックであり得、ターゲットが移動しているかどうかを判断するために、しきい値と比較される(408)。
【００２８】
図7は、記述されたプロセスを使用して、ターゲットが移動しているとき、VINS手法とビジョンのみ手法との間を適応的に切り替えることによって、ターゲット101を検出し、追跡することが可能なモバイルデバイス100のブロック図である。モバイルデバイス100は、たとえば、ビデオフレームとして、ターゲット101の画像をキャプチャするカメラ108と、慣性センサー110とを含む。慣性センサー110は、たとえば、加速度計、ジャイロスコープなどでもよい。モバイルデバイス100は、ディスプレイ102、およびキーパッド122、またはユーザが情報をモバイルデバイス100に入力することのできる他の入力デバイスを含む、ユーザインターフェース120を含み得る。ユーザインターフェース120は、たとえばモバイルデバイスがセルラー電話などである場合、スピーカ104およびマイクロフォン106を含むこともできる。もちろん、モバイルデバイス100は、本開示に無関係の他の要素を含み得る。
【００２９】
モバイルデバイス100は、カメラ108および慣性センサー110に接続され、カメラ108および慣性センサー110と通信する制御ユニット150も含む。制御ユニット150は、バス150b、プロセッサ152および関連するメモリ154によって提供され得、ハードウェア156、ソフトウェア158、ならびにファームウェア160を含み得る。制御ユニット150は、慣性センサー110によってキャプチャされる画像を使用して、ターゲットに対する、カメラ108、およびしたがってモバイルデバイス100のポーズを決定するビジョンベースポーズモジュール112を含み得る。制御ユニット150は、慣性センサー110からサンプリングされる信号に基づいて、モバイルデバイスのポーズの変化を決定するINSモジュール114をさらに含み得る。INSモジュール114は、慣性センサーからの決定されたポーズの変化、およびビジョンベースポーズモジュール112からのモバイルデバイスの以前決定されたポーズを使用して、ターゲットに対するモバイルデバイスのポーズを決定することができる。制御ユニット150は、ビジョンベースポーズモジュール112からのポーズおよびINSモジュール114からのポーズ(またはポーズの変化)を結合するVINSモジュール116をさらに含む。制御ユニット150は、上記で説明したようにターゲットが移動しているかどうかを検出するターゲット動き検出モジュール162をさらに含む。
【００３０】
たとえば、ビジョンベースポーズモジュール112、INSモジュール114、VINSモジュール116、およびターゲット動き検出モジュール162など様々な処理ユニットは、明快のために、互いとは別に、およびプロセッサ152とは別に示されているが、一緒に結合されてもよく、たとえば、INSモジュール114は、VINSモジュール116の一部、および/もしくはプロセッサ152の一部でもよく、またはプロセッサ152において稼働されるソフトウェア158における命令に基づいて、プロセッサで実装され得る。本明細書で使用する場合、プロセッサ152および/または様々な処理ユニットは、1つまたは複数のマイクロプロセッサ、組込み型プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含み得るが、必ずしもそれらを含む必要はないことが理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能について説明するものである。さらに、本明細書で使用する場合、「メモリ」という用語は、モバイルデバイスに関連する長期メモリ、短期メモリ、または他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプのメモリもしくは任意の特定の数のメモリ、またはメモリが記憶される媒体のタイプに限定されない。
【００３１】
本明細書に記載された方法は、用途に応じて様々な手段によって実施され得る。たとえば、これらの方法は、ハードウェア156、ファームウェア160、ソフトウェア158、またはそれらの任意の組合せで実施されてもよい。ハードウェアの実装形態の場合、処理ユニットは、本明細書に記載された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号プロセッシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装されてもよい。
【００３２】
ファームウェアおよび/またはソフトウェアの実装形態の場合、これらの方法を、本明細書に記載された機能を実行するモジュール(たとえば、プロシージャ、関数など)で実装することができる。本明細書に記載された方法を実装する際に、命令を有形に具現化する任意の機械可読媒体を使用することができる。たとえば、ソフトウェアコードは、メモリ154に記憶され、プロセッサ152によって実行され得る。メモリは、プロセッサ152内に、またはプロセッサ152の外部に実装され得る。ファームウェアおよび/またはソフトウェアで実装された場合、これらの関数は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして格納され得る。例には、データ構造で符号化された非一時的なコンピュータ可読媒体、およびコンピュータプログラムで符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体には、物理的コンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータによってアクセスされ得る任意の入手可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲の中に含まれるべきである。
【００３３】
一実装形態では、モバイルデバイスは、慣性センサー測定値からの寄与、およびビジョンベースの測定値からの寄与を使用して、カメラとターゲットとの間の相対的ポーズを追跡するための手段を含み、これは、たとえば、VINSモジュール116またはプロセッサ152でもよい。モバイルデバイスは、ターゲットの動きを検出するための手段をさらに含み得、これは、ターゲット動き検出モジュール162またはプロセッサ152でもよい。モバイルデバイスは、ターゲットの動きが検出されると、カメラとターゲットとの間の相対的ポーズを追跡するために、慣性センサー測定値からの寄与を低減するための手段をさらに含み得、これは、VINSモジュール116、ビジョンベースポーズモジュール112、またはプロセッサ152でもよい。加えて、ターゲットの動きを検出するための手段は、たとえばビジョンベースポーズモジュール112またはプロセッサ152でもよい、ターゲットに対するカメラのビジョンベースのポーズの少なくとも一部を決定するための手段と、INSモジュール114またはプロセッサ152でもよい、慣性センサー測定値に基づいてカメラの慣性ベースのポーズの少なくとも一部の変化を決定するための手段と、たとえばターゲット動き検出モジュール162またはプロセッサ152でもよい、ビジョンベースポーズの少なくとも一部、および慣性ベースのポーズの少なくとも一部の変化を使用して、ターゲットの動きを検出するための手段とを含み得る。モバイルデバイスは、ターゲットの動きを検出する前に、カメラが静止していることを決定するための手段をさらに含み得、これは、たとえば、慣性センサー110、INSモジュール114、またはプロセッサ152でもよい。さらに、ターゲットの動きを検出するための手段は、慣性センサー測定値に基づいて特徴ベクトルの投影を使用するための手段を含み得、これは、たとえば、ビジョンベースポーズモジュール112、INSモジュール114、ターゲット動き検出モジュール162、またはプロセッサ152でもよい。
【００３４】
説明のために本発明を特定の実施形態に関連して示したが、本発明はそれらに限定されない。本発明の範囲から逸脱することなく様々な適合および改変を行うことができる。したがって、添付の特許請求の範囲における趣旨および範囲は、上記の説明に限定されるべきではない。
【符号の説明】
【００３５】
100  モバイルデバイス
101  ターゲット
102  ディスプレイ
104  スピーカ
106  マイクロフォン
108  カメラ
110  慣性センサー
112  ビジョンベースポーズモジュール
114  慣性センサーシステム(INS)モジュール
116  VINSモジュール
120  ユーザインターフェース
122  キーパッド
150  制御ユニット
150b  バス
152  プロセッサ
154  メモリ
156  ハードウェア
158  ソフトウェア
160  ファームウェア
162  ターゲット動き検出モジュール
【図１】
2015528936.tif 000004
【図２】
2015528936.tif 000005
【図３】
2015528936.tif 000006
【図４】
2015528936.tif 000007
【図５】
2015528936.tif 000008
【図６】
2015528936.tif 000009
【図７】
2015528936.tif 000010
【国際調査報告】
2015528936.tif 000011
2015528936.tif 000012
2015528936.tif 000013