(57)【特許請求の範囲】
【請求項１】
異なる位置から平面オブジェクトの2つの画像を取り込むステップと、
前記2つの画像の間のホモグラフィを判断するステップと、
前記ホモグラフィを分解して、少なくとも1つの可能な解を得るステップであって、前記ホモグラフィを分解する前記ステップが、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、ステップと、
前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するステップであって、前記方位センサからの前記測定値を使用する前記ステップが、
前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断するステップと、
前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用するステップと
を含むステップと、
正確な解を記憶するステップと
を含む方法。
【請求項２】
複数の可能な解が得られ、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値が使用される、請求項1に記載の方法。
【請求項３】
前記方位センサからの前記測定値を使用する前記ステップが、
前記少なくとも1つの相対的回転行列からのホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するステップと、
前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するステップと、
前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確であるかどうかを判断するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記ホモグラフィを分解する前記ステップが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度が導出され、前記測定ベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つと比較される、請求項3に記載の方法。
【請求項５】
第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断するステップと、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較されるとき、前記最大の差を有する前記角度だけを使用するステップとをさらに含む、請求項4に記載の方法。
【請求項６】
前記少なくとも1つの可能な解が正確かどうかを判断するために、前記方位センサからの前記測定値を使用するステップが、前記平面オブジェクトの事前知識を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項1に記載の方法。
【請求項７】
平面オブジェクトの画像を取り込むためのカメラと、
前記カメラの方位を感知するための方位センサと、
異なる位置から取り込まれた前記平面オブジェクトの2つの画像と、前記2つの画像が取り込まれたときの前記方位センサからの測定値とを受信するために結合されたプロセッサであって、
前記2つの画像の間のホモグラフィを判断することと、
前記ホモグラフィを分解して、少なくとも1つの可能な解を得ることであって、前記ホモグラフィを分解することは、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出すことと、
前記少なくとも1つの可能な解が正確かどうかを判断するために、前記方位センサからの前記測定値を使用することであって、前記方位センサからの前記測定値を使用することは、前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断し、前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用することを含むことと、
正確な解をメモリ内に記憶することと
を行うように構成されたプロセッサと
を含む装置。
【請求項８】
複数の可能な解が得られ、前記プロセッサが、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値を使用することを行うように構成された、請求項7に記載の装置。
【請求項９】
前記プロセッサが、
前記少なくとも1つの相対的回転行列に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出することと、
前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出することと、
前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断することと
を行うように構成されることによって、前記方位センサからの前記測定値を使用して、前記少なくとも1つの可能な解が正確かどうかを判断することを行うように構成された、請求項7に記載の装置。
【請求項１０】
前記ホモグラフィを分解する前記ステップが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記プロセッサが、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出することと、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較することとを行うように構成された、請求項9に記載の装置。
【請求項１１】
前記プロセッサが、第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断することと、前記最大の差を有する前記角度だけを使用して、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較することとを行うようにさらに構成された、請求項10に記載の装置。
【請求項１２】
前記プロセッサが、前記方位センサからの前記測定値を使用して、前記平面オブジェクトの事前知識なしに、前記平面オブジェクトの追加の画像なしに、前記少なくとも1つの可能な解が正確かどうかを判断することを行うように構成された、請求項7に記載の装置。
【請求項１３】
異なる位置から平面オブジェクトの2つの画像を取り込むための手段と、
前記2つの画像の間のホモグラフィを判断するための手段と、
前記ホモグラフィを分解して、少なくとも1つの可能な解を得るための手段であって、前記ホモグラフィを分解する前記手段が、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、手段と、
前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するための手段であって、前記方位センサからの前記測定値を使用する前記手段が、
前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断する手段と、
前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用する手段と
を含む手段と、
正確な解を記憶するための手段と
を含む装置。
【請求項１４】
前記ホモグラフィを分解するための前記手段が複数の可能な解を生み出し、前記方位センサからの前記測定値を使用するための前記手段が、前記複数の可能な解のうちの少なくとも1つを除去する、請求項13に記載の装置。
【請求項１５】
前記方位センサからの前記測定値を使用するための前記手段が、
前記少なくとも1つの相対的回転行列からホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するための手段と、
前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するための手段と、
前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断するための手段と
を含む、請求項13に記載の装置。
【請求項１６】
前記ホモグラフィを分解するための前記手段が、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度が導出され、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較される、請求項15に記載の装置。
【請求項１７】
第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断する手段と、前記測定ベースのヨー角度、ピッチ角度、およびロール角度の前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較されるとき、前記最大の差を有する前記角度だけを使用するための手段とをさらに含む、請求項16に記載の装置。
【請求項１８】
前記方位センサからの前記測定値を使用して、前記少なくとも1つの可能な解が正確かどうかを判断するための前記手段が、前記平面オブジェクトの事前知識を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項13に記載の装置。
【請求項１９】
その上に記憶されたプログラムコードを含む非一時的コンピュータ可読媒体であって、
異なる位置から取り込まれた、平面オブジェクトの2つの画像の間のホモグラフィを判断するためのプログラムコードと、
前記ホモグラフィを分解して、少なくとも1つの可能な解を得るためのプログラムコードであって、前記ホモグラフィを分解する前記プログラムコードが、前記少なくとも１つの可能な解の各々に対する前記2つの画像の間の少なくとも1つの相対的回転行列を生み出す、プログラムコードと、
前記少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するためのプログラムコードであって、前記方位センサからの前記測定値を使用する前記プログラムコードが、
前記方位センサからの前記測定値を使用して測定ベースの相対的回転行列を判断するプログラムコードと、
前記少なくとも1つの可能な解が正確かどうかを判断するために、前記少なくとも1つの可能な解の各々に対する前記2つの画像の間の前記相対的回転行列と前記測定ベースの相対的回転行列とを使用するプログラムコードと
を含む、プログラムコードと、
正確な解を記憶するためのプログラムコードと
を含む非一時的コンピュータ可読媒体。
【請求項２０】
複数の可能な解が得られ、前記複数の可能な解のうちの少なくとも1つを除去するために、前記方位センサからの前記測定値が使用される、請求項19に記載の非一時的コンピュータ可読媒体。
【請求項２１】
前記方位センサからの前記測定値を使用するための前記プログラムコードが、
前記少なくとも1つの相対的回転行列に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出するためのプログラムコードと、
前記測定ベースの相対的回転行列に関する測定ベースのヨー角度、ピッチ角度、およびロール角度を導出するためのプログラムコードと、
前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つを前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの少なくとも1つと比較して、前記少なくとも1つの可能な解が正確かどうかを判断するためのプログラムコードと
を含む、請求項19に記載の非一時的コンピュータ可読媒体。
【請求項２２】
前記ホモグラフィを分解するための前記プログラムコードが、各々がそれぞれの相対的回転行列を有する2つの解を生み出し、前記プログラムコードが、前記2つの解の各々に関するホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を導出し、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つが前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較される、請求項21に記載の非一時的コンピュータ可読媒体。
【請求項２３】
第1の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度を第2の解に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度と比較して、最大の差を有する角度を判断するためのプログラムコードをさらに含み、比較するための前記プログラムコードが、前記測定ベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つを前記2つの解の各々に関する前記ホモグラフィベースのヨー角度、ピッチ角度、およびロール角度のうちの前記少なくとも1つと比較するとき、前記最大の差を有する前記角度だけを使用する、請求項22に記載の非一時的コンピュータ可読媒体。
【請求項２４】
前記少なくとも1つの可能な解が正確であるかどうかを判断するために、前記方位センサからの前記測定値を使用するための前記プログラムコードが、前記平面オブジェクトの事前情報を使用せず、前記平面オブジェクトの追加の画像を使用しない、請求項19に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
係属仮出願の相互参照
本出願は、それらの両方が本出願の譲受人に譲渡され、参照によりその全体が本出願に組み込まれている2011年9月12日に出願した、「Resolving  Homography  Decomposition  Ambiguity」という表題の米国仮特許出願第61/533,733号に対して米国特許法第119条による優先権を主張する、2011年12月2日に出願した、「Resolving  Homography  Decomposition  Ambiguity  Based  on  Orientation  Sensors」という表題の米国特許出願第13/310,204号の優先権を主張するものである。
【背景技術】
【０００２】
視覚ベースの追跡技法は、その環境内のオブジェクトに対するモバイルプラットフォームの位置および方位(ポーズ)を判断するために、モバイルプラットフォームによって取り込まれた画像を使用する。追跡は、仮想オブジェクトが実世界のユーザの視野内に挿入されるナビゲーションおよび拡張現実感など、多くのアプリケーションにとって有用である。
【０００３】
1つのタイプの視覚ベースの追跡は、その環境内の平面を検出することによって、基準パッチ(reference  patch)を初期化する。この表面は、典型的には、その表面の複数の画像を使用して検出され、2つの画像の間のホモグラフィが計算されて、その表面上で検出された点に関する3D位置を推定するために使用される。同じ平面の何らかの2つのカメラ画像は3×3ホモグラフィ行列hによって関連付けられる。ホモグラフィhは、2つの画像の間の回転Rと変換tとに分解可能である。ポーズ情報[R|t]は、次いで、ナビゲーション、拡張現実感、または他のそのようなアプリケーションに関して使用可能である。
【０００４】
しかしながら、ほとんどの場合、ホモグラフィhの分解は、複数の考えられる解をもたらす。しかしながら、これらの解の1つだけが実際の平面を表す。したがって、ホモグラフィhの分解において解決しなければならない曖昧性が存在する。ホモグラフィ分解曖昧性を解決する、知られている方法は、追加の画像、または平面の事前知識など、正確な解を選択するための余剰情報を使用することを必要とする。
【０００５】
例として、Georg  KleinおよびDavid  Murray、「Parallel  Tracking  and  Mapping  on  a  Camera  Phone」、In  Proc.  International  Symposium  on  Mixed  and  Augmented  Reality  (ISMAR)、4頁、2009(「PTAM」)によって説明されたものなど、追跡技術には、ホモグラフィ分解後のポーズ選択の際の曖昧性という欠点がある。PTAMは、曖昧性を解決するために、追加のビデオフレーム、すなわち、画像を必要とする。各可能な解に関して、PTAMは、3Dカメラポーズを計算して、いくつかの後続のフレームに関して、そのポーズ再投影誤差を比較する。1つの解に関する平均投影誤差が別の解よりも、2倍など、より大きいとき、より大きな誤差を有する解は除去される。ポーズ再投影を使用して曖昧性を解決することは、しかしながら、収束に時間がかかり、時々、不正確な結果をもたらす。
【０００６】
曖昧性を解決するために使用される別の手法は、カメラの初期方位に最も近接する法線を有するホモグラフィ解を選択することである。しかしながら、この手法は、常に正面方位に近接することから始めて、カメラをその位置から離すことをユーザに強いる。
【０００７】
D.  Santosh  Kumar  and  C.V.  Jawahar、「“Robust  Homography-Based  Control  for  Camera  Positioning  in  Piecewise  Planar  Environments」、Indian  Conference  on  Computer  Vision、Graphics  and  Image  Processing(ICVGIP)、906-918頁(2006)によって説明される手法では、正確な解を選択するためには、空間内の別の平面が必要とされるか、またはその平面に関する事前知識が必要とされる。したがって、この手法は実際的応用を限定する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Georg  KleinおよびDavid  Murray、「Parallel  Tracking  and  Mapping  on  a  Camera  Phone」、In  Proc.  International  Symposium  on  Mixed  and  Augmented  Reality  (ISMAR)、4頁、2009(「PTAM」)
【非特許文献２】D.  Santosh  Kumar  and  C.V.  Jawahar、「“Robust  Homography-Based  Control  for  Camera  Positioning  in  Piecewise  Planar  Environments」、Indian  Conference  on  Computer  Vision、Graphics  and  Image  Processing(ICVGIP)、906-918頁(2006)
【非特許文献３】Faugeras、O.、Lustman、F.:「Motion  and  structure  from  motion  in  a  piecewise  planar  environment」、International  Journal  of  Pattern  Recognition  and  Artificial  Intelligence  2(1988)485-508頁
【発明の概要】
【課題を解決するための手段】
【０００９】
平面オブジェクトの2つの取り込み画像の間のホモグラフィは、少なくとも1つの可能な解、典型的には、少なくとも2つの曖昧な解に分解される。方位センサからの測定値を使用して、2つの解の間の曖昧性が取り除かれるか、または、単一の解が検証される。相対的回転行列から導出された、1つもしくは複数の解に関するヨー角度、ピッチ角度、および/またはロール角度のうちの少なくとも1つを方位センサからの測定値から導出されたヨー角度、ピッチ角度、および/またはロール角度のうちの対応する少なくとも1つと比較することによって、方位センサからの測定値を使用することが可能である。
【００１０】
一実施形態では、方法は、異なる位置から平面オブジェクトの2つの画像を取り込むステップと、2つの画像の間のホモグラフィを判断するステップと、ホモグラフィを分解して、少なくとも1つの可能な解を得るステップと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するステップと、正確な解を記憶するステップとを含む。
【００１１】
別の実施形態では、装置は、平面オブジェクトの画像を取り込むためのカメラと、カメラの方位を感知するための方位センサと、異なる位置からの平面オブジェクトの2つの画像、および2つの画像が取り込まれたときの方位センサからの測定値を受信するために結合されたプロセッサであって、2つの画像の間のホモグラフィを判断することと、ホモグラフィを分解して、少なくとも1つの可能な解を得ることと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用することと、正確な解をメモリ内に記憶することとを行うように構成されたプロセッサとを含む。
【００１２】
別の実施形態では、装置は、異なる位置から平面オブジェクトの2つの画像を取り込むための手段と、2つの画像の間のホモグラフィを判断するための手段と、ホモグラフィを分解して、少なくとも1つの可能な解を得るための手段と、方位センサからの測定値を使用して、少なくとも1つの可能な解が正確かどうかを判断するための手段と、正確な解を記憶するための手段とを含む。
【００１３】
さらに別の実施形態では、その上に記憶されたプログラムコードを含む非一時的コンピュータ可読媒体は、異なる位置から取り込まれた、平面オブジェクトの2つの画像の間のホモグラフィを判断するためのプログラムモードと、ホモグラフィを分解して、少なくとも1つの可能な解を得るためのプログラムコードと、少なくとも1つの可能な解が正確かどうかを判断するために、方位センサからの測定値を使用するためのプログラムコードと、正確な解を記憶するためのプログラムコードとを含む。
【図面の簡単な説明】
【００１４】
【図１】2つの異なる位置において平面オブジェクトの画像を取り込むモバイルプラットフォームを例示する図である。
【図２】異なる位置において取り込まれた2つの画像上への平面オブジェクト上の三次元(3D)点の投影を例示する図である。
【図３】ホモグラフィ分解に対する解の曖昧性を例示する図である。
【図４】世界座標系と、カメラ座標系と、センサ座標系とを含む、モバイルプラットフォームに対する異なる座標系を例示する図である。
【図５】方位センサからの測定値を使用して、ホモグラフィ分解の曖昧性を解決するプロセスを例示する流れ図である。
【図６】少なくとも1つの可能な解を除去するために、方位センサからの測定値を使用するプロセスを例示する流れ図である。
【図７】平面オブジェクトの2つの画像だけを使用して、平面オブジェクトの何らかの事前知識なしに、ホモグラフィ分解の曖昧性を解決することが可能なモバイルプラットフォームのブロック図である。
【発明を実施するための形態】
【００１５】
図1は、カメラ112を含み、2つの異なる位置AおよびBにおいてカメラ112を用いて平面オブジェクト102の画像を取り込むモバイルプラットフォーム100を例示し、この場合、位置Aが第1の(すなわち、初期)取り込み画像102Aに対応し、位置Bが第2の(すなわち、現在の)取り込み画像102Bに対応する。取り込み画像102Aおよび102Bは、ディスプレイ114によって示されているとして例示される。実際には、図1で、破線矢印によって示されるように、単一のモバイルプラットフォーム100は、そのモバイルプラットフォーム100が位置Aから位置Bに移動する間に、生のビデオストリームから一連のフレームを取り込むことが可能である。あるいは、2つの異なるモバイルプラットフォームを使用して、異なる位置AおよびBから平面オブジェクト102の画像を取り込むことが可能である。モバイルプラットフォーム100は、加速度計、磁気計、および/またはジャイロスコープなど、方位センサ116をやはり含む。加速度計などのセンサは直線運動を測定し、ジャイロスコープなどのセンサは角運動を測定するのに対して、2つの位置間の相対的方位はそのようなセンサを使用して判断可能であり、したがって、すべてのそのようなセンサは、本明細書で、方位センサ116と呼ばれることに留意されたい。
【００１６】
図2に示されるように、平面π上の3D点が2つの画像I'およびI上に見られるとき、画像I'上のその2D投影q'=(x',y',1)と画像I上のq=(x,y,1)とはホモグラフィhによって次のように関連付けられる:
【００１７】
【数１】
0005774226.tif 000002
【００１８】
参照により本明細書に組み込まれている、Faugeras、O.、Lustman、F.:「Motion  and  structure  from  motion  in  a  piecewise  planar  environment」、International  Journal  of  Pattern  Recognition  and  Artificial  Intelligence  2(1988)485-508頁で説明される、よく知られている手順を使用して、平面の2つのビュー間のホモグラフィhを回転行列Rと、変換行列tと、法線nとに分解することが可能である。最も一般的な事例では、ホモグラフィhの分解は4つの可能な解、すなわち、回転行列Rおよび変換行列tの4つの可能なセットを生成する。2つの解は、非交差制約(non-crossing  constraints)および可視性制約を行使することによって除去可能である。非交差制約は、2つのカメラ画像が平面オブジェクトの同じ側から取り込まれること、たとえば、両方の画像が平面オブジェクトの上から取り込まれることを必要とする。可視性制約は、画像が取り込まれるとき、平面オブジェクト上のすべての3D点がカメラの前面になければならないことを必要とする。しかしながら、他の2つの可能な解の間の曖昧性は残る。
【００１９】
図3は、平面オブジェクト102に対する初期位置Aおよび(ユーザ201に沿った)現在の位置Bにおけるモバイルプラットフォーム100の別の例示である。初期位置Aおよび現在の位置Bで生み出された画像からのホモグラフィ分解は、2つの可能な解200および202を生み出し、解200はモバイルプラットフォーム100の正確な位置Bに対応し、解202は不正確であり、破線によって例示される。上で議論されたように、ホモグラフィ分解に対する各解200および202は、図3に示される面法線n、ならびに図3で矢印R200およびR202によって例示される回転行列R、ならびに図3に示されない変換行列tを含む。上で議論されたように、ホモグラフィ分解は最高で4つの可能な解を生み出すことができるが、2つの解は、非交差制約および可視性制約を行使することによって容易に除去可能であり、したがって、図3に示されないことを理解されたい。図3に示される、2つの残りの可能な解200および202は、両方ともホモグラフィ分解からの有効な解であり、したがって、曖昧性を解決することが望ましい。加えて、ホモグラフィ分解は、1つの可能な解、たとえば、解200だけを生み出す場合があるが、その解を検証することが望ましい場合があることを理解されたい。
【００２０】
2つの残りの解の間の曖昧性は、可能な解を除去するために、方位センサ116からの測定値を使用することによって、解決(または、1つの解だけが存在する場合、検証)可能である。方位センサ116からの測定値を使用して、カメラ座標系内で(時々、本明細書で、集合的に、測定ベースの角度と呼ばれる)測定ベースのヨー(αMB)角度、ピッチ(βMB)角度、およびロール(γMB)角度を導出することができる。同様に、ホモグラフィhの分解からの可能な解200および202に関連する相対的回転行列R200およびR202を使用して、(時々、本明細書で、集合的に、ホモグラフィベースの角度と呼ばれる)ヨー角度、ピッチ角度、およびロール角度を導出することができる。言い換えれば、図3に例示されるように、ヨー角度(α200)、ピッチ角度(β200)、およびロール角度(γ200)を回転行列R200から導出することができ、ヨー角度(α202)、ピッチ角度(β202)、およびロール角度(γ202)を回転行列R202から導出することができる。次いで、測定ベースの角度のうちの1つまたは複数を可能な解に関連する、対応する1つもしくは複数の角度と比較して、どの解が正確であるか判断すること(または、1つの解だけが存在する場合、検証すること)ができる。
【００２１】
方位センサ116は、ベクトルを時間tにおいてセンサ座標系から世界座標系に変換する回転行列
【００２２】
【数２】
0005774226.tif 000003
【００２３】
を測定する。加えて、時間tにおいて、回転行列
【００２４】
【数３】
0005774226.tif 000004
【００２５】
は、ベクトルをカメラ座標系から世界座標系に変換する。これらの行列
【００２６】
【数４】
0005774226.tif 000005
【００２７】
および
【００２８】
【数５】
0005774226.tif 000006
【００２９】
の間の関係は
【００３０】
【数６】
0005774226.tif 000007
【００３１】
として定義され、式中、Rscは、知られている定数である、ベクトルをカメラ座標系からセンサ座標系に変換する回転行列であり、たとえば、Rscは、モバイルプラットフォーム100に関して事前に較正可能である。
【００３２】
図4は、例として、時間t1および時間t2における2つの異なる位置でのモバイルプラットフォーム100に対する異なる座標系を示す。座標系は、世界座標系302、ならびにカメラ座標系304およびセンサ座標系306を含む。矢印によって例示されるように、回転行列Rscは、ベクトルをカメラ座標系304からセンサ座標系306に変換し、モバイルプラットフォーム100に関して定数のままである。
【００３３】
同じ平面オブジェクトの2つのカメラ画像が、たとえば、図4に示される時間t1および時間t2において異なる位置から取り込まれた場合、2つの画像はカメラ座標系内で3×3ホモグラフィ行列hによって関連付けられる。ホモグラフィ行列hを、面法線nと、矢印を用いて図4に例示された、時間t1および時間t2におけるモバイルプラットフォーム100間の相対的回転行列ΔRcと、変換行列Δtとに分解することができる。上で議論されたように、ホモグラフィhの分解は、一般に、複数の解をもたらし、したがって、図4の相対的回転行列ΔRcは、図3の可能な解200および202に関連する相対的回転行列R200およびR202に対応する。
【００３４】
時間t1および時間t2において取り込まれた2つの画像の間の相対的回転行列ΔRcは、ベクトルをカメラ座標系304から世界座標系302に変換する回転行列
【００３５】
【数７】
0005774226.tif 000008
【００３６】
に基づいて、以下のように判断可能である:
【００３７】
【数８】
0005774226.tif 000009
【００３８】
式2を式3に置換することによって、回転行列
【００３９】
【数９】
0005774226.tif 000010
【００４０】
を、以下のように、知られている定数回転行列Rscに沿って、ベクトルをセンサ座標系306から世界座標系302に変換する(方位センサ116によって測定された)回転行列
【００４１】
【数１０】
0005774226.tif 000011
【００４２】
と置換することが可能である。
【００４３】
【数１１】
0005774226.tif 000012
【００４４】
したがって、式4を使用すると、時間t1および時間t2における方位センサ116からの測定値(すなわち、時間t1において測定された回転行列
【００４５】
【数１２】
0005774226.tif 000013
【００４６】
および(
【００４７】
【数１３】
0005774226.tif 000014
【００４８】
に変換された)時間t2において測定された回転行列
【００４９】
【数１４】
0005774226.tif 000015
【００５０】
)と、知られている回転行列Rscとを使用して、測定ベースの相対的回転行列ΔRc-MBを計算することができる。カメラ座標系内にある測定ベースの相対的回転行列ΔRc-MBは、図3の位置Aから位置Bへの変化に関連する相対的回転行列RMBに対応する。次いで、測定ベースの相対的回転行列ΔRc-MBを使用して、たとえば、測定ベースの相対的回転行列ΔRc-MBから測定ベースの角度を導出して、各解に関連する相対的回転行列ΔRcからホモグラフィベースの角度を導出して、それらの角度のうちの1つもしくは複数を比較して、最も近接する整合、または、正確な解と判断されてよい、しきい値内の差を見出すことによって、ホモグラフィ分解hに関する正確な解を選択することができる。
【００５１】
ホモグラフィ分解から生成された可能な解が1つだけ存在する場合、2D点の不良な相関により、解は不正確な可能性がある。この場合、同じプロセスを使用して、1つの解を検証することができ、すなわち、(1つまたは複数の)差がしきい値内であるかどうかを判断するために、その1つの解に関する測定ベースの角度のうちの1つまたは複数がホモグラフィベースの角度と比較される。しきい値が満たされない場合、その解は不合格になり、その1つの解だけが正確であると仮定するのではなく、プロセスをリセットすることができる。
【００５２】
図5は、方位センサ116からの測定値を使用して、ホモグラフィ分解の曖昧性を解決するプロセスを例示する流れ図である。例示されるように、異なる位置から1つのカメラ(または、異なる複数のカメラ)によって平面オブジェクトの2つの画像が取り込まれる(402)。2つの異なるカメラが使用される場合、方位の測定は同じ世界座標に対するべきである。たとえば、Xは、ベクトル積Y・Zと定義可能であり、デバイスの現在の位置において地面と接線方向にあり、およそ東を指し、Yは、デバイスの現在の位置において地面と接線方向にあり、磁北極を指し、Zは、上を指し、地面に対して直角である。平面オブジェクトの2つの画像の間のホモグラフィhが判断される(404)。2つの画像に関してホモグラフィ分解を実行して、少なくとも1つの可能な解を得る(406)。たとえば、方位センサ116からの測定値を使用して検証可能な、1つの可能な解だけを得ることができる。しかしながら、典型的には、いくつかの可能な解を得ることができ、非交差制約および可視性制約を使用してその一部を除去して、2つの曖昧な可能な解を残すことが可能である。解が正確であるかどうかを判断するために、方位センサ116からの測定値を使用して(408)、正確な解はカメラの位置および方位として記憶される(410)。
【００５３】
図6は、方位センサ116からの測定値を使用して、解が正確であるかどうかを判断するプロセス(408)を例示する流れ図である。図5のステップ506でホモグラフィhを分解する間に、各解に関する相対的回転行列ΔRcが生み出される。典型的には、最高で4つの可能な解が取得され、非交差制約および可視性制約を使用してその一部を除去して、2つの曖昧な可能な解を残すことが可能である。したがって、残りのプロセスは、2つの解が存在すると仮定して説明されるが、単一の解を検証するために同じプロセスを実行することが可能である。図4に例示されるように、相対的回転行列ΔRcから、各解に関するホモグラフィベースの角度、すなわち、ヨー角度、ピッチ角度、およびロール角度が導出される(452)。回転行列からヨー角度、ピッチ角度、およびロール角度を導出することは、当業者によく理解されている。式4に示されるように、測定ベースの相対的回転行列ΔRc-MBを判断するために、方位センサ116からの測定値を使用する(454)。次いで、測定ベースの相対的回転行列ΔRc-MBから測定ベースの角度、すなわち、ヨー角度、ピッチ角度、およびロール角度が導出される(456)。各解に関する測定ベースの角度のうちの1つまたは複数を対応する1つまたは複数のホモグラフィベースの角度と比較して、正確な解を判断する。たとえば、対応する測定ベースの角度に対して最小差(または、2つ以上の角度が使用される場合、最小平均差)を有する角度を有する解を正確な解として選択することができる。あるいは、1つまたは複数の測定ベースの角度とホモグラフィベースの角度との間の差をしきい値と比較して、正確な解を選択することができ、または1つの解だけが存在するとき、その解を検証することができる。
【００５４】
所望される場合、ヨー角度、ピッチ角度、およびロール角度の3つすべてよりも少ない角度を比較のために使用することができる。たとえば、2つの可能な解が存在するとき、対応する測定ベースの角度と比較するために2つの解の間で最大の差を有するホモグラフィベースの角度、すなわち、ヨー、ピッチ、またはロールを選択することができる。その上、ヨー角度は磁気異常による影響をより容易に受け、したがって、正確な解がロール角度およびピッチ角度のうちの1つまたはそれらの両方に基づくように、ヨー角度を比較から除くことが望ましい場合があることに留意されたい。
【００５５】
図7は、平面オブジェクトの2つの画像だけを使用して、平面オブジェクトの何らかの事前知識なしに、ホモグラフィ分解内の曖昧性を解決することが可能なモバイルプラットフォームのブロック図である。モバイルプラットフォーム100は、カメラ112または複数のカメラなど、平面オブジェクトの画像を取り込むための手段を含む。モバイルプラットフォーム100は、加速度計、ジャイロスコープ、電気方位磁石、または他の類似の感知要素であってよい、方位センサ116など、方位を感知するための手段をやはり含む。モバイルプラットフォーム100は、ディスプレイ114など、環境の画像を表示するための手段を含むユーザインターフェース150をさらに含むことが可能である。ユーザインターフェース150は、それによってユーザが情報をモバイルプラットフォーム100内に入力できる、キーパッド152または他の入力デバイスをやはり含むことが可能である。所望される場合、タッチセンサ(または、ジェスチャ制御)を備えた仮想キーパッドをディスプレイ114内に統合することによってキーパッド152を除去することができる。たとえば、モバイルプラットフォーム100が、セルラ電話などのモバイルプラットフォームである場合、ユーザインターフェース150は、マイクロフォン154およびスピーカ156をやはり含むことが可能である。もちろん、モバイルプラットフォーム100は、本開示に無関係な他の要素を含むことが可能である。
【００５６】
モバイルプラットフォーム100は、カメラ112および方位センサ116に接続され、カメラ112および方位センサ116と通信する制御ユニット160をやはり含む。制御ユニット160は、カメラ112または複数のカメラによって取り込まれた画像、および方位センサ116からの信号を受け取って、処理し、ディスプレイ114を制御する。制御ユニット160は、プロセッサ161および関連メモリ164、ハードウェア162、ソフトウェア165、ならびにファームウェア163によって提供可能である。制御ユニット160は、カメラ112によって取り込まれた2つの画像に関してホモグラフィ分解を実行する画像処理ユニット166を含むことが可能である。制御ユニット160は、ホモグラフィ分解から解を受け取って、たとえば、図5および図6で説明されたように、方位センサ116からの測定値に基づいて、その解が正確かどうかを判断する解検証ユニット168をさらに含む。選択された解は、モバイルプラットフォーム100の位置および方位として、メモリ164内または他の記憶装置内に記憶可能である。
【００５７】
画像処理ユニット166および解検証ユニット168は、分かりやすくするために、プロセッサ161から切り離されて例示されているが、プロセッサ161の一部であってよく、またはプロセッサ161内で実行するソフトウェア165内の命令に基づいてプロセッサ内で実施されてもよい。本明細書で使用される場合、プロセッサ161は、1つまたは複数のマイクロプロセッサ、埋め込み式プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含むことが可能であるが、これらを必ずしも含まなくてよいことを理解されよう。プロセッサという用語は、特定のハードウェアではなく、システムによって実施される機能について説明することが意図される。その上、本明細書で使用される場合、「メモリ」という用語は、モバイルプラットフォームに関連する長期メモリ、短期メモリ、または他のメモリを含めて、何らかのタイプのコンピュータ記憶媒体を指し、何らかの特定のタイプのメモリもしくは何らかの特定の数のメモリ、またはメモリが記憶される媒体のタイプに限定されない。
【００５８】
本明細書で説明された方法は、用途に応じて、様々な手段で実施可能である。たとえば、これらの方法は、ハードウェア162、ファームウェア163、ソフトウェア165、またはそれらの何らかの組合せの形で実施可能である。ハードウェア実装の場合、処理ユニットは、本明細書で説明された機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せの中で実施可能である。
【００５９】
ファームウェア実装および/またはソフトウェア実装の場合、これらの方法は、本明細書で説明された機能を実行するモジュール(たとえば、手順、機能など)を用いて実施可能である。本明細書で説明された方法を実施する際に、命令を有形に実施する、何らかの機械可読媒体を使用することが可能である。たとえば、ソフトウェアコードをメモリ164内に記憶して、プロセッサ161によって実行することが可能である。メモリは、プロセッサ161内で実施可能であり、またはプロセッサ161の外でも実施可能である。ファームウェアおよび/またはソフトウェアの形で実施される場合、これらの機能は、コンピュータ可読媒体上の1つもしくは複数の命令またはコードとして記憶可能である。例えば、データ構造を用いて符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムを用いて符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセス可能な何らかの利用可能な媒体であってよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、命令またはデータ構造の形で所望されるプログラムコードを記憶するために使用可能であり、かつコンピュータによってアクセス可能なRAM、ROM、EEPROM、CD-ROMもしくは他の光ディスク記憶装置、磁気ディスク記憶装置または他の磁気記憶デバイス、あるいは何らかの他の媒体を含むことが可能であり、この場合、ディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザディスク、光ディスク、デジタル多用途ディスク(DVD)、フロッピー（登録商標）ディスク、およびBlu-ray（登録商標）ディスクを含み、ディスク(disk)は、通常、データを磁気的に再生するのに対して、ディスク(discs)は、レーザを用いてデータを光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲に含まれるべきである。
【００６０】
本発明は、教育のために特定の実施形態に関して例示されているが、本発明はそれらに限定されない。本発明の範囲から逸脱せずに、様々な適応および修正を行うことが可能である。したがって、添付の請求項の趣旨および範囲は前述の説明に限定されるべきではない。
【符号の説明】
【００６１】
100  モバイルプラットフォーム
102  平面オブジェクト
102A  第1の(すなわち、初期)取り込み画像
102B  第2の(すなわち、現在の)取り込み画像
112  カメラ
114  ディスプレイ
116  方位センサ
150  ユーザインターフェース
152  キーパッド
154  マイクロフォン
156  スピーカ
160  制御ユニット
161  プロセッサ
162  ハードウェア
163  ファームウェア
164  メモリ
165  ソフトウェア
166  画像処理ユニット
168  解検証ユニット
200  解
201  ユーザ
202  解
302  世界座標系
304  カメラ座標系
306  センサ座標系
【図１】
0005774226.tif 000016
【図２】
0005774226.tif 000017
【図３】
0005774226.tif 000018
【図４】
0005774226.tif 000019
【図５】
0005774226.tif 000020
【図６】
0005774226.tif 000021
【図７】
0005774226.tif 000022