"第1の画像の少なくとも一部と第2の画像の少なくとも一部を位置合わせする方法であって、a.実環境の第1の画像Tおよび前記第1の画像に関連した座標系を用意するステップと、b.前記実環境の第2の画像Iを用意するステップと、c.前記実環境を基準にして取り込み装置Dの向きRおよび/または距離d1、d2、...、dNの測定を行う一方、前記第2の画像Iを取り込むステップと、d.前記第2の画像Iの少なくとも一部に関連した測定measurementsから共線変換ワープ関数Pを決定するステップと、e.前記対応する決定した共線変換ワープ関数Pを適用することにより前記第2の画像Iの前記少なくとも一部を変換するステップと、f.画像レジストレーション方法により前記第2の画像Ipの前記変換された少なくとも一部と前記第1の画像Tの前記少なくとも一部を位置合わせするための第2のワープ関数Aを決定するステップと、g.前記共線変換ワープ関数Pおよび前記第2のワープ関数Aを用いて前記第2の画像Iの前記少なくとも一部と前記第1の画像Tの前記少なくとも一部を位置合わせするステップとを含む方法。前記向きRの測定は、慣性センサ、加速度計、ジャイロスコープ、コンパス、あるいは機械式、電磁気式、音響式または光学式の追跡システムのうちの少なくとも1つによりもたらされる、請求項1に記載の方法。前記距離d1、d2、...、dNの測定は、TOFカメラ、ステレオカメラ、無線信号の三角測量、位相差計側、または立体照明による手法を用いた装置のうちの少なくとも1つによりもたらされる、請求項1または2に記載の方法。前記向きRの測定themeasurementsoforientationは、重力ベクトルnの測定に基づいて計算された2次元回転を包含する、請求項1から3の一項に記載の方法。前記第1の画像Tの前記少なくとも一部は、前記測定した重力ベクトルnに対して知られた向きに配置された物理的対象に対応する、請求項4に記載の方法。前記共線変換ワープ関数Pは、前記測定した重力ベクトルnに対して前記知られた向きにある仮想像平面VIPに関連している、請求項5に記載の方法。前記向きRの測定themeasurementsoforientationRは、前記実環境を基準にした取り込み装置Dの3次元回転を包含する一方、前記取り込み装置により前記第2の画像Iを取り込む、請求項1から3の一項に記載の方法。前記向きRの測定および/または前記距離d1、d2、...、dNの測定themeasurementsoforientationRand/ordistanced1、d2、...、dNから、前記第1の画像に関連した前記座標系に対しての取り込み装置Dの前記向きが、ステップdの前記共線変換ワープ関数Pの決定のために計算され、かつ、使用される、請求項1から7の一項に記載の方法。前記共線変換ワープ関数Pは、前記座標系に揃えられた仮想像平面VIPに関連している、請求項8に記載の方法。前記距離の測定themeasurementsofdistanceからさらに、物理的対象に対する前記取り込み装置Dの前記距離d1、d2、...、dNが、前記座標系中の前記取り込み装置の1次元平行移動を計算するために決定される、請求項8または9に記載の方法。前記向きは、前記第2の画像I中のN点のセットの前記距離d1、d2、...、dNの測定themeasurementsofdistanced1、d2、...、dNから決定され、Nが少なくとも3である、請求項8から10の一項に記載の方法。前記第1の画像Tおよび/または第2の画像Iは、区分的平面と仮定される対象の画像である、請求項1から11の一項に記載の方法。前記第2のワープ関数Aは、アフィンワープ関数である、請求項1から12の一項に記載の方法。前記画像レジストレーション方法は、反復最小化プロセスに基づいており、前記第1の画像T中の第1の画素セットは、前記第2の画像I中の計算した画素セットと比較され、前記比較に用いた前記第2の画像中の前記計算した画素セットは、反復ごとに変化する、請求項1から13の一項に記載の方法。前記画像レジストレーション方法における前記比較は、画像の強度の差異に基づいている、請求項14に記載の方法。前記第2のワープ関数Aのパラメータの初期推定は、前記反復最小化プロセスへ与えられる、請求項14または15に記載の方法。前記ワープ関数Aの前記パラメータの前記初期推定は、前記第1の画像Tの取り込みと前記第2の画像Iの取り込みの間の前記取り込み装置Dの動きの推定を用いて決定される、請求項16に記載の方法。ステップcにおいて、少なくとも第3の画像および関連した座標系が、さらに用意され、前記第2の画像Iは、前記第1の画像Tの対象および前記少なくとも第3の画像の対象を少なくとも一部含み、ステップd~gは、前記第1の画像Iおよび前記少なくとも第3の画像について個々に実行される、請求項1から17の一項に記載の方法。前記第1の画像Tおよび/または少なくとも第3の画像、ならびにそれらの関連した座標系は、オフラインで取得される、請求項18に記載の方法。前記第1の画像Tおよび/または少なくとも第3の画像、ならびにそれらの関連した座標系は、オンラインで取得され、かつ/または、オンラインで更新される、請求項18または19に記載の方法。前記第2の画像Iの前記少なくとも一部の前記位置合わせの結果は、前記取り込み装置Dの姿勢の決定に用いられる、請求項1から20の一項に記載の方法。前記取り込み装置Dの前記決定された姿勢は、拡張現実アプリケーションに使用される、請求項21に記載の方法。コンピュータプログラム製品であって、デジタルコンピュータの内部メモリに読み込まれるようになされ、前記製品が前記コンピュータ上で実行しているときに、請求項1から22のいずれかに記載の方法を実行するソフトウェアコードセクションを含むコンピュータプログラム製品。したがって、より低い計算コストで標準的な手法と同様の結果をもたらす、現在のカメラ画像の少なくとも一部を任意のカメラの位置および向きについてのテンプレート画像の少なくとも一部に位置合わせするのに必要な共線変換ワープ関数を得るための手法を有することが望ましい。本発明の一態様によれば、第1の画像の少なくとも一部と第2の画像の少なくとも一部を位置合わせする方法であって、a.実環境の第1の画像および第1の画像に関連した座標系を用意するステップと、b.実環境の第2の画像を用意するステップと、c.実環境を基準にして取り込み装置の向きおよび/または距離の測定を行う一方、第2の画像を取り込むステップと、d.第2の画像の少なくとも一部に関連した測定measurementsから共線変換ワープ関数を決定するステップと、e.対応する決定した共線変換ワープ関数を適用することにより第2の画像の少なくとも一部を変換するステップと、f.画像レジストレーション方法により第2の画像の変換された少なくとも一部と第1の画像の少なくとも一部を位置合わせするための第2のワープ関数を決定するステップと、g.共線変換ワープ関数および第2のワープ関数を用いて第2の画像の少なくとも一部と第1の画像の少なくとも一部を位置合わせするステップとを含む方法が提供される。このように、本発明は、取り込み装置の測定した向きmeasuredorientationを組み込むことにより、取り込まれた現在の画像をテンプレート画像に空間的に位置合わせするのに必要な共線変換ワープ関数Wを、上述のように求めることの複雑さを低減することを提案する。特に、共線変換ワープ関数Wを、測定した向きから直接計算できる共線変換ワープ関数Pと、それに続いて推定される必要があるアフィン変換Aと、に分解することができる。以下より詳細に述べる通り、必要とされる評価パラメータがより少ないため、Aを求めることはWを求めることよりも安価でより安定的である。一実施形態によれば、向きの測定は、慣性センサ、加速度計、ジャイロスコープ、コンパス、あるいは機械式、電磁気式、音響式または光学式の追跡システムのうちの少なくとも1つによりもたらされる。本発明の内容では、慣性センサは、磁力計例えば、コンパス、モーションセンサ/回転センサ加速度計/ジャイロスコープ、重力センサ、およびそのような情報を与える他のセンサの任意の組み合わせを用いることで、環境に関して対象または装置の位置および/または向きを含むセンサ情報を例えば連続的に提供することができる。さらなる実施形態によれば、距離の測定は、TOFカメラ、ステレオカメラ、無線信号の三角測量、位相差計側、または立体照明による手法を用いた装置のうちの少なくとも1つによりもたらされる。距離情報を提供するセンサは、光が可視または赤外線である、立体照明による手法を用いた装置であってもよい例えば、Microsoftの既知のKinectカメラ。一実施形態によれば、向きの測定themeasurementsoforientationRは、重力ベクトルの測定に基づいて計算された2次元回転を包含する。例えば、第1の画像の少なくとも一部は、測定した重力ベクトルに対して知られた向きに配置された物理的対象に対応する。そして、共線変換ワープ関数は、測定した重力ベクトルに対して知られた向きにある仮想像平面に関連していてもよい。別の実施形態によれば、向きの測定themeasurementsoforientationRは、実環境を基準にした取り込み装置の3次元回転を包含する一方、取り込み装置により第2の画像を取り込む。例えば、向きの測定および/または距離の測定themeasurementsoforientationand/ordistanceから、第1の画像に関連した座標系に対しての取り込み装置の向きが、ステップdの共線変換ワープ関数の決定のために計算され、かつ、使用される。共線変換ワープ関数は、座標系に揃えられた仮想像平面に関連していてもよい。さらなる発展例によれば、距離の測定themeasurementsofdistanceからさらに、物理的対象に対する取り込み装置の距離が、座標系中の取り込み装置の1次元平行移動を計算するために決定される。例えば、向きは、第2の画像中のN点のセットの距離の測定themeasurementsofdistanceから決定され、Nが少なくとも3である。一実施形態によれば、第1の画像および/または第2の画像は、区分的平面と仮定される3次元の物理的対象の画像である。例えば、第2のワープ関数は、アフィンワープ関数である。さらなる実施形態によれば、画像レジストレーション方法は、反復最小化プロセスに基づいており、第1の画像中の第1の画素セットは、第2の画像中の計算した画素セットと比較され、比較に用いた第2の画像中の計算した画素セットは、反復ごとに変化する。例えば、画像レジストレーションにおける比較は、画像の強度の差異に基づいている。このようにして、測光誤差を計算することができる。この誤差は、パラメータセットの更新を検索する非線形最適化の費用関数に用いることができる。第2のワープ関数は、[6]に記載されるように、逆合成法、逆加算法、前方合成法、または前方加算法などの傾斜降下を用いた方法で決定することができる。さらに、第2のワープ関数は、学習に基づいた方法で決定することができ、そこでは、テンプレート画像第1の画像の異なるビューが、事前計算されており、現在の変換に最も近い事前計算された変換が、[1]または[7]に記載されるように決定される。特に、第2のワープ関数のパラメータの初期推定が、反復最小化プロセスへ与えられるようにしてもよい。例えば、ワープ関数のパラメータの初期推定が、第1の画像の取り込みと第2の画像の取り込みの間の取り込み装置の動きの推定を用いて決定される。本発明の一実施形態によれば、ステップcにおいて、少なくとも第3の画像例えば、1つまたは複数のさらなるテンプレート画像およびそれぞれの関連した座標系が、さらに用意され、第2の画像は、第1の画像の対象および少なくとも第3の画像の対象を少なくとも一部含み、ステップd~gは、第1の画像および少なくとも第3の画像について個々に実行される。例えば、第1の画像および/または少なくとも第3の画像、ならびにそれらの関連した座標系は、オフラインで取得される。別の実施形態によれば、第1の画像および/または少なくとも第3の画像、ならびにそれらの関連した座標系は、オンラインで取得され、かつ/または、オンラインで更新される。この場合には、水平面上にある同じ平面にある平坦なテンプレートと現在の画像中の対応する領域の間の変換を求めることに加えて、2つ以上の現在の画像中の同じ平面にある水平領域の間の変換は、同じ方法で求めることができる。しかし、全ての画像が、仮想像平面へ投影されることが必要である。これにより、床または天井のパノラマを得る画像合成が可能になる。興味深い特性は、合成に使用される平面上にない点、例えば、床上にある小さな対象、または天井にあるランプは、容易に特定できるということである。なぜなら、それらがカバーする画素の見かけは、投影したカメラ画像において、カメラの位置に応じて異なる一方で、平面上にある全ての点は、その見かけを理想的に維持するためである。これは、床面の自動高密度分割に用いることができる。本発明の可能な実施では、第2の画像の少なくとも一部の位置合わせの結果は、取り込み装置の姿勢の決定に用いられる。例えば、取り込み装置の決定された姿勢は、拡張現実アプリケーションに使用される。本発明の別の態様は、コンピュータプログラム製品であって、デジタルコンピュータの内部メモリに読み込まれるようになされ、製品がコンピュータ上で実行しているときに、本発明による方法を実行するソフトウェアコードセクションを含むコンピュータプログラム製品にも関連している。次に、添付図面と併せて例示的な実施形態の以下の説明を参照して本発明を説明する。添付の図面を参照して、本発明の態様による方法の実施形態をより詳細に説明する。以下の説明は、本発明による方法の態様の可能性のある実施の一例にすぎず、その方法またはステップは、第1の画像と第2の画像の位置合わせが行われる任意の他の分野または応用に使用することもできることを当業者は理解されよう。以下には、固有パラメータ、すなわち内部カメラパラメータの推定を伴う実環境の画像を取り込むためのカメラなどの取り込み装置Dが提供されることが想定される。カメラの向きRの測定を直接送り出す、または、環境中のおよび画像に取り込まれた少なくとも3点の測定した距離から決定されるカメラの向きRの測定を送り出す、装置が取り付けられるている。発明者らは、現在のカメラ画像IをテンプレートTに空間的に位置合わせすることを意図する。以下に、発明者らは、取り込み装置Dの測定した向きmeasuredorientationRを組み込むことによりTとIの視覚による位置合わせの複雑さを低減する手段を提案する。明確で読み易くするために、本説明は、平面物体の垂直正面図を表すテンプレート画像を取り扱い、テンプレートT全体をIにおける対応する画素に位置合わせすることを目標とする。しかし、この方法は、区分的平面とみなすことができるターゲットに一般化することもできる。これは、例えば、テンプレート画像の一部を物理的対象の局所的な平坦領域に関係付けることにより簡単に行うことができる。以下では、本発明の一実施形態による画像レジストレーションについての例示的な手法のフロー図を示す図2を参照する。図2は、概して手法を示しており、これは、図4~図6に示されるように例によってさらに説明される。平坦なテンプレートTの少なくとも一部と任意の視野角の下でとられる現在のカメラ画像Iのその対応する位置とを位置合わせする共線変換ワープ関数Wを求める本発明の態様による手法は、ステップS1において、関連した座標系CSを用いて第1の画像Tをテンプレートとしてまず取り込むか、または、読み込む。ステップS2では、現在のカメラ画像としての第2の画像Iが、読み込まれるか、または、取り込まれる。ステップS3では、取り込み装置すなわちカメラの向きが測定され、または、第2の画像が得られたときの向きが読み込まれる。ステップS4において、装置の向きR、座標系CSおよび第2の画像Iを使用して、仮想像平面VIPへの第2の画像Iの投影を計算する。この変換は、カメラの向きRおよびCSの関数である共線変換ワープ関数Pを用いて行われる。変換した画像Ipを第1の画像Tと位置合わせするための変換は、線形であり、アフィンホモグラフィを用いて説明することができる。ステップS5において、このホモグラフィAが推定される例えばLucasKanade[2]の知られたアルゴリズムを用いて、例えば、反復最小化プロセスの中で計算される。やはり、これを行うために多くの手法が存在する。しかし、ホモグラフィAは、アフィンホモグラフィであるので、ホモグラフィAの推定は、標準的な手法を参照した上述したような共線変換ワープ関数の推定よりも、計算がより単純である。以下のステップS6では、元の現在の画像の少なくとも一部を変換する共線変換ワープ関数Wは、PとAの組み合わせとして計算される。最後に、ステップS7において、拡張現実アプリケーションなどのアプリケーションは、この投影変換Wを使用する。ステップS5とステップS6の両方において、位置合わせは、どちらかの方向にワープすることにより実現することができることが当業者には理解されよう。例えば、ステップS5では、Aは、変換した画像Ipが第1の画像Tと位置合わせされるように決定することができ、またはAの逆は、第1の画像Tを変換した画像Ipに位置合わせすることにより決定することができる。少なくとも第3の画像T3および関連した座標系CS3がさらに与えられ、第3の画像が追加のテンプレート画像である本発明の一実施形態では、図2中のフロー図は、図3中に示されるように拡張される。図3のステップS1では、第1の画像Tおよびその関連した座標系CSに加え、少なくとも第3の画像T3と関連した座標系CS3が与えられる。前述のように、図3のステップS2およびステップS3では、第2の画像Iが取り込まれるか、または、読み込まれ、取り込み装置Dの向きRが測定されるか、または、読み込まれる。次いで、ステップS4、S5およびS6において、IおよびRが、現在の画像Iをテンプレート画像と位置合わせするコアアルゴリズムに与えられる。各テンプレート画像と関連した座標系、すなわち第1の画像および少なくとも第3の画像は、ステップS4~S6を行うコアアルゴリズムのインスタンスにより処理される。結果として得られる共線変換ワープ関数W、W3、...は、最終的に、ステップS7においてアプリケーションに使用される。標準的な手法との根本的な差異および改善点は、共線変換ワープ関数Wを、制約された、例えばアフィン変換Aと、取り込み装置Dの測定した向きRから直接計算できる共線変換ワープ関数Pと、に分解したことである。元の現在の画像Iをテンプレート画像Tに位置合わせすることは、標準的な手法において行われるのと同様に、画像レジストレーション方法を用いて非線形ワープ関数Wを求める8次元非線形最適化問題である。この場合には、完全な共線変換ワープ関数が推定されなければならない。本発明による新たな手法では、制約されている、例えばアフィンである変換Aを決定しさえすればよい。これにより、提案した手法は、標準的な手法よりも高速かつ安定的となる。加えて、テンプレートの事前計算したビューに基づいた画像レジストレーション技法の場合、この新たな手法であれば必要とするメモリが少なくてすむ。以下に、図4~図6に示される3つの例示的な実施を参照して、本発明による方法の態様を説明する。図4は、任意であるが知られた向きでのすなわち、平坦なテンプレート画像Tの法線nも、ベクトルuを定義するための回転と同様に知られている平坦なテンプレートへの位置合わせ、および取り込み装置の所与の現在の3DoFの向きを視覚化したものを示す。取り込み装置Dの測定した向きRが、静止したワールド座標系に対して3次元回転を示す場合、静止した平坦なテンプレート画像Tの3次元の法線n、およびワールド座標系中の1つの垂直なベクトルuをオフラインまたはオンラインで定義することが提案される。実行時には、nおよびuは、向きの測定のずれを説明するように更新することができる。n、u、および取り込み装置Dの現在の向きRが与えられたとすれば、テンプレート画像Tの知られた法線nに垂直であり、共線変換ワープ関数P図4を参照せよを用いてテンプレート画像Tの知られたベクトルuに揃えられた仮想像平面VIPへ現在のカメラ画像Iを投影することが提案される。この変換した画像Ipには、テンプレート画像T上にある点の任意のセットが、数学的に相似および正立で表される。より正確には、画像Ipの見かけは、均一な拡大縮小、それに続く画像T中の元の点の平行移動の結果である。この変換は、均一な拡大縮小ならびにxおよびy2つの画像軸における平行移動のみをサポートするアフィンホモグラフィAを用いて十分に説明することができるので、そのとき、この変換された現在の画像Ipとテンプレート画像Tの位置合わせは、線形ワープを求める3次元非線形最適化問題である。要するに、図2のフロー図を参照すると、図4の例では、以下のそれぞれの仮定または実施がなされる。すなわち、取り込み装置の現在の3DoFの向きが知られている;グローバル座標系に対するテンプレート画像Tの向きが知られている;ステップS3は、グローバル座標系における取り込み装置Dの3D向きを測定できる任意の装置を用いて実施してもよい;向きの測定Rは、グローバル座標系における3D回転であり、Px,pは、装置の座標系に揃えられた仮想像平面VIPへの投影を表し;Ax,pは、x、y、z平行移動3Dをサポートするアフィンホモグラフィである。図5は、重力に対して2DoFのカメラの向きが与えられる水平で平坦なテンプレートへの位置合わせの視覚化を示す。慣性センサのようないくつかのセンサが、重力ベクトルに対する取り込み装置の2次元回転を与えるのにすぎない。この場合には、向きの測定Rは、重力ベクトルの方向を表すのにすぎない。ここで、図4を参照して説明されるものと同様の手法を使用できるが、これは、水平にされた水平平面上にあるテンプレート、例えば、テーブル上にある雑誌、床または塗装した天井にあるモザイクに限定される。共線変換ワープ関数Pにより、測定した重力nに垂直である仮想像平面VIPへ現在のカメラ画像Iを投影する。これにより、テンプレート画像T上にある点の任意のセットが数学的に相似で表される変換した画像Ipになる。より正確には、Ipの見かけは、元の点の均一な拡大縮小の結果と合同である。または、視覚的に言えば、変換されたカメラ画像Ipは、テンプレート画像Tの上部から直交して得られるように現れる図5参照。この変換は、アフィンホモグラフィAを用いて十分に説明できるので、このとき、この変換された現在の画像Ipとテンプレート画像Tの位置合わせは、線形ワープを求める6次元非線形最適化問題である。このホモグラフィは、2つの画像軸に沿った平行移動、均一な拡大縮小、および面内回転のみをサポートする。要するに、図2のフロー図を参照すると、図5の例では、以下のそれぞれの仮定または実施がなされる。すなわち、テンプレート画像Tは、水平にされた平面上にある;ステップS3は、加速度計を用いて実施されてもよい;向きの測定Rは重力の方向であり、したがって2D回転である;Px,pは、測定した重力に垂直な仮想像平面VIPへの投影を表す;ならびにAx,pは、x、y、z平行移動および面内回転4Dをサポートするアフィンホモグラフィである。図6は、カメラ座標系中のテンプレートの法線が与えられた任意に向けられた平坦なテンプレートへの位置合わせの視覚化を示す。取り込み装置または付属の装置Dが、現在の画像Iの特定の画素についての測定した深さの情報を提供する場合、かつ内部カメラパラメータが知られている場合、カメラの座標系中の個々の画素の3D位置は、計算することができる。現在のカメラ画像Iが、標準的な手法を用いて任意に向けられたテンプレート画像Tとうまく位置合わせされた後、次の現在の画像において、発明者らは、テンプレートが最後の現在の画像領域R1にある中央領域R2に近い現在のカメラ画像I中の少なくとも3つの画素の測定した深さd1、d2、d3、dNをまずサンプリングすることを提案する図6参照。ここで、仮定は、これらの画素が現在の画像中のテンプレートをまだ含むというものである。次いで、図6に示されるように、サンプリングした画素に対応するこの3D点に平面を合わせ、法線nを有するこの平面を仮想像平面VIPとして使用する。共線変換ワープ関数Pを用いてこの仮想像平面VIPに投影された現在のカメラ画像Iは、Ipと呼ばれることになる。これをテンプレート画像Tに空間的に位置合わせすることは、xおよびy画像軸における平行移動、面内回転、および均一な拡大縮小をサポートするアフィンホモグラフィAを用いて説明することができる。要するに、図2のフロー図を参照すると、図6の例では、以下のそれぞれの仮定または実施がなされる。すなわち、ステップS3は、テンプレートを含むと考えられるカメラ画像中の少なくとも3つの画素の深さをサンプリングする知られたMicrosoftKinectカメラなどの深さ感知カメラを用いて実施される;向きの測定Rは、取り込み装置の座標系中のテンプレートの法線の方向であり、したがって2D回転である;Px,pは、テンプレートの測定した法線に垂直な仮想像平面VIPへの投影を表す;Ax,pは、x、y、z平行移動および面内回転4Dをサポートするアフィンホモグラフィである。以下に、本発明の態様のさらなる適宜の改善形態または追加の適用形態を説明する。以下の説明は、本発明を本応用分野に限定することなく、本発明の態様の可能な適用ケースを記載することが当業者には理解されよう。好ましい実施形態では、本発明は、カメラを搭載するモバイルコンピューティングデバイス上で実行するリアルタイムの拡張現実アプリケーションに使用することができる。本出願の目的は、例えば、コンピュータグラフィックモデルなどの仮想情報を水平面上にある実際の平面物体を取り込むライブビデオストリームに重ね合わせることである。そのようなアプリケーションにおいて行われる重ね合わせは、カメラと平面物体の間の相対的な姿勢を考慮しており、モバイルデバイスが、平面物体に対してその位置および向きを変化させているときにも、コンピュータグラフィックモデルがライブビデオストリームに継ぎ目なく統合されることを意味する。モバイルコンピューティングデバイス上で実行するアプリケーションは、水平面上にある平面物体に対するカメラの相対的な位置3D平行移動および向き3D回転を与えるアルゴリズムを含んでもよい。3D平行移動および回転は、3×3共線変換行列から得ることができ、このことは、アルゴリズムが、参照画像を現在取得した画像へ変換する最適な3×3共線変換行列をまず求め、次いで、モバイルコンピューティングデバイスのカメラの固有パラメータを知り3D平行移動および回転を抽出することを意味する。この内容では、重力ベクトルに対するモバイルコンピューティングデバイスの向きが使用される場合、そのようなデータは、慣性センサによって提供されてもよく、平面物体が水平面上にあるとすると、知られていない共線変換行列がアフィンになるように現在の画像を事前にワープすることが可能である。この手法は、知られていない自由度が低減されるため、計算の要求および効率の観点からコンピュータグラフィックモデルをライブビデオストリームに継ぎ目なく統合するのに必要とされる3D平行移動および回転の決定プロセスを改善する。"