"低密度の反射対応から鏡面物体の表面を再構築するための方法物体の表面を再構築するための方法であって、該物体は鏡面反射性の表面を有し、点対応手順を前記物体の画像のセットに適用するステップであって、低密度の反射対応を生成し、前記画像のセットは、カメラによって取得される間、回転を受ける、適用するステップと、線形系AΘ=0を解くステップであって、ここでΘは表面パラメーターのベクトルであり、該表面パラメーターは局所的かつ二次である、解くステップと、前記表面パラメーターから前記表面の勾配を求めるステップと、前記勾配を法線に統合するステップであって、該法線は前記表面の形状を定義する、統合するステップとを含み、前記適用するステップ、前記解くステップ、及び前記統合するステップはプロセッサにおいて実行される、方法。前記カメラは、固定されると共に較正されていない、請求項1に記載の方法。前記低密度の反射対応の数は、利用可能な高密度の反射対応の数よりも約2桁小さい、請求項1に記載の方法。前記点対応手順は、スケール不変特徴変換SIFTを使用する、請求項1に記載の方法。前記点対応手順は、オプティカルフローを使用する、請求項1に記載の方法。前記点対応手順は、正規化相関を使用する、請求項1に記載の方法。前記点対応手順は、高速化ロバスト特徴SURFを使用する、請求項1に記載の方法。前記表面パラメーターは、N個の隣接するピクセルのパッチを定義する{Ji,Hi,i=1,...,N}であり、ここでJi及びHiはi番目のパッチの前記二次曲面パラメーターであり、Hiは対称行列であり、αiは前記カメラへの距離である、請求項1に記載の方法。前記カメラは、正射影である、請求項1に記載の方法。前記カメラは、較正されていると共に透視投影である、請求項1に記載の方法。前記オプティカルフローは、無限小の物体回転を受ける、請求項5に記載の方法。前記求めるステップは、偏微分方程式を解く、請求項1に記載の方法。前記表面は、局所的に平滑である、請求項1に記載の方法。前記表面パラメーターは、固有値ソルバーを使用することによって解かれる、請求項1に記載の方法。前記表面パラメーターは、二次錐計画を使用することによって解かれる、請求項1に記載の方法。境界平滑性制約は、前記表面パラメーターについて解いている間、強制される、請求項1に記載の方法。前記統合するステップは、ポアソン方程式を解く、請求項1に記載の方法。前記表面パラメーターについて解いている間、表面制約が強制される、請求項1に記載の方法。前記表面パラメーターについて解いている間、表面勾配が強制される、請求項1に記載の方法。図2に示すように、本発明の実施形態は、低密度の反射対応RCを使用して、平滑なミラー状物体203の表面209を再構築するための方法200を提供する。本方法のステップは、該技術分野において既知のメモリ及び入力/出力インターフェースを備えるプロセッサ100において実行することができる。本明細書において定義されるように、低密度とは、対応の数が利用可能な高密度の対応の数よりも約2桁小さいことを意味する。たとえば、640×480の画像、すなわち約N=30,000ピクセルが存在する画像において、従来の方法は実質的に30,000の対応を必要とする。本発明者らの低密度の方法は、約300~500の対応で問題を解くことができる。カメラ202を用いて、回転を受ける物体の画像のセット201を取得する。回転は物体、カメラ、又は環境に対するものとすることができる。好ましい実施形態では、スケール不変特徴変換SIFT-米国特許第7,646,887号手順210を適用して、反射対応211を生成する。しかしながら、オプティカルフロー、正規化相関、高速化ロバスト特徴SURF-米国特許出願公開第2008-0313140号のような他の画像点対応手順も利用することができる。対応を使用して、二次方程式の線形系linearsystemofquadraticequationsAΘ=0を解く220。ここで、後述するように、Θは二次曲面パラメーター{Ji,Hi,i=1,...,N}221のベクトルである。線形系の解を使用して、表面勾配231を求める。勾配は統合されて240表面法線209が出力される。表面法線209は物体の形状を定義する。反射対応単純にするために、まず本方法を正射影カメラに適用可能なものとして説明する。本方法は較正された透視投影カメラにも等しく適用可能である。環境が無限遠にあると想定する。これによって或るピクセルにおいて撮像される環境特徴は、該ピクセルにおいて観測される表面要素の法線にのみ依存し、該ピクセルのロケーションには依存しないことが確実になる。Ixをピクセルxにおいて観測される強度とし、EΘをオイラー角Θ=θ,φによってパラメーター化された環境強度マップとする。既知のモンジュ形式z=fx=fx,yで表面をモデリングする。前進撮像方程式forwardimagingequationは、であり、∇fx=fxx,fyxTはピクセルxにおける表面勾配である。本明細書において、表面を該表面の勾配フィールド∇fxの観点からモデリングする。本発明者らの目標は、カメラ、物体、又は環境の既知の動きの下で物体の複数の画像から形状fxを推定することである。観測される特徴に対する動きの影響正射影カメラの場合、表面の並進はカメラ座標系における表面法線を変化させず、画像の並進のみを生成する。このため、これは新たな情報を何らもたらさない。同様に、環境は無限遠にあると想定されるため、物体の並進はさらなる情報を何ら与えない。光軸を中心としたカメラの回転面内回転は、ピクセルの再マッピングであり、新たな情報を何ら生成しない。同じ理由で、主軸を中心としたカメラの回転はピクセルの再マッピングであり、新たな情報を何ら生成しない。環境の回転は、物体をカメラの光軸上に設置すると共に、カメラ-物体対を連携させて回転することに等しい。このため、ピクセル再マッピングを無視すると、環境回転はカメラの光軸を中心とし他物体の回転に等しい。物体の回転はカメラによって観測される法線フィールドを変化させ、それによって以前には見られなかった画像を生成するため、本明細書では物体の回転のみを考察するが、本方法は他の回転に容易に拡張される。環境が無限遠にあるという想定に起因して、観測される環境特徴は物体の表面法線のみに依存する。物体の回転下では、該物体の画像は構造復元された形で変化する。或るピクセルにおいて観測される環境特徴は、表面法線が再度現れるロケーションにおいて再度現れ得る。物体回転の後に環境特徴が再度現れないこと、複数のロケーションにおいて再度現れることもあり得る。以下に、反射対応RCと表面形状との間の関係を導出する。無限小の回転完全を期すために、無限小の物体回転の下で反射対応が鏡面フローに等しいことを最初に説明する。表面は、t=0では、カメラ座標系においてz=fxである。カメラ主軸を中心とした回転の後、時点tにおけるミラー表面はft,x=fRtTxである。2×2の回転行列はRt=expωtである。表面勾配は次の通りである。物体が回転するにつれ、xt=X0νtに沿って移動する環境特徴を考察する。これらのモデリング推定の下では、次の通りである。これは、を暗に意味している。t=0におけるこの式の値を求めることによって、次の式を得る。これによって、無限小の鏡面フローνを局所表面パラメーターに関係付ける前進フロー方程式、及び既知の回転ωが与えられる。鏡面フローを所与とすると、表面勾配フィールドは、式4において定義される偏微分方程式を解くことによって回復することができる。へシアン行列[∂2f∂x2]に符号化される表面の二次特性は、鏡面フローを求めるのに重要な役割を果たす。この行列が特異行列である場合、鏡面フローは無限に進む。放物曲率の点はへシアン特異行列を有し、無限のフローを呈する。無限小から有限への回転無限小の動きは簡潔な理論上の定式化をもたらすが、実際上、これは小さな動きによって近似されている。ランバート物体の場合、フロー値が明確に定義されているため、小さな動きは多くの場合に無限小の動きの良好な近似である。しかしながら、放物曲率の点における無限のフローの存在は、動きがどれだけ小さくても、鏡面の対応が放物曲率の点のパッチpatchにおいて未定義となることを示している。パッチとは隣接するピクセルの領域である。このパッチのサイズは回転の大きさに依存する。このため、高密度の鏡面フローフィールドを推定するのが難しくなる。この観測は、高密度のフローフィールドとは対照的に、低密度の反射対応の観点で画像間の合致をモデリングする動機付けとなる。低密度の対応によって、関連付けられるフローを有しないピクセル、及び複数の画像にわたって1対多のマッピングを呈するピクセルを組み込むことが可能になる。より重要なことには、1対多のマッピング、又は対応の消失ステレオの場合、オクルージョンocclusion又は非オクルージョンdisocclusionと同様も同様に扱うことができる。有限の動きここで、カメラの光軸を中心とした物体の有限の回転Rを考察する。XAi←→XBi;i=1,N}を、画像A上のピクセルXAiにおいて観測される環境特徴が画像B上のピクセルXBiにおいて観測される環境特徴と合致するような、画像対における反射対応のセット211とする。これは、物体の表面勾配において以下の関係を生じさせる。さらに、fBx=fARTxは、ロケーションAにおける物体のみの観点から制約を与える。変動する既知の回転の下での複数の画像を所与とすると、∇fAの観点から関係を適切に書き換えることによって、任意の画像対間で得られる対応を使用することができる。このため、物体回転を所与とすると、本発明者らの着想は、低密度の反射対応が表面勾配に対し制約を与えるということである。高密度の表面を回復するために、表面に対しさらなる想定を必要とする。この目的のために、表面再構築のための表面に対して局所二次モデルを使用する。低密度の対応からの形状二次曲面を使用した表面近似重複しないパッチにわたって局所二次モデルを使用して、一般的な平滑な表面を近似する。平滑とは、表面が鋭角エッジも他の不連続も含まないことを意味する。表面z=fx=fx,yは以下のように近似される。ここで、Hi、Ji、及びαiは、パッチNiを定義する二次パラメーターであり、Tは転置演算子である。表面勾配は、次の通りである。Ji及びHiは表面パラメーターであることに留意されたい。さらに、Hiは対称行列であり、カメラからの距離αiは正射影カメラ設定の場合不可観測である。局所表面パラメーター化のための二次モデルの選択は、関連付けられる表面勾配フィールドがxにおいてアフィンであるということから主に動機付けられる。これは、後述するように、反射対応を所与とした未知の表面パラメーターJi及びHiにおける線形関係をもたらす。より困難な干渉問題を解くことを代償に代替的な表面パラメーター化を使用することも十分に可能である。しかしながら、二次モデルは、広範囲の平滑な表面の良好な近似としての役割を果たす。二次曲面パッチに関する反射率対応ここで、局所二次曲面モデルの下で、式6の表面勾配関係を再解釈することができる。式6はxAにおける表面勾配と、RTxBとを関係付ける。式6は2つの点が属するパッチの表面パラメーターの観点から書き換えることができる。x∈Nk、及びRTxB∈Nmとする。そして、式8の表面勾配に関する式を式6に代入して、次の式を得る。回転Rが既知であるとき、式9は未知の表面パラメーターにおいて線形である。式9は、解空間におけるスケールの不明確性も示唆する。二次パラメーターのための解は、式も満たす別の解を得るようにスケーリングすることができる。これは、二次パラメーターに対するいかなる解も、よくても大域規模の不明確性を被ることを暗に意味している。しかしながら、この問題は、パッチのクリークが形成され、対応が同じクリーク内の近傍間のみとなる場合に、より深刻になり得る。クリークとは近傍パッチのセットである。これは潜在的に、各クリークが該クリーク自体のスケール不明確性を有することへとつながり、これによって、大域的にはるかに深刻な問題へとつながる。これを解消するために、本発明者らは、2つの隣接する近傍間の境界における表面勾配の平滑性を強制する。平滑性制約上述したように、式9のみの反射対応を強制することは、潜在的に、解消するのが非常に困難となり得る複数のスケール不明確性へとつながり得る。さらに、局所二次モデルは、近傍の境界において不連続が存在し得るという点において、必ずしも平滑な表面をもたらすとは限らない。本発明者らは、2つのパッチの境界における勾配がパッチの両側で同じになることを強制することによって、これらの問題の双方を解決する。xを2つの近傍Nm及びNnの境界におけるピクセルとする。Nm及びNnの二次モデルによって得られるxにおける表面勾配が同じであることを保証することができる。式9における関係に関して、境界平滑性制約は表面パラメーターにおいて線形であり、スケール不明確性を呈する。これは、いくつかの表面法線又は勾配の確かな情報なしに大域スケール不明確性を解消することができない点をさらに補強する。そのような情報は、いくつかの別個の点において輪郭又は法線の知識をオクルージョンすることによって潜在的に得ることができる。そのような制約を以下の本発明者らによる方法に組み込むことができる方法を説明する。表面について解く表面について解くために、局所二次曲面のパッチサイズを定義しなくてはならない。パッチを小さくすることによって表面の近似をより良好にすることができるが、表面推定問題において未知のものが増えることにつながる。表面に関する事前の知識がない場合、表面を良好に近似すると共にパラメーターの数も低減する近傍を選択することは容易でない。画像平面にわたって、重複しない正方形のパッチを選択する。該パッチのサイズは効果的に解くことができる問題のサイズに依存する。反射対応のセットXAi←→XBi}及び表面Rが受ける回転を所与とすると、ここで二次曲面パラメーターについて解くことができる。利用可能な対応ごとに、式9において与えられる関係を定式化する。次に、2つの近傍の境界間で、式10の境界平滑性制約を強制する。これらを積み重ねて、線形連立方程式系asystemoflinearsystemofequationsAΘ=0を得る。ここで、Θは全ての表面パラメーター{Ji,Hi,i=1,...,N}から構成されるベクトルである。解を行列ATAの最小固有値として定式化することによって解が得られる。代替的に、解を二次錐計画SOCP、として定式化することができる。固有値問題として解くことは、多くの場合に数値精度の観点において、より正確である。しかしながら、非常に大きな系の場合、リソース制約に起因して、固有値問題を解くことが可能でない。そのような場合、該固有値問題を凸計画として解くことが依然として可能である場合がある。凸定式化によって、利用可能であるかもしれないさらなる制約を組み込むことも可能になる。表面パラメーターを使用して、勾配フィールド231を求める230ことができる。次に、ポアソン方程式を解くことにより勾配フィールドを統合することによって、表面209が推定される。さらなる法線制約反射対応に加えて、表面法線情報が表面上の点の低密度のセットにおいて利用可能である場合がある。この情報は、既知のシーン点を観測すること、又はカメラの反射を観測すること、又はオクルージョン輪郭からもたらされる場合がある。これらのいずれの場合においても、この追加の情報が本発明者らの再構築方法にシームレスに統合されるように問題を再定式化することができる。ミラー状表面の形状を推定するための凸最適化の枠組みは、さらなる制約を組み込むその能力において、より柔軟性がある。1つのそのような制約が、表面上のいくつかのロケーションにおける表面法線又は表面勾配の知識である。そのような表面勾配のセットを所与とすると、最適化問題に制約を加えることによってこれらを強制することができる。既知の勾配のそれぞれが二次パラメーターに対し線形制約を生じさせる。ここで、以下のように定義される最適化問題を解く220ことができる。最適化問題の基本的性質は、SOCPを保つという点において変化しない。実際は、そのような追加の情報を組み込んでミラーの表面を推定するという能力は、特に表面を確実に再構築するのに十分な反射対応が存在しない場合に非常に有用である。いくつかの既知の表面勾配/法線を有することは、表面推定を規則化する際に大きな役割を果たす。以上の方法により得られる効果対応の低密度性:本発明者らの推定における表面形状の全ての情報は反射対応からのものである。RCが存在しなくても、式11における行列Aは、二次方程式の空間に広がる5次元のヌル空間を有することは注目すべきものである。RCによって生成される制約は、解を大域二次曲面から本発明者らの対象とする表面にシフトする。この意味において、反射対応の密度によって、表面上の特徴が分解される粒度が決まる。特に、表面におけるきめの細かな微妙な差異を捕捉するには、形状のかすかな変動を捕捉するRCが必要となる。ミラー表面の複雑度:ミラー形状の複雑度は、2つの形で再構築プロセスに影響を及ぼす。表面複雑度が増加するにつれ、二次想定が行われる近傍のサイズを小さくする必要がある。複雑な表面は、放物曲率の点をもたらすことによって間接的に本方法に影響を及ぼす。上述したように、有限の動きの下で、領域内で出現及び消失する特徴が放物曲率に近づく。結果として、これらの領域においてSIFT特徴を得ない可能性が存在する。本発明者らの表面再構築は鏡面再構築のために反射対応を使用する。本発明者らによるRCは、従来のSFSF法に伴う実際上の困難を回避する。ミラー表面を局所二次方程式としてモデリングすることによって、RCと表面との間の関係が線形になる。これによって、効果的な方法を使用して表面を再構築することが可能になる。要約すれば、本発明者らは、較正されていない環境の下での有限の動きの場合に、反射対応から表面形状を回復する問題を定式化する。本発明者らは、表面を局所二次曲面としてモデリングし、効果的な方法を使用して解くことができる線形定式化をもたらす。本発明者らは、低密度の反射対応しか必要としないSFSFにおける実際上の問題を回避し、実際に機能可能な解をもたらす。そして最後に、低密度の表面法線のような補助情報を組み込んで再構築を改善する方法を説明している。本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行うことができることは理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入るすべての変形及び変更を包含することである。"