"シーン内の一点PSと、反射屈折光学系のカメラの投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求める方法であって、前記反射屈折光学系は、折り返し光学素子の表面から或る距離だけ離して配置された前記カメラを備え、前記折り返し光学素子は、反射器又は屈折器から選択され、前記折り返し点は、前記表面上にあり、前記表面上の前記光線の反射又は屈折により、前記折り返し点が前記光線を入射光線と出射光線とに分割するようにすることによって生じ、前記PS及び前記COPは、3D位置によって識別され、前記方法は、前記反射屈折光学系の構成を取得するステップであって、前記反射屈折光学系は非中心式であり、前記表面は、前記表面の対称軸の周りに回転対称である二次曲面であり、前記COPは前記対称軸上に配置される、取得するステップと、前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸と前記PSとによって定義される2次元2D平面上にマッピングするステップであって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングするステップと、前記円錐、前記PS及び前記COPの前記2D位置、並びに前記入射光線及び前記出射光線に関する少なくとも1つの制約に基づいて前記2D平面上の前記折り返し点の2D位置を求めるステップと、前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求めるステップと、を含み、前記方法の前記ステップは、プロセッサにより実施される方法。前記折り返し光学素子は前記反射器であり、前記折り返し点は前記表面からの前記光線の反射点であり、前記制約は反射法則である、請求項1に記載の方法。前記反射器は球面鏡であり、前記対称軸は、前記球面鏡の中心及び前記COPを通る、請求項2に記載の方法。前記折り返し光学素子は前記屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点であり、前記制約は屈折法則である、請求項1に記載の方法。前記屈折器は屈折率球体であり、前記対称軸は、前記屈折率球体の中心及び前記COPを通る、請求項4に記載の方法。前記制約は、であり、前記折り返し点の前記2D位置の第2の座標yは、順投影FP式に従って求められ、前記折り返し点の前記2D位置の第1の座標xは、前記第2の座標yに基づいて、に従って求められ、式中、viは前記入射光線を表すベクトルであり、vrは前記出射光線を表すベクトルであり、Tは転置演算子であり、nは前記折り返し点における前記表面の法線を表すベクトルであり、uは前記PSの前記2D位置の第1の座標であり、K1y及びK2yはyの反射多項式であり、A、B、Cは前記円錐のパラメーターである、請求項2に記載の方法。前記折り返し点の前記3D位置を、に従って求めることをさらに含み、式中、z1及びz2は、前記2D平面の座標系を決める軸である、請求項6に記載の方法。前記折り返し光学素子は、球面鏡であり、前記FP式は、であり、式中、u,vは前記PSの前記2D位置であり、yは前記折り返し点の前記2D位置の第2の座標であり、rは前記球面鏡の半径であり、dは前記COPと球体の中心との間の距離である、請求項6に記載の方法。前記少なくとも1つの折り返し点は、第1の屈折点n1=[x,y]T及び第2の屈折点n2=[x2,y2]Tを含み、前記制約は、及びであり、前記第1の屈折点の前記2D位置の座標x及び座標yは、順投影FP式に従って求められ、前記第2の屈折点の座標x2及び座標y2は、に従って求められ、式中v1、v2、及びv3は、それぞれ、前記COPから前記第1の屈折点までの光路を表すベクトル、前記第1の屈折点から前記第2の屈折点までの光路を表すベクトル、及び前記第2の屈折点から前記PSまでの光路を表すベクトルであり、rは前記屈折率球体の半径であり、μは前記屈折率球体の屈折率であり、K1、K2、及びK3はx及びyの屈折多項式であり、ここで、x2=r2-y2である、請求項5に記載の方法。前記折り返し点の3D位置から前記PSの2D画像投影を、に従って求めることをさらに含み、p,qは前記2D画像投影の座標であり、Xf,Yf,Zfは前記折り返し点の座標であり、fx,fyは前記カメラのx方向及びy方向における有効焦点距離であり、Cx,Cyは前記カメラの2D主点である、請求項1に記載の方法。バンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項10に記載の方法。再投影誤差のヤコビ行列を求めることをさらに含む、請求項10に記載の方法。前記ヤコビ行列及びバンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求めることをさらに含む、請求項12に記載の方法。シーン内の一点PSと、反射屈折光学系の投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求めるように構成される前記反射屈折光学系であって、前記PS及び前記COPは、3D位置によって識別され、前記反射屈折光学系は非中心式であり、折り返し光学素子であって、前記折り返し点は、前記折り返し素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子と、前記表面から或る距離だけ離して配置されたカメラであって、前記反射屈折光学系の前記COPは、前記カメラのCOPであって、前記対称軸上に配置される、カメラと、前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸及び前記PSによって定義される2次元2D平面上にマッピングする手段であって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングする手段と、前記円錐、前記PS及び前記COPの前記2D位置に基づいて前記2D平面上の前記折り返し点の2D位置を求めるプロセッサと、前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求める手段と、を備える、反射屈折光学系。前記折り返し光学素子は反射器であり、前記折り返し点は前記表面からの前記光線の反射点である、請求項14に記載の反射屈折光学系。前記折り返し光学素子は屈折器であり、前記折り返し点は前記表面からの前記光線の屈折点である、請求項14に記載の反射屈折光学系。前記折り返し点の3D位置から前記PSの2D画像投影を、に従って求める手段をさらに備え、p,qは前記2D画像投影の座標であり、Xf,Yf,Zfは前記折り返し点の座標であり、fx,fyは前記カメラのx方向及びy方向における有効焦点距離であり、cx,cyは前記カメラの2D主点である、請求項14に記載の反射屈折光学系。バンドル調整を用いて前記シーン内の3D点と、前記反射屈折光学系のパラメーターとを同時に求める手段をさらに備える、請求項14に記載の反射屈折光学系。シーン内の一点PSと、反射屈折光学系の投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求める方法であって、前記PS及び前記COPは、3D位置によって識別され、前記反射屈折光学系は非中心式であり、前記方法は、折り返し光学素子を設けるステップであって、前記折り返し点は、前記折り返し光学素子の表面上の前記光線の折り返しによって生じ、前記表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子を設けるステップと、前記表面から或る距離だけ離して配置されたカメラを設けるステップであって、前記反射屈折光学系の前記COPは、前記カメラのCOPであり、前記対称軸上に配置される、カメラを設けるステップと、前記表面並びに前記PS及び前記COPの前記3D位置を、前記対称軸及び前記PSによって定義される2次元2D平面上にマッピングするステップであって、前記2D平面上に円錐並びに前記PS及び前記COPの2D位置を生成し、前記円錐は、前記表面を前記2D平面上でパラメーター化したものである、マッピングするステップと、前記円錐、前記PS及び前記COPの前記2D位置に基づいて前記2D平面上の前記折り返し点の2D位置を求めるステップと、前記2D平面上の前記折り返し点の前記2D位置から前記折り返し点の前記3D位置を求めるステップと、を含む、方法。前記折り返し光学素子は、反射器及び屈折器から選択される、請求項19に記載の方法。したがって、非中心反射屈折光学系の投影の解析解を提供することが望ましい。また、PSから非中心反射屈折光学系のCOPへの光線の少なくとも1つの折り返し点の3次元3D位置を解析的に求めることが望ましい。本発明の実施の形態は、非中心反射屈折光学系の特定の構成の、シーン内の一点PSの3次元3D投影は、この反射屈折光学系の3D構造を、この反射屈折光学系の折り返し光学素子の対称軸とPSとによって定義される2次元2D平面上にマッピングすることによって解析的に求めることができるという認識に基づく。折り返し光学素子は、二次曲面の対称軸の周りに回転対称であるこの二次曲面を有する反射器又は屈折器である。透視投影カメラの投影中心COPは、この対称軸上に配置される。このような反射屈折光学カメラにおいて折り返し点、例えば反射点/屈折点を求める問題は、対称軸と3Dシーン点とによって定義される2D平面上でこの問題を公式化し、反射法則/屈折法則をこの平面上で制約として用いることによって解かれる。いくつかの実施の形態は、一般的な円錐鏡の6次式を解くことによって鏡表面の反射点を求める。球面鏡の場合、式の複雑度は、4次式に低減され、閉形式解となる。解析順投影は、近似及び反復解を避け、バンドル調整による正確で高速な3D再構成に用いることができる。実施の形態は、反復順投影iterativeforwardprojectionを用いる従来の方法と比べて2桁の高速化を達成する。本発明の他の実施の形態は、反射球を介した所与の3D点から所与の視点までの光路が、10次式を解くことによって得られることを開示する。したがって、鏡と同様に、バンドル調整に順投影式を組み合わせることによって、反射球も3D再構成に用いることができる。例えば、一つの実施の形態は、シーン内の一点PSと、反射屈折光学系のカメラの投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求める方法であって、この反射屈折光学系は、折り返し光学素子の表面から或る距離だけ離して配置されたカメラを備え、この折り返し光学素子は、反射器又は屈折器から選択され、折り返し点は、表面上にあり、この表面上の光線の反射又は屈折により、この折り返し点がこの光線を入射光線と出射光線とに分割するようにすることによって生じ、PS及びCOPは、3D位置によって識別され、この方法は、反射屈折光学系の構成を取得するステップであって、この反射屈折光学系は非中心式であり、表面は、この表面の対称軸の周りに回転対称である二次曲面であり、COPは対称軸上に配置される、取得するステップと、表面並びにPS及びCOPの3D位置を、対称軸とこのPSとによって定義される2次元2D平面上にマッピングするステップであって、この2D平面上に円錐並びにPS及びCOPの2D位置を生成し、この円錐は、表面を2D平面上でパラメーター化したものである、マッピングするステップと、円錐、PS及びCOPの2D位置、並びに入射光線及び出射光線に関する少なくとも1つの制約に基づいて2D平面上の折り返し点の2D位置を求めるステップと、2D平面上の折り返し点の2D位置から折り返し点の3D位置を求めるステップと、を含み、この方法のステップは、プロセッサにより実施される、方法を開示する。別の実施の形態は、シーン内の一点PSと、反射屈折光学系の投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求めるように構成されるこの反射屈折光学系であって、PS及びCOPは、3D位置によって識別され、この反射屈折光学系は非中心式であり、折り返し光学素子であって、折り返し点は、この折り返し素子の表面上の光線の折り返しによって生じ、この表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子と、表面から或る距離だけ離して配置されたカメラであって、この反射屈折光学系のCOPは、このカメラのCOPであって、対称軸上に配置される、カメラと、表面並びにPS及びCOPの3D位置を、対称軸及びこのPSによって定義される2次元2D平面上にマッピングする手段であって、この2D平面上に円錐並びにPS及びCOPの2D位置を生成し、この円錐は、表面を2D平面上でパラメーター化したものである、マッピングする手段と、円錐、PS及びCOPの2D位置に基づいて2D平面上の折り返し点の2D位置を求めるプロセッサと、2D平面上の折り返し点の2D位置から折り返し点の3D位置を求める手段と、を備える、反射屈折光学系を開示する。さらに別の実施の形態は、シーン内の一点PSと、反射屈折光学系の投影中心COPとの間の光線の少なくとも1つの折り返し点の3次元3D位置を求める方法であって、このPS及びこのCOPは、3D位置によって識別され、反射屈折光学系は非中心式であり、この方法は、折り返し光学素子を設けるステップであって、折り返し点は、この折り返し光学素子の表面上の光線の折り返しによって生じ、この表面は、対称軸の周りに回転対称である二次曲面である、折り返し光学素子を設けるステップと、表面から或る距離だけ離して配置されたカメラを設けるステップであって、反射屈折光学系のCOPは、このカメラのCOPであり、対称軸上に配置される、カメラを設けるステップと、表面、並びにPS及びCOPの3D位置を、対称軸とこのPSとによって定義される2次元2D平面上にマッピングするステップであって、この2D平面上に円錐並びにPS及びCOPの2D位置を生成し、この円錐は、表面を2D平面上でパラメーター化したものである、マッピングするステップと、円錐、PS及びCOPの2D位置に基づいて2D平面上の折り返し点の2D位置を求めるステップと、2D平面上の折り返し点の2D位置から折り返し点の3D位置を求めるステップと、を含む、方法を開示する。本発明は、反射屈折光学撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中心反射屈折光学系の順投影及び逆投影の解析式を提供する。さらに、解析FP及びヤコビ行列式の計算は、バンドル調整の実行時間を大幅に削減する。したがって、非中心モデルを用いる計算複雑度は、中心近似の計算複雑度に近くなる。方法及びシステムの概略本発明の実施の形態は、非中心反射屈折光学系の特定の構成の、シーン内の一点PSの3次元3D投影は、この反射屈折光学系の3D構造を、この反射屈折光学系の対称軸とPSとによって定義される2次元2D平面上にマッピングすることによって解析的に求めることができるという認識に基づく。このような構成は、反射器又は屈折器の表面から或る距離だけ離して配置されたカメラを有する非中心反射屈折光学系を含み、この表面は、二次曲面であり、対称軸の周りに回転対称であり、この反射屈折光学系内で用いられるカメラの投影中心COPは、対称軸上に配置される。2D平面は、対称軸とPSとによって定義され、投影の2D解は、反射屈折光学系の回転対称性のため、部分的に3D投影を表す。図1Aは、本発明の実施の形態による方法のブロック図を示す。本方法は、或るPS、例えばPS130と、或る表面、例えば光学折り返し素子の表面106から或る距離だけ離して配置された或るカメラ、例えばカメラ121を有する反射屈折光学系171の或るCOP、例えばCOP120との間の光線の少なくとも1つの折り返し点の3次元3D位置199を求めるものであり、折り返し点は、この表面上にあり、この表面で光線を折り返すことにより、この折り返し点が光線を入射光線と出射光線とに分割するようにすることによって生じ、PS及びCOPは3D位置176によって識別される。この方法のステップは、当該分野で知られているようなプロセッサ101によって行われる。反射屈折光学系の構成175を取得する170。この反射屈折光学系は非中心式であり、反射器又は屈折器の表面は、或る対称軸、例えば軸110の周りに回転対称である二次曲面であり、COP120は対称軸上に配置される。実施の形態において、カメラは、ピンホールカメラである。様々な実施の形態において、構成175は、既存の反射屈折光学系の構成又はこの反射屈折光学系のモデルである。上記実現において、表面と、PSの3D位置と、COPとは、或る2D平面、例えば、対称軸とPSとによって定義される平面140上にマッピングされ180、円錐曲線105’並びに2D平面上のPS及びCOPの2D位置186が作成される。円錐曲線は、表面を2D平面上でパラメーター化したものである。折り返し点の2D位置191は、円錐曲線、PS及びCOPの2D位置、並びに反射法則又は屈折法則によって定義される入射光線及び出射光線に関する少なくとも1つの制約193に基づいて求められる190。例えば、実施の形態において、反射屈折光学系は反射器を含み、折り返し点は3D表面からの光線の反射点であり、制約は反射法則である。本実施の形態の一変形形態において、反射器は球面鏡であり、対称軸は、球面鏡の中心とCOPとを通る。別の実施の形態において、反射屈折光学系は屈折器を含み、折り返し点は光線の3D表面からの屈折点であり、制約は屈折法則である。本実施の形態の一変形形態において、屈折器は屈折率球体であり、対称軸は屈折率球体の中心とCOPとを通る。その後、折り返し点の3D位置を求め、PSの2D画像投影を次式に従って求めることができる。式中、p,qは2D画像投影の座標であり、Xf,Yf,Zfは折り返し点の座標であり、fx,fyはカメラのx方向及びy方向における有効焦点距離であり、cx,cyはカメラの2D主点である。二次曲面鏡の順投影図1Bは、本発明の実施の形態による反射屈折光学系の一例を示す。この反射屈折光学系は、非中心式であり、反射器又は屈折器から選択された折り返し光学素子105の表面106から或る距離だけ離して配置されたカメラ121、例えば透視投影カメラを含む。このカメラは、表面を撮像するように構成される。本実施の形態において、反射屈折光学系は、反射器、すなわち鏡を含む。他の実施の形態は、反射器の代わりに屈折器を含み、反射屈折光学系が反射器及び屈折器のうちの少なくとも一方を含むようにする。表面106は二次曲面であり、対称軸110の周りに回転対称であり、COP120はこの対称軸上に配置される。本発明の実施の形態は、シーン内の一点PS130と、反射屈折光学系のCOP120とをつなぐ光線の少なくとも1つの折り返し点160の3D位置を求める。光線の折り返し点は、表面106上にある。折り返し点は、この表面上の光線の反射又は屈折により、この屈折点が光線を入射光線131と出射光線132とに分割するようにすることによって生じる。説明のために、3D座標系のz軸は対称軸、例えば鏡軸である。カメラ121は、鏡軸上の原点111から距離d122だけ離して配置されたピンホールカメラとすることができ、P=[X,Y,Z]TはPSであり、X、Y、Zは、3D座標系におけるPSの3D位置の座標である。鏡は回転対称であるため、PSの鏡面反射は、対称軸とPSとによって定義される2次元2D平面π140において解析される。z1,z2を、2D平面πのローカル座標系を決める軸とする。この平面において、PSの2D位置Pはp=[u,v]Tであり、uはPSの2D位置の第1の座標であり、u=Ssinθであり、vはPSの2D位置の第2の座標であり、v=Zであり、ここで、Zは、対称軸に対応する軸の座標であり、は、PSから原点111までの距離であり、角度θ=cos-1Z/Sは、鏡軸と、原点からPSまでの直線151との間の角度150である。平面πにおいて、表面は、2D平面上で関数Az22z12Bz2=Cによって記述される円錐断面105’以下、円錐曲線としてパラメーター化される。式中、A、B、Cは、以下でより詳細に説明するように、二次曲面の種類に依存するこの関数のパラメーターである。折り返し点mが2D位置m=[x,y]Tを有する場合、である。入射光線のベクトルviはvi=[x,y-d]Tであり、折り返し点mにおける法線ベクトルnはn=[x,B/2Ay]Tである。反射法則を用いると、出射光線すなわち反射光線のベクトルは、vr=vi-2nnTvi/nTnである。出射光線は点Pを通るため、yの関数はfy=vr×p-m=0となり、式中、xは外積を表す。実施の形態において、関数fyの分子は、次のように因数分解される。式中、K1y及びK2yは、のように定義されるyの反射多項式であり、個々の項は、次式によって与えられる。関数fy=0であるため、式1の平方根項を次のように取り除く。したがって、本発明の実施の形態は、座標yに関して6次順投影FP式を定義して用いる。式中、uはPSの2D座標の第1の要素であり、K1y及びK2yは式1において定義されるyの多項式であり、A、B、Cは円錐曲線式のパラメーターである。所与の点Pに関して、式2を解くと座標yの6つの解が得られる。最終的な解は、入射光線及び出射光線に関する制約、例えば反射法則及び/又は屈折法則を解毎に確認することによって決まる。例えば、図1Aに示すように鏡を含む実施の形態において、最終的な解は、反射法則の制約、すなわち、を考慮する。式中、viは入射光線を表すベクトルであり、vrは出射光線を表すベクトルであり、Tは転置演算子であり、nは折り返し点における表面の法線を表すベクトルである。したがって、実施の形態は、2D平面上の折り返し点の2D位置を、円錐曲線、PS及びCOPの2D位置、並びに入射光線及び出射光線に関する少なくとも1つの制約に基づいて求め、次に、この2D平面上の折り返し点の2D位置から折り返し点の3D位置を求める。例えば、図1Bに示す実施の形態において、折り返し点の3D位置は、次式に従って求められる。式中、である。本発明の様々な実施の形態は、上述の6次FP式を用いて、折り返し点の2D位置を求める。しかし、円錐曲線の種類によっては、EP式が後述のように単純化される。折り返し点の3D位置は、2D平面上の折り返し点の2D位置から求められる。球面鏡の順投影実施の形態において、反射屈折光学系は球面鏡を含み、その場合、FP式の次数が下がる。パラメーターA=1、B=0、C=r2をFP式に代入するとここで、rは球面鏡の半径であり、dはCOPと球体の中心との間の距離である、4次順投影式が得られる。FP式が4次式であるため、実施の形態は、累乗根に関して座標yの閉形式解を求める。また、本実施の形態において、COPの位置は制限されない。あらゆるCOP、例えばピンホール位置に関して、ピンホールから球面鏡までの新たな軸が定義される。いくつかの二次反射器のFP式の次数表1は、非中心反射屈折光学系の球面鏡A=1、B=0、C>0、楕円面鏡B=0、双曲面鏡A<0、C<0、及び放物面鏡A=0、C=0のFP式の次数を示す。屈折率球体の順投影図2は、本発明の別の実施の形態による屈折率球体を介した撮像のための順投影式を定義して用いる概略図を示す。本実施の形態は、半径r及び屈折率μの屈折率球体200を含む反射屈折光学系を用いる。例えば、半径rの屈折率球体は座標系の原点205に配置され、ピンホールカメラ210は原点から距離dだけ離して配置される。上述したように、実施の形態は、対称軸230とPSp240とによって定義される2D平面220上の投影を解析する。点n1=[x,y]T及びn2=[x2,y2]Tは、光線の折り返し点である。すなわち、球体上の第1の屈折点250は座標x,yを有し、球体上の第2の屈折点255は座標x2,y2を有し、ベクトルv1、v2、及びv3は、それぞれ、COPから第1の屈折点までの光路を示すベクトル、第1の屈折点から第2の屈折点までの光路を示すベクトル、及び第2の屈折点からPSまでの光路を示すベクトルである。すると、v1=[x,y-d]Tであり、n1Tn1=n2Tn2=r2である。入射光線vi、及び屈折率μ1の媒体と屈折率μ2の媒体とを分離する表面における法線nに基づき、屈折光線vrは、vr=avibnに従ってベクトル形式で書き表される。式中、である。したがって、次式が成り立つ。ここで、符号は、別の制約を用いて求められる。すなわち、ベクトルvrTn及びviTnの符号は同一である。ピンホールから球体へ向かう接線方向の光線はy=r2/dにあるため、有効な屈折点の場合、y≧r2/dである。したがって、v1Tn1=r2-dy≦0であり、次式が成り立つ。第2の屈折点n2は、定数λに関してn1λv2に等しく、λは、次式に従って求められる。式中、である。出射する屈折光線は、いくつかのb3の場合にv3=μv2b3n2である。球体の対称性のために、v3Tn2=-v1Tn1であり、v2Tn2=-v2Tn1である。したがって、b3=-v1Tn1-μv2Tn1/r2である。出射する屈折光線v3は、PSp=[u,v]Tを通るため、v3×p-n2=0である。全ての項を代入することによって、次の式が得られる。式中、A=d2μ2r2-d2x2-2dμ2r2yμ2r4であり、K1、K2及びK3は、x及びyの屈折多項式である。実施の形態において、式18の平方根項は次のように取り除かれる。これを単純化すると、x及びyの両方において8次多項式となる。xの奇数乗を片側に置き、2乗し、x2=r2-y2を代入し、これを単純化すると、yの10次式となる。屈折率球体に関して得られる光路図3a~cは、本発明のいくつかの実施の形態による、FP式を解くこと、及び屈折率球体の折り返し点を求めることの一例を示す。所与のPSp240に関して、式19を解くとyの10個の解が得られる。一般に、PSが対称軸上にない場合、10個の解のうち8個の解のみが実数であり、そこから図3aに示すように対応する光路が得られる。制約y≧r2/dは、考え得る解をさらに、図3bに示す4つの解に減らす。図3cに示す最後の解は、別の制約を用いて、すなわち、考え得る解毎に屈折法則を試すことによって求められる。疎な3D再構成解析順投影AFP:analyticalforwardprojectionを疎な3D再構成、すなわち、バンドル調整アルゴリズムを用いてシーン内の3D点と、反射屈折光学系のパラメーターとを同時に求めることに用いる。実施の形態において、反射屈折光学系は、複数の球面鏡を撮像する単一の透視投影カメラを含む。このような鏡の一例はステンレススチール球である。内部カメラ校正は、別々にオフラインで行われ、半径は分かっている。鏡の中心の3D位置は、後述するように求められる。解析順投影を用いたバンドル調整Ci=[Cxi,Cyi,Czi]T、i=1...Mを球体中心とし、Pj=[Pxj,Pyj,Pzj]T、j=1...Nを、ピンホールカメラを原点に配置したときのカメラ座標系における3DPSとする。FP式3を3Dの量に関して書き換える。所与の3D点Pj及び鏡の中心Ciに関して、2D平面πを定義する直交ベクトルZ1及びZ2は、z2=-Ci及びによって与えられる。さらに、次式が成り立つ。式3にd、v及びuを代入することによって、FP式は次のように書き換えられる。ここで、各係数ciは、Pj及びCiのみの関数である。一般に、シーン点が球体の外側にあり、球面反射により見える場合、4つの考え得る解がある。単一の正しい解は、考え得る解毎に反射法則を確認することによって求められる。解を用いて、球体上の3D反射点は、次式によって求められる。最後に、2D画像の投影画素が、次式によって求められる。ここで、fx,fy及びcx,cyは、それぞれ、カメラの焦点距離及び主点である。をi番目の球体のj番目の3D点の画像投影とし、を、球体中心及び3Dシーン点の現在の推定値から求められた現在の推定値とする。各対i,jは2ベクトルの誤差関数を与え、平均再投影誤差は、となる。バンドル調整は、初期解から始めて誤差Eを最小化することによって行われる。初期3D点は、それぞれの逆投影光線の最短横断線の中心として得られる。初期球体中心は、取得された画像を用いて得られる。ヤコビ行列式の計算別の実施の形態は、AFPを用いて、再投影誤差のヤコビ行列を解析的に求める。これは、バンドル調整工程を加速する。tを未知数とする。すると、次式が成り立つ。Xm、Ym、Zmは座標yに依存するため、上記の導関数は、∂y/∂tに依存する。通常、座標yの閉形式の式は、∂y/∂tを求める必要がある。しかし、本発明の実施の形態は、FP式10の導関数を取る代替的な手法を用いて、次式を得る。所与の3D点Pj及び球体中心Ciに関して、yは、FP式を解くことによって計算され、これを式14に代入して∂y/∂tを求めることができる。各未知数に関する再構成誤差の勾配は、式11、式13、及び式14を用いて求められる。異常値の除去による3D再構成いくつかの実施の形態は、対応する画像点が、スケール不変の特徴点変換SIFT等の特徴点マッチングアルゴリズムを用いて推定され、異常値及び誤一致を常に含むことを考慮する。これらの実施の形態は、異常値の除去と共にバンドル調整を繰り返すことによって再構成を行う。各バンドル調整ステップ後に、再投影誤差が平均再投影誤差の2倍よりも大きい3D点を除去する。AFPはバンドル調整時間を大幅に削減するため、実施の形態は、そのような除去を複数回繰り返し、異常値の処理に効果的である。したがって、解析FPは、中心近似を用いることなく、複雑な非中心モデルを異常値の除去に使用することを可能にする。球体中心の設定及び初期推定値実施の形態は、例えば、3インチ約7.62センチメートルの間隔で配置された半径0.75インチ約1.91センチメートルの4つの球面鏡を用い、マミヤMamiya645AFDカメラを用いて単一の画像を取得する。フォト画像の各球体画像は、1,300×1,300の解像度を有する。初期球体中心を求めるために、本実施の形態は、球体に対して接線方向の光線に対応して各球体境界のいくつかの点に印を付け、全ての接線方向の光線と同一の角度αを成す中心光線を求める。球体中心は、中心光線に沿ってr/sinαの距離にある。反復順投影vs解析順投影従来の反復順投影IFP:iterativeforwardprojectionはまず、中心近似を用いて3D点の初期画像投影を計算し、次に、非線形最適化を行って、3D点と逆投影光線との間の距離を最小化する。単一の球体により105個の3D点を投影する場合、IFPは1,120秒かかるのに対し、AFPは13.8秒しかかからない。すなわち、~80倍速い。AFPは、解析的なヤコビ行列式の計算と共に、バンドル調整を用いた3D再構成のためのIFPに比べて2桁速い速度を達成する。球面鏡の逆投影図4は、本発明の実施の形態による球面鏡の逆投影の概略図を示す。本実施の形態は、逆投影式を行列ベクトル形式に書き換える。例えば、或る点Cp=[0,0,-d]Tは、COP400であり、半径rの球面鏡410は、原点420に配置される。画像点q430において、s=K-1qは光線の方向435であり、ここで、K3×3は内部カメラ校正行列である。鏡との交差点bは、であり、ここで、S3はSの第3の要素であり、bTb=r2であり、bにおける法線はb/rである。vi=b-Cpであるため、出射ベクトルvrは、であり、鏡軸とm=[0,0,k]Tにおいて交わり、ここで、k=dr2/2db3r2である。したがって、反射した3D光線のプリュッカー座標は、L=bT-mT,b×mTTである。L450及びL-455を用いて、viと球体b460及びb-465との2つの交点に対応する反射光線を表す。2本の線を、対称な6×6行列として記述される2次線複素linecomplexCにより表す。式中、~は行列がスケールファクターまで等しいことを表す。b及びmを代入することによって、sの4次単項式quarticmonomialsを含む線複素Cを得る。vsymcをC21ベクトルの右上の三角部分の列毎のベクトル化とし、を辞書式順序15ベクトルにおけるsの2倍doublelifted座標とすると、以下の行列が得られる。次に、行列ベクトル形式の逆投影式を得る。ここで、Br,dは、r及びdのみに依存する疎な21×15行列である。球面鏡のエピポーラ曲線実施の形態は、球体を中心とする座標系において定義され、プリュッカー座標でL0として表される3D光線を考慮する。この光線は、である場合にのみ線複素Cと交わる。線複素CはSの4次単項式を含むため、制約は、4次曲線となる。したがって、L0の投影は、球面鏡の画像における4次曲線のように見える。これは、球面鏡に基づく反射屈折光学系が、4次エピポーラ曲線を与えることを意味する。本実施の形態は、FP式を用いて、エピポーラ曲線の次数及び形状を検証する。図5は、EP式を用いて、式19に基づいて解析的に求められたエピポーラ曲線510と、3D点をL0に投影することによって得られた曲線520とを比較するグラフである。曲線の形状は、解析4次曲線の連続断面である。また、画像点は、L0上で3D点が±∞に近づくにつれて収束する。透視投影カメラと同様に、4次エピポーラ曲線は、密なステレオマッチングの探索空間を制限するために用いることができる。通常、対応する一致がほぼ線に沿って配置されていると仮定するイプシロン-ステレオ制約等の近似が用いられる。しかし、実施形態は、非中心球面鏡カメラに対して解析2Dエピポーラ曲線を提供する。一般的な円錐鏡のFP式は、他の非中心円錐型反射屈折光学系の一致探索も単純化する。本発明の実施の形態は、反射屈折光学撮像の分野を理論的かつ実用的に進化させる。実施の形態は、多様な非中心反射屈折光学系の順投影及び逆投影の解析式を提供する。さらに、解析FP及びヤコビ行列式の計算は、バンドル調整の実行時間を大幅に削減する。したがって、非中心モデルを用いる計算複雑度は、中心近似の計算複雑度に近くなる。"