【手続補正書】
【提出日】平成26年10月7日(2014.10.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
現実世界の物体の３Ｄモデルを生成するためのシステムであって、
前記システムは、
カメラモデラーと、
物体モデラーを含み、
前記カメラモデラーは、
カメラパラメータを受け取る第１入力部
第１の物体の第１と第２の画像それぞれの点に対応する第１と第２の点集合を受け取る第２の入力部を含み、
カメラモデラーは、受け取ったカメラパラメータに従って、第１と第２の点集合を投影したものを３Ｄ空間に提供し、
前記物体モデラーは、
投影したものを受け取る入力部、
投影したものに基づいて第１の物体の３Ｄモデルを提供する第１の出力部、および、
投影誤差を予測する第２の出力部を含み、
前記システムは、投影誤差の予測に従って、少なくとも１つのカメラパラメータを調節し、
前記カメラモデラーは、少なくとも１つの調節されたカメラモデルパラメータに基づいて、第１と第２の点集合を投影し、それによって、物体モデラーが第１の物体の誤差を修正した３Ｄモデルを提供することを可能にする、システム。
【請求項２】
誤差を修正した３Ｄモデルを受け取るための入力部を含むレンダリングユニットをさらに含み、前記レンダリングユニットは、誤差を修正した３Ｄモデルに基づいて、第１の物体の２Ｄ表示を提供する、請求項１に記載のシステム。
【請求項３】
誤差を修正した３Ｄモデルの２Ｄ表示を受け取るための入力部を含む、第１の物体の２Ｄ表示を表示する２Ｄ表示装置と、
オペレータが、第１の物体の寸法を測定するために、前記第１の物体の２Ｄ表示に相互作用することを可能にする、表示装置につなげられたオペレータ制御装置をさらに含む、請求項２に記載のシステム。
【請求項４】
現実世界の物体の第１と第２の２Ｄ画像を表示するように構成された表示装置と、
オペレータが、第１と第２の点集合を定義するために、表示された２Ｄ画像と相互作用することを可能にする、表示装置につながれたオペレータ入力装置をさらに含む、請求項１に記載のシステム。
【請求項５】
表示装置は、第２の物体の１つの画像をさらに表示するように構成され、オペレータ入力装置は、オペレータが、誤差を修正した３Ｄモデルに基づいて、表示された第１の画像、表示された第２の画像、および、表示されたレンダリングされた画像の１つの中に、第２の物体の画像を位置付けることを可能にするように構成される、請求項４に記載のシステム。
【請求項６】
第１の物体の３Ｄモデルを生成するための方法であって、
前記方法は、
第１と第２の初期カメラパラメータで、カメラモデラーを初期化する工程、
前記第１の物体の第１と第２の画像の中に現れる前記第１の物体の点に対応する第１と第２の２Ｄ点集合を、カメラモデラーによって受け取る工程、
カメラモデラーによって、第１と第２の２Ｄ点集合を３Ｄモデル空間に投影する工程、
投影したものに基づいて前記第１の物体の３Ｄモデルを含むように、３Ｄ座標を決定する工程、
投影された第１と第２の２Ｄ点集合に関連した誤差を測定する工程、
第１と第２の２Ｄ点集合が、修正されたカメラパラメータに従って再投影されるように、誤差に従って第１と第２の初期のカメラパラメータの少なくとも１つのパラメータを調節する工程、および、
再投影した第１と第２の２Ｄ点集合に基づいて前記第１の物体の３Ｄモデルを含むように、３Ｄ座標を決定する工程を含む、方法。
【請求項７】
投影する工程、３Ｄ座標を決定する工程、誤差を測定する工程、および、カメラパラメータを調節する工程は、測定された誤差があらかじめ決められた誤差以下となるまで、繰り返される、請求項６に記載の方法。
【請求項８】
繰り返される工程と、誤差を測定する工程は、あらかじめ決められた誤差に収束する時間を最適化するために、少なくとも１つのパラメータを展開させることによって行われる、請求項７に記載の方法。
【請求項９】
表示装置上で表示するために、誤差を修正した３Ｄモデルをレンダリングする工程をさらに含む、請求項６に記載の方法。
【請求項１０】
第３の画像中に現れる第２の物体を表す第３の点集合を受け取る工程、
３Ｄモデル空間中の第３の点集合に作用することによって、第１の物体のスケールと配向に一致するように、表された第２の画像スケールと前記配向を調節する工程、
第１の物体によって第２の物体を表示する工程をさらに含む、請求項６に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明のこれらと他の物体、特徴、および利点は、図面とあわせて考慮された本発明の以下の詳細な記載の考察から明らかとなるであろう。さらに、例証的な３Ｄモデリングシステムは、本発明の実施形態に従って、補助的な物体サイズ決定システムと協働してもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
【図１】本発明の３Ｄモデリングシステムの実施形態の一例の展開を説明する図である。
【図２】本発明の実施形態による方法を説明するフローチャートである。
【図３】本発明の例証的な実施形態における使用に適した、家の屋根を含む物体の上から見た図を含む、例証的な第１の画像を示す。
【図４】本発明のいくつかの例証的な実施形態における使用に適した、図３で屋根が描かれた家の正面図を含む例証的な第２の画像を示す。
【図５】図３と４で説明された第１と第２の画像における例証的な３Ｄ点に対応する例証的な２Ｄ点の集合を含むリストである。
【図６】図３と４で説明された第１と第２の画像から選ばれた、直角を含む３Ｄ点の例証的なリストを示す。
【図７】図３と４で説明された第１と第２の画像から選ばれた、基平面を含む３Ｄ点の例証的なリストを示す。
【図８】本発明の実施形態によって３Ｄ点を生成する方法のフローチャートである。
【図９】本発明の実施形態によって誤差を予測する方法のフローチャートである。
【図１０】本発明の実施形態によって、カメラモデラーにカメラパラメータを供給するのに適した例証的なカメラパラメータジェネレーターの機能の概念図である。
【図１１】本発明の実施形態に応じてカメラモデラーの初期の第１のカメラパラメータを生成する方法の工程を説明するフローチャートである。
【図１２】本発明の実施形態に応じてカメラモデラーの第２のカメラパラメータを生成する方法の工程を説明するフローチャートである。
【図１３】本発明の実施形態に従って、表示装置上で提供された例証的なグラフィカルユーザーインターフェース（ＧＵＩ）に表示され、および、オペレータが物体の点集合を生成することを可能にする、物体の例証的な画像を示す。
【図１４】本発明の実施形態に応じて、物体の誤差修正３次元モデルを提供するための工程を示す。
【図１５】本発明の代替的な実施形態に応じて、物体の誤差修正３次元モデルを提供するための工程を示す。
【図１６】本発明の実施形態に応じて、第１と第２の画像からの点集合の投影に基づいて３次元モデルを提供する、例証的な３次元モデルジェネレーター（ｍｏｄｅｌ  ｇｅｎｅｒａｔｏｒ）を説明する概念図である。
【図１７】例証的な第１と第２のカメラによって定義される例証的な３次元モデル空間を示し、第１と第２のカメラの１つは、本発明の実施形態に応じて平面図に従って初期化される。
【図１８】本発明の実施形態によって、修正されたカメラパラメータを提供するための方法の工程を例証して記載する。
【図１９】本発明の実施形態に応じて、第１と第２の画像、カメラモデラー、および、モデルジェネレーター間の関係を説明する概念図である。
【図２０】本発明の実施形態によって、３Ｄモデルを生成して保存するための方法の工程を示す。
【図２１】本発明の実施形態による、３次元モデル生成システムを示す。
【図２２】本発明の実施形態によって、カメラパラメータを調節するための方法を説明するフローチャートである。
【図２３】本発明の実施形態による、例証的な３Ｄモデリングシステムのブロック図である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】変更
【補正の内容】
【００１９】
１つの実施形態では、住宅の第１と第２の画像は、システム（１００）によって受け取られ、オペレータ（１１３）に表示される。オペレータ（１１３）は、３次元モデルジェネレーター（９５０）に提供される点集合（制御点）を生成するために、画像と相互に作用する（ｉｎｔｅｒａｃｔ）。モデルジェネレーター（９５０）は、物体の３次元モデル（９５１）を提供する。３次元モデル（９５１）は、レンダリングエンジン（９９５）によって、２Ｄ表示装置（１０３）上に表示するためにディスプレイインターフェース（９９３）を介してレンダリングされる。オペレータ（１１３）は、表示された物体と相互に作用するために、測定アプリケーション（９９２）を使用して、表示装置（１０３）に表示された物体の寸法を測定する。モデルの測定は、第１と第２の画像のスケールに関する情報に基づいた現実世界の測定に変換される。したがって、現実世界の物体の測定は、現場を訪れる必要なくなされる。本発明の実施形態は、物体の少なくとも２つの写真の画像に基づいて、構造の３次元モデルを生成することができる。図２１も同様のシステム構成要素を示している。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
（図２）
図２は、本発明の実施形態に応じた物体の３次元モデルに基づいて現実世界の物体を測定する方法（２００）を例証および記載している。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
第１と第２の画像内の対応点を示すために、オペレータは、第１の画像（１０７）と第２の画像（１０８）の各々で物体の対応する部分上に表示された証拠（ｉｎｄｉｃｉａ）を置く。例えば、証拠は、第１の画像（１０７）内の物体（１０２）の点Ａの上に置かれ、次に、第２の画像（１０８）内の物体（１０２）の対応部分Ａの上に置かれる。各点で、オペレータは、例えば、右または左のマウスをクリックするか、あるいは、他の選択機構を操作することによって、点の選択を示す。トラックボール、キーボード、ライトペン、タッチスクリーン、ジョイスティックなどの他のデバイスは、本発明の実施形態で使用するのに適している。したがって、オペレータは、図５に説明されるような制御点の対（５０３）のリスト（５００）を作るために、第１と第２の画像と相互に作用する（例えば、リスト（５００）は第１の画像の制御点（５０５）と第２の画像の制御点（５０７）を含んでもよい）。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
（図６および図７）
図７は、接地面を定義する点（７０３）のリスト（７００）を説明する。本発明のいくつかの実施形態では、生成された３Ｄモデルは、接地平行線を参照することにより改良される。図７は、図５で説明された制御点の例証的なリストからの制御点（７０３）の例証的なリスト（７００）を示し、図７における制御点（７０３）は、本発明の実施形態によって接地平行線を含む。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
図６は、物体に関連した直角を定義する点（６０３）のリスト（６００）を説明する。接地面のように、直角は、３次元モデルを改良するために本発明のいくつかの実施形態で使用されることもある。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
本発明の様々な実施形態にかかるシステムにおいて、図１乃至７に関して説明されたように、オペレータは、表示装置（１０３）に表示された第１と第２の画像から、第１と第２の画像点集合を選択する。第１のカメラ行列（カメラ１）は、第１の画像から点集合を受け取る。第２のカメラ行列（カメラ２）は第２の画像から点集合を受け取る。モデル生成は、カメラ１およびカメラ２の行列に初期パラメータを提供することによって始まる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５１
【補正方法】変更
【補正の内容】
【００５１】
カメラパラメータモデリングユニット（８１５）は、関係をモデル化するように構成され、制約は、選択された第１と第２の画像の属性に少なくとも部分的に基づいた第１と第２パラメータ集合を含むパラメータ間の関係を記述する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
本発明のカメラパラメータモデルは、カメラパラメータの無効な、または、ありそうもない部分的な組み合わせの選択を防ぐために、第１と第２のカメラ上の位置の制約に関する十分な情報を具現化する。したがって、３次元モデルを生成する計算時間は、例えば、不可能な、さもなければ無効なまたはありそうにないカメラ位置のパラメータ値が検査パラメータに含まれる場合の計算時間よりも短い。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
オイラー角は、基準（カメラ）フレームを、参照した（３次元モデル）フレームに移動させる、３つの合成回転（ｃｏｍｐｏｓｅｄ  ｒｏｔａｔｉｏｎ）を表す。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
したがって、任意の配向は、３つの基本的な回転（１つの軸のまわりの回転）を組み合わせることによって表すことができ、任意の回転行列は、３つの基本的な回転行列の積として分解され得る。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
点の対における各々の点に関して、モデルユニットは、該点を含む画像をキャプチャした対応する仮想カメラを介して、視線（または光線）を投影する。第１の画像エピポールを通り抜ける線と、第２の画像エピポールを通り抜ける線は、理想的な条件下で、例えば、カメラモデルが画像をキャプチャするために用いられる実際のカメラを正確に表すとき、ノイズがないとき、および、点の対の特定が第１と第２の写真の間で正確でかつ一貫していたときに、交差する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
３Ｄモデルジェネレーターユニット（９５０）は、本発明の１つの実施形態において、三角測量技術を使用して、第１と第２のカメラモデルによって投影された光線の交点を測定する。一般に、三角測量は、点に対する距離を適切に測定するよりもむしろ、固定された基線のいずれか一方の端部にある既知の点から、点に対する角度を測定することによって、点の位置を測定するプロセスである。該点は、その後、１つの既知の辺と２つの既知の角度を備えた三角形の第３の点として固定され得る。点に対する座標と距離は、その点と２つの他の既知の基準点によって形成された三角形の角度と辺の測定を前提として、三角形の１つの辺の長さを計算することによって見出される。誤差のない文脈において、交差座標は、３次元モデル空間における点の３次元位置を含む。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
本発明のいくつかの実施形態によれば、３次元モデル（９５１）は、現実世界の構造の３次元表示を含み、該表示は、座標系、例えば、デカルト座標系に対して参照された幾何学的なデータを含む。本発明のいくつかの実施形態では、３次元モデルは、グラフィックデータファイルを含む。３次元表示は、計算と測定を行う目的のために、処理装置（図示せず）のメモリに保存される。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
３次元モデルは、３Ｄレンダリングプロセスによって、２次元画像として視覚的に表示され得る。ひとたび、本発明のシステムが３次元モデルを生成すると、レンダリングエンジン（９９５）は、ディスプレイインターフェース（９９３）によって表示装置（１０３）上で該モデルの２Ｄ画像をレンダリングする。従来のレンダリング技術は、本発明の実施形態で使用するのに適している。レンダリングに加えて、３次元モデルは、さもなければ、グラフィックまたはノングラフィックなコンピューターシミュレーションおよび計算に役立つ。レンダリングされた２Ｄ画像は、後で見るために保存されてもよい。しかしながら、本明細書に記載の本発明の実施形態は、オペレータ（１１３）が制御点対を示す際に、表示装置（１０３）上にほぼリアルタイムで２Ｄ画像を表示することができる。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００６２
【補正方法】変更
【補正の内容】
【００６２】
オペレータ（１１３）は、システム（１００）へのダウンロードのために少なくとも２つの画像を選択する。本発明の１つの実施形態では、第１の選択された画像は、住宅の平面図である。第２の選択された画像は、住宅の斜視図である。オペレータ（１１３）は表示装置（１０３）に両方の画像を表示する。マウスまたは他の適切な入力装置を使用して、オペレータ（１０３）は、第１と第２の画像上の点の集合を選択する。第１の画像中で選択されたすべての点について、対応する点は、第２の画像中で選択される。上に記述されたように、システム（１００）によって、オペレータ（１０９）は、２次元の表示装置（１０３）に表示された２次元の（２−Ｄ）画像と相互作用して操作することができる。図１の簡略化された例では、少なくとも１つの２Ｄ画像、例えば、第１の写真画像（１０７）は、処理装置によって画像（１０）のソースから得られる。本発明の他の実施形態では、２Ｄ画像の適切なソースは、処理装置に保存され、表示装置（１０３）上で表示するために、オペレータ（１１３）によって選択可能である。本発明は、使用される画像ソースの数およびタイプに関して限定されない。もっと正確に言えば、様々な画像ソース（１０）は、表示装置（１０３）上での獲得と表示のために、２Ｄ画像を含むのに適している。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００６３
【補正方法】変更
【補正の内容】
【００６３】
例えば、上に記載された例証的な実施形態において、本発明は、構造の画像に基づいて、住居構造の寸法を遠隔測定するために展開される。それらの実施形態では、マイクロソフト（商標）によって維持されているような商用の地理的な画像データベースが、２Ｄ画像の適切なソースである。本発明の実施形態のなかには、２Ｄ画像の１つ以上のソースに依存するものもある。例えば、第１の画像（１０７）は、第１の画像ソースから選択され、第２の画像（１０８）は第２の無関係な画像ソースから選択される。消費者用撮像デバイス、例えば、使い捨てカメラ、ビデオカメラなどによって撮られる画像は、本発明の実施形態で使用するのに適している。同様に、衛星、地理的な調査撮像機器、および、現実世界の物体の商用２Ｄ画像を提供する様々な他の撮像機器によって得られる専門的な画像は、本発明の様々な実施形態で使用するのに適している。
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
１つの代替的な実施形態によれば、第１と第２の画像は、処理装置につながれた局所的なスキャナーを使用してスキャンされる。各々のスキャンされた画像のスキャンデータは、処理装置に提供される。スキャンされた画像は、表示装置（１０３）上でオペレータ（１１３）に表示される。別の代替的な実施形態では、画像キャプチャ機器は、現実世界の住宅がある場所に置かれる。その場合、画像キャプチャ機器は、インターネットを通じて処理装置に画像を供給する。画像はリアルタイムで提供されてもよく、または、近い将来に提供されるために保存されてもよい。画像の別のソースは、データネットワークを介して処理装置に接続された、画像アーカイブおよび通信システムである。画像を生成するおよび送ることができる実に様々な方法および装置が、本発明の様々な実施形態を用いて使用するのに適している。
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
（モデルの改良）
実施において、エピポーラ幾何学は、実際の写真では不完全に具現化される。第１と第２の画像からの制御点の２Ｄ座標は、任意の精度では測定することができない。レンズの歪みまたは所望の点検出誤差による幾何学的なノイズのような様々な種類のノイズは、制御点座標の不正確さにつながる。加えて、第１と第２のカメラの幾何学的形状は完全には知られていない。結果として、第１と第２のカメラ行列によって対応する制御点からの３次元モデルジェネレーターによって投影された線は、三角形になると、必ずしも３Ｄ空間で交差するわけではない。その場合、３Ｄ座標の予測は、３次元モデルジェネレーター（９５０）によって投影された線の相対的な線位置の予測に基づいてなされる。本発明の１つの実施形態では、予測された３Ｄ点は、第２の制御点投影に対する第１の制御点投影の最も近い近位の関係を表す３次元モデル空間の点を特定することによって測定される。
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
（図８）
図８は、本発明の実施形態に応じて、物体の少なくとも２つの２Ｄ画像に基づいて物体の３Ｄモデルを生成する方法（８００）の工程を説明するフローチャートである。
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００７１
【補正方法】変更
【補正の内容】
【００７１】
工程（８０５）で、オペレータによって選択された制御点が受け取られる。例えば、オペレータは、住宅を含む第１の画像から住宅のＡ部分を選択する。オペレータは、同じ住宅を含む第２の画像から、同じ住宅の同じＡ部分を選択する。第１と第２の画像中で描かれた、オペレータが選択した住宅の部分の表示座標が処理装置に提供される。工程（８０７）で、初期のカメラパラメータは、例えば、オペレータから受け取られる。工程（８０９）で、残りのカメラパラメータは、カメラパラメータモデルに少なくとも部分的に基づいて計算される。残りの工程（例えば、工程８１１、工程８１３、工程８１５、工程８１７、工程８１９、工程８２１、工程８２３、および、工程８２５）は、上の記載で記載され、図８の操作ブロックで指示されるように行われる。
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
（図９）
図９は、本発明の実施形態に応じて生成された３次元モデルにおける誤差を最小化するための、工程（９０３）、工程（９０５）、工程（９０７）、工程（９０９）、工程（９１１）、工程（９１３）、および、工程（９１５）を含む方法（９００）を例証し記載している。
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
（図１０）
本発明の１つの実施形態を示す図（１０００）では、第１と第２のカメラの各々は、３次元モデル空間（１０１２）に位置付けられるカメラベアリングプラットフォーム上に取り付けられたカメラとして、モデル化される。プラットフォームは、順に、「カメラジンバル」につながれる。不可能なカメラ位置は、こうして「ジンバルロック」位置として具現化される。ジンバルロックは、３つのジンバルの２つの軸が並列な構造に入れられ、システムを２次元空間の回転に「ロック」すると生じる、３次元空間での１自由度の喪失である。
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
図１０のモデルは、本発明の実施形態に応じて、モデル空間に２Ｄ画像の制御点を投影するために、最適な第１と第２のカメラ行列を迅速に測定するための１つの有利な構成および方法を表す。該モデルによると、第１と第２のカメラ行列のための初期パラメータは、対応する仮想カメラ（１０１５と１０１６）の開口部が球体（１００５）の中心の方に向けられるように配置されると仮定する。さらに、１つのカメラ（１０１６）は、座標軸（１００９）の座標ｘ０、ｙ１、ｚ０で、球体（１００１）に対して位置付けられるように、すなわち、球体の中心に向かって直接下方に向けられた開口部を含む球体の上半球の上部に配されるように、モデル化される。
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
加えて、可能な位置の範囲は、球体の表面（１０１４）上の位置と、さらに球体の上部の半球に制約される。さらに、カメラ（１０１５）のｘ軸位置は、ｘ＝０で留まるように設定される。従って、上記の制約に従うカメラ（１０１５）によって仮定された位置は、ｚ＝１とｚ＝−１の間のｚ軸の上にあり、ｙ軸に対するカメラ（１０１５）の位置はｚ軸位置によって決定される。カメラ（１０１５）および（１０１６）の各々は、それぞれの光学軸の回りを自由に回転する。
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
（図１２）パラメータ方法
図１２は、カメラ１（Ｃ１）のピッチ、ヨウ、ロール（ｐｉｔｃｈ  ｙａｗ  ａｎｄ  ｒｏｌｌ）を、図１０で説明されたパラメータモデルによって与えられるＣ１初期パラメータに基づいて測定するための、工程（１２０３）、工程（１２０５）、工程（１２０７）、工程（１２０９）、工程（１２１１）、工程（１２１３）、および、工程（１２１５）を含む方法（１２００）を例証し記載する。
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
（図１１）−パラメータ方法
同様に、図１１は、カメラ２（Ｃ２）のピッチ、ヨウ、ロール（ｐｉｔｃｈ  ｙａｗ  ａｎｄ  ｒｏｌｌ）を、図１０で説明されたパラメータモデルによって与えられるＣ２初期パラメータに基づいて測定するための、工程（１１０３）、工程（１１０５）、工程（１１０７）、工程（１１０９）、工程（１１１１）、工程（１１１３）、および、工程（１１１５）を含む方法（１１００）を例証し記載する。
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
（図１４）−シミュレーション方法−最低誤差出力の使用
図１４は、３次元モデルを生成し、その一方で、生成された３次元モデルにおける誤差を最小化するための、工程（１４０３）、工程（１４０５）、工程（１４０７）、工程（１４０９）、工程（１４１１）、工程（１４１３）、工程（１４１５）、工程（１４１７）、工程（１４１９）、工程（１４２１）、測定工程（１４２３）、および、工程（１４２５）を含む方法（１４００）の工程を例証して記載するフローチャートである。
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
（図１５）−カメラパラメータとシミュレーション方法
図１５は、本発明の実施形態によって、３Ｄモデルを生成するための、工程（１５０３）、工程（１５０５）、工程（１５０７）、工程（１５０９）、工程（１５１１）、工程（１５１３）、工程（１５１５）、工程（１５１７）、工程（１５１９）、工程（１５２１）、測定工程（１５２３）、工程（１５２５）、工程（１５２７）、工程（１５２９）、測定工程（１５３１）、および、工程（１５３３）を含む方法（１５００）の工程を例証し記載するフローチャートである。
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００８３
【補正方法】変更
【補正の内容】
【００８３】
（図１６）
図１６は、本発明の実施形態に応じて第１と第２の画像から点集合（１６０２）の３次元モデルベースの投影を提供する例証的な３次元モデルジェネレーター（１６５０）を説明する概念図（１６００）である。図１６は、第１と第２の画像中の２Ｄ点に相当する３次元モデル（１６０７）の３Ｄ点を、（１６０４、１６０５、および、１６０６）（または、１６０４’、１６０５’、および、１６０６’）において、描いている。３Ｄモデルは、縁（１６１３）と平面（１６１２）を含んでもよい。３次元モデルジェネレーター（１６５０）は、各制御点対に、対応する３Ｄ点を提供するために、制御点対に作用する。第１と第２の画像それぞれの第１と第２の画像点について（同じ３次元の点に対応する）、画像点と３次元点と光学的中心は同一平面上にある。
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
本発明は、上記の逆変換を使用する。言いかえれば、本発明は、画像をキャプチャしたデバイスのファインダー越しに見えるように、２Ｄ空間の物体の画像上の点をマッピングする。これを達成するために、本発明は、３次元モデル空間（１６６０）上に点の対を投影することによって、３Ｄの現実世界の物体をモデル形態で再構成するために、カメラ１行列（１６３１）とカメラ２行列（１６３２）を提供する。
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
カメラ行列（１６３１）および（１６３２）は、カメラパラメータによって定義される。カメラパラメータは「内部パラメータ」および「外部パラメータ」を含んでもよい。外部パラメータは、カメラの外部定位、例えば、空間と視野方向における位置を定義する。内部パラメータは、撮像プロセスの幾何学的パラメータを定義する。これは主にレンズの焦点距離であるが、レンズ歪みの記述を含んでもよい。
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
これに応じて、第１のカメラモデル（または行列）は、第１の画像をキャプチャしたカメラの仮想の記述を含む。第２のカメラモデル（または行列）は、第２の画像をキャプチャしたカメラの仮想の記述を含む。本発明のいくつかの実施形態では、カメラ行列（１６３１および１６３２）は、カメラ後方交会法（ｃａｍｅｒａ  ｒｅｓｅｃｔｉｏｎｉｎｇ）技術を使用して構築される。カメラ後方交会法は、所定の写真またはビデオを製作したカメラの真のパラメータを見つけるプロセスである。カメラパラメータは、カメラ行列（１６３１）および（１６３２）を含む、３×４の行列で表される。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
（プロジェクター）
第１と第２のカメラ行列（１７３２、１７３１）は、第１と第２の画像からの各々の２Ｄ制御点から、カメラモデルに従って構成された仮想カメラを通って、３Ｄモデル（１７６１）（例えば、側面１７３４、１７３３を有するモデル）が後に提供される３Ｄ画像空間（１７００）へと光線を投影する。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
第１と第２のカメラ行列によって投影される２Ｄ点の所定の集合（１７１１）は、３Ｄモデルへの理想的な投影における同じ点に対応することも知られている。この知識によって、本発明の原則に従ったカメラパラメータ予測は、手動で予測された初期値を提供する工程、収束について判定する工程、および、収束判定の結果に基づいてカメラ行列を調節する工程を含む。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
（図１８）−画像登録方法
図１８は、本発明の実施形態に従って、互いに対して第１と第２の画像を登録するための、工程（１８０４）、工程（１８０６）、工程（１８０８）、工程（１８１０）、工程（１８１２）、工程（１８１４）、工程（１８１６）、工程（１８１８）、工程（１８２０）、工程（１８２２）、工程（１８２４）、測定工程（１８２６）、工程（１８２８）、および、工程（１８３０）を含む方法（１８００）の工程を例証して記載している。図１９は、本発明に係る第１と第２の画像、カメラモデラー、および、モデルジェネレーター間の関係を例証する概念図（１９００）である。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
（図２０）３次元モデル生成の方法
図２０は、本発明の実施形態による、バンドル調整のための、工程（２００２）、工程（２００４）、工程（２００６）、工程（２００８）、工程（２０１０）、工程（２０１２）、工程（２００９）、工程（２０１１）、工程（２０１４）、工程（２０１６）、工程（２０１８）、工程（２０２０）、測定工程（２０２２）、工程（２０２４）、工程（２０２６）、工程（２０２８）、および、工程（２０３０）を含む方法（２０００）の工程を例証し記載している。
【手続補正４０】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
（図２１）モデルジェネレーター
図２１は、本発明の実施形態による、３次元モデルジェネレーターのブロック図（２１００）であり、２Ｄ画像ソース（２１３０）、３Ｄモデルジェネレーター（２１２０）（物体モデリングユニット２１４０、３Ｄモデル２１４５、誤差予測ユニット２１５０、および、カメラモデリングユニット２１５５を含む）、ディスプレイ（２１７０）（３Ｄ画像２１７５、第１の２Ｄ画像２１８０、および、第２の２Ｄ画像２１８５を含む）、並びに、ユーザーインターフェースデバイス（２１６０）を示している。
【手続補正４１】
【補正対象書類名】明細書
【補正対象項目名】００９８
【補正方法】変更
【補正の内容】
【００９８】
（図２２）モデル生成方法の概要
図２２は、本発明の実施形態による、バンドル調節のための、工程（２２０２）、工程（２２０４）、工程（２２０６）、測定工程（２２０８）、工程（２２１０）、および、工程（２２２０）を含む方法（２２００）の工程を例証し記載するフローチャートである。
【手続補正４２】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
（図２３）モデルジェネレーターの実施形態
図２３は、本発明の実施形態による、カメラモデリングユニットのブロック図（２３００）であり、ユーザー入出力（２３０２）、カメラモデリングユニット（２３０４）（パラメータモデリングユニット２３０６、第１のカメラ解像度（ｃａｍｅｒａ  ｄｅｆｉｎｉｔｉｏｎ）２３０８、および、第２のカメラ解像度２３１０を備えたカメラ行列ユニット２３１２を含む）、誤差ユニット（２３１８）（誤差２３１４とパラメータセット２３１６を含む）、３Ｄ物体モデリングユニット（２３２０）、および、３Ｄモデル（２３２２）を示している。
【手続補正４３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
システムを含む部品は、別々のユニットとして実行可能であり、代替的に、様々な組み合わせで一体化される。該部品は、ハードウェアとソフトウェアの様々な組み合わせで、実行可能である。
【手続補正４４】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2013539147.tif 000001
【手続補正４５】
【補正対象書類名】図面
【補正対象項目名】図２
【補正方法】変更
【補正の内容】
【図２】
2013539147.tif 000002
【手続補正４６】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2013539147.tif 000003
【手続補正４７】
【補正対象書類名】図面
【補正対象項目名】図１０
【補正方法】変更
【補正の内容】
【図１０】
2013539147.tif 000004
【手続補正４８】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2013539147.tif 000005
【手続補正４９】
【補正対象書類名】図面
【補正対象項目名】図１２
【補正方法】変更
【補正の内容】
【図１２】
2013539147.tif 000006
【手続補正５０】
【補正対象書類名】図面
【補正対象項目名】図１４
【補正方法】変更
【補正の内容】
【図１４】
2013539147.tif 000007
【手続補正５１】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2013539147.tif 000008
【手続補正５２】
【補正対象書類名】図面
【補正対象項目名】図１６
【補正方法】変更
【補正の内容】
【図１６】
2013539147.tif 000009
【手続補正５３】
【補正対象書類名】図面
【補正対象項目名】図１７
【補正方法】変更
【補正の内容】
【図１７】
2013539147.tif 000010
【手続補正５４】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2013539147.tif 000011
【手続補正５５】
【補正対象書類名】図面
【補正対象項目名】図１９
【補正方法】変更
【補正の内容】
【図１９】
2013539147.tif 000012
【手続補正５６】
【補正対象書類名】図面
【補正対象項目名】図２０
【補正方法】変更
【補正の内容】
【図２０】
2013539147.tif 000013
【手続補正５７】
【補正対象書類名】図面
【補正対象項目名】図２１
【補正方法】変更
【補正の内容】
【図２１】
2013539147.tif 000014
【手続補正５８】
【補正対象書類名】図面
【補正対象項目名】図２２
【補正方法】変更
【補正の内容】
【図２２】
2013539147.tif 000015
【手続補正５９】
【補正対象書類名】図面
【補正対象項目名】図２３
【補正方法】変更
【補正の内容】
【図２３】
2013539147.tif 000016