(57)【要約】  方法が、まず、シーンの画像のシーケンスを、カメラを用いて取得することによって、シーンを３次元（３Ｄ）モデルとして再構成する。次に、画像のシーケンスから特徴点マッチ又は特徴線マッチが抽出され、乱数値を用いてカメラの光学中心及び３Ｄ点の変数が初期化され、ｎ個の制約の利用可能性に従って、変数のｎ個のコピーが生成される。ｎ個のコピーは、ｎ個の制約の各々を満たすように射影される。次に、ｎ個のコピーが、これらのコピーの平均と置き換えられ、射影及び置き換えが、収束するまで繰り返され、３Ｄモデルが提供される。
2019504375.tif 000002
【特許請求の範囲】
【請求項１】
シーンを３次元（３Ｄ）モデルとして再構成する方法であって、
前記シーンの画像のシーケンスを、カメラを用いて取得するステップを含み、さらに、コンピューターによって実施されるステップ、すなわち、
前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出するステップと、
乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成するステップと、
前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影するステップと、
前記ｎ個のコピーを、該コピーの平均と置き換えるステップと、
前記射影するステップ及び前記置き換えるステップを収束するまで繰り返し、前記３Ｄモデルを提供するステップと
を含む、方法。
【請求項２】
前記射影及び平均化は差分マップダイナミクスを用いる、請求項１に記載の方法。
【請求項３】
前記制約は、剛性制約、線制約、面制約、キラリティー制約及び有向線制約である、請求項１に記載の方法。
【請求項４】
前記制約は、前記特徴点マッチ又は前記特徴線マッチを用いて導出される、請求項１に記載の方法。
【請求項５】
前記カメラは、透視カメラであり、全てのカメラ射影光線が前記カメラの光学中心を通る、請求項１に記載の方法。
【請求項６】
前記カメラは、全てのカメラ射影光線が前記カメラの光学中心を通る必要がない一般的なカメラである、請求項１に記載の方法。
【請求項７】
前記３Ｄモデルは、前記特徴点マッチ又は前記特徴線マッチを用いて達成される、請求項１に記載の方法。
【請求項８】
前記３次元（３Ｄ）モデルは、マンハッタン制約及び接続性制約を用いて、透視カメラの複数の画像から再構成される、請求項１に記載の方法。
【請求項９】
３次元（３Ｄ）モデルとしてシーンを再構成するシステムであって、
前記シーンの画像のシーケンスを取得するように構成されたカメラと、
前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出し、乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成し、前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影し、前記ｎ個のコピーを、該コピーの平均と置き換え、前記射影及び前記置き換えを収束するまで繰り返し、前記３Ｄモデルを提供するように構成されたプロセッサと、
を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータービジョンに関し、より詳細には、画像のシーケンスから、制約充足を用いてシーンを再構成して、相対的な姿勢を求め、３Ｄ点及び３Ｄ線を再構成することに関する。
【背景技術】
【０００２】
コンピュータービジョン用途において、相対的な姿勢、絶対的な姿勢、及び３次元（３Ｄ）モデル等のシーン及び物体の幾何学的特性の推定は、基礎をなす制約に依拠する。例えば、点間距離に基づくグラフ剛性を３Ｄ再構成のために用いることができる。キラリティー（cheirality）は、ミラー反射から生じる曖昧な再構成から正しい再構成を特定することを可能にする主要な概念のうちの１つである。簡単に言えば、キラリティー制約は、シーンがカメラの後ろではなく前にあることを強制する。
【０００３】
分割統治（Ｄ＆Ｃ(Divide and Concur)）は、差分マップ（ＤＭ(difference-map)）ダイナミクスに基づく制約充足法である。Ｄ＆Ｃ方法は、反復最適化方法に密に関係している。特に、Ｄ＆Ｃ方法は、メッセージパッシング方法として特徴付けることができ、確率伝搬（ＢＰ(Belief Propagation)）に類似している。Ｄ＆Ｃ方法は、交互方向乗数法（ＡＤＭＭ(alternating direction method of multipliers)）の方法の特殊な場合（case）として特徴付けることができる。さらに、Ｄ＆Ｃ方法は、凸最適化のためのダグラス−ラッチフォード法、及び位相回復のためのファイナップのハイブリッド入出力（ＨＩＯ）法等の反復的な射影方法を一般化したものである。
【０００４】
通常、３Ｄモデリング方法は、以下のステップを用いる。まず、カメラの姿勢を推定し、次に、外れ値が除去される。このために、最小限の手法が重要である。カメラの姿勢及び３Ｄ点のための何らかの初期解決策を得た後、バンドル調節を適用することができる。
【０００５】
５点ソルバにおいて、いくつかの困難な最小問題が、代数ソルバを用いて対処される。代数ソルバは、いかなる多項式系を解くことも保証されていない。例えば、３ビュー４点等の或る特定の最小問題は、解くのが困難であることが有名である。３つのビューにおける６線対応からの姿勢の推定、及び一般的なカメラのための最小方法等の他の困難な問題も存在する。
【０００６】
一般的なカメラは、射影光線が必ずしもカメラの光学中心を通らない広範な分類のセンサーを指す。この一般性により、最小問題を解こうとするときに、より大きな困難が生じる。例えば、２つの一般的なカメラ間の相対的な姿勢により、大きな多項式系を解いた後に６４個の解が生じる。
【発明の概要】
【０００７】
本発明の実施形態は、画像のシーケンスから、制約充足を用いて３次元（３Ｄ）モデルとしてシーンを再構成して、相対的な姿勢を求め、３Ｄ点及び３Ｄ線を再構成する方法及びシステムを提供する。制約充足は、差分マップ（ＤＭ）探索戦略に基づく。本方法は、初期化を必要とせず、離散変数及び連続変数の双方を求めることができる。既存の手法は初期化を必要とし、通例、離散変数又は連続変数のいずれかについてカスタマイズされるが、双方についてはカスタマイズされない。
【０００８】
本方法は、交互方向乗数法（ＡＤＭＭ）の特殊な場合（case)として検討することができる。実施形態は、線ラベリング問題、点対応又は線対応を双方の観点について用いる３Ｄ再構成、及び幾何学的制約を用いた一般的なカメラによる線ベースの３Ｄ再構成等のコンピュータービジョン問題をモデル化する。
【０００９】
単一の画像又はより少ない制約を用いる他の方法と対照的に、実施形態は、全ての利用可能な制約及び画像を同時に扱うことができる。
【００１０】
反復法は、コンピュータービジョンにおいて新しいものではない。実際に、幾何学的コンピュータービジョンにおいて最も適用されている方法は、バンドル調節である。都市規模の３Ｄモデルを扱うことに対する大きな影響にかかわらず、バンドル調節にとって、極小値が依然として重大な問題である。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態による、画像のシーケンスから３次元（３Ｄ）モデルとしてシーンを再構成する方法及びシステムのブロック図である。
【図２Ａ】本発明の実施形態による、ラベルを有する線図である。
【図２Ｂ】本発明の実施形態による、ラベルを有する線図である。
【図２Ｃ】本発明の実施形態による、ラベルを有する線図である。
【図３Ａ】本発明の実施形態による、Ｔをラベリングされた接合部の概略図である。
【図３Ｂ】本発明の実施形態による、Ｗをラベリングされた接合部の概略図である。
【図３Ｃ】本発明の実施形態による、Ｙをラベリングされた接合部の概略図である。
【図３Ｄ】本発明の実施形態による、Ｌをラベリングされた接合部の概略図である。
【図４】複数の透視画像からの３Ｄ再構成を概略的に示す図である。
【図５】一般的なカメラのための複数の透視画像からの３Ｄ再構成を概略的に示す図である。
【図６】キラリティー制約及び剛性制約を有する３Ｄ再構成を概略的に示す図である。
【図７】交差線上に位置する点に対する面制約を用いた複数の画像からの線の３Ｄ再構成を概略的に示す図である。
【発明を実施するための形態】
【００１２】
図１に示すように、本発明の実施形態は、画像のシーケンスから、制約充足を用いてシーンを３次元（３Ｄ）モデルとして再構成して、相対的な姿勢を求め、３Ｄ点及び３Ｄ線を再構成する方法及びシステムを提供する。
【００１３】
画像のシーケンス１０２がカメラを用いてシーン１０１から取得される。例えば、スケール不変特徴変換（ＳＩＦＴ）等の従来の特徴マッチング手順を用いて、画像のシーケンスから特徴点マッチ又は特徴線マッチが抽出される（１１０）。
【００１４】
次に、乱数値を用いて、変数、例えば、カメラの光学中心及び３Ｄ点が初期化される（１２０）。ｎ個の制約の利用可能性に依拠して、変数のｎ個のコピーを生成する（１３０）。これらのコピーを、制約の各々を満たすように射影する（１４０）。同じ変数のコピーが、レプリカを平均化することによって、統治制約を用いて一致するように強制される。ステップ１４０及び１５０を、収束するまで反復する。収束後の変数の平均値は、３Ｄモデル１６０を与える。
【００１５】
本発明の実施形態は、制約充足のために、離散最適化技法及び連続最適化技法の双方、並びに分割統治（Ｄ＆Ｃ）を用いる３Ｄモデリングに適用される。特に、確率伝搬が、回転行列を解くために用いられ、レーベンバーグ−マーカート反復が、連続最適化のために用いられる。
【００１６】
実施形態は、離散最適化（線ラベリング問題）及び連続最適化（３Ｄモデリング）の双方の解決策を提供する。ダグラス−ラッチフォード法等の従来の反復方法は、通常、凸問題に適用される。位相回復問題における差分マップの成功は、これらの方法が、非凸問題にも有用であり得ることを示す。
【００１７】
差分マップダイナミクス
Ｄ＆Ｃ方法では、各変数は、この変数を用いる制約数と同じ数だけ複製される。ＤＣ方法は、制約充足問題の元の変数を用いて直接機能するのではなく、同じ変数のレプリカの全ての値が等しくなくてはならないという追加の制約を用いて、全ての元の制約を満たすレプリカ値の設定を求めようとする。元の制約は分割制約と呼ばれるのに対し、等価性は統治制約と呼ばれる。ＤＣ方法は、分割制約及び統治制約を交互にすることによって動作する。
【００１８】
Ｄ＆Ｃ射影は、差分マップダイナミクスに従って組み合わされる。差分マップがどのように機能するか、及び差分マップが、単純な交互射影方法よりもどのように良好に動作するかを簡単に説明する。差分マップは、分割制約を満たした後、レプリカをオーバーシュートする。次に、オーバーシュートがレプリカから減算される。これにより、Ｄ＆Ｃ方法は、単純な交互射影方法の場合に重大な問題を引き起こすトラップ（問題への解でない固定点）を回避することが可能になる。
【００１９】
点ｘに対する各制約、すなわち、変数のベクトルは、集合Ｓとして表すことができ、制約充足問題は、ｐ’＝ａｒｇｍｉｎｐ’｜ｐ−ｐ’｜となるような集合内の点ｘ’∈Ｓを見つけることに等しい。ここで、｜ｐ−ｐ’｜は、ユークリッド距離である。関連付けられた演算子Ｐ：ｘ→ｘ’，｛ｘ’∈Ｓ｝は、射影と呼ばれる。換言すれば、射影演算子は、変数を最小距離だけ動かし、これらの変数が特定の制約を満たすようにする。
【００２０】
各々が集合Ｓｉ，ｉ＝｛１，２，．．．，ｎ｝によって表されるＮ個の制約の集合を検討する。本発明の目標は、全てのこれらの集合の交点に位置する点、
【数１】
2019504375.tif 000003
を決定することである。換言すれば、
【数２】
2019504375.tif 000004
である。まず、時点ｔにおける変数のｎ個のレプリカを以下のように生成する。
【００２１】
【数３】
2019504375.tif 000005
【００２２】
これらの制約の各々の射影を、Ｐｉ，ｉ＝｛１，．．．，ｎ｝として表す。ＰＤ及びＰＣを用いて、それぞれ「分割」射影及び「統治」射影を表す。分割射影ＰＤは、個々の制約の各々を満たすように個々のレプリカを動かす。換言すれば、分割射影は、個々のレプリカｘｔ：ｉの各々に対し個々の制約Ｐｉの各々を以下のように同時適用することを指す。
【００２３】
【数４】
2019504375.tif 000006
【００２４】
制約の適用後、レプリカを互いに一致させる。これは、下式の「統治」射影によって行われる。
【００２５】
【数５】
2019504375.tif 000007
【００２６】
ここで、
【数６】
2019504375.tif 000008
である。次の反復において、以下のレプリカを有する。
【００２７】
【数７】
2019504375.tif 000009
【００２８】
上記の方法は、下記の単一の式で書くことができる。
【００２９】
【数８】
2019504375.tif 000010
【００３０】
これは、通常、交互射影方法と呼ばれる。この方法は、凸問題において用いることができるのに対し、非凸問題では、この方法は、問題の解に対応しない固定点において行き詰まる傾向にある。ｙｔ＋１＝ｙｔ＝ｙ＊であるとき、点ｙ＊を固定点と呼ぶ。ＤＭを用いた交互射影方法は、下式の回折イメージング問題における非凸制約に対処することができる。
【００３１】
【数９】
2019504375.tif 000011
【００３２】
上記差分マップダイナミクスは、３ステッププロセスである。
１．分割射影によって与えられる量の２倍レプリカを動かす。これらを、オーバーシュート値
【数１０】
2019504375.tif 000012
と呼ぶ。
２．オーバーシュート値に対し、
【数１１】
2019504375.tif 000013
によって統治射影を適用する。
３．次に、オーバーシュートが統治値から除去され、次の反復
【数１２】
2019504375.tif 000014
のためのレプリカが得られる。
【００３３】
交互射影方法と対照的に、ｙｔ＋１＝ｙｔ＝ｙ＊によって与えられる固定点ｙ＊に、ＤＭダイナミクスによって達する場合、この固定点は、問題の解に対応する。固定点は、問題に対する解でないことに留意することが重要である。通常、固定点は単一の点でない。代わりに、全ての解に関連付けられた固定点の連続体が存在する。固定点から解を求めるために、分割射影をｙｓｏｌ＝ＰＤ（ｙ＊）としてもう１回行う。
【００３４】
ＣＳＰとしてのビジョン問題のモデル化
Ｄ＆Ｃ方法を用いて、幾何学的コンピュータービジョンにおけるいくつかの問題を解くことができる。Ｄ＆Ｃを適用するために、まず、問題における制約を特定し、各制約を個々に強制する方法を特定する。
【００３５】
従来の線ラベリング問題
線分及び接合部からなる線図を所与として、本発明の目標は、接合部を特定し、線分をラベリングすることである。
【００３６】
図２Ａ、図２Ｂ及び図２Ｃは、４つのラベル（＋，−，→，←）を用いた線図の概略図を示し、ここで、＋及び−は、凸（＋）、凹（−）線分を表し、矢印を有する遮蔽線分は、遮蔽面が右にあるように及び遮蔽面が左にあるように向けられる（←，→）。線図における各線分は、線図が表す３次元物体における２つの面間のエッジに対応するか、面と背景との間の境界である。
【００３７】
接合部タイプ
各接合部は、２つ以上のエッジの交点である。接合部タイプは、接合部に入射するエッジの数及び向きを用いて容易に推測することができる。全ての接合部タイプが、ラベリングの前に特定される。三面体及び四面体の物体について、以下の接合部Ｌ、Ｙ、Ｔ、Ｗ、Ｍ、Ｋ、Ｘを検討する。物体は、全ての接合部において３つの面が合わさる場合、三面体である。物体は、１つの点において厳密に３つの平面が合わさるとき、拡張三面体（extended trihedral）である。
【００３８】
接合部ラベリング
図３Ａ、図３Ｂ、図３Ｃ及び図３Ｄに示すように、接合部のラベリングは、特定の順序におけるエッジへのラベルの割り当てを表し、これは、接合部のタイプに依拠する。接合部Ｔ、Ｗ、Ｙ及びＬは、接合部の各々に入射するエッジの順序付けと共に示される。ここで、ｆ（ｉ）＝ｍｏｄ（ｉ，３）である。
【００３９】
接合部が属する物体のタイプに依拠して、全ての接合部タイプについて、許容されるラベリングは僅かしかない。４つのアルファベット（ａ，ｂ，ｃ，ｄ）を用いてラベルを表す。これらのアルファベットは、入射接合部に基づいてエッジに割り当てられる。接合部に入る遮蔽エッジが存在する場合、この遮蔽エッジは、ラベルａを割り当てられる。接合部を出る遮蔽エッジが存在する場合、この遮蔽エッジは、ラベルｂを割り当てられる。このため、２つの入射接合部に依拠して、全てのエッジについて２つのラベルを有する。アルファベットｃ及びｄは、凸（＋）及び凹（−）ラベルを表す。
【００４０】
接合部カタログは、特定の接合部のエッジがどの取り得るラベルを取得するかを決定する。例えば、三面体線図におけるＹ接合部は、図２に定義される順序において、構成ｃｃｃ、ｄｄｄ、ａｂｄ、ｂｄａ及びｄａｂのみをとることができる。
【００４１】
全てのエッジについて、状態ベクトル（ｐａ  ｐｂ  ｐｃ  ｐｄ）を用いてラベルを表す。ここで、ｐａ、ｐｂ、ｐｃ及びｐｄは、４つの取り得るラベルの確率であり、それらの和は１に等しい。ｍ個の入射エッジを有する接合部Ｊを考える。接合部状態ｘｔは、４×ｍのベクトルによって、以下のように表すことができる。
【００４２】
【数１３】
2019504375.tif 000015
【００４３】
特定の接合部Ｊが、接合部カタログにおいてｎ個の異なるラベリングを有すると仮定する。このとき、接合部Ｊの接合部カタログは、以下の行列によって与えられる。
【００４４】
【数１４】
2019504375.tif 000016
【００４５】
上記の行列は、状態確率について１及びゼロしか有しないことに留意されたい。
【００４６】
Ｌ＝｛ｌ１，ｌ２，．．．，ｌｎ｝が、上記の行列の列を表すものとする。分割射影において、
【数１５】
2019504375.tif 000017
を得る。全てのエッジについて、２つの接合部におけるオーバーシュート演算から２つの異なるラベリングを得る。
【００４７】
【数１６】
2019504375.tif 000018
及び
【数１７】
2019504375.tif 000019
を、
【数１８】
2019504375.tif 000020
によって与えられる、オーバーシュート後の２つのレプリカとする。接合部のラベリングは、その接合部に入射する全てのエッジの状態を含むことに留意されたい。このため、
【数１９】
2019504375.tif 000021
及び
【数２０】
2019504375.tif 000022
は、選択されたエッジに対応する２つの接合部の状態のサブベクトルである。
【００４８】
統治射影において、２つのオーバーシュートを以下のように平均化する。
【００４９】
【数２１】
2019504375.tif 000023
【００５０】
全てのエッジが２つの接合部に隣接しているため、全てのエッジについて２つのレプリカを有し、Ｄ＆Ｃ方法は、全ての接合部がカタログから有効なラベリングを取得するまで、かつ全てのエッジが隣接する接合部の双方によって同じラベルを割り当てられるまで反復する。エッジの状態は、それぞれ分割射影及び統治射影中に整数値と実数値との間で変化する。
【００５１】
マルチビュー幾何学問題
多くのコンピュータービジョン問題を解くのに十分ないくつかの基本的な制約を列挙する。ｙ＝Ｐ（ｘ，ｚ）の形態で制約の各々を書く。ここで、ｘは入力変数であり、ｙは、制約を強制する最小距離だけｘを動かすことによって得られる出力である。項ｚは、値を変更することができない観測される変数を指す。
【００５２】
剛性ｙ＝Ｐｒ（ｘ，ｚ）：３Ｄ点の集合ｘ及びテンプレート集合ｚを所与として、ｙ及びｚがユークリッド変換によって関係付けられるようにｘをｙに動かす。
【００５３】
線制約ｙ＝Ｐｌ（ｘ）：３Ｄ点の集合ｘを所与として、線の上に位置するｙを求める。
【００５４】
面制約ｙ＝Ｐπ（ｘ）：３Ｄ点の集合ｘを所与として、面の上に位置するｙを求める。
【００５５】
キラリティー制約ｙ＝Ｐχ（ｘ）：３つの点（原点、方向ベクトル及び特定の点）を所与として、点が、方向ベクトルに対し原点の前にあることを確実にする。この点が、原点から少なくとも１単位にあることも確実にする。
【００５６】
有向線ｙ＝Ｐｄｌ（ｘ，ｚ）：点の集合ｘ及び方向ベクトルｚを所与として、方向ｚを有する線上に位置するｙを求める。
【００５７】
これらの全ての制約を強制することができる。例えば、面制約ｙ＝Ｐπ（ｘ）を強制するために、最小二乗を用いて点ｘに面πを当てはめ、次に、全ての点をこの面π上に射影してｙを得る。
【００５８】
図４〜図７に４つの幾何学的問題の概略図を示す。シーン及びカメラを表す点の集合を検討することによって、各問題を解く。次に、Ｄ＆Ｃに入力を提供するための線、面及び剛性等のいくつかの単純な制約を特定する。以下にこれらの問題の各々を簡単に説明する。
【００５９】
ｎビューｍ点透視の場合
図４において、複数の透視図からの３Ｄ再構成の問題を示す。問題を解くために、変数及び制約を定義する。２つのカメラの光学中心が、それぞれｏ１及びｏ２によって表される。カメラの光学中心からの単位距離にある３Ｄ方向点ｄｉｊを検討する。３Ｄ点は、それぞれＰ１及びＰ２によって表される。この問題を解くために、これらの変数に作用するいくつかの制約を検討する。カメラの光学中心、方向点及び関連付けられた３Ｄ点からなる点の三つ組に対し線制約を強制する。
【００６０】
例えば、（ｏ１，ｄ１１，ｐ１）は、４つのうちの１つのそのような三つ組とすることができる。全てのカメラについて剛性制約を強制する。光線方向及びカメラ中心は、カメラ較正ごとに剛である。反復中、３Ｄ点は、線制約を満たすように動き回る。三つ組（ｏ１，ｄ１１，ｄ１２）及び（ｏ２１，ｄ２１，ｄ２２）に対し剛性制約を強制する。剛性制約は、この三つ組が、三つ組内の点の対間の点間距離におけるいかなる変化も許容することなく全体として動き回ることを可能にする。
【００６１】
各射影光線において、３Ｄシーンがカメラの前で再構成され、また、点がカメラから少なくとも１単位にあることを確実にするキラリティー制約を強制する。透視再構成は、常にスケール次第（up to a scale）である。この制約は、シーンを単一点に縮退させることを回避するために必要である。
【００６２】
ｎビューｍ点の一般的な場合
一般的なカメラは、多岐にわたるカメラモデルをモデル化するのに用いることができる。一般的なカメラにおいて、射影光線は単一の点を通過しない。このため、全ての光線を表すために２つの異なる３Ｄ点が必要である。例えば、図５における第１の一般的なカメラにおいて、ｏ１１及びｄ１１を用いて射影光線を表す。他の制約は、透視の場合（perspective case）に用いられる制約と類似している。一般的なカメラの場合では、スケールの曖昧性が存在しないことに留意されたい。
【００６３】
ｎビューｍ線の一般的な場合
一般的なカメラの異なるビューからの線対応の集合を所与として、本発明の目標は、線の構造及びカメラ姿勢の双方を復元することである。一般的に、線ベースの三角測量は、点ベースの三角測量と比較してより困難である。ここで、一般的なカメラについて３Ｄ線及びカメラ姿勢を復元する問題について説明する。
【００６４】
図６に示すように、点ｐｉ，ｊを通る線、キラリティー及び剛性制約に加えて、３Ｄシーン線に対し追加の線制約も用いる。
【００６５】
幾何学的制約を用いたｎビューｍ線透視の場合
線対応の集合、ワールド内の方向及び接続性制約を所与として、カメラの構造及び姿勢を復元することを望む。図７に示すように、３Ｄワールド線上に位置する点に対し線制約を用い、接続された線分から到来する点に対し面制約を用いる。
【図１】
2019504375.tif 000024
【図２Ａ】
2019504375.tif 000025
【図２Ｂ】
2019504375.tif 000026
【図２Ｃ】
2019504375.tif 000027
【図３Ａ】
2019504375.tif 000028
【図３Ｂ】
2019504375.tif 000029
【図３Ｃ】
2019504375.tif 000030
【図３Ｄ】
2019504375.tif 000031
【図４】
2019504375.tif 000032
【図５】
2019504375.tif 000033
【図６】
2019504375.tif 000034
【図７】
2019504375.tif 000035
【手続補正書】
【提出日】平成30年4月19日(2018.4.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーンを３次元（３Ｄ）モデルとして再構成する方法であって、
前記シーンの画像のシーケンスを、カメラを用いて取得するステップと、
プロセッサを用いるステップと
を含み、
前記プロセッサは、
取得した前記シーンの前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出し、
乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成し、ここで、ｎは正の整数であり、
前記ｎ個のコピーの各コピーを最小距離だけ動かすことによって、前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影し、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換え、
前記射影及び前記置き換えを収束するまで繰り返して、前記３Ｄモデルを提供するように構成されている、
方法。
【請求項２】
前記射影及び前記置き換えは差分マップダイナミクスを用いる、請求項１に記載の方法。
【請求項３】
前記差分マップダイナミクスは、
前記射影によって与えられる量の２倍だけ前記ｎ個のコピーの各コピーを動かすステップと、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、
置き換えられた前記ｎ個のコピーから前記量を除去し、次の反復のための更新されたｎ個のコピーを取得するステップと
を含む、請求項２に記載の方法。
【請求項４】
前記制約は、剛性制約、線制約、面制約、キラリティー制約及び有向線制約である、請求項１に記載の方法。
【請求項５】
前記制約は、前記特徴点マッチ又は前記特徴線マッチを用いて導出される、請求項１に記載の方法。
【請求項６】
前記カメラは、透視カメラであり、全てのカメラ射影光線が前記カメラの光学中心を通る、請求項１に記載の方法。
【請求項７】
前記カメラは、全てのカメラ射影光線が前記カメラの光学中心を通る必要がない一般的なカメラである、請求項１に記載の方法。
【請求項８】
前記３Ｄモデルは、前記特徴点マッチ又は前記特徴線マッチを用いて達成される、請求項１に記載の方法。
【請求項９】
前記３次元（３Ｄ）モデルは、マンハッタン制約及び接続性制約を用いて、透視カメラの複数の画像から再構成される、請求項１に記載の方法。
【請求項１０】
前記画像のシーケンスは、単一の移動カメラまたは複数の固定カメラによって取得される、
請求項１に記載の方法。
【請求項１１】
３次元（３Ｄ）モデルとしてシーンを再構成するシステムであって、
前記シーンの画像のシーケンスを取得するように構成されたカメラと、
取得した前記シーンの前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出するステップと、乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成するステップであって、ｎは正の整数である、ステップと、前記ｎ個のコピーの各コピーを最小距離だけ動かすことによって、前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影するステップと、射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、前記射影するステップ及び前記置き換えるステップを収束するまで繰り返し、前記３Ｄモデルを提供するステップとを実行するように構成されたプロセッサと、
を備える、システム。
【請求項１２】
前記射影及び前記置き換えは差分マップダイナミクスを用いる、請求項１１に記載のシステム。
【請求項１３】
前記差分マップダイナミクスは、
前記射影によって与えられる量の２倍だけ前記ｎ個のコピーの各コピーを動かすステップと、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、
置き換えられた前記ｎ個のコピーから前記量を除去し、次の反復のための更新されたｎ個のコピーを取得するステップと
を含む、請求項１２に記載のシステム。
【請求項１４】
前記カメラは、透視カメラであり、全てのカメラ射影光線が前記カメラの光学中心を通る、請求項１１に記載のシステム。
【請求項１５】
前記カメラは、全てのカメラ射影光線が前記カメラの光学中心を通る必要がない一般的なカメラである、請求項１１に記載のシステム。
【手続補正書】
【提出日】平成30年10月31日(2018.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーンを３次元（３Ｄ）モデルとして再構成する方法であって、
前記シーンの画像のシーケンスを、カメラを用いて取得するステップと、
プロセッサを用いるステップと
を含み、
前記プロセッサは、
取得した前記シーンの前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出し、
乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成し、ここで、ｎは正の整数であり、
前記ｎ個のコピーの各コピーを最小距離だけ動かすことによって、前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影し、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換え、
前記射影及び前記置き換えを収束するまで繰り返して、前記３Ｄモデルを提供するように構成されている、
方法。
【請求項２】
前記射影及び前記置き換えは差分マップダイナミクスを用いる、請求項１に記載の方法。
【請求項３】
前記差分マップダイナミクスは、
前記射影によって与えられる量の２倍だけ前記ｎ個のコピーの各コピーを動かすステップと、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、
置き換えられた前記ｎ個のコピーから前記量を除去し、次の反復のための更新されたｎ個のコピーを取得するステップと
を含む、請求項２に記載の方法。
【請求項４】
前記制約は、剛性制約、線制約、面制約、キラリティー制約及び有向線制約である、請求項１に記載の方法。
【請求項５】
前記制約は、前記特徴点マッチ又は前記特徴線マッチを用いて導出される、請求項１に記載の方法。
【請求項６】
前記カメラは、全てのカメラ射影光線が前記カメラの光学中心を通る必要がない一般的なカメラである、請求項１に記載の方法。
【請求項７】
前記３Ｄモデルは、前記特徴点マッチ又は前記特徴線マッチを用いて達成される、請求項１に記載の方法。
【請求項８】
３次元（３Ｄ）モデルとしてシーンを再構成するシステムであって、
前記シーンの画像のシーケンスを取得するように構成されたカメラと、
取得した前記シーンの前記画像のシーケンスから特徴点マッチ又は特徴線マッチを抽出するステップと、乱数値を用いてカメラの光学中心及び３Ｄ点の変数を初期化し、ｎ個の制約の利用可能性に従って、前記変数のｎ個のコピーを生成するステップであって、ｎは正の整数である、ステップと、前記ｎ個のコピーの各コピーを最小距離だけ動かすことによって、前記ｎ個のコピーを、前記ｎ個の制約の各々を満たすように射影するステップと、射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、前記射影するステップ及び前記置き換えるステップを収束するまで繰り返し、前記３Ｄモデルを提供するステップとを実行するように構成されたプロセッサと、
を備える、システム。
【請求項９】
前記射影及び前記置き換えは差分マップダイナミクスを用いる、請求項８に記載のシステム。
【請求項１０】
前記差分マップダイナミクスは、
前記射影によって与えられる量の２倍だけ前記ｎ個のコピーの各コピーを動かすステップと、
射影した前記ｎ個のコピーを、射影した前記ｎ個のコピーの平均と置き換えるステップと、
置き換えられた前記ｎ個のコピーから前記量を除去し、次の反復のための更新されたｎ個のコピーを取得するステップと
を含む、請求項９に記載のシステム。
【請求項１１】
前記カメラは、全てのカメラ射影光線が前記カメラの光学中心を通る必要がない一般的なカメラである、請求項８に記載のシステム。
【国際調査報告】
2019504375.tif 000036
2019504375.tif 000037
2019504375.tif 000038