(57)【要約】【課題】計算量が少なく、高精度な、２次元画像から３次元シーンを再構成する技術を提供する。【解決手段】本発明は、利用可能なデータのサブセットからモデルを生成し、そして追加のデータを使用してそのモデルを精緻化することにより、計算の必要性を軽減することを支援する対話型で反復式の再構成のシステムと方法に関する。シーン再構成の実施例は、２Ｄ画像のサブセットから３Ｄシーンのモデルを最初に生成することにより、そのシーンの複数の２Ｄ画像から３Ｄシーンを再構成する。そして、モデルは、サブセットの他の画像を使用して計算される、サブセット中の各画像の特定の特徴を使用して精緻化することができ、その特徴はサブセットの他の画像を使用して計算される。モデルは、オリジナルのサブセットにない画像を使用して、さらに精緻化される。【選択図】図１
2008186456.tif 000002
【特許請求の範囲】
【請求項１】
以下のステップを含むシーン再構成方法：
シーンの少なくとも２つの透視図を表わすシーンの複数の画像を得る；
前記画像の第１のサブセットを使用して、前記シーンのモデルを生成する；
前記第１のサブセットの前記画像を使用して、前記第１のサブセット中の個々の前記画像の透視を計算する；そして
前記計算された透視と前記画像の第２のサブセットを使用して前記モデルを精緻化する、ここで前記第２のサブセットは前記第１のサブセットにない少なくとも１つの画像を含む。
【請求項２】
さらに以下のステップを含む請求項１の方法：
前記複数の画像の前記第２のサブセットを使用して前記モデルを精緻化する；そして
前記精緻化されたモデルを使用して前記シーンを精緻化する。
【請求項３】
前記第１のサブセットが以下を備える請求項１の方法：
第１のカメラ視野で取得された第１の画像；
第２のカメラ視野で取得された第２の画像；
そこで、前記第２のサブセットは以下を備える：
第３のカメラ視野で取得された第３の画像、そこで前記第３の視野は前記第１の視野と前記第２の視野の間にある。
【請求項４】
さらに以下のステップを含む請求項１の方法：
前記複数の画像から、前記第２のサブセットにまだ存在しない１つ以上の画像を前記第２のサブセットに反復して加え、前記第２のサブセットを使用して前記シーンを精緻化する。
【請求項５】
前記精緻化を反復する請求項１の方法。
【請求項６】
前記第２のサブセットが１回以上の反復用として拡張される請求項５の方法で、前記拡張が以下を含む：
前記複数の画像から、前記第２のサブセットにまだ存在しない１つ以上の画像を前記第２のサブセットに加える。
【請求項７】
前記第１および第２サブセットの決定にユーザ入力が使用される請求項１の方法。
【請求項８】
前記第２のサブセットが前記第１のサブセットを含む請求項１の方法。
【請求項９】
三次元（３Ｄ）シーンの再構成システムであって、前記システムは以下を備える：
前記シーンの複数の二次元（２Ｄ）画像を取得する画像取得手段；
前記画像の第１のサブセットと前記画像の第２のサブセットを区別する画像選択手段；そして
画像の前記第１のサブセットからの前記３Ｄシーンのモデルを生成し、さらに前記第２のサブセットを使用して前記モデルを精緻化する処理手段。
【請求項１０】
前記取得手段が単一のカメラである請求項９のシステム。
【請求項１１】
前記取得手段が２台以上のカメラである請求項９のシステム。
【請求項１２】
前記取得手段が前記３Ｄシーンの複数の透視図を取得する請求項９のシステム。
【請求項１３】
さらに以下を備える請求項９のシステム：
ユーザ入力を得るグラフィカルユーザインターフェース。
【請求項１４】
以下のステップを含む３Ｄシーン再構成方法：
前記３Ｄシーンの２Ｄ画像の第１のサブセットを使用して、２Ｄ画像の各々の前記第１のサブセット用カメラ・ポジションと、前記第１のサブセットの前記画像間のカメラ・ポジションの変化を描く曲線を計算する；
画像の前記第１のサブセット、前記計算されたカメラ・ポジションおよび前記計算された曲線から前記３Ｄシーンのための点の少なくとも１つのメッシュの生成する；そして
前記メッシュに少なくとも１つの新しい特徴を加えるために前記３Ｄシーンの２Ｄ画像の第２のサブセットを使用する。
【請求項１５】
前記新しい特徴を加えることが、前記新しい特徴の位置の三角測量からなる請求項１４の方法。
【請求項１６】
前記新しい特徴を加えることが、前記少なくとも１つのメッシュの手作業による編集からなる請求項１４の方法。
【請求項１７】
前記新しい特徴を加えることが、自動特徴検出からなる請求項１４の方法。
【請求項１８】
前記新しい特徴を加えることが、カメラ・ポジションの補間からなる請求項１４の方法。
【請求項１９】
前記メッシュ中の点が前記第２のサブセット中の画像の点に関連づけられる請求項１４の方法。
【請求項２０】
前記関連づけが手作業である請求項１９の方法。
【請求項２１】
前記関連づけが自動的特徴照合である請求項１９の方法。
【請求項２２】
以下のステップを含むシーン再構成方法：
シーンの画像の第１のサブセットから詳細の第１のレベルでシーンの近似を作成する；そして
詳細の第２のレベルを作成するために前記シーンの画像の第２のサブセットからの詳細を加えることによって前記近似を精緻化する、そこで、前記第２のレベルの詳細は前記第１のレベルの詳細より多くの特徴を有する。
【請求項２３】
前記シーンの作成が以下からなる請求項２２の方法：
１つ以上の特徴を形成するためにユーザから入力を受け入れる。
【請求項２４】
さらに以下を含む請求項２２の方法：
静的および動的な領域へ画像を分割する。
【請求項２５】
前記静的および動的領域が静的および動的な配置に相当する請求項２４の方法。
【請求項２６】
前記分割がロトスコープからなる請求項２５の方法。
【請求項２７】
精緻化がさらに輪郭トラッキングからなる請求項２５の方法。
【請求項２８】
画像の前記第１のサブセットと画像の前記第２のサブセットが異なる請求項２２の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般にコンピュータ再構成に関し、特に二次元（２Ｄ）から三次元（３Ｄ）への変換を用いるシーン再構成に関する。
【背景技術】
【０００２】
本件出願は、２００７年１月２６日付の米国特許出願Ｎｏ．１１／６２７，４１４、名称「２Ｄイメージシーケンスからの３Ｄシーン再構成方法」の優先権を主張し、言及することによってその全体をここに取り込む。
【０００３】
人間は三空間次元で世界を知覚する。残念ながら、今日作成されるほとんどの画像とビデオは事実上、２Ｄである。我々がこれらの画像とビデオに３Ｄ情報を導入することができるなら、それらの機能性を高めるだけでなく、それらの楽しみを劇的に増大させることができる。しかし、２Ｄ画像およびビデオに３Ｄ情報を導入することは、表現されたオリジナルの２Ｄデータからシーンを完全に再構成することをしばしば要求する。画像の任意のセットは、シーン中の対象のモデルとともに観察者のモデルを（詳細の十分なレベルに）作成するために使用することができ、シーンの現実的な代替の透視画像の生成を可能にする。このように、シーンのモデルは、シーン中の対象の配置と関連するイメージデータとともに、それらの画像を取得するのに使用されるカメラの配置を含んでいる。
【０００４】
これらのシーンを再構成する際に、対象のエッジなどのような２Ｄ画像中の特徴を抜き出し、カメラに対するそれらの位置を確認する必要がしばしばある。種々の対象物特徴の３Ｄ位置の差は、多重画像用の異なるカメラ・ポジションとともに、２Ｄ画像で取得される特徴の３Ｄから２Ｄへの投影における相対的差異となる。２Ｄ画像中の特徴の位置を決定することと、異なるカメラ・ポジションから得られた画像中のこれらの特徴の相対的位置を比較することによって、特徴の３Ｄ位置を決定することができる。
【０００５】
カメラ校正として知られる１つの技術は、あるシーンの異なるカメラ視点を用いて取得された多数の２Ｄ画像を使用する。そして、１セットの点対応を検知でき、それは各画像のカメラ位置および方向などの幾何学的な属性の計算を可能にする。これは、２Ｄ画像で見いだされた特徴の３Ｄ座標の決定に至る。ロボットビジョンおよび衛星イメージングなどのようなカメラ校正の多くの現在の方法が、完全自動に向けられている。エム・ポレフェイズ（M. Pollefeys）ほか”Visual Modeling with a Hand-Held Camera,” International Journal of Computer Vision, September, 2004, pages 207-232, Volume 59, Number 3, Kluwer Academic Publishers, Manufactured in the Netherlands, は携帯型ビデオカメラを用いて３Ｄシーンを再生成する手順を記載している。このプロセスで、カメラ・オペレータはカメラを操作して、多数の視点から対象の画像を集める。そして、ビデオシーケンスの画像は、立体的な３Ｄ投影に適した対象の再構成を得るよう処理される。
【０００６】
【非特許文献１】エム・ポレフェイズ（M. Pollefeys）ほか”Visual Modeling with a Hand-Held Camera,” International Journal of Computer Vision, September, 2004, pages 207-232, Volume 59, Number 3, Kluwer Academic Publishers, Manufactured in the Netherlands
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、現在のカメラ校正方法には根本問題がまだ存在する。例えば、典型的な動画は非常に大きい所定の画像集合を持ち、その集合は（カメラおよびシーン再構成のために）無関係なあるいは薄暗い画像を含み、視点における不適当な変化を持ち、変わる形状およびイメージデータの対象を含み得る。また、公知のカメラ校正方法は、冗長で質の悪い画像を使用してリアル・タイムで作動していなければならない一方、特定の関心領域に注目を限定することができ、分割された対象のためにイメージデータを合成する必要がないロボット操縦アプリケーションなどの他のアプリケーションのプロセッサ省力特徴を利用することができない。
【０００８】
さらに、既存のカメラ校正方法は、シーン再構成に理想的ではない。その理由は、過度の計算上の負担、シーン精緻化の便宜不足を含み、画像から抜き出された点群は線と面などのモデルに特異な形状を十分に表現しない。これらの方法はシングル・ステップにおいて再構成に使用されるすべてのフレームにわたる抜き出されたすべての特徴を単一ステップで関連させるから、過度の計算上の負担がしばしば発生する。さらに、既存の方法は、再構成を改良するためのシーンについてのユーザの知識を活用することができるユーザと十分な対話機能を備えない場合がある。
【０００９】
既存の技術も、動画などの２Ｄから３Ｄへの変換に十分適してない。既存の技術は典型的にはダイナミックな対象に対応できず、三次元化に十分でないモデルとして点群を通常使用し、また、入力イメージの非常に大きな集合に適応しない。これらの技術は、さらに典型的にはシーンの形状の詳細の種々のレベルに適応せず、対象またはカメラモデルに対する追加の幾何学的な制約を考慮に入れず、別個のシーン（例えば同じセット、異なる備品）間で共有される形状を開発する手段を提供せず、シーン・モデルの対話式の精緻化がない。
【課題を解決するための手段】
【００１０】
本発明は、利用可能なデータのサブセットからモデルを生成し、そして追加のデータを使用してそのモデルを精緻化することにより、計算の必要性を軽減することを支援する対話型で反復式の再構成のシステムと方法に関する。シーン再構成の実施例は、２Ｄ画像のサブセットから３Ｄシーンのモデルを最初に生成することにより、そのシーンの複数の２Ｄ画像から３Ｄシーンを再構成する。そして、モデルは、サブセット中の各画像の特定の特徴を使用して精緻化することができ、その特徴はサブセットの他の画像を使用して計算される。モデルは、オリジナルのサブセットにない画像を使用して、さらに精緻化される。
【００１１】
１つの実施例は、フレーム内のユーザが選択した少数の主要点を使用して、少数のキー２Ｄフレームに対して３Ｄシーン再構成のための初期計算を行なう。発明のそのような実施例は、再構成プロセスの正確さを高めるとともに、計算の必要性を減少させることができる、反復の改良を多数の点で促進することができる。これらの改良は、初期の再構成において使用されるキーフレームおよびキー頂点の選択を再考する能力を含んでもよい。これらの改良は、さらに再区分のプロセスを通じて中間フレームのために計算されるカメラ・ポジションを含んでもよい。１つの実施例で、再区分は既知の３Ｄ形状の観測された投影に基づく。これらの改良は、三角測量のプロセスを通じて加えることができるメッシュ詳細をさらに含んでもよい。１つの実施例で、三角測量は、交互のフレームで計算されたカメラ配置、およびそれらのフレーム中の詳細の観測された投影に基づく。
【００１２】
また、発明の実施例は、ソフトウエアがすべての特徴点を自動的に指定するのではなく、ユーザ−が粗い三角形メッシュで、あるいはメッシュの頂点が関心のある特徴を指定するいかなるメッシュででも、特徴点をすべて指定することを可能にできる。自動特徴検出ソフトウエアはユーザより多くの特徴を生成するかもしれないが、ユーザは興味ある特徴のセットを指定することができる。そして、これは計算負担を減らす。発明の実施例は、すべてのフレームに一様に重みを加えるのではなく、初期のシーン推定のためのキーフレームの使用を可能にする。例えば、キーフレームは、著しいカメラ位置の差によって互いからオフセットされる１セットのフレームから選ばれてもよい。
【００１３】
また、発明の実施例は、ユーザが、使用される画像の順序とともに、再構成に使用されるフレームの選択と、対象中のどの詳細が再構成されるかの選択を制御することを可能にする。さらに、発明の実施例は、静的および動的領域への画像の分割を可能にし、分割は反復計算を使用してさらに改良され得る。
【００１４】
以上は、後述する発明の詳細が一層よく理解されるように、本発明の特徴および技術的利点をやや大まかに概説した。発明の他の特徴と利点は以下に述べるが、それは発明のクレームの主題を構成する。開示された概念および特定の実施例が、本発明の同じ目的を遂行するための改変または他の構造を設計する根拠として容易に利用され得ることは当業者に理解されるはずである。さらに、そのような均等構成が、付加されたクレームに記載された発明の趣旨と範囲から外れないことも、当業者に理解されるはずである。構成と動作方法の両方について、発明の特徴であると考えられる新規特徴は、さらなる目的および利点とともに、添付図と関連づけた以下の説明から一層よく理解されよう。しかし、各図が例証および説明のみの目的で提供され、本発明の範囲の定義として意図されないことを明確に理解するべきである。
【発明を実施するための最良の形態】
【００１５】
図面の簡単な説明
本発明のより完全な理解のために、添付図と共に読まれるべき以下の説明を参照するが、図中
図１は、多数のカメラ・ポジションから捕らえた三次元シーンの例を示し、
図２Ａ〜図２Ｆは、例の三次元シーンの多数の二次元画像を示し、
図３は、本発明の１つの実施例によるシーン再構成を示すフローチャートであり、そして、
図４は、本発明の１つの実施例によって配置されたシーン再構成システムを示す。
【００１６】
動いているカメラまたは異なる位置の多数のカメラによって取得された２Ｄ画像のシーケンスで始める場合、３Ｄシーン再構成は典型的には、カメラ校正と対象の再構成を組み合わせることを伴い、それはカメラとシーン中の対象の両方の形状を生成する。例えば、カメラが室内の異なる位置から複数画像を取得した場合、カメラの運動と壁や家具、その他の対象などの室内の特徴のための三角形メッシュを表わす３Ｄ形状が典型的には決定される必要がある。
【００１７】
図１は、収集カーブ１１０によって結合された多数の位置１００１〜１００６でのカメラ１００を備えたシーン１０を示す。シーン１０は対象１０１および１０２を含んでいる。対象１０１は平坦面１０１１およびエッジ１０１２などの特徴を持ち、それらは三角形メッシュにそれぞれ面と線として表わされ得る。対象１０２は、位置１００１〜１００６のうちのいくつかでカメラ１００によって取得された２Ｄ画像中の対象１０１によって隠され得る特徴１０２１を持つ。
【００１８】
図２Ａ〜２Ｆは、位置１００１〜１００６でのカメラ１００の視野（図示せず）によって取得されたシーン１０の画像２００１〜２００６をそれぞれ示す。各画像２００１〜２００６中で、対象１０２の異なる箇所が対象１０１によって隠される。特徴１０２１は、画像２００２、２００３および２００６で部分的に隠され、画像２００４および２００５で完全に隠され、画像２００１で完全に目に見える。
【００１９】
図３は、１つの実施例が１セットの２Ｄ画像から３Ｄシーンを再構成するのに使用するステップを示す。これらのステップは、精緻化のプロセスとして反復して実行してもよく、１つの反復においていくつかのステップを省略してもよい。簡単にするために、各ステップの条件付きの性質を図３で明示していない。各ステップの説明に、画像２００１〜２００６を使用して、シーン１０の図２Ａ〜２Ｆの再構成にプロセスがどのように当てはまるかの説明が伴う。
【００２０】
しかし、個々ステップを考慮する前に、プロセスの概要がより高いレベルで提供される。プロセスの目標は、シーン中の各識別された対象のモデルとともに各入力イメージの透視を表わすカメラモデルを生成することである。このプロセスは、対応するカメラモデルによって対象モデルを三次元化することにより、各入力イメージ中の対象の外観を捕らえることを可能にする。このプロセスは、静的対象のモデルを構築する。動的な対象はその配置が変わる対象である。静的対象は、動的対象の補集合を別にして、シーン中の形状が利用可能な画像全体にわたって著しく変化しない対象である。いくつかの実施例では、動的な対象の再構成は、標準モデル化とアニメーション技術などの別のプロセスを通じて後で組込むことができる。
【００２１】
対象のカメラモデルは、シーン内の対象の形状、および利用可能な各画像中の投影された外観を説明上カプセル化する。そのようなモデルの表現例はパラメトリック曲面メッシュであり、そこでは各頂点が、シーン座標の３Ｄ位置と、対応するイメージ特徴の視認性の表示と可視の場合その特徴の２Ｄ位置を含んでいるペアのシーケンス（利用可能なイメージについて一つ）の両方を持つ。
【００２２】
図を説明する目的のために、画像はカメラ・ポジションをすべてを結ぶ最も単純なカーブに従って連続的に番号付けされるが、画像がその順に取得され、また、画像がすべて単一のカメラによって取得されるとは限らない。例えば、図１の収集カーブ１１０は、カメラ１００が収集カーブ１１０で示された円弧で移動したか否かにかかわらず、位置１００１〜１００６を結ぶ最も単純なカーブである。収集カーブの端部を開始または終了と呼ぶのは、多少任意かもしれない。すなわち、開始画像は実際に集められた最初の画像かもしれず、ビデオシーケンスが逆にされれば最終となり得、また、別の時に集められたかもしれない。中間のフレームは、キーフレームに対応する位置間にあたる、収集カーブ上のカメラ・ポジションから取得される画像である。本発明は画像取得のいかなる特定の順序あるいはタイミングにも限定されず、取得機構用のいかなる特定経路にも限定されないことを理解されたい。
【００２３】
再び図３および区別された対象識別プロセス３０１に参照すると、プロセス３０１は、明示的にモデル化されることにより、シーン中のどの対象が識別されることになるかを決定する。さらに、プロセス３０１は、各識別された対象に最低レベルの詳細でその構造を近似するメッシュを割り当てる。１つの実施例では、この割り当てられた最初のメッシュは、テンプレートのライブラリから得られる。しかし、ユーザとの対話処理あるいは自動技術のいずれかを使用して、観察された対象の特徴と一致するよう特に構築されたメッシュなど、他のアプローチを使用することができる。
【００２４】
メッシュの頂点に対する意味をなす座標値の割り当はプロセス３０１で生じないことに留意すべきである。さらに、同時にすべてのメッシュ構造を指定する必要はない。代わりに、フレームの特定セット内で可視の構造を組込むために個々の反復を使用することができる。
【００２５】
図２Ａの画像にプロセス３０１を適用すると、対象１０１および１０２はフレーム２００１を考慮することにより、区別された静的対象であると識別することができる。このフレームでは、対象１０１の三角形メッシュは、その対象の３つの可視の側面と７つの可視の角に対応する６つの面と７つの頂点を含むと指定することができる。対象１０２の三角形メッシュは、その対象の左側面と４つの可視の角に対応する２つの面と４つの頂点を含むと指定することができる。次に２Ｆ図のフレーム２００６を考慮すると、対象１０１のメッシュは、見えている右側面と右側面の下後部の角に対応する２つの追加面と１つの追加頂点を持つ。同様に、対象１０２のメッシュは、前面、上面および右側面と右側面の角に対応する６つの新しい面と４つの新しい頂点に拡張することができる。
【００２６】
プロセス３０２は、キーフレームの選択を行なう。この説明の目的で、キーフレームは、カメラ配置を計算するのに利用可能な画像を指し、非キーフレームは中間フレームと呼ばれる。各キーフレームがそれぞれ著しく異なるカメラ視点を表し、各キーフレームがそれぞれ他のいくつかのキーフレームと十分な画像情報（つまり、特徴の対応関係）を共有するように、カメラ動作の全範囲を表わすキーフレームの集合を選択することが望ましい。キーフレームの選択においてバランスが必要であることに注意するべきである。通常、選択されるキーフレームが多いほど共有情報が多くなり、したがってよりよい結果になる。しかし、これは計算量を増加させて、処理しにくくなりやすい。
【００２７】
本発明のいくつかの実施例は、運動解析に基づいて１セットの利用可能なフレームからキーフレームのサブセットを選ぶために、プロセス３０２で自動の選択処理を使用する。他の実施例は、キーフレームの選択を導くために、ユーザ入力（グラフィカルユーザインターフェースあるいは他の適切な手段によって得られる）によってユーザのシーンについての知識を利用する。
【００２８】
１つの実施例において、図２Ａ、２Ｄおよび２Ｆの各画像２００１、２００４および２００６をキーフレームとして指示し、また図２Ｂ、２Ｃおよび２Ｅの各画像２００２、２００３および２００５を中間フレームとして指示することができる。これらの定義を使用すると、画像２００２および２００３がキーフレーム２００１および２００４の間にあり。画像２００５がキーフレーム２００４および２００６の間にあることになる。これらの定義は、カメラ１００が収集カーブ１１０に沿って移動する際に、画像２００１〜２００６がビデオシーケンスから生じることを可能にするが、定義が特定の取り込みシーケンスを要求せず、単一のカメラが画像をすべて取得することも要求しない。図の説明を簡単化するために、画像のシーケンスは収集カーブ１１０に沿って移動する単一のカメラ１００によって集められたと仮定する。
【００２９】
プロセス３０３は、キー頂点の指定を行なう。この説明のために、キー頂点は、シーン座標値が後でプロセス３０４で計算されるメッシュ頂点を指す。メッシュのキー頂点は、最低のレベルの詳細で必須のメッシュ構造（つまり、重要な特徴）を表現する存在する頂点のサブセットである。しかし、他の頂点を使用することもできる。
【００３０】
各キーフレーム（フレーム２００１、２００３および２００６など）では、各キー頂点が目に見える、あるいは対象によって隠されることによって（動的対象、他の静的対象、あるいは対象自体によって）目に見えないものとしてマークされる。さらに、各キーフレームで、可視のキー頂点の画像座標がイメージ特徴と一致するよう選ばれる。キー頂点を指定するプロセスは、アルゴリズム的に、またはユーザとの対話処理によって、あるいは両方の組合せによって行なうことができる。
【００３１】
プロセス３０３を図２Ａ〜２Ｆの画像に適用すると、対象１０１および１０２に割り当てられた初期のメッシュの頂点はすべて、キー頂点として指定することができる。図２Ａで、フレーム２００１では、対象１０２の左側の４つの頂点２０１１、２０１２、２０１３、２０１４は可視としてマークされ、それらの画像座標を対応イメージ特徴（つまり角）と一致すると指定され、対象１０２の残りの４つの頂点は可視でないとしてマークされる。同じフレームで、対象１０１の左側、前側および上側に属する７つの頂点２０２１〜２０２７は可視とマークされ、画像座標が割り当てられ、残りの頂点２０２８（後部右下の角に対応し、このフレームに示されない）が可視でないとマークされる。図２Ｄのキーフレーム２００４に進んで、両対象１０１および１０２の８つの頂点のうちの７つが可視としてマークされる（後部左下角の頂点２０１２および２０２２だけが見えない）。これらの可視の頂点は画像座標が割り当てられる。最後に、図２Ｆのキーフレーム２００６に進んで、対象１０１は、同じ７つの可視の頂点（図ではマークされない）を持ち、それらも画像座標が割り当てられる。対象１０２は、後部左の頂点２０１１および２０１２（図ではマークされない）が非可視としてマークされ、残りの６つの残る頂点２０１３〜２０１８（図２Ｄに示す）は可視としてマークされ、画像座標が割り当てられる。
【００３２】
プロセス３０４で、基本的なカメラ校正およびシーン再構成アルゴリズムが行なわれる。数値最適化プロセス３０４を通じて、各キーフレームのカメラ配置と各キー頂点の３Ｄシーン座標値を計算し、各計算されたカメラによる各計算されたシーン点の投影が、対応するイメージ座標とできるだけ正確に一致するようにする。このプロセスは次の式によって表わすことができる。
【００３３】
Ｃｆ（Ｐｖ）＝Ｉ（ｆ，ｖ）    式（１）
式中、Ｃｆはフレームｆのカメラ・マトリックスであり、Ｐｖは可視頂点ｖの同じ座標値であり、Ｉ（ｆ、ｖ）はフレームｆの頂点ｖにおける観察画像座標値である。
【００３４】
いくつかの実施例で、前の反復で計算されたカメラ属性および頂点座標値は、プロセス３０４の初期推定として使用することができる。
【００３５】
図２Ａおよび２Ｆの実施例によれば、プロセス３０４の初期の適用は、キーフレーム２００１、２００４および２００６の計算されたカメラ配置と、両方の対象１０１および１０２のキー頂点のうちの７つの計算されたシーン座標値を決定する。各対象１０１および１０２では、後部左下角の頂点２０１２および２０２２は、キーフレーム２００１においてのみ目に見える。
【００３６】
いくつかの実施例では、この時点で、プロセス３０２および３０３はキーフレーム２００３またはキーフレーム２００２を加えることにより繰り返すことができる。これは、キー頂点がすべて複数のキーフレームで目に見え、プロセス３０４によってシーン座標が割り当てられることを保証する。
【００３７】
三角測量によるメッシュ詳細の追加がプロセス３０５で行なわれる。プロセス３０５は、メッシュ（つまり頂点、エッジおよび面）に構造を加えて、カメラ配置が既に計算された１セットのフレーム（例えばキーフレーム）に関しての個々の新しい頂点の位置を三角測量することを含む。新しい頂点は選択された各フレームで画像座標を割り当てられる。そして、潜在する３Ｄシーンの位置が三角測量によって計算される。この画像座標の割り当ては、いくつかの実施例において、ユーザ入力、あるいは自動特徴検出およびトラッキングアルゴリズムの適用によって行うことができる。頂点に観察画像座標を与えるフレームが多いほど、三角測量されるシーン座標点が正確になる。
【００３８】
図２によれば、いくつかの実施例では、対象１０２のメッシュは、前面の矩形凹部１０２１を表わすために構造を加えることにより精緻化される。この付加的な構造は主として、凹部１０２１の前後の角に対応する８つの頂点からなる。
【００３９】
凹部１０２１の選ばれた正面左側の頂点のシーン座標位置は、フレーム２００１および２００３を選択し、それらの選択された頂点を選択されたフレーム各々に適切に位置づけ、三角測量プロセスを行うことによって得られる。同様に、穴の前右側の頂点のシーン座標はフレーム２００４および２００６によって得ることができる。
【００４０】
４つの後部の頂点は利用可能な画像のどれにおいても目に見えないから、シーン座標のそれらの位置はステップ３０４または３０５と無関係に選ばれる。このプロセスは、いくつかの実施例において、ユーザ知識によって、あるいは対象１０２の問題領域の知識の使用により生じる場合がある。しかし、他のアプローチは使用することもできる。
【００４１】
再区分による中間フレームのカメラ配置の計算がプロセス３０６で行なわれる。選ばれた中間フレームのカメラ配置を再区分することは、３Ｄシーン座標が既に計算されているフレームにおいて可視の１セットの頂点（つまりキー頂点）を選択し、そのフレームにおいて対応する特徴の観測された投影と一致するようにこれらの頂点の画像座標を調節することを必要とする。そして、プロセス３０６は、そのキーフレームでカメラパラメータを計算するために再区分アルゴリズムを呼び出す。
【００４２】
１つの実施例で、初期のカメラ配置推定は隣接キーフレームでカメラパラメータを補間することにより得ることができる。このカメラ配置推定は選択された頂点の画像座標を近似するために使用することができる。これらの推定された座標から、ユーザとの対話処理あるいは自動特徴検出／トラッキングによるさらなる精緻化が生じ得る。頂点の数が多いほど、それらが示す深さの範囲が大きいほど、再区分されるカメラの正確さが増す。
【００４３】
中間フレーム２００２でのカメラ配置の計算は、対象１０１の７つの可視頂点とともに、対象１０２の４つの可視頂点を選択することにより達成される。そして、対応するイメージ特徴と一致するように選択された頂点の位置を決め、再区分手順を呼び出すことによって、カメラ配置を計算することができる。
【００４４】
判定３０７は、再構成が詳細と質の十分なレベルで完了したか、または別の反復がさらなる精緻化を行なうべきかどうか判断する。プロセスが完了していない場合、プロセスはステップ３０１に戻る。例えば、あるシーンが、そのまわりの幾つかの椅子を備えた長いテーブルを含んでいるが、椅子のすべてが画像のうちの１つにおいて見えない。プロセス３０４はプロセス３０５での使用のために少数の初期キーフレームを選んでもよい。プロセス３０５で、ユーザは、それらの初期選択キーフレーム中のいくつかの椅子の粗メッシュを指定する。シーン中の椅子のうちのいくつかだけを含むメッシュは、プロセス３０６で精緻化される。そして、プロセス３０５に戻ると、ユーザは椅子を表す３Ｄモデルを既に持つ。また、プロセス３０５に戻って、ユーザは既存のメッシュを編集してもよい。これらは、後で追加されるキーフレーム中で新しく可視の椅子のモデリングの単純化に利用可能である。さらに、プロセス３０６に戻ると、新しく追加されるキーフレームは以前に処理されたキーフレームと共通点を持つことになる。これらの共通点の３Ｄ位置が既知であるから、カメラ校正計算が単純化される。
【００４５】
従来のカメラ校正は、各画像に等しい重み付けを適用して、シーンおよびカメラ配置を自動的に計算することを試みた。しかし、カメラ校正を含む多くの種類の計算について、計算上の負担は、未知の数につれて直線的より速く増加する。初期のモデルの複雑さを減らすことによって、計算の負担を著しく軽減できる。そこで、より低い解像データの結果を利用することによって、精緻化は、回避された程度より計算の負担が少なくなる。したがって、初期の計算の複雑さを単純化し、次に、より効率的なプロセスによって詳細を加え戻すことの最終結果として、全体の計算時間を短縮する。方法３０は、従来の方法と比較して計算の負担を減らし、対話型のシーン精緻化を提供し、ユーザ定義のメッシュが線や面などのモデルに特異な形状を表現することを可能にする。
【００４６】
図４は、実施例に関連したソフトウエアの格納および／または実行により、本発明の実施例を使用するのに適したコンピューターシステム４００を示す。中央処理装置（ＣＰＵ）４０１がシステム・バス４０２につながれる。ＣＰＵ４０１は任意の多目的ＣＰＵでよい。しかし、ＣＰＵ４０１が本書に記載された発明の動作を支持する限り、本発明の実施例はＣＰＵ４０１のアーキテクチャによって制限されない。バス４０２はランダム・アクセス・メモリー（ＲＡＭ）４０３につながれているが、後者はＳＲＡＭ、ＤＲＡＭあるいはＳＤＲＡＭでもよい。読み取り専用メモリ（ＲＯＭ）４０４もバス４０２につながれ、それはＰＲＯＭ、ＥＰＲＯＭあるいはＥＥＰＲＯＭでもよい。周知のように、ＲＡＭ４０３およびＲＯＭ４０４はユーザおよびシステムデータとプログラムを保持する。
【００４７】
バス４０２は入出力（Ｉ／Ｏ）アダプターカード４０５、通信アダプターカード４１１、ユーザインタフェースカード４０８およびディスプレイアダプターカード４０９にもつながれる。Ｉ／Ｏアダプターカード４０５は、コンピューターシステム４００に、ハードドライブ、ＣＤドライブ、フロッピーディスク・ドライブあるいはテープドライブの１つ以上などの記憶デバイス４０６を接続する。Ｉ／Ｏアダプターカード４０５はプリンタ（図示せず）にも接続され、それはシステムが、文書、写真、記事などの情報のハードコピーを印刷することを可能にする。プリンタは、プリンタ（例えばドット・マトリクス、レーザーなど）、ファックス、スキャナーあるいは複写機でもよい。通信アダプターカード４１１はコンピューターシステム４００をネットワーク４１２につなぐのに適し、後者は電話網、ローカルエリアネットワーク（ＬＡＮ）および／または広域ネットワーク（ＷＡＮ）、イーサネット・ネットワークおよび／またはインターネット・ネットワークの１つ以上であり得る。ユーザ・インタフェース・アダプターカード４０８は、キーボード４１３、ポインティング・デバイス４０７などのユーザ入力デバイスをコンピューターシステム４００につなぐ。ディスプレイアダプターカード４０９は、ディスプレイ４１０上の表示を制御するためにＣＰＵ４０１によって駆動される。
【００４８】
本発明とその利点を詳細に説明したが、付記されたクレームに記載された発明の趣旨および範囲から外れずに、種々の変更、置換および改変を行なうことができることが理解されるはずである。さらに、本件出願の範囲は、明細書に記載されたプロセス、機械、製造、合成物、手段、方法およびステップの特定の実施例に限定されるようには意図されない。当業者が本発明の開示から容易に理解するように、本書に記載した対応する実施例と実質的に同じ作用を行い、実質的に同じ結果を達成する、既存のあるいは後で開発されたプロセス、機械、製造、合成物、手段、方法あるいはステップは、本発明に従って利用することができる。したがって、付記されたクレームは、そのようなプロセス、機械、製造、合成物、手段、方法あるいはステップをその範囲に含むように意図される。
【図面の簡単な説明】
【００４９】
【図１】多数のカメラ・ポジションから捕らえた三次元シーンの例を示す。
【図２Ａ】例の三次元シーンの多数の二次元画像を示す。
【図２Ｂ】例の三次元シーンの多数の二次元画像を示す。
【図２Ｃ】例の三次元シーンの多数の二次元画像を示す。
【図２Ｄ】例の三次元シーンの多数の二次元画像を示す。
【図２Ｅ】例の三次元シーンの多数の二次元画像を示す。
【図２Ｆ】例の三次元シーンの多数の二次元画像を示す。
【図３】本発明の１つの実施例によるシーン再構成を示すフローチャートである。
【図４】本発明の１つの実施例によって配置されたシーン再構成システムを示す。
【符号の説明】
【００５０】
１０    シーン
１００  カメラ
１０１、１０２  対象
１１０  収集カーブ
１００１、１００２、１００３、１００４、１００５、１００６  位置
１０１１  平坦面
１０１２  エッジ
１０２１  特徴
【図１】
2008186456.tif 000003
【図２Ａ】
2008186456.tif 000004
【図２Ｂ】
2008186456.tif 000005
【図２Ｃ】
2008186456.tif 000006
【図２Ｄ】
2008186456.tif 000007
【図２Ｅ】
2008186456.tif 000008
【図２Ｆ】
2008186456.tif 000009
【図３】
2008186456.tif 000010
【図４】
2008186456.tif 000011
【外国語明細書】
2008186456000001.pdf
2008186456000002.pdf
2008186456000003.pdf
2008186456000004.pdf