(57)【要約】２次元（２Ｄ）画像を使用したシーンの３次元（３Ｄ）取得及びモデリングのシステム及び方法が提供される。本システム及び方法は、あるシーンの第一及び第二の画像を取得し、平滑化機能を第一の画像に適用し（２０２）、たとえばシーンにおけるオブジェクトのコーナ及びエッジといったオブジェクトの特徴点をさらに目に見えるようにし、少なくとも２つの特徴検出機能第一の画像に適用し、第一の画像におけるオブジェクトの特徴点を検出し（２０４，２０８）、少なくとも２つの特徴検出機能の出力を結合して追跡されるべきオブジェクトの特徴点を選択し（２１０）、平滑化機能を第二の画像に適用し（２０６）、追跡機能を第二の画像に適用して選択されたオブジェクトの特徴点を追跡し（２１４）、追跡機能の出力からシーンの３次元モデルを再構成する（２１８）。
2009536499.tif 000002
【特許請求の範囲】
【請求項１】
あるシーンの第一の画像及び第二の画像を取得するステップと、
少なくとも２つの特徴検出機能を前記第一の画像に適用して、前記第一の画像におけるオブジェクトの特徴点を検出するステップと、
前記少なくとも２つの特徴検出機能の出力を結合して、追跡されるべきオブジェクトの特徴点を選択するステップと、
トラッキング機能を前記第二の画像に適用して、選択されたオブジェクトの特徴点を追跡するステップと、
前記トラッキング機能の出力から前記シーンの３次元モデルを再構成するステップと、
を含む３次元取得プロセス。
【請求項２】
前記少なくとも２つの特徴検出機能を適用するステップの前に平滑化機能を前記第一の画像に適用して、前記第一の画像におけるオブジェクトの特徴点を更に目に見えるようにするステップを更に含む、
請求項１記載の３次元取得プロセス。
【請求項３】
前記特徴点は、前記画像におけるオブジェクトのコーナ、エッジ又はラインである、
請求項２記載の３次元取得プロセス。
【請求項４】
トラッキング機能を適用するステップの前に、同じ平滑化機能を前記第二の画像に適用するステップを更に含む、
請求項２記載の３次元取得プロセス。
【請求項５】
前記少なくとも２つの特徴検出機能のうちの第一の特徴検出機能を適用する前に、第一の平滑化機能を前記第一の画像に適用するステップと、前記少なくとも２つの特徴検出機能のうちの第二の特徴検出機能を適用する前に、第二の平滑化機能を前記第一の画像に適用するステップとを更に含み、
前記第一及び第二の平滑化機能は、前記第一の画像におけるオブジェクトの特徴点を更に目に見えるようにする、
請求項１記載の３次元取得プロセス。
【請求項６】
前記結合するステップは、前記少なくとも２つの特徴検出機能により検出された複製の特徴点を除くステップを更に含む、
請求項１記載の３次元取得プロセス。
【請求項７】
前記再構成するステップは、前記第一の画像と前記第二の画像の間で選択されたオブジェクトの特徴点の深さマップを生成するステップを更に含む、
請求項１記載の３次元取得プロセス。
【請求項８】
前記再構成するステップは、前記選択されたオブジェクトの特徴点と前記深さマップから３次元のメッシュ構造を生成するステップを更に含む、
請求項７記載の３次元取得プロセス。
【請求項９】
前記３次元メッシュ構造を生成するステップは、三角形分割機能により実行される、
請求項８記載の３次元取得プロセス。
【請求項１０】
前記再構成するステップは、前記メッシュ構造を前記第一の画像からのテクスチャ情報と結合して３次元モデルを完成するステップを更に含む、
請求項８記載の３次元取得プロセス。
【請求項１１】
２次元画像から３次元（３Ｄ）情報を取得するシステムであって、
当該システムは、少なくとも２つの画像からシーンの３次元モデルを再構成するために構成される後処理装置を有し、
前記後処理装置は、
画像における特徴点を検出するために構成され、少なくとも２つの特徴検出機能を含む特徴点検出器と、前記少なくとも２つの特徴検出機能は、前記少なくとも２つの画像のうちの第一の画像に適用され、
前記少なくとも２つの画像の間で選択された特徴点を追跡するために構成される特徴点追跡手段と、
追跡された特徴点から少なくとも２つの画像間で深さマップを生成するために構成される深さマップ生成手段とを有し、
前記後処理装置は、前記深さマップから前記３Ｄモデルを生成する、
ことを特徴とするシステム。
【請求項１２】
前記後処理装置は、前記第一の画像におけるオブジェクトの特徴点を更に目に見えるようにするために構成される平滑化機能フィルタを更に含む、
請求項１１記載のシステム。
【請求項１３】
前記平滑化機能フィルタは、ポアソン変換又はラプラシアン変換である、
請求項１２記載のシステム。
【請求項１４】
前記特徴点検出手段は、前記少なくとも２つの特徴検出機能から検出された特徴点を結合して、複製の検出された特徴点を除去するために構成される、
請求項１２記載のシステム。
【請求項１５】
前記後処理装置は、前記選択された特徴点と前記深さマップから３次元のメッシュ構造を生成するために更に構成される、
請求項１２記載のシステム。
【請求項１６】
前記後処理装置は、前記メッシュ構造を前記第一の画像からのテクスチャ情報と結合して３Ｄモデルを完成するために更に構成される、
請求項１５記載のシステム。
【請求項１７】
前記３Ｄモデルをレンダリングする表示装置を更に有する、
請求項１６記載のシステム。
【請求項１８】
２次元画像から３次元シーンをモデリングする方法を実行するためにコンピュータにより実行可能な命令からなるプログラムを実現する、コンピュータにより読取り可能なプログラムの記録媒体であって、
当該方法は、
あるシーンの第一の画像及び第二の画像を取得するステップと、
平滑化機能を前記第一の画像に適用するステップと、
少なくとも２つの特徴検出機能を平滑化された第一の画像に適用して、前記第一の画像におけるオブジェクトの特徴点を検出するステップと、
前記少なくとも２つの特徴検出機能の出力を結合して、追跡されるべきオブジェクトの特徴点を選択するステップと、
平滑化機能を前記第二の画像に適用するステップと、
トラッキング機能を前記第二の画像に適用して、選択されたオブジェクトの特徴点を追跡するステップと、
前記トラッキング機能の出力からシーンの３次元モデルを再構成するステップと、
を含むことを特徴とする記録媒体。
【請求項１９】
前記再構成ステップは、前記第一の画像と前記第二の画像の間の前記選択されたオブジェクトの特徴点の深さマップを生成するステップを更に含む、
請求項１８記載の記録媒体。
【請求項２０】
前記再構成ステップは、前記選択されたオブジェクトの特徴点と前記深さマップとから３次元のメッシュ構造を生成するステップを更に含む、
請求項１９記載の記録媒体。
【請求項２１】
前記再構成ステップは、前記メッシュ構造を前記第一の画像からのテクスチャ情報と結合して、前記３次元モデルを完成するステップを更に有する、
請求項２０記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に３次元オブジェクトのモデリングに関し、より詳細には、平滑化機能を含むハイブリッド特徴検出及び追跡を使用した２次元（２Ｄ）画像から３次元（３Ｄ）情報を取得するシステム及び方法に関する。  
本出願は、2006年5月5日に米国で提出された仮出願60/798087の35U.S.C.§119の利益を特許請求するものである。
【背景技術】
【０００２】
シーンがフィルム化されるとき、結果的に得られるビデオ系列は、シーンの３次元（３Ｄ）の形状に関する暗黙の情報（implicit information）を含む。適切な人間の知覚のため、この暗黙の情報は十分である一方で、多くの用途について、３Ｄシーンの正確な形状が必要とされる。これらの用途の１つのカテゴリは、たとえば新たなシーンのビューの生成又は工業検査の用途について３Ｄ形状の再構成において、洗練されたデータ処理技術が使用されるときである。
【０００３】
３Ｄ情報の回復は、暫くの間、活発な研究分野である。文献において、たとえばレーザレンジファインダを使用して直接的に３Ｄ情報を捕捉するか、又は動き技術からステレオ又は構造のような１又は複数の２次元（２Ｄ）画像から３Ｄ情報を回復する多数の技術が存在する。一般に３Ｄ取得技術は、アクティブ及びパッシブアプローチ、シングルビュー及びマルチビューアプローチ、並びに、幾何学的及び光度方法として分類することができる。
【０００４】
パッシブアプローチは、正規の照明条件下で撮影される画像又はビデオから３Ｄ形状を取得する。３Ｄ形状は、画像及びビデオから抽出された幾何学的形状又は光学的な特徴を使用して計算される。アクティブなアプローチは、レーザのような特別の光源、構造照明又は赤外照明を使用する。アクティブなアプローチは、オブジェクト及びシーンの表面に投影される特別な光に対するオブジェクト及びシーンの応答に基づいて形状を計算する。
【０００５】
シングルビューアプローチは、単一のカメラの視点から撮影される多数の画像を使用して３Ｄ形状を回復する。例は、動きからの構造及びデフォーカスからの深さを含む。
【０００６】
マルチビューアプローチは、オブジェクトの動きから得られる多数のカメラの視点から、又は異なる光源の位置で撮影される多数の画像から３Ｄ形状を回復する。ステレオマッチングは、画素の深さ情報を得るため、ステレオペアにおける左の画像と右の画像における画素を整合させることによるマルチビューの３Ｄリカバリの例である。
【０００７】
幾何学的な方法は、１又は複数の画像におけるコーナ、エッジ、ライン又は輪郭のような幾何学的な特徴を検出することで３Ｄ形状を回復する。抽出されたコーナ、エッジ、ライン又は輪郭の間の特別の関係は、画像における画素の３Ｄ座標を推論するために使用される。ＳＦＭ（Structure From Motion）は、シーン内で動くカメラ又は静止したカメラから撮影された一連の画像からシーン及び動くオブジェクトの３Ｄ構造を再構築するのを試みる技術である。多くはＳＦＭが基本的に非線形の問題であることを同意するが、ダイレクトソリューション方法と同様に数学的な優雅さを提供する、非線形を表す幾つかの試みがなされている。他方で、線形の技術は、非線形の技術は、繰り返しの最適化を必要とし、極小に対処する必要がある。しかし、これらは、良好な数値の精度及び柔軟性を妥協する。ステレオマッチングに対するＳＦＭの利点は、１つのカメラが必要とされることである。特徴に基づいたアプローチは、次のフレームにおける不一致を予測するために特徴の動きの過去の履歴を利用するトラッキング技術により更に効果的にされる。
【０００８】
第二に、２つの連続するフレーム間の同じ空間及び時間差のため、対応する問題は、オプティカルパターンと呼ばれる画像の明るさのパターンの明らかな動きを予測する問題として位置づけられる。ＳＦＭを使用する幾つかのアルゴリズムが存在し、それらの大部分は、２Ｄ画像からの３Ｄ形状の再構成に基づく。幾つかは公知の対応する値を想定し、他は、対応なしに再構成するために統計的なアプローチを使用する。
【０００９】
上述された方法は、数十年について広範囲に研究されている。しかし、単一の技術は、全ての状況において良好に実行せず、過去の方法の大部分は、比較的容易に実験室の条件下で３Ｄの再構成に焦点を当てている。現実の世界のシーンについて、対象は動いており、照明は複雑であり、深さのレンジは大きい。先に識別された技術について、これら現実世界の条件を扱うことは困難である。
【発明の開示】
【課題を解決するための手段】
【００１０】
この開示は、２次元（２Ｄ）画像を使用したシーンの３次元（３Ｄ）取得及びモデリングのシステム及び方法を提供する。この開示のシステム及び方法は、あるシーンの少なくとも２つの画像を取得するステップ、特徴を更に目に見えるようにする平滑化機能を行なうステップを含み、３Ｄ情報の回復のために特徴選択及びトラッキングのハイブリッドスキームにより後続される。はじめに、平滑化機能は、画像に適用され、画像における特徴を発見する特徴点選択により後続される。少なくとも２つの特徴点検出機能は、最初の画像における広い範囲の良好な特徴点をカバーするために利用され、次いで、平滑化機能は、第二の画像に適用され、第二の画像において検出された特徴点を追跡するためにトラッキング機能により後続される。特徴検出／選択及びトラッキングの結果は、完全な３Ｄモデルを取得するために結合される。この機能の１つの目標とする用途は、フィルムセットの３Ｄ再構成である。結果的に得られる３Ｄモデルは、フィルムシューティングの間の可視化又は後処理のために使用される。他の用途は、限定されるものではないが、ゲーム及び３ＤＴＶを含めてこのアプローチから利益を得る。
【００１１】
この開示の１つの態様によれば、３次元の取得プロセスが提供される。シーンの第一及び第二の画像を取得するステップ、画像におけるオブジェクトの特徴点を検出するために第一の画像に少なくとも２つの特徴検出機能を適用するステップ、追跡されるべきオブジェクトの特徴点を選択するために少なくとも２つの特徴検出機能の出力を結合するステップ、選択されたオブジェクトの特徴点を追跡するために第二の画像にトラッキング機能を適用するステップ、及びトラッキング機能の出力からシーンの３次元モデルを再構成するステップを含む。このプロセスは、第一の画像におけるオブジェクトの特徴点を更に目に見えるようにするために少なくとも２つの特徴検出機能の適用前に、第一の画像への平滑化機能を更に適用し、この特徴点は、画像におけるオブジェクトのコーナ、エッジ又はラインである。
【００１２】
この開示の別の態様では、２次元（２Ｄ）画像から３次元（３Ｄ）情報を取得するシステムが提供される。当該システムは、少なくとも２つの画像からあるシーンの３次元モデルを再構成するために構成される後処理装置を含み、この後処理装置は、ある画像における特徴点を検出するために構成される特徴点検出器を含み、この特徴点検出器は、少なくとも２つの特徴検出機能を含む。少なくとも２つの特徴検出機能は、少なくとも２つの画像の第一の画像に適用される。また、当該システムは、少なくとも２つの画像間の選択された特徴点を追跡するために構成される特徴点追跡手段、及び、追跡された特徴点から少なくとも２つの画像間の深さマップを生成するために構成される深さマップ生成手段を含む。後処理装置は、深さマップからの３Ｄモデルを生成する。後処理装置は、第一の画像におけるオブジェクトの特徴点を更に目に見えるようにするために構成される平滑化機能フィルタを更に含む。
【００１３】
この開示の更なる態様では、２次元（２Ｄ）画像から３次元（３Ｄ）シーンをモデリングする方法ステップを実行するためにコンピュータにより実行可能な命令からなるプログラムを実施する、コンピュータ読取り可能なプログラムストレージデバイスが提供され、上記方法は、あるシーンの第一及び第二の画像を取得するステップ、平滑化機能を第一の画像に適用するステップ、少なくとも２つの特徴検出機能を平滑化された第一の画像に適用して、画像におけるオブジェクトの特徴点を検出するステップ、追跡されるべきオブジェクトの特徴点を選択するために少なくとも２つの特徴検出機能の出力を結合するステップ、平滑化機能を第二の画像に適用するステップ、選択されたオブジェクトの特徴点を追跡するために第二の画像にトラッキング機能を適用するステップ、及び、トラッキング機能の出力からシーンの３次元モデルを再構成するステップを含む。
【００１４】
本発明のこれらの態様、特徴及び利点、並びに、他の態様、特徴及び利点が記載され、添付図面と共に読まれる好適な実施の形態の以下の詳細な説明から明らかとなるであろう。
【００１５】
図面では、同じ参照符号は、図を通して同じエレメントを示す。図面は、本発明のコンセプトを例示するためのものであり、必ずしも、本発明を説明するための唯一の可能なコンフィギュレーションではない。
【発明を実施するための最良の形態】
【００１６】
図示されるエレメントは、ハードウェア、ソフトウェア又はその組み合わせの様々な形式で実現される場合があることが理解される。好ましくは、これらのエレメントは、プロセッサ、メモリ並びに入力／出力インタフェースを含む１以上の適切にプログラムされた汎用装置でハードウェア及びソフトウェアの組み合わせで実現される。
【００１７】
この記載は、本発明の原理を例示する。当業者であれば、本明細書では明示的に記載又は図示されないが、本発明の原理を実施し、本発明の精神及び範囲内に含まれる様々なアレンジメントを考案することができることを理解されたい。
【００１８】
本明細書で引用される全ての例及び条件付き言語は、本発明の原理及び本発明者により寄与されるコンセプトを理解することにおいて読者を支援する教育的な目的について意図され、係る特に引用される例及び条件への制限がないものとして解釈されるべきである。
【００１９】
さらに、本発明の原理、態様及び実施の形態を参照する全ての説明は、その特定の例と同様に、本発明の構造的且つ機能的に等価な構成を包含することが意図される。さらに、係る等価な構成は、現在公知の等価な構成と同様に将来的に開発される等価な構成、すなわち構造に関わらず同じ機能を実行する開発されたエレメントの両者を含む。
【００２０】
したがって、たとえば、本明細書で表されるブロック図は、本発明の原理を実施する例示的な回路の概念的なビューを表わすことが当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読取り可能な媒体で実質的に表され、コンピュータ又はプロセッサが明示的に示されるか否かに関わらず、コンピュータ又はプロセッサによりそのように表される様々なプロセスを表す。
【００２１】
図示される様々なエレメントの機能は、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアと同様に専用ハードウェアの使用を通して提供される。プロセッサにより提供されたとき、機能は、単一の専用プロセッサ、単一の共有プロセッサ、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すために解釈されるべきではなく、限定することなしに、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）及び不揮発性ストレージを暗黙に含む。
【００２２】
他のハードウェア、コンベンショナル及び／又はカスタムが含まれる場合もある。同様に、図示される任意のスイッチは概念的なものである。それらの機能は、プログラムロジックを通して、専用ロジックを通して、プログラム制御及び専用ロジックの繰り返しを通して実行されるか、マニュアル的に、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。
【００２３】
本発明の請求項では、特定の機能を実行する手段として表現されるエレメントは、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するためにそのソフトウェアを実行する適切な回路と結合されるファームウェア、マイクロコード等を含む何れかの形式のソフトウェアを含めて、その機能を実行する任意の方法を包含することが意図される。係る請求項により定義される発明は、様々な引用される手段により提供される機能が結合され、請求項が求めるやり方で互いに結合されるという事実にある。したがって、それらの機能を提供することができる任意の手段は、本明細書に示される手段に等価であると考えられる。
【００２４】
本発明で開示される技術は、オブジェクト及びシーンの３Ｄ形状を回復する問題に対処する。現実世界のシーンの形状を回復することは、対象の動き、フォアグランドとバックグランドの間の大きな深さの不連続性、並びに、複雑化された照明及び明るさの条件のために挑戦的な問題である。ある画像の深さマップを予測するため、又は３Ｄ表現を再構成するために特徴点選択及び追跡で使用される現在の方法は、それら自身により非常に良好に実行されない。２Ｄ画像から３Ｄの再構成が使用されるが、結果は制限され、深さマップは非常に正確ではない。レーザスキャンのような３Ｄ取得のための技術の中には、たとえば人間の対象の存在のために多くの状況で許容可能ではない。
【００２５】
オブジェクト及びシーンの３次元（３Ｄ）形状を回復するシステム及び方法が提供される。本発明のシステム及び方法は、３Ｄの特徴を回復するためにハイブリッドアプローチを使用してＳＦＭ（Structure From Motion）のエンハンスメントアプローチを提供する。この技術は、大きな環境について特徴を確実に配置可能な単一の方法を欠くことで動機付けされる。本発明の技術は、はじめに、特徴点検出／選択及び追跡の前に、ポアソン又はラプラシアン変換のような異なる平滑化機能を画像に適用することで開始する。このタイプの平滑化フィルタは、一般に使用されるガウス関数よりも、画像における特徴を検出するために更に目に見えるようにする役割を果たす。次いで、多数の特徴検出器は、良好な特徴を得るために１つの画像に適用される。２つの特徴検出器の使用の後、良好な特徴が得られ、次いで、トラッキング方法を使用して幾つかの画像を通して容易に追跡される。
【００２６】
ここで図面を参照して、この開示の実施の形態に係る例示的なシステムコンポーネントは、図１に示される。スキャニング装置１０３は、たとえばカメラ−オリジナルフィルムネガティブといったフィルムプリント１０４を、たとえばＣｉｎｅｏｎフォーマット又はＳＭＰＴＥ（Society of Motion Picture and Television
Engineers）のＤＸＰ（Digital Picture Exchange）ファイルといったデジタルフォーマットにスキャニングするために提供される。
【００２７】
スキャニング装置１０３は、たとえば、テレシネ、又はビデオ出力でたとえばArriLocProTMのようなフィルムからのビデオ出力を生成する任意の装置を含む。代替的に、（たとえばコンピュータ読取り可能な形式で既にあるファイルといった）ポストプロダクションプロセス又はデジタルシネマ１０６からのファイルは、直接的に使用することができる。コンピュータ読取り可能なファイルの潜在的なソースは、ＡＶＩＤTMエディタ、ＤＰＸファイル、Ｄ５テープ等である。
【００２８】
スキャニングされたフィルムプリントは、たとえばコンピュータといった後処理装置１０２に入力される。コンピュータは、１以上の中央処理装置（ＣＰＵ）、ランダムアクセスメモリ（ＲＡＭ）及び／又はリードオンリメモリ（ＲＯＭ）のようなメモリ１１０、並びにキーボード、カーソル制御装置（たとえばマウス又はジョイスティック）及び表示装置のような入力／出力（Ｉ／Ｏ）ユーザインタフェース１１２のようなハードウェアを有する様々な公知のコンピュータプラットフォームで実現される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロインストラクションコードを含む。本明細書で記載される各種の処理及び機能は、マイクロインストラクションコードの一部、又はオペレーティングシステムを介して実行されるソフトウェアアプリケーションプログラムの一部（或いはその組み合わせ）である。１実施の形態では、ソフトウェアアプリケーションプログラムは、プログラムストレージ装置で実現され、後処理装置１０２のような適切なコンピュータにアップロードされて実行される。さらに、各種の他の周辺装置は、パラレルポート、シリアルポート又はユニバーサルシリアルバス（ＵＳＢ）のような各種インタフェース及びバス構造によりコンピュータプラットフォームに接続される。他の周辺装置は、更なるストレージ装置１２４及びプリンタ１２８を含む。プリンタ１２８は、フィルム１２６の改訂されたバージョンをプリントするために利用され、シーンは、いかに記載される技術の結果として３Ｄモデリングされたオブジェクトを使用して変更又は置き換えられる。
【００２９】
代替的に、（たとえば外部のハードドライブ１２４に記憶されるデジタルシネマといった）コンピュータ読取り可能な形式１０６で既にあるファイル／フィルムプリントは、コンピュータ１０２に直接的に入力される。なお、本明細書で使用される用語「フィルム」は、フィルムプリント又はデジタルシネマのいずれかを示す場合がある。
【００３０】
ソフトウェアプログラムは、メモリ１１０に記憶される３次元（３Ｄ）再構成モジュールを含む。３Ｄ再構成モジュール１１４は、画像におけるオブジェクトの特徴を検出するために更に目に見えるようにする平滑化機能フィルタ１１６を含む。３Ｄ再構成モジュール１１４は、画像における特徴点を検出するための特徴点検出手段１１８を含む。特徴点検出器１１８は、特徴点を検出又は選択するため、たとえばアルゴリズムといった少なくとも２つの異なる特徴点の検出機能を含む。特徴点追跡手段１２０は、追跡機能又はアルゴリズムを介して複数の連続する画像を通して選択された特徴点を追跡するために提供される。深さマップ発生手段１２２は、追跡された特徴点から深さマップを発生するために提供される。
【００３１】
図２は、本発明の態様に係る２次元（２Ｄ）画像から３次元（３Ｄ）オブジェクトを再構成する例示的な方法のフローダイアグラムである。
【００３２】
図２を参照して、後処理装置１０２は、コンピュータ読取可能なフォーマットでデジタルマスタービデオファイルを取得する。デジタルビデオファイルは、デジタルビデオカメラでテンポラルなビデオ画像の系列を捕捉することにより取得される。代替的に、ビデオ系列は、慣習的なフィルムタイプのカメラにより捕捉される場合がある。このシナリオでは、フィルムは、スキャニング装置１０３を介してスキャンされ、プロセスはステップ２０２に進む。カメラは、シーンにおけるオブジェクト又はカメラのいずれかが移動する間に２Ｄ画像を取得する。カメラは、シーンの複数の視点を取得する。
【００３３】
フィルムがスキャンされるか又は既にデジタルフォーマットにあるかに関わらず、フィルムのデジタルファイルは、フレームの位置に関する指示又は情報（たとえばタイムコード、フレーム番号、フィルムの開始からの時間等）を含む。デジタルビデオのそれぞれのフレームは、たとえばＩ1，Ｉ2，．．．Ｉnといった１つの画像を含む。
【００３４】
ステップ２０２では、平滑化機能フィルタ１１６は、画像Ｉ1に適用される。好ましくは、平滑化関数フィルタ１１６は、ポアソン又はラプラシアン変換であり、当該技術分野で一般に使用されるガウス関数よりも画像に於けるオブジェクトの機能を検出するために更に目に見えるようにするのに役立つ。他の平滑化関数フィルタが採用される場合があることを理解されたい。
【００３５】
次いで、画像Ｉ1は、ステップ２０４で第一の特徴点検出器により処理される。特徴点は、コーナ、エッジ、ライン等のような画像の顕著な特徴であり、この場合、多くの量の画像の強度のコントラストが存在する。特徴点は、容易に識別可能であるために選択され、ロバストに追跡される。特徴点検出手段１１８は、当該技術分野で良好に知られるように、Kitchen-Rosenfeldコーナ検出演算子Ｃを使用する場合がある。この演算子は、所与の画素の位置で画像の「コーナネス（cornerness）」の度合いを評価するために使用される。「コーナ」は、たとえば９０度の角度での画像の強度の勾配の最大値の２つの方向の交点により特徴づけされる画像の特徴である。特徴点を抽出するため、Kitchen-Rosenfeld演算子は、画像Ｉ1のそれぞれ有効な画素の位置で適用される。特定の画素で演算子Ｃの値が高くなると、そのコーナネスの程度が高くなり、画像Ｉ1における画素の位置（ｘ,ｙ）での演算子Ｃが（ｘ,ｙ）の近傍における他の画素の位置でよりも大きい場合に、位置（ｘ,ｙ）は特徴点である。近傍は、画素の位置（ｘ,ｙ）でセンタリングされる５×５マトリクスである。ロバストネスを保証するため、選択された特徴点は、Ｔc＝１０のような閾値よりも大きいコーナネスの程度を有する。特徴点検出器１１８からの出力は、画像Ｉ1における特徴点｛Ｆ1｝のセットであり、それぞれのＦ1は、画像Ｉ1における「特徴」の画素の位置に対応する。限定されるものではないが、ＳＩＦＴ（Scale Invariant Feature Transform）、ＳＵＳＡＮ（Smallest Univalue Segment Assimilating Nucleus）、Sobelエッジ演算子及びCannyエッジ検出器を含めて、多くの他の特徴点検出器が利用される。
【００３６】
ステップ２０６では、画像Ｉ1は、平滑化関数フィルタ１１６に入力され、第二の異なる特徴点検出器は、該画像に適用される（ステップ２０８）。次いで、ステップ２０４及びステップ２０８で検出された特徴点が結合され、複製の選択された特徴点が除かれる（ステップ２１０）。ステップ２０６で適用される平滑化関数のフィルタは、ステップ２０２で適用されるのと同じフィルタであるが、他の実施の形態では、異なる平滑化関数フィルタがステップ２０２及び２０６のそれぞれで使用される場合があることを理解されたい。
【００３７】
ハイブリッドアプローチを特徴点の検出に採用することで、多数の特徴点を検出することができることを理解されたい。図３Ａは、小さな矩形により表される検出された特徴点をもつシーンを例示する。図３Ａにおけるシーンは、１つの特徴点検出器で処理される。対照的に、図３Ｂにおけるシーンは、本発明に係るハイブリッドポイント検出器のアプローチで処理され、著しく多数の特徴点を検出する。
【００３８】
検出された特徴点が選択された後、第二の画像Ｉ2は、第一の画像Ｉ1で使用されたのと同じ平滑化関数フィルタを使用して平滑化される（ステップ２１２）。第一の画像Ｉ1で選択された良好な特徴点は、第二の画像Ｉ2で追跡される（ステップ２１４）。画像Ｉ１における特徴点のセットが与えられると、特徴点の追跡手段１２０は、それらの最も近い整合を発見することでシーンショットの次の画像Ｉ2に特徴点を追跡する。
【００３９】
上述されるように、他の実施の形態では、ステップ２１２で適用される平滑化関数フィルタは、ステップ２０２及び２０６で適用されるフィルタとは異なる。さらに、ステップ２０２〜２１２は順次に記載されたが、所定の実施の形態では、平滑化関数フィルタは、並列処理又はハードウェアを介して同時に適用される場合がある。
【００４０】
特徴点がひとたび追跡されると、それぞれ追跡された特徴について、水平方向における画素の位置ｌ1とｌ2の間の差として不一致の情報が計算される。不一致は、カメラのキャリブレーションパラメータに関連するスケーリングファクタにより深さに逆相関される。ステップ２１６で、カメラのキャリブレーションパラメータが取得され、深さマップジェネレータ１２２により、２つの画像間のオブジェクト又はシーンの深さマップを生成するために利用される。カメラパラメータは、限定するものではないが、カメラの焦点距離、２つのカメラショット間の距離を含む。カメラパラメータは、ユーザインタフェース１１２を介してシステム１００に手動で入力されるか、又は、カメラのキャリブレーションアルゴリズムから推定される。カメラパラメータを使用して、深さは、特徴点で予測される。結果的に得られる深さマップは、検出された特徴でのみ深さの値をもつまばらである（sparse）。深さマップは、空間における表面を数学的に表すための値の２次元アレイであり、この場合、アレイの行及び列は、表面のｘ及びｙ位置に対応し、アレイエレメントは、所与のポイント又はカメラ位置から表面への深さ又は距離の測定値である。深さマップは、オブジェクトのグレイスケールの画像として見ることができ、深さ情報は、オブジェクトの表面のそれぞれのポイントで、強度情報又は画素を置き換える。したがって、表面のポイントは、３Ｄグラフィカルな構築の技術での画素とも呼ばれ、２つの用語は、この開示で交換可能に使用される。不一致の情報はスケーリングファクタで乗じられる深さに逆比例するので、大部分の用途にとって３Ｄシーンのモデルを構築するために直接に使用することができる。これにより、カメラパラメータの計算が不要となるので、計算が簡略化される。
【００４１】
画像のペアＩ1及びＩ2に存在する特徴点及びそれぞれの特徴点での深さの推定値のセットから、及び、特徴点が互いに比較的に接近して配置され、全体の画像に及ぶように特徴点が選択されるものとすると、深さマップ発生手段１２２は、かかる特徴点を相互に接続することで３Ｄメッシュ構造を形成し、ここで、特徴点は、形成された多角形の頂点にある。特徴点が互いに近くなると、結果的に得られる３Ｄメッシュ構造の密度が高くなる。３Ｄ構造のそれぞれの頂点での深さが公知であるので、それぞれの多角形内の点での深さが推定される。このように、全ての画像の画素の位置での深さが推定される。これは、平面の補間（planar interpolation）により行われる場合がある。３Ｄメッシュ構造を生成するロバスト及び高速な方法は、ドローネー三角分割法である。特徴点は、その頂点が特徴点の位置にある三角形のセットを形成するために接続される。それぞれの特徴点及びその対応する頂点に関連する深さを使用して、「深さの平面」は、それぞれ個々の三角形にフィットされ、個々の三角形から、三角形内のそれぞれのポイントの深さが決定される。
【００４２】
オブジェクトの完全な３Ｄモデルは、ドローネーアルゴリズムから得られる三角メッシュを画像Ｉ1からのテクスチャ情報と結合することで再構成することができる（ステップ２１８）。テクスチャ情報は、２Ｄの強度画像である。完全な３Ｄモデルは、画像の画素での深さ及び強度値を含む。結果的に得られる結合された画像は、カリフォルニア州のスタンフォードのスタンフォード大学で開発されたScanAlyzeソフトウェアのような従来の視覚化ツールを使用して視覚化される。
【００４３】
特定のオブジェクト又はシーンの再構成された３Ｄモデルは、表示装置で見るためにレンダリングされるか、画像を含むファイルから離れてデジタルファイル１３０で保存される。３Ｄ再構成のデジタルファイル１３０は、たとえば、モデル化されたオブジェクトが該オブジェクトが以前に存在しなかったシーンに挿入されるフィルムの編集ステージの間に、後の検索のためにストレージ装置１２４に記憶される。
【００４４】
本発明のシステム及び方法は、多数の特徴点検出器を利用して、多数の特徴点検出器の結果を結合して、検出されや特徴点の数及び品質を改善する。単一の特徴検出器とは対照に、異なる特徴点検出器を組み合わせることで、追跡すべき良好な特徴点の発見結果が改善される。多数の特徴点検出器からの「良好な」結果を取得した後（すなわち、１を越える特徴点検出器を使用して）、第二の画像における特徴点は、追跡するのが容易であり、深さマップの結果を得るために１つの特徴点検出器を使用することに比較して、良好な深さマップの結果を生成するのが容易である。
【００４５】
本発明の教示を盛り込んだ実施の形態は本明細書で詳細に図示及び記載されたが、当業者は、これらの教示を盛り込んだ多くの他の変化される実施の形態を容易に考案することができる。（例示的且つ限定するものではないことが意図される）シーンの３次元（３Ｄ）取得及びモデリングのシステム及び方法の好適な実施の形態が記載されたが、変更及び変形が上記教示に照らして当該技術分野で当業者によりなされる。したがって、特許請求の範囲で概説される本発明の範囲及び精神にある、開示される本発明の特定の実施の形態で行なわれることを理解されたい。詳細かつ特許法により要求されるように本発明を記載したが、特許請求され且つ特許法により保護される所望の概念は特許請求の範囲で述べられる。
【図面の簡単な説明】
【００４６】
【図１】本発明の態様に係る３次元（３Ｄ）情報取得のためにシステムの例示的な説明である。
【図２】本発明の態様に係る２次元（２Ｄ）画像から３次元（３Ｄ）オブジェクトを再構成する例示的な方法のフローチャートである。
【図３Ａ】１つの特徴点検出機能で処理されるシーンを例示する図である。
【図３Ｂ】ハイブリッド検出機能で処理される図３Ａに示されるシーンを例示する図である。
【図１】
2009536499.tif 000003
【図２】
2009536499.tif 000004
【図３Ａ】
2009536499.tif 000005
【図３Ｂ】
2009536499.tif 000006
【国際調査報告】
2009536499.tif 000007
2009536499.tif 000008
2009536499.tif 000009