(57)【要約】資産の３次元仮想現実モデルを構築するためのシステム及び方法が開示される。例示的なシステムは、資産から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、少なくとも１つのプロセッサとを含む。プロセッサは、ポイントクラウドデータに基づいて構造ポリゴンメッシュを構築し、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、ポリゴンメッシュを構築する。プロセッサは、更に、マッピングに基づいてテクスチャ化ポリゴンメッシュ内の穴を識別し、穴の面積が所定の閾値より小さいと判定する。プロセッサは、その後、穴に隣接する境界ポリゴンをテクスチャ化ポリゴンメッシュ内で識別し、穴のテクスチャ情報を推定し、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを修復する。
2021520583.tif 000002
【特許請求の範囲】
【請求項１】
資産の３次元仮想現実モデルを構築するためのシステムであって、
前記資産から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、
少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを前記ポイントクラウドデータに基づいて構築し、
前記テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築し、
前記テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴を前記マッピングに基づいて識別し、
前記穴の面積が所定の閾値より小さいと判定し、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別し、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を推定し、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを修復する
ように構成される、システム。
【請求項２】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形である、請求項１に記載のシステム。
【請求項３】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別するために、前記少なくとも１つのプロセッサは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別するように構成される、請求項１に記載のシステム。
【請求項４】
前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応する、請求項３に記載のシステム。
【請求項５】
前記穴ポリゴンについてテクスチャ情報を推定するために、前記少なくとも１つのプロセッサは、
各穴ポリゴンの頂点についてのピクセル値を決定し、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定する
ように更に構成される、請求項１に記載のシステム。
【請求項６】
穴ポリゴンの頂点についてピクセル値を決定するために、前記少なくとも１つのプロセッサは、
前記頂点と境界ポリゴンの頂点との間の距離を決定し、
境界ポリゴンの前記頂点のピクセル値の重み付き和を前記穴ポリゴンの前記頂点についてのピクセル値として計算する
ように更に構成され、境界ポリゴンの前記頂点のピクセル値は、前記穴ポリゴンの前記頂点と境界ポリゴンの前記それぞれの頂点のうちの頂点との間の前記距離によって逆重み付けされる、請求項５に記載のシステム。
【請求項７】
各穴ポリゴンの内部のピクセル値を決定するために、前記少なくとも１つのプロセッサは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施するように更に構成される、請求項５に記載のシステム。
【請求項８】
前記穴の面積を決定するために、前記少なくとも１つのプロセッサは、
前記穴内の前記穴ポリゴンの面積を決定し、
前記穴の面積を前記穴ポリゴンの面積の和として決定する
ように更に構成される、請求項１に記載のシステム。
【請求項９】
前記構造ポリゴンメッシュは、ポアソン表面再構成を使用して前記ポイントクラウドデータから構築される、請求項１に記載のシステム。
【請求項１０】
資産の３次元仮想現実モデルを構築するためのコンピュータ実装方法であって、
前記資産から取得されるポイントクラウドデータに基づいて、前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
前記テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴を前記マッピングに基づいて、少なくとも１つのプロセッサによって識別すること、
前記穴の面積が所定の閾値より小さいと、少なくとも１つのプロセッサによって判定すること、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で、少なくとも１つのプロセッサによって識別すること、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を、少なくとも１つのプロセッサによって推定すること、及び、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって修復すること
を含む、コンピュータ実装方法。
【請求項１１】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形である、請求項１０に記載のコンピュータ実装方法。
【請求項１２】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別することは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別することを更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１３】
前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応する、請求項１２に記載のコンピュータ実装方法。
【請求項１４】
前記穴ポリゴンについてテクスチャ情報を推定することは、
各穴ポリゴンの頂点についてのピクセル値を決定すること、及び、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定すること
を更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１５】
穴ポリゴンの頂点についてピクセル値を決定することは、
前記頂点と境界ポリゴンの頂点との間の距離を決定すること、及び、
境界ポリゴンの前記頂点のピクセル値の重み付き和を前記穴ポリゴンの前記頂点についてのピクセル値として計算すること
を更に含み、境界ポリゴンの前記頂点のピクセル値は、前記穴ポリゴンの前記頂点と境界ポリゴンの前記それぞれの頂点のうちの頂点との間の前記距離によって逆重み付けされる、請求項１４に記載のコンピュータ実装方法。
【請求項１６】
各穴ポリゴンの内部のピクセル値を決定することは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施することを更に含む、請求項１４に記載のコンピュータ実装方法。
【請求項１７】
前記穴の面積を決定することは、
前記穴内の前記穴ポリゴンの面積を決定すること、及び、
前記穴の面積を前記穴ポリゴンの面積の和として決定すること
を更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１８】
前記構造ポリゴンメッシュは、ポアソン表面再構成を使用して前記ポイントクラウドデータから構築される、請求項１０に記載のコンピュータ実装方法。
【請求項１９】
非一時的コンピュータ可読媒体であって、非一時的コンピュータ可読媒体上に記憶されたコンピュータ命令を有し、前記コンピュータ命令は、少なくとも１つのプロセッサによって実行されると、資産の３次元仮想現実モデルを構築するための方法を実施し、前記方法は、
前記資産から取得されるポイントクラウドデータに基づいて、前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを構築すること、
テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築すること、
前記テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴を前記マッピングに基づいて識別すること、
前記穴の面積が所定の閾値より小さいと判定すること、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別すること、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を推定すること、及び、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを修復すること
を含む、非一時的コンピュータ可読媒体。
【請求項２０】
前記穴ポリゴンのテクスチャ情報を推定することは、
各穴ポリゴンの頂点についてのピクセル値を、境界ポリゴンの頂点のピクセル値の重み付き和として決定することであって、境界ポリゴンの前記頂点のピクセル値は、前記穴ポリゴンの前記頂点と境界ポリゴンの前記それぞれの頂点のうちの頂点との間の距離によって逆重み付けされること、及び、
ガウス過程に基づいて、前前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定すること
を更に含む、請求項１９に記載の非一時的コンピュータ可読媒体。
【請求項２１】
資産の３次元仮想現実モデルを構築するためのシステムであって、
前記資産から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、
少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを前記ポイントクラウドデータに基づいて構築し、
前記テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築し、
前記テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴を前記マッピングに基づいて識別し、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別し、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を推定し、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを修復する
ように構成されることを特徴とする、システム。
【請求項２２】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形であることを特徴とする、請求項２１に記載のシステム。
【請求項２３】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別するために、前記少なくとも１つのプロセッサは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別するように構成され、前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応することを特徴とする、請求項２１または２２に記載のシステム。
【請求項２４】
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別する前に、前記少なくとも１つのプロセッサは、前記穴の面積が所定の閾値より小さいと判定するように構成されることを特徴とする、請求項２１〜２３のいずれか一項に記載のシステム。
【請求項２５】
前記穴ポリゴンについてテクスチャ情報を推定するために、前記少なくとも１つのプロセッサは、
各穴ポリゴンの頂点についてのピクセル値を決定し、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定する
ように更に構成されることを特徴とする、請求項２１〜２４のいずれか一項に記載のシステム。
【請求項２６】
穴ポリゴンの頂点についてピクセル値を決定するために、前記少なくとも１つのプロセッサは、
前記頂点と境界ポリゴンの頂点との間の距離を決定し、
境界ポリゴンの前記頂点のピクセル値の重み付き和を前記穴ポリゴンの前記頂点についてのピクセル値として計算する
ように更に構成され、境界ポリゴンの前記頂点のピクセル値は、前記穴ポリゴンの前記頂点と境界ポリゴンの前記それぞれの頂点のうちの頂点との間の距離によって逆重み付けされることを特徴とする、請求項２５に記載のシステム。
【請求項２７】
各穴ポリゴンの内部のピクセル値を決定するために、前記少なくとも１つのプロセッサは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施するように更に構成されることを特徴とする、請求項２５に記載のシステム。
【請求項２８】
資産の３次元仮想現実モデルを構築するためのコンピュータ実装方法であって、
前記資産から取得されるポイントクラウドデータに基づいて、前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
前記テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴を前記マッピングに基づいて、少なくとも１つのプロセッサによって識別すること、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で、少なくとも１つのプロセッサによって識別すること、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を、少なくとも１つのプロセッサによって推定すること、及び、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって修復すること
を含むことを特徴とする、コンピュータ実装方法。
【請求項２９】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形であることを特徴とする、請求項２８に記載のコンピュータ実装方法。
【請求項３０】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別することは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別すること、前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応することを更に含むことを特徴とする、請求項２８又は２９に記載のコンピュータ実装方法。
【請求項３１】
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別する前に、前記穴の面積が所定の閾値より小さいと判定することを更に含むことを特徴とする、請求項２８〜３０のいずれか一項に記載のコンピュータ実装方法。
【請求項３２】
前記穴ポリゴンについてテクスチャ情報を推定することは、
各穴ポリゴンの頂点についてのピクセル値を決定すること、及び、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定すること
を更に含むことを特徴とする、請求項２８〜３１のいずれか一項に記載のコンピュータ実装方法。
【請求項３３】
穴ポリゴンの頂点についてピクセル値を決定することは、
前記頂点と境界ポリゴンの頂点との間の距離を決定すること、及び、
境界ポリゴンの前記頂点のピクセル値の重み付き和を前記穴ポリゴンの前記頂点についてのピクセル値として計算すること
を更に含み、境界ポリゴンの前記頂点のピクセル値は、前記穴ポリゴンの前記頂点と境界ポリゴンの前記それぞれの頂点のうちの頂点との間の距離によって逆重み付けされることを特徴とする、請求項３２に記載のコンピュータ実装方法。
【請求項３４】
各穴ポリゴンの内部のピクセル値を決定することは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施することを更に含むことを特徴とする、請求項３２に記載のコンピュータ実装方法。
【請求項３５】
プログラム命令を含むコンピュータプログラム製品であって、前記プログラム命令は、データ処理装置上で実行されると、請求項２１〜２７のいずれか一項に記載のシステムを提供するように適合される、又は、請求項２８〜３４のいずれか一項に記載の方法ステップを実施するように適合される、コンピュータプログラム製品。
【発明の詳細な説明】
【関連出願】
【０００１】
本出願は、２０１８年６月６日に出願された中国特許出願第２０１８１０５７５２０２．７号に対する優先権の利益を主張し、その特許出願は、参照によりその全体が組み込まれる。
【技術分野】
【０００２】
本開示は、仮想現実（ＶＲ）モデルを構築するためのシステム及び方法に関し、より詳細には、ポリゴンメッシュ外挿によって３次元ＶＲモデル内の穴を埋めるためのシステム及び方法に関する。
【背景技術】
【０００３】
不動産市場において、人は、資産を購入又は賃借したいと思うと、通常、レイアウト及び備品を視覚的に体験するために最初に資産を見学することを依頼するであろう。住宅見学は、例えば、資産所有者又は不動産業者によって、しばしば対面で行われる。見学中、訪問者は、資産を見ることが許され、見学に同行する資産所有者／業者は、資産の特徴を訪問者に紹介するであろう。例えば、訪問者が台所にいるとき、部屋のサイズ、キャビネット及びカウンター空間、設置された電気器具、並びに照明条件等の特徴を口頭で紹介することができる。資産見学は、潜在的な購入者/賃借人にとって有益であるが、時間がかかりかつ非効率的でもある。
【０００４】
最近、ＶＲ技術が、これらの見学を仮想的に行うために適用されている。資産のビデオ及び画像が前もって撮影される。３次元モデルが、ポイントクラウドデータ及び画像等の、資産から取得されたデータに基づいてレンダリングされる。結果として、訪問者は、対面でそれを行う必要なしで、資産を遠隔で観察することができる。一方、資産所有者／業者は、システムにログインして、資産特徴をリアルタイムに紹介することができる。したがって、ＶＲ見学は、対面体験を仮想的にオンラインで再現することによって訪問者の時間と資産所有者／業者の時間を共に節約する。
【０００５】
しかしながら、難題がＶＲ見学に残ったままである。特に、資産の画像又はビデオを取得するときに、一部の構造又は資産特徴が、訪問者に示される資産の一部であるはずでない、人々、ペット、ボックス、家財道具等のような他のオブジェクトによって遮られる場合がある。そのため、取得される画像に普通含まれる、テクスチャ情報は、取得されたデータからレンダリングされる３次元モデルについて抜けている。抜けているテクスチャ情報を有するエリアは、３次元モデル内の穴として示されるであろう。結果として、３次元モデルは、資産を正確に反映しない場合がある。
【０００６】
本開示の実施形態は、ポリゴンメッシュ外挿によって３次元ＶＲモデル内の穴を埋めるために既存のＶＲ見学システム及び方法を改善する。
【発明の概要】
【０００７】
一態様において、資産の３次元仮想現実モデルを構築するためのシステムが開示される。システムは、資産から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、少なくとも１つのプロセッサとを含む。少なくとも１つのプロセッサは、３次元仮想現実モデルの構造ポリゴンメッシュをポイントクラウドデータに基づいて構築し、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、３次元仮想現実モデルのテクスチャ化ポリゴンメッシュを構築するように構成される。結果として得られる構造ポリゴンメッシュはポリゴンの第１のセットを含み、結果として得られるテクスチャ化ポリゴンメッシュはポリゴンの第２のセットを含む。少なくとも１つのプロセッサは、テクスチャ化ポリゴンメッシュ内の穴をマッピングに基づいて識別し、穴の面積が所定の閾値より小さいと判定するように更に構成される。穴は複数の穴ポリゴンを含む。少なくとも１つのプロセッサは、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別し、境界ポリゴンのテクスチャ情報に基づく穴ポリゴンのテクスチャ情報、及び、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離を推定するようにも構成される。少なくとも１つのプロセッサは、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを修復するように更に構成される。
【０００８】
別の態様において、資産の３次元仮想現実モデルを構築するためのコンピュータ実装方法。方法は、資産から取得されるポイントクラウドデータに基づいて、３次元仮想現実モデルの構造ポリゴンメッシュを、少なくとも１つのプロセッサによって構築することを含む。方法は、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、３次元仮想現実モデルのテクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって構築することを更に含む。結果として得られる構造ポリゴンメッシュはポリゴンの第１のセットを含み、結果として得られるテクスチャ化ポリゴンメッシュはポリゴンの第２のセットを含む。方法は、テクスチャ化ポリゴンメッシュ内の穴をマッピングに基づいて、少なくとも１つのプロセッサによって識別すること、及び、穴の面積が所定の閾値より小さいと、少なくとも１つのプロセッサによって判定することを更に含む。穴は、複数の穴ポリゴンを含む。方法は、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で、少なくとも１つのプロセッサによって識別すること、及び、境界ポリゴンのテクスチャ情報に基づく穴ポリゴンのテクスチャ情報、及び、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離を、少なくとも１つのプロセッサによって推定することも含む。方法は、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって修復することを更に含む。
【０００９】
更に別の態様において、非一時的コンピュータ可読媒体であって、非一時的コンピュータ可読媒体上に記憶されたコンピュータ命令を有する、非一時的コンピュータ可読媒体が開示される。コンピュータ命令は、少なくとも１つのプロセッサによって実行されると、資産の３次元仮想現実モデルを構築するための方法を実施する。方法は、資産から取得されるポイントクラウドデータに基づいて、３次元仮想現実モデルの構造ポリゴンメッシュを構築することを含む。方法は、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、３次元仮想現実モデルのテクスチャ化ポリゴンメッシュを構築することを更に含む。結果として得られる構造ポリゴンメッシュはポリゴンの第１のセットを含み、結果として得られるテクスチャ化ポリゴンメッシュはポリゴンの第２のセットを含む。方法は、テクスチャ化ポリゴンメッシュ内の穴をマッピングに基づいて識別すること、及び、穴の面積が所定の閾値より小さいと判定することを更に含む。穴は複数の穴ポリゴンを含む。方法は、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別すること、及び、境界ポリゴンのテクスチャ情報に基づく穴ポリゴンのテクスチャ情報、及び、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離を推定することも含む。方法は、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを修復することを更に含む。
【００１０】
更に別の態様において、資産の３次元仮想現実モデルを構築するためのシステムが開示される。システムは、資産から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、少なくとも１つのプロセッサとを備え、少なくとも１つのプロセッサは、３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュをポイントクラウドデータに基づいて構築し、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築し、テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴をマッピングに基づいて識別し、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別し、境界ポリゴンのテクスチャ情報に基づく穴ポリゴンのテクスチャ情報、及び、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離を推定し、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを修復するように構成される。
【００１１】
一例において、ポリゴンの第１のセット、ポリゴンの第２のセット、及び穴ポリゴンは三角形である。
一例において、テクスチャ化ポリゴンメッシュ内の穴を識別するために、少なくとも１つのプロセッサは、対応するテクスチャ化ポリゴンをポリゴンの第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの第１のセットから識別するように構成され、穴内の穴ポリゴンはポリゴンの第３のセットに対応する。
【００１２】
一例において、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別する前に、少なくとも１つのプロセッサは、穴の面積が所定の閾値より小さいと判定するように構成される。
【００１３】
一例において、穴ポリゴンについてテクスチャ情報を推定するために、少なくとも１つのプロセッサは、各穴ポリゴンの頂点についてのピクセル値を決定し、頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定するように更に構成される。
【００１４】
一例において、穴ポリゴンの頂点についてピクセル値を決定するために、少なくとも１つのプロセッサは、その頂点と境界ポリゴンの頂点との間の距離を決定し、境界ポリゴンの頂点のピクセル値の重み付き和を穴ポリゴンの頂点についてのピクセル値として計算するように更に構成され、境界ポリゴンの頂点のピクセル値は、穴ポリゴンの頂点と境界ポリゴンのそれぞれの頂点のうちの頂点との間の距離によって逆重み付けされる。
【００１５】
一例において、各穴ポリゴンの内部のピクセル値を決定するために、少なくとも１つのプロセッサは、ガウス過程に基づいて、穴ポリゴンの頂点のピクセル値に対してデータ融合を実施するように更に構成される。
【００１６】
更に別の態様において、資産の３次元仮想現実モデルを構築するためのコンピュータ実装方法が開示される。方法は、資産から取得されるポイントクラウドデータに基づいて、３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、テクスチャ情報を構造ポリゴンメッシュにマッピングすることによって、３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、テクスチャ化ポリゴンメッシュ内の穴であって、複数の穴ポリゴンを含む、穴をマッピングに基づいて、少なくとも１つのプロセッサによって識別すること、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で、少なくとも１つのプロセッサによって識別すること、境界ポリゴンのテクスチャ情報に基づく穴ポリゴンのテクスチャ情報、及び、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離を、少なくとも１つのプロセッサによって推定すること、及び、穴ポリゴンの推定されたテクスチャ情報を使用してテクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって修復することを含む。
【００１７】
一例において、ポリゴンの第１のセット、ポリゴンの第２のセット、及び穴ポリゴンは三角形である。
一例において、テクスチャ化ポリゴンメッシュ内の穴を識別することは、対応するテクスチャ化ポリゴンをポリゴンの第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの第１のセットから識別することを更に含む。
【００１８】
一例において、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別する前に、方法は、穴の面積が所定の閾値より小さいと判定することを更に含む。
一例において、穴ポリゴンについてテクスチャ情報を推定することは、各穴ポリゴンの頂点についてのピクセル値を決定すること、及び、頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定することを更に含む。
【００１９】
一例において、穴ポリゴンの頂点についてピクセル値を決定することは、頂点と境界ポリゴンの頂点との間の距離を決定すること、及び、境界ポリゴンの頂点のピクセル値の重み付き和を穴ポリゴンの頂点についてのピクセル値として計算することを更に含み、境界ポリゴンの頂点のピクセル値は、穴ポリゴンの頂点と境界ポリゴンのそれぞれの頂点のうちの頂点との間の距離によって逆重み付けされる。
【００２０】
一例において、各穴ポリゴンの内部のピクセル値を決定することは、ガウス過程に基づいて、穴ポリゴンの頂点のピクセル値に対してデータ融合を実施することを更に含む。
更に別の態様において、コンピュータプログラム製品が開示される。コンピュータプログラム製品はプログラム命令を含み、プログラム命令は、データ処理装置上で実行されると、上述したシステムを提供するように適合される、又は、上述した方法ステップを実施するように適合される。
【００２１】
上記の全体的な記述及び以下の詳細な説明が共に、例示的でありかつ例示的に過ぎず、特許請求されるように、本発明を制限しないことが理解される。
【図面の簡単な説明】
【００２２】
【図１】本開示の実施形態による、複数の部屋を含む例示的な３次元モデルの概略図である。
【図２】本開示の実施形態による、３次元モデルについての例示的な構造ポリゴンメッシュの概略図である。
【図３】本開示の実施形態による、３次元モデルを構築するための例示的なシステムのブロック図である。
【図４】本開示の実施形態による、３次元モデルを構築するための例示的な方法のフローチャートである。
【図５Ａ】本開示の実施形態による、穴を有する例示的なテクスチャ化ポリゴンメッシュを示す図である。
【図５Ｂ】本開示の実施形態による、穴を有する例示的なテクスチャ化ポリゴンメッシュを示す図である。
【図６】本開示の実施形態による、テクスチャ化ポリゴンメッシュ内の穴を埋めるための例示的な方法のフローチャートである。
【発明を実施するための形態】
【００２３】
［発明の詳細な説明］
ここで、その例が添付図面に示される例示的な実施形態に対して参照が行われるであろう。可能である所ではどこでも、同じ参照符号が、同じ又は同様の部品を指すために、図面全体を通して使用されるであろう。
【００２４】
図１は、本開示の実施形態による、複数の部屋を含む例示的な３次元モデル１００の概略図を示す。幾つかの実施形態において、３次元モデル１００は、住宅、アパート、タウンハウス、ガレージ、倉庫、オフィスビル、ホテル、及び店舗等のような資産のＶＲモデルとすることができる。図１に示すように、３次元モデル１００は、そのレイアウト（例えば、資産を幾つかの部屋に分割する、壁及びカウンター等の骨組み構造）、仕上げ（例えば、キッチン／バスルームキャビネット、バスタブ、アイランド等）、設置された装備品（例えば、電気器具、窓周りの装飾、シャンデリア等）、並びに家具及び装飾品（例えば、ベッド、デスク、テーブル及び椅子、ソファ、ＴＶスタンド、本棚、壁画、ミラー、植物等）を含む現実世界の資産を仮想的に再現する。
【００２５】
３次元モデル１００は、内壁によって、複数の部屋又は機能空間に分割することができる。幾つかの部屋は複数の機能を有することができる。例えば、３次元モデル１００は、リビングルーム及びキッチンの組み合わせた機能を有する大部屋１１０を含むことができる。３次元モデル１００は、２つのベッドルーム１２０及び１３０、それらの取り付けられたバスルーム、並びにバルコニーを更に含むことができる。
【００２６】
３次元モデル１００を作成するために種々のデータを資産において取得することができる。例えば、大部屋１１０の画像及び／又はビデオを取得するためにカメラを種々の位置に設置することができる。幾つかの実施形態において、カメラ２２０は、デジタルカメラ、双眼カメラ、ビデオカメラ、パノラマカメラ等とすることができる。幾つかの実施形態において、３次元スキャナは、部屋の３次元情報（例えば、ポイントクラウドデータ又は深度情報を含む他のデータ）を取得するように構成することができる。カメラ／スキャナを、搭載構造（例えば、三脚台）上に搭載する、又は、オペレータが保持することができる。異なる角度及び高さから画像又はビデオを取得するために、カメラを回転させる又はその他の方法で調整することができる。
【００２７】
幾つかの実施形態において、３次元モデル１００は、ポイントクラウドデータ及びカメラによって取得される画像／ビデオに基づいて構築することができる。３次元モデル１００は、ポリゴン、ライン、湾曲表面等のような種々の幾何学的エンティティによって接続された、３次元空間内のポイントの集合体を使用して資産を表す。幾つかの実施形態において、３次元モデル１００は、ポリゴンモデリングによって作成されたテクスチャ化ポリゴンモデル等のシェル／境界モデルとすることができる。テクスチャ化ポリゴンモデルにおいて、３次元空間内のポイント（「頂点」として知られる）は、ポリゴンメッシュを形成するために線分によって接続される。モデルは、三角形、四角、五角形、六角形等のような多くのポリゴンを使用して湾曲表面を近似する。
【００２８】
幾つかの実施形態において、テクスチャ化ポリゴンモデルは、２つのステップで作成することができる。第１のステップにて、構造ポリゴンメッシュを、ポイントクラウドデータ等の３次元構造情報に基づいて構築することができる。構造ポリゴンメッシュは、３次元モデル１００の湾曲表面を形成するために、ポリゴンであって、そのエッジ及び頂点を通して接続されるポリゴン、のセットを含む。換言すれば、構造ポリゴンメッシュは、３次元モデルの構造（例えば、形状、サイズ、曲率）を規定する。例えば、図２は、本開示の実施形態による、３次元モデルについての例示的な構造ポリゴンメッシュ２００の概略図を示す。構造ポリゴンメッシュ２００は、部屋、及び、部屋内の種々のオブジェクト、例えば、家具、光源、及び装飾部分の構造の輪郭を描く。構造ポリゴンメッシュ２００は四角（四辺ポリゴン）を使用するが、三角形等の他のポリゴンを、付加的に又は代替として使用することができることが企図される。
【００２９】
第２のステップにて、テクスチャ化ポリゴンメッシュを形成するためにテクスチャ情報を構造ポリゴンメッシュにマッピングすることができる。例えば、種々の角度で撮影された部屋の画像を、構造ポリゴンメッシュ内のポリゴンにカットアンドペーストすることができる。すなわち、テクスチャ化ポリゴンメッシュは、２次元テクスチャ情報を３次元構造上に「ペイントする」。
【００３０】
テクスチャ化ポリゴンモデル等のシェルモデルは、多様体でなければならない、すなわち、現実のオブジェクトを反映する意味があるために、シェル内に穴又は割れ目を全くもたない。しかしながら、データ取得中、或る資産の特徴のテクスチャ情報は、種々の理由で抜けている場合がある。例えば、そのような特徴の視野は別のオブジェクトによって遮られる場合がある。あるいは、データのその部分は、カメラに記憶されるときに、カメラからモデリングデバイスに送信中に、又はモデリングデバイスに記憶されるときに、データ破損によって失われる場合がある。結果として、テクスチャ化ポリゴンメッシュ内の一部のポリゴンは、テクスチャ情報でカバーされない。したがって、レンダリングされた３次元モデルは、穴を含む場合があり、そのことは、ユーザ体験を著しく損なう。
【００３１】
開示されるシステム及び方法は、３次元モデル内の穴を修復することができる。幾つかの実施形態において、開示されるシステム及び方法は、マッピングされたテクスチャ情報を持たないテクスチャ化ポリゴンメッシュ内のエリアを探索することによって、最初に穴を識別する。例えば、構造ポリゴンメッシュがポリゴンの第１のセットを含み、テクスチャ化ポリゴンメッシュがポリゴンの第２のセットを含むと仮定すると、対応するテクスチャ化ポリゴンを第２のセット内に持たない第１のセット内のポリゴンを穴として識別することができる。幾つかの実施形態において、開示されるシステム及び方法は、穴が十分に小さいとき、例えば、穴の面積が所定の閾値より小さい場合に、穴を修復することができるのみである。穴は、構造メッシュの同じエリア内のポリゴンに対応する穴ポリゴンからなる。
【００３２】
幾つかの実施形態において、開示されるシステム及び方法は、穴に隣接する境界ポリゴンをポリゴンの第２のセット内で識別する。ポリゴンは、そのポリゴンが、任意の穴ポリゴンと少なくとも１つのエッジ又は頂点を共有する場合、穴に「隣接する」。幾つかの実施形態において、これらの境界ポリゴンのテクスチャ情報は、穴ポリゴンのテクスチャ情報を推定するために使用される。これは、互いに近いポリゴンが、通常、同様のテクスチャ情報を保持するという仮定に基づく。しかしながら、テクスチャ情報の特異性の影響を低減するために、複数の境界ポリゴンのテクスチャ情報を使用することができる。幾つかの実施形態において、テクスチャ情報は、それぞれの境界ポリゴンが穴ポリゴンにどれだけ近いかに基づいて重み付けすることができる。本開示と矛盾せずに、例えば、穴ポリゴンの頂点のピクセル値は、穴ポリゴンと境界ポリゴンとの間のそれぞれの距離によって重み付けられた境界ポリゴンの頂点のピクセル値の重み付け和として決定される。こうして、テクスチャ化ポリゴンメッシュ内の穴は、推定されるテクスチャ情報を穴ポリゴンにペイントすることによって修復される／埋められる。
【００３３】
図１に示す例示的な３次元モデルは資産用のモデルであるが、開示されるシステム及び方法を、乗り物、人、動物、道路部分、公園等の他のオブジェクトの３次元モデルを構築するために適用することもできることが企図される。当業者は、異なる３次元モデルについての過度な実験なしで、開示されるシステム及び方法を適応させることができる。
【００３４】
図３は、本開示の実施形態による、３次元モデルを構築するための例示的なシステム３００のブロック図である。幾つかの実施形態において、システム３００は物理的サーバ又はクラウド内のサービスによって実装することができる。幾つかの他の実施形態において、システム３００は、コンピュータ、或いは、携帯電話、パッド、又は装着可能デバイス等の消費者電子デバイスによって実装することができる。幾つかの実施形態において、３次元モデル、例えば、３次元モデル１００は、ＶＲ見学からリアルタイムに、又は、見学に先立ってオフラインでレンダリングすることができる。
【００３５】
図３に示すように、システム３００は、通信インタフェース３０２、プロセッサ３０４、メモリ３０６、ストレージ３０８、及びバス３１０を含むことができる。幾つかの実施形態において、システム３００は、集積回路（ＩＣ）チップ（特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装される）等の単一デバイス、又は専用機能を有する別個のデバイス内に、異なるモジュールを有することができる。システム３００の構成要素は、集積デバイス内にあることができる、又は、異なる場所に分配されるが、ネットワーク（示さず）を通して互いに通信することができる。システム３００の種々の構成要素は、バス３１０を通して互いに、接続し、通信することができる。
【００３６】
通信インタフェース３０２は、直接通信リンク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、ラジオ波を使用する無線通信ネットワーク、セルラーネットワーク、及び／又はローカル無線ネットワーク（Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷｉＦｉ）、或いは他の通信方法を介して、カメラ２２０及びデータベース３０１等の構成要素にデータを送信し、そこからデータを受信することができる。幾つかの実施形態において、通信インタフェース３０２は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又は、データ通信接続を提供するモデムとすることができる。別の例として、通信インタフェース３０２は、互換性のあるＬＡＮに対してデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードとすることができる。無線リンクは、通信インタフェース３０２によって実装することもできる。そのような実装態様において、通信インタフェース３０２は、ネットワークを介して、種々のタイプの情報を表すデジタルデータストリームを搬送する、電気信号、電磁信号、又は光信号を送受信することができる。
【００３７】
幾つかの実施形態と矛盾せずに、通信インタフェース３０２は、プロパティから取得される、構造情報、例えばポイントクラウドデータ並びにテクスチャ情報、例えば画像及びビデオを受信することができる。例えば、構造情報及び資産内のカメラ／スキャナによって取得されるテクスチャ情報は、データベース３０１に記憶することができる。通信インタフェース３０２は、受信された情報又はデータを、記憶のためにメモリ３０６及び／又はストレージ３０８に、又は、処理のためにプロセッサ３０４に提供することができる。
【００３８】
プロセッサ３０４は、任意の適切なタイプの汎用又は専用マイクロプロセッサ、デジタル信号プロセッサ、又はマイクロコントローラを含むことができる。プロセッサ３０４は、ＶＲハウス見学を提供するために専用の別個のプロセッサモジュールとして構成することができる。代替的に、プロセッサ３０４は、ＶＲハウス見学に関連する又は関連しない他の機能を実施するために共有プロセッサモジュールとして構成することができる。例えば、ＶＲハウス見学は、多用途デバイス上にインストールされたたった１つのアプリケーションである。
【００３９】
図３に示すように、プロセッサ３０４は、メッシュ構築ユニット３４０、穴検出ユニット３４２、及び穴埋めユニット３４４、並びに同様のもの等の複数のモジュールを含むことができる。これらのモジュール（及び任意の対応するサブモジュール又はサブユニット）は、他の構成要素と共に使用するために又はプログラムの一部を実行するように設計されたプロセッサ３０４のハードウェアユニット（例えば、集積回路の所定の部分）とすることができる。プログラムは、コンピュータ可読媒体（例えば、メモリ３０６及び／又はストレージ３０８）上に記憶することができ、プロセッサ３０４によって実行されると、プログラムは１つ又は複数の機能を実施することができる。図３は、全てが１つのプロセッサ３０４内にあるユニット３４０〜３４４を示すが、これらのユニットを、互いの近くに又は互いの遠隔に位置する複数のプロセッサ間で分配することができることが企図される。
【００４０】
メモリ３０６及びストレージ３０８は、プロセッサ３０４が操作する必要がある場合がある任意のタイプの情報を記憶するために設けられる任意の適切なタイプの大容量記憶装置を含むことができる。メモリ３０６及びストレージ３０８は、揮発性又は不揮発性タイプ、磁気タイプ、半導体タイプ、テープタイプ、光タイプ、取り外し可能タイプ、取り外し不能タイプ、或いは、限定はしないが、ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、及びスタティックラムを含む他のタイプの記憶デバイス又は有形の（すなわち、非一時的な）コンピュータ可読媒体とすることができる。メモリ３０６及び／又はストレージ３０８は、１つ又は複数のコンピュータプログラムを記憶するように構成することができ、１つ又は複数のコンピュータプログラムは、プロセッサ３０４によって実行されて、本明細書で開示される３次元モデリング機能を実施することができる。例えば、メモリ３０６及び／又はストレージ３０８は、プログラムを記憶するように構成することができ、そのプログラムは、プロセッサ３０４によって実行されて、穴を埋めた状態の３次元ＶＲモデルを使用して、ユーザに資産のＶＲ見学を提供することができる。
【００４１】
メモリ３０６及び／又はストレージ３０８は、プロセッサ３０４によって使用される情報及びデータを記憶するように更に構成することができる。例えば、メモリ３０６及び／又はストレージ３０８は、資産から取得されるポイントクラウドデータ及び種々の画像／ビデオを記憶するように構成することができる。メモリ３０６及び／又はストレージ３０８は、ポリゴンメッシュ、穴ポリゴンと境界ポリゴンとの間の距離等の、プロセッサ３０４によって生成される中間データを記憶するように構成することもできる。種々のタイプのデータを、永久的に記憶することができる、定期的に除去することができる、又は、データの各フレームが処理された直後に無視することができる。
【００４２】
幾つかの実施形態において、システム３００は、任意選択で、ディスプレイ３０３を含むことができる。幾つかの実施形態において、ディスプレイ３０３は、システム３００の外部とするが、システム３００に接続することができる。ディスプレイ３０３は、３次元モデルの視野をユーザに表示することができる。幾つかの実施形態において、ディスプレイ３０３は、ユーザ入力を受信するユーザインタフェースとして更に機能することができる。ディスプレイ３０３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイ、又は任意の他のタイプのディスプレイを含み、また、ユーザ入力及びデータ表示のためにディスプレイ上に提示されるグラフィカルユーザインタフェース（ＧＵＩ）を提供する。ディスプレイは、プラスチック又はガラス等の幾つかの異なるタイプの材料を含むことができ、ユーザからのコマンドを受信するために接触感知式とすることができる。例えば、ディスプレイは、Ｇｏｒｉｌｌａ  Ｇｌａｓｓ（登録商標）等の実質的に硬質である、又は、Ｗｉｌｌｏｗ  Ｇｌａｓｓ（登録商標）等の実質的に軟質である、接触感知式材料を含むことができる。
【００４３】
プロセッサ３０４のモジュールは、ＶＲ見学をユーザに提供するための方法を実施するために、メモリ３０６／ストレージ３０８に記憶されたプログラムを実行するように構成することができる。例えば、図４は、本開示の実施形態による、３次元モデルを構築するための例示的な方法４００のフローチャートである。方法４００は、以下で述べるステップＳ４０２〜Ｓ４２０を含むことができる。ステップの一部が、本明細書で提供される、開示される方法を実施するために、オプションとすることができることが認識される。さらに、ステップの一部を、同時に、又は、図４に示す順序と異なる順序で、実施することができる。
【００４４】
幾つかの実施形態において、方法４００は、ＶＲ見学をリアルタイムに実施することができる。例えば、方法４００は、ユーザが見学する資産／部屋を選択すると、トリガーすることができる。幾つかの実施形態において、システム３００は、ＶＲ見学アプリケーションにユーザがログインすることを検出すると、方法４００を自動的に開始することができる。幾つかの実施形態において、方法４００は、特に、資産についてのデータ量が大きく、システム３００が３次元モデルをリアルタイムに構築できないときに、見学に先立って完全に又は部分的にオフラインで実施することができる。
【００４５】
ステップＳ４０２にて、メッシュ構築ユニット３４０は、ポイントクラウドデータを使用して、図２の構造ポリゴンメッシュ２００等の３次元モデルの構造ポリゴンメッシュを構築することができる。幾つかの実施形態において、３次元モデルは、住宅、アパート、タウンハウス、ガレージ、倉庫、オフィスビル、ホテル、及び店舗等のような資産のモデルとすることができる。幾つかの実施形態において、構造ポリゴンメッシュを、「ｍｅｓｈ．ｐｌｙ」ファイルとしてセーブし、メモリ３０６／ストレージ３０８に記憶することができる。「ｍｅｓｈ．ｐｌｙ」ファイルは、ポリゴンによって保持される３次元モデル１００の構造情報を含む。
【００４６】
ポイントクラウドは、３次元空間内のデータポイントのセットである。幾つかの実施形態において、ポイントクラウドデータは３次元スキャナによって生成され、３次元スキャナは、オブジェクトの外部表面上の多数のポイントをそれらの周りで測定する。幾つかの実施形態において、メッシュ構築ユニット３４０は、表面再構成法を使用して、ポイントクラウドデータをポリゴンメッシュに変換する。種々の表面再構成手法を、変換のために使用することもできる。例えば、ドロネー三角形分割、アルファシェイプ、及びボールピボット等の幾つかの手法は、ポイントクラウドの既存の頂点にわたって三角形のネットワークを構築する。一部の他の手法は、ポイントクラウドを体積距離フィールド（ｖｏｌｕｍｅｔｒｉｃ  ｄｉｓｔａｎｃｅ  ｆｉｅｌｄ）に変換し、マーチングキューブアルゴリズムによってそのように規定される陰関数曲面を再構成する。本開示と矛盾せずに、メッシュ構築ユニット３４０は、構造ポリゴンメッシュを構築するためにポアソン表面再構成を使用することができる。
【００４７】
ステップＳ４０４にて、メッシュ構築ユニット３４０は、ステップＳ４０２にて構築された構造ポリゴンメッシュにテクスチャ情報をマッピングすることができる。幾つかの実施形態において、テクスチャ情報を、資産から取得される画像／ビデオに含むことができる。画像を、位置情報に基づいて構造ポリゴンメッシュのポリゴンにマッチさせることができる。例えば、画像及びポイントクラウドデータを、それらが取得される位置（例えば、経度及び緯度）及び角度に応じて同時登録することができる。幾つかの実施形態において、１つ又は複数の画像を、１つのポリゴンにマッピングすることができる。
【００４８】
ステップＳ４０６にて、ポリゴンにマッチした画像は、その後、テクスチャ化ポリゴンメッシュを形成するために、ポリゴンの表面に「ペイントされる」。幾つかの実施形態において、画像は、ポリゴン上に「ペイントされる」前のポリゴンの向きに従って配向することができる。すなわち、画像は、ポリゴンの向きと異なる向きから取得され、したがって、相応して変換される必要がある場合がある。テクスチャ化ポリゴンメッシュを、「ｏｕｔｐｕｔ．ｏｂｊ」ファイルとしてセーブし、メモリ３０６／ストレージ３０８に記憶することができる。「ｏｕｔｐｕｔ．ｏｂｊ」ファイルは、テクスチャ情報にマッチするポリゴンを含む。
【００４９】
幾つかの実施形態において、テクスチャ化ポリゴンメッシュ内の一部のポリゴンは、そのポリゴンにマッチした画像を全く持たない。その場合、テクスチャ化ポリゴンメッシュは、１つ又は複数の穴を含むと考えられる。図５Ａ及び図５Ｂは、本開示の実施形態による、穴５０１を有する例示的なテクスチャ化ポリゴンメッシュ５００を示す。テクスチャ化ポリゴンメッシュ５００内に示す「ポリゴン」は三角形であるが、他の形状のポリゴンを使用することもできる。各三角形は、３つの頂点及び３つのエッジを有する。メッシュ内の三角形は、エッジ及び／又は頂点によって他の三角形に接続する。図５Ａに示すように、テクスチャ化ポリゴンメッシュ５００は、テクスチャ情報を欠く穴５０１を含む。穴５０１は、図５Ｂに示すように、ポリゴン５３１〜５３７等の「穴ポリゴン」として知られる幾つかのポリゴンを含むことができる。
【００５０】
ステップＳ４０８にて、穴検出ユニット３４２は、テクスチャ化ポリゴンメッシュ内の穴ポリゴンを検出することができる。本開示に矛盾せずに、穴ポリゴンは、ステップＳ４０２にて構築された構造ポリゴンメッシュ内のポリゴンに対応するが、ステップＳ４０４のマッピング中にテクスチャ情報を欠く。例えば、穴検出ユニット３４２は、テクスチャ情報が抜けているポリゴンを位置特定するために、「ｍｅｓｈ．ｐｌｙ」ファイル（構造ポリゴンメッシュを含む）を「ｏｕｔｐｕｔ．ｐｌｙ」ファイル（テクスチャ化ポリゴンメッシュを含む）と比較することができる。
【００５１】
穴ポリゴンを検出した後、ステップＳ４１０にて、穴検出ユニット３４２は、穴を、接続された穴ポリゴンからなる最大領域として、識別することができる。検出された穴ポリゴンに基づいて穴を識別する種々の探索法を、穴検出ユニット３４２によって実装することができる。幾つかの実施形態において、幅優先探索（ＢＦＳ）アルゴリズムを実装することができる。ＢＦＳは、木又はグラフデータ構造を横断又は探索するためのアルゴリズムである。ＢＦＳは、木の根（又はグラフの任意のノード）で開始し、次の深度レベルのノードに移動する前に、現在の深度の近傍ノードの全てを探索する。
【００５２】
例えば、穴検出ユニット３４２は、図５Ｂのポリゴン５３１等の１つの穴ポリゴンで開始し、それに接続される穴ポリゴンを探索することができる。２つの穴ポリゴンは、少なくとも１つのエッジ又は頂点を共有する場合、「接続されている」。例えば、穴ポリゴン５３１は穴ポリゴン５３２に接続され、穴ポリゴン５３２は穴ポリゴン５３３に接続されている。幾つかの実施形態において、穴検出ユニット３４２は、接続された穴ポリゴンをその穴に連続して付加することによって穴を増大させることができる。例えば、穴５０１を形成するために、穴ポリゴン５３１〜５３７を含むことができる。
【００５３】
ステップＳ４１２にて、穴検出ユニット３４２は、穴の面積を更に決定することができる。幾つかの実施形態において、穴の面積は、個々の穴ポリゴンの面積を集計することによって決定することができる。例えば、穴検出ユニット３４２は、穴ポリゴン５３１〜５３７の面積を計算し、その後、その面積を合計して、穴５０１の総面積を得ることができる。
【００５４】
ステップＳ４１４にて、穴検出ユニット３４２は、穴の面積を所定の閾値と比較することができる。幾つかの実施形態において、所定の閾値は、１平方メートル、２平方メートル、５平方メートル、又は別の適切な値とすることができる。幾つかの実施形態において、所定の閾値は、ポリゴンのサイズに基づいて設定することができる。穴の面積が所定の閾値より小さいとき（Ｓ４１４：はい）、それは、穴が修復されるのに十分に小さいことを示唆する。したがって、方法４００は、穴を修復するためのステップＳ４１６〜Ｓ４２０を実施するために進む。そうでない場合（Ｓ４１４：いいえ）、穴は大き過ぎて修復できず、方法４００は、穴を修復しようと試みることなくステップＳ４１６〜Ｓ４２０をスキップするであろう。
【００５５】
ステップＳ４１６にて、穴埋めユニット３４４は、穴に隣接する境界ポリゴンをテクスチャ化ポリゴンメッシュ内で識別する。本開示と矛盾せずに、境界ポリゴンは、穴内の穴ポリゴンと少なくとも１つのエッジ又は頂点を共有する場合、穴に隣接すると考えられる。例えば、図５Ｂは、穴５０１に隣接する境界ポリゴン５１１〜５２７を示す。
【００５６】
ステップＳ４１８にて、穴埋めユニット３４４は、境界ポリゴンのテクスチャ情報に基づいて穴ポリゴンのテクスチャ情報を決定する。幾つかの実施形態において、穴内の抜けているテクスチャ情報は、境界ポリゴンの既知のテクスチャ情報を外挿することによって推定される。本開示の実施形態によれば、図６の例示的な方法６００は、３次元モデル内の穴を埋めるために、ステップＳ４１８を実装するために穴埋めユニット３４４によって実装することができる。
【００５７】
方法６００は、以下で述べるＳ６０２〜Ｓ６１０を含むことができる。ステップの一部が、本明細書で提供される開示を実施するためにオプションとすることができること、が認識される。さらに、ステップの一部を、同時に、又は、図６に示す順序と異なる順序で、実施することができる。
【００５８】
ステップＳ６０２にて、穴埋めユニット３４４は、穴ポリゴン頂点と境界ポリゴン頂点との間の距離を決定することができる。その距離は、穴ポリゴン頂点と境界ポリゴン頂点とを接続する直線の長さとすることができる。例えば、例として図５Ｂの穴ポリゴン頂点Ａを使用して、穴ポリゴン頂点Ａは、４つの穴ポリゴン５３３〜５３６の共有頂点である。頂点Ａと、頂点Ｂ〜Ｆ等の境界ポリゴン頂点との間の距離が計算される。図示よりも多くの境界ポリゴン頂点を含むことができることが企図される。
【００５９】
ステップＳ６０４にて、穴埋めユニット３４４は、穴ポリゴン頂点に対する境界ポリゴン頂点の影響を示す重みを決定することができる。幾つかの実施形態において、重みは、それぞれの距離に基づいて決定することができる。例えば、重みは、距離に反比例し、合計して１になる。したがって、境界ポリゴン頂点が遠ければ遠いほど、穴ポリゴン頂点のピクセル値に対する境界ポリゴン頂点のピクセル値の影響は小さい。例えば、図５Ｂにおいて、頂点Ｂ及びＦは、頂点Ａに対して、頂点Ｃ、Ｄ、及びＥより影響が小さい。
【００６０】
ステップＳ６０６にて、穴埋めユニット３４４は、境界ポリゴン頂点のピクセル値であって、ステップＳ６０４にて決定された重みで重み付けられるときの、ピクセル値の重み付き和を計算することができる。計算された重み付き和は、穴ポリゴン頂点のピクセル値として割り当てることができる。
【００６１】
ステップＳ６０８にて、穴埋めユニット３４４は、全ての穴ポリゴンが考慮されているか否かを判定することができる。考慮されている場合、方法６００は、ステップＳ６１０に進むことができる。そうでなければ、ステップ６００は、ステップＳ６０２に戻って、次の穴ポリゴン頂点を考慮し、ステップＳ６０２〜Ｓ６０６を使用してそのピクセル値を決定するであろう。
【００６２】
ステップＳ６１０にて、穴埋めユニット３４４は、穴ポリゴン頂点の推定されたピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定する。幾つかの実施形態において、融合法は、穴ポリゴンの内部のピクセル値を埋めるために使用することができる。例えば、ガウス過程を、融合処理のために使用することができる。ガウス過程は、確率過程であり、それにより、これらのランダム変数の全ての有限集合は、多変量正規分布を有する、すなわち、それらの全ての有限線形結合は正規分布に従う。ガウス過程は、ポイント間の類似性を測定して、見えないポイントについての値を予測する。
【００６３】
述べた方法６００は、穴ポリゴンのピクセル値を推定するために重み付き和手法を実装するが、他の予測法を推定のために使用することができることを当業者は認識することができる。例えば、機械学習法は、抜けているテクスチャ情報を知的に「学習する」ために、使用することができる。幾つかの実施形態において、学習ネットワークは、穴を含むテクスチャ化ポリゴンメッシュについて抜けているピクセル値を自動的に予測するために、多様体テクスチャ化ポリゴンメッシュを使用して訓練することができる。
【００６４】
ステップＳ６１０の後、方法６００は終了し、方法４００はステップＳ４２０に進む。再び図４を参照して、ステップＳ４２０にて、穴埋めユニット３４４は、穴ポリゴンの推定されたテクスチャ情報（すなわち、ピクセル値）を使用して穴を修復する。ステップＳ４０４の場合と同様に、穴埋めユニット３４４は、推定されたテクスチャ情報を、テクスチャ化ポリゴンメッシュの穴ポリゴンにマッピングする。例えば、図５Ａ及び図５Ｂに示すように、テクスチャ情報が穴ポリゴン５３１〜５３７に付加されると、穴５０１は埋められる。
【００６５】
穴ポリゴンに隣接する境界ポリゴンのテクスチャ情報を使用して３次元モデル内の穴を埋めることによって、開示されるシステム及び方法は、ＶＲ見学が現実のハウス見学により厳密に似るようにさせ、したがって、ユーザ体験を改善する。
【００６６】
開示されるシステム及び方法を述べるために使用される例示的な３次元モデルは、資産用のモデルであるが、開示されるシステム及び方法を、乗り物、人、動物、道路部分、公園等の他のオブジェクトの３次元モデルを構築するために適用することもできることが企図される。当業者は、異なる３次元モデルについての過度な実験なしで、開示されるシステム及び方法を適応させることができる。
【００６７】
本開示の別の態様は、命令を記憶する非一時的コンピュータ可読媒体を対象とし、命令は、実行されると、上記で論じた方法を１つ又は複数のプロセッサに実施させる。コンピュータ可読媒体は、揮発性又は不揮発性タイプ、磁気タイプ、半導体タイプ、テープタイプ、光タイプ、取り外し可能タイプ、取り外し不能タイプ、或いは他のタイプのコンピュータ可読媒体又はコンピュータ可読記憶デバイスとすることができる。例えば、コンピュータ可読媒体は、開示されるように、その上に記憶されたコンピュータ命令を有する記憶デバイス又はメモリモジュールとすることができる。幾つかの実施形態において、コンピュータ可読媒体は、その上に記憶されたコンピュータ命令を有するディスクドライブ又はフラッシュドライブとすることができる。
【００６８】
本開示の別の態様は、プログラム命令を含むコンピュータプログラム製品を対象とし、命令は、データ処理装置上で実行されると、上述したシステムの任意のシステムを提供するように適合される、又は、上述した方法ステップの任意の方法ステップを実施するように適合される。
【００６９】
開示されるシステム及び関連する方法に対して種々の修正及び変形を行うことができることが当業者に明らかになる。他の実施形態は、開示されるシステム及び関連する方法の仕様及び実践の考察から当業者に明らかになる。
【００７０】
仕様及び例が単に例示的と考えられ、真の範囲が添付特許請求項及びその均等物によって示されることが意図される。
【図１】
2021520583.tif 000003
【図２】
2021520583.tif 000004
【図３】
2021520583.tif 000005
【図４】
2021520583.tif 000006
【図５Ａ】
2021520583.tif 000007
【図５Ｂ】
2021520583.tif 000008
【図６】
2021520583.tif 000009
【手続補正書】
【提出日】令和2年12月25日(2020.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
資産の３次元仮想現実モデルを構築するためのシステムであって、
前記資産の内部から取得されるポイントクラウドデータ及びテクスチャ情報を記憶するように構成される記憶デバイスと、
少なくとも１つのプロセッサとを備え、前記少なくとも１つのプロセッサは、
前記資産の見学のためにユーザの指示を受信し、
前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを前記ポイントクラウドデータに基づいて構築し、
前記テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築し、
第１の穴ポリゴンであって、ポリゴンの前記第２のセットから抜けている、第１の穴ポリゴンをポリゴンの前記第１のセットから選択し、
前記テクスチャ化ポリゴンメッシュ内の穴を、木構造探索を使用して、前記第１の穴ポリゴンから複数の接続された穴ポリゴンを探索することによって、識別し、
前記穴の面積が所定の閾値より小さいと判定し、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別し、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を推定し、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを修復し、
修復された３次元仮想現実モデルにおいて、資産の仮想現実見学を提供する
ように構成される、システム。
【請求項２】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形である、請求項１に記載のシステム。
【請求項３】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別するために、前記少なくとも１つのプロセッサは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別するように構成される、請求項１に記載のシステム。
【請求項４】
前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応する、請求項３に記載のシステム。
【請求項５】
前記穴ポリゴンについてテクスチャ情報を推定するために、前記少なくとも１つのプロセッサは、
各穴ポリゴンの頂点についてのピクセル値を決定し、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定する
ように更に構成される、請求項１に記載のシステム。
【請求項６】
穴ポリゴンの頂点についてピクセル値を決定するために、前記少なくとも１つのプロセッサは、
前記頂点と境界ポリゴンの頂点との間の距離を決定し、
境界ポリゴンの前記頂点のピクセル値の重み付き和を計算する
ように更に構成され、境界の頂点の前記ピクセル値は、前記穴ポリゴンの前記頂点とそれぞれの前記境界の頂点のうちのその頂点との間の前記距離によって逆重み付けされる、請求項５に記載のシステム。
【請求項７】
各穴ポリゴンの内部のピクセル値を決定するために、前記少なくとも１つのプロセッサは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施するように更に構成される、請求項５に記載のシステム。
【請求項８】
前記穴の面積を決定するために、前記少なくとも１つのプロセッサは、
前記穴内の前記穴ポリゴンの面積を決定し、
前記穴の面積を前記穴ポリゴンの面積の和として決定する
ように更に構成される、請求項１に記載のシステム。
【請求項９】
前記構造ポリゴンメッシュは、ポアソン表面再構成を使用して前記ポイントクラウドデータから構築される、請求項１に記載のシステム。
【請求項１０】
資産の３次元仮想現実モデルを構築するためのコンピュータ実装方法であって、
前記資産の見学のためにユーザの指示を受信すること、
前記資産の内部から取得されるポイントクラウドデータに基づいて、前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって構築すること、
第１の穴ポリゴンであって、ポリゴンの前記第２のセットから抜けている、第１の穴ポリゴンをポリゴンの前記第１のセットから選択すること、
前記テクスチャ化ポリゴンメッシュ内の穴を、木構造探索を使用して、前記第１の穴ポリゴンから複数の接続された穴ポリゴンを探索することによって、少なくとも１つのプロセッサによって識別すること、
前記穴の面積が所定の閾値より小さいと、少なくとも１つのプロセッサによって判定すること、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で、少なくとも１つのプロセッサによって識別すること、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を、少なくとも１つのプロセッサによって推定すること、及び、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを、少なくとも１つのプロセッサによって修復すること、
修復された３次元仮想現実モデルにおいて、資産の仮想現実見学を提供すること
を含む、コンピュータ実装方法。
【請求項１１】
ポリゴンの前記第１のセット、ポリゴンの前記第２のセット、及び前記穴ポリゴンは三角形である、請求項１０に記載のコンピュータ実装方法。
【請求項１２】
前記テクスチャ化ポリゴンメッシュ内の前記穴を識別することは、対応するテクスチャ化ポリゴンをポリゴンの前記第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの前記第１のセットから識別することを更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１３】
前記穴内の前記穴ポリゴンはポリゴンの前記第３のセットに対応する、請求項１２に記載のコンピュータ実装方法。
【請求項１４】
前記穴ポリゴンについてテクスチャ情報を推定することは、
各穴ポリゴンの頂点についてのピクセル値を決定すること、及び、
前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定すること
を更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１５】
穴ポリゴンの頂点についてピクセル値を決定することは、
前記頂点と境界ポリゴンの頂点との間の距離を決定すること、及び、
境界ポリゴンの前記頂点のピクセル値の重み付き和を計算すること
を更に含み、境界の頂点の前記ピクセル値は、前記穴ポリゴンの前記頂点とそれぞれの前記境界の頂点のうちのその頂点との間の前記距離によって逆重み付けされる、請求項１４に記載のコンピュータ実装方法。
【請求項１６】
各穴ポリゴンの内部のピクセル値を決定することは、ガウス過程に基づいて、前記穴ポリゴンの前記頂点のピクセル値に対してデータ融合を実施することを更に含む、請求項１４に記載のコンピュータ実装方法。
【請求項１７】
前記穴の面積を決定することは、
前記穴内の前記穴ポリゴンの面積を決定すること、及び、
前記穴の面積を前記穴ポリゴンの面積の和として決定すること
を更に含む、請求項１０に記載のコンピュータ実装方法。
【請求項１８】
前記構造ポリゴンメッシュは、ポアソン表面再構成を使用して前記ポイントクラウドデータから構築される、請求項１０に記載のコンピュータ実装方法。
【請求項１９】
非一時的コンピュータ可読媒体であって、非一時的コンピュータ可読媒体上に記憶されたコンピュータ命令を有し、前記コンピュータ命令は、少なくとも１つのプロセッサによって実行されると、資産の３次元仮想現実モデルを構築するための方法を実施し、前記方法は、
前記資産の見学のためにユーザの指示を受信すること、
前記資産の内部から取得されるポイントクラウドデータに基づいて、前記３次元仮想現実モデルの構造ポリゴンメッシュであって、ポリゴンの第１のセットを含む、構造ポリゴンメッシュを構築すること、
テクスチャ情報を前記構造ポリゴンメッシュにマッピングすることによって、前記３次元仮想現実モデルのテクスチャ化ポリゴンメッシュであって、ポリゴンの第２のセットを含む、テクスチャ化ポリゴンメッシュを構築すること、
第１の穴ポリゴンであって、ポリゴンの前記第２のセットから抜けている、第１の穴ポリゴンをポリゴンの前記第１のセットから選択すること、
前記テクスチャ化ポリゴンメッシュ内の穴を、木構造探索を使用して、前記第１の穴ポリゴンから複数の接続された穴ポリゴンを探索することによって、少なくとも１つのプロセッサによって識別すること、
前記穴の面積が所定の閾値より小さいと判定すること、
前記穴に隣接する境界ポリゴンをポリゴンの前記第２のセット内で識別すること、
前記境界ポリゴンのテクスチャ情報に基づく前記穴ポリゴンのテクスチャ情報、及び、前記穴ポリゴンと前記境界ポリゴンとの間のそれぞれの距離を推定すること、及び、
前記穴ポリゴンの前記推定されたテクスチャ情報を使用して前記テクスチャ化ポリゴンメッシュを修復すること、
修復された３次元仮想現実モデルにおいて、資産の仮想現実見学を提供すること
を含む、非一時的コンピュータ可読媒体。
【請求項２０】
前記穴ポリゴンのテクスチャ情報を推定することは、
各穴ポリゴンの頂点についてのピクセル値を、境界ポリゴンの頂点のピクセル値の重み付き和として決定することであって、境界の頂点の前記ピクセル値は、前記穴ポリゴンの前記頂点とそれぞれの前記境界の頂点のうちのその頂点との間の距離によって逆重み付けされること、及び、
ガウス過程に基づいて、前記頂点のピクセル値に基づいて各穴ポリゴンの内部のピクセル値を決定すること
を更に含む、請求項１９に記載の非一時的コンピュータ可読媒体。
【手続補正書】
【提出日】令和3年2月1日(2021.2.1)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
一例において、ポリゴンの第１のセット、ポリゴンの第２のセット、及び穴ポリゴンは三角形である。
一例において、テクスチャ化ポリゴンメッシュ内の穴を識別することは、対応するテクスチャ化ポリゴンをポリゴンの第２のセット内に持たないポリゴンの第３のセットを、ポリゴンの第１のセットから識別することを更に含み、穴内の穴ポリゴンはポリゴンの第３のセットに対応する。
【国際調査報告】
2021520583.tif 000010
2021520583.tif 000011