【手続補正書】
【提出日】令和2年10月2日(2020.10.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
物理的環境の表面モデルを生成する方法であって、前記方法は、拡張現実（ＡＲ）／複合現実（ＭＲ）システムによって実施され、前記方法は、
前記ＡＲ／ＭＲシステムの画像プロセッサが、前記物理的環境の画像を取得することと、
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、平面ポリゴンメッシュを少なくとも前記画像から生成することと、
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、境界ポリゴンを前記平面ポリゴンメッシュから抽出することと、
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記境界ポリゴンに関する凸包を生成することと、
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、最小面積指向境界ポリゴン（ＭＡＯＢＰ）を前記凸包から生成することであって、前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記凸包と前記境界ポリゴンとを含有するポリゴンを含む、ことと
を含む、方法。
【請求項２】
前記物理的環境の画像を取得することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、
結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
前記結像デバイスに関する姿勢情報を取得することと
を含み、
前記方法は、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記姿勢情報を使用して、前記３−Ｄ点群に関する切断符号付き距離関数を算出することをさらに含み、
前記平面ポリゴンメッシュを生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記切断符号付き距離関数をテッセレートすることを含む、請求項１に記載の方法。
【請求項３】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、２つのより小さい平面ポリゴンメッシュを１つのより大きい平面ポリゴンメッシュに組み合わせることをさらに含む、請求項２に記載の方法。
【請求項４】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、重力ベクトルを取得することをさらに含み、
前記生成された平面ポリゴンメッシュは、前記重力ベクトルに対して略平行および直交のうちの少なくとも１つである、請求項１に記載の方法。
【請求項５】
前記凸包を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、Ｇｒａｈａｍ走査アルゴリズムを使用することを含む、請求項１に記載の方法。
【請求項６】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、回転キャリパーアルゴリズムを使用することを含む、請求項１に記載の方法。
【請求項７】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記平面ポリゴンメッシュの前記境界ポリゴンを含有する、請求項１に記載の方法。
【請求項８】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記平面ポリゴンメッシュの前記境界ポリゴンの内側に完全に含有される最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することをさらに含む、請求項１に記載の方法。
【請求項９】
前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記境界ポリゴンによって画定された検索面積内で検索を実施することを含む、請求項８に記載の方法。
【請求項１０】
前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、グリッドを前記検索面積内に形成することを含む、請求項９に記載の方法。
【請求項１１】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記平面ポリゴンメッシュの前記境界ポリゴンの内側の点の選択を受信することをさらに含み、
前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記選択された点を使用して画定された検索面積内で検索を実施することを含む、請求項８に記載の方法。
【請求項１３】
前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、グリッドを前記検索面積内に形成することを含む、請求項１２に記載の方法。
【請求項１４】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）および前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）は、同一形状を有する、請求項８に記載の方法。
【請求項１６】
前記平面ポリゴンメッシュは、前記ＡＲ／ＭＲシステムの前記画像プロセッサによって、マーチングキューブアルゴリズムに基づいて生成される、請求項１に記載の方法。
【請求項１７】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、長方形、三角形、および円形のうちの少なくとも１つである、請求項１に記載の方法。
【請求項１８】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）と前記境界ポリゴンとの間の適合を決定することをさらに含む、請求項１に記載の方法。
【請求項１９】
前記適合を決定することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）の第１の面積と前記境界ポリゴンの第２の面積との間の差異を計算することを含む、請求項１８に記載の方法。
【請求項２０】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）を表すデータを記憶することをさらに含み、
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、長方形である、請求項１に記載の方法。
【請求項２１】
前記データは、前記長方形に対応する４つの座標集合を備える、請求項２０に記載の方法。
【請求項２２】
前記データは、前記長方形の長さ、前記長方形の幅、および前記長方形の中心をさらに備える、請求項２１に記載の方法。
【請求項２３】
前記４つの座標集合はそれぞれ、一対の座標である、請求項２１に記載の方法。
【請求項２４】
前記平面ポリゴンメッシュを生成することは、前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記物理的環境の一連の画像の静的部分を捕捉することを含む、請求項１に記載の方法。
【請求項２５】
物理的環境の表面モデルを生成するためのシステムであって、
前記物理的環境の画像を取得するように構成される結像デバイスと、
前記結像デバイスに動作可能に結合される画像プロセッサであって、前記画像プロセッサは、
前記結像デバイスによって入手された前記画像を受信することと、
平面ポリゴンメッシュを少なくとも前記画像から生成することと、
境界ポリゴンを前記平面ポリゴンメッシュから抽出することと、
前記境界ポリゴンに関する凸包を生成することと、
最小面積指向境界ポリゴン（ＭＡＯＢＰ）を前記凸包から生成することであって、前記ＭＡＯＢＰは、前記凸包と前記境界ポリゴンとを含有するポリゴンを含む、ことと
を行うように構成される、画像プロセッサと
を備える、システム。
【請求項２６】
前記結像デバイスおよび前記画像プロセッサに動作可能に結合される姿勢センサをさらに備え、
前記画像プロセッサはまた、
前記姿勢センサから受信された姿勢情報を使用して、３−Ｄ点群に関する切断符号付き距離関数を算出することと、
前記切断符号付き距離関数をテッセレートすることによって、前記平面ポリゴンメッシュを生成することと、
前記平面ポリゴンメッシュの前記境界ポリゴンを抽出することによって、前記境界ポリゴンを少なくとも前記画像から抽出することと
を行うように構成され、
前記結像デバイスは、
前記結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
前記姿勢センサを使用して、前記結像デバイスに関する姿勢情報を取得することと
によって、前記物理的環境の前記画像を取得するように構成される、請求項２５に記載のシステム。
【請求項２７】
前記画像プロセッサはまた、
前記平面ポリゴンメッシュの前記境界ポリゴンの内側に完全に含有される最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成すること
を行うように構成される、請求項２５に記載のシステム。
【請求項２８】
前記画像プロセッサは、
前記境界ポリゴンによって画定された検索面積内で検索を実施することと、
グリッドを前記検索面積内に形成することと、
前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することと
によって、前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成するように構成される、請求項２７に記載のシステム。
【請求項２９】
前記画像プロセッサはまた、
前記平面ポリゴンメッシュの前記境界ポリゴンの内側の点の選択を受信することと、
前記選択された点を使用して画定された検索面積内で検索を実施することと、
グリッドを前記検索面積内に形成することと
によって、前記平面ポリゴンメッシュの前記境界ポリゴンの内側に完全に含有される最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することと
を行うように構成され、
前記画像プロセッサはまた、前記検索面積のサイズに基づいて、前記グリッドの分解能を調節するように構成される、請求項２７に記載のシステム。
【請求項３０】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、長方形、三角形、および円形のうちの少なくとも１つである、請求項２５に記載のシステム。
【請求項３１】
前記画像プロセッサはまた、前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）を表すデータを記憶するように構成され、
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、長方形であり、
前記データは、前記長方形に対応する４つの座標集合を備える、請求項２５に記載のシステム。
【請求項３２】
前記データは、前記長方形の長さ、前記長方形の幅、および前記長方形の中心をさらに備える、請求項３１に記載のシステム。
【請求項３３】
前記４つの座標集合はそれぞれ、一対の座標である、請求項３１に記載のシステム。
【請求項３４】
前記画像プロセッサは、少なくとも前記物理的環境の一連の画像の静的部分を捕捉することによって、前記平面ポリゴンメッシュを少なくとも前記画像から生成するように構成される、請求項２５に記載のシステム。
【請求項３５】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記凸包と前記境界ポリゴンとを含有する最小ポリゴンを含む、請求項１に記載の方法。
【請求項３６】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記凸包と前記境界ポリゴンとを含有する最小長方形を含む、請求項３５に記載の方法。
【請求項３７】
前記ＡＲ／ＭＲシステムの前記画像プロセッサが、前記平面ポリゴンメッシュの前記境界ポリゴンの内側に含有される最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成することをさらに含む、請求項３５に記載の方法。
【請求項３８】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、モデル化されている表面の範囲を過大推定し、前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）は、前記モデル化されている表面の範囲を過小推定する、請求項３７に記載の方法。
【請求項３９】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記凸包と前記境界ポリゴンとを含有する最小ポリゴンを含む、請求項２５に記載のシステム。
【請求項４０】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、前記凸包と前記境界ポリゴンとを含有する最小長方形を含む、請求項３９に記載のシステム。
【請求項４１】
前記画像プロセッサは、前記平面ポリゴンメッシュの前記境界ポリゴンの内側に含有される最大面積指向内部ポリゴン（ＭＡＯＩＰ）を生成するように構成される、請求項３９に記載のシステム。
【請求項４２】
前記最小面積指向境界ポリゴン（ＭＡＯＢＰ）は、モデル化されている表面の範囲を過大推定し、前記最大面積指向内部ポリゴン（ＭＡＯＩＰ）は、前記モデル化されている表面の範囲を過小推定する、請求項４１に記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
１つ以上の実施形態では、平面ポリゴンメッシュは、マーチングキューブアルゴリズムを使用して生成される。本方法はまた、最小面積指向境界ポリゴン内の中心点を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンの配向を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンに対して法線方向の線を決定するステップを含んでもよい。本方法はまた、最小面積指向境界ポリゴンを含む、座標系を決定するステップを含んでもよい。
本発明は、例えば、以下を提供する。
（項目１）
物理的環境の表面モデルを生成する方法であって、
前記物理的環境の画像を取得することと、
境界ポリゴンを少なくとも前記画像から抽出することと、
前記境界ポリゴンに関する凸包を生成することと、
最小面積指向境界ポリゴンを前記凸包から生成することと
を含む、方法。
（項目２）
平面ポリゴンメッシュを少なくとも前記画像から生成することをさらに含み、
前記境界ポリゴンを少なくとも前記画像から抽出することは、前記境界ポリゴンを前記平面ポリゴンメッシュから抽出することを含む、項目１に記載の方法。
（項目３）
前記物理的環境の画像を取得することは、
結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
前記結像デバイスに関する姿勢情報を取得することと
を含み、
前記方法はさらに、前記姿勢情報を使用して、前記３−Ｄ点群に関する切断符号付き距離関数を算出することを含み、
前記平面ポリゴンメッシュを生成することは、前記切断符号付き距離関数をテッセレートすることを含む、
項目２に記載の方法。
（項目４）
２つのより小さい平面ポリゴンメッシュを１つのより大きい平面ポリゴンメッシュに組み合わせることをさらに含む、項目３に記載の方法。
（項目５）
重力ベクトルを取得することをさらに含み、
前記生成された平面ポリゴンメッシュは、前記重力ベクトルに対して略平行および直交のうちの少なくとも１つである、項目２に記載の方法。
（項目６）
前記凸包を生成することは、Ｇｒａｈａｍ走査アルゴリズムを使用することを含む、項目１に記載の方法。
（項目７）
前記最小面積指向境界ポリゴンを生成することは、回転キャリパーアルゴリズムを使用することを含む、項目１に記載の方法。
（項目８）
前記最小面積指向境界ポリゴンは、前記平面ポリゴンメッシュの境界ポリゴンの外側にある、項目２に記載の方法。
（項目９）
前記平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成することをさらに含む、項目２に記載の方法。
（項目１０）
前記最大面積指向内部ポリゴンを生成することは、前記境界ポリゴンによって画定された検索面積内で検索を実施することを含む、項目９に記載の方法。
（項目１１）
前記最大面積指向内部ポリゴンを生成することは、グリッドを前記検索面積内に形成することを含む、項目１０に記載の方法。
（項目１２）
前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、項目１１に記載の方法。
（項目１３）
前記平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信することをさらに含み、
前記最大面積指向内部ポリゴンを生成することは、前記選択された点を使用して画定された検索面積内で検索を実施することを含む、項目９に記載の方法。
（項目１４）
前記最大面積指向内部ポリゴンを生成することは、グリッドを前記検索面積内に形成することを含む、項目１３に記載の方法。
（項目１５）
前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することをさらに含む、項目１３に記載の方法。
（項目１６）
前記最小面積指向境界ポリゴンおよび前記最大面積指向内部ポリゴンは、同一形状を有する、項目９に記載の方法。
（項目１７）
前記平面ポリゴンメッシュは、マーチングキューブアルゴリズムに基づいて生成される、項目２に記載の方法。
（項目１８）
前記最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つである、項目１に記載の方法。
（項目１９）
前記最小面積指向境界ポリゴンと前記境界ポリゴンとの間の適合を決定することをさらに含む、項目１に記載の方法。
（項目２０）
前記適合を決定することは、前記最小面積指向境界ポリゴンの第１の面積と前記境界ポリゴンの第２の面積との間の差異を計算することを含む、項目１９に記載の方法。
（項目２１）
前記最小面積指向境界ポリゴンを表すデータを記憶することをさらに含み、
前記最小面積指向境界ポリゴンは、長方形である、項目１に記載の方法。
（項目２２）
前記データは、前記長方形に対応する４つの座標集合を備える、項目２１に記載の方法。
（項目２３）
前記データはさらに、前記長方形の長さ、前記長方形の幅、および前記長方形の中心を備える、項目２２に記載の方法。
（項目２４）
前記４つの座標集合はそれぞれ、一対の座標である、項目２２に記載の方法。
（項目２５）
前記平面ポリゴンメッシュを生成することは、前記物理的環境の一連の画像の静的部分を捕捉することを含む、項目２に記載の方法。
（項目２６）
物理的環境の表面モデルを生成するためのシステムであって、
結像デバイスと、
カメラに動作可能に結合される画像プロセッサであって、前記画像プロセッサは、
少なくとも部分的に、前記物理的環境の画像を前記結像デバイスから取得することと、
境界ポリゴンを少なくとも前記画像から抽出することと、
前記境界ポリゴンに関する凸包を生成することと、
最小面積指向境界ポリゴンを前記凸包から生成することと
を行うように構成される、画像プロセッサと
を備える、システム。
（項目２７）
前記結像デバイスおよび前記画像プロセッサに動作可能に結合される姿勢センサをさらに備え、
前記画像プロセッサはまた、
前記姿勢情報を使用して、前記３−Ｄ点群に関する切断符号付き距離関数を算出することと、
前記切断符号付き距離関数をテッセレートすることによって、平面ポリゴンメッシュを少なくとも前記画像から生成することと
を行うように構成され、
前記境界ポリゴンを少なくとも前記画像から抽出することは、前記平面ポリゴンメッシュの境界ポリゴンを抽出することを含み、
前記物理的環境の画像を取得することは、
前記結像デバイスを使用して、前記物理的環境に対応する３−Ｄ点群を取得することと、
前記姿勢センサを使用して、前記結像デバイスに関する姿勢情報を取得することと
を含む、項目２６に記載のシステム。
（項目２８）
前記画像プロセッサはまた、
平面ポリゴンメッシュを少なくとも前記画像から生成することと、
前記平面ポリゴンメッシュの境界ポリゴンの内側の最大面積指向内部ポリゴンを生成することと
を行うように構成される、項目２６に記載のシステム。
（項目２９）
前記最大面積指向内部ポリゴンを生成することは、
前記境界ポリゴンによって画定された検索面積内で検索を実施することと、
グリッドを前記検索面積内に形成することと、
前記検索面積のサイズに基づいて、前記グリッドの分解能を調節することと
を含む、項目２８に記載のシステム。
（項目３０）
前記画像プロセッサはまた、前記平面ポリゴンメッシュの境界ポリゴンの内側の点の選択を受信するように構成され、
前記最大面積指向内部ポリゴンを生成することは、
前記選択された点を使用して画定された検索面積内で検索を実施することと、
グリッドを前記検索面積内に形成することと
を含み、
前記画像プロセッサはまた、前記検索面積のサイズに基づいて、前記グリッドの分解能を調節するように構成される、項目２８に記載のシステム。
（項目３１）
前記最小面積指向境界ポリゴンは、長方形、三角形、および円形のうちの少なくとも１つである、項目２６に記載のシステム。
（項目３２）
前記画像プロセッサはまた、前記最小面積指向境界ポリゴンを表すデータを記憶するように構成され、
前記最小面積指向境界ポリゴンは、長方形であり、
前記データは、前記長方形に対応する４つの座標集合を備える、
項目２６に記載のシステム。
（項目３３）
前記データはさらに、前記長方形の長さ、前記長方形の幅、および前記長方形の中心を備える、項目３２に記載のシステム。
（項目３４）
前記４つの座標集合はそれぞれ、一対の座標である、項目３２に記載のシステム。
（項目３５）
前記画像プロセッサはまた、少なくとも前記物理的環境の一連の画像の静的部分を捕捉することによって、平面ポリゴンメッシュを少なくとも前記画像から生成するように構成される、項目２６に記載のシステム。