【手続補正書】
【提出日】平成29年8月7日(2017.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
拡張現実(AR)環境における物理的光景のデジタル表現を構築するための方法であって、
少なくとも1つの平坦面と前記平坦面に配置された1つまたは複数の物理的対象物とを含む前記物理的光景についての情報を取得するステップと、
前記物理的光景内の前記平坦面を識別するステップと、
前記平坦面に対応するAR平面を決定するステップであって、前記AR平面が、前記平坦面の少なくとも一部分を含み、前記平坦面に配置された前記1つまたは複数の物理的対象物のうちの第1の対象物に関連する少なくとも1つの穴を取り囲む、決定するステップと、
前記AR平面についての情報に少なくとも部分的に基づいて前記第1の対象物に関連する1つまたは複数の特性を決定するステップと、
前記第1の対象物に関連する前記特性と前記AR平面に関連する情報とを使用して前記第1の対象物の3次元(3D)モデルを生成するステップと、
前記AR平面および前記第1の対象物の前記3Dモデルを含むAR環境のデジタル表現を生成するステップと、
前記物理的光景の画像がモバイルデバイスによって撮られながら、前記モバイルデバイス上の前記AR環境の前記デジタル表現を実質的にリアルタイムに表示するステップと
を含む、方法。
【請求項２】
前記第1の対象物に関連する1つまたは複数の特性を決定するステップが、少なくとも1つまたは複数の特徴点を識別することにさらに基づく、請求項1に記載の方法。
【請求項３】
前記AR平面が複数のセルを含み、前記複数のセルの各セルが、バーチャル対象物が前記第1の対象物と衝突することなく進むことができる領域を表す、請求項1に記載の方法。
【請求項４】
前記第1の対象物に関連する1つまたは複数の特性を決定するステップが、
前記平坦面の前記第1の対象物のロケーションに対応する1つまたは複数の領域を前記平坦面内で識別するステップと、
1つまたは複数の凸領域および前記1つまたは複数の特徴点のロケーションに基づいて、前記第1の対象物の1つまたは複数の外面を決定するステップとを含む、請求項1に記載の方法。
【請求項５】
前記平坦面に対応するAR平面を決定するステップが、
前記第1の対象物を含む前記物理的光景の少なくとも2つの画像を解析するステップと、
前記物理的光景の前記少なくとも2つの画像の解析に基づいて、前記AR平面が前記物理的光景に対応し、前記第1の対象物に対応する少なくとも1つの領域を排除するように前記AR平面を作成するステップとを含む、請求項1に記載の方法。
【請求項６】
前記物理的光景の前記少なくとも2つの画像を解析するステップが、
第1のロケーションにおける前記物理的光景の、前記第1の対象物を含む第1の画像をカメラを使用して撮るステップと、
前記カメラが前記第1のロケーションから第2のロケーションに移動した距離を決定するステップと、
前記第2のロケーションにおける前記物理的光景の、前記第1の対象物を含む第2の画像を前記カメラを使用して撮るステップと、
前記第1の画像と前記第2の画像とを使用して前記第1の対象物に対する深さ情報を決定するステップとを含む、請求項5に記載の方法。
【請求項７】
前記第1の対象物の前記3Dモデルを生成するステップが、
前記第1の対象物の1つまたは複数の特徴点を取得するステップであって、前記1つまたは複数の特徴点の各特徴点が、前記第1の対象物の外面上の点の、前記平坦面に対するロケーションを示す、取得するステップと、
前記第1の対象物の見えない部分の形状を、前記AR平面に関連する情報と前記1つまたは複数の特徴点とを使用して推定するステップと、
前記推定に基づいて3D再構築対象物を構築するステップとを含む、請求項1に記載の方法。
【請求項８】
前記推定が、
スプライン表現、
射影対称性対象物表現、
平坦表現、または
湾曲表現のうちの少なくとも1つを含む、請求項7に記載の方法。
【請求項９】
前記第1の対象物の前記デジタル表現を構築するステップが、前記第1の対象物によって遮られた前記平坦面の一部分の形状に基づいて、対象物を前記平坦面に垂直な方向に押し出すステップを含む、請求項1に記載の方法。
【請求項１０】
前記平坦面に対応する前記AR平面を決定するステップが、
前記物理的光景内の前記平坦面の初期部分を識別するステップと、
前記平坦面の追加部分を識別するステップとを含み、前記追加部分の各々が、前記追加部分に関連する少なくとも1つの視覚特性または幾何学的特性と、前記平坦面の一部であるとすでに識別されている1つまたは複数の部分に関連する少なくとも1つの対応する視覚特性または幾何学的特性との間の類似性を決定することに基づいて前記平坦面の一部であるとして識別される、請求項1に記載の方法。
【請求項１１】
前記平坦面の前記追加部分を識別するステップが、
前記平坦面が存在する平坦領域のモデルを確立するステップと、
前記平坦領域を複数のセルに区分するステップと、
各セルを前記平坦面の潜在的な追加部分として評価するステップとを含む、請求項10に記載の方法。
【請求項１２】
各セルを評価するステップが、
前記平坦面の追加部分として識別された各セルに対して、前記平坦面の一部としてまだ識別されていない隣接セルを識別するステップと、
識別された隣接セルの各々に対して、前記隣接セルを前記平坦面の潜在的部分として評価するステップとを反復するステップを含む、請求項11に記載の方法。
【請求項１３】
プロセッサによって実行可能な命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令が、前記プロセッサによって実行されるとき、前記プロセッサに請求項１から１２のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
【請求項１４】
拡張現実(AR)環境における装置であって、
少なくとも1つの平坦面と前記平坦面に配置された1つまたは複数の物理的対象物とを含む物理的光景についての情報を取得するための手段と、
前記物理的光景内の前記平坦面を識別するための手段と、
前記平坦面に対応するAR平面を決定するための手段であって、前記AR平面が、前記平坦面の少なくとも一部分を含み、前記平坦面に配置された前記1つまたは複数の物理的対象物のうちの第1の対象物に関連する少なくとも1つの穴を取り囲む、決定するための手段と、
前記AR平面についての情報に少なくとも部分的に基づいて前記第1の対象物に関連する1つまたは複数の特性を決定するための手段と、
前記第1の対象物に関連する前記特性と前記AR平面に関連する情報とを使用して前記第1の対象物の3次元(3D)モデルを生成するための手段と、
前記AR平面および前記第1の対象物の前記3Dモデルを含むAR環境のデジタル表現を生成するための手段と、
前記物理的光景の画像がモバイルデバイスによって撮られながら、前記モバイルデバイス上の前記AR環境の前記デジタル表現を実質的にリアルタイムに表示するための手段と
を含む、装置。
【請求項１５】
前記第1の対象物に関連する1つまたは複数の特性を決定するステップが、少なくとも1つまたは複数の特徴点を識別することにさらに基づき、および／または、前記AR平面が複数のセルを含むとともに、前記複数のセルの各セルが、バーチャル対象物が前記第1の対象物と衝突することなく進むことができる領域を表す、請求項14に記載の装置。