【手続補正書】
【提出日】令和2年11月20日(2020.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１つのカメラを含むモバイル装置の環境の再構成のための方法であって、
第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を、粗い計算手段によって、計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて、少なくとも１つのターゲット部分が前記環境に存在するかどうかを、決定手段によって、自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を、精密な計算手段によって、計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を、集計手段によって、集計するステップと、
を含む、前記方法。
【請求項２】
前記少なくとも１つのオブジェクト属性は、
前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
前記ターゲット部分の幾何学的な属性と、
前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、請求項１に記載の方法。
【請求項３】
前記少なくとも１つの幾何学的な属性は、
スケール・サイズと、
３Ｄポイントの分布密度と、
平面性と、
形状と、
からなる群に属する、請求項２に記載の方法。
【請求項４】
前記自動的に判定するステップは、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアを、ローカライズ手段によって、ローカライズするステップをさらに含み、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、請求項１に記載の方法。
【請求項５】
前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、
前記モバイル装置のユーザによって前記少なくとも１つのターゲット部分を、承認手段によって、承認するステップ、をさらに含み、前記精密な３Ｄ再構成を計算するステップは、前記少なくとも１つのターゲット部分が承認されたときに行われる、請求項１に記載の方法。
【請求項６】
前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップは、
前記第１のピクチャをキャプチャする第１の動作モードで前記少なくとも１つのカメラを、起動手段によって、起動するステップをさらに含む、請求項１に記載の方法。
【請求項７】
前記第１の再構成方法は、
ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（ＳｆＭ）と、
Ｍｕｌｔｉ−ＶｉｅｗＳｔｅｒｅｏ（ＭＶＳ）と、
ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ（ＳＬＡＭ）と、からなる群に属する、請求項１に記載の方法。
【請求項８】
前記モバイル装置は、深度センサをさらに含み、前記環境の少なくとも１つのエリアの前記粗い３Ｄ再構成は、前記深度センサによって受け渡される前記エリアの深度マップをさらに考慮する、請求項１に記載の方法。
【請求項９】
前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを、起動手段によって、起動するステップをさらに含む、請求項１に記載の方法。
【請求項１０】
前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施し、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つのエリアに対して計算された前記再構成を集計するステップは、前記環境の前記３Ｄ再構成であるマルチ解像度表現を提供するマルチビュー・ステレオ法を実施する、請求項１に記載の方法。
【請求項１３】
少なくとも１つのカメラを含むモバイル装置の環境を３Ｄ再構成するための装置であって、
メモリと、
少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮した、第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、
前記第１のピクチャのうちの少なくとも１つを考慮した、少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定し、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮した、第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算し、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するように構成された前記装置。
【請求項１４】
前記少なくとも１つのプロセッサは、前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを起動することによって、
前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成される、請求項１３に記載の装置。
【請求項１５】
請求項１３に記載の装置を含むモバイル装置であって、好ましくは、携帯電話およびタブレットのうちから選択される、前記モバイル装置。
【請求項１６】
前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのプロセッサは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施することによって、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成され、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、請求項１４に記載の装置。
【請求項１７】
前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、請求項１６に記載の装置。
【請求項１８】
前記少なくとも１つのプロセッサは、前記少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて前記少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するようにさらに構成され、当該判定は、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアをローカライズすることによって行われ、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、請求項１３に記載の装置。
【請求項１９】
前記少なくとも１つの属性は、
前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
前記ターゲット部分の幾何学的な属性と、
前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、請求項１３に記載の装置。
【請求項２０】
コンピュータ・プログラム・プロダクツを記憶する非一時的コンピュータ読み取り可能担持媒体であって、前記コンピュータ・プログラム・プロダクトがコンピュータまたはプロセッサによって実行されると、前記コンピュータまたは前記プロセッサに少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成を実行させ、当該再構成は、
第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するステップと、によって行われる、前記非一時的コンピュータ読み取り可能担持媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１１０
【補正方法】変更
【補正の内容】
【０１１０】
別の実施形態においては、開示した方法を実施するための装置４００は、遠隔地のサーバに埋め込まれる。その場合、例えば、モバイル装置２００によって第１および第２のピクチャを表現するデータをサーバに対して送信した後に、サーバは、環境の３Ｄ再構成の生成を実行する。
なお、上述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
少なくとも１つのカメラを含むモバイル装置の環境の再構成のための方法であって、
第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するステップと、を含む、前記方法。
（付記２）
前記少なくとも１つのオブジェクト属性は、
前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
前記ターゲット部分の幾何学的な属性と、
前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、付記１に記載の方法。
（付記３）
前記少なくとも１つの幾何学的な属性は、
スケール・サイズと、
３Ｄポイントの分布密度と、
平面性と、
形状と、
からなる群に属する、付記２に記載の方法。
（付記４）
前記自動的に判定するステップは、さらに、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアをローカライズするステップを含み、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、付記１に記載の方法。
（付記５）
前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップは、
前記モバイル装置のユーザによって前記少なくとも１つのターゲット部分を承認するステップ、をさらに含み、前記精密な３Ｄ再構成を計算するステップは、前記少なくとも１つのターゲット部分が承認されたときに行われる、付記１に記載の方法。
（付記６）
前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップは、
前記第１のピクチャをキャプチャする第１の動作モードで前記少なくとも１つのカメラを起動するステップをさらに含む、付記１に記載の方法。
（付記７）
前記第１の再構成方法は、
ＳｔｒｕｃｔｕｒｅｆｒｏｍＭｏｔｉｏｎ（ＳｆＭ）と、
Ｍｕｌｔｉ−ＶｉｅｗＳｔｅｒｅｏ（ＭＶＳ）と、
ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎＡｎｄＭａｐｐｉｎｇ（ＳＬＡＭ）と、からなる群に属する、付記１に記載の方法。
（付記８）
前記モバイル装置は、深度センサをさらに含み、前記環境の少なくとも１つのエリアの前記粗い３Ｄ再構成は、前記深度センサによって受け渡される前記エリアの深度マップをさらに考慮する、付記１に記載の方法。
（付記９）
前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを起動するステップをさらに含む、付記１に記載の方法。
（付記１０）
前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するステップは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施し、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、付記９に記載の方法。
（付記１１）
前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、付記１０に記載の方法。
（付記１２）
前記少なくとも１つのエリアに対して計算された前記再構成を集計するステップは、前記環境の前記３Ｄ再構成であるマルチ解像度表現を提供するマルチビュー・ステレオ法を実施する、付記１に記載の方法。
（付記１３）
少なくとも１つのカメラを含むモバイル装置の環境を３Ｄ再構成するための装置であって、
メモリと、
少なくとも１つのプロセッサと、を含み、前記少なくとも１つのプロセッサは、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮した、第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算し、
前記第１のピクチャのうちの少なくとも１つを考慮した、少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定し、
前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮した、第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算し、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するように構成された前記装置。
（付記１４）
付記１３に記載の装置を含むモバイル装置であって、好ましくは、携帯電話およびタブレットのうちから選択される、前記モバイル装置。
（付記１５）
前記少なくとも１つのプロセッサは、
前記第２のピクチャをキャプチャする第２の動作モードで前記少なくとも１つのカメラを起動することによって、
前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成される、付記１３に記載の装置。
（付記１６）
前記モバイル装置は、前記第２のモードで起動される少なくとも１つのフラッシュ・ライトをさらに含み、前記少なくとも１つのプロセッサは、前記第２のピクチャおよび前記少なくとも１つのフラッシュ・ライトの関連する位置に基づく照度差データを考慮してマルチビュー照度差ステレオ法を実施することによって、前記少なくとも１つのターゲット部分の前記精密な３Ｄ再構成を計算するようにさらに構成され、前記少なくとも１つのフラッシュ・ライトの前記関連する位置は、前記モバイル装置の前記少なくとも１つのカメラの位置から推定される、付記１５に記載の装置。
（付記１７）
前記少なくとも１つのオブジェクト属性は、前記少なくとも１つのターゲット部分のオブジェクト分類を表現するカテゴリーを含み、前記マルチビュー照度差ステレオ法は、前記少なくとも１つのターゲット部分のオブジェクト分類に関連付けられた反射率をさらに考慮する、付記１６に記載の装置。
（付記１８）
前記少なくとも１つのプロセッサは、前記少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて前記少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するようにさらに構成され、当該判定は、前記モバイル装置のユーザ・インタフェースを介して前記環境における少なくとも１つのローカライズされたエリアをローカライズすることによって行われ、前記少なくとも１つのターゲット部分は、前記少なくとも１つのローカライズされたエリアで自動的に判定される、付記１３に記載の装置。
（付記１９）
前記少なくとも１つの属性は、
前記ターゲット部分を当該ターゲット部分の近傍に対して相対的に目立たせる品質を表現する顕著性属性と、
前記ターゲット部分の幾何学的な属性と、
前記ターゲット部分のオブジェクト分類を表現するカテゴリー属性と、
前記顕著性属性、前記幾何学的な属性、および前記カテゴリー属性の重み付けされた組み合わせと、からなる群に属する、付記１３に記載の装置。
（付記２０）
コンピュータ・プログラム・プロダクツを記憶する非一時的コンピュータ読み取り可能担持媒体であって、前記コンピュータ・プログラム・プロダクトがコンピュータまたはプロセッサによって実行されると、前記コンピュータまたは前記プロセッサに少なくとも１つのカメラを含むモバイル装置の環境の３Ｄ再構成を実行させ、当該再構成は、
第１の再構成方法によって前記環境の少なくとも１つのエリアの粗い３Ｄ再構成を計算するステップであって、前記第１の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのエリアの少なくとも第１のピクチャを考慮する、前記ステップと、
少なくとも１つのオブジェクト属性の少なくとも１つの検出に基づいて少なくとも１つのターゲット部分が前記環境に存在するかどうかを自動的に判定するステップであって、前記検出が前記第１のピクチャのうちの少なくとも１つを考慮する、前記ステップと、
第２の再構成方法によって前記少なくとも１つのターゲット部分の精密な３Ｄ再構成を計算するステップであって、前記第２の再構成方法は、前記少なくとも１つのカメラによってキャプチャされた前記少なくとも１つのターゲット部分の少なくとも第２のピクチャを考慮する、前記ステップと、
前記環境の前記３Ｄ再構成を提供するために前記計算された再構成を集計するステップと、によって行われる、前記非一時的コンピュータ読み取り可能担持媒体。