【手続補正書】
【提出日】平成30年12月13日(2018.12.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示するためのシステムであって、
仮想環境において３次元仮想オブジェクトを表示するためのディスプレイユニットおよび１組の１つまたは複数のカメラを含むヘッドマウントディスプレイデバイスと、
前記ヘッドマウントディスプレイデバイスの遠くにあり、前記複合現実環境において実オブジェクトのビデオを取り込むための１つまたは複数のカメラアセンブリと、
前記ディスプレイデバイスと前記１つまたは複数のカメラアセンブリとに動作可能に結合された処理ユニットと
を備えており、前記処理ユニットは、前記ヘッドマウントディスプレイと、前記３次元仮想オブジェクトと、前記１つまたは複数のカメラアセンブリとがレジストレーションされる３次元座標空間を含むシーンマップを生成し、前記処理ユニットと、前記１つまたは複数のカメラアセンブリのうちのカメラアセンブリとは、前記カメラアセンブリの視点からの表示のために実オブジェクトのビデオおよび前記仮想オブジェクトを含む前記複合現実環境の画像を生成する、システム。
【請求項２】
前記カメラアセンブリは、前記複合現実環境において実オブジェクトのカラー画像または白黒画像を取り込むための画像取り込みデバイスを含んでいる、請求項１に記載のシステム。
【請求項３】
前記カメラアセンブリは、前記複合現実環境の深さデータを取り込むためのイメージセンサを含んでおり、前記深さデータを使用して、前記イメージセンサの視点から前記複合現実環境の深さマップを生成する、請求項１に記載のシステム。
【請求項４】
前記カメラアセンブリと、前記ヘッドマウントディスプレイデバイスとは、前記カメラアセンブリによって共通座標系に対してキャリブレーションされ、前記ヘッドマウントディスプレイデバイスはキャリブレーションキューの１つまたは複数の画像を取り込む、請求項１に記載のシステム。
【請求項５】
前記処理ユニットは、前記カメラアセンブリおよび前記ヘッドマウントディスプレイデバイスの視点からキャリブレーションターゲットの前記１つまたは複数の画像からの深さイメージングセンサデータに基づいて、前記カメラアセンブリおよび前記ヘッドマウントディスプレイデバイスのポーズを決定する、請求項４に記載のシステム。
【請求項６】
前記カメラアセンブリによって少なくとも部分的に生成された深さマップおよびＲＧＢ画像のうちの少なくとも１つを使用して、前記カメラアセンブリは、前記シーンマップの前記３次元座標空間内で較正される、請求項１に記載のシステム。
【請求項７】
前記カメラアセンブリは、前記シーンマップの前記３次元座標空間内に前記カメラアセンブリをレジストレーションする際に支援するための慣性測定ユニットを含む位置センサを含んでいる、請求項１に記載のシステム。
【請求項８】
前記カメラアセンブリは、第１のカメラアセンブリであり、前記１つまたは複数のカメラアセンブリは、第２のカメラアセンブリをさらに備えており、前記システムは、前記第１および第２のカメラアセンブリのうちのいずれかの視点から前記複合現実環境の表示を選択するための選択デバイスをさらに備えている、請求項１に記載のシステム。
【請求項９】
少なくとも第１の２次元モニタと第２の２次元モニタとをさらに備えており、前記第１のモニタは、前記第１のカメラアセンブリの視点から前記複合現実環境の前記画像を表示し、前記第２のモニタは、前記第２のカメラアセンブリの視点から前記複合現実環境の前記画像を表示する、請求項８に記載のシステム。
【請求項１０】
実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示するためのシステムであって、
前記複合現実環境において、現実世界オブジェクトの画像を異なる視点から取り込むための複数の画像取り込みデバイスと、
前記複数の画像取り込みデバイスに動作可能に結合された処理ユニットと
を備えており、前記処理ユニットは、互いに対して前記複数の画像取り込みデバイスのポーズを識別し、前記処理ユニットはさらに、前記複合現実環境において仮想オブジェクトを生成し、また前記複数の画像取り込みデバイスに対して前記仮想オブジェクトの位置を識別し、前記処理ユニット、および前記複数の画像取り込みデバイスのうちの画像取り込みデバイスは、前記画像取り込みデバイスの視点から２次元モニタで表示するための前記複合現実環境の画像を生成する、システム。
【請求項１１】
前記画像取り込みデバイスは、ヘッドマウントディスプレイデバイス上にカメラを備えており、前記ヘッドマウントディスプレイデバイスは、前記ヘッドマウントディスプレイデバイスの光学系に前記仮想オブジェクトを表示するためのディスプレイユニットをさらに備えている、請求項１０に記載のシステム。
【請求項１２】
前記画像取り込みデバイスは、カメラアセンブリを備えている、請求項１０に記載のシステム。
【請求項１３】
前記カメラアセンブリは、前記複合現実環境における実オブジェクトのカラー画像を取り込むためのカラー画像取込デバイスと、前記複合現実環境の深さデータを取り込むための画像センサであって、前記複合現実環境の深さデータおよび深さマップを前記画像センサの視点から生成する画像センサとを備える、請求項１２に記載のシステム。
【請求項１４】
前記処理ユニットは、ＲＧＢ画像および深さマップのうちの少なくとも一方を使用して、他の画像取り込みデバイスに対する前記カメラアセンブリの前記ポーズを識別する、請求項１３に記載のシステム。
【請求項１５】
前記カメラアセンブリは、他の画像取り込みデバイスに対する前記カメラアセンブリの前記ポーズを識別する際に支援するための慣性測定ユニットを含む位置センサを含んでいる、請求項１２に記載のシステム。
【請求項１６】
実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示する方法であって、
（a）ヘッドマウントディスプレイデバイスに組み込まれた第１のカメラを経由して、第１の視点から、前記複合現実環境の第１の画像を取り込むステップと、
（b）カメラアセンブリに組み込まれた第２のカメラを経由して、第２の視点から、前記複合現実環境の第２の画像を取り込むステップと、
（c）前記複合現実環境の中の位置において仮想オブジェクトを生成するステップと、
（d）前記ヘッドマウントディスプレイデバイスの光学系に前記仮想オブジェクトを表示するステップであって、前記仮想オブジェクトは、前記ヘッドマウントディスプレイデバイスの視点から表示されている、表示するステップと、
（e）前記カメラアセンブリから２次元ディスプレイデバイス上に前記第２の画像を前記仮想オブジェクトと一緒に表示することであって、前記仮想オブジェクトは、前記カメラアセンブリの視点から表示されている、表示するステップと
を含む方法。
【請求項１７】
前記２次元ディスプレイデバイスの表示を、前記仮想オブジェクトと一緒に前記第１の画像を前記ヘッドマウントディスプレイデバイスから表示することへと変更するステップをさらに含み、前記仮想オブジェクトは、前記ヘッドマウントディスプレイデバイスの視点から表示されている、請求項１６に記載の方法。
【請求項１８】
前記第１の画像および前記第２の画像中の共通のオブジェクトを少なくとも使用して、前記ヘッドマウントディスプレイデバイス、前記カメラアセンブリ、および仮想オブジェクトのお互いに対するポーズをレジストレーションするステップをさらに含む、請求項１６に記載の方法。
【請求項１９】
前記仮想オブジェクトの前記位置の両側、下側、および上側のうちの少なくとも１つから、前記カメラアセンブリによって、前記第２の画像を取り込むステップをさらに含む、請求項１６に記載の方法。
【請求項２０】
仮想オブジェクトツールを使用して、前記ヘッドマウントディスプレイデバイスの着用者を前記仮想オブジェクトとして構築するステップをさらに含み、
前記２次元モニタ上に表示される前記カメラアセンブリからの前記第２の画像は、前記構築する際に、前記仮想オブジェクトツールおよび前記仮想オブジェクトを示すビデオフィードを含む、請求項１６に記載の方法。