(57)【要約】  物理環境においてヘッドマウントディスプレイとともに使用するための方法は、物理環境の深度情報を取得するステップと、物理環境の視覚画像をキャプチャするステップとを含む。この方法はまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するステップを含む。視覚画像は、次いで、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいてセグメント化される。セグメント化画像は、次いで、仮想画像と1つまたは複数の物理対象の両方をヘッドマウントディスプレイ上に表示するために仮想画像上でオーバレイされる。
2019514101.tif 000002
【特許請求の範囲】
【請求項１】
物理環境においてヘッドマウントディスプレイとともに使用するための方法であって、
前記物理環境の深度情報を取得するステップであって、前記物理環境が1つまたは複数の物理対象を含む、取得するステップと、
視覚カメラを用いて前記物理環境の視覚画像をキャプチャするステップと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定するステップと、
前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するステップと、
仮想画像を前記ヘッドマウントディスプレイ上に表示するステップと、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするステップと
を含む、方法。
【請求項２】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項1に記載の方法。
【請求項３】
前記しきい値の値が、前記ユーザが前記1つまたは複数の物理対象をタッチしている場合、前記セグメント化画像が前記1つまたは複数の物理対象を含むように選択される、請求項2に記載の方法。
【請求項４】
前記しきい値の値が、前記ユーザが前記1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択される、請求項2に記載の方法。
【請求項５】
前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項2に記載の方法。
【請求項６】
前記セグメント化画像を前記仮想画像上にオーバレイする前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離に基づいて、前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の透明度を調整するステップを含む、請求項2に記載の方法。
【請求項７】
前記1つまたは複数の物理対象の前記透明度を調整する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離の縮小に比例して前記透明度を低減させるステップを含む、請求項6に記載の方法。
【請求項８】
前記セグメント化画像を前記仮想画像上にオーバレイする前記ステップが、前記仮想画像が前記1つまたは複数の物理対象によって完全に遮断されないように、前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の透明度を調整するステップを含む、請求項1に記載の方法。
【請求項９】
前記1つまたは複数の物理対象が完全に透明になるまでのある時間期間にわたって、前記仮想画像内の前記1つまたは複数の物理対象の前記透明度を増大させるステップをさらに含む、請求項8に記載の方法。
【請求項１０】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するステップを含む、請求項1に記載の方法。
【請求項１１】
前記深度情報が前記物理環境の3次元(3D)点群を含み、前記方法が、
前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成するステップをさらに含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項10に記載の方法。
【請求項１２】
前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項11に記載の方法。
【請求項１３】
前記ハンドジェスチャが手を開いたジェスチャであり、前記クローズド3D形状が球体である、請求項12に記載の方法。
【請求項１４】
前記球体が前記ユーザの前記手を中心として方向づけられ、前記ユーザの前記手の指の広がりに比例する直径を有する、請求項13に記載の方法。
【請求項１５】
前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項11に記載の方法。
【請求項１６】
前記ハンドジェスチャが指をさすハンドジェスチャであり、前記オープン空間エリアが、前記ユーザの前記手の指における頂点を有する円錐形状によって定義されたエリアであり、前記円錐形状が、前記指の方向に基づいて、前記指から離れて前記物理環境内に拡張する、請求項15に記載の方法。
【請求項１７】
セグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化する前記ステップが、前記仮想画像の仮想シーン照明に従って前記セグメント化画像を調整するステップを含む、請求項1に記載の方法。
【請求項１８】
前記深度情報が、前記物理環境の3次元(3D)点群を含み、前記仮想画像の前記仮想シーン照明に従って前記セグメント化画像を調整する前記ステップが、
前記3D点群に基づいて前記1つまたは複数の物理対象の3Dメッシュを生成するステップと、
前記視覚画像の一部分を前記1つまたは複数の物理対象の前記3Dメッシュ上にマッピングするステップと
を含む、請求項17に記載の方法。
【請求項１９】
前記視覚画像をセグメント化する前記ステップが、前記深度情報に基づいて、前記物理環境内に含まれる1つまたは複数の他の物理対象から前記1つまたは複数の物理対象をセグメント化するステップを含む、請求項1に記載の方法。
【請求項２０】
前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象および前記視覚カメラによってキャプチャされた前記ユーザの手を含めるために前記セグメント化画像を生成するステップを含む、請求項1に記載の方法。
【請求項２１】
前記視覚カメラによってキャプチャされた前記物理環境の視野が、前記ヘッドマウントディスプレイによって妨害される前記ユーザの視野である、請求項1に記載の方法。
【請求項２２】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、
前記物理環境の過去のモデルを取得するステップと、
前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定するステップとを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項1に記載の方法。
【請求項２３】
ヘッドマウントディスプレイであって、
物理環境の深度情報を取得するための手段であって、前記物理環境が1つまたは複数の物理対象を含む、取得するための手段と、
前記物理環境の視覚画像をキャプチャするための視覚カメラと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定するための手段と、
前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するための手段と、
仮想画像を前記ヘッドマウントディスプレイ上に表示するための手段と、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするための手段と
を含む、ヘッドマウントディスプレイ。
【請求項２４】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
【請求項２５】
前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項24に記載のヘッドマウントディスプレイ。
【請求項２６】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
【請求項２７】
前記深度情報が前記物理環境の3次元(3D)点群を含み、前記ヘッドマウントディスプレイが、
前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成するための手段をさらに含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項26に記載のヘッドマウントディスプレイ。
【請求項２８】
前記空間エリアを生成するための前記手段が、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項27に記載のヘッドマウントディスプレイ。
【請求項２９】
前記空間エリアを生成するための前記手段が、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するための手段を含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項27に記載のヘッドマウントディスプレイ。
【請求項３０】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記手段が、
前記物理環境の過去のモデルを取得するための手段と、
前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定するための手段とを含み、前記視覚画像をセグメント化するための前記手段が、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための手段を含む、請求項23に記載のヘッドマウントディスプレイ。
【請求項３１】
ヘッドマウントディスプレイであって
視覚カメラと、
ディスプレイと、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに結合された少なくとも1つのメモリとを含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
物理環境の深度情報を取得することであって、前記物理環境が1つまたは複数の物理対象を含む、取得することと、
前記視覚カメラを用いて前記物理環境の視覚画像をキャプチャすることと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定することと、
前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化することと、
仮想画像を前記ディスプレイ上に表示することと、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイすることと
を行うように前記ヘッドマウントディスプレイに指示するように構成される、ヘッドマウントディスプレイ。
【請求項３２】
前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の距離を判定することによって、前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定し、
前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
【請求項３３】
前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの手と前記1つまたは複数の物理対象との間の距離である、請求項32に記載のヘッドマウントディスプレイ。
【請求項３４】
前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識することによって、前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する
ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
【請求項３５】
前記深度情報が前記物理環境の3次元(3D)点群を含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの手に近接して空間エリアを生成し、
前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
【請求項３６】
前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成することによって前記空間エリアを生成し、
前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項35に記載のヘッドマウントディスプレイ。
【請求項３７】
前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成することによって、前記空間エリアを生成し、
前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項35に記載のヘッドマウントディスプレイ。
【請求項３８】
前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、
前記物理環境の過去のモデルを取得し、
前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定し、
前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
ことによって、前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
【請求項３９】
深度カメラをさらに含み、前記少なくとも1つのプロセッサおよび前記少なくとも1つのメモリが、前記深度カメラを用いて前記物理環境の前記深度情報をキャプチャするように前記ヘッドマウントディスプレイに指示するようにさらに構成される、請求項31に記載のヘッドマウントディスプレイ。
【請求項４０】
プログラムコードを記憶する非一時的コンピュータ可読記憶媒体であって、前記プログラムコードが、実行されると、ヘッドマウントディスプレイに、
物理環境の深度情報を取得することであって、前記物理環境が1つまたは複数の物理対象を含む、取得することと、
視覚カメラを用いて前記物理環境の視覚画像をキャプチャすることと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を判定することと、
前記1つまたは複数の物理対象を含むセグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化することと、
仮想画像を前記ヘッドマウントディスプレイ上に表示することと、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイすることと
を行わせる命令を含む、非一時的コンピュータ可読記憶媒体。
【請求項４１】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
【請求項４２】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの手のハンドジェスチャを認識するための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
【請求項４３】
前記深度情報が前記物理環境の3次元(3D)点群を含み、前記非一時的コンピュータ可読記憶媒体が、
前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成し、
前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するための命令をさらに含む、請求項42に記載の非一時的コンピュータ可読記憶媒体。
【請求項４４】
前記空間エリアを生成するための前記命令が、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項43に記載の非一時的コンピュータ可読記憶媒体。
【請求項４５】
前記空間エリアを生成するための前記命令が、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するための命令を含み、前記視覚画像をセグメント化するための前記命令が、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるための命令を含む、請求項43に記載の非一時的コンピュータ可読記憶媒体。
【請求項４６】
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定するための前記命令が、
前記物理環境の過去のモデルを取得し、
前記過去のモデルに基づいて、前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるかどうかを判定し、
前記1つまたは複数の物理対象が前記物理環境にとって新しい物理対象であるとの判定に応じて、前記1つまたは複数の物理対象を前記セグメント化画像内に含めることによって、前記視覚画像をセグメント化する
ように前記ヘッドマウントディスプレイに指示するための命令を含む、請求項40に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示の態様は、一般に、仮想現実に関し、詳細には、物理環境の視覚画像をヘッドマウントディスプレイ上に提示される仮想画像に統合することに関する。
【背景技術】
【０００２】
仮想現実(VR)は、没入型のマルチメディア環境またはコンピュータシミュレーション環境をユーザに提供する急成長技術である。そのような環境は、ユーザの物理的存在を架空の世界または現実の場所をモデルにした世界にシミュレートすることができる。VR技術は、仮想環境内でユーザの経験を改善するために、グラフィックス拡張、オーディオ拡張、および他の知覚的拡張をユーザに提示することができる。
【０００３】
しかしながら、今日のVR技術の一部には依然として課題がある。たとえば、多くのVRヘッドセットは、実世界のユーザの視野(すなわち、物理環境)を遮断する。すなわち、より没入型の外観をユーザに提示するために、VRヘッドセットは、VRヘッドセットのディスプレイ以外のすべてのユーザの視野を完全にまたは大部分遮断する場合がある。したがって、VRヘッドセットを装着して、VRシミュレーションに関与する間、ユーザはその実世界環境を視覚的に感知し、相互作用することを妨げられることが多い。VRヘッドセットを着用している間の実世界の視覚的感知のこの欠如は、いくつかの困難および/または問題をユーザにもたらし得る。たとえば、ユーザは、自らの手をコンピュータキーボード上で方向づける試みを妨げられるか、または少なくとも妨害される場合がある。別の例では、ユーザは、飲料や電話など、所望の物体に手を伸ばすことができない場合がある。さらに別の例では、ユーザは、別の人物が室内に入ってくること、またはその近傍に入ってくることに気づかない場合がある。さらにまた、ユーザは、自らが踏み出そうとしている壁に手遅れになるまで気づかない場合すらある。
【０００４】
いくつかの従来のVRシステムは、ユーザの手を追跡し、次いで、その手の表現(たとえば、アバター)をVRシミュレーション内に提供する追跡システムを提供する。しかしながら、そのようなシステムは、一般に、VRシミュレーション内に存在する仮想対象のみと相互作用する機構をユーザに提供することに限定され、上記で論じた問題にはほとんど役立たない。
【発明の概要】
【課題を解決するための手段】
【０００５】
一態様では、物理環境においてヘッドマウントディスプレイとともに使用するための方法は、物理環境の深度情報を取得するステップと、物理環境の視覚画像をキャプチャするステップとを含む。この方法はまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するステップを含む。視覚画像は、次いで、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいてセグメント化される。セグメント化画像は、次いで、ヘッドマウントディスプレイを用いて、仮想画像と1つまたは複数の物理対象の両方を表示するために仮想画像上でオーバレイされる。
【０００６】
別の態様では、ヘッドマウントディスプレイは、物理環境の深度情報をキャプチャするための手段と、物理環境の視覚画像をキャプチャするための視覚カメラとを含む。ヘッドマウントディスプレイはまた、深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するための手段を含む。ヘッドマウントディスプレイ内にさらに含まれるのは、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化するための手段、およびヘッドマウントディスプレイを用いて仮想画像を表示するための手段である。ヘッドマウントディスプレイは、仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイするための手段をさらに含む。
【０００７】
別の態様は、ヘッドマウントディスプレイに関する。ヘッドマウントディスプレイは、視覚カメラとディスプレイとを含む。ヘッドマウントディスプレイはまた、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合された少なくとも1つのメモリとを含む。少なくとも1つのプロセッサおよび少なくとも1つのメモリは、(i)物理環境の深度情報を取得することであって、物理環境が1つまたは複数の物理対象を含む、取得することと、(ii)視覚カメラを用いて物理環境の視覚画像をキャプチャすることと、(iii)深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定することと、(iv)1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化することと、(v)ディスプレイを用いて仮想画像を表示することと、(vi)仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイすることとを行うようにヘッドマウントディスプレイに指示するように構成される。
【０００８】
さらに別の態様では、非一時的コンピュータ可読媒体は、その上にプログラムコードを記憶する。プログラムコードは、実行されると、ヘッドマウントディスプレイに、(i)物理環境の深度情報を取得することであって、物理環境が1つまたは複数の物理対象を含む、取得することと、(ii)視覚カメラを用いて物理環境の視覚画像をキャプチャすることと、(iii)深度情報に基づいて、ヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定することと、(iv)1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化することと、(v)ヘッドマウントディスプレイを用いて仮想画像を表示することと、(vi)仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイすることとを行わせる命令を含む。
【０００９】
この「発明の概要」は、請求項の範囲または意味を解釈または限定するために使用されることはないという理解の下で提出される。この「発明の概要」は、特許請求される主題の主要な特徴または不可欠な特徴を特定することを意図するものではなく、特許請求される主題の範囲を判定するのを支援するものとして使用されることも意図していない。
【図面の簡単な説明】
【００１０】
【図１】本明細書で論じるプロセスを実行することが可能なヘッドマウントディスプレイを示す機能ブロック図である。
【図２】本明細書で説明する技術の1つまたは複数の実装形態による、物理環境内のヘッドマウントディスプレイのユーザを示す図である。
【図３】本明細書で説明する技術の1つまたは複数の実装形態による、深度情報に基づいてユーザの手の視覚画像を仮想画像に統合するプロセスを示す図である。
【図４】本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の視覚画像を仮想現実に統合するために空間関係を利用するプロセスを示すフローチャートである。
【図５】本明細書で説明する技術の1つまたは複数の実装形態による、ユーザと物理対象との間の空間関係に基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す図である。
【図６】本明細書で説明する技術の1つまたは複数の実装形態による、距離に基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。
【図７】本明細書で説明する技術の1つまたは複数の実装形態による、第1のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。
【図８】本明細書で説明する技術の1つまたは複数の実装形態による、第2のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す図である。
【図９】本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の過去のモデルに基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す図である。
【図１０】本明細書で教示する、物理環境の視覚画像を統合するよう構成されたユーザデバイスにおいて採用され得る構成要素のいくつかの見本態様を示す簡略ブロック図である。
【発明を実施するための形態】
【００１１】
発明を実施するための形態は、添付の図面を参照する。図では、参照番号の(1つまたは複数の)最も左の桁は、その参照番号が最初に表示された図を識別する。同様の特徴および構成要素には図面を通して同じ参照符号が使用される。
【００１２】
図1は、本明細書で論じるプロセスを実行することが可能なヘッドマウントディスプレイ(HMD)100を示す機能ブロック図である。一例では、HMD100は、以下で説明する、プロセス400など、物理環境の視覚画像を仮想現実画像に統合することが可能なユーザデバイスである。概して、制御ユニット106は、視覚カメラ102から物理環境の視覚画像103を受信するように結合される。制御ユニット106は、次いで、視覚画像103をVRエンジン122によって生成される仮想画像に統合するように構成される。仮想画像は、次いで、ディスプレイ126によってユーザに表示される。一実装形態では、ディスプレイ126、視覚カメラ102、深度カメラ104、制御ユニット106、センサ107、および/またはユーザインターフェース108は、HMD100のユーザによって装着可能な単一ユニットに統合される。別の実装形態では、制御ユニット106はHMD100とは別個である。すなわち、制御ユニット106は、ワイヤード接続またはワイヤレス接続によってHMD100に結合された、コンピュータ、電話、タブレットコンピュータ、「ファブレット(電話+タブレット)」コンピュータ、スマートフォン、ラップトップコンピュータおよびデスクトップコンピュータなどによって実装され得る。したがって、制御ユニット106は、HMD100と通信するためのアプリケーションプログラミングインターフェース(API)または他のインターフェースを含み得る。制御ユニット106がHMD100に統合されているか、または別個に実装されるかにかかわらず、いくつかの態様では、視覚カメラ102、オプションの深度カメラ104、およびセンサ107は、以下でより詳細に論じるように、HMD100内でディスプレイ126に統合される。
【００１３】
一実装形態では、視覚カメラ102は、RGBカメラなどのカラーカメラである。視覚カメラ102は、実世界シーン(すなわち、物理環境)の視覚画像103をキャプチャして、視覚画像103を制御ユニット106に提供するように構成される。視覚カメラ102は、単一の単眼カメラ、ステレオカメラ、および/または全方向カメラを含み得る。一態様では、視覚カメラ102は、カメラパラメータ(たとえば、焦点距離、光心の置換、径方向のひずみ、および接線ひずみなど)が知られるように、較正される。さらに、上記で論じたように、視覚カメラ102はHMD100に統合される。ユーザ(すなわち、装着者)によるHMD100の方向の変更が視覚カメラ102の方向に同じまたはそれと同様の変化をもたらすように、視覚カメラ102はHMD100に統合され得る。
【００１４】
HMD100はまた、オプションの深度カメラ104を含む。深度カメラ104は、深度情報105を制御ユニット106に提供するように構成される。いくつかの態様では、深度カメラ104は、飛行時間(ToF)カメラなどの測距カメラである。他の態様では、深度カメラ104は、構造化軽量カメラまたはステレオカメラである。深度情報105は、物理環境の3次元(3D)点群を含み得る。したがって、ユーザ(すなわち、装着者)によるHMD100の方向の変更が深度カメラ104の方向に同じまたは同様の変化をもたらすように、深度カメラ104はHMD100に統合され得る。しかしながら、上述のように、深度カメラ104はオプションであってよい。すなわち、いくつかの実装形態では、深度情報105は、1つまたは複数のモデルベースの追跡アルゴリズムの使用により、視覚画像103自体から導出され得る。たとえば、1つまたは複数の視覚画像103に基づいて深度情報105を生成するために、制御ユニット106は同時ローカライゼーションおよびマッピング(SLAM:Simultaneous Localization And Mapping)アルゴリズムを利用することができる。SLAMアルゴリズムは、物理環境の3Dマップを構築するために、視覚カメラ102によってキャプチャされた着信画像シーケンスから3D点を再構築することができる。本明細書の教示に従って、視覚画像103から深度情報105を生成するための他の知られているアルゴリズムを実装することができる。
【００１５】
図1には、センサ107も示されている。一態様では、センサ107は、視覚画像103および/または深度情報105から導出され得る動きデータとは無関係である運動および/または方向情報を提供するための動きセンサを含む。例として、センサ107は、加速度計(たとえば、MEMSデバイス)、ジャイロスコープ、地磁気センサ(たとえば、コンパス)、高度計(たとえば、気圧高度計)、および/または任意の他のタイプの運動検出センサを含み得る。さらに、センサ107は、複数の異なるタイプのデバイスを含み、動き情報を提供するためにその出力を結合することができる。たとえば、センサ107は、多軸加速度計および方向センサの組合せを使って、2Dおよび/または3D座標系での位置を計算することが可能になる。視覚カメラ102と同様に、センサ107が測定した方向の変化がユーザ(すなわち、装着者)によるHMD100の方向の変更を表すように、センサ107はHMD100に統合され得る。
【００１６】
HMD100はまた、HMD100によって生成されたVRシーンを表示することが可能なディスプレイ126を含むユーザインターフェース108を含む。上述のように、VRシーンは、視覚カメラ102によってキャプチャされた物理環境の実世界(すなわち、物理)対象を含み得る。ユーザインターフェース108は、オプションのキーパッド128、またはユーザが情報をHMD100に入力することができる他の入力デバイスを含んでもよい。ユーザインターフェース108はまた、マイクロフォン130とスピーカ132とを含んでもよい。
【００１７】
制御ユニット106は、視覚カメラ102、深度カメラ104、センサ107、およびユーザインターフェース108に接続され、これらと通信する。制御ユニット106は、視覚カメラ102から受信された視覚画像103を受け入れて処理する。制御ユニット106はまた、HMD100のポーズを追跡するためにセンサ107から受信されたデータを受け入れて処理する。制御ユニット106は、処理ユニット110および関連するメモリ116、ハードウェア112、ファームウェア114、ソフトウェア118、ならびにグラフィックスエンジン124によって構成されてもよい。
【００１８】
制御ユニット106は、仮想現実(VR)エンジン122をさらに含み得る。VRエンジン122は、図4のプロセス400を参照して以下で説明するように、物理環境の視覚画像を仮想現実画像に統合することに関する1つまたは複数の手順を実行するように構成され得る。視覚カメラ102によってキャプチャされた視覚画像103ならびに深度カメラ104によって生成された深度情報105およびセンサ107によって生成されたデータは、VRエンジン122に提供され得る。VRエンジン122は、次いで、VRシーンの視覚要素をHMD100上の画像内にレンダリングするか、またはさもなければ、生成することができる。
【００１９】
処理ユニット110およびVRエンジン122は、明確にするために別々に示されているが、単一のユニットであってもよく、かつ/または、処理ユニット110内で実行されているソフトウェア118内の命令に基づいて処理ユニット110内で実装されてもよい。処理ユニット110、およびVRエンジン122は、必ずしも必要ないが、1つまたは複数のマイクロプロセッサ、組込みプロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)などを含むことができる。プロセッサおよび処理ユニットという用語は、特定のハードウェアではなくシステムによって実装される機能を表す。さらに、本明細書で使用する「メモリ」という用語は、長期メモリ、短期メモリ、またはHMD100に関連付けられる他のメモリを含む、任意のタイプのコンピュータ記憶媒体を指し、任意の特定のタイプまたは数のメモリ、またはメモリが記憶されるタイプの媒体に限定されない。
【００２０】
本明細書で説明するプロセスは、アプリケーションに応じて様々な手段によって実装されてもよい。たとえば、これらのプロセスは、ハードウェア112、ファームウェア114、ハードウェア112とソフトウェア118の組合せ、またはそれらの任意の組合せ内に実装されてもよい。ハードウェア実装形態の場合、処理ユニットは、1つまたは複数の特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、またはそれらの組合せ内に実装されてもよい。
【００２１】
ファームウェアならびに/またはハードウェアおよびソフトウェアの組合せ実装形態の場合、プロセスは、本明細書で説明する機能を実行するモジュール(たとえば、手順、関数など)によって実装されてもよい。命令を具体的に実施する任意のコンピュータ可読媒体は、本明細書で説明するプロセスを実装する際に使用され得る。たとえば、プログラムコードはメモリ116内に記憶されて、処理ユニット110によって実行され得る。メモリは、処理ユニット110内に、または処理ユニット110の外部に実装されてもよい。
【００２２】
各機能は、ファームウェアおよび/またはハードウェア/ソフトウェアの組合せにおいて実装される場合、コンピュータ可読媒体上の1つまたは複数の命令またはコードとして記憶されてもよい。これらの例には、データ構造により符号化された非一時的コンピュータ可読媒体、およびコンピュータプログラムにより符号化されたコンピュータ可読媒体が含まれる。コンピュータ可読媒体には、物理的コンピュータ記憶媒体が含まれる。記憶媒体は、コンピュータによってアクセスすることのできる任意の入手可能な媒体であってもよい。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するのに使用することができ、かつコンピュータによってアクセスすることのできる任意の他の媒体を含む可能性があり、本明細書で使用するディスク(disk)およびディスク(disc)には、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザによって光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００２３】
図2は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境200内のヘッドマウントディスプレイ(HMD)204のユーザ202を示す。一例では、HMD204は、図1のHMD100として実装され得る。HMD204の図示の例は、ディスプレイ126と、視覚カメラ102と、深度カメラ104とを含むとして示されている。しかしながら、上述のように、深度カメラ104はオプションであってよく、HMD204は、ユーザ202が物理環境200内を移動すると、HMD204の方向測定を提供するための動きセンサ(たとえば、センサ107)をさらに含み得る。
【００２４】
図2に示すように、ユーザ202は、1つまたは複数の物理対象を含む物理環境200内に位置する。これらの物理対象は、テーブル/デスク212と、キーボード214と、モニタ216とを含み得る。しかしながら、壁、扉、飲料、電話、別の人物など、任意の物理対象が物理環境200内に含まれてよい。上述のように、HMD204のディスプレイ126は、物理環境200のユーザ202の視野の少なくとも一部分を遮断する場合がある。すなわち、HMD204を装着していないとき、ユーザ202は物理環境200の妨害されていない視野218を有し得る。しかしながら、HMD204を装着しているとき、視野218の一部またはすべてがHMD204自体によってさえぎられる。したがって、本明細書の教示によれば、HMD204は、ユーザ202が、HMD204を取り外す必要かつ/またはVRシミュレーションを中断する必要なしに、物理環境を感知すること、および/または物理環境と相互作用することを可能にするために、物理対象(たとえば、212、214、216)のうちの1つまたは複数の視覚画像をユーザ202に表示されている仮想画像に統合するように構成される。
【００２５】
一態様では、HMD204はディスプレイ126に統合された視覚カメラ102を含み、それにより、視覚カメラ102によってキャプチャされた物理環境200の視野はユーザ202の妨害されている視野218である。すなわち、ユーザ202がHMD204を装着していなかった場合、視覚カメラ102の視野はユーザ202の視野と同じかまたは同様であり得る。
【００２６】
HMD204はまた、深度情報(たとえば、点群)をキャプチャするためにヘッドマウントディスプレイ126に統合された深度カメラ104を含み得る。深度カメラ104の視野は、視覚カメラ102の視野(たとえば、視野218)と同じかまたは同様であり得る。
【００２７】
動作中、HMD204は、深度カメラ104によってキャプチャされた深度情報に基づいて、視覚カメラ102によってキャプチャされた物理環境200の視覚画像をセグメント化するように構成される。しかしながら、上述のように、深度カメラ104はオプションであってよい。したがって、いくつかの実装形態では、深度情報105は、1つまたは複数のモデルベースの追跡アルゴリズム(たとえば、SLAMアルゴリズム)の使用により、視覚画像103自体から導出され得る。以下でより詳細に説明するように、視覚画像のセグメント化は、物理環境200内に存在する物理対象のうちの1つまたは複数を含むセグメント化画像を生成することができる。たとえば、セグメント化画像は、ユーザの手210を単独で、デスク212を単独で、キーボード214を単独で、モニタ216を単独で、またはそれらの何らかの組合せを含み得る。HMD204は、次いで、ディスプレイ126を介して、セグメント化画像をユーザ202に表示されている仮想画像上にオーバレイし、これにより、物理環境200の視覚画像をVRに統合する。
【００２８】
それに応じて、ユーザ202は、次いで、HMD204を取り外す必要なしに、かつ/またはVRシミュレーション(たとえば、ゲームプレイ)を中断する必要なしに、物理環境200を感知すること、および/または物理環境200と相互作用することが可能であり得る。たとえば、物理環境200の視覚画像をVRに統合することは、ユーザ202が、自らの手210をキーボード214上で正確に方向づけること、デスク/テーブル212上に置かれている対象(すなわち、飲料)に手を伸ばすこと、別の人物が物理環境に入ってくることまたはユーザ202の注意を引こうとしていることを感知すること、および/またはユーザがまさに接触しようとしている物理的障害(たとえば、ユーザがまさに足を踏み入れようとしている壁)を感知することを可能にし得る。いくつかの態様によれば、HMD204は物理対象が何であるかを分類または理解する必要がなく、それにより、任意の物理対象のVRシミュレーション内への提示をサポートする。
【００２９】
図3は、本明細書で説明する技術の1つまたは複数の実装形態による、深度情報に基づいてユーザの手の視覚画像を仮想画像に統合するプロセスを示す。物理環境200の深度画像302は、HMD204の深度カメラ104によってキャプチャされ得る。一態様では、深度カメラ104および/またはVRエンジン122は、深度画像302に基づいて、物理環境200の3D点群などの深度情報105を生成するように構成され得る。しかしながら、他の例では、深度情報105は、視覚カメラ102によって生成された視覚画像103に適用される1つまたは複数のアルゴリズムによって導出され得る。たとえば、図3は、視覚カメラ102によってキャプチャされた物理環境200の視覚画像304を示す。示すように、視覚画像304は、ユーザ202の手210、デスク/テーブル212、キーボード214、およびモニタ216の画像データを含む。VRエンジン122は、深度画像302(すなわち、深度情報)に基づいて視覚画像304をセグメント化し、次いで、深度画像302内に含まれた深度情報に基づいて、視覚画像304の部分を前景対象として分類するように構成され得る。VRエンジン122は、視覚画像の部分(たとえば、物理対象に対応する部分)を前景対象として分類するように構成されるが、VRエンジン122は、何が物理対象であるかを分類または理解せずに、この前景分類を完了することができる。したがって、視覚画像304は、VRエンジン122が何の事前知識も有さない任意の物理対象を含み得る。図3の例では、手210は、VRエンジン122によって深度画像302の前景対象として分類され、そこからアルファマスク306が生成される。VRエンジン122は、次いで、セグメント化画像308を生成するために、アルファマスク306を視覚画像304に適用する。示すように、セグメント化画像308は手210のみの画像データを含む。したがって、手は視覚画像304内に含まれた他の物理対象からセグメント化されている。
【００３０】
VRエンジン122はまた、ディスプレイ126によってユーザ202に表示される仮想画像310を生成する。仮想画像310は、ユーザ202が現在関与しているVRシミュレーション(たとえば、ゲーム)の部分であり得る。VRエンジン122は、次いで、セグメント化画像308を仮想画像310上にオーバレイして、ディスプレイ126を介して結合画像312をユーザ202に提示する。したがって、結合画像312は、仮想画像310と視覚カメラ102によってキャプチャされた物理対象(たとえば、手210)の両方を含む。一態様では、VRエンジン122は、結合画像312内の仮想画像310により整合する手210の外観を生み出すために、仮想シーン照明(virtual scene lighting)に従ってセグメント化画像308を調整することができ、それにより、ユーザ202が感じる没入感覚を高める。例として、仮想シーン照明に従ってセグメント化画像308を調整することは、アルファマスク306を視覚画像304に適用するときにVRエンジン122によって実装され得る。この例では、VRエンジン122は、3D点群に基づいて、検出された前景対象(たとえば、手210)の3Dメッシュを生成することができる。手210に対応する視覚画像304の一部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像308を生成する。
【００３１】
VRシミュレーションに応じて、物理対象(たとえば、手210)が仮想画像310内の近接した仮想対象によって遮断され得るように、深度画像302によって提供される深度情報を利用することができる。たとえば、VRエンジン122は、レンダリングされたVRシーンのzバッファを深度画像302によって提供された深度情報と比較して、1つまたは複数の仮想対象が結合画像312内の手210の前に提示される(すなわち、手210を遮断する)べきかどうかを判定することができる。
【００３２】
上記で論じたように、自らの手を見ることが単に可能であることに加えて、ユーザ202は、HMD204を取り外す必要なく、かつ/またはVRシミュレーションを中断することなく、物理環境200内の1つまたは複数の他の物理対象を感知することおよび/またはそれと相互作用することが可能であることを望む場合がある。したがって、図4は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の視覚画像を仮想現実に統合するために空間関係を利用するプロセス400を示すフローチャートである。プロセス400は、図1のHMD100および/または図2のHMD204によって実行される1つの可能なプロセスである。
【００３３】
プロセスブロック402で、物理環境200の深度情報105がキャプチャされる。上述のように、深度情報105は、深度カメラ104によってキャプチャされ得、かつ/または1つまたは複数のモデルベースのアルゴリズムを視覚カメラ102によってキャプチャされた1つまたは複数の視覚画像に適用することによってキャプチャされ得る。深度情報105は、物理環境200の3D点群を含み得る。
【００３４】
プロセスブロック404で、視覚カメラ102は、物理環境200の視覚画像103をキャプチャする。視覚画像103はカラー(たとえば、RGB)画像であってよく、または視覚画像103はグレースケール画像であってもよい。次に、プロセスブロック406で、VRエンジン122は、深度情報105に基づいて、HMDのユーザ(たとえば、HMD204のユーザ202)と物理環境200内に含まれた1つまたは複数の物理対象(たとえば、デスク/テーブル212、キーボード214、およびモニタ216)との間の空間関係を判定する。以下でより詳細に論じるように、空間関係の判定は、ユーザ202が物理対象にタッチしているかどうか、ユーザ202と物理対象との間の距離、ユーザ202のハンドジェスチャ、および/または物理環境200の1つまたは複数の過去のモデルに部分的に基づき得る。
【００３５】
プロセスブロック408で、VRエンジン122は、1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像103をセグメント化する。一例では、視覚画像103をセグメント化することは、3D点群に基づいて1つまたは複数の物理対象の3Dメッシュを生成することを含む。1つまたは複数の物理対象に対応する視覚画像103の一部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像を生成する。次に、プロセスブロック410で、VRエンジン122は、ディスプレイ126上に表示するためにVRシミュレーションの一部分として仮想画像を提示/生成する。プロセスブロック412で、VRエンジン122は、仮想画像と視覚カメラ102によってキャプチャされた1つまたは複数の物理対象の両方を表示するために、セグメント化画像を仮想画像上にオーバレイする。
【００３６】
図5は、本明細書で説明する技術の1つまたは複数の実装形態による、ユーザと物理対象との間の空間関係に基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す。
【００３７】
物理環境200の深度画像502は、HMD204の深度カメラ104によってキャプチャされる。図5はまた、視覚カメラ102によってキャプチャされた物理環境200の視覚画像504を示す。示すように、視覚画像504は、ユーザ202の手210、デスク/テーブル212、キーボード214、およびモニタ216の画像データを含む。VRエンジン122は、たとえば、センサ107によって判定されたHMD204の位置および方向に従って、深度画像502を変換するように構成され得る。別の例では、VRエンジン122は、深度画像502を過去の深度画像と比較して、(センサ107の援助を用いてまたは用いずに)変換を判定する登録プロセスによって深度画像502を変換することができる。静的対象を背景として識別するために、変換された深度画像502は、次いで、過去の深度画像506と結合される。たとえば、深度画像502を過去の深度画像506と比較することは、デスク/テーブル212、キーボード214、およびモニタ216がすべて静的対象であり、それにより背景として分類されるが、手210は前景として分類されることを明らかにする。
【００３８】
VRエンジン122は、次いで、前景アルファマスク508を生成するために、深度画像502を過去の深度画像506と比較することによって、視覚画像504をセグメント化することができる。次に、VRエンジン122は、識別された前景対象にタッチしているかまたはそれに近い背景対象を識別する。たとえば、VRエンジン122は、手210(前景対象)に近いかまたはそれにタッチしているとしてキーボード214(すなわち、背景対象)を識別することができ、それにより、VRエンジンは、キーボード214のみを含む背景アルファマスク510をやはり生成するために、視覚画像504をセグメント化することができる。一例では、背景アルファマスク510を生成するために視覚画像504をセグメント化することは、表面構造および/または視覚的外観(たとえば、色および/またはテクスチャ)など、背景対象の特性に基づいて選択された背景対象を拡張して、背景対象全体をセグメント化することを含む。これにより、手210が単にキーボード214の一部分にタッチしているかまたはそれに近いにもかかわらず、キーボード214全体に対応する背景アルファマスク510を生成することができる。いくつかの実装形態では、比較的大きな背景対象(たとえば、壁)の全体をセグメント化することができる。しかしながら、他の実装形態では、大きな背景対象の一部分のみがセグメント化される場合、比較的大きな背景対象(たとえば、壁)は部分的にのみセグメント化され得る。たとえば、VRエンジン122は、ユーザに最も近い対象上の点のしきい値距離内にある大きな背景対象(たとえば、壁)の一部分のみをセグメント化するように構成され得る。例として、VRエンジン122は、ユーザ202がキーボード214にタッチしていることを認識し、それにより、キーボード214全体が結合画像516内に出現するように、キーボード214全体をセグメント化することができる。しかしながら、ユーザ202がデスク/テーブル212にタッチしていることをVRエンジン122が認識するとき、仮想画像の遮断を低減するために、ユーザ202の手が届く範囲内にあるデスク/テーブル212の部分のみが結合画像516内に出現し得る。
【００３９】
VRエンジン122は、次いで、前景アルファマスク508を背景アルファマスク510と結合させて結合アルファマスク512を生成し、結合アルファマスク512は、次いで、セグメント化画像514を生成するために、視覚画像504に適用される。図5に示すように、セグメント化画像514は、1つまたは複数の物理対象(すなわち、キーボード214)ならびに視覚カメラ102によってキャプチャされた手210を含む。
【００４０】
VRエンジン122は、次いで、セグメント化画像514を仮想画像上にオーバレイして、ディスプレイ126を介して結合画像516をユーザ202に表示する。したがって、結合画像516は、仮想画像、ならびに視覚カメラ102によってキャプチャされた物理対象(たとえば、手210)を含む。一態様では、VRエンジン122は、結合画像516内の仮想画像により整合する手210の外観を生み出すために、仮想シーン照明に従ってセグメント化画像514を調整することができる。一例では、VRエンジン122は、3D点群に基づいて、検出された前景対象(たとえば、手210)および検出された背景対象(たとえば、キーボード214)の3Dメッシュを生成することによってセグメント化画像514を調整することができる。手210およびキーボード214に対応する視覚画像504の部分は、次いで、3Dメッシュ上にマッピングされて、(調整された)セグメント化画像514を生成する。
【００４１】
いくつかの実装形態では、VRエンジン122は、仮想画像がセグメント化画像514によって完全に遮断されないように、セグメント化画像514を仮想画像上にオーバレイするとき、ユーザの手210および/またはキーボード214の透明度を調節することができる。すなわち、物理対象がユーザのニーズに対して十分に可視である(たとえば、ユーザがキーボード上で手を正確に方向づけることを可能にする)が、VRシミュレーションを著しく妨害しない(たとえば、ゲームプレイを著しく遮断しない)ように、セグメント化画像514の透明度を調整することができる。一態様では、VRエンジン122は、1つまたは複数の物理対象が完全に透明になるまでのある時間期間にわたって、セグメント化画像514内に含まれた1つまたは複数の物理対象の透明度を増大させることができる。例として、キーボード214が結合画像516の視野からフェードアウトする前に、ユーザ202がキーボード214上で自らの手を方向づけることを可能にするために、ある時間期間にわたってキーボード214の透明度を増大させることができる。いくつかの実装形態では、背景対象の透明度は、前景対象の透明度とは無関係に制御され得る。たとえば、VRエンジン122は、前景対象(すなわち、手210)が完全に不透明である間に背景対象(すなわち、キーボード214)が部分的に透明であるように、前景アルファマスク508を背景アルファマスク510と結合するときに背景対象の透明度を調整することができる。上記で論じたように、比較的大きな背景対象の場合、VRエンジン122は、ユーザに最も近い対象上の点のしきい値距離内にある物理対象の点のみをセグメント化することができる。したがって、背景アルファマスク510を生成するとき、VRエンジン122は、ユーザから遠い物理対象の部分がユーザにより近い物理対象の部分よりもより透明になるように、物理対象上のその点からの距離に比例するように背景対象の透明度を調整することができる。
【００４２】
上述のように、ユーザと物理環境内の1つまたは複数の物理対象との間の空間関係の判定は、ユーザが物理対象をタッチしているかどうかおよび/または物理対象に近いかどうかに基づき得る。したがって、HMD100のVRエンジン122は、ユーザと物理環境200内の1つまたは複数の物理対象との間の距離を判定するように構成可能であり、この場合、距離がしきい値未満である場合のみ、1つまたは複数の物理対象はセグメント化画像(たとえば、516)内に含まれる。しきい値の値は、ユーザが1つまたは複数の物理対象をタッチしている場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。しきい値の値はまた、ユーザが1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。したがって、図6は、本明細書で説明する技術の1つまたは複数の実装形態による、距離に基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す。
【００４３】
図6は、ユーザ202の手210および物理環境200内に位置する1つまたは複数の物理対象(キーボード214およびモニタ216)を示す。したがって、HMD100は、手210と物理対象214、216との間の距離602、604をそれぞれ判定することによって、ユーザと1つまたは複数の物理対象との間の距離を判定するように構成され得る。すなわち、図示の例は、ユーザの手と物理対象との間の距離に基づいて、ユーザと物理対象との間の空間関係を判定することを含む。しかしながら、他の例は、ユーザの他の側面と物理対象との間の距離を判定することを含み得る。たとえば、距離は、ユーザの身体(たとえば、上半身)から物理対象までの距離、ユーザの足から物理対象までの距離、および/またはユーザの頭から物理対象までの距離に基づき得る。さらに、ユーザと物理対象との間の距離の判定は、ユーザ自身の物理的属性の利用を含む必要はなく、代わりに、ユーザ制御されたインジケータの利用を含む。たとえば、ユーザは、スタイラス、ポインタ、タグ、または他のマーカーを(たとえば、自らの手の中に握ることによって)制御することができ、この場合、判定される距離は、ユーザ制御されたインジケータと物理対象との間の距離である。いくつかの実装形態では、ユーザと物理対象との間の距離は、HMD100内に含まれた1つまたは複数のセンサおよび/またはカメラからのデータに基づいて判定され得る。たとえば、HMD100は、視覚画像103、深度情報105、および/またはセンサ107によって提供されたデータのうちの1つまたは複数に基づいて、ユーザと1つまたは複数の物理対象との間の距離を判定することができる。
【００４４】
さらに、いくつかの例では、図6に示す距離602および604は、それぞれ、対象214および216の表面、エッジ、または境界上の点までの距離であってよい。しかしながら、他の例では、距離602および604は、それぞれの対象全体を表す位置(たとえば、中央、角などの基準位置)までの距離であってよい。例として、プロセス400を再度参照すると、プロセスブロック406で、視覚画像はまだセグメント化されておらず、したがって、物理対象の全体を表す位置はまだ知られていない可能性がある。プロセスブロック406は、次いで、ユーザからある距離内のまたは空間エリア内の点群のシード点を選択することができる。プロセスブロック408は、次いで、選択されたシード点に基づいて、物理対象のうちの1つまたは複数をセグメント化するステップを含み、この場合、それらのシード点は、(たとえば、色、テクスチャ、および/または形状均一性に基づいて)その境界が検出されるまで物理対象を展開するために使用される。物理対象の境界が判定されると、VRエンジン122は、次いで、その対象がユーザのしきい値距離内または定義された空間エリア(以下で論じる)内にあるかどうかを決定するために、物理対象全体を表す位置を判定することができる。
【００４５】
図6に示すように、手はキーボード214から第1の距離602にあり、モニタ216からより大きな第2の距離604にある。第1の距離602および第2の距離604は各々、それぞれの物理対象をセグメント化画像内に含めるかどうかを判定するためにしきい値と比較され得る。たとえば、しきい値の値はまた、手210が1つまたは複数の物理対象に少なくとも近い場合、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。したがって、距離602は、キーボード214がセグメント化画像内に含まれるようにしきい値未満であるが、距離604はしきい値以上であり、したがって、モニタ216はセグメント化画像内に含まれない。
【００４６】
別の例では、しきい値の値は、ユーザが1つまたは複数の物理対象をタッチしている場合のみ、セグメント化画像が1つまたは複数の物理対象を含むように選択され得る。すなわち、しきい値の値は、ゼロであって(または、ゼロに近くて)よい。したがって、距離602および604は、手210がキーボード214にもモニタ216にもタッチしていないことを示し、したがって、いずれの物理対象もセグメント化画像内に含まれなくてよい。
【００４７】
いくつかの態様では、ユーザと物理対象との間の距離は、HMD100のディスプレイ126上に表示される物理対象の透明度を調整するために使用され得る。すなわち、VRエンジン122は、ユーザと1つまたは複数の物理対象との間の距離に基づいて、セグメント化画像内に含まれた1つまたは複数の物理対象の透明度を調整するように構成され得る。一実装形態では、物理対象の透明度は、ユーザと物理対象との間の初期距離に基づいて設定されてよく、その場合、距離が縮小されると透明度は低減され得る(物理対象をより可視にする)。たとえば、図6を参照すると、キーボード214の透明度は、キーボード214が少なくとも部分的に透明である(たとえば、図5の結合画像516内で部分的に透明である)ように、当初、距離602に基づいて設定され得る。次いで、手210がキーボード214に向かって移動すると、それにより、距離602が縮小され、透明度を低減することができ、手210がキーボード214に近づけば近づくほどキーボード214はより可視になる。一実装形態では、キーボード214の透明度は、距離602の縮小に比例して低減され得る。
【００４８】
いくつかの実装形態では、1つまたは複数の物理対象は、ユーザのハンドジェスチャまたはハンドポーズに基づいて、HMD100のディスプレイ126によって表示されるVRシーンに統合され得る。すなわち、ユーザと1つまたは複数の物理対象との間の空間関係は、部分的に、ユーザの手のハンドジェスチャを認識して、セグメント化画像内に含めるための1つまたは複数の物理対象を識別することによって判定され得る。いくつかの例では、ヘッドマウントディスプレイ(たとえば、HMD100)は、ハンドジェスチャの認識に応じて、3D点群内に、かつユーザの手に近接して空間エリアを生成する。セグメント化画像は、次いで、空間エリア内に少なくとも部分的に位置する物理対象のみを含み得る。
【００４９】
たとえば、図7は、本明細書で説明する技術の1つまたは複数の実装形態による、第1のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する実装形態を示す。図7の手210は手を開いたジェスチャであり、この場合、手210は指を広げた状態で開いている。手を開いたジェスチャの認識に応じて、HMD100は、座標系702によって定義された3D点群内にクローズド3D形状(closed 3D shape)である空間エリアを生成することができる。本明細書で使用するクローズド3D形状は、すべての側面上に境界を有する任意の3D形状である。図7に示す例では、クローズド3D形状は球体710であるが、立方体、立方形、角錐、円錐、プリズム、円筒など他のクローズド3D形状も同様に実装され得る。さらに、球体710は手210を中心として一致し、方向づけられる。いくつかの態様では、球体710の中心は手210の中心である。しかしながら、他の例では、球体710は、手210からオフセットされ得る(たとえば、球体710は、球体710の表面が手210に接するように配置され得る)。球体710また、直径712を含む。いくつかの実装形態では、直径712は、手210の指同士の間の広がり714に比例する。したがって、ユーザ202が指同士の間の広がり714を変更すると、直径712はそれに応じて動的に変化し得る。すなわち、広がり714が増大すると直径712は比例して増大し、その逆も同様である。
【００５０】
図7は、3D点群内に表されたいくつかの物理対象704、706、および708をさらに示す。物理対象704は、完全に球体710内に位置し、したがって、VRエンジン122によって生成されたセグメント化画像内に含まれる。物理対象706は、球体710内に少なくとも部分的に位置し、したがって、セグメント化画像内にも含まれる。しかしながら、物理対象708はいずれの部分も、球体710内に位置せず、したがって、セグメント化画像から除去され得る。
【００５１】
図8は、本明細書で説明する技術の1つまたは複数の実装形態による、第2のハンドジェスチャに基づいてユーザと物理対象との間の空間関係を判定する例示的な実装形態を示す。図8の例では、手210は、指をさしているジェスチャであり、この場合、手210は伸ばした少なくとも1本の指804を含む。指を伸ばしたジェスチャの認識に応じて、HMD100は、座標系702によって定義された3D点群内にオープン空間エリアである空間エリアを生成することができる。本明細書で使用するオープン空間エリアは、すべての側面上に境界を有さない2D形状または3D形状を指す場合がある。すなわち、オープン空間エリアの少なくとも1つの側面はオープン空間エリアが点群内に動的に拡張され得るように、境界がない状態であり得る。図8に示す例では、オープン空間エリアは円錐形状806によって定義されるが、立方体、立方形、角錐、円錐、プリズム、円筒など他のオープン形状も同様に実装され得る。さらに、円錐形状806は指804から3D点群内に拡張する。したがって、円錐形状806は、指804の先に一致する頂点808を含み得る。しかしながら、他の例では、頂点808は指804の先からオフセットされ得る。
【００５２】
円錐形状806はまた、座標系702に従って指804の方向810に基づいて指804から離れて拡張するとして示されている。いくつかの実装形態では、円錐形状806の方向812は、指804の方向810と同じまたは同様である。したがって、ユーザ202が指804の方向810を変更すると、円錐形状806の方向812はそれに応じて動的に変化し得る。すなわち、ユーザが物理環境200内のあるエリアを指すと、円錐形状806の方向812は、そのエリア内に位置する1つまたは複数の物理対象を包含するように変化し得る。図8に示すように、物理対象814は、円錐形状806内に少なくとも部分的に位置し、したがって、セグメント化画像内に含まれる。
【００５３】
いくつかの実装形態では、HMD100および/またはHMD204のユーザは、別の人物または対象が物理環境内に入るとき、またはユーザの近傍に近づくときに感知することを望む場合がある。したがって、いくつかの態様は、1つまたは複数の物理対象が物理環境にとって新しい物理対象であるかどうかを判定することによって、ユーザと1つまたは複数の物理対象との間の空間関係を判定することを含み得る。たとえば、図9は、本明細書で説明する技術の1つまたは複数の実装形態による、物理環境の過去のモデルに基づいて、物理対象の視覚画像を仮想画像に統合するプロセスを示す。
【００５４】
物理環境200の深度画像902は、HMD204の深度カメラ104によってキャプチャされる。図9はまた、視覚カメラ102によってキャプチャされた物理環境200の視覚画像904を示す。示すように、視覚画像904は、物理環境200に入った人物916および壁918の画像データを含む。VRエンジン122は、たとえば、センサ104によって判定されたHMD204の位置および方向に従って、深度画像902を変換するように構成され得る。静的対象を既存の背景対象として識別するために、変換された深度画像902は、次いで、過去のモデル(すなわち、過去の深度画像906)と結合される。たとえば、深度画像902を過去の深度画像906と比較することは、壁918がすべて静的対象であり、それにより、既存の背景対象として分類されるが、人物916は新しい背景対象として分類されることを明らかにする。
【００５５】
VRエンジン122は、次いで、背景デルタマスク908を生成するために、深度画像902を過去の深度画像906と比較することによって、視覚画像904をセグメント化することができる。VRエンジン122は、次いで、セグメント化画像910を生成するために、背景デルタマスク908を視覚画像904に適用する。図9に示すように、セグメント化画像910は、視覚カメラ102によってキャプチャされた1つまたは複数の新しい物理対象(すなわち、人物916)を含む。
【００５６】
VRエンジン122は、次いで、セグメント化画像910を仮想画像912上にオーバレイして、ディスプレイ126を介して結合画像914をユーザ202に表示する。したがって、結合画像914は、仮想画像912、ならびに視覚カメラ102によってキャプチャされた人物916を含む。一態様では、VRエンジン122は、結合画像914内の仮想画像912により整合する人物916の外観を生み出すために、仮想シーン照明に従ってセグメント化画像910を調整することができる。例として、VRエンジン122は、背景デルタマスク908を視覚画像904に適用するとき、仮想シーン照明に従って、セグメント化画像910を調整するように構成され得る。すなわち、VRエンジン122は、3D点群に基づいて、検出された新しい物理対象(たとえば、人物916)の3Dメッシュを生成することができ、この場合、人物916に対応する視覚画像904の部分は、次いで、3Dメッシュ上にマッピングされて、セグメント化画像910を生成する。
【００５７】
図10は、本明細書で教示する、物理環境の視覚画像を統合するよう構成されたユーザデバイス装置1000において採用され得る構成要素のいくつかの見本態様を示す簡略ブロック図である。ユーザデバイス装置1000は、図1のHMD100および/または図2のHMD204の1つの可能な実装形態であり、相互に関連する一連の機能モジュールとして表される。
【００５８】
物理環境の深度情報をキャプチャするためのモジュール1010は、少なくともいくつかの態様では、たとえば、図1の深度カメラ104および/または視覚カメラ102に対応し得る。物理環境の視覚画像をキャプチャするためのモジュール1020は、少なくともいくつかの態様では、たとえば、図1の視覚カメラ102に対応し得る。深度情報に基づいてヘッドマウントディスプレイのユーザと物理環境内に含まれる1つまたは複数の物理対象との間の空間関係を判定するためのモジュール1030は、いくつかの態様では、たとえば、図1のVRエンジン122に対応し得る。1つまたは複数の物理対象を含むセグメント化画像を生成するために、空間関係に基づいて視覚画像をセグメント化するためのモジュール1040は、いくつかの態様では、たとえば、図1のVRエンジン122に対応し得る。ヘッドマウントディスプレイを用いて仮想画像を提示するためのモジュール1050は、いくつかの態様では、たとえば、図1のディスプレイ126と組み合わせたVRエンジン122に対応し得る。仮想画像と視覚カメラによってキャプチャされた1つまたは複数の物理対象の両方を提示するためにセグメント化画像を仮想画像上にオーバレイするためのモジュール1060は、いくつかの態様では、たとえば、図1のヘッドマウントディスプレイ126と組み合わせたVRエンジン122に対応し得る。
【００５９】
図1のモジュール1010〜1060の機能は、本明細書の教示と矛盾しない様々な方法で実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、1つまたは複数の電気構成要素として実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、1つまたは複数のプロセッサ構成要素を含む処理システムとして実装されてもよい。いくつかの設計では、これらのモジュール1010〜1060の機能は、たとえば、1つまたは複数の集積回路(たとえば、ASIC)の少なくとも一部分を使用して実装されてもよい。本明細書で説明するように、集積回路は、プロセッサ、ソフトウェア、他の関連する構成要素、またはそれらの何らかの組合せを含む場合がある。したがって、それぞれに異なるモジュールの機能は、たとえば、集積回路の異なるサブセットとして実装されてもよく、ソフトウェアモジュールのセットの異なるサブセットとして実装されてもよく、またはその組合せとして実装されてもよい。また、(たとえば、集積回路の、および/またはソフトウェアモジュールのセットの)所与のサブセットは、2つ以上のモジュールに関する機能の少なくとも一部分を実現する場合があることが諒解されよう。
【００６０】
加えて、図10によって表された構成要素および機能、ならびに本明細書で説明した他の構成要素および機能は、任意の適切な手段を用いて実装され得る。そのような手段はまた、少なくとも部分的に、本明細書で教示するように対応する構造を使用して実装されてもよい。たとえば、図10の「ためのモジュール」構成要素とともに上記で説明した構成要素は、同様に指定された「ための手段」機能にも対応し得る。したがって、いくつかの態様では、そのような手段の1つまたは複数は、プロセッサ構成要素、集積回路、または本明細書において教示される他の適切な構造のうちの1つまたは複数を使用して実装されてもよい。
【００６１】
1つまたは複数の実装形態は、本明細書で特定の用途に関する例示を参照して説明されている。これらの実装形態は限定を意図しないことを理解されたい。本明細書で提供される教示に対するアクセスを有する当業者は、その範囲内およびこの技術がかなり有用であろう追加分野範囲内に追加の修正、用途、および実装形態を認識するであろう。例示的な実装形態の上記の説明において、説明のために、特許請求される実装形態をより良好に説明する目的で特定の数、材料、構成、および他の詳細が記載されている。しかしながら、特許請求の範囲は本明細書で説明した例以外の詳細を使用して実施され得ることは当業者には明らかであろう。他の場合には、例示的な実装形態の説明を明瞭にするために、よく知られている特徴は省略または簡素化されている。
【符号の説明】
【００６２】
100  ヘッドマウントディスプレイ(HMD)
102  視覚カメラ
103  視覚画像
104  深度カメラ
105  深度情報
106  制御ユニット
107  センサ
108  ユーザインターフェース
110  処理ユニット
112  ハードウェア
114  ファームウェア
116  メモリ
118  ソフトウェア
122  VRエンジン、仮想現実(VR)エンジン
124  グラフィックスエンジン
126  ディスプレイ、ヘッドマウントディスプレイ
128  キーパッド
130  マイクロフォン
132  スピーカ
200  物理環境
202  ユーザ
204  ヘッドマウントディスプレイ(HMD)
210  手
212  テーブル/デスク、物理対象
214  キーボード、物理対象、対象
216  モニタ、物理対象、対象
218  視野
302  深度画像
304  視覚画像
306  アルファマスク
308  セグメント化画像
310  仮想画像
312  結合画像
400  プロセス
502  深度画像
504  視覚画像
506  過去の深度画像
508  前景アルファマスク
510  背景アルファマスク
512  結合アルファマスク
514  セグメント化画像
516  結合画像
602  距離、第1の距離
604  距離、第2の距離
702  座標系
704  物理対象
706  物理対象
708  物理対象
710  球体
712  直径
714  広がり
804  指
806  円錐形状
808  頂点
810  方向
812  方向
814  物理対象
902  深度画像
904  視覚画像
906  過去の深度画像
908  背景デルタマスク
910  セグメント化画像
912  仮想画像
914  結合画像
916  人物
918  壁
1000  ユーザデバイス装置
1010  モジュール
1020  モジュール
1030  モジュール
1040  モジュール
1050  モジュール
1060  モジュール
【図１】
2019514101.tif 000003
【図２】
2019514101.tif 000004
【図３】
2019514101.tif 000005
【図４】
2019514101.tif 000006
【図５】
2019514101.tif 000007
【図６】
2019514101.tif 000008
【図７】
2019514101.tif 000009
【図８】
2019514101.tif 000010
【図９】
2019514101.tif 000011
【図１０】
2019514101.tif 000012
【国際調査報告】
2019514101.tif 000013
2019514101.tif 000014
2019514101.tif 000015
2019514101.tif 000016
2019514101.tif 000017
2019514101.tif 000018