(57)【要約】  少なくとも１人のユーザがＶＲヘッドセットを装着した２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための計算装置および工程。１つ以上のセンサ構成要素が搭載された少なくとも１つのＶＲヘッドセット装置と、前記ＶＲヘッドセット装置を着用しているユーザの画像を少なくとも取り込むためのカメラ装置とが提供される。ＶＲイメージング計算装置は、少なくとも１つのＶＲヘッドセット装置およびカメラ装置のそれぞれに通信可能に接続される。イメージング計算装置は、１つ以上のセンサが搭載されたＶＲヘッドセットを装着している少なくとも１人のユーザの２次元（２Ｄ）画像を、カメラ装置を使用して生成する。ユーザの瞳孔の動きは、前記１つ以上のセンサを使用して追跡され、ヘッドセットを着用しているユーザの前記生成された２Ｄ画像からヘッドセット画像が削除される。他のユーザが、前記ユーザがヘッドセットを装着していないかのように前記ユーザのＶＲ画像を見ることができるように、前記ＶＲヘッドセットの前記１つ以上のセンサによってレンダリングされた前記ユーザの検出および記録された瞳孔画像がスティッチングされ、前記ユーザの前記生成された２Ｄ画像から前記ヘッドセット画像が削除された領域に重ね合わされる。【選択図】図１
2021517300.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１人のユーザがＶＲヘッドセットを装着した２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための計算方法であって、
１つ以上のセンサが搭載されたＶＲヘッドセットを装着している少なくとも１人のユーザの２次元（２Ｄ）画像を、カメラ装置を使用して生成する工程と、
前記１つ以上のセンサを使用して前記ユーザの瞳孔の動きを追跡する工程と、
前記ヘッドセットを着用している前記ユーザの前記生成された２Ｄ画像からヘッドセット画像を削除する工程と、
他のユーザが、前記ユーザがヘッドセットを装着していないかのように前記ユーザのＶＲ画像を見ることができるように、前記１つ以上のセンサによってレンダリングされた前記ユーザの検出および記録された瞳孔画像をスティッチングして、前記ユーザの前記生成された２Ｄ画像から前記ヘッドセット画像が削除された領域に重ね合わせる工程と、
を有する計算方法。
【請求項２】
前記２Ｄ画像はビデオカメラを使用して生成される、請求項１に記載の計算方法。
【請求項３】
前記カメラ装置は深度センサを有する、請求項１に記載の計算方法。
【請求項４】
前記１つ以上のセンサは赤外線ＬＥＤセンサを含む、請求項１に記載の計算方法。
【請求項５】
前記１つ以上のセンサは、ユーザの瞳孔の方向を記録するためのマイクロビデオカメラをさらに含む、請求項４に記載の計算方法。
【請求項６】
ユーザがリアルタイムで互いを見ることができる、請求項１に記載の方法。
【請求項７】
少なくとも１人のユーザがＶＲヘッドセットを装着した２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置であって、
１つ以上のセンサコンポーネントが搭載された少なくとも１つのＶＲヘッドセット装置と、
前記ＶＲヘッドセット装置を着用しているユーザの画像を少なくとも取り込むためのカメラ装置と、
少なくとも１つの前記ＶＲヘッドセット装置およびカメラ装置のそれぞれに通信可能に接続されたＶＲイメージング計算装置と、
を備え、
前記ＶＲイメージング計算装置は、
メモリと、
前記メモリと通信するように設けられ、前記メモリに格納された複数の命令を実行するように構成されたプロセッサと、
を備え、
前記命令は、
１つ以上のセンサが搭載されたＶＲヘッドセットを装着している少なくとも１人のユーザの２次元（２Ｄ）画像を、カメラ装置を使用して生成し、
前記ＶＲヘッドセットに搭載された前記１つ以上のセンサを使用して前記ユーザの瞳孔の動きを追跡し、
前記ヘッドセットを着用している前記ユーザの前記生成された２Ｄ画像からヘッドセット画像を削除し、
他のユーザが、前記ユーザがヘッドセットを装着していないかのように前記ユーザのＶＲ画像を見ることができるように、前記ＶＲヘッドセットの前記１つ以上のセンサによってレンダリングされた前記ユーザの検出および記録された瞳孔画像をスティッチングして、前記ユーザの前記生成された２Ｄ画像から前記ヘッドセット画像が削除された領域に重ね合わせる、
ことを前記プロセッサに実行させる、装置。
【請求項８】
前記カメラ装置はビデオカメラである、請求項９に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項９】
前記カメラ装置はスマートフォン装置と統合されている、請求項９に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項１０】
前記カメラ装置は深度センサを有する、請求項１に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項１１】
前記ＶＲヘッドセットに搭載された前記１つ以上のセンサコンポーネントは、赤外線ＬＥＤセンサを含む、請求項１に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項１２】
前記ＶＲヘッドセットに搭載された前記１つ以上のセンサコンポーネントは、ユーザの瞳孔の方向を記録するための少なくとも１つのマイクロビデオカメラを含む、請求項１１に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項１３】
ユーザがリアルタイムで互いを見ることができる、請求項７に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【請求項１４】
ユーザは、所定の画像を背景として見ることができる、請求項７に記載の２人以上のユーザ間の仮想現実（ＶＲ）相互作用を生成するための装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、２次元（２Ｄ）および３次元（３Ｄ）画像をキャプチャおよび処理するための方法および装置に関する。
【０００２】
（関連出願の相互参照）
この出願は、２０１９年３月１３日に提出された米国特許出願第６２／６４２，４８８号の優先権を主張し、その全体が参照により本明細書に組み込まれる。
【背景技術】
【０００３】
仮想現実（ＶＲ）は、非常に没頭させる体験を可能にし、世界を見る新しい方法と、現実と仮想の両方の新しい環境を探索する機能を提供する。ただし、ＶＲヘッドセットでは、体験に参加している人々の全体像を作成することが難しいため、物理的な現実と比較して、これらの体験を他人と共有することは難しい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この分断の一部は、ＶＲユーザの仮想コンテキストを２次元のビデオ形式で共有する関連メディアである複合現実（ＭＲ）によって緩和され、ユーザの仮想体験を他の視聴者が感じることを可能とする。ＭＲは共有を容易にするが、ヘッドセットが表情と視線をブロックし続けるため、ＶＲでの人間の完全に魅力的な体験と完全な視界に大きな障害をもたらす。
【課題を解決するための手段】
【０００５】
以下に説明する例示の実施形態の目的および利点は、以下の詳細な説明に示され明らかになるであろう。例示された実施形態のさらなる利点は、明細書およびその特許請求の範囲、ならびに添付の図面から特に指摘された装置、システム、および方法によって実現、達成される。
【０００６】
この研究の一般的な目的は、ライブＶＲチャット体験を提供することである。現在、ＶＲチャットアプリケーションはアニメーション化されたアバターを利用している。本発明の目的は、ユーザの頭の（例えば、ユーザがヘッドセットを装着することなく以前に記録された）３Ｄモデルによって視覚的に置き換えられるユーザのヘッドセットの画像なしでアバターをライブビデオに置き換えることである。本発明の他の目的は、各ユーザが自分のリアリズムのレベルを調整することである（例えば、アバターからライブの３Ｄビデオ画像まで）。
【図面の簡単な説明】
【０００７】
添付の付録および／または図面は、本開示による様々な非限定的で例示的な発明の態様を示している。
【０００８】
【図１】本明細書で説明される技術を実装するために使用することができるコンピュータ装置およびモバイル装置の例を示している。
【図２】ヘッドセットを装着しているユーザ、および、ヘッドセットを装着しているユーザが他のヘッドセットを装着しているユーザを知覚する光景を示している。
【図３】ヘッドセットが取り外されたかのように、ユーザからヘッドセットの画像を取り除いてユーザのＶＲを作成する工程を示している。
【図４】下記実施形態における、ユーザ間のＶＲチャットを作成するための工程の一部を示している。
【図５】下記実施形態における、ユーザ間のＶＲチャットを作成するための工程の一部を示している。
【図６】下記実施形態における、ユーザ間のＶＲチャットを作成するための工程の一部を示している。
【図７】下記実施形態における、ユーザ間のＶＲチャットを作成するための工程の一部を示している。
【発明を実施するための形態】
【０００９】
記載された実施形態は、添付の図面を参照してより完全に説明され、同様の参照番号は同様の構造的／機能的特徴を識別する。以下に説明する例示の実施形態は単なる例示であり、当業者には理解されるように、様々な形態で実施することができるので、例示の実施形態は、決して例示のものに限定されない。したがって、本明細書に開示された構造的および機能的詳細は限定して解釈されるべきではなく、単に請求項の基礎として、および当業者が議論された実施形態を様々に使用することを教示するための表現として解釈されるべきである。さらに、本明細書で使用される用語および語句は、限定を意図するものではなく、例示された実施形態を理解可能とする説明を提供することを意図している。
【００１０】
値の範囲が記載されている場合、文脈が明確に指示しない限り、その範囲の上限と下限、およびその述べられた範囲は、例示された実施形態に包含される。これらのより小さな範囲の上限および下限は、より小さな範囲に独立して含まれてもよく、記載された範囲内の具体的に除外された制限を条件として、例示された実施形態に包含される。述べられた範囲が制限の一方または両方を含む場合、それらの含まれた制限のいずれかを除外する範囲も、例示された実施形態に含まれる。
【００１１】
他に定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書に記載されるものと同様または同等の任意の方法および材料もまた、例示される実施形態の実施または試験において使用され得るが、例示的な方法および材料がここで記載される。本明細書で言及されるすべての刊行物は、刊行物が引用されることに関連する方法および／または材料を開示および説明するために、参照により本明細書に組み入れられる。
【００１２】
本明細書および添付の特許請求の範囲で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈から明らかにそうでないと指示されない限り、複数の指示対象を含むことに留意されたい。したがって、例えば、「１つの刺激」への言及は、複数のそのような刺激を含み、「信号」への言及は、１つ以上の信号および当業者に既知のその等価物への言及などを含む。
【００１３】
本明細書で論じられる刊行物は、本出願の出願日より前のそれらの開示のためにのみ提供される。本明細書中のいかなるものも、例示された実施形態が、先行発明のおかげでそのような刊行物に先行する権利を与えられないことの承認として解釈されるべきではない。さらに、記載された発行日は実際の発行日とは異なる場合があり、個別に確認する必要がある場合がある。
【００１４】
以下に説明する例示の実施形態は、好ましくは、コンピュータプロセッサを有するマシン上での実行を可能にする制御ロジックを有するコンピュータ可読媒体に記憶されたソフトウェアアルゴリズム、プログラムまたはコードであることが理解されるべきである。装置は通常、コンピュータアルゴリズムまたはプログラムの実行からの出力を提供するように構成されたストレージ装置を含む。
【００１５】
本明細書で使用する「ソフトウェア」という用語は、実装がハードウェア、ファームウェア、ディスク上で利用可能なソフトウェアコンピュータ製品、メモリストレージ装置またはリモート装置からのダウンロード用のいずれであるかに関係なく、ホストコンピュータのプロセッサ内にあるコードまたはプログラムと同義であることを意味する。本明細書で説明される実施形態は、上述の方程式、関係、およびアルゴリズムを実装するためのそのようなソフトウェアを含む。当業者は、上記の実施形態に基づいて、例示された実施形態のさらなる特徴および利点を理解するであろう。したがって、例示された実施形態は、添付の特許請求の範囲によって示される場合を除いて、特に示され説明されたものによって限定されるべきではない。本明細書で引用されるすべての刊行物および参考文献は、参照によりその全体が本明細書に明示的に組み込まれる。
【００１６】
次に、いくつかの図を通して同様の参照文字が同様の要素を示す図面を説明的に参照する。図１は、本明細書で説明する技術と共に使用できる例示的な汎用の計算システム６００および汎用のモバイルコンピュータ装置６５０を示している。計算システム６００およびモバイル装置６５０は、それらの１つまたは複数の構成要素が、本明細書に記載される本発明の例示された実施形態と共に使用され得る例示的な実施形態として理解されるべきである。
【００１７】
計算装置６００は、プロセッサ６０２と、メモリ６０４と、ストレージ装置６０６と、メモリ６０４および高速拡張ポート６１０に接続する高速インターフェース６０８と、低速バス６１４およびストレージ装置６０６に接続する低速インターフェース６１２とを含む。部材６０２、６０４、６０６、６０８、６１０、および６１２のそれぞれは、様々なバスを用いて相互接続され、必要に応じて、共通のマザーボードまたは他の方法で取り付けられてもよい。プロセッサ６０２は、メモリ６０４またはストレージ装置６０６に格納された命令を含む、計算装置６００内で実行するための命令を処理して、高速インターフェース６０８に接続されたディスプレイ６１６などの外部入出力装置にＧＵＩのグラフィック情報を表示することができる。他の実施態様では、複数のプロセッサおよび／または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプとともに使用することができる。さらに、複数の計算装置６００を接続して、各装置が必要な動作の一部を提供してもよい（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）。
【００１８】
メモリ６０４は、計算装置６００内に情報を格納する。一実施態様では、メモリ６０４は、揮発性メモリユニットまたはユニットである。他の実装形態では、メモリ６０４は、１つまたは複数の不揮発性メモリユニットである。メモリ６０４は、磁気または光ディスクなどの他の形態のコンピュータ可読媒体であってもよい。
【００１９】
ストレージ装置６０６は、計算装置６００に大容量ストレージを提供することを可能とする。一実装形態では、ストレージ装置６０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置などのコンピュータ可読媒体であるか、または、テープ装置、フラッシュメモリまたは他の同様のソリッドステートメモリ装置、またはストレージエリアネットワーク内の装置や他の構成の装置を含み得る。コンピュータプログラム製品は、情報担体に具体的に実現することができる。また、コンピュータプログラム製品は、実行されると、上記のような１つまたは複数の方法を実行する命令を含むことができる。情報担体は、メモリ６０４、記憶装置６０６、またはプロセッサ６０２上のメモリなどのコンピュータまたは機械可読媒体である。
【００２０】
高速コントローラ６０８は、計算装置６００の帯域幅集約型動作を管理し、低速コントローラ６１２は、より低い帯域幅集約型動作を管理する。このような機能の割り当ては単なる例示である。一実装では、高速コントローラ６０８は、メモリ６０４、ディスプレイ６１６（例えば、グラフィックプロセッサまたはアクセラレータを介して）、および様々な拡張カード（図示せず）を受け入れることができる高速拡張ポート６１０に結合される。該実装において、低速コントローラ６１２は、ストレージ装置６０６および低速拡張ポート６１４に結合される。低速拡張ポートは、様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット）を含むことができ、キーボード、ポインティング装置、スキャナーなどの１つ以上の入力／出力装置、またはスイッチやルーターなどのネットワーク装置に、たとえばネットワークアダプターを介して接続されている。
【００２１】
計算装置６００は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、それは、標準的なサーバ６２０として、またはそのようなサーバのグループにおいて複数回実装されてもよい。それはまた、ラックサーバシステム６２４の一部として実装されてもよい。さらに、ラップトップコンピュータ６２２などのパーソナルコンピュータで実装されてもよい。あるいは、計算装置６００からのコンポーネントは、モバイル装置内の他のコンポーネントと組み合わされてもよい（そのような装置のそれぞれは、計算装置６００、６５０のうちの１つまたは複数を含むことができ、システム全体は、互いに通信する複数の計算装置６００、６５０から構成することができる。
【００２２】
計算装置６５０は、とりわけ、プロセッサ６５２と、メモリ６６４と、ディスプレイ６５４などの入出力装置と、通信インターフェース６６６と、トランシーバ６６８とを含む。装置６５０は、追加のストレージを提供するために、マイクロドライブまたは他の装置などのストレージ装置を備えることもできる。部材６５０、６５２、６６４、６５４、６６６および６６８のそれぞれは、様々なバスを用いて相互接続され、これらの部材のいくつかは、共通のマザーボードに、または必要に応じて他の方法で取り付けられてもよい。
【００２３】
プロセッサ６５２は、メモリ６６４に格納された命令を含む、計算装置６５０内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実装され得る。プロセッサは、たとえば、ユーザインターフェースの制御、装置６５０によって実行されるアプリケーション、および装置６５０によるワイヤレス通信など、装置６５０の他のコンポーネントの調整を提供することができる。
【００２４】
プロセッサ６５２は、ディスプレイ６５４に結合された制御インターフェース６５８およびディスプレイインターフェース６５６を介してユーザと通信し得る。ディスプレイ６５４は、例えば、ＴＦＴ  ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオード）またはその他の適当なディスプレイ装置であることができる。ディスプレイインターフェース６５６は、ディスプレイ６５４を駆動してユーザにグラフィックおよび他の情報を提示するための適切な回路を備えることができる。制御インターフェース６５８は、ユーザからコマンドを受信し、それらをプロセッサ６５２へ提供するために変換することができる。さらに、外部インターフェース６６２は、装置６５０の他の装置との近距離通信を可能にするように、プロセッサ６５２と通信するように提供され得る。外部インターフェース６６２は、例えば、いくつかの実装における有線通信、または他の実装における無線通信を提供してもよく、複数のインターフェースも使用されてもよい。
【００２５】
メモリ６６４は、計算装置６５０内の情報を格納する。メモリ６６４は、コンピュータ可読媒体または複数の揮発性メモリユニットまたは複数の不揮発性メモリユニットの１つまたは複数として実装することができる。拡張メモリ６７４も提供され、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェースを含み得る拡張インターフェース６７２を介して装置６５０に接続され得る。そのような拡張メモリ６７４は、装置６５０に追加の記憶空間を提供することができ、または装置６５０のアプリケーションまたは他の情報も格納することができる。具体的には、拡張メモリ６７４は、上記の工程を実行または補足する命令を含み、安全な情報も含むことができる。したがって、例えば、拡張メモリ６７４は、装置６５０のセキュリティモジュールとして提供されてもよく、装置６５０の安全な使用を可能にする命令でプログラムされてもよい。さらに、ＳＩＭＭカードにハッキングできない方法で識別情報を配置するなど、安全なアプリケーションが、追加の情報とともにＳＩＭＭカードを介して提供されてもよい。
【００２６】
メモリは、例えば、以下で論じるように、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。一実施態様では、コンピュータプログラム製品は、情報担体に有形に具体化される。コンピュータプログラム製品は、実行されると、上記のような１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ６６４、拡張メモリ６７４、またはプロセッサ６５２上のメモリなどの、コンピュータまたは機械が読取可能な媒体であり、例えば、トランシーバ６６８または外部インターフェース６６２を介して受信することができる。
【００２７】
装置６５０は、通信インターフェース６６６を介して無線で通信することができ、通信インターフェース６６６は、必要に応じてデジタル信号処理回路を含むことができる。通信インターフェース６６６は、とりわけ、ＧＳＭ音声通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの様々なモードまたはプロトコルの下で通信を提供することができる。そのような通信は、例えば、無線周波数トランシーバ６６８を介して行われ得る。さらに、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ（登録商標）、または他のそのようなトランシーバ（図示せず）などを使用することにより、短距離通信が可能である。さらに、ＧＰＳ（全地球測位システム）受信機モジュール６７０は、装置６５０上で実行されるアプリケーションによって適切に使用され得る、追加のナビゲーションおよびロケーション関連の無線データを装置６５０に提供し得る。
【００２８】
また、装置６５０は、ユーザからの発話情報を受信し、発話情報を使用可能なデジタル情報に変換することができるオーディオコーデック６６０を用いて、可聴的に通信することができる。同様に、オーディオコーデック６６０は、例えば、装置６５０のハンドセット内のスピーカを介するなどして、ユーザのための可聴音を生成し得る。そのような音は、音声通話からの音を含むことができ、録音された音（例えば、音声メッセージ、音楽ファイルなど）や、装置６５０で動作するアプリケーションによって生成されたサウンドも含むことができる。
【００２９】
計算装置６５０は、図に示されるように、いくつかの異なる形態で実装され得る。例えば、計算装置６５０は携帯電話６８０として実装されてもよい。また、計算装置６５０は、スマートフォン６８２、携帯情報端末、または他の同様のモバイル装置の一部として実装されてもよい。
【００３０】
ここで説明するシステムと技術のさまざまな実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組み合わせで実現できる。これらのさまざまな実装には、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行および／または解釈可能な１つ以上のコンピュータプログラムでの実装が含まれる。当該プロセッサは、特別な又は一般的な目的で、データおよび命令を、ストレージシステム、少なくとも１つの入力装置、および少なくとも１つの出力装置に入出力するように組み合わされる。
【００３１】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも称する）には、プログラマブルプロセッサの機械語命令が含まれ、高水準の手続型および／またはオブジェクト指向のプログラミング言語、および／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令および／またはデータを、プログラマブルプロセッサ（機械可読信号として機械命令を受信する機械可読媒体を含む）に提供するために用いられる、以下に使用される任意のコンピュータプログラム製品、機器および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジック装置（ＰＬＤ））を指す。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
【００３２】
ユーザとの対話を提供するために、本明細書で説明するシステムと技術は、ユーザに情報を表示するためのディスプレイ装置（ＣＲＴ（陰極線管）やＬＣＤ（液晶ディスプレイ）モニタなど）（および他の適切なディスプレイ技術）、キーボード、ユーザがコンピュータに入力を提供できるポインティング装置（マウスやトラックボールなど）を備えたコンピュータに実装できる。他の種類の装置を使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックは、あらゆる形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であり得る。また、ユーザからの入力は、音響、音声、または触覚入力を含む任意の形式で受け取ることができる。
【００３３】
本明細書で説明するシステムおよび技術は、計算システムに実装することができる。該計算システムは、バックエンドコンポーネント（たとえば、データサーバとして）、またはミドルウェアコンポーネント（たとえば、アプリケーションサーバ）、またはフロントエンドコンポーネント（たとえば、ユーザが本明細書で説明するシステムと技術の実装とやり取りできるグラフィカルユーザインターフェイスまたはＷｅｂブラウザを備えたクライアントコンピュータ）、またはそのようなバックエンド、ミドルウェア、またはフロントエンドコンポーネントの任意の組み合わせを含む。該システムのコンポーネントは、デジタルデータ通信の任意の形式または媒体（通信ネットワークなど）で相互接続できる。通信ネットワークの例には、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが含まれる。
【００３４】
計算システムは、クライアントとサーバを含むことができる。クライアントとサーバは一般に互いにリモートであり、通常は通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント／サーバ関係を有するコンピュータプログラムによって生じる。
【００３５】
図１に示す計算装置は、仮想現実（ＶＲヘッドセット６９０）とインターフェースで接続されている。図示された実施形態では、あるユーザが他のユーザと対話するときにヘッドセット６９０の外観を仮想的に取り除くために、１つまたは複数のセンサがＶＲヘッドセットに含まれている。例えば、ヘッドセットセンサ６９０は、ユーザの瞳孔を追跡しながらユーザの目を照らす１つ以上のＬＥＤ６９１と、ユーザの目／瞳孔を記録するための１つ以上のマイクロカメラ６９３とを含み得る。
【００３６】
例えば、本発明の実施形態は、ヘッドセット６９０が着用されているときのユーザの隠された顔のプロキシとして、カメラ装置４００を使用してヘッドセット６９０の無いユーザの顔７０４のモデルを作成する。このプロキシは、複合現実（ＭＲ）ビデオで顔を合成するために使用される。これにより、ＶＲ領域で他のユーザと対話しているときにヘッドセット６９０が削除されているような印象を与える。例えば、この初期較正ステップは、ユーザ７０４がカラー＋深度カメラ４００およびモニタの前に座り、次に、目でモニタ上のマーカを追跡することを必要とする場合がある。この較正手順は、ユーザ７０４の３Ｄ顔モデルを取得し、（センサ６９１および６９３を介して）外観画像（またはテクスチャ）を異なる視線方向および瞬きにマッピングするデータベースを作成する。前述の視線データベース（すなわち、好ましくは視線によってインデックスが付けられたテクスチャを備えた顔モデル）により、ユーザの顔の外観を動的に変化させて、所望の（かつリアルタイムの）視線を生成する。これにより、自然で生き生きとした合成された顔の外観を作成できる。顔の構成は、適切なワイヤフレームソフトウェア技術を使用することによって変更することができることを理解されたい。
【００３７】
いくつかの実装形態では、計算装置（たとえば、マウス、キーボード）に加えて１つまたは複数の入力装置を、コンピュータ生成の３Ｄ環境でレンダリングすることができる。レンダリングされた入力装置（レンダリングされたマウス、レンダリングされたキーボードなど）は、ＶＲスペースでレンダリングされたものとして使用して、ＶＲスペースのオブジェクトを制御できる。
【００３８】
計算装置６００は、ラップトップ、デスクトップ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適当なコンピュータなど、様々な形態のデジタルコンピューターを表すことを意図している。計算装置６５０は、携帯情報端末、携帯電話、スマートフォン、および他の同様の計算装置などの様々な形態のモバイル装置を表すことが意図されている。本明細書に示されている部材、それらの接続および関係、およびそれらの機能は、例示のみを目的としており、この文書で説明および／またはクレームされている発明の実装を制限することを意図していない。
【００３９】
以上のように、図１を参照して、例示的な計算システム環境１００を概略的に示して説明した。以下、図２〜図７を参照して、様々な例示的な実施形態の実装を説明する。
【００４０】
本発明の例示の実施形態の使用環境は、好ましくはライブビデオを用いたＶＲでのオンラインチャットを可能にするシステム６００に関することを理解されたい。例示された実施形態を説明するために使用される以下で論じられる例では、ローカルユーザおよびリモートユーザの２人のライブチャットを想定していることを理解されたい（本発明がそれに限定されるものと理解されるべきではない）。例示的な実施形態は、Ｏｃｕｌｕｓ  Ｒｉｆｔ（商標）などのＶＲシステムと、ユーザごとの１つまたは複数のウェブカメラ４００と、好ましくはグリーンバックとを含む、上述のシステム６００の１つまたは複数のコンポーネントを含む。図２を参照すると、図示の実施形態によるＶＲチャットセッション中、例えば、ヘッドセット６９０を装着したリモートユーザ７００は、ローカルユーザ７０４が装着しているヘッドセット６９０を差し引いた他のユーザ７０２（ヘッドセット６９０を装着）のライブビデオがＶＲで見える。同様に、同じＶＲチャットセッション中に、ヘッドセット６９０を装着しているリモートユーザ７０２は、ＶＲでローカルユーザが装着しているヘッドセット６９０を差し引いたユーザ７００（ヘッドセット６９０を装着）のライブビデオがＶＲで見える。
【００４１】
本発明の一態様によれば（および図３を参照すると）、リモートユーザのヘッドセットの視覚は、ローカルユーザの頭の事前に記録された静止画像／ビデオを重ね合わせることによって置き換えられる。ＶＲヘッドセットを装着しているときは、一般的に口と顔の下部が依然として見えるため、ユーザの頭の一部だけを重ねることが好ましい。好ましくは、ライブビデオ効果は、好ましくは標準の２Ｄウェブカメラ４００（図４）を使用して、クロマキー（「グリーンバック」）技術によって作成される。したがって、例示された実施形態によれば、各ユーザ７０４、７０６は、好ましくは、携帯用グリーンバック（４０２）の前に位置する。これは、特定のソフトウェア技術によって打ち消される場合があること、または３Ｄカメラを使用してグリーンバックなしでユーザの輪郭を決定できる場合があることを理解されたい。
【００４２】
以下で説明するように、例示の実施形態によれば、２人以上のユーザ（７０４および７０６）が、各ユーザの場所で特別なウェブカメラ４００を使用してライブオンラインチャットに参加することができる。各ユーザ（７０４、７０６）は、好ましくは、ＶＲヘッドセット６９０（７００、７０２）を着用し、それにより、各ユーザ（７０４、７０６）は、重ね合わせて事前に記録された他のユーザの頭（７０６、７０４）の画像を見る。放送画像は、好ましくは、ライブビデオと事前に記録された画像の合成である。ライブビデオは、好ましくは、ユーザの口領域（図３）の真上まで（例えば、ＶＲヘッドセット６９０が一般的に存在する場所）の身体を含む。したがって、記録された画像は、好ましくは、ユーザの鼻、目、および頭頂部である（７０４、７０６）。企業のテレビ会議など、３人以上とのライブチャットを実現できることを理解されたい。
【００４３】
この記録された画像は、特殊な形式の写真測量を使用して事前に作成することもできる。これは、複数の２Ｄ画像をつなぎ合わせて処理し、３Ｄモデルとテクスチャを作成する手法である。現在、この工程は高価で時間がかかり、特別なハードウェアと複数のカメラが必要である。対照的に、本発明の実施形態によれば、それぞれが立体視または平面視のいずれかを有する、ユーザに面する２つのカメラからなる安価な立体カメラを利用することができる。たとえば、カメラがシーンを記録してキャプチャしている間、ユーザは椅子で回転する。立体視または平面視のカメラ出力の後処理を使用して、３Ｄモデルを生成する。
【００４４】
図４〜７を参照して、例示された実施形態によるＶＲセッションを可能にするための例示的な工程を説明する。まず、ヘッドセットなしの各ユーザ７０４（図４）、７０６（図５）の顔がウェブカメラ４００によって撮影される。次に、図６および７に示されるように、各ユーザ（７０４、７０６）は、ヘッドセット６９０を着用する。ヘッドセット６９０は、視線、動き、瞬きを検出する前述のＬＥＤセンサ６９１および６９３を備えている。マイクロビデオカメラセンサ６９３がユーザの瞳孔を追跡している間、センサ６９１は、ヘッドセット６９０内のユーザの片方の目を照らして瞳孔の動きを追跡することが好ましい。処理チップ６０２は、好ましくはソフトウェアを介して瞳孔を「スティッチング」して、ヘッドセット６９０によって隠されている顔の画像を完成させることにより、動いている瞳孔を顔に復元するように構成され、動作可能であることが好ましい。したがって、ユーザ７０４および７０６の両方が、他方のユーザ７０４、７０６の顔が自分の前にあり、ヘッドセット６９０で覆い隠されていないかのように、リアルタイムで（それぞれのヘッドセット６９０を介して）互いの３Ｄ画像を見ることができる。
【００４５】
さらに好ましくは、各ユーザの額および眉毛に配置された電気感応装置をさらに使用することにより、各ユーザ７０４、７０６の眉をひそめた表情も、処理チップ６０２上のソフトウェア処理を介して追跡され得る。
【００４６】
要約すると、１または複数の例示された実施形態によれば、本発明は、ユーザのヘッドセットを除いた、ビデオチャットにおけるユーザのウェブカメラビデオストリームの仮想投影を可能にする。これは、写真測量などのモデリング手法を使用して、ユーザの頭を３Ｄでモデリングすることによって実現される。たとえば、ユーザの頭の上部はリアルタイムでこのモデルに置き換えられるため、他の参加ユーザには、参加ユーザの体、頭、顔、目からヘッドセット６９０を差し引いたものだけが見える。
【００４７】
１つ以上の静止した立体３Ｄカメラ（たとえば、ＳｔｅｒｅｏＬａｂｓ  ＺＥＤカメラ、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ、Ｉｎｔｅｌ  ＲｅａｌＳｅｎｓｅラインの３Ｄカメラなど）を使用して、複数のユーザ（たとえば、３人以上のユーザ）を取り囲み、各ユーザをモデル化してもよいことを理解されたい。３Ｄカメラ技術は、ユーザの位置を追加で計算し、ＶＲの協調的な相互作用を提供してもよい。たとえば、２人のユーザが火星でキャッチゲームをプレイしたり、２人が一緒にグランドキャニオンでバーチャルウォークをしたりすることができる。
【００４８】
本発明の計算システム６００およびヘッドセット６９０は、拡張現実（ＡＲ）設定での使用のために構成され、動作可能であることを理解されたい。ＡＲは、コンピュータで生成された拡張機能を既存の現実の上に重ねて、それを操作する機能を通じてより意味のあるものにするための技術であると理解される。例示された実施形態は、アプリとして使用するために開発されているＡＲ、および、好ましくは、デジタル要素および現実世界が互いに強調されるような方法で、デジタル要素を現実世界に混合するヘッドセット６９０を含む。例えば、本発明のヘッドセット６９０を着用した、各々が異なる場所にいる２人以上のユーザは、選択された設定（例えば、スカイダイビング）および／または場所（例えば、パリ）において、互いに隣り合うように見えるようにヘッドセット６９０を使用／操作することができる。これにより、彼らはリアルタイムで同じ設定（例えば、フランスのパリの通り）を想像するだけでなく、本明細書の教示に従って、ヘッドセット６９０が取り外されたかのように互いを見ることができる。
【００４９】
さらに、計算システム６００および／またはヘッドセット６９０の追加の実施形態は、好ましくは少なくとも２つの別個のビデオフィードおよび／または単一のビデオフィードを、好ましくは所定の静止フレーム画像キャッシュと組み合わせて使用するリアルタイム画像スティッチングを提供するように構成され得ることを理解されたい。ユーザの顔の「目の領域」は、ＶＲディスプレイ装置により通常は覆い隠されるため、アイトラッキングは、初期の「セットアップ」フェーズ（画像キャッシュ）から取得され、画像スティッチングステップに用いられる、キャッシュされた画像および／または「混合された」画像のリアルタイム選択が可能なＶＲディスプレイ装置内に取り付けられたカメラを介して実行されることが好ましい。これにより、最終的な（合成／スティッチング）ビデオを使用してリアルタイムの３Ｄ顔追跡と再構成が提供される。リアルタイムの（ユーザを表す）デジタル作成顔を使用することにより、顔／結果が、リアルタイムのビデオおよび／またはユーザの深度抽出のいずれかに合成されることが好ましいことを理解されたい。ユーザの身体は、グリーンバック技術および／または深度抽出技術のいずれかを使用して、その背景から抽出されることが好ましいことを理解されたい。さらに、完全に再構成されたユーザは、３６０度ビデオ、ＶＲチャットルーム、その他の適用可能なアプリケーション（これらに限定されない）などの多数のアプリケーションに合成される場合があることを理解されたい。さらに、現在使用および／または研究されている以下の種々の技術（例えば、ＳＤＫ、ＡＰＩなど）には、以下が含まれる（ただし、これらに限定されない）：ＥｍｇｕＣＶ、ＯｐｅｎＣＶおよびＭＡＴＬＡＢ（登録商標）；ＳＤＫ付きＺＥＤカメラ；ＡＲＫｉｔ；主要なプログラミング言語：Ｃ＃およびＣ＋＋；Ｕｎｉｔｙ（ゲームエンジン）；Ｏｃｕｌｕｓおよび／またはＶｉｖｅ（ＶＲディスプレイ装置）。
【００５０】
上記の特定の例示的な実施形態では、本明細書で説明される様々な非限定的な実施形態は、特定の用途のために別々に組み合わせて、または選択的に組み合わせて実施できることを理解されたい。さらに、上記の非限定的な実施形態の様々な特徴のいくつかは、他の記載された対応する特徴なしで使用され得る。したがって、本明細書で提供される説明は、本発明の原理、教示、および例示的な実施形態の単なる例示と看做されるべきであり、それらを限定するものと看做されるべきではない。
【図１】
2021517300.tif 000003
【図２】
2021517300.tif 000004
【図３】
2021517300.tif 000005
【図４】
2021517300.tif 000006
【図５】
2021517300.tif 000007
【図６】
2021517300.tif 000008
【図７】
2021517300.tif 000009
【国際調査報告】
2021517300.tif 000010