(57)【要約】  ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、前記ＨＭＤ装置は、１つ以上のディスプレイと、前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、前記ＨＭＤによる画像処理なしに、１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された１つ以上の画像入力部とを含み、前記画像配信システムは立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに、視野を１つ以上のディスプレイ上に直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに、前記視野を１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部とを含む。【選択図】図５
2020501465.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、
前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、さらに、前記画像配信システムおよび前記ＨＭＤ装置とはリモートで、かつ通信バスを介して接続されるグラフィックス処理および計算リソースを含み、
■   前記ＨＭＤ装置は、
１つ以上のディスプレイと、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、
前記ＨＭＤによる画像処理なしに、１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
■   前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、前記画像配信システムの構成は、
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、
前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含み、
前記グラフィックス処理および計算リソースは、画像配信システムに対しての前記通信バスを介した画像レンダリングおよび画像処理の大部分を行う機能を有し、
前記配信システムは、前記視野の前処理済み画像データを受信し、さらに、少なくとも部分的に前記視野外にあって前記ディスプレイには未表示の画像である、追加の前処理済み画像データを受信するように動作可能であることを特徴とする、ヘッドマウントディスプレイ画像配信システム
【請求項２】
ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、
前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、
■   前記ＨＭＤ装置は、
１つ以上のディスプレイと、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、
前記ＨＭＤによる画像処理なしに、１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された、１つ以上の画像入力部と、を含み、
■   前記画像配信システムは立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、その構成は、
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なしに前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、を含み、前記配信システムは、前記視野の前処理済み画像データを受信し、さらに少なくとも部分的に前記視野外にあって前記ディスプレイには未表示の画像である前処理済み画像データを受信するよう動作可能であることを特徴とし、
さらに、前記ＨＭＤシステムによる画像処理なしに前記視野を１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部を含む、ヘッドマウントディスプレイ画像配信システム。
【請求項３】
前記ＨＭＤ装置と前記画像配信システムは、同じネットワーク上で、または近距離無線通信方法、例えばブルートゥース（登録商標）などの無線通信方法によって無線接続で相互に接続されることを特徴とする、請求項１または２に記載の組合せ。
【請求項４】
前記ＨＭＤ装置と前記画像配信システムとは、有線接続で相互に接続されることを特徴とする、請求項１〜３のいずれか一項に記載の組合せ。
【請求項５】
前記配信システムは、前記画像配信システムによる画像処理なしに、前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するバッファを備えることを特徴とする、請求項１〜４のいずれか一項に記載の組合せ。
【請求項６】
前記配信システムは、画像またはビデオ信号に同期した音声信号を配信するように構成されることを特徴とする、請求項１〜５のいずれか一項に記載の組合せ。
【請求項７】
前記追加の前処理済み画像データは、前記視野に対して１つ以上の所定の方向において視野外にある１つ以上の画像と関連することを特徴とする、請求項１〜６のいずれか一項に記載の組合せ。
【請求項８】
前記センサから受信したセンサデータは、１つ以上の配信システム出力部から出力され、前記視野が移動する１つ以上の方向を決定する処理のために処理リソースに供給されることを特徴とする、請求項１〜７のいずれか一項に記載の組合せ。
【請求項９】
前記配信システムは処理リソースを有し、前記センサから受信した前記センサデータは、前記視野が移動する１つ以上の方向を決定するため前記配信システムによって処理されることを特徴とする、請求項１〜８のいずれか一項に記載の組合せ。
【請求項１０】
前記配信システムは、視野画像データのみを記憶することを特徴とする、請求項１〜９のいずれか一項に記載の組合せ。
【請求項１１】
前記配信システムは、市や画像データを記憶し、さらに視野外にある1つ以上の画像量域の画像データを記憶することを特徴とする、請求項１〜９のいずれか一項に記載の組合せ。
【請求項１２】
前記配信システムは、事前記憶された画像データを前記ＨＭＤに配信するためのセレクタを有し、視野が移動すると予測される方向に基づいて選択が行われることを特徴とする、請求項１〜１１のいずれか一項に記載の組合せ。
【請求項１３】
ローカルデータループが存在し、そのローカルデータループは、前記配信システムがＨＭＤセンサデータを受信して前記視野の方向を決定し、決定方向において視野外にある画像領域の画像を配信することを特徴とする、請求項１〜１２のいずれか一項に記載の組み合わせ。
【請求項１４】
決定方向は、ＨＭＤセンサデータから予測または導出された方向であることを特徴とする、請求項１２または１３に記載の組合せ。
【請求項１５】
前記ＨＭＤセンサは、前記ＨＭＤの動き、位置、および姿勢の１つ以上を決定することを特徴とする、請求項１〜１４のいずれか一項に記載の組合せ。
【請求項１６】
センサデータは、前記ディスプレイの動き、位置、姿勢、着用者の目の位置、アイトラッキング、および着用者に見られているディスプレイの領域のうちの少なくとも１つまたは任意の組合せを決定することを特徴とする、請求項１〜１５のいずれか一項に記載の組合せ。
【請求項１７】
前記ＨＭＤセンサは、アイトラッキングセンサを含むことを特徴とする、請求項１〜１６のいずれか一項に記載の組合せ。
【請求項１８】
１つ以上の前記ＨＭＤセンサは、前記ＨＭＤの上または中に取り付けられていることを特徴とする、請求項１〜１７のいずれか一項に記載の組合せ。
【請求項１９】
１つ以上の前記ＨＭＤセンサがローカルループ内にあり、どの前処理済み画像データを配信すべきかを知らせるため、センサデータがすべてリモート送信されるわけではないことを特徴とする、請求項１〜１８のいずれか一項に記載の組合せ。
【請求項２０】
ハンドヘルドユーザインタフェース装置は、前記ＨＭＤユーザからコマンドを受け取ることを特徴とする、請求項１〜１９のいずれか一項に記載の組合せ。
【請求項２１】
リモートセンサアレイは、前記仮想環境内でユーザに作成される可視の「安全ゾーン」に、前記ユーザ上の前記ＨＭＤの位置を追跡可能にすることを特徴とする、請求項１〜２０のいずれか一項に記載の組合せ。
【請求項２２】
前記ＨＭＤおよび前記画像配信システムとはリモートにあるコンピュータリソースは、前記仮想環境に追加する画像を生成し前記画像配信システムを介して前記ユーザの前記ＨＭＤに配信するために、画像を立体３Ｄにレンダリングするための高性能プロセッサを有することを特徴とする、請求項１〜２１のいずれか一項に記載の組合せ。
【請求項２３】
前記コンピュータリソースは、コンピュータファーム、ＣＵＤＡ、ＧＰＵなどであることを特徴とする、請求項１〜２２のいずれか一項に記載の組合せ。
【請求項２４】
前記配信システムは、前記ＨＭＤと前記画像配信システムとの組合せとはリモートにある別のコンピュータリソースから前処理された画像データを受信するように動作可能であることを特徴とする、請求項１〜２３のいずれか一項に記載の組合せ。
【請求項２５】
請求項２４の前記別のコンピュータリソースは、請求項２２に記載のコンピュータリソースであることを特徴とする、請求項１〜２４のいずれか一項に記載の組合せ。
【請求項２６】
前記リモートのコンピュータリソースはグラフィックス処理および計算リソースであり、このグラフィックス処理および計算リソースは、低遅延通信バスを介して前記画像配信システムに送信するための画像レンダリングおよび画像処理の、全てではないが大部分を行い、これにより前記画像配信システムは非常に容易な画像処理だけを行うことを特徴とする、請求項１〜２５のいずれか一項に記載の組合せ。
【請求項２７】
前記画像配信システムは、前記ＨＭＤのスクリーン設定との互換性のために画像を再フォーマットすることを除いて、画像処理を行う機能を有していないことを特徴とする、請求項１〜２６のいずれか一項に記載の組合せ。
【請求項２８】
前記リモートのグラフィックス処理および計算リソースは、前記画像配信システムよりも多くの画像処理機能を有することを特徴とする、請求項１〜２７のいずれか一項に記載の組合せ。
【請求項２９】
前記ＨＭＤでは画像処理を行わないことを特徴とする、請求項１〜２８のいずれか一項に記載の組合せ。
【請求項３０】
前記リモートのグラフィックス処理および計算リソースは、画像の全てのレンダリングを行う機能を有することを特徴とする、請求項１〜２９のいずれか一項に記載の組合せ。
【請求項３１】
請求項１〜３０のいずれか一項に記載の、ヘッドマウント画像配信システムの特徴を有するヘッドマウントディスプレイ画像配信システム。
【請求項３２】
請求項１〜３１のいずれか一項に記載の、ヘッドマウントディスプレイ装置の特徴を有するヘッドマウントディスプレイ装置。
【請求項３３】
前記ＨＭＤ画像配信システムによる画像処理を行うことなく、前記ＨＭＤ装置の１つ以上のディスプレイ上に直接表示するための画像データを配信するために、請求項１から３０のいずれか一項に記載の組み合わせを作動させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ヘッドマウントディスプレイ、および、コンテンツ、特に仮想現実コンテンツをヘッドマウントディスプレイに配信するためのシステムおよび方法に関する。
【背景技術】
【０００２】
典型的な仮想現実設定の構成は、
コンピュータ・グラフィックス、フォトリアリスティック・グラフィックスまたはリアル３Ｄビデオで、仮想環境の立体３Ｄ画像を表示するヘッドマウントディスプレイ（ＨＭＤ：頭部装着型ディスプレイ）と、
加速度計などを介して実環境におけるＨＭＤの位置および姿勢を決定し、ＨＭＤの動きを測定するためのセンサは、ＨＭＤ上にあるセンサ、およびＨＭＤから離れたリモートセンサであって、例えば、ＨＭＤに搭載する加速度計でＨＭＤの動き、位置、および姿勢（ロール、ピッチ、偏揺れ角）を測定し、ハンドレルド(携帯)ユーザインタフェース装置でユーザからコマンドを受け取り、リモートセンサアレイが、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする、該センサと、
仮想環境に追加する画像を生成するとともに仮想環境内でのユーザの位置と反応を決定するための強力なプロセッサと、ユーザのＨＭＤ上で画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードを備えたコンピュータと、を含む。
【０００３】
電源要件と通信帯域幅要件も存在する。
【０００４】
ヘッドマウントディスプレイ（ＨＭＤ）は、コンピュータ・グラフィックス、フォトリアリスティック・グラフィックス、またはリアル３Ｄビデオで仮想環境の立体３Ｄ画像を表示する。３Ｄ効果は必須ではないため、２Ｄ画像が使用可能である。ＨＭＤは多数のセンサを有する。
【０００５】
ユーザインタフェースとＨＭＤに、ＨＤＭに対するまたはリモートセンサアレイに対する相対位置を決定するためのセンサを組み込み得る。選択ポインタなどのユーザインタフェースは、仮想環境でレンダリングされてもよい。
【０００６】
典型的な仮想現実設定は、主に、ハイスペックなグラフィックスカードで遅れなく高速動画をレンダリングするための処理能力のために、計算集約的となっている。
【０００７】
ヘッドマウントディスプレイ上の画像のレンダリングの遅れは、動揺病を起こしやすく、十分なユーザ体験を提供できない。ユーザがヘッドマウントディスプレイで仮想現実のインタラクションに関っている場合、許容可能な遅れ時間の閾値は２０ミリ秒程度である。遅れ時間が２０ミリ秒を超えると、吐き気や動揺病が起こりうる。
【０００８】
着用者がヘッドマウントディスプレイで仮想現実のインタラクションに関わらず、単にビデオを見ているだけであれば、遅れ時間は問題にならない。ヘッドマウントディスプレイは、快適な視聴体験を提供するには少なくとも６０フレーム／秒（ｆｐｓ）のビデオを配信する必要がある。９０ｆｐｓを超えるフレームレートが好ましい。従来の仮想現実用ヘッドマウントディスプレイ画像配信システムは、グラフィックカードを備えた高性能、高仕様のコンピュータであるか、高品質で動きの速いグラフィックスのレンダリングができる特別仕様のゲーム機である。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
仮想現実コンテンツを視聴するためには、視聴者／参加者が相当量のハードウェア、ソフトウェア、および／または帯域幅へアクセスすることが必要である。本発明の目的は、仮想現実イベントを視聴し、かつ参加を可能にするためのハードウェア、ソフトウェアおよび帯域幅に関する要件を減らすことである。
【課題を解決するための手段】
【００１０】
本発明の一態様は、立体画像をヘッドマウントディスプレイ（ＨＭＤ）装置に伝達して画像情報を着用者に伝えるように構成されたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、前記ＨＭＤシステムは、視野を表示する１つ以上のディスプレイと、１つ以上のセンサと、前記ＨＭＤシステムによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、前記画像配信システムは、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信できるように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。
【００１１】
本発明の他の態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムを含むシステムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、その組合せはさらに、前記画像配信システムおよび前記ＨＭＤ装置とはリモートで、かつ通信バスを介して接続される、グラフィックス処理および計算リソースを含み、
前記ＨＭＤ装置は、
１つ以上のディスプレイと、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、
前記ＨＭＤによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、その構成は
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なし前記1つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを、受信するように構成された１つ以上の画像入力部と、
前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含み、
前記グラフィックス処理および計算リソースは画像配信システムに対しての前記通信バスを介した画像のレンダリングおよび画像処理の大部分を行う機能を含む。
【００１２】
本発明の一態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、
■      前記ＨＭＤ装置は、１つ以上のディスプレイと、前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、前記ＨＭＤによる画像処理なしに１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
■      前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記視野を１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。
【００１３】
本発明の他の態様は、前記ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせた前記ヘッドマウントディスプレイ画像配信システムを提供し、さらにコンピュータリソースを含み、このコンピュータリソースは、前記仮想環境に追加する画像を生成すると共に仮想環境内でのユーザの位置や反応を決定するための強力なプロセッサと、前記画像配信システムを介して前記ユーザの前記ＨＭＤに配信するために画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードとを備える。
【００１４】
本発明のさらなる態様は、前記ヘッドマウントディスプレイ装置を含まない、本発明の前記ヘッドマウントディスプレイ画像配信システムを提供する。
【００１５】
本発明の他の態様は、前記ヘッドマウントディスプレイ画像配信システムを備えていない、本発明の前記ヘッドマウントディスプレイ装置を提供する。
【００１６】
本発明のさらなる態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置に立体画像を伝達するように構成されたヘッドマウントディスプレイ画像配信システムの作動方法を提供する。
【図面の簡単な説明】
【００１７】
【図１】外部センサアレイを有するヘッドマウントディスプレイシステムの概略図である。
【図２】リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図である。
【図３】リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。
【図４】本発明の実施形態で使用する画像データのアレイの概略図である。
【図５】リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。
【図６】リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。
【図７】本発明の実施形態で使用する視野を示す。
【図８】本発明の実施形態で使用する視野を示す。
【図９】本発明の実施形態で使用する視野の概略図である。
【図１０】本発明の実施形態で使用する視野の概略図である。
【図１１】本発明の実施形態で使用する視野の概略図である。
【図１２】本発明の実施形態で使用する視野の概略図である。
【発明を実施するための形態】
【００１８】
本発明の理解のため、添付の図面を参照し本発明の実施形態を例示により説明する。
【００１９】
図１はヘッドマウントディスプレイシステム１の概略図を示す。該システムは基本構成要素として、１つ以上のディスプレイスクリーン３（図１には示されていない）を含むヘッドマウントディスプレイマスク２と、運動と位置センサ４と、アイトラッカー５と、さらに運動と位置センサ６と、を含む。図１はまた、位置マーカ６のｘｙｚ座標系における位置を検出するためのマスク２の外側のセンサアレイ７を示す。図１はまた、ポインタ８のジョイスティックを含むユーザインタフェース装置を示す。ポインタ８は、ヘッドマウントディスプレイマスク２および外部センサアレイ７の両方、または一方に対する位置が決定できるよう、それ自体の位置マーカを組み込んでもよい。
【００２０】
センサ４、５、６のいくつかはマスク２上またはＨＭＤ内に取り付けられ、他のセンサ７、８はＨＭＤから離れて配置される。１つのカテゴリのセンサ４、６、７は、加速度計などを介してＨＭＤの実環境における位置および姿勢を決定し、ＨＭＤの動きを測定する。例えばＨＭＤに取り付けた加速度計が、ＨＭＤの動き、位置、姿勢（ロール、ピッチ、偏揺れ角）を測定する。ポインタ８や他のユーザインターフェースデバイス、例えばジョイスティック、ポインタ、グローブはユーザのコマンドを受け取るために使用する。リモートセンサアレイ７は、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする。
【００２１】
ユーザはマスク２を着用し、ディスプレイスクリーン３上の画像にも現れるユーザインタフェース８を保持して、マスク２内の１つ以上のディスプレイスクリーン３上の画像を見る。ディスプレイによって提供される画像は仮想環境の立体画像が好ましい。配信システムは、選択に応じて、画像またはビデオ信号に同期したオーディオ信号を配信するように構成される。好ましくは、配信システムは、ＨＤＭＩ（登録商標）ポートを介して仮想現実体験の一部として同期音声を配信する。
【００２２】
ユーザインタフェース８は、手袋、靴下またはリストバンドのような着用可能要素であっても、またはジョイスティックまたはポインタのような別体要素でもよい。
【００２３】
全てのセンサからのデータは、有線接続および／または無線接続によって、マスク２内の１つ以上のディスプレイスクリーン３への画像データの配信も担当するコンソール１０に供給される。
【００２４】
コンソール１０は図２に示されるように外部モニタ１８に接続されており、ヘッドマウントディスプレイ２の着用者以外の管理者または運用者が、装着されたマスク２に表示されている画像は外部モニタ１８で見え得る。
【００２５】
従来のシステムと異なり、コンソール１０はヘッドマウントディスプレイ画像配信システム１０を有し、このシステムが当該画像配信システム１０による処理なしに、１つ以上のディスプレイ３上に視野５０を直接表示するための前処理済み画像データを受信するように構成された少なくとも１つの入力部１００を有する。本発明を実現するコンソール１０は、ヘッドマウントディスプレイ装置１による画像処理なしに、視野５０を１つ以上のディスプレイ３上に直接表示するための画像データを配信する。
【００２６】
好ましくは、コンソール１０およびヘッドマウントディスプレイマスク２は同じスペースまたは区切られた空間内に存在し、互いにローカルである。より好ましくは同じ無線ネットワーク上にあるか、有線接続で互いに通信可能なこと。好ましくは、画像表示のためのヘッドマウントディスプレイマスク２への接続は、ＨＤＭＩ（登録商標）接続により、またマスクからコンソール１０へのデータ接続はＵＳＢ接続による。
【００２７】
仮想現実ディスプレイは、有意なグラフィックス処理および計算リソースを必要とする。本発明の実施形態では、グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられているが、低遅延通信バス２０を介してこれらのローカルの要素に接続されている。グラフィックス処理は、仮想現実クラスタＣＵＤＡ上に配置されたＧＰＵコンピューティングクラウド経由で行い得る。仮想現実オペレータは、独自のインフラストラクチャ２１を提供し、グラフィックス処理および計算リソースを提供するリモート要素へのデータパッケージングおよびデータ分配を,低遅延通信バス２０を介して調整する。通信バス２０は入力ポート１００を通ってコンソール１０に接続されている。
【００２８】
グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられる。そのためコンソール１０は、非常に容易な画像処理が必要であれば、それを提供するだけでよい。グラフィックス処理計算リソース２１は、バス２０を介してコンソール１０に送信するための画像レンダリングおよび画像処理の、全てではないとしても大部分を担う。コンソールは、ＨＭＤスクリーン３の設定との互換性のために再フォーマットすることを除き、それ以上の有意な画像処理を行う機能を要求せず、また有していない。リモートのグラフィックス処理計算リソース２１は、コンソール１０よりも多くの画像処理を行い、好ましくはＨＭＤ１で画像処理は行われない。全ての画像レンダリングがリモートのグラフィックス処理計算リソース２１で行われてもよい。
【００２９】
ここで図３を参照すると、ＨＭＤスクリーン３に表示されている仮想環境は高山パノラマ画像である。装着者／ユーザは、前方を真っ直ぐ、スクリーンのほぼ中央の地平線と水平に見ている。本発明を実現するコンソール１０は、通信バス２０を介してシーンからレンダリングされる画像を要求し、その画像はレンダリングされて通信バス２０を介して画像Ｉとして返信される。この画像Ｉは、グラフィックス処理または前処理なしで、可能な限り直接的にコンソールＨＤＭＩ（登録商標）出力１２を介してスクリーン３に直接伝えられ、画像Ｉの視野５０を表示する。
【００３０】
ヘッドマウントディスプレイシステムのセンサ４、５、６および７、８は、次に着用者の視野５０に何が表示されるかを確認するため、着用者の動きを監視し、着用者がどこを見ているかを特定している。コンソール１０は、ヘッドマウントディスプレイからセンサデータ４、５、６、７、８を受信し、次の視野の画像を要求する。次の画像はその時にはリモートで準備とレンダリングがされ、通信バス２０を介したコンソール／画像配信システム１０による画像処理なしでコンソール１０に送られ、スクリーン３に供給される。コンソール１０からヘッドマウントディスプレイシステム１に出力された画像Ｉは、ヘッドマウントディスプレイ画像配信システム１０による画像処理なしで送られる。
【００３１】
グラフィックス処理計算リソース２１は低遅延通信バスを介して接続されているので、コンソール１０は本質的に計算上必要最小限のものとすることができる。遅れ時間閾値は２０マイクロ秒未満にする必要がある。
【００３２】
図４は、スクリーン３に表示される画像の視野（ＦＯＶ１）５０（１）を示す。視野５０（１）の外側では、画像は仮想環境内で連続しているが、視野５０（１）の外にある画像Ｉの領域５１（２〜９）は表示されない。視野（ＦＯＶ１）の外の領域は、上側の５１（２）、下側の５１（６）、左側の５１（８）、右側の５１（４）、角に、右上の５１（３）、右下の５１（５）、左下の５１（７）左上の５１（９）が位置する。図４は領域を実質的に長方形として示しているが、領域は異なる形で定義し得る。図９〜１２を参照されたい。視野（ＦＯＶ１）５０の外の領域５１が、図９および１０においては楕円形のローブ５１として示され、図１１では長方形の外周として、また図１２ではサイドバーとして示されている。
【００３３】
図５は、本発明のさらなる実施形態を示す。ここではＨＭＤセンサデータ４、５、６、７、８が、リモートのグラフィックス処理および計算リソースセンター２１で使用され、バス２０を介して視野画像データだけを返すのでなく、少なくとも部分的に視野の外にあってスクリーン３には未表示の画像の画像データも、視野画像データに加えて、返す。図５の例では、ＨＭＤセンサデータは、視野をレンダリングするだけでなく、着用者が次に視野の右側を見ることを予測するリモートの計算リソースにおいても利用される。すなわち、リモートの計算リソースは、視野の右側の画像データもレンダリングして、低遅延通信バス２０を介してコンソール１０に送り返す。着用者が実際に視線を表示視野の右側に移動するとコンソール１０が特定した場合、セレクタ１７は視野の右側を視野の右側にある画像データの「右」領域と共に表示できるように、視野の修正版を選び得る。
【００３４】
図６は本発明のさらなる実施形態である。ＨＭＤセンサデータ４、５、６、７、８のデータをローカルコンソール１０内のセレクタ１７に直接送信する。この実施形態では、センサデータは、通信バス２０を介してリモートのグラフィックス処理または計算リソースに送信されない。センサデータは、ヘッドマウントディスプレイシステムおよびコンソール１０に対してローカルのままとなる。
【００３５】
リモートのグラフィックス処理計算リソース２１は、視野をレンダリングするほか、視野５０（１）を囲む全ての領域５１（２〜９）を通信バス２０により送信し、それらをローカルのコンソール１０に提供する。上記領域はコンソールで予め記憶され、セレクタ１７によって選択可能になる。セレクタ１７は、センサデータの制御下で、センサデータに応答して、着用者の視線が次に視野外のどこに向くかを予測または特定するように動作可能であり、着用者の視線の方向変化に合わせて、セレクタ１７は視野外の予め記憶した領域を選択し、その領域のさらなる前処理またはグラフィックス処理なしに、直接ヘッドマウントディスプレイスクリーンに供給する。センサデータおよび予測機能をコンソールおよびヘッドマウントディスプレイに対してローカルに保つことによって、コンソールは、リモートに位置するグラフィックス処理および計算リソースから独立させ得る。
【００３６】
図７は、視野（ＦＯＶ１）と、ＦＯＶ１の外の右側領域を示す。この右側領域は、コンソール１０でバッファされ（ここで右側領域は受信されるがＦＯＶには表示されない）、着用者の視線がＦＯＶ１の右側に向くと即時に送信できる。このバッファリング形式を本明細書では「事前記憶」と呼ぶ。同様に、図８はＦＯＶ１の上部外側領域を示し、その領域はヘッドマウントディスプレイスクリーンへの即時送信に備えてコンソール１０でバッファ(または事前記憶)される。
【００３７】
システムに利用可能なセンサの種類として、アイトラッカー（視線トラッカ−としても知られている）を備えても良く、ユーザの視線を監視することによって、ユーザが見ている、またはこれから視線が向かうスクリーン部分を特定する。そのようなセンサは光学式で非侵襲的であり、ヘッドセットの内部に取り付けられる。
【００３８】
本明細書および特許請求の範囲で使用されるとき、用語「含む／有する／備える（ｃｏｍｐｒｉｓｅｓ）および（ｃｏｍｐｒｉｓｉｎｇ）」およびそれらの変化形は、特定の特徴、ステップまたは整数値を含む意味で用いられている。その用語が、他の特徴、ステップまたは構成要素の存在を排除する意味であると解釈してはならない。
【００３９】
上記の説明、特許請求の範囲、または添付の図面に開示された特徴、それらの特定の形式でまたは開示された機能を行うための手段、または開示された結果を達成するための方法またはプロセスによって表された特徴は、適宜、別々に、または任意の組み合わせで利用することにより本発明を種々の異なる形態で実現可能である。
【図１】
2020501465.tif 000003
【図２】
2020501465.tif 000004
【図３】
2020501465.tif 000005
【図４】
2020501465.tif 000006
【図５】
2020501465.tif 000007
【図６】
2020501465.tif 000008
【図７】
2020501465.tif 000009
【図８】
2020501465.tif 000010
【図９】
2020501465.tif 000011
【図１０】
2020501465.tif 000012
【図１１】
2020501465.tif 000013
【図１２】
2020501465.tif 000014
【国際調査報告】
2020501465.tif 000015
2020501465.tif 000016