【手続補正書】
【提出日】平成30年10月19日(2018.10.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイ（ＨＭＤ）とゲームクラウドの間の通信を処理し、前記ＨＭＤを介して拡張現実シーンを表示する方法であって、
ユーザが前記ＨＭＤを着用するとき前記ユーザの現実世界環境のデータを前記ＨＭＤのカメラによってキャプチャするステップと、
前記ＨＭＤのワイヤレスアクセス回路によって、前記現実世界環境のデータをパケット化してパケット化された現実世界環境のデータを出力するステップと、
前記パケット化された現実世界環境のデータをインターネットに接続されたルータを介して前記ゲームクラウドに送信するステップとを含み、
前記ゲームクラウドはメディアデータを生成するためのプログラムを実行し、前記メディアデータを符号化およびパケット化して符号化メディアデータのストリームを出力し、前記符号化メディアデータは前記現実世界環境のデータの上にオーバーレイされるべき仮想オブジェクトデータを提供し、
前記方法はさらに、
前記ワイヤレスアクセス回路によって、前記ゲームクラウドから受信した前記符号化メディアデータのストリームをパケット解除して、パケット解除されたデータを提供するステップと、
前記ＨＭＤのデコーダによって、前記パケット解除されたデータをデコードしてデコードされたメディアデータを出力するステップと、
前記ＨＭＤのマイクロコントローラによって、前記ＨＭＤのディスプレイデバイス上に前記拡張現実シーンを表示するために前記現実世界環境のデータ上のオーバーレイとして前記デコードされたメディアデータをレンダリングするステップとを含む方法。
【請求項２】
前記パケット化された現実世界環境のデータを送信するステップは、前記ＨＭＤと前記ルータの間のゲームコンソールを用いることなくインターネットを介して前記ゲームクラウドに前記パケット化された現実世界環境のデータを送信する、請求項１に記載の方法。
【請求項３】
前記パケット化された現実世界環境のデータと前記符号化メディアデータのストリームをインターネットを介して転送するためにインターネットはインターネットプロトコル（ＩＰ）上で転送制御プロトコル（ＴＣＰ）を適用する、請求項１に記載の方法。
【請求項４】
前記ゲームクラウドは前記メディアデータの符号化を実行するためのコーデックを含む、請求項１に記載の方法。
【請求項５】
前記ＨＭＤのプロセッサによって、インターネットにアクセスするためのオペレーティングシステムを実行するステップと、
前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受け取るステップと、
前記ネットワークアクセスアプリケーションによって、前記マイクロコントローラにワイヤレスネットワークのリストを提供し、前記リストを前記ディスプレイデバイス上に表示するステップと、
前記ＨＭＤに結合したユーザ入力回路を介して、前記リストからの一つのワイヤレスネットワークの選択を受け取るステップと、
前記ネットワークアクセスアプリケーションによって、前記一つのワイヤレスネットワークにアクセスするためのパスワードを要求するステップと、
前記ネットワークアクセスアプリケーションによって、前記パスワードが認証された場合にインターネットへのアクセスを提供するステップと、
インターネットへのアクセスを提供することに反応してゲームアクセスアプリケーションへのアクセスを提供するステップと、
前記ユーザ入力回路を介して前記ゲームアクセスアプリケーションの選択を受け取るステップと、
前記ゲームアクセスアプリケーションの選択を受け取ることに反応して前記プログラムへのアクセスを提供するステップとをさらに含む、請求項１に記載の方法。
【請求項６】
前記ゲームアクセスアプリケーションを介して前記プログラムにアクセスするためのユーザネームとパスワードの要求を受け取るステップと、
前記プログラムにアクセスするユーザから前記ユーザネームと前記パスワードを受け取るステップと、
前記プログラムにアクセスするための前記ユーザネームと前記パスワードが真正であると判定された場合に前記プログラムへのアクセスを許可するステップとをさらに含む、請求項５に記載の方法。
【請求項７】
前記ゲームクラウドは前記パケット化された現実世界環境のデータをパケット解除して前記現実世界環境のデータを抽出するように構成される、請求項１に記載の方法。
【請求項８】
前記現実世界環境のデータ上に前記メディアデータをスーパーインポーズするために前記メディアデータが前記現実世界環境のデータにもとづいて生成される、請求項７に記載の方法。
【請求項９】
前記ルータはインターネットと前記ＨＭＤの間に配置され、前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項１に記載の方法。
【請求項１０】
前記無線接続はＷｉ−Ｆｉ接続である、請求項９に記載の方法。
【請求項１１】
前記ルータによって、インターネットから前記符号化メディアデータのストリームを受信するステップと、
前記ルータによって、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤに前記符号化メディアデータのストリームをルーティングするステップとをさらに含む、請求項１に記載の方法。
【請求項１２】
前記ルータによって、前記符号化メディアデータのストリームを受信するステップと、
前記ＨＭＤのストリームバッファによって、前記ルータによって受信された前記符号化メディアデータのストリームをバッファリングするステップとをさらに含む、請求項１に記載の方法。
【請求項１３】
前記デコードするステップと前記パケット解除するステップは前記バッファリングするステップの後、前記ＨＭＤによって実行される、請求項１２に記載の方法。
【請求項１４】
前記ＨＭＤの映像音声分離器によって、前記デコードされたメディアデータを音声データとビデオデータに分離するステップと、
前記ＨＭＤの映像音声同期器によって、前記ビデオデータを前記音声データと同期させるステップと、
前記ＨＭＤのオーディオコーデックによって、同期された前記音声データを変換して音声信号を生成するステップと、
前記ＨＭＤの１以上のスピーカによって、前記音声信号を再生して音声を生成するステップと、
前記ＨＭＤによって、同期されたビデオデータを変換し、アナログビデオ信号を生成するステップとをさらに含み、
前記レンダリングするステップは、前記アナログビデオ信号を表示して前記拡張現実シーンを表示する、請求項１に記載の方法。
【請求項１５】
前記ユーザの目に向けられた前記ＨＭＤの内部カメラによって、前記ユーザの注視をキャプチャするために前記ユーザの目の画像データをキャプチャするステップと、
前記ワイヤレスアクセス回路によって、前記ユーザの目の前記画像データをパケット化して前記画像データを含むパケット化されたデータを生成するステップと、
前記ルータおよびインターネットを介して前記ゲームクラウドに前記画像データを含む前記パケット化されたデータを送信するステップとをさらに含む、請求項１に記載の方法。
【請求項１６】
前記マイクロコントローラによって、前記ユーザの前記注視にもとづいて前記ディスプレイデバイスのディスプレイスクリーンを異なる解像度に分割するステップをさらに含み、高解像度を有する前記ディスプレイスクリーンの一部は前記注視の方向にある、請求項１５に記載の方法。
【請求項１７】
前記ＨＭＤのコントローラ通信回路によって、手持型コントローラから入力信号を受信するステップと、
前記コントローラ通信回路によって、前記入力信号を入力データに変換するステップと、
前記ワイヤレスアクセス回路によって、前記入力データをパケット化してパケット化された入力データを生成するステップと、
前記ワイヤレスアクセス回路によって、前記ルータおよびインターネットを介して前記パケット化された入力データを前記ゲームクラウドのコーデックに送信するステップとをさらに含む、請求項１に記載の方法。
【請求項１８】
前記ワイヤレスアクセス回路は、前記デコーダが統合されるチップとは別のチップに統合される、請求項１に記載の方法。
【請求項１９】
ヘッドマウントディスプレイ（ＨＭＤ）を含むシステムであって、
前記ＨＭＤは、
前記ＨＭＤがユーザによって着用され、前記ユーザの現実世界環境のデータをキャプチャするように構成されたカメラと、
前記カメラに結合したワイヤレスアクセス回路であって、前記現実世界環境のデータをパケット化してパケット化された現実世界環境のデータを出力するように構成された前記ワイヤレスアクセス回路とを含み、
前記ワイヤレスアクセス回路は、前記パケット化された現実世界環境のデータをルータとインターネットを介してゲームクラウドに送信するように構成され、
前記ゲームクラウドはメディアデータを生成するためのプログラムを実行し、前記メディアデータを符号化およびパケット化して符号化メディアデータのストリームを出力し、前記符号化メディアデータは前記現実世界環境のデータの上にオーバーレイされるべき仮想オブジェクトデータを提供し、前記仮想オブジェクトデータは前記ゲームクラウドによって生成され、
前記ワイヤレスアクセス回路は、前記ゲームクラウドから受信した前記符号化メディアデータのストリームをパケット解除して、パケット解除されたデータを提供するように構成され、
前記ＨＭＤはさらに、
前記ワイヤレスアクセス回路に結合したデコーダであって、前記パケット解除されたデータをデコードしてデコードされたメディアデータを出力する前記デコーダと、
前記デコーダに結合したマイクロコントローラであって、前記ＨＭＤのディスプレイデバイス上に拡張現実シーンを表示するために前記現実世界環境のデータ上に前記デコードされたメディアデータをオーバーレイするように構成された前記マイクロコントローラとを含む、システム。
【請求項２０】
前記ワイヤレスアクセス回路は、前記ＨＭＤと前記ルータの間のゲームコンソールを用いることなくインターネットを介して前記ゲームクラウドに前記パケット化された現実世界環境のデータを送信するように構成された、請求項１９に記載のシステム。
【請求項２１】
前記パケット化された現実世界環境のデータと前記符号化メディアデータのストリームをインターネットを介して転送するためにインターネットはインターネットプロトコル（ＩＰ）上で転送制御プロトコル（ＴＣＰ）を適用する、請求項１９に記載のシステム。
【請求項２２】
前記ゲームクラウドは前記メディアデータの符号化を実行するためのコーデックを含む、請求項１９に記載のシステム。
【請求項２３】
前記ＨＭＤはさらに、
インターネットにアクセスするためのオペレーティングシステムを実行するプロセッサを含み、
前記プロセッサは、前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受け取るように構成され、
前記ネットワークアクセスアプリケーションは、前記マイクロコントローラにワイヤレスネットワークのリストを提供し、前記リストを前記ディスプレイデバイス上に表示するように構成され、
前記ＨＭＤはさらに、
前記ＨＭＤに結合したユーザ入力回路であって、前記リストからの一つのワイヤレスネットワークの選択を受け取るように構成された前記ユーザ入力回路を含み、
前記ネットワークアクセスアプリケーションは、前記一つのワイヤレスネットワークにアクセスするためのパスワードを要求するように構成され、
前記ネットワークアクセスアプリケーションは、前記パスワードが真正であるという判定に反応してインターネットへのアクセスを提供するように構成され、
インターネットへのアクセスを提供することに反応してゲームアクセスアプリケーションがアクセスされ、
前記ユーザ入力回路は、前記ゲームアクセスアプリケーションの選択を受け取るように構成され、
前記ゲームアクセスアプリケーションの選択を受け取ることに反応して前記プログラムがアクセスされる、請求項１９に記載のシステム。
【請求項２４】
前記ＨＭＤは、前記ゲームアクセスアプリケーションを介して前記プログラムにアクセスするためのユーザネームとパスワードの要求を受け取るように構成され、
前記ＨＭＤは、前記ユーザ入力回路から前記プログラムにアクセスするための前記ユーザネームと前記パスワードを受け取るように構成され、
前記プログラムにアクセスするための前記ユーザネームと前記パスワードが真正であると判定された場合に前記プログラムがアクセスされる、請求項２３に記載のシステム。
【請求項２５】
前記ゲームクラウドは前記パケット化された現実世界環境のデータをパケット解除して前記現実世界環境のデータを抽出するように構成される、請求項１９に記載のシステム。
【請求項２６】
前記現実世界環境のデータ上に前記メディアデータをスーパーインポーズするために前記メディアデータが前記現実世界環境のデータにもとづいて生成される、請求項２５に記載のシステム。
【請求項２７】
前記ルータはインターネットと前記ＨＭＤの間に配置され、前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項１９に記載のシステム。
【請求項２８】
前記無線接続はＷｉ−Ｆｉ接続である、請求項２７に記載のシステム。
【請求項２９】
前記ルータは、インターネットから前記符号化メディアデータのストリームを受信するように構成され、
前記ルータは、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤに前記符号化メディアデータのストリームをルーティングするように構成される、請求項１９に記載のシステム。
【請求項３０】
前記ルータは、前記符号化メディアデータのストリームを受信するように構成され、
前記ＨＭＤは前記デコーダに結合したストリームバッファを含み、前記ストリームバッファは、前記ルータによって受信された前記符号化メディアデータのストリームをバッファリングするように構成される、請求項１９に記載のシステム。
【請求項３１】
前記ワイヤレスアクセス回路は、前記ストリームバッファにバッファされた前記符号化メディアデータのストリームにアクセスし、前記符号化メディアデータのストリームをパケット解除するように構成される、請求項３０に記載のシステム。
【請求項３２】
前記ＨＭＤは、前記デコードされたメディアデータを音声データとビデオデータに分離するように構成された映像音声分離器を含み、
前記ＨＭＤは、前記ビデオデータを前記音声データと同期させるように構成された映像音声同期器を含み、
前記ＨＭＤは、同期された前記音声データを変換して音声信号を生成するように構成されたオーディオコーデックを含み、
前記ＨＭＤは、前記音声信号を再生して音声を生成するように構成された１以上のスピーカを含み、
前記ＨＭＤは、同期されたビデオデータをアナログビデオ信号に変換するように構成され、
前記マイクロコントローラは、前記アナログビデオ信号にレンダリングオペレーションを適用して前記拡張現実シーンを表示するように構成される、請求項１９に記載のシステム。
【請求項３３】
前記ＨＭＤは、前記ユーザの注視をキャプチャするために前記ユーザの目の画像データをキャプチャするように構成された内部カメラを含み、前記内部カメラは前記ユーザの目に向けられるように構成され、
前記ワイヤレスアクセス回路は、前記ユーザの目の前記画像データをパケット化して前記画像データを含むパケット化されたデータを生成するように構成され、
前記ワイヤレスアクセス回路は、前記ルータおよびインターネットを介して前記ゲームクラウドに前記画像データを含む前記パケット化されたデータを送信するように構成される、請求項１９に記載のシステム。
【請求項３４】
前記マイクロコントローラは、前記ユーザの前記注視にもとづいて前記ディスプレイデバイスのディスプレイスクリーンを異なる解像度に分割するように構成され、高解像度を有する前記ディスプレイスクリーンの一部は前記注視の方向にある、請求項３３に記載のシステム。
【請求項３５】
前記ＨＭＤに結合した手持型コントローラをさらに含み、
前記ＨＭＤは、前記手持型コントローラから入力信号を受信するように構成されたコントローラ通信回路を含み、
前記コントローラ通信回路は、前記入力信号を入力データに変換するように構成され、
前記ワイヤレスアクセス回路は、前記入力データをパケット化してパケット化された入力データを生成するように構成され、
前記ワイヤレスアクセス回路は、前記ルータおよびインターネットを介して前記パケット化された入力データを前記ゲームクラウドのコーデックに送信するように構成される、請求項１９に記載のシステム。
【請求項３６】
前記ワイヤレスアクセス回路は、前記デコーダが統合されるチップとは別のチップに統合される、請求項１９に記載のシステム。