【手続補正書】
【提出日】令和3年2月26日(2021.2.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザによる使用のための仮想画像生成システムであって、
メモリと、
ディスプレイサブシステムと、
オブジェクト選択デバイスであって、前記オブジェクト選択デバイスは、入力を前記ユーザから受信し、前記ユーザ入力に応答して、３次元場面内の複数のオブジェクトから少なくとも１つのオブジェクトを選択するために構成され、前記少なくとも１つの選択されたオブジェクトは、実オブジェクトを含む、オブジェクト選択デバイスと、
制御サブシステムであって、前記制御サブシステムは、少なくとも、
オーディオ捕捉デバイスを用いて、前記複数のオブジェクトのうちの少なくとも１つの選択されていないオブジェクトよりも前記少なくとも１つの選択されたオブジェクトから出るオーディオデータを優先的に入手することと、
少なくとも、第２のメタデータに少なくとも部分的に基づいて第１のメタデータを前記ユーザに対して局所化することによって、前記オーディオデータから空間化オーディオをレンダリングすることであって、前記第１のメタデータは、前記ユーザに対して局所化されて第１の局所化メタデータになり、少なくとも１つの選択されたオブジェクトと関連付けられ、前記仮想画像生成システムによってまたは前記オーディオ捕捉デバイスを有する異なる仮想画像生成システムによって前記オーディオデータとともに生成され、前記第２のメタデータは、前記ユーザのための、前記仮想画像生成システムによって検出される位置特性または配向特性に関連する、ことと、
前記第１のメタデータと前記第２のメタデータとに少なくとも部分的に基づいて、レンダリングされた前記空間化オーディオと、前記ユーザに同期する前記少なくとも１つの選択されたオブジェクトを表す少なくとも１つの仮想オブジェクトとを提示することと
のために構成される、制御サブシステムと
を備える、仮想画像生成システム。
【請求項２】
少なくとも画像捕捉デバイスを用いて、前記少なくとも１つの選択されたオブジェクトのための画像データを入手することと、
少なくとも、前記第２のメタデータに部分的にまたは全体的に基づいて前記ユーザに対して前記第１のメタデータを局所化することによって、前記少なくとも１つの選択されたオブジェクトを３次元場面内の前記仮想オブジェクトとして表す、前記少なくとも１つの選択されたオブジェクトの前記画像データを複数の画像フレームとしてレンダリングすることと
をさらに含み、
前記第１のメタデータは、前記第２のメタデータに部分的にまたは全体的に基づいて局所化されて前記第１の局所化メタデータになり、前記仮想画像生成システムによってまたは前記画像捕捉デバイスを有する異なる仮想画像生成システムによって検出される異なる位置特性または配向特性に関連する、請求項１に記載の仮想画像生成システム。
【請求項３】
前記空間化オーディオおよび前記画像データは、前記空間化オーディオおよび前記仮想オブジェクトが生成される空間環境と異なる空間環境において、少なくとも、前記異なる空間環境において前記少なくとも１つの選択されたオブジェクトを再位置付けされたオブジェクトとして再位置付けすることによって、再生される、請求項２に記載の仮想画像生成システム。
【請求項４】
前記空間化オーディオおよび前記画像データは、さらに少なくとも、前記再位置付けされたオブジェクトに対応する絶対メタデータを入手することによって、異なる空間環境において再生される、請求項３に記載の仮想画像生成システム。
【請求項５】
前記空間化オーディオおよび前記画像データは、さらに少なくとも、前記絶対メタデータを局所化して局所化絶対メタデータになることによって、異なる空間環境において再生され、前記絶対メタデータは、前記少なくとも１つの選択されたオブジェクトに、再生ユーザに対応する、請求項４に記載の仮想画像生成システム。
【請求項６】
前記空間化オーディオおよび前記画像データは、さらに少なくとも、前記局所化絶対メタデータに少なくとも部分的に基づいて前記空間化オーディオおよび前記画像データをレンダリングすることによって、異なる空間環境において再生される、請求項４に記載の仮想画像生成システム。
【請求項７】
前記ユーザの頭部姿勢を追跡する１つ以上のセンサをさらに備え、前記ユーザの前記頭部姿勢は、前記第１のメタデータおよび前記オーディオデータに沿って、前記第２のメタデータとしてデータベース内に記憶され、前記少なくとも１つの選択されたオブジェクトに対応する前記第１のメタデータは、前記ユーザの前記頭部姿勢を備える前記第２のメタデータに少なくとも部分的に基づいて前記ユーザに前記空間化オーディオをレンダリングするためにおよび前記画像データをレンダリングするために前記ユーザに対して局所化される、請求項２に記載の仮想画像生成システム。
【請求項８】
ビデオプロセッサをさらに備え、前記ビデオプロセッサは、データベース内に記憶される前記少なくとも１つの選択されたオブジェクトの前記画像データを入手し、前記画像データを処理することなく前記画像データをレコーダに送信し、前記レコーダは、処理された画像を前記メモリ内に記憶し、前記ディスプレイサブシステムは、投影サブシステムおよび部分的に透明なディスプレイ表面を含み、前記投影サブシステムは、前記複数の画像フレームを前記部分的に透明なディスプレイ表面上へ投影し、前記部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成される、請求項２に記載の仮想画像生成システム。
【請求項９】
ビデオプロセッサおよびフレーム構造をさらに備え、前記フレーム構造は、前記ユーザによって装着されるために、および、前記ディスプレイサブシステムの少なくとも一部を担持するために構成され、前記ビデオプロセッサは、前記画像捕捉デバイスによって捕捉されたビデオデータから前記少なくとも１つの選択されたオブジェクトの前記画像データを抽出し、前記ビデオデータから抽出された前記画像データを前記少なくとも１つの仮想オブジェクトとして前記メモリ内に記憶し、前記画像データをレコーダに送信し、前記レコーダは、前記画像データを前記少なくとも１つの仮想オブジェクトとしてデータベース内に記録する、請求項２に記載の仮想画像生成システム。
【請求項１０】
複数のスピーカをさらに備え、前記制御サブシステムは、前記空間化オーディオを前記複数のスピーカにさらに伝達する、請求項１に記載の仮想画像生成システム。
【請求項１１】
前記ディスプレイサブシステムは、視野を有し、前記オブジェクト選択デバイスは、前記ユーザ入力に応答して、前記視野内の前記少なくとも１つのオブジェクトを選択するための第１の命令を受信する、請求項１に記載の仮想画像生成システム。
【請求項１２】
前記オブジェクト選択デバイスは、前記ユーザ入力に応答して、３次元カーソルを前記ディスプレイサブシステムの前記視野内で移動させるための第２の命令を受信する、請求項１１に記載の仮想画像生成システム。
【請求項１３】
前記ユーザ入力は、１つ以上の音声コマンドまたは１つ以上の手のジェスチャを含み、前記オブジェクト選択デバイスは、前記１つ以上の音声コマンドまたは前記１つ以上の手のジェスチャを捕捉する１つ以上のデバイスを備える、請求項１に記載の仮想画像生成システム。
【請求項１４】
前記仮想画像生成システムは、前記オーディオデータのタイプに少なくとも部分的に基づいて、前記少なくとも１つの選択されたオブジェクトをプロファイル化し、前記オーディオデータのタイプは、少なくとも、１つ以上の実オブジェクトからそれぞれ出る前記オーディオデータの１つ以上の特性に少なくとも部分的に基づいて前記オーディオデータの特性を分析するによって、決定される、請求項１に記載の仮想画像生成システム。
【請求項１５】
前記少なくとも１つのオブジェクトは、複数のオブジェクトを含み、前記オブジェクト選択デバイスは、前記複数のオブジェクトのうちの１つのオブジェクトを個々に選択する第１の機能を前記ユーザに提供し、前記ユーザ入力に応答する範囲内で前記複数のオブジェクトのうちの複数のオブジェクトを大域的に選択する第２の機能を前記ユーザに提供し、前記ディスプレイサブシステムによって前記ユーザに提供された前記視野は、前記範囲を備える、請求項１に記載の仮想画像生成システム。
【請求項１６】
前記オブジェクト選択デバイスは、前記ユーザから別の入力を受信し、前記別の入力に応答して、前記少なくとも１つの選択されたオブジェクトを選択解除する、請求項１に記載の仮想画像生成システム。
【請求項１７】
前記ディスプレイサブシステムによって前記ユーザに提供された視野に対する前記少なくとも１つの選択されたオブジェクトの場所を追跡する少なくとも１つのセンサをさらに備える、請求項１に記載の仮想画像生成システム。
【請求項１８】
前記制御サブシステムは、前記少なくとも１つのセンサによって追跡される前記少なくとも１つの選択されたオブジェクトの場所が、前記ディスプレイサブシステムによって前記ユーザに提供される前記視野外に移動すると、前記オーディオデータを前記メモリ内に記憶することを引き起こす、請求項１７に記載の仮想画像生成システム。
【請求項１９】
前記制御サブシステムは、前記少なくとも１つのセンサによって追跡される前記少なくとも１つの選択されたオブジェクトの場所が、前記ディスプレイサブシステムによって前記ユーザに提供される前記視野外に移動すると、前記オーディオデータを前記メモリ内に記憶することを継続する、請求項１７に記載の仮想画像生成システム。
【請求項２０】
オーディオ捕捉デバイスは、指向性オーディオ出力を生成し、前記制御サブシステムは、前記少なくとも１つの選択されていないオブジェクトよりも前記少なくとも１つの選択されたオブジェクトの方向に、前記オーディオ捕捉デバイスによって受信された前記オーディオデータを優先的に表すように、前記指向性オーディオ出力をさらに修正し、前記空間化オーディオは、前記制御サブシステムによって修正された前記指向性オーディオ出力から導出される、請求項１に記載の仮想画像生成システム。
【請求項２１】
前記少なくとも１つの選択されたオブジェクトに関連する画像データを捕捉する１つ以上の画像捕捉デバイスをさらに備え、前記制御サブシステムは、前記オーディオデータと同期する前記画像データを前記メモリ内に記憶し、前記少なくとも１つの選択されたオブジェクトは、カーソルを使用することなく前記ユーザによって選択される、請求項１に記載の仮想画像生成システム。
【請求項２２】
前記制御サブシステムは、前記メモリ内に記憶された前記画像データを前記少なくとも１つの選択されたオブジェクトのための仮想コンテンツデータに変換し、前記仮想コンテンツデータを前記メモリ内にさらに記憶する、請求項２１に記載の仮想画像生成システム。
【請求項２３】
前記少なくとも１つの選択されたオブジェクトは、前記仮想画像生成システムによってレンダリングされた仮想オブジェクトを含む、請求項１に記載の仮想画像生成システム。
【請求項２４】
複数の仮想オブジェクトによって生成された前記オーディオデータを記憶するデータベースをさらに備え、前記制御サブシステムは、選択されていない仮想オブジェクトよりも選択された仮想オブジェクトに対応する前記オーディオデータを前記データベースから優先的に入手するための命令を受信し、前記データベースは、前記仮想オブジェクトの説明を記憶し、前記データベースに記憶される前記仮想オブジェクトの前記説明は、前記ユーザによって表される前記仮想オブジェクトの口頭説明に合致される、請求項１に記載の仮想画像生成システム。
【請求項２５】
前記制御サブシステムは、前記少なくとも１つの選択されたオブジェクトに対応する前記第１のメタデータをさらに生成し、前記メモリ内に記憶される前記オーディオデータは、前記オーディオデータ内のコンテンツおよび前記第１のメタデータを含む、請求項１に記載の仮想画像生成システム。
【請求項２６】
前記第１のメタデータは、前記少なくとも１つの選択されたオブジェクトのための絶対位置および絶対配向に関するデータを含む、請求項１に記載の仮想画像生成システム。
【請求項２７】
少なくとも１つのスピーカをさらに備え、前記仮想画像生成システムは、前記空間化オーディオをレンダリングすることによって、前記少なくとも１つの選択されたオブジェクトのみから入手された前記オーディオデータを前記空間化オーディオにさらに変換し、前記オーディオデータを前記空間化オーディオに変換することは、前記メモリ内に記憶された前記オーディオデータを読み出すことと、前記メモリから読み出された前記オーディオデータから空間化オーディオを導出することと、前記空間化オーディオを前記少なくとも１つのスピーカに伝達することと、前記実オブジェクトから生じる音と前記空間化オーディオを混合することとを含む、請求項１に記載の仮想画像生成システム。
【請求項２８】
レコーダをさらに備え、前記レコーダは、前記空間化オーディオを含む第１のオーディオデータ、および、前記少なくとも１つの選択されたオブジェクトに対応する前記第１のメタデータまたは前記第２のメタデータを入手し、前記レコーダは、第１のビデオデータをさらに入手し、前記第１のビデオデータは、前記画像データを含み、少なくとも前記少なくとも１つの選択されたオブジェクトに関連するメタデータに対応し、前記レコーダは、異なるコンピューティングデバイス上のプレーヤにおける後続再生のために前記第１のオーディオデータおよび前記第１のビデオデータをさらに記憶する、請求項２７に記載の仮想画像生成システム。
【請求項２９】
前記レコーダは、記録し、第１の仮想オブジェクトからの第１のオーディオおよび第１の実オブジェクトからの第２のオーディオを記録しないように構成され、前記空間化オーディオは、少なくとも、前記第１の局所化メタデータおよび大域的メタデータを前記ユーザのために前記オーディオデータに適用することによって、前記オーディオデータからレンダリングされる、請求項２８に記載の仮想画像生成システム。
【請求項３０】
少なくとも、前記第２のメタデータに少なくとも部分的に基づいて前記ユーザに対して前記第１のメタデータではなく絶対メタデータを局所化することによって、前記仮想オブジェクトとして前記少なくとも１つの選択されたオブジェクトを表す複数の画像フレームとして、前記少なくとも１つの選択されたオブジェクトのための少なくとも画像捕捉デバイスによって入手された画像データをレンダリングすることをさらに含み、前記少なくとも１つの選択されたオブジェクトは、前記仮想画像生成システムの前記ユーザまたは前記異なる仮想画像生成システムの異なるユーザが注視する方向にかかわらず、持続的に選択されたままである、請求項１に記載の仮想画像生成システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明の付加的および他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。
本発明は、例えば、以下を提供する。
（項目１）
エンドユーザによる使用のための仮想画像生成システムであって、
メモリと、
ディスプレイサブシステムと、
オブジェクト選択デバイスであって、前記オブジェクト選択デバイスは、入力を前記エンドユーザから受信し、エンドユーザ入力に応答して、少なくとも１つのオブジェクトを持続的に選択するために構成される、オブジェクト選択デバイスと、
制御サブシステムであって、前記制御サブシステムは、少なくとも１つの選択されたオブジェクトから生じるビデオデータを生成し、複数の画像フレームを前記ビデオデータからの３次元場面内にレンダリングし、前記画像フレームを前記ディスプレイサブシステムに伝達し、前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータを生成することと、前記オーディオデータを前記メモリ内に記憶することとのために構成される、制御サブシステムと
を備える、仮想画像生成システム。
（項目２）
前記制御サブシステムはさらに、前記オーディオデータと同期する前記ビデオデータを前記メモリ内に記憶するために構成される、項目１に記載の仮想画像生成システム。
（項目３）
複数のスピーカをさらに備え、前記制御サブシステムはさらに、前記生成されたオーディオデータを前記スピーカに伝達するために構成される、項目１に記載の仮想画像生成システム。
（項目４）
前記ディスプレイサブシステムは、視野を有し、前記オブジェクト選択デバイスは、前記視野内の前記少なくとも１つのオブジェクトを持続的に選択するために構成される、項目１に記載の仮想画像生成システム。
（項目５）
前記オブジェクト選択デバイスは、３次元カーソルを前記ディスプレイサブシステムの視野内で移動させ、前記エンドユーザ入力の受信に応答して、前記少なくとも１つのオブジェクトを選択するために構成される、項目４に記載の仮想画像生成システム。
（項目６）
前記エンドユーザ入力は、１つ以上の音声コマンドを含み、前記オブジェクト選択デバイスは、前記１つ以上の音声コマンドを感知するために構成される１つ以上のマイクロホンを備える、項目１に記載の仮想画像生成システム。
（項目７）
前記エンドユーザ入力は、１つ以上の手のジェスチャを含み、前記オブジェクト選択デバイスは、前記１つ以上の手のジェスチャを感知するために構成される１つ以上のカメラを備える、項目１に記載の仮想画像生成システム。
（項目８）
前記少なくとも１つのオブジェクトは、複数のオブジェクトを含み、前記オブジェクト選択デバイスは、前記エンドユーザ入力に応答して、前記オブジェクトを個々に選択するために構成される、項目１に記載の仮想画像生成システム。
（項目９）
前記少なくとも１つのオブジェクトは、複数のオブジェクトを含み、前記オブジェクト選択デバイスは、前記エンドユーザ入力に応答して、前記オブジェクトを大域的に選択するために構成される、項目１に記載の仮想画像生成システム。
（項目１０）
前記オブジェクト選択デバイスは、前記エンドユーザ入力に応答して、前記視野の角度範囲内の全てのオブジェクトを大域的に選択するために構成される、項目９に記載の仮想画像生成システム。
（項目１１）
前記角度範囲は、前記視野の角度範囲全体未満である、項目１０に記載の仮想画像生成システム。
（項目１２）
前記角度範囲は、前記視野の角度範囲全体である、項目１０に記載の仮想画像生成システム。
（項目１３）
前記オブジェクト選択デバイスはさらに、別の入力を前記エンドユーザから受信し、他のエンドユーザ入力に応答して、少なくとも１つの以前に選択されたオブジェクトを持続的に選択解除するために構成される、項目１に記載の仮想画像生成システム。
（項目１４）
前記ディスプレイサブシステムの視野に対する前記少なくとも１つの選択されたオブジェクトの場所を追跡するために構成される少なくとも１つのセンサをさらに備える、項目１に記載の仮想画像生成システム。
（項目１５）
前記制御サブシステムは、前記少なくとも１つの選択されたオブジェクトの追跡された場所が前記ディスプレイサブシステムの視野外に移動すると、前記オーディオデータを前記メモリ内に記憶することを中止するために構成される、項目１４に記載の仮想画像生成システム。
（項目１６）
前記制御サブシステムは、前記少なくとも１つの選択されたオブジェクトの追跡された場所が前記ディスプレイサブシステムの視野外に移動すると、前記オーディオデータを前記メモリ内に記憶することを継続するために構成される、項目１４に記載の仮想画像生成システム。
（項目１７）
前記少なくとも１つの選択されたオブジェクトは、実オブジェクトを含む、項目１に記載の仮想画像生成システム。
（項目１８）
オーディオ出力を生成するために構成されるマイクロホンアセンブリをさらに備え、前記制御サブシステムはさらに、オーディオ出力の方向を修正し、前記選択された実オブジェクトから生じる音を優先的に感知するために構成され、前記オーディオデータは、前記修正されたオーディオ出力から導出される、項目１７に記載の仮想画像生成システム。
（項目１９）
前記選択された実オブジェクトから生じるビデオデータを捕捉するために構成される１つ以上のカメラをさらに備え、前記制御サブシステムはさらに、前記オーディオデータと同期する前記ビデオデータを前記メモリ内に記憶するために構成される、項目１７に記載の仮想画像生成システム。
（項目２０）
前記制御サブシステムは、前記捕捉されたビデオデータを前記選択された実オブジェクトのための仮想コンテンツデータに変換し、前記仮想コンテンツを前記メモリ内に記憶するために構成される、項目１９に記載の仮想画像生成システム。
（項目２１）
前記少なくとも１つの選択されたオブジェクトは、仮想オブジェクトを含む、項目１に記載の仮想画像生成システム。
（項目２２）
複数の仮想オブジェクトのための音に対応するコンテンツデータを記憶するために構成されるデータベースをさらに備え、前記制御サブシステムはさらに、前記選択された仮想オブジェクトに対応するコンテンツデータを前記データベースから入手するために構成され、前記メモリ内に記憶されるオーディオデータは、前記入手されたコンテンツデータを含む、項目２１に記載の仮想画像生成システム。
（項目２３）
前記制御サブシステムはさらに、前記選択された仮想オブジェクトに対応するメタデータを生成するために構成され、前記メモリ内に記憶されるオーディオデータは、前記入手されたコンテンツデータおよび生成されたメタデータを含む、項目２２に記載の仮想画像生成システム。
（項目２４）
前記メタデータは、前記選択された仮想オブジェクトのための位置、配向、および音量データを含む、項目２３に記載の仮想画像生成システム。
（項目２５）
前記エンドユーザの頭部姿勢を追跡するために構成される１つ以上のセンサをさらに備え、前記データベースは、前記複数の仮想オブジェクトのための絶対メタデータを記憶するために構成され、前記制御サブシステムはさらに、前記選択された仮想オブジェクトに対応する絶対メタデータを入手し、前記エンドユーザの追跡された頭部姿勢に基づいて、前記絶対メタデータを前記エンドユーザに対して局所化することによって、前記メタデータを生成するために構成される、項目２３に記載の仮想画像生成システム。
（項目２６）
少なくとも１つのスピーカをさらに備え、前記制御サブシステムはさらに、前記記憶されたオーディオデータを前記メモリから読み出し、オーディオを前記読み出されたオーディオデータから導出し、前記オーディオを前記少なくとも１つのスピーカに伝達するために構成される、項目１に記載の仮想画像生成システム。
（項目２７）
前記メモリ内に記憶されるオーディオデータは、コンテンツデータおよびメタデータを含み、前記制御サブシステムはさらに、前記記憶されたコンテンツデータおよびメタデータを前記メモリから読み出し、前記読み出されたコンテンツデータおよびメタデータに基づいて、空間化オーディオをレンダリングし、前記レンダリングされた空間化オーディオを前記少なくとも１つのスピーカに伝達するために構成される、項目２６に記載の仮想画像生成システム。
（項目２８）
前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるために構成される、項目１に記載の仮想画像生成システム。
（項目２９）
前記ディスプレイサブシステムは、投影サブシステムおよび部分的に透明なディスプレイ表面を含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影させるために構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるために構成される、項目２８に記載の仮想画像生成システム。
（項目３０）
前記エンドユーザによって装着されるために構成されるフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイサブシステムの少なくとも一部を担持する、項目２８に記載の仮想画像生成システム。
（項目３１）
エンドユーザによって仮想画像生成システムを動作させる方法であって、
少なくとも１つのオブジェクトを持続的に選択することと、
少なくとも１つの選択されたオブジェクトから生じるビデオデータを生成することと、
複数の画像フレームを前記生成されたビデオデータからの３次元場面内にレンダリングすることと、
前記画像フレームを前記エンドユーザに表示することと、
前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータを生成することと、
前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータをメモリ内に記憶することと
を含む、方法。
（項目３２）
前記オーディオデータと同期する前記ビデオデータを前記メモリ内に記憶することをさらに含む、項目３１に記載の方法。
（項目３３）
前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータを前記エンドユーザによる知覚のための音に変換することをさらに含む、項目３１に記載の方法。
（項目３４）
前記少なくとも１つのオブジェクトは、前記エンドユーザの視野内で選択される、項目３１に記載の方法。
（項目３５）
前記少なくとも１つのオブジェクトを選択することは、３次元カーソルを前記エンドユーザの視野内で移動させ、前記３次元カーソルを用いて前記少なくとも１つのオブジェクトを選択することを含む、項目３４に記載の方法。
（項目３６）
前記少なくとも１つのオブジェクトを選択することは、１つ以上の音声コマンドを発行することを含む、項目３１に記載の方法。
（項目３７）
前記少なくとも１つのオブジェクトを選択することは、１つ以上の手のジェスチャを行うことを含む、項目３１に記載の方法。
（項目３８）
前記少なくとも１つのオブジェクトは、複数のオブジェクトを含み、前記複数のオブジェクトを選択することは、前記オブジェクトを個々に選択することを含む、項目３１に記載の方法。
（項目３９）
前記少なくとも１つのオブジェクトは、複数のオブジェクトを含み、前記複数のオブジェクトを選択することは、前記オブジェクトを大域的に選択することを含む、項目３１に記載の方法。
（項目４０）
前記オブジェクトを大域的に選択することは、前記エンドユーザの視野の角度範囲を定義し、前記エンドユーザの視野の定義された角度範囲内の前記オブジェクトの全てを選択することを含む、項目３９に記載の方法。
（項目４１）
前記定義された角度範囲は、前記エンドユーザの視野の角度範囲全体未満である、項目４０に記載の方法。
（項目４２）
前記定義された角度範囲は、前記エンドユーザの視野の角度範囲全体である、項目４０に記載の方法。
（項目４３）
少なくとも１つの以前に選択されたオブジェクトを持続的に選択解除することをさらに含む、項目３１に記載の方法。
（項目４４）
前記エンドユーザの視野に対する前記少なくとも１つの選択されたオブジェクトの場所を追跡することをさらに含む、項目３１に記載の方法。
（項目４５）
前記少なくとも１つの選択されたオブジェクトの追跡された場所が前記エンドユーザの視野外に移動すると、前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータを前記メモリ内に記憶することを中止することをさらに含む、項目４４に記載の方法。
（項目４６）
前記少なくとも１つの選択されたオブジェクトの追跡された場所が前記エンドユーザの視野外に移動すると、前記少なくとも１つの選択されたオブジェクトから生じるオーディオデータを前記メモリ内に記憶することを継続することをさらに含む、項目４４に記載の方法。
（項目４７）
前記少なくとも１つの選択されたオブジェクトは、実オブジェクトを含む、項目３１に記載の方法。
（項目４８）
他の実オブジェクトから生じる音と比較して、前記選択された実オブジェクトから生じる音を優先的に感知することをさらに含み、前記オーディオデータは、前記優先的に感知される音から導出される、項目４７に記載の方法。
（項目４９）
前記選択された実オブジェクトから生じるビデオデータを捕捉することと、
前記オーディオデータと同期する前記ビデオデータを前記メモリ内に記憶することと
をさらに含む、項目４７に記載の方法。
（項目５０）
前記捕捉されたビデオデータを仮想コンテンツデータに変換し、前記仮想コンテンツデータを前記メモリ内に記憶することをさらに含む、項目４９に記載の方法。
（項目５１）
前記少なくとも１つの選択されたオブジェクトは、仮想オブジェクトを含む、項目３１に記載の方法。
（項目５２）
複数の仮想オブジェクトのための音に対応するコンテンツデータを記憶することと、
前記選択された仮想オブジェクトに対応するコンテンツデータを入手することであって、前記メモリ内に記憶されるオーディオデータは、前記入手されたコンテンツデータを含む、ことと
をさらに含む、項目５１に記載の方法。
（項目５３）
前記選択された仮想オブジェクトに対応するメタデータを生成することであって、前記メモリ内に記憶されるオーディオデータは、前記入手されたコンテンツデータおよび前記生成されたメタデータを含む、こと
をさらに含む、項目５２に記載の方法。
（項目５４）
前記メタデータは、前記選択された仮想オブジェクトのための位置、配向、および音量データを含む、項目５３に記載の方法。
（項目５５）
前記エンドユーザの頭部姿勢を追跡することと、
前記複数の仮想オブジェクトのための絶対メタデータを記憶することと
をさらに含み、
前記メタデータを生成することは、前記選択された仮想オブジェクトに対応する絶対メタデータを読み出し、前記エンドユーザの追跡された頭部姿勢に基づいて、前記絶対メタデータを前記エンドユーザに対して局所化することを含む、項目５３に記載の方法。
（項目５６）
前記記憶されたオーディオデータを読み出し、オーディオを前記読み出されたオーディオデータから導出し、前記オーディオを前記エンドユーザによる知覚のための音に変換することをさらに含む、項目３１に記載の方法。
（項目５７）
前記記憶されたオーディオデータは、コンテンツデータおよびメタデータを含み、前記方法はさらに、
前記記憶されたコンテンツデータおよびメタデータを前記メモリから読み出すことと、
前記読み出されたコンテンツデータおよびメタデータに基づいて、空間化オーディオをレンダリングすることと、
前記空間化オーディオを前記エンドユーザによる知覚のための音に変換することと
を含む、項目３１に記載の方法。
（項目５８）
再生ユーザによる使用のための仮想画像生成システムであって、
メモリであって、前記メモリは、オリジナル空間環境内の少なくとも１つのオブジェクトから生じるオーディオコンテンツデータおよびビデオコンテンツデータを記憶するために構成される、メモリと、
複数のスピーカと、
ディスプレイサブシステムと、
制御サブシステムであって、前記制御サブシステムは、前記オーディオコンテンツデータおよびビデオコンテンツデータを前記メモリから読み出し、前記読み出されたオーディオコンテンツデータおよびビデオコンテンツデータからそれぞれオーディオおよびビデオを前記オリジナル空間環境と異なる新しい空間環境内にレンダリングし、前記レンダリングされたオーディオを前記スピーカに、前記生成されたビデオデータを前記ディスプレイサブシステムに同期して伝達するために構成される、制御サブシステムと
を備える、仮想画像生成システム。
（項目５９）
前記制御サブシステムは、前記オーディオコンテンツデータおよびビデオコンテンツデータを前記メモリ内に記憶するために構成される、項目５８に記載の仮想画像生成システム。
（項目６０）
前記メモリ内への前記オーディオコンテンツデータおよびビデオコンテンツデータの記憶に先立って、入力をエンドユーザから受信し、エンドユーザ入力に応答して、前記オリジナル空間環境内の前記少なくとも１つのオブジェクトを持続的に選択するために構成されるオブジェクト選択デバイスをさらに備える、項目５９に記載の仮想画像生成システム。
（項目６１）
前記少なくとも１つのオブジェクトは、実オブジェクトを含む、項目５９に記載の仮想画像生成システム。
（項目６２）
前記オーディオコンテンツデータを前記オリジナル空間環境内の実オブジェクトから捕捉するために構成されるマイクロホンアセンブリをさらに備える、項目６１に記載の仮想画像生成システム。
（項目６３）
前記マイクロホンアセンブリは、オーディオ出力を生成するために構成され、前記制御サブシステムはさらに、前記オーディオ出力の方向を修正し、選択された実オブジェクトから生じる音を優先的に感知するために構成され、前記オーディオコンテンツデータは、前記修正されたオーディオ出力から導出される、項目６２に記載の仮想画像生成システム。
（項目６４）
前記ビデオデータを前記オリジナル空間環境内の選択された実オブジェクトから捕捉するために構成される１つ以上のカメラをさらに備える、項目６１に記載の仮想画像生成システム。
（項目６５）
前記制御サブシステムは、前記捕捉されたビデオデータを前記選択された実オブジェクトのための仮想コンテンツデータに変換し、前記仮想コンテンツデータを前記ビデオコンテンツデータとして前記メモリ内に記憶するために構成される、項目６４に記載の仮想画像生成システム。
（項目６６）
前記少なくとも１つのオブジェクトは、仮想オブジェクトを含む、項目５８に記載の仮想画像生成システム。
（項目６７）
複数の仮想オブジェクトのための音に対応するコンテンツデータを記憶するために構成されるデータベースをさらに備え、前記制御サブシステムはさらに、前記仮想オブジェクトに対応するコンテンツデータを前記データベースから入手するために構成され、前記メモリ内に記憶されるオーディオデータは、前記入手されたコンテンツデータを含む、項目６６に記載の仮想画像生成システム。
（項目６８）
前記制御サブシステムは、前記新しい空間環境内の前記少なくとも１つのオブジェクトに対応する絶対メタデータを入手し、前記読み出されたオーディオコンテンツデータおよび前記絶対メタデータからのオーディオを前記新しい空間環境内にレンダリングするために構成される、項目５８に記載の仮想画像生成システム。
（項目６９）
前記再生ユーザの頭部姿勢を追跡するために構成される１つ以上のセンサをさらに備え、前記制御サブシステムはさらに、前記レンダリングされたオーディオが空間化されるように、前記再生ユーザの追跡された頭部姿勢に基づいて、前記絶対メタデータを前記再生ユーザに対して局所化するために構成される、項目６８に記載の仮想画像生成システム。
（項目７０）
前記新しい空間環境内の少なくとも１つのオブジェクトに対応する絶対メタデータを入手することは、前記少なくとも１つのオブジェクトを前記新しい空間環境内に位置付けることを含む、項目６８に記載の仮想画像生成システム。
（項目７１）
入力を前記再生ユーザから受信するために構成されるユーザ入力デバイスをさらに備え、前記制御サブシステムは、前記再生ユーザからの入力に応答して、前記少なくとも１つのオブジェクトを前記新しい空間環境内に位置付けるために構成される、項目７０に記載の仮想画像生成システム。
（項目７２）
前記ディスプレイサブシステムは、前記再生ユーザの眼の正面に位置付けられるために構成される、項目５８に記載の仮想画像生成システム。
（項目７３）
前記ディスプレイサブシステムは、投影サブシステムおよび部分的に透明なディスプレイ表面を含み、前記投影サブシステムは、前記ビデオデータに応答して、画像フレームを前記部分的に透明なディスプレイ表面上に投影させるために構成され、前記部分的に透明なディスプレイ表面は、前記再生ユーザの眼と前記新しい空間環境との間の視野内に位置付けられるために構成される、項目７２に記載の仮想画像生成システム。
（項目７４）
前記再生ユーザによって装着されるために構成されるフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイサブシステムの少なくとも一部を担持する、項目７２に記載の仮想画像生成システム。
（項目７５）
オリジナル空間環境内にオーディオコンテンツデータおよびビデオコンテンツデータとして以前に記録された少なくとも１つのオブジェクトのオーディオおよびビデオを再生するために、再生ユーザによって仮想画像生成システムを動作させる方法であって、前記方法は、
前記オーディオコンテンツデータおよびビデオコンテンツデータをメモリから読み出すことと、
前記読み出されたオーディオコンテンツデータおよびビデオコンテンツデータからそれぞれオーディオおよびビデオを前記オリジナル空間環境と異なる新しい空間環境内にレンダリングすることと、
前記オーディオおよびビデオをそれぞれ音および画像フレームに変換することと、
前記音および画像フレームを前記再生ユーザに同期して伝達することと
を含む、方法。
（項目７６）
前記オーディオコンテンツデータおよびビデオコンテンツデータを前記メモリ内に記憶することをさらに含む、項目７５に記載の方法。
（項目７７）
前記メモリ内への前記オーディオコンテンツデータおよびビデオコンテンツデータの記憶に先立って、前記オリジナル空間環境内の前記少なくとも１つのオブジェクトを持続的に選択することをさらに含む、項目７６に記載の方法。
（項目７８）
前記少なくとも１つのオブジェクトは、実オブジェクトを含む、項目７６に記載の方法。
（項目７９）
前記オーディオコンテンツデータを前記実オブジェクトから捕捉することをさらに含む、項目７８に記載の方法。
（項目８０）
他の実オブジェクトから生じる音と比較して、選択された実オブジェクトから生じる音を優先的に感知することであって、前記オーディオコンテンツデータは、前記優先的に感知される音から導出される、ことをさらに含む、項目７９に記載の方法。
（項目８１）
ビデオデータを前記選択された実オブジェクトから捕捉することと、
前記捕捉されたビデオデータを前記仮想コンテンツデータに変換することと
をさらに含む、項目７８に記載の方法。
（項目８２）
前記少なくとも１つのオブジェクトは、仮想オブジェクトを含む、項目７６に記載の方法。
（項目８３）
複数の仮想オブジェクトのための音に対応するコンテンツデータを記憶し、前記仮想オブジェクトに対応するコンテンツデータを前記データベースから入手することであって、前記メモリ内に記憶されるオーディオコンテンツデータは、前記入手されたコンテンツデータを含む、こと
をさらに含む、項目８２に記載の方法。
（項目８４）
前記新しい空間環境内の前記少なくとも１つのオブジェクトに対応する絶対メタデータを入手することであって、前記オーディオは、前記読み出されたオーディオコンテンツデータおよび前記絶対メタデータから前記新しい空間環境内にレンダリングされる、こと
をさらに含む、項目７５に記載の方法。
（項目８５）
前記再生ユーザの頭部姿勢を追跡することと、
前記再生ユーザの追跡された頭部姿勢に基づいて、前記絶対メタデータを前記再生ユーザに対して局所化することであって、前記オーディオは、前記レンダリングされたオーディオが空間化されるように、前記読み出されたオーディオコンテンツデータおよび前記局所的メタデータから前記新しい空間環境内にレンダリングされる、ことと
をさらに含む、項目８４に記載の方法。
（項目８６）
前記新しい空間環境内の少なくとも１つのオブジェクトに対応する絶対メタデータを入手することは、前記少なくとも１つのオブジェクトを前記新しい空間環境内に位置付けることを含む、項目８４に記載の方法。
（項目８７）
入力を前記再生ユーザから受信することであって、前記少なくとも１つのオブジェクトは、前記再生ユーザからの入力に応答して、前記新しい空間環境内に位置付けられる、こと
をさらに含む、項目８６に記載の方法。