(57)【要約】  代表的方法は、１つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、１つまたは複数の対象物に関する表面データを取り込み、複数の取込機器に含まれる取込機器ごとに２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し、複数の取込機器に含まれる取込機器ごとにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化し、メディアプレーヤ機器にストリーミングするためにメタデータおよび転送ストリームを提供する仮想現実メディア・プロバイダ・システムを含む。
2020522926.tif 000002
【特許請求の範囲】
【請求項１】
方法であって、
仮想現実メディア・プロバイダ・システムにより、１つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる前記取込機器ごとに、２次元（「２Ｄ」）カラーデータおよび深度データを含む、前記１つまたは複数の対象物に関する表面データを取得するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化するステップと、
前記仮想現実メディア・プロバイダ・システムにより、メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供するステップと
を備える方法。
【請求項２】
前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次２Ｄカラーデータ取込みとしてフォーマットされた２Ｄカラーデータを含み、
前記転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次２Ｄ深度データ取込みとしてフォーマットされた深度データを含む、
請求項１に記載の方法。
【請求項３】
前記一連の順次２Ｄカラーデータ取込みに含まれる各２Ｄカラーデータ取込みは、前記一連の順次２Ｄ深度データ取込みに含まれる対応する２Ｄ深度データ取込みと時間的に整列させられる、請求項２に記載の方法。
【請求項４】
前記メタデータは、前記一連の順次２Ｄカラーデータ取込みに含まれる対応する２Ｄカラーデータ取込み、および前記一連の２Ｄ深度データ取込みに含まれる対応する２Ｄ深度データ取込とそれぞれ時間的に整列する一連の順次メタデータ取込みとしてフォーマットされる、請求項２に記載の方法。
【請求項５】
前記転送ストリーム内部にパッケージ化された各前記カラー・ビデオ・データ・ストリームおよび各前記深度ビデオ・データ・ストリームは、前記転送ストリーム内部の別個のストリームとして提供される、請求項１に記載の方法。
【請求項６】
前記メタデータは、前記複数の取込機器に含まれる各前記取込機器の、前記風景に関する相対位置および取込角を示す情報を含む、請求項１に記載の方法。
【請求項７】
前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを前記転送ストリームの中にパッケージ化する前記ステップは、前記転送ストリーム内部に前記メタデータをパッケージ化するステップをさらに備え、
前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する前記ステップは、前記転送ストリーム内部で前記メディアプレーヤ機器にストリーミングするために前記メタデータを提供するステップをさらに含む、
請求項１に記載の方法。
【請求項８】
前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する前記ステップは、前記転送ストリームとは別個にストリーミングされるべき前記メタデータを提供するステップを備える、請求項１に記載の方法。
【請求項９】
前記複数の取込機器に含まれる前記取込機器ごとの前記２Ｄカラーデータおよび前記深度データは、ある時点に前記風景に関して取り込まれた１組の２Ｄカラーデータおよび深度データ全体のサブセットであり、
前記方法は、
前記仮想現実メディア・プロバイダ・システムにより、前記風景に関連する仮想３次元（「３Ｄ」）空間に関する前記メディアプレーヤ機器のユーザの視点に基づき、前記転送ストリームの中にパッケージ化されるべき前記時点に、前記風景に関して取り込まれた前記１組の２Ｄカラーデータおよび深度データ全体の前記サブセットを選択するステップと、
前記時点に、前記風景に関して取り込まれた前記１組の２Ｄカラーデータおよび深度データ全体の残りの部分を前記転送ストリームの中にパッケージ化させないステップと
をさらに備える、
請求項１に記載の方法。
【請求項１０】
少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ実行可能命令として具体化される、請求項１に記載の方法。
【請求項１１】
方法であって、
仮想現実メディア・プロバイダ・システムにより、１つまたは複数の対象物を含む風景に関連して異なる取込角を有する異なる位置に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる各前記取込機器から２次元（「２Ｄ」）カラーデータおよび深度データを含む、前記１つまたは複数の対象物に関する表面データを取得するステップであって、前記複数の取込機器に含まれる各前記取込機器ごとの前記２Ｄカラーデータおよび前記深度データは、前記風景に関連して特定の取込角を有する特定の位置から、前記風景の、メッシュによって表されていない別個の眺望を表現するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得するステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化するステップであって、前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器により取り込まれた前記風景の一連の順次２Ｄカラーデータ取込みとしてフォーマットされた２Ｄカラーデータを含み、前記転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器により取り込まれた前記風景の一連の順次２Ｄ深度データ取込みとしてフォーマットされた深度データを含むステップと、
前記仮想現実メディア・プロバイダ・システムにより、前記メタデータおよび前記転送ストリームを処理して、前記複数の取込機器に含まれる前記取込機器ごとに、前記メタデータ、前記カラー・ビデオ・データ・ストリーム、および前記深度ビデオ・データ・ストリームにアクセスし、それらを使用して、仮想３次元（「３Ｄ」）空間内で前記風景の３Ｄ表現を生成するように構成された前記メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供するステップと
を備える方法。
【請求項１２】
前記一連の順次２Ｄカラーデータ取込みに含まれる各２Ｄカラーデータ取込みは、前記一連の順次２Ｄ深度データ取込みに含まれる対応する２Ｄ深度データ取込みと時間的に整列させられる、請求項１１に記載の方法。
【請求項１３】
前記メタデータは、前記複数の取込機器に含まれる各前記取込機器の、前記風景に関する相対位置および取込角を示す情報を含む、請求項１１に記載の方法。
【請求項１４】
少なくとも１つの非一時的コンピュータ可読媒体上でコンピュータ実行可能命令として具体化される、請求項１１に記載の方法。
【請求項１５】
システムであって、
少なくとも１つの物理的コンピューティング機器であって、
１つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、前記複数の取込機器に含まれる前記取込機器ごとに、２次元（「２Ｄ」）カラーデータおよび深度データを含む、前記１つまたは複数の対象物に関する表面データを取得し、
前記取り込まれた表面データに基づき、前記複数の取込機器に含まれる前記取込機器ごとに、前記２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および前記深度データに関する深度ビデオ・データ・ストリームを生成し、
前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームに関するメタデータを取得し、
前記複数の取込機器に含まれる前記取込機器ごとに、前記カラー・ビデオ・データ・ストリームおよび前記深度ビデオ・データ・ストリームを転送ストリームにパッケージ化し、
メディアプレーヤ機器にストリーミングするために前記メタデータおよび前記転送ストリームを提供する
少なくとも１つの物理的コンピューティング機器
を備えるシステム。
【請求項１６】
前記転送ストリーム内にパッケージ化された各前記カラー・ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ前記風景の一連の順次２Ｄカラーデータ取込みとしてフォーマットされた２Ｄカラーデータを含み、
転送ストリーム内にパッケージ化された各前記深度ビデオ・データ・ストリームは、前記複数の取込機器に含まれる対応する取込機器が取り込んだ前記風景の一連の順次２Ｄ深度データ取込みとしてフォーマットされた深度データを含む、
請求項１５に記載のシステム。
【請求項１７】
前記一連の順次２Ｄカラーデータ取込みに含まれる各２Ｄカラーデータ取込みは、前記一連の順次２Ｄ深度データ取込みに含まれる対応する２Ｄ深度データ取込みと時間的に整列させられる、請求項１５に記載のシステム。
【請求項１８】
前記メタデータは、前記風景に関する相対位置および取込角を示す情報、視界情報、ならびに前記複数の取込機器に含まれる各前記取込機器の固有の取込機器パラメータを含む、請求項１５に記載のシステム。
【請求項１９】
前記複数の取込機器に含まれる各前記取込機器は、前記風景に関連するオーディオデータを取り込むようにさらに構成され、
前記少なくとも１つの物理的コンピューティング機器は、前記複数の取込機器に含まれる前記取込機器ごとに、前記オーディオデータを前記転送ストリームの中にさらにパッケージ化する、
請求項１５に記載のシステム。
【請求項２０】
前記転送ストリームの内部にパッケージ化された各前記カラー・ビデオ・データ・ストリームおよび各前記深度ビデオ・データ・ストリームは、前記転送ストリーム内部の別個のストリームとして提供される、請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、全体が参照により本明細書に組み込まれる、「ＭＥＴＨＯＤＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＵＳＩＮＧ  ２Ｄ  ＣＡＰＴＵＲＥＤ  ＩＭＡＧＥＲＹ  ＯＦ  Ａ  ＳＣＥＮＥ  ＴＯ  ＰＲＯＶＩＤＥ  ＶＩＲＴＵＡＬ  ＲＥＡＬＩＴＹ  ＣＯＮＴＥＮＴ（取り込まれた２Ｄ風景画像を使用して仮想現実コンテンツを提供するための方法およびシステム）」と題する、２０１７年５月３１日に提出された米国特許出願公開第１５／６１０，５７５号明細書の優先権を主張する。
【背景技術】
【０００２】
コンピューティング技術およびネットワーキング技術の進歩は、想定される新しい形態のメディアコンテンツを作り出してきた。たとえば、仮想現実世界で同時に提示されているさまざまな事物のいずれかにユーザの注意を向けることにより、ユーザが経験し得る対話型仮想現実世界の中に、見る人（または「ユーザ」）を没入させる仮想現実メディアコンテンツが利用可能である。仮想現実メディアコンテンツが提示されている間はいつでも、仮想現実メディアコンテンツを体験しているユーザは、水平次元（たとえば、前方、後方、左側、右側など）だけではなく垂直次元（たとえば、上方、下方など）の両方に関して任意の方向で仮想現実世界を見回し、ユーザが実際に仮想現実世界の中に存在し、仮想現実世界内部の特定の視点から仮想現実世界を体験しているという感覚をユーザに与え得る。
【０００３】
いくつかの例では、仮想現実メディアプロバイダは、ネットワークを用いて、仮想現実世界を体験するユーザが使用しているクライアントコンピューティング機器に仮想現実世界を表すデータを伝送することにより、仮想現実世界を含む仮想現実コンテンツを提供し得る。このために、仮想現実メディアプロバイダは、仮想現実世界の３次元（「３Ｄ」）モデルを構築して、構築された仮想現実世界の３Ｄモデルを表すデータをパッケージ化して伝送する処理を遂行するサーバシステムを実装する。
【０００４】
添付図面は、さまざまな実施形態を例示し、本明細書の一部となっている。例示する実施形態は、単なる例であり、本開示の範囲を限定するものではない。図面全体を通して、同一の、または類似する参照番号は、同一の、または類似する要素を指定する。
【図面の簡単な説明】
【０００５】
【図１】本明細書で記述する原理による代表的仮想現実メディアシステムを例示する。
【図２】本明細書で記述する原理による、図１の仮想現実メディアシステムの代表的実装形態を例示する。
【図３】本明細書で記述する原理による、複数の取込機器が取り込んだ表面データが、仮想現実メディア・コンテンツ・プロバイダ・システムによりメディアプレーヤ機器にどのように提供され得るかを描く代表的流れ図を例示する。
【図４】本明細書で記述する原理による、特定の時間シーケンス中に特定の取込機器から取得し得る代表的表面データを例示する。
【図５】本明細書で記述する原理による代表的転送ストリームを例示する。
【図６】本明細書で記述する原理による代表的転送ストリームを例示する。
【図７】本明細書で記述する原理による代表的転送ストリームを例示する。
【図８】本明細書で記述する原理による、複数の取込機器が取り込んだ表面データが、仮想現実メディア・コンテンツ・プロバイダ・システムによりメディアプレーヤ機器にどのように提供され得るかを描く、追加の代表的流れ図を例示する。
【図９】本明細書で記述する原理による、図８に例示する代表的流れ図に基づき提供され得る、追加の代表的転送ストリームを例示する。
【図１０】本明細書で記述する原理による、転送ストリームに含まれ得る代表的データを示す代表的図表を例示する。
【図１１】本明細書で記述する原理による、メタデータに関する代表的実装形態を例示する。
【図１２】本明細書で記述する原理による、仮想３Ｄ空間内部の対象物の３Ｄ表現の、メディアプレーヤ機器による代表的描画を例示する。
【図１３】本明細書で記述する原理による、取り込まれた２次元（「２Ｄ」）風景画像を使用して、仮想現実コンテンツを提供する代表的方法を例示する。
【図１４】本明細書で記述する原理による代表的コンピューティング機器を例示する。
【発明を実施するための形態】
【０００６】
取り込まれた２Ｄ風景画像を使用して仮想現実コンテンツを提供するための方法およびシステムについて本明細書で記述する。ある種の代表的な方法およびシステムでは、仮想現実メディア・プロバイダ・システムは、風景に関連して異なる見通しのきく地点に（たとえば、風景に関連して異なる取込角を有する異なる位置に）物理的に配置された複数の取込機器（たとえば、ビデオカメラ、３Ｄ深度スキャンハードウェアなど）から風景（たとえば、現実世界の風景）に関する表面データ（たとえば、取り込まれた２Ｄ画像）を取得し得る。取得された表面データは、複数の取込機器に含まれる各取込機器により取り込まれたとき、風景内の１つまたは複数の対象物の表面に関する２Ｄカラーデータおよび深度データを含み得る。
【０００７】
取込機器の各々が取り込んだ２Ｄカラーデータおよび深度データは、風景に対して特定の見通しのきく地点から得られる、風景に関する、メッシュによって表されていない別個の眺望を表現し得る。本明細書で使用するとき、「メッシュによって表されていない別個の眺望」は、特定の取込機器が取り込んだ風景に関する表面データ（たとえば、２Ｄカラーデータおよび深度データ）が、風景の３Ｄモデルまたは３Ｄ表現を形成するために、別の取込機器が取り込んだ表面データと一緒に組み合わせられていない（すなわち、メッシュによって表されていない）、特定の取込機器から得られる風景の眺望に対応する。
【０００８】
取得された２Ｄカラーデータおよび深度データに基づき、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し得る。カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームは、特定の実装形態に適合させ得るように、任意の適切なデータストリーム形式で生成され得る。たとえば、各カラー・ビデオ・データ・ストリームに含まれる２Ｄカラーデータは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景に関する一連の順次２Ｄカラーデータ取込み（たとえば、高解像度の静止画像）としてフォーマットされ得る。それに加えて、各深度ビデオ・データ・ストリームに含まれる深度データは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景に関する一連の順次２Ｄ深度データ取込みとしてフォーマットされ得る。
【０００９】
仮想現実メディア・プロバイダ・システムはまた、風景に関連するメタデータを取得し得る。メタデータは、メディアプレーヤ機器のユーザに提示するために風景内の任意の視点から得られる風景の眺望を描画すべきメディアプレーヤ機器により使用され得る風景の３Ｄ表現を生成するために、適切に構成されたメディアプレーヤ機器により、複数の取込機器が取り込んだ表面データと共に使用可能な、複数の取込機器の固有の性質および外在的性質に関する情報などの、風景に関連する情報を含み得る。
【００１０】
仮想現実メディア・プロバイダ・システムは、ネットワークを用いてメディアプレーヤ機器にストリーミングするために、取得した表面データおよびメタデータのうち少なくとも一部を処理し、提供し得る。たとえば、仮想現実メディア・プロバイダ・システムは、生成したカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームのうち少なくとも一部を転送ストリームにパッケージ化し得る。したがって、ある種の例では、転送ストリームは、複数の取込機器に含まれる取込機器ごとに、風景に関連して、対応する特定の見通しのきく地点から得られる風景の対応する、メッシュによって表されていない別個の眺望を表現するデータを含み得る。代表的転送ストリームについて本明細書で記述する。
【００１１】
仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするために転送ストリームおよびメタデータを提供し得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、本明細書で記述する通信チャネルなどの任意の適切な通信チャネルを通してメディアプレーヤ機器に転送ストリームおよびメタデータをストリーミングし得る。あるいは、仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするために、コンテンツ配信ネットワーク（ｃｏｎｔｅｎｔ  ｄｅｌｉｖｅｒｙ  ｎｅｔｗｏｒｋ、「ＣＤＮ」）（たとえば、サードパーティのＣＤＮ）に転送ストリームおよびメタデータを提供し得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、転送ストリームの中にメタデータを含み、メタデータが転送ストリームの一部としてメディアプレーヤ機器にストリーミングされるようにストリーミングするために転送ストリームを提供し得る。他の例では、仮想現実メディア・プロバイダ・システムは、メタデータが転送ストリームとは別個にストリーミングされ得るようにストリーミングするためにメタデータおよび転送ストリームを別個に提供し得る。
【００１２】
メディアプレーヤ機器は、メタデータおよび転送ストリームを受信し、処理して、複数の取込機器に含まれる取込機器ごとに、メタデータ、カラー・ビデオ・データ・ストリーム、および深度ビデオ・データ・ストリームにアクセスし、これらを使用して、仮想３Ｄ空間内で風景の３Ｄ表現を生成するように構成され得る。たとえば、メディアプレーヤ機器は、第１の取込機器から得られるメタデータおよび２Ｄカラーデータおよび深度データ、ならびに第２の取込機器から得られる２Ｄカラーデータおよび深度データを使用して、メディアプレーヤ機器のユーザの視点から風景の３Ｄ表現（たとえば、風景内の対象物の３Ｄ表現）を少なくとも部分的に構築し得る。
【００１３】
本明細書で記述する方法およびシステムは、ネットワークを用いてメディアプレーヤ機器に仮想現実コンテンツを提供するために必要とされる帯域幅の広さを著しく低減し得る。たとえば、サーバ側で風景の３Ｄモデルを生成する代わりに、本明細書で記述する方法およびシステムは、風景に関する、メッシュによって表されていない別個の眺望を表す２Ｄデータを生成して、ネットワークを用いてメディアプレーヤ機器に伝送する。本明細書で明らかになるように、これにより、サーバ側で処理し、ネットワークを介して伝送するために必要とされるデータの量は、著しく低減され、その結果、より速い速度で、低減された処理で、低減された帯域幅で、仮想現実コンテンツがリアルタイムでストリーミングされることになる。
【００１４】
追加でまたは代わりに、本明細書で記述する方法およびシステムは、従来は仮想現実コンテンツにより表現される風景の複雑さに依存していた、仮想現実コンテンツを配信するために必要とされる帯域幅のある種の変動を低減または除去し得る。たとえば、（風景の３Ｄモデルの代わりに）風景を表す２Ｄデータを生成し、ネットワークを用いてメディアプレーヤ機器に伝送することにより、本明細書で記述する方法およびシステムは、風景の複雑さとは無関係に（たとえば、所与の時間に風景の中に対象物がいくつ含まれているかとは無関係に）仮想現実コンテンツを配信するための、不変の帯域幅要件を助長し得る。これは、数多くの対象物を含む複雑な風景に対して特に有益である。風景の３Ｄモデルが生成され、メディアプレーヤ機器に伝送される従来の方法によれば、風景に含まれる各対象物は、風景の３Ｄモデルを表現するために必要とされるデータの量を増大させる。したがって、風景の中に数多くの対象物が存在するとき、従来の方法に従ってメディアプレーヤ機器に３Ｄモデルを伝送するために必要とされるデータの量は、多くなる。しかしながら、本明細書で記述する方法およびシステムを用いれば、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを伝送するために必要とされる帯域幅の広さは、風景内の対象物の数とは無関係に実質的に不変のままである。
【００１５】
追加でまたは代わりに、風景を表す２Ｄデータを生成し、伝送することにより（たとえば、風景を表す２Ｄカラーデータおよび深度データを転送ストリーム内のビデオデータとして提供することにより）、本明細書で記述する方法およびシステムは、既存のビデオ処理およびストリーミング技術、ならびに既存のグラフィックスハードウェア（たとえば、既存のグラフィックスカード）および／またはソフトウェアを活用して、仮想現実コンテンツを配信するためのデータパイプラインを形成し得る、そしてデータパイプラインは、従来の仮想現実配信方法と比較して、処理および／またはネットワーク資源を節約し、仮想現実コンテンツサービスの拡張性を支援し、仮想現実コンテンツのアクセス可能性を拡張し得る。そのようなデータパイプラインの例について本明細書で記述する。
【００１６】
本明細書で記述する方法およびシステムは、特定の実装形態に役立ち得るように、追加の、または代わりの利益を提供し得る。次に、図を参照して、さまざまな実施形態について詳細に記述する。開示する方法およびシステムは、上述の利益、および／または本明細書で明らかになる追加のおよび／または代わりの利益のうち１つまたは複数を提供し得る。
【００１７】
図１は、本明細書で記述する方法およびシステムによる、仮想現実コンテンツを生成し、提供し得る代表的仮想現実メディアシステム１００（「システム１００」）を例示する。図示するように、システム１００は、限定することなく、仮想現実メディア・プロバイダ・システム１０２およびメディアプレーヤ機器システム１０４を含み得る。仮想現実メディア・プロバイダ・システム１０２は、限定することなく、互いに選択的に、かつ通信可能に連結された、２Ｄカラーデータおよび深度データ取込設備１０６、２Ｄカラーデータおよび深度データ処理設備１０８、２Ｄカラーデータおよび深度データ符号化設備１１０、ならびに２Ｄカラーデータおよび深度データ多重化設備１１２を含み得る。設備１０６〜１１２は、図１では別個の設備であるように示されているが、特定の実装形態に役立ち得るように、単一の設備など、より少ない設備に組み合わせられ得る、またはより多くの設備に分割され得ることを認識されよう。設備１０６〜１１２の各々は、特定の実装形態に役立ち得るように、（たとえば、単一のシャーシを有する）機器を含み、またはその中に収容され、単一の場所に位置決めされ得る、または複数の機器（たとえば、サーバ）の間で、および／もしくは複数の場所の間で分散させられ得る。
【００１８】
メディアプレーヤ機器システム１０４は、限定することなく、互いに選択的に、かつ通信可能に連結された、２Ｄカラーデータおよび深度データ復号／多重分離設備１１４、およびデータ描画設備１１６を含み得る。設備１１４および１１６は、図１では別個の設備であるように示されているが、特定の実装形態に役立ち得るように、単一の設備など、より少ない設備に組み合わせられ得る、またはより多くの設備に分割され得ることを認識されよう。設備１１４および１１６の各々は、本明細書で記述するメディアプレーヤ機器などのメディアプレーヤ機器を含み得る、またはその中に収容され得る。ある種の例では、メディアプレーヤ機器は、ユーザの場所（たとえば、住宅、事業所などのようなユーザの敷地、またはメディアプレーヤ機器のユーザに関連する別の場所）に位置し得る。次に、設備１０６〜１１６の各々について、より詳細に記述する。
【００１９】
２Ｄカラーデータおよび深度データ取込設備１０６（「データ取込設備１０６」）は、風景を表す仮想現実コンテンツを取得するために使用される任意のハードウェアおよび／またはソフトウェア（たとえば、コンピューティングシステム、ビデオおよび深度取込器具、ソフトウェアプログラムなど）を含み得る。風景は、１つまたは複数の対象物を含み得る、そして仮想現実コンテンツは、風景内にある対象物の表面の外観および場所など、風景内にある対象物の属性を表すデータを含み得る。
【００２０】
ある種の例では、風景は、生で（たとえば、リアルタイムで）発生している場合があり得る現実世界の事象の風景などの、現実世界の風景であり得る。そのような例では、風景は、現実世界の事象に関連する１つまたは複数の現実世界の対象物を含み得る、そして現実世界の事象が発生するとき、取得される仮想現実コンテンツは、リアルタイムで取得され得る。他の例では、風景は、１つまたは複数の仮想対象物を含む仮想風景であり得る。他の例では、風景は、合併された現実の風景であり得る、そして少なくとも１つの仮想対象物および少なくとも１つの現実世界の対象物を含み得る。風景は、風景内にある各対象物および／または表面が、現実であれ、仮想であれ、風景、および風景の中にある他の対象物に関して空間内の検出可能な位置を有するので、３Ｄ風景と考えられ得る。
【００２１】
本明細書で使用するとき、「対象物」は、生物であれ、無生物であれ、風景内の特定の見通しのきく地点から目に見える（すなわち、透明ではない）どんなものも含み得る。たとえば、風景がバスケットボールの試合などの現実世界の事象に対応する場合、対象物は、試合で使用されているバスケットボール、バスケットボールコート、バスケットボール標準規格品（すなわち、バックボード、リム、ネットなど）、試合に参加している競技者および審判、ならびに／またはバスケットボールの試合に存在する、および／もしくは関連する任意の他の対象物を含み得る。
【００２２】
ある種の例では、データ取込設備１０６は、風景を表す仮想現実コンテンツをリアルタイムで取得し得る。たとえば、風景が現実世界の事象に対応する場合、データ取込設備１０６は、現実世界の事象が発生するとき、風景を表す仮想現実コンテンツをリアルタイムで取得し得る。他の例では、データ取込設備１０６は、時間をずらした手法でアクセスおよび使用するために、すでに取り込まれ記憶されている仮想現実コンテンツを取得し得る。
【００２３】
本明細書で使用するとき、「没入型仮想現実コンテンツ」は、取得され、生成され、仮想現実コンテンツを使用して、風景の３Ｄ表現を使用するように構成されたメディアプレーヤ機器に伝送され得る、風景に関連する任意のデータおよび／またはコンテンツを指す。たとえば、仮想現実コンテンツは、風景に関連する表面データ、風景に関連するメタデータ、風景に関連するオーディオデータ、および／または風景に関連する任意の他の適切なデータを含み得る。そのようなデータの例について本明細書で記述する。仮想現実コンテンツは、現実世界の風景コンテンツ、仮想コンテンツ（たとえば、１つまたは複数の仮想対象物）、または現実世界の風景コンテンツと仮想コンテンツの組み合わせを表すデータを含み得る。
【００２４】
データ取込設備１０６は、風景に関連する仮想現実コンテンツを任意の適切な手法で取得し得る。たとえば、データ取込設備１０６は、表面データとして、風景に対して異なる見通しのきく地点に配置され、かつ２Ｄカラーデータおよび深度データを取り込むように構成された複数の取込機器から、直接または間接的に２Ｄカラーデータおよび深度データを取得し得る。取込機器の例について本明細書で記述する。
【００２５】
本明細書で使用するとき、「２Ｄカラーデータ」は、２Ｄカラーデータを取り込む少なくとも１つの機器の少なくとも１つの見通しのきく地点から風景がどのように見えるかを表す任意のデータを広く含み得る。２Ｄカラーデータは、風景のカラー（たとえば、赤色、緑色、青色など）表現、風景の白黒表現、風景のグレースケール表現、および／または風景の外観の任意の他の適切な表現を含み得る。ある種の例では、２Ｄカラーデータは、特定の期間にわたり、見通しのきく地点から得られる風景（たとえば、現実世界の事象での対象物）の外観を表す、取り込まれた画像（たとえば、高解像度静止画像）シーケンスを含み得る。実例では、２Ｄカラーデータは、ビデオのフレームがフレームの画素座標での色値を表現する、風景の２Ｄカラー・ビデオ・データを含み得る。しかしながら、２Ｄカラーデータは、どんな特定の形式、ファイルタイプ、フレームレート、解像度、品質レベルにも、または当技術分野でビデオを規定するさまざまな規定および／または標準に関連し得る他の特性に限定されない。
【００２６】
本明細書で使用するとき、「深度データ」は、風景内部の１つまたは複数の対象物（たとえば、現実世界の事象での１つまたは複数の対象物）の空間位置を表す任意のデータを広く含み得る。深度データは、任意の適切な手法でフォーマットされ得る。ある種の例では、以下で記述するように、深度データは、特定の見通しのきく地点から得られる一連の順次２Ｄ深度データ取込み（たとえば、特定の時間に取り込まれた深度データの別個のインスタンス）としてフォーマットされ得る。実例では、深度データは、ビデオのフレームがフレームの画素座標での深度値を表現する、特定の見通しのきく地点から得られる風景の２Ｄ深度ビデオデータを含み得る。しかしながら、深度データは、どんな特定の形式、ファイルタイプ、フレームレート、解像度、品質レベルにも、または当技術分野でビデオを規定するさまざまな規定および／または標準に関連し得る他の特性に限定されない。好ましくは、深度データは、非常に精度があり、正確である。しかしながら、深度データは、一般に２Ｄカラーデータよりも解像度が低く（たとえば、ｘ座標およびｙ座標の解像度がより低い）、依然として受入可能であり得る。
【００２７】
深度データは、２Ｄカラーデータと同期され得る。たとえば、深度データ内の深度データフレーム、およびカラーデータ内のカラー・データ・フレームは、時間的に共通のインスタンス（たとえば、同じ基準信号、タイムスタンプ、取込時間など）に対応し得る。そのような対応する深度データフレームおよびカラー・データ・フレームは、本明細書で記述するように、他の見通しのきく地点から取り込まれた他の深度データフレームおよびカラー・データ・フレームの同期したいくつかの対、ならびに対応するメタデータと共に、風景の３Ｄ表現を少なくとも部分的に構築するためにメディアプレーヤ機器により処理され得る１対の同期フレームを形成し得る。
【００２８】
ある種の例では、データ取込設備１０６は、２Ｄビデオカメラ、３Ｄ深度スキャナ、複合取込機器（たとえば、２Ｄビデオデータと、関連する深度データの両方を取り込むように構成された機器）などのような複数の取込機器を含み得る。複数の取込機器に含まれる各取込機器は、風景に関連して特定の見通しのきく地点から得られる、風景に関する表面データを取り込み得る。本明細書で使用するとき、「見通しのきく地点」は、複数の取込機器に含まれる取込機器により風景の表面データが取り込まれる位置および取込角を指す。ある種の例では、特定の取込機器の見通しのきく地点は、固定され得る（すなわち、特定の取込機器の位置、および特定の取込機器の取込角は、経時的に変化することはない）。あるいは、特定の取込機器の位置および取込角の１つまたは複数は、経時的に変化し得る。たとえば、特定の取込機器の位置および／または取込角は、特定の取込機器が固定された装置が、風景に対して動くとき、経時的に変化し得る。見通しのきく地点は、特定の実装形態に適合させ得るように、任意の他の適切な情報により記述され得る。取込機器の代表的な見通しのきく地点について本明細書で記述する。
【００２９】
複数の取込機器は、特定の実装形態に役立ち得るように、任意の適切な手法で、任意の適切な機器を使用して、２Ｄカラーデータおよび深度データを取り込み得る。ある種の例では、取込機器は、ビデオカメラ、または１つもしくは複数の深度取込技法（たとえば、三角測量に基づく深度取込技法、立体深度取込技法など）を使用することにより対象物の表面に関する深度データを取り込み得る（たとえば、導出し得る）複数の見通しのきく地点から風景内の対象物の２Ｄカラーデータを取り込み得る他のタイプの画像取込機器から構成され得る。
【００３０】
他の例では、取込機器は、ビデオカメラ、または２Ｄカラーデータを取り込むように構成された他のタイプの画像取込機器だけではなく、深度取込技法（たとえば、飛行時間に基づく深度取込技法、赤外線に基づく深度取込技法など）の１つまたは複数を使用して対象物の表面の深度を取り込むように構成された別個の深度取込機器も含み得る。たとえば、各取込機器は、向けられる対象である対象物の２Ｄビデオを取り込むように構成された第１の構成要素（たとえば、ビデオカメラ機器）、および向けられる対象である対象物の深度データを取り込むように構成された第２の構成要素（たとえば、深度カメラ機器、３Ｄ画像化または３Ｄスキャン機器など）を含み得る。この例では、第１の構成要素および第２の構成要素は、分離した、または別個の機器であり得るが、互いに通信可能に連結され、互いに協力して作動して、２Ｄカラーデータと深度データの両方を同期して（たとえば、同時に）取り込むように構成され得る。
【００３１】
他の例では、各取込機器は、２Ｄカラーデータと深度データの両方を取り込むように構成された複合ビデオ−深度取込機器（たとえば、特別に設計されたビデオカメラ）を備え得る。複合ビデオ−深度取込機器は、風景内の対象物のビデオデータを取り込むだけではなく、１つまたは複数の適切な深度取込技術を使用して対象物の対応する深度を掲出することができる市販の、または特別に設計されたビデオカメラであり得る。
【００３２】
いくつかの例では、取込機器は、有限の取込角（たとえば９０°、１２０°など）を有し得る、そして風景の対応する領域からデータを取り込むように配置され、方向づけられ得る。たとえば、風景内の対象物を表すデータを取り込むために、風景、または風景の１つもしくは複数の部分（たとえば、バスケットボールコート、競馬場の曲がり角）を取り囲むようにリング構成の取込機器を配置し、内側に向け得る。同じ例、または他の例では、少なくとも１つの特定の取込機器は、３６０°の取込角を有し得る、そして特定の取込機器を取り囲む対象物からのデータを取り込むように配置され得る。たとえば、取込機器の少なくとも１つは、３６０°カメラに対応する中心点を取り囲む風景の３６０°ビデオ画像を取り込む、および／または生成するように構成された３６０°カメラであり得る。風景に対するある種の代表的取込機器構成について本明細書で記述したが、例は例示的でしかない。他の実装形態では、風景に対する取込機器の任意の適切な構成を使用し得る。
【００３３】
複数の取込機器は、本明細書で記述するなどの任意の適切な手法で、互いに通信可能に連結され（たとえば、一緒にネットワーク化され）得る、および／または別の機器もしくはシステム（たとえば、仮想現実メディア・プロバイダ・システム１０２）に通信可能に連結され得る。これにより、ある種の実装形態では、取込機器は、時間、位置、角度などの同時性を維持することができるようになり得る。たとえば、取込機器は、タイミング信号を送信および受信して、各取込機器が、対応するデータを（たとえば、しきい時間範囲内の）共通の時間で取り込むこと、ならびに異なる取込機器が取り込んだデータが、取込機器のすべてが共有する世界時を用いてタイムスタンプを押され得ることを確実にし得る。ある種の例では、データ取込設備１０６に含まれるコントローラは、風景に関するデータをいつ取り込むか、および／またはいつ出力するかについて、取込機器に指示し得る。他の例では、取込機器は、風景に関するデータをいつ取り込むか、および／またはいつ出力するかを制御し得る、そしてデータ取込設備１０６は、取込機器から受信したデータをソートし得る、および／または選択的に使用し得る。取込機器がどのように同期して機能し得るかについてのこれらの例は、代表的なものでしかない。他の実装形態では、任意の適切な機器同期技術および／または通信技術を使用して、風景に関するデータを同期して取り込むための取込機器の動作を容易にし得る。ある種の代わりの例では、複数の取込機器の１つまたは複数は、非同期的に機能し得る、そして風景に関して取り込まれたデータは、取り込まれた後、任意の適切な手法で処理され、同期され得る。
【００３４】
上述のように、ある種の例では、データ取込設備１０６は、複数の取込機器を含み得る。代わりの例では、データ取込設備１０６は、複数の取込機器を含み得ず、任意の適切な通信技術を使用して、複数の取込機器に通信可能に連結され、複数の取込機器から風景に関する表面データを取得し得る。
【００３５】
データ取込設備１０６はまた、任意の適切な手法で、任意の適切な情報源から、風景に関連するメタデータを取得し得る。ある種の例では、実例では、データ取込設備１０６は、複数の取込機器から直接または間接的にメタデータを取得し得る。いくつかの例では、データ取込設備１０６は、メタデータを記憶するデータ記憶設備からメタデータを取得し得る。
【００３６】
メタデータは、メディアプレーヤ機器が、取得した風景に関する表面データと共に使用して、３Ｄ空間内部で風景の３Ｄ表現を描画し得る任意の情報を含み得る。たとえば、メタデータは、２Ｄカラーデータがいつ取り込まれたかなどの、風景に関する２Ｄカラーデータに関連する時間情報および空間情報を示す情報、２Ｄカラーデータが取り込まれた見通しのきく地点、どの取込機器が２Ｄカラーデータを取り込んだかなどを含み得るが、これらに限定されない。追加で、メタデータは、深度データをいつ取り込んだか、深度データをどこで取り込んだかなどの、風景に関する深度データに関連する時間情報および空間情報を示す情報、深度データが取り込まれた見通しのきく地点、どの取込機器が深度データを取り込んだかなどを含み得る。メタデータはまた、視界情報（たとえば、焦点距離、光心、視野角、角度の接線など）、深度マッピング情報、位置情報、配向情報、視野角情報、変換情報（たとえば、変換行列情報）、取込機器ごとのそのような情報のいずれかの変化、ならびに／または取込機器の任意の他の固有の性質および／もしくは外在的性質に関する情報を含み得る。いくつかの例では、メタデータは、座標系（たとえば、取込機器および／または風景に関連する局所座標系）、射影パラメータ、射影計算、レンズ歪みパラメータに関する情報、および／または本明細書で記述する方法のいずれかで取り込まれた表面データを処理するために有用な任意の他の情報を含み得る。ある種の例では、メタデータはまた、風景に関して取り込まれたオーディオサンプルに関する位置情報を含み得る。メタデータは、特定の実装形態に役立ち得るように、Ｊａｖａ  Ｓｃｒｉｐｔ  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ（「ＪＳＯＮ」）、拡張可能なマーク付け言語（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ、「ＸＭＬ」）などのような任意の適切な形式で表現され得る。代表的メタデータ形式について本明細書で記述する。
【００３７】
２Ｄカラーデータおよび深度データ処理設備１０８（「データ処理設備１０８」）は、データ取込設備１０６が取得した仮想現実コンテンツ（たとえば、表面データ、メタデータなど）を処理するために使用される任意のハードウェアおよび／またはソフトウェア（たとえば、コンピューティングシステム、ソフトウェアプログラムなど）を含み得る。たとえば、データ処理設備１０８は、１つもしくは複数のサーバシステム、または専用および／もしくは汎用の画像処理ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ処理設備１０８は、２Ｄカラーデータおよび深度データ符号化設備１１０が符号化すべき、データ取込設備１０６が取得したデータを準備するための、任意の適切な処理動作を遂行し得る。たとえば、データ処理設備１０８は、データを符号化に適した形式にする処理動作を遂行し得る、取得したデータ内のレンズ歪みを補正するための処理動作を遂行し得る、取得したデータ内の視差を補正するための処理動作を遂行し得る、取込機器間の深度不一致および／または配向不一致を補正するための処理動作を遂行し得る、ならびに／または特定の実装形態に適合させ得るように、任意の他の適した処理動作を遂行し得る。
【００３８】
ある種の例では、データ処理設備１０８は、各取込機器から取得した２Ｄカラーデータを、一連の順次２Ｄカラーデータ取込み（たとえば、各取込機器が取り込んだビデオの一連のフレーム）にフォーマットするための処理動作を遂行し得る。それに加えて、データ処理設備１０８は、取込機器の各々から得られる深度データを、一連の順次２Ｄ深度データ取込みにフォーマットするための処理動作を遂行し得る。本明細書で使用するとき、「一連の順次２Ｄ深度データ取込み」は、各取込機器から得られる、風景に関連して異なる時点での深度値の別個の取込みを指す。たとえば、特定の取込機器は、風景に関連して第１の時点での第１組の深度値、風景に関連して第２の時点での第２組の深度値、風景に関連して第３の時点での第３組の深度値などを、一連の順次２Ｄ深度データ取込みとして取り込み得る。各２Ｄ深度データ取込みは、特定の時点で取込機器が取り込んだ深度値だけを含み、たとえば、風景の３Ｄモデルまたは３Ｄ表現を含まないので、一連の２Ｄ深度データ取込みは、「２Ｄ」データとして考えられ得る。
【００３９】
ある種の例では、データ処理設備１０８は、データ取込設備１０６が取得したメタデータを、符号化するための適切な形式にフォーマットするための処理動作を遂行し得る。たとえば、処理設備１０８は、メタデータを一連の順次メタデータ取込みにフォーマットするための処理動作を遂行し得る。一連の順次メタデータ取込みに含まれる各メタデータ取込みは、風景に関連して特定の時点で特定の取込機器に関連するメタデータを含み得る。それに加えて、各メタデータ取込みは、対応する２Ｄカラーデータ取込みおよび対応する２Ｄ深度データ取込みと同期させられ得る。
【００４０】
ある種の例では、データ取込設備１０６が取得したデータのすべてまたは一部は、すでに符号化に適した形式であり得る。したがって、そのような例では、データ処理設備１０８は、取り込まれたデータに対していくつかのタイプの処理動作を遂行することを回避し得る、またはデータ処理設備１０８は、完全に回避され得る、もしくは仮想現実メディア・プロバイダ・システム１０２から省かれ得る。
【００４１】
２Ｄカラーデータおよび深度データ符号化設備１１０（「データ符号化設備１１０」）は、データ取込設備１０６が取得した、および／またはデータ処理設備１０８が処理した（たとえば、生成した）データを符号化するために使用される任意のハードウェアおよび／またはソフトウェア（たとえば、コンピューティングシステム、ネットワーキングシステム、ソフトウェアプログラムなど）を含み得る。たとえば、データ符号化設備１１０は、１つもしくは複数のサーバシステム、または専用および／もしくは汎用のビデオ符号化ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ符号化設備１１０は、取込機器ごとにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを生成するのに適した任意のビデオコーデックを使用して、風景に関する表面データ（すなわち、データ取込設備１０６が取り込み、データ処理設備１０８が処理した表面データ）を符号化し得る。たとえば、データ符号化設備１１０は、Ｈ．２６４／ＭＰＥＧ−４コーデック、Ｈ．２６５／ＭＰＥＧ−Ｈコーデック、または任意の他の適切なコーデックに従って表面データを符号化し得る。ある種の例では、カラー・ビデオ・データ・ストリームは、少なくとも８ビットのビデオストリームであり、深度ビデオ・データ・ストリームは、１０ビット、１２ビット、またはより高ビットのビデオストリームである。深度ビデオ・データ・ストリームが８ビットのビデオストリームとして提供される場合、深度ビデオ・データ・ストリームに関してさらに処理（たとえば、タイリング）を遂行し得る。
【００４２】
２Ｄカラーデータおよび深度データ多重化設備１１２（「データ多重化設備１１２」）は、データ符号化設備１１０が生成したカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームをパッケージ化して、転送ストリームにするために使用される任意のハードウェアおよび／またはソフトウェア（たとえば、コンピューティングシステム、ネットワーキングシステム、ソフトウェアプログラムなど）を含み得る。たとえば、データ多重化設備１１２は、１つもしくは複数のサーバシステム、または専用および／もしくは汎用のビデオ多重化ソフトウェアを走らせている他のコンピューティング機器を含み得る。データ多重化設備１１２は、任意の適切な手法で転送ストリームを生成し得る。たとえば、データ多重化設備１１２は、公知の多重化技術（たとえば、時間分割多重化）を使用して、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを多重化し得る。
【００４３】
ある種の例では、データ多重化設備１１２は、風景に関連する取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームに多重化し得る。たとえば、６つの取込機器が、風景に関連する表面データを取り込んでいる場合、転送ストリームには、６つのカラー・ビデオ・データ・ストリーム、および６つの深度ビデオ・データ・ストリームが含まれる。あるいは、データ多重化設備１１２は、想定されるカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームのサブセットだけを転送ストリームの中に多重化し得る。このために、データ多重化設備１１２はまた、仮想現実メディアコンテンツを描画し、提示するメディアプレーヤ機器を使用して風景を体験しているユーザからのユーザ入力を表すデータ（たとえば、風景に関して任意の場所に対応する、動的に選択可能な視点の選択）を受信し得る。ユーザ入力を表すデータに基づき、データ多重化設備１１２は、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームの一部を選択的に転送ストリームにパッケージ化させ得ない。たとえば、データ多重化設備１１２は、ユーザの視点から目に見えない１つまたは複数の表面に関する表面データを含むカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを選択的に排除し得る。
【００４４】
ある種の例では、データ多重化設備１１２は、各カラー・ビデオ・データ・ストリームおよび各深度ビデオ・データ・ストリームを、転送ストリーム内部の別個のストリームとして（たとえば、ＭＰＥＧ転送ストリーム内部の別個の基本ストリームとして）パッケージ化し得る。たとえば、転送ストリームは、所与の取込機器については、カラー・ビデオ・データ・ストリームおよび別個の深度ビデオ・データ・ストリームを含み得る。あるいは、データ多重化設備１１２は、任意の適切な多重化技術を使用して、転送ストリームに含まれるストリームの各々を単一ストリームの中に多重化し得る。別の代替形態として、データ多重化設備１１２は、複数のカラー・ビデオ・データ・ストリームを転送ストリーム内部の１つのカラー・データ・ストリームの中に多重化し、複数の深度ビデオ・データ・ストリームを転送ストリーム内部の１つの深度データストリームの中に多重化し、多重化されたデータを検索して構文解析するためにメディアプレーヤ機器が使用するための検索情報を転送ストリームの中に多重化し得る。
【００４５】
本明細書で使用するとき、「転送ストリーム」は、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームがパッケージ化され得る単一転送ストリーム、またはカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームがパッケージ化され得る複数の転送ストリームを指し得る。したがって、ある種の例では、転送ストリームは、取り込まれた風景に関するビデオ・データ・ストリーム（たとえば、３Ｄ取込機器ごとに１つのカラー・ビデオ・データ・ストリーム、および３Ｄ取込機器ごとに１つの深度ビデオ・データ・ストリーム）だけではなく、任意のメタデータ、または特定の実装形態で転送するために含まれ得る他の適切なデータも運ぶ単一転送ストリームを指し得る。他の例では、転送ストリームは、取り込まれた風景に関するビデオ・データ・ストリーム（たとえば、３Ｄ取込機器ごとに１つのカラー・ビデオ・データ・ストリーム、および３Ｄ取込機器ごとに１つの深度ビデオ・データ・ストリーム）だけではなく、任意のメタデータ、または特定の実装形態で転送するために含まれ得る他の適切なデータも集合的に運ぶ複数の転送ストリームを指し得る。
【００４６】
転送ストリームは、仮想現実メディア・プロバイダ・システム１０２からメディアプレーヤ機器システム１０４にビデオデータおよび／または他のデータを転送するのに適した任意のタイプの転送ストリーム（たとえば、ＭＰＥＧ転送ストリームまたは他のタイプの転送ストリーム）を含み得る。転送ストリームは、特定の実装形態に適合させ得るように、任意の適切なデータ形式、コンテナ形式、および／または転送プロトコルに従って構成され得る。
【００４７】
データ多重化設備１１２は、メディアプレーヤ機器システム１０４にストリーミングするために、生成された転送ストリームおよびメタデータを提供し得る。ある種の例では、これは、データ多重化設備１１２が、転送ストリームおよびメタデータをメディアプレーヤ機器システム１０４にストリーミングすることを含み得る。他の例では、これは、データ多重化設備１１２が、転送ストリームおよびメタデータをメディアプレーヤ機器システム１０４にストリーミングするＣＤＮに、転送ストリームおよびメタデータを提供することを含み得る。ストリーミングするために転送ストリームおよびメタデータを提供することは、任意の適切なストリーミング技法（たとえば、ＨＴＴＰに基づく転送プロトコル）を使用して、任意の適切な手法で達成され得る。
【００４８】
データ多重化設備１１２は、任意の適切な手法でストリーミングするためにメタデータを提供し得る。ある種の例では、データ多重化設備１１２は、メタデータを転送ストリームの中に多重化し得る。たとえば、データ多重化設備１１２は、取込機器ごとに転送ストリーム内部に別個のメタデータストリームを提供し得る。あるいは、データ多重化設備１１２は、メディアプレーヤ機器システム１０４が転送ストリームを受信し、検索情報を使用して、大域メタデータストリームに含まれるメタデータを識別し、使用し得るように、転送ストリーム内部に大域メタデータストリームおよび検索情報を提供し得る。代わりの例では、データ多重化設備１１２は、任意の適切な手法で転送ストリームとは別個にメタデータを提供し得る。転送ストリームの例、および転送ストリームと一緒に、または別個にメタデータをどのようにして転送し得るかについて本明細書で記述する。
【００４９】
メディアプレーヤ機器システム１０４は、ストリーミングされた転送ストリームおよびメタデータを受信し得る。２Ｄカラーデータおよび深度データ復号／多重分離設備１１４（「データ復号／多重分離設備１１４」）は、転送ストリームに対して１つまたは複数の復号および／または多重輪分離の動作を遂行し得る。復号／多重分離設備１１４は、転送ストリーム内のカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム、およびメタデータを復号および多重分離するために使用される任意のハードウェア（たとえば、専用グラフィックスカード）および／またはソフトウェア（たとえば、コンピューティングシステム、ソフトウェアプログラムなど）を含み得る。たとえば、データ復号／多重分離設備１１４は、専用および／または汎用のビデオ復号および多重分離ソフトウェアを走らせている１つまたは複数のコンピューティング機器を含み得る。
【００５０】
データ描画設備１１６は、復号された／多重分離されたカラー・ビデオ・データ・ストリーム、深度ビデオ・データ・ストリーム、およびメタデータを使用して、仮想３Ｄ空間内で風景の３Ｄ表現を描画し得る。データ描画設備１１６は、風景の３Ｄ表現を描画するために使用される任意のハードウェアおよび／またはソフトウェア（たとえば、コンピューティングシステム、ソフトウェアプログラムなど）を含み得る。たとえば、データ描画設備１１６は、１つまたは複数のプログラム可能グラフィックス処理ユニット（ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、「ＧＰＵ」）を有する１つまたは複数のグラフィックスカードを活用して、風景の３Ｄ表現を描画し得る。データ描画設備１１６が、仮想現実メディア・プロバイダ・システム１０２から受信した表面データおよびメタデータに基づき、仮想３Ｄ空間内で風景の３Ｄ表現をどのように描画し得るかの例について本明細書で記述する。
【００５１】
図２は、図１に示すシステム１００の代表的実装形態２００を例示する。図示するように、実装形態２００は、対象物２０８を含む風景２０６に関連して異なる見通しのきく地点（たとえば、見通しのきく地点２０４−１〜２０４−ｎ）に物理的に配置された複数の取込機器２０２（たとえば、取込機器２０２−１〜２０２−ｎ）を含む。実装形態２００は、ネットワーク２１２を用いて、複数の取込機器２０２およびメディアプレーヤ機器２１０に通信可能に連結された仮想現実メディア・プロバイダ・システム１０２をさらに含む。
【００５２】
複数の取込機器２０２（「取込機器２０２」）は、特定の実装に役立ち得る任意の方法で、風景２０６に関して固定位置に配置され得る（すなわち、位置し得る、据え付けられ得るなど）。たとえば、取込機器２０２は、現実世界の事象、または現実世界の事象の１つもしくは複数の部分を取り囲む（たとえば、バスケットボールの試合でバスケットボールコートなどの、スポーツイベントが行われる現場を取り囲む、または部分的に取り囲む）固定位置に位置し得る。
【００５３】
図２に示す例では、見通しのきく地点２０４の各々は、対象物２０８の限定された異なる眺望を提供する。たとえば、取込機器２０２−２の見通しのきく地点２０４−２は、対象物２０８の上方からの眺望を提供し得る。見通しのきく地点２０４−２から、取込機器２０２−２は、対象物２０８の底面に関する表面データを取り込むことができ得ない。しかしながら、取込機器２０２−１は、対象物２０８の下に配置され、見通しのきく地点２０４−１から対象物２０８の底面に関する表面データを取り込むことができ得る。それに応じて、取込機器２０２は、組み合わせて、対象物２０８の表面のすべてに関する表面データを取り込みように構成され得る。
【００５４】
取込機器２０２は、任意の適切な手法で、互いに、および仮想現実メディア・プロバイダ・システム１０２に、通信可能に連結され得る。図２に示すように、取込機器２０２は、直接に仮想現実メディア・プロバイダ・システム１０２に、ネットワーク２１２を用いて仮想現実メディア・プロバイダ・システム１０２に、またはそれらの何らかの組合せで仮想現実メディア・プロバイダ・システム１０２に、通信可能に連結され得る。
【００５５】
ネットワーク２１２は、プロバイダ特有の有線または無線のネットワーク（たとえば、ケーブルもしくは衛星通信事業者ネットワーク、または携帯電話ネットワーク）、インターネット、広域ネットワーク、または任意の他の適切なネットワークを含み得る。データは、特定の実装形態に役立ち得るように、任意の通信技術、通信機器、通信媒体、および通信プロトコルを使用して、取込機器２０２の間で、仮想現実メディア・プロバイダ・システム１０２と取込機器２０２の間で、または仮想現実メディア・プロバイダ・システム１０２とメディアプレーヤ機器２１０の間で流れ得る。たとえば、取込機器２０２は、互いに通信し得る、そして仮想現実メディア・プロバイダ・システム１０２は、ソケット接続、イーサネット（登録商標）、データバス技術、データ伝送媒体、通信機器、伝送制御プロトコル（Ｔｒａｎｓｍｉｓｓｉｏｎ  Ｃｏｎｔｒｏｌ  Ｐｒｏｔｏｃｏｌ、「ＴＣＰ」）、インターネットプロトコル（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ、「ＩＰ」）、ファイル転送プロトコル（Ｆｉｌｅ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ、「ＦＴＰ」）、テルネット、ハイパーテキスト転送プロトコル（Ｈｙｐｅｒｔｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ、「ＨＴＴＰ」）、ＨＴＴＰＳ、セッション開始プロトコル（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ、Ｐｒｏｔｏｃｏｌ、「ＳＩＰ」）、ＳＯＡＰ（Ｓｉｍｐｌｅ  Ｏｂｊｅｃｔ  Ａｃｃｅｓｓ  Ｐｒｏｔｏｃｏｌ）、拡張可能なマーク付け言語（Ｅｘｔｅｎｓｉｂｌｅ  Ｍａｒｋ−ｕｐ  Ｌａｎｇｕａｇｅ、「ＸＭＬ」）およびその変型形態、リアルタイム転送プロトコル（Ｒｅａｌ−Ｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｏｌ、「ＲＴＰ」）、ユーザ・データグラム・プロトコル（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ、「ＵＤＰ」）、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）（登録商標）技術、符号分割多元接続（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ、「ＣＤＭＡ」）技術、ＥＶＤＯ（Ｅｖｏｌｕｔｉｏｎ  Ｄａｔａ  Ｏｐｔｉｍｉｚｅｄ  Ｐｒｏｔｏｃｏｌ）、４Ｇ  ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＶｏＩＰ（Ｖｏｉｃｅ  ｏｖｅｒ  ＩＰ）、ＶｏＬＴＥ（Ｖｏｉｃｅ  ｏｖｅｒ  ＬＴＥ）、ＷｉＭａｘ、時分割多元接続（Ｔｉｍｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ、「ＴＤＭＡ」）技術、ショート・メッセージ・サービス（Ｓｈｏｒｔ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ、「ＳＭＳ」）、マルチメディア・メッセージ・サービス（Ｍｕｌｔｉｍｅｄｉａ  Ｍｅｓｓａｇｅ  Ｓｅｒｖｉｃｅ、「ＭＭＳ」）、無線周波数（ｒａｄｉｏ  ｆｒｅｑｕｅｎｃｙ、「ＲＦ」）信号方式技術、無線通信技術（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）など）、帯域内および帯域外信号方式技術、ならびに他の適切な通信技術を含むがこれらに限定されない、データ通信を支援する任意の適切な通信技術、通信機器、通信媒体、および／または通信プロトコルを使用して、取込機器２０２および／またはメディアプレーヤ機器２１０と通信し得る。図２では、１つのネットワーク２１２だけが仮想現実メディア・プロバイダ・システム１０２、取込機器２０２、およびメディアプレーヤ機器２１０を相互接続するように示されているが、これの機器およびシステムは、特定の実装形態に役立ち得るように、複数の、および／または相互接続された異なるネットワークを用いて相互通信し得ることが認識されよう。
【００５６】
図２に示す例では、実装形態２００は、任意の適切な手法で（たとえば、直接に、またはネットワーク２１２を通して）取込機器２０２から仮想現実メディア・プロバイダ・システム１０２まで、ネットワーク２１２を用いて仮想現実メディア・プロバイダ・システム１０２からメディアプレーヤ機器２１０まで、仮想現実コンテンツが流れる、仮想現実コンテンツ（たとえば、表面データ、メタデータなど）を配信するためのデータパイプラインを形成する。仮想現実メディア・プロバイダ・システム１０２は、本明細書で記述するように、取得した仮想現実コンテンツを処理して、仮想現実コンテンツを生成し、データパイプラインの一部としてネットワーク２１２を用いて、メディアプレーヤ機器２１０にストリーミングするために少なくとも１つの転送ストリームの中に仮想現実コンテンツを提供する。仮想現実メディア・プロバイダ・システム１０２により処理され、提供されるデータは、本明細書で記述するなどの２Ｄカラーデータおよび深度データを含むので、３Ｄモデルがサーバ側で生成され、かつネットワークを介して配信される、従来の仮想現実コンテンツ配信方法と比較して、仮想現実メディア・プロバイダ・システム１０２により処理され、ネットワーク２１２を介して伝送されるのに必要とされるデータの量は、著しく低減される。次に、仮想現実コンテンツが、どのようにしてデータパイプラインを通って流れ得るかの例を、図３〜図８を参照して記述する。
【００５７】
図３は、風景の仮想現実コンテンツ（たとえば、表面データ）をメディアプレーヤ機器２１０に提供するためにデータパイプライン内で使用され得る代表的データフロー３００を例示する。データフロー３００では、データは、本明細書で記述する任意の方法で、または特定の実装形態に役立ち得るように、生成される、処理される、分配されるなどされ得る。図３に示すように、データ取込設備１０６は、取り込まれた表面データ３０２（たとえば、取り込まれた表面データ３０２−１〜３０２−ｎ）をデータ処理設備１０８に提供し得る。図３では、取り込まれた表面データ３０２−１〜３０２−ｎの例示するインスタンスはそれぞれ、対応する取込機器２０２−１〜２０２−ｎから取り込まれた表面データに対応する。データ処理設備１０８は、本明細書で記述するなどの、任意の適切な手法で、取り込まれた表面データ３０２を受信し、処理して、取込機器２０２ごとに、処理された表面データ３０４（たとえば、処理された表面データ３０４−１〜３０４−ｎ）を生成し得る。データ処理設備１０８は、処理された表面データ３０４をデータ符号化設備１１０に提供し得る、そしてデータ符号化設備１１０は、本明細書に記述するなどの、任意の適切な手法で、メディアプレーヤ機器２１０にストリーミングするのに適した形式である、符号化された表面データ３０６（たとえば、符号化された表面データ３０６−１〜３０６−ｎ）を生成し得る。次いで、符号化された表面データ３０６は、データ多重化設備１１２に提供され得る、そしてデータ多重化設備１１２は、符号化された表面データ３０６を任意の適切な手法で転送ストリーム３０８の中にパッケージ化し得る。次いで、データ多重化設備１１２は、転送ストリーム３０８をメディアプレーヤ機器２１０にストリーミングし得る、または他の方法で、メディアプレーヤ機器２１０にストリーミングすべき転送ストリーム３０８を（たとえば、ＣＤＮに）提供し得る。
【００５８】
ある種の例では、表面データ（たとえば、取り込まれた表面データ３０２−１〜３０２−ｎ、処理された表面データ３０４−１〜３０４−ｎ、符号化された表面データ３０６−１〜３０６−ｎなど）は、取込機器２０２ごとに別個のカラー・データ・ストリームおよび深度データストリームとして、図３に例示するデータフロー３００全体を通して伝送され得る、または他の方法で提供され得る。たとえば、取り込まれた表面データ３０２−１、処理された表面データ３０４−１、および符号化された表面データ３０６−１は、それぞれ取込機器２０２−１に関するカラー・データ・ストリームおよび別個の深度データストリームを含み得る。このようにカラーデータおよび深度データを表現し、処理することにより、本明細書で記述するシステムおよび方法は、少なくとも、仮想現実メディア・プロバイダ・システム１０２が風景の３Ｄモデルを生成し、処理することがないので、従来の方法と比較して、仮想現実メディア・プロバイダ・システム１０２が行う処理の量を著しく低減し得る。
【００５９】
図３に示す表面データは、データフロー３００全体を通して任意の適切な手法で、別個のカラー・データ・ストリームおよび深度データストリームとして伝送され得る、または他の方法で提供され得る。例示するために、図４は、データ取込設備１０６が、たとえば取込機器２０２−２から取得し得る代表的表面データ４０２を示す。図４に示すように、表面データ４０２は、取込機器２０２−２が取り込んだ風景２０６の一連の順次２Ｄカラーデータ取込み４０４（たとえば、カラー・データ・ストリームのフレーム）、および取込機器２０２−２が取り込んだ風景２０６の一連の順次２Ｄ深度データ取込み４０６（たとえば、深度データストリームのフレーム）を含み得る。一連の順次２Ｄカラーデータ取込み４０４は、特定の時間シーケンス４０８（たとえば、リアルタイムの特定の時間、風景に関連する特定の仮想時間軸など）の間に、取込機器２０２−２の見通しのきく地点２０４−２から得られる、風景２０６内の対象物２０８のカラーデータを表現し得る。一連の順次２Ｄ深度データ取込み４０６は、特定の時間シーケンス４０８の間に、取込機器２０２−２の見通しのきく地点２０４−２から得られる、風景２０６内の対象物２０８の深度データを表現し得る。
【００６０】
図４はまた、一連の順次２Ｄカラーデータ取込み４０４に含まれる代表的２Ｄカラーデータ取込み４１０、および一連の順次２Ｄ深度データ取込みに含まれる代表的２Ｄ深度データ取込み４１２を示す。２Ｄカラーデータ取込み４１０は、見通しのきく地点２０４−２から目に見える風景２０６の眺望を表現し得るカラーデータ（対象物２０８の表面から得られるカラーデータを含む）を含み得る。図４では、画像としてカラーデータを例示するが、カラーデータは、任意の適切な形式で取り込まれ得る、符号化され得る、フォーマットされ得る、伝送され得る、および表現され得る。たとえば、カラーデータは、標準的ビデオ符号化プロトコル、標準的画像形式などに従ってフォーマットされたデジタルデータであり得る。カラーデータは、仮想の見通しのきく地点２０４−２から見たときに、風景の内部に含まれる対象物の（たとえば、カラー写真に類似する）カラー画像を表現し得る。あるいは、カラーデータは、対象物を表す（たとえば、白黒写真に類似する）グレースケール画像であり得る。
【００６１】
２Ｄ深度データ取込み４１２は、見通しのきく地点２０４−２に関連する、空間内のある地点から得られる、対象物２０８の表面に関する深度データを含み得る。カラーデータと同様に、２Ｄ深度データ取込み４１２で表現され深度データは、見通しのきく地点２０４−２から見た、風景２０６内部の対象物２０８を描き得る。しかしながら、目に見える対象物２０８の外観を表現する（すなわち、光が対象物２０８の表面とどのように相互作用するかをカラーで、またはグレースケールで表現する）のではなく、深度データは、見通しのきく地点２０４−２の位置に対する対象物２０８（たとえば、さらにまた風景２０６内部の他の対象物も）の表面上の地点の深度（すなわち、距離または位置）を表現し得る。カラーデータと同様に、深度データは、任意の適切な形態で取り込まれ得る、符号化され得る、フォーマットされ得る、伝送され得る、および表現され得る。たとえば、図示するように、深度データは、（たとえば、深度データ内部で表現される画素ごとに６ビットまたは８ビットの）グレースケール画像データにより表現され得る。しかしながら、可視光が対象物２０８の表面からどのようにして反射するかを（すなわち、カラーデータで表現されるように）表現するのではなく、深度データのグレースケール画像は、画像内の画素ごとに、その画素により表現される地点が、見通しのきく地点２０４−２の位置からどれだけ遠く離れているかを表現し得る。たとえば、見通しのきく地点２０４−２に、より近い地点は、より暗いグレーの影を表現する値（たとえば、０ｂ１１１１１１が黒を表現する６ビット実装形態の場合、０ｂ１１１１１１に、より近い２進値）で表現され得る。逆に、見通しのきく地点２０４−２からより遠く離れた地点は、より明るいグレーの影を表現する値（０ｂ００００００が白を表現する６ビット実装形態の場合、０ｂ００００００に、より近い２進値）で表現され得る。
【００６２】
図３に戻ると、転送ストリーム３０８は、任意の適切な組立てを有し得る、そして本明細書に含まれるさまざまなストリームは、特定の実装形態に適合させ得るように、任意の適切な手法で配列され得る。ある種の例では、転送ストリームは、取込機器２０２ごとに、カラー・ビデオ・データ・ストリーム、深度ビデオ・データ・ストリーム、およびメタデータストリームを含み得る。例示するために、図５は、代表的転送ストリーム５０２を示し、転送ストリーム５０２では、取込機器２０２−１については、カラー・ビデオ・データ・ストリーム５０４−１、深度ビデオ・データ・ストリーム５０６−１、およびメタデータストリーム５０８−１が提供され、取込機器２０２−２については、カラー・ビデオ・データ・ストリーム５０４−２、深度ビデオ・データ・ストリーム５０６−２、およびメタデータストリーム５０８−２が提供され、取込機器２０２−ｎについては、カラー・ビデオ・データ・ストリーム５０４−ｎ、深度ビデオ・データ・ストリーム５０６−ｎ、およびメタデータストリーム５０８−ｎが提供される。
【００６３】
あるいは、転送ストリームは、取込機器２０２ごとの別個のメタデータストリームの代わりに、大域メタデータストリームを含み得る。例示するために、図６は、取込機器２０２（たとえば、取込機器２０２−１〜２０２−ｎ）ごとに、カラー・ビデオ・データ・ストリーム６０４（たとえば、カラー・ビデオ・データ・ストリーム６０４−１〜６０４−ｎ）および深度ビデオ・データ・ストリーム６０６（たとえば深度ビデオ・データ・ストリーム６０６−１〜６０６−ｎ）、ならびに単一の大域メタデータストリーム６０８を含む代表的転送ストリーム６０２を示す。大域メタデータストリーム６０８は、メディアプレーヤ機器２１０が風景の３Ｄ表現を生成するのを容易にするために有用なメタデータのすべてを含み得る。大域メタデータストリーム６０８はまた、メディアプレーヤ機器２１０が大域メタデータストリーム６０８に含まれるメタデータを構文解析し、使用することができるようにする検索情報を含み得る。
【００６４】
ある種の例では、メディアプレーヤ機器２１０に提供されるメタデータは、転送ストリームとは別個に提供され得る。たとえば、図７は、取込機器２０２（たとえば、取込機器２０２−１〜２０２−ｎ）ごとに、カラー・ビデオ・データ・ストリーム７０４（たとえば、カラー・ビデオ・データ・ストリーム７０４−１〜７０４−ｎ）および深度ビデオ・データ・ストリーム７０６（たとえば深度ビデオ・データ・ストリーム７０６−１〜７０６−ｎ）を含むが、メタデータストリームを含まない代表的転送ストリーム７０２を示す。メタデータストリーム７０８はむしろ、転送ストリーム７０２とは別個に提供される。仮想現実メディア・プロバイダ・システム１０２は、転送ストリーム７０２の前に、後に、またはそれと同時に、メディアプレーヤ機器２１０にストリーミングするためにメタデータストリーム７０８を提供し得る。
【００６５】
図５〜図７に例示する代表的転送ストリームは、例示するためだけに提供されている。転送ストリームは、特定の実装形態に適合させ得るように、任意の他の構成を有し得ることが理解される。それに加えて、メタデータは、特定の実装形態に適合させ得るように、任意の他の手法で転送ストリームと一緒に、またはそれとは別個に提供され得る。たとえば、メタデータは、転送ストリームに含まれるストリームの１つまたは複数の内部に（たとえば、カラー・ビデオ・データ・ストリームおよび／または深度ビデオ・データ・ストリームの１つまたは複数の内部に）（たとえば、最初に、最後に、中間になど）提供され得る。
【００６６】
ある種の例では、仮想現実メディア・プロバイダ・システム１０２は、メディアプレーヤ機器２１０に伝送するために処理し（たとえば、符号化し）転送ストリームの中にパッケージ化すべき、ある時点に風景に関して取り込まれた１組の２Ｄカラーデータおよび深度データ全体のサブセットだけを選択し得る。したがって、仮想現実メディア・プロバイダ・システム１０２は、ある時点に風景に関して取り込まれた１組の２Ｄカラーデータおよび深度データ全体の残りの部分を、処理して（たとえば、符号化して）転送ストリームの中にパッケージ化することをさせ得ない。仮想現実メディア・プロバイダ・システム１０２は、風景に関連する仮想３Ｄ空間に関してメディアプレーヤ機器２１０のユーザの視点などの任意の適切な基準に基づき、どの２Ｄカラーデータおよび深度データを含むべきか、および／または転送ストリームから排除すべきかを選択し得る。
【００６７】
図８は、風景の仮想現実コンテンツ（たとえば、表面データ）をメディアプレーヤ機器２１０に提供するために、データパイプライン内で使用され得る別の代表的データフロー８００を例示する。データフロー８００では、データは、本明細書で記述する任意の方法で、または特定の実装形態に役立ち得るように、生成される、処理される、分配されるなどされ得る。図８に示すように、データフロー８００は、メディアプレーヤ機器２１０により提供されるフィードバック８０４に基づき具体的に構成された転送ストリーム８０２を含むことを除き、図３に例示するデータフロー３００に類似する。フィードバック８０４は、メディアプレーヤ機器２１０および／またはメディアプレーヤ機器２１０のユーザ２１４の特定の視点に転送ストリーム８０２を調整するために、仮想現実メディア・プロバイダ・システム１０２により使用され得る任意の適切なフィードバックを含み得る。たとえば、フィードバック８０４は、ユーザ２１４の視点、ユーザ２１４の視点の変化、および／または任意の他の適切な情報を示す情報を含み得る。仮想現実メディア・プロバイダ・システム１０２は、フィードバック８０４を使用して、ユーザ２１４の現在の視点に転送ストリーム８０２を具体的に合わせ得る。例示するために、ユーザ２１４の視点は、仮想現実世界（たとえば、仮想３Ｄ空間）内部でユーザ２１４が動くことに基づき変化し得る。更新された視点で、取込機器２０２の一部から取り込まれた表面データのサブセットだけが、風景の３Ｄ表現を生成するためにメディアプレーヤ機器２１０にとって有用であり得る。それに応じて、仮想現実メディア・プロバイダ・システム１０２は、取込機器２０２の一部だけに関する表面データ（たとえば、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム）を転送ストリーム内にパッケージ化し得る。図８に示す例では、風景に関する表面データすべてを転送ストリーム８０２の中にパッケージ化する代わりに、取込機器２０２−１および２０２−２だけから得られる表面データが、転送ストリーム８０２内部にパッケージ化される。メディアプレーヤ機器２１０から得られるフィードバック８０４に基づき、取込機器２０２のサブセットにより取り込まれたデータのサブセットだけを転送ストリーム８０２に選択的に含めることにより、本明細書で記述するシステムおよび方法は、転送ストリーム８０２を配信するために必要とされる帯域幅の広さを低減し得る、および／またはメディアプレーヤ機器２１０のデータ処理および／または記憶資源を節約し得る。
【００６８】
メディアプレーヤ機器２１０は、任意の適切な手法で、本明細書で記述する通信プロトコルなどの任意の適切な通信プロトコルを使用して、更新された視点を示す情報をフィードバック８０４として仮想現実メディア・プロバイダ・システム１０２に提供し得る。図８に示す例では、フィードバック８０４は、例示するためだけに、データ符号化設備１１０に提供されているように示されている。ある種の実装形態では、設備１０６〜１１２の任意の１つまたは複数が、フィードバック８０４を受信し得ることが理解される。
【００６９】
図９は、図８で例示するデータフロー８００に基づき提供され得る代表的転送ストリーム９０２を例示する。図９に示すように、転送ストリーム９０２は、取込機器２０２−１および２０２−２に関連するストリームだけを含み得る。たとえば、取込機器２０２−１から得られるストリームは、カラー・ビデオ・データ・ストリーム９０４−１、深度ビデオ・データ・ストリーム９０６−１、およびメタデータストリーム９０８−１を含む。同様に、取込機器２０２−２から得られるストリームは、カラー・ビデオ・データ・ストリーム９０４−２、深度ビデオ・データ・ストリーム９０６−２、およびメタデータストリーム９０８−２を含む。他のすべてのカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム（たとえば、取込機器２０２−ｎに関するカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリーム）は、具体的には、フィードバック８０４に基づき転送ストリーム９０２の中から排除させられ得る。図９は、メタデータが転送ストリーム９０２内部の別個のメタデータストリーム９０８として提供されることを示すが、取込機器２０２−１および２０２−２に関連する別個のメタデータが、本明細書で記述するなどの、任意の他の適切な手法で提供され得ることが理解される。
【００７０】
図１０は、ｎ台の取込機器２０２に関する転送ストリームに含まれるデータを示す代表的図表１０００を例示する。図１０に示すように、転送ストリームは、ビデオデータ１００２、オーディオデータ１００４、およびメタデータ１００６を含み得る。ビデオデータ１００２は、それぞれの取込機器２０２に関連するカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを含み得る。図１０に示すように、ビデオデータ１００２は、ｎ台の取込機器２０２ごとに、２Ｄカラーデータ取込み１００８（たとえば、２Ｄカラーデータ取込み１００８−１〜１００８−ｎ）および２Ｄ深度データ取込み１０１０（たとえば、２Ｄ深度データ取込み１０１０−１〜１０１０−ｎ）を含み得る。たとえば、２Ｄカラーデータ取込み１００８−１は、取込機器２０２−１が取り込んだ２Ｄカラーデータを含み得る。同様に、２Ｄ深度データ取込み１０１０−１は、取込機器２０２−１が取り込んだ深度データを含み得るなどである。ある種の例では、２Ｄカラーデータ取込み１００８は、取込機器２０２の各々から得られる表面データが、時間的に同期をとられるように、互いに、かつそれぞれの２Ｄ深度データ取込み１０１０と、時間的に整列され得る。
【００７１】
上述のように、ある種の例では、仮想現実コンテンツは、オーディオデータを含み得る。オーディオデータは、任意の適切な手法で任意の適切なオーディオ取込機器（たとえば、マイクロホン）により取り込まれ得る、そして２Ｄオーディオ、３Ｄオーディオ、または空間オーディオもしくは位置オーディオなどの、任意の適切なオーディオコンテンツを含み得る。ある種の例では、オーディオ取込機器は、各取込機器２０２の一部として含まれ得る。あるいは、オーディオ取込機器は、取込機器２０２とは別個に（たとえば、独立型オーディオ取込機器として）提供され得る、そして取込機器２０２に必ずしも直接対応するわけではない場合があり得る。図１０に示す例では、オーディオデータ１００４は、オーディオソース１０１２（たとえば、オーディオソース１０１２−１〜１０１２−ｎ）を含む。図１０に示す各オーディオソース１０１２は、対応する取込機器２０２により、または対応する取込機器２０２に関連する対応するオーディオ取込機器により取り込まれたオーディオデータを含む、転送ストリーム内のオーディオ・データ・ストリームを表現し得る。たとえば、オーディオソース１０１２−１は、取込機器２０２−１に備わったマイクロホンにより取り込まれたオーディオデータを含むオーディオ・データ・ストリームに対応し得る、オーディオソース１０１２−２は、取込機器２０２−２に備わったマイクロホンにより取り込まれたオーディオデータを含むオーディオ・データ・ストリームに対応し得るなどである。それに応じて、オーディオデータは、取り込まれた風景に対して特有の場所から取り込まれた空間または位置２Ｄまたは３Ｄオーディオコンテンツを表現し得る。オーディオソース１０１２は、任意の適切な手法で転送ストリーム内に提供され得る。たとえば、各オーディオソース１０１２は、転送ストリーム内部の別個のストリームとして提供され得る。各オーディオソース１０１２は、オーディオデータ１００４がビデオデータ１００２と時間的に同期をとられるように、２Ｄカラーデータ取込み１００８および／または２Ｄ深度データ取込み１０１０に時間的にマッピングされ得る。
【００７２】
図１０に示すように、メタデータ１００６は、メタデータ取込み１０１４（たとえば、メタデータ取込み１０１４−１〜１０１４−ｎ）として転送ストリームに含まれ得る。各メタデータ取込み１０１４は、対応する取込機器２０２に関連するメタデータを含み得る。たとえば、メタデータ取込み１０１４−１は、取込機器２０２−１に関連するメタデータを含み得る、メタデータ取込み１０１４−２は、取込機器２０２−２に関連するメタデータを含み得るなどである。メタデータ取込み１０１４は、任意の適切な手法で転送ストリーム内に提供され得る。たとえば、図１０に示す各メタデータ取込み１０１４は、転送ストリーム内部の別個のメタデータストリームとして提供され得る。あるいは、メタデータ取込み１０１４は、本明細書で記述するなどの任意の適切な手法で、転送ストリーム内部の大域メタデータストリームの中に一緒に、または転送ストリームとは別個に提供され得る。
【００７３】
ある種の例では、メタデータ取込み１０１４は、それぞれ所与の取込機器２０２に関連する、対応する２Ｄカラーデータ取込み１００８および対応する２Ｄ深度データ取込み１０１０と時間的に整列させられ得る。たとえば、メタデータ取込み１０１４−１は、取込機器２０２−１に関連する２Ｄカラーデータ取込み１００８−１および２Ｄ深度データ取込み１０１０−１と時間的に整列させられ得る、メタデータ取込み１０１４−２は、取込機器２０２−２に関連する２Ｄカラーデータ取込み１００８−２および２Ｄ深度データ取込み１０１０−２と時間的に整列させられ得るなどである。ある種の例では、メタデータ１００６は、オーディオソース１０１２に関連する任意の適切なデータを含み得る。たとえば、メタデータ取込み１０１４−１は、オーディオソース１０１２−１で表現されるオーディオデータを取り込むために使用されるマイクロホンの風景内部での位置を示す位置データ、および／またはマイクロホンに関連する任意の他の適切な情報、および／またはマイクロホンが取り込むオーディオデータを含み得る。メディアプレーヤ機器２１０は、任意の適切な手法で、取り込まれたオーディオデータ、およびオーディオソース１０１２に関連するメタデータを使用して、表面データおよび対応するメタデータに基づき提供される風景の３Ｄ表現に加えて、風景の空間オーディオ表現（たとえば、サラウンドサウンド表現）をユーザ２１４に提供するように構成され得る。
【００７４】
図１１は、本明細書で記述する方法のいずれかで、メディアプレーヤ機器２１０に提供され得るメタデータの代表的実装形態１１０２を例示する。実装形態１１０２は、特定の実装形態に役立ち得るように、ＪＳＯＮデータ形式、バイナリデータ形式（たとえば構造化データ形式）、または任意の他のデータ形式に従い得る。図１１は、特定の取込機器（たとえば、取込機器２０２−１）に関連するメタデータを規定するために使用され得る代表的データフィールドを示す。次に、図１１に示すフィールドの各々について簡単な記述を提供する。
【００７５】
図１１に示す例で「ストリームＩＤ」というラベルの付いたフィールドには、特定の取込機器に関連する、カラー・ビデオ・データ・ストリームに関する識別子、および深度ビデオ・データ・ストリームに関する識別子が格納され得る。識別子は、文字列タイプの変数または任意の他の適切なデータタイプを使用して表現され得る。識別子は、任意の適切なタイプのデータストリームに適した任意の形式をとり得る。たとえば、ＭＰＥＧ転送ストリームについては、識別子は、ＭＰＥＧ転送ストリーム内のパケットに関するパケット識別子（ｐａｃｋｅｔ  ｉｄｅｎｔｉｆｉｅｒ、「ＰＩＤ」）であり得る。
【００７６】
図１１に示す例で「深度マッピング」というラベルの付いたフィールドには、それぞれ表現可能な値の範囲の（たとえば、特定の取込機器からの）距離の最小値、および表現可能な値の範囲の（たとえば、特定の取込機器からの）距離の最大値を表す、取込設備１０６により最初に提供される「近い」深度値および「遠い」深度値を格納し得る。「近い」深度値および「遠い」深度値は、データ値を現実世界の単位にマッピングし得る、そして浮動小数点値または任意の他の適切なデータタイプにより表現され得る。ある実施形態では、これは、
【００７７】
【数１】
2020522926.tif 000003
【００７８】
などの形式で、より一般化された「深度復号」を含み得る、式中、
【００７９】
【数２】
2020522926.tif 000004
【００８０】
であり、プロバイダシステム１０２（たとえば、プロバイダシステム１０２の取込設備１０６）は、行列係数ａ、ｂ、ｃ、ｄを送信する。
【００８１】
図１１に示す例で「３×４列−主変換行列」というラベルの付いたフィールドには、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームに含まれるデータを共通の仮想３Ｄ空間内の座標に変換するためにメディアプレーヤ機器２１０が使用する変換行列が格納され得る。
【００８２】
図１１に示す例で「ＦＯＶ接線角度」というラベルの付いたフィールドには、視野角、すなわち、角度の接線（たとえば、ｔａｎleft、ｔａｎright、ｔａｎtop、およびｔａｎbottom）に関して、特定の取込機器の、焦点距離、中心点などに基づくパラメータなどの視界または取込機器の固有パラメータを示す情報を格納し得る。ある種の例では、メタデータは、追加でまたは代わりに、取込機器の外在的パラメータ、ならびに／または取込機器および／もしくは取り込まれた表面データに関連する線形および／もしくは非線形の深度視差に関係がある情報を含み得る。
【００８３】
図１１に示す実装形態１１０２は、ある種の例で、メタデータが表現され、かつメディアプレーヤ機器２１０に提供され得る１つの方法を例示する。他の例では、メタデータは、特定の実装形態に適し得るように、任意の他の形式で表現され得る、そして任意の追加の、または代わりの情報を含み得る。
【００８４】
図２に戻ると、メディアプレーヤ機器２１０は、ネットワーク２１２を用いて、仮想現実メディア・プロバイダ・システム１０２から仮想現実コンテンツを表すデータを（たとえば、表面データおよびメタデータ）受信し得る。データは、任意の適切な方法でネットワーク２１２を介して伝送され、運ばれ、受信され得る、そして本明細書で記述する代表的データ形式のいずれかに含まれる任意の適切なデータ伝送形式および／またはプロトコルで表現され得る。たとえば、メディアプレーヤ機器２１０は、本明細書で記述する代表的転送ストリームおよび／またはメタデータのいずれも受信し得る。
【００８５】
メディアプレーヤ機器２１０は、仮想現実メディア・プロバイダ・システム１０２から受信したメタデータ、２Ｄカラーデータ、および深度データにアクセスし、これらを使用して、風景２０６の３Ｄ表現を生成するように構成され得る。メディアプレーヤ機器２１０は、風景２０６の３Ｄ表現を使用して、仮想３Ｄ空間内部の視点からユーザ２１４が体験する３Ｄ表現の眺望を提供するようにさらに構成され得る。このために、メディアプレーヤ機器２１０は、メディアプレーヤ機器システム１０４を組み入れ得る、そしてメディアプレーヤ機器システム１０４の任意の動作を遂行し得る。
【００８６】
本明細書で使用するとき、風景の「３Ｄ表現」は、風景の少なくとも部分的仮想３Ｄ構築（たとえば、風景内部に存在する１つまたは複数の対象物の少なくとも部分的仮想３Ｄ構築）を指す。たとえば、メディアプレーヤ機器２１０は、風景に関するメタデータおよび表面データを受信し、使用して、仮想３Ｄ空間内部の特定の視点からユーザ２１４の目に見える風景内部の対象物の少なくとも表面を描画し得る。ある種の例では、３Ｄ表現は、ユーザ２１４の視点からユーザ２１４の目に見えない表面（たとえば、対象物の遠い方の側）がメディアプレーヤ機器２１０により描写され得ないので、部分的３Ｄ表現と考えられ得る。
【００８７】
本明細書で使用するとき、「仮想３Ｄ空間」は、仮想３Ｄ世界の仮想現実空間を指す。１組の仮想３Ｄ世界座標に基づき表現され得る仮想３Ｄ空間は、ユーザ２１４が体験している風景の３Ｄ表現を描画するために、メディアプレーヤ機器２１０により生成され、使用され得る。仮想３Ｄ空間内部で、ユーザ２１４は、任意の方向（たとえば、風景の３Ｄ表現に関してユーザ２１４の視点から前方、後方、左側、右側、下方、および／または上方）に目を向け得る。追加で、ユーザ２１４は、ユーザ２１４の視点を仮想３Ｄ空間内部の他の場所にあちこち（すなわち、風景の動的に選択可能な異なる視点を動的に選択することにより）動かし得る。ある種の例では、仮想３Ｄ空間は、本明細書では、没入型仮想現実世界と呼ばれ得る。仮想３Ｄ空間の例を本明細書で提供する。
【００８８】
メディアプレーヤ機器２１０は、本明細書で記述するように、風景に関するメタデータおよび２Ｄ表面データなどの、仮想現実コンテンツを表すデータを受信し、受信したデータを処理して、風景の３Ｄ表現を生成することができる任意の機器を含み得る、またはそれにより実装され得る。メディアプレーヤ機器２１０は、風景の３Ｄ表現を使用して、風景の３Ｄ表現内部の選択された視点から得られる風景の３Ｄ表現の眺望を描画し、提示し得る、そしてその眺望は、没入型仮想現実世界（たとえば、現実世界の事象を表す没入型仮想現実世界）の視界であり得る。メディアプレーヤ機器２１０はまた、ユーザ２１４から得られるユーザ入力を検出し、ユーザ入力に基づき、ユーザ２１４が没入型仮想現実世界を体験するときに描画し、提示すべき没入型仮想現実世界の視界を動的に更新し得る。
【００８９】
たとえば、没入型仮想現実世界内部の視点から得られる視界は、ユーザ２１４が没入型仮想現実世界を容易に、かつ自然に見回し得る窓を提供し得る。視界は、メディアプレーヤ機器２１０により（たとえば、メディアプレーヤ機器２１０の表示画面上に）提示され得る、そして没入型仮想現実世界内部のユーザ２１４の視点を取り囲む対象物を描画するビデオを含み得る。追加で、視界は、ユーザ２１４が没入型仮想現実世界を体験するとき、ユーザ２１４により提供されるユーザ入力に応答して動的に変化し得る。たとえば、メディアプレーヤ機器２１０は、ユーザ入力（たとえば、視界が提示される表示画面の動きまたは回転）を検出し得る。それに応答として、視界は、異なる対象物、および／またはそれまでの視点から見た対象物の代わりに、異なる視点（たとえば、表示画面の位置に対応する視点）から見える対象物を表示し得る。
【００９０】
ユーザ２１４が仮想現実コンテンツを体験するのを容易にするために、メディアプレーヤ機器２１０は、仮想現実世界の眺望が表示され得る少なくとも１つの表示画面（たとえば、ヘッドマウント仮想現実機器の中に組み込まれたヘッドマウント表示画面、または厚紙製装置などの装置を用いてユーザの頭部に搭載される移動体機器の表示画面）を含み得る、またはそれに関連づけられ得る。メディアプレーヤ機器２１０はまた、仮想現実世界を表す２Ｄカラーデータおよび深度データを、対応するメタデータと共に受信し、維持し、処理して、メディアプレーヤ機器２１０の１つまたは複数の表示画面上に仮想現実世界の眺望を提示する（たとえば、描画する）ように構成されたソフトウェアを含み得る。たとえば、メディアプレーヤ機器２１０は、仮想現実世界を表すデータを処理し、１つまたは複数の表示装置上に提示するように構成された専用の独立型ソフトウェアアプリケーション（たとえば、移動体アプリケーション）を含み得る。他の例では、仮想現実世界の特定の眺望を提示するために使用されるソフトウェアは、標準のウェブ・ブラウザ・アプリケーションなどの、専用ではないソフトウェアを含み得る。
【００９１】
追加でまたは代わりに、メディアプレーヤ機器２１０は、転送ストリーム（たとえば、転送ストリーム３０８）に含まれる２Ｄカラーデータおよび深度データの受信、復号、多重分離、および／または処理を容易にするように構成されたハードウェアを含み得る。たとえば、メディアプレーヤ機器２１０は、専用ビデオ復号ハードウェア（たとえば、１つまたは複数の専用ビデオ復号器）およびプログラム可能ＧＰＵを有するグラフィックスカードを含み得る。
【００９２】
メディアプレーヤ機器２１０は、いくつかの異なるフォームファクタの１つをとり得る。たとえば、メディアプレーヤ機器２１０は、ヘッドマウント表示画面を含むヘッドマウント仮想現実機器（たとえば、仮想現実ゲーム機器）、パーソナルコンピュータ機器（たとえば、デスクトップコンピュータ、ラップトップコンピュータなど）、移動体機器もしくは無線機器（たとえば、スマートホン、タブレット機器、移動体読取り機など）、または仮想現実コンテンツの受信および／または提示を容易にするために特定の実装形態に役立ち得る任意の他の機器もしくは機器の構成を含み得る、またはこれらにより実装され得る。異なるタイプのメディアプレーヤ機器（たとえば、ヘッドマウント仮想現実機器、パーソナルコンピュータ機器、移動体機器など）は、異なるレベルの没入性を有する異なるタイプの仮想現実体験をユーザ２１４に提供し得る。
【００９３】
ある種のメディアプレーヤ機器の例について記述してきたが、例は、例示的であり、限定しているわけではない。メディアプレーヤ機器は、本明細書で記述する原理に従って提供される仮想現実コンテンツの受信を容易にするように構成され、かつ仮想現実コンテンツを使用して、風景の３Ｄ表現を描画するように構成された、任意の適切な機器および／または機器の構成を含み得る。たとえば、メディアプレーヤ機器は、有線式機器構成（たとえば、有線式ヘッドセット機器）または有線式ではない機器構成（たとえば、処理機器から有線で接続されていない表示画面）を含み得る。別の例として、ヘッドマウント仮想現実メディアプレーヤ機器または他のメディアプレーヤ機器は、ウェアラブルコントローラ（たとえば、リングコントローラ）および／またはハンドヘルドコントローラなどの仮想現実コントローラと協力して使用され得る。
【００９４】
ある種の例では、メディアプレーヤ機器２１０は、リアルタイムで（たとえば、風景内の事象が発生するのと同時に、または微々たる遅延期間の後に）、またはほぼリアルタイムで（たとえば、仮想現実コンテンツを取得、処理、伝送，および／または描画するためのわずかな遅延の後に）仮想現実コンテンツを受信し、処理し、提示し得る。他の例では、メディアプレーヤ機器２１０は、風景内の事象が発生したときから時間遅れで、時間をずらした手法で、仮想現実コンテンツを受信し、処理し、提示し得る。
【００９５】
仮想現実コンテンツの、時間をずらした視聴を支援するために、システム１００は、風景の表面データを取得した後に、風景を表す表面データおよび対応するメタデータの記録を記憶し、維持し得る。次いで、ユーザ２１４が風景を後で体験することを望むとき、仮想現実メディアコンテンツ・プロバイダ・システム１０２は、仮想３Ｄ空間内で風景の３Ｄ表現を、時間をずらした手法で生成するためにメディアプレーヤ機器２１０が使用するための、記録された表面データおよびメタデータをメディアプレーヤ機器２１０に提供し得る。
【００９６】
メディアプレーヤ機器２１０は、任意の適切な手法で、メディアプレーヤ機器２１０が受信した転送ストリームに含まれるメタデータ、ならびにカラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームなどの、表面データおよび対応するメタデータを処理して、仮想３Ｄ空間内部で風景の３Ｄ表現を生成し得る。ある種の例では、実例では、メディアプレーヤ機器２１０は、出願全体が本明細書で参照により組み入れられる、本出願と同日に提出された、「Ｍｅｔｈｏｄｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｒｅｎｄｅｒｉｎｇ  Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ  Ｃｏｎｔｅｎｔ  Ｂａｓｅｄ  ｏｎ  Ｔｗｏ−Ｄｉｍｅｎｓｉｏｎａｌ（“２Ｄ”）  Ｃａｐｔｕｒｅｄ  Ｉｍａｇｅｒｙ  ｏｆ  ａ  Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ（“３Ｄ”）  Ｓｃｅｎｅ（３次元（「３Ｄ」）風景の取り込まれた２次元（「２Ｄ」）画像に基づき仮想現実コンテンツを描画するための方法およびシステム）」と題する同時係属の米国特許出願公開第＿＿＿＿＿＿＿＿＿＿号明細書で記述される方法のいずれかで、仮想３Ｄ空間内部で風景の３Ｄ表現を生成し、仮想３Ｄ空間内の視点から風景の３Ｄ表現の眺望を描画し得る。他の例では、メディアプレーヤ機器２１０は、仮想現実メディア・プロバイダ・システム１０２から受信したデータに基づき、風景の３Ｄモデルを生成するための任意の公知の技術を使用して、風景内部の視点から風景の３Ｄモデルの眺望を描画することを含む任意の他の適切な方法で、仮想３Ｄ空間内部で風景の３Ｄ表現を生成し、仮想３Ｄ空間内の視点から風景の３Ｄ表現の眺望を描画し得る。
【００９７】
メディアプレーヤ機器２１０は、任意の適切な手法で、仮想３Ｄ空間（たとえば、仮想現実世界）内のユーザに風景の３Ｄ表現を提示し得る。例示するために、図１２は、メディアプレーヤ機器２１０が、風景（たとえば、風景２０６）に含まれる対象物（たとえば、対象物２０８）の３Ｄ表現１２０２の眺望をユーザ２１４に提示する代表的仮想現実体験１２００を示す。具体的には、３Ｄ表現１２０２の眺望は、風景内の対象物の真下の任意の場所に対応する視点から得られる風景を示す視界１２０４の内部に提示される。仮想３Ｄ空間１２０６は、風景に基づく仮想現実世界を表現する。仮想３Ｄ空間１２０６、および仮想３Ｄ空間１２０６内部の位置は、大域座標系を使用して、または任意の他の適切な方法で表現され得る。ユーザ２１４は、ユーザ入力（たとえば、頭部の動き、キーボード入力など）を提供して、仮想３Ｄ空間１２０６を見回す、および／または動き回る（すなわち、体験すべき視点を動的に選択する）ことによるなど、メディアプレーヤ機器２１０に入力を提供して、仮想３Ｄ空間１２０６を体験し、それにより、仮想３Ｄ空間１２０６内部の視点を、その結果として、メディアプレーヤ機器２１０により提示される風景の眺望を変更し得る。
【００９８】
図１２には、仮想３Ｄ空間１２０６が、半球体として例示されており、ユーザ２１４が、３Ｄ表現１２０２の下にある場所の視点から実質的に前方、後方、左側、右側、および／または上方の、仮想３Ｄ空間１２０６内部の任意の方向に目を向け得ることを示す。他の例では、仮想３Ｄ空間１２０６は、ユーザ２１４がさらにまた下方に目を向け得るように、３６０°×１８０°の球体全体を含み得る。追加で、ユーザ２１４は、仮想３Ｄ空間内部の他の場所まで動き回り得る（すなわち、風景の動的に選択可能な異なる視点を動的に選択する）。たとえば、ユーザ２１４は、３Ｄ表現１２０２の左側からの視点、３Ｄ表現１２０２の右側からの視点、３Ｄ表現１２０２の上方に吊り下げられた視点などを選択し得る。
【００９９】
図１３は、取り込まれた２Ｄ風景画像を使用して、仮想現実コンテンツを提供するための代表的方法１３００を例示する。図１３は、一実施形態による代表的動作を示すが、他の実施形態は、図１３に示す動作のいずれかを省略し得る、それに追加し得る、それを並べ替え得る、および／または修正し得る。図１３に示す動作の１つまたは複数は、仮想現実メディア・プロバイダ・システム１０２および／またはその任意の実装形態により遂行され得る。
【０１００】
動作１３０２では、仮想現実メディア・プロバイダ・システム（たとえば、仮想現実メディア・プロバイダ・システム１０２）は、１つまたは複数の対象物を含む風景に関連して異なる見通しのきく地点に物理的に配置された複数の取込機器から、１つまたは複数の対象物に関する表面データを取得し得る。いくつかの例では、表面データは、複数の取込機器に含まれる取込機器ごとに２Ｄカラーデータおよび深度データを含み得る。本明細書で記述するように、複数の取込機器に含まれる取込機器ごとの２Ｄカラーデータおよび深度データは、風景に関連して特定の見通しのきく地点から（たとえば、特定の取込角を有する特定の位置から）風景の、メッシュによって表されていない別個の眺望を表現し得る。動作１３０２は、本明細書で記述する方法のいずれかで遂行され得る。
【０１０１】
動作１３０４では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、２Ｄカラーデータに関するカラー・ビデオ・データ・ストリーム、および深度データに関する深度ビデオ・データ・ストリームを生成し得る。動作１３０４は、本明細書で記述する方法のいずれかで遂行され得る。
【０１０２】
動作１３０６では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームに関するメタデータを取得し得る。いくつかの例では、仮想現実メディア・プロバイダ・システムは、複数の取込機器から受信した情報に基づきメタデータを生成し得る。あるいは、メタデータのすべて、または少なくとも一部を、データ記憶設備またはサードパーティなどの別の情報源から取得し得る。動作１３０６は、本明細書で記述する方法のいずれかで遂行され得る。
【０１０３】
動作１３０８では、仮想現実メディア・プロバイダ・システムは、複数の取込機器に含まれる取込機器ごとに、カラー・ビデオ・データ・ストリームおよび深度ビデオ・データ・ストリームを転送ストリームの中にパッケージ化し得る。転送ストリームは、複数の取込機器に含まれる取込機器ごとに、風景に関連して対応する見通しのきく地点から風景の対応する、メッシュによって表されていない別個の眺望を表現するデータを含み得る。いくつかの例では、転送ストリーム内にパッケージ化されたカラー・ビデオ・データ・ストリームは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次２Ｄカラーデータ取込みとしてフォーマットされた２Ｄカラーデータを含み得る、そして転送ストリーム内にパッケージ化された深度ビデオ・データ・ストリームは、複数の取込機器に含まれる対応する取込機器が取り込んだ風景の一連の順次２Ｄ深度データ取込みとしてフォーマットされた深度データを含み得る。動作１３０８は、本明細書で記述する方法のいずれかで遂行され得る。
【０１０４】
動作１３１０では、仮想現実メディア・プロバイダ・システムは、メディアプレーヤ機器にストリーミングするためにメタデータおよび転送ストリームを提供し得る。メディアプレーヤ機器は、メタデータおよび転送ストリームを使用して、仮想３Ｄ空間内部で風景の３Ｄ表現を生成するように構成され得る。ある種の例では、仮想現実メディア・プロバイダ・システムは、メタデータおよび転送ストリームをメディアプレーヤ機器にストリーミングし得る。あるいは、仮想現実メディア・プロバイダ・システムは、メタデータおよび転送ストリームをＣＤＮおよび／またはサードパーティ（たとえば、Ａｍａｚｏｎ  Ｗｅｂ  Ｓｅｒｖｉｃｅｓにより運営されるＣＤＮ）に提供し得る、次いで、ＣＤＮおよび／またはサードパーティは、任意の適切な手法でメタデータおよび転送ストリームをメディアプレーヤ機器にストリーミングする。動作１３１０は、本明細書で記述する方法のいずれかで遂行され得る。
【０１０５】
ある種の例では、本明細書で記述するシステム、構成要素、および／または処理の１つまたは複数は、１つまたは複数の適切に構成されたコンピューティング機器により実装され得る、および／または遂行され得る。このために、上記で記述したシステムおよび／または構成要素の１つまたは複数は、本明細書で記述した処理の１つまたは複数を遂行するように構成された任意のコンピュータハードウェア、および／または少なくとも１つの非一時的コンピュータ可読媒体に具体化されたコンピュータ実装命令（たとえば、ソフトウェア）に含まれ得る、またはこれらにより実装され得る。詳細には、システム構成要素は、１つの物理的コンピューティング機器上に実装され得る、または２つ以上の物理的コンピューティング機器上に実装され得る。それに応じて、システム構成要素は、任意の数のコンピューティング機器を含み得る、そしていくつかのコンピュータ・オペレーティング・システムのいずれかを採用し得る。
【０１０６】
ある種の実施形態では、本明細書で記述する処理の１つまたは複数は、非一時的コンピュータ可読媒体の中に具体化され、１つまたは複数のコンピューティング機器により実行可能な命令として少なくとも一部は実装され得る。一般に、プロセッサ（たとえば、マイクロプロセッサ）は、非一時的コンピュータ可読媒体（たとえば、メモリなど）から命令を受け取り、これらの命令を実行し、それにより、本明細書で記述する処理の１つまたは複数を含む１つまたは複数の処理を遂行する。そのような命令は、さまざまな公知のコンピュータ可読媒体のいずれかを使用して記憶され得る、および／または伝送され得る。
【０１０７】
コンピュータ可読媒体（プロセッサ可読媒体とも呼ばれる）は、コンピュータにより（たとえば、コンピュータのプロセッサにより）読み出され得るデータ（たとえば、命令）を提供することに関与する任意の非一時的媒体を含む。そのような媒体は、不揮発性媒体および／または揮発性媒体を含むがこれらに限定されない多くの形態をとり得る。不揮発性媒体は、たとえば、光ディスクまたは磁気ディスク、および他の永続性メモリを含み得る。揮発性媒体は、たとえば、典型的には主記憶を構成するダイナミック・ランダム・アクセス・メモリ（ｄｙｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、「ＤＲＡＭ」）を含み得る。コンピュータ可読媒体の一般的形態は、たとえば、ディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ（ｃｏｍｐａｃｔ  ｄｉｓｃ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、デジタル・ビデオ・ディスク（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ、「ＤＶＤ」）、任意の他の光学媒体、ランダム・アクセス・メモリ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ、「ＲＡＭ」）、プログラム可能読出し専用メモリ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、「ＰＲＯＭ」）、電気的に消去可能プログラム可能読出し専用メモリ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ、「ＥＰＲＯＭ」）、フラッシュＥＥＰＲＯＭ、任意の他のメモリチップもしくはカートリッジ、またはコンピュータが読み出すことができる任意の他の有形媒体を含む。
【０１０８】
図１４は、本明細書で記述する処理の１つまたは複数を遂行するように具体的に構成され得る代表的コンピューティング機器１４００を例示する。図１４に示すように、コンピューティング機器１４００は、通信インフラストラクチャ１４１２を介して通信可能に接続された、通信インタフェース１４０２、プロセッサ１４０４、記憶装置１４０６、入出力（ｉｎｐｕｔ／ｏｕｔｐｕｔ、「Ｉ／Ｏ」）モジュール１４０８、およびグラフィックスカード１４１０を含み得る。図１４には、代表的コンピューティング機器１４００を示すが、図１４に例示する構成要素は、限定することを意図するものではない。他の実施形態では、追加の、または代わりの構成要素を使用し得る。次に、図１４に示すコンピューティング機器１４００の構成要素について、さらに詳細に記述する。
【０１０９】
通信インタフェース１４０２は、１つまたは複数のコンピューティング機器と通信するように構成され得る。通信インタフェース１４０２の例は、限定することなく、（ネットワーク・インタフェース・カードなどの）有線ネットワークインタフェース、（無線ネットワーク・インタフェース・カードなどの）無線ネットワークインタフェース、モデム、オーディオ／ビデオ接続、および任意の他の適切なインタフェースを含む。
【０１１０】
プロセッサ１４０４は、一般にデータを処理もしくは解釈する、本明細書で記述する命令、処理、および／または動作の１つまたは複数を実行する、および／またはその実行を指示することができる任意のタイプまたは形態の処理ユニット（たとえば、中央処理装置）を表す。プロセッサ１４０４は、記憶装置１４０６または他のコンピュータ可読媒体に記憶され得るなどの１つもしくは複数のアプリケーション１４１４または他のコンピュータ実行可能命令に従って、動作の実行を指示し得る。
【０１１１】
記憶装置１４０６は、１つまたは複数のデータ記憶媒体、機器、または構成を含み得る、そして任意のタイプ、形態、および組合せのデータ記憶媒体および／または機器を採用し得る。たとえば、記憶装置１４０６は、ハードドライブ、ネットワークドライブ、フラッシュドライブ、磁気ディスク、光ディスク、ＲＡＭ、ダイナミックＲＡＭ、他の不揮発性および／もしくは揮発性データ記憶装置、またはこれらの組合せもしくは部分的組合せを含み得るがこれらに限定されない。本明細書で記述するデータを含む電子データは、記憶装置１４０６に一時的に、および／または恒久的に記憶され得る。たとえば、本明細書で記述する動作のいずれかを遂行するようにプロセッサ１４０４に指示するように構成された１つまたは複数の実行可能なアプリケーション１４１４を表すデータは、記憶装置１４０６の内部に記憶され得る。いくつかの例では、データは、記憶装置１４０６の内部に常駐する１つまたは複数のデータベース内に配列される。ある種の例では、記憶装置１４０６は、表面データ、メタデータ、データストリーム、ビデオストリーム、転送ストリーム、および／または設備１０６〜１１６により受信される、生成される、管理される、維持される、使用される、および／または伝送される任意の他のデータを維持し得る。記憶設備は、本明細書で記述する動作の１つまたは複数を遂行するために設備１０６〜１１６により使用され得るような任意の他のデータをさらに含み得る。
【０１１２】
Ｉ／Ｏモジュール１４０８は、ユーザ入力を受信し，ユーザ出力を提供するように構成された１つまたは複数のＩ／Ｏモジュールを含み得る。１つまたは複数のＩ／Ｏモジュールを使用して、単一の仮想現実体験に関する入力を受信し得る。Ｉ／Ｏモジュール１４０８は、任意のハードウェア、任意のファームウェア、任意のソフトウェア、または入力および出力の能力を支援する、これらのハードウェア、ファームウェア、ソフトウェアの組合せを含み得る。たとえば、Ｉ／Ｏモジュール１４０８は、キーボードもしくはキーパッド、タッチスクリーン構成要素（たとえば、タッチスクリーン表示装置）、受信機（たとえば、ＲＦまたは赤外線受信機）、動きセンサ、および／または１つまたは複数の入力ボタンを含むがこれらに限定されない、ユーザ入力を取り込むためのハードウェアおよび／またはソフトウェアを含み得る。
【０１１３】
Ｉ／Ｏモジュール１４０８は、グラフィックスエンジン、表示装置（たとえば、表示画面）、１つまたは複数の出力ドライバ（たとえば、表示ドライバ）、１つまたは複数のオーディオスピーカ、および１つまたは複数のオーディオドライバを含むがこれらに限定されない、ユーザに出力を提示するための１つまたは複数の機器を含み得る。ある種の実施形態では、Ｉ／Ｏモジュール１４０８は、ユーザに提示するために表示装置にグラフィックデータを提供するように構成される。グラフィックデータは、特定の実装形態に役立ち得るように、１つまたは複数のグラフィカル・ユーザ・インタフェースおよび／または任意の他のグラフィックコンテンツであってもよい。Ｉ／Ｏモジュール１４０８は、ある種の実装形態から省かれ得る。
【０１１４】
いくつかの例では、本明細書で記述する設備のいずれも、コンピューティング機器１４００の１つまたは複数の構成要素により、またはその内部に実装され得る。たとえば、記憶装置１４０６の内部に常駐する１つまたは複数のアプリケーション１４１４は、プロセッサ１４０４に仮想現実メディア・プロバイダ・システム１０２（図１を参照のこと）のデータ取込設備１０６、データ処理設備１０８、データ符号化設備１１０、またはデータ多重化設備１１２に関連する１つまたは複数の処理または機能を遂行するように指示するように構成され得る。あるいは、記憶装置１４０６の内部に常駐する１つまたは複数のアプリケーション１４１４は、プロセッサ１４０４にメディアプレーヤ機器システム１０４（図１を参照のこと）のデータ復号／多重分離設備１１４またはデータ描画設備１１６に関連する１つまたは複数の処理または機能を遂行するように指示するように構成され得る。同様に、システム１００に関連する任意の適切な記憶設備は、記憶装置１４０６により、またはその内部に実装され得る。
【０１１５】
グラフィックスカード１４１０は、専用ビデオ復号ハードウェア（たとえば、１つまたは複数の専用ビデオ復号器）およびプログラム可能ＧＰＵ１４１６を有する任意の適切なグラフィックスカード（たとえば、市販のグラフィックスカード）を含み得る。グラフィックスカード１４１０は、ある種の実装形態では追加の構成要素を含み得る。グラフィックスカード１４１０および／またはＧＰＵ１４１６は、本明細書で記述する代表的動作の１つまたは複数を実行するように、および／またはこれらを実行する際にプロセッサ１４０４を支援するように構成され得る。グラフィックスカード１４１０は、特定の実装形態に適合させ得るように、任意の適切な数のグラフィックスカードおよび／またはＧＰＵを含み得る。
【０１１６】
前述の実施形態が個人により提供される個人情報を収集し、記憶し、および／または採用する範囲で、そのような情報は、個人情報の保護に関係があるすべての適用可能な法律に従って使用されなければならないことを理解されたい。追加で、そのような情報の収集、記憶、および使用は、たとえば、状況、および情報のタイプに適合し得るような周知の「オプトイン」または「オプトアウト」の過程を通して、そのような活動に対して個人の同意を必要とし得る。個人情報は、たとえば特に機密に属する情報については、さまざまな暗号化および匿名化の技法によって、情報のタイプを反映する適切に安全な手法で記憶および使用され得る。
【０１１７】
上記の記述では、添付図面を参照して、さまざまな代表的実施形態について記述してきた。しかしながら、さまざまな代表的実施形態にさまざまな修正および変更を行い得ること、および以下の特許請求の範囲で示されるような本発明の範囲を逸脱することなく、追加の実施形態を実装し得ることは明らかであろう。たとえば、本明細書で記述する一実施形態のある種の特徴は、本明細書で記述する別の実施形態の特徴と組み合わせられ得る、または置換され得る。したがって、明細書および図面は、限定的な意味ではなく例示的な意味で考慮に入れられるべきである。
【図１】
2020522926.tif 000005
【図２】
2020522926.tif 000006
【図３】
2020522926.tif 000007
【図４】
2020522926.tif 000008
【図５】
2020522926.tif 000009
【図６】
2020522926.tif 000010
【図７】
2020522926.tif 000011
【図８】
2020522926.tif 000012
【図９】
2020522926.tif 000013
【図１０】
2020522926.tif 000014
【図１１】
2020522926.tif 000015
【図１２】
2020522926.tif 000016
【図１３】
2020522926.tif 000017
【図１４】
2020522926.tif 000018
【国際調査報告】
2020522926.tif 000019
2020522926.tif 000020