(57)【要約】  ３６０度の視野に相当するコンテンツをストリーミングする方法及び装置が述べられる。本発明の方法及び装置は、３Ｄ没入型システム及び／又はユーザが彼又は彼女の頭を回転子、対応するシーン部分を見ることを可能にするヘッドマウントディスプレイに適する。この方法及び装置は、３６０度の視野に対応する３Ｄ画像コンテンツのリアルタイム又は準リアルタイムのストリーミングをサポートできる。【選択図】図６
2017514411.tif 000002
【特許請求の範囲】
【請求項１】
３６０度のシーンに相当するコンテンツを配信する方法において、
前記３６０度のシーンを複数のＮ個の部分に分割し、
ユーザの現在の視野角を決定し、
前記ユーザの現在の視野角に基づいて、第１の時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定する、
方法。
【請求項２】
前記ユーザの現在の視野角に基づいて、第１の時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定することは、
前記第１の時間間隔の間、前記ユーザにストリームされる前記３６０度のシーンの少なくとも２つ異なる部分を選択することを含む、請求項１記載の方法。
【請求項３】
前記ユーザの現在の視野角に基づいて、時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定することは、
前記ユーザにコンテンツをストリーミングすることが可能なデータレートに基づいて、ストリーミングのための多くの異なる部分を決定することを含む、
請求項２記載の方法。
【請求項４】
前記第１の時間間隔の間、前記ユーザにストリームされる前記３６０度のシーンの少なくとも２つ異なる部分を選択することは、
前記現在の視野角が対応する第１のシーン部分を選択し、
前記第１のシーン部分に直接隣接する第２のシーン部分を選択する、
請求項２記載の方法。
【請求項５】
前記第２のシーン部分は、視野角の機能として選択され、前記第２のシーン部分は、前記視野角によって示された前記第１のシーン部分内における前記角度に最も近い前記第１の部分に隣接するシーン部分である、
請求項４記載の方法。
【請求項６】
コンテンツをストリーミングするために利用可能なコンテンツデータレートに基づいて、ストリームのための前記第２のシーン部分の複数のバージョンのうちのどれかを決定することをさらに含む、
請求項３記載の方法。
【請求項７】
前記第１のシーン部分は、少なくとも３６０度シーンの少なくとも１２０度に相当し、
前記第２のシーン部分は、少なくとも３０度のシーン部分に相当する、
請求項４記載の方法。
【請求項８】
ストリームのための多くの異なる部分を決定するステップは、ストリームのために少なくとも３つの異なる部分を決定することを含み、
前記少なくとも３つの異なるシーン部分の組み合わせは、３６０度のシーンのうち、少なくとも１７０度をカバーする、
請求項７記載の方法。
【請求項９】
前記再生装置に、各リフレッシュ期間中に少なくとも１回、前記シーンの３６０度バージョンを完全なリフレッシュを可能にするために、周期的な基準で、少なくとも十分に多くのＮ個の部分を前記再生装置と通信を行なうことをさらに具備する、
請求項１記載の方法。
【請求項１０】
リフレッシュ間隔において再生装置へ送信されていないシーン部分を識別し、
前記識別された前記リフレッシュ間隔において再生装置へ送信されていないシーン部分の更新されたバージョンを送信する、
請求項８記載の方法。
【請求項１１】
３６０度のシーンに対応するコンテンツを配信するコンテンツ配信装置であって、
前記３６０度のシーンを複数のＮ個の部分に分割するように構成された分割モジュールと、
ユーザの現在の視野角を決定するように構成された現在視野角決定モジュールと、
前記ユーザの現在の視野角に基づいて、第１の時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定するように構成された選択モジュールと
を具備する装置。
【請求項１２】
前記選択モジュールは、さらに、前記第１の時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定することの一部として、前記第１の時間間隔の間、前記ユーザにストリームされる３６０度のシーンの少なくとも２つ異なる部分を選択するように構成されている、
請求項１１記載のコンテンツ配信装置。
【請求項１３】
前記選択モジュールは、さらに、前記ユーザにコンテンツをストリーミングすることが可能なデータレートに基づいて、ストリーミングのための多くの異なる部分を決定するように構成されている、
請求項１２記載のコンテンツ配信装置。
【請求項１４】
３６０度のシーンに相当するコンテンツを配信するコンテンツ配信装置において使用される非一時的コンピュータ可読媒体において、
少なくとも１つのプロセッサに、前記３６０度のシーンを複数のＮ個の部分に分割させる命令と、
前記少なくとも１つのプロセッサに、ユーザの現在の視野角を決定させる命令と、
前記少なくとも１つのプロセッサに、前記ユーザの現在の視野角に基づいて、第１の時間間隔の間、前記ユーザに対応する再生装置へストリームする前記Ｎ個の部分のうちのどれかを決定させる命令と
を具備するコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［０００１］  本願発明は、例えば立体画像等のコンテンツのアダプティブ・ストリーミング（ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ）の分野に関し、より具体的には立体ビデオを得ること、エンコードすること、ストリーミングすること、及びデコードすることに関する。
【背景技術】
【０００２】
［０００２］  没入体験（ｉｍｍｅｒｓｉｖｅ  ｅｘｐｅｒｉｅｎｃｅ）を提供しようとするディスプレイ装置は通常、ユーザがその頭を回転することを許容し、表示されるシーンにおいて対応する変化を体験させる。ヘッドマウントディスプレイは、ヘッドマウントディスプレイを装着しつつユーザが振り返った際に、ユーザのヘッド位置の変化につれて表示されるシーンにより、３６０度の視界（ｖｉｅｗｉｎｇ）をサポート出来る。
【０００３】
［０００３］  このような装置によれば、前を向いている時はカメラの正面で取り込まれたシーンが表示され、ユーザが完全に振り向いた際にはカメラの後ろで取り込まれたシーンが表示されるだろう。ユーザが後ろに振り返った時、常に限定された視野しか知覚出来ないという人の能力により、ユーザの視野は通常１２０度以下に限られるだろう。
【０００４】
［０００４］  ３６０度の視界（ｖｉｅｗ）をサポートするためには、３６０度のシーンが複数のカメラを用いて取り込まれ得る。この際、画像が合成されて、見ることが可能となる３６０度シーンが生成され得る。
【０００５】
［０００５］  ３６０度の視界は、ユーザが、特定の時刻において表示される画像を決定するための視野角（ｖｉｅｗｉｎｇ  ａｎｇｌｅ）を変える機会を有しない通常のテレビ及び多くのその他のビデオアプリケーションのために一般的に取り込まれ、エンコードされる単純な前方視界よりもはるかに多くの画像データを含むことが理解されるべきである。
【０００６】
［０００６］  ストリーミングされるコンテンツに関する制限、例えばネットワークデータ制限が通信に与えられると、コンテンツを受信し、インタラクトしようとする全てのカスタマーに、高精細度（ｆｕｌｌ  ｈｉｇｈ  ｄｅｆｉｎｉｔｉｏｎ）ビデオで完全な３６０度の視界をストリーミングすることは可能では無いであろう。これは、具体的には次のようなケースである。すなわちコンテンツが、３Ｄ視界効果を可能にする左右の視野（ｅｙｅ  ｖｉｅｗｓ）に対応することを意図とした画像コンテンツを含む立体コンテンツを含む場合である。
【０００７】
［０００７］  上記議論を考慮すると、個々のユーザに関連するデータストリーミングの制限のもとで、個々のユーザに対して、例えば彼又は彼女が振り返ることにより、彼の視界位置（ｖｉｅｗｉｎｇ  ｐｏｓｉｔｉｏｎ）を変えることを可能とし、そして３６０度の視界の望ましい位置を見ることを可能とするような方法でコンテンツのストリーミングをサポートするための方法と装置の必要性があることが理解されるべきである。必ずしも全ての実施形態についてでは無いが、少なくともいくつかの実施形態は、異なる位置にある複数のユーザに同時にストリームを受信することを可能とし、そして彼らが求める３６０度の視界のうちの個別の領域を、他のユーザによってどの領域又は複数の領域が見られているかに関わらず、彼らが望む３６０度の視界の個別の領域を見ることを可能とすることが望ましい。
【発明の概要】
【０００８】
［０００８］  ３６０度の視界領域に対応するビデオ又はその他のコンテンツの配信、例えばストリーミングをサポートする方法及び装置が記載される。本発明の方法及び装置は、データ通信の制限により、コンテンツの３６０度のコンテンツの配信につき、最大サポート品質レベルでの、例えば最高品質のコーディング及びサポートされた最大フレームレート等を用いた配信が困難な場合に、立体及び／又はその他の画像コンテンツのストリーミングに特に適している。本方法は、リアルタイム又は準リアルタイムでコンテンツをエンコードし、提供するために使用し得るが、そのようなリアルタイムアプリケーションに限定されない。複数のユーザに対するリアルタイム及び準リアルタイムエンコーディング及びストリーミングをサポートする能力を考慮すると、本明細書で述べられる方法及び装置は、スポーツイベント、コンサート、及び／又は、個々の人がイベントを見ることを望み、そしてステージ又はフィールドを観測するだけでなく、スタジアムや観衆などの観測に切り替えそして観測出来るその他の場面のシーンのストリーミングに適している。３６０度の視界及び３Ｄをサポートすることにより、本願の方法及び装置は、ユーザに対して３Ｄの没入感を振り返る自由と共に提供し、そしてユーザの頭が存在し、それを左へ、右へ、又は後ろへ向けた場合にそうであるかもしれないように、異なる視野角からのシーンを得るようなヘッドマウントディスプレイでの使用に適している。
【０００９】
［０００９］    種々の実施形態によれば、例えば映像コンテンツ等の、３６０度の視界の領域に対応するコンテンツは、Ｎ個の部分に分割され、各部分は３６０度の視界の異なる部分に対応し、Ｎは少なくとも２である。３６０度の視界が３つの部分に分割されたいくつかの実施形態では、ある部分は前方の１８０度の視界に対応し、第２の部分は左後ろの９０度の領域に対応し、そして残りの部分は右後ろの９０度の部分に対応する。本発明を説明する目的で３つの部分が述べられたが、３６０度シーンは更なる部分に分割されても良い。更に、いくつかの実施形態では複数の部分はオーバーラップせず、また別の実施形態では複数の部分は異なり部分的にオーバーラップする。  
［０００１０］  例えば２Ｄ又は立体（３Ｄ）の映像コンテンツは、異なるデータレートを有するストリームを介して部分が提供されるようにエンコードされる。いくつかの実施形態では、これは同じコンテンツを複数回エンコードすることを含み、各エンコードは、異なるデータレートを有する、又は例えばエンハンスドレイヤーを有するビデオストリームを生成する。ビデオストリームは、異なるデータレートをサポートし、従って異なるレベルの品質をサポートするために、エンコードデータの異なるセットが供給される。  いくつかの実施形態では、データレートの差は、異なる解像度を有し、同一のビデオコンテンツの複数のバージョンを生成するために、空間的に異なる解像度、例えば、空間領域における異なる解像度でコンテンツをエンコードすることに起因する。他の実施形態では、データレートの差は、時間的に異なる解像度、例えば、高データレートストリームと比較して、低データレートストリームの場合において使用される毎秒ごとにより少ないフレームでエンコードすることに起因する。明らかなように、時間的及び空間的な解像度の双方における低減は、シーン領域における部分に対応する低データレートストリームを生成するいくつかの実施形態における組み合わせにおいて使用される。空間的及び／又は時間的な解像度の制御がデータ圧縮のレベルを含む他のエンコーダ設定の異なるデータレート制御のデータストリームを生成するために使用される一方、いくつかの実施形態においては、１つ以上の所望のデータレートでシーン部分に対応するデータストリームを生成するために、単独で、或いは、空間的及び／又は時間的な解像度の制御に加えて使用される。
【００１０】
［０００１１］  リアルタイムエンコード及び伝送の場合においては、各シーン部分のエンコードは別々に行なわれる。  複数のデータレートがサポートされている場合、種々の実施時形態において、複数のエンコーダが各エンコーダによるシーン部分のエンコードされたバージョンを生成し、異なるビットレートによるシーン部分のバージョンを生成するために並行して動作する。従って、少なくともいくつかの実施形態では、同じシーン部分に対応する複数のストリームは、再生装置への伝送のために入手可能である。
【００１１】
［０００１２］  さらに以下に述べるように、異なる顧客は３６０度のシーン領域の同じ又は異なる部分に対応する異なるストリームで提供される。ｉ）  彼らの頭の位置、例えば、基準である０度の正面視界位置に比較して彼らの頭がどのような角度に向いているか、２）  顧客へのコンテンツのストリーミングのために入手可能なデータレート。
【００１２】
［０００１３］  通常、各ユーザには、１つ以上の部分に加えて、正面部分が提供され、例えば、少なくとも１２０度の正面部分である。いくつかの実施形態では、１つ以上の部分に加えて、正面部分は、例えば、少なくとも１２０度の正面部分の最高品質レベルで提供される。従って、与えられた時間の間、ユーザは、個々のシーン部分に適用される解像度、フレームレート及び／又はデータ圧縮の量に反映されることが可能な異なる品質レベルに本質的に対応する画像部分を有する少なくとも２つの異なる画像部分に対応するコンテンツを受信する。所定の期間の間に部分が提供される一方、例えば、ゲームコンソール及び／又はヘッドマウントディスプレイのような顧客前提再生装置から受信した示された視野角に依存する。
【００１３】
［０００１４］  ユーザが、その頭を回転すると、その画像部分がユーザの再生装置へストリームされ変化し、再生装置には、ビューアの頭が向けられたシーン部分及び報告された頭の視野角によって指示されたように見えるシーン部分に隣接する少なくとも１つのシーン部分が供給される。このように、ユーザがその頭を回転した場合、再生装置は容易に取得可能な表示されるのに必要なシーン情報を持つべきである。
【００１４】
［０００１５］  頭の位置の機能として、ストリーミングを制御することにより、３６０度全体のシーンが常にストリーミングされる必要はなく、その結果、ストリーミングの目的のために同じ優先度が与えられた場合に、３６０度のシーンの全ての部分の場合よりも、より効率的な制限帯域幅の使用となる。
【００１５】
［０００１６］  いくつかの実施形態では、シーンはＮこの均等なサイズの部分に分割される。例えば、図２に示すように、９０度のシーンである。ユーザには、いずれかの時間で同じサイズの視界領域（ｖｉｅｗｉｎｇ  ａｒｅａ）に対応する多くの部分、例えば、１８０度の視界領域が供給され、これらの部分は、ユーザの視野角に依存して変化する。このような実施形態では、再生装置によって処理される部分の数は、長い時間にわたり比較的一定であるが、異なる部分は視野角に依存して供給される。
【図面の簡単な説明】
【００１６】
【図１】［０００１７］  図１は、本発明のいくつかの実施形態に従って実施される例示的なシステムを示す。
【図２Ａ】［０００１８］  図２Ａは、例示的な立体シーン（例えば、分割されていない完全な３６０度の立体シーン）を示す。
【図２Ｂ】［０００１９］  図２Ｂは、１つの例示的な実施形態に従って３つの例示的なシーンに分割された例示的な立体シーンを示す。
【図２Ｃ】［０００２０］  図２Ｃは、１つの例示的な実施形態に従って４つのシーンに分割された例示的な立体シーンを示す。
【図３】［０００２１］  図３は、１つの例示的な実施形態に従って例示的な３６０度の立体シーンをエンコードする例示的な処理を示す。
【図４】［０００２２］  図４は、同じ入力画像部分の異なるエンコードされたバージョンを生成するための様々なエンコーダを使用して、どのように入力画像部分がエンコードされるかを示す例を示す。
【図５】［０００２３］  図５は、３つの部分に分割された入力立体シーンの格納され、エンコードされた部分を示す。
【図６】［０００２４］  図６は、図１のシステムを使用して実施された例示的な実施形態に従ってコンテンツをストリーミングする例示的な方法のステップを示すフローチャートである。
【図７】［０００２５］  図７は、本発明の特徴に従って、コンテンツをエンコードし、ストリーミングするのに使用されることができるエンコード能力を有する例示的なコンテンツ配信システムを示す。
【図８】［０００２６］  図８は、図７のシステムによってストリームされたコンテンツを受信し、デコードし、かつ表示するために使用されることができる例示的なコンテンツ再生装置を示す。
【発明を実施するための形態】
【００１７】
［０００２７］  図１は、本発明のいくつかの実施形態に従って実施された例示的なシステム１００を示す。システム９００は、例えば、顧客前提の再生装置／コンテンツプレイヤーなどの１つ以上の顧客装置への例えば画像コンテンツ配信などのコンテンツ配信をサポートする。システム９００は、例示的な画像取り込み装置１０２、コンテンツ配信システム１０４、通信ネットワーク１０５及び複数の顧客前提１０６，．．．，１１０を含む。画像取り込み装置１０２は、立体画像の取り込みをサポートする。画像取り込み装置１０２は、本発明の特徴に従って、画像コンテンツを取り込み処理する。通信ネットワーク１０５は、例えば、ハイブリッド同軸ファイバー（ＨＦＣ）ネットワーク、衛星ネットワーク及び／又はインターネットである。
【００１８】
［０００２８］  コンテンツ配信システム１０４は、エンコード装置１１２及びコンテンツストリーミング装置／サーバー１１４を含む。エンコード装置１１２は、いくつかの実施形態では、本発明に従って、画像データをエンコードするために複数のエンコーダを含むことができる。エンコーダは、シーンの異なる部分をエンコードすることを並行して、及び／又は異なるデータレートを有するエンコードされたバージョンを生成するために使用されても良い。リアルタイム又は準リアルタイムストリーミングがサポートされている場合、複数のエンコーダを並行して使用することは特に有用である。
【００１９】
［０００２９］  コンテンツストリーミング装置１１４は、例えば通信ネットワーク１０５を介して、１つ以上の顧客装置へエンコードされた画像コンテンツを配信するためのエンコードされたコンテンツをストリーム（例えば、伝送）するように構成されている。ネットワーク１０５を介して、コンテンツ配信システム１０４は、図に示されているように、通信ネットワーク１０５を横断するリンク１２０によって、情報を顧客前提１０６、１１０に設置された装置に送信し、及び／又は交換することができる。
【００２０】
［０００３０］  エンコード装置１１２及びコンテンツ配信サーバーは、例えば、図１における分離した物理的な装置に示されるように、実施形態においては、コンテンツをエンコードし、ストリームする単一の装置として実装される。エンコード処理は、シーン部分の左右の視野に対応する情報がエンコードされ、エンコードされた画像データに含まれ、３Ｄ画像視界がサポートされる場合、３Ｄ（例えば、立体）画像エンコード処理であっても良い。特定の使用されたエンコード方法は、本発明にとって重大ではなく、広範囲のエンコーダエンコード装置が広範囲のエンコーダ装置１１２として、又はエンコーダ装置１１２を実現するために使用されることができる。
【００２１】
［０００３１］  各顧客前提１０６、１１０は、例えば、デコード装置のようなコンテンツストリーミング装置１１４によってストリームされた画像コンテンツのデコード及び再生／表示を行なう複数の装置／再生装置を含む。顧客前提Ｎ  １１０が表示装置１２８に結合されているデコード装置／再生装置１２６を含むのに対し、顧客前提１  １０６は、表示装置１２４に結合されているデコード装置／再生装置１２６を含む。いくつかの実施形態では、表示装置１２４及び１２８はヘッドマウント立体表示装置である。
【００２２】
［０００３２］  様々な実施形態では、デコード装置１２２及び１２６は、対応する表示装置１２４及び１２８上での画像コンテンツを与える。デコード装置／プレーヤー１２２及び１２６は、コンテンツ配信システム１０４から受信した画像コンテンツをデコードし、デコードされたコンテンツを使用して表示装置１２４及び１２８上の画像コンテンツを生成する（例えば、３Ｄ画像コンテンツ）。デコード装置／再生装置１２２及び１２６のうちのどれでも、図８に示すように、デコード装置／再生装置８００として使用されてもよい。図８に示されたシステム／再生装置は、デコード装置／再生装置１２２及び１２６のいずれにも使用されることができる。
【００２３】
［０００３３］  図２Ａは、例示的な立体シーン２００（例えば、分割されていない完全な３６０度立体シーン）を示す。立体シーンは、通常、単一のビデオプラットフォーム又はカメラマウントに取り付けられた複数のカメラ（例えば、ビデオカメラ）から取り込まれた画像データを組み合わせた結果である。
【００２４】
［０００３４］    図２Ｂは、シーンが、１つの例示的な実施形態に従って３つ（Ｎ＝３）に分割された例示的な部分（例えば正面１８０度の部分、左後方９０度の部分、右後方９０度の部分）場合の例示的な立体シーン２００の分割されたバージョン２５０を示す。
【００２５】
［０００３５］  図２Ｃは、１つの例示的な実施形態に従って４つの（Ｎ＝４）部分へ分割された、例示的な立体シーン２００の他の部分的なバージョン２８０を示す。
【００２６】
［０００３６］  図２Ｂ及び２Ｃは２つの例示的なパーティションを示しているが、他の部分が可能であることは認識されるべきである。
例えば、シーン２００は１２個の（ｎ＝１２）３０度の部分へ分割可能である。１つの実施形態において、各パーティションを個々にエンコードするよりも、複数のパーティションが一緒にグループ化され、グループとしてエンコードされる。パーティションの異なるグループは、エンコードされユーザにストリームされる。各グループのサイズはシーンの全角度の観点から同じであるが、ユーザのヘッド部分（例えば、０から３６０度のスケールで測定された視野角）に依存してストリーミングされる画像の異なる部分に対応する。
【００２７】
［０００３７］  図３は、１つの例示的な実施形態に従って例示的な３６０度の立体シーンをエンコードする例示的な処理を示す。図３に示される方法３００への入力は、例えば、シーンの３６０度の視界を取り込むように用意された複数のカメラによって取り込まれた３６０度の立体画像データを含む。立体画像データ（例えば、立体ビデオ）は、様々な既知のフォーマットでも良く、最も多い実施形態では、左右の目の画像データが３Ｄ体験可能を可能にするために使用される。方法は立体ビデオに特に適しているが、ここに記述された技術と方法は、例えば、３６０度或いは小さなシーン領域の２Ｄ画像にも適用することができる。
【００２８】
［０００３８］  ステップ３０４では、シーンデータ３０２は、異なるシーン領域（例えば、異なる視野角に対応するＮ個のシーン領域）に対応するデータへ分割される。例えば、図２Ｂにおいて示されるいくつかの実施形態において、３６０度のシーンエリアは３つのパーティションに分割される（９０度部分に対応する左後方部分、正面１８０度部分及び左後方９０度部分）。異なる部分は、異なるカメラによって取り込まれることができるが、これは必要ではない。また、実際、３６０度のシーンは、図２Ｂ及び２Ｃに示されるようなＮ個のシーン領域へ分割する前に、複数のカメラから取り込まれたデータから構築されても良い。
【００２９】
［０００３９］  ステップ３０６では、異なるシーン部分に対応するデータは、本発明に従ってエンコードされる。いくつかの実施形態では、各シーン部分は、各部分について複数の可能ビットレートストリームをサポートする複数のエンコーダによって独立してエンコードされる。ステップ３０８では、エンコードされたシーン部分は、顧客再生装置へのストリーミングのために、例えば、コンテンツ配信１０４に格納される。
【００３０】
［０００４０］  図４は、同じ入力画像部分の異なるエンコードされたバージョンを生成するための種々のエンコーダを使用して、入力画像部分（例えば、シーンの１８０度の正面部分）が、どのようにエンコードされるかを示す図４００である。
【００３１】
［０００４１］  図の４００に示すように、入力シーン部分４００（例えば、シーンの１８０度の正面部分）がエンコードのための複数のエンコーダに供給される。例においては、画像コンテンツの異なるデータレートストリームをサポートするために、異なるエンコード技術を使用して、異なる分解能で入力データをエンコードし、エンコードされたデータを生成するＫ個の異なるエンコーダがある。複数のＫ個のエンコーダは、高精細度（ＨＤ）エンコーダ１  ４０４、標準精細度（ＳＤ）エンコーダ２  ４０６、低減フレームレートＳＤエンコーダ３  ４０８，．．．，高圧縮低減フレームレートＳＤエンコーダＫ  ４１０を含む。
【００３２】
［０００４２］  ＨＤエンコーダ１  ４０４は、高ビットレートＨＤエンコード画像４１２を生成するための高精細度（ＨＤ）エンコードを実行するように構成されている。
ＳＤエンコーダ２  ４０６は、入力画像のＳＤエンコードバージョン２  ４１４を生成するための低解像度標準精細度エンコードを実行するように構成される。
低減フレームレートＳＤエンコーダ３  ４０８は、入力画像の低減レートＳＤエンコードバージョン３  ４１６を生成するために、低減フレームレート低解像度ＳＤエンコードを実行するように構成される。                                  縮小され
低減フレームレートは、例えば、エンコードのためのＳＤエンコーダ２  ４０６によって使用されたフレームレートの半分である。
高圧縮低減フレームレートＳＤエンコーダＫ  ４１０は、入力画像の項圧縮低減レートＳＤエンコードバージョンｋ  ４２０を生成するための高圧縮の低減フレームレート低解像度ＳＤエンコードを行なうように構成される。
【００３３】
［０００４３］  したがって、空間的及び／又は時間的解像度の制御が、異なるデータレートのデータストリームを生成するために使用され、データ圧縮のレベルのような他のエンコーダの設定の制御も１つ又は１つ以上の所望のデータレートでシーン部分に対応するデータストリームを生成するための空間的及び／又は時間的な解像度の制御に加えて使用されることができることを認識すべきである。
【００３４】
［０００４４］  図５は、３つの例示的な部分に分割された入力立体シーンの格納されたエンコード部分５００を示す。格納されエンコードされた部分は、コンテンツ配信システム１０４に格納される（例えば、メモリにおけるデータ／情報として）。立体シーンの格納され、エンコードされた部分５００は、エンコードされた３つの異なる組を有し、この場合において、各部分は異なるシーン領域に対応し、各組は、対応するシーン部分の複数の異なるエンコードバージョンを含む。各エンコードされたバージョンは、エンコードされたビデオデータのバージョンであり、したがって、符号化された複数のフレームを示す。各エンコードされたバージョン５１０、５１２、５１６は複数の期間に対応するビデオであり、ストリーミング時に部分（例えば、再生されている期間に対応するフレーム）が伝送目的で使用されることを認識するべきである。
【００３５】
［０００４５］  図４に関して上に図示され議論されるように、シーン部分（例えば正面、後ろのシーン部分）は、同じ画像のＫ個の異なるバージョンを生成するために、複数の異なるエンコーダを使用してエンコードされる。
所与の入力シーンに対応する各エンコーダの出力は、組として纏められ、格納される。
エンコードされたシーン部分５０２の第１の組は正面１８０度のシーン部分に相当し、正面１８０度のシーンのエンコードされたバージョン１  ５１０、エンコードされたバージョン２  ５１２、．．．、エンコードされたバージョンＫ  ５１６を含む。
エンコードされたシーン部分５０４の第２の組はシーン部分２（例えば９０度の左後方シーン部分）に相当し、左後方９０度のシーン部分のエンコードされたバージョン１  ５２０、エンコードされたバージョン２  ５２２、．．．、９０度の左後方シーン部分のバージョンＫ  ５２６を含む。同様に、エンコードされたシーン部分５０６の第３の組はシーン部分３（例えば９０度の右後方シーン部分）に相当し、９０度の右後方シーン部分のエンコードされたバージョン１  ５３０、エンコードされたバージョン２  ５３２、．．．、９０度の右後方シーン部分のエンコードされたバージョンＫ  ５３６を含む。
【００３６】
［０００４６］  ３６０度のシーンの様々な異なる格納され、エンコードされた部分は、顧客再生装置に送るための種々の異なるビットレートストリームを生成するために使用される。
【００３７】
［０００４７］  図６は、例示的な実施形態に従って、画像コンテンツを提供する例示的な方法のステップを示すフローチャート６００である。フローチャート６００の方法は、図１に示される、取り込みシステムを使用して、いくつかの実施形態において実現される。
【００３８】
［０００４８］  方法はステップ６０２で（例えば配信システムの電源が投入され、初期化されて）スタートする。方法は、スタートステップ６０２からステップ６０４に進む。ステップ６０４において、コンテンツ配信システム１０４（例えばシステム１０４内のサーバー１１４）は、コンテンツのリクエストを受信する（例えば、以前にエンコードされたプログラムのリクエスト、或いは、ある場合では、例えば、イベントがいまだ継続している間、リアルタイム又は準リアルタイムでエンコードされ、ストリームされた生き（ｌｉｖｅ）イベント）。
【００３９】
［０００４９］  リクエストに応じて、ステップ６０４において、サーバー１１４は配信に利用可能なデータレートを決定する。データレートは、サポートされたデータレートを示すリクエストに含まれた情報及び／又はコンテンツをリクエスト装置に配信することが可能な最大帯域幅を示すネットワーク情報のような他の情報から決定される。利用可能なデータレートはネットワーク負荷に依存して変化し、コンテンツがストリームされる期間の間に変化する。変更は、ユーザ装置によって報告されるか、又はメッセージ又はパケットがドロップされ或いは所望時間を超えて遅れていることを示す信号から検出され、ネットワークが使用されているデータレートをサポートする困難性を示し、現在の利用可能なデータレートは、使用可能なように決定されたオリジナルデータレートよりも低い。
【００４０】
［０００５０］  動作はステップ６０８からステップ６０８に進み、コンテンツのリクエストが初期化されてからのユーザ装置の現在のヘッド位置（例えば、リクエスト時の現在のヘッド位置）は、０度の位置である。０度又は正面の位置は、いくつかの実施形態においては、ユーザによって、再再生が発生したことの再生装置信号で再初期化される。時間とともに、ユーザーのヘッド位置及び／又はユーザーのヘッド位置の変化は、例えばオリジナルのヘッド位置に関連して、コンテンツ配信システム１０４に報告され、最新の位置はコンテンツ配信決定を行なうように、以下に述べるように使用される。
【００４１】
［０００５１］  動作は、リクエストされたコンテンツに対応する３６０度のシーンの部分が再生装置を初期化するために送られるステップ６０８からステップ６１０に進む。少なくともいくつかの実施形態では、初期化はシーンデータの完全な３６０度の組を送ることを含む（例えば、３６０度のシーンがＮ個の部分に分割される場合、Ｎ個の部分）。
【００４２】
［０００５２］  ステップ６１０で初期化の結果、再生装置は、３６０度の可能視界領域の各異なる部分に対応するシーンデータを有するであろう。従って、再生装置のユーザが突然後ろを向いた場合、ユーザがその頭を回転する前に見ていた部分として更新されていなくても、少なくともいくつかのデータが、ユーザに表示されるように利用可能である。
【００４３】
［０００５３］  動作はステップ６１０からステップ６１２及びステップ６２２に進む。ステップ６２２は、再生装置が少なくとも１回、３６０度のシーン全体の更新されたバージョンを受信することを確かめるために使用される広域シーン更新パスに対応する。ステップ６１０で初期化されているので、広域更新処理が待機ステップ６２２で所定期間遅れる。その後、ステップ６２４で、３６０度のシーンの更新が行なわれる。破線の矢印６１３は、シーン部分がステップ６２２に対応する救済期間の間において再生装置と通信が行なわれる情報の通信を示す。ステップ６２４で、３６０度のシーン全体が送信される。しかしながら、いくつかの実施形態では、すべての部分がステップ６２４で送信されるとは限らない。待機期間６２２の間に更新されたシーンの部分は、いくつかの実施形態では、ユーザの頭の位置に基づいて、少なくともシーンのある部分を送信する通常のストリーミング処理の間、すでにリフレッシュされているので、ステップ６２４で行なわれた更新から省略される。
【００４４】
［０００５４］  待機が次の広域の更新に先立って行なわれる場合、動作はステップ６２４から待機ステップ６２２に進む。ステップ６２２で使用される待機期間を調整することによって、異なる広域のリフレッシュレートがサポートされることが認識されるべきである。いくつかの実施形態では、コンテンツサーバは待機期間を選択し、従って、広域基準期間がシーンコンテンツの種類に基づいて提供される。主な行動が正面に面する領域にあるスポーツイベントにある場合、リフレッシュのための理由の１つは、屋外のライトニング（ｌｉｇｈｔｎｉｎｇ）状態において可能なように変化し、例えば、分或いは秒の順で、待機期間は比較的長い。異なる歌が行なわれるとともに、行動（ａｃｔｉｏｎ）及び活動（ａｃｔｉｖｉｔｙ）が群衆において頻繁に変化するロックコンサートの場合、ユーザが群衆の反応を見回し、正面ステージの視界領域において、何が起きているのかに加えて、群衆の中で何が起きているのかの感触を得たいので、広域のリフレッシュレートは、時々、スポーツイベントよりも大きい。
【００４５】
［０００５５］  いくつかの実施形態では、広域の基準期間は、ストリームされたプレゼンテーションの部分の機能として変更される。例えば、スポーツイベントのゲーム部分の間は、広域のリフレッシュレートは比較的低く、ポストタッチダウンの瞬間の間又はタイムアウト又は中断の間は、イベントでの人又は再生装置を介してのイベントの視界が正面のメイン領域から彼又は彼女の頭をより回転する場合、広域の基準レートは、いくつかの実施形態において、ステップ６２２において使用されているウエイト（例えば、リフレッシュ期間制御）を低減することにより増大させることが可能である。
【００４６】
［０００５６］  広域のリフレッシュ処理がステップ６２２及び６２４に関して述べられる一方、シーンの部分の通常の供給が述べられる。シーン又はシーン部分の正常なリフレッシュが少なくとも１つの部分、サポートされたビデオフレームレートを許容するデータレートで発生することが認識される。したがって、少なくとも１つのフレーム部分に関し、例えば、彼／又は彼女の頭が面していることが示されている部分が、利用可能なデータレートが十分であると仮定する完全なビデオストリーミングフレームレートで供給される。
【００４７】
［０００５７］  ステップ６１２で、シーン部分が、示された頭の位置（例えば、ユーザの視野角）に基づいて提供される。選択された部分は、例えば、再生装置に（例えば周期的に）に送信（例えば、ストリーム）される。いくつかの実施形態では、部分に対応するデータがストリームされるレートは、ビデオフレームレートに依存する。例えば、少なくとも１つの選択された部分は、サポートされた十分なフレームレートでストリームされる。少なくとも１つのシーン部分がステップ６１２で選択される間、通常複数のシーン部分が選択される（例えば、ユーザが次の最も近いシーン部分と同様に面している）。利用可能なデータレートが、複数のフレーム位置の通信をサポートするのに十分な場合、追加のシーン部分が選択され供給されることが可能である。
【００４８】
［０００５８］ステップ６１２において、ストリームされるシーン部分が選択された後、動作はステップ６１４に進み、この場合において、選択されたストリーム部分のエンコードされたバージョンが、例えば、利用可能なデータレート及びユーザの視界位置に基づいて選択される。例えば、現在の報告された頭の位置によって示されるようにユーザが面したシーン部分の高レート高精細バージョンがストリームされ、通常、ストリームされる。現在のヘッド位置の左及び／又は右のさらなるシーン部分が、より低い解像度、より低い一時的なレートとして或いは現在見られていないシーン領域を送信するのに必要とされる帯域幅の量を低減するエンコード手法を使用して、ストリームされるように選択される。隣接したシーン部分のエンコードされたバージョンの選択は、現在見られているシーン部分の高品質バージョンが送信されたリーミング（ｒｅａｍｉｎｇ）後の帯域幅の量に依存する。現在見えていないシーン部分が、より低い解像度のエンコードされたバージョンとして、又はフレーム間のより大きな一時的な距離を有するエンコードされたバージョンとして送られる一方、利用可能な十分な帯域幅がある場合、フル解像度高品質バージョンが定期的に、頻繁に送られる。
【００４９】
［０００５９］  ステップ６１６において、選択されたシーン部分の選択され、エンコードされたバージョンは、コンテンツをリクエストした再生装置へ送られる。したがって、ステップ６１６では、１つ以上の部分（例えば複数の連続するフレームに対応する立体ビデオコンテンツ）に対応するエンコードされたコンテンツは、再生装置にストリーミングされる。
【００５０】
［０００６０］  動作は、ユーザーの現在のヘッド位置を示す情報が受信されるステップ６１６からステップ６１８に進む。この情報は、再生装置から周期的に及び／又はヘッド位置の変化を検出することに応じて送られる。ヘッド位置の変化に加えて、利用可能なデータレートの変化は、どのコンテンツがストリームされるかに影響する。再生装置へのコンテンツ配信に使用されることができる現在のデータレートの決定を行なうステップ６１８からステップ６２０へ進む。したがって、コンテンツ配信システムは、リクエスト装置へのストリーミングをサポートすることができる帯域幅の量の変化を検知できる。
【００５１】
［０００６１］  動作は、コンテンツが完全に配信されるまで（例えば、プログラム又はイベントが終了するまで）、又はヘッド位置更新が再生装置がコンテンツサーバ１１４ともはや通信していないことを示すことが検出されるようなセッションが終了し、又は再生装置からの予期された信号の受信が失敗したことを示す信号がコンテンツをリクエストした再生装置から受信されるまで続くストリーミングによりステップ６２０からステップ６１２まで進む。
【００５２】
［０００６２］上述の方法で配信されたシーンデータから、再生装置は、ユーザが急に彼又は彼女の頭を回すイベントにおいて表示するために、再生装置は再生装置で利用可能な各部分に対応する少なくともいくつかのデータを有する。多くの人々にとって不快な変化であるので、ユーザはめったに完全に彼らの頭をごく短期間に回転させないことが認識されるべきである。従って、完全な３６０度のシーンがいつでも送信されなくても良く、一方、どの時間にも見られることが最もありそうなシーン部分の高品質バージョンがストリームされ、ユーザーに利用可能になる。
【００５３】
［０００６３］  コンテンツ配信システム１０４は、多数の同時（ｃｏｎｃｕｒｒｅｎｔ）ユーザをサポートすることができ、エンコードプロセスは、各個人ユーザのためにコンテンツを別々にエンコードすることなく、シーンのＮ個の部分が異なるユーザに別々に伝送され、処理されることを可能にする。したがって、多くの並列型エンコーダが、スポーツ又は他のイベントのリアルタイム又は準リアルタイムストリーミングを可能にするために使用され、使用されるエンコーダの数はコンテンツがストリームされる再生装置の数よりもはるかに少ない傾向がある。
【００５４】
［０００６４］  コンテンツの部分が３６０度の視界に対応する部分として述べられる一方、シーンは、いくつかの実施形態では、空間の平滑（ｆｌａｔｔｅｎ）バージョンを表わし、垂直次元をさらに有する。再生装置は、３ｄ環境（例えば空間）のモデルを使用して、シーン部分をマップし、垂直の視界位置に合わせて調節することができる。したがって、本出願において議論される３６０度は、あたかもユーザがその凝視レベルを保持して、視野角を左又は右に変化したように、水平に関連する頭の位置に言及する。
【００５５】
［０００６５］  図７は、本発明の特徴に従うコンテンツをエンコードしストリーミングするために使用されることができるエンコード能力を示す。
【００５６】
［０００６６］  システムは本発明の特徴に従ってエンコード、格納及び伝送及び／又はコンテンツ出力に使用されてもよい。いくつかの実施形態では、システム７００又はそのエレメンツは、図６に示されたプロセスに対応する処理を行なう。コンテンツ配信システム７００は図１のシステム１０４として使用されてもよい。図７に示されるシステムはコンテンツのエンコード、処理及びストリーミングに使用されているが、システム７００はさらに処理され及び／又はエンコードされた画像データをデコードし、表示する（例えば、オペレータに）能力を有する。
【００５７】
［０００６７］  システム７００はディスプレイ７０２、入力装置７０４、入出力（Ｉ／Ｏ）インターフェース７０６、プロセッサ７０８、ネットワークインターフェイス７１０及びメモリ７１２を含んでいる。システム７００の様々なコンポーネントは、データがシステム７００のコンポーネント間で通信されることを可能にするバス７０９によってともに連結される。
【００５８】
［０００６８］  メモリ７１２は様々なモジュール（例えばルーチン）を含んでおり、プロセッサ７０８によって実行された時、システム７００をコントロールし、本発明に従って、分割、エンコード、格納及びストリーミング／送信及び／又は出力動作を実行する。
【００５９】
［０００６９］  メモリ７１２は様々なモジュール（例えばルーチン）を含んでおり、プロセッサ７０８によって実行された時、システム７００をコントロールし、本発明に従って、    没入型の立体ビデオの取得、エンコード、格納及び送信及び／又は出力方法を実行する。メモリ７１２は制御ルーチン７１４、分割モジュール７０６、エンコーダ７１８、ストリーミングコントローラー７２０、受信入力画像７３２（例えばシーンの３６０度の立体ビデオ、エンコードされたシーン部分７３４及びタイミング情報７３６）を含んでいる。いくつかの実施形態では、モジュールはソフトウェアモジュールとして実行される。他の実施形態では、モジュールは、ハードウェアにおいて（例えばモジュールが相当する機能を行なうための回路として実施されている各モジュールを備えた個々の回路として）実施される。さらに、別の実施形態では、モジュールはソフトウェアとハードウェアの組み合わせを使用して実施される。
【００６０】
［０００７０］  制御ルーチン７１４は、システム７００の動作をコントロールするために装置制御ルーチン及び通信ルーチンを含んでいる。分割モジュール７１６は、本発明の特徴に従って、シーンの受信した立体３６０度のバージョンをＮ個のシーン部分に分割するように構成される。
【００６１】
［０００７１］  エンコーダ７１８は、いくつかの実施形態においては、本発明の特徴に従って、受信した画像コンテンツ（例えば、シーンの３６０度のバージョン）及び／又は１つ以上のシーン部分ををエンコードする。いくつかの実施形態では、所与のビットレートストリームをサポートするために、各エンコーダが立体シーン及び／又は分割されたシーン部分をエンコードするように構成された複数のエンコーダを有する。したがって、いくつかの実施形態では、各シーン部分は、各シーンについての複数の異なるビットスレートストリームをサポートするための複数のエンコーダを使用してエンコードされることができる。エンコーダ７１８の出力は、顧客装置（例えば再生装置）にストリーミングするためにメモリに格納されたエンコードされたシーン部分７３４である。エンコードされたコンテンツは、ネットワークインターフェイス７１０を介して、１つ以上の複数の異なる装置にストリームされる。
【００６２】
［０００７２］  ストリーミングコントローラー７２０は、１つ以上の顧客装置（例えば、通信ネットワーク１０５を介して）にエンコードされた画像コンテンツを配信するためにエンコードされたコンテンツのストリーミングをコントロールするように構成される。様々な実施形態では、フローチャート６００の様々なステップは、ストリーミングコントローラー７２０の要素によって実行される。ストリーミングコントローラー７２０は、リクエスト処理モジュール７２２、データレート決定モジュール７２４、現在のヘッド位置決定モジュール７２６、選択モジュール７２８及びストリーミング制御モジュール７３０を含む。リクエスト処理モジュール７２２は、顧客再生装置からの画像コンテンツの受信したリクエストを処理するように構成される。コンテンツのリクエストは、ネットワークインターフェイス７１０における受信機を介して様々な実施形態において受信される。いくつかの実施形態では、コンテンツのリクエストは、再生装置をリクエストする同一性を示す情報を含んでいる。いくつかの実施形態では、コンテンツのリクエストは、顧客再生装置、ユーザの現在の頭の位置（例えば、ヘッドマウントディスプレイの位置）によってサポートされたデータレートを含んでいる。リクエスト処理モジュール７２２は受信リクエストを処理し、検索された情報をさらなるアクションをとるために、検索された情報をストリーミングコントローラ７２０の他のエレメントに提供する。コンテンツのリクエストはデータレート情報及び現在のヘッド位置情報を含み、様々な実施形態では、再生装置によってサポートされたデータレートは、システム７００と再生装置との間のネットワーク試験及び他のネットワーク情報交換から決定される。
【００６３】
［０００７３］データレート決定モジュール７２４は、顧客装置への画像コンテンツをストリームするのに使用される利用可能なデータレートを決定するように構成され、例えば、複数のエンコードされたシーン部分がサポートされているので、コンテンツ配信システム７００は顧客装置への複数のデータレートでストリーミングコンテンツをすることができる。データレート決定モジュール７２４は、システム７００からのコンテンツをリクエストする再生装置によってサポートされたデータレートを決定するようにさらに構成される。いくつかの実施形態では、データレート決定モジュール７２４はネットワーク測定に基づいた画像コンテンツの配信用の利用可能なデータレートを決定するように構成される。
【００６４】
［０００７４］  現在のヘッド位置決定モジュール７２６は、再生装置から受信した情報から現在の視野角及び／又は現在のユーザの頭の位置（例えば、ヘッドマウントディスプレイの位置）を決定するように構成される。いくつかの実施形態では、現在のヘッド位置決定モジュール７２６が、現在の視野角及び／又は現在のヘッド位置を決定するために情報を受信し、処理する場合、再生装置は周期的に現在のヘッド位置情報をシステム７００に送る。
【００６５】
［０００７５］  選択モジュール７２８は、現在の視界／ユーザのヘッド位置情報に基づいて、再生装置へストリームするために、３６０度のシーンのうちどの部分かを決定するように構成される。選択モジュール７２８は、コンテンツのストリーミングをサポートするための利用可能なデータレートに基づいて、決定されたシーン部分のエンコードされたバージョンを選択するように構成される。
【００６６】
［０００７６］  ストリーミング制御モジュール７３０は、本発明の特徴に従って、様々なサポートされたデータレートで、画像コンテンツ（例えば、３６０度の立体シーンの複数の部分）のストリーミングを制御するように構成される。いくつかの実施形態では、ストリーミング制御モジュール７３０は、再生装置におけるシーンメモリを初期化するためにコンテンツをリクエストする再生装置への３６０度の立体シーンのＮ個の部分のストリームを制御するように構成される。様々な実施形態では、ストリーミング制御モジュール７３０は、例えば、決定されたレートで、周期的に決定されたシーン部分の選択されエンコードされたバージョンを送るように構成されている。いくつかの実施形態では、ストリーミング制御モジュール７３０は、さらに、例えば、１分に１度の時間間隔で、再生装置に３６０度シーン更新を送るように構成されるいくつかの実施形態においては、３６０度シーン更新は、Ｎ個のシーン部分を送ること又は完全な３６０度立体シーンのＮ−Ｘシーン部分を含み、ここで、Ｎは完全な３６０度の立体シーンが分割された部分の合計数で、Ｘは再生装置へ最近送られた選択されたシーン部分を示す。いくつかの実施形態では、ストリーミング制御モジュール７３０は、３６０度シーン更新を送る前に、初期化のためのＮ個のシーン部分を最初に送った後に、所定時間待機する。いくつかの実施形態では、３６０度シーン更新を送ることを制御するタイミング情報は、タイミング情報７３６に含まれる。いくつかの実施形態では、ストリーミング制御モジュール７３０は、さらに、リフレッシュ間隔において再生装置に送信されていないシーン部分を識別し、リフレッシュ間隔において再生装置に送信されなかった識別されたシーン部分の更新バージョンを送信する。
【００６７】
［０００７７］  様々な実施形態では、ストリーミング制御モジュール７３０は、再生装置に各リフレッシュ期間に少なくとも１回、シーンの３６０度バージョンを完全にリフレッシュするために、周期ベースで再生装置に少なくとも十分な数のＮ個の部分を通信するように構成される。
【００６８】
［０００７８］  図８は、本発明に従って実施されたコンピュータシステム／再生装置８００を示し、図１及び図７に示されるもののようなコンテンツ配信システムから受信した画像コンテンツを受信し、デコードし、格納し、かつ表示するために使用されることができる。再生装置は、ヘッドマウントディスプレイ８０５であることが可能なＯＣＵＬＵＳ  ＲＩＦＴＴＭ  ＶＲ（仮想現実）ヘッドセットのような３ｄヘッドマウントディスプレイと共に使用されてもよい。装置８００は、受信され、エンコードされた画像データをデコードし、かつ顧客へのディスプレイのための３Ｄ画像コンテンツを生成する能力を含む。いくつかの実施形態の再生装置は、ホームかオフィスのような顧客前提の場所に位置するが、同様に、画像取得サイトに位置してもよい。装置８００は、本発明に従って信号受信、デコード、ディスプレイ及び／又は他の動作を行なうことができる。
【００６９】
［０００７９］  装置８００はディスプレイ８０２、表示装置インターフェース８０３、入力装置８０４、入出力（Ｉ／Ｏ）インターフェース８０６、プロセッサ８０８、ネットワークインターフェイス８１０及びメモリ８１２を含む。再生装置８００の様々なコンポーネントは、データがシステム８００のコンポーネント間で通信されることを可能にするバス８０９によって互いに結合される。いくつかの実施形態において、ディスプレイ８０２が破線の箱を使用して示されている選択的な要素として含まれる一方、いくつかの実施形態では、外部表示装置８０５、例えば、ヘッドマウント三次元表示装置が表示装置インターフェース８０３経由で再生装置に結合される。
【００７０】
［０００８０］  メモリ８１２は、様々なモジュール（例えばルーチン）を含み、プロセッサ８０８によって実行された場合、本発明に従って、デコード及び出力動作のために再生装置８００を制御する。メモリ８１２は、制御ルーチン８１４、コンテンツリクエスト生成モジュール８１６、ヘッド位置及び／又は視野角決定モジュール８１８、デコーダモジュール８２０、３Ｄ画像生成モジュール８２０としても言及される立体画像レンダリングモジュール８２２及び受信され、エンコードされた画像コンテンツ８２４、デコードされた画像コンテンツ８２６、３６０度デコードされたシーンバッファ８２８及び生成された立体コンテンツ８３０を含むデータ／情報を含む。
【００７１】
［０００８１］  制御ルーチン８１４は、装置８００の動作を制御するための装置制御ルーチン及び通信ルーチンを含む。リクエスト生成モジュール８１６は、コンテンツを提供するコンテンツ配信システムに送るためのコンテンツのリクエストを生成するように構成される。コンテンツのリクエストは、様々な実施形態において、ネットワークインターフェイス８１０を介して送られる。ヘッド位置及び／又は視野角決定モジュール８１８は、現在の視野角及び／又はユーザの現在の頭の位置（例えば、ヘッドマウントディスプレイの位置）を決定し及び決定された位置／又はコンテンツ配信システム７００への視野角情報を報告するように構成される。いくつかの実施形態では、再生装置８００は、周期的にシステム７００に現在のヘッド位置情報を送る。
【００７２】
［０００８２］  デコーダモジュール８２０は、デコードされた画像データ８２６を生成するためにコンテンツ配信システム７００から受信したエンコードされた画像コンテンツ８２４をデコードするように構成される。デコードされた画像データ８２６は、デコードされた立体シーン及び／又はデコードされたシーン部分を含んでも良い。
【００７３】
［０００８３］  ３Ｄ画像レンダリングモジュール８２２は、本発明の特徴に従って、ディスプレイ８０２及び又は表示装置８０５上でユーザーへ表示するために、例えば、デコードされた画像コンテンツ８２６を使用して３Ｄ画像を生成する。生成された立体画像コンテンツ８３０は、３Ｄ画像生成モジュール８２２の出力である。従って、レンダリングモジュール８２２は、ディスプレイに３Ｄ映像コンテンツ８３０を与える。いくつかの実施形態では、表示装置８０５はＯｃｕｌｕｓ社のリフト（ｏｃｕｌｕｓ  ｒｉｆｔ）ような３Ｄディスプレイでっても良い。再生装置８００のオペレーターは、入力装置８０４を介して１つ以上のパラメータを制御しても良く、及び／又は、例えば、３Ｄシーンを表示するように、実行される動作を選択しても良い。
【００７４】
［０００８４］  いくつかの実施形態は、立体ビデオをエンコードし、圧縮するためのソフトウェア命令の組（例えば、コンピュータ実行可能な命令）を含む（ｅｍｂｏｄｙ）する非一時的なコンピュータ可読媒体に向けられる。他の実施形態は、プレイヤー装置側でビデオをデコードし解凍するようにコンピュータ又は他の装置を制御するためのソフトウェア命令の組（例えば、コンピュータ実行可能な命令）含むコンピュータ可読媒体に向けられる。エンコードと圧縮は、別の動作であることが可能であるように述べられる一方、エンコードは圧縮を行なうように使用され、従って、エンコードは一部に圧縮を含むことが認識されるべきである。同様に、デコードは解凍を含んでも良い。
【００７５】
［０００８５］  様々な実施形態の技術では、ソフトウェア、ハードウェア及び／ソフトウェアとハードウェアの組み合わせを使用して実施されるかもしれない。様々な実施形態は、装置（例えば画像データ処理システム）に向けられる。様々な実施形態は、さらに方法（例えば画像データを処理する方法）に向けられる。様々な実施形態は、さらに、非一時的な機械（例えばコンピューター、可読媒体（例えば、ＲＯＭ、ＲＡＭ、ＣＤ、ハードディスク、ｅｔｃ．））に向けられ、方法の１つ以上のステップを実行する機械を制御する機械可読命令を含む。
【００７６】
［０００８６］  本発明の様々の特徴は、モジュールを使用して実施される。このようなモジュールは、ある実施形態では、ソフトウェアモジュールとして実施される。他の実施形態では、モジュールはハードウェアで実施される。さらに別の実施形態では、モジュールはソフトウェアとハードウェアの組み合わせを使用して実施される。いくつかの実施形態では、モジュールは、モジュールが対応する機能を実行する回路として実行される各モジュールを備えた個別回路として実施される。広汎な種々の実施形態は、異なるモジュールは異なる形で実施され（例えば、いくつかはハードウェア、いくつかはソフトウェア及びいくつかはハードウェアとソフトウェアとの組み合わせを使用して）を含んで考えられる。汎用目的プロセッサで実施されるソフトウェアに対して、ルーチン及び／又はサブルーチン又はこのようなルーチンによって行なわれたいくつかのステップは専用ハードウェアにおいて実施されてもよいことは認識されるべきである。このような実施形態は、本発明の範囲内である。上述の多くの方法及び方法ステップは、上述の方法の全て又は部分を実施するための、例えば、さらなるハードウェアを有する／有さない汎用プロセッサのような機械を制御するための、例えば、ＲＡＭ、フロッピー（登録商標）ディスクなどのメモリ装置のような機械可読媒体に含まれるソフトウェアのような機械実施可能な命令を使用して実施されることができる。従って、とりわけ、本発明は、機械（例えばプロセッサ及び関連するハードウェア）に上記方法のステップの１つ以上を行なわせる機械実行可能な命令を含む機械可読媒体に向けられる。
【００７７】
［０００８７］  上述の種々の実施形態の方法及び装置の多くの追加の変形が、上述の記述の観点から当業者にとって明らかである。このような変形は、観点に含まれるとみなされる。
【図１】
2017514411.tif 000003
【図２Ａ】
2017514411.tif 000004
【図２Ｂ】
2017514411.tif 000005
【図２Ｃ】
2017514411.tif 000006
【図３】
2017514411.tif 000007
【図４】
2017514411.tif 000008
【図５】
2017514411.tif 000009
【図６】
2017514411.tif 000010
【図７】
2017514411.tif 000011
【図８】
2017514411.tif 000012
【国際調査報告】
2017514411.tif 000013