(57)【要約】本発明は、シーンのワイドビューの撮像投影を表すメディアデータのサーバからクライアントへのストリーミングに関し、ストリーミングされたメディアデータはクライアントに対してワイドビューを３Ｄ幾何学的表示面にレンダリングすること又はワイドビューを異なる視点によって表示面にレンダリングすることを可能とし、レンダリングすることはメディアデータの投影をレンダリングすることを含む。メディアデータを生成するワイドビューの撮像に関する記述的情報及びメディアデータの空間的区画の品質レベルに関する記述的情報を含む、メディアデータに関する情報を含む記述ファイルをクライアントに送信した後、記述ファイルに基づいてメディアデータストリームを要求する要求メッセージをクライアントから受信し、要求されたメディアデータストリームに対応するメディアデータがクライアントに送信される。【選択図】  図３ａ
2019524004.tif 000002
【特許請求の範囲】
【請求項１】
シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信する方法であって、前記受信されるメディアデータは前記ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること又は前記ワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、前記レンダリングは前記ワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、前記方法は前記クライアントにおいて実行され、
前記ワイドビューの撮像投影を表す前記メディアデータの情報を含む記述ファイルをサーバから受信するステップであって、前記情報は前記メディアデータを生成するための前記ワイドビューの前記撮像に関する記述的情報及び前記ワイドビューの撮像投影を表す前記メディアデータの少なくとも１つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
前記記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージを前記サーバに送信するステップ、及び
前記少なくとも１つの要求メッセージに応じて、前記少なくとも１つの要求されたメディアデータストリームに対応するメディアデータを前記サーバから受信するステップ
を備える方法。
【請求項２】
前記記述的情報は、少なくとも１つのディスクリプタ内に少なくとも部分的に提供される、請求項１に記載の方法。
【請求項３】
前記少なくとも１つのディスクリプタは前記メディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、前記記述的情報は前記少なくとも１つのディスクリプタ及び関連する品質レベルで少なくとも部分的に記述される前記空間的区画の定義を備える、請求項２に記載の方法。
【請求項４】
前記少なくとも１つのディスクリプタは前記メディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタは前記メディアデータの前記異なる空間的区画に関連付けられる少なくとも１以上の異なる品質レベルを備える、請求項２に記載の方法。
【請求項５】
前記記述的情報は、受信すべき前記メディアデータに関するリソースを識別する情報を備える、請求項１から４のいずれか１項に記載の方法。
【請求項６】
シーンのワイドビューの撮像投影を表すメディアデータをサーバからクライアントにストリーミングする方法であって、前記ストリーミングされるメディアデータは前記クライアントが前記ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること又は前記ワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、前記レンダリングは前記ワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、前記方法はサーバにおいて実行され、
前記ワイドビューの撮像投影を表す前記メディアデータの情報を含む記述ファイルを前記クライアントに送信するステップであって、前記情報は前記メディアデータを生成するための前記ワイドビューの前記撮像に関する記述的情報及び前記ワイドビューの撮像投影を表す前記メディアデータの少なくとも１つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
前記記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージを前記クライアントから受信するステップ、及び
前記少なくとも１つの要求メッセージに応じて、前記少なくとも１つの要求されたメディアデータストリームに対応するメディアデータを前記クライアントに送信するステップ
を備える方法。
【請求項７】
前記メディアデータを生成する前記ワイドビューの前記撮像に関する前記記述的情報は、前記撮像投影に関する、請求項６に記載の方法。
【請求項８】
前記ワイドビューの撮像投影を表す前記メディアデータの少なくとも１つの空間的区画の前記品質レベルは、表示面にレンダリングされた場合に前記対応する空間的区画の所望の品質レベルの関数として特定される、請求項６又は請求項７に記載の方法。
【請求項９】
前記記述的情報は、少なくとも１つのディスクリプタ内に少なくとも部分的に提供される、請求項６から８のいずれか１項に記載の方法。
【請求項１０】
前記少なくとも１つのディスクリプタは前記メディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、前記記述的情報は前記少なくとも１つのディスクリプタ及び関連する品質レベルにおいて少なくとも部分的に記述される前記空間的区画の定義を備える、請求項９に記載の方法。
【請求項１１】
前記少なくとも１つのディスクリプタに少なくとも部分的に記述される前記空間的区画は、前記撮像投影から生じる領域の関数として定義される、請求項１０に記載の方法。
【請求項１２】
前記少なくとも１つのディスクリプタは前記メディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタは前記メディアデータの前記異なる空間的区画に関連付けられる少なくとも１以上の異なる品質レベルを備える、請求項９に記載の方法。
【請求項１３】
前記記述的情報は、受信すべき前記メディアデータに関するリソースを識別する情報を備える、請求項６から１２のいずれか１項に記載の方法。
【請求項１４】
前記品質レベルはフレーム符号の関数として定義された視野を備え、前記視野は前記空間的部分又は好適なレンダリング視野に対応する、請求項６から１３のいずれか１項に記載の方法。
【請求項１５】
前記視野は複数の値によって定義され、前記複数の値の少なくとも１つの値は前記品質レベルの項目の関数として及び前記クライアントの少なくとも１つの特性の関数として計算される、請求項１４に記載の方法。
【請求項１６】
前記品質レベルはフレーム符号の関数として定義される視点を備え、前記視点は前記空間的部分又は好適なレンダリング視点に関する、請求項６から１５のいずれか１項に記載の方法。
【請求項１７】
前記記述的情報は、フレーム符号の識別子をさらに備える、請求項１４から１６のいずれか１項に記載の方法。
【請求項１８】
前記品質レベルは、品質ランクを備える、請求項１６から１７のいずれか１項に記載の方法。
【請求項１９】
前記ディスクリプタは、受信されたメディアデータのレンダリングを可能としながら前記ディスクリプタ内の前記記述的情報に対応する前記メディアデータが前記クライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられる、請求項９に記載の方法。
【請求項２０】
プログラム可能な装置のためのコンピュータプログラム製品であって、前記コンピュータプログラム製品は、前記プログラムが読み込まれ、プログラム可能な装置によって実行されると請求項１から１９のいずれか１項に記載の方法の各ステップを実行するための命令を備える、コンピュータプログラム製品。
【請求項２１】
請求項１から１９のいずれか１項に記載の方法を実現するコンピュータプログラムの命令を記憶するコンピュータ可読記憶媒体。
【請求項２２】
シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信するためのクライアントに対するデバイスであって、前記受信されるメディアデータは前記ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること又は前記ワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、前記レンダリングは前記ワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、前記デバイスが、
前記ワイドビューの撮像投影を表す前記メディアデータの情報を含む記述ファイルをサーバから受信するステップであって、前記情報は前記メディアデータを生成するための前記ワイドビューの前記撮像に関する記述的情報及び前記ワイドビューの撮像投影を表す前記メディアデータの少なくとも１つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
前記記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージを前記サーバに送信するステップ、及び
前記少なくとも１つの要求メッセージに応じて、前記少なくとも１つの要求されたメディアデータストリームに対応するメディアデータを前記サーバから受信するステップ
を実行するように構成されたマイクロプロセッサを備えるデバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概略として、通信ネットワーク、例えばインターネットプロトコル（ＩＰ）標準に準拠する通信ネットワーク上のタイムドメディアデータストリームの分野に関する。より具体的には、本発明は、ＨｙｐｅｒＴｅｘｔ  Ｔｒａｎｓｆｅｒ  Ｐｒｏｔｏｃｏｌ（ＨＴＴＰ）を使用するＩＰネットワーク上で仮想現実又は全方向性メディアデータのストリーミングを向上する方法、デバイス及びコンピュータプログラムに関する。
【背景技術】
【０００２】
ビデオ符号化は、ビデオ画像が送信又は記憶可能となるように、一連のビデオ画像をコンパクトなデジタル化されたビットストリームに変換する方法である。符号化デバイスは、表示及び鑑賞に関するビットストリームの再構築が利用可能な関連する復号デバイスで、ビデオ画像を符号化するのに使用される。概略の目的は、元のビデオ情報よりも小さいサイズとなるようにビットストリームを成形することである。これにより、ビットストリームコードを送信又は記憶するのに転送ネットワーク又は記憶デバイスに要求される容量は、効果的に減少する。一般的に、送信されるために、ビデオビットストリームは、通常はヘッダ及びチェックビットを付加する送信プロトコルに従ってカプセル化される。
【０００３】
通常、通信ネットワーク上のメディアデータをストリーミングすることは、メディアプレゼンテーションを表すデータが、通信ネットワーク上でクライアントデバイスともいう再生デバイスに、サーバともいうホストコンピュータによって提供されることを意味する。一般的に、クライアントデバイスは、デスクトップパーソナルコンピュータ（ＰＣ）、タブレットＰＣ、ノートブック又は可搬コンピュータ、携帯電話、ワイヤレスハンドヘルドデバイス、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール、ヘッドマウントデバイスなど、様々な従来のコンピューティングデバイスのいずれかとして実施されるメディア再生コンピュータである。通常、クライアントデバイスは、（配信されるべきファイル全体を待つよりも）ホストから受信するにつれてストリーミングされたコンテンツをレンダリングする。
【０００４】
一般的に、メディアプレゼンテーションは、クライアントデバイスによって連携して再生されるためにクライアントデバイスにサーバから送信され得るオーディオ、ビデオ、テキスト、メタデータ及び／又はサブタイトルなどの幾つかのメディアコンポーネントを含む。それらのメディアコンポーネントは通常、別個のメディアストリームに個別に符号化され、次に、全体で又は個別に、それらは複数のメディアセグメントにカプセル化され、後者によって連携して再生されるクライアントデバイスにサーバから送信される。
【０００５】
一般的な方法は、クライアントデバイスが特性（例えば解像度、計算能力及び帯域幅）の関数として１つのバージョンを選択できるように、同一のメディアコンポーネントの幾つかのバージョンに対するアクセスを付与することを目的とする。既存の独占所有権のある解決策によれば、代替バージョンの各々が記述され、メディアデータが小さな時間的セグメントに分割される。セグメントは、異なるメディアに関する圧縮データ又は生データを含むメディアセグメントであってもよいし、クライアントにおけるメディア復号器をセットアップ、インスタンス化及び初期化するのに使用される初期化セグメントであってもよい。
【０００６】
ＨＴＴＰを介した動的及び適応ストリーミングのコンテキストにおいて、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）といわれる標準が、ＭＰＥＧ標準化委員会（「ＩＳＯ／ＩＥＣ  ２３００９−１、Ｄｙｎａｍｉｃ  ａｄａｐｔｉｖｅ  ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）、パート１、メディアプレゼンテーション記述及びセグメントフォーマット」）から出現した。この標準により、メディアプレゼンテーションのメディアコンテンツのコンパクトな記述のＨＴＴＰ  Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｉｏｎ（ＵＲＬ）との関連付けが可能となる。通常、そのような関連付けは、マニフェストファイル又は記述ファイルといわれるファイルに記述される。ＤＡＳＨのコンテキストにおいて、このマニフェストファイルは、ＭＰＤファイル（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｉｓｃｒｉｐｔｉｏｎ）ともいわれるＸＭＬファイルである。ＸＭＬファイルも使用するＳｍｏｏｔｈＳｔｒｅａｍｉｎｇのような、又はプレイリストともいうマニフェストに関するプレーンテキストファイルを幾らか使用するＨＴＴＰＬｉｖｅＳｔｒｅａｍｉｎｇのような、他のマニフェストベースのストリーミングソリューションが存在する。好ましい実施形態として、ＤＡＳＨはストリーミングプロトコルとして使用されるが、マニフェストに付加される記述的情報はこれらの他のソリューションにおいて同等の効果を提供し得る。
【０００７】
マニフェストファイルは、マニフェストに記述されるメディアサンプルに関する記述的情報を指定するディスクリプタのセットを収集する。ディスクリプタは、例えばＸＭＬノード（要素及び／又は属性）のような構造化要素であってもよいし、又はキーワード若しくはコメントがこれらのディスクリプタの搬送に特化される場合はＪＳＯＮ（ＪａｖａＳｃｒｉｐｔ（登録商標）  Ｏｂｊｅｃｔ  Ｎｏｔａｔｉｏｎ）で記述されてもよいし、プレーンテキストフォーマットにさえ記述されてもよい。
【０００８】
マニフェストファイルを受信することにより、クライアントデバイスは、各メディアコンテンツコンポーネントの記述を得る。したがって、メディアプレゼンテーションに提案されたメディアコンテンツコンポーネントの種類が認識され、関連する初期化及び／又はメディアセグメントをダウンロードするのに使用すべきＨＴＴＰ  ＵＲＬが理解される。そのため、クライアントデバイスは、どのメディアコンテンツコンポーネントを（ＨＴＴＰ要求を介して）ダウンロードして再生（すなわちメディアセグメントを受信した後に復号して再生）するかを決定することができる。
【０００９】
そのような関連付けに加えて、ＤＡＳＨ標準は、各メディアコンテンツを時間間隔の関数として分割することを提案する。時間分解は、ＭＰＤファイルに記述される。したがって、後者は、ＨＴＴＰ  ＵＲＬとメディアコンテンツからの各コンポーネントのコンパクトな記述との間の関連付けを、各時間間隔にわたって定義する。各メディアコンテンツコンポーネントは、これらの時間間隔に対応する複数の独立したメディアセグメントにカプセル化され得る。
【００１０】
この標準により、クライアントが、所望の時間間隔にわたってメディアプレゼンテーションの所望のメディアコンテンツコンポーネントをダウンロードすることが可能となる。
【００１１】
ＭＰＥＧ  ＤＡＳＨにおけるメディアセグメント内のメディアコンテンツコンポーネントのストリーミングに使用されるカプセル化ファイルフォーマットは、ＭＰＥＧ標準化活動のコンテキストにおいて定義されたＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔに準拠し得る。特に、カプセル化ファイルフォーマットは、Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＨＥＶＣ）のカプセル化の標準化及びＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔ（ＩＳＯ／ＩＥＣ  １４４９６パート１５）におけるそのスケーラブルな延長に関連し得る。なお、ＤＡＳＨは、カプセル化ファイルフォーマットに不可知論的である。例えば、使用できるＭＰＥＧ−２Ｔｒａｎｓｐｏｒｔストリーム又はメディアストリームをカプセル化するＷｅｂＭ若しくはＣｏｍｍｏｎＭｅｄｉａＡｐｐｌｉｃａｔｉｏｎＦｏｒｍａｔである。
【００１２】
なお、タイル構成に依拠する対象領域の抽出／ストリーミング及び表示は、例えばユーザがビデオシーケンスの特定のエリアをクリックして特定の選択したエリアについてより高解像度のビデオにアクセスすること、又はある空間のエリア（又はタイル）から他へとビデオシーケンスをナビゲーション／パンニングすることを許可することによって、ストリーミング中のインタラクティブ高品質ズームイン機能を可能とするのに特に役立つ。
【００１３】
ビデオ解像度は、標準精細度（ＳＤ）から高精細度（ＨＤ）及び超高精細度（例えば、４Ｋ２Ｋ又は８Ｋ４Ｋ）まで連続的に増加することが想定されるべきである。ビデオシーケンスは、シングルレイヤ（例えばＨＥＶＣ）又はマルチレイヤ（例えばスケーラブルＨＥＶＣ）符合化標準のいずれかを使用して符号化され得る。マルチレイヤコーディングフォーマットの場合、所与のレイヤは、１以上の他のレイヤに対する参照データとして使用され得る。レイヤ化されたビデオ編成は、複数の従属メディアコンテンツコンポーネントを用いて効率的に表されることができ、各コンポーネントはスケーラビリティの異なるレベルでビデオレイヤを表す。所与のメディアコンテンツコンポーネントを復号するために、クライアントデバイスは、メディアコンテンツコンポーネントそれ自体だけでなく、それが依存する全てのメディアコンテンツコンポーネントにアクセスする必要がある。
【００１４】
また、ビデオストリーミング機能を有するモバイル及び接続デバイスの急増も想定されるべきである。したがって、モバイルデバイスのユーザが、品質を維持したまま又は向上させることによってビデオシーケンスのサブパーツを表示し、又はサブパーツに着目したい場合、ビデオシーケンスをタイルに分割することが重要となる。したがって、タイルを使用することにより、ユーザは、ビデオシーケンスの空間的なサブパーツ（又は部分若しくは領域）をインタラクティブに要求できる。スケーラブルビデオコーディングフォーマット（例えばスケーラブルＨＥＶＣ又はマルチビューＨＥＶＣ）の場合、符号化依存性が拡張レイヤのタイルとベースレイヤの１以上のタイルとの間に存在し得ることを除いて、各ビデオレイヤは、複数の独立した空間的サブパーツに編集可能ともなる。
【００１５】
さらに、ワイドスクリーンの使用及びゴーグルなどのヘッドマウントデバイスの使用も急速に増加し、ユーザに没入型体験を提供する。さらに、旧来的な２Ｄスクリーン上で没入型体験を提供するために、あるメディアプレーヤは、クライアントがナビゲーションメニューを介してビデオ内をパンニングできるようにする特定のユーザインターフェースを提供する。幾つかのデバイスが、現在ユーザを仮想現実（ＶＲ）環境に没入させるのに利用可能である。ＶＲビデオシーケンス又は全方向性ビデオシーケンスは、一般的には、広いエリアを撮影する少なくとも１つの広角対物レンズを搭載した１台のカメラ又は種々の方向におけるビデオ及びオーディオデータを取り込む幾つかの同期カメラのいずれかによって撮像される。後者の場合、結果として生じる複数のビデオシーケンスは、その後、一般的にＰａｎｏｒａｍａビデオシーケンスといわれるシングルビデオシーケンスを形成するように変換される。各カメラが４Ｋ解像度を有する例を考慮すると、結果として生じるパノラマビデオシーケンスは、１０Ｋよりも大きい解像度を有することもあり、その処理（計算、メモリ記憶、転送及びさらにはネットワーク転送に関して）を複雑にする。
【００１６】
そのようなビデオシーケンスのファイルフォーマットにおけるカプセル化は、例えば全方向性ファイルフォーマット仕様又はＩＳＯベースメディアファイルフォーマットに基づいて行うことができる。
【００１７】
様々な表示デバイス、例えば異なる処理及び表示能力を有する大型スクリーン又はヘッドマウントディスプレイ（ＨＭＤ）は、特にＨＴＴＰを介した適応ストリーミングのコンテキストにおいて全てのデバイスに適応できるストリーミングソリューションの必要性を生じさせる。特に、ＨＭＤの表示サイズは、一般的に大型スクリーンのサイズよりも小さい。結果として、Ｐａｎｏｒａｍａビデオシーケンスのサブパーツ（又は部分若しくは領域）への空間的なアクセスは、ＨＭＤデバイスで表示するＰａｎｏｒａｍａビデオシーケンスの全体を送信することを回避する。
【００１８】
したがって、クライアントの必要性及び特性の機能として、仮想現実又は全方向性メディアデータのストリーミングを最適化する必要がある。
【発明の概要】
【００１９】
本発明は、前述の事項のうちの１以上に対処するために考案されたものである。
【００２０】
これに関連して、例えばｈｔｔｐプロトコルを使用するインターネットのなどのＩＰネットワークを介する仮想現実メディアコンテンツの適応ストリーミングに関する解決策が提供される。
【００２１】
本発明の第１の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信する方法が提供され、受信されたメディアデータは、ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングは、ワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、方法はクライアントにおいて実行され、
ワイドビューの撮像投影を表すメディアデータの情報を含む記述ファイルをサーバから受信するステップであって、その情報はメディアデータを生成するワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区間の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをサーバに送信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをサーバから受信するステップ
を備える。
【００２２】
したがって、本発明の方法は、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明の方法によれば、クライアントは、少ないリソースしか必要としない。
【００２３】
一実施形態では、メディアデータを生成するワイドビューの撮像に関する記述的情報は、撮像投影に関連する。
【００２４】
一実施形態では、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルは、表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定される。
【００２５】
一実施形態では、記述的情報は、少なくとも部分的に少なくとも１つのディスクリプタ内に提供される。
【００２６】
一実施形態では、少なくとも１つのディスクリプタはメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
【００２７】
一実施形態では、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画は、撮像投影から生じる領域の関数として定義される。
【００２８】
一実施形態では、少なくとも１つのディスクリプタはメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタはメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備える。
【００２９】
一実施形態では、記述的情報は、受信すべきメディアデータに関するリソースを識別する情報を備える。
【００３０】
一実施形態では、品質レベルはフレーム符号の関数として定義された視野を備え、視野は空間的部分又は好適なレンダリング視野に対応する
【００３１】
一実施形態では、視野は複数の値によって定義され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
【００３２】
一実施形態では、品質レベルはフレーム符号の関数として定義される視点を備え、視点は空間的部分又は好適なレンダリング視点に関する。
【００３３】
一実施形態では、記述的情報は、フレーム符号の識別子をさらに備える。
【００３４】
一実施形態では、品質レベルは、品質ランクを備える。
【００３５】
一実施形態では、ディスクリプタは、受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられる。
【００３６】
本発明の第２の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバからクライアントにストリーミングする方法が提供され、ストリーミングされるメディアデータは、クライアントがワイドビューの少なくとも一部を３Ｄ幾何学的表示面上にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面上にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、方法はサーバにおいて実行され、
ワイドビューの撮像投影を表すメディアデータについての情報を備える記述ファイルをクライアントに送信するステップであって、その情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも一つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをクライアントから受信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをクライアントに送信するステップ
を備える。
【００３７】
したがって、本発明の方法は、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明の方法によれば、クライアントは、少ないリソースしか必要としない。
【００３８】
一実施形態では、メディアデータを生成するワイドビューの撮像に関する記述的情報は、撮像投影に関連する。
【００３９】
一実施形態では、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルは、表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定される。
【００４０】
一実施形態では、記述的情報は、少なくとも部分的に少なくとも１つのディスクリプタ内に提供される。
【００４１】
一実施形態では、少なくとも１つのディスクリプタはメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備え、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
【００４２】
一実施形態では、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画は、撮像投影から生じる領域の関数として定義される。
【００４３】
一実施形態では、少なくとも１つのディスクリプタはメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタはメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備える。
【００４４】
一実施形態では、記述的情報は、受信すべきメディアデータに関するリソースを識別する情報を備える。
【００４５】
一実施形態では、品質レベルはフレーム符号の関数として定義された視野を備え、視野は空間的部分又は好適なレンダリング視野に対応する
【００４６】
一実施形態では、視野は複数の値によって定義され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
【００４７】
一実施形態では、品質レベルはフレーム符号の関数として定義される視点を備え、視点は空間的部分又は好適なレンダリング視点に関する。
【００４８】
一実施形態では、記述的情報は、フレーム符号の識別子をさらに備える。
【００４９】
一実施形態では、品質レベルは、品質ランクを備える。
【００５０】
一実施形態では、ディスクリプタは、受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられる。
【００５１】
本発明の第３の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバから受信するためのクライアントに対するデバイスが提供され、受信されるメディアデータは、ワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること、又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、デバイスが、
ワイドビューの撮像投影を表すメディアデータに関する情報を備える記述ファイルをサーバから受信するステップであって、その情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区間の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをサーバに送信するステップ、及び、
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをサーバから受信するステップ
を実行するように構成されたマイクロプロセッサを備える。
【００５２】
したがって、本発明のデバイスは、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明のデバイスによれば、クライアントは、少ないリソースしか必要としない。
【００５３】
一実施形態では、マイクロプロセッサは、メディアデータを生成するワイドビューの撮像に関する記述的情報が撮像投影に関連するようにさらに構成される。
【００５４】
一実施形態では、マイクロプロセッサは、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルが表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定されるようにさらに構成される。
【００５５】
一実施形態では、マイクロプロセッサは、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタ内に提供されるようにさらに構成される。
【００５６】
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備えるようにさらに構成され、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
【００５７】
一実施形態では、マイクロプロセッサは、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画が撮像投影から生じる領域の関数として定義されるようにさらに構成される。
【００５８】
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタがメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備えるようにさらに構成される。
【００５９】
一実施形態では、マイクロプロセッサは、記述的情報が受信すべきメディアデータに関するリソースを識別する情報を備えるようにさらに構成される。
【００６０】
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義された視野を備えるようにさらに構成され、視野は空間的部分又は好適なレンダリング視野に対応する。
【００６１】
一実施形態では、マイクロプロセッサは、視野が複数の値によって定義されるようにさらに構成され、複数の値の少なくとも一つの値は品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
【００６２】
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義される視点を備えるようにさらに構成され、視点は空間的部分又は好適なレンダリング視点に関する。
【００６３】
一実施形態では、マイクロプロセッサは、記述的情報がフレーム符号の識別子をさらに備えるようにさらに構成される。
【００６４】
一実施形態では、マイクロプロセッサは、品質レベルが品質ランクを備えるようにさらに構成される。
【００６５】
一実施形態では、マイクロプロセッサは、ディスクリプタが受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられるようにさらに構成される。
【００６６】
本発明の第４の目的によれば、シーンのワイドビューの撮像投影を表すメディアデータをサーバからクライアントにストリーミングするためのサーバに対するデバイスが提供され、ストリーミングされるメディアデータはクライアントがワイドビューの少なくとも一部を３Ｄ幾何学的表示面にレンダリングすること又はワイドビューの少なくとも一部を少なくとも２つの異なる視点による表示面にレンダリングすることを可能とし、レンダリングはワイドビューの少なくとも一部の撮像投影を表すメディアデータの少なくとも１つのレンダリング投影を備え、デバイスは、
ワイドビューの撮像投影を表すメディアデータの情報を含む記述ファイルをクライアントに送信するステップであって、情報はメディアデータを生成するためのワイドビューの撮像に関する記述的情報及びワイドビューの撮像投影を表すメディアデータの少なくとも一つの空間的区画の品質レベルに関する記述的情報を含む、ステップ、
記述ファイルに基づいて少なくとも１つのメディアデータストリームを要求するための少なくとも１つの要求メッセージをクライアントから受信するステップ、及び
少なくとも１つの要求メッセージに応じて、少なくとも１つの要求されたメディアデータストリームに対応するメディアデータをクライアントに送信するステップ
を実行するように構成されたマイクロプロセッサを備える。
【００６７】
したがって、本発明のデバイスは、要求されたデータのみが送信されるので仮想現実メディアデータの送信を最適化することができ、高解像度の画像に対応できるので品質を向上させることができ、送信されるべきデータの制御がクライアントによって行われるのでサーバ端でのスケーラビリティを保持することができる。また、本発明のデバイスによれば、クライアントは、少ないリソースしか必要としない。
【００６８】
一実施形態では、マイクロプロセッサは、メディアデータを生成するワイドビューの撮像に関する記述的情報が撮像投影に関連するようにさらに構成される。
【００６９】
一実施形態では、マイクロプロセッサは、ワイドビューの撮像投影を表すメディアデータの少なくとも１つの空間的区画の品質レベルが表示面にレンダリングされる場合、対応する空間的区画の所望の品質レベルの関数として特定されるようにさらに構成される。
【００７０】
一実施形態では、マイクロプロセッサは、記述的情報が少なくとも部分的に少なくとも１つのディスクリプタ内に提供されるようにさらに構成される。
【００７１】
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの空間的区画の少なくとも１つのバージョンの記述的情報を備えるようにさらに構成され、記述的情報は少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画の定義及び関連する品質レベルを備える。
【００７２】
一実施形態では、マイクロプロセッサは、少なくとも部分的に少なくとも１つのディスクリプタに記述された空間的区画が撮像投影から生じる領域の関数として定義されるようにさらに構成される。
【００７３】
一実施形態では、マイクロプロセッサは、少なくとも１つのディスクリプタがメディアデータの異なる空間的区画の記述的情報を備えるディスクリプタのリストを備え、少なくとも１つの他のディスクリプタがメディアデータの異なる空間的区画と関連付けられる少なくとも１以上の異なる品質レベルを備えるようにさらに構成される。
【００７４】
一実施形態では、マイクロプロセッサは、記述的情報が受信すべきメディアデータに関するリソースを識別する情報を備えるようにさらに構成される。
【００７５】
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義された視野を備えるようにさらに構成され、視野が空間的部分又は好適なレンダリング視野に対応する。
【００７６】
一実施形態では、マイクロプロセッサは、視野が複数の値によって定義されるようにさらに構成され、複数の値の少なくとも一つの値が品質レベルの項目の関数として、及びクライアントの少なくとも一つの特性の関数として計算される。
【００７７】
一実施形態では、マイクロプロセッサは、品質レベルがフレーム符号の関数として定義される視点を備えるようにさらに構成され、視点が空間的部分又は好適なレンダリング視点に関する。
【００７８】
一実施形態では、マイクロプロセッサは、記述的情報がフレーム符号の識別子をさらに備えるようにさらに構成される。
【００７９】
一実施形態では、マイクロプロセッサは、品質レベルが品質ランクを備えるようにさらに構成される。
【００８０】
一実施形態では、マイクロプロセッサは、ディスクリプタが受信されたメディアデータのレンダリングを可能としながらディスクリプタ内の記述的情報に対応するメディアデータがクライアントによって破棄され得るかをシグナリングするシグナリング情報に関連付けられるようにさらに構成される。
【００８１】
本発明はソフトウェアで実施され得るので、本発明は、任意の適切な搬送媒体、特に適切な有体搬送媒体又は適切な一時的搬送媒体上でプログラム可能な装置に提供するコンピュータ可読コードとして具現され得る。有体搬送媒体は、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープデバイス又は固体メモリデバイスなどの記憶媒体を含み得る。一時的搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号又は電磁信号、例えばマイクロ波若しくはＲＦ信号などの信号を含み得る。
【００８２】
本発明の更なる効果が、図面及び詳細な説明を検討すれば当業者には明らかとなる。任意の追加の効果がここに組み込まれることが意図される。
【００８３】
本発明の実施形態を、例示としてのみ、以下の図面を参照してここに説明する。
【図面の簡単な説明】
【００８４】
【図１】図１ａ、１ｂ及び１ｃからなる図１は、パノラマビデオシーケンスの特性を概略的に示す。
【図２】図２は、本発明の実施形態が基づく、ＨＴＴＰを介するメディアストリーミングの一般原則を示す。
【図３ａ】図３ａは、メディアプレゼンテーション及び対応するマニフェストファイルを生成するステップを示す。
【図３ｂ】図３ｂは、マニフェストファイルを受信するステップ及びメディアストリームを選択するステップを示す。
【図４】図４は、ＤＡＳＨコンテキストにおけるマニフェストファイルの構造例を示す。
【図５】図５は、本発明の１以上の実施形態を具現化するコンピューティングデバイスの概略ブロック図である。
【発明を実施するための形態】
【００８５】
実施形態によれば、本発明により、クライアントによって必要とされる特性に対応する特性を有するセグメントが要求され得るように仮想現実又は全方向性メディアコンテンツのセグメントの記述をストリーミングマニフェスト又はストリーミング再生リストに提供することが可能となる。そのような特性は、特に、視野、視点、及び動的適応を可能とする相対的な品質情報を備える。
【００８６】
ＤＡＳＨのコンテキストにおいて、及び好ましい実施形態として、ストリーミングマニフェスト：メディアプレゼンテーションディスクリプション（ＭＰＤ）を形成するために、メディアコンテンツをメディアデータセグメントにカプセル化するのにＩＳＯ  ＢＭＦＦ標準が使用される。一般的に、各トラックは、ＤＡＳＨを使用して独立したメディアコンテンツとしてマニフェストに記述される。
【００８７】
しかし、（例えばメタデータトラックとしてＯＭＡＦ定義を介して）ＭＰＤに記述されたＶＲビデオシーケンスの特定の符号化構成を特定するために、ユーザは（マニフェストに加えて）第１の初期化セグメントをダウンロードしなければならないことが観察されている。次にユーザは、ＶＲビデオコンテンツの符号化構成を取得するのに、最低限でも各ビデオコンテンツの各第１のメディアデータセグメントの始まりをダウンロードしなければならず、さらにＶＲコンテンツ特性を指定するメタデータサンプルを含むメタデータトラックもダウンロードしなければならない。この初期化情報をダウンロードすると、遅延及び追加のＨＴＴＰ往復時間が発生する。これらの遅延により、ユーザは、メディアプレゼンテーションの鑑賞を開始する前に待機しなければならない。
【００８８】
これらの問題を解決するために、品質に関する種々の設定を有する全ての仮想現実メディアコンテンツコンポーネントは、マニフェストにコンパクトな方法で記述される。このように、特定の符合化構成及び／又は特定の品質レベルとＨＴＴＰ−ＵＲＬとの間の関連付けを確立することができ、ビデオセグメントのダウンローディングが全てのビデオセグメントの代替に関して最適に実行される。言い換えると、本発明の実施形態により、マニフェスト又は再生リストに記述される異なるメディアストリーム内の符合化構成（及び品質についても）を正確に表現することが可能となり、ビデオバージョンを選択する場合に、ダウンロードする必要のあるもの及びオプションでダウンロード可能なものをストリーミングクライアントに示すことが可能となる。
【００８９】
上述したように、エンドユーザに没入型体験を提供するように生成される新しい種類のビデオシーケンスが存在する。そのようなビデオシーケンスは、「魚眼」対物レンズを使用するか、複数の方向に応じて取得画像に対して特殊なリグに配置される幾つかのカメラを使用して撮像される。後者の設定によれば、得られる画像はワイドシーンのパノラマ画像を形成するためにスティッチングされる（「魚眼」対物レンズを使用する場合は、このパノラマ画像が直接得られる）。
【００９０】
図１ａ、１ｂ及び１ｃからなる図１に、マルチ方向性、プルリ方向性、全方向性、３６０°又は仮想現実ビデオシーケンスともいわれるパノラマビデオシーケンスの特性を概略的に示す。
【００９１】
以下では、ワイドビューは、画像が取得されるシーンのビューであり、このワイドビューは一般に使用されるよりも大きな視野角（広角）に対応すると考えられる。説明のために、１８０°パノラマをワイドビューとして考える。他の例は、撮影されたシーンの没入型ビューを形成する水平軸に沿った３６０°（おそらく垂直軸においても３６０°）ワイドビューである。そのようなワイドビューに対応する画像は、通常は仮想現実に使用される。なお、３６０°ビューは、コンピュータによって生成される合成シーケンスであってもよい。
【００９２】
広角のビューにおいて、一般的にパノラマビデオシーケンスは、適切な比率を保持するように、表示されるより前に幾何学的な投影を必要とする。なお、使用される投影は、現実を反映しなくてもよく、むしろワイドビューの（すなわちステレオ投影ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｆ／ｗｉｋｉ／Ｓｔｅｒｅｏｇｒａｐｈｉｃ＿ｐｒｏｊｅｃｔｉｏｎに基づく小さな惑星の写真効果のような）芸術的表現であってもよい。
【００９３】
ワイドビューから撮像された（又は計算された）画像及び画像のシーケンスは、それぞれパノラマ画像及びパノラマ画像シーケンスを形成する。
【００９４】
例えば、図１ａのビデオ１００は、パノラマ画像１０５−１から１０５−ｎのシーケンスからなる。これらのパノラマ画像は、画像の２Ｄプラン上へのワイドビューの投影から生じる。
【００９５】
それゆえ、各パノラマビデオ又はパノラマ画像は、特定の幾何学的投影、又は２Ｄマップ内への参照点を囲む３Ｄ球面シーン（又はその一部）の幾何学的な変換であるパノラマ投影と関連付けられる。幾つかのタイプの投影が存在する（非限定リストである）。
−球体型投影
−楕円球体型投影
−円筒型投影
−立方体型投影
−角錐型投影
−投影使用なし
【００９６】
なお、ここで、画素の不連続なマップを生成し得る投影が存在する。説明のために、立方体投影は、全体として立方体の１つの面に各々が対応する６つの投影エリアからなる。
【００９７】
パノラマ領域は、パノラマ画像の、長方形であってもなくてもよい画素のサブセットである。各パノラマ領域は、パノラマ投影タイプの特定のタイプからもたらされる。例えば、立方体型投影を考慮すると、パノラマ画像の各領域は、立方体の１つの面に対応し得る。
【００９８】
図１ａに戻り、パノラマ画像１０５−１は、立方体型投影から生じる。それゆえ、Ｒ１からＲ６の６つのエリアに分割される。これらのエリアの各々は、一般的に１１０に参照されるパノラマ領域であり、立方体の１つの面に対応する。
【００９９】
図１ｂに示すように、ディスプレイ上の３６０°パノラマ画像のレンダリングは、全体として、ディスプレイ上に投影を介してパノラマ画像を変換することにあり、球体１１５として表され得る３Ｄワイドビューの没入型観察を可能とする。
【０１００】
図１ｃに示すように、ディスプレイの特性に依存して、３Ｄワイドビューを表す３Ｄ球体の部分１２０のみが鑑賞され得る。この部分は、ディスプレイの視野（ＦＯＶ）によって決定される。このＦＯＶは、部分の２つの観測角度によって、例えば水平ＦＯＶ角度１２５及び垂直ＦＯＶ角度１３０でパラメータ化される。他のパラメータ化は、水平ＦＯＶ及び対角ＦＯＶ角度である。
【０１０１】
所定の３Ｄフレーム符号（例えば図１ｂの３Ｄフレーム符号１３５）における球体表面上のワイドビューのバージョンの投影の観察方向を視点という。ビューポート１４０は、特定の視点及び特定のＦＯＶに従って（３Ｄ球体に投影された）パノラマ画像の投影に対応する２Ｄ画像である。
【０１０２】
図２に、ＨＴＴＰを介するメディアストリーミングの一般原則を示し、本発明の実施形態はそれに基づいている。
【０１０３】
図示のように、メディアサーバ２００は、特に、異なるメディアコンテンツコンポーネント例えばオーディオ及びビデオデータストリームを含むメディアプレゼンテーション２０５がその中に含まれるメディアプレゼンテーションを備える。オーディオ及びビデオストリームは、独立してインターリーブ又は記憶され得る。メディアプレゼンテーションは、メディアコンテンツコンポーネントの代替のバージョンを（異なるビットレート、品質、解像度、サンプリングレートなどで）提案できる。
【０１０４】
例えば、このメディアプレゼンテーションのメディアコンテンツコンポーネントは、ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔ及びＤＡＳＨ推奨に従ってカプセル化される。カプセル化ステップの結果、各代替バージョン（すなわちＤＡＳＨコンテキストのＲｅｐｒｅｓｅｎｔａｔｉｏｎ、例えばＲｅｐｒｅｓｅｎｔａｔｉｏｎ１及びＲｅｐｒｅｓｅｎｔａｔｉｏｎ２）は、小さな独立した及び連続的な時間的メディアセグメント（それぞれ例えば時間的メディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３）、例えばＭＰ４標準（ＩＳＯ／ＩＥＣ１４４９６−１４）に準拠して、独立してアドレッシング及びダウンロードされ得るメディアセグメントに、時間的に分割される。各メディアセグメントは、１以上のメディアコンテンツコンポーネントを含む。アドレス（すなわち図示の例ではＨＴＴＰ  ＵＲＬアドレス）は全てのメディアセグメントに対してサーバ２００によって設定され、マニフェストは図３を参照してこれより以下に説明するように作成される。
【０１０５】
マニフェスト、例えばＭＰＤは、ドキュメント、典型的にはＸＭＬファイルであり（又はＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇについてはプレーンテキストファイルでさえある）、所与のメディアプレゼンテーションについてアクセス可能となる全てのメディアコンテンツコンポーネントを記述する。そのような記述は、メディアコンテンツコンポーネントのタイプ（例えばオーディオ、ビデオ、オーディオビデオ、メタデータ又はテキスト）、メディアセグメントの継続時間及びメディアセグメントに関連付けられるアドレス（例えばＵＲＬ）、すなわちメディアコンテンツコンポーネントが得られるアドレスを備え得る。
【０１０６】
通常、ＭＰＤは、図４に示す階層データモデルに基づく。それは１つ又は複数の期間（図４の符号４００）で構成され、各期間は開始時間及び継続時間を有し、１つ又は複数のアダプテーションセット（図４の符号４０１）で構成される。アダプテーションセットは、１つ又は複数のメディアコンテンツコンポーネント及びその種々の符号化された代替（図４の符号４０２）についての情報を提供し、同一のメディアコンテンツコンポーネントの各符号化された代替はＲｅｐｒｅｓｅｎｔａｔｉｏｎといわれる。そして、各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎは、通常は１つ又は複数のメディア及び／又は初期化セグメント（図４の符号４０３）で構成される。
【０１０７】
説明のために、メディアプレゼンテーション２０５のオーディオ及びビデオストリームは、インターリービングされているとみなす。これらのインターリービングされたオーディオ及びビデオデータストリームは、２つの代替のバージョンとして提案され、各バージョンは連続的な時間的メディアセグメント、例えば３つの連続的な期間に対応する３つの連続的な時間的メディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３に分割される。マニフェストファイルは、幾つかのメディアセグメントを含む少なくとも２つのバージョンを備える少なくとも１つのアダプテーションセット（図示せず）で構成されるメディアプレゼンテーションを記述する。これらのセグメントのアドレスは、サーバ２００によって設定される。メディアコンテンツコンポーネント並びにメディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３に関係する情報のこれらのアドレス及び他の項目は、メディアプレゼンテーション２０５に対応するマニフェスト２１５においてアクセス可能である。
【０１０８】
このマニフェストファイルは、クライアント２２０に送信される（ステップ２２５）。受信された後、クライアント２２０によって解析されて、マニフェストファイル２１５はどのプレゼンテーションが利用可能であるか、メディアプレゼンテーション２０５のメディアセグメント２１０−１から２１０−３及び２１１−１から２１１−３のどちらがアクセス可能であるかを判定する。また、マニフェストファイル２１５は、これらのメディアセグメントのｈｔｔｐアドレス及びこれらのメディアセグメント間の関係を特定するのにも使用される。さらに、マニフェストファイル２１５によって、メディアプレゼンテーションのコンテンツ（すなわち所与の例においてはインターリービングされたオーディオ及びビデオ）についての情報の項目が与えられる。情報のこれらの項目は、解像度、ビットレート及び同様の情報を備え得る。
【０１０９】
したがって、この情報を考慮すると、クライアント２２０のアダプテーションロジックモジュール２５０は、適切なバージョンからメディアセグメントを選択して、これらのメディアセグメントをダウンロードする対応するｈｔｔｐ要求を発行することができる（ステップ２３０）。それに応じて、サーバ２００は、要求された時間的メディアセグメントを送信する（ステップ２３５）。ｈｔｔｐ応答２３５において受信されたこれらの時間的メディアセグメントは、パージング（デカプセル化）され、次に適切なメディアデコーダ２４０（通常はメディアタイプ毎に１つの復号器）において復号され、ディスプレイ２４５に表示され得る。特に、表示するステップは、例えばパノラマ画像を新しいフレーム符号（ディスプレイフレーム符号）に投影する変換処理を含み得る。
【０１１０】
なお、サーバ２００は、別個のサーバ又はデバイスにあってもよく、各々が以下のステップの１以上を実行する。
−メディアコンテンツを生成するステップ
−メディアストリームをファイルフォーマットにカプセル化するステップ
−ストリーミングマニフェスト又は再生リストファイルを生成するステップ
−メディアプレゼンテーションを送信するステップ、及び
−多くの場合、コンテンツセグメントとしてメディアコンテンツを送信するステップ
【０１１１】
それゆえ、クライアントは、マニフェストについての要求を第１のサーバ、例えばアプリケーションサーバに発してもよく、メディアコンテンツについての要求を１以上の他のサーバ、例えばメディアサーバ又はストリーミングサーバに発してもよい。例えばメディアがＣＤＮ（コンテンツ配信ネットワーク）を介して配信される場合は、メディアサンプルを送信するサーバも異なっていてもよい。
【０１１２】
図３ａに、メディアプレゼンテーション及び対応するマニフェストファイルを生成するステップを示す。そのようなステップは通常、図２のサーバ２００などのサーバによって実行される。
【０１１３】
それぞれ３００及び３０５で示されるオーディオ及びビデオデータは、例えば図３に示すステップを実行するサーバに接続されるデータ記憶サーバなどの外部ソースから通信ネットワークを介して得ることができる。
【０１１４】
図示のように、生ビデオデータ３０１は、仮想現実ビデオを生成するようにスティッチングされ得る（ステップ３０２）。そのようなステップは、サーバ内で又は遠隔的に、例えばビデオソースにおいて実行され得る。
【０１１５】
シーンのワイドビュー、例えば図１ｂの符号１８０で示すように水平方向及び垂直方向の両方に３６０°ビューを考慮しつつ、ワイドビューのパノラマ画像は、１台のイメージセンサ又はイメージセンサのセットによって撮像されたこのワイドビューの２Ｄ画像上への投影（撮像投影という）に対応する。したがって、撮像投影スキームは、例えば記録されたシーンの適切な比率を保持するように各パノラマ画像に関連付けられる。
【０１１６】
オーディオデータは、ステップ３１０の間に圧縮される。そのような圧縮は、例えばＭＰ３規格（ＭＰＥＧ−１／２オーディオレイヤ３）に基づき得る。並行して（又は以前又は以降で）、ビデオデータは、ステップ３１５の間に圧縮される。この目的のために、ＭＰＥＧ４、ＭＰＥＧ／ＡＶＣ、ＳＶＣ、ＨＥＶＣ又はスケーラブルＨＥＶＣなどのビデオデータ圧縮アルゴリズムが使用され得る。
【０１１７】
オーディオ及びビデオデータは、それぞれ符号３２０及び３２５で示すようにデータエレメンタリストリームとして圧縮される。オーディオ及びビデオデータが圧縮された後（ステップ３２６）、圧縮されたエレメンタリストリームは、メディアプレゼンテーション３３５全体を作成するようにステップ３３０の間にカプセル化される。
【０１１８】
例えば、ＩＳＯ  ＢＭＦＦ標準（又は、さらに説明のために、このＩＳＯ  ＢＭＦＦ標準のＡＶＣ、ＳＶＣ、ＨＥＶＣ又はスケーラブルＨＥＶＣへの延長）は、メディアプレゼンテーション全体として符号化されたオーディオ及びビデオエレメンタリストリームのコンテンツを記述するのに使用され得る。したがって、カプセル化されたメディアプレゼンテーションは、マニフェスト、例えばＸＭＬマニフェスト３４５の生成（ステップ３４０）についての入力として使用される。
【０１１９】
ＭＰＥＧ−２  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ、Ｃｏｍｍｏｎ  Ｍｅｄｉａ  Ａｐｐｌｉｃａｔｉｏｎ  Ｆｏｒｍａｔ及びＷｅｂＭなどの、メディアデータストリームに関する記述的メタデータ及びタイミング情報を提供するいずれのカプセル化フォーマットもまた使用され得る。カプセル化フォーマットは、サーバによって抽出されることができストリーミングクライアントがメディアデータの最適なバージョンを選択することに役立つマニフェストファイルに提供され得る記述的情報を提供する必要がある。
【０１２０】
図３ｂに、マニフェストファイルからメディアプレゼンテーションを選択するステップを示す。通常、そのようなステップは、図２のクライアント２２０などのストリーミングクライアントによって実行される。最初のクライアント要求３５０に応じて、マニフェストファイル３４５が、クライアントによって受信される。マニフェストファイルは、ダウンロードされるべきメディアストリームを特定するようにステップ３６０でパージングされる。
【０１２１】
次に、メディアストリームの選択ステップ３６５は、クライアントの特性（例えば帯域幅、コーデック、解像度、ＶＲサポートなど）に一致するメディアセグメントのリストを特定することを目的とする。これは、図２に示すクライアント２２０のアダプテーションロジック２５０などのアダプテーションロジックによって対処され得る。例えば、クライアントは、ステップ３７０でそれらのＨＴＴＰ  ＵＲＬアドレスで要求されたメディアセグメントのリストを含むＲｅｐｒｅｓｅｎｔａｔｉｏｎをＭＰＤファイルから選択する。
【０１２２】
それに応じて、メディアプレゼンテーションファイルが受信される。それにはカプセル化されたメディアストリームが含まれる。そしてメディアデータエレメンタリストリームは、ステップ３８０でメディアストリームを復号する前に、カプセル化フォーマットから抽出される。例えばＩＳＯ  ＢＭＦＦファイルの場合、エレメンタリストリームの抽出は通常、ｍｐ４リーダ又はｍｐ４パーザによって対処される。したがって、各エレメンタリストリームは、適切な復号器で復号され、次にステップ３９０の間にＶＲレンダラ上にレンダリングされる。
【０１２３】
特に、レンダリング処理は、没入型体験を提供する復号されたサンプルのレンダリング投影ステップを含む。ストリーミングセッションの間、クライアントのアダプテーションロジックは、送信を監視し（ステップ３８５）、メディアの別のバージョンに切替えることもある（例えばクライアントバッファがオーバーフロー若しくはアンダーフローの危険性がある場合、又はユーザインターフェースを介してユーザからの選択若しくは動作に従う場合）。そのような場合、アルゴリズムは、ステップ３６５に戻る。切替えがない場合、ステップ３７０において、同一バージョンの次のメディアセグメントが要求される。
【０１２４】
図４に、ＤＡＳＨマニフェストファイルの階層型コンテンツの例を示す。より正確には、サーバで利用可能なメディアプレゼンテーションのコンテンツ及びメディアデータともいわれる各メディアコンポーネントとＨＴＴＰアドレスとの間の関係を示す。
【０１２５】
説明のために、メディアプレゼンテーションは、（任意のコンテンツをスプライシングする）ｐｅｒｉｏｄといわれる粗粒期間に時間的に分割され得る。
【０１２６】
ＭＰＤレベルでの「ｐｅｒｉｏｄ」は、ある時間間隔に対して利用可能な全てのメディアコンポーネント（ピリオドが１つのみの場合はメディアプレゼンテーションの完全な継続時間であり得る）を記述する。このピリオド内で、メディアコンテンツコンポーネントは、簡単なストリーミング、ランダムアクセス及び切替を可能とするように、前述の小さな時間間隔に対応する幾つかのデータセグメントから構成され得る。
【０１２７】
ＭＰＤ（例えばＸＭＬ  ＭＰＤ）は、各ピリオドに対応する全てのデータを含む。したがって、この情報を受信すると、クライアントは、各時間間隔のコンテンツを認識する。例えば、メディアプレゼンテーション４００は幾つかの要素に分割され、各々はｐｅｒｉｏｄに対応する。さらに説明のために、第２のピリオドは、モーメント１００ｓ及び２９４ｓ内に構成される。
【０１２８】
各メディアプレゼンテーションのピリオドは、対応する時間間隔に対して利用可能なメディアコンテンツコンポーネントを記述するデータを含む。４０１として示すメディアプレセンセーションのピリオドの１つをより詳細に説明する。
【０１２９】
さらに、幾つかの「アダプテーションセット」要素が、１つはビデオ記述に関して、１つはオーディオ記述に関して組込まれる。各アダプテーションセットは、所与のトラックに関連付けられる。この例においては、第１のアダプテーションセットはビデオトラックに関連付けられ、第２のアダプテーションセットは考慮されている時間間隔においてビデオトラックに対応するオーディオトラックに関連付けられる。
【０１３０】
図示のように、アダプテーションセット構造４０２は、サーバで利用可能な符号化されたビデオの異なる可能なＲｅｐｒｅｓｅｎｔａｔｉｏｎ（すなわちバージョン）に関する情報を含む。この例においては、第１のＲｅｐｒｅｓｅｎｔａｔｉｏｎは、５００ｋｂｉｔ／ｓのビットレートで符号化される６４０×４８０の空間的解像度を有するビデオである。さらなるパラメータは、フィールド「ＳｅｇｍｅｎｔＩｎｆｏ」４０３によって与えられる。
【０１３１】
第２のＲｅｐｒｅｓｅｎｔａｔｉｏｎは、２５０ｋｂｉｔ／ｓで符号化される同一のビデオである。例えば、第１のＲｅｐｒｅｓｅｎｔａｔｉｏｎと比較すると品質の低下を表し得る。クライアントは、ネットワーク上の利用可能な帯域幅に応じて、それらのＲｅｐｒｅｓｅｎｔａｔｉｏｎの間を切替ることができることになる。
【０１３２】
これらのＲｅｐｒｅｓｅｎｔａｔｉｏｎの各々は、クライアントがビデオに関係するＨＴＴＰアドレスを知る場合にはＨＴＴＰ要求によってダウンロードされ得る。各ＲｅｐｒｅｓｅｎｔａｔｉｏｎのコンテンツとＨＴＴＰアドレスとの間の関連付けは、追加の時間的サブレイヤを使用することによって行われる。
【０１３３】
符号４０３で示すように、ビデオＲｅｐｒｅｓｅｎｔａｔｉｏｎ４０２は、（この例では１０秒の）時間的セグメントに分割される。
【０１３４】
各時間的セグメント４０３は、ＨＴＴＰアドレスを介してアクセス可能なサーバで記憶されたコンテンツである。さらに、初期化セグメントは、利用可能である。この初期化セグメントは、（ビデオがＩＳＯ  ＢＭＦＦ又は延長を使用してカプセル化されていた場合）カプセル化されたビデオのＭＰ４コンテンツを記述するＭＰ４初期化情報を含む。例えば、それは、クライアントがビデオに関する復号アルゴリズムをインスタンス化するのに役立つ。初期化セグメント及びメディアセグメントのＨＴＴＰアドレスは、ＭＰＤ（又は記述）ファイルに与えられ、以下により詳細に説明する。
【０１３５】
なお、ＤＡＳＨ標準は、アダプテーションセットレベル又はサブリプレゼンテーションレベルのいずれかで、ＭＰＤのメディアコンテンツコンポーネント間の空間的関係を表す能力を導入する。それは「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１４」と等しい＠ｓｃｈｅｍｅＩｄＵＲＩを有するＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタのいずれかを使用することにある。＠ｖａｌｕｅ属性は、ＳＲＤ（空間的関係記述）パラメータの値のコンマ区切りのリストで構成され、以下のパラメータを備える。
−ｓｏｕｒｃｅ＿ｉｄは、メディアコンテンツのソースの識別子を提供する。Ｐｅｒｉｏｄ内で「ｓｏｕｒｃｅ＿ｉｄ値」といわれる同一の値を共有する異なるＳＲＤで使用されるパラメータ（ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ、ｏｂｊｅｃｔ＿ｗｉｄｔｈ、ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）が比較されて２つのＲｅｐｒｅｓｅｎｔａｔｉｏｎが相互に空間的に関連していることを特定し得る。
−ｏｂｊｅｃｔ＿ｘは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの左上角部の水平位置を提供する。
−ｏｂｊｅｃｔ＿ｙは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの左上角部の垂直位置を提供する。
−ｏｂｊｅｃｔ＿ｗｉｄｔｈは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの幅を提供する。
−ｏｂｊｅｃｔ＿ｈｅｉｇｈｔは、このＳＲＤディスクリプタによって定義される参照空間において、このディスクリプタを使用してＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオの高さを提供する。
−ｔｏｔａｌ＿ｗｉｄｔｈは、同一のｓｏｕｒｃｅ＿ｉｄ値のＳＲＤを有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオのｘ軸に沿った最大範囲を提供する。この値は、存在しない場合は、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＳＲＤアノテーションのｔｏｔａｌ＿ｗｉｄｔｈ値に設定される。所与のｓｏｕｒｃｅ＿ｉｄ値について、少なくとも１つのｔｏｔａｌ＿ｗｉｄｔｈ値が指定されなければならない。
−ｔｏｔａｌ＿ｈｅｉｇｈｔは、同一のｓｏｕｒｃｅ＿ｉｄ値のＳＲＤを有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎに記述されるビデオのｙ軸に沿った最大範囲を提供する。この値は、存在しない場合は、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＳＲＤアノテーションのｔｏｔａｌ＿ｈｅｉｇｈｔ値に設定される。所与のｓｏｕｒｃｅ＿ｉｄ値について、少なくとも１つのｔｏｔａｌ＿ｈｅｉｇｈｔ値が指定されなければならない。
−ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄは、同一のｓｏｕｒｃｅ＿ｉｄ値を有するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎのグループに関する識別子を提供する。ｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄパラメータは、ＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎのグループが重なりのない若しくは間隙のない連続ビデオのグループを構成しているか、又は同一のスケーラビリティレイヤの一部であることを示すのに使用されることができる。
ｏｂｊｅｃｔ＿ｘ及びｏｂｊｅｃｔ＿ｙパラメータ（それぞれｏｂｊｅｃｔ＿ｗｉｄｔｈ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）は、ソースと関連付けられた座標系において関連するＡｄａｐｔａｔｉｏｎＳｅｔ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎの、ｓｏｕｒｃｅ＿ｉｄパラメータによって識別される２Ｄ位置（それぞれ２Ｄサイズ）を表す。この座標系は、任意の原点を使用し得る。特定の実施形態によれば、ｘ軸は左から右に向けられ、ｙ軸は上から下に向けられる。同一のｓｏｕｒｃｅ＿ｉｄ値を共有する全てのＳＲＤは、同一の原点及び軸配向を有する。
【０１３６】
ｔｏｔａｌ＿ｗｉｄｔｈ及びｔｏｔａｌ＿ｈｅｉｇｈｔ値は、この座標系における参照空間を定義する。ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ、ｏｂｊｅｃｔ＿ｗｉｄｔｈ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔパラメータの値は、ｔｏｔａｌ＿ｗｉｄｔｈ及びｔｏｔａｌ＿ｈｅｉｇｈｔパラメータの値に関連している。同一のｓｏｕｒｃｅ＿ｉｄ値を共有するＳＲＤの位置（ｏｂｊｅｃｔ＿ｘ、ｏｂｊｅｃｔ＿ｙ）及びサイズ（ｏｂｊｅｃｔ＿ｗｉｄｔｈ、ｏｂｊｅｃｔ＿ｈｅｉｇｈｔ）は、参照空間のサイズを考慮して、すなわち、それぞれのディスクリプタのｏｂｊｅｃｔ＿ｘ及びｏｂｊｅｃｔ＿ｗｉｄｔｈ値をｔｏｔａｌ＿ｗｉｄｔｈ値で除し、ｏｂｊｅｃｔ＿ｙ及びｏｂｊｅｃｔ＿ｈｅｉｇｈｔ値をｔｏｔａｌ＿ｈｅｉｇｈｔ値で除した後に比較されてもよい。
【０１３７】
上述したように、仮想現実ビデオサーバは、異なる処理能力及び異なるディスプレイ構成、例えば狭角ディスプレイ（ゴーグルに関しては通常４０−１２０°ＦＯＶ）から顕著な広角（マルチプロジェクタディスプレイ及び／又はウォールスクリーンに関しては最大３６０°ＦＯＶ）を有し得る多種多様なクライアントに対応する必要がある。したがって、適応ストリーミングコンテキストにおいては、ビデオサーバは、ビデオシーケンスの符号化されたバージョンを多数生成して（クライアントによって正しくレンダリングされないサンプルに対して、送信中に帯域幅を消費することを回避するように）各特定のクライアントがその処理制約を満たす適切なメディアストリームを確実に見つけられるようにする必要がある。
【０１３８】
本発明の実施形態によれば、ビデオサーバは、ＶＲコンテンツの使用に特定の仮想現実メディアデータの新規の組合せを生成する。これら新規の組合せにより、ＶＲクライアントに対して選択代替が付加され、それによりＶＲクライアントのニーズの機能として最適なＶＲストリームを選択することが可能となる。特に、ビデオサーバは、異なる視野（ＦＯＶ）を有するビデオシーケンスを生成し得る。サーバは、クライアントが最良の品質を与えられた視点を選択できるように、パノラマ画像の特定のエリアにおいて異なる符号化品質も使用してもよい。
【０１３９】
品質の差は以下の項目のいずれか１つ又は両方に起因し得る。
−特定のエリアに関する異なる符号化品質（ＱＰ）、及び
−特定の視点においてより高い画素解像度にもたらし得る異なるパノラマ投影
【０１４０】
例えば、ビデオサーバは、角錐型投影を使用し得る。この投影モデルにおいては、角錐底面は、他の４つの面よりも高い画素解像度を有する。結果として、角錐底面上に球体として表される３Ｄワイドビューの１つの視点から投影されるサンプルの品質は、反対方向に従って投影されるサンプルよりも良好な品質を有する。それゆえビデオサーバは、異なる投影方向を使用して（例えば、３Ｄワイドビューを表す球体の規則的なサンプリングで、あらゆる方向において）、幾つかのストリーム（例えば３０）を計算する。
【０１４１】
符号化処理ループ（例えば図３を参照して説明されるステップ３００から３２６）の最後に得られるストリームのセットは、その後にファイルフォーマット（通常はＩＳＯ  ＢＭＦＦ）を使用する異なるメディアストリームにカプセル化される。なお、ストリームのセットは、各ストリームについて異なるカプセル化トラックを使用して同じメディアストリームにカプセル化されてもよい。これには、特に各符号化されるレイヤが単一のメディアストリームの異なるトラックにカプセル化され得るスケーラブルビデオストリームに当てはまる。
【０１４２】
付録のテーブル１に示す第１の実施形態によれば、ビデオサーバは、１つのメディアストリームの少なくとも１つのセグメントの視野を特定する情報を含むマニフェストファイル（例えばＤＡＳＨコンテキストに対してはＭＰＤ）を生成する。この情報は、３Ｄワイドビューを表す球体の３Ｄフレーム符号、例えば図１ｂのフレーム符号１３５において、関係するセグメントと共に鑑賞され得る最大視野に対応する。
【０１４３】
第１の代替例によれば、ＦＯＶは、それぞれ図１ｃに示す水平及び垂直角度１２５及び１３０などの水平角度、垂直角度又は斜角度のいずれかに対応する単一の値によってパラメータ化される。このＦＯＶ値は、０から３６０まで変化し得るものであり、度で測定された角度に対応する。
【０１４４】
ＭＰＤファイルにおいて、この新規のパラメータは、ＭＰＤの幾つかのレベルでの専用ディスクリプタにおいて定義され得る。
【０１４５】
特に、この新規のディスクリプタは、ＸＭＬノード（属性又は要素）としてセグメントの記述において定義されてもよく、水平ＦＯＶ角度については＠ＨＦＯＶ、垂直ＦＯＶ角度については＠ＶＦＯＶ又は対角ＦＯＶについては＠ＤＦＯＶである。また、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーションレベルでの属性又は要素において定義されてもよい。例えばここでは名称が提供され、任意の予約された名称が、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅ要素、ＡｄａｐｔａｔｉｏｎＳｅｔＴｙｐｅ、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＴｙｐｅ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎＴｙｐｅの新規の属性としてＭＰＤのＸＭＬスキームにおいて使用され宣言され得る。
【０１４６】
この新規のディスクリプタは、専用のディスクリプタにおいて、例えばサブリプレゼンテーションレベル、リプレゼンテーションレベル又はアダプテーションセットレベルで定義され得る（例えばそのｓｃｈｅｍｅＩｄＵｒｉ属性において「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１６」のような特定のＵＲＮでシグナリングされる）ＶＲコンテンツに専用のディスクリプタにおいて定義され得る。それは、親ＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎがＶＲのｓｃｈｅｍｅＩｄＵｒｉ属性をサポートしないクライアントによって対処される場合にはＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタとして、及び親ＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎがＶＲのｓｃｈｅｍｅＩｄＵｒｉ属性をサポートしないクライアントによって破棄される必要のある場合にはＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタとして定義され得る。
【０１４７】
次に、使用されるべき（２つの角度値によってパラメータ化された）ＦＯＶは、ＭＰＤによって提供される角度値及び対応するメディアサンプルのサイズ又はアスペクト比を使用して計算される。説明のために、ＭＰＤによって提供されるＦＯＶ情報が水平ＦＯＶ角度である場合、垂直ＦＯＶ角度は、このＦＯＶ情報値をアスペクト比で除することによって計算される。したがって、一例として、ＭＰＤが１８０（初期設定では度）に等しいＨＦＯＶ値及び１６／９であるアスペクト比を示す場合、垂直値は、１８０＊９／１６＝１０１°に等しくなる。
【０１４８】
第２の代替例によれば、ＦＯＶは、同一のディスクリプタを使用する少なくとも２つの角度値によってマニフェストファイルに指定される。第２のＦＯＶを計算する必要がなく、クライアント端でのマニフェストの処理時間はわずかに改善される。
【０１４９】
なお、マニフェストファイルにおいてＦＯＶパラメータを定義する効果は、クライアントはマニフェストファイルをパージングしてＦＯＶパラメータの関数として選択する適切なバージョンを識別するだけでよいことである。マニフェストにおけるこの付加的な情報がなければ、クライアントは、全てのバージョンの初期化セグメントをダウンロードしてストリームのＦＯＶに関するファイルフォーマットにおける情報をパージングする必要がある。
【０１５０】
したがって、クライアントは、マニフェストファイルをパージングし、各メディアストリーム代替についてＦＯＶの情報を抽出する。クライアントは、そのＦＯＶに最も近いＦＯＶを有するメディアストリームを選択する。ＦＯＶがディスプレイのＦＯＶよりも狭い場合は、復号された画像はＶＲコンテンツの正確な鑑賞を保証するようにレンダリング前に引き延ばされる。
【０１５１】
代替例では、クライアントは、予備的なステップにおいて、ＦＯＶ値がそのＦＯＶよりも狭いメディアストリームを破棄する。
【０１５２】
そして、クライアントのディスプレイＦＯＶに最も近いＦＯＶのメディアストリームのみが選択される。それにより、十分なＦＯＶを有するメディアストリームが選択されることが保証される。
【０１５３】
他の実施形態によれば、ビデオサーバは、メディアセグメントと関連付けられる目標とするディスプレイの構成を指定するマニフェストにおいて他の情報を指定する。例えばＭＰＤにおいては、これはアダプテーションセットレベルで、リプレゼンテーションレベルで又はサブリプレゼンテーションレベルであっても行われ得る。
【０１５４】
例えば、そのような情報は、ディスプレイの目標とするＦＯＶに向けられてもよい。したがって、ストリームは、９０°水平ＦＯＶを有するＨＭＤを目標とするように符号化されてもよく、一方で他のストリームは２１０°水平ＦＯＶを目標とするように符号化されてもよい。目標とする（又は好適な）ＦＯＶがメディアストリームのＦＯＶより狭いことがあるので、目標とする（又は好適な）ＦＯＶは前述のＦＯＶ情報と異なることが観察される。特に、ある撮像投影は、パノラマの特定の部分上により多くの画素解像度を提供する。例えば、角錐型投影は、その底面上により高い品質を生成する。角錐底面の対応するＦＯＶは、投影の１つのパラメータであり、それゆえＶＲストリームごとに異なっていてもよい。例えば、結果として生じるストリームは３６０°ＦＯＶ及び３Ｄフレーム符号（例えば図１ｂの３Ｄフレーム符号１３５）における角錐底面のサイズに対応する１２０°の好適な（又は目標とする）ＦＯＶを提供し得る。
【０１５５】
付録のテーブル２の疑似マニフェストは、アダプテーションセットレベルで好適な（又は目標とする）ＦＯＶ値（ここでは１８０、度単位とみなされる）を専用のディスクリプタにおいて示すマニフェストの一例である。なお、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ汎用ＤＡＳＨディスクリプタに対する新規属性によって搬送される情報は、このＤＡＳＨ汎用ディスクリプタの値属性に配置されることができる。
【０１５６】
結果として、このアダプテーションセットに属する全てのリプレゼンテーションは、１８０°のＦＯＶで表示されるのに適している。好適な（又は目標とする）ＦＯＶパラメータのシンタックスは、先の実施形態のＦＯＶパラメータと同様に定義され得る。特に、それは、それぞれ水平、垂直又は対角の好適なＦＯＶ値のいずれかに対応する複数の値を有する単一のパラメータを介して、又は３つの可能なＦＯＶ角度からの２つの値によって指定され得る。単一のＦＯＶ角度値を使用する場合には、ＨＦＯＶは、デフォルトで使用される。２つの値が使用される場合には、ＨＦＯＶ及びＶＦＯＶが、デフォルトで使用される。代替例において、好適なＦＯＶディスクリプタは、使用される角度及びＦＯＶを定義するそれらの値も指定する情報を含む。
【０１５７】
クライアント端では、マニフェストの受信に応じて、かつ後者をパージングした後、好適なＦＯＶパラメータを得てもよい。結果として、クライアントは、その所定のディスプレイのＦＯＶ以上に大きく、かつ最も近い好適な（又は目標とする）ＦＯＶを有するバージョンを選択し得る。結果として、クライアントは、そのレンダリングデバイス上に最高のレンダリング品質を提供することになるメディアセグメントを要求することが可能となる。
【０１５８】
マニフェストに指定され得る第２のパラメータは、最適な視点（すなわち１つのバージョンを鑑賞するのに使用されるべき鑑賞方向）である。このパラメータは、ワイドビューリプレゼンテーションのフレーム符号（例えば図１ｂのフレーム符号１３５）における鑑賞方向を指定する値のセットを記述する。
【０１５９】
付録のテーブル３は、そのようなパラメータをＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタにバージョンレベルで付加することによって、クライアントに最適な視点を提供する方法を説明する疑似マニフェストの一例である。この例によれば、このパラメータは、４つのｏｐｔｉｍａｌＶｉｅｗｐｏｉｎｔ値＝「ｒｅｆＩＤ，ｙａｗ，ｐｉｔｃｈ，ｒｏｌｌ」によって定義され、
−ｒｅｆＩＤは、共通のフレーム符号を選択する目的のフレーム符号の識別子であり、
−ｙａｗは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＹａｗ角度の値であり、
−ｐｉｔｃｈは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＰｉｔｃｈ角度の値であり、
−ｒｏｌｌは、フレーム符号識別子の値に関連付けられるフレーム符号におけるＲｏｌｌ角度の値である。
【０１６０】
通常、ＨＭＤシステムに対して、Ｙａｗ角度は頭部の左から右へ又は右から左への回転に対応し、Ｐｉｔｃｈ角度は上から下へ又は下から上への回転に対応し、Ｒｏｌｌ角度は鑑賞方向軸周りの頭部の回転（傾き）に対応する。
【０１６１】
フレーム符号の識別子は、好ましくは、最適な鑑賞方向座標が同一のフレーム符号において定義されるバージョンに対して同一となる固有の識別子の値である。フレーム符号の原点は、デフォルト、又はクライアントによって（例えばＤＡＳＨコンテキストにおいては「ｍａｉｎ」値を有するＲｏｌｅディスクリプタを介して、又はデフォルトの視点情報を提供するのに定義された特定の名称及びｓｃｈｅｍｅＩｄＵｒｉを有する専用のＤＡＳＨディスクリプタを介して）選択された初期バージョンであるべきであり、Ｙａｗ、Ｐｉｔｃｈ、Ｒｏｌｌは、このリプレゼンテーションに対しては０に等しくなるべきである。
【０１６２】
代替例によれば、Ｙａｗ値のみが定義され、残る２つの値（Ｐｉｔｃｈ及びＲｏｌｌ）はオプション（及びデフォルトで０に設定される）である。例えば、値＝「０，１８０，０」は、ヨー角度の値は０であり、ピッチ角度の値は１８０°であり、ロール角度の値は０であることを意味する。別の例は、値＝「１２０」である。この場合、ヨー値のみが指定され（１２０に等しい）ピッチ及びロールはデフォルトの値０に等しいと推測される。デフォルトによって、角度値は度で表され、他の単位が好適である場合には、ＦＯＶディスクリプタにａｎｇｌｅ＿ｕｎｉｔ（例えばａｎｇｌｅ＿ｕｎｉｔ＝「ｒａｄｉａｎ」）又は第４の選択的パラメータを提供する付加的な属性を必要とする。
【０１６３】
代替例によれば、Ｙａｗ、Ｐｉｔｃｈ及びＲｏｌｌは、全て選択的である（及びデフォルトで０に設定される）。そのような場合には、ディスクリプタは、どの角度が定義されるかを明示的に指定した。例えば、前述の値属性は、２つのコンポーネントパラメータのリストである。第１のコンポーネントは、例えば「ヨー」、「ピッチ」若しくは「ロール」と等しい角度のタイプを指定する文字列であるか、又は各角度タイプに関連付けられる所定の整数値である。第２のコンポーネントは、第１のコンポーネントの値によって内部に定められる角度の対応する値である。
【０１６４】
ここでも、クライアント端では、マニフェストの受信に応じて、かつ後者をパージングした後、最適な視点パラメータを得てもよい。その結果、クライアントは、視点状態に最も近い最適な視点を有するバージョンを選択し得る。例えば、ユーザの現在の鑑賞方向（視点）がメディアストリーム選択処理（例えば図３ｂのステップ３６５）の間に特定される場合には、この観測視点は、各バージョンの最適な視点情報と比較される参照値として使用される。観測視点との差異を最小にするバージョン（すなわちＤＡＳＨコンテキストにおけるＡｄａｐｔａｔｉｏｎＳｅｔ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ又はＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）は、選択される。結果として、クライアントは、現在のクライアントの鑑賞状態に対して最高の品質を提供すべきメディアセグメントを要求することが可能となる。
【０１６５】
付録のテーブル２及びテーブル３に示す例において、マニフェストパーザがサポートされていない場合にはディスクリプタを無視可能とするために、好適なＦＯＶ及び／又は最適な視点がＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタに指定されることが観察される。実際に、最適な視点又は好適なＦＯＶのいずれかが無視されていても、リプレゼンテーションは、さらに再生可能である。
【０１６６】
代替例によれば、ビデオサーバは、非ＶＲクライアントに有用なものとはならない代替のリプレゼンテーションを無視させ、デフォルトのリプレゼンテーション（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタを伴うもの）を選択させるように、１つの特定のリプレゼンテーション又はアダプテーションセットを除いてこれらのパラメータをＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタに指定する。パラメータは、好ましくは、これらのパラメータがアダプテーションセットレベル、リプレゼンテーションレベル又はサブリプレゼンテーションレベルのいずれかで使用され得るように、ＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅで提供される。
【０１６７】
他の代替例によれば、好適なＦＯＶ及び／又は最適な視点は、ＶＲコンテンツに関する情報のパージングをさらに簡単にするように、アダプテーションセットレベルにおいて（又はリプレゼンテーション若しくはサブリプレゼンテーションレベルにおいて）ある専用のＸＭＬノード内に（ＭＰＤスキームに宣言されるその名称で）指定される。次に、ＶＲ情報パラメータは、子要素又はＭＰＤのＸＭＬ要素のいずれかの属性のどちらかとして指定され得る。そのような場合には、ＶＲ情報は、存在する場合には、それが指定されるＸＭＬ要素によって記述されたメディアストリームだけでなく、その全ての子にも適用される。
【０１６８】
さらに他の実施形態によれば、ビデオサーバは、クライアントがパノラマ画像のサブパートに関連付けられる異なるレベルの品質の機能として適切なバージョンを選択することに役立つマニフェストファイルを生成し得る。例えば、ビデオサーバは、立方体型投影を使用する１つのパノラマビデオシーケンスに対して幾つかのメディアデータストリームを符号化し得る。立方体型投影の各面は、異なる品質レベルで符号化され得る。したがって、ビデオサーバは、（各ストリームに対して異なる）１つのパノラマ領域が高品質であるがその他は中度又は低度の品質となるように、各ストリーム内において６つの異なるストリームを生成する。同様のストリーム構成が、パノラマ投影の他のタイプに対して使用され得る。
【０１６９】
そのような場合、クライアントは、ユーザ鑑賞方向（又は視点）の機能として選択するバージョンを特定することができない。したがって、ビデオサーバは、好ましくは、クライアントがユーザ視点の機能として適切なバージョンを選択するのに役立つヒントを提供するマニフェストファイルに新規の情報を付加する。
【０１７０】
この実施形態によれば、サーバは、パノラマ領域に好ましくは対応するパノラマストリームにおける品質領域のセットを定義する。品質領域の位置は、品質領域の記述であるマニフェストの新規の情報フィールドにおいて予め定められていてもよいし、指定されていてもよい。そのようなｑｕａｌｉｔｙＲｅｇｉｏｎパラメータは、ｘ軸及びｙ軸座標を含み各パノラマ画像における領域並びにパノラマ領域のサイズ（幅及び高さ）を局在化する。これらの４つの値は、パノラマ領域を識別するｑｕａｌｉｔｙＲｅｇｉｏｎパラメータの値の第１のセットを構成する。
【０１７１】
パノラマ領域の位置に加えて、オプションのパラメータは、パノラマ領域に関するさらなる情報を指定するのに使用され得る。説明のために、それによってパノラマ領域が対応する立方体型投影の面を示す識別子が指定され得る。識別子は、前、後、上、下、左又は右の面に対応する所定の整数値であり得る。例えば、ＯＭＡＦにおいて提案された表面識別子値の１つであり得る。識別子は、先のリストにおける面の名称そのままである文字列要素としても定義されてもよい。同様のアプローチが、他の投影タイプに対して使用され得る。
【０１７２】
他のフィールドは、値の第１のセットと関連付けられて、領域と関連付けられる品質ランクを提供し得る。そのような品質ランクは、０に等しい場合には最高品質を示す整数値であり得る。品質ランクが増加する場合は、品質が低下する。あるいは、品質ランクは、「ｈｉｇｈ、ｌｏｗ、ｍｅｄｉｕｍ、ｈｉｇｈｅｓｔ及びｌｏｗｅｓｔ」などの所定の値のセット内に選択され得る。
【０１７３】
付録のテーブル４ａに、以下のシンタックスｑｕａｌｉｔｙＲｅｇｉｏｎ＝「ｑＲｅｇＩｄ，ｘ，ｙ，ｗ，ｈ」を有する品質領域ディスクリプタの一例を示し、
−ｑＲｅｇＩｄは、品質領域の固有識別子であり、
−（ｘ，ｙ）は、品質領域の座標であり、
−（ｗ，ｈ）は、それぞれ品質領域の幅及び高さである。
【０１７４】
この例では、ｑｕａｌｉｔｙＲｅｇｉｏｎは、ＤＡＳＨ汎用ディスクリプタの新規の要素として表される。それらは、１つの新規の属性におけるリストとしても表されることもでき、ＤＡＳＨの場合には選択されたディスクリプタ（ＤＡＳＨ汎用のもの又は明示的なもののいずれか）内にこれら５つのパラメータを提供する任意のＸＭＬ構造によっても表されることもできる。
【０１７５】
ｑｕａｌｉｔｙＲｅｇｉｏｎ座標は、パノラマビデオシーケンスフレーム符号において定義される。ｑｕａｌｉｔｙＲｅｇｉｏｎは、パノラマビデオシーケンスの全ての異なるバージョンに共通のディスクリプタにおいて定義される。通常、テーブル４ａの例に示すように、ＭＰＤファイルは、Ｐａｎｏｒａｍａバージョン毎に幾つかのＲｅｐｒｅｓｅｎｔａｔｉｏｎを有するＡｄａｐｔａｔｉｏｎＳｅｔを含む。それゆえ、ＱｕａｌｉｔｙＲｅｇｉｏｎディスクリプタは、ＡｄａｐｔａｔｉｏｎＳｅｔレベルで定義される。パノラマビデオシーケンスの異なるバージョンが異なるサイズを有する場合には、ｑｕａｌｉｔｙＲｅｇｉｏｎ座標は、その幅及び高さ属性を使用するＡｄａｐｔａｔｉｏｎＳｅｔ参照において定義される。ＰａｎｏｒａｍａにおけるｑｕａｌｉｔｙＲｅｇｉｏｎの対応する位置は、ＡｄａｐｔａｔｉｏｎＳｅｔの幅（ｒｅｓｐ．高さ）及びパノラマビデオシーケンスの幅（ｒｅｓｐ．高さ）の比を適用することによって特定される。品質ランク情報は、各パノラマバージョンレベルで、第１のパラメータがｑｕａｌｉｔｙＲｅｇｉｏｎディスクリプタに記述された領域の固有識別子ｑＲｅｇＩｄであるｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒで指定される。ｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒの第２のパラメータは、ｑｕａｌｉｔｙＲａｎｋの値である。
【０１７６】
代替例において、パノラマ領域の位置は、空間的関係ディスクリプタに従って指定される。例えば、ＤＡＳＨコンテキストにおいては、ＳＲＤディスクリプタが、各品質領域に対応する各メディアストリームに対して使用される。この場合は、ＳＲＤディスクリプタは、その値が対応する品質領域の固有識別子に対応するｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄを含む。テーブル４ｂに、ＳＲＤディスクリプタを使用してｑｕａｌｉｔｙＲｅｇｉｏｎ情報を指定する情報を有するマニフェストファイルを示す。シーケンスの２つのパノラマバージョンは、第１のＡｄａｐｔａｔｉｏｎＳｅｔにおいて２つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ内に記述される。さらに、ＳＲＤディスクリプタは、この第１のＡｄａｐｔａｔｉｏｎＳｅｔにおいて使用されパノラマビデオシーケンスが品質領域にさらに分割されることを示す。そして、品質領域の各々（例えば２つ）は、異なるＡｄａｐｔａｔｉｏｎＳｅｔに（例えば第２及び第３のＡｄａｐｔａｔｉｏｎＳｅｔに）記述される。品質領域に対応するＡｄａｐｔａｔｉｏｎＳｅｔのＳＲＤディスクリプタにおいて使用されるｓｐａｔｉａｌ＿ｓｅｔ＿ｉｄ値は、ｑＲｅｇＩｄ品質領域の固有識別子として使用される。そして、先の実施形態と同一のｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｏｒは、１つのパノラマビデオシーケンスバージョンに対応する各Ｒｅｐｒｅｓｅｎｔａｔｉｏｎにおいて使用される。
【０１７７】
他の実施形態によれば、品質領域は、ワイドビューバージョンのフレーム符号（例えば図１ｂのフレーム符号１３５）において定義される。そのような場合には、品質領域を局在化することを可能とする値の第１のセットは、（図１ｃを参照することにより示すように）視点及びＦＯＶに関連付けられたフレーム符号において特定される。
【０１７８】
好適な視点を参照することによって、上述したように、品質領域の視点は、ヨー、ピッチ及びロール値に対応する３つのベクトル成分のセットとして定義され得る。代替例においては、３つの成分のうちの少なくとも１つが提供され、他は０に等しいと推測される。
【０１７９】
同様に、品質領域のＦＯＶは、単一のＦＯＶ値、典型的には水平ＦＯＶ角度、又は２つのＦＯＶ値、例えば水平ＦＯＶ角度及び垂直ＦＯＶ角度で表され得る。
【０１８０】
最後の実施形態によって提供される効果は、品質領域がパノラマ投影から独立して定義され得るという事実にある。
【０１８１】
付録のテーブル４ｃに、パノラマシーケンスの２つのバージョンに対応する２つのリプレゼンテーションに指令された疑似マニフェストの一例を示す。第１のリプレゼンテーションによれば、１２０°の水平ＦＯＶ及び９０°の垂直ＦＯＶに対する（０，０，０）視点方向における品質領域は、高品質レベル（「ｒ０」）を用いて符号化される。パノラマ画像の残りの領域は、より低い品質レベルを用いて符号化される。第２のリプレゼンテーションによれば、１２０°の水平ＦＯＶ及び９０°の垂直ＦＯＶに対する（１８０，０，０）視点方向における品質領域は高品質を用いて意符号化され、パノラマ画像の残りの領域はより低い品質レベルを用いてさらに符号化される。
【０１８２】
特定の実施形態によれば、サーバ２００は、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーションレベルで専用のＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタにｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎパラメータを含むＭＰＤファイルを生成する。
【０１８３】
このパラメータのシンタックスは、以下のようなものであればよい。
ｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎ＝“ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ，ｈ＿ｆｏｖ，ｖ＿ｆｏｖ，ｑｕａｌｉｔｙＲａｎｋ［，ｒｅｇｉｏｎＩＤ］”
ここで
−ｐｉｔｃｈ、ｙａｗ及びｒｏｌｌは、フレーム符号における視点方向であり、
−ｈ＿ｆｏｖ及びｖ＿ｆｏｖは、それぞれ水平及び垂直ＦＯＶ角度であり、
−ｑｕａｌｉｔｙＲａｎｋは、品質ランクであり、及び
−オプションのｒｅｇｉｏｎＩＤ値は、（適用可能であれば）品質領域が対応するパノラマ領域を示す。
【０１８４】
そのようなマニフェストを受信すると、クライアントは、各品質領域記述に記述された対応する値とそれらを比較するように、その鑑賞方向及び現在のＦＯＶを特定する。現在表示されているパノラマ画像のエリアを含む品質領域に対する最高品質ランクを提供するリプレゼンテーションが選択されてもよい。
【０１８５】
マニフェスト、例えばクライアント端でのＭＰＤのパージングを簡略化するために、ビデオサーバは、ＭＰＤにおいて指定される品質領域のリストを生成し得る。品質領域のリストは、ＭＰＤの任意のレベル（トップレベル、ピリオド、アダプテーションセット、リプレゼンテーション又はサブリプレゼンテーション）で、そのリストが領域リストのレベルの任意のサブレベルに対して有効であるという制約と共に定義され得る。好ましくは、品質領域のリストは、ピリオドレベルで定義される。
【０１８６】
先の実施形態を参照して上述したように、品質領域のリストの品質領域は、ワイドビューリプレゼンテーションのフレーム符号（例えば図１ｂのフレーム符号１３５）における視点及びＦＯＶから特定され得る。例えば、１つのｑｕａｌｉｔｙＲｅｇｉｏｎパラメータは、ｑＲｅｇＩｄが品質領域の固有識別子であり、（ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ）が視点値を表し、（ｈ＿ｆｏｖ，ｖ＿ｆｏｖ）が水平及び垂直ＦＯＶ角度を表すｑｕａｌｉｔｙＲｅｇｉｏｎ＝“ｑＲｅｇＩｄ，ｐｉｔｃｈ，ｙａｗ，ｒｏｌｌ，ｈ＿ｆｏｖ，ｖ＿ｆｏｖ”値で定義され得る。
【０１８７】
品質領域のリストは、品質領域におけるワイドビューのサンプリングに対応する幾つかの品質領域のリストである。
【０１８８】
付録のテーブル５に示すように、疑似マニフェストファイルは、ＶＲ  ｓｃｈｅｍｅＩｄＵｒｉ属性がピリオドレベルで定義される専用のディスクリプタにｎ個の品質領域（ここでｎは４より大きい整数値）のリストを定義する。
【０１８９】
各リプレゼンテーションは、品質領域識別子を参照して品質ランク値が後続する品質領域識別子を備えるｑｕａｌｉｔｙＲｅｇｉｏｎＤｅｓｃｒｉｐｔｉｏｎ属性における各領域に関連付けられたｑｕａｌｉｔｙＲａｎｋ属性を指定する。
【０１９０】
ｎ個の品質領域の各々に対するｑｕａｌｉｔｙＲａｎｋ値を指定することを回避するために、特別な品質領域識別子（通常、「ｄｅｆａｕｌｔ」文字列又は−１に等しい）は、非特定領域に対するデフォルトのｑｕａｌｉｔｙＲａｎｋ値を示す。
【０１９１】
テーブル５に示す例において、第１のリプレゼンテーションは、品質領域のデフォルトのｑｕａｌｉｔｙＲａｎｋ値が５であり品質領域識別子ゼロに対応するｑｕａｌｉｔｙＲｅｇｉｏｎが品質ランク０を有することを示す２つの品質領域記述パラメータを含む。
【０１９２】
クライアント端では、マニフェストを受信すると、後者は、パージングされて、ユーザによって表示されるべき品質領域の識別子を特定する。そして、クライアントは、そのように特定された品質領域識別子に対する最低のｑｕａｌｉｔｙＲａｎｋ値を有するリプレゼンテーションを選択する。したがって、この最後の実施形態において、クライアント側のパージング処理は、減少する。
【０１９３】
なお、前述した実施形態において、ＶＲ関連パラメータは、ＭＰＤの任意のレベルで定義され得る。特に、新規のパラメータの任意の組合せが、サーバとクライアントとの間のストリームコンテキストに応じて可能である。さらに、ＶＲ関連パラメータは、「ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ＶＲ：２０１６」と等しいＳｃｈｅｍｅＩｄＵｒｉ属性を有する専用のディスクリプタ、典型的にはＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタ（又はＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタ）で定義するべきである。ＶＲ関連パラメータは、新規のＸＭＬノード（要素又は属性）として定義されてもよい。代替例において、これらのパラメータは、任意のＲｅｐｒｅｓｅｎｔａｔｉｏｎＢａｓｅＴｙｐｅ互換可能なＸＭＬ要素の新規の要素（又は属性）として直接導入される。そのような場合には、ＶＲ関連パラメータは、ＶＲ関連パラメータ及びその子パラメータを含む最上位のＸＭＬ要素に対して有効である。
【０１９４】
特定の実施形態によれば、サーバは、再生可能なＶＲコンテンツに対するデフォルトのリプレゼンテーションを選択することによって、新規のＶＲディスクリプタをサポートしないクライアントとの後方互換性を提供する。選択されたリプレゼンテーションは、例えばパノラマビューに対応していてもよいし、ディスプレイ端で投影処理が適用されなくても過大な歪みなく表示可能なパノラマビューのデフォルトのパノラマ領域に対応していてもよい。
【０１９５】
その目的のため、サーバは、ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙディスクリプタタイプをこの選択されたリプレゼンテーションに関連付けられる新規のＶＲディスクリプタに対して使用することができ、ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙディスクリプタタイプをその他のリプレゼンテーションに対して使用することができる。これにより、新規のＶＲディスクリプタをサポートしないクライアントがマニフェストファイルの１つのビューを復号できることが保証される。他の代替例において、選択されたリプレゼンテーションは、例えば「ｍａｉｎ」値のＲｏｌｅディスクリプタを介してデフォルトのビューとして定義される。
【０１９６】
図５は、本発明の１以上の実施形態を実装するコンピューティングデバイス５００の概略ブロック図である。コンピューティングデバイス５００は、マイクロコンピュータ、ワークステーション又は軽量ポータブルデバイスなどのデバイスであってもよい。コンピューティングデバイス５００は、
−マイクロプロセッサなどの中央処理装置（ＣＰＵ）５０１、
−本発明の実施形態の方法の実行可能コードを記憶するランダムアクセスメモリ（ＲＡＭ）５０２、その他、マニフェストを読み出し、及び書き込み、並びに／又はビデオを符号化し、並びに／又は所与のファイルフォーマットでデータを読み出し、若しくは生成するための方法を実行するのに必要な変数及びパラメータを記録するように適合されたレジスタ、例えばそのメモリ容量が拡張ポートに接続されたオプションのＲＡＭによって拡張可能である、
−本発明の実施形態を具現化するコンピュータプログラムを記憶する読出し専用メモリ（ＲＯＭ）５０３、
−通常、処理されるべきデジタルデータが送信又は受信される通信ネットワークに順次接続されるネットワークインターフェース５０４。ネットワークインターフェース５０４は、単一のネットワークインターフェースであってもよいし、異なるネットワークインターフェースのセット（例えば有線及び無線インターフェース、又は異なる種類の有線若しくは無線インターフェース）から構成されてもよい。データは、ＣＰＵ５０１において稼働するソフトウェアアプリケーションの制御下で送信用にネットワークインターフェースに書き込まれ、又は受信用にネットワークインターフェースから読み出される。
−ユーザからの入力を受信する又はユーザに情報を表示するユーザインターフェース（ＵＩ）５０５、
−ハードディスク（ＨＤ）５０６、
−ビデオソース又はディスプレイなどの外部デバイスとデータを送受信するためのＩ／Ｏモジュール５０７
に接続された通信バスを備える。
【０１９７】
実行可能コードは、読出し専用メモリ５０３、ハードディスク５０６、又は例えばディスクなどの取り外し可能デジタル媒体のいずれかに記憶され得る。変形例によれば、プログラムの実行可能コードは、実行される前にハードディスク５０６などの通信デバイス５００の記憶手段の１つに記憶されるために、ネットワークインターフェース５０４を介して通信ネットワークによって受信され得る。
【０１９８】
中央処理装置５０１は、本発明の実施形態による１つ又は複数のプログラムのソフトウェアコードの命令又は一部の実行を制御及び指示するように適合され、その命令は前述の記憶手段の１つに記憶される。電源投入後、ＣＰＵ５０１は、例えばプログラムＲＯＭ５０３又はハードディスク（ＨＤ）５０６からそれらの命令がロードされた後のソフトウェアアプリケーションに関連する主ＲＡＭメモリ５０２からの命令を実行することができる。ＣＰＵ５０１によって実行される場合、そのようなソフトウェアアプリケーションは、前述の図に示すフローチャートのステップを実行する。
【０１９９】
この実施形態においては、装置は、ソフトウェアを使用して本発明を実施するプログラム可能な装置である。一方、代替的には、本発明は、（例えば特定用途向け集積回路すなわちＡＳＩＣの形態における）ハードウェアにおいて実施されてもよい。
【０２００】
本発明を特定の実施形態を参照して上で説明したが、本発明は特定の実施形態に限定されるものではなく、本発明の範囲内にある変形例は当業者には明らかになるはずである。
【０２０１】
例えば本発明は、例えば特定の対象領域を拡大するようにＴＶ又はマルチメディアディスプレイのリモートコントローラとして作用するカメラ、スマートフォン、ヘッドマウントディスプレイ又はタブレットのようなデバイスに組み込まれてもよい。それらはまた、特定の対象エリアを選択することによってマルチメディアプレゼンテーションの個人用の閲覧体験を有するのに同じデバイスから使用され得る。これらのデバイス及び方法からのユーザによる他の使用は、その人の選好するビデオの選択された一部を他の接続デバイスと共有することである。それらはまた、監視カメラが本発明によるデータを提供する方法をサポートするという条件で、スマートフォン又はタブレットと共に使用して、監視下にある建造物の特定エリアで何が起こっているかを監視することができる。
【０２０２】
多くのさらなる変更及び変形が、前述の例示された実施形態を参照することにより当業者に示唆され、それらは例としてのみ与えられており、本発明の範囲を限定することを意図したものではなく、その範囲は添付の特許請求の範囲によってのみ特定される。特に、異なる実施形態からの異なる特徴は、適宜入れ替えられてもよい。  
【０２０３】
付録
テーブル１：視野を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" HFOV="180"/>
<SegmentTemplate media="seg_$Number$.m4s" startNumber="1" initialization="seg_init.mp4"/>
<Representation id="1" ...>…  </Representation>
<Representation id="2" …>…  </Representation>
</AdaptationSet>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" HFOV="360"/>
<SegmentTemplate media="seg2_$Number$.m4s" startNumber="1"  initialization="seg2_init.mp4" …/>
<Representation Id="3’ …>…  </Representation>
</AdaptationSet>
</MPD>
テーブル２：好適な視野を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" preferredFOV="180"/>
<SegmentTemplate media="seg_$RepresentationId$_$Number$.m4s" startNumber="1" initialization="seg_$RepresentationId$_init.mp4"/>
<Representation id="1" ...>…  </Representation>
<Representation id="2" …> …  </Representation>
</AdaptationSet>
</MPD>
テーブル３：最適な視点を指定する情報を有する疑似マニフェスト
<MPD>
<Period …>
<!-- First Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" optimalViewpoint=”0,0,0,0"/>
<SegmentTemplate media="seg_$Number$.m4s" startNumber="1" initialization ="seg_init.mp4"/>
<Representation id="1" ...>…  </Representation>
<Representation id="2" …> …  </Representation>
<!-- Second Panorama view (Pyramid Projection)-->
<AdaptationSet …>
<SupplementalProperty schemeldUri ="urn:mpeg:dash:VR:2016" optimalViewpoint=”0,180,0,0"/>
<SegmentTemplate media="seg2_$Number$.m4s" startNumber="1" initialization ="seg2_init.mp4"/>
<Representation id="3" ...>…  </Representation>
<Representation id="4" …> …  </Representation>
</AdaptationSet>
</MPD>
テーブル４ａ：ＳＲＤディスクリプタに基づく品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<AdaptationSet width=1920 height=1080>
<SupplementalProperty schemeIdUri="urn:mpeg:dash:VR:2016" 
<qualityRegion qRegId=”1” x=”0” y=”0” w=”1920” h=”540” />
<qualityRegion qRegId="2” x=”0” y=”540” w=”1920” h=”540" />
</SupplementalProperty>
<!-- First Panorama version -->
…
<Representation …> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=“1”  quality=“0” />
<qualityRegionDescription qRegId=”2” quality= “5” />
</SupplementalProperty>
…
</Representation>
<!-- Second Panorama version -->
…
<Representation …> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality =“5” />
<qualityRegionDescription qRegId=”2” quality=“0”/>
</SupplementalProperty>
…
</Representation>
<AdaptationSet>
テーブル４ｂ：ＳＲＤディスクリプタに基づく品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<!-- First Panorama version -->
…
<AdaptationSet …>
<SupplementalProperty schemeIdUri="urn:mpeg:dash:srd:2014" 
value="1, 0, 0, 0, 0, 1920, 1080"/>
<Representation …> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality=”0” /> 
<qualityRegionDescription qRegId=”2” quality =”5”/>
</SupplementalProperty>
…
</Representation>
<!-- Second Panorama version -->
…
<Representation …> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”1” quality=”5” /> 
<qualityRegionDescription qRegId =”2” quality =”0”/>
</SupplementalProperty>
…
</Representation>
</AdaptationSet>
…
<!-- First quality region-->
<AdaptationSet…> 
…
<EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" 
value="1, 0, 0, 1920, 540, 1920, 1080, 1"/>
…
</AdaptationSet>
<!-- Second quality region2-->
<AdaptationSet> 
…
< EssentialProperty schemeIdUri="urn:mpeg:dash:srd:2014" 
value="1, 0, 540, 1920, 540, 1920, 1080, 2"/>
…
</AdaptationSet>
<…>
テーブル４ｃ：品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<!-- First Panorama view 1-->
…
<Representation …> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” qualityRegionDescription=”0, 0, 0, 120, 90, r0, front”/>
…
</Representation>
…
<!-- Second Panorama view 2-->
<Representation> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0,Pyramidal,2” qualityRegionDescription=”180,0,0,120,90,r0,front”/>
…
</Representation>
<…>
テーブル５：品質ランク値に関連付けられた品質領域を指定する情報を有する疑似マニフェスト
<…>
<!-- Quality Region descriptions -->
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016">
<qualityRegion value=”0, 0, 0, 0, 120, 90”/>
<qualityRegion value=”1, 10, 0, 0, 120, 90”/>
<qualityRegion value=”2, 20, 0, 0, 120, 90”/>
<qualityRegion value=”3, 30, 0, 0, 120, 90”/>
<…>
<qualityRegion value=”n,320, 0, 0, 120,9 0”/>
</SupplementalProperty>
<…>
<!-- First Panorama view 1-->
<Representation> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”default” quality=”5” />
<qualityRegionDescription qRegId=”0” quality=”0”/>
</SupplementalProperty>
… 
</Representation>
<…>
<!-- Second Panorama view 2-->
<Representation> 
<SupplementalProperty schemeldUri="urn:mpeg:dash:VR:2016" panorama=”0, Pyramidal, 2” >
<qualityRegionDescription qRegId=”default” quality=”5” /> <qualityRegionDescription qRegId =”1” quality=”0”/>
</SupplementalProperty>
…
</Representation>
<…>
【図１】
2019524004.tif 000003
【図２】
2019524004.tif 000004
【図３ａ】
2019524004.tif 000005
【図３ｂ】
2019524004.tif 000006
【図４】
2019524004.tif 000007
【図５】
2019524004.tif 000008
【国際調査報告】
2019524004.tif 000009
2019524004.tif 000010
2019524004.tif 000011