(57)【要約】      （修正有）【課題】セグメントに分割されたマルチメディアコンテンツを受信し、仮想現実の３６０度体験可能なマニフェストの作成方法及び機器を提供する。【解決手段】ネットワーク機器Ｓは、メモリ３０１及び処理回路３００を含む。マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定する。各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義し、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義する。マニフェストには、全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点を定義し、各アダプテーションセットに奥行き情報を関連付ける。【選択図】図３
2018014710.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのリモートネットワーク機器（Ｓ）によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末（Ｔ）に与えられるマニフェストを作成する方法であって、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストにおいて、前記全体空間オブジェクト（Ｏ）に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点（４０４）と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を含む方法。
【請求項２】
前記マッピングのタイプは、
球形マッピングと、
円筒形マッピングと、
立方体マッピングと、
ピラミッド形マッピングと、
からなるマッピングの群に属する、請求項１に記載の方法。
【請求項３】
前記基準点（４０４）は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクト（４０１）の中心に対応する、請求項１から２のいずれか一項に記載の方法。
【請求項４】
前記マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標（θ１，θ２，φ１，φ２）を定義することを更に含む、請求項１から３のいずれか一項に記載の方法。
【請求項５】
少なくとも１つのリモートネットワーク機器（Ｓ）によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末（Ｔ）へ、１つのネットワーク機器（Ｓ）から送信されるように意図されたマニフェストであって、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、前記全体空間オブジェクト（Ｏ）に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点（４０４）と、各アダプテーションセットに関連付けられた奥行き情報と、を含む前記マニフェスト。
【請求項６】
前記基準点は、前記基準アダプテーションセットに関連付けられた前記空間オブジェクト（４０１）の中心に対応する、請求項５に記載のマニフェスト。
【請求項７】
前記マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標（θ１，θ２，φ１，φ２）を含む、請求項５又は６に記載のマニフェスト。
【請求項８】
セグメントに分割されたマルチメディアコンテンツをネットワーク機器から受信するように構成された要求側端末（Ｔ）に与えられるマニフェストを作成するネットワーク機器であって、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストにおいて、前記全体空間オブジェクト（Ｏ）に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点（４０４）と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を行うように構成された少なくとも１つのメモリ（３０１）及び少なくとも１つの処理回路（３００）を含むネットワーク機器。
【請求項９】
前記１つの処理回路（３００）は更に、前記マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標（θ１，θ２，φ１，φ２）を定義するように構成されている、請求項８に記載のネットワーク機器。
【請求項１０】
少なくとも１つのリモートネットワーク機器（Ｓ）によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末（Ｔ）によってマニフェストを受信する方法であって、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストは更に、前記全体空間オブジェクト（Ｏ）に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点（４０４）と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
方法。
【請求項１１】
少なくとも１つのリモートネットワーク機器（Ｓ）によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末であって、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記クライアント端末（Ｔ）は更に、前記マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しているマニフェストを受信するように構成されており、各アダプテーションセットは、前記マルチメディアコンテンツの空間オブジェクトを定義しており、前記アダプテーションセットの前記空間オブジェクトは、全体空間オブジェクトを定義しており、
前記マニフェストは更に、前記全体空間オブジェクト（Ｏ）に対する前記マルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点（４０４）と、を定義し、各アダプテーションセットに奥行き情報を関連付ける、
クライアント端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、限定ではなく例えば、ＨＴＴＰ（ハイパーテキスト転送プロトコル）による適応ストリーミング技術の分野に関し、詳しくは、ネットワーク機器の動作に関する。
【背景技術】
【０００２】
本セクションは、当該技術分野の様々な態様を読み手に紹介することを意図しており、これらは、後で説明及び／又は特許請求する本発明の様々な態様に関連すると考えられてよい。この説明は、本発明の様々な態様のよりよい理解を促進するための背景情報を読み手に提供することに役立つものと確信する。従って、当然のことながら、これらの記載は、この観点から読まれるべきであって、先行技術の容認として読まれるべきでない。
【０００３】
ＨＴＴＰを介する適応ストリーミング（マルチビットレートスイッチング又はＨＡＳとも呼ばれる）は、急速に、マルチメディアコンテンツ配信についての主要な技術になりつつある。既に使用されているＨＴＴＰ適応ストリーミングプロトコルの中でとりわけ有名なものは、アップル（登録商標）社によるＨＴＴＰ  Ｌｉｖｅ  Ｓｔｒｅａｍｉｎｇ（ＨＬＳ）、マイクロソフト（登録商標）社によるＳｉｌｖｅｒｌｉｇｈｔ（登録商標）  Ｓｍｏｏｔｈ  Ｓｔｒｅａｍｉｎｇ（ＳＳＳ）、アドビ（登録商標）社によるＡｄｏｂｅ  Ｄｙｎａｍｉｃ  Ｓｔｒｅａｍｉｎｇ  （ＡＤＳ）、３ＧＰＰによって開発されたＤｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ（ＤＡＳＨ）と、（ＩＳＯ／ＩＥＣ  ２３００９−１：２０１２として標準化された）ＭＰＥＧとである。
【０００４】
クライアント端末は、適応ストリーミングでのオーディオビジュアルコンテンツ（Ａ／Ｖコンテンツ）を再生したい場合、まず、このＡ／Ｖコンテンツがどのようにして得られるかを記述したファイルを取得する必要がある。これは、一般に、ＨＴＴＰプロトコルを介してＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）から記述ファイル、いわゆるマニフェスト（或いはＭＰＥＧ−ＤＡＳＨ用メディアプレゼンテーション記述（ＭＰＤ））を取得することによって行われるが、その他の手段（例えば、ブロードキャスト、電子メール、ＳＭＳなど）によっても実現できる。このマニフェストは、あらかじめ生成されており、リモートサーバによってクライアント端末に配信されるが、（コーディングビットレート、解像度などの特性に関しての）当該Ａ／Ｖコンテンツの利用可能なリプレゼンテーション（インスタンス又はバージョンとも呼ばれる）を基本的にリスト化している。１つのリプレゼンテーションは、所与の品質レベル（ビットレート）に関連付けられている。
【０００５】
各リプレゼンテーションのデータストリーム全体は、（別箇のＵＲＬによってアクセス可能な）等しい持続期間（例えば、数秒）のセグメント（チャンクとも呼ばれる）に分割されており、これらのセグメントは、クライアント端末が、ネットワーク状態に動的に適応するために、２つのセグメントの間である１つの品質レベルから別の品質レベルにスムーズに切り替えられるように作成されている。低帯域幅が利用可能であれば、クライアント端末は、低ビットレートのチャンクを要求し、より高い帯域幅が利用可能になれば、クライアント端末は、より高いビットレートのチャンクを要求してよい。その結果、ビデオ品質は、再生中に変動することもあるが、中断（フリーズとも呼ばれる）が起こることはほとんどない。
【０００６】
クライアント側において、セグメントは、伝送経路の利用可能な帯域幅の測定値に基づいて選択される。特に、クライアント端末は、通常、ビットレートエンコーディングに対応するセグメントのリプレゼンテーションを要求し、従って、測定された帯域幅に準拠した品質を要求する。
【０００７】
更に、ＭＰＥＧ  ＤＡＳＨ規格では、ＳＲＤにより、メディアプレゼンテーション作成者が空間オブジェクト間の空間的関係を表現することを可能にする。空間オブジェクトは、コンテンツコンポーネントの空間部分（例えば、関心領域、又はタイル）として定義され、アダプテーションセット又はサブリプレゼンテーションによって表現される。一例として、空間的関係により、（例えば、ズームを可能にするために）あるビデオが別のフルフレームビデオの空間部分を表すことを表現することができる。別の例として、ＳＲＤにより、大きなビューを、複数の小さなビューからなるグリッドに分割することを可能にしてよく、この場合、それぞれの小さなビューは実際のリプレゼンテーションである。
【０００８】
しかしながら、現行型のＭＰＥＧ−ＤＡＳＨ  ＳＲＤは、現時点では、仮想現実の３６０度体験を提供することに十分に適応しておらず、これは、全てのレイアウトがフラットビューのサブセットであるフラットモデルしかサポートしていないからである。
【発明の概要】
【０００９】
本発明は、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法に関し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記方法は、
マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を含む。
【００１０】
一態様では、マッピングのタイプは、
球形マッピングと、
円筒形マッピングと、
立方体マッピングと、
ピラミッド形マッピングと、
からなるマッピングの群に属してよい。
【００１１】
一態様では、基準点は、基準アダプテーションセットに関連付けられた空間オブジェクトの中心に対応してよい。
【００１２】
一態様では、各アダプテーションセットは、マルチメディアコンテンツを空間的に分割したグリッドのセルに関連付けられており、基準アダプテーションセットは、全体グリッドに関連付けられたアダプテーションセットに対応してよい。
【００１３】
一態様では、前記方法は更に、マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標を定義することを含んでよい。
【００１４】
一態様では、各アダプテーションセットに関連付けられた座標は、極座標に対応してよい。
【００１５】
本開示は、また、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末へ、１つのネットワーク機器から送信されるように意図されたマニフェストに関し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、各アダプテーションセットに関連付けられた奥行き情報と、を含んでよい。
【００１６】
一態様では、基準点は、基準アダプテーションセットに関連付けられた空間オブジェクトの中心に対応してよい。
【００１７】
一態様では、前記マニフェストは、マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標を含んでよい。
【００１８】
更に、本開示は、また、セグメントに分割されたマルチメディアコンテンツをネットワーク機器から受信するように構成された要求側端末に与えられるマニフェストを作成するネットワーク機器に関し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記ネットワーク機器は、
マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義することと、
各アダプテーションセットに奥行き情報を関連付けることと、
を行うように構成された少なくとも１つのメモリ及び少なくとも１つの処理回路を含んでよい。
【００１９】
一態様では、前記１つの処理回路は更に、前記マニフェストにおいて指定されている１つ又は複数のアダプテーションセットに関連付けられた座標を定義するように構成されてよい。
【００２０】
本開示は更に、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末によってマニフェストを受信する方法に依拠し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは更に、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付けてよい。
【００２１】
本開示は、また、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成されたクライアント端末に関し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記クライアント端末は更に、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しているマニフェストを受信するように構成されており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義している。前記マニフェストは更に、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義し、各アダプテーションセットに奥行き情報を関連付けてよい。
【００２２】
本開示は更に、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法を実施するコンピュータによって実行可能な命令プログラムを有形的に実施する、コンピュータ可読な、非過渡的プログラム記憶装置に関し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義しており、プログラムは、マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義することと、各アダプテーションセットに奥行き情報を関連付けることと、を含む。
【００２３】
本開示は、また、非過渡的コンピュータ可読媒体に記憶されて、少なくとも１つのリモートネットワーク機器によってセグメントに分割されて与えられるマルチメディアコンテンツを受信するように構成された要求側端末に与えられるマニフェストを作成する方法を実施するプロセッサによって実行可能なプログラムコード命令を含むコンピュータプログラム製品に依拠し、各セグメントは１つ又は複数のリプレゼンテーションで利用可能であり、前記マニフェストは、マルチメディアコンテンツの利用可能なリプレゼンテーションをリスト化し、且つ、複数のアダプテーションセットを指定しており、各アダプテーションセットは、マルチメディアコンテンツの空間オブジェクトを定義しており、アダプテーションセットの空間オブジェクトは、全体空間オブジェクトを定義しており、プログラムコード命令は、マニフェストにおいて、前記全体空間オブジェクトに対するマルチメディアコンテンツのマッピングのタイプと、前記アダプテーションセットのうちの１つの基準アダプテーションセットにおける基準点と、を定義することと、各アダプテーションセットに奥行き情報を関連付けることと、を含む。
【００２４】
本開示による方法は、プログラム可能な装置において、ソフトウェアの形で実施されてよい。本方法は、ハードウェアのみ、又はソフトウェアのみの形で実施されてよく、或いは、ハードウェアとソフトウェアの組み合わせの形で実施されてよい。
【００２５】
本開示の要素によって実施される幾つかのプロセスは、コンピュータにより実施されてよい。従って、そのような要素は、全面的にハードウェアの実施形態であってよく、又は全面的にソフトウェアの実施形態であってよく（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、或いは、ソフトウェア態様とハードウェア態様との組み合わせであって、本明細書では全体をまとめて「回路」、「モジュール」、又は「システム」と称している場合がある実施形態であってもよい。更に、そのような要素は、コンピュータで使用可能なプログラムコードが媒体内に実施されている任意の有形表現媒体の形で実施されたコンピュータプログラム製品の形態であってもよい。
【００２６】
本開示の要素をソフトウェアの形態で実施することができるので、本開示は、プログラム可能な装置に与えられるコンピュータ可読なコードとして、任意の適切な搬送媒体上で実施されてよい。有形の搬送媒体として、フロッピーディスク、ＣＤ−ＲＯＭ、ハードディスクドライブ、磁気テープ装置、ソリッドステートメモリ装置などのような記憶媒体があってもよい。
【００２７】
従って、本開示は、マニフェストを作成する方法をコンピュータが実施することを可能にする、コンピュータで実行可能な命令を含むコンピュータ可読なプログラムを提供する。
【００２８】
以下、本開示の実施形態の範囲に相応する特定の態様を説明する。これらの態様は、単に、本開示がとりうる特定の形態の要約を読者に提供するために提示するものであること、また、これらの態様は、本開示の範囲を限定することを意図したものではないことを理解されたい。実際、本開示は、以下で説明されない場合がある様々な態様を包含してよい。
【００２９】
以下の添付図面を参照する、以下の限定的ではない実施形態及び実行例により、本発明の理解及び例示がよりよく行われるであろう。
【図面の簡単な説明】
【００３０】
【図１】幾つかの実施形態で使用されるクライアント−サーバネットワークの概略図を示す。
【図２】幾つかの実施形態で使用されるクライアント端末の一実施例のブロック図を示す。
【図３】幾つかの実施形態で使用されるネットワーク機器の一実施例のブロック図を示す。
【図４】仮想現実コンテンツに関連付けられた幾つかのアダプテーションセットを示す。
【図５】幾つかの実施形態による、マニフェストを構築する方法を示すフローチャートを示す。
【図６】微分面積ビューを部分立体角で示す。
【図７】図４で記載された１つのアダプテーションセットに関連付けられた極座標を示す。
【発明を実施するための形態】
【００３１】
可能な限り、全図面を通して、同じか同等の要素を参照する際には、同じ参照番号を用いる。
【００３２】
以下の説明は、本開示の原理を例示する。従って、当然のことながら、当業者であれば、本明細書で明示的に説明又は図示されていなくても、本開示の原理を実施し、本開示の範囲に包含される様々な構成を考案することが可能であろう。
【００３３】
本明細書に記載の全ての実施例及び条件付き文言は、本開示の原理、及び本願発明者によって当該技術分野の推進に寄与する概念を読み手が理解することを支援する啓蒙的目的を意図しており、そのような具体的に記載された実施例及び条件に限定されないものと解釈されるべきである。
【００３４】
更に、本開示の原理、態様、及び実施形態、並びにこれらのものの具体例を記載する、本明細書における全ての文言は、これらのものの構造的等価物及び機能的等価物の両方を包含することを意図している。更に、そのような等価物は、現在知られている等価物、並びに、将来開発される等価物、即ち、構造に関係なく同じ機能を実施する任意の開発される要素の両方を包含することを意図している。
【００３５】
従って、例えば、当業者であれば理解されるように、本明細書において提示されるブロック図は、本開示の原理を実施する例示的回路の概念図を表す。同様に、当然のことながら、どのフローチャート、フロー図、状態遷移図、疑似コードなども、実質的にコンピュータ可読媒体で表現されることが可能であり、従って、コンピュータ又はプロセッサで実行されることが、そのようなコンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、可能である様々なプロセスを表す。
【００３６】
図示された様々な要素の機能は、専用ハードウェア、並びに、適切なソフトウェアと関連してソフトウェアを実行することが可能なハードウェアの使用によって実現されてよい。これらの機能は、プロセッサで実現される場合は、単一の専用プロセッサで、又は単一の共用プロセッサで、又は複数の個別プロセッサ（このうちの幾つかは共用されてよい）で実現されてよい。更に、「プロセッサ」又は「コントローラ」という用語の明示的使用は、ソフトウェアを実行することが可能なハードウェアだけを指すものと解釈されるべきではなく、限定ではなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶する読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗黙的に包含してよい。
【００３７】
本明細書の特許請求の範囲においては、指定された機能を実施する手段及び／又はモジュールとして表現されている要素は全て、例えば、ａ）その機能を実施する、複数の回路要素の組み合わせ、又は、ｂ）任意の形態の、従って、ファームウェア、マイクロコードなどを含むソフトウェアであって、その機能を実施するそのソフトウェアを実行する適切な回路と組み合わされたソフトウェアを含む、その機能を実施する任意の方法を包含することを意図している。そのような特許請求の範囲によって定義される本開示は、記載された様々な手段によって実現される機能性が、特許請求の範囲が要求する様式で組み合わされ、まとめられているという事実に存在する。従って、それらの機能性を実現しうる手段は全て、本明細書において示されている手段と等価であると見なされる。
【００３８】
更に、当然のことながら、本開示の図面及び説明は単純化されており、本開示の明確な理解のために関係のある構成要素を例示する一方で、明瞭さの目的のために、代表的なデジタルマルチメディアコンテンツの配信方法、装置、及びシステムに存在する多数のその他の構成要素を省いていることを理解されたい。しかしながら、そのような要素は当該技術分野においてはよく知られているので、そのような要素の詳細な説明は、本明細書では省略されている。本開示は、本明細書では、当業者には知られているそのような変形形態及び修正形態を全て対象とする。
【００３９】
以下では、各図面は、ＨＴＴＰ適応ストリーミングプロトコル（すなわち、ＨＡＳ）に関して、特に、ＭＰＥＧ−ＤＡＳＨに関して記載される。当然、本開示は、このような特定の環境には限定されず、その他の適応ストリーミングプロトコルももちろん検討でき、実施できる。
【００４０】
図１に示されるように、本開示の幾つかの実施形態において実施される、クライアント−サーバ・ネットワークアーキテクチャは、１つ又は複数のネットワークＮ（図面では１つだけが表されている）によってサポートされており、１つ又は複数のクライアント端末Ｃと１つ又は複数のＨＴＴＰサーバＳとを含む。ＤＡＳＨに準じると、このようなサーバＳは、メディアオリジン（Ｍｅｄｉａ  Ｏｒｉｇｉｎ）とも呼ばれる。これらは、いわゆる、マニフェストを生成することができる。サーバＳは、コンテンツ配信のソースであり、すなわち、マルチメディアコンテンツは、ある外部エンティティから由来して、メディアオリジンにおいてＨＡＳフォーマットに変換されることがある。
【００４１】
クライアント端末Ｃは、ＨＴＴＰサーバＳＥの１つからマルチメディアコンテンツを取得しようとする。当該マルチメディアコンテンツは、複数のセグメント（チャンクとも呼ばれる）に分割されている。なお、当該マルチメディアコンテンツは、１つのサーバＳにおいて、様々なリプレゼンテーションで入手できると仮定する。ＨＴＴＰサーバＳは、ＨＴＴＰ適応ストリーミングプロトコルを使用して、クライアント要求に応じて、１つ又は複数のＴＣＰ／ＩＰ接続を介して、セグメントをクライアント端末Ｃにストリーミングすることができる。
【００４２】
図２に示されるように、クライアント端末Ｃには
−ネットワークＮに対する接続インタフェース２００（有線及び／又は無線の、例えば、Ｗｉ−Ｆｉ（登録商標）、ＡＤＳＬ、ケーブル、モバイル、及び／又はブロードキャスト（例えば、ＤＶＢ、ＡＴＳＣ）インタフェース）と、
−ＨＴＴＰサーバＳＥと通信するプロトコルスタックを備えた通信モジュール２０１（具体的には、この通信モジュール２０１は、ＴＣＰ／ＩＰスタックを備えている。もちろん、通信モジュール２０１は、クライアント端末ＣがＨＴＴＰサーバＳと通信することを可能にするその他の任意のタイプのネットワーク手段及び／又は通信手段であってもよい。）と、
−ＨＴＴＰサーバＳからＨＴＴＰストリーミングマルチメディアコンテンツを受信することが可能な適応ストリーミングモジュール２０２（これは、ネットワークの制約条件と自己の制約条件とによりよく適合するビットレートでセグメントを連続的に選択する。）と、
−マルチメディアコンテンツを復号してレンダリングするように適合されたビデオプレーヤ２０３と、
−クライアント端末Ｃの不揮発性メモリに記憶されたアプリケーション及びプログラムを実行する１つ又は複数のプロセッサ２０４と、
−ＨＴＴＰサーバＳＥから受信されたセグメントがビデオプレーヤ２０３に送られる前に当該セグメントをバッファリングする、例えば揮発性メモリのような記憶手段２０５と、
−各種モジュールと、一般的なクライアント端末の機能を実施する、当業者に周知の全ての手段とを接続する内部バス２０６と、
が備えられている。
【００４３】
クライアント端末は、ポータブルメディア機器、携帯電話、タブレット又はラップトップ、テレビ、セットトップボックス、ゲーム機器、又は集積回路であってもよい。当然、クライアント端末Ｃは、完全なビデオプレーヤを備えていなくてもよく、幾つかのサブ要素（従属構成要素）、例えば、メディアコンテンツを多重分離して復号するものだけを備えていればよく、復号したコンテンツをエンドユーザに対して表示する外部手段に依拠してもよい。この場合、クライアント端末Ｃは、ＨＡＳ（ＨＴＴＰ適応ストリーミング）対応のビデオデコーダ、例えば、セットトップボックスである。
【００４４】
図３は、図１に示されたサーバＳの一例の概略ブロック図である。サーバＳは、処理回路３００と、メモリ３０１と、通信インタフェースＩ／Ｏ３０２と、通信バス３０３と、を含んでよい。
【００４５】
処理回路３００は、命令を実行し、データを処理することが可能な電子コンポーネントであってもよい。処理回路３００は、１つ又は複数の処理装置（ＣＰＵ）を含んでよい。処理回路３００は、サーバＳの様々な信号処理機能及び制御機能を実施するように動作してよいか構成されてよい。また、処理回路３００は、ユーザの要求を検出及び処理してよく、自身の動作を制御してよく、且つ／又は、サーバＳの他の要素（図３に示されていない要素を含む）をそのようなユーザ要求に応じて制御する制御信号を出力してよい。処理回路３００は、また、本明細書に記載の方法の原理を実施するソフトウェアコードを含むソフトウェアコードを実行するように動作してよいか構成されてよい。処理回路３００は、メモリ３０１に記憶されている様々なソフトウェアプログラム及び／又は命令セットを実行することにより、サーバＳの様々な機能を実施し、データを処理してよい。
【００４６】
図３のサーバＳは更に、マニフェストを作成し、そのマニフェストを、ネットワークＮを通して、マルチメディアコンテンツを要求しているクライアント端末Ｃに配信するように適合されている。マニフェストは、ＳＲＤ（Ｓｐａｔｉａｌ  Ｒｅｌａｔｉｏｎｓｈｉｐ  Ｄｅｓｃｒｉｐｔｉｏｎ）情報を含んでよい。
【００４７】
図４に示されるように、ＳＲＤ情報により、空間矩形オブジェクトＯを、複数の小さな空間オブジェクトからなるグリッド４００に分割することができ、グリッド４００の各セル４０１、４０２、４０３は、空間オブジェクト（即ち、全体空間オブジェクトＯのうちの一部）に対応している。（同じコンテンツの様々なリプレゼンテーションに対応する）幾つかのビデオが、グリッド４００の各セル４０１、４０２、４０３に関連付けられて、アダプテーションセットを形成することができる。ＳＲＤは、グリッド４００とそのセル４０１、４０２、４０３のそれぞれとをマニフェストＭＰＤに記述するシンタックスを定義する。この目的のために、１つのセル４０１、４０２、４０３を定義する各アダプテーションセットは、ソースＩＤ（同じグリッドに属する全てのセルが同じソースＩＤを有する）と、セルの左上隅の座標と、セル４０１、４０２、４０３の高さ及び幅と、任意選択で、グリッド４００全体の高さ及び幅と、を定義する追加特性を含んでよい。高さ及び幅は、比率を示すために使用されるだけなので任意の単位（例えば、画素数）で表されてよい。なお、アダプテーションセットは、グリッド４００の幾つかのセル４０１（例えば、４つのセル４０１を含むセル４０３）に関連付けられてよく、グリッド４００のセル同士は、必ずしも寸法が同じではない（例えば、図４に示されたセル４０１とセル４０２）。
【００４８】
図４の例では、２７個のアダプテーションセットが記載されており、それらは、グリッド４００に関連付けられた１つのメインアダプテーションセットと、小さなセル４０１に関連付けられた２４個のアダプテーションセットと、大きなセル４０２に関連付けられた１つのアダプテーションセットと、（４つの小さなセル４０１を含む）セル４０３に関連付けられた１つのアダプテーションセットと、である。
【００４９】
一実施形態では、仮想現実マルチメディアコンテンツのＳＲＤ情報を使用するために、サーバＳが、図５に示される方法５００に従ってマニフェストを構築するように構成されてよい。具体的には、サーバＳは、
−視聴者の周囲にレンダリングされる仮想現実（ＶＲ）コンテンツ（没入型コンテンツとも呼ばれる）（即ち、視聴者が、画像全体を見ることができず、画像のうちの、視野から外れている部分を見るためには頭を回転させる（或いは、動かす）必要があるＶＲコンテンツ）にどのマッピング（球形、円筒形、立方体、ピラミッド形）を使用するかを定義すること（ステップ５０１）と、
−全体空間オブジェクトＯの中の中心点（ＶＲオリジンとも呼ばれる）４０４を定義すること（ステップ５０２）（以降のステップで使用される全ての角度値は、この中心点４０４が基準になる。）と、
−ユーザが視点を変えたときに、クライアント端末ＣのＭＰＥＧ−ＤＡＳＨ  ＳＲＤプレーヤが、グリッド４００の各セル４０１、４０２、４０３に対する角度情報を計算して、適切なビデオを選択して取り出すことができるように、少なくともセル４０１、４０２、４０３に角度情報を関連付けること（ステップ５０３）と
が実行できる。
【００５０】
ＶＲマッピングを定義するために、ステップ５０１において、新しい情報（例えば「vrtype」などと呼ばれる追加特性又は必須特性）を、（例えば、処理装置３００により）全体空間オブジェクトＯに関連付けられたメインアダプテーションセットのマニフェストに導入してよい。なお、ＭＰＥＧ−ＤＡＳＨ規格では、空のアダプテーションセットを、例えば、全体空間オブジェクトＯを完全にカバーするビデオがない場合に定義することができる。従って、ＶＲマッピングを指定するためには、全体空間オブジェクトＯに関連付けられたアダプテーションセットが存在してよい（そしてこれは、場合によっては空とすること、即ち、関連付けられたビデオがなくてもよい）。ＭＰＤシンタックスによれば、追加特性又は必須特性は、ｕｒｎ（ユニフォームリソース名）（例えば、urn:mpeg:dash:vrtype:2016）によって識別されてよく、その値は、ＶＲマッピング（例えば、「球形」、「円筒形」、又は「立方体」）を含む文字列であってもよい。
【００５１】
一変形形態では、メインアダプテーションセットとは別のアダプテーションセットのマニフェストに追加特性（「vrtype」）を導入してよい。
【００５２】
更に、初期視点を持ち、全ての角度位置の計算の基準となるオリジン軸を定義すべく、ステップ５０２において、新しい情報（例えば「vrcenter」又は「vrorigin」などと呼ばれる追加特性又は必須特性）を、（例えば、処理装置３００により）中心点４０４を含むアダプテーションセットのマニフェストに導入してよい。中心点の位置は、例えば、中心点がある当該グリッドセルの左上隅からの画素数で与えられてよい。中心点は、アダプテーションセットに関連付けられたセル４０１、４０２、４０３の中心であってもよい。
【００５３】
そのような追加特性又は必須特性は、ｕｒｎ（例えば、urn:mpeg:dash:vrorigin:2016）と、ｘ座標及びｙ座標を画素数で含む値とによって定義されてよい。
【００５４】
図４の限定的ではなく例示的な例に示されるように、グリッド４００の小さなセル４０１が６４０×４８０画素のビデオを含み、ＶＲオリジン値は、（３２０，２４０）であり、ＳＲＤ値（０，３，１，１，１，７，４）を有するアダプテーションセットに関連付けられている。
【００５５】
一変形形態では、中心点の追加特性は、全体空間オブジェクトに関連付けられたアダプテーションセットに対して設定されてよい。そのような変形形態は、ＭＰＤオーサリングの時点でより多くの計算を必要とする可能性があり、これは、中心点４０４と全体空間オブジェクトＯの左上隅との間の全てのセル４０１、４０２、４０３の幅及び奥行きを合計する必要があるからである。
【００５６】
更に、クライアント端末ＣのＤＡＳＨプレーヤは、ユーザの視点（例えば、図６に示された（微分面積とも呼ばれる）部分立体角ｄＡを画定する極座標（θ，φ）によって与えられる、ユーザの視点）とアダプテーションセットとの間の対応関係を有するように、１つ又は複数のアダプテーションセット（全てのグリッドセル４０１、４０２、４０３）に関する極座標情報が与えられてよい。
【００５７】
具体的には、（メインアダプテーションセットに関連付けられた）全体空間オブジェクトＯに対する極座標が、ユーザ視点の変化の可能な限界についてクライアント端末ＣのＤＡＳＨプレーヤに知らせるので妥当である。図７に示されるように、全体空間オブジェクトによってカバーされる微分面積７００の上下左右の境界が、４つの角度θ１、θ２、φ１、及びφ２によって与えられる。なお、球形マッピングについては、全体空間（ＶＲ３６０とも呼ばれる）は、θ１＝θ２、且つφ１＝φ２＋π（単位はラジアン）の場合に取得される。
【００５８】
極座標情報を与えるために、ステップ５０３において、新しい情報（例えば、「vrcoordinates」などと呼ばれる追加特性又は必須特性）を、（例えば、処理装置３００により）θ１、θ２、φ１、及びφ２の情報を含み得るアダプテーションセットのマニフェストＭＰＤに導入してよい。例えば、追加特性又は必須特性は、ｕｒｎ（urn:mpeg:dash:vrcoordinates:2016）と値「θ１，θ２，φ１，φ２」とで識別されてよく、この場合、角度は、例えば、度を単位として表され、θ１は、ＶＲオリジン４０４と微分面積７００の左辺との間の角度であり、θ２は、ＶＲオリジン４０４と微分面積７００の右辺との間の角度であり、φ１は、ＶＲオリジン４０４と微分面積７００の上辺との間の角度であり、φ２は、ＶＲオリジン４０４と微分面積７００の下辺との間の角度である。
【００５９】
図４の例に示されるように、全体空間オブジェクトＯに関連付けられたメインアダプテーションセットの座標情報は、「−１８０，１８０，９０，−９０」である。
【００６０】
（セル４０１、４０２、４０３で表される）他の全てのアダプテーションセットのサイズ及び位置を用いて、他の全てのアダプテーションセットについてのＶＲ座標情報を計算することができるので、球形マッピング及び円筒形マッピングの両方において、ＶＲ座標追加情報は、（グリッド４００に関連付けられた）メインアダプテーションセットについてのみ与えられてもよい。しかしながら、サーバＳは、メインアダプテーションセットだけでなく、全てのアダプテーションセットについてのＶＲ座標情報を与えるように構成されてよい。
【００６１】
立方体マッピングにおいては、当該立方体の面に関連付けられたアダプテーションセットに対して、ＶＲ座標情報が存在しなければならない。立方体の面を完全にカバーするビデオがない場合（例えば、面が４つのビデオでカバーされている場合）は、その面のＶＲ座標情報を保持するために、立方体の全面に関連付けられた空のアダプテーションセットを作成しなければならない。
【００６２】
各微分面積に角度情報（極座標のθ及びφ）を与えることにより、ＤＡＳＨクライアント端末Ｃは、ユーザの立体角の視点がどのようであるかに応じて、どのＤＡＳＨリプレゼンテーションを取り出す必要があるかを決定することができる。
【００６３】
本開示は、追加情報のvrtype、vrcenter、及びvrcoordinatesを追加することにより、ＶＲ３６０コンテンツをＳＲＤアプリケーションとして表現することを可能にする。奥行き情報をアダプテーションセットに関連付けることにより、ＶＲ３６０コンテンツの前面にビデオをレンダリングさせて、第１のレベルの３Ｄ体験を提供することも可能になる。
【００６４】
メインアダプテーションセットが微分面積７００全体を表現している場合は、微分面積７００の背後にオブジェクトをレンダリングすることはできない（可視オブジェクトが、ユーザの目（図７の球７０１の中心７０２にあると仮定している）と背景（例えば、球７０１の内側面に相当する）との間に配置されている）。可視オブジェクト（図示せず）の奥行きを表現するために、オブジェクトが目とＶＲ３６０背景ビデオとの間でそれらからどれだけ離れて配置されているかを示すパーセント値を使用してよい。例えば、１０％という値は、オブジェクトの位置が背景に非常に近いことを表すことが可能であり、９０％という値は、オブジェクトの位置が目７０２に非常に近いことを表すことが可能である。
【００６５】
この目的のために、ステップ５０４において、新しい情報（例えば、「vrdepth」などと呼ばれる追加特性又は必須特性）を、（例えば、処理装置３００により）１つ又は複数のアダプテーションセットのマニフェストに導入し、それらのアダプテーションセットに関連付けてよい。例えば、追加特性又は必須特性は、ｕｒｎ（urn:mpeg:dash:vrdepth:2016）で識別されてよく、その値は、オブジェクトの近さのパーセンテージを示す数値である（例えば、「１０」）。
【００６６】
なお、ＶＲ３６０背景のアダプテーションセット部分については、ＶＲ奥行き値は「０」であってよく、表示されなくてよい。ＭＰＤでは、ＶＲ奥行き情報の非ゼロ値のみ定義可能である。
【００６７】
更に、ＤＡＳＨクライアント端末ＣがＶＲ奥行き情報をサポートしていない場合に個々のオブジェクトが表示されることをコンテンツ作成者が望まない場合は、追加特性機構ではなく必須特定機能が使用されてよい。
【００６８】
クライアント端末ＣがＶＲコンテンツを要求すると、サーバＳは、ただちに、方法５００に従ってマニフェストを構築することができ、前記マニフェストは、例えば、追加情報である「vrtype」、「vrorigin」、「vrcoordinates」、及び「vrdepth」を含む。前記マニフェストは、サーバＳによって生成されると、更に、ネットワークＮを通して、要求側のクライアント端末Ｃに向けて送信される。
【００６９】
本開示は、ＳＲＤをサポートしているＤＡＳＨクライアント端末が、マニフェストＭＰＤに追加された追加特性情報を用いてＶＲ３６０体験を提供することを可能にする。更に、互換ＤＡＳＨクライアントも、ＶＲ３６０コンテンツを様々な奥行きで示すことが可能であってもよい。実際、ＳＲＤ空間オブジェクト（ＤＡＳＨリプレゼンテーション）に奥行き情報を付加することにより、これは、背景の４π（又は４πのサブセット）のビデオの前に３Ｄビデオを配置することを可能にする。言い換えると、これは、「ＶＲ３６０」又は全方向のビデオ体験をするだけでなく、それのよりよい３Ｄ体験をすることも可能にする。
【００７０】
そして、ＭＰＥＧ−ＤＡＳＨ  ＳＲＤを使用して、全体空間の４π立体角をビデオ（ＤＡＳＨリプレゼンテーション）のグリッドに編成することにより、全方向ビデオを記述することができる。従ってＤＡＳＨクライアントは、例えば、ユーザが現在見ているものについてはフル品質のリプレゼンテーションを取り出し、現時点でユーザの視界から外れているコンテンツについては低品質のリプレゼンテーションを取り出すことになるが、ユーザが３Ｄ空間内で突然視点を変更した場合には、その、ユーザの視界から外れていたコンテンツが急速にユーザの視界に入ってくる可能性がある。
【００７１】
本開示は、ＳＲＤに加えて、全体４π空間を、全体空間をカバーする、適正に配置された部分立体角のグリッドに、相互運用可能に分割することを可能にする追加情報を導入する。更に、全体空間のうちの部分立体角だけを記述することができる。この場合、全体ＳＲＤ「グリッド」は、球のうちの、部分立体角から見える部分を記述するだけである。
【００７２】
レガシークライアントとの互換性を保持するために、マニフェストは、SupplementalProperty（追加特性）及びEssentialProperty（必須特性）を使用して、EssentialProperty（必須特性）を含む要素を破棄した後に少なくとも１つのリプレゼンテーションがレガシークライアントで解釈可能であるようにしてもよい。
【００７３】
本明細書、特許請求の範囲、及び図面において開示されている参照は、独立に与えられてよく、或いは、任意の適切な組み合わせで与えられてよい。各特徴は、適宜、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアの組み合わせの形で実施されてよい。
【００７４】
本明細書における「一実施形態（one embodiment）」又は「一実施形態（an embodiment）」への参照は、この実施形態に関連して説明された具体的な特徴、構造、又は特性が、記載の方法及び機器の少なくとも１つの実施態様に包含されてよいことを意味する。本明細書の様々な場所での「一実施形態では（in one embodiment）」という語句の出現は、必ずしも全てが同じ実施形態を参照しているわけではなく、独立した実施形態又は代替実施形態は、必ずしも他の実施形態と相互に排他的ではない。
【００７５】
特許請求項中に現れる参照符号は、あくまで例示のためであって、特許請求の範囲に対する限定の効果を有するものではない。
【００７６】
本明細書では本開示の特定の実施形態のみを説明してきたが、当業者であれば理解されるように、本開示の他の修正形態、変形形態、及び可能な形態が可能である。従って、そのような修正形態、変形形態、及び可能な形態は、本開示の範囲に収まるものであり、従って、本明細書において説明及び／又は例示されたように本開示の一部を成すものであると見なされるべきである。
【００７７】
図面におけるフローチャート及び／又はブロック図は、本開示の様々な実施形態によるシステム、方法、及びコンピュータプログラム製品の可能な実施態様の構成、動作、及び機能性を示す。この点において、フローチャート又はブロック図の各ブロックは、コードのモジュール、セグメント、又は部分を表すものであってよく、これは、指定された論理機能を実施する１つ又は複数の実行可能命令を含む。また、代替実施態様によっては、ブロック内に記されている各機能は、図面に記されている順序から外れて実施されてよい。例えば、連続して表示されている２つのブロックが、実際には、ほぼ同時に実行されてよく、場合によっては、必要とされる機能性に応じて、これらのブロックが逆の順序で実行されてよく、或いは、別の順序で実行されてよい。また、ブロック図及び／又はフローチャート図の各ブロック、並びに、ブロック図及び／又はフローチャート図のブロック同士の組み合わせは、指定された機能又は動作を実施する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組み合わせによって実施されてよい。明示的には述べていないが、本実施形態同士は、任意の組み合わせ又は副組み合わせで用いられてよい。
【図１】
2018014710.tif 000003
【図２】
2018014710.tif 000004
【図３】
2018014710.tif 000005
【図４】
2018014710.tif 000006
【図５】
2018014710.tif 000007
【図６】
2018014710.tif 000008
【図７】
2018014710.tif 000009
【外国語明細書】
2018014710000001.pdf