(57)【要約】【課題】３６０°ビデオ受信装置により行われる３６０°ビデオデータ処理方法を提供する。【解決手段】３６０°ビデオデータに関する情報を受信する段階、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得る段階、符号化されたピクチャに関する情報に基づいて前記符号化されたピクチャを復号する段階、及びメタデータに基づいて前記復号されたピクチャをレンダリングする段階を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含む。【選択図】図２１
2021506189.tif 000002
【特許請求の範囲】
【請求項１】
３６０°ビデオ受信装置により行われる３６０°ビデオデータ処理方法が提供される。この方法は、３６０°ビデオデータに関する情報を受信する段階、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得る段階、符号化されたピクチャに関する情報に基づいて前記符号化されたピクチャを復号する段階、及びメタデータに基づいて前記復号されたピクチャをレンダリングする段階を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含むことを特徴とする。
【請求項２】
前記グループグローバル座標系の回転構造情報は、前記グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の前記共通参照座標系に対するヨー(ｙａｗ)回転角度(ｒｏｔａｔｉｏｎ ａｎｇｌｅ)、ピッチ(ｐｉｔｃｈ)回転角度及びロール(ｒｏｌｌ)回転角度に関する情報を含むことを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項３】
前記メタデータは、前記共通参照座標系に関する情報が存在するか否かを示す共通参照座標系情報フラグを含み、
前記共通参照座標系情報フラグの値が１である場合、前記グループグローバル座標系の回転構造情報が前記メタデータに含まれることを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項４】
前記ビューポイントグループを含まれた前記複数のビューポイントは、前記共通参照座標系を共有(ｓｈａｒｅ)することを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項５】
前記複数のビューポイントのうち、第１ビューポイントと第２ビューポイントのビューポイントＩＤが互いに異なる場合、前記第１ビューポイントに対する共通参照座標系と前記第２ビューポイントに対する共通参照座標系は互いに異なることを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項６】
前記メタデータは、ビューポイントに対する視聴方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)の構造に関する情報を示す視聴方向構造情報を含むことを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項７】
前記視聴方向構造情報は、関心オブジェクト(ｏｂｊｅｃｔ)の中心(ｃｅｎｔｅｒ)位置に関する情報を含むことを特徴とする請求項６に記載の３６０°ビデオデータ処理方法。
【請求項８】
前記関心オブジェクトの中心位置に関する情報は、前記関心オブジェクトの中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含むことを特徴とする請求項７に記載の３６０°ビデオデータ処理方法。
【請求項９】
前記視聴方向構造情報は、前記視聴方向の中心位置に関する情報を含むことを特徴とする請求項６に記載の３６０°ビデオデータ処理方法。
【請求項１０】
前記視聴方向の中心位置に関する情報は、前記視聴方向の中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含むことを特徴とする請求項９に記載の３６０°ビデオデータ処理方法。
【請求項１１】
前記視聴方向構造情報は、前記関心オブジェクトの中心に対するＧＰＳ位置情報が存在するか否かを示すＧＰＳ位置存在フラグを含むことを特徴とする請求項７に記載の３６０°ビデオデータ処理方法。
【請求項１２】
前記視聴方向構造情報は、再生される又は再生を推薦する球面又は３次元空間を示す視聴方向ボリュームの存在有無を指示するボリューム存在フラグを含むことを特徴とする請求項６に記載の３６０°ビデオデータ処理方法。
【請求項１３】
前記３６０°ビデオ受信装置は、移動端末、ネットワーク及び自律走行車両のうちのいずれか一つと通信することを特徴とする請求項１に記載の３６０°ビデオデータ処理方法。
【請求項１４】
３６０°ビデオ送信装置により行われる３６０°ビデオデータ処理方法において、
少なくとも一つのカメラによりキャプチャーされた３６０°ビデオデータを得る段階、
前記３６０°ビデオデータを処理して全方向イメージ(ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｉｍａｇｅ)を含む２次元(ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ)ピクチャを導き出す段階、
前記３６０°ビデオデータに関するメタデータを生成する段階、
前記２次元ピクチャに関する情報を符号化する段階、及び
前記２次元ピクチャに関する情報及び前記メタデータに基づいてカプセル化(ｅｎｃａｐｓｕｌａｔｉｏｎ)を行う段階を含み、
前記メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含むことを特徴とする、３６０°ビデオデータ処理方法。
【請求項１５】
３６０°ビデオデータを処理する３６０°ビデオ受信装置において、
３６０°ビデオデータに関する情報を受信する受信部、
前記３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得るカプセル除去処理部、
前記符号化されたピクチャに関する情報に基づいてピクチャを復号するデータ復号器、及び
前記メタデータに基づいて前記復号されたピクチャをレンダリングするレンダラーを含み、
前記メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含むことを特徴とする、３６０°ビデオビデオ受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３６０°ビデオデータ(３６０−ｄｅｇｒｅｅ ｖｉｄｅｏ ｄａｔａ)に関するメタデータに関し、より詳しくは、動的ビューポイントの座標系(ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｏｆ ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ)に関するメタデータを送受信する方法及びその装置に関する。
【背景技術】
【０００２】
ＶＲ(Ｖｉｒｔｕａｌｌ Ｒｅａｌｉｔｙ)システムは、ユーザに電子的に投影された環境内にいるような感覚を提供する。ＡＲ(Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、ＡＲ)システムは、現実のイメージや背景に３次元の仮想イメージを重畳して、ユーザに仮想と現実が入り混じた環境内にいるような感覚を提供する。ＶＲ又はＡＲを提供するためのシステムは、より高画質のイメージと空間的な音響を提供するために改善が必要である。ＶＲ又はＡＲシステムはユーザがインタラクティブにＶＲ又はＡＲコンテンツを消費できるようにする。
【０００３】
ＶＲ又はＡＲコンテンツの需要が増加しつつあることから、ＶＲ又はＡＲコンテンツ内の複数のビューポイント(ｍｕｌｔｉｐｌｅ−ｖｉｅｗｐｏｉｎｔｓ)に関する情報をより具体的にシグナリングする方法を考える必要性も増加している。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の技術的課題は、３６０°ビデオデータを処理する方法及び装置を提供することにある。
【０００５】
本発明の他の技術的課題は、３６０°ビデオデータに関するメタデータを送信又は受信する方法及び装置を提供することにある。
【０００６】
本発明のさらに他の技術的課題は、動的ビューポイント(ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ)の座標系に関するメタデータを送信又は受信する方法及び装置を提供することにある。
【０００７】
本発明のさらに他の技術的課題は、動的ビューポイントの共通参照座標系(ｃｏｍｍｏｎ ｒｅｆｅｒｅｎｃｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)とグローバル座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)の間の相対的回転角度の変化有無を示す動的グローバル座標系回転フラグ(ｄｙｎａｍｉｃ ｇｌｏａｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｆｌａｇ)を送信又は受信する方法及び装置を提供することにある。
【０００８】
本発明のさらに他の技術的課題は、複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的な回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を送信又は受信する方法及び装置を提供することにある。
【課題を解決するための手段】
【０００９】
本発明の一実施例によれば、３６０°ビデオ受信装置により行われる３６０°ビデオデータ処理方法が提供される。この方法は、３６０°ビデオデータに関する情報を受信する段階、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得る段階、符号化されたピクチャに関する情報に基づいて前記符号化されたピクチャを復号する段階、及びメタデータに基づいて前記復号されたピクチャをレンダリングする段階を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含むことを特徴とする。
【００１０】
本発明の他の一実施例によれば、３６０°ビデオデータを処理する３６０°ビデオ受信装置が提供される。３６０°ビデオ受信装置は、３６０°ビデオデータに関する情報を受信する受信部、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得るカプセル除去処理部、符号化されたピクチャに関する情報に基づいてピクチャを復号するデータ復号器、及びメタデータに基づいて前記復号されたピクチャをレンダリングするレンダラーを含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含むことを特徴とする。
【００１１】
本発明のさらに他の一実施例によれば、３６０°ビデオ送信装置により行われる３６０°ビデオデータ処理方法が提供される。この方法は、３６０°ビデオデータを得る段階、３６０°ビデオデータを処理して全方向イメージ(ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｉｍａｇｅ)を含む２次元(ｔｗｏ−ｄｉｍｅｎｓｉｏｎａｌ)ピクチャを導き出す段階、３６０°ビデオデータに関するメタデータを生成する段階、２次元ピクチャに関する情報を符号化する段階、及び２次元ピクチャに関する情報及びメタデータに基づいてカプセル化(ｅｎｃａｐｓｕｌａｔｉｏｎ)を行う段階を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含むことを特徴とする。
【００１２】
本発明のさらに他の一実施例によれば、３６０°ビデオデータを処理する３６０°ビデオ送信装置が提供される。３６０°ビデオ送信装置は、３６０°ビデオデータを得るデータ入力部、３６０°ビデオデータを処理して全方向イメージ(ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｉｍａｇｅ)を含む２次元ピクチャを導き出すプロジェクション処理部、３６０°ビデオデータに関するメタデータを生成するメタデータ処理部、２次元ピクチャに関する情報を符号化するデータ符号器、及び２次元ピクチャに関する情報及びメタデータに基づいてカプセル化(ｅｎｃａｐｓｕｌａｔｉｏｎ)を行うカプセル化処理部を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループ グローバル座標系の回転構造情報を含むことを特徴とする。
【発明の効果】
【００１３】
本発明によれば、地上波放送網とインターネット網を使用する次世代ハイブリッド放送を支援する環境において、ＶＲコンテンツ(３６０コンテンツ)を効率的に送信することができる。
【００１４】
本発明によれば、３６０コンテンツを消費するユーザにインタラクティブ経験(ｉｎｔｅｒａｃｔｉｖｅ ｅｘｐｅｒｉｅｎｃｅ)を提供することができる。
【００１５】
本発明によれば、送信キャパシティを増加させながら、ユーザに必要な３６０コンテンツ情報を効率的に伝達することができる。
【００１６】
本発明によれば、ＩＳＯＢＭＦＦ(ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ)などのＩＳＯ(Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｏｒｇａｎｉｚａｔｉｏｎ ｆｏｒ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ)基盤のメディアファイルフォーマットにより、３６０°ビデオデータに関するシグナリング情報を効率的に格納及び送信することができる。
【００１７】
本発明によれば、ＤＡＳＨ(Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ)などのＨＴＴＰ(ＨｙｐｅｒＴｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ)基盤の適応型ストリーミングにより、３６０°ビデオデータに関するシグナリング情報を送信することができる。
【００１８】
本発明によれば、ＳＥＩ(Ｓｕｐｐｌｅｍｅｎｔａｌ ｅｎｈａｎｃｅｍｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ)メッセージ或いはＶＵＩ(Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ)により、３６０°ビデオデータに関するシグナリング情報を格納及び送信することができ、これにより全体的な送信効率を向上させることができる。
【００１９】
本発明によれば、動的ビューポイントの座標系に関するメタデータを効果的にシグナリングすることができる。
【００２０】
本発明によれば、動的ビューポイントの共通参照座標系とグローバル座標系の間の相対的回転角度の変化有無を示す動的グローバル座標系回転フラグを効果的にシグナリングすることができる。
【００２１】
本発明によれば、複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的な回転角度に関する情報を示すグループグローバル座標系の回転構造情報を効果的にシグナリングすることができる。
【図面の簡単な説明】
【００２２】
【図１】本発明による３６０コンテンツ提供のための全体アーキテクチャを示す図である。
【図２】一部の実施例によるメディアファイルの構造を示す図である。
【図３】一部の実施例によるメディアファイルの構造を示す図である。
【図４】ＤＡＳＨ基盤の適応型ストリーミングモデルの全般的な動作の一例を示す図である。
【図５】一実施例による３６０ビデオ送信装置の構成を概略的に説明する図である。
【図６】一実施例による３６０ビデオ受信装置の構成を概略的に説明する図である。
【図７】一実施例による３Ｄ空間を説明するための飛行機主軸(Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ)の概念を示す図である。
【図８】３６０ビデオの処理過程及びプロジェクションフォーマットによるリージョンごとのパッキング過程が適用された２Ｄイメージを例示する図である。
【図９ａ】一部の実施例によるプロジェクションフォーマットを例示する図である。
【図９ｂ】一部の実施例によるプロジェクションフォーマットを例示する図である。
【図１０ａ】一部の実施例によるタイル(Ｔｉｌｅ)を示す図である。
【図１０ｂ】一部の実施例によるタイル(Ｔｉｌｅ)を示す図である。
【図１１】一実施例による３６０°ビデオ関連のメタデータの一例を示す図である。
【図１２】ビューポイント、視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、視聴方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)の概念を概略的に示す図である。
【図１３】一実施例による３ＤｏＦ＋ビデオ提供のためのアーキテクチャの例を概略的に示す図である。
【図１４ａ】３ＤｏＦ＋ｅｎｄ−ｔｏ−ｅｎｄシステムのアーキテクチャの一例を示す図である。
【図１４ｂ】３ＤｏＦ＋ｅｎｄ−ｔｏ−ｅｎｄシステムのアーキテクチャの一例を示す図である。
【図１５】ＦＬＵＳアーキテクチャの一例を概略的に示す図である。
【図１６】３ＤｏＦ＋送信端の構成の一例を概略的に示す図である。
【図１７】３ＤｏＦ＋受信端の構成の一例を概略的に示す図である。
【図１８】一実施例による視聴方向に関する情報を説明する図である。
【図１９】一実施例による３６０°ビデオ送信装置の動作方法を示すフローチャートである。
【図２０】一実施例による３６０°ビデオ送信装置の構成を示すブロック図である。
【図２１】一実施例による３６０°ビデオ受信装置の動作方法を示すフローチャートである。
【図２２】一実施例による３６０°ビデオ受信装置の構成を示すブロック図である。
【図２３】本発明の実施例を支援可能な装置を例示する図である。
【図２４】本発明の技術的特徴が適用可能な５Ｇ使用シナリオを例示する図である。
【図２５】本発明の一実施例によるサービスシステムを示す図である。
【発明を実施するための形態】
【００２３】
本発明の一実施例によれば、３６０°ビデオ受信装置により行われる３６０°ビデオデータ処理方法が提供される。この方法は、３６０°ビデオデータに関する情報を受信する段階、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得る段階、符号化されたピクチャに関する情報に基づいて前記符号化されたピクチャを復号する段階、及びメタデータに基づいて前記復号されたピクチャをレンダリングする段階を含み、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含むことを特徴とする。
【００２４】
以下の技術的特徴はＭＰＥＧ(Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ)標準化機構による標準規格などに適用でき、ビデオ、イメージ又はオーディオを扱う技術分野で利用することができる。例えば、以下に説明する方法又は実施例は、ＭＰＥＧ−Ｉ標準(ＩＳＯ／ＩＥＣ２３０９０)又はＭＰＥＧ−Ｉ標準(ＩＳＯ／ＩＥＣ２３０９０)以後の次世代標準の開示内容に関連する。
【００２５】
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定の実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施形態に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書で「含む」又は「有する」などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものが存在することを指定するものであり、一つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品又はこれらを組合せたものの存在又は付加の可能性を予め排除しないと理解しなければならない。
【００２６】
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に関する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味しない。例えば、各構成のうち、二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／又は分離された実施例も本発明の本質から外れない限り本発明の権利範囲に含まれる。
【００２７】
以下、添付図面を参照して、本発明の好ましい実施例についてより詳しく説明する。以下、図面上、同一の構成要素に対しては同一の参照符号を使用し、同一の構成要素に対して重複した説明は省略する。
【００２８】
図１は一実施例による３６０°コンテンツ提供のための全体アーキテクチャを示す図である。
【００２９】
この明細書において、“イメージ(ｉｍａｇｅ)”は停止映像及び時間の流れによる一連の停止映像の集合であるビデオを含む概念を意味する。また、“ビデオ(ｖｉｄｅｏ)”も必ず時間の流れによる一連の停止映像の集合のみを意味することではなく、場合によっては停止映像がビデオに含まれる概念として解釈することができる。
【００３０】
ユーザに仮想現実(Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、ＶＲ)を提供するために、３６０°コンテンツを提供する方案が考えられる。ここで、３６０°コンテンツは３ＤｏＦ(ｔｈｒｅｅ Ｄｅｇｒｅｅｓ ｏｆ Ｆｒｅｅｄｏｍ)コンテンツとも呼ばれ、ＶＲは実際又は仮想の環境を複製(ｒｅｐｌｉｃａｔｅｓ)するために技術とその環境を意味する。ＶＲは人工的にユーザに感覚的経験を提供し、これによりユーザは電子的にプロジェクションされた環境にいるような経験をすることができる。
【００３１】
３６０°コンテンツはＶＲを具現、提供するためのコンテンツ全般を意味し、３６０°ビデオ及び／又は３６０°オーディオを含む。３６０°ビデオ及び／又は３６０オーディオは、３次元ビデオ及び／又は３次元オーディオとも呼ばれる。３６０°ビデオはＶＲを提供するために必要な、全方向(３６０°)が同時にキャプチャー又は再生されるビデオ又はイメージコンテンツを意味する。以下、３６０°ビデオとは３６０°ビデオを意味する。３６０°ビデオは３Ｄモデルによって様々な形態の３Ｄ空間上に表されるビデオ又はイメージを意味し、例えば、３６０°ビデオは球形(Ｓｐｈｅｒｉｃａｌ)面上に表されることができる。３６０°オーディオもＶＲを提供するためのオーディオコンテンツであって、音響発生地が３次元の特定の空間上に位置すると認知できる、空間的(Ｓｐａｔｉａｌ)オーディオコンテンツを意味する。３６０オーディオは３次元オーディオとも呼ばれる。３６０°コンテンツは生成、処理されてユーザに送信され、ユーザは３６０°コンテンツを用いてＶＲ経験を消費する。３６０ビデオは全方向(ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ)ビデオとも呼ばれ、３６０イメージは全方向イメージとも呼ばれる。
【００３２】
３６０°ビデオを提供するために、まず１つ以上のカメラにより３６０°ビデオがキャプチャーされる。キャプチャーされた３６０°ビデオは一連の過程を経て送信され、受信側では受信されたデータを再び元来の３６０°ビデオに加工してレンダリングすることができる。これにより３６０°ビデオがユーザに提供される。
【００３３】
具体的には、３６０°ビデオ提供のための全過程はキャプチャー過程(ｐｒｏｃｅｓｓ)、準備過程、送信過程、プロセシング過程、レンダリング過程及び／又はフィードバック過程を含む。
【００３４】
キャプチャー過程は、１つ以上のカメラで複数のビューポイントの各々に対するイメージ又はビデオをキャプチャーする過程を意味する。キャプチャー過程により図示された図１の(１１０)のようなイメージ／ビデオデータが生成される。図示した図１の(１１０)の各平面は各ビューポイントに対するイメージ／ビデオを意味する。このキャプチャーされた複数のイメージ／ビデオをロー(ｒａｗ)データとも言える。キャプチャー過程ではキャプチャーに関連するメタデータが生成されることができる。
【００３５】
このキャプチャーのためには、ＶＲのための特殊カメラが使用される。実施例によってコンピューターで生成された仮想の空間に対する３６０°ビデオを提供しようとする場合、実際カメラによるキャプチャーではないことがある。この場合、単に関連データが生成される過程をもって該当キャプチャー過程に代えることができる。
【００３６】
準備過程は、キャプチャーされたイメージ／ビデオ及びキャプチャー過程で発生したメタデータを処理する過程である。キャプチャーされたイメージ／ビデオは、この準備過程において、スティチング(Ｓｔｉｔｃｈｉｎｇ)過程、プロジェクション(ｐｒｏｊｅｃｔｉｏｎ)過程、リージョンごとのパッキング過程(Ｒｅｇｉｏｎ−ｗｉｓｅ Ｐａｃｋｉｎｇ)及び／又は符号化過程などを経る。
【００３７】
まず各々のイメージ／ビデオはスティチング(Ｓｔｉｔｃｈｉｎｇ)過程を経る。スティチング過程は、各々のキャプチャーされたイメージ／ビデオを連結して１つのパノラマイメージ／ビデオ又は球形のイメージ／ビデオを形成する過程である。
【００３８】
その後、スティチングされたイメージ／ビデオは、プロジェクション(Ｐｒｏｊｅｃｔｉｏｎ)過程を経る。プロジェクション過程において、スティチングされたイメージ／ビデオは２Ｄイメージ上にプロジェクションされる。この２Ｄイメージは、文脈により２Ｄイメージフレームとも呼ばれる。２Ｄイメージにプロジェクションすることは、２Ｄイメージにマッピングするとも表現できる。プロジェクションされたイメージ／ビデオデータは、図示した図１の(１２０)のような２Ｄイメージ形態になることもできる。
【００３９】
２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオコーディング効率などを高めるために、リージョンごとのパッキング過程(Ｒｅｇｉｏｎ−ｗｉｓｅ Ｐａｃｋｉｎｇ)を経る。リージョンごとのパッキングとは、２Ｄイメージ上にプロジェクションされたビデオデータをリージョン(Ｒｅｇｉｏｎ)ごとに分けて処理を加える過程を意味する。ここで、リージョン(Ｒｅｇｉｏｎ)とは、３６０°ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンは、実施例によって、２Ｄイメージを均等に分けて区分するか、或いは任意に分かれて区分されることができる。また実施例によってリージョンはプロジェクションスキームにより区分されることもできる。リージョンごとのパッキング過程は選択的(ｏｐｔｉｏｎａｌ)過程であり、準備過程で省略することもできる。
【００４０】
実施例によって、この処理過程は、ビデオコーディングの効率を高めるために、各々のリージョンを回転したり２Ｄイメージ上に再配列したりする過程を含む。例えば、リージョンを回転してリージョンの特定の辺を互いに近接させることにより、コーディング時の効率を向上させることができる。
【００４１】
実施例によって、この処理過程は、３６０°ビデオ上の領域ごとにレゾリューション(ｒｅｓｏｌｕｔｉｏｎ)を差等化するために、特定のリージョンに対するレゾリューションを上げるか或いは下げる過程を含む。例えば、３６０°ビデオ上において相対的にもっと重要な領域に該当するリージョンは、他のリージョンよりレゾリューションを上げることができる。２Ｄイメージ上にプロジェクションされたビデオデータ又はリージョンごとのパッキングされたビデオデータは、ビデオコーデックを通じた符号化過程を経ることができる。
【００４２】
実施例によって、準備過程はさらにエディット(ｅｄｉｔｉｎｇ)過程などを含むことができる。このエディット過程においては、さらにプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。準備過程でも同様に、スティチング／プロジェクション／符号化／エディットなどに関するメタデータが生成されることができる。また、２Ｄイメージ上にプロジェクションされたビデオデータの初期ビューポイント、或いはＲＯＩ(Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ)などに関するメタデータが生成されることができる。
【００４３】
送信過程は、準備過程を経たイメージ／ビデオデータ及びメタデータを処理して送信する過程である。送信のために任意の送信プロトコルによる処理が行われる。送信のための処理が行われたデータは、放送網及び／又は広帯域を介して伝達される。このデータはオン・デマンド(Ｏｎ Ｄｅｍａｎｄ)方式で受信側に伝達されることもできる。受信側では様々な経路を通じて該当データを受信する。
【００４４】
プロセシング過程は、受信したデータを復号し、プロジェクションされているイメージ／ビデオデータを３Ｄモデル上にリプロジェクション(Ｒｅ−ｐｒｏｊｅｃｔｉｏｎ)する過程を意味する。この過程において、２Ｄイメージ上にプロジェクションされているイメージ／ビデオデータが３Ｄ空間上にリプロジェクションされることができる。この過程を文脈により、マッピング、プロジェクションとも呼ぶ。この時、マッピングされる３Ｄ空間は、３Ｄモデルによって異なる形態を有する。例えば、３Ｄモデルとしては、球形(Ｓｐｈｅｒｅ)、キューブ(Ｃｕｂｅ)、シリンダー(Ｃｙｌｉｎｄｅｒ)又はピラミッド(Ｐｙｒａｍｉｄ)などがある。
【００４５】
実施例によって、プロセシング過程は、さらにエディット(ｅｄｉｔｉｎｇ)過程、アップスケーリング(ｕｐｓｃａｌｉｎｇ)過程など含む。このエディット過程においては、さらにリプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。イメージ／ビデオデータが縮小されている場合は、アップスケーリング過程においてサンプルのアップスケーリングによりそのサイズを拡大することができる。必要な場合、ダウンスケーリングによりサイズを縮小する作業を行うこともできる。
【００４６】
レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングしてディスプレイする過程を意味する。リプロジェクションとレンダリングを合わせて、３Ｄモデル上にレンダリングするとも表現できる。３Ｄモデル上にリプロジェクションされた(又は３Ｄモデル上にレンダリングされた)イメージ／ビデオは、図示された図１の(１３０)のような形態を有することができる。図示された図１の(１３０)は球形(Ｓｐｈｅｒｅ)の３Ｄモデルにリプロジェクションされた場合である。ユーザはＶＲディスプレイなどによりレンダリングされたイメージ／ビデオの一部領域を見ることができる。この時、ユーザが見る領域は図示された図１(１４０)のような形態であることができる。
【００４７】
フィードバック過程は、ディスプレイ過程から得られる様々なフィードバック情報を送信側に伝達する過程を意味する。フィードバック過程により、３６０°ビデオの消費において双方向性(Ｉｎｔｅｒａｃｔｉｖｉｔｙ)が提供される。実施例によって、フィードバック過程でヘッド方向(Ｈｅａｄ Ｏｒｉｅｎｔａｔｉｏｎ)情報、ユーザが現在見ている領域を示すビューポート(Ｖｉｅｗｐｏｒｔ)情報などが送信側に伝達される。実施例によって、ユーザはＶＲ環境上に具現されたものと相互作用することもできるが、この場合、その相互作用に関連する情報がフィードバック過程で送信側或いはサービス供給者に伝達される。実施例によって、フィードバック過程は省略できる。
【００４８】
ヘッド方向情報はユーザのヘッド位置、角度、動きなどに関する情報を意味する。これらの情報に基づいてユーザが現在３６０°ビデオで見ている領域に関する情報、即ち、ビューポート情報を計算することができる。
【００４９】
ビューポート情報は、現在ユーザが３６０°ビデオで見ている領域に関する情報である。これによりゲイズ分析(Ｇａｚｅ Ａｎａｌｙｓｉｓ)が行われ、ユーザがどのような方式で３６０°ビデオを消費するか、３６０°ビデオのどの領域をどのくらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャネルを介して伝達される。ＶＲディスプレイなどの装置は、ユーザのヘッド位置／方向、装置が支援する垂直(ｖｅｒｔｉｃａｌ)或いは水平(Ｈｏｒｉｚｏｎｔａｌ)ＦＯＶなどに基づいて、ビューポート領域を抽出することができる。
【００５０】
実施例によって、上述したフィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。即ち、上述したフィードバック情報を用いて受信側の復号、リプロジェクション、レンダリング過程などが行われる。例えば、ヘッド方向情報及び／又はビューポート情報を用いて現在ユーザが見ている領域に対する３６０°ビデオのみを優先して復号及びレンダリングすることができる。
【００５１】
ここで、ビューポート(ｖｉｅｗｐｏｒｔ)又はビューポート領域は、ユーザが３６０°ビデオで見ている領域を意味する。ビューポイント(ｖｉｅｗｐｏｉｎｔ)はユーザが３６０°ビデオで見ているところであって、ビューポート領域の真ん中を意味する。即ち、ビューポートはビューポイントを中心とする領域であるが、その領域が占めるサイズ、形態などは後述するＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により決定される。
【００５２】
上述した３６０°ビデオ提供のための全体アーキテクチャ内において、キャプチャー／プロジェクション／符号化／送信／復号／リプロジェクション／レンダリングの一連の過程を経るイメージ／ビデオデータを、３６０°ビデオデータと呼ぶ。また３６０°ビデオデータという用語は、かかるイメージ／ビデオデータに関連するメタデータ或いはシグナリング情報を含む概念としても使用される。
【００５３】
上記オーディオ又はビデオなどのメディアデータを格納して送信するために、定型化されたメディアファイルフォーマットを定義できる。実施例によってメディアファイルは、ＩＳＯ ＢＭＦＦ(ＩＳＯ ｂａｓｅ ｍｅｄｉａ ｆｉｌｅ ｆｏｒｍａｔ)に基づくファイルフォーマットを有することができる。
【００５４】
図２及び図３は一部の一実施例によるメディアファイルの構造を示す図である。
【００５５】
本発明によるメディアファイルは、少なくとも一つ以上のボックスを含む。ここで、ボックス(ｂｏｘ)は、メディアデータ又はメディアデータに関連するメタデータなどを含むデータブロック或いはオブジェクトである。複数のボックスは互いに階層的構造を有し、これによりデータが分類されてメディアファイルが大容量メディアデータの格納及び／又は送信に適合した形態になる。またメディアファイルは、ユーザがメディアコンテンツの特定の地点に移動するなど、メディア情報への接近に容易な構造を有する。
【００５６】
一実施例によるメディアファイルはｆｔｙｐボックス、ｍｏｏｖボックス及び／又はｍｄａｔボックスを含む。
【００５７】
ｆｔｙｐボックス(ファイルタイプボックス)は、該当メディアファイルに対するファイルタイプ又は互換性関連情報を提供する。ｆｔｙｐボックスは該当メディアファイルのメディアデータに対する構成バージョン情報を含む。復号器はｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。
【００５８】
ｍｏｏｖボックス(ムービーボックス)は、該当メディアファイルのメディアデータに関するメタデータを含むボックスである。ｍｏｏｖボックスは全てのメタデータのためのコンテナの役割を果たす。ｍｏｏｖボックスはメタデータ関連ボックスのうち、最上位階層のボックスである。実施例によって、ｍｏｏｖボックスはメディアファイル内に一つのみ存在する。
【００５９】
ｍｄａｔボックス(メディアデータボックス)は、該当メディアファイルの実際メディアデータを入れるボックスである。メディアデータはオーディオサンプル及び／又はビデオサンプルを含むが、ｍｄａｔボックスはかかるメディアサンプルを入れるコンテナの役割を果たす。
【００６０】
実施例によっては、上述したｍｏｏｖボックスは、さらにｍｖｈｄボックス、ｔｒａｋボックス及び／又はｍｖｅｘボックスなどを下位ボックスとして含むことができる。
【００６１】
ｍｖｈｄボックス(ムービーヘッダーボックス)は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含む。即ち、ｍｖｈｄボックスは該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格、期間などの情報を含む。
【００６２】
ｔｒａｋボックス(トラックボックス)は、該当メディアデータのトラックに関連する情報を提供する。ｔｒａｋボックスはオーディオトラック又はビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含む。Ｔｒａｋボックスはトラックの数によって複数個存在する。
【００６３】
ｔｒａｋボックスは、実施例によって、さらにｔｋｈｄボックス(トラックヘッダボックス)を下位ボックスとして含む。ｔｋｈｄボックスはｔｒａｋボックスが示す該当トラックに関する情報を含む。ｔｋｈｄボックスは該当トラックの生成時間、変更時間、トラック識別子などの情報を含む。
【００６４】
ｍｖｅｘボックス(ムービー延長(ｅｘｔｅｎｄ)ボックス)は、該当メディアファイルに後述するｍｏｏｆボックスがあり得ることを指示する。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスをスキャンする必要がある。
【００６５】
一実施例によるメディアファイルは、実施例によって、複数のフラグメントに分かれることができる(２００)。これにより、メディアファイルが分割されて格納又は送信される。メディアファイルのメディアデータ(ｍｄａｔボックス)は複数のフラグメントに分かれ、各々のフラグメントはｍｏｏｆボックスと分かれたｍｄａｔボックスを含む。実施例によって、フラグメントを活用するためには、ｆｔｙｐボックス及び／又はｍｏｏｖボックスの情報が必要である。
【００６６】
ｍｏｏｆボックス(ムービーフラグメントボックス)は、該当フラグメントのメディアデータに関するメタデータを提供する。ｍｏｏｆボックスは該当フラグメントのメタデータ関連ボックスのうちの最上位階層のボックスである。
【００６７】
ｍｄａｔボックス(メディアデータボックス)は、上述したように、実際のメディアデータを含む。このｍｄａｔボックスは、各々の該当フラグメントに該当するメディアデータのメディアサンプルを含む。
【００６８】
実施例によって、上述したｍｏｏｆボックスは、さらにｍｆｈｄボックス及び／又はｔｒａｆボックスなどを下位ボックスとして含むことができる。
【００６９】
ｍｆｈｄボックス(ムービーフラグメントヘッダボックス)は、分割された複数のフラグメントの連関性に関連する情報を含む。ｍｆｈｄボックスはシーケンス番号(Ｓｅｑｕｅｎｃｅ ｎｕｍｂｅｒ)を含み、該当フラグメントのメディアデータが分割された何番目のデータであるかを示す。また、ｍｆｈｄボックスを用いて、分割されたデータのうち、漏れたものがあるか否かを確認することができる。
【００７０】
ｔｒａｆボックス(トラックフラグメントボックス)は、該当トラックフラグメントに関する情報を含む。ｔｒａｆボックスは該当フラグメントに含まれる分割されたトラックフラグメントに関するメタデータを提供する。ｔｒａｆボックスは該当トラックフラグメント内のメディアサンプルが復号化／再生されるようにメタデータを提供する。ｔｒａｆボックスはトラックフラグメントの数によって複数個が存在することができる。
【００７１】
実施例によって、上述したｔｒａｆボックスは、さらにｔｆｈｄボックス及び／又はｔｒｕｎボックスなどを下位ボックスとして含むことができる。
【００７２】
ｔｆｈｄボックス(トラックフラグメントヘッダーボックス)は、該当トラックフラグメントのヘッダー情報を含む。ｔｆｈｄボックスは上述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプルサイズ、期間、オフセット、識別子などの情報を提供する。
【００７３】
ｔｒｕｎボックス(トラックフラグメントランボックス)は、該当トラックフラグメント関連情報を含む。ｔｒｕｎボックスはメディアサンプルごとの期間、サイズ、再生時点などのような情報を含む。
【００７４】
上述したメディアファイル或いはメディアファイルのフラグメントは、セグメントで処理されて送信されることができる。セグメントには初期化セグメント(ｉｎｉｔｉａｌｉｚａｔｉｏｎ Ｓｅｇｍｅｎｔ)及び／又はメディアセグメント(ｍｅｄｉａ Ｓｅｇｍｅｎｔ)がある。
【００７５】
図示された実施例(２１０)のファイルは、メディアデータを除いて、メディア復号器の初期化に関連する情報などを含むファイルである。このファイルは、例えば、上述した初期化セグメントに該当する。初期化セグメントは上述したｆｔｙｐボックス及び／又はｍｏｏｖボックスを含む。
【００７６】
図示された実施例(２２０)のファイルは、上述したフラグメントを含むファイルである。このファイルは、例えば、上述したメディアセグメントに該当する。メディアセグメントは上述したｍｏｏｆボックス及び／又はｍｄａｔボックスを含む。さらにメディアセグメントはｓｔｙｐボックス及び／又はｓｉｄｘボックスを含むことができる。
【００７７】
ｓｔｙｐボックス(セグメントタイプボックス)は、分割されたフラグメントのメディアデータを識別するための情報を提供する。ｓｔｙｐボックスは分割されたフラグメントに対して、上述したｆｔｙｐボックスのような役割を果たす。実施例によって、ｓｔｙｐボックスはｆｔｙｐボックスと同じフォーマットを有することができる。
【００７８】
ｓｉｄｘボックス(セグメントインデックスボックス)は、分割されたフラグメントに対するインデックスを示す情報を提供する。これにより、該当分割されたフラグメントが何番目のフラグメントであるかが指示される。
【００７９】
実施例によって(２３０)、さらにｓｓｉｘボックスを含むことができるが、ｓｓｉｘボックス(サブセグメントインデックスボックス)は、セグメントがサブセグメントにさらに分かれる場合において、そのサブセグメントのインデックスを示す情報を提供する。
【００８０】
メディアファイル内のボックスは、図示された実施例(２５０)のようなボックス或いはフルボックス(ＦｕｌｌＢｏｘ)の形態に基づいて、より拡張した情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは該当ボックスの長さをバイト単位などで示す。ｖｅｒｓｉｏｎフィールドは該当ボックスフォーマットのバージョンを示す。ｔｙｐｅフィールドは該当ボックスのタイプ或いは識別子を示す。ｆｌａｇｓフィールドは該当ボックスに関連するフラッグなどを示す。
【００８１】
一方、一実施例による３６０°ビデオに対するフィールド(属性)は、ＤＡＳＨ基盤の適応型(Ａｄａｐｔｉｖｅ)ストリーミングモデルに含まれて伝達されることができる。
【００８２】
図４はＤＡＳＨ基盤の適応型ストリーミングモデルの全般的な動作の一例を示す図である。
【００８３】
示された実施例(４００)によるＤＡＳＨ基盤の適応型ストリーミングモデルは、ＨＴＴＰサーバーとＤＡＳＨクライアントの間の動作について記載している。ここで、ＤＡＳＨ(Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ)は、ＨＴＴＰ基盤の適応型ストリーミングを支援するためのプロトコルであって、ネットワーク状況によって動的にストリーミングを支援する。これにより、ＡＶコンテンツ再生を続けて提供することができる。
【００８４】
まずＤＡＳＨクライアントはＭＰＤを得ることができる。ＭＰＤはＨＴＴＰサーバーなどのサービス供給者から伝達される。ＤＡＳＨクライアントはＭＰＤに記載されたセグメントへの接近情報を用いてサーバーに該当セグメントを要請することができる。ここで、この要請はネットワーク状態を反映して行われる。
【００８５】
ＤＡＳＨクライアントは該当セグメントを得た後、これをメディアエンジンで処理して画面にディスプレイする。ＤＡＳＨクライアントは再生時間及び／又はネットワーク状況などを実時間に反映して、必要なセグメントを要請して得ることができる(Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ)。これにより、コンテンツを続けて再生することができる。
【００８６】
ＭＰＤ(Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ)は、ＤＡＳＨクライアントがセグメントを動的に獲得するための詳細情報を含むファイルであり、ＸＭＬ形態で表現できる。
【００８７】
ＤＡＳＨクライアントコントローラー(ＤＡＳＨ Ｃｌｉｅｎｔ Ｃｏｎｔｒｏｌｌｅｒ)は、ネットワーク状況を反映してＭＰＤ及び／又はセグメントを要請するコマンドを生成する。また、このコントローラーは得られた情報をメディアエンジンなどの内部ブロックで使用できるように制御する。
【００８８】
ＭＰＤパーサー(Ｐａｒｓｅｒ)は得られたＭＰＤを実時間にパーシングする。これにより、ＤＡＳＨクライアントコントローラーは必要なセグメントを得るコマンドを生成することができる。
【００８９】
セグメントパーサーは得られたセグメントを実時間にパーシングする。セグメントに含まれた情報によってメディアエンジンなどの内部ブロックは特定の動作を行うことができる。
【００９０】
ＨＴＴＰクライアントは必要なＭＰＤ及び／又はセグメントなどをＨＴＴＰサーバーに要請する。またＨＴＴＰクライアントはサーバーから獲得したＭＰＤ及び／又はセグメントをＭＰＤパーサー又はセグメントパーサーに伝達する。
【００９１】
メディアエンジン(Ｍｅｄｉａ Ｅｎｇｉｎｅ)はセグメントに含まれたメディアデータを用いてコンテンツを画面上に示す。この時、ＭＰＤの情報が活用される。
【００９２】
ＤＡＳＨデータモデルは階層的構造(４１０)を有することができる。メディアプレゼンテーションはＭＰＤにより記述される。ＭＰＤはメディアプレゼンテーションを形成する複数の区間(Ｐｅｒｉｏｄ)の時間的なシーケンスを記述する。ピリオドはメディアコンテンツの一区間を示す。
【００９３】
１つの区間において、データはアダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換可能な複数のメディアコンテンツコンポーネントの集合である。アダプテーションはレプリゼンテーションの集合を含む。レプリゼンテーションはメディアコンテンツコンポーネントに該当する。１つのレプリゼンテーション内において、コンテンツは複数のセグメントに時間的に分かれる。これは適切な接近性と伝達(ｄｅｌｉｖｅｒｙ)のためである。各々のセグメントに接近するために、各セグメントのＵＲＬが提供される。
【００９４】
ＭＰＤはメディアプレゼンテーションに関連する情報を提供し、期間エレメント、アダプテーションセットエレメント、レプリゼンテーションエレメントは各々、該当期間、アダプテーションセット、レプリゼンテーションについて記述できる。レプリゼンテーションはサブ−レプリゼンテーションに分かれるが、サブ−レプリゼンテーションエレメントは該当サブ−レプリゼンテーションについて記述することができる。
【００９５】
ここで、共通(Ｃｏｍｍｏｎ)属性／エレメントが定義されるが、これらはアダプテーションセット、レプリゼンテーション、サブ−レプリゼンテーションなどに適用できる(含まれることができる)。共通属性／エレメントのうちには、エッセンシャルプロパティー(Ｅｓｓｅｎｔｉａｌ Ｐｒｏｐｅｒｔｙ)及び／又は補足プロパティー(Ｓｕｐｐｌｅｍｅｎｔａｌ Ｐｒｏｐｅｒｔｙ)があり得る。
【００９６】
エッセンシャルプロパティーは、該当メディアプレゼンテーション関連データを処理するにおいて、必須であると思われるエレメントを含む情報である。補足プロパティーは該当メディアプレゼンテーション関連データを処理するにおいて、使用可能なエレメントを含む情報である。実施例によって、後述するディスクリプタは、ＭＰＤを通じて伝達される場合、エッセンシャルプロパティー及び／又は補足プロパティー内に定義されて伝達される。
【００９７】
図５は一実施例による３６０ビデオ送信装置の構成を概略的に説明する図である。
【００９８】
一実施例による３６０°ビデオ送信装置は、上述した準備過程或いは送信過程に関連する動作を行う。３６０°ビデオ送信装置は、データ入力部、ステッチャー(Ｓｔｉｔｃｈｅｒ)、プロジェクション処理部、リージョンごとのパッキング処理部(図示せず)、メタデータ処理部、(送信側)フィードバック処理部、データ符号器、カプセル化処理部、送信処理部及び／又は送信部を内／外部エレメントとして含む。
【００９９】
データ入力部にはキャプチャーされた各ビューポイントに対するイメージ／ビデオが入力される。このビューポイントごとのイメージ／ビデオは、一つ以上のカメラによりキャプチャーされたイメージ／ビデオである。またデータ入力部にはキャプチャー過程で発生したメタデータが入力される。データ入力部は入力された視点ごとのイメージ／ビデオをステッチャーに伝達し、キャプチャー過程のメタデータをシグナリング処理部に伝達する。
【０１００】
ステッチャーはキャプチャーされた視点ごとのイメージ／ビデオに対するスティチング作業を行う。ステッチャーはスティチングされた３６０°ビデオデータをプロジェクション処理部に伝達する。必要な場合、ステッチャーはメタデータ処理部から必要なメタデータを受けてスティチング作業に使用する。ステッチャーはスティチング過程で発生したメタデータをメタデータ処理部に伝達する。スティチング過程のメタデータとしては、スティチングが行われたか否か、スティチングタイプなどの情報がある。
【０１０１】
プロジェクション処理部はスティチングされた３６０°ビデオデータを２Ｄイメージ上にプロジェクションする。プロジェクション処理部は様々なスキーム(Ｓｃｈｅｍｅ)によってプロジェクションを行うが、これについては後述する。プロジェクション処理部は各視点ごとの３６０°ビデオデータの該当深さを考慮してマッピングを行う。必要な場合、プロジェクション処理部はメタデータ処理部からプロジェクションに必要なメタデータを受けてプロジェクション作業に使用する。プロジェクション処理部はプロジェクション過程で発生したメタデータをメタデータ処理部に伝達する。プロジェクション処理部のメタデータとしては、プロジェクションスキームの種類などがある。
【０１０２】
リージョンごとのパッキング処理部(図示せず)は上述したリージョンごとのパッキング過程を行う。即ち、リージョンごとのパッキング処理部はプロジェクションされた３６０°ビデオデータをリージョンごとに分け、各リージョンを回転、再配列するか、或いは各リージョンの解像度(ｒｅｓｏｌｕｔｉｏｎ)を変更するなどの処理を行う。上述したように、リージョンごとのパッキング過程は選択的(ｏｐｔｉｏｎａｌ)な過程であり、リージョンごとのパッキングが行われない場合は、リージョンごとのパッキング処理部は省略できる。必要な場合、リージョンごとのパッキング処理部はメタデータ処理部からリージョンごとのパッキングに必要なメタデータを受けてリージョンごとのパッキング作業に使用することができる。リージョンごとのパッキング処理部はリージョンごとのパッキング過程で発生したメタデータをメタデータ処理部に伝達する。リージョンごとのパッキング処理部のメタデータとしては、各リージョンの回転程度、サイズなどがある。
【０１０３】
上述したステッチャー、プロジェクション処理部及び／又はリージョンごとのパッキング処理部は、実施例によっては、一つのハードウェアコンポーネントで行われることもできる。
【０１０４】
メタデータ処理部は、キャプチャー過程、スティチング過程、プロジェクション過程、リージョンごとのパッキング過程、符号化過程、カプセル化過程及び／又は送信のための処理過程で発生し得るメタデータを処理する。メタデータ処理部では、かかるメタデータを用いて３６０°ビデオ関連メタデータを生成する。実施例によって、メタデータ処理部は３６０°ビデオ関連メタデータをシグナリングテーブルの形態で生成することもできる。シグナリング文脈により、３６０°ビデオ関連メタデータは、メタデータ又は３６０°ビデオ関連シグナリング情報とも呼ばれる。また、メタデータ処理部は獲得又は生成したメタデータを必要によって３６０°ビデオ送信装置の内部エレメントに伝達する。メタデータ処理部は３６０°ビデオ関連メタデータが受信側に送信されるように、データ符号器、カプセル化処理部及び／又は送信処理部に伝達することができる。
【０１０５】
データ符号器は、２Ｄイメージ上にプロジェクションされた３６０°ビデオデータ及び／又はリージョンごとのパッキングされた３６０°ビデオデータを符号化する。３６０°ビデオデータは様々なフォーマットに符号化できる。
【０１０６】
カプセル化処理部は、符号化された３６０ビデオデータ及び／又は３６０ビデオ関連メタデータをファイルなどの形態でカプセル化することができる。ここで、３６０ビデオ関連メタデータは、上述したメタデータ処理部から伝達されたものである。カプセル化処理部は、該当データをＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化したり、その他のＤＡＳＨセグメントなどの形態に処理したりすることができる。カプセル化処理部は、実施例によって３６０ビデオ関連メタデータをファイルフォーマットに含ませることができる。３６０関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックスに含まれるか、或いはファイル内で所定のトラック内のデータに含まれる。実施例によって、カプセル化処理部は、３６０ビデオ関連メタデータ自体をファイルにカプセル化する。送信処理部は、ファイルフォーマットによってカプセル化された３６０ビデオデータに送信のための処理を行う。送信処理部は、任意の送信プロトコルによって３６０ビデオデータを処理する。送信のための処理は、放送網を介した伝達のための処理、広帯域を介した伝達のための処理を含む。実施例によって、送信処理部には、３６０ビデオデータだけではなく、メタデータ処理部から３６０ビデオ関連メタデータが伝達され、そこに送信のための処理を加えることもできる。
【０１０７】
送信部は送信処理された３６０°ビデオデータ及び／又は３６０°ビデオ関連メタデータを放送網及び／又は広帯域を介して送信する。送信部は放送網を介した送信のためのエレメント及び／又は広帯域による送信のためのエレメントを含む。
【０１０８】
３６０°ビデオの送信装置の一実施例によれば、さらに３６０°ビデオの送信装置は、データ格納部(図示せず)を内／外部エレメントとして含む。データ格納部は、符号化された３６０°ビデオデータ及び／又は３６０°ビデオ関連メタデータを送信処理部に伝達する前に格納する。このデータが格納される形態はＩＳＯＢＭＦＦなどのファイル形態である。実時間に３６０°ビデオを送信する場合にはデータ格納部が不要であるが、オン・デマンド、ＮＲＴ(Ｎｏｎ Ｒｅａｌ Ｔｉｍｅ)、広帯域などを介して伝達する場合にはカプセル化された３６０データがデータ格納部に一定期間格納された後に送信されることができる。
【０１０９】
３６０ビデオの送信装置の他の実施例によれば、さらに３６０ビデオの送信装置は、(送信側)フィードバック処理部及び／又はネットワークインターフェース(図示せず)を内／外部エレメントとして含む。ネットワークインターフェースには、本発明による３６０ビデオ受信装置からフィードバック情報が伝達され、これを送信側フィードバック処理部に伝達する。送信側フィードバック処理部は、フィードバック情報をステッチャー、プロジェクション処理部、リージョンごとのパッキング処理部、データ符号器、カプセル化処理部、メタデータ処理部及び／又は送信処理部に伝達する。実施例によって、フィードバック情報はメタデータ処理部に一旦伝達された後、再び各々の内部エレメントに伝達される。フィードバック情報が伝達された内部エレメントは、今後の３６０°ビデオデータ処理にフィードバック情報を反映することができる。
【０１１０】
３６０ビデオの送信装置のさらに他の実施例によれば、リージョンごとのパッキング処理部は、各リージョンを回転して２Ｄイメージ上にマッピングする。この時、各リージョンは互いに異なる方向、互いに異なる角度に回転して２Ｄイメージ上にマッピングされる。リージョンの回転は、３６０°ビデオデータが球面上においてプロジェクション前に隣接した部分、スティチングされた部分などを考慮して行われる。リージョンの回転に関する情報、即ち、回転方向、角度などは、３６０ビデオ関連メタデータによりシグナリングされる。３６０ビデオの送信装置のさらに他の実施例によれば、データ符号器は各リージョンごとに異なるように符号化を行う。データ符号器は、特定のリージョンは高品質に、他のリージョンは低品質に符号化する。送信側のフィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報をデータ符号器に伝達して、データ符号器がリージョンごとに差等化した符号化方法を使用するようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報をデータ符号器に伝達する。データ符号器はビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりも高い品質(ＵＨＤなど)に符号化することができる。
【０１１１】
３６０°ビデオ送信装置のさらに他の実施例によれば、送信処理部は各リージョンごとに異なるように送信のための処理を行う。送信処理部はリージョンごとに異なる送信パラメータ(モジュレーションオーダ、符号レートなど)を適用して、各リージョンごとに伝達されるデータの剛健性(ｒｏｂｕｓｔｅｎｓｓ)を変更することができる。
【０１１２】
この時、送信側のフィードバック処理部は、３６０°ビデオ受信装置から伝達されたフィードバック情報を送信処理部に伝達して、送信処理部がリージョンごとに差等化した送信処理を行うようにする。例えば、送信側のフィードバック処理部は、受信側から伝達されたビューポート情報を送信処理部に伝達する。送信処理部は該当ビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりも高い剛健性を有するように送信処理を行う。
【０１１３】
上述した３６０°ビデオ送信装置の内／外部エレメントは、ハードウェアで具現されるハードウェアエレメントである。実施例によって、内／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合される。実施例によって、付加エレメントが３６０ビデオ送信装置に追加されることができる。
【０１１４】
図６は一実施例による３６０ビデオ受信装置の構成を概略的に説明する図である。
【０１１５】
一実施例による３６０ビデオ受信装置は、上述したプロセシング過程及び／又はレンダリング過程に関連する動作を行う。３６０ビデオ受信装置は、受信部、受信処理部、カプセル除去(ｄｅｃａｐｓｕｌａｔｉｏｎ)処理部、データ復号器、メタデータパーザ、(受信側)フィードバック処理部、リプロジェクション処理部及び／又はレンダラーを内／外部エレメントとして含む。なお、シグナリングパーザはメタデータパーザとも呼ばれる。
【０１１６】
受信部は、一実施例による３６０ビデオ送信装置が送信した３６０ビデオデータを受信する。送信されるチャネルによって受信部は放送網により３６０ビデオデータを受信し、広帯域を介して３６０ビデオデータを受信することもできる。
【０１１７】
受信処理部は、受信された３６０ビデオデータに対して送信プロトコルによる処理を行う。送信側で送信のための処理が行われたことに対応するように、受信処理部は上述した送信処理部の逆過程を行う。受信処理部は得られた３６０ビデオデータをカプセル除去処理部に伝達し、得られた３６０ビデオ関連メタデータはメタデータパーザに伝達する。受信処理部が得る３６０ビデオ関連メタデータはシグナリングテーブルの形態である。
【０１１８】
カプセル除去処理部は受信処理部から伝達されたファイル形態の３６０ビデオデータをカプセル除去する。カプセル除去処理部はＩＳＯＢＭＦＦなどによるファイルをカプセル除去して、３６０ビデオデータ或いは３６０ビデオ関連メタデータを得ることができる。得られた３６０°ビデオデータはデータ復号器に、得られた３６０°ビデオ関連メタデータはメタデータパーザに伝達する。カプセル除去処理部が得る３６０°ビデオ関連メタデータはファイルフォーマット内のボックス或いはトラック形態である。必要な場合、カプセル除去処理部にはメタデータパーザからカプセル除去に必要なメタデータが伝達される。
【０１１９】
データ復号器は３６０ビデオデータに対する復号を行う。データ復号器にはメタデータパーザから復号に必要なメタデータが伝達されることもできる。データ復号過程で得られた３６０°ビデオ関連メタデータはメタデータパーザに伝達されることもできる。
【０１２０】
メタデータパーザは３６０ビデオ関連メタデータに対するパーシング／復号を行う。メタデータパーザは、得られたメタデータをデータカプセル除去処理部、データ復号器、リプロジェクション処理部及び／又はレンダラーに伝達することができる。
【０１２１】
リプロジェクション処理部は復号された３６０ビデオデータに対してリプロジェクションを行う。リプロジェクション処理部は３６０ビデオデータを３Ｄ空間にリプロジェクションすることができる。３Ｄ空間は使用される３Ｄモデルによって異なる形態を有する。リプロジェクション処理部はメタデータパーザからリプロジェクションに必要なメタデータが伝達されることもできる。例えば、リプロジェクション処理部には使用される３Ｄモデルのタイプ及びその細部情報に関する情報がメタデータパーザから伝達される。実施例によってリプロジェクション処理部はリプロジェクションに必要なメタデータを用いて、３Ｄ空間上の特定の領域に該当する３６０°ビデオデータのみを３Ｄ空間にリプロジェクションすることもできる。
【０１２２】
レンダラーはリプロジェクションされた３６０ビデオデータをレンダリングする。上述したように、３６０ビデオデータが３Ｄ空間上にレンダリングされると表現することもできるが、このように２つの過程が同時に起こる場合、リプロジェクション処理部とレンダラーが統合されて、レンダラーでこれらの全過程が進行されることができる。実施例によって、レンダラーはユーザの視点情報によってユーザが見ている部分のみをレンダリングすることもできる。
【０１２３】
ユーザはＶＲディスプレイなどによりレンダリングされた３６０ビデオの一部領域を見ることができる。ＶＲディスプレイは３６０ビデオを再生する装置であって、３６０ビデオ受信装置に含まれるか(ｔｅｔｈｅｒｅｄ)、又は別途の装置として３６０ビデオ受信装置に連結される(ｕｎ−ｔｅｔｈｅｒｅｄ)。
【０１２４】
３６０ビデオ受信装置の一実施例によれば、さらに３６０°ビデオ受信装置は、(受信側)フィードバック処理部及び／又はネットワークインターフェース(図示せず)を内外部エレメントとして含む。受信側のフィードバック処理部はレンダラー、リプロジェクション処理部、データ復号器、カプセル除去処理部及び／又はＶＲディスプレイからフィードバック情報を得て処理することができる。フィードバック情報はビューポート情報、ヘッド方向情報、ゲイズ(Ｇａｚｅ)情報などを含む。ネットワークインターフェースはフィードバック情報を受信側のフィードバック処理部から受けて、それを３６０ビデオ送信装置に送信する。
【０１２５】
上述したように、フィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。受信側のフィードバック処理部は得られたフィードバック情報を３６０ビデオ受信装置の内部エレメントに伝達して、レンダリングなどの過程に反映させることができる。受信側のフィードバック処理部はフィードバック情報をレンダラー、リプロジェクション処理部、データ復号器及び／又はカプセル除去処理部に伝達する。例えば、レンダラーはフィードバック情報を活用してユーザが見ている領域を優先してレンダリングする。また、カプセル除去処理部、データ復号器などは、ユーザが見ている領域或いは見る領域を優先してカプセル除去、復号することができる。
【０１２６】
上述した本発明による３６０ビデオ受信装置の内／外部エレメントは、ハードウェアで具現されるハードウェアエレメントである。実施例によって、内／外部エレメントは変更、省略されるか、又は他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０ビデオ受信装置に追加されることもできる。
【０１２７】
本発明のさらに他の観点は、上記一実施例による３６０ビデオ受信装置の動作方法は、３６０ビデオを送信する方法及び３６０ビデオを受信する方法に関連する。一実施例による３６０ビデオを送信／受信する方法は、各々上述した一実施例による３６０°ビデオ送信／受信装置又はその装置の実施例により行われる。
【０１２８】
上述した一実施例による３６０ビデオ送信／受信装置、送信／受信方法の各々の実施例及びその内／外部エレメントの各々の実施例を互いに組み合わせることができる。例えば、プロジェクション処理部の実施例とデータ符号器の実施例とを組み合わせて、その場合の数だけの３６０°ビデオ送信装置の実施例を作ることができる。
【０１２９】
図７は一実施例による３Ｄ空間を説明するための飛行機主軸(Ａｉｒｃｒａｆｔ Ｐｒｉｎｃｉｐａｌ Ａｘｅｓ)の概念を示す図である。
【０１３０】
本発明では３Ｄ空間における特定の地点、位置、方向、間隔、領域などを表現するために、飛行機主軸の概念が使用されている。即ち、本発明ではプロジェクション前又はリプロジェクション後の３Ｄ空間について記載しており、それに対するシグナリングを行うために飛行機主軸の概念を使用することができる。実施例によっては、Ｘ、Ｙ、Ｚ軸を用いる直交座標系又は球座標系を用いた方法が使用されることもできる。
【０１３１】
飛行機は３次元に自由に回転できる。３次元をなす軸を各々、ピッチ(ｐｉｔｃｈ)軸、ヨー(ｙａｗ)軸及びロール(ｒｏｌｌ)軸と呼ぶ。本明細書では、これらを簡略にｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ又はｐｉｔｃｈ方向、ｙａｗ方向、ｒｏｌｌ方向とも表現する。
【０１３２】
一例として、ｒｏｌｌ軸は、直交座標系のＸ軸又はｂａｃｋ−ｔｏ−ｆｒｏｎｔ軸に対応する。又はｒｏｌｌ軸は、示された飛行機の主軸概念において、飛行機の先端から後端に続く軸であり、ｒｏｌｌ方向の回転とは、ｒｏｌｌ軸を基準とする回転を意味する。ｒｏｌｌ軸を基準として回転した角度を意味するｒｏｌｌ値の範囲は−１８０°から１８０°までであり、この時、境界値−１８０°及び１８０°はｒｏｌｌ値の範囲に含まれる。
【０１３３】
他の例として、ｐｉｔｃｈ軸は、直交座標系のＹ軸又はＳｉｄｅ−ｔｏ−ｓｉｄｅ軸に対応する。又はＰｉｔｃｈ軸は、飛行機の先端が上／下に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、ｐｉｔｃｈ軸は飛行機の翼から翼に続く軸を意味する。ｐｉｔｃｈ軸を基準として回転した角度を意味するｐｉｔｃｈ値の範囲は−９０°から９０°までであり、この時、境界値−９０°及び９０°はｐｉｔｃｈ値の範囲に含まれる。
【０１３４】
さらに他の例として、ｙａｗ軸は、直交座標系のＺ軸又は垂直軸(ｖｅｒｔｉｃａｌ ａｘｉｓ)に対応する。又はｙａｗ軸は、飛行機の先端が左／右に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、ｙａｗ軸は飛行機の上から下に続く軸を意味する。ｙａｗ軸を基準として回転した角度を意味するｙａｗ値の範囲は−１８０°から１８０°までであり、この時、境界値−１８０°及び１８０°はｙａｗ値の範囲に含まれる。
【０１３５】
一実施例による３Ｄ空間において、ｙａｗ軸、ｐｉｔｃｈ軸及びｒｏｌｌ軸を決定する基準となる中央点(ｃｅｎｔｅｒ ｐｏｉｎｔ)は固定していない。
【０１３６】
上述したように、ｐｉｔｃｈ、ｙａｗ及びｒｏｌｌの概念により、本発明での３Ｄ空間が記載される。
【０１３７】
上述したように、２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオのコーディング効率を高めるために、リージョンごとのパッキング過程(Ｒｅｇｉｏｎ−ｗｉｓｅ Ｐａｃｋｉｎｇ)が行われる。リージョンごとのパッキング過程は、２Ｄイメージ上にプロジェクションされたビデオデータをリージョンごとに分けて処理する過程を意味する。リージョンは３６０ビデオデータがプロジェクションされた２Ｄイメージが分けられた領域を示し、２Ｄイメージが分けられたリージョンはプロジェクションスキームによって区分されることができる。ここで、２Ｄイメージはビデオフレーム又はフレームとも呼ばれる。
【０１３８】
これに関連して、本発明では、プロジェクションスキームによるリージョンごとのパッキング過程に対するメタデータ及びメタデータのシグナリング方法を提案する。メタデータに基づいて、リージョンごとのパッキング過程がより効率的に行われることができる。
【０１３９】
図８は３６０ビデオの処理過程及びプロジェクションフォーマットによるリージョンごとのパッキング過程が適用された２Ｄイメージを例示する図である。
【０１４０】
図８の(ａ)は入力された３６０ビデオデータの処理過程を示す。図８の(ａ)を参照すると、入力された視点の３６０ビデオデータは様々なプロジェクションスキームによって３Ｄプロジェクション構造にスティチング及びプロジェクションされ、３Ｄプロジェクション構造にプロジェクションされた３６０ビデオデータは２Ｄイメージで示すことができる。即ち、３６０ビデオデータがスティチングされて、２Ｄイメージにプロジェクションされることができる。３６０ビデオデータがプロジェクションされた２Ｄイメージは、プロジェクションされたフレーム(ｐｒｏｊｅｃｔｅｄ ｆｒａｍｅ)とも表すことができる。プロジェクションされたフレームでは、上述したリージョンごとのパッキング過程が行われる。即ち、プロジェクションされたフレーム上のプロジェクションされた３６０ビデオデータを含む領域をリージョンに区分し、各リージョンを回転、再配列又は各リージョンの解像度を変更するなどの処理が行われる。即ち、リージョンごとのパッキング過程は、プロジェクションされたフレームを一つ以上のパッキングされたフレーム(ｐａｃｋｅｄ ｆｒａｍｅ)にマッピングする過程を示す。リージョンごとのパッキング過程は選択的(ｏｐｔｉｏｎａｌ)なものであり、リージョンごとのパッキング過程が適用されない場合は、パッキングされたフレームとプロジェクションされたフレームが同一であることができる。リージョンごとのパッキング過程が適用される場合には、プロジェクションされたフレームの各リージョンが、パッキングされたフレームのリージョンにマッピングされることができ、プロジェクションされたフレームの各リージョンがマッピングされるパッキングされたフレームのリージョンの位置、模様及びサイズを示すメタデータが導き出されることができる。
【０１４１】
図８の(ｂ)及び(ｃ)はプロジェクションされたフレームの各リージョンがパッキングされたフレームのリージョンにマッピングされる例を示す。図８の(ｂ)を参照すると、３６０ビデオデータはパノラミック(ｐａｎｏｒａｍｉｃ)プロジェクションスキーム(ｐｒｏｊｅｃｔｉｏｎ ｓｃｈｅｍｅ)によって２Ｄイメージ(又はフレーム)にプロジェクションされることができる。プロジェクションされたフレームの上端面(ｔｏｐ)リージョン、中端面(ｍｉｄｄｌｅ)リージョン及び下端面(ｂｏｔｔｏｍ)リージョンは、リージョンごとのパッキング過程が適用されて右側図のように再配列されることができる。ここで、上端面リージョンは２Ｄイメージ上でパノラマの上端面を示すリージョンであり、中端面リージョンは２Ｄイメージ上でパノラマの中端面を示すリージョンであり、下端面リージョンは２Ｄイメージ上でパノラマの下端面を示すリージョンである。また、図８の(ｃ)を参照すると、３６０ビデオデータはキュービク(ｃｕｂｉｃ)プロジェクションスキームによって２Ｄイメージ(又はフレーム)にプロジェクションされることができる。プロジェクションされたフレームの前面(ｆｒｏｎｔ)リージョン、後面(ｂａｃｋ)リージョン、上面(ｔｏｐ)リージョン、底面(ｂｏｔｔｏｍ)リージョン、右側面(ｒｉｇｈｔ)リージョン及び左側面(ｌｅｆｔ)リージョンは、リージョンごとのパッキング過程が適用されて右側図のように再配列されることができる。ここで、前面リージョンは２Ｄイメージ上でキューブの前面を示すリージョンであり、後面リージョンは２Ｄイメージ上でキューブの後面を示すリージョンである。上面リージョンは２Ｄイメージ上でキューブの上面を示すリージョンであり、底面リージョンは２Ｄイメージ上でキューブの底面を示すリージョンである。また、右側面リージョンは２Ｄイメージ上でキューブの右側面を示すリージョンであり、左側面リージョンは２Ｄイメージ上でキューブの左側面を示すリージョンである。
【０１４２】
図８の(ｄ)は３６０ビデオデータがプロジェクションされる様々な３Ｄプロジェクションフォーマットを示す。図８の(ｄ)を参照すると、３Ｄプロジェクションフォーマットは四面体(ｔｅｔｒａｈｅｄｒｏｎ)、キューブ(ｃｕｂｅ)、八面体(ｏｃｔａｈｅｄｒｏｎ)、十二面体(ｄｏｄｅｃａｈｅｄｒｏｎ)、二十面体(ｉｃｏｓａｈｅｄｒｏｎ)を含む。図８の(ｄ)に示された２Ｄプロジェクションは３Ｄプロジェクションフォーマットにプロジェクションされた３６０ビデオデータを２Ｄイメージで示したプロジェクションされたフレームを示す。
【０１４３】
プロジェクションフォーマットの一例として、一実施例によれば、様々なプロジェクションフォーマット(又はプロジェクションスキーム)のうちの一部又は全部が使用される。３６０ビデオについてどのプロジェクションフォーマットが使用されたかは、例えば、メタデータのプロジェクションフォーマットフィールドにより指示されることができる。
【０１４４】
図９ａ及び図９ｂは一部の実施例によるプロジェクションフォーマットを例示する図である。
【０１４５】
図９ａの(ａ)は等正方形プロジェクションフォーマットを示す。等正方形プロジェクションフォーマットが使用される場合、球面上の(ｒ、θ０、０)、即ち、θ＝θ０、φ＝０である点と２Ｄイメージの中央ピクセルがマッピングされることができる。また、前面カメラの主点(ｐｒｉｎｃｉｐａｌ ｐｏｉｎｔ)を球面の(ｒ、０、０)点と仮定することができる。また、φ０＝０に固定することができる。従って、ＸＹ座標系に変換された値(ｘ、ｙ)は、以下の式によって２Ｄイメージ上に(Ｘ、Ｙ)ピクセルに変換されることができる。
【０１４６】
【数１】
2021506189.tif 000003
【０１４７】
また、２Ｄイメージの左上端ピクセルをＸＹ座標系の(０,０)に位置させる場合、ｘ軸に対するオフセット値及びｙ軸に対するオフセット値は以下の式のように示すことができる。
【０１４８】
【数２】
2021506189.tif 000004
【０１４９】
これを用いてＸＹ座標系への返還式を書き換えると、以下の通りである。
【０１５０】
【数３】
2021506189.tif 000005
【０１５１】
例えば、θ０＝０である場合、即ち、２Ｄイメージの中央ピクセルが球面上のθ＝０であるデータを指す場合、球面は(０,０)を基準として２Ｄイメージ上で幅(ｗｉｄｔｈ)＝２Ｋｘπrであり、高さ(ｈｅｉｇｈｔ)＝Ｋxπrの領域にマッピングされることができる。球面上でφ＝π／２であるデータは、２Ｄイメージ上の上側辺の全体にマッピングされることができる。また球面上で(r、π／２、０)であるデータは、２Ｄイメージ上の(３πＫｘｒ／２、πＫｘｒ／２)の点にマッピングされることができる。
【０１５２】
受信側では、２Ｄイメージ上の３６０ビデオデータを球面上にリプロジェクション(ｒｅ−ｐｒｏｊｅｃｔｉｏｎ)することができる。これを返還式で書くと、以下の通りである。
【０１５３】
【数４】
2021506189.tif 000006
【０１５４】
例えば、２Ｄイメージ上でＸＹ座標値が(Ｋxπｒ，０)であるピクセルは、球面上のθ＝θ0、φ＝π／２である点にリプロジェクションされることができる。
【０１５５】
図９ａの(ｂ)はキュービクプロジェクションフォーマットを示す。例えば、スティチングされた３６０ビデオデータは球面上に示されることができる。プロジェクション処理部はかかる３６０ビデオデータをキューブ(Ｃｕｂｅ、立方体)形態に分けて２Ｄイメージ上にプロジェクションすることができる。球面上の３６０ビデオデータはキューブの各面に対応して、２Ｄイメージ上に図９ａの(ｂ)左側又は(ｂ)右側に示したようにプロジェクションされることができる。
【０１５６】
図９ａの(ｃ)はシリンダー型のプロジェクションフォーマットを示す。スティチングされた３６０ビデオデータが球面上に示されると仮定する時、プロジェクション処理部はかかる３６０ビデオデータをシリンダー形態に分けて２Ｄイメージ上にプロジェクションすることができる。球面上の３６０ビデオデータはシリンダーの側面(ｓｉｄｅ)、上面(ｔｏｐ)、底面(ｂｏｔｔｏｍ)に各々対応し、２Ｄイメージ上に図９ａの(ｃ)左側又は(ｃ)右側に示したようにプロジェクションされることができる。
【０１５７】
図９ａの(ｄ)はタイル基盤のプロジェクションフォーマットを示す。タイル基盤(Ｔｉｌｅ−ｂａｓｅｄ)のプロジェクションスキームが使用される場合、上述したプロジェクション処理部は球面上の３６０ビデオデータを、図９ａの(ｄ)に示したように、一つ以上の細部領域に分けて２Ｄイメージ上にプロジェクションすることができる。この細部領域はタイルとも呼ばれる。
【０１５８】
図９ｂの(ｅ)はピラミッドプロジェクションフォーマットを示す。スティチングされた３６０ビデオデータが球面上に示されると仮定する時、プロジェクション処理部はかかる３６０ビデオデータをピラミッド形態であるとして、各面を分けて２Ｄイメージ上にプロジェクションすることができる。球面上の３６０ビデオデータは、ピラミッドの底面(ｆｒｏｎｔ)、ピラミッドの４方向の側面(Ｌｅｆｔ ｔｏｐ、Ｌｅｆｔ ｂｏｔｔｏｍ、Ｒｉｇｈｔ ｔｏｐ、Ｒｉｇｈｔ ｂｏｔｔｏｍ)に各々対応し、２Ｄイメージ上に図９ｂの(ｅ)左側又は(ｅ)右側に示されたように、プロジェクションすることができる。ここで、底面は正面を見るカメラが得たデータを含む領域である。
【０１５９】
図９ｂの(ｆ)はパノラミックプロジェクションフォーマットを示す。パノラミックプロジェクションフォーマットが使用される場合、上述したプロジェクション処理部は、図９ｂの(ｆ)に示したように、球面上の３６０ビデオデータのうち、側面のみを２Ｄイメージ上にプロジェクションすることができる。これはシリンダー型のプロジェクションスキームにおいて、上面(ｔｏｐ)と底面(ｂｏｔｔｏｍ)が存在しない場合と同様である。
【０１６０】
一方、一実施例によれば、スティチング無しにプロジェクションが行われることができる。図９ｂの(ｇ)はスティチング無しにプロジェクションが行われる場合を示す。スティチング無しにプロジェクションされる場合、上述したプロジェクション処理部は、図９ｂの(ｇ)に示したように、３６０ビデオデータをそのまま２Ｄイメージ上にプロジェクションすることができる。この場合、スティチングは行われず、カメラで得た各々のイメージがそのまま２Ｄイメージ上にプロジェクションされることができる。
【０１６１】
図９ｂの(ｇ)を参照すると、２つのイメージが２Ｄイメージ上にスティチング無しにプロジェクションされることができる。各々のイメージは球形カメラ(Ｓｐｈｅｒｉｃａｌ ｃａｍｅｒａ)(又は魚眼(ｆｉｓｈ−ｅｙｅ)カメラ)で各センサにより得た魚眼イメージである。上述したように、受信側でカメラセンサから得るイメージデータをスティチングすることができ、スティチングされたイメージデータを球面(Ｓｐｈｅｒｉｃａｌ ｓｕｒｆａｃｅ)上にマッピングして球形ビデオ(Ｓｐｈｅｒｉｃａｌ ｖｉｄｅｏ)、即ち、３６０ビデオをレンダリングすることができる。
【０１６２】
図１０ａ及び１０ｂは一実施例によるタイル(Ｔｉｌｅ)を示す図である。
【０１６３】
２Ｄイメージにプロジェクションされた３６０ビデオデータ又はリージョンごとのパッキングまで行われた３６０ビデオデータは一つ以上のタイルに区分できる。示された図１０ａは一つの２Ｄイメージが１６個のタイルに分かれた形態を示している。ここで、２Ｄイメージとは、上述したプロジェクトフレーム或いはパックドフレーム(ｐａｃｋｅｄ ｆｒａｍｅ)である。本発明による３６０ビデオ送信装置のさらに他の実施例によれば、データ符号器は各々のタイルを独立して符号化することができる。
【０１６４】
上述したリージョンごとのパッキングとタイリング(Ｔｉｌｉｎｇ)は区分される。上述したリージョンごとのパッキングは、コーディング効率を高めるために、又は解像度を調整するために、２Ｄイメージ上にプロジェクションされた３６０ビデオデータをリージョンで区分して処理することを意味する。タイリングは、データ符号器がプロジェクトフレーム乃至パックドフレームをタイルという区画に分け、該当タイルごとに独立して符号化を行うことを意味する。３６０ビデオが提供される時、ユーザは３６０ビデオの全部分を同時に消費しない。タイリングは制限された帯域幅上でユーザが現在見ているビューポートなどの重要部分或いは一定部分に該当するタイルのみを受信側に送信或いは消費することを可能にする。タイリングにより制限された帯域幅をさらに効率的に活用することができ、受信側でも全ての３６０ビデオデータを一回に全部処理することに比べて演算負荷を減らすことができる。
【０１６５】
リージョンとタイルは区分されるので、２つの領域が等しい必要はない。しかし、実施例によっては、リージョンとタイルは同じ領域を称することができる。実施例によって、タイルに合わせてリージョンごとのパッキングが行われてリージョンとタイルが等しいことができる。実施例によっては、プロジェクションスキームによる各面とリージョンが同一である場合、プロジェクションスキームによる各面、リージョン、タイルが同じ領域を称することもできる。文脈によって、リージョンをＶＲリージョン、タイルをタイルリージョンと呼ぶこともできる。
【０１６６】
ＲＯＩ(Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ)は、３６０コンテンツ提供者が提案する、ユーザの関心領域を意味する。３６０コンテンツ提供者は３６０ビデオを製作する時、ある特定領域にユーザが関心を持つと判断して、それを考慮して３６０ビデオを製作する。実施例によってＲＯＩは３６０ビデオのコンテンツ上、重要な内容が再生される領域に該当する。
【０１６７】
３６０ビデオ送信／受信装置のさらに他の実施例によれば、受信側フィードバック処理部はビューポート情報を抽出、収集して、それを送信側フィードバック処理部に伝達する。この過程において、ビューポート情報は両側のネットワークインターフェースを用いて伝達される。示された図１０ａの２Ｄイメージにビューポート１０００が表示されている。ここで、ビューポートは２Ｄイメージ上の９個のタイルにわたることができる。
【０１６８】
この場合、さらに３６０ビデオ送信装置は、タイリングシステムを含む。実施例によってタイリングシステムは、データ符号器の後に位置することもでき(図示した１０ｂ)、上述したデータ符号器或いは送信処理部内に含まれることもでき、別途の内／外部エレメントとして３６０ビデオ送信装置に含まれることもできる。
【０１６９】
タイリングシステムでは送信側フィードバック処理部からビューポート情報が伝達される。タイリングシステムはビューポート領域が含まれるタイルのみを選別して送信することができる。図示した図１０ａの２Ｄイメージにおいて、総１６個のタイルのうち、ビューポート領域(１０００)を含む９個のタイルのみが送信されることができる。ここで、タイリングシステムは広帯域によるユニキャスト方式でタイルを送信する。ユーザによってビューポート領域が異なるためである。
【０１７０】
この場合、送信側フィードバック処理部はビューポート情報をデータ符号器に伝達することができる。データ符号器はビューポート領域を含むタイルについて他のタイルより高い品質で符号化を行う。
【０１７１】
またこの場合、送信側フィードバック処理部はビューポート情報をメタデータ処理部に伝達することができる。メタデータ処理部はビューポート領域に関連するメタデータを３６０ビデオ送信装置の各内部エレメントに伝達するか、又は３６０ビデオ関連メタデータに含むことができる。
【０１７２】
かかるタイリング方式により、送信帯域幅を節約でき、タイルごとに差等化された処理を行って効率的なデータ処理／送信が可能になる。
【０１７３】
上述したビューポート領域に関連する実施例は、ビューポート領域ではない他の特定の領域についても類似方式を適用することができる。例えば、上述したゲイズ分析によりユーザが主に関心を持つと判断された領域、ＲＯＩ領域、ユーザがＶＲディスプレイにより３６０ビデオに接する時、最初に再生される領域(初期視点、Ｉｎｉｔｉａｌ Ｖｉｅｗｐｏｉｎｔ)などについても、上述したビューポート領域のような方式の処理が行われる。
【０１７４】
３６０ビデオ送信装置のさらに他の実施例によれば、送信処理部は各タイルごとに異なるように送信のための処理を行うことができる。送信処理部はタイルごとに異なる送信パラメータ(モジュレーションオーダ、符号レートなど)を適用して、各タイルごとに伝達されるデータの剛健性(ｒｏｂｕｓｔｅｎｓｓ)を変更することができる。
【０１７５】
この時、送信側のフィードバック処理部は３６０°ビデオ受信装置から伝達されたフィードバック情報を送信処理部に伝達して、送信処理部がタイルごとの差等化した送信処理を行うようにする。例えば、送信側フィードバック処理部は、受信側から伝達されたビューポート情報を送信処理部に伝達する。送信処理部は該当ビューポート領域を含むタイルに対して、他のタイルよりも高い剛健性を有するように送信処理を行う。
【０１７６】
図１１は一実施例による３６０°ビデオ関連のメタデータの一例を示す。
【０１７７】
上述したように、３６０°ビデオ関連のメタデータは、３６０°ビデオに関する様々なメタデータを含む。文脈によって、３６０°ビデオ関連のメタデータは、３６０°ビデオ関連のシグナリング情報とも呼ばれる。３６０°ビデオ関連のメタデータは、別のシグナリングテーブルに含まれて送信され、ＤＡＳＨ ＭＰＤ内に含まれて送信されることもでき、ＩＳＯＢＭＦＦなどのファイルフォーマットにボックス形態で含まれて伝達されることもできる。３６０°ビデオ関連のメタデータがボックス形態で含まれる場合、ファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの様々なレベルに含まれて該当するレベルのデータに関するメタデータを含むことができる。
【０１７８】
実施例によって、後述するメタデータの一部は、シグナリングテーブルで構成されて伝達され、残りの一部はファイルフォーマット内にボックス或いはトラック形態で含まれることもできる。
【０１７９】
３６０°ビデオ関連のメタデータの一実施例によれば、３６０°ビデオ関連のメタデータはプロジェクションスキームなどに関する基本メタデータ、立体(Ｓｔｅｒｅｏｓｃｏｐｉｃ)関連メタデータ、初期視点(Ｉｎｉｔｉａｌ Ｖｉｅｗ／Ｉｎｉｔｉａｌ Ｖｉｅｗｐｏｉｎｔ)関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)関連メタデータ及び／又はクロップされた領域関連のメタデータを含む。実施例によっては３６０°ビデオ関連のメタデータは、上述したもの以外にも、更なるメタデータを含むことができる。
【０１８０】
３６０°ビデオ関連のメタデータの実施例は、上述した基本メタデータ、立体関連メタデータ、初期視点関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ関連メタデータ、クロップされた領域関連メタデータ及び／又は後に追加されるメタデータのうちのいずれか一つを含む形態である。本発明による３６０°ビデオ関連のメタデータの実施例は、各々含む細部メタデータの場合の数によって多様に構成されることができる。実施例によって、３６０°ビデオ関連のメタデータは、上述したもの以外にも、更なる情報を含むことができる。
【０１８１】
ｓｔｅｒｅｏ_ｍｏｄｅフィールドは該当３６０°ビデオが支援する３Ｄレイアウトを指示する。このフィールドのみで該当３６０°ビデオが３Ｄを支援するか否かを指示することもできるが、この場合、上記ｉｓ_ｓｔｅｒｅｏｓｃｏｐｉｃフィールドは省略できる。このフィールド値が０である場合、該当３６０°ビデオはモノ(ｍｏｎｏ)モードである。即ち、プロジェクションされた２Ｄイメージは、一つのモノビュー(ｍｏｎｏ ｖｉｅｗ)のみを含む。この場合、該当３６０°ビデオは３Ｄを支援しない。
【０１８２】
このフィールド値が１、２である場合、該当３６０°ビデオは各々左右レイアウト、上下レイアウトに従う。左右レイアウト、上下レイアウトは各々、ｓｉｄｅ−ｂｙ−ｓｉｄｅフォーマット、ｔｏｐ−ｂｏｔｔｏｍフォーマットとも呼ばれる。左右レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上で各々左／右に位置することができる。上下レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージはイメージフレーム上で各々上／下に位置することができる。該当フィールドが残りの値を有する場合には、今後の使用のために残っておくことができる(Ｒｅｓｅｒｖｅｄ ｆｏｒ Ｆｕｔｕｒｅ Ｕｓｅ)。
【０１８３】
初期視点関連のメタデータは、ユーザが３６０°ビデオを最初に再生した時に見る視点(初期視点)に関する情報を含む。初期視点関連のメタデータは、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｙａｗ_ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｐｉｔｃｈ_ｄｅｇｒｅｅフィールド及び／又はｉｎｉｔｉａｌ_ｖｉｅｗ_ｒｏｌｌ_ｄｅｇｒｅｅフィールドを含む。実施例によって初期視点関連のメタデータは更なる情報を含むこともできる。
【０１８４】
ｉｎｉｔｉａｌ_ｖｉｅｗ_ｙａｗ_ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｐｉｔｃｈ_ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｒｏｌｌ_ｄｅｇｒｅｅフィールドは、該当３６０°ビデオ再生時の初期視点を示す。即ち、再生時に最初に見られるビューポートの正中央点が、これらの３つのフィールドにより示される。より具体的には、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｙａｗ_ｄｅｇｒｅｅフィールドは、初期視点に対するｙａｗ値を示す。即ち、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｙａｗ_ｄｅｇｒｅｅフィールドは、正中央点の位置をｙａｗ軸を基準として回転した方向(符号)及びその程度(角度)で示すことができる。ｉｎｉｔｉａｌ_ｖｉｅｗ_ｐｉｔｃｈ_ｄｅｇｒｅｅフィールドは、初期視点に対するｐｉｔｃｈ値を示す。即ち、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｐｉｔｃｈ_ｄｅｇｒｅｅフィールドは、正中央点の位置をｐｉｔｃｈ軸を基準として回転した方向(符号)及びその程度(角度)で示すことができる。また、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｒｏｌｌ_ｄｅｇｒｅｅフィールドは、初期視点に対するｒｏｌｌ値を示す。即ち、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｒｏｌｌ_ｄｅｇｒｅｅフィールドは、正中央点の位置をｒｏｌｌ軸を基準として回転した方向(符号)及びその程度(角度)で示すことができる。ｉｎｉｔｉａｌ_ｖｉｅｗ_ｙａｗ_ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｐｉｔｃｈ_ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ_ｖｉｅｗ_ｒｏｌｌ_ｄｅｇｒｅｅフィールドに基づいて、該当３６０°ビデオ再生時の初期視点、即ち、再生時に最初に見られるビューポートの正中央点を示し、これにより３６０°ビデオの特定の領域がユーザに初期視点にディスプレイされて提供されることができる。また、ＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)により、指示された初期視点を基準とした初期ビューポートの幅及び高さが決定される。即ち、これらの３つのフィールド及びＦＯＶ情報を用いて、３６０°ビデオ受信装置はユーザに３６０°ビデオの一定領域を初期ビューポートとして提供することができる。
【０１８５】
実施例によって、初期視点関連のメタデータが指示する初期視点は、シーン(Ｓｃｅｎｅ)ごとに変更可能である。即ち、３６０コンテンツの時間的流れによって３６０°ビデオの場面が変更されるが、該当３６０°ビデオの場面ごとにユーザが最初に見る初期視点或いは初期ビューポートが変更されることができる。この場合、初期視点関連のメタデータは、各場面ごとの初期視点を指示することができる。このために、さらに初期視点関連のメタデータは、該当初期視点が適用される場面を識別するシーン識別子を含むことができる。３６０°ビデオの場面ごとにＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)が変更可能であるので、さらに初期視点関連のメタデータは、該当場面に該当するＦＯＶを示す場面ごとのＦＯＶ情報を含むことができる。
【０１８６】
ＲＯＩ関連メタデータは上述したＲＯＩに関連する情報を含む。ＲＯＩ関連メタデータは、２ｄ_ｒｏｉ_ｒａｎｇｅ_ｆｌａｇフィールド及び／又は３ｄ_ｒｏｉ_ｒａｎｇｅ_ｆｌａｇフィールドを含む。２ｄ_ｒｏｉ_ｒａｎｇｅ_ｆｌａｇフィールドは、ＲＯＩ関連メタデータが２Ｄイメージを基準としてＲＯＩを表現するフィールドを含むか否かを指示し、３ｄ_ｒｏｉ_ｒａｎｇｅ_ｆｌａｇフィールドは、ＲＯＩ関連メタデータが３Ｄ空間を基準としてＲＯＩを表現するフィールドを含むか否かを指示することができる。実施例によってＲＯＩ関連メタデータは、ＲＯＩによる差等符号化情報、ＲＯＩによる差等送信処理情報などの更なる情報を含むこともできる。
【０１８７】
ＲＯＩ関連メタデータが２Ｄイメージを基準としてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ_ｔｏｐ_ｌｅｆｔ_ｘフィールド、ｍａｘ_ｔｏｐ_ｌｅｆｔ_ｘフィールド、ｍｉｎ_ｔｏｐ_ｌｅｆｔ_ｙフィールド、ｍａｘ_ｔｏｐ_ｌｅｆｔ_ｙフィールド、ｍｉｎ_ｗｉｄｔｈフィールド、ｍａｘ_ｗｉｄｔｈフィールド、ｍｉｎ_ｈｅｉｇｈｔフィールド、ｍａｘ_ｈｅｉｇｈｔフィールド、ｍｉｎ_ｘフィールド、ｍａｘ_ｘフィールド、ｍｉｎ_ｙフィールド及び／又はｍａｘ_ｙフィールドを含む。
【０１８８】
ｍｉｎ_ｔｏｐ_ｌｅｆｔ_ｘフィールド、ｍａｘ_ｔｏｐ_ｌｅｆｔ_ｘフィールド、ｍｉｎ_ｔｏｐ_ｌｅｆｔ_ｙフィールド、ｍａｘ_ｔｏｐ_ｌｅｆｔ_ｙフィールドは、ＲＯＩの左上端の座標の最小／最大値を示す。即ち、フィールドは順に左上端の最小ｘ座標、最大ｘ座標、最小ｙ座標、最大ｙ座標を示す。
【０１８９】
ｍｉｎ_ｗｉｄｔｈフィールド、ｍａｘ_ｗｉｄｔｈフィールド、ｍｉｎ_ｈｅｉｇｈｔフィールド、ｍａｘ_ｈｅｉｇｈｔフィールドは、ＲＯＩの幅(ｗｉｄｔｈ)、高さ(ｈｅｉｇｈｔ)の最小／最大値を示す。即ち、フィールドは順に幅の最小値、幅の最大値、高さの最小値、高さの最大値を示す。
【０１９０】
ｍｉｎ_ｘフィールド、ｍａｘ_ｘフィールド、ｍｉｎ_ｙフィールド、ｍａｘ_ｙフィールドは、ＲＯＩ内の座標の最小／最大値を示す。即ち、フィールドは順にＲＯＩ内座標の最小ｘ座標、最大ｘ座標、最小ｙ座標、最大ｙ座標を示す。これらのフィールドは省略可能である。
【０１９１】
ＲＯＩ関連メタデータが３Ｄレンダリング空間上の座標を基準としてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ_ｙａｗフィールド、ｍａｘ_ｙａｗフィールド、ｍｉｎ_ｐｉｔｃｈフィールド、ｍａｘ_ｐｉｔｃｈフィールド、ｍｉｎ_ｒｏｌｌフィールド、ｍａｘ_ｒｏｌｌフィールド、ｍｉｎ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールド及び／又はｍａｘ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールドを含む。
【０１９２】
ｍｉｎ_ｙａｗフィールド、ｍａｘ_ｙａｗフィールド、ｍｉｎ_ｐｉｔｃｈフィールド、ｍａｘ_ｐｉｔｃｈフィールド、ｍｉｎ_ｒｏｌｌフィールド、ｍａｘ_ｒｏｌｌフィールドは、ＲＯＩが３Ｄ空間上で占める領域をｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの最小／最大値で示すことができる。即ち、フィールドは順にヨー軸基準の回転量の最小値、ヨー軸基準の回転量の最大値、ピッチ軸基準の回転量の最小値、ピッチ軸基準の回転量の最大値、ロール軸基準の回転量の最小値、ロール軸基準の回転量の最大値を示す。
【０１９３】
ｍｉｎ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールド、ｍａｘ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールドは、該当３６０°ビデオデータのＦＯＶ(Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ)の最小／最大値を示す。ＦＯＶは３６０°ビデオの再生時に一回にディスプレイされる視野範囲を意味する。ｍｉｎ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールド、ｍａｘ_ｆｉｅｌｄ_ｏｆ_ｖｉｅｗフィールドは各々、ＦＯＶの最小値、最大値を示す。これらのフィールドは省略可能である。これらのフィールドは後述するＦＯＶ関連メタデータに含まれることもできる。
【０１９４】
ＦＯＶ関連メタデータは、上述したＦＯＶに関連する情報を含む。ＦＯＶ関連メタデータはｃｏｎｔｅｎt_ｆｏｖ_ｆｌａｇフィールド及び／又はｃｏｎｔｅｎｔ_ｆｏｖフィールドを含む。実施例によっては、ＦＯＶ関連メタデータは、上述したＦＯＶの最小／最大値関連情報などの更なる情報を含むこともできる。
【０１９５】
ｃｏｎｔｅｎｔ_ｆｏｖ_ｆｌａｇフィールドは、該当３６０°ビデオについて製作時に意図したＦＯＶに関する情報が存在するか否かを指示する。このフィールド値が１である場合、ｃｏｎｔｅｎｔ_ｆｏｖフィールドが存在することができる。
【０１９６】
ｃｏｎｔｅｎｔ_ｆｏｖフィールドは、該当３６０°ビデオについて製作時に意図したＦＯＶに関する情報を示す。実施例によって、該当３６０°ビデオ受信装置の垂直(ｖｅｒｔｉｃａｌ)或いは水平(ｈｏｒｉｚｏｎｔａｌ)ＦＯＶによって、３６０映像のうち、ユーザに一回にディスプレイされる領域が決定される。或いは、実施例によって、このフィールドのＦＯＶ情報を反映してユーザに一回にディスプレイされる３６０°ビデオ領域が決定されることもできる。
【０１９７】
クロップされた領域関連メタデータは、イメージフレーム上で実際の３６０°ビデオデータを含む領域に関する情報を含む。イメージフレームは実際の３６０°ビデオデータのプロジェクションされたアクティブビデオ領域(Ａｃｔｉｖｅ Ｖｉｄｅｏ Ａｒｅａ)と、そうではない領域とを含む。この時、アクティブビデオ領域は、クロップされた領域又はデフォルトディスプレイ領域とも称される。このアクティブビデオ領域は、実際のＶＲディスプレイ上で３６０°ビデオとして見られる領域であり、３６０°ビデオ受信装置又はＶＲディスプレイは、アクティブビデオ領域のみを処理／ディスプレイすることができる。例えば、イメージフレームの縦横比(ａｓｐｅｃｔ ｒａｔｉｏ)が４:３である場合、イメージフレームの上側の一部と下側の一部を除いた領域のみが３６０°ビデオデータを含むことができるが、この部分をアクティブビデオ領域と言える。
【０１９８】
クロップされた領域関連メタデータは、ｉｓ_ｃｒｏｐｐｅｄ_ｒｅｇｉｏｎフィールド、ｃｒ_ｒｅｇｉｏｎ_ｌｅｆｔ_ｔｏｐ_ｘフィールド、ｃｒ_ｒｅｇｉｏｎ_ｌｅｆｔ_ｔｏｐ_ｙフィールド、ｃｒ_ｒｅｇｉｏｎ_ｗｉｄｔｈフィールド及び／又はｃｒ_ｒｅｇｉｏｎ_ｈｅｉｇｈｔフィールドを含む。実施例によっては、クロップされた領域関連メタデータは更なる情報を含むこともできる。
【０１９９】
ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールドは、イメージフレームの全体領域が３６０°ビデオ受信装置或いはＶＲディスプレイにより使用されるか否かを示すフラグである。ここで、３６０°ビデオデータがマッピングされた領域或いはＶＲディスプレイ上で見られる領域は、アクティブビデオ領域(Ａｃｔｉｖｅ Ｖｉｄｅｏ Ａｒｅａ)とも呼ばれる。ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールドは、イメージフレーム全体がアクティブビデオ領域であるか否かを指示する。イメージフレームの一部のみがアクティブビデオ領域である場合は、さらに以下の４つのフィールドが追加される。
【０２００】
ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ_ｘフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｙフィールド、ｃｒ＿ｒｅｇｉｏｎ_ｗｉｄｔｈフィールド、ｃｒ＿ｒｅｇｉｏｎ_ｈｅｉｇｈｔフィールドは、イメージフレーム上でアクティブビデオ領域を示す。これらのフィールドは各々、アクティブビデオ領域の左上端のｘ座標、アクティブビデオ領域の左上端のｙ座標、アクティブビデオ領域の幅(ｗｉｄｔｈ)、アクティブビデオ領域の高さ(ｈｅｉｇｈｔ)を示す。幅と高さはピクセル単位で示される。
【０２０１】
３６０ビデオ基盤のＶＲシステムは、上述した３６０ビデオ処理過程に基づいて３６０ビデオに対してユーザの位置を基準として互いに異なる視聴方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)に対する視覚的／聴覚的経験を提供する。３６０ビデオについて、ユーザの固定位置での互いに異なる視聴方向に対する視覚的／聴覚的経験を提供するＶＲシステムは、３ＤｏＦ(ｔｈｒｅｅ ｄｅｇｒｅｅ ｏｆ ｆｒｅｅｄｏｍ)基盤のＶＲシステムとも呼ばれる。なお、互いに異なるビューポイント、互いに異なる視点での互いに異なる視聴方向に対する拡張した視覚的／聴覚的経験を提供できるＶＲシステムは、３ＤｏＦ＋又は３ＤｏＦ ｐｌｕｓ基盤のＶＲシステムとも呼ばれる。
【０２０２】
図１２はビューポイント、視点、視聴方向の概念を概略的に示す図である。
【０２０３】
図１２を参照すると、(ａ)のような空間(ｅｘ.講演場)を仮定した時、表示された各サークルは互いに異なるビューポイントを示す。同じ空間内に位置する各ビューポイントで提供される映像／音声は、同じ時間帯で互いに連関することができる。この場合、特定のビューポイントでユーザの視線方向の変化又はヘッドの動き(ｅｘ.ｈｅａｄ ｍｏｔｉｏｎ)によって互いに異なる視覚的／聴覚的経験をユーザに提供することができる。即ち、特定のビューポイントについて、(ｂ)に示されたように、様々な視点の球(Ｓｐｈｅｒｅ)を仮定することができ、各視点の相対的な位置を反映して映像／音声／テキスト情報を提供することができる。
【０２０４】
なお、図１２の(ｃ)に示したように、特定のビューポイントの特定の視点では、既存の３ＤｏＦのように様々な方向の視覚的／聴覚的情報を伝達することができる。この時、メインソース(ｅｘ.映像／音声／テキスト)だけではなく、更なる様々なソースを統合して提供することができ、この場合、ユーザの視聴方向に連携されるか、又は独立して情報を伝達することができる。
【０２０５】
図１３は一実施例による３ＤｏＦ＋ビデオ提供のためのアーキテクチャの一例を概略的に示す図である。
【０２０６】
図１３は３ＤｏＦ＋の映像獲得、前処理、送信、(後)処理、レンダリング及びフィードバック過程を含む３ＤｏＦ＋ｅｎｄ ｔｏ ｅｎｄシステムのフローチャートを示す。
【０２０７】
図１３を参照すると、獲得(ａｃｑｕｉｓｉｔｉｏｎ)過程は、３６０ビデオのキャプチャー、合成又は生成過程などによる３６０ビデオを得る過程を意味する。この過程により、多数の位置に対して視線方向の変化(ｅｘ．ｈｅａｄ ｍｏｔｉｏｎ)による多数の映像／音声情報を得ることができる。この時、映像情報は視覚的情報(ｅｘ．ｔｅｘｔｕｒｅ)だけではなく、深さ情報(ｄｅｐｔｈ)を含む。この時、１３１０の映像情報の例示のように、互いに異なるビューポイントによる互いに異なる視点の複数の情報を各々得ることができる。
【０２０８】
合成(ｃｏｍｐｏｓｉｔｉｏｎ)過程は、映像／音声入力装置により得た情報だけではなく、外部メディアによる映像(ビデオ／イメージなど)、音声(オーディオ／効果音響など)、テキスト(字幕など)をユーザ経験に含めるために合成するための手順及び方法を含む。
【０２０９】
前処理(ｐｒｅ−ｐｒｏｃｅｓｉｎｇ)過程は、得られた３６０ビデオの送信／伝達のための準備(前処理)過程であり、上述したスティチング、プロジェクション、リージョンごとのパッキング過程及び／又は符号化過程などを含む。即ち、この過程は、映像／音声／テキスト情報を製作者の意図によってデータを変更／補完するための前処理過程及び符号化過程を含む。例えば、映像の前処理過程では、得られた視覚情報を３６０球面(Ｓｐｈｅｒｅ)上にマッピングする作業(Ｓｔｉｔｃｈｉｎｇ)、領域の境界をなくすか、色相／明るさの差を減らすか、映像の視覚的効果を与える補正作業(ｅｄｉｔｉｎｇ)、視点による映像を分離する過程(ｖｉｅｗ ｓｅｇｍｅｎｔａｔｉｏｎ)、３６０球面(Ｓｐｈｅｒｅ)上の映像を２Ｄ映像にマッピングするプロジェクション過程(ｐｒｏｊｅｃｔｉｏｎ)、領域によって映像を再配置する過程(ｒｅｇｉｏｎ−ｗｉｓｅ ｐａｃｋｉｎｇ)、映像情報を圧縮する符号化過程が含まれる。１３２０のビデオ側面の例示のように、互いに異なるビューポイントによる互いに異なる視点の複数のプロジェクション映像が生成されることができる。
【０２１０】
送信過程は、順位過程(前処理過程)を経た映像／音声データ及びメタデータを処理して送信する過程を意味する。互いに異なるビューポイントによる互いに異なる視点の複数の映像／音声データ及び関連メタデータを伝達する方法であって、上述したように、放送網、通信網を用いるか、又は単方向伝達などの方法を使用することができる。
【０２１１】
後処理及び合成過程は、受信／格納されたビデオ／オーディオ／テキストデータを復号し、最終再生するための後処理過程を意味する。例えば、後処理過程は、上述したように、パッキングされた映像を開けるアンパッキング及び２Ｄプロジェクションされた映像を３Ｄ球形映像に復元するリプロジェクション過程などを含む。
【０２１２】
レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングして、ディスプレイする過程を意味する。この過程において、映像／音声信号を最終的に出力するための形態で再構成することができる。ユーザの関心領域が存在する方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)、視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ／ｈｅａｄ ｐｏｓｉｔｉｏｎ)、位置(ｖｉｅｗｐｏｉｎｔ)を追跡することができ、これらの情報によって必要な映像／音声／テキスト情報のみを選択的に使用することができる。この時、映像信号の場合、ユーザの関心領域によって１３３０のように互いに異なる視点が選択されることができ、最終的に１３４０のように特定の位置での特定視点の特定方向の映像が出力されることができる。
【０２１３】
図１４ａ及び１４ｂは３ＤｏＦ＋ｅｎｄ ｔｏ ｅｎｄシステムアーキテクチャの一例である。
【０２１４】
図１４ａ及び１４ｂのアーキテクチャにより、上述したような３Ｄ０Ｆ＋３６０コンテンツが提供される。
【０２１５】
図１４ａを参照すると、３６０ビデオ送信装置(送信端)は、大きく３６０ビデオ(イメージ)／オーディオデータが得られる部分(ａｃｑｕｉｓｉｔｉｏｎ ｕｎｉｔ)、得られたデータを処理する部分(ｖｉｄｅｏ／ａｕｄｉｏ ｐｒｅ−ｐｒｏｃｅｓｓｏｒ)、追加情報を合成するための部分(ｃｏｍｐｏｓｉｔｉｏｎ ｇｅｎｅｒａｔｉｏｎ ｕｎｉｔ)、テキスト、オーディオ及びプロジェクションされた３６０°ビデオを符号化する部分(ｅｎｃｏｄｉｎｇ ｕｎｉｔ)及び符号化されたデータをカプセル化する部分(ｅｎｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)で構成される。上述したように、符号化されたデータはビットストリームの形態で出力され、符号化されたデータはＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化されるか、又はその他のＤＡＳＨセグメントなどの形態で処理できる。符号化されたデータはデジタル格納媒体により３６０ビデオ受信装置に伝達され、又はたとえ明示的に示されてはいないが、上述したように送信処理部により送信のための処理を経た後、放送網又は広帯域などにより送信されることができる。
【０２１６】
データ獲得部分では、センサの方向(Ｓｅｎｓｏｒ ｏｒｉｅｎｔａｔｉｏｎ、映像の場合は、ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)、センサの情報獲得視点(Ｓｅｎｓｏｒ ｐｏｓｉｔｉｏｎ、映像の場合は、ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、センサの情報獲得位置(映像の場合は、ｖｉｅｗｐｏｉｎｔ)によって、互いに異なる情報を同時に又は連続して得ることができ、この時、ビデオ、イメージ、オーディオ、位置情報などを得ることができる。
【０２１７】
映像データの場合、テクスチャー(ｔｅｘｔｕｒｅ)及び深さ情報(ｄｅｐｔｈ)を各々得ることができ、各コンポーネントの特性によって互いに異なる前処理(ｖｉｄｅｏ ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇ)が可能である。例えば、テクスチャー情報の場合、イメージセンサ位置情報を用いて同じ位置(ｖｉｅｗｐｏｉｎｔ)で得た同一視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)の互いに異なる方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)の映像を用いて３６０全方位映像を構成することができ、このために、映像スティチング過程を行うことができる。また、映像を符号化するためのフォーマットに変更するためのプロジェクション及び／又はリージョンごとのパッキングを行うことができる。深さ映像の場合、一般的に深度カメラにより映像を得ることができ、この場合、テクスチャーのような形態で深さ映像を作ることができる。或いは、別途に測定されたデータに基づいて深さデータを生成することもできる。コンポーネントごとの映像が生成された後、効率的な圧縮のためのビデオフォーマットへの追加変換(ｐａｃｋｉｎｇ)を行うか、又は実際必要な部分に分けて再構成する過程(Ｓｕｂ−ｐｉｃｔｕｒｅ ｇｅｎｅｒａｔｉｏｎ)が行われる。Ｖｉｄｅｏ ｐｒｅ−ｐｒｏｃｅｓｓｉｎｇで使用された映像構成に関する情報はビデオメタデータで伝達される。
【０２１８】
得られたデータ(或いは主にサービスするためのデータ)以外に、さらに与えられる映像／音声／テキスト情報を共にサービスする場合、これらの情報を最終再生時に合成するための情報を提供する必要がある。合成生成部(Ｃｏｍｐｏｓｉｔｉｏｎ ｇｅｎｅｒａｔｉｏｎ)では、製作者の意図に基づいて、外部で生成されたメディアデータ(映像の場合は、ビデオ／イメージ、音声の場合は、オーディオ／効果音響、テキストの場合は、字幕などに)を最終再生部で合成するための情報を生成し、この情報は合成メタデータ(ｃｏｍｐｏｓｉｔｉｏｎ ｍｅｔａｄａｔａ)で伝達される。
【０２１９】
各々の処理が行われた映像／音声／テキスト情報は、各々の符号器を用いて圧縮され、アプリケーションによってファイル或いはセグメント単位でカプセル化される。この時、ビデオ、ファイル或いはセグメント構成方法によって必要な情報のみを抽出することができる。
【０２２０】
各データを受信器で再構成するための情報がコーデック或いはファイルフォーマット／システムレベルで伝達されるが、ここではビデオ／オーディオ再構成のための情報(ｖｉｄｅｏ／ａｕｄｉｏ ｍｅｔａｄａｔａ)、オーバーレイのための合成情報(ｃｏｍｐｏｓｉｔｉｏｎ ｍｅｔａｄａｔａ)、ビデオ／オーディオ再生可能位置(ｖｉｅｗｐｏｉｎｔ)及び各位置による視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)情報(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ ａｎｄ ｖｉｅｗｐｏｉｎｔ ｍｅｔａｄａｔａ)などが含まれる。このような情報の処理は、別途のメタデータ処理部による生成も可能である。
【０２２１】
図１４ｂを参照すると、３６０ビデオ受信装置(受信端)は大きく、受信されたファイル或いはセグメントをカプセル除去する部分(ｆｉｌｅ／ｓｅｇｍｅｎｔ ｄｅｃａｐｓｕｌａｔｉｏｎ ｕｎｉｔ)、ビットストリームから映像／音声／テキスト情報を生成する部分(ｄｅｃｏｄｉｎｇ ｕｎｉｔ)、映像／音声／テキストを再生するための形態で再構成する部分(ｐｏｓｔ−ｐｒｏｃｅｓｓｏｒ)、ユーザの関心領域を追跡する部分(ｔｒａｃｋｉｎｇ ｕｎｉｔ)及び再生装置であるディスプレイで構成される。
【０２２２】
カプセル除去により生成されたビットストリームは、データ種類によって映像／音声／テキストなどに分けて再生可能な形態に個々に復号される。
【０２２３】
トラッキング部分では、センサ及びユーザの入力情報などに基づいてユーザの関心領域(Ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ)の位置(ｖｉｅｗｐｏｉｎｔ)、該当位置での視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、該当視点での方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)情報を生成し、これらの情報は３６０ビデオ受信装置の各モジュールで関心領域の選択或いは抽出などに使用されるか、関心領域の情報を強調するための後処理過程などに使用される。また、３６０ビデオ送信装置に伝達される場合、効率的な帯域幅使用のためのファイル選択(ｆｉｌｅ ｅｘｔｒａｃｔｏｒ)或いはサブピクチャ選択、関心領域に基づく様々な映像再構成方法(ｖｉｅｗｐｏｒｔ／ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ／ｖｉｅｗｐｏｉｎｔ ｄｅｐｅｎｄｅｎｔ ｐｒｏｃｅｓｓｉｎｇ)などに使用されることができる。
【０２２４】
復号された映像信号は映像構成方法によって様々な処理方法で処理される。３６０ビデオ送信装置で映像パッキングが行われた場合、メタデータで伝達された情報に基づいて映像を再構成する過程が必要である。この場合、３６０ビデオ送信装置で生成したビデオメタデータを用いることができる。また復号された映像内に複数の視聴位置(ｖｉｅｗｐｏｉｎｔ)、複数の視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)、或いは様々な方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)の映像が含まれた場合は、トラッキングにより生成されたユーザの関心領域の位置、視点、方向情報とマッチングされる情報を選択して処理することができる。この時、送信端で生成した視点及びビューポイント関連のメタデータが使用される。また特定の位置、視点、方向について複数のコンポーネントが伝達されるか、オーバーレイのためのビデオ情報が別に伝達される場合、各々によるレンダリング過程が含まれる。別のレンダリング過程を経たビデオデータ(テクスチャー、深さ、オーバーレイ)は、合成過程(ｃｏｍｐｏｓｉｔｉｏｎ)を経るが、この時、送信端で生成した合成メタデータ(ｃｏｍｐｏｓｉｔｉｏｎ ｍｅｔａｄａｔａ)が使用される。最終的にユーザの関心領域によってビューポートに再生するための情報を生成することができる。
【０２２５】
復号された音声信号はオーディオレンダラー及び／又は後処理過程により再生可能な音声信号を生成し、この時、ユーザの関心領域に関する情報及び３６０ビデオ受信装置に伝達されたメタデータに基づいてユーザの要求に合う情報を生成することができる。
【０２２６】
復号されたテキスト信号はオーバーレイのレンダラーに伝達されてサブタイトルなどのテキスト基盤のオーバーレイ情報として処理される。必要な場合、別途のテキスト後処理過程が含まれる。
【０２２７】
図１５はＦＬＵＳアーキテクチャの例示を概略的に示す図である。
【０２２８】
図１５は無線通信システム(ｗｉｒｅｌｅｓｓ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍ)において、端末(Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ、ＵＥ)と端末又はネットワークがＦＬＵＳ(Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｌｉｖｅ Ｕｐｌｉｎｋ Ｓｔｒｅａｍｉｎｇ)に基づいて通信を行う一例を示す。ＦＬＵＳソース(Ｓｏｕｒｃｅ)とＦＬＵＳシンク(Ｓｉｎｋ)は、Ｆレファレンスポイント(ｒｅｆｅｒｅｎｃｅ ｐｏｉｎｔ)を用いて互いにデータを送受信する。
【０２２９】
この明細書において、“ＦＬＵＳソース”はＦＬＵＳに基づいてＦレファレンスポイントによりＦＬＵＳシンクにデータを送信する装置を意味する。但し、ＦＬＵＳソースが常にＦＬＵＳシンクへのデータ送信のみを行うことではなく、場合によっては、ＦＬＵＳソースはＦＬＵＳシンクからＦレファレンスポイントによりデータを受信することもできる。ＦＬＵＳソースは、この明細書の全般に記載されたイメージ送信装置又は３６０ビデオ送信装置と同一／類似する装置であるか、イメージ送信装置又は３６０ビデオ送信装置を含むか、又はイメージ送信装置又は３６０ビデオ送信装置に含まれるものと解釈できる。ＦＬＵＳソースは、例えば、端末(ＵＥ)、ネットワーク、サーバー、クラウドサーバー、セットトップボックス(ＳＴＢ)、基地局、ＰＣ、デスクトップ、ノートブック、カメラ、カムコーダー、ＴＶなどであり、これらの装置に含まれる構成又はモジュールであるか、或いは例示された装置と類似する装置もＦＬＵＳソースとして動作することができる。ＦＬＵＳソースの例示はこれらに限られない。
【０２３０】
この明細書において、“ＦＬＵＳシンク”はＦＬＵＳに基づいてＦレファレンスポイントによりＦＬＵＳソースからデータを受信する装置を意味する。但し、ＦＬＵＳシンクが常にＦＬＵＳシンクからデータ受信のみを行うことではなく、場合によっては、ＦＬＵＳシンクはＦＬＵＳソースにＦレファレンスポイントによりデータを送信することもできる。ＦＬＵＳシンクは、この明細書の全般に記載されたイメージ受信装置又は３６０ビデオ受信装置と同一／類似する装置であるか、イメージ受信装置又は３６０ビデオ受信装置を含むか、又はイメージ受信装置又は３６０ビデオ受信装置に含まれるものと解釈できる。ＦＬＵＳシンクは、例えば、ネットワーク、サーバー、クラウドサーバー、セットトップボックス(ＳＴＢ)、基地局、ＰＣ、デスクトップ、ノートブック、カメラ、カムコーダー、ＴＶなどであり、例示された装置に含まれる構成又はモジュールであり、さらに例示された装置と類似する装置もＦＬＵＳソースとして動作することができる。ＦＬＵＳソースの例示はこれらに限られない。
【０２３１】
図１５を参照すると、ＦＬＵＳソースとキャプチャー装置が一つの端末(ＵＥ)を構成することが示されているが、これに限られない。ＦＬＵＳソースはキャプチャー装置を含むことができ、キャプチャー装置を含むＦＬＵＳソース自体が端末になることができる。又はキャプチャー装置は端末に含まれず、端末でメディア情報を送信することもできる。キャプチャー装置の数は少なくとも一つ以上である。
【０２３２】
図１５を参照すると、ＦＬＵＳシンクとレンダリング(Ｒｅｎｄｅｒｉｎｇ)モジュール(又は部)、処理(Ｐｒｏｃｅｓｓｉｎｇ)モジュール(又は部)及び分配(Ｄｉｓｔｒｉｂｕｔｉｏｎ)モジュール(又は部)が一つの端末又はネットワークを構成することが示されているが、これに限られない。ＦＬＵＳシンクは、レンダリングモジュール、処理モジュール及び分配モジュールのうちのいずれか一つを含み、レンダリングモジュール、処理モジュール及び分配モジュールのうちのいずれか一つを含むＦＬＵＳシンク自体が端末又はネットワークになることができる。又はレンダリングモジュール、処理モジュール及び分配モジュールのうちのいずれか一つが端末又はネットワークに含まれず、ＦＬＵＳシンクがレンダリングモジュール、処理モジュール及び分配モジュールのうちのいずれか一つでメディア情報を送信することもできる。レンダリングモジュール、処理モジュール及び分配モジュールの数は各々少なくとも一つ以上であり、場合によっては一部のモジュールは存在しないこともできる。
【０２３３】
一例として、ＦＬＵＳシンクはＭＧＷ(Ｍｅｄｉａ Ｇａｔｅｗａｙ Ｆｕｎｃｔｉｏｎ)及び／又はＡＦ(Ａｐｐｌｉｃａｔｉｏｎ Ｆｕｎｃｔｉｏｎ)として動作する。
【０２３４】
図１５において、ＦＬＵＳソースとＦＬＵＳシンクを連結するＦレファレンスポイントは、ＦＬＵＳソースが単一のＦＬＵＳセッションを生成及び制御するようにする。またＦレファレンスポイントはＦＬＵＳシンクがＦＬＵＳソースを認証(ａｕｔｈｅｎｔｉｃａｔｅ)及び権限付与(ａｕｔｈｏｒｉｚｅ)するようにする。またＦレファレンスポイントはＦＬＵＳ制御平面(ｃｏｎｔｒｏｌ ｐｌａｎｅ)Ｆ−Ｃ及びＦＬＵＳユーザ平面(ｕｓｅｒ ｐｌａｎｅ)Ｆ−Ｕの保安保護機能を支援する。
【０２３５】
一実施例において、ＦＬＵＳソースとＦＬＵＳシンクは各々ＦＬＵＳ ｃｔｒｌモジュールを含み、ＦＬＵＳソースとＦＬＵＳシンクのＦＬＵＳ ｃｔｒｌモジュールはＦ−Ｃにより連結されることができる。ＦＬＵＳ ｃｔｒｌモジュールとＦ−ＣはＦＬＵＳシンクがアップロードされたメディアに対してダウンストリーム分配(ｄｏｗｎｓｔｒｅａｍ ｄｉｓｔｒｉｂｕｔｉｏｎ)を行うための機能を提供し、メディアインスタンス(ｉｎｓｔａｎｔｉａｔｉｏｎ)の選択を提供することができ、セッションの静的メタデータの構成を支援することができる。一例として、ＦＬＵＳシンクがレンダリングのみを行える場合は、Ｆ−Ｃが存在しないこともできる。
【０２３６】
一実施例において、Ｆ−ＣはＦＬＵＳセッションの生成及び制御に用いられる。Ｆ−ＣはＦＬＵＳソースがＭＴＳＩのようなＦＬＵＳメディアインスタンスを選択するか、メディアセッション周辺の静的メタデータを提供するか、又は処理／分配機能を選択及び構成する時に利用される。
【０２３７】
ＦＬＵＳメディアインスタンスは、ＦＬＵＳセッションの一部として定義できる。場合によって、Ｆ−Ｕはメディアストリームの生成手順を含み、一つのＦＬＵＳセッションについて複数のメディアストリームが生成されることができる。
【０２３８】
メディアストリームは、オーディオ、ビデオ、テキストのような単一コンテンツタイプに対するメディアコンポーネントを含むか、オーディオ及びビデオのように複数の互いに異なるコンテンツタイプに対するメディアコンポーネントを含む。ＦＬＵＳセッションは同じ複数のコンテンツタイプで構成されることができる。例えば、ＦＬＵＳセッションはビデオに対する複数のメディアストリームで構成されることができる。
【０２３９】
また一実施例において、ＦＬＵＳソースとＦＬＵＳシンクは各々ＦＬＵＳメディアモジュールを含み、ＦＬＵＳソースとＦＬＵＳシンクのＦＬＵＳメディアモジュールはＦ−Ｕにより連結されることができる。ＦＬＵＳメディアモジュールとＦ−Ｕは一つ以上のメディアセッションの生成とメディアストリームによるメディアデータ送信機能を提供する。場合によっては、メディアセッション生成プロトコル(例えば、ＭＴＳＩに基づくＦＬＵＳインスタンスのためのＩＭＳセッションセットアップ)が要求される。
【０２４０】
図１６は３ＤｏＦ＋送信端の構成の一例を概略的に示す図である。
【０２４１】
図１６を参照すると、送信端(３６０ビデオ送信装置)では、入力されたデータがカメラ出力映像である場合、球(Ｓｐｈｅｒｅ)映像構成のためのスティチングを位置／視点／コンポーネントごとに進行する。位置／視点／コンポーネントごとの球(Ｓｐｈｅｒｅ)映像が構成されると、コーディングのために２Ｄ映像にプロジェクションを行う。アプリケーションによって複数の映像を統合映像にするためのパッキング或いは細部領域の映像に分けるサブピクチャで生成することができる。上述したように、リージョンごとのパッキング過程は、選択的(ｏｐｔｉｏｎａｌ)過程であり、行わないこともできる。この場合、パッキング処理部は省略できる。入力されたデータが映像／音声／テキスト追加情報である場合は、追加情報を中心映像に追加してディスプレイする方法を知らせることができ、追加データと共に送信することができる。生成された映像及び追加データを圧縮してビットストリームで生成する符号化過程を経て送信或いは格納のためのファイルフォーマットに変換するカプセル化過程を経ることができる。この時、アプリケーション或いはシステムの要求により、受信部で必要とするファイルを抽出する過程を処理することができる。生成されたビットストリームは、送信処理部により送信フォーマットに変換された後、送信される。この時、送信側のフィードバック処理部では、受信端で伝達された情報に基づいて位置／視点／方向情報と必要なメタデータを処理して、関連する送信部で処理するように伝達することができる。
【０２４２】
図１７は３ＤｏＦ＋受信端の構成の一例を概略的に示す図である。
【０２４３】
図１７を参照すると、受信端(３６０ビデオ受信装置)では、送信端で伝達したビットストリームを受信した後、必要なファイルを抽出する。生成されたファイルフォーマット内の映像ストリームをフィードバック処理部で伝達する位置／視点／方向情報及びビデオメタデータを用いて選別し、選別したビットストリームを復号器により映像情報に再構成することができる。パッキングされた映像の場合、メタデータにより伝達されたパッキング情報に基づいてアンパッキングを行うことができる。送信端でパッキング過程が省略された場合は、受信端のアンパッキングも省略される。また必要によって、フィードバック処理部で伝達された位置(ｖｉｅｗｐｏｉｎｔ)／視点(ｖｉｅｗｉｎｇ ｐｏｓｉｔｉｏｎ)／方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)に適合する映像及び必要なコンポーネントを選択する過程を行うことができる。映像のテクスチャー、深さ、オーバーレイ情報などの再生に適合するフォーマットに再構成するレンダリング過程を行うことができる。最終映像を生成する前に、互いに異なるレイヤの情報を統合する合成(ｃｏｍｐｏｓｉｔｉｏｎ)過程を経ることができ、ディスプレイビューポートに適合する映像を生成して再生することができる。
【０２４４】
一実施例において、３６０°ビデオに関するメタデータは、ビューポイント情報構造に対するシンタックス要素を含む。ビューポイント情報構造に対するシンタックス要素は、ビューポイントの位置、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々のビューポイントの共通参照座標系に対するヨー(ｙａｗ)、ピッチ(ｐｉｔｃｈ)及びロール(ｒｏｌｌ)角度を含むビューポイント情報を提供する。ビューポイント情報の構造に対するシンタックス要素は、例えば、以下の表１のシンタックスにより示すことができる。
【０２４５】
【表１】
2021506189.tif 000007
【０２４６】
表１のシンタックスは、ＶｉｅｗｐｏｉｎｔＩｎｆｏＳｔｒｕｃｔ、ｇｃｓ＿ｒｏｔａｔｅｄ＿ｆｌａｇ、ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ、ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ、ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｐｒｅｓｅｎｔ_ｆｌａｇ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌなどを含む。
【０２４７】
ＶｉｅｗｐｏｉｎｔＩｎｆｏＳｔｒｕｃｔは、ビューポイント情報構造に対するシンタックス要素を示す一例に該当する。但し、ビューポイント情報構造を示すシンタックス要素の例示は、ＶｉｅｗｐｏｉｎｔＩｎｆｏＳｔｒｕｃｔに限られない。
【０２４８】
ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇの値が１であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー(ｙａｗ)回転角度、ピッチ(ｐｉｔｃｈ)回転角度及びロール回転角度に関する情報が示される。ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇの値が０であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報が示されないことができる。
【０２４９】
グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報は、例えば、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈ及びｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌに表現できる。単位は２−１６°である。ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗの範囲は−１８０＊２１６乃至１８０＊２１６−１であり、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈの範囲は−９０＊２１６乃至９０＊２１６であり、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌの範囲は−１８０＊２１６乃至１８０＊２１６−１である。
【０２５０】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ、ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ及びｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚは、３次元空間において(０、０、０)を共通参照座標系の中心とする時、ビューポイントの位置をミリメートル単位で示すことができる。
【０２５１】
ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であると、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅが示される。ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であると、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅが示されない。ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｖｉｅｗｐｏｉｎｔ_ＧＰＳｐｏｓ_ａｌｔｉｔｕｄｅは各々、ビューポイントのジオロケーション(ｇｅｏｌｏｃａｔｉｏｎ)の経度(ｌｏｎｇｉｔｕｄｅ)、緯度(ｌａｔｉｔｕｄｅ)及び高度(ａｌｔｉｔｕｄｅ)を示す。
【０２５２】
一実施例において、ビューポイント構造ボックス(ｖｉｅｗｐｏｉｎｔ ｃｏｎｆｉｇｕｒａｔｉｏｎ ｂｏｘ)は、ビューポイントに関連するメタデータを格納する。ビューポイント構造ボックスは、例えば、以下の表２のＶｉｅｗｐｏｉｎｔＣｏｎｆｉｇＢｏｘのように示すことができる。
【０２５３】
【表２】
2021506189.tif 000008
【０２５４】
表２のシンタックスはＶｉｅｗｐｏｉｎｔＣｏｎｆｉｇＢｏｘ、ｖｉｅｗｐｏｉｎｔ＿ｐｏｓ＿ｃｈａｎｇｅｄ、ｖｉｅｗｐｏｉｎｔ＿ｉｄ、ｖｉｅｗｐｏｉｎｔ＿ｌａｂｅｌなどを含む。
【０２５５】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が０であると、ビューポイントの位置が変化しないことができる。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１であると、ビューポイントの位置が変化することができる。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１である場合、動的ビューポイント時限メタデータトラック(Ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ)がファイルに示される。動的ビューポイント時限メタデータトラックは、ビューポイントパラメータが時間によって動的に変化することを示す。
【０２５６】
ｖｉｅｗｐｏｉｎｔ_ｉｄはビューポイントのユニークな識別子を示す。２つ以上のビューポイントは同じ値のｖｉｅｗｐｏｉｎｔ_ｉｄを有することができない。
【０２５７】
ｖｉｅｗｐｏｉｎｔ_ｌａｂｅｌはビューポイントに対する人が読み取り可能なテキストラベルを提供するヌル−終了(ｎｕｌｌ−ｔｅｒｍｉｎａｔｅｄ)ＵＴＦ−８ストリングである。
【０２５８】
ＶｉｅｗｐｏｉｎｔＣｏｎｆｉｇＢｏｘはファイルの任意のボックスに示されることができる。
【０２５９】
一実施例において、ビューポイントトラックグルーピング(ｖｉｅｗｐｏｉｎｔ ｔｒａｃｋ ｇｒｏｕｐｉｎｇ)に対する３６０ビデオメタデータが提供される。同じビューポイントに属するトラックは、ｔｒａｃｋ_ｇｒｏｕｐ_ｔｙｐｅ‘ｖｉｐｏ’に対する同じ値のｔｒａｃｋ_ｇｒｏｕｐ_ｉｄを有し、特定のビューポイントからのトラックのｔｒａｃｋ_ｇｒｏｕｐ_ｉｄは他のビューポイントからのトラックのｔｒａｃｋ_ｇｒｏｕｐ_ｉｄと異なる。デフォルトとして、ファイル内の任意のトラックによりトラックグルーピングが指示されない場合、このファイルはビューポイントに対するコンテンツのみを含むと考えられることができる。ビューポイントトラックグルーピングに対するシンタックスの例示は、以下の表３の通りである。
【０２６０】
【表３】
2021506189.tif 000009
【０２６１】
ｔｒａｃｋ＿ｇｒｏｕｐ_ｔｙｐｅが‘ｖｉｐｏ’であるＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ内のｔｒａｃｋ＿ｇｒｏｕｐ＿ｉｄの値が同一であるトラックは、同じビューポイントに含まれることができる。
【０２６２】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が０であると、トラックに関連するビューポイントの位置が変化しない。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１であると、トラックに関連するビューポイントの位置が変化する。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１である場合、動的ビューポイント時限メタデータトラック(Ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ ｔｉｍｅｄ ｍｅｔａｄａｔａ ｔｒａｃｋ)がファイルに示される。動的ビューポイント時限メタデータトラックは、ビューポイントパラメータが時間によって動的に変化することを示す。
【０２６３】
ｇｃｓ_ｒｏｔａｔｅｄ_ｃｈａｎｇｅｄの値が１であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度が時間によって動的に変化する。ｇｃｓ_ｒｏｔａｔｅｄ_ｃｈａｎｇｅｄの値が１であると、動的ビューポイント時限メタデータトラックは時間によって動的に変化するビューポイントパラメータを指示することができる。ｇｃｓ_ｒｏｔａｔｅｄ_ｃｈａｎｇｅｄの値が０であると、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈ及びｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌの値が時間によって変化しないことができる。
【０２６４】
ｖｉｅｗｐｏｉｎｔ_ｉｄはビューポイントのユニークな識別子を示す。２つ以上のビューポイントは同じ値のｖｉｅｗｐｏｉｎｔ_ｉｄを有することができない。
【０２６５】
ｖｉｅｗｐｏｉｎｔ_ｌａｂｅｌはビューポイントに対する人が読み取り可能なテキストラベルを提供するヌル−終了(ｎｕｌｌ−ｔｅｒｍｉｎａｔｅｄ)ＵＴＦ−８ストリングである。
【０２６６】
一実施例において、３６０°ビデオに関するメタデータは、動的ビューポイント情報(Ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ)を提供する。動的ビューポイント時限メタデータトラックは、時間によって動的に変化するビューポイントパラメータを指示する。一例として、ＯＭＡＦプレーヤーは他のビューポイントから特定のビューポイントに転換された後、再生を開始する時、シグナリングされた情報を以下のように用いる。もし推薦視聴方向が明示的にシグナリングされる場合は、ＯＭＡＦプレーヤーは推薦視聴方向に関する情報をパーシングするために推薦視聴方向に従う(ｆｏｌｌｏｗ)ことができる。そうではないと、ＯＭＡＦプレーヤーはビューポイントスイッチングの発生直前の視聴方向を維持すると期待される。
【０２６７】
トラックサンプルエントリータイプ‘ｄｙｖｐ’が用いられることができるが、それを示すシンタックスの例示は以下の表４の通りである。
【０２６８】
【表４】
2021506189.tif 000010
【０２６９】
表４において、ｖｉｅｗｐｏｉｎｔ＿ｉｄはサンプルエントリーを参照する全てのサンプルに関連するビューポイントのビューポイントＩＤを示す。
【０２７０】
ｄｙｎａｍｉｃ_ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇの値が１であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度がサンプルフォーマット内で指示されることができる。ｇｃｓ_ｒｏｔａｔｅｄ_ｃｈａｎｇｅｄの値が０であると、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈ及びｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌの値がサンプルエントリーを参照する全てのサンプルで変化しないことができる。
【０２７１】
ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が１であると、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅがサンプルフォーマット内に示されることができる。ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｐｒｅｓｅｎｔ_ｆｌａｇの値が０であると、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅがサンプルエントリーを参照する全てのサンプル内で示されないことができる。
【０２７２】
ＶｉｅｗｐｏｉｎｔＰｏｓＳｔｒｕｃｔ()は関連するビューポイントの最初のビューポイント位置を指示することができる。
【０２７３】
ＶｉｅｗｐｏｉｎｔＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ()は、サンプルエントリーを参照する各々のサンプルに対する共通参照座標系に対するグローバル座標系のｘ軸、ｙ軸及びｚ軸のヨー、ピッチ及びロール回転角度を示す。
【０２７４】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘの最小値及び最大値を示す。
【０２７５】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙの最小値及び最大値を示す。
【０２７６】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚの最小値及び最大値を示す。
【０２７７】
ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｔｉｔｕｄｅ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｔｉｔｕｄｅ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌｏｎｇｔｉｔｕｄｅの最小値及び最大値を示す。 
【０２７８】
ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅの最小値及び最大値を示す。
【０２７９】
ｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅ_ｍｉｎ及びｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅ_ｍａｘは、サンプルエントリーを参照する全てのサンプル内のｖｉｅｗｐｏｉｎｔ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅの最小値及び最大値を示す。
【０２８０】
一実施例において、サンプルエントリータイプ‘ｄｙｖｐ’のサンプルシンタックスの例示は、以下の表５の通りである。
【０２８１】
【表５】
2021506189.tif 000011
【０２８２】
一実施例によるＤＡＳＨ ＭＰＤにおいて、＠ｓｃｈｅｍｅＩｄＵｒｉ属性(ａｔｔｒｉｂｕｔｅ)が“ｕｒｎ：ｍｐｅｇ：ｍｐｅｇＩ：ｏｍａｆ:２０１８:ｖｗｐｔ”であるビューポイント要素は、ビューポイント情報ディスクリプタ(ｖｉｅｗｐｏｉｎｔ ｉｎｆｏｒｍａｔｉｏｎ (ＶＷＰＴ) ｄｅｓｃｒｉｐｔｏｒ)として参照できる。一つのＶＷＰＴディスクリプタは適応設定レベル(ａｄａｐｔａｔｉｏｎ ｓｅｔ ｌｅｖｅｌ)で示されることができ、他のレベルではＶＷＰＴディスクリプタが示されないことができる。メディアプレゼンテーション内の適応設定がない時、ＶＷＰＴディスクリプタを含むと、メディアプレゼンテーションは一つのビューポイントのみを含むと推定することができる。ＶＷＰＴディスクリプタは適応設定が属するビューポイントを指示する。以下の表６はＶＷＰＴディスクリプタの要素及び属性の意味論(ｓｅｍａｎｔｉｃｓ)の一例を示す。
【０２８３】
【表６】
2021506189.tif 000012
【０２８４】
表６において、＠ｄｙｎａｍｉｃ_ｆｌａｇはビューポイントの位置が静的であるか、又は動的であるかを示す。＠ｄｙｎａｍｉｃ_ｆｌａｇの値が１である場合、ビューポイントの位置が変更可能である。＠ｄｙｎａｍｉｃ_ｆｌａｇの値が０である場合は、ビューポイントの位置は静的である。＠ｄｙｎａｍｉｃ_ｆｌａｇが示されない場合は、ビューポイントの位置が静的であることを指示する。＠ｄｙｎａｍｉｃ_ｆｌａｇが１に設定される場合、サンプルエントリータイプ‘ｄｙｖｐ’の時限メタデータトラックを伴う時限メタデータのリプレゼンテーションが示されることができる。
【０２８５】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍｉｎはビューポイント位置のＸ成分の最小値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍｉｎはミリメートル単位でグローバル３次元座標系のＸ軸上のビューポイント中心の絶対位置の最小値を示す。
【０２８６】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍｉｎはビューポイント位置のＹ成分の最小値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍｉｎはミリメートル単位でグローバル３次元座標系のＹ軸上のビューポイント中心の絶対位置の最小値を示す。
【０２８７】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍｉｎはビューポイント位置のＺ成分の最小値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍｉｎはミリメートル単位でグローバル３次元座標系のＺ軸上のビューポイント中心の絶対位置の最小値を示す。
【０２８８】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍａｘはビューポイント位置のＸ成分の最大値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｘ_ｍａｘはミリメートル単位でグローバル３次元座標系のＸ軸上のビューポイント中心の絶対位置の最大値を示す。
【０２８９】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍａｘはビューポイント位置のＹ成分の最大値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｙ_ｍａｘはミリメートル単位でグローバル３次元座標系のＹ軸上のビューポイント中心の絶対位置の最大値を示す。
【０２９０】
＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍａｘはビューポイント位置のＺ成分の最大値を示す。例えば、＠ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｚ_ｍａｘはミリメートル単位でグローバル３次元座標系のＺ軸上のビューポイント中心の絶対位置の最大値を示す。
【０２９１】
一実施例において、ビューポイントがサンプルエントリータイプ‘ｄｙｖｐ’の時限メタデータトラックを伴う時限メタデータのリプレゼンテーションに関連する場合、ビューポイントの位置は動的である。ビューポイントがサンプルエントリータイプ‘ｄｙｖｐ’の時限メタデータトラックを伴う時限メタデータのリプレゼンテーションに関連していない場合は、ビューポイントは静的である。
【０２９２】
ビューポイントがサンプルエントリータイプ‘ｄｙｖｐ’の時限メタデータトラックを伴う時限メタデータのリプレゼンテーションに関連する場合、ビューポイントの動的位置はサンプルエントリータイプ‘ｄｙｖｐ’の時限メタデータトラックを伴う関連時限メタデータのリプレゼンテーション内でシグナリングされることができる。
【０２９３】
一実施例において、３６０°ビデオに対するメタデータは動的ビューポイントグループ情報(ｄｙｎａｍｉｃ ｖｉｅｗｐｏｉｎｔ ｇｒｏｕｐ ｉｎｆｏｒｍａｔｉｏｎ)を提供することができる。動的ビューポイントグループの時限メタデータトラックは、時間により動的に変化する、ビューポイントを含むグループの情報を示す。トラックサンプルエントリータイプ‘ｄｙｖｇ’が用いられ、サンプルエントリータイプのサンプルエントリーは、例えば、以下の表７の通りである。
【０２９４】
【表７】
2021506189.tif 000013
【０２９５】
ｖｉｅｗｐｏｉｎｔ＿ｉｄはサンプルエントリーを参照する全てのサンプルに関連するビューポイントのビューポイントＩＤを示す。ｎｕｍｂ＿ｇｒｏｕｐＳ＿ｍａｘはサンプルエントリーを参照するサンプル内でビューポイントが属するグループの最大数を示す。
【０２９６】
一実施例において、サンプルエントリータイプ‘ｄｙｖｇ’のサンプルシンタックスは、例えば、以下の表８のように示すことができる。
【０２９７】
【表８】
2021506189.tif 000014
【０２９８】
表８において、ｎｕｍ_ｇｒｏｕｐＳは各サンプルにおいてビューポイントが属するグループの数を示す。ｖｐ_ｇｒｏｕｐ_ｉｄはビューポイントが属するグループＩＤを示す。ａｎｃｈｏｒ_ｖｉｅｗｐｏｉｎｔ_ｉｄはグループ内の複数のビューポイントのアンカーであるビューポイントのｖｉｅｗｐｏｉｎｔ_ｉｄ値を示す。ｎｏｎ_ｃｏｎｔｉｇｕｏｕｓ_ｆｌａｇの値が０であると、同じグループ内でビューポイントの間の近接スイッチングが可能である。ｎｏｎ_ｃｏｎｔｉｇｕｏｕｓ_ｆｌａｇの値が１であると、同じグループ内のビューポイントの間のスイッチングは非近接(ｎｏｎ−ｃｏｎｔｉｇｕｏｕｓ)に該当する。ｎｕｍ_ｖｉｅｗｐｏｉｎｔｓは同じグループ内のビューポイントの数を示す。
【０２９９】
他の実施例において、サンプルエントリータイプ‘ｄｙｖｇ’のサンプルシンタックスは、例えば、以下の表９又は表１０のように示すことができる。
【０３００】
【表９】
2021506189.tif 000015
【０３０１】
【表１０】
2021506189.tif 000016
【０３０２】
ｃｏｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｎｆｏ＿ｆｌａｇは、共通参照システム情報(例えば、ＧｒｏｕｐＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ())が示されるか否かを指示する。
【０３０３】
ｃｏｍｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｄは、同じグループ内のビューポイントビデオの間で共有されるグローバル座標系の識別子を示す。同一のｃｏｍｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｄを有するビューポイントは、共通参照座標系を共有することができる。一例として、互いに異なるｃｏｍｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｄを有するビューポイントは、互いに異なる座標系に基づくことができる。
【０３０４】
一実施例において、ＧｒｏｕｐＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔは、例えば、以下の表１１のように示すことができる。
【０３０５】
【表１１】
2021506189.tif 000017
【０３０６】
ｇｒｏｕｐ_ｇｃｓ_ｙａｗ、ｇｒｏｕｐ_ｇｃｓ_ｐｉｔｃｈ及びｇｒｏｕｐ_ｇｃｓ_ｒｏｌｌは、共通参照座標系に対備するビューポイントグループのグローバル座標系のＸ、Ｙ及びＺ軸のヨー、ピッチ及びロール回転角度を示し、単位は２−１６°である。ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｙａｗは−１８０＊２１６以上１８０＊２１６−１以下の範囲に含まれ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｐｉｔｃｈは−９０＊２１６以上９０＊２１６以下の範囲に含まれ、ｖｉｅｗｐｏｉｎｔ_ｇｃｓ_ｒｏｌｌは−１８０＊２１６以上１８０＊２１６−１以下の範囲に含まれる。ビューポイントグループは一つ以上のビューポイントビデオを含む。
【０３０７】
表８乃至表１１に示されたパラメータ(ｎｕｍ_ｇｒｏｕｐｓ、ｖｐ_ｇｒｏｕｐ_ｉｄ、ａｎｃｈｏｒ_ｖｉｅｗｐｏｉｎｔ_ｉｄ、ｎｏｎ_ｃｏｎｔｉｇｕｏｕｓ_ｆｌａｇ、ｎｕｍ_ｖｉｅｗｐｏｉｎｔｓなど)は、トラックグループボックス、サンプルグループボックスなどのファイル内の任意のボックスに示される。パラメータが静的情報をシグナリングするためのボックス(例えば、サンプルエントリー)に示される場合、静的であり、動的情報をシグナリングするためのボックス(例えば、時限メタデータトラック)に示される場合は、動的である。
【０３０８】
一実施例において、３６０°ビデオメタデータは、ビューポイントトラックグループの初期の視聴方向(ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)メタデータを含む。初期の視聴方向メタデータトラックは、関連するビューポイントメディアトラックの初期の視聴方向を示す。ビューポイントビデオは一つ以上のトラックにより行われ、初期の視聴方向メタデータトラックは‘ｂｏｔｈ ｔｒａｃｋ_ｇｒｏｕｐ_ｉｄ ｅｑｕａｌ ｔｏ ｔｒａｃｋ_ＩＤｓ[ｉ] ａｎｄ (ｆｌａｇｓ & １) ｏｆ ＴｒａｃｋＧｒｏｕｐＴｙｐｅＢｏｘ ｅｑｕａｌ ｔｏ １’という条件を満たす‘ｃｄｓｃ’トラックレファレンスを有する一つ以上のメディアトラックに関連する。
【０３０９】
一実施例において、３６０°ビデオメタデータは、複数のビューポイントの初期の視聴方向に対するサンプルグループに関する情報を含む。サンプルエントリータイプが‘ｉｎｖｏ’である時限メタデータトラックは、ｇｒｏｕｐｉｎｇ_ｔｙｐｅが‘ｖｗｐｔ’である一つ以上のＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘを含む。ＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘは、時限メタデータ(及びメディアトラック内の対応サンプル)内のサンプルをビューポイントに割り当てることを示す。ｇｒｏｕｐｉｎｇ_ｔｙｐｅが‘ｖｗｐｔ’であるＳａｍｐｌｅＴｏＧｒｏｕｐＢｏｘが示される場合、同じグルーピングタイプのＳａｍｐｌｅＧｒｏｕｐＤｅｓｃｒｉｐｔｉｏｎＢｏｘが示され、サンプルが属するグループの特定のビューポイントのＩＤを含むことができる。ｇｒｏｕｐｉｎｇ_ｔｙｐｅが‘ｖｗｐｔ’であるサンプルグループエントリー‘ＶｉｅｗｐｏｉｎｔＥｎｔｒｙ’は、例えば、以下の表１２の通りである。
【０３１０】
【表１２】
2021506189.tif 000018
【０３１１】
ｖｉｅｗｐｏｉｎｔ＿ｉｄはサンプルのグループに関連するビューポイントのビューポイントＩＤを示す。サンプルのグループの初期の視聴方向は、ビューポイントＩＤに関連するメディアトラックに適用されることができる。
【０３１２】
ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が０であると、サンプルのグループに関連するビューポイントの位置が変化しないことを示す。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１であると、ビューポイントの位置が変わることができる。ｖｉｅｗｐｏｉｎｔ_ｐｏｓ_ｃｈａｎｇｅｄの値が１であると、動的ビューポイント時限メタデータトラックがファイルに示されることができる。動的ビューポイント時限メタデータトラックは、時間により動的に変化するビューポイントパラメータを示す。
【０３１３】
ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇの値が１であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報が示される。ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇの値が０であると、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報が示されない。
【０３１４】
ＶｉｅｗｐｏｉｎｔＩｎｆｏＳｔｒｕｃｔは、ビューポイントの位置、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々のビューポイントの共通参照座標系に対するヨー、ピッチ及びロール角度を含む、サンプルのグループに関連するビューポイント情報を提供する。
【０３１５】
この明細書では、特定の情報又は概念を定義するための特定の用語又は文章を使用している。例えば、この明細書では、特定のメタデータを定義するための特定の用語又は文章を使用している。一例として、この明細書は、サンプルエントリーを参照する全てのサンプルに関連するビューポイントのビューポイントＩＤを“ｖｉｅｗｐｏｉｎｔ_ｉｄ”と定義している。しかし、“ｖｉｅｗｐｏｉｎｔ_ｉｄ”はｖｉｅｗｐｏｉｎｔＩＤ、ｖｉｅｗｐｏｉｎｔ_ｉｄｅｎｔｉｆｉｅｒなどの様々な用語に代替することができるので、この明細書において特定の情報又は概念を定義するために使用された特定の用語又は文章を明細書全般で解釈するにおいて、その名称に限られた解釈ではなく、用語が示す内容による様々な動作、機能及び効果に注目して解釈する必要がある。
【０３１６】
図１８は一実施例による視聴方向に関する情報を説明する図である。
【０３１７】
一実施例において、複数のビューポイントにより推薦視聴方向(ｒｅｃｏｍｍｅｎｄｅｄ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)又は初期の視聴方向(ｉｎｉｔｉａｌ ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)が共有される。複数のビューポイントが存在する状況において、ユーザはビューポイントの間の転換が発生する時、持続的に一つの特定のオブジェクト(ｏｂｊｅｃｔ)又はシーンを見ることについて関心を有することができる。図１８に示したように、特定の視点にユーザはビューポートＶ１によりビューポイントＡでオブジェクトを観察するが、ビューポイントＡでのビューポートＶ１とビューポイントＢでのビューポートＶ２を特定の視点に互いに対応させることにより、ビューポートＶ２によりビューポイントＢでもオブジェクトを観察することができる。これに関連するシンタックスの一例は以下の表１３の通りである。
【０３１８】
【表１３】
2021506189.tif 000019
【０３１９】
表１３を含まれたパラメータは、ビューポイントに対する視聴方向(ｖｉｅｗｉｎｇ ｏｒｉｅｎｔａｔｉｏｎ)の構造に関する情報を示す視聴方向の構造情報である。一例として、視聴方向の構造情報はＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔとも呼ばれる。
【０３２０】
ＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔは、ビューポイントが変更される時に示される視聴方向又は再生が推薦される視聴方向を示す。ＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔは、視聴方向の中心点、傾いた角度、適用可能時のＧＰＳ位置決め情報などを含む。また、ＶｉｅｗｉｎｇＯｒｉｅｎｔａｔｉｏｎＳｔｒｕｃｔは、示される視聴方向又は再生が推薦される視聴方向の体積に関する情報も含む。体積に関する情報が示される場合、中心情報は視聴方向の体積の中心を示す。
【０３２１】
ｖｅｉｗｉｎｇ＿ｏｒｉｅｎｔａｔｉｏｎ_ｉｄは視聴方向情報の識別子を示す。
【０３２２】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心位置に関する情報を含む。関心オブジェクトの中心位置に関する情報は、関心オブジェクトの中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３２３】
一実施例において、視聴方向の構造情報は視聴方向の中心位置に関する情報を含む。視聴方向の中心位置に関する情報は、視聴方向の中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３２４】
ｃｅｎｔｅｒ_ｐｏｓ_ｘ、ｃｅｎｔｅｒ_ｐｏｓ_ｙ及びｃｅｎｔｅｒ_ｐｏｓ_ｚは、グローバル座標系による視聴方向のＸ、Ｙ及びＺ軸の中心位置を示す。一実施例において、関心オブジェクトの中心位置に関する情報又は視聴方向の中心位置に関する情報は、ｃｅｎｔｅｒ_ｐｏｓ_ｘ、ｃｅｎｔｅｒ_ｐｏｓ_ｙ及びｃｅｎｔｅｒ_ｐｏｓ_ｚとも呼ばれる。
【０３２５】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心に対するＧＰＳ位置情報が存在するか否かを示すＧＰＳ位置存在フラグを含む。ＧＰＳ位置存在フラグは、ｇｐｓ_ｐｒｅｓｅｎｔ＿ｆｌａｇとも呼ばれ、ｇｐｓ_ｐｒｅｓｅｎｔ＿ｆｌａｇは視聴方向の中心のＧＰＳ位置情報の存在有無を示す。
【０３２６】
ｃｅｎｔｅｒ_ｇｐｓｐｏｓ_ｌｏｎｇｉｔｕｄｅ、ｃｅｎｔｅｒ_ｇｐｓｐｏｓ_ｌａｔｉｔｕｄｅ及びｃｅｎｔｅｒ_ｇｐｓｐｏｓ_ａｌｔｉｔｕｄｅは、視聴方向の中心のＧＰＳ位置情報を示す。
【０３２７】
一実施例において、視聴方向の構造情報は、再生される又は再生を推薦する球面又は３次元空間を示す視聴方向ボリュームの存在有無を指示するボリューム存在フラグを含む。ボリューム存在フラグは、ｖｏｌｕｍｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇとも呼ばれる。ｖｏｌｕｍｅ＿ｐｒｅｓｅｎｔ＿ｆｌａｇは、再生又は再生が推薦される球面又は３次元範囲の視聴方向ボリュームの存在有無を示す。
【０３２８】
ｖｏｌｕｍｅ_ｔｙｐｅは視聴方向ボリュームのタイプを示す。ｖｏｌｕｍｅ_ｔｙｐｅが０であると、視聴方向ボリュームのタイプが具体化されず、１であると、球面タイプ、２であると、楕円体(Ｓｐｈｅｒｏｉｄ)タイプ、３であると、キューブタイプ、４であると、シリンダータイプ、また５であると、長方形プリズム(ｒｅｃｔａｎｇｕｌａｒ ｐｒｉｓｍ)タイプである。
【０３２９】
ｓｐｈｅｒｅ＿ｒａｄｉｕｓは球面視聴方向ボリュームの球面半径を示す。
【０３３０】
ｈｏｒ＿ｒａｄｉｕｓ、ｖｅｒ＿ｒａｄｉｕｓは楕円体の水平及び垂直半径を示す。
【０３３１】
ｃｕｂｅ＿ｈｏｒ＿ｒａｎｇｅ、ｃｕｂｅ＿ｖｅｒ＿ｒａｎｇｅはキューブ幅及び高さを示す。
【０３３２】
ｃｙ＿ｒａｄｉｕｓ、ｃｙ＿ｈｏｒ＿ｒａｎｇｅｓはシリダンーの半径及びシリダンーの高さを示す。
【０３３３】
ｒｅｃｔ＿ｈｏｒ＿ｒａｎｇｅ、ｒｅｃｔ＿ｖｅｒ＿ｒａｎｇｅは長方形プリズムの幅及び高さを示す。
【０３３４】
表１３によるパラメータは、トラックグループボックス、サンプルグループボックスなどのファイルのいずれのボックスにも存在することができる。静的情報をシグナリングするためのボックス(例えば、サンプルエントリー)に存在する場合、パラメータは静的であり、動的情報をシグナリングするためのボックス(例えば、サンプルグループ)又は時限メタデータ内で伴われる場合は、パラメータは動的である。パラメータは一つ以上のビューポイント(又はビューポイントグループ)により共有される情報をシグナリングするボックス内でシグナリングされることができる。
【０３３５】
一実施例において、表１３による情報はＤＡＳＨ ＭＰＤ又はＳＥＩメッセージに基づいてシグナリングされる。
【０３３６】
図１９は一実施例による３６０°ビデオ送信装置の動作方法を示すフローチャートであり、図２０は一実施例による３６０°ビデオ送信装置の構成を示すブロック図である。
【０３３７】
図１９に示された各段階は、図５に示された３６０ビデオ送信装置、図１４ａに示された３６０ビデオ送信装置、図１５に示されたＦＬＵＳソース、又は図２０に示された３６０°ビデオ送信装置により行われる。一例として、図１９のＳ１９００は図５に示された３６０ビデオ送信装置のデータ入力部により行われ、図１９のＳ１９１０は図５に示された３６０ビデオ送信装置のプロジェクション処理部により行われ、図１９のＳ１９２０は図５に示されたメタデータ処理部により行われ、図１９のＳ１９３０は図５に示された３６０ビデオ送信装置のデータ符号器により行われ、図１９のＳ１９４０は図５に示された３６０ビデオ送信装置のカプセル化処理部により行われる。従って、図１９の各段階を説明するにおいて、図５、図１４ａ及び図１５に示した内容と重複する具体的な内容は省略するか又は簡単に説明する。
【０３３８】
図２０に示したように、一実施例による３６０°ビデオ送信装置は、データ入力部、プロジェクション処理部、メタデータ処理部、データ符号器及びカプセル化処理部を含む。しかし、場合によっては、図２０に示した全ての構成要素が３６０°ビデオ送信装置の必須構成要素ではないこともでき、３６０°ビデオ送信装置は図２０に示した構成要素より多いか又は少なく構成要素により具現されることもできる。
【０３３９】
一実施例による３６０°ビデオ送信装置において、データ入力部、プロジェクション処理部、メタデータ処理部、データ符号器及びカプセル化処理部は各々、別途のチップで具現されるか、又は少なくとも２つ以上の構成要素が一つのチップにより具現される。
【０３４０】
この明細書において、“３６０ビデオ”と“３６０°ビデオ”は多少名称が異なるが、同じ対象を指すものである。従って、図５に示した“３６０ビデオ送信装置”と図２１に示した“３６０°ビデオ送信装置”は名称が多少異なるだけであり、互いに同一／類似する動作を行うものであり、図６に示した“３６０ビデオ受信装置”と図２３に示した“３６０°ビデオ受信装置”も名称が多少異なるだけであり、互いに同一／類似する動作を行う。
【０３４１】
一実施例による３６０°ビデオ送信装置は３６０°ビデオデータを得る(Ｓ１９００)。例えば、３６０°ビデオ送信装置のデータ入力部は、少なくとも一つのカメラによりキャプチャーされた３６０°ビデオデータを得ることができる。
【０３４２】
一実施例による３６０°ビデオ送信装置は３６０°ビデオデータを処理して全方向イメージを含む２次元ピクチャを導き出す(Ｓ１９１０)。より具体的には、３６０°ビデオ送信装置のプロジェクション処理部は、３６０°ビデオデータを処理して全方向イメージを含む２次元ピクチャを導き出すことができる。
【０３４３】
一実施例による３６０°ビデオ送信装置は３６０°ビデオデータに関するメタデータを生成する(Ｓ１９２０)。より具体的には、３６０°ビデオ送信装置のメタデータ処理部は３６０°ビデオデータに対するメタデータを生成することができる。
【０３４４】
一実施例において、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含む。
【０３４５】
一例として、グループグローバル座標系の回転構造情報は、ＧｒｏｕｐＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔとも呼ばれる。
【０３４６】
一実施例において、グループグローバル座標系の回転構造情報は、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。一例として、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するヨー回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｙａｗと呼ばれ、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するピッチ回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｐｉｔｃｈと呼ばれ、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するロール回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｒｏｌｌと呼ばれる。
【０３４７】
一実施例において、メタデータは共通参照座標系に関する情報が存在するか否かを示す共通参照座標系の情報フラグを含み、共通参照座標系の情報フラグの値が１である場合、グループグローバル座標系の回転構造情報がメタデータに含まれる。一例として、共通参照座標系の情報フラグはｃｏｍｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｎｆｏ＿ｆｌａｇとも呼ばれる。
【０３４８】
一実施例において、ビューポイントグループを含まれた複数のビューポイントは、共通参照座標系を共有(Ｓｈａｒｅ)することができる。
【０３４９】
一実施例において、複数のビューポイントのうち、第１ビューポイントと第２ビューポイントのビューポイントＩＤが互いに異なる場合、第１ビューポイントに対する共通参照座標系と第２ビューポイントに対する共通参照座標系は互いに異なる。
【０３５０】
一実施例において、メタデータはビューポイントに対する視聴方向の構造に関する情報を示す視聴方向の構造情報を含む。
【０３５１】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心位置に関する情報を含む。
【０３５２】
一実施例において、関心オブジェクトの中心位置に関する情報は関心オブジェクトの中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３５３】
一実施例において、視聴方向の構造情報は視聴方向の中心位置に関する情報を含む。
【０３５４】
一実施例において、視聴方向の中心位置に関する情報は視聴方向の中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３５５】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心に対するＧＰＳ位置情報が存在するか否かを示すＧＰＳ位置存在フラグを含む。
【０３５６】
一実施例において、視聴方向の構造情報は再生される又は再生を推薦する球面又は３次元空間を示す視聴方向ボリュームの存在有無を指示するボリューム存在フラグを含む。
【０３５７】
一実施例において、３６０°ビデオ受信装置は移動端末、ネットワーク及び自律走行車両のうちのいずれか一つと通信することができる。
【０３５８】
一実施例において、メタデータは動的ビューポイントの共通参照座標系(ｃｏｍｍｏｎ ｒｅｆｅｒｅｎｃｅ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)とグローバル座標系(ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ)の間の相対的回転角度の変化有無を示す動的グローバル座標系の回転フラグ(ｄｙｎａｍｉｃ ｇｌｏａｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｆｌａｇ)を含む。
【０３５９】
一例として、動的グローバル座標系の回転フラグはｄｙｎａｍｉｃ_ｇｃｓ_ｒｏｔａｔｅｄ_ｆｌａｇと表現することができる。
【０３６０】
一実施例において、動的グローバル座標系の回転フラグはサンプルエントリー(Ｓａｍｐｌｅ ｅｎｔｒｙ)に関し、動的グローバル座標系の回転フラグが０を指示する場合、動的ビューポイントの共通参照座標系とグローバル座標系との間の相対的回転角度は、サンプルエントリーを参照するサンプル内で不変である(ｒｅｍａｉｎ ｕｎｃｈａｎｇｅｄ)ことを特徴とする。
【０３６１】
一実施例において、動的グローバル座標系の回転フラグが０を指示する場合、メタデータはグローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報は、例えば、シンタックス要素ＶｉｅｗｐｏｉｎｔＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ()に基づいてシグナリングされる。
【０３６２】
一実施例において、動的グローバル座標系の回転フラグが１を指示する場合は、サンプルエントリーを参照するサンプルに対するメタデータはグローバル座標系のｘ軸、ｙ軸及びｚ軸の各々のサンプルに関連する共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。
【０３６３】
一実施例において、複数のビューポイントは少なくとも一つのビューポイントグループに分類され(ｃａｔｅｇｏｒｉｚｅｄ ｉｎｔｏ)、メタデータは少なくとも一つのビューポイントグループの各々のビューポイントグループ構造情報(ｖｉｅｗｐｏｉｎｔ ｇｒｏｕｐ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含む。
【０３６４】
この明細書において、“第１ビューポイントグループ”及び“第２ビューポイントグループ”は、３６０ビデオデータを含まれたビューポイントグループを任意に区分したものに過ぎず、ビューポイントグループが予め定義されたビューポイントグループであることを示すか、又はビューポイントグループを示す序数に特別な意味がないことは、当該技術分野における通常の技術者であれば容易に理解することができる。
【０３６５】
一実施例において、少なくとも一つのビューポイントグループは第１ビューポイントグループ及び第２ビューポイントグループを含み、動的ビューポイントを含むビューポイントグループが第１ビューポイントグループから第２ビューポイントグループに変更される場合、３６０°ビデオデータ処理方法は、第２ビューポイントグループに対するビューポイントグループの構造情報に基づくことを特徴とする。一例として、メタデータはビューポイントグループ構造情報の変更有無を示すビューポイントグループ構造の情報フラグを含み、ビューポイントグループ構造の情報フラグは、例えば、ｄｙｎａｍｉｃ＿ｖｗｐｔ＿ｇｒｏｕｐ＿ｆｌａｇと呼ばれる。
【０３６６】
一実施例において、ビューポイントグループ構造情報は、ビューポイントグループのアンカービューポイントのＩＤに関する情報、ビューポイントグループを含まれたビューポイントが互いに近接しているか否かに関する情報及びビューポイントグループを含まれたビューポイントの数に関する情報のうちのいずれか一つを含むことを特徴とする。
【０３６７】
一実施例による３６０°ビデオ送信装置は、２次元ピクチャに関する情報を符号化する(Ｓ１９３０)。より具体的には、３６０°ビデオ送信装置のデータ符号器は２次元ピクチャに関する情報を符号化する。
【０３６８】
一実施例による３６０°ビデオ送信装置は、２次元ピクチャに関する情報及びメタデータに基づいてカプセル化を行う(Ｓ１９４０)。より具体的には、３６０°ビデオ送信装置のカプセル化処理部は２次元ピクチャに関する情報及びメタデータに基づいてカプセル化を行う。
【０３６９】
図１９及び図２０に示された３６０°ビデオ送信装置及び３６０°ビデオ送信装置の動作方法によれば、一実施例による３６０°ビデオ送信装置は３６０°ビデオデータを得(Ｓ１９００)、３６０°ビデオデータを処理して全方向イメージを含む２次元ピクチャを導き出し(Ｓ１９１０)、３６０°ビデオデータに対するメタデータを生成し(Ｓ１９２０)、２次元ピクチャに関する情報を符号化し(Ｓ１９３０)、２次元ピクチャに関する情報及びメタデータに基づいてカプセル化を行い(Ｓ１９４０)、この時、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系との間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を含むことを特徴とする。これにより、複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系との間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を効果的にシグナリングすることができる。
【０３７０】
図２１は一実施例による３６０°ビデオ受信装置の動作方法を示すフローチャートであり、図２２は一実施例による３６０°ビデオ受信装置の構成を示すブロック図である。
【０３７１】
図２１及び図２２による３６０°ビデオ受信装置及びその動作方法は、上述した図１９及び図２０による３６０°ビデオ送信装置の動作方法と一部対応する。従って、互いに重複する動作については説明を簡単にするか又は省略する。
【０３７２】
図２１に示された各段階は図６に示された３６０ビデオ受信装置、図１４ｂに示された３６０ビデオ受信装置、図１５に示されたＦＬＵＳシンク、又は図２１に示された３６０°ビデオ受信装置により行われる。一例として、図２１のＳ２１００は図６に示された３６０ビデオ受信装置の受信部により行われ、Ｓ２１１０は図６に示された３６０ビデオ受信装置のカプセル除去処理部により行われ、図２１のＳ２１２０は図６に示された３６０ビデオ受信装置のデータ復号器により行われ、図２１のＳ２１３０は図６に示されたレンダラーにより行われる。従って、図２１の各段階を説明するにおいて、図６、図１４ｂ及び図１５に示した内容と重複する具体的な内容は説明を省略するか又は簡単に説明する。
【０３７３】
図２２に示したように、一実施例による３６０°ビデオ受信装置は、受信部、カプセル除去処理部、データ復号器及びレンダラーを含む。しかし、場合によっては、図２２に示した全ての構成要素が３６０°ビデオ受信装置の必須構成要素ではないこともでき、３６０°ビデオ受信装置は図２２に示した構成要素より多いか又は少ない構成要素により具現されることもできる。
【０３７４】
一実施例による３６０°ビデオ受信装置において、受信部、カプセル除去処理部、データ復号器及びレンダラーは各々別のチップで具現されるか、又は少なくとも２つ以上の構成要素が一つのチップで具現されることもできる。
【０３７５】
一実施例による３６０°ビデオ受信装置は、３６０°ビデオデータに関する情報を受信する(Ｓ２１００)。より具体的には、３６０°ビデオ受信装置の受信部は３６０°ビデオデータに関する情報を受信することができる。
【０３７６】
一実施例において、３６０°ビデオ受信装置は３６０°ビデオ送信装置から３６０°ビデオデータに関する情報を受信し、３６０°ビデオデータに関する情報は、例えば、３６０°送信装置で符号化されたピクチャに関する情報及び３６０°ビデオデータに関するメタデータに基づいてカプセル化(ｅｎｃａｐｓｕｌａｔｉｏｎ)して導き出されたファイルを含む。但し、これに限られない。
【０３７７】
一実施例による３６０°ビデオ受信装置は、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得る(Ｓ２１１０)。より具体的には、３６０°ビデオ受信装置の受信処理部、メタデータパーサー又はカプセル除去処理部は、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得ることができる。
【０３７８】
一実施例において、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系との間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含む。
【０３７９】
一例として、グループグローバル座標系の回転構造情報はＧｒｏｕｐＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔとも呼ばれる。
【０３８０】
一実施例において、グループグローバル座標系の回転構造情報は、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。一例として、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するヨー回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｙａｗと呼ばれ、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するピッチ回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｐｉｔｃｈと呼ばれ、グローバル座標系のｘ、ｙ及びｚ軸の共通参照座標系に対するロール回転角度に関する情報はｇｒｏｕｐ＿ｇｃｓ_ｒｏｌｌと呼ばれる。
【０３８１】
一実施例において、メタデータは共通参照座標系に関する情報が存在するか否かを示す共通参照座標系の情報フラグを含み、共通参照座標系の情報フラグの値が１である場合、グループグローバル座標系の回転構造情報がメタデータに含まれる。一例として、共通参照座標系の情報フラグはｃｏｍｍｏｎ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓｔｅｍ＿ｉｎｆｏ＿ｆｌａｇとも呼ばれる。
【０３８２】
一実施例において、ビューポイントグループを含まれた複数のビューポイントは共通参照座標系を共有する。
【０３８３】
一実施例において、複数のビューポイントのうち、第１ビューポイントと第２ビューポイントのビューポイントＩＤが互いに異なる場合、第１ビューポイントに対する共通参照座標系と第２ビューポイントに対する共通参照座標系は互いに異なる。
【０３８４】
一実施例において、メタデータはビューポイントに対する視聴方向の構造に関する情報を示す視聴方向の構造情報を含む。
【０３８５】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心位置に関する情報を含む。
【０３８６】
一実施例において、関心オブジェクトの中心位置に関する情報は関心オブジェクトの中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３８７】
一実施例において、視聴方向の構造情報は視聴方向の中心位置に関する情報を含む。
【０３８８】
一実施例において、視聴方向の中心位置に関する情報は視聴方向の中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む。
【０３８９】
一実施例において、視聴方向の構造情報は関心オブジェクトの中心に対するＧＰＳ位置情報が存在するか否かを示すＧＰＳ位置存在フラグを含む。
【０３９０】
一実施例において、視聴方向の構造情報は再生される又は再生を推薦する球面又は３次元空間を示す視聴方向ボリュームの存在有無を指示するボリューム存在フラグを含む。
【０３９１】
一実施例において、３６０°ビデオ受信装置は移動端末、ネットワーク及び自律走行車両のうちのいずれか一つと通信することができる。
【０３９２】
一実施例において、メタデータは動的ビューポイントの共通参照座標系とグローバル座標系との間の相対的回転角度の変化有無を示す動的グローバル座標系の回転フラグを含む。
【０３９３】
一例として、動的グローバル座標系の回転フラグはｄｙｎａｍｉｃ＿ｇｃｓ＿ｒｏｔａｔｅｄ＿ｆｌａｇと表現される。
【０３９４】
一実施例において、動的グローバル座標系の回転フラグはサンプルエントリーに関し、動的グローバル座標系の回転フラグが０を指示する場合、動的ビューポイントの共通参照座標系とグローバル座標系との間の相対的回転角度は、サンプルエントリーを参照するサンプル内で不変する(ｒｅｍａｉｎ unｃｈａｎｇｅｄ)ことを特徴とする。
【０３９５】
一実施例において、動的グローバル座標系の回転フラグが０を指示する場合、メタデータはグローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報は、例えば、シンタックス要素ＶｉｅｗｐｏｉｎｔＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ()に基づいてシグナリングされる。
【０３９６】
一実施例において、動的グローバル座標系の回転フラグが１を指示する場合、サンプルエントリーを参照するサンプルに対するメタデータは、グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々のサンプルに関連する共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度に関する情報を含む。
【０３９７】
一実施例において、複数のビューポイントは少なくとも一つのビューポイントグループに分類され(ｃａｔｅｇｏｒｉｚｅｄ ｉｎｔｏ)、メタデータは少なくとも一つのビューポイントグループの各々のビューポイントグループ構造情報を含む。
【０３９８】
一実施例において、少なくとも一つのビューポイントグループは第１ビューポイントグループ及び第２ビューポイントグループを含み、動的ビューポイントを含むビューポイントグループが第１ビューポイントグループから第２ビューポイントグループに変更される場合、３６０°ビデオデータ処理方法は、第２ビューポイントグループに対するビューポイントグループ構造情報に基づくことを特徴とする。一例として、メタデータはビューポイントグループ構造情報の変更有無を示すビューポイントグループ構造の情報フラグを含み、ビューポイントグループ構造の情報フラグは、例えば、ｄｙｎａｍｉｃ＿ｖｗｐｔ＿ｇｒｏｕｐ＿ｆｌａｇと呼ばれる。
【０３９９】
一実施例において、ビューポイントグループ構造情報は、ビューポイントグループのアンカービューポイントのＩＤに関する情報、ビューポイントグループを含まれたビューポイントが互いに近接するか否かに関する情報及びビューポイントグループを含まれたビューポイントの数に関する情報のうちのいずれか一つを含むことを特徴とする。
【０４００】
一実施例において、３６０°ビデオデータ受信装置は、移動端末、ネットワーク及び自律走行車両のうちのいずれか一つと通信することができる。
【０４０１】
一実施例による３６０°ビデオ受信装置は、符号化されたピクチャに関する情報に基づいてピクチャを復号する(Ｓ２１２０)。より具体的には、３６０°ビデオ受信装置のデータ復号器は符号化されたピクチャに関する情報に基づいてピクチャを復号する。
【０４０２】
一実施例による３６０°ビデオ受信装置は、メタデータに基づいて復号されたピクチャをレンダリングする(Ｓ２１３０)。より具体的には、３６０°ビデオ受信装置のレンダラーはメタデータに基づいて復号されたピクチャをレンダリングする。
【０４０３】
図２１及び図２２に示された３６０°ビデオ受信装置及び３６０°ビデオ受信装置の動作方法によれば、一実施例による３６０°ビデオ受信装置は３６０°ビデオデータに関する情報を受信し(Ｓ２１００)、３６０°ビデオデータに関する情報から符号化されたピクチャに関する情報及びメタデータを得(Ｓ２１１０)、符号化されたピクチャに関する情報に基づいてピクチャを復号し(Ｓ２１２０)、メタデータに基づいて復号されたピクチャをレンダリング(Ｓ２１３０)することができ、この時、メタデータは複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系の間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報(ｇｒｏｕｐ ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ ｒｏｔａｔｉｏｎ ｓｔｒｕｃｔｕｒｅ ｉｎｆｏｒｍａｔｉｏｎ)を含むことを特徴とする。これにより、複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系との間の相対的回転角度に関する情報を示すグループグローバル座標系の回転構造情報を効果的にシグナリングすることができる。
【０４０４】
上述した本発明の実施例はＶＲ及びＡＲに適用することができる。上述した本発明の実施例は以下のようなチップセットにより具現できる。
【０４０５】
図２３は本発明の実施例を支援可能な装置を例示する。例えば、第１装置(ｆｉｒｓｔ ｄｅｖｉｃｅ)は送信装置(ｅｘ.３６０ビデオ送信装置)を含み、第２装置は受信装置(ｅｘ.３６０ビデオ受信装置)を含む。上述した送信装置及び受信装置に関する本明細書での技術的特徴をこの実施例に適用することができる。
【０４０６】
例えば、第１装置はプロセッサ、メモリ、ビデオ／イメージ獲得装置及び送受信部を含む。プロセッサは、この明細書で提案する機能、手順及び／又は方法を行うように構成される。例えば、プロセッサは上述したスティチング、プロジェクション、(リージョンごとの)パッキング、合成、(ビデオ／イメージ)符号化、メタデータ生成及び処理などの手順を制御及び／又は行うように構成される。プロセッサは３６０ビデオ／イメージ獲得手順及びＶＲ／ＡＲ情報(ｅｘ．３６０ビデオ／イメージデータなど)のカプセル化及び送信処理のための手順を制御及び／又は行うように構成されることもできる。プロセッサは本発明の実施例に開示したメタデータの構成及び送信を制御することができる。メモリはプロセッサと動作可能に結合され、プロセッサを動作させるための様々な情報を格納する。送受信部はプロセッサと動作可能に結合され、有／無線信号を送信及び／又は受信する。
【０４０７】
例えば、第２装置はプロセッサ、メモリ、送受信部、レンダラーを含む。レンダラーは省略され、外部装置で具現されることができる。プロセッサはこの明細書で提案する機能、手順及び／又は方法を行うように構成される。例えば、プロセッサは上述したメタデータ獲得及び処理、(ビデオ／イメージ)復号、(リージョンごとの)アンパッキング、選択(ｓｅｌｅｃｔｉｏｎ)、合成、リプロジェクション、レンダリングなどの手順を制御及び／又は行うように構成される。プロセッサはＶＲ／ＡＲ情報(ｅｘ.３６０ビデオ／イメージデータなど)のカプセル除去及び受信処理のための手順を制御及び／又は行うように構成されることもできる。プロセッサは本発明の実施例に開示したメタデータの構成及び送信を制御することができる。メモリはプロセッサと動作可能に結合され、プロセッサを動作させるための様々な情報を格納する。送受信部はプロセッサと動作可能に結合され、有／無線信号を送信及び／又は受信する。
【０４０８】
この明細書において、プロセッサはＡＳＩＣ(ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ)、他のチップセット、論理回路及び／又はデータ処理装置を含む。メモリはＲＯＭ(ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ)、ＲＡＭ(ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ)、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含む。送受信部は無線周波数信号を処理するための基底帯域回路を含む。実施例がソフトウェアで具現される場合、この明細書に説明された技術は、この明細書に説明する機能を行うモジュール(例えば、手順、機能など)で具現される。モジュールはメモリに格納され、プロセッサにより行われる。メモリはプロセッサの内部に具現される。又は、メモリはプロセッサの外部に具現されることもでき、技術分野に公知された様々な手段によりプロセッサに通信可能に連結される。
【０４０９】
第１装置としては、基地局、ネットワークノード、送信端末、受信端末、無線装置、無線通信装置、車両、自律走行機能を有する車両、コネクティッド・カー、ドローン(ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、ＵＡＶ)、ＡＩ(ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ)モジュール、ロボット、ＡＲ(ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ)装置、ＶＲ(ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ)装置、ＭＲ(ｍｉｘｅｄ ｒｅａｌｉｔｙ)装置、ホログラム装置、公共安全のための装置、ＭＴＣ装置、ＩｏＴ装置、医療用装置、フィンテック装置(又は金融装置)、保安装置、気象／環境装置、５Ｇサービスに関連する装置、又は４次産業革命分野に関連する装置などがある。
【０４１０】
第２装置としては、基地局、ネットワークノード、送信端末、受信端末、無線装置、無線通信装置、車両、自律走行機能を有する車両、コネクティッド・カー、ドローン(ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、ＵＡＶ)、ＡＩ(ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ)モジュール、ロボット、ＡＲ(ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ)装置、ＶＲ(ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ)装置、ＭＲ(ｍｉｘｅｄ ｒｅａｌｉｔｙ)装置、ホログラム装置、公共安全のための装置、ＭＴＣ装置、ＩｏＴ装置、医療用装置、フィンテック装置(又は金融装置)、保安装置、気象／環境装置、５Ｇサービスに関連する装置、又は４次産業革命分野に関連する装置などがある。
【０４１１】
端末としては、例えば、携帯電話、スマートフォン、ラップトップ(ｌａｐｔｏｐ ｃｏｍｐｕｔｅｒ)、デジタル放送用端末、ＰＤＡ(ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ)、ＰＭＰ(ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ)、ナビゲーションシステム(ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ)、スレートＰＣ(ｓｌａｔｅ ＰＣ)、タブレットＰＣ(ｔａｂｌｅｔ ＰＣ)、ウルトラブック(ｕｌｔｒａｂｏｏｋ)、ウェアラブル装置(ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ)(例：スマートウオッチ、スマートガラス又は頭装着型ディスプレイ(ＨＭＤ；ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ))などがある。例えば、ＨＭＤは頭に装着されるタイプの装置である。例えば、ＨＭＤはＶＲ、ＡＲ、ＭＲの具現に用いられる。
【０４１２】
例えば、ドローンは無人無線制御信号により飛行する飛行体である。例えば、 ＶＲ装置は、例えば、仮想世界の物体又は背景を具現するための装置を含む。ＡＲ装置は、例えば、仮想世界の物体又は背景を現実世界の物体又は背景に連結するように具現される装置を含む。ＭＲ装置は、例えば、仮想世界の物体又は背景を現実世界の物体又は背景に併合(ｍｅｒｇｅ)するように具現される装置を含む。ホログラム装置は、例えば、ホログラフィ(ｈｏｌｏｇｒａｐｈｙ)と呼ばれる２つのレーザが合った時に生成される光の干渉現象を用いて立体情報を記録し、再生産することにより、３６０°の立体映像を具現するための装置を含む。公共安全のための装置は、例えば、ユーザの体に着用可能な(ｗｅａｒａｂｌｅ)映像中継装置又は映像装置を含む。ＭＴＣ装置及びＩｏＴ装置は直接的な人間の干渉又は操作を必要としない装置を含む。例えば、ＭＴＣ装置とＩｏＴ装置は、スマートメーター、自動販売機、温度計、スマート電球、ドアロック又は様々なセンサを含む。医療用装置は、例えば、診断、診療、緩和、治療、疾病予防のために使用される装置である。例えば、医療用装置は救助又は機能を検査、代替、修正するために使用される装置である。例えば、医療用装置は妊娠調節のための装置である。例えば、医療用装置は診療のための装置、手術のための装置、(体外)診断のための装置、補聴器、施術のための装置を含む。保安装置は、例えば、あり得る危険を防止し、安全を守るために設けられる装置である。例えば、保安装置としてはカメラ、ＣＣＴＶ、録音装置(Ｒｅｃｏｒｄｅｒ)、又はブラックボックスがある。フィンテック装置は、例えば、モバイル決済のような金融サービスを提供する装置である。例えば、フィンテック装置は、決済装置又はＰＯＳ(ｐｏｉｎｔ ｏｆ ｓａｌｅｓ)システムを含む。気象／環境装置は、例えば、気象／環境をモニタリングするための装置を含む。
【０４１３】
第１装置及び／又は第２装置は一つ以上のアンテナを有する。例えば、アンテナは無線信号を送受信するように構成される。
【０４１４】
上述した本発明による技術的特徴は、ＶＲ／ＡＲなどの様々なサービスに適用することができる。また上述した本発明による技術的特徴は、５Ｇ(ｆｉｆｔｈ ｇｅｎｅｒａｔｉｏｎ)又は次世代通信などにより行われる。例えば、送信装置(ｅｘ.３６０ビデオ送信装置)で出力されたデータ(ｅｘ.ビデオ／映像ビットストリーム、メタデータなどを含む)は、５Ｇ通信により受信装置(ｅｘ.３６０ビデオ受信装置)に送信される。また、(ＶＲ／ＡＲ)映像／ビデオ獲得装置が外部に別に備えられ、送信装置に５Ｇ通信により得られた映像／ビデオを伝達することができる。また本発明による送信装置及び／又は受信装置は、５Ｇ通信により様々なサービスシナリオを支援することができる。
【０４１５】
図２４は本発明の技術的特徴が適用可能な５Ｇ使用シナリオの一例を示す。ここで、図示した５Ｇ使用シナリオはただ一例であり、本発明の技術的特徴は図示していない他の５Ｇ使用シナリオにも適用することができる。
【０４１６】
図２４を参照すると、５Ｇの主要要求事項の３つの領域は、(１)改善したモバイル広帯域(Ｅｎｈａｎｃｅｄ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ、ｅＭＢＢ)領域、(２)多量のマシンタイプ通信(ｍａｓｓｉｖｅ Ｍａｃｈｉｎｅ ｔｙｐｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ、ｍＭＴＣ)領域、及び(３)超信頼及び低遅延通信(Ｕｌｔｒａ−Ｒｅｌｉａｂｌｅ ａｎｄ Ｌｏｗ Ｌａｔｅｎｃｙ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ、ＵＲＬＬＣ)領域を含む。一部の使用例(Ｕｓｅ Ｃａｓｅ)では、最適化のために多数の領域が要求され、他の使用例では、ただ１つの核心性能指標(Ｋｅｙ Ｐｅｒｆｏｒｍａｎｃｅ Ｉｎｄｉｃａｔｏｒ、ＫＰＩ)のみに集中することもできる。５Ｇはかかる様々な使用例を柔らかく信頼できる方法で支援することである。
【０４１７】
ｅＭＢＢはデータ速度、遅延、ユーザ密度、モバイル広帯域接続の容量及びカバレッジの全般的な向上に重点を置いている。ｅＭＢＢは１０Ｇｂｐｓ程度の処理量を目標とする。ｅＭＢＢは基本的なモバイルインターネットアクセスを飛び越えて、豊かな両方向作業、クラウド又は拡張現実におけるメディア及びエンターテインメントアプリケーションをカバーする。データは５Ｇの核心動力の１つであり、５Ｇ時代に初めて専用音声サービスが見られないことができる。５Ｇにおいて、音声は単に通信システムにより提供されるデータ連結を使用して応用プログラムとして処理されることが期待される。増加したトラフィック量のための主要原因はコンテンツのサイズ増加及び高いデータ送信率を要求するアプリケーション数の増加である。ストリーミングサービス(オーディオ及びビデオ)、会話型ビデオ及びモバイルインターネット連結は、より多い装置がインターネットに連結されるほど広く使用される。かかる多い応用プログラムはユーザに実時間情報及び通知をプッシュするために常にオンになっている連結性が必要である。クラウドストーリッジ及びアプリケーションはモバイル通信プラットホームで急に増加しており、これは業務及びエンターテインメントに全て適用できる。またクラウドストーリッジは上りリンクデータ送信率の成長を牽引する特別な使用例である。５Ｇはクラウドの遠隔業務にも使用され、触覚インターフェースが使用される時、優れたユーザ経験を維持するように非常に低い端−対−端(ｅｎｄ−ｔｏ−ｅｎｄ)遅延を要求する。エンターテインメント、例えば、クラウドゲーム及びビデオストリーミングは、モバイル広帯域能力に対する要求を増加させる他の核心要素である。エンターテインメントは汽車、車及び飛行機のような高移動性の環境を含むどこでもスマートフォン及びタブレットにおいて必須である。さらに他の使用例としては、エンターテインメントのための拡張現実及び情報検索がある。ここで、拡張現実は非常に低い遅延と瞬間的なデータ量を必要とする。
【０４１８】
ｍＭＴＣはバッテリーにより駆動される多量の低費用装置の間の通信を可能にするために設計され、スマート計量、物流、現場及び身体センサのようなアプリケーションを支援するためのものである。ｍＭＴＣは１０年程度のバッテリー及び／又は１Ｋｍ２当たり百万個程度の装置を目標とする。ｍＭＴＣは全分野で埋め込みセンサ(ｅｍｂｅｄｄｅｄ ｓｅｎｓｏｒ)を円滑に接続できるようにし、最も多く予想される５Ｇ使用例の１つである。２０２０年まで潜在的なＩｏＴ装置は２０４億個に達すると予測される。産業ＩｏＴは、５Ｇがスマートシティ、資産追跡(ａｓｓｅｔ ｔｒａｃｋｉｎｇ)、スマートユーティリティ、農業及びセキュリティインフラを可能にする主要な役割を行う領域の１つである。
【０４１９】
ＵＲＬＬＣによって、装置及び機械が非常に高い信頼度、非常に低い遅延及び高い可用性で通信することができ、車両通信、産業制御、工場自動化、遠隔手術、スマートグリッド及び公共安全アプリケーションに適合する。ＵＲＬＬＣは、重要インフラの遠隔制御及び自動運転車両(Ｓｅｌｆ−ｄｒｉｖｉｎｇ ｖｅｈｉｃｌｅ)などの超信頼／利用可能な遅延が少ないリンクを介して産業を変化させる新しいサービスを含む。信頼性と遅延の水準は、スマートグリッド制御、産業自動化、ロボット工学、ドローン制御、及び調整に必須的である。
【０４２０】
以下、図２３の三角形に含まれた多数の使用例についてより具体的に説明する。
【０４２１】
５Ｇは、秒当たり数百メガビットから秒当たりギガビットと評価されるストリームを提供する手段としてＦＴＴＨ(ｆｉｂｅｒ−ｔｏ−ｔｈｅ−ｈｏｍｅ)及びケーブル基盤の広帯域(又はＤＯＣＳＩＳ)を補完することができる。このような速い速度は、仮想現実(ＶＲ；ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ)と増強現実(ＡＲ；ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ)だけでなく、４Ｋ以上(６Ｋ、８Ｋ及びそれ以上)の解像度でＴＶを伝達するのに要求される。ＶＲ及びＡＲアプリケーションは、大部分没入型(ｉｍｍｅｒｓｉｖｅ)スポーツを含む。特定アプリケーションは、特別なネットワーク設定が要求されることがある。例えば、ＶＲゲームの場合、ゲーム会社が遅延を最小化するためにコアサーバーをネットワークオペレータのエッジネットワークサーバーと統合しなければならないことがある。
【０４２２】
自動車(Ａｕｔｏｍｏｔｉｖｅ)は、車両に対する移動通信のための多くの使用例とともに５Ｇにおいて重要な新しい動力になると予想される。例えば、乗客のためのエンターテインメントは、同時に高い容量と高いモバイル広帯域を要求する。その理由は、未来のユーザは自分の位置及び速度に関係なく、高品質の接続を継続して期待するためである。自動車分野の他の活用例は、増強現実のダッシュボードである。これは、運転者が前面窓を通じて見ているものの上に、闇の中で物体を識別し、物体の距離と動きに対して運転者に知らせる情報を重ねてディスプレイする。未来に、無線モジュールは、車両間の通信、車両とサポートするインフラ構造間の情報交換、及び自動車と他の接続された装置(例えば、歩行者が携帯する装置)間の情報交換を可能にする。安全システムは、運転者がより安全に運転することができるように、行動の代替コースを案内して事故の危険を減らすことができるようにする。次の段階は、遠隔操縦又は自動運転車両(Ｓｅｌｆ−ｄｒｉｖｅｎ ｖｅｈｉｃｌｅ)になる。これは、相異なる自動運転車両の運転車両間及び自動車とインフラ間で非常に信頼性があり、非常に速い通信を要求する。未来に、自動運転車両が全ての運転活動を行い、運転者は車両自体が識別できない交通異常にのみ集中するようにする。自動運転車両の技術的な要求事項は、トラヒック安全を人が達成できない程度の水準まで増加するように超低遅延と超高速信頼性を要求する。
【０４２３】
スマート社会として言及されるスマート都市やスマートホームは、高密度無線センサネットワークで埋め込まれる(ｅｍｂｅｄｄｅｄ)。知能型センサの分散ネットワークは、都市又はホームの費用及びエネルギー効率的な維持に対する条件を識別する。類似の設定が各家庭のために行われることができる。温度センサ、窓及び暖房コントローラー、盗難警報機及び家電製品は全て無線で接続される。このようなセンサのうち多くのセンサが典型的に低いデータ送信速度、省電力及び低コストである。しかしながら、例えば、実時間ＨＤビデオは、監視のために特定タイプの装置により要求される可能性がある。
【０４２４】
熱又はガスを含むエネルギーの消費及び分配は高度に分散化されており、分散センサネットワークの自動化制御が要求される。スマートグリッドは情報を収集し、これによって行動するようにデジタル情報及び通信技術を使用してこのようなセンサを相互接続する。この情報は、供給会社と消費者の行動を含むことができるので、スマートグリッドが効率性、信頼性、経済性、生産の持続可能性、及び自動化方式で電気などの燃料の分配を改善するようにすることができる。スマートグリッドは、遅延が少ない他のセンサネットワークとして見ることもできる
【０４２５】
健康部門は、移動通信の恵みを享受できる多くのアプリケーションを保有している。通信システムは、遠く離れた所で臨床診療を提供する遠隔診療を支援することができる。これは、距離に対する障壁を減らすようにするとともに、遠距離の農村で持続的に利用できない医療サービスへの接近を改善することができる。また重要な診療及び応急状況で命を救うために使用される。移動通信ベースの無線センサネットワークは、心拍数及び血圧のようなパラメータに対する遠隔モニタリング及びセンサを提供することができる。
【０４２６】
無線及びモバイル通信は、産業応用分野でますます重要になっている。配線は設置及び維持費用が高い。従って、ケーブルを再構成できる無線リンクへの交替可能性は、多くの産業分野で魅力的な機会である。しかしながら、これを達成することは、無線接続がケーブルと類似した遅延、信頼性及び容量で動作することと、その管理が単純化されることが要求される。低い遅延と非常に低い誤り確率は、５Ｇで接続される必要のある新たな要求事項である
【０４２７】
物流及び貨物追跡は、位置基盤の情報システムを使用してとこでもインベントリ(ｉｎｖｅｎｔｏｒｙ)及びパッケージの追跡を可能にする移動通信に対する重要な使用例である。物流及び貨物追跡の使用例は、典型的に低いデータ速度を要求するが、広い範囲と信頼性のある位置情報が必要である
【０４２８】
また、本発明による実施例は、ＸＲ(ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)を支援するために行われる。ＸＲ(ｅＸｔｅｎｄｅｄ Ｒｅａｌｉｔｙ)は、仮想現実(ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ)、拡張現実(ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ)、複合現実(ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ)を総称する。ＶＲ技術では現実の実物や背景などをＣＧ映像のみで提供し、ＡＲ技術では実物の映像上に仮想のＣＧ映像を共に提供し、ＭＲ技術は現実世界に仮想のモノを結合して提供するコンピューターグラフィック技術である。
【０４２９】
ＭＲ技術は、現実のモノと仮想のモノを同時に示すという点でＡＲ技術と類似する。しかし、ＡＲ技術では仮想のモノが現実のモノを補完する形態で使用される反面、ＭＲ技術では仮想のモノと現実のモノが同等な性格で使用されるという点で差がある。
【０４３０】
ＸＲ技術はＨＭＤ(Ｈｅａｄ−Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、ＨＵＤ(Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ)、携帯電話、タブレットＰＣ、ラップトップ、デスクトップ、ＴＶ、電子看板などに適用でき、ＸＲ技術が適用された装置をＸＲ装置(ＸＲ Ｄｅｖｉｃｅ)と呼ぶ。ＸＲ装置は上述した第１装置及び／又は第２装置を含むことができる。
【０４３１】
ＸＲ装置は５Ｇ通信などに基づく通信ネットワークにより様々なサービスに連結されることができる。
【０４３２】
図２５は本発明の一実施例によるサービスシステムを示す。
【０４３３】
図２５を参照すると、ＸＲ装置１００ｃはネットワーク１０によりＡＩサーバー２００ａ、ロボット１００ａ、自律走行車両１００ｂ、スマートフォン１００ｄ又は家電１００ｅのうちのいずれか一つに連結される。ここで、ＡＩ技術が適用されたロボット１００ａ、自律走行車両１００ｂ、ＸＲ装置１００ｃ、スマートフォン１００ｄ、又は家電１００ｅなどをＡＩ装置ともいう。
【０４３４】
ネットワーク１０は有／無線通信ネットワークを含む。ネットワーク１０はクラウドネットワークを含む。クラウドネットワークはクラウドコンピューティングインフラの一部を構成するか又はクラウドコンピューティングインフラ内に存在するネットワークを意味する。ここで、クラウドネットワークは３Ｇネットワーク、４Ｇ又はＬＴＥ(Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ)ネットワーク又は５Ｇネットワークなどを利用して構成される。
【０４３５】
システム１を構成する各装置１００ａないし１００ｅ、２００は、クラウドネットワーク１０を介して互いに接続される。特に、各装置１００ａないし１００ｅ、２００は、基地局を介して互いに通信することもできるが、基地局を介さずに直接互いに通信することもできる。
【０４３６】
ＡＩサーバー２００は、ＡＩプロセッシングを行うサーバーとビッグデータに対する演算を行うサーバーを含む。
【０４３７】
ＡＩサーバー２００ａは、ロボット１００ａ、自律走行車両１００ｂ、ＸＲ装置１００ｃ、スマートフォン１００ｄ、又は家電１００ｅのうちのいずれか一つとネットワーク１０を介して接続され、接続されたＡＩ装置１００ａないし１００ｅのＡＩプロセッシングの少なくとも一部を助けることができる。
【０４３８】
この時、ＡＩサーバー２００ａは、ＡＩ装置１００ａないし１００ｅの代わりにマシンラーニングアルゴリズムに従って人工神経網を学習させることができ、学習モデルを直接保存するか、ＡＩ装置１００ａないし１００ｅに送信することができる。
【０４３９】
ここで、ＡＩサーバー２００ａは、ＡＩ装置１００ａないし１００ｅから入力データを受信し、学習モデルを利用して受信した入力データに対して結果値を推論し、推論した結果値に基づいた回答や制御命令を生成してＡＩ装置１００ａないし１００ｅに送信することができる。
【０４４０】
又は、ＡＩ装置１００ａないし１００ｅは、直接学習モデルを用いて入力データに対して結果値を推論し、推論した結果値に基づいた回答や制御命令を生成することもできる。
【０４４１】
ＸＲ装置１００ｃは、ＨＭＤ(Ｈｅａｄ−Ｍｏｕｎｔ Ｄｉｓｐｌａｙ)、車両に装備されたＨＵＤ(Ｈｅａｄ−Ｕｐ Ｄｉｓｐｌａｙ)、ＴＶ、携帯電話、スマートフォン、コンピューター、ウェアラブル装置、家電機器、デジタルサイネージ、車両、固定型ロボットや移動型ロボットなどで実現できる。
【０４４２】
ＸＲ装置１００ｃは、多様なセンサを介して又は外部装置から取得した３次元ポイントクラウドデータ又はイメージデータを分析して３次元ポイントに対する位置データ及び属性データを生成することにより周辺空間又は現実オブジェクトに対する情報を得、出力するＸＲオブジェクトをレンダリングして出力することができる。例えば、ＸＲ装置１００ｃは、認識された物体に関する追加情報を含むＸＲオブジェクトを該当認識された物体に対応させて出力することができる。
【０４４３】
ＸＲ装置１００ｃは、少なくとも１つ以上の人工ニューラルネットワークで構成された学習モデルを利用して上述した動作を行うことができる。例えば、ＸＲ装置１００ｃは、学習モデルを利用して３次元ポイントクラウドデータ又はイメージデータから現実オブジェクトを認識することができ、認識した現実オブジェクトに相応する情報を提供することができる。ここで、学習モデルは、ＸＲ装置１００ｃにおいて直接学習されるか、ＡＩサーバー２００ａなどの外部装置において学習されたものである。
【０４４４】
この時、ＸＲ装置１００ｃは、直接学習モデルを利用して結果を生成して動作を行うこともできるが、ＡＩサーバー２００ａなどの外部装置にセンサ情報を送信し、それによって生成された結果を受信して動作を行うこともできる。
【０４４５】
ロボット１００ａは、案内ロボット、運搬ロボット、掃除ロボット、ウェアラブルロボット、エンターテインメントロボット、ペットロボット、無人飛行ロボット、ドローンなどを含む。
【０４４６】
ロボット１００ａは、動作を制御するためのロボット制御モジュールを含み、ロボット制御モジュールはソフトウェアモジュール又はこれをハードウェアで実現したチップを意味する。
【０４４７】
ロボット１００ａは、様々な種類のセンサから得たセンサ情報を利用してロボット１００ａの状態情報を得るか、周辺環境及びオブジェクトを検出(認識)するか、マップデータを生成するか、移動経路及び走行計画を決定するか、ユーザ相互作用に対する回答を決定するか、又は動作を決定することができる。
【０４４８】
ここで、ロボット１００ａは、移動経路及び走行計画を決定するために、ライダー、レーダー、カメラのうちのいずれか１つのセンサから得たセンサ情報を利用することができる。
【０４４９】
ＸＲ装置１００ｃはネットワーク１０によりロボット１００ａを遠隔接続及び／又は遠隔調整することもできる。この場合、ロボット１００ａはＸＲ装置１００ｃを使用するユーザと視野又は外面を共有し、ユーザの制御／相互作用に基づいて駆動部を制御することにより、動作を行うか又は走行することができる。この時、ロボット１００ａは、ユーザの動作や音声発話による相互作用の意図情報を得、得られた意図情報に基づいて回答を決定して動作を行うことができる。
【０４５０】
ＸＲ技術が適用されたロボット１００ａは、ＸＲ映像内での制御／相互作用の対象となるロボットを意味する。この場合、ロボット１００ａは、ＸＲ装置１００ｃと区分され、互いに連動されることができる。ＸＲ映像内での制御／相互作用の対象となるロボット１００ａがカメラを含むセンサからセンサ情報を得ると、ロボット１００ａ又はＸＲ装置１００ｃはセンサ情報に基づいたＸＲ映像を生成し、ＸＲ装置１００ｃは生成されたＸＲ映像を出力することができる。そして、このようなロボット１００ａは、ＸＲ装置１００ｃを介して入力される制御信号又はユーザの相互作用に基づいて動作することができる。
【０４５１】
例えば、ユーザはＸＲ装置１００ｃなどの外部装置を介して遠隔で連動されたロボット１００ａの視点に相応するＸＲ映像を確認することができ、相互作用によりロボット１００ａの自律走行経路を修正するか、動作又は走行を制御するか、又は周辺オブジェクトの情報を確認することができる。
【０４５２】
自律走行車両１００ｂは、移動型ロボット、車両、汽車、有無人飛行体、船舶などを含む。
【０４５３】
自律走行車両１００ｂは、自律走行機能を制御するための自律走行制御モジュールを含み、自律走行制御モジュールは、ソフトウェアモジュール又はこれをハードウェアで実現したチップを意味する。自律走行制御モジュールは、自律走行車両１００ｂの構成として内部に含まれることもできるが、自律走行車両１００ｂの外部に別のハードウェアとして構成されて接続されることもできる。
【０４５４】
自律走行車両１００ｂは、様々な種類のセンサから取得したセンサ情報を利用して自律走行車両１００ｂの状態情報を取得するか、周辺環境及びオブジェクトを検出(認識)するか、マップデータを生成するか、移動経路及び走行計画を決定するか、又は動作を決定する。
【０４５５】
ここで、自律走行車両１００ｂは、移動経路及び走行計画を決定するために、ロボット１００ａと同様に、ライダー、レーダー、カメラのうち少なくとも１つ以上のセンサから得たセンサ情報を利用する。
【０４５６】
特に、自律走行車両１００ｂは、視界が遮られる領域や一定距離以上の領域に対する環境やオブジェクトは外部装置からセンサ情報を受信して認識するか、又は外部装置から直接認識された情報を受信することができる。
【０４５７】
ＸＲ装置１００ｃはネットワーク１０により自律走行車両１００ｂを遠隔接続及び／又は遠隔調整することもできる。この場合、自律走行車両１００ｂはＸＲ装置１００ｃを使用するユーザと視野又は外面を共有し、ユーザの制御／相互作用に基づいて駆動部を制御することにより、動作を行うか又は走行することができる。この時、ロボット１００ａは、ユーザの動作や音声発話による相互作用の意図情報を得、得られた意図情報に基づいて回答を決定して動作を行うことができる。
【０４５８】
ＸＲ技術が適用された自律走行車両１００ｂは、ＸＲ映像を提供する手段を備えた自律走行車両や、ＸＲ映像内での制御／相互作用の対象となる自律走行車両などを意味する。特に、ＸＲ映像内での制御／相互作用の対象となる自律走行車両１００ｂは、ＸＲ装置１００ｃと区分され、互いに連動することができる。
【０４５９】
ＸＲ映像を提供する手段を備えた自律走行車両１００ｂは、カメラを含むセンサからセンサ情報を得、得られたセンサ情報に基づいて生成されたＸＲ映像を出力する。例えば、自律走行車両１００ｂは、ＨＵＤを備えてＸＲ映像を出力することにより、搭乗者に現実オブジェクト又は画面内のオブジェクトに対応するＸＲオブジェクトを提供することができる。
【０４６０】
この時、ＸＲオブジェクトがＨＵＤに出力される場合は、ＸＲオブジェクトの少なくとも一部が搭乗者の視線が向かう実際オブジェクトにオーバーラップされるように出力されることができる。反面、ＸＲオブジェクトが自律走行車両１００ｂの内部に備えられるディスプレイに出力される場合には、ＸＲオブジェクトの少なくとも一部が画面内のオブジェクトにオーバーラップされるように出力されることができる。例えば、自律走行車両１００ｂは、車で、他の車両、信号灯、交通標識、二輪車、歩行者、建物などのオブジェクトに対応するＸＲオブジェクトを出力することができる。
【０４６１】
ＸＲ映像内での制御／相互作用の対象となる自律走行車両１００ｂがカメラを含むセンサからセンサ情報を取得すると、自律走行車両１００ｂ又はＸＲ装置１００ｃは、センサ情報に基づいたＸＲ映像を生成し、ＸＲ装置１００ｃは生成されたＸＲ映像を出力する。そして、このような自律走行車両１００ｂは、ＸＲ装置１００ｃなどの外部装置を介して入力される制御信号又はユーザの相互作用に基づいて動作する。
【０４６２】
ＸＲ装置１００ｃはロボット１００ａ及び／又は自律走行車両１００ｂ内に備えられ、ユーザに別のＸＲコンテンツを提供するか、又はロボット１００ａ及び／又は自律走行車両１００ｂの内／外部の映像をユーザに提供する。
【０４６３】
さらにＸＲ装置１００ｃは、エンターテインメント、運動、教育、交通、医療、電子商取引、製造、国防などの様々なサービスに使用できる。例えば、ＸＲ装置１００ｃにより映画、テーマパーク、スポーツなどを体験及び／又は観覧することができ、医療用実習、火事の現場などの危険な環境での訓練などを支援することができる。またＸＲ装置１００ｃにより位置認識及び地図生成(ＳＬＡＭ)技術を活用したＡＲ Ｗａｙｓなどのナビゲーションサービスを提供することができ、仮想のモールに接続してショッピング又は購買を行うこともできる。
【０４６４】
上述した各々のパート、モジュール又はユニットは、メモリ(又は格納ユニット)に格納された連続する実行過程を行うプロセッサであるか、又はハードウェアパートである。上述した実施例に記載された各々の段階は、プロセッサ又はハードウェアパートにより行われることができる。上述した実施例に記載された各々のモジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作することができる。また本発明が提示する方法は、コードとして実行されることができる。このコードはプロセッサが読み取り可能な格納媒体に記録されることができ、よって装置が提供するプロセッサにより読み取られることができる。
【０４６５】
上述した実施例において、上記方法は一連の段階又はブロックで順序図に基づいて説明されているが、本発明は段階の順序に限定されるものではなく、ある段階は前述と異なる段階と異なる順序に又は同時に発生することができる。また、当業者であれば、順序図に示す段階が排他的でなく、他の段階が含まれたり、或いは順序図の一つ又はその以上の段階が本発明の範囲に影響を及ぼさずに削除可能であること理解することができる。
【０４６６】
本発明において、実施例がソフトウェアで具現される時、上述した技法は、上述した機能を遂行するモジュール(過程、機能など)で具現されることができる。モジュールはメモリに格納され、プロセッサにより実行されることができる。メモリはプロセッサの内部又は外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサはＡＳＩＣ(ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ)、他のチップセット、論理回路及び／又はデータ処理装置を含む。メモリはＲＯＭ(ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ)、ＲＡＭ(ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ)、フラッシュメモリ、メモリカード、格納媒体及び／又は他の格納装置を含む。
【０４６７】
上述した装置の内部コンポーネントは、メモリに格納された連続する実行過程を行うプロセッサであるか、又はそれ以外のハードウェアで構成されたハードウェアコンポーネントである。これらは装置の内／外部に位置することができる。
【０４６８】
上述したモジュールは実施例によって省略することができ、或いは類似／同一の動作を行う他のモジュールに置き換えることができる。
【０４６９】
この明細書に記載の請求項は様々な方式で組み合わせることができる。例えば、この明細書の方法請求項の技術的特徴を組み合わせて装置で具現するか、又はこの明細書の装置請求項の技術的特徴を組み合わせて方法で具現することができる。なお、この明細書の方法請求項の技術的特徴と装置請求項の技術的特徴を組み合わせて装置で具現するか、或いはこの明細書の方法請求項の技術的特徴と装置請求項の技術的特徴を組み合わせて方法で具現することができる。
【図１】
2021506189.tif 000020
【図２】
2021506189.tif 000021
【図３】
2021506189.tif 000022
【図４】
2021506189.tif 000023
【図５】
2021506189.tif 000024
【図６】
2021506189.tif 000025
【図７】
2021506189.tif 000026
【図８】
2021506189.tif 000027
【図９ａ】
2021506189.tif 000028
【図９ｂ】
2021506189.tif 000029
【図１０ａ】
2021506189.tif 000030
【図１０ｂ】
2021506189.tif 000031
【図１１】
2021506189.tif 000032
【図１２】
2021506189.tif 000033
【図１３】
2021506189.tif 000034
【図１４ａ】
2021506189.tif 000035
【図１４ｂ】
2021506189.tif 000036
【図１５】
2021506189.tif 000037
【図１６】
2021506189.tif 000038
【図１７】
2021506189.tif 000039
【図１８】
2021506189.tif 000040
【図１９】
2021506189.tif 000041
【図２０】
2021506189.tif 000042
【図２１】
2021506189.tif 000043
【図２２】
2021506189.tif 000044
【図２３】
2021506189.tif 000045
【図２４】
2021506189.tif 000046
【図２５】
2021506189.tif 000047
【手続補正書】
【提出日】令和2年6月11日(2020.6.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３６０°ビデオデータを受信するための装置による３６０°ビデオデータを処理する方法であって、
３６０°ビデオデータ及び前記３６０°ビデオデータに対するメタデータを含むビットストリームを受信する段階と、
前記３６０°ビデオデータ及び前記メタデータをカプセル除去する段階と、
前記３６０°ビデオデータを復号する段階と、
前記メタデータに基づいて前記３６０°ビデオデータをレンダリングする段階と、
を含み、
前記メタデータは、前記３６０°ビデオデータに対する複数のビューポイントのグループであるビューポイントグループに対する識別子を含むビューポイントグループ情報を含むビューポイント情報を含む、３６０°ビデオデータ処理方法。
【請求項２】
前記メタデータは、前記３６０°ビデオデータに対するビューポイントのｘ軸位置情報、ｙ軸位置情報及びｚ軸位置情報、前記ビューポイントのジオロケーションの経度情報、前記ビューポイントの前記ジオロケーションの緯度情報、及び前記ビューポイントの前記ジオロケーションの高度情報をさらに含む、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項３】
前記メタデータは、複数のビューポイントを含むビューポイントグループの共通参照座標系とグローバル座標系との間の相対的回転角度に対する情報を示すグループグローバル座標系の回転構造情報を含み、
前記グループグローバル座標系の回転構造情報は、前記グローバル座標系のｘ軸、ｙ軸及びｚ軸の各々の前記共通参照座標系に対するヨー回転角度、ピッチ回転角度及びロール回転角度を含み、
前記メタデータは、前記共通参照座標系に対する情報が存在するか否かを示す共通参照座標系情報フラグを含み、
前記共通参照座標系情報フラグが１である場合、前記グループグローバル座標系の回転構造情報は、前記メタデータに含まれ、または、
前記ビューポイントグループに含まれる前記複数のビューポイントは、前記共通参照座標系を共有する、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項４】
前記メタデータは、前記ビューポイントのグローバル座標系のｘ軸、ｙ軸及びｚ軸の各々のヨー角度、ピッチ角度及びロール角度が、共通参照座標系に対して変更されたか否かを表すフラグ情報を含む動的ビューポイント情報を含む、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項５】
前記複数のビューポイントの第１ビューポイントが、前記複数のビューポイントの第２ビューポイントと異なる場合、前記第１ビューポイントに対する共通参照座標系は、前記第２ビューポイントに対する共通参照座標系と異なる、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項６】
前記メタデータは、ビューポイントに対する視聴方向の構造を示す視聴方向構造情報を含む、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項７】
前記視聴方向構造情報は、オブジェクトの中心の位置情報を含む、請求項６に記載の３６０°ビデオデータ処理方法。
【請求項８】
前記オブジェクトの中心の前記位置情報は、前記オブジェクトのｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含み、または、
前記視聴方向構造情報は、前記オブジェクトの中心に対するＧＰＳ位置情報が存在するか否かを表すＧＰＳ位置存在フラグを含む、請求項７に記載の３６０°ビデオデータ処理方法。
【請求項９】
前記視聴方向構造情報は、前記視聴方向の中心位置情報を含む、請求項６に記載の３６０°ビデオデータ処理方法。
【請求項１０】
前記視聴方向の中心位置情報は、前記視聴方向の中心のｘ軸方向位置、ｙ軸方向位置及びｚ軸方向位置を含む、請求項９に記載の３６０°ビデオデータ処理方法。
【請求項１１】
前記視聴方向構造情報は、再生される又は再生を推薦する球面又は３次元空間を示す視聴方向が存在するか否かを示すボリューム存在フラグを含む、請求項６に記載の３６０°ビデオデータ処理方法。
【請求項１２】
前記３６０°ビデオデータを受信するための装置は、移動端末、ネットワーク及び自律走行車両の少なくとも一つと通信する、請求項１に記載の３６０°ビデオデータ処理方法。
【請求項１３】
３６０°ビデオデータを送信するための装置による３６０°ビデオデータを処理する方法において、
少なくとも一つのカメラによりキャプチャーされた３６０°ビデオデータを得る段階と、
前記３６０°ビデオデータを処理して全方向イメージを含む２次元ピクチャを導き出す段階と、
前記３６０°ビデオデータに対するメタデータを生成する段階と、
前記２次元ピクチャを符号化する段階と、
前記２次元ピクチャ及び前記メタデータをカプセル化する段階と、
を含み、
前記メタデータは、前記３６０°ビデオデータに対する複数のビューポイントのグループであるビューポイントグループに対する識別子を含むビューポイントグループ情報を含むビューポイント情報を含む、３６０°ビデオデータ処理方法。
【請求項１４】
３６０°ビデオデータを受信し、処理するための装置において、
３６０°ビデオデータ及び前記３６０°ビデオデータに対するメタデータを含むビットストリームを受信するよう構成された受信部と、
前記３６０°ビデオデータ及び前記メタデータを得るよう構成されたカプセル除去処理部と、
前記３６０°ビデオデータを復号するよう構成されたデータ復号器と、
前記メタデータに基づいて前記３６０°ビデオデータをレンダリングするよう構成されたレンダラーと、
含み、
前記メタデータは、前記３６０°ビデオデータに対する複数のビューポイントのグループであるビューポイントグループに対する識別子を含むビューポイントグループ情報を含むビューポイント情報を含む、装置。
【請求項１５】
３６０°ビデオデータを処理し、送信するための装置において、
少なくとも一つのカメラによりキャプチャーされた３６０°ビデオデータを得るよう構成された取得部と、
前記３６０°ビデオデータを処理して全方向イメージを含む２次元ピクチャを導き出すよう構成されたパッキング部と、
前記３６０°ビデオデータに対するメタデータを生成するよう構成された生成部と、
前記２次元ピクチャを符号化するよう構成された符号化部と、
前記２次元ピクチャ及び前記メタデータをカプセル化するよう構成されたカプセル化部と、
を含み、
前記メタデータは、前記３６０°ビデオデータに対する複数のビューポイントのグループであるビューポイントグループに対する識別子を含むビューポイントグループ情報を含むビューポイント情報を含む、装置。
【国際調査報告】
2021506189.tif 000048
2021506189.tif 000049
2021506189.tif 000050
2021506189.tif 000051
2021506189.tif 000052
2021506189.tif 000053