(57)【要約】本発明の一側面によれば全方位ビデオを伝送する方法が開示される。本発明の一実施例による全方位ビデオを伝送する方法は、全方位ビデオのためのイメージを得る段階、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階、２次元フレームにパッキングされたイメージをエンコーディングする段階及びエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階を含む。【選択図】図１
2019525675.tif 000002
【特許請求の範囲】
【請求項１】
全方位ビデオのためのイメージを得る段階と、
前記全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階と、
前記３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階と、
前記２次元フレームにパッキングされたイメージをエンコーディングする段階と、
前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを含むデータ信号を伝送する段階と、を含み、
前記全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報を含み、
前記３次元プロジェクションのストラクチャーは、球（ｓｐｈｅｒｅ）に該当し、
前記３次元領域情報は、前記球の面領域を指示するために使用される情報であって、該当領域の中心のヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報と、該当領域の範囲を指示する範囲情報とを含む、全方位ビデオの伝送方法。
【請求項２】
前記全方位ビデオに関するメタデータは、さらに前記球の面領域を特定する領域タイプを識別する領域タイプ情報を含むことを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項３】
前記領域タイプは、前記球に属する４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により領域を特定する第１タイプ及び前記球に属する２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）と２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により領域を特定する第２タイプを含むことを特徴とする、請求項２に記載の全方位ビデオの伝送方法。
【請求項４】
前記大圏は、前記球の中心を通過する円を意味し、前記小圏は、前記球の中心を通過しない円を意味することを特徴とする、請求項３に記載の全方位ビデオの伝送方法。
【請求項５】
前記全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｌａｙｅｒ）のＳＥＩ ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項６】
前記球の面領域は、前記球に属する４つの大圏により領域が特定されることを特徴とする、請求項５に記載の全方位ビデオの伝送方法。
【請求項７】
前記全方位ビデオに関するメタデータは、ＭＰＥＧ−２ ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット又はＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ ｆｉｅｌｄ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項８】
前記全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項９】
前記３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階は、
前記３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画する段階と、
前記所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階と、を含むことを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項１０】
全方位ビデオのためのイメージを得るイメージ獲得部と、
前記全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影するプロジェクション部と、
前記３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングするパッキング部と、
前記２次元フレームにパッキングされたイメージをエンコーディングするエンコーダーと、
前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを含むデータ信号を伝送する伝送部と、を含み、
前記全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報を含み、
前記３次元プロジェクションのストラクチャーは、球（ｓｐｈｅｒｅ）に該当し、
前記３次元領域情報は、前記球の面領域を指示するために使用される情報であって、該当領域の中心のヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報と、該当領域の範囲を指示する範囲情報とを含む、全方位ビデオの伝送装置。
【請求項１１】
全方位ビデオのためのイメージ及び前記全方位ビデオに関するメタデータを含むデータ信号を受信する段階と、
前記全方位ビデオに関するメタデータをパーシングする段階と、
前記全方位ビデオのためのイメージをデコーディングする段階と、
前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階と、を含み、
前記全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報を含み、
前記３次元プロジェクションのストラクチャーは、球（ｓｐｈｅｒｅ）に該当し、
前記３次元領域情報は、前記球の面領域を指示するために使用される情報であって、該当領域の中心のヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報と、該当領域の範囲を指示する範囲情報とを含む、全方位ビデオの受信方法。
【請求項１２】
全方位ビデオのためのイメージ及び前記全方位ビデオに関するメタデータを含むデータ信号を受信する受信部と、
前記全方位ビデオに関するメタデータをパーシングするメタデータパーサーと、
前記全方位ビデオのためのイメージをデコーディングするデコーダーと、
前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションするレンダリング部と、を含み、
前記全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報を含み、
前記３次元プロジェクションのストラクチャーは、球（ｓｐｈｅｒｅ）に該当し、
前記３次元領域情報は、前記球の面領域を指示するために使用される情報であって、該当領域の中心のヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報と、該当領域の範囲を指示する範囲情報とを含む、全方位ビデオの受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は全方位メディア（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｍｅｄｉａ）を送受信する方法及び装置に関し、より詳しくは、全方位ビデオ及び全方位ビデオに関連するメタデータを送受信する方法及び装置に関する。
【背景技術】
【０００２】
アナログ放送信号送信が終了するにつれて、デジタル放送信号を送受信するための様々な技術が開発されている。デジタル放送信号はアナログ放送信号に比べてより多い量のビデオ／オーディオデータを含むことができ、ビデオ／オーディオデータだけではなく、様々な種類の付加データをさらに含むことができる。
【０００３】
ＶＲ（Ｖｉｒｔｕａｌｌ  Ｒｅａｌｉｔｙ）システムは、ユーザに電子的に投影された環境内にいるような感覚を提供する。ＶＲを提供するシステムは、より高画質のイメージと空間的な音響を提供するために改善が必要である。ＶＲシステムはユーザがインタラクティブにＶＲコンテンツを消費できるようにする。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＶＲシステムは、ＶＲ環境をより効率的にユーザに提供するために改善される必要がある。このために、ＶＲコンテンツのような多量のデータ伝送のためのデータ伝送効率、送受信ネットワーク間の剛健性、モバイル受信装置を考慮したネットワーク柔軟性、効率的な再生及びシグナリングのための方法の案などが提案される必要がある。
【０００５】
本発明では、全方位ビデオのコンテンツが提供される時、全方位ビデオの属性（ａｔｔｒｉｂｕｔｅ）などに関するメタデータを定義及び伝達することにより、全方位ビデオのサービスを効果的に提供する方法の案を提案している。
【課題を解決するための手段】
【０００６】
本明細書では、全方位ビデオの再生において、ユーザをしてプロデューサーが意図した視点（地点）又は領域を視聴可能にするために関連メタデータを定義、貯蔵及びシグナリングする方法の案を開示する。より具体的な内容は以下の通りである。
【０００７】
２Ｄ空間における領域情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
【０００８】
２Ｄ空間における視点（地点）情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
【０００９】
３Ｄ空間における領域情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
【００１０】
３Ｄ空間における視点（地点）情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
【００１１】
領域情報又は視点（地点）情報に関するメタデータトラックと全方位ビデオトラックの関係をシグナリングする方法の案を開示する。
【００１２】
ＤＡＳＨを用いてメタデータを伝送及びシグナリングする方法の案を開示する。
【００１３】
ＭＰＥＧ−２  ＴＳを用いてメタデータを伝送及びシグナリングする方法の案を開示する。
【００１４】
ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）を用いてメタデータを伝送及びシグナリングする方法の案を開示する。
【００１５】
また、本明細書では、全方位ビデオの再生において、映像に関連するＧＰＳ関連情報のメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。より具体的な内容は以下の通りである。
【００１６】
ＧＰＳ関連情報に関するメタデータを定義、貯蔵及びシグナリングする方法の案を開示する。
【００１７】
ＧＰＳ関連情報に関するメタデータトラックと全方位ビデオトラックの関係をシグナリングする方法の案を開示する。
【００１８】
また、本明細書では、全方位ビデオサービスのための全方位メディアコンテンツ及び関連メタデータを送受信するプロセスを開示する。
【００１９】
また、本明細書では、プロデューサーが意図した視点（地点）と領域、又は統計的選好視点（地点）と領域に関するＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）メタデータを送受信する方法の案及び送受信プロセスを開示する。
【発明の効果】
【００２０】
本発明によれば、地上波放送網とインターネット網を使用する次世代ハイブリッド放送を支援する環境において、全方位コンテンツを効率的に伝送することができる。
【００２１】
本発明によれば、ユーザの全方位コンテンツの消費において、インタラクティブ経験（ｉｎｔｅｒａｃｔｉｖｅ  ｅｘｐｅｒｉｅｎｃｅ）を提供するための方法の案を提案することができる。
【００２２】
本発明によれば、ユーザの全方位コンテンツの消費において、全方位コンテンツのプロデューサーが意図するところを正確に反映するようにシグナリングする方法の案を提案することができる。
【００２３】
本発明によれば、全方位コンテンツの伝達において、伝送キャパシティーを効率的に増やし、必要な情報が伝達されるようにする方法の案を提案することができる。
【００２４】
本発明によれば、全方位ビデオコンテンツを提供する時に、３６０ビデオの属性（ａｔｔｒｉｂｕｔｅ）などに関するメタデータを定義及び伝達することにより、全方位ビデオサービスを効果的に提供する方法の案を提案することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明による３６０゜ビデオ提供のための全体アーキテクチャを示す図である。
【図２】本発明の一側面（ａｓｐｅｃｔ）による３６０゜ビデオの伝送装置を示す図である。
【図３】本発明の他の側面による３６０゜ビデオの受信装置を示す図である。
【図４】本発明の他の実施例による３６０゜ビデオの伝送装置／３６０゜ビデオの受信装置を示す図である。
【図５】本発明の３Ｄ空間を説明するための飛行機主軸（Ａｉｒｃｒａｆｔ  Ｐｒｉｎｃｉｐａｌ  Ａｘｅｓ）概念を示す図である。
【図６】本発明の一実施例によるプロジェクションスキームを示す図である。
【図７】本発明の一実施例によるタイル（ｔｉｌｅ）を示す図である。
【図８】本発明の一実施例による３６０゜ビデオ関連メタデータを示す図である。
【図９】本発明の一実施例によるメディアファイルの構造を示す図である。
【図１０】本発明の一実施例によるＩＳＯＢＭＦＦ内のボックスの階層的構造を示す図である。
【図１１】本発明の一実施例によるＤＡＳＨ基盤の適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルの全般的な動作を示す図である。
【図１２】本発明の一実施例による２Ｄ空間における領域情報に関するメタデータを示す図である。
【図１３】本発明の一実施例による２Ｄ空間における視点（地点）情報に関するメタデータを示す図である。
【図１４】本発明の様々な実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【図１５】本発明の様々な実施例による３Ｄ空間において表現しようとする個別領域に関するメタデータを示す図である。
【図１６】本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【図１７】本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【図１８】本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【図１９】本発明の一実施例によるｒｅｇｉｏｎ  ｔｙｐｅによって領域を定義する方法を説明する参考図である。
【図２０】本発明の一実施例によるｔｒｅｆボックスを示す図である。
【図２１】本発明の一実施例によるＧＰＳに関するメタデータを示す図である。
【図２２】本発明の一実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【図２３】本発明の他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【図２４】本発明の一実施例による受信器を示すブロック図である。
【図２５】本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【図２６】本発明の他の実施例による受信器を示すブロック図である。
【図２７】本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【図２８】本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【図２９】本発明のさらに他の実施例による受信器を示すブロック図である。
【図３０】ストリーム識別子と該当ストリーム識別子に割り当てられたストリーム情報を示す図である。
【図３１】ストリームタイプと該当ストリームタイプに割り当てられたストリーム情報の一部を示す図である。
【図３２】ＰＥＳ  ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ  ｕｎｉｔを示す図である。
【図３３】本発明の一実施例によるａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄを示す図である。
【図３４】本発明の一実施例によるｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを示す図である。
【図３５】ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒに含まれるｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇのｖａｌｕｅと、このｖａｌｕｅに該当する説明を示す図である。
【図３６】本発明の一実施例によるｖｄｃｉ  ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを示す図である。
【図３７】本発明の一実施例による２Ｄ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒを示す図である。
【図３８】本発明の一実施例によるｓｐｈｒｅｃａｌ  ｖｃｄｉ  ｄｅｓｃｒｉｐｔｏｒを示す図である。
【図３９】本発明のさらに他の実施例による受信器を示すブロック図である。
【図４０】本発明の一実施例による領域情報又は視点情報に関するメタデータがＳＥＩ  ｍｅｓｓａｇｅに含まれた形態を示す図である。
【図４１】本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータがＳＥＩ  ｍｅｓｓａｇｅに含まれた形態を示す図である。
【図４２】本発明のさらに他の実施例による受信器を示すブロック図である。
【図４３】本発明の一実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
【図４４】本発明の一実施例によるレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータに含まれる情報の一例を示す図である。
【図４５】本発明の他の実施例によるｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むボックスを示す図である。
【図４６】本発明の他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
【図４７】本発明のさらに他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
【図４８】本発明の一実施例によるＲＯＩメタデータを示す図である。
【図４９】本発明の一実施例による全方位ビデオを伝送する方法を示すフローチャートである。
【図５０】本発明の一実施例による全方位ビデオを伝送する装置を示すブロック図である。
【図５１】本発明の一実施例による全方位ビデオを受信する方法を示すフローチャートである。
【図５２】本発明の一実施例による全方位ビデオを受信する装置を示すブロック図である。
【発明を実施するための形態】
【００２６】
本発明の好ましい実施の形態について具体的に説明し、その例は添付された図面に示す。添付された図面を参照した以下の詳細な説明は、本発明の実施の形態によって実現されることができる実施の形態のみを説明するよりは、本発明の好ましい実施の形態を説明するためである。次の詳細な説明は、本発明に対する徹底した理解を提供するために細部事項を含む。しかしながら、本発明がこのような細部事項無しで実行されうることは、当業者にとって自明である。
【００２７】
本発明で使用される大部分の用語は、該当分野において広く使用される一般的なもの等から選択されるが、一部の用語は、出願人により任意に選択され、その意味は、必要により次の説明において詳細に述べる。よって、本発明は、用語の単純な名称または意味でない用語の意図した意味に基づいて理解されなければならない。
【００２８】
図１は本発明による３６０゜ビデオ提供のための全体アーキテクチャを示す図である。
【００２９】
本発明はユーザにＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、仮想現実）を提供するために、３６０゜コンテンツ又は全方位メディア（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｍｅｄｉａ）を提供する方法の案を提案する。ＶＲとは、実際又は仮想の環境を複製（ｒｅｐｌｉｃａｔｅｓ）するための技術とその環境を意味する。ＶＲは人工的にユーザに感覚的経験を提供し、これによりユーザは電子的にプロジェクションされた環境にいるような経験をすることができる。
【００３０】
３６０゜コンテンツはＶＲを具現、提供するためのコンテンツ全般を意味し、３６０゜ビデオ及び／又は３６０゜オーディオを含む。３６０゜ビデオはＶＲを提供するために必要な、全方向（３６０゜）が同時にキャプチャー又は再生されるビデオ又はイメージコンテンツを意味する。３６０゜ビデオは３Ｄモデルによって様々な形態の３Ｄ空間上に表されるビデオ又はイメージを意味し、例えば、３６０゜ビデオは球形（Ｓｐｈｅｒｉｃａｌ）面上に表されることができる。３６０゜オーディオもＶＲを提供するためのオーディオコンテンツであって、音響発生地が３次元の特定の空間上に位置すると認知できる、空間的（Ｓｐａｔｉａｌ）オーディオコンテンツを意味する。３６０゜コンテンツは生成、処理されてユーザに伝送され、ユーザは３６０゜コンテンツを用いてＶＲ経験を消費する。以下、３６０゜コンテンツ／ビデオ／イメージ／オーディオなどは、単位（度、ｄｅｇｒｅｅ）が省略された３６０コンテンツ／ビデオ／イメージ／オーディオなどと使用されるか、又はＶＲコンテンツ／ビデオ／イメージ／オーディオなどと使用されることができる。また、３６０゜コンテンツ／ビデオ／イメージ／オーディオなどは、全方位コンテンツ／ビデオ／イメージ／オーディオなどの用語とも混用できる。
【００３１】
本発明は特に３６０ビデオを効果的に提供する方法の案を提案する。３６０ビデオを提供するために、まず１つ以上のカメラにより３６０ビデオがキャプチャーされる。キャプチャーされた３６０ビデオは一連の過程を経て伝送され、受信側では受信されたデータを再び元来の３６０ビデオに加工してレンダリングすることができる。これにより３６０ビデオがユーザに提供される。
【００３２】
具体的には、３６０ビデオ提供のための全過程はキャプチャー過程（ｐｒｏｃｅｓｓ）、準備過程、伝送過程、プロセシング過程、レンダリング過程及び／又はフィードバック過程を含む。
【００３３】
キャプチャー過程は、１つ以上のカメラで複数の視点の各々に対するイメージ又はビデオをキャプチャーする過程を意味する。キャプチャー過程により図示された（ｔ１０１０）のようなイメージ／ビデオデータが生成される。図示された（ｔ１０１０）の各平面は各視点に対するイメージ／ビデオを意味する。このキャプチャーされた複数のイメージ／ビデオをロー（ｒａｗ）データとも言える。キャプチャー過程ではキャプチャーに関連するメタデータが生成されることができる。
【００３４】
該キャプチャーのためにはＶＲのための特殊カメラが使用されることができる。実施例によってコンピューターで生成された仮想の空間に対する３６０ビデオを提供しようとする場合、実際のカメラによるキャプチャーではないことがある。この場合、単に関連データが生成される過程をもって該当キャプチャー過程に代えることができる。
【００３５】
準備過程は、キャプチャーされたイメージ／ビデオ及びキャプチャー過程で発生したメタデータを処理する過程である。キャプチャーされたイメージ／ビデオは、この準備過程において、ステッチング過程、プロジェクション過程、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ  Ｐａｃｋｉｎｇ）及び／又はエンコーディング過程などを経る。
【００３６】
まず各々のイメージ／ビデオはステッチング（Ｓｔｉｔｃｈｉｎｇ）過程を経る。ステッチング過程は、各々のキャプチャーされたイメージ／ビデオを連結して１つのパノラマイメージ／ビデオ又は球形のイメージ／ビデオを形成する過程である。
【００３７】
その後、ステッチングされたイメージ／ビデオは、プロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）過程を経る。プロジェクション過程において、ステッチングされたイメージ／ビデオは２Ｄイメージ上にプロジェクションされる。この２Ｄイメージは、文脈により２Ｄイメージフレームとも呼ばれる。２Ｄイメージにプロジェクションすることを、２Ｄイメージにマッピングするとも表現できる。プロジェクションされたイメージ／ビデオデータは、図示した（ｔ１０２０）のような２Ｄイメージ形態にもなる。
【００３８】
２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオコーディング効率などを高めるために、リージョンごとのパッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ  Ｐａｃｋｉｎｇ）を経る。リージョンごとのパッキングとは、２Ｄイメージ上にプロジェクションされたビデオデータをリージョン（Ｒｅｇｉｏｎ）ごとに分けて処理を加える過程を意味する。ここで、リージョン（Ｒｅｇｉｏｎ）とは、３６０ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンは、実施例によって、２Ｄイメージを均等に分けて区分するか、或いは任意に分かれて区分されることができる。また実施例によってリージョンはプロジェクションスキームにより区分されることもできる。リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、準備過程で省略することもできる。
【００３９】
実施例によって、この処理過程は、ビデオコーディングの効率を高めるために、各々のリージョンを回転したり２Ｄイメージ上に再配列したりする過程を含むことができる。例えば、リージョンを回転してリージョンの特定の辺が互いに近接することにより、コーディング時の効率を向上させることができる。
【００４０】
実施例によって、この処理過程は、３６０ビデオ上の領域ごとにレゾリューション（ｒｅｓｏｌｕｔｉｏｎ）を差別化するために、特定のリージョンに対するレゾリューションを上げるか或いは下げる過程を含むことができる。例えば、３６０ビデオ上において相対的にもっと重要な領域に該当するリージョンは、他のリージョンよりレゾリューションを上げることができる。２Ｄイメージ上にプロジェクションされたビデオデータ又はリージョンごとのパッキングされたビデオデータは、ビデオコーデックを通じたエンコーディング過程を経ることができる。
【００４１】
実施例によって、準備過程は、さらにエディット（ｅｄｉｔｉｎｇ）過程などを含むことができる。このエディット過程においては、さらにプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。準備過程でも同様に、ステッチング／プロジェクション／エンコーディング／エディットなどに関するメタデータが生成されることができる。また、２Ｄイメージ上にプロジェクションされたビデオデータの初期視点、或いはＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）などに関するメタデータが生成されることができる。
【００４２】
伝送過程は、準備過程を経たイメージ／ビデオデータ及びメタデータを処理して伝送する過程である。伝送のために任意の伝送プロトコルによる処理が行われる。伝送のための処理が行われたデータは、放送網及び／又はブロードバンドを介して伝達される。このデータはオン・デマンド（Ｏｎ  Ｄｅｍａｎｄ）方式で受信側に伝達されることもできる。受信側では様々な経路を通じて該当データを受信する。
【００４３】
プロセシング過程は、受信したデータをデコーディングし、プロジェクションされているイメージ／ビデオデータを３Ｄモデル上にリプロジェクション（Ｒｅ−ｐｒｏｊｅｃｔｉｏｎ）する過程を意味する。この過程において、２Ｄイメージ上にプロジェクションされているイメージ／ビデオデータが３Ｄ空間上にリプロジェクションされることができる。この過程を文脈により、マッピング、プロジェクションとも呼ぶ。この時、マッピングされる３Ｄ空間は、３Ｄモデルによって異なる形態を有する。例えば、３Ｄモデルとしては、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）又はピラミッド（Ｐｙｒａｍｉｄ）などがある。
【００４４】
実施例によって、プロセシング過程は、さらにエディット（ｅｄｉｔｉｎｇ）過程、アップスケーリング（ｕｐｓｃａｌｉｎｇ）過程などを含む。このエディット過程においては、さらにリプロジェクション前後のイメージ／ビデオデータに対する編集などが行われる。イメージ／ビデオデータが縮小されている場合は、アップスケーリング過程においてサンプルのアップスケーリングによりそのサイズを拡大することができる。必要な場合、ダウンスケーリングによりサイズを縮小する作業を行うこともできる。
【００４５】
レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングしてディスプレイする過程を意味する。リプロジェクションとレンダリングを合わせて、３Ｄモデル上にレンダリングするとも表現できる。３Ｄモデル上にリプロジェクションされた（又は３Ｄモデル上にレンダリングされた）イメージ／ビデオは、図示された（ｔ１０３０）のような形態を有することができる。図示された（ｔ１０３０）は球形（Ｓｐｈｅｒｅ）の３Ｄモデルにリプロジェクションされた場合である。ユーザはＶＲディスプレイなどによりレンダリングされたイメージ／ビデオの一部領域を見ることができる。この時、ユーザが見る領域は図示された（ｔ１０４０）のような形態であることができる。
【００４６】
フィードバック過程は、ディスプレイ過程から得られる様々なフィードバック情報を送信側に伝達する過程を意味する。フィードバック過程により、３６０ビデオの消費において双方向性（Ｉｎｔｅｒａｃｔｉｖｉｔｙ）が提供される。実施例によって、フィードバック過程でヘッドオリエンテーション（Ｈｅａｄ  Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などが送信側に伝達される。実施例によって、ユーザはＶＲ環境上に具現されたものと相互作用することもできるが、この場合、その相互作用に関連する情報がフィードバック過程で送信側或いはサービス供給者に伝達される。実施例によって、フィードバック過程は省略できる。
【００４７】
ヘッドオリエンテーション情報はユーザのヘッド位置、角度、動きなどに関する情報を意味する。これらの情報に基づいてユーザが現在３６０ビデオで見ている領域に関する情報、即ち、ビューポート情報を計算することができる。
【００４８】
ビューポート情報は、現在ユーザが３６０ビデオで見ている領域に関する情報である。これによりゲイズ分析（Ｇａｚｅ  Ａｎａｌｙｓｉｓ）が行われ、ユーザがどのような方式で３６０ビデオを消費するか、３６０ビデオのどの領域をどのくらい凝視するかなどを確認できる。ゲイズ分析は、受信側で行われて送信側にフィードバックチャネルを介して伝達される。ＶＲディスプレイなどの装置は、ユーザのヘッド位置／方向、装置が支援する垂直（ｖｅｒｔｉｃａｌ）或いは水平（Ｈｏｒｉｚｏｎｔａｌ）ＦＯＶなどに基づいて、ビューポート領域を抽出することができる。
【００４９】
実施例によって、上述したフィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。即ち、上述したフィードバック情報を用いて受信側のデコーディング、リプロジェクション、レンダリング過程などが行われる。例えば、ヘッドオリエンテーション情報及び／又はビューポート情報を用いて現在ユーザが見ている領域に対する３６０ビデオのみを優先してデコーディング及びレンダリングすることができる。
【００５０】
ここで、ビューポート（ｖｉｅｗｐｏｒｔ）又はビューポート領域は、ユーザが３６０ビデオで見ている領域を意味する。視点（ｖｉｅｗｐｏｉｎｔ）はユーザが３６０ビデオで見ている地点であって、ビューポート領域の真ん中を意味する。即ち、ビューポートは視点を中心とする領域であるが、その領域が占めるサイズ、形態などは後述するＦＯＶ（Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）により決定される。
【００５１】
上述した３６０ビデオ提供のための全体アーキテクチャ内において、キャプチャー／プロジェクション／エンコーディング／伝送／デコーディング／リプロジェクション／レンダリングの一連の過程を経るイメージ／ビデオデータを、３６０ビデオデータと呼ぶ。３６０ビデオデータという用語はまた、かかるイメージ／ビデオデータに関連するメタデータ乃至シグナリング情報を含む概念としても使用される。
【００５２】
図２は本発明の一側面（ａｓｐｅｃｔ）による３６０゜ビデオの伝送装置を示す図である。
【００５３】
一側面によれば、本発明は３６０ビデオの伝送装置に関連する。本発明による３６０ビデオの伝送装置は、上述した準備過程乃至伝送過程に関連する動作を行う。本発明による３６０ビデオの伝送装置は、データ入力部、ステッチャー（Ｓｔｉｔｃｈｅｒ）、プロジェクション処理部、リージョンごとのパッキング処理部（図示せず）、メタデータ処理部、（送信側）フィードバック処理部、データエンコーダー、カプセル化処理部、伝送処理部及び／又は伝送部を、内部／外部エレメントとして含む。
【００５４】
データ入力部にはキャプチャーされた各視点ごとのイメージ／ビデオが入力される。この視点ごとのイメージ／ビデオは１つ以上のカメラによりキャプチャーされたイメージ／ビデオである。また、データ入力部にはキャプチャー過程で発生したメタデータが入力される。データ入力部は入力された視点ごとのイメージ／ビデオをステッチャーに伝達し、キャプチャー過程のメタデータをシグナリング処理部に伝達する。
【００５５】
ステッチャーはキャプチャーされた視点ごとのイメージ／ビデオに対するステッチング作業を行う。ステッチャーはステッチングされた３６０ビデオデータをプロジェクション処理部に伝達する。ステッチャーには、必要な場合、メタデータ処理部から必要なメタデータが伝達されてステッチング作業に用いることができる。ステッチャーはステッチング過程で発生したメタデータをメタデータ処理部に伝達する。ステッチング過程のメタデータには、ステッチングが行われたか否か、ステッチングタイプなどの情報が含まれている。
【００５６】
プロジェクション処理部は、ステッチングされた３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる。プロジェクション処理部は、様々なスキーム（ｓｃｈｅｍｅ）によってプロジェクションを行うが、これについては後述する。プロジェクション処理部は、各視点ごとの３６０ビデオデータの該当深さ（ｄｅｐｔｈ）を考慮してマッピングを行う。プロジェクション処理部には、必要な場合、メタデータ処理部からプロジェクションに必要なメタデータが伝達されてプロジェクション作業に用いることができる。プロジェクション処理部は、プロジェクション過程で発生したメタデータをメタデータ処理部に伝達する。プロジェクション処理部のメタデータとしては、プロジェクションスキームの種類などがある。
【００５７】
リージョンごとのパッキング処理部（図示せず）は、上述したリージョンごとのパッキング過程を行うことができる。即ち、リージョンごとのパッキング処理部は、プロジェクションされた３６０ビデオデータをリージョンごとに分け、各リージョンを回転、再配列するか、或いは各リージョンのレゾリューションを変更するなどの処理を行う。上述したように、リージョンごとのパッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、リージョンごとのパッキングが行われない場合、リージョンごとのパッキング処理部は省略できる。リージョンごとのパッキング処理部には、必要な場合、メタデータ処理部からリージョンごとのパッキングに必要なメタデータが伝達されてリージョンごとのパッキング作業に用いることができる。リージョンごとのパッキング処理部は、リージョンごとのパッキング過程で発生したメタデータをメタデータ処理部に伝達することができる。リージョンごとのパッキング処理部のメタデータとしては、各リージョンの回転程度、サイズなどがある。
【００５８】
上述したステッチャー、プロジェクション処理部及び／又はリージョンごとのパッキング処理部は、実施例によって１つのハードウェアコンポーネントで行われる。
【００５９】
メタデータ処理部は、キャプチャー過程、ステッチング過程、プロジェクション過程、リージョンごとのパッキング過程、エンコーディング過程、カプセル化過程及び／又は伝送のための処理過程で発生するメタデータを処理することができる。メタデータ処理部は、かかるメタデータを用いて３６０ビデオ関連メタデータを生成する。実施例によって、メタデータ処理部は３６０ビデオ関連メタデータをシグナリングテーブルの形態で生成することもできる。文脈により、３６０ビデオ関連メタデータは、メタデータ又は３６０ビデオ関連シグナリング情報とも呼ばれる。また、メタデータ処理部は獲得又は生成したメタデータを必要によって３６０ビデオの伝送装置の内部エレメントに伝達できる。メタデータ処理部は３６０ビデオ関連メタデータが受信側に伝送されるようにデータエンコーダー、カプセル化処理部及び／又は伝送処理部に伝達することができる。
【００６０】
データエンコーダーは、２Ｄイメージ上にプロジェクションされた３６０ビデオデータ及び／又はリージョンごとのパッキングされた３６０ビデオデータをエンコーディングすることができる。３６０ビデオデータは様々なフォーマットにエンコーディングできる。
【００６１】
カプセル化処理部は、エンコーディングされた３６０ビデオデータ及び／又は３６０ビデオ関連メタデータをファイルなどの形態でカプセル化することができる。ここで、３６０ビデオ関連メタデータは、上述したメタデータ処理部から伝達されたものである。カプセル化処理部は、該当データをＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットにカプセル化したり、その他のＤＡＳＨセグメントなどの形態に処理したりすることができる。カプセル化処理部は、実施例によって３６０ビデオ関連メタデータをファイルフォーマット上に含ませることができる。３６０関連メタデータは例えば、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス（ｂｏｘ）に含まれるか或いはファイル内で所定のトラック内のデータに含まれる。実施例によって、カプセル化処理部は、３６０ビデオ関連メタデータ自体をファイルにカプセル化することができる。伝送処理部は、ファイルフォーマットによってカプセル化された３６０ビデオデータに伝送のための処理を行うことができる。伝送処理部は、任意の伝送プロトコルによって３６０ビデオデータを処理することができる。伝送のための処理には放送網を介した伝達のための処理、ブロードバンドを介した伝達のための処理を含む。実施例によって、伝送処理部には、３６０ビデオデータだけではなく、メタデータ処理部から３６０ビデオ関連メタデータが伝達され、そこに伝送のための処理を加えることもできる。
【００６２】
伝送部は、伝送処理された３６０ビデオデータ及び／又は３６０ビデオ関連メタデータを放送網及び／又はブロードバンドを介して伝送する。伝送部は放送網を介した伝送のためのエレメント及び／又はブロードバンドを介した伝送のためのエレメントを含むことができる。
【００６３】
本発明による３６０ビデオの伝送装置の一実施例によれば、３６０ビデオの伝送装置はさらに、データ貯蔵部（図示せず）を内部／外部エレメントとして含むことができる。データ貯蔵部は、エンコーディングされた３６０ビデオデータ及び／又は３６０ビデオ関連メタデータを伝送処理部に伝達する前に貯蔵することができる。このデータが貯蔵される形態はＩＳＯＢＭＦＦなどのファイル形態である。実時間に３６０ビデオを伝送する場合にはデータ貯蔵部が不要であることもあるが、オン・デマンド、ＮＲＴ（Ｎｏｎ  Ｒｅａｌ  Ｔｉｍｅ）、ブロードバンドなどを介して伝達する場合にはカプセル化された３６０データがデータ貯蔵部に一定期間貯蔵されてから伝送されることもできる。
【００６４】
本発明による３６０ビデオの伝送装置の他の実施例によれば、３６０ビデオの伝送装置はさらに、（送信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含むことができる。ネットワークインターフェースには、本発明による３６０ビデオの受信装置からフィードバック情報が伝達され、これを送信側フィードバック処理部に伝達する。送信側フィードバック処理部は、フィードバック情報をステッチャー、プロジェクション処理部、リージョンごとのパッキング処理部、データエンコーダー、カプセル化処理部、メタデータ処理部及び／又は伝送処理部に伝達する。実施例によって、フィードバック情報はメタデータ処理部に一旦伝達された後、再び各々の内部エレメントに伝達されることができる。フィードバック情報が伝達された内部エレメントは、今後の３６０ビデオデータ処理にフィードバック情報を反映することができる。
【００６５】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、リージョンごとのパッキング処理部は、各リージョンを回転して２Ｄイメージ上にマッピングすることができる。この時、各リージョンは互いに異なる方向、互いに異なる角度に回転して２Ｄイメージ上にマッピングされる。リージョンの回転は、３６０ビデオデータが球形の面上においてプロジェクション前に隣接した部分、ステッチングされた部分などを考慮して行われる。リージョンの回転に関する情報、即ち、回転方向、角度などは３６０ビデオ関連メタデータによりシグナリングされる。本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、データエンコーダーは各リージョンごとに異なるようにエンコーディングを行うことができる。データエンコーダーは特定のリージョンは高品質に、他のリージョンは低品質にエンコーディングすることができる。送信側フィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報をデータエンコーダーに伝達して、データエンコーダーがリージョンごとに差別化したエンコーディング方法を使用するようにする。例えば、送信側フィードバック処理部は受信側から伝達されたビューポート情報をデータエンコーダーに伝達することができる。データエンコーダーはビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりもっと高い品質（ＵＨＤなど）にエンコーディングを行うことができる。
【００６６】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、伝送処理部は、各リージョンごとに異なるように伝送のための処理を行う。伝送処理部はリージョンごとに異なる伝送パラメータ（モデュレーションオーダー、コードレートなど）を適用して、各リージョンごとに伝達されるデータの剛健性（ｒｏｂｕｓｔｅｎｓｓ）を異なるようにする。
【００６７】
この時、送信側のフィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報を伝送処理部に伝達して、伝送処理部がリージョンごとに差別化された伝送処理を行うようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報を伝送処理部に伝達する。伝送処理部は該当ビューポート情報が指示する領域を含むリージョンに対して、他のリージョンよりもっと高い剛健性を有するように伝送処理を行う。
【００６８】
上述した本発明による３６０ビデオの伝送装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントであることができる。実施例によって、内部／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０ビデオの伝送装置に追加されることもできる。
【００６９】
図３は本発明の他の側面による３６０゜ビデオの受信装置を示す図である。
【００７０】
他の側面によれば、本発明は３６０ビデオの受信装置に関連する。本発明による３６０ビデオの受信装置は、上述したプロセシング過程及び／又はレンダリング過程に関連する動作を行う。本発明による３６０ビデオの受信装置は、受信部、受信処理部、脱カプセル化処理部、データデコーダー、メタデータパーサー、（受信側）フィードバック処理部、リプロジェクション処理部及び／又はレンダラを内部／外部エレメントとして含む。
【００７１】
受信部は、本発明による３６０ビデオの伝送装置が伝送した３６０ビデオデータを受信する。伝送されるチャネルによって受信部は放送網を介して３６０ビデオデータを受信し、ブロードバンドを介して３６０ビデオデータを受信する。
【００７２】
受信処理部は、受信された３６０ビデオデータに対して伝送プロトコルによる処理を行う。伝送側で伝送のための処理が行われることに対応して、受信処理部は上述した伝送処理部の逆過程を行うことができる。受信処理部は、得られた３６０ビデオデータを脱カプセル化処理部に伝達し、得られた３６０ビデオ関連メタデータをメタデータパーサーに伝達する。受信処理部が得た３６０ビデオ関連メタデータは、シグナリングテーブルの形態であることができる。
【００７３】
脱カプセル化処理部は、受信処理部から伝達されたファイル形態の３６０ビデオデータを脱カプセル化する。脱カプセル化処理部は、ＩＳＯＢＭＦＦなどによるファイルを脱カプセル化して、３６０ビデオデータ乃至３６０ビデオ関連メタデータを得る。得られた３６０ビデオデータはデータデコーダーに、得られた３６０ビデオ  関連メタデータはメタデータパーサーに伝達する。脱カプセル化処理部が得た３６０ビデオ関連メタデータは、ファイルフォーマット内のボックス或いはトラック形態であることができる。脱カプセル化処理部には、必要な場合、メタデータパーサーから脱カプセル化に必要なメタデータが伝達される。
【００７４】
データデコーダーは、３６０ビデオデータに対するデコーディングを行う。データデコーダーにはメタデータパーサーからデコーディングに必要なメタデータが伝達される。データデコーディング過程で得た３６０ビデオ関連メタデータは、メタデータパーサーに伝達されることもできる。
【００７５】
メタデータパーサーは、３６０ビデオ関連メタデータに対するパーシング（ｐａｒｓｉｎｇ）／デコーディングを行う。メタデータパーサーは得られたメタデータをデータ脱カプセル化処理部、データデコーダー、リプロジェクション処理部及び／又はレンダラに伝達することができる。
【００７６】
リプロジェクション処理部は、デコーディングされた３６０ビデオデータに対してリプロジェクションを行う。リプロジェクション処理部は、３６０ビデオデータを３Ｄ空間にリプロジェクションする。３Ｄ空間は使用される３Ｄモデルによって異なる形態を有することができる。リプロジェクション処理部には、メタデータパーサーからリプロジェクションに必要なメタデータが伝達される。例えば、リプロジェクション処理部には、使用される３Ｄモデルのタイプ及びその細部情報に関する情報がメタデータパーサーから伝達される。実施例によって、リプロジェクション処理部はリプロジェクションに必要なメタデータを用いて、３Ｄ空間上の特定の領域に該当する３６０ビデオデータのみを３Ｄ空間にリプロジェクションすることもできる。
【００７７】
レンダラは、リプロジェクションされた３６０ビデオデータをレンダリングする。上述したように、３６０ビデオデータが３Ｄ空間上にレンダリングされると表現することもできるが、このように２つの過程が同時に行われる場合、リプロジェクション処理部とレンダラが統合されて、これら全ての過程がレンダラで行われる。実施例によって、レンダラ（Ｒｅｎｄｅｒｅｒ）はユーザの視点情報によってユーザが見ている部分のみをレンダリングすることもできる。
【００７８】
ユーザはＶＲディスプレイなどを通じてレンダリングされた３６０ビデオの一部領域を見ることができる。ＶＲディスプレイは３６０ビデオを再生する装置であって、３６０ビデオの受信装置に含まれることができ（ｔｅｔｈｅｒｅｄ）、別の装置として３６０ビデオの受信装置に連結されることもできる（ｕｎ−ｔｅｔｈｅｒｅｄ）。
【００７９】
本発明による３６０ビデオの受信装置の一実施例によれば、３６０ビデオの受信装置はさらに、（受信側）フィードバック処理部及び／又はネットワークインターフェース（図示せず）を内部／外部エレメントとして含む。受信側のフィードバック処理部は、レンダラ、リプロジェクション処理部、データデコーダー、脱カプセル化処理部及び／又はＶＲディスプレイからフィードバック情報を得て処理することができる。フィードバック情報は、ビューポート情報、ヘッドオリエンテーション情報、ゲイズ（Ｇａｚｅ）情報などを含む。ネットワークインターフェースは、フィードバック情報を受信側のフィードバック処理部から受けて、これを３６０ビデオの伝送装置に伝送できる。
【００８０】
上述したように、フィードバック情報は送信側に伝達されるだけではなく、受信側で消費されることもできる。受信側のフィードバック処理部は得られたフィードバック情報を３６０ビデオの受信装置の内部エレメントに伝達して、レンダリングなどの過程に反映させることができる。受信側のフィードバック処理部はフィードバック情報をレンダラ、リプロジェクション処理部、データデコーダー及び／又は脱カプセル化処理部に伝達することができる。例えば、レンダラは、フィードバック情報を活用してユーザが見ている領域を優先してレンダリングすることができる。また、脱カプセル化処理部、データデコーダーなどはユーザが見ている領域乃至見る予定の領域を優先して脱カプセル化、デコーディングできる。
【００８１】
上述した本発明による３６０ビデオの受信装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントであることができる。実施例によって、内部／外部エレメントは変更、省略されるか、或いは他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０ビデオの受信装置に追加されることもできる。
【００８２】
本発明のさらに他の側面は、３６０ビデオを伝送する方法及び３６０ビデオを受信する方法に関連する。本発明による３６０ビデオを伝送／受信する方法は、各々上述した本発明による３６０ビデオ伝送／受信装置又はその装置の実施例により行われる。
【００８３】
上述した本発明による３６０ビデオの伝送／受信装置、伝送／受信方法の各々の実施例及びその内部／外部エレメント各々の実施例を互いに組み合わせることができる。例えば、プロジェクション処理部の実施例とデータエンコーダーの実施例を互いに組み合わせて、その場合の数ほどの３６０ビデオの伝送装置の実施例を形成することができる。このように組み合わせた実施例も本発明の範囲に属する。
【００８４】
図４は本発明の他の実施例による３６０゜ビデオの伝送装置／３６０゜ビデオの受信装置を示す図である。
【００８５】
上述したように、図示された（ａ）のようなアーキテクチャによって３６０コンテンツが提供される。３６０コンテンツはファイル形態で提供されるか或いはＤＡＳＨなどのようにセグメント（Ｓｅｇｍｅｎｔ）に基づくダウンロード又はストリーミングサービスの形態で提供される。ここで３６０コンテンツはＶＲコンテンツとも呼ばれる。
【００８６】
上述したように、３６０ビデオデータ及び／又は３６０オーディオデータを得ることができる。（Ａｃｑｕｉｓｉｔｉｏｎ）。
【００８７】
３６０オーディオデータは、オーディオプリプロセシング過程（Ａｕｄｉｏ  Ｐｒｅｐｒｏｃｅｓｓｉｎｇ）、オーディオエンコーディング過程（Ａｕｄｉｏ  ｅｎｃｏｄｉｎｇ）を経る。これらの過程でオーディオ関連メタデータが生成され、エンコーディングされたオーディオとオーディオ関連メタデータは伝送のための処理（ｆｉｌｅ／Ｓｅｇｍｅｎｔ  ｅｎｃａｐｓｕｌａｔｉｏｎ）を経る。
【００８８】
３６０ビデオデータは上述した過程を経る。３６０ビデオの伝送装置のステッチャーは、３６０ビデオデータにステッチングを行うことができる（Ｖｉｓｕａｌ  ｓｔｉｔｃｈｉｎｇ）。この過程は実施例によって省略でき、受信側で行われることもできる。３６０ビデオの伝送装置のプロジェクション処理部は、３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる（Ｐｒｏｊｅｃｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ（ｐａｃｋｉｎｇ））。
【００８９】
このステッチング及びプロジェクション過程は、（ｂ）に具体的に示されている。図示された（ｂ）において、３６０ビデオデータ（Ｉｎｐｕｔ  Ｉｍａｇｅｓ）が伝達されると、そこにステッチング及びプロジェクションが行われる。プロジェクション過程は、具体的には、ステッチングされた３６０ビデオデータを３Ｄ空間上にプロジェクションし、プロジェクションされた３６０ビデオデータが２Ｄイメージ上に配列されることである。本明細書においては、この過程を３６０ビデオデータを２Ｄイメージ上にプロジェクションすると表現することもある。ここで、３Ｄ空間は球（ｓｐｈｅｒｅ）又はキューブ（ｃｕｂｅ）などである。この３Ｄ空間は、受信側でリプロジェクションに使用される３Ｄ空間と同一であることができる。
【００９０】
２Ｄイメージはプロジェクテッドフレーム（Ｃ、Ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）とも言われる。この２Ｄイメージにはさらに、リージョンごとのパッキング（Ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）が選択的に行われる。リージョンごとのパッキングが行われる場合、各リージョン（Ｒｅｇｉｏｎ）の位置、形態、サイズを指示することにより、２Ｄイメージ上のリージョンがパックフレーム（Ｄ、ｐａｃｋｅｄ  ｆｒａｍｅ）上にマッピングされることができる。リージョンごとのパッキングが行われない場合、プロジェクテッドフレームはパックフレームと同一であることができる。リージョンについては後述する。プロジェクション過程及びリージョンごとのパッキング過程は、３６０ビデオデータの各リージョンが２Ｄイメージ上にプロジェクションされるとも表現できる。設計によって、３６０ビデオデータは中間過程なしにすぐパックフレームに変換されることもできる。
【００９１】
図示された（ａ）において、プロジェクションされた３６０ビデオデータは、イメージエンコーディング或いはビデオエンコーディングされる。同じコンテンツであっても異なる視点（ｖｉｅｗｐｏｉｎｔｓ）ごとに存在できるので、同じコンテンツが互いに異なるビットストリームにエンコーディングされることができる。エンコーディングされた３６０ビデオデータは、上述したカプセル化処理部によってＩＳＯＢＭＦＦなどのファイルフォーマットに処理されることができる。又はカプセル化処理部は、エンコーディングされた３６０ビデオデータをセグメントに処理することができる。セグメントはＤＡＳＨに基づく伝送のための個別トラックに含まれる。
【００９２】
３６０ビデオデータの処理と共に、上述したように３６０ビデオ関連メタデータが生成されることができる。このメタデータはビデオストリーム或いはファイルフォーマットに含まれて伝達される。このメタデータはエンコーディング過程やファイルフォーマットカプセル化、伝送のための処理などのような過程にも使用できる。
【００９３】
３６０オーディオ／ビデオデータは伝送プロトコルによって伝送のための処理が行われ、その後伝送される。上述した３６０ビデオの受信装置は、これを放送網又はブロードバンドを介して受信する。
【００９４】
図示された（ａ）において、ＶＲサービスプラットホーム（ＶＲ  ｓｅｒｖｉｃｅ  ｐｌａｔｆｏｒｍ）は、上述した３６０ビデオの受信装置の一実施例に該当する。図示された（ａ）において、スピーカー／ヘッドホン（Ｌｏｕｄｓｐｅａｋｅｒｓ／ｈｅａｄｐｈｏｎｅｓ）、ディスプレイ（Ｄｉｓｐｌａｙ）、ヘッド／アイトラッキングコンポーネント（Ｈｅａｄ／ｅｙｅ  ｔｒａｃｋｉｎｇ）は、３６０ビデオの受信装置の外部装置或いはＶＲアプリケーションにより行われるものと示されているが、実施例によって３６０ビデオの受信装置は、これらを全て含むこともできる。実施例によって、ヘッド／アイトラッキングコンポーネントは、上述した受信側フィードバック処理部に該当することができる。
【００９５】
３６０ビデオの受信装置は、３６０オーディオ／ビデオデータに受信のための処理（Ｆｉｌｅ／Ｓｅｇｍｅｎｔ  ｄｅｃａｐｓｕｌａｔｉｏｎ）を行うことができる。３６０オーディオデータは、オーディオデコーディング（Ａｕｄｉｏ  ｄｅｃｏｄｉｎｇ）、オーディオレンダリング（Ａｕｄｉｏ  ｒｅｎｄｅｒｉｎｇ）の過程を経て、スピーカー／ヘッドホンを通じてユーザに提供される。
【００９６】
３６０ビデオデータは、イメージデコーディング或いはビデオデコーディング、レンダリング（Ｖｉｓｕａｌ  ｒｅｎｄｅｒｉｎｇ）の過程を経て、ディスプレイを通じてユーザに提供される。ここで、ディスプレイはＶＲを支援するディスプレイであるか或いは一般ディスプレイである。
【００９７】
上述したように、レンダリング過程は、具体的には、３６０ビデオデータが３Ｄ空間上にリプロジェクションされ、リプロジェクションされた３６０ビデオデータがレンダリングされるものである。これを３６０ビデオデータが３Ｄ空間上にレンダリングされると表現できる。
【００９８】
ヘッド／アイトラッキングコンポーネントは、ユーザのヘッドオリエンテーション情報、ゲイズ情報、ビューポート（Ｖｉｅｗｐｏｒｔ）情報などを得て処理することができる。これについては上述した。
【００９９】
受信側には上述した受信側の過程と通信するＶＲアプリケーションが存在する。
【０１００】
図５は本発明の３Ｄ空間を説明するために飛行機主軸（Ａｉｒｃｒａｆｔ  Ｐｒｉｎｃｉｐａｌ  Ａｘｅｓ）概念を示す図である。
【０１０１】
本発明においては、３Ｄ空間における特定の地点、位置、方向、間隔、領域などを表現するために飛行機主軸概念が使用される。
【０１０２】
即ち、本発明においては、プロジェクション前又はリプロジェクション後の３Ｄ空間について記載し、それに対するシグナリングを行うために飛行機主軸の概念が使用されることができる。実施例によって、Ｘ、Ｙ、Ｚ軸の概念又は球座標系を用いた方法が使用される。
【０１０３】
飛行機は３次元に自由に回転できる。３次元をなす軸を各々、ピッチ（ｐｉｔｃｈ）軸、ヨー（ｙａｗ）軸及びロール（ｒｏｌｌ）軸という。本明細書においては、これらを簡略にｐｉｔｃｈ、ｙａｗ、ｒｏｌｌ又はｐｉｔｃｈ方向、ｙａｗ方向、ｒｏｌｌ方向と表現することもある。
【０１０４】
Ｐｉｔｃｈ軸は、飛行機の先端が上／下に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、Ｐｉｔｃｈ軸は飛行機の翼から翼に続く軸を意味する。
【０１０５】
Ｙａｗ軸は、飛行機の先端が左／右に回転する方向の基準になる軸を意味する。示された飛行機の主軸概念において、ｙａｗ軸は飛行機の上から下に続く軸を意味する。
【０１０６】
Ｒｏｌｌ軸は、示された飛行機の主軸概念において飛行機の先端から後端に続く軸であって、ｒｏｌｌ方向の回転とは、ｒｏｌｌ軸を基準とする回転を意味する。
【０１０７】
上述したように、ｐｉｔｃｈ、ｙａｗ、ｒｏｌｌの概念を通じて本発明における３Ｄ空間が記載される。
【０１０８】
図６は本発明の一実施例によるプロジェクションスキームを示す図である。
【０１０９】
上述したように、本発明による３６０ビデオの伝送装置のプロジェクション処理部は、ステッチングされた３６０ビデオデータを２Ｄイメージ上にプロジェクションすることができる。この過程において様々なプロジェクションスキームが活用される。
【０１１０】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部はキュービックプロジェクション（Ｃｕｂｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。例えば、ステッチングされた３６０ビデオデータは球形の面上に表されることができる。プロジェクション処理部はかかる３６０ビデオデータをキューブ（Ｃｕｂｅ、正六面体）形態に分けて、２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、キューブの各面に対応して、２Ｄイメージ上に（ａ）左側又は（ａ）右側のようにプロジェクションできる。
【０１１１】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部は、シリンダー型プロジェクション（Ｃｙｌｉｎｄｒｉｃａｌ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。同様に、ステッチングされた３６０ビデオデータが球形の面上に表されることができると仮定した時、プロジェクション処理部はかかる３６０ビデオデータをシリンダー（Ｃｙｌｉｎｄｅｒ）形態に分けて２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、シリンダーの側面（ｓｉｄｅ）と上面（ｔｏｐ）、底面（ｂｏｔｔｏｍ）に各々対応して、２Ｄイメージ上に（ｂ）左側又は（ｂ）右側のようにプロジェクションされることができる。
【０１１２】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、プロジェクション処理部は、ピラミッドプロジェクション（Ｐｙｒａｍｉｄ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。同様に、ステッチングされた３６０ビデオデータが球形の面上に表されることができると仮定した時、プロジェクション処理部はかかる３６０ビデオデータをピラミッド形態と思い、各々の面を分けて２Ｄイメージ上にプロジェクションすることができる。球形の面上の３６０ビデオデータは、ピラミッドの底面（ｆｒｏｎｔ）、ピラミッドの４方向の側面（Ｌｅｆｔ  ｔｏｐ、Ｌｅｆｔ  ｂｏｔｔｏｍ、Ｒｉｇｈｔ  ｔｏｐ、Ｒｉｇｈｔ  ｂｏｔｔｏｍ）に各々対応して、２Ｄイメージ上に（ｃ）左側又は（ｃ）右側のようにプロジェクションされることができる。
【０１１３】
実施例によって、プロジェクション処理部は、上述したスキーム以外に等正方形プロジェクション（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ）スキーム、パノラミックプロジェクション（Ｐａｎｏｒａｍｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）スキームなどを用いて、プロジェクションを行うことができる。
【０１１４】
上述したように、リージョン（Ｒｅｇｉｏｎ）とは、３６０ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンはプロジェクションスキームによってプロジェクションされた２Ｄイメージ上の各面に一致する必要はない。しかし、実施例によって、プロジェクションされた２Ｄイメージ上の各面がリージョンと対応するようにリージョンが区分されて、リージョンごとのパッキングが行われることもできる。実施例によって、複数の面が１つのリージョンに対応することができ、１つの面が複数のリージョンに対応するようにリージョンが区分されることもできる。この場合、リージョンはプロジェクションスキームによって変化することができる。例えば、（ａ）において正六面体の各面（ｔｏｐ、ｂｏｔｔｏｍ、ｆｒｏｎｔ、ｌｅｆｔ、ｒｉｇｈｔ、ｂａｃｋ）は各々リージョンであることができる。（ｂ）において、シリンダーの側面（ｓｉｄｅ）、上面（ｔｏｐ）、底面（ｂｏｔｔｏｍ）は各々リージョンであることができる。（ｃ）において、ピラミッドの底面（ｆｒｏｎｔ）、４方向の側面（Ｌｅｆｔ  ｔｏｐ、Ｌｅｆｔ  ｂｏｔｔｏｍ、Ｒｉｇｈｔ  ｔｏｐ、Ｒｉｇｈｔ  ｂｏｔｔｏｍ）は各々リージョンであることができる。
【０１１５】
図７は本発明の一実施例によるタイル（ｔｉｌｅ）を示す図である。
【０１１６】
２Ｄイメージにプロジェクションされた３６０ビデオデータ又はリージョンごとのパッキングまで行われた３６０ビデオデータは１つ以上のタイルに区分されることができる。示された（ａ）は１つの２Ｄイメージが１６個のタイルに分けられた形態を示している。ここで、２Ｄイメージとは、上述したプロジェクテッドフレーム或いはパックフレームである。本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、データエンコーダーは各々のタイルを独立的にエンコーディングすることができる。
【０１１７】
上述したリージョンごとのパッキングとタイリング（ｔｉｌｉｎｇ）は区分される。上述したリージョンごとのパッキングは、コーディング効率を高めるために又はレゾリューションを調整するために、２Ｄイメージ上にプロジェクションされた３６０ビデオデータをリージョンに区分して処理することを意味する。タイリングは、データエンコーダーがプロジェクテッドフレーム或いはパックフレームをタイルという区画に分け、該当タイルごとに独立的にエンコーディングを行うことを意味する。３６０ビデオが提供される時、ユーザは３６０ビデオの全ての部分を同時に消費しない。タイリングは制限された帯域幅（ｂａｎｄｗｉｄｔｈ）上にユーザが現在見ているビューポートなどの主要部分或いは一定部分に該当するタイルのみを受信側に伝送或いは消費することを可能にする。タイリングにより制限された帯域幅をもっと効率的に活用でき、受信側でも全ての３６０ビデオデータを同時に処理することに比べて演算の負荷を減らすことができる。
【０１１８】
リージョンとタイルは区分されるので、２つの領域が同一である必要はない。しかし、実施例によって、リージョンとタイルは同じ領域を称することができる。実施例によって、タイルに合わせてリージョンごとのパッキングが行われてリージョンとタイルが同一になることができる。また、実施例によって、プロジェクションスキームによる各面とリージョンが同一である場合、プロジェクションスキームによる各面、リージョン、タイルが同一の領域を称することができる。文脈により、リージョンはＶＲリージョン、タイルをタイルリージョンと呼ぶことができる。
【０１１９】
ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）は、３６０コンテンツ提供者が提案するユーザの関心領域を意味する。３６０コンテンツ提供者は３６０ビデオを制作する時、どの特定の領域にユーザが関心を持つと判断し、それを考慮して３６０ビデオを制作する。実施例によって、ＲＯＩは３６０ビデオのコンテンツにおいて重要な内容が再生される領域に該当する。
【０１２０】
本発明による３６０ビデオの伝送／受信装置のさらに他の実施例によれば、受信側のフィードバック処理部はビューポート情報を抽出、収集してこれを送信側フィードバック処理部に伝達する。この過程においてビューポート情報は両側のネットワークインターフェースを用いて伝達できる。図示された（ａ）の２Ｄイメージにおいてビューポート（ｔ６０１０）が示されている。ここで、ビューポートは２Ｄイメージ上の９つのタイルにかけていることができる。
【０１２１】
この場合、３６０ビデオの伝送装置はさらに、タイリングシステムを含むことができる。実施例によって、タイリングシステムはデータエンコーダーの後に位置することもでき（図示された（ｂ））、上述したデータエンコーダー或いは伝送処理部内に含まれることもでき、別個の内部／外部エレメントとして３６０ビデオの伝送装置に含まれることもできる。
【０１２２】
タイリングシステムは、送信側のフィードバック処理部からビューポート情報を受ける。タイリングシステムは、ビューポート領域が含まれるタイルのみを選別して伝送することができる。図示された（ａ）の２Ｄイメージにおいて、合計１６個のタイルのうち、ビューポート領域（ｔ６０１０）を含む９つのタイルのみが伝送される。ここで、タイリングシステムは、ブロードバンドを介したユニキャスト方式でタイルを伝送できる。ユーザによってビューポート領域が異なるためである。
【０１２３】
またこの場合、送信側のフィードバック処理部はビューポート情報をデータエンコーダーに伝達することができる。データエンコーダーはビューポート領域を含むタイルに対して他のタイルよりも高い品質でエンコーディングを行うことができる。
【０１２４】
またこの場合、送信側のフィードバック処理部はビューポート情報をメタデータ処理部に伝達することができる。メタデータ処理部はビューポート領域に関連するメタデータを３６０ビデオの伝送装置の各々の内部エレメントに伝達するか或いは３６０ビデオ関連メタデータに含ませることができる。
【０１２５】
かかるタイリング方式によって伝送帯域幅（ｂａｎｄｗｉｄｔｈ）を節約することができ、タイルごとに差別化された処理を行って効率的データ処理／伝送が可能になる。
【０１２６】
上述したビューポート領域に関連する実施例は、ビューポート領域ではない他の特定の領域についても同様に適用できる。例えば、上述したゲイズ分析により、ユーザが最も関心を持っていると判断される領域、ＲＯＩ領域、ユーザがＶＲディスプレイを通じて３６０ビデオに接する時に最初に再生される領域（初期視点、Ｉｎｉｔｉａｌ  Ｖｉｅｗｐｏｉｎｔ）などについても、上述したビューポート領域のような方式の処理が行われる。
【０１２７】
本発明による３６０ビデオの伝送装置のさらに他の実施例によれば、伝送処理部は、各タイルごとに異なるように伝送のための処理を行う。伝送処理部はタイルごとに異なる伝送パラメータ（モデュレーションオーダー、コードレートなど）を適用して、各タイルごとに伝達されるデータの剛健性（ｒｏｂｕｓｔｅｎｓｓ）を異なるようにする。
【０１２８】
この時、送信側のフィードバック処理部は、３６０ビデオの受信装置から伝達されたフィードバック情報を伝送処理部に伝達し、伝送処理部がタイルごとに差別化された伝送処理を行うようにする。例えば、送信側のフィードバック処理部は受信側から伝達されたビューポート情報を伝送処理部に伝達する。伝送処理部は該当ビューポート領域を含むタイルに対して他のタイルより高い剛健性を有するように伝送処理を行う。
【０１２９】
図８は本発明の一実施例による３６０゜ビデオ関連メタデータを示す図である。
【０１３０】
上述した３６０ビデオ関連メタデータは、３６０ビデオに対する多様なメタデータを含む。文脈により、３６０ビデオ関連メタデータは、３６０ビデオ関連シグナリング情報とも呼ばれる。３６０ビデオ関連メタデータは別のシグナリングテーブルに含まれて伝送されることができ、ＤＡＳＨ  ＭＰＤ内に含まれて伝送されることもでき、或いはＩＳＯＢＭＦＦなどのファイルフォーマットにｂｏｘ形態に含まれて伝達されることもできる。３６０ビデオ関連メタデータがｂｏｘ形態に含まれる場合、ファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの様々なレベルに含まれて該当レベルのデータに関するメタデータを含むことができる。
【０１３１】
実施例によって、後述するメタデータの一部はシグナリングテーブルで構成されて伝達され、その他の一部はファイルフォーマット内にｂｏｘ或いはトラック形態に含まれることもできる。
【０１３２】
本発明による３６０ビデオ関連メタデータの一実施例によると、３６０ビデオ関連メタデータは、プロジェクションスキームなどに関する基本メタデータ、立体（ｓｔｅｒｅｏｓｃｏｐｉｃ）関連メタデータ、初期視点（Ｉｎｉｔｉａｌ  Ｖｉｅｗ／Ｉｎｉｔｉａｌ  Ｖｉｅｗｐｏｉｎｔ）関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ（Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）関連メタデータ及び／又はクロップされた領域（ｃｒｏｐｐｅｄ  ｒｅｇｉｏｎ）関連メタデータを含む。実施例によって３６０ビデオ関連メタデータは、上述したもの以外にもさらなるメタデータを含むことができる。
【０１３３】
本発明による３６０ビデオ関連メタデータの実施例は、上述した基本メタデータ、立体関連メタデータ、初期視点関連メタデータ、ＲＯＩ関連メタデータ、ＦＯＶ関連メタデータ、クロップされた領域関連メタデータ及び／又は後に追加されるメタデータのうちのいずれか１つ以上を含む形態であることができる。本発明による３６０ビデオ関連メタデータの実施例は、各々が含む細部メタデータの場合の数によって多様に構成される。実施例によって３６０ビデオ関連メタデータは上述したこと以外にもさらなる情報を含むことができる。
【０１３４】
基本メタデータには３Ｄモデル関連情報、プロジェクションスキーム関連情報などが含まれる。基本メタデータにはｖｒ＿ｇｅｏｍｅｔｒｙフィールド、ｐｒｏｊｅｃｔｉｏｎ＿ｓｃｈｅｍｅフィールドなどが含まれる。実施例によって、基本メタデータはさらなる情報を含むこともできる。
【０１３５】
ｖｒ＿ｇｅｏｍｅｔｒｙフィールドは、該当３６０ビデオデータが支援する３Ｄモデルのタイプを指示することができる。上述したように、３６０ビデオデータが３Ｄ空間上にリプロジェクションされる場合、該当３Ｄ空間はｖｒ＿ｇｅｏｍｅｔｒｙフィールドが指示する３Ｄモデルによる形態を有することができる。実施例によって、レンダリング時に使用される３Ｄモデルは、ｖｒ＿ｇｅｏｍｅｔｒｙフィールドが指示するリプロジェクションに使用される３Ｄモデルとは異なることができる。この場合、基本メタデータはさらに、レンダリング時に使用される３Ｄモデルを指示するフィールドを含むこともできる。該当フィールドが０、１、２、３の値を有する場合、３Ｄ空間は各々球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）、ピラミッド（Ｐｙｒａｍｉｄ）の３Ｄモデルを従うことができる。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ  ｆｏｒ  Ｆｕｔｕｒｅ  Ｕｓｅ）。実施例によって、３６０ビデオ関連メタデータはさらに、該当フィールドにより指示される３Ｄモデルに関する具体的な情報を含むことができる。ここで、３Ｄモデルに関する具体的な情報とは、例えば、球形の半径情報、シリンダーの高さ情報などを意味する。このフィールドは省略できる。
【０１３６】
ｐｒｏｊｅｃｔｉｏｎ＿ｓｃｈｅｍｅフィールドは、該当３６０ビデオデータが２Ｄイメージ上にプロジェクションされる時、使用されたプロジェクションスキームを指示することができる。該当フィールドが０、１、２、３、４、５の値を有する場合、各々等正方形のプロジェクション（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ）スキーム、キュービックプロジェクションスキーム、シリンダー型のプロジェクションスキーム、タイルベース（ｔｉｌｅ−ｂａｓｅｄ）のプロジェクションスキーム、ピラミッドプロジェクションスキーム、パノラミックプロジェクションスキームが使用されたことができる。該当フィールドが６の値を有する場合、３６０ビデオデータがステッチング無しにすぐ２Ｄイメージ上にプロジェクションされた場合であることができる。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ  ｆｏｒ  Ｆｕｔｕｒｅ  Ｕｓｅ）。実施例によって３６０ビデオ関連メタデータはさらに、該当フィールドによって特定されるプロジェクションスキームにより発生したリージョン（Ｒｅｇｉｏｎ）に関する具体的な情報を含むことができる。ここで、リージョンに関する具体的な情報とは、例えば、リージョンの回転有無、シリンダーの上面（ｔｏｐ）リージョンの半径情報などを意味する。
【０１３７】
立体関連メタデータは３６０ビデオデータの３Ｄ関連属性に関する情報を含む。立体関連メタデータはｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールド及び／又はｓｔｅｒｅｏ＿ｍｏｄｅフィールドを含む。実施例によって立体関連メタデータはさらなる情報を含むことができる。
【０１３８】
ｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールドは、該当３６０ビデオデータが３Ｄを支援するか否かを指示することができる。該当フィールドが１であると３Ｄ支援、０であると３Ｄ未支援を意味する。このフィールドは省略できる。
【０１３９】
ｓｔｅｒｅｏ＿ｍｏｄｅフィールドは、該当３６０ビデオが支援する３Ｄレイアウトを指示することができる。このフィールドのみで該当３６０ビデオが３Ｄを支援するか否かを指示することができるが、この場合、上述したｉｓ＿ｓｔｅｒｅｏｓｃｏｐｉｃフィールドは省略できる。このフィールド値が０である場合、該当３６０ビデオはモノ（ｍｏｎｏ）モードであることができる。即ち、プロジェクションされた２Ｄイメージは１つのモノビュー（ｍｏｎｏ  ｖｉｅｗ）のみを含むことができる。この場合、該当３６０ビデオは３Ｄを支援しないこともできる。
【０１４０】
このフィールド値が１、２である場合、該当３６０ビデオは各々左右（Ｌｅｆｔ−Ｒｉｇｈｔ）レイアウト、上下（ｔｏｐ−Ｂｏｔｔｏｍ）レイアウトに従う。左右レイアウト、上下レイアウトは、各々サイド−バイ−サイドフォーマット、トップ−ボトムフォーマットとも呼ばれる。左右レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々左／右に位置する。上下レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々上／下に位置する。該当フィールドがその他の値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ  ｆｏｒ  Ｆｕｔｕｒｅ  Ｕｓｅ）。
【０１４１】
初期視点関連メタデータはユーザが３６０ビデオを最初に再生した時に見る視点（初期視点）に関する情報を含む。初期視点関連メタデータは、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｙａｗ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｐｉｔｃｈ＿ｄｅｇｒｅｅフィールド及び／又はｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｒｏｌｌ＿ｄｅｇｒｅｅフィールドを含む。実施例によって、初期視点関連メタデータはさらなる情報を含むこともできる。
【０１４２】
ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｙａｗ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｐｉｔｃｈ＿ｄｅｇｒｅｅフィールド、ｉｎｉｔｉａｌ＿ｖｉｅｗ＿ｒｏｌｌ＿ｄｅｇｒｅｅフィールドは、該当３６０ビデオ再生時の初期視点を示す。即ち、再生時に最初に見るビューポートの真ん中の地点が、これらのフィールドにより表されることができる。各フィールドはその真ん中の地点が位置をｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。この時、ＦＯＶによって最初の再生時に見られるビューポートが決定される。ＦＯＶにより、指示された初期視点を基準とする初期ビューポートの幅及び高さ（ｗｉｄｔｈ、ｈｅｉｇｈｔ）が決定される。即ち、これらのフィールド及びＦＯＶ情報を用いて、３６０ビデオの受信装置はユーザに３６０ビデオの一定の領域を初期ビューポートとして提供することができる。
【０１４３】
実施例によって、初期視点関連メタデータが指示する初期視点は、シーン（ｓｃｅｎｅ）ごとに変更される。即ち、３６０コンテンツの時間的流れによって３６０ビデオのシーンが変化するが、該当３６０ビデオのシーンごとにユーザが最初に見る初期視点或いは初期ビューポートが変更される。この場合、初期視点関連メタデータは各シーンごとの初期視点を指示することができる。このために、初期視点関連メタデータはさらに、該当初期視点が適用されるシーンを識別するシーン識別子を含むことができる。また３６０ビデオのシーンごとにＦＯＶが変化することができるので、初期視点関連メタデータはさらに、該当シーンに該当するＦＯＶを示すシーンごとのＦＯＶ情報を含むことができる。
【０１４４】
ＲＯＩ関連メタデータは、上述したＲＯＩに関連する情報を含む。ＲＯＩ関連メタデータは、２ｄ＿ｒｏｉ＿ｒａｎｇｅ＿ｆｌａｇフィールド及び／又は３ｄ＿ｒｏｉ＿ｒａｎｇｅ＿ｆｌａｇフィールドを含む。これらのフィールドは各々ＲＯＩ関連メタデータが２Ｄイメージに基づいてＲＯＩを表現するフィールドを含むか否か、３Ｄ空間に基づいてＲＯＩを表現するフィールドを含むか否かを指示することができる。実施例によって、ＲＯＩ関連メタデータはさらに、ＲＯＩによる差分エンコーディング情報、ＲＯＩによる差分伝送処理情報などの追加情報を含むことができる。
【０１４５】
ＲＯＩ関連メタデータが２Ｄイメージに基づいてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド、ｍｉｎ＿ｗｉｄｔｈフィールド、ｍａｘ＿ｗｉｄｔｈフィールド、ｍｉｎ＿ｈｅｉｇｈｔフィールド、ｍａｘ＿ｈｅｉｇｈｔフィールド、ｍｉｎ＿ｘフィールド、ｍａｘ＿ｘフィールド、ｍｉｎ＿ｙフィールド及び／又はｍａｘ＿ｙフィールドを含むことができる。
【０１４６】
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘフィールド、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールド及びｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙフィールドは、ＲＯＩの左上端の座標の最小／最大値を示すことができる。これらのフィールドは順に左上端の最小ｘ座標、最大ｘ座標、最小ｙ座標及び最大ｙ座標を示す。
【０１４７】
ｍｉｎ＿ｗｉｄｔｈフィールド、ｍａｘ＿ｗｉｄｔｈフィールド、ｍｉｎ＿ｈｅｉｇｈｔフィールド及びｍａｘ＿ｈｅｉｇｈｔフィールドは、ＲＯＩの横サイズ（ｗｉｄｔｈ）、縦サイズ（Ｈｅｉｇｈｔ）の最小／最大値を示す。これらのフィールドは順に横サイズの最小値、横サイズの最大値、縦サイズの最小値及び縦サイズの最大値を示す。
【０１４８】
ｍｉｎ＿ｘフィールド、ｍａｘ＿ｘフィールド、ｍｉｎ＿ｙフィールド及びｍａｘ＿ｙフィールドは、ＲＯＩ内の座標の最小／最大値を示す。これらのフィールドは順にＲＯＩ内の座標の最小ｘ座標、最大ｘ座標、最小ｙ座標及び最大ｙ座標を示す。これらのフィールドは省略できる。
【０１４９】
ＲＯＩ関連メタデータが３Ｄレンダリング空間上の座標に基づいてＲＯＩを表現するフィールドを含む場合、ＲＯＩ関連メタデータは、ｍｉｎ＿ｙａｗフィールド、ｍａｘ＿ｙａｗフィールド、ｍｉｎ＿ｐｉｔｃｈフィールド、ｍａｘ＿ｐｉｔｃｈフィールド、ｍｉｎ＿ｒｏｌｌフィールド、ｍａｘ＿ｒｏｌｌフィールド、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド及び／又はｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドを含むことができる。
【０１５０】
ｍｉｎ＿ｙａｗフィールド、ｍａｘ＿ｙａｗフィールド、ｍｉｎ＿ｐｉｔｃｈフィールド、ｍａｘ＿ｐｉｔｃｈフィールド、ｍｉｎ＿ｒｏｌｌフィールド及びｍａｘ＿ｒｏｌｌフィールドは、ＲＯＩが３Ｄ空間上において占める領域をｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの最小／最大値で示すことができる。これらのフィールドは順にｙａｗ軸基準回転量の最小値、ｙａｗ軸基準回転量の最大値、ｐｉｔｃｈ軸基準回転量の最小値、ｐｉｔｃｈ軸基準回転量の最大値、ｒｏｌｌ軸基準回転量の最小値及びｒｏｌｌ軸基準回転量の最大値を示す。
【０１５１】
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドは、該当３６０ビデオデータのＦＯＶの最小／最大値を示す。ＦＯＶは３６０ビデオの再生時に同時にディスプレイされる視野範囲を意味する。ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールド、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗフィールドは各々ＦＯＶの最小値、最大値を示すことができる。これらのフィールドは省略できる。これらのフィールドは後述するＦＯＶ関連メタデータに含まれることもできる。
【０１５２】
ＦＯＶ関連メタデータは上述したＦＯＶに関連する情報を含む。ＦＯＶ関連メタデータはｃｏｎｔｅｎｔ＿ｆｏｖ＿ｆｌａｇフィールド及び／又はｃｏｎｔｅｎｔ＿ｆｏｖフィールドを含むことができる。実施例によって、ＦＯＶ関連メタデータはさらに、上述したＦＯＶの最小／最大値関連情報などの追加情報を含むこともできる。
【０１５３】
ｃｏｎｔｅｎｔ＿ｆｏｖ＿ｆｌａｇフィールドは、該当３６０ビデオに対して制作時に意図したＦＯＶに関する情報が存在するか否かを指示することができる。このフィールド値が１である場合、ｃｏｎｔｅｎｔ＿ｆｏｖフィールドが存在することができる。
【０１５４】
ｃｏｎｔｅｎｔ＿ｆｏｖフィールドは、該当３６０ビデオに対して制作時に意図したＦＯＶに関する情報を示すことができる。実施例によって、該当３６０ビデオの受信装置の垂直（ｖｅｒｔｉｃａｌ）或いは水平（Ｈｏｒｉｚｏｎｔａｌ）ＦＯＶによって、３６０映像のうち、ユーザに同時にディスプレイされる領域を決定される。或いは実施例によって、このフィールドのＦＯＶ情報を反映してユーザに同時にディスプレイされる３６０ビデオの領域が決定されることもできる。
【０１５５】
クロップされた領域関連メタデータは、イメージフレーム上において実際の３６０ビデオデータを含む領域に関する情報を含む。イメージフレームは実際の３６０ビデオデータのプロジェクションされたアクティブビデオ領域（Ａｃｔｉｖｅ  Ｖｉｄｅｏ  Ａｒｅａ）と、そうではない領域を含む。この時、アクティブビデオ領域は、クロップされた領域又はデフォルトディスプレイ領域と称することができる。このアクティブビデオ領域は、実際のＶＲディスプレイ上において３６０ビデオとして見られる領域であり、３６０ビデオの受信装置又はＶＲディスプレイは、アクティブビデオ領域のみを処理／ディスプレイすることができる。例えば、イメージフレームの横縦比（ａｓｐｅｃｔ  ｒａｔｉｏ）が４：３である場合、イメージフレームにおける上側の一部及び下側の一部を除いた領域のみが３６０ビデオデータを含むことができるが、この部分をアクティブビデオ領域と言える。
【０１５６】
クロップされた領域関連メタデータは、ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｘフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｙフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈフィールド及び／又はｃｒ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔフィールドを含むことができる。実施例によって、クロップされた領域関連メタデータはさらに、追加情報を含むことができる。
【０１５７】
ｉｓ＿ｃｒｏｐｐｅｄ＿ｒｅｇｉｏｎフィールドは、イメージフレームの全領域が３６０ビデオの受信装置或いはＶＲディスプレイにより使用されるか否かを示すフラッグであることができる。即ち、このフィールドはイメージフレーム全体がアクティブビデオ領域であるか否かを指示することができる。イメージフレームの一部のみがアクティブビデオ領域である場合は、さらに以下の４種類のフィールドを追加できる。
【０１５８】
ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｘフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｌｅｆｔ＿ｔｏｐ＿ｙフィールド、ｃｒ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈフィールド及びｃｒ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔフィールドは、イメージフレーム上においてアクティブビデオ領域を示す。これらのフィールドは、各々アクティブビデオ領域の左上端のｘ座標、アクティブビデオ領域の左上端のｙ座標、アクティブビデオ領域の幅（ｗｉｄｔｈ）、アクティブビデオ領域の高さ（Ｈｅｉｇｈｔ）を示すことができる。幅と高さはピクセル単位で示すことができる。
【０１５９】
上述したように、３６０゜ビデオ関連シグナリング情報又はメタデータは、任意に定義されたシグナリングテーブルに含まれることができ、ＩＳＯＢＭＦＦ又はＣｏｍｍｏｎ  Ｆｉｌｅ  Ｆｏｒｍａｔなどのファイルフォーマットにｂｏｘ形態に含まれることもでき、又はＤＡＳＨ  ＭＰＤ内に含まれて伝送されることもできる。なお、３６０゜メディアデータは、かかるファイルフォーマット又はＤＡＳＨ  Ｓｅｇｍｅｎｔに含まれて伝送されることもできる。
【０１６０】
以下、ＩＳＯＢＭＦＦ及びＤＡＳＨ  ＭＰＤについて順に説明する。
【０１６１】
図９は本発明の一実施例によるメディアファイルの構造を示す図である。
【０１６２】
図１０は本発明の一実施例によるＩＳＯＢＭＦＦ内のボックスの階層的構造を示す図である。
【０１６３】
オーディオ又はビデオなどのメディアデータを貯蔵して伝送するために、定型化されたメディアファイルフォーマットが定義されることができる。実施例によって、メディアファイルはＩＳＯ  ＢＭＦＦ（ＩＳＯ  ｂａｓｅ  ｍｅｄｉａ  ｆｉｌｅ  ｆｏｒｍａｔ）に基づくファイルフォーマットを有することができる。
【０１６４】
本発明によるメディアファイルは、少なくとも１つ以上のボックスを含む。ここで、ボックス（ｂｏｘ）は、メディアデータ又はメディアデータに関連するメタデータなどを含むデータブロック或いはオブジェクトである。複数のボックスは互いに階層的構造を有し、これによりデータが分類されてメディアファイルが大容量メディアデータの貯蔵及び／又は伝送に適合した形態を有することになる。またメディアファイルは、ユーザがメディアコンテンツの特定の地点に移動するなど、メディア情報への接近に容易な構造を有する。
【０１６５】
本発明によるメディアファイルはｆｔｙｐボックス、ｍｏｏｖボックス及び／又はｍｄａｔボックスを含むことができる。
【０１６６】
ｆｔｙｐボックス（ファイルタイプボックス）は、該当メディアファイルに対するファイルタイプ又は互換性関連情報を提供する。ｆｔｙｐボックスは該当メディアファイルのメディアデータに対する構成バージョン情報を含む。復号器はｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。
【０１６７】
ｍｏｏｖボックス（ムービーボックス）は、該当メディアファイルのメディアデータに関するメタデータを含むボックスである。ｍｏｏｖボックスは全てのメタデータのためのコンテナーの役割を果たす。ｍｏｏｖボックスはメタデータ関連ボックスのうち、最上位層のボックスであることができる。実施例によって、ｍｏｏｖボックスはメディアファイル内に１つのみが存在する。
【０１６８】
ｍｄａｔボックス（メディアデータボックス）は、該当メディアファイルの実際のメディアデータを入れるボックスである。メディアデータはオーディオサンプル及び／又はビデオサンプルを含むが、ｍｄａｔボックスはかかるメディアサンプルを入れるコンテナーの役割を果たす。
【０１６９】
実施例によって、上述したｍｏｏｖボックスはさらにｍｖｈｄボックス、ｔｒａｋボックス及び／又はｍｖｅｘボックスなどを下位ボックスとして含むことができる。
【０１７０】
ｍｖｈｄボックス（ムービーヘッダーボックス）は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含む。即ち、ｍｖｈｄボックスは該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格及び期間などの情報を含む。
【０１７１】
ｔｒａｋボックス（トラックボックス）は、該当メディアデータのトラックに関連する情報を提供する。ｔｒａｋボックスはオーディオトラック又はビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含む。ｔｒａｋボックスはトラックの数によって複数個存在することができる。
【０１７２】
ｔｒａｋボックスは、実施例によって、さらにｔｋｈｄボックス（トラックヘッダーボックス）を下位ボックスとして含むことができる。ｔｋｈｄボックスはｔｒａｋボックスが示す該当トラックに関する情報を含むことができる。ｔｋｈｄボックスは該当トラックの生成時間、変更時間、トラック識別子などの情報を含む。
【０１７３】
ｍｖｅｘボックス（ムービー延長（ｅｘｔｅｎｄ）ボックス）は、該当メディアファイルに後述するｍｏｏｆボックスがあり得ることを指示する。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスをスキャンする必要がある。
【０１７４】
本発明によるメディアファイルは、実施例によって、複数のフラグメントに分かれることができる（ｔ１８０１０）。これにより、メディアファイルが分割されて貯蔵又は伝送される。メディアファイルのメディアデータ（ｍｄａｔボックス）は複数のフラグメントに分かれ、各々のフラグメントはｍｏｏｆボックスと分かれたｍｄａｔボックスを含むことができる。実施例によって、フラグメントを活用するためには、ｆｔｙｐボックス及び／又はｍｏｏｖボックスの情報が必要である。
【０１７５】
ｍｏｏｆボックス（ムービーフラグメントボックス）は、該当フラグメントのメディアデータに関するメタデータを提供する。ｍｏｏｆボックスは該当フラグメントのメタデータ関連ボックスのうち、最上位層のボックスであることができる。
【０１７６】
ｍｄａｔボックス（メディアデータボックス）は、上述したように、実際のメディアデータを含むことができる。このｍｄａｔボックスは、各々の該当フラグメントに該当するメディアデータのメディアサンプルを含む。
【０１７７】
実施例によって、上述したｍｏｏｆボックスはさらにｍｆｈｄボックス及び／又はｔｒａｆボックスなどを下位ボックスとして含むことができる。
【０１７８】
ｍｆｈｄボックス（ムービーフラグメントヘッダーボックス）は、分割された複数のフラグメント間の関連性に関連する情報を含む。ｍｆｈｄボックスはシーケンス番号（ｓｅｑｕｅｎｃｅ  ｎｕｍｂｅｒ）を含み、該当フラグメントのメディアデータが分割された何番目のデータであるかを示すことができる。また、ｍｆｈｄボックスを用いて、分割されたデータのうち、漏れたことがあるか否かを確認することができる。
【０１７９】
ｔｒａｆボックス（トラックフラグメントボックス）は、該当トラックフラグメントに関する情報を含む。ｔｒａｆボックスは該当フラグメントに含まれる分割されたトラックフラグメントに関するメタデータを提供する。ｔｒａｆボックスは該当トラックフラグメント内のメディアサンプルが復号化／再生されるようにメタデータを提供する。ｔｒａｆボックスはトラックフラグメントの数によって複数個が存在することができる。
【０１８０】
実施例によって、上述したｔｒａｆボックスはさらにｔｆｈｄボックス及び／又はｔｒｕｎボックスなどを下位ボックスとして含むことができる。
【０１８１】
ｔｆｈｄボックス（トラックフラグメントヘッダーボックス）は、該当トラックフラグメントのヘッダー情報を含む。ｔｆｈｄボックスは上述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプルサイズ、期間、オフセット、識別子などの情報を提供することができる。
【０１８２】
ｔｒｕｎボックス（トラックフラグメントランボックス）は、該当トラックフラグメント関連情報を含む。ｔｒｕｎボックスはメディアサンプルごとの期間、サイズ、再生視点などのような情報を含む。
【０１８３】
上述したメディアファイル乃至メディアファイルのフラグメントは、セグメントで処理されて伝送されることができる。セグメントには初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ  Ｓｅｇｍｅｎｔ）及び／又はメディアセグメント（ｍｅｄｉａ  Ｓｅｇｍｅｎｔ）がある。
【０１８４】
図示された実施例（ｔ１８０２０）のファイルは、メディアデータは除いてメディアデコーダーの初期化に関連する情報などを含むファイルである。このファイルは、例えば、上述した初期化セグメントに該当する。初期化セグメントは上述したｆｔｙｐボックス及び／又はｍｏｏｖボックスを含む。
【０１８５】
図示された実施例（ｔ１８０３０）のファイルは、上述したフラグメントを含むファイルである。このファイルは、例えば、上述したメディアセグメントに該当する。メディアセグメントは上述したｍｏｏｆボックス及び／又はｍｄａｔボックスを含む。またメディアセグメントはさらにｓｔｙｐボックス及び／又はｓｉｄｘボックスを含むことができる。
【０１８６】
ｓｔｙｐボックス（セグメント  タイプボックス）は分割されたフラグメントのメディアデータを識別するための情報を提供する。ｓｔｙｐボックスは分割されたフラグメントに対して、上述したｆｔｙｐボックスのような役割を果たす。実施例によってｓｔｙｐボックスはｆｔｙｐボックスと同一のフォーマットを有することができる。
【０１８７】
ｓｉｄｘボックス（セグメントインデックスボックス）は分割されたフラグメントに対するインデックスを示す情報を提供する。これにより、該当分割されたフラグメントが何番目のフラグメントであるかが指示される。
【０１８８】
実施例によって（ｔ１８０４０）、さらにｓｓｉｘボックスを含むことができるが、ｓｓｉｘボックス（サブセグメントインデックスボックス）は、セグメントがサブセグメントにさらに分れる場合において、そのサブセグメントのインデックスを示す情報を提供することができる。
【０１８９】
メディアファイル内のボックスは、図示された実施例（ｔ１８０５０）のようなボックス或いはフルボックス（ＦｕｌｌＢｏｘ）の形態に基づいて、より拡張した情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは該当ボックスの長さをバイト単位などで示すことができる。ｖｅｒｓｉｏｎフィールドは該当ボックスフォーマットのバージョンを示すことができる。ｔｙｐｅフィールドは該当ボックスのタイプ或いは識別子を示すことができる。ｆｌａｇｓフィールドは該当ボックスに関連するフラッグなどを示すことができる。
【０１９０】
図１１は本発明の一実施例によるＤＡＳＨ基盤の適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルの全般的な動作を示す図である。
【０１９１】
図示された実施例（ｔ５００１０）によるＤＡＳＨ基盤の適応型ストリーミングモデルは、ＨＴＴＰサーバとＤＡＳＨクライアントの間の動作について記載している。ここで、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）は、ＨＴＴＰ基盤の適応型ストリーミングを支援するためのプロトコルであり、ネットワーク状況によって動的にストリーミングを支援することができる。これにより、ＡＶコンテンツ再生を続けて提供することができる。
【０１９２】
まずＤＡＳＨクライアントはＭＰＤを得ることができる。ＭＰＤはＨＴＴＰサーバなどのサービス供給者から伝達される。ＤＡＳＨクライアントはＭＰＤに記載されたセグメントへの接近情報を用いてサーバに該当セグメントを要求することができる。ここで、この要求はネットワーク状態を反映して行われる。
【０１９３】
ＤＡＳＨクライアントは該当セグメントを得た後、これをメディアエンジンで処理して画面にディスプレイする。ＤＡＳＨクライアントは再生時間及び／又はネットワーク状況などを実時間に反映して、必要なセグメントを要求して得ることができる（Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ）。これにより、コンテンツを続けて再生することができる。
【０１９４】
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）は、ＤＡＳＨクライアントがセグメントを動的に獲得するための詳細情報を含むファイルであり、ＸＭＬ形態で表現されることができる。
【０１９５】
ＤＡＳＨクライアントコントローラー（ＤＡＳＨ  Ｃｌｉｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）は、ネットワーク状況を反映してＭＰＤ及び／又はセグメントを要求するコマンドを生成する。また、このコントローラーは得られた情報をメディアエンジンなどの内部ブロックで使用できるように制御する。
【０１９６】
ＭＰＤパーサー（Ｐａｒｓｅｒ）は得られたＭＰＤを実時間にパーシングする。これにより、ＤＡＳＨクライアントコントローラーは必要なセグメントを得るコマンドを生成できるようになる。
【０１９７】
セグメントパーサー（Ｐａｒｓｅｒ）は得られたセグメントを実時間にパーシングする。セグメントに含まれた情報によってメディアエンジンなどの内部ブロックは特定の動作を行うことができる。
【０１９８】
ＨＴＴＰクライアントは必要なＭＰＤ及び／又はセグメントなどをＨＴＴＰサーバに要求することができる。またＨＴＴＰクライアントはサーバから獲得したＭＰＤ及び／又はセグメントをＭＰＤパーサー又はセグメントパーサーに伝達する。
【０１９９】
メディアエンジン（Ｍｅｄｉａ  Ｅｎｇｉｎｅ）はセグメントに含まれたメディアデータを用いてコンテンツを画面上に示すことができる。この時、ＭＰＤの情報を活用できる。
【０２００】
ＤＡＳＨデータモデルはハイアラーキー（ｈｉｅｒａｒｃｈｙ）構造（ｔ５００２０）を有することができる。メディアプレゼンテーションはＭＰＤにより記述される。ＭＰＤはメディアプレゼンテーションを形成する複数のピリオド（Ｐｅｒｉｏｄ）の時間的なシーケンスを記述する。ピリオドはメディアコンテンツの一区間を示す。
【０２０１】
１つのピリオドにおいて、データはアダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換可能な複数のメディアコンテンツコンポーネントの集合である。アダプテーションはレプリゼンテーションの集合を含む。レプリゼンテーションはメディアコンテンツコンポーネントに該当することができる。１つのレプリゼンテーション内において、コンテンツは複数のセグメントに時間的に分かれる。これは適切な接近性と伝達（ｄｅｌｉｖｅｒｙ）のためである。各々のセグメントに接近するために各セグメントのＵＲＬが提供される。
【０２０２】
ＭＰＤはメディアプレゼンテーションに関連する情報を提供でき、ピリオドエレメント、アダプテーションセットエレメント、レプリゼンテーションエレメントは各々、該当ピリオド、アダプテーションセット、レプリゼンテーションについて記述できる。レプリゼンテーションはサブレプリゼンテーションに分かれることができるが、サブレプリゼンテーションエレメントは該当サブレプリゼンテーションについて記述できる。
【０２０３】
ここで、共通（Ｃｏｍｍｏｎ）属性／エレメントが定義されるが、これらはアダプテーションセット、レプリゼンテーション、サブレプリゼンテーションなどに適用できる（含まれることができる）。共通属性／エレメントのうちには、エッセンシャルプロパティー（Ｅｓｓｅｎｔｉａｌ  Ｐｒｏｐｅｒｔｙ）及び／又は補足プロパティー（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｐｒｏｐｅｒｔｙ）があり得る。
【０２０４】
エッセンシャルプロパティーは、該当メディアプレゼンテーション関連データを処理するにおいて、必須であると思われるエレメントを含む情報である。補足プロパティーは該当メディアプレゼンテーション関連データを処理するにおいて、使用可能なエレメントを含む情報である。実施例によって、後述するシグナリング情報は、ＭＰＤを通じて伝達される場合、エッセンシャルプロパティー及び／又は補足プロパティー内に定義されて伝達される。
【０２０５】
ＤＡＳＨ基盤のディスクリプターは＠ｓｃｈｅｍｅＩｄＵｒｉフィールド、＠ｖａｌｕｅフィールド及び／又は＠ｉｄフィールドを含む。＠ｓｃｈｅｍｅＩｄＵｒｉフィールドは該当ディスクリプターのスキーム（ｓｃｈｅｍｅ）を識別するためのＵＲＩを提供する。＠ｖａｌｕｅフィールドは＠ｓｃｈｅｍｅＩｄＵｒｉフィールドが指示するスキームによってその意味が定義される値（ｖａｌｕｅ）を有する。即ち、＠ｖａｌｕｅフィールドは該当スキームによるディスクリプターエレメントの値を有し、これらはパラメータとも呼ばれる。これらは互いに’、’で区分される。＠ｉｄは該当ディスクリプターの識別子を示す。同一の識別子を有する場合、同一のスキームＩＤ、値（ｖａｌｕｅ）、パラメータを含むことができる。
【０２０６】
３６０ビデオ関連メタデータの各々の実施例は、ＤＡＳＨ基盤のディスクリプター形態で再度使用できる。ＤＡＳＨによって３６０ビデオデータが伝達される場合、３６０ビデオ関連メタデータはＤＡＳＨディスクリプターの形態で記述されて、ＭＰＤなどに含まれて受信側に伝達される。このディスクリプターは上述したエッセンシャルプロパティーのディスクリプター及び／又は補足プロパティーのディスクリプターの形態で伝達される。これらのディスクリプターはＭＰＤのアダプテーションセット、レプリゼンテーション、サブレプリゼンテーションなどに含まれて伝達されることができる。
【０２０７】
本明細書は３６０ビデオの再生において、ディレクターズ・カット（ｄｉｒｅｃｔｏｒ´ｓ  ｃｕｔ）のように意図又は勧奨される（ｒｅｃｏｍｍｅｎｄｅｄ）視点（地点）又は領域に関する情報を伝達してユーザをしてプロデューサーが意図した視点（地点）又は領域を視聴可能にするために関連メタデータを定義、貯蔵及びシグナリングする方法の案を開示する。後述する領域情報又は視点情報はプロデューサーの意図した領域又は視点（地点）を示す領域情報又は視点情報である。なお、勧奨される視点（地点）又は領域に関する情報は、ユーザ又はユーザデバイスが方向又はビューポートを制御できないか或いは方向除去が解除された場合にユーザデバイスに表示される領域を意味する。
【０２０８】
かかる方法の案のために伝達されるべき情報は、２Ｄ空間における領域又は２Ｄ空間における視点（地点）、又は３Ｄ空間における領域又は３Ｄ空間における視点（地点）に該当する。２Ｄ空間はキャプチャー又はエンコーディングされた矩形イメージ平面を意味し、３Ｄ空間は球形、円筒形、正方形などの３６０ビデオレンダリングのためのプロジェクト（ｐｒｏｊｅｃｔｉｎｇ）空間又はプロジェクション構造（ｐｒｏｊｅｃｔｉｏｎ  ｓｔｕｒｕｃｔｕｒｅ）を意味する。なお、ここで称する領域は上述したｒｅｇｉｏｎ（領域）を意味し、３Ｄ空間の領域又は視点（地点）と２Ｄ空間の領域又は視点（地点）は互いに対応する関係であることができる。即ち、２Ｄ空間の領域又は視点（地点）は３Ｄ空間の領域又は視点（地点）が２次元フレームにプロジェクション／マッピングされたものであることができる。
【０２０９】
＜２Ｄ空間における領域及び視点情報伝達方法の案＞
【０２１０】
２Ｄ空間における領域及び視点（地点）情報は、ＩＳＯ  ＢＭＦＦ内にｔｉｍｅｄ  ｍｅｔａｄａｔａとして１つのトラック（ｔｒａｃｋ）に貯蔵されることができる。以下、２Ｄ空間における領域情報に関するメタデータと、２Ｄ空間における視点（地点）情報に関するメタデータの実施例について順に説明する。
【０２１１】
図１２は本発明の一実施例による２Ｄ空間における領域情報に関するメタデータを示す図である。
【０２１２】
図１２の（ａ）は２Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１２の（ｂ）は２Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
【０２１３】
２Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｍｉｎ＿ｗｉｄｔｈ、ｍａｘ＿ｗｉｄｔｈ、ｍｉｎ＿ｈｅｉｇｈｔ及び／又はｍａｘ＿ｈｅｉｇｈｔを含む。
【０２１４】
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間の横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
【０２１５】
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間の縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
【０２１６】
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｘは、表現しようとする領域の左上端の地点に対する横座標の最小値を示す。
【０２１７】
ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｘは、表現しようとする領域の左上端の地点に対する横座標の最大値を示す。
【０２１８】
ｍｉｎ＿ｔｏｐ＿ｌｅｆｔ＿ｙは、表現しようとする領域の左上端の地点に対する縦座標の最小値を示す。
【０２１９】
ｍａｘ＿ｔｏｐ＿ｌｅｆｔ＿ｙは、表現しようとする領域の左上端の地点に対する縦座標の最大値を示す。
【０２２０】
ｍｉｎ＿ｗｉｄｔｈは表現しようとする領域（２Ｄ空間内の領域）の横サイズの最小値を示す。この時、表現しようとする領域の横サイズの最小値はピクセルの数で表現できる。
【０２２１】
ｍａｘ＿ｗｉｄｔｈは表現しようとする領域（２Ｄ空間内の領域）の横サイズの最大値を示す。この時、表現しようとする領域の横サイズの最大値はピクセルの数で表現できる。
【０２２２】
ｍｉｎ＿ｈｅｉｇｈｔは表現しようとする領域（２Ｄ空間内の領域）の縦サイズの最小値を示す。この時、表現しようとする領域の縦サイズの最小値はピクセルの数で表現できる。
【０２２３】
ｍａｘ＿ｈｅｉｇｈｔは表現しようとする領域（２Ｄ空間内の領域）の縦サイズの最大値を示す。この時、表現しようとする領域の縦サイズの最大値はピクセルの数で表現できる。
【０２２４】
２Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｔｏｐ＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
【０２２５】
ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする領域の左上端に対する横座標を示す。
【０２２６】
ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする領域の左上端に対する縦座標を示す。
【０２２７】
ｗｉｄｔｈは表現しようとする領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
【０２２８】
ｈｅｉｇｈｔは表現しようとする領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
【０２２９】
ｉｎｔｅｒｐｏｌａｔｅは、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０２３０】
図１３は本発明の一実施例による２Ｄ空間における視点（地点）情報に関するメタデータを示す図である。
【０２３１】
図１３の（ａ）は２Ｄ空間における視点（地点）情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１３の（ｂ）は２Ｄ空間において表現しようとする個別視点（地点）に対する個別サンプルの構成を示す。
【０２３２】
２Ｄ空間における地点情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｍｉｎ＿ｘ、ｍａｘ＿ｘ、ｍｉｎ＿ｙ及び／又はｍａｘ＿ｙを含む。
【０２３３】
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間の横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
【０２３４】
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間の縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
【０２３５】
ｍｉｎ＿ｘは表現しようとする地点の横座標の最小値を示す。
【０２３６】
ｍａｘ＿ｘは表現しようとする地点の横座標の最大値を示す。
【０２３７】
ｍｉｎ＿ｙは表現しようとする地点の縦座標の最小値を示す。
【０２３８】
ｍａｘ＿ｙは表現しようとする地点の縦座標の最大値を示す。
【０２３９】
２Ｄ空間において表現しようとする個別地点に対する個別サンプルはｘ、ｙ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
【０２４０】
ｘは表現しようとする地点の横座標を示す。
【０２４１】
ｙは表現しようとする地点の横座標を示す。
【０２４２】
ｉｎｔｅｒｐｏｌａｔｅは、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めるか否かを指示する。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０２４３】
＜３Ｄ空間における領域及び視点情報の伝達方法の案＞
【０２４４】
３Ｄ空間における領域及び視点情報は、ＩＳＯＢＭＦＦ内にｔｉｍｅｄ  ｍｅｔａｄａｔａとして１つのトラック（ｔｒａｃｋ）に貯蔵されることができる。以下、３Ｄ空間における領域情報に関するメタデータと、３Ｄ空間における視点（地点）情報に関するメタデータの実施例について順に説明する。
【０２４５】
ここで、３Ｄ空間は球形（ｓｐｈｅｒｅ）空間を意味し、３６０゜ビデオは球形面上に表現されることができる。上述した２Ｄ空間は３Ｄ空間が２次元にプロジェクション／マッピングされた２Ｄ平面を意味する。
【０２４６】
図１４は本発明の様々な実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【０２４７】
図１４の（ａ）は本発明の一実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１４の（ｂ）は本発明の他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示す。
【０２４８】
まず、図１４の（ａ）を参照すると、本発明の一実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｍｉｎ＿ｙａｗ、ｍａｘ＿ｙａｗ、ｍｉｎ＿ｐｉｔｃｈ、ｍａｘ＿ｐｉｔｃｈ、ｍｉｎ＿ｒｏｌｌ、ｍａｘ＿ｒｏｌｌ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗを含む。
【０２４９】
ｍｉｎ＿ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量の最小値を示す。
【０２５０】
ｍａｘ＿ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量の最大値を示す。
【０２５１】
ｍｉｎ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量の最小値を示す。
【０２５２】
ｍａｘ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量の最大値を示す。
【０２５３】
ｍｉｎ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量の最小値を示す。
【０２５４】
ｍａｘ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量の最大値を示す。
【０２５５】
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ  of  ｖｉｅｗ）の最小値を示す。
【０２５６】
ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ  of  ｖｉｅｗ）の最大値を示す。
【０２５７】
ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが全部０である場合、該当サンプルエントリーを参照する各サンプルの領域は、１つの点であることができる。
【０２５８】
次に、図１４の（ｂ）を参照すると、本発明の他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｃｅｎｔｅｒ＿ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｃｅｎｔｅｒ＿ｒｏｌｌ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗを含む。
【０２５９】
ｃｅｎｔｅｒ＿ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量の中間値を示す。
【０２６０】
ｃｅｎｔｅｒ＿ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量の中間値を示す。
【０２６１】
ｃｅｎｔｅｒ＿ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量の最小値を示す。
【０２６２】
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする水平視野範囲（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）の値を示す。この値はｃｅｎｔｅｒ＿ｙａｗを基準（中心）とする水平視野範囲であることができる。
【０２６３】
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする垂直視野範囲（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）の値を示す。この値はｃｅｎｔｅｒ＿ｐｉｔｃｈを基準（中心）とする垂直視野範囲であることができる。
【０２６４】
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが全部０である場合、該当サンプルエントリーを参照する各サンプルの領域は、１つの点であることができる。
【０２６５】
このサンプルエントリーのｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、各サンプルにおいて変更されない限り、各サンプルに適用できる。
【０２６６】
一実施例において、本発明の一実施例及び／又は他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、さらにｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇを含む。かかるｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇは、該当サンプルエントリーが指示する水平及び垂直視野範囲が該当サンプルエントリーを参照する全てのサンプルに対しても変化せず維持されることを指示することができる。一例として、ｄｙｎａｍｉｃ＿ｒａｎｇｅ＿ｆｌａｇが０である場合、サンプルエントリーの水平及び垂直視野範囲がサンプルエントリーを参照するサンプルにおいても維持されることを指示することができる。
【０２６７】
図１５は本発明の様々な実施例による３Ｄ空間において表現しようとする個別領域に関するメタデータを示す図である。
【０２６８】
図１５の（ａ）は本発明の一実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示し、図１５の（ｂ）は本発明の他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
【０２６９】
まず、図１５の（ａ）を参照すると、本発明の一実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
【０２７０】
ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量を示す。
【０２７１】
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量を示す。
【０２７２】
ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量を示す。
【０２７３】
一実施例において、ｙａｗ及びｐｉｔｃｈはビューポートの中心を示し、ｒｏｌｌはビューポートのｒｏｌｌ角度を示す。
【０２７４】
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする視野範囲（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。Ｆｉｅｌｄ  ｏｆ  ｖｉｅｗはｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗに細分化できる。
【０２７５】
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする水平視野範囲の値を示す。この値はｃｅｎｔｅｒ＿ｙａｗを基準（中心）とする水平視野範囲であることができる。
【０２７６】
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする垂直視野範囲の値を示す。この値はｃｅｎｔｅｒ＿ｐｉｔｃｈを基準（中心）とする垂直視野範囲であることができる。
【０２７７】
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０２７８】
次に、図１５の（ｂ）を参照すると、本発明の他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
【０２７９】
ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量を示す。
【０２８０】
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量を示す。
【０２８１】
ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量を示す。
【０２８２】
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０２８３】
図１６は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【０２８４】
図１６の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１６の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
【０２８５】
まず、図１６の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
【０２８６】
ｒｅｇｉｏｎ＿ｔｙｐｅは表現しようとする領域の種類を識別することができる。
【０２８７】
一例として、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、該当領域はＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおけるビューポートであることができる。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成される。この場合、該当領域は球面（ｓｐｈｅｒｉｃａｌ  ｓｕｒｆａｃｅ）に存在する２つの水平方向ｇｒｅａｔ  ｃｉｒｃｌｅ（大圏、大円）と、２つの水平方向ｇｒｅａｔ  ｃｉｒｃｌｅ（大圏、大円）の交点で構成される内部領域であることができる。即ち、該当領域は４つのｇｒｅａｔ  ｃｉｒｃｌｅにより特定される球面上の領域であることができる。
【０２８８】
一例として、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、該当領域はユーザデバイスのビューポート内に含まれるべき特定のｙａｗ、ｐｉｔｃｈ、ｒｏｌｌの範囲で示されるビューポイントの集合であるビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）であり、この場合、該当領域は球面（ｓｐｈｅｒｅ  ｓｕｒｆａｃｅ）に存在する２つの水平方向ｇｒｅａｔ  ｃｉｒｃｌｅ（大圏、大円）と２つの水平方向ｓｍａｌｌ  ｃｉｒｃｌｅ（小圏、小円）の交点で構成される内部領域であることができる。より具体的には、該当領域は球面に存在する２つのｐｉｔｃｈ  ｃｉｒｃｌｅと２つのｙａｗ  ｃｉｒｃｌｅにより特定される球面上の領域であることができる。
【０２８９】
なお、ｒｅｇｉｏｎ＿ｔｙｐｅが１に設定される場合、ユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）におけるビューポートは、ユーザデバイスの固有の水平／垂直視野（Ｈｏｒｉｚｏｎｔａｌ／ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）値によって構成し、ビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）の領域をビューポート（ｖｉｅｗｐｏｒｔ）内に含ませる方法で使用されることもできる。
【０２９０】
一実施例において、メタデータ内にｒｅｇｉｏｎ＿ｔｙｐｅフィールドが含まれない場合、領域識別方法はｒｅｇｉｏｎ＿ｔｙｐｅが意味する領域識別方法のうちの１つに設定される。即ち、メタデータ内にｒｅｇｉｏｎ＿ｔｙｐｅフィールドが含まれない場合、領域識別方法はｒｅｇｉｏｎ＿ｔｙｐｅが０である場合に予め設定されるか、或いはｒｅｇｉｏｎ＿ｔｙｐｅが１である場合に予め設定されて、ｒｅｇｉｏｎ＿ｔｙｐｅフィールドをシグナリングしないこともできる。
【０２９１】
ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅの中央点のｙａｗ値を示す。この時、サンプルは後述する３Ｄ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｏｒｄｉｎａｔｅｓ  Ｓａｍｐｌｅにより定義できる。
【０２９２】
ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅの中央点のｐｉｔｃｈ値を示す。この時、サンプルは後述する３Ｄ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｏｒｄｉｎａｔｅｓ  Ｓａｍｐｌｅにより定義できる。
【０２９３】
ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅの中央点のｒｏｌｌ値を示す。この時、サンプルは後述する３Ｄ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｏｒｄｉｎａｔｅｓ  Ｓａｍｐｌｅにより定義できる。
【０２９４】
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅの水平方向の幅を示す。この時、サンプルは後述する３Ｄ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｏｒｄｉｎａｔｅｓ  Ｓａｍｐｌｅにより定義できる。
【０２９５】
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なる。
【０２９６】
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおけるビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０２９７】
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈはビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
【０２９８】
Ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは該当トラックに存在するサンプルが表現される領域を定義するｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅの垂直方向の高さを示す。この時、サンプルは後述する３Ｄ  Ｓｐｈｅｒｉｃａｌ  Ｃｏｏｒｄｉｎａｔｅｓ  Ｓａｍｐｌｅにより定義できる。
【０２９９】
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なる。
【０３００】
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の垂直視野（ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  of  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３０１】
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔはビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
【０３０２】
ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅは中央点を基準とするｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅのｒｏｌｌ値の範囲を示す。
【０３０３】
次に、図１６の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｗｉｄｔｈ、ｈｅｉｇｈｔ及び／又はｉｎｔｅｒｐｏｌａｔｅを含むことができる。
【０３０４】
ｙａｗ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｙａｗ値を示す。
【０３０５】
ｐｉｔｃｈ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｐｉｔｃｈ値を示す。
【０３０６】
ｒｏｌｌ＿ｃｅｎｔｅｒは表現しようとする領域の中央点のｒｏｌｌ値を示す。
【０３０７】
ｗｉｄｔｈは表現しようとする領域の水平方向の幅を示す。ｗｉｄｔｈは上述したｒｅｇｉｏｎ＿ｔｙｐｅ値によってその意味が異なることもある。
【０３０８】
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｗｉｄｔｈはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の水平視野（Ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３０９】
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｗｉｄｔｈはビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
【０３１０】
ｈｅｉｇｈｔは表現しようとする領域の垂直方向の高さを示す。ｈｅｉｇｈｔは上述したｒｅｇｉｏｎ＿ｔｙｐｅの値によってその意味が異なることもある。
【０３１１】
一例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが０である場合、ｈｅｉｇｈｔはＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイス（ｕｓｅｒ  ｄｅｖｉｃｅ）におけるビューポート（ｖｉｅｗｐｏｒｔ）の垂直視野（ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３１２】
他の例として、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅが１である場合、ｈｅｉｇｈｔはビューポイントセット（ｖｉｅｗｐｏｉｎｔ  ｓｅｔ）のためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
【０３１３】
ｉｎｔｅｒｐｏｌａｔｅは以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値を線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めるか否かを指示することができる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１である場合、以前のサンプルが表現する領域と現在のサンプルが表現する領域の間の値は、線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０３１４】
図１７は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【０３１５】
図１７の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１７の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
【０３１６】
図１７の実施例は、ｒｅｇｉｏｎ＿ｔｙｐｅの値によって異なるｆｉｅｌｄで構成できるという点で図１６の実施例と異なる。
【０３１７】
まず、図１７の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
【０３１８】
ｒｅｇｉｏｎ＿ｔｙｐｅ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ及びｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅの場合、図１６の（ａ）で説明した内容を適用できる。
【０３１９】
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗがサンプルエントリーに含まれることができる。
【０３２０】
ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおいてｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅに対応するビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３２１】
ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおいてｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅに対応すするビューポートの垂直視野（ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３２２】
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅがサンプルエントリーに含まれることができる。
【０３２３】
ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅはビューポイントセットのためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｙａｗ値の範囲を示す。
【０３２４】
ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅはビューポイントセットのためのｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅを構成する点のｐｉｔｃｈ値の範囲を示す。
【０３２５】
次に、図１７の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
【０３２６】
ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ及びｉｎｔｅｒｐｏｌａｔｅの場合、図１６の（ｂ）で説明した内容を適用できる。
【０３２７】
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗが該当サンプルに含まれることができる。
【０３２８】
ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおいて該当領域に対応するビューポートの水平視野（Ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３２９】
ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは、ＨＭＤ（Ｈｅａｄ−ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）のようなユーザデバイスにおいて該当領域に対応するビューポートの垂直視野（ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。この時、ビューポートはｒｅｃｔｉｌｉｎｅａｒ  ｐｒｏｊｅｃｔｉｏｎのような方法で生成できる。
【０３３０】
この実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅが該当サンプルに含まれることができる。
【０３３１】
ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅはビューポイントセットを構成する点のｙａｗ値の範囲を示す。
【０３３２】
ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅはビューポイントセットを構成する点のｐｉｔｃｈ値の範囲を示す。
【０３３３】
図１８は本発明のさらに他の実施例による３Ｄ空間における領域情報に関するメタデータを示す図である。
【０３３４】
図１８の（ａ）は本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーの構成を示し、図１８の（ｂ）は本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルの構成を示す。
【０３３５】
図１８の実施例は、サンプルエントリーはｒｅｇｉｏｎ＿ｔｙｐｅの値によって異なるフィールドで構成され、個別サンプルはｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、１である場合の各々に含まれるフィールドを同時に含むように構成される実施例である。
【０３３６】
まず、図１８の（ａ）を参照すると、本発明のさらに他の実施例による３Ｄ空間における領域情報を貯蔵するトラックのサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｒａｎｇｅを含む。
【０３３７】
次に、図１８の（ｂ）を参照すると、本発明のさらに他の実施例による３Ｄ空間において表現しようとする個別領域に対する個別サンプルは、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｏｌｌ＿ｃｅｎｔｅｒ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
【０３３８】
図１８に示した実施例を図１７の実施例と比較した時、図１８の（ｂ）の実施例はｒｅｇｉｏｎ  ｔｙｐｅが０である場合に含まれるフィールドと、ｒｅｇｉｏｎ  ｔｙｐｅが１である場合に含まれるフィールドが同時に該当サンプルに含まれることができるという点で差がある。
【０３３９】
図１８（図１８の（ａ））の実施例において、表現しようとする領域のｒｅｆｅｒｅｎｃｅ  ｓｐａｃｅは、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅの範囲に属する任意の点に対するビューポイントと、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗの値によって決められるビューポートの上位集合（ｓｕｐｅｒｓｅｔ）である。
【０３４０】
図１８（図１８の（ｂ））の実施例において、表現しようとする領域は、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及びｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅの範囲に属する任意の点に対するビューポイントと、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗの値によって決められるビューポートの上位集合（ｓｕｐｅｒｓｅｔ）である。
【０３４１】
なお、図１７及び図１８の実施例において、同じ名称を有するフィールドは実質的に同一であるので、図１８の各フィールドについては図１７で説明した内容を適用できる。
【０３４２】
図１９は本発明の一実施例によるｒｅｇｉｏｎ  ｔｙｐｅによって領域を定義する方法を説明する参考図である。
【０３４３】
図１９の（ａ）は球形態の３Ｄモデルを示す図であり、図１９の（ｂ）は２つのｇｒｅａｔ  ｃｉｒｃｌｅと、２つのｇｒｅａｔ  ｃｉｒｃｌｅの交点で構成される領域を示す図であり、図１９の（ｃ）は２つのｇｒｅａｔ  ｃｉｒｃｌｅと、２つのｓｍａｌｌ  ｃｉｒｃｌｅの交点で構成される領域を示す図である。
【０３４４】
まず、ｇｒｅａｔ  ｃｉｒｃｌｅ、ｓｍａｌｌ  ｃｉｒｃｌｅ、ｐｉｔｃｈ  ｃｉｒｃｌｅ及びｙａｗ  ｃｉｒｃｌｅの意味について説明する。
【０３４５】
ｇｒｅａｔ  ｃｉｒｃｌｅは球（ｓｐｈｅｒｅ）の中心を通る円を意味する。より具体的には、ｇｒｅａｔ  ｃｉｒｃｌｅは球の中心点を通過する平面と球の交差地点を意味する。ｇｒｅａｔ  ｃｉｒｃｌｅはｏｒｔｈｏｄｒｏｍｅ又はリーマン円（Ｒｉｅｍａｎｎｉａｎ  ｃｉｒｃｌｅ）とも呼ばれる。なお、球の中心とｇｒｅａｔ  ｃｉｒｃｌｅの中心は同じ位置にあることができる。
【０３４６】
ｓｍａｌｌ  ｃｉｒｃｌｅは球（ｓｐｈｅｒｅ）の中心を通らない円を意味する。
【０３４７】
Ｐｉｔｃｈ  ｃｉｒｃｌｅは同一のｐｉｔｃｈ値を有する全ての点を連結する球（ｓｐｈｅｒｅ）表面上の円を意味する。Ｐｉｔｃｈ  ｃｉｒｃｌｅは地球上の緯線（ｌａｔｉｔｕｄｅ）と同様に、ｇｒｅａｔ  ｃｉｒｃｌｅではないことができる。
【０３４８】
ｙａｗ  ｃｉｒｃｌｅは同一のｙａｗ値を有する全ての点を連結する球（ｓｐｈｅｒｅ）表面上の円を意味する。Ｙａｗ  ｃｉｒｃｌｅは地球上の経線（ｌｏｎｇｉｔｕｄｅ）と同様に、いつもｇｒｅａｔ  ｃｉｒｃｌｅである。
【０３４９】
上述したように、本発明の一実施例によるｒｅｇｉｏｎ  ｔｙｐｅは球面上に存在する領域を特定するタイプを指示することができる。
【０３５０】
図１９の（ｂ）を参照すると、本発明の一実施例によるｒｅｇｉｏｎ  ｔｙｐｅが０である場合、球面上の領域を特定することが示されている。
【０３５１】
ｒｅｇｉｏｎ  ｔｙｐｅが０であるので、４つのｇｒｅａｔ  ｃｉｒｃｌｅにより球面上の領域が特定される。より具体的には、２つのｐｉｔｃｈ  ｃｉｒｃｌｅと、２つのｙａｗ  ｃｉｒｃｌｅにより球面上の領域が特定される。
【０３５２】
一方、特定された球面上の領域の中心は、図示されたように、ｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗで表現できる。かかるｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗは、ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ（又はｗｉｄｔｈ）及びｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ（又はｈｅｉｇｈｔ）のようなｆｉｅｌｄ  ｏｆ  ｖｉｅｗ情報と共に、ｖｉｅｗｐｏｒｔを定義するために使用される。
【０３５３】
言い換えれば、ｒｅｇｉｏｎ＿ｔｙｐｅが０である場合、該当領域はｃｅｎｔｅｒ＿ｙａｗ−ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２及びｃｅｎｔｅｒ＿ｙａｗ＋ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｙａｗ値を有する２つの垂直方向のｇｒｅａｔ  ｃｉｒｃｌｅと、ｃｅｎｔｅｒ＿ｐｉｔｃｈ−ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＋ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｐｉｔｃｈ値を有する２つの水平方向のｇｒｅａｔ  ｃｉｒｃｌｅを境界（ｂｏｕｎｄａｒｙ）とする内部局面であることができる。
【０３５４】
図１９の（ｃ）を参照すると、本発明の一実施例によるｒｅｇｉｏｎ  ｔｙｐｅが１である場合、球面上の領域を特定することが示されている。
【０３５５】
ｒｅｇｉｏｎ  ｔｙｐｅが１であるので、２つのｇｒｅａｔ  ｃｉｒｃｌｅと２つのｓｍａｌｌ  ｃｉｒｃｌｅにより球面上の領域が特定される。より具体的には、２つのｐｉｔｃｈ  ｃｉｒｃｌｅと、２つのｙａｗ  ｃｉｒｃｌｅにより球面上の領域が特定される。ここで、２つのｐｉｔｃｈ  ｃｉｒｃｌｅはｇｒｅａｔ  ｃｉｒｃｌｅではないｓｍａｌｌ  ｃｉｒｃｌｅである。
【０３５６】
一方、特定された球面上の領域の中心は、図示されたように、ｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗで表現できる。かかるｃｅｎｔｅｒ＿ｐｉｔｃｈ及びｃｅｎｔｅｒ＿ｙａｗはｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ及びｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗのようなｆｉｅｌｄ  ｏｆ  ｖｉｅｗ情報と共に、ｖｉｅｗｐｏｒｔを定義するために使用される。
【０３５７】
言い換えれば、ｒｅｇｉｏｎ＿ｔｙｐｅが１である場合、該当領域はｃｅｎｔｅｒ＿ｙａｗ−ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２及びｃｅｎｔｅｒ＿ｙａｗ＋ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｙａｗ値を有する２つの垂直方向のｇｒｅａｔ  ｃｉｒｃｌｅと、ｃｅｎｔｅｒ＿ｐｉｔｃｈ−ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＋ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ／２のｐｉｔｃｈ値を有する２つの水平方向のｓｍａｌｌ  ｃｉｒｃｌｅを境界（ｂｏｕｎｄａｒｙ）とする内部局面であることができる。
【０３５８】
＜領域情報又は視点情報に関するメタデータトラックと３６０゜ビデオトラックの関係をシグナリングする方法の案＞
【０３５９】
領域情報又は視点情報に関するメタデータトラックとかかるメタデータを適用する３６０゜ビデオトラックは、以下の方法でシグナリングできる。
【０３６０】
まず、３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
【０３６１】
一実施例において、１つのビデオフレーム（ｆｒａｍｅ）が１つ以上のｒｅｇｉｏｎに分かれてコーディングされ、１つ以上のトラックを通じて該当ｒｅｇｉｏｎに関するデータが伝達される場合、各トラックに関連する３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれることができる。ここで、３６０゜ビデオ関連メタデータは、図２、図３、図４及び図８などで説明した３６０゜ビデオ関連メタデータであることができる。なお、３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれる場合、３６０゜ビデオ関連メタデータはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘクラスに定義できる。ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘはｏｍｖｂボックスと称される。かかる３６０ビデオ関連メタデータはファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの多様なレベルに含まれて伝達でき、含まれるレベルによって該当３６０ビデオ関連メタデータは該当するレベルのデータに関するメタデータを提供することができる（トラック、ストリーム、サンプルなど）。
【０３６２】
なお、１つ以上のトラックのうち、特定のいくつかのトラックのみがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含み、その他のトラックはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない場合、この残りのトラックがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックにレファレンスできるようにするシグナリングが必要である。このために、ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない残りのトラックのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘにＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックを称するようにする情報を含めることができる。一実施例によれば、’ｏｍｖｂ’というｔｒａｃｋ  ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを定義し、該当ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘに含まれたｔｒａｃｋ＿ＩＤｓを通じて３６０゜ビデオ関連メタデータを含むトラックを称することができる。
【０３６３】
次に、領域情報又は視点情報に関するメタデータトラックと３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
【０３６４】
領域情報又は視点情報に関するメタデータトラックは３６０゜ビデオトラックとは別に貯蔵及び伝達される。即ち、領域情報又は視点情報に関するメタデータは３６０゜ビデオトラックと区別される別個のトラックで伝達される。このように、領域情報又は視点情報に関するメタデータがトラックに含まれて伝達される場合、領域情報又は視点情報に関するメタデータを含むトラックと、かかるメタデータトラックに関連する３６０゜ビデオトラックの間のレファレンスが要求されることができる。
【０３６５】
一実施例によれば、ＩＳＯＢＭＦＦのボックスのうちの一つであるＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに既に定義された’ｃｄｓｃ’ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを用いて領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
【０３６６】
他の実施例によれば、ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに’ｖｄｓｃ’というｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを新しく定義して領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
【０３６７】
図２０は本発明の一実施例によるｔｒｅｆボックスを示す図である。
【０３６８】
ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、該当ボックスに含まれたトラックと他のトラックの間のレファレンスを提供するボックスである。ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、所定のｒｅｆｅｒｅｎｃｅ  ｔｙｐｅと、識別子を有するトラックレファレンスタイプボックス（ｔｒａｃｋ  ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ  ｂｏｘ）を１つ以上含むことができる。
【０３６９】
ｔｒａｃｋ＿ＩＤは含むトラックにおいてプレゼンテーション内の他のトラックに対する参照を提供する定数である。ｔｒａｃｋ＿ＩＤは再使用できず、０ではない。
【０３７０】
ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下の値のうち１つに設定される。また、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下に定義されていない値に設定されることもできる。
【０３７１】
’ｈｉｎｔ’により参照されたトラックには、該当ヒント（Ｈｉｎｔ）トラックの原本メディア（ｏｒｉｇｉｎａｌ  ｍｅｄｉａ）が含まれることができる。
【０３７２】
’ｃｄｓｃ’トラックは参照されたトラックを説明する。このトラックは参照トラックに対するタイムメタデータを含むことができる。
【０３７３】
’ｆｏｎｔ’トラックは参照されたトラックにおいて伝達／定義されたフォント（ｆｏｎｔ）を使用できる。
【０３７４】
’ｈｉｎｄ’トラックは参照されたヒントトラックに依存する。即ち、このトラックは参照されたヒントトラックが使用される場合に使用可能である。
【０３７５】
’ｖｄｅｐ’トラックは参照されたビデオトラックに対する補助深さビデオ情報（ａｕｘｉｌｉａｒｙ  ｄｅｐｔｈ  ｖｉｄｅｏ  ｉｎｆｏｒｍａｔｉｏｎ）を含む。
【０３７６】
’ｖｐｌｘ’トラックは参照されたビデオトラックに対する補助視差ビデオ情報（ａｕｘｉｌｉａｒｙ  ｐａｒａｌｌａｘ  ｖｉｄｅｏ  ｉｎｆｏｒｍａｔｉｏｎ）を含む。
【０３７７】
’ｓｕｂｔ’トラックは参照されたトラック又は該当トラックが属した代替グループの全てのトラックに対する字幕、タイムテキスト及び／又はオーバーレイグラフィック情報を含む。
【０３７８】
’ｖｄｓｃ’トラックは、領域情報を伝達するメタデータトラックと、３６０ビデオトラックとを関連付けるｒｅｆｅｒｅｎｃｅ  ｔｙｐｅである。一実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、領域情報又は視点情報を伝達するメタデータトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは３６０ビデオトラックをレファレンスすることができる。他の実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、３６０ビデオトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは領域情報又は視点情報を伝達するメタデータトラックをレファレンスすることができる。
【０３７９】
また、領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｃｄｓｃ’が使用されることもできる。
【０３８０】
即ち、領域情報又は視点情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｃｄｓｃ’又はｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｖｄｓｃ’が使用されることができる。
【０３８１】
＜ＧＰＳ情報伝達方法の案＞
【０３８２】
ＧＳＰ情報はＩＳＯ  ＢＭＦＦ内にｔｉｍｅｄ  ｍｅｔａｄａｔａとして１つのトラックで貯蔵されることができる。
【０３８３】
以下、ＧＰＳ情報に関するメタデータの実施例について説明する。
【０３８４】
図２１は本発明の一実施例によるＧＰＳに関するメタデータを示す図である。
【０３８５】
図２１の（ａ）は本発明の一実施例によるＧＰＳ関連情報を貯蔵するトラックのサンプルエントリーの構成を示し、図２１の（ｂ）は本発明の一実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示し、図２１の（ｃ）は本発明の他の実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。
【０３８６】
ＧＰＳ関連情報を貯蔵するトラックのサンプルエントリーは、ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓ及び／又はａｌｔｉｔｕｄｅ＿ｆｌａｇを含むことができる。
【０３８７】
ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓはサンプルに含まれる緯度（ｌａｔｉｔｕｄｅ）、経度（ｌｏｎｇｉｔｕｄｅ）、高度（ａｌｔｉｔｕｄｅ）値に対するｃｏｏｒｄｉｎａｔｅ  ｒｅｆｅｒｅｎｃｅ  ｓｙｓｔｅｍ（座標基準系、ＣＲＳ）を示す。ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓはＵＲＩ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）で表現されることができる。一例として、ｃｏｏｒｄｉｎａｔｅ＿ｒｅｆｅｒｅｎｃｅ＿ｓｙｓは“ｕｒｎ：ｏｇｃ：ｄｅｆ：ＣＲＳ：ＥＰＳＧ：：４９７９”を示すことができる。ここで、“ｕｒｎ：ｏｇｃ：ｄｅｆ：ＣＲＳ：ＥＰＳＧ：：４９７９”はＥＰＳＧデータベースにおいてｃｏｄｅ４９７９であるＣｏｏｒｄｉｎａｔｅ  Ｒｅｆｅｒｅｎｃｅ  Ｓｙｓｔｅｍ（ＣＲＳ）を指示することができる。
【０３８８】
ａｌｔｉｔｕｄｅ＿ｆｌａｇはサンプルに高度値が含まれるか否かを示す。一実施例において、ａｌｔｉｔｕｄｅ＿ｆｌａｇが１である場合、サンプルに高度値が含まれることを指示し、ａｌｔｉｔｕｄｅ＿ｆｌａｇが０である場合は、サンプルに高度値が含まれないことを指示することができる。
【０３８９】
ＧＰＳデータは個別サンプルに貯蔵される。個別サンプルに貯蔵されるＧＰＳデータの構成に関する実施例は図２１の（ｂ）、（ｃ）に示した通りである。
【０３９０】
再度図２１の（ｂ）を参照すると、本発明の一実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。図２１の（ｂ）に示されたＧＰＳデータサンプルはｌｏｎｇｉｔｕｄｅ、ｌａｔｉｔｕｄｅ及び／又はａｌｔｉｔｕｄｅを含む。
【０３９１】
Ｌｏｎｇｉｔｕｄｅは地点の経度値を示す。正の値は東経（ｅａｓｔｅｒｎ  ｌｏｎｇｉｔｕｄｅ）を示し、負の値は西経（ｗｅｓｔｅｒｎ  ｌｏｎｇｉｔｕｄｅ）を示す。
【０３９２】
Ｌａｔｉｔｕｄｅは地点の緯度値を示す。正の値は北緯（ｎｏｒｔｈｅｒｎ  ｌａｔｉｔｕｄｅ）を示し、負の値は南緯（ｓｏｕｔｈｅｒｎ  ｌａｔｉｔｕｄｅ）を示す。
【０３９３】
Ａｌｔｉｔｕｄｅは地点の高度値を示す。一実施例において、サンプルエントリーのａｌｔｉｔｕｄｅ  ｆｌａｇがサンプルに高度値が含まれていることを指示する場合（ｅｘ．  ａｌｔｉｔｕｄｅ  ｆｌａｇ＝１）、サンプルにＡｌｔｉｔｕｄｅが存在することができる。他の実施例において、サンプルエントリーのａｌｔｉｔｕｄｅ  ｆｌａｇがサンプルに高度値が含まれていないことを指示する場合（ｅｘ．  ａｌｔｉｔｕｄｅ  ｆｌａｇ＝０）、サンプルにＡｌｔｉｔｕｄｅが存在しないことができる。サンプルにａｌｔｉｔｕｄｅが存在しない実施例については図２１の（ｃ）を参照して説明する。
【０３９４】
再度図２１の（ｃ）を参照すると、本発明の他の実施例によるＧＰＳデータを貯蔵する個別サンプルの構成を示す。図２１の（ｃ）に示されたＧＰＳデータサンプルはｌｏｎｇｉｔｕｄｅ及び／又はｌａｔｉｔｕｄｅを含むことができる。図２１の（ｃ）に示されたＧＰＳデータサンプルはａｌｔｉｔｕｄｅを含まないことができる。
【０３９５】
Ｌｏｎｇｉｔｕｄｅは地点の経度値を示す。正の値は東経（ｅａｓｔｅｒｎ  ｌｏｎｇｉｔｕｄｅ）を示し、負の値は西経（ｗｅｓｔｅｒｎ  ｌｏｎｇｉｔｕｄｅ）を示す。
【０３９６】
Ｌａｔｉｔｕｄｅは地点の緯度値を示す。正の値は北緯（ｎｏｒｔｈｅｒｎ  ｌａｔｉｔｕｄｅ）を示し、負の値は南緯（ｓｏｕｔｈｅｒｎ  ｌａｔｉｔｕｄｅ）を示す。
【０３９７】
＜ＧＰＳ情報伝達メタデータのトラックと３６０゜ビデオトラックの関係をシグナリングする方法の案＞
【０３９８】
ＧＰＳ情報に関するメタデータのトラックとこのメタデータを適用する３６０゜ビデオトラックは、以下の方法でシグナリングできる。
【０３９９】
まず、３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
【０４００】
一実施例において、１つのビデオフレーム（ｆｒａｍｅ）が１つ以上のｒｅｇｉｏｎに分かれてコーディングされ、１つ以上のトラックを通じて該当ｒｅｇｉｏｎに関するデータが伝達される場合、各トラックに関連する３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれることができる。ここで、３６０゜ビデオ関連メタデータは、図２、図３、図４及び図８などで説明した３６０゜ビデオ関連メタデータであることができる。なお、３６０゜ビデオ関連メタデータがｂｏｘ形態に含まれる場合、３６０゜ビデオ関連メタデータはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘクラスに定義できる。ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘはｏｍｖｂボックスと称される。かかる３６０ビデオ関連メタデータはファイル、フラグメント、トラック、サンプルエントリー、サンプルなどの様々なレベルに含まれて伝達でき、含まれるレベルによって該当３６０ビデオ関連メタデータは該当するレベルのデータに関するメタデータを提供することができる（トラック、ストリーム、サンプルなど）。
【０４０１】
なお、１つ以上のトラックのうち、特定のいくつかのトラックのみがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含み、その他のトラックはＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない場合、この残りのトラックがＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックにレファレンスできるようにするシグナリングが必要である。このために、ＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含まない残りのトラックのＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘにＯＭＶｉｄｅｏＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘを含むトラックを称するようにする情報を含めることができる。一実施例によれば、’ｏｍｖｂ’というｔｒａｃｋ  ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを定義し、該当ＴｒａｃｋＲｅｆｅｒｅｎｃｅＴｙｐｅＢｏｘに含まれたｔｒａｃｋ＿ＩＤｓを通じて３６０゜ビデオ関連メタデータを含むトラックを称することができる。
【０４０２】
次に、ＧＰＳ情報に関するメタデータトラックと３６０゜ビデオトラックの間の関係をシグナリングする方法の案について説明する。
【０４０３】
ＧＰＳ情報に関するメタデータトラックは３６０゜ビデオトラックとは別に貯蔵及び伝達される。即ち、ＧＰＳ情報に関するメタデータは３６０゜ビデオトラックと区別される別個のトラックで伝達される。このように、ＧＰＳ情報に関するメタデータがトラックに含まれて伝達される場合、ＧＰＳ情報に関するメタデータを含むトラックと、かかるメタデータトラックに関連する３６０゜ビデオトラックの間のレファレンスが要求されることができる。
【０４０４】
一実施例によれば、ＩＳＯＢＭＦＦのボックスのうちの１つであるＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに既に定義された’ｃｄｓｃ’ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを用いてＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
【０４０５】
他の実施例によれば、ＴｒａｃｋＲｅｆｅｒｅｎｃｅＢｏｘ（’ｔｒｅｆ’）ボックスに’ｇｐｓｄ’というｒｅｆｅｒｅｎｃｅ  ｔｙｐｅを新しく定義してＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスすることができる。
【０４０６】
上述した図２０を再度参照すると、図２０は本発明の一実施例によるｔｒｅｆボックスを示す。
【０４０７】
ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、該当ボックスに含まれたトラックと他のトラックの間のレファレンスを提供するボックスである。ＴｒａｃｋＲｅｆｅｒｅｎｃｅ（’ｔｒｅｆ’）ボックスは、所定のｒｅｆｅｒｅｎｃｅ  ｔｙｐｅと、識別子を有するトラックレファレンスタイプのボックス（ｔｒａｃｋ  ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ  ｂｏｘ）を１つ以上含むことができる。ここでは、ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅとしてｇｐｓｄが新しく定義されて使用されることができる。
【０４０８】
ｔｒａｃｋ＿ＩＤは含むトラックにおいてプレゼンテーション内の他のトラックに対する参照を提供する定数である。ｔｒａｃｋ＿ＩＤは再使用できず、０ではない。
【０４０９】
ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下の値のうち１つに設定される。また、ｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅは以下に定義されていない値に設定されることもできる。
【０４１０】
’ｈｉｎｔ’により参照されたトラックには、該当ヒント（Ｈｉｎｔ）トラックの原本メディア（ｏｒｉｇｉｎａｌ  ｍｅｄｉａ）が含まれることができる。
【０４１１】
’ｃｄｓｃ’トラックは参照されたトラックを説明する。このトラックは参照トラックに対するタイムメタデータを含むことができる。
【０４１２】
’ｆｏｎｔ’トラックは参照されたトラックにおいて伝達／定義されたフォント（ｆｏｎｔ）を使用できる。
【０４１３】
’ｈｉｎｄ’トラックは参照されたヒントトラックに依存する。即ち、このトラックは参照されたヒントトラックが使用される場合に使用可能である。
【０４１４】
’ｖｄｅｐ’トラックは参照されたビデオトラックに対する補助深さビデオ情報（ａｕｘｉｌｉａｒｙ  ｄｅｐｔｈ  ｖｉｄｅｏ  ｉｎｆｏｒｍａｔｉｏｎ）を含む。
【０４１５】
’ｖｐｌｘ’トラックは参照されたビデオトラックに対する補助時差ビデオ情報（ａｕｘｉｌｉａｒｙ  ｐａｒａｌｌａｘ  ｖｉｄｅｏ  ｉｎｆｏｒｍａｔｉｏｎ）を含む。
【０４１６】
’ｓｕｂｔ’トラックは参照されたトラック又は該当トラックが属した代替グループの全てのトラックに対する字幕、タイムテキスト及び／又はオーバーレイグラフィック情報を含む。
【０４１７】
’ｇｐｓｄ’トラックは、ＧＰＳ情報を伝達するメタデータトラックと、３６０ビデオトラックを関連付けるｒｅｆｅｒｅｎｃｅ  ｔｙｐｅである。一実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、ＧＰＳ情報を伝達するメタデータトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓは３６０ビデオトラックをレファレンスすることができる。他の実施例において、このｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを有するｔｒｅｆボックスを含むトラックは、３６０ビデオトラックであることができる。この時、ｔｒｅｆボックスに含まれたｔｒａｃｋ＿ＩＤｓはＧＰＳ情報を伝達するメタデータトラックをレファレンスすることができる。
【０４１８】
また、ＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｃｄｓｃ’が使用されることもできる。
【０４１９】
即ち、ＧＰＳ情報に関するメタデータトラックと、該当メタデータトラックに関連する３６０゜ビデオトラックの間をレファレンスするために、ｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｃｄｓｃ’又はｒｅｆｅｒｅｎｃｅ  ｔｙｐｅ’ｖｄｓｃ’が使用されることができる。
【０４２０】
本明細書に開示された方法の案は、ＩＳＯＢＭＦＦのようなｂｏｘ基盤のファイルフォーマットに基づいて３６０ビデオサービスを支援するコンテンツに対するファイルを生成するか、ＭＰＥＧ  ＤＡＳＨ上において動作可能なＤＡＳＨ  Ｓｅｇｍｅｎｔを生成するか、又はＭＰＥＧ  ＭＭＴ上において動作可能なＭＰＵを生成する場合に適用できる。また、ＤＡＳＨ  ｃｌｉｅｎｔ又はＭＭＴ  ｃｌｉｅｎｔを含む受信器は、３６０ビデオ関連メタデータ（フラッグ、パラメータなど）に基づいて、該当コンテンツを効果的にデコーディングし、ディスプレイすることができる。
【０４２１】
上述した領域情報又は視点情報に関するメタデータ及び／又はＧＰＳ情報に関するメタデータのためのサンプルエントリー及び／又はサンプル（ｅｘ．  ２ＤＲｅａｇｉｏｎＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、２ＤＰｏｉｎｔＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、３ＤＣａｒｔｅｓｉａｎＣｏｏｒｄｉｎａｔｅｓＳａｍｐｌｅＥｎｔｒｙ、ＧＰＳＳａｍｐｌｅＥｎｔｒｙ）は、１つのＩＳＯＢＭＦＦファイル、ＤＡＳＨ  Ｓｅｇｍｅｎｔ又はＭＭＴ  ＭＰＵ内の複数のボックスに同時に存在することができる。
【０４２２】
この場合、上位ボックスにて定義された領域情報又は視点情報及び／又はＧＰＳ情報に関するメタデータの値は、下位ボックスにて定義された３６０ビデオ関連フラッグ或いは３６０ビデオメタデータの値にｏｖｅｒｒｉｄｅできる。
【０４２３】
以下、図１２乃至図２０を参照して説明した領域情報又は視点情報に関するメタデータをＤＡＳＨに基づいて伝送及びシグナリングする方法の案に関する実施例を説明する。
【０４２４】
＜ＤＡＳＨを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
【０４２５】
メタデータの伝送のための別のアダプテーションセット（Ａｄａｐｔａｔｉｏｎ  Ｓｅｔ）を構成する実施例
【０４２６】
領域情報又は視点情報に関するメタデータがＤＡＳＨを通じて伝送される場合、メタデータを伝送するための別のアダプテーションセット（Ａｄａｐｔａｔｉｏｎ  Ｓｅｔ）が構成される。この場合、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔで伝送されることを識別できるシグナリングがＭＰＤに含まれる必要がある。一実施例においては、Ｒｏｌｅ  ｄｅｓｃｒｉｐｔｏｒが、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔで伝送されることを識別できるシグナリングとして使用される。
【０４２７】
既存のＭＰＤに存在するＲｏｌｅのスキーム（ｓｃｈｅｍｅ）と区分するために新しいｓｃｈｅｍｅＩｄＵｒｉ値が割り当てられることができる。一例として、Ｒｏｌｅスキームのために“ｕｒｎ：ｍｅｐｇ：ｄａｓｈ：ｒｏｌｅ：２０１Ｘ”のような新しいｓｃｈｅｍｅＩｄＵｒｉ値が割り当てられることができる。このような新しいｓｃｈｅｍｅには領域情報又は視点情報に関するメタデータであることを知らせるｖａｌｕｅとして“ｄｉｒｃ”が割り当てられることができる。なお、領域情報又は視点情報に関するメタデータであることを知らせるｖａｌｕｅとして割り当てられた“ｄｉｒｃ”は一例であり、“ｄｉｒｃ”以外の他のｖａｌｕｅが割り当てられることもできる。また、ＶＲ  ｖｉｄｅｏ或いは３６０ビデオを伝送するＡｄａｐｔａｔｉｏｎ  Ｓｅｔの場合、ｖａｌｕｅに“ｍａｉｎ”が割り当てられることができる。
【０４２８】
一方、ＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されることができる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のＩＤ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”を割り当てることができる。ここで、“ｄｉｒｃ”は領域情報又は視点情報に関するメタデータであることを示す値に新しく定義されたものである。この方法はＤＡＳＨだけではなく、ＩＳＯ  ＢＭＦＦ（ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔ）のトラック（ｔｒａｃｋ）の間の関係表現のためにも使用できる。即ち、同一の目的のためにａｓｓｏｃｉａｔｉｏｎＩｄの代わりに’ｔｒｅｆ’ボックスのｔｒａｃｋ＿ＩＤＳを使用し、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅの代わりに’ｔｒｅｆ’ボックスのｒｅｆｅｒｅｎｃｅ＿ｔｙｐｅを使用することができる。
【０４２９】
図２２は本発明の一実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【０４３０】
図２２を参照すると、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔで伝送されることを識別できるシグナリングがＭＰＤに含まれている。
【０４３１】
また、図２２の実施例において、Ｒｏｌｅ  ｄｅｓｃｒｉｐｔｏｒが、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔで伝送されることを識別できるシグナリングとして使用されている。
【０４３２】
図２２の実施例においては、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔで伝送されることを識別するために、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１Ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられたことを確認できる（Ｈ２２０２０）。また、ＶＲ  ｖｉｄｅｏを伝送するＡｄａｐｔａｔｉｏｎ  Ｓｅｔの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ”が割り当てられたことを確認することができる（Ｈ２２０１０）。
【０４３３】
また、図２２の実施例において、ＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されたことを確認することができる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｉｄ＝“ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ”）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のｉｄ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”が割り当てられている（Ｈ２２０３０）。
【０４３４】
図２２の実施例のように、領域情報又は視点情報に関するメタデータが伝送されることをシグナリングするために新しいＲｏｌｅ  ｓｃｈｅｍｅを定義できる。一方、領域情報又は視点情報に関するメタデータが伝送されることをシグナリングするために、既存のＲｏｌｅ  ｓｃｈｅｍｅと互換可能な方法を使用できる。
【０４３５】
図２３は本発明の他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【０４３６】
図２３を参照すると、領域情報又は視点情報に関するメタデータが別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔに伝送されることを識別できるシグナリングがＭＰＤに含まれている。
【０４３７】
図２３を参照すると、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられたことを確認できる（Ｈ２３０２０）。また、ＶＲ  ｖｉｄｅｏを伝送するＡｄａｐｔａｔｉｏｎ  Ｓｅｔの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ”が割り当てられたことを確認できる（Ｈ２３０１０）。即ち、図２３の実施例は、既存のｍｅｔａｄａｔａを伝送するＡｄａｐｔａｔｉｏｎ  Ｓｅｔの識別方法（Ｒｏｌｅ＠ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”、ｖａｌｕｅ＝“ｍｅｔａｄａｔａ”）を領域情報又は視点情報に関するメタデータを伝送するＡｄａｐｔａｔｉｏｎ  Ｓｅｔの識別に適用した実施例であると言える。
【０４３８】
また、図２３の実施例において、ＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）と領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）の関係をシグナリングするために、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄ及びａｓｓｏｃｉａｔｉｏｎＴｙｐｅが使用されることを確認できる。領域情報又は視点情報に関するメタデータを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ＩＤ＝“ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ”）は、ａｓｓｏｓｉｃａｔｉｏｎＩｄに該当メタデータが適用されるＶＲ  ｖｉｄｅｏを伝送するレプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）のｉｄ（“ＶＲ＿ｖｉｄｅｏ”）を称しており、ａｓｓｏｃｉａｔｉｏｎＴｙｐｅに“ｄｉｒｃ”が割り当てられている（Ｈ２３０３０）。
【０４３９】
以下、図２２及び図２３を参照して説明した別のＡｄａｐｔａｔｉｏｎ  Ｓｅｔにより、領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
【０４４０】
図２４は本発明の一実施例による受信器を示すブロック図である。
【０４４１】
図２４を参照すると、本発明の一実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ  ｃｌｉｅｎｔ、ｈ２４０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ  ｐａｒｓｅｒ、Ｈ２４０３０）、ビデオデコーダー（ｖｉｄｅｏ  ｄｅｃｏｄｅｒ、Ｈ２４０４０）、ＤＩＲＣパーサー（ＤＩＲＣ  ｐａｒｓｅｒ、Ｈ２４０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）を含む。
【０４４２】
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ  ｓｅｒｖｅｒ、Ｈ２４０１０）から提供されて、ＤＡＳＨクライアント（Ｈ２４０２０）が受信する。この時、受信器のＤＡＳＨクライアント（Ｈ２４０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２４０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２４０２０）はＤＡＳＨサーバ（Ｈ２４０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２４０２０）は受信したパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
【０４４３】
ＤＡＳＨクライアント（Ｈ２４０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２４０２０）は、図２２及び図２３で説明した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２４０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）、及び／又はコンテンツの使用目的によってＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２４０３０）に伝達される。
【０４４４】
セグメントパーサー（Ｈ２４０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２４０４０）及びＤＩＲＣパーサー（Ｈ２４０５０）に伝達する。なお、セグメントパーサー（Ｈ２００３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２４０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
【０４４５】
ビデオデコーダー（Ｈ２４０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）に伝達できる。
【０４４６】
ＤＩＲＣパーサー（Ｈ２４０５０）は、ＤＩＲＣ  ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）に伝達できる。
【０４４７】
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）には、ビデオデコーダー（Ｈ２４０４０）からビデオストリームが伝達され、ＤＩＲＣ  Ｐａｒｓｅｒ（Ｈ２４０５０）には、ＤＩＲＣ  ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２４０６０）が、ＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ  ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
【０４４８】
図２５は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【０４４９】
図２５に示された実施例は、上述した図２２及び図２３の実施例とは異なり、ＶＲビデオが２以上の空間領域で構成され、２以上の空間領域に区画されたＶＲビデオが２以上のアダプテーションセットを通じて伝送される実施例に関する。図２５の具体的な例において、ＶＲビデオは左側空間領域と右側空間領域に区画され、左側空間領域と右側空間領域は各々ＶＲ  ｖｉｄｅｏ  ｔｉｌｅに該当する。なお、２つのＶＲ  ｖｉｄｅｏ  ｔｉｌｅは各々２つのアダプテーションセットに該当する。２つのＶＲ  ｖｉｄｅｏ  ｔｉｌｅの空間的関係は、ＳＲＤ（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ＠ｓｃｈｅｍｅＩｄＵｒｉ＝“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ  ：ｓｒｄ：２０１４”）を通じて記述される。より具体的には、左側空間領域に該当するＶＲ  ｖｉｄｅｏ  ｔｉｌｅの空間的情報は、＜ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝"ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４"  ｖａｌｕｅ＝"１、０、０、１９２０、１９２０、３８４０、１９２０、０"／＞で記述され（Ｈ２５０１０）、右側空間領域に該当するＶＲ  ｖｉｄｅｏ  ｔｉｌｅの空間的情報は＜ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ  ｓｃｈｅｍｅＩｄＵｒｉ＝"ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｓｒｄ：２０１４"  ｖａｌｕｅ＝"１、０、１９２０、１９２０、１９２０、３８４０、１９２０、０"／＞で記述される（Ｈ２５０２０）。
【０４５０】
また、領域情報又は視点情報に関するメタデータは、図２２及び図２３の実施例と同様に、Ｒｏｌｅ＠ｖａｌｕｅ＝“ｄｉｒｃ”又は“ｍｅｔａｄａｔａ”を通じて識別できる。この実施例は、図２２の実施例のように、新しいＲｏｌｅ  ｓｃｈｅｍｅを定義し、Ｒｏｌｅ＠ｖａｌｕｅ＝“ｄｉｒｃ”に割り当てて領域情報又は視点情報に関するメタデータを識別する方法を使用している（Ｈ２５０３０）。
【０４５１】
また、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ＠ａｓｓｏｃｉａｔｉｏｎＩｄは、２つ以上の空間領域に区画されたＶＲ  ｖｉｄｅｏ  ｔｉｌｅのＲｅｐｒｅｓｅｎｔａｔｉｏｎ又は１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ（ｂａｓｅ  ｔｉｌｅ  ｔｒａｃｋを伝送するＲｅｐｒｅｓｅｎｔａｔｉｏｎ）を指示することができる。この実施例は２つの空間領域に区画されたＶＲ  ｖｉｄｅｏ  ｔｉｌｅ１及びＶＲ  ｖｉｄｅｏ  ｔｉｌｅ２を指示している（Ｈ２５０４０）。
【０４５２】
以下、図２５に説明するＶＲビデオが２以上の空間領域で構成され、２以上の空間領域に区画されたＶＲビデオが２以上のアダプテーションセットを通じて伝送される実施例において、領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
【０４５３】
図２６は本発明の他の実施例による受信器を示すブロック図である。
【０４５４】
図２６を参照すると、本発明の他の実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ  ｃｌｉｅｎｔ、Ｈ２６０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ  ｐａｒｓｅｒ、Ｈ２６０３０）、ビデオデコーダー（ｖｉｄｅｏ  ｄｅｃｏｄｅｒ、Ｈ２６０４０）、ＤＩＲＣパーサー（ＤＩＲＣ  ｐａｒｓｅｒ、Ｈ２６０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）を含む。
【０４５５】
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ  ｓｅｒｖｅｒ、Ｈ２６０１０）から提供されてＤＡＳＨクライアント（Ｈ２６０２０）が受信できる。この時、受信器のＤＡＳＨクライアント（Ｈ２６０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２６０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２６０２０）は、ＤＡＳＨサーバ（Ｈ２６０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２６０２０）は、受信されたパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
【０４５６】
図２６の実施例において、ＤＡＳＨサーバ（Ｈ２６０１０）から伝送されるデータパケットは、全体ＶＲビデオの一部空間領域（ｅｘ．ＶＲ  ｖｉｄｅｏ  ｔｉｌｅ）に該当することができる。即ち、ＤＡＳＨサーバ（Ｈ２６０１０）から伝送されるＶＲ  ｖｉｄｅｏ  ｃｏｎｔｅｎｔは、ユーザの初期視点を含む一部空間領域（ｔｉｌｅ）に該当するか或いは後述するＤＩＲＣパーサー（Ｈ２６０５０）から伝達される情報（ＤＩＲＣ  ｉｎｆｏ．）が指示するプロデューサーの意図視点又は領域を含む一部空間領域（ｔｉｌｅ）に該当することができる。
【０４５７】
ＤＡＳＨクライアント（Ｈ２６０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２６０２０）は、図２４に示した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２６０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的に応じてＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか或いは目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２６０３０）に伝達できる。
【０４５８】
セグメントパーサー（Ｈ２６０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２６０４０）及びＤＩＲＣパーサー（Ｈ２６０５０）に伝達する。なお、セグメントパーサー（Ｈ２６０３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２６０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
【０４５９】
ビデオデコーダー（Ｈ２６０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）に伝達する。
【０４６０】
ＤＩＲＣパーサー（Ｈ２６０５０）は、ＤＩＲＣ  ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）に伝達する。
【０４６１】
また、ＤＩＲＣパーサー（Ｈ２６０５０）は、パーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をＤＡＳＨクライアント（Ｈ２６０１０）に伝達する。ＤＡＳＨクライアント（Ｈ２６０１０）に伝達された情報（ＤＩＲＣ  ｉｎｆｏ．）は、ＤＡＳＨクライアント（Ｈ２６０１０）がプロデューサーの意図視点又は領域を含む一部空間領域（ｔｉｌｅ）に該当するアダプテーションセット（ａｄａｐｔａｔｉｏｎ  ｓｅｔ）を選択するために使用される。
【０４６２】
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）にはビデオデコーダー（Ｈ２６０４０）からビデオストリームが伝達され、ＤＩＲＣ  Ｐａｒｓｅｒ（Ｈ２６０５０）にはＤＩＲＣ  ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２６０６０）はＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、ｈ２６０６０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ  ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
【０４６３】
図２４乃至図２６に説明した実施例は、ＶＲビデオを伝送及びシグナリングするアダプテーションセットと、メタデータを伝送及びシグナリングするアダプテーションセットが個々に存在する実施例に関する。
【０４６４】
以下、図２７乃至図２９を参照して、１つのアダプテーションセット内にＶＲビデオとメタデータを共に伝送及びシグナリングする実施例について説明する。
【０４６５】
１つのＡｄａｐｔａｔｉｏｎ  Ｓｅｔ内のビデオとメタデータを伝送する実施例
【０４６６】
視点情報又は領域情報に関するメタデータは、図２２乃至図２６に説明した場合とは異なり、１つのＡｄａｐｔａｔｉｏｎ  Ｓｅｔ内でＶＲ  ｖｉｄｅｏと共に伝送されることができる。この場合、ビデオデータとメタデータは１つのファイル（Ｓｅｇｍｅｎｔ又はＩＳＯ  ＢＭＦＦ）を通じて伝送できる。より具体的には、実施例において、ＶＲビデオとメタデータは１つのファイル内で個々のトラックで構成されることができ、メタデータが含まれた１つのビデオトラックで構成されることもできる。
【０４６７】
以下、ＶＲビデオとメタデータが１つのファイル内で個々のトラックで構成される実施例と、メタデータが含まれた１つのビデオトラックで構成される実施例について順に説明する。
【０４６８】
図２７は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【０４６９】
図２７の実施例は、ＶＲビデオと領域情報又は視点情報に関するメタデータが個々のトラックで構成される実施例を示す。ＶＲビデオと領域情報又は視点情報に関するメタデータは、１つのアダプテーションセット（Ａｄａｐｔａｔｉｏｎ  Ｓｅｔ）及び１つのファイル内に個々のトラックで構成されて伝送される。
【０４７０】
図２７の実施例において、ＶＲビデオトラックとメタデータトラックは、ＭＰＤ内でＡｄａｐｔａｔｉｏｎｓｅｔ下位のＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔで識別でき、各々“ｖｉｄｅｏ”、“ａｐｐｌｉｃａｔｉｏｎ”のｃｏｎｔｅｎｔＴｙｐｅを有する（Ｈ２７０１０、Ｈ２７０２０）。各々のＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔは下位要素としてＲｏｌｅを有し、Ｒｏｌｅは上述した個々のＡｄｐａｔａｔｉｏｎ  Ｓｅｔを通じたメタデータ伝送と同様の方法で、ＶＲビデオ及び／又はメタデータ（領域情報又は視点情報に関するメタデータ）の伝送有無を識別可能にする。即ち、ＶＲ  ｖｉｄｅｏの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられる。また、領域情報又は視点情報に関するメタデータの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられるか、或いはＲｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられることができる。
【０４７１】
図２７の実施例の場合、ＶＲ  ｖｉｄｅｏについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられ（Ｈ２７０３０）、領域情報又は視点情報に関するメタデータについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられる（Ｈ２７０４０）。
【０４７２】
図２８は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータの伝送をシグナリングするＭＰＤを示す図である。
【０４７３】
図２８の実施例は、ＶＲビデオと領域情報又は視点情報に関するメタデータが１つのトラックで構成されるものである。ＶＲビデオと領域情報又は視点情報に関するメタデータは、１つのアダプテーションセット（Ａｄａｐｔａｔｉｏｎ  Ｓｅｔ）及び１つのファイル内に１つのトラックで構成されて伝送される。
【０４７４】
１つのファイルには基本的に１つのビデオトラックが存在する。領域情報又は視点情報に関するメタデータは、ｓａｍｐｌｅ  ｇｒｏｕｐ  ｄｅｓｃｒｉｐｔｉｏｎのようにトラックに付属するメタデータの形態で貯蔵される。この場合、ＭＰＤにはビデオとメタデータを含む１つのＡｄａｐｔａｔｉｏｎ  Ｓｅｔが存在し、２つのＲｏｌｅが存在して、該２つのＲｏｌｅが各々ビデオとメタデータの伝送有無を識別可能にする。即ち、ＶＲ  ｖｉｄｅｏの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられる。また、領域情報又は視点情報に関するメタデータの場合、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられるか、或いはＲｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍｅｔａｄａｔａ”が割り当てられることができる。
【０４７５】
なお、図２８の実施例の場合、図２７の実施例とは異なり、アダプテーションセットの下位にＶＲビデオ及びメタデータを識別するためにＣｏｎｔｅｎｔＣｏｍｐｏｎｅｎｔが存在しない。
【０４７６】
図２８の実施例の場合、ＶＲ  ｖｉｄｅｏについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１１”が割り当てられ、ｖａｌｕｅに“ｍａｉｎ’が割り当てられ（Ｈ２８０３０）、領域情報又は視点情報に関するメタデータについては、Ｒｏｌｅスキームに“ｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｒｏｌｅ：２０１ｘ”が割り当てられ、ｖａｌｕｅに“ｄｉｒｃ”が割り当てられる（Ｈ２８０４０）。
【０４７７】
以下、図２７及び図２８に説明した１つのＡｄａｐｔａｔｉｏｎ  Ｓｅｔにより領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連した受信器の動作について説明する。
【０４７８】
図２９は本発明のさらに他の実施例による受信器を示すブロック図である。
【０４７９】
図２９を参照すると、本発明のさらに他の実施例による受信器は、ＤＡＳＨクライアント（ＤＡＳＨ  ｃｌｉｅｎｔ、Ｈ２９０２０）、セグメントパーサー（Ｓｅｇｍｅｎｔ  ｐａｒｓｅｒ、Ｈ２９０３０）、ビデオデコーダー（ｖｉｄｅｏ  ｄｅｃｏｄｅｒ、Ｇ２９０４０）、ＤＩＲＣパーサー（ＤＩＲＣ  ｐａｒｓｅｒ、Ｇ２９０５０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｇ２９０６０）を含む。
【０４８０】
ＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＤＡＳＨサーバ（ＤＡＳＨ  ｓｅｒｖｅｒ、Ｈ２９０１０）から提供されて、ＤＡＳＨクライアント（Ｈ２９０２０）が受信する。この時、受信器のＤＡＳＨクライアント（Ｈ２９０２０）は、データパケット形態のＶＲコンテンツ、ＭＰＤ及び／又は領域情報又は視点情報に関するメタデータをＤＡＳＨサーバ（Ｈ２９０１０）から受信できる。ＤＡＳＨクライアント（Ｈ２９０２０）は、ＤＡＳＨサーバ（Ｈ２９０１０）にＭＰＤ、ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを要求できる。ＤＡＳＨクライアント（Ｈ２９０２０）は、受信されたパケットからＭＰＤとＳｅｇｍｅｎｔを生成できる。
【０４８１】
ＤＡＳＨクライアント（Ｈ２９０２０）は、受信されたＭＰＤをパーシングしてコンテンツ（ＶＲコンテンツ）に関する情報を得る。この時、ＤＡＳＨクライアント（Ｈ２９０２０）は、図２７及び図２８に示した領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットに関するシグナリングにより領域情報又は視点情報に関するメタデータの有無を識別できる。また、ＤＡＳＨクライアント（Ｈ２９０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的によって、ＤＩＲＣパーサー及びＤＩＲＣのためのセグメントパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータが伝送されるアダプテーションセットは使用されないことができる（ｓｋｉｐ）。なお、セグメントはセグメントパーサー（Ｈ２９０３０）に伝達されることができる。
【０４８２】
セグメントパーサー（Ｈ２９０３０）は、受信されたセグメントをパーシングして、ビデオビットストリーム及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ２９０４０）及びＤＩＲＣパーサー（Ｈ２９０５０）に伝達する。なお、セグメントパーサー（Ｈ２９０３０）は、パーシング対象により機能的に区分される。即ち、セグメントパーサー（Ｈ２９０３０）は、ビデオのためのセグメントをパーシングするセグメントパーサーと、領域情報又は視点情報に関するメタデータのためのセグメントパーサーに区分される。
【０４８３】
ビデオデコーダー（Ｈ２９０４０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）に伝達できる。
【０４８４】
ＤＩＲＣパーサー（Ｈ２９０５０）は、ＤＩＲＣ  ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）に伝達できる。
【０４８５】
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）にはビデオデコーダー（Ｈ２９０４０）からビデオストリームが伝達され、ＤＩＲＣ  Ｐａｒｓｅｒ（Ｈ２９０５０）にはＤＩＲＣ  ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）はＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供できる。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ２９０６０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ  ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
【０４８６】
＜ＭＰＥＧ−２  ＴＳを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
【０４８７】
図１２乃至図２０に説明した領域情報又は視点情報に関するメタデータは、ＭＰＥＧ−２  ＴＳを通じて伝送されることもできる。より具体的には、領域情報又は視点情報に関するメタデータは、ＰＥＳ  ｐａｃｋｅｔ（ｐａｃｋｅｔｉｚｅｄ  ｅｌｅｍｅｎｔａｒｙ  ｓｔｒｅａｍ  Ｐａｃｋｅｔ）を通じて伝送されるか、或いはＴＳ（ｔｒａｎｓｐｏｒｔ  ｓｔｒｅａｍ）のＡｄａｐｔａｔｉｏｎ  Ｆｉｅｌｄを通じて伝送される。
【０４８８】
以下、領域情報又は視点情報に関するメタデータが固有のＰＩＤを有するＰＥＳ  Ｐａｃｋｅｔを通じて伝送される実施例及びＴＳのＡｄａｐｔａｔｉｏｎ  Ｆｉｅｌｄを通じて伝送される実施例について順に説明する。
【０４８９】
ＰＥＳで伝送する実施例
【０４９０】
一実施例によれば、領域情報又は視点情報に関するメタデータは以下のような方式でＰＥＳパケットを通じて伝送される。領域情報又は視点情報に関するメタデータを含むＰＥＳパケットのストリーム識別子（ｓｔｒｅａｍ＿ｉｄ）がｐｒｉｖａｔｅ  ｓｔｒｅａｍを指示するように設定され、該当ｐｒｉｖａｔｅ  ｓｔｒｅａｍのストリームタイプ（ｓｔｒｅａｍ＿ｔｙｐｅ）が領域情報又は視点情報に関するメタデータストリームを指示するように設定される。
【０４９１】
図３０はストリーム識別子と該ストリーム識別子に割り当てられたストリームの情報を示す図であり、図３１はストリームタイプと当ストリームタイプに割り当てられたストリームの情報の一部を示す図であり、図３２はＰＥＳ  Ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ  ｕｎｉｔを示す図である。
【０４９２】
まず、図３０を参照すると、ｓｔｒｅａｍ＿ｉｄが’１０１１  １１０１’である場合、該当ストリームはｐｒｉｖａｔｅ＿ｓｔｒｅａｍ＿１を識別する。ｓｔｒｅａｍ＿ｉｄ＝’１０１１  １１０１’である場合であって、ｓｔｒｅａｍ＿ｔｙｐｅが’０ｘ２７’である場合、該当ストリームは領域情報又は視点情報に関するメタデータに関連するストリーム（ＶＲ  Ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｔｒｅａｍ）に該当する（図２６のｎｏｔｅ１１を参照）。また、図３１を参照すると、ｓｔｒｅａｍ＿ｔｙｐｅが’０ｘ２７’である場合、該当ストリームが領域情報又は視点情報に関するメタデータに関連するストリーム（ＶＲ  Ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ  ｉｎｆｏｒｍａｔｉｏｎ  ｓｔｒｅａｍ）に該当することを指示していることを確認できる。
【０４９３】
次に、図３２を参照すると、１つ以上のＰＥＳ  Ｐａｃｋｅｔを通じて伝送されるａｃｃｅｓｓ  ｕｎｉｔの構成が示されている。図３２のａｃｃｅｓｓ  ｕｎｉｔ（ＶＤＣＩ＿ＡＵ）は、ｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）を含み、ｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）は領域情報又は視点情報に関するメタデータを含むことができる。このｖｄｃｉ＿ｄｅｓｃｒｉｐｔｏｒ（）については後述する。
【０４９４】
Ａｄａｐｔａｔｉｏｎ  Ｆｉｌｅｄ内に伝送する実施例
【０４９５】
一実施例によれば、領域情報又は視点情報に関するメタデータは以下のような方式でＴＳのａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄを通じて伝送される。領域情報又は視点情報に関するメタデータがａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄに含まれて伝送される場合、ｆｌａｇフィールドにより領域情報又は視点情報に関するメタデータを含むディスクリプターの有無を指示でき、該当ｆｌａｇフィールドが領域情報又は視点情報に関するメタデータを含むディスクリプターの存在を指示する場合、領域情報又は視点情報に関するメタデータを含むディスクリプターはａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄに含まれることができる。
【０４９６】
図３３は本発明の一実施例によるａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄを示す図である。
【０４９７】
図３３を参照すると、ａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄはｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇを含む。ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇはｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）の存在有無を識別する。図３３の実施例において、ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ＿ｎｏｔ＿ｐｒｅｓｅｎｔ＿ｆｌａｇが０に設定される場合、ａｄａｐｔａｉｏｎ＿ｆｉｌｅｄ（）内にｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）が存在することになる。
【０４９８】
ＴＳのコンポーネントが領域情報又は視点情報に関するメタデータをＡｄａｐｔａｔｉｏｎ  Ｆｉｅｌｄ内に含むことができるか否かは、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを通じて識別可能である。ｅｘｔｅｎｓｉｏｎ＿ｄｅｓｃｒｏｐｔｏｒ＿ｔａｇが既に設定された値に割り当てられた場合、該当コンポーネントのａｄａｐｔａｔｉｏｎ  ｆｉｅｌｄが領域情報又は視点情報に関するメタデータに対するディスクリプターを含めることを指示できる。
【０４９９】
図３４は本発明の一実施例によるｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを示す図であり、図３５はｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒに含まれるｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇのｖａｌｕｅと、このｖａｌｕｅに該当する説明を示す図であり、図３６は本発明の一実施例によるｖｄｃｉ  ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを示す図である。
【０５００】
まず、図３４を参照すると、本発明の一実施例によるｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒは、ｄｅｓｃｒｉｐｔｏｒ  ｔａｇ、ｄｅｓｃｒｉｐｔｏｒ  ｌｅｎｇｔｈ及びｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇを含み、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇの値（ｖａｌｕｅ）によってディスクリプターを含むことができる。
【０５０１】
ｄｅｓｃｒｉｐｔｏｒ  ｔａｇはこのディスクリプターを識別できる。図３４の実施例において、ｄｅｓｃｒｉｐｔｏｒ  ｔａｇはｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを識別する値に設定される。具体的には、実施例において、ｄｅｓｃｒｉｐｔｏｒ  ｔａｇはｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒを指示するために’６３’に設定される。但し、ｄｅｓｃｒｉｐｔｏｒ  ｔａｇの具体的な値は実施例によって異なる。
【０５０２】
ｄｅｓｃｒｉｐｔｏｒ  ｌｅｎｇｔｈは該当ディスクリプターの長さをバイト単位で記述できる。
【０５０３】
ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇはエクステンションディスクリプター（ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ）に含まれる具体的なディスクリプターを識別できる。
【０５０４】
図３５を参照すると、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇのｖａｌｕｅによってｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒに含まれる具体的なディスクリプターが何であるかが示されている。図３４及び図３５に示したように、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇが０ｘ０２である場合、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒはＯｂｊｅｃｔＤｅｓｃｒｉｐｔｏｒＵｐｄａｔｅ  ｄｅｓｃｒｉｐｔｏｒを含むことができ、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇが０ｘ０３である場合、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒはＨＥＶＣ＿ｔｉｍｉｎｇ＿ａｎｄ＿ＨＲＤ＿ｄｅｓｃｒｉｐｔｏｒを含むことができ、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇが０ｘ０４である場合、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒはａｆ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒを含むことができ、またｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒ  ｔａｇが０ｘ０５である場合は、ｅｘｔｅｎｓｉｏｎ  ｄｅｓｃｒｉｐｔｏｒはｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒを含むことができる。
【０５０５】
図３６を参照すると、本発明の一実施例によるｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒが示されている。
【０５０６】
本発明の一実施例によるｖｄｃｉ＿ｅｘｔｅｎｓｔｉｏｎｓ＿ｄｅｓｃｒｉｐｔｏｒは、ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒ  ｔｙｐｅを含むことができる。
【０５０７】
ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒ  ｔｙｐｅは後述するｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒの種類やタイプを指示できる。一例として、ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒ  ｔｙｐｅが’０ｘ０１’である場合、ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒは２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）であり、ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒ  ｔｙｐｅは’０ｘ０２’である場合は、ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒはｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）であることができる。
【０５０８】
図３７乃至図３８は本発明の一実施例によるｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒを示す。
【０５０９】
より具体的には、図３７は本発明の一実施例による２Ｄ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒを示し、図３８は本発明の一実施例によるｓｐｈｒｅｃａｌ  ｖｃｄｉ  ｄｅｓｃｒｉｐｔｏｒを示す。
【０５１０】
まず、図３７を参照すると、本発明の一実施例による２Ｄ  ｖｃｄｉ  ｄｅｓｃｒｉｐｔｏｒが示されている。
【０５１１】
２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは、２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇ、２Ｄ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｔｏｐ＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ、ｎｅｘｔ＿ｈｅｉｇｈｔ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
【０５１２】
２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇは、固有の値を割り当てて２Ｄｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒを識別できる。
【０５１３】
２Ｄ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈは、２Ｄｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒの長さをバイト数で示すことができる。
【０５１４】
ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇは、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ及びｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔフィールドの有無を指示できる。一実施例において、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇが１に設定される場合、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ及びｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔフィールドが存在することを示す。
【０５１５】
ｄｕｒａｔｉｏｎ＿ｆｌａｇは、ｄｕｒａｔｉｏｎフィールドの有無を指示できる。一実施例において、ｄｕｒａｔｉｏｎ＿ｆｌａｇが１に設定される場合、ｄｕｒａｔｉｏｎフィールドが存在することを示す。
【０５１６】
ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇは、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ及びｎｅｘｔ＿ｈｅｉｇｈｔフィールドの有無を指示できる。一実施例において、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇが１に設定される場合、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ及びｎｅｘｔ＿ｈｅｉｇｈｔフィールドが存在することを示す。
【０５１７】
ｄｕｒａｔｉｏｎは現在領域の持続時間を示す。他の実施例において、ｄｕｒａｔｉｏｎは現在の領域の表現時間と次の領域の表現時間の差を示すことができる。
【０５１８】
ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈは２Ｄ空間における横サイズを示す。この時、２Ｄ空間の横サイズはピクセルの数で表現できる。
【０５１９】
ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔは２Ｄ空間における縦サイズを示す。この時、２Ｄ空間の縦サイズはピクセルの数で表現できる。
【０５２０】
ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする領域の左上端の地点の横座標を示す。
【０５２１】
ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする領域の左上端の地点の縦座標を示す。
【０５２２】
ｗｉｄｔｈは表現しようとする領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
【０５２３】
ｈｅｉｇｈｔは表現しようとする領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
【０５２４】
ｉｎｔｅｒｐｏｌａｔｅは、以前の領域と現在の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、以前の領域と現在の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０５２５】
ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘは表現しようとする次の領域の左上端の地点の横座標を示す。
【０５２６】
ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙは表現しようとする次の領域の左上端の地点の縦座標を示す。
【０５２７】
ｎｅｘｔ＿ｗｉｄｔｈは表現しようとする次の領域の横サイズを示す。この時、表現しようとする領域の横サイズはピクセルの数で表現できる。
【０５２８】
ｎｅｘｔ＿ｈｅｉｇｈｔは表現しようとする次の領域の縦サイズを示す。この時、表現しようとする領域の縦サイズはピクセルの数で表現できる。
【０５２９】
ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅは、現在の領域と次の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅ  が１に設定される場合、現在の領域と次の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０５３０】
次に、図３８を参照すると、本発明の一実施例によるｓｐｈｅｒｉｃａｌ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒが示されている。
【０５３１】
ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは、ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇ、ｓｐｈｅｒｉｃａｌ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈ、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
【０５３２】
ｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒ＿ｔａｇは固有の値を割り当ててｓｐｈｅｒｉｃａｌ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒを識別することができる。
【０５３３】
ｓｐｈｅｒｉｃａｌ＿ｖｄｃｉ＿ｄｅｓｃｒ＿ｌｅｎｇｔｈはｓｐｈｅｒｉｃａｌ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒの長さをバイトの数で表すことができる。
【０５３４】
ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇはｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈフィールドの有無を指示できる。一実施例において、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇが１に設定される場合、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈフィールドが存在することを示す。
【０５３５】
ｄｕｒａｔｉｏｎ＿ｆｌａｇはｄｕｒａｔｉｏｎフィールドの有無を指示できる。一実施例において、ｄｕｒａｔｉｏｎ＿ｆｌａｇが１に設定される場合  ｄｕｒａｔｉｏｎフィールドが存在することを示す。
【０５３６】
ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇはｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅフィールドの有無を指示できる。一実施例において、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇが１に設定される場合、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及びｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅフィールドが存在することを示す。
【０５３７】
ｄｕｒａｔｉｏｎは現在の領域の持続時間を示す。又は現在の領域の表現時間と次の領域の表現時間の差を示す。
【０５３８】
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗは３Ｄ空間のｙａｗ  ａｘｉｓに対する回転量の最小値を示す。
【０５３９】
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗは３Ｄ空間のｙａｗ  ａｘｉｓに対する回転量の最大値を示す。
【０５４０】
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈは３Ｄ空間のｐｉｔｃｈ  ａｘｉｓに対する回転量の最小値を示す。
【０５４１】
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは３Ｄ空間のｐｉｔｃｈ  ａｘｉｓに対する回転量の最大値を示す。
【０５４２】
ｙａｗは表現しようとする領域のｙａｗ  ａｘｉｓに対する回転量を示す。
【０５４３】
ｐｉｔｃｈは表現しようとする領域のｐｉｔｃｈ  ａｘｉｓに対する回転量を示す。
【０５４４】
ｒｏｌｌは表現しようとする領域のｒｏｌｌ  ａｘｉｓに対する回転量を示す。
【０５４５】
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする領域の視野範囲（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。
【０５４６】
ｉｎｔｅｒｐｏｌａｔｅは、以前の領域と現在の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、以前の領域と現在の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０５４７】
ｎｅｘｔ＿ｙａｗは表現しようとする次の領域のｙａｗ  ａｘｉｓに対する回転量を示す。
【０５４８】
ｎｅｘｔ＿ｐｉｔｃｈは表現しようとする次の領域のｐｉｔｃｈ  ａｘｉｓに対する回転量を示す。
【０５４９】
ｎｅｘｔ＿ｒｏｌｌは表現しようとする次の領域のｒｏｌｌ  ａｘｉｓに対する回転量を示す。
【０５５０】
ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは表現しようとする次の領域の視野範囲（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）を示す。
【０５５１】
ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅは現在の領域と次の領域の間の値を線形補間値で埋めるか否かを指示できる。一実施例において、ｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅが１に設定される場合、現在の領域と次の領域の間の値は線形補間値（ｌｉｎｅａｒｌｙ  ｉｎｔｅｒｐｏｌａｔｅｄ  ｖａｌｕｅｓ）で埋めることができる。
【０５５２】
一方、図３７及び図３８に示された２Ｄ  ｖｄｃｉ  ｄｅｓｃｒｉｐｔｏｒ及びｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒは各々、２Ｄ空間における領域情報又は視点情報に関するメタデータ及び３Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例であり、図１２乃至図２０に説明されたメタデータ情報が選択的にディスクリプターに含まれることができ、このディスクリプターに含まれた情報が選択的に省略されることもできる。
【０５５３】
以下、図２９乃至図３８に説明したＭＰＥＧ−２  ＴＳにより領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
【０５５４】
図３９は本発明のさらに他の実施例による受信器を示すブロック図である。
【０５５５】
図３９を参照すると、本発明のさらに他の実施例による受信器は、ＭＰＥＧ−２  ＴＳ  レシーバー（ＭＰＥＧ−２  ＴＳ  ｒｅｃｅｉｖｅｒ、Ｈ３９０２０）、ビデオデコーダー（ｖｉｄｅｏ  ｄｅｃｏｄｅｒ、Ｈ３９０３０）、ＤＩＲＣパーサー（ＤＩＲＣ  ｐａｒｓｅｒ、Ｈ３９０４０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）を含む。
【０５５６】
ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータは、ＭＰＥＧ−２  ＴＳ  トランスミッター（ＭＰＥＧ−２  ＴＳ  ｔｒａｎｓｍｉｔｔｅｒ、Ｈ３９０１０）から提供されてＭＰＥＧ−２  ＴＳレシーバー（ＭＰＥＧ−２  ＴＳ  ｒｅｃｅｉｖｅｒ、Ｈ３９０２０）が受信できる。この時、受信器のＭＰＥＧ−２  ＴＳレシーバー（Ｈ３９０２０）は、ＭＰＥＧ−２  ＴＳパケット形態のＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータをＭＰＥＧ−２  ＴＳトランスミッター（Ｈ３９０１０）から受信できる。ＭＰＥＧ−２  ＴＳレシーバー（Ｈ３９０２０）は、受信されたＭＰＥＧ−２  ＴＳパケットを解釈してビデオストリーム（Ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍ）及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を生成できる。
【０５５７】
この時、ＭＰＥＧ−２  ＴＳレシーバー（Ｈ３９０２０）は、上述したＰＥＳ又はＡｄａｐｔａｔｉｏｎ  Ｆｉｅｌｄを通じて伝送される領域情報又は視点情報に関するメタデータ識別方法を通じて該当メタデータの存在有無を識別できる。
【０５５８】
また、ＭＰＥＧ−２  ＴＳレシーバー（Ｈ３９０２０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）及び／又はコンテンツの使用目的によってＤＩＲＣパーサーを活性化できる（図面の点線を参照）。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか、目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータは使用されないことができる（ｓｋｉｐ）。なお、ＭＰＥＧ−２  ＴＳレシーバー（Ｈ３９０２０）は、ビデオストリーム（Ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍ）及び領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を各々ビデオデコーダー（Ｈ３９０３０）とＤＩＲＣパーサー（Ｈ３９０４０）に伝達できる。
【０５５９】
ビデオデコーダー（Ｈ３９０３０）は、ビデオストリームをデコーディングしてプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）に伝達できる。
【０５６０】
ＤＩＲＣパーサー（Ｈ３９０４０）は、ＤＩＲＣ  ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）に伝達できる。
【０５６１】
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）には、ビデオデコーダー（Ｈ３９０３０）からビデオストリームが伝達され、ＤＩＲＣ  Ｐａｒｓｅｒ（Ｈ３９０４０）には、ＤＩＲＣ  ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供する。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ３９０５０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ  ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点に応じてＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
【０５６２】
＜Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒを用いた領域情報又は視点情報に関するメタデータの伝送及びシグナリング方法の案＞
【０５６３】
図１２乃至図２０に説明した領域情報又は視点情報に関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）を通じて伝送できる。より具体的には、領域情報又は視点情報に関するメタデータは、ＶＣＬ  ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）ｍｅｓｓａｇｅの形態で伝送できる。
【０５６４】
図４０は本発明の一実施例による領域情報又は視点情報に関するメタデータがＳＥＩ  ｍｅｓｓａｇｅに含まれた形態を示す図である。
【０５６５】
まず、図４０の上端を参照すると、本発明の一実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードは２Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
【０５６６】
本発明の一実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードは、ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、top＿ｌｅｆｔ＿ｘ、ｔｏｐ＿ｌｅｆｔ＿ｙ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｘ、ｎｅｘｔ＿ｔｏｐ＿ｌｅｆｔ＿ｙ、ｎｅｘｔ＿ｗｉｄｔｈ、ｎｅｘｔ＿ｈｅｉｇｈｔ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
【０５６７】
ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、該当２Ｄ空間における領域情報又は視点情報に関するメタデータの固有識別子を示す。ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、同一のストリーム上に複数の２Ｄ空間における領域情報又は視点情報に関するメタデータが存在する場合、各々を区別するための用途に使用できる。即ち、同一のｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄを有するメタデータは、１つの２Ｄ空間における領域情報又は視点情報を示すメタデータシーケンスをなす。
【０５６８】
本発明の一実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードに含まれた他のフィールドについては、図３３に説明した２Ｄ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）についての説明内容を適用できる。
【０５６９】
次に、図４０の下端を参照すると、本発明の他の実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードは３Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
【０５７０】
本発明の他の実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードは、ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄ、ｒｅｆｅｒｅｎｃｅ＿ｒｅｇｉｏｎ＿ｆｌａｇ、ｄｕｒａｔｉｏｎ＿ｆｌａｇ、ｎｅｘｔ＿ｖｃｄｉ＿ｆｌａｇ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈ、ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｉｎｔｅｒｐｏｌａｔｅ、ｄｕｒａｔｉｏｎ、ｎｅｘｔ＿ｙａｗ、ｎｅｘｔ＿ｐｉｔｃｈ、ｎｅｘｔ＿ｒｏｌｌ、ｎｅｘｔ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ及び／又はｎｅｘｔ＿ｉｎｔｅｒｐｏｌａｔｅを含む。
【０５７１】
ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは該当３Ｄ空間における領域情報又は視点情報に関するメタデータの固有識別子を示す。ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄは、同一のストリーム上に複数の３Ｄ空間における領域情報又は視点情報に関するメタデータが存在する場合、各々を区別するための用途に使用できる。即ち、同一のｄｉｒｅｃｔｏｒｓ＿ｃｕｔ＿ｉｄを有するメタデータは、１つの３Ｄ空間における領域情報又は視点情報を示すメタデータシーケンスをなす。
【０５７２】
本発明の一実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードに含まれた他のフィールドについては、図３４に説明したｓｐｈｅｒｉｃａｌ＿ｖｃｄｉ＿ｄｅｓｃｒｉｐｔｏｒ（）についての説明内容を適用できる。
【０５７３】
図４１は本発明のさらに他の実施例による領域情報又は視点情報に関するメタデータがＳＥＩ  ｍｅｓｓａｇｅに含まれた形態を示す図である。
【０５７４】
図４１に示された本発明のさらに他の実施例によるメタデータは、３Ｄ空間における領域情報又は視点情報に関するメタデータを含む。
【０５７５】
本発明のさらに他の実施例によるＳＥＩ  ｍｅｓｓａｇｅは、上述した４つのｇｒｅａｔ  ｃｉｒｃｌｅにより１つ以上の領域の境界を設定できる。即ち、本発明のさらに他の実施例によるＳＥＩ  ｍｅｓｓａｇｅは、図１６乃至図１９に説明したｒｅｇｉｏｎ  ｔｙｐｅが１である場合に該当する方式で境界を設定できる。
【０５７６】
ここで、設定される領域はディスプレイのために勧奨されるビューポートである。
【０５７７】
図４１を参照すると、本発明のさらに他の実施例によるＳＥＩ  ｍｅｓｓａｇｅのペイロードは、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅを含む。
【０５７８】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄは、１つ以上の領域を識別する識別番号を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｉｄは勧奨されたビューポート領域の目的を識別するために使用される識別番号を指示できる。
【０５７９】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、以前のｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅの持続性有無を指示できる。一実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇが１である場合、以前のｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅの持続性を取り消すことができ、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃａｎｃｅｌ＿ｆｌａｇが０である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅが続くことを指示することができる。
【０５８０】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、現在のレイヤ（ｃｕｒｒｅｎｔ  ｌａｙｅｒ）に対するｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅの持続性有無を指示できる。一実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが０である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅは現在デコーディングされたピクチャのみに適用されることを指示でき、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１である場合、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅは現在のレイヤに対してｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅが適用されることを指示できる。なお、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１である場合にも、所定の条件を満たすと、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ  ｖｉｅｗｐｏｒｔ  ＳＥＩ  ｍｅｓｓａｇｅがこれ以上適用されないように設定できる。
【０５８１】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１は、このＳＥＩ  ｍｅｓｓａｇｅが示す領域の数を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｃｎｔ＿ｍｉｎｕｓ１はこのＳＥＩ  ｍｅｓｓａｇｅが示す勧奨ビューポート領域の数を指示できる。
【０５８２】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒは該当領域の中央点のｙａｗ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｙａｗ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
【０５８３】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒは該当領域の中央点のｐｉｔｃｈ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｐｉｔｃｈ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
【０５８４】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒは該当領域の中央点のｒｏｌｌ値を指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｒｏｌｌ＿ｃｅｎｔｅｒ［ｉ］はｉ番目の領域の中央点のｒｏｌｌ値を指示でき、この時、領域は勧奨ビューポート領域であることができる。
【０５８５】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅは該当領域の範囲又はサイズをｙａｗ値を通じて指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｙａｗ＿ｒａｎｇｅ［ｉ］はｉ番目の領域の範囲又はサイズをｙａｗ値を通じて指示でき、この時、領域は勧奨ビューポート領域であることができる。
【０５８６】
ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅは該当領域の範囲又はサイズをｐｉｔｃｈ値を通じて指示できる。より具体的には、実施例において、ｏｍｎｉ＿ｖｉｅｗｐｏｒｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ［ｉ］はｉ番目の領域の範囲又はサイズをｐｉｔｃｈ値を通じて指示でき、この時、領域は勧奨ビューポート領域であることができる。
【０５８７】
なお、図４０に示したｖｒ＿２Ｄ＿ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ（ｐａｙｌｏａｄＳｉｚｅ）は、２Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例示であり、図４０及び図４１に示したｖｒ＿２Ｄ＿ｄｉｒｅｃｔｏｒｓ＿ｃｕｔ（ｐａｙｌｏａｄＳｉｚｅ）及びｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｖｉｅｗｐｏｒｔ（ｐａｙｌｏａｄＳｉｚｅ）は、３Ｄ空間における領域情報又は視点情報に関するメタデータの具体的な例示であり、図１２乃至図２０に説明したメタデータ情報が選択的にこのＳＥＩ  ｍｅｓｓａｇｅに含まれることができ、このＳＥＩ  ｍｅｓｓａｇｅに含まれた情報は選択的に省略することもできる。
【０５８８】
以下、図４０及び図４１に説明したＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｌａｙｅｒ）により領域情報又は視点情報に関するメタデータを伝送及びシグナリングする方法に関連する受信器の動作について説明する。
【０５８９】
図４２は本発明のさらに他の実施例による受信器を示すブロック図である。
【０５９０】
図４２を参照すると、本発明のさらに他の実施例による受信器は、ネットワーククライアント／コンテンツパーサー（ｎｅｔｗｏｒｋ  ｃｌｉｅｎｔ／ｃｏｎｔｅｎｔ  ｐａｒｓｅｒ、Ｈ４２０２０）、ビデオデコーダー（ｖｉｄｅｏ  ｄｅｃｏｄｅｒ、Ｈ４２０３０）、ＤＩＲＣパーサー（ＤＩＲＣ  ｐａｒｓｅｒ、Ｈ４２０４０）及び／又はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）を含む。
【０５９１】
ＶＲコンテンツ及び／又は領域情報又は視点情報に関するメタデータを含むビデオデータは、コンテンツ／ネットワークサーバ（Ｈ４２０１０）から提供されて、ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）が受信できる。この時、受信器のネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、ネットワークパケット又はファイル形態のビデオデータをコンテンツ／ネットワークサーバ（Ｈ４２０１０）から受信できる。ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、受信されたネットワークパケット又はファイルを解釈してビデオストリーム（Ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍ）を生成できる。
【０５９２】
ネットワーククライアント／コンテンツパーサー（Ｈ４２０２０）は、ビデオストリーム（Ｖｉｄｅｏ  ｂｉｔｓｔｒｅａｍ）をビデオデコーダー（Ｈ４２０３０）に伝達できる。
【０５９３】
ビデオデコーダー（Ｈ４２０３０）はビデオストリームをデコーディングできる。ビデオデコーダー（Ｈ４２０３０）はビデオストリームをデコーディングして、ビデオデータと領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）を得ることができる。
【０５９４】
ビデオデコーダー（Ｈ４２０３０）はプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）に伝達できる。
【０５９５】
また、ビデオデコーダー（Ｈ４２０３０）は、受信器のケイパビリティー（ｃａｐａｂｉｌｉｔｙ）、及び／又はコンテンツの使用目的に応じてＤＩＲＣパーサー（Ｈ４２０４０）を活性化し、領域情報又は視点情報に関するメタデータ（ＤＩＲＣ  ｍｅｔａｄａｔａ）をＤＲＩＣパーサー（Ｈ４２０４０）に伝達できる。例えば、受信器が領域情報又は視点情報に関するメタデータを処理できないか或いは目的に応じて領域情報又は視点情報に関するメタデータを使用しない場合、領域情報又は視点情報に関するメタデータは使用されないことができる（ｓｋｉｐ）。
【０５９６】
ＤＩＲＣパーサー（Ｈ４２０４０）はＤＩＲＣ  ｍｅｔａｄａｔａをパーシングしてパーシングされた情報（ＤＩＲＣ  ｉｎｆｏ．）をプロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）に伝達できる。
【０５９７】
プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）にはビデオデコーダー（Ｈ４２０３０）からビデオストリームが伝達され、ＤＩＲＣ  Ｐａｒｓｅｒ（Ｈ４２０４０）にはＤＩＲＣ  ｍｅｔａｄａｔａが伝達される。また、プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）は、ＤＩＲＣ情報を使用してＶｉｄｅｏデータをユーザに提供できる。プロジェクター／レンダラ／センサ（ｐｒｏｊｅｃｔｏｒ／ｒｅｎｄｅｒｅｒ／ｓｅｎｓｏｒｓ、Ｈ４２０５０）がＤＩＲＣ情報を使用してユーザにＶＲコンテンツを提供する方法は、アプリケーションによって異なる。一例として、ＤＩＲＣが示すプロデューサーの意図視点をユーザに自動操縦（ａｕｔｏ  ｎａｖｉｇａｔｉｏｎ）の形態で見せることができる。他の例として、ユーザの視点によってＶＲコンテンツを見せるが、プロデューサーの意図視点を誘導できる方向表示などを提供することもできる。
【０５９８】
＜３６０゜ビデオサービスのためのコンテンツの送受信過程及びメタデータ＞
【０５９９】
図４３は本発明の一実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
【０６００】
図４３を参照すると、３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信するために送信側の構成及び受信側の構成が示されている。ここで、送信側の構成は３６０゜ビデオの伝送装置に含まれた構成であることができ、受信側の構成は３６０゜ビデオの受信装置に含まれた構成であることができる。また、送信側の構成及び過程は３６０゜ビデオを生成する構成及び過程を含むことができる。
【０６０１】
以下、図４３を参照して、３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程について説明する。
【０６０２】
まず、３６０゜ビデオ送信装置は、１つ以上のカメラを用いて複数の方向に対してキャプチャーされた１つ以上のｉｍａｇｅ（ｉｎｐｕｔ  ｉｍａｇｅ）を生成できる（ＳＨ４３０１０）。ここで、３６０゜ビデオ送信装置は全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ、３６０゜）に対するイメージをキャプチャーできる。このように複数の方向に対するイメージをキャプチャーする過程を、獲得過程（ａｃｑｕｉｓｉｔｉｏｎ）と称する。
【０６０３】
続いて、３６０゜ビデオ送信装置は、キャプチャーされた複数のイメージ（ｉｎｐｕｔ  ｉｍａｇｅｓ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）上においてステッチングできる（ＳＨ４３０２０）。この時、３次元幾何構造（ｇｅｏｍｅｔｒｙ）としては、球（ｓｐｈｅｒｅ）、キューブ（ｃｕｂｅ）などが使用される。ステッチング過程はキャプチャーされた複数のイメージ（ｉｎｐｕｔ  ｉｍａｇｅｓ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）上において連結して１つのパノラマイメージ（ｐａｎｏｒａｍａ  ｉｍａｇｅ）又は球形イメージ（ｓｐｈｅｒｉｃａｌ  ｉｍａｇｅ）を形成する過程である。この実施例では、イメージステッチングを通じて球形のイメージ（ｓｐｈｅｒｉｃａｌ  ｉｍａｇｅ）を生成する場合を示している。
【０６０４】
次に、３６０゜ビデオ送信装置は、３６０゜ビデオ（ＶＲ  ｖｉｄｅｏ）のレンダリング（ｒｅｎｄｅｒｉｎｇ）特性に対するレンダリングメタデータを生成できる（ＳＨ４３０３０）。このように３６０゜ビデオ（ＶＲ  ｖｉｄｅｏ）に対するレンダリングメタデータを生成する過程を、オーサリング過程（ａｕｔｈｏｒｉｎｇ）と称する。
【０６０５】
その後に、３６０゜ビデオ送信装置はステッチングされたイメージを定型化された幾何構造であるプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ  ｆｏｒｍａｔ）に投影（ｐｒｏｊｅｃｔｉｏｎ）して矩形形態のフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ、ｐａｃｋｅｄ  ｉｍａｇｅ）を構成できる（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ、ＳＨ４３０４０）。
【０６０６】
この過程は定型化された幾何構造であるプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ  ｆｏｒｍａｔ）に投影（ｐｒｏｊｅｃｔｉｏｎ）して、ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ  ｉｍａｇｅ）を生成するプロジェクション過程（ｐｒｏｊｅｃｔｉｏｎ）と、ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ  ｉｍａｇｅ）をｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）にマッピングさせる過程（ｍａｐｐｉｎｇ）に細分化される。
【０６０７】
ここで、プロジェクションのためのプロジェクションフォーマット（ｐｒｏｊｅｃｔｉｏｎ  ｆｏｒｍａｔ）には、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ、ｃｕｂｉｃなどがあり得る。なお、プロジェクション過程を通じて、ステッチングされたイメージは２Ｄフレーム上にプロジェクションされることができる。
【０６０８】
また、マッピング過程はｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅを構成する矩形領域の配置及び／又は解像度などを調整してｐａｃｋｅｄ  ｆｒａｍｅを構成できる。この時、特定の領域のｑｕａｌｉｔｙを高めることも可能である。ここで、特定の領域は、特定ユーザの視点領域であるか、或いは上述したプロデューサーの意図視点領域である。
【０６０９】
かかるマッピング過程は、領域（リージョン、ｒｅｇｉｏｎ）ごとのパッキング過程と称することができる。リージョンごとのパッキング過程は選択的に行われ、リージョンごとのパッキング過程が行われない場合、ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ（ｐｒｏｊｅｃｔｅｄ  ｉｍａｇｅ）とｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）は同一であることができる。
【０６１０】
なお、３６０゜ビデオ送信装置はプロジェクション／マッピング過程におけるプロジェクション特性及び／又はマッピング特性に関するメタデータを生成できる。
【０６１１】
その後に、３６０゜ビデオ送信装置は、ｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）を符号化（ｅｎｃｏｄｉｎｇ）してコーディングされたビデオピクチャ（ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）を生成できる（ｖｉｄｅｏ  ｅｎｃｏｄｉｎｇ、ＳＨ４３０５０）。
【０６１２】
次に、３６０゜ビデオ送信装置は、コーディングされたビデオピクチャ（ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）を含むファイル（ｆｉｌｅ）又はセグメント（Ｓｅｇｍｅｎｔ）を生成できる（ＳＨ４３０６０）。なお、この実施例において、３６０゜ビデオ送信装置は、コーディングされたビデオピクチャ（ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）だけではなく、レンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ  ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むファイル（ｆｉｌｅ）又はセグメント（Ｓｅｇｍｅｎｔ）を生成する。
【０６１３】
３６０゜ビデオ送信装置は、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）  ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）を生成し、ＭＰＤとセグメント（Ｓｅｇｍｅｎｔ）を送信できる（ＳＨ４３０７０）。
【０６１４】
３６０゜ビデオの受信装置はＤＡＳＨ  ＭＰＤを受信及びパーシングし、セグメントを要求して受信することができる（ＳＨ４３０８０）。
【０６１５】
３６０゜ビデオの受信装置はファイル又はセグメントを受信し、ファイル又はセグメントからコーディングされたビデオピクチャ（Ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）を抽出できる（ＳＨ４３０９０）。なお、この実施例において、レンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ  ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータは、ファイル又はセグメントに含まれているので、３６０゜ビデオの受信装置はファイル又はセグメントからレンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ  ｍｅｔａｄａｔａ）及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを抽出してパーシングすることができる。
【０６１６】
次に、３６０゜ビデオの受信装置はコーディングされたビデオピクチャ（Ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）を復号化（ｄｅｃｏｄｉｎｇ）してｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）を生成できる（ＳＨ４３１００）。
【０６１７】
その後、３６０゜ビデオの受信装置は、ｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）のイメージ形態に復元できる。この実施例において、３６０゜ビデオの受信装置は、ｐａｃｋｅｄ  ｆｒａｍｅ（ｐａｃｋｅｄ  ｉｍａｇｅ）を３次元幾何構造（ｇｅｏｍｅｔｒｙ）の球形イメージ（ｓｐｈｅｒｉｃａｌ  ｉｍａｇｅ）に復元できる（ＳＨ４３１１０）。この時、３６０゜ビデオの受信装置はｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを用いて３次元イメージを復元できる。
【０６１８】
また、３６０゜ビデオの受信装置は、３次元幾何構造のイメージ（球形イメージ、ｓｐｈｅｒｉｃａｌ  ｉｍａｇｅ）を３次元空間上にレンダリングできる（ＳＨ４３１３０）。この時、３６０゜ビデオの受信装置はレンダリングメタデータ（ｒｅｎｄｅｒｉｎｇ  ｍｅｔａｄａｔａ）を用いて３次元イメージを３次元空間上にレンダリングできる。
【０６１９】
また、３６０゜ビデオの受信装置はさらに後述するユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報を用いて３次元イメージを３次元空間上にレンダリングできる。
【０６２０】
その後、３６０゜ビデオの受信装置は３次元空間上のイメージをディスプレイに表出できる（ＳＨ４３１４０）。
【０６２１】
なお、３６０゜ビデオの受信装置は動作中にユーザの頭／目の動きを感知してユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報を追跡（ｔｒａｃｋｉｎｇ）できる（ＳＨ４３１２０）。トラッキングされたユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報は実時間に生成されて３６０゜ビデオをレンダリングする過程に使用できる。
【０６２２】
かかるユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報は、３６０゜ビデオをレンダリングする過程以外の他の過程にも使用できる。例えば、Ｖｉｅｗ−ｄｅｐｅｎｄｅｎｔ  ｐｒｏｃｅｓｓｉｎｇが適用される場合、ユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報に依存して各段階が行われる。
【０６２３】
具体的に、ユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するビデオデータに対してビデオデコーディングが行われることができる（ｃａｓｅ  Ａ）。
【０６２４】
また、ユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するファイル又はセグメントに対して脱カプセル化が行われることができる（ｃａｓｅ  ＢＦセル）。
【０６２５】
または、ユーザの視点（ｕｓｅｒ  ｖｉｅｗｐｏｒｔ）情報に依存して、該当ユーザの視点を含む領域に関連するセグメントに対する受信が行われることができる（ｃａｓｅ  Ｃ）。
【０６２６】
以下、図４３に説明したレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ  メタデータに含まれる情報について図４４を参照して説明する。
【０６２７】
図４４は本発明の一実施例によるレンダリングメタデータ及びｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータに含まれる情報の一例を示す図である。
【０６２８】
まず、本発明の一実施例によるレンダリングメタデータは、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅ、ｃｅｎｔｅｒ＿ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｍｉｎ＿ｙａｗ、ｍａｘ＿ｙａｗ、ｍｉｎ＿ｐｉｔｃｈ、ｍａｘ＿ｐｉｔｃｈ、Ｒｅｇｉｏｎ  Ｍａｐｐｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．、ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）及び／又はｓｔｅｒｅｏ  ｍｏｄｅを含む。
【０６２９】
ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅは、３６０゜ビデオがマッピングされるマッピングタイプに関する情報を示す。一実施例によれば、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが０である場合、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが１である場合、ｃｕｂｉｃのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが２である場合、ｃｙｌｉｎｄｅｒ又はｐａｎｏｒａｍａのマッピングタイプを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが３である場合、ｐｙｒａｍｉｄのマッピングタイプを指示することができる。
【０６３０】
即ち、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅ情報は、３６０゜ビデオを２Ｄイメージ（フレーム）上にマッピングする時に使用したプロジェクションスキーム（ｐｒｏｊｅｃｔｉｏｎ  ｓｃｈｅｍｅ）を指示するといえる。この一実施例において、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが０である場合、ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが１である場合、ｃｕｂｉｃ  ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが２である場合、ｃｙｌｉｎｄｅｒ  ｐｒｏｊｅｃｔｉｏｎ又はｐａｎｏｒａｍａ  ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示し、ｖｒ＿ｍａｐｐｉｎｇ＿ｔｙｐｅのｖａｌｕｅが３である場合、ｐｙｒａｍｉｄ  ｐｒｏｊｅｃｔｉｏｎが使用されたことを指示することができる。
【０６３１】
ｃｅｎｔｅｒ＿ｙａｗフィールドは、３６０ビデオデータがプロジェクションされた２Ｄイメージの中央ピクセル及び３Ｄ空間上の中点に関連する情報を提供できる。一実施例において、ｃｅｎｔｅｒ＿ｙａｗフィールドは、３Ｄ空間の中点がキャプチャースペース座標系の座標原点或いはワールド座標系の原点に比べて回転した程度を示す。かかる実施例において、ｃｅｎｔｅｒ＿ｙａｗフィールドは回転した程度をｙａｗ値で示すことができる。
【０６３２】
ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは、３６０ビデオデータがプロジェクションされた２Ｄイメージの中央ピクセル及び３Ｄ空間上の中点に関連する情報を提供できる。一実施例において、ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは３Ｄ空間の中点がキャプチャースペース座標系の座標原点或いはワールド座標系の原点に比べて回転した程度を示す。かかる実施例において、ｃｅｎｔｅｒ＿ｐｉｔｃｈフィールドは回転した程度をｐｉｔｃｈ値で示すことができる。
【０６３３】
ｍｉｎ＿ｙａｗフィールドは３Ｄ空間上において占める領域をｙａｗの最小値で示すことができる。これらのフィールドはｙａｗ軸基準回転量の最小値を示す。
【０６３４】
ｍａｘ＿ｙａｗフィールドは３Ｄ空間上において占める領域をｙａｗの最大値で示すことができる。これらのフィールドはｙａｗ軸基準回転量の最大値を示す。
【０６３５】
ｍｉｎ＿ｐｉｔｃｈフィールドは３Ｄ空間上において占める領域をｐｉｔｃｈの最小値で示すことができる。これらのフィールドはｐｉｔｃｈ軸基準回転量の最小値を示す。
【０６３６】
ｍａｘ＿ｐｉｔｃｈフィールドは３Ｄ空間上において占める領域をｐｉｔｃｈの最大値で示すことができる。これらのフィールドはｐｉｔｃｈ軸基準回転量の最大値を示す。
【０６３７】
Ｒｅｇｉｏｎ  Ｍａｐｐｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．，ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）は、３６０゜ビデオを２Ｄドメインにプロジェクションした結果であるプロジェクテッドピクチャ（ｐｒｏｊｅｃｔｅｄ  ｐｉｃｔｕｒｅ）と実際のエンコーダーの入力により使用されるパックピクチャ（ｐａｃｋｅｄ  ｐｉｃｔｕｒｅ）を構成する領域間のマッピング関係を指示できる。又はＲｅｇｉｏｎ  Ｍａｐｐｉｎｇ  Ｉｎｆｏｒｍａｔｉｏｎ（ｉ．ｅ．，ＥｑｕｉＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ、ＣｕｂｅＭａｐＶｉｄｅｏＩｎｆｏＢｏｘ）は、パックピクチャを構成する領域と３Ｄドメイン上の球面領域（ｓｐｈｅｒｅ  ｒｅｇｉｏｎ）の間のマッピング関係を指示することもできる。
【０６３８】
ｓｔｅｒｅｏ  ｍｏｄｅフィールドは、該当３６０゜ビデオが支援する３Ｄレイアウトを指示できる。また、ｓｔｅｒｅｏ  ｍｏｄｅフィールドは、該当３６０゜ビデオが３Ｄを支援するか否かも指示できる。一実施例において、ｓｔｅｒｅｏ  ｍｏｄｅフィールド値が０である場合、該当３６０゜ビデオはモノ（ｍｏｎｏｓｃｏｐｉｃ）モードであることができる。即ち、プロジェクションされた２Ｄイメージは、１つのモノビュー（ｍｏｎｏｓｃｏｐｉｃ  ｖｉｅｗ）のみを含むことができる。この場合、該当３６０゜ビデオは３Ｄを支援しないことができる。
【０６３９】
ｓｔｅｒｅｏ  ｍｏｄｅフィールド値が１又は２である場合、該当３６０゜ビデオは各々左右（Ｌｅｆｔ-Ｒｉｇｈｔ）レイアウト、上下（ｔｏｐ-Ｂｏｔｔｏｍ）レイアウトを従う。左右レイアウト、上下レイアウトは各々、サイド−バイ−サイドフォーマット、トップ−ボトムフォーマットとも呼ばれる。左右レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージは、イメージフレーム上において各々左／右に配置できる。上下レイアウトの場合、左映像／右映像がプロジェクションされた２Ｄイメージはイメージフレーム上において各々上／下に配置できる。ｓｔｅｒｅｏ  ｍｏｄｅフィールドが異なる値を有する場合は、今後の使用のために残しておくことができる（Ｒｅｓｅｒｖｅｄ  ｆｏｒ  Ｆｕｔｕｒｅ  Ｕｓｅ）。
【０６４０】
次に、本発明の一実施例によるレンダリングメタデータは、ｉｎｉｔｉａｌ＿ｙａｗ、ｉｎｉｔｉａｌ＿ｐｉｔｃｈ、ｉｎｉｔｉａｌ＿ｒｏｌｌ、ｖｉｅｗｐｏｒｔ＿ｖｆｏｖ及び／又はｖｉｅｗｐｏｒｔ＿ｈｆｏｖを含むことができる。
【０６４１】
本発明の一実施例によるレンダリングメタデータは、初期視点（ｉｎｉｔｉａｌ  ｖｉｅｗｐｏｉｎｔ）に関する情報を含むことができる。初期視点に関する情報は、図８のｉｎｉｔｉａｌ  ｖｉｅｗ関連メタデータを意味する。
【０６４２】
ｉｎｉｔｉａｌ＿ｙａｗ、ｉｎｉｔｉａｌ＿ｐｉｔｃｈ及びｉｎｉｔｉａｌ＿ｒｏｌｌフィールドは、該当３６０ビデオ再生時の初期視点を示す。即ち、再生時に最初に見られるビューポートの真ん中の地点が、これら３つのフィールドにより示されることができる。
【０６４３】
ｉｎｉｔｉａｌ＿ｙａｗフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をｙａｗ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
【０６４４】
ｉｎｉｔｉａｌ＿ｐｉｔｃｈフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をＰｉｔｃｈ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
【０６４５】
ｉｎｉｔｉａｌ＿ｒｏｌｌフィールドは該当３６０ビデオ再生時の真ん中の地点が位置をｒｏｌｌ軸を基準として回転した方向（符号）及びその程度（角度）で示すことができる。
【０６４６】
ｖｉｅｗｐｏｒｔ＿ｖｆｏｖはビューポートの垂直視野範囲（ｖｅｒｔｉｃａｌ  ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）の値を示す。一実施例において、ｖｉｅｗｐｏｒｔ＿ｖｆｏｖはｉｎｉｔｉａｌ＿ｐｉｔｃｈを基準（中心）とした垂直視野範囲であることができる。
【０６４７】
ｖｉｅｗｐｏｒｔ＿ｈｆｏｖはビューポートの水平視野範囲（Ｈｏｒｉｚｏｎｔａｌ  ｆｉｅｌｄ  of  ｖｉｅｗ）の値を示す。一実施例において、ｖｉｅｗｐｏｒｔ＿ｈｆｏｖはｉｎｉｔｉａｌ＿ｙａｗを基準（中心）とした水平視野範囲であることができる。
【０６４８】
他の実施例において、レンダリングメタデータは初期視点に関する情報だけではなく、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）関連情報を提供することもできる。ＲＯＩ関連情報は図８のＲＯＩ関連メタデータを意味し、勧奨領域（ｒｅｃｏｍｍｅｎｅｄｅｄ  ｒｅｇｉｏｎ）を指示するために使用されることができる。また、ＲＯＩ関連情報はプロデューサーの意図領域などを示すために使用されることもできる。
【０６４９】
図４３に説明したｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータは、図４５のようなボックス形態でファイルに含まれることができる。
【０６５０】
図４５は本発明の他の実施例によるｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇメタデータを含むボックスを示す図である。
【０６５１】
本発明の一実施例によるｖｒｖｄボックスは、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ、ｇｌｏｂａｌ＿ｒｏｌｌ、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔ、ｆｏｒｍａｔ＿ｕｒｉ、ｍａｐｐｉｎｇ＿ｆｌａｇ、ｎｕｍ＿ｒｅｇｉｏｎｓ、ｐｆ＿ｗｉｄｔｈ、ｐｆ＿ｈｅｉｇｈｔ、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ、ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔ、ｐｆ＿ｒｅｇ＿ｔｏｐ、ｐｆ＿ｒｅｇ＿ｌｅｆｔ、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ、ｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗ、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ、ｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈ、ｐｆ＿ｒｅｇ＿ｒｏｌｌ、ｒｅｃｔ＿ｗｉｄｔｈ、ｒｅｃｔ＿ｈｅｉｇｈｔ、ｒｅｃｔ＿ｔｏｐ、ｒｅｃｔ＿ｌｅｆｔ及び／又はｒｅｃｔ＿ｒｏｔａｔｉｏｎを含む。
【０６５２】
ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは各々、プロジェクションのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを記述できる。より具体的には、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）に対応する３Ｄレンダリングモデルのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを記述できる。
【０６５３】
一実施例において、ｇｌｏｂａｌ＿ｙａｗ、ｇｌｏｂａｌ＿ｐｉｔｃｈ及びｇｌｏｂａｌ＿ｒｏｌｌは各々、プロジェクションのｙａｗ、ｐｉｔｃｈ及びｒｏｌｌを全域座標系（ｇｌｏｂａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）を基準として１６．１６の固定小数点の度単位で記述できる。
【０６５４】
ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、プロジェクションフォーマットを記述できる。一実施例において、ｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔは、［ＣＩＣＰ：Ｃｏｄｉｎｇ  ｉｎｄｅｐｅｎｄｅｎｔ  ｍｅｄｉａ  ｄｅｓｃｒｉｐｔｉｏｎ  ｃｏｄｅ  ｐｏｉｎｔｓ］に挙げられたようにプロジェクションフォーマットを記述できる。
【０６５５】
ｆｏｒｍａｔ＿ｕｒｉはｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔを定義するＵＲＩを記述できる。一実施例において、ｆｏｒｍａｔ＿ｕｒｉはｐｒｏｊｅｃｔｉｏｎ＿ｆｏｒｍａｔをＵＴＦ−８文字のＮＵＬＬ終了文字列で定義するＵＲＩを記述できる。
【０６５６】
ｍａｐｐｉｎｇ＿ｆｌａｇは領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）の適用有無を指示できる。一実施例において、ｍａｐｐｉｎｇ＿ｆｌａｇが０であると、領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）が適用されないことを指示でき、ｍａｐｐｉｎｇ＿ｆｌａｇが１であると、領域ごとのマッピング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｍａｐｐｉｎｇ）又は領域ごとのパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）が適用されたことを指示できる。
【０６５７】
領域ごとのマッピング又は領域ごとのパッキングが適用されない場合、パッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）と同じ表現形式を有し、この場合、領域（ｒｅｇｉｏｎｓ）が指定されて品質順位を記述できる。
【０６５８】
ｎｕｍ＿ｒｅｇｉｏｎｓは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）においてパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）にマッピングされる領域（ｒｅｇｉｏｎｓ）の数を指示できる。一実施例において、ｎｕｍ＿ｒｅｇｉｏｎｓが０であると、パッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）と同じ表現形式を有することができる。
【０６５９】
ｐｆ＿ｗｉｄｔｈ及びｐｆ＿ｈｅｉｇｈｔは各々、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）の幅と高さを記述できる。
【０６６０】
ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇは該当領域（ｒｅｇｉｏｎ）の品質順位を記述できる。一実施例において、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇが０であると、品質順位が定義されないことを示す。また、一実施例において、ｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ［ｉ］がｑｕａｌｉｔｙ＿ｒａｎｋｉｎｇ［ｊ］より小さいと、ｉｎｄｅｘ  ｉが示す領域がｉｎｄｅｘ  ｊが示す領域より高い品質を有することを示すことができる。
【０６６１】
ｐｆ＿ｒｅｇ＿ｗｉｄｔｈは領域（ｒｅｇｉｏｎ）の幅を記述できる。より具体的には、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］はｉ番目の領域（ｒｅｇｉｏｎ）の幅を記述することができる。
【０６６２】
一実施例において、ｉがｎｕｍ＿ｒｅｇｉｏｎｓ−１より小さいと、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｉ］は０ではない。
【０６６３】
また、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｎｕｍ＿ｒｅｇｉｏｎｓ−１］は０であることができ、ｐｆ＿ｒｅｇ＿ｗｉｄｔｈ［ｎｕｍ＿ｒｅｇｉｏｎｓ−１］が０である場合、ｍａｐｐｉｎｇ＿ｆｌａｇは１であり、ｎｕｍ＿ｒｅｇｉｏｎｓ−１番目の領域（ｉ＝ｎｕｍ＿ｒｅｇｉｏｎｓ−１である領域）はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）のうち、以前の領域（ｉ＜ｎｕｍ＿ｒｅｇｉｏｎ−１である領域）によりカバーされない全ての区域（ａｒｅａｓ）を含む。
【０６６４】
ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔは領域（ｒｅｇｉｏｎ）の高さを記述できる。より具体的には、ｐｆ＿ｒｅｇ＿ｈｅｉｇｈｔ［ｉ］はｉ番目の領域（ｒｅｇｉｏｎ）の高さを記述できる。
【０６６５】
ｐｆ＿ｒｅｃｔ＿ｔｏｐ及びｐｆ＿ｒｅｇ＿ｌｅｆｔはプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）内の領域（ｒｅｇｉｏｎ）の最上端のサンプル行と、最も左側のサンプル列を記述できる。より具体的には、ｐｆ＿ｒｅｃｔ＿ｔｏｐ［ｉ］及びｐｆ＿ｒｅｇ＿ｌｅｆｔ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）の最上端のサンプル行と、最も左側のサンプル列を記述できる。一実施例において、ｐｆ＿ｒｅｃｔ＿ｔｏｐ及びｐｆ＿ｒｅｇ＿ｌｅｆｔの値は、各々０以上ｐｆ＿ｈｅｉｇｈｔ及びｐｆ＿ｗｉｄｔｈ未満の範囲内であることができる。ここで、０はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）の最上端の左側コーナー（ｔｏｐ−ｌｅｆｔ  ｃｏｒｎｅｒ）を意味する。
【０６６６】
ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｙａｗ値の最小値及び最大値を各々示す。より具体的には、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｙａｗ［ｉ］及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｙａｗ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｙａｗ値の最小値及び最大値を各々示すことができる。
【０６６７】
ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｐｉｔｃｈ値の最小値及び最大値を各々示す。より具体的には、ｐｆ＿ｒｅｇ＿ｍｉｎ＿ｐｉｔｃｈ［ｉ］及びｐｆ＿ｒｅｇ＿ｍａｘ＿ｐｉｔｃｈ［ｉ］は、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｐｉｔｃｈ値の最小値及び最大値を各々示すことができる。
【０６６８】
ｐｆ＿ｒｅｇ＿ｒｏｌｌは、プロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｒｏｌｌ値を示す。より具体的には、ｐｆ＿ｒｅｇ＿ｒｏｌｌ［ｉ］はプロジェクテッドフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）のｉ番目の領域（ｒｅｇｉｏｎ）に対応する３Ｄレンダリングモデルのｒｏｌｌ値を示すことができる。
【０６６９】
ｒｅｃｔ＿ｗｉｄｔｈ、ｒｅｃｔ＿ｈｅｉｇｈｔ、ｒｅｃｔ＿ｔｏｐ及びｒｅｃｔ＿ｌｅｆｔは、パッキングされたフレーム内の領域（ｒｅｇｉｏｎ）の幅、高さ、最上端のサンプル行、最左側のサンプル列を各々記述できる。より具体的には、ｒｅｃｔ＿ｗｉｄｔｈ［ｉ］、ｒｅｃｔ＿ｈｅｉｇｈｔ［ｉ］、ｒｅｃｔ＿ｔｏｐ［ｉ］及びｒｅｃｔ＿ｌｅｆｔ［ｉ］は、パッキングされたフレーム内のｉ番目の領域（ｒｅｇｉｏｎ）の幅、高さ、最上端のサンプル行、最左側のサンプル列を各々記述できる。
【０６７０】
ｒｅｃｔ＿ｒｏｔａｔｉｏｎはパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）内の領域（ｒｅｇｉｏｎ）の回転値を記述できる。より具体的には、ｒｅｃｔ＿ｒｏｔａｔｉｏｎ［ｉ］はパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）内におけるｉ番目の領域（ｒｅｇｉｏｎ）の中心を基準として該当ｉ番目の領域の回転値を記述できる。
【０６７１】
＜プロデューサーの意図視点／領域、統計的選好視点／領域に対するＲＯＩメタデータを送受信する方法の案＞
【０６７２】
以下、プロデューサーの意図視点／領域、統計的選好視点／領域に対するＲＯＩメタデータを送受信する方法の案と、その具体的な送受信動作の過程について説明する。
【０６７３】
ＶＲビデオサービスにおいて、プロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報をＲＯＩメタデータ形態で伝送できる。２つの場合の送受信動作の過程は以下の通りである。
【０６７４】
図４６は本発明の他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図面である。
【０６７５】
図４６に示された３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程の基本的な内容は、図４３に説明した内容と実質的に同一である。従って、異なる部分を中心として説明する。
【０６７６】
一実施例によるＲＯＩタデータはプロデューサーが意図したビューポート及び／又は方向を指示するプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報を伝送することができる。
【０６７７】
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報は、制作中又は制作後に監督（ｄｉｒｅｃｔｏｒ）又はコンテンツプロデューサーの意図により決定された情報である。
【０６７８】
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報は、ユーザ装置（ｕｓｅｒ  ｄｅｖｉｃｅ）においてアプリケーションに特化された方法でＶＲビデオをレンダリングするために使用できる。
【０６７９】
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報に含まれるビューポート及び／又は回転情報は、球座標内に表現されることができる。
【０６８０】
このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報は、プロジェクション／マッピング過程前に編集されて受信側に伝達することができる。受信側のユーザ装置において、このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報は、リプロジェクション／マッピング過程後に使用されることができる。即ち、ＶＲビデオレンダリングのための３Ｄモデル（球面イメージ）にこのプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報を適用できる。
【０６８１】
なお、このプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報の編集及び使用は、３Ｄモデル（球面イメージ）で行われるので、２次元のパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）又はコーディングされたビデオピクチャ（ｃｏｄｅｄ  ｖｉｄｅｏ  ｐｉｃｔｕｒｅ）より直観的な情報を提供できる。従って、プロデューサーがプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報を容易に編集でき、ユーザデバイスもＶＲイメージを容易にレンダリングできる。
【０６８２】
図４７は本発明のさらに他の実施例による３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程を示す図である。
【０６８３】
図４７に示された３６０゜ビデオサービスのためのコンテンツ及びメタデータを送受信する過程の基本的な内容は、図４３に説明した内容と実質的に同一である。従って、異なる部分を中心として説明する。
【０６８４】
他の実施例によるＲＯＩメタデータは、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報を伝送できる。かかる統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  Ｒｅｇｉｏｎｓ）に関する情報は、ＶＲビデオ適応型ストリーミング（ＶＲ  ｖｉｄｅｏ  ｐｒｅｆｅｔｃｈｉｎｇ）においてデータプリフェッチング（ｐｒｅｆｅｔｃｈｉｎｇ）に使用できる。
【０６８５】
統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報は、サービス／コンテンツ提供者によるユーザ統計から導き出すか或いはサービス／コンテンツ提供者による予測により決定することができる。
【０６８６】
統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報は、プリフェッチングを目的として要求するデータをユーザ装置（ｕｓｅｒ  ｄｅｖｉｃｅ）が選択するために使用できる。
【０６８７】
この統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報は、プロジェクション／マッピング過程前に編集（ｅｄｉｔｉｎｇ）されて受信側に伝達される。また、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に含まれるビューポート及び／又は回転情報は、上述したプロデューサーの意図視点／領域（ｄｉｒｅｃｔｏｒ’ｓ  ｃｕｔ）に関する情報の場合と同様の方式で球座標内に表現されることができる。
【０６８８】
また、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報は、ユーザ装置（ｕｓｅｒ  ｄｅｖｉｃｅ）がプリフェッチングを要求するセグメントを決定するために使用されることができる。即ち、統計的な選好視点／領域（ｍｏｓｔ−ｉｎｔｅｒｅｓｔｅｄ  ｒｅｇｉｏｎｓ）に関する情報は、ＤＡＳＨ  ＭＰＤ及びセグメントを受信する過程で使用できる。
【０６８９】
なお、２Ｄ座標（２Ｄｃａｒｔｅｓｉａｎ  ｃｏｏｒｄｉｎａｔｅｓ）のＲＯＩメタデータは、キューブ構造の各面（ｆａｃｅ）のセグメントの記述に非効率的であるが、球座標（ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅｓ）は、ＲＯＩメタデータを連続したセグメントに記述する時に有利である。但し、プロジェクションフォーマットが球（ｓｐｈｅｒｅ）に限定されることではないので、他のプロジェクションフォーマットが適用されることができる。
【０６９０】
上述したＲＯＩメタデータの送受信過程に使用されるメタデータの構文及び意味は、図４８においても同様である。
【０６９１】
図４８は本発明の一実施例によるＲＯＩメタデータを示す図である。
【０６９２】
ＲＯＩメタデータトラックは’ｃｄｓｃ（ｃｏｎｔｅｎｔ  ｄｅｓｃｒｉｂｅｓ）’トラック参照を通じて説明するトラックに連結できる。
【０６９３】
かかるメタデータトラックに連結されたメディアトラックは、’ｔｒｅｆ’ボックスを通じて他のメディアトラックに連結されることもできる。
【０６９４】
ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリー（’ｓｐｈｃ’）は、参照されたトラックに関連する空間情報を提供し、かかる参照されたトラックは球形座標系（ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅ  ｓｙｓｔｅｍ）で表現される。
【０６９５】
図４８の上端を参照すると、ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリーは、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈを含む。
【０６９６】
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗ、ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈ及びｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは、全てのＲＯＩ座標（ｙａｗ、ｐｉｔｃｈ、ｒｏｌｌ及びｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ）が計算される基準球面空間（ｒｅｆｅｒｅｎｃｅ  ｓｐｈｅｒｉｃａｌ  ｓｐａｃｅ）においてｙａｗ及びｐｉｔｃｈ値の範囲を度単位で（ｉｎ  ｄｅｇｒｅｅ）提供できる。
【０６９７】
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｙａｗは基準球面空間（ｒｅｆｅｒｅｎｃｅ  ｓｐｈｅｒｉｃａｌ  ｓｐａｃｅ）においてｙａｗの最小値を示す。
【０６９８】
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｙａｗは基準球面空間（ｒｅｆｅｒｅｎｃｅ  ｓｐｈｅｒｉｃａｌ  ｓｐａｃｅ）においてｙａｗの最大値を示す。
【０６９９】
ｒｅｆｅｒｅｎｃｅ＿ｍｉｎ＿ｐｉｔｃｈは基準球面空間（ｒｅｆｅｒｅｎｃｅ  ｓｐｈｅｒｉｃａｌ  ｓｐａｃｅ）においてｐｉｔｃｈの最小値を示す。
【０７００】
ｒｅｆｅｒｅｎｃｅ＿ｍａｘ＿ｐｉｔｃｈは基準球面空間（ｒｅｆｅｒｅｎｃｅ  ｓｐｈｅｒｉｃａｌ  ｓｐａｃｅ）においてｐｉｔｃｈの最小値を示す。
【０７０１】
ＳｐｈｅｒｉｃａｌＣｏｏｒｄｉｎａｔｅｓサンプルエントリーに関連するＳｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅｓサンプルは、図４８の下端と同じ構文に従う。
【０７０２】
図４８の下端を参照すると、Ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅｓサンプルは、Ｙａｗ、Ｐｉｔｃｈ、ｒｏｌｌ、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｄｕｒａｔｉｏｎ及び／又はｉｎｔｅｒｐｏｌａｔｅを含む。
【０７０３】
Ｙａｗは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ  ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、ｙａｗ軸を基準として回転した角度を度単位で（ｉｎ  ｄｅｇｒｅｅ）示すことができる。
【０７０４】
Ｐｉｔｃｈは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ  ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、Ｐｉｔｃｈ軸を基準として回転した角度を度単位で（ｉｎ  ｄｅｇｒｅｅ）示すことができる。
【０７０５】
ｒｏｌｌは、参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ  ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の中心点において、ｒｏｌｌ軸を基準として回転した角度を度単位で（ｉｎ  ｄｅｇｒｅｅ）示すことができる。
【０７０６】
ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗは参照されたトラック（ｒｅｆｅｒｅｎｃｅｄ  ｔｒａｃｋ）のメディアサンプルに関連する領域（ｒｅｇｉｏｎ）の視野角（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ  ｄｅｇｒｅｅ）を示す。
【０７０７】
ｄｕｒａｔｉｏｎは該当ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅサンプルの持続時間を示す。この値の時間単位は’ｍｖｈｄ’又は該当メタデータトラックの’ｍｄｈｄ’ボックスが提供するｔｉｍｅｓｃａｌｅである。
【０７０８】
ｉｎｔｅｒｐｏｌａｔｅは連続サンプルに対する時間連続性を示す。一実施例において、ｉｎｔｅｒｐｏｌａｔｅがｔｒｕｅである場合、アプリケーションは以前のサンプルと現在のサンプル間のＲＯＩ座標値を線形的に補間でき、ｉｎｔｅｒｐｏｌａｔｅがｆａｌｓｅである場合、以前のサンプルと現在のサンプルの間に補間は行われない。ＲＯＩメタデータトラックに対する同期化サンプル（ｓｙｎｃ  ｓａｍｐｌｅｓ）のｉｎｔｅｒｐｏｌａｔｅ値は０である。
【０７０９】
本発明の一側面によれば、全方位ビデオを伝送する方法が開示される。
【０７１０】
図４９は本発明の一実施例による全方位ビデオを伝送する方法を示すフローチャートである。
【０７１１】
本発明の一実施例による全方位ビデオを伝送する方法は、全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）、２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）及びエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）を含む。
【０７１２】
全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）において、全方位ビデオのためのイメージを得ることができる。図１、図２及び図４に説明したように、全方位ビデオのためのイメージは全方位カメラ（３６０゜カメラ、ＶＲカメラ）を用いて全方位ビデオのためのイメージをキャプチャーして得るか、或いは全方位ビデオに該当するデータを生成することにより得ることができる。
【０７１３】
全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）は、図１のキャプチャー過程（ｔ１０１０）に対応し、図２のデータ入力部における動作に対応し、図４の獲得（ａｃｑｕｉｓｉｔｉｏｎ）に対応し、また図４３、図４６及び図４７の獲得過程（ａｃｑｕｉｓｔｉｏｎ）に対応する。
【０７１４】
全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）は、全方位ビデオのためのイメージを３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ  ｓｔｒｕｃｔｕｒｅ）又は３次元モデル（３Ｄｍｏｄｅｌ）にプロジェクションする段階である。一実施例において、３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ  ｓｔｒｕｃｔｕｒｅ）又は３次元モデル（３Ｄｍｏｄｅｌ）としては、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダー（Ｃｙｌｉｎｄｅｒ）又はピラミッド（Ｐｙｒａｍｉｄ）がある。
【０７１５】
全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）は、図１の準備過程（ｔ１０１０）のプロジェクションに対応し、図２のプロジェクション処理部における動作に対応し、図４のプロジェクション（ｐｒｏｊｅｃｔｉｏｎ）に対応し、また図４３、図４６及び図４７のプロジェクション／マッピング過程（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ）のプロジェクションに対応する。
【０７１６】
一実施例において、全方位ビデオを伝送する方法は、全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）と、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）の間に、さらに全方位ビデオのためのイメージを連結する段階であるステッチング段階を含む。即ち、全方位ビデオのためのイメージはステッチングを通じて連結され、連結されたイメージが３次元プロジェクション構造（３Ｄｐｒｏｊｅｃｔｉｏｎ  ｓｔｒｕｃｔｕｒｅ）に投影（ｐｒｏｊｅｃｔｉｏｎ）される。
【０７１７】
３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、３次元プロジェクションのストラクチャーに投影された３次元イメージを２次元フレームにマッピングする段階である。３次元プロジェクションのストラクチャーに投影された３次元イメージは３次元領域情報を通じて表現され、２次元フレームにパッキングされたイメージ（ｐａｃｋｅｄ  ｉｍａｇｅ）は２次元領域情報を通じて表現されることができる。
【０７１８】
この時、２次元領域情報と３次元領域情報は互いに対応する。即ち、２次元領域情報が指示する２次元フレーム上の領域又は地点は、３次元領域情報が指示する３次元プロジェクション構造上の領域又は地点に対応することができる。
【０７１９】
ここで、２次元領域情報は、図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報である。また２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報である。
【０７２０】
一方、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、図１の準備過程（ｔ１０１０）の２Ｄイメージマッピングに対応し、図２のプロジェクション処理部における２Ｄプロジェクション動作に対応し、図４のプロジェクション及びマッピング（ｐｒｏｊｅｃｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ）のマッピング過程に対応し、図４３、図４６及び図４７のプロジェクション／マッピング過程（ｐｒｏｊｅｃｔｉｏｎ／ｍａｐｐｉｎｇ）のマッピングに対応する。
【０７２１】
一実施例において、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）は、３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画する段階及び所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階を含む。
【０７２２】
かかる３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画する段階及び所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階は、図１のリージョンごとのパッキング過程に対応し、図２のリージョンごとのパッキング部の動作に対応し、図４のリージョンごとのパッキング過程（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）に対応する。なお、リージョンごとのパッキングが行われた場合、所定の領域ごとに区画されたサブイメージは、各々パッキングされたフレームに対応する。リージョンごとのパッキングが行われない場合、２次元フレームはパッキングされたフレームと同一であることができる。
【０７２３】
２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、パッキングされたイメージを所定の符号化方式により符号化する（ｅｎｃｏｄｉｎｇ）段階である。
【０７２４】
２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、図１の準備過程（ｔ１０１０）のエンコーディング過程に対応し、図２のデータエンコーダーの動作に対応し、図４のビデオエンコーディング又はイメージエンコーディング過程に対応し、図４３、図４６及び図４７のビデオエンコーディング過程（ｖｉｄｅｏ  ｅｎｃｏｄｉｎｇ）に対応する。
【０７２５】
一実施例において、リージョンごとのパッキングが行われる場合、２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）は、各々のリージョンに対応するパッキングされたイメージ（ｐａｃｋｅｄ  ｉｍａｇｅ）ごとにエンコーディングする段階である。この時、各々のパッキングされたイメージに対する符号化方式は互いに異なることもできる。
【０７２６】
エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）は、エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信装置に伝送する段階である。
【０７２７】
エンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）は、図１の伝送過程に対応し、図２の伝送部における動作に対応し、図４の伝達（ｄｅｌｉｖｅｒｙ）に対応する。
【０７２８】
一実施例において、データ信号は放送信号であり、放送信号を通じてエンコーディングされたイメージ及び全方位ビデオに関するメタデータが伝送されることができる。
【０７２９】
代替の実施例において、エンコーディングされたイメージは放送網を介して伝送され、全方位ビデオに関するメタデータはブロードバンド網を介して伝送されるが、逆にエンコーディングされたイメージはブロードバンド網を介して伝送され、全方位ビデオに関するメタデータは放送網を介して伝送されることもでき、エンコーディングされたイメージ及び全方位ビデオに関するメタデータがいずれもブロードバンド網を介して伝送されることもできる。
【０７３０】
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータは図８のメタデータの全部又は一部に該当し、図１２乃至図１９、図２０乃至図２３、図２５、図２７、図２８、図３０乃至図３８、図４０、図４１、図４４、図４５及び／又は図４８の情報を意味する。
【０７３１】
具体的な実施例において、全方位ビデオに関するメタデータは３次元プロジェクションのストラクチャーに投影されたイメージに関する３次元領域情報又は２次元フレームパッキングされたイメージに関する２次元領域情報を含むことができる。ここで、２次元領域情報は図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報である。また、２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報であることができる。
【０７３２】
より具体的には、実施例において、３次元領域情報は、球形の３次元プロジェクションのストラクチャーにプロジェクションされた３次元イメージの領域を指示するために使用できる。即ち、３次元領域情報は球面の領域を指示する情報であることができる（図１４、図１５、図１６、図１７、図１８、図３８  図４０、図４１、図４４及び図４５）。かかる実施例において、３次元領域情報は水平視野範囲を指示する水平視野情報及び垂直視野範囲を指示する垂直視野情報を含む。また、３次元領域情報はさらに、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報を含むことができる。一実施例において、水平視野情報及び垂直視野情報は、図１４乃至図１８のｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿  ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅである。
【０７３３】
また、一実施例において、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報は、図１４乃至図１８のｃｅｎｔｅｒ＿ｙａｗ、ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ及び／又はｒｏｌｌ＿ｃｅｎｔｅｒである。
【０７３４】
また、より具体的には、実施例において、全方位ビデオに関するメタデータは、上記球面の領域を特定する領域タイプを識別する領域タイプ情報を含む。該領域タイプは、上記球に属する４つの大圏（ｇｒｅａｔ  ｃｉｒｃｌｅ）により領域を特定する第１タイプ及び上記球に属する２つの大圏（ｇｒｅａｔ  ｃｉｒｃｌｅ）と２つの小圏（ｓｍａｌｌ  ｃｉｒｃｌｅ）により領域を特定する第２タイプを含み、大圏は球の中心を通る円を意味し、小圏は球の中心を通らない円を意味する。ここで、領域タイプは図１６乃至図１９に説明したｒｅｇｉｏｎ＿ｔｙｐｅを意味する。
【０７３５】
また、全方位ビデオに関するメタデータは、ＲＯＩ情報、勧奨領域（ｒｅｃｏｍｍｅｎｄｅｄ  ｒｅｇｉｏｎ）情報、又は全方位ビデオプロデューサーが意図した視点に関する情報を指示する。
【０７３６】
かかる全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ  ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２  ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ  ｆｉｅｌｄ、及び／又はＶＣＬのＳＥＩ  ｍｅｓｓａｇｅを通じて伝送される。
【０７３７】
一実施例において、全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ  ｓｅｔ）に含まれて伝送される。これについての説明は、図２２乃至図２９と該当図面の説明に詳しく説明されている。
【０７３８】
他の実施例において、全方位ビデオに関するメタデータは、ＭＰＥＧ−２  ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット又はＴＳ（ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ  ｆｉｅｌｄ）に含まれて伝送される。これについての説明は、図３０乃至図３９と該当図面の説明に詳しく説明されている。
【０７３９】
また他の実施例において、全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｌａｙｅｒ）のＳＥＩ  ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ）に含まれて伝送される。これについての説明は、図４０乃至図４２と該当図面の説明に詳しく説明されている。なお、一実施例において、上記球面の領域は、図４１に説明したように、上記球に属する４つの大圏により領域が特定される。
【０７４０】
本発明の他の側面によれば、全方位ビデオを伝送する装置が開示される。
【０７４１】
図５０は本発明の一実施例による全方位ビデオを伝送する装置を示すブロック図である。
【０７４２】
本発明の一実施例による全方位ビデオを伝送する装置は、全方位ビデオのためのイメージを得るイメージ獲得部（Ｈ５０１００）、全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影するプロジェクション部（Ｈ５０２００）、３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングするパッキング部（Ｈ５０３００）、２次元フレームにパッキングされたイメージをエンコーディングするエンコーダー（Ｈ５０４００）及びエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する伝送部（Ｈ５０５００）を含む。
【０７４３】
イメージ獲得部（Ｈ５０１００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における全方位ビデオのためのイメージを得る段階（ＳＨ４９１００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７４４】
プロジェクション部（Ｈ５０２００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における全方位ビデオのためのイメージを３次元プロジェクションのストラクチャーに投影する段階（ＳＨ４９２００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７４５】
パッキング部（Ｈ５０３００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における３次元プロジェクションのストラクチャーに投影されたイメージを２次元フレームにパッキングする段階（ＳＨ４９３００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７４６】
エンコーダー（Ｈ５０４００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法における２次元フレームにパッキングされたイメージをエンコーディングする段階（ＳＨ４９４００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７４７】
伝送部（Ｈ５０５００）の動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるエンコーディングされたイメージ及び全方位ビデオに関するメタデータを含むデータ信号を伝送する段階（ＳＨ４９５００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７４８】
一実施例において、全方位ビデオを伝送する装置はさらにステッチャー（図示せず）を含むことができる。このステッチャーは全方位ビデオのためのイメージを連結できる。ステッチャーの動作は図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるステッチング段階の動作に対応し、該当段階に関連する説明を適用できる。
【０７４９】
また、一実施例において、パッキング部（Ｈ５０３００）は、３次元プロジェクションのストラクチャーに投影されたイメージを所定の領域に区画した後、所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングすることができる。このパッキング部のリージョンごとのパッキング動作は、図４９に説明した本発明の一実施例による全方位ビデオを伝送する方法におけるリージョンごとのパッキング段階の動作に対応し、該当段階に関連する説明を適用できる。
【０７５０】
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータに関する内容は、本発明の一実施例による全方位ビデオを伝送する方法に説明した内容をそのまま適用できる。
【０７５１】
本発明のさらに他の側面によれば、全方位ビデオを受信する方法が開示される。
【０７５２】
図５１は本発明の一実施例による全方位ビデオを受信する方法を示すフローチャートである。
【０７５３】
本発明の一実施例による全方位ビデオを受信する方法は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）、全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）、全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）、及び全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）を含む。
【０７５４】
本発明の一実施例による全方位ビデオを受信する方法は、上述した本発明の一実施例による全方位ビデオを伝送する方法に対応する受信の側面の方法である。
【０７５５】
全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階であり、かかるデータ信号は送信装置から伝送されたものである。
【０７５６】
全方位ビデオのためのイメージは、本発明の一実施例による全方位ビデオを送信する方法におけるエンコーディングされたイメージを意味する。即ち、ここで、全方位ビデオのためのイメージは、図４９のＳＨ４９１００段階、ＳＨ４９２００段階、ＳＨ４９３００段階及びＳＨ４９４００段階で生成されたエンコーディングされたイメージである。
【０７５７】
全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）は、図１の受信過程に対応し、図３の受信部における動作に対応し、図４の受信過程に対応する。
【０７５８】
一実施例において、データ信号は放送信号であり、放送信号を通じて全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを伝送できる。
【０７５９】
代替の実施例において、全方位ビデオのためのイメージは放送網を介して伝送され、全方位ビデオに関するメタデータはブロードバンド網を介して伝送されるが、逆に全方位ビデオのためのイメージはブロードバンド網を介して伝送され、全方位ビデオに関するメタデータは放送網を介して伝送されることができ、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータがいずれもブロードバンド網を介して伝送されることもできる。
【０７６０】
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータは、図８のメタデータの全部又は一部に該当することができ、図１２乃至図１９、図２０乃至図２３、図２５、図２７、図２８、図３０乃至図３８、図４０、図４１、図４４、図４５及び／又は図４８の情報を意味することができる。
【０７６１】
具体的な実施例において、全方位ビデオに関するメタデータは、３次元プロジェクションのストラクチャーに投影されたイメージに対する３次元領域情報又は２次元フレームにパッキングされたイメージに対する２次元領域情報を含む。ここで、２次元領域情報は図１２、図１３、図３７、図４０、図４４及び図４５に説明した情報であり、３次元領域情報は図１４、図１５、図１６、図１７、図１８、図３８、図４０、図４１、図４４及び図４５に説明した情報であることができる。また、２次元領域情報及び３次元領域情報は、全方位ビデオに関するメタデータに含まれる情報であることができる。
【０７６２】
より具体的には、実施例において、３次元領域情報は球形の３次元プロジェクションのストラクチャーにプロジェクションされた３次元イメージの領域を指示するために使用できる。即ち、３次元領域情報は球面の領域を指示する情報であることができる（図１４、図１５、図１６、図１７、図１８、図３８  図４０、図４１、図４４及び図４５）。この実施例において、３次元領域情報は、水平視野範囲を指示する水平視野情報及び垂直視野範囲を指示する垂直視野情報を含む。また、３次元領域情報はさらに、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報を含む。一実施例において、水平視野情報及び垂直視野情報は、図１４乃至図１８のｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍｉｎ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｍａｘ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿  ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｗｉｄｔｈ、ｒｅｆｅｒｅｎｃｅ＿ｈｅｉｇｈｔ、ｗｉｄｔｈ、ｈｅｉｇｈｔ、ｒｅｆｅｒｅｎｃｅ＿ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ、ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅ、ｈｏｒｉｚｏｎｔａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｅｒｔｉｃａｌ＿ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ、ｖｉｅｗｐｏｉｎｔ＿ｙａｗ＿ｒａｎｇｅ及び／又はｖｉｅｗｐｏｉｎｔ＿ｐｉｔｃｈ＿ｒａｎｇｅである。
【０７６３】
また、一実施例において、水平視野範囲及び垂直視野範囲の中心を指示するためのヨー（ｙａｗ）軸の角度及びピッチ（ｐｉｔｃｈ）軸の角度を各々指示するヨー情報及びピッチ情報は、図１４乃至図１８のｃｅｎｔｅｒ＿ｙａｗ、ｙａｗ、ｃｅｎｔｅｒ＿ｐｉｔｃｈ、ｐｉｔｃｈ、ｒｅｆｅｒｅｎｃｅ＿ｙａｗ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｐｉｔｃｈ＿ｃｅｎｔｅｒ、ｒｅｆｅｒｅｎｃｅ＿ｒｏｌｌ＿ｃｅｎｔｅｒ、ｙａｗ＿ｃｅｎｔｅｒ、ｐｉｔｃｈ＿ｃｅｎｔｅｒ及び／又はｒｏｌｌ＿ｃｅｎｔｅｒである。
【０７６４】
また、より具体的には、実施例において、全方位ビデオに関するメタデータは球面の領域を特定する領域タイプを識別する領域タイプ情報を含む。領域タイプは、上記球に属する４つの大圏（ｇｒｅａｔ  ｃｉｒｃｌｅ）により領域を特定する第１タイプ、及び上記球に属する２つの大圏（ｇｒｅａｔ  ｃｉｒｃｌｅ）と２つの小圏（ｓｍａｌｌ  ｃｉｒｃｌｅ）により領域を特定する第２タイプを含み、大圏は上記球の中心を通る円を意味し、小圏は上記球の中心を通らない円を意味する。ここで、領域タイプは図１６乃至図１９に説明したｒｅｇｉｏｎ＿ｔｙｐｅを意味する。
【０７６５】
また、全方位ビデオに関するメタデータはＲＯＩ情報、勧奨領域（ｒｅｃｏｍｍｅｎｄｅｄ  ｒｅｇｉｏｎ）情報、又は全方位ビデオプロデューサーが意図した視点に関する情報を指示できる。
【０７６６】
この全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ  ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２  ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ  ｆｉｅｌｄ、及び／又はＶＣＬのＳＥＩ  ｍｅｓｓａｇｅを通じて伝送される。
【０７６７】
一実施例において、全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ  ｓｅｔ）に含まれて伝送される。これに関する説明は、図２２乃至図２９と該当図面の説明に詳しく説明されている。
【０７６８】
他の実施例において、全方位ビデオに関するメタデータは、ＭＰＥＧ−２  ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケット又はＴＳ（ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ  ｆｉｅｌｄ）に含まれて伝送される。これに関する説明は、図３０乃至図３９と該当図面の説明に詳しく説明されている。
【０７６９】
また他の実施例において、全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｌａｙｅｒ）のＳＥＩ  ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｌａｙｅｒ）に含まれて伝送される。これに関する説明は、図４０乃至図４２と該当図面の説明に詳しく説明されている。なお、一実施例において、上記球面の領域は、図４１に説明したように、上記球に属する４つの大圏により領域が特定される。
【０７７０】
全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）は、データ信号に含まれた全方位ビデオに関するメタデータをパーシングする段階である。
【０７７１】
上述したように、全方位ビデオに関するメタデータは、ＩＳＯＢＭＦＦファイルフォーマット、ＤＡＳＨ  ＭＰＤ／Ｓｅｇｍｅｎｔ、ＭＰＥＧ−２  ＴＳのＰＥＳパケット又はａｄａｐｔａｉｏｎ  ｆｉｅｌｄ及び／又はＶＣＬのＳＥＩ  ｍｅｓｓａｇｅを通じて伝送できるので、全方位ビデオに関するメタデータは各レベルにおいてパーシングされることができる。
【０７７２】
全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、エンコーディングされたイメージを符号化した方式に対応する復号化方式を使用して、エンコーディングされたイメージをデコーディングする段階である。
【０７７３】
全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、図１のプロセシング過程のデコーディング過程に対応し、図３のデータデコーダーの動作に対応し、図４のビデオデコーディング又はイメージデコーディング過程に対応し、図４３、図４６及び図４７のビデオデコーディング過程（ｖｉｄｅｏ  ｄｅｃｏｄｉｎｇ）に対応する。
【０７７４】
一実施例において、リージョンごとのパッキングが行われる場合、全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）は、各リージョンに対応するパッキングされたイメージ（ｐａｃｋｅｄ  ｉｍａｇｅ）ごとにデコーディングする段階である。この時、各パッキングされたイメージに対する復号化方式が異なることができる。
【０７７５】
なお、全方位ビデオに関するメタデータがＶＣＬのＳＥＩ  ｍｅｓｓａｇｅを通じて伝送される実施例である場合、全方位ビデオに関するメタデータは（ＳＨ５１３００）の段階で抽出できる。
【０７７６】
全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）は、２次元フレームにパッキングされたイメージを３次元モデルにリプロジェクションする段階である。ＳＨ５１３００の段階でデコーディングされた全方位ビデオのためのイメージは、２次元フレームにパッキングされたイメージを意味するので、この段階（ＳＨ５１４００）は２次元フレームにパッキングされたイメージを３次元モデルにリプロジェクションする段階を意味する。ここで、３次元モデルは、本発明の一実施例による全方位ビデオを伝送する方法における３次元プロジェクションの構造と同一であることができる。
【０７７７】
全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）は、図１のレンダリング過程（ｔ１０３０）に対応し、図３のリプロジェクション処理部の動作に対応し、図４のビデオレンダリング過程に対応し、図４３、図４６及び図４７のリプロジェクション過程（ｒｅ−ｐｒｏｊｅｃｔｉｏｎ）及びＶＲビデオレンダリング過程（ＶＲ  ｖｉｄｅｏ  ｒｅｎｄｅｒｉｎｇ）に対応する。
【０７７８】
一実施例において、本発明の一実施例による全方位ビデオを受信する方法は、さらにフィードバック段階を含むことができる。このフィードバック段階は、ユーザデバイスのビューポート情報又は回転情報を出力する段階であって、このユーザデバイスのビューポート情報又は回転情報に基づいて視聴領域に対応するデータが処理される。このユーザデバイスのビューポート情報又は回転情報を含むフィードバック情報は、リプロジェクション段階又はレンダリング段階以前に提供されるか、イメージデコーディング段階以前に提供されることができ、或いは伝送ファイル又はセグメントを脱カプセル化する段階以前に提供されることもできる。さらに、フィードバック情報は送信側に伝送されることもできる。
【０７７９】
このフィードバック段階は、図１のフィードバック過程に対応し、図３のフィードバック処理部における動作に対応し、図４のＶＲアプリケーションのトラッキング過程に対応し、図４３、図４６及び図４７のトラッキング過程（Ｈｅａｄ／ｅｙｅ  ｔｒａｃｋｉｎｇ）に対応する。
【０７８０】
本発明のさらに他の側面によれば、全方位ビデオを受信する装置が開示される。
【０７８１】
図５２は本発明の一実施例による全方位ビデオを受信する装置を示すブロック図である。
【０７８２】
本発明の一実施例による全方位ビデオを受信する装置は、全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する受信部（Ｈ５２１００）、全方位ビデオに関するメタデータをパーシングするメタデータパーサー（Ｈ５２２００）、全方位ビデオのためのイメージをデコーディングするデコーダー（Ｈ５２３００）、及び全方位ビデオのためのイメージを３次元モデルにリプロジェクションするレンダリング部（Ｈ５２４００）を含む。
【０７８３】
受信部（Ｈ５２１００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージ及び全方位ビデオに関するメタデータを含むデータ信号を受信する段階（ＳＨ５１１００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７８４】
メタデータパーサー（Ｈ５２２００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオに関するメタデータをパーシングする段階（ＳＨ５１２００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７８５】
デコーダー（Ｈ５２３００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージをデコーディングする段階（ＳＨ５１３００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７８６】
レンダリング部（Ｈ５２４００）の動作は、図５１に説明した本発明の一実施例による全方位ビデオを受信する方法における全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階（ＳＨ５１４００）に記載の動作に対応するので、該当段階に関連する説明を適用できる。
【０７８７】
一実施例において、全方位ビデオを受信する装置は、さらにフィードバック処理部（図示せず）を含むことができる。このフィードバック処理部は、ユーザデバイスのビューポート及び／又は回転をトラッキングしてビューポート情報及び／又は回転情報を生成して出力する。
【０７８８】
全方位ビデオに関するメタデータは、受信装置が全方位ビデオを処理するために必要な一体の情報を意味する。全方位ビデオに関するメタデータについては、本発明の一実施例による全方位ビデオを受信する方法に説明した内容をそのまま適用できる。
【０７８９】
上述した装置の内部コンポーネントは、メモリに貯蔵された連続する実行過程を行うプロセッサであるか、或いはそれ以外のハードウェアで構成されたハードウェアコンポーネントであることができる。これらは装置の内部／外部に位置することができる。
【０７９０】
上述したモジュールは、実施例によって省略されることができ、或いは類似／同一の動作を行うモジュールに置き換えることができる。
【０７９１】
上述した各々のパート、モジュール又はユニットは、メモリ（又は貯蔵ユニット）に貯蔵された連続する実行過程を行うプロセッサでるか、或いはハードウェアパートである。上述した実施例に記載された各々の段階は、プロセッサ又はハードウェアパートにより行われることができる。上述した実施例に記載された各々のモジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作できる。また、本発明が提示する方法は、コードとして行われることができる。このコードは、プロセッサが読み取り可能な貯蔵媒体に記録されることができ、よって装置（ａｐｐａｒａｔｕｓ）が提供するプロセッサにより読み取られることができる。
【０７９２】
説明の便宜のために各図を区分して説明したが、各図に示した実施例を併合して新しい実施例を実現するように設計することも可能である。そして、通常の技術者の必要によって、以上説明した実施例を実行するためのプログラムが記録されているコンピューターで読み取り可能な記録媒体を設計することも、本発明の権利範囲に属する。
【０７９３】
本発明に係る装置及び方法は、以上説明した実施例の構成及び方法が限定的に適用されるものではなく、上述した実施例の様々な変形が可能なように、各実施例の全部又は一部を選択的に組み合せて構成することもできる。
【０７９４】
一方、本発明が提案する方法を、ネットワークデバイスに具備された、プロセッサで読み取り可能な記録媒体に、プロセッサで読み取り可能なコードとして具現することができる。プロセッサで読み取り可能な記録媒体は、プロセッサで読み取り可能なデータが記憶されるいずれの種類の記録装置をも含む。プロセッサで読み取り可能な記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ記憶装置などがあり、また、インターネットを介した伝送などのようなキャリアウェーブの形態で具現されるものも含む。また、プロセッサで読み取り可能な記録媒体は、ネットワークで接続されたコンピューターシステムに分散され、分散方式でプロセッサで読み取り可能なコードが記憶されて実行されてもよい
【０７９５】
また、以上では、本発明の好適な実施例について図示及び説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱しない限度で、当該発明の属する技術の分野における通常の知識を有する者にとって様々な変形実施が可能であることは無論である。これらの変形実施も、本発明の技術的思想や展望から個別的に理解してはならない
【０７９６】
本発明の思想や範囲を逸脱することなく、本発明において様々な変更及び変形が可能であることは当業者に理解される。したがって、本発明は、添付された請求項及びその同等範囲内で提供される本発明の変更及び変形を含むことと意図される。
【０７９７】
本明細書において装置及び方法発明が全て言及され、装置及び方法発明の全ての説明は互いに補完して適用されることができる。
【０７９８】
［発明を実施するための形態］
様々な実施例が発明を実施するための最善の形態で説明された。
【産業上の利用可能性】
【０７９９】
本発明は一連の放送信号提供分野で使用される。
【０８００】
本発明の思想や範囲を逸脱することなく、本発明において様々な変更及び変形が可能であることは当業者に理解される。したがって、本発明は、添付された請求項及びその同等範囲内で提供される本発明の変更及び変形を含むことと意図される。
【図１】
2019525675.tif 000003
【図２】
2019525675.tif 000004
【図３】
2019525675.tif 000005
【図４（ａ）】
2019525675.tif 000006
【図４（ｂ）】
2019525675.tif 000007
【図５】
2019525675.tif 000008
【図６（ａ）】
2019525675.tif 000009
【図６（ｂ）】
2019525675.tif 000010
【図６（ｃ）】
2019525675.tif 000011
【図７（ａ）】
2019525675.tif 000012
【図７（ｂ）】
2019525675.tif 000013
【図８】
2019525675.tif 000014
【図９】
2019525675.tif 000015
【図１０】
2019525675.tif 000016
【図１１】
2019525675.tif 000017
【図１２（ａ）】
2019525675.tif 000018
【図１２（ｂ）】
2019525675.tif 000019
【図１３（ａ）】
2019525675.tif 000020
【図１３（ｂ）】
2019525675.tif 000021
【図１４（ａ）】
2019525675.tif 000022
【図１４（ｂ）】
2019525675.tif 000023
【図１５（ａ）】
2019525675.tif 000024
【図１５（ｂ）】
2019525675.tif 000025
【図１６（ａ）】
2019525675.tif 000026
【図１６（ｂ）】
2019525675.tif 000027
【図１７（ａ）】
2019525675.tif 000028
【図１７（ｂ）】
2019525675.tif 000029
【図１８（ａ）】
2019525675.tif 000030
【図１８（ｂ）】
2019525675.tif 000031
【図１９（ａ）】
2019525675.tif 000032
【図１９（ｂ）】
2019525675.tif 000033
【図１９（ｃ）】
2019525675.tif 000034
【図２０】
2019525675.tif 000035
【図２１（ａ）】
2019525675.tif 000036
【図２１（ｂ）】
2019525675.tif 000037
【図２１（ｃ）】
2019525675.tif 000038
【図２２】
2019525675.tif 000039
【図２３】
2019525675.tif 000040
【図２４】
2019525675.tif 000041
【図２５】
2019525675.tif 000042
【図２６】
2019525675.tif 000043
【図２７】
2019525675.tif 000044
【図２８】
2019525675.tif 000045
【図２９】
2019525675.tif 000046
【図３０】
2019525675.tif 000047
【図３１】
2019525675.tif 000048
【図３２】
2019525675.tif 000049
【図３３】
2019525675.tif 000050
【図３４】
2019525675.tif 000051
【図３５】
2019525675.tif 000052
【図３６】
2019525675.tif 000053
【図３７】
2019525675.tif 000054
【図３８】
2019525675.tif 000055
【図３９】
2019525675.tif 000056
【図４０】
2019525675.tif 000057
【図４１】
2019525675.tif 000058
【図４２】
2019525675.tif 000059
【図４３】
2019525675.tif 000060
【図４４】
2019525675.tif 000061
【図４５】
2019525675.tif 000062
【図４６】
2019525675.tif 000063
【図４７】
2019525675.tif 000064
【図４８（ａ）】
2019525675.tif 000065
【図４８（ｂ）】
2019525675.tif 000066
【図４９】
2019525675.tif 000067
【図５０】
2019525675.tif 000068
【図５１】
2019525675.tif 000069
【図５２】
2019525675.tif 000070
【手続補正書】
【提出日】平成31年2月21日(2019.2.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオを伝送する方法であって、
前記全方位ビデオのためのイメージを得る段階と、
前記全方位ビデオのためのイメージを球（ｓｐｈｅｒｅ）にプロジェクト（ｐｒｏｊｅｃｔｉｎｇ）する段階と、
前記球にプロジェクトされたイメージを２次元フレームにパッキングする段階と、
前記２次元フレームにパッキングされたイメージをエンコーディングする段階と、
前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを伝送する段階と、を含み、
前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
前記領域のタイプは、第１タイプ又は第２タイプに該当し、
前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送方法。
【請求項２】
前記ローテーション（ｒｏｔａｔｉｏｎ）に関連する情報は、ピッチ軸（ｐｉｔｃｈ ａｘｉｓ）の角度を指示するピッチ情報及びヨー軸（ｙａｗ ａｘｉｓ）の角度を指示するヨー情報を全て含むことを特徴とする、請求項１に記載の全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送方法。
【請求項３】
前記大圏は、前記球の中心を通過する円を意味し、
前記小圏は、前記球の中心を通過しない円を意味することを特徴とする、請求項２に記載の全方位ビデオの伝送方法。
【請求項４】
前記全方位ビデオに関するメタデータは、ＶＣＬ（Ｖｉｄｅｏ Ｃｏｄｉｎｇ ｌａｙｅｒ）のＳＥＩ ｍｅｓｓａｇｅ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項５】
前記全方位ビデオに関するメタデータは、ＭＰＥＧ−２ ＴＳのＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）パケット又はＴＳ（Ｔｒａｎｓｐｏｒｔ Ｓｔｒｅａｍ）のアダプテーションフィールド（ａｄａｐｔａｉｏｎ ｆｉｅｌｄ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項６】
前記全方位ビデオに関するメタデータは、ＤＡＳＨ（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）のアダプテーションセット（ａｄａｐｔａｔｉｏｎ ｓｅｔ）に含まれて伝送されることを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項７】
前記パッキングする段階は、
前記球にプロジェクトされたイメージを所定の領域に区画する段階と、
前記所定の領域ごとに区画されたサブイメージを２次元フレームにパッキングする段階と、を含むことを特徴とする、請求項１に記載の全方位ビデオの伝送方法。
【請求項８】
全方位ビデオのためのイメージを得るイメージ獲得部と、
前記全方位ビデオのためのイメージを球にプロジェクトするプロジェクション部と、
前記球にプロジェクトされたイメージを２次元フレームにパッキングするパッキング部と、
前記２次元フレームにパッキングされたイメージをエンコーディングするエンコーダーと、
前記エンコーディングされたイメージ及び前記全方位ビデオに関するメタデータを伝送する伝送部と、を含み、
前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
前記領域のタイプは、第１タイプ又は第２タイプに該当し、
前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの伝送装置。
【請求項９】
全方位ビデオのためのイメージ及び球（ｓｐｈｅｒｅ）にプロジェクトされた前記全方位ビデオに関するメタデータを受信する段階と、
前記全方位ビデオに関するメタデータをパーシングする段階と、
前記全方位ビデオのためのイメージをデコーディングする段階と、
前記メタデータに基づいて、前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションする段階と、を含み、
前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
前記領域のタイプは、第１タイプ又は第２タイプに該当し、
前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの受信方法。
【請求項１０】
全方位ビデオのためのイメージ及び球（ｓｐｈｅｒｅ）にプロジェクトされた前記全方位ビデオに関するメタデータを受信する受信部と、
前記全方位ビデオに関するメタデータをパーシングするメタデータパーサーと、
前記全方位ビデオのためのイメージをデコーディングするデコーダーと、
前記メタデータに基づいて、前記全方位ビデオのためのイメージを３次元モデルにリプロジェクションするレンダリング部と、を含み、
前記全方位ビデオに関するメタデータは、前記球の面（ｓｕｒｆａｃｅ）の領域（ｒｅｇｉｏｎ）に関連する情報及び全域座標（ｇｌｏｂａｌ ｃｏｏｒｄｉｎａｔｅ）に対比して相対的な座標のローテーション（ｒｏｔａｔｉｏｎ）に関連する情報を全て含み、前記領域に関連する情報は、前記領域のタイプを表示するためのタイプ情報を含むことを特徴とし、
前記領域のタイプは、第１タイプ又は第２タイプに該当し、
前記第１タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された４つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）により前記領域が決定され、
前記第２タイプは、前記球の面（ｓｕｒｆａｃｅ）上に形成された２つの大圏（ｇｒｅａｔ ｃｉｒｃｌｅ）及び２つの小圏（ｓｍａｌｌ ｃｉｒｃｌｅ）により前記領域が決定されることを特徴とする、全方位（ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ）ビデオの受信装置。
【国際調査報告】
2019525675.tif 000071
2019525675.tif 000072
2019525675.tif 000073
2019525675.tif 000074
2019525675.tif 000075
2019525675.tif 000076