(57)【要約】本発明による３６０度ビデオ受信装置によって行われる３６０度画像データ処理方法は、３６０度画像データを受信する段階と、前記３６０度画像データから符号化されたピクチャーに対する情報及びメタデータを獲得する段階と、前記符号化されたピクチャーに対する情報に基づいて、魚眼ビデオフォーマットを有するピクチャーを復号化する段階と、前記メタデータに基づいて、前記ピクチャーから魚眼画像を含む円形のイメージを導き出す段階と、前記メタデータに基づいて、前記円形のイメージを処理してレンダリングする段階とを含み、前記魚眼ビデオフォーマットを有するピクチャーは、前記円形のイメージがマッピングされた四角形領域を含み、前記メタデータは、魚眼ビデオ情報を含むことを特徴とする。【選択図】図２２
2020521348.tif 000002
【特許請求の範囲】
【請求項１】
３６０度ビデオ受信装置によって行われる３６０度画像データ処理方法であって、
３６０度画像データを受信する段階と、
前記３６０度画像データから符号化されたピクチャーに対する情報及びメタデータを獲得する段階と、
前記符号化されたピクチャーに対する情報に基づいて、魚眼（ｆｉｓｈｅｙｅ）ビデオフォーマットを有するピクチャーを復号化する段階と、
前記メタデータに基づいて、前記ピクチャーから魚眼画像を含む円形のイメージを導き出す段階と、
前記メタデータに基づいて、前記円形のイメージを処理してレンダリングする段階とを含み、
前記魚眼ビデオフォーマットを有するピクチャーは、前記円形のイメージがマッピングされた四角形領域を含み、
前記メタデータは、魚眼ビデオ情報を含む、３６０度画像データ処理方法。
【請求項２】
前記魚眼ビデオ情報は、レンズタイプを示す情報を含む、請求項１に記載の３６０度画像データ処理方法。
【請求項３】
前記レンズタイプは、等距離（ｅｑｕｉｄｉｓｔａｎｔ）、ステレオグラフィック（ｓｔｅｒｅｏｇｒａｐｈｉｃ）、等立体角（ｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅ）、オーソグラフィック（ｏｒｔｈｏｇｒａｐｈｉｃ）、及びユーザ定義（ｕｓｅｒ  ｄｅｆｉｎｅｄ）の何れか一つである、 請求項２に記載の３６０度画像データ処理方法。
【請求項４】
前記メタデータに基づいて、前記円形のイメージを処理してレンダリングする段階は、  前記レンズタイプに基づいて導き出された球座標系のマッピング数式に基づき、前記円形のイメージを３Ｄ空間にマッピングする段階を含む、請求項３に記載の３６０度画像データ処理方法。
【請求項５】
前記魚眼ビデオ情報は、前記３６０度画像データがマッピングされない領域に対する情報を含む、請求項１に記載の３６０度画像データ処理方法。
【請求項６】
前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない円形領域の半径を示す情報を含む、請求項５に記載の３６０度画像データ処理方法。
【請求項７】
前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない四角形領域の数を示す情報を含む、請求項５に記載の３６０度画像データ処理方法。
【請求項８】
前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報と、高さを示す情報と、幅を示す情報とを含む、請求項７に記載の３６０度画像データ処理方法。
【請求項９】
前記３６０度画像データがマッピングされない領域のサンプルは、同じサンプル値に設定され、前記サンプル値は、黒（ｂｌａｃｋ）を示す値である、請求項５に記載の３６０度画像データ処理方法。
【請求項１０】
前記魚眼ビデオ情報は、前記３６０度画像データに対する魚眼レンズの焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）を示す情報を含む、請求項１に記載の３６０度画像データ処理方法。
【請求項１１】
前記魚眼ビデオ情報は、前記円形のイメージがレンダリングされる３Ｄ空間の中心を示す情報を含む、請求項１に記載の３６０度画像データ処理方法。
【請求項１２】
前記魚眼ビデオ情報は、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）に含まれたＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）ディスクリプタの形態で受信される、請求項１に記載の３６０度画像データ処理方法。
【請求項１３】
３６０度ビデオ送信装置によって行われる３６０度画像データ処理方法であって、
少なくとも一つの魚眼（ｆｉｓｈｅｙｅ）レンズを有するカメラによってキャプチャーされた３６０度画像を含む円形のイメージを獲得する段階と、
前記円形のイメージを魚眼ビデオフォーマットを有するピクチャーの四角形領域にマッピングする段階と、
前記円形のイメージがマッピングされた前記ピクチャーを符号化する段階と、
前記３６０度画像に対するメタデータを生成する段階と、
前記符号化された現在のピクチャー及び前記メタデータに対して格納又は送信のための処理を行う段階とを含み、
前記メタデータは魚眼ビデオ情報を含む、３６０度画像データ処理方法。
【請求項１４】
前記魚眼ビデオ情報は、レンズタイプを示す情報を含む、請求項１３に記載の３６０度画像データ処理方法。
【請求項１５】
前記レンズタイプは、等距離（ｅｑｕｉｄｉｓｔａｎｔ）、ステレオグラフィック（ｓｔｅｒｅｏｇｒａｐｈｉｃ）、等立体角（ｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅ）、オーソグラフィック（ｏｒｔｈｏｇｒａｐｈｉｃ）、及びユーザ定義（ｕｓｅｒ  ｄｅｆｉｎｅｄ）の何れか一つである、請求項１４に記載の３６０度画像データ処理方法。
【請求項１６】
前記魚眼ビデオ情報は、前記３６０度画像データがマッピングされない領域に対する情報を含む、請求項１３に記載の３６０度画像データ処理方法。
【請求項１７】
前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない四角形領域の数を示す情報を含み、
前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報と、高さを示す情報と、幅を示す情報とを含む、請求項１６に記載の３６０度画像データ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３６０度ビデオに関し、より詳細には、魚眼ビデオ情報を含む３６０度ビデオを送受信する方法及び装置に関する。
【背景技術】
【０００２】
ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）システムは、ユーザに電子的に投影された環境内にいるような感覚を提供する。ＶＲを提供するためのシステムは、より高画質のイメージと、空間的な音響を提供するためにさらに改善されることができる。ＶＲシステムは、ユーザがインタラクティブにＶＲコンテンツを消費するようにすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の技術的課題は、ＶＲシステムを提供するためのＶＲビデオデータ送信の効率を上げる方法及び装置を提供することにある。
【０００４】
本発明の他の技術的課題は、ＶＲビデオデータ及びＶＲビデオデータに対するメタデータを送信する方法及び装置を提供することにある。
【０００５】
本発明の別の技術的課題は、ＶＲビデオデータ及びＶＲビデオデータの魚眼ビデオ情報に対するメタデータを伝送する方法及び装置を提供することにある。
【０００６】
本発明の別の技術的課題は、魚眼レンズのレンズタイプを示す情報に基づいてレンズタイプによる球座標系のマッピング数式を導き出し、導き出された球座標系のマッピング数式に基づいて３６０度画像データを３Ｄ空間にマッピングする方法及び装置を提供することにある。
【０００７】
本発明の別の技術的課題は、３６０度画像データがマッピングされない領域を示す情報に基づいて３Ｄ空間にマッピングされる３６０度画像データを導き出す方法及び装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一実施例に係ると、３６０度ビデオ送信装置によって行われる３６０度ビデオ処理方法が提供される。前記方法は、少なくとも一つの魚眼（ｆｉｓｈｅｙｅ）レンズを有するカメラによってキャプチャーされた３６０度画像を含む円形のイメージを獲得する段階と、前記円形のイメージを魚眼ビデオフォーマットを有するピクチャーの四角形領域にマッピングする段階と、前記円形のイメージがマッピングされた前記ピクチャーを符号化する段階と、前記３６０度画像に対するメタデータを生成する段階と、前記符号化された現在のピクチャー及び前記メタデータに対して格納又は送信のための処理を行う段階とを含み、前記メタデータは魚眼ビデオ情報を含むことを特徴とする。
【０００９】
本発明の別の一実施例に係ると、３６０度ビデオデータを処理する３６０度ビデオ送信装置が提供される。前記３６０度ビデオ送信装置は、少なくとも一つの魚眼（ｆｉｓｈｅｙｅ）レンズを有するカメラによってキャプチャーされた３６０度画像を含む円形のイメージを獲得するデータ入力部と、前記円形のイメージを魚眼ビデオフォーマットを有するピクチャーの四角形領域にマッピングするプロジェクション処理部と、前記円形のイメージがマッピングされた前記ピクチャーを符号化するデータエンコーダーと、前記３６０度画像に対するメタデータを生成するメタデータ処理部と、前記符号化された現在のピクチャー及び前記メタデータに対して格納又は送信のための処理を行う送信処理部とを含み、前記メタデータは魚眼ビデオ情報を含むことを特徴とする。
【００１０】
本発明の別の一実施例に係ると、３６０度ビデオ受信装置によって行われる３６０度ビデオ処理方法が提供される。前記方法は、３６０度画像データを受信する段階と、前記３６０度画像データから符号化されたピクチャーに対する情報及びメタデータを獲得する段階と、前記符号化されたピクチャーに対する情報に基づいて魚眼ビデオフォーマットを有するピクチャーを復号化する段階と、前記メタデータに基づいて前記ピクチャーから魚眼画像を含む円形のイメージを導き出す段階と、前記メタデータに基づいて前記円形のイメージを処理してレンダリングする段階とを含み、前記魚眼ビデオフォーマットを有するピクチャーは、前記円形のイメージがマッピングされた四角形領域を含み、前記メタデータは、魚眼ビデオ情報を含むことを特徴とする。
【００１１】
本発明の別の一実施例に係ると、３６０度ビデオデータを処理する３６０度ビデオ受信装置が提供される。３６０度画像データを受信する受信部と、前記３６０度画像データから符号化されたピクチャーに対する情報及びメタデータを獲得する受信処理部と、前記符号化されたピクチャーに対する情報に基づいて魚眼ビデオフォーマットを有するピクチャーを復号化するデータデコーダー、及び前記メタデータに基づいて前記ピクチャーから魚眼画像を含む円形のイメージを導き出し、前記メタデータに基づいて前記円形のイメージを処理してレンダリングするレンダラーを含み、前記魚眼ビデオフォーマットを有するピクチャーは、前記円形のイメージがマッピングされた四角形領域を含み、前記メタデータは、魚眼ビデオ情報を含むことを特徴とする。
【発明の効果】
【００１２】
本発明によると、地上波放送網とインターネット網を使用する次世代ハイブリッド放送をサポートする環境で３６０コンテンツを効率的に送信できる。
【００１３】
本発明によると、ユーザの３６０コンテンツ消費において、インタラクティブ経験（ｉｎｔｅｒａｃｔｉｖｅ  ｅｘｐｅｒｉｅｎｃｅ）を提供するための方案を提案することができる。
【００１４】
本発明によると、ユーザの３６０コンテンツ消費において、３６０コンテンツ製作者の意図が正確に反映されるようにシグナリングする方案を提案することができる。
【００１５】
本発明によると、３６０コンテンツ伝達において、効率的に送信キャパシティを増やし、必要な情報が伝達されるようにする方案を提案することができる。
【００１６】
本発明によると、３６０コンテンツを撮影した魚眼レンズのレンズタイプを示す情報に基づいてレンズタイプによる球座標系のマッピング数式を導き出すことができ、これを通じて３６０度画像データを３Ｄ空間により正確にマッピングできる案を提案することができる。
【００１７】
本発明によると、３６０コンテンツの３６０度画像データがマッピングされない領域を示す情報に基づいて３Ｄ空間にマッピングされる３６０度画像データを効率的に導き出せる案を提案することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明による３６０度ビデオ提供のための全体アーキテクチャを示す。
【図２】本発明の一実施例によるメディアファイルの構造を示す。
【図３】本発明の一実施例によるメディアファイルの構造を示す。
【図４】ＤＡＳＨベースの適応型ストリーミングモデルの全般的な動作の一例を示す。
【図５】本発明が適用されることができる３６０度ビデオ送信装置の構成を概略的に説明する図面である。
【図６】本発明が適用されることができる３６０度ビデオ受信装置の構成を概略的に説明する図面である。
【図７ａ】３６０度ビデオ送信装置／３６０度ビデオ受信装置を通じて行われる３６０度ビデオの提供のための全体のアーキテクチャーを例示的に示す。
【図７ｂ】３６０度ビデオ送信装置／３６０度ビデオ受信装置を通じて行われる３６０度ビデオの提供のための全体のアーキテクチャーを例示的に示す。
【図８】本発明の３Ｄ空間を説明するための飛行機主軸（Ａｉｒｃｒａｆｔ  Ｐｒｉｎｃｉｐａｌ  Ａｘｅｓ）の概念を示した図である。
【図９ａ】本発明に係るプロジェクションスキームを例示的に示す。
【図９ｂ】本発明に係るプロジェクションスキームを例示的に示す。
【図１０】本発明の一様相（ａｓｐｅｃｔ）に係る３６０度ビデオ送信装置を示した図である。
【図１１】本発明の別の様相に係る３６０度ビデオ受信装置を示した図である。
【図１２】本発明に係る魚眼３６０度ビデオデータの処理過程の一実施例を示した図である。
【図１３】本発明に係る魚眼３６０度ビデオデータの処理過程の別の実施例を示した図である。
【図１４】本発明に係る魚眼３６０度ビデオデータの抽出過程の一実施例を示した図である。
【図１５】本発明に係る受信側の魚眼３６０度ビデオの処理過程の一実施例を示した図である。
【図１６】本発明に係る受信側の魚眼３６０度ビデオの処理過程の別の実施例を示した図である。
【図１７ａ】本発明に係る受信側の魚眼３６０度ビデオの処理過程のまた別の実施例を示した図である。
【図１７ｂ】本発明に係る受信側の魚眼３６０度ビデオの処理過程のまた別の実施例を示した図である。
【図１８ａ】本発明に係る受信側の魚眼３６０度ビデオの処理過程のまた別の実施例を示した図である。
【図１８ｂ】本発明に係る受信側の魚眼３６０度ビデオの処理過程のまた別の実施例を示した図である。
【図１９】本発明に係る円形のイメージのマッピング過程の一実施例を示した図である。
【図２０】本発明に係る３６０度ビデオ送信装置による３６０度画像データの処理方法を概略的に示す。
【図２１】本発明に係る３６０度画像データの処理方法を行う３６０度ビデオ送信装置を概略的に示す。
【図２２】本発明に係る３６０度ビデオ受信装置による３６０度画像データの処理方法を概略的に示す。
【図２３】本発明に係る３６０度画像データ処理方法を行う３６０度ビデオ受信装置を概略的に示す。
【発明を実施するための形態】
【００１９】
本発明は、多様な変更を加えることができ、様々な実施例を有することができ、特定実施例を図面に例示して詳細に説明する。しかし、これは本発明を特定の実施例に限定するものではない。本明細書で使用する用語は、単に特定の実施例を説明するために使われたものであり、本発明の技術的思想を限定するために使われるものではない。単数の表現は、文脈上明白に異なる意味ではない限り、複数の表現を含む。本明細書で“含む”または“有する”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定するものであり、一つまたはそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性を予め排除しないと理解しなければならない。
【００２０】
一方、本発明で説明される図面上の各構成は、互いに異なる特徴的な機能に対する説明の便宜のために独立的に図示したものであり、各構成が互いに別個のハードウェアや別個のソフトウェアで具現されるということを意味するものではない。例えば、各構成のうち二つ以上の構成が統合されて一つの構成になることもでき、一つの構成が複数の構成に分けられることもできる。各構成が統合及び／または分離された実施例も、本発明の本質から外れない限り、本発明の権利範囲に含まれる。
【００２１】
以下、添付図面を参照して、本発明の好ましい実施例をさらに詳細に説明する。以下、図面上の同じ構成要素に対しては同じ参照符号を使用し、同じ構成要素に対して重複した説明は省略する。
【００２２】
図１は、本発明による３６０度ビデオ提供のための全体アーキテクチャを示す。
【００２３】
本発明は、ユーザにバーチャルリアリティ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ、ＶＲ）を提供するために、３６０コンテンツを提供する方案を提案する。ＶＲとは、実際または仮想の環境を複製（ｒｅｐｌｉｃａｔｅｓ）するための技術乃至その環境を意味する。ＶＲは、人工的にユーザに感覚的経験を提供し、これを介して、ユーザは、電子的にプロジェクションされた環境にいるような経験をすることができる。
【００２４】
３６０コンテンツは、ＶＲを具現、提供するためのコンテンツ全般を意味し、３６０度ビデオ及び／または３６０オーディオを含むことができる。３６０度ビデオは、ＶＲを提供するために必要な、同時に全ての方向（３６０度）にキャプチャまたは再生されるビデオ乃至イメージコンテンツを意味する。以下、３６０度ビデオとは、３６０度ビデオを意味する。３６０度ビデオは、３Ｄモデルによって多様な形態の３Ｄ空間上に示されるビデオ乃至イメージを意味し、例えば、３６０度ビデオは、球形面（Ｓｐｈｅｒｉｃａｌ  ｓｕｒｆａｃｅ）上に示される。３６０オーディオもＶＲを提供するためのオーディオコンテンツであり、音響発生地が３次元の特定空間上に位置すると認知されることができる、空間的（Ｓｐａｔｉａｌ）オーディオコンテンツを意味する。３６０コンテンツは、生成、処理されてユーザに送信されることができ、ユーザは、３６０コンテンツを利用してＶＲ経験を消費することができる。
【００２５】
本発明は、特に、３６０度ビデオを効果的に提供する方案を提案する。３６０度ビデオを提供するために、まず、一つ以上のカメラを介して３６０度ビデオがキャプチャされることができる。キャプチャされた３６０度ビデオは、一連の過程を経て送信され、受信側では受信されたデータを再び元来の３６０度ビデオに加工してレンダリングできる。これを介して３６０度ビデオがユーザに提供されることができる。
【００２６】
具体的に、３６０度ビデオ提供のための全体の過程は、キャプチャ過程（ｐｒｏｃｅｓｓ）、準備過程、送信過程、プロセシング過程、レンダリング過程及び／またはフィードバック過程を含むことができる。
【００２７】
キャプチャ過程は、一つ以上のカメラを介して複数個の時点の各々に対するイメージまたはビデオをキャプチャする過程を意味する。キャプチャ過程により図示された図１の１１０のようなイメージ／ビデオデータが生成されることができる。図示された図１の１１０の各平面は、各時点に対するイメージ／ビデオを意味する。このキャプチャされた複数個のイメージ／ビデオをロー（ｒａｗ）データともいう。キャプチャ過程でキャプチャと関連するメタデータが生成されることができる。
【００２８】
このキャプチャのためにＶＲのための特殊なカメラが使われることができる。実施例によってコンピュータで生成された仮想の空間に対する３６０度ビデオを提供しようとする場合、実際カメラを介したキャプチャが実行されない。この場合、単純に関連データが生成される過程として該当キャプチャ過程に代える。
【００２９】
準備過程は、キャプチャされたイメージ／ビデオ及びキャプチャ過程で発生したメタデータを処理する過程である。キャプチャされたイメージ／ビデオは、この準備過程で、ステッチング過程、プロジェクション過程、リージョン別パッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ  Ｐａｃｋｉｎｇ）及び／またはエンコーディング過程などを経ることができる。
【００３０】
まず、各々のイメージ／ビデオがステッチング（Ｓｔｉｔｃｈｉｎｇ）過程を経ることができる。ステッチング過程は、各々のキャプチャされたイメージ／ビデオを連結して一つのパノラマイメージ／ビデオまたは球形のイメージ／ビデオを作る過程である。
【００３１】
この後、ステッチングされたイメージ／ビデオは、プロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）過程を経ることができる。プロジェクション過程で、ステッチングされたイメージ／ビデオは、２Ｄイメージ上にプロジェクションされることができる。この２Ｄイメージは、文脈によって２Ｄイメージフレームとも呼ばれる。２Ｄイメージにプロジェクションすることを２Ｄイメージにマッピングすると表現することもできる。プロジェクションされたイメージ／ビデオデータは、図示された図１の１２０のような２Ｄイメージの形態になることができる。
【００３２】
２Ｄイメージ上にプロジェクションされたビデオデータは、ビデオコーディング効率などを高めるために、リージョン別パッキング過程（Ｒｅｇｉｏｎ−ｗｉｓｅ  Ｐａｃｋｉｎｇ）を経ることができる。リージョン別パッキングとは、２Ｄイメージ上にプロジェクションされたビデオデータをリージョン（Ｒｅｇｉｏｎ）別に分けて処理を加える過程を意味する。ここで、リージョン（Ｒｅｇｉｏｎ）とは、３６０度ビデオデータがプロジェクションされた２Ｄイメージが分かれた領域を意味する。このリージョンは、実施例によって、２Ｄイメージを均等に分けて区分され、または任意に分かれて区分されることができる。また、実施例によって、リージョンは、プロジェクションスキームによって区分されることもできる。リージョン別パッキング過程は、選択的（ｏｐｔｉｏｎａｌ）過程であり、準備過程から省略されることができる。
【００３３】
実施例によって、この処理過程は、ビデオコーディング効率を上げるために、各リージョンを回転し、または２Ｄイメージ上で再配列する過程を含むことができる。例えば、リージョンを回転してリージョンの特定辺が互いに近接して位置するようにすることによって、コーディング時の効率が高まるようにすることができる。
【００３４】
実施例によって、この処理過程は、３６０度ビデオ上の領域別にレゾリューション（ｒｅｓｏｌｕｔｉｏｎ）を差等化するために、特定リージョンに対するレゾリューションを高め、または低くする過程を含むことができる。例えば、３６０度ビデオ上で相対的にもっと重要な領域に該当するリージョンは、他のリージョンよりレゾリューションを高めることができる。２Ｄイメージ上にプロジェクションされたビデオデータまたはリージョン別パッキングされたビデオデータは、ビデオコーデックを介したエンコーディング過程を経ることができる。
【００３５】
実施例によって、準備過程は、付加的にエディティング（ｅｄｉｔｉｎｇ）過程などをさらに含むことができる。このエディティング過程でプロジェクション前後のイメージ／ビデオデータに対する編集などがさらに実行されることができる。準備過程でも同様に、ステッチング／プロジェクション／エンコーディング／エディティングなどに対するメタデータが生成されることができる。また、２Ｄイメージ上にプロジェクションされたビデオデータの初期時点、またはＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）などに対するメタデータが生成されることができる。
【００３６】
送信過程は、準備過程を経たイメージ／ビデオデータ及びメタデータを処理して送信する過程である。送信のために任意の送信プロトコルによる処理が実行されることができる。送信のための処理を終えたデータは、放送網及び／またはブロードバンドを介して伝達されることができる。このデータは、オンデマンド（Ｏｎ  Ｄｅｍａｎｄ）方式に受信側に伝達されることもできる。受信側では、多様な経路を介して該当データを受信することができる。
【００３７】
プロセシング過程は、受信したデータをデコーディングし、プロジェクションされているイメージ／ビデオデータを３Ｄモデル上にリプロジェクション（Ｒｅ−ｐｒｏｊｅｃｔｉｏｎ）する過程を意味する。この過程で２Ｄイメージ上にプロジェクションされているイメージ／ビデオデータが３Ｄ空間上にリプロジェクションされることができる。この過程を文脈によってマッピング、プロジェクションとも呼ばれる。このとき、マッピングされる３Ｄ空間は、３Ｄモデルによって他の形態を有することができる。例えば、３Ｄモデルには、球形（Ｓｐｈｅｒｅ）、キューブ（Ｃｕｂｅ）、シリンダ（Ｃｙｌｉｎｄｅｒ）またはピラミッド（Ｐｙｒａｍｉｄ）がある。
【００３８】
実施例によって、プロセシング過程は、付加的にエディティング（ｅｄｉｔｉｎｇ）過程、アップスケーリング（ｕｐｓｃａｌｉｎｇ）過程などをさらに含むことができる。このエディティング過程で、リプロジェクション前後のイメージ／ビデオデータに対する編集などがさらに実行されることができる。イメージ／ビデオデータが縮小されている場合、アップスケーリング過程でサンプルのアップスケーリングを介してその大きさを拡大することができる。必要な場合、ダウンスケーリングを介してサイズを縮小する作業が実行されることもできる。
【００３９】
レンダリング過程は、３Ｄ空間上にリプロジェクションされたイメージ／ビデオデータをレンダリングしてディスプレイする過程を意味する。表現によって、リプロジェクションとレンダリングを統合して３Ｄモデル上にレンダリングすると表現することもできる。３Ｄモデル上にリプロジェクションされた（または、３Ｄモデル上にレンダリングされた）イメージ／ビデオは、図示された図１の１３０のような形態を有することができる。図示された図１の１３０は、球形（Ｓｐｈｅｒｅ）の３Ｄモデルにリプロジェクションされた場合である。ユーザは、ＶＲディスプレイなどを介してレンダリングされたイメージ／ビデオの一部領域を見ることができる。このとき、ユーザが見るようになる領域は、図示された図１の１４０のような形態である。
【００４０】
フィードバック過程は、ディスプレイ過程で取得されることができる多様なフィードバック情報を送信側に伝達する過程を意味する。フィードバック過程を介して３６０度ビデオ消費において、双方向性（Ｉｎｔｅｒａｃｔｉｖｉｔｙ）が提供されることができる。実施例によって、フィードバック過程でヘッドオリエンテーション（Ｈｅａｄ  Ｏｒｉｅｎｔａｔｉｏｎ）情報、ユーザが現在見ている領域を示すビューポート（Ｖｉｅｗｐｏｒｔ）情報などが送信側に伝達されることができる。実施例によって、ユーザは、ＶＲ環境上に具現されたものと相互作用することもでき、この場合、その相互作用と関連する情報がフィードバック過程で送信側乃至サービスプロバイダ側に伝達されることもできる。実施例によって、フィードバック過程は、実行されないこともある。
【００４１】
ヘッドオリエンテーション情報は、ユーザの頭位置、角度、動きなどに対する情報を意味する。この情報に基づいてユーザが現在３６０度ビデオ内で見ている領域に対する情報、即ち、ビューポート情報が計算されることができる。
【００４２】
ビューポート情報は、現在ユーザが３６０度ビデオで見ている領域に対する情報である。これを介してゲイズ分析（Ｇａｚｅ  Ａｎａｌｙｓｉｓ）が実行され、ユーザがどのような方式に３６０度ビデオを消費するか、または３６０度ビデオのどの領域をどれくらい凝視するかなどを確認することもできる。ゲイズ分析は、受信側で実行されて送信側にフィードバックチャネルを介して伝達されることもできる。ＶＲディスプレイなどの装置は、ユーザの頭位置／方向、装置がサポートする垂直（ｖｅｒｔｉｃａｌ）または水平（ｈｏｒｉｚｏｎｔａｌ）ＦＯＶ（Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）情報などに基づいてビューポート領域を抽出することができる。
【００４３】
実施例によって、前述したフィードバック情報は、送信側に伝達されるだけでなく、受信側で消費されることもできる。即ち、前述したフィードバック情報を利用して受信側のデコーディング、リプロジェクション、レンダリング過程などが実行されることができる。例えば、ヘッドオリエンテーション情報及び／またはビューポート情報を利用して現在ユーザが見ている領域に対する３６０度ビデオのみが優先的にデコーディング及びレンダリングされることもできる。
【００４４】
ここで、ビューポート（ｖｉｅｗｐｏｒｔ）乃至ビューポート領域とは、ユーザが３６０度ビデオで見ている領域を意味する。視点（ｖｉｅｗｐｏｉｎｔ）は、ユーザが３６０度ビデオで見ている地点であり、ビューポート領域の正中央地点を意味する。即ち、ビューポートは、視点を中心にする領域であり、その領域が占める大きさ形態などは、後述するＦＯＶ（Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）により決定されることができる。
【００４５】
前述した３６０度ビデオ提供のための全体アーキテクチャ内で、キャプチャ／プロジェクション／エンコーディング／送信／デコーディング／リプロジェクション／レンダリングの一連の過程を経るようになるイメージ／ビデオデータを３６０度ビデオデータと呼ぶことができる。また、３６０度ビデオデータという用語は、このようなイメージ／ビデオデータと関連するメタデータ乃至シグナリング情報を含む概念として使われることもできる。
【００４６】
前述したオーディオまたはビデオなどのメディアデータを格納して送信するために、定形化されたメディアファイルフォーマットが定義されることができる。実施例によって、メディアファイルは、ＩＳＯ  ＢＭＦＦ（ＩＳＯ  ｂａｓｅ  ｍｅｄｉａ  ｆｉｌｅ  ｆｏｒｍａｔ）に基づくファイルフォーマットを有することができる。
【００４７】
図２及び図３は、本発明の一実施例によるメディアファイルの構造を示す。
【００４８】
本発明によるメディアファイルは、少なくとも一つ以上のボックスを含むことができる。ここで、ボックス（ｂｏｘ）は、メディアデータまたはメディアデータに関連するメタデータなどを含むデータブロック乃至オブジェクトである。ボックスは、互いに階層的構造をなすことができ、それによって、データが分類されてメディアファイルが大容量メディアデータの格納及び／または送信に適した形態を有することができる。また、メディアファイルは、ユーザがメディアコンテンツの特定地点に移動する等、メディア情報の接近に容易な構造を有することができる。
【００４９】
本発明によるメディアファイルは、ｆｔｙｐボックス、ｍｏｏｖボックス及び／またはｍｄａｔボックスを含むことができる。
【００５０】
ｆｔｙｐボックス（ファイルタイプボックス）は、該当メディアファイルに対するファイルタイプまたは互換性関連情報を提供することができる。ｆｔｙｐボックスは、該当メディアファイルのメディアデータに対する構成バージョン情報を含むことができる。復号器は、ｆｔｙｐボックスを参照して該当メディアファイルを区分することができる。
【００５１】
ｍｏｏｖボックス（ムービーボックス）は、該当メディアファイルのメディアデータに対するメタデータを含むボックスである。ｍｏｏｖボックスは、全てのメタデータのためのコンテナ役割をすることができる。ｍｏｏｖボックスは、メタデータ関連ボックスのうち最上位階層のボックスである。実施例によって、ｍｏｏｖボックスは、メディアファイル内に一つのみが存在できる。
【００５２】
ｍｄａｔボックス（メディアデータボックス）は、該当メディアファイルの実際メディアデータを盛り込むボックスである。メディアデータは、オーディオサンプル及び／またはビデオサンプルを含むことができ、ｍｄａｔボックスは、このようなメディアサンプルを盛り込むコンテナ役割をすることができる。
【００５３】
実施例によって、前述したｍｏｏｖボックスは、ｍｖｈｄボックス、ｔｒａｋボックス及び／またはｍｖｅｘボックスなどを下位ボックスとしてさらに含むことができる。
【００５４】
ｍｖｈｄボックス（ムービーヘッダボックス）は、該当メディアファイルに含まれるメディアデータのメディアプレゼンテーション関連情報を含むことができる。即ち、ｍｖｈｄボックスは、該当メディアプレゼンテーションのメディア生成時間、変更時間、時間規格、期間などの情報を含むことができる。
【００５５】
ｔｒａｋボックス（トラックボックス）は、該当メディアデータのトラックに関連する情報を提供することができる。ｔｒａｋボックスは、オーディオトラックまたはビデオトラックに対するストリーム関連情報、プレゼンテーション関連情報、アクセス関連情報などの情報を含むことができる。Ｔｒａｋボックスは、トラックの個数によって複数個存在できる。
【００５６】
ｔｒａｋボックスは、実施例によって、ｔｋｈｄボックス（トラックヘッダボックス）を下位ボックスとしてさらに含むことができる。ｔｋｈｄボックスは、ｔｒａｋボックスが示す該当トラックに対する情報を含むことができる。ｔｋｈｄボックスは、該当トラックの生成時間、変更時間、トラック識別子などの情報を含むことができる。
【００５７】
ｍｖｅｘボックス（ムービーイクステンデッドボックス）は、該当メディアファイルに後述するｍｏｏｆボックスがあることを指示することができる。特定トラックの全てのメディアサンプルを知るために、ｍｏｏｆボックスがスキャンされなければならない。
【００５８】
本発明によるメディアファイルは、実施例によって、複数個のフラグメントに分けられる（２００）。これを介してメディアファイルが分割されて格納または送信されることができる。メディアファイルのメディアデータ（ｍｄａｔボックス）は、複数個のフラグメントに分けられ、各々のフラグメントは、ｍｏｏｆボックスと分けられたｍｄａｔボックスとを含むことができる。実施例によって、フラグメントを活用するためにはｆｔｙｐボックス及び／またはｍｏｏｖボックスの情報が必要である。
【００５９】
ｍｏｏｆボックス（ムービーフラグメントボックス）は、該当フラグメントのメディアデータに対するメタデータを提供することができる。ｍｏｏｆボックスは、該当フラグメントのメタデータ関連ボックスのうち最上位階層のボックスである。
【００６０】
ｍｄａｔボックス（メディアデータボックス）は、前述したように実際メディアデータを含むことができる。このｍｄａｔボックスは、各々の該当フラグメントに該当するメディアデータのメディアサンプルを含むことができる。
【００６１】
実施例によって、前述したｍｏｏｆボックスは、ｍｆｈｄボックス及び／またはｔｒａｆボックスなどを下位ボックスとしてさらに含むことができる。
【００６２】
ｍｆｈｄボックス（ムービーフラグメントヘッダボックス）は、分割された複数個のフラグメント間の連関性と関連する情報を含むことができる。ｍｆｈｄボックスは、シーケンスナンバー（ｓｅｑｕｅｎｃｅ  ｎｕｍｂｅｒ）を含んで、該当フラグメントのメディアデータが分割された何番目のデータであるかを示すことができる。また、ｍｆｈｄボックスを利用して分割されたデータのうち欠落されたものはないかどうかが確認されることができる。
【００６３】
ｔｒａｆボックス（トラックフラグメントボックス）は、該当トラックフラグメントに対する情報を含むことができる。ｔｒａｆボックスは、該当フラグメントに含まれる分割されたトラックフラグメントに対するメタデータを提供することができる。ｔｒａｆボックスは、該当トラックフラグメント内のメディアサンプルが復号化／再生されるようにメタデータを提供することができる。ｔｒａｆボックスは、トラックフラグメントの個数によって複数個存在できる。
【００６４】
実施例によって、前述したｔｒａｆボックスは、ｔｆｈｄボックス及び／またはｔｒｕｎボックスなどを下位ボックスとしてさらに含むことができる。
【００６５】
ｔｆｈｄボックス（トラックフラグメントヘッダボックス）は、該当トラックフラグメントのヘッダ情報を含むことができる。ｔｆｈｄボックスは、前述したｔｒａｆボックスが示すトラックフラグメントのメディアサンプルに対して、基本的なサンプル大きさ、期間、オフセット、識別子などの情報を提供することができる。
【００６６】
ｔｒｕｎボックス（トラックフラグメントランボックス）は、該当トラックフラグメント関連情報を含むことができる。ｔｒｕｎボックスは、メディアサンプル別期間、大きさ、再生時点などのような情報を含むことができる。
【００６７】
前述したメディアファイル乃至メディアファイルのフラグメントは、セグメントとして処理されて送信されることができる。セグメントには初期化セグメント（ｉｎｉｔｉａｌｉｚａｔｉｏｎ  ｓｅｇｍｅｎｔ）及び／またはメディアセグメント（ｍｅｄｉａ  ｓｅｇｍｅｎｔ）がある。
【００６８】
図示された実施例の２１０のファイルは、メディアデータを除いてメディアデコーダの初期化と関連する情報などを含むファイルである。このファイルは、例えば、前述した初期化セグメントに該当できる。初期化セグメントは、前述したｆｔｙｐボックス及び／またはｍｏｏｖボックスを含むことができる。
【００６９】
図示された実施例の２２０のファイルは、前述したフラグメントを含むファイルである。このファイルは、例えば、前述したメディアセグメントに該当できる。メディアセグメントは、前述したｍｏｏｆボックス及び／またはｍｄａｔボックスを含むことができる。また、メディアセグメントは、ｓｔｙｐボックス及び／またはｓｉｄｘボックスをさらに含むことができる。
【００７０】
ｓｔｙｐボックス（セグメントタイプボックス）は、分割されたフラグメントのメディアデータを識別するための情報を提供することができる。ｓｔｙｐボックスは、分割されたフラグメントに対して、前述したｆｔｙｐボックスのような役割を遂行することができる。実施例によって、ｓｔｙｐボックスは、ｆｔｙｐボックスと同じフォーマットを有することができる。
【００７１】
ｓｉｄｘボックス（セグメントインデックスボックス）は、分割されたフラグメントに対するインデックスを示す情報を提供することができる。これを介して該当分割されたフラグメントが何番目のフラグメントかが指示されることができる。
【００７２】
実施例によって、２３０のｓｓｉｘボックスがさらに含まれることができ、ｓｓｉｘボックス（サブセグメントインデックスボックス）は、セグメントがサブセグメントにさらに分けられる場合において、そのサブセグメントのインデックスを示す情報を提供することができる。
【００７３】
メディアファイル内のボックスは、図示された実施例の２５０のようなボックス乃至フルボックス（ＦｕｌｌＢｏｘ）形態に基づいて、より拡張された情報を含むことができる。この実施例において、ｓｉｚｅフィールド、ｌａｒｇｅｓｉｚｅフィールドは、該当ボックスの長さをバイト単位などで表すことができる。ｖｅｒｓｉｏｎフィールドは、該当ボックスフォーマットのバージョンを示すことができる。Ｔｙｐｅフィールドは、該当ボックスのタイプ乃至識別子を示すことができる。ｆｌａｇｓフィールドは、該当ボックスと関連するフラグなどを示すことができる。
【００７４】
一方、本発明の３６０度ビデオに対するフィールド（属性）は、ＤＡＳＨベースの適応型（Ａｄａｐｔｉｖｅ）ストリーミングモデルに含まれて伝達されることができる。
【００７５】
図４は、ＤＡＳＨベースの適応型ストリーミングモデルの全般的な動作の一例を示す。図示された実施例の４００によるＤＡＳＨベースの適応型ストリーミングモデルは、ＨＴＴＰサーバとＤＡＳＨクライアントとの間の動作を記述している。ここで、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）は、ＨＴＴＰベースの適応型ストリーミングをサポートするためのプロトコルであり、ネットワーク状況によって動的にストリーミングをサポートすることができる。それによって、ＡＶコンテンツ再生がシームレスに提供されることができる。
【００７６】
まず、ＤＡＳＨクライアントは、ＭＰＤを取得することができる。ＭＰＤは、ＨＴＴＰサーバなどのサービスプロバイダから伝達されることができる。ＤＡＳＨクライアントは、ＭＰＤに記述されたセグメントへの接近情報を利用してサーバに該当セグメントを要求することができる。ここで、この要求は、ネットワーク状態を反映して実行されることができる。
【００７７】
ＤＡＳＨクライアントは、該当セグメントを取得した後、これをメディアエンジンで処理して画面にディスプレイできる。ＤＡＳＨクライアントは、再生時間及び／またはネットワーク状況などをリアルタイムで反映し、必要なセグメントを要求、取得することができる（Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ）。これを介してコンテンツがシームレスに再生されることができる。
【００７８】
ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）は、ＤＡＳＨクライアントをしてセグメントを動的に取得せしめるための詳細情報を含むファイルであり、ＸＭＬ形態で表現されることができる。
【００７９】
ＤＡＳＨクライアントコントローラ（ＤＡＳＨ  Ｃｌｉｅｎｔ  Ｃｏｎｔｒｏｌｌｅｒ）は、ネットワーク状況を反映してＭＰＤ及び／またはセグメントを要求するコマンドを生成することができる。また、このコントローラは、取得された情報をメディアエンジン等の内部ブロックで使用するように制御できる。
【００８０】
ＭＰＤパーサ（Ｐａｒｓｅｒ）は、取得したＭＰＤをリアルタイムでパーシングできる。これを介して、ＤＡＳＨクライアントコントローラは、必要なセグメントを取得することができるコマンドを生成するようになる。
【００８１】
セグメントパーサ（Ｐａｒｓｅｒ）は、取得したセグメントをリアルタイムでパーシングできる。セグメントに含まれている情報によって、メディアエンジンなどの内部ブロックは、特定動作を実行することができる。
【００８２】
ＨＴＴＰクライアントは、必要なＭＰＤ及び／またはセグメントなどをＨＴＴＰサーバに要求できる。また、ＨＴＴＰクライアントは、サーバから取得したＭＰＤ及び／またはセグメントをＭＰＤパーサまたはセグメントパーサに伝達できる。
【００８３】
メディアエンジン（Ｍｅｄｉａ  Ｅｎｇｉｎｅ）は、セグメントに含まれているメディアデータを利用してコンテンツを画面上に表示できる。このとき、ＭＰＤの情報が活用されることができる。
【００８４】
ＤＡＳＨデータモデルは、階層的構造４１０を有することができる。メディアプレゼンテーションは、ＭＰＤにより記述されることができる。ＭＰＤは、メディアプレゼンテーションを作る複数個の区間（Ｐｅｒｉｏｄ）の時間的なシーケンスを記述することができる。ピリオドは、メディアコンテンツの一区間を示すことができる。
【００８５】
一区間で、データは、アダプテーションセットに含まれることができる。アダプテーションセットは、互いに交換されることができる複数個のメディアコンテンツコンポーネントの集合である。アダプテーションは、リプレゼンテーションの集合を含むことができる。リプレゼンテーションは、メディアコンテンツコンポーネントに該当できる。一リプレゼンテーション内で、コンテンツは、複数個のセグメントに時間的に分けられる。これは適切な接近性と伝達（ｄｅｌｉｖｅｒｙ）のためである。各々のセグメントに接近するために各セグメントのＵＲＬが提供されることができる。
【００８６】
ＭＰＤは、メディアプレゼンテーションに関連する情報を提供することができ、ピリオドエレメント、アダプテーションセットエレメント、リプレゼンテーションエレメントは、各々、該当ピリオド、アダプテーションセット、リプレゼンテーションに対して記述できる。リプレゼンテーションは、サブリプレゼンテーションに分けられ、サブリプレゼンテーションエレメントは、該当サブリプレゼンテーションに対して記述できる。
【００８７】
ここで、共通（Ｃｏｍｍｏｎ）属性／エレメントが定義されることができ、これらは、アダプテーションセット、リプレゼンテーション、サブリプレゼンテーションなどに適用されることができる（含まれることができる）。共通属性／エレメント中にはエッセンシャルプロパティ（ＥｓｓｅｎｔｉａｌＰｒｏｐｅｒｔｙ）及び／またはサプリメンタルプロパティ（ＳｕｐｐｌｅｍｅｎｔａｌＰｒｏｐｅｒｔｙ）がある。
【００８８】
エッセンシャルプロパティは、該当メディアプレゼンテーション関連データの処理時に必須であると判断されるエレメントを含む情報である。サプリメンタルプロパティは、該当メディアプレゼンテーション関連データの処理時に使われることもできるエレメントを含む情報である。実施例によって、後述するデスクリプタは、ＭＰＤを介して伝達される場合、エッセンシャルプロパティ及び／またはサプリメンタルプロパティ内に定義されて伝達されることができる。
【００８９】
図５は、本発明が適用されることができる３６０度ビデオ送信装置の構成を概略的に説明する図面である。
【００９０】
本発明による３６０度ビデオ送信装置は、前述した準備過程乃至送信過程に関連する動作を実行することができる。３６０度ビデオ送信装置は、データ入力部、ステッチャ（Ｓｔｉｔｃｈｅｒ）、プロジェクション処理部、リージョン別パッキング処理部（図示せず）、メタデータ処理部、（送信側）フィードバック処理部、データエンコーダ、カプセル化処理部、送信処理部及び／または送信部を内部／外部エレメントとして含むことができる。
【００９１】
データ入力部は、キャプチャされた各視点別イメージ／ビデオの入力を受けることができる。この視点別イメージ／ビデオは、一つ以上のカメラによりキャプチャされたイメージ／ビデオである。また、データ入力部は、キャプチャ過程で発生されたメタデータの入力を受けることができる。データ入力部は、入力された視点別イメージ／ビデオをステッチャに伝達し、キャプチャ過程のメタデータをシグナリング処理部に伝達できる。
【００９２】
ステッチャは、キャプチャされた視点別イメージ／ビデオに対するステッチング作業を実行することができる。ステッチャは、ステッチングされた３６０度ビデオデータをプロジェクション処理部に伝達できる。ステッチャは、必要な場合、メタデータ処理部から必要なメタデータの伝達を受けてステッチング作業に利用できる。ステッチャは、ステッチング過程で発生されたメタデータをメタデータ処理部に伝達できる。ステッチング過程のメタデータには、ステッチングが実行されたかどうか、ステッチングタイプなどの情報がある。
【００９３】
プロジェクション処理部は、ステッチングされた３６０度ビデオデータを２Ｄイメージ上にプロジェクションできる。プロジェクション処理部は、多様なスキーム（ｓｃｈｅｍｅ）によってプロジェクションを実行することができ、これに対しては後述する。プロジェクション処理部は、各視点別３６０度ビデオデータの該当デプス（ｄｅｐｔｈ）を考慮してマッピングを実行することができる。プロジェクション処理部は、必要な場合、メタデータ処理部からプロジェクションに必要なメタデータの伝達を受けてプロジェクション作業に利用できる。プロジェクション処理部は、プロジェクション過程で発生されたメタデータをメタデータ処理部に伝達できる。プロジェクション処理部のメタデータにはプロジェクションスキームの種類などがある。
【００９４】
リージョン別パッキング処理部（図示せず）は、前述したリージョン別パッキング過程を実行することができる。即ち、リージョン別パッキング処理部は、プロジェクションされた３６０度ビデオデータをリージョン別に分け、各リージョンを回転、再配列し、または各リージョンのレゾリューションを変更する等の処理を実行することができる。前述したように、リージョン別パッキング過程は選択的（ｏｐｔｉｏｎａｌ）過程であり、リージョン別パッキングが実行されない場合、リージョン別パッキング処理部は省略されることができる。リージョン別パッキング処理部は、必要な場合、メタデータ処理部からリージョン別パッキングに必要なメタデータの伝達を受けてリージョン別パッキング作業に利用できる。リージョン別パッキング処理部は、リージョン別パッキング過程で発生されたメタデータをメタデータ処理部に伝達できる。リージョン別パッキング処理部のメタデータには、各リージョンの回転程度、サイズなどがある。
【００９５】
前述したステッチャ、プロジェクション処理部及び／またはリージョン別パッキング処理部は、実施例によって、一つのハードウェアコンポーネントで実行されることもできる。
【００９６】
メタデータ処理部は、キャプチャ過程、ステッチング過程、プロジェクション過程、リージョン別パッキング過程、エンコーディング過程、カプセル化過程及び／または送信のための処理過程で発生できるメタデータを処理することができる。メタデータ処理部は、このようなメタデータを利用して３６０度ビデオ関連メタデータを生成することができる。実施例によって、メタデータ処理部は、３６０度ビデオ関連メタデータをシグナリングテーブルの形態で生成することもできる。シグナリング文脈によって、３６０度ビデオ関連メタデータは、メタデータまたは３６０度ビデオ関連シグナリング情報とも呼ばれる。また、メタデータ処理部は、取得または生成したメタデータを必要によって３６０度ビデオ送信装置の内部エレメントに伝達できる。メタデータ処理部は、３６０度ビデオ関連メタデータが受信側に送信されることができるように、データエンコーダ、カプセル化処理部及び／または送信処理部に伝達できる。
【００９７】
データエンコーダは、２Ｄイメージ上にプロジェクションされた３６０度ビデオデータ及び／またはリージョン別パッキングされた３６０度ビデオデータをエンコーディングすることができる。３６０度ビデオデータは、多様なフォーマットでエンコーディングされることができる。
【００９８】
カプセル化処理部は、エンコーディングされた３６０度ビデオデータ及び／または３６０度ビデオ関連メタデータをファイルなどの形態でカプセル化できる。ここで、３６０度ビデオ関連メタデータは、前述したメタデータ処理部から伝達を受けたものである。カプセル化処理部は、該当データをＩＳＯＢＭＦＦ、ＣＦＦなどのファイルフォーマットでカプセル化し、またはその他のＤＡＳＨセグメントなどの形態で処理できる。カプセル化処理部は、実施例によって、３６０度ビデオ関連メタデータをファイルフォーマット上に含ませることができる。３６０関連メタデータは、例えば、ＩＳＯＢＭＦＦファイルフォーマット上の多様なレベルのボックス（ｂｏｘ）に含まれ、またはファイル内で別途のトラック内のデータに含まれることができる。実施例によって、カプセル化処理部は、３６０度ビデオ関連メタデータ自体をファイルにカプセル化できる。送信処理部は、ファイルフォーマットによってカプセル化された３６０度ビデオデータに送信のための処理を加えることができる。送信処理部は、任意の送信プロトコルによって３６０度ビデオデータを処理することができる。送信のための処理には放送網を介した伝達のための処理、ブロードバンドを介した伝達のための処理を含むことができる。実施例によって、送信処理部は、３６０度ビデオデータだけでなく、メタデータ処理部から３６０度ビデオ関連メタデータの伝達を受け、これに送信のための処理を加えることもできる。
【００９９】
送信部は、送信処理された３６０度ビデオデータ及び／または３６０度ビデオ関連メタデータを放送網及び／またはブロードバンドを介して送信できる。送信部は、放送網を介した送信のためのエレメント及び／またはブロードバンドを介した送信のためのエレメントを含むことができる。
【０１００】
本発明による３６０度ビデオ送信装置の一実施例によると、３６０度ビデオ送信装置は、データ格納部（図示せず）を内部／外部エレメントとしてさらに含むことができる。データ格納部は、エンコーディングされた３６０度ビデオデータ及び／または３６０度ビデオ関連メタデータを送信処理部に伝達する前に格納している。このデータが格納される形態は、ＩＳＯＢＭＦＦなどのファイル形態である。リアルタイムで３６０度ビデオを送信する場合には、データ格納部が必要でないが、オンデマンド、ＮＲＴ（Ｎｏｎ  Ｒｅａｌ  Ｔｉｍｅ）、ブロードバンドなどを介して伝達する場合には、カプセル化された３６０データがデータ格納部に一定期間格納された後に送信されることもできる。
【０１０１】
本発明による３６０度ビデオ送信装置の他の実施例によると、３６０度ビデオ送信装置は、（送信側）フィードバック処理部及び／またはネットワークインターフェース（図示せず）を内部／外部エレメントとしてさらに含むことができる。ネットワークインターフェースは、本発明による３６０度ビデオ受信装置からフィードバック情報の伝達を受け、これを送信側フィードバック処理部に伝達できる。送信側フィードバック処理部は、フィードバック情報をステッチャ、プロジェクション処理部、リージョン別パッキング処理部、データエンコーダ、カプセル化処理部、メタデータ処理部及び／または送信処理部に伝達できる。実施例によって、フィードバック情報は、メタデータ処理部に伝達された後、再び各内部エレメントに伝達されることができる。フィードバック情報の伝達を受けた内部エレメントは、以後の３６０度ビデオデータの処理にフィードバック情報を反映することができる。
【０１０２】
本発明による３６０度ビデオ送信装置の他の実施例によると、リージョン別パッキング処理部は、各リージョンを回転して２Ｄイメージ上にマッピングすることができる。このとき、各リージョンは、互いに異なる方向、互いに異なる角度に回転されて２Ｄイメージ上にマッピングされることができる。リージョンの回転は、３６０度ビデオデータが球形の面上でプロジェクション前に隣接する部分、ステッチングされた部分などを考慮して実行されることができる。リージョンの回転に対する情報、即ち、回転方向、角度などは、３６０度ビデオ関連メタデータによりシグナリングされることができる。本発明による３６０度ビデオ送信装置の他の実施例によると、データエンコーダは、各リージョン別に異なるようにエンコーディングを実行することができる。データエンコーダは、特定リージョンを高いクォリティで、他のリージョンを低いクォリティでエンコーディングを実行することができる。送信側フィードバック処理部は、３６０度ビデオ受信装置から伝達を受けたフィードバック情報をデータエンコーダに伝達し、データエンコーダがリージョン別差等化されたエンコーディング方法を使用するようにすることができる。例えば、送信側フィードバック処理部は、受信側から伝達を受けたビューポート情報をデータエンコーダに伝達できる。データエンコーダは、ビューポート情報が指示する領域を含むリージョンに対して他のリージョンより高いクォリティ（ＵＨＤ等）でエンコーディングを実行することができる。
【０１０３】
本発明による３６０度ビデオ送信装置の他の実施例によると、送信処理部は、各リージョン別に異なるように送信のための処理を実行することができる。送信処理部は、リージョン別に他の送信パラメータ（モジュレーションオーダー、コードレート等）を適用することで、各リージョン別に伝達されるデータのロバストネス（ｒｏｂｕｓｔｎｅｓｓ）を異なるようにすることができる。
【０１０４】
このとき、送信側フィードバック処理部は、３６０度ビデオ受信装置から伝達を受けたフィードバック情報を送信処理部に伝達し、送信処理部がリージョン別差等化された送信処理を実行するようにすることができる。例えば、送信側フィードバック処理部は、受信側から伝達を受けたビューポート情報を送信処理部に伝達できる。送信処理部は、該当ビューポート情報が指示する領域を含むリージョンに対して他のリージョンより高いロバストネスを有するように送信処理を実行することができる。
【０１０５】
前述した本発明による３６０度ビデオ送信装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントである。実施例によって、内部／外部エレメントは、変更、省略され、または他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０度ビデオ送信装置に追加されることもできる。
【０１０６】
図６は、本発明が適用されることができる３６０度ビデオ受信装置の構成を概略的に説明する図面である。
【０１０７】
本発明による３６０度ビデオ受信装置は、前述したプロセシング過程及び／またはレンダリング過程に関連する動作を実行することができる。３６０度ビデオ受信装置は、受信部、受信処理部、カプセル除去処理部、データデコーダ、メタデータパーサ、（受信側）フィードバック処理部、リプロジェクション処理部及び／またはレンダラを内部／外部エレメントとして含むことができる。一方、シグナリングパーサは、メタデータパーサと呼ばれる。
【０１０８】
受信部は、本発明による３６０度ビデオ送信装置が送信した３６０度ビデオデータを受信することができる。送信されるチャネルによって、受信部は、放送網を介して３６０度ビデオデータを受信することもでき、ブロードバンドを介して３６０度ビデオデータを受信することもできる。
【０１０９】
受信処理部は、受信された３６０度ビデオデータに対して送信プロトコルによる処理を実行することができる。送信側で送信のための処理が実行されたことに対応されるように、受信処理部は、前述した送信処理部の逆過程を実行することができる。受信処理部は、取得した３６０度ビデオデータをカプセル除去処理部に伝達し、取得した３６０度ビデオ関連メタデータをデータパーサに伝達できる。受信処理部が取得する３６０度ビデオ関連メタデータは、シグナリングテーブルの形態である。
【０１１０】
カプセル除去処理部は、受信処理部から伝達を受けたファイル形態の３６０度ビデオデータをカプセル除去することができる。カプセル除去処理部は、ＩＳＯＢＭＦＦなどによるファイルをカプセル除去し、３６０度ビデオデータ乃至３６０度ビデオ関連メタデータを取得することができる。取得された３６０度ビデオデータはデータデコーダに伝達し、取得された３６０度ビデオ関連メタデータはメタデータパーサに伝達できる。カプセル除去処理部が取得する３６０度ビデオ関連メタデータは、ファイルフォーマット内のボックスまたはトラック形態である。カプセル除去処理部は、必要な場合、メタデータパーサからカプセル除去に必要なメタデータの伝達を受けることもできる。
【０１１１】
データデコーダは、３６０度ビデオデータに対するデコーディングを実行することができる。データデコーダは、メタデータパーサからデコーディングに必要なメタデータの伝達を受けることもできる。データデコーディング過程で取得された３６０度ビデオ関連メタデータは、メタデータパーサに伝達されることもできる。
【０１１２】
メタデータパーサは、３６０度ビデオ関連メタデータに対するパーシング／デコーディングを実行することができる。メタデータパーサは、取得したメタデータをデータカプセル除去処理部、データデコーダ、リプロジェクション処理部及び／またはレンダラに伝達できる。
【０１１３】
リプロジェクション処理部は、デコーディングされた３６０度ビデオデータに対してリプロジェクションを実行することができる。リプロジェクション処理部は、３６０度ビデオデータを３Ｄ空間にリプロジェクションできる。３Ｄ空間は、使われる３Ｄモデルによって他の形態を有することができる。リプロジェクション処理部は、メタデータパーサからリプロジェクションに必要なメタデータの伝達を受けることもできる。例えば、リプロジェクション処理部は、使われる３Ｄモデルのタイプ及びその細部情報に対する情報をメタデータパーサから伝達を受けることができる。実施例によって、リプロジェクション処理部は、リプロジェクションに必要なメタデータを利用し、３Ｄ空間上の特定領域に該当する３６０度ビデオデータのみを３Ｄ空間にリプロジェクションすることもできる。
【０１１４】
レンダラは、リプロジェクションされた３６０度ビデオデータをレンダリングすることができる。前述したように、３６０度ビデオデータが３Ｄ空間上にレンダリングされると表現することもでき、このように二つの過程が一度に発生される場合、リプロジェクション処理部とレンダラは統合され、レンダラでこの過程が全て進行されることができる。実施例によって、レンダラは、ユーザの視点情報によってユーザが見ている部分のみをレンダリングすることもできる。
【０１１５】
ユーザは、ＶＲディスプレイなどを介してレンダリングされた３６０度ビデオの一部領域を見ることができる。ＶＲディスプレイは、３６０度ビデオを再生する装置であり、３６０度ビデオ受信装置に含まれることもでき（ｔｅｔｈｅｒｅｄ）、別途の装置として３６０度ビデオ受信装置に連結されることもできる（ｕｎ−ｔｅｔｈｅｒｅｄ）。
【０１１６】
本発明による３６０度ビデオ受信装置の一実施例によると、３６０度ビデオ受信装置は、（受信側）フィードバック処理部及び／またはネットワークインターフェース（図示せず）を内部／外部エレメントとしてさらに含むことができる。受信側フィードバック処理部は、レンダラ、リプロジェクション処理部、データデコーダ、カプセル除去処理部及び／またはＶＲディスプレイからフィードバック情報を取得して処理できる。フィードバック情報は、ビューポート情報、ヘッドオリエンテーション情報、ゲイズ（Ｇａｚｅ）情報などを含むことができる。ネットワークインターフェースは、フィードバック情報を受信側フィードバック処理部から伝達を受け、これを３６０度ビデオ送信装置に送信できる。
【０１１７】
前述したように、フィードバック情報は、送信側に伝達されるだけでなく、受信側で消費されることもできる。受信側フィードバック処理部は、取得したフィードバック情報を３６０度ビデオ受信装置の内部エレメントに伝達し、レンダリングなどの過程に反映されるようにすることができる。受信側フィードバック処理部は、フィードバック情報をレンダラ、リプロジェクション処理部、データデコーダ及び／またはカプセル除去処理部に伝達できる。例えば、レンダラは、フィードバック情報を活用してユーザが見ている領域を優先的にレンダリングできる。また、カプセル除去処理部、データデコーダなどは、ユーザが見ている領域乃至見るようになる領域を優先的にカプセル除去、デコーディングすることができる。
【０１１８】
前述した本発明による３６０度ビデオ受信装置の内部／外部エレメントは、ハードウェアで具現されるハードウェアエレメントである。実施例によって、内部／外部エレメントは、変更、省略され、または他のエレメントに代替、統合されることができる。実施例によって、付加エレメントが３６０度ビデオ受信装置に追加されることもできる。
【０１１９】
本発明の他の観点は、３６０度ビデオを送信する方法及び３６０度ビデオを受信する方法と関連することができる。本発明による３６０度ビデオを送信／受信する方法は、各々、前述した本発明による３６０度ビデオ送信／受信装置またはその装置の実施例により実行されることができる。
【０１２０】
前述した本発明による３６０度ビデオ送信／受信装置、送信／受信方法の各々の実施例及びその内部／外部エレメントの各々の実施例を互いに組み合わせることができる。例えば、プロジェクション処理部の実施例と、データエンコーダの実施例とは、互いに組み合わせられて、その場合の数ほどの３６０度ビデオ送信装置の実施例を作り出すことができる。このように組み合わせた実施例も本発明の範囲に含まれる。
【０１２１】
図７ａ乃至図７ｂは、３６０度ビデオ送信装置／３６０度ビデオ受信装置を通じて行われる３６０度ビデオの提供のための全体のアーキテクチャーを例示的に示す。
【０１２２】
図７ａ乃至図７ｂに示すようなアーキテクチャーにより３６０コンテンツが提供できる。３６０コンテンツはファイルの形態で提供されるか、ＤＡＳＨ等のようにセグメント（ｓｅｇｍｅｎｔ）ベースのダウンロード又はストリーミングサービスの形態で提供されることができる。ここで、３６０コンテンツは、ＶＲコンテンツと呼ばれ得る。
【０１２３】
具体的に、図７ａを参照すると、前述したように、３６０度ビデオデータ及び／又は３６０オーディオデータが獲得できる（Ａｃｑｕｉｓｉｔｉｏｎ）。即ち、３６０カメラを通じて３６０度ビデオが撮影でき、３６０度ビデオ送信装置は、前記３６０度ビデオデータを獲得することができる。また、３６０オーディオデータは、オーディオプレプロセシング過程（Ａｕｄｉｏ  Ｐｒｅｐｒｏｃｅｓｓｉｎｇ）、オーディオ符号化過程（Ａｕｄｉｏ  ｅｎｃｏｄｉｎｇ）を経ることができる。この過程で、オーディオに関するメタデータが生成でき、符号化されたオーディオとオーディオに関するメタデータは、送信のための処理（ｆｉｌｅ／ｓｅｇｍｅｎｔ  ｅｎｃａｐｓｕｌａｔｉｏｎ）を経ることができる。
【０１２４】
３６０度ビデオデータは、前述したような過程を経ることができる。図７ａを参照すると、３６０度ビデオ送信装置のステッチャーは、３６０度ビデオデータにスティッチングを行うことができる（Ｖｉｓｕａｌ  ｓｔｉｔｃｈｉｎｇ）。この過程は、実施例によって省略され、受信側で行われることもある。
【０１２５】
また、図７ａを参照すると、３６０度ビデオ送信装置のプロジェクション処理部は、３６０度ビデオデータを２Ｄイメージ上にプロジェクションすることができる（Ｐｒｏｊｅｃｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ（ｐａｃｋｉｎｇ））。プロジェクション処理部は、３６０度ビデオデータ（Ｉｎｐｕｔ  Ｉｍａｇｅｓ）が伝達されることができ、この場合、スティチング及びプロジェクション過程を行うことができる。例えば、３６０度ビデオ送信装置は、複数の魚眼（Ｆｉｓｈｅｙｅ）カメラ又は複数の魚眼レンズ及びセンサの組み合わせで撮影された魚眼の円形のイメージ（Ｆｉｓｈｅｙｅ  ｃｉｒｃｕｌａｒ  ｉｍａｇｅ）を一つ又は複数のピクチャー／ビデオにプロジェクション及びパッキングできる。プロジェクション過程は、具体的にスティチングされた３６０度ビデオデータを３Ｄ空間上にプロジェクションし、プロジェクションされた３６０度ビデオデータが２Ｄイメージ上に配列されると見ることができる。本明細書で、この過程を３６０度ビデオデータを２Ｄイメージ上にプロジェクションすると表現することもできる。ここで、３Ｄ空間は、球（ｓｐｈｅｒｅ）又はキューブ（ｃｕｂｅ）等であってもよい。この３Ｄ空間は、受信側でリプロジェクションに使用される３Ｄ空間と同じであってもよい。
【０１２６】
２Ｄイメージは、プロジェクションされたフレーム（Ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）又はプロジェクションされたピクチャー（Ｐｒｏｊｅｃｔｅｄ  ｐｉｃｔｕｒｅ）とも呼ばれ得る。また、前記２Ｄイメージにリージョン−ワイズパッキング（Ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）過程が選択的にさらに行われることもある。前記リージョン−ワイズパッキング過程が行われる場合、各リージョン（Ｒｅｇｉｏｎ）の位置、形態、大きさを指示することによって、前記２Ｄイメージ上のリージョンがパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）上にマッピングされることができる。前記パッキングされたフレームは、パッキングされたピクチャー（ｐａｃｋｅｄ  ｐｉｃｔｕｒｅ）と呼ばれ得る。前記プロジェクションされたフレームに前記リージョン−ワイズパッキング過程が行われない場合、前記プロジェクションされたフレームは、前記パッキングされたフレームと同じであってもよい。リージョンについては後述する。プロジェクション過程及びリージョン−ワイズパッキング過程を、３６０度ビデオデータの各リージョンが２Ｄイメージ上にプロジェクションされると表現してもよい。設計に応じて、３６０度ビデオデータは中間過程なしでパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）に直ぐに変換されることもできる。
【０１２７】
図７ａを参照すると、３６０度ビデオデータに関するパッキングされたフレームは、イメージ符号化乃至ビデオ符号化されることができる。一方、同一の３６０度ビデオコンテンツであっても、時点（ｖｉｅｗｐｏｉｎｔｓ）別に３６０度ビデオデータが存在し得、この場合、前記コンテンツの各時点別の３６０度ビデオデータは、互いに異なるビットストリームに符号化されることもある。符号化された３６０度ビデオデータは、前述したエンカプセレーション処理部によってＩＳＯＢＭＦＦ等のファイルフォーマットで処理されることができる。或いは、エンカプセレーション処理部は、符号化された３６０度ビデオデータをセグメントで処理できる。セグメントは、ＤＡＳＨに基づいた送信のための個別のトラックに含まれることができる。
【０１２８】
３６０度ビデオデータの処理と共に、前述したように３６０度ビデオに関するメタデータが生成できる。このメタデータは、ビデオストリーム又はファイルフォーマットに含まれて伝達されることができる。このメタデータは、符号化過程や、ファイルフォーマットエンカプセレーション、送信のための処理等のような過程にも使われることができる。
【０１２９】
３６０オーディオ／ビデオデータは、送信プロトコールによって送信のための処理を経て、その後に送信されることができる。前述した３６０度ビデオ受信装置は、これを放送網又はブロードバンドを介して受信できる。
【０１３０】
一方、図７ａに示すように、スピーカー／ヘッドホン（Ｌｏｕｄｓｐｅａｋｅｒｓ／ｈｅａｄｐｈｏｎｅｓ）、ディスプレイ（Ｄｉｓｐｌａｙ）、ヘッド／アイトラッキングのコンポーネント（Ｈｅａｄ／ｅｙｅ  ｔｒａｃｋｉｎｇ）は、３６０度ビデオ受信装置の外部装置乃至ＶＲアプリケーションによって行われることができるが、実施例によって、３６０度ビデオ受信装置は、前記スピーカー／ヘッドホン、前記ディスプレイ（Ｄｉｓｐｌａｙ）、前記ヘッド／アイトラッキングのコンポーネントをいずれも含んでもよい。実施例によって、前記ヘッド／アイトラッキングのコンポーネントは、前述した受信側のフィードバック処理部に該当し得る。
【０１３１】
３６０度ビデオ受信装置は、３６０オーディオ／ビデオデータに受信のための処理（Ｆｉｌｅ／ｓｅｇｍｅｎｔ  ｄｅｃａｐｓｕｌａｔｉｏｎ）を行うことができる。３６０オーディオデータは、オーディオ復号化（Ａｕｄｉｏ  ｄｅｃｏｄｉｎｇ）、オーディオレンダリング（Ａｕｄｉｏ  ｒｅｎｄｅｒｉｎｇ）の過程を経て、スピーカー／ヘッドホンを通してユーザに提供されることができる。
【０１３２】
３６０度ビデオデータは、イメージ復号化乃至ビデオ復号化、レンダリング（Ｖｉｓｕａｌ  ｒｅｎｄｅｒｉｎｇ）の過程を経て、ディスプレイを介してユーザに提供されることができる。ここで、ディスプレイは、ＶＲを支援するディスプレイであってもよく、一般ディスプレイであってもよい。
【０１３３】
前述したように、レンダリング過程は、具体的に３６０度ビデオデータが３Ｄ空間上にリプロジェクションされ、リプロジェクションされた３６０度ビデオデータがレンダリングされると見ることができる。これを３６０度ビデオデータが３Ｄ空間上にレンダリングされると表現してもよい。
【０１３４】
ヘッド／アイトラッキングのコンポーネントは、ユーザのヘッドオリエンテーション情報、ゲイズ情報、ビューポート（Ｖｉｅｗｐｏｒｔ）情報等を獲得、処理できる。これに関する内容は前述した通りである。
【０１３５】
受信側では、前述した受信側過程と通信するＶＲアプリケーションが存在し得る。
【０１３６】
また、図７ｂは、３６０度ビデオの処理過程及びプロジェクションスキームによるリージョンワイズパッキング過程が適用された２Ｄイメージを例示的に示す。図７ｂを参照すると、入力された３６０度ビデオデータの処理過程を示すことができる。具体的に、図７ｂを参照すると、入力された時点の３６０度ビデオデータは、様々なプロジェクションスキームによって３Ｄプロジェクション構造にスティチング及びプロジェクションされることができ、前記３Ｄプロジェクション構造にプロジェクションされた３６０度ビデオデータは、２Ｄイメージで示すことができる。即ち、前記３６０度ビデオデータはスティチングされることができ、前記２Ｄイメージでプロジェクションされることができる。前記３６０度ビデオデータがプロジェクションされた２Ｄイメージは、プロジェクションされたフレーム（ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅ）と示すことができる。また、前記プロジェクションされたフレームは、前述したリージョンワイズパッキング過程が行われることができる。即ち、前記プロジェクションされたフレーム上のプロジェクションされた３６０度ビデオデータを含む領域をリージョンに分け、各リージョンを回転、再配列するか、各リージョンのレゾリューションを変更する等の処理が行われることができる。言い換えると、前記リージョンワイズパッキング過程は、前記プロジェクションされたフレームを一つ以上のパッキングされたフレーム（ｐａｃｋｅｄ  ｆｒａｍｅ）にマッピングする過程を示すことができる。前記リージョンワイズパッキング過程の実行は選択的（ｏｐｔｉｏｎａｌ）であってもよく、前記リージョンワイズパッキング過程が適用されない場合、前記パッキングされたフレームと前記プロジェクションされたフレームとは同じであってもよい。前記リージョンワイズパッキング過程が適用される場合、前記プロジェクションされたフレームの各リージョンは、前記パッキングされたフレームのリージョンにマッピングされることができ、前記プロジェクションされたフレームの各リージョンがマッピングされる前記パッキングされたフレームのリージョンの位置、形状及び大きさを示すメタデータを導き出すことができる。
【０１３７】
図８は、本発明の３Ｄ空間を説明するための飛行機主軸（Ａｉｒｃｒａｆｔ  Ｐｒｉｎｃｉｐａｌ  Ａｘｅｓ）の概念を示した図である。本発明において、３Ｄ空間での特定地点、位置、方向、間隔、領域等を表現するために、飛行機主軸の概念が使用されることができる。すなわち、本発明において、プロジェクションの前又はリプロジェクション後の３Ｄ空間について記述し、それに対するシグナリングを行うために飛行機主軸の概念が使用されることができる。実施例により、Ｘ、Ｙ、Ｚ軸の概念又は球座標系を用いた方法が使用されることもできる。
【０１３８】
飛行機は３次元で自由に回転できる。３次元をなす軸をそれぞれピッチ（ｐｉｔｃｈ）軸、ヨー（ｙａｗ）軸、及びロール（ｒｏｌｌ）軸という。本明細書において、これらを約めてピッチ、ヨー、ロール乃至ピッチ方向、ヨー方向、ロール方向と表現してもよい。
【０１３９】
ピッチ軸は、飛行機のノーズコーンが上／下に回転する方向の基準になる軸を意味することができる。図示されている飛行機主軸の概念でのピッチ軸は、飛行機の翼から翼につながる軸を意味することができる。
【０１４０】
ヨー軸は、飛行機のノーズコーンが左／右に回転する方向の基準になる軸を意味することができる。図示されている飛行機主軸の概念でのヨー軸は、飛行機の上から下につながる軸を意味することができる。ロール軸は、示されている飛行機主軸の概念で飛行機のノーズコーンから尾につながる軸であって、ロール方向の回転とは、ロール軸を基準とした回転を意味することができる。前述したように、ピッチ、ヨー、ロールの概念を通じて、本発明における３Ｄ空間が記述できる。
【０１４１】
図９ａ乃至図９ｂは、本発明に係るプロジェクションスキームを例示的に示す。前述したように、本発明に係る３６０度ビデオ送信装置のプロジェクション処理部は、スティチングされた３６０度ビデオデータを２Ｄイメージ上にプロジェクションできる。この過程で様々なプロジェクションスキームが適用できる。即ち、前記プロジェクション処理部は、様々なプロジェクションスキームによって、３６０度ビデオデータを２Ｄイメージ上にプロジェクションできる。前記２Ｄイメージは、プロジェクションされたピクチャーと示すことができる。
【０１４２】
本発明に係る一実施例によると、エクイレクタングラープロジェクションスキーム（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ  ｓｃｈｅｍｅ）を用いてプロジェクションが行われることができる。プロジェクション処理部は、エクイレクタングラープロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。図９ａの（ａ）は、エクイレクタングラープロジェクションスキームを示すことができる。前記エクイレクタングラープロジェクションスキームは、ＥＲＰ（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ）と示すこともできる。前記エクイレクタングラープロジェクションスキームが適用される場合、球面上の（ｒ、θ０、０）即ち、θ＝θ０、φ＝０である点と、２Ｄイメージの中央のピクセルがマッピングできる。また、フロントカメラ（ｆｒｏｎｔ  ｃａｍｅｒａ）の主点（ｐｒｉｎｃｉｐａｌ  ｐｏｉｎｔ）を球面の（ｒ、０、０）地点と仮定することができる。また、φ０＝０と固定されることができる。従って、ＸＹ座標系に変換された値（ｘ、ｙ）は、次の数式を通じて２Ｄイメージ上に（Ｘ、Ｙ）ピクセルに変換できる。
【０１４３】
【数１】
2020521348.tif 000003
【０１４４】
また、２Ｄイメージの左上段のピクセルをＸＹ座標系の（０、０）に位置させる場合、ｘ軸に対するオフセット値及びｙ軸に対するオフセット値は、次の数式を通じて示すことができる。
【０１４５】
【数２】
2020521348.tif 000004
【０１４６】
これを利用し、前述した数式１に示したXY座標系への変換式を書き直すと次の通りである。
【０１４７】
【数３】
2020521348.tif 000005
【０１４８】
例えば、θ０＝０である場合、即ち、２Ｄイメージの中央のピクセルが球面上のθ＝０であるデータを指す場合、球面は、（０、０）を基準に２Ｄイメージ上で横長（ｗｉｄｔｈ）＝２Ｋｘπｒであり、縦長（ｈｅｉｇｈｔ）＝Ｋｘπｒである領域にマッピングされることができる。球面上で、φ＝π／２であるデータは、２Ｄイメージ上の上方の辺全体にマッピングされることができる。また、球面上で（ｒ、π／２、０）であるデータは、２Ｄイメージ上の（３πＫｘｒ／２、πＫｘ ｒ／２）である点にマッピングされることができる。
【０１４９】
受信側では、２Ｄイメージ上の３６０度ビデオデータを球面上にリプロジェクションできる。具体的に、前述した３６０度ビデオ受信装置のリプロジェクション処理部は、２Ｄイメージ上の３６０度ビデオデータを球面上にリプロジェクションできる。前記２Ｄイメージは、プロジェクションされたピクチャーと示すことができる。これを変換式で書くと、次の数式の通りである。
【０１５０】
【数４】
2020521348.tif 000006
【０１５１】
例えば、２Ｄイメージ上でＸＹ座標値が（Ｋｘπｒ、０）であるピクセルは、球面上のθ＝θ０、φ＝π／２である点にリプロジェクションされることができる。
【０１５２】
本発明に係るまた別の実施例によると、キュービックプロジェクション（Ｃｕｂｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションが行われることができる。プロジェクション処理部は、キュービックプロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。前記キュービックプロジェクションスキームは、ＣＭＰ（Ｃｕｂｅ  Ｍａｐ  Ｐｒｏｊｅｃｔｉｏｎ）と示すこともできる。図９ａの（ｂ）は、キュービックプロジェクションスキームを示すことができる。例えば、スティチングされた３６０度ビデオデータは、球面上に示され得る。プロジェクション処理部は、このような３６０度ビデオデータをキューブ（Ｃｕｂｅ、立方体）の形態に分けて、２Ｄイメージ上にプロジェクションできる。球面上の３６０度ビデオデータはキューブの各面に対応し、２Ｄイメージ上に図９ａの（ｂ）左側又は（ｂ）右側に示すようにプロジェクションされることができる。
【０１５３】
本発明に係るまた別の実施例によると、シリンダ状プロジェクション（Ｃｙｌｉｎｄｒｉｃａｌ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションが行われることができる。プロジェクション処理部はシリンダ状プロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。図９ａの（ｃ）は、シリンダ状プロジェクションスキームを示すことができる。スティチングされた３６０度ビデオデータが球面上に示され得ると仮定する際に、プロジェクション処理部は、このような３６０度ビデオデータをシリンダ（Ｃｙｌｉｎｄｅｒ）の形態に分けて、２Ｄイメージ上にプロジェクションできる。球面上の３６０度ビデオデータは、シリンダの側面（ｓｉｄｅ）と上面（ｔｏｐ）、底面（ｂｏｔｔｏｍ）にそれぞれ対応し、２Ｄイメージ上に図９ａの（ｃ）左側又は（ｃ）右側に示すようにプロジェクションされることができる。
【０１５４】
本発明に係るまた別の実施例によると、タイルベース（Ｔｉｌｅ−ｂａｓｅｄ）のプロジェクションスキームを用いて、プロジェクションを行うことができる。プロジェクション処理部は、タイルベースのプロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。図９ａの（ｄ）は、タイルベースのプロジェクションスキームを示すことができる。タイルベース（Ｔｉｌｅ−ｂａｓｅｄ）のプロジェクションスキームが使われる場合、前述したプロジェクション処理部は球面上の３６０度ビデオデータを、図９ａの（ｄ）に示すように、一つ以上の細部領域に分けて２Ｄイメージ上にプロジェクションできる。前記細部領域は、タイルであると呼ばれ得る。
【０１５５】
本発明に係るまた別の実施例によると、ピラミッドプロジェクション（Ｐｙｒａｍｉｄ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。プロジェクション処理部は、ピラミッドプロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。図９ｂの（ｅ）は、ピラミッドプロジェクションスキームを示すことができる。スティチングされた３６０度ビデオデータが球面上に示され得ると仮定する際に、プロジェクション処理部はこのような３６０度ビデオデータをピラミッドの形態と見て、各面を分けて２Ｄイメージ上にプロジェクションできる。球面上の３６０度ビデオデータはピラミッドの底面（ｆｒｏｎｔ）、ピラミッドの４方向の側面（Ｌｅｆｔ  ｔｏｐ、Ｌｅｆｔ  ｂｏｔｔｏｍ、Ｒｉｇｈｔ  ｔｏｐ、Ｒｉｇｈｔ  ｂｏｔｔｏｍ）にそれぞれ対応し、２Ｄイメージ上に図９ｂの（ｅ）左側又は（ｅ）右側に示すようにプロジェクションされることができる。ここで、前記底面は、正面を眺めるカメラが獲得したデータを含む領域であり得る。
【０１５６】
本発明に係るまた別の実施例によると、パノラマ式プロジェクション（Ｐａｎｏｒａｍｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）スキームを用いてプロジェクションを行うことができる。プロジェクション処理部は、パノラマ式プロジェクションスキームを用いて、３６０度ビデオデータのプロジェクションを行うことができる。図９ｂの（ｆ）は、パノラマ式プロジェクションスキームを示すことができる。パノラマ式プロジェクションスキームが使用される場合、前述したプロジェクション処理部は、図９ｂの（ｆ）に示すように、球面上の３６０度ビデオデータのうち側面のみを２Ｄイメージ上にプロジェクションできる。これは、シリンダ状プロジェクションスキームで上面（ｔｏｐ）と底面（ｂｏｔｔｏｍ）が存在しない場合と同一であり得る。
【０１５７】
本発明に係るまた別の実施例によると、スティチングなしでプロジェクションを行うことができる。図９ｂの（ｇ）は、スティチングなしでプロジェクションが行われる場合を示すことができる。スティチングなしでプロジェクションされる場合、前述したプロジェクション処理部は、図９ｂの（ｇ）に示すように、３６０度ビデオデータをそのまま２Ｄイメージ上にプロジェクションできる。この場合、スティチングは行われず、カメラから獲得されたそれぞれのイメージがそのまま２Ｄイメージ上にプロジェクションできる。
【０１５８】
図９ｂの（ｇ）を参照すると、二つのイメージが２Ｄイメージ上にスティチングなしでプロジェクションできる。各イメージは、球状カメラ（ｓｐｈｅｒｉｃａｌ  ｃａｍｅｒａ）で各センサを介して獲得した魚眼（ｆｉｓｈｅｙｅ）イメージであり得る。前述したように、受信側でカメラセンサから獲得するイメージデータをスティチングすることができ、スティチングされたイメージデータを球面（ｓｐｈｅｒｉｃａｌ  ｓｕｒｆａｃｅ）上にマッピングし、球状ビデオ（ｓｐｈｅｒｉｃａｌ  ｖｉｄｅｏ）、即ち、３６０度ビデオをレンダリングすることができる。
【０１５９】
図１０は、本発明の一様相（ａｓｐｅｃｔ）による３６０度ビデオ送信装置を示した図である。一様相によると、本発明は、３６０度ビデオ送信装置に関する。３６０度ビデオ送信装置は、３６０ビデオデータを処理して、３６０ビデオデータに対するシグナリング情報を生成し、これを受信側に送信することができる。具体的に、３６０度ビデオ送信装置は、魚眼（ｆｉｓｈｅｙｅ）レンズにより獲得された円形のイメージ（ｃｉｒｃｕｌａｒ  ｉｍａｇｅ）をピクチャーにマッピングし、ピクチャーを符号化し、３６０度ビデオデータに対するシグナリング情報を生成し、３６０度ビデオデータ及び／又はシグナリング情報を様々な形態で、かつ様々な方法で送信することができる。
【０１６０】
本発明に係る３６０度ビデオ送信装置は、ビデオプロセッサ、データエンコーダー、メタデータ処理部、エンカプセレーション処理部及び／又は送信部を内／外部のコンポーネントとして含むことができる。
【０１６１】
ビデオプロセッサは、少なくとも一つ以上の魚眼レンズを有するカメラによりキャプチャーされた少なくとも一つ以上の円形のイメージを処理することができる。ここで、円形のイメージは、３６０度ビデオデータを含むことができる。ビデオプロセッサは、円形のイメージをピクチャーにマッピングできる。実施例に係り、ビデオプロセッサは円形のイメージをピクチャーの四角形領域（ｒｅｃｔａｎｇｕｌａｒ  ｒｅｇｉｏｎ）にマッピングできる。ここで、ピクチャーは、魚眼ビデオフォーマットを有することができる。実施例に係り、このマッピング過程は、円形のイメージのパッキング（ｐａｃｋｉｎｇ）とも呼ばれ得る。魚眼レンズにより獲得された魚眼ベースの３６０度ビデオデータが使用される場合において、ビデオプロセッサは、前述したステッチャー、プロジェクション処理部及び／又はリージョンワイズパッキング処理部を代替するコンポーネントであり得る。この場合、魚眼レンズにより獲得された円形のイメージは、特別な処理なしでそのままピクチャーにマッピングされることができる。
【０１６２】
データエンコーダーは、円形のイメージがマッピングされたピクチャーを符号化することができる。データエンコーダーは、前述したデータエンコーダーに対応し得る。
【０１６３】
メタデータ処理部は、３６０度ビデオデータに対するシグナリング情報を生成することができる。メタデータ処理部は、前述したメタデータ処理部に対応し得る。
【０１６４】
エンカプセレーション処理部は、符号化されたピクチャーとシグナリング情報をファイルにエンカプセレーションできる。エンカプセレーション処理部は、前述したエンカプセレーション処理部に対応し得る。
【０１６５】
送信部は、３６０度ビデオデータ及びシグナリング情報を送信することができる。該当情報がファイルにエンカプセレーションされる場合、送信部はファイルを送信することができる。送信部は、前述した送信処理部及び／又は送信部に対応するコンポーネントであり得る。送信部は、放送網又はブロードバンドを介して該当情報を送信することができる。
【０１６６】
本発明に係る３６０度ビデオ送信装置の一実施例において、前述したシグナリング情報は、円形のイメージを受信機で処理するための魚眼ビデオ情報を含むことができる。魚眼ビデオ情報は、シグナリング情報の一つであって、円形のイメージ、円形のイメージがマッピングされた四角形領域、円形のイメージの形態で伝達されるモノスコピック（ｍｏｎｏｓｃｏｐｉｃ）３６０度ビデオデータ又はステレオスコピック（ｓｔｅｒｅｏｓｃｏｐｉｃ）３６０度ビデオデータ、四角形領域のタイプ等に対する情報等を提供することができる。また、魚眼ビデオ情報は、前述した円形のイメージを受信側から抽出し、プロジェクションし、ブレンディング（ｂｌｅｎｄｉｎｇ）するのに必要な情報を提供することができる。詳しい事項は後述する。
【０１６７】
本発明に係る３６０度ビデオ送信装置の別の実施例において、前述した魚眼ビデオ情報は、それぞれの円形のイメージに対して、該当円形のイメージを記述する情報を含むことができる。また、魚眼ビデオ情報は、それぞれの四角形領域に対して、該当四角形領域を記述する情報を含むことができる。このような円形のイメージを記述する情報及び／又は四角形領域を記述する情報は、受信機で円形のイメージを通して伝達される魚眼３６０度ビデオデータを獲得するのに使用できる。実施例に係り、このような情報は円形のイメージに該当する領域及び四角形領域の積集合に該当する領域の（魚眼）３６０度ビデオデータを抽出するのに使用できる。
【０１６８】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、前述した円形のイメージを記述する情報は、該当円形のイメージの属性を示す情報を含むことができる。実施例に係り、円形のイメージを記述する情報は、該当円形のイメージを撮影した魚眼レンズの画角を示す情報を含むことができる。ここで、魚眼レンズの画角は、魚眼レンズのＦＯＶ（Ｆｉｅｌｄ  Ｏｆ  Ｖｉｅｗ）で表現してもよいが、これは前述した受信側ＶＲディスプレイのＦＯＶとは異なり得る。前述したように、ＶＲディスプレイのＦＯＶは、３６０度ビデオの再生の際に一度にディスプレイされる視野範囲を意味することができる。実施例に係り、円形のイメージを記述する情報は、該当円形のイメージが３Ｄ空間上で占める領域の中心点の座標を示す情報を含むことができる。ここで、中心点の座標は、ヨー、ピッチ及び／又はロールの値で表され得る。
【０１６９】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、前述した四角形領域を記述する情報は、該当四角形領域を特定する情報及び／又は該当四角形領域にマッピングされた円形のイメージを特定する情報を含むことができる。該当四角形を特定する情報は、該当四角形領域の左上段点の位置、幅及び／又は高さを指示し、該当四角形領域を特定することができる。該当四角形領域にマッピングされた円形のイメージを特定する情報は、該当円形のイメージの中心点の座標及び／又は半径を指示し、該当円形のイメージを特定することができる。
【０１７０】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、前述した四角形を記述する情報は、領域タイプ情報及び／又は領域追加情報を含むことができる。実施例に係り、領域追加情報は、領域タイプ情報の値に応じて異なる意味を有することができる。
【０１７１】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、領域タイプ情報及び／又は領域追加情報は、円形のイメージがモノスコピック３６０ビデオデータを含むか、ステレオスコピック３６０ビデオデータを含むかによって、異なる意味を有することができる。実施例に係り、領域タイプ情報及び／又は領域追加情報は、該当領域に円形のイメージがフレームパッキング（ｆｒａｍｅ  ｐａｃｋｉｎｇ）されているか、円形のイメージの視野方向及び／又は視野位置は何であるか等に対する情報を示すこともできる。ここで、一つの領域に二つ以上の円形のイメージがマッピングされている場合、フレームパッキングされていると表現してもよく、一つの領域に一つの円形のイメージのみマッピングされている場合、フレームパッキングされていないと表現してもよい。
【０１７２】
本発明に係る３６０ビデオ送信装置のまた別の実施例において、モノスコピック３６０度ビデオデータは、２Ｄ（２−Ｄｉｍｅｎｓｉｏｎ）で提供される３６０度ビデオデータを意味することができる。ステレオスコピック３６０度ビデオデータは、３Ｄで提供されることができる３６０度ビデオデータを意味することができる。受信機のケイパビリティによってステレオスコピック３６０度ビデオデータも２Ｄで提供されることもできる。
【０１７３】
本発明に係る３６０ビデオ送信装置のまた別の実施例において、円形のイメージの視野方向（ｖｉｅｗｉｎｇ  ｄｉｒｅｃｔｉｏｎ）とは、該当円形のイメージが３Ｄ空間上で位置することになる領域の方向を意味することができる。例えば、該当円形のイメージが球等の３Ｄ空間上で前面（ｆｒｏｎｔ）に該当する円形のイメージである場合、その円形のイメージの視野方向は「ｆｒｏｎｔ」であり得る。
【０１７４】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、円形のイメージの視野位置（ｖｉｅｗｉｎｇ  ｐｏｓｉｔｉｏｎ）とは、該当円形のイメージがステレオスコピック３６０度ビデオデータの伝達において、左画像に該当するか、右画像に該当するか否かを意味することができる。例えば、該当円形のイメージがステレオスコピック３６０度ビデオの左画像に該当する画像を有する場合、その円形のイメージの視野位置は、「ｌｅｆｔ」であり得る。
【０１７５】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、ビデオプロセッサは、一つの円形のイメージを一つの四角形領域にマッピングできる。実施例に係り、ビデオプロセッサは複数個の円形のイメージを一つの四角形領域にマッピングすることもできる。実施例に係り、ビデオプロセッサは、Ｎ個の円形のイメージをＭ個の四角形領域にマッピングすることもできる。
【０１７６】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、円形のイメージがステレオスコピック３６０度ビデオデータを伝達する場合、前述した領域タイプ情報は、四角形領域にマッピングされた単数個の円形のイメージの視野位置を指示することができる。このとき、前述した領域追加情報は、該当単数個の円形のイメージの視野方向を指示することができる。
【０１７７】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、円形のイメージがステレオスコピック３６０度ビデオデータを伝達する場合、前述した領域タイプ情報は、該当四角形領域に同一の視野方向を有する複数個の円形のイメージがマッピングされたか否かを指示することができる。即ち、領域タイプ情報は、該当四角形領域にフレームパッキングされた円形のイメージが同一の視野方向を基準に束ねられたかを示すことができる。このとき、前述した領域追加情報は、その同一の視野方向が何であるかを指示することができる。
【０１７８】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、円形のイメージがステレオスコピック３６０ビデオデータを伝達する場合、前述した領域タイプ情報は、該当四角形領域に同一の視野位置を有する複数個の円形のイメージがマッピングされたか否かを指示することができる。即ち、領域タイプ情報は、該当四角形領域にフレームパッキングされた円形のイメージが同一の視野位置を基準に束ねられたかを示すことができる。このとき、前述した領域追加情報は、その同一の視野位置が何であるかを指示することができる。
【０１７９】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、ビデオプロセッサは、前述したように円形のイメージを処理する際に、円形のイメージをスティチング（ｓｔｉｔｃｈｉｎｇ）してもよく、リージョンワイズパッキング（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）しなくてもよい。即ち、ビデオプロセッサは、魚眼レンズベースの魚眼３６０度ビデオデータを処理するにあたって、スティチング、リージョンワイズパッキングの過程を省略し得る。
【０１８０】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３６０度ビデオデータに対するシグナリング情報又は魚眼ビデオ情報は、ＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）ディスクリプタの形態で生成されることができる。魚眼ビデオ情報は、フォーマットのみ異にしてＤＡＳＨディスクリプタで構成されることができ、この場合、ＤＡＳＨディスクリプタは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）に含まれて（魚眼）３６０度ビデオデータファイルとは異なる、別途の経路で送信されることができる。この場合、魚眼ビデオ情報はファイル内に３６０度ビデオデータのようにエンカプセレーションされなくてもよい。即ち、魚眼ビデオ情報はＭＰＤ等の形態で別途のシグナリングチャネルを介して受信側に伝達されることもできる。実施例に係り、魚眼ビデオ情報は、ファイル内、そしてＭＰＤ等別途のシグナリング情報内に同時に含まれることもできる。
【０１８１】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３６０度ビデオデータに対するシグナリング情報又は魚眼ビデオ情報は、ＩＳＯＢＭＦＦ（ＩＳＯ  Ｂａｓｅ  Ｍｅｄｉａ  Ｆｉｌｅ  Ｆｏｒｍａｔ）ボックスの形態でファイルに挿入されることができる。実施例に係り、ファイルはＩＳＯＢＭＦＦファイルであってもよく、ＣＦＦ（Ｃｏｍｍｏｎ  Ｆｉｌｅ  Ｆｏｒｍａｔ）によるファイルであってもよい。この場合、魚眼ビデオ情報は、サンプルエントリー等のレベルに位置し得る。
【０１８２】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３６０度ビデオデータに対するシグナリング情報又は魚眼ビデオ情報は、ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  ｅｎｈａｎｃｅｍｅｎｔ  ｉｎｆｏｒｍａｔｉｏｎ）メッセージの形態でビデオレベルで伝達されることもできる。
【０１８３】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、円形のイメージは、魚眼レンズによりキャプチャーされた３６０度ビデオのためのイメージであって、魚眼イメージ等と呼ばれることもある。
【０１８４】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３６０度ビデオ送信装置は、（送信側）フィードバック処理部をさらに含むことができる。（送信側）フィードバック処理部は、前述した（送信側）フィードバック処理部に対応し得る。（送信側）フィードバック処理部は、受信側から現在のユーザのビューポートを指示するフィードバック情報を受信することができる。このフィードバック情報は、現在のユーザがＶＲ機器等を通じて視聴しているビューポートを特定する情報を含むことができる。前述したように、このフィードバック情報を用いて、タイリング等が行われることができる。このとき、３６０度ビデオ送信装置が送信するサブピクチャー乃至ピクチャーの一領域は、このフィードバック情報が指示するビューポートに該当するサブピクチャー乃至ピクチャーの一領域であり得る。このとき、魚眼ビデオ情報は、フィードバック情報が指示するビューポートに該当するサブピクチャー乃至ピクチャーの一領域に対する魚眼３６０度ビデオデータに関する情報を提供することができる。
【０１８５】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、魚眼ビデオ情報は、魚眼３６０度ビデオデータが全画像を伝達する場合を基準として、関連のシグナリング情報を提供することができる。実施例に係り、全画像のサブピクチャーが送信される場合、魚眼ビデオ情報は、魚眼レンズベースの画像が該当サブピクチャーに含まれているか否か、どの部分に該当する画像を該当サブピクチャーが含むかに関する情報をさらに含むことができる。ここで、サブピクチャーは、前述したタイリング動作におけるタイルに該当し得る。
【０１８６】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、魚眼ビデオ情報は、魚眼レンズベースのカメラから獲得した画像を伝達する場合だけでなく、一般レンズベースのカメラから獲得した画像を伝達する場合にも適用できる。即ち、魚眼レンズベースの画像を受信機に伝達する場合以外にも、一般レンズベースの画像を受信機に伝達し、受信機が３６０度ビデオ、パノラマビデオ又は一般のビデオサービスを提供する場合にも、本発明の実施例に係る魚眼ビデオ情報が活用できる。例えば、一般のレンズベースのカメラ６台を使用してキューブマップ（ｃｕｂｅｍａｐ）の各面にマッチングされるようにカメラを構成することができる。この場合にも、本発明で提案する魚眼ビデオ情報は、該当画像に対する、ステレオスコピック又はモノスコピックカメラの構成、個別画像の抽出のための情報、レンダリングのための情報等を伝達することができる。
【０１８７】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３Ｄ空間は球（ｓｐｈｅｒｅ）であってもよい。実施例に係り、３Ｄ空間はキューブ等であってもよい。
【０１８８】
本発明に係る３６０度ビデオ送信装置のまた別の実施例において、３６０度ビデオ送信装置は、示していないデータ入力部等をさらに含むことができる。データ入力部は、前述した同名の内部のコンポーネントに対応し得る。
【０１８９】
前述した本発明に係る３６０度ビデオ送信装置の実施例は、互いに組み合わせることができる。また、前述した本発明に係る３６０度ビデオ送信装置の内／外部のコンポーネントは、実施例に係り、追加、変更、代替又は削除し得る。また、前述した３６０度ビデオ送信装置の内／外部のコンポーネントは、ハードウェアのコンポーネントで具現できる。
【０１９０】
図１１は、本発明の別の様相による３６０度ビデオ受信装置を示した図である。
【０１９１】
別の様相によると、本発明は、３６０度ビデオ受信装置に関する。３６０度ビデオ受信装置は、３６０度ビデオデータ及び／又は３６０度ビデオデータに対するシグナリング情報を受信し、これを処理して３６０度ビデオをユーザにレンダリングできる。３６０度ビデオ受信装置は、前述した３６０度ビデオ送信装置に対応する受信側における装置であり得る。ここで、前記シグナリング情報はメタデータを示すことができる。
【０１９２】
具体的に、３６０度ビデオ受信装置は、魚眼ベースの３６０度ビデオデータ及び／又は３６０度ビデオデータに対するシグナリング情報を受信し、そのシグナリング情報を獲得し、これに基づいて魚眼３６０度ビデオデータを復号化し、魚眼３６０度ビデオデータのピクチャー及びそのピクチャーの四角形領域から円形のイメージを抽出し、抽出された円形のイメージを平面上にプロジェクションし、プロジェクションされた円形のイメージを一つのピクチャーにブレンディング（ｂｌｅｎｄｉｎｇ）して合わせて、これに基づいて魚眼３６０度ビデオをレンダリングできる。
【０１９３】
本発明に係る３６０度ビデオ受信装置は、受信部、データプロセッサ及び／又はメタデータパーサーを内／外部のコンポーネントとして含むことができる。
【０１９４】
受信部は、（魚眼）３６０度ビデオデータ及び／又は３６０度ビデオデータに対するシグナリング情報を受信することができる。実施例に係り、受信部は、この情報をファイルの形態で受信することができる。実施例に係り、受信部は、放送網又はブロードバンドを介して該当情報を受信することができる。受信部は、前述した受信部に対応するコンポーネントであり得る。
【０１９５】
データプロセッサは、受信されたファイル等から（魚眼）３６０度ビデオデータ及び／又は３６０度ビデオデータに対するシグナリング情報を獲得することができる。データプロセッサは、受信された情報に対して送信プロトコルによる処理をするか、ファイルをデカプセレーションするか、３６０度ビデオデータに対して復号化を行うことができる。ここで、魚眼３６０度ビデオデータを処理するデータプロセッサは、魚眼３６０度ビデオデータを有するピクチャーから円形のイメージを抽出することができる。この抽出過程で、ピクチャーの四角形領域から円形のイメージを抽出することができる。また、データプロセッサは抽出された円形のイメージをそれぞれ平面上にプロジェクションできる。さらに、データプロセッサは、円形のイメージがプロジェクションされた複数個の平面を一つの平面に合成できる。この合成過程は、ブレンディングと呼ばれ得る。実施例に係り、プロジェクションする過程及びブレンディングする過程を合わせて、スティチング（ｓｔｉｔｃｈｉｎｇ）するとも呼び得る。実施例に係り、ブレンディングする過程を境界領域融合過程とも呼び得る。参考までに、このスティチングは送信側で行われるスティチングとは異なり得る。以降のデータプロセッサは、合成された平面に基づいてレンダリングし、ビューポートを生成することができる。ビデオプロセッサは、このような過程を行うにあたって、メタデータパーサーから獲得されたシグナリング情報を活用することができる。データプロセッサは、前述した受信処理部、デカプセレーション処理部、データデコーダー及び／又はレンダラーに対応する役割を行うコンポーネントであり得る。
【０１９６】
メタデータパーサーは、獲得されたシグナリング情報をパーシングすることができる。メタデータパーサーは、前述したメタデータパーサーに対応し得る。
【０１９７】
本発明に係る３６０度ビデオ受信装置は、前述した本発明に係る３６０度ビデオ送信装置に対応する実施例を有することができる。本発明に係る３６０度ビデオ受信装置及びその内／外部のコンポーネントは、前述した本発明に係る３６０度ビデオ送信装置の実施例に対応する実施例を行うことができる。
【０１９８】
前述した本発明に係る３６０度ビデオ受信装置の実施例は、互いに組み合わせることができる。また、前述した本発明に係る３６０度ビデオ受信装置の内／外部のコンポーネントは、実施例に係り、追加、変更、代替又は削除され得る。また、前述した３６０度ビデオ受信装置の内／外部のコンポーネントは、ハードウェアのコンポーネントで具現できる。
【０１９９】
図１２は、本発明に係る魚眼３６０度ビデオデータの処理過程の一実施例を示した図である。
【０２００】
前述したように、３６０度ビデオ送信装置及び３６０度ビデオ受信装置は、魚眼３６０度ビデオデータを処理することができる。
【０２０１】
図示されている魚眼３６０度ビデオデータの処理過程の一実施例において、３６０度ビデオ送信装置のビデオプロセッサは、魚眼３６０度ビデオデータを有する円形のイメージをピクチャーの四角形領域にマッピングすることができる（Ｓ１２００）。
【０２０２】
３６０度ビデオ送信装置は、まず、３６０カメラで撮影された画像を獲得することができる。
【０２０３】
ここで、３６０カメラは、少なくとも一つ以上の魚眼カメラを意味することもでき、少なくとも一つ以上の魚眼レンズ及びセンサを有するカメラを意味することもできる。
【０２０４】
３６０度ビデオ送信装置のビデオプロセッサは、円形のイメージをピクチャー上にマッピング／パッキングできる（Ｓ１２００）。以降、前述したように、ビデオプロセッサは該当ピクチャーを符号化し、メタデータ処理部は、魚眼３６０度ビデオデータ、円形のイメージ及び／又は四角形領域に対するシグナリング情報を生成することができる。以降、前述したように、エンカプセレーション等の過程を経て、受信側に３６０度ビデオデータ及び／又はシグナリング情報が送信できる。
【０２０５】
示すように、ビデオプロセッサのスティチング、プロジェクション及び／又はリージョンワイズパッキング等の動作は、円形のイメージのパッキング動作に代替できる（Ｓ１２００）。
【０２０６】
図示されている魚眼３６０度ビデオデータの処理過程の一実施例において、３６０度ビデオ受信装置のデータプロセッサはピクチャーの四角形領域から円形のイメージに該当する魚眼３６０度ビデオデータを抽出し、抽出されたデータを平面上にプロジェクションし、平面をブレンディングして一つの平面に合わせることができる（Ｓ１２１０）。
【０２０７】
３６０度ビデオ受信装置の受信部は、受信した放送信号等から、３６０度ビデオデータ及び／又はシグナリング情報を獲得して処理できる。３６０度ビデオ受信装置のデータプロセッサとメタデータパーサーは、受信されたビットストリームから魚眼３６０度ビデオデータ及び／又はシグナリング情報を獲得することができる。
【０２０８】
３６０度ビデオ受信装置のデータプロセッサは、魚眼３６０度ビデオデータを有するピクチャーから円形のイメージを抽出することができる（Ｅｘｔｒａｃｔｉｏｎ）。データプロセッサは、単一の魚眼レンズに対する画像をそれぞれ抽出することができる。
【０２０９】
実施例に係り、データプロセッサは、四角形領域を先に抽出した後、該当四角形領域で円形のイメージがマッピングされた領域を再度抽出することができる。このとき、四角形領域と円形のイメージがマッピングされた領域の内部積集合に該当する領域が、魚眼レンズを介して獲得した実際の魚眼３６０度ビデオデータであり得る。残りの有効ではない領域は、黒色等で表されて区分されることができる。実施例に係り、データプロセッサは、四角形領域と円形のイメージがマッピングされた領域の積集合に該当する領域を抽出することもできる。ここで、円形のイメージがマッピングされた領域は、円形領域とも呼ばれ得る。
【０２１０】
データプロセッサは、前述した魚眼ビデオ情報を用いて四角形領域を特定することができる。このとき、魚眼ビデオ情報が提供する、四角形領域の左上段点に対する情報、幅及び／又は高さ情報が使用できる。また、データプロセッサは、前述した魚眼ビデオ情報を用いて円形のイメージがマッピングされた領域を特定することができる。このとき、魚眼ビデオ情報が提供する、中心点に対する情報及び／又は半径情報が使用できる。
【０２１１】
３６０度ビデオ受信装置のデータプロセッサは、抽出された円形のイメージを平面にプロジェクションできる（Ｐｒｏｊｅｃｔｉｏｎ）。ここで、平面は、ＥＲＰ（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ、エクイレクタングラープロジェクション）平面であり得る。このプロジェクション過程は、円形のイメージを、球座標系等の３Ｄ空間にリプロジェクションするための中間段階であり得る。
【０２１２】
前述した実際の魚眼３６０度ビデオデータを有する有効領域は、四角形領域と円形のイメージがマッピングされた領域の積集合で定義されることができる。ここで、データプロセッサは、該当有効領域が３Ｄ空間上で有する領域と一対一の関係にあることを用いて、該当有効領域にＥＲＰでプロジェクションできる。前述したように、ここで有効領域が３Ｄ空間上で有する領域は、画角情報と中心点の情報で定義されることができる。中心点の情報は、ヨー、ピッチ、ロール又は方位角（ａｚｉｍｕｔｈ）、高度（ｅｌｅｖａｔｉｏｎ）、傾斜度（ｔｉｌｔ）の形態で表され得る。
【０２１３】
実施例に係り、データプロセッサは、画角による標準化されたプロジェクションを用いて、抽出された有効領域の画像を平面上にプロジェクションできる。実施例に係り、機構的な特性でレンズの軸が円形のイメージ間に一致しないか、レンズの補正がＩＳＰで適切に補正されない場合、送信側のメタデータ処理部は、このための追加のパラメータを生成してシグナリング情報に含ませることができる。この追加のパラメータは、受信側でデータプロセッサがプロジェクションを行う際に使用されることができる。この追加のパラメータは、レンズディストーション補正パラメータ（ｌｅｎｓ  ｄｉｓｔｏｒｔｉｏｎ  ｃｏｒｒｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒ）及び／又はレンズシェーディング補正パラメータ（ｌｅｎｓ  ｓｈａｄｉｎｇ  ｃｏｒｒｅｃｔｉｏｎ  ｐａｒａｍｅｔｅｒ）等を含むことができる。
【０２１４】
３６０度ビデオ受信装置のデータプロセッサは、少なくとも一つのプロジェクションされた平面を一つのＥＲＰ平面に合成できる（Ｂｌｅｎｄｉｎｇ）。実施例に係り、魚眼レンズの画角と、中心点座標により円形のイメージ間に重なる部分が発生し得るが、データプロセッサは重なる部分のピクセル情報を適切に融合できる。
【０２１５】
３６０度ビデオ受信装置のデータプロセッサは、最終に合成されたＥＲＰ平面（ピクチャー）に基づいてレンダリングを行い、該当するビューポートを生成することができる。
【０２１６】
示すように、データプロセッサのイメージレンダリングを行う過程は、前述した抽出、プロジェクション、ブレンディング等の動作に代替できる（Ｓ１２１０）。
【０２１７】
図１３は、本発明に係る魚眼３６０度ビデオデータの処理過程の別の実施例を示した図である。
【０２１８】
前述したように、３６０度ビデオ受信装置のデータプロセッサはピクチャーの四角形領域から円形のイメージに該当する魚眼３６０ビデオデータを抽出し、抽出されたデータを平面上にプロジェクションし、平面をブレンディングして一つの平面に合わせることができる。
【０２１９】
図示されている３６０度ビデオデータの処理過程の別の実施例において、１８０度以上の画角を有する魚眼レンズ２つにより獲得された２つの円形のイメージが受信側に伝達されることができる。
【０２２０】
この実施例において、データプロセッサはピクチャーから円形のイメージの魚眼３６０度ビデオデータに該当する有効領域を抽出することができる（１３００）。一番目の有効領域は、一番目の四角形領域と一番目の円形領域の積集合で表され得る。ここで、円形領域は、中点（ａ１、ｂ１）、半径ｃ１に特定される領域であり得る。二番目の有効領域は、二番目の四角形領域と二番目の円形領域で表され得る。ここで、円形領域は、中点（ａ２、ｂ２）、半径ｃ２に特定される領域であり得る。実施例に係り、有効領域ではない残りの部分は、黒色で処理されることもできる。
【０２２１】
以降、データプロセッサはそれぞれの抽出された画像をそれぞれのＥＲＰ平面上にプロジェクションできる（１３１０）。一番目の画像は、３Ｄ空間上の中心座標が（ｙ１、ｐ１、ｒ１）であり、画角がＸＸＸ度であり得る。二番目の画像は、３Ｄ空間上の中心座標が（ｙ２、ｐ２、ｒ２）であり、画角がＹＹＹ度であり得る。プロジェクションの結果、２つのプロジェクションされたＥＲＰ平面が出力できる。
【０２２２】
データプロセッサは、このＥＲＰ平面を一つのＥＲＰ平面にブレンディングできる（１３２０）。データプロセッサは、ブレンディングされた一つのＥＲＰ平面に基づいてビューポートを生成することができる（１３３０）。
【０２２３】
前述した四角形領域の特定、円形領域の特定、画角等の情報は、前述した３６０度ビデオデータに対するシグナリング情報により獲得できる。
【０２２４】
前述した本発明に係る魚眼３６０度ビデオデータの処理過程の実施例は、互いに組み合わせることができる。本発明に係る３６０度ビデオ送信装置及び３６０度ビデオ受信装置の実施例において、魚眼３６０度ビデオデータの処理過程は、前述した実施例に係る魚眼３６０度ビデオデータの処理過程であり得る。
【０２２５】
図１４は、本発明に係る魚眼３６０度ビデオデータの抽出過程の一実施例を示した図である。
【０２２６】
前述したように、３６０度ビデオ受信装置のデータプロセッサは、ピクチャーの四角形領域から円形のイメージに該当する魚眼３６０度ビデオデータを抽出することができる。
【０２２７】
データプロセッサはピクチャーから実際の魚眼３６０度ビデオデータが含まれた有効領域を抽出するために、ピクチャーの円形領域及び四角形領域を同時に活用できる。前述したように、円形領域は円形のイメージに該当する領域を意味することができる。
【０２２８】
データプロセッサの抽出過程での有効領域は、魚眼レンズと（センサ上の）撮像面間の距離又はセンサフレーム（ｆｒａｍｅ）の大きさ、焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）等によって様々な形態を有し得る。
【０２２９】
センサフレームの大きさが焦点距離に対して適切に大きい場合、即ち、円形のイメージがフレームの四角形領域内に存在する場合には、有効領域は円形のイメージ全体になることができる（１４１０）。
【０２３０】
センサフレームの大きさが焦点距離に対して小さい場合、即ち、円形のイメージの一部がフレームの外方に存在することになる場合には、有効領域は円形のイメージの外郭部分が切られた形態であり得る（１４２０）。
【０２３１】
センサフレームの大きさが焦点距離に対して小さすぎて、フレームの対角線の長さが円形のイメージの径よりも短い場合には、有効領域は四角形の形態になり、円形のイメージの一部がフレーム全体を占めるようになることができる（１４３０）。
【０２３２】
図示されている実施例（１４３１）において、８ｍｍの焦点距離を有するフルフレームセンサを使用し、円形の有効領域が獲得できる（Ｃｉｒｃｕｌａｒ  Ｆｉｓｈｅｙｅ）（左側から一番目）。また、１０ｍｍの焦点距離を有するＡＰＳ−Ｃセンサを使用し、フレーム全体を占める四角形の有効領域が獲得できる（Ｆｕｌｌ  Ｆｒａｍｅ  Ｆｉｓｈｅｙｅ）（左側から二番目）。また、１２ｍｍの焦点距離を有するＡＰＳ−Ｈセンサを使用し、フレーム全体を占める四角形の有効領域が獲得できる（Ｆｕｌｌ  Ｆｒａｍｅ  Ｆｉｓｈｅｙｅ）（左側から三番目）。また、１５ｍｍの焦点距離を有するフルフレームセンサを使用し、フレーム全体を占める四角形の有効領域が獲得できる（Ｆｕｌｌ  Ｆｒａｍｅ  Ｆｉｓｈｅｙｅ）（左側から四番目）。
【０２３３】
実施例に係り、データプロセッサの抽出過程で、複数個の円形のイメージがピクチャー上から分離されていることもあるが（１４４０）、互いに重なってパッキングされていることもある（１４５０）。
【０２３４】
複数個の円形のイメージが分離されてパッキングされている場合（１４４０）、有効領域が完全な二つの円であるため、円形領域に対する情報だけでも、該当有効領域を正確に抽出できる。しかし、複数個の円形のイメージが重なってパッキングされている場合（１４５０）、円形領域に対する情報だけで抽出が行われる場合、隣接した他の画像の一部分も共に抽出され得る。
【０２３５】
他の画像の一部分まで共に抽出される場合を防止するために、前述したようにデータプロセッサは円形領域と四角形領域の積集合を使用し、該当積集合に該当する領域のみを抽出することができる。或いは、実施例に係り、データプロセッサは先に四角形領域を抽出した後、再度四角形領域から円形領域を抽出する方法を通じて、最終の有効領域を抽出することもある（１４６０）。
【０２３６】
前述した本発明に係る魚眼３６０度ビデオデータの抽出過程の実施例は、互いに組み合わせることができる。本発明に係る３６０度ビデオ受信装置の実施例において、魚眼３６０度ビデオデータの抽出過程は、前述した実施例に係る魚眼３６０度ビデオデータの抽出過程であり得る。
【０２３７】
前述したように、本発明に係る魚眼ビデオ情報は、３６０度ビデオデータに対するシグナリング情報の一つであって、魚眼３６０度ビデオデータに対する情報を含むことができる。前述したように、魚眼ビデオ情報は受信機から抽出、プロジェクション、ブレンディング等の動作を行うのに必要な情報を提供することができる。
【０２３８】
実施例に係り、魚眼ビデオ情報は、ビデオコーデックのメタデータの形態で伝達されることができ、ＨＥＶＣのようなビデオコーデックのＳＥＩメッセージで伝達されるか、ＶＰＳ、ＳＰＳ、ＰＰＳ等の形態で伝達されることができる。また、実施例に係り、デジタル有／無線インターフェース、システムレベルのファイルフォーマット等を通じても、魚眼ビデオ情報が伝達できる。
【０２３９】
例えば、前記魚眼ビデオ情報は、次の表のようにＳＥＩメッセージに含まれる形態で示され得る。
【０２４０】
【表１】
2020521348.tif 000007
【０２４１】
表１を参照すると、前記ＳＥＩメッセージは魚眼ビデオ情報に該当するｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏを含むことができる。
【０２４２】
前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏは、次の表のように導き出せる。
【０２４３】
【表２】
2020521348.tif 000008
【０２４４】
表２を参照すると、前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏは、ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏ＿ｉｄのフィールド、ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールド、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド及び／又はｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドを含むことができる。
【０２４５】
前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏ＿ｉｄのフィールドは、該当魚眼ビデオ情報を識別する識別子を示すことができる。即ち、一つの魚眼３６０ビデオデータで、複数個の魚眼ビデオ情報が使用される場合、本フィールドによって各魚眼ビデオ情報が識別できる。例えば、複数個のピクチャーを含む３６０度ビデオの場合、それぞれのピクチャーは本フィールドによって区分できる。実施例に係り、本フィールドは、フレームパッキングのアレンジメントの使用可否、フレームパッキングのアレンジメント方式等によって、異なって値が割り当てられることもある。
【０２４６】
前記ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドは、該当（復号化された）ピクチャーにステレオスコピック３６０度ビデオデータが含まれているか否かを示すことができる。本フィールド値が１である場合、該当ピクチャーにステレオスコピックビデオを支援するための、左画像又は右画像に該当するビデオデータが含まれていることが指示されることができる。
【０２４７】
前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドは、ステレオスコピック３６０度ビデオデータが使用される場合において、左画像のためのカメラと右画像のためのカメラの数が同一であるか否かを示すことができる。即ち、本フィールドは、左画像のための円形のイメージの数と、右画像のための円形のイメージの数が同一であるか否かを示すことができる。或いは、本フィールドは、左画像のための視野方向の数と、右画像のための視野方向の数が同一であるか否かを示すことができる。
【０２４８】
具体的に、例えば、前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値が１である場合、ステレオスコピック３６０度ビデオのための左右のカメラの数が同一であってもよく、左右のレンズの数が同一であってもよい。これによって、後述するｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドは、その左右に対して同一である、カメラの数乃至視野方向の数を指示することができる。また、前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値が１である場合、左右のカメラ又はレンズが同一の特性を有し、同一の位置を撮影するようにセッティングされていることがある。即ち、左右のカメラによるそれぞれの円形のイメージが同一のヨー、ピッチ、ロール値を有することができる。これによって、後述するｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、左右両方のカメラ又は円形のイメージに対する特性を示すことができる。
【０２４９】
前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値が０である場合、ステレオスコピック３６０度ビデオのための左右のカメラ又はレンズの数は同一ではなくてもよい。また、前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値が０である場合、左右のカメラ又はレンズが互いに異なる特性を有することを示すことができる。これによって、後述するｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、左側のカメラ乃至左側の円形のイメージに対する特性を示し、後述するｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールドは、右側のカメラ乃至右側の円形のイメージに対する特性を示すことができる。
【０２５０】
ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドは、該当ピクチャーで定義された視野方向の数を示すことができる。即ち、前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドは、単一の視野位置（左／右）に対して、魚眼レンズによって撮影された円形のイメージの数を示すことができる。前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値に１を足した値が前述した視野方向の数に導き出せる。例えば、左画像に対して、フロント（ｆｒｏｎｔ）、バック（ｂａｃｋ）の二つの視野方向の円形のイメージが該当ピクチャーに含まれた場合、前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値は１であり得る。実施例に係り、それぞれの視野方向が単一カメラで考慮されることもできる。
【０２５１】
ｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドは、該当ピクチャーで定義された四角形領域の数を示すことができる。前記ｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値に１を足した値が前述した四角形領域の数に導き出せる。
【０２５２】
図示されている実施例に係る魚眼ビデオ情報は、ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値が１である場合、ｄｉｓｐａｒｉｔｙのフィールドをさらに含むことができる。前記ｄｉｓｐａｒｉｔｙのフィールドは、ステレオスコピック３６０度ビデオに対して、左右のカメラ間の距離、即ち、ディスパリティー値を示すことができる。３６０度ビデオ受信装置は、前記ｄｉｓｐａｒｉｔｙのフィールドの値を用いて、ステレオスコピック３６０度ビデオの深度（ｄｅｐｔｈ）乃至画像と合う深度のステレオスコピック字幕、ステレオスコピックグラフィックオーバーレイ等を提供することができる。
【０２５３】
図示されている実施例に係る魚眼ビデオ情報は、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値によってそれぞれの視野方向乃至該当視野方向を有する円形のイメージに対して、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド及び／又はｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドをさらに含むことができる。表２に示している前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールドのｆｏｒ文による情報は、前述した円形のイメージに対する情報に該当し得る。
【０２５４】
前記ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールドは、ｉ番目の円形のイメージを撮影した魚眼レンズの画角を示すことができる。これは、文脈によって、該当円形のイメージの画角であるとも呼ばれ得る。本フィールド値の単位は、度（ｄｅｇｒｅｅ）が使用できる。
【０２５５】
同じ大きさの円形のイメージであっても、画角によってＥＲＰ平面等にプロジェクションされるとき、該当平面で占める面積が変わり得る。例えば、２２０度の画角を有するレンズで撮影された円形のイメージの場合、図１３の１３１０に示す「円形のイメージのＥＲＰ平面へのプロジェクション」のような形態でプロジェクションされることができる。また、例えば、１８０度の画角を有するレンズで撮影された円形のイメージの場合、プロジェクションの結果が、図１３の１３１０でよりも少ない領域をカバーするようになることができる。即ち、同じ大きさの円形のイメージであれば、より大きな画角を有する円形のイメージが相対的にさらに粗密にサンプリングされていると見ることができる。
【０２５６】
一方、表２には示していないが、魚眼ビデオ情報は、実施例に係り、各円形のイメージに対してｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドをさらに含むことができる。前記ｖｉｅｗ＿ｉｄｃのフィールドは、該当円形のイメージが有する３６０度ビデオがステレオスコピック又はモノスコピック３６０度ビデオであるか否か及び／又は左右画像であるか否かを示すことができる。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドの一実施例によると、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０である場合、該当円形のイメージに対する３６０度ビデオは、モノスコピック３６０度ビデオであり得る。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが１である場合、該当領域に対する３６０度ビデオは、ステレオスコピック３６０ビデオの左画像であり得る。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２である場合、該当円形のイメージに対する３６０度ビデオは、ステレオスコピック３６０ビデオの右画像であり得る。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが３である場合、該当円形のイメージに対する３６０度ビデオは、ステレオスコピック３６０ビデオの左画像及び右画像であり得る。
【０２５７】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０又は１である場合、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールドは該当視野方向の画角を示すことができる。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２又は３である場合、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールドは、該当視野方向の左／右の円形のイメージが同一の画角を有すると仮定し、左右の円形のイメージのアップサンプリング（ｕｐ  ｓａｍｐｌｉｎｇ）以降の円が有する画角を示すことができる。
【０２５８】
ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、ｉ番目の視野方向の円形のイメージに対して、前記円形のイメージが３Ｄ空間上で示される位置を示すことができる。即ち、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、該当円形のイメージが３Ｄ空間上で占める領域の中心点のヨー、ピッチ、ロール値を示すことができる。
【０２５９】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０又は１である場合、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、該当視野方向の円形のイメージの中点のヨー、ピッチ、ロールをそれぞれ示すことができる。ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２又は３である場合、該当視野方向の左／右の円形のイメージの中点が同一のヨー、ピッチ、ロール値を有すると仮定し、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、左／右の円形のイメージの中点のヨー、ピッチ、ロール値を示すことができる。
【０２６０】
本発明でｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドのｉは、０  −  ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１の範囲内に存在し、ｉは、各ヨー、ピッチ、ロールに位置するカメラのアウトプットイメージ又は魚眼レンズのアウトプットイメージ（円形のイメージ）を指すインデックスに使用されることができる。
【０２６１】
表２を参照すると、魚眼ビデオ情報は、ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値が１であり、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドが０である場合、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド及び／又はｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールドをさらに含むことができる。
【０２６２】
前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、前記ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールドは、ステレオスコピック３６０度ビデオが提供されるとき、左右画像に対してカメラの数、レンズの構成、画角、ヨー、ピッチ、ロール値等がそれぞれ異なる場合に追加され得る。
【０２６３】
この場合、前述したｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドは、左画像のための情報として使用されることができ、前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、前記ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、前記ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールドは、右画像のための情報として使用されることができる。追加される各フィールドに対する説明は、前述したｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドと同じであってもよい。
【０２６４】
表２を参照すると、魚眼ビデオ情報は、ｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値によってそれぞれの四角形領域に対して、ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールド及び／又はｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドを含むことができる。表２に示しているｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドのｆｏｒ文による情報は、前述した四角形領域に対する情報に該当し得る。
【０２６５】
前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド及び前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドに関する具体的な説明は後述する。
【０２６６】
前記ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、前記ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、前記ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、前記ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールドは、魚眼レンズによって撮影されたｉ番目の円形のイメージがマッピングされた四角形領域の左上の位置（左上段点の位置）、幅及び高さを示すことができる。
【０２６７】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０又は１である場合、それぞれの四角形領域はそれぞれの円形のイメージに対応するように定義できる。即ち、一つの四角形領域には一つの円形のイメージがマッピングできる。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２又は３である場合、一つの四角形領域には二つ以上の円形のイメージ（ｌｅｆｔ、ｒｉｇｈｔ）がマッピングできる。
【０２６８】
前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールドは、魚眼レンズによって撮影されたｉ番目の円形のイメージで、円の中心点を示すことができる。実施例に係り、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールドは、円の中心点を、ピクチャー上のルマサンプルインデックス上の位置で示すか、該当四角形領域内の相対的ルマサンプルインデックス上の位置で示すか、単位長さ上での割合等で示すことができる。
【０２６９】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０又は１である場合、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールドは、それぞれの円の中心を定義することができる。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２又は３である場合、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールドは、左右円形のイメージが同じ円の中心を有すると仮定し、その同じ円の中心を定義することができる。ここで、左右の円形のイメージが同一である四角形領域にマッピングされることが仮定できる。
【０２７０】
前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、魚眼レンズによって撮影されたｉ番目の円形のイメージの半径を示すことができる。即ち、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、該当円形のイメージの中心から最外郭までの直線距離を示すことができる。実施例に係り、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドが示す円の半径は、ルマサンプルインデックス上での中点から最外郭ピクセルの中心までの距離と定義されるか、最外郭ピクセルの遠い方向の境界までの距離と定義されるか、垂直又は水平方向への最外郭ピクセルの中心又は遠い方向の境界までの距離、単位長さ上での割合等と定義されることができる。
【０２７１】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが０又は１である場合、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは左右の円形のイメージのそれぞれの半径を定義することができる。前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが２又は３である場合、前記ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、前記左右の円形のイメージが同じ半径を有すると仮定し、該当円形のイメージをアップサンプリングした以降の半径を示すことができる。
【０２７２】
前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドの別の実施例にかかると、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドの意味は、ｓｔｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドが１である場合にｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドとその意味が同じであってもよい。即ち、前記ｓｔｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドが１  である場合に、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの０、１、２、３の値が示す意味は、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドの０、１、２、３の値が示す意味と同じであってもよい。この場合、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドの役割は前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドに吸収され、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドが省略され得る。前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドについては後述する。
【０２７３】
例えば、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドが示す該当領域に対する情報は、表３のように導き出せる。
【０２７４】
【表３】
2020521348.tif 000009
【０２７５】
本発明に係る前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、該当四角形領域に対するタイプ情報及び／又は更なる情報を提供することができる。前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、それぞれ前述した該当四角形領域の領域タイプ情報、領域追加情報に該当し得る。
【０２７６】
具体的に、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは、該当四角形領域に対するタイプを示すことができる。モノスコピック３６０度ビデオデータが使用される場合、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは、値による意味を有さなくてもよい。ステレオスコピック３６０度ビデオデータが使用される場合、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは、該当四角形領域の画像に対する時点情報を示すのに使用されることができる。
【０２７７】
例えば、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が０又は１である場合、該当四角形領域には短数個の円形のイメージがマッピングされていることが指示されることができる。
【０２７８】
前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が２である場合、該当四角形領域にはフレームパッキングが適用され、該当四角形領域に含まれるステレオスコピック魚眼３６０度ビデオデータは視野方向の意味を有することができる。即ち、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が２である場合、ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは、該当四角形領域はフレームパッキングが適用され、該当四角形領域にフレームパッキングされた複数個の円形のイメージは同一の視野方向であることを示すことができる。この場合、それぞれの四角形領域は、視野方向＃１、視野方向＃２、…等のように区分できる。
【０２７９】
前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、該当四角形領域にはフレームパッキングが適用され、該当四角形領域に含まれるステレオスコピック魚眼３６０度ビデオデータは視野位置の意味を有することができる。即ち、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは、該当四角形領域はフレームパッキングが適用され、該当四角形領域にフレームパッキングされた複数個の円形のイメージは同一の視野位置であることを示すことができる。この場合、それぞれの四角形領域は、左画像、右画像等のように区分できる。
【０２８０】
前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が２又は３である場合、左右の円形のイメージが同じ大きさ、同じ中心を有すると仮定されることができる。この場合、フレームパッキングのアレンジメントＳＥＩメッセージ等を通じて伝達されるシグナリング情報に基づいて、フレームパッキングタイプ及び／又はサンプルポジション等の情報が受信側で獲得されることができる。
【０２８１】
魚眼ビデオ情報の別の実施例において、一つのＳＥＩメッセージ内には、０又は１の値を有するｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドとそれ以外の異なる値を有するｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドは同時に存在しなくてもよい。
【０２８２】
魚眼ビデオ情報のまた別の実施例において、一つのＳＥＩメッセージ内に、０又は１の値を有するｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドと、それ以外の異なる値を有するｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドとが同時に存在する場合、魚眼ビデオ情報はｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド別に四角形領域、円形のイメージ、画角、ヨー、ピッチ、ロール値を別に定義するｆｏｒ文を複数個含むことができる。また、この場合、魚眼ビデオ情報は、それぞれのビュー（ｖｉｅｗ）又は四角形領域に対する情報を含むこともできる。この場合、ビュー又は四角形領域に対する情報は、前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏ＿ｉｄのフィールドに基づいて区分できる。
【０２８３】
前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、前述したｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値によって該当四角形領域に対する追加情報を提供することができる。３６０度ビデオ受信装置は、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドに基づいて該当領域の属性を導き出すことができ、前記属性を考慮し、プロジェクション、ビューポートの生成等の過程を行うことができるので、これを通じて、前述した過程での処理の効率性を向上させることができる。
【０２８４】
例えば、前述したｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が０又は１である場合、該当四角形領域には単数個の円形のイメージがマッピングされるので、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは更に該当円形のイメージの視野方向を示すことができる。
【０２８５】
ここで、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が１であり、前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールド値が０である場合、右画像の視野方向の数は左画像の視野方向の数と異なってもよく、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、前記ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド値によって該当右画像の視野方向をそれぞれ示すことができる。
【０２８６】
前述したｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が２である場合、該当四角形領域にフレームパッキングされた円形のイメージは、視野方向を基準に該当四角形領域にマッピングされることができる。即ち、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が２である場合、同一の視野方向に対する円形のイメージが該当四角形領域にマッピングされることができる。この場合、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、該当四角形領域に対して、その基準になった前記視野方向を示すことができる。
【０２８７】
前述したｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、該当四角形領域にフレームパッキングされた円形のイメージは、視野位置を基準に該当四角形領域にマッピングされることができる。即ち、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、同一の視野位置に対する円形のイメージが該当四角形領域にマッピングされることができる。この場合、前記ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは、該当四角形領域に対して、その基準になった前記視野位置を示すことができる。実施例に係り、ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドの値は０、１、又は２であってもよく、これはそれぞれ左画像である円形のイメージがマッピングされた場合、右画像である円形のイメージがマッピングされた場合、同一の視野方向を有する左右画像が共にマッピングされた場合を示すことができる。実施例に係り、視野方向が奇数個である場合、単一の視野方向に対する左、右一対を一つの四角形領域にマッピングし、ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールドは２の値で表され得る。実施例に係り、円形のイメージの配置は左から右の順に固定されるように定義されることもできる。
【０２８８】
魚眼ビデオ情報のまた別の実施例において、前述したｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、魚眼ビデオ情報は、ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールド及びｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールドをさらに含むことができる。
【０２８９】
前記ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールド及びｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールドは、該当四角形領域の内部の円形のイメージそれぞれに対する視野方向をさらに示すことができる。前述したように、前記ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、魚眼ビデオ情報は該当四角形領域の視野位置に対する情報のみがシグナリングできる。従って、これを保管するために、前記ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールド及びｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールドがさらにシグナリングできる。前記ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールドは、該当四角形領域内で左側に位置する円形のイメージの視野方向を示すことができ、前記ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ［ｉ］のフィールドは、該当四角形領域内で右側に位置する円形のイメージの視野方向を示すことができる。
【０２９０】
図１５は、本発明に係る受信側の魚眼３６０度ビデオ処理過程の一実施例を示した図である。
【０２９１】
本発明に係る受信側の魚眼３６０度ビデオの処理過程は、前述した３６０度ビデオ受信装置での抽出、プロジェクション、ブレンディング、レンダリングの過程等に該当し得る。前述したように、前記ｖｉｅｗ＿ｉｄｃ［ｉ］のフィールドによるピクチャーの構成、フレームパッキングの可否及びその形態、円形のイメージのマッピング状態等によって、受信側での魚眼３６０度ビデオ処理過程は差があり得る。この過程で、前述した魚眼ビデオ情報が活用できる。以降説明される受信側の魚眼３６０度ビデオの処理過程は、前部、後部の二つの視野方向を有する魚眼カメラを活用する場合を仮定する。
【０２９２】
図１５に示す受信側の魚眼３６０度ビデオの処理過程の一実施例において、モノスコピック魚眼３６０度ビデオがピクチャーを介して伝達され、２つの四角形領域が活用できる。この場合、前記ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値は０、前記ｎｕｍ＿ｆｉｓｈｅｙｅ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値は１に導き出せる。
【０２９３】
具体的に、２つの魚眼レンズを前後に配置して３６０度ビデオデータを獲得するモノスコピックカメラが使用される場合、図１５に示すように、前、後の円形のイメージがピクチャーにマッピングされることができる。例えば、ピクチャーの左側四角形領域には、前面の円形のイメージがマッピングされ、ピクチャーの右側四角形領域には、後面の円形のイメージがマッピングされることができる。
【０２９４】
前述したように、四角形領域は魚眼ビデオ情報の左上段点情報、幅情報、高さ情報によって特定されることができる。また、円形のイメージがマッピングされた円形領域は、魚眼ビデオ情報の中心点インデックスと半径情報により特定されることができる。
【０２９５】
３６０度ビデオ受信装置は、魚眼ビデオ情報を用いて、前面、後面の有効領域に該当する魚眼３６０度ビデオデータを抽出することができる。以降、３６０度ビデオ受信装置は、前記有効領域に該当する魚眼３６０度ビデオデータに基づいてスティチング（プロジェクション及びブレンディング）過程を行い、適したモノスコピック３６０度ビデオをレンダリングすることができる。
【０２９６】
図１６は、本発明に係る受信側の魚眼３６０度ビデオの処理過程の別の実施例を示した図である。
【０２９７】
図１６に示す受信側の魚眼３６０ビデオの処理過程の別の実施例において、ステレオスコピック魚眼３６０度ビデオがピクチャーを介して伝達され、４つの四角形領域が活用できる。また、前記四角形領域の領域タイプ情報は、０乃至１の値を有することができる。この場合、前記ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値は１、前記ｎｕｍ＿ｆｉｓｈｅｙｅ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値は３、前記ｒｅｇｉｏｎ＿ｔｙｐｅのフィールドの値は０又は１に導き出せる。
【０２９８】
具体的に、前面の左画像に対する円形のイメージ、前面の右画像に対する円形のイメージ、後面の左画像に対する円形のイメージ、及び後面の右画像に対する円形のイメージがピクチャーにマッピングできる。四角形領域もやはり、図１６に示すように、それぞれの円形のイメージに対応する４つが定義できる。この実施例において３６０度ビデオ送信装置は、一つの四角形領域に一つの円形のイメージをマッピングすることができる。
【０２９９】
左右画像による画像の配置は、任意に決められる。左側の画像に対しては領域タイプ情報が０、右側の画像に対しては領域タイプ情報が１で表され得る。該当円形のイメージが前面画像又は後面画像であるか否かを示す前述した領域追加情報がシグナリングできる。
【０３００】
３６０度ビデオ受信装置は、魚眼ビデオ情報に基づいて前／後面、左／右画像に該当する魚眼３６０度ビデオデータを抽出することができる。以降、３６０度ビデオ受信装置は抽出された魚眼３６０度ビデオデータに基づいて視野方向別にスティチング（プロジェクション及びブレンディング）過程を行うことができ、これによって適した領域に対するステレオスコピック３６０度ビデオをレンダリングすることができる。
【０３０１】
図１７ａ乃至図１７ｂは、本発明に係る受信側の魚眼３６０度ビデオ処理過程のまた別の実施例を示した図である。
【０３０２】
図１７ａに示した受信側の魚眼３６０度ビデオ処理過程のまた別の実施例において、ステレオスコピック魚眼３６０度ビデオはピクチャーを介して伝達され、２つの四角形領域が活用できる。また、前記四角形領域の領域タイプ情報は２の値を有することができる。この場合、前記ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値は１、前記ｎｕｍ＿ｆｉｓｈｅｙｅ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値は１、前記ｒｅｇｉｏｎ＿ｔｙｐｅのフィールドの値は２に導き出せる。
【０３０３】
具体的に、前面の左画像に対する円形のイメージ、前面の右画像に対する円形のイメージ、後面の左画像に対する円形イメージ、及び後面の右画像に対する円形のイメージがピクチャーにマッピングできる。この実施例において、３６０度ビデオ送信装置は、一つの四角形領域に二つの円形のイメージをフレームパッキングしてマッピングできる。即ち、図１７ａの１７００に示すように、前記ピクチャー内の四角形領域は２つが定義でき、一つの四角形領域に二つの円形のイメージがマッピングできる。
【０３０４】
本実施例において、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値は１と仮定されることができる。即ち、左画像と右画像に対して、視野方向の数が２つ（前面、後面）であって同一であり得る。本実施例において、前記ｒｅｇｉｏｎ＿ｔｙｐｅのフィールドが２の値を有するので、前述したように一つの四角形領域はよー、ピッチ、ロールによる方向性を示すことができる。即ち、一つの四角形領域は特定の視野方向（前面又は後面）を示すことができる。
【０３０５】
例えば、図１７ａに示す四角形領域＃１（ｐｉｃ  ｒｇｎ＃１）は、「前面」の視野方向を示す四角形領域に導き出せ、よって、前記四角形領域＃１に前面左画像、前面右画像に該当する円形のイメージ２つがフレームパッキングされてマッピングされることができる。また、図１７ａに示す四角形領域＃２（ｐｉｃ  ｒｇｎ＃２）は、「後面」の視野方向を示す四角形領域に導き出せ、よって、前記四角形領域＃２に後面左画像、後面右画像に該当する円形のイメージ２つがフレームパッキングされてマッピングされることができる。
【０３０６】
即ち、本実施例において、左右の視野位置による円形のイメージは、同一の四角形領域内に配置されることができる。本実施例においては、サイドバイサイドのフレームパッキングのフォーマットが使用されていると示されているが、実施例に係り、トップアンドボトム又は別のフレームパッキングフォーマットが使用されることもできる。
【０３０７】
ここで、領域追加情報は、該当四角形領域が前面に該当する四角形領域であるか、後面に該当する四角形領域であるか否かを示すことができる。
【０３０８】
３６０度ビデオ受信装置は、魚眼ビデオ情報に基づいて各四角形領域を抽出することができる。以降、３６０度ビデオ受信装置は、フレームパッキングのアレンジメント情報に基づいて各視野方向に該当する画像を復元した後（フレームアンパッキング）、各視野位置による円形のイメージを抽出することができる。以降、３６０度ビデオ受信装置はスティチング（プロジェクション及びブレンディング）過程を行い、これによって、好適な領域に対するステレオスコピック３６０度ビデオをレンダリングすることができる。
【０３０９】
実施例に係り、３６０度ビデオ受信装置は、図１７ｂの１７１０に示すように必要な部分に対する画像のみを処理して、必要な部分に対するステレオスコピックビデオを早く生成することができる。ここで必要な部分とは、現在のユーザのビューポートによってレンダリングされるべき部分又は３６０度ビデオコンテンツのＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）に該当する部分であり得る。
【０３１０】
３６０度ビデオ受信装置は、必要な部分に該当する視野方向及び／又は視野範囲（ｖｉｅｗｉｎｇ  ｒａｎｇｅ）に対応するヨー、ピッチ、ロール及び／又は画角を有する一つ以上の四角形領域を決定することができる。この決定は、前述した魚眼ビデオ情報に基づいて行うことができる。３６０度ビデオ受信装置は決定された（選択された）四角形領域を抽出し、前記四角形領域に対するフレームアンパッキングを行い、該当円形のイメージを抽出した後、前記抽出された円形のイメージに基づいてスティチングを行い、必要な部分に対するステレオスコピックビデオを早く生成することができる。
【０３１１】
図１７ｂの１７１０に示している実施例においては、前面（ｆｒｏｎｔ）に該当する画像が必要な部分に該当する画像であり得る。よって、前面に該当する四角形領域が選択され、前記前面に該当する四角形領域に対してのみ受信側処理過程が適用できる。これによって、前面に該当する画像に対してステレオスコピック３６０度ビデオがユーザに早く提供できる。
【０３１２】
図１８ａ乃至図１８ｂは、本発明に係る受信側の魚眼３６０度ビデオの処理過程のまた別の実施例を示した図である。
【０３１３】
図１８ａに示している受信側の魚眼３６０度ビデオの処理過程のまた別の実施例において、ステレオスコピック魚眼３６０度ビデオはピクチャーを介して伝達され、２つの四角形領域が活用できる。また、前記四角形領域の領域タイプ情報は３の値を有することができる。この場合、前記ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールドの値は１、前記ｎｕｍ＿ｆｉｓｈｅｙｅ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールドの値は１、前記ｒｅｇｉｏｎ＿ｔｙｐｅのフィールドの値は３に導き出せる。
【０３１４】
具体的に、前面の左画像に対する円形のイメージ、前面の右画像に対する円形のイメージ、後面の左画像に対する円形のイメージ、及び後面の右画像に対する円形のイメージが前記ピクチャーにマッピングできる。この実施例において、３６０度ビデオ送信装置は、一つの四角形領域に二つの円形のイメージをフレームパッキングしてマッピングできる。即ち、図１８ａの１８００に示すように、四角形領域は２つが定義でき、一つの四角形領域に二つの円形のイメージがマッピングできる。
【０３１５】
本実施例において、前記ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールドの値は１と仮定されることができる。即ち、左画像と右画像に対して、視野方向の数が２つ（前面、後面）であって同一であり得る。本実施例において、ｒｅｇｉｏｎ＿ｔｙｐｅのフィールドの値は３であるので、前述したように一つの四角形領域は左／右の視野位置を示すことができる。即ち、一つの四角形領域は視野位置（左画像又は右画像）を示すことができる。
【０３１６】
例えば、図１８ａの１８００に示している四角形領域＃１（ｐｉｃ  ｒｇｎ＃１）は「左画像」の視野位置を示す四角形領域に導き出せ、前記四角形領域＃１は、前面左画像、後面左画像に該当する２つの円形のイメージがフレームパッキングされてマッピングできる。また、図１８ａの１８００に示している四角形領域＃２（ｐｉｃ  ｒｇｎ＃２）は、「右画像」の視野位置を示す四角形領域に導き出せ、前記四角形領域＃２は、前面右画像、後面右画像に該当する２つの円形のイメージがフレームパッキングされてマッピングできる。
【０３１７】
即ち、本実施例において、前後の視野方向による円形のイメージは、同一の四角形領域内に配置されることができる。本実施例においては、サイドバイサイドのフレームパッキングのフォーマットが使用されている例が示されているが、実施例に係り、トップアンドボトム又は別のフレームパッキングのフォーマットが使用されることもできる。
【０３１８】
ここで、前述したように、領域追加情報は、該当四角形領域が左画像に該当する四角形領域であるか、右画像に該当する四角形領域であるかを示すことができる。また、前述したように、一つの四角形領域内の円形のイメージのそれぞれの方向性はｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド及びｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ［ｉ］のフィールドによって表され得る。
【０３１９】
３６０度ビデオ受信装置は、魚眼ビデオ情報に基づいて各四角形領域を抽出することができる。以降、３６０ビデオ受信装置は、フレームパッキングのアレンジメント情報を用いて、各視野位置に該当する画像を復元した後（フレームアンパッキング）、各視野方向による円形のイメージを抽出することができる。以降、３６０度ビデオ受信装置は抽出された円形のイメージに基づいてスティチング（プロジェクション及びブレンディング）過程を行い、これによって、適した領域に対するステレオスコピック３６０度ビデオをレンダリングすることができる。
【０３２０】
一方、実施例に係り、ステレオスコピックビデオを支援しない３６０度ビデオ受信装置は、図１８ｂの１８１０に示すように、いずれか一方の視野位置に該当する画像のみを処理することによって、該当３６０度ビデオのモノスコピックビデオをより早く生成することができる。
【０３２１】
具体的に、例えば、３６０度ビデオ受信装置は、左画像又は右画像に該当する魚眼３６０度ビデオデータのうち、いずれか一方の視野位置を決定することができる。この決定は、前述した魚眼ビデオ情報に基づいて行われることができる。一例として、前述した領域追加情報が０又は２の値を有する四角形領域が選択できる。３６０度ビデオ受信装置は決定された（選択された）四角形領域を抽出し、前記抽出された四角形領域に対してフレームアンパッキングを行い、該当円形のイメージを抽出した後、前記円形のイメージに対するスティチングを行い、左画像又は右画像のいずれか一方の視野位置によるモノスコピック３６０度ビデオを早く生成することができる。
【０３２２】
図１８ｂの１８１０に示している実施例においては、左画像（ｌｅｆｔ）に該当する四角形領域が選択され、この部分に対してのみ受信側処理過程が適用できる。これによって、３６０度ビデオ受信装置は左画像に該当する画像のみを用いて、モノスコピック３６０度ビデオをユーザに早く提供することができる。
【０３２３】
前述した本発明に係る受信側の魚眼３６０度ビデオの処理過程の実施例は、互いに組み合わせることができる。本発明に係る３６０度ビデオ受信装置の実施例において、受信側の魚眼３６０度ビデオの処理過程は、前述した実施例に係る受信側の魚眼３６０度ビデオの処理過程であり得る。
【０３２４】
図１９は、本発明に係る円形のイメージのマッピング過程の一実施例を示した図である。
【０３２５】
本発明に係る円形のイメージのマッピング過程は、前述した動作のうち、円形のイメージが３Ｄ空間（球等）及び／又はＥＲＰ平面上にプロジェクションされる過程に該当し得る。この過程で後述するパラメータが考慮され、該当動作を行うことができる。
【０３２６】
具体的に、図１９に示している円形のイメージの中心は（ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］＊２−１６、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］＊２−１６）に導き出せる。即ち、前記円形のイメージの中心は、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド及びｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールドに基づいて導き出せる。図１９に示している「Ｎｏｒｍａｌｉｚｅｄ  ３Ｄ  ｆｉｓｈｅｙｅ  ｌｅｎｓ  ｃａｐｔｕｒｉｎｇ  ｃｏｏｒｄｉｎａｔｅ」のФ、θはα、βで示すことができ、軽度（ｌｏｎｇｉｔｕｄｅ）、緯度（ｌａｔｉｔｕｄｅ）はФ、θで示すことができる。また、図１９は、本発明で伝達するパラメータに基づいて円形のイメージを３Ｄ球座標系上に表現する過程を示すことができる。
【０３２７】
前記円形のイメージを３Ｄ球座標系上に表現する過程は、次の数式のように導き出せる。
【０３２８】
【数５】
2020521348.tif 000010
【０３２９】
図１９及び数式５に示すように、それぞれの場合に対する数式が記述できる。それぞれの場合とは、魚眼座標系で３Ｄ魚眼データキャプチャリング座標系への変換（Ｆｉｓｈｅｙｅ  ｃｏｏｒｄｉｎａｔｅ  ｔｏ  ３Ｄ  ｆｉｓｈｅｙｅ  ｌｅｎｓ  ｃａｐｔｕｒｉｎｇ  ｃｏｏｒｄｉｎａｔｅ  ｃｏｎｖｅｒｓｉｏｎ）、３Ｄ魚眼データキャプチャリング座標系からＸＹＺ座標系への変換（３Ｄ  ｆｉｓｈｅｙｅ  ｌｅｎｓ  ｃａｐｔｕｒｉｎｇ  ｃｏｏｒｄｉｎａｔｅ  ｔｏ  ＸＹＺ  ｃｏｏｒｄｉｎａｔｅ  ｃｏｎｖｅｒｓｉｏｎ）、ＸＹＺ座標系から球座標系への変換（ＸＹＺ  ｃｏｏｒｄｉｎａｔｅ  ｔｏ  ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅ  ｃｏｎｖｅｒｓｉｏｎ）及び／又は球座標系からＥＲＰ座標系への変換（ｓｐｈｅｒｉｃａｌ  ｃｏｏｒｄｉｎａｔｅ  ｔｏ  ＥＲＰ  ｃｏｏｒｄｉｎａｔｅ  ｃｏｎｖｅｒｓｉｏｎ）であり得る。前述した数式は、球座標系のマッピング数式と示すこともできる。即ち、前記球座標系のマッピング数式は、円形のイメージを３Ｄ球座標系上にマッピングするための数式を示すことができる。
【０３３０】
ここで、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］のフィールドは１６ｂｉｔ、１６ｂｉｔで、整数と少数の部分を表現すると仮定されることができる。
【０３３１】
前述した本発明に係る円形のイメージのマッピング過程の実施例は、互いに組み合わせることができる。本発明に係る３６０度ビデオ受信装置の実施例において、円形のイメージのマッピング過程は、前述した実施例に係る円形のイメージのマッピング過程であり得る。
【０３３２】
一方、前述した魚眼ビデオ情報は、前述したようにＩＳＯＢＭＦＦファイル内のボックスの形態で伝達されることができる。ＩＳＯＢＭＦＦファイル内のボックスの形態で伝達される前記魚眼ビデオ情報は、次の表のように導き出せる。ここで、魚眼ビデオ情報は、ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔで定義されることができる。
【０３３３】
【表４】
2020521348.tif 000011
【０３３４】
前記ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔはボックスで定義されることができ、これは、ＩＳＯＢＭＦＦファイル内に含まれることができる。即ち、前記魚眼３６０ビデオデータはＩＳＯＢＭＦＦファイルに基づいて格納、送信されることができ、ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔは、ＩＳＯＢＭＦＦファイル内のボックスの形態で伝達されることができる。
【０３３５】
実施例に係り、前記ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔのボックスは、該当ビデオトラック（ストリーム）、サンプル、サンプルグループ等を通じて格納／伝達される魚眼３６０度ビデオデータに対してシグナリングされることができる。また、実施例に係り、前記ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔのボックスは、該当魚眼３６０度ビデオデータが格納／送信されるトラックのビジュアルサンプルエントリ（ｖｉｓｕａｌ  ｓａｍｐｌｅ  ｅｎｔｒｙ）の下位に存在し得る。また、実施例に係り、前記魚眼ビデオ情報はＣＦＦ等のフォーマットを介して伝達されることもできる。
【０３３６】
前記表４に示す魚眼ビデオ情報に含まれたそれぞれのフィールドは、前述したＳＥＩメッセージを通じて伝達される魚眼ビデオ情報のフィールドと同じ意味を有することができる。
【０３３７】
一方、前記魚眼ビデオ情報を伝達する別の実施例であって、ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳＥＩ（ｏｆｖｂ）のボックスが定義でき、前記ｏｆｖｂのボックスは、次の表のように導き出せる。
【０３３８】
【表５】
2020521348.tif 000012
【０３３９】
ｏｆｖｂのボックスはＳＥＩ  ＮＡＬユニットを含むことができ、このＳＥＩ  ＮＡＬユニットは、前記魚眼ビデオ情報を含むＳＥＩメッセージを含むことができる。
【０３４０】
一方、前記ｏｆｖｂのボックスは、前記魚眼ビデオ情報と関連したＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙ、ＡＶＣＳａｍｐｌｅＥｎｔｒｙ、ＭＶＣＳａｍｐｌｅＥｎｔｒｙ、ＳＶＣＳａｍｐｌｅＥｎｔｒｙ、ＨＥＶＣＳａｍｐｌｅＥｎｔｒｙ等に含まれることができる。
【０３４１】
前記ｏｆｖｂのボックスが前記ＶｉｓｕａｌＳａｍｐｌｅＥｎｔｒｙに含まれる場合、次の表のように導き出せる。
【０３４２】
【表６】
2020521348.tif 000013
【０３４３】
また、前記ｏｆｖｂのボックスが前記ＨＥＶＣＳａｍｐｌｅＥｎｔｒｙに含まれる場合、次の表のように導き出せる。
【０３４４】
【表７】
2020521348.tif 000014
【０３４５】
【表８】
2020521348.tif 000015
【０３４６】
前記ｏｆｖｂのボックスが前記ＨＥＶＣＳａｍｐｌｅＥｎｔｒｙに含まれる場合、表７に示すように、ＨＥＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘ内に含まれてもよく、又は表８に示すように、ＨＥＶＣＳａｍｐｌｅＥｎｔｒｙに直接含まれてもよい。
【０３４７】
また、実施例に係り、ｏｆｖｂのボックスは、領域によって、関連情報を提供するＳＥＩ又はＶＵＩ（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ）等に含まれてもよい。これを通じて、ファイルフォーマットに含まれているビデオフレームに対して、領域別に互いに異なるシグナリング情報が提供され得る。
【０３４８】
また、実施例に係り、魚眼ビデオ情報は、ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＦｉｓｈｅｙｅＶｉｄｅｏＩｎｆｏｒｍａｔｉｏｎＳｔｒｕｃｔ（「ｏｆｖｉ」）のボックスのように定義され、タイムドメタデータ（ｔｉｍｅｄ  ｍｅｔａｄａｔａ）内に含まれて伝達されることもできる。前記ｏｆｖｉのボックスが前記タイムドメタデータに含まれる場合、次の表のように導き出せる。ここで、前記ｏｆｖｉのボックスに含まれたフィールドの意味は、前述したＳＥＩメッセージで定義された内容と同じであり得る。
【０３４９】
【表９】
2020521348.tif 000016
【０３５０】
【表１０】
2020521348.tif 000017
【０３５１】
タイムドメタデータに伝達される魚眼ビデオ情報の内容が、ビデオのサンプル全体に同じように適用される場合、表９に示すように、前記ｏｆｖｉのボックスは、該当タイムドメタデータトラックのヘッダ（ｍｏｏｖ又はｍｏｏｆのボックス等）内のサンプルエントリに含まれることができる。この場合、前記ｏｆｖｉのボックスのフィールドは、ｍｄａｔ内の全てのメタデータのサンプルに適用されることができる。
【０３５２】
或いは、タイムドメタデータに伝達される魚眼ビデオ情報の内容が、ビデオのサンプルに応じて異なって適用されなければならない場合、表１０に示すように、前記ｏｆｖｉのボックスは、タイムドメタデータのサンプルに含まれることができる。この場合、前記ｏｆｖｉのボックスのフィールドは、該当ビデオサンプルに適用されることができる。
【０３５３】
或いは、タイムドメタデータに伝達される魚眼ビデオ情報の内容が、ビデオシーケンス全体に適用されなければならない場合、前記ｏｆｖｉのボックスは、前述したようにタイムドメタデータトラックのサンプルエントリに含まれるが、前記ｏｆｖｉのボックスの情報（フィールド）がビデオシーケンス全体に適用できるようにその意味が拡張できる。
【０３５４】
例えば、該当ビデオシーケンスを撮影した魚眼３６０カメラが変わらないという仮定下に、前記ｏｆｖｉのボックスに含まれたｄｉｓｐａｒｉｔｙのフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗのフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｃｅｎｔｅｒ＿ｙａｗのフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈのフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌのフィールドと、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗのフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗのフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗのフィールドは全体ビデオシーケンスに適用されることができる。
【０３５５】
また、全体ビデオシーケンスのイメージパッキングのフォーマットが同一である場合、前記ｏｆｖｉのボックスに含まれたｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｒｅｇｉｏｎ＿ｔｙｐｅのフィールド、ｒｅｇｉｏｎ＿ｉｎｆｏのフィールド、ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｌｅｆｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅのフィールド、ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎ＿ｒｉｇｈｔ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅのフィールドだけでなく、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐのフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔのフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈのフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔのフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘのフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙのフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓのフィールドも、全体ビデオシーケンスに適用されるように定義でき、全体ビデオシーケンスで参照できる。
【０３５６】
一方、前述した魚眼ビデオ情報は、ＤＡＳＨによって伝達されることもできる。ＤＡＳＨベースのディスクリプタの形態で記述された前記魚眼ビデオ情報は、次の表のように導き出せる。
【０３５７】
【表１１】
2020521348.tif 000018
【０３５８】
ＤＡＳＨベースのディスクリプタは、＠ｓｃｈｅｍｅＩｄＵｒｉのフィールド、＠ｖａｌｕｅのフィールド及び／又は＠ｉｄのフィールドを含むことができる。＠ｓｃｈｅｍｅＩｄＵｒｉのフィールドは、該当ディスクリプタのスキーム（ｓｃｈｅｍｅ）を識別するためのＵＲＩを提供することができる。＠ｖａｌｕｅのフィールドは、＠ｓｃｈｅｍｅＩｄＵｒｉのフィールドが指示するスキームによりその意味が定義される値（ｖａｌｕｅ）を有することができる。即ち、＠ｖａｌｕｅのフィールドは、該当スキームによるディスクリプタ要素の値を有することができ、これらはパラメータと呼ばれ得る。これらは互いに「，」によって区分され得る。＠ｉｄは、該当ディスクリプタの識別子を示すことができる。同じ識別子を有する場合、同じスキームＩＤ、値（ｖａｌｕｅ）、パラメータを含むことができる。
【０３５９】
ＤＡＳＨによって魚眼ビデオ情報が伝達される場合、魚眼ビデオ情報はＤＡＳＨディスクリプタの形態で記述され、ＭＰＤ等に含まれて受信側に伝達されることができる。魚眼ビデオ情報に対するディスクリプタは、前述したエッセンシャルプロパティディスクリプタ及び／又はサプルメンタルプロパティディスクリプタの形態で伝達されることができる。このディスクリプタは、ＭＰＤのアダプテーションセット、リプリゼンテーション、サブリプリゼンテーション等に含まれて伝達されることができる。
【０３６０】
表１１に示す魚眼ビデオ情報を伝達するディスクリプタの場合、＠ｓｃｈｅｍｅＩｄＵＲＩのフィールドがｕｒｎ：ｍｐｅｇ：ｄａｓｈ：ｖｒ：２０１ｘ値を有することができる。これは、該当ディスクリプタが魚眼ビデオ情報を伝達するディスクリプタであることを識別する値であり得る。
【０３６１】
前記魚眼ビデオ情報に対するディスクリプタの＠ｖａｌｕｅのフィールドは、表１１に示す実施例と同じ値を有することができる。即ち、＠ｖａｌｕｅの「，」により区分されるそれぞれのパラメータは、前述した魚眼ビデオ情報のそれぞれのフィールドに該当し得る。それぞれのパラメータの意味は、前述した魚眼ビデオ情報のフィールドと同じであり得る。示している実施例において、各パラメータは、前述した同名のシグナリングのフィールドと同じ意味を有することができる。
【０３６２】
前述した全ての実施例に係る魚眼ビデオ情報は、ＤＡＳＨベースのディスクリプタの形態でも記述されることができる。即ち、表１１に示す実施例は、前述した魚眼ビデオ情報の様々な実施例のうち、一つの実施例を＠ｖａｌｕｅのパラメータと記述したものであるが、前述した全ての魚眼ビデオ情報の実施例に対して、各シグナリングのフィールドが＠ｖａｌｕｅのパラメータに置換されて記述されることができる。
【０３６３】
ここで、Ｍは、該当パラメータが必須のパラメータ（Ｍａｎｄａｔｏｒｙ）であることを、Ｏは、該当パラメータがオプショナルパラメータ（Ｏｐｔｉｏｎａｌ）であることを、ＯＤは、該当パラメータがデフォルト値を有するオプショナルパラメータ（Ｏｐｔｉｏｎａｌ  ｗｉｔｈ  Ｄｅｆａｕｌｔ）であることを示すことができる。ＯＤであるパラメータの値が与えられない場合、既に定義されたデフォルト値が該当パラメータの値として使用されることができる。表１１に示す実施例において、各ＯＤパラメータのデフォルト値は括弧内に与えられている。
【０３６４】
前述した本発明に係る魚眼ビデオ情報の実施例は互いに組み合わせることができる。本発明に係る３６０度ビデオ送信装置及び／又は３６０度ビデオ受信装置の実施例において、魚眼ビデオ情報は前述した実施例に係る魚眼ビデオ情報であり得る。
【０３６５】
一方、前述した内容のように伝達される魚眼ビデオ情報に追加情報がさらに含まれることができる。前記追加情報を含む魚眼ビデオ情報は、次の表のように導き出せる。
【０３６６】
【表１２】
2020521348.tif 000019
【０３６７】
表１２を参照すると、前記ＳＥＩメッセージは、魚眼ビデオ情報に該当するｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏを含むことができる。前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏは、前述した魚眼ビデオ情報に対するフィールドを含むことができる。前記フィールドは、前述した意味と同じ意味を有することができる。
【０３６８】
また、表１２を参照すると、前記ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏは、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールド、ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールド、ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールド、ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ  ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド及び／又はｆｕｎｃｔｉｏｎａｌ＿ｄｅｓｃｒｉｐｔｏｒ（）を含むことができる。
【０３６９】
前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドは、３６０魚眼カメラを通して獲得された画像がレンダリング（ｒｅｎｄｅｒｉｎｇ）される球座標系（ｓｐｈｅｒｅ  ｃｏｏｒｄｉｎａｔｅ）（例えば、ｕｎｉｔ  ｓｐｈｅｒｅ）を示すことができる。具体的に、ｉ番目の魚眼レンズ（ｆｉｓｈｅｙｅ  ｌｅｎｓ）を通して獲得された画像がレンダリングされる（ユニット）スフィア（ｓｐｈｅｒｅ）をｉ番目のローカルスフィア（ｉ−ｔｈ  ｌｏｃａｌ  ｓｐｈｅｒｅ）とし、全体結果の画像がレンダリングされ、３６０度ビデオを構成することになるスフィアをグローバルスフィア（ｇｌｏｂａｌ  ｓｐｈｅｒｅ）とするとき、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドは、前記ｉ番目のローカルスフィアの中心がグローバルスフィアの中心から離れている程度をＸＹＺ座標系（ｃｏｏｒｄｉｎａｔｅ）で示すことができる。言い換えると、前記グローバルスフィアの中心を原点とし、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールドは、前記ｉ番目のローカルスフィアの中心のｘ成分、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールドは、前記ｉ番目のローカルスフィアの中心のｙ成分、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドは、前記ｉ番目のローカルスフィアの中心のｚ成分を示すことができる。ここで、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドが示す前記ｘ成分、前記ｙ成分、前記ｚ成分の単位は、ユニットスフィアの単位であってもよく、或いは、実際の長さ（例えば、ｍｍ単位）であってもよい。一方、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドは、前述したｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールドと共に使用され、３６０カメラを構成する個別カメラの相対的な位置及び撮像面の角度等を示すのに使用されることができる。
【０３７０】
前記ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールドは、魚眼レンズの焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）を示すことができる。前記ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールドが示す焦点距離の単位はｍｍ単位であってもよい。前記焦点距離はＦｏＶ（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）と逆関数の関係を有すると仮定することができる。前記焦点距離と前記ＦｏＶとの関係は、次の数式のように導き出せる。
【０３７１】
【数６】
2020521348.tif 000020
【０３７２】
前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドは、該当画像のレンズタイプを示すことができる。前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドが示すレンズタイプは、次の表のように導き出せる。
【０３７３】
【表１３】
2020521348.tif 000021
【０３７４】
表１３を参照すると、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値に基づき、前記レンズタイプを導き出すことができる。例えば、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が１である場合、前記レンズタイプはｅｑｕｉｄｉｓｔａｎｔに導き出すことができ、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が２である場合、前記レンズタイプは、ｓｔｅｒｅｏｇｒａｐｈｉｃに導き出すことができ、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が３である場合、前記レンズタイプはｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅに導き出すことができ、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が４である場合、前記レンズタイプはｏｒｔｈｏｇｒａｐｈｉｃに導き出すことができる。また、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が１２７である場合に対しては、ユーザが任意の関数を定義することができ、それに対するパラメータが伝達できる。
【０３７５】
例えば、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドの値が１２７である場合、ｆｕｎｃｔｉｏｎａｌ＿ｄｅｓｃｒｉｐｔｏｒ（）が伝達できる。前記ｆｕｎｃｔｉｏｎａｌ＿ｄｅｓｃｒｉｐｔｏｒ（）には前記任意の関数を定義するためのパラメータが定義でき、Ｎ個の区間に対して区間の開始と終了を示す変数、区間内で使用される関数のタイプを定義する変数（ｌｉｎｅａｒ、ｐｏｌｙｎｏｍｉａｌ、ｅｘｐｏｎｅｎｔｉａｌ、Ｂａｚｉｅｒ  ｆｕｎｃｔｉｏｎ等）、各関数を具体化するための変数等が伝達できる。
【０３７６】
前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドに基づいて導き出されたレンズタイプによって、魚眼カメラに対する球座標系のマッピング（ｓｐｈｅｒｅ  ｃｏｏｒｄｉｎａｔｅ  ｍａｐｐｉｎｇ）数式が異なって適用できる。
【０３７７】
レンズタイプによる球座標系のマッピング数式は、次の数式のように導き出せる。
【０３７８】
【数７】
2020521348.tif 000022
【０３７９】
ここで、ｒは円形のイメージの中心からの距離、即ち、ｒは円形のイメージの半径を示し、ｆは前記焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）を示し、ａは光学軸からの角度を示す。
【０３８０】
具体的に、例えば、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドの値が０である場合、レンズタイプによる球座標系へのマッピング、及びＥＲＰに基づいてプロジェクションされたピクチャーへのマッピングは、後述する表のように行われることができる。
【０３８１】
【表１４】
2020521348.tif 000023
【０３８２】
一方、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドの値が０ではない場合、前記ｉ番目のローカルスフィア上でマッピングされた画像をグローバルスフィアにマッピングする過程が追加できる。
【０３８３】
一方、本発明では魚眼カメラレンズのタイプのみ定義しているが、一般カメラレンズ又は異なるタイプの魚眼カメラレンズのタイプによる受信機の動作を定義するために、前述したシンタックス要素（ｓｙｎｔａｘ  ｅｌｅｍｅｎｔ）が使用できる。
【０３８４】
前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、３６０度スフィアの構成の際に使用されることができるサンプルの範囲を導き出すために使用されることができる。ここで、３６０度スフィアは、前記３６０度ビデオがレンダリングされる３Ｄ空間を示すことができる。例えば、３６０カメラの構造により遮られる領域があることがあり、前記領域をスティチングの過程から除外するために、前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドが伝達できる。例えば、前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、前記３６０度ビデオがマッピングされない円形領域の半径を示すことができる。前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、前述したｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドよりも小さい値を有することができる。
【０３８５】
また、３６０度スフィアに対する具体的な情報の伝達のために、複数の四角形領域の情報が伝達できる。前記四角形領域は、３６０度ビデオがマッピングされない領域を示すことができ、デッドゾーン（ｄｅａｄｚｏｎｅ）とも呼ばれ得る。前記３６０度ビデオに対するビット量を減らすために、前記四角形領域内のサンプルはいずれも同じサンプル値に設定されることができる。例えば、前記四角形領域内のサンプルは、いずれも黒色を示すサンプル値に設定されることができる。
【０３８６】
前記ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールドは、前記四角形領域の数を示すことができる。前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド及びｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールドは、該当四角形領域の左上位置（左上段点の位置）を示すことができる。前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールドは、該当四角形領域の幅、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールドは、該当四角形領域の高さを示すことができる。
【０３８７】
一方、前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドは、必須として含まれなければならない情報、レンズシェーディング（ｌｅｎｓ  ｓｈａｄｉｎｇ）等の誤謬がないと考慮できる領域の情報等のスティチング（ｓｔｉｔｃｈｉｎｇ）過程で有用な情報を伝達するのに使用されることができる。
【０３８８】
図２０は、本発明に係る３６０度ビデオ送信装置による３６０度画像データ処理方法を概略的に示す。図２０で開示された方法は、図５で開示された３６０度ビデオ送信装置によって行われることができる。具体的に、例えば、図２０のＳ２０００は、前記３６０度ビデオ送信装置のデータ入力部によって行われることができ、Ｓ２０１０は、前記３６０度ビデオ送信装置のプロジェクション処理部によって行われることができ、Ｓ２０２０は、前記３６０度ビデオ送信装置のデータエンコーダーによって行われることができ、Ｓ２０３０は、前記３６０度ビデオ送信装置のメタデータ処理部によって行われることができ、Ｓ２０４０は、前記３６０度ビデオ送信装置の送信処理部によって行われることができる。前記送信処理部は、送信部に含まれることができる。
【０３８９】
３６０度ビデオ送信装置は、少なくとも一つの魚眼（ｆｉｓｈｅｙｅ）レンズを有するカメラによってキャプチャーされた３６０度画像を含む円形のイメージを獲得する（Ｓ２０００）。３６０度ビデオ送信装置は、少なくとも魚眼レンズを有するカメラによってキャプチャーされた３６０度画像を含む円形のイメージを獲得することができる。
【０３９０】
３６０度ビデオ送信装置は、前記円形のイメージを魚眼ビデオのフォーマットを有するピクチャーの四角形領域にマッピングする（Ｓ２０１０）。３６０度ビデオ送信装置は、前記円形のイメージを前記ピクチャーの前記四角形領域にマッピングできる。３６０度ビデオ送信装置は、複数の円形のイメージを獲得することができ、前記ピクチャーは少なくとも一つの四角形領域を含むことができる。この場合、３６０度ビデオ送信装置は、前記複数の円形のイメージのうち少なくとも一つの円形のイメージを前記四角形領域にマッピングできる。
【０３９１】
また、３６０度ビデオ送信装置は、前記ピクチャーの前記四角形領域を回転、再配列するか、前記四角形領域のレゾリューションを変更する等の処理を行うことができる。前記処理過程は、前記リージョンワイズパッキング過程（ｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇ）又はフレームパッキング（ｆｒａｍｅ  ｐａｃｋｉｎｇ）と呼ばれ得る。
【０３９２】
３６０度ビデオ送信装置は、前記円形のイメージがマッピングされた前記ピクチャーを符号化する（Ｓ２０２０）。３６０度ビデオ送信装置は、前記現在のピクチャーを符号化することができる。また、３６０度ビデオ送信装置は、前記メタデータを符号化することができる。
【０３９３】
３６０度ビデオ送信装置は、前記３６０度画像に対するメタデータを生成する（Ｓ２０３０）。前記メタデータは、魚眼ビデオ情報を含むことができる。
【０３９４】
前記魚眼ビデオ情報は、前述したｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏ＿ｉｄのフィールド、ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールド、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｄｉｓｐａｒｉｔｙのフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗのフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールド、ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールド、ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールド、ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド及び／又はｆｕｎｃｔｉｏｎａｌ＿ｄｅｓｃｒｉｐｔｏｒ（）のフィールドを含むことができる。
【０３９５】
前記フィールドの意味は前述した通りである。
【０３９６】
具体的に、一例として、前記魚眼ビデオ情報は、レンズタイプを示す情報を含むことができる。前記レンズタイプは、等距離（ｅｑｕｉｄｉｓｔａｎｔ）、ステレオグラフィック（ｓｔｅｒｅｏｇｒａｐｈｉｃ）、等立体角（ｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅ）、オーソグラフィック（ｏｒｔｈｏｇｒａｐｈｉｃ）、及びユーザ定義（ｕｓｅｒ  ｄｅｆｉｎｅｄ）の何れか一つであってもよい。例えば、前記レンズタイプを示す情報の値が１である場合、前記レンズタイプは、前記等距離に導き出すことができ、前記レンズタイプを示す情報の値が２である場合、前記レンズタイプは、前記ステレオグラフィックに導き出すことができ、前記レンズタイプを示す情報の値が３である場合、前記レンズタイプは、前記等立体角に導き出すことができ、前記レンズタイプを示す情報の値が４である場合、前記レンズタイプは、前記オーソグラフィックに導き出すことができ、前記レンズタイプを示す情報の値が１２７である場合、前記レンズタイプは、前記ユーザ定義に導き出すことができる。前記レンズタイプを示す情報は、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドを示すことができる。
【０３９７】
前記レンズタイプに基づいて、前記円形のイメージを３Ｄ空間にマッピングするのに使用される球座標系マッピング（ｓｐｈｅｒｅ  ｃｏｏｒｄｉｎａｔｅ）の数式を導き出すことができる。
【０３９８】
例えば、前記円形のイメージがマッピングされる３Ｄ空間の中心が（０、０、０）である場合、後述する内容のように、前記レンズタイプに基づいて前記球座標系のマッピング数式を導き出すことができる。
【０３９９】
前記レンズタイプが前記等距離である場合、前記球座標系のマッピング数式は次の数式のように導き出せる。
【０４００】
【数８】
2020521348.tif 000024
【０４０１】
ここで、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］は、前記円形のイメージの中心のｘ成分に対するシンタックス、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］は、前記円形のイメージの中心のｙ成分に対するシンタックスを示し、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］は、前記円形のイメージの半径に対するシンタックスを示し、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］は、前記  円形のイメージに対する視野方向の画角に対するシンタックスを示す。前記数式８に基づいて前記円形のイメージ内（ｘ、ｙ）位置のサンプルの前記３Ｄ空間内の位置である（Ф、θ）を導き出すことができる。
【０４０２】
また、別の例として、前記レンズタイプが前記ステレオグラフィックである場合、前記球座標系のマッピング数式は、次の数式のように導き出せる。
【０４０３】
【数９】
2020521348.tif 000025
【０４０４】
ここで、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］は、前記円形のイメージの中心のｘ成分に対するシンタックス、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］は、前記円形のイメージの中心のｙ成分に対するシンタックスを示し、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］は、前記円形のイメージの半径に対するシンタックスを示し、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］は、前記円形のイメージに対する視野方向の画角に対するシンタックスを示す。前記数式９に基づいて、前記円形のイメージ内（ｘ、ｙ）位置のサンプルの前記３Ｄ空間内の位置である（Ф、θ）を導き出すことができる。
【０４０５】
また、別の例として、前記レンズタイプが前記等立体角である場合、前記球座標系のマッピング数式は、次の数式のように導き出せる。
【０４０６】
【数１０】
2020521348.tif 000026
【０４０７】
ここで、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］は、前記円形のイメージの中心のｘ成分に対するシンタックス、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］は、前記円形のイメージの中心のｙ成分に対するシンタックスを示し、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］は、前記円形のイメージの半径に対するシンタックスを示し、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］は、前記円形のイメージに対する視野方向の画角に対するシンタックスを示す。前記数式１０に基づいて、前記円形のイメージ内（ｘ、ｙ）位置のサンプルの前記３Ｄ空間内の位置である（Ф、θ）を導き出すことができる。
【０４０８】
また、別の例として、前記レンズタイプが前記オーソグラフィックである場合、前記球座標系のマッピング数式は次の数式のように導き出せる。
【０４０９】
【数１１】
2020521348.tif 000027
【０４１０】
ここで、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］は、前記円形のイメージの中心のｘ成分に対するシンタックス、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］は、前記円形のイメージの中心のｙ成分に対するシンタックスを示し、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］は、前記円形のイメージの半径に対するシンタックスを示し、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ［ｉ］は、前記円形のイメージに対する視野方向の画角に対するシンタックスを示す。前記数式１１に基づいて、前記円形のイメージ内（ｘ、ｙ）位置のサンプルの前記３Ｄ空間内の位置である（Ф、θ）を導き出すことができる。
【０４１１】
また、別の一例として、前記魚眼ビデオ情報は、前記３６０度画像データがマッピングされない領域に対する情報を含むことができる。
【０４１２】
例えば、前記３６０度画像データがマッピングされない領域に対する情報は、前記  ３６０度ビデオがマッピングされない円形領域の半径を示す情報を含むことができる。前記円形領域の半径を示す情報は、前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドを示すことができる。
【０４１３】
また、前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない四角形領域の数を示す情報を含むことができる。前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報と、高さを示す情報と、幅を示す情報とを含むことができる。ここで、前記３６０度画像データがマッピングされない領域のサンプルは、同じサンプル値に設定されることができる。例えば、前記３６０度画像データがマッピングされない領域のサンプルは、同じサンプル値に設定されることができ、前記サンプル値は、黒（ｂｌａｃｋ）を示す値であり得る。前記３６０度ビデオがマッピングされない四角形領域の数を示す情報は、前記ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールドを示すことができ、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド及びｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールドを示すことができ、前記四角形領域の高さを示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールドを示すことができ、前記四角形領域の幅を示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールドを示すことができる。
【０４１４】
また、別の一例として、前記魚眼ビデオ情報は、前記３６０度画像データに対する魚眼レンズの焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）を示す情報を含むことができる。前記四角形領域の高さを示す情報は、前記ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールドを示すことができる。
【０４１５】
また、別の一例として、前記魚眼ビデオ情報は、前記円形のイメージがレンダリングされる３Ｄ空間の中心を示す情報を含むことができる。前記円形のイメージがレンダリングされる３Ｄ空間の中心を示す情報は、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド及び前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドを示すことができる。
【０４１６】
また、別の一例として、魚眼ビデオ情報は、前記円形のイメージを記述する情報及び前記円形のイメージがマッピングされた四角形領域を記述する情報を含むことができ、前記円形のイメージを記述する情報及び前記四角形領域を記述する情報は、３６０度ビデオ受信装置で円形のイメージと四角形領域の積集合に該当する３６０度画像データを抽出するのに使用されることができる。
【０４１７】
前記円形のイメージを記述する情報は、前記円形のイメージを撮影した魚眼レンズの画角を示す情報及び前記円形のイメージが３Ｄ空間上で占める領域の中心点の座標を示す情報を含むことができ、前記四角形領域を記述する情報は、前記四角形領域の左上段点の位置、幅及び高さを指示し、前記四角形領域を特定する情報及び前記四角形領域にマッピングされた前記円形のイメージの中心点の座標及び半径を指示し、前記円形のイメージを特定する情報を含むことができる。
【０４１８】
また、前記四角形領域を記述する情報は、領域タイプ情報及び領域タイプ情報に応じて、異なる意味を有する領域追加情報を含むことができ、ピクチャーにマッピングされた円形のイメージは、ステレオスコピック３６０度画像データを含むことができる。前記領域タイプ情報は、前記四角形領域にマッピングされた円形のイメージの視野位置を指示することができ、前記領域追加情報は、前記四角形領域にマッピングされた前記円形のイメージの視野方向を指示することができる。
【０４１９】
また、前記領域タイプ情報は、前記四角形領域に同一の視野方向を有する複数個の円形のイメージがマッピングされるか否かをさらに指示することができ、前記四角形領域に同一の視野方向を有する複数個の円形のイメージがマッピングされた場合、前記領域追加情報は、前記四角形領域にマッピングされた前記複数個の円形のイメージの前記視野方向を指示することができる。
【０４２０】
また、前記領域タイプ情報は、前記四角形領域に同一の視野位置を有する複数個の円形のイメージがマッピングされるか否かをさらに指示することができ、前記四角形領域に同一の視野位置を有する複数個の円形のイメージがマッピングされた場合、前記領域追加情報は、前記四角形領域にマッピングされた前記複数個の円形のイメージの前記視野位置を指示することができる。
【０４２１】
一方、前記メタデータは、ＳＥＩメッセージを通じて送信されることができる。また、前記メタデータは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）のアダプテーションセット（ＡｄａｐｔａｔｉｏｎＳｅｔ）、リプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）又はサブリプリゼンテーション
（ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）に含まれることもできる。例えば、前記魚眼ビデオ情報は、前記ＭＰＤに含まれたＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）ディスクリプタの形態で送信されることができる。ここで、前記ＳＥＩメッセージは、２Ｄイメージの復号化又は２Ｄイメージの３Ｄ空間へのディスプレイに対する補助のために使用されることができる。
【０４２２】
３６０度ビデオ送信装置は、前記符号化された現在のピクチャー及び前記メタデータに対して格納又は送信のための処理を行う（Ｓ２１４０）。３６０度ビデオ送信装置は、前記符号化された３６０度ビデオデータ及び／又は前記メタデータをファイル等の形態でエンカプセレーション（ｅｎｃａｐｓｕｌａｔｉｏｎ）できる。３６０度ビデオ送信装置は、符号化された３６０度ビデオデータ及び／又は前記メタデータを格納又は送信するために、ＩＳＯＢＭＦＦ、ＣＦＦ等のファイルフォーマットにエンカプセレーションするか、その他のＤＡＳＨセグメント等の形態で処理することができる。３６０度ビデオ送信装置は、前記メタデータをファイルフォーマット上に含ませることができる。例えば、前記メタデータは、ＩＳＯＢＭＦＦファイルフォーマット上の様々なレベルのボックス（ｂｏｘ）に含まれるか、ファイル内で別途のトラック内のデータとして含まれることができる。また、３６０度ビデオ送信装置は、前記メタデータ自体をファイルにエンカプセレーションできる。３６０度ビデオ送信装置は、ファイルフォーマットによってエンカプセレーションされた前記３６０度ビデオデータに送信のための処理を加えることができる。３６０度ビデオ送信装置は、任意の送信プロトコルによって、前記３６０度ビデオデータを処理することができる。送信のための処理には、放送網を通じた伝達のための処理、又はブロードバンド等の通信ネットワークを通じた伝達のための処理を含むことができる。また、３６０度ビデオ送信装置は、前記メタデータに送信のための処理を加えることもできる。３６０度ビデオ送信装置は、送信処理された前記３６０度ビデオデータ及び前記メタデータを放送網及び／又はブロードバンドを通じて送信できる。
【０４２３】
本発明によると、３６０度画像に対する魚眼レンズのレンズタイプを示す情報に基づいて、レンズタイプによる球座標系のマッピング数式を導き出すことができるので、これを通じて、レンズタイプを考慮して３６０度画像データを３Ｄ空間により正確にマッピングできる。また、本発明によると、３６０度画像データがマッピングされない領域を示す情報に基づいて、３Ｄ空間にマッピングされる３６０度画像データが効率的に導き出せるので、これを通じてコーディング効率が向上し得る。
【０４２４】
図２１は、本発明に係る３６０度画像データの処理方法を行う３６０度ビデオ送信装置を概略的に示す。図２０で開示された方法は、図２１で開示された３６０度ビデオ送信装置によって行われることができる。具体的に、例えば、図２１の前記３６０度ビデオ送信装置のデータ入力部は、図２０のＳ２０００を行うことができ、図２１の前記３６０度ビデオ送信装置のプロジェクション処理部は、図２０のＳ２０１０を行うことができ、図２１の前記３６０度ビデオ送信装置のデータエンコーダーは、図２０のＳ２０２０を行うことができ、図２１の前記３６０度ビデオ送信装置のメタデータ処理部は、図２０のＳ２０３０を行うことができ、図２１の前記３６０度ビデオ送信装置の送信処理部は、図２０のＳ２０４０を行うことができる。前記送信処理部は、送信部に含まれることができる。
【０４２５】
図２２は、本発明に係る３６０度ビデオ受信装置による３６０度画像データの処理方法を概略的に示す。図２２で開示された方法は、図６で開示された３６０度ビデオ受信装置によって行われることができる。具体的に、例えば、図２２のＳ２２００は、前記３６０度ビデオ受信装置の受信部によって行われることができ、Ｓ２２１０は、前記３６０度ビデオ受信装置の受信処理部によって行われることができ、Ｓ２２２０は、前記３６０度ビデオ受信装置のデータデコーダによって行われることができ、Ｓ２２３０乃至Ｓ２２４０は、前記３６０度ビデオ受信装置のレンダラーによって行われることができる。
【０４２６】
３６０度ビデオ受信装置は、３６０度画像データを受信する（Ｓ２２００）。３６０度ビデオ受信装置は、放送網を通じて３６０度ビデオ送信装置からシグナリングされた前記３６０度画像データを受信することができる。また、３６０度ビデオ受信装置は、ブロードバンド等の通信ネットワーク、又は格納媒体を通じて、前記３６０度画像データを受信することもできる。
【０４２７】
３６０度ビデオ受信装置は、前記３６０度画像データから符号化されたピクチャーに対する情報及びメタデータを獲得する（Ｓ２２１０）。３６０度ビデオ受信装置は、受信された前記３６０度画像データに対して送信プロトコルによる処理を行うことができ、前記３６０度画像データから前記符号化されたピクチャーに対する情報及び前記メタデータを獲得することができる。また、３６０度ビデオ受信装置は、前述した３６０度ビデオ送信装置の送信のための処理の逆過程を行うことができる。
【０４２８】
前記メタデータは魚眼ビデオ情報を含むことができる。
【０４２９】
前記魚眼ビデオ情報は、前述したｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ＿ｆｉｓｈｅｙｅ＿ｖｉｄｅｏ＿ｉｄのフィールド、ｓｔｅｒｅｏｓｃｏｐｉｃ＿ｆｌａｇのフィールド、ｓｙｎｃｈｒｏｎｉｚｅｄ＿ｌｅｆｔ＿ｒｉｇｈｔ＿３６０ｃａｍｅｒａ＿ｆｌａｇのフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｎｕｍ＿ｐｉｃｔｕｒｅ＿ｒｅｇｉｏｎｓ＿ｍｉｎｕｓ１のフィールド、ｄｉｓｐａｒｉｔｙのフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗのフィールド、ｃｅｎｔｅｒ＿ｙａｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ［ｉ］のフィールド、ｎｕｍ＿ｖｉｅｗｉｎｇ＿ｄｉｒｅｃｔｉｏｎｓ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ＿ｍｉｎｕｓ１のフィールド、ｆｉｅｌｄ＿ｏｆ＿ｖｉｅｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｙａｗ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｐｉｔｃｈ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｃｅｎｔｅｒ＿ｒｏｌｌ＿ｐｅｒ＿ｒｉｇｈｔ＿ｖｉｅｗ［ｉ］のフィールド、ｒｅｇｉｏｎ＿ｔｙｐｅ［ｉ］のフィールド、ｒｅｇｉｏｎ＿ｉｎｆｏ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｘ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｃｅｎｔｅｒ＿ｙ［ｉ］のフィールド、ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールド、ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールド、ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールド、ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールド、ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールド、ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールド及び／又はｆｕｎｃｔｉｏｎａｌ＿ｄｅｓｃｒｉｐｔｏｒ（）のフィールドを含むことができる。
【０４３０】
前記フィールドの意味は前述した通りである。
【０４３１】
具体的に、一例として、前記魚眼ビデオ情報はレンズタイプを示す情報を含むことができる。前記レンズタイプは、等距離（ｅｑｕｉｄｉｓｔａｎｔ）、ステレオグラフィック（ｓｔｅｒｅｏｇｒａｐｈｉｃ）、等立体角（ｅｑｕｉｓｏｌｉｄ  ａｎｇｌｅ）、オーソグラフィック（ｏｒｔｈｏｇｒａｐｈｉｃ）、及びユーザ定義（ｕｓｅｒ  ｄｅｆｉｎｅｄ）の何れか一つであってもよい。例えば、前記レンズタイプを示す情報の値が１である場合、前記レンズタイプは、前記等距離に導き出すことができ、前記レンズタイプを示す情報の値が２である場合、前記レンズタイプは、前記ステレオグラフィックに導き出すことができ、前記レンズタイプを示す情報の値が３である場合、前記レンズタイプは、前記等立体角に導き出すことができ、前記レンズタイプを示す情報の値が４である場合、前記レンズタイプは、前記オーソグラフィックに導き出すことができ、前記レンズタイプを示す情報の値が１２７である場合、前記レンズタイプは、前記ユーザ定義に導き出すことができる。前記レンズタイプを示す情報は、前記ｌｅｎｓ＿ｔｙｐｅ［ｉ］のフィールドを示すことができる。
【０４３２】
前記レンズタイプに基づいて前記円形のイメージを３Ｄ空間にマッピングするのに使用される球座標系のマッピング（ｓｐｈｅｒｅ  ｃｏｏｒｄｉｎａｔｅ）数式を導き出すことができる。３６０度ビデオ受信装置は、前記レンズタイプに基づいて導き出された球座標系のマッピング数式に基づき、前記円形のイメージを３Ｄ空間にマッピングできる。
【０４３３】
例えば、前記円形のイメージがマッピングされる３Ｄ空間の中心が（０、０、０）である場合、後述する内容のように、前記レンズタイプに基づいて前記球座標系のマッピング数式を導き出すことができる。
【０４３４】
前記レンズタイプが前記等距離である場合、前記球座標系のマッピング数式は、前述した数式８のように導き出せる。また、別の例として、前記レンズタイプが前記ステレオグラフィックである場合、前記球座標系のマッピング数式は、前述した数式９のように導き出せる。また、別の例として、前記レンズタイプが前記等立体角である場合、前記球座標系のマッピング数式は、前述した数式１０のように導き出せる。また、別の例として、前記レンズタイプが前記オーソグラフィックである場合、前記球座標系のマッピング数式は、前述した数式１１のように導き出せる。
【０４３５】
本発明によると、３６０度画像に対する魚眼レンズのレンズタイプを示す情報に基づき、レンズタイプによる球座標系のマッピング数式を導き出すことができるので、これを通じてレンズタイプを考慮し、３６０度画像データを３Ｄ空間により正確にマッピングできる。
【０４３６】
また、別の一例として、前記魚眼ビデオ情報は、前記３６０度画像データがマッピングされない領域に対する情報を含むことができる。
【０４３７】
例えば、前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない円形領域の半径を示す情報を含むことができる。前記円形領域の半径を示す情報は、前記ｓｕｐｐ＿ｃｉｒｃｕｌａｒ＿ｉｍａｇｅ＿ｒａｄｉｕｓ［ｉ］のフィールドを示すことができる。
【０４３８】
また、前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない四角形領域の数を示す情報を含むことができる。前記３６０度画像データがマッピングされない領域に対する情報は、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報と、高さを示す情報と、幅を示す情報とを含むことができる。ここで、前記３６０度画像データがマッピングされない領域のサンプルは、同じサンプル値に設定されることができる。例えば、前記３６０度画像データがマッピングされない領域のサンプルは、同じサンプル値に設定されることができ、前記サンプル値は、黒（ｂｌａｃｋ）を示す値であり得る。前記３６０度ビデオがマッピングされない四角形領域の数を示す情報は、前記ｎｕｍ＿ｏｆ＿ｓｕｐｐ＿ｒｅｇｉｏｎｓ［ｉ］のフィールドを示すことができ、前記３６０度ビデオがマッピングされない前記四角形領域の左上段点を示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｔｏｐ［ｉ］のフィールド及びｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｌｅｆｔ［ｉ］のフィールドを示すことができ、前記四角形領域の高さを示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｈｅｉｇｈｔ［ｉ］のフィールドを示すことができ、前記四角形領域の幅を示す情報は、前記ｓｕｐｐ＿ｒｅｃｔ＿ｒｅｇｉｏｎ＿ｗｉｄｔｈ［ｉ］のフィールドを示すことができる。
【０４３９】
また、別の一例として、前記魚眼ビデオ情報は、前記３６０度画像データに対する魚眼レンズの焦点距離（ｆｏｃａｌ  ｌｅｎｇｔｈ）を示す情報を含むことができる。前記四角形領域の高さを示す情報は、前記ｆｏｃａｌ＿ｌｅｎｇｔｈ［ｉ］のフィールドを示すことができる。
【０４４０】
また、別の一例として、前記魚眼ビデオ情報は、前記円形のイメージがレンダリングされる３Ｄ空間の中心を示す情報を含むことができる。前記円形のイメージがレンダリングされる３Ｄ空間の中心を示す情報は、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｘ［ｉ］のフィールド、前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｙ［ｉ］のフィールド、及び前記ｓｐｈｅｒｉｃａｌ＿ｃｅｎｔｅｒ＿ｏｆｆｓｅｔ＿ｚ［ｉ］のフィールドを示すことができる。
【０４４１】
また、別の一例として、魚眼ビデオ情報は、前記円形のイメージを記述する情報及び前記円形のイメージがマッピングされた四角形領域を記述する情報を含むことができ、３６０度ビデオ受信装置は、前記円形のイメージを記述する情報及び前記四角形領域を記述する情報に基づき、３６０度ビデオ受信装置から円形のイメージと四角形領域の積集合に該当する３６０度画像データを抽出することができる。
【０４４２】
前記円形のイメージを記述する情報は、前記円形のイメージを撮影した魚眼レンズの画角を示す情報及び前記円形のイメージが３Ｄ空間上で占める領域の中心点の座標を示す情報を含むことができ、前記四角形領域を記述する情報は、前記四角形領域の左上段点の位置、幅及び高さを指示し、前記四角形領域を特定する情報及び前記四角形領域にマッピングされた前記円形のイメージの中心点の座標及び半径を指示し、前記円形のイメージを特定する情報を含むことができる。
【０４４３】
また、前記四角形領域を記述する情報は、領域タイプ情報及び領域タイプ情報に応じて、異なる意味を有する領域追加情報を含むことができ、ピクチャーにマッピングされた円形のイメージは、ステレオスコピック３６０度画像データを含むことができる。前記領域タイプ情報は、前記四角形領域にマッピングされた円形のイメージの視野位置を指示することができ、前記領域追加情報は、前記四角形領域にマッピングされた前記円形のイメージの視野方向を指示することができる。
【０４４４】
また、前記領域タイプ情報は、前記四角形領域に同一の視野方向を有する複数個の円形のイメージがマッピングされるか否かをさらに指示することができ、前記四角形領域に同一の視野方向を有する複数個の円形のイメージがマッピングされた場合、前記領域追加情報は、前記四角形領域にマッピングされた前記複数個の円形のイメージの前記視野方向を指示することができる。
【０４４５】
また、前記領域タイプ情報は、前記四角形領域に同一の視野位置を有する複数個の円形のイメージがマッピングされるか否かをさらに指示することができ、前記四角形領域に同一の視野位置を有する複数個の円形のイメージがマッピングされた場合、前記領域追加情報は、前記四角形領域にマッピングされた前記複数個の円形のイメージの前記視野位置を指示することができる。
【０４４６】
一方、前記メタデータは、ＳＥＩメッセージを通じて受信されることができる。また、前記メタデータは、ＭＰＤ（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ）のアダプテーションセット（ＡｄａｐｔａｔｉｏｎＳｅｔ）、リプリゼンテーション（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）又はサブリプリゼンテーション
（ＳｕｂＲｅｐｒｅｓｅｎｔａｔｉｏｎ）に含まれることもできる。例えば、前記魚眼ビデオ情報は、前記ＭＰＤに含まれたＤＡＳＨ（Ｄｙｎａｍｉｃ  Ａｄａｐｔｉｖｅ  Ｓｔｒｅａｍｉｎｇ  ｏｖｅｒ  ＨＴＴＰ）ディスクリプタの形態で受信されることができる。ここで、前記ＳＥＩメッセージは、２Ｄイメージの復号化又は２Ｄイメージの３Ｄ空間へのディスプレイに対する補助のために使用されることができる。
【０４４７】
３６０度ビデオ受信装置は、前記符号化されたピクチャーに対する情報に基づいて魚眼（ｆｉｓｈｅｙｅ）ビデオフォーマットを有するピクチャーを復号化する（Ｓ２２２０）。３６０度ビデオ受信装置は、前記符号化されたピクチャーに対する情報に基づいて、前記魚眼ビデオフォーマットを有するピクチャーを復号化することができる。
【０４４８】
３６０度ビデオ受信装置は、前記メタデータに基づいてピクチャーから魚眼画像を含む円形のイメージを導き出す（Ｓ２２３０）。一例として、前記メタデータの前記魚眼ビデオ情報は、前記円形のイメージを記述する情報及び前記円形のイメージがマッピングされた四角形領域を記述する情報を含むことができる。３６０度ビデオ受信装置は、前記四角形領域を記述する情報に基づいて前記四角形領域を導き出すことができ、前記円形のイメージを記述する情報に基づいて前記四角形領域にマッピングされた円形のイメージを導き出すことができる。この場合、前記四角形領域と円形のイメージがマッピングされた領域の内部積集合に該当する領域が魚眼レンズを通じて獲得した実際の魚眼３６０度画像データであり得る。残りの有効ではない領域は、黒色等で表されて区分できる。実施例に係り、３６０度ビデオ受信装置は、四角形領域と円形のイメージがマッピングされた領域の積集合に該当する領域を導き出すこともできる。ここで、円形のイメージがマッピングされた領域は、円形領域とも呼ばれ得る。
【０４４９】
前記魚眼ビデオ情報は、前記３６０度画像データがマッピングされない領域に対する情報を含むことができる。３６０度ビデオ受信装置は、前記３６０度画像データがマッピングされない領域に対する情報に基づいて、前記３６０度画像データがマッピングされない領域を導き出すことができる。
【０４５０】
３６０度ビデオ受信装置は、前記メタデータに基づいて前記円形のイメージを処理してレンダリングする（Ｓ２２４０）。前記魚眼ビデオ情報は、前記レンズタイプを示す情報を含むことができ、３６０ビデオ受信装置は、前記レンズタイプに基づいて導き出された球座標系のマッピング数式に基づいて、前記円形のイメージを３Ｄ空間にマッピングできる。具体的に、例えば、３６０ビデオ受信装置は、前記レンズタイプに基づいて導き出された球座標系のマッピング数式に基づいて、前記円形のイメージを平面にプロジェクションできる（Ｐｒｏｊｅｃｔｉｏｎ）。ここで、平面は、ＥＲＰ（Ｅｑｕｉｒｅｃｔａｎｇｕｌａｒ  Ｐｒｏｊｅｃｔｉｏｎ、エクイレクタングラープロジェクション）平面であり得る。このプロジェクション過程は、前記円形のイメージを球座標系等の３Ｄ空間にリプロジェクションするための中間段階であり得る。３６０ビデオ受信装置は、最終に合成されたＥＲＰ平面（ピクチャー）に基づいてレンダリングを行い、該当するビューポートを生成することができる。
【０４５１】
本発明によると、３６０度画像に対する魚眼レンズのレンズタイプを示す情報に基づいて、レンズタイプによる球座標系のマッピング数式を導き出すことができるので、これを通じてレンズタイプを考慮し、３６０度画像データを３Ｄ空間により正確にマッピングできる。また、本発明によると、３６０度画像データがマッピングされない領域を示す情報に基づいて、３Ｄ空間にマッピングされる３６０度画像データを効率的に導き出すことができるので、これを通じてコーディング効率が向上し得る。
【０４５２】
図２３は、本発明に係る３６０度画像データの処理方法を行う３６０度ビデオ受信装置を概略的に示す。図２２で開示された方法は、図２３で開示された３６０度ビデオ受信装置によって行われることができる。具体的に、例えば、図２３の前記３６０度ビデオ受信装置の受信部は、図２２のＳ２２００を行うことができ、図２３の前記３６０度ビデオ受信装置の受信処理部は、図２２のＳ２２１０を行うことができ、図２３の前記３６０度ビデオ受信装置のデータデコーダは、図２２のＳ２２２０を行うことができ、図２３の前記３６０度ビデオ受信装置のレンダラーは図２２のＳ２２３０乃至Ｓ２２４０を行われることができる。
【０４５３】
前述したステップは、実施例によって省略され、または類似／同じ動作を実行する他のステップにより代替されることができる。
【０４５４】
本発明の一実施例による３６０度ビデオ送信装置は、前述したデータ入力部、ステッチャ、シグナリング処理部、プロジェクション処理部、データエンコーダ、送信処理部及び／または送信部を含むことができる。各々の内部コンポーネントは、前述の通りである。本発明の一実施例による３６０度ビデオ送信装置及びその内部コンポーネントは、前述した本発明の３６０度ビデオを送信する方法の実施例を実行することができる。
【０４５５】
本発明の一実施例による３６０度ビデオ受信装置は、前述した受信部、受信処理部、データデコーダ、シグナリングパーサ、リプロジェクション処理部及び／またはレンダラを含むことができる。各々の内部コンポーネントは、前述の通りである。本発明の一実施例による３６０度ビデオ受信装置及びその内部コンポーネントは、前述した本発明の３６０度ビデオを受信する方法の実施例を実行することができる。
【０４５６】
前述した装置の内部コンポーネントは、メモリに格納された連続された実行過程を実行するプロセッサであり、またはその他のハードウェアで構成されたハードウェアコンポーネントである。これらは、装置の内部／外部に位置できる。
【０４５７】
前述したモジュールは、実施例によって省略され、または類似／同じ動作を実行する他のモジュールにより代替されることができる。
【０４５８】
前述した各々のパート、モジュールまたはユニットは、メモリ（または、格納ユニット）に格納された連続された実行過程を実行するプロセッサ、またはハードウェアパートである。前述した実施例に記述された各ステップは、プロセッサまたはハードウェアパートにより実行されることができる。前述した実施例に記述された各モジュール／ブロック／ユニットは、ハードウェア／プロセッサとして動作できる。また、本発明が提示する方法は、コードとして実行されることができる。このコードは、プロセッサが読み取ることができる格納媒体に書き込むことができ、したがって、装置（ａｐｐａｒａｔｕｓ）が提供するプロセッサにより読み取られることができる。
【０４５９】
前述した実施例において、方法は、一連のステップまたはブロックで流れ図に基づいて説明されているが、本発明は、ステップの順序に限定されるものではなく、あるステップは、前述と異なるステップと、異なる順序にまたは同時に発生できる。また、当業者であれば、流れ図に示すステップが排他的でなく、他のステップが含まれ、または流れ図の一つまたはそれ以上のステップが本発明の範囲に影響を及ぼさずに削除可能であることを理解することができる。
【０４６０】
本発明において、実施例がソフトウェアで具現される時、前述した方法は、前述した機能を遂行するモジュール（過程、機能など）で具現されることができる。モジュールは、メモリに格納され、プロセッサにより実行されることができる。メモリは、プロセッサの内部または外部にあり、よく知られた多様な手段でプロセッサと連結されることができる。プロセッサは、ＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ  ｉｎｔｅｇｒａｔｅｄ  ｃｉｒｃｕｉｔ）、他のチップセット、論理回路及び／またはデータ処理装置を含むことができる。メモリは、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード、格納媒体及び／または他の格納装置を含むことができる。
【図１】
2020521348.tif 000028
【図２】
2020521348.tif 000029
【図３】
2020521348.tif 000030
【図４】
2020521348.tif 000031
【図５】
2020521348.tif 000032
【図６】
2020521348.tif 000033
【図７ａ】
2020521348.tif 000034
【図７ｂ】
2020521348.tif 000035
【図８】
2020521348.tif 000036
【図９ａ】
2020521348.tif 000037
【図９ｂ】
2020521348.tif 000038
【図１０】
2020521348.tif 000039
【図１１】
2020521348.tif 000040
【図１２】
2020521348.tif 000041
【図１３】
2020521348.tif 000042
【図１４】
2020521348.tif 000043
【図１５】
2020521348.tif 000044
【図１６】
2020521348.tif 000045
【図１７ａ】
2020521348.tif 000046
【図１７ｂ】
2020521348.tif 000047
【図１８ａ】
2020521348.tif 000048
【図１８ｂ】
2020521348.tif 000049
【図１９】
2020521348.tif 000050
【図２０】
2020521348.tif 000051
【図２１】
2020521348.tif 000052
【図２２】
2020521348.tif 000053
【図２３】
2020521348.tif 000054
【国際調査報告】
2020521348.tif 000055
2020521348.tif 000056
2020521348.tif 000057
2020521348.tif 000058