(57)【要約】【課題】三次元３６０°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置を提供する。【解決手段】本発明の三次元３６０°映像データの伝送方法は、三次元３６０°映像を複数個のタイル単位に分割し、タイル単位の映像データを映像保存装置からディスプレイ装置にストリーミングする方法であり、ストリーミングされるデータの量を最小化しながらも、オリジナル映像の解像度を保存してディスプレイ装置で高画質の映像をディスプレイする。【選択図】図２
2019213196.tif 000002
【特許請求の範囲】
【請求項１】
三次元３６０°映像の映像データを映像保存装置からディスプレイ装置に伝送する方法であって、
前記映像保存装置により、
前記三次元３６０°映像で、前記ディスプレイ装置の第１視聴領域に対応する第１領域に関する第１情報を獲得する段階と、
前記三次元３６０°映像で、前記第１領域と異なる少なくとも１つの第２視聴領域に対応する少なくとも１つの第２領域に関する第２情報を獲得する段階と、
前記三次元３６０°映像が複数個のタイルに分割される際に、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定する段階と、
前記優先順位に対応する順序に従って、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルデータを、前記映像保存装置から前記ディスプレイ装置に伝送する段階と、を有することを特徴とする三次元３６０°映像データの伝送方法。
【請求項２】
前記複数個のタイルに優先順位を設定する段階は、前記第１領域に対応する少なくとも１つのタイルの優先順位が前記少なくとも１つの第２領域に対応する少なくとも１つのタイルの優先順位よりも高い値を有するように前記優先順位を設定する段階を含むことを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項３】
前記映像保存装置から前記ディスプレイ装置に伝送する段階は、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータを第１ストリームとして伝送し、前記少なくとも１つの第２領域に対応する少なくとも１つのタイルデータを第２ストリームとして伝送する段階を含むことを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項４】
前記優先順位は、ユーザの視点による前記第１視聴領域及び前記映像データに対応するコンテンツの制作者が設定した視聴領域に対応する前記第２視聴領域に基づいて設定されることを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項５】
前記優先順位は、前記映像データに対応するコンテンツを視聴した視聴者の視聴領域の履歴に基づいて設定されることを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項６】
前記優先順位は、前記映像データに対応するコンテンツに関する自動コンテンツ認識（ＡＣＲ）結果に基づいて設定されることを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項７】
前記優先順位は、前記映像データに対応するコンテンツの登場人物の位置及び前記コンテンツの内容のうちの少なくとも一つに基づいて設定されることを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項８】
前記三次元３６０°映像は、左目視点に対応する３６０°映像である左目映像及び右目視点に対応する３６０°映像である右目映像を含み、
前記映像データは、ＨＥＶＣ（ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）規格によるＭＣＴ（ｍｏｔｉｏｎ  ｃｏｎｓｔｒａｉｎｅｄ  ｔｉｌｅ）技法により、タイル単位に分割されてエンコーディングされることを特徴とする請求項１に記載の三次元３６０°映像データの伝送方法。
【請求項９】
前記映像保存装置から前記ディスプレイ装置に伝送する段階は、
前記左目映像で、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータ、及び前記右目映像で、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータを多重視点コーデックで圧縮して１つのストリームに形成する段階と、
前記１つのストリームを前記ディスプレイ装置に伝送する段階と、を含むことを特徴とする請求項８に記載の三次元３６０°映像データの伝送方法。
【請求項１０】
前記ディスプレイ装置は、ヘッドマウントディスプレイであることを特徴とする請求項１に記載の次元３６０°映像データの伝送方法。
【請求項１１】
三次元３６０°映像の映像データをストリーミングするディスプレイ装置であって、
ディスプレイと、
前記映像データを保存する映像保存装置と通信する通信部と、
ストリーミングされた前記映像データを保存するメモリと、
１以上のインストラクションを遂行するプロセッサを少なくとも一つ含む制御部と、を備え、
前記制御部に含まれる少なくとも１つのインストラクションは、
前記三次元３６０°映像で、第１視聴領域に対応する第１領域、及び前記第１領域と異なる少なくとも１つの第２視聴領域に対応する少なくとも１つの第２領域に対応する複数個のタイルデータ及び前記複数個のタイルの優先順位に関する情報を受信し、
前記複数個のタイルの優先順位に関する情報に基づいて、前記複数個のタイルのうちの少なくとも１つのタイルに対応する映像が前記ディスプレイを介して出力されるように制御することを特徴とするディスプレイ装置。
【請求項１２】
前記優先順位は、ユーザの視点による視聴領域である前記第１視聴領域及び前記映像データに対応するコンテンツの制作者が設定した視聴領域に対応する前記第２視聴領域に基づいて設定されることを特徴とする請求項１１に記載のディスプレイ装置。
【請求項１３】
前記制御部は、前記優先順位に関する情報に基づいて、前記第１領域に対応する少なくとも１つのタイルデータを最優先で受信して前記メモリに保存されるように制御することを特徴とする請求項１１に記載のディスプレイ装置。
【請求項１４】
コンテンツを形成する三次元３６０°映像の映像データをディスプレイ装置にストリーミングする映像保存装置であって、
前記映像データを保存するメモリと、
前記ディスプレイ装置と通信する通信部と、
１以上のインストラクションを遂行するプロセッサを少なくとも一つ含む制御部と、を備え、
前記制御部に含まれる少なくとも１つのインストラクションは、
前記三次元３６０°映像で、第１視聴領域に対応する第１領域に関する第１情報を獲得し、
前記三次元３６０°映像で、前記第１領域と異なる少なくとも１つの第２視聴領域に対応する少なくとも１つの第２領域に関する第２情報を獲得し、
前記三次元３６０°映像が複数のタイルに分割される際に、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定し、
前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルデータが、前記優先順位に対応する順序に従って、前記ディスプレイ装置に伝送されるように制御することを特徴とする映像保存装置。
【請求項１５】
三次元３６０°映像の映像データをディスプレイ装置にストリーミングする方法であって、
前記ディスプレイ装置により、
第１領域が第１視聴領域に対応し、第２領域が第１領域と異なる少なくとも１つの第２視聴領域に対応する場合、前記三次元３６０°映像の前記第１領域及び少なくとも１つの前記第２領域に対応する複数個のタイルに対応する複数個のタイルデータを受信する段階と、
前記複数個のタイルの優先順位に関する情報を受信する段階と、
前記複数個のタイルの優先順位に関する情報に基づいて、前記複数個のタイルのうちの少なくとも１つのタイルに対応する映像が出力されるようにディスプレイを制御する段階と、を有することを特徴とするストリーミング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元３６０°映像データの伝送方法とそのためのディスプレイ装置及び映像保存装置に関し、より詳細には、三次元３６０°映像を複数のタイル（ｔｉｌｅ）単位に分割し、タイル単位の映像データを映像保存装置からディスプレイ装置にストリーミングする方法とそのためのディスプレイ装置及映像保存装置に関する。
【背景技術】
【０００２】
ディスプレイ装置を介して各種ゲーム、映像などを鑑賞する場合が増加している。具体的には、ディスプレイ装置の一種である仮想現実装置を介して各種ゲーム、映像を鑑賞する場合が増加している。特に、没入感が強調される仮想現実技術の特性上、三次元（３Ｄ：３−ｄｉｍｅｎｓｉｏｎａｌ）ステレオスコピック技法を適用した映像鑑賞が広く拡散している。映像鑑賞のために、映像保存装置からディスプレイ装置、例えば仮想現実装置に映像データを伝送しなければならない場合がある。
【０００３】
例えば、映像保存装置としては、メディア記録媒体に保存されたコンテンツを読み取ることができるメディアプレイヤ、コンテンツサーバ装置などがある。ここで、メディア記録媒体としては、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｃ）などを例として挙げることができる。そして、ディスプレイ装置としては、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）装置を例として挙げることができる。
【０００４】
映像保存装置からディスプレイ装置に映像データを伝送する際に、無線通信ネットワークを介して映像データを伝送する場合、ネットワーク仕様によってストリーミング（ｓｔｒｅａｍｉｎｇ）される映像データの解像度は所定値以下に制限される。例えば、ＨＥＶＣコーデックによる無線通信ネットワークを介してＢＤを再生するメディア装置で、ヘッドマウントディスプレイ（ＨＭＤ）装置に映像データを伝送する場合、最大４Ｋ解像度を有する映像データを伝送することがある。
【０００５】
無線通信ネットワークの規格の種類によって違いはあるが、映像データのストリーミングには、上述のような解像度の制限が伴う。
【０００６】
従って、ディスプレイ装置のユーザが高画質の映像を視聴することができるように、高解像度を有する映像データをストリーミングする方法及びその装置を提供する必要がある。
【０００７】
また、映像保存装置で、ヘッドマウントディスプレイ装置に三次元３６０°映像に対応する映像データをストリーミングする場合を例に挙げると、その場合、ヘッドマウントディスプレイ装置は、所定の視点（ｖｉｅｗ）に対応する三次元３６０°映像の一部領域のみをディスプレイすることになる。このとき、ヘッドマウントディスプレイ装置が、ユーザが願う視点に対応して高画質を有する三次元３６０°映像の所定領域をディスプレイすることができる方法及びその装置を提供する必要がある。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１８−４２２４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、上記従来技術に鑑みてなされたものであって、本発明の目的は、高解像度を有する三次元３６０°映像をストリーミングすることができる方法及びその装置を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一態様による三次元３６０°映像データの伝送方法は、三次元３６０°映像を複数個のタイル（ｔｉｌｅ）単位に分割し、前記タイル単位の映像データを映像保存装置からディスプレイ装置にストリーミングする方法である。
【００１１】
上記目的を達成するためになされた本発明の一態様による三次元３６０°映像データの伝送方法は、前記映像保存装置により、前記三次元３６０°映像で、前記ディスプレイ装置のユーザ視点による第１視聴領域（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）に対応する第１領域に関する第１情報を獲得する段階と、前記三次元３６０°映像で、前記第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に関する第２情報を獲得する段階と、前記三次元３６０°映像が複数個のタイルに分割される際に、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定する段階と、前記優先順位に対応する順序に従って、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルデータを、前記映像保存装置から前記ディスプレイ装置にストリーミングする段階と、を有する。
【００１２】
前記複数個のタイルに優先順位を設定する段階は、前記第１領域に対応する少なくとも１つのタイルの優先順位が前記少なくとも１つの第２領域に対応する少なくとも１つのタイルの優先順位よりも高い値を有するように前記優先順位を設定する段階を含み得る。
前記映像保存装置から前記ディスプレイ装置に伝送する段階は、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータを第１ストリームとして伝送し、前記少なくとも１つの第２領域に対応する少なくとも１つのタイルデータを第２ストリームとして伝送する段階を含み得る。
前記優先順位は、ユーザの視点による前記第１視聴領域及び前記映像データに対応するコンテンツの制作者が設定した視聴領域に対応する前記第２視聴領域に基づいて設定され得る。
前記優先順位は、前記映像データに対応するコンテンツを視聴した視聴者の視聴領域の履歴に基づいて設定され得る。
前記優先順位は、前記映像データに対応するコンテンツに関する自動コンテンツ認識（ＡＣＲ：ａｕｔｏｍａｔｉｃ  ｃｏｎｔｅｎｔｓ  ｒｅｃｏｇｎｉｔｉｏｎ）結果に基づいて設定され得る。
前記優先順位は、前記映像データに対応するコンテンツの登場人物の位置及び前記コンテンツの内容のうちの少なくとも一つに基づいて設定され得る。
前記三次元３６０°映像は、左目視点（ｌｅｆｔ  ｖｉｅｗ）に対応する３６０°映像である左目映像及び右目視点（ｒｉｇｈｔ  ｖｉｅｗ）に対応する３６０°映像である右目映像を含み、前記映像データは、ＨＥＶＣ（ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ）規格によるＭＣＴ（ｍｏｔｉｏｎ  ｃｏｎｓｔｒａｉｎｅｄ  ｔｉｌｅ）技法により、タイル単位に分割されてエンコーディングされ得る。
前記映像保存装置から前記ディスプレイ装置に伝送する段階は、前記左目映像で、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータ、及び前記右目映像で、前記第１領域に対応する少なくとも１つのタイルに対応する少なくとも１つのタイルデータを多重視点コーデック（ＭＶＣ：ｍｕｌｔｉ−ｖｉｅｗ  ｃｏｄｅｃ）で圧縮して１つのストリームに形成する段階と、前記１つのストリームを前記ディスプレイ装置に伝送する段階と、を含み得る。
前記ディスプレイ装置は、ヘッドマウントディスプレイであり得る。
【００１３】
本発明の一態様によるディスプレイ装置は、三次元３６０°映像を複数個のタイル単位に分割し、前記タイル単位の映像データをストリーミングするディスプレイ装置である。
【００１４】
上記目的を達成するためになされた本発明の一態様によるディスプレイ装置は、ディスプレイと、前記映像データを保存する映像保存装置と通信する通信部と、ストリーミングされた前記映像データを保存するメモリと、１以上のインストラクションを保存して前記保存された１以上のインストラクションを遂行するプロセッサを少なくとも一つ含む制御部と、を備え、前記制御部は、前記三次元３６０°映像で、前記ディスプレイ装置のユーザ視点による第１視聴領域（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）に対応する第１領域、及び前記三次元３６０°映像で、前記第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に対応する複数個のタイルデータ、並びに前記複数個のタイルの優先順位を示す情報が前記映像保存装置からストリーミングされるように制御し、前記優先順位を示す情報に基づいて、前記複数個のタイルのうちの少なくとも１つのタイルに対応する映像が前記ディスプレイを介して出力されるように制御する。
【００１５】
本発明の一態様による映像保存装置は、コンテンツを形成する三次元３６０°映像を複数個のタイル単位に分割し、前記タイル単位の映像データをディスプレイ装置にストリーミングする映像保存装置である。
【００１６】
上記目的を達成するためになされた本発明の一態様による映像保存装置は、前記映像データを保存するメモリと、前記ディスプレイ装置と通信する通信部と、１以上のインストラクションを保存して前記１以上のインストラクションを遂行するプロセッサを少なくとも一つ含む制御部と、を備え、前記制御部は、前記三次元３６０°映像で、前記ディスプレイ装置のユーザ視点による第１視聴領域に対応する第１領域に関する第１情報を獲得し、前記三次元３６０°映像で、前記第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に関する第２情報を獲得し、前記三次元３６０°映像が複数個のタイルに分割される際に、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定し、前記第１領域及び前記少なくとも１つの第２領域に対応する複数個のタイルデータが、前記優先順位に対応する順序に従って、前記ディスプレイ装置に伝送されるように制御する。
【発明の効果】
【００１７】
本発明によれば、高解像度を有する三次元３６０°映像を伝送することができる。即ち、コンテンツに対応する映像データを、無線ネットワークを介して伝送する際に、データの伝送量を増加させずに高画質の映像データを伝送することができる。
また、ユーザが所望する視点に対応して高画質を有する三次元３６０°映像の所定の領域をディスプレイすることができる。即ち、ディスプレイ装置のユーザが所望する視聴領域を迅速且つ正確に再生するようにオリジナル映像データのうちの一部のみを迅速に伝送することができる。
【図面の簡単な説明】
【００１８】
【図１】３６０°映像及び３６０°映像のうちの少なくとも一部の領域をディスプレイするディスプレイ装置を示す図である。
【図２】本発明の一実施形態による映像保存装置とディスプレイ装置とのデータ送受信を示す図である。
【図３Ａ】本発明の一実施形態による映像保存装置を示すブロック図である。
【図３Ｂ】本発明の一実施形態によるディスプレイ装置を示すブロック図である。
【図４】本発明の他の実施形態による映像保存装置を示すブロック図である。
【図５Ａ】本発明の一実施形態による３６０°映像の分割方法について説明するための図である。
【図５Ｂ】本発明の一実施形態による３６０°映像の分割方法について説明するための図である。
【図６】本発明の一実施形態によるディスプレイ装置を詳細に示すブロック図である。
【図７】本発明の一実施形態で利用する三次元３６０°映像データについて説明するための図である。
【図８】ストリーミングされる映像データの生成動作について説明するための一例の図である。
【図９】ストリーミングされる映像データの生成動作について説明するための他の例の図である。
【図１０】映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための一例の図である。
【図１１】映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための他の例の図である。
【図１２】映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための更に他の例の図である。
【図１３】本発明の一実施形態による三次元３６０°映像データの伝送方法を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面を参照しながら、本発明が属する技術分野において当業者が容易に実施することができるように、本発明の実施形態について詳細に説明する。しかし、本発明は、様々に異なる形態に具現され、ここで説明する実施形態に限定されるものではない。そして、図面において、本発明について明確に説明するために、説明に関係ない部分は省略し、明細書全体を通じて類似する部分については、類似する図面符号を付した。
【００２０】
明細書全体において、ある部分が他の部分に「連結」されるとする場合、それは、「直接連結」される場合だけではなく、その中間に他の素子挟み、「電気的に連結」される場合も含む。また、ある部分がある構成要素を「含む」とする場合、それは、特別に反対になる記載がない限り、他の構成要素を除くものではなく、他の構成要素を更に含んでもよいということを意味する。
【００２１】
明細書全体において、「ａ、ｂ、及びｃのうちの少なくとも一つ」は、「ａを含む」、「ｂを含む」、「ｃを含む」、「ａ及びｂを含む」、「ａ及びｃを含む」、「ｂ及びｃを含む」、又は「ａ、ｂ、及びｃを含む」という場合を示す。
【００２２】
本明細書において、多様な箇所に登場する「一部実施形態において」又は「一実施形態において」というような語句は、必ずしも同一実施形態を示すものではない。
【００２３】
一部実施形態は、機能的なブロック構成及び多様な処理段階として示される。そのような機能ブロックの一部又は全部は、特定機能を実行する多様な個数のハードウェア構成及び／又はソフトウェア構成によって具現される。例えば、本発明の機能ブロックは、１以上のプロセッサ又はマイクロプロセッサによって具現されるか、或いは所定機能のための回路構成によって具現される。また、例えば本発明の機能ブロックは、多様なプログラミング言語又はスクリプティング言語によって具現される。機能ブロックは、１以上のプロセッサで実行されるアルゴリズムによって具現される。また、本発明は、電子的な環境設定、信号処理、及び／又はデータ処理などのために、従来技術を採用することができる。「モジュール」及び「構成」のような用語は、汎用であり機械的であって、物理的な構成として限定されるものではない。
【００２４】
また、図面に示した構成要素間の連結線又は連結部材は、機能的な連結、及び／又は物理的又は回路的な連結を例示的に示したものに過ぎない。実際の装置では、代替可能であったり追加されたりする多様な機能的な連結、物理的な連結、又は回路連結により、構成要素間の連結が示される。
【００２５】
以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。
【００２６】
図１は、３６０°映像及び３６０°映像のうちの少なくとも一部の領域をディスプレイするディスプレイ装置を示す図である。
【００２７】
本発明の実施形態によるディスプレイ装置は、所定映像を視覚的に出力する全ての電子装置を含む。具体的には、本発明の実施形態によるディスプレイ装置は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ  ｒｅａｌｉｔｙ）装置を含む。ここで、仮想現実装置は、特定の環境又は状況を、そのまま模倣した環境又は状況である「仮想現実」をユーザに提供し、ユーザに、まさしく実際の周辺環境又は周辺状況と相互作用するように感じさせるためのディスプレイ装置を意味する。仮想現実装置は、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ  ｍｏｕｎｔｅｄ  ｄｉｓｐｌａｙ）を含む。最近になり、仮想現実装置を介して各種ゲーム、映像を鑑賞する場合が増加している。また、仮想現実装置は、ユーザに、まさしく実際の周辺環境又は周辺状況を感じさせるために、立体的な映像である三次元映像をディスプレイする。ここで、三次元３６０°映像は、３Ｄ（３−ｄｉｍｅｎｓｉｏｎａｌ）ステレオスコピック技法を適用した３６０°映像であり、以下の図７を参照して詳細に説明する。
【００２８】
以下、ディスプレイ装置の一例として、仮想現実装置を例に挙げて説明する。また、仮想現実装置として、ヘッドマウントディスプレイを例に挙げて説明する。
【００２９】
図１を参照すると、ユーザ１２０は、ディスプレイ装置、例えばヘッドマウントディスプレイ（ＨＭＤ）１３０を介して所定の映像１１０に対応する映像を視聴する。図１では、所定の映像１１０が３６０°映像である場合を例に挙げて説明する。
【００３０】
オリジナル映像データを入力して再生するディスプレイ装置において、ユーザが感じることができるオリジナル映像データの解像度は、ディスプレイ装置の解像度によって制約を受ける。具体的には、オリジナル映像データの解像度がディスプレイ装置の最大解像度を超える場合、オリジナル映像を記録したり伝送したりするために必要なデータの大きさは増大するが、ディスプレイ装置を介して出力される画質は、それ以上改善されない。
【００３１】
ヘッドマウントディスプレイ１３０のような仮想現実装置で、３６０°映像１１０に対応する映像を視聴するために、先ずヘッドマウントディスプレイ１３０は、所定ネットワークを介して３６０°映像１１０に対応する映像データが伝送され、伝送された映像データを利用して所定画面を出力しなければならない。
【００３２】
そして、ヘッドマウントディスプレイ１３０は、３６０°映像１１０の一部領域（例えば、領域１４０）のみをディスプレイする。即ち、ヘッドマウントディスプレイ１３０の特性上、ユーザ１２０の所定の視点（ｖｉｅｗ  ｐｏｉｎｔ）に対応する一部領域１４０のみをディスプレイする。
【００３３】
また、ヘッドマウントディスプレイ１３０が、自体の最大解像度に合わせて映像（例えば、領域１４０に対応する映像）を出力する場合、出力される映像の解像度は、オリジナル映像の解像度よりも低い場合が殆どである。即ち、一般的なＴＶ（ｔｅｌｅｖｉｓｉｏｎ）のような据え置き型ディスプレイ装置が高解像度仕様を有するのに対し、ヘッドマウントディスプレイ１３０のようなディスプレイ装置は、据え置き型ディスプレイ装置に比べて低い解像度仕様を有する。
【００３４】
一般的に、ヘッドマウントディスプレイを介した再生環境で最適の画質を具現するための動画の解像度は、低く見ても８Ｋレベルと知られている。
【００３５】
現在の一般的な宅内ホームネットワーク環境において、動画ストリーミング（ｓｔｒｅａｍｉｎｇ）は、一般的に２Ｋ解像度で支援されている。或いは、ネットワークが迅速である場合、動画ストリーミングは、最大４Ｋ解像度まで支援されている。しかし、最大解像度である４Ｋを超える映像をストリーミングすることができるネットワークインフラは、今のところホームネットワークで提供されていない。従って、仮想現実体験のための３６０°映像を仮想現実装置のようなディスプレイ装置で最適画質によって視聴するために、８Ｋ映像をオリジナル画質でそのままストリーミングするための方法及びその装置は、現在では具現が困難であるという問題がある。
【００３６】
即ち、オリジナル映像である３６０°映像１１０が８Ｋ解像度を有する場合、現在のネットワーク環境を考慮すると、ヘッドマウントディスプレイ１３０は、８Ｋ解像度を有する３６０°映像１１０を４Ｋ解像度を有する３６０°映像１１２に変換して生成した映像データ、８Ｋ解像度を有する３６０°映像１１０を２Ｋ解像度を有する３６０°映像１１４に変換して生成した映像データ、又は８Ｋ解像度を有する３６０°映像１１０を１．２Ｋ解像度を有する３６０°映像１１２に変換して生成した映像データをストリーミングするしかない。そのような場合、ヘッドマウントディスプレイ１３０がストリーミングした映像データでは、ヘッドマウントディスプレイ１３０が具現しようとする最適画質（例えば、８Ｋの解像度）を有する映像を復元することができない。従って、ヘッドマウントディスプレイ１３０のユーザ１２０は、低い解像度を有する映像を再生するしかない。
【００３７】
本発明は、現在のネットワーク環境によってストリーミングされる映像データの解像度の制限によって発生する上述の問題点を解決する。具体的には、本発明の実施形態として、三次元３６０°映像を視聴する環境において、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ）装置のようなディスプレイ装置により、最適の画質を具現させる映像データの伝送方法、そのためのディスプレイ装置、及びそのための映像保存装置を提供し、以下、図面を参照して詳細に説明する。
【００３８】
図１は、ユーザ１２０がディスプレイ装置（例えば、ヘッドマウントディスプレイ１３０）を介して３６０°映像を視聴する場合、オリジナル映像の解像度とヘッドマウントディスプレイ１３０が再生する領域との関係を示す。ここで、ユーザ１２０は、３６０°映像１１０の視聴者である。
【００３９】
ヘッドマウントディスプレイ１３０を着用したユーザ１２０が２Ｋ程の解像度を感じるためには、オリジナル映像である３６０°映像１１０の全体解像度は、８Ｋにならなければならない。
【００４０】
上述のような、現在の一般的な宅内ホームネットワーク環境は、最大４Ｋ解像度の映像を伝送することができる。従って、４Ｋ解像度の映像対比で４倍のデータサイズを有する８Ｋ解像度映像を伝送するには、現在のネットワーク技術では十分に速くない。
【００４１】
そのような問題を解決するための一方法として、オリジナル映像である３６０°映像１１０の全体領域で、所定の視聴領域（ＦｏＶ：ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ）のみをユーザ１２０が視聴するという点に着眼したＨＥＶＣコーデックのＭＣＴ（ｍｏｔｉｏｎ  ｃｏｎｓｔｒａｉｎｅｄ  ｔｉｌｅ）を活用したストリーミング方法がある。即ち、ヘッドマウントディスプレイ１３０は、３６０°映像１１０の解像度値である８Ｋ値をそのまま有する部分映像である映像領域１４０に対応する映像データをストリーミングする。それにより、本発明の実施形態では、高解像度を有する映像データをストリーミングしながらも、ストリーミングされる映像データの大きさを増大させないようにすることができる。
【００４２】
そのような部分映像のストリーミングを、以下、図２〜図５Ｂを参照して詳細に説明する。
【００４３】
図２は、本発明の一実施形態による映像保存装置とディスプレイ装置とのデータ送受信を示す図である。
【００４４】
図２を参照すると、本実施形態によるディスプレイ装置２５０は、映像保存装置２１０から映像データが伝送される。具体的に、ディスプレイ装置２５０は、映像保存装置２１０に保存されている映像データをストリーミングする。ここで、ストリーミングは、データ（例えば、映像データなど）を伝送する方式の一つである。具体的に、ストリーミングは、データをいくつかに分け、水流（ｓｔｒｅａｍｉｎｇ）のように連続して伝送する方式を意味する。従って、音声や動画のようなデータをリアルタイムで再生する必要がある場合、ストリーミング方式が利用される。
【００４５】
ここで、映像保存装置２１０は、ユーザが視聴することができるゲーム、映画のような多様なコンテンツを保存している電子装置を意味する。具体的には、映像保存装置２１０に保存されている映像データは、ユーザが視覚的に認識することができる画面を介して再生されるゲーム、映画、広告、ミュージックビデオのようなコンテンツに対応する。また、映像データは、所定の時点で出力される所定のフレームの映像を示すフレームデータを複数個含む形態によって形成される。例えば、１分に６０個のフレームが連続的に再生される場合、１分のコンテンツを形成する映像データは、経時的に整列される６０個のフレームデータを含む。ここで、映像（ｖｉｄｅｏ）は、複数個の静止画像（ｓｔｉｌｌ  ｉｍａｇｅ）によって形成される。そして、１つのフレームは、所定の時点でディスプレイされる１つの画面（例えば、三次元３６０°映像又は３６０°映像１１０）である。
【００４６】
映像保存装置２１０は、上述のコンテンツを保存しているメディア記録媒体を挿入させて所定コンテンツを読み取ることができる電子装置を含む。ここで、メディア記録媒体としては、ＢＤ（Ｂｌｕ−ｒａｙ（登録商標）  Ｄｉｓｃ）、ＤＶＤ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ）などを例に挙げることができる。その場合、映像保存装置２１０は、ＢＤプレイヤ、ＤＶＤプレイヤなどである。
【００４７】
また、映像保存装置２１０は、内部的に含まれるメモリ、又は所定のネットワークを介してアクセス可能なサーバ装置内に上述のコンテンツを保存している電子装置を意味する。その場合、映像保存装置２１０は、ストリーミングサービスを提供することができるサーバ装置形態を有する。
【００４８】
ディスプレイ装置２５０は、映像保存装置２１０と有線又は無線のネットワークを介して連結されて所定画面をディスプレイする電子装置を意味する。
【００４９】
具体的に、本実施形態によるディスプレイ装置２５０は、無線ネットワークを介して映像保存装置２１０から映像データが伝送（例えば、ストリーミング）されるディスプレイ装置である。具体的に、ディスプレイ装置２５０は、図１で説明した仮想現実装置、例えばヘッドマウントディスプレイ１３０を含む。
【００５０】
ディスプレイ装置２５０は、映像保存装置２１０から所定のコンテンツに対応する映像データが伝送され、伝送された映像データを利用して所定の映像をディスプレイする。
【００５１】
以下、本発明の実施形態によるディスプレイ装置２５０が、ヘッドマウントディスプレイ（例えば、１３０）である場合を例に挙げて説明する。
【００５２】
図３Ａは、本発明の一実施形態による映像保存装置を示すブロック図である。
【００５３】
図３Ａに示す映像保存装置３１０は、図２に示して説明した映像保存装置２１０に対応するため、図２と重複する説明は省略する。
【００５４】
図３Ａを参照すると、映像保存装置３１０は、データの伝送サービス（例えば、ストリーミングサービス）を提供することができるサーバ装置形態を有する。
【００５５】
映像保存装置３１０は、三次元３６０°映像を、複数個のタイル（ｔｉｌｅ）単位に分割し、タイル単位の映像データをディスプレイ装置に伝送する。
【００５６】
本実施形態において、映像保存装置３１０がディスプレイ装置に映像データを伝送する方式として、映像データを分割して生成したタイルデータを連続して伝送する方式であるストリーミング方式を利用することができる。以下、映像データの伝送方式として、ストリーミング方式が利用される場合を例に挙げて説明する。
【００５７】
図３Ａを参照すると、映像保存装置３１０は、制御部３１５、通信部３２０、及びメモリ３２５を含む。メモリ３２５は、映像データを保存する。ここで、映像データは、コンテンツを形成する三次元３６０°映像に対応するデータである。そして、三次元３６０°映像を、複数個のタイル単位に分割する際、メモリ３２５に保存される映像データはタイル単位に形成される。タイル単位の映像データは、図５Ａ及び図５Ｂを参照して詳細に説明する。
【００５８】
具体的に、メモリ３２５は、フラッシュメモリタイプ（ｆｌａｓｈ  ｍｅｍｏｒｙ  ｔｙｐｅ）、ハードディスクタイプ（ｈａｒｄ  ｄｉｓｋ  ｔｙｐｅ）、マルチメディアカードマイクロタイプ（ｍｕｌｔｉｍｅｄｉａ  ｃａｒｄ  ｍｉｃｒｏ  ｔｙｐｅ）、カードタイプのメモリ（例えば、ＳＤメモリ、ＸＤメモリなど）、ＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＳＲＡＭ（ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ−ｏｎｌｙ  ｍｅｍｏｒｙ）、磁気メモリ、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの記録媒体を含む。
【００５９】
或いは、映像保存装置３１０は、通信部３２０を介してデータを送受信する外部電子装置（図示せず）又はサーバ（図示せず）と通信することができる。一実施形態による通信部３２０は、近距離通信モジュール、有線通信モジュール、移動通信モジュール、放送受信モジュールのような少なくとも１つの通信モジュールを含む。ここで、少なくとも１つの通信モジュールは、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ  ＬＡＮ（ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ））（Ｗｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ））、Ｗｉｂｒｏ（ｗｉｒｅｌｅｓｓ  ｂｒｏａｄｂａｎｄ）、Ｗｉｍａｘ（ｗｏｒｌｄ  ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ  ｆｏｒ  ｍｉｃｒｏｗａｖｅ  ａｃｃｅｓｓ）、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）のような通信規格によるネットワークを介してデータの送受信を行う通信モジュールを意味する。
【００６０】
制御部３１５は、１以上のインストラクションを保存し、保存された１以上のインストラクションを遂行するプロセッサ（図示せず）を少なくとも一つ含む。
【００６１】
制御部３１５は、三次元３６０°映像で、例えばディスプレイ装置２５０（図２）のユーザの視点による第１視聴領域（ＦｏＶ）である第１領域に関する情報を獲得する。そして、三次元３６０°映像で、第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に関する情報を獲得する。続けて、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定する。そして、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに対応する複数個のタイルデータが、設定された優先順位に対応する順序に従って、例えばディスプレイ装置２５０（図２）に伝送されるように制御する。
【００６２】
ここで、第１領域に関する情報は、例えばディスプレイ装置２５０（図２）で獲得されて映像保存装置３１０に伝送される。例えば、ディスプレイ装置２５０（図２）で、第１領域に関する情報を獲得する動作は、以下の図６を参照して詳細に説明する。また、少なくとも１つの第２領域に関する情報は、コンテンツ制作者の設定、コンテンツを視聴した視聴者の視聴領域履歴、コンテンツに関する自動コンテンツ認識（ＡＣＲ：ａｕｔｏｍａｔｉｃ  ｃｏｎｔｅｎｔｓ  ｒｅｃｏｇｎｉｔｉｏｎ）の結果、コンテンツの登場人物の位置、及びコンテンツの内容のうちの少なくとも一つに基づいて獲得することができる。
【００６３】
具体的に、制御部３１５は、第１領域に対応する少なくとも１つのタイルの優先順位が少なくとも１つの第２領域に対応する少なくとも１つのタイルの優先順位よりも高い値を有するように複数個のタイルの優先順位を設定する。
【００６４】
本実施形態による映像保存装置３１０で遂行される動作は、以下の図面を参照して詳細に説明する。
【００６５】
先ず、図５Ａ及び図５Ｂを参照し、映像保存装置３１０が保存してストリーミングする映像データの単位であるタイル単位について説明する。
【００６６】
図５Ａ及び図５Ｂは、本発明の一実施形態による３６０°映像の分割方法について説明するための図である。
【００６７】
本実施形態において、映像保存装置３１０は、ＨＥＶＣコーデックのＭＣＴを活用したストリーミング方法を利用して伝送対象になる映像データを分割することができる。ここで、ＭＣＴとは、仮想現実のための３６０°映像伝送のために、全体映像のうちの一部の領域のみを伝送させる技法である。具体的に、ＭＣＴは、全体画面を形成する映像を複数個の部分領域に分割し、部分領域に対応する映像データ単位でデータ伝送を遂行する。ここで、部分領域をタイルと称する。
【００６８】
図５Ａを参照すると、本発明の実施形態において、３６０°映像５１０は、横軸上で８つに、縦軸上で６つに分割され、総６×８＝４８個に分割される。ここで、それぞれの分割された領域がタイルになり、例えば１つのタイルに対応する部分映像５１１に対応する映像データ単位でデータ伝送（例えば、ストリーミング）が行われる。
【００６９】
図５Ｂを参照すると、本実施形態において、３６０°映像５５０は、横軸上で８つに、縦軸上で４つに分割され、総４×８＝３２個に分割される。その場合、例えば１つのタイルに対応する部分映像５５１に対応する映像データ単位でデータ伝送（例えば、ストリーミング）が行われる。
【００７０】
また、３６０°映像は、上述の例以外にも多様な個数に分割される。また、図５Ａ及び図５Ｂでは、３６０°映像がいずれも同一サイズに分割された場合を例に挙げて示したが、それぞれ異なるサイズを有する複数個のタイルに分割され得る。
【００７１】
また、３６０°映像を複数個のタイルに分割する際に、分割個数は、映像保存装置３１０の設定、映像保存装置３１０の通信部３２０に連結されるネットワークの規格の種類、映像保存装置３１０の通信部３２０に連結されるネットワークで許容可能な解像度、映像保存装置３１０から映像データがストリーミングされる装置の、例えばディスプレイ装置２５０（図２）の設定、映像保存装置３１０及び／又はディスプレイ装置２５０（図２）に対するユーザ設定などによっても異なる。
【００７２】
以下、３６０°映像が、横軸上に４つ、縦軸上に４つ、総４×４＝１６個に分割され、１つのタイルが３６０°映像の１／１６サイズを有する場合を例に挙げて説明する。
【００７３】
また、本発明の実施形態では、三次元３６０°映像を複数個のタイル単位に分割する。三次元３６０°映像は、以下の図７を参照して詳細に説明する。
【００７４】
図７は、本発明の一実施形態で利用する三次元３６０°映像データについて説明するための図である。
【００７５】
三次元３６０°映像は、３Ｄステレオスコピック技法を適用して生成される映像に映像を視聴するユーザ７０５が立体感又は遠近感を感じるようにするために、左目視点（ｌｅｆｔ  ｖｉｅｗ）に対応する３６０°映像７１０、及び右目視点（ｒｉｇｈｔ  ｖｉｅｗ）に対応する３６０°映像７３０が１対に形成される映像を意味する。
【００７６】
以下、左目視点に対応する３６０°映像７１０を「左目３６０°映像７１０」と称し、右目視点に対応する３６０°映像７３０を「右目３６０°映像７３０」と称する。
【００７７】
本実施形態において、映像保存装置３１０は、左目３６０°映像７１０及び右目３６０°映像７３０をそれぞれｎ個のタイルに分割する。例えば、映像保存装置３１０は、左目３６０°映像７１０及び右目３６０°映像７３０を、それぞれ図示するように、１６個のタイルに分割する。
【００７８】
また、１６個のタイル及び／又は１６個のタイルデータのそれぞれを識別するための識別子（ＩＤ）がタイルデータに付与される。例えば、左目３６０°映像７１０で左側最上端に位置するタイル７１１には、「１」７１２値が識別子（ＩＤ）値として付与される。それと同一に対応するように、右目３６０°映像７３０で左側最上端に位置するタイル７３１には、「１」７３２値が識別子（ＩＤ）値として付与される。図７では、１から１６までの整数を１６個のタイルのそれぞれに対応する識別子として示した。
【００７９】
以下、三次元３６０°映像に含まれる左目３６０°映像７１０及び右目３６０°映像７３０のそれぞれが、図７に示すように、１６個のタイルに分割される場合を例に挙げて説明する。
【００８０】
図３Ｂは、本発明の一実施形態によるディスプレイ装置を示すブロック図である。
【００８１】
図３Ｂに示したディスプレイ装置３５０は、図２に示して説明したディスプレイ装置２５０に対応するため、図２と重複する説明は省略する。
【００８２】
図３Ｂを参照すると、ディスプレイ装置３５０は、メモリ３６５、制御部３５５、通信部３７０、及びディスプレイ３７７を含む。
【００８３】
また、ディスプレイ装置３５０は、センシング部３６０を更に含む。
【００８４】
ディスプレイ３７７は、コンテンツに対応する所定映像をディスプレイする。具体的に、ディスプレイ３７７は、コンテンツを形成する三次元３６０°映像の一部領域に対応する映像を三次元的にディスプレイする。
【００８５】
通信部３７０は、映像データを保存し、例えば映像保存装置３１０（図３Ａ）と通信する。具体的に、通信部３７０は、外部の装置（例えば、映像保存装置３１０、サーバ装置（図示せず）など）と所定ネットワークを介して通信する。
【００８６】
具体的に、通信部３７０は、所定の規格を満足する無線ネットワークを介して外部の装置と通信する。ここで、所定の規格は、動画データを送受信するための通信規格であり、具体的には、ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）である。即ち、通信部３７０は、ＨＥＶＣ通信規格による無線ネットワークを介して外部の装置と通信する。
【００８７】
具体的に、通信部３７０は、有線通信又は無線通信を介して外部電子装置（図示せず）又はサーバ（図示せず）と通信する。一実施形態による通信部３７０は、近距離通信モジュール、有線通信モジュール、移動通信モジュール、放送受信モジュールのような少なくとも１つの通信モジュールを含む。ここで、少なくとも１つの通信モジュールは、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＷＬＡＮ（ｗｉｒｅｌｅｓｓ  ｌｏｃａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ）（Ｗｉ−Ｆｉ（ｗｉｒｅｌｅｓｓ  ｆｉｄｅｌｉｔｙ））、Ｗｉｂｒｏ、Ｗｉｍａｘ、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）のような通信規格によるネットワークを介してデータ送受信を行うことができる通信モジュールを意味する。
【００８８】
メモリ３６５は、ストリーミングされた映像データを保存する。
【００８９】
また、メモリ３６５は、所定のデータ及び所定の動作を遂行するための命令語を含むプログラムのうちの少なくとも一つを含む。また、所定のプログラムを実行させるプロセッサ（図示せず）を少なくとも一つ含む。
【００９０】
具体的に、メモリ３６５は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤメモリ、ＸＤメモリなど）、ＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリ、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの記録媒体を含む。
【００９１】
制御部３５５は、１以上のインストラクションを保存し、保存された１以上のインストラクションを遂行するプロセッサ（図示せず）を少なくとも一つ含む。
【００９２】
ここで、制御部３５５は、三次元３６０°映像で、ディスプレイ装置３５０のユーザ視点による第１視聴領域に対応する第１領域、及び三次元３６０°映像で、第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に対応する複数個のタイルに対応する映像データ並びに複数個のタイルに優先順位を示す情報を、映像保存装置３１０からストリーミングされるように制御する。そして、優先順位を示す情報に基づいてストリーミングされた複数個のタイルのうちの少なくとも１つのタイルに対応する映像がディスプレイ３７７を介して出力されるように制御する。
【００９３】
また、ディスプレイ装置３５０は、センシング部３６０及び出力部３７５を含む。ここで、出力部３７５は、ディスプレイ３７７及び音響出力部３７９を含む。
【００９４】
センシング部３６０は、ディスプレイ装置３５０（例えば、ヘッドマウントディスプレイ）を着用したユーザの状態を感知することができる。具体的に、センシング部３６０は、ユーザの姿勢、ユーザの動き、ユーザの頭角度、ユーザの頭高、ユーザの頭位置などを感知することができる少なくとも１つのセンサを含み、ユーザの状態を感知する。
【００９５】
センシング部３６０は、感知された結果を制御部３５５に伝送する。それにより、制御部３５５は、感知された結果に基づいて、例えばディスプレイ装置３５０のユーザ視聴領域１４０（図１）である第１領域に関する情報を獲得する。
【００９６】
具体的に、センシング部３６０は、例えばディスプレイ装置３５０のユーザ１２０（図１）が見る視点、見る領域、及び／又は見る方向などを認識させる少なくとも１つのセンサを含む。
【００９７】
具体的に、センシング部３６０は、地磁気センサ（ｍａｇｎｅｔｉｃ  ｓｅｎｓｏｒ）（図示せず）、加速度センサ（ａｃｃｅｌｅｒａｔｉｏｎ  ｓｅｎｓｏｒ）（図示せず）、傾きセンサ（図示せず）、深さセンサ（図示せず）、ジャイロスコープセンサ（図示せず）、近接センサ（図示せず）、温度センサ、虹彩認識センサなどを含む。そして、センシング部３６０は、内部的に含まれる少なくとも１つのセンサで感知された感知結果を制御部３５５に伝送する。それにより、制御部３５５は、感知された結果に基づいて、ユーザがオリジナル三次元３６０°映像で、どの部分を視聴領域（ＦｏＶ）として視聴しているかということを判断することにより、例えば第１領域１４０（図１）に関する情報を獲得する。
【００９８】
また、出力部３７５は、視覚的及び聴覚的な信号を出力することができる。出力部３７５は、ディスプレイ３７７及び音響出力部３７９を含む。
【００９９】
具体的に、音響出力部３７９は、コンテンツに対応するオーディオデータを出力する。また、音響出力部３７９は、ディスプレイ装置３５０で遂行される機能（例えば、コール信号受信音、メッセージ受信音、お知らせ音）に関する音響信号を出力する。そのような音響出力部３７９には、スピーカ、ブザーなどが含まれる。
【０１００】
図４は、本発明の他の実施形態による映像保存装置を示すブロック図である。
【０１０１】
本実施形態による映像保存装置は、メディア記録媒体が挿入され、メディア記録媒体に記録されたり保存されたりしている所定のコンテンツに対応する映像データを読み取るメディアプレイヤである。具体的に、映像保存装置は、ＢＤプレイヤ、ＤＶＤプレイヤなどである。図４に示した映像保存装置４００は、上述の映像保存装置（２１０、３１０）に対応するため、図２及び図３Ａと重複する説明は省略する。また、ディスプレイ装置４７０は、図３Ｂで説明したディスプレイ装置３５０に対応するため、図３Ｂと重複する説明は省略する。
【０１０２】
図４を参照すると、映像保存装置４００は、リーダ４１０、デマルチプレクサ４２０、パケット処理器４３０、通信部４４０、及び制御部４５０を含む。また、映像保存装置４００には、メディア記録媒体４０５が挿入される。
【０１０３】
図４において、映像保存装置４００に挿入されたメディア記録媒体４０５、通信部４４０、及び制御部４５０は、それぞれ図３Ａで説明したメモリ３２５、通信部３２０、及び制御部３１５に対応する。従って、図４に示した映像保存装置４００についての説明で、図３と重複する説明は省略する。
【０１０４】
リーダ４１０は、メディア記録媒体４０５に保存されている映像データを一定の単位で読み取る。ここで、メディア記録媒体４０５は、上述のＢＤ、ＤＶＤなどを例に挙げることができる。また、メディア記録媒体４０５が保存している映像データは、所定のコンテンツに対応するものであり、映画、広告、ゲーム、ミュージックビデオ、アプリケーションなどを構成するビデオデータを含んでもよく、ビデオデータ及びオーディオデータのいずれも含むＡＶ（ａｕｄｉｏ−ｖｉｄｅｏ）データを含んでもよい。
【０１０５】
例えば、メディア記録媒体４０５は、オーディオストリームとビデオストリームとがマルチプレキシングされた映像データを保存する。
【０１０６】
デマルチプレクサ４２０は、リーダ４１０から読み取られた映像データを受信し、受信された映像データをデマルチプレキシング（ｄｅ−ｍｕｌｔｉｐｌｅｘｉｎｇ）する。例えば、メディア記録媒体４０５は、オーディオストリームとビデオストリームとがマルチプレキシングされたストリームを映像データとして保存する。それにより、デマルチプレクサ４２０は、読み取られた映像データからオーディオストリームとビデオストリームとを抽出することができる。
【０１０７】
パケット処理器４３０は、デマルチプレクサ４２０で抽出されたオーディオストリーム及びビデオストリームを受信し、オーディオストリーム及びビデオストリームのそれぞれを処理する。具体的に、パケット処理器４３０は、ビデオパケット処理器４３１とオーディオパケット処理器４３２とを含む。
【０１０８】
ビデオパケット処理器４３１は、ビデオストリームを処理し、図５Ａ及び図５Ｂで説明したように、１つの全体画面を形成する映像データを複数個のタイルに対応する複数個のタイルデータに分割する。
【０１０９】
図５Ａを参照すると、オリジナル映像において、全体画面である３６０°映像５１０を、横軸上に８個、縦軸上に６個に分割し、総４８個に分割した場合、最左側最上端に位置する部分映像５１１に対応する映像データが１つのタイルデータになる。従って、図５Ａの場合、３６０°映像５１０を示す映像データは、４８個のタイルデータに分割される。１つの全体画面である３６０°映像を形成する複数個のタイルデータについては、以下の図８及び図９を参照して詳細に説明する。
【０１１０】
オーディオパケット処理器４３２は、受信されたオーディオストリームをパケット単位に分離して処理する。
【０１１１】
また、メディア記録媒体４０５は、映像データをタイル単位で保存することができる。そのような場合、上述のタイル単位の映像データを生成するためのデマルチプレクサ４２０、及びパケット処理器４３０の動作は、省略される。
【０１１２】
制御部４５０は、映像保存装置４００の全般的な動作を制御する。
【０１１３】
具体的に、制御部４５０は、１以上のインストラクションを保存し、１以上のインストラクションを遂行するプロセッサを少なくとも一つ含む。
【０１１４】
具体的に、制御部４５０は、三次元３６０°映像で、例えばディスプレイ装置３５０（図３Ｂ）のユーザ視点による第１視聴領域である第１領域に関する情報を獲得する。そして、三次元３６０°映像で、第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に関する情報を獲得する。続けて、制御部４５０は、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定する。そして、制御部４５０は、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに対応する複数個のタイルデータが、優先順位に対応する順序に従って、例えばディスプレイ装置３５０（図３Ｂ）に伝送されるように制御する。
【０１１５】
通信部４４０は、有線通信又は無線通信を介して外部電子装置（図示せず）又はサーバ（図示せず）と通信することができる。一実施形態による通信部４４０は、近距離通信モジュール、有線通信モジュール、移動通信モジュール、放送受信モジュールのような少なくとも１つの通信モジュールを含む。ここで、少なくとも１つの通信モジュールは、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））、ＷＬＡＮ（Ｗｉ−Ｆｉ）、Ｗｉｂｒｏ、Ｗｉｍａｘ、ＣＤＭＡ、ＷＣＤＭＡ（登録商標）のような通信規格によるネットワークを介してデータ送受信を行うことができる通信モジュールを意味する。
【０１１６】
本実施形態において、通信部４４０は、制御部４５０の制御により、タイル単位に形成される複数個のタイルデータを、制御部４５０で設定された優先順位に従ってディスプレイ装置４７０に伝送する。
【０１１７】
図６は、本発明の一実施形態によるディスプレイ装置を詳細に示すブロック図である。図６に示したディスプレイ装置６００は、図３Ｂに示したディスプレイ装置３５０を詳細に示したものである。従って、図３Ｂと同一の名称（例えば、「制御部」）は、同一構成要素を指す。そのため、ディスプレイ装置６００についての説明で、図３Ｂと重複する説明は省略する。
【０１１８】
図６に示すように、本実施形態によるディスプレイ装置６００は、出力部６１０、制御部６２０以外に、ユーザ入力部６３０、通信部６４０、センシング部６５０、Ａ／Ｖ（ａｕｄｉｏ／ｖｉｄｅｏ）入力部６６０、メモリ６７０を更に含む。センシング部６５０は、センサ部とも表現する。
【０１１９】
以下、構成要素について順に説明する。
【０１２０】
出力部６１０は、オーディオ信号、ビデオ信号、又は振動信号出力のためのものであり、出力部６１０には、ディスプレイ６１１、音響出力部６１２、振動モータ６１３が含まれる。
【０１２１】
ディスプレイ６１１は、ディスプレイ装置６００で処理される情報を視覚的に表示することができる。
【０１２２】
本実施形態において、ディスプレイ６１１は、三次元３６０°映像をディスプレイする。具体的に、ディスプレイ６１１は、例えばオリジナル映像である三次元３６０°映像１１０（図１）のうちの一部領域１４０に対応する映像を、三次元的にディスプレイする。
【０１２３】
また、ディスプレイ６１１は、お知らせイベントに対応するコンテンツ（お知らせメッセージ情報）を表示する。
【０１２４】
ディスプレイ６１１は、拡張現実（ＡＲ）、混合現実（ＭＲ：ｍｉｘｅｄ  ｒｅａｌｉｔｙ）、又は仮想現実（ＶＲ）の形態でコンテンツを表示することができる。また、ディスプレイ６１１は、お知らせイベントの発生を示すインジケータを表示することもできる。
【０１２５】
一方、ディスプレイ６１１とタッチパッドとがレイヤ構造をなしてタッチスクリーンとして構成される場合、ディスプレイ６１１は、出力装置以外に入力装置としても使用される。ディスプレイ６１１は、液晶ディスプレイ（ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ  ｆｉｌｍ  ｔｒａｎｓｉｓｔｏｒ−ｌｉｑｕｉｄ  ｃｒｙｓｔａｌ  ｄｉｓｐｌａｙ）、有機発光ダイオード（ｏｒｇａｎｉｃ  ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ  ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、三次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）、電気泳動ディスプレイ（ｅｌｅｃｔｒｏｐｈｏｒｅｔｉｃ  ｄｉｓｐｌａｙ）のうちの少なくとも一つを含み得る。そして、ディスプレイ装置６００の具現形態により、ディスプレイ装置６００は、ディスプレイ６１１を２個以上含んでもよい。例えば、ディスプレイ装置６００がヘッドマウントディスプレイである場合、ディスプレイ装置６００は、左目レンズに対応するディスプレイ及び右目レンズに対応するディスプレイを含む。
【０１２６】
音響出力部６１２は、通信部６４０から受信されるか又はメモリ６７０に保存されたオーディオデータを出力する。また、音響出力部６１２は、ディスプレイ装置６００で遂行される機能（例えば、コール信号受信音、メッセージ受信音、お知らせ音）に関する音響信号を出力する。そのような音響出力部６１２には、スピーカ、ブザーなどが含まれる。
【０１２７】
振動モータ６１３は、振動信号を出力することができる。例えば、振動モータ６１３は、オーディオデータ又はビデオデータ（例えば、コール信号受信音、メッセージ受信音など）の出力に対応する振動信号を出力する。また、振動モータ６１３は、タッチスクリーンにタッチが入力される場合、振動信号を出力することもできる。
【０１２８】
また、出力部６１０は、ユーザの動きパターン情報に基づいて決定された提供方法により、お知らせイベントに対応するコンテンツを提供することができる。
【０１２９】
制御部６２０は、一般的に、ディスプレイ装置６００の全般的な動作を制御する。例えば、制御部６２０は、メモリ６７０に保存されたプログラムを実行することにより、出力部６１０、ユーザ入力部６３０、通信部６４０、センシング部６５０、Ａ／Ｖ入力部６６０などを全般的に制御する。
【０１３０】
本実施形態において、制御部６２０は、三次元３６０°映像で、ディスプレイ装置６００のユーザ視点による第１視聴領域である第１領域、及び三次元３６０°映像で、第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に対応する複数個のタイルに対応する映像データ並びに複数個のタイルに優先順位を示す情報を、例えば映像保存装置３５０（図３Ｂ）からストリーミングされるように制御する。そして、優先順位を示す情報に基づいてストリーミングされた複数個のタイルのうちの少なくとも１つのタイルに対応する映像がディスプレイ６１１を介して出力されるように制御する。
【０１３１】
具体的に、制御部６２０は、ディスプレイ装置６００で測定される加速度情報、傾き情報、及び位置情報のうちの少なくとも一つを利用し、ユーザの視点がどこであるかということ、ユーザの視聴領域（ＦｏＶ）がどこであるかということを判断する。そして、ユーザの視点による第１視聴領域に対応する第１領域を示す情報を獲得した後、それを映像保存装置３１０に伝送する。それにより、映像保存装置３１０は、第１領域に対応する少なくとも１つのタイルデータをディスプレイ装置６００にストリーミングすることができる。また、ディスプレイ装置６００は、第１領域に対応する少なくとも１つのタイルデータを、例えば映像保存装置３１０からストリーミングされるように制御する。続けて、制御部６２０は、受信された少なくとも１つのタイルデータを利用し、第１領域に対応する映像がディスプレイ６１１を介してディスプレイされるように制御する。
【０１３２】
制御部６２０の制御により、所定の領域の画面がディスプレイされる動作は、以下の図１０〜図１２を参照して詳細に説明する。
【０１３３】
また、制御部６２０は、センシング部６５０から出力された信号に基づいて、受信されたお知らせメッセージ情報をディスプレイ６１１に表示するようにディスプレイ６１１を制御する。
【０１３４】
また、制御部６２０は、センシング部６５０に含まれる少なくとも１つのセンサから出力された信号に基づいて、ユーザがディスプレイ装置６００を着用しているか否かということを判断し、ディスプレイ装置６００を着用していると判断される場合、ユーザの動きをセンシングするようにセンシング部６５０を制御する。
【０１３５】
ユーザ入力部６３０は、ユーザがディスプレイ装置６００を制御するためのデータを入力する手段を意味する。例えば、ユーザ入力部６３０には、キーパッド（ｋｅｙ  ｐａｄ）、ドームスイッチ（ｄｏｍｅ  ｓｗｉｔｃｈ）、タッチパッド（接触式静電容量方式、圧力式抵抗膜方式、赤外線感知方式、表面超音波伝導方式、積分式張力測定方式、ピエゾ効果方式など）、ジョグホイール、ジョグスイッチなどがあるが、それらに限定されるものではない。
【０１３６】
本実施形態において、ユーザ入力部６３０は、ストリーミングされたコンテンツの再生を要請するユーザ入力を受信することができる。ここで、ユーザ入力は、モーション入力、タッチ入力、キー入力、音声入力、多重入力のうちの少なくとも一つであるが、それらに限定されるものではない。また、ユーザは、頭を上げるヘッドアップモーションを、コンテンツ出力を要請するユーザ入力として設定することができる。
【０１３７】
通信部６４０は、ディスプレイ装置６００と、例えば映像保存装置３１０（図３Ａ）との通信を行わせる１以上の構成要素を含む。例えば、通信部６４０は、近距離通信部（ｓｈｏｒｔ−ｒａｎｇｅ  ｗｉｒｅｌｅｓｓ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｕｎｉｔ）６４１、移動通信部６４２、放送受信部６４３を含む。
【０１３８】
近距離通信部６４１は、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））通信部、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標）  ｌｏｗ  ｅｎｅｒｇｙ）通信部、近距離無線通信部（ｎｅａｒ  ｆｉｅｌｄ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｕｎｉｔ）、ＷＬＡＮ（Ｗｉ−Ｆｉ）通信部、ジグビー（登録商標）（Ｚｉｇｂｅｅ（登録商標））通信部、赤外線（ＩｒＤＡ：ｉｎｆｒａｒｅｄ  ｄａｔａ  ａｓｓｏｃｉａｔｉｏｎ）通信部、ＷＦＤ（Ｗｉ−Ｆｉ  ｄｉｒｅｃｔ）通信部、ＵＷＢ（ｕｌｔｒａ  ｗｉｄｅｂａｎｄ）通信部、Ａｎｔ＋通信部などを含むが、それらに限定されるものではない。
【０１３９】
移動通信部６４２は、移動通信網上において、基地局、外部の端末、サーバのうちの少なくとも一つと無線信号を送受信する。ここで、無線信号は、音声コール信号、画像通話コール信号、又は文字／マルチメディアメッセージの送受信による多様な形態のデータを含む。
【０１４０】
放送受信部６４３は、放送チャンネルを介して外部から放送信号及び／又は放送に関する情報を受信する。放送チャンネルは、衛星チャネル、地上波チャネルを含む。具現例により、ディスプレイ装置６００は、放送受信部６４３を含まないこともある。
【０１４１】
本実施形態において、通信部６４０には、例えば映像保存装置３１０（図３Ａ）から伝送される映像データ（例えば、複数個のタイルのデータを含むストリーム）がストリーミングされる。
【０１４２】
センシング部６５０は、地磁気センサ６５１、加速度センサ６５２、傾きセンサ６５３、深さセンサ６５４、ジャイロスコープセンサ６５５、位置センサ（例えば、ＧＰＳ）６５６、気圧センサ６５７、近接センサ６５８、及び光センサ６５９のうちの少なくとも一つを含むが、それらに限定されるものではない。センシング部６５０は、温度センサ、照度センサ、圧力センサ、虹彩認識センサなどを含み得る。各センサの機能は、その名称から当業者が直観的に推論することができるため、具体的な説明は省略する。
【０１４３】
Ａ／Ｖ入力部６６０は、オーディオ信号又はビデオ信号の入力のためのものであり、それには、カメラ（イメージセンサ）６６１やマイクロフォン６６２が含まれる。カメラ（イメージセンサ）６６１は、画像通話モード又は撮影モードで、静止映像又は動画像などの画像フレームを得る。カメラ（イメージセンサ）６６１を介してキャプチャされたイメージは、制御部６２０又は別途のイメージ処理部（図示せず）を介して処理される。
【０１４４】
カメラ（イメージセンサ）６６１で処理された画像フレームは、メモリ６７０に保存されるか又は通信部６４０を介して外部に伝送される。カメラ（イメージセンサ）６６１は、ディスプレイ装置６００の構成の態様により２個以上が具備され得る。
【０１４５】
マイクロフォン６６２は、外部の音響信号が入力されて電気的な音声データに処理する。例えば、マイクロフォン６６２は、外部デバイス又は話者から音響信号を受信する。マイクロフォン６６２には、外部の音響信号が入力される過程で生じるノイズ（ｎｏｉｓｅ）を除去するための多様なノイズ除去アルゴリズムを利用することができる。
【０１４６】
メモリ６７０は、制御部６２０の処理及び制御のためのプログラムを保存し、入出力されるデータ（例えば、未出力コンテンツのリスト、既出力コンテンツのリスト、キャプチャーイメージ、生体情報、ユーザの日程情報、ユーザの生活パターン情報など）を保存することもできる。
【０１４７】
本実施形態において、メモリ６７０は、ストリーミングされたタイル単位の映像データを保存する。
【０１４８】
メモリ６７０は、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ（例えば、ＳＤメモリ、ＸＤメモリなど）、ＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＰＲＯＭ、磁気メモリ、磁気ディスク、光ディスクのうちの少なくとも１つのタイプの記録媒体を含む。また、ディスプレイ装置６００は、インターネット上で、メモリ６７０の保存機能を遂行するウェブストレージ（ｗｅｂ  ｓｔｏｒａｇｅ）又はクラウドサーバを運用することもできる。
【０１４９】
メモリ６７０に保存されたプログラムは、その機能により、複数個のモジュールに分類され、例えば、ＵＩ（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）モジュール６７１、お知らせモジュール６７２、アプリケーションモジュール６７３、映像処理モジュール６７４などに分類される。
【０１５０】
ＵＩモジュール６７１は、アプリケーション別に、ディスプレイ装置６００に連動する特化されたＵＩ、ＧＵＩ（ｇｒａｐｈｉｃ  ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）などを提供することができる。お知らせモジュール６７２は、ディスプレイ装置６００のイベント発生を知らせるための信号を発する。お知らせモジュール６７２は、ディスプレイ６１１を介してビデオ信号形態でお知らせ信号を出力し、音響出力部６１２を介してオーディオ信号形態でお知らせ信号を出力し、振動モータ６１３を介して振動信号形態でお知らせ信号を出力する。
【０１５１】
アプリケーションモジュール６７３は、ディスプレイ装置６００で実行可能な少なくとも１つのアプリケーションを保存することができる。アプリケーションモジュール６７３に保存された少なくとも１つのアプリケーションは、制御部６２０の制御によって実行される。
【０１５２】
映像処理モジュール６７４は、キャプチャされたイメージに対する分析を介して、キャプチャされたイメージに含まれる客体情報、エッジ情報、雰囲気情報、色相情報などを獲得することができる。
【０１５３】
図７〜図１２に、オリジナル映像である三次元３６０°映像が横軸上に４個、縦軸上に４個に分割され、総１６個のタイル単位に分割される場合を例に挙げて示す。従って、オリジナル映像に対応する映像データは、総１６個のタイルデータを含む。
【０１５４】
また、以下の図８〜図１２で、映像保存装置及びディスプレイ装置を、それぞれ図３Ａに示した映像保存装置３１０及び図３Ｂに示したディスプレイ装置３５０を例に挙げて説明する。
【０１５５】
図７に示したように、三次元３６０°映像は、左目３６０°映像７１０及び右目３６０°映像７３０のそれぞれを１６個のタイル単位に分割し、１６個のタイルのそれぞれに対応する１６個のタイルデータを形成することができる。
【０１５６】
ユーザが、ディスプレイ装置であるヘッドマウントディスプレイを着用している場合、ユーザは、左目では左目３６０°映像７１０を見ることになり、右目では右目３６０°映像７３０を見ることになる。また、ヘッドマウントディスプレイの特性上、左目レンズに対応するディスプレイ（図示せず）は、左目３６０°映像７１０で左目の視聴領域（ｌｅｆ  ｔ  ｅｙｅ’ｓ  ＦｏＶ）７２０をディスプレイし、右目レンズに対応するディスプレイは、右目３６０°映像７３０で右目の視聴領域（ｒｉｇｈｔ  ｅｙｅ’ｓ  ＦｏＶ）７４０をディスプレイする。ここで、左目の視聴領域７２０と右目の視聴領域７４０とは、互いに同期化されたＦｏＶになり、図７に示すように、同一対応する領域になる。
【０１５７】
従って、本実施形態において、画面（ｓｃｒｅｅｎ）上で、同一位置に対応する２つのタイル（左目３６０°映像７１０のタイル、及び右目３６０°映像７３０のタイル）をまとめ、多視点コーデック（ＭＶＣ：ｍｕｌｔｉ−ｖｉｅｗ  ｃｏｄｅｃ）で圧縮することができる。例えば、左目視点（ｌｅｆｔ  ｖｉｅｗ）に対応する３６０°映像７１０を基本視点（ｂａｓｅ  ｖｉｅｗ）に設定し、右目視点（ｒｉｇｈｔ  ｖｉｅｗ）に対応する３６０°映像７３０を従属視点（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）に設定する。具体的には、互いに同一位置に存在する左目３６０°映像７１０のタイルと右目３６０°映像７３０のタイルとを、それぞれ基本視点（ｂａｓｅ  ｖｉｅｗ）及び従属視点（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）として構成し、多視点コーデック（ＭＶＣ）で圧縮する。また、互いに同一位置に存在する左目３６０°映像７１０のタイルと右目３６０°映像７３０のタイルとを、それぞれ従属視点（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）及び基本視点（ｂａｓｅ  ｖｉｅｗ）として構成し、多視点コーデック（ＭＶＣ）で圧縮する。例えば、左目視点（ｌｅｆｔ  ｖｉｅｗ）に対応する３６０°映像７１０を従属視点（ｄｅｐｅｎｄｅｎｔ  ｖｉｅｗ）に設定し、右目視点（ｒｉｇｈｔ  ｖｉｅｗ）に対応する３６０°映像７３０を基本視点（ｂａｓｅ  ｖｉｅｗ）に設定する。以下、「多視点コーデック」を「ＭＶＣ」コーデックと表現する。
【０１５８】
また、本実施形態において、１つの３６０°映像に含まれる複数個のタイルにそれぞれ１〜１６の識別子（例：ＩＤ）を付与する。以下、それぞれ異なる複数個のタイルを区別する識別子として「ＩＤ」を例に挙げて説明する。
【０１５９】
具体的には、複数個のタイルデータにそれぞれ１〜１６の識別子（ＩＤ）を付与し、上述の優先順位を示す情報をタイルデータのＩＤ順序で整列することによって形成する。
【０１６０】
具体的には、図７を含む以下で説明する図８〜図１２として、図７に示すように、１つの３６０°映像に含まれる複数個のタイルにそれぞれ順に数１〜１６の値で表されるＩＤを付与する。また、図７〜図１２において、ＩＤ値として数字を利用した場合を例に挙げて示したが、ＩＤ値は、記号、文字、図形、色相のように、それぞれ異なるように表現可能な全てのものが使用される。
【０１６１】
また、３６０°映像データが、１つのシーン（ｓｃｅｎｅ）又は所定の時点で出力されるフレーム単位によって形成される。以下、図８〜図１２として、コンテンツを形成する映像データが経時的に連続的に出力される複数個のフレームを含む場合を例に挙げて示す。
【０１６２】
図８は、ストリーミングされる映像データの生成動作について説明するための一例の図である。
【０１６３】
上述のように、同一ＩＤ値を有する２つのタイルデータをまとめて圧縮することができる。
【０１６４】
図８を参照すると、左目視点に対応する複数個のフレーム８０１のそれぞれは図７で説明した左目３６０°映像７１０に対応し、右目視点に対応する複数個のフレーム８０２のそれぞれは図７で説明した右目３６０°映像７３０に対応する。また、所定のコンテンツ再生の際に、８１１フレームが先に出力され、後に続いて８１２フレーム、８１３フレーム、及び８１４フレームが連続して出力される。また、所定のコンテンツ再生の際に、８２１フレームが先に出力され、後に続いて８２２フレーム、８２３フレーム、及び８２４フレームが連続して出力される。ここで、ｔ１時点が最も先に先行し、後に続いてｔ２、ｔ３、及びｔ４時点が連続する場合、８１１フレーム及び８２１フレームはそれぞれｔ１時点で出力される映像になり、８１２フレーム及び８２２フレームはそれぞれｔ２時点で出力される映像になり、８１３フレーム及び８２３フレームはそれぞれｔ３時点で出力される映像になり、８１４フレーム及び８２４フレームはそれぞれｔ４時点で出力される映像になる。
【０１６５】
本実施形態において、経時的に出力されるフレームで、同一位置（オリジナル映像上の位置）に存在するタイルデータを順次にまとまりにしてＭＶＣ圧縮することができる。
【０１６６】
本実施形態において、同一ＩＤ値を有するタイルデータを分離して保存することができる。
【０１６７】
図８を参照すると、１５番ＩＤを有するタイルデータのＭＶＣ圧縮の際に、最も先行するｔ１時点に対応する左目フレーム８１１内における１５番ＩＤを有するタイルデータ８２１と、ｔ１時点に対応する右目フレーム８１６内における１５番ＩＤを有するタイルデータ８３１とをまとめて８５０ブロックに示すように配置させる。続けて、後続するｔ２時点に対応する左目フレーム８１２内における１５番ＩＤを有するタイルデータ８２２と、ｔ２時点に対応する右目フレーム８１７内における１５番ＩＤを有するタイルデータ８３２とをまとめて８５０ブロックに示すように配置させる。続けて、後続するｔ３時点に対応する左目フレーム８１３内における１５番ＩＤを有するタイルデータ８２３と、ｔ３時点に対応する右目フレーム８１８内における１５番ＩＤを有するタイルデータ８３３とをまとめて８５０ブロックに示すように配置させる。最後に、後続するｔ４時点に対応する左目フレーム８１４内における１５番ＩＤを有するタイルデータ８２４と、ｔ４時点に対応する右目フレーム８１９内における１５番ＩＤを有するタイルデータ８３４とをまとめて８５０ブロックに示すように配置させる。
【０１６８】
そして、映像保存装置３１０の制御部３１５は、８５０ブロックに示すように配置されたタイルデータをＭＶＣ圧縮する。ＭＶＣ圧縮遂行の際に、所定の時点に対応する２つのタイルデータ（例えば、ｔ１時点に対応する左目フレーム８１１内における１５番ＩＤを有するタイルデータ８２１、及びｔ１時点に対応する右目フレーム８１６内における１５番ＩＤを有するタイルデータ８３１）単位でＭＶＣ圧縮を行う。或いは、８５０ブロックのように配置された連続する所定の時点に対応する複数個のタイルデータを１回でＭＶＣ圧縮することもできる。例えば、４個のフレーム単位で８個のタイルデータを１回でＭＶＣ圧縮することもできる。或いは、２個のフレーム単位で４個のタイルデータを１回でＭＶＣ圧縮することもできる。
【０１６９】
また、例えば、メディア記録媒体４０５（図４）が８５０ブロックと同じ形態でＭＶＣ圧縮されたタイルデータを保存する。その場合、制御部３１５は、メディア記録媒体に保存されているタイルデータを単純に読み取って利用することができる。
【０１７０】
図９は、ストリーミングされる映像データの生成動作について説明するための他の例の図である。図９において、図８と同一の構成は同一タイル記号を利用して示した。
【０１７１】
図９を参照すると、図８で説明した１５番ＩＤを有するタイルデータ以外に、他のＩＤ値を有するタイルデータも図８で説明した方式でＭＶＣ圧縮される。
【０１７２】
図９を参照すると、複数個のフレームにおいて、１番ＩＤを有するタイルデータは、９１０ブロックのように分離される。また、２番ＩＤを有するタイルデータは、９２０ブロックのように分離される。また、１５番ＩＤを有するタイルデータは、９３０ブロックのように分離される。また、１６番ＩＤを有するタイルデータは、９４０ブロックのように分離される。
【０１７３】
そのように、同一ＩＤ値を有するタイルデータを互いに分離してＭＶＣの圧縮及び保存がなされる。９５０ブロックを参照すると、１つのフレームが１６個のタイルに分割される場合、１６個のまとまりのデータセット（９１０、９２０、…、９３０、９４０）が生成される。ここで、それぞれのデータセットは、別途のストリームに形成される。ここで、ブロック（例えば、ブロック９１０）は、同一ＩＤ値を有するフレームによって形成されるデータセットを意味する。例えば、ＩＤが１値であるデータセット９１０を１つのストリームに形成し、ＩＤが２値であるデータセット９２０を１つのストリームに形成する。
【０１７４】
また、９５０ブロックに示されるデータセットは、映像保存装置３１０に保存されており、選択的に抽出されてディスプレイ装置３５０にストリーミングされる。
【０１７５】
図１０は、映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための一例の図である。また、図１０において、図７と同一構成は同一図面記号を用いて示した。また、メディア記録媒体１００５は、図４で示したメディア記録媒体４０５に対応する。また、図１０に示した映像保存装置１０２０及びディスプレイ装置１０３０は、上述の映像保存装置（３１０又は４００）及びディスプレイ装置３５０に対応し、ヘッドマウントディスプレイの場合を例に挙げて示した。また、図１０において、映像保存装置１０２０をメディア記録媒体１００５が挿入されて動作するメディアプレイヤの場合を例に挙げて示した。
【０１７６】
また、図１０に示した映像保存装置１０２０の通信部１０２５及びディスプレイ装置１０３０の通信部１０４０のそれぞれは、映像保存装置（３１０又は４００）の通信部（３２０又は４４０）、及びディスプレイ装置３５０の通信部３７０に対応する。
【０１７７】
制御部３１５は、三次元３６０°映像で、所定の視聴領域（ＦｏＶ）に対応する少なくとも１つのタイルデータをディスプレイ装置３５０にストリーミングすることができる。
【０１７８】
図１０を参照すると、ユーザ７０５の実際の視聴領域（ＦｏＶ）に対応する第１領域（７２０、７４０）に対応するタイルはＩＤが７、８、１１、及び１２値を有するタイルであり、第１領域（７２０、７４０）に対応する映像データはＩＤが７、８、１１、及び１２値を有するタイルデータである。また、図９で説明したそれぞれ異なるタイルＩＤ値を有する複数個のデータセット９５０は、メディア記録媒体１００５に保存される。或いは、複数個のデータセット９５０は、図３Ａで説明したメモリ３２５に保存される。
【０１７９】
制御部３１５は、通信部１０２５を介して所定の視点に対応する所定の領域（例えば、第１領域）に対応する少なくとも１つのタイルデータをディスプレイ装置１０３０の通信部１０４０にストリーミングする。従って、ディスプレイ装置１０３０は、ＩＤが７、８、１１、及び１２値を有する第１領域（７２０、７４０）に対応する映像データ１０３５を受信する。
【０１８０】
上述のように、所定の視点に対応する所定の領域（例えば、全体のオリジナル領域の１／４に該当する領域）を選択的にストリーミングする場合、オリジナル映像である三次元３６０°映像（７１０、７３０）の解像度をそのまま維持しながらも、ストリーミングされるデータの量をオリジナル映像データの２５％に低めることができる。
【０１８１】
従って、本実施形態において、無線ネットワークで支援可能なデータ伝送量を超えずに解像度が高い映像をストリーミングすることができる。
【０１８２】
図１１は、映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための他の例の図である。
【０１８３】
本実施形態では、全体の三次元３６０°映像に対応する映像データを全体的にストリーミングしない。具体的に、本実施形態において、映像保存装置３１０は、複数個の視点に対応する複数個の視聴領域（ＦｏＶ）に対応するタイルデータのみを選択的にディスプレイ装置１０３０にストリーミングする。ここで、複数個の視聴領域は、上述の第１領域及び第１領域と区別される少なくとも１つの第２領域を含む。図１１において、少なくとも１つの第２領域が１つの領域である場合を例に挙げて示す。
【０１８４】
図１１において、オリジナル映像である三次元３６０°映像（７１０、７３０）内に２つの互いに異なる視聴領域（ＦｏＶ）が存在する場合を例に挙げて示す。２つの互いに異なる視聴領域は、第１領域（７２０、７４０）及び第２領域（７２５、７４５）である。
【０１８５】
上述のように、第１領域（７２０、７４０）に関する情報は、ディスプレイ装置（３５０、６００、又は１０３５）に含まれるセンシング部３６０（図３Ｂ）又はセンシング部６５０（図６）で感知された感知結果に基づいて、ディスプレイ装置１０３５が獲得する。そして、ディスプレイ装置１０３５は、映像保存装置１０２０に第１領域に関する情報を伝送する。
【０１８６】
具体的に、三次元３６０°映像に形成されるコンテンツの制作者である監督（ｄｉｒｅｃｔｏｒ）が指定した視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）が第２領域（７２５、７４５）である場合を例に挙げる。そして、以下で、映像データに対応するコンテンツが映画である場合を例に挙げて説明する。映画の場合、監督が意図したように、映画のストーリーに最も良好についていけるようにする視聴領域を第２領域に設定する。その場合、第２領域を示す情報は、第２領域に含まれる少なくとも１つのタイルのＩＤ値を含む。また、第２領域を示す情報は、コンテンツ制作当時に監督が第２領域を設定し、第２領域に関する情報をコンテンツに対応する映像データと共にメモリ（例えば、メディア記録媒体、別途の保存サーバ、又は映像保存装置内のメモリ）に保存する。或いは、第２領域に関する情報は、映像保存装置３１０がコンテンツに対応する映像データを読み取ったり獲得したりするときに外部から受信される。
【０１８７】
映像保存装置１０２０は、第１領域に関する情報及び第２領域に関する情報を獲得し、第１領域及び第２領域に対応する複数個のタイルの優先順位を設定する。
【０１８８】
ヘッドマウントディスプレイを介してコンテンツを再生する際に、三次元３６０°映像で、ユーザ７０５が実際に見ることを所望する映像を提供することが重要であるため、ユーザ７０５が実際に視聴している領域に対応する映像を優先して再生する必要がある。
【０１８９】
従って、映像保存装置１０２０は、ディスプレイ装置１０３０が第１領域を優先してディスプレイすることができるように、第１領域に対応する少なくとも１つのタイルを他のタイルよりも最優先の順位に設定し、ディスプレイ装置１０３０にストリーミングする。
【０１９０】
また、ユーザ７０５は、実際の視聴領域である第１領域を見た後、視点を変更して他の領域を見ることがある。その場合、ユーザ７０５が変更された視点に対応して見ることを所望する領域は、監督１１０５が指定した視聴領域である第２領域（７２５、７４５）になる確率が高い。例えば、監督１１０５は、映画のストーリーを最も良好に把握することができる領域を、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）に設定することができるためである。例えば、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）は、主人公が存在する領域、映画の主要空間が位置する領域、映画の内容を考慮して重要な意味がある領域などに設定される。
【０１９１】
従って、映像保存装置１０２０からディスプレイ装置１０３０にストリーミングされるタイルデータの優先順位は、ディスプレイ装置１０３０のユーザの実際の視聴領域、及び映像データに対応するコンテンツの制作者（例えば、監督）が設定した視聴領域に基づいて設定される。
【０１９２】
また、映像保存装置１０２０からディスプレイ装置１０３０にストリーミングされるタイルデータの優先順位は、映像データに対応するコンテンツを視聴した視聴者の視聴領域の履歴に基づいて設定される。例えば、映像保存装置１０２０がストリーミングサービス基盤のコンテンツ提供サーバである場合、映像保存装置１０２０は、多様な視聴者にコンテンツのストリーミングサービスを提供するはずである。このとき、映像保存装置１０２０がオリジナル映像を複数個のタイル単位に分割してタイルデータをストリーミングする場合、映像保存装置１０２０は、複数の視聴者のそれぞれに伝送したタイルデータの履歴を保存する。即ち、所定の時点で、第１ユーザにはＩＤ値が７、８、１１、及び１２であるタイルデータを伝送し、第２ユーザにはＩＤ値が９、１０、１３、及び１４であるタイルデータを伝送し、第３ユーザにはＩＤ値が９、１０、１３、及び１４であるタイルデータを伝送した場合、映像保存装置１０２０は、複数の視聴者のそれぞれに伝送したタイルのＩＤ値に関する履歴を保存し、累積された履歴で、最も伝送頻度が高い順に複数個のタイルＩＤ値を抽出する。そして、そのような累積された視聴履歴に基づいて、少なくとも１つの第２領域に対する優先順位を設定する。
【０１９３】
例えば、累積された視聴履歴により、タイルＩＤ値として９、１０、１３、及び１４値を有するタイルデータが最も多くストリーミングされ、その後の順位で、タイルＩＤ値として６、７、１０、及び１１値を有するタイルデータがその次に多くストリーミングされる場合がある。その場合、タイルＩＤ値として９、１０、１３、及び１４値を有する領域である第２−１領域が先順位として設定され、タイルＩＤ値として６、７、１０、及び１１値を有する領域である第２−２領域が後順位として設定される。
【０１９４】
他の例として、優先順位は、映像データに対応するコンテンツに関する自動コンテンツ認識（ＡＣＲ）結果に基づいて設定される。自動コンテンツ認識の結果、画面上で、主な客体が存在する領域順、複数個の部分領域の優先順位が決定される。例えば、１つの画面上で、映画の主人公が位置する領域が第２−１領域であり、映画の補助出演者が位置する領域が第２−２領域である場合、映像保存装置１０２０又はコンテンツ制作者は、第２−１領域及び第２−２領域を自動的に認識し、第２−１領域及び第２−２領域の順に優先順位を付与する。
【０１９５】
また、優先順位は、映像データに対応するコンテンツの登場人物の位置及びコンテンツの内容のうちの少なくとも一つに基づいて設定される。
【０１９６】
上述のような、映像保存装置１０２０は、設定された優先順位により、複数個の領域に対応する複数個のタイルデータをディスプレイ装置にストリーミングする。
【０１９７】
図１１で説明したように、複数の部分領域（例えば、第１領域及び第２領域）に対応するタイルデータを選択的にディスプレイ装置１０３０にストリーミングする場合、ディスプレイ装置１０３０のユーザが現在の視聴領域を変更して他の領域を見る際に、ディスプレイ装置１０３０のユーザが新たに見ることになる領域に対応するデータを新たに要請する必要なしに、即座にディスプレイ装置１０３０のユーザが新たに見ることになる領域に関するディスプレイを提供することができる。従って、ディスプレイ装置１０３０のユーザの意図に更に符合するように、視聴領域に対応する映像を弾力的に再生することができる。
【０１９８】
また、図１１において、第１領域と第２領域とが互いに重複しない場合を例に挙げて示したが、第１領域と第２領域との一部で重畳することもある。例えば、第１領域に対応するタイルＩＤ値として７、８、１１、及び１２値を有し、第２領域に対応するタイルＩＤ値として６、７、１０、及び１１値を有するものとする。上述のような第１領域に対応するタイルの優先順位が第２領域に対応するタイルの優先順位よりも高いことから、その場合、映像保存装置１０２０は、第１領域に対応するタイルＩＤ値として７、８、１１、及び１２値を有するタイルデータをディスプレイ装置１０３０にストリーミングし、後に続き、タイルＩＤ値として６、７、１０、及び１１値を有するタイルデータをディスプレイ装置１０３０にストリーミングする。但し、タイルＩＤ値として６、７、１０、及び１１値を有するタイルデータをディスプレイ装置１０３０にストリーミングする場合、タイルＩＤ値として７及び１１値を有するタイルデータは既に第１領域に対応するタイルデータを送付する際に送付された状態であるため、送付されていないタイルデータであるタイルＩＤ値として６及び１０値を有するタイルデータのみを送付すればよい。
【０１９９】
また、ディスプレイ装置１０３０は、映像保存装置１０２０から送付される優先順位に基づいてストリーミングされるタイルデータを受信して保存することができる。具体的に、ディスプレイ装置１０３０は、高い優先順位を有するタイルデータを優先して受信して保存する。そして、後順位の優先順位を有するタイルデータを後に続けて受信して保存する。
【０２００】
また、優先順位に関する情報は、タイルデータを形成するストリーム及び別途のストリームを介してディスプレイ装置１０３０に伝送される。例えば、映像保存装置１０２０は、優先順位に関する情報を含むストリームを先ずディスプレイ装置１０３０に伝送し、後に続いて、タイルデータに対応する少なくとも１つのストリームをディスプレイ装置１０３０に伝送する。例えば、優先順位に関する情報は、タイルデータ及び別途のストリームに含まれるメタデータ（ｍｅｔａｄａｔａ）内に含まれる。
【０２０１】
また、優先順位に関する情報は、タイルデータが含まれるストリームの一部分に含まれる形態によって伝送される。例えば、優先順位に関する情報は、ストリームに含まれるヘッダ（ｈｅａｄｅｒ）領域に挿入される。他の例として、タイルデータがＧＯＰ（ｇｒｏｕｐ  ｏｆ  ｐｉｃｔｕｒｅ）で形成されるストリームによって伝送される場合、優先順位に関する情報は、各ＧＯＰのヘッダ領域に挿入される。
【０２０２】
図１２は、映像保存装置からディスプレイ装置に映像データをストリーミングする動作について説明するための更に他の例の図である。
【０２０３】
図１２において、映像保存装置１０２０及びディスプレイ装置１２１０は、それぞれ図３Ａ示した映像保存装置３１０、及び図３Ｂに示した映像保存装置３５０、或いは図４に示した映像保存装置４００に同一対応する。従って、図１２に示した映像保存装置１０２０及びディスプレイ装置１２１０の動作についての説明で、図３Ａ及び図３Ｂ〜図１１と重複する説明は省略する。また、図１２の１２６０ブロックに示したタイルデータは、図１０の１０１ブロックに示したタイルデータと同一対応する。以下の図１２に示した動作についての説明で、図３Ｂのディスプレイ装置に示した詳細構成、及び図４に示した詳細構成を参照する。
【０２０４】
また、図１２のディスプレイ装置１２１０の内部に示した構成は、ディスプレイ装置１２１０の物理的な構成を示すものではなく、ディスプレイ装置１２１０で遂行される動作について説明するための構成である。また、ブロック１２５０に示した構成は、映像保存装置１０２０の物理的な構成を示すものではなく、映像保存装置１０２０で遂行される動作について説明するための構成である。
【０２０５】
図１２を参照すると、センシング部３６０は、少なくとも１つのセンサの感知結果を示す信号１２２０を獲得することができる。具体的に、信号１２２０は、ジャイロセンサの感知結果を示す信号１２２１、加速度センサの感知結果を示す信号１２２２、地磁界センサの感知結果を示す信号１２２３、及び温度センサの感知結果を示す信号１２２４のうちの少なくとも一つを含む。それら以外にも、信号１２２０は、ユーザの視点、又はユーザの実際の視聴領域を決定することができる少なくとも１つの信号を更に含む。
【０２０６】
そして、ディスプレイ装置３５０の制御部３５５は、獲得された信号１２２０に基づいて、ユーザの視聴姿勢又は視聴姿勢変化を追跡する（１２３１）。追跡した（１２３１）結果、ユーザの実際の視聴領域（ｕｓｅｒ’ｓ  ＦｏＶ）１２８１が決定される。続けて、制御部３５５は、ユーザの実際の視聴領域１２８１に対応するタイルＩＤを生成する（１２３３）。ここで、ユーザの実際の視聴領域１２８１に対応するタイルＩＤは、上述の「第１領域に関する情報」である。図１１に示した例において、ユーザの実際の視聴領域１２８１に基づいて生成されたタイルＩＤは、「タイルＩＤ：７、８、１１、１２」である。ディスプレイ装置１２１０は、通信部３２０の通信制御（１２４０）を介して、第１領域に関する情報である「タイルＩＤ：７、８、１１、１２」１２８６情報を映像保存装置１０２０に送付する。それにより、映像保存装置１０２０は、受信された情報である「タイルＩＤ：７、８、１１、１２」１２８６情報に基づいて、「タイルＩＤ：７、８、１１、１２」に対応するタイルデータ１２７０をディスプレイ装置１２１０に伝送する（１２８４）。
【０２０７】
一方、映像保存装置１０２０に保存された映像データは、１２６０ブロックのように、複数個のタイルＩＤのそれぞれに対応する複数個のデータセットが含まれる。映像保存装置１０２０は、第１領域と異なる少なくとも１つの第２領域である監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）に関する情報を獲得する。図１２を参照すると、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）に関する情報が「第２領域に関する情報」になる。また、図１２の１２６０ブロックを参照すると、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）を示すタイルＩＤは、「タイルＩＤ：１０、１１、１４、１５」になる。映像保存装置１０２０は、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）を示す情報１２８３をディスプレイ装置１２１０に伝送する。そして、監督視聴領域（ｄｉｒｅｃｔｏｒ’ｓ  ＦｏＶ）（第２領域）に対応するタイルデータ１２６１をディスプレイ装置１２１０に伝送する（１２８５）。
【０２０８】
ディスプレイ装置１２１０は、第２領域である監督視聴領域に関する情報に対応する「タイルＩＤ：１０、１１、１４、１５」情報１２８７をビデオ保存装置１０２０に伝送する。そして、ビデオ保存装置１０２０は、「タイルＩＤ：１０、１１、１４、１５」情報１２８７に基づいて、タイルデータ１２６１をディスプレイ装置１２１０に伝送する（１２８４）。
【０２０９】
ディスプレイ装置１２１０は、第１領域に対応するタイルデータ１２７０及び第２領域に対応するタイルデータ１２６１を受信し、優先順位により、第１領域に対応するタイルデータ１２７０を優先して受信して保存し、後に続いて、第２領域に対応するタイルデータ１２６１を受信して保存する。
【０２１０】
図１３は、本発明の一実施形態による、三次元３６０°映像データの伝送方法を示すフローチャートである。本実施形態による三次元３６０°映像データの伝送方法は、図１〜図１２を参照して説明した本発明の実施形態によるディスプレイ装置及び映像保存装置のうちの少なくとも一つで遂行される動作に対応する少なくとも１つの段階を含む。また、本実施形態による三次元３６０°映像データの伝送方法は、図１〜図１２を参照して説明した本発明の実施形態によるディスプレイ装置及び映像保存装置のうちの少なくとも一つに含まれる構成上の特徴を含む。
【０２１１】
従って、図１３に示した三次元３６０°映像データの伝送方法１３００についての説明で、図１〜図１２と重複する説明は省略する。以下、データの伝送方法で、ストリーミング方法（又は、ストリーミング方式）が利用される場合を例に挙げて説明する。
【０２１２】
図１３を参照すると、三次元３６０°映像データの伝送方法１３００は、三次元３６０°映像を複数個のタイル単位に分割し、タイル単位の映像データを映像保存装置からディスプレイ装置にストリーミングする方法である。
【０２１３】
図１３を参照すると、三次元３６０°映像データの伝送方法１３００は、三次元３６０°映像で、ディスプレイ装置のユーザ視点による実際の視聴領域である第１視聴領域に対応する第１領域に関する情報を獲得する（Ｓ１３１０段階）。Ｓ１３１０段階は、ディスプレイ装置３５０で遂行される。
【０２１４】
三次元３６０°映像で、第１領域と異なる少なくとも１つの所定の視点による第２視聴領域に対応する少なくとも１つの第２領域に関する情報を獲得する（Ｓ１３２０段階）。Ｓ１３２０段階は、映像保存装置３１０で遂行される。
【０２１５】
続けて、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに優先順位を設定する（Ｓ１３３０段階）。Ｓ１３３０段階は、映像保存装置３１０で遂行されるか、或いはディスプレイ装置３５０が自主的にディスプレイ装置３５０のユーザの実際の視聴領域に対応する第１領域を最優先順位に設定するか、又は監督視聴領域（ＦｏＶ）である第２領域を後順位に設定することもできる。
【０２１６】
優先順位に対応する順で、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに対応する複数個のタイルデータを映像保存装置からディスプレイ装置にストリーミングする（Ｓ１３４０段階）。Ｓ１３４０段階は、映像保存装置３１０で遂行される。
【０２１７】
また、ディスプレイ装置３５０は、優先順位に対応する順序に従って、第１領域及び少なくとも１つの第２領域に対応する複数個のタイルに対応する複数個のタイルデータを分離し、受信して保存することができる。具体的に、ディスプレイ装置３５０は、伝送されるタイルデータにおいて、最優先の順位を有するタイルデータを優先して受信して保存し、後に続けて、後順位を有するタイルデータを受信して保存する。
【０２１８】
上述のように、本発明は、コンテンツに対応する映像データを、無線ネットワークを介してストリーミングする際に、データの伝送量を増加させずに高画質の映像をディスプレイ装置に再生させることができる。また、ディスプレイ装置のユーザが所望する視聴領域を迅速且つ正確に再生するように、オリジナル映像データのうちの一部のみを迅速にストリーミングすることができる。
【０２１９】
上述のように、本発明は、高い解像度を有する三次元３６０°映像を伝送することができる。即ち、本発明は、コンテンツに対応する映像データを、無線ネットワークを介して伝送する際に、データの伝送量を増加させずに高画質の映像データを伝送することができる。
【０２２０】
また、本発明は、ユーザの所望する時点に対応して高画質を有する三次元３６０°映像の所定の領域をディスプレイすることができる。具体的に、ディスプレイ装置のユーザ所望の視聴領域を迅速且つ正確に再生することができるようにオリジナル映像データのうちの一部のみを迅速に伝送する。
【０２２１】
上述の実施形態は、コンピュータによって実行されるプログラムモジュールのような、コンピュータによって実行可能な命令語を含む記録媒体の形態に具現される。コンピュータ読み取り可能な記録媒体は、コンピュータによってアクセスされる任意の可用媒体であり、揮発性及び不揮発性の媒体、分離型及び非分離型の媒体をいずれも含む。また、コンピュータ読み取り可能な記録媒体は、コンピュータ記録媒体及び通信媒体をいずれも含む。コンピュータ記録媒体は、コンピュータで読み取り可能な命令語、データ構造、プログラムモジュール、又はその他のデータのような情報の保存のための任意の方法又は技術によって具現される揮発性及び不揮発性、分離型及び非分離型の媒体をいずれも含む。通信媒体は、典型的に、コンピュータで読み取り可能な命令語、データ構造、プログラムモジュール、又は搬送波のような変調されたデータ信号のその他のデータ、又はその他の伝送メカニズムを含み、任意の情報伝達媒体を含む。また、一部実施形態は、コンピュータによって実行されるコンピュータプログラムのようなコンピュータによって実行可能な命令語を含むコンピュータプログラム又はコンピュータプログラム製品（ｃｏｍｐｕｔｅｒ  ｐｒｏｇｒａｍ  ｐｒｏｄｕｃｔ）によって具現される。
【０２２２】
本明細書で説明した特定の実行は一実施形態のみであり、いかなる方法によっても本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、及びシステムの他の機能的な側面の記載は、省略した。
【０２２３】
以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
【産業上の利用可能性】
【０２２４】
本発明の、三次元３６０°映像データの伝送方法、それによるディスプレイ装置、及びそれによる映像保存装置は、例えば、仮想現実関連の技術分野に効果的に適用可能である。
【符号の説明】
【０２２５】
１１０    （３６０°）映像
１２０    ユーザ
１３０    ヘッドマウントディスプレイ（ＨＭＤ）
１４０    領域
２１０、４００、１０２０    映像保存装置
２５０、３５０、４７０、６００、１０３０、１２１０    ディスプレイ装置
３１０    映像保存装置
３１５、３５５、４５０、６２０    制御部
３２０、３７０、４４０、６４０、１０２５、１０４０    通信部
３２５、３６５、６７０    メモリ
３６０、６５０    センシング部
３７５、６１０    出力部
３７７、６１１    ディスプレイ
３７９、６１２    音響出力部
４０５、１００５    メディア記録媒体
４１０    リーダ
４２０    デマルチプレクサ
４３０    パケット処理器
４３１    ビデオパケット処理器
４３２    オーディオパケット処理器
５１０、５５０    ３６０°映像
５１１、５５１    部分映像
６１３    振動モータ
６３０    ユーザ入力部
６４１    近距離通信部
６４２    移動通信部
６４３    放送受信部
６５１    地磁気センサ
６５２    加速度センサ
６５３    傾きセンサ
６５４    深さセンサ
６５５    ジャイロスコープセンサ
６５６    位置センサ
６５７    気圧センサ
６５８    近接センサ
６５９    光センサ
６６０    ＡＶ入力部
６６１    カメラ
６６２    マイクロフォン
６７１    ＵＩモジュール
６７２    お知らせモジュール
６７３    アプリケーションモジュール
６７４    映像処理モジュール
７０５    ユーザ
７１０    左目３６０°映像
７１１、７３１    タイル
７２０、７４０    第１領域
７２５、７４５    第２領域
７３０    右目３６０°映像
８０１、８１１〜８１４    左目フレーム
８０２、８１６〜８１９    右目フレーム
８２１〜８２４、８３１〜８３４、１２６１〜１２６５、１２７０    タイルデータ
８５０、９１０〜９５０、１２５０、１２６０    ブロック
１０３５    映像データ
１１０５    映画監督
１２２０    信号
１２２１    ジャイロセンサ信号
１２２２    加速度センサ信号
１２２３    地磁気センサ信号
１２２４    温度センサ信号
１２３１    視聴姿勢変化追跡
１２３２    監督視聴領域データ解釈
１２３３    視聴領域基盤タイルＩＤ生成
１２４０    通信制御
１２８１    ユーザ視聴領域を示す情報
１２８３    監督視聴領域を示す情報
１２８４、１２８５    タイルストリーム
１２８６、１２８７    タイルＩＤ
【図１】
2019213196.tif 000003
【図２】
2019213196.tif 000004
【図３Ａ】
2019213196.tif 000005
【図３Ｂ】
2019213196.tif 000006
【図４】
2019213196.tif 000007
【図５Ａ】
2019213196.tif 000008
【図５Ｂ】
2019213196.tif 000009
【図６】
2019213196.tif 000010
【図７】
2019213196.tif 000011
【図８】
2019213196.tif 000012
【図９】
2019213196.tif 000013
【図１０】
2019213196.tif 000014
【図１１】
2019213196.tif 000015
【図１２】
2019213196.tif 000016
【図１３】
2019213196.tif 000017