(57)【要約】  本技術は、マージン有り領域とマージン無し領域を容易に取得することができるようにする生成装置、識別情報生成方法、再生装置および画像生成方法に関する。識別情報生成部が、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を生成する。マージンを利用するクライアントが、容易にマージンを含む領域を取得でき、マージンを利用しないクライアントが、容易にマージンを含まない領域を取得することができる。本技術は、全天球画像をサーバから送信し、クライアント側で受信し、再生する場合に適用することができる。
2018123646.tif 000002
【特許請求の範囲】
【請求項１】
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成部を備える
生成装置。
【請求項２】
前記全天球画像の領域のマージンを生成するマージン生成部をさらに備える
請求項１に記載の生成装置。
【請求項３】
前記マージンは、前記領域の外側に形成される
請求項２に記載の生成装置。
【請求項４】
前記マージンを有する領域の領域情報は、球座標系または２次元座標系で表される
請求項３に記載の生成装置。
【請求項５】
前記領域情報は、projected frameまたはpacked frameの情報として表される
請求項４に記載の生成装置。
【請求項６】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述される
請求項５に記載の生成装置。
【請求項７】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記領域がregion-wise packingされている場合に記述される
請求項６に記載の生成装置。
【請求項８】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含む
請求項７に記載の生成装置。
【請求項９】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含む
請求項８に記載の生成装置。
【請求項１０】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameがregion-wise packingされている場合に記述される
請求項９に記載の生成装置。
【請求項１１】
前記割り当て識別情報は、省略される
請求項８に記載の生成装置。
【請求項１２】
前記projected frameの前記マージンを有する領域の前記領域情報は、省略され、前記packed frameの前記マージンを有する領域の前記領域情報のみが記述される
請求項９に記載の生成装置。
【請求項１３】
前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがある
請求項８に記載の生成装置。
【請求項１４】
前記識別情報生成部は、前記タイプを識別するタイプ識別情報をさらに生成する
請求項１３に記載の生成装置。
【請求項１５】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記タイプ識別情報が、前記非形成部を有しないタイプである場合に記述される
請求項１４に記載の生成装置。
【請求項１６】
前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形を矩形に成形して、前記三角形に対応する前記矩形の辺に前記マージンを配置する
請求項５に記載の生成装置。
【請求項１７】
前記マージン識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
請求項３に記載の生成装置。
【請求項１８】
前記マージン識別情報は、MPEG-DASHのMPDファイルに記述される
請求項３に記載の生成装置。
【請求項１９】
生成装置が、
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成ステップを含む
識別情報生成方法。
【請求項２０】
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成部と、
前記projected frameをレンダリングするレンダリング部と
を備える再生装置。
【請求項２１】
再生装置が、
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得ステップと、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成ステップと、
前記projected frameをレンダリングするレンダリングステップと
を含む画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、生成装置、識別情報生成方法、再生装置および画像生成方法に関し、特にマージン有り領域とマージン無し領域を容易に取得することができるようにした生成装置、識別情報生成方法、再生装置および画像生成方法に関する。
【背景技術】
【０００２】
マルチカメラにより撮影された撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。【０００３】
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピング方法などが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピング方法である場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。【０００４】
一方、動画コンテンツのストリーミング方式として、MPEG-DASH（Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP）がある。MPEG−DASHでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバからクライアントに送信され、クライアントは、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１４１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで全天球画像においては、次のような課題がある。
（１）プロジェクテッドフレーム（projected frame）上で非連続かつプロジェクションストラクチャ (projection structure)上で隣接する面を接続する際に画質が悪化する。
（２）キューブプロジェクションマッピングなど、多面プロジェクションストラクチャ（projection structure）使用時の面境界においてテクスチャ画素を補完すると画質が悪化する。
（３）全天球画像の全体が低解像度であり、視線の中心付近の特定領域のみが高解像度画像であるような場合、低解像度レイヤ画像に高解像度レイヤ画像を重畳すると、境界の画質が悪化する。
そこで全天球画像の領域周囲にマージンを設けることで画質の悪化を抑制することが期待されている。【０００７】
マージンを配信するための方法として、マージン無し領域からマージンとして延長される画素数を配信したり、マージン有り領域の内のマージンの割合を配信することが知られている。しかしながら、この場合、クライアントがマージン有りと無しの領域を認識する上で、配信方法に応じてリージョン（region）算出処理を行わなければならなかった。その結果、クライアントは容易にマージン有り領域とマージン無し領域を取得することが困難であった。【０００８】
本技術はこのような状況に鑑みてなされたものであり、マージン有り領域とマージン無し領域を容易に取得することができるようにするものである。
【課題を解決するための手段】
【０００９】
本技術の一側面は、全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成部を備える生成装置である。【００１０】
生成装置には、前記全天球画像の領域のマージンを生成するマージン生成部をさらに設けることができる。【００１１】
前記マージンは、前記領域の外側に形成されることができる。【００１２】
前記マージンを有する領域の領域情報は、球座標系または２次元座標系で表されることができる。【００１３】
前記領域情報は、projected frameまたはpacked frameの情報として表されることができる。【００１４】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述されることができる。【００１５】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記領域がregion-wise packingされている場合に記述されることができる。【００１６】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含むことができる。【００１７】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含むことができる。【００１８】
前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameがregion-wise packingされている場合に記述されることができる。【００１９】
前記割り当て識別情報は、省略されることができる。【００２０】
前記projected frameの前記マージンを有する領域の前記領域情報は、省略され、前記packed frameの前記マージンを有する領域の前記領域情報のみが記述されることができる。【００２１】
前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがあることができる。【００２２】
前記識別情報生成部は、前記タイプを識別するタイプ識別情報をさらに生成することができる。【００２３】
前記projected frameの前記マージンを有する領域の前記領域情報は、前記タイプ識別情報が、前記非形成部を有しないタイプである場合に記述されることができる。【００２４】
前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形を矩形に成形して、前記三角形に対応する前記矩形の辺に前記マージンを配置することができる。【００２５】
前記マージン識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述されることができる。【００２６】
前記マージン識別情報は、MPEG-DASHのMPDファイルに記述されることができる。【００２７】
本技術の一側面は、生成装置が、全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成ステップを含む識別情報生成方法である。【００２８】
本技術の一側面は、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、取得された前記マージン識別情報に基づいてprojected frameを生成する生成部と、前記projected frameをレンダリングするレンダリング部とを備える再生装置である。【００２９】
本技術の一側面は、再生装置が、全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得ステップと、取得された前記マージン識別情報に基づいてprojected frameを生成する生成ステップと、前記projected frameをレンダリングするレンダリングステップとを含む画像生成方法である。【００３０】
本技術の一側面においては、識別情報生成部が、天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する。
【発明の効果】
【００３１】
以上のように、本技術の一側面によれば、マージン有り領域とマージン無し領域を容易に取得することができる。なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００３２】
【図１】プロジェクテッドフレームとパックドフレームを説明する図である。
【図２】マージンの例を示す図である。
【図３】マージンの例を示す図である。
【図４】マージンのパターンを示す図である。
【図５】マージンのパターンを示す図である。
【図６】リージョンマッピングボックスの構成例を示す図である。
【図７】リージョンマッピングボックスのフィールドを説明する図である。
【図８】リージョンマッピングボックスのフィールドを説明する図である。
【図９】キューブマッチングプロジェクションのマージンを説明する図である。
【図１０】キューブマッチングプロジェクション時のフィールドを説明する図である。
【図１１】正距円筒プロジェクションのマージンを説明する図である。
【図１２】正距円筒プロジェクション時のフィールドを説明する図である。
【図１３】リージョンマッピングボックスの構成例を示す図である。
【図１４】リージョンマッピングボックスの構成例を示す図である。
【図１５】リージョンマッピングボックスの構成例を示す図である。
【図１６】リージョンマッピングボックスの構成例を示す図である。
【図１７】リージョンマッピングボックスのフィールドを説明する図である。
【図１８】キューブマッチングプロジェクションのマージンを説明する図である。
【図１９】キューブマッチングプロジェクション時のフィールドを説明する図である。
【図２０】マージン配置の例を示す図である。
【図２１】マージン配置の例を示す図である。
【図２２】マージン配置の例を示す図である。
【図２３】DASHを適用したMPDファイルの例を示す図である。
【図２４】配信システムの構成例を示すブロック図である。
【図２５】生成装置の構成例を示すブロック図である。
【図２６】ISOBMFF生成処理を説明するフローチャートである。
【図２７】再生装置の構成例を示すブロック図である。
【図２８】ISOBMFF再生処理を説明するフローチャートである。
【図２９】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３３】
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
１．実施の形態
（１）プロジェクションの原理（図１）
（２）マージン（図２乃至図２３）
（３）配信システム（図２４）
（４）生成装置（図２５、図２６）
（５）再生装置（図２７、図２８）
２．コンピュータ（図２９）
３．その他
【００３４】
＜実施の形態＞
＜プロジェクションの原理（図１）＞
本技術においては、全天球画像が例えばサーバからクライアントにビデオストリームとして配信され、クライアント側で受信、再生、視聴される。そこで最初に全天球画像の生成、配信のため処理の原理について説明する。
【００３５】
本技術においては、全天球画像のプロジェクテッドフレーム（projected frame）とパックドフレーム（packed frame）が生成される。図１は、プロジェクテッドフレームとパックドフレームを説明する図である。図１に示されるように、カメラ１によりオムニディレクショナル画像（全天球画像）が撮影される。この全天球画像は上下左右360度の方向の画像である。なお、以下においては、単語をカタカナで表記すると、却って理解し難いと思われる場合には、英語で記述する。
【００３６】
全天球画像はプロジェクションストラクチャ（projection structure）に投影（projection）されてprojected frameが得られる。そしてprojected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）することでpacked frameが得られる。このように、領域ごとに位置とサイズの少なくとも一方を変更してパッキングすることをリージョンワイズパッキング（region-wise packing）という。packed frameでは、各領域が全体で矩形になるように配置される。packed frameを用いることで、高画質であることが望まれる領域の解像度を拡大し、低画質でよい領域の解像度を低下させることで、伝送容量を最適化することができる。
【００３７】
図１の例においては、projection structureとして球１１と立方体１２が示されている。全天球画像を球１１に正距円筒図法による投影（equirectangular projection）を行い、それを２次元で表現することでprojected frame１３が得られる。この例では、projected frame１３は、中央の領域Ａ、その上に位置する領域Ｂ、およびその下に位置する領域Ｃにより構成されている。
【００３８】
そしてprojected frame１３をregion-wise packingすることでpacked frame１５が得られる。この例では、領域Ａの解像度はそのままとされ、その上の左側に領域Ｂが配置され、右側に領域Ｃが配置されている。領域Ｂと領域Ｃは解像度が縮小されている。以下これらを単に領域または領域画像ともいう。
【００３９】
全天球画像を立方体１２に投影し（cube mapping projectionを行い）、それを２次元で表現することでprojected frame１４が得られる。立方体１２の正面（front face）、右側面（right face）、背面（back face）、左側面（left face）、上面（top face）、および底面（bottom face）の６個の面（領域）の画像が、４×３個の合計１２個の領域で構成されるprojected frame１４に配置されている。中央の４つの領域に、左側から順番に、それぞれ左側面（left）、正面（front）、右側面（right）、背面（back）の領域画像が配置され、正面（front）の上の領域に上面（top）の領域画像が配置され、下の領域に底面（bottom）の領域画像が配置されている。
【００４０】
projected frame１４をregion-wise packingすることでpacked frame１６が得られる。この例では、正面（front）の領域画像の解像度が拡大され、それ以外の領域画像の解像度はそのままとされている。正面（front）の領域画像の上の左側には側面（left）の領域画像が、その右側には上面（top）の領域画像が配置され、正面（front）の領域画像の右側には、上から順番に、右側面（right）、背面（back）、および底面（bottom）の領域画像が配置されている。
【００４１】
＜マージン（図２乃至図２３）＞
次にマージンについて説明する。図２と図３は、マージンの例を示す図である。
【００４２】
図２は、cube mapping projectionにおけるマージンの例を示している。図２のＡにおいて、中央の行に左から順番に、それぞれ左側面（left）の領域画像４１、正面（front）の領域画像４２、右側面（right）の領域画像４３および背面（back）の領域画像４４が配置されている。また、正面（front）の領域画像４２の上に上面（top）の領域画像４５が配置され、下に底面（bottom）の領域画像４６が配置されている。
【００４３】
図２のＡの例においては、各面の領域の外側に全周のマージンが形成される。例えば左側面においては、マージンを含む領域画像４１は内側の領域４１ａとその外周のマージン４１ｂから形成され、正面においては、マージンを含む領域画像４２は内側の領域４２ａとその外周のマージン４２ｂから形成されている。右側面においては、マージンを含む領域画像４３は内側の領域４３ａとその外周のマージン４３ｂから形成され、背面においては、マージンを含む領域画像４４は内側の領域４４ａとその外周のマージン４４ｂから形成されている。上面においては、マージンを含む領域画像４５は内側の領域４５ａとその外周のマージン４５ｂから形成され、底面においては、マージンを含む領域画像４６は内側の領域４６ａとその外周のマージン４６ｂから形成されている。
【００４４】
この例は、多面projection structure使用時に、面境界においてテクスチャ画素を補完する際の画質の悪化を抑制するために用いられる。
【００４５】
図２のＢの例においては、各面の領域の外側にマージンが形成される。例えば中央の行に左から順番に、それぞれ左側面（left）の領域画像６１、正面（front）の領域画像６２、右側面（right）の領域画像６３および背面（back）の領域画像６４が配置されている。また、正面（front）の領域画像６２の上に上面（top）の領域画像６５が配置され、下に底面（bottom）の領域画像６６が配置されている。
【００４６】
これらの領域画像のうち、領域画像６１の上側と下側にマージン６１ｂが形成されており、領域画像６３の上側と下側にマージン６３ｂが形成されている。領域画像６４においては、その上側と下側だけでなく、右側にもマージン６４ｂが形成されている。この例の場合、各マージン６１ｂ，６３ｂ，６４ｂは各領域画像６１，６３，６４の外部に形成されているため、マージンの内側の領域６１ａ，６３ａ，６４ａは、領域画像そのものとなる。
【００４７】
この例は、projected frame上で非連続かつprojection structureでは隣接する面を接続する際に生じる画質の悪化を抑制するために用いられる。マージンは、projected frameからprojection structureを構成する際、接続先の領域と重畳される部分である。
【００４８】
図３は、低解像度レイヤ画像(正距円筒プロジェクション)に対して高解像度レイヤ画像(cube mapping projection)を重畳する場合に、境界の画質の悪化を抑制する例である。例えば、低解像度である全天球画像全体に対し、視線の中心付近の特定領域のみ高解像度画像を重ね合わせる場合の例である。低解像度レイヤ画像７１に対して高解像度レイヤ画像８１が重畳されている。高解像度レイヤ画像８１は、内側の領域８１aと、それを囲むように形成されたマージン８１ｂから構成されている。
【００４９】
例えば、高解像度レイヤ画像の内側の領域８１ａと低解像度レイヤ画像７１はそのままレンダリングされる。高解像度レイヤ画像８１のマージン８１ｂと、それが重なる低解像度レイヤ画像７１の領域は、ブレンディング処理(ディゾルブなど)が行われて表示される。
【００５０】
図４は、マージンのパターンを示す図である。図４のマージンは、タイプ１のマージンとされる。図４のＡにおいては、領域画像１０１（内側の領域１０１ａ）の４辺に沿って外側にマージン１０１ｂが形成されている。図４のＢにおいては、領域画像１１１の上辺と左右の辺に沿って外側にマージン１１１ｂが形成され、内側が領域１１１ａ（領域１１１）となっている。図４のＣにおいては、領域画像１２１の上辺と右辺に沿って外側にマージン１２１ｂが形成され、内側が領域１２１ａ（領域１２１）となっている。
【００５１】
図４のＤにおいては、領域画像１３１の左辺と右辺に沿って外側にマージン１３１ｂが形成され、内側が領域１３１ａ（領域１３１）となっている。図４のＥにおいては、領域画像１４１の右辺に沿って外側にマージン１４１ｂが形成され、内側が領域１４１ａ（領域１４１）となっている。このパターン１においては、後述するパターン２のような非形成部が設けられていない。
【００５２】
図５は、マージンのパターンを示す図である。図５のマージンは、タイプ２のマージンとされる。図５のＡにおいては、領域画像１６１の４辺に沿って外側にマージン１６１ｂが形成され、内側が領域１６１ａ（領域１６１）となっている。マージン１６１ｂにおいては、その４つの隅に、マージン１６１ｂを形成していない部分（削除した部分）である非形成部１６１ｃが形成されている。
【００５３】
図５のＢにおいては、領域画像１７１の上辺と左右の辺に沿ってマージン１７１ｂが形成され、内側が領域１７１ａ（領域１７１）となっている。マージン１７１ｂの２つの隅には、マージン１７１ｂを形成していない部分（削除した部分）である非形成部１７１ｃが形成されている。
【００５４】
図５のＣにおいては、領域画像１８１の上辺と右辺に沿って外側にマージン１８１ｂが形成され、内側が領域１８１ａ（領域１８１）となっている。マージン１８１ｂの１つの隅に、マージン１８１ｂを形成していない部分（削除した部分）である非形成部１８１ｃが形成されている。
【００５５】
このように、タイプ２のマージンは、隣接する辺の隅に非形成部を有する（隅を有しない）。これに対してタイプ１のマージンは、非形成部を有しない（隅を有する）。タイプ１のマージンについては、マージン有り領域を幅と高さの情報で配信する。タイプ２のマージンについては、マージンタイプ１と同様に幅と高さの情報により配信されるが、マージン有り領域のうち、マージンの隅（非形成部）は、マージンを削除した領域として処理される。
【００５６】
本技術においては、projected frameとpacked frameの概念を用い、図４と図５の各種マージン配置を、RegionMappingBoxを用いて配信する。いずれも、マージン無しとマージン有りの各領域を、位置とサイズで示すものであり、クライアントは容易にいずれの領域も取得することができる。また、全天球画像がマージンを有する領域を持つか否かは、margin_flagで配信される。
【００５７】
RegionMappingBoxは、例えばISOBMFFで規定されるScheme Information Box (‘schi’)の下に、SchemeType=’rmap’のときに配置されるが、それ以外の場所に配置することもできる。以下、RegionMappingBoxの例を示す。
【００５８】
図６は、リージョンマッピングボックスの構成例を示す図であり、図７と図８は、リージョンマッピングボックスのフィールドを説明する図である。
【００５９】
図６は、projection structureにおける領域情報（projected frameの領域情報）を球座標系で示す場合のRegionMappingBoxの構成を表している。projection structureにおけるマージン無し領域と有り領域の中心は、center_yaw, center_pitchで共通に示される。region_margin_typeにより、領域ごとにマージンの有無とマージンのタイプを切り替えることができる。
【００６０】
図６の例においては、RegionMappingBoxにprojection_format,packing_flag,FOV_flag,margin_flag,num_regionsが記述されている。projection_formatは、プロジェクション方式を表し、その値０は、正距円筒プロジェクションを意味し、その値１は、cube mapping projectionを意味している。packing_flagは、region-wise packingを用いるか否かを表しており、その値０は、region-wise packingを用いないことを意味し、その値１は、region-wise packingを用いることを意味する。
【００６１】
FOV_flagは、object_width,object_heightの角度情報の基準を示し、その値０は、球面上を意味し、その値１は、透視投影面上を意味する。図９を参照して後述するが、object_widthは、projection structureにおける領域の幅（角度）を表し、object_heightは、projection structureにおける領域の高さ（角度）を表している。
【００６２】
margin_fkagは、全天球画像がマージンのある領域を含むか否かを表し、その値０は、マージンなしの領域のみを意味し、その値１は、マージン有りの領域があることを意味する。num_regionsは、packed frameの領域数を表す。
【００６３】
RegionMappingBoxにはさらに、center_yaw,center_pitch,object_width,object_heightが記述される。これらはprojected frameの領域の球座標系での領域情報である。center_yawは、projection structureにおける領域中心のyawを表し、マージン有りの領域と無しの領域に共通である。center_pitchは、projection structureにおける領域中心のpitchを表し、マージン有りの領域と無しの領域に共通である。
【００６４】
packing_flagの値が真である（値１である）場合、rect_width,rect_height,rect_left,rect_topが記述される。これらはpacked frameの領域の２次元座標系での領域情報である。rect_widthは、packed frameにおけるマージン無し領域の幅を表し、rect_heightは、packed frameにおけるるマージン無し領域の高さを表す。rect_leftとrect_topは、それぞれpacked frameにおけるるマージン無し領域のｘ座標とｙ座標を表す。これらも図９を参照して後にさらに説明する。
【００６５】
margin_flagの値が真である（値１である）場合、region_margin_typeが記述される。region_margin_typeは、領域のマージンのタイプを表す。その値０は、マージン無しの領域を意味し、値１は、マージン有りの領域（マージンの隅有り）を意味し、値２は、マージン有りの領域（マージンの隅無し）を意味する。
【００６６】
さらにif(region_margin_type＝!0)、すなわちregion_margin_typeが０ではない場合（値１または値２である場合）、つまり領域がマージン有りの領域である場合、object_with_margin_width,object_with_margin_height,width_margin_assignment,height_margin_assingmentが記述される。これらはprojected frameのマージンの球座標系での領域情報である。
【００６７】
object_with_margin_widthは、projection structureにおけるマージンを含む領域の幅（角度）を表す。これはマージンが均等に割り当てられた場合の値である。object_with_margin_heightは、projection structureにおけるマージンを含む領域の高さ（角度）を表す。これもマージンが均等に割り当てられた場合の値である。
【００６８】
width_margin_assignmentは、領域の幅方向のマージンの割り当てを表す。その値０は、両側への均等の割り当て、またはマージン無しを意味し、値１は、右側のマージンのみで、左側のマージンは削除したことを意味し、値２は、左側のマージンのみで、右側のマージンは削除したことを意味する。height_margin_assingmentは、領域の高さ方向のマージンの割り当てを表す。値０は、両側への均等の割り当て、またはマージン無しを意味し、値１は、上側のマージンのみで、下側のマージンは削除したことを意味する。値２は、下側のマージンのみで、上側のマージンは削除したことを意味する。
【００６９】
さらにpacking_flagが真である場合、すなわち、packing_flag＝１である（region-wise_packingが用いられている）場合、rect_with_margin_width, rect_with_margin_height,rect_with_margin_left, rect_with_margin_topが記述される。これらはpacked frameのマージンの２次元座標系での領域情報である。rect_with_margin_widthは、packed frameにおけるマージンを含む領域の幅を表し、rect_with_margin_heightは、packed frameにおけるマージンを含む領域の高さを表す。rect_with_margin_leftと rect_with_margin_topは、それぞれpacked frameにおけるマージンを含む領域の左上の角のｘ座標とｙ座標を表す。
【００７０】
以上、RegionMappingBoxの各フィールドについては、図７と図８にまとめて記載されている。
【００７１】
次に図９と図１０を参照して、RegionMappingBoxを用いた、cube mapping projectionのマージンの配信について説明する。図９は、キューブマッチングプロジェクションのマージンを説明する図であり、図１０は、キューブマッチングプロジェクション時のフィールドを説明する図である。
【００７２】
図９のＡに示されるように、projection structureである立方体１２のleft面、back面、right面およびfront面の辺から、その外側の辺２１１，２１２，２１３，２１４で示される範囲までがマージンとされる。同様に、top面とbottom面の外側の辺２１５，２１６で示される範囲までがマージンとされる。
【００７３】
図９のＢは、そのうちのright面２２１について示されている。projection structureである立方体１２の中心Ｏを原点として、xyz座標（front面に垂直な方向の軸がｘ軸、right面に垂直な方向の軸がｙ軸、top面に垂直な方向の軸がｚ軸）を想定する。中心Ｏとright面２２１の中心Ｃを結ぶ線が線２３０であり、線２３０をｘｙ座標面に投影した線（図９のＢの場合、線２３０と同じとなる）とｘ軸とのなす角度がcenter_yaw（図９のＢの場合、−９０度）である。線２３０のｘｙ平面に対する角度がcenter_pitch（図９のＢの場合、０度）である。
【００７４】
中心Ｏからright面２２１の左の辺２２３に対する垂線２３６と、右の辺２２２に対する垂線２３１のなす角度がobject_widthであり、上の辺２２４に対する垂線２３３と、下の辺２２５に対する垂線２３４のなす角度がobject_heightである。
【００７５】
マージンについても同様に、中心Ｏからマージン２１３の左の辺２４２に垂らした垂線２３６と、右の辺２４１に垂らした垂線２３５のなす角度がobject_with_margin_widthであり、上の辺２４３に垂らした垂線２３７と、下の辺２４４に垂らした垂線２３８のなす角度がobject_with_margin_heightである。
【００７６】
図９のＣは、packed frame２５１を示している。この構成例においては、上段に左から順番にleft,front,rightの各面の領域画像が配置され、下段には、左から順番に、top,bottom,backの各面の領域画像が配置されている。全体として３×２個の領域画像によりpacked frame２５１が構成されている。各領域画像のサイズは、４００×４００画素とされ、４辺の外側に４０画素のマージンが形成されている。従って、マージンを含む領域画像のサイズは、４８０×４８０画素となっている。
【００７７】
従って、マージンを含むright面のrect_with_margin_leftは９６０、rect_with_margin_topは０となり、rect_with_margin_widthとrect_with_margin_heightは、いずれも４８０となる。画像領域のrect_leftは１０００、rect_topは４０となり、rect_widthとrect_heightはいずれも４００となる。
【００７８】
図９に示されるように、球座標系で表されるcube mapping projectionによるRegionMappingBoxの各フィールドの具体的な値は図１０に示されている。projection_formatは１（cube mapping projection）、packing_flagは１（region-wise packingを用いる）、margin_flagは１(マージン有りの領域を含む)、num_regions（packed frameの領域数）は６、FOV_flagは１（透視投影面上）とされている。right面のcenter_yaw,center_pitch,object_width,object_heightは、それぞれ−９０，０，９０，９０とされている。
【００７９】
right面のrect_width.rect_height,rect_left,rect_topは,それぞれ４００，４００，１０００，４０となっている。region_margin_typeは１(マージン有りの領域（マージンの隅無し）)、マージンを含むright面のobject_with_margin_width,object_with_margin_heightは、それぞれ１００，１００となっている。width_margin_assignment,height_margin_assignmentは、それぞれ０（両側に近東割り当て（もしくはマージン無し））とされている。マージンを含むright面のrect_with_margin_width,rect_with_margin_height,rect_with_margin_left,rect_with_margin_topは、それぞれ４８０，４８０，９６０，０となっている。
【００８０】
図１０に各フィールドの値がまとめて記載されている。projection_formatは１、packing_flagは１、margin_flagは、num_regionsは６、FOV_flagは１となっている。right面のcenter_yaw,center_pitch,object_width,object_heightはそれぞれ−９０，０，９０，９０とされている。また、right面のrect_width,rect_height,rect_left,rect_topは、それぞれ４００，４００，１０００，４０となっている。
【００８１】
region_margin_typeは１、right面のマージンを含む領域のobject_with_margin_width,object_with_margin_heightは、それぞれ１００，１００とされている。width_margin_assignment,height_margin_assignmentはいずれも０とされている。right面のマージンを含む領域のrect_with_margin_width,rect_with_margin_height,rect_with_margin＿left.rect_with_margin_topは、それぞれ４８０，４８０，９６０，０とされている。
【００８２】
このように、各領域(キューブ面)のマージンは、タイプ1であるため、region_margin_type=1が配信される。また、各マージンを含む領域の幅、高さ方向ともに均等配置であるため、width_margin_assignment, height_margin_assignmentがともに０として配信される。
【００８３】
次に図１１と図１２を参照して、RegionMappingBoxを用いた、正距円筒プロジェクションのマージンを配信する例につて説明する。図１１は、正距円筒プロジェクションのマージンを説明する図であり、図１２は、正距円筒プロジェクション時のフィールドを説明する図である。
【００８４】
この例では、便宜上、領域情報はprojected frameを用いて示している。図１１のＡには、projection structureとしての球１１が示されており、そのプロジェクションにより得られるprojected frame３０１が図１１のＢに示されている。画像領域（内側の領域）３０２の右側にマージン３０３が形成されているが、便宜上、マージン３０３は領域画像３０２の左右に均等に形成されているものとされる。object_with_margin_widthは３８０、object_with_margin_heightは１８０とされている。object_widthは３６０、object_heightは１８０とされている。width_margin_assignmentは１（右側のマージンのみ。左側のマージンは削除）とされる。
【００８５】
図１１のＣは、packed frame３１１を表している。画像領域（内側の領域）３１２の右側には、マージン３１３が形成されている。rect_widthは１９２０、rect_heightは１４４０である。rect_with_margin_widthは２０００、rect_with_margin_heightは１４４０である。rect_left,rect_topとrect_with_margin_left,rect_with_margin_topは、いずれも０，０である。
【００８６】
図１２に各フィールドの値がまとめて記載されている。projection_formatは０（正距円筒プロジェクション）、packing_flagは１、margin_flagは１(マージン有りの領域を含む)、num_regionsは６、FOV_flagは０（球面上）となっている。center_yaw,center_pitch,object_width,object_heightはそれぞれ０，０，３６０，１８０とされている。また、rect_width,rect_height,rect_left,rect_topは、それぞれ１９２０，１４４０，０，０となっている。
【００８７】
region_margin_typeは１(マージン有りの領域（マージンの隅無し）)、object_with_margin_width,object_with_margin_heightは、それぞれ３８０，１８０とされている。width_margin_assignmentは１（右側のマージンのみ。左側のマージンは削除）、height_margin_assignmentは０（両側に均等割り当て（もしくはマージン無し））とされている。right面のマージンを含む領域のrect_with_margin_width,rect_with_margin_height,rect_with_margin＿left.rect_with_margin_topは、それぞれ２０００，１４４０，０，０とされている。
【００８８】
このように、マージンを含む領域の幅は、projection structureにおけるobject_with_margin_widthとして、マージンが均等に割り当てられた場合の値が配信される。領域のマージンはタイプ1であるため、region_margin_type=1が配信される。また、領域のマージンは、幅方向では右側のみ存在し、高さ方向には無しであるため、width_margin_assignment=1, height_margin_assignment=0が配信される。
【００８９】
次に、図１３を参照して、図６のRegionMappingBoxの変形例について説明する。図１３は、リージョンマッピングボックスの構成例を示す図である。
【００９０】
図１３の例においては、図６の例において記述されている、projection structureにおけるマージン有り領域情報のマージン割り当て情報(width_margin_assignment, height_margin_assignment)が省略されている。省略されたフィールド以外のフィールドのセマンティクスは、図６における場合と同様である。つまり図１３の例においては、projection structureにおけるマージン有り領域情報は、全周均等なマージンを有するとみなして配信される。この場合、対象領域に適用された最大のマージン幅が均等なマージン幅として設定される。もしくは、上下、左右方向それぞれで均等となるマージン幅として設定されてもよい。領域のマージン割り当ては、packed frameにおける領域情報(rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top)により配信される。
【００９１】
なお、図４と図５の例以外で、例えばマージンが領域全周に存在し、かつ領域左右、上下方向に不均一な割り当てとなる場合も、RegionMappingBoxによって配信することができる。
【００９２】
図１４の例も、図６のRegionMappingBoxの変形例である。図１４は、リージョンマッピングボックスの構成例を示す図である。図１４の例は、projection structureにおいてマージン有り領域情報を配信しない例である。つまり、図６の例におけるobject_width_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assignmentが省略されている。省略されたフィールド以外のフィールドのセマンティクスは、図６における場合と同様である。
【００９３】
さらに図１５を参照して、図６のRegionMappingBoxの変形例について説明する。図１５は、リージョンマッピングボックスの構成例を示す図である。この例においては、region_margin_type=1、つまりマージンの隅が有る場合（if(region_margin_type=1)）、projection structure（object_width_margin_width, object_with_margin_height, width_margin_assignment, height_margin_assignment）とpacked frame(rect_with_margin_width, rect_with_margin_height, rect_with_margin_left, rect_with_margin_top)の両者でマージン有り領域が配信される。それ以外の場合はpacked frameのみでマージン有り領域が配信される。その他の各フィールドのセマンティクスは、図６における場合と同様である。
【００９４】
次に、projected frameにおける領域情報を２次元座標系で表す例について、図１６と図１７を参照して説明する。図１６は、リージョンマッピングボックスの構成例を示す図であり、図１７は、リージョンマッピングボックスのフィールドを説明する図である。
【００９５】
図１６の例においては、projected frameとpacked frameにおけるマージン無し、マージン有り領域の情報が、各領域の左上の画素位置および領域サイズによって２次元座標系で示される。すなわち、図６におけるcenter_yaw,center_pitch,object_width,object_heightに代えて、pf_region_width.pf_region_height,pf_region_left,pf_region_topが記述される。また、object_with_margin_width,object_with_margin_height,width_margin_assignment,height_margin_assignmentに代えて、pf_region_with_margin_width, pf_region_with_margin_height, pf_region_with_margin_left, pf_region_with_margin_topが記述される。
【００９６】
図１７には、図１６のフィールドがまとめて記載されている。図７と図８に記載されていないフィールドについて以下に説明する。pf_region_widthとpf_region_heightは、それぞれprojected frameにおけるマージン無し領域（マージンを含まない領域）の幅と高さを表し、pf_region_left, pf_region_topは、それぞれprojected frameにおけるマージン無し領域のｘ座標とｙ座標を表す。
【００９７】
pf_region_with_margin_width, pf_region_with_margin_heightは、それぞれ、projected frameにおけるマージンを含む領域の幅と高さを表す。pf_region_with_margin_left, pf_region_with_margin_topは、projected frameにおけるマージンを含む領域のｘ座標とｙ座標を表す。
【００９８】
次に、RegionMappingBoxを用いて、cube mapping projectionのマージンを配信する例について、図１８と図１９を参照して説明する。図１８は、キューブマッチングプロジェクションのマージンを説明する図であり、図１９は、キューブマッチングプロジェクション時のフィールドを説明する図である。
【００９９】
図１８のＡには、projected frame４０１が示されている。中央の行に、左から順番にleft,front,right,backの各面の領域画像が配置され、frontの上にtop面の領域画像が配置され、front面の下にbottom面の領域画像が配置されている。top面の上辺を図中左に延長した線と、left面の左辺を図中上に延長した線との交点が、ｘｙ座標の原点とされている。
【０１００】
各面の領域画像は、４００×４００個の画素で構成されている。left面、right面およびback面の上側と下側には、それぞれ４０画素の幅でマージンが形成されている。また、back面の右側にも、４０画素の幅でマージンが形成されている。このマージンはタイプ２のマージンとなっている。従って、back面に着目した場合、pf_region_left,pf_region_topは、それぞれ１２００，４００となる。pf_region_width,pf_region_heightは、いずれも４００となる。
【０１０１】
マージンについては、pf_region_margin_left, pf_region_margin_topが１２００，３６０となる。また、pf_region_with_margin_width, pf_region_with_margin_heightは、４４０，４８０となる。
【０１０２】
図１８のＢにおいては、図１８のＡのprojected frame４０１から生成されたpacked frame４１１が示されている。正面（front）の領域画像の解像度はそのまま（４００×４００）とされ、それ以外の領域画像の解像度は横と縦がそれぞれ１／２（２００×２００）に縮小されている。マージンの幅も１／２（２０画素）に縮小されているので、左側面（left）、右側面（right）、背面(back)の上側と下側には、それぞれ２０画素の幅でマージンが配置されている。また、back面の右側にも、２０画素の幅でマージンが配置されている。このマージンはタイプ２のマージンとなっている。
【０１０３】
正面（front）の領域画像の上の左側には、マージンを有する左側面（left）の領域画像が、その右側にはマージンを有する右側面（right）の領域画像が、それぞれ配置されている。正面（front）の領域画像の右側には、上から順番に、上面（top）および底面（bottom）の領域画像が配置されている。上面（top）の領域画像の上（右側面（right）の領域画像の右側）には、マージンを有する背面（back）面の領域画像が配置されている。
【０１０４】
図１９に、図１８に示したcube mapping projectionによるprojected frame４０１とpacked frame４１１の情報が記述されている。projection_formatは１（cube mapping projection）、packing_flagは１(region-wise packing)、margin_flagは１(マージン有りの領域がある)、num_regionsは６となっている。back面のpf_region_width, pf_region_height, pf_region_left, pf_region_topはそれぞれ４００，４００，１２００，４００となっている。また、back面のrect_width,rect_height,rect_left,rect_topは、それぞれ２００，２００，４００，２０となっている。
【０１０５】
region_margin_typeは２（マージン有りの領域（マージンの隅無し））、back面のpf_region_with_margin_width, pf_region_with_margin_height, pf_region_with_margin_left, pf_region_with_margin_topは、それぞれ４００，４８０，１２００，３６０となっている。back面のrect_with_margin_width,rect_with_margin_height,rect_with_margin_left.rect_with_margin_topは、それぞれ２２０，２４０，４００，０となっている。
【０１０６】
このように、packed frameにおいて、front面の解像度はそのままに、その他の面の解像度が水平、垂直方向に半分となっている。back面のマージンは、隅が無いタイプ２であるため、region_margin_type=2が配信される。各領域のマージン配置は、projected frame、packed frameともに、領域のwidth, height, top, leftで明示的に表現される。
【０１０７】
クロマサブサンプリングが4:2:2や4:2:0の場合、色差信号間引きを考慮し、マージン幅を２の倍数の画素数とすることで、エンコード処理、領域切り出し処理を容易にすることができる。
【０１０８】
また、マージン幅を８、もしくは１６の倍数の画素数とすることで、エンコード時のブロックサイズとの親和性を高めることができ、エンコード処理、領域切り出し処理が容易になる。
【０１０９】
本技術は、cube mapping projectionや正距円筒プロジェクションのみでなく、その他のプロジェクション方式(例えばTruncated Square Pyramid、シリンダ等)にも適用可能である。
【０１１０】
以上においては、矩形領域のマージンについてのみ例を示したが、その他の形状(例えば三角形や台形、円など)についても同様の方法が適用可能である。図２０乃至図２２を参照して、三角形領域のマージンについて説明する。
【０１１１】
図２０至図２２は、それぞれマージン配置の例を示す図である。図２０のＡにおいては、領域画像４３１が三角形の形状をしており、内部の領域４３１ａの図中右側の辺の外側にマージン４３１ｂが形成されている。この場合、図２０のＢに示されるように、領域４３１ａに対応する三角形の領域４４１ａの２辺に他の三角形の領域４４２ａと領域４４３ａを組み合わせ、全体が矩形となるように成形することで領域画像４４１を形成する。
【０１１２】
この領域画像４４１は、三角形の領域画像４３１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４４１の右側の一辺に、マージン４４１ｂが配置される。この矩形の領域画像４４１が三角形の領域画像４３１に替えて配信される。
【０１１３】
図２１のＡにおいては、領域画像４５１が三角形の形状をしており、内部の領域４５１ａの底辺の外側にマージン４５１ｂが形成されている。この場合、図２１のＢに示されるように、領域４５１ａに対応する三角形の領域４６１ａの２辺に他の三角形の領域４６２ａと領域４６３ａを組み合わせ、全体が矩形となる領域画像４６１を形成する。
【０１１４】
この領域画像４６１は、三角形の領域画像４５１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４６１の底辺に、マージン４６１ｂが配置される。この矩形の領域画像４６１が三角形の領域画像４５１に替えて配信される。
【０１１５】
図２２のＡにおいては、領域画像４７１が三角形の形状をしており、内部の領域４７１ａの右辺と底辺の外側にマージン４７１ｂが形成されている。この場合、図２２のＢに示されるように、領域４７１ａに対応する三角形の領域４８１ａの２辺に他の三角形の領域４８２ａと領域４８３ａを組み合わせ、全体が矩形となる領域画像４８１を形成する。
【０１１６】
この領域画像４８１は、三角形の領域画像４７１の底辺と同じ長さの辺と、高さと同じ長さの辺を有する矩形の領域となる。そしてこの矩形の領域画像４８１の右辺と底辺に、マージン４８１ｂが配置される。この矩形の領域画像４８１が三角形の領域画像４７１に替えて配信される。
【０１１７】
以上においては、ISBMFFの例について説明したが、MPEG-DASH (ISO/IEC 23009-1)を用いて配信することも可能である。次に、図２３を参照して、DASHへの適用例について説明する。図２３は、DASHを適用したMPDファイルの例を示す図である。
【０１１８】
図２３のMPDファイルにおいては、ピリオド要素に対応する時間範囲の画像ストリームのセグメントファイルが、それぞれ、１つのグループにグルーピングされ、ピリオド要素が、２つのアダプテーションセット要素（AdaptationSet）を含んでいる。
【０１１９】
各AdaptationSetにおいて、schemeIdUri=”urn:mpeg:dash:vr:ProjectionType”のEssentialPropertyのvalue=”cube”によって、全天球画像がキューブプロジェクションマッピングによるものであることが示されている。また、schemeIdUri=”urn:mpeg:dash:vr:margin”のSupplementalPropertyによって、全天球画像の領域にマージンを含むか否か（valueが０か１か）を配信している。このSupplementalPropertyにおけるvalueは、既に説明したmargin_flagと同じセマンティクスを有する。
【０１２０】
DASHクライアントは、例えば自身が全天球画像の領域のマージンを利用した処理を行う場合には、マージン有りのAdaptationSet, Representationを選択、取得し、再生を行うことができる。そして、再生処理にマージンが不要の場合には、マージン無しのAdaptationSet, Reresentationを選択、取得し、再生することができる。
【０１２１】
なお、EssentialPropertyのschemeIdUriに対応していないDASHクライアントは、このPropertyが記述されているAdaptationSet（もしくはRepresentationなどの場合もあり）を無視する必要がある。また、SupplementalPropertyのschemeIdUriに対応していないDASHクライアントは、このProperty値を無視して、そのAdaptationSet(Representationなどの場合もあり)を利用するようにしてもよい。
【０１２２】
勿論、MPDファイルにはさらにその他の情報を記述することができる。
【０１２３】
＜配信システム（図２４）＞
次に、以上に説明したマージンを有する領域画像を含む全天球画像を配信するシステムについて、図２４を参照して説明する。図２４は、配信システムの構成例を示すブロック図である。
【０１２４】
図２４の配信システム６１０は、撮影装置６１１、生成装置６１２、配信サーバ６１３、再生装置６１４、およびヘッドマウントディスプレイ６１５により構成される。配信システム６１０は、撮影装置６１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
【０１２５】
具体的には、配信システム６１０の撮影装置６１１は、６個のカメラ６１１Ａ−１乃至６１１Ａ−６およびマイクロフォン６１１Ｂにより構成される。なお、以下では、カメラ６１１Ａ−１乃至６１１Ａ−６を特に区別する必要がない場合、それらをまとめてカメラ６１１Ａという。
【０１２６】
各カメラ６１１Ａは動画像を撮影し、マイクロフォン６１１Ｂは周囲の音声を取得する。配信システム６１０は、各カメラ６１１Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン６１１Ｂにより取得された音声を、動画コンテンツとして生成装置６１２に供給する。なお、撮影装置６１１が備えるカメラの数は、複数であれば、６個以外であってもよい。
【０１２７】
生成装置６１２は、正距円筒図法を用いた方法により、撮影装置６１１から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置６１２は、キューブマッピングにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置６１２は、撮影装置６１１から供給される音声を符号化し、オーディオストリームを生成する。
【０１２８】
生成装置６１２は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、ISOBMFFファイル化する。生成装置６１２は、その結果生成されたISOBMFFファイルを配信サーバ６１３にアップロードする。
【０１２９】
なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
【０１３０】
また、生成装置６１２は、動画コンテンツのセグメントファイルを管理するMPDファイルを生成し、配信サーバ６１３にアップロードする。セグメントとは、ビデオストリーム、オーディオストリームを数秒から１０秒程度の時間単位でファイル化したものである。例えば、RegionMappingBoxを含むISOBMFFがセグメントファイルとして配信される。
【０１３１】
例えばMEPG-DASH (ISO/IEC 23009-1)を用いた配信を行う配信サーバ６１３は、生成装置６１２からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ６１３は、クライアントとしての再生装置６１４からの要求に応じて、格納しているセグメントファイルを再生装置６１４に送信する。
【０１３２】
再生装置６１４は、配信サーバ６１３にISOBMFF ファイルを要求し、その要求に応じて送信されてくるISOBMFFファイルを受け取る。また、再生装置６１４は、ISOBMFFファイルに基づいて、再生装置６１４で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置６１４は、受け取ったセグメントファイルに含まれるキューブストリーム(または正距円筒ストリームであってもよい)を復号する。再生装置６１４は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
【０１３３】
また、再生装置６１４は、カメラ６１４Ａを内蔵し、ヘッドマウントディスプレイ６１５に付されたマーカ６１５Ａを撮影する。そして、再生装置６１４は、マーカ６１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置６１４は、ヘッドマウントディスプレイ６１５のジャイロセンサ６１５Ｂの検出結果を、ヘッドマウントディスプレイ６１５から受け取る。再生装置６１４は、ジャイロセンサ６１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置６１４は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
【０１３４】
再生装置６１４は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置６１４は、表示画像をヘッドマウントディスプレイ６１５に供給する。
【０１３５】
ヘッドマウントディスプレイ６１５は、視聴者の頭部に装着され、再生装置６１４から供給される表示画像を表示する。ヘッドマウントディスプレイ６１５には、カメラ６１４Ａにより撮影されるマーカ６１５Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ６１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ６１５には、ジャイロセンサ６１５Ｂが内蔵され、そのジャイロセンサ６１５Ｂによる角速度の検出結果は再生装置６１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ６１５を装着した頭部を回転させることにより、視線方向を指定することができる。
【０１３６】
＜生成装置（図２５、図２６）＞
図２５は、生成装置の構成例を示すブロック図である。生成装置６１２は、スティッチング処理部６３１、マッピング処理部６３２、region-wise packing（region-wise packing）処理部６３３、エンコーダ６３４、音声処理部６３５、エンコーダ６３６、ファイル生成部６３７、およびアップロード部６３８により構成される。
【０１３７】
スティッチング処理部６３１は、フレームごとに、図２４のカメラ６１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部６３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部６３２に供給する。
【０１３８】
マッピング処理部６３２は、この例ではキューブマッピングにより、スティッチング処理部６３１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部６３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部６３２は、全天球画像をregion-wise packing処理部６３３に供給する。なお、スティッチング処理部６３１とマッピング処理部６３２は、一体化されていてもよい。
【０１３９】
region-wise packing処理部６３３はregion-wise packing処理を行う。すなわち、projected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）し、packed frameを生成する。region-wise packing処理部６３３はまた、margin_flag, region_margin_typeを含むRegionMappingBoxを生成する。
【０１４０】
エンコーダ６３４は、region-wise packing処理部６３３から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ６３４は、各ビットレートのキューブストリームをファイル生成部６３７に供給する。
【０１４１】
音声処理部６３５は、図２４のマイクロフォン６１１Ｂから供給される音声を取得し、エンコーダ６３６に供給する。エンコーダ６３６は、音声処理部６３５から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ６３６は、オーディオストリームをファイル生成部６３７に供給する。
【０１４２】
ファイル生成部６３７は、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。ファイル生成部６３７は、その結果生成されたセグメントファイルをアップロード部６３８に供給する。ファイル生成部６３７はまた、ISOBMFFファイルを生成し、アップロード部６３８に供給する。
【０１４３】
アップロード部６３８は、ファイル生成部６３７から供給されるセグメントファイルとISOBMFFファイルとを、図２４の配信サーバ６１３にアップロードする。
【０１４４】
次に、図２６を参照してISOBMFF生成処理について説明する。図２６は、ISOBMFF生成処理を説明するフローチャートである。主に、画像を処理する場合を例として説明する。
【０１４５】
ステップＳ１においてスティッチング処理部６３１は、フレームごとに、図２４のカメラ６１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部６３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部６３２に供給する。
【０１４６】
マッピング処理部６３２は、例えばキューブマッピングにより、スティッチング処理部６３１から供給される撮影画像から全天球画像を生成する。すなわち、マッピング処理部６３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。またこのとき、マッピング処理部６３２は全天球画像の領域のマージンを生成する。マッピング処理部６３２は、全天球画像をregion-wise packing処理部６３３に供給する。
【０１４７】
ステップＳ２においてregion-wise packing処理部６３３は、全天球画像がマージンを有する領域を含むかを判定する。全天球画像がマージンを有する領域を含む場合、ステップＳ３においてregion-wise packing処理部６３３は、margin_flag=1（マージン有りの領域がある）とし、各領域のマージンのタイプに応じてregion_margin_typeを設定する。すなわち上述したように、マージン無しの領域には値０が、隅が有るマージンを有する領域には値１、隅が無いマージンを有する領域には値２が、それぞれ設定される。そしてregion-wise packing処理部６３３はこれらを含むRegionMappingBoxを生成する。
【０１４８】
一方、ステップＳ２において全天球画像がマージンを有する領域を含んでいないと判定された場合、ステップＳ４においてregion-wise packing処理部６３３は、margin_flag=０（マージン無しの領域のみ）とし、それを含むRegionMappingBoxを生成する。
【０１４９】
ステップＳ３およびステップＳ４の処理が行われた後、ステップＳ５においてエンコーダ６３４は、全天球画像をエンコードする。音声処理部６３５により処理された音声データはエンコーダ６３６によりエンコードされ、ファイル作成部６３７に供給される。
【０１５０】
ステップＳ６においてファイル作成部６３７は、ISOBMFFファイルを生成する。ファイル作成部６３７により作成されたファイルは、アップロード部６３８から配信サーバ６１３にアップロードされる。
【０１５１】
＜再生装置（図２７、図２８）＞
次に、画像を処理する場合を例として、再生装置６１４の構成例について説明する。図２７は、再生装置の構成例を示すブロック図である。再生装置６１４は、ファイル取得部７０１、ストリーム抽出部７０２、デコーダ７０３、projected frame生成部７０４，マッピング処理部７０５、描画部７０６、受け取り部７０７、視線検出部７０８、およびカメラ６１４Ａを有している。
【０１５２】
ファイル取得部７０１は、図２４の配信サーバ６１３から再生対象のファイルを取得する。ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。デコーダ７０３は、ストリーム抽出部７０２により抽出されたビデオストリームをデコードする。projected frame生成部７０４は、デコーダ７０３によりデコードされた画像データからprojected frameを生成する。
【０１５３】
マッピング処理部７０５は、projected frame生成部７０４から供給される全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。
【０１５４】
描画部７０６は、マッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
【０１５５】
受け取り部７０７は、図２４のジャイロセンサ６１５Ｂの検出結果を、ヘッドマウントディスプレイ６１５から受け取り、視線検出部７０８に供給する。
【０１５６】
視線検出部７０８は、受け取り部７０７から供給されるジャイロセンサ６１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部７０８は、カメラ６１４Ａからマーカ６１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部７０８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部７０８は、視聴者の視野範囲と視聴位置を描画部７０６に供給する。
【０１５７】
次に、図２８を参照して、再生装置６１４の動作について説明する。図２８は、ISOBMFF再生処理を説明するフローチャートである。主に、キューブプロジェクションの場合および領域画像を処理する場合を例として説明する。
【０１５８】
ステップＳ２１においてファイル取得部７０１は、図２４の配信サーバ６１３から再生対象のファイルを取得する。さらにファイル取得部７０１は、margin_flagは何であるかを判定する。margin_flagが値１である場合（全天球画像がマージン有りの領域を含む場合）、ステップＳ２２においてファイル取得部７０１は、再生クライアントが領域のマージンを使用するかを判定する。すなわち再生装置６１４は、自身がマージンを使用する機能を有しているかを判定する。
【０１５９】
自身がマージンを使用する場合、ステップＳ２３において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
【０１６０】
ステップＳ２４においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして、マージン有り領域を取得し、projected frameを生成する。ステップＳ２５において、全天球画像を、そのマージンを例えばブレンディング等の処理をしてレンダリングする処理が実行される。すなわちマッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６はマッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
【０１６１】
ステップＳ２２において再生クライアントが領域のマージンを使用しない、すなわち再生装置６１４自身がマージンを使用する機能を有していないと判定された場合、処理はステップＳ２６に進む。ステップＳ２６において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
【０１６２】
ステップＳ２７においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして、マージン無し領域を取得する。ステップＳ２８において、全天球画像をレンダリングする処理が実行される。すなわち、マッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６はマッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
【０１６３】
ステップＳ２１においてmargin_flagが値０であると判定された場合（マージン無しの領域のみである場合）、ステップＳ２９において、ストリーム抽出部７０２は、ファイル取得部７０１により取得されたファイルから、ビデオストリームを抽出する。そしてデコーダ７０３は、抽出されたストリームをデコードし、projected frame生成部７０４に供給する。
【０１６４】
ステップＳ３０においてprojected frame生成部７０４は、RegionMappingBoxの情報を基にして領域画像を取得する。
【０１６５】
ステップＳ３１において全天球画像をレンダリングする処理が実行される。すなわち、マッピング処理部７０５は、全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。描画部７０６は、マッピング処理部７０５から供給される３Ｄモデル画像を、視線検出部７０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部７０６は、表示画像をヘッドマウントディスプレイ６１５に供給する。
【０１６６】
このように、再生処理において、margin_flagによって再生クライアントは全天球画像がマージンを有する領域を持っているか否かを判断することができる。全天球画像がマージンを有する領域を持っている場合、例えば再生クライアントが、マージンを有する領域を用いてレンダリングするか、マージンが無い領域を用いてレンダリングするかに応じて、適切な領域情報を得てレンダリング処理を行うことができる。
【０１６７】
なお、ISOBMFFが複数のビデオトラックから構成され、マージンが無い領域のみを含む全天球画像のトラックと、マージンを有する領域を含む全天球画像のトラックが混在している場合がある。このような場合、マージンを利用しないクライアントは、マージン無しの領域のみを有する全天球画像のトラックを、マージンを利用するクライアントは、マージン有りの領域を含む全天球画像のトラックを、それぞれ選択し、再生することができる。
【０１６８】
以上においては、主に画像の処理について説明したが、音声情報も画像情報とともに配信される。
【０１６９】
本技術によれば、マージンを利用するクライアントが、容易にマージンを含む領域を取得でき、マージンを利用しないクライアントが、容易にマージンを含まない領域を取得することができる。
【０１７０】
さらに、全天球画像がマージンを有する領域を持っているか否かをフラグとして配信することで、マージンを利用しないクライアントは、マージン無しの全天球画像を容易に選択することができる。また、マージンを利用するクライアントは、マージン有りの全天球画像を、容易に選択することができる。
【０１７１】
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
【０１７２】
＜コンピュータ（図２９）＞
図３８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１７３】
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。
【０１７４】
バス９０４には、さらに、入出力インタフェース９０５が接続されている。入出力インタフェース９０５には、入力部９０６、出力部９０７、記憶部９０８、通信部９０９、及びドライブ９１０が接続されている。
【０１７５】
入力部９０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部９０７は、ディスプレイ、スピーカなどよりなる。記憶部９０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部９０９は、ネットワークインタフェースなどよりなる。ドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９１１を駆動する。
【０１７６】
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記憶部９０８に記憶されているプログラムを、入出力インタフェース９０５及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
【０１７７】
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１７８】
コンピュータ９００では、プログラムは、リムーバブルメディア９１１をドライブ９１０に装着することにより、入出力インタフェース９０５を介して、記憶部９０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部９０９で受信し、記憶部９０８にインストールすることができる。その他、プログラムは、ROM９０２や記憶部９０８に、あらかじめインストールしておくことができる。
【０１７９】
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１８０】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１８１】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０１８２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１８３】
＜その他＞
なお、本技術は、以下のような構成もとることができる。
（１）
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成部を備える
生成装置。
（２）
前記全天球画像の領域のマージンを生成するマージン生成部をさらに備える
前記（１）に記載の生成装置。
（３）
前記マージンは、前記領域の外側に形成される
前記（１）または（２）に記載の生成装置。
（４）
前記マージンを有する領域の領域情報は、球座標系または２次元座標系で表される
前記（２）または（３）に記載の生成装置。
（５）
前記領域情報は、projected frameまたはpacked frameの情報として表される
前記（２）乃至（４）のいずれかに記載の生成装置。
（６）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述される
前記（５）に記載の生成装置。
（７）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記領域がregion-wise packingされている場合に記述される
前記（５）または（６）に記載の生成装置。
（８）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含む
前記（５）乃至（７）のいずれかに記載の生成装置。
（９）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記projected frameの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含む
前記（５）乃至（８）のいずれかに記載の生成装置。
（１０）
前記packed frameの前記マージンを有する領域の前記領域情報は、前記packed frameがregion-wise packingされている場合に記述される
前記（５）乃至（９）のいずれかに記載の生成装置。
（１１）
前記割り当て識別情報は、省略される
前記（８）に記載の生成装置。
（１２）
前記projected frameの前記マージンを有する領域の前記領域情報は、省略され、前記packed frameの前記マージンを有する領域の前記領域情報のみが記述される
前記（５）乃至（１１）のいずれかに記載の生成装置。
（１３）
前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがある
前記（１）乃至（１２）のいずれかに記載の生成装置。
（１４）
前記識別情報生成部は、前記タイプを識別するタイプ識別情報をさらに生成する
前記（１３）に記載の生成装置。
（１５）
前記projected frameの前記マージンを有する領域の前記領域情報は、前記タイプ識別情報が、前記非形成部を有しないタイプである場合に記述される
前記（１４）に記載の生成装置。
（１６）
前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形を矩形に成形して、前記三角形に対応する前記矩形の辺に前記マージンを配置する
前記（１）乃至（１５）のいずれかに記載の生成装置。
（１７）
前記マージン識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
前記（１）乃至（１６）のいずれかに記載の生成装置。
（１８）
前記マージン識別情報は、MPEG-DASHのMPDファイルに記述される
前記（１）乃至（１７）のいずれかに記載の生成装置。
（１９）
生成装置が、
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成ステップを含む
識別情報生成方法。
（２０）
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成部と、
前記projected frameをレンダリングするレンダリング部と
を備える再生装置。
（２１）
再生装置が、
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得ステップと、
取得された前記マージン識別情報に基づいてprojected frameを生成する生成ステップと、
前記projected frameをレンダリングするレンダリングステップと
を含む画像生成方法。
【符号の説明】
【０１８４】
６１０  配信システム，  ６１１  撮像装置，  ６１２  生成装置，  ６１３  配信サーバ，  ６１４  再生装置，  ６１５ヘッドマウントディスプレイ，  ６３１  スティッチング処理部，  ６３２  マッピング処理部，  ６３３  region-wise packing処理部，  ６３４  エンコーダ，  ６３７  ファイル生成部，  ６３８  アップロード部，  ７０１  ファイル取得部，  ７０４  packing frame生成部，  ７０５  マッピング処理部  ７０６  描画部
【図１】
2018123646.tif 000003
【図２】
2018123646.tif 000004
【図３】
2018123646.tif 000005
【図４】
2018123646.tif 000006
【図５】
2018123646.tif 000007
【図６】
2018123646.tif 000008
【図７】
2018123646.tif 000009
【図８】
2018123646.tif 000010
【図９】
2018123646.tif 000011
【図１０】
2018123646.tif 000012
【図１１】
2018123646.tif 000013
【図１２】
2018123646.tif 000014
【図１３】
2018123646.tif 000015
【図１４】
2018123646.tif 000016
【図１５】
2018123646.tif 000017
【図１６】
2018123646.tif 000018
【図１７】
2018123646.tif 000019
【図１８】
2018123646.tif 000020
【図１９】
2018123646.tif 000021
【図２０】
2018123646.tif 000022
【図２１】
2018123646.tif 000023
【図２２】
2018123646.tif 000024
【図２３】
2018123646.tif 000025
【図２４】
2018123646.tif 000026
【図２５】
2018123646.tif 000027
【図２６】
2018123646.tif 000028
【図２７】
2018123646.tif 000029
【図２８】
2018123646.tif 000030
【図２９】
2018123646.tif 000031
【手続補正書】
【提出日】平成30年4月5日(2018.4.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成部を備える
生成装置。
【請求項２】
前記全天球画像の領域のマージンを生成するマージン生成部をさらに備える
請求項１に記載の生成装置。
【請求項３】
前記マージンは、前記領域の外側に形成される
請求項２に記載の生成装置。
【請求項４】
前記マージンを有する領域の領域情報は、球座標系または２次元座標系で表される
請求項３に記載の生成装置。
【請求項５】
前記領域情報は、ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅまたはｐａｃｋｅｄ  ｆｒａｍｅの情報として表される
請求項４に記載の生成装置。
【請求項６】
前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、前記領域が前記マージンを有する場合に記述される
請求項５に記載の生成装置。
【請求項７】
前記ｐａｃｋｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、前記領域がｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇされている場合に記述される
請求項６に記載の生成装置。
【請求項８】
前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅの前記マージンを含む領域の幅と高さ、および前記幅と前記高さ方向の前記マージンの割り当てを識別する割り当て識別情報を含む
請求項７に記載の生成装置。
【請求項９】
前記ｐａｃｋｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、前記ｐａｃｋｅｄ  ｆｒａｍｅの前記マージンを含む領域の幅と高さ、および前記領域の左上の座標を含む
請求項８に記載の生成装置。
【請求項１０】
前記ｐａｃｋｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、前記ｐａｃｋｅｄ  ｆｒａｍｅがｒｅｇｉｏｎ−ｗｉｓｅ  ｐａｃｋｉｎｇされている場合に記述される
請求項９に記載の生成装置。
【請求項１１】
前記割り当て識別情報は、省略される
請求項８に記載の生成装置。
【請求項１２】
前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報は、省略され、前記ｐａｃｋｅｄ  ｆｒａｍｅの前記マージンを有する領域の前記領域情報のみが記述される
請求項９に記載の生成装置。
【請求項１３】
前記マージンは、隅に前記マージンが形成されていない非形成部を有するタイプと有しないタイプとがある
請求項８に記載の生成装置。
【請求項１４】
前記マージンは、クロマサブサンプリングが４：２：２または４：２：０である場合、２の倍数の画素数の幅とされる
請求項６または請求項７に記載の生成装置。
【請求項１５】
前記マージンは、８の倍数の画素数の幅、または１６の倍数の画素数の幅とされる
請求項６または請求項７に記載の生成装置。
【請求項１６】
前記領域が三角形であり、その辺に沿って前記マージンが形成されている場合、前記三角形を矩形に成形して、前記三角形に対応する前記矩形の辺に前記マージンを配置する
請求項５に記載の生成装置。
【請求項１７】
前記マージン識別情報は、ＩＳＯＢＭＦＦのＳｃｈｅｍｅ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｂｏｘの下のｂｏｘに記述される
請求項３に記載の生成装置。
【請求項１８】
前記マージン識別情報は、ＭＰＥＧ−ＤＡＳＨのＭＰＤファイルに記述される
請求項３に記載の生成装置。
【請求項１９】
生成装置が、
全天球画像が、前記全天球画像の領域に、生成されたマージンを有する領域を含むことを識別するマージン識別情報を生成する識別情報生成ステップを含む
識別情報生成方法。
【請求項２０】
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得部と、
取得された前記マージン識別情報に基づいてｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅを生成する生成部と、
前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅをレンダリングするレンダリング部と
を備える再生装置。
【請求項２１】
再生装置が、
全天球画像がマージンを有する領域を含むことを識別するマージン識別情報を取得する取得ステップと、
取得された前記マージン識別情報に基づいてｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅを生成する生成ステップと、
前記ｐｒｏｊｅｃｔｅｄ  ｆｒａｍｅをレンダリングするレンダリングステップと
を含む画像生成方法。
【国際調査報告】
2018123646.tif 000032
2018123646.tif 000033