(57)【要約】  本技術は、パッキング手法を識別できるようにする生成装置、識別情報生成方法、再生装置および画像再生方法に関する。パックドフレームにパッキングされた全天球画像の複数の領域画像について、パッキングの方法を識別するステレオパッキング識別情報を生成する。複数のパッキング方法のいずれかでパッキングした場合、そのパッキング方法を表すステレオパッキング識別情報を生成することで、その識別情報に基づいて、容易にプロジェクテッドフレームを生成し、レンダリングすることができる。本技術は、全天球ステレオスコピックの画像を送信し、受信側で再生する場合に適用することができる。
2018123645.tif 000002
【特許請求の範囲】
【請求項１】
パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成部
を備える生成装置。
【請求項２】
前記全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像を前記パックドフレームにパッキングするパッキング部をさらに備える
請求項１に記載の生成装置。
【請求項３】
前記第１の画像と前記第２の画像は、左目用の領域画像と右目用の領域画像、またはテクスチャ画像とデプス画像である
請求項２に記載の生成装置。
【請求項４】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像で全体が矩形の前記パックドフレームを構成するように配置する前記パッキングの方式を識別する情報を含む
請求項２に記載の生成装置。
【請求項５】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像が前記パックドフレーム内において隣接するようにパッキングする前記パッキングの方式を識別する情報を含む
請求項４に記載の生成装置。
【請求項６】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式を識別する情報を含む
請求項４に記載の生成装置。
【請求項７】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と無効領域で全体が矩形の第１のフレームを構成し、対応する前記領域の前記第２の画像と無効領域で全体が矩形の第２のフレームを構成し、前記第１のフレームと前記第２のフレームを所定の位置に配置して矩形の前記パックドフレームを構成するようにパッキングする前記パッキングの方式を識別する情報をさらに含む
請求項４に記載の生成装置。
【請求項８】
前記全天球画像のプロジェクションストラクチャは球であり、正面の前記領域の左に隣接する前記領域の前記第１の画像と前記第２の画像、並びに正面の前記領域の右に隣接する前記領域の前記第１の画像と前記第２の画像とが、１つの大きな領域にまとめられている
請求項２に記載の生成装置。
【請求項９】
前記領域は、球座標系の前記領域の中心のヨー角度とピッチ角度、前記領域の幅と高さの角度により、または２次元座標系の前記領域の幅と高さ、並びに前記領域の１つの角のｘ座標とｙ座標により表される
請求項４に記載の生成装置。
【請求項１０】
前記ステレオパッキング識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
請求項４に記載の生成装置。
【請求項１１】
前記生成部は、前記第１の画像と前記第２の画像が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報をさらに生成する
請求項１０に記載の生成装置。
【請求項１２】
前記第１の画像は、前記パッキング識別情報が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報である場合に記述される
請求項１１に記載の生成装置。
【請求項１３】
前記生成部は、前記領域画像の配置を識別する識別情報、前記領域画像が前記ステレオスコピックであるかまたはモノスコピックであることを識別する識別情報、前記プロジェクションストラクチャに対するプロジェクションの方式を識別する識別情報、または前記プロジェクションストラクチャの前記領域の幅と高さの角度の基準を識別する識別情報をさらに生成する
請求項１０に記載の生成装置。
【請求項１４】
前記生成部は、前記領域ごとの視点の数を識別する識別情報をさらに生成し、
前記ステレオパッキング識別情報が、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式であることを識別する識別情報である場合、前記領域ごとの視点の数を識別する識別情報に対応する数の前記視点用の前記領域画像が記述される
請求項１０に記載の生成装置。
【請求項１５】
前記ステレオパッキング識別情報は、MPEG-DASHにより記述される
請求項４に記載の生成装置。
【請求項１６】
前記パックドフレームの画像が分割されて格納されたトラックを構成する場合、前記トラックに格納される前記画像の前記ステレオパッキング識別情報に対応して前記パックドフレームをパッキングする
請求項２に記載の生成装置。
【請求項１７】
ステレオペアの画像が格納されたトラックを構成する場合、表示領域が一致する前記第１の画像と前記第２の画像が前記パックドフレームにおいて任意の連続矩形領域を形成するように、前記パックドフレームをパッキングする
請求項２に記載の生成装置。
【請求項１８】
生成装置が、
パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成ステップ
を含む識別情報生成方法。
【請求項１９】
全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得部と、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成部と、
前記プロジェクテッドフレームをレンダリングするレンダリング部と
を備える再生装置。
【請求項２０】
再生装置が、
全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得ステップと、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成ステップと、
前記プロジェクテッドフレームをレンダリングするレンダリングステップと
を含む画像再生方法。
【請求項２１】
全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像をパックドフレームにパッキングするパッキング部と、
前記パックドフレームの前記第１の画像と前記第２の画像のうちの少なくとも一方が格納されるトラックに格納されている前記画像が、ステレオスコピック再生可能な画像であるかを前記トラックごとに表す情報を含むステレオビデオ情報を生成する生成部と
を備える生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、生成装置、識別情報生成方法、再生装置および画像再生方法に関し、特にパッキング手法を識別できるようにした生成装置、識別情報生成方法、再生装置および画像再生方法に関する。
【背景技術】
【０００２】
マルチカメラにより撮影された撮影画像から、水平方向の周囲360度および垂直方向の周囲180度の画像を２Ｄ画像（平面画像）にマッピングした全天球画像を生成し、符号化して記録する記録装置がある（例えば、特許文献１参照）。【０００３】
このような記録装置では、全天球画像の生成方法として、正距円筒図法を用いた方法やキューブマッピング方法などが用いられる。全天球画像の生成方法が正距円筒図法を用いた方法である場合、全天球画像は、撮影画像を球の面にマッピングしたときの球の正距円筒図法による画像である。また、全天球画像の生成方法がキューブマッピング方法である場合、全天球画像は、撮影画像を立方体（キューブ）の面にマッピングしたときの立方体の展開図の画像である。【０００４】
一方、動画コンテンツのストリーミング方式として、MPEG-DASH（Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP）がある。MPEG−DASHでは、動画コンテンツの符号化ストリームを管理する管理ファイルが、配信サーバから端末装置に送信され、端末装置は、管理ファイルに基づいて再生対象とする符号化ストリームを選択し、配信サーバに要求する。【０００５】
全天球画像をVR（Virtual Reality）の画像に適用する場合、ステレオスコピック画像が必要となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−１４１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ISOBMFF（ISO Base Media File Format）では、stvi(StereoVideoBox)のstereo_indication_typeフィールドを使用して、ステレオスコピック画像で使用されているside by side, top & bottom等のパッキング手法を再生装置側に伝送することができる。【０００８】
しかしながら、従来のパッキング手法は、通常の２次元画像であるステレオスコピック画像を対象としているため、全天球画像のパッキングには不十分であった。従って、全天球画像に適したパッキング手法の開発が期待されており、再生装置側で、そのパッキング手法を識別できるようにすることが望まれている。【０００９】
本技術はこのような状況に鑑みてなされたものであり、パッキング手法を識別できるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面は、パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成部を備える生成装置である。【００１１】
前記全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像を前記パックドフレームにパッキングするパッキング部をさらに設けることができる。【００１２】
前記第１の画像と前記第２の画像は、左目用の領域画像と右目用の領域画像、またはテクスチャ画像とデプス画像であることができる。【００１３】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像で全体が矩形の前記パックドフレームを構成するように配置する前記パッキングの方式を識別する情報を含むことができる。【００１４】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像が前記パックドフレーム内において隣接するようにパッキングする前記パッキングの方式を識別する情報を含むことができる。【００１５】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式を識別する情報を含むことができる。【００１６】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と無効領域で全体が矩形の第１のフレームを構成し、対応する前記領域の前記第２の画像と無効領域で全体が矩形の第２のフレームを構成し、前記第１のフレームと前記第２のフレームを所定の位置に配置して矩形の前記パックドフレームを構成するようにパッキングする前記パッキングの方式を識別する情報をさらに含むことができる。【００１７】
前記全天球画像のプロジェクションストラクチャは球であり、正面の前記領域の左に隣接する前記領域の前記第１の画像と前記第２の画像、並びに正面の前記領域の右に隣接する前記領域の前記第１の画像と前記第２の画像とが、１つの大きな領域にまとめられていることができる。【００１８】
前記領域は、球座標系の前記領域の中心のヨー角度とピッチ角度、前記領域の幅と高さの角度により、または２次元座標系の前記領域の幅と高さ、並びに前記領域の１つの角のｘ座標とｙ座標により表されることができる。【００１９】
前記ステレオパッキング識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述されることができる。【００２０】
前記生成部は、前記第１の画像と前記第２の画像が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報をさらに生成することができる。【００２１】
前記第１の画像は、前記パッキング識別情報が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報である場合に記述されることができる。【００２２】
前記生成部は、前記領域画像の配置を識別する識別情報、前記領域画像が前記ステレオスコピックであるかまたはモノスコピックであることを識別する識別情報、前記プロジェクションストラクチャに対するプロジェクションの方式を識別する識別情報、または前記プロジェクションストラクチャの前記領域の幅と高さの角度の基準を識別する識別情報をさらに生成することができる。【００２３】
前記生成部は、前記領域ごとの視点の数を識別する識別情報をさらに生成し、前記ステレオパッキング識別情報が、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式であることを識別する識別情報である場合、前記領域ごとの視点の数を識別する識別情報に対応する数の前記視点用の前記領域画像が記述されることができる。【００２４】
前記ステレオパッキング識別情報は、MPEG-DASHにより記述されることができる。【００２５】
前記パックドフレームの画像が分割されて格納されたトラックを構成する場合、前記トラックに格納される前記画像の前記ステレオパッキング識別情報に対応して前記パックドフレームをパッキングすることができる。【００２６】
ステレオペアの画像が格納されたトラックを構成する場合、表示領域が一致する前記第１の画像と前記第２の画像が前記パックドフレームにおいて任意の連続矩形領域を形成するように、前記パックドフレームをパッキングすることができる。【００２７】
本技術の一側面は、生成装置が、パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成ステップを含む識別情報生成方法である。【００２８】
本技術の一側面は、全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得部と、取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成部と、前記プロジェクテッドフレームをレンダリングするレンダリング部とを備える再生装置である。【００２９】
本技術の一側面は、再生装置が、全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得ステップと、取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成ステップと、前記プロジェクテッドフレームをレンダリングするレンダリングステップとを含む画像再生方法である。【００３０】
本技術の一側面は、全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像をパックドフレームにパッキングするパッキング部と、前記パックドフレームの前記第１の画像と前記第２の画像のうちの少なくとも一方が格納されるトラックに格納されている前記画像が、ステレオスコピック再生可能な画像であるかを前記トラックごとに表す情報を含むステレオビデオ情報を生成する生成部とを備える生成装置である。【００３１】
本技術の一側面においては、生成部が、パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する。
【発明の効果】
【００３２】
以上のように、本技術の一側面によれば、パッキング手法を識別することができる。なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００３３】
【図１】プロジェクテッドフレームとパックドフレームを説明する図である。
【図２】キューブマッピングの例を示す図である。
【図３】パッキングの例を示す図である。
【図４】パッキングの例を示す図である。
【図５】ステレオインディケーションタイプを説明する図である。
【図６】パッキングの例を示す図である。
【図７】パッキングの例を示す図である。
【図８】リージョンマッピングボックスの構成例を示す図である。
【図９】リージョンマッピングボックスのフィールドを説明する図である。
【図１０】リージョンマッピングボックスのフィールドを説明する図である。
【図１１】配信システムの構成例を示すブロック図である。
【図１２】生成装置の構成例を示すブロック図である。
【図１３】生成処理を説明するフローチャートである。
【図１４】ステレオパッキングタイプが０である場合のパッキングを説明する図である。
【図１５】ステレオパッキングタイプが０である場合のフィールドを説明する図である。
【図１６】ステレオパッキングタイプが１である場合のパッキングを説明する図である。
【図１７】ステレオパッキングタイプが１である場合のフィールドを説明する図である。
【図１８】正距円筒図法のプロジェクションを説明する図である。
【図１９】正距円筒図法のプロジェクションのパッキングを説明する図である。
【図２０】正距円筒図法のプロジェクションでパッキングした場合におけるフィールドを説明する図である。
【図２１】リージョンマッピングボックスの構成例を示す図である。
【図２２】リージョンマッピングボックスのフィールドを説明する図である。
【図２３】パッキングアレンジメントの変更を説明する図である。
【図２４】パッキングアレンジメントを変更した場合のフィールドを説明する図である。
【図２５】ステレオパッキングタイプが２である場合のパッキングを説明する図である。
【図２６】ステレオパッキングタイプが２である場合のフィールドを説明する図である。
【図２７】リージョンマッピングボックスの構成例を示す図である。
【図２８】リージョンマッピングボックスのフィールドを説明する図である。
【図２９】リージョンマッピングボックスの構成例を示す図である。
【図３０】リージョンマッピングボックスのフィールドを説明する図である。
【図３１】リージョンマッピングボックスの構成例を示す図である。
【図３２】リージョンマッピングボックスのフィールドを説明する図である。
【図３３】再生装置の構成例を示すブロック図である。
【図３４】再生処理を説明するフローチャートである。
【図３５】VRインフォメーションボックスの構成例を示す図である。
【図３６】VRインフォメーションボックスのフィールドを説明する図である。
【図３７】DASHを適用したMPDファイルの例を示す図である。
【図３８】全天球ステレオスコピック画像の１トラックへの格納を説明する図である。
【図３９】全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。
【図４０】モノスコピック再生だけが可能なサブピクチャトラックの画像を説明する図である。
【図４１】ステレオパッキングタイプが１である場合のサブピクチャトラックの例を示す図である。
【図４２】ステレオパッキングタイプが０である場合のサブピクチャトラックの例を示す図である。
【図４３】ステレオパッキングタイプが２である場合のサブピクチャトラックの例を示す図である。
【図４４】連続矩形領域を形成するリージョンワイズパッキングを説明する図である。
【図４５】連続矩形領域を形成しないリージョンワイズパッキングを説明する図である。
【図４６】リージョンワイズパッキングボックスの構成を示す図である。
【図４７】リージョンワイズパッキングストラクトの構成を示す図である。
【図４８】レクトリージョンパッキングの構成を示す図である。
【図４９】リージョンワイズパッキングストラクトとレクトリージョンパッキングのフィールドを説明する図である。
【図５０】プロジェクトピクチャとパックドピクチャを説明する図である。
【図５１】プロジェクテッドピクチャを示す図である。
【図５２】リージョンワイズパッキングストラクトの構成を示す図である。
【図５３】リージョンワイズステレオパッキングフラグを説明する図である。
【図５４】全天球ステレオスコピック画像を１トラックに格納する場合のボックスを説明する図である。
【図５５】全天球ステレオスコピック画像を６トラックに格納する場合のボックスを説明する図である。
【図５６】全天球ステレオスコピック画像を４トラックに格納する場合のボックスを説明する図である。
【図５７】サブピクチャコンポジションボックスの構成を示す図である。
【図５８】サブピクチャコンポジションボックスのフィールドを説明する図である。
【図５９】トラックステレオビデオボックスの構成を示す図である。
【図６０】トラックステレオビデオボックスのフィールドを説明する図である。
【図６１】トラックステレオビデオボックスの構成を示す図である。
【図６２】トラックステレオビデオボックスのフィールドを説明する図である。
【図６３】ステレオビデオボックスの構成を示す図である。
【図６４】ステレオビデオボックスの構成を示す図である。
【図６５】全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。
【図６６】サブピクチャコンポジションボックスの構成を示す図である。
【図６７】サブピクチャコンポジションボックスのフィールドを説明する図である。
【図６８】サブピクチャコンポジションボックスの構成を示す図である。
【図６９】サブピクチャコンポジションボックスのフィールドを説明する図である。
【図７０】全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。
【図７１】生成処理を説明するフローチャートである。
【図７２】選択処理を説明するフローチャートである。
【図７３】テクスチャ画像とデプス画像を説明する図である。
【図７４】画像要素の３次元位置を説明する図である。
【図７５】コンピュータのハードウエアの構成例を示すブロック図である。
【発明を実施するための形態】
【００３４】
以下、本技術を実施するための実施の形態について説明する。なお、説明は以下の順序で行う。
１．  実施の形態
（１）プロジェクションの原理（図１）
（２）パッキング（図２乃至図１０）
（３）配信システム（図１１）
（４）生成装置（図１２乃至図３２）
（５）再生装置（図３３、図３４）
（６）全天球ステレオスコピック画像パッキングのプロパティ情報の配信（図３５乃至図３７）
（７）サブピクチャトラック化（図３８乃至図７４）
２．コンピュータ（図７５）
３．その他
【００３５】
＜実施の形態＞
＜プロジェクションの原理（図１）＞
本技術においては、全天球画像が例えばサーバからクライアントにビデオストリームとして配信され、クライアント側で受信、再生、視聴される。そこで最初に全天球画像の生成、配信のため処理の原理について説明する。
【００３６】
本技術においては、全天球画像のプロジェクテッドフレーム（projected frame）とパックドフレーム（packed frame）が生成される。図１は、プロジェクテッドフレームとパックドフレームを説明する図である。図１に示されるように、カメラ１によりオムニディレクショナル画像（全天球画像）が撮影される。この全天球画像は上下左右360度の方向の画像である。なお、以下においては、単語をカタカナで表記すると、却って理解し難いと思われる場合には、英語で記述する。
【００３７】
全天球画像はプロジェクションストラクチャ（projection structure）に投影（projection）されてprojected frameが得られる。そしてprojected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）することでpacked frameが得られる。このように、領域ごとに位置とサイズの少なくとも一方を変更してパッキングすることをリージョンワイズパッキング（region-wise packing）という。packed frameでは、各領域が全体で矩形になるように配置される。packed frameを用いることで、高画質であることが望まれる領域の解像度を拡大し、低画質でよい領域の解像度を低下させることで、伝送容量を最適化することができる。
【００３８】
図１の例においては、projection structureとして球１１と立方体１２が示されている。全天球画像を球１１に正距円筒図法による投影（equirectangular projection）を行い、それを２次元で表現することでprojected frame１３が得られる。この例では、projected frame１３は、中央の領域Ａ、その上に位置する領域Ｂ、およびその下に位置する領域Ｃにより構成されている。
【００３９】
そしてprojected frame１３をregion-wise packingすることでpacked frame１５が得られる。この例では、領域Ａの解像度はそのままとされ、その上の左側に領域Ｂが配置され、右側に領域Ｃが配置されている。領域Ｂと領域Ｃは解像度が縮小されている。
【００４０】
全天球画像を立方体１２に投影し（cube mapping projectionを行い）、それを２次元で表現することでprojected frame１４が得られる。立方体１２の正面（front face）、右側面（right face）、裏面（back face）、左側面（left face）、上面（top face）、および底面（bottom face）の６個の面（領域）の画像が、４×３個の合計１２個の領域で構成されるprojected frame１４に配置されている。中央の４つの領域に、左側から順番に、左側面（left）、正面（front）、右側面（right）、裏面（back）の領域画像が配置され、正面（front）の上の領域に上面（top）の領域画像が配置され、下の領域に底面（bottom）の領域画像が配置されている。
【００４１】
projected frame１４をregion-wise packingすることでpacked frame１６が得られる。この例では、正面（front）の領域画像の解像度が拡大され、それ以外の領域画像の解像度はそのままとされている。正面（front）の領域画像の上の左側には左側面（left）の領域画像が、その右側には上面（top）の領域画像が配置され、正面（front）の領域画像の右側には、上から順番に、右側面（right）、裏面（back）、および底面（bottom）の領域画像が配置されている。
【００４２】
なお、以上においては、１つの視点（view）からの画像について説明したが、本技術においてはステレオスコピックの画像（全天球ステレオスコピック画像）が使用されるので、２つの視点、すなわち左目用の視点からの画像（L view画像）と、右目用の視点からの画像（R view画像）が存在する。つまり、カメラ１により、左目用の視点からの画像（L view画像）と右目用の視点からの画像（R view画像）が撮影され、取得される。
【００４３】
＜パッキングの例（図２乃至図１０）＞
次に、本技術において行われるパッキングについて説明する。図２は、キューブマッピングの例を示す図である。キューブマッピング（cube mapping）した場合に得られるprojected frameには、図２のＡに示されるprojected frame２１のタイプと、図２のＢに示されるprojected frame２２のタイプがある。図２のＡのprojected frame２１は、図１に示したprojected frame１４と同じ構成である。以下このような配置を、便宜上タイプＡと称する。
【００４４】
projected frame２２においては、４×３個の合計１２個の領域のうちの中央の４つの領域に、左側から順番に、正面（front）、右側面（right）、裏面（back）、左側面（left）の領域画像が配置され、正面（front）の上の領域に上面（top）の領域画像が配置され、下の領域に底面（bottom）の領域画像が配置されている。以下このような配置を、便宜上タイプＢと称する。
【００４５】
図２において（後述する図３と図４においても同様）、領域の文字（front、right、back、left、front、top等の文字）が表示されていない領域（ハッチングが施されている領域）には、有効な画素データが配置されておらず（実質的に無効のデータが配置されており）、これらは無効領域ということができる。有効な各面の領域画像と無効領域とで全体が矩形になるようにして、エンコードが可能なフレームが形成されている。
【００４６】
上述したように、本技術においては、左目用の視点からの画像（以下、L view画像ともいう）と、右目用の視点からの画像（以下、R view画像ともいう）が撮影される。従って、L view画像とR view画像には、図２のＡに示されるようなprojected frame２１が存在するとともに、図２のＢに示されるようなprojected frame２２が存在する。
【００４７】
以下、cube mappingによるprojected frameをパッキングする場合を例として、全天球ステレオスコピック画像のパッキングについて説明する。
【００４８】
本技術においては、全天球ステレオスコピック画像は次の３つのパッキング手法のいずれかを用いてパッキングされる。
第１のパッキング手法（手法１）
４×３個のうちの所定の６個の領域に６面の各領域画像を配置したprojected frameのL view画像と、同様に構成したprojected frameのR view画像を、サイドバイサイド（side by side） またはトップアンドボトム（top & bottom）でパッキングする
第２のパッキング手法（手法２）
全天球ステレオスコピック画像のフレーム内の領域ごとにL view画像とR view画像をパッキングする
第３のパッキング手法（手法３）
全天球ステレオスコピック画像のフレーム内の任意の領域にL view画像とR view画像をパッキングする
【００４９】
第１のパッキング手法（手法１）においては、４×３個のうちの所定の６個の領域に６面の各領域画像を配置したprojected frameのL view画像と、同様に構成したprojected frameのR view画像が、side by side またはtop & bottomでパッキングされる。
【００５０】
図３と図４は、いずれもパッキングの例を示す図である。図３と図４は第１のパッキング手法を（手法１）の例を示している。図３は図２のＡに示されるタイプＡのようにマッピングされたprojected frameのパッキングを表しており、図４は図２のＢに示されるタイプＢのようにマッピングされたprojected frameのパッキングを表している。
【００５１】
図３と図４の他、以下の図において、left_LはL view画像の左側面の領域画像を表し、front_LはL view画像の正面の領域画像を表す。以下同様に、right_LはL view画像の右側面、back_LはL view画像の裏面、top_LはL view画像の上面、bottom_LはL view画像の底面の領域画像を、それぞれ表す。同様に、left_RはR view画像の左側面の領域画像を表し、front_RはR view画像の正面の領域画像を表す。以下同様に、right_RはR view画像の右側面、back_RはR view画像の裏面、top_RはR view画像の上面、bottom_RはR view画像の底面の領域画像を、それぞれ表す。
【００５２】
図３のＡに示される例では、図２のＡに示されるprojected frame２１のようにタイプＡでマッピングされた、全体が矩形のL viewのprojected frameの右側に、タイプＡでマッピングされた、全体が矩形のR viewのprojected frameが配置されている。すなわち、side by sideにパッキングが行われて、全体が矩形のpacked frame３１が構成されている。各領域において、横方向の解像度は縦方向に較べて１／２に縮小されている。
【００５３】
図３のＢに示される例では、図２のＡに示されるprojected frame２１のようにタイプＡでマッピングされた、全体が矩形のL viewのprojected frameの下側に、タイプＡでマッピングされた、全体が矩形のR viewのprojected frameが配置されている。すなわち、top & bottomにパッキングが行われて、全体が矩形のpacked frame３２が構成されている。各領域において、縦方向の解像度は横方向に較べて１／２に縮小されている。
【００５４】
図４のＡに示される例では、図２のＢに示されるprojected frame２２のようにタイプＢでマッピングされたL viewのprojected frameの右側に、タイプＢでマッピングされたR viewのprojected frameが配置されている。すなわち、side by sideにパッキングが行われて、packed frame４１が構成されている。各領域において、横方向の解像度は縦方向に較べて１／２に縮小されている。
【００５５】
図４のＢに示される例では、図２のＢに示されるprojected frame２２のようにタイプＢでマッピングされたL viewのprojected frameの下側に、タイプＢでマッピングされたR viewのprojected frameが配置されている。すなわち、top & bottomにパッキングが行われて、packed frame４２が構成されている。各領域において、縦方向の解像度は横方向に較べて１／２に縮小されている。
【００５６】
図３と図４に示される第1のパッキング手法は、従来のパッキング手法と同様である。そこで互換性を確保するため、ステレオビデオボックス（stvi：StereoVideoBox)のステレオインディケーションタイプ（stereo_indication_type）に応じた処理が行われる。すなわち、L view画像とR view画像がside by side またはtop & bottomのいずれかにより１ビデオフレームにパッキングされる。これらのpacked frameには無効データからなる無効領域が含まれるため、その伝送は非効率的な伝送となる（すなわち、伝送効率が低下する）。なお、後述する図５に示されるような、side by sideやtop & bottom以外のインディケーションタイプにも対応可能である。
【００５７】
図５は、ステレオインディケーションタイプを説明する図である。stereo_indication_typeの値０はチェッカーボード、値１は、コラム（column）ベースインターリーブ、値２は、rowベースインターリーブを、それぞれ表している。値３は、サイドバイサイド（side by side）、値４は、トップアンドボトム（top & bottom）を表している。値５は、フレームシーケンシャル、値６は、フレームパッキングなし（２D）、値７は、タイルベースパッキングを、それぞれ表している。
【００５８】
次に、第２のパッキング手法（手法２）について、図６を参照して説明する。図６は、パッキングの例を示す図である。第２のパッキング手法においては、全天球ステレオスコピック画像のフレーム内の領域ごとにL view画像とR view画像がペアでパッキングされる。
【００５９】
図６のＡのpacked frame５１においては、４×３個の領域に、左右の対応する領域の領域画像がside by sideに配置されている。すなわち、最上行の左側の横方向の２つの領域には、left_Lとleft_Rの領域画像が隣接して配置されている。最上行の右側の横方向の２つの領域に、top_Lとtop_Rの領域画像が隣接して配置されている。中央の行の左側の横方向の２つの領域には、back_Lとback_Rの領域画像が隣接して配置され、その右側の横方向の２つの領域に、front_Lとfront_Rの領域画像が隣接して配置されている。最下行の左側の横方向の２つの領域には、right_Lとright_Rの領域画像が隣接して配置され、その右側の横方向の２つの領域に、bottom_Lとbottom_Rの領域画像が隣接して配置されている。
【００６０】
図６のＢのpacked frame５２においては、２×６個の領域に、左右の対応する領域の領域画像がtop & bottomに配置されている。すなわち、左側の列の最も上の縦方向の２つの領域には、left_Lとleft_Rの領域画像が隣接して配置され、その下の縦方向の２つの領域には、right_Lとright_Rの領域画像が隣接して配置されている。そしてさらにその下の縦方向の２つの領域には、top_Lとtop_Rの領域画像が隣接して配置されている。右側の列の最も上の縦方向の２つの領域には、front_Lとfront_Rの領域画像が隣接して配置され、その下の縦方向の２つの領域には、back_Lとback_Rの領域画像が隣接して配置されている。そしてさらにその下の縦方向の２つの領域に、bottom_Lとbottom_Rの領域画像が隣接して配置されている。
【００６１】
図６のＣのpacked frame５３においては、左右の対応する領域の領域画像がside by sideまたはtop & bottomに配置されている。すなわち、この例では、side by sideとtop & bottomが混在している。４×３個の領域のうちの最も左側の縦方向の２つの領域には、left_Lとleft_Rの領域画像が隣接して配置され、その右側の縦方向の２つの領域には、front_Lとfront_Rの領域画像が隣接して配置されている。さらにその右側の縦方向の２つの領域には、right_Lとright_Rの領域画像が隣接して配置され、その右側の縦方向の２つの領域には、back_Lとback_Rの領域画像が隣接して配置されている。
【００６２】
最も下の行の左側の横方向の２つの 領域には、top_Lとtop_Rの領域画像が隣接して配置されており、その右側の横方向の２つの領域には、bottom_Lとbottom_Rの領域画像が隣接して配置されている。
【００６３】
領域ごとにL view画像とR view画像がペアとなって配置されているので、ペアの領域画像を取得することが容易であるため、ステレオスコピック表示時の視点移動による表示の切り替えをスムーズに行うことができる。また、ステレオスコピック（以下、単にステレオとも略記する）とモノスコピック（以下、単にモノとも略記する）の表示の切り替えも容易となる。モノスコピックの再生時は、L view画像のみの再生となる。
【００６４】
さらに領域ごとのL view画像とR view画像のペア（例えばleft_L画像とleft_R画像のペア、top_L画像とtop_R画像のペア等）を１つのタイル（tile）（HEVC（High Efficiency Video Coding）のツール）とし、R view画像はL view画像との差分としてエンコードする等、R view画像がL view画像を参照する関係性を持たせることで、符号化効率を向上させることができる。
【００６５】
なお、キューブマッピングプロジェクション(cube mapping projection)に限らず、正距円筒プロジェクション、Truncated Square Pyramid、シリンダ等のプロジェクションタイプにおいても同様の効果を実現することができる。なお、図５に示されるような、side by sideやtop & bottom以外のインディケーションタイプにも対応可能である。
【００６６】
次に、第３のパッキング手法（手法３）について、図７を参照して説明する。図７は、パッキングの例を示す図である。第３のパッキング手法においては、全天球ステレオスコピック画像のフレーム内の任意の領域にL view画像とR view画像がパッキングされる。
【００６７】
図７のＡのpacked frame６１においては、４×３個の領域に、左右の対応する領域の領域画像が任意の位置に配置されている。この例では、最上行の左側から横方向に順番に、top_R, top_L, front_R, right_Rの各領域画像が隣接して配置されている。中央の行には左側から横方向に順番に、left_L, front_L, right_L, back_Lの各領域画像が隣接して配置されている。最も下の行には左側から横方向に順番に、bottom_R, bottom_L, back_R,left_Rの各領域画像が隣接して配置されている。
【００６８】
つまり、このpacked frame６１においては、L view画像が図２のＡに示されるタイプＡとして配置され、残りの領域にR viewの各領域画像が配置されている。
【００６９】
図７のＢのpacked frame６２においては、４×３個の領域に、左右の対応する領域の領域画像が任意の位置に配置されている。この例では、最上行の左側から横方向に順番に、top_L, right_R,back_R,left_Rの各領域画像が隣接して配置されている。中央の行には左側から横方向に順番に、front_L,right_L, back_L,left_Lの各領域画像が隣接して配置されている。最も下の行には左側から横方向に順番に、bottom_L,top_R,front_R,bottom_Rの各領域画像が隣接して配置されている。
【００７０】
つまり、このpacked frame６２においては、L view画像が図２のＢに示されるタイプＢとして配置され、残りの領域にR viewの各領域画像が配置されている。
【００７１】
図７のＣのpacked frame６３における各領域画像の配置は、基本的に図７のＢのpacked frame６２における場合と同様である。ただし、最も下の行の右側の３個の領域画像であるtop_R,front_R,bottom_Rの各領域画像の向きが図７のＢの場合と異なっている。
【００７２】
すなわち、図７のＢのpacked frame６２においては、top_R,front_R,bottom_Rの各領域画像は、他の領域画像と同様に、画像の上方向が図中上方向を指向するように配置されている。これに対して、図７のＣのpacked frame６３においては、top_R,front_R,bottom_Rの各領域画像はそれぞれの画像が連続するように配置されている。top_R,front_R,bottom_Rの各領域画像が、図７のＢのpacked frame６２の場合に比べて、反時計回転方向に９０度回転されている。
【００７３】
つまり、図１から明らかなように、bottom_Rの領域画像の縦方向に連続する領域画像はfront_Rの領域画像であり、front_Rの領域画像の縦方向に連続する領域画像はtop_Rの領域画像である。すなわち、top_R,front_R,bottom_Rの各領域画像はそれぞれの縦方向が隣接している。従って、例えばtop_R,front_R,bottom_Rの各領域に連続する１本の線の画像を考えたとき、packed frame６３Ｃにおいては、その線が１本の連続した線（図７のＣにおいては横方向に連続する線）として表現される。つまり、キューブ面の連続性が保持される。
【００７４】
これに対して図７のＢのpacked frame６２においては、１本の線が、top_R,front_R,bottom_Rの各領域において、それぞれ図中上方向の線として表されるので、３本の線が、別々に平行に表現されていることになる。つまり、図７のＢのpacked frame６２においては、top_R,front_R,bottom_Rの各領域は、画像が連続するようには配置されていない。
【００７５】
図７のＡ乃至図７のＣに示される第３のパッキング手法は、図３のＡ、図３のＢ、図４のＡ、および図４のＢに示される第１のパッキング手法に比べて、伝送容量を維持しつつ、各キューブ面の解像度を２倍にすることが可能となる。
【００７６】
また、図７のＡと図７のＢの第３のパッキング手法においては、L viewの各領域画像の配置はそれぞれ図２のＡと図２のＢの場合と同様とされ、L viewの各領域画像が配置されていない位置（未使用領域）にR viewの領域画像が配置される。その結果、第３のパッキング手法に対応していないクライアントでも、L viewのキューブ面の領域画像を取得し、再生、表示することが可能となるので、後方互換性を有するパッキング手法ということができる。
【００７７】
全天球画像をクライアントが受信し、視聴できるようにするには、クライアントが、配信されたストリームから上述した全天球画像の領域画像を取得し、レンダリングして表示できるように配信する必要がある。そこで領域画像を取得するのに必要な情報の配信形式について説明する。
【００７８】
本技術においては、ISOBMFFで規定されるschi(Scheme Information Box)の下に新たなボックス（box）を配置し、そのboxによりbox情報を配信する。以下、このboxをリージョンマッピングボックス（RegionMappingBox）という。このRegionMappingBoxはScheme Type＝’rmap’の場合に配置される。また、ステレオビデオボックス (StereoVideoBox)も、リージョンマッピングボックスとともにschiの下に配置される。この時、ステレオビデオボックスの情報は、リージョンマッピングボックスの情報と紐づけられて使用される。もちろんRegionMappingBox, StereoVideoBoxを配置する場所は、schiの下以外であってもよい。
【００７９】
図８は、リージョンマッピングボックスの構成例を示す図である。図９は、リージョンマッピングボックスのフィールドを説明する図である。図８のリージョンマッピングボックスに記述されているフィールドの意味が、図９に示されている。
【００８０】
図８の例では、RegionMappingBoxにprojection_format,packing_flag,FOV_flag,stereo_packing_type,num_regionsが記述されている。projection_formatは、プロジェクション方式を表し、その値０は、正距円筒プロジェクションを意味し、その値１は、cube mapping projectionを意味している。packing_flagは、region-wise packingを用いるか否かを表しており、その値０は、region-wise packingを用いないことを意味し、その値１は、region-wise packingを用いることを意味する。
【００８１】
FOV_flagは、object_width,object_heightの角度情報の基準を示し、その値０は、球面上を意味し、その値１は、透視投影面上を意味する。図１０を参照して後述するが、object_widthは、projection structureにおける領域の幅（角度）を表し、object_heightは、projection structureにおける領域の高さ（角度）を表している。
【００８２】
stereo_packing_typeは、ステレオパッキング方式を識別する識別情報であり、その値０は、stviのstereo_indication_typeに従う。stviが無ければモノスコピックを意味する。stviがある場合は、side by side、top & bottom等を用いたフレーム毎のパッキングを意味する。すなわちその値０は、図３と図４に示したパッキングであることを意味する。stereo_packing_typeの値１は、全天球ステレオスコピック画像のフレーム内領域ごとのL viewとR viewのパッキングを意味する。すなわち、値１は図６に示したパッキングを意味する。値２は、全天球ステレオスコピック画像のフレーム内領域のL viewとR viewの任意の配置によるパッキングを意味する。すなわち、値２は図７に示したパッキングを意味する。num_regionsは、packed frameの領域数を表す。
【００８３】
RegionMappingBoxにはさらに、center_yaw,center_pitch,object_width,object_heightが記述される。center_yawは、projection structureにおける領域中心のyawを表し、center_pitchは、projection structureにおける領域中心のpitchを表す。
【００８４】
packing_flagの値が真である（１である）場合、rect_width,rect_height,rect_left,rect_topが記述される。rect_widthは、packed frameにおける領域幅を表し、rect_heightは、packed frameにおける領域高さを表す。rect_leftとrect_topは、それぞれpacked frameにおける領域のｘ座標とｙ座標を表す。これらも図１０を参照して後にさらに説明する。
【００８５】
stereo_packing_type＝２が真である場合、すなわち、全天球ステレオスコピック画像のフレーム内の領域のL viewとR viewを任意の位置に配置した場合、rect_width_r,rect_height_r,rect_left_r,rect_top_rが記述される。rect_width_rとrect_height_rは、それぞれpacked frameにおけるR viewの領域の幅と高さを表す。rect_left_rとrect_top_rは、それぞれpacked frameにおけるR viewの領域のｘ座標とｙ座標を表す。
【００８６】
図１０は、リージョンマッピングボックスのフィールドを説明する図である。図１０のＡを参照してcenter_yaw,center_pitch,object_width,object_heightについてさらに説明する。図１０のＡにおいては、projection structureである球１１の表面上の面９１に画像がプロジェクションされている。図１０のＡの球１１の中心Ｏを原点として、xyz座標が示されている。中心Ｏと面９１の中心Ｃを結ぶ線が線９２であり、線９２をｘｙ座標面に投影した線が線９３である。線９３とｘ軸とのなす角度Ａｙがcenter_yawである。線９２と線９３のなす角度Ａｐがcenter_pitchである。
【００８７】
面９１の左右の辺を中心Ｏからみた角度がobject_widthであり、上下の辺を中心Ｏからみた角度がobject_heightである。
【００８８】
projection structureにおける領域の情報は、L view画像とR view画像とで共通であり、center_yaw,center_pitch,object_width,object_heightという球座標系で表される。
【００８９】
図１０のＢを参照して、rect_width,rect_height,rect_left,rect_topについてさらに説明する。図１０のＢはpacked frame１０１を表しており、領域１０２を有している。この領域１０２の幅がrect_widthであり、高さがrect_heightである。領域１０２の左上の角のｘ座標がrect_leftであり、ｙ座標がrect_topである。
【００９０】
図１０のＢは、L view画像を説明するものであるが、R view画像についても同様であり、L viewにおけるrect_width,rect_height,rect_left,rect_topに対応するR viewのフィールドが、rect_width_r,rect_height_r,rect_left_r,rect_top_rである。
【００９１】
図８に示されるように、RegionMappingBoxにおいてforループで記載される情報を、packing情報ともいい、そのうちのprojection structureおよびpacked frameの座標で表現される情報をそれぞれの座標における領域情報ともいう。また、forループ外で記載される情報をプロパティ情報ともいう。また、これらをまとめてRegionMappingBoxに記述される情報をbox情報ともいう。
【００９２】
＜配信システム（図１１）＞
次に、全天球ステレオスコピック画像を配信するシステムについて説明する。図１１は、配信システムの構成例を示すブロック図である。
【００９３】
図１１の配信システム２１０は、撮影装置２１１、生成装置２１２、配信サーバ２１３、再生装置２１４、およびヘッドマウントディスプレイ２１５により構成される。配信システム２１０は、撮影装置２１１により撮影された撮影画像から全天球画像を生成し、全天球画像を用いて視聴者の視野範囲の表示画像を表示する。
【００９４】
具体的には、配信システム２１０の撮影装置２１１は、６個のカメラ２１１Ａ−１乃至２１１Ａ−６およびマイクロフォン２１１Ｂにより構成される。カメラ２１１Ａ−１乃至２１１Ａ−６は、ステレオスコピック画像を撮影するように、それぞれ、左目用のカメラと右目用のカメラが対となっている。なお、以下では、カメラ２１１Ａ−１乃至２１１Ａ−６を特に区別する必要がない場合、それらをまとめてカメラ２１１Ａという。
【００９５】
各カメラ２１１Ａは動画像を撮影し、マイクロフォン２１１Ｂは周囲の音声を取得する。配信システム２１０は、各カメラ２１１Ａにより撮影された６方向の動画像である撮影画像とマイクロフォン２１１Ｂにより取得された音声を、動画コンテンツとして生成装置２１２に供給する。なお、撮影装置２１１が備えるカメラの数は、複数であれば、６個以外であってもよい。
【００９６】
生成装置２１２は、正距円筒図法を用いた方法により、撮影装置２１１から供給される撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートの正距円筒ストリームを生成する。また、生成装置２１２は、cube mappingにより、撮影画像から全天球画像を生成し、１以上のビットレートで符号化して、各ビットレートのキューブストリームを生成する。また、生成装置２１２は、撮影装置２１１から供給される音声を符号化し、オーディオストリームを生成する。
【００９７】
生成装置２１２は、各ビットレートの正距円筒ストリーム、各ビットレートのキューブストリーム、およびオーディオストリームを、ISOBMFFファイル化する。生成装置２１２は、その結果生成されたISOBMFFファイルを配信サーバ２１３にアップロードする。
【００９８】
なお、ここでは、正距円筒ストリームとキューブストリームのビットレートが１以上であるようにするが、ビットレート以外の条件（例えば、画像のサイズ等）が１以上であるようにしてもよい。
【００９９】
また、生成装置２１２は、動画コンテンツのセグメントファイルを管理するMPDファイルを生成し、配信サーバ２１３にアップロードする。セグメントとは、ビデオストリーム、オーディオストリームを数秒から10秒程度の時間単位でファイル化したものである。例えば、RegionMappingBoxを含むISOBMFFファイルがセグメントファイルとして配信される。
【０１００】
例えばMEPG-DASH (ISO/IEC 23009-1)を用いた配信を行う配信サーバ２１３は、生成装置２１２からアップロードされたセグメントファイルとMPDファイルを格納する。配信サーバ２１３は、クライアントとしての再生装置２１４からの要求に応じて、格納しているセグメントファイルを再生装置２１４に送信する。
【０１０１】
再生装置２１４は、配信サーバ２１３にISOBMFF ファイルを要求し、その要求に応じて送信されてくるISOBMFFファイルを受け取る。また、再生装置２１４は、ISOBMFFファイルに基づいて、再生装置２１４で行うことが可能なマッピングに対応する全天球画像の生成方法で生成された全天球画像のセグメントファイルを要求し、その要求に応じて送信されてくるセグメントファイルを受け取る。再生装置２１４は、受け取ったセグメントファイルに含まれるキューブストリーム(または正距円筒ストリームであってもよい)を復号する。再生装置２１４は、復号の結果得られる全天球画像を３Ｄモデルにマッピングすることにより、３Ｄモデル画像を生成する。
【０１０２】
また、再生装置２１４は、カメラ２１４Ａを内蔵し、ヘッドマウントディスプレイ２１５に付されたマーカ２１５Ａを撮影する。そして、再生装置２１４は、マーカ２１５Ａの撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。さらに、再生装置２１４は、ヘッドマウントディスプレイ２１５のジャイロセンサ２１５Ｂの検出結果を、ヘッドマウントディスプレイ２１５から受け取る。再生装置２１４は、ジャイロセンサ２１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。再生装置２１４は、視聴位置と視線方向に基づいて、３Ｄモデルの内部に位置する視聴者の視野範囲を決定する。
【０１０３】
再生装置２１４は、視聴位置を焦点として、３Ｄモデル画像を視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。再生装置２１４は、表示画像をヘッドマウントディスプレイ２１５に供給する。
【０１０４】
ヘッドマウントディスプレイ２１５は、視聴者の頭部に装着され、再生装置２１４から供給される表示画像を表示する。ヘッドマウントディスプレイ２１５には、カメラ２１４Ａにより撮影されるマーカ２１５Ａが付されている。従って、視聴者は、ヘッドマウントディスプレイ２１５を頭部に装着した状態で、移動することにより視聴位置を指定することができる。また、ヘッドマウントディスプレイ２１５には、ジャイロセンサ２１５Ｂが内蔵され、そのジャイロセンサ２１５Ｂによる角速度の検出結果は再生装置２１４に伝送される。従って、視聴者は、ヘッドマウントディスプレイ２１５を装着した頭部を回転させることにより、視線方向を指定することができる。
【０１０５】
＜生成装置（図１２乃至図３２）＞
図１２は、生成装置の構成例を示すブロック図である。生成装置２１２は、スティッチング処理部２３１、マッピング処理部２３２、region-wise packing処理部２３３、エンコーダ２３４、音声処理部２３５、エンコーダ２３６、ファイル生成部２３７、およびアップロード部２３８により構成される。
【０１０６】
スティッチング処理部２３１は、フレームごとに、図１１のカメラ２１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部２３２に供給する。
【０１０７】
マッピング処理部２３２は、この例ではcube mappingにより、スティッチング処理部２３１から供給される撮影画像から全天球画像を生成する。具体的には、マッピング処理部２３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部２３２は、全天球画像をregion-wise packing処理部２３３に供給する。なお、スティッチング処理部２３１とマッピング処理部２３２は、一体化されていてもよい。
【０１０８】
region-wise packing処理部２３３はregion-wise packing処理を行う。すなわち、projected frameを領域ごとに位置とサイズを変更して２次元面上に配置してパッキング（packing）し、packed frameを生成する。
【０１０９】
エンコーダ２３４は、region-wise packing処理部２３３から供給される全天球画像を１以上のビットレートで符号化し、キューブストリームを生成する。エンコーダ２３４は、各ビットレートのキューブストリームをファイル生成部２３７に供給する。
【０１１０】
音声処理部２３５は、図１１のマイクロフォン２１１Ｂから供給される音声を取得し、エンコーダ２３６に供給する。エンコーダ２３６は、音声処理部２３５から供給される音声を符号化し、オーディオストリームを生成する。エンコーダ２３６は、オーディオストリームをファイル生成部２３７に供給する。
【０１１１】
ファイル生成部２３７は、各ビットレートのキューブストリーム、およびオーディオストリームを、セグメント単位でファイル化する。ファイル生成部２３７は、その結果生成されたセグメントファイルをアップロード部２３８に供給する。
【０１１２】
ファイル生成部２３７はまた、ISOBMFFファイルを生成する。具体的には、ファイル生成部２３７は、ISOBMFFファイルに、後述するstereo_packing_typeを含むRegionMappingBoxを生成する。
【０１１３】
アップロード部２３８は、ファイル生成部２３７から供給されるセグメントファイルとISOBMFFファイルとを、図１１の配信サーバ２１３にアップロードする。
【０１１４】
次に、図１３を参照して生成装置２１２の処理について説明する。図１３は、生成処理を説明するフローチャートである。
【０１１５】
スティッチング処理部２３１は、フレームごとに、図１１のカメラ２１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部２３２に供給する。
【０１１６】
マッピング処理部２３２は、cube mappingにより、スティッチング処理部２３１から供給される撮影画像から全天球画像を生成する。すなわち、マッピング処理部２３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部２３２は、全天球画像をregion-wise packing処理部２３３に供給する。
【０１１７】
region-wise packing処理部２３３はステップＳ１において、全天球画像はステレオスコピックであるかを判定する。全天球画像がステレオスコピックである場合、ステップＳ２においてregion-wise packing処理部２３３は、ユーザの指示に基づいてステレオパッキング手法は何であるかを判定する。すなわち、ステレオパッキング手法として手法１乃至手法３のいずれを採用するのかが判定される。
【０１１８】
採用するステレオパッキング手法が手法１(図３または図４に示されるパッキング手法)である場合、ステップＳ３においてregion-wise packing処理部２３３は、ユーザの指示に基づいてパッキング手法としてregion-wise packingを用いるかを判定する。
【０１１９】
パッキング手法としてregion-wise packingを用いる場合、ステップＳ４においてregion-wise packing処理部２３３は、L viewとR viewに共通のregion-wise packing処理を行う。そしてregion-wise packing処理部２３３は、L viewとR viewのpacked frameを生成し、フレームごとにパッキングを行う。ステップＳ５においてエンコーダ２３４はこのフレームをエンコードし、ファイル生成部２３７に供給する。
【０１２０】
ステップＳ６においてファイル生成部２３７は、フレームのパッキングのアレンジメントに応じたStereoVideoBoxを生成する。そのstereo_indication_typeに、パッキングタイプに応じて、値３または値４（図５）が設定される。
【０１２１】
ステップＳ７においてファイル生成部２３７は、packing_flag＝1（region-wise packingを用いる）とし、stereo_packing_type＝0（手法１）とする。そしてファイル生成部２３７は、これらを含むRegionMappingBoxを生成する。
【０１２２】
ステップＳ３においてregion-wise packingが用いられないと判定された場合、ステップＳ８においてregion-wise packing処理部２３３は、L viewとR viewのprojected frame（例えば図１のprojected frame１４）について、フレームごとにパッキングを行う。ステップＳ９においてエンコーダ２３４は、パッキングされたフレームをエンコードする。
【０１２３】
ステップＳ１０においてファイル生成部２３７は、フレームのパッキングのアレンジメントに応じたStereoVideoBoxを生成する。すなわちステップＳ６における場合と同様に、そのstereo_indication_typeに、パッキングタイプに応じて、値３または値４（図５）が設定される。
【０１２４】
ステップＳ１１においてファイル生成部２３７は、packing_flag＝0（region-wise packingを用いない）とし、stereo_packing_type＝0（手法１）とする。そしてファイル生成部２３７は、これらを含むRegionMappingBoxを生成する。
【０１２５】
ステップＳ２においてステレオパッキングの手法が手法２（全天球ステレオスコピック画像のフレーム内の領域ごとにL view画像とR view画像をパッキングする）であると判定された場合、処理はステップＳ１２に進む。ステップＳ１２においてregion-wise packing処理部２３３は、領域ごとにL viewとR viewをペアでパッキングし、packed frameを生成する。ステップＳ１３においてエンコーダ２３４は、packed frameをエンコードする。
【０１２６】
ステップＳ１４においてファイル生成部２３７は、領域ごとのL viewとR viewのペアのパッキングアレンジメントに応じたStereoVideoBoxを生成する。またそのstereo_indication_typeに、パッキングタイプに応じて、値３または値４（図５）が設定される。ステップＳ１５においてファイル生成部２３７は、packing_flag＝1（region-wise packingを用いる）とし、stereo_packing_type＝１（手法２）とする。そしてファイル生成部２３７は、これらを含むRegionMappingBoxを生成する。
【０１２７】
ステップＳ２においてステレオパッキングの手法が手法３（全天球ステレオスコピック画像のフレーム内の任意の領域にL view画像とR view画像をパッキングする）であると判定された場合、処理はステップＳ１６に進む。ステップＳ１６においてregion-wise packing処理部２３３は、領域ごとにL viewとR viewを任意の位置にパッキングし、packed frameを生成する。ステップＳ１７においてエンコーダ２３４は、packed frameをエンコードする。
【０１２８】
ステップＳ１８においてファイル生成部２３７は、packing_flag＝1（region-wise packingを用いる）とし、stereo_packing_type＝２（手法３）とする。そしてファイル生成部２３７は、これらを含むRegionMappingBoxを生成する。
【０１２９】
ステップＳ１において全天球画像はステレオスコピックではないと判定された場合、ステップＳ１９において、region-wise packing処理部２３３は、ユーザの指示に基づいてパッキング手法としてregion-wise packingを用いるかを判定する。
【０１３０】
パッキング手法としてregion-wise packingを用いる場合、ステップＳ２０においてregion-wise packing処理部２３３は、region-wise packing処理を行い、packed frameを生成する。ステップＳ２１においてエンコーダ２３４は、packed frameをエンコードする。
【０１３１】
ステップＳ２２において生成部２３７は、packing_flag＝1（region-wise packingを用いる）とし、stereo_packing_type＝０（手法１）とする。そしてファイル生成部２３７は、これらのパッキング情報を含むRegionMappingBoxを生成する。
【０１３２】
ステップＳ１９において、パッキング手法としてregion-wise packingが用いられないと判定された場合、ステップＳ２３においてエンコーダ２３４は、projected frameをエンコードする。
【０１３３】
ステップＳ２4において生成部２３７は、packing_flag＝0（region-wise packingを用いない）とし、stereo_packing_type＝０（手法１）とする。そしてファイル生成部２３７は、これらを含むRegionMappingBoxを生成する。
【０１３４】
ステップＳ７，ステップＳ１１，ステップＳ１５，ステップＳ１８，ステップＳ２２，ステップＳ２４の処理の後、ステップＳ２５においてファイル生成部２３７は、ISOBMFF生成処理を行う。
【０１３５】
ファイル生成部２３７により作成されたファイルは、アップロード部２３８から配信サーバ２１３にアップロードされる。
【０１３６】
次に、図１３の生成処理フローチャートのステレオパッキング手法１乃至手法３の処理の具体例を以下に説明する。
【０１３７】
最初に、stereo_packing_type＝0 (手法1：従来のside by side, top & bottom等を用いたフレームごとのパッキング)の例について説明する。
【０１３８】
この場合、ISOBMFFで規定されているstvi boxを用い、side by side, top & bottom等がstereo_indication_typeで配信される（図１３のステップＳ６，Ｓ１０）。すなわち、このstvi boxにより、projected frame、もしくはpacked frameがside by side, top & bottom等のパッキングによって伝送される。この場合、packing_flagは任意の値でよい。stviが無い、つまりモノスコピックである場合にも、stereo_packing_type＝0が配信される。
【０１３９】
図１４は、ステレオパッキングタイプが０である場合のパッキングを説明する図である。すなわち、図１４には、stereo_packing_type＝0の場合のcube mapping projectionの例が示されている。projection structureである立方体１２からL view, R viewで共通の面配置であるprojected frame１４が生成され、RegionMappingBoxでbox情報が配信される。packed frameが使用されないため、packing_flag＝0とされる。
【０１４０】
図１４の立方体１２の中心をＯとし、中心Ｏからright faceに対する垂線３２５を垂らしたとき、その垂線３２５がright faceと交差する点を中心Ｃとする。垂線３２５と、中心Ｏからfront faceに垂らした垂線との間の角度がcenter_yawであり、垂線３２５と、垂線３２５を含むbottom faceと平行な面との角度がcenter_pitchである。
【０１４１】
中心Ｏからright faceの左辺３１１に向かう垂線３２３と、右辺３１２に向かう垂線３２４との間の角度がobject_widthである。中心Ｏからright faceの上辺３１３に向かう垂線３２１と、下辺３１４に向かう垂線３２２との間の角度がobject_heightである。
【０１４２】
例えば、center_yaw, center_pitchの値によってどの面であるかが示される。center_yawが0ならfront face、90ならleft face、-90ならright face、等となる。
【０１４３】
図１４の例では、L viewとR viewのprojected frame１４がtop & bottomのフレーム３５１としてパッキングされ、図５に示されるように、stviのstereo_indication_typeで値４（top & bottom）として配信される。
【０１４４】
図１４に示されるように配信が行われる場合、そのbox情報は図１５に示されるようになる。図１５は、ステレオパッキングタイプが０である場合のフィールドを説明する図である。projection_formatは１、packing_flagは０、stereo_packing_typeは０、num_regionsは６、FOV_flagは１、center_yaw, center_pitch, object_width, object_heightは、それぞれ−９０，０，９０，９０とされている。なお、図１５のフィールド値、center_yaw, center_pitch, object_width, object_heightとしては、cube mapping projectionのright faceについての情報のみが示されている。
【０１４５】
projected frameの画角は、1920 x 1440となっており、これは例えばtrack header box (tkhd’)においてwidth, heightフィールドで配信される。
【０１４６】
次に、stereo_packing_type＝1 (手法2：全天球ステレオスコピック画像のフレーム内表示領域ごとのL viewとR viewのパッキング)の例について説明する。
【０１４７】
この場合、ISOBMFFで規定されているstvi boxを用いて、side by side, top & bottom等がstereo_indication_typeで配信される。packed frame内でL viewとR viewのペアが1領域として配信され、その領域内においてstereo_indication_typeに従いside by side, top & bottom等のパッキングが伝送される。この場合、packing_flag＝1で運用される。
【０１４８】
図１６は、ステレオパッキングタイプが１である場合のパッキングを説明する図である。また、図１７は、ステレオパッキングタイプが１である場合のフィールドを説明する図である。
【０１４９】
図１６は、stereo_packing_type＝1の場合のcube mapping projectionの例を表している。この例では、立方体１２から各面のL viewとR viewのペアがside by sideで隣接するpacked frame４０１が生成され、packing情報がRegionMappingBoxで配信される。このpacked frame４０１ではL viewとR viewがペアとして、大きな領域４１１としてまとめて伝送される。stviのstereo_indication_typeでside by sideが配信される。
【０１５０】
RegionMappingBoxのフィールドの情報は図１７に示されている。projection_formatは１、packing_flagは１、stereo_packing_typeは１、num_regionsは６、FOV_flagは１とされている。center_yaw, center_pitch, object_width, object_heightは、それぞれ−９０，０，９０，９０とされている。rect_left, rect_top, rect_width, rect_height は、それぞれ０，９６０，９６０，４８０とされている。いずれもright faceのフィールド値のみが示されている。なお、rect_left, rect_top, rect_width, rect_height は、L viewとR viewを領域４１１（図１６）でside by sideでパッキングした値となっている。packed frameの画角は、1920 x 1440となっている。
【０１５１】
なお、L viewとR viewはペア毎に、単独ストリームとしてエンコードし、ISOBMFFの複数トラックで伝送してもよい。
【０１５２】
正距円筒プロジェクションを使用することも勿論可能である。図１８乃至図２０は、図８のシンタックスを用いた、stereo_packing_type＝1の場合の正距円筒プロジェクションの例を示す。図１８は、正距円筒図法のプロジェクションを説明する図であり、図１９は、正距円筒図法のプロジェクションのパッキングを説明する図であり、図２０は、正距円筒図法のプロジェクションでパッキングした場合におけるフィールドを説明する図である。
【０１５３】
図１８に示されるように、球１１の中心Ｏから面９１の下辺４３２の両端を見た角度Awがobject_width、球１１の中心Ｏから面９１の上辺４３１と下辺４３２を見た角度Ahがobject_heightである。center_yawとcenter_pitchは、図１０を参照して説明した場合と同様である。すなわち、球１１の中心Ｏから面９１に垂らした垂線９２が中心Ｏを通るｘ軸（図示せず）となす角度がcenter_yaw、垂線９２と垂線９２を含む水平面とのなす角度がcenter_pitchである。
【０１５４】
図１９に示されるように、正距円筒プロジェクションのprojected frame４６１がＡ，Ｂ，Ｃ，Ｄ，Ｅの領域に５分割されている。正面付近の領域(領域Ｂ)に比較して重要ではないと考えられる上下の領域(領域Ｄ,Ｅ)は縮小してパッキングし、packed frame４７１が生成されている。画角は1920 x 1440である。背後の領域(領域Ａ,Ｃ)はまとめてパッキングされている。すなわち、領域４７２に、左から順番に、領域ＣのL view、領域ＡのL view、領域ＣのR view、領域ＡのR viewが配置されている。これらはそれぞれ、図１９においてＣ_Ｌ，Ａ_Ｌ，Ｃ_Ｒ，Ａ_Ｒと略記されている。すなわち、これらにおいて、先の文字は領域を表し、後の文字はviewを表している。
【０１５５】
領域Ａと領域Ｃはprojected frame４６１では分割されているが、全天球画像としては、projection structureとしての球１１において連続領域である。領域Ａと領域Ｃを１つの領域とみなすため、num_regions＝4となる。領域Ａと領域Ｃをまとめてパッキングすることで、本パッキング手法により期待できる符号化効率向上に加え、領域Ｂを中心とした視線移動をスムーズにするという効果を得ることができる。
【０１５６】
図２０に示されるように、projection_formatは０、packing_flagは１、stereo_packing_typeは１、num_regionsは４、FOV_flagは０とされている。center_yaw, center_pitch, object_width, object_heightは、それぞれ１８０，０，１８０，１３５とされている（領域Ａと領域Ｃ）。rect_left, rect_top, rect_width, rect_height は、それぞれ１２８０，１６０，６４０，１２８０とされている（領域４７２）。rect_widthは、L viewとR viewをside by sideで領域４７２に１つにまとめてパッキングした値となっている。packed frameの画角は、1920 x 1440となっている。
【０１５７】
変形例として、図２１と図２２のシンタックスとセマンティクスを用いることで、図２３と図２４に示されるように、L viewとR viewのペア領域ごとにパッキングアレンジメント(side by side, top & bottom等)を変更することができる。また、この時、stviによるstereo_indication_typeの配信は行わない。
【０１５８】
図２１は、リージョンマッピングボックスの構成例を示す図であり、図２２は、リージョンマッピングボックスのフィールドを説明する図である。また、図２３は、パッキングアレンジメントの変更を説明する図であり、図２４は、パッキングアレンジメントを変更した場合のフィールドを説明する図である。
【０１５９】
図２１のstereo_packing_typeとstereo_indicationフィールド以外のセマンティクスは、基本的に図８の場合と同様である。stereo_packing_typeフィールドは、ステレオパッキング方式を表し、図２２に示されるように、その値０はモノスコピックを意味する。値１は、全天球ステレオスコピック画像のフレーム毎のL viewとR viewのパッキングを意味する。値２は、全天球ステレオスコピック画像のフレーム内領域ごとのL viewとR viewのパッキングを意味する。値３は、全天球ステレオスコピック画像のフレーム内領域のL viewとR viewの任意の配置によるパッキングを意味する。
【０１６０】
stereo_packing_type が１もしくは２である場合、stereo_indication が記述される。stereo_indicationフィールドは、stereo_packing_type＝1もしくは2のときに存在し、値1のときはframeごとに、値２のときはpacked frameのL viewとR viewのペア領域ごとに、side by sideやtop & bottomといったパッキング方法を配信することができる。図２２に示されるように、stereo_indication の値３はside by sideのパッキングを意味し、値４はtop & bottomのパッキングを意味する。stereo_indicationで配信できるパッキングアレンジメントは、side by side, top & bottomに限定されるものではない。本変形例のようにstereo_indicationによる配信を行う場合には、stviによるstereo_indication_typeの配信は行わなくてもよい。この時、図１３および図３４(後述する)におけるステレオビデオボックスに関わるステップは、RegionMappingBoxのstereo_packing_typeとstereo_indicationの値の設定で代替される。
【０１６１】
なお、L viewとR viewのペア領域ごとにパッキングアレンジメントを変更しない場合、forループの中のstereo_indicationでシグナルする代わりに、forループの外でシグナルしてもよい。
【０１６２】
図２３のpacked frame５０１では、left face, back face, top faceおよびfront faceが領域５０２にtop & bottomでパッキングされており、right faceとbottom faceが領域５０３にside by sideでパッキングされている。
【０１６３】
図２４に示されるように、projection_formatは１、packing_flagは１、stereo_packing_typeは２、num_regionsは６、FOV_flagは１とされている。left face のcenter_yaw, center_pitch, object_width, object_heightは、それぞれ９０，０，９０，９０とされ、stereo_indicationは４（top & bottom）とされている。rect_left, rect_top, rect_width, rect_height は、それぞれ０，０，４８０，９６０とされている。
【０１６４】
right face のcenter_yaw, center_pitch, object_width, object_heightは、それぞれ−９０，０，９０，９０とされ、stereo_indicationは３（side by side）、right faceのrect_left, rect_top, rect_width, rect_height は、それぞれ０，９６０，９６０，４８０とされている。なお、rect_widthは、L viewとR viewをside by sideで１つにまとめてパッキングした領域５０３の値となっている。
【０１６５】
このように、center_yaw, center_pitch, object_width, object_height、rect_left, rect_top, rect_width, rect_heightは、cube mapping projectionの立方体１２のleft faceおよびright faceについての情報のみが記載されている。packed frameの画角は、1920 x 1440となっている。
【０１６６】
次に、stereo_packing_type＝2 (手法3：全天球ステレオスコピック画像のフレーム内表示領域のL view, R view任意配置によるパッキング)の例について説明する。
【０１６７】
この例では、ISOBMFFで規定されているstvi boxは用いられない。各領域のL viewと R viewがpacked frame内に任意に配置され、伝送される。この場合、packing_flag＝1で運用される。
【０１６８】
図２５は、ステレオパッキングタイプが２である場合のパッキングを説明する図であり、図２６は、ステレオパッキングタイプが２である場合のフィールドを説明する図である。
【０１６９】
図２５のstereo_packing_type＝2の場合のcube mapping projectionの例では、立方体１２の各面のL view画像と R view画像を任意の位置に配置してpacked frame５１１が生成され、伝送される。そして、packing情報がRegionMappingBoxで配信される。なお、図２６はcube mapping projectionのright faceについてのみの例である。
【０１７０】
図２６の例においては、projection_formatは１、packing_flagは１、stereo_packing_typeは２、num_regionsは６、FOV_flagは１とされている。right face のcenter_yaw, center_pitch, object_width, object_heightは、それぞれ−９０，０，９０，９０とされている。right faceのL viewのrect_left, rect_top, rect_width, rect_height は、それぞれ９６０，４８０，４８０とされ、R viewのrect_left_r, rect_top_r, rect_width_r, rect_height_r は、それぞれ１４４０，０，４８０，４８０とされている。packed frameの画角は、1920 x 1440である。
【０１７１】
変形例として、図２７と図２８のシンタックスとセマンティクスを用いると、領域ごとにモノスコピックとステレオスコピックを混在させることができる。図２７は、リージョンマッピングボックスの構成例を示す図であり、図２８は、リージョンマッピングボックスのフィールドを説明する図である。
【０１７２】
図２７のRegionMappingBoxの構成は、基本的に図８に示される場合と同様である。図８の例の場合においては、streo_packing_flag＝2であるときに、rect_width_r, rect_height_r, rect_left_r, rect_top_rが記述される。これに対して図２７の例の場合、これらは、mono_regionが記述された後に、mono_regionが１でなければ記述される。図２８に示されるように、mono_regionが0である領域はステレオスコピック、1である領域はモノスコピックとなる。mono_regionフィールド以外のフィールドは、図８の場合と同様である。
【０１７３】
例えば、cube mapping projectionにおいて、top faceとbottom faceのみモノスコピック、それ以外のface(面)がステレオスコピックとしてpacked frameを生成し、RegionMappingBoxで配信することができる。このとき、全天球画像で重要な水平方向(cube mapping projectionならfront face、left face、back faceおよびright face)の画像はステレオスコピックとし、相対的に重要ではないtop faceとbottom faceはモノスコピックとすることで、伝送容量の削減や水平方向の映像の解像度向上といった効果を奏することができる。
【０１７４】
さらに、変形例として、図２９と図３０のシンタックスとセマンティクスを用いると、projected frameの１領域に対し、packed frameがL viewと R viewのみでなく、3つ以上のviewに対する領域を持つことができる。図２９は、リージョンマッピングボックスの構成例を示す図であり、図３０は、リージョンマッピングボックスのフィールドを説明する図である。
【０１７５】
なお、図２９と図３０で明示されているフィールドのセマンティクス以外のセマンティクスは、図８の場合と同様である。図２９においては、図８のrect_width_r,rect_height_r,rect_left_r,rect_top_rに代えて、rect_width_av,rect_height_av,rect_left_av,rect_top_avが記述されている。
【０１７６】
図３０に示されるように、stereo_packing_typeは、ステレオパッキング方式を表し、その値０は、side by side,top & bottom等を用いたフレームごとのパッキングを意味する。その値１は、全天球ステレオスコピック画像のフレーム内領域ごとのL viewとR viewのパッキングを意味する。すなわち、値１は図６に示したパッキングを意味する。値２は、全天球ステレオスコピック画像のフレーム内領域の複数viewの任意の配置によるパッキングを意味する。すなわち、値２は図７に示したパッキングを意味する。num_additional_viewは、領域ごとのviewの数を示す。viewの総数は、num_additional_view+1である。
【０１７７】
rect_width_av,rect_height_av,rect_left_av,rect_top_avは、それぞれpacked frameにおける追加viewの領域の幅、高さ、ｘ座標、およびｙ座標を意味する。
【０１７８】
例えば、cube mapping projectionにおいて、L viewと R viewに加えてCenter viewを設けることで、ステレオスコピック表示の場合にはL viewとR viewを使用し、モノスコピック表示の際にCenter viewを使用する、といったことが可能となる。なお、stviのstereo_indication_typeを拡張することで、stereo_packing_type＝0, 1の場合でも実現可能である。
【０１７９】
以上においては、projected frameにおける領域の位置とサイズ情報は球座標系で表現した例を示したが、２次元座標系で表現してもよい。例えば、図８と図９のシンタックスとセマンティクスにおいて、projected frameにおける領域の位置とサイズを２次元座標系で表現した例を図３１と図３２に示す。図３１は、リージョンマッピングボックスの構成例を示す図であり、図３２は、リージョンマッピングボックスのフィールドを説明する図である。なお、図３１と図３２で明示されているフィールドのセマンティクス以外のセマンティクスは、図８と図９に示す場合と同様である。
【０１８０】
図３１の例においては、図８の例におけるFOV_flagが省略されており、また図８におけるcenter_yaw,center_pitch,object_width,object_heightに代えて、pf_region_width, pf_region_height, pf_region_left, pf_region_topが使用されている。図３２に示されるように、pf_region_width, pf_region_height, pf_region_left, pf_region_topは、それぞれprojected frameにおける領域の幅、高さ、ｘ座標、およびｙ座標を意味する。
【０１８１】
また以上においては、例としてcube mapping projectionや正距円筒プロジェクションについて説明したが、それ以外のプロジェクション方式(例えばTruncated Square Pyramid、シリンダ等)にも対応可能である。
【０１８２】
さらに、stereo_packing_type＝0, 1の例（図１４と図１５や図１６と図１７の例）において、stviのstereo_indication_typeが、side by side, top & bottomである場合について説明している。しかし、それ以外のcolumn interleave、row interleaveやchecker board等にも対応可能である。パッキングされるのはL viewと R viewに限らない。例えばCenter viewなど他のviewでもよい。
【０１８３】
＜再生装置（図３３、図３４）＞
次に、再生装置２１４の構成例について説明する。図３３は、再生装置の構成例を示すブロック図である。再生装置２１４は、ファイル取得部６０１、ストリーム抽出部６０２、デコーダ６０３、projected frame生成部６０４，マッピング処理部６０５、描画部６０６、受け取り部６０７、視線検出部６０８、およびカメラ２１４Ａを有している。
【０１８４】
ファイル取得部６０１は、図１１の配信サーバ２１３から再生対象のファイルを取得する。ストリーム抽出部６０２は、ファイル取得部６０１により取得されたファイルから、ビデオストリームを抽出する。デコーダ６０３は、ストリーム抽出部６０２により抽出されたビデオストリームをデコードする。projected frame生成部６０４は、デコーダ６０３によりデコードされた画像データからprojected frameを生成する。
【０１８５】
マッピング処理部６０５は、マッピング情報に基づいて、projected frame生成部６０４から供給される全天球画像を立方体１２の６面のそれぞれにテクスチャとしてマッピングする。
【０１８６】
描画部６０６は、マッピング処理部６０５から供給される３Ｄモデル画像を、視線検出部６０８から供給される視聴位置を焦点として、視聴者の視野範囲に透視投影することにより、視聴者の視野範囲の画像を表示画像として生成する。描画部６０６は、表示画像をヘッドマウントディスプレイ２１５に供給する。
【０１８７】
受け取り部６０７は、図１１のジャイロセンサ２１５Ｂの検出結果を、ヘッドマウントディスプレイ２１５から受け取り、視線検出部６０８に供給する。
【０１８８】
視線検出部６０８は、受け取り部６０７から供給されるジャイロセンサ２１５Ｂの検出結果に基づいて、３Ｄモデルの座標系における視聴者の視線方向を決定する。また、視線検出部６０８は、カメラ２１４Ａからマーカ２１５Ａの撮影画像を取得し、その撮影画像に基づいて、３Ｄモデルの座標系における視聴位置を検出する。視線検出部６０８は、３Ｄモデルの座標系における視聴位置と視線方向に基づいて、３Ｄモデルの座標系における視聴者の視野範囲を決定する。視線検出部６０８は、視聴者の視野範囲と視聴位置を描画部６０６に供給する。
【０１８９】
次に、図３４を参照して、再生装置２１４の動作について説明する。図３４は、再生処理を説明するフローチャートである。ファイル取得部６０１は、図１１の配信サーバ２１３から再生対象のファイルを取得する。
【０１９０】
ファイル取得部６０１はステップＳ５１において、RegionMappingBoxのstereo_packing_typeは何であるかを判定する。すなわち、ステレオパッキング手法は手法１（stereo_packing_type＝0）、手法２（stereo_packing_type＝1）、または手法３（stereo_packing_type＝2）のいずれであるかが判定される。ステレオパッキング手法が手法１（stereo_packing_type＝0）である場合、処理はステップＳ５２に進み、手法２（stereo_packing_type＝1）である場合、処理はステップＳ７０に進む。また、ステレオパッキング手法が手法３（stereo_packing_type＝2）である場合、処理はステップＳ７７に進む。
【０１９１】
ステップＳ５２においてファイル取得部６０１は、StereoVideoBoxは存在するかを判定する。StereoVideoBoxが存在すると判定された場合、ステップＳ５３においてファイル取得部６０１は、packing flagが何であるかを判定する。すなわち、packing flagが０である（region-wise packingが用いられていない）のか、１である（region-wise packingが用いられている）のかが判定される。判定結果に基づくストリームがストリーム抽出部６０２により抽出され、デコーダ６０３に供給される。
【０１９２】
packing flagが１の場合（region-wise packingが用いられている場合）、ステップＳ５４においてデコーダ６０３は、画像フレームをデコードする。ステップＳ５５においてprojected frame生成部６０４は、StereoVideoBoxとRegionMappingBoxのパッキング情報からL viewとR viewのprojected frameを生成する。
【０１９３】
ステップＳ５６においてマッピング部６０５は、全天球ステレオスコピック画像としてL view画像とR view画像をprojection structureにマッピングする。また描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０１９４】
ステップＳ５７において描画部６０６は処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像フレームではない場合、処理はステップＳ５４に戻り、ステップＳ５４乃至ステップＳ５６の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０１９５】
ステップＳ５３においてpacking flagが０である（region-wise packingが用いられていない）と判定された場合、ステップＳ５８においてデコーダ６０３は、画像フレームをデコードする。ステップＳ５９においてprojected frame生成部６０４は、StereoVideoBoxの情報からL viewとR viewのprojected frameを生成する。
【０１９６】
ステップＳ６０においてマッピング部６０５は、全天球ステレオスコピック画像としてL view画像とR view画像をprojection structureにマッピングする。描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０１９７】
ステップＳ６１において描画部６０６は、処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像フレームではない場合、処理はステップＳ５８に戻り、ステップＳ５８乃至ステップＳ６０の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０１９８】
ステップＳ５２においてStereoVideoBoxが存在しないと判定された場合、ステップＳ６２においてファイル取得部６０１は、packing flagが何であるかを判定する。すなわち、packing flagが値０なのか（region-wise packingが用いられていないのか）、値１なのか（region-wise packingが用いられているのか）が判定される。判定結果に基づくストリームがストリーム抽出部６０２により抽出され、デコーダ６０３に供給される。
【０１９９】
packing flagが１の場合（region-wise packingが用いられている場合）、ステップＳ６３においてデコーダ６０３は、画像フレームをデコードする。ステップＳ６４においてprojected frame生成部６０４は、RegionMappingBoxのパッキング情報からprojected frameを生成する。
【０２００】
ステップＳ６５においてマッピング部６０５は、全天球モノスコピック画像としてprojected frame をprojection structureにマッピングする。描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０２０１】
ステップＳ６６において描画部６０６は、処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像フレームではない場合、処理はステップＳ６３に戻り、ステップＳ６３乃至ステップＳ６５の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０２０２】
ステップＳ６２においてpacking flagが０である（region-wise packingが用いられていない）と判定された場合、ステップＳ６７においてデコーダ６０３は、画像フレームをデコードする。
【０２０３】
ステップＳ６８においてマッピング部６０５は、全天球モノスコピック画像としてprojected frameをprojection structureにマッピングする。描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０２０４】
ステップＳ６９において描画部６０６は、処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像フレームではない場合、処理はステップＳ６７に戻り、ステップＳ６７とステップＳ６８の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０２０５】
ステップＳ５１においてステレオパッキング手法が手法２（stereo_packing_type＝１）であると判定された場合、ステップＳ７０においてファイル取得部６０１は、StereoVideoBoxは存在するかを判定する。StereoVideoBoxが存在すると判定された場合、ステップＳ７１においてファイル取得部６０１は、packing flagが何であるかを判定する。すなわち、packing flagが値０である（region-wise packingが用いられていない）のか、値１である（region-wise packingが用いられている）のかが判定される。判定結果に基づくストリームがストリーム抽出部６０２により抽出され、デコーダ６０３に供給される。
【０２０６】
packing flagが１の場合（region-wise packingが用いられている場合）、ステップＳ７２においてデコーダ６０３は、画像フレームをデコードする。ステップＳ７３においてprojected frame生成部６０４は、StereoVideoBoxとRegionMappingBoxのパッキング情報を取得し、それからL viewとR viewのprojected frameを生成する。
【０２０７】
ステップＳ７４においてマッピング部６０５は、全天球ステレオスコピック画像としてL viewとR viewのprojected frameをprojection structureにマッピングする。描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０２０８】
ステップＳ７５において描画部６０６は、処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像ではない場合、処理はステップＳ７２に戻り、ステップＳ７２乃至ステップＳ７４の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０２０９】
ステップＳ７０においてStereoVideoBoxが存在しないと判定された場合、およびステップＳ７１においてpacking flagが０である（region-wise packingが用いられていない）と判定された場合、ステップＳ７６においてファイル取得部６０１は、取得したファイルは不正なファイルであるため処理を終了する。
【０２１０】
ステップＳ５１においてステレオパッキング手法が手法３（stereo_packing_type＝２）であると判定された場合、ステップＳ７７においてファイル取得部６０１は、packing flagが何であるのかを判定する。すなわち、packing flagが値０である（region-wise packingが用いられていない）のか、値１である（region-wise packingが用いられている）のかが判定される。判定結果に基づくストリームがストリーム抽出部６０２により抽出され、デコーダ６０３に供給される。
【０２１１】
packing flagが１の場合（region-wise packingが用いられている場合）、ステップＳ７８においてデコーダ６０３は、画像フレームをデコードする。ステップＳ７９においてprojected frame生成部６０４は、RegionMappingBoxのパッキング情報からL viewとR viewのprojected frameを生成する。
【０２１２】
ステップＳ８０においてマッピング部６０５は、全天球ステレオスコピック画像としてL viewとR viewのprojected frameをprojection structureにマッピングする。描画部６０６は視線検出部６０８からの視線情報に基づいて、視線に対応する方向の画像をレンダリングし、ヘッドマウントディスプレイ２１５に供給し、表示させる。
【０２１３】
ステップＳ８１において描画部６０６は、処理したのが最後の画像フレームであるかを判定する。処理したのがまだ最後の画像ではない場合、処理はステップＳ７８に戻り、ステップＳ７８乃至ステップＳ８０の処理が繰り返される。処理したのが最後の画像フレームであると判定された場合、処理は終了する。
【０２１４】
ステップＳ７７においてpacking flagが０である（region-wise packingが用いられていない）と判定された場合、ステップＳ８２においてファイル取得部６０１は、取得したファイルは不正なファイルであるため処理を終了する。
【０２１５】
＜全天球ステレオスコピック画像パッキングのプロパティ情報の配信（図３５乃至図３７）＞
本技術のステレオパッキング手法に関わるプロパティ情報は、VR Information Boxとして、図３５と図３６に示されるようにまとめて配信することができる。VR Information Boxは、例えばISOBMFFで規定されるScheme Information Box (schi’)の下にSchemeType＝’vrif’のときに配置されるが、その場所への配置に限定するものではない。
【０２１６】
図３５は、VRインフォメーションボックスの構成例を示す図であり、図３６は、VRインフォメーションボックスのフィールドを説明する図である。図３５に示されるように、VR Information Boxには、projection_format,stereo_packing_type,coordinate_systemが記述されている。
【０２１７】
図３６に示されるように、projection_formatは、プロジェクション方式を表し、その値０は、正距円筒プロジェクションを意味し、値１は、cube mapping projectionを意味する。stereo_packing_typeは、図９における場合と同様である。すなわち、stereo_packing_typeは、ステレオパッキング方式を表し、その値０は、stviのstereo_indication_typeに従う。stviが無ければモノスコピックを意味する。stviがある場合は、side by side、top & bottom等を用いたフレームごとのパッキング、すなわち、図３と図４に示したパッキングであることを意味する。stereo_packing_typeの値１は、全天球ステレオスコピック画像のフレーム内表示領域ごとのL viewとR viewのパッキングを意味し、値２は、全天球ステレオスコピック画像のフレーム内表示領域のL viewとR viewの任意の配置によるパッキングを意味する。
【０２１８】
coordinate_systemは、projection structureとprojected frameの領域表現の座標系を表し、その値０は、２次元座標系を意味し、その値１は、球座標系を意味する。
【０２１９】
再生装置２１４は、VR Information Boxを参照することにより、全天球画像に関連する情報をコンテンツ再生に先駆けてまとめて取得することが可能となる。つまり、どの方式のステレオパッキングが使用されているのか、領域の位置とサイズはprojected frameの２次元座標系で表現されているのか、projected structureの球座標系で表現されているか、といったことを、まとめて取得することが可能となる。
【０２２０】
なお、VR Information Boxに格納される情報は、ステレオパッキング方式やprojected frameの領域位置とサイズの座標系情報に限定されるものではなく、また、全天球画像に関する情報に制限されず、オーディオや字幕等に関する情報を格納してもよい。
【０２２１】
以上においては、ISOBMFFの例を説明したが、本技術はMEPG-DASH (ISO/IEC 23009-1)を用いた配信にも適用可能である。図３７は、DASHを適用したMPDファイルの例を示す図である。図３７の各AdaptationSetにおいて、schemeIdUri＝”urn：mpeg：mpegB：cicp：VideoFramePackingType”のEssentialPropertyで、フレームパッキング方式が3 (side by side)であることが配信される。schemeIdUri＝”urn：mpeg：dash：vr：ProjectionType”のEssentialPropertyのvalue＝”cube”によって全天球画像がキューブプロジェクションマッピングによるものであることが示される。さらに、２番目のAdaptationSetでは、schemeIdUri＝”urn：mpeg：dash：vr：StereoPackingType”のEssentialPropertyによってステレオパッキング方式が配信される。このEssentialPropertyにおけるvalueは、stereo_packing_typeと同じセマンティクスを有する。
【０２２２】
１番目のAdaptationSetでは、従来と同様のフレームごとのside by sideのパッキングであることが配信される。なお、このAdaptationSetにおいて、schemeIdUri＝”urn：mpeg：dash：vr：StereoPackingType” のSupplementalPropertyを用いてステレオパッキング方式が”0” (フレームごとのパッキング) であることを明示的に配信してもよい。
【０２２３】
２番目のAdaptationSetでは、ステレオパッキング方式は”1”であり、フレームパッキング方式と合わせてpacked frameの領域ごとのside by sideのパッキングであることが配信される。DASHクライアントは、例えば自身が対応しているステレオパッキングの方式に応じて、AdaptationSet, Representationを選択、取得し再生を行うことができる。
【０２２４】
なお、EssentialPropertyのschemeIdUriに対応していないDASHクライアントは、このPropertyの書かれているAdaptationSet（もしくはRepresentationなどの場合もある）は無視しなければならない。また、SupplementalPropertyのschemeIdUriに対応していないDASHクライアントは、このProperty値を無視して、そのAdaptationSet(Representationなどの場合もあり)を利用してもよい。
【０２２５】
さらに、stereo_packing_type＝1 (手法2：全天球ステレオスコピック画像のフレーム内表示領域ごとのL viewとR viewのパッキング)の場合において、L viewとR viewのペアごとに単独ストリームとしてエンコードすることができる。そしてそれをISOBMFFのシングルトラックに格納し、MPEG-DASH (ISO/IEC 23009-1)によって伝送してもよい。
【０２２６】
schemeIdUri＝”urn：mpeg：dash：vr：StereoPackingType” のSupplementalPropertyによるステレオパッキング方式の配信に限らず、SupplementalProperty,もしくはEssentialPropertyによって、情報をDASH MPDファイルで配信することができる。例えばRepresentationで参照されるコンテンツがregion-wise packingを用いているか否か、projection structure/projected frameにおける領域情報が２次元座標系で表現されているか、球座標系で表現されているか、を配信することができる。また、region-wise packingが用いられている場合には、そのpacking情報をDASH MPDファイルで配信することができる。勿論、DASH MPDファイルにはさらにその他の情報を記述することができる。
【０２２７】
以上においては、主に画像の処理について説明したが、音声情報も画像情報とともに配信される。
【０２２８】
＜サブピクチャトラック化（図３８乃至図７４）＞
以上の例においては、全天球ステレオスコピック画像が１トラックに格納される。図３８は、全天球ステレオスコピック画像の１トラックへの格納を説明する図である。図３８の例においては、その左側に示されるL view画像とR view画像をside by sideに配置してフレームパッキングしたprojected frameから、その左右６面ずつの画像をregion-wise packingして、図の右側に示されるpacked frameが生成される。
【０２２９】
packed frameは、４×３個の領域で構成される。packed frameにおいては、最も左側の列に、left_L,back_L,right_Lの画像が、その右側の列に、left_R,back_R,right_Rの画像が、さらにその右側の列に、top_L,front_L,bottom_Lの画像が、最も右側の列に、top_R,front_R,bottom_Rの画像が、それぞれ配置されている。このpacked frameが１つのトラック(track)に格納される。なお、trackは、独立したAV（Audio Video）データを管理する単位である。
【０２３０】
これに対して、全天球ステレオスコピック画像を分割して複数トラックに格納することもできる。図３９は、全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。図３９に示されるように、L view画像とR view画像をside by sideに配置した、図の最も左側に示されるprojected frameの左右６面ずつの画像をregion-wise packingして、４×３個の領域で構成される、図の中央に示されるpacked frameが生成される。さらにこのpacked frameがサブピクチャトラック（sub-picture track）化され、この例では、表示領域が一致するL view画像とR view画像のペア（すなわちステレオペア）からなる６面の画像のそれぞれが、６個のトラックに分割して格納される。
【０２３１】
sub-picture trackに格納される画像のタイプには、ステレオスコピック再生が可能な画像と、モノスコピック再生だけが可能な画像とがある。ステレオスコピック再生が可能なsub-picture trackの画像は、図３９に示されるようになる。すなわち、この例では、表示領域が一致するL view画像とR view画像のペアからなる６面（top,left,front,right,back,bottom）の画像のそれぞれが、６個のトラックに分割して格納される。すなわち、left_Lとleft_R、top_Lとtop_R、back_Lとback_R、front_Lとfront_R、right_Lとright_R、bottom_Lとbottom_Rの画像のそれぞれが、６個のトラックに分割して格納される。
【０２３２】
一方、モノスコピック再生だけが可能なsub-picture trackの画像は、図４０に示されるようになる。図４０は、モノスコピック再生だけが可能なサブピクチャトラックの画像を説明する図である。図の最も左側に示されるprojected frameの左右６面ずつの画像をregion-wise packingして、４×３個の領域で構成される、図の中央に示されるpacked frameが生成されるのは、図３９に示される場合と同様である。図４０の例においては、このpacked frameがL view画像だけから構成される画像、すなわち、left_L,back_L,right_Lで構成される画像と、top_L,front_L,bottom_Lで構成される画像が、それぞれ異なるtrackに格納される。同様に、R view画像だけから構成される画像、すなわち、left_R,back_R,right_Rで構成される画像と、top_R,front_R,bottom_Rで構成される画像が、それぞれ異なるtrackに格納される。なお、このことは、region-wise packingしない場合にも実現可能である。
【０２３３】
sub-picture track化するための２つのregion-wise packing方法について以下に説明する。
【０２３４】
sub-picture track化するための第１のregion-wise packing方法においては、全天球ステレオスコピック画像がstereo_packing_type毎に分割され、sub-picture trackに格納される。すなわち、sub-picture track化するために、stereo_packing_typeを利用したregion-wise packingが行われる。
【０２３５】
具体的には、ステレオペアが格納されたsub-picture trackを構成する場合、stereo_packing_typeの値１のregion-wise packingが行われる。
【０２３６】
図４１は、ステレオパッキングタイプが１である場合のサブピクチャトラックの例を示す図である。この例においては、left_L,left_Rの１つのステレオペアからなる画像、back_L,back_Rとright_L.right_Rの２つのステレオペアからなる画像、およびtop_L,top_R、front_L,front_R、bottom_L,bottom_Rの３つのステレオペアからなる画像が、それぞれ３つの異なるトラック（sub-picture tack）に格納されている。
【０２３７】
図４１に示されるようにステレオペアが格納されたsub-picture trackを構成する場合、stereo_packing_typeの値が１である、例えば図６のＡに示されるような region-wise packingが行われる。図６のＡに示されるpacked frameにおいては、１つのsub-picture trackに格納されるleft_L,left_Rの１つのステレオペアが隣接して配置され、１つのsub-picture trackに格納されるback_L,back_Rとright_L.right_Rの２つのステレオペアが隣接して配置されている。さらに、１つのsub-picture trackに格納されるtop_Lとtop_R、front_Lとfront_R、bottom_Lとbottom_Rの３つのステレオペアが隣接して配置されている。
【０２３８】
このように、ステレオペアが格納されたsub-picture trackを構成する場合、ステレオペア、すなわち表示領域が一致するL view画像とR view画像が隣接し、さらに各sub-picture trackに格納されるステレオペアが隣接して配置されるようにregion-wise packingが行われる。これにより、ステレオペアをそのまま分割することができ、図４１に示されるようなsub-picture track化が可能となる。
【０２３９】
一方、L view画像だけ、またはR view画像だけをsub-picture trackに格納する場合、stereo_packing_type＝0またはstereo_packing_type＝2でregion-wise packingが行われる。あるいはregion-wise packingが適用されないようにすることもできる。
【０２４０】
図４２は、ステレオパッキングタイプが０である場合のサブピクチャトラックの例を示す図である。この例においては、left_Lの画像、top_L,front_L,bottom_Lの画像、right_L,back_Lの画像、left_Rの画像、top_R,front_R,bottom_Rの画像、right_R,back_Rの画像が、それぞれ６個のsub-picture trackに格納されている。
【０２４１】
図４２に示されるような、L viewの画像またはR viewの画像だけが格納されたsub-picture trackを構成する場合、stereo_packing_typeの値が０である、例えば図３のＡに示されるような region-wise packingが行われる。図３のＡに示されるpacked frameにおいては、１つのsub-picture trackに格納されるtop_L,front_L,bottom_Lの画像が左から２列目に隣接して配置され、１つのsub-picture trackに格納されるtop_R,front_R,bottom_Rの画像が右から３列目に隣接して配置されている。１つのsub-picture trackに格納されるright_L,back_Lの画像が、中央の行の３列目と４列目に隣接して配置され、１つのsub-picture trackに格納されるright_R,back_Rの画像が、中央の行の右から２列目と１列目に隣接して配置されている。さらに１つのsub-picture trackに格納されるleft_Lの画像が、中央の行の左から１列目に配置され、１つのsub-picture trackに格納されるleft_Rの画像が、中央の行の左から５列目に配置されている。これにより、図４２に示されるようなsub-picture track化が可能となる。
【０２４２】
図４３は、ステレオパッキングタイプが２である場合のサブピクチャトラックの例を示す図である。この例においては、top_Rの画像、left_Lの画像、bottom_Rの画像、top_L,front_L,bottom_Lの画像、front_R,right_Rの画像、right_L,backLの画像、back_R,left_Rの画像が、それぞれ７個のsub-picture trackに格納されている。
【０２４３】
図４３に示されるようなL viewの画像またはR viewの画像だけが格納されたsub-picture trackを構成する場合、stereo_packing_typeの値が２である、例えば図７のAに示されるようなregion-wise packingが行われる。図７のＡに示されるpacked frameにおいては、１つのsub-picture trackに格納されるtop_L,front_L,bottom_Lの画像が左から２列目に隣接して配置され、front_R,right_Rの画像が１行目の３列目と４列目に配置され、right_L,back_Lの画像が２行目の３列目と４列目に配置され、back_R,left_Rの画像が３行目の３列目と４列目に配置されている。top_Rの画像、left_Lの画像、bottom_Rの画像が、それぞれ１列目の１行目、２行目および３行目に配置されている。これにより、図４３に示されるようなsub-picture track化が可能となる。
【０２４４】
どのタイプのregion-wise packingが使用されたかは、stereo_packing_typeから確認することができる。コンテンツ生成時、コンテンツを分割しないで１trackを生成した後、別途、sub-picture track化する場合にこのフラグを参照することができ、有用である。
【０２４５】
sub-picture track化するための第２のregion-wise packing方法においては、領域のステレオペアが格納されたsub-picture trackを構成する場合、次のようなregion-wise packingが行われる。すなわち、表示領域が一致するリージョン（regions）のL view画像とR view画像（つまり、ステレオペアを構成するL view画像とR view画像）が、packed frameにおいて任意の連続矩形領域を形成するようにregion-wise packingが行われる。一方、L view画像またはR view画像だけが格納されたsub-picture trackを構成する場合、任意のregion-wise packingが行われるか、または、region-wise packingが適用されない。
【０２４６】
図４４は、連続矩形領域を形成するリージョンワイズパッキングを説明する図である。図４４のAに示されるように、L view画像とR view画像をside by sideに配置した、図中左側に示されるprojected frameの左右６面ずつの画像をregion-wise packingして、４×３個の領域で構成される、図中右側に示されるpacked frameが形成される。packed frameにおいては、領域のステレオペアleft_L,left_Rが、１つの連続矩形領域６３１を形成するように、この例では左右に隣接するように配置されている。
【０２４７】
以下同様に、top_L,top_Rのステレオペア、back_L,back_Rのステレオペア、front_L,front_Rのステレオペア、right_L,right_Rのステレオペア、およびbottom_L,bottom_Rのステレオペアが、左右に隣接して配置されている。この例では、packed frameの最も上の行の左側と右側、中央の行の左側と右側、最も下の行の左側と右側に、それぞれ、(left_L,left_R),(top_L,top_R),(back_L,back_R),(front_L,front_R),(right_L,right_R),(bottom_L,bottom_R)のステレオペアが配置されている。
【０２４８】
連続矩形領域は、例えば図４４のBに示されるように形成することもできる。この例においては、left_L,back_L,back_R,left_Rの２個のステレオペアを構成する４つのリージョンの画像が１つの連続矩形領域を形成している。この例では、ステレオペアを構成するリージョンの画像が隣接していないが、ステレオペアを構成するリージョンの画像が連続矩形領域内に配置されていればよい。
【０２４９】
なお、図４４の例においては連続矩形領域を横長としたが、縦長にすることもできる。
【０２５０】
このように、ステレオペア、すなわち表示領域が一致するL view画像とR view画像により、任意の連続矩形領域が形成されるようにregion-wise packingすることで、その連続矩形領域からステレオペアをそのまま分割することが可能となり、sub-picture track化が可能となる。
【０２５１】
図４５は、連続矩形領域を形成しないリージョンワイズパッキングを説明する図である。この例においては、左上から右下方向に、top_L,right_R,left_L,bottom_R,front_L,left_R,back_L,front_R,bottom_L,back_R,right_L,top_Rの各L view画像またはR view画像が配置されている。このような構成では、ステレオペアが連続領域を形成していないので、sub-picture track化が困難になる。
【０２５２】
連続矩形領域を形成するようにregion-wise packingされたpacked frameは、次のようにBoxに記述される。
【０２５３】
図４６は、リージョンワイズパッキングボックスの構成を示す図である。図４７は、リージョンワイズパッキングストラクトの構成を示す図であり、図４８は、レクトリージョンパッキングの構成を示す図である。図４９は、リージョンワイズパッキングストラクトとレクトリージョンパッキングのフィールドを説明する図である。図５０は、プロジェクトピクチャとパックドピクチャを説明する図であり、図５１は、プロジェクテッドピクチャを示す図である。
【０２５４】
図４６に示されるリージョンワイズパッキングボックス(RegionWisePackingBox)は、図３１に示されるRegionMappingBoxと等価であり、図３１のRegionMappingBoxの変形例である。この図４６のRegionWisePackingBoxに、リージョンワイズパッキングストラクト(RegionWisePackingStruct)が記述される。RegionWisePackingStructには、図４７に示されるように、num_regions,proj_picture_width,proj_picture_heightが記述される。また、ｉ番目のnum_regionsについて、packing_typeが記述されるとともに、packing_typeの値が０であれば、図４８に示されるレクトリージョンパッキング(RectRegionPacking)が記述される。図４８のRectRegionPackingには、proj_reg_width[i],proj_reg_height[i],proj_reg_top,proj_reg_left, packed_reg_width[i],packed_reg_height[i], packed_reg_top, packed_reg_leftが記述される。
【０２５５】
図４７のRegionWisePackingStructと図４８のRectRegionPackingのフィールドの意味は、図４９に示されている。
【０２５６】
RegionWisePackingStructにおけるnum_regionsは、リージョン(regions)の個数を表している。図５０に示されるように、リージョンは、図の左側のL view画像とR view画像をside by sideにフレームパッキングした、プロジェクテッドピクチャ(projected picture)の有効画像領域であるリージョンの数を表している。この数は、図の右側のパックドピクチャ(packed picture)のリージョンの数に等しい。図５０の例においては、リージョンの数は１２個である。proj_picture_widthは、プロジェクテッドピクチャ(projected picture)の幅を表し、proj_picture_heightは、プロジェクテッドピクチャの高さを表す。
【０２５７】
すなわちこの例では、L view画像とR view画像をside by sideにフレームパッキングした画像がプロジェクテッドピクチャとされる。この点、図５１に示されるように、side by sideにフレームパッキングされる前のL view画像またはR view画像をprojected pictureとし、その幅をproj_picture_widthとし、その高さをproj_picture_heightとする例と異なっている。
【０２５８】
図４９に示されるように、packing_type[i]は、１２個のうちのｉ番目のリージョンのregion-wise packingの種類を表し、その値の０は、矩形領域のパッキングであることを示す。
【０２５９】
proj_reg_width[i]は、プロジェクテッドピクチャのｉ番目のリージョンの幅を表し、proj_reg_height[i]は、プロジェクテッドピクチャのｉ番目のリージョンの高さを表す。pro_reg_topは、プロジェクテッドピクチャのｉ番目のリージョンの左上ピクセルの垂直方向の位置を表し、pro_reg_leftは、プロジェクテッドピクチャのｉ番目のリージョンの左上ピクセルの水平方向の位置を表す。
【０２６０】
図５０の左側のプロジェクテッドピクチャについて、proj_picture_widthとproj_picture_heightの範囲が具体的に示されている。プロジェクテッドピクチャの１つのリージョンであるtop_Lについても、proj_reg_widthとproj_reg_heightの範囲、並びにpro_reg_leftとpro_reg_topの位置が、具体的に示されている。
【０２６１】
packed_reg_width[i]とpacked_reg_height[i]は、それぞれ、図５０の右側に示されるパックドピクチャのｉ番目のリージョンの幅と高さを表す。packed_reg_left[i]とpacked_reg_top[i]は、それぞれパックドピクチャのｉ番目のリージョンの左上ピクセルの水平方向の位置と垂直方向の位置を表す。これらの具体例が、図５０の右側のプロジェクテッドピクチャの１つのリージョンであるtop_Lについて示されている。
【０２６２】
そして、この例においては、図４７を参照して説明したRegionWisePackingStructに、さらに図５２に示されるように、フラグが付加される。これにより、表示領域が一致するL view画像とR view画像のリージョンが任意の連続矩形領域を形成するようにregion-wise packingされていることが示される。
【０２６３】
図５２は、リージョンワイズパッキングストラクトの構成を示す図である。この例においては、図４７に示したリージョンワイズパッキングストラクトに、さらにregion_wise_stereo_packing_flagが記述される。その他の構成は、図４７における場合と同様である。
【０２６４】
図５３は、リージョンワイズステレオパッキングフラグを説明する図である。図５３に示されるように、region_wise_stereo_packing_flagの値０は、プロジェクテッドピクチャがモノスコピックであること、またはregion-wise packingされたpacked pictureにおいて、表示領域が一致するL viewとR viewのregion(s)が任意の連続領域を形成していないことを示す。region_wise_stereo_packing_flagの値１は、region-wise packingされたpacked pictureにおいて、表示領域が一致するL viewとR viewのregion(s)が任意の連続領域を形成していることを意味する。
【０２６５】
従って、このフラグに基づいて、ステレオペアの存在を確認し、容易にsub-picture track化することができる。
【０２６６】
次に、sub-picture trackのステレオビデオ情報をシグナルする方法について説明する。図５４は、全天球ステレオスコピック画像を１トラックに格納する場合のボックスを説明する図であり、図５５は、全天球ステレオスコピック画像を６トラックに格納する場合のボックスを説明する図である。図５６は、全天球ステレオスコピック画像を４トラックに格納する場合のボックスを説明する図である。
【０２６７】
図５４の例においては、図３８に示される場合と同様に、図５４の左側に示されるプロジェクテッドピクチャが、図５４の右側に示されるパックドピクチャにregion-wise packingされている。パックドピクチャにおいては、左側半分の２列のうちの左側にleft_L,back_L,right_Lの画像が、右側にleft_R,back_R,right_Rの画像が配置され、右側半分の２列のうちの左側にtop_L,front_L,bottom_Lの画像が、右側にtop_R,front_R,bottom_Rの画像が、それぞれ配置されている。プロジェクテッドピクチャのステレオビデオ情報は、StereoVideoBox(stvi)に記述される。そして、パックドピクチャのステレオビデオ情報は、RegionWisePackingBox(rwpk)（図４６参照）に記述される。
【０２６８】
図５５の例においても、図５４に示される場合と同様に、図５５の左側に示されるプロジェクテッドピクチャが、図５５の中央に示されるパックドピクチャにregion-wise packingされている。プロジェクテッドピクチャのステレオビデオ情報は、StereoVideoBox(stvi)に記述される。そして、パックドピクチャのregion_wise_stereo_packing_flag報は、RegionWisePackingBox(rwpk)に記述される。
【０２６９】
図５５の例においては、図３９に示される場合と同様に、図５５の中央に示されているパックドピクチャの画像がさらに分割され、最も右側に示されるように、６個のsub-picture trackに格納されている。すなわち、パックドピクチャの各面の表示領域が一致するリージョンのL view画像とR view画像がside by sideに配置されたステレオペアが、６個のsub-picture trackに格納されている。具体的には、left_Lとleft_R、top_Lとtop_R、back_Lとback_R、front_Lとfront_R、right_Lとright_R、bottom_Lとbottom_Rの画像のそれぞれが、side by sideのステレオペアとされ、６個のsub-picture trackに分割して格納される。
【０２７０】
図５６の例においては、図３８（図５５）に示される場合と同様に、図５６の左側に示されるプロジェクテッドピクチャが、図５６の中央に示されるパックドピクチャにregion-wise packingされている。プロジェクテッドピクチャのステレオビデオ情報は、StereoVideoBoxに記述され、パックドピクチャのregion_wise_stereo_packing_flagは、RegionWisePackingBoxに記述される。
【０２７１】
さらに図５６の例においては、図５６の中央に示されているパックドピクチャの画像がさらに分割され、最も右側に示されるように、４個のsub-picture trackに格納されている。具体的には、left_L,back_L,right_LのL view画像、left_R,back_R,right_RのR view画像、top_L,front_L,bottom_LのL view画像、top_R,front_R,bottom_RのR view画像のそれぞれが、4個のsub-picture trackに分割して格納される。すなわち、パックドピクチャのL view画像のリージョンとR view画像のリージョンがモノスコピックの構成とされ、４個のsub-picture trackに格納されている。
【０２７２】
次にSubPictureCompositionBoxについて説明する。図５７は、サブピクチャコンポジションボックスの構成を示す図であり、図５８は、サブピクチャコンポジションボックスのフィールドを説明する図である。
【０２７３】
SubPictureCompositionBoxにおいては、全体ピクチャを構成するサブピクチャ（sub-picture）が格納されているトラックがグルーピングされる。SubPictureCompositionBoxには、各trackのsub-pictureが全体ピクチャのどの位置に、どんなサイズで配置されるかという情報を有する。SubPictureCompositionBoxは、TrackGroupBoxの下に、track_group_type＝’spco’のとき存在する。
【０２７４】
具体的には、図５７に示されるように、SubPictureCompositionBoxには、track_x,track_y,track_width,track_height,composiotion_width,composition_heightが記述される。track_xは、全体ピクチャにおける、このtrackに格納されるsub-pictureの左上ピクセルの水平方向の位置を表し、track_yは、全体ピクチャにおける、このtrackに格納されるsub-pictureの左上ピクセルの垂直方向の位置を表す。
【０２７５】
track_widthは、全体ピクチャにおける、このtrackに格納されるsub-pictureの幅を表し、track_heightは、全体ピクチャにおける、このtrackに格納されるsub-pictureの高さを表す。composiotion_widthは、全体ピクチャの幅を表し、composition_heightは、全体ピクチャの高さを表す。
【０２７６】
各sub-picture trackのサブピクチャが、L view画像であるのか、R view画像であるのか、ステレオスコピック画像であるのかを判別するには、上述したSubPictureCompositionBox、RegionWisePackingBox、StereoVideoBoxに基づく計算を行う必要がある。そこで、既存のStereoVideoBoxにより全体ピクチャのステレオパッキング情報を示すものとし、さらにsub-picture trackごとのステレオビデオ情報を追加することで、容易にその判別ができるようにする。これにより、ステレオスコピックに対応していない（モノスコピック再生だけが可能な）装置は、L view画像、またはR view画像のtrackを選択再生し、ステレオスコピックに対応している装置は、ステレオスコピック画像のtrackをviewportに応じて選択再生することが可能になる。
【０２７７】
sub-picture trackのステレオビデオ情報をシグナルする第１の方法においては、sub-picture track構成のときだけ使用可能な、sub-picture trackのステレオビデオ情報をシグナルするTrackStereoVideoBox(tstv)が新たに定義される。定義する場所は、RestrictedSchemeInformationBox(rinf)/SchemeInformationBox(schi)の下か、またはStereoVideoBox(stvi)の末尾のoptional box領域とすることができる。
【０２７８】
ステレオビデオ情報とは、後述する図６２、図６７、図６９等に示される情報である。
【０２７９】
新たにTrackStereoVideoBoxを定義する方法には、side by sideやtop & bottomといったフレームパッキングをシグナルしない方法（例えば後述する図５９の例）とシグナルする方法（例えば後述する図６１の例）とがある。
【０２８０】
図５９は、トラックステレオビデオボックスの構成を示す図であり、フレームパッキングをシグナルしない場合の構成を表している。図６０は、トラックステレオビデオボックスのフィールドを説明する図である。
【０２８１】
図５９に示されるように、フレームパッキングをシグナルしない場合のTrackStereoVideoBoxには、view_idcが記述される。図６０に示されるように、view_idcの値１は、trackには、left viewのみが格納されており、モノスコピック表示が可能であることを意味し、値２は、trackには、right viewのみが格納されており、モノスコピック表示が可能であることを意味する。また値３は、trackは、ステレオスコピック表示が可能であることを意味する。
【０２８２】
図６１は、トラックステレオビデオボックスの構成を示す図であり、フレームパッキングをシグナルする場合の構成を表している。図６２は、トラックステレオビデオボックスのフィールドを説明する図である。
【０２８３】
図６１に示されるように、フレームパッキングをシグナルする場合のTrackStereoVideoBoxには、view_idcの他、view_idcの値が３である場合には、さらにsingle_view_allowed,stereo_scheme,length,stereo_indication_typeが記述される。図６２に示されるように、view_idcの値の意味は、図６０を参照して説明した場合と同様である。
【０２８４】
single_view_allowedの値０は、コンテンツはステレオスコピック対応のディスプレイでのみ表示されることを意図していること意味する。値１(single_view_allowed&1＝1)は、コンテンツはモノスコピックディスプレでright viewの表示が許されていることを意味し、値２(single_view_allowed&2＝2)は、コンテンツはモノスコピックディスプレでleft viewの表示が許されていることを意味する。
【０２８５】
stereo_schemeの値１は、フレームパッキング方法は、ISO/IEC14496-10のFrame packing arrangement SEIに従うことを意味し、値２は、フレームパッキング方法は、ISO/IEC13818-2のAnnex.Lに従うことを意味する。値３は、レームパッキング方法は、ISO/IEC23000-11のframe/service compatibleおよび２D/3D Mixed serviceに従うことを意味する。lengthは、stereo_indication_typeのバイト長を表し、stereo_indication_typeは、stereo_schmeに従った、フレームパッキング方法であることを表す。
【０２８６】
TrackStereoVideoBoxをStereoVideoBoxに格納する場合、図６３と図６４に示されるようになる。図６３は、ステレオビデオボックスの構成を示す図であり、トラックステレオビデオボックスをシグナルする前の構成を表し、図６４は、ステレオビデオボックスの構成を示す図であり、トラックステレオビデオボックスをシグナルした後の構成を表す。
【０２８７】
図６３に示されるように、StereoVideoBoxには、any_boxがoptionalとして追加可能とされ、any_boxとしてTrackStereoVideoBoxが追加されると、StereoVideoBoxは図６４に示されるようになる。
【０２８８】
なお、図６４のStereoVideoBoxに記述されるsingle_view_allowed,stereo_scheme,length,stereo_indication_typeの意味は、図６２に示した場合と同様であり、繰り返しになるのでその説明は省略する。
【０２８９】
TrackStereoVideoBoxは、SubPictureCompositionBoxとStereoVideoBoxがtrackに存在しているときだけ存在できる。SubPictureCompositionBoxとStereoVideoBoxがtrackに存在し、TrackStereoVideoBoxが存在しない場合、図６５に示されるように、そのtrackのsub-pictureはL view画像だけでもなく、R view画像だけでもなく、stereo video表示が可能でもないことを示すとしてもよい。
【０２９０】
図６５は、全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。この例においては、図の最も左側に示されているプロジェクテッドピクチャが、図の中央に表示されているパックドピクチャにregion-wise packingされている。パックドピクチャにおいては、左上から右下方向に、top_L,right_R,left_L,bottom_R,front_L,left_R,back_L,front_R,bottom_L,back_R,right_L,top_Rの各リージョンの画像が配置されている。
【０２９１】
図６５の最も右側には、各sub-picture trackに格納された画像が示されている。この例では、top_L,right_Rの画像、left_L,bottom_Rの画像、front_L,left_Rの画像、back_L,front_Rの画像、bottom_L,back_Rの画像、right_L,top_Rの画像が、それぞれ６個のsub-picture trackに格納されている。これらのsub-picture trackの画像は、L viewの画像とR viewの画像の領域が一致せず（すなわちステレオペアではなく）、ステレオスコピック画像として表示することができない。また、各sub-picture trackの画像は、L viewの画像とR viewの画像であり、L viewだけの画像でもなく、R viewだけの画像でもない。
【０２９２】
上述したように、sub-picture trackのステレオビデオ情報をシグナルする第１の方法においては、sub-picture track構成のときだけ使用可能な、sub-picture trackのステレオビデオ情報をシグナルするTrackStereoVideoBoxが新たに定義された。これに対して、sub-picture trackのステレオビデオ情報をシグナルする第２の方法においては、SubPictureCompositionBox(spco)が拡張される。
【０２９３】
SubPictureCompositionBoxを拡張する方法には、side by sideやtop & bottomといったフレームパッキングをシグナルしない方法（例えば後述する図６６の例）とシグナルする方法（例えば後述する図６８の例）とがある。
【０２９４】
図６６は、サブピクチャコンポジションボックスの構成を示す図であり、side by sideやtop & bottomといったフレームパッキングをシグナルしない場合の構成を表している。このSubPictureCompositionBoxには、view_idc_presence_flagが記述されるとともに、view_idc_presence_flagの値が１である場合、view_idcが記述される。この他、図５７における場合と同様に、track_x,track_y,track_width,track_height,composiotion_width,composition_heightが記述される。
【０２９５】
図６７は、サブピクチャコンポジションボックスのフィールドを説明する図である。図６７に示されるように、view_idc_presence_flagの値０は、view_idcは存在しないことを意味し、その値１は、view_idcが存在することを意味する。view_idcの値０乃至値３の意味は、図６０を参照して説明した場合と同様である。この例においては、アンノウン（unknown）を意味する値４が追加されている。view_idcの値４は、例えば図６５に示されるように、各sub-picture trackに格納されている画像が、モノスコピック、L viewの画像、R viewの画像、およびステレオスコピックの画像のいずれでもない場合に使用される。
【０２９６】
SubPictureCompositionBoxのtrack_x,track_y,track_width,track_height,composiotion_width,composition_heightの意味は、図５８を参照して説明した場合と同様である。
【０２９７】
図６８は、サブピクチャコンポジションボックスの構成を示す図であり、side by sideやtop & bottomといったフレームパッキングをシグナルする場合の構成を表している。図６８のSubPictureCompositionBoxには、stereo_info_presence_flagが記述される他、図６６における場合と同様に、track_x,track_y,track_width,track_height,composiotion_width,composition_heightが記述される。また、stereo_info_presence_flagの値が１である場合、view_idcが記述されるとともに、さらにview_idcの値が３であるとき、single_view_allowed,stereo_scheme,length,stereo_indication_typeが記述される。
【０２９８】
図６９は、サブピクチャコンポジションボックスのフィールドを説明する図である。図６９に示されるように、stereo_info_presence_flagの値０は、ステレオ関連情報は存在しないことを表し、その値１は、ステレオ関連情報が存在することを表す。ステレオ関連情報は、図６２に示される情報である。view_idcの意味は、図６６に示される、side by sideやtop & bottomといったフレームパッキングをシグナルしない場合のSubPictureCompositionBoxのとき（図６７に示される場合）と同様である。
【０２９９】
single_view_allowed,stereo_scheme,length,stereo_indication_typeの意味は、図６２に示される場合と同様であり、track_x,track_y,track_width,track_height,composiotion_width,composition_heightの意味は、図５８に示される場合と同様である。
【０３００】
ステレオプロジェクテッドピクチャのL view画像とR view画像を分割して、 L view画像とR view画像とで異なる範囲をカバーするsub-picture trackを構成することができる。例えば、正面はステレオスコピック表示、その他の面はモノスコピック表示にするなど、viewportに依存するステレオスコピック視のユースケースに対応するシグナリングを行うことができる。
【０３０１】
図７０は、全天球ステレオスコピック画像の複数トラックへの格納を説明する図である。図７０のユースケースの例においては、図７０の最も左側に示されるプロジェクテッドピクチャが、その右側に示されるパックドピクチャにregion-wise packingされている。パックドピクチャにおいては、左側半分の２列のうちの左側にleft_L,back_L,right_Lの画像が、右側にtop_L,front_L,bottom_Lの画像が配置され、右側半分の２列のうちの左側にleft_R,back_R,right_Rの画像が、右側にtop_R,front_R,bottom_Rの画像が、それぞれ配置されている。
【０３０２】
図７０の例では、その最も右側に示されるように、パックドピクチャが、さらに７つのsub-picture trackに分割して格納されている。すなわち、left_L,back_L,right_L,top_L,front_L,bottom_Lという６面の画像が１つのsub-picture trackに格納されている。この場合、TrackStereoVideoBoxまたはSubPictureCompositionBoxにおいて、view_idcの値が１とされる。
【０３０３】
さらにleft_R,back_R,right_R,top_R,front_R,bottom_Rという６面の画像が１面ずつ、それぞれ６つのsub-picture trackに格納されている。この場合、TrackStereoVideoBoxまたはSubPictureCompositionBoxにおいて、view_idcの値が２とされる。
【０３０４】
すなわち図７０の例においては、L view画像は６面で表示され、R view画像はleft面だけが表示される。これにより、left面だけがステレオスコピック表示が可能となり、その他の面はモノスコピック表示が可能となる。
【０３０５】
以上においては、既存のStereoVideoBoxは、全体ピクチャのステレオパッキング情報を示すものとし、TrackStereoVideoBoxを新たに定義したり、SubPictureCompositionBoxを拡張するなどして、さらにsub-picture trackごとのステレオビデオ情報を追加するようにした。その変形例として、既存のStereoVideoBoxがsub-picture trackごとのステレオビデオ情報を示すようにし、新たに全体ピクチャのステレオパッキング情報を追加するようにすることもできる。全体ピクチャのステレオパッキング情報には、例えば既存のStereoVideoBoxと同じシンタックス、セマンティクスを用いることができる。
【０３０６】
次に、図７１を参照して、上述したsub-picture track化するために、stereo_packing_typeを利用したregion-wise packingを行う場合の図１２の生成装置２１２の処理について説明する。なお、この例では、図６４に示されるように、TrackStereoVideoBoxをStereoVideoBoxに格納するものとする。図７１は、生成処理を説明するフローチャートである。
【０３０７】
スティッチング処理部２３１は、フレームごとに、図１１のカメラ２１１Ａから供給される６方向の撮影画像の色や明るさを同一にし、重なりを除去して接続するスティッチング処理を行う。スティッチング処理部２３１は、スティッチング処理後のフレーム単位の撮影画像をマッピング処理部２３２に供給する。
【０３０８】
マッピング処理部２３２は、cube mappingにより、スティッチング処理部２３１から供給される撮影画像から全天球画像を生成する。すなわち、マッピング処理部２３２は、スティッチング処理後の撮影画像をテクスチャとして立方体にマッピングし、その立方体の展開図の画像を全天球画像として生成する。マッピング処理部２３２は、全天球画像をregion-wise packing処理部２３３に供給する。
【０３０９】
region-wise packing処理部２３３はステップＳ２０１において、全天球画像はステレオスコピックであるかを判定する。全天球画像がステレオスコピックである場合、ステップＳ２０２においてregion-wise packing処理部２３３は、ユーザの指示に基づいてステレオパッキング手法は何であるかを判定する。すなわち、ステレオパッキング手法として手法１乃至手法３のいずれを採用するのかが判定される。
【０３１０】
採用するステレオパッキング手法が手法１(図３または図４に示されるパッキング手法)である場合、ステップＳ２０３においてregion-wise packing処理部２３３は、ユーザの指示に基づいてパッキング手法としてregion-wise packingを用いるかを判定する。
【０３１１】
パッキング手法としてregion-wise packingを用いる場合、ステップＳ２０４においてregion-wise packing処理部２３３は、L viewとR viewに共通のregion-wise packing処理を行う。そしてregion-wise packing処理部２３３は、L viewとR viewそれぞれのpacked frameを生成し、フレームごとにパッキングを行う。
【０３１２】
ステップＳ２０５においてregion-wise packing処理部２３３は、フレームのパッキングアレンジメントに応じたStereoVideoBoxを生成する。ステップＳ２０６においてregion-wise packing処理部２３３は、packing_flag＝1,stereo_packing_type＝0とし、パッキング情報を含むRegionMappingBoxを生成する。
【０３１３】
ステップＳ２０３においてregion-wise packingが用いられないと判定された場合、ステップＳ２０７においてregion-wise packing処理部２３３は、L viewとR viewのprojected frameについて、フレームごとにパッキングを行う。
【０３１４】
ステップＳ２０８においてregion-wise packing処理部２３３は、フレームのパッキングアレンジメントに応じたStereoVideoBoxを生成する。ステップＳ２０９においてregion-wise packing処理部２３３は、packing_flag＝0,stereo_packing_type＝0とし、RegionMappingBoxを生成する。
【０３１５】
ステップＳ２０２においてステレオパッキングの手法が手法２（全天球ステレオスコピック画像のフレーム内の領域ごとにL view画像とR view画像をパッキングする手法）であると判定された場合、処理はステップＳ２１０に進む。ステップＳ２１０においてregion-wise packing処理部２３３は、領域ごとにL viewとR viewをペアでパッキングし、packed frameを生成する。
【０３１６】
ステップＳ２１１においてregion-wise packing処理部２３３は、領域L viewとR viewペアのパッキングアレンジメントに応じたStereoVideoBoxを生成する。ステップＳ２１２においてregion-wise packing処理部２３３は、packing_flag＝1,stereo_packing_type＝1とし、パッキング情報を含むRegionMappingBoxを生成する。
【０３１７】
ステップＳ２０２においてステレオパッキングの手法が手法３（全天球ステレオスコピック画像のフレーム内の任意の領域にL view画像とR view画像をパッキングする手法）であると判定された場合、処理はステップＳ２１３に進む。ステップＳ２１３においてregion-wise packing処理部２３３は、領域ごとにL viewとR viewを任意の位置にパッキングし、packed frameを生成する。
【０３１８】
ステップＳ２１４においてregion-wise packing処理部２３３は、packing_flag＝1,stereo_packing_type＝2とし、パッキング情報を含むRegionMappingBoxを生成する。
【０３１９】
ステップＳ２０６，ステップＳ２０９，ステップＳ２１２，ステップＳ２１４の処理の後、ステップＳ２１５においてエンコーダ２３４は、生成されたピクチャをsub-picture trackに分割し、エンコードし、ファイル生成部２３７に供給する。
【０３２０】
ステップＳ２１６においてファイル生成部２３７は、各sub-picture trackについてSubPictureCompositionBoxを生成する。ステップＳ２１７においてファイル生成部２３７は、sub-pictureのステレオビデオ情報に応じたTrackStereoVideoBoxを生成する。
【０３２１】
ステップＳ２０１において全天球画像はステレオスコピックではないと判定された場合、ステップＳ２１８において、region-wise packing処理部２３３は、ユーザの指示に基づいてパッキング手法としてregion-wise packingを用いるかを判定する。
【０３２２】
パッキング手法としてregion-wise packingを用いる場合、ステップＳ２１９においてregion-wise packing処理部２３３は、region-wise packing処理を行い、packed frameを生成する。ステップＳ２２０においてregion-wise packing処理部２３３は、packing_flag＝1（region-wise packingを用いる）とし、stereo_packing_type＝０（手法１）とする。そしてregion-wise packing処理部２３３は、これらのパッキング情報を含むRegionMappingBoxを生成する。
【０３２３】
ステップＳ２１８において、パッキング手法としてregion-wise packingが用いられないと判定された場合、ステップＳ２２１においてregion-wise packing処理部２３３は、packing_flag＝0（region-wise packingを用いない）とし、stereo_packing_type＝０（手法１）とする。そしてregion-wise packing処理部２３３は、これらを含むRegionMappingBoxを生成する。
【０３２４】
ステップＳ２２０とステップＳ２２１の処理の後、ステップＳ２２２においてエンコーダ２３４は、生成されたピクチャをsub-pictureに分割し、エンコードし、ファイル生成部２３７に供給する。ステップＳ２２３においてファイル生成部２３７は、各sub-picture trackについてSubPictureCompositionBoxを生成する。
【０３２５】
ステップＳ２１７とステップＳ２２３の処理の後、ステップＳ２２４においてファイル生成部２３７は、複数trackを持つISOBMFFファイルを生成する。
【０３２６】
ファイル生成部２３７により作成されたファイルは、アップロード部２３８から配信サーバ２１３にアップロードされる。
【０３２７】
次に、図７２を参照して、図３３の再生装置２１４のtrack選択処理を説明する。図７２は、選択処理を説明するフローチャートである。
【０３２８】
ステップＳ２５１においてファイル取得部６０１は、SubPictureCompositionBoxを参照し、レンダリングしたい領域に対応するtrackを選別する。ステップＳ２５２においてファイル取得部６０１は、選別されたtrackについて、ステレオスコピック再生を行うかを判定する。ステップＳ２５１とステップＳ２５２の処理は、ユーザの指示に基づいて行われる。
【０３２９】
ステップＳ２５２においてステレオスコピック再生を行うと判定された場合、ステップＳ２５３においてファイル取得部６０１は、TrackStereoVideoBoxを参照し、選別されたtrackの中からステレオスコピック再生が可能なtrackを選択する。ステップＳ２５２においてステレオスコピック再生を行わないと判定された場合、ステップＳ２５４においてファイル取得部６０１は、TrackStereoVideoBoxを参照し、選別されたtrackの中からモノスコピック再生が可能なtrackを選択する。
【０３３０】
以上の図７２の選択処理の後、上述した図３４の再生処理が行われる。
【０３３１】
以上においては、ステレオスコピック画像をL view画像とR view画像から生成するようにしたが、テクスチャ(texture)画像とデプス(depth)画像から生成するようにしてもよい。テクスチャ画像は、ステレオスコピック画像を生成する基になる画像であり、デプス画像はテクスチャ画像の所定の単位領域における被写体の奥行き方向の位置を表す画像である。デプス画像の情報は、所定のビット数の値（例えば０から２５５までの値）に量子化されて画素値とされることにより符号化される。
【０３３２】
次に、図７３と図７４を参照して、テクスチャ画像とデプス画像について説明する。図７３は、テクスチャ画像とデプス画像を説明する図であり、図７４は、画像要素の３次元位置を説明する図である。
【０３３３】
図７３の入力画像データは、図７３のＡのテクスチャ画像としてのカラー画像データ９５１と、図７３のＢのデプス画像データ９５２により構成される。図７３のＡでは、カラー画像データの色情報が模様で表されている。図７３のＡに示すように、カラー画像データには、背景９７０、一部が欠けた円である部分円９７１および部分円９７２、長方形９７３、並びに円筒９７４、および円筒９７５が含まれている。
【０３３４】
また、図７３のＢの例では、デプス画像データの画素値は、遠いほど大きくなっている。図７３のＢの例では、背景９７０が最も白く(明るく)、部分円９７１、部分円９７２と長方形９７３、円筒９７４、円筒９７５の順に徐々に黒く(暗く)なっており、この順に、奥行き方向の位置が遠い。
【０３３５】
図７４は、図７３の背景９７０、部分円９７１、部分円９７２、長方形９７３、円筒９７４、および円筒９７５の３次元位置を示している。
【０３３６】
図７４に示すように、背景９７０、部分円９７１、部分円９７２、長方形９７３、円筒９７４、および円筒９７５の３次元位置のx座標およびy座標は、カラー画像データ９５１の画面上の水平方向および垂直方向の位置座標に対応する。また、背景９７０、部分円９７１、部分円９７２、長方形９７３、円筒９７４、および円筒９７５の３次元位置のｚ座標は、デプス画像データ９５２の画素値に対応する。
【０３３７】
このように、テクスチャ画像とデプス画像から異なる視点の画像を生成することができ、それに基づいて、L view画像とR view画像と同様に、ステレオスコピック画像を生成することができる。すなわちステレオスコピック画像を生成するための第１の画像と第２の画像として、view画像（左目用の領域画像）とR view画像（右目用の領域画像）、またはテクスチャ画像とデプス画像を用いることができる。
【０３３８】
本技術によれば、全天球ステレオスコピック画像のための新たなパッキング手法によって、符号化効率の向上や伝送画像領域配置の最適化を実現することができる。これにより、全天球ステレオスコピック画像の伝送において、伝送容量の削減、解像度の向上、全天球ステレオスコピック画像視聴時のスムーズな視点移動、を実現することができる。
【０３３９】
また、本技術によれば、新たなパッキング手法をファイル内で配信することにより、再生装置に対し、用いられているパッキング手法を明示し、再生処理を容易にすることができる。
【０３４０】
なお本技術は、その本質を逸脱しない範囲において、種々の変形例が存在しうる。
【０３４１】
＜コンピュータ（図７５）＞
図７５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０３４２】
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
【０３４３】
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０３４４】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０３４５】
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０３４６】
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０３４７】
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０３４８】
なお、コンピュータ１０００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０３４９】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０３５０】
さらに、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【０３５１】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０３５２】
＜その他＞
なお、本技術は、以下のような構成もとることができる。
（１）
パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成部
を備える生成装置。
（２）
前記全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像を前記パックドフレームにパッキングするパッキング部をさらに備える
前記（１）に記載の生成装置。
（３）
前記第１の画像と前記第２の画像は、左目用の領域画像と右目用の領域画像、またはテクスチャ画像とデプス画像である
前記（２）に記載の生成装置。
（４）
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記右第２の画像で全体が矩形の前記パックドフレームを構成するように配置する前記パッキングの方式を識別する情報を含む
前記（２）または（３）に記載の生成装置。
（５）
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像が前記パックドフレーム内において隣接するようにパッキングする前記パッキングの方式を識別する情報を含む
前記（２）乃至（４）のいずれかに記載の生成装置。
（６）
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式を識別する情報を含む
前記（２）乃至（５）のいずれかに記載の生成装置。
（７）
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と無効領域で全体が矩形の第１のフレームを構成し、対応する前記領域の前記第２の画像と無効領域で全体が矩形の第２のフレームを構成し、前記第１のフレームと前記第２のフレームを所定の位置に配置して矩形の前記パックドフレームを構成するようにパッキングする前記パッキングの方式を識別する情報をさらに含む
前記（２）乃至（６）のいずれかに記載の生成装置。
（８）
前記全天球画像のプロジェクションストラクチャは立方体であり、前記領域画像は、前記領域の画像が左右方向に連続するように隣接する前記領域画像と、前記領域の画像が上下方向に連続するように隣接する前記領域画像とで構成される
前記（２）乃至（７）のいずれかに記載の生成装置。
（９）
対応する前記領域の前記第１の画像と前記第２の画像とが１つの大きな領域にまとめられている
前記（２）乃至（８）のいずれかに記載の生成装置。
（１０）
前記大きな領域は、横方向に長い大きな領域と、縦方向に長い大きな領域とで構成される
前記（２）乃至（９）のいずれかに記載の生成装置。
（１１）
前記全天球画像のプロジェクションストラクチャは球であり、正面の前記領域の左に隣接する前記領域の前記第１の画像と前記第２の画像、並びに正面の前記領域の右に隣接する前記領域の前記第１の画像と前記第２の画像とが、１つの大きな領域にまとめられている
前記（２）乃至（１０）のいずれかに記載の生成装置。
（１２）
前記領域は、球座標系の前記領域の中心のヨー角度とピッチ角度、前記領域の幅と高さの角度により、または２次元座標系の前記領域の幅と高さ、並びに前記領域の１つの角のｘ座標とｙ座標により表される
前記（２）乃至（１１）のいずれかに記載の生成装置。
（１３）
前記ステレオパッキング識別情報は、ISOBMFFのScheme Information Boxの下のboxに記述される
前記（２）乃至（１２）のいずれかに記載の生成装置。
（１４）
前記生成部は、前記第１の画像と前記第２の画像が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報をさらに生成する
前記（２）乃至（１３）のいずれかに記載の生成装置。
（１５）
前記第１の画像は、前記パッキング識別情報が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報である場合に記述される
前記（２）乃至（１４）のいずれかに記載の生成装置。
（１６）
前記第１の画像は、前記ステレオパッキング識別情報が、対応する前記領域の前記左目用の領域画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式であることを識別する識別情報である場合に記述される
前記（２）乃至（１５）のいずれかに記載の生成装置。
（１７）
前記生成部は、前記領域画像の配置を識別する識別情報、前記領域画像が前記ステレオスコピックであるかまたはモノスコピックであることを識別する識別情報、前記プロジェクションストラクチャに対するプロジェクションの方式を識別する識別情報、または前記プロジェクションストラクチャの前記領域の幅と高さの角度の基準を識別する識別情報をさらに生成する
前記（２）乃至（１６）のいずれかに記載の生成装置。
（１８）
前記生成部は、前記領域ごとの視点の数を識別する識別情報をさらに生成し、
前記ステレオパッキング識別情報が、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式であることを識別する識別情報である場合、前記領域ごとの視点の数を識別する識別情報に対応する数の前記視点用の前記領域画像が記述される
前記（２）乃至（１７）のいずれかに記載の生成装置。
（１９）
前記ステレオパッキング識別情報は、MPEG-DASHにより記述される
前記（２）乃至（１８）のいずれかに記載の生成装置。
（２０）
前記パックドフレームの画像が分割されて格納されたトラックを構成する場合、前記トラックに格納される前記画像の前記ステレオパッキング識別情報に対応して前記パックドフレームをパッキングする
前記（２）乃至（１９）のいずれかに記載の生成装置。
（２１）
ステレオペアの画像が格納されたトラックを構成する場合、表示領域が一致する前記第１の画像と前記第２の画像が前記パックドフレームにおいて任意の連続矩形領域を形成するように、前記パックドフレームをパッキングする
前記（２）乃至（２０）のいずれかに記載の生成装置。
（２２）
生成装置が、
パックドフレームにパッキングされた全天球画像の複数の領域画像について、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成ステップ
を含む識別情報生成方法。
（２３）
全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得部と、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成部と、
前記プロジェクテッドフレームをレンダリングするレンダリング部と
を備える再生装置。
（２４）
再生装置が、
全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得ステップと、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成ステップと、
前記プロジェクテッドフレームをレンダリングするレンダリングステップと
を含む画像再生方法。
（２５）
全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像をパックドフレームにパッキングするパッキング部と、
前記パックドフレームの前記第１の画像と前記第２の画像のうちの少なくとも一方が格納されるトラックに格納されている前記画像が、ステレオスコピック再生可能な画像であるかを前記トラックごとに表す情報を含むステレオビデオ情報を生成する生成部と
を備える生成装置。
【符号の説明】
【０３５３】
２１０  配信システム，  ２１１  撮像装置，  ２１２  生成装置，  ２１３  配信サーバ，  ２１４  再生装置，  ２１５ヘッドマウントディスプレイ，  ２３１  スティッチング処理部，  ２３２  マッピング処理部，  ２３３  region-wise packing処理部，  ２３４  エンコーダ，  ２３７  ファイル生成部，  ２３８  アップロード部，  ６０１  ファイル取得部，  ６０４  packing frame生成部，  ６０５  マッピング処理部  ６０６  描画部
【図１】
2018123645.tif 000003
【図２】
2018123645.tif 000004
【図３】
2018123645.tif 000005
【図４】
2018123645.tif 000006
【図５】
2018123645.tif 000007
【図６】
2018123645.tif 000008
【図７】
2018123645.tif 000009
【図８】
2018123645.tif 000010
【図９】
2018123645.tif 000011
【図１０】
2018123645.tif 000012
【図１１】
2018123645.tif 000013
【図１２】
2018123645.tif 000014
【図１３】
2018123645.tif 000015
【図１４】
2018123645.tif 000016
【図１５】
2018123645.tif 000017
【図１６】
2018123645.tif 000018
【図１７】
2018123645.tif 000019
【図１８】
2018123645.tif 000020
【図１９】
2018123645.tif 000021
【図２０】
2018123645.tif 000022
【図２１】
2018123645.tif 000023
【図２２】
2018123645.tif 000024
【図２３】
2018123645.tif 000025
【図２４】
2018123645.tif 000026
【図２５】
2018123645.tif 000027
【図２６】
2018123645.tif 000028
【図２７】
2018123645.tif 000029
【図２８】
2018123645.tif 000030
【図２９】
2018123645.tif 000031
【図３０】
2018123645.tif 000032
【図３１】
2018123645.tif 000033
【図３２】
2018123645.tif 000034
【図３３】
2018123645.tif 000035
【図３４】
2018123645.tif 000036
【図３５】
2018123645.tif 000037
【図３６】
2018123645.tif 000038
【図３７】
2018123645.tif 000039
【図３８】
2018123645.tif 000040
【図３９】
2018123645.tif 000041
【図４０】
2018123645.tif 000042
【図４１】
2018123645.tif 000043
【図４２】
2018123645.tif 000044
【図４３】
2018123645.tif 000045
【図４４】
2018123645.tif 000046
【図４５】
2018123645.tif 000047
【図４６】
2018123645.tif 000048
【図４７】
2018123645.tif 000049
【図４８】
2018123645.tif 000050
【図４９】
2018123645.tif 000051
【図５０】
2018123645.tif 000052
【図５１】
2018123645.tif 000053
【図５２】
2018123645.tif 000054
【図５３】
2018123645.tif 000055
【図５４】
2018123645.tif 000056
【図５５】
2018123645.tif 000057
【図５６】
2018123645.tif 000058
【図５７】
2018123645.tif 000059
【図５８】
2018123645.tif 000060
【図５９】
2018123645.tif 000061
【図６０】
2018123645.tif 000062
【図６１】
2018123645.tif 000063
【図６２】
2018123645.tif 000064
【図６３】
2018123645.tif 000065
【図６４】
2018123645.tif 000066
【図６５】
2018123645.tif 000067
【図６６】
2018123645.tif 000068
【図６７】
2018123645.tif 000069
【図６８】
2018123645.tif 000070
【図６９】
2018123645.tif 000071
【図７０】
2018123645.tif 000072
【図７１】
2018123645.tif 000073
【図７２】
2018123645.tif 000074
【図７３】
2018123645.tif 000075
【図７４】
2018123645.tif 000076
【図７５】
2018123645.tif 000077
【手続補正書】
【提出日】平成30年5月7日(2018.5.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
パックドフレームにパッキングされた全天球画像の複数の領域画像について、ステレオインディケーションタイプとは別の情報であって、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成部
を備える生成装置。
【請求項２】
前記全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像を前記パックドフレームにパッキングするパッキング部をさらに備える
請求項１に記載の生成装置。
【請求項３】
前記第１の画像と前記第２の画像は、左目用の領域画像と右目用の領域画像、またはテクスチャ画像とデプス画像である
請求項２に記載の生成装置。
【請求項４】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像で全体が矩形の前記パックドフレームを構成するように配置する前記パッキングの方式を識別する情報を含む
請求項２に記載の生成装置。
【請求項５】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像が前記パックドフレーム内において隣接するようにパッキングする前記パッキングの方式を識別する情報を含む
請求項４に記載の生成装置。
【請求項６】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式を識別する情報を含む
請求項４に記載の生成装置。
【請求項７】
前記ステレオパッキング識別情報は、対応する前記領域の前記第１の画像と無効領域で全体が矩形の第１のフレームを構成し、対応する前記領域の前記第２の画像と無効領域で全体が矩形の第２のフレームを構成し、前記第１のフレームと前記第２のフレームを所定の位置に配置して矩形の前記パックドフレームを構成するようにパッキングする前記パッキングの方式を識別する情報をさらに含む
請求項４に記載の生成装置。
【請求項８】
前記全天球画像のプロジェクションストラクチャは球であり、正面の前記領域の左に隣接する前記領域の前記第１の画像と前記第２の画像、並びに正面の前記領域の右に隣接する前記領域の前記第１の画像と前記第２の画像とが、１つの大きな領域にまとめられている
請求項２に記載の生成装置。
【請求項９】
前記領域は、球座標系の前記領域の中心のヨー角度とピッチ角度、前記領域の幅と高さの角度により、または２次元座標系の前記領域の幅と高さ、並びに前記領域の１つの角のｘ座標とｙ座標により表される
請求項４に記載の生成装置。
【請求項１０】
前記ステレオパッキング識別情報は、ＩＳＯＢＭＦＦのＳｃｈｅｍｅ  ＩｎｆｏｒｍａｔｉｏｎＢｏｘの下のｂｏｘに記述される
請求項４に記載の生成装置。
【請求項１１】
前記生成部は、前記第１の画像と前記第２の画像が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報をさらに生成する
請求項１０に記載の生成装置。
【請求項１２】
前記第１の画像は、前記パッキング識別情報が、その位置とサイズの少なくとも一方を変更してパッキングされたことを識別するパッキング識別情報である場合に記述される
請求項１１に記載の生成装置。
【請求項１３】
前記生成部は、前記領域画像の配置を識別する識別情報、前記領域画像が前記ステレオスコピックであるかまたはモノスコピックであることを識別する識別情報、前記プロジェクションストラクチャに対するプロジェクションの方式を識別する識別情報、または前記プロジェクションストラクチャの前記領域の幅と高さの角度の基準を識別する識別情報をさらに生成する
請求項１０に記載の生成装置。
【請求項１４】
前記生成部は、前記領域ごとの視点の数を識別する識別情報をさらに生成し、
前記ステレオパッキング識別情報が、対応する前記領域の前記第１の画像と前記第２の画像を前記矩形の前記パックドフレームの任意の位置に配置する前記パッキングの方式であることを識別する識別情報である場合、前記領域ごとの視点の数を識別する識別情報に対応する数の前記視点用の前記領域画像が記述される
請求項１０に記載の生成装置。
【請求項１５】
前記ステレオパッキング識別情報は、ＭＰＥＧ−ＤＡＳＨにより記述される
請求項４に記載の生成装置。
【請求項１６】
前記パックドフレームの画像が分割されて格納されたトラックを構成する場合、前記トラックに格納される前記画像の前記ステレオパッキング識別情報に対応して前記パックドフレームをパッキングする
請求項２に記載の生成装置。
【請求項１７】
ステレオペアの画像が格納されたトラックを構成する場合、表示領域が一致する前記第１の画像と前記第２の画像が前記パックドフレームにおいて任意の連続矩形領域を形成するように、前記パックドフレームをパッキングする
請求項２に記載の生成装置。
【請求項１８】
生成装置が、
パックドフレームにパッキングされた全天球画像の複数の領域画像について、ステレオインディケーションタイプとは別の情報であって、前記パッキングの方式を識別するステレオパッキング識別情報を生成する生成ステップ
を含む識別情報生成方法。
【請求項１９】
ステレオインディケーションタイプとは別の情報であって、全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得部と、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成部と、
前記プロジェクテッドフレームをレンダリングするレンダリング部と
を備える再生装置。
【請求項２０】
再生装置が、
ステレオインディケーションタイプとは別の情報であって、全天球画像の複数の領域画像をパックドフレームにパッキングする方式を識別する識別情報を取得する取得ステップと、
取得された前記識別情報に基づいてプロジェクテッドフレームを生成する生成ステップと、
前記プロジェクテッドフレームをレンダリングするレンダリングステップと
を含む画像再生方法。
【請求項２１】
全天球画像の複数の領域のプロジェクテッドフレームの全天球ステレオスコピックの画像を生成する第１の画像と第２の画像をパックドフレームにパッキングするパッキング部と、
前記パックドフレームの前記第１の画像と前記第２の画像のうちの少なくとも一方が格納されるトラックに格納されている前記画像が、ステレオスコピック再生可能な画像であるかを前記トラックごとに表す情報を含むステレオビデオ情報を生成する生成部と
を備える生成装置。
【国際調査報告】
2018123645.tif 000078
2018123645.tif 000079
2018123645.tif 000080
2018123645.tif 000081