(57)【要約】【課題】パノラマ映像を配信する映像配信システムにおいて、映像のマッピング方式を選択可能にする。【解決手段】同一の地点において異なる方向を向いて撮影された複数の映像を配信および表示する映像配信システムであって、映像配信装置が、それぞれ異なる方向に対応する複数の映像と、それぞれの映像を撮影した際の方向に関する情報である映像パラメータと、を配信する映像配信手段を有し、映像表示装置が、表示パネルと、前記表示パネルが向いている方向を表す姿勢情報を取得する姿勢検出手段と、前記配信された複数の映像と、前記映像パラメータを受信する映像受信手段と、前記受信した映像パラメータに基づいて、前記複数の映像を連結する映像連結手段と、前記取得した姿勢情報に基づいて、前記連結した映像のうち表示を行う範囲である出力範囲を決定し、当該出力範囲を前記表示パネルに出力する映像出力手段と、を有する。【選択図】図１
2015173424.tif 000002
【特許請求の範囲】
【請求項１】
映像配信装置と、映像表示装置と、を含み、同一の地点において異なる方向を向いて撮影された複数の映像を配信および表示する映像配信システムであって、
前記映像配信装置は、
それぞれ異なる方向に対応する複数の映像と、それぞれの映像を撮影した際の方向に関する情報である映像パラメータと、を配信する映像配信手段を有し、
前記映像表示装置は、
表示パネルと、
前記表示パネルが向いている方向を表す姿勢情報を取得する姿勢検出手段と、
前記配信された複数の映像と、前記映像パラメータを受信する映像受信手段と、
前記受信した映像パラメータに基づいて、前記複数の映像を連結する映像連結手段と、
前記取得した姿勢情報に基づいて、前記連結した映像のうち表示を行う範囲である出力範囲を決定し、当該出力範囲を前記表示パネルに出力する映像出力手段と、を有する
ことを特徴とする、映像配信システム。
【請求項２】
前記映像表示装置は、
取得した前記姿勢情報に基づいて、前記複数の映像のうち、前記出力範囲に含まれるものを特定し、前記映像配信装置に対して、前記特定された映像のみを送信するよう要求する配信要求手段をさらに有し、
前記映像配信手段は、前記配信要求手段によって要求された映像のみを配信する
ことを特徴とする、請求項１に記載の映像配信システム。
【請求項３】
前記配信要求手段は、前記姿勢情報の変化に基づいて、前記出力範囲に、現在受信していない映像が加わることを予測し、当該映像の送信を前記映像配信装置に対して要求する
ことを特徴とする、請求項２に記載の映像配信システム。
【請求項４】
前記映像連結手段は、前記受信した映像パラメータに基づいて、取得した複数の映像を、三次元形状を有する仮想スクリーン上にマッピングすることで映像の連結を行う
ことを特徴とする、請求項１から３のいずれかに記載の映像配信システム。
【請求項５】
前記姿勢情報は、前記表示パネルの方位角または仰俯角の少なくともいずれかを含み、
前記映像出力手段は、前記仮想スクリーン上における出力範囲を、前記方位角または仰俯角の少なくともいずれかに基づいて決定する
ことを特徴とする、請求項４に記載の映像配信システム。
【請求項６】
前記映像パラメータは、それぞれの映像を撮影した際の方位角または仰俯角の少なくともいずれかを含む
ことを特徴とする、請求項５に記載の映像配信システム。
【請求項７】
前記映像パラメータは、それぞれの映像に対応する水平方向の画角または垂直方向の画角の少なくともいずれかをさらに含む
ことを特徴とする、請求項６に記載の映像配信システム。
【請求項８】
前記映像パラメータは、前記仮想スクリーンの形状に関する情報を含む
ことを特徴とする、請求項４から７のいずれかに記載の映像配信システム。
【請求項９】
同一の地点において異なる方向を向いて撮影された複数の映像を受信し、表示する映像表示装置であって、
それぞれ異なる方向に対応する複数の映像と、それぞれの映像を撮影した際の方向に関
する情報である映像パラメータを取得する映像取得手段と、
表示パネルと、
前記表示パネルが向いている方向を表す姿勢情報を取得する姿勢検出手段と、
前記取得した映像パラメータに基づいて、前記複数の映像を連結する映像連結手段と、
前記取得した姿勢情報に基づいて、前記連結した映像のうち表示を行う範囲である出力範囲を決定し、当該出力範囲を前記表示パネルに出力する映像出力手段と、を有する
ことを特徴とする、映像表示装置。
【請求項１０】
前記複数の映像と、前記映像パラメータが記憶された記憶装置をさらに有し、
前記映像取得手段は、前記記憶装置から前記複数の映像および映像パラメータを取得する
ことを特徴とする、請求項９に記載の映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ映像を配信および表示する映像配信システムに関する。
【背景技術】
【０００２】
映像配信サービスにおいて、単一のカメラではなく、異なる方向を向いた複数のカメラによって撮影された映像を配信し、視聴者側でアングルを選択することができる技術が開発されている。
例えば、特許文献１には、異なる方向を向いた複数台のカメラによって撮影された映像を多重化して配信し、受信側で角度を指定することで、所望の角度に対応する映像を得ることができる映像放送方法が記載されている。
【０００３】
特許文献１に記載の方法では、映像の角度を変更する際に、コントローラを用いて角度を指定するという手法が取られている。これに対し、特許文献２に記載の送受信システムでは、両手で把持可能な可搬式の視聴端末を用い、表示パネルが向いている方向を取得したうえで、当該方向に一致する方向の映像を読み出し、表示させるという手法がとられている。特許文献２に記載の技術を用いると、視聴者に、端末越しに対象物を直接覗いているような感覚を与えることがでる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−２６１８８４号公報
【特許文献２】特開２０１３−１５０２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および２に記載の発明では、異なる方向を向いて撮影された複数の画像を合成して、カメラ一台分の視野角よりも広い視野角を持つ映像を生成し、受信側において、所望の範囲を切り出して表示するという方法をとっている。特に、特許文献２に記載の発明では、合成後の映像を球体オブジェクトにマッピングしたうえで、所望の角度に対応する映像を取得するため、上下方向を含めた全方位の映像を取得することができる。
【０００６】
しかし、ここで問題となるのが、映像のマッピングを行うためのオブジェクトは、必ずしも球体が最良であるとは限らないという点である。例えば、二次元の映像を球体にマッピングすると、若干の歪みが発生してしまう。また、歪みを抑制しようとすると、計算量が増加し、フレームレートが低下してしまう。
一方、撮影される映像が、チルト方向の成分を持たず、パン方向のみに広がるような場合は、球体ではなく円柱を用いてマッピングを行うことで、処理量を削減することができる。また同様に、計算量削減の観点から、直方体にマッピングするようにしてもよい。
【０００７】
しかし、前述した技術では、予め定められたマッピング方法に対応した映像を送信側において準備しなければならない。例えば、球体を用いてマッピングを行う場合、視野角が１８０度である二つの映像（上半球と下半球に対応する映像）を生成して送信する必要がある。すなわち、送信側の処理と受信側の処理を一致させなければなければならいため、ハードウェアの処理能力や撮影場所、撮影対象などの状況に応じて、その都度最適なマッピング方式を選択することができない。
【０００８】
本発明は上記の課題を考慮してなされたものであり、パノラマ映像を配信する映像配信
システムにおいて、映像のマッピング方式を選択可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る映像配信システムは、映像配信装置と、映像表示装置と、を含み、同一の地点において異なる方向を向いて撮影された複数の映像を配信および表示する映像配信システムである。
【００１０】
具体的には、前記映像配信装置は、それぞれ異なる方向に対応する複数の映像と、それぞれの映像を撮影した際の方向に関する情報である映像パラメータと、を配信する映像配信手段を有し、前記映像表示装置は、表示パネルと、前記表示パネルが向いている方向を表す姿勢情報を取得する姿勢検出手段と、前記配信された複数の映像と、前記映像パラメータを受信する映像受信手段と、前記受信した映像パラメータに基づいて、前記複数の映像を連結する映像連結手段と、前記取得した姿勢情報に基づいて、前記連結した映像のうち表示を行う範囲である出力範囲を決定し、当該出力範囲を前記表示パネルに出力する映像出力手段と、を有することを特徴とする。
【００１１】
本発明に係る映像配信装置は、同一の地点において異なる方向を向いて撮影された複数の映像を配信する装置である。具体的には、撮影した複数の映像と、それぞれの映像を撮影した際の方向に関する情報である映像パラメータを配信する。映像パラメータとは、例えば、対応するカメラの方位角や仰俯角などを含んだデータである。映像パラメータには、マッピング方式を含ませてもよい。また、映像は、動画であってもよいし、静止画であってもよい。
なお、撮影とは、必ずしもカメラによって行われる必要は無く、空間内における、特定の方向に対応する画像を取得することができれば、どのような手段によって行われてもよい。例えば、仮想的な三次元空間内における、仮想的な視点から見た映像を取得するものであってもよい。
【００１２】
また、映像表示装置は、送信された複数の映像と、映像パラメータを受信して、通常のカメラ一台分の視野角よりも広い視野角を持つ映像（以下、パノラマ映像）を生成し、表示する装置である。映像表示装置は、映像パラメータにより、撮影された複数の映像が、空間上でどのような位置関係にあるかを把握することができるため、映像パラメータを用いて当該複数の映像を連結することで、パノラマ映像を得ることができる。
【００１３】
姿勢検出手段は、表示パネルが向いている方向（姿勢情報）を取得する手段である。姿勢情報とは、例えば、表示パネルの方位角や仰俯角などを含んだデータである。
映像出力手段は、取得した姿勢情報に基づいて、連結した映像のうち、どの範囲を表示パネルに出力すればよいかを決定し、当該範囲を表示パネルに出力する手段である。映像連結手段が連結した映像は、通常の範囲よりも広い視野角を持つ映像であるため、表示パネルの方向に基づいて出力範囲を決定することで、表示パネルを向けた方向に対応する映像を取得することができる。すなわち視聴者は、表示パネル越しに、撮影場所に立って周囲を眺めているような感覚を得ることができる。
【００１４】
また、かかる構成によれば、撮影した複数の映像を無加工で送信し、映像パラメータを用いて受信側で再構成するため、映像を連結する方法を自由に切り替えることができる。すなわち、ハードウェアの制約や、撮影場所、撮影対象などの状況に応じて最適なマッピング方式を選択することができる。
【００１５】
また、前記映像表示装置は、取得した前記姿勢情報に基づいて、前記複数の映像のうち、前記出力範囲に含まれるものを特定し、前記映像配信装置に対して、前記特定された映
像のみを送信するよう要求する配信要求手段をさらに有し、前記映像配信手段は、前記配信要求手段によって要求された映像のみを配信することを特徴としてもよい。
【００１６】
表示パネルに出力される範囲（出力範囲）は、連結された映像のうちの一部分である。したがって、出力範囲の外側にある部分は、映像配信装置から受信したとしても表示されないため、受信すること自体が無益である。そこで、配信要求手段は、出力範囲に含まれる映像のみを送信するように映像配信装置に要求し、映像配信装置は、要求された映像のみを配信するようにすることが好ましい。かかる構成によると、映像の伝送に用いる帯域を節約できるほか、映像表示装置における計算量を削減することができる。
【００１７】
また、前記配信要求手段は、前記姿勢情報の変化に基づいて、前記出力範囲に、現在受信していない映像が加わることを予測し、当該映像の送信を前記映像配信装置に対して要求することを特徴としてもよい。
【００１８】
出力範囲に含まれる映像のみを映像配信装置から取得するようにした場合、映像の境界を跨いだ場合に、タイムラグによる表示遅れが発生するおそれがある。これに対応するため、姿勢情報の変化に基づいて、映像の先読みを行うようにしてもよい。例えば、現在の出力範囲に映像１と映像２が含まれる場合であって、表示パネルの方向を移動させることで、出力範囲に映像３が加わることが予想される場合、映像３の配信を映像配信装置に対して前もって要求する。このようにすることで、映像の停止や欠損といった、タイムラグの影響を抑制できるようになる。
【００１９】
また、前記映像連結手段は、前記受信した映像パラメータに基づいて、取得した複数の映像を、三次元形状を有する仮想スクリーン上にマッピングすることで映像の連結を行うことを特徴としてもよい。
【００２０】
映像の連結は、三次元形状を有する仮想スクリーンに対するマッピングという形で行うことが好ましい。仮想スクリーンには、例えば、球体、半球、円柱、直方体などの形状を有するオブジェクトを用いることができる。これらのオブジェクトの中心に視点を配置することで、視聴者から見える範囲を特定することができる。
【００２１】
また、前記姿勢情報は、前記表示パネルの方位角または仰俯角の少なくともいずれかを含み、前記映像出力手段は、前記仮想スクリーン上における出力範囲を、前記方位角または仰俯角の少なくともいずれかに基づいて決定することを特徴としてもよい。
【００２２】
出力範囲は、表示パネルが向いている方位角または仰俯角の少なくともいずれかによって決定されることが好ましい。なお、方位角とは、基準となる方位角からの相対的な角度であればよく、必ずしも磁北を基準とした角度でなくてもよい。
【００２３】
また、前記映像パラメータは、それぞれの映像を撮影した際の方位角または仰俯角の少なくともいずれかを含むことを特徴としてもよく、前記映像パラメータは、それぞれの映像に対応する水平方向の画角または垂直方向の画角の少なくともいずれかをさらに含むことを特徴としてもよい。
【００２４】
映像パラメータは、各映像に対応する方位角、仰俯角、水平方向の画角、および垂直方向の画角などを含むことが好ましい。これらの情報を含ませることで、各映像をマッピングする際の配置位置を決定することができる。なお、映像パラメータに含まれる方位角も同様に、基準となる方位角からの相対的な角度であればよく、必ずしも磁北を基準とした角度でなくてもよい。
【００２５】
また、前記映像パラメータは、前記仮想スクリーンの形状に関する情報を含むことを特徴としてもよい。
【００２６】
仮想スクリーンの形状をあらかじめ定めておき、映像パラメータによって指定するようにしてもよい。このようにすることで、使用するハードウェアや撮影状況に適した仮想スクリーンを適宜選択できるようになる。
【００２７】
なお、本発明は、上記映像配信システムを構成する映像表示装置単体として特定することもできる。
また、前記映像表示装置は、前記複数の映像と、前記映像パラメータが記憶された記憶装置をさらに有し、前記映像取得手段は、前記記憶装置から前記複数の映像および映像パラメータを取得することを特徴としてもよい。
【００２８】
また、本発明は、上記手段の少なくとも一部を含む映像配信システムとして特定することもできるし、本発明は、上記映像配信システムが行う映像配信方法として特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
【発明の効果】
【００２９】
本発明によれば、パノラマ映像を配信する映像配信システムにおいて、映像のマッピング方式を選択可能にすることができる。
【図面の簡単な説明】
【００３０】
【図１】第一の実施形態に係る映像配信装置のシステム構成図である。
【図２】カメラユニットを構成するカメラの配置を説明する図である。
【図３】カメラユニットを構成するカメラの画角を説明する図である。
【図４】第一の実施形態において装置間で伝送されるデータを説明する図である。
【図５】第一の実施形態に係る映像表示装置のシステム構成図である。
【図６】第一の実施形態における映像パラメータを説明する図である。
【図７】第一の実施形態におけるマッピングモデルを説明する図である。
【図８】第一の実施形態におけるマッピング結果を説明する図である。
【図９】第一の実施形態における出力領域を説明する図である。
【図１０】映像表示装置に出力される画像を説明する図である。
【図１１】マッピングモデルの他の例を説明する図である。
【図１２】マッピングモデルの他の例を説明する第二の図である。
【図１３】マッピングモデルの他の例を説明する第三の図である。
【図１４】第二の実施形態において装置間で伝送されるデータを説明する図である。
【発明を実施するための形態】
【００３１】
（第一の実施形態）
以下、本発明の好ましい実施形態について図面を参照しながら説明する。第一の実施形態に係る映像配信システムは、複数台のカメラで撮影した映像を映像配信装置から配信し、映像表示装置にて受信および表示を行うシステムである。
【００３２】
<システム構成>
第一の実施形態に係る映像配信システムは、映像配信装置１００および映像表示装置２００から構成される。図１は、第一の実施形態に係る映像配信装置１００のシステム構成図である。
映像配信装置１００は、複数台のカメラを用いてそれぞれ異なる方向を撮影し、得られた複数の映像を配信する装置である。なお、実施形態の説明において用いる映像という語
は、一台のカメラで撮影された１チャネル分の映像を指し、映像ソースという語は、当該映像が記録されたファイルないし映像ストリームを指す。
【００３３】
映像配信装置１００の説明に入る前に、カメラの配置について図２を参照しながら説明する。本実施形態では、カメラ１〜６の計６台のカメラが異なる角度に向けてそれぞれ設置されており、３６０度の全方位を同時に撮影することができる。図２からわかる通り、カメラ一台あたりの水平方向の画角（視野角）は６０度である。ここでは、カメラ１〜６が撮影した映像をそれぞれ映像１〜６と称する。映像配信装置１００は、このようにして撮影した６チャネル分の映像を配信する装置である。
【００３４】
図１に戻り、映像配信装置１００の説明を行う。
映像配信装置１００は、映像取得部１０２、パラメータ記憶部１０３、映像送出部１０４から構成される。映像配信装置１００は、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって図１に図示した各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）
なお、カメラユニット１０１は映像配信装置１００を構成する要素ではないが、同時に説明する。
【００３５】
カメラユニット１０１は、異なる方向を向いてマウントされた複数のカメラからなるユニットである。第一の実施形態では、図２に示したように６チャネル分の映像を出力する。なお、図２では、６０度ずつ角度をずらしてカメラを配置した例を挙げたが、各カメラが撮影する画像はオーバーラップ領域を含んでいてもよい。オーバーラップ領域を合成することによって、自然な画像を得ることができる。オーバーラップ領域の合成については、公知の技術であるため説明は省略する。
【００３６】
図３は、カメラユニット１０１を構成する各カメラの画角を説明する図である。図３（Ａ）が、カメラ１を上方向から俯瞰した図であり、図３（Ｂ）が、カメラ１を横方向から見た図である。カメラから伸びた点線は、画角（すなわち撮影範囲）を表す。本例では、水平方向に６０度、垂直方向に１２０度の画角を持つカメラを用いるものとする。すなわち、縦長の画像を取得することができる。
【００３７】
なお、実施形態の説明では、カメラが向いている方角に対応する角度（ヨー角）を方位角、上下方向の角度（ピッチ角）を仰角と称する。方位角は、必ずしも磁北を基準とした角度である必要はない。例えば、撮影を行うスタジオにおける任意の方角を０度としてもよい。図３（Ａ）では、図中上方向（Ｘ軸正方向）を０度とし、時計回りに角度が増加する構成としている。
また、仰角にはマイナスの角度（俯角）も含まれる。図３（Ｂ）では、上方をプラス、下方をマイナスの角度として仰角を表している。
また、Ｘ軸を軸として回転する際の角度（ロール角）は回転角と称する。本実施形態では、映像を撮影する際の回転角は常に０度である。
本実施形態では６台のカメラを用いているが、所望の範囲（すなわち視聴者に提供する範囲）の角度を撮影することができれば、カメラの台数は何台であってもよい。例えば、画角が１８０度であるカメラを２台用いて、３６０度の画角を提供するようにしてもよい。
【００３８】
映像取得部１０２は、カメラユニット１０１から６チャネル分の映像を取得し、所定の規格の映像ソース（例えば、Mpeg2-TS）に変換する手段である。取得する映像信号がアナログの信号である場合、映像取得部１０２がデジタル変換を行う。また、画質補正などの処理を行ってもよい。
【００３９】
パラメータ記憶部１０３は、カメラユニット１０１を構成する各カメラが撮影する映像の位置関係を記憶する手段である。例えば、図２および図３に示したようにカメラが配置されていた場合、それぞれのカメラについて「方位角」「仰角」「水平方向の画角」「垂直方向の画角」といった情報を記憶する。これらの情報を映像パラメータと称する。映像パラメータの詳細な内容については後述する。
【００４０】
映像送出部１０４は、カメラユニット１０１を構成する各カメラが撮影した映像に対応する映像ソースと、映像パラメータを送信する手段である。映像ソースおよび映像パラメータは、例えば、ローカルエリアネットワークやＩＥＥＥ８０２．１１、移動体通信網などのネットワークインフラを経由して送信される。映像送出部１０４は、有線ネットワークインタフェースであってもよいし、無線ネットワークインタフェースであってもよい。
【００４１】
映像配信装置１００は、以上に説明した構成によって、複数の映像ソースと、映像パラメータをネットワークに送信する。送信先は、映像を配信するサーバであってもよいし、映像表示装置２００であってもよいが、本実施形態では、映像表示装置２００に直接送信するものとする。すなわち、図４に示したように、合計７つのチャネルで情報が送信される。映像配信装置１００が送信する映像は、フォーマットの変換や画質の補正以外、加工されていない映像である。
【００４２】
次に、映像表示装置２００の構成について、図５を参照しながら説明する。
映像表示装置２００は、映像配信装置１００から、複数の映像ソースと、映像パラメータを受信し、映像を合成して表示するタブレット型の端末装置である。具体的には、複数の映像を立体的に合成し、また、表示パネルの姿勢（方向や傾き）を取得し、取得した姿勢に基づいて、合成した映像のうち表示すべき範囲を抽出し、表示パネルに出力する装置である。以下、映像表示装置２００を構成する要素について説明する。
【００４３】
通信部２０１は、映像配信装置１００から送信された複数の映像および映像パラメータを受信する手段である。通信部２０１は、有線ネットワークインタフェースであってもよいし、無線ネットワークインタフェースであってもよい。
マッピング部２０２は、受信した複数の映像を、仮想的な三次元空間内に設けられた立体オブジェクトにマッピングする手段である。詳細な方法については後述する。
表示部２０３は、映像の視聴者に対して情報を提示する手段である。具体的には、液晶表示パネル（以下、表示パネル）とその制御手段から構成される。
【００４４】
加速度センサ２０４は、表示部２０３にかかっている加速度を検出する手段である。加速度センサ２０４は、三軸の加速度センサであり、それぞれの軸方向にかかった加速度を検出することができる。また、検出した加速度に基づいて、表示部２０３の仰角および回転角を取得することができる。なお、表示部２０３が向いている方向（方位角）については、初期状態からの変化量を取得することができるが、絶対的な角度（例えば、磁北に対する角度）を取得することはできない。映像表示装置においては、方位角とは、初期状態（例えば、装置を起動した状態）における方向を０度とし、初期状態からの角度の変化量であるものとする。
【００４５】
方位センサ２０５は、表示部２０３が向いている方位を検出する手段である。具体的には、地磁気センサであり、磁北とのずれ角を検出することができる。方位センサ２０５は、磁北とのずれ角を用いて、加速度センサ２０４によって取得した方位角を補正する。加速度センサ２０４のみを用いて方位角を検出した場合、誤差が累積するおそれがあるが、方位センサ２０５を用いて定期的に値を補正することで、誤差を解消することができる。なお、方位センサ２０５のみを用いて方位角を検出するようにしてもよい。
【００４６】
表示制御部２０６は、マッピング部２０２によって三次元空間内にマッピングされた映像を、当該三次元空間内に置かれた仮想的な視点から見た場合の画像を取得し、表示部２０３に出力する手段である。この際の視線の方向は、加速度センサ２０４および方位センサ２０５によって取得された表示部の姿勢に基づいて決定する。詳細な方法については後述する。
【００４７】
<映像パラメータ>
次に、映像パラメータについて説明する。映像パラメータは、三次元空間において複数の映像をマッピングするための情報であり、具体的には、前述したように、カメラの姿勢に関する情報と、カメラの画角に関する情報を含むデータである。
図６は、映像パラメータの例である。映像パラメータは、階層化された複数のセクションから構成され、例えばＸＭＬ（Extensible Markup Language）ファイル等の構造化言語によって記述される。図６に示した各セクションについて説明する。
【００４８】
<<映像ソース>>
映像ソースセクションは、個々のカメラによって撮影された映像を特定するセクションである。例えば、６台のカメラによって映像が撮影された場合、映像パラメータには、６つの映像ソースセクションが含まれる。
<<名称>>
名称セクションは、映像の名称ないし識別子を定義するセクションである。複数の映像を一意に識別できる名称が付与される。
<<ＵＲＩ>>
ＵＲＩ（Uniform Resource Identifier）セクションは、映像ソースの場所を指定する
セクションである。映像表示装置２００は、当該セクションを参照することで、取得すべき映像ソースがどこにあるかを認識する。映像のソースは、例えばＨＴＴＰ等のスキームによって指定されてもよいし、その他のスキーム（例えばファイルパスなど）によって指定されてもよい。
【００４９】
<<幅および高さ>>
幅および高さセクションは、映像の横幅および高さをピクセルで指定するセクションである。
<<マッピングモデル>>
マッピングモデルセクションは、映像をマッピングする仮想的な三次元オブジェクトの形状を指定するセクションである。マッピングモデルは、「球体（Sphere）」、「半球（Dome）」、「円柱（Pillar）」、「直方体（Cube）」のいずれかである。それぞれのモデルを用いた場合のマッピング例については後述する。
<<画角>>
画角セクションは、カメラが撮影した映像の水平方向の画角を指定するセクションである。例えば、図３に示した例では、画角は６０度となる。なお、垂直方向の画角については、本実施形態では省略しているが、用いてもよい。
【００５０】
<<方位角>>
方位角セクションは、映像を撮影したカメラが向いている方位角を指定するセクションである。ここで指定する方位角は、前述したように、必ずしも磁北を基準とした角度である必要はなく、撮影時に定めた任意の方角を０度とした角度である。
<<仰角>>
仰角セクションは、映像を撮影したカメラの仰角を指定するセクションである。仰角は、図３で説明したように、水平方向を０度とし、上方をプラスの角度、下方をマイナスの角度で表す。
【００５１】
<映像のマッピング>
次に、マッピング部２０２が、前述した映像パラメータを用いて映像をマッピングする方法について説明する。
映像のマッピングは、仮想的な三次元空間内に三次元モデル（以下、マッピングモデル）を生成し、当該モデルに対して行う。ここでは、マッピングモデルに球体を用いる例を挙げる。図７はマッピングモデルの例である。
映像を球体にマッピングする際の、マッピング先となる領域を決定するためには、少なくとも映像を撮影した際の方位角と仰角、画角が必要である。ここでは、方位角をθ1と
し、画角をθ2とする。また、仰角を０度とする。当該項目は、映像パラメータが有する
同項目に対応する。
【００５２】
これらの情報によって特定された領域が、図７のハッチングで示した領域である。マッピング部２０２は、当該領域に対して、球面マッピングによって映像をテクスチャマッピングする。
なお、映像は縦長の長方形であり、マッピング先の領域と形状が異なるため、映像の全幅が当該領域に収まるように、横幅を優先してマッピングを行う。すなわち、マッピング先の領域の天頂部分および天底部分には、映像がマップされない領域が生じる。
図８に示したモデル８００は、映像パラメータを用いて、６つの映像すべてをマッピングした結果を表す図である。黒塗りで示した部分は、映像がマップされていない部分である。第一の実施形態では、以上に説明した方法によって、マッピングモデルの任意の場所に任意の映像をマッピングすることができる。
【００５３】
<出力領域の決定>
次に、マッピング結果を用いて、表示制御部２０６が、表示部に出力する内容を決定する方法について説明する。表示制御部２０６は、映像がマッピングされたマッピングモデルに対して仮想的な視点（以下、仮想視点）を設定し、当該視点から観察可能な視野範囲をクリッピングしたうえで、クリッピング後の領域を表示部２０３に出力する。クリッピングされる領域を出力領域と称する。
【００５４】
図９は、マッピングモデルと、仮想視点との関係を表した図である。仮想視点は、マッピングモデルの中心に配置される。また、出力領域は、以下の情報を用いて、マッピングモデル上の領域をクリッピングし、出力領域とする。
（１）加速度センサ２０４によって取得された仰角および回転角
（２）加速度センサ２０４および方位センサ２０５によって取得された方位角
（３）表示部２０３に設定された仮想的な視野角
このうち、（３）については、あらかじめ設定された値を用いる。このようにすることで、マッピングモデル上の出力領域が特定される。表示制御部２０６は、マッピングされた映像のうち、当該出力領域に含まれる部分を表示部２０３に出力する。
例えば、図８における領域８０１が出力領域であるとすると、映像表示装置が有する表示パネルには、図１０に示したような映像が出力される。
【００５５】
なお、映像配信装置側における方位角は、撮影時に定めた所定の方角が０度となり、映像表示装置側における方位角は、初期状態の角度（例えば、装置を起動した状態における角度）が０度となる。もちろん、磁北に基づいた絶対的な方位角を用いて両者を一致させてもよい。
【００５６】
以上に説明した処理、すなわち、映像のマッピング処理、出力領域の決定処理、対応する映像の出力処理は、映像配信装置１００から送信される映像のフレームレートに対応した周期でリアルタイムに行われる。例えば、フレームレートが３０ＦＰＳである場合、毎秒３０回行ってもよい。また、ｎフレーム毎など、所定のフレームごとに行ってもよい。
このように、第一の実施形態では、映像の視聴者が映像表示装置を所望の方向に移動させるだけで、対応する方角の映像を視聴することができる。すなわち視聴者は、撮影現場にいるような臨場感を得ることができる。
【００５７】
また、第一の実施形態に係る映像配信システムでは、各カメラによって撮影された映像を、加工しない状態でそのまま配信し、受信側において、映像パラメータを用いて再構成する。従来の映像配信システムでは、マッピングを行う方法が決まっていたため、あらかじめ定められた手順（マッピング方法、カメラの配置等）を変更することができなかったが、本発明によると、映像パラメータを変更するだけで、マッピング方法やカメラの配置位置を変更することができる。すなわち、使用されるハードウェアや撮影シーンにあわせて、より適切な方法を選択することができる。
【００５８】
（第一の実施形態の変形例）
第一の実施形態では、マッピングモデルに球体を用いたが、マッピングモデルには他の形状を用いてもよい。複数形状のマッピングモデルを切り替え可能とする場合、映像表示装置２００が、まず映像パラメータを受信し、指定されたマッピングモデルを生成してからマッピング処理を開始する。
マッピングモデルには、例えば、図１１に示したモデル１１００のように、半球状のモデルを用いてもよい。当該モデルに対するマッピングの方法、および、出力領域を決定する際の仮想的な視点の位置は、球体の下半球が無いという点を除いて第一の実施形態と同様である。
【００５９】
また、図１２に示したモデル１２００のように、円柱状のモデルを用いてもよい。仰角を固定する場合は、球体よりも円柱状のモデルが適している。マッピングモデルに円柱を用いる場合、方位角と画角が必要である（仰角は０度で固定）。当該項目は、映像パラメータが有する同項目に対応する。
マッピングモデルに円柱を用いる場合、出力領域を決定する際の仮想的な視点の位置は、円柱の中心点となる。円柱を用いると、球体を用いる場合と比較して処理量を削減することができるため、処理能力の低いハードウェアを用いる場合において有用である。また、歪みの少ない映像を提供することができる。
【００６０】
また、図１３に示したモデル１３００のように、直方体のモデルを用いてもよい。マッピングモデルに直方体を用いる場合、マッピングを行う面を特定するために、方位角と仰角が必要である。方位角は、０度、９０度、１８０度、２７０度の４つの値をとり、仰角は、０度、９０度、−９０度の３つの値をとる。また、画角のかわりに、映像の横幅および高さが必要である。当該項目は、映像パラメータが有する同項目に対応する。
マッピングモデルに直方体を用いる場合、出力領域を決定する際の仮想的な視点の位置は、直方体の中心点となる。直方体を用いると、球体や円柱を用いる場合と比較して処理量をさらに削減することができる。
【００６１】
（第二の実施形態）
第一の実施形態では、図４に示したように、常に全チャネル分の映像を伝送している。しかし、全方位の映像のうち、表示部２０３に表示される部分は一部であるため、視聴されない映像まで送受信が行われてしまう。第二の実施形態は、これを抑制するため、出力領域に含まれない映像ソースについて、伝送を停止する実施形態である。
【００６２】
第二の実施形態における映像配信システムの構成は、第一の実施形態と同様であるため、図示は省略し、相違点についてのみ説明を行う。
【００６３】
第二の実施形態では、表示制御部２０６が出力領域を決定した後、当該出力領域の位置
に関する情報をマッピング部２０２に送信する。そして、マッピング部２０２が、当該出力領域に含まれない映像を特定する。例えば、図８における領域８０１が出力領域であった場合、映像１，４，５，６が特定される。これらの映像が伝送されるチャネルを非表示チャネルと称する。
非表示チャネルについての情報は、通信部２０１に送信され、通信部２０１は、該当する映像ソースの受信を停止する。これにより、図１４のように、映像２および３に対応する映像ソースと、映像パラメータのみが映像表示装置に配信されるようになり、それ以外の映像ソースの伝送が停止する。
以上に説明した処理は、表示制御部２０６が出力領域を決定するごと、すなわちフレームレートごとに行われる。
【００６４】
このように、第二の実施形態では、表示パネルに出力されている映像のみを選択的に受信するため、第一の実施形態と同様の効果を得つつ、データ伝送量および処理量を必要最小限にすることができる。
【００６５】
（第三の実施形態）
第二の実施形態では、表示パネルに出力されている映像のみを受信するため、データの伝送量を抑えることができるが、表示部２０３の姿勢を変更した場合に、タイムラグにおる表示遅れが発生する場合がある。例えば、図８における領域８０１が出力領域であり、視聴者が映像表示装置を右方向にパンニングした場合、映像３が出力領域から外れ、映像１が出力領域に加わるが、映像の受信および表示には時間がかかるため、映像１が表示されるべき部分が欠損、あるいは画面が一瞬停止するといった現象が発生する。
【００６６】
第三の実施形態では、これに対応するため、出力領域に新たな映像が加わることを予測し、これに先立って当該映像の受信を開始する。例えば、表示制御部２０６が、加速度センサ２０４および方位センサ２０５の出力の変化に基づいて、所定の時間以内に、出力領域に新たな映像が加わると判断した場合、当該映像の受信を要求する旨をマッピング部２０２に通知する。そして、マッピング部２０２が、非表示チャネルから当該映像に対応するチャネルを削除する。この結果、対象の映像に対応する映像ソースの受信が再開される。
例えば、前述した例の場合、表示制御部２０６が、映像１が所定の時間以内に出力領域に加わることを予測し、事前に映像１に対応する映像ソースの受信を再開する。
【００６７】
第三の実施形態では、このように、映像の受信を一時停止した場合であっても、装置の姿勢の変化に基づいて、映像の受信を事前に再開できるため、タイムラグの影響を最小限に抑えることができる。
【００６８】
（変形例）
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
【００６９】
例えば、マッピングを行うためのモデルには、例示した形状以外の三次元モデルを用いてもよい。
また、実施形態の説明では、三次元形状を有するマッピングモデルに対して映像をマッピングしているが、受信した映像を二次元平面上で単に連結するだけであってもよい。映像を視聴する際の自由度が、方位角、仰角、回転角のうちのいずれか一軸のみである場合、このようにすることで、立体物に対するマッピング処理を省略することができ、処理および機器の構成を簡略化することができる。
【００７０】
また、実施形態の説明では、図２のように円周方向に沿って配置されたカメラの例を挙
げたが、天頂方向および天底方向をカバーするカメラを用いてもよい。また、使用可能なカメラは、通常の画角を持つカメラに限られず、例えば、魚眼レンズなどを有する超広角カメラであってもよい。使用されるカメラは、図６に示した映像パラメータによって、撮影方向を記述することができれば、どのようなカメラであってもよい。例えば、仮想空間における仮想的なカメラであってもよい。
【００７１】
また、映像配信装置が配信する映像は、動画のみに限られず、静止画であってもよい。また、当該静止画は、必ずしも複数台のカメラによって撮影されたものである必要はなく、例えば、一台のカメラで撮影方向を変えながら撮影されたものであってもよい。
【００７２】
また、実施形態の説明では、映像の伝送についてのみ例示したが、音声を同時に伝送してもよい。この場合、映像ソースに加えて音声ソースを送信し、映像表示装置側で音声をデコードして再生するようにすればよい。
また、伝送する音声は、複数チャネルの音声であってもよい。複数チャネルの音声を伝送する場合、それぞれの音声を収録したマイクの方向に関する情報を、映像パラメータと同様のパラメータを用いて音声パラメータとして表し、同時に伝送してもよい。例えば、音声パラメータを用いて、対応するマイクの方位角や仰角についての情報を送信し、映像表示装置が、取得した表示部の姿勢と音声パラメータに基づいて、各チャネルの音声を適切な割合で選択およびミキシングして再生するようにしてもよい。
【００７３】
また、実施形態の説明では、映像表示装置が、映像配信装置から映像の配信を受ける例を挙げたが、映像は必ずしもネットワーク経由で伝送しなくてもよい。例えば、異なる方向に対応する複数の映像を映像表示装置内の記憶装置に保持しておき、映像を読み出しながら再生するようにしてもよい。
【符号の説明】
【００７４】
１００  映像配信装置
１０１  カメラユニット
１０２  映像取得部
１０３  パラメータ記憶部
１０４  映像送出部
２００  映像表示装置
２０１  通信部
２０２  マッピング部
２０３  表示部
２０４  加速度センサ
２０５  方位センサ
２０６  表示制御部
【図１】
2015173424.tif 000003
【図２】
2015173424.tif 000004
【図３】
2015173424.tif 000005
【図４】
2015173424.tif 000006
【図５】
2015173424.tif 000007
【図６】
2015173424.tif 000008
【図７】
2015173424.tif 000009
【図８】
2015173424.tif 000010
【図９】
2015173424.tif 000011
【図１０】
2015173424.tif 000012
【図１１】
2015173424.tif 000013
【図１２】
2015173424.tif 000014
【図１３】
2015173424.tif 000015
【図１４】
2015173424.tif 000016