(57)【要約】      （修正有）【課題】視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができる情報処理装置、管理装置、情報処理方法、およびプログラムを提供する。【解決手段】映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中にユーザが利用することが可能な、ビデオコンテンツの映像を用いて実現される機能を、機能に関する課金が行われることに応じて追加する機能管理部を備える。視野を自由に変えることができるコンテンツの視聴に用いられる再生装置としてのHMD(Head Mounted Display)３−１〜３に適用することができる。【選択図】図１
2016025633.tif 000002
【特許請求の範囲】
【請求項１】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える
情報処理装置。
【請求項２】
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
請求項１に記載の情報処理装置。
【請求項３】
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
請求項２に記載の情報処理装置。
【請求項４】
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
請求項２に記載の情報処理装置。
【請求項５】
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる前記機能を追加する
請求項１に記載の情報処理装置。
【請求項６】
前記ビデオコンテンツを再生する再生部と、
再生された前記ビデオコンテンツの映像の前記表示範囲を前記ユーザの動きに追従して切り替えるとともに、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる表示制御部と
をさらに備える請求項５に記載の情報処理装置。
【請求項７】
前記表示制御部は、課金額に応じて、前記ビデオコンテンツの映像の最大の拡大率を変える
請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、前記ビデオコンテンツの映像を、許可されている最大の拡大率で拡大して表示させる
請求項７に記載の情報処理装置。
【請求項９】
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、課金を促す情報を表示させる
請求項７に記載の情報処理装置。
【請求項１０】
前記表示制御部は、前記ユーザが装着するHMDに前記ビデオコンテンツの映像を表示させ、前記ユーザの目の前方に位置する前記HMDの本体を、前記ユーザが両手で把持していることが検出された場合に、前記ビデオコンテンツの映像を拡大して表示させる
請求項５に記載の情報処理装置。
【請求項１１】
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を静止画として保存するための機能を追加する
請求項１に記載の情報処理装置。
【請求項１２】
静止画を保存することが指示されたタイミングにおける前記表示範囲を表す視野情報を記録する記録部をさらに備え、
前記機能管理部は、前記ビデオコンテンツの配信を管理する管理サーバに前記視野情報を送信し、前記管理サーバから送信された、前記視野情報により表される前記表示範囲を含む静止画を受信して保存する
請求項１１に記載の情報処理装置。
【請求項１３】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む情報処理方法。
【請求項１４】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１５】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部と
を備える管理装置。
【請求項１６】
前記課金処理部は、複数の前記情報処理装置から送信されてきた前記視野情報に基づいてそれぞれの前記ユーザの前記表示範囲を特定し、前記表示範囲の重複数に応じて、前記表示範囲を含む静止画の課金額を変える
請求項１５に記載の管理装置。
【請求項１７】
前記課金処理部は、前記情報処理装置に送信する前記表示範囲を含む静止画の解像度に応じて、前記表示範囲を含む静止画の課金額を変える
請求項１５に記載の管理装置。
【請求項１８】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む情報処理方法。
【請求項１９】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、管理装置、情報処理方法、およびプログラムに関し、特に、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができるようにした情報処理装置、管理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、HMD(Head Mounted Display)にヘッドトラッキング用のセンサを搭載し、ユーザの頭部の姿勢に応じて映像の表示範囲をリアルタイムで切り替えることにより、別空間にいるかのような体験をユーザに与える技術が各種提案されている。
【０００３】
HMDのコンテンツとしては、例えば、複数のビデオカメラで撮影された映像を合成することによって生成された３６０度の画角の実写の映像や、３６０度の画角のCG(Computer Graphics)の映像などが用いられる。ユーザは、３６０度の画角全体のうちの、HMDに設けられた表示デバイスの視野角に応じた一部の範囲の映像を見ることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１２／０４３３５７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したようなHMDを用いることにより、別空間にいるかのような体験を得ることができるものの、単に映像を見るだけでは面白みに欠ける。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の情報処理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える。
【０００８】
本技術の他の側面の管理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部とを備える。
【発明の効果】
【０００９】
本技術によれば、視野を自由に変えることができるコンテンツの視聴中に利用可能な機能を追加することができる。
【００１０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１１】
【図１】本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。
【図２】撮影空間の例を示す平面図である。
【図３】映像の画角の例を示す図である。
【図４】映像の画角の他の例を示す図である。
【図５】映像の例を示す図である。
【図６】視野の例を示す図である。
【図７】HMDの外観の例を示す斜視図である。
【図８】HMDを装着した状態を示す図である。
【図９】コンテンツ管理サーバの構成例を示すブロック図である。
【図１０】コンテンツ管理サーバの機能構成例を示すブロック図である。
【図１１】携帯端末の構成例を示すブロック図である。
【図１２】携帯端末の機能構成例を示すブロック図である。
【図１３】HMDの構成例を示すブロック図である。
【図１４】コンテンツ管理サーバの課金処理について説明するフローチャートである。
【図１５】携帯端末の機能追加処理について説明するフローチャートである。
【図１６】携帯端末の再生処理について説明するフローチャートである。
【図１７】映像のズームの例を示す図である。
【図１８】課金を促す情報の表示例を示す図である。
【図１９】HMDの表示処理について説明するフローチャートである。
【図２０】携帯端末の他の再生処理について説明するフローチャートである。
【図２１】図２０のステップＳ７０において行われる撮影画像購入処理について説明するフローチャートである。
【図２２】料金の表示例を示す図である。
【図２３】コンテンツ管理サーバの撮影画像生成処理について説明するフローチャートである。
【図２４】視野の重複の例を示す図である。
【図２５】HMDの形態の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．コンテンツ配信システムの構成
２．各機器の構成
・コンテンツ管理サーバの構成
・携帯端末の構成
・HMDの構成
３．各機器の動作
・ズーム機能の追加に関する処理
・ズーム機能を用いた再生処理
・撮影機能を用いた再生処理
４．変形例
【００１３】
＜コンテンツ配信システムの構成＞
図１は、本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。
【００１４】
図１のコンテンツ配信システムは、コンテンツ管理サーバ１と、クライアント端末としての携帯端末２−１乃至２−３がインターネットなどのネットワーク４を介して接続されることによって構成される。
【００１５】
携帯端末２−１と携帯端末２−２はスマートフォンなどの端末であり、携帯端末２−３はPCである。このように、各種のデバイスがクライアント端末として用いられる。図１には３台のクライアント端末を示しているが、さらに多くの端末がネットワーク４に接続される。
【００１６】
携帯端末２−１乃至２−３には、それぞれ、有線または無線を介してHMD３−１乃至３−３が接続される。携帯端末２−１とHMD３−１のペア、携帯端末２−２とHMD３−２のペア、携帯端末２−３とHMD３−３のペアはそれぞれ異なるユーザにより用いられる。携帯端末２−１乃至２−３はコンテンツの再生装置として機能し、HMD３−１乃至３−３は、携帯端末により再生されたコンテンツの映像を表示する表示装置として機能する。
【００１７】
コンテンツ管理サーバ１は、複数のビデオコンテンツを管理し、クライアント端末のユーザにより選択されたビデオコンテンツを送信する。コンテンツ管理サーバ１が送信するビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。
【００１８】
コンテンツ管理サーバ１から送信されたビデオコンテンツを受信した例えば携帯端末２−１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。コンテンツ管理サーバ１が送信するビデオコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。
【００１９】
HMD３−１乃至３−３には、加速度センサ、ジャイロセンサなどの、ヘッドトラッキング用のセンサが搭載されている。携帯端末２−１乃至２−３は、HMD３−１乃至３−３から送信されてくる情報に基づいて、HMD３−１乃至３−３を装着するユーザの視野を検出し、視野に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。
【００２０】
ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。
【００２１】
以下、コンテンツ管理サーバ１が送信する自由視点コンテンツの映像が、複数の歌手が出演するコンサートの映像である場合について説明する。演劇の映像、スポーツの映像、観光地の映像、CGの映像など、様々な自由視点コンテンツがコンテンツ管理サーバ１から送信されるようにすることが可能である。
【００２２】
図２は、自由視点コンテンツの撮影空間であるコンサート会場の例を示す平面図である。
【００２３】
コンサート会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいるものとする。被写体は、コンサート会場全体の風景となる。
【００２４】
位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。
【００２５】
白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のそれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。
【００２６】
図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。
【００２７】
位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。
【００２８】
図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。
【００２９】
以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。
【００３０】
図５Ａ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。
【００３１】
図５Ａ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。
【００３２】
図５Ａに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３３】
図５Ｂに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３４】
図５Ｃに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。
【００３５】
図６は、位置Ｐ１における視野の例を示す図である。
【００３６】
図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD３−１の表示範囲、すなわちHMD３−１のユーザの視野を示す。HMD３−１においては、枠Ｆ１で示す範囲内の動画が表示される。
【００３７】
ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD３−１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。
【００３８】
ここで、ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。コンテンツ管理サーバ１は、ユーザが選択した視点の位置、自由視点コンテンツの再生中にHMD３−１により検出された視線の方向、および、HMD３−１が有するディスプレイの画角に基づいて、ユーザの視野を特定することが可能となる。
【００３９】
なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。コンテンツ管理サーバ１が配信する自由視点コンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。視点の切り替えは、ある視点のビデオストリームの再生中に行うことも可能とされる。
【００４０】
また、複数の位置から撮影された映像を合成することによって生成された完全自由視点コンテンツがコンテンツ管理サーバ１から配信されるようにしてもよい。完全自由視点コンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。
【００４１】
図１の説明に戻り、携帯端末２−１乃至２−３は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信し、再生する。携帯端末２−１乃至２−３は、再生することによって得られた自由視点コンテンツの映像をHMD３−１乃至３−３に送信し、内蔵するディスプレイに表示させる。
【００４２】
図７は、HMD３−１の外観の例を示す斜視図である。
【００４３】
図７に示すように、HMD３−１はいわゆる没入型のHMDであ。HMD３−１は、上方視において略放物線形状となる本体１１、ヘッドパッド１２、上側ヘッドバンド１３、および下側ヘッドバンド１４から構成される。ヘッドパッド１２は本体１１の上面に固定され、略Ｕ字状の上側ヘッドバンド１３と下側ヘッドバンド１４は本体１１の後方に取り付けられる。
【００４４】
本体１１の内部にはディスプレイが設けられる。また、本体１１には、右側面と上面に跨る形でタッチセンサ２１Ａが設けられる。図示を一部省略しているが、タッチセンサ２１Ａと対称の位置には、左側面と上面に跨る形でタッチセンサ２１Ｂが設けられる。
【００４５】
図８は、HMD３−１を装着した状態を示す図である。
【００４６】
図８に示すように、HMD３−１をユーザが装着したとき、本体１１は、ユーザの目の前方に位置し、ヘッドパッド１２はユーザの額に密着する。上側ヘッドバンド１３は後頭部上方を固定し、下側ヘッドバンド１４は後頭部下方を固定する。
【００４７】
タッチセンサ２１Ａとタッチセンサ２１Ｂの位置は、ユーザが本体１１を両手で把持したときに、ユーザの手が触れる位置となる。ユーザは、自由視点コンテンツの視聴中、右手でタッチセンサ２１Ｂに触れ、左手でタッチセンサ２１Ａに触れることによって各種の操作を行うことができる。
【００４８】
HMD３−１乃至３−３は、自由視点コンテンツの再生中、ユーザの頭部の姿勢を検出し、検出した姿勢を表す姿勢情報を携帯端末２−１乃至２−３に送信する。携帯端末２−１乃至２−３においては、頭部の姿勢に応じて映像の表示範囲が切り替えられ、切り替え後の表示範囲の映像がHMD３−１乃至３−３に対して送信される。
【００４９】
図６を参照して説明したように、携帯端末２−１乃至２−３は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。また、携帯端末２−１乃至２−３は、ユーザが顔を上に向けたとき、視点の位置をそのままに映像の表示範囲を上方向に移動させ、下に向けたとき、視点の位置をそのままに映像の表示範囲を下方向に移動させる。携帯端末２−１乃至２−３は、例えばユーザが頭を右に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を右に回転させ、左に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を左に回転させる。
【００５０】
図１の例においては、HMD３−１乃至３−３のユーザは、それぞれ異なる視野の映像である映像Ｖ１乃至Ｖ３を視聴しているものとされている。
【００５１】
コンテンツ管理サーバ１から配信された自由視点コンテンツは、このような形で、各クライアント端末のユーザにより視聴される。
【００５２】
携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中にユーザが利用できる各種の機能を、コンテンツ管理サーバ１による制御に従って追加する。追加される機能は、例えば、自由視点コンテンツの映像を用いて実現される機能である。
【００５３】
例えば、携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中に、視聴している映像を拡大して表示させる機能であるズーム機能を追加する。携帯端末２−１乃至２−３のユーザは、ズーム機能を利用することにより、視聴中の映像に含まれる、自分が見たいと思った部分を拡大して見ることができる。
【００５４】
また、携帯端末２−１乃至２−３は、自由視点コンテンツの視聴中に、視聴している映像を静止画として保存する機能である撮影機能を追加する。携帯端末２−１乃至２−３のユーザは、撮影機能を利用することにより、視聴中の映像を、あたかも自分が持っているカメラで撮影したかのように静止画として残しておくことができる。
【００５５】
機能の追加は、新たなプログラムをインストールすることによって行われるようにしてもよいし、機能の制限を解除することによって行われるようにしてもよい。機能の追加には課金が必要とされる。
【００５６】
各機能を追加して自由視点コンテンツを再生する各機器の一連の処理については後述する。
【００５７】
＜各機器の構成＞
・コンテンツ管理サーバの構成
図９は、コンテンツ管理サーバ１の構成例を示すブロック図である。
【００５８】
CPU(Central Processing Unit)３１、ROM(Read Only Memory)３２、RAM(Random Access Memory)３３は、バス３４により相互に接続されている。
【００５９】
バス３４には、さらに、入出力インタフェース３５が接続される。入出力インタフェース３５には、ディスプレイ３６と入力部３７が接続される。入力部３７は、キーボード、マウスなどであり、コンテンツ管理サーバ１の管理者により用いられる。
【００６０】
また、入出力インタフェース３５には、ハードディスクや不揮発性のメモリなどよりなる記録部３８、ネットワークインタフェースであり、ネットワーク４を介して他の機器と通信を行う通信部３９が接続される。入出力インタフェース３５には、リムーバブルメディア４１を駆動するドライブ４０も接続される。
【００６１】
図１０は、コンテンツ管理サーバ１の機能構成例を示すブロック図である。
【００６２】
図１０に示す機能部のうちの少なくとも一部は、CPU３１により所定のプログラムが実行されることによって実現される。図１０に示すように、コンテンツ管理サーバ１においては、コンテンツ配信部５１、コンテンツデータベース５２、課金処理部５３、および撮影画像生成部５４が実現される。コンテンツデータベース５２は記録部３８において実現される。
【００６３】
コンテンツ配信部５１は、通信部３９を制御し、自由視点コンテンツの配信を管理する。コンテンツ配信部５１は、自由視点コンテンツの配信を要求する情報がクライアント端末から送信されてきたとき、要求された自由視点コンテンツをコンテンツデータベース５２から読み出し、クライアント端末に送信する。
【００６４】
コンテンツデータベース５２は、複数の自由視点コンテンツを記録する。コンテンツデータベース５２に記録された自由視点コンテンツは、配信に用いられるだけでなく、撮影機能により保存しておく静止画の生成に用いられる。
【００６５】
課金処理部５３は、クライアント端末の機能追加時の課金を管理する。課金処理部５３は、ズーム機能の追加を要求する情報がクライアント端末から送信されてきたとき、課金処理を行う。例えば、課金額はズーム倍率によって変化する。課金処理部５３は、課金処理が終了したとき、クライアント端末に課金情報を送信する。課金情報は、ズーム機能の利用を許可することを表す情報であり、クライアント端末において管理される。
【００６６】
また、課金処理部５３は、撮影機能の追加を要求する情報である撮影情報がクライアント端末から送信されてきたとき、課金処理を行う。撮影情報には、ユーザが視聴している自由視点コンテンツの識別情報、ユーザが撮影操作を行ったときの自由視点コンテンツの時刻を表す時刻情報、およびユーザが撮影操作を行ったときのユーザの視野を表す視野情報が含まれる。例えば、課金額は、自由視点コンテンツの種類によって、または、ユーザの視野によって変化する。課金処理部５３は、課金処理が終了したとき、課金が終了したことを表す情報を撮影画像生成部５４に出力する。
【００６７】
撮影画像生成部５４は、課金処理が終了したとき、クライアント端末から送信されてきた撮影情報に基づいて、撮影機能によって取得される静止画である撮影画像を生成する。
【００６８】
例えば、撮影画像生成部５４は、撮影情報に含まれる識別情報に基づいて、ユーザが視聴していた自由視点コンテンツを特定し、コンテンツデータベース５２から読み出す。また、撮影画像生成部５４は、ユーザが撮影操作を行った時刻における視野を撮影情報に含まれる時刻情報と視野情報に基づいて特定し、特定した視野を含む静止画を自由視点コンテンツの映像から切り出すことによって、撮影画像を生成する。撮影画像生成部５４は、通信部３９を制御し、生成した撮影画像をクライアント端末に送信する。
【００６９】
・携帯端末の構成
図１１は、携帯端末２−１の構成例を示すブロック図である。
【００７０】
CPU６１、ROM６２、RAM６３は、バス６４により相互に接続されている。バス６４には、さらに、入出力インタフェース６５が接続される。入出力インタフェース６５には、ディスプレイ６６と入力部６７が接続される。入力部６７は、ディスプレイ６６に積層して設けられるタッチパネルであり、HMD３−１を装着したユーザにより操作される。また、入出力インタフェース３５には、記録部６８、ネットワーク通信部６９、および近距離通信部７０が接続される。
【００７１】
記録部６８は、不揮発性のメモリなどよりなり、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツや、コンテンツ管理サーバ１により生成された撮影画像などの各種のデータを記録する。
【００７２】
ネットワーク通信部６９は、ネットワーク４を介してコンテンツ管理サーバ１と通信を行う。
【００７３】
近距離通信部７０は、MHL(Mobile High-definition Link)などの有線による通信、あるいは、Wireless HDMI（登録商標）(High-Definition Multimedia Interface)などの無線による通信を用いて、自由視点コンテンツの映像をHMD３−１に出力する。また、近距離通信部７０は、無線LANなどを用いてHMD３−１と通信を行い、各種の情報の送受信を行う。
【００７４】
図１２は、携帯端末２−１の機能構成例を示すブロック図である。
【００７５】
図１２に示す機能部のうちの少なくとも一部は、CPU６１により所定のプログラムが実行されることによって実現される。図１２に示すように、携帯端末２−１においては、再生部７１、視野検出部７２、表示制御部７３、機能管理部７４、課金・撮影情報記録部７５、およびUI状態検出部７６が実現される。
【００７６】
再生部６１は、コンテンツ管理サーバ１から送信され、ネットワーク通信部６９において受信された自由視点コンテンツを再生する。再生部６１は、例えば、自由視点コンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部７３に出力する。
【００７７】
視野検出部７２は、HMD３−１から送信されてきた姿勢情報に基づいてユーザの視野を検出し、検出した視野を表す視野情報を表示制御部７３と機能管理部７４に出力する。HMD３−１から送信されてくる姿勢情報には、HMD３−１を装着するユーザの頭部の動きを表す、角速度、加速度などのセンサデータが含まれる。視野の検出は、自由視点コンテンツの再生中、繰り返し行われる。
【００７８】
表示制御部７３は、近距離通信部７０を制御し、再生部７１から供給された自由視点コンテンツの映像をHMD３−１に送信し、表示させる。また、表示制御部７３は、視野検出部７２により検出された視野に応じて映像の表示範囲を切り替える。
【００７９】
機能管理部７４は、ネットワーク通信部６９を制御してコンテンツ管理サーバ１と通信を行い、自由視点コンテンツの視聴中に利用可能な機能を管理する。
【００８０】
例えば、機能管理部７４は、ズーム機能を追加することがユーザにより指示された場合、ズーム機能の追加を要求する情報をコンテンツ管理サーバ１に送信し、課金処理を行う。機能管理部７４が送信するズーム機能の追加の要求には、ユーザのクレジットカード番号の情報、ユーザが選択したズーム倍率を表す情報などが含まれる。機能管理部７４は、課金処理が終わることに応じてコンテンツ管理サーバ１から送信されてきた課金情報を受信し、課金・撮影情報記録部７５に記録させる。
【００８１】
また、機能管理部７４は、自由視点コンテンツの再生中にズーム操作が行われた場合、ユーザにより行われたズーム操作が、許可されている倍率のズーム操作であるか否かを課金・撮影情報記録部７５に記録されている課金情報を参照して判定する。機能管理部７４は、ユーザにより行われたズーム操作が許可されている場合、表示範囲のズームを表示制御部７３に行わせる。
【００８２】
機能管理部７４は、自由視点コンテンツの再生中に撮影操作が行われた場合、撮影情報を課金・撮影情報記録部７５に記録させる。撮影情報には、自由視点コンテンツの識別情報、再生時刻を表す時刻情報、および視野検出部７２から供給された視野情報が含まれる。
【００８３】
機能管理部７４は、課金・撮影情報記録部７５に記録させておいた撮影情報を自由視点コンテンツの再生が終了したタイミングなどの所定のタイミングで読み出し、コンテンツ管理サーバ１に送信する。機能管理部７４は、課金処理を行い、課金処理が終わることに応じてコンテンツ管理サーバ１から送信されてきた撮影画像を受信する。撮影画像は、記録部６８に記録され、適宜、表示制御部７３によってHMD３−１に表示される。
【００８４】
課金・撮影情報記録部７５は、機能管理部７４から供給された課金情報と撮影情報を記録する。
【００８５】
UI状態検出部７６は、HMD３−１から送信され、近距離通信部７０において受信されたUI状態情報に基づいてユーザの操作を検出する。HMD３−１からは、自由視点コンテンツ視聴中のユーザの操作などを表すUI状態情報が繰り返し送信されてくる。例えば、UI状態検出部７６は、ズーム操作または撮影操作が行われたことを検出した場合、そのことを表す情報を機能管理部７４に出力する。
【００８６】
以上のような携帯端末２−１の構成と同じ構成を携帯端末２−２，２−３も有している。
【００８７】
・HMDの構成
図１３は、HMD３−１の構成例を示すブロック図である。
【００８８】
HMD３−１は、制御部９１、UI部９２、画像処理部９３、ディスプレイ９４、データ送受信部９６、センサ９７、および音声再生部９８がバス９５を介して接続されることによって構成される。図１３に示す構成と同じ構成をHMD３−２，３−３も有する。
【００８９】
制御部９１は、CPU、ROM、RAMなどより構成される。制御部９１は、所定のプログラムを実行し、HMD３−１の全体の動作を制御する。
【００９０】
UI部９２は、タッチセンサ２１Ａ，２１Ｂに対するユーザの操作や、HMD３−１に設けられた図示せぬボタンなどに対する操作を検出する。UI部９２は、検出した操作の内容を表すUI状態情報をデータ送受信部９６に出力する。
【００９１】
画像処理部９３は、データ送受信部９６から供給されたビデオデータを処理し、自由視点コンテンツの映像をディスプレイ９４に表示させる。
【００９２】
ディスプレイ９４は、LCDや有機ELディスプレイなどであり、自由視点コンテンツの映像を表示する。ディスプレイ９４に表示された映像は、レンズ等の光学部を介してユーザの目に導かれる。
【００９３】
データ送受信部９６は、携帯端末２−１との間で通信を行い、携帯端末２−１から送信されてきた自由視点コンテンツのビデオデータを画像処理部９３に、音声データを音声再生部９８にそれぞれ出力する。また、データ送受信部９６は、UI部９２から供給されたUI状態情報とセンサ９７から供給された姿勢情報を携帯端末２−１に送信する。
【００９４】
センサ９７は、ジャイロセンサ、加速度センサなどにより構成される。センサ９７は、自由視点コンテンツの再生中、角速度、加速度の検出を行い、姿勢情報をデータ送受信部９６に出力する。
【００９５】
音声再生部９８は、データ送受信部９６から供給された音声データを処理し、自由視点コンテンツの音声を、図示せぬスピーカやHMD３−１に接続されたヘッドフォンから出力させる。
【００９６】
＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。以下においては、クライアント端末の処理として携帯端末２−１の処理について説明するが、同様の処理が携帯端末２−２，２−３においても行われる。
【００９７】
・ズーム機能の追加に関する処理
はじめに、図１４のフローチャートを参照して、ズーム機能の追加に関する課金を行うコンテンツ管理サーバ１の処理について説明する。
【００９８】
ステップＳ１において、コンテンツ管理サーバ１の課金処理部５３は、例えば携帯端末２−１から送信されてきた、ズーム機能の追加の要求を表す情報を受信する。クライアント端末から送信されてくる情報には、携帯端末２−１の利用者が選択した最大のズーム倍率を表す情報と、課金に用いられるクレジットカード番号などの情報が含まれる。
【００９９】
ステップＳ２において、課金処理部５３は課金処理を行う。最大のズーム倍率が高いほど金額が高くなるといったように、課金処理部５３は、例えばズーム倍率に応じた金額の課金を行う。
【０１００】
課金処理が終了した場合、ステップＳ３において、課金処理部５３は、課金情報を携帯端末２−１に送信し、処理を終了させる。課金情報には、例えば「５倍までズーム可」、「１０倍までズーム可」といったように、許可された最大のズーム倍率を表す情報が含まれる。
【０１０１】
次に、図１５のフローチャートを参照して、ズーム機能を追加する携帯端末２−１の処理について説明する。図１５の処理は、図１４の処理に対応して行われる処理である。
【０１０２】
ステップＳ１１において、携帯端末２−１の機能管理部７４は、ズーム機能の追加の要求を表す情報をコンテンツ管理サーバ１に送信する。最大のズーム倍率の選択やクレジットカード番号などの入力は、例えばディスプレイ６６に表示される画面を用いて行われる。
【０１０３】
ステップＳ１２において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた課金情報を受信する。
【０１０４】
ステップＳ１３において、機能管理部７４は、課金情報を課金・撮影情報記録部７５に記録させ、処理を終了させる。
【０１０５】
以上の処理により、携帯端末２-１にズーム機能が追加された状態になる。
【０１０６】
・ズーム機能を用いた再生処理
次に、図１６のフローチャートを参照して、ズーム機能を用いて自由視点コンテンツを再生する携帯端末２−１の処理について説明する。
【０１０７】
例えば、図１６の処理は、携帯端末２−１のユーザが選択した自由視点コンテンツがコンテンツ管理サーバ１から送信されてきたときに開始される。自由視点コンテンツの選択は、例えば、携帯端末２−１のディスプレイ６６に表示されるメニュー画面を用いて行われる。
【０１０８】
ステップＳ２１において、携帯端末２−１のネットワーク通信部６９は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。自由視点コンテンツの送信はストリーミング形式で行われるようにしてもよいし、ダウンロード形式で行われるようにしてもよい。
【０１０９】
ステップＳ２２において、再生部７１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部７３に順次供給される。視点の選択は、視点の一覧が表示されるメニュー画面を用いて行われるようにしてもよいし、自由視点コンテンツの視聴中に所定の操作によって行われるようにしてもよい。
【０１１０】
ステップＳ２３において、視野検出部７２は、HMD３−１から送信されてきた姿勢情報を受信する。視野検出部７２は、ユーザの視野を姿勢情報に基づいて検出し、視野情報を出力する。
【０１１１】
ステップＳ２４において、表示制御部７３は、視野検出部７２により検出された視野に応じた映像をHMD３−１に送信し、表示させる。これにより、HMD３−１のディスプレイ９４には、ユーザにより選択された視点において視聴可能な映像全体のうち、ユーザの視野に応じた一部の範囲の映像が表示される。
【０１１２】
ステップＳ２５において、UI状態検出部７６は、HMD３−１から送信されてきたUI状態情報を受信する。携帯端末２−１の入力部６７に対する操作の内容を表す情報も、UI状態情報としてUI状態検出部７６に入力される。
【０１１３】
ステップＳ２６において、UI状態検出部７６は、UI状態、すなわちユーザによる操作を確認する。
【０１１４】
ステップＳ２７において、UI状態検出部７６は、ズーム操作が行われたか否かを判定する。ズーム操作が行われていないとステップＳ２７において判定された場合、ステップＳ２１に戻り、以上の処理が行われる。
【０１１５】
ズーム操作は、例えば、図８を参照して説明したようにHMD３−１の本体１１をユーザが両手で把持することによって行われる。HMD３−１のUI部９２は、本体１１をユーザが両手で把持していることをタッチセンサ２１Ａ，２１Ｂの出力に基づいて検出した場合、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。ユーザは、自由視点コンテンツの視聴中に、あたかも双眼鏡を持つような動作をとることによってズーム操作を行うことができる。
【０１１６】
また、ズーム操作は、HMD３−１に設けられたボタンを押す、リングを回すなどの動作により行われる。HMD３−１のUI部９２は、HMD３−１に設けられたインタフェースに対するユーザの各種の操作を検出し、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。
【０１１７】
自由視点コンテンツ視聴中の目の動きによってズーム操作を行うことができるようにしてもよい。この場合、HMD３−１の本体１１には、HMD３−１を装着したユーザの目の付近を撮影可能なカメラが設けられる。制御部９１は、カメラによって撮影されたユーザの目の画像を解析することによってユーザの視線を特定し、一点を凝視しているとき、ズーム操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。映像の拡大処理は、ユーザが凝視している一点を中心として行われる。ユーザが視線を他の位置に移動させたとき、ズームは解除され、映像の表示はズーム前の状態に戻る。
【０１１８】
携帯端末２−１のディスプレイ６６に対するピンチイン／ピンチアウトがズーム操作として行われるようにすることも可能である。ディスプレイ６６に対するピンチイン／ピンチアウトの操作はタッチパネルである入力部６７により検出され、ズーム操作が行われたことを表すUI状態情報がUI状態検出部７６に供給される。ユーザは、HMD３−１を装着して自由視点コンテンツを視聴しながら、一方の手で携帯端末２−１を持ち、他方の手でディスプレイ６６表面を操作することになる。
【０１１９】
ズーム操作が行われたとステップＳ２７において判定された場合、ステップＳ２８において、機能管理部７４は、課金・撮影情報記録部７５に記録されている課金情報を確認する。
【０１２０】
ステップＳ２９において、機能管理部７４は、ズーム処理が許可されているか否かを課金情報に基づいて判定する。
【０１２１】
例えば、２倍までのズーム処理は課金を行わないでも可能とされる。ズーム操作によって指示されたズーム倍率が２倍以上である場合、指示されたズーム倍率が、許可されている最大の倍率以下であるか否かが課金情報を参照して判定される。上述したように、課金情報には、許可された最大のズーム倍率を表す情報が含まれる。
【０１２２】
ズーム操作によって指示されたズーム倍率が２倍以下である場合、または、指示されたズーム倍率が、許可されている最大のズーム倍率以下である場合、ズーム処理が許可されていると判定される。
【０１２３】
ズーム処理が許可されているとステップＳ２９において判定された場合、ステップＳ３０において、表示制御部７３はズーム処理を行う。ズーム処理が許可されていると判定された場合、ズーム倍率を指定する情報が機能管理部７４から表示制御部７３に供給される。
【０１２４】
ステップＳ３１において、表示制御部７３は、ズーム処理によって得られたズーム後の映像をHMD３−１に送信し、ディスプレイ９４に表示させる。
【０１２５】
図１７は、映像のズームの例を示す図である。
【０１２６】
表示制御部７３は、ズーム操作が行われたタイミングにおける視野の中心である位置Ｐを固定として、ユーザにより指定されたズーム倍率で映像を拡大させる。図１７の左側はズーム前の映像であり、右側はズーム後の映像である。図１７の例においては、ズーム前の映像のうち、一点鎖線Ｌで囲んで示す、位置Ｐを中心とした範囲が拡大されている。
【０１２７】
映像のズームに伴って、拡大した被写体に近い位置を音源位置とする音声が大きくなるように、音場の調整が行われるようにしてもよい。音場の調整はHMD３−１の音声再生部９８により行われる。
【０１２８】
ステップＳ３２において、再生部７１は、再生終了か否かを判定する。再生終了ではないとステップＳ３２において判定された場合、ステップＳ２１に戻り、以上の処理が行われる。
【０１２９】
ズーム処理が許可されていないとステップＳ２９において判定され、ステップＳ３３においてズームエラー処理が行われた後も同様に、ステップＳ２１に戻り、以上の処理が行われる。
【０１３０】
例えば課金処理が行われていないためにズーム処理が許可されていないと判定した場合、表示制御部７３は、ズームエラー処理として、課金を促す情報をHMD３−１に送信し、ディスプレイ９４に表示させる。
【０１３１】
また、ユーザにより指示されたズーム倍率が、許可されている最大のズーム倍率を超えている場合、表示制御部７３は、ズームエラー処理として、そのことを表す情報をHMD３−１に送信し、ディスプレイ９４に表示させる。ズームエラー処理が行われるのではなく、許可されている最大の倍率の範囲内でズーム処理が行われるようにしてもよい。
【０１３２】
図１８は、課金を促す情報の表示例を示す図である。
【０１３３】
図１８の例においては、自由視点コンテンツの映像に重ねて、ズームが禁止されていることと、ズーム機能を利用するためには課金が必要であることを表すメッセージが表示されている。
【０１３４】
図１６の説明に戻り、ステップＳ３２において再生終了であると判定した場合、再生部７１は処理を終了させる。ズーム処理を行う前においても、適宜、自由視点コンテンツの再生終了に応じて処理は終了となる。
【０１３５】
以上においては、ズーム処理が許可されているか否かが、課金・撮影情報記録部７５に記録されている課金情報に基づいて判定されるものとしたが、コンテンツ管理サーバ１に対して問い合わせが行われ、コンテンツ管理サーバ１において管理されている情報に基づいて判定されるようにしてもよい。
【０１３６】
次に、図１９のフローチャートを参照して、自由視点コンテンツの映像を表示するHMD３−１の処理について説明する。図１９の処理は、携帯端末２−１による図１６の処理に対応して行われる処理である。
【０１３７】
ステップＳ４１において、センサ９７は、ユーザの頭部の姿勢を検出し、姿勢情報をデータ送受信部９６に出力する。
【０１３８】
ステップＳ４２において、データ送受信部９６は、センサ９７から供給された姿勢情報を携帯端末２−１に送信する。
【０１３９】
ステップＳ４３において、データ送受信部９６は、携帯端末２−１から送信されてきた、ユーザの視野に応じた映像を受信し、画像処理部９３に出力する。
【０１４０】
ステップＳ４４において、画像処理部９３は、供給された映像に対して所定の処理を施し、ディスプレイ９４に表示させる。
【０１４１】
ステップＳ４５において、UI部９２は、タッチセンサ２１Ａ，２１Ｂに対するユーザの操作、HMD３−１に設けられたボタンに対する操作などに基づいてUI状態を検出し、UI状態情報をデータ送受信部９６に出力する。
【０１４２】
ステップＳ４６において、データ送受信部９６は、UI部９２から供給されたUI状態情報を携帯端末２−１に送信する。
【０１４３】
ステップＳ４７において、制御部９１は、自由視点コンテンツの再生が終了したか否かを判定し、終了していないと判定した場合、ステップＳ４１に戻り、以上の処理を繰り返す。一方、自由視点コンテンツの再生が終了したとステップＳ４７において判定した場合、制御部９１は処理を終了させる。
【０１４４】
以上の一連の処理により、ユーザは、自由視点コンテンツの視聴中に利用することができる機能としてズーム機能を追加することができる。また、ユーザは、ズーム機能を追加しておくことにより、自由視点コンテンツの視聴中にズーム機能を利用し、映像の一部を拡大して見ることができる。
【０１４５】
・撮影機能を用いた再生処理
次に、図２０のフローチャートを参照して、撮影機能を用いて自由視点コンテンツを再生する携帯端末２−１の処理について説明する。
【０１４６】
図２０のステップＳ６１乃至Ｓ６６の処理は、図１６のステップＳ２１乃至Ｓ２６の処理と同様の処理である。重複する説明については適宜省略する。図２０の処理においても、図１６の処理と同様にしてユーザがズーム機能を利用することができるようにしてもよい。
【０１４７】
ステップＳ６１において、携帯端末２−１のネットワーク通信部６９は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。
【０１４８】
ステップＳ６２において、再生部７１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部７３に順次供給される。
【０１４９】
ステップＳ６３において、視野検出部７２は、HMD３−１から送信されてきた姿勢情報を受信する。視野検出部７２は、ユーザの視野を姿勢情報に基づいて検出し、視野情報を出力する。
【０１５０】
ステップＳ６４において、表示制御部７３は、視野検出部７２により検出された視野に応じた映像をHMD３−１に送信し、表示させる。
【０１５１】
ステップＳ６５において、UI状態検出部７６は、HMD３−１から送信されてきたUI状態情報を受信する。携帯端末２−１の入力部６７に対する操作の内容を表す情報も、UI状態情報としてUI状態検出部７６に入力される。
【０１５２】
ステップＳ６６において、UI状態検出部７６はUI状態を確認する。
【０１５３】
ステップＳ６７において、UI状態検出部７６は、撮影操作が行われたか否かを判定する。
【０１５４】
撮影操作は、例えば、HMD３−１に設けられたボタンを押すなどの動作により行われる。HMD３−１のUI部９２は、HMD３−１に設けられたインタフェースに対するユーザの操作を検出し、撮影操作が行われたことを表すUI状態情報を携帯端末２−１に送信する。HMD３−１に接続された外部コントローラを用いて撮影操作が行われるようにしてもよい。
【０１５５】
携帯端末２−１のディスプレイ６６に対する操作によって撮影操作が行われるようにすることも可能である。ディスプレイ６６に対する操作は入力部６７により検出され、撮影操作が行われたことを表すUI状態情報がUI状態検出部７６に供給される。
【０１５６】
撮影操作が行われたとステップＳ６７において判定した場合、ステップＳ６８において、機能管理部７４は、撮影情報を課金・撮影情報記録部７５に記録する。撮影情報には、自由視点コンテンツの識別情報、時刻情報、視野検出部７２から供給された視野情報が含まれる。
【０１５７】
ステップＳ６９において、再生部７１は、再生終了か否かを判定する。再生終了ではないとステップＳ６９において判定された場合、ステップＳ６１に戻り、以上の処理が行われる。
【０１５８】
撮影操作が行われていないとステップＳ６７において判定された場合も同様に、ステップＳ６１に戻り、以上の処理が行われる。
【０１５９】
一方、再生終了であるとステップＳ６９において判定された場合、ステップＳ７０において、機能管理部７４は撮影画像購入処理を行う。撮影画像購入処理は、撮影画像に関する課金処理を行い、コンテンツ管理サーバ１から送信されてきた撮影画像を取得する処理である。自由視点コンテンツの再生終了後に行われるのではなく、撮影操作が行われる毎に撮影画像購入処理が行われるようにしてもよい。
【０１６０】
撮影画像購入処理が行われた後、再生部７１は処理を終了させる。撮影操作が行われていない場合においても、適宜、自由視点コンテンツの再生終了に応じて処理は終了となる。なお、HMD３−１においては、図１９を参照して説明した処理が、図２０の処理に対応して行われる。
【０１６１】
次に、図２１のフローチャートを参照して、図２０のステップＳ７０において行われる撮影画像購入処理について説明する。
【０１６２】
ステップＳ８１において、機能管理部７４は、課金・撮影情報記録部７５から撮影情報を読み出し、コンテンツ管理サーバ１に送信する。撮影情報には、撮影画像の解像度を指定する情報が付加される。コンテンツ管理サーバ１においては、撮影情報などに基づいて撮影画像の料金が算出される。算出された料金を表す料金情報は、コンテンツ管理サーバ１から携帯端末２−１に対して送信される。
【０１６３】
ステップＳ８２において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた料金情報を受信し、表示制御部７３に出力する。
【０１６４】
ステップＳ８３において、表示制御部７３は、料金の情報をHMD３−１に送信し、ディスプレイ９４に表示させる。
【０１６５】
図２２は、料金の表示例を示す図である。
【０１６６】
図２２の例においては、撮影画像を購入するための料金が５００円であることを表すメッセージが表示されている。メッセージの下には、購入するときに操作されるボタンと購入しないときに操作されるボタンが表示される。ユーザは、HMD３−１のボタンを用いるなどして、ディスプレイ９４に表示されたボタンを押し、購入するか否かを選択する。ユーザの選択内容を表す情報は、UI状態情報としてUI状態検出部７６から機能管理部７４に供給される。
【０１６７】
撮影画像を購入することが指示された場合、ステップＳ８４において、機能管理部７４は、撮影画像の購入を要求する情報をコンテンツ管理サーバ１に送信し、課金処理を行う。撮影画像の購入の要求には、ユーザのクレジットカード番号の情報などが含まれる。
【０１６８】
課金が終了したとき、コンテンツ管理サーバ１においては、撮影画像が生成される。生成された撮影画像は、コンテンツ管理サーバ１から携帯端末２−１に対して送信される。
【０１６９】
ステップＳ８５において、機能管理部７４は、コンテンツ管理サーバ１から送信されてきた撮影画像を受信し、記録部６８に保存するとともに、表示制御部７３に出力する。
【０１７０】
ステップＳ８６において、表示制御部７３は、撮影画像をHMD３−１に送信し、ディスプレイ９４に表示させる。その後、図２０のステップＳ７０に戻り、それ以降の処理が行われる。
【０１７１】
このように、撮影画像の保存は、課金処理の後に行われる。視聴している映像を静止画として保存する機能である撮影機能は、課金処理が行われることに応じて最終的に実現されることになる。
【０１７２】
次に、図２３のフローチャートを参照して、撮影画像を生成するコンテンツ管理サーバ１の処理について説明する。
【０１７３】
ステップＳ１０１において、コンテンツ管理サーバ１の課金処理部５３は、携帯端末２−１から送信されてきた撮影情報を受信する。撮影情報には、ユーザが選択した解像度を指定する情報が付加される。
【０１７４】
例えば、コンテンツ管理サーバ１が配信する自由視点コンテンツがリアルタイムのコンテンツであり、複数の携帯端末において同じ自由視点コンテンツの視聴が行われていた場合、それぞれの携帯端末において記録されていた撮影情報が送信されてくる。
【０１７５】
ステップＳ１０２において、課金処理部５３は、撮影画像の料金を撮影情報に基づいて算出する。
【０１７６】
課金処理部５３は、例えば、撮影画像として保存することが指示された視野の人気度を複数の携帯端末から送信されてきた撮影情報に基づいて特定し、人気度に応じた料金を算出する。人気度が低い視野を切り出した撮影画像より、人気度が高い視野を切り出した撮影画像の方が、高い料金が設定される。人気度は視野の重複数により求められる。撮影情報に含まれる時刻情報と視野情報に基づいて、撮影操作が行われたタイミングにおけるユーザの視野が特定される。
【０１７７】
図２４は、視野の重複の例を示す図である。
【０１７８】
図２４は、自由視点コンテンツの再生中の所定の時刻における、所定の視点の映像を平面に展開したときの人物Ｈ１乃至Ｈ３と、４つの携帯端末のユーザの視野を示している。すなわち、この例においては、同じ時刻に、４人のユーザが撮影機能を利用したものとされている。
【０１７９】
長方形の枠Ｆ１１乃至Ｆ１４はそれぞれのユーザが使うHMDの表示範囲を表す。それぞれのHMDの表示範囲は、ユーザの頭部の姿勢に応じて位置が異なるとともに、ズーム倍率などに応じて大きさが異なる。
【０１８０】
例えば、枠Ｆ１１の左側には人物Ｈ１の一部が入り、右側には人物Ｈ２が入っている。この場合、ユーザは、左側に人物Ｈ１が入り、右側に人物Ｈ２が入るような視野で自由視点コンテンツを視聴していたときに撮影操作を行ったことになる。
【０１８１】
斜線を付して示す領域Ａ１は、枠Ｆ１１乃至Ｆ１４が重なっている領域である。領域Ａ１の視野の重複数は４となる。
【０１８２】
領域Ａ１の上側に位置する横長の長方形の領域Ａ２は、枠Ｆ１１，Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は３となる。また、領域Ａ１の右上に位置する小さい長方形の領域Ａ３は、枠Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は２となる。領域Ａ４乃至Ａ１１についても同様に視野の重複数が求められる。一定の面積以上重複している視野のみが、重複する視野として処理されるようにしてもよい。
【０１８３】
このように、課金処理部５３は、撮影情報に基づいて、撮影操作を行った複数のユーザの視野の重複数を時刻毎に求める。課金処理部５３は、重複数が２乃至１００となる視野を含む撮影画像については１枚あたり１００円、重複数が１０１乃至２００となる視野を含む撮影画像については１枚あたり２００円といったように、重複数に応じて料金を算出する。
【０１８４】
課金処理部５３は、ユーザにより指示された解像度に応じた料金を算出することもできる。解像度が低い撮影画像より、解像度が高い撮影画像の方が、高い料金が設定される。解像度が低い撮影画像については無料としてもよい。
【０１８５】
コンテンツデータベース５２には、高解像度の自由視点コンテンツと低解像度の自由視点コンテンツが用意されている。高い解像度の撮影画像は高解像度の自由視点コンテンツに基づいて生成され、低い解像度の撮影画像は低解像度の自由視点コンテンツに基づいて生成される。
【０１８６】
ステップＳ１０３において、課金処理部５３は、算出した料金を表す料金情報を携帯端末２−１に送信する。携帯端末２−１においては、上述したように料金がユーザに提示される。
【０１８７】
ステップＳ１０４において、課金処理部５３は、携帯端末２−１から送信されてきた、撮影画像の購入を要求する情報を受信し、課金処理を行う。
【０１８８】
ステップＳ１０５において、撮影画像生成部５４は、撮影情報に基づいて撮影画像を生成する。具体的には、撮影画像生成部５４は、撮影情報に含まれる識別情報に基づいて、撮影画像を生成する自由視点コンテンツを特定するとともに、撮影情報に含まれる時刻情報と視野情報に基づいて、撮影操作を行ったときのユーザの視野を特定する。撮影画像生成部５４は、特定した自由視点コンテンツの、特定した視野の静止画をコンテンツデータベース５２に記録されている自由視点コンテンツの映像から切り出すことによって撮影画像を生成する。
【０１８９】
ステップＳ１０６において、撮影画像生成部５４は、生成した撮影画像を携帯端末２−１に送信し、処理を終了させる。
【０１９０】
以上の一連の処理により、ユーザは撮影機能を追加することができる。また、ユーザは、撮影機能を利用し、自由視点コンテンツの視聴中に見ていたシーンを静止画として残しておくことができる。
【０１９１】
ズーム機能と同じように、撮影機能が事前の課金により利用可能となるようにしてもよい。
【０１９２】
＜変形例＞
以上においては、ズーム機能と撮影機能を追加する場合について説明したが、自由視点コンテンツの映像を用いて実現可能な機能であれば、どのような機能を追加できるようにしてもよい。例えば、自由視点コンテンツの録画機能、所定の人物のみを追跡して表示し続ける追跡機能を追加できるようにしてもよい。
【０１９３】
例えば、課金が行われることに応じて録画機能が追加された場合、携帯端末２−１により受信された自由視点コンテンツは、再生が行われるとともに、記録部６８に供給され、記録される。
【０１９４】
また、例えば、課金が行われることに応じて追跡機能が追加された場合、表示制御部７３は、ユーザにより選択された人物などの特徴点の各時刻における位置を自由視点コンテンツの映像を解析することによって特定する。表示制御部７３は、ユーザにより選択された人物が視野に常に含まれるように表示範囲を切り替える。
【０１９５】
以上においては、携帯端末は自由視点コンテンツの再生装置として機能し、HMDは表示装置として機能するものとしたが、再生機能がHMDに搭載されるようにしてもよい。この場合、図１２に示す携帯端末の機能はHMDに設けられる。
【０１９６】
以上においては、撮影画像がコンテンツ管理サーバ１により生成されるものとしたが、撮影情報に基づいて携帯端末２−１により生成されるようにしてもよい。この場合、携帯端末２−１においては、撮影情報に基づいてユーザの視野が特定され、記録部６８に記録された自由視点コンテンツから視野の範囲を切り出すことによって撮影画像が生成される。
【０１９７】
・HMDの形態について
HMD３−１乃至３−３が没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
【０１９８】
図２５は、HMDの形態の例を示す図である。
【０１９９】
ビデオシースルー型のHMDは、図２５Ｂに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で図２５Ａの没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。
【０２００】
光学シースルー型のHMDは、図２５Ｃに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力されたライブコンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。ユーザは、目の前の風景に重ねて各種の情報を見ることができる。
【０２０１】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０２０２】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図９に示されるリムーバブルメディア４１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM３２や記録部３８に、あらかじめインストールしておくことができる。
【０２０３】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２０４】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２０５】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０６】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２０７】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０８】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２０９】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２１０】
・構成の組み合わせ例
本技術は、以下のような構成をとることもできる。
【０２１１】
（１）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する機能管理部を備える
情報処理装置。
【０２１２】
（２）
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
前記（１）に記載の情報処理装置。
【０２１３】
（３）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
【０２１４】
（４）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
【０２１５】
（５）
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる前記機能を追加する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【０２１６】
（６）
前記ビデオコンテンツを再生する再生部と、
再生された前記ビデオコンテンツの映像の前記表示範囲を前記ユーザの動きに追従して切り替えるとともに、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を拡大して表示させる表示制御部と
をさらに備える前記（５）に記載の情報処理装置。
【０２１７】
（７）
前記表示制御部は、課金額に応じて、前記ビデオコンテンツの映像の最大の拡大率を変える
前記（６）に記載の情報処理装置。
【０２１８】
（８）
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、前記ビデオコンテンツの映像を、許可されている最大の拡大率で拡大して表示させる
前記（７）に記載の情報処理装置。
【０２１９】
（９）
前記表示制御部は、前記ユーザにより指示された拡大率が、課金額に応じて許可されている最大の拡大率を超える場合、課金を促す情報を表示させる
前記（７）に記載の情報処理装置。
【０２２０】
（１０）
前記表示制御部は、前記ユーザが装着するHMDに前記ビデオコンテンツの映像を表示させ、前記ユーザの目の前方に位置する前記HMDの本体を、前記ユーザが両手で把持していることが検出された場合に、前記ビデオコンテンツの映像を拡大して表示させる
前記（６）乃至（９）のいずれかに記載の情報処理装置。
【０２２１】
（１１）
前記機能管理部は、前記ユーザにより指示されたタイミングにおける前記表示範囲の映像を静止画として保存するための機能を追加する
前記（１）乃至（１０）のいずれかに記載の情報処理装置。
【０２２２】
（１２）
静止画を保存することが指示されたタイミングにおける前記表示範囲を表す視野情報を記録する記録部をさらに備え、
前記機能管理部は、前記ビデオコンテンツの配信を管理する管理サーバに前記視野情報を送信し、前記管理サーバから送信された、前記視野情報により表される前記表示範囲を含む静止画を受信して保存する
前記（１１）に記載の情報処理装置。
【０２２３】
（１３）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む情報処理方法。
【０２２４】
（１４）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの視聴中に前記ユーザが利用することが可能な、前記ビデオコンテンツの映像を用いて実現される機能を、前記機能に関する課金が行われることに応じて追加する
ステップを含む処理をコンピュータに実行させるプログラム。
【０２２５】
（１５）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信する配信部と、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行う課金処理部と、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、前記情報処理装置に送信する生成部と
を備える管理装置。
【０２２６】
（１６）
前記課金処理部は、複数の前記情報処理装置から送信されてきた前記視野情報に基づいてそれぞれの前記ユーザの前記表示範囲を特定し、前記表示範囲の重複数に応じて、前記表示範囲を含む静止画の課金額を変える
前記（１５）に記載の管理装置。
【０２２７】
（１７）
前記課金処理部は、前記情報処理装置に送信する前記表示範囲を含む静止画の解像度に応じて、前記表示範囲を含む静止画の課金額を変える
前記（１５）に記載の管理装置。
【０２２８】
（１８）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む情報処理方法。
【０２２９】
（１９）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを情報処理装置に配信し、
前記情報処理装置から送信されてきた、前記ビデオコンテンツの視聴中に静止画を保存することが前記ユーザにより指示されたタイミングにおける前記表示範囲を表す視野情報に基づいて、前記表示範囲を含む静止画の課金を行い、
前記表示範囲を含む静止画を前記ビデオコンテンツに基づいて生成し、
前記表示範囲を含む静止画を前記情報処理装置に送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２３０】
１  コンテンツ管理サーバ、  ２−１乃至２−３  携帯端末、  ３−１乃至３−３  HMD、  ５１  コンテンツ配信部、  ５２  コンテンツデータベース、  ５３  課金処理部、  ５４  撮影画像生成部、  ７１  再生部、  ７２  視野検出部、  ７３  表示制御部、  ７４  機能管理部、  ７５  課金・撮影情報記録部、  ７６  UI状態検出部
【図１】
2016025633.tif 000003
【図２】
2016025633.tif 000004
【図３】
2016025633.tif 000005
【図４】
2016025633.tif 000006
【図５】
2016025633.tif 000007
【図６】
2016025633.tif 000008
【図７】
2016025633.tif 000009
【図８】
2016025633.tif 000010
【図９】
2016025633.tif 000011
【図１０】
2016025633.tif 000012
【図１１】
2016025633.tif 000013
【図１２】
2016025633.tif 000014
【図１３】
2016025633.tif 000015
【図１４】
2016025633.tif 000016
【図１５】
2016025633.tif 000017
【図１６】
2016025633.tif 000018
【図１７】
2016025633.tif 000019
【図１８】
2016025633.tif 000020
【図１９】
2016025633.tif 000021
【図２０】
2016025633.tif 000022
【図２１】
2016025633.tif 000023
【図２２】
2016025633.tif 000024
【図２３】
2016025633.tif 000025
【図２４】
2016025633.tif 000026
【図２５】
2016025633.tif 000027