(57)【特許請求の範囲】
【請求項１】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、
複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定する特定部と、
表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する生成部と
を備える情報処理装置。
【請求項２】
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
請求項１に記載の情報処理装置。
【請求項３】
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
請求項２に記載の情報処理装置。
【請求項４】
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
請求項２または３に記載の情報処理装置。
【請求項５】
前記通信部は、前記注目コンテンツを前記表示装置に送信する
請求項１乃至４のいずれかに記載の情報処理装置。
【請求項６】
前記特定部は、前記注目コンテンツの時間に応じた閾値を設定する
請求項１乃至５のいずれかに記載の情報処理装置。
【請求項７】
前記通信部は、前記注目範囲を表す情報と前記ビデオコンテンツを前記表示装置に送信し、
前記表示装置においては、前記ビデオコンテンツの視聴中に前記注目範囲が提示される
請求項５に記載の情報処理装置。
【請求項８】
前記特定部は、前記注目範囲を提示するユーザの前記視聴履歴情報により表される表示範囲に含まれる所定の特徴点を選択し、複数の前記表示装置のユーザの前記視聴履歴情報に基づいて、前記所定の特徴点を含む表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の前記所定の特徴点を含む表示範囲を前記注目範囲として特定する
請求項１乃至７のいずれかに記載の情報処理装置。
【請求項９】
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、視聴済みの前記ビデオコンテンツが前記注目範囲を提示するユーザと類似する他のユーザを選択し、前記他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
請求項１乃至７のいずれかに記載の情報処理装置。
【請求項１０】
情報処理装置の受信部が、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
前記情報処理装置の特定部が、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、
表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する
ステップを含む情報処理方法。
【請求項１１】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、
表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１２】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する情報処理装置に送信するとともに、前記情報処理装置が生成し、送信する前記注目コンテンツを受信する通信部と
を備え、
前記再生部は、受信された前記注目コンテンツを再生する
表示装置。
【請求項１３】
前記通信部は、前記情報処理装置から送信されてきた、前記注目範囲を表す情報と前記ビデオコンテンツを受信し、
前記表示制御部は、前記ビデオコンテンツの映像に重ねて、前記注目範囲を表す情報を表示させる
請求項１２に記載の表示装置。
【請求項１４】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する情報処理装置に送信するとともに、前記情報処理装置が生成し、送信する前記注目コンテンツを受信し、
受信した前記注目コンテンツを再生する
ステップを含む情報処理方法。
【請求項１５】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する情報処理装置に送信するとともに、前記情報処理装置が生成し、送信する前記注目コンテンツを受信し、
受信した前記注目コンテンツを再生する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１６】
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を情報処理装置に送信する通信部と
を備える表示装置と、
複数の前記表示装置から送信された前記視聴履歴情報を受信する通信部と、
複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定する特定部と、
表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する生成部と
を備える前記情報処理装置と
から構成される情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システムに関し、特に、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができるようにした情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
近年、HMD(Head Mounted Display)にヘッドトラッキング用のセンサを搭載し、ユーザの頭部の姿勢に応じて映像の表示範囲をリアルタイムで切り替えることにより、別空間にいるかのような体験をユーザに与える技術が各種提案されている。【０００３】
HMDのコンテンツとしては、例えば、複数のビデオカメラで撮影された映像を合成することによって生成された３６０度の画角の実写の映像や、３６０度の画角のCG(Computer Graphics)の映像などが用いられる。ユーザは、３６０度の画角全体のうちの、HMDに設けられた表示デバイスの視野角に応じた一部の範囲の映像を見ることになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−４１５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えばスポーツイベントの映像を視聴する場合、通常のテレビジョン番組であれば、番組制作者側で選択されたプレーの映像が表示されるため、ユーザはその映像を見ればよいものの、視野を自由に変えることができるとすると、どこを見るかを自分で決める必要がある。【０００６】
従って、コンテンツによっては、どこを見ればいいのか分からなくなることがあるものと考えられる。【０００７】
本技術はこのような状況に鑑みてなされたものであり、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の情報処理装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定する特定部と、表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する生成部とを備える。
【０００９】
本技術の他の側面の表示装置は、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を注目範囲として特定し、表示範囲の重複数の最大値が閾値以上となる時間帯の前記注目範囲の映像からなる注目コンテンツを生成する情報処理装置に送信するとともに、前記情報処理装置が生成し、送信する前記注目コンテンツを受信する通信部とを備え、前記再生部は、受信された前記注目コンテンツを再生する。
【発明の効果】
【００１０】
本技術によれば、視野を自由に変えることができるコンテンツの映像をユーザに見せる場合において、注目すべき視野を決定することができる。【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。
【図２】自由視点コンテンツの撮影空間の例を示す平面図である。
【図３】映像の画角の例を示す図である。
【図４】映像の画角の他の例を示す図である。
【図５】撮影映像の例を示す図である。
【図６】視野の例を示す図である。
【図７】コンテンツ管理サーバの構成例を示すブロック図である。
【図８】コンテンツ管理サーバの機能構成例を示すブロック図である。
【図９】視聴履歴情報の例を示す図である。
【図１０】コンテンツ情報の例を示す図である。
【図１１】HMDの構成例を示すブロック図である。
【図１２】制御部の機能構成例を示すブロック図である。
【図１３】クライアント端末のコンテンツ再生処理について説明するフローチャートである。
【図１４】コンテンツ管理サーバの記録処理について説明するフローチャートである。
【図１５】コンテンツ管理サーバの最多視野情報生成処理について説明するフローチャートである。
【図１６】視野の重複の例を示す図である。
【図１７】コンテンツ管理サーバの特徴点別最多視野情報生成処理について説明するフローチャートである。
【図１８】コンテンツ管理サーバのハイライトコンテンツ配信処理について説明するフローチャートである。
【図１９】視野の重複数の最大値の時系列を示す図である。
【図２０】コンテンツ管理サーバの他のハイライトコンテンツ配信処理について説明するフローチャートである。
【図２１】クライアント端末のハイライトコンテンツ再生処理について説明するフローチャートである。
【図２２】クライアント端末の他のハイライトコンテンツ再生処理について説明するフローチャートである。
【図２３】ハイライトポイントの提示の例を示す図である。
【図２４】クライアント端末のコンテンツ再生処理について説明するフローチャートである。
【図２５】コンテンツ管理サーバのハイライトポイント提示処理について説明するフローチャートである。
【図２６】図２５のステップＳ２３２において行われる第１のハイライトポイント特定処理について説明するフローチャートである。
【図２７】図２５のステップＳ２３２において行われる第２のハイライトポイント特定処理について説明するフローチャートである。
【図２８】図２５のステップＳ２３２において行われる第３のハイライトポイント特定処理について説明するフローチャートである。
【図２９】図２５のステップＳ２３２において行われる第４のハイライトポイント特定処理について説明するフローチャートである。
【図３０】図２５のステップＳ２３２において行われる第５のハイライトポイント特定処理について説明するフローチャートである。
【図３１】HMDの例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．第１の実施の形態（ハイライトコンテンツを配信する例）
２．第２の実施の形態（ハイライトポイントを提示する例）
【００１４】
＜＜第１の実施の形態＞＞
＜コンテンツ配信システムの構成＞
図１は、本技術の一実施形態に係るコンテンツ配信システムの構成例を示す図である。
【００１５】
図１のコンテンツ配信システムは、コンテンツ管理サーバ１、HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４から構成される。HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４は、それぞれ、インターネットなどのネットワーク１１を介してコンテンツ管理サーバ１に接続される。
【００１６】
HMD２−１乃至２−３、携帯端末３、およびテレビジョン受像機４を区別する必要がない場合、適宜、まとめてクライアント端末という。図１には５台のクライアント端末を示しているが、さらに多くの端末がネットワーク１１に接続される。
【００１７】
コンテンツ管理サーバ１は、複数のビデオコンテンツを管理し、クライアント端末のユーザにより選択されたビデオコンテンツを送信する。コンテンツ管理サーバ１が送信するビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。
【００１８】
コンテンツ管理サーバ１から送信されたビデオコンテンツを受信した例えばHMD２−１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。コンテンツ管理サーバ１が送信するビデオコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。
【００１９】
HMD２−１乃至２−３には、加速度センサ、ジャイロセンサなどの、ヘッドトラッキング用のセンサが搭載されている。HMD２−１乃至２−３は、HMD２−１乃至２−３を装着するユーザの頭部の姿勢を検出し、頭部の姿勢から推測される視線の方向に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。
【００２０】
ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。
【００２１】
以下、コンテンツ管理サーバ１が送信する自由視点コンテンツの映像が、複数の歌手が出演するコンサートの映像である場合について説明する。演劇の映像、スポーツの映像、観光地の映像、CGの映像など、様々な自由視点コンテンツがコンテンツ管理サーバ１から送信されるようにすることが可能である。
【００２２】
図２は、自由視点コンテンツの撮影空間であるコンサート会場の例を示す平面図である。
【００２３】
コンサート会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいるものとする。被写体は、コンサート会場全体の風景となる。
【００２４】
位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。
【００２５】
白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のそれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。
【００２６】
図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。
【００２７】
位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。
【００２８】
図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。
【００２９】
以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。
【００３０】
図５のＡ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。
【００３１】
図５のＡ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。
【００３２】
図５のＡに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３３】
図５のＢに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３４】
図５のＣに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。
【００３５】
図６は、位置Ｐ１における視野の例を示す図である。
【００３６】
図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD２−１の表示範囲、すなわちHMD２−１のユーザの視野を示す。HMD２−１においては、枠Ｆ１で示す範囲内の画像が各フレームから切り出され、動画として表示される。
【００３７】
ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD２−１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。
【００３８】
ここで、ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。コンテンツ管理サーバ１は、ユーザが選択した視点の位置、自由視点コンテンツの再生中にHMD２−１により検出された視線の方向、および、HMD２−１が有するディスプレイの画角に基づいて、ユーザの視野を特定することが可能となる。
【００３９】
なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。コンテンツ管理サーバ１が配信する自由視点コンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。視点の切り替えは、ある視点のビデオストリームの再生中に行うことも可能とされる。
【００４０】
また、複数の位置から撮影された映像を合成することによって生成された完全自由視点コンテンツがコンテンツ管理サーバ１から配信されるようにしてもよい。完全自由視点コンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。
【００４１】
図１の説明に戻り、HMD２−１乃至２−３は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。コンテンツ管理サーバ１が送信する自由視点コンテンツは、例えばコンサートの映像をリアルタイムで提供するコンテンツである。コンサート会場にいる観客が見ている風景とほぼ同じ風景を、HMD２−１乃至２−３のユーザも見ることができる。
【００４２】
HMD２−１乃至２−３は、自由視点コンテンツを再生し、ユーザにより選択された視点の映像を、内蔵するディスプレイに表示させる。HMD２−１乃至２−３はいわゆる没入型のHMDであり、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる。
【００４３】
HMD２−１乃至２−３は、自由視点コンテンツの再生中、ユーザの頭部の姿勢を検出し、頭部の姿勢に応じて映像の表示範囲を切り替える。
【００４４】
図６を参照して説明したように、HMD２−１乃至２−３は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。また、HMD２−１乃至２−３は、ユーザが顔を上に向けたとき、視点の位置をそのままに映像の表示範囲を上方向に移動させ、下に向けたとき、視点の位置をそのままに映像の表示範囲を下方向に移動させる。HMD２−１乃至２−３は、例えばユーザが頭を右に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を右に回転させ、左に傾けたとき、視点の位置と視線の方向をそのままに映像の表示範囲を左に回転させる。
【００４５】
図１の例においては、HMD２−１乃至２−３のユーザは、それぞれ異なる視野の映像である映像Ｖ１乃至Ｖ３を視聴しているものとされている。
【００４６】
また、HMD２−１乃至２−３は、自由視点コンテンツの再生中、各時刻のユーザの視野の情報である視野情報をコンテンツ管理サーバ１に周期的に送信する。自由視点コンテンツの再生終了後などの所定のタイミングで視野情報が送信されるようにしてもよい。
【００４７】
携帯端末３も同様に、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信して再生し、ユーザにより選択された視点の映像を、筐体表面に設けられたディスプレイに表示させる。
【００４８】
また、携帯端末３は、自由視点コンテンツの再生中、携帯端末３の筐体の姿勢を検出し、検出した姿勢に応じて映像の表示範囲を切り替える。携帯端末３のユーザは、携帯端末３を持つ手を動かし、筐体の姿勢を変えることによって、自分の見たい映像を表示させることができる。
【００４９】
スマートフォンやタブレット端末である携帯端末３にも、ジャイロセンサ、加速度センサなどの、姿勢検出に用いられるセンサが搭載されている。ディスプレイに重ねて設けられたタッチパネルによってユーザのタッチ操作を検出し、タッチ操作に応じて映像の表示範囲を切り替えるようにしてもよい。
【００５０】
携帯端末３は、自由視点コンテンツの再生中、視野情報をコンテンツ管理サーバ１に送信する。
【００５１】
このように、図１のコンテンツ配信システムにおいては、自由視点コンテンツが、各クライアント端末のユーザの好きな視野の映像を表示するようにして再生される。コンテンツ管理サーバ１においては、各クライアント端末のユーザがどの視野の映像を見ていたのかを表す情報が管理される。
【００５２】
コンテンツ管理サーバ１は、複数のクライアント端末から送信されてきた視野情報に基づいて、自由視点コンテンツの注目すべき時間帯を特定するとともに、注目すべき視野を特定する。
【００５３】
コンテンツ管理サーバ１は、例えば各時刻における視野毎の重複数を求め、重複数の最大値が大きい時間帯を、注目すべき時間帯として特定する。
【００５４】
上述したようなコンサートの映像が各クライアント端末で再生された場合、人物Ｈ１乃至Ｈ３がステージ＃１上に登場する時間帯は、各ユーザが同じような範囲を見ることから視野の重複数は多くなる。また、人物Ｈ１乃至Ｈ３の登場後、各ユーザの視野は、各ユーザの好みの人物に分散する。例えば、１００００人のうち、５０００人以上のユーザが重複して見ている範囲があるような時間帯が、注目すべき時間帯として特定される。
【００５５】
また、コンテンツ管理サーバ１は、注目すべき時間帯において、視野の重複数が最も多い視野を、注目すべき視野として特定する。コンテンツ管理サーバ１においては、多くのユーザが同じ範囲に注目している時間帯の単位時間毎に、最も多くのユーザが見ている視野が特定される。
【００５６】
コンテンツ管理サーバ１は、自由視点コンテンツ全体のうち、特定した注目すべき時間帯の、注目すべき視野の映像をつなぎ合わせることによってハイライトコンテンツを生成する。ある自由視点コンテンツのハイライトコンテンツを送信することが例えばテレビジョン受像機４のユーザにより要求されている場合、コンテンツ管理サーバ１は、生成したハイライトコンテンツをテレビジョン受像機４に送信する。
【００５７】
テレビジョン受像機４は、ハイライトコンテンツを受信して再生し、ハイライトコンテンツの映像をディスプレイに表示させる。テレビジョン受像機４のユーザは、他の多くのユーザが同じ範囲に注目した時間帯の、最も多くのユーザによって見られていた視野の映像を見ることになる。
【００５８】
ここでは、HMD２−１乃至２−３と携帯端末３は、本体の姿勢に応じて視野を切り替えることができる機器であるが、テレビジョン受像機４は、視野を切り替えることができない機器であるものとする。
【００５９】
このように、コンテンツ管理サーバ１は、自由視点コンテンツの注目すべき時間帯、注目すべき視野を、その自由視点コンテンツを視聴した複数のユーザの視野の履歴に基づいて決定することができる。自由視点コンテンツの制作者は、自ら編集操作を行うことなく、ハイライトコンテンツを作成することができる。
【００６０】
自由視点コンテンツを視聴する場合、視点や視野を任意の位置に変えることができることから、どこに注目して視聴してよいのかユーザは迷うことがある。ハイライトコンテンツが提供されることにより、ユーザは、他の多くのユーザと同じような視点、視野で映像を見ることができ、視聴の仕方に迷うといったことはない。
【００６１】
なお、ハイライトコンテンツがHMD２−１乃至２−３または携帯端末３に送信され、HMD２−１乃至２−３または携帯端末３を用いてハイライトコンテンツが視聴されるようにしてもよい。
【００６２】
以上のようなハイライトコンテンツを生成するための各機器の一連の処理については後述する。
【００６３】
＜各機器の構成＞
・コンテンツ管理サーバの構成
図７は、コンテンツ管理サーバ１の構成例を示すブロック図である。
【００６４】
CPU(Central Processing Unit)２１、ROM(Read Only Memory)２２、RAM(Random Access Memory)２３は、バス２４により相互に接続されている。
【００６５】
バス２４には、さらに、入出力インタフェース２５が接続される。入出力インタフェース２５には、ディスプレイ２６と入力部２７が接続される。入力部２７は、キーボード、マウスなどであり、コンテンツ管理サーバ１の管理者により用いられる。
【００６６】
また、入出力インタフェース２５には、ハードディスクや不揮発性のメモリなどよりなる記録部２８、ネットワークインタフェースであり、ネットワーク１１を介して他の機器と通信を行う通信部２９が接続される。入出力インタフェース２５には、リムーバブルメディア３１を駆動するドライブ３０も接続される。
【００６７】
図８は、コンテンツ管理サーバ１の機能構成例を示すブロック図である。
【００６８】
図８に示す機能部のうちの少なくとも一部は、CPU２１により所定のプログラムが実行されることによって実現される。図８に示すように、コンテンツ管理サーバ１においては、通信制御部４１、視聴履歴情報記録部４２、コンテンツ情報記録部４３、ハイライトポイント特定部４４、配信映像生成部４５、およびコンテンツ記録部４６が実現される。視聴履歴情報記録部４２、コンテンツ情報記録部４３、およびコンテンツ記録部４６は記録部２８において実現される。
【００６９】
通信制御部４１は、通信部２９を制御し、クライアント端末と通信を行う。通信制御部４１は、クライアント端末から送信されてきた視野情報を受信し、視聴履歴情報記録部４２に記録させる。また、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信する。
【００７０】
後述するように、コンテンツ管理サーバ１は、ハイライトポイントをクライアント端末のユーザに提示することも可能とされる。この場合、通信制御部４１は、クライアント端末から送信されてきた、ハイライトポイントを提示する自由視点コンテンツの情報などを受信し、ハイライトポイント特定部４４と配信映像生成部４５に出力する。
【００７１】
視聴履歴情報記録部４２は、通信制御部４１から供給された視野情報の時系列である時系列視野情報を含む視聴履歴情報を記録する。視聴履歴情報記録部４２には、それぞれのクライアント端末において視聴された複数の自由視点コンテンツに関する視聴履歴情報が記録される。
【００７２】
図９は、視聴履歴情報の例を示す図である。
【００７３】
視聴履歴情報には、コンテンツ情報、視聴状況情報、デバイス情報、時系列視野情報、およびユーザ情報が含まれる。例えば１つの自由視点コンテンツがあるクライアント端末で１回再生される毎に、図９の各情報を含む視聴履歴情報が生成される。
【００７４】
コンテンツ情報は、再生された自由視点コンテンツの識別情報である。コンテンツ情報にはコンテンツIDが含まれる。
【００７５】
視聴状況情報は、自由視点コンテンツの再生時の状況を表す情報である。視聴状況情報には、視聴時間（視聴開始時刻、視聴終了時刻）を表す情報と、クライアント端末が備える測位センサなどにより検出された視聴場所を表す情報が含まれる。
【００７６】
デバイス情報は、自由視点コンテンツの再生に用いられたクライアント端末の属性を表す情報である。デバイス情報には、HMD、スマートフォン、テレビジョン受像機などのクライアント端末の種別であるデバイス種別を表す情報と、クライアント端末の識別情報であるデバイスIDが含まれる。
【００７７】
時系列視野情報は、自由視点コンテンツの再生中の各時刻における視野を表す情報である。上述したように、ユーザの視野は、視点の位置、視線の方向、および画角により表される。画角については、クライアント端末から送信されてきたデバイス情報に基づいてコンテンツ管理サーバ１側で特定されるようにしてもよい。この場合、各クライアント端末が備えるディスプレイの画角の情報がコンテンツ管理サーバ１に用意される。
【００７８】
ユーザ情報は、自由視点コンテンツを視聴したユーザの属性を表す情報である。ユーザ情報には、ユーザIDとユーザプロファイル情報が含まれる。ユーザプロファイル情報は、年齢、性別、趣味、専門分野などを表す情報である。
【００７９】
このように、コンテンツ管理サーバ１においては、自由視点コンテンツの視聴時の各時刻の視野を表す情報が、視聴された自由視点コンテンツを表す情報、視聴に用いられたクライアント端末を表す情報、視聴したユーザの情報と対応付けて管理される。
【００８０】
なお、ユーザ情報については、視聴履歴情報に含めて管理されるのではなく、デバイス情報と対応付けてコンテンツ管理サーバ１において管理されるようにしてもよい。
【００８１】
視聴履歴情報記録部４２に記録された視聴履歴情報は、ハイライトポイント特定部４４と配信映像生成部４５により読み出される。
【００８２】
図８のコンテンツ情報記録部４３はコンテンツ情報を記録する。コンテンツ情報は、コンテンツ管理サーバ１が配信可能な自由視点コンテンツ毎に用意される。
【００８３】
図１０は、コンテンツ情報の例を示す図である。
【００８４】
コンテンツ情報には、特徴点別時系列位置情報、最多視野情報、および特徴点別最多視野情報が含まれる。
【００８５】
特徴点別時系列位置情報は、特徴点毎の、撮影空間における各時刻の位置と回転方向を表す情報である。特徴点は、例えば、映像に映る人物、顔などの人物の一部、動物、マーカーである。自由視点コンテンツの映像が球技のスポーツの映像である場合、ボールなども特徴点として扱われる。特徴点の位置は、撮影空間の所定の位置を基準とした絶対的な位置であり、回転方向は、撮影空間における顔の向きなどの、特徴点の向きである。
【００８６】
最多視野情報は、各時刻において最も見られた視野を表す情報である。最多視野情報は時系列視野情報に基づいて生成される。
【００８７】
特徴点別最多視野情報は、各時刻において最も見られた特徴点毎の視野を表す情報である。例えば図２の人物Ｈ１乃至Ｈ３がそれぞれ特徴点として設定されている場合、人物Ｈ１乃至Ｈ３のそれぞれが、各時刻においてどの視野で最も見られていたのかが特徴点別最多視野情報により表される。特徴点別最多視野情報は、特徴点を含む視野の情報に基づいて生成される。
【００８８】
コンテンツ情報に含まれる情報のうち、特徴点別時系列位置情報は自由視点コンテンツの制作者などにより用意される。自由視点コンテンツの映像を解析することによって、特徴点別時系列位置情報が自動的に生成されるようにしてもよい。また、最多視野情報と特徴点別最多視野情報はハイライトポイント特定部４４により生成される。
【００８９】
図８のハイライトポイント特定部４４は、視聴履歴情報記録部４２に記録されている視聴履歴情報に基づいて、コンテンツ情報に含まれる最多視野情報と特徴点別最多視野情報を生成し、コンテンツ情報記録部４３に記録させる。
【００９０】
また、ハイライトポイント特定部４４は、ハイライトコンテンツを生成する自由視点コンテンツに関するコンテンツ情報をコンテンツ情報記録部４３から読み出し、コンテンツ情報に基づいてハイライトポイントを特定する。ハイライトポイントは、注目すべき時間帯の各時刻における注目すべき視野である。ハイライトポイント特定部４４は、特定したハイライトポイントを表す情報を配信映像生成部４５に出力する。
【００９１】
ハイライトポイントをクライアント端末のユーザに提示する場合、ハイライトポイント特定部４４は、特定したハイライトポイントを表す情報を通信制御部４１に出力する。
【００９２】
配信映像生成部４５は、クライアント端末に対して自由視点コンテンツを配信する。例えば、配信映像生成部４５は、自由視点コンテンツをコンテンツ記録部４６から読み出して通信制御部４１に出力し、自由視点コンテンツの送信を要求したクライアント端末に対して送信させる。
【００９３】
また、配信映像生成部４５はハイライトコンテンツを生成する。例えば、配信映像生成部４５は、自由視点コンテンツをコンテンツ記録部４６から読み出し、ハイライトポイントの映像をつなぎ合わせることによってハイライトコンテンツを生成する。配信映像生成部４５は、生成したハイライトコンテンツを通信制御部４１に出力し、ハイライトコンテンツの配信を要求したクライアント端末に対して送信させる。
【００９４】
コンテンツ記録部４６は、コンテンツ管理サーバ１が配信可能な自由視点コンテンツを記録する。
【００９５】
なお、図８の構成において実現される各機能が１つのサーバで実現されるのではなく、複数のサーバで分担して実現されるようにすることも可能である。この場合、複数のサーバは、コンテンツ管理サーバ１が実現する各処理を分担して行うことになる。
【００９６】
・HMDの構成
図１１は、HMD２−１の構成例を示すブロック図である。
【００９７】
HMD２−１は、制御部７１に対して、通信部７２、センサ７３、ディスプレイ７４、操作部７５、スピーカ７６、および記憶部７７が接続されることによって構成される。HMD２−２，２−３も図１１に示す構成と同じ構成を有する。
【００９８】
制御部７１は、CPU、ROM、RAMなどより構成される。制御部７１は、所定のプログラムを実行し、HMD２−１の全体の動作を制御する。
【００９９】
通信部７２は、コンテンツ管理サーバ１との間で無線により通信を行う。通信部７２は、制御部７１から供給された視野情報をコンテンツ管理サーバ１に送信する。また、通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツやハイライトコンテンツを受信し、制御部７１に出力する。
【０１００】
センサ７３は、GPS(Global Positioning System)センサ、ジャイロセンサ、加速度センサなどにより構成される。センサ７３は、自由視点コンテンツの再生中、測位や、角速度、加速度の検出を行い、センサデータを制御部７１に出力する。
【０１０１】
ディスプレイ７４は、LCDや有機ELディスプレイなどにより構成され、制御部７１による制御に従って自由視点コンテンツの映像を表示する。
【０１０２】
操作部７５は、HMD２−１の筐体表面に設けられた操作ボタンなどにより構成される。自由視点コンテンツの選択、視点の選択などが操作部７５を用いて行われる。
【０１０３】
スピーカ７６は、自由視点コンテンツの再生中、制御部７１から供給された、自由視点コンテンツに含まれるオーディオデータに基づいて音声を出力する。
【０１０４】
記憶部７７は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。
【０１０５】
携帯端末３も、図１１に示す構成と基本的に同じ構成を有する。また、テレビジョン受像機４も、センサ７３が設けられていない点を除いて、図１１に示す構成と基本的に同じ構成を有する。以下、適宜、図１１の構成を、携帯端末３またはテレビジョン受像機４の構成として引用して説明する。
【０１０６】
図１２は、制御部７１の構成例を示すブロック図である。
【０１０７】
図１２に示す機能部のうちの少なくとも一部は、制御部７１のCPUにより所定のプログラムが実行されることによって実現される。図１２に示すように、制御部７１においては、再生部９１、表示制御部９２、視野検出部９３、および視野情報管理部９４が実現される。センサ７３から出力されたセンサデータが視野検出部９３に入力される。
【０１０８】
再生部９１は、コンテンツ管理サーバ１から送信され、通信部７２において受信された自由視点コンテンツを再生する。再生部９１は、例えば、自由視点コンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部９２に出力する。再生部９１は、コンテンツ管理サーバ１から送信されてきたハイライトコンテンツの再生なども行う。
【０１０９】
表示制御部９２は、再生部９１から供給されたデータに基づいて、自由視点コンテンツの所定の視野の映像をディスプレイ７４に表示させる。また、表示制御部９２は、視野検出部９３により検出された視野に応じて映像の表示範囲を切り替える。
【０１１０】
視野検出部９３は、自由視点コンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの視野を特定し、視野の情報を表示制御部９２と視野情報管理部９４に出力する。
【０１１１】
視野情報管理部９４は、視野検出部９３により検出された視野情報を通信部７２に出力し、コンテンツ管理サーバ１に送信させる。視野情報は、再生中の自由視点コンテンツのコンテンツID、デバイスID、ユーザIDなどと対応付けてコンテンツ管理サーバ１に送信される。
【０１１２】
＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。
【０１１３】
・ハイライトコンテンツ配信前の処理
はじめに、図１３のフローチャートを参照して、自由視点コンテンツを再生するクライアント端末の処理について説明する。ここでは、HMD２−１が処理を行うものとして説明するが、HMD２−２，２−３、または携帯端末３においても同様の処理が行われる。
【０１１４】
例えば、図１３の処理は、HMD２−１のユーザが選択した自由視点コンテンツがコンテンツ管理サーバ１から送信されてきたときに開始される。自由視点コンテンツの選択は、例えば、HMD２−１のディスプレイ７４に表示されるメニュー画面を用いて行われる。
【０１１５】
ステップＳ１において、HMD２−１の通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツを受信する。自由視点コンテンツの送信はストリーミング形式で行われるようにしてもよいし、ダウンロード形式で行われるようにしてもよい。自由視点コンテンツのデータは制御部７１に供給される。
【０１１６】
ステップＳ２において、再生部９１は、ユーザによる操作に応じて視点を選択する。視点の選択は、例えば視点の一覧が表示されるメニュー画面を用いて行われるようにしてもよいし、自由視点コンテンツの視聴中に所定の操作によって行われるようにしてもよい。
【０１１７】
ステップＳ３において、再生部９１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部９２に順次供給される。
【０１１８】
ステップＳ４において、視野検出部９３は、センサ７３から供給されたセンサデータに基づいてユーザの視野を検出する。視野検出部９３が検出した視野を表す、視点、視線方向、画角の情報は表示制御部９２と視野情報管理部９４に供給される。
【０１１９】
ステップＳ５において、表示制御部９２は、視野検出部９３により検出された視野に応じて映像を表示させる。すなわち、表示制御部９２は、ユーザにより選択された視点において視聴可能な映像全体のうち、ユーザの視野に応じた一部の範囲の映像をディスプレイ７４に表示させる。
【０１２０】
ステップＳ６において、視野情報管理部９４は、視野検出部９３が検出した視野を表す視野情報をコンテンツ管理サーバ１に送信する。
【０１２１】
ステップＳ７において、再生部９１は、再生終了か否かを判定する。再生終了ではないとステップＳ７において判定した場合、ステップＳ８において、再生部９１は、視点を切り替えるか否かをユーザの操作に基づいて判定する。
【０１２２】
視点を切り替えないとステップＳ８において判定された場合、ステップＳ４に戻り、それ以降の処理が繰り返される。センサデータに基づいてユーザの視野が検出され、映像の表示範囲を視野に応じて切り替えることが繰り返される。
【０１２３】
視点を切り替えるとステップＳ８において判定された場合、ステップＳ２に戻り、視点を切り替えた後、それ以降の処理が繰り返される。
【０１２４】
一方、自由視点コンテンツを最後まで再生したことなどから、再生終了であるとステップＳ７において判定した場合、再生部９１は処理を終了させる。
【０１２５】
自由視点コンテンツの配信を受けた各クライアント端末において以上の処理が行なわれる。各クライアント端末においては自由視点コンテンツが視聴されるとともに、各時刻の視野を表す情報がコンテンツ管理サーバ１に対して繰り返し送信される。
【０１２６】
以上においては、自由視点コンテンツの再生中、視野情報が繰り返し送信されるものとしたが、再生中に検出された全ての視野の時系列である時系列視野情報が、自由視点コンテンツの再生終了後にまとめて送信されるようにしてもよい。
【０１２７】
次に、図１４のフローチャートを参照して、視聴履歴情報を記録するコンテンツ管理サーバ１の処理について説明する。
【０１２８】
ステップＳ２１において、コンテンツ管理サーバ１の通信制御部４１は、クライアント端末から送信されてきた視野情報を受信する。
【０１２９】
ステップＳ２２において、視聴履歴情報記録部４２は、受信された視野情報を、その視聴情報を送信してきたクライアント端末において視聴された自由視点コンテンツの時系列視野情報に追加するように視聴履歴情報記録部４２に記録させる。その後、処理は終了される。
【０１３０】
以上の処理が、クライアント端末から視野情報が送信されてくる毎に行われる。リアルタイムの映像を含む自由視点コンテンツの配信が行われている場合、視聴履歴情報記録部４２には、各クライアント端末におけるリアルタイムの視野を表す情報が記録される。
【０１３１】
次に、図１５のフローチャートを参照して、最多視野情報を生成するコンテンツ管理サーバ１の処理について説明する。
【０１３２】
図１０を参照して説明したように、各自由視点コンテンツのコンテンツ情報には最多視野情報が含まれる。例えば、図１５の処理は、図１４の処理が行われることによって視野情報が追加される毎に行われる。
【０１３３】
ステップＳ３１において、ハイライトポイント特定部４４は、最多視野情報を生成する対象の自由視点コンテンツに関する全ユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
【０１３４】
ステップＳ３２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報に含まれる時系列視野情報を解析し、各ユーザの、自由視点コンテンツの視聴中の各時刻における視野を特定する。
【０１３５】
ステップＳ３３において、ハイライトポイント特定部４４は、特定した視野に基づいて、各時刻の視野の重複数を求める。
【０１３６】
図１６は、視野の重複の例を示す図である。
【０１３７】
図１６は、自由視点コンテンツの再生中の所定の時刻における、所定の視点の映像を平面に展開したときの人物Ｈ１乃至Ｈ３と、４つのクライアント端末のユーザの視野（表示範囲）を示している。
【０１３８】
長方形の枠Ｆ１１乃至Ｆ１４はそれぞれクライアント端末の表示範囲を表す。それぞれのクライアント端末の表示範囲は、ユーザの頭部の姿勢に応じて位置が異なるとともに、ディスプレイの性能に応じて大きさが異なる。
【０１３９】
例えば、枠Ｆ１１の左側には人物Ｈ１の一部が入り、右側には人物Ｈ２が入っている。この場合、ユーザは、枠Ｆ１１の左側には人物Ｈ１が入り、右側には人物Ｈ２が入るような視野で自由視点コンテンツを視聴していることになる。
【０１４０】
斜線を付して示す領域Ａ１は、枠Ｆ１１乃至Ｆ１４が重なっている領域である。領域Ａ１の視野の重複数は４となる。
【０１４１】
領域Ａ１の上側に位置する横長の長方形の領域Ａ２は、枠Ｆ１１，Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は３となる。また、領域Ａ１の右上に位置する小さい長方形の領域Ａ３は、枠Ｆ１２，Ｆ１４が重なっている領域であり、視野の重複数は２となる。領域Ａ４乃至Ａ１１についても同様に視野の重複数が求められる。一定の面積以上重複している視野のみが、重複する視野として処理されるようにしてもよい。
【０１４２】
図１５の説明に戻り、ステップＳ３４において、ハイライトポイント特定部４４は、各時刻の、重複数が最も多い視野を特定する。ハイライトポイント特定部４４は、特定した視野を表す情報を、対象としている自由視点コンテンツの最多視野情報としてコンテンツ情報記録部４３に記録する。図１６に示すタイミングにおいては、視野の重複数が４である領域Ａ１が、重複数が最も多い視野として特定され、領域Ａ１の方向、大きさなどを表す情報が記録される。
【０１４３】
次に、図１７のフローチャートを参照して、特徴点別最多視野情報を生成するコンテンツ管理サーバ１の処理について説明する。例えば、図１７の処理も、視野情報が追加される毎に行われる。
【０１４４】
ステップＳ５１において、ハイライトポイント特定部４４は、特徴点別最多視野情報を生成する対象の自由視点コンテンツに関する全ユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
【０１４５】
ステップＳ５２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報に含まれる時系列視野情報を解析し、各ユーザの、自由視点コンテンツ視聴中の各時刻における視野を特定する。
【０１４６】
ステップＳ５３において、ハイライトポイント特定部４４は、対象の自由視点コンテンツに関するコンテンツ情報としてあらかじめ用意されている特徴点別時系列位置情報をコンテンツ情報記録部４３から読み出す。
【０１４７】
ステップＳ５４において、ハイライトポイント特定部４４は、特徴点別時系列位置情報を解析し、ステップＳ５２において特定した各ユーザの各時刻における視野に特徴点が含まれるか否かを、特徴点毎に特定する。特徴点別時系列位置情報は、各時刻における特徴点毎の位置を表す情報である。
【０１４８】
ステップＳ５５において、ハイライトポイント特定部４４は、各時刻における、特徴点を含む視野の重複数を、特徴点毎に求める。
【０１４９】
例えば図２の人物Ｈ１乃至Ｈ３のそれぞれの顔が特徴点として設定され、それらの各時刻の位置が特徴点別時系列位置情報により表される場合、各ユーザの各時刻の視野に人物Ｈ１乃至Ｈ３のそれぞれの顔が含まれるか否かが特定される。また、特徴点を含む視野に注目し、各時刻における、人物Ｈ１の顔を含む視野の重複数、人物Ｈ２の顔を含む視野の重複数、および人物Ｈ３の顔を含む視野の重複数がそれぞれ求められる。
【０１５０】
ステップＳ５６において、ハイライトポイント特定部４４は、重複数が最も多い特徴点毎の視野を表す情報を、対象としている自由視点コンテンツの特徴点別最多視野情報としてコンテンツ情報記録部４３に記録する。各時刻における、人物Ｈ１の顔を含む重複数が最も多い視野、人物Ｈ２の顔を含む重複数が最も多い視野、および、人物Ｈ３の顔を含む重複数が最も多い視野を表す情報がそれぞれ記録される。
【０１５１】
以上のように、最多視野情報と特徴点別最多視野情報は視野情報が追加される毎に更新される。ハイライトコンテンツは、最新の最多視野情報と特徴点別最多視野情報に基づいて生成される。
【０１５２】
・ハイライトコンテンツの配信処理
次に、図１８のフローチャートを参照して、ハイライトコンテンツを配信するコンテンツ管理サーバ１の処理について説明する。
【０１５３】
図１８の処理は、最多視野情報に基づいて生成したハイライトコンテンツを配信する処理である。図１８の処理は、例えば、所定のクライアント端末から、ハイライトコンテンツの送信が要求されたときに開始される。
【０１５４】
ステップＳ７１において、通信制御部４１は、クライアント端末から送信されてきた要求を受信する。クライアント端末から送信されてくる要求には、例えば、ハイライトコンテンツの元になる自由視点コンテンツを指定する情報と、クライアント端末の仕様を表す情報が含まれる。
【０１５５】
クライアント端末の仕様を表す情報により、ハイライトコンテンツの送信を要求するクライアント端末が姿勢に応じて表示範囲を変えることができる機器であるか否か、および、クライアント端末が有するディスプレイの画角などが表される。通信制御部４１により受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
【０１５６】
ステップＳ７２において、ハイライトポイント特定部４４は、ハイライトポイントを生成する対象の自由視点コンテンツに関する最多視野情報をコンテンツ情報記録部４３から読み出す。
【０１５７】
ステップＳ７３において、ハイライトポイント特定部４４は、最多視野情報に基づいて、視野の重複数の最大値が閾値以上となる区間（時間帯）を特定する。視野の重複数の最大値が大きい区間は、多くのユーザが同じ被写体に注目している区間であるといえる。反対に、視野の重複数の最大値が小さい区間は、ユーザの視野が、複数の被写体に分散している区間であるといえる。
【０１５８】
図１９は、視野の重複数の最大値の時系列を示す図である。
【０１５９】
図１９の横軸は自由視点コンテンツの時刻を表し、縦軸は視野の重複数の最大値を示す。水平方向の破線は閾値となる最大の重複数を表す。
【０１６０】
図１９の例においては、時刻ｔ１から時刻ｔ２までの区間Ｔ１、時刻ｔ３から時刻ｔ４までの区間Ｔ２、および時刻ｔ５から時刻ｔ６までの区間Ｔ３が、視野の重複数の最大値が閾値以上となる区間とされている。ハイライトポイント特定部４４は、区間Ｔ１乃至Ｔ３を注目すべき区間として特定する。
【０１６１】
注目すべき区間の判断基準となる閾値は可変である。ハイライトポイント特定部４４は、送信するハイライトコンテンツの時間に応じた閾値を設定し、注目すべき区間を特定する。
【０１６２】
図１８のステップＳ７４において、ハイライトポイント特定部４４は、注目すべき区間の各時刻における、重複数が最も多い視野を最多視野情報に基づいて特定する。最多視野情報は、各時刻における、重複数が最も多い視野を表す情報である。ハイライトポイント特定部４４は、注目すべき区間の各時刻における重複数が最も多い視野であるハイライトポイントに関する情報を配信映像生成部４５に出力する。
【０１６３】
ステップＳ７５において、配信映像生成部４５は、対象の自由視点コンテンツをコンテンツ記録部４６から読み出す。
【０１６４】
ステップＳ７６において、配信映像生成部４５は、ハイライトコンテンツを要求するクライアント端末が、機器の姿勢などに応じて表示範囲を切り替えることができる機器であるか否かを判定する。表示範囲を切り替えることができる機器であるか否かは、ステップＳ７１において受信された、クライアント端末の仕様を表す情報により表される。
【０１６５】
表示範囲を切り替えることができる機器ではないとステップＳ７６において判定した場合、配信映像生成部４５は、自由視点コンテンツの映像のうち、ハイライトポイントの映像からなるハイライトコンテンツを生成する。
【０１６６】
例えば、視野の重複が図１６に示す状態となる時刻においては、重複数が最も多い領域Ａ１で表される視野を含む一定の範囲の映像が切り出され、ハイライトコンテンツの生成に用いられる。配信映像生成部４５は、映像の切り出し範囲を、例えば、ハイライトコンテンツを送信するクライアント端末が有するディスプレイの画角に応じて決定する。配信映像生成部４５は、生成したハイライトコンテンツを通信制御部４１に出力する。
【０１６７】
ステップＳ７８において、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信し、処理を終了させる。
【０１６８】
テレビジョン受像機４などのクライアント端末においては、ハイライトコンテンツの再生が行われ、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。
【０１６９】
一方、表示範囲を切り替えることができる機器であるとステップＳ７６において判定した場合、ステップＳ７９において、配信映像生成部４５は、ハイライトポイント情報とコンテンツ記録部４６から読み出した自由視点コンテンツを通信制御部４１に出力する。ハイライトポイント情報は、ハイライトポイント特定部４４により特定されたハイライトポイントを表す情報である。通信制御部４１は、ハイライトポイント情報と自由視点コンテンツをクライアント端末に送信し、処理を終了させる。
【０１７０】
HMD２−１などのクライアント端末においては、自由視点コンテンツの再生が行われ、ハイライトポイント情報に基づいて表示範囲を制御することによって、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。
【０１７１】
次に、図２０のフローチャートを参照して、ハイライトコンテンツを配信するコンテンツ管理サーバ１の他の処理について説明する。
【０１７２】
図２０の処理は、特徴点別最多視野情報に基づいて生成したハイライトコンテンツを配信する処理である。図２０の処理は、ハイライトコンテンツの生成に用いる情報が、最多視野情報ではなく特徴点別最多視野情報である点を除いて、図１８を参照して説明した処理と基本的に同様の処理である。重複する説明については適宜省略する。
【０１７３】
ステップＳ９１において、通信制御部４１は、クライアント端末から送信されてきた要求を受信する。クライアント端末から送信されてくるハイライトコンテンツの要求には、自由視点コンテンツを指定する情報、クライアント端末の仕様を表す情報、および、注目する特徴点を指定する情報が含まれる。通信制御部４１により受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
【０１７４】
ステップＳ９２において、ハイライトポイント特定部４４は、対象の自由視点コンテンツの特徴点別最多視野情報をコンテンツ情報記録部４３から読み出す。
【０１７５】
ステップＳ９３において、ハイライトポイント特定部４４は、特徴点別最多視野情報に基づいて、クライアント端末のユーザにより選択された特徴点を含む視野の重複数の最大値が閾値以上となる区間を特定する。
【０１７６】
ステップＳ９４において、ハイライトポイント特定部４４は、注目すべき区間の各時刻における、クライアント端末のユーザにより選択された特徴点を含む視野のうちの、重複数が最も多い視野を特徴点別最多視野情報に基づいて特定する。ハイライトポイント特定部４４は、注目すべき区間の各時刻における、所定の特徴点を含む、重複数が最も多い視野であるハイライトポイントに関する情報を配信映像生成部４５に出力する。
【０１７７】
ステップＳ９５において、配信映像生成部４５は、対象の自由視点コンテンツをコンテンツ記録部４６から読み出す。
【０１７８】
ステップＳ９６において、配信映像生成部４５は、ハイライトコンテンツを要求するクライアント端末が表示範囲を切り替えることができる機器であるか否かを判定する。
【０１７９】
表示範囲を切り替えることができる機器ではないとステップＳ９６において判定した場合、ステップＳ９７において、配信映像生成部４５は、ハイライトポイントの映像からなるハイライトコンテンツを生成する。
【０１８０】
ステップＳ９８において、通信制御部４１は、配信映像生成部４５により生成されたハイライトコンテンツをクライアント端末に送信し、処理を終了させる。
【０１８１】
一方、表示範囲を切り替えることができる機器であるとステップＳ９６において判定した場合、ステップＳ９９において、配信映像生成部４５は、ハイライトポイント情報と自由視点コンテンツを通信制御部４１に出力する。通信制御部４１は、ハイライトポイント情報と自由視点コンテンツをクライアント端末に送信し、処理を終了させる。
【０１８２】
以上のように、クライアント端末が表示範囲の切り替えが可能な機器であるか、表示範囲の切り替えができない機器であるかに応じて、コンテンツ管理サーバ１からクライアント端末に送信される情報が切り替えられる。
【０１８３】
次に、図２１のフローチャートを参照して、ハイライトコンテンツを再生するクライアント端末の処理について説明する。
【０１８４】
図２１の処理は、図１８または図２０の処理に対応して行われる処理である。図２１の処理は、姿勢に応じて表示範囲を変えることができない、例えばテレビジョン受像機４により行われる。
【０１８５】
ステップＳ１２１において、テレビジョン受像機４の制御部７１（図１１）は、通信部７２を制御し、ハイライトコンテンツの送信を要求する情報をコンテンツ管理サーバ１に送信する。
【０１８６】
テレビジョン受像機４が送信する情報には、自由視点コンテンツを指定する情報と、テレビジョン受像機４の仕様を表す情報が含まれる。テレビジョン受像機４の仕様を表す情報は、テレビジョン受像機４が、姿勢に応じて表示範囲を変えることができる機器ではないことと、テレビジョン受像機４が有するディスプレイ７４の画角などを表す情報である。
【０１８７】
また、所定の特徴点を含むハイライトコンテンツを視聴することがユーザにより選択された場合、テレビジョン受像機４が送信する情報には、ユーザにより選択された特徴点を指定する情報も含まれる。
【０１８８】
特徴点が選択されていない場合には、図１８の処理がコンテンツ管理サーバ１において行われ、ハイライトコンテンツが送信されてくる。一方、特徴点が選択されている場合には、図２０の処理がコンテンツ管理サーバ１において行われ、所定の特徴点を含む視野の映像からなるハイライトコンテンツが送信されてくる。
【０１８９】
ステップＳ１２２において、通信部７２は、コンテンツ管理サーバ１から送信されてきたハイライトコンテンツを受信する。
【０１９０】
ステップＳ１２３において、再生部９１はハイライトコンテンツを再生する。
【０１９１】
ステップＳ１２４において、表示制御部９２は、ハイライトコンテンツの映像をディスプレイ７４に表示させる。ディスプレイ７４には、例えば、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。ハイライトコンテンツの再生が終了したとき、処理は終了される。
【０１９２】
テレビジョン受像機４のユーザは、他のユーザがよく見ている時間帯の、よく見ている視野の映像を視聴することができる。
【０１９３】
次に、図２２のフローチャートを参照して、ハイライトコンテンツを再生するクライアント端末の処理について説明する。
【０１９４】
図２２の処理も、図１８または図２０の処理に対応して行われる処理である。図２２の処理は、姿勢に応じて表示範囲を変えることができる機器である、例えば携帯端末３により行われる。
【０１９５】
ステップＳ１３１において、携帯端末３の制御部７１（図１１）は、通信部７２を制御し、ハイライトコンテンツの送信を要求する情報をコンテンツ管理サーバ１に送信する。
【０１９６】
携帯端末３が送信する情報には、自由視点コンテンツを指定する情報と、携帯端末３の仕様を表す情報が含まれる。携帯端末３の仕様を表す情報は、携帯端末３が、姿勢に応じて表示範囲を変えることができる機器であることと、携帯端末３が有するディスプレイ７４の画角などを表す情報である。
【０１９７】
また、所定の特徴点を含むハイライトコンテンツを視聴することがユーザにより選択された場合、携帯端末３が送信する情報には、ユーザにより選択された特徴点を指定する情報も含まれる。
【０１９８】
ステップＳ１３２において、通信部７２は、コンテンツ管理サーバ１から送信されてきたハイライトポイント情報と自由視点コンテンツを受信する。
【０１９９】
ステップＳ１３３において、再生部９１は自由視点コンテンツを再生する。
【０２００】
ステップＳ１３４において、表示制御部９２は、自由視点コンテンツを再生して得られた全体の映像のうち、ハイライトポイントとして指定された視野の映像をディスプレイ７４に表示させる。ディスプレイ７４には、例えば、視野の重複数の最大値が閾値以上となる区間の、重複数が最大となる視野の映像が表示される。ハイライトコンテンツの再生が終了したとき、処理は終了される。
【０２０１】
携帯端末３のユーザは、他のユーザがよく見ている時間帯の、よく見ている視野の映像を視聴することができる。携帯端末３の向きを変えることにより、ハイライトポイントの範囲から外れて、映像の表示範囲をユーザが任意に選択することができるようにしてもよい。
【０２０２】
以上の一連の処理により、クライアント端末のユーザは、自由視点コンテンツを視聴するときに、どこに注目して視聴してよいのか迷うことなく、他の多くのユーザと同じような視点、視野で映像を見ることができる。また、特徴点を指定することにより、その特徴点を含む視点、視野として、他の多くのユーザが注目する視点、視野の映像を見ることができる。
【０２０３】
ハイライトコンテンツの生成に用いられる最多視野情報または特徴点別最多視野情報は視野情報が追加される毎に更新される情報である。ユーザは、ハイライトコンテンツを視聴する時点で他のユーザによって見られている視点、視野の映像を見ることができる。
【０２０４】
以上においては、視野の重複数の最大値が閾値以上となる区間において重複数が最も多い視野がハイライトポイントとして特定されるものとしたが、区間のみが特定されるようにしてもよい。この場合、ハイライトコンテンツは、視野の重複数の最大値が閾値以上となる区間の全ての視野の映像から構成されることになる。
【０２０５】
＜＜第２の実施の形態＞＞
自由視点コンテンツの再生中にハイライトポイントの方向などを提示することも可能である。例えばHMD２−１のユーザは、視聴している映像に重ねて表示される情報に従って顔の向きを変え、視野を切り替えることによって、ハイライトポイントの映像を見ることができる。
【０２０６】
図２３は、ハイライトポイントの提示の例を示す図である。
【０２０７】
図２３に示す映像は、例えばHMD２−１のユーザが視聴している映像である。HMD２−１のディスプレイ７４には、ユーザの視野に応じた自由視点コンテンツの映像が表示される。
【０２０８】
図２３の映像に重ねて表示される矢印画像Ａ３１は、視聴中の映像の方向を基準としたときの、ハイライトポイントの方向を示す情報である。矢印画像Ａ３１に従って顔を右に向け、視野を変えることによって、コンテンツ管理サーバ１により選択されたハイライトポイントの映像がHMD２−１のディスプレイ７４に表示される。ユーザの視野がハイライトポイントになったとき、そのことを表す情報が表示されるようにしてもよい。
【０２０９】
ハイライトポイントを提示する場合、コンテンツ管理サーバ１からクライアント端末に対しては、自由視点コンテンツとともに、コンテンツ管理サーバ１によって特定されたハイライトポイントを表すハイライトポイント情報が送信される。
【０２１０】
＜各機器の動作＞
図２４のフローチャートを参照して、自由視点コンテンツを再生するクライアント端末の処理について説明する。
【０２１１】
ここでは、HMD２−１が処理を行うものとして説明する。HMD２−２，２−３、または携帯端末３においても同様の処理が行われる。
【０２１２】
ステップＳ２０１において、制御部７１は、ユーザの操作に応じて、視聴する自由視点コンテンツを選択する。
【０２１３】
ステップＳ２０２において、制御部７１は、ユーザの操作に応じて、ハイライトポイントの特定方法を選択する。
【０２１４】
後述するように、ハイライトポイントの特定方法として複数の方法が用意されている。コンテンツ管理サーバ１においては、ユーザにより選択された方法に従ってハイライトポイントが特定される。ユーザにより選択された特定方法を指定する情報がHMD２−１からコンテンツ管理サーバ１に送信される。
【０２１５】
コンテンツ管理サーバ１においては、HMD２−１のユーザにより選択された自由視点コンテンツのハイライトポイントが、HMD２−１のユーザにより選択された方法に従って特定される。HMD２−１に対しては、自由視点コンテンツとともにハイライトポイント情報が送信されてくる。ハイライトポイントを特定するコンテンツ管理サーバ１の処理については後述する。
【０２１６】
ステップＳ２０３において、通信部７２は、コンテンツ管理サーバ１から送信されてきた自由視点コンテンツとハイライトポイント情報を受信する。
【０２１７】
ステップＳ２０４において、再生部９１は、ユーザによる操作に応じて視点を選択する。
【０２１８】
ステップＳ２０５において、再生部９１は、ユーザにより選択された視点の映像のビデオストリームを再生する。ビデオストリームを再生して得られた映像のデータは表示制御部９２に順次供給される。
【０２１９】
ステップＳ２０６において、視野検出部９３は、センサ７３から供給されたセンサデータに基づいてユーザの視野を検出する。
【０２２０】
ステップＳ２０７において、表示制御部９２は、視野検出部９３により検出された視野に応じて映像を表示させる。
【０２２１】
ステップＳ２０８において、表示制御部９２は、視聴中の視野の方向を基準としたハイライトポイントの方向を、ハイライトポイント情報に基づいて特定する。表示制御部９２は、ハイライトポイントの方向を表す情報を、自由視点コンテンツの映像に重ねて表示させる。
【０２２２】
ステップＳ２０９において、再生部９１は、再生終了か否かを判定する。再生終了ではないとステップＳ２０９において判定した場合、ステップＳ２１０において、再生部９１は、視点を切り替えるか否かを判定する。
【０２２３】
視点を切り替えないとステップＳ２１０において判定された場合、ステップＳ２０６に戻り、それ以降の処理が行われる。映像の表示範囲をユーザの視野に応じて切り替えるとともに、ハイライトポイントの方向を提示することが繰り返される。
【０２２４】
視点を切り替えるとステップＳ２１０において判定された場合、ステップＳ２０４に戻り、視点を切り替えた後、それ以降の処理が繰り返される。
【０２２５】
一方、再生終了であるとステップＳ２０９において判定した場合、再生部９１は処理を終了させる。
【０２２６】
自由視点コンテンツの視聴中に表示される案内に従って視野を変えることにより、ユーザは、自分で選択した方法で特定されたハイライトポイントの映像を見ることができる。
【０２２７】
次に、図２５のフローチャートを参照して、ハイライトポイントを提示するコンテンツ管理サーバ１の処理について説明する。
【０２２８】
図２５の処理は、視聴する自由視点コンテンツとハイライトポイントの特定方法を表す情報がHMD２−１などのクライアント端末から送信されてきたときに開始される。
【０２２９】
ステップＳ２３１において、コンテンツ管理サーバ１の通信制御部４１は、HMD２−１から送信されてきた選択内容を表す情報を受信する。受信された情報はハイライトポイント特定部４４と配信映像生成部４５に供給される。
【０２３０】
ステップＳ２３２において、ハイライトポイント特定部４４はハイライトポイント特定処理を行う。ハイライトポイント特定処理の内容が、HMD２−１のユーザにより選択された特定方法に従って切り替わる。ハイライトポイント特定処理については、図２６乃至図３０のフローチャートを参照して後述する。
【０２３１】
ハイライトポイント特定部４４は、ハイライトポイント特定処理によって特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。配信映像生成部４５は、ユーザにより選択された自由視点コンテンツをコンテンツ記録部４６から読み出し、通信制御部４１に出力する。
【０２３２】
ステップＳ２３３において、通信制御部４１は、配信映像生成部４５から供給された自由視点コンテンツと、ハイライトポイント特定部４４から供給されたハイライトポイント情報をHMD２−１に送信し、処理を終了させる。
【０２３３】
・第１のハイライトポイント特定処理
次に、図２６のフローチャートを参照して、図２５のステップＳ２３２において行われる第１のハイライトポイント特定処理について説明する。
【０２３４】
第１のハイライトポイント特定処理は、視野の重複数の最大値が閾値以上となる区間の各時刻における、重複数が最も多い視野をハイライトポイントとして特定する処理である。
【０２３５】
ステップＳ２４１において、ハイライトポイント特定部４４は、ハイライトコンテンツを生成する対象の自由視点コンテンツの最多視野情報をコンテンツ情報記録部４３から読み出す。
【０２３６】
ステップＳ２４２において、ハイライトポイント特定部４４は、最多視野情報に基づいて、視野の重複数の最大値が閾値以上となる区間を特定する。
【０２３７】
ステップＳ２４３において、ハイライトポイント特定部４４は、特定した注目すべき区間の各時刻における、重複数が最も多い視野を最多視野情報に基づいて特定する。ハイライトポイント特定部４４は、注目すべき区間の各時刻における重複数が最も多い視野を表すハイライトポイント情報を通信制御部４１に出力する。
【０２３８】
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、視野の重複数の最大値が閾値以上となる区間の再生中、ハイライトポイントの方向を表す情報が映像に重ねて表示される。
【０２３９】
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、ハイライトポイントの映像を視聴することができる。ハイライトポイントは、多くのユーザが視聴している区間の、多くのユーザが視聴している視野の映像である。HMD２−１のユーザは、多くのユーザと同じ視野の映像を見ることができ、どの視野の映像を見ればいいのか悩むことがない。
【０２４０】
・第２のハイライトポイント特定処理
次に、図２７のフローチャートを参照して、図２５のステップＳ２３２において行われる第２のハイライトポイント特定処理について説明する。
【０２４１】
第２のハイライトポイント特定処理は、ユーザの好みの人物を特定し、特定した人物がよく映っている視野をハイライトポイントとして特定する処理である。視聴対象として選択された自由視点コンテンツは、ユーザの好みの人物が映っているコンテンツであるものとする。
【０２４２】
ステップＳ２５１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
【０２４３】
ステップＳ２５２において、ハイライトポイント特定部４４は、ユーザが過去に視聴した視聴済みの自由視点コンテンツを視聴履歴情報に基づいて特定し、特定した自由視点コンテンツの特徴点別時系列位置情報をコンテンツ情報記録部４３から読み出す。
【０２４４】
ステップＳ２５３において、ハイライトポイント特定部４４は、各自由視点コンテンツの視聴履歴情報と特徴点別時系列位置情報を解析し、ユーザの視野に特徴点が含まれていたか否かを特徴点毎に特定する。また、ハイライトポイント特定部４４は、特徴点毎に、視野に含まれていた時間、視野内の位置、視野に含まれていたときの顔の向きなどを特定し、特徴点毎の評価を行う。
【０２４５】
上述したように、特徴点別時系列位置情報は、自由視点コンテンツの映像に映る特徴点毎の、撮影空間における各時刻の位置と回転方向を表す情報である。視聴履歴情報により表されるユーザの視野と重ねることによって、視野に含まれていた時間、視野内の位置、視野に含まれていたときの顔の向きなどを特徴点毎に特定することが可能になる。
【０２４６】
例えば、ハイライトポイント特定部４４は、視野に含まれていた時間が長い特徴点に対して、視野に含まれていた時間が短い特徴点より高い評価を設定する。また、ハイライトポイント特定部４４は、視野の中央近傍に映っている特徴点に対して、視野の端に映っている特徴点より高い評価を設定する。ハイライトポイント特定部４４は、正面を向いている状態で視野に映っている特徴点に対して、正面以外の方向を向いている状態で視野に映っている特徴点より高い評価を設定する。
【０２４７】
ステップＳ２５４において、ハイライトポイント特定部４４は、評価が最も高い特徴点の人物を、ユーザの好みの人物として特定する。
【０２４８】
ステップＳ２５５において、ハイライトポイント特定部４４は、ハイライトポイントを提示する自由視点コンテンツの特徴点別最多視野情報をコンテンツ情報記録部４３から読み出す。
【０２４９】
ステップＳ２５６において、ハイライトポイント特定部４４は、特徴点別最多視野情報に基づいて、ユーザの好みの人物が映る、重複数が最も多い視野をハイライトポイントとして特定する。ハイライトポイント特定部４４は、特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。
【０２５０】
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、自由視点コンテンツの映像に重ねて、ユーザの好みの人物が映っているハイライトポイントの方向を表す情報が表示される。
【０２５１】
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、自分の好みの人物が映る視野として多くのユーザが視聴している視野の映像を見ることができる。
【０２５２】
・第３のハイライトポイント特定処理
次に、図２８のフローチャートを参照して、図２５のステップＳ２３２において行われる第３のハイライトポイント特定処理について説明する。
【０２５３】
第３のハイライトポイント特定処理は、ハイライトポイントの提示を受けるHMD２−１のユーザと視聴履歴が似ている他のユーザを特定し、他のユーザが多く視聴している視野をハイライトポイントとして特定する処理である。
【０２５４】
ステップＳ２７１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
【０２５５】
ステップＳ２７２において、ハイライトポイント特定部４４は、HMD２−１のユーザに視聴させる自由視点コンテンツと同じ自由視点コンテンツを過去に視聴済みの他のユーザの視聴履歴情報を視聴履歴情報記録部４２から読み出す。
【０２５６】
ステップＳ２７３において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報と、ステップＳ２７２において読み出した視聴履歴情報に基づいて、HMD２−１のユーザと視聴履歴が類似する他のユーザを特定する。例えば、ハイライトポイント特定部４４は、HMD２−１のユーザが過去に視聴した自由視点コンテンツと同じ自由視点コンテンツを所定の数以上視聴したユーザを、視聴履歴が類似する他のユーザとして特定する。
【０２５７】
ステップＳ２７４において、ハイライトポイント特定部４４は、ステップＳ２７３において特定した他のユーザの視聴履歴情報のうち、HMD２−１のユーザに視聴させる自由視点コンテンツに関する視聴履歴情報を解析する。ハイライトポイント特定部４４は、視聴履歴情報を解析することによって、それぞれの他のユーザの各時刻における視野を特定する。
【０２５８】
ステップＳ２７５において、特定した各時刻における視野の重複数を求め、重複数の最大値が閾値以上となる区間を特定する。
【０２５９】
ステップＳ２７６において、ハイライトポイント特定部４４は、特定した注目すべき区間の各時刻における、重複数が最も多い視野をハイライトポイントとして特定する。ハイライトポイント特定部４４は、特定したハイライトポイントを表すハイライトポイント情報を通信制御部４１に出力する。
【０２６０】
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、視聴履歴が類似するユーザの視野の重複数の最大値が閾値以上となる区間の再生中、ハイライトポイントの方向を表す情報が映像に重ねて表示される。
【０２６１】
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、視聴履歴が類似する他のユーザの視野と同じ視野の映像を視聴することができる。視聴履歴が類似する他のユーザが視聴していた映像は、HMD２−１のユーザが興味のある映像である可能性が高い。HMD２−１のユーザは、自分の興味のある映像を視聴することが可能になる。
【０２６２】
・第４のハイライトポイント特定処理
次に、図２９のフローチャートを参照して、図２５のステップＳ２３２において行われる第４のハイライトポイント特定処理について説明する。
【０２６３】
第４のハイライトポイント特定処理は、HMD２−１のユーザが視聴する自由視点コンテンツのジャンルに詳しい他のユーザを特定し、他のユーザの視野をハイライトポイントとして特定する処理である。
【０２６４】
ステップＳ２９１において、ハイライトポイント特定部４４は、視聴履歴情報記録部４２に記録されているユーザプロファイル情報を解析し、HMD２−１のユーザに視聴させる自由視点コンテンツのジャンルの専門家といえるユーザを特定する。例えば、HMD２−１のユーザに視聴させる自由視点コンテンツと同じ自由視点コンテンツに関する、全てのユーザの視聴履歴情報に含まれるユーザプロファイル情報が解析される。
【０２６５】
HMD２−１のユーザに視聴させる自由視点コンテンツがあるアイドルグループのコンサートのコンテンツである場合、そのアイドルグループに詳しい専門家のユーザが特定される。ユーザプロファイル情報には各ユーザの専門分野などの情報も含まれる。
【０２６６】
ステップＳ２９２において、ハイライトポイント特定部４４は、特定した所定の専門家の視聴履歴情報のうち、HMD２−１のユーザに視聴させる自由視点コンテンツの視聴履歴情報を解析することによって、その専門家の各時刻の視野を特定する。
【０２６７】
ステップＳ２９３において、ハイライトポイント特定部４４は、専門家の視野と同じ視野をハイライトポイントとして特定し、ハイライトポイント情報を通信制御部４１に出力する。
【０２６８】
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、ハイライトポイントの方向を表す情報が表示される。
【０２６９】
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、視聴している自由視点コンテンツを、そのジャンルの専門家と同じ視野で見ることができる。
【０２７０】
ユーザプロファイル情報を解析して専門家を特定するのではなく、専門家のユーザがあらかじめ決まっているようにしてもよい。コンテンツ管理サーバ１は、同じ自由視点コンテンツについて、複数の専門家の視野に基づいて複数のハイライトポイント情報を生成しておき、HMD２−１のユーザにより選択された所定の専門家の視野を表すハイライトポイントを提示するなどのサービスを実現することもできる。
【０２７１】
・第５のハイライトポイント特定処理
次に、図３０のフローチャートを参照して、図２５のステップＳ２３２において行われる第５のハイライトポイント特定処理について説明する。
【０２７２】
第５のハイライトポイント特定処理は、HMD２−１のユーザが同じ自由視点コンテンツを複数回視聴している場合に、まだ視聴していない視野をハイライトポイントとして特定する処理である。
【０２７３】
ステップＳ３１１において、ハイライトポイント特定部４４は、HMD２−１のユーザの視聴履歴情報のうち、今回視聴させる自由視点コンテンツと同じ自由視点コンテンツに関する過去の視聴履歴情報を視聴履歴情報記録部４２から読み出す。例えば今回が５回目の視聴である場合、過去の４回の視聴時に生成された視聴履歴情報が読み出される。
【０２７４】
ステップＳ３１２において、ハイライトポイント特定部４４は、読み出した視聴履歴情報を解析し、各回の視聴時の、各時刻における視野を特定する。
【０２７５】
ステップＳ３１３において、ハイライトポイント特定部４４は、各時刻において、過去に視聴していない視野をハイライトポイントとして特定し、ハイライトポイント情報を通信制御部４１に出力する。
【０２７６】
その後、図２５のステップＳ２３２に戻り、それ以降の処理が行われる。HMD２−１においては、自由視点コンテンツの再生が行われ、自由視点コンテンツの映像に重ねてハイライトポイントの方向を表す情報が表示される。
【０２７７】
HMD２−１のユーザは、提示される情報に従って視野を変えることにより、まだ見たことのない視野の映像を見ることができる。
【０２７８】
このように、ハイライトポイントを様々な方法によって特定することが可能である。自由視点コンテンツの視聴がある時間帯、ある場所で行われたときの視聴履歴情報に基づいてハイライトポイントを特定するといったように、ハイライトポイントの特定に用いる視聴履歴情報を各種のフィルタ条件によって抽出し、抽出した視聴履歴情報に基づいてハイライトポイントを特定することが可能である。
【０２７９】
＜変形例＞
・ハイライトポイントの提示について
以上においては、矢印の画像を自由視点コンテンツの映像に重ねて表示することによってハイライトポイントの方向を提示するものとしたが、映像に重ねて表示する情報は矢印の画像に限られない。
【０２８０】
また、情報の表示によって提示するのではなく、HMD２−１のスピーカ７６から出力する自由視点コンテンツの音声の音量や音場を制御することによって、ハイライトポイントの方向を提示してもよい。例えば、視聴中の視野の位置を基準として、ハイライトポイントの方向から音が聞こえるように、音声の音量や音場が制御される。
【０２８１】
さらに、ユーザの頭に接するHMD２−１のベルト部分の締め付けの程度を調整してハイライトポイントを提示するようにしてもよい。例えば、視聴中の視野の位置を基準として、ハイライトポイントの方向を無意識にユーザが向くように、ベルト部分の締め付けの程度が調整される。
【０２８２】
・HMDの形態について
HMD２−１乃至２−３が図３１のＡに示すような没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
【０２８３】
ビデオシースルー型のHMDは、図３１のＢに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。
【０２８４】
光学シースルー型のHMDは、図３１のＣに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力された自由視点コンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。ユーザは、目の前の風景に重ねて各種の情報を見ることができる。
【０２８５】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２８６】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図７に示されるリムーバブルメディア３１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM２２や記録部２８に、あらかじめインストールしておくことができる。
【０２８７】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２８８】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０２８９】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２９０】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２９１】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
【０２９２】
（１）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信する通信部と、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
を備える情報処理装置。
【０２９３】
（２）
前記ビデオコンテンツは、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像からなるコンテンツである
前記（１）に記載の情報処理装置。
【０２９４】
（３）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を含み、前記複数の位置のうちのいずれかの位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
【０２９５】
（４）
前記ビデオコンテンツは、同じ被写体を複数の位置から撮影して得られた複数の映像を合成して得られた、任意の位置を前記ビデオコンテンツの視聴時の視点として選択可能なコンテンツである
前記（２）に記載の情報処理装置。
【０２９６】
（５）
前記注目範囲の映像からなる注目コンテンツを生成する生成部をさらに備え、
前記通信部は、前記注目コンテンツを前記表示装置に送信する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【０２９７】
（６）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（５）に記載の情報処理装置。
【０２９８】
（７）
前記通信部は、前記注目範囲を表す情報と前記ビデオコンテンツを前記表示装置に送信し、
前記表示装置においては、前記ビデオコンテンツの視聴中に前記注目範囲が提示される
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【０２９９】
（８）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
【０３００】
（９）
前記特定部は、前記注目範囲を提示するユーザの前記視聴履歴情報により表される表示範囲に含まれる所定の特徴点を選択し、複数の前記表示装置のユーザの前記視聴履歴情報に基づいて、前記所定の特徴点を含む表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の前記所定の特徴点を含む表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
【０３０１】
（１０）
前記特定部は、複数のユーザの前記視聴履歴情報に基づいて、視聴済みの前記ビデオコンテンツが前記注目範囲を提示するユーザと類似する他のユーザを選択し、前記他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
【０３０２】
（１１）
前記特定部は、前記注目範囲を提示するユーザとは異なる他のユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記他のユーザによる視聴時の表示範囲と同じ表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
【０３０３】
（１２）
前記特定部は、前記注目範囲を提示するユーザの、前記注目範囲を提示する前記ビデオコンテンツについての前記視聴履歴情報に基づいて、前記注目範囲を提示するユーザによる視聴時の表示範囲とは異なる表示範囲を前記注目範囲として特定する
前記（７）に記載の情報処理装置。
【０３０４】
（１３）
情報処理装置の受信部が、映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
前記情報処理装置の特定部が、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
ステップを含む情報処理方法。
【０３０５】
（１４）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツの映像を表示する複数の表示装置から送信された、それぞれの前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を受信し、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する
ステップを含む処理をコンピュータに実行させるプログラム。
【０３０６】
（１５）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する通信部と
を備える表示装置。
【０３０７】
（１６）
前記通信部は、複数のユーザの前記視聴履歴情報に基づいて前記情報処理装置により生成され、前記情報処理装置から送信されてきた、表示範囲の重複数の最大値が閾値以上となる時間帯の、重複数が最大の表示範囲である前記注目範囲の映像からなる注目コンテンツを受信し、
前記再生部は、前記注目コンテンツを再生する
前記（１５）に記載の表示装置。
【０３０８】
（１７）
前記通信部は、前記情報処理装置から送信されてきた、前記注目範囲を表す情報と前記ビデオコンテンツを受信し、
前記表示制御部は、前記ビデオコンテンツの映像に重ねて、前記注目範囲を表す情報を表示させる
前記（１５）に記載の表示装置。
【０３０９】
（１８）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
ステップを含む情報処理方法。
【０３１０】
（１９）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生し、
ユーザの動きを検出し、
前記ユーザの動きに追従して、映像の表示範囲を制御し、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を、複数の表示装置から送信された前記視聴履歴情報を処理し、所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する情報処理装置に送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【０３１１】
（２０）
映像全体の範囲内でユーザの動きに追従して表示範囲が切り替わるビデオコンテンツを再生する再生部と、
前記ビデオコンテンツの視聴中のユーザの動きを検出する検出部と、
前記ユーザの動きに追従して、映像の表示範囲を制御する表示制御部と、
前記ビデオコンテンツの視聴中の表示範囲の履歴を含む視聴履歴情報を情報処理装置に送信する通信部と
を備える表示装置と、
複数の前記表示装置から送信された前記視聴履歴情報を受信する通信部と、
所定の前記表示装置における前記ビデオコンテンツの映像の表示範囲の履歴に基づいて、前記ビデオコンテンツの所定の時間帯の、所定の表示範囲を注目範囲として特定する特定部と
を備える情報処理装置と
から構成される情報処理システム。
【符号の説明】
【０３１２】
１  コンテンツ管理サーバ，  ２−１乃至２−３  HMD，  ３  携帯端末，  ４  テレビジョン受像機，  ４１  通信制御部，  ４２  視聴履歴情報記録部，  ４３  コンテンツ情報記録部，  ４４  ハイライトポイント特定部，  ４５  配信映像生成部，  ４６  コンテンツ記録部，  ９１  再生部，  ９２  表示制御部，  ９３  視野検出部，  ９４  視野情報管理部
【図１】
0006558587.tif 000002
【図２】
0006558587.tif 000003
【図３】
0006558587.tif 000004
【図４】
0006558587.tif 000005
【図５】
0006558587.tif 000006
【図６】
0006558587.tif 000007
【図７】
0006558587.tif 000008
【図８】
0006558587.tif 000009
【図９】
0006558587.tif 000010
【図１０】
0006558587.tif 000011
【図１１】
0006558587.tif 000012
【図１２】
0006558587.tif 000013
【図１３】
0006558587.tif 000014
【図１４】
0006558587.tif 000015
【図１５】
0006558587.tif 000016
【図１６】
0006558587.tif 000017
【図１７】
0006558587.tif 000018
【図１８】
0006558587.tif 000019
【図１９】
0006558587.tif 000020
【図２０】
0006558587.tif 000021
【図２１】
0006558587.tif 000022
【図２２】
0006558587.tif 000023
【図２３】
0006558587.tif 000024
【図２４】
0006558587.tif 000025
【図２５】
0006558587.tif 000026
【図２６】
0006558587.tif 000027
【図２７】
0006558587.tif 000028
【図２８】
0006558587.tif 000029
【図２９】
0006558587.tif 000030
【図３０】
0006558587.tif 000031
【図３１】
0006558587.tif 000032