(57)【要約】【課題】より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにする。【解決手段】本技術の一側面の情報処理装置は、撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する各々の再生装置から受信し、各々の再生装置が撮影するそれぞれのユーザを表す画像を、それぞれのユーザの属性に応じた位置に配置することによって、映像の撮影が行われている空間にいる人が遠隔にいる複数のユーザの状況を視覚的に確認できる視覚情報を生成し、映像の撮影が行われている空間に設置された表示装置に視覚情報を表示させる表示制御装置に対して、視覚情報のデータを送信する。本技術は、ネットワークを介してリアルタイムで配信されるコンテンツの再生装置から送信されてきた情報を処理するサーバに適用することができる。【選択図】図１
2020156109.tif 000002
【特許請求の範囲】
【請求項１】
撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信する受信部と、
前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、
前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する送信部と
を備える情報処理装置。
【請求項２】
撮影された前記映像は、前記映像の撮影が行われている空間に配置された複数の撮影装置の撮影画像を合成して生成される映像である
請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、指定された集計方法に従って、遠隔にいる前記ユーザの盛り上がり度を生成する
請求項１又は２に記載の情報処理装置。
【請求項４】
前記ユーザの属性を表す情報は、前記映像を視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、表示範囲に相当する前記ユーザの視野、所在地情報、お気に入り情報、前記ユーザの出身国、趣味、専門分野、性別、およびユーザIDのうちの少なくとも１つである
請求項１乃至３のいずれかに記載の情報処理装置。
【請求項５】
指定された前記集計方法に従って生成された前記盛り上がり度を視覚的に表す前記ユーザを表す画像の配置の方法は、前記映像に映る人物により、前記表示制御装置が備える集計方法取得部を介して指定されたものである
請求項３に記載の情報処理装置。
【請求項６】
撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信し、
前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成し、
前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する
ステップを含む情報処理方法。
【請求項７】
撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信し、
前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成し、
前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項８】
撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から取得する取得部と、
前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、
前記視覚情報のデータに基づいて、前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御部と
を備える情報処理装置。
【請求項９】
撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信する受信部と、
前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、
前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する送信部と
を備える情報処理装置と、
前記情報処理装置から送信されてきた前記視覚情報のデータを受信する受信部と、
前記視覚情報のデータに基づいて、前記表示装置に前記視覚情報を表示させる表示制御部と
を備える前記表示制御装置と
から構成される情報処理システム。
【請求項１０】
撮影された映像を視聴するユーザを撮影するカメラと、
前記カメラによる撮影が行われている前記ユーザを含む複数のユーザを表す画像を前記複数のユーザの属性情報に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成し、前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記ユーザの属性を表す情報を送信する送信部と
を備える情報処理装置。
【請求項１１】
撮影された前記映像の表示部分を変更させることにより、前記映像の撮影が行われている空間に設置された前記表示装置を表示する表示部をさらに備える
請求項１０に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、プログラム、および情報処理システムに関し、特に、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにした情報処理装置、情報処理方法、プログラム、および情報処理システムに関する。
【背景技術】
【０００２】
近年、コンサートやスポーツの試合の動画をリアルタイムで配信するサービスが各種提供されている。視聴者は、PCやスマートフォンなどの自分の端末を使って、サーバから配信される動画のコンテンツを視聴することができる。
【０００３】
インターネットを介してコンテンツを視聴している視聴者のリアクションを会場に送信し、会場にいる観客などにリアクションを提示する技術もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３３９４７９号公報
【特許文献２】特開２０１１−１８２１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述した技術においては、コンテンツの視聴者は、自身のリアクションを会場に送信するために、コンテンツの視聴に使用している端末に表示されたボタンを押すなどのいわば能動的な動作をとる必要がある。従って、リアクションを送ることが、コンテンツの視聴に没頭することの妨げとなる。
【０００６】
本技術はこのような状況に鑑みてなされたものであり、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の第１の側面の情報処理装置は、撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信する受信部と、前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する送信部とを備える。
【０００８】
本技術の第２の側面の情報処理装置は、撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、前記ユーザを撮影する前記各々の再生装置から取得する取得部と、前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、前記視覚情報のデータに基づいて、前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御部とを備える。
【０００９】
本技術の第３の側面の情報処理システムは、撮影された映像を各々の再生装置で視聴中の複数のユーザの属性を表す情報を、ユーザを撮影する前記各々の再生装置から受信する受信部と、前記各々の再生装置が撮影するそれぞれの前記ユーザを表す画像を、それぞれの前記ユーザの属性に応じた位置に配置することによって、前記映像の撮影が行われている空間にいる人が遠隔にいる前記複数のユーザの状況を視覚的に確認できる視覚情報を生成する生成部と、前記映像の撮影が行われている空間に設置された表示装置に前記視覚情報を表示させる表示制御装置に対して、前記視覚情報のデータを送信する送信部とを備える情報処理装置と、前記情報処理装置から送信されてきた前記視覚情報のデータを受信する受信部と、前記視覚情報のデータに基づいて、前記表示装置に前記視覚情報を表示させる表示制御部とを備える前記表示制御装置とから構成される。
【発明の効果】
【００１０】
本技術によれば、より自然な形で取得された視聴者の反応をコンテンツの撮影が行われている場所に送信し、より見やすい形で提示することができる。
【００１１】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１２】
【図１】本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【図２】イベント会場の例を示す平面図である。
【図３】映像の画角の例を示す図である。
【図４】映像の画角の他の例を示す図である。
【図５】映像の例を示す図である。
【図６】視野の例を示す図である。
【図７】ヒートマップ画像の例を示す図である。
【図８】HMDの構成例を示すブロック図である。
【図９】制御部の機能構成例を示すブロック図である。
【図１０】ユーザ属性情報に含まれる情報の例を示す図である。
【図１１】集計サーバの構成例を示すブロック図である。
【図１２】集計サーバの機能構成例を示すブロック図である。
【図１３】配信サーバの機能構成例を示すブロック図である。
【図１４】表示制御装置の構成例を示すブロック図である。
【図１５】表示制御装置の機能構成例を示すブロック図である。
【図１６】配信サーバのコンテンツ配信処理について説明するフローチャートである。
【図１７】クライアント端末の再生処理について説明するフローチャートである。
【図１８】集計サーバの盛り上がり集計処理について説明するフローチャートである。
【図１９】表示制御装置のヒートマップ画像表示処理について説明するフローチャートである。
【図２０】クライアント端末のヒートマップ画像表示処理について説明するフローチャートである。
【図２１】ディスプレイの表示例を示す図である。
【図２２】ヒートマップ画像の他の例を示す図である。
【図２３】盛り上がり度を表す情報の配置の例を示す図である。
【図２４】ヒートマップ画像の表示の切り替えの例を示す図である。
【図２５】HMDの形態の例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．情報処理システムの構成
２．各機器の構成
３．各機器の動作
４．ヒートマップ画像の例
５．変形例
【００１４】
＜情報処理システムの構成＞
図１は、本技術の一実施形態に係る情報処理システムの構成例を示す図である。
【００１５】
図１の情報処理システムは、コンサートや、スポーツの試合などを撮影した動画をリアルタイムで配信するシステムである。
【００１６】
図１の情報処理システムは、コンサートなどが行われているイベント会場側の装置、配信サーバ１１、集計サーバ１２、および、ライブコンテンツの視聴者が使うHMD(Head Mounted Display)２１乃至２４から構成される。
【００１７】
図１には４台のHMDをクライアント端末として示しているが、さらに多くのクライアント端末が設けられる。配信サーバ１１と集計サーバ１２は、イベント会場に設置されるようにすることも可能である。また、配信サーバ１１と集計サーバ１２の機能を１つのサーバによって実現することも可能である。それぞれの装置はインターネットなどのネットワークを介して接続される。
【００１８】
イベント会場には、撮影制御装置１、表示制御装置２、および大型ディスプレイ３が設けられる。図１の例においては、イベント会場でコンサートが開催されており、演者としての３人の人物と、コンサートの観客がイベント会場にいるものとされている。大型ディスプレイ３は、演者からも、観客からも見ることができる位置に設置される。
【００１９】
撮影制御装置１は、イベント会場に設置されたカメラを制御し、コンサートの撮影を制御する。撮影制御装置１は、撮影した動画をネットワークを介して配信サーバ１１に送信する。
【００２０】
配信サーバ１１は、撮影制御装置１から送信されてきた動画に基づいて配信用のライブコンテンツを生成し、HMD２１乃至２４に送信する。配信サーバ１１が送信するライブコンテンツは、例えば、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度であり、複数の位置で撮影された映像を含むコンテンツである。
【００２１】
配信サーバ１１から送信されたライブコンテンツを受信した例えばHMD２１のユーザは、視点を選択し、選択した視点からの映像を、視野を変えて視聴することができる。配信サーバ１１が送信するライブコンテンツは、視点を変えることができるいわゆる自由視点コンテンツである。
【００２２】
HMD２１乃至２４には、加速度センサ、角速度センサなどの、ヘッドトラッキング用のセンサが搭載されている。HMD２１乃至２４は、HMD２１乃至２４を装着するユーザの頭部の姿勢を検出し、頭部の姿勢から推測される視線の方向に応じて映像の表示範囲を切り替える。ユーザは、３６０度の画角全体のうちの、自分が顔を向けた方向にある一部の範囲の映像を見ることになる。
【００２３】
ここで、「視点」は、対象を見るユーザの立脚点である。また、「視野」は、ユーザが見ている範囲であり、ディスプレイに表示される映像の範囲（表示範囲）に相当する。「視線」は、ユーザの視野の方向であり、撮影空間における所定の方向を基準とした、映像の表示範囲の方向に相当する。
【００２４】
図２は、イベント会場の例を示す平面図である。
【００２５】
イベント会場にはステージ＃１が設けられ、ステージ＃１の前方（図２の下方）には観客フロア＃２が設けられる。ステージ＃１には人物Ｈ１，Ｈ２，Ｈ３の３人の歌手がいる。また、観客フロア＃２には多くの観客がいて、その後ろには、大型ディスプレイ３が設置される。被写体は、イベント会場全体の風景となる。
【００２６】
位置Ｐ１乃至Ｐ３は映像の撮影位置である。位置Ｐ１乃至Ｐ３には、それぞれ、水平方向と垂直方向のうちの少なくとも一方の画角が３６０度の映像を撮影可能なカメラが設置される。撮影範囲の異なる複数のカメラがそれぞれの撮影位置に設置され、それらのカメラによって撮影された映像が合成されることによって、位置Ｐ１乃至Ｐ３を撮影位置とする３６０度の画角を有する映像が生成されるようにしてもよい。
【００２７】
白抜き矢印Ａ１乃至Ａ３は、位置Ｐ１乃至Ｐ３のぞれぞれの位置における基準の方向を表す。図２の例においてはステージ＃１の方向が基準の方向になっている。
【００２８】
図３は、位置Ｐ１乃至Ｐ３で撮影される映像の画角の例を示す図である。
【００２９】
位置Ｐ１乃至Ｐ３において例えば広角レンズを真上に向けて撮影が行われた場合、図３に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の映像が撮影される。図３の画角は、水平方向に３６０度、垂直方向に１８０度の画角となる。
【００３０】
図４に示すように、水平方向と垂直方向の両方の画角が３６０度となる全天球状の範囲の映像が位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影されるようにしてもよい。ここで、全天球状の範囲の映像は、正距円筒図法を用いて、緯度・経度で表現する場合、水平方向３６０度、垂直方向１８０度と表現することもあるが、ここでは、図３の半天球状の範囲と区別するために、水平方向と垂直方向の両方の画角が３６０度としている。
【００３１】
以下、説明の便宜上、位置Ｐ１乃至Ｐ３において撮影される映像が、図３に示す半天球状の範囲の映像である場合について説明する。
【００３２】
図５のＡ乃至Ｃは、位置Ｐ１乃至Ｐ３で撮影される映像の例を示す図である。
【００３３】
図５のＡ乃至Ｃの半天球は、位置Ｐ１乃至Ｐ３のそれぞれにおいて撮影された動画の１フレームの映像全体を表す。
【００３４】
図５のＡに示すように、位置Ｐ１においては、白抜き矢印Ａ１で示すステージ＃１の方向に人物Ｈ１が大きく映り、人物Ｈ１の右側に、人物Ｈ２が人物Ｈ１より小さく映る動画が撮影される。人物Ｈ２の右側には人物Ｈ３がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３５】
図５のＢに示すように、位置Ｐ２においては、白抜き矢印Ａ２で示すステージ＃１の方向に人物Ｈ３が大きく映り、人物Ｈ３の左側に、人物Ｈ２が人物Ｈ３より小さく映る動画が撮影される。人物Ｈ２の左側には人物Ｈ１がさらに小さく映ることになる。ステージ＃１の反対の方向には、ステージ＃１の方向を向いている観客が映る。
【００３６】
図５のＣに示すように、位置Ｐ３においては、白抜き矢印Ａ３で示す方向の奥側にステージ＃１全体が写り、その手前に、ステージ＃１の方向を向いている観客の後ろ姿が映る動画が撮影される。図示は省略しているが、観客の反対側には大型ディスプレイ３が映る。
【００３７】
図６は、位置Ｐ１における視野の例を示す図である。
【００３８】
図６の球面上に破線で示す枠Ｆ１の範囲が、例えばHMD２１の表示範囲、すなわちHMD２１のユーザの視野を示す。HMD２１においては、枠Ｆ１で示す範囲内の画像が各フレームから切り出され、動画として表示される。
【００３９】
ユーザが頭を動かすことに応じて矢印で示すように枠Ｆ１が移動し、HMD２１のディスプレイに表示される範囲も切り替わる。視野の範囲を表す枠の形状と大きさが、各クライアント端末が有するディスプレイの縦横比と視野角に応じて変わることになる。ユーザの視野は、位置Ｐ１の撮影空間上における位置（座標）、基準の方向に対する枠Ｆ１の方向、および、枠Ｆ１の画角により特定される。
【００４０】
なお、ここでは、視点の数が３つであるものとして説明しているが、視点の数は１つであってもよいし、４つ以上であってもよい。配信サーバ１１が配信するライブコンテンツには、１つ、または複数の視点から撮影した映像のビデオストリームが含まれる。ユーザが選択した視点に応じて、クライアント端末において再生されるビデオストリームが切り替えられる。
【００４１】
また、複数の位置から撮影された映像を合成することによって生成された完全自由視点のコンテンツが配信サーバ１１から配信されるようにしてもよい。完全自由視点のコンテンツは、撮影空間の任意の位置を視点として選択することが可能なコンテンツである。
【００４２】
図１の説明に戻り、HMD２１乃至２４は、配信サーバ１１から送信されてきたライブコンテンツを再生する。イベント会場にいる観客が見ている風景とほぼ同じ風景を、ライブコンテンツの提供を受けたHMD２１乃至２４のユーザも見ることができる。
【００４３】
HMD２１乃至２４は、ライブコンテンツを再生し、ユーザにより選択された視点の映像を、内蔵するディスプレイに表示させる。HMD２１乃至２４はいわゆる没入型のHMDであり、本体を装着したユーザの目の前に映像を映し出す。
【００４４】
HMD２１乃至２４は、ライブコンテンツの再生中、ユーザの頭部の姿勢を検出し、頭部の姿勢に応じて映像の表示範囲を切り替える。図６を参照して説明したように、HMD２１乃至２４は、例えばユーザが顔を右に向けたとき、視点の位置をそのままに映像の表示範囲を右方向に移動させ、左に向けたとき、視点の位置をそのままに映像の表示範囲を左方向に移動させる。
【００４５】
また、HMD２１乃至２４は、ライブコンテンツの再生中、加速度センサや角速度センサからの出力に基づいてユーザの動きを検出する。例えば、ユーザが頭を上下に振っている程度、体を揺らしている程度、ユーザが腕を上げているか否か、などの複数種類のユーザの動きを検出する。
【００４６】
HMD２１乃至２４は、ライブコンテンツ視聴中のユーザの動きを表す動き情報を、ユーザの属性を表す情報とともに集計サーバ１２に送信する。動き情報には、ユーザが体に装着しているセンサにより検出された、ライブコンテンツ視聴中のユーザの脈拍、心拍数、体温などの生体情報も付加される。後述するように、ユーザの属性には、地方単位などのユーザの粗い位置の情報が含まれる。
【００４７】
ライブコンテンツ視聴中のユーザの動きは、ユーザの盛り上がりの程度を表しているといえる。このように、図１の情報処理システムにおいては、ユーザの盛り上がりの程度が、ボタンを操作するなどの能動的な動作をユーザに行わせることなく、自然な形で取得されることになる。
【００４８】
集計サーバ１２は、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信し、例えばイベント会場にいる演者により指定された集計方法に従って盛り上がり度を集計する。例えば、動きに基づく盛り上がり度の求め方、盛り上がり情報を可視化するときの各盛り上がり度の情報の配置の仕方などの条件が、集計方法として指定される。
【００４９】
集計サーバ１２は、HMD２１乃至２４のユーザの動き情報に基づいて、HMD２１乃至２４のユーザ、すなわち遠隔にいる観客の盛り上がり度を求める。
【００５０】
集計サーバ１２は、遠隔にいる観客全員の盛り上がり度を可視化したヒートマップ画像を生成し、ヒートマップ画像のデータをイベント会場に設置された表示制御装置２に送信する。ヒートマップ画像は、それぞれのユーザの盛り上がり度を視覚的に表す情報を、それぞれのユーザの属性に応じた位置に配置することによって構成される画像である。
【００５１】
表示制御装置２は、集計サーバ１２から送信されてきたデータを受信し、ヒートマップ画像を大型ディスプレイ３に表示させる。
【００５２】
図７は、ヒートマップ画像の例を示す図である。
【００５３】
図７の例においては、遠隔にいるそれぞれの観客の盛り上がり度が色によって表される。例えば、「頭の動きの激しさ」に基づいて盛り上がり度を求めることが演者により指定されている場合、より頭の動きが激しい観客に対して高い盛り上がり度が設定され、彩度と明度がより高い色が割り当てられる。
【００５４】
図７のヒートマップ画像は、それぞれの観客の盛り上がりを表す所定の色の画像を、それぞれの観客の属性としての所在地情報に応じた位置に配置することによって構成される画像である。
【００５５】
例えば、図７の領域Ａ１は、日本の関東地方でライブコンテンツを視聴している観客であるHMD２１のユーザに割り当てられた領域である。領域Ａ１の色は、HMD２１のユーザの盛り上がり度を表す。また、領域Ａ１に近い領域Ａ２は、同じく関東地方でライブコンテンツを視聴している観客であるHMD２２のユーザに割り当てられた領域である。領域Ａ２の色は、HMD２２のユーザの盛り上がり度を表す。
【００５６】
また、下方に形成された領域Ａ３は、日本の九州地方でライブコンテンツを視聴している観客であるHMD２３のユーザに割り当てられた領域である。領域Ａ３の色は、HMD２３のユーザの盛り上がり度を表す。また、右上に形成された領域Ａ４は、日本の北海道地方でライブコンテンツを視聴している観客であるHMD２４のユーザに割り当てられた領域である。領域Ａ４の色は、HMD２４のユーザの盛り上がり度を表す。
【００５７】
各ユーザに割り当てられる領域は、大型ディスプレイ３の１画素であってもよいし、複数画素からなる領域であってもよい。また、領域の形状は、正方形だけでなく、円形などの任意の形状とすることが可能である。
【００５８】
このように、遠隔にいる観客の盛り上がり度を表す情報が表示されるため、イベント会場にいる演者は、遠隔にいる観客の盛り上がりを実感することができ、モチベーションを向上させることが可能になる。
【００５９】
また、遠隔にいる観客の盛り上がりを表す情報が各観客の属性に応じた位置に配置して表示されるため、演者は、どの属性の観客が盛り上がっているのか、どの属性の観客が盛り上がっていないのかを直観的に確認することができる。図７の例の場合、演者は、日本のどの地方のユーザが盛り上がっているのかを直観的に確認することができる。
【００６０】
また、演者は、どのような動きに基づいて盛り上がり度を求めるのかを指定することができるため、所定の動きを遠隔にいる観客に要求し、その要求にどの程度反応してくれているのかを確認することができる。演者は、例えば体を揺らすような動きを地域毎の観客に順にアドリブで要求したりすることができ、このような双方向のやりとりを通して、遠隔にいる観客との一体感を得ることができる。
【００６１】
また、イベント会場にいる観客は、遠隔にいる観客と盛り上がりを共有することができる。
【００６２】
一方、遠隔にいる観客は、視線を変えるなどしてライブコンテンツ内の大型ディスプレイ３の表示を見ることにより、自分を含む、遠隔にいる観客の盛り上がりを確認することができる。また、自分達の盛り上りがイベント会場にいる演者や観客に伝えられていることを確認することにより、遠隔にいる観客は、臨場感のある体験を得ることができる。
【００６３】
なお、ヒートマップ画像のデータは、集計サーバ１２から、適宜、HMD２１乃至２４に対しても送信される。HMD２１乃至２４においては、ライブコンテンツの映像に重ねて、ヒートマップ画像が表示される。
【００６４】
以上のようにしてヒートマップ画像を表示する一連の処理については後述する。
【００６５】
＜各機器の構成＞
・HMDの構成
図８は、HMD２１の構成例を示すブロック図である。
【００６６】
HMD２１は、制御部５１に対して、通信部５２、センサ５３、ディスプレイ５４、操作部５５、スピーカ５６、および記憶部５７が接続されることによって構成される。
【００６７】
制御部５１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。制御部５１は、所定のプログラムを実行し、HMD２１の全体の動作を制御する。
【００６８】
通信部５２は、配信サーバ１１、集計サーバ１２との間で例えば無線により通信を行う。通信部５２は、配信サーバ１１から送信されてきたライブコンテンツを受信し、制御部５１に出力する。また、通信部５２は、制御部５１から供給された動き情報とユーザ属性情報を集計サーバ１２に送信する。
【００６９】
センサ５３は、GPS(Global Positioning System)センサ、角速度センサ、加速度センサなどにより構成される。センサ５３は、ライブコンテンツの再生中、測位や、角速度、加速度の検出を行い、センサデータを制御部５１に出力する。
【００７０】
ディスプレイ５４は、LCDや有機ELディスプレイなどにより構成され、制御部５１による制御に従ってライブコンテンツの映像を表示する。
【００７１】
操作部５５は、HMD２１の筐体表面に設けられた操作ボタンなどにより構成される。ライブコンテンツの選択、視点の選択などが操作部５５を用いて行われる。
【００７２】
スピーカ５６は、ライブコンテンツの再生中、制御部５１から供給された、ライブコンテンツに含まれるオーディオデータに基づいて音声を出力する。
【００７３】
記憶部５７は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。
【００７４】
HMD２２乃至２４も、HMD２１の構成と同じ構成を有する。以下、適宜、図８の構成を、HMD２２乃至２４の構成として引用して説明する。
【００７５】
図９は、制御部５１の構成例を示すブロック図である。
【００７６】
図９に示す機能部のうちの少なくとも一部は、制御部５１のCPUにより所定のプログラムが実行されることによって実現される。図９に示すように、制御部５１においては、ライブコンテンツ受信部９１、再生部９２、表示制御部９３、動き検出部９４、動き情報送信部９５、および属性情報管理部９６が実現される。センサ５３から出力されたセンサデータは表示制御部９３と動き検出部９４に入力される。
【００７７】
ライブコンテンツ受信部９１は、通信部５２を制御し、配信サーバ１１から送信されてきたライブコンテンツを受信する。ライブコンテンツ受信部９１は、受信したライブコンテンツを再生部９２に出力する。
【００７８】
再生部９２は、ライブコンテンツ受信部９１から供給されたライブコンテンツを再生する。再生部９２は、例えば、ライブコンテンツに含まれる、ユーザにより選択された視点の映像のビデオストリームをデコードし、デコードして得られたデータを表示制御部９３に出力する。
【００７９】
表示制御部９３は、再生部９２から供給されたデータに基づいて、ライブコンテンツの所定の視野の映像をディスプレイ５４に表示させる。また、表示制御部９３は、ライブコンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの視野を特定し、映像の表示範囲を切り替える。ユーザの視野を表す情報は、属性情報管理部９６に供給される。
【００８０】
動き検出部９４は、ライブコンテンツの再生中、角速度、加速度などのセンサデータに基づいてユーザの複数種類の動きを検出する。動き検出部９４は、検出した動きを表す動き情報を動き情報送信部９５に出力する。動き情報に対しては、脈拍、心拍数、体温などの生体情報が付加される。
【００８１】
動き情報送信部９５は、通信部５２を制御し、動き検出部９４から供給された動き情報と、属性情報管理部９６から読み出したユーザ属性情報を集計サーバ１２に送信する。動き情報とユーザ属性情報の送信は、例えば、ライブコンテンツの再生中、繰り返し行われる。
【００８２】
属性情報管理部９６は、ユーザ属性情報を管理し、適宜、動き情報送信部９５に出力する。
【００８３】
図１０は、ユーザ属性情報に含まれる情報の例を示す図である。
【００８４】
ユーザ属性情報には、所在地情報、お気に入り情報、および視野情報が含まれる。
【００８５】
所在地情報は、地方単位などの、粗い所在地を表す情報である。所在地情報は、センサ５３を構成するGPSセンサによる測位結果に基づいて取得されるようにしてもよいし、ユーザにより入力されるようにしてもよい。
【００８６】
お気に入り情報は、ユーザが視聴しているライブコンテンツに映るお気に入りの人物を表す情報である。お気に入り情報は、ライブコンテンツの視聴開始時に演者の一覧から選択されるようにしてもよいし、ユーザの視野に基づいて属性情報管理部９６により特定されるようにしてもよい。この場合、属性情報管理部９６は、例えば、ユーザの視野に映っている時間、映っている位置などを演者毎に特定し、ユーザの視野により長い時間映っている演者であり、視野の中心に近い位置に映っている演者を、ユーザのお気に入りの人物として特定する。
【００８７】
視野情報は、角速度、加速度などのセンサデータに基づいて特定したユーザの視野を表す情報である。上述したように、ユーザの視野は、視点の位置、視線の方向、およびディスプレイ５４の画角により特定される。視野情報により、イベント会場のどこを見ているのかが特定される。
【００８８】
ユーザ属性情報として、ユーザの出身国、趣味、専門分野、性別、ユーザIDなどの各種の情報うちの少なくともいずれかが含まれるようにすることが可能である。ユーザ属性情報には、複数種類の情報のうちの少なくともいずれかが含まれる。
【００８９】
・サーバの構成
図１１は、集計サーバ１２の構成例を示すブロック図である。
【００９０】
CPU１０１、ROM１０２、RAM１０３は、バス１０４により相互に接続される。バス１０４には、さらに、入出力インタフェース１０５が接続される。入出力インタフェース１０５には、ディスプレイ１０６と入力部１０７が接続される。入力部１０７は、キーボード、マウスなどであり、集計サーバ１２の管理者により用いられる。
【００９１】
また、入出力インタフェース１０５には、ハードディスクや不揮発性のメモリなどよりなる記録部１０８、ネットワークインタフェースであり、ネットワークを介して他の機器と通信を行う通信部１０９が接続される。入出力インタフェース１０５には、リムーバブルメディア１１１を駆動するドライブ１１０も接続される。
【００９２】
図１２は、集計サーバ１２の機能構成例を示すブロック図である。
【００９３】
図１２に示す機能部のうちの少なくとも一部は、CPU１０１により所定のプログラムが実行されることによって実現される。図１２に示すように、集計サーバ１２においては、動き情報受信部１２１、動き情報記録部１２２、盛り上がり集計部１２３、指定情報受信部１２４、およびヒートマップ画像送信部１２５が実現される。
【００９４】
動き情報受信部１２１は、通信部１０９を制御し、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信する。動き情報受信部１２１は、受信した動き情報とユーザ属性情報を動き情報記録部１２２に記録させる。
【００９５】
動き情報記録部１２２は、動き情報とユーザ属性情報を記録する。動き情報記録部１２２に記録された動き情報とユーザ属性情報は盛り上がり集計部１２３により適宜読み出される。
【００９６】
盛り上がり集計部１２３は、動き情報とユーザ属性情報を動き情報記録部１２２から読み出し、イベント会場にいる演者により指定された集計方法に従って、遠隔にいる観客の盛り上がり度を集計する。動き情報に付加されている生体情報も、適宜、盛り上がり度を求めることに用いられる。
【００９７】
上述したように、動きに基づく盛り上がり度の求め方、盛り上がり情報を可視化するときの各盛り上がり度の情報の配置の仕方などが演者により指定される。演者により指定された集計方法が、指定情報受信部１２４から供給された集計方法指定情報により表される。
【００９８】
盛り上がり集計部１２３は、例えば、頭を激しく振っているかどうかを基準として盛り上がり度を求めることが指定されている場合、動き情報により表される、頭を上下に振っている程度に基づいて、それぞれのユーザの盛り上がり度を求める。
【００９９】
また、盛り上がり集計部１２３は、リズムにのっているかどうかを基準として盛り上がり度を求めることが指定されている場合、動き情報により表される、体を揺らしている程度に基づいて、それぞれのユーザの盛り上がり度を求める。
【０１００】
具体的には、盛り上がり集計部１２３は、ユーザの頭部の動きや体の動きを表す情報に対してフーリエ変換やウェーブレット変換を施して周波数変換を行う。盛り上がり集計部１２３は、周波数変換を行うことによって得られた値と、生体情報により表される心拍数、体温などの値に対して、恒等関数、ステップ関数、シグモイド関数などの所定の関数を用いた演算を施すことによってそれぞれのユーザの盛り上がり度を求める。
【０１０１】
盛り上がり集計部１２３は、このようにして求めた各ユーザの盛り上がり度を視覚的に表す情報を、ユーザ属性情報を参照して、イベント会場にいる演者により指定された方法で配置することによってヒートマップ画像を生成する。
【０１０２】
例えば、盛り上がり集計部１２３は、同じ地域のユーザの盛り上がり度毎にグルーピングし、ヒートマップ画像上にまとめて配置する。それぞれのユーザがどこの地域にいるのかが、ユーザ属性情報に含まれる所在地情報により表される。
【０１０３】
盛り上がり集計部１２３は、このようにして遠隔にいる観客の盛り上がり情報を可視化し、ヒートマップ画像のデータをヒートマップ画像送信部１２５に出力する。
【０１０４】
指定情報受信部１２４は、通信部１０９を制御し、表示制御装置２から送信されてきた集計方法指定情報を受信する。指定情報受信部１２４は、受信した集計方法指定情報を盛り上がり集計部１２３に出力する。
【０１０５】
ヒートマップ画像送信部１２５は、通信部１０９を制御し、盛り上がり集計部１２３から供給されたヒートマップ画像のデータを表示制御装置２に送信する。ヒートマップ画像送信部１２５は、適宜、ヒートマップ画像のデータをHMD２１乃至２４に対しても送信する。
【０１０６】
なお、図１１に示す集計サーバ１２の構成と同じ構成を配信サーバ１１も有している。
適宜、図１１に示す構成を配信サーバ１１の構成として引用して説明する。
【０１０７】
図１３は、配信サーバ１１の機能構成例を示すブロック図である。
【０１０８】
図１３に示す機能部のうちの少なくとも一部は、配信サーバ１１のCPU１０１（図１１）により所定のプログラムが実行されることによって実現される。図１３に示すように、配信サーバ１１においては、動画取得部１３１、ライブコンテンツ生成部１３２、および配信部１３３が実現される。
【０１０９】
動画取得部１３１は、通信部１０９を制御し、撮影制御装置１から送信されてきた各視点の動画を受信する。動画取得部１３１は、受信した動画のデータをライブコンテンツ生成部１３２に出力する。
【０１１０】
ライブコンテンツ生成部１３２は、動画取得部１３１から供給された動画のデータに基づいて配信用のライブコンテンツを生成し、配信部１３３に出力する。
【０１１１】
配信部１３３は、通信部１０９を制御し、ライブコンテンツ生成部１３２により生成されたライブコンテンツをHMD２１乃至２４に配信する。
【０１１２】
・表示制御装置の構成
図１４は、表示制御装置２の構成例を示すブロック図である。
【０１１３】
CPU１４１、ROM１４２、RAM１４３は、バス１４４により相互に接続される。バス１４４には、さらに、入出力インタフェース１４５が接続される。入出力インタフェース１４５には、大型ディスプレイ３が接続される。また、入出力インタフェース１４５には、表示制御装置２の管理者により操作されるキーボード、マウスなどの入力部１４６が接続される。
【０１１４】
入出力インタフェース１４５には、ハードディスクや不揮発性のメモリなどよりなる記録部１４７、ネットワークを介して他の機器と通信を行う通信部１４８も接続される。
【０１１５】
図１５は、表示制御装置２の機能構成例を示すブロック図である。
【０１１６】
図１５に示す機能部のうちの少なくとも一部は、CPU１４１により所定のプログラムが実行されることによって実現される。図１５に示すように、表示制御装置２においては、ヒートマップ画像受信部１６１、表示制御部１６２、集計方法取得部１６３、および指定情報送信部１６４が実現される。
【０１１７】
ヒートマップ画像受信部１６１は、通信部１４８を制御し、集計サーバ１２から送信されてきたヒートマップ画像のデータを受信する。ヒートマップ画像受信部１６１は、ヒートマップ画像のデータを表示制御部１６２に出力する。
【０１１８】
表示制御部１６２は、ヒートマップ画像受信部１６１から供給されたデータに基づいて、ヒートマップ画像を大型ディスプレイ３に表示させる。
【０１１９】
集計方法取得部１６３は、通信部１４８を制御し、例えば演者が持つ携帯端末と通信を行う。集計方法取得部１６３は、携帯端末から送信されてきた、遠隔にいるユーザの盛り上がり度の集計方法を指定する集計方法指定情報を受信する。集計方法取得部１６３は、受信した集計方法指定情報を指定情報送信部１６４に出力する。集計方法の指定が、演者により行われるのではなく、コンサートの運営者により行われるようにしてもよい。
【０１２０】
指定情報送信部１６４は、通信部１４８を制御し、集計方法取得部１６３から供給された集計方法指定情報を集計サーバ１２に送信する。
【０１２１】
＜各機器の動作＞
ここで、以上のような構成を有する各機器の動作について説明する。
【０１２２】
はじめに、図１６のフローチャートを参照して、ライブコンテンツを配信する配信サーバ１１の処理について説明する。
【０１２３】
図１６の処理は、イベント会場においてコンサートが開始され、撮影制御装置１からイベント会場の動画が送信されてきたときに開始される。
【０１２４】
ステップＳ１において、動画取得部１３１は、撮影制御装置１から送信されてきた各視点の動画を受信する。
【０１２５】
ステップＳ２において、ライブコンテンツ生成部１３２は、動画取得部１３１により受信された動画に基づいて配信用のライブコンテンツを生成する。
【０１２６】
ステップＳ３において、配信部１３３は、ライブコンテンツ生成部１３２により生成されたライブコンテンツをHMD２１乃至２４に配信する。ライブコンテンツの配信が終了したとき、配信部１３３は処理を終了させる。
【０１２７】
次に、図１７のフローチャートを参照して、ライブコンテンツを再生するクライアント端末の処理について説明する。ここでは、HMD２１が処理を行うものとして説明するが、HMD２２乃至２４においても同様の処理が行われる。
【０１２８】
ステップＳ１１において、ライブコンテンツ受信部９１は、配信サーバ１１から送信されてきたライブコンテンツを受信する。
【０１２９】
ステップＳ１２において、再生部９２は、ライブコンテンツ受信部９１により受信されたライブコンテンツを再生する。
【０１３０】
ステップＳ１３において、表示制御部９３は、所定の視点の映像のビデオストリームがデコードされることによって得られたデータに基づいて、ユーザの視野に応じた映像をディスプレイ５４に表示させる。また、表示制御部９３は、センサデータに基づいてユーザの視野を特定し、映像の表示範囲を切り替える。ユーザの視野を表す視野情報は、ユーザ属性情報に含めて属性情報管理部９６により管理される。
【０１３１】
ステップＳ１４において、動き検出部９４は、センサデータに基づいてユーザの複数種類の動きを検出する。
【０１３２】
ステップＳ１５において、動き情報送信部９５は、動き検出部９４により検出されたユーザの動きを表す動き情報に生体情報を付加し、属性情報管理部９６から読み出したユーザ属性情報とともに集計サーバ１２に送信する。
【０１３３】
ステップＳ１６において、再生部９２は、再生終了か否かを判定する。再生終了ではないとステップＳ１６において判定した場合、ステップＳ１１に戻り、それ以降の処理が行われる。
【０１３４】
一方、ライブコンテンツを最後まで再生したことなどから、再生終了であるとステップＳ１６において判定した場合、再生部９２は処理を終了させる。
【０１３５】
次に、図１８のフローチャートを参照して、遠隔にいる観客の盛り上がりを集計する集計サーバ１２の処理について説明する。
【０１３６】
ステップＳ２１において、動き情報受信部１２１は、HMD２１乃至２４から送信されてきた動き情報とユーザ属性情報を受信する。
【０１３７】
ステップＳ２２において、動き情報記録部１２２は、動き情報とユーザ属性情報を対応付けて記録する。
【０１３８】
ステップＳ２３において、指定情報受信部１２４は、表示制御装置２から送信されてきた集計方法指定情報を受信する。
【０１３９】
ステップＳ２４において、盛り上がり集計部１２３は、演者により指定された集計方法に従って、遠隔にいる観客の盛り上がり度を集計し、ヒートマップ画像を生成する。
【０１４０】
ステップＳ２５において、ヒートマップ画像送信部１２５は、ヒートマップ画像のデータを表示制御装置２に送信する。
【０１４１】
ステップＳ２６において、ヒートマップ画像送信部１２５は、ヒートマップ画像のデータをHMD２１乃至２４に送信し、処理を終了させる。
【０１４２】
例えば、集計方法が演者により指定される毎に図１８の処理が行われ、ヒートマップ画像が表示制御装置２に送信される。演者は、集計方法を指定する毎に、ヒートマップ画像の表示を切り替えることができる。
【０１４３】
次に、図１９のフローチャートを参照し、ヒートマップ画像を表示する表示制御装置２の処理について説明する。
【０１４４】
ステップＳ４１において、集計方法取得部１６３は、演者が持つ携帯端末から送信されてきた集計方法指定情報を受信する。
【０１４５】
ステップＳ４２において、指定情報送信部１６４は、集計方法取得部１６３により受信された集計方法指定情報を集計サーバ１２に送信する。集計サーバ１２においては、図１８の処理が行われ、ヒートマップ画像のデータが表示制御装置２に対して送信されてくる。
【０１４６】
ステップＳ４３において、ヒートマップ画像受信部１６１は、ヒートマップ画像のデータが集計サーバ１２から送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
【０１４７】
ヒートマップ画像のデータが集計サーバ１２から送信されてきたとステップＳ４３において判定した場合、ステップＳ４４において、ヒートマップ画像受信部１６１は、ヒートマップ画像のデータを受信する。
【０１４８】
ステップＳ４５において、表示制御部１６２は、ヒートマップ画像受信部１６１により受信されたデータに基づいて、ヒートマップ画像を大型ディスプレイ３に表示させる。
【０１４９】
大型ディスプレイ３に表示されたヒートマップ画像を見ることにより、イベント会場にいる演者、観客と、遠隔にいる観客は、コンサートの雰囲気を共有することができる。
【０１５０】
次に、図２０のフローチャートを参照し、ヒートマップ画像を表示するクライアント端末としてのHMD２１の処理について説明する。
【０１５１】
図２０の処理は、例えばライブコンテンツの視聴中にヒートマップ画像を表示することが指示されたときに開始される。ヒートマップ画像の表示を指示するとき、盛り上がり度の集計方法がユーザにより指定される。
【０１５２】
このように、HMD２１乃至２４のユーザも、盛り上がり度の集計方法を指定することができる。HMD２１乃至２４のユーザが指定した集計方法に従って、図１８を参照して説明した処理が集計サーバ１２において行われ、ヒートマップ画像が例えばHMD２１に対して送信されてくる。
【０１５３】
ステップＳ５１において、通信部５２は、ユーザにより指定された集計方法を指定する集計方法指定情報を集計サーバ１２に送信する。
【０１５４】
ステップＳ５２において、通信部５２は、ヒートマップ画像のデータが集計サーバ１２から送信されてきたか否かを判定し、送信されてきたと判定するまで待機する。
【０１５５】
ヒートマップ画像のデータが集計サーバ１２から送信されてきたとステップＳ５２において判定した場合、ステップＳ５３において、通信部５２は、ヒートマップ画像のデータを受信する。ヒートマップ画像のデータは、図示せぬ経路を介して表示制御部９３に供給される。
【０１５６】
ステップＳ５４において、表示制御部９３は、ライブコンテンツの映像に重ねて、ヒートマップ画像をディスプレイ５４に表示させる。
【０１５７】
図２１は、ディスプレイ５４の表示例を示す図である。
【０１５８】
図２１の例においては、ライブコンテンツの映像に重ねて、ディスプレイ５４の右上にヒートマップ画像Ｐが表示されている。HMD２１のユーザは、自身が指定した集計方法で生成されたヒートマップ画像を見て、遠隔にいる観客の盛り上がり度を確認することができる。
【０１５９】
以上の一連の処理により、集計サーバ１２は、ライブコンテンツを視聴しているユーザに能動的な操作を行わせることなく、より自然な形で、遠隔にいる観客の盛り上がり情報を取得することができる。また、集計サーバ１２は、盛り上がり情報を可視化したヒートマップ画像をイベント会場に送信し、大型ディスプレイ３に表示させることによって、遠隔にいる観客の盛り上がり度を、より見やすい形で演者と観客に提示することができる。
【０１６０】
＜ヒートマップ画像の例＞
以上のように、演者は、集計方法を指定することにより、ヒートマップ画像の表示を切り替えることができる。
【０１６１】
図２２は、ヒートマップ画像の他の例を示す図である。
【０１６２】
図２２のヒートマップ画像は、盛り上がり度を表す色の濃淡を、盛り上がり度の高い順に中心から外側に向けて配置することによって構成される画像である。盛り上がり度は、例えば「頭の動きの激しさ」に基づいて求められる。
【０１６３】
演者は、例えば集計方法を指定することによって、図７のヒートマップ画像を図２２の表示に変えることができる。
【０１６４】
色の濃淡を、それぞれのユーザの属性としてのユーザIDに応じた位置に配置するようにしてもよい。
【０１６５】
また、日本国内の地域毎ではなく、盛り上がり度を表す情報が、図２３に示すようにユーザの出身国毎にまとめて配置して表示されるようにしてもよい。
【０１６６】
図２３の例においては、属性により表される米国出身のユーザの盛り上がり度を表す情報は大型ディスプレイ３の左上の領域に配置される。また、インド出身のユーザの盛り上がり度を表す情報は大型ディスプレイ３の左下の領域に配置される。
【０１６７】
このように、演者は、各ユーザの盛り上がり度を表す情報の配置方法として、様々な方法を指定することができる。
【０１６８】
例えば、好みの演者が共通するユーザの盛り上がり度を表す情報をまとめて配置することも可能である。
【０１６９】
演者として人物Ｈ１，Ｈ２，Ｈ３がいる場合、人物Ｈ１を好きなユーザの盛り上がり度を表す情報、人物Ｈ２を好きなユーザの盛り上がり度を表す情報、および人物Ｈ３を好きなユーザの盛り上がり度を表す情報は、それぞれまとめて所定の領域に表示される。それぞれのユーザがどの演者のことが好みであるのかは、ユーザ属性情報に含まれるお気に入り情報により表される。
【０１７０】
これにより、それぞれの演者は、自分のファンの盛り上がり度を確認することができる。
【０１７１】
また、見ている範囲が共通するユーザの盛り上がり度を表す情報をまとめて配置することも可能である。
【０１７２】
演者として人物Ｈ１，Ｈ２，Ｈ３がいる場合、人物Ｈ１を見ているユーザの盛り上がり度を表す情報、人物Ｈ２を見ているユーザの盛り上がり度を表す情報、および人物Ｈ３を見ているユーザの盛り上がり度を表す情報は、それぞれまとめて所定の領域に表示される。それぞれのユーザがどこを見ているのかは、ユーザ属性情報に含まれる視野情報により表される。
【０１７３】
図２４は、ヒートマップ画像の表示の切り替えの例を示す図である。
【０１７４】
図２４の左側に示すヒートマップ画像は、図７を参照して説明したヒートマップ画像と同じ画像である。例えば、領域Ａ１１を演者が選択し、盛り上がり度の拡大を指定した場合、表示制御装置２は、図２４の右側に示すように、領域Ａ１１に割り当てられたユーザの盛り上がり度を表す情報を拡大して表示させる。
【０１７５】
表示制御装置２は、ユーザの盛り上がり度を視覚的に表す情報として、例えば人型のアイコンを表示させる。人型のアイコンは、盛り上がり度に応じた色で表示される。
【０１７６】
このように、多くの観客の盛り上がり度を一括して表示する場合には、大型ディスプレイ３全体における１人あたりに割り当てられる領域は相対的に狭くなる。反対に、少ない観客の盛り上がり度を表示する場合には、１人あたりに割り当てられる領域は相対的に広くなり、このとき、盛り上がり度の表現の仕方を変えることが可能になる。このように、盛り上がり度を表す情報は、視覚的に確認できる情報であればどのような情報であってもよい。
【０１７７】
演者は、自身が持つ携帯端末を操作することによって、盛り上がり度を表示する領域を選択し、盛り上がり度を表す情報を拡大して表示させたり、縮小して表示させたりすることができる。
【０１７８】
＜変形例＞
以上においては、クライアント端末としてHMDを用いた例について説明したが、スマートフォン、タブレット端末などの、ディスプレイを有する各種の機器をクライアント端末として用いることも可能である。
【０１７９】
クライアント端末としてのスマートフォンやタブレット端末は、ライブコンテンツの再生中、自身が搭載する加速度センサ、角速度センサからのセンサデータに基づいてユーザの視野を検出し、映像の表示範囲を切り替える。また、スマートフォンやタブレット端末は、ユーザの動きを、カメラで撮影したユーザの画像を解析することによって、または、センサデータに基づいて検出し、動き情報を集計サーバ１２に送信する。
【０１８０】
また、スマートフォンやタブレット端末は、ディスプレイ表面を繰り返しこする動作、ディスプレイに表示されたボタンを繰り返し押す動作などの各種の動作に基づいて、ユーザの動きを検出することも可能である。スマートフォンやタブレット端末のディスプレイにはタッチパネルが重ねて設けられており、ディスプレイに対するユーザの操作を検出することが可能である。
【０１８１】
・コンテンツの例
以上においては、コンサートの様子を撮影した映像をライブコンテンツとして配信する場合について説明したが、講義の様子を撮影した映像を配信することも可能である。
【０１８２】
この場合、HMD２１乃至２４は、ライブコンテンツの再生中、センサデータに基づいて、例えば受講生としてのユーザが居眠りをしているか否かを検出し、動き情報としてユーザ属性情報とともに集計サーバ１２に送信する。集計サーバ１２は、居眠りをしているユーザを特定し、どの属性のユーザが寝ているのかを表すマップ画像を生成して表示制御装置２に送信する。表示制御装置２は、マップ画像を大型ディスプレイ３に表示させる。
【０１８３】
これにより、講義の教師としての人物は、どの属性のユーザが寝ているのかを容易に確認することができる。
【０１８４】
このように、上述した技術は各種の動画のリアルタイム配信に適用することが可能である。
【０１８５】
また、以上においては、配信されるコンテンツが自由視点コンテンツであるものとしたが、視点や視野を変えることのできない通常の動画のコンテンツが配信されるようにしてもよい。
【０１８６】
・HMDの形態について
HMD２１乃至２４が没入型のHMDであるものとして説明したが、いわゆるビデオシースルー型のHMDや光学シースルー型のHMDにも適用可能である。
【０１８７】
図２５は、HMDの形態の例を示す図である。
【０１８８】
ビデオシースルー型のHMDは、図２５のＢに示すように、本体を装着したユーザの目の前に映像を映し出す位置にディスプレイが設けられる点で没入型のHMDと同じであるものの、HMDの筐体にカメラが設けられており、カメラで撮影されたユーザの前方の風景の映像がディスプレイに表示される点で異なる。
【０１８９】
光学シースルー型のHMDは、図２５のＣに示すように、HMDを装着するユーザの目の前にハーフミラーが設けられ、前方の風景をユーザがハーフミラーを介して見ることができるHMDである。HMDのフレーム部分などに設けられた発光部から出力されたライブコンテンツの映像などの各種の情報の光は、ハーフミラーによって反射し、ユーザの目に導かれる。
ユーザは、目の前の風景に重ねて各種の情報を見ることができる。
【０１９０】
・プログラムについて
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、汎用のパーソナルコンピュータなどにインストールされる。
【０１９１】
インストールされるプログラムは、光ディスク（CD-ROM(Compact Disc-Read Only Memory)，DVD(Digital Versatile Disc)等）や半導体メモリなどよりなる図１１に示されるリムーバブルメディア１１１に記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。プログラムは、ROM１０２や記録部１０８に、あらかじめインストールしておくことができる。
【０１９２】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９３】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１９４】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９５】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９６】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９７】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９８】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１９９】
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
【０２００】
（１）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える情報処理装置。
【０２０１】
（２）
前記生成部は、前記ユーザの盛り上がり度に応じた色を前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記（１）に記載の情報処理装置。
【０２０２】
（３）
前記生成部は、前記ユーザの盛り上がり度に応じたアイコンを前記ユーザの属性に応じた位置に配置した前記盛り上がり画像を生成する
前記（１）に記載の情報処理装置。
【０２０３】
（４）
前記ユーザの属性は、前記ビデオコンテンツを視聴中の前記ユーザの位置、前記映像に映る複数の人物のうちの前記ユーザの好みの人物、および、前記表示範囲に相当する前記ユーザの視野のうちの少なくともいずれかである
前記（１）乃至（３）のいずれかに記載の情報処理装置。
【０２０４】
（５）
前記受信部は、前記表示制御装置から送信されてきた、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記生成部は、前記指定情報により表される求め方に従って、前記盛り上がり度を求めるとともに、前記指定情報により表される方法に従って、前記盛り上がり度を視覚的に表す前記情報を配置することによって前記盛り上がり画像を生成する
前記（１）乃至（４）のいずれかに記載の情報処理装置。
【０２０５】
（６）
前記盛り上がり度の求め方と前記盛り上がり度を視覚的に表す情報の配置の方法は、前記映像に映る人物により指定されたものである
前記（５）に記載の情報処理装置。
【０２０６】
（７）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む情報処理方法。
【０２０７】
（８）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信されてきた、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成し、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【０２０８】
（９）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える表示制御装置。
【０２０９】
（１０）
前記受信部は、前記映像に映る人物により指定された、前記動き情報に基づく前記盛り上がり度の求め方と、前記盛り上がり度を視覚的に表す情報の配置の方法を表す指定情報を受信し、
前記指定情報を前記情報処理装置に送信する送信部をさらに備える
前記（９）に記載の表示制御装置。
【０２１０】
（１１）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む表示制御方法。
【０２１１】
（１２）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信して再生する再生装置から送信された、前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報と、前記ユーザの属性を表す情報とを受信し、複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信し、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる
ステップを含む処理をコンピュータに実行させるプログラム。
【０２１２】
（１３）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置。
【０２１３】
（１４）
前記検出部は、前記ユーザの複数種類の動きを検出する
前記（１３）に記載の再生装置。
【０２１４】
（１５）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む再生方法。
【０２１５】
（１６）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信し、
前記ビデオコンテンツを再生し、
前記ユーザの動きを検出し、
前記ユーザの動きに応じた前記表示範囲の映像を表示し、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する
ステップを含む処理をコンピュータに実行させるプログラム。
【０２１６】
（１７）
撮影された映像全体の範囲内で、視聴者であるユーザの動きに追従して表示範囲が切り替わるリアルタイムのビデオコンテンツを受信する受信部と、
前記ビデオコンテンツを再生する再生部と、
前記ユーザの動きを検出する検出部と、
前記ユーザの動きに応じた前記表示範囲の映像を表示する表示部と、
前記ビデオコンテンツを視聴中の前記ユーザの動きを表す動き情報を、前記動き情報を集計する情報処理装置に対して前記ユーザの属性を表す情報とともに送信する送信部と
を備える再生装置と、
前記再生装置から送信されてきた、前記動き情報と前記ユーザの属性を表す情報とを受信する受信部と、
複数の前記再生装置から送信されてきた前記動き情報に基づいて求められるそれぞれの前記ユーザの盛り上がり度を視覚的に表す情報を、それぞれの前記ユーザの属性に応じた位置に配置することによって盛り上がり画像を生成する生成部と、
前記ビデオコンテンツの映像の撮影が行われている空間に設置された表示装置に前記盛り上がり画像を表示させる表示制御装置に対して、前記盛り上がり画像のデータを送信する送信部と
を備える前記情報処理装置と、
前記情報処理装置から送信されてきた、前記盛り上がり画像のデータを受信する受信部と、
前記盛り上がり画像のデータに基づいて、前記ビデオコンテンツの映像の撮影が行われている空間に設置された前記表示装置に前記盛り上がり画像を表示させる表示制御部と
を備える前記表示制御装置と
から構成される情報処理システム。
【符号の説明】
【０２１７】
１  撮影制御装置、  ２  表示制御装置、  ３  大型ディスプレイ、  １１  配信サーバ、  １２  集計サーバ、  ２１乃至２４  HMD、  １２１  動き情報受信部、  １２２  動き情報記録部、  １２３  盛り上がり集計部、  １２４  指定情報受信部、  １２５  ヒートマップ画像送信部
【図１】
2020156109.tif 000003
【図２】
2020156109.tif 000004
【図３】
2020156109.tif 000005
【図４】
2020156109.tif 000006
【図５】
2020156109.tif 000007
【図６】
2020156109.tif 000008
【図７】
2020156109.tif 000009
【図８】
2020156109.tif 000010
【図９】
2020156109.tif 000011
【図１０】
2020156109.tif 000012
【図１１】
2020156109.tif 000013
【図１２】
2020156109.tif 000014
【図１３】
2020156109.tif 000015
【図１４】
2020156109.tif 000016
【図１５】
2020156109.tif 000017
【図１６】
2020156109.tif 000018
【図１７】
2020156109.tif 000019
【図１８】
2020156109.tif 000020
【図１９】
2020156109.tif 000021
【図２０】
2020156109.tif 000022
【図２１】
2020156109.tif 000023
【図２２】
2020156109.tif 000024
【図２３】
2020156109.tif 000025
【図２４】
2020156109.tif 000026
【図２５】
2020156109.tif 000027