(57)【要約】  ライブストリーミングシステム１０は、ＨＭＤ１００を装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された複数のユーザに関する情報に応じて、複数のユーザが抱く感情の種類を識別する。ライブストリーミングシステム１０は、複数のユーザのうち特定のユーザのＨＭＤ１００に表示させる画像として、上記コンテンツと、複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成する。ライブストリーミングシステム１０は、複数のユーザが抱く感情の種類に応じて、複数のアバターの表示態様を変化させる。
2019234879.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された前記複数のユーザに関する情報に応じて、前記複数のユーザが抱く感情の種類を識別する識別部と、
前記複数のユーザのうち特定のユーザのヘッドマウントディスプレイに表示させる画像として、前記コンテンツと、前記複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成する生成部と、
を備え、
前記生成部は、前記識別部により識別された複数のユーザが抱く感情の種類に応じて、前記複数のアバターの表示態様を変化させることを特徴とする情報処理システム。
【請求項２】
前記コンテンツは、所定のイベントの画像であり、
前記生成部は、前記イベントの演者に提示する画像として、前記複数のユーザに対応する複数のアバターを、前記複数のユーザが抱く感情に応じた態様で示す画像をさらに生成することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記複数のユーザのうち或るユーザから送信されたメッセージを取得するメッセージ取得部と、
前記メッセージ取得部により取得されたメッセージを、前記複数のユーザのうち特定の種類の感情を抱くユーザへ配信するメッセージ配信部と、
をさらに備えることを特徴とする請求項１または２に記載の情報処理システム。
【請求項４】
前記生成部は、前記複数のユーザが特定の種類の感情を抱いている度合いを示す情報をさらに含む画像を生成することを特徴とする請求項１から３のいずれかに記載の情報処理システム。
【請求項５】
前記生成部は、所定人数以上のユーザが特定の種類の感情を抱く場合、所定の演出をさらに含む画像を生成することを特徴とする請求項１から４のいずれかに記載の情報処理システム。
【請求項６】
前記生成部は、特定の種類の感情を抱く１人以上のユーザに対応する１つ以上のアバターを、前記コンテンツにおける特定の領域に配置した画像を生成することを特徴とする請求項１から５のいずれかに記載の情報処理システム。
【請求項７】
前記特定の種類の感情を抱くユーザのアバターを第１アバターと呼ぶとき、
前記生成部は、前記特定の種類の感情と反対の感情を抱くユーザのアバターである第２アバターを前記第１アバターの近傍位置に配置した画像を生成することを特徴とする請求項６に記載の情報処理システム。
【請求項８】
所定の装置により検出された、所定のコンテンツを視聴するユーザに関する情報に応じて、前記ユーザが抱く感情の種類を識別する識別部と、
前記識別部により識別されたユーザが抱く感情が所定の条件を満たした場合、前記ユーザに提示する画像として、前記コンテンツと、所定の商品の販売を促進するための情報とを含む画像を生成する生成部と、
を備えることを特徴とする情報処理システム。
【請求項９】
過去にユーザが商品を購入した際のユーザの感情の種類に応じて、前記条件を更新する更新部をさらに備えることを特徴とする請求項８に記載の情報処理システム。
【請求項１０】
ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された前記複数のユーザに関する情報に応じて、前記複数のユーザが抱く感情の種類を識別する識別部と、
前記複数のユーザそれぞれが装着するヘッドマウントディスプレイの姿勢に応じて、前記コンテンツにおける前記複数のユーザそれぞれの視点を検出する検出部と、
前記コンテンツにおける複数の視点のそれぞれについて、各視点のユーザが抱いた感情の種類に関する情報を記録する記録部と、
を備えることを特徴とする情報処理システム。
【請求項１１】
ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された前記複数のユーザに関する情報に応じて、前記複数のユーザが抱く感情の種類を識別するステップと、
前記複数のユーザのうち特定のユーザのヘッドマウントディスプレイに表示させる画像として、前記コンテンツと、前記複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成するステップと、
を１つのコンピュータが実行し、または、複数のコンピュータが分散して実行し、
前記生成するステップは、前記複数のユーザが抱く感情の種類に応じて、前記複数のアバターの表示態様を変化させることを特徴とする情報処理方法。
【請求項１２】
ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された前記複数のユーザに関する情報に応じて、前記複数のユーザが抱く感情の種類を識別する機能と、
前記複数のユーザのうち特定のユーザのヘッドマウントディスプレイに表示させる画像として、前記コンテンツと、前記複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成する機能と、
をコンピュータに実現させ、
前記生成する機能は、前記複数のユーザが抱く感情の種類に応じて、前記複数のアバターの表示態様を変化させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データ処理技術に関し、特に情報処理システム、情報処理方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）に仮想現実（仮想空間とも言える、以下「ＶＲ」とも呼ぶ。）の画像を表示させ、ＨＭＤを装着したユーザが頭部を動かすと、視線方向の変化に応じたＶＲ画像をＨＭＤに表示させるシステムが開発されている。ＨＭＤを利用することで、仮想現実に対するユーザの没入感を高めることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１７／１１０６３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＨＭＤが普及しつつある中、ＨＭＤを装着してＶＲ画像を視聴するユーザに斬新な視聴体験を与えることが求められている。【０００５】
本発明はこうした課題に鑑みてなされたものであり、１つの目的は、ＨＭＤを使用するユーザに斬新な視聴体験を与えることを支援する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の情報処理システムは、ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された複数のユーザに関する情報に応じて、複数のユーザが抱く感情の種類を識別する識別部と、複数のユーザのうち特定のユーザのヘッドマウントディスプレイに表示させる画像として、コンテンツと、複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成する生成部と、を備える。生成部は、識別部により識別された複数のユーザが抱く感情の種類に応じて、複数のアバターの表示態様を変化させる。【０００７】
本発明の別の態様もまた、情報処理システムである。この情報処理システムは、所定の装置により検出された、所定のコンテンツを視聴するユーザに関する情報に応じて、ユーザが抱く感情の種類を識別する識別部と、識別部により識別されたユーザが抱く感情が所定の条件を満たした場合、ユーザに提示する画像として、コンテンツと、所定の商品の販売を促進するための情報とを含む画像を生成する生成部と、を備える。【０００８】
本発明のさらに別の態様もまた、情報処理システムである。この情報処理システムは、ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された複数のユーザに関する情報に応じて、複数のユーザが抱く感情の種類を識別する識別部と、複数のユーザそれぞれが装着するヘッドマウントディスプレイの姿勢に応じて、コンテンツにおける複数のユーザそれぞれの視点を検出する検出部と、コンテンツにおける複数の視点のそれぞれについて、各視点のユーザが抱いた感情の種類に関する情報を記録する記録部と、を備える。【０００９】
本発明のさらに別の態様は、情報処理方法である。この方法は、ヘッドマウントディスプレイを装着して同じコンテンツを視聴する複数のユーザについて、所定の装置により検出された複数のユーザに関する情報に応じて、複数のユーザが抱く感情の種類を識別するステップと、複数のユーザのうち特定のユーザのヘッドマウントディスプレイに表示させる画像として、コンテンツと、複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成するステップと、を１つのコンピュータが実行し、または、複数のコンピュータが分散して実行し、生成するステップは、複数のユーザが抱く感情の種類に応じて、複数のアバターの表示態様を変化させる。【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、ＨＭＤを使用するユーザに斬新な視聴体験を与えることを支援できる。
【図面の簡単な説明】
【００１２】
【図１】実施例のライブストリーミングシステムの構成を示す図である。
【図２】図１のＨＭＤの外観形状の例を示す図である。
【図３】図１のＨＭＤの機能ブロックを示すブロック図である。
【図４】図１のユーザ側処理装置の機能ブロックを示すブロック図である。
【図５】図１の画像配信装置の機能ブロックを示すブロック図である。
【図６】実施例におけるアバターを示す図である。
【図７】ユーザ用画像の例を示す図である。
【図８】図８（ａ）−（ｄ）は、ユーザ用画像の例を示す図である。
【図９】ユーザ用画像の例を示す図である。
【図１０】第１の演者用画像の例を示す図である。
【図１１】第２の演者用画像の例を示す図である。
【図１２】分析結果の例を示す図である。
【発明を実施するための形態】
【００１３】
実施例のシステムについて、その詳細な構成を説明する前に概要を説明する。ＨＭＤを装着したユーザに、現実のイベントのライブ配信画像を含むＶＲ画像を視聴させるアプリケーションが今後増加していくと考えられる。代表的なユースケースとして、スポーツ観戦や音楽ライブ（コンサート）の視聴等が挙げられる。
【００１４】
趣味や嗜好が似ている多数（例えば数万人規模）のユーザが、ＨＭＤを使用して、ライブ配信される同じイベント（スポーツやコンサート等）を同時に視聴しうる。本発明者は、同じイベントを視聴中の多数のユーザに、うれしい、感動、興奮等の感情を共有させることで、ＶＲ体験のエンタテインメント性を一層高めることができると考えた。
【００１５】
ただし、ユーザがＨＭＤを装着する場合、自身の感情をキーボードで入力し、表現することは現実的でない。そこで実施例のシステム（後述のライブストリーミングシステム１０）は、配信対象のイベントを含むＶＲ空間内に、当該イベントを視聴する複数のユーザの分身としての複数のアバターを配置する。そして、複数のユーザが抱く感情の種類を自動的に識別し、複数のユーザが抱く感情の種類に応じて、複数のアバターそれぞれの表示態様を変化させる。これにより、ユーザ間での感情の共有を実現する。
【００１６】
図１は、実施例のライブストリーミングシステム１０の構成を示す。ライブストリーミングシステム１０は、現在進行中の現実のイベントを撮像し、そのイベントの様子を示すＶＲ画像をユーザのＨＭＤに表示させる情報処理システムである。
【００１７】
ライブストリーミングシステム１０は、ユーザａが使用するユーザ側処理装置１２ａとＨＭＤ１００ａ、ユーザｂが使用するユーザ側処理装置１２ｂとＨＭＤ１００ｂ、ユーザｃが使用するユーザ側処理装置１２ｃとＨＭＤ１００ｃ、ユーザｄが使用するユーザ側処理装置１２ｄとＨＭＤ１００ｄを備える。以下、ユーザ側処理装置１２ａ〜ユーザ側処理装置１２ｄを総称する場合、単にユーザ側処理装置１２と表記し、ＨＭＤ１００ａ〜ＨＭＤ１００ｄを総称する場合、単にＨＭＤ１００と表記する。
【００１８】
ユーザ側処理装置１２は、ＨＭＤ１００におけるＶＲ画像の表示を制御する情報処理装置である。ユーザ側処理装置１２は、例えば、据置型ゲーム機、ＰＣ、タブレット端末、スマートフォンであってもよい。ＨＭＤ１００は、公知のヘッドマウントディスプレイであってもよい。ユーザ側処理装置１２とＨＭＤ１００は、ケーブルで接続されてもよく、既知の無線通信プロトコルで接続されてもよい。なお、ユーザ側処理装置１２とＨＭＤ１００は一体化されてもよく、ＨＭＤ１００は、後述するユーザ側処理装置１２の機能を備えてもよい。
【００１９】
ライブストリーミングシステム１０は、カメラシステム１６、画像配信装置１８、演者側端末２０をさらに備える。図１の画像配信装置１８、ユーザ側処理装置１２、演者側端末２０は、ＬＡＮ・ＷＡＮ・インターネット等を含む通信網２２を介して接続される。
【００２０】
カメラシステム１６は、イベントの様子を異なる位置から撮像する複数台のカメラを含む。複数台のカメラは、互いに異なる複数の視聴位置（例えばコンサート会場における複数の客席に対応する位置）に設けられる。また、複数台のカメラは、互いに異なる角度からイベントの様子、演者のパフォーマンス等を撮像する。カメラシステム１６は、複数台のカメラにより撮像された、異なる位置から見たイベントの様子を示す複数の画像（以下「イベント画像」とも呼ぶ。）を画像配信装置１８へ出力する。
【００２１】
画像配信装置１８は、複数のＨＭＤ１００のそれぞれに表示させるためのＶＲ画像（以下「ユーザ用画像」とも呼ぶ。）を生成する。ユーザ用画像は、カメラシステム１６から出力されたイベント画像を含む。画像配信装置１８は、複数のユーザ側処理装置１２へユーザ用画像を配信し、ユーザ用画像をＨＭＤ１００に表示させる。
【００２２】
演者側端末２０は、イベントの演者側に設置された情報処理装置である。演者側端末２０は、例えばＰＣ、タブレット端末、スマートフォンであってもよい。画像配信装置１８は、イベントの演者に提示する情報を含む画像であり、演者側端末２０に表示させるための画像（以下「演者用画像」とも呼ぶ。）を生成する。画像配信装置１８は、演者側端末２０へ演者用画像を配信し、演者用画像を演者側端末２０のディスプレイに表示させる。実施例の画像配信装置１８は、複数のユーザの感情情報を取得し、取得した感情情報をユーザ用画像および演者用画像へフィードバックする感情情報集計装置である。
【００２３】
図２は、図１のＨＭＤ１００の外観形状の例を示す。ＨＭＤ１００は、出力機構部１０２および装着機構部１０４から構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周してＨＭＤ１００を頭部に固定する装着バンド１０６を含む。装着バンド１０６はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
【００２４】
出力機構部１０２は、ＨＭＤ１００をユーザが装着した状態において左右の目を覆う形状の筐体１０８を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどであってよい。筐体１０８内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。ＨＭＤ１００はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
【００２５】
筐体１０８の外面には、発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。この例ではトラッキング用ＬＥＤが発光マーカ１１０を構成するが、その他の種類のマーカであってよく、いずれにしてもユーザの撮像装置（以下「ユーザカメラ」とも呼ぶ。）により撮影されて、ユーザ側処理装置１２がマーカ位置を画像解析できるものであればよい。発光マーカ１１０の数や配置は特に限定されないが、ＨＭＤ１００の姿勢を検出できるための数および配置である必要があり、図示した例では筐体１０８の前面の４隅に設けている。さらにユーザがユーザカメラに対して背を向けたときにも撮影できるように、発光マーカ１１０は装着バンド１０６の側部や後部に設けられてもよい。
【００２６】
ＨＭＤ１００は、姿勢センサ１２４が検出したセンサデータをユーザ側処理装置１２に送信する。また、ＨＭＤ１００は、ユーザ側処理装置１２から送信された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
【００２７】
図３は、図１のＨＭＤ１００の機能ブロックを示すブロック図である。本明細書のブロック図で示す各ブロックは、ハードウェア的にはコンピュータのＣＰＵやメモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者に理解されるところである。
【００２８】
制御部１２０は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部１２２は、制御部１２０が処理するデータや命令などを一時的に記憶する。姿勢センサ１２４は、ＨＭＤ１００の姿勢情報を検出する。姿勢センサ１２４は、少なくとも３軸の加速度センサおよび３軸のジャイロセンサを含む。
【００２９】
通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部１２０から出力されるデータを外部のユーザ側処理装置１２へ送信する。また、通信制御部１２８は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、ユーザ側処理装置１２からデータを受信し、制御部１２０に出力する。
【００３０】
制御部１２０は、画像データや音声データをユーザ側処理装置１２から受け取ると、表示パネル１３０に供給して表示させ、また音声出力部１３２に供給して音声出力させる。表示パネル１３０は、左目用表示パネル１３０ａと右目用表示パネル１３０ｂから構成され、各表示パネルに一対の視差画像が表示される。また、制御部１２０は、姿勢センサ１２４からのセンサデータや、マイク１２６からの音声データを、通信制御部１２８からユーザ側処理装置１２へ送信させる。
【００３１】
図４は、図１のユーザ側処理装置１２の機能ブロックを示すブロック図である。ユーザ側処理装置１２は、通信部３０、操作検出部３２、制御部３４を備える。制御部３４は、各種データ処理を実行する。通信部３０は、所定の通信プロトコルにしたがって外部装置と通信する。制御部３４は、通信部３０を介して、画像配信装置１８およびＨＭＤ１００とデータを送受信する。操作検出部３２は、不図示のコントローラに対してユーザが入力した操作（特定のボタンの押下やジョイスティックへの方向入力等）を検出する。操作検出部３２は、検出した操作を示すデータを制御部３４へ入力する。
【００３２】
制御部３４は、本人画像取得部３６、感情推定部３８、感情通知部４０、姿勢検出部４２、姿勢通知部４４、メッセージ送信部４６、表示画像取得部４８、表示制御部５０を含む。これら複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラム（例えばライブ映像視聴アプリケーション）がユーザ側処理装置１２のストレージにインストールされてもよい。ユーザ側処理装置１２のＣＰＵおよび／またはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
【００３３】
本人画像取得部３６は、ＨＭＤ１００を装着したユーザ自身を被写体として撮像するカメラであるユーザカメラから出力された画像データを取得する。この画像データは、ＨＭＤ１００を装着したユーザの顔の様子を少なくとも示すものであり、以下「本人画像」とも呼ぶ。
【００３４】
感情推定部３８は、本人画像取得部３６により取得された本人画像に基づいて、ユーザの感情の種類を推定する。感情の種類は、例えば、感動、興奮、好奇心、驚き、幸福等を含む。また、感情の種類は、感情の程度を含み、例えば、興奮の度合いや感動の度合いを含む。感情推定部３８は、公知の画像解析処理および感情認識処理によりユーザの感情の種類を推定してもよい。また、本人画像に映るユーザの顔の上部はＨＭＤ１００に隠れる。そこで感情推定部３８は、本人画像に映るユーザの顔の中部や下部の状態に応じてユーザの表情を推定し、ユーザの表情からユーザの感情の種類を推定してもよい。
【００３５】
例えば、本人画像が、ユーザのあごが下に落ち、かつ、ユーザの口が開いた状態を示す場合、感情推定部３８は、ユーザの感情を「驚き」と推定してもよい。また、本人画像が、ユーザの上唇が上がっている状態を示す場合、感情推定部３８は、ユーザの感情を「嫌悪」と推定してもよい。また、本人画像が、ユーザの鼻から唇の両端まで皺がより、かつ、唇の両端が上に引っ張られた状態を示す場合、感情推定部３８は、ユーザの感情を「幸福」と推定してもよい。
【００３６】
実施例では、感情推定部３８は、ユーザの表情に基づいて、ユーザの感情を推定するが、変形例として、感情推定部３８は、ユーザの表情に代えて、またはユーザの表情とともに他の要素に基づいて、ユーザの感情を推定してもよい。例えば、視線検出センサにより検出されたユーザの視線方向に基づいて、ユーザの感情の種類を推定してもよい。また、ユーザが装着する他のデバイス（グローブ等）に設けられたセンサで読み取れる生体情報（体表温度、発汗量、心拍数等）に基づいて、ユーザの感情の種類を推定してもよい。
【００３７】
感情通知部４０は、感情推定部３８により推定されたユーザの感情の種類を示すデータを画像配信装置１８へ送信する。
【００３８】
姿勢検出部４２は、本人画像に映るＨＭＤ１００の複数の発光マーカ１１０（発光マーカ１１０ａ、１１０ｂ、１１０ｃ、１１０ｄ）の位置を検出する。また、姿勢検出部４２は、ＨＭＤ１００から送信された、ＨＭＤ１００の姿勢センサ１２４によるセンサデータ（姿勢情報）を取得する。姿勢検出部４２は、本人画像に映るＨＭＤ１００の複数の発光マーカ１１０の位置と、センサデータとにしたがって、ＨＭＤ１００の姿勢（言い換えればユーザの頭部の姿勢）を検出する。ＨＭＤ１００の姿勢は、３次元空間において予め定められた基準姿勢に対する３軸方向の傾きであってもよい。なお、ヘッドトラッキング処理は従来より様々な手法が提案されており、姿勢検出部４２は、公知のヘッドトラッキング処理によりＨＭＤ１００の姿勢を検出してもよい。
【００３９】
姿勢通知部４４は、姿勢検出部４２により検出されたＨＭＤ１００の姿勢を示すデータを画像配信装置１８へ送信する。
【００４０】
メッセージ送信部４６は、メッセージの送信を指示する操作の入力が操作検出部３２により検出された場合、メッセージのデータを画像配信装置１８へ送信する。
【００４１】
表示画像取得部４８は、画像配信装置１８から送信された画像データ（後述のユーザ用画像）を取得する。表示制御部５０は、表示画像取得部４８により取得されたユーザ用画像をＨＭＤ１００の表示パネル１３０に表示させる。画像配信装置１８から送信されるユーザ用画像は、ユーザの左目に提示すべき左目用画像と、ユーザの右目に提示すべき右目用画像を含み、これらの画像には互いに視差が設けられる。表示制御部５０は、左目用画像をＨＭＤ１００の左目用表示パネル１３０ａに表示させ、右目用画像をＨＭＤ１００の右目用表示パネル１３０ｂに表示させる。
【００４２】
図５は、図１の画像配信装置１８の機能ブロックを示すブロック図である。画像配信装置１８は、通信部６０と制御部６２を備える。制御部６２は、各種データ処理を実行する。通信部６０は、所定の通信プロトコルにしたがって外部装置と通信する。制御部６２は、通信部６０を介して、ユーザ側処理装置１２および演者側端末２０とデータを送受信する。
【００４３】
制御部６２は、イベント画像取得部６４、感情識別部６６、ユーザ情報記憶部６８、属性更新部６９、メッセージ取得部７０、表示画像生成部７２、表示画像送信部８０、視点検出部８２、分析部８４を含む。これら複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラム（例えばライブ映像配信アプリケーション）が画像配信装置１８のストレージにインストールされてもよい。画像配信装置１８のＣＰＵおよび／またはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、各機能ブロックの機能を発揮してもよい。
【００４４】
イベント画像取得部６４は、カメラシステム１６から出力された画像データであって、カメラシステム１６の複数台のカメラにより撮像された複数のイベント画像を取得する。複数のイベント画像は、各ユーザが選択可能な複数の視聴位置に対応する。すなわち、複数のイベント画像のそれぞれは、複数の視聴位置のそれぞれから見えるイベントの内容が映るものである。
【００４５】
感情識別部６６は、複数のユーザ側処理装置１２により検出された、同じコンテンツを視聴する複数のユーザに関する情報に応じて、複数のユーザが抱く感情の種類を識別する。実施例では、感情識別部６６は、複数のユーザ側処理装置１２から送信された、複数のユーザの感情の種類を示すデータを受信することにより、複数のユーザが抱く感情の種類を識別する。感情識別部６６は、複数のユーザのそれぞれに対応付けて、各ユーザが抱く感情の種類をユーザ情報記憶部６８に格納する。
【００４６】
視点検出部８２は、複数のユーザ側処理装置１２から送信された、各ユーザが装着するＨＭＤ１００の姿勢を示すデータを受信する。視点検出部８２は、各ユーザのＨＭＤ１００の姿勢に応じて、ユーザ用画像における各ユーザの視点を検出する。視点は、ユーザ用画像におけるユーザが注視する領域または点である。視点検出部８２は、複数のユーザのそれぞれに対応付けて、各ユーザの視点を示す情報をユーザ情報記憶部６８に格納する。
【００４７】
視点検出部８２は、ＨＭＤ１００の姿勢と視線方向との対応関係を保持し、ＨＭＤ１００の姿勢に対応する視線方向を特定し、特定した視線方向に合致するユーザ用画像の領域をユーザの視点として検出してもよい。実施例では、視点検出部８２は、ユーザ用画像を縦７ブロック×横４ブロックの複数の領域に分割し、そのいずれかの領域を各ユーザの視点として検出する。なお、公知の手法を用いてユーザの視点を検出してもよい。
【００４８】
ユーザ情報記憶部６８は、ライブ映像を視聴する各ユーザの識別情報に対応付けて、各ユーザに関する様々な属性情報を記憶する。各ユーザの属性情報は、各ユーザが抱く感情の種類と、各ユーザの視点を含む。また、各ユーザの属性情報は、複数のユーザ側処理装置１２から送信された各ユーザによる設定情報をさらに含む。設定情報は、例えば、各ユーザにより選択されたイベントの視聴位置を含む。視聴位置は、ユーザがイベントを見るときの立脚点と言え、例えばコンサート会場の座席の情報であってもよい。
【００４９】
属性更新部６９は、ユーザ情報記憶部６８に記憶されたユーザの属性情報を更新する。メッセージ取得部７０は、複数のユーザのうち或るユーザから他のユーザ宛に送信されたメッセージを取得する。実施例では、複数のユーザ側処理装置１２のうち或るユーザ側処理装置１２から送信されたメッセージのデータを取得し、そのデータを表示画像生成部７２へ入力する。
【００５０】
表示画像生成部７２は、イベントの様子を示す画像データを生成する。表示画像生成部７２は、ユーザ用画像生成部７４、演者用画像生成部７６、メッセージ設定部７８を含む。ユーザ用画像生成部７４は、複数のユーザそれぞれのＨＭＤ１００に表示させる画像であるユーザ用画像を生成する。ユーザ用画像生成部７４は、個々のユーザの視聴位置に応じて、個々のユーザ向けのユーザ用画像を生成する。ユーザ用画像生成部７４は、複数のユーザのうち特定のユーザへ提示するユーザ用画像として、当該ユーザにより選択された視聴位置に対応するイベント画像と、複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含む画像を生成する。
【００５１】
アバターは、任意の形状、模様、色彩の画像であってよく、例えば、人の形状を模した画像であってもよい。ユーザ用画像生成部７４は、感情識別部６６により識別された複数のユーザが抱く感情の種類に応じて、複数のユーザに対応する複数のアバターの表示態様を変化させる。
【００５２】
演者用画像生成部７６は、演者側端末２０に表示させる画像である演者用画像を生成する。演者用画像生成部７６は、演者用画像として、イベントを視聴する複数のユーザに対応する複数のアバターを、複数のユーザが抱く感情に応じた態様で示す画像を生成する。
【００５３】
メッセージ設定部７８は、メッセージ取得部７０により取得されたメッセージを、複数のユーザのうち特定の種類の感情を抱くユーザへ配信するメッセージ配信部として機能する。実施例のメッセージ設定部７８は、メッセージ取得部７０により取得されたメッセージを、特定の種類の感情を抱くユーザへ提示されるユーザ用画像に設定することにより、上記メッセージを特定の種類の感情を抱くユーザへ提示する。
【００５４】
表示画像送信部８０は、ユーザ用画像生成部７４により生成された個々のユーザ向けのユーザ用画像を、個々のユーザのユーザ側処理装置１２へ送信する。また、表示画像送信部８０は、演者用画像生成部７６により生成された演者用画像を演者側端末２０へ送信する。
【００５５】
分析部８４は、記録部として、ユーザ用画像１５０における複数の視点のそれぞれについて、各視点のユーザが抱いた感情の種類に関する情報を分析結果として所定の記憶領域（例えば不図示の分析結果記憶部）に記録する。
【００５６】
以上の構成によるライブストリーミングシステム１０の動作を説明する。ここでは、ユーザの複数種類の感情として、異なる興奮度合いを例示する。図６は、実施例におけるアバター１４０を示す。アバター１４０のうちアバター１４０ａは、興奮度合いが低いユーザに対応するアバターである。アバター１４０ｂは、興奮度合いが中程度のユーザに対応するアバターである。アバター１４０ｃは、興奮度合いが高いユーザに対応するアバターである。実施例では、アバター１４０ａ〜アバター１４０ｃに互いに異なる模様を設定したが、変形例として、互いに異なる形状または色彩を設定してもよい。例えば、アバター１４０ａを青色、アバター１４０ｂを黄色、アバター１４０ｃを赤色に設定してもよい。
【００５７】
ライブストリーミングシステム１０の基本的な動作を説明する。以下の処理は、複数のユーザ側処理装置１２のそれぞれが並行して実行する。ユーザは、ユーザ側処理装置１２においてライブ視聴アプリケーションを起動し、所望のイベントのライブ配信チャンネルを選択する。ユーザ側処理装置１２は、ユーザにより選択されたライブ配信チャンネルの視聴要求を画像配信装置１８へ送信する。画像配信装置１８は、ユーザ側処理装置１２から受信した視聴要求が示すライブ配信チャンネルの画像（ユーザ用画像）を生成し、生成したユーザ用画像をユーザ側処理装置１２へ送信することを開始する。
【００５８】
ユーザ側処理装置１２の表示画像取得部４８は、画像配信装置１８から送信されたユーザ用画像を取得し、表示制御部５０は、ユーザ用画像をＨＭＤ１００に表示させる。ユーザが視聴位置を切り替える操作をユーザ側処理装置１２へ入力すると、ユーザ側処理装置１２は、ユーザにより選択された視聴位置への切替要求を画像配信装置１８へ送信する。画像配信装置１８は、ユーザにより選択された視聴位置から見たイベント内容を示すユーザ用画像を生成するように切り替え、そのユーザ用画像をユーザ側処理装置１２へ送信する。
【００５９】
ライブストリーミングシステム１０における特徴的な動作を説明する。複数のユーザ側処理装置１２のそれぞれにおいて、感情推定部３８は、ユーザカメラにより撮像されたユーザの表情に基づいてユーザが現在抱いている感情の種類を推定し、感情通知部４０は、推定されたユーザの感情の種類をユーザ側処理装置１２へ通知する。また、複数のユーザ側処理装置１２のそれぞれにおいて、姿勢検出部４２は、ＨＭＤ１００の姿勢を検出し、姿勢通知部４４は、ＨＭＤ１００の姿勢を画像配信装置１８へ通知する。
【００６０】
画像配信装置１８の感情識別部６６は、複数のユーザ側処理装置１２からの通知内容に基づいて、同じイベントのライブ配信を視聴している複数のユーザそれぞれの感情の種類を識別する。ユーザ用画像生成部７４は、複数のユーザのそれぞれに提示するユーザ用画像として、各ユーザにより選択された視聴位置からのイベント画像と、複数のユーザに対応する複数のアバターのうち少なくとも１つのアバターとを含むユーザ用画像を生成する。例えば、特定のユーザ向けのユーザ用画像に含まれるアバターは、当該ユーザと同じまたは近傍の視聴位置からイベントを見る他のユーザのアバターを含む。表示画像送信部８０は、アバターを含むユーザ用画像をユーザ側処理装置１２へ送信し、ＨＭＤ１００に表示させる。
【００６１】
図７は、ユーザ用画像の例を示す。ユーザ用画像１５０は、イベント画像１５２と、複数のアバター１４０を含む。２つのアバター１４０ａは、興奮度合いが低い２人のユーザに対応し、２つのアバター１４０ｃは、興奮度合いが高い２人のユーザに対応する。画像配信装置１８のユーザ用画像生成部７４は、ユーザにより選択された視聴位置の近傍に存在する他ユーザのアバター１４０を、他ユーザが抱く感情の種類に応じた表示態様でイベント画像１５２の上に重ねて配置したユーザ用画像１５０を生成する。
【００６２】
実施例のユーザ用画像１５０によると、或るユーザは同じコンテンツを視聴する他のユーザが抱く感情を容易に理解することができ、複数のユーザ間で感情を共有することが容易になる。これにより、ＶＲ画像を視聴するユーザに斬新な視聴体験を提供でき、また、ライブ配信されるコンテンツの価値を一層高めることができる。
【００６３】
次にメッセージ送信時の動作を説明する。図８（ａ）−（ｄ）は、ユーザ用画像１５０の例を示す。図８（ａ）−（ｃ）は、メッセージの送信元となるユーザ（「送信元ユーザ」とも呼ぶ。）のＨＭＤ１００に表示されるユーザ用画像１５０を示す。また、図８（ｄ）は、メッセージの送信先となるユーザ（「送信先ユーザ」とも呼ぶ。）のＨＭＤ１００に表示されるユーザ用画像１５０を示す。
【００６４】
図８（ａ）は、ユーザ用画像１５０を視聴中のユーザが、不図示のコントローラに、メッセージ送信を指示する操作を入力したことを示す。ユーザ側処理装置１２の表示制御部５０は、その操作入力を検出すると、図８（ｂ）に示すように、メッセージの送信先を選択するための送信先選択アイコン１５４をユーザ用画像１５０上に表示させる。ここでは、メッセージの送信先としてアバター１４０ｃのグループ（すなわち興奮度が高いユーザ群）を選択したこととする
【００６５】
ユーザ側処理装置１２の表示制御部５０は、メッセージの送信先が選択されると、図８（ｃ）に示すように、メッセージの内容を選択するためのメッセージ選択ウィンドウ１５６をユーザ用画像１５０上に表示させる。メッセージ選択ウィンドウ１５６は、選択可能な要素として、複数種類の絵文字（言い換えればスタンプ）を含む。メッセージ選択ウィンドウ１５６において特定のメッセージが選択されると、ユーザ側処理装置１２のメッセージ送信部４６は、メッセージの内容および送信先を指定するメッセージデータを画像配信装置１８へ送信する。
【００６６】
画像配信装置１８のメッセージ取得部７０は、送信元ユーザのユーザ側処理装置１２から送信されたメッセージデータを取得する。画像配信装置１８のメッセージ設定部７８は、送信元ユーザの近傍位置（例えば同じ視聴位置）を選択した他のユーザの中で、メッセージデータが示す送信先に合致する他のユーザを送信先ユーザとして識別する。送信先に合致する他のユーザは、ここではアバター１４０ｃに対応する他のユーザである。
【００６７】
メッセージ設定部７８は、図８（ｄ）に示すように、メッセージデータが示すメッセージ内容（メッセージ画像１５８）を送信先ユーザ向けのユーザ用画像１５０に付加する。そして図８（ｄ）に示すユーザ用画像１５０が送信先ユーザに提示される。この態様によると、同じライブコンテンツを視聴するユーザ間でのコミュニケーションを促進し、また、ユーザ間での感情の共有を促進することができる。
【００６８】
次に商品販売を支援するための動作を説明する。図９は、ユーザ用画像１５０の例を示す。画像配信装置１８のユーザ用画像生成部７４は、感情識別部６６により識別されたユーザが抱く感情が所定の条件を満たした場合、そのユーザに提示する画像として、イベント画像１５２と、アバター１４０と、販促ウィンドウ１６０とを含むユーザ用画像１５０を生成する。言い換えれば、ユーザ用画像生成部７４は、所定の条件を満たす感情を抱くユーザ向けのユーザ用画像１５０として、販促ウィンドウ１６０を含むユーザ用画像１５０を生成する。
【００６９】
販促ウィンドウ１６０は、所定の商品の販売を促進するための情報を含む画像である。販促ウィンドウ１６０は、イベントに関連する物品や電子データをオンラインで購入するための商品アイコンを含んでもよく、商品アイコンには、それらの物品や電子データを販売する電子商取引サイトの画面へ遷移させるリンクを含んでもよい。販促ウィンドウ１６０を表示する条件は、複数種類の感情のうちユーザが特定の１つ以上の感情を抱くことが識別されたこと、および／または、特定の１つ以上の感情の程度が所定の閾値以上であることであってもよい。例えば、ユーザの興奮の程度が所定の閾値以上に高まったことでもよい。
【００７０】
また、ユーザ用画像生成部７４は、感情識別部６６により識別されたユーザの感情の種類（または程度）、もしくは複数の感情の種類（または程度）の組み合わせに応じて、販促ウィンドウ１６０の内容を変化させてもよい。例えば、ユーザが感動している状況と、興奮している状況とでは、異なる商品アイコンの組み合わせを販促ウィンドウ１６０に設定してもよい。
【００７１】
この態様によると、ユーザの感情の変化に合わせて、ユーザを効果的に物販へ誘導することができる。例えば、興奮度が十分に高いユーザには販促ウィンドウ１６０を提示することで効果的な販売促進を実現できる。その一方、興奮度が低いユーザには販促ウィンドウ１６０を非表示とすることで、販促ウィンドウ１６０の表示により興奮度が低いユーザの気分を害してしまうことを防止できる。
【００７２】
なお、ユーザ用画像生成部７４は、視点検出部８２により検出されたユーザ用画像１５０におけるユーザの視点（言い換えれば注視点）とは異なる位置に販促ウィンドウ１６０を配置することが望ましい。ユーザの視点に販促ウィンドウ１６０を配置すると、ユーザが注目しているコンテンツの視認性が低下し、ユーザの気分を害する可能性があるからである。
【００７３】
また、画像配信装置１８のユーザ情報記憶部６８は、過去にユーザが商品を購入した際のユーザの感情の種類（および程度）と、購入商品の品目とを対応付けた商品購入履歴を記憶する。例えば、画像配信装置１８は、外部の販売管理装置から、ユーザが購入した商品の品目と購入日時を取得し、その購入日時におけるユーザの感情の種類と購入商品の品目とを対応付けた商品購入履歴をユーザ情報記憶部６８に格納してもよい。
【００７４】
また、画像配信装置１８のユーザ情報記憶部６８は、複数のユーザそれぞれに対応付けて、ユーザごとに定められた、ユーザ用画像１５０に販促ウィンドウ１６０を表示させる条件（表示条件）を記憶する。画像配信装置１８の属性更新部６９は、ユーザ情報記憶部６８に記憶された各ユーザの商品購入履歴を参照し、ユーザごとに、過去にユーザが商品を購入した際のユーザの感情の種類に応じて、販促ウィンドウ１６０の表示条件を更新する。
【００７５】
属性更新部６９は、過去にユーザが商品を購入した際のユーザの感情の種類または程度（もしくは複数の感情の組み合わせ）に合致するように、販促ウィンドウ１６０の表示条件を更新してもよい。例えば、過去にユーザが商品を購入した際の当該ユーザの興奮の程度を、販促ウィンドウ１６０を表示させる閾値としてもよい。この態様によると、ユーザごとに最適なタイミングで販促ウィンドウ１６０を表示させることができ、一層効果的な販売促進を実現できる。
【００７６】
次に演者用画像の表示に係る動作を説明する。イベントのライブ配信中、画像配信装置１８の演者用画像生成部７６は、演者用画像を生成する。表示画像送信部８０は、演者用画像を演者側端末２０へ送信して表示させる。実施例では、演者用画像生成部７６は、演者が演者側端末２０へ入力した操作に応じて、以下に示す第１の演者用画像１７０または第２の演者用画像１７２を生成する。
【００７７】
図１０は、第１の演者用画像１７０の例を示す。演者用画像１７０は、ユーザが選択可能な複数の視聴位置のそれぞれと、各視聴位置を選択したユーザの感情の種類とを対応付けて示す。図１０の第１の演者用画像１７０では、コンサート会場の座席位置ごとに、複数のユーザの感情の種類を反映した態様で複数のアバター１４０が配置されている。
【００７８】
実際には、演者用画像生成部７６は、カメラシステム１６により撮像された、イベント会場の観客側を映した画像に、複数のアバター１４０を重ねて配置した第１の演者用画像１７０を生成してもよい。第１の演者用画像１７０を見た演者は、イベントをリモートで視聴するユーザの感情を容易に把握できる。例えば、興奮度が高い観客の割合およびその観客の位置、また、興奮度が低い観客の割合およびその観客の位置を容易に把握できる。図１０の例では、イベント会場の２階右から視聴する観客の興奮度が低いことがわかるため、演者は、イベント会場の２階右のユーザへ呼びかけを行う等の適切なアクションを採ることができる。
【００７９】
図１１は、第２の演者用画像１７２の例を示す。第２の演者用画像１７２は、ユーザ感情情報１７３、ゲージ画像１７４、メッセージアイコン１７６、演出アイコン１７８、シャッフルアイコン１８０、物販アイコン１８２を含む。ユーザ感情情報１７３は、複数のユーザが特定の感情を抱いている度合いを示す情報である。図１１のユーザ感情情報１７３は、興奮度が低いユーザ（アバター１４０ａに対応）の割合が７０％、興奮度が中程度のユーザ（アバター１４０ｂに対応）の割合が２０％、興奮度が高いユーザ（アバター１４０ｃに対応）の割合が１０％であることを示している。
【００８０】
ゲージ画像１７４もまた、複数のユーザが特定の感情を抱いている度合いを柱状グラフの長さで示す画像である。図１１のゲージ画像１７４は、複数のユーザの興奮の度合いが高いほど柱状グラフを左へ伸ばすように設定される。画像配信装置１８の演者用画像生成部７６は、同じイベントのライブ配信を視聴している複数のユーザが抱く感情の種類を集計し、その集計結果をユーザ感情情報１７３およびゲージ画像１７４に反映させる。
【００８１】
この態様によると、同じイベントのライブ配信を視聴している複数のユーザが抱く感情の種類の集計結果（言い換えれば統計情報）をイベントの演者に分かり易く提示することができる。これにより、演者は、ユーザが抱く感情に応じた好適にイベントを進行させやすくなり、また、ユーザに対する適切な働きかけを行うことも容易になる。なお、実施例では、ユーザ感情情報１７３およびゲージ画像１７４を第２の演者用画像１７２に設定したが、変形例として、これらの画像を第１の演者用画像１７０に設定してもよく、ユーザ用画像１５０に設定してもよい。
【００８２】
メッセージアイコン１７６、演出アイコン１７８、シャッフルアイコン１８０、物販アイコン１８２は、演者からユーザへの働きかけを支援する機能を起動するものである。メッセージアイコン１７６は、特定の感情を抱くユーザ等へメッセージを送信するためのアイコンである。メッセージアイコン１７６が選択された場合、演者側端末２０は、図８で示した送信先選択アイコン１５４およびメッセージ選択ウィンドウ１５６を表示させ、送信先ユーザおよびメッセージ内容を示すメッセージデータを画像配信装置１８へ送信してもよい。この場合、画像配信装置１８は、ユーザ間でのメッセージの送信と同様に、演者により選択されたメッセージを演者により選択されたユーザのユーザ側処理装置１２へ送信してもよい。
【００８３】
演出アイコン１７８は、所定の演出の実行を指示するためのアイコンである。所定の演出は、実施例では、仮想空間における仮想的な演出（花火、背景変化、特別なキャラクタの登場等、以下「特殊演出」と呼ぶ。）とするが、変形例として、現実空間における演出（花火、照明変化等）であってもよい。演出アイコン１７８が選択された場合、演者側端末２０は、特殊演出を指示するデータを画像配信装置１８へ送信してもよい。画像配信装置１８のユーザ用画像生成部７４は、特殊演出の指示を受け付けた場合、特殊演出の画像をユーザ用画像１５０に付加してもよい。
【００８４】
シャッフルアイコン１８０は、複数のユーザの視聴位置を入れ替えさせるためのアイコンである。シャッフルアイコン１８０が選択された場合、演者側端末２０は、シャッフルを指示するデータを画像配信装置１８へ送信してもよい。画像配信装置１８のユーザ用画像生成部７４は、シャッフルの指示を受け付けた場合、仮想空間における複数のユーザの視聴位置を入れ替え、視聴位置入れ替え後のユーザ用画像１５０を新たに生成する。なお、ユーザの視聴位置の入れ替えに伴い、仮想空間におけるアバター１４０の表示位置も変化する。複数のユーザの視聴位置の入替はランダムでもよく、また、同じ感情の種類を有する複数のユーザを近傍位置（または同じ位置）に集めてもよい。
【００８５】
物販アイコン１８２は、イベントに関連する商品の販売を促進するためのアイコンである。物販アイコン１８２が選択された場合、演者側端末２０は、販売促進を指示するデータを画像配信装置１８へ送信してもよい。画像配信装置１８のユーザ用画像生成部７４は、販売促進の指示を受け付けた場合、図９に示した販促ウィンドウ１６０を含むユーザ用画像１５０を生成してもよい。なお、ユーザ用画像生成部７４は、販売促進の指示を受け付けた場合に、販促ウィンドウ１６０の表示条件を満たすユーザのユーザ用画像１５０にのみ販促ウィンドウ１６０を付加してもよい。
【００８６】
次にイベントのライブ配信を視聴したユーザに関する分析を支援する動作を説明する。画像配信装置１８の分析部８４は、配信サービスの担当者の端末（不図示）から分析開始指示を受け付けた場合、予め定められた日時に達した場合、または定期的に分析処理を開始する。分析部８４は、ユーザ情報記憶部６８に記憶されたユーザごとの視点と感情の種類とを取得し、複数の視点のそれぞれにおいて各ユーザが抱いた感情の種類を集計した結果を分析結果として記録する。画像配信装置１８は、記録された分析結果を所定のディスプレイに表示させる分析結果表示部をさらに備えてもよい。また、画像配信装置１８は、記録された分析結果を配信サービスの担当者の端末等へ送信する分析結果送信部をさらに備えてもよい。
【００８７】
図１２は、分析結果の例を示す。図１２の分析結果は、１つの視聴位置におけるライブ配信映像に、複数の視点のそれぞれを注視しているユーザのアバターを重畳して配置したものである。また、図１２の分析結果は、各ユーザのアバターを感情の種類（ここでは興奮度合い）ごとに異なる態様で示している。具体的には、図１２の分析結果では、ユーザ用画像１５０を縦７ブロック、横４ブロックに分割し、分割した各領域を視点として定める。この分析結果によると、中心付近を見ているユーザの興奮度合いが高いことがわかる。この分析結果によると、例えば、イベントの録画映像を配信する際やユーザがタイムシフト視聴をする際に、ユーザ用画像１５０の中心部分（すなわちユーザの興奮度合いが高い視点領域）をズームして配信すること等の判断を支援できる。分析部８４は、図１２に示す分析結果を、ユーザが選択可能な視聴位置ごとに記録してもよい。
【００８８】
なお、分析部８４は、ユーザ用画像１５０（すなわちイベント映像）の配信期間における複数のタイミングのそれぞれで、各視点のユーザが抱いた感情の種類を示す分析結果を記録してもよい。また、分析部８４は、ユーザが選択可能な視聴位置（すなわち立脚点）ごとに、上記分析結果を記録してもよい。これにより、時系列でのユーザの感情の推移や、視聴位置間でのユーザが抱く感情の差異を明らかにすることができる。
【００８９】
さらにまた、分析部８４は、ユーザが選択可能な視聴位置を主のパラメータとして分析結果を記録してもよい。例えば、ユーザが選択可能な視聴位置ごとに１人以上のユーザの感情の種類を集計し、視聴位置と感情の種類の集計結果とを対応付けた分析結果を記録してもよい。この分析結果によると、例えば、イベントの録画映像を配信する際やユーザがタイムシフト視聴をする際に、ユーザの興奮度が高い視聴位置をデフォルトの視聴位置（もしくはお薦めの視聴位置）とすること等の判断を支援できる。
【００９０】
以上、本発明を実施例をもとに説明した。この実施例は例示であり、構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を説明する。
【００９１】
第１変形例を説明する。画像配信装置１８のユーザ用画像生成部７４は、所定人数以上または所定割合以上のユーザが特定の種類の感情を抱く場合、予め定められた特殊演出をさらに含むユーザ用画像１５０を生成する。特殊演出は、ＶＲ空間における演出であってもよく、例えば、コンピュータグラフィックスによる演出（花火、背景変化、特別なキャラクタの登場等）であってもよい。特殊演出は、イベントの視聴者への特典としてのプレミア演出とも言え、特殊演出の表示条件が満たされた場合にのみ表示される演出であってもよい。
【００９２】
特殊演出の表示条件となる人数、割合、および感情の種類は、ライブ配信者の知見やライブストリーミングシステム１０を用いた実験等に基づいて、適切に定められればよい。例えば、イベントのライブ配信を視聴する全ユーザのうち半分のユーザの興奮度が中程度以上になったことを条件として、ユーザ用画像生成部７４は、各ユーザに提示するユーザ用画像１５０に特殊演出を表示させてもよい。複数のユーザの感情の変化に応じて各ユーザが見るＶＲ空間内に特殊演出を表示させることで、複数のユーザの一体感を醸成でき、また、イベントのライブ配信のエンタテインメント性を一層高めることができる。
【００９３】
第２変形例を説明する。画像配信装置１８のユーザ用画像生成部７４は、特定の種類の感情を抱く１人以上のユーザに対応する１つ以上のアバターを、イベントの仮想空間において予め定められた特定の領域に配置したユーザ用画像１５０を生成してもよい。言い換えれば、ユーザ用画像生成部７４は、同じ種類の感情を抱く複数のユーザに対応する複数のアバターを同一または近傍の視聴位置に配置してもよい。
【００９４】
例えば、ユーザ用画像生成部７４は、興奮度が高いユーザのアバターを第１の領域（例えばコンサート会場の１階中央前方）、興奮度が低いユーザのアバターを第２の領域（例えばコンサート会場の２階中央）、感動の度合いが高いユーザのアバターを第３の領域（例えばコンサート会場の１階中央後方）に配置してもよい。この変形例では、ユーザの視聴位置は、当該ユーザが抱く感情の変化に応じて動的に変化してもよい。
【００９５】
この変形例によると、同じ感情を抱くユーザ同士（ユーザのアバター）が近傍位置に配置される。これにより、ユーザに周囲との一体感を抱かせ易くなり、イベントのライブ配信のエンタテインメント性を一層高めることができる。
【００９６】
第２変形例に関連する第３変形例を説明する。画像配信装置１８のユーザ用画像生成部７４は、第１の種類の感情を抱くユーザのアバターを第１の位置または領域に配置し、第１の種類の感情とは反対の第２の種類の感情を抱くユーザのアバターを、第１の領域と同じまたは近傍の位置または領域に配置したユーザ用画像１５０を生成してもよい。
【００９７】
第１の種類の感情は、イベントにおいて好ましくない感情であってもよく、一方、第２の種類の感情は、イベントにおいて好ましい感情であってもよい。例えば、ユーザ用画像生成部７４は、第１の種類の感情として興奮度が低いユーザのアバターと、第２の種類の感情として興奮度が高いユーザのアバターとを、同じ領域または近傍位置に配置してもよい。
【００９８】
この変形例によると、反対の感情を抱くユーザの互いのアバターを近傍位置に配置することにより、一方のユーザの感情を他方のユーザの感情に感化させやすくなる。例えば、興奮度が低い第１のユーザについて、その視聴位置の周囲に興奮度が高い第２のユーザのアバターを、興奮度の高さがわかる態様で配置することにより、第１のユーザの気分を盛り上げやすくなる。例えば、コンサートを同時に視聴するユーザ全体の興奮度を高めるよう支援できる。
【００９９】
第４変形例を説明する。上記実施例では、画像配信装置１８がユーザ用画像をレンダリングしたが、変形例として、ユーザ側処理装置１２がユーザ用画像をレンダリングしてもよい。例えば、画像配信装置１８に代わってユーザ側処理装置１２がユーザ用画像生成部７４を備えてもよい。この場合、画像配信装置１８は、ユーザ用画像生成部７４に代えてコンテンツ情報設定部とコンテンツ情報送信部をさらに備えてもよい。
【０１００】
画像配信装置１８のコンテンツ情報設定部は、ユーザの視点位置に応じたイベント画像と、ユーザ画像に表示すべき１つ以上のアバターの種類および表示位置とを含むコンテンツ情報を設定する。なお、コンテンツ情報は、或るユーザまたは演者から送信されたメッセージの内容および表示位置をさらに含みうる。画像配信装置１８のコンテンツ情報送信部は、コンテンツ情報をユーザ側処理装置１２へ送信する。ユーザ側処理装置１２のユーザ用画像生成部７４は、画像配信装置１８から受信したコンテンツ情報にしたがって、イベント画像の上にアバターおよびメッセージを配置したユーザ用画像をレンダリングする。ユーザ側処理装置１２の表示制御部５０は、ローカルでレンダリングされたユーザ用画像をＨＭＤ１００に表示させる。
【０１０１】
また、販促ウィンドウの表示有無を判定する処理、および、販促ウィンドウをユーザ用画像に重ねて描画する処理を画像配信装置１８に代わってユーザ側処理装置１２が実行してもよい。
【０１０２】
第５変形例を説明する。上記実施例では、複数のユーザ側処理装置１２のそれぞれがユーザの感情を推定したが、変形例として、画像配信装置１８が複数のユーザそれぞれの感情を推定してもよい。例えば、複数のユーザ側処理装置１２は、ユーザを撮像した本人画像を画像配信装置１８へ送信してもよい。画像配信装置１８の感情識別部６６は、実施例の感情推定部３８の機能を含んでよく、複数のユーザ側処理装置１２から送信された本人画像に基づいて各ユーザの感情を推定することにより、複数のユーザの感情の種類を識別してもよい。
【０１０３】
第６変形例を説明する。上記実施例では言及していないが、ユーザ同士の間、または、演者とユーザの間でやり取りされるメッセージは、テキストや絵文字（スタンプ）に限られない。例えば、ＨＭＤ１００のマイク１２６で検出された音声データを含んでもよい。
【０１０４】
上記実施例では、ＨＭＤ１００に表示させるＶＲ画像が、現実のイベントのライブ配信画像を含むこととした。変形例として、ＨＭＤ１００に表示させるＶＲ画像は、ゲームの配信画像等、現実のイベントの画像以外であってもよく、また、録画の配信画像等、ライブ配信される画像以外であってもよい。
【０１０５】
また、情報処理システムにおいて、ユーザが視聴するコンテンツがライブ配信画像か否かに関わらず、かつ、アバターの表示有無に関わらず、かつ、ユーザがＨＭＤ１００を装着するか否かに関わらず、コンテンツを視聴するユーザの感情に応じて、ＶＲ画像に販促ウィンドウを表示させてもよい。例えば、通常のディスプレイでビデオゲームを遊技するユーザの興奮度が高まった場合に、販促ウィンドウをビデオゲームの画面に表示させてもよい。
【０１０６】
また、情報処理システムにおいて、ＨＭＤ１００に表示させるＶＲ画像がライブ配信画像か否かに関わらず、かつ、アバターの表示有無に関わらず、ＨＭＤ１００を装着したユーザの感情、視点、視聴位置等に基づく分析処理を実行してもよい。
【０１０７】
上記実施例では、ユーザの表情や生体情報に基づいて、ユーザが抱く感情を推定したが、変形例として、ユーザから投稿されたコメントを受け付けるシステムの場合、画像配信装置１８は、ユーザから投稿されたコメントの内容（感情を示すキーワードやキーフレーズ等）に応じて、ユーザが抱く感情を推定してもよい。また、ユーザに、現在抱いている感情の種類（興奮、感動、楽しい等）を入力させ、入力された感情の種類を示す情報をユーザ側処理装置１２から画像配信装置１８へ送信してもよい。
【０１０８】
上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。例えば、請求項に記載の各構成要件は、ユーザ側処理装置１２の機能と画像配信装置１８の機能のいずれか一方または組み合わせにより実現されてよい。
【符号の説明】
【０１０９】
１０  ライブストリーミングシステム、  １２  ユーザ側処理装置、  １８  画像配信装置、  ３８  感情推定部、  ６６  感情識別部、  ７２  表示画像生成部、  ７４  ユーザ用画像生成部、  ７６  演者用画像生成部、  ７８  メッセージ設定部、  ８２  視点検出部、  ８４  分析部、  １００  ＨＭＤ。
【産業上の利用可能性】
【０１１０】
本開示に記載の技術は、ヘッドマウントディスプレイに画像を表示させるシステムに利用可能である。
【図１】
2019234879.tif 000003
【図２】
2019234879.tif 000004
【図３】
2019234879.tif 000005
【図４】
2019234879.tif 000006
【図５】
2019234879.tif 000007
【図６】
2019234879.tif 000008
【図７】
2019234879.tif 000009
【図８】
2019234879.tif 000010
【図９】
2019234879.tif 000011
【図１０】
2019234879.tif 000012
【図１１】
2019234879.tif 000013
【図１２】
2019234879.tif 000014
【国際調査報告】
2019234879.tif 000015
2019234879.tif 000016
2019234879.tif 000017
2019234879.tif 000018