(57)【要約】【課題】視聴者の反応に合わせた動画を配信することができるようにする。【解決手段】動画配信システムは、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者から視線に関するイベント情報を取得するイベント取得部と、前記イベント情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることを特徴とする。【選択図】図１
2020120304.tif 000002
【特許請求の範囲】
【請求項１】
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者から視線に関するイベント情報を取得するイベント取得部と、
前記イベント情報に応じて、前記素材データに対する操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
【請求項２】
請求項１に記載の動画配信システムであって、
前記イベント取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
【請求項３】
請求項１に記載の動画配信システムであって、
前記視聴者からの視線に関するイベント情報は、前記視聴者による再生動画における所定のエリアに向けられた視線に関する情報を含むこと、
を特徴とする動画配信システム。
【請求項４】
請求項１に記載の動画配信システムであって、
前記アクションは、オブジェクトの出現、移動および消失、アニメーションの開始および停止、動画の再生および停止、音声の再生および停止、ならびに前記素材データの変更の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画配信システムに関する。
【背景技術】
【０００２】
動画の配信システムが普及している。動画の配信は、受動的に連続した動画が再生されるストリーミング方式と、能働的に意図した動画を再生させるオンデマンド方式とがある。オンデマンド方式では、再生する順番などをユーザに設定させることが行われている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３５０７２８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ストリーミング方式での動画配信において、ライブ映像の場合には視聴者の反応を見ながらライブの展開を変更することは可能であるが、記録済みの動画を利用する場合には、動画の展開は決定的であり視聴者の反応に応じた展開での動画を配信することは困難である。
【０００５】
本発明は、このような背景を鑑みてなされたものであり、視聴者の反応に合わせた動画を配信することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、動画配信システムであって、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者から視線に関するイベント情報を取得するイベント取得部と、前記イベント情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることを特徴とする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、視聴者の反応に合わせた動画を配信することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の動画配信システムの全体構成例を示す図である。
【図２】視聴者端末１のハードウェア構成例を示す図である。
【図３】配信者装置３のハードウェア構成例を示す図である。
【図４】配信者装置３のソフトウェア構成例を示す図である。
【図５】素材ライブラリ３３１の構造例を示す図である。
【図６】アクション記憶部３３３の構成例を示す図である。
【図７】イベント記憶部３３４の構成例を示す図である。
【図８】本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による動画配信システムは、以下のような構成を備える。
【００１１】
［項目１］
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者から視線に関するイベント情報を取得するイベント取得部と、
前記イベント情報に応じて、前記素材データに対する操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
［項目２］
項目１に記載の動画配信システムであって、
前記イベント取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
［項目３］
項目１に記載の動画配信システムであって、
前記視聴者からの視線に関するイベント情報は、前記視聴者による再生動画における所定のエリアに向けられた視線に関する情報を含むこと、
を特徴とする動画配信システム。
［項目４］
項目１に記載の動画配信システムであって、
前記アクションは、オブジェクトの出現、移動および消失、アニメーションの開始および停止、動画の再生および停止、音声の再生および停止、ならびに前記素材データの変更の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【００１２】
以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、ストリーミング配信される動画を各種のイベントに応じて動的に変化させるものである。
【００１３】
イベントには、視聴者により機器が操作されたこと、視聴者から音声や文字が入力されたこと、視聴者が撮影されたこと、撮影された画像から解析した視聴者の姿勢や視線、ジェスチャーなどが取得されたこと、視聴者の身体反応を測定した測定データが取得されたことなど、視聴者に関して取得される情報（以下、ユーザイベント情報という。）が含まれる。また、イベントには、閲覧している視聴者の数、天気、時刻、天気、動画中でオブジェクトが接触したことなどのシステム側で取得できる情報（以下、システムイベント情報という。）も含めることができる。
【００１４】
配信される動画は、３Ｄモデルや動画データ、音声データなどの素材データに基づいて生成される。各素材データには、イベントに応じたアクションを設定することができる。
【００１５】
アクションは、素材データに対する操作であり、３Ｄモデルにより表現されるオブジェクトの出現、移動および消滅、アニメーション動作の開始および終了、動画の再生および停止、音声の再生および停止、素材データの変更（置換え）などを含めることができる。本実施形態では、配信される動画は、アクションの結果として出力される映像または画像を合成して作成されるものとする。
【００１６】
本実施形態の動画配信システムでは、イベントに応じてアクションを起動することにより、動的に配信動画を変化させることができる。以下、詳細について説明する。
【００１７】
図１は、本実施形態の動画配信システムの全体構成例を示す図である。本実施形態の動画配信システムは、配信者装置３を含んで構成され、配信者装置２は、ストリーミングサーバ２と通信可能に接続され、ストリーミングサーバ２は視聴者端末１と通信可能に接続される。視聴者端末１は多数が接続されていてよい。配信者装置３は、動画の送信を行う、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。配信者装置３は、たとえば、動画の配信を行いたいと考えている一般ユーザが操作する家庭用のコンピュータであってよい。配信者装置３からは、動画データがストリーミング方式によりストリーミングサーバ２に送出される。ストリーミングサーバ２は、配信者装置３から受け取った動画データを視聴者端末１に配信する、たとえばワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより提供される仮想コンピュータなどのコンピュータである。ストリーミングサーバ２は、１つまたは複数の視聴者端末１に対して同時に動画データを配信することができる。視聴者端末１は視聴者が操作する、たとえばヘッドマウントディスプレイ（ＨＭＤ）、パーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータであるが、本実施形態においてはＨＭＤを例に挙げて説明する。視聴者は視聴者端末１及び付属された（図示しない）コントローラを操作してストリーミングサーバ２にアクセスし、視聴者端末１はストリーミングサーバ２から送出されてくる動画データを受信して再生することができる。また、視聴者端末１は、視聴者を撮影したり、視聴者の音声を録音したり、視聴者からコメントの入力を受け付けたりと、各種イベント情報の収集を行うことができる。１人または複数人の視聴者からのイベントはストリーミングサーバ２において収集され、配信者装置３は、たとえば、ストリーミングサーバ２が提供するＡＰＩ（Application Programming Interface）を呼び出すことにより、視聴者からのイベントを取得することができる。
【００１８】
なお、以下の説明において、ストリーミングにより配信されてリニアに再生される動画全体のことを特に「配信動画」という。配信動画は、カメラやマイクによりキャプチャした画像および音声を、リアルタイムに動画データにエンコードして送出する形式とすることもできるが、本実施形態では、配信動画は、素材データを組み合わせて合成したビデオデータとして生成することを想定している。
【００１９】
図２は、ヘッドマウントディスプレイ（ＨＭＤ）の構成図である。
【００２０】
図２に示すように、ＨＭＤ１は、少なくとも、制御部１０１、メモリ１０２、記憶装置１０３、表示制御部１０４、表示部１０５、送受信部１０６、入出力部１０７等を備え、これらは（図示しない）バスを通じて相互に電気的に接続される。
【００２１】
制御部１０１は、ＨＭＤ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びゲーム処理に係るアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部１０１はＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、記憶装置１０３に格納され、メモリ１０２に展開されたプログラム等を実行して各情報処理を実施する。
【００２２】
メモリ１０２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１０２は、ＣＰＵ１０１のワークエリア等として使用され、また、ストリーミングサーバ２や配信者装置３の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
【００２３】
記憶装置１０３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）が記憶装置１０３に構築されていてもよい。
【００２４】
表示制御部１０４は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）であり、主に画像処理に係る演算処理を実行する。表示制御部１０４は、ＣＰＵ１０１により生成されたキャラクタ等のコンテンツデータを、各種オブジェクトの画像と合成し、仮想空間を構成す仮想空間画像を生成する。
【００２５】
表示部１０５は、表示制御部１０４から入力される画像信号に基づいて仮想空間画像を表示する。また、表示部１０５は、例えば、ＬＣＤまたは有機ＥＬ等のディスプレイである。表示部１０５には、左目用画像と右目用画像とが表示され、両目の視差を利用することにより立体感のある画像をユーザに提供することができる。左目用画像と右目用画像とを表示することができれば、左目用ディスプレイと右目用ディスプレイとを個別に備えることも可能であるし、左目用及び右目用の一体型のディスプレイを備えることも可能である。
【００２６】
送受信部１０６は、ＨＭＤ１をネットワークに接続する。なお、送受信部１０６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ  Ｌｏｗ  Ｅｎｅｒｇｙ）の近距離通信インターフェースを備えていてもよい。送受信部１０６は、（図示しない）コントローラからの指示信号をネットワーク経由で受信する。
【００２７】
入出力部１０７は、画像生成装置や表示装置等を外部に設ける場合、画像信号や音信号等を入出力するためのインターフェースである。
【００２８】
さらに、ＨＭＤ１は、センサ１０８を備えることができる。センサとしては、ユーザの頭部の向きや傾きといった動きを検出するために、図示しないが、例えば、磁気センサ、加速度センサ、もしくはジャイロセンサのいずれか、またはこれらの組み合わせを備えることができる。加速度センサは、加速度（単位時間当たりの速度の変化）を検出する。その中で、加速度センサは、３軸方向（ｘ、ｙ、ｚ方向）の加速度を検出することができる。例えば、ＨＭＤの前後方向をｘ軸、左右方向をｙ軸、上下方向をｚ軸とし、前方方向をｘ軸正方向、左方向をｙ軸正方向、下方向をｚ軸方向とすると、加速度センサ３０は、各方向の加速度を検出するとともに、ｘ軸回りの回転角（ロール角）、ｙ軸回りの回転角（ピッチ角）、ｚ軸回りの回転角（ヨー角）を検出する。
【００２９】
さらに、またはセンサ１０８に代えて、ＨＭＤ１は、（図示しない）複数の光源（例えば、赤外光ＬＥＤ、可視光ＬＥＤ）を備えることもでき、ＨＭＤ１の外部（例えば、室内等）に設置されたカメラ（例えば、赤外光カメラ、可視光カメラ）がこれらの光源を検出することで、特定の空間におけるＨＭＤ１の位置、向き、傾きを検出することができる。または、同じ目的で、ＨＭＤ１に、ＨＭＤ１に設置された光源を検出するためのカメラを備えることもできる。
【００３０】
さらに、ＨＭＤ１は、アイトラッキング・センサを備えることもできる。アイトラッキング・センサは、ユーザの左目及び右目の視線方向及び注視点を検出するために用いられる。アイトラッキング・センサとしては様々な方式が考えられるが、例えば、左目および右目に弱い赤外光を照射してできる角膜上の反射光の位置を基準点とし、反射光の位置に対する瞳孔の位置により視線方向を検出し、左目及び右目の視線方向の交点を注視点として検出する方法などが考えられる。
【００３１】
さらに、スピーカ１０９は、（図示しない）音生成部から入力される楽曲データ等の音信号を出力する。
【００３２】
なお、ＨＭＤ１は、サーバや画像処理装置等の外部処理装置とネットワーク連携しながら、アプリケーションを実行し、データを送受信することもできるし、外部処理装置に依存せずに、ＨＭＤ単体として、内蔵されたプログラムを実行する、スタンドアローン型の装置として機能することもできる。
【００３３】
図３は、配信者装置３のハードウェア構成例を示す図である。配信者装置３は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【００３４】
図４は、配信者装置３のソフトウェア構成例を示す図である。同図に示すように、配信者装置３は、動画配信部３１１、イベント取得部３１２、アクション処理部３１３、素材ライブラリ３３１、アクション記憶部３３３、イベント記憶部３３４を備える。
【００３５】
なお、動画配信部３１１、イベント取得部３１２、アクション処理部３１３は、配信者装置３が備えるＣＰＵ３０１が、記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、素材ライブラリ３３１、アクション記憶部３３３、イベント記憶部３３４は、配信者装置３が備えるメモリ３０２および記憶装置３０３の少なくともいずれかが提供する記憶領域の一部として実現される。
【００３６】
素材ライブラリ３３１は、動画に組み入れることのできる各種のデータ（素材データ）を記憶する。素材データは、たとえば、３Ｄモデル、静止画像、動画像、音声データ、ＭＩＤＩデータ、文字データなどである。図５は、素材ライブラリ３３１の構造例を示す図である。同図に示すように、素材ライブラリ３３１は、素材データを特定するための情報（素材ＩＤ）に対応付けて、各種の素材データを記憶する。
【００３７】
アクション記憶部３３３は、素材データに対する操作（アクション）に関する情報（以下、アクション情報という。）を記憶する。図６は、アクション記憶部３３３に記憶されるアクション情報の一例を示す図である。同図に示すように、アクション情報には、アクションを示すアクションＩＤ、判定期間、条件、およびアクションを含む。
【００３８】
判定期間は、イベントが条件を満たすかどうかの判定を行う期間を示す情報である。判定期間は、たとえば、現時点から５分前までなどと相対的に指定してもよいし、１２月２５日００：００から００：１０までというように絶対的に指定してもよい。
【００３９】
条件は、イベントに対するものであり、たとえば、イベントの有無であってもよいし、複数の視聴者からのイベントに関する集計値が閾値を超えたか否かであってもよい。
【００４０】
ユーザイベント情報に対しては、たとえば、視聴者が配信動画の再生中に動画上の所定エリアに視線を向けたか、動画上の所定エリアに視線を向けた視聴者の人数が閾値を超えたか否かなどを条件とすることができる。配信動画の生成に用いられた素材データに基づいて、配信動画中に表示されているオブジェクトに視線を向けたか、当該オブジェクトに視線を向けた視聴者の人数が閾値を超えたか否かを条件とすることもできる。視聴者が動画上の所定のエリアまたはオブジェクトに視線を向けたかの決定は、ＨＭＤに搭載されたアイトラッキングセンサや各種センサにより視聴者の頭部の姿勢、向き及び注視点のいずれかまたは組合せに基づいて決定することができる。
【００４１】
また、ＨＭＤに代えて、画像解析により、視聴者の姿勢や視線、ジェスチャーなどを認識し、視聴者が所定の姿勢や視線、ジェスチャーをしたか否か、所定の姿勢や視線、ジェスチャーをした視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、画像解析処理は、視聴者端末１が行い、解析結果をストリーミングサーバ２または配信者装置３に送信するようにしてもよいし、視聴者端末１からは撮影された画像データがストリーミングサーバ２を介してまたは直接配信者装置３に送信され、配信者装置３において画像解析処理を行うようにしてもよい。
【００４２】
また、システムイベント情報に対しては、たとえば、配信画像を視聴している視聴者の人数が閾値を超えたか否かを条件とすることができる。また、配信画像の再生から所定時間が経過したか否かを条件とすることもできる。また、視聴者もしくは配信者の所在地または所定の地域における天気をシステムイベント情報として取得したような場合には、この天気が所定の天気であるか否かを条件（たとえば、晴れであること、雨が降っていること、雪が降っていること、所定以上の強さの風が吹いていること、所定温度以上の気温であることなど）とすることができる。また、素材データが３Ｄモデルなどである場合、配信動画中においてオブジェクトが衝突したことを条件とすることもできる。
【００４３】
アクションは、上述したように素材データに対する各種の操作である。アクションにはパラメータも含めることができ、素材データに対して具体的にどのような操作を行うかを詳細に設定することができる。さらに本実施形態では、アクションは、素材データに対する操作のみでなく、他のアクションの実行や停止、他のアクションの実行が完了するのを待機するなどの処理を含むことができる。アクションは、たとえば、スクリプト言語により表記されたプログラムとして格納することもできる。
【００４４】
動画配信部３１１は、動画を配信する。アクションから複数のアクションが実行されることもある。動画配信部３１１は、後述するアクション処理部３１３が実行するアクションからの出力を合成して（必要に応じてエンコードして）、配信動画を生成することができる。また、動画配信部３１１は、生成した配信動画をストリーミングサーバ２に送信することで、視聴者端末１に動画を配信することができる。
【００４５】
イベント記憶部３３４は、発生した各種のイベントを記憶する。図７は、イベント記憶部３３４の構成例を示す図である。上述したように、イベント記憶部３３４は、ユーザイベント情報と、システムイベント情報とを記憶している。以下、ユーザイベント情報と、システムイベント情報とを合わせてイベント情報ともいう。ユーザイベント情報には、イベントを示すイベントＩＤ、イベントに関する視聴者を示す視聴者ＩＤ、イベントの発生した日時、およびイベントの内容が含まれる。また、システムイベント情報には、イベントＩＤ、イベントの発生した日時およびイベントの内容が含まれる。イベントの内容は、イベントにより異なり、たとえば、ユーザイベント情報の場合、配信動画の再生中に動画上の所定エリアに視線を向けたときには、その旨の情報がイベント内容として設定されうる。所定のエリアとして、一又は複数のエリアが考えられる。また、視聴者端末１が視聴者を撮影した画像を解析して視聴者の視線やジェスチャーを得られたときには、これらの視線やジェスチャーを示す情報がイベントの内容として設定されうる。システムイベント情報の場合、視聴者の数、天気、時刻などがイベントの内容として設定されうる。
【００４６】
イベント取得部３１２は、イベントを取得して、取得したイベントの内容をイベント情報としてイベント記憶部３３４に登録する。なお、イベント取得部３１２がどのようなイベントを取得するかについては、ユーザから設定可能であるものとする。どのようなイベントを取得するかを示す設定情報は、たとえば、メモリ３０２や記憶装置３０３などに記憶しておくことができる。
【００４７】
イベント取得部３１２は、たとえば、再生動画における視聴者の視線位置に関する情報をユーザイベント情報として登録することができる。たとえば、ＨＭＤを介して配信動画が視聴されている場合には、ＨＭＤのセンサを介して取得できる視聴者の頭部の姿勢、傾き及び注視点のいずれかまたは組合せの情報がストリーミングサーバ２または配信者装置３に送信され、イベント取得部３１２は、受信した情報を解析し、再生動画のの所定のエリアに視線が向けられているか否かを決定し、イベントを登録することができる。または、視聴者端末１（ＨＭＤ）において上記解析を行い、再生動画における視線位置に関する情報として受信し、当該情報をイベントとして登録することもできる。
【００４８】
また、イベント取得部３１２は、視聴者端末１から視聴者を撮影した画像を受信し、受信した画像を解析して視聴者の姿勢や視線、ジェスチャーなどを取得することもできる。あるいは視聴者端末１において画像の解析を行い、その結果を受信するようにすることもできる。イベント取得部３１２は、視聴中の視聴者の数を定期的にカウントしてシステムイベント情報に登録してもよい。なお、画像解析処理を視聴者端末１（ＨＭＤ）で行うようにして、イベント取得部３１２は、視聴者端末１から直接またはストリーミングサーバ２を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。
【００４９】
また、イベント取得部３１２は、たとえば、クロックからタイムアウトイベントを取得するようにして、配信画像の再生開始から所定時間が経過したことをシステムイベント情報として登録することができる。イベント取得部３１２は、所定の時刻になったこと（たとえば、日付が変わったこと、午後３時になったことなど）をシステムイベント情報として登録することもできる。
【００５０】
また、イベント取得部３１２は、たとえば、気象会社のサーバなどから気象情報を取得して、特定の地域（たとえば、各視聴者の所在地もしくは配信者の所在地、または予め設定した地域）における気象要素をシステムイベント情報として登録することもできる。
【００５１】
また、イベント取得部３１２は、たとえば、素材データが３Ｄモデルなどである場合には、配信動画中においてオブジェクトが衝突したことを判定してシステムイベント情報として登録することもできる。
【００５２】
アクション処理部３１３は、素材データに対してアクションを実行する。アクション処理部３１３は、最初に実行するアクションの指定を受け付け、受け付けたアクションを実行する。アクションの中には他のアクションの起動が含まれうるため、この場合、アクション処理部３１３は、順次アクションを起動し続けていくことができる。なお、アクションは複数に分岐して並列に実行することも可能である。
【００５３】
アクション処理部３１３はまた、イベントに応じたアクションの実行を行う。アクション処理部３１３は、アクション記憶部３３３に記憶されているアクション情報のそれぞれについて、期間に対応するイベント情報をイベント記憶部３３４から読み出して集計し、条件を満たすか否かを判定し、条件を満たす場合には、アクション情報に設定されているアクションを実行する。これにより、イベントに応じて動画の展開を動的に変化させることが可能となる。
【００５４】
図８は、本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【００５５】
アクション処理部３１３は、最初に実行するアクションの指定を受け付け（Ｓ４２１）、指定されたアクションを実行する（Ｓ４２２）。アクションが実行された結果として出力される映像や音声は合成され、動画データとして動画配信部３１１によりストリーミングサーバ２に送信される。
【００５６】
イベント取得部３１２は、定期的に視聴者の視線位置に関する情報を取得する（Ｓ４２３）。たとえば、イベント取得部３１２は、ストリーミングサーバ２が提供するＡＰＩを呼び出すことにより、ＨＭＤのセンサを介して取得できる視聴者の頭部の姿勢、傾き及び注視点のいずれかまたは組合せの情報をパラメータとして取得することができる。イベント取得部３１２は、受信したパラメータに基づいて、再生動画の所定のエリアに視聴者が視線を向けているか否かについて決定し、イベントとして登録することができる。またイベント取得部３１２は、タイマー機能を用いて所定の時間が経過したことを取得することができる。
【００５７】
アクション記憶部３３３に記憶されている各アクション情報について、アクション処理部３１３は、判定期間に入る日時のイベント情報をイベント記憶部３３４から読み出し（Ｓ４２４）、読み出したイベント情報のイベント内容がアクション情報の条件を満たすかどうか判定する（Ｓ４２５）。イベントが条件を満たす場合（Ｓ４２６：ＹＥＳ）、アクション処理部３１３は、アクション情報に含まれるアクションを実行する（Ｓ４２７）。ここでアクション処理部３１３は、以前に実行していたアクションを停止してもよいし、以前に実行していたアクションと並行して新たなアクションを実行するようにしてもよいし、この挙動を新たなアクション内で指定可能としてもよい。例えば、視聴者の視線が再生動画の所定のエリアに向けられたときに、または、当該エリアに視線を向けた視聴者数が所定人数を超えたときに、そのエリアに対応する動画の素材データ（例えば、動画の特定のシーン）が紐づけられて記憶されている場合、すなわち、イベントがアクション条件を満たす場合、対応するシーンを配信することができる。また、例えば、複数のキャラクタが配信動画の画像に含まれるときに、視聴者の視線が特定のキャラクタに注がれていることを検出し、そのキャラクタに注目したシーンを分岐させて配信させることもできる。
【００５８】
アクション情報のアクションが配信動画を終了させるものでなければ（Ｓ４２８）、ステップＳ４２３からの処理を繰り返す。
【００５９】
以上のようにして、本実施形態の動画配信システムは、配信動画をストリーミングサーバ２経由で視聴者端末１に配信するとともに、配信動画の再生中における視聴者の視線位置に応じて、再生中の配信動画に変更を加えることができる。したがって、録画済みの映像を利用しながらも、視聴者の反応に応じて配信動画に様々な展開を加えることが可能となり、ストリーミング形式での動画の配信方式によるライブ感を損なわずに動画を配信することが可能となる。特に、視聴者は、動画の視聴中に、自身が興味をもつ人物や物に自然と視線を注ぐ習性があり、明示的な操作によらずに、自然な流れとして配信動画を分岐、展開させることができる。
【００６０】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００６１】
たとえば、本実施形態では、配信者装置３から送出した動画は、ストリーミングサーバ２を介して視聴者端末１に配信されるものとしたが、配信者装置３から各視聴者端末１に直接動画を配信するようにすることもできる。
【００６２】
また、本実施形態では、動画の再生途中であっても、コメントが条件を満たせば、次の部品動画データに遷移する（図７のステップＳ４２７）ものとしたが、現在のアクションの実行は最後まで行った後に、次のアクションに実行するようにしてもよい。
【符号の説明】
【００６３】
１      視聴者端末
２      ストリーミングサーバ
３      配信者装置
３１１  動画配信部
３１２  イベント取得部
３１３  アクション処理部
３３１  素材ライブラリ
３３３  アクション記憶部
３３４  イベント記憶部
【図１】
2020120304.tif 000003
【図２】
2020120304.tif 000004
【図３】
2020120304.tif 000005
【図４】
2020120304.tif 000006
【図５】
2020120304.tif 000007
【図６】
2020120304.tif 000008
【図７】
2020120304.tif 000009
【図８】
2020120304.tif 000010