(57)【要約】【課題】視聴者の反応に合わせた動画を配信することができるようにする。【解決手段】動画配信システムは、動画を生成するための素材データを記憶する素材ライブラリを備える。動画配信システムは、素材データに基づいて動画を送出する動画配信部をさらに備える。さらに動画配信システムは、動画の再生中における動画の視聴者からの反応を示す反応情報を取得する反応取得部と、反応情報に応じて、素材データに対する操作を行うアクション処理部と、を備える。【選択図】図１
2020109896.tif 000002
【特許請求の範囲】
【請求項１】
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
【請求項２】
請求項１に記載の動画配信システムであって、
前記反応取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
【請求項３】
請求項１に記載の動画配信システムであって、
前記視聴者からの反応は、前記視聴者による機器の操作、前記視聴者から入力された音声および文字、前記視聴者を撮影した画像、前記画像から解析した前記視聴者の姿勢、視線およびジェスチャー、ならびに前記視聴者の身体反応を測定した測定データの少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【請求項４】
請求項１に記載の動画配信システムであって、
前記アクションは、オブジェクトの出現、移動および消失、アニメーションの開始および停止、動画の再生および停止、音声の再生および停止、ならびに前記素材データの変更の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画配信システムに関する。
【背景技術】
【０００２】
動画の配信システムが普及している。動画の配信は、受動的に連続した動画が再生されるストリーミング方式と、能働的に意図した動画を再生させるオンデマンド方式とがある。オンデマンド方式では、再生する順番などをユーザに設定させることが行われている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３５０７２８号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ストリーミング方式での動画配信において、ライブ映像の場合には視聴者の反応を見ながらライブの展開を変更することは可能であるが、記録済みの動画を利用する場合には、動画の展開は決定的であり視聴者の反応に応じた展開での動画を配信することは困難である。
【０００５】
本発明は、このような背景を鑑みてなされたものであり、視聴者の反応に合わせた動画を配信することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明の主たる発明は、動画配信システムであって、動画を生成するための素材データを記憶する素材ライブラリと、前記素材データに基づいて前記動画を送出する動画配信部と、前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、を備えることとする。
【０００７】
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
【発明の効果】
【０００８】
本発明によれば、視聴者の反応に合わせた動画を配信することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態の動画配信システムの全体構成例を示す図である。
【図２】配信者装置３のハードウェア構成例を示す図である。
【図３】配信者装置３のソフトウェア構成例を示す図である。
【図４】素材ライブラリ３３１の構造例を示す図である。
【図５】アクション記憶部３３３の構成例を示す図である。
【図６】イベント記憶部３３４の構成例を示す図である。
【図７】本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による動画配信システムは、以下のような構成を備える。
【００１１】
［項目１］
動画を生成するための素材データを記憶する素材ライブラリと、
前記素材データに基づいて前記動画を送出する動画配信部と、
前記動画の再生中における前記動画の視聴者からの反応を示す反応情報を取得する反応取得部と、
前記反応情報に応じて、前記素材データに対する操作を行うアクション処理部と、
を備えることを特徴とする動画配信システム。
［項目２］
項目１に記載の動画配信システムであって、
前記反応取得部は、前記動画配信システムにおいて発生したイベントを取得し、
前記アクション処理部は、前記イベントに応じて前記素材データに対する操作を行うこと、
を特徴とする動画配信システム。
［項目３］
項目１に記載の動画配信システムであって、
前記視聴者からの反応は、前記視聴者による機器の操作、前記視聴者から入力された音声および文字、前記視聴者を撮影した画像、前記画像から解析した前記視聴者の姿勢、視線およびジェスチャー、ならびに前記視聴者の身体反応を測定した測定データの少なくともいずれかを含むこと、
を特徴とする動画配信システム。
［項目４］
項目１に記載の動画配信システムであって、
前記アクションは、オブジェクトの出現、移動および消失、アニメーションの開始および停止、動画の再生および停止、音声の再生および停止、ならびに前記素材データの変更の少なくともいずれかを含むこと、
を特徴とする動画配信システム。
【００１２】
以下、本発明の一実施形態に係る動画配信システムについて説明する。本実施形態の動画配信システムは、ストリーミング配信される動画を各種のイベントに応じて動的に変化させるものである。
【００１３】
イベントには、視聴者により機器が操作されたこと、視聴者から音声や文字が入力されたこと、視聴者が撮影されたこと、撮影された画像から解析した視聴者の姿勢や視線、ジェスチャーなどが取得されたこと、視聴者の身体反応を測定した測定データが取得されたことなど、視聴者に関して取得される情報（以下、ユーザイベント情報という。）が含まれる。また、イベントには、閲覧している視聴者の数、天気、時刻、天気、動画中でオブジェクトが接触したことなどのシステム側で取得できる情報（以下、システムイベント情報という。）も含めることができる。
【００１４】
配信される動画は、３Ｄモデルや動画データ、音声データなどの素材データに基づいて生成される。各素材データには、イベントに応じたアクションを設定することができる。
【００１５】
アクションは、素材データに対する操作であり、３Ｄモデルにより表現されるオブジェクトの出現、移動および消滅、アニメーション動作の開始および終了、動画の再生および停止、音声の再生および停止、素材データの変更（置換え）などを含めることができる。本実施形態では、配信される動画は、アクションの結果として出力される映像または画像を合成して作成されるものとする。
【００１６】
本実施形態の動画配信システムでは、イベントに応じてアクションを起動することにより、動的に配信動画を変化させることができる。以下、詳細について説明する。
【００１７】
図１は、本実施形態の動画配信システムの全体構成例を示す図である。本実施形態の動画配信システムは、配信者装置３を含んで構成され、配信者装置２は、ストリーミングサーバ２と通信可能に接続され、ストリーミングサーバ２は視聴者端末１と通信可能に接続される。視聴者端末１は多数が接続されていてよい。配信者装置３は、動画の送信を行う、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。配信者装置３は、たとえば、動画の配信を行いたいと考えている一般ユーザが操作する家庭用のコンピュータであってよい。配信者装置３からは、動画データがストリーミング方式によりストリーミングサーバ２に送出される。ストリーミングサーバ２は、配信者装置３から受け取った動画データを視聴者端末１に配信する、たとえばワークステーションやパーソナルコンピュータ、クラウドコンピューティングにより提供される仮想コンピュータなどのコンピュータである。ストリーミングサーバ２は、１つまたは複数の視聴者端末１に対して同時に動画データを配信することができる。視聴者端末１は視聴者が操作する、たとえばパーソナルコンピュータやタブレットコンピュータ、スマートフォンなどのコンピュータである。視聴者は視聴者端末１を操作してストリーミングサーバ２にアクセスし、視聴者端末１はストリーミングサーバ２から送出されてくる動画データを受信して再生することができる。また、視聴者端末１は、視聴者を撮影したり、視聴者の音声を録音したり、視聴者からコメントの入力を受け付けたりと、各種イベント情報の収集を行うことができる。１人または複数人の視聴者からのイベントはストリーミングサーバ２において収集され、配信者装置３は、たとえば、ストリーミングサーバ２が提供するＡＰＩ（Application Programming Interface）を呼び出すことにより、視聴者からのイベントを取得することができる。
【００１８】
なお、以下の説明において、ストリーミングにより配信されてリニアに再生される動画全体のことを特に「配信動画」という。配信動画は、カメラやマイクによりキャプチャした画像および音声を、リアルタイムに動画データにエンコードして送出する形式とすることもできるが、本実施形態では、配信動画は、素材データを組み合わせて合成したビデオデータとして生成することを想定している。
【００１９】
図２は、配信者装置３のハードウェア構成例を示す図である。配信者装置３は、ＣＰＵ３０１、メモリ３０２、記憶装置３０３、通信インタフェース３０４、入力装置３０５、出力装置３０６を備える。記憶装置３０３は、各種のデータやプログラムを記憶する、例えばハードディスクドライブやソリッドステートドライブ、フラッシュメモリなどである。通信インタフェース３０４は、通信ネットワーク３０に接続するためのインタフェースであり、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢ（Universal Serial Bus）コネクタやＲＳ２３２Ｃコネクタなどである。入力装置３０５は、データを入力する、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォンなどである。出力装置３０６は、データを出力する、例えばディスプレイやプリンタ、スピーカなどである。
【００２０】
図３は、配信者装置３のソフトウェア構成例を示す図である。同図に示すように、配信者装置３は、動画配信部３１１、イベント取得部３１２、アクション処理部３１３、素材ライブラリ３３１、アクション記憶部３３３、イベント記憶部３３４を備える。
【００２１】
なお、動画配信部３１１、イベント取得部３１２、アクション処理部３１３は、配信者装置３が備えるＣＰＵ３０１が、記憶装置３０３に記憶されているプログラムをメモリ３０２に読み出して実行することにより実現され、素材ライブラリ３３１、アクション記憶部３３３、イベント記憶部３３４は、配信者装置３が備えるメモリ３０２および記憶装置３０３の少なくともいずれかが提供する記憶領域の一部として実現される。
【００２２】
素材ライブラリ３３１は、動画に組み入れることのできる各種のデータ（素材データ）を記憶する。素材データは、たとえば、３Ｄモデル、静止画像、動画像、音声データ、ＭＩＤＩデータ、文字データなどである。図４は、素材ライブラリ３３１の構造例を示す図である。同図に示すように、素材ライブラリ３３１は、素材データを特定するための情報（素材ＩＤ）に対応付けて、各種の素材データを記憶する。
【００２３】
アクション記憶部３３３は、素材データに対する操作（アクション）に関する情報（以下、アクション情報という。）を記憶する。図５は、アクション記憶部３３３に記憶されるアクション情報の一例を示す図である。同図に示すように、アクション情報には、アクションを示すアクションＩＤ、判定期間、条件、およびアクションを含む。
【００２４】
判定期間は、イベントが条件を満たすかどうかの判定を行う期間を示す情報である。判定期間は、たとえば、現時点から５分前までなどと相対的に指定してもよいし、１２月２５日００：００から００：１０までというように絶対的に指定してもよい。
【００２５】
条件は、イベントに対するものであり、たとえば、イベントの有無であってもよいし、複数の視聴者からのイベントに関する集計値が閾値を超えたか否かであってもよい。
【００２６】
ユーザイベント情報に対しては、たとえば、視聴者が配信動画の再生中に所定のキーを押下したか否か、動画上の所定エリアをクリックまたはタップしたか否か、動画上の所定エリアをクリックまたはタップした視聴者の人数が閾値を超えたか否かなどを条件とすることができる。配信動画の生成に用いられた素材データに基づいて、配信動画中に表示されているオブジェクトがクリックまたはタップされたか否か、当該オブジェクトをクリックまたはタップした視聴者の人数が閾値を超えたか否かを条件とすることもできる。
【００２７】
また、視聴者端末１において視聴者から所定の文字（キーワード）の入力があったか否か、たとえば、配信動画に対して投稿されるコメントに所定のキーワードが含まれていたか否か、キーワードを入力した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。また、コメントを投稿した視聴者の地域ごとに集計したコメントまたは視聴者の数、たとえば、動画中で金額に対する意見を質問したことに対して視聴者が投稿した金額の集計値（平均値、中央値、最大値、最小値など）、コメントを構文解析することにより判断される視聴者の喜怒哀楽に基づく哀しんでいる視聴者の数などが所定の閾値を超えること、所定のキーワードを含むコメントが一度も投稿されなかったこと、などを条件とすることもできる。
【００２８】
また、音声認識を実行することにより、視聴者または視聴者の雰囲気に、たとえば、特定の言葉の発声が行われたか否か、拍手や口笛、足踏みなどが発音されていたか否かなどのように、特定の発音があったか否か、このような特定の発音があった視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、音声認識の処理は視聴者端末１が行い、認識結果をストリーミングサーバ２または配信者装置３に送信するようにしてもよいし、視聴者端末１からはキャプチャーされた音声データがストリーミングサーバ２を介してまたは直接配信者装置３に送信され、配信者装置３において音声認識処理を行うようにしてもよい。
【００２９】
また、視聴者が視聴者端末１において自撮り画像または視聴者の雰囲気を撮影したか否か、こうした画像がストリーミングサーバ２に投稿されたか否か、画像を投稿した視聴者の人数が閾値を超えたか否かを条件とすることもできる。また、画像解析により、所定のものを撮影した画像（たとえば、視聴者の周りにある特定の看板やフライヤーが撮影された画像）が投稿されたか否か、そのような画像を投稿した視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。さらに、画像解析により、視聴者の姿勢や視線、ジェスチャーなどを認識し、視聴者が所定の姿勢や視線、ジェスチャーをしたか否か、所定の姿勢や視線、ジェスチャーをした視聴者の人数が閾値を超えたか否かなどを条件とすることもできる。この場合、画像解析処理は、視聴者端末１が行い、解析結果をストリーミングサーバ２または配信者装置３に送信するようにしてもよいし、視聴者端末１からは撮影された画像データがストリーミングサーバ２を介してまたは直接配信者装置３に送信され、配信者装置３において画像解析処理を行うようにしてもよい。
【００３０】
また、システムイベント情報に対しては、たとえば、配信画像を視聴している視聴者の人数が閾値を超えたか否かを条件とすることができる。また、配信画像の再生から所定時間が経過したか否かを条件とすることもできる。また、視聴者もしくは配信者の所在地または所定の地域における天気をシステムイベント情報として取得したような場合には、この天気が所定の天気であるか否かを条件（たとえば、晴れであること、雨が降っていること、雪が降っていること、所定以上の強さの風が吹いていること、所定温度以上の気温であることなど）とすることができる。また、素材データが３Ｄモデルなどである場合、配信動画中においてオブジェクトが衝突したことを条件とすることもできる。
【００３１】
アクションは、上述したように素材データに対する各種の操作である。アクションにはパラメータも含めることができ、素材データに対して具体的にどのような操作を行うかを詳細に設定することができる。さらに本実施形態では、アクションは、素材データに対する操作のみでなく、他のアクションの実行や停止、他のアクションの実行が完了するのを待機するなどの処理を含むことができる。アクションは、たとえば、スクリプト言語により表記されたプログラムとして格納することもできる。
【００３２】
動画配信部３１１は、動画を配信する。アクションから複数のアクションが実行されることもある。動画配信部３１１は、後述するアクション処理部３１３が実行するアクションからの出力を合成して（必要に応じてエンコードして）、配信動画を生成することができる。また、動画配信部３１１は、生成した配信動画をストリーミングサーバ２に送信することで、視聴者端末１に動画を配信することができる。
【００３３】
イベント記憶部３３４は、発生した各種のイベントを記憶する。図６は、イベント記憶部３３４の構成例を示す図である。上述したように、イベント記憶部３３４は、ユーザイベント情報と、システムイベント情報とを記憶している。以下、ユーザイベント情報と、システムイベント情報とを合わせてイベント情報ともいう。ユーザイベント情報には、イベントを示すイベントＩＤ、イベントに関する視聴者を示す視聴者ＩＤ、イベントの発生した日時、およびイベントの内容が含まれる。また、システムイベント情報には、イベントＩＤ、イベントの発生した日時およびイベントの内容が含まれる。イベントの内容は、イベントにより異なり、たとえば、ユーザイベント情報の場合、視聴者が配信動画に対してコメントを投稿したときには、投稿されたコメントがイベント内容として設定されうる。また、視聴者端末１が視聴者を撮影した画像を解析して視聴者の視線やジェスチャーを得られたときには、これらの視線やジェスチャーを示す情報がイベントの内容として設定されうる。システムイベント情報の場合、視聴者の数、天気、時刻などがイベントの内容として設定されうる。
【００３４】
イベント取得部３１２は、イベントを取得して、取得したイベントの内容をイベント情報としてイベント記憶部３３４に登録する。なお、イベント取得部３１２がどのようなイベントを取得するかについては、ユーザから設定可能であるものとする。どのようなイベントを取得するかを示す設定情報は、たとえば、メモリ３０２や記憶装置３０３などに記憶しておくことができる。
【００３５】
イベント取得部３１２は、たとえば、視聴者が入力したキーやタップ、クリックなどのイベントをユーザイベント情報として登録することができる。たとえば、Ｗｅｂブラウザにおいて配信動画が視聴されている場合には、Ｗｅｂブラウザ上で発生したクリックイベントをストリーミングサーバ２または配信者装置３に送信するようなスクリプトを設定しておき、イベント取得部３１２は、ストリーミングサーバ２を介してまたは直接、クリックイベントを取得することができる。
【００３６】
また、イベント取得部３１２は、たとえば、ストリーミングサーバ２が、投稿されたコメントを取得するためのＡＰＩを提供している場合には、当該ＡＰＩを呼び出すことにより、視聴者により投稿されたコメントを取得することができる。また、イベント取得部３１２は、コメントを構文解析して、所定のキーワードが含まれていることをユーザイベント情報として登録してもよい。
【００３７】
また、イベント取得部３１２は、たとえば、視聴者端末１からキャプチャーした音声データを受信し、受信した音声データを解析して特定の発音があったことをユーザイベント情報として登録することができる。なお、音声解析処理を視聴者端末１で行うようにして、イベント取得部３１２は、視聴者端末１から直接またはストリーミングサーバ２を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。また、イベント取得部３１２は、視聴者端末１から視聴者を撮影した画像を受信し、受信した画像を解析して視聴者の姿勢や視線、ジェスチャーなどを取得することもできる。あるいは視聴者端末１において画像の解析を行い、その結果を受信するようにすることもできる。イベント取得部３１２は、視聴中の視聴者の数を定期的にカウントしてシステムイベント情報に登録してもよい。なお、画像解析処理を視聴者端末１で行うようにして、イベント取得部３１２は、視聴者端末１から直接またはストリーミングサーバ２を介して、解析結果を受信してユーザイベント情報として登録するようにしてもよい。
【００３８】
また、イベント取得部３１２は、たとえば、クロックからタイムアウトイベントを取得するようにして、配信画像の再生開始から所定時間が経過したことをシステムイベント情報として登録することができる。イベント取得部３１２は、所定の時刻になったこと（たとえば、日付が変わったこと、午後３時になったことなど）をシステムイベント情報として登録することもできる。
【００３９】
また、イベント取得部３１２は、たとえば、気象会社のサーバなどから気象情報を取得して、特定の地域（たとえば、各視聴者の所在地もしくは配信者の所在地、または予め設定した地域）における気象要素をシステムイベント情報として登録することもできる。
【００４０】
また、イベント取得部３１２は、たとえば、素材データが３Ｄモデルなどである場合には、配信動画中においてオブジェクトが衝突したことを判定してシステムイベント情報として登録することもできる。
【００４１】
アクション処理部３１３は、素材データに対してアクションを実行する。アクション処理部３１３は、最初に実行するアクションの指定を受け付け、受け付けたアクションを実行する。アクションの中には他のアクションの起動が含まれうるため、この場合、アクション処理部３１３は、順次アクションを起動し続けていくことができる。なお、アクションは複数に分岐して並列に実行することも可能である。
【００４２】
アクション処理部３１３はまた、イベントに応じたアクションの実行を行う。アクション処理部３１３は、アクション記憶部３３３に記憶されているアクション情報のそれぞれについて、期間に対応するイベント情報をイベント記憶部３３４から読み出して集計し、条件を満たすか否かを判定し、条件を満たす場合には、アクション情報に設定されているアクションを実行する。これにより、イベントに応じて動画の展開を動的に変化させることが可能となる。
【００４３】
図７は、本実施形態の動画配信システムにより実行される処理の流れを説明する図である。
【００４４】
アクション処理部３１３は、最初に実行するアクションの指定を受け付け（Ｓ４２１）、指定されたアクションを実行する（Ｓ４２２）。アクションが実行された結果として出力される映像や音声は合成され、動画データとして動画配信部３１１によりストリーミングサーバ２に送信される。
【００４５】
イベント取得部３１２は、定期的にイベントを取得する（Ｓ４２３）。たとえば、イベント取得部３１２は、ストリーミングサーバ２が提供するＡＰＩを呼び出すことにより、配信動画に対して投稿されたコメントを取得することができる。またイベント取得部３１２は、タイマー機能を用いて所定の時間が経過したことを取得することができる。
【００４６】
アクション記憶部３３３に記憶されている各アクション情報について、アクション処理部３１３は、判定期間に入る日時のイベント情報をイベント記憶部３３４から読み出し（Ｓ４２４）、読み出したイベント情報のイベント内容がアクション情報の条件を満たすかどうか判定する（Ｓ４２５）。イベントが条件を満たす場合（Ｓ４２６：ＹＥＳ）、アクション処理部３１３は、アクション情報に含まれるアクションを実行する（Ｓ４２７）。ここでアクション処理部３１３は、以前に実行していたアクションを停止してもよいし、以前に実行していたアクションと並行して新たなアクションを実行するようにしてもよいし、この挙動を新たなアクション内で指定可能としてもよい。
【００４７】
アクション情報のアクションが配信動画を終了させるものでなければ（Ｓ４２８）、ステップＳ４２３からの処理を繰り返す。
【００４８】
以上のようにして、本実施形態の動画配信システムは、配信動画をストリーミングサーバ２経由で視聴者端末１に配信するとともに、配信動画の再生中における各種のイベントに応じて、再生中の配信動画に変更を加えることができる。したがって、録画済みの映像を利用しながらも、視聴者の反応に応じて配信動画に様々な展開を加えることが可能となり、ストリーミング形式での動画の配信方式によるライブ感を損なわずに動画を配信することが可能となる。
【００４９】
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００５０】
たとえば、本実施形態では、配信者装置３から送出した動画は、ストリーミングサーバ２を介して視聴者端末１に配信されるものとしたが、配信者装置３から各視聴者端末１に直接動画を配信するようにすることもできる。
【００５１】
また、本実施形態では、動画の再生途中であっても、コメントが条件を満たせば、次の部品動画データに遷移する（図７のステップＳ４２７）ものとしたが、現在のアクションの実行は最後まで行った後に、次のアクションに実行するようにしてもよい。
【符号の説明】
【００５２】
１      視聴者端末
２      ストリーミングサーバ
３      配信者装置
３１１  動画配信部
３１２  イベント取得部
３１３  アクション処理部
３３１  素材ライブラリ
３３３  アクション記憶部
３３４  イベント記憶部
【図１】
2020109896.tif 000003
【図２】
2020109896.tif 000004
【図３】
2020109896.tif 000005
【図４】
2020109896.tif 000006
【図５】
2020109896.tif 000007
【図６】
2020109896.tif 000008
【図７】
2020109896.tif 000009