(57)【要約】  【課題】映像コンテンツに対して視聴者がリアルタイムに抱いた思いを、製作者、出演者、並びに視聴者たちが共有できるようにするとともに、エンターテイメント性をさらに高める。  【解決手段】映像生成システムは、放送対象の主映像を受信する主映像受信部と、前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出する第１のコメント抽出部と、前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するコメント取得部と、前記コメントデータから前記第２の文字列を抽出する第２のコメント抽出部と、前記第１の文字列および前記第２の文字列を含むコメント映像を生成するコメント映像処理部と、前記主映像に前記コメント映像を合成して出力する合成部とを備える。【選択図】図１
2018101892.tif 000002
【特許請求の範囲】
【請求項１】
放送対象の主映像を受信する主映像受信部と、
前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出する第１のコメント抽出部と、
前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するコメント取得部と、
前記コメントデータから前記第２の文字列を抽出する第２のコメント抽出部と、
前記第１の文字列および前記第２の文字列を含むコメント映像を生成するコメント映像処理部と、
前記主映像に前記コメント映像を合成して出力する合成部と
を備える映像生成システム。
【請求項２】
請求項１に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の少なくとも一方を時系列に視覚的に変化させた前記コメント映像を生成する
映像生成システム。
【請求項３】
請求項２に記載の映像生成システムであって、
前記第１の文字列および前記第２の文字列それぞれの評価値を算出する評価値算出部を備え、
前記コメント映像処理部は、前記それぞれの評価値を比較し、比較結果に応じて、前記コメント映像における前記第１の文字列及び前記第２の文字列の変化の態様を異ならせる
映像生成システム。
【請求項４】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記他方の文字列の一部分またはすべての部分の前に重ねた状態で静止させる
映像生成システム。
【請求項５】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記他方の文字列に接触した状態で静止させる
映像生成システム。
【請求項６】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列を、前記一方の文字列と反対方向へ移動させ、映像領域外へ消えさせる
映像生成システム。
【請求項７】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列に亀裂の模様を付与する
映像生成システム。
【請求項８】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列を傾けて前記他方の文字列の前に重ねる
映像生成システム。
【請求項９】
請求項２に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列を押し潰されたように変形させる
映像生成システム。
【請求項１０】
請求項１に記載の映像生成システムであって、
前記コメント取得部は、第３の文字列を含む前記コメントデータを取得し、
前記第２のコメント抽出部は、前記コメントデータから前記第３の文字列を抽出し、
前記コメント映像処理部は、既に生成した前記コメント映像中の前記第１の文字列及び前記第２の文字列の少なくとも一方と、前記第３の文字列とを含む前記コメント映像を生成する
映像生成システム。
【請求項１１】
請求項１０に記載の映像生成システムであって、
前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の少なくとも一方と、前記第３の文字列とを時系列に視覚的に変化させた前記コメント映像を生成する
映像生成システム。
【請求項１２】
請求項１に記載の映像生成システムであって、
前記コメントデータは、前記第２の文字列のフォーマットを含み、
前記コメント映像処理部は、前記コメントデータに含まれる前記フォーマットを前記第２の文字列に適用する
映像生成システム。
【請求項１３】
請求項１に記載の映像生成システムであって、
前記第１のコメント抽出部は、前記音声データから複数の前記第１の文字列を抽出し、前記抽出した複数の第１の文字列から１つを選択し、
前記コメント映像処理部は、前記選択された第１の文字列を含む前記コメント映像を生成する
映像生成システム。
【請求項１４】
請求項１に記載の映像生成システムであって、
前記コメント取得部は、複数の前記コメントデータを取得し、
前記第２のコメント抽出部は、前記複数のコメントデータから複数の前記第２の文字列を抽出し、前記抽出した複数の第２の文字列から１つを選択し、
前記コメント映像処理部は、前記選択された第２の文字列を含む前記コメント映像を生成する
映像生成システム。
【請求項１５】
請求項１に記載の映像生成システムであって、
前記第１のコメント抽出部は、前記音声データから他の１つ以上の前記第１の文字列を抽出し、所定条件を満たす第１の文字列を特定し、
前記コメント映像処理部は、前記所定条件を満たす第１の文字列が特定された場合、前記コメント映像の出力を停止する
映像生成システム。
【請求項１６】
放送対象の主映像を受信する主映像受信部と、
前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出する第１のコメント抽出部と、
前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するコメント取得部と、
前記コメントデータから前記第２の文字列を抽出する第２のコメント抽出部と、
前記第１の文字列および前記第２の文字列を含むコメント映像を生成するコメント映像処理部と
を備えるコメント映像生成装置。
【請求項１７】
映像生成システムにおける映像生成方法であって、
放送対象の主映像を受信するステップと、
前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出するステップと、
前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するステップと、
前記コメントデータから前記第２の文字列を抽出するステップと、
前記第１の文字列および前記第２の文字列を含むコメント映像を生成するステップと、
前記主映像に前記コメント映像を合成して出力するステップと
を含む映像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像生成システム、コメント映像生成装置、及び映像生成方法に関する。
【背景技術】
【０００２】
従来から、テレビ放送では、ライブあるいは録画された映像データにテロップ（スーパー）が合成されて放送されている。特許文献１には、「映像Ｐに、天気予報等の情報を付加させたい場合は、映像Ｐに文字や図形等のテロップＴを合成（スーパーインポーズ）する」ことが記載されている。放送された映像コンテンツを視聴した視聴者は、様々な感想を抱いたり、様々な情報を得たりすることができる。また、視聴者は、映像コンテンツについて家族や友人と会話することもできる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３５００３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のテレビ放送では、ライブプログラムにおいても録画プログラムにおいても、製作者が事前に作成したテロップを、趣旨が合致する映像の場面に入れ込むといった、製作者目線での映像処理手法しか取られていない。そのため、視聴者側は映像コンテンツを一方的に受け取って視聴するのみであり、自身が抱いた感想や意見等の思いを主張したり、当該番組の出演者や製作者、あるいは同時刻に視聴している遠隔の他の視聴者と共有したりすることは簡単にはできない。また、従来のテレビ放送では、コンテンツの製作者側の意図による表現に頼るのみで、一般視聴者を巻き込む形のいわゆる“視聴者参加型”としてのエンタータインメント性を向上しにくい。
【０００５】
そこで、本発明は、映像コンテンツに対して視聴者がリアルタイムに抱いた思いを、製作者、出演者、並びに視聴者たちが共有できるようにするとともに、エンターテイメント性をさらに高め、今後のマスメディアが課題とする双方向性を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
上記の課題を解決する本発明の一態様は、映像生成システムであって、放送対象の主映像を受信する主映像受信部と、前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出する第１のコメント抽出部と、前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するコメント取得部と、前記コメントデータから前記第２の文字列を抽出する第２のコメント抽出部と、前記第１の文字列および前記第２の文字列を含むコメント映像を生成するコメント映像処理部と、前記主映像に前記コメント映像を合成して出力する合成部とを備える。
【０００７】
上記の映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の少なくとも一方を時系列に視覚的に変化させた前記コメント映像を生成してもよい。
【０００８】
上記のいずれかの映像生成システムは、前記第１の文字列および前記第２の文字列それぞれの評価値を算出する評価値算出部を備え、前記コメント映像処理部は、前記それぞれの評価値を比較し、比較結果に応じて、前記コメント映像における前記第１の文字列及び前記第２の文字列の変化の態様を異ならせてもよい。
【０００９】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記他方の文字列の一部分またはすべての部分の前に重ねた状態で静止させてもよい。
【００１０】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記他方の文字列に接触した状態で静止させてもよい。
【００１１】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列を、前記一方の文字列と反対方向へ移動させ、映像領域外へ消えさせてもよい。
【００１２】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列に亀裂の模様を付与してもよい。
【００１３】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列を傾けて前記他方の文字列の前に重ねてもよい。
【００１４】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の一方の文字列を、他方の文字列の方向へ移動させ、前記一方の文字列が接触した前記他方の文字列を押し潰されたように変形させてもよい。
【００１５】
上記のいずれかの映像生成システムにおいて、前記コメント取得部は、第３の文字列を含む前記コメントデータを取得し、前記第２のコメント抽出部は、前記コメントデータから前記第３の文字列を抽出し、前記コメント映像処理部は、既に生成した前記コメント映像中の前記第１の文字列及び前記第２の文字列の少なくとも一方と、前記第３の文字列とを含む前記コメント映像を生成してもよい。
【００１６】
上記のいずれかの映像生成システムにおいて、前記コメント映像処理部は、前記第１の文字列及び前記第２の文字列の少なくとも一方と、前記第３の文字列とを時系列に視覚的に変化させた前記コメント映像を生成してもよい。
【００１７】
上記のいずれかの映像生成システムにおいて、前記コメントデータは、前記第２の文字列のフォーマットを含み、前記コメント映像処理部は、前記コメントデータに含まれる前記フォーマットを前記第２の文字列に適用してもよい。
【００１８】
上記のいずれかの映像生成システムにおいて、前記第１のコメント抽出部は、前記音声データから複数の前記第１の文字列を抽出し、前記抽出した複数の第１の文字列から１つを選択し、前記コメント映像処理部は、前記選択された第１の文字列を含む前記コメント映像を生成してもよい。
【００１９】
上記のいずれかの映像生成システムにおいて、前記コメント取得部は、複数の前記コメントデータを取得し、前記第２のコメント抽出部は、前記複数のコメントデータから複数の前記第２の文字列を抽出し、前記抽出した複数の第２の文字列から１つを選択し、前記コメント映像処理部は、前記選択された第２の文字列を含む前記コメント映像を生成してもよい。
【００２０】
上記のいずれかの映像生成システムにおいて、前記第１のコメント抽出部は、前記音声データから他の１つ以上の前記第１の文字列を抽出し、所定条件を満たす第１の文字列を特定し、前記コメント映像処理部は、前記所定条件を満たす第１の文字列が特定された場合、前記コメント映像の出力を停止してもよい。
【００２１】
上記の課題を解決する本発明の他の態様は、コメント映像生成装置であって、放送対象の主映像を受信する主映像受信部と、前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出する第１のコメント抽出部と、前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するコメント取得部と、前記コメントデータから前記第２の文字列を抽出する第２のコメント抽出部と、前記第１の文字列および前記第２の文字列を含むコメント映像を生成するコメント映像処理部とを備える。
【００２２】
上記の課題を解決する本発明の他の態様は、映像生成システムにおける映像生成方法であって、放送対象の主映像を受信するステップと、前記主映像に含まれる音声データから、前記主映像の出演者のコメントに対応する第１の文字列を抽出するステップと、前記主映像を視聴したユーザのコメントに対応する第２の文字列を含むコメントデータを取得するステップと、前記コメントデータから前記第２の文字列を抽出するステップと、前記第１の文字列および前記第２の文字列を含むコメント映像を生成するステップと、前記主映像に前記コメント映像を合成して出力するステップとを含む。
【発明の効果】
【００２３】
本発明の一態様によれば、映像コンテンツに対して視聴者がリアルタイムに抱いた思いを、製作者、出演者、並びに視聴者たちが共有できるとともに、エンターテイメント性をさらに高め、双方向性を向上させることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る、映像生成システムのシステム構成例を示す図である。
【図２】本発明の実施形態に係る、映像生成システムの機能構成例を示すブロック図である。
【図３】本発明の実施形態に係る、コメント映像生成装置を実現するコンピュータのハードウェア構成例を示す図である。
【図４】本発明の実施形態に係る、コメント映像生成装置の処理例を示すフローチャートである。
【図５】本発明の実施形態に係る、コメント映像の一例を説明する図である。
【図６】本発明の実施形態に係る、コメント映像の他の例を説明する図である。
【図７】本発明の実施形態に係る、コメント映像のさらに他の例を説明する図である。
【図８】本発明の実施形態に係る、コメント映像のさらに他の例を説明する図である。
【図９】本発明の実施形態に係る、コメント映像のさらに他の例を説明する図である。
【図１０】本発明の実施形態の第１変形例に係る、コメント映像生成装置の処理例を示すフローチャートである。
【図１１】本発明の実施形態の第２変形例に係る、コメント映像生成装置の処理例を示すフローチャートである。
【図１２】本発明の実施形態及び各変形例を組み合わせた映像生成システムにより提供される映像コンテンツの例を示す図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、図面を参照して説明する。
【００２６】
図１は、実施形態に係る、映像生成システムのシステム構成例を示す図である。図１を用いて映像生成システム１００の概要を説明する。
【００２７】
映像生成システム１００は、放送装置１と、コメント映像生成装置１０とを含む。映像生成システム１００は、例えば放送事業者により運営される。映像生成システム１００は、放送設備（図示せず）を介して、テレビ番組等の映像コンテンツを放送することができる。放送された映像コンテンツは、テレビ受像機４で受信及び表示され、ユーザ（視聴者の１人）Ｕによって視聴される。また、映像生成システム１００は、通信ネットワークＮを介して、ユーザＵの使用する通信端末５と通信することができる。通信ネットワークＮは、例えばインターネットであるが、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）等の他の形態であってもよい。テレビ受像機４、通信端末５、及びユーザＵは、それぞれ複数存在していてもよい。
【００２８】
本実施形態では、映像コンテンツの放送媒体及びその放送設備は、既存のものを利用できるので、説明を省略する。放送媒体は、例えば、アナログ放送、地上波デジタル放送、ワンセグ放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）やＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓａｔｅｌｌｉｔｅ）等の衛星放送、インターネット放送などを含むことができる。
【００２９】
放送装置１は、映像コンテンツを生成して放送設備に出力する。本実施形態では、映像コンテンツとは、予め用意されたテレビ番組等の放送対象の主映像（映像データ及び音声データを含む）、あるいは、主映像にテロップ（スーパー）映像を合成したテロップ付き主映像、あるいは、主映像若しくはテロップ付き主映像に後述するコメント映像を合成した映像を含む。なお、放送装置１は、主映像をコメント映像生成装置１０に出力し、生成されたコメント映像をコメント映像生成装置１０から取得し、主映像又はテロップ付き主映像に合成する。
【００３０】
テレビ受像機４は、放送装置１から出力され放送設備を介して放送された映像コンテンツを受信し、受信した映像コンテンツを表示画面に表示する。なお、通信端末５も、放送装置１から出力された映像コンテンツを受信し、受信した映像コンテンツを表示画面に表示してもよい。
【００３１】
通信端末５は、モバイルコンピュータ、スマートフォン、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、ウェアラブルコンピュータ、ゲーム機、車載ナビゲーション装置といった電子機器を含む。通信端末５は、通信ネットワークＮを介して、コメント映像生成装置１０と通信することができる。
【００３２】
コメント映像生成装置１０は、放送装置１から主映像を受け取るとともに、当該主映像の音声データから、当該主映像の出演者のコメントに対応する第１の文字列（以下「出演者コメント」とも呼ぶ）を抽出する。
【００３３】
また、コメント映像生成装置１０は、通信端末５からコメントデータを受け取る。コメントデータは、ユーザＵのコメント文字列が記載されたデータである。コメントは、映像コンテンツを視聴したユーザＵの感想や意見等の思いである。コメントは、例えば、映像コンテンツ内の出演者のコメントに対するツッコミやボケなどを含むことができる。コメント映像生成装置１０は、受信したコメントデータからユーザＵのコメントに対応する第２の文字列（以下「ユーザコメント」とも呼ぶ）を抽出する。
【００３４】
また、コメント映像生成装置１０は、取得した第１の文字列を含むコメント画像と、取得した第２の文字列を含むコメント画像とを生成する。また、コメント映像生成装置１０は、これらの生成したコメント画像を用いてコメント映像を生成し、当該コメント映像を放送装置１に送出する。
【００３５】
ユーザＵは、表示画面に表示された映像コンテンツを視聴する。映像コンテンツにはニュース、ドラマ、映画、スポーツ中継、教育、バラエティーといった様々なジャンルがあり、ユーザＵは様々な情報を映像コンテンツから得ることができる。映像コンテンツを視聴するユーザＵは、その映像コンテンツに出演している出演者（音声だけで出演するナレータ等の出演者を含む）の発言やセリフ等のコメントに対して、様々な感想や意見等の思いを抱くこととなる。
【００３６】
本実施形態では、ユーザＵは、映像コンテンツを視聴しながら通信端末５を使ってコメントを入力し、放送事業者側の映像生成システム１００に送信（投稿といってもよい）することができる。映像生成システム１００は、投稿されたコメントを主映像に合成した映像コンテンツを生成し、放送する。これにより、ユーザＵのコメントは、その他の視聴者（番組の出演者や製作者を含む）によって視認可能となり、ユーザＵのリアルタイムの思いは複数の視聴者の間で共有される。
【００３７】
また、本実施形態では、映像生成システム１００は、主映像から出演者のコメントを認識し、当該出演者コメントを主映像に合成した映像コンテンツを生成し、放送する。映像生成システム１００は、出演者コメントとユーザコメントの両方を主映像に合成した映像コンテンツを生成することもできる。ユーザＵは、映像中の出演者コメントを視認して、これに関連するコメントを投稿することができる。これにより、例えば文脈上関連のある複数のコメントがその他の視聴者によって視認可能となる。
【００３８】
なお、後述するように、映像生成システム１００は、動作させた出演者コメントとユーザコメントを主映像に合成して出力する。これにより、各コメントの動きが映像上で生じ、エンターテイメント性を向上することができる。
【００３９】
図２は、映像生成システムの機能構成例を示したブロック図である。
【００４０】
放送装置１は、主映像出力部７と、合成部２と、テロップ出力部３とを備える。コメント映像生成装置１０は、主映像受信部１１と、出演者コメント抽出部１２と、ユーザコメント取得部１３と、ユーザコメント抽出部１４と、コメント映像処理部１５とを備える。
【００４１】
主映像出力部７は、予め生成された放送対象の主映像（映像データ及び音声データを含む）を、合成部２およびコメント映像生成装置１０に送出する。主映像出力部７は、放送装置１が備える記憶部（図示せず）から主映像を取得してもよいし、放送装置１に接続される外部装置（例えばテレビカメラ等の撮像機器）から主映像を取得してもよい。放送対象の主映像は、ライブ映像であってもよいし、収録映像であってもよい。
【００４２】
テロップ出力部３は、予め生成されたテロップ映像を、合成部２に送出する。テロップ出力部３は、放送装置１が備える記憶部（図示せず）からテロップ映像を取得してもよいし、放送装置１に接続される外部装置（例えば映像編集機器）からテロップ映像を取得してもよい。
【００４３】
主映像受信部１１は、主映像出力部７から主映像を受け付け、出演者コメント抽出部１２に出力する。
【００４４】
出演者コメント抽出部１２は、主映像の音声データに対して音声認識処理を実行し、音声データから出演者コメント（第１の文字列）を抽出し、コメント映像処理部１５に出力する。音声認識処理は、例えば、予めサンプリングした大量の言語モデルの中から、音声データ中の音声適合する単語列やテキストパターンを特定することで、出演者コメントを抽出すればよい。出演者コメント抽出部１２は、映像データから出演者の口の動きを解析し、口の動きの特性に適合する文字列を求めることで、出演者コメントを生成してもよい。
【００４５】
ユーザコメント取得部１３は、通信端末５からコメントデータを取得し、ユーザコメント抽出部１４に出力する。具体的には、ユーザＵの操作を受け付けた通信端末５の送信要求に応じて、ユーザコメント取得部１３は、入力Ｗｅｂページを通信端末５に送信する。入力Ｗｅｂページは、例えば、コメント映像生成装置１０の備える記憶部（図示せず）に予め記憶されている。
【００４６】
通信端末５は、受信した入力Ｗｅｂページを表示画面に表示し、ユーザＵからの入力操作を受け付ける。入力Ｗｅｂページには、例えば、映像コンテンツに対するコメントの文字列を入力するための入力欄と、入力されたコメントをコメント映像生成装置１０にアップロードするための送信ボタンとが組み込まれている。通信端末５は、送信ボタンの押下を受け付けると、入力Ｗｅｂページに入力されたコメントを含むコメントデータを、コメント映像生成装置１０に送信する。
【００４７】
なお、入力Ｗｅｂページには、いずれか１つの定型文を選択可能に複数の定型文が一覧表示されてもよい。通信端末５は、一覧の中から選択された定型文をコメントとして含むコメントデータを送信すればよい。
【００４８】
また、文字列の入力欄では、文字数の上限が定められていてもよい。一般に、視聴者は、テロップなどの文字列の文字数が少ないほど、表示画面上に表示されたテロップの内容を直感的に理解できる。そこで、コメント文字列の内容をより直感的に理解できるよう、文字数の上限値は、例えば１５文字に設定することができる。
【００４９】
また、入力Ｗｅｂページには、コメント文字列のフォーマット（フォント色、フォントタイプ、フォントサイズ等）を設定するための設定欄を設けてもよい。通信端末５は、当該フォーマット情報を含むコメントデータを送信すればよい。
【００５０】
ユーザコメント抽出部１４は、コメントデータからユーザコメント（第２の文字列）を抽出し、コメント映像処理部１５に出力する。
【００５１】
コメント映像処理部１５は、入力されたコメント文字列を含むコメント画像を生成し、生成したコメント画像を時系列に視覚的に変化させた映像、すなわちコメント映像（映像データ）を生成する。つまり、コメント映像処理部１５は、出演者コメントに対応する画像とユーザコメントに対応する画像とを含むコメント映像を生成する。コメント映像処理部１５は、生成したコメント映像を合成部２に送出する。
【００５２】
具体的には、コメント映像処理部１５は、第１の文字列を含む、映像領域上に配置可能な画像データ（出演者コメント画像）を生成する。画像データ内の第１の文字列のフォーマット（フォント色、フォントタイプ、フォントサイズ等）は、予め設定されたものを適用すればよい。また、コメント映像処理部１５は、第２の文字列を含む、映像領域上に配置可能な画像データ（ユーザコメント画像）を生成する。画像データ内の第２の文字列のフォーマット（フォント色、フォントタイプ、フォントサイズ等）は、予め設定されたものを適用するか、上述のように入力Ｗｅｂページで設定されたものを少なくとも一部適用してもよい。
【００５３】
また、コメント映像処理部１５は、コメント画像の変化の態様を定義した動作規則を用いて、出演者コメント画像およびユーザコメント画像を時系列に変化させたコメント映像を生成する。動作規則は、コメント映像生成装置１０の備える記憶部に予め記憶される。異なる動作の態様を定義した複数の動作規則が、記憶部に記憶されていてもよい。各動作規則は、例えば、プログラミング言語で記述したスクリプトで実現することができる。なお、コメント画像の動作には、映像上同じ位置に静止し続ける動作も含まれる。
【００５４】
合成部２は、主映像出力部７から主映像の入力を受け付ける。また、合成部２は、コメント映像処理部１５からコメント映像の入力を受け付ける。合成部２は、主映像（映像データ）とコメント映像（映像データ）とを合成し、合成した映像、すなわち映像コンテンツを生成し、放送設備に出力する。合成部２は、主映像を背景としコメント映像を前景としてこれらを重ね合わせる。例えば、主映像には番組の本編が含まれ、コメント映像には出演者のコメントとユーザのコメントが含まれる。この場合、出演者のコメントとユーザのコメントが番組の本編映像の前面に映し出されることとなる。
【００５５】
なお、合成部２は、テロップ出力部３からテロップ映像の入力を受け付けることもできる。この場合、合成部２は、主映像にテロップ映像を合成してテロップ付き主映像を生成し、さらにコメント映像を合成する。コメント映像は、テロップ付き主映像の前景として重ね合わせられる。コメント映像を受け付けていない場合は、合成部２は、主映像又はテロップ付き主映像を映像コンテンツとして出力すればよい。
【００５６】
図３は、実施形態に係る、コメント映像生成装置を実現するコンピュータのハードウェア構成例を示す図である。コメント映像生成装置１０は、例えば図３に示すようなコンピュータ９０により実現することができる。
【００５７】
コンピュータ９０は、例えば、サーバコンピュータであるが、パーソナルコンピュータ、スマートフォン、タブレットコンピューター等のコンピュータ機器であってもよい。また、コメント映像生成装置１０は、複数のコンピュータ９０により構成されてもよい。
【００５８】
コンピュータ９０は、演算装置９１と、主記憶装置９２と、外部記憶装置９３と、通信装置９４と、読み書き装置９５と、入力装置９６と、出力装置９７とを含む。
【００５９】
演算装置９１は、例えば、ＣＰＵなどの演算ユニットである。主記憶装置９２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などの記憶装置である。外部記憶装置９３は、例えば、ハードディスクやＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、あるいはフラッシュＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記憶装置である。通信装置９４は、ネットワークケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。読み書き装置９５は、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ等の記録媒体に情報を読み書きする装置である。入力装置９６は、キーボードやマウスなどのポインティングデバイス、タッチパネル、マイクロフォンなどを含む、入力情報を受け付ける装置である。出力装置９７は、ディスプレイ、プリンター、スピーカーなどを含む、出力情報を出力する装置である。主記憶装置９２及び外部記憶装置９３の少なくとも一部は、例えば、通信装置９４を介して接続されるネットワーク上のストレージにより実現されてもよい。
【００６０】
主映像受信部１１、出演者コメント抽出部１２、ユーザコメント取得部１３、ユーザコメント抽出部１４、およびコメント映像処理部１５は、例えば、演算装置９１が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、外部記憶装置９３内に記憶され、実行にあたって主記憶装置９２上にロードされ、演算装置９１によって実行される。放送装置１や通信端末５との通信は、例えば通信装置９４を用いて実現することができる。記憶部は、例えば外部記憶装置９３を用いて実現することができる。
【００６１】
なお、コメント映像生成装置１０と同様に、放送装置１も例えば図３に示すようなコンピュータ９０により実現することができる。この場合、主映像出力部７、合成部２、およびテロップ出力部３は、例えば、演算装置９１が所定のアプリケーションプログラムを実行することによって実現することができる。コメント映像生成装置１０との通信は、例えば通信装置９４を用いて実現することができる。記憶部は、例えば外部記憶装置９３を用いて実現することができる。
【００６２】
図４は、実施形態に係る、コメント映像生成装置の処理例を示すフローチャートである。図４は、コメント映像の生成処理を示している。
【００６３】
まず、主映像受信部１１は、放送装置１から出力される主映像を受信する（ステップＳ１１）。また、ユーザコメント取得部１３は、通信端末５から出力されるコメントデータを受信する（ステップＳ１１）。
【００６４】
次に、出演者コメント抽出部１２は、ステップＳ１１で受信された主映像の音声データに対して音声認識処理を実行し、第１の文字列（出演者コメント）を抽出する（ステップＳ１２）。ここで、出演者コメント抽出部１２は、複数の出演者コメント（同じ出演者のコメントでもよいし、複数の出演者のコメントでもよい）を抽出してもよい。この場合、出演者コメント抽出部１２は、所定規則に従って１つの出演者コメントを選択すればよい。ある例では、出演者コメント抽出部１２は、ランダムに１つの出演者コメントを選択する。他の例では、出演者コメント抽出部１２は、各出演者コメントの評価に基づいて１つの出演者コメントを選択する。具体例としては、出演者コメント抽出部１２は、抽出した複数の出演者コメントそれぞれについて面白味を示す評価値を算出し、これらの評価値に基づいて、最も面白味のある出演者コメントを選択する。このような評価値の算出には、例えば、文字列の解析や評価を実行できる人工知能を利用すればよい。人工知能は、映像生成システム１００内のコンピュータに実装されてもよいし、外部のコンピュータに実装されてもよい。
【００６５】
また、ユーザコメント抽出部１４は、ステップＳ１１で受信されたコメントデータから第２の文字列（ユーザコメント）を抽出する（ステップＳ１３）。ここで、ステップＳ１１において、ユーザコメント取得部１３は、複数のコメントデータを、複数のユーザＵの通信端末５から受信してもよい。この場合、ユーザコメント抽出部１４は、複数のコメントデータからそれぞれユーザコメントを抽出する。そして、ユーザコメント抽出部１４は、所定規則に従って１つのユーザコメントを選択すればよい。ある例では、ユーザコメント抽出部１４は、ランダムに１つのユーザコメントを選択する。他の例では、ユーザコメント抽出部１４は、各ユーザコメントの評価に基づいて１つのユーザコメントを選択する。具体例としては、ユーザコメント抽出部１４は、抽出した複数のユーザコメントそれぞれに出演者コメントとの関連性（例えばツッコミやボケなどの文脈上の関連）を示す評価値を算出し、これらの評価値に基づいて、最も出演者コメントに関連しているユーザコメントを選択する。なお、評価値の算出には、例えば、文章や文脈の解析や評価を実行できる人工知能を利用すればよい。人工知能は、映像生成システム１００内のコンピュータに実装されてもよいし、外部のコンピュータに実装されてもよい。
【００６６】
次に、コメント映像処理部１５は、ステップＳ１２で抽出された第１の文字列に対応する出演者コメント画像を生成するとともに、ステップＳ１３で抽出された第２の文字列に対応するユーザコメント画像を生成する（ステップＳ１４）。
【００６７】
次に、コメント映像処理部１５は、ステップＳ１４で生成した出演者コメント画像およびユーザコメント画像に動作規則を適用し、これらの画像を時系列に変化させたコメント映像を生成し、合成部２に出力する（ステップＳ１５）。
【００６８】
図４では、ステップＳ１１、ステップＳ１２、およびステップＳ１３の順で移行する処理の一例を示したが、ステップＳ１１、ステップＳ１３、およびステップＳ１２の順で移行してもよい。また、ステップＳ１１の実行の後、ステップＳ１２およびステップＳ１３を並行的なタイミングで実行してもよい。
【００６９】
図５から図９は、実施形態に係る、コメント映像の複数の例を説明する図である。図５から図９のそれぞれのコメント映像には、異なる動作規則が適用されている。これらの図中の実線で表した矩形は、映像領域を示す。
【００７０】
なお、説明の便宜のため、出演者コメント画像を破線の矩形で示し、ユーザコメント画像を点線の矩形で示す。また、説明の便宜のため、図５から図９に示すコメント映像は模式的に示しており、実際のコメント映像から読み取れる文字列の表記を省いている。また、説明の便宜のため、図５から図９では、コメント映像を構成するいくつかのフレームを選択し、選択した各フレームを時系列にアルファベット順に示している。
【００７１】
図５は、動作規則＃１が適用されたコメント映像を示す。動作規則＃１では、出演者コメント画像は、映像領域内の所定位置で静止し、ユーザコメント画像は、映像領域の上方から出現し、出演者コメント画像に向かって下方に移動する（図５（Ａ）〜（Ｆ））。図５（Ｆ）に示すように、ユーザコメント画像は、出演者コメント画像から離間した所定位置まで進んだとき、静止する。動作規則＃１によれば、例えば、出演者コメントに関してユーザコメントがなされたことを、分かり易く表示することができる。
【００７２】
図６は、動作規則＃２が適用されたコメント映像を示す。動作規則＃２では、出演者コメント画像は、映像領域内の所定位置で静止し、ユーザコメント画像は、映像領域の上方から出現し、出演者コメント画像に向かって下方に移動する（図６（Ａ）〜（Ｆ））。ユーザコメント画像は、さらに出演者コメント画像に向かって移動し、出演者コメント画像の前面に重なる（図５（Ｇ）〜（Ｉ））。ユーザコメント画像は、出演者コメント画像の一部分またはすべての部分の前に重ねられた状態で静止する。動作規則＃２によれば、例えば、ユーザコメントが出演者コメントに重なるため、ユーザコメントが出演者コメントよりも強調されるように表示することができる。
【００７３】
図７は、動作規則＃３が適用されたコメント映像を示す。動作規則＃３では、ユーザコメント画像が出演者コメント画像に接触（衝突）するまでは、図６（Ａ）〜（Ｈ）と同様である。その後、ユーザコメント画像は、出演者コメント画像の上辺と接触した状態で静止する（図７（Ｉ））。動作規則＃３によれば、例えば、ユーザコメントが出演者コメントに隣接状態が維持されるため、ユーザコメントと出演者コメントの両方が強調されるように表示することができる。
【００７４】
図８は、動作規則＃４が適用されたコメント映像を示す。動作規則＃４では、ユーザコメント画像が出演者コメント画像に衝突するまでは、図７（Ａ）〜（Ｈ）と同様である。その後、ユーザコメント画像に衝突された出演者コメント画像は、下方に向かって移動し、映像領域外へ消えて行く（図８（Ｈ）〜（Ｌ））。なお、ユーザコメント画像は、出演者コメント画像が衝突時に存在した位置までさらに移動してもよい。動作規則＃４によれば、例えば、ユーザコメントによって出演者コメントが映像領域外へと弾き飛ばされるため、ユーザコメントが出演者コメントよりも強調されるように表示することができる。
【００７５】
なお、動作規則＃４とは逆に、出演者コメントによってユーザコメントが映像領域外へと弾き飛ばされる動作規則＃４Ａを用意してもよい。具体的には、この動作規則＃４Ａでは、ユーザコメント画像が出演者コメント画像に衝突するまでは、図８（Ａ）〜（Ｈ）と同様である。その後、出演者コメント画像に衝突したユーザコメント画像は、上方に向かって移動し、映像領域外へ消えて行く。動作規則＃４Ａによれば、例えば、出演者コメントによってユーザコメントが映像領域外へと弾き飛ばされるため、出演者コメントがユーザコメントよりも強調されるように表示することができる。
【００７６】
図９は、動作規則＃５、動作規則＃６、及び動作規則＃７が適用されたコメント映像を示す。動作規則＃５、動作規則＃６、及び動作規則＃７では、ユーザコメント画像が出演者コメント画像に衝突するまでは、図８（Ａ）〜（Ｈ）と同様である。動作規則＃５では、その後、図９（Ｉ）に示すように、出演者コメント画像に亀裂が発生する。例えば、出演者コメント画像には亀裂の模様を付与する画像処理が実行される。動作規則＃６では、その後、図９（Ｊ）に示すように、ユーザコメント画像は、出演者コメント画像に突き刺さる。例えば、ユーザコメント画像を傾けてその一部を出演者コメント画像の前に重ねる画像処理が実行される。動作規則＃７では、その後、図９（Ｋ）に示すように、ユーザコメント画像はさらに下方に移動して静止し、出演者コメント画像は静止した状態でユーザコメント画像によって上方から押し潰される。例えば、出演者コメント画像には押し潰されたように変形させる画像処理が実行される。動作規則＃５、動作規則＃６、又は動作規則＃７によれば、例えば、ユーザコメントによって出演者コメントが破壊されるため、ユーザコメントが出演者コメントよりも強調されるように表示することができる。
【００７７】
もちろん、動作規則は、上記の例に限定されない。例えば、出演者コメント画像の動作とユーザコメント画像の動作を交換してもよい（すなわち、破線で表した矩形は、ユーザコメント画像を示し、点線で表した矩形は、出演者コメント画像を示す）。また例えば、各コメント画像は、映像領域の縦方向に限らず、斜め方向や横方向に移動してもよい。
【００７８】
以上、本発明の実施形態について説明した。例えば、本実施形態では、主映像に出演者コメントとユーザコメントが合成された映像コンテンツが放送される。これにより、コメントを投稿したユーザ以外の他の視聴者もそのコメントを視聴できるため、ユーザの思いを複数の視聴者の間で共有することができる。また、エンターテイメント性が高められるとともに、双方向性が向上される。また例えば、本実施形態では、出演者コメントとユーザコメントは互いに関連性を持って映像領域上で変化する。これにより、エンターテイメント性を高めることができる。
【００７９】
［第１変形例］
次に、上述の実施形態の第１変形例について説明する。本変形例は、評価値を用いて２つの動作規則のうち１つを選択する点で実施形態とは異なる。上述の実施形態と共通する点は、説明を省略する。
【００８０】
本変形例では、コメント映像生成装置１０は、出演者コメントおよびユーザコメントにそれぞれ評価値を設定し、各評価値同士の比較結果に基づき動作規則を選択する。そこで、コメント映像生成装置１０は、上述した各機能部に加え、評価値算出部（不図示）を有する。
【００８１】
評価値算出部は、第１の文字列および第２の文字列のそれぞれについて評価値を算出する。例えば、評価値算出部は、コメント映像生成装置１０の備えるあるいは通信ネットワークＮに接続されたサーバ装置の備えるＷｅｂ検索エンジンを使用して、第１の文字列が記載されたＷｅｂページのヒット数と第２の文字列が記載されたＷｅｂページのヒット数とを取得する。そして、評価値算出部は、これらのヒット数に基づいて評価値を算出する。例えば、ヒット数が多いほど評価値が高くなるように算出する。なお、Ｗｅｂページの検索条件は、キーワードの一致に加え、例えば、Ｗｅｂページの更新時期などを設定してもよい。上述のような評価値の例によれば、各文字列に、トレンドの度合を表す評価を与えることができる。なお、評価値算出部は、文字列の解析や評価を実行できる人工知能により実現してもよい。人工知能は、映像生成システム１００内のコンピュータに実装されてもよいし、外部のコンピュータに実装されてもよい。
【００８２】
図１０は、実施形態の第１変形例に係る、コメント映像生成装置の処理例を示すフローチャートである。図１０は、コメント映像の生成処理を示している。
【００８３】
まず、主映像受信部１１は、放送装置１から出力される主映像を受信する（ステップＳ２１）。また、ユーザコメント取得部１３は、通信端末５から出力されるコメントデータを受信する（ステップＳ２１）。
【００８４】
次に、出演者コメント抽出部１２は、ステップＳ２１で受信された主映像の音声データに対して音声認識処理を実行し、第１の文字列（出演者コメント）を抽出する（ステップＳ２２）。評価値算出部は、ステップＳ２２で抽出された第１の文字列の評価値（第１の評価値）を算出する（ステップＳ２３）。
【００８５】
また、ユーザコメント抽出部１４は、ステップＳ２１で受信されたコメントデータから第２の文字列（ユーザコメント）を抽出する（ステップＳ２４）。評価値算出部は、ステップＳ２４で抽出された第２の文字列の評価値（第２の評価値）を算出する（ステップＳ２５）。
【００８６】
次に、コメント映像処理部１５は、ステップＳ２２で抽出された第１の文字列に対応する出演者コメント画像を生成するとともに、ステップＳ２４で抽出された第２の文字列に対応するユーザコメント画像を生成する（ステップＳ２６）。
【００８７】
それから、コメント映像処理部１５は、第１の評価値と第２の評価値とを比較し、第２の評価値が第１の評価値よりも小さいかどうかを判定する（ステップＳ２７）。
【００８８】
第２の評価値が第１の評価値以上であると判定した場合（ステップＳ２７：ＮＯ）、コメント映像処理部１５は、第１の動作規則を選択し（ステップＳ２８）、処理をステップＳ３０に進める。
【００８９】
第２の評価値が第１の評価値よりも小さいと判定した場合（ステップＳ２７：ＹＥＳ）、コメント映像処理部１５は、第２の動作規則を選択し、処理をステップＳ３０に進める。
【００９０】
それから、コメント映像処理部１５は、ステップＳ２６で生成した出演者コメント画像およびユーザコメント画像に、ステップＳ２８又はステップＳ２９で選択した動作規則を適用し、これらの画像を時系列に変化させたコメント映像を生成し、合成部２に出力する（ステップＳ３０）。
【００９１】
例えば、第１の動作規則には上述した動作規則＃４を採用し、第２の動作規則には上述した動作規則＃４Ａを採用することができる。この場合、評価値の小さい方のコメントが映像領域外へと弾き飛ばされる。
【００９２】
第１変形例によれば、出演者コメント及びユーザコメントの評価値の比較結果に応じて動作規則が変更される。これにより、２つの異なる動作パターンのコメント映像が表示されるため、さらにエンターテイメント性を向上することができる。
【００９３】
［第２変形例］
次に、上述の実施形態の第２変形例について説明する。本変形例は、評価値を用いて３つ以上の動作規則から１つを選択する点で第１変形例と異なる。第１変形例と共通する点は、説明を省略する。
【００９４】
図１１は、実施形態の第２変形例に係る、コメント映像生成装置の処理例を示すフローチャートである。図１１は、図１０のステップＳ２７〜Ｓ３０に替えて実行される処理を示している。本フローチャートでは、第１の閾値＜第２の閾値＜第３の閾値の関係を満たす、第１〜３の閾値（それぞれ負値、０、又は正値）が用いられる。
【００９５】
ステップＳ２６の後、コメント映像処理部１５は、第１の評価値と第２の評価値の比較結果としての差分値を算出する（ステップＳ３７）。本変形例では、コメント映像処理部１５は、第２の評価値から第１の評価値を減算して差分値（負値、０、又は正値）を求める。
【００９６】
それから、コメント映像処理部１５は、差分値と第１の閾値とを比較し、差分値が第１の閾値より小さいかどうかを判定する（ステップＳ３８）。
【００９７】
差分値が第１の閾値よりも小さいと判定した場合（ステップＳ３８：ＹＥＳ）、コメント映像処理部１５は、第１の動作規則を選択し（ステップＳ３９）、処理をステップＳ４５に進める。第１の動作規則には、例えば上述の動作規則＃４Ａを採用することができる。この場合、ユーザコメント画像が映像領域外へと弾き飛ばされるコメント映像が生成される。
【００９８】
差分値が第１の閾値以上であると判定した場合（ステップＳ３８：ＮＯ）、コメント映像処理部１５は、差分値と第２の閾値とを比較し、差分値が第２の閾値より小さいかどうかを判定する（ステップＳ４０）。
【００９９】
差分値が第２の閾値よりも小さいと判定した場合（ステップＳ４０：ＹＥＳ）、コメント映像処理部１５は、第２の動作規則を選択し（ステップＳ４１）、処理をステップＳ４５に進める。第２の動作規則には、例えば上述の動作規則＃３を採用することができる。この場合、出演者コメント画像とユーザコメント画像が映像領域内で互いに隣接して静止するコメント映像が生成される。
【０１００】
差分値が第２の閾値以上であると判定した場合（ステップＳ４０：ＮＯ）、コメント映像処理部１５は、差分値と第３の閾値とを比較し、差分値が第３の閾値より小さいかどうかを判定する（ステップＳ４２）。
【０１０１】
差分値が第３の閾値よりも小さいと判定した場合（ステップＳ４２：ＹＥＳ）、コメント映像処理部１５は、第３の動作規則を選択し（ステップＳ４３）、処理をステップＳ４５に進める。第３の動作規則には、例えば上述の動作規則＃５、動作規則＃６、又は動作規則＃７を採用することができる。この場合、出演者コメント画像に亀裂が発生する、又は、出演者コメント画像にユーザコメント画像が突き刺さる、又は、出演者コメント画像が押し潰されるコメント映像が生成される。
【０１０２】
差分値が第３の閾値以上であると判定した場合（ステップＳ４２：ＮＯ）、コメント映像処理部１５は、第４の動作規則を選択し（ステップＳ４４）、処理をステップＳ４５に進める。第４の動作規則には、例えば上述の動作規則＃４を採用することができる。この場合、出演者コメント画像が映像領域外へと弾き飛ばされるコメント映像が生成される。
【０１０３】
それから、コメント映像処理部１５は、ステップＳ２６で生成した出演者コメント画像およびユーザコメント画像に、ステップＳ３９、ステップＳ４１、ステップＳ４３、又はステップＳ４４で選択した動作規則を適用し、これらの画像を時系列に変化させたコメント映像を生成し、合成部２に出力する（ステップＳ４５）。
【０１０４】
第２変形例によれば、出演者コメント及びユーザコメントの評価値の比較結果としての差分値に応じて動作規則が変更される。これにより、３つ以上の異なる動作パターンのコメント映像が表示されるため、さらにエンターテイメント性を向上することができる。ユーザ及びその他の視聴者は、状況に応じて動作が変化するコメント映像から様々な印象を受ける。もちろん、閾値及び動作規則の数は、上述したフローチャートの例に限られない。
【０１０５】
［第３変形例］
次に、上述の実施形態の第３変形例について説明する。上述の実施形態、及び各変形例では、出演者コメントとユーザコメントが同時期に取得され、これらの２つのコメント画像を含むコメント映像が出力されているが、出演者コメントとユーザコメントを順次取得する場合について説明する。
【０１０６】
例えば、コメント映像生成装置１０は、まず出演者コメントのみを取得してその出演者コメント画像を含むコメント映像を出力する。出演者コメントのみを含むコメント映像を生成する場合、コメント映像生成装置１０は、出演者コメント画像を映像領域内の所定位置で静止させる動作規則を適用すればよい。
【０１０７】
その後、ユーザコメント取得部１３が新しいコメントデータを受信した場合、ユーザコメント抽出部１４は、受信されたコメントデータからユーザコメントの文字列を抽出する。コメント映像処理部１５は、抽出された文字列に対応するユーザコメント画像を生成する。それから、コメント映像処理部１５は、既に出力しているコメント映像中の出演者コメント画像と、新しく生成したユーザコメント画像とに、動作規則を適用し、これらの画像を時系列に変化させたコメント映像を生成し、合成部２に出力する。
【０１０８】
［第４変形例］
次に、上述の実施形態の第４変形例について説明する。上述の実施形態、及び各変形例では、１つの出演者コメントと１つのユーザコメントとを含むコメント映像を出力するが、第４変形例では、さらに別のユーザコメントを取得した場合について説明する。
【０１０９】
出演者コメント画像及びユーザコメント画像を含むコメント映像が出力されている状態で、ユーザコメント取得部１３が新しいコメントデータを受信した場合、ユーザコメント抽出部１４は、受信されたコメントデータからユーザコメント（第３の文字列）を抽出する。コメント映像処理部１５は、抽出された第３の文字列に対応するユーザコメント画像を生成する。
【０１１０】
それから、コメント映像処理部１５は、既に出力しているコメント映像（変化が終了した状態のコメント映像）中の出演者コメント画像と、新しく生成したユーザコメント画像とに、動作規則を適用し、これらの画像を時系列に変化させたコメント映像を生成し、合成部２に出力する。このとき、評価値算出部はこれらの各コメント画像の評価値を算出し、コメント映像処理部１５は評価値の比較結果に応じた動作規則を選択してもよい。
【０１１１】
なお、コメント映像処理部１５は、既に出力しているコメント映像中のユーザコメント画像（出演者コメント画像として扱う）と、新しく生成したユーザコメント画像とに、動作規則を適用し、これらの画像を時系列に動作させたコメント映像を生成し、合成部２に出力してもよい。このとき、評価値算出部はこれらの各コメント画像の評価値を算出し、コメント映像処理部１５は評価値の比較結果に応じた動作規則を選択してもよい。
【０１１２】
なお、コメント映像処理部１５は、既に出力しているコメント映像中の出演者コメント画像及びユーザコメント画像をグループ化したコメント画像（出演者コメント画像として扱う）と、新しく生成したユーザコメント画像とに、動作規則を適用し、これらの画像を時系列に動作させたコメント映像を生成し、合成部２に出力してもよい。このとき、評価値算出部はこれらの各コメント画像の評価値を算出し、コメント映像処理部１５は評価値の比較結果に応じた動作規則を選択してもよい。
【０１１３】
その後、さらにコメントデータが受信された場合も、コメント映像処理部１５は、既に出力しているコメント映像中のコメント画像と、新しいコメント画像とを用いてコメント映像を生成及び出力すればよい。
【０１１４】
第４変形例によれば、複数のユーザＵからのユーザコメントが順次受信された場合にも、コメント画像の動きが変化した映像コンテンツが継続して出力される。これにより、複数のユーザの思いが複数の視聴者の間で共有される。また、エンターテイメント性が高められるとともに、双方向性が向上される。また、ユーザコメント同士が互いに関連性を持って映像領域上で変化する。これにより、さらにエンターテイメント性を向上することができる。
【０１１５】
［他の変形例］
例えば、コメント映像処理部１５は、出演者コメント画像を含むコメント映像を出力後、所定条件が満たされる場合（例えば、出力後所定時間が経過した場合）に、当該出演者コメント画像をコメント映像から消去してもよい。また例えば、コメント映像処理部１５は、ユーザコメント画像を含むコメント映像を出力後、所定条件が満たされる場合（例えば、出力後所定時間が経過した場合）に、当該ユーザコメント画像をコメント映像から消去してもよい。このようにすれば、コメント画像の数の増加を防いで、主映像の視認性を向上または維持することができる。
【０１１６】
また例えば、コメント映像処理部１５は、１つの出演者コメント画像及び１つ以上のユーザコメント画像を含むコメント映像を出力している状態で、所定条件を満たす出演者コメントが出演者コメント抽出部１２によって主映像から抽出された場合、出力されているコメント映像の出力を停止してもよい。具体的には、出演者コメント抽出部１２は、主映像から１つ以上の出演者コメントを抽出し、それぞれについて面白味を示す評価値を算出し、これらの評価値に基づいて、所定値以上の面白味のある出演者コメントを特定する。評価値の算出には、例えば、文字列の解析や評価を実行できる人工知能を利用すればよい。人工知能は、映像生成システム１００内のコンピュータに実装されてもよいし、外部のコンピュータに実装されてもよい。所定値以上の面白味のある出演者コメントが特定された場合、コメント映像処理部１５は、出力されているコメント映像の出力を停止する。なお、その後、コメント映像処理部１５は、特定された出演者コメントを含むコメント映像を生成して出力すればよい。このようにすれば、エンターテイメント性及び双方向性を向上することができる。
【０１１７】
また例えば、コメント映像処理部１５は、特定の文字列（例えば、「一斉消去希望」）を含むコメントデータの受信回数をカウントし、所定回数（例えば、１回）以上取得された場合、出力されているコメント映像の出力を停止してもよい。コメント映像処理部１５は、コメント映像の出力停止後、所定時間が経過したら、新しく抽出した出演者コメント及びユーザコメントを用いてコメント映像を生成すればよい。このようにすれば、コメント画像の数の増加を防いで、主映像の視認性を向上または維持することができる。
【０１１８】
また例えば、評価値の算出方法は、ヒット数に限定されず、例えば、評価値算出部は、乱数を評価値として算出してもよい。このようにすれば、コメント画像の変化の規則性を低下させたあるいは排除したコメント映像を生成することができる。
【０１１９】
また例えば、コメント映像処理部１５は、コメント映像を生成する際に、各コメント画像の変化に連動した音声データ（例えば効果音）を生成し、合成部２に出力してもよい。合成部２は、映像コンテンツに当該音声データを含めて出力すればよい。このようにすれば、さらにエンターテイメント性を向上することができる。
【０１２０】
以上に説明した実施形態及び各変形例は、２つ以上を適宜組み合わせてもよい。本実施形態及び各変形例を組み合わせた映像生成システム１００によれば、例えば図１２に示すような映像コンテンツを提供することができる。
【０１２１】
図１２は、本発明の実施形態及び各変形例を組み合わせた映像生成システムにより提供される映像コンテンツの例を示す図である。図１２は、スポーツの実況中継番組の例を示している。図１２では、主映像は省略し、コメント映像を示している。説明の便宜のため、図１２では、コメント画像の動きを矢印で示す。
【０１２２】
まず、出演者コメント「今日は決勝戦です」が映像領域の下部に表示される（図１２（Ａ））。次に、ユーザコメント「絶対に行きます」が映像領域の上方から現れて下方に移動し、出演者コメントに衝突して静止する（図１２（Ｂ））。次に、別のユーザコメント「会場はどこ？」が映像領域の上方から現れて下方に移動し、ユーザコメント「絶対に行きます」に衝突して弾き飛ばす（図１２（Ｃ）〜（Ｄ））。
【０１２３】
次に、さらに別のユーザコメント「代々木スタジアム」が映像領域の上方から現れて下方に移動し、ユーザコメント「会場はどこ？」に衝突して静止する（図１２（Ｅ）〜（Ｆ））。次に、さらに別のユーザコメント「国立競技場だよ！」が映像領域の右方向から現れて左方向に移動し、ユーザコメント「代々木スタジアム」に衝突して弾き飛ばす（図１２（Ｇ）〜（Ｈ））。
【０１２４】
次に、さらに別のユーザコメント「キックオフ！」が映像領域の右上方向から現れて左下方向に移動し、グループ化されたコメント（ユーザコメント「国立競技場だよ！」、ユーザコメント「会場はどこ？」、及び出演者コメント「今日は決勝戦です」）に衝突して弾き飛ばす（図１２（Ｉ）〜（Ｊ））。
【０１２５】
なお、図２で示した放送装置１及びコメント映像生成装置１０の構成は、これらのデバイスの構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本発明が制限されることはない。放送装置１及びコメント映像生成装置１０の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的及び効果を達成できるのであれば、図示したものに限られない。また、上述の実施形態の映像生成システム１００は、放送装置１及びコメント映像生成装置１０の２つの装置を備えるが、１つ又は３つ以上の装置で実現してもよい。
【０１２６】
また、図４、図１０および図１１で示したフローチャートの処理単位は、コメント映像生成装置１０の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。コメント映像生成装置１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、本発明の目的及び効果を達成できるのであれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。
【０１２７】
本発明は、上記した実施形態及び各変形例に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。実施形態および各変形例の２つ以上を適宜組み合わせることもできる。
【０１２８】
本発明は、映像生成システム、コメント映像生成装置、及び放送装置だけでなく、コメント映像生成装置や放送装置で実行されるコンピュータ読み取り可能なプログラム、映像生成方法、などの様々な態様で提供することができる。
【符号の説明】
【０１２９】
１…放送装置、２…合成部、３…テロップ出力部、４…テレビ受像機、５…通信端末、７…主映像出力部、１０…コメント映像生成装置、１１…主映像受信部、１２…出演者コメント抽出部、１３…ユーザコメント取得部、１４…ユーザコメント抽出部、１５…コメント映像処理部、９０…コンピュータ、９１…演算装置、９２…主記憶装置、９３…外部記憶装置、９４…通信装置、９５…読み書き装置、９６…入力装置、９７…出力装置、１００…映像生成システム、Ｎ…通信ネットワーク、Ｕ…ユーザ
【図１】
2018101892.tif 000003
【図２】
2018101892.tif 000004
【図３】
2018101892.tif 000005
【図４】
2018101892.tif 000006
【図５】
2018101892.tif 000007
【図６】
2018101892.tif 000008
【図７】
2018101892.tif 000009
【図８】
2018101892.tif 000010
【図９】
2018101892.tif 000011
【図１０】
2018101892.tif 000012
【図１１】
2018101892.tif 000013
【図１２】
2018101892.tif 000014