(57)【要約】【課題】映像及び音声を配信する際、視聴者に合わせて表示する情報量を調節できる情報制御装置、情報制御方法、情報制御プログラム及び視聴端末を提供する。【解決手段】音声データを取得する受信部と、人物の顔の映像データを取得する視聴者映像受信部と、人物の顔の映像データに基づいて人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析部と、所定の表情を検出した場合、所定の表情を検出している時点に基づく音声データのキーワードから詳細情報を作成する詳細情報作成部と、を備える。【選択図】図１
2019161457.tif 000002
【特許請求の範囲】
【請求項１】
音声データを取得する受信部と、
人物の顔の映像データを取得する視聴者映像受信部と、
前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析部と、
前記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成部と、
を備える情報制御装置。
【請求項２】
前記詳細情報作成部は、前記所定の表情を検出した場合、所定の表情を検出している時点を基準とした所定の区間における前記音声データのキーワードから詳細情報を作成する
請求項１に記載の情報制御装置。
【請求項３】
前記詳細情報作成部は、前記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードであって、かつキーワードに関連づけられた値が所定の閾値以上である場合には前記音声データのキーワードから詳細情報を作成する
請求項１又は請求項２に記載の情報制御装置。
【請求項４】
所定の表情を検出している時点に基づく音声データのキーワードに関連する詳細情報を受信する受信部と、
前記詳細情報を複数受信した場合には、所定の順序に基づき、複数の詳細情報を表示させる表示部と、
を備える視聴端末。
【請求項５】
音声データを取得する受信ステップと、
人物の顔の映像データを取得する視聴者映像受信ステップと、
前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析ステップと、
前記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成ステップと、
を有する情報制御方法。
【請求項６】
音声データを取得する受信ステップと、
人物の顔の映像データを取得する視聴者映像受信ステップと、
前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析ステップと、
前記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成ステップと、
をコンピュータに実行させる情報制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報制御装置、情報制御方法、情報制御プログラム及び視聴端末に関する。
【背景技術】
【０００２】
例えば、ビデオカメラ、スマートフォン及びデータストレージ等から送信された映像及び音声に対して、字幕を自動生成して、映像及び音声と字幕とを同時に視聴者側に配信するシステムが知られている。例えば、ユーザに与える違和感を軽減する字幕音声を生成することが可能となる字幕音声生成装置に関する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０１８０７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の映像及び音声の配信は、配信元からの一方的なものであったため、視聴者によっては、表示されている情報が理解できない等の不都合が発生することがあった。この場合、視聴者は、理解できない単語等を検索するか、理解できないまま視聴することになるため、満足度が低下する。また、検索等を行う場合、詳細情報を検索している間に、映像及び音声が進んでしまい、余計に理解できなくなる可能性がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、映像及び音声を配信する際、視聴者に合わせて表示する情報量を調節できる情報制御装置、情報制御方法、情報制御プログラム及び視聴端末を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明に係る情報制御装置は、音声データを取得する受信部と、人物の顔の映像データを取得する視聴者映像受信部と、前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析部と、前記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成部と、を備える。
【０００７】
本発明に係る視聴端末は、所定の表情を検出している時点に基づく音声データのキーワードに関連する詳細情報を受信する受信部と、前記詳細情報を複数受信した場合には、所定の順序に基づき、複数の詳細情報を表示させる表示部と、を備える。
【０００８】
本発明に係る情報制御方法は、音声データを取得する受信ステップと、人物の顔の映像データを取得する視聴者映像受信ステップと、前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析ステップと、記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成ステップと、を有する。
【０００９】
本発明に係る情報制御プログラムは、音声データを取得する受信ステップと、人物の顔の映像データを取得する視聴者映像受信ステップと、前記人物の顔の映像データに基づいて前記人物の顔の表情を解析し、所定の表情であるかを判定する視聴者表情解析ステップと、記所定の表情を検出した場合、所定の表情を検出している時点に基づく前記音声データのキーワードから詳細情報を作成する詳細情報作成ステップと、をコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、映像及び音声を配信する際、視聴者に合わせて表示する情報量を調節できるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施形態の表示情報制御装置を備える映像・音声配信システムを示す模式図である。
【図２】図２は、本実施形態の情報制御装置の構成を示すブロック図である。
【図３】図３は、本実施形態の視聴端末の表示画面の一例の模式図である。
【図４】図４は、本実施形態の表示情報制御処理のフローチャートである。
【図５】図５は、本実施形態の映像・音声配信システムのシーケンスを説明する図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の実施形態について図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換又は変更が可能である。なお、以下の実施形態の説明において、同一構成には同一符号を付し、異なる構成には異なる符号を付すものとする。
【００１３】
図１を用いて、本実施形態の表示情報制御装置１０１を有する映像・音声配信システム１００の構成について説明する。図１は、本実施形態の表示情報制御装置を備える映像・音声配信システムを示す模式図である。映像・音声配信システム１００は、表示情報制御装置１０１と、配信端末４と、を備える。表示情報制御装置１０１は、視聴端末１と、視聴者撮影装置２と、情報制御装置３と、を有する。本実施形態において、映像・音声配信システム１００は、配信端末４で取得した映像音声を表示情報制御装置１０１の視聴端末１にライブ配信する。つまり、映像・音声配信システム１００は、配信端末４から送られる配信映像及び音声データを、視聴端末１へ配信する。なお、映像・音声配信システム１００は、配信端末４から送られる配信映像及び音声データを情報制御装置３で処理するためのバッファリングや、データの送信処理時間が生じるため、所定時間の遅延を伴って視聴端末１に供給される。また、本実施形態は、ライブ配信として説明するが、情報制御装置３で配信するデータをストックし、視聴端末１からのリクエストで配信してもよい。映像・音声配信システム１００は、配信端末４から情報制御装置３に配信映像・音声Ｄ１が供給され、情報制御装置３から視聴端末１に配信映像・音声Ｄ２及び字幕情報Ｄ３が供給される。また、視聴者撮影装置２は、情報制御装置３に視聴者映像Ｄ４を供給する。また、情報制御装置３は、視聴端末１に詳細情報５を供給する。配信映像・音声Ｄ１及び配信映像・音声Ｄ２は、配信用の配信映像及び音声データである。配信映像・音声Ｄ１と配信映像・音声Ｄ２とは、基本的に同じデータである。字幕情報Ｄ３は、情報制御装置３で配信映像・音声Ｄ１に基づいて作成される。視聴者映像Ｄ４は、視聴者撮影装置２で撮像された映像である。詳細情報Ｄ５は、情報制御装置３で配信映像・音声Ｄ１又は字幕情報Ｄ３に基づいて作成される。また、詳細情報Ｄ５は、視聴者映像Ｄ４に基づいて、視聴端末１に供給するか否かが決定される。以下、各部について説明する。
【００１４】
視聴端末１は、通信が可能で、かつ、映像を再生できる電子機器である。視聴端末１は、有線又は無線ＬＡＮを用いてネットワークを介することで情報制御装置３と接続している。視聴端末１としては、スマートフォン、タブレット、テレビ、パソコン等が例示される。視聴端末１は、音声出力部を備えることが好ましい。視聴端末１は、情報制御装置３から、配信映像・音声Ｄ２、字幕情報Ｄ３、詳細情報Ｄ５が供給される。視聴端末１は、配信映像・音声Ｄ２の配信映像を表示し、音声を出力する。視聴端末１は、字幕情報Ｄ３及び詳細情報Ｄ５を表示する。
【００１５】
視聴者撮影装置２は、視聴端末１を視聴する視聴者の顔を撮影する。視聴者撮影装置２は、例えば、ビデオカメラ又はＷｅｂカメラ等である。視聴者撮影装置２は、ネットワークを介して情報制御装置３と接続している。視聴者撮影装置２は、撮影した視聴者の顔の映像データを視聴者映像Ｄ４として、ネットワークを介して情報制御装置３に送信する。
【００１６】
情報制御装置３は、映像・音声配信システム１００の各データを管理する。情報制御装置３は、本実施形態において、クラウドサーバである。クラウドサーバは、例えば、パブリッククラウド等である。情報制御装置３は、配信端末４から配信映像・音声Ｄ１を受信する。情報制御装置３は、配信映像・音声Ｄ２と、字幕情報Ｄ３と、詳細情報Ｄ５と、を視聴端末１に送信する。情報制御装置３は、視聴者撮影装置２から視聴者映像Ｄ４を受信する。
【００１７】
本実施形態の配信端末４は、送信対象の映像及び音声を取得し、取得した映像と音声のデータを配信映像・音声Ｄ１として、情報制御装置３に送信する。配信端末４は、映像及び音声を取得可能な電子器機器であり、ビデオカメラ、又はスマートフォン等である。配信映像・音声Ｄ１は、映像及び音声データである。配信端末４は、ネットワークを介して情報制御装置３と接続している。
【００１８】
次に、図２を用いて、情報制御装置３の構成について説明する。図２は、本実施形態の情報制御装置の構成を示すブロック図である。情報制御装置３は、視聴者映像受信部１０と、視聴者表情解析部１１と、キーワード抽出部１２と、キーワード検索部１３と、配信情報送出部１４と、配信映像・音声受信部１５（受信部）と、音声テキスト変換部１６と、を有する。ここで、上述した字幕情報Ｄ３は、情報制御装置３の音声テキスト変換部１６で、配信映像・音声Ｄ１から分離された音声データを変換したテキストデータである。詳細情報Ｄ５は、情報制御装置３のキーワード抽出部１２で抽出されたキーワードの詳細情報データである。詳細情報Ｄ５は、情報制御装置３のキーワード検索部１３で生成される。詳細情報Ｄ５は、テキストデータ及び画像データの少なくとも一方を有する。
【００１９】
なお、情報制御装置３は、物理的な構成としては、ＣＰＵ、ＲＡＭ、ＨＤＤ（ハードディスク）、通信インターフェース（Ｉ／Ｆ）等により構成される。特に、視聴者映像受信部１０、視聴者表情解析部１１、キーワード抽出部１２、キーワード検索部１３、配信情報送出部１４、配信映像・音声受信部１５、音声テキスト変換部１６は、ＣＰＵ、ＲＡＭ、ＨＤＤ（ハードディスク）、通信インターフェース（Ｉ／Ｆ）のうちいずれによって構成されるか、又はこれらの組み合わせによって構成される。
【００２０】
配信映像・音声受信部１５は、配信端末４から配信映像・音声Ｄ１を受信する。配信映像・音声受信部１５は、配信映像・音声Ｄ１を映像と音声とに分離する。配信映像・音声受信部１５は、分離した音声を音声テキスト変換部１６に入力する。配信映像・音声受信部１５は、配信端末４から受信した配信映像・音声Ｄ１を配信情報送出部１４に入力する。なお、配信映像・音声受信部１５は、配信端末４から、配信映像・音声Ｄ１のうち音声のみを受信する構成であってもよい。
【００２１】
音声テキスト変換部１６は、配信映像・音声Ｄ１から分離された音声を、配信映像・音声受信部１５から取得する。音声テキスト変換部１６は、音声をテキストデータに変換する。音声テキスト変換部１６が音声をテキストデータに変換する手段には、スピーチ・トゥ・テキスト（Ｓｐｅｅｃｈ  ｔｏ  Ｔｅｘｔ）アルゴリズム又はシステムを使用することができる。スピーチ・トゥ・テキストアルゴリズム又はシステムは、例えば、クラウドサービスの音声認識ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｉｎｔｅｒｆａｃｅ）である。音声テキスト変換部１６は、変換したテキストデータに基づいて字幕データを生成する。字幕データは、配信情報送出部１４に入力される。
【００２２】
視聴者映像受信部１０は、視聴者映像Ｄ４を受信する。視聴者映像受信部１０が受信した視聴者映像Ｄ４は、視聴者表情解析部１１に入力される。
【００２３】
視聴者表情解析部１１は、視聴者映像受信部１０が受信した視聴者映像Ｄ４を取得する。視聴者表情解析部１１は、視聴者映像受信部１０から取得した視聴者映像Ｄ４に基づいて、視聴者の表情を解析する。視聴者表情解析部１１は、視聴者が困惑又は疑問の表情（以下、困惑顔と称する）であるか否かを判定する。困惑顔を判定する手段には、任意の判定方法を使用する。判定方法は、例えば、クラウドサービスの画像解析ＡＰＩを用いた方法、又は視聴者の眼や口等の特徴点に対する座標上の値や変換量を算出してその値や変化量が予め定めた基準の値に該当する否かにより困惑顔を判定する手法等が挙げられる。また、本実施形態では、困惑顔を基準に判断したが、視聴者の表情の判断基準は、困惑顔に限定されない。予め所定の表情を基準として設定し、その基準を満たすかで処理を行えばよい。
【００２４】
キーワード抽出部１２は、音声テキスト変換部１６によって生成された音声のテキストデータからキーワードを抽出する。キーワード抽出部１２は、視聴者表情解析部１１が視聴者の表情を困惑顔と判定した場合、キーワードの抽出を行う。キーワード抽出部１２は、視聴者の表情から困惑顔を検出した時間に対応する部分のテキストデータからキーワードの抽出を行う。キーワードの抽出方法は、例えば、形態素解析を用いた方法等である。キーワード抽出部１２が抽出したキーワードは、キーワード検索部１３に入力される。
【００２５】
キーワード検索部（詳細情報取得部）１３は、キーワード抽出部１２が抽出したキーワードについての検索を行い、キーワードに対する詳細情報を取得する。キーワードの詳細情報は、テキスト及び画像の少なくとも一方である。キーワードの詳細情報は、例えば、単語の意味を説明するテキスト、地名又は建造物を説明するテキスト及び地図画像、又は著名人を説明するテキスト及び人物画像等である。キーワードの詳細情報を取得する方法は、例えば、Ｗｅｂ検索等である。キーワード検索部１３は、取得したキーワードの詳細情報を配信情報送出部１４に出力する。
【００２６】
配信情報送出部１４は、配信映像・音声Ｄ２、字幕情報Ｄ３を視聴端末１に送信する。配信情報送出部１４は、配信映像・音声Ｄ２と字幕情報Ｄ３とを同時に視聴端末１に送信する。つまり、配信映像・音声受信部１５が配信映像・音声Ｄ１を映像と音声とに分離し、音声テキスト変換部１６が音声をテキストデータに変換するのに必要な所定時間の分、配信映像・音声Ｄ１の配信時刻から配信映像・音声Ｄ２の配信時刻が遅延する。また、配信情報送出部１４は、詳細情報Ｄ５が生成された場合、詳細情報Ｄ５を視聴端末１に送信する。詳細情報Ｄ５は、配信映像・音声Ｄ２の配信時刻より遅延して配信される。つまり、詳細情報Ｄ５は、配信済みの配信映像・音声Ｄ２のテキストデータに含まれるキーワードの詳細情報となる。
【００２７】
次に、図３を用いて、視聴端末１に配信された配信映像・音声Ｄ２、字幕情報Ｄ３及び詳細情報Ｄ５の表示画面２００の一例について説明する。図３は、本実施形態の視聴端末の表示画面の一例の模式図である。表示画面２００は、第１領域２１０と、第２領域２１１とを有する。なお、本例において、字幕情報Ｄ３は「忖度してください」、キーワードは「忖度」、詳細情報Ｄ５は「忖度（そんたく）他人の気持ちをおしはかること」とする。また、配信映像・音声Ｄ２の音声は、視聴端末１が有するスピーカー等から再生される。
【００２８】
本実施形態において、第１領域２１０は、表示画面２００の左側の領域に表示される。第１領域２１０は、情報制御装置３から配信された配信映像・音声Ｄ２の映像を表示する。第１領域２１０は、字幕表示部２２０を有する。本実施形態において、字幕表示部２２０は、第１領域２１０の下側の領域に表示される。字幕表示部２２０は、配信映像・音声Ｄ２に対応する字幕を表示する。字幕は、情報制御装置３から配信された字幕情報Ｄ３に基づいて表示される。
【００２９】
本実施形態において、第２領域２１１は、表示画面２００の右側の領域に表示される。第２領域２１１は、詳細情報表示部２２１を有する。詳細情報表示部２２１は、キーワードの詳細情報を表示する。キーワードの詳細情報は、情報制御装置３から配信された詳細情報Ｄ５に基づいて表示される。
【００３０】
次に、図４を用いて、情報制御装置３による詳細情報Ｄ５の配信処理フローを説明する。図４は、本実施形態の表示情報制御処理のフローチャートである。詳細情報Ｄ５の配信処理は、配信端末４による配信映像・音声Ｄ１の配信が終了するまで繰り返される。なお、配信端末４による配信映像・音声Ｄ１の配信中、配信映像・音声受信部１５は、継続的に配信映像・音声Ｄ１を映像と音声とに分離し、分離した音声を音声テキスト変換部１６に入力している。音声テキスト変換部１６は、配信映像・音声Ｄ１から分離された音声を、自動的にテキストデータに変換している。配信映像・音声Ｄ１及びテキストデータは、自動的に配信情報送出部１４に入力される。配信情報送出部１４は、音声テキスト変換部１６からテキストデータを取得すると、配信映像・音声Ｄ１及びテキストデータを、配信映像・音声Ｄ２及び字幕情報Ｄ３として同時に視聴端末１に配信する。なお、情報制御装置３による詳細情報Ｄ５の配信処理は、情報制御プログラムによってコンピュータに実行させてもよい。
【００３１】
まず、情報制御装置３は、視聴端末１を視聴する視聴者の顔の映像データを取得する（取得ステップＳ１０１）。具体的には、図２に示す視聴者映像受信部１０が、視聴者撮影装置２が撮影した視聴者の顔の映像データである視聴者映像Ｄ４を受信する。視聴者映像Ｄ４は、ネットワークを介して、視聴者撮影装置２から情報制御装置３の視聴者映像受信部１０に送信される。視聴者映像受信部１０が受信した視聴者映像Ｄ４は、視聴者表情解析部１１に入力される。
【００３２】
次に、情報制御装置３は、視聴者の表情を解析し、困惑顔か判定する（判定ステップＳ１０２）。具体的には、視聴者表情解析部１１が、取得ステップＳ１０１で取得した視聴者映像Ｄ４の映像データに基づいて視聴者の表情を解析して困惑顔か判定する。情報制御装置３は、判定ステップＳ１０２で困惑顔ではないと判断された場合、取得ステップＳ１０１の処理に戻る。
【００３３】
判定ステップＳ１０２で困惑顔であると判断された場合、情報制御装置３は、音声テキスト変換部１６によって生成された音声のテキストデータからキーワードを抽出する（抽出ステップＳ１０３）。具体的には、キーワード抽出部１２が、視聴者の表情から困惑顔を検出した時間に対応する部分の音声のテキストデータからキーワードの抽出を行う。
【００３４】
次に、情報制御装置３は、抽出されたキーワードから、キーワードの詳細情報を取得する（検索ステップＳ１０４）。具体的には、キーワード検索部１３が、抽出ステップＳ１０３で抽出したキーワードの詳細情報を検索して取得する。詳細情報は、テキスト及び画像の少なくとも一方を有する。
【００３５】
次に、情報制御装置３は、キーワードの詳細情報を詳細情報Ｄ５として視聴端末１に送信する（配信ステップＳ１０５）。具体的には、配信情報送出部１４が、検索ステップＳ１０４で取得した詳細情報を詳細情報Ｄ５として視聴端末１に送信する。
【００３６】
以上の情報制御装置３による詳細情報Ｄ５の配信処理は、配信端末４による配信映像・音声Ｄ１の配信が終了するまで繰り返される。すなわち、視聴者撮影装置２は、視聴端末１を視聴する視聴者の顔の映像データを継続的に撮影する。取得ステップＳ１０１及び判定ステップＳ１０２は、継続的に行われる。
【００３７】
次に、図５を用いて、映像・音声配信システム１００において配信端末４が配信映像・音声Ｄ１を配信してから視聴端末１に詳細情報Ｄ５が表示されるまでのシーケンスを説明する。図５は、本実施形態の映像・音声配信システムのシーケンスを説明する図である。まず、配信端末４は、配信映像・音声Ｄ１を情報制御装置３に送信する（Ｓ２０１：配信映像・音声の送信）。
【００３８】
次に、情報制御装置３は、取得した音声をテキストデータに変換する（Ｓ２０２：音声テキスト変換）。ここで、配信映像・音声受信部１５は、配信映像・音声Ｄ１を映像と音声とに分離する。配信映像・音声Ｄ１から分離された音声は、音声テキスト変換部１６でテキストデータに変換される。
【００３９】
次に、情報制御装置３は、テキストデータに基づいて字幕情報Ｄ３を生成する。情報制御装置３は、配信映像・音声Ｄ１を字幕情報Ｄ３に同期させ、配信映像・音声Ｄ２とする。情報制御装置３は、字幕情報Ｄ３を同期するための所定時間後に、配信映像・音声Ｄ２及び字幕情報Ｄ３を視聴端末１に送信する（Ｓ２０３：配信映像・音声及び字幕情報の送信）。つまり、情報制御装置３は、配信端末４からの配信映像・音声Ｄ１の受信から、視聴端末１への配信映像・音声Ｄ２の送信まで遅延させる。配信映像・音声Ｄ１の受信（Ｓ２０１）から配信映像・音声Ｄ２の送信（Ｓ２０３）までの遅延時間は、例えば、１０秒である。
【００４０】
次に、視聴者撮影装置２は、視聴端末１を視聴する視聴者の反応に対して、撮影した視聴者の顔の映像データである視聴者映像Ｄ４を情報制御装置３に送信する（Ｓ２０４：視聴者映像の送信）。情報制御装置３は、視聴者映像Ｄ４に基づいて視聴者の表情を解析する（Ｓ２０５：視聴者表情解析）。視聴者表情解析Ｓ２０５の結果、困惑顔と判定された場合は、情報制御装置３は、以下の処理を行う。
【００４１】
まず、情報制御装置３は、音声テキスト変換Ｓ２０２で生成したテキストデータから困惑顔を検出した時間に対応する部分のテキストデータを認定する。ここで、視聴者が配信映像・音声Ｄ２を視聴してから反応を返すまでは、個体差の遅延時間があると推定される。つまり、視聴端末１が配信映像・音声Ｄ２を表示してから困惑顔を検出する時間までの視聴者の反応時間は、所定の時間幅を有する。そこで、情報制御装置３は、困惑顔を検出した時間に対応する視聴者の反応時間に含まれる音声のテキストデータを認定する。情報制御装置３は、認定されたテキストデータからキーワードを抽出する（Ｓ２０６：キーワード抽出）。
【００４２】
次に、情報制御装置３は、キーワード抽出２０６で抽出したキーワードの詳細情報を検索する（Ｓ２０７：キーワード検索）。情報制御装置３は、キーワード検索Ｓ２０７で取得した詳細情報を、詳細情報Ｄ５として視聴端末１に送信する（Ｓ２０８：詳細情報の送信）。
【００４３】
上述したように、本実施形態は、配信映像及び音声データを視聴端末１に配信している間、視聴者撮影装置２が撮影した視聴者の顔の表情から困惑顔を検出した時間に対応する部分の音声のテキストデータに関連する詳細情報を視聴端末１に配信する。つまり、視聴者が困惑顔を示した時間に対応する部分の音声のテキストデータに関連する詳細情報を表示する。本実施形態によれば、配信映像及び音声データを配信する際、視聴者の理解度に合わせて視聴端末１に表示する情報量を調節できる。
【００４４】
また、視聴端末１の表示画面２００を、配信映像を表示する第１領域２１０と、詳細情報を表示する第２領域２１１とに分割することによって、安定したサイズで配信映像を視聴することができる。なお、本実施形態においては、第１領域２１０と第２領域２１１とを予め別の領域として設けたが、平常時は第１領域２１０のみを全画面に表示し、詳細情報を表示する時のみ、第１領域２１０を縮小して、一時的に第２領域２１１を表示することもできる。
【００４５】
本実施形態において、字幕表示部２２０は、第１領域２１０の下側の領域に配信映像に重ねて表示しているが、第１領域２１０とは別の領域に設けてもよい。また、本実施形態において、配信映像・音声Ｄ２は、字幕情報Ｄ３に同期して視聴端末１に送信されるが、字幕情報Ｄ３のみ遅延させて配信してもよい。例えば、音声テキスト変換Ｓ２０２を行う時間と字幕を同期させるための所定時間との合計が、予め設定された遅延時間を超える場合、情報制御装置３は、配信映像・音声Ｄ２を予定通りに配信し、字幕情報Ｄ３をさらに遅延させて配信してもよい。
【００４６】
本実施形態において、詳細情報表示部２２１は、１つのキーワードの詳細情報のみ表示しているが、視聴者が困惑顔を示した時間に対応する音声のテキストデータから抽出されたキーワードが複数であってもよい。キーワードが複数である場合、詳細情報表示部２２１は、複数の詳細情報を同時に表示してもよい。複数の詳細情報を同時に表示する場合、予め設定された法則に基づいて、複数の詳細情報は並べて表示される。予め設定された法則に基づく複数の詳細情報の表示は、例えば、音声のテキストデータに登場した順序が早いキーワードが上なるように上下に並べてもよい。又は、キーワードの認知度（日常で使用される頻度）に基づき、認知度が低いキーワードが上なるように上下に並べてもよい。さらに、キーワードごとに重要度を設定しておき、その重要度に応じた順序で複数の詳細情報を並べて表示してもよい。重要度の設定は、例えば５段階の指標で設定され、音声のテキストデータにおける頻出回数等に基づき設定されてもよい。
【００４７】
詳細情報表示部２２１に詳細情報を表示する時間は特に限定されない。詳細情報表示部２２１に詳細情報を表示する時間は、例えば、１０秒間である。あるいは、次に詳細情報を受信するまで表示し続けてもよい。最後に受信した詳細情報を最上段に表示し、以前の詳細情報を順次下方に移動させるようにしてもよい。
【００４８】
本実施形態において、キーワードを抽出するテキストデータを、視聴者の表情から困惑顔を検出した時間に対応するものとしたが、手をあげる等の合図を検出した時間に対応してもよい。
【００４９】
本実施形態においては、困惑顔を検出した時間に対応する視聴者の反応時間に含まれる音声のテキストデータからキーワードを抽出したが、音声からテキストデータに変換した際に、テキストデータを文章ごとに区切りをつけて、困惑顔を検出した時間に対応する部分を含む文章からキーワードを抽出してもよい。
【００５０】
本実施形態においては、視聴端末１に配信映像・音声Ｄ２と共に字幕情報Ｄ３を配信したが、字幕情報Ｄ３を配信しなくてもよい。配信映像・音声の送信Ｓ２０１の直後に配信映像・音声及び字幕情報の送信Ｓ２０３を行い、視聴者映像の送信Ｓ２０４の後に、音声テキスト変換Ｓ２０２を行ってもよい。この場合、音声テキスト変換Ｓ２０２では、視聴者の反応時間に対応する部分の音声のみをテキストデータに変換することもできる。
【００５１】
キーワードを抽出する際、予め設定された閾値に基づいて抽出するキーワードの取捨選択を行ってもよい。閾値は、例えば、単語の認知度に基づいて設定される。又は、閾値は、視聴者が予め入力した視聴者の年齢に基づいて設定される。
【００５２】
本実施形態において、映像・音声配信システム１００はライブ配信を行うが、ビデオ・オン・デマンド配信を行ってもよい。この場合、先に視聴した視聴者の多くが困惑顔を示したキーワードの詳細情報を蓄積しておくことが可能である。また、情報制御装置３は、予め難解なキーワードの詳細情報を取得しておくことも可能である。
【００５３】
本実施形態において、情報制御装置３はクラウドサーバだが、ローカルサーバであってもよい。
【符号の説明】
【００５４】
１  視聴端末
２  視聴者撮影装置
３  情報制御装置
４  配信端末
１０  視聴者映像受信部
１１  視聴者表情解析部
１２  キーワード抽出部
１３  キーワード検索部
１４  配信情報送出部
１５  配信映像・音声受信部
１６  音声テキスト変換部
１００  映像・音声配信システム
１０１  表示情報制御装置
２００  表示画面
２１０  第１領域
２１１  第２領域
２２０  字幕表示部
２２１  詳細情報表示部
Ｄ１  配信映像・音声
Ｄ２  配信映像・音声
Ｄ３  字幕情報
Ｄ４  視聴者映像
Ｄ５  詳細情報
【図１】
2019161457.tif 000003
【図２】
2019161457.tif 000004
【図３】
2019161457.tif 000005
【図４】
2019161457.tif 000006
【図５】
2019161457.tif 000007