(57)【要約】【課題】ネットワークを介した学習やコミュニケーションにおいても、聴者が他の聴者の反応を参考にすることができる情報処理システム、情報処理装置、出力方法及びプログラムを提供する。【解決手段】第１の配信情報を複数の第１の情報処理装置１０に配信する配信部２０３と、複数の第１の情報処理装置１０それぞれから、第１の配信情報に基づく出力に対して生成された応答情報を受信する応答情報受信部２０５と、複数の応答情報に基づいて、付加情報を生成する付加情報生成部２０７と、第１の配信情報と付加情報とを合成して第２の配信情報を生成する合成部２０９と、を備え、配信部２０３は、第２の配信情報を複数の第１の情報処理装置１０に配信する。【選択図】図５
2016134680.tif 000002
【特許請求の範囲】
【請求項１】
複数の第１の情報処理装置と第２の情報処理装置とを備える情報処理システムであって、
前記複数の第１の情報処理装置それぞれは、
前記第２の情報処理装置から配信された第１の映像及び第１の音声の少なくともいずれかである第１の配信情報に基づく出力を行う出力部と、
前記出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて、前記出力に対する応答情報を生成する応答情報生成部と、
前記応答情報を前記第２の情報処理装置に送信する応答情報送信部と、を備え、
前記第２の情報処理装置は、
前記第１の配信情報を前記複数の第１の情報処理装置に配信する配信部と、
前記複数の第１の情報処理装置から送信された前記複数の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する付加情報生成部と、
前記第１の配信情報と前記付加情報とを合成して第２の配信情報を生成する合成部と、を備え、
前記配信部は、前記第２の配信情報を前記複数の第１の情報処理装置に配信し、
前記出力部は、前記第２の配信情報に基づく出力を行う情報処理システム。
【請求項２】
前記応答情報は、前記第２の映像のフレーム間で生じた差分の割合、及び前記第２の音声の音量が閾値を超えた回数の少なくともいずれかである請求項１に記載の情報処理システム。
【請求項３】
前記第３の映像は、前記複数の応答情報に含まれる前記割合の統計値に応じた映像である請求項２に記載の情報処理システム。
【請求項４】
前記第３の音声は、前記複数の応答情報に含まれる前記回数の統計値に応じた音声である請求項２又は３に記載の情報処理システム。
【請求項５】
第３の情報処理装置を更に備え、
前記第３の情報処理装置は、
入力された前記第１の映像及び前記第１の音声の少なくともいずれかに基づいて、前記第１の配信情報を生成する配信情報生成部と、
前記第１の配信情報を前記第２の情報処理装置に送信する配信情報送信部と、
を備える請求項１〜４のいずれか１つに記載の情報処理システム。
【請求項６】
前記第２の情報処理装置は、
前記第１の配信情報を記憶する記憶部を更に備える請求項１〜４のいずれか１つに記載の情報処理システム。
【請求項７】
情報処理装置であって、
第１の映像及び第１の音声の少なくともいずれかである第１の配信情報を複数の他の情報処理装置に配信する配信部と、
前記複数の他の情報処理装置それぞれから、前記第１の配信情報に基づく出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて生成された応答情報を受信する応答情報受信部と、
前記複数の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する付加情報生成部と、
前記第１の配信情報と前記付加情報とを合成して第２の配信情報を生成する合成部と、を備え、
前記配信部は、前記第２の配信情報を前記複数の他の情報処理装置に配信する情報処理装置。
【請求項８】
複数の第１の情報処理装置と第２の情報処理装置とを備える情報処理システムで実行される出力方法であって、
前記複数の第１の情報処理装置それぞれは、
前記第２の情報処理装置から配信された第１の映像及び第１の音声の少なくともいずれかである第１の配信情報に基づく出力を行う第１の出力ステップと、
前記出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて、前記出力に対する応答情報を生成する応答情報生成ステップと、
前記応答情報を前記第２の情報処理装置に送信する応答情報送信ステップと、を含み、
前記第２の情報処理装置は、
前記第１の配信情報を前記複数の第１の情報処理装置に配信する第１の配信ステップと、
前記複数の第１の情報処理装置から送信された前記複数の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する付加情報生成ステップと、
前記第１の配信情報と前記付加情報とを合成して第２の配信情報を生成する合成ステップと、
前記第２の配信情報を前記複数の第１の情報処理装置に配信する第２の配信ステップと、を含み、
前記複数の第１の情報処理装置それぞれは、
前記第２の配信情報に基づく出力を行う第２の出力ステップを更に含む出力方法。
【請求項９】
第１の映像及び第１の音声の少なくともいずれかである第１の配信情報を複数の情報処理装置に配信する第１の配信ステップと、
前記複数の情報処理装置それぞれから、前記第１の配信情報に基づく出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて生成された応答情報を受信する受信ステップと、
前記複数の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する付加情報生成ステップと、
前記第１の配信情報と前記付加情報とを合成して第２の配信情報を生成する合成ステップと、
前記第２の配信情報を前記複数の情報処理装置に配信する第２の配信ステップと、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、情報処理装置、出力方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、話者を撮影した映像や話者が発した音声などを、ネットワークを介して聴者に配信することで、講演、講義、授業、セミナー、及び会議など学習やコミュニケーションをオンライン化やオンデマンド化する技術が知られている。
【０００３】
例えば特許文献１には、オンライン化された講演、講義、授業、セミナー、及び会議などにおいても、話者が聴者の反応を参考にできるようにするため、聴者の反応を、ネットワークを介して話者にフィードバックする技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、通常の（オンライン化やオンデマンド化されていない）講演、講義、授業、セミナー、及び会議などでは、聴者も他の聴者の反応を参考にすることで、話者が話す話題への興味や理解度を向上させている。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、ネットワークを介した学習やコミュニケーションにおいても、聴者が他の聴者の反応を参考にすることができる情報処理システム、情報処理装置、出力方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の一態様にかかる情報処理システムは、複数の第１の情報処理装置と第２の情報処理装置とを備える情報処理システムであって、前記複数の第１の情報処理装置それぞれは、前記第２の情報処理装置から配信された第１の映像及び第１の音声の少なくともいずれかである第１の配信情報に基づく出力を行う出力部と、前記出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて、前記出力に対する応答情報を生成する応答情報生成部と、前記応答情報を前記第２の情報処理装置に送信する応答情報送信部と、を備え、前記第２の情報処理装置は、前記第１の配信情報を前記複数の第１の情報処理装置に配信する配信部と、前記複数の第１の情報処理装置から送信された前記複数の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する付加情報生成部と、前記第１の配信情報と前記付加情報とを合成して第２の配信情報を生成する合成部と、を備え、前記配信部は、前記第２の配信情報を前記複数の第１の情報処理装置に配信し、前記出力部は、前記第２の配信情報に基づく出力を行う。
【発明の効果】
【０００７】
本発明によれば、ネットワークを介した学習やコミュニケーションにおいても、聴者が他の聴者の反応を参考にすることができるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は、本実施形態の情報処理システムの構成の一例を示すブロック図である。
【図２】図２は、本実施形態の第１の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図３】図３は、本実施形態の第２の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図４】図４は、本実施形態の第３の情報処理装置のハードウェア構成の一例を示すブロック図である。
【図５】図５は、本実施形態の情報処理システムの機能構成の一例を示すブロック図である。
【図６】図６は、本実施形態の情報処理システムで実行される処理の一例を示すシーケンス図である。
【図７】図７は、変形例２の情報処理システムの構成の一例を示すブロック図である。
【図８】図８は、変形例２の情報処理システムの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明にかかる情報処理システム、情報処理装置、出力方法及びプログラムの実施形態を詳細に説明する。以下の実施形態では、オンライン化された講演、講義、授業、及びセミナーなどのように、話者及び聴者が原則固定されている場合を例に取り説明するが、これに限定されず、参加者が話者にも聴者にもなるオンライン化された会議などのコミュニケーションにも適用できる。
【００１０】
図１は、本実施形態の情報処理システム１の構成の一例を示すブロック図である。図１に示すように、情報処理システム１は、第１の情報処理装置１０−１〜１０−ｎ（ｎ≧２）と、第２の情報処理装置２０と、第３の情報処理装置３０と、を備える。
【００１１】
第１の情報処理装置１０−１〜１０−ｎ、第２の情報処理装置２０、及び第３の情報処理装置３０は、ネットワーク２を介して接続されている。ネットワーク２は、例えば、インターネット、ＬＡＮ（Local  Area  Network）、及びＷＡＮ（Wide  Area  Network）、などが挙げられる。
【００１２】
なお、以下の説明では、第１の情報処理装置１０−１〜１０−ｎを各々区別する必要がない場合は、単に第１の情報処理装置１０と称する場合がある。
【００１３】
第１の情報処理装置１０は、受講生などの聴者が使用するものであり、例えば、Ｗｅｂカメラと接続されたＰＣ（Personal  Computer）、スマートフォン、及びタブレット端末などが挙げられる。
【００１４】
図２は、本実施形態の第１の情報処理装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、第１の情報処理装置１０は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）などの制御装置１１と、ＲＯＭ（Read  Only  Memory）やＲＡＭ（Random  Access  Memory）などの主記憶装置１２と、ＨＤＤ（Hard  Disk  Drive）やＳＳＤ（Solid  State  Drive）などの補助記憶装置１３と、ディスプレイなどの表示装置１４と、スピーカなどの音声出力装置１５と、マウス、キーボード、又はタッチパネルなどの入力装置１６と、通信インタフェースなどの通信装置１７と、ビデオカメラなどの撮影装置１８と、マイクなどの音声入力装置１９と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００１５】
なお、補助記憶装置１３、表示装置１４、音声出力装置１５、入力装置１６、通信装置１７、撮影装置１８、及び音声入力装置１９は、内蔵されていても外付けであってどちらでもよい。
【００１６】
第２の情報処理装置２０は、第３の情報処理装置３０から送信された第１の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信するものであり、例えば、サーバ装置などが挙げられる。なお、第１の配信情報については、後述する。
【００１７】
図３は、本実施形態の第２の情報処理装置２０のハードウェア構成の一例を示すブロック図である。図３に示すように、第２の情報処理装置２０は、ＣＰＵやＧＰＵなどの制御装置２１と、ＲＯＭやＲＡＭなどの主記憶装置２２と、ＨＤＤやＳＳＤなどの補助記憶装置２３と、ディスプレイなどの表示装置２４と、マウス、キーボード、又はタッチパネルなどの入力装置２５と、通信インタフェースなどの通信装置２６と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００１８】
なお、補助記憶装置２３、表示装置２４、入力装置２５、及び通信装置２６は、内蔵されていても外付けであってどちらでもよい。
【００１９】
第３の情報処理装置３０は、講師や教師などの話者が使用するものであり、例えば、業務用の撮影システムなどが挙げられる。但し、これに限定されず、Ｗｅｂカメラと接続されたＰＣ（Personal  Computer）、スマートフォン、又はタブレット端末などであってもよい。
【００２０】
図４は、本実施形態の第３の情報処理装置３０のハードウェア構成の一例を示すブロック図である。図４に示すように、第３の情報処理装置３０は、ＣＰＵやＧＰＵなどの制御装置３１と、ＲＯＭやＲＡＭなどの主記憶装置３２と、ＨＤＤやＳＳＤなどの補助記憶装置３３と、ディスプレイなどの表示装置３４と、スピーカなどの音声出力装置３５と、マウス、キーボード、又はタッチパネルなどの入力装置３６と、通信インタフェースなどの通信装置３７と、ビデオカメラなどの撮影装置３８と、マイクなどの音声入力装置３９と、を備えており、通常のコンピュータを利用したハードウェア構成となっている。
【００２１】
なお、補助記憶装置３３、表示装置３４、音声出力装置３５、入力装置３６、通信装置３７、撮影装置３８、及び音声入力装置３９は、内蔵されていても外付けであってどちらでもよい。
【００２２】
図５は、本実施形態の情報処理システム１の機能構成の一例を示すブロック図である。第３の情報処理装置３０は、図５に示すように、配信情報生成部３０１と、配信情報送信部３０３と、を含む。配信情報生成部３０１は、例えば、制御装置３１及び主記憶装置３２により実現でき、配信情報送信部３０３は、例えば、制御装置３１、主記憶装置３２、及び通信装置３７により実現できる。
【００２３】
また、第２の情報処理装置２０は、図５に示すように、配信情報受信部２０１と、配信部２０３と、応答情報受信部２０５と、付加情報生成部２０７と、合成部２０９と、を含む。配信情報受信部２０１、配信部２０３、及び応答情報受信部２０５は、例えば、制御装置２１、主記憶装置２２、及び通信装置２６により実現でき、付加情報生成部２０７及び合成部２０９は、例えば、制御装置２１及び主記憶装置２２により実現できる。
【００２４】
また、第１の情報処理装置１０は、配信情報受信部１０１と、出力部１０３と、応答情報生成部１０５と、応答情報送信部１０７と、を含む。配信情報受信部１０１、及び応答情報送信部１０７は、例えば、制御装置１１、主記憶装置１２、及び通信装置１７により実現でき、出力部１０３及び応答情報生成部１０５は、例えば、制御装置１１及び主記憶装置１２により実現できる。
【００２５】
配信情報生成部３０１は、入力された第１の映像及び第１の音声の少なくともいずれかに基づいて、第１の配信情報を生成する。
【００２６】
本実施形態では、第１の映像は、撮影装置３８により撮像され、第３の情報処理装置３０に入力された話者の映像である。また本実施形態では、第１の音声は、音声入力装置３９により集音され、第３の情報処理装置３０に入力された話者が発した音声である。
【００２７】
また本実施形態では、第１の配信情報は、第１の映像及び第１の音声を所定のデータ形式に変換したものとするが、これに限定されるものではない。例えば、第１の配信情報は、第１の映像及び第１の音声の少なくともいずれかを所定のデータ形式に変換したものとしてもよい。所定のデータ形式は、例えば、ＭＰＥＧ−４（Moving  Picture  Experts  Group  phase  4）など一般的な動画データの形式が挙げられるが、これに限定されるものではない。
【００２８】
なお本実施形態では、第１の映像及び第１の音声は、第３の情報処理装置３０に逐次入力されるため、配信情報生成部３０１は、第１の配信情報を逐次生成している。
【００２９】
配信情報送信部３０３は、配信情報生成部３０１により生成された第１の配信情報を第２の情報処理装置２０に送信する。
【００３０】
配信情報受信部２０１は、第３の情報処理装置３０から第１の配信情報を受信する。
【００３１】
配信部２０３は、配信情報受信部２０１により受信された第１の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信する。
【００３２】
配信情報受信部１０１は、第２の情報処理装置２０から配信された第１の配信情報を受信する。
【００３３】
出力部１０３は、配信情報受信部１０１により受信された第１の配信情報に基づく出力を行う。本実施形態では、出力部１０３は、配信情報受信部１０１により受信された第１の配信情報の第１の映像を表示装置１４に表示出力させるとともに、当該第１の配信情報の第１の音声を音声出力装置１５に音声出力させる。
【００３４】
これにより、第３の情報処理装置３０において撮影された話者の映像及び集音された話者の音声が、第１の情報処理装置１０において再生され、聴者は、講演、講義、授業、又はセミナーなどをオンラインで視聴できる。
【００３５】
応答情報生成部１０５は、出力部１０３の出力に対して入力された第２の映像及び第２の音声の少なくともいずれかに基づいて、出力部１０３の出力に対する応答情報を生成する。
【００３６】
本実施形態では、第２の映像は、撮影装置１８により撮像され、第１の情報処理装置１０に入力された聴者の映像であり、詳細には、表示装置１４に表示出力された第１の映像及び音声出力装置１５に音声出力された第１の音声を視聴した聴者の映像である。
【００３７】
また本実施形態では、第２の音声は、音声入力装置１９により集音され、第１の情報処理装置１０に入力された聴者が発した音声であり、詳細には、表示装置１４に表示出力された第１の映像及び音声出力装置１５に音声出力された第１の音声を視聴した聴者が発した音声である。
【００３８】
また本実施形態では、応答情報は、第２の映像のフレーム間で生じた差分の割合、及び第２の音声の音量が閾値を超えた回数であるものとするが、これに限定されず、第２の映像のフレーム間で生じた差分の割合、及び第２の音声の音量が閾値を超えた回数の少なくともいずれかであればよい。フレーム間で生じた差分の割合は、詳細には、映像全体のピクセル数に対し、差分が生じたピクセル数の割合である。
【００３９】
つまり、応答情報生成部１０５は、出力部１０３の出力後、一定期間の間、撮影装置１８から入力された第２の映像のフレーム間で生じた差分の割合を算出するとともに、音声入力装置１９から入力された第２の音声が閾値を超えた回数をカウントし、応答情報とする。なお、一定期間は、例えば、５秒間など適当な期間とすればよい。
【００４０】
例えば、通常の（オンライン化されていない）講演、講義、授業、及びセミナーなどでは、聴者は、他の聴者のメモを取る様子、頷き、及び笑い声なども参考にしている。
【００４１】
ところで、オンライン化された講演、講義、授業、及びセミナーなどにおいて、他の聴者がメモを取り始めたり、頷いたりした場合、他の聴者を撮像した映像のフレーム間で生じる差分の割合は、このような動作を行わない場合に比べ大きくなると考えられる。このため本実施形態では、フレーム間で生じた差分の割合を応答情報としている。
【００４２】
また、オンライン化された講演、講義、授業、及びセミナーなどにおいて、他の聴者が笑い声を上げた場合、このような動作を行わない場合に比べ、他の聴者の音声の音量が閾値を超えやすいと考えられる。このため本実施形態では、第２の音声の音量が閾値を超えた回数を応答情報としている。
【００４３】
応答情報送信部１０７は、応答情報生成部１０５により生成された応答情報を第２の情報処理装置２０に送信する。
【００４４】
応答情報受信部２０５は、第１の情報処理装置１０−１〜１０−ｎそれぞれから送信された応答情報を受信する。
【００４５】
付加情報生成部２０７は、応答情報受信部２０５により受信されたｎ個の応答情報に基づいて、第３の映像及び第３の音声の少なくともいずれかである付加情報を生成する。
【００４６】
本実施形態では、第３の映像は、ｎ個の応答情報に含まれる差分の割合の統計値に応じた映像である。また本実施形態では、第３の音声は、ｎ個の応答情報に含まれる閾値を超えた回数の統計値に応じた音声である。なお本実施形態では、付加情報は、第３の映像及び第３の音声であるものとするが、これに限定されず、第３の映像及び第３の音声の少なくともいずれかであればよい。
【００４７】
例えば、付加情報生成部２０７は、応答情報受信部２０５により受信されたｎ個の応答情報に含まれる差分の割合を合算し、合算した差分の割合の値に応じた映像である第３の映像を生成する。第３の映像は、例えば、数字、グラフ、色、又はアイコンの映像（画像）であり、合算した差分の割合の値に応じて内容が変化する。
【００４８】
例えば、数字の映像であれば、合算した差分の割合の値が大きいほど数が大きくなり、グラフの映像であれば、合算した差分の割合の値が大きいほどグラフに占める割合が大きくなり、色の映像であれば、合算した差分の割合の値が大きいほど目立つ色（例えば、黄色やピンク）になる。
【００４９】
また例えば、付加情報生成部２０７は、応答情報受信部２０５により受信されたｎ個の応答情報に含まれる閾値を超えた回数を合算し、合算した閾値を超えた回数の値に応じた音声である第３の音声を生成する。第３の音声は、例えば、合算した閾値を超えた回数の値に応じて内容が変化する。なお、第３の音声は、リアルタイムに生成されてもよいし、予め生成されていてもよい。
【００５０】
合成部２０９は、配信情報受信部２０１により受信された第１の配信情報と付加情報生成部２０７により生成された付加情報とを合成して第２の配信情報を生成する。具体的には、合成部２０９は、第１の配信情報に含まれる第１の映像と付加情報に含まれる第３の映像とを合成するとともに、第１の配信情報に含まれる第１の音声と付加情報に含まれる第３の音声とを合成することで、第２の配信情報を生成する。
【００５１】
なお、合成される第１の配信情報は、合成部２０９が合成する際に配信情報受信部２０１により受信された第１の配信情報であり、第１の情報処理装置１０に既に配信され、出力された第１の配信情報とは、時系列が異なるため、内容も異なっている。
【００５２】
ここで、再び、配信部２０３、配信情報受信部１０１、及び出力部１０３について説明する。
【００５３】
配信部２０３は、合成部２０９により第２の配信情報が生成されると、配信情報受信部２０１により受信された第１の配信情報ではなく合成部２０９により生成された第２の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信する。
【００５４】
配信情報受信部１０１は、第２の情報処理装置２０から配信された第２の配信情報を受信する。
【００５５】
出力部１０３は、配信情報受信部１０１により受信された第２の配信情報に基づく出力を行う。第２の配信情報に基づく出力の出力手法は、第１の配信情報に基づく出力と同様である。
【００５６】
これにより、第３の情報処理装置３０において撮影された話者の映像及び集音された話者の音声に加え、第１の情報処理装置１０−１〜１０−ｎにおける聴者の反応を統計化した情報が、第１の情報処理装置１０において再生されるので、聴者は、講演、講義、授業、又はセミナーなどをオンラインで視聴しながら、他の聴者の反応も参考にできる。
【００５７】
図６は、本実施形態の情報処理システム１で実行される処理の一例を示すシーケンス図である。
【００５８】
まず、配信情報生成部３０１は、入力された第１の映像及び第１の音声に基づいて、第１の配信情報を生成する（ステップＳ１０１）。
【００５９】
続いて、配信情報送信部３０３は、配信情報生成部３０１により生成された第１の配信情報を第２の情報処理装置２０に送信し、配信情報受信部２０１は、第３の情報処理装置３０から第１の配信情報を受信する（ステップＳ１０３）。
【００６０】
続いて、配信部２０３は、配信情報受信部２０１により受信された第１の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信し、配信情報受信部１０１は、第２の情報処理装置２０から配信された第１の配信情報を受信する（ステップＳ１０５）。
【００６１】
続いて、出力部１０３は、配信情報受信部１０１により受信された第１の配信情報に基づく出力を行う（ステップＳ１０７）。
【００６２】
続いて、応答情報生成部１０５は、出力部１０３の出力に対して入力された第２の映像及び第２の音声に基づいて、出力部１０３の出力に対する応答情報を生成する（ステップＳ１０９）。
【００６３】
続いて、応答情報送信部１０７は、応答情報生成部１０５により生成された応答情報を第２の情報処理装置２０に送信し、応答情報受信部２０５は、第１の情報処理装置１０−１〜１０−ｎそれぞれから送信された応答情報を受信する（ステップＳ１１１）。
【００６４】
続いて、付加情報生成部２０７は、応答情報受信部２０５により受信されたｎ個の応答情報に基づいて、第３の映像及び第３の音声である付加情報を生成する（ステップＳ１１３）。
【００６５】
続いて、合成部２０９は、配信情報受信部２０１により受信された第１の配信情報と付加情報生成部２０７により生成された付加情報とを合成して第２の配信情報を生成する（ステップＳ１１５）。
【００６６】
続いて、配信部２０３は、合成部２０９により生成された第２の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信し、配信情報受信部１０１は、第２の情報処理装置２０から配信された第２の配信情報を受信する（ステップＳ１１７）。
【００６７】
続いて、出力部１０３は、配信情報受信部１０１により受信された第２の配信情報に基づく出力を行う（ステップＳ１１９）。
【００６８】
以上のように本実施形態によれば、第１の情報処理装置１０−１〜１０−ｎそれぞれにおける聴者の反応を表す応答情報を統計化し、統計化した値に基づく情報を配信情報に合成するので、聴者は、講演、講義、授業、又はセミナーなどをオンラインで視聴しながら、他の聴者の反応も参考にできる。
【００６９】
特に本実施形態によれば、聴者それぞれの応答情報をそのまま配信情報に合成するのではなく、統計化して合成するので、聴者が多数存在する場合であっても、聴者全体の反応を容易に参考にでき、また、プライバシー侵害等の問題の発生も防止できる。
【００７０】
（変形例１）
上記実施形態では、オンライン化された講演、講義、授業、及びセミナーなどを例に取り説明したが、前述したように、オンライン化された会議などのコミュニケーションにも適用できる。
【００７１】
この場合、第３の情報処理装置３０を使用する必要はなく、いずれの参加者も第１の情報処理装置１０を使用すればよい。そして、参加者のうち話をしているものを話者、それ以外の参加者を聴者として、上記実施形態で説明した手法を適用すればよい。
【００７２】
（変形例２）
上記実施形態では、リアルタイムで行われる講演、講義、授業、及びセミナーなどをオンライン化する例について説明したが、予め収録された講演、講義、授業、及びセミナーなどをオンライン化したり、オンデマンド化したりしてもよい。
【００７３】
図７は、変形例２の情報処理システム１００１の構成の一例を示すブロック図である。図７に示すように、情報処理システム１００１は、第２の情報処理装置１０２０が実施形態と相違するとともに、第３の情報処理装置３０を備えない点で実施形態と相違する。
【００７４】
図８は、変形例２の情報処理システム１００１の機能構成の一例を示すブロック図である。図８に示すように、第２の情報処理装置１０２０は、配信情報受信部２０１を含まず、配信情報記憶部１２０１を含む点で、実施形態と相違する。
【００７５】
配信情報記憶部１２０１は、第１の配信情報を記憶する。つまり、配信情報記憶部１２０１は、実施形態において、第３の情報処理装置３０により生成された第１の配信情報を記憶する。
【００７６】
配信部２０３は、配信情報記憶部１２０１に記憶された第１の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信し、合成部２０９により第２の配信情報が生成されると、配信情報記憶部１２０１に記憶された第１の配信情報ではなく合成部２０９により生成された第２の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信する。
【００７７】
これにより、予め収録された講演、講義、授業、及びセミナーなどをオンライン化した場合であっても、実施形態と同様の効果を奏することができる。
【００７８】
なお、予め収録された講演、講義、授業、及びセミナーなどをオンデマンド化する場合、各聴者が視聴するタイミングは異なるため、応答情報受信部２０５は、受信した応答情報を第１の配信情報の再生位置を示す再生位置情報などと対応付けて、補助記憶装置２３に記憶しておく。そして、付加情報生成部２０７は、新たなオンデマンドが行われ、応答情報受信部２０５により新たな応答情報が受信されると、補助記憶装置２３に記憶した応答情報と新たに受信した応答情報とを統計化して付加情報を生成する。これにより、各聴者が視聴するタイミングが異なるオンデマンドにおいても実施形態と同様の効果を奏することができる。
【００７９】
またオンデマンドの場合、過去の応答情報が補助記憶装置２３に記憶されているため、合成部２０９は、最初から第２の配信情報を生成できる。このため、配信部２０３は、最初から、配信情報記憶部１２０１に記憶された第１の配信情報ではなく合成部２０９により生成された第２の配信情報を第１の情報処理装置１０−１〜１０−ｎに配信してもよい。
【００８０】
（プログラム）
上記実施形態及び各変形例の第１の情報処理装置１０、第２の情報処理装置２０、及び第３の情報処理装置３０（以下、「上記実施形態及び各変形例の各装置」と称する）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。
【００８１】
また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。また、上記実施形態及び各変形例の各装置で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するようにしてもよい。
【００８２】
上記実施形態及び各変形例の各装置で実行されるプログラムは、上述した各部をコンピュータ上で実現させるためのモジュール構成となっている。実際のハードウェアとしては、例えば、ＣＰＵがＲＯＭからプログラムをＲＡＭ上に読み出して実行することにより、上記各機能部がコンピュータ上で実現されるようになっている。
【符号の説明】
【００８３】
１、１００１  情報処理システム
２  ネットワーク
１０−１〜１０−ｎ（１０）  第１の情報処理装置
１１  制御装置
１２  主記憶装置
１３  補助記憶装置
１４  表示装置
１５  音声出力装置
１６  入力装置
１７  通信装置
１８  撮影装置
１９  音声入力装置
２０、１０２０  第２の情報処理装置
２１  制御装置
２２  主記憶装置
２３  補助記憶装置
２４  表示装置
２５  入力装置
２６  通信装置
３０  第３の情報処理装置
３１  制御装置
３２  主記憶装置
３３  補助記憶装置
３４  表示装置
３５  音声出力装置
３６  入力装置
３７  通信装置
３８  撮影装置
３９  音声入力装置
１０１  配信情報受信部
１０３  出力部
１０５  応答情報生成部
１０７  応答情報送信部
２０１  配信情報受信部
２０３  配信部
２０５  応答情報受信部
２０７  付加情報生成部
２０９  合成部
３０１  配信情報生成部
３０３  配信情報送信部
１２０１  配信情報記憶部
【先行技術文献】
【特許文献】
【００８４】
【特許文献１】特開２００１−６７４８２号公報
【図１】
2016134680.tif 000003
【図２】
2016134680.tif 000004
【図３】
2016134680.tif 000005
【図４】
2016134680.tif 000006
【図５】
2016134680.tif 000007
【図６】
2016134680.tif 000008
【図７】
2016134680.tif 000009
【図８】
2016134680.tif 000010