(57)【要約】【課題】情報処理システムにおいて端末間でコンテンツが共有された場合に、コンテンツを供給された側の端末におけるユーザのリアクションをリアルタイムで供給した側の端末に与えられるようにすること。【解決手段】コンテンツの送信側の情報端末の異なる３つの状態が情報端末１００Ａ，１００Ｂ，１００Ｃとして示される。コンテンツの受信側の情報端末の異なる２つの状態が情報端末２００Ａ，２００Ｂとして示される。情報端末２００Ｂを見たユーザがリアクションを起こすと、当該リアクションの内容を示すリアクション情報が生成されて、送信側の情報端末に送信される。送信側の情報端末２００Ｃでは、当該リアクション情報が、画像３０１として出力される。【選択図】図２
2015060380.tif 000002
【特許請求の範囲】
【請求項１】
他の端末からコンテンツのデータを受信するための通信部と、
前記他の端末から受信した前記データに基づいてコンテンツを再生するための再生部と、
前記再生部においてコンテンツが再生されているときにユーザのリアクションを検出するための検出部と、
前記検出部が検出したリアクションに基づいて、当該リアクションの内容を示す情報であるリアクション情報を生成するための生成部とを備え、
前記通信部は、前記リアクション情報を前記他の端末に送信する、情報端末。
【請求項２】
情報の入力を受け付けるための入力部をさらに備え、
前記生成部は、前記入力部に情報が入力されたことに応じて、前記リアクション情報を生成する、請求項１に記載の情報端末。
【請求項３】
コンテンツを再生するための再生部と、
前記再生部で再生されるコンテンツを他の端末に送信するための通信部とを備え、
前記通信部は、前記コンテンツに対する前記他の端末でのリアクションの内容を示す情報であるリアクション情報を受信し、
前記再生部は、前記コンテンツとともに前記リアクション情報を再生する、情報端末。
【請求項４】
前記コンテンツに対するリアクションを要求するタイミングを指定する情報であるタイミング情報を入力するための入力部をさらに備え、
前記通信部は、前記タイミング情報によって特定されるタイミングにおいて前記他の端末が取得したリアクション情報を受信する、請求項３に記載の情報端末。
【請求項５】
コンテンツを再生する第１の再生部を含む第１の情報端末と、前記第１の情報端末と通信可能な第２の情報端末とを備える情報処理システムであって、
前記第１の情報端末は、
前記第１の再生部において再生されるコンテンツを前記第２の情報端末に送信するための第１の通信部をさらに含み、
前記第２の情報端末は、
前記第１の情報端末から受信した前記コンテンツを再生するための第２の再生部と、
前記第２の再生部において前記コンテンツが再生されているときに当該第２の情報端末におけるユーザのリアクションを検出するための検出部と、
前記検出部が検出したリアクションに基づいて、リアクション情報を生成するための生成部と、
前記リアクション情報を前記第１の情報端末に送信するための第２の通信部とを含み、
前記第１の通信部は、前記第２の情報端末から前記リアクション情報を受信し、
前記第１の再生部は、前記リアクション情報を、前記コンテンツとともに再生する、情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、他の端末とコンテンツを共有する情報端末および当該情報端末を含む情報処理システムに関する。
【背景技術】
【０００２】
従来、二台の端末間の通信において、一方の端末で取得されたユーザのリアクションや感情を、他方の端末に送信する技術が提案されている。たとえば、特開２００７−２８００７４号公報（特許文献１）は、メール受信者の反応をメール送信者に伝える情報端末およびこれを制御する制御方法を開示している。特開２００３−２７１５０１号公報（特許文献２）は、送信側端末から送信された送信データを受信した送信先端末が、当該送信データを再生し、リアクション情報を取得し、そして、当該取得したリアクション情報を送信側端末に送信する技術を開示している。特開２００３−１１０７０３号公報（特許文献３）は、通信端末を介する他ユーザの感情等の非言語情報を様々なタイミングで取得することができる情報通信システムを開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２８００７４号公報
【特許文献２】特開２００３−２７１５０１号公報
【特許文献３】特開２００３−１１０７０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術は、受信者がメールを表示してから終了するまでの間の受信者の顔画像を取得し、当該顔画像を利用してユーザ関連情報を作成し、当該ユーザ関連情報を含む返信メールを自動的に作成して、元の送信者へ送信する。したがって、特許文献１では、元の送信者は、ユーザ関連情報が、どのメールに対するリアクションなのかはわかるが、メールのどの部分のリアクションかはわからない。
【０００５】
特許文献２に記載の技術では、送信先端末からのリアクションを表す情報の送信は当該端末における送信データの再生後に行なわれる。したがって、送信元端末に対して提供される情報は、送信先端末におけるリアルタイムなリアクションではない。
【０００６】
特許文献３に記載の技術では、感情を表す非言語情報が、非言語情報管理サーバを経由して送信される。したがって、非言語情報管理サーバが必要になる。また、特許文献３では、その図１０（ａ）や図１０（ｂ）に示されるように、非言語情報は、装置間で送受信されるコンテンツ等とともに表示されることはない。このことから、提供される感情が、装置間で共有されるコンテンツなど、特定のコンテンツに関連付けられて提供されることは困難である。
【０００７】
本開示は、かかる実情に鑑み考え出されたものであり、その目的は、情報処理システムにおいて端末間でコンテンツが共有された場合に、コンテンツを供給された側の端末におけるユーザのリアクションをリアルタイムで供給した側の端末に与えられるようにすることである。
【課題を解決するための手段】
【０００８】
ある局面に従うと、他の端末からコンテンツのデータを受信するための通信部と、他の端末から受信したデータに基づいてコンテンツを再生するための再生部と、再生部においてコンテンツが再生されているときにユーザのリアクションを検出するための検出部と、検出部が検出したリアクションに基づいて、当該リアクションの内容を示す情報であるリアクション情報を生成するための生成部とを備える情報端末が提供される。通信部は、リアクション情報を他の端末に送信する。
【０００９】
好ましくは、情報端末は、情報の入力を受け付けるための入力部をさらに備える。生成部は、入力部に情報が入力されたことに応じて、リアクション情報を生成する。
【００１０】
他の局面に従うと、コンテンツを再生するための再生部と、再生部で再生されるコンテンツを他の端末に送信するための通信部とを備える情報端末が提供される。通信部は、コンテンツに対する他の端末でのリアクションの内容を示す情報であるリアクション情報を受信する。再生部は、コンテンツとともにリアクション情報を再生する。
【００１１】
好ましくは、情報端末は、コンテンツに対するリアクションを要求するタイミングを指定する情報であるタイミング情報を入力するための入力部をさらに備える。通信部は、タイミング情報によって特定されるタイミングにおいて他の端末が取得したリアクション情報を受信する。
【００１２】
さらに他の局面に従うと、コンテンツを再生する第１の再生部を含む第１の情報端末と、第１の情報端末と通信可能な第２の情報端末とを備える情報処理システムが提供される。第１の情報端末は、第１の再生部において再生されるコンテンツを第２の情報端末に送信するための第１の通信部をさらに含む。第２の情報端末は、第１の情報端末から受信したコンテンツを再生するための第２の再生部と、第２の再生部においてコンテンツが再生されているときに当該第２の情報端末におけるユーザのリアクションを検出するための検出部と、検出部が検出したリアクションに基づいて、リアクション情報を生成するための生成部と、リアクション情報を第１の情報端末に送信するための第２の通信部とを含む。第１の通信部は、第２の情報端末からリアクション情報を受信する。第１の再生部は、リアクション情報を、コンテンツとともに再生する。
【発明の効果】
【００１３】
本開示によれば、情報処理システムにおいてコンテンツが共有された場合、供給先の情報端末においてコンテンツ再生中に検出されたリアクションが、供給元の情報端末に送られる。これにより、情報処理システムにおいて、コンテンツを供給された側の端末におけるユーザのリアクションが、リアルタイムで、供給した側の端末に与えられる。
【図面の簡単な説明】
【００１４】
【図１】情報処理システムの構成を概略的に示す図である。
【図２】情報処理システムにおける情報端末の動作概要を説明するための図である。
【図３】情報端末のハードウェア構成の具体例を示す図である。
【図４】情報端末のハードウェア構成の具体例を示す図である。
【図５】表情の特定を説明するための図である。
【図６】リアクション情報データベースにおける情報の格納例を示す図である。
【図７】情報処理システムにおいて実行される処理のシーケンスを示す図である。
【図８】情報処理システムにおいてコンテンツが共有される際に実行される処理のフローチャートである。
【図９】リアクション情報の表示態様の変形例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本開示の情報端末および情報処理システムの実施の形態について、図面を参照して説明する。以下の説明において、同一の機能および作用を有する部品は、各図を通して同じ符号を付し、重複する説明を繰返さない。
【００１６】
［第１の実施の形態］
＜システム構成＞
図１は、情報処理システムの構成を概略的に示す図である。情報処理システムは、情報端末１００と情報端末２００とを含む。情報端末１００と情報端末２００は、コンテンツを共有する。本明細書では、主に、情報端末１００は、コンテンツを供給する側として、また、情報端末２００は、コンテンツを供給される側として、説明される。情報端末１００と情報端末２００とは、ネットワーク５００を介して通信する。図１では、情報端末１００，２００の機能構成が記載されているが、各機能については後述する。
【００１７】
＜動作概要＞
図２は、情報処理システムにおける情報端末１００，２００の動作の概要を説明するための図である。情報端末１００は、ディスプレイ１５を備える。情報端末２００は、ディスプレイ２５を備える。図２では、情報端末１００の異なる３つの状態が情報端末１００Ａ，１００Ｂ，１００Ｃとして示されている。また、情報端末２００の異なる２つの状態が情報端末２００Ａ，２００Ｂとして示されている。
【００１８】
情報処理システムでは、情報端末１００Ａとして示されるように、送信側の端末でコンテンツが再生される。情報端末１００Ａは、当該コンテンツを情報端末２００と共有するために、当該コンテンツを情報端末２００へ送信する。これにより、情報端末２００Ａとして示されるように、受信側の端末でもコンテンツが再生される。情報端末１００と情報端末２００との間でコンテンツが共有されているため、情報端末１００における再生内容が情報端末１００Ａから情報端末１００Ｂへと変更されると、情報端末２００における再生内容も情報端末２００Ａから情報端末２００Ｂへと変更される。
【００１９】
情報端末２００のユーザが、情報端末２００Ｂに示されたような表示を見て、表情を変えたり声を出すなどして驚くようなリアクションをとったとする。情報端末２００は、たとえばカメラによって取得された画像やマイクによって取得された音声に基づいて、そのようなリアクションを検出する。そして、情報端末２００は、当該検出結果に基づいて、ユーザのリアクションの内容を示す情報であるリアクション情報を生成し、情報端末１００へそれを送信する。
【００２０】
情報端末２００からリアクション情報を受信すると、情報端末１００は、当該リアクション情報を出力する。図２では、情報端末１００Ｃは、ディスプレイ１５に、情報端末１００Ｂまでで表示させていたコンテンツとともに、リアクション情報として、検出されたリアクションに対応する画像３０１を表示する。
【００２１】
＜ハードウェア構成＞
（情報端末１００）
図３は、情報端末１００のハードウェア構成の具体例を示す図である。図３に示されるように、情報端末１００は、演算装置であるＣＰＵ（Central Processing Unit）１０と、ＣＰＵ１０が実行するプログラム（アプリケーション）などを記憶するためのＲＯＭ（Read Only Memory）１１と、ＣＰＵ１０がプログラムを実行する際の作業領域として機能するＲＡＭ（Random Access Memory）１２と、コンテンツなどを記憶するためメモリ１３と、情報端末１００に対する操作入力を受け付けるための操作Ｉ／Ｆ（インタフェース）１４と、画像出力部としてのディスプレイ１５と、音声出力部としてのスピーカ１６と、情報端末２００等の外部機器と無線通信を行なうための通信Ｉ／Ｆ１７と、カメラ１８と、マイクロフォン（以下、「マイク」と略記する）１９とを含む。
【００２２】
（情報端末２００）
図４は、情報端末２００のハードウェア構成の具体例を示す図である。図４に示されるように、情報端末２００は、情報端末１００と同様に、演算装置であるＣＰＵ２０と、ＣＰＵ２０で実行されるプログラム（アプリケーション）などを記憶するためのＲＯＭ２１と、ＣＰＵ２０がプログラムを実行する際の作業領域として機能するＲＡＭ２２と、コンテンツなどを記憶するためメモリ２３と、情報端末２００に対する操作入力を受け付けるための操作Ｉ／Ｆ２４と、画像出力部としてのディスプレイ２５と、音声出力部としてのスピーカ２６と、情報端末１００等の外部機器との間で無線通信を行なうための通信Ｉ／Ｆ２７と、カメラ２８と、マイク２９とを含む。カメラ２８は、たとえば、ディスプレイ２５を見つめるユーザの顔を撮影できる位置に設けられている。
【００２３】
＜機能構成＞
（情報端末１００）
図１を参照して、情報端末１００の機能構成を説明する。情報端末１００では、操作入力部１０２は、外部からの情報の入力を受け付ける。表示部１０４は、映像（画像）を表示する。コンテンツＤＢ（データベース）１１０は、コンテンツのファイルを格納する。コンテンツ再生部１０６は、コンテンツＤＢ１１０に格納されたコンテンツを再生する。通信部１２０は、アンテナ１２２を有し、ネットワーク５００を介して、コンテンツのファイル（データ）を情報端末２００へ送信する。操作入力部１０２は、操作Ｉ／Ｆ１４によって実現される。また、表示部１０４はディスプレイ１５によって、通信部１２０は通信Ｉ／Ｆ１７によって、コンテンツ再生部１０６はＣＰＵ１０によって、コンテンツＤＢ１１０はメモリ１３によって、それぞれ実現される。
【００２４】
後述するように、情報端末２００は、情報端末１００からコンテンツを受信すると、当該コンテンツを再生させながらリアクション情報を生成し、そして、当該リアクション情報を情報端末１００へ送信する。コンテンツ再生部１０６は、リアクション情報を受信すると、上記コンテンツを再生させながら、当該リアクション情報を出力する。
【００２５】
（情報端末２００）
図１を参照して、情報端末２００の機能構成を説明する。情報端末２００では、操作入力部２０２は、外部からの情報の入力を受け付ける。通信部２２０は、アンテナ２２２を有し、情報端末１００から送信されたコンテンツのファイルを受信する。表示部２０４は、当該コンテンツの再生画像を表示する。Ａ／Ｄ（アナログ／デジタル）コンバータ２０６は、カメラ２８に入力された映像のアナログデータをデジタルデータに変換し、マイク２９に入力された音声のアナログデータをデジタルデータに変換する。そして、Ａ／Ｄコンバータ２０６は、変換後のデジタルデータを、リアクション検出部２１０へ出力する。
【００２６】
リアクション検出部２１０は、Ａ／Ｄコンバータ２０６から入力されたデジタルデータに基づいて、情報端末２００のユーザによるリアクションを検出する。そして、リアクション検出部２１０は、リアクションを検出すると、入力されたデジタルデータを表情認識部２１２へ出力する。
【００２７】
「リアクションを検出」する例としては、カメラ２８によって撮影された２以上の画像に基づいてユーザの表情に変化があったことが検出されたこと、カメラ２８によって撮影された画像において検出されたユーザの表情が特定の表情であることが検出されたこと、マイク２９によって取得された音声がユーザの声を含むことが検出されたこと、などが挙げられる。リアクション検出部２１０は、カメラ２８が撮影した画像のみ、マイク２９に入力された音声のみ、または、当該画像と当該音声の両方に基づいて、検出され得る。また、リアクションの有無は、画像および音声だけでなく、温度の変化や振動の有無等に基づいても、検出され得る。たとえば、温度の変化に基づくリアクションの有無は、温度センサによる手の温度の検出やカメラ撮影による顔の温度の検出などに基づいて、判断され得る。振動の有無については、たとえば、カメラによって撮影された画像からパターン認識等の技術に基づき顔の位置を特定し、当該顔の位置が特定のパターンで変位したか否かに基づいて、判断され得る。「表情の変化があったこと」の検出は、たとえば、公知の技術（チェイスフォーカス、スマイルシャッタ、等）に基づいて実現され得る。
【００２８】
図５は、表情の特定を説明するための図である。図５を参照して、リアクション検出部２１０は、たとえば、チェイスフォーカスの技術を利用して、顔を検出する。これにより、たとえば、図５の画像４００から、領域４０１が、顔を表す領域として、抽出される。そして、リアクション検出部２１０は、検出された顔の中から、顔の中の部位（目や鼻や口）の位置を特定し、目の開き具合や目じりの下がり具合などを特定し、表情の判別に利用する。また、リアクション検出部２１０は、口の開き具合や口角の上がり具合などを判別に利用する場合もある。また、リアクション検出部２１０は、顔の中の２以上の部位の位置関係を総合的に特定し、総合的に、笑いや驚きなどの表情を特定する。
【００２９】
また、音声に基づくリアクションの検出では、リアクション検出部２１０は、たとえば、笑い、驚き、悲しみ、称賛などに該当する音響モデルや言語モデルを格納したデータベースを参照することにより、ユーザが発した音声（マイク２９に入力された音声データ、または、そこからユーザが発した音声を分離されたデータ）をモデルデータとマッチングする。そして、リアクション検出部２１０は、マッチングスコアの高いモデルデータに対応するリアクションを、結果として出力する。なお、リアクション検出部２１０は、リアクションの検出において、ユーザが発した音声を解析することにより発せられた言語（文言）を特定し、特定された言語そのものを利用してもいいし、音声を解析することによりユーザの声の調子（抑揚等）を特定し、当該声の調子を利用してもよい。
【００３０】
情報端末２００では、カメラ２８がユーザの顔を継続的に撮影し、撮影されたデータが継続的にリアクション検出部２１０に入力され得る。もしくは、情報端末２００では、マイク２９が継続的に音声データを生成し、生成された音声データが継続的にリアクション検出部２１０に入力され得る。
【００３１】
表情認識部２１２は、予め登録されたリアクションの２以上のパターンの中から、入力されたデジタルデータが該当するパターンを特定する情報を、感情推定部２１４へ出力する。表情認識部２１２は、たとえば、カメラ２８で撮影された画像が、予め登録されたリアクションのパターン（たとえば、笑顔、怒り顔、泣き顔、困った顔、等）のいずれに該当するかを判断し、その結果を感情推定部２１４へ出力する。また、表情認識部２１２は、マイク２９に入力された音声に含まれるユーザの声が、予め登録されたリアクションのパターン（たとえば、笑顔、怒り顔、泣き顔、困った顔、等）のいずれに該当するかを判断し、その結果を感情推定部２１４へ出力する。表情認識部２１２は、画像についてのリアクションパターンと、音声についてのリアクションのパターンの、いずれか一方を出力しても良いし、双方を出力しても良い。
【００３２】
感情推定部２１４は、表情認識部２１２から出力されたリアクションのパターンに基づいて、情報端末２００のユーザのリアクションの種類を特定する。特定されるリアクションの種類は、たとえば、「笑い」「驚き」「悲しみ」または「称賛」である。情報端末２００には、たとえば、表情認識部２１２から出力されるリアクションのパターンと、特定されるリアクションの種類とを関連付けるテーブルが格納されている。感情推定部２１４は、当該テーブルを参照することにより、表情認識部２１２から出力されたパターンに対応するユーザのリアクションの種類を特定する。当該テーブルでは、表情認識部２１２から出力される画像のパターンと音声のパターンの組み合わせが、リアクションの種類と関連付けられている場合もあり得る。
【００３３】
リアクション情報ＤＢ２１６は、リアクションの種類を、リアクション情報と関連付けて格納している。図６は、リアクション情報ＤＢ２１６における情報の格納態様を模式的に示す図である。図６に示されるように、リアクション情報ＤＢ２１６では、リアクションの種類のそれぞれに、画像、文字、絵文字、および、音が関連付けられている。たとえば、種類「笑い」には、太陽の画像と、「ニコニコ」および「ハハハ」という文字と、笑顔を表す絵文字と、笑い声を表す音声情報とが、関連付けられている。
【００３４】
感情推定部２１４は、リアクション情報ＤＢ２１６において、特定したリアクションの種類と関連付けられている画像、文字、絵文字、および／または、音の情報を、リアクション情報生成部２１８へ出力する。
【００３５】
リアクション情報生成部２１８は、感情推定部２１４から出力された情報を利用して、情報端末１００へ送信するリアクション情報を生成する。より具体的には、感情推定部２１４から出力された情報の中の少なくとも１つが情報端末１００において出力されるように、リアクション情報を生成する。そして、リアクション情報生成部２１８は、リアクション情報を、通信部２２０を介して、情報端末１００へ送信する。
【００３６】
以上説明したように、情報端末２００は、情報端末１００からコンテンツを受信すると、当該コンテンツを再生させながら、カメラ２８および／またはマイク２９を用いて、ユーザのリアクションを検出する。そして、リアクションが検出されると、情報端末２００は、当該リアクションの種類を特定し、情報端末１００において特定された種類に関連付けられた情報を出力するためのリアクション情報を生成し、そして、当該リアクション情報を情報端末１００へ送信する。
【００３７】
情報端末２００において、Ａ／Ｄコンバータ２０６、リアクション検出部２１０、表情認識部２１２、感情推定部２１４、および、リアクション情報生成部２１８は、ＣＰＵ２０によって実現される。また、情報端末２００において、操作入力部２０２は入力Ｉ／Ｆ２４によって、表示部２０４はディスプレイ２５によって、通信部２２０は通信Ｉ／Ｆ２７によって、それぞれ実現される。
【００３８】
＜処理シーケンス＞
次に、情報処理システムにおいて実行される処理のシーケンスを説明する。図７は、情報端末１００と情報端末２００とによって実行される処理のシーケンスを示す図である。
【００３９】
情報端末１００のユーザが、操作Ｉ／Ｆ１４に対して、コンテンツを情報端末２００と共有しながら再生する指示を入力すると、情報端末１００は、情報端末２００に対して、コンテンツの共有の可否を問合せる（Ｓ１：コンテンツ共有問合せ）。
【００４０】
情報端末２００は、Ｓ１の問合せを受けると、ディスプレイ２５に、コンテンツの共有の可否の入力を促すメッセージを表示させる。これに応じて、情報端末２００のユーザは、操作Ｉ／Ｆ２４に、コンテンツの共有を受け入れるか否かの情報を入力する。そして、情報端末２００は、入力された情報を情報端末１００へ送信する（Ｓ２：返答）。ここでは、コンテンツの共有を受け入れる情報が入力された場合が説明される。
【００４１】
情報端末２００からの返答を受けると、情報端末１００は、コンテンツを情報端末１００において再生しながら、当該コンテンツのデータを情報端末２００へ送信する（Ｓ３：コンテンツ共有開始、Ｓ４，Ｓ５：コンテンツデータ）。これに応じて、情報端末２００では、データを受信したコンテンツが再生される。
【００４２】
情報端末２００では、コンテンツの再生中にリアクションが検出されると、リアクション情報を生成して、情報端末１００へ送信する（Ｓ６：リアクション検出・リアクション情報生成，Ｓ７：リアクション情報送信）。これに応じて、情報端末１００は、コンテンツを再生するとともに、リアクション情報を出力する（Ｓ８：リアクション出力）。
【００４３】
情報端末１００は、コンテンツの共有を終了する指示が入力されるまで、または、共有することを指示されたコンテンツが終了するまで、情報端末２００へ、コンテンツのデータを送信する（Ｓ９：コンテンツデータ）。情報端末２００では、当該コンテンツの再生が継続される。コンテンツの再生中、情報端末２００では、ユーザのリアクションが検出されると、リアクション情報が生成され、当該リアクション情報が情報端末１００へ送信される（Ｓ１０：リアクション検出・リアクション情報生成，Ｓ１１：リアクション情報送信）。そして、情報端末１００は、リアクション情報を受信すると、当該リアクション情報を出力する（Ｓ１２：リアクション出力）。
【００４４】
コンテンツの共有が終了すると、情報端末１００は、情報端末２００にその旨を通知する（Ｓ１３：コンテンツデータ終了通知）。これに応じて、情報端末２００は、情報端末１００に、当該通知を受信したことを通知する（Ｓ１４：返答）。
【００４５】
＜フローチャート＞
図８は、情報処理システムにおいてコンテンツが共有される際に、情報端末１００と情報端末２００において実行される処理のフローチャートである。図８では、左側に、情報端末１００における処理のフローチャートが示され、右側に、情報端末２００における処理のフローチャートが示されている。以下、図８を参照して、情報端末１００と情報端末２００において実行される処理の内容を説明する。
【００４６】
情報端末１００では、入力Ｉ／Ｆ１４にコンテンツの共有の指示が入力されると、ステップＳ１０２で、ＣＰＵ１０は、図７のＳ１として説明されたように、情報端末２００に対して、コンテンツの共有の可否を問合せる情報を送信する。
【００４７】
情報端末２００では、ステップＳ２０２で、ＣＰＵ２０は、当該問合せを受信する。そして、制御は、ステップＳ２０４へ進められる。
【００４８】
ステップＳ２０４では、ＣＰＵ２０は、ディスプレイ２５にメッセージを表示する等して、ユーザに、情報端末１００とのコンテンツの共有を許可するかどうかの指示の入力を促す。そして、ＣＰＵ２０は、共有を許可する指示を入力されると（ステップＳ２０４でＹＥＳ）、ステップＳ２０８へ制御を進める。一方、ＣＰＵ２０は、共有を許可しない指示を入力されると（ステップＳ２０４でＮＯ）、ステップＳ２０６へ制御を進める。
【００４９】
ステップＳ２０６では、ＣＰＵ２０は、情報端末１００に対して共有を拒否する情報を送信して、処理を終了する。
【００５０】
ステップＳ２０８では、ＣＰＵ２０は、情報端末１００に対して共有を許可する情報を送信する。そして、制御は、ステップＳ２１０へ進められる。
【００５１】
ステップＳ２１０では、ＣＰＵ２０は、カメラ２８による撮影と、マイク２９による集音を開始する。
【００５２】
一方、情報端末１００では、ステップＳ１０４で、ＣＰＵ１０は、ステップＳ２０６またはステップＳ２０８で情報端末２００から送信された情報を受信する。そして、制御は、ステップＳ１０６へ進められる。
【００５３】
ステップＳ１０６では、ＣＰＵ１０は、ステップＳ１０４で情報端末２００から受信した情報が、コンテンツの共有を許可するものであるか否かを判断する。ＣＰＵ１０は、当該情報がコンテンツの共有を許可するものであると判断すると、ステップＳ１１０へ制御を進める（ステップＳ１０６でＹＥＳ）。一方、ＣＰＵ１０は、当該情報がコンテンツの共有を許可するものではないと判断すると、ステップＳ１０８へ制御を進める（ステップＳ１０６でＮＯ）。
【００５４】
ステップＳ１０８では、ＣＰＵ１０は、コンテンツのデータを情報端末２００へ送信することなく、図８に示された処理の開始時にユーザから入力されていた、コンテンツの共有の指示をキャンセルするための制御を実行して、処理を終了させる。
【００５５】
ステップＳ１１０では、ＣＰＵ１０は、情報端末２００に、コンテンツのデータを送信する。これは、図７のＳ４，Ｓ５，Ｓ９に相当する。
【００５６】
情報端末２００では、上記したように、ステップＳ２０８で、情報端末１００にコンテンツの共有を許可する情報が送信された後、ステップＳ２１０で、カメラ２８による撮影が開始され、また、マイク２９による集音が開始されている。また、ステップＳ１１０で、情報端末１００から情報端末２００に、コンテンツのデータが送信されている。そして、ステップＳ２１２で、ＣＰＵ２０は、情報端末１００から送信されたコンテンツのデータを受信する。そして、ＣＰＵ２０は、当該データに従って、コンテンツを再生する。そして、制御はステップＳ２１４へ進められる。
【００５７】
ステップＳ２１４で、ＣＰＵ２０は、リアクションが検出されたか否かを判断する。リアクションの検出は、たとえば、リアクション検出部２１０の機能としてすでに説明された内容に従って実現される。ＣＰＵ２０は、リアクションが検出されたと判断すると、ステップＳ２１６へ制御を進める（ステップＳ２１４でＹＥＳ）。一方、ＣＰＵ２０は、リアクションが検出されていないと判断すると、ステップＳ２１２へ制御を戻す（ステップＳ２１４でＮＯ）。
【００５８】
ステップＳ２１６では、ＣＰＵ２０は、リアクション情報を生成する。リアクション情報の生成は、たとえば、リアクション情報生成部２１８の機能としてすでに説明された内容に従って実現される。ステップＳ２１６は、図７のＳ６，Ｓ１０に相当する。そして、制御は、ステップＳ２１８へ進められる。
【００５９】
ステップＳ２１８では、ＣＰＵ２０は、ステップＳ２１６で生成したリアクション情報を情報端末１００へ送信する。ステップＳ２１８は、図７のＳ７，Ｓ１１に相当する。そして、制御は、ステップＳ２２０へ進められる。
【００６０】
情報端末１００では、ステップＳ１１２で、ＣＰＵ１０は、リアクション情報を受信したか否かを判断する。そして、ＣＰＵ１０は、リアクション情報を受信したと判断すると、ステップＳ１１４へ制御を進める（ステップＳ１１２でＹＥＳ）。一方、ＣＰＵ１０は、リアクション情報を受信していないと判断すると、ステップＳ１１０へ制御を戻す（ステップＳ１１２でＮＯ）。
【００６１】
ステップＳ１１４で、ＣＰＵ１０は、受信したリアクション情報を出力する。リアクション情報の出力態様は、たとえば図２において、情報端末１００Ｃとして示されている。情報端末１００Ｃでは、ディスプレイ１５内に、コンテンツとともに、リアクション情報に対応した画像３０１が表示されている。
【００６２】
情報端末１００においてコンテンツの共有を終了させる条件が成立すると、ＣＰＵ１０は、ステップＳ１１６で、コンテンツの共有を終了させるための制御を実行する。これにより、処理は終了する。当該条件は、たとえば、情報端末１００または情報端末２００においてコンテンツの供給を終了させる指示が入力されたこと、または、再生中のコンテンツが終了したことによって成立する。コンテンツの供給を終了させるための制御は、たとえば、図７のＳ１３として説明されたような情報端末２００への通知を含む。
【００６３】
情報端末２００では、ステップＳ２１８においてリアクション情報が送信された後、ステップＳ２２０において、ＣＰＵ２０は、情報端末１００からデータを受信したコンテンツの再生が終了したか否かを判断する。当該判断は、たとえば、情報端末１００から、図７のＳ１３について説明されたような、コンテンツの共有を終了する旨の通知を受信したか否かを判断することによって実現される。ＣＰＵ２０は、コンテンツの再生が終了したと判断すると、ステップＳ２２２へ制御を進める（ステップＳ２２０でＹＥＳ）。一方、ＣＰＵ２０は、まだコンテンツの再生が終了していないと判断すると、ステップＳ２１２へ制御を戻す（ステップＳ２２０でＮＯ）。
【００６４】
ステップＳ２２２では、ＣＰＵ２０は、ステップＳ２１０で開始させた、カメラ２８による撮影とマイク２９による集音を終了させる。これにより、処理が終了する。
【００６５】
＜実施の形態の効果＞
以上説明した本実施の形態によれば、情報端末間でコンテンツを共有した場合、コンテンツの供給を受けた側のリアクションが、リアルタイムで、コンテンツを供給した側に送られる。これにより、コンテンツを共有した情報端末のユーザ間で、より円滑に、コミュニケーションが図られる。コンテンツの供給を受けた側の情報端末では、カメラおよび／またはマイクなどを利用して、ユーザのリアクションが検出される。したがって、コンテンツの供給を受けた側の情報端末では、コンテンツの再生中にユーザが能動的に情報を入力することなく、コンテンツを供給した側の情報端末にリアクションを返すことができる。このように、供給を受けた側の情報端末は、リアクションの送信に能動的な操作を必要としないため、コンテンツを全画面表示した状態でも、供給した側の情報端末にリアクションを返すことができる。
【００６６】
本実施の形態の情報処理システムでは、情報端末間で、直接、コンテンツが共有され、また、リアクション情報が送受信される。これにより、非言語情報管理サーバのような、特別なサーバを設けることを必要とされない。
【００６７】
＜変形例＞
本実施の形態の情報処理システムでは、リアクション情報ＤＢ２１６を、情報端末２００または情報端末１００が通信可能なサーバ上に格納しておくことも可能である。情報端末２００は、当該サーバから、検出されたリアクションの種類に対応する画像等を取得して、リアクション情報を生成し得る。もしくは、リアクション情報は、情報端末１００において検出されたリアクションの種類に関連付けられた画像等を特定する情報を含み、当該リアクション情報を受信した情報端末１００が、上記種類に関連付けられた画像等を取得して、出力する。
【００６８】
また、情報端末２００において再生されたコンテンツに対するユーザのリアクションは、情報端末２００以外の装置で検知されても良い。当該装置は、リアクションの有無やその種類を検知する。より具体的には、当該装置は、リアクションがあったことを検知した場合、当該リアクションの種類を特定して、情報端末２００へ出力する。情報端末２００は、当該装置から入力された情報に基づいて、ユーザのリアクションがあったこと、および、ユーザのリアクションの種類を検出する。
【００６９】
本実施の形態において共有されるコンテンツは、たとえば、動画ファイル、音声ファイル、テキストファイル、文字、静止画像、カメラ１８においてリアルタイムで撮影される映像、および／または、マイク１９においてリアルタイムで取得される音声、によって構成される。
【００７０】
リアクションの有無の判断は、コンテンツの共有開始時の状態（カメラ２８で撮影された顔の表情やマイク２９で取得された音声の調子）と、リアクション検出時の状態または前回リアクションが検出された時の状態との差分に基づいてなされても良い。
【００７１】
本実施の形態において出力されるリアクション情報としては、図２において情報端末１００Ｃとして示されたような画像（画像３０１）の他に、図６を参照して説明されたように、文字であっても良いし、絵文字であっても良いし、音声であっても良いし、これらの組合せであっても良い。複数のリアクション情報からどれを出力するかについては、たとえば、所定の順序で選択されても良い。具体的には、たとえば、同一のコンテンツの再生中に同一の種類のリアクションが検出された回数に応じて、画像、文字、絵文字、音声、といった順序で、出力されるコンテンツ情報の種類が選択されても良い。より具体的には、あるコンテンツについて、初めて種類「笑い」のリアクションが検出された場合には、リアクション情報として、「笑い」に対応する画像が出力される。次に種類「笑い」のリアクションが検出された場合には、リアクション情報として、「笑い」に対応する文字が出力される。次に種類「笑い」のリアクションが検出された場合には、リアクション情報として、「笑い」に対応する絵文字が出力される。次に種類「笑い」のリアクションが検出された場合には、リアクション情報として、「笑い」に対応する音声が出力される。
【００７２】
リアクション情報の出力は、ユーザの姿や声が直接的に出力されるのではなく、画像の表示等によって実現されることから、コンテンツの供給を受けた側の情報端末のユーザの反応が、間接的に、コンテンツを供給した側の情報端末に送信される。これにより、コンテンツの供給を受けた側の情報端末のユーザは、比較的抵抗無く、相手の情報端末のユーザに、リアクションを伝えることができる。
【００７３】
情報端末２００では、コンテンツの再生中、継続的にカメラ２８での撮影とマイク２９での集音とが実行されることによって、継続的にリアクションが検出された。そして、リアクションが検出されるたびに、リアクション情報が生成されて、情報端末１００へ送信された。
【００７４】
なお、情報端末２００でのリアクションの検出は、特定のタイミングでのみ行なわれても良く、たとえば、情報端末２００側のユーザが特定の操作ボタンを操作したときなど、情報端末２００側のユーザが指定したタイミングでのみ、行なわれても良い。
【００７５】
または、情報端末２００でのリアクションの検出は、コンテンツの送信側である情報端末１００においてユーザが特定の操作ボタンを操作したときなど、情報端末１００側のユーザが指定したタイミングでのみ、行なわれても良い。また、情報端末１００では、予め、情報端末２００においてリアクションの検出を行うべきタイミングを設定することもできる。たとえば、コンテンツの共有を開始する際に、情報端末１００のユーザは、「コンテンツの共有の開始から１分後の、情報端末２００でのユーザのリアクションを取得する」という条件を設定できる。
【００７６】
リアクション情報は、たとえば、予め登録された音声情報を出力する、予め登録された画像を一定時間出力する、といった態様で出力される。画像は、たとえば、ディスプレイ１５に所与の時間だけ表示される。また、画像の表示位置は、ディスプレイ１５の一定の位置に表示されても良いし、たとえば、図９において情報端末１００Ｄ，１００Ｅ、１００Ｆとして示されるように、ディスプレイ１５内でスクロール表示されても良い。なお、情報端末１００Ｄ，１００Ｅ、１００Ｆでは、リアクション情報は、画像３０２と文字３０３の組合せとして、示されている。図９の情報端末１００Ｄ，１００Ｅ、１００Ｆでは、画像３０２と文字３０３とは、左側から右側へ、スクロール表示されている。
【００７７】
本実施の形態では、リアクション情報は、情報端末２００において生成され、情報端末１００に対して送信された。なお、情報処理システムでは、リアクション情報は、コンテンツの送信側の端末でも生成される場合もあり得る。つまり、リアクション情報は、さらに、情報端末１００において生成され、情報端末２００に対して送信され得る。
【００７８】
［第２の実施の形態］
リアクション情報は、図６を参照して説明されたようにリアクションの種類に応じて変更されるもの以外に、リアクションの種類に関連しないものであっても良い。つまり、リアクションの種類が異なっても、同じリアクション情報が出力されても良い。
【００７９】
［第３の実施の形態］
リアクション情報の出力態様としては、図６に示された画像等の以外にも、画面における背景の表示の変更であっても良いし、画面が振動するようなアニメーション表示であっても良いし、画面における表示の点滅であっても良い。
【００８０】
［第４の実施の形態］
リアクション情報の出力態様としては、リアクションの声の大きさや表情の変化の大きさによって、図６に示された画像、文字、絵文字の表示サイズを変更したり、出力される音声の音量を変えたりしても良い。
【００８１】
今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８２】
１０，２０  ＣＰＵ、１５，２５  ディスプレイ、１００，２００  情報端末。
【図１】
2015060380.tif 000003
【図２】
2015060380.tif 000004
【図３】
2015060380.tif 000005
【図４】
2015060380.tif 000006
【図５】
2015060380.tif 000007
【図６】
2015060380.tif 000008
【図７】
2015060380.tif 000009
【図８】
2015060380.tif 000010
【図９】
2015060380.tif 000011