(57)【要約】      （修正有）【課題】聞き手の反応に合った話題を話し手に提供できるようにする。【解決手段】話者と聴者とのコミュニケーションを支援するコミュニケーション支援装置１００であって、話者が話す候補となる内容を生成する生成手段２０６と、生成手段で生成された内容を話者が使用したことを検知する検知手段２１０と、検知手段が検知した前後のタイミングにおいて、聴者の反応を解析する反応解析手段２０５と、反応解析手段で解析した結果を聴者のプロファイル情報として登録するプロファイル登録手段と、を有する。生成手段は、プロファイル登録手段が登録したプロファイル情報に基づいて、話者が話す候補となる内容を更新する。【選択図】図２
2016177483.tif 000002
【特許請求の範囲】
【請求項１】
話者と聴者とのコミュニケーションを支援するコミュニケーション支援装置であって、
前記話者が話す候補となる内容を生成する生成手段と、
前記生成手段で生成された内容を前記話者が使用したことを検知する検知手段と、
前記検知手段が検知した前後のタイミングにおいて、前記聴者の反応を解析する反応解析手段と、
前記反応解析手段で解析した結果を前記聴者のプロファイル情報として登録するプロファイル登録手段と、を有し、
前記生成手段は、前記プロファイル登録手段が登録した前記プロファイル情報に基づいて、前記話者が話す候補となる内容を更新することを特徴とするコミュニケーション支援装置。
【請求項２】
前記反応解析手段は、前記聴者の理解度、興味度、および相性度のうち少なくとも１つを推定することにより、前記聴者の反応を解析することを特徴とする請求項１に記載のコミュニケーション支援装置。
【請求項３】
前記聴者の属性情報を認識する認識手段を更に有し、
前記生成手段は、前記認識手段により認識された属性情報に基づいて前記話者が話す候補となる内容を生成することを特徴とする請求項１または２に記載のコミュニケーション支援装置。
【請求項４】
前記話者と前記聴者の個人情報を特定する個人識別手段を更に有し、
前記生成手段は、前記識別した個人情報に基づいて前記話者が話す候補となる内容を生成することを特徴とする請求項１から３のいずれか１項に記載のコミュニケーション支援装置。
【請求項５】
前記個人識別手段は、前記話者と複数の前記聴者の個人情報を特定することを特徴とする請求項４に記載のコミュニケーション支援装置。
【請求項６】
前記反応解析手段は、前記複数の聴者のそれぞれの反応を統合し、
前記プロファイル登録手段は、前記反応解析手段が統合した結果を前記プロファイル情報として登録することを特徴とする請求項５に記載のコミュニケーション支援装置。
【請求項７】
前記聴者の反応情報をデータベースに蓄積する反応情報蓄積手段と、
前記蓄積された反応情報より一般的な聴者の反応を推定する反応推定手段と、
前記反応推定手段で推定した結果と、前記聴者それぞれの反応に対する解析の結果を統合する反応情報統合手段とを、更に有することを特徴とする請求項６に記載のコミュニケーション支援装置。
【請求項８】
前記反応解析手段は、前記聴者の音声、視線、ジェスチャ、表情、生体信号の少なくとも１つに基づいて、前記聴者の反応を解析することを特徴とする請求項１から７のいずれか１項に記載のコミュニケーション支援装置。
【請求項９】
話者と聴者とのコミュニケーションを支援するコミュニケーション支援方法であって、
前記話者が話す候補となる内容を生成する生成ステップと、
前記生成された内容を前記話者が使用したことを検知する検知ステップと、
前記検知した前後のタイミングにおいて、前記聴者の反応を解析する反応解析ステップと、
前記解析した結果を前記聴者のプロファイル情報として登録するプロファイル登録ステップと、を有し、
前記生成ステップは、前記プロファイル情報に基づいて、前記話者が話す候補となる内容を更新することを特徴とするコミュニケーション支援方法。
【請求項１０】
コンピュータを、請求項１から８のいずれか１項に記載のコミュニケーション支援装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会話において聞き手の反応を映像や音声などから解析し、話題を話者に提供する技術に関する。
【背景技術】
【０００２】
一般的に保険や証券といった金融商品などを対面で顧客に販売する際、ベテランの営業マンは的確に顧客の反応に合わせて、その都度、話の内容や構成を変更して顧客の理解度や興味に合わせた話をすることができ、顧客の信頼を得ながら契約を成約させている。このように、個々の顧客を観察し、顧客の反応に合わせて話題を提供したり、顧客の理解度に応じて商品説明の構成を臨機応変に変更する話術は、一朝一夕で身に付くものではなく、長年の経験や勘が必要であった。一方で企業側は、開発する商品の多様化に伴い、経験の浅い営業マンであっても顧客のニーズを的確に探り当て、契約を成立させられるようにして欲しいというニーズがある。
【０００３】
特許文献１には、聞き手の連絡先と過去の会話記録から、次にどのような話題を提供したら良いか話題提供を支援する会話促進情報提供方法が開示されている。また、特許文献２には、聞き手の視線や表情の動きから聞き手の注目度を判定し、話し手の話し方について指示を出す話し手を支援する装置などが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−２２４８８６号公報
【特許文献２】特開２００７−２１３２８２号公報
【非特許文献】
【０００５】
【非特許文献１】着座時揺動の同調傾向に基づく聴衆の興奮・退屈状態の計測、綿谷、岩井、佐藤、電気学会論文誌Ｃ（電子・情報・システム部門誌）１３３（４）、７０６−７１２、２０１３°
【非特許文献２】独立成分分析に基づくブラインド音源分離（マイクロホンアレー・ブラインド分離・音源位置推定及び一般）、牧野、荒木、向井、澤田、電子情報通信学会技術研究報告．ＥＡ、応用音響  １０３（１２９）、１７−２４、２００３−０６−１３
【非特許文献３】Ｇｗｅｎ  Ｌｉｔｔｌｅｗｏｒｔら、“Ｔｈｅ  Ｃｏｍｐｕｔｅｒ  Ｅｘｐｒｅｓｓｉｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｔｏｏｌｂｏｘ（ＣＥＲＴ）”，ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，２０１１．
【非特許文献４】渥美、“心拍計測によるドライバーの意識状態評価”、社団法人  自動車技術会  学術講演会前刷集９４６、１９９４−１０
【非特許文献５】Ｍ．Ｔｕｒｋ  ａｎｄ  Ａ．Ｐｅｎｔｌａｎｄ，“Ｅｉｇｅｎｆａｃｅｓ  ｆｏｒ  ｒｅｃｏｇｎｉｔｉｏｎ”，Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｇｎｉｔｉｖｅ  Ｎｅｕｒｏｓｃｉｅｎｃｅ  ３，ｐｐ．７１−８６
【非特許文献６】“Ａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ａｎｄ  Ｅｓｔｉｍａｔｉｏｎ  ｖｉａ  Ｆａｃｅｓ：Ａ  Ｓｕｒｖｅｙ”，Ｆｕ，ｅｔ  ａｌ．，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．３２  Ｎｏ．１１，ｐ．１９５５−１９７６，２０１０．
【非特許文献７】“Ａｎ  ｅｘｐｅｒｉｍｅｎｔａｌ  ｃｏｍｐａｒｉｓｏｎ  ｏｆ  ｇｅｎｄｅｒ  ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｍｅｔｈｏｄｓ”，Ｍａｋｉｎｅｎ，Ｒ  Ｒａｉｓａｍｏ，Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，Ｖｏｌ．２９  Ｎｏ．１０，ｐ．１５４４−１５５６，２００８．
【非特許文献８】瞳孔径・視線と心拍情報を用いた映像要約方法とその評価（感性・情緒処理、＜小特集＞ディジタルエンターテイメントにおける数理・技術とコンテンツ論文）、オン  コックメン、大野雄也、亀山渉、電子情報通信学会論文誌．Ａ、基礎・境界  Ｊ９３−Ａ（１１）、６９７−７０７、２０１０−１１−０１
【非特許文献９】表情から得られる理解度の推定システム、三村淳、萩原将文、平成１１年電気学会  電子・情報・システム部門大会、１９９９−８．
【非特許文献１０】高野博幸、出口光一郎、“輪郭によるフェイスアライメントにおける姿勢変化への対応のための顔輪郭の利用について”、情報処理学会研究報告．ＣＶＩＭ、２０１２−ＣＶＩＭ−１８３（１１）、１−８、２０１２−０８−２６
【非特許文献１１】Ｊ．Ｓａｒａｇｉｈ，Ｓ．Ｌｕｃｅｙ，ａｎｄ  Ｊ．Ｃｏｈｎ，“Ｆａｃｅ  Ａｌｉｇｎｍｅｎｔ  ｔｈｒｏｕｇｈ  Ｓｕｂｓｐａｃｅ  Ｃｏｎｓｔｒａｉｎｅｄ  Ｍｅａｎ−Ｓｈｉｆｔｓ”，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ（ＩＣＣＶ），２００９．
【非特許文献１２】情報処理学会編集：音声認識システム、オーム社、１９８ＰＰ．（２００１）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１で開示される技術は、過去に話した内容と連絡先とを紐付けて次回話すべき内容をオペレーターに報知するのみで、聞き手の反応に応じて話題を提供することはできない。また、特許文献２で開示される技術は、聞き手の視線や表情から注目度を判定して、話し手にスライドの切替えや話し方（抑揚や話す速度）に関して指示を行うが、聞き手の趣味趣向を鑑みた話題提供などは行えない。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために、本発明は、話者と聴者とのコミュニケーションを支援するコミュニケーション支援装置であって、前記話者が話す候補となる内容を生成する生成手段と、前記生成手段で生成された内容を前記話者が使用したことを検知する検知手段と、前記検知手段が検知した前後のタイミングにおいて、前記聴者の反応を解析する反応解析手段と、前記反応解析手段で解析した結果を聴者のプロファイル情報として登録するプロファイル登録手段と、を有し、前記生成手段は、前記プロファイル登録手段が登録した前記プロファイル情報に基づいて、前記話者が話す候補となる内容を更新することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、話し手は聞き手の反応に合った話題を提供することができるようになる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態におけるコミュニケーション支援システムの概念図。
【図２】第１実施形態におけるコミュニケーション支援装置のブロック図。
【図３】第１の実施形態において反応誘発素材生成部の詳細を説明する図。
【図４】第１の実施形態においてリスト生成部が生成した語句・画像のリストの例を説明する図。
【図５】第１実施形態におけるコミュニケーション支援方法の処理手順を示すフローチャート。
【図６】第１の実施形態においてリスト生成部による抽出の具体例を説明する図。
【図７】第２の実施形態におけるコミュニケーション支援システムの概念図。
【図８】第２実施形態におけるコミュニケーション支援装置のブロック図。
【図９】第３の実施形態におけるコミュニケーション支援システムの概念図。
【図１０】第３実施形態における反応誘発素材生成部の詳細を説明する図。
【図１１】第３実施形態におけるコミュニケーション支援装置のブロック図。
【発明を実施するための形態】
【００１０】
［第１の実施形態］
以下、図面を参照して本発明の実施形態を詳細に説明する。第１の実施形態として、１対１の対面式で話し手（話者）が聞き手（聴者）に契約トピックに応じた内容を説明し、契約を成立させる過程で、聞き手の理解度を高めつつ、聞き手のプロファイル情報を同時に取得するコミュニケーション支援装置について説明する。本実施形態における契約トピックとは、例えば保険や証券などの金融商品や、不動産売買などの契約において聞き手が十分に話の内容を理解することが重要となるトピックを想定している。
【００１１】
図１は、本実施形態におけるコミュニケーション支援システムの概念を説明する概念図である。図１は、話し手１０１が、聞き手１０２に向かい、契約トピックについて、提示装置１０３を参照しながら説明を行っている情景を示している。ここで、提示装置１０３は、パーソナルコンピュータ（以下ＰＣと略記）を指している。なお、提示装置１０３はＰＣ以外にもイヤフォンやウェアラブルデバイス（例えばメガネ型のディスプレイ）などの提示装置であっても構わない。本実施形態に係る提示装置１０３には、カメラ１０４が接続されており、聞き手１０２の上半身が撮影されている。
【００１２】
また、本実施形態における提示装置１０３として、話し手１０１にのみ情報を提示する例を図示したが、話し手１０１が聞き手１０２と情報を共有しながら話しを進めたい場合は、ＰＣに限らずプロジェクターによる情報提示を行うなどしても良い。
【００１３】
カメラ１０４は、聞き手１０２の顔の表情および頭部の姿勢、ならびに手の動きを撮影するために、上半身を撮影している。顔枠１０５は、カメラ１０４で撮影された画像から顔を包含する矩形を検出した結果を示している。そして、提示装置１０３は顔枠１０５に対して表情を認識する処理を施し、聞き手１０２の表情を例えば基本７感情（無表情、喜び、悲しみ、怒り、驚き、恐れ、嫌悪）と呼ばれる表情のカテゴリに分類する。なお、聞き手１０２の表情は、上記の基本７感情以外にも、集中している表情、興味を示している表情、何かを言いたそうな表情、といった表情を認識するようにしても良い。
【００１４】
また、話し手が参照している提示装置１０３（ＰＣ）に内蔵されたマイクロフォンを使用し、随時話し手１０１の音声を集音し、単語ないし短文として音声認識を行い、会話の内容をデータベースに記録することができる。更に、単語ないし短文をデータベースに記録する際に、聞き手１０２の表情や手の動き（ジェスチャ）を認識し、データベースに登録する単語ないし短文に対する聞き手１０２の反応として同時に記録される。ここで聞き手１０２の反応は、例えば、にっこりして饒舌に話始めた、首をかしげて手を口元にやり怪訝な顔をした、と言った反応である。
【００１５】
そして、（特定の）聞き手１０２が以前に、或いは多数の事例を統計的に処理して得られた肯定的な反応を示した単語や短文に関係する単語や話題を反応誘発素材としてリスト１０６を提示装置１０３に表示する。また、反応誘発素材は、リスト１０６に示すように単語や短文であっても良いし、図１のように関連するトピックを示す図や絵などであっても構わない。本実施形態では、提示装置１０３に表示される反応誘発素材は話し手のみが見られるようになっているが、構築するシステムによっては、聞き手１０２にも見えるように表示するなどしても良い。
【００１６】
図２は、本実施形態におけるコミュニケーション支援装置のソフトウェア構成を説明するブロック図である。同図では、コミュニケーション支援装置１００に各種装置が接続されている。
【００１７】
まず、マイク２０１は、別途用意したマイクロフォンを使い、話し手１０１と聞き手１０２の音声を集音する。なお、図１の概念図でも説明したように、ＰＣ（提示装置１０３）等の他の機器に内蔵のマイクロフォンを用いるようにしてもよい。
【００１８】
センサー２０２は、例えば話し手１０１ないし聞き手１０２が座っている椅子に取り付けた慣性センサーである。慣性センサーを聞き手の椅子に取り付け、聞き手の頷き動作を検知して、聞き手の心理状態を推定する研究が開示されている（非特許文献１）。なお、非特許文献１で、複数の聞き手１０２の頷きや共感動作など、複数の人物が一緒に動いた瞬間を捉え、動きパターンを解析することで、聞き手１０２の心理状態を推定している。非特許文献１では、複数人が同時に起こした動きを検出することで、事前に特定個人の動きパターンを学習していなくても、共感が起こったタイミングを検知している。一方で、特定個人の動きパターンを事前に、もしくはオンラインで学習することができれば、複数の人物の動きパターンを解析しなくとも、聞き手１０２が同意しているのか否かを判定することが可能になる。
【００１９】
生体信号計測装置２０３は、例えば市販の心拍および体温計測機能付きの指輪もしくは腕輪などを話し手１０１ないし聞き手１０２が装着することで、生理学的指標に基づいた反応（興奮などによる脈拍や体温等の変化）を計測することが可能である。また、心拍や体温以外に、発汗量や脳波を計測するなどしても良い。
【００２０】
提示装置１０３に表示された反応誘発素材リスト４０１を閲覧しながら、説明の進行状況に合わせてリスト内の語句を使用する。話し手１０１の音声は、話者イベント検出部２１０の音声認識部２１１で認識され、反応誘発素材使用検出部２１２で、反応誘発素材の使用の有無が検出される。
【００２１】
提示装置１０３は、本実施形態のコミュニケーション支援装置１００により統計的に処理して得られた肯定的な反応を示した単語や短文に関係する単語や話題を反応誘発素材として表示する。カメラ１０４は、聞き手１０２の顔の表情および頭部の姿勢、ならびに手の動きを撮影するために、上半身を撮影する。
【００２２】
図２では、以上の各装置をコミュニケーション支援装置１００とは別体の形態として説明しているが、これらのいくつかの装置がコミュニケーション支援装置１００と一体に構成されるようにしてもよい。
【００２３】
次に、コミュニケーション支援装置１００のソフトウェア構成について説明する。これらの機能は、コミュニケーション支援装置１００が有しているＣＰＵがＲＯＭまたはＲＡＭ等の格納手段に格納されている制御プログラムを実行することにより実現される。
【００２４】
話者聴者分離部２０４は、マイク２０１で集音した音声を話し手が発したものか聞き手が発したものかを独立成分分析による音源分離手法を利用して特定する（非特許文献２）。ここで、本実施形態に係るコミュニケーション支援装置は、主に聞き手の反応で話者に提示する情報を変えるため、話者聴者分離部２０４において話者と聴者を分離して聴者の反応のみを解析している。
【００２５】
話者イベント検出部２１０は、話者聴者分離部２０４で話し手１０１と聞き手１０２の音声信号を分離した後、話者の音声のみを入力信号として話者イベントを検出する。ここで、話者イベントとは、話し手１０１が聞き手１０２の反応を引き出そうとして、システムが提示装置１０３で話し手１０１に提示した反応誘発素材を使用した、というイベントのことである。
【００２６】
なお、話者イベント検出部２１０は、音声認識部２１１と反応誘発素材使用検出部２１２から構成されている。音声認識部２１１は、話者が発した音声を認識してテキスト情報に変換する。反応誘発素材使用検出部２１２は、音声認識部２１１で変換したテキスト情報から、反応誘発素材生成部２０６で生成した反応誘発素材（単語、ないし関連語句など）が使用されたか否かを検出する。なお、反応誘発素材が画像だった場合には、予め画像に付けられているタグ情報（テキスト）と音声をテキストに変換した内容とを文字列比較して、話者イベントを検出する。
【００２７】
次に、聴者反応検出部２２０は、話者イベント検出部２１０で話者イベントを検出した瞬間の前後数秒間の聞き手の反応を検出する。ここで、聴者反応検出部２２０は聞き手の様々な反応を検出するために、視線検出部２２１、ジェスチャ認識部２２２、表情認識部２２３、生体信号認識部２２４で構成されている。なお、聴者反応検出部２２０は、上記の検出機能を全て有している必要はなく、音声認識部２１１とそれ以外のいずれか一つ、ないし２つ以上の聴者反応を検出する機能が備わっていれば良く、構築するシステムによって好適な手段を取れば良い。また、上記に挙げた聴者反応検出機能の他に、聴者反応を認識できる機能があれば必要に応じて追加しても構わない。
【００２８】
視線検出部２２１は、カメラ１０４で聞き手１０２の視線を検出し、聞き手１０２の視線が話し手１０１を見ているのか否かと、見ている場合に顔を見ているのか、もしくはそれ以外を見ているのかを推定する。一般的に、視線は聞き手１０２の顔向きと両眼の瞳位置から推定することが可能である。
【００２９】
顔向きの計算方法も個人識別同様、従来から数々の手法が提案されており、それらの中から構築するシステムによって好適な手段を選択すれば良い。その一例として、非特許文献１０や非特許文献１１に記載の方法などが挙げられる。このどちらの方法も、顔特徴点で表現される顔モデルと顔画像の濃淡パターンから作られるアピアランス情報を使って、予め特徴検出器を作成しておき、入力画像とのマッチングを計算するものである。
【００３０】
視線検出部２２１は、これらの手法を利用して、本実施形態に係る聞き手１０２の３次元的な顔の位置および向きを推定する。
【００３１】
ジェスチャ認識部２２２は、カメラ１０４の映像を解析して、身振り、手振り、しぐさを検出する。例えば、顔以外の肌色領域を検出することで、手領域を検出できる。そして、手領域を追跡することで、会話中に手で口元を隠す動作などを検出することが可能である。
【００３２】
一般的に、会話中に口元を無意識に隠す動作は、「嘘をつく」など何かの気持ちを隠すことに繋がるしぐさと考えることができる。そのため、話者の問いかけが核心をついた質問やコメントだったために、それを悟られまいとして、手で口元を隠したと推定することができる。また、話者の理解できているかという問いかけに対して、「はい」と答えつつも口元を隠した場合は、本当はわかっていなかったと推定することもできる。また、会話中に頻繁に髪を触るといった行動は、不安感の現れと捉えることもできるため、聞き手１０２は話し手１０１の言ったことを理解できなくなっている可能性があると捉えることもできる。
【００３３】
表情認識部２２３は、カメラ１０４の入力に対して、例えば非特許文献３に開示される技術を使うことで基本７感情（喜び、恐怖、悲しみ、怒り、嫌悪、驚き、無表情）を認識する。ここで、話し手１０１の選択したトピックに対する聞き手１０２の反応を表情から読み取るには、無表情から肯定（喜び）、ないし否定（嫌悪など）の表情への変化を検出することで可能となる。すなわち、話し手１０１が投げかけた話題に対して聞き手１０２が肯定の表情を示した場合は、好感を抱いていると判定できる。逆に、一瞬でも否定（嫌悪）の表情を示した場合は、聞き手１０２に対して選択したトピックや単語が失言だった可能性がある。
【００３４】
生体信号認識部２２４は、生体信号計測装置２０３の信号を入力としたパターン信号処理を行い、入力信号のカテゴリ識別を行う。例えば生体信号計測装置２０３で心拍を計測した信号から聞き手１０２の精神的負担（緊張状態など）を推定することが可能である（非特許文献４）。すなわち、生体信号や上記表情認識なども併用することで、聞き手１０２は緊張状態が長く続き、疲労が出始め、集中力も落ちてきているなどの状態を推定することが可能になる。なお、生体信号には、心拍以外に心電図や発汗量、血流量、体温、呼吸周期などがあり、それらを計測することで聞き手１０２に関する様々な情報を取得することが可能である。
【００３５】
なお、視線、ジェスチャ、表情、生体信号以外にも聴者の音声から反応を認識する構成を追加して聴者反応検出部を構成するなどしても良い。
【００３６】
反応解析部２０５は、話者が反応誘発素材を使用した前後のタイミングにおける聴者の反応を聴者反応検出部２２０で検出した各部の結果を統合して、反応を解析する。具体的には、例えば、聞き手１０２の視線は話し手１０１の顔周辺を注視しており、生体信号は、特に平常時と変わらない。しかし、表情は肯定（喜び）に変化し、頷きが多くなり、姿勢が前のめりになった場合、明らかに話し手１０１が投げかけたトピックに対して聞き手１０２は肯定的に受け取ったことがわかる。一方で、聞き手１０２が視線を逸らしたり、怪訝な表情になった、首をかしげる動作をした、脈拍が早くなった、などの変化があった場合は、話し手１０１のトピックを否定的に受け取ったか、あるいは理解できなかった可能性があると推測することができる。ここでは、聴者反応検出部２２０の各部の結果に対してルールベースで反応を解析・推定を行ったが、予め聴者反応検出部２２０の出力例と実際の聴者の反応（真値）を教師データとして与えることができれば、ベイズ推定の問題として解くこともできる。
【００３７】
反応誘発素材生成部２０６は、聞き手１０２のプロファイル情報（後述）と反応解析部２０５の情報とから、聞き手１０２が強く反応を示すであろう素材（単語、用語、トピック、絵など）を生成し、それを話し手が用いる会話の候補として提示装置１０３に出力する。
【００３８】
図３は、反応誘発素材生成部２０６の詳細を説明する図である。まず、プロファイル情報生成更新部３０１は、聞き手１０２の趣味趣向などのプロファイル情報を生成し、プロファイルデータベース３０２に聞き手１０２が好きな話題や聞き手１０２にとって禁句となる単語や話題を登録プロファイル登録手段として機能する。更にリスト生成部３１０に聞き手のプロファイル情報を供給する。
【００３９】
個人識別部３０３は、聞き手１０２が誰であるかを識別する。個人識別処理は、様々な手法が提案されており、その一例として非特許文献５に記載の方法は、顔画像から固有顔を算出し、固有顔の主成分分析を行い、固有顔が予め登録されている画像／動画データベースと比較することで、個人を識別する。ここで、固有顔は特定個人に関する情報であるため、本実施形態ではプロファイルデータベース３０２に格納する。
【００４０】
属性認識部３０４は、聞き手１０２の性別および年齢を推定する。聞き手１０２の性別および年齢を推定する手法としては、例えば非特許文献６および７で開示される手法を用いることで推定することができる。
【００４１】
シナリオ構成決定部３０５では、話し手１０１がこれから聞き手１０２に説明する内容のシナリオ構成を決定する。例えば、聞き手１０２に説明する商品リストを提示装置１０３に表示しておき、話し手１０１はその商品リストから所望の商品を選択することで、聞き手１０２にこれから説明するシナリオの構成を決定する。なお、提示装置１０３にシナリオを構成する話題要素を列挙しておき、話し手１０１が聞き手１０２に必要と思われる話題要素を選択して、全体のシナリオを構成し直しても良い。
【００４２】
関連素材抽出部３０６は、シナリオ構成決定部３０５で決定したシナリオおよび話し手１０１が指定した要素（話題や用語）の情報を受け取り、それらの話題や用語に関連する語句を関連素材としてインターネットから抽出する。この時、抽出する対象は、関連する語句や用語、記事の他に、画像や絵も含まれる。また、保険や金融に関する商品は、明確に話し手が聞き手１０２に説明しなければいけない事項が法律等で決まっている場合がある。そのため、話し手１０１が聞き手１０２に説明する商品とシナリオが決定した時点で、商品に関連して説明が必要な事項（トピック、用語、条文等）を重要語としてリストアップする。リストアップした重要語や関連語句、インターネット上の記事や画像は、重要／関連キーワードデータベース３０７に登録される。
【００４３】
このように話し手１０１が予め聞き手１０２に説明するシナリオを決定しておくことで、シナリオに関連する語句をリスト生成部３１０に登録することができるため、聞き手１０２への説明忘れを防止することができる。リスト生成部３１０は、聞き手１０２のプロファイル情報と、話し手１０１が決定したシナリオに関連する重要語／関連語句／画像等が登録されている重要／関連キーワードデータベース３０７より、聞き手１０２が反応する確率が高い語句や画像のリストを生成する。
【００４４】
リスト生成部３１０が生成した語句・画像のリストの例を図４に示す。図４は、カメラ１０４で聞き手１０２を撮影した映像を提示装置１０３の画面に表示した例である。
【００４５】
反応誘発素材リスト４０１は、リスト生成部３１０が重要／関連キーワードデータベース３０７より抽出した重要語／関連語／関連画像である。具体的に、火災保険の商品を説明する事例では、重要語として「火災保険」があり、関連語として「地震保険」などが抽出され、提示装置１０３に図４に示すように表示される。
【００４６】
また、本発明は聞き手１０２がより強い反応を表出させる可能性の高い語句や画像を利用して聞き手１０２の反応を引き出すことを目的としている。そのため、聞き手１０２が反応を示しそうなニュースや聞き手１０２の趣味に関する語句が優先的にリストに表示される。
【００４７】
なお、聞き手１０２の氏名やＳＮＳ（ソーシャルネットワークサービス）のアカウント名から聞き手１０２に関連する情報が入手できる場合は、それらの情報を利用するなどしても良い。例えば画像４０２は、聞き手１０２がＳＮＳ上にアップロードした聞き手１０２の子供の画像である。また、画像４０３は、聞き手１０２が海水浴に行った時の画像が表示されている。話し手１０１は、画像４０２や画像４０３を聞き手１０２と一緒に見ながら世間話などをすることで、打ち解けた雰囲気で本題に入ることができたり、共感性を高めた状態で本題に入ることで、聞き手１０２の理解度も高まることが期待される。
【００４８】
このように、本実施形態では、反応誘発素材リスト４０１は、話し手１０１がこれから聞き手１０２に話すシナリオに関連する重要語／関連語を表示するだけではなく、反応をハッキリと表出させる。そのため、ニュースや趣味、聞き手１０２に関連する画像や動画をインターネットなどを利用して抽出し、提示装置１０３に表示する。
【００４９】
話し手１０１は、提示装置１０３に表示された反応誘発素材リスト４０１を閲覧しながら、説明の進行状況に合わせてリスト内の語句を使用する。話し手１０１の音声は、話者イベント検出部２１０の音声認識部２１１で認識され、反応誘発素材使用検出部２１２で、反応誘発素材の使用の有無が検出される。そして、枠４０４は話し手１０１が話し中の素材を示している。例えば、話し手１０１が火災保険とセットとなる地震保険の説明をし始めた場合に、反応誘発素材リスト４０１の当該事項の枠が太く表示され、話し手が今、何の語句あるいは画像を利用しているかが一目でわかるようになっている。
【００５０】
そして、反応解析部２０５では、話し手１０１が反応誘発素材リスト４０１に表示される語句ないし画像に関連する話をしている間の聞き手１０２の反応を解析する。
【００５１】
興味度推定部３００は、反応誘発素材に対する聞き手１０１の反応から興味度を推定する。興味度の推定は、例えば、カメラ１０４で撮影した聞き手の瞳孔径に着目し、その径の大きさから聞き手１０１の興味度を推定することが可能である（非特許文献８）。
【００５２】
理解度推定部３０８は、反応誘発素材に対する聞き手１０１の反応から理解度を推定する。理解度の推定は、例えば、カメラ１０４で撮影した聞き手１０２のうなずき、視線、表情に着目し、それらの動き情報から聞き手１０１の理解度を推定することが可能である（非特許文献９）。
【００５３】
相性度推定部３０９は、聞き手１０１の反応誘発素材（単語や絵など）に対する反応から相性を推定する。相性度の推定は、例えばカメラ１０４で撮影した聞き手１０２の瞳孔径の大きさの変化や、頷き、表情の変化から、その反応誘発素材を聞き手１０２が好きか嫌いかを推定する。
【００５４】
以上のように、話し手１０１が使用中の反応誘発素材と、その反応誘発素材を聞き手１０２に話した場合の興味度および理解度が推定され、反応誘発素材と一緒に聞き手１０２の反応がプロファイル情報としてプロファイルデータベース３０２に登録される。
【００５５】
次に、図５に本実施形態におけるコミュニケーション支援装置１００の処理の流れを示すフローチャートを示す。
【００５６】
ステップＳ５０１は、リスト生成部３１０で生成する重要語等を決めるために、シナリオ構成決定部３０５にて、まず話し手１０１が聞き手１０２にこれから話す予定のシナリオをシステムに設定する。
【００５７】
そのために、例えば聞き手１０２は、話し手１０１に生命保険に関する相談をするために訪問していたとする。話し手１０１は、聞き手１０２に生命保険に関する説明を行うために提示装置１０３に提示されているメニューから、これから説明するシナリオを設定する。
【００５８】
話し手１０１は、提示装置１０３に表示されるメニューの中から説明する項目をマウスで選択する。もしくは、提示装置１０３が感圧方式ないし静電容量方式のタッチ操作が可能な液晶パネルを使用している場合は、話し手１０１が直接画面を押下することでメニューを選択する。
【００５９】
次に、ステップＳ５０２は、個人識別部３０３で聞き手１０２が誰であるかを識別し、更に反応誘発素材を絞り込むために、属性認識部３０４で年齢や性別の属性情報を判定する。ここで、聞き手１０２が初回の訪問だった場合には、当然ながら聞き手１０２に関する情報はプロファイルデータベース３０２には一切登録されていない。そのため、初回訪問時は、初期値として話し手１０１が聞き手１０２の氏名のみを入力し、同時にカメラ１０４で撮影した聞き手１０２の顔画像をプロファイルデータベース３０２に登録する。更に、年齢と性別は、聞き手１０２に聞いても良いし、聞き手１０２の顔画像から属性認識部３０４で推定してデータベースに登録しても良い。聞き手１０２の２回目以降の訪問では、カメラ１０４で撮影した聞き手１０２の顔画像で個人識別と属性推定が行われ、聞き手１０２のプロファイルデータをプロファイルデータベース３０２より取り出すことが可能になる。
【００６０】
ここでは、聞き手１０２は、今回２回目の訪問であり、前回訪問した時には、自分の子供の話や今度の休みに海水浴に家族で行くと話していて、また、図１の聞き手１０２は、初回訪問時の属性判定によって「女性」で「３０代前半」と推定されていたとする。
【００６１】
ステップＳ５０３は、聞き手１０２が初回の訪問であれば、推定した年齢や性別の属性情報をプロファイルデータベース３０２に登録する。また、２回目以降の訪問であれば聞き手１０２が過去に訪問履歴のある特定人物のＡさんであることが個人情報として特定でき、聞き手１０２の趣味趣向や前回話した内容をプロファイルデータベース３０２より抽出する。更に、プロファイルデータベース３０２に訪問回数を記録して更新する。
【００６２】
ステップＳ５０４は、聞き手１０２より引き出したい反応に関連する素材を、聞き手１０２の個人情報および属性情報（「女性」「３０代前半」）、これから話すシナリオに関連する情報、のそれぞれの観点から重要／関連キーワードデータベース３０７より抽出する。
【００６３】
図６は、リスト生成部３１０で、聞き手１０２の反応がより強く表出することが期待される重要語や関連語句を重要／関連キーワードデータベース３０７より抽出する具体例を図示したものである。
【００６４】
まず、プロファイル情報生成更新部３０１で、聞き手１０２の属性情報と個人情報に因んだ情報をプロファイルデータベース３０２より抽出する。メタ情報６０１は、プロファイルデータベース３０２に登録されているメタ情報である。プロファイルデータは、特定個人に紐づく様々な個人情報が管理されたデータベースであり、最上位に当たるメタ情報は、特定個人の氏名やあだ名などがメタ情報として記録されている。そのため、聞き手１０２が個人識別部３０３でＡさんであることが識別されると、メタ情報６０１には、Ａさんの氏名が抽出される。そして、メタ情報６０１に関連する語句を関連キーワード６０２として、プロファイルデータベース３０２より順次抽出される。
【００６５】
更に、反応誘発素材生成部２０６は、シナリオ構成決定部３０５で話し手１０１が決定したシナリオに関連する語句を重要／関連キーワードデータベース３０７より抽出する。単語および用語の抽出方法は、前述したようにメタ情報６０１に紐づく情報をデータベースより抽出する。なお、重要／関連キーワードデータベース３０７のメタ情報６０１は、話し手１０１が話す内容などによっても変わる。つまり、話し手１０１が、保険商品に代わり金融商品などを販売する場合は、メタ情報６０１を生命保険から、他の金融商品名などに変更する。関連素材抽出部３０６は、新たなメタ情報６０１に関連する語句をインターネットなどから抽出する。更に、特定個人に関連する重要／関連キーワード６０２は、聞き手１０２が聞き手１０２自身のことを話し手１０１に話したことを音声認識部２１１で認識して重要／関連キーワードを抽出する。この時、重要／関連キーワードは、聞き手１０２の話した中で登場頻度の多かった語句から重要度が高いと判断して個々のキーワードに順位付けを行うこともできる。重要／関連キーワード６０２は、関連素材抽出部３０６で集められたメタ情報６０１に関連するキーワードの一例である。
【００６６】
ステップＳ５０５は、重要／関連キーワードデータベース３０７から抽出された重要／関連キーワード６０２に対して、聞き手１０２の属性情報（年齢、性別など）で重み付けして語句を選択する。重要／関連キーワード６０２に重み付けして提示装置１０３に表示する方法は種々の方法が考えられる。その一例は、聞き手１０２の属性情報（女性、３０代）を考慮して、重要／関連キーワード６０２が３０代の女性に好感を持たれる単語か否かを予め設定しておき、重み付け計算をすることが可能である。
【００６７】
ステップＳ５０６は、ステップＳ５０５で選択した重要／関連キーワード６０２をスコア順に並べ直して反応誘発素材リストを生成する。反応誘発素材リストの一例は図４ないし図６に示した通りである。
【００６８】
ステップＳ５０７は、音声認識部２１１で話し手１０１の音声を認識する。音声認識は、例えば非特許文献１２に記載の方法で話し手１０１が発声した単語を認識し、テキストにする。
【００６９】
ステップＳ５０８は、ステップＳ５０７で認識した話し手１０１の発声した単語の中に反応誘発素材が含まれていたか否かを反応誘発素材使用検出部２１２で検出する。反応誘発素材使用検出部２１２は、ステップＳ５０７で話し手１０１の発話を単語毎にテキスト化している。反応誘発素材使用検出部２１２は、ステップＳ５０７で出力されたテキスト情報と反応誘発素材リストに登録された単語とのマッチングを行い、マッチする単語があれば、話し手１０１が反応誘発素材リストにある単語を使用したことが検出できる。
【００７０】
ステップＳ５０９は、ステップＳ５０８で反応誘発素材が使用されたことを検出した時点の前後における聞き手１０２の反応を反応解析部２０５で解析する。反応解析部２０５では、主に聞き手１０２の興味度、理解度、相性度を推定し、それらの結果を統合して聞き手１０２の反応を数値化して出力する。興味度、理解度、相性度を推定する具体的な方法は、前述の通りである。
【００７１】
ステップＳ５１０は、ステップＳ５０９の出力結果を受け、聞き手１０２の反応とそれに対応する反応誘発素材をプロファイル情報生成更新部３０１でプロファイルデータベース３０２に登録するか否かを判定する。例えば、反応誘発素材リストの単語を話し手１０１が発声した後、聞き手１０２の瞳孔径が大きくなり、かつ大きく頷いた後に身を乗り出して話し始めたとする。この時の反応解析部２０５で推定した反応値を仮に、興味度：０．９、理解度：０．８、相性度：０．８とする。
【００７２】
各値が非常に高い数値を示しているので、その時の反応誘発素材と聞き手１０２の反応の数値をデータベースに登録し、ステップＳ５１１に移る。もし、既にその単語が登録されている場合は、新しい反応値で更新する。なお、データベースに登録するか否かは、各反応値に閾値を設定し、反応値のいずれかが予め設定した閾値を超えた場合、もしくは反応値の全てで閾値を超えた場合にデータベースに登録するようにしても良い。
【００７３】
ステップＳ５１２は、リスト生成部３１０で聞き手１０２の反応を解析した結果を受けて素材リストを更新する。ステップＳ５１１で各反応値が閾値を上回っていた場合は、その時に話し手１０１が発した単語や画像に関連する情報を素材リストに載せるように更新する。もしくは、反応値が閾値を下回っていた場合は、その単語や画像を素材リストから削除し、新たなキーワードや画像を素材リストに載せるように更新する。
【００７４】
ステップＳ５１３は、リスト生成部３１０がステップＳ５１２で更新した素材リストから聞き手１０２のプロファイルデータの更新に関連する素材を類推する。素材の類推は、例えば対象が単語であれば類義語やシソーラス（分類語彙表）などを利用して関連のある語をインターネットを活用し、探索する。また、対象が画像の場合は、画像に付随するタグの情報やＥｘｉｆと呼ばれる写真用のメタデータを利用するなどしても良い。
【００７５】
そして、ステップＳ５１４で、更新された素材リストの情報が、ステップＳ５１４で聞き手１０２のプロファイルデータベース３０２に登録（更新）される。ステップＳ５１４でプロファイルデータベース３０２の情報を更新したら、ステップＳ５０４に戻り、聞き手１０２の引き出したい反応に関連する素材をプロファイルデータベース３０２より抽出する。
【００７６】
本実施形態に係るコミュニケーション支援装置の構成と効果を説明するために、１対１での商談を例に説明してきたが、本発明は商談以外にも病院内でのインフォームド・コンセントなどにも活用することが可能である。インフォームド・コンセントでは、「正しい情報を得た（伝えられた）上での合意」が必要になるが、医師の説明に含まれる用語が難解で、仮に患者側が十分に理解できていなかったとしても、患者側は書類にサインするケースがある。また、重大な判断を前に緊張して冷静な判断が下せない状態になっていることも考えられる。
【００７７】
この場合のコミュニケーション支援装置では、様々なセンサーで医師の説明を聞く患者側の様子をモニタリングして、患者側の反応から十分に理解しているかどうかを確認することが可能になる。また、医師は反応誘発素材リストに記載される話題を使って、患者がよりリラックスできる状態に話しを導くことが可能になる。
【００７８】
以上、本実施形態によれば、話し手１０１に聞き手１０２が反応するであろう単語ないし画像を反応誘発素材として生成し、話し手１０１が会話の中でそれらの素材が使用された前後のタイミングでの聞き手１０２の反応を検出する。これにより、本実施形態に係るコミュニケーション支援装置は、聞き手１０２がより反応を示す単語ないし画像を話し手１０１に提示することが可能になる。
【００７９】
［第２の実施形態］
次に、本発明の第２の実施形態について説明を行う。本実施形態は、例えば授業のように１対多で話し手１０１が複数人の聞き手１０２に対して、より多くの聞き手１０２が反応する素材を提示装置１０３に表示する方法について説明する。本実施形態は、第１の実施形態において１系統だった入力が複数系統に拡張されている点が異なるだけで、それ以外の構成並びに処理の流れについては、第１実施形態と同様である。なお、第１の実施形態において既に説明をした構成については、同一の符号を付し、その説明を省略する。
【００８０】
図７は、第２の実施形態に係るコミュニケーションシステムの概念を説明する概念図である。同図は、話し手１０１が複数の聞き手１０２に対して授業を行っている様子を図示したものである。提示装置１０３は、第１の実施形態で説明した提示装置と同一の機能を有しており、話し手１０１は、授業の進行に応じて提示装置１０３に提示される内容を随時確認しながら授業を進めている。この時、提示装置１０３には授業に関する情報の他、第１の実施形態でも説明した反応誘発素材リストが提示されている。話し手１０１は複数の聞き手１０２がより反応するであろう単語や話題を反応誘発素材リストより選択し、話の中に織り交ぜる。そして、より多くの聞き手１０２が反応した単語や話題を認識し、第１の実施形態でも説明した聞き手１０２のプロファイルデータベース３０２に記録する。
【００８１】
第１の実施形態では、聞き手１０２が話し手１０１を訪問する回数はそれほど多くない。しかし、本実施形態のように、授業を例に取った場合は、話し手１０１と聞き手１０２の社会的関係性がほぼ固定のまま１年を通して頻繁に会話する機会が発生する。そのため、聞き手１０２の反応を記録するプロファイルデータベースを利用シーンに合わせて、クラス全体のプロファイルを管理するデータベースと生徒１人１人のプロファイルを管理するデータベースの２種類に分けて管理するなどしても良い。このように全体と個を管理するプロファイルデータベースを構築することで、クラス全体の反応の傾向と個々人の個性を同時に把握することも可能になる。
【００８２】
図８は、第２の実施形態に係るコミュニケーション支援装置１００のソフトウェア構成を説明するブロック図である。図８において、第１実施形態の構成と異なるのは、個人反応解析部８０１、反応情報統合部８０２の２つの構成が追加される点である。それ以外の構成は第１実施形態で説明した構成と同一であるため説明は省略する。
【００８３】
個人反応解析部８０１は、聞き手１０２となる生徒一人一人の反応を解析する。具体的には、机や椅子などに取り付けられたマイク、カメラ、センサーおよび聞き手１０２の生体信号を計測する装置で聞き手１０２の反応を検出し、第１の実施形態で説明したように、反応解析部２０５で聞き手１０２の反応を解析する。
【００８４】
反応情報統合部８０２は、個人反応解析部８０１の出力を複数の聞き手１０２全員の反応情報として収集し、生徒全員の反応情報を導き出す。具体的には、話し手７０１の話に対して聞き手１０２が面白いと思ったか否か（肯定的な反応か否定的な反応だったか）をカウントし、多数決などの方式で聞き手１０２全員の反応値とする。もしくは、話し手１０１が使用した反応誘発素材（単語や絵など）と性別情報の組合せを鑑み、反応情報の統合手段を変更するなどしても良い。
【００８５】
一般的に、属性情報を考慮せず、興味を引くことに成功した生徒が仮に半々だったとすると、その結果になった要因を簡単には特定することはできない。しかし、性別毎に反応情報をカウントすることで、例えば話題Ａが大半の男子生徒の興味を引くことには成功したが、女子生徒の興味を引くことはできなかったとすると、話題Ａは性別によって受け取り方が大きく異なる話題だった、といった分析が可能になる。
【００８６】
また、本実施形態に係るプロファイルデータベース３０２は、第１の実施形態に係るプロファイルデータベース３０２と同様に個々人の趣味趣向を反映したデータベースである。本実施形態では、個々人の反応解析を行った後に、生徒全員の反応情報を統合しているため、個々人の趣味趣向を反映したデータベースとは別に生徒全員の反応情報を収集した生徒全員用プロファイルデータベースを新たに追加するなどしても良い。
【００８７】
更に、生徒全員用のプロファイルデータベースは、個々人のプロファイルデータベースよりも偏りが無く、性別や年齢の属性情報に因んだ汎用的な嗜好を示していると考えることができる。そのため、生徒全員用のプロファイルデータベースは、他の学校の同じような年齢の生徒に対しても流用することが可能である。したがって、第１の実施形態で説明した関連素材抽出部３０６において、他校が公開する生徒全員用プロファイルデータベースから、既に反応が良かった反応誘発素材を抽出し、話し手１０１に提示するようにするなどしても良い。
【００８８】
また、カメラ１０４で観測可能な聞き手１０２の瞬きの周期を観測することで、聞き手１０２の眠気を推定することも可能である。この情報から、現状で何人くらいの生徒が眠くなっているかを把握することができる。本実施形態に係るコミュニケーション支援装置は、何人くらいの生徒が眠気に襲われている、ないし、小休憩を挟む方が良い、などのリコメンデーション情報を話し手１０１に報知することが可能である。
【００８９】
本実施形態に係る提示装置１０３の一例として、パーソナルコンピュータのディスプレイを想定して説明したが、必ずしもディスプレイに限るものではない。例えば、メガネ型のウェアラブル端末を利用して、話し手１０１に情報を提示しても良いし、イヤフォンを通じて音声で反応誘発素材リストや反応を誘発するための有益な情報を話し手１０１に提供しても良い。
【００９０】
更に、第１の実施形態と同様に本実施形態においても話し手１０１に提示する情報を全部もしくは部分的に聞き手１０２に提示しても良い。その時は、例えば聞き手１０２が注目する黒板やホワイトボードにプロジェクターで情報を提示しても良いし、聞き手１０２が使用するタブレットなどの情報提示端末に提示するなどしても良い。
【００９１】
本実施形態の処理の流れは、第１の実施形態で説明した処理の流れの中で出力される聞き手１０２の反応情報を、生徒の人数に応じて統合処理するだけなので、説明を省略する。
【００９２】
このように、本実施形態の実施形態に係るコミュニケーション支援装置は、複数の聞き手１０２全員の反応を取得するようにして、それらの反応情報を生徒全員の反応として統合することにより、授業や講演といった利用シーンでも活用することが可能になる。
【００９３】
［第３の実施形態］
次に、本発明の第３の実施形態について説明を行う。本実施形態では、インターネットを介して、話し手が１人ないし不特定多数の聞き手を相手にコミュニケーションを取る際に活用可能なコミュニケーション支援装置について説明する。第２の実施形態では、複数の聞き手に対して話し手が１人で話すシーン（授業や講演会など）を例に本発明に係るコミュニケーション支援装置について説明した。本実施形態は、第２実施形態において話し手と聞き手が物理的に離れた場所におり、インターネットなどの通信手段を介してコミュニケーションを取っている点で異なる。
【００９４】
本実施形態の以下の説明では、インターネットを利用して話し手が１対１もしくは１対多にストリーミング配信する方法における反応誘発素材の生成方法に関して説明する。つまり、本実施形態において話し手は面と向かって聞き手に語りかけるわけではなく、聞き手の代わりにカメラに向かって話すことになる。また、聞き手は話し手を提示装置越しに確認しながら、話しを聞くことになる。
【００９５】
ここで、話し手および聞き手の状態を計測するためのセンサー類は、第２の実施形態で説明したように、話し手および１人１人の聞き手全員をモニタリングしている。したがって、本実施形態は、面と向かって話す代わりにインターネット越しにコミュニケーションを取る以外の構成並びに処理の流れについては、第２の実施形態におけるコミュニケーション支援装置の構成および処理の流れと同じである。したがって、第２の実施形態において特に述べない事項に関しては、第１および第２実施形態にて述べた事項が第３実施形態にも適用される。
【００９６】
図９は、本実施形態におけるコミュニケーション支援システムの概念を説明する概念図である。図９は、話し手１０１および聞き手１０２が、インターネット９００を介して通信を行っている。そして、話し手１０１は１人ないし複数の聞き手１０２に向かって契約トピックについて、講義を行っている情景である。話し手１０１は、第１および第２の実施形態と同様に、提示装置１０３で反応誘発素材リストと聞き手１０２の反応を随時確認しながら講義を行うことができる。なお、提示装置１０３はＰＣ以外にもイヤフォンやウェアラブルデバイス（例えばメガネ型のディスプレイ）などの提示装置であっても構わない。
【００９７】
本実施形態に係る聞き手１０２に情報を提示する提示装置１０３には、カメラ１０４が内蔵もしくは外部接続されており、話し手１０１と聞き手１０２の顔と上半身が撮影されている。なお、聞き手１０２に話し手１０１の映像を提供する提示装置１０３は、必ずしもＰＣである必要は無く、スマートフォン、タブレット、テレビ、または音声を出力するスピーカーなどの情報提示装置であっても良い。また、第２の実施形態では、聞き手が話し手の話しをリアルタイムに聞く形態であったが、本実施形態は、話し手１０１の講義内容などを予め録画しておき、聞き手１０２は都合の良い時に録画しておいた講義内容を提示装置１０３を介して視聴することも可能である。ただし、聞き手１０２が既に録画済みの話し手１０１の講義を視聴する場合、当然のことながら、話し手１０１はリアルタイムに聞き手１０２の反応を確認することはできない。しかし、講義内容を視聴した聞き手１０２の反応は、インターネット９００を介してプロファイルデータベース３０２と反応モデルデータベース９０５に蓄積することができる。
【００９８】
ここで、プロファイルデータベース３０２は、第１および第２の実施形態で説明したように、特定の聞き手１０２の個々の趣味趣向をデータベースに記録したデータベースである。反応モデルデータベース９０５は、講義を視聴する聞き手１０２の反応（笑った、興味を持った、退屈そうにしているなど）の統計情報が蓄積されている。つまり、話し手１０１が使用した反応誘発素材に対する個々の聞き手１０２の反応を逐次カウントし、統計処理する。蓄積した反応の統計情報から、一般的な大多数の聞き手が過去に話し手１０１が使用した反応誘発素材に対して、どのような反応を示すかをモデル化した情報がデータベースに登録されたものである。
【００９９】
ここで、本実施形態において聞き手１０２は、話し手１０１の講義をリアルタイムに視聴することができる上に、録画済みの講義内容を視聴することも可能である。聞き手１０２は、録画済みの講義内容を視聴する際、再生の早送り、スロー再生、巻き戻し等の操作が可能である。つまり、聞き手１０２が早送り再生した箇所は重要でないと聞き手１０２が判断した箇所であり、早送りから通常再生もしくは繰返し再生した箇所は、聞き手１０２が重要と判断した箇所である。
【０１００】
このような聞き手１０２の再生方法をログとして反応モデルデータベース９０５に蓄積し統計処理することで、一般的な聞き手の反応をモデル化し、特定の反応誘発素材を使った時の反応を推定することが可能になる。このようにして、話し手１０１は、より多くの聞き手の反応を引き出す話題の提供方法を模索することができるようになる。
【０１０１】
一般的に講義や授業は、定期的に内容が更新されるが、多くの場合、過去に作成した講義資料や授業内容を使い回されることも多い。そのため、話し手１０１はリアルタイムに反応を得ることができなかったとしても、インターネットで講義を視聴する非常に多くの聞き手１０２のフィードバックを活用することができれば、より多くの聞き手が興味を持つように講義内容に改善することが可能になる。また、ベテランの講師の授業内容に関する聞き手１０２の率直な反応を反応モデルデータベース９０５に蓄積することも可能であるため、若手講師の教育にも活用することも可能になる。
【０１０２】
図１０は、聞き手１０２一人当たりの反応情報を反応モデルデータベース９０５に蓄積するための反応誘発素材生成部２０６の構成を説明するブロック図である。図１０において、第１の実施形態の構成と異なるのは、反応情報蓄積部１００１と、反応推定部１００２が追加されている点である。それ以外の構成は第１実施形態で説明した構成と同一であるため説明は省略する。なお、聞き手１０２は、話し手１０１の話しをリアルタイムに視聴していても良いし、録画済みの映像を視聴しても良い。
【０１０３】
反応情報蓄積部１００１は、話し手１０１が反応誘発素材を使用した前後のタイミングでリアルタイムに視聴する聞き手１０２の反応と使用した反応誘発素材を紐付けて、反応モデルデータベース９０５に登録する。更に、本実施形態では録画済みの話し手１０１の映像を視聴する聞き手１０２の反応も、リアルタイムに視聴する聞き手１０２と同様に反応解析部２０５で解析を行い、反応モデルデータベース９０５に登録する。なお、聞き手１０２の属性情報（性別と年齢）も同時に反応モデルデータベース９０５に登録するようにしても良い。
【０１０４】
本実施形態において、聞き手１０２は必ず提示装置１０３を介して話し手１０１の話しを視聴ため、聞き手１０２がリアルタイムに話しを聞いて生じさせる反応と、録画済みの映像で聞き手１０２が生じさせる反応とでは、等価な環境での反応と見なすことができる。したがって、本実施形態において、リアルタイムに視聴する聞き手１０２の反応と録画済みの映像で視聴する聞き手１０２の反応は区別せずに反応情報蓄積部１００１に登録する。
【０１０５】
反応推定部１００２は、反応情報蓄積部１００１で蓄積した反応モデルデータベースより、話し手１０１に提示する反応誘発素材を話し手１０１が実際に使用した際の一般的な聞き手の反応を反応モデルデータベース９０５より推定する。
【０１０６】
ここでの反応は例えば、反応誘発素材に対して「好感／嫌悪感を示した」「興味を示した」「退屈そうにしていた」「同意（共感）／拒否を示した」などの反応である。例えば、反応誘発素材の単語／話題／画像に紐付けて、仮に１千〜１万人以上の聞き手の反応を反応モデルデータベース９０５に登録できていたとする。この場合、実際に聞き手１０２がとった反応の例えば８０％以上が取った反応を、一般的な聞き手が取る反応と考えて推定に利用することができる。また、反応モデルデータベース９０５に登録する人数が多ければ多い程、一般的な聞き手の属性（年齢と性別）に合う反応誘発素材を生成することが可能になる。
【０１０７】
このように反応推定部１００２は、非常に多くの聞き手１０２の反応誘発素材に対する反応の事例を大規模に収集することで、一般的な聞き手の反応モデルを生成することができため、反応誘発素材に対する聞き手１０２の反応を推定することが可能になる。
【０１０８】
図１１は、本実施形態に係るコミュニケーション支援装置１００のソフトウェア構成を説明するブロック図である。話し手１０１に反応誘発素材を提示するに当たり、リアルタイムに視聴する聞き手１０２の反応と、反応モデルデータベース９０５より推定される一般的な聞き手の反応とを統合して反応誘発素材を生成する。
【０１０９】
反応情報統合部８０２は、リアルタイムに視聴する聞き手１０２の反応と、反応モデルデータベース９０５より想定される反応とを統合する。統合の方法には、種々の方法が考えられるが、その１例として、まず反応モデルデータベース９０５より想定される反応を、リアルタイムに視聴する複数人の聞き手１０２のうちの１人分として扱う方法が考えられる。この方法は、基本的にリアルタイムに視聴する複数の聞き手１０２の反応を優先する方法であり、例えば講義中に、話し手１０１と聞き手１０２がインタラクティブにディスカッションなどを行う場合に有効な方法になると考えられる。
【０１１０】
また、他の統合方法としては、リアルタイムに視聴する複数の聞き手１０２の反応を第２の実施形態で説明した方法で一旦統合した後、反応モデルデータベース９０５で想定される反応と比較し、統合する方法も考えられる。この方法は、反応モデルデータベース９０５で想定される一般的な聞き手の反応が、過半数以上のウェイトを占めるようになる。そのため、例えば通信教育のように不特定多数の聞き手１０２の反応を想定しなければならない場合などに有効な方法である。
【０１１１】
更に、反応情報統合部８０２における統合方法は、例えば聞き手１０２の属性情報と反応モデルデータベース９０５より推定した反応と、実際の反応から、機械学習によって、統合の重みパラメータ学習し、聞き手１０２の属性に合わせて変更するようにしても良い。
【０１１２】
以上、本実施形態に係る反応情報統合部８０２の統合方法として３つの例を挙げて説明したが、本発明の利用者は構築するシステムによって、好適な統合方法を選択すれば良い。
【０１１３】
本実施形態の処理の流れは、第１の実施形態で説明した処理の流れの中で出力される聞き手１０２の反応情報を、聞き手１０２の人数に応じて統合した後、統計処理を行うだけなので、説明を割愛する。
【０１１４】
本実施形態によれば、話し手１０１は、リアルタイムに聞き手１０２の反応を確認できる上に、録画済みの映像で聞き手１０２が過去に反応した内容とを統合して、システムが提示する反応誘発素材を参考にしながら、話のシナリオを構築することができる。これにより、本実施形態に係るコミュニケーション支援装置は、聞き手１０２が反応を示した単語ないし画像を大量に収集し、一般的な聞き手の反応を精度良く推定することが可能になる。
【０１１５】
［その他の実施形態］
本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１１６】
１００  コミュニケーション支援装置
２０４  話者聴者分離部
２０５  反応解析部
２０６  反応誘発素材生成部
２１０  話者イベント検出部
２２０  聴者反応検出部
【図１】
2016177483.tif 000003
【図２】
2016177483.tif 000004
【図３】
2016177483.tif 000005
【図４】
2016177483.tif 000006
【図５】
2016177483.tif 000007
【図６】
2016177483.tif 000008
【図７】
2016177483.tif 000009
【図８】
2016177483.tif 000010
【図９】
2016177483.tif 000011
【図１０】
2016177483.tif 000012
【図１１】
2016177483.tif 000013