(57)【要約】【課題】複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる情報処理方法、情報処理システムおよび情報処理装置を提供する。【解決手段】一つ又は複数のセンサ装置（３００〜３０５）が、複数のユーザ（２００〜２０２）の各々の状態を検知する。情報処理装置（３１０）が、複数のユーザのうちの少なくとも二人を含むユーザ集合について、一つ又は複数のセンサ装置により検知されたユーザ集合に含まれるユーザの状態に基づいて、ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出する。情報提示装置（３１５）が、同調度の算出結果に基づく提示情報（２０７）を提示する。【選択図】図１
2018045676.tif 000002
【特許請求の範囲】
【請求項１】
一つ又は複数のセンサ装置が検知する、複数のユーザの各々の状態を取得することと、
前記複数のユーザのうちの少なくとも二人を含むユーザ集合について、前記一つ又は複数のセンサ装置により検知された前記ユーザ集合に含まれるユーザの状態に基づいて、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出することと、
前記同調度の算出結果に基づく提示情報を提供することと
を含む情報処理方法。
【請求項２】
前記ユーザ集合についての同調度の算出結果に基づいて、前記同調度と前記ユーザ集合を関連付けた情報を蓄積することをさらに含む
請求項１に記載の情報処理方法。
【請求項３】
前記センサ装置の検知結果に基づいて、少なくとも二人のユーザの状態が同調する同調現象を検出することをさらに含み、
前記同調現象の検出結果に基づいて、前記同調度を算出する
請求項１又は２に記載の情報処理方法。
【請求項４】
複数の前記ユーザ集合の各々について、前記同調度を算出し、
前記同調度の算出結果に基づいて、前記複数の前記ユーザ集合のうちの前記同調度が最大であるユーザ集合を特定し、
特定されたユーザ集合を示す情報を含む提示情報を提供する
請求項１〜３のいずれか１項に記載の情報処理方法。
【請求項５】
前記同調度を算出することは、前記複数のユーザのうちの少なくとも二人のユーザを含む集合の全てに関してそれぞれ同調度を算出することを含む、
請求項１〜４のいずれか１項に記載の情報処理方法。
【請求項６】
前記提示情報は、算出された同調度および前記算出された同調度を有するユーザ集合を示す情報を含む
請求項１〜５のいずれか１項に記載の情報処理方法。
【請求項７】
前記複数のユーザ間の会話の内容に関するキーワードを抽出することを含み、
前記提示情報は、抽出されたキーワードに関連する関連情報を含む
請求項１〜６のいずれか１項に記載の情報処理方法。
【請求項８】
前記提示情報を表示すること、及び前記提示情報を音声出力することの少なくとも一方を含む
請求項１〜７のいずれか１項に記載の情報処理方法。
【請求項９】
前記複数のユーザが存在する空間を撮影することにより得られる映像を取得することと、
前記同調度の算出結果に基づいて、前記同調度に関する情報を撮影により得られた映像に関連付けて記録媒体に記録することと
を含む請求項１〜８のいずれか１項に記載の情報処理方法。
【請求項１０】
前記同調度に関する情報は、算出された同調度および前記算出された同調度を有するユーザ集合の少なくとも一方を示す情報を含む
請求項９に記載の情報処理方法。
【請求項１１】
前記算出された同調度は、所定値以上の同調度である
請求項８に記載の情報処理方法。
【請求項１２】
複数のユーザの各々の状態を検知する一つ又は複数のセンサ装置と、
前記複数のユーザのうちの少なくとも二人を含むユーザ集合について、前記一つ又は複数のセンサ装置により検知された前記ユーザ集合に含まれるユーザの状態に基づいて、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出し、前記同調度の算出結果に基づく提示情報を提供する情報処理装置と、
前記提示情報を提示する情報提示装置と
を備える情報処理システム。
【請求項１３】
複数のユーザの各々の状態を検知する一つ又は複数のセンサ装置から前記複数のユーザの各々の状態の検知結果を取得する取得部と、
前記複数のユーザのうちの少なくとも二人を含むユーザ集合について、前記取得した検知結果において前記ユーザ集合に含まれるユーザの状態に基づいて、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出し、前記同調度の算出結果に基づく提示情報を提供する制御部と
を備える情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理方法、情報処理システム及び情報処理装置に関する。
【背景技術】
【０００２】
特許文献１は、会議など多くの人間が議論する場における会話音声分析方法を開示している。特許文献１の会話音声分析方法によると、マイクロホンとセンサから得られる信号を用いて、発話における聴者の興味である関心度合いを求め、会話の分析を行なっている。特許文献１では、参加者が話している内容にどのくらい関心を持っているのかを分析して、参加者の時間毎の関心度の変化をグラフ化したり、多くの人が関心を持った有益な発言の量を参加者毎に図示したりしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０５５７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる情報処理方法、情報処理システム及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本開示の一態様に係る会議支援方法は、一つ又は複数のセンサ装置が検知する、複数のユーザの各々の状態を取得することと、前記複数のユーザのうちの少なくとも二人を含むユーザ集合について、前記一つ又は複数のセンサ装置により検知された前記ユーザ集合に含まれるユーザの状態に基づいて、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出することと、前記同調度の算出結果に基づく提示情報を提供することと、を含む。
【０００６】
本開示の一態様に係る会議支援システムは、複数のユーザの各々の状態を検知する一つ又は複数のセンサ装置と、前記一つ又は複数のセンサ装置の検知結果に基づいて、前記複数のユーザのうちの少なくとも二人を含むユーザ集合について、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出し、前記同調度の算出結果に基づく提示情報を提供する情報処理装置と、前記提示情報を提示する情報提示装置と、を備える。
【０００７】
本開示の一態様に係る情報処理装置は、複数のユーザの各々の状態を検知する一つ又は複数のセンサ装置から前記複数のユーザの各々の状態の検知結果を取得する取得部と、前記取得した検知結果に基づいて、前記複数のユーザの一部又は全てを含むユーザ集合毎に、前記ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出する制御部とを備える。
【発明の効果】
【０００８】
本開示の一態様に係る情報処理方法、情報処理システム及び情報処理装置によると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態１に係る会議支援システムの概要を説明するための図
【図２】実施形態１に係る会議支援システムの全体構成を示す図
【図３】会議支援システムにおけるマイクの構成を示す図
【図４】会議支援システムにおける体圧センサの構成を示す図
【図５】会議支援システムにおけるローカルサーバの構成を示す図
【図６】会議支援システムにおけるローカルサーバの機能を示す機能ブロック図
【図７】会議支援システムにおける同調現象の検出例を示す図
【図８】ローカルサーバによる同調現象の検出処理を示すフローチャート
【図９】ローカルサーバによる同調度の算出処理を示すフローチャート
【図１０】実施形態１における提示情報の第１の表示例を示す図
【図１１】実施形態１における提示情報の第２の表示例を示す図
【図１２】実施形態１における提示情報の第３の表示例を示す図
【図１３】ローカルサーバによる関連情報表示処理を示すフローチャート
【図１４】ローカルサーバにおける概念辞書データベースを例示する図
【図１５】関連情報表示処理におけるキーワードの抽出処理を示すフローチャート
【図１６】関連情報表示処理における同調度情報の登録処理を示すフローチャート
【図１７】実施形態１における同調度情報データベースを例示する図
【図１８】関連情報表示処理における関連キーワードの選出処理を示すフローチャート
【図１９】実施形態２に係る会議支援システムの構成を示す図
【図２０】実施形態２におけるローカルサーバの動作を示すフローチャート
【図２１】実施形態２における同調度情報データベースを例示する図
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態について、図面を参照しながら説明する。
【００１１】
なお、以下で説明する実施形態は、いずれも包括的または具体的な例を示すものである。以下の実施形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１２】
（実施形態１）
以下、実施形態１に係る情報処理システム及び情報処理装置、並びにこれらによって行われる情報処理方法について、図面を参照しながら説明する。なお、本実施形態では、情報処理システム、情報処理装置および情報処理方法が会議支援に適用される例を説明する。以下、情報処理システムを会議支援システムと、情報処理方法を会議支援方法とも称する。
【００１３】
０．概要
本実施形態に係る会議支援システムの概要について、図１を参照して説明する。図１は、本システムの概要を説明するための図である。
【００１４】
本実施形態に係る会議支援システムは、図１に示すように、複数のユーザ２００，２０１，２０２が参加する会議において用いられる。本開示において、「会議」は、複数人の間で会話が為される集まりをいい、ブレインストーミング、企画会議および商品モニタ会議など種々の会議を含む。また、本システムが適用される会議は、ビジネス目的の会議に限らず、例えば座談会などであってもよい。
【００１５】
本システムは、各ユーザ２００，２０１，２０２の会議における振る舞いなどの状態を各種センサ装置によって検知する。例えば、椅子２０４の座面に設置された体圧センサによりユーザ２００〜２０２の体圧、体動等の動きを検知したり、マイクを用いて会議中の発話音声を取得したりする（図２参照）。
【００１６】
本実施形態では、ローカルサーバ３１０が、各種検知結果のセンサデータの情報解析を行い、特定の情報を抽出する。情報解析によって得られた情報は、例えばプロジェクタなどの表示装置３１５により、テーブル２０５上などの表示面２０６に、ユーザ２００〜２０２に提示される提示情報２０７として表示される。提示情報２０７は、会議中に提示されてもよいし、会議後に提示されてもよい。また、会議後のログ解析などにおいて、会議に参加していないユーザに提示情報が提示されてもよい。
【００１７】
複数人の間で会話が為される会議においては、参加するユーザ２００〜２０２の全員が同調したり、同調しているユーザが一部に偏っていたりすることがある。本実施形態に係る会議支援システムでは、会議中に同調し得るユーザの集まり（ユーザ集合）に応じて、会議中に同調しているユーザに関する情報を抽出する。以下、本実施形態に係る会議支援システムの構成について、説明する。
【００１８】
１．構成
１−１．システム構成
本実施形態に係る会議支援システムの全体構成を、図１，２を参照して説明する。図２は、本システムの全体構成を示す図である。
【００１９】
本実施形態に係る会議支援システムは、図２に示すように、複数のマイク３００〜３０２と、複数の体圧センサ３０３〜３０５と、ローカルサーバ３１０と、表示装置３１５とを備える。
【００２０】
本実施形態では一例として、本システムが、三人のユーザ２００，２０１，２０２による会議で用いられる例を説明する（図１参照）。本実施形態における各マイク３００，３０１，３０２、及び各体圧センサ３０３，３０４，３０５は、それぞれ一人のユーザ２００，２０１，２０２の状態を検知する。ユーザの状態は、発話、動きまたは姿勢などの状態である。マイク３００〜３０２及び体圧センサ３０３〜３０５は、それぞれ本システムにおけるセンサ装置の一例である。各種センサ装置３００〜３０５の構成の詳細については後述する。
【００２１】
ローカルサーバ３１０は、本システムにおいて各種センサ装置３００〜３０５から受信するセンサデータに基づき情報処理を行う情報処理装置の一例である。ローカルサーバ３１０は、例えばＬＡＮなどのネットワークを介してセンサ装置３００〜３０５及び表示装置３１５に通信接続し、各種データ通信を行う。ローカルサーバ３１０の構成の詳細については後述する。
【００２２】
表示装置３１５は、例えばプロジェクタで構成され、外部の表示面２０６に画像を投影することによって、情報を表示する。表示装置３１５はプロジェクタに限らず、例えば液晶ディスプレイ、有機ＥＬディスプレイなどの表示面を有する表示デバイスで構成されてもよい。表示装置３１５は、例えば通信機能を有し、ＬＡＮなどのネットワークを介してローカルサーバ３１０に通信接続されている。表示装置３１５は、ローカルサーバ３１０から受信した情報を表示する情報提示装置の一例である。
【００２３】
１−２．センサ構成
本システムにおける各種センサ装置３００〜３０５の構成の詳細について、図３，４を参照して説明する。
【００２４】
１−２−１．マイクの構成
図３は、本システムにおけるマイク３００の構成を示す図である。本実施形態において、複数のマイク３００〜３０２は、それぞれ同様に構成される。
【００２５】
マイク３００は、図３に示すように、マイク制御部４００と、収音回路４０１と、通信回路４０２とを備える。マイク制御部４００は、ＣＰＵ４１０と、メモリ４２０とを備える。マイク３００において、収音回路４０１、通信回路４０２、ＣＰＵ４１０及びメモリ４２０は、信号線４３０を介して互いに接続されている。
【００２６】
収音回路４０１は、マイク３００の外部の音声を収音する。収音回路４０１は、収音結果を示す音声信号を生成し、生成した音声信号をマイク制御部４００に出力する。
【００２７】
通信回路４０２は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＩＥＥＥ１３９５、ＵＳＢ、ＨＤＭＩ（登録商標）、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、等が含まれる。
【００２８】
マイク制御部４００は、マイク３００の全体動作を制御する。マイク制御部４００において、ＣＰＵ４１０は、例えばソフトウェアと協働して所定の機能を実現する。
【００２９】
メモリ４２０は、例えばフラッシュメモリで構成される。メモリ４２０は、マイク３００の機能を実現するために必要なプログラム４４２及びデータを記憶する。例えば、メモリ４２０は、複数のマイク３００〜３０２の識別番号である機器ＩＤ４４１を記憶する。
【００３０】
マイク制御部４００は、メモリ４２０に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、マイク制御部４００は、収音回路４０１からの音声信号に基づく信号処理を行って、マイク３００による音声の検知結果を示す音声データを生成する。マイク制御部４００は、機器ＩＤ４４１と共に生成した音声データを、通信回路４０２を介してローカルサーバ３１０等に送信する。
【００３１】
マイク制御部４００は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。マイク制御部４００は、ＣＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【００３２】
１−２−２．体圧センサの構成
図４は、本システムにおける体圧センサ３０３の構成を示す図である。本実施形態において、複数の体圧センサ３０３〜３０５は、それぞれ同様に構成される。
【００３３】
体圧センサ３０３は、図４に示すように、センサ制御部５００と、体圧検知回路５０１と、通信回路５０２とを備える。センサ制御部５００は、ＣＰＵ５１０と、メモリ５２０とを備える。体圧センサ３０３において、体圧検知回路５０１、通信回路５０２、ＣＰＵ５１０及びメモリ５２０は、信号線５３０を介して互いに接続されている。
【００３４】
体圧検知回路５０１は、体圧センサ３０３にかかる圧力、或いは荷重を検知する。体圧検知回路５０１は、圧力などの検知結果を示すセンサ信号を生成し、生成したセンサ信号をセンサ制御部５００に出力する。
【００３５】
通信回路５０２は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＩＥＥＥ１３９５、ＵＳＢ、ＨＤＭＩ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、等が含まれる。
【００３６】
センサ制御部５００は、体圧センサ３０３の全体動作を制御する。センサ制御部５００において、ＣＰＵ５１０は、例えばソフトウェアと協働して所定の機能を実現する。
【００３７】
メモリ５２０は、例えばフラッシュメモリで構成される。メモリ５２０は、体圧センサ３０３の機能を実現するために必要なプログラム５４２及びデータを記憶する。例えば、メモリ５２０は、複数の体圧センサ３０３〜３０５の識別番号である機器ＩＤ５４１を記憶する。
【００３８】
センサ制御部５００は、メモリ５２０に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、センサ制御部５００は、体圧検知回路５０１からのセンサ信号に基づく信号処理を行って、体圧センサ３０３が設置された座面上のｘ、ｙ座標それぞれにおける体圧の検知結果を示すセンサデータを生成する。センサ制御部５００は、機器ＩＤ５４１と共に生成したセンサデータを、通信回路５０２を介してローカルサーバ３１０等に送信する。
【００３９】
センサ制御部５００は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。センサ制御部５００は、ＣＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【００４０】
１−３．サーバ構成
本システムにおけるローカルサーバ３１０の構成の詳細について、図５，６を参照して説明する。図５は、本システムにおけるローカルサーバ３１０の構成を示す図である。図６は、ローカルサーバ３１０の機能を示す機能ブロック図である。
【００４１】
ローカルサーバ３１０は、例えばＰＣなどの情報処理装置で構成される。ローカルサーバ３１０は、図５に示すように、通信回路６５０と、サーバ制御部６７０と、データ格納部６８０とを備える。サーバ制御部６７０は、ＣＰＵ６３０と、メモリ６４０とを備える。ローカルサーバ３１０において、通信回路６５０、ＣＰＵ６３０、メモリ６４０及びデータ格納部６８０は、バス６６０を介して互いに接続されている。
【００４２】
通信回路６５０は、無線または有線の通信回線を介して、所定の通信規格に従うデータ通信を行うインタフェース回路である。所定の通信規格には、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＩＥＥＥ１３９５、ＵＳＢ、ＨＤＭＩ、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、等が含まれる。通信回路６５０は、データ通信によりマイク３００〜３０２による音声データ及び体圧センサ３０３〜３０５によるセンサデータを取得する取得部の一例である。
【００４３】
サーバ制御部６７０は、ローカルサーバ３１０の全体動作を制御する。サーバ制御部６７０において、ＣＰＵ６３０は、例えばソフトウェアと協働して所定の機能を実現する。
【００４４】
メモリ６４０は、例えばフラッシュメモリ、或いはＳＲＡＭ，ＤＲＡＭ等で構成される。メモリ６４０は、ローカルサーバ３１０の記憶部の一例である。メモリ６４０は、ローカルサーバ３１０の機能を実現するために必要なプログラム６４２及びデータを記憶する。例えば、メモリ６４０は、マイク３００〜３０２による音声データ及び体圧センサ３０３〜３０５によるセンサデータを一時的に記憶（保持）する。メモリ６４０は、サーバ制御部６７０の作業エリアとして機能してもよい。
【００４５】
データ格納部６８０は、例えばハードディスク（ＨＤＤ）または半導体記憶装置（ＳＳＤ）で構成される。データ格納部６８０は、ローカルサーバ３１０の記憶部の一例である。データ格納部６８０は、例えば概念辞書データベース６８２及び同調度情報データベース６８４を格納する（以下、データベースを「ＤＢ」と略記する）。概念辞書ＤＢ６８２は、複数のキーワード及びその上位概念を管理するデータベースである。同調度情報ＤＢ６８４は、ユーザ同士の同調に基づく同調度と同調時の話題に関するキーワードとを関連付けて管理するデータベースである。概念辞書ＤＢ６８２及び同調度情報ＤＢ６８４の詳細については後述する。
【００４６】
サーバ制御部６７０は、データ格納部６８０及びメモリ６４０などの記憶部に格納されたデータ及びプログラム６４２を読み出して種々の演算処理を行い、各種の機能を実現する。例えば、サーバ制御部６７０は、通信回路６５０を介して機器ＩＤ４４１，５４１と共に音声データ或いはセンサデータを受信すると、機器ＩＤ４４１，５４１に基づき、送信元のマイク３００〜３０２或いは体圧センサ３０３〜３０５を識別する。
【００４７】
また、サーバ制御部６７０は、本開示に係る会議支援方法を実現するための情報処理（プログラム６４２）を実行する。例えば、サーバ制御部６７０は、図６に示すように、同調現象検出部９１０、同調度算出部９２０、表示生成部９３０、キーワード抽出部９４０、同調度情報登録部９５０及び関連キーワード選出部９６０の各部の機能を実現する。上記の各部の機能については後述する。なお、図６において、通信部９００は、通信回路６５０の機能を示している。
【００４８】
なお、サーバ制御部６７０は、所定の機能を実現するように設計された専用の電子回路または再構成可能な電子回路などのハードウェア回路であってもよい。サーバ制御部６７０は、ＣＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
【００４９】
以上の説明では、ローカルサーバ３１０で構成される情報処理装置の一例を説明した。本開示に係る情報処理装置はこれに限定されず、種々の装置構成を有してもよい。例えば、情報処理装置は、ＡＳＰサーバなどの一つ又は複数のサーバ装置であってもよい。例えば、情報処理装置は、インターネット等を介して入力された各種センサデータ（音声データを含む）を通信回路６５０により取得して、会議支援方法を実現するための情報処理を実行してもよい。また、情報処理装置は、上記の情報処理結果による情報（提示情報あるいは同調度情報）を、インターネット等を介して表示装置３１５等に送信してもよい。また、コンピュータクラスタ或いはクラウドコンピューティングなどにおいて、本開示に係る会議支援方法を実現するための情報処理が実行されてもよい。情報処理装置は、サービスプロバイダ、データセンタ運営会社、機器メーカ、管理会社などで適宜、管理されてもよい。
【００５０】
２．動作
以下、本実施形態に係る会議支援方法を実現する会議支援システムの動作について説明する。
【００５１】
２−１．動作の概要
本実施形態に係る会議支援システムの動作の概要について、図７を参照して説明する。図７は、本システムにおける同調現象の検出例を示す図である。
【００５２】
図７のａ，ｂは、それぞれユーザ２００，２０１の体圧センサ３０３，３０４によるセンサデータの一例を示す。図７のｃ，ｄは、それぞれユーザ２００，２０１のマイク３００，３０１による音声データの一例を示す。図７のｅは、図７のａ〜ｄの各種センサデータ（音声データを含む）に基づく同調現象の検出タイミングの一例を示す。
【００５３】
本システムにおいて、各ユーザ２００〜２０２のマイク３００〜３０２及び体圧センサ３０３〜３０５は、会議中に随時、音声及び体圧を検知して、図７のａ〜ｄに示すように、検知結果を示す各種センサデータを生成する。
【００５４】
図７の例では、期間Ｔ１において、ユーザ２００及びユーザ２０１の双方の動きが同時に検知されている（図７のａ，ｂ）。このような場合、例えば、相づちまたはうなずき、他者の行動を反射的になぞるような行為が生じている状況が考えられる。また、期間Ｔ２には、ユーザ２００の動きとユーザ２０１の発話とが同時に検知されている（図７のａ，ｄ）。期間Ｔ３には、ユーザ２００及びユーザ２０１の双方の発話が同時に検知されている（図７のｃ，ｄ）。例えば、発話に相づちしたり、感嘆あるいは反応したりする状況が考えられる。
【００５５】
期間Ｔ１，Ｔ２，Ｔ３のように、複数のユーザ２００，２０１の音声または体動が同時期に生じている現象は、ユーザ同士が同調していることの表れであると考えられる。そこで、本実施形態では、マイク３００〜３０２及び体圧センサ３０３〜３０５による各種センサデータに基づく情報処理をローカルサーバ３１０で行うことにより、ユーザ同士が同調している同調現象を検出する。
【００５６】
また、実際の会議においては、会議に参加するユーザ全員が同調したり、一部のユーザの同調による局所的な盛り上がりが生じたりすることが想定される。そこで、本実施形態では、ユーザ全員又は一部を含むグループ（ユーザ集合）毎に、同調している度合い（同調度）を算出し、同調しているユーザ集合を特定する。これにより、会議中の局所的な盛り上がりなどに応じて、種々の情報提示を行うことができる。以下、本システムの動作の詳細を説明する。
【００５７】
２−２．ローカルサーバの全体動作
本システムにおけるローカルサーバ３１０の全体動作について、図６，７を参照して説明する。
【００５８】
本システムにおいて、ローカルサーバ３１０は、随時、通信部９００を介して各ユーザ２００〜２０２のマイク３００〜３０２及び各体圧センサ３０３〜３０５からそれぞれの検知結果を示すセンサデータを取得する。ローカルサーバ３１０は、逐次、取得した各種センサデータをメモリ６４０等に保持する。
【００５９】
ローカルサーバ３１０のサーバ制御部６７０は、まず、同調現象検出部９１０として機能し、保持したセンサデータに基づいてユーザ間の同調現象の検出を行う。同調現象の検出処理は、例えば１秒毎に過去５秒間のセンサデータを対象とするなど、所定の周期で繰り返し実行される。同調現象の検出処理については後述する。
【００６０】
同調現象が検出されたとき、サーバ制御部６７０は、同調度算出部９２０として機能し、ユーザ集合毎の同調度を算出する。ユーザ集合は、複数のユーザ２００〜２０２の一部又は全員によるグループである。同調度は、ユーザ集合に含まれるユーザ同士が同調する度合いを示す。同調度の算出処理の詳細については後述する。
【００６１】
同調度の算出結果に基づいて、サーバ制御部６７０は、例えば、最大の同調度を有するユーザ集合を特定する。サーバ制御部６７０は、表示生成部９３０として機能し、特定したユーザ集合及び算出した同調度などをユーザ２００〜２０２等に提示するための提示情報を表示装置３１５に表示させる。
【００６２】
また、サーバ制御部６７０は、キーワード抽出部９４０、同調度情報登録部９５０、関連キーワード選出部９６０、及び表示生成部９３０として機能し、関連情報表示処理を行う。関連情報表示処理は、同調しているユーザ集合に応じて、同調時の話題に関連する提示情報（関連情報）を表示装置３１５に表示させる処理である。関連情報表示処理の詳細については後述する。
【００６３】
以上のローカルサーバ３１０の動作によると、各種センサデータに基づいて同調現象を検出したり、同調度を算出したりすることにより、会議の状況を把握するために有益な情報を取得し、ユーザ２００〜２０２による会議を支援することができる。以下、ローカルサーバ３１０の各種処理について、それぞれ説明する。
【００６４】
２−３．同調現象の検出処理について
ローカルサーバ３１０による同調現象の検出処理の詳細について、図８を用いて説明する。図８は、同調現象の検出処理を示すフローチャートである。
【００６５】
図８のフローチャートによる処理は、同調現象検出部９１０として機能するサーバ制御部６７０によって実行される。
【００６６】
図８のフローチャートは、ユーザ２００〜２０２全員分のマイク３００〜３０２及び体圧センサ３０３〜３０５（図２参照）から受信した各種センサデータが、検出対象期間以上の期間分、メモリ６４０に保持された状態において開始される。検出対象期間は、同調現象の検出対象とする期間であり、例えば過去５秒間などに設定される。本フローチャートによる処理は、所定の周期（例えば１秒）で繰り返し行われる。
【００６７】
まず、サーバ制御部６７０は、ユーザ２００〜２０２全員分のマイク３００〜３０２による音声データに基づいて、検出対象期間の範囲内で、ユーザ２００〜２０２毎に音声区間を検出する（Ｓ１）。音声区間は、発話などによる音声が生じている時間区間である。
【００６８】
また、サーバ制御部６７０は、ユーザ２００〜２０２全員分の体圧センサ３０３〜３０５によるセンサデータに基づいて、上記の検出対象期間中の各ユーザ２００〜２０２の動き量を検出する（Ｓ２）。なお、ステップＳ１，Ｓ２の処理の順序は特に限定されず、例えば、ステップＳ１，Ｓ２の処理は並列に実行されてもよい。
【００６９】
次に、サーバ制御部６７０は、音声区間の検出結果に基づいて、検出対象期間中に複数人分の音声区間が検出されたか否かを判断する（Ｓ３）。例えば、図７の例において、期間Ｔ３はユーザ２００，２０１の二人分の音声区間として検出され（図７のｃ，ｄ）、サーバ制御部６７０は、ステップＳ３で「Ｙｅｓ」に進む。一方、期間Ｔ２は、一人のユーザ２０１の一人分の音声区間として検出され（図７のｄ）、サーバ制御部６７０は、ステップＳ３で「Ｎｏ」に進む。
【００７０】
サーバ制御部６７０は、複数人分の音声区間が検出されたと判断した場合（Ｓ３でＹｅｓ）、同調現象フラグを「ＯＮ」の状態に有効化する（Ｓ６）。同調現象フラグは、同調現象が検出されたか否かを示すフラグであり、例えば予め「ＯＦＦ」の状態でメモリ６４０に格納されている。本実施形態では、同調現象フラグが「ＯＮ」の状態は同調現象が検出された状態を示し、同調現象フラグが「ＯＦＦ」の状態は同調現象が検出されていない状態を示すこととする。
【００７１】
一方、複数人分の音声区間が検出されなかったと判断した場合（Ｓ３でＮｏ）、サーバ制御部６７０は、検出対象期間中に複数人の動き量が所定のしきい値を超えたか否かを判断する（Ｓ４）。しきい値は、同調しているユーザの動きの基準を示すしきい値であり、例えば相づち、うなずき等を行う際の動き量を考慮して設定される。
【００７２】
例えば、図７の例では期間Ｔ１において、二人のユーザ２００，２０１の動き量がしきい値を超えることにより（図７のａ，ｂ）、サーバ制御部６７０は、ステップＳ４で「Ｙｅｓ」に進む。一方、期間Ｔ２では、一人のユーザ２００の動き量のみが検出され（図７のａ）、サーバ制御部６７０は、ステップＳ４で「Ｎｏ」に進む。
【００７３】
サーバ制御部６７０は、複数人の動き量がしきい値を超えたと判断した場合（Ｓ４でＹｅｓ）、同調現象フラグを「ＯＮ」にする（Ｓ６）。
【００７４】
一方、複数人の動き量がしきい値を超えなかったと判断した場合（Ｓ４でＮｏ）、サーバ制御部６７０は、検出対象期間中に、一人分の音声区間が検出されて、且つ音声区間が検出されたユーザとは別人の動き量がしきい値を超えたか否かを判断する（Ｓ５）。例えば、図７の例において期間Ｔ２には、ユーザ２００一人分の音声区間が検出されると共に別のユーザ２０１の動き量が検出され（図７のａ，ｄ）、サーバ制御部６７０は、ステップＳ５で「Ｙｅｓ」に進む。
【００７５】
サーバ制御部６７０は、一人分の音声区間が検出されて、且つ別人の動き量がしきい値を超えたと判断した場合（Ｓ５でＹｅｓ）、同調現象フラグを「ＯＮ」にする（Ｓ６）。サーバ制御部６７０は、ステップＳ６において同調現象フラグを「ＯＮ」にすることにより、本フローチャートによる処理を終了する。
【００７６】
一方、一人分の音声区間が検出されて且つ別人の動き量がしきい値を超えてはいないと判断した場合（Ｓ５でＮｏ）、ステップＳ６の処理を行うことなく、本フローチャートによる処理を終了する。ステップＳ５において、サーバ制御部６７０は、検出対象期間中に誰の分の音声区間も検出されなかったり、誰の動き量もしきい値を超えなかったり、ユーザ一人分の音声区間の検出と共に同一ユーザの動き量のみがしきい値を超えたりしたときには、「Ｎｏ」に進む。
【００７７】
以上の処理によると、検出対象の会議などにおいて各種センサ装置３００〜３０５が随時、検知するセンサデータに基づいて、ユーザ２００〜２０１間の同調現象をリアルタイムで検出することができる。
【００７８】
以上の処理において、各ステップの順序は特に限定されず、上記の説明から適宜変更されてもよい。例えばステップＳ３，Ｓ４，Ｓ５の処理は適宜、順序を入れ替えてもよい。また、各ステップＳ３，Ｓ４，Ｓ５において、サーバ制御部６７０は、検出対象の音声区間或いは動き量が、一人分以上、或いは二人分以上あるか否かを判断してもよい。
【００７９】
２−４．同調度の算出処理について
ローカルサーバ３１０による同調度の算出処理の詳細について、図９を用いて説明する。図９は、同調度の算出処理を示すフローチャートである。
【００８０】
本フローチャートは、例えば同調現象の検出処理において同調現象フラグが「ＯＮ」にされたときに開始される（図８のＳ６参照）。本フローチャートによる処理は、同調度算出部９２０として機能するサーバ制御部６７０によって実行される。
【００８１】
まず、サーバ制御部６７０は、例えば同調度の検出対象期間分の各マイク３００〜３０２による音声データから、ユーザ２００〜２０２の全員分の音声特徴量を抽出する（Ｓ１１）。音声特徴量は、例えばユーザが発話する時間区間（発話区間）の長さを表す特徴量である。音声特徴量は、発話の音量、周波数帯などに基づく特徴量であってもよい。
【００８２】
また、サーバ制御部６７０は、例えば検出対象期間分の各体圧センサ３０３〜３０５によるセンサデータから、ユーザ２００〜２０２の全員分の動き特徴量を抽出する（Ｓ１２）。動き特徴量は、例えば、ユーザの重心位置などに基づき、前のめりになったり、うなずいたり、相づちをしたりする所定の動きを表す特徴量である。
【００８３】
次に、サーバ制御部６７０は、ユーザ２００〜２０２の一部又は全員によるユーザ集合を選択する（Ｓ１３）。サーバ制御部６７０は、ユーザ全員を含む全体集合の部分集合の内の、少なくとも二人のユーザを含む部分集合の全てを選択肢として、一つのユーザ集合を選択する。選択肢とする部分集合を示す情報は、例えば予めメモリ６４０に格納されている。
【００８４】
次に、サーバ制御部６７０は、選択したユーザ集合に関して、ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出する（Ｓ１４）。サーバ制御部６７０は、例えば次式（１）に基づく演算処理を行って同調度を算出する。
【００８５】
【数１】
2018045676.tif 000003
【００８６】
上式（１）において、Ｓは同調度であり、Ｎは選択したユーザ集合が含むユーザの人数であり、Ｔは検出対象期間の長さであり、Ｃｍ，Ｃｖは所定の重みを示す係数であり、ｖｉは選択したユーザ集合中のｉ番目のユーザの発話区間の長さである。また、ｙｉｍａｘ及びｙｉｍｉｎは、次式（２），（３）によって規定される。
【００８７】
【数２】
2018045676.tif 000004
【００８８】
上式（２），（３）において、ｍａｘ［］及びｍｉｎ［］はそれぞれ検出対象期間Ｔ中の最大値及び最小値を示す。ｗｉ（ｔ）は、時刻ｔにおけるｉ番目のユーザの重心のｙ座標を示し、例えば０〜１の値となるように正規化されている。ここで、ｙ座標は、例えば椅子２０４（図１参照）の座面上で背もたれを後方とする前後方向の座標である。
【００８９】
式（２），（３）によると、式（１）におけるｙｉｍａｘ及びｙｉｍｉｎは、それぞれｉ番目のユーザの重心ｙ座標の最大値及び最小値を表し、ユーザが椅子２０４に座った状態で前のめりになったり仰け反ったりする動きに対応している。式（１）によると、選択したユーザ集合におけるユーザが、検出対象期間Ｔ中に、長い発話を行ったり（ｖｉ）、大きな振幅で前のめりになったりすると（ｙｉｍａｘ，ｙｉｍｉｎ）、当該ユーザ集合の同調度Ｓが大きくなるように算出される。
【００９０】
次に、サーバ制御部６７０は、全てのユーザ集合の同調度を算出したか否かを判断する（Ｓ１５）。サーバ制御部６７０は、全てのユーザ集合の同調度を算出していない場合（ステップＳ１５でＮｏ）、ステップＳ１３に戻り、未選択のユーザ集合を新たに選択する。サーバ制御部６７０は、ステップＳ１３以降の処理を繰り返し実行し、全てのユーザ集合の同調度を算出する。ユーザ集合毎に算出された同調度は、メモリ６４０等に一時的に記録される。
【００９１】
サーバ制御部６７０は、全てのユーザ集合の同調度を算出すると（ステップＳ１５でＹｅｓ）、算出した同調度の中で最大の最大同調度を特定する（Ｓ１６）。
【００９２】
次に、サーバ制御部６７０は、最大同調度を有するユーザ集合を特定する（Ｓ１７）。ステップＳ１７の処理の後、サーバ制御部６７０は、例えば同調現象フラグ（図８参照）を「ＯＦＦ」に戻して、本フローチャートによる処理を終了する。
【００９３】
以上の処理によると、同調現象が検出されたときに、予め想定される各ユーザ集合の同調度が算出され、同調していると考えられるユーザ集合を特定することができる。
【００９４】
以上の処理において、同調度の算出は、式（１），（２）に限らず、種々の演算式を用いてもよい。例えば、各センサデータが所定レベル以上である期間の重なりを評価したり、相づち、うなずきの頻度を評価したり、発話音声の高さ、大きさ等により会話の盛り上がりを評価するような演算式が用いられてもよい。
【００９５】
以上の説明では、センサデータ中で本処理の対象とする期間が同調度の検出対象期間である例について説明したが、これに限らず、例えば、検出対象期間中で同調現象が起きている期間を抽出して、本処理の対象の期間としてもよい。
【００９６】
また以上の説明では、同調現象の検出結果に基づいて、複数ユーザの一部又は全てを含むユーザ集合毎に同調度を算出する例について説明したが、これに限らず、例えば、すべてのユーザ集合の同調度を常時算出し、あるユーザ集合の同調度が特定の閾値を超えた期間を同調現象が起きている期間としてもよい。これにより、同調度の算出処理を行う前の同調現象の検出処理（図９）を省略できる。
【００９７】
２−５．表示動作について
以上の同調度の算出処理による算出結果に基づいて、ローカルサーバ３１０のサーバ制御部６７０は、表示生成部９３０として各種提示情報を生成し、表示装置３１５に表示させる。提示情報の表示例について、図１０，１１，１２を用いて説明する。
【００９８】
図１０は、第１及び第２の時刻の表示装置３１５による提示情報の第１の表示例である。ローカルサーバ３１０は、例えば、会議中にリアルタイムに、同調度の算出結果を示す提示情報を表示装置３１５に表示させる。図１０に例示する表示例では、ユーザ集合を示す「グループ名」と、算出結果の「同調度」とを示すリストが表示されている。また、本表示例では、一例として最大同調度、及び最大同調度を有するユーザ集合のグループ名が強調表示されている。
【００９９】
図１０のｆでは、第１の時刻における同調度の算出結果が表示されており、図１０のｇでは、第１の時刻後の第２の時刻における同調度の算出結果が表示されている。サーバ制御部６７０は、例えば同調度の算出処理（図９）において同調度を算出する毎に、表示装置３１５に表示させる同調度を更新する。これにより、会議中のユーザ２００〜２０２にリアルタイムに同調度に関する提示情報を提示できる。
【０１００】
図１１は、表示装置３１５による提示情報の第２の表示例を示す。本表示例においては、ユーザ集合毎の同調度を時刻毎にプロットしたグラフが表示されている。本表示例は、会議中にリアルタイムに更新しながら表示されてもよいし、会議後にまとめて表示されてもよい。例えば、サーバ制御部６７０は、各々のユーザ集合について算出した同調度を時刻毎にメモリ６４０等に蓄積し、ユーザの指示等に基づき、図１１の例のような提示情報を表示装置３１５に表示させる。このような提示情報によると、会議における同調度の時間変化を確認でき、会議の支援を行える。
【０１０１】
図１２は、表示装置３１５による提示情報の第３の表示例を示す。以上のような同調度の算出結果を示す提示情報に加えて、又はこれに代えて、本実施形態では、同調していると特定されたユーザ集合に応じて、ユーザ集合が同調している話題に関連する関連情報（提示情報の一例）を表示装置３１５から表示する。
【０１０２】
図１２では、三人のユーザ２００，２０１，２０２によるユーザ集合が同調した場合の関連情報２２０１と、二人のユーザ２００，２０２によるユーザ集合が同調した場合の関連情報２２０２とを示している。関連情報２２０１は関連キーワードＫ１を含み、関連情報２２０２は関連キーワードＫ２を含む。各関連キーワードＫ１，Ｋ２は、それぞれのユーザ集合が同調した話題と共通のジャンルに属するなど、同調した話題に関連するキーワードである。関連キーワードＫ１，Ｋ２を含む関連情報２２０１，２２０２を表示することにより、会議における発想の支援を行うことができる。なお、関連情報には、複数のユーザによる会話の中で発話された単語または語句自体も含まれ得る。
【０１０３】
また、本実施形態では、図１２に例示するように、ユーザ集合の座席に応じて、関連情報２２０１，２２０２の表示位置を変化させる。例えば、三人のユーザ２００，２０１，２０２に対する関連情報２２０１は、円卓状のテーブル２０５を囲んでいる三人の座席に応じて、テーブル２０５の中心位置近傍に表示される。また、二人のユーザ２００，２０２に対する関連情報２２０２は、二人の座席を結ぶ直線状の中心付近に表示される。これにより、対象のユーザ集合中の各ユーザにとって、関連情報を見やすくすることができる。以上のような関連情報の表示を行うためにローカルサーバ３１０が実行する処理（関連情報表示処理）について、以下説明する。
【０１０４】
２−６．関連情報表示処理
本実施形態に係る関連情報表示処理について、図１３を参照して説明する。図１３は、ローカルサーバ３１０による関連情報表示処理を示すフローチャートである。
【０１０５】
本フローチャートは、例えば同調度の算出処理（図９）の実行後に開始される。本フローチャートによる処理は、サーバ制御部６７０によって実行される。
【０１０６】
まず、サーバ制御部６７０はキーワード抽出部９４０（図６）として機能し、同調現象が生じたときの話題に関するキーワードの抽出を行う（Ｓ２１）。サーバ制御部６７０は、例えばキーワードスポッティング法により、同調現象が検出されたときの音声データからキーワードを抽出する。キーワードの抽出処理の詳細については後述する。
【０１０７】
次に、サーバ制御部６７０は同調度情報登録部９５０（図６）として機能し、同調度情報ＤＢ６８４に、同調度情報の登録を行う（Ｓ２２）。同調度情報は、会議中に時々刻々と変動する同調度に関する情報であり、例えば最大同調度、最大同調度を有するユーザ集合、及び抽出したキーワードを含む。同調度情報の登録処理の詳細については後述する。
【０１０８】
次に、サーバ制御部６７０は関連キーワード選出部９６０（図６）として機能し、抽出したキーワードに関連する関連キーワードの選出を行う（Ｓ２３）。本処理は、概念辞書ＤＢ６８２を用いて行われる。概念辞書ＤＢ６８２について、図１４を用いて説明する。
【０１０９】
図１４は、ローカルサーバにおける概念辞書ＤＢ６８２を例示する図である。概念辞書ＤＢ６８２は、図１４に例示するように、「キーワード」と「上位概念」とを関連付けている。「上位概念」は、例えば複数のキーワードを包含する概念である。図１４の例の概念辞書ＤＢ６８２においては、「野球」、「テニス」、「サッカー」及び「相撲」といった複数のキーワードが、これらのジャンルに対応する「スポーツ」という上位概念に関連付けられている。また、他の上位概念「映画」及び「小説」等に関しても、それぞれ上位概念に属するキーワード（映画Ａ，映画Ｂ，小説Ｃ）が登録されている。
【０１１０】
図１３に戻り、ステップＳ２３における関連キーワードの選出処理では、概念辞書ＤＢ６８２において、抽出されたキーワードと共通の上位概念に関連付けされた別のキーワードが、関連キーワードとして選出される。関連キーワードの選出処理の詳細については後述する。
【０１１１】
次に、サーバ制御部６７０は、関連キーワードが選出されたか否かを判断する（Ｓ２４）。サーバ制御部６７０は、関連キーワードが選出されたと判断すると（Ｓ２４でＹｅｓ）、関連キーワードを示す関連情報を表示装置３１５に表示させる（Ｓ２５）。この際、サーバ制御部６７０は、同調度情報に含まれるユーザ集合に基づいて、当該ユーザ集合中の各ユーザの座席位置の中心近傍などに、関連情報の表示位置を設定する。
【０１１２】
サーバ制御部６７０は、関連情報を表示装置３１５に表示させることにより（Ｓ２５）、本フローチャートによる処理を終了する。また、関連キーワードが選出されなかった場合には（Ｓ２４でＮｏ）、サーバ制御部６７０は、関連情報を特に表示させずに本処理を終了する。
【０１１３】
以上の処理によると、同調現象が検出された際に最大同調度を有するユーザ集合の話題を示すキーワードが抽出され、抽出されたキーワードに関連する関連キーワードによる関連情報の情報提示を行うことができる。
【０１１４】
以上の処理において、同調時の話題に関するキーワードの抽出後に関連キーワードが選出されたか否か判断することにより（Ｓ２４）、抽出したキーワードと共通する上位概念が確定したタイミングで即座に関連情報を表示させることができる（Ｓ２５）。
【０１１５】
関連情報の表示タイミングは上記のタイミングに限らず、例えば、共通の上位概念が確定後（Ｓ２４でＹｅｓ）、サーバ制御部６７０が、マイク３００〜３０２の音声データにより無音状態が所定期間以上、継続する無音区間の検知を行い、無音区間が検知されたタイミングにおいて関連情報を表示させてもよい。また、会議の終了予定時刻などの所定時刻を予めメモリ６４０等に設定しておき、設定された時刻又は当該時刻の所定期間前のタイミングに、関連情報を表示させてもよい。
【０１１６】
２−６−１．キーワードの抽出処理
関連情報表示処理（図１３）のステップＳ２１におけるキーワードの抽出処理について、図１５を用いて説明する。図１５は、キーワードの抽出処理（Ｓ２１）を示すフローチャートである。
【０１１７】
図１５のフローチャートは、例えば同調度の算出処理（図９）の終了後に開始される。本フローチャートによる処理は、キーワード抽出部９４０として機能するサーバ制御部６７０によって実行される。
【０１１８】
まず、サーバ制御部６７０は、例えば同調現象の検出処理（図８）における検出対象期間分の各マイク３００〜３０２による音声データに基づいて音声認識処理を行い、各ユーザの音声を認識する（Ｓ３１）。
【０１１９】
また、サーバ制御部６７０は、音声認識の対象とした検出対象期間中の音声データから、ユーザ２００〜２０２全員分の音声特徴量を抽出する（Ｓ３２）。ステップＳ３２において抽出される音声特徴量は、例えばユーザの発話の音量および周波数帯などに基づきユーザ間の会話の盛り上がりを表す特徴量である。
【０１２０】
次に、サーバ制御部６７０は、抽出した音声特徴量に基づいて、検出対象期間の中から、同調現象に応じた話題のキーワードが発話されたことが予想される特定の時間区間を算出する（Ｓ３３）。本ステップは、例えば、サーバ制御部６７０が、抽出した音声特徴量に基づいてキーワードが発話された確率を時刻毎に計算し、計算した確率が所定値以上高い時間区間の判定を行うことによって行われる。
【０１２１】
次に、サーバ制御部６７０は、算出した特定の時間区間分の音声認識結果に基づいて、当該時間区間中に発話されたキーワードを抽出する（Ｓ３４）。例えば、サーバ制御部６７０は、最大同調度を有するユーザ集合中の一部又は全員の音声データに関して、特定の時間区間分の音声認識によるテキストデータを生成し、キーワードを抽出する。
【０１２２】
サーバ制御部６７０は、ステップＳ３４においてキーワードを抽出することにより、本フローチャートによる処理を終了する。これにより、サーバ制御部６７０は、図１３のフローチャートにおいてステップＳ２２に進む。
【０１２３】
以上の処理によると、同調現象が検出された際の会議の議題など、ユーザ間の会話に挙がった話題に対応するキーワードを得ることができる。
【０１２４】
以上の処理において、各ステップの順序は特に限定されず、上記の説明から適宜変更されてもよい。例えば、ステップＳ３１の処理とステップＳ３２の処理とが並列に実行されてもよい。
【０１２５】
また、ステップＳ３２において抽出される音声特徴量として、例えば同調度の算出処理（図９）のステップＳ１１において抽出された音声特徴量を用いてもよい。この場合、ステップＳ３２の処理は省略されてもよい。
【０１２６】
また、ステップＳ３４において、キーワードの抽出を行う際に、例えば、サーバ制御部６７０が、音声特徴量及び音声認識結果に基づいて、生成したテキストデータ中でキーワードとは想定されない部分を削除したり、一部分をキーワードとして切り出したりしてもよい。
【０１２７】
また、以上の説明では、キーワードの抽出処理の対象とする期間が同調現象の検出処理（図８）における検出対象期間と同じである例を説明した。本処理の対象とする期間は、特にこれに限らず、適宜、本処理の実行時から過去の一定期間に設定されてもよい。
【０１２８】
２−６−２．同調度情報の登録処理
関連情報表示処理（図１３）のステップＳ２２における同調度情報の登録処理について、図１６，１７を用いて説明する。図１６は、同調度情報の登録処理（Ｓ２２）を示すフローチャートである。
【０１２９】
図１６のフローチャートによる処理は、同調度情報登録部９５０として機能するサーバ制御部６７０によって、同調度情報ＤＢ６８４を用いて実行される。同調度情報ＤＢ６８４について、図１７を用いて説明する。
【０１３０】
図１７は、同調度情報ＤＢ６８４の一例を示す。図１７に例示する同調度情報ＤＢ６８４は、「情報名称」と、「キーワード」と、「ユーザ集合」と、「最大同調度」とを関連付けて管理する。「情報名称」は、同調度情報を識別するための名称である。例えば、サーバ制御部６７０は、本処理の開始時に登録対象となる新たな情報名称を生成する。同調度情報ＤＢ６８４には、過去に登録された同調度情報が、情報名称毎に蓄積される。
【０１３１】
以下、同調現象の検出処理において同調現象が検出された際に、同調度の算出処理（図９）において、ユーザ集合「山田、鈴木」に関して最大同調度「０．７」が算出され、キーワードの抽出処理（図１５）において、キーワード「野球」が抽出された例について、説明する。
【０１３２】
図１６のフローチャートにおいて、まず、サーバ制御部６７０は、同調度情報ＤＢ６８４において、抽出したキーワードを登録する（Ｓ４１）。図１７の例において、サーバ制御部６７０は、例えば新たな情報名称「アイデア４」を生成し、キーワード「テニス」を情報名称「アイデア４」に関連付けて登録する。
【０１３３】
次に、サーバ制御部６７０は、登録したキーワードに関連付けて、同調度の算出処理（図９）において算出した最大同調度を同調度情報ＤＢ６８４に登録する（Ｓ４２）。
【０１３４】
また、サーバ制御部６７０は、登録したキーワードに関連付けて、同調度の算出処理において最大同調度の算出対象となったユーザ集合を同調度情報ＤＢ６８４に登録する（Ｓ４３）。
【０１３５】
図１７の例において、サーバ制御部６７０は、キーワード「テニス」に関連付けて、それぞれユーザ集合「山田、鈴木」、及び最大同調度「０．７」を登録する（Ｓ４２，Ｓ４３）。
【０１３６】
サーバ制御部６７０は、以上のように抽出したキーワードを含む各種情報を同調度情報ＤＢ６８４に登録することにより、本フローチャートによる処理を終了する。これにより、サーバ制御部６７０は、図１３のフローチャートにおいてステップＳ２３に進む。
【０１３７】
以上の処理によると、キーワードが抽出される毎に、対応する同調度情報を同調度情報ＤＢ６８４に蓄積することができる。同調度情報ＤＢ６８４を参照することにより、例えば、特定のユーザ集合が過去に同調した話題に関するキーワードを取得することができる。
【０１３８】
以上の処理において、各ステップＳ４１，Ｓ４２，Ｓ４３の順序は特に限定されず、上記の説明から適宜変更されてもよい。
【０１３９】
また、同調度情報ＤＢ６８４に登録される同調度情報は上記の説明に限らない。例えば、情報名称に代えて、又はこれに加えて、同調現象が検出された時刻などの時刻情報が登録されてもよい。また、同調度情報ＤＢ６８４には、ユーザ集合及び同調度の一方が登録されてもよい。また、最大同調度以下の同調度を有するユーザ集合についても、同調度情報ＤＢ６８４の登録対象としてもよい。
【０１４０】
２−６−３．関連キーワードの選出処理
関連情報表示処理（図１３）のステップＳ２３における関連キーワードの選出処理について、図１８を用いて説明する。図１８は、関連キーワードの選出処理（Ｓ２３）を示すフローチャートである。
【０１４１】
図１８のフローチャートによる処理は、関連キーワード選出部９６０として機能するサーバ制御部６７０によって実行される。
【０１４２】
まず、サーバ制御部６７０は、新たに同調度情報ＤＢ６８４に登録された同調度情報のユーザ集合と同じユーザ集合が、過去の同調度情報において同調度情報ＤＢ６８４に登録されているか否かを判断する（Ｓ５１）。例えば、図１７の同調度情報ＤＢ６８４において、ユーザ集合「山田、鈴木」は、「アイデア４」の同調度情報だけでなく、「アイデア１」の同調度情報にも登録されている。このため、サーバ制御部６７０は、ステップＳ５１で「Ｙｅｓ」に進む。
【０１４３】
サーバ制御部６７０は、同じユーザ集合が同調度情報ＤＢ６８４に登録されていると判断した場合（Ｓ５１でＹｅｓ）、同調度情報ＤＢ６８４に登録された同調度情報に基づいて、当該ユーザ集合に関連付けされたキーワードのリストを生成する（Ｓ５２）。例えば、ユーザ集合「山田、鈴木」に関して、アイデア１の「テニス」とアイデア４の「野球」とがステップＳ５２においてリストアップされる。
【０１４４】
次に、サーバ制御部６７０は、予め格納された概念辞書ＤＢ６８２を参照して、生成したリストに含まれるキーワードの上位概念を取得する（Ｓ５３）。例えば、図１４の概念辞書ＤＢ６８２において、キーワード「テニス」に関連付けされた上位概念「スポーツ」、及びキーワード「野球」に関連付けされた上位概念「スポーツ」など、リスト中のキーワード毎にそれぞれの上位概念が取得される。
【０１４５】
次に、サーバ制御部６７０は、リスト中のキーワードにおいて、同じ上位概念を有するキーワードの組があるか否かを判断する（Ｓ５４）。例えば、「テニス」及び「野球」の共通の上位概念「スポーツ」に基づき、サーバ制御部６７０は、ステップＳ５４で「Ｙｅｓ」に進む。
【０１４６】
同じ上位概念のキーワードの組があると判断した場合（Ｓ５４でＹｅｓ）、サーバ制御部６７０は、リスト中のキーワードの組と同じ上位概念を有する別のキーワードが、概念辞書ＤＢ６８２中にあるか否かを判断する（Ｓ５５）。例えば、図１４の概念辞書ＤＢ６８２によると、上位概念「スポーツ」において「テニス」及び「野球」以外に「サッカー」及び「相撲」があることから、サーバ制御部６７０は、ステップＳ５５で「Ｙｅｓ」に進む。
【０１４７】
リスト中のキーワードの組と同じ上位概念を有する別のキーワードが概念辞書ＤＢ６８２中にあると判断した場合（Ｓ５５でＹｅｓ）、サーバ制御部６７０は、概念辞書ＤＢ６８２から別のキーワードを選出する（Ｓ５６）。上記の例では、上位概念「スポーツ」における別のキーワードとして、２つのキーワード「サッカー」，「相撲」が概念辞書ＤＢ６８２中にある。複数の別のキーワードが概念辞書ＤＢ６８２中にある場合、サーバ制御部６７０は、例えば登録順などにおいて、複数の別のキーワードの内の一つのキーワード（例えば「サッカー」）を選出する。
【０１４８】
サーバ制御部６７０は、ステップＳ５６の処理を行うことにより、本フローチャートによる処理を終了する。この場合、サーバ制御部６７０は、関連情報表示処理（図１３）のステップＳ２４で「Ｙｅｓ」に進むこととなる。
【０１４９】
一方、サーバ制御部６７０は、リスト中のキーワードの組と同じ上位概念の別のキーワードが概念辞書ＤＢ６８２中にないと判断した場合（Ｓ５５でＮｏ）、ステップＳ５６の処理を行うことなく、本処理を終了する。この場合、サーバ制御部６７０は、関連情報表示処理（図１３）のステップＳ２４で「Ｎｏ」に進むこととなる。
【０１５０】
また、同じユーザ集合が同調度情報ＤＢ６８４に登録されていないと判断した場合（Ｓ５１でＮｏ）にも同様に、サーバ制御部６７０はステップＳ５６の処理を行うことなく、本処理を終了する。さらに、リスト中に同じ上位概念を有するキーワードの組がないと判断した場合（Ｓ５４でＮｏ）も同様に、サーバ制御部６７０は本処理を終了する。
【０１５１】
以上の処理によると、ユーザ集合毎の同調度情報ＤＢの登録状況に応じて、同調したユーザ集合による過去及び現在の話題と共通の上位概念に属する関連キーワードが選出され（Ｓ５６）、これによって関連キーワードを示す提示情報（関連情報）が表示される（図１３のＳ２５）。これにより、ユーザ集合が過去に同調した話題に関連する関連キーワードを示す情報の提案を行うことができる。
【０１５２】
以上のステップＳ５４において、同じ上位概念を有するキーワードの組が複数ある場合には、サーバ制御部６７０は、それぞれの上位概念に関してステップＳ５５の判断を行う。この際、サーバ制御部６７０は、少なくとも一つの上位概念に関して同じ上位概念で別のキーワードが概念辞書ＤＢ６８２中にあると判断すると、ステップＳ５６に進む。
【０１５３】
以上の処理において、ステップＳ５３，Ｓ５４では、特定のユーザ集合に関して生成されたリストの各キーワードに関する上位概念が取得された。これに代えて、又は加えて、サーバ制御部６７０は、新たに同調度情報ＤＢ６８４に登録されたキーワードの上位概念と同じ上位概念のキーワードが、同じユーザ集合に関して過去に登録されたか否かを判断してもよい。
【０１５４】
３．効果等
以上のように、本実施形態に係る会議支援方法は、ローカルサーバ３１０が、複数のセンサ装置３００〜３０５が検知する、会議に参加する複数のユーザ２００〜２０２の各々の状態を取得することを含む。本方法は、ローカルサーバ３１０が、複数のユーザのうちの少なくとも二人を含むユーザ集合について、センサ装置３００〜３０５により検知されたユーザ集合に含まれるユーザの状態に基づいて、ユーザ集合に含まれるユーザ同士が同調する度合いを示す同調度を算出することを含む（９２０）。本方法は、ローカルサーバ３１０が、表示装置３１５に、同調度の算出結果に基づく提示情報を提供することを含む（９３０）。
【０１５５】
以上の情報処理方法によると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
【０１５６】
例えば、複数人が参加する種々の会議において、支持されたまたは支持されなかった話題、議題などの情報が共通する参加者のグループを発見することができる。そのため、このよう情報が、その場の参加者全員に支持されたのか、それとも一部の参加者に強く支持されたのかといった状況を判別することができる。例えば、商品モニタ会議において資料またはアイデアに共感した参加者のグループを抽出し、抽出されたグループに関する情報をその後の商品開発に活かすことにより、効果的な商品開発を助長することができる。
【０１５７】
本実施形態において、会議支援方法は、ローカルサーバ３１０が、ユーザ集合についての同調度の算出結果に基づいて、同調度とユーザ集合を関連付けた情報を蓄積することをさらに含む（９５０）。蓄積した情報を用いてローカルサーバ３１０から提供される提示情報により、会議中などに変動する各々のユーザ集合の同調度に応じた情報提示をすることができる。
【０１５８】
また、本実施形態において、会議支援方法は、ローカルサーバ３１０が、センサ装置３００〜３０５の検知結果に基づいて、少なくとも二人のユーザの状態が同調する同調現象を検出することを含む（９１０）。本方法では、同調現象の検出結果に基づいて同調度が算出される。
【０１５９】
なお、同調度の算出は、同調現象の検出時に実行されなくてもよく、例えば所定の周期で繰り返し行われてもよい。また、算出された同調度の値の大きさがしきい値を超えるか否かの判定処理等によって、同調現象の検出処理が行われてもよい。
【０１６０】
また、本実施形態において、ローカルサーバ３１０は、複数のユーザ集合の各々について同調度を算出し、同調度の算出結果に基づいて、当該複数のユーザ集合のうちの同調度が最大であるユーザ集合を特定する（Ｓ１７）。ローカルサーバ３１０は、表示装置３１５に、特定されたユーザ集合を示す情報を含む提示情報を提供し、表示装置３１５は当該提示情報を提示する（図１０）。
【０１６１】
これにより、例えば、他のグループ（ユーザ集合）よりも特定の情報を強く支持した（または支持しなかった）グループを発見することができる。それにより、例えば、商品モニタ会議の主催者が、追加質問あるいはアンケートをする対象の参加者群を効率よく見出すことができる。
【０１６２】
また、本実施形態において、同調度を算出することは、複数のユーザ２００〜２０２のうちの少なくとも二人のユーザを含む集合の全てに関してそれぞれ同調度を算出することである（Ｓ１３〜Ｓ１５）。
【０１６３】
これにより、同調し得ると想定されるユーザの組み合わせの全てについて、漏れなく同調度のモニタリングをすることができる。
【０１６４】
また、本実施形態において、提示情報は、算出された同調度および当該算出された同調度を有するユーザ集合を示す情報を含む。
【０１６５】
これにより、ユーザ集合毎に、同調している度合いを確認することができる。なお、提示情報は、時系列の情報であってもよく、所定の期間内において同調度が最大であるユーザ集合を示す情報あってもよい。
【０１６６】
また、本実施形態における会議支援方法は、ローカルサーバ３１０が、同調現象が検出された場合の会話の内容に関するキーワードを抽出すること（９４０）を含む。提示情報は、抽出されたキーワードに関連する関連情報（２２０１，２２０２）を含む。
【０１６７】
これにより、会議において同調するユーザ集合が興味を持ち得る関連情報を提示することができる。それにより、当該ユーザ集合の会話を盛り上げたり、発想支援をしたりすることができる。例えば、商品モニタ会議におけるモニタリングされる側の参加者のグループの話題に関連する情報が当該グループへ提供されることにより当該グループの会話を盛り上げ、その会話から商品モニタ会議の主催者は新たな着想を得る可能性を向上することができる。
【０１６８】
また、本実施形態において、表示装置３１５は、ローカルサーバ３１０から提供される提示情報を表示する。これにより、同調度の算出結果に基づく提示情報を視覚的に提示することができる。
【０１６９】
なお、表示装置３１５に代えて又は加えて、音声出力装置が提示情報を音声出力してもよい。例えば、会議の主催者などの特定のユーザのためのイヤホン、ヘッドホン等から提示情報が音声出力されてもよいし、会議の場において算出された同調度等に応じた効果音、或いは音声アナウンスが音声出力されてもよい。また、情報提示装置は、例えば同調現象が検出されたユーザ集合の座席に振動を生じさせるアクチュエータ等を含んでもよい。
【０１７０】
また、本実施形態に係る会議支援システムは、複数のセンサ装置３００〜３０５と、ローカルサーバ３１０と、表示装置３１５とを備える。ローカルサーバ３１０は、複数のユーザのうちの少なくとも二人を含むユーザ集合について、センサ装置３００〜３０５により検知されたユーザ集合に含まれるユーザの状態に基づいて、同調度を算出し、同調度の算出結果に基づく提示情報を提供する。表示装置３１５は、ローカルサーバ３１０から提供される提示情報を提示する。
【０１７１】
以上の情報処理システムによると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
【０１７２】
また、本実施形態に係るローカルサーバ３１０は、通信回路６５０と、サーバ制御部６７０とを備える。通信回路６５０は、センサ装置３００〜３０５から会議に参加する複数のユーザの各々の状態の検知結果を取得する。サーバ制御部６７０は、複数のユーザのうちの少なくとも二人を含むユーザ集合について、取得した検知結果におけるユーザ集合に含まれるユーザの状態に基づいて、同調度を算出し、同調度の算出結果に基づく提示情報を提供する。
【０１７３】
以上のローカルサーバ３１０によると、複数のユーザのうちの少なくとも二人の同調度に応じた情報提示をすることができる。
【０１７４】
（実施形態２）
実施形態２では、会議中の映像に対する付加情報として同調度情報を用いる例について説明する。以下、実施形態２に係る会議支援方法及び会議支援システムについて、図１９，２０，２１を参照して説明する。
【０１７５】
図１９は、実施形態２に係る会議支援システムの構成を示す図である。本実施形態に係る会議支援システムでは、複数のユーザが存在する空間を撮影した際に、撮影した動画に対するメタデータ（付加情報）として同調度情報を用いて、提示情報が生成される。本システムは、実施形態１に係る会議支援システム（図２）の構成に加えて、図１９に示すように、撮影装置３２０と、記録媒体３２５とを備える。
【０１７６】
撮影装置３２０は、例えば無線通信機能を有するカメラ装置で構成される。本実施形態において、撮影装置３２０は、複数のユーザが存在する空間を撮影する。複数のユーザが存在する空間は、当該複数のユーザが会話するための空間（以下、会話空間とも称する。）であり、例えば、会議室またはモニタ会場である。当該会話空間には、会議参加者としてのユーザ、机などに置かれている紙の資料、資料を投影するプロジェクタの投影先、資料が映されるディスプレイ、議論の内容が書かれたホワイトボード、モニタ対象商品などの物品、またはこれらの組合せが存在する。本実施形態では、会議の様子が会話空間として撮影される。また、撮影装置３２０は、撮影結果としての映像データを随時、無線通信を介してローカルサーバ３１０に送信する。なお、映像データは、静止画データであっても動画データであってもよい。
【０１７７】
記録媒体３２５は、例えばＨＤＤ，ＳＳＤなどで構成される。本実施形態において、記録媒体３２５には、撮影装置３２０の撮影により得られた動画が同調度情報に関連付けて記録される。記録媒体３２５は、ＣＤ，ＤＶＤなどの可搬性を有する記録媒体であってもよい。
【０１７８】
図２０は、本実施形態におけるローカルサーバ３１０の動作を示すフローチャートである。本フローチャートによる処理は、実施形態１に係る同調現象の検出処理（図８）及び同調度の算出処理（図９）と並列に実行される。
【０１７９】
まず、サーバ制御部６７０は、撮影装置３２０から映像データを取得し、取得した映像データに基づく動画を一時的にメモリ６４０に記録する（Ｓ６１）。この際、サーバ制御部６７０は、例えば、映像データを取得した時刻を示す時刻情報を動画と共に記録する。時刻情報は、実際の時刻で規定されてもよいし、映像データに基づく動画のフレーム数で規定されてもよい。
【０１８０】
次に、サーバ制御部６７０は、同調度の算出処理（図９）による算出結果に基づいて、映像データを取得した時点における最大同調度、及び最大同調度を有するユーザ集合を取得する（Ｓ６２）。
【０１８１】
次に、サーバ制御部６７０は、取得した各種情報に基づいて、同調度情報の登録処理を行う（Ｓ６３）。本処理は、例えば図１６のフローチャートと同様に行われる。本実施形態では、同調度情報の登録を動画の記録に同期させるための時刻情報を登録事項に含める。図２１に、本実施形態に係る同調度情報ＤＢ６８４Ａを例示する。
【０１８２】
図２１に例示するように、本実施形態に係る同調度情報ＤＢ６８４Ａは、図１７の例の同調度情報ＤＢ６８４Ａの各データ項目に加えて、時刻情報のデータ項目を含む。時刻情報は、動画と同期させるための時刻を示す。図２０のステップＳ６３において、サーバ制御部６７０は、「時刻情報」として、例えば映像データを取得した時刻を登録する。
【０１８３】
次に、サーバ制御部６７０は、例えば予め設定された会議の終了予定時刻に基づいて、会議が終了したか否かを判断する（Ｓ６４）。サーバ制御部６７０は、会議が終了していないと判断した場合（Ｓ６４でＮｏ）、ステップＳ６１以降の処理を繰り返す。ステップＳ６４の判断は、ユーザによる所定の指示、或いは撮影装置３２０からの映像データの受信停止に基づいて行われてもよい。
【０１８４】
サーバ制御部６７０は、会議が終了したと判断した場合（Ｓ６４でＹｅｓ）、同調度情報ＤＢ６８４Ａに登録した同調度情報と、一時的に記録した動画との関連付けを行う（Ｓ６５）。サーバ制御部６７０は、同調度情報ＤＢ６８４Ａにおける時刻情報に基づいて、同時刻の同調度情報と動画中の映像とを関連付けする。例えば、サーバ制御部６７０は、最大同調度が所定値を超えた同調度情報に限定して関連付けを行う。所定値は、例えば会議中の話題が顕著に盛り上がったと考えられる同調度を示す値に設定される。
【０１８５】
次に、サーバ制御部６７０は、関連付けした動画及び同調度情報を、記録媒体３２５に格納する（Ｓ６６）。例えば、サーバ制御部６７０は、同調度情報ＤＢ６８４Ａにおいて動画に関連付けされなかった同調度情報を削除して、関連付けした動画及び同調度情報をそれぞれ記録媒体３２５に書き込む。
【０１８６】
サーバ制御部は、ステップＳ６６における記録媒体３２５への格納を完了することにより、本フローチャートによる処理を終了する。
【０１８７】
以上の処理によると、会議中に同調したユーザ集合及び各ユーザ集合の同調度に関連付けされた状態において会議の様子が映る動画を得ることができる。記録媒体３２５に格納された動画は、例えば表示装置３１５等により、適宜、表示され得る。
【０１８８】
このような動画によると、動画に関連付けされたユーザ集合を識別子として特定のユーザ集合が同調した場面を収集したり、同調度に基づき会議が盛り上がった場面を収集したりすることができる。これにより、会議の様子の動画におけるダイジェストの編集を容易にしたり、会議の議事録の作成を支援したりすることができる。
【０１８９】
以上のように記録媒体３２５に格納された動画は、例えば表示装置３１５等により、適宜、表示されてもよい。メタデータとして関連付けされた同調度情報により、動画と一体的に提示される提示情報による情報支援を行うことができる。
【０１９０】
以上の処理において、ステップＳ６２で最大同調度を取得した際、サーバ制御部６７０は、取得した最大同調度が所定値以下の場合には、同調度情報の登録処理（Ｓ６３）を省略してもよい。また、並列に実行される同調度の算出処理（図９）において新たな同調度が算出されていない場合についても、ステップＳ６３の処理を省略してもよい。
【０１９１】
また、以上の処理において、動画に関連付けする同調度及びユーザ集合は、最大同調度及び最大同調度を有するユーザ集合に限らず、例えば所定値以上の同調度を有するユーザ集合及びそれぞれの同調度であってもよい。この際、サーバ制御部６７０は、ステップＳ６２で例えば所定値以上の同調度を有するユーザ集合及びそれぞれの同調度を取得する。
【０１９２】
また、以上の説明では、会議の様子の動画に同調度情報を関連付けして記録したが、これに限らず、例えば会議中のプレゼンテーションデータに同調度情報を関連付けして記録してもよい。例えば、撮影装置３２０によって会議中にプレゼンテーションデータが発表された様子を撮影し、撮影により得られた動画に基づいて、プレゼンテーションデータ中の各スライドが発表された時刻を取得し、時刻情報に基づいて同調度情報の関連付けを行う。スライド毎の時刻情報は、プレゼンテーションデータを再生するＰＣ等の情報機器とローカルサーバ３１０とのデータ通信によって取得されてもよい。
【０１９３】
以上のように、本実施形態に係る会議支援方法は、ローカルサーバ３１０が、撮影装置３２０による複数のユーザが存在する空間の撮影により得られる映像を取得することを含む。本方法は、ローカルサーバ３１０が、同調度の算出結果に基づいて、同調度に関する情報を撮影により得られた映像に関連付けて記録媒体３２５に記録することを含む。
【０１９４】
以上の情報処理方法によると、同調度と会議の様子とをリンクさせることができる。
【０１９５】
本実施形態において、同調度に関する情報は、算出された同調度および当該算出された同調度を有するユーザ集合の少なくとも一方を示す情報を含む。
【０１９６】
これにより、会議の様子の撮影中に算出された同調度および当該算出された同調度を有するユーザ集合の少なくとも一方を示す情報を会議の映像とともに提示することができる。
【０１９７】
また、本実施形態において、算出された同調度は、所定値以上の同調度である。
【０１９８】
これにより、会議の映像における所定値以上の同調度が算出された場面の同調度を提示し易くすることができる。
【０１９９】
（他の実施形態）
上記の各実施形態では、複数のセンサ装置３００〜３０５を用いたが、一つのセンサ装置を用いてユーザ各々の状態を検知してもよい。例えば、センサ装置としてアレイマイクを天井など、複数のユーザの発話音声が届く場所に設置してもよい。この際、アレイマイクの音声データに対する音声解析によって発話したユーザを識別してもよい。
【０２００】
また、センサ装置の一例としてマイク３００〜３０２及び体圧センサ３０３〜３０５を例示したが、センサ装置はこれに限らない。例えば、センサ装置は、カメラ、キネクト等の距離画像センサ、ウェアラブルな速度センサ或いは加速度センサ、血圧センサ、心拍センサなどを含んでもよい。また、ユーザの状態は、上述したような外見の状態だけでなく、血圧または心拍などの体内の状態を含んでもよい。
【０２０１】
また、上記の各実施形態では、三人のユーザ２００〜２０２による会議に会議支援方法及び会議支援システムを適用する例を説明したが、三人に限らず、例えば四人以上のユーザが参加する会議に適用されてもよい。
【０２０２】
また、上記の各実施形態では、参加するユーザ２００〜２０２がテーブル２０５の周りに物理的に集まる会議への適用例を説明した。本方法及び本システムが適用される会議は、参加者が物理的に集まる会議に限らず、例えばテレビ会議、電話会議、チャット会議などであってもよい。
【０２０３】
以上の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【０２０４】
また、本開示は、上記に示す各種方法を含む。本開示の一態様は、これらの方法をコンピュータにより実現するコンピュータプログラムであってもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。
【０２０５】
さらに、本開示の一態様は、上記コンピュータプログラム又は上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））、ＵＳＢメモリ、ＳＤカードなどのメモリカード、又は半導体メモリなどに記録したものであってもよい。また、本開示は、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。
【０２０６】
また、本開示の一態様は、上記コンピュータプログラム又は上記デジタル信号を、電気通信回線、無線或いは有線通信回線、インターネットを代表とするネットワーク、又はデータ放送等を経由して伝送するものとしてもよい。
【０２０７】
また、本開示の一態様は、マイクロプロセッサとメモリとを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作してもよい。
【０２０８】
また、上記プログラム或いは上記デジタル信号を上記記録媒体に記録して移送することにより、又は、上記プログラム或いは上記デジタル信号を、上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより上記装置を実施してもよい。
【０２０９】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【０２１０】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【０２１１】
また、上記運転支援方法に含まれる複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０２１２】
以上、一つまたは複数の態様に係る運転支援装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものまたは、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれ得る。
【産業上の利用可能性】
【０２１３】
本開示に係る情報処理方法、情報処理システム及び情報処理装置は、複数のユーザが集まる種々の状況における情報支援に適用可能である。
【符号の説明】
【０２１４】
２００，２０１，２０２    ユーザ
２０７    提示情報
３００，３０１，３０２    マイク
３０３，３０４，３０５    体圧センサ
３１０    ローカルサーバ
３２０    撮影装置
３２５    記録媒体
３１５    表示装置
６５０    通信回路
６７０    サーバ制御部
【図１】
2018045676.tif 000005
【図２】
2018045676.tif 000006
【図３】
2018045676.tif 000007
【図４】
2018045676.tif 000008
【図５】
2018045676.tif 000009
【図６】
2018045676.tif 000010
【図７】
2018045676.tif 000011
【図８】
2018045676.tif 000012
【図９】
2018045676.tif 000013
【図１０】
2018045676.tif 000014
【図１１】
2018045676.tif 000015
【図１２】
2018045676.tif 000016
【図１３】
2018045676.tif 000017
【図１４】
2018045676.tif 000018
【図１５】
2018045676.tif 000019
【図１６】
2018045676.tif 000020
【図１７】
2018045676.tif 000021
【図１８】
2018045676.tif 000022
【図１９】
2018045676.tif 000023
【図２０】
2018045676.tif 000024
【図２１】
2018045676.tif 000025