(57)【特許請求の範囲】
【請求項１】
複数の参加者によるコミュニケーションのための支援システムであって、
音声データ及び画像データの少なくとも何れかによってコミュニケーション空間の状況を把握する少なくとも１つの状況データ取得手段と、
前記状況データ取得手段により得られた感知データを用いて前記コミュニケーション空間内の任意の出力媒体を制御するサーバと、を備え、
前記サーバが、所定の時間間隔毎に、
前記感知データを数値化又は符号化して前記コミュニケーション空間の状況を時刻ｔの状態変数として生成し、
時刻ｔの前記コミュニケーション空間の状況におけるコミュニケーションを支援するため、前記状態変数に関する複数のコミュニケーション支援項目の中から各支援項目の期待値に基づき少なくとも一つの支援項目を選択し、
コミュニケーションの文脈に応じて前記出力媒体を選択し、当該選択した出力媒体に対して前記選択された支援項目を実行する指令を出力し、
選択された支援項目を実行する指令を前記出力媒体に出力した後、前記状況データ取得手段により取得された感知データに基づき生成した時刻ｔ＋１の状態変数に関するコミュニケーション支援項目の期待値を用いて、時刻ｔのときに選択された前記支援項目の期待値を更新することを繰り返す、
ように構成されている支援システム。
【請求項２】
前記支援項目の期待値の更新は強化学習アルゴリズムに基づく、請求項１に記載の支援システム。
【請求項３】
前記状態変数は、前記少なくとも１つの状況データ取得手段により得られる各感知データに対応した各指標の組又は各指標より算出される数値である、請求項１又は２に記載の支援システム。
【請求項４】
前記複数の指標は、コミュニケーション内容が複数の観点を含んでいるかを示す多様度、各参加者のコミュニケーション関与程度を示す均一度、コミュニケーションが複数の参加者間で交互に行われているかを示す活性度、他の参加者の発話又は態度に対する同意度、コミュニケーションが異なるカテゴリーのワードを用いて行われているかを示す発想度、の少なくとも１つを含む、請求項１〜３の何れか１項に記載の支援システム。
【請求項５】
前記出力媒体は、前記コミュニケーション空間内の１以上の壁面及びテーブルを含む共有物、並びに各参加者の携帯端末及び眼鏡型表示装置を含むパーソナル情報端末の少なくとも１つを含む、請求項１〜４の何れか１項に記載の支援システム。
【請求項６】
前記コミュニケーション空間内の１以上の壁面及びテーブルを含む共有物は、前記壁面及びテーブルの面上に情報が出力されたことに応答して行動した参加者からのタッチ操作を前記サーバに伝達するインタフェースとして機能する、請求項１〜５の何れか１項に記載の支援システム。
【請求項７】
前記複数のコミュニケーション支援項目は、前記参加者の中の特定の参加者のみ、又は前記コミュニケーション空間の一部或いは全体に向けて、音、光、風、温度、湿度、匂い、振動の少なくとも何れかに関する出力量及び種類を変化させることを含む、請求項、請求項１〜６の何れか１項に記載の支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コミュニケーションの場においてあたかも人工知能が参加者メンバーとなり、様々な情報を提供したりコミュニケーション空間を変化させる指示を出したりすることによってコミュニケーションのアウトプットを高める技術に関し、特に、コミュニケーション中の状況を音声及び画像等の解析により複数の指標で符号化又は数値化し、人工知能の学習プロセスに反映させながら提供情報の精度を向上させる技術である。
【背景技術】
【０００２】
複数の参加者が集まってコミュニケーションを形成する手段の一例として、ビジネス上では会議を開催することが最も代表的であり、日々一般的に行われている。しかし、会議の終了時刻が決まっているにもかかわらず、意図した結論が会議終了までに得られていないことも日常茶飯事で生じている。これは、会議の内容の複雑さにもよるが、複数の参加者間による話し合いが時に発散したり又は収束したり、或いは沈黙状態となってしまうことが影響しているためである。
【０００３】
また、参加者全員が会議内容について同じレベルの知識を有していなかったり、途中から会議に加わったりする参加者もいる。参加者が会議の背景や議論の目的及びこれまでに決定した事項を十分に把握していないまま発言が交わされると、議論の方向性にそぐわない内容になることや、議論が蒸し返されることがある。そのため、当初期待していた結論をスケジュール通りに得ることができなくなってしまうので、会議前や会議中において参加者が同様の知識を共有するための情報提供が必要である。
【０００４】
そこで、複数の参加者による議論中の発想を支援し、議論の場を活性化させる発想支援システムが提案されている（例えば、下記特許文献１）。この発想支援システムでは、会議中に出現したキーワードや発想を支援するワードを参加者に提示する。また、どのような状況で、会議状態の変化が認識され又は状態変更アクションが実行されたかを学習するシステムもある（例えば、下記特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５１２３５９１号公報
【特許文献２】特開２０１４−８５９１６号公報
【０００６】
上述したような会議中の参加者の発想を支援するための装置やシステムは、実際の会議で使用するとなると不十分な点が様々あることが知られている。
例えば、特許文献１の場合、会議中に発言された発話の音声解析が行われ、近接して出現する単語の出現割合を関連度として算出することによって、関連性のある単語集合（文脈形成単語集合）を形成し、キーワードや発想支援ワードを抽出する。これらキーワードや発想支援ワードを視覚的に認識する会議参加者は、会議内容を理解し共有することができるとともに、参加者だけでは得られない発想を広げられ、会議空間の場を活性化させることができるとされている。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、会議参加者が発想支援システムから提供された発想支援ワードによって本当に発想が広がったのか、会議が意図した成果を上げて成功したといえるのかについて検証されているわけではない。引用文献１のような既知の発想支援システムは、システム側が解析して有益であろうと判断した情報を参加者に一方的に提供し、会議空間を活性化させる効果があるだろうと謳っているに過ぎない。発想支援システムの利用が真に有益なものであるかを見極めるためは、提供された情報を受けた参加者がその後の会議でどのような発言や態度に変化したかを定量化して評価することが重要であり、参加者の実際の変化を発想支援システムによる情報の決定処理にタイムリーに反映させる必要がある。
【０００８】
引用文献２に記載のシステムは、会議の状態（例えば、活発な状態、煮詰まった状態など）、及び会議状態の好転を促すための指示（例えば、休憩を促すメッセージ表示、頻出キーワードのインターネット検索結果表示など）を参加者から受付け、どのような状況において会議状態が変化してほしいかを参加者が要求し、実際のアクションとの関連性を学習ルールとして蓄積することによって、或る会議状態が特定されたときにその学習ルールに基づき適切な情報提示を行うことが可能であることを記載している。
【０００９】
しかしながら、引用文献２のシステムの場合、会議の状態は参加者が把握してシステムに入力するものであり、したがってその入力が必ずしも実際の会議状態をあらわしているとは限らない。例えば、参加者は発言が途切れなく継続するので会議が活発な状態であると認識してこれをシステムに入力したとしても、現実は堂々巡りの議論であって煮詰まった状態であるかもしれず、真の会議状態を反映した入力になっていないことがある。また、参加者が会議状態を常にタイムリーにシステムへ入力するとは限らないし、その入力を意識しているとなると気が散って会議に集中できなくなくなる恐れもある。さらに、システムが学習ルールとして蓄積する情報は、例えば、煮詰まった状態のとき、単に休憩を促すメッセージを表示する、出現頻度の高い単語を表示するといった単純な内容であり、期待される会議結果へ導くのに有益な情報提供とは乖離している。
【００１０】
そこで、本発明は、上記課題を解決するべく、会議などのコミュニケーション状況を支援するための情報の呈示やコミュニケーション環境を変化させるための指示の選択を、事前にルールを構築することなく的確に行えるコミュニケーション支援システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
前記目的を達成するために本発明に係る複数の参加者によるコミュニケーション支援システムは、音声データ及び画像データの少なくとも何れかによってコミュニケーション空間の状況を把握する少なくとも１つの状況データ取得手段と、前記状況データ取得手段により得られた感知データを用いて前記コミュニケーション空間内の任意の出力媒体を制御するサーバと、を備え、前記サーバが、所定の時間間隔毎に、前記感知データを数値化又は符号化して前記コミュニケーション空間の状況を時刻ｔの状態変数として生成し、時刻ｔの前記コミュニケーション空間の状況におけるコミュニケーションを支援するため、前記状態変数に関する複数のコミュニケーション支援項目の中から各支援項目の期待値に基づき少なくとも一つの支援項目を選択し、選択された支援項目を実行する指令を前記出力媒体に出力した後、前記状況データ取得手段により取得された感知データに基づき生成した時刻ｔ＋１の状態変数に関するコミュニケーション支援項目の期待値を用いて、時刻ｔのときに選択された前記支援項目の期待値を更新することを繰り返す、ように構成されていることを特徴とする。
【００１２】
また、本発明に係る複数の参加者によるコミュニケーション支援システムは前記支援項目の期待値の更新は強化学習アルゴリズムに基づくこと、前記状態変数は前記少なくとも１つの状況データ取得手段により得られる各感知データに対応した各指標の組又は各指標より算出される数値であることを特徴とする。
【００１３】
さらに、本発明に係る複数の参加者によるコミュニケーション支援システムにおける前記複数の指標は、コミュニケーション内容が複数の観点を含んでいるかを示す多様度、各参加者のコミュニケーション関与程度を示す均一度、コミュニケーションが複数の参加者間で交互に行われているかを示す活性度、他の参加者の発話又は態度に対する同意度、コミュニケーションが異なるカテゴリーのワードを用いて行われているかを示す発想度、の少なくとも１つを含むこと、前記サーバは、コミュニケーションの文脈に応じて前記出力媒体を選択し、当該選択した出力媒体に対して前記選択された支援項目を実行する指令を出力すること、前記出力媒体は、前記コミュニケーション空間内の１以上の壁面及びテーブルを含む共有物、並びに各参加者の携帯端末及び眼鏡型表示装置を含むパーソナル情報端末の少なくとも１つを含むことを特徴とする。
【００１４】
さらに、前記目的を達成するために本発明に係るテーブルは、複数の参加者によるコミュニケーション支援のために使用されるテーブルであって、少なくとも１つの状況データ取得手段を用いて取得された音声又は画像に関する感知データが送信されたサーバが、所定の時間間隔毎に、前記感知データを数値化又は符号化して前記コミュニケーション空間の状況を時刻ｔの状態変数として生成し、時刻ｔの前記コミュニケーション空間の状況におけるコミュニケーションを支援するため、前記状態変数に関する複数のコミュニケーション支援項目の中から各支援項目の期待値に基づき少なくとも一つの支援項目を選択し、選択された支援項目の実行後、前記状況データ取得手段により取得された感知データに基づき生成した時刻ｔ＋１の状態変数に関するコミュニケーション支援項目の期待値を用いて、時刻ｔのときに選択された前記支援項目の期待値を更新する、ことの繰り返しにおいて、前記選択された支援項目に応じて前記サーバが抽出した情報を表示することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、所定の時間間隔毎に、会議などのコミュニケーション場に参加した者の実際の発話及び態度を解析し、コミュニケーション空間の状況が所定の指標により符号化或いは数値としてあらわされるため、その場の状況変化を時系列で定量化することが可能である。また、システムが選択したコミュニケーション支援項目が出された後の参加者の実際のリアクションが再び指標の値として反映され、反映後の指標に基づく報酬が直前のコミュニケーション支援指示へフィードバックしてコミュニケーション支援項目の選択確率を更新させるため、システムがコミュニケーション空間の状況に応じた適切なコミュニケーション支援を選択したかを評価した上での学習が自動的に実行されていることと等価である。このため、学習ルールをあらかじめシステムに実装することなく、システムによるコミュニケーション支援指示の選択精度を向上させることができる。
【００１６】
特に、本発明における情報提供などのコミュニケーション支援項目の選択は、強化学習モデルに基づく演算により決定するように構成されており、選択の回数を重ねるごとにコミュニケーション支援項目の選択の適切さを漸化式の演算を通じて更新するため、その後の選択の方略を参加者からの指示を必要とすることなくシステム自らが学習しながら決定していくことができる。すなわち、本願発明における選択は事前にシステムに組み込んだルールに従う学習手法（いわゆる教師付き学習）に基づいていないため、あらかじめ学習ルールを構築しなければ情報提供などのコミュニケーション支援項目の選択ができないモデル手法と比較し、学習ルール構築のために要する多大な工数を省略することができる。
【００１７】
さらにまた、選択されたコミュニケーション支援項目の出力先は、複数の出力媒体の中から、コミュニケーション空間の状況や提供する情報の内容、或いは参加者の属性に応じて適切なものが特定されるように構成されているため、複数の参加者で共有されるべき情報、各参加者にとって必要な情報という区別がされることとなる。コミュニケーションの進行を妨げることなく、各参加者に真に有用な情報やコミュニケーション空間を変化させる指令が参加者毎に適切な出力媒体に提供され、これを認識する各参加者は、コミュニケーションの活性化のために利用することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一本実施形態による会議支援システムの空間環境を示す概略図である。
【図２】本発明の一本実施形態による会議支援システムが実行する処理の全体手順を示すフローチャートである。
【図３】主なプロセスの流れを示したプロセス遷移図である。
【図４】会議状況データを取得する処理の手順例を示すフローチャートである。
【図５】会議状況の判定処理に関する詳細フローチャートである。
【図６】報酬量の決定処理に関する詳細フローチャートフローチャートである。
【図７】レコメンドの決定処理に関する詳細フローチャートである。
【図８Ａ】状態変数の組（tuple）に対する各行動の価値（利得期待値）の例を示す図である。
【図８Ｂ】状態変数の組（tuple）に対する各行動の価値（利得期待値）の例を示す図である。
【図８Ｃ】状態変数の組（tuple）に対する各行動の価値（利得期待値）の例を示す図である。
【図８Ｄ】状態変数の組（tuple）に対する各行動の価値（利得期待値）の例を示す図である。
【図９】ワードの特異性に基づき個人レコメンドを行う場合の一例を示すフローチャートである。
【図１０】レコメンドの呈示処理に関する詳細フローチャートである。
【発明を実施するための形態】
【００１９】
以下に図面を参照しながら、本発明に係るコミュニケーション支援システムの一実施形態について説明する。本発明のコミュニケーション支援システムを企業等での会議室内で適用した会議支援システムが本実施形態である。まず、会議支援システムで使用される機器について説明する。
【００２０】
図１に示すように、会議室内にはテーブル１３があり、参加者が互いに向き合って椅子５に座っている状態とする。また、各参加者にはそれぞれ携帯端末２が割当てられており、無線又は有線のネットワーク（図示せず）を介してサーバ１と接続されている。携帯端末２は、参加者からの操作入力に従って、ネットワークを介してサーバ１に対して各種指示を送信することができる。そして、サーバ１は、会議室という空間から得られる音声や画像の情報を基に参加者にとって有益な情報、すなわち議論を活性化させるための情報や会議室の環境を変化させる指令を抽出又は出力する。その具体的な処理の詳細は、後述する。
なお、携帯端末２は、特に限定されるものではないが、デスクトップ型やラップトップ型のパーソナル・コンピュータ、ワークステーションなどの汎用コンピュータ装置、タブレット端末、スマートフォン端末、ＰＤＡ（Personal Digital Assistant）端末などを用いることができる。各参加者は携帯端末２の画面に表示される情報を確認することができる。
【００２１】
各参加者は、携帯端末２に組み込まれた又は携帯端末に接続する１以上のマイクロフォン４を使用する。マイクロフォン４によって、各参加者が発話した音声が収集され、そしてサーバ１に送信される。本実施の形態では誰が音声を発したのかを特定することが容易にするため、参加者毎に割当てたマイクロフォン４を使用する。
【００２２】
また、各参加者は、ウェアラブル端末に属する情報表示機能付きメガネ６を着用していてもよい。情報表示機能付きメガネ６は、サーバ１との通信のために、各参加者が使用する携帯端末２を特定するクライアント識別子に対応したメガネ識別子を有している。サーバ１は、必要に応じて、特定の参加者が着用する情報表示機能付きメガネ６に情報を送信することで、その参加者は自分の携帯端末２を操作したり閲覧しながら、同時に情報表示機能付きメガネ６に表示される情報も認識することができる。なお、メガネの代わる他のウェアラブル端末としては、スマートウォッチ、リストバンド、指輪等があり、追加的にこれらを使用することも含む。さらに、会議室内にサーバ１と通信可能に接続された任意のプロジェクター７等を設置してもよく、例えば、参加者全員が一斉に視認するための共通の入力／出力画面として利用することができる。
【００２３】
会議室内の任意の場所（例えば、天井など）に参加者の表情や動作を撮像するためのカメラ８が設置されている。カメラ８で撮像された画像から、座っているときの姿勢（例えば、前傾/後傾、肘をつく、足を組む等）、うなずき動作を検出したり、顔の表情の解析によって喜怒哀楽の感情を推測する。これら検出及び推測の手法は、あらゆる画像解析技術を用いることができる。なお、各参加者に割当てられた携帯端末が備えるカメラ機能によって参加者毎にそれぞれのカメラ３で撮像するようにしてもよい。
【００２４】
会議支援システムの全体制御を司るのが各機器とネットワーク接続したサーバ１である。サーバ１は各参加者が認識できる様々な出力媒体へ情報を送信する。出力媒体の例として、一般的には、各参加者に割当てられた携帯端末２の画面や、会議室内で参加者が共有して視認するディスプレイ装置又はプロジェクター７がある。本発明の会議支援システムは、このような既存の情報出力態様のみならず、会議室内のテーブル１３や壁面９,１０をディスプレイとして使用するように構成されている。しかも、詳細は後述するが、テーブル１３や壁面９,１０に表示する情報の意味づけがそれぞれに付与されており、例えば、参加者は“テーブル１３”に表示される情報を見て議論で重要なキーワードやフレーズ等を確認したり、“壁面９”に表示される情報を見て発想を広げることに役立てる。なお、表示される情報はテキストに限定されていない。例えば、音声付き又は音声無しの静止画像や動画像であってもよい。
【００２５】
図２は、会議支援システムで実行される処理全体の概略を示したフローチャートである。また、各処理をプロセス遷移図として示したのが図３である。
会議の開始後、会議室の状況は、上述したマイクロフォン４やカメラ３,８などの複数の状況データ取得手段（すなわち、センサ）で把握される（図２のステップS201）。これは、図３のプロセス遷移図で言えば、「感知プロセス３１」に対応する。
【００２６】
「感知プロセス３１」の後、「コミュニケーション状態の知覚プロセス３２」に遷移する。マイクロフォン４やカメラ３,８から得られる音声データ及び画像データを解析して、いま会議がどのような状況となっているのかを数値で表すことで可視化するためである（図２のステップS202）。会議室という空間において、各種センサを通じてコミュニケーション状態をあらわす感知データが取得されているので、コミュニケーション空間の特徴量の抽出が図れる。なお、実際の会議の状況をあらわす特徴量として、例えば、会議参加者が活発に議論していて活性度が高いというような単一の指標だけでは不十分である。そこで、会議状況を複数の指標によって判断する。この特徴量をあらわす複数の指標の内容、及び複数の指標を用いたコミュニケーション状態の特定については後述する。
【００２７】
会議開始後の最初の処理では、図２におけるステップS203の報酬処理をスキップする（報酬処理がNoの場合に相当）。この報酬は、サーバ１がキーワード呈示などコミュニケーション状態に変化を生じさせた行動結果に対して与えられる報酬であり、最初の処理においてまだサーバ１の行動前のためである。そして、「コミュニケーション状態の知覚プロセス３２」から「行動の選択プロセス３４」へ遷移する。「行動の選択プロセス３４」の実行時には、「利得期待値の学習プロセス３５」で算出される行動ａの価値（利得期待値）Ｑをパラメータとして使用する。また、「利得期待値の学習プロセス３５」は、報酬量が得られていれば報酬量も用いて価値Ｑを算出する。なお、特許請求の範囲に記載する「コミュニケーション支援項目」が行動に相当する。
【００２８】
「行動の選択プロセス３４」は、図２のステップS205に示すレコメンドの決定処理に対応する。「行動の選択プロセス３４」とは、サーバ１がどのような行動を採択するのが適しているかを所定の学習アルゴリズムに基づき決定することであり、複数の指標によりあらわされた最新の会議状況を変化させるトリガーになり得る行動を複数の選択肢の中から選択することである。具体的には、その会議状況に応じて発散されるようにしたり、逆に収束させるようにするのに有益な情報をレコメンド（推奨）情報として抽出したり、会議室の環境を変化させための指令を出力するので、レコメンドの決定処理となる。
【００２９】
サーバ１による行動の選択、即ちレコメンドの決定は、人工知能の分野で知られる強化学習アルゴリズムに基づいている。本実施の形態における学習とは、現在の会議状況（状態ｓ）に対してサーバ１が選択しようとする際の各行動ａの価値、選択した行動ａの実行後の会議状況に関する各行動の価値、会議状況の変化に対する報酬などを基に各行動ａの価値を更新し、これによりサーバ１により選択されて参加者に呈示する行動の適合性を高めることである。なお、レコメンド情報は、参加者毎に向けられるものと、参加者全員に向けられているものに大別される。
【００３０】
さらに、サーバ１は、決定したレコメンド情報を呈示するのに適する出力媒体を選択し、そこへ適宜表示等するための指示を出力する（図２のステップS206）。会議室という空間内に情報を出力する媒体は、例えばディスプレイ画面という通常のハードウェア機器もあれば、会議室に存在する壁、床、天井、家具などもディスプレイ画面と同様の出力媒体となり得る。
【００３１】
会議の終了指示が入力されない間は、上述した処理が繰り返される。すなわち、ステップS201へ戻り、マイクロフォン４やカメラ３,８からの音声データ及び画像データを取得する。また、繰り返し処理の実行中の場合（すなわち、既にレコメンド情報が呈示されている場合）、ステップS204の報酬処理を実行する。この報酬は、サーバ１が有益な情報として特定のレコメンド情報を選択したという行動に対してコミュニケーション状態が改善された結果になればプラスの報酬を、逆にコミュニケーション状態に変化が見られない或いはむしろ悪い状態になればマイナスの報酬をサーバに返すことを意味する。したがって、会議開始間もないときにサーバが提供するレコメンドは報酬が十分に反映されていないことから必ずしも有益にならない可能性があるが、サーバ１による選択の結果が報酬という形で次に選択されるべき行動の決定に影響するという反復学習を通じて、時間の経過に伴い高い精度の（即ち、より適切と判断される）行動選択を生み出すことになる。
【００３２】
その後、会議参加者（例えば、司会進行の担当者）から会議終了の指示が入力され、サーバ１が当該指示を受け取ると、会議中での発話内容や呈示されたレコメンド情報等を、関係するクライアント識別子及び情報の出力媒体と関連づけながら把握できる形式で保存される（ステップS209）。議論された決定事項も併せて保存されるようにしてもよいことは言うまでもない。
【００３３】
また、会議終了後、サーバ１が選択した行動ａに対して会議参加者からの評価を受け入れ、ステップS205におけるレコメンド決定処理において追加的な報酬として用いてもよい。開催された会議においてサーバ１によりレコメンドされた情報やコミュニケーション空間である会議室の環境を変化させるための行動指令が有益であったか等の質問が任意の出力媒体に呈示され、参加者がタッチ操作等で回答を入力する（ステップS208）。
なお、本実施の形態の場合、会議が終了した後でステップS208を実行するが、ステップS206のレコメンドの呈示の直後に実行してもよい。この場合、サーバ１によるレコメンドがある度に参加者からの評価がフィードバックされることになり、サーバ１による強化学習の収束速度が上がる。参加者からの評価をサーバ１の強化学習処理に組み入れることは、適切な行動選択までに要する時間を一層短縮させることに貢献する。
【００３４】
以降は、図２に示した本発明の概略フローのそれぞれについて詳細に説明していく。
図４は、図２のステップに示す会議状況データ取得の処理に関する詳細フローチャートである。実際にマイクロフォン４やカメラ３,８でセンシングを開始する事前準備として、会議参加者（例えば、進行係の担当者）はどの会議の状況データであるかを識別するための会議ＩＤの入力をする（ステップS401）。各参加者が各々使用する携帯端末２、マイクロフォン４、情報表示機能付きメガネ６等は、各参加者のクライアント識別子と対応づけておく（ステップS402）。さらに、サーバ１は様々な出力媒体にレコメンド情報を呈示するが、会議参加者にしてみれば、どのような情報がどの出力媒体に呈示されるかをあらかじめ認識しておかないと混乱してしまう。そこで、出力媒体と呈示される出力内容の関連付けは、会議参加者に告知するとともに、サーバ１側にもあらかじめ設定しておく（ステップS403,S404）。
【００３５】
会議が開始すると、所定の時間間隔毎に会議室内のマイクロフォン４やカメラ３,８が取得するデータが無線又は有線のネットワークを介してサーバ１に送信される（ステップS406）。サーバ１は、送信されたデータをメモリに感知データとして記録する（ステップS407）。なお、所定の時間間隔毎の記録を実行するとしたが、実際にはマイクロフォン４やカメラ３,８によるデータの取得は連続して行い、所定の時間間隔中（時刻ｔ-１〜時刻ｔ]に取得されるデータが、時刻ｔのタイミングでの感知データとして記録されることになるようにしてよい。
【００３６】
本実施の形態では参加者毎にマイクロフォン４が割当てられているので音声入力デバイス識別子、またはマイクロフォン４と接続する携帯端末２のクライアント識別子により発話者を識別し、発言内容を発話者に関連づけて記憶する。なお、他の実施形態では、参加者がこれから発言する旨を、参加者が操作する携帯端末２を介してサーバ１に通知したり、または、参加者の一部（例えば、司会進行役の担当者）が、今誰が発話しているかをサーバ１に信号として送信するための入力を行うようにしてもよい。更に別の実施形態では、単一のマイク（例えば、テーブル上に配置した卓上マイク）で複数人の音声を収集するようにしてもよい。この場合、音声の主がどの参加者であるかを特定する手法は、混在する音声の中から発話者を識別する任意の話者認識技術（例えば、声質や声紋認識を含む）を利用し、発話者を識別する。
【００３７】
図５は、図２のステップS202に示す会議状況の判定処理に関する詳細フローチャートである。
まず、マイクロフォン４により取得した音声データがある場合、サーバ１は、会議室に実際に居る参加者の識別、どの参加者が何を話しているのか、注目されている話題（トピック）は何か等を把握するため、音声データを解析する。具体的には、(時刻ｔ-１〜時刻ｔ]における、「発言量」及び「発話間隔」の算出をする（ステップS501）。「発言量」は、各参加者の発話開始時刻から発話終了時刻までの総時間を基にしてもよいし、後述する形態素解析により抽出される単語を構成する文字数であってもよい。「発言量」は、各参加者が会議に参加している積極性を示すのに最も分かりやすい指標の一つであり、「発話間隔」は、沈黙状況を知る上で有用な指標である。
【００３８】
また、音声データを解析によって、参加者Ａの発言から参加者Ｂの発言に切替わったことを識別することができる。これは会議中で複数の参加者が会話のキャチボールをしていた事実を示しており、turn taking（ターンテイキング）量ともいう。turn taking量が多い程、多くの話し手により会議が形成されていることを表すので、「活性度」という指標が高いことになる。さらに、(時刻ｔ-１〜時刻ｔ]における、参加者１人あたりの平均発話時間を用いて「活性度」を算出することもできる。また、各参加者の発言量の総和に対する、参加者Ａの発言量の割合を計算した値は、参加者全員がほぼ満遍なく発言しているのか否かを示す「均一度」という指標になる。均一度の値が低ければ、特定の参加者が一方的に発言している可能性を示すことになる。また、(時刻ｔ-１〜時刻ｔ]における、参加者１人あたりの異なる分野又はカテゴリーから登場した単語頻度に基づく、「発想度」という指標がある。異なる分野又はカテゴリーから多くの単語が数多く発言される状況というのは、「発想度」が高いことになる。
【００３９】
さらなる指標として「多様度」がある。これは、端的に言えば、会議において同じ単語が多く使用されていたか、別の単語も多く使用されていたかという、単語の種類数からみた指標である。音声認識技術により、発言内容をテキストに変換した後に形態素解析を行って複数の単語として抽出し（ステップS503,S504）、助詞や感嘆句などの議論内容を把握する上で重要度の低い単語や文節を削除することにより、キーワードとなる単語を抽出することが可能である。その結果、同一な単語が多く使用されていた会議の場合、議論の内容は「多様度」に欠けることを示していることになる。また、厳密な同一性で判断するだけでなく、同義語分類やクラスター分類を行った結果、各キーワード同士が類似とみなされるまで広げた上で「多様度」を決定してもよい。なお、ステップS503における形態素解析等による手法は既存の技術の範疇であるため、本明細書では省略することとするが、当業者であれば十分に理解されるものである。
【００４０】
また、「インタラクション度」という指標もある。テーブルや壁に呈示された情報へ会議参加者がタッチ操作するとタッチという事実を認識し、(時刻ｔ-１〜時刻ｔ]におけるタッチ回数を「インタラクション度」としてあらわす。
【００４１】
上記の各指標は、いずれも数値化或いは符号化するようにし、例えば数値化の単純な例としてはそれぞれの指標が５段階レベル（１〜５）であらわす。このように、複数の指標で会議の状況を数値化或いは符号化することにより、どの参加者が何を話しているのか、各参加者が発言という形でどの程度積極的に会議に参加しているのか、注目されている話題（トピック）は何か等を定量的に把握することが可能である（ステップS506）。
【００４２】
なお、発言内容から話題を推定する手法は、これに限定するものではないが、例えば、ＬＤＡ(Latent Dirichlet Allocation)を使用すればよい、ＬＤＡ手法とは、単語は独立に存在しておらず潜在的なトピックスを有し、そして同じトピックスを持つ単語は同じ文章にあらわれやすいという仮定の下、文章中の単語のトピックを確率的に求める言語モデルである。各単語が隠れトピックから生成されていると想定しているので、発言内容を解析した単語集合の中から注目されている話題（トピック）を推定できる。ＬＤＡなどの話題推定手法を用いることにより、例えば、果物のアップルと、コンピュータ関連のアップル（Ｒ）を区別することができると言われている。
【００４３】
次に、カメラにより取得した画像データがある場合、その画像データから人物の顔及び姿を認識する（ステップS507）。例えば、うなずき動作をしたり、前傾姿勢の参加者を検出すれば、他の参加者の発言に対して賛同を、これに対し首をひねった動作や顔を左右に振るジェスチャをしたり、後傾姿勢の参加者を検出すれば、否定を表明していると推測されるので、「同意度」という指標になる。その他の動作や顔の表情からも賛同や否定を検出することが可能である。このように、本実施形態は、画像データの解析によって、音声データから賛成や反対などといった直接的な単語を抽出する他に、画像データによっても、「同意度」という指標を算出するようにすることを含む。
【００４４】
上述した音声データ及び画像データの解析によって算出された複数の指標を用いて、会議の状態を設定することができる（ステップS508）。例えば、(時刻ｔ-１〜時刻ｔ]における「発言量」、「活性度」、「均一度」、「多様度」の指標値が大きい場合、(時刻ｔ-１〜時刻ｔ]での会議状態は活発であり、発散モードに傾向している可能性が高いと判断し、逆の場合は収束モードに傾向している可能性が高いと判断する。また、「発話間隔」の指標値が大きく、多くの参加者の「発話間隔」が大きければ、会議状態は沈黙していることになるので、行き詰った或いは煮詰まったとみなせる可能性が高いことになり、これは収束モードの一形態といえることになろう。このように、議論の内容が収束しているのか、発散しているのかを自動で推定することができ、これにより開催する会議の目的を、収束モードであれば発散させることを目標にすること、発散モードであれば収束させることを目標にすることというように自動設定できる。ただし、必ずしも複数の指標が正確に発散モード又は収束モードに対応していないこともあり得るため、参加者が会議のモード状態を補助的に手動で設定してもよく、後述する実施形態においては手動で会議の目的を設定する例を示している。なお、自動推定と手動設定の組合せで総合的にモード状態を判定するようにしてもよい。
【００４５】
図６は、図２のステップS204に示す報酬量の決定処理に関する詳細フローチャートである。
実際の会議の状況をあらわす特徴量となる「発言量」、「活性度」、「均一度」、「多様度」などの値を受け取ると（ステップS601）、次に、報酬量の決定をする（ステップS602）。すなわち、特徴量の変化を使って、サーバが直近に選択した行動に対する報酬を算定する。現在の時刻をｔとすると、直近の時間間隔 (t-1, t] 並びにその前の時間間隔 (t-2, t-1] に取得した活性度や発想量などの特徴量を用いる。
報酬の算定アルゴリズムの一例として下記に示す。
報酬 := 0;
if ((t-1, t]の発話量 - (t-2, t-1]の発話量) > 0 then 報酬に1を加える;
if ((t-1, t]の発想量 - (t-2, t-1]の発想量) > 0 then 報酬に1を加える;
if ((t-1, t]のturn taking量 - (t-2, t-1]のturn taking量) > 0  then 報酬に1を加える;
if ((t-1, t]のインタラクション量 - (t-2, t-1]のインタラクション量) > 0  then 報酬に1を加える;
などである。上述した例は、加算報酬のみを示したが、発話量等が減少したときは報酬に-1を加えて減算報酬にする。
【００４６】
報酬についてあらためて説明する。
報酬とは、例えば、会議支援システムが会議室内の参加者にどのような情報を呈示したかなど、参加者及び会議室という場所への働きかけをするときのサーバ１による行動指令が回数を重ねるごとに改善されていくための学習の手がかりをサーバ１に提供するためのものである。本実施形態における報酬処理は、人工知能の分野で研究されてきた強化学習に基づいている。
【００４７】
強化学習とは、試行錯誤を通じて外部の環境に適応する学習制御を基本としており、いわゆる教師付き学習とは異なる。教師付き学習は、会議室の状況を示す状態入力に対する適切な出力（状況を変化させるイベントやアクション）を明示的に導くルールが存在するので、ルールが正しいという仮定の下、はじめから完全な正解を提供することになる。一方、強化学習は、教師（すなわち、ルール）の代わりに、報酬という情報を手がかりに試行錯誤の回数を重ねながら自律的、能動的な改善を図って最適な出力へと向かう学習制御のやり方である。つまり、行動主体であるサーバ１は会議室内の様々なセンサで検出される状況データに基づき或る行動を選択し、その行動に基づき会議室内の状況が変化する。状況の変化に伴って、何らかの報酬がサーバ１に与えられ、これを受けてサーバ１はより良い行動の選択（意思決定）を徐々に学習していくアルゴリズムである。
【００４８】
会議支援システムのサーバ１と、会議空間との間で以下の手順に沿ったやりとりが行われる。以下、(時刻ｔ-１〜時刻ｔ]を時刻ｔとし、(時刻ｔ〜時刻ｔ+1]を時刻ｔ+1として説明する。
(1)時刻ｔにおいて、会議空間の状態ｓtに応じて行動ａtを出力する。
(2)会議支援システムの選択した行動ａtにより、会議空間はｓt+1に状態遷移し、その遷移に応じた報酬ｒtを会議支援システムに与える。
(3)時刻ｔを時刻ｔ+1に進めて、(1)へ戻る。
会議支援システムによる学習は、報酬ｒの最大化を目的として、状態ｓに対する行動ａを逐次決定していくことになる。
【００４９】
このような強化学習の一般的な更新式（漸化式）は、例えば以下のようになる。
Ｑ(ｓt+1,ａt+1)←Ｑ(ｓt,ａt)＋α｛ｒt+1＋γmaxＱ(ｓt+1,ａ)−Ｑ(ｓt,ａt)｝
Q（st,at）は、時刻ｔにおいて、或る状態ｓの下で、行動ａを選択する「価値」である。「価値」は、強化学習の分野において「利得期待値」とも言われる。上記更新式は、サーバ１による学習過程の中で、或る状態ｓのとき、価値Q（s,a）の最も値の高い行動ａが時刻ｔにおける最適な行動であるとして選択することを、その後の時刻ｔt+1においても実行し、これを繰り返すことを意味している。更新式の中のmaxの付いた項は、状態ｓt+1の下で（そのときにわかっている）最も価値Qの高い行動ａを選んだ場合の価値Ｑに割引率γ（０＜γ≦１）を乗じたものであり、αは学習速度係数（０＜α≦１）である。
【００５０】
この更新式は、行動atにより状態がｓt+1に変わる中で、状態ｓにおける行動ａの価値Ｑ（st,at）よりも、行動ａによる次の状態ｓt+1における最良の行動の価値Ｑ（ｓt+1,ａt+1）の方が大きければ、価値Ｑ（st,at）を大きくし、逆に小さければ価値Ｑ（st,at）も小さくすることを示している。なお、最初は各々の状態ｓと行動ａの組合せについて、正しい価値Q（s,a）の値はわかっていない。（その理由は、教師であるルールが存在しないためである。）したがって、すべての状態とそのときに取り得る行動のs,aの組について、初期の価値Q（s,a）をランダムに決めておく。この強化学習により、或る状態sにおける或る行動aの価値Q（s,a）を、それによる次の状態における最良の行動の価値に近づけることが可能になる。その差は、式中の割引率γと報酬ｒt+1に依存するが、基本的には、或る状態における最良の行動価値が、それに至る一つ前の状態における行動の価値に伝播するアルゴリズムとなっている。
【００５１】
サーバは、上述した強化学習モデルを利用するため、図６のステップS601で、マイクロフォン４やカメラ３,８などの各種センサで検出した時刻ｔにおける各指標（発言量:Ｐa、活性度:Ｐb、多様度:Ｐc、均一度:Ｐd、呈示した言葉に対して参加者がタップしたカウント数:Ｐe、呈示した推奨に対して参加者がタップしたカウント数:Ｐfなど）の値を受け取り、状態ｓ及び報酬ｒを定義するのである。最も簡単な例では、状態ｓは各指標値から構成した組（Ｐa,Ｐb,Ｐc,Ｐd,Ｐe,Ｐf）で定義し、発言量Ｐaが５段階中の４、活性度Ｐbが５段階中の２、…という場合、これら複数の指標の値を加算又は乗算して報酬r値を算出する。このとき、例えば「多様度」指標が他の指標よりも重視した会議であれば、複数の指標値を単純に加算又は乗算する前に、「多様度」の指標値に１より大きな重み係数を乗じておけばよい。また、指標値の算出の際、会議のモード状態（発散又は収束）についても自動的に推測或いは手動で設定しているので、会議のモード状態を考慮した報酬の算出方法であってもよい。一例を示すと、発散モード状態で時刻ｔ+1の「均一度」指標が減少すると報酬を−１する、収束モード状態で時刻ｔ+1の「活性度」指標が上昇すると報酬を＋１するといった具合である。
【００５２】
次に、図６のステップS603は、会議参加者から報酬を受け付ける処理である。上述したように、基本的には会議室の各種センサで検出される感知データに基づき生成した各指標値に基づき、報酬r値は自動的に算出されるが、上述した強化学習アルゴリズムが選択したレコメンド（例えば、特定の情報の呈示）が良いという印象を会議参加者が持った場合、会議参加者からの報酬が追加的に加算されるようにしてもよい。逆に、呈示された情報は内容やタイミングからみて適切でないという印象を会議参加者が持てば、自動的に算出された報酬r値よりも低い値にするマイナス報酬が付与され、その後の強化学習アルゴリズムによる選択において当該情報が選択されにくくなるように反映する。
【００５３】
そして、最終的に、時刻ｔにおける総合報酬量を算出し（ステップS604）、これを強化学習アルゴリズムの更新式における報酬ｒtへ設定する（ステップS605）。
【００５４】
次に、図７は、図２のステップS205に示すレコメンドの決定処理に関する詳細フローチャートである。
会議支援システムのサーバ１は、上述した強化学習モデルに基づく学習アルゴリズムに従い、時刻ｔにおいて、或る状態ｓの下で、行動ａを選択するが、代表的な行動ａというのは、情報のレコメンドである。サーバは、ニュース、研究論文、書籍など、必要な情報リソースを選び出して、特定の情報を抽出する。
【００５５】
まず、新規に開催する会議なのか、既に開催された会議の続きで行う会議であるかを会議ＩＤによって識別する（ステップS701）。なお、会議ＩＤは、議論を開始する前にサーバ１に入力しておくのが望ましい。新規の会議の場合、強化学習モデルの更新式で使用する初期の価値Q（s,a）は所定又はランダムに決めた任意のデフォルト値に設定する（ステップS703）。既に開催された会議ＩＤと同一の会議ＩＤがある場合、ランダムなデフォルト値に設定にすると、過去の会議内容に基づきサーバ１が学習してきたことが無駄になってしまう。そこで、過去の会議内容及び学習の延長上で会議が再開する形になるように、これまでの状態ｓにおける行動ａの価値Ｑ（s,a）や報酬ｒを読み出して初期値として設定する（ステップS702）。
【００５６】
次に、会議の目的を設定する（ステップS704）。現在開催された会議が、議論を収束させることを目標にしているのか、発散させることを目標にしているのか、深めることを目標にしているのか等によって、サーバ１がレコメンドする内容（情報の呈示や会議室環境を変化させるための指示）は異なることから、ステップS704で会議の目的を設定する。本実施の形態では、サーバ１から会議の目的を選択するための入力画面が表示され、会議参加者が選択するようにしているが、参加者の入力なしに自動で設定することを除外するものではない。例えば、会議の開催回数が少なければ議論の発散或いは深めるための会議を目標し、開催回数が所定数を超えていれば収束する会議を目標にするというように自動的に設定してもよい。また、参加者メンバーの属性情報に応じて決定してもよく、例えば、参加者が入社年数が浅い新人の集団であったり、経験の少ない参加者による会議であれば、まずは自由で活発なコミュニケーションを形成することを優先させ、発散を目標にした会議として自動的に設定することも考えられる。
【００５７】
次に、サーバ１は、ステップS704で設定した会議の目的に沿った複数の行動を設定する（ステップS705）。具体的には例えば、以下の行動が挙げられる。
１. 様子を静かに見届ける
２. コモンセンス連想を呈示
３. 共起されるモノゴトを呈示
４. 辞書内容（Wikipedia）の記事を呈示
５. ニュース記事を呈示
６. SNS（twitter）のツイートを呈示
７. ソーシャルメディアから画像を呈示
８. 関連する論文を呈示
９. 関連する書籍を呈示
なお、上記以外の他の行動を設定してもよいことは言うまでもないし、これよりも多い行動や少ない行動を設定してよい。
【００５８】
上記１.〜９.の行動が、例えば発散を目的とする会議のため設定される行動一覧であると仮定したとき、収束を目的とする或いは議論を深めることを目的とする会議の各々おいて別の行動一覧を設定する。それぞれの会議の目的にふさわしい行動群の中から一の行動が選択されることになるので、レコメンド品質が高くなる。なお、一部の行動は、各目的に共通して設定されるものであってもよい。
また、会議の目的ごとに異なる行動一覧を設定するのではなく、どの会議目的であっても共通の行動一覧を設定することも可能ではある。ただし、共通の行動一覧の場合、後述する学習ルーチンにおける計算量が指数関数的に増加すること、学習のトライアンドエラー回数が増幅する一方で会議の目的に明らかに整合しない行動の計算が多くなり無駄な計算処理が生じてしまうこと、更には行動一覧の管理のし易さなどを考慮すると、目的ごとに異なる行動一覧の設定が好ましいことが多いであろう。
【００５９】
次に、状態変数の組（tuple）に対する各行動の価値（利得期待値）を用いて、最も適切であるとサーバ１が判断した行動を選択する具体的な処理を図８（A）-（D）を用いて説明する。
【００６０】
図８（A）は、(時刻ｔ-１〜時刻ｔ]を意味する時刻ｔの会議室の状況を、「活性度」、「発想度」、「均一度」、「合意度」、「インタラクション度」という５つの指標を用いてあらわすこととした場合の一例である。また、下記のとおり、各指標の値がそれぞれに予め設定した所定の閾値よりも大きければ“H”、小さければ“L”へと符号化する。
if 活性度 > P1 then  “H” otherwise “L”
if 発想量 > P2 then  “H” otherwise “L”
if 均一度 > P3 then  “H” otherwise “L”
if 合意度 > P4 then  “H” otherwise “L”
if インタラクション量 > P5 then “H” otherwise “L”
（ここで、P1, P2, …, P5は予め定められた閾値（定数）である。）
なお、他の実施形態において「ターンテイキング量」、「多様度」、「発言量」、「発話間隔」などの別の指標を用いてもよく、使用する指標の数は任意である。
【００６１】
本実施の形態の場合、５つの指標の“H”或いは“L”を変数とする組（tuple）で１つの会議室の状況の状態Ｓを表すので、とりうる状態の数は変数の組み合わせの数（25＝32通り）だけある。図８（Ａ）の左テーブルは、５つの指標の組（tuple）の各々が３２個の状態Ｓ(1)〜Ｓ(32)の何れかに対応することを示している。なお、各指標を組（tuple）にする以外に、各指標を数値であらわしてその各数値を加減乗除して得られる数値を各状態Ｓ(i)に対応させてもよい。
【００６２】
図８（Ａ）の右テーブルは、サーバ１が選択する各行動ａに対する価値（利得期待値）Ｑ（i,j）、i＝1〜32, j=1〜9である。上述したように、本実施形態における各行動ａは、１.様子を静かに見届ける、２.コモンセンス連想を呈示、３.共起されるモノゴトを呈示、４.辞書内容（Wikipedia）の記事を呈示、５.ニュース記事を呈示、６.SNS（twitter）のツイートを呈示、７.ソーシャルメディアから画像を呈示、８.関連する論文を呈示、９.関連する書籍を呈示、である。
【００６３】
会議の開始時は、サーバ１が報酬に基づく学習の実行前であるため、各行動ａに対する価値（利得期待値）Ｑ（i,j）にはデフォルト値が設定されている。本実施形態では、デフォルト値として設定することを示しているのが、図８（Ｂ）である。
【００６４】
次に、学習がある程度実行された後の価値（利得期待値）Ｑ（i,j）を示している図８（Ｃ）を参照しながら、サーバ１がどのようにして特定の行動を選択するかを説明する。いま、各センサから得られた特徴量に基づく時刻ｔの指標の符号値が、(活性度, 発想量, 均一度, 合意度, インタラクション量) = (L, L, L, L, H) とすると、時刻ｔの会議室の状態は図８（Ｃ）における「状態16」に対応する。この状態16に関してサーバ１が上記１〜９の各行動ａの何れかを選択することにより将来に得ることができる利得の期待値、すなわち各行動の価値Ｑ（i,j）は、網掛けした値である。
【００６５】
サーバは、行動ａ1〜ａ9の利得期待値の割合に応じた確率で行動を選択する。すなわち、「様子を静かに見届ける」という行動ａ1が選択される確率は0.0825(= 3.57/43.22)，「コモンセンス連想を呈示」という行動ａ2は0.1003(=4.34/43.22)， … ,「関連する書籍を呈示」という行動ａ9は0.0997(=4.31/43.22)となる。ここで、43.22は、各ａ1（i＝1〜9）の総和である。
なお、本実施形態の場合、指標の値に基づき会議室の状況の状態Ｓを表す際に、閾値と比較して“H”或いは“L”に符号化した例を示したが、状態Ｓが例えば５段階レベル（１〜５）で数値化された各指標を加減乗除した数値で表現されるようにしてもよい。
【００６６】
さらに、サーバ１は、例えばEpsilon-Greedyアルゴリズムを用いて，確率εの割合でランダムに或る行動を選択する。Epsilon-Greedyアルゴリズムでは、ある小さい確率εで行動ａ1、行動ａ2をランダムに選択し、確率１-εで最大のＱ（i,j）をもつ行動を選択する。例えば、ε＝０.１の場合、高い確率（１-ε＝０.９）で最大のＱ（i,j）をもつ行動を選択し、小さい確率（０.１）でランダムに行動を選択する。つまり、殆どの場合、高い価値（利得の期待値）に裏付けされた選択すべきであろう適切な行動がレコメンドされるものの、低い価値であることから一般的には選択されることが無いであろう不適切な行動も小さい確率ながら選択されるよう試行されて参加者にレコメンドされるようにする。これは、常に価値Ｑ（i,j）の値が最大のものばかり選んでいると、最初にランダムに与えたＱ値の影響が大きくなるなど局所的な収束によって学習が進展しないことを回避するためである。学習過程の適当なタイミングでＱ（i,j）値が最大な行動ａを選ばずに、あえて価値の低い他の行動ａ´を選択させるのである。
【００６７】
また、他の本実施形態では、Epsilon-Greedyアルゴリズムに代わり、同様に確率的に行動を選択するSoftmax手法等によってサーバ１の行動選択を行うようにしてよい。Softmax手法は、ある状態ｓに対して所定の関数を定義し、これを選択すべき行動に対する確率分布であるとみなして、例えば逆関数法で行動を選択する。その結果、Epsilon-Greedyアルゴリズムと同様に、Ｑ値が大きくなればその行動のSoxtmax関数の値も大きくなり、その行動が選択されやすくなる。なお、Epsilon-Greedy及びSoftmax関数以外の他の手法を適用したり、複数の手法の組み合わせを適用することに何ら制限を与えていない。
【００６８】
図８（Ｃ）の例では、取り得る複数の行動の中で価値が最大の行動ａ6の「twitterのツイートを呈示」が選択される場合を示している（ステップS706）。また、選択する行動は必ずしも１つでなければならないというものではない。例えば、次に価値が大きい行動である行動ａ7の「ソーシャルメディアから画像を呈示」もあわせて選択するようにしてもよい。
【００６９】
最適な行動ａ6を選択したサーバ１は、会議室というコミュニケーション空間においてその行動ａ6を実行する指令を出力する（ステップS707）。行動ａ6は「twitterのツイートを呈示」なので、サーバ１はツイート情報をレコメンド情報として会議室内に呈示することになるが、サーバ１は、参加者全体へレコメンドすべきか、特定の会議参加者のみへレコメンドすべきかを判断し、関連する出力媒体を選択してレコメンド情報を呈示させている。例えば、サーバ１が選択した行動ａ6がパーソナル依存性が高い行動の場合、参加者全体というよりも一個人へのレコメンド情報とする。行動ａ6のツイートはツイートを共有している者の依存性が高く、ツイート共有していない会議参加者にとっては理解できない事項もあり得る。そこで、サーバ１が上記行動ａ6の指示をする際には、ツイート共有している会議参加者のみの携帯端末２の画面やウェラブル端末（情報表示機能付きメガネ６等）にツイートが呈示される指示をする。仮に、上記例における行動ａ2の「コモンセンス連想を呈示」が最大価値の行動として選択されている場合では、参加者全体へのレコメンドのために会議室内に設置された共有ディスプレイ７や全員が視認可能な特定の壁面９,１０に表示される指示をする。
【００７０】
上述したパーソナル依存性の他に、行動ａに含まれるワードの特異性が高く、特定の会議参加者のみの発言にしか含まれていないような場合にも、その参加者のみへの呈示にすればよい。図９は、ワードの特異性に基づき個人レコメンドを行う場合の一例を示すフローチャートである。
【００７１】
個人レコメンドは、各個人の音声データ及び画像データを基にレコメンド情報を決定していくのが基本となる。
そこで、まず、その個人の発言量が少ないと判断した場合（ステップS901のYes）、会議ＩＤを基に得られる過去の会議データから、現時点で話題になっているトピックス（CT：Current Topic）が登場したことがあるかを識別する（ステップS902）。もしあれば、その個人の履歴データをサーチし、そのトピックについての発言があったかを判断するために、トピックのtf-idf値を算出する（ステップS903）。tf-idf値は、情報検索や文書要約の分野で利用されており、単語の出現頻度（term frequency）と、逆文書頻度（inverse document frequency）の二つの指標に基づいて計算される値である。つまり、出現する単語数が多いほど重要な単語であり、沢山の文書に横断的に出現する単語の重要度は小さいという仮定の下に単語の重要度を決定する手法である。
【００７２】
したがって、その個人の過去の会議データにおいてトピックの語が出現した回数と、他の会議やメールやツイートなど複数の個人リソースを横断的にみてトピックの語が出現した回数とを検出し、算出したtf-idf値が所定のレベルを超えていれば、その個人はトピックスについて知っている蓋然性が高いと判定し、サーバ１は何もしない（ステップS907）。これに対し、tf-idf値が所定のレベル以下であればトピックスについての知識がない可能性が高いと判定する。この場合、そのトピックスの意味や定義を関連するリソースから検索し（ステップS905）、その個人のパーソナルデバイスに出力する（ステップS906）。パーソナルデバイスは、一般的な携帯端末２でもよいが、本実施形態では各参加者が情報表示機能付きメガネ６を着用している。そこで、サーバは、tf-id値に基づき、他の参加者には不必要な情報であるが特定の参加者には議論に積極的に参加する上で必要とされる情報があると判断した場合、その特定の参加者の情報表示機能付きメガネ６にだけ情報を表示させるように制御することができる。
【００７３】
ここで、レコメンド情報の選択についての考え方をまとめておく。
(i)本実施形態の会議支援システムは、或る日に開催される単発の会議が成功するように支援するにとどまらず、長期間にわたる断続的なコミュニケーションを包括的に支援できるようにするため、過去の会議で支援のためにサーバ１が学習し呈示したレコメンドを将来の会議で活用する。したがって、前回の会議をベースに積み重ねられた学習による適切なレコメンドが抽出される。
(ii)本実施形態の会議支援システムは、会議などでのコミュニケーションに参加する個人の経験や知識を理解した上でレコメンド情報の選択をする。メールやソーシャルメディアへの書き込み、過去の様々な媒体への発言内容を利用して、上述したtf-idf値などから個人毎に支援すべき情報を選択するので、どの参加者にもあてはまる標準的で画一的な情報提供をとは異なる適確なピンポイント情報提供を支援する。
(iii)本実施形態の会議支援システムは、広範囲な世の中のあらゆる情報を活用してレコメンド情報の選択をする。一般には、キーワードやフレーズである文節及びトピックスに関連する情報を、予め準備してあるリソースの中から抽出することが行われる。本実施形態の場合、会議内容には直接関係しない情報を参考にしてコミュニケーションに役立てることも行う。例えば、ＰＯＳデータ、視聴率データ、気候変動データ、株価情報、渋滞情報などあらゆるビックデータの中から、バスケット分析をはじめとする任意の統計解析手法によって、事実データから隠れた法則や傾向を見つけ出し、既存の固定観念にとらわれない意外性のある相関データをレコメンド情報として抽出する。
【００７４】
このように、上述した本実施形態の会議支援システムのサーバ１による行動ａtの選択は、参加者全員に向けて共通の情報を呈示したり或いは会議室内に音楽を流す等といった室内環境全体を変化させることの他に、各会議参加者の個人的属性（経験、知識、経歴、過去の発言内容など）に基づきそれぞれの個人にとって有益となり得る特定の情報を呈示したり、或る参加者のみに冷風があたるように風向を調整する等といった参加者毎の環境変化を生じさせることを意味する。既存の会議支援システムで行われるような単なる文字情報の提供に留まらず、コミュニケーションの場の環境が全体的且つ局所的に変化させるための指示を出すことを含んでいることに留意されたい。
【００７５】
ここで、図７に示したフローチャートに戻る。ステップS707において時刻ｔにおける最大価値をもつ最適行動ａtの指示が出力されると、次にサーバ１は各種センサから時刻ｔ+1の会議室内の特徴量を取得し（ステップS708）、時刻ｔのときと同様に時刻ｔ+1の状態変数の組（tuple）を生成する。上述した例で示すように、時刻ｔで状態１６であった会議室空間において、サーバ１が行動ａ6の実行指示をした結果、状態変数の組が、(活性度, 発想量, 均一度, 合意度, インタラクション量) = （H, H, L, H, H）に遷移したとする。これは、図８（Ｃ）の状態５に相当する。また、所定の報酬の算定アルゴリズムに従い、インタラクション量およびturn taking量が共に増加したことで報酬が合計＋２になったとする。
【００７６】
この時、状態１６における行動６の利得期待値Q(16, 6)は、
Ｑ(ｓt+1,ａt+1)←Ｑ(ｓt,ａt)＋α｛ｒt+1＋γmaxＱ(ｓt+1,ａ)−Ｑ(ｓt,ａt)｝を用いて、以下のように更新される。ただし、学習計数α=0.3, 割引率γ=0.9とする。
図８（C）に示す状態５の行動ａ1〜行動ａ9の中で、行動ａ9の価値（利得期待値）が7.96で最大であるため、上記式においてmaxＱ(5,ａ)=7.96を設定する（ステップS709）。
【００７７】
すなわち、
Ｑ(16,6)←Ｑ(16,6)＋0.3｛2＋0.9maxＱ(5,ａ)−Ｑ(16,6)｝=8.56＋0.3｛2＋0.9*7.96-8.56｝であり、選択された行動ａ6の結果時刻ｔ+1で新たな状態５へ遷移し、新たな状態における各行動の利得期待値に基づき時刻ｔ時の状態１６の利得期待値はより高い値の8.74へと更新されることになった（ステップS710）。
【００７８】
ステップS706〜S710間の処理が反復対象のルーチンである。サーバ１はレコメンド終了時（例えば、会議の終了時、所定時間経過後など）までレコメンドの呈示を続ける。
【００７９】
図１０は、図２のステップS206に示すレコメンドの呈示処理に関する詳細フローチャートである。
上述してきたとおり、本実施形態では、レコメンド情報の呈示は、単に、目の前のモニタにテキスト表示をするというような従来の情報提供方法に限らず、多様な情報提供を可能にする。会議室という空間全体が情報を出力する媒体としての可能性がある。具体的には、図１に示す空間の壁、床、天井、家具などを出力媒体として使用する。もちろん出力媒体として、上述した参加者の情報表示機能付きメガネ６も含んでいる。任意の空間内の家具や壁面といった空間を構成する要素を表示媒体として積極的に活用し、これまでに無い情報の提示が人間の発想の転換や収束を促すことを目指しているのである。
【００８０】
サーバ１は、設定された会議の目的や、推定した話題（トピックス）や、選択した各行動ａの内容に基づき、会議室内でレコメンドする情報が、例えば、発想の文脈（コンテキスト）のものか、注目の文脈のものか、独創の文脈のものか等を特定する（ステップＳ1001）。次に、サーバ１は、レコメンド情報の文脈に応じて各出力媒体を割当てる(ステップS1002)。例えば、壁面９を発想の文脈として割当てて、サーバ１が新たな発想を促すことを期待して会議中に飛び交う言葉のキーワードを壁面９に呈示する。別の壁面１０は注目の文脈として割当てる。参加者が向かいあっているテーブル１３は、独創の文脈であると割当てた場合、会議中に飛び交う言葉の中から重要な概念を拾いテーブル１３上に呈示する。会議参加者が呈示されたレコメンド情報にタッチ操作すると、タッチ位置に対応した信号がサーバに返送されるので、次にサーバはタッチされたレコメンド情報に関連する多様な情報リソースが選ばれ、注目の文脈である壁面１０に関連する情報が表示され、その情報から新たな気づきが生まれるようにする。また、壁面９,１０の代わりにプロジェクター７を使用してもよい。
【００８１】
さらに、上述したように、会議中に飛び交う言葉の中で、各参加者が知らない若しくは馴染みの薄いキーワードがあると判定すると、その定義を参加者の情報表示機能付きメガネ６に呈示する。参加者の情報表示機能付きメガネ６は、個人の情報端末２とともに、参加者それぞれのパーソナルな文脈として割当てられていることになる。
例えば、参加者Ｘの発言におけるあるワードのtf-idf値が閾値TH3よりも大きければ、参加者Ｘにとっての特異ワードであると判断して、参加者Ｘの情報表示機能付きメガネ６のみ情報の呈示を行う。一方、tf-idf値がTH3よりも小さなTH2の間であれば（TH3＜tf-idf値＜TH2）重要ワードであると判断して、テーブル１３に呈示して他の参加者も識別できるようにする。tf-idf値が閾値TH2よりも小さなTH1の間であれば（TH2＜tf-idf値＜TH1）意味のあるワードであると判断して、壁９呈示して他の参加者も識別できるようにする。さらに、tf-idf値が閾値TH2よりも小さければ（TH1＜tf-idf値＜0）意味のないワードとして切り捨て呈示しないというようにする。
【００８２】
さらに、他の実施形態の場合、サーバ１の或る状態ｓの下で行う行動ａは、情報のレコメンドではなく、会議室という空間全体を変化させる指令として出力される。例えば、空間内に音を出力する音響装置があれば、楽曲の選択や音量や方向の調整を行う。収束状態モードの場合、会議は行き詰っていることが多いことから高揚する音楽を空間全体に向けて出力し、発散状態モードの場合、照明１１からの光の色を気持ちが和らぐ色に変化させたり、照明１１の強度を落として少し暗くしたり、壁面９,１０の色の変化すること等が考えられる。その他にも、空調設備１２からの匂い（種類、量、方向）、風（風量及び風向き）、温度、湿度等を調整することもサーバ１の行動の中に含まれる。
別の実施形態では、脈拍や体温などのバイタルデータを、椅子５等に設置された非接触センサや心拍センサを内蔵した時計やリストバンドで検知して、温度や湿度の調整に利用するようにしてもよい。さらに他の実施形態では、会議参加者が座っている椅子５や正面のテーブル１３の高さを変化させたり、椅子５や床面に振動を起こす指令でもよい。しかもこのような会議室の環境を変化させる指令が、各参加者の画像データや音声データである感知データに基づき参加者毎に与えられるようにすれば、従来の画一的な単なる情報レコメンドではなし得なかったコミュニケーション成功へのきっかけを生み出すことが期待できる。
【００８３】
上述した一例は、企業等における比較的狭い空間である会議室で本発明を適用したものであるが、これに限定されるわけではない。複数の者がコミュニケーションを図る任意の場所での適用が可能である。例えば、講義会場やコンサート会場などの大規模な空間、更には、室内という閉空間ではなく野外の場でコミュニケーションを図るときに本発明を適用することもあり得る。また、バーチャル空間、すなわち遠隔会議で適用することも含む。
【００８４】
本実施形態では、発想支援システムのサーバ１が全体の制御を行うものとして説明してきた。このサーバ１が果たす役割は、いわゆる人工知能（ＡＩ）に相当する。あたかも空間という場がＡＩとなって、複数の人の考えを共有し伝達し、多くの選択肢が生成された中で合意が形成されるような包括的且つ多角的なコミュニケーション支援である。会議内容や会議状態に適合しながら、且つ各参加者にとって有益でタイムリーなレコメンド情報が提供され、特に、ＡＩとして実行する強化学習が状況に関する事前の完全な理解が無くても設計できるという優位点がある。
【符号の説明】
【００８５】
１  サーバ
２  携帯端末
３  カメラ
４  マイクロフォン
５  椅子
６  情報表示機能付きメガネ
７  プロジェクター
８  カメラ
９  壁面
１０  壁面
１１  照明
１２  空調設備
１３  テーブル
【図１】
0006730843.tif 000002
【図２】
0006730843.tif 000003
【図３】
0006730843.tif 000004
【図４】
0006730843.tif 000005
【図５】
0006730843.tif 000006
【図６】
0006730843.tif 000007
【図７】
0006730843.tif 000008
【図８Ａ】
0006730843.tif 000009
【図８Ｂ】
0006730843.tif 000010
【図８Ｃ】
0006730843.tif 000011
【図８Ｄ】
0006730843.tif 000012
【図９】
0006730843.tif 000013
【図１０】
0006730843.tif 000014