(57)【要約】【課題】各拠点の状態及び拠点間の関係性を適切に判断し、遠隔会議の円滑かつ活発な議事進行を図る。【解決手段】各拠点の入出力装置と制御装置とを備える遠隔会議システムで動作する遠隔会議支援プログラムであって、制御装置に、入出力装置の情報に基づいて各拠点内で発言者が切り替わるまでの第１の所要時間を算出し、拠点毎に第１の所要時間と参加者一人当たりの発言基準時間とを比較して、拠点内の発言者の切り替わり頻度を示す第１指標を算出する第１処理、入出力装置の情報に基づいて他の拠点に発言が切り替わるまでの第２の所要時間を算出し、拠点毎に第２の所要時間と拠点当たりの発言基準時間とを比較して、拠点間の発言の切り替わり頻度を示す第２指標を算出する第２処理、第１指標と第２指標とに基づいて各拠点の状態を特定し、各拠点の入出力装置に当該拠点の状態を通知する第３処理、を実行させる。【選択図】図４
2015207806.tif 000002
【特許請求の範囲】
【請求項１】
複数の拠点間で行われる遠隔会議を支援する遠隔会議支援システムであって、
拠点毎に配置され、映像及び音声の入出力を行う入出力装置と、
複数の前記入出力装置に接続される制御装置と、を備え、
前記制御装置は、
各拠点の前記入出力装置から情報を受信する情報受信部と、
前記受信した情報に基づいて、拠点毎の参加者の人数と発言者の切り替わりとを検出又は測定する検出／測定部と、
拠点毎に、拠点内である発言者が発言を開始してから次の発言者が発言を開始するまでの第１の所要時間及び当該拠点の最初の発言者が発言を開始してから別の拠点の最初の発言者が発言を開始するまでの第２の所要時間を算出すると共に、予め定めた参加者一人当たりの発言基準時間と前記拠点毎の参加者の人数とに基づいて拠点当たりの発言基準時間を算出する時間算出部と、
拠点毎に、前記第１の所要時間と前記参加者一人当たりの発言基準時間とを比較して、拠点内の発言者の切り替わり頻度を示す第１指標を算出する第１指標算出部と、
拠点毎に、前記第２の所要時間と前記拠点当たりの発言基準時間とを比較して、拠点間の発言の切り替わり頻度を示す第２指標を算出する第２指標算出部と、
前記第１指標と前記第２指標とに基づいて各拠点の状態を特定し、各拠点の前記入出力装置に当該拠点の状態を通知する状態通知部と、を備える、
ことを特徴とする遠隔会議支援システム。
【請求項２】
前記状態通知部は、各拠点の前記入出力装置に、当該拠点の状態を前記第１指標及び前記第２指標を座標軸とするマップ上に明示した画像を表示させる、
ことを特徴とする請求項１に記載の遠隔会議支援システム。
【請求項３】
前記状態通知部は、各拠点の前記入出力装置に、当該拠点の状態に応じたメッセージを出力させる、
ことを特徴とする請求項２に記載の遠隔会議支援システム。
【請求項４】
前記状態通知部は、前記第１指標及び／又は前記第２指標が所定値以下の拠点の前記入出力装置に、その旨を知らせる警告情報を出力させる、
ことを特徴とする請求項２又は３に記載の遠隔会議支援システム。
【請求項５】
前記第２指標算出部は、前記発言者の切り替わりが前記拠点の切り替わりを伴う回数又は比率が所定値以上の場合に、前記第２指標が大きくなるように、前記拠点当たりの発言基準時間を補正する、
ことを特徴とする請求項１乃至４のいずれか一に記載の遠隔会議支援システム。
【請求項６】
前記第２指標算出部は、参加者の人数が予め定めた値以下の拠点に対して、前記第２指標が大きくなるように、前記拠点当たりの発言基準時間を補正する、
ことを特徴とする請求項１乃至５のいずれか一に記載の遠隔会議支援システム。
【請求項７】
前記制御装置は、更に、予め定めた特定の発言者の１回当たりの発言時間と他の発言者の１回当たりの発言時間とを比較する発言時間比較部を備え、
前記第１指標算出部は、前記発言時間比較部の比較結果に基づいて、前記第１指標を補正する、
ことを特徴とする請求項１乃至６のいずれか一に記載の遠隔会議支援システム。
【請求項８】
前記発言時間比較部は、前記他の発言者の１回当たりの発言時間に対する前記特定の発言者の１回当たりの発言時間の比率が所定値を越える場合は、全拠点の前記入出力装置に、前記特定の発言者の発言を制止若しくは前記他の発言者の発言を促進する旨の警告情報を出力させる、
ことを特徴とする請求項７に記載の遠隔会議支援システム。
【請求項９】
前記特定の発言者は、前記遠隔会議の議事進行を行うファシリテータである、
ことを特徴とする請求項７又は８に記載の遠隔会議支援システム。
【請求項１０】
前記遠隔会議システムは、特定の拠点が資料を説明するプレゼンテーションモード、又は、前記複数の拠点間で前記資料に関する議論を行うディスカッションモードで動作可能であり、
前記制御装置は、更に、
前記資料のページめくり時間が所定時間よりも短い場合は、前記遠隔会議システムをプレゼンテーションモードで動作させ、前記資料のページめくり時間が前記所定時間以上の場合は、前記遠隔会議システムをディスカッションモードで動作させるモード切り換え部を備え、
前記遠隔会議システムを前記ディスカッションモードで動作させる場合に、請求項１乃至９のいずれか一に記載の制御を行う、
ことを特徴とする遠隔会議支援システム。
【請求項１１】
遠隔会議を行う各拠点に配置され、映像及び音声の入出力を行う入出力装置と、複数の前記入出力装置に接続される制御装置と、を備える遠隔会議システムで動作する遠隔会議支援プログラムであって、
前記制御装置に、
各拠点の前記入出力装置から受信した情報に基づいて、拠点毎に、当該拠点内のある発言者が発言を開始してから次の発言者が発言を開始するまでの第１の所要時間を算出し、前記第１の所要時間と予め定めた参加者一人当たりの発言基準時間とを比較して、拠点内の発言者の切り替わり頻度を示す第１指標を算出する第１処理、
各拠点の前記入出力装置から受信した情報に基づいて、拠点毎に、当該拠点の最初の発言者が発言を開始してから別の拠点の最初の発言者が発言を開始するまでの第２の所要時間を算出し、前記第２の所要時間と前記参加者一人当たりの発言基準時間に当該拠点の参加者の人数を乗算した拠点当たりの発言基準時間とを比較して、拠点間の発言の切り替わり頻度を示す第２指標を算出する第２処理、
前記第１指標と前記第２指標とに基づいて各拠点の状態を特定し、各拠点の前記入出力装置に当該拠点の状態を通知する第３処理、を実行させる、
ことを特徴とする遠隔会議支援プログラム。
【請求項１２】
前記第３処理では、各拠点の前記入出力装置に、当該拠点の状態を前記第１指標及び前記第２指標を座標軸とするマップ上に明示した画像を表示させる、
ことを特徴とする請求項１１に記載の遠隔会議支援プログラム。
【請求項１３】
前記第３処理では、各拠点の前記入出力装置に、当該拠点の状態に応じたメッセージを出力させる、
ことを特徴とする請求項１２に記載の遠隔会議支援プログラム。
【請求項１４】
前記第３処理では、前記第１指標及び／又は前記第２指標が所定値以下の拠点の前記入出力装置に、その旨を知らせる警告情報を出力させる、
ことを特徴とする請求項１２又は１３に記載の遠隔会議支援プログラム。
【請求項１５】
前記第２処理では、前記発言者の切り替わりが前記拠点の切り替わりを伴う回数又は比率が所定値以上の場合に、前記第２指標が大きくなるように、前記拠点当たりの発言基準時間を補正する、
ことを特徴とする請求項１１乃至１４のいずれか一に記載の遠隔会議支援プログラム。
【請求項１６】
前記第２処理では、参加者の人数が予め定めた値以下の拠点に対して、前記第２指標が大きくなるように、前記拠点当たりの発言基準時間を補正する、
ことを特徴とする請求項１１乃至１５のいずれか一に記載の遠隔会議支援プログラム。
【請求項１７】
前記制御装置に、更に、予め定めた特定の発言者の１回当たりの発言時間と他の発言者の１回当たりの発言時間とを比較し、比較結果に基づいて、前記第１処理で算出した前記第１指標を補正する第４処理を実行させる、
ことを特徴とする請求項１１乃至１６のいずれか一に記載の遠隔会議支援プログラム。
【請求項１８】
前記第４処理では、前記他の発言者の１回当たりの発言時間に対する前記特定の発言者の１回当たりの発言時間の比率が所定値を越える場合は、全拠点の前記入出力装置に、前記特定の発言者の発言を制止若しくは前記他の発言者の発言を促進する旨の警告情報を出力させる、
ことを特徴とする請求項１７に記載の遠隔会議支援プログラム。
【請求項１９】
前記特定の発言者は、前記遠隔会議の議事進行を行うファシリテータである、
ことを特徴とする請求項１７又は１８に記載の遠隔会議支援プログラム。
【請求項２０】
前記遠隔会議システムは、特定の拠点が資料を説明するプレゼンテーションモード、又は、複数の拠点間で前記資料に関する議論を行うディスカッションモードで動作可能であり、
前記制御装置に、更に、
前記資料のページめくり時間が所定時間よりも短い場合は、前記遠隔会議システムをプレゼンテーションモードで動作させ、前記資料のページめくり時間が前記所定時間以上の場合は、前記遠隔会議システムをディスカッションモードで動作させるモード切り換え処理を実行させ、
前記遠隔会議システムを前記ディスカッションモードで動作させる場合に、前記制御装置に、前記第１乃至第４の処理を実行させる、
ことを特徴とする請求項１１乃至１９のいずれか一に記載の遠隔会議支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議支援システム及び遠隔会議支援プログラムに関し、特に、拠点間での遠隔会議を支援する遠隔会議支援システム及び当該遠隔会議支援システムの制御装置で動作する遠隔会議支援プログラムに関する。
【背景技術】
【０００２】
複数の拠点に設置された端末を通信ネットワークに接続して会議を行う遠隔会議が盛んに行われている。この遠隔会議では、端末のカメラで撮像され表示部に表示される映像及びマイクで入力されスピーカから出力される音声を介して意志の疎通を図るため、参加者同士が直接顔を合わせて話し合うときのように会話することが難しい。そのため、会話の発生に拠点や参加者による偏りが生じやすく、円滑な議事進行が図りにくいという問題がある。
【０００３】
このような発言の偏りを緩和する方法として、例えば、下記特許文献１には、複数の会議場間で行われる遠隔会議を支援するための遠隔会議支援プログラムであって、コンピュータを、ある会議場における参加者の動作を表す動作情報を取得する動作情報取得手段、当該動作情報取得手段により取得された動作情報に基づき前記ある会議場における発言動作を認識し、この認識結果に基づいて前記ある会議場の盛り上がりの度合いを示す会議場活性度を算出する活性度算出手段、および、当該活性度算出手段により算出された会議場活性度を、前記ある会議場とは別の会議場の参加者に提示する活性度提示手段、として機能させる技術が開示されている。
【０００４】
また、下記特許文献２には、会議において、前記会議に参加する参加者の音声の音量を取得する音量取得部と、前記会議に参加する参加者の加速度を取得する加速度取得部と、前記音量に基づいて、発話した参加者を前記会議中における単位時間ごとに一人ずつ特定する発言者特定部と、前記参加者それぞれの前記会議中における発話回数を、前記単位時間毎に特定された前記発話した参加者に基づいて算出する発話回数算出部と、前記参加者それぞれの前記会議中における発話時間を、前記参加者が発話したと特定された単位時間の前記会議中における回数に基づいて算出する発話時間算出部と、前記参加者それぞれの前記会議中におけるエネルギーを前記加速度に基づいて算出するエネルギー算出部と、前記発話回数と、前記発話時間と、前記エネルギーの少なくとも何れか１つまたは複数からなる参加者パラメータと、参加者パラメータそれぞれの重み係数とに基づいて、前記参加者それぞれの、前記会議における説得度、前記会議において他の参加者に与える影響を示す与影響度、前記会議を率いるリーダ度、前記会議においての活性度、の何れか１つまたは複数を示す参加態度を算出する参加態度算出部と、を備える会議分析システムが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０２０４７号公報
【特許文献２】特開２０１２−１１３４４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、遠隔会議では、存在感やノンバーバル（非言語的）信号の欠落により、会話への参加機会を喪失しがちである。加えて拠点毎の参加者数に著しい違いがある場合には、参加機会の喪失の蓄積から会話の発生に拠点による偏りが生じる。例えば、参加者の人数が多い拠点では、その拠点内の参加者同士の意志疎通を図ることができるため、拠点内で行う会議のような感覚で自然に発話することができるが、参加者の人数が少ない拠点では、他の参加者との意志疎通が図りづらいため、会話への参加が難しい。
【０００７】
この問題に対して、特許文献１では、参加者の発言数、発言時間、ペン記入数、資料提示数等から参加者及び会議の活性度を測定し、結果を活性度として表示することで、活性度の把握を容易にし、議事進行を支援している。また、特許文献２では、発言数などの測定結果をそのまま表示するのではなく、参加度という新たな指標を設定し、分析結果を表示することで、参加者の会議への参加度、会議の活性度などをより容易に把握できるようにしている。
【０００８】
しかしながら、これらの方法では、拠点毎の参加者の人数の寄与を考慮していないため、各拠点の状態を適切に判断することができない。また、拠点間の発言の切り替わりを考慮していないため、拠点間の関係性を適切に判断することができない。その結果、円滑かつ活発な議事進行を図ることができないという問題がある。
【０００９】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、各拠点の状態及び拠点間の関係性を適切に判断し、円滑かつ活発な議事進行を図ることができる遠隔会議支援システム及び遠隔会議支援プログラムを提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一側面は、複数の拠点間で行われる遠隔会議を支援する遠隔会議支援システムであって、拠点毎に配置され、映像及び音声の入出力を行う入出力装置と、複数の前記入出力装置に接続される制御装置と、を備え、前記制御装置は、各拠点の前記入出力装置から情報を受信する情報受信部と、前記受信した情報に基づいて、拠点毎の参加者の人数と発言者の切り替わりとを検出又は測定する検出／測定部と、拠点毎に、拠点内である発言者が発言を開始してから次の発言者が発言を開始するまでの第１の所要時間及び当該拠点の最初の発言者が発言を開始してから別の拠点の最初の発言者が発言を開始するまでの第２の所要時間を算出すると共に、予め定めた参加者一人当たりの発言基準時間と前記拠点毎の参加者の人数とに基づいて拠点当たりの発言基準時間を算出する時間算出部と、拠点毎に、前記第１の所要時間と前記参加者一人当たりの発言基準時間とを比較して、拠点内の発言者の切り替わり頻度を示す第１指標を算出する第１指標算出部と、拠点毎に、前記第２の所要時間と前記拠点当たりの発言基準時間とを比較して、拠点間の発言の切り替わり頻度を示す第２指標を算出する第２指標算出部と、前記第１指標と前記第２指標とに基づいて各拠点の状態を特定し、各拠点の前記入出力装置に当該拠点の状態を通知する状態通知部と、を備えることを特徴とする。
【００１１】
本発明の一側面は、遠隔会議を行う各拠点に配置され、映像及び音声の入出力を行う入出力装置と、複数の前記入出力装置に接続される制御装置と、を備える遠隔会議システムで動作する遠隔会議支援プログラムであって、前記制御装置に、各拠点の前記入出力装置から受信した情報に基づいて、拠点毎に、当該拠点内のある発言者が発言を開始してから次の発言者が発言を開始するまでの第１の所要時間を算出し、前記第１の所要時間と予め定めた参加者一人当たりの発言基準時間とを比較して、拠点内の発言者の切り替わり頻度を示す第１指標を算出する第１処理、各拠点の前記入出力装置から受信した情報に基づいて、拠点毎に、当該拠点の最初の発言者が発言を開始してから別の拠点の最初の発言者が発言を開始するまでの第２の所要時間を算出し、前記第２の所要時間と前記参加者一人当たりの発言基準時間に当該拠点の参加者の人数を乗算した拠点当たりの発言基準時間とを比較して、拠点間の発言の切り替わり頻度を示す第２指標を算出する第２処理、前記第１指標と前記第２指標とに基づいて各拠点の状態を特定し、各拠点の前記入出力装置に当該拠点の状態を通知する第３処理、を実行させることを特徴とする。
【発明の効果】
【００１２】
本発明の遠隔会議支援システム及び遠隔会議支援プログラムによれば、各拠点の状態及び拠点間の関係性を適切に判断し、円滑かつ活発な議事進行を図ることができる。
【００１３】
その理由は、複数の拠点に接続される複数の入出力装置を制御する制御装置が、拠点毎の参加人数と発言者の切り替わりとを検出／測定し、拠点内で発言者が切り替わるまでの第１の所要時間及び他の拠点に発言が切り替わるまでの第２の所要時間を算出し、拠点毎に、第１の所要時間と参加者一人当たりの発言基準時間とに基づいて、拠点内の発言者の切り替わり頻度を示す活性度を算出する共に、第２の所要時間と拠点毎の参加人数を加味した拠点当たりの発言基準時間に基づいて、拠点間の発言の切り替わり頻度を示す協業度を算出し、拠点毎に、複数の拠点の映像を配置した画像と活性度及び協業度で特定される状態をマップ上に明示した画像とを含む画面を入出力装置に表示させる制御を行うからである。
【図面の簡単な説明】
【００１４】
【図１】本発明の第１の実施例に係る遠隔会議支援システムの構成を模式的に示す図である。
【図２】本発明の第１の実施例に係る遠隔会議支援システムの詳細構成を示すブロック図である。
【図３】本発明の第１の実施例に係る制御装置のハードウェア構成を示すブロック図である。
【図４】本発明の第１の実施例に係る遠隔会議支援システムの動作を示すフローチャート図である。
【図５】本発明の第１の実施例に係る入出力装置に表示される遠隔会議画面の一例を示す図である。
【図６】本発明の第１の実施例に係る活性度及び協業度に応じたメッセージの一例を示す図である。
【図７】本発明の第１の実施例に係る警告情報の一例を示す図である。
【図８】本発明の第２の実施例に係る遠隔会議支援システムの動作を示すフローチャート図である。
【図９】本発明の第３の実施例に係る遠隔会議支援システムの動作を示すフローチャート図である。
【図１０】本発明の第４の実施例に係る遠隔会議支援システムの動作を示すフローチャート図である。
【図１１】本発明の第５の実施例に係る遠隔会議支援システムの動作を示すフローチャート図である。
【発明を実施するための形態】
【００１５】
背景技術で示したように、各拠点に設置された端末を用いて遠隔会議を行う場合、参加者同士が直接顔を合わせて話し合うときのように発言することが難しいため、会話の発生に拠点や参加者による偏りが生じやすく、円滑な議事進行が図りにくいという問題がある。この問題に対して、参加者及び会議の活性度や参加度を測定する方法が提案されているが、これらの方法は拠点毎の参加人数の寄与や拠点間の発言の切り替わりを考慮していないため、各拠点の状態や拠点間の関係性を適切に判断することができない。
【００１６】
そこで、本発明の一実施の形態では、複数の拠点間で行われる遠隔会議において、発言者一人当たりの発言基準時間と拠点内の発言者切り替わり時間とに基づいて、拠点毎の活性度（発言が活発に行われているかを示す指標）を算出すると共に、各拠点の参加者の人数を考慮した拠点当たりの発言基準時間と拠点切り替わり時間とに基づいて、各拠点の協業度（他の拠点との間のコミュニケーションが図られているかを示す指標）を算出する。そして、上記活性度と協業度を単に表示するのではなく、マップ上に表示して可視化することにより、各拠点の状態を直感的に把握可能にし、更に、活性度及び協業度に応じたメッセージを通知することにより、活発な議論が促進されるようにする。
【００１７】
また、拠点内コミュニケーションに対して、ノンバーバル信号が欠落する分、拠点間コミュニケーションは低下しやすいことを考慮して、拠点当たりの発言基準時間に所定の補正を行い、協業度を適切に算出できるようにする。また、ファシリテータ（議事進行役）の発言によって会議の進行状況が変化することを考慮して、参加者の発言時間とファシリテータの発言時間の比率に応じて活性度を補正したり、発言者の役職に応じて発言時間を重み付けしたりすることにより、活性度を適切に算出できるようにする。
【実施例１】
【００１８】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る遠隔会議支援システム及び遠隔会議支援プログラムについて、図１乃至図７を参照して説明する。図１は、本実施例の遠隔会議支援システムの構成を模式的に示す図であり、図２は、遠隔会議支援システムに含まれる入出力装置及び制御装置の機能構成を示すブロック図、図３は、制御装置のハードウェア構成を示すブロック図である。また、図４は、遠隔会議支援システムの動作を示すフローチャート図である。また、図５は、入出力装置に表示される遠隔会議画面の一例を示す図であり、図６は、活性度及び協業度に応じたメッセージの一例、図７は、警告情報の一例である。
【００１９】
図１（ａ）に示すように、本実施例の遠隔会議支援システムは、各拠点（事業所や営業所などであり、その場所や規模などは任意）に配置され、映像及び音声の入出力を行う複数の入出力装置１０と制御装置２０とで構成され、これらはＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの通信ネットワークを介して相互に接続されている。なお、図１（ａ）では、遠隔会議支援システムに一つの制御装置２０を備える構成を示しているが、図１（ｂ）に示すように、各々の入出力装置１０にも制御装置２０が接続され、個々の入出力装置１０を制御する制御装置２０とシステム全体を制御する制御装置２０とで制御を分担する構成としてもよい。
【００２０】
図２は、本実施例の遠隔会議支援システムの詳細構成を示すブロック図である。図２に示すように、入出力装置１０は、入力部１０ａと出力部１０ｂとで構成される。また、制御装置２０は、検出／測定部２０ａと計算部２０ｂとで構成される。なお、図２では、入力部１０ａと出力部１０ｂとを統合して入出力装置１０としているが、入力部１０ａと出力部１０ｂとを別々の装置としてもよい。また、図２では、検出／測定部２０ａと計算部２０ｂとを統合して制御装置２０としているが、検出／測定部２０ａと計算部２０ｂとを別々の装置としてもよい。例えば、図１（ｂ）に示すように、各拠点の入出力装置１０に接続される制御装置２０に検出／測定部２０ａを設け、システム全体に接続される制御装置２０に計算部２０ｂを設けるようにしてもよい。以下、図１（ａ）の構成（１台の制御装置２０が全拠点の入出力装置１０を制御する構成）を前提として、入出力装置１０及び制御装置２０の各部について詳細に説明する。
【００２１】
［入出力装置］
入力部１０ａは、撮像部１１と、音声入力部１２と、情報送信部１３などで構成される。映像入力部１１は、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどであり、例えば表示部１５の筐体などに設置され、会議の参加者を撮像し、映像データを情報送信部１３に出力する。音声入力部２１は、所定の指向性を持ったマイクなどであり、会議の参加者毎に設置され、各参加者の音声を検出し、音声データを情報送信部１３に出力する。情報送信部１３は、映像データと音声データを合成して出力する機能を備えたモデムなどであり、撮像部１１から取得した映像データに対して、拠点情報（どの拠点のデータであるかを示す情報）を付加（例えばヘッダに記述）して制御装置２０（検出／測定部２０ａ）に出力する。また、音声入力部１２から取得した音声データに対して、上記拠点情報に加えて、機器情報（どの音声入力部１２から取得した音声データであるかを示す情報）を付加して制御装置２０（検出／測定部２０ａ）に出力する。更に、必要に応じて、接続情報（何台の音声入力部１２が接続されているかを示す情報や音声入力部１２と参加者と必要に応じて役職とを対応付ける情報）を制御装置２０（検出／測定部２０ａ）に出力する。
【００２２】
出力部１０ｂは、情報受信部１４と、表示部１５と、音声出力部１６などで構成される。情報受信部１４は、受信したデータを表示データと音声データに分離する機能を備えたモデムなどであり、後述する計算部２０ｂから、各拠点の映像データに基づいて生成された表示データ及び各音声入力部１２から入力された音声データを受信し、表示部１５及び音声出力部１６に出力する。表示部１５は、ＬＣＤ（Liquid Crystal Display）などであり、表示データに基づく画面（各拠点の映像を組み合わせた画像、活性度及び協業度を示すマップ、活性度及び協業度に応じたメッセージや警告情報などで構成される画面）を表示する。音声出力部１６は、例えば表示部１５の筐体の内部又は外部に設置されるスピーカであり、各拠点の各音声入力部１２で入力された音声及び必要に応じてメッセージや警告情報などを報知する。
【００２３】
［制御装置］
検出／測定部２０ａは、情報受信部２１と、参加人数検出部２２と、発言者特定部２３と、発言時間測定部２４と、発言切り替わり検出部２５と、資料ページめくり検出部２６と、プレゼンテーション時間測定部２７と、情報送信部２８などで構成される。
【００２４】
情報受信部２１は、ＮＩＣ（Network Interface Card）やモデムなどであり、各拠点の入力部１０ａから、拠点情報が付加された映像データ、拠点情報及び機器情報が付加された音声データ、接続情報などを受信する。
【００２５】
参加人数検出部２２は、音声データに付加された機器情報若しくは接続情報に基づいて、各拠点の参加者の人数を検出する。なお、音声入力部１２が参加者毎に設置されていない場合は、各拠点の撮像データを解析し、公知のパターン認識技術を利用して人物を特定することによって参加者の人数を検出することも可能である。また、拠点毎の参加者情報が予め登録され、制御装置２０に記憶されている場合は、参加者情報に基づいて参加者の人数を検出することも可能である。
【００２６】
発言者特定部２３は、音声データに付加された機器情報若しくは接続情報に基づき、どの拠点のどの音声出力部１６からの音声データであるかを特定することによって、発言者がどの拠点のどの参加者であるかを特定する。なお、音声入力部１２が参加者毎に設置されていない場合は、各拠点の撮像データを解析し、公知のパターン認識技術を利用して口の動きを認識することによって発言者を特定することも可能である。また、各参加者の音声パターンを登録しておき、音声データと音声パターンとを比較することによって発言者を特定することも可能である。
【００２７】
発言時間測定部２４は、発言者特定部２３が特定した発言者毎の発言時間を測定すると共に、同じ拠点内の発言者の発言時間を積算して拠点毎の発言時間を取得する。
【００２８】
発言切り替わり検出部２５は、発言者特定部２３が特定した発言者に基づき、拠点内の発言者の切り替わり及び拠点間の発言の切り替わりを検出する。
【００２９】
資料ページめくり検出部２６は、アプリケーションの操作情報（図示しない操作部の操作）に基づいて、プレゼンテーション資料のページが切り替わったことを検出する。この資料ページめくり検出部２６は、後述する第５の実施例で使用する。
【００３０】
プレゼンテーション時間測定部２７は、プレゼンテーション資料のページめくりから次のページめくりまでの時間（すなわち、あるページが表示されている時間：プレゼンテーション時間）を測定する。このプレゼンテーション時間測定部２７も、後述する第５の実施例で使用する。
【００３１】
情報送信部２８は、ＮＩＣやモデムなどであり、各拠点の映像データ及び音声データ、拠点毎の参加者の人数情報、発言者の特定情報、発言者毎の発言時間及び拠点毎の発言時間、発言の切り替わり情報、プレゼンテーション資料のページ切り替わり情報、プレゼンテーション時間などの情報を計算部２０ｂに出力する。なお、情報受信部２１と情報送信部２８を合わせて情報通信部としてもよい。また、検出／測定部２０ａと計算部２０ｂとが同じ制御装置２０内に配置されている場合は、情報送信部２８を省略することも可能である。
【００３２】
計算部２０ｂは、情報受信部３１、モード切り替え部３２、時間算出部３３、活性度算出部３４、拠点間協業度算出部３５、発言時間比較部３６、状態通知部３７、情報送信部３８などで構成される。
【００３３】
情報受信部３１は、ＮＩＣやモデムなどであり、検出／測定部２０ａから、各拠点の撮像データ及び音声データ、拠点毎の参加者の人数情報、発言者の特定情報、発言者毎の発言時間及び拠点毎の発言時間、発言の切り替わり情報、プレゼンテーション資料のページ切り替わり情報、プレゼンテーション時間などの情報を受信する。なお、検出／測定部２０ａと計算部２０ｂとが同じ制御装置２０内に配置されている場合は、情報受信部３１を省略することも可能である。
【００３４】
モード切り替え部３２は、手動（ファシリテータや参加者の操作）や自動（プレゼンテーション時間に基づく制御）により、遠隔会議支援システムの動作モードをディスカッションモード又はプレゼンテーションモードに切り替える。
【００３５】
時間算出部３３は、参加者一人当たりの発言基準時間を設定すると共に、参加者一人当たりの発言基準時間と参加人数検出部２２が検出した拠点毎の参加者の人数とに基づいて、拠点当たりの発言基準時間を算出する。また、発言切り替わり検出部２５が検出した発言の切り替わり情報に基づき、拠点内の発言者切り替わりまでの所要時間（すなわち、当該拠点のある発言者の発言が開始してから次の発言者が発言を開始するまでの時間）及び拠点切り替わりまでの所要時間（すなわち、当該拠点の最初の発言者が発言を開始してから別の拠点の最初の発言者が発言を開始するまでの時間）を算出する。なお、拠点内で発言者が複数回切り替わった場合は、所要時間はその平均値や代表値などとすることができる。また、拠点切り替わりまでの所要時間に関して、第１の拠点から第２の拠点に発言が切り替わった場合は、第１の拠点の所要時間とし、第２の拠点から第１の拠点に発言が切り替わった場合は、第２の拠点の所要時間とする。
【００３６】
また、時間算出部３３は、発言者の切り替わりが拠点の切り替わりを伴う回数又は比率に応じて協業度の判定基準となる拠点当たりの発言基準時間を補正する（詳細は第２の実施例参照）。また、時間算出部３３は、各拠点の参加者の人数に応じて協業度の判定基準となる拠点当たりの発言基準時間を補正する（詳細は第３の実施例参照）。また、時間算出部３３は、発言者特定部２３が特定した発言者（ファシリテータ）と、発言時間測定部２４が測定した発言者毎の発言時間とに基づき、ファシリテータの１回当たりの発言時間及び発言者１回当たりの発言時間を算出する（詳細は第４の実施例参照）。
【００３７】
活性度算出部３４は、各拠点に対して、参加者一人当たりの発言基準時間と発言者切り替わりまでの所要時間とを比較することによって、拠点内の発言者切り替わり頻度を拠点毎の活性度として算出（例えば、発言者切り替わりまでの所要時間を参加者一人当たりの発言基準時間で除算して正規化した値の逆数を算出）し、算出した活性度と予め定めた値とを比較することによって各拠点の活性の度合いを判定する。また、活性度算出部３４は、後述するファシリテータの１回当たりの発言時間と他の発言者１回当たりの発言時間との比較結果に基づいて活性の度合いの判定結果を補正する（詳細は第４の実施例参照）。
【００３８】
拠点間協業度算出部３５は、各拠点に対して、拠点当たりの発言基準時間と拠点切り替わりまでの所要時間とを比較することによって、拠点間での会話の切り替わり頻度を拠点間の協業度として算出（例えば、拠点切り替わりまでの所要時間を拠点当たりの発言基準時間で除算して正規化した値の逆数を算出）し、算出した協業度と予め定めた値とを比較することによって各拠点の協業の度合いを判定する。
【００３９】
発言時間比較部３６は、時間算出部３３が算出したファシリテータの１回当たりの発言時間と他の発言者１回当たりの発言時間とを比較し、その比較結果に基づいて警告を行う。例えば、各拠点又は全拠点の参加者一人当たり発言時間に対するファシリテータの発言時間の比率が予め定めた値よりも大きい場合（すなわち、ファシリテータが主に話している場合）は、その旨の警告情報を当該拠点又は全拠点の表示部１５及び／又は音声出力部１６に出力させる。また、特定の拠点又は特定の参加者の発言時間が予め定めた値を下回った場合は、その旨の警告情報を当該拠点又は全拠点の表示部１５及び／又は音声出力部１６に出力させる。なお、各発言者の発言時間を算出するに当たり、必要に応じて、参加者の役職等を考慮して発言時間を補正する。
【００４０】
状態通知部３７は、拠点毎に、各拠点の映像を所定の位置に所定のサイズで配置（自拠点の映像を例えば左上に大きく配置）した画像（拠点画像と呼ぶ。）が表示される画面（後述する遠隔会議画面）の表示データを生成して表示部１５に表示させる。その際、活性度算出部３４が算出した活性度及び拠点間協業度算出部３５が算出した協業度に基づいて各拠点の状態を特定し、その状態をマップ（活性度及び協業度を座標軸とするマップ）上に明示した画像（マップ画像と呼ぶ。）を遠隔会議画面の所定位置（例えば拠点画像の近傍）に配置して参加者に通知する。また、拠点毎に、自拠点の状態に応じたメッセージを遠隔会議画面の所定位置（例えば拠点画像又はマップ画像の近傍）に配置して参加者に通知する。また、状態が好ましくない（活性度及び／又は協業度が所定値以下の）拠点に対して、警告情報を遠隔会議画面の所定位置（例えば拠点画像又はマップ画像の近傍）に配置したり、音声出力部１６に報知させたり、入出力装置１０に予め設けたランプを点灯／点滅させたりして参加者に通知し注意を喚起する。また、拠点画像に対して、状態が好ましくない拠点の表示形態を変更（強調表示）して注意を喚起する。
【００４１】
情報送信部３８は、ＮＩＣやモデムなどであり、拠点画像とマップ画像と必要に応じてメッセージや警告情報とで構成される遠隔会議画面の表示データと、情報受信部２１が受信した音声データと、必要に応じて警告音声データとを各拠点の出力部１０ｂに出力する。なお、情報受信部２１と情報送信部３８を合わせて情報通信部としてもよい。
【００４２】
上記図２の各部の構成及び処理内容は適宜変更可能である。参加人数検出部２２と発言者特定部２３と発言時間測定部２４と発言切り替わり検出部２５と必要に応じて資料ページめくり検出部２６やプレゼンテーション時間測定部２７などを合わせて情報取得部としたり、時間算出部３３と活性度算出部３４と拠点間協業度算出部３５と状態通知部３７と必要に応じて発言時間比較部３６やモード切り替え部３２などを合わせて情報処理部としたりすることもできる。
【００４３】
図３は、本実施例の制御装置２０のハードウェア構成であり、制御装置２０は、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などのメモリとを含む。そして、上記情報取得部や情報処理部の各機能を実現する制御プログラム（遠隔会議支援プログラム）はＲＯＭに記憶され、ＣＰＵは、ＲＯＭに記憶した制御プログラムをＲＡＭに展開して実行することにより、制御装置２０を情報取得部や情報処理部として機能させることができる。
【００４４】
次に、上記構成の遠隔会議支援システムの動作について説明する。ＣＰＵは、ＲＯＭに記憶した制御プログラムを実行することにより、図４のフローチャート図に示す各ステップの処理を実行する。図４は、協業度を各拠点の参加者の人数による正規化する場合の例である。なお、具体的数値の算出にあたって、拠点を拠点Ａと拠点Ｂの２つとし、拠点Ａの人数を１０人、拠点Ｂの人数を２人とする。また、活性度の算出にあたって、参加者一人当たりの発言基準時間を３分に設定する。また、音声入力部１２と各参加者（ファシリテータを含む。）とは予め対応付けられているものとする。
【００４５】
まず、参加人数検出部２２は、各参加者に割り当てられた音声入力部１２の接続数（接続情報）から拠点毎の参加者を検出する（Ｓ１０１）。
【００４６】
次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）を設定する（Ｓ１０２）。ここでは、上述したように３分に設定する。
【００４７】
次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）に参加人数検出部２２が検出した各拠点の参加者の人数を乗算して、拠点当たりの発言基準時間（Ｔｋ）を算出する（Ｓ１０３）。ここでは、発言基準時間（Ｔ）は３分であり、各拠点の参加者の人数は、拠点Ａが１０人、拠点Ｂが２人であることから、拠点当たりの発言基準時間（Ｔｋ）は、拠点Ａは３分×１０人＝３０分、拠点Ｂは３分×２人＝６分となる。
【００４８】
次に、検出／測定部２０ａは、モード切り替え部３２によりディスカッションモードが開始されたかを判断し（Ｓ１０４）、ディスカッションモードが開始していない場合（プレゼンテーションモードの場合）は、Ｓ１０１に戻って同様の処理を繰り返す。一方、ディスカッションモードが開始された場合は、情報受信部２１は、各拠点の入力部１０ａから、撮像部１１が取得した映像データ（拠点情報を含む。）及び音声入力部１２が取得した音声データ（拠点情報と機器情報を含む。）を受信する（Ｓ１０５）。
【００４９】
次に、発言者特定部２３は、音声データに付加された拠点情報及び機器情報に基づいて、発言者及びその発言者が属する拠点を特定する（Ｓ１０６）。また、発言時間測定部２４は、発言者の発言時間を測定する。
【００５０】
次に、発言切り替わり検出部２５は、発言者特定部２３が特定した発言者の変化に基づいて、発言者及び拠点の切り替わりを検知する（Ｓ１０７）。
【００５１】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した発言者の切り替わりに基づいて、発言者切り替わりまでの所要時間（Ｔｘ）を算出する（Ｓ１０８）。
【００５２】
次に、活性度算出部３４は、拠点毎に、Ｓ１０２で設定した参加者一人当たりの発言基準時間（Ｔ）とＳ１０８で算出した発言者切り替わりまでの所要時間（Ｔｘ）とを比較しその比較結果に基づいて活性度を算出し、活性の度合いを判定する（Ｓ１０９）。例えば、Ｔ＞Ｔｘの場合（すなわち発言者が頻繁に切り替わっている場合）は”good”、Ｔ≦Ｔｘの場合（すなわち発言者があまり切り替わっていない場合）は”bad”と判定する。具体的には、（Ｔ）を３分とした場合は、発言者が３分未満で切り替わっている場合は”good”、発言者が３分以上切り替わっていない場合は”bad”と判定する。
【００５３】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した拠点の切り替わりに基づいて、拠点切り替わりまでの所要時間（Ｔｙ）を算出する（Ｓ１１０）。
【００５４】
次に、拠点間協業度算出部３５は、拠点毎に、Ｓ１０３で算出した拠点当たりの発言基準時間（Ｔｋ）とＳ１１０で算出した拠点切り替わりまでの所要時間（Ｔｙ）とを比較しその比較結果に基づいて協業度を算出し、協業の度合いを判定する（Ｓ１１１）。例えば、Ｔｋ＞Ｔｙの場合（すなわち発言の拠点が頻繁に切り替わっている場合）は”good”、Ｔｋ≦Ｔｙの場合（すなわち発言の拠点があまり切り替わっていない場合）は”bad”と判定する。具体的には、拠点当たりの発言基準時間（Ｔｋ）は、拠点Ａが３０分、拠点Ｂが６分であることから、拠点Ａの協業度は、拠点Ａから拠点Ｂへの切り替わりまでの所要時間が３０分未満なら”good”、３０分以上なら”bad”、拠点Ｂの協業度は、拠点Ｂから拠点Ａへの切り替わりまでの所要時間が６分未満なら”good”、６分以上なら”bad”と判定する。
【００５５】
次に、状態通知部３７は、拠点毎に、各拠点の映像データを組み合わせた拠点画像と、当該拠点の活性度及び協業度をマップに明示したマップ画像とを含む遠隔会議画面を、当該拠点の表示部１５に表示させる（Ｓ１１２）。また、各拠点の音声出力部１６は、発言者の音声を出力する。図５は、ある拠点の表示部１５に表示される遠隔会議画面４０の一例であり、各拠点の会議室の映像が所定の位置に所定のサイズで配置（ここでは、自拠点の映像が大きく表示）された拠点画像４１が表示されると共に、活性度及び協業度で特定される自拠点の状態（図の丸印）がマップ上に明示されたマップ画像４２が表示される。また、活性度及び協業度が再度算出された場合は、矢印により自拠点の状態の変化がマップ上で識別可能に表示される。このような遠隔会議画面４０を各拠点に表示させることにより、各参加者は自拠点の状態を知ることができ、活性度及び協業度に応じて発言を行うことにより、円滑かつ活発な議事進行を図ることができる。
【００５６】
次に、状態通知部３７は、拠点毎に、上記活性度及び協業度のマップ上の位置（事象）に応じたメッセージを特定し、特定したメッセージを表示部１５に表示、及び／又は、音声出力部１６に報知させる（Ｓ１１３）。図６は、事象に応じたメッセージの一例であり、このメッセージを各拠点の遠隔会議画面４０上の所定の位置若しくは別のウィンドウに表示させたり、音声出力部１６から報知させたりすることにより、遠隔会議支援システム全体を適正に機能させることができる。また、活性度及び協業度で特定される状態が好ましくない（例えば、活性度及び協業度が共に低い）拠点がある場合は、その拠点の遠隔会議画面４０上に図７に示すような警告情報４３（例えば、「○○拠点さん、何か発言はありませんか？」など）を表示したり、音声出力部１６に報知させたりして、発言を促す。また、拠点画像４１の内の状態が好ましくない拠点の映像に枠を付加したり、明るく表示したり、点滅させたり、他の拠点に比べて大きく表示したりして強調表示することにより、発言を促す。
【００５７】
その後、検出／測定部２０ａは、モード切り替え部３２によりディスカッションモードが終了されたかを判断し（Ｓ１１４）、ディスカッションモードが終了されていない場合はＳ１０５に戻って同様の処理を繰り返す。
【００５８】
このように、本実施例の遠隔会議支援システム（制御装置２０）は、各拠点の各参加者の発言時間に基づいて、拠点内での発言頻度を示す活性度、及び、拠点間での発言頻度を示す協業度を算出してマップ上に表示するため、そのマップを確認することによって各拠点の参加者は自拠点の状態を知ることができ、円滑かつ活発な議事進行を図ることができる。また、活性度及び協業度に応じたメッセージが表示／報知されるため、遠隔会議支援システム全体を適正に機能させることができる。
【実施例２】
【００５９】
次に、本発明の第２の実施例に係る遠隔会議支援システム及び遠隔会議支援プログラムについて、図８を参照して説明する。図８は、遠隔会議支援システムの動作を示すフローチャート図である。前記した第１の実施例では、協業度を各拠点の参加者の人数により正規化する場合を示したが、本実施例では、協業度をより正確に判定するために、発言の切り替わりの状態に基づいて協業度の判定基準を補正するように制御する。なお、本実施例の遠隔会議支援システムの構成は第１の実施例の図１乃至図３と同様であるため説明は省略する。以下、遠隔会議支援システムの動作について説明する。ＣＰＵは、ＲＯＭに記憶した制御プログラムを実行することにより、図８のフローチャート図に示す各ステップの処理を実行する。
【００６０】
第１の実施例と同様に、参加人数検出部２２は、各参加者に割り当てられた音声入力部１２の接続数から拠点毎の参加者を検出する（Ｓ２０１）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）を設定する（Ｓ２０２）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）に参加人数検出部２２が検出した各拠点の参加者の人数を乗算して、拠点当たりの発言基準時間（Ｔｋ）を算出する（Ｓ２０３）。
【００６１】
そして、ディスカッションモードが開始されたら（Ｓ２０４のＹｅｓ）、情報受信部２１は、各拠点の入力部１０ａから、撮像部１１が取得した映像データ（拠点情報を含む。）及び音声入力部１２が取得した音声データ（拠点情報と機器情報を含む。）を受信し（Ｓ２０５）、発言者特定部２３は、音声データに付加された拠点情報及び機器情報に基づいて、発言者及びその発言者が属する拠点を特定する（Ｓ２０６）。また、発言時間測定部２４は、発言者の発言時間を測定する。次に、発言切り替わり検出部２５は、発言者特定部２３が特定した発言者の変化に基づいて、発言者及び拠点の切り替わりを検知する（Ｓ２０７）。
【００６２】
次に、本実施例では、時間算出部３３は、発言切り替わり検出部２５が検出した拠点切り替わりに基づいて、拠点切り替わりまでの所要時間（Ｔｙ）を算出し（Ｓ２０８）、発言者の切り替わりが拠点切り替わりを伴っているかを判断する（Ｓ２０９）。なお、複数回、発言者が切り替わっている場合は、拠点切り替わりを伴う回数、又は、拠点切り替わりを伴わない回数に対する拠点切り替わりを伴う回数の比率が所定値以上かを判断してもよい。発言者の切り替わりが拠点切り替わりを伴っている場合（若しくは上記回数又は比率が所定値以上の場合）は、拠点間での発言のやり取りが頻繁に行われている良好な状態であると考えられることから、時間算出部３３は、協業度の判定基準となる拠点当たりの発言基準時間（Ｔｋ）に、協業度判定基準時間補正係数（拠点切り替わり促進係数ｐ）として１よりも大きい値を乗算する（Ｓ２１０）。一方、発言者の切り替わりが拠点切り替わりを伴っていない場合（若しくは上記回数又は比率が所定値未満の場合）は、拠点間での発言のやり取りがあまり行われていない状態であると考えられることから、時間算出部３３は、協業度の判定基準となる拠点当たりの発言基準時間（Ｔｋ）に、上記促進係数ｐとして１以下の値を乗算する（Ｓ２１１）。
【００６３】
次に、拠点間協業度算出部３５は、拠点毎に、Ｓ２０８で算出した拠点切り替わりまでの所要時間（Ｔｙ）とＳ２１０及びＳ２１１で重み付けした拠点当たりの発言基準時間（Ｔｋ）とを比較し、その比較結果に基づいて協業度を算出し、協業の度合いを判定する（Ｓ２１２）。例えば、Ｔｋ＞Ｔｙの場合は”good”、Ｔｋ≦Ｔｙの場合は”bad”と判定する。
【００６４】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した発言者の切り替わりに基づいて、発言者切り替わりまでの所要時間（Ｔｘ）を算出する（Ｓ２１３）。そして、活性度算出部３４は、拠点毎に、Ｓ２０２で設定した参加者一人当たりの発言基準時間（Ｔ）とＳ２１３で算出した発言者切り替わりまでの所要時間（Ｔｘ）とを比較し、その比較結果に基づいて活性度を算出し、活性の度合いを判定する（Ｓ２１４）。例えば、Ｔ＞Ｔｘの場合は”good”、Ｔ≦Ｔｘの場合は”bad”と判定する。
【００６５】
次に、状態通知部３７は、拠点毎に、各拠点の映像データを組み合わせた拠点画像と、当該拠点の活性度及び協業度をマップに明示したマップ画像とを含む遠隔会議画面を、当該拠点の表示部１５に表示させ（Ｓ２１５）、各拠点の音声出力部１６は、発言者の音声を出力する。また、状態通知部３７は、上記活性度及び協業度のマップ上の位置（事象）に応じたメッセージを特定し、特定したメッセージを表示部１５に表示、及び／又は、音声出力部１６に報知させる（Ｓ２１６）。また、活性度及び協業度で特定される状態が好ましくない拠点がある場合は、警告情報を表示部１５に表示、及び／又は、音声出力部１６に報知させたり、その拠点の映像を強調表示させたりして発言を促す。
【００６６】
その後、ディスカッションモードが終了されたかを判断し（Ｓ２１７）、ディスカッションモードが終了するまで、Ｓ２０５〜Ｓ２１６の処理を繰り返す。
【００６７】
このように、本実施例では、発言者の切り替わりが拠点切り替わりを伴うか否かに応じて協業度の判定基準となる拠点切り替わりまでの所要時間を補正するため、拠点間の発言のやり取りを促進して遠隔会議支援システム全体を適正に機能させることができる。
【実施例３】
【００６８】
次に、本発明の第３の実施例に係る遠隔会議支援システム及び遠隔会議支援プログラムについて、図９を参照して説明する。図９は、遠隔会議支援システムの動作を示すフローチャート図である。前記した第２の実施例では、拠点間切り替わり頻度に基づいて協業度の判定基準を補正したが、本実施例では、少人数拠点の発言であるか否かに基づいて協業度の判定基準を補正するように制御する。なお、本実施例の遠隔会議支援システムの構成も第１の実施例の図１乃至図３と同様であるため説明は省略する。以下、遠隔会議支援システムの動作について説明する。ＣＰＵは、ＲＯＭに記憶した制御プログラムを実行することにより、図９のフローチャート図に示す各ステップの処理を実行する。
【００６９】
第１及び第２の実施例と同様に、参加人数検出部２２は、各参加者に割り当てられた音声入力部１２の接続数から拠点毎の参加者を検出する（Ｓ３０１）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）を設定する（Ｓ３０２）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）に参加人数検出部２２が検出した各拠点の参加者の人数を乗算して、拠点当たりの発言基準時間（Ｔｋ）を算出する（Ｓ３０３）。
【００７０】
そして、ディスカッションモードが開始されたら（Ｓ３０４のＹｅｓ）、情報受信部２１は、各拠点の入力部１０ａから、撮像部１１が取得した映像データ（拠点情報を含む。）及び音声入力部１２が取得した音声データ（拠点情報と機器情報を含む。）を受信し（Ｓ３０５）、発言者特定部２３は、音声データに付加された拠点情報及び機器情報に基づいて、発言者及びその発言者が属する拠点を特定する（Ｓ３０６）。また、発言時間測定部２４は、発言者の発言時間を測定する。次に、発言切り替わり検出部２５は、発言者特定部２３が特定した発言者の変化に基づいて、発言者及び拠点の切り替わりを検知する（Ｓ３０７）。
【００７１】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した拠点切り替わりに基づいて、拠点切り替わりまでの所要時間（Ｔｙ）を算出する（Ｓ３０８）。ここで、第２の実施例では、発言者の切り替わりが拠点切り替わりを伴っているかを判断したが、本実施例では、時間算出部３３は、参加者の人数が予め定めた人数（例えば、２人）以下の少人数の拠点であるかを判断する（Ｓ３０９）。少人数の拠点の場合は、発言する機会が少なく、１回の発言が相対的に長くなる傾向があることから、時間算出部３３は、拠点当たりの発言基準時間（Ｔｋ）に、協業度判定基準時間補正係数（少人数拠点発言促進係数ｑ）として１よりも大きい値を乗算する（Ｓ３１０）。一方、少人数の拠点でない場合は、発言する機会が多く、１回の発言が相対的に短くなる傾向があることから、時間算出部３３は、上記促進係数ｑとして１以下の値を乗算する（Ｓ３１１）。すなわち、協業度の判定基準となる拠点当たりの発言基準時間（Ｔｋ）の重み付けを行い、少人数の拠点にできるだけ発言させるように仕向ける。なお、ここでは参加者の人数が所定数か否かに応じて促進係数を２つの値に設定したが、参加者の人数に応じて促進係数を徐々に変化させる（参加人数が多くなるほど促進係数を小さくする）ようにしてもよい。
【００７２】
次に、拠点間協業度算出部３５は、拠点毎に、Ｓ３０８で算出した拠点切り替わりまでの所要時間（Ｔｙ）とＳ３１０及びＳ３１１で重み付けした拠点当たりの発言基準時間（Ｔｋ）とを比較し、その比較結果に基づいて協業度を算出し、協業の度合いを判定する（Ｓ３１２）。例えば、Ｔｋ＞Ｔｙの場合は”good”、Ｔｋ≦Ｔｙの場合は”bad”と判定する。
【００７３】
次に、第２の実施例と同様に、時間算出部３３は、発言切り替わり検出部２５が検出した発言者の切り替わりに基づいて、発言者切り替わりまでの所要時間（Ｔｘ）を算出する（Ｓ３１３）。そして、活性度算出部３４は、拠点毎に、Ｓ３０２で設定した参加者一人当たりの発言基準時間（Ｔ）とＳ３１３で算出した発言者切り替わりに要する時間（Ｔｘ）とを比較し、その比較結果に基づいて活性度を算出し、活性の度合いを判定する（Ｓ３１４）。例えば、Ｔ＞Ｔｘの場合は”good”、Ｔ≦Ｔｘの場合は”bad”と判定する。
【００７４】
次に、状態通知部３７は、拠点毎に、各拠点の映像データを組み合わせた拠点画像と、当該拠点の活性度及び協業度をマップに明示したマップ画像とを含む遠隔会議画面を、当該拠点の表示部１５に表示させ（Ｓ３１５）、各拠点の音声出力部１６は、発言者の音声を出力する。また、状態通知部３７は、上記活性度及び協業度のマップ上の位置（事象）に応じたメッセージを特定し、特定したメッセージを表示部１５に表示、及び／又は、音声出力部１６に報知させる（Ｓ３１６）。また、活性度及び協業度で特定される状態が好ましくない拠点がある場合は、警告情報を表示部１５に表示、及び／又は、音声出力部１６に報知させたり、その拠点の映像を強調表示させたりして発言を促す。
【００７５】
その後、ディスカッションモードが終了されたかを判断し（Ｓ３１７）、ディスカッションモードが終了するまで、Ｓ３０５〜Ｓ３１６の処理を繰り返す。
【００７６】
このように、本実施例では、少人数の拠点であるか否かに応じて協業度の判定基準となる拠点切り替わりまでの所要時間を補正するため、少人数の拠点の発言を促進することができ、各拠点の参加者の人数がまちまちであっても、遠隔会議支援システム全体を適正に機能させることができる。
【実施例４】
【００７７】
次に、本発明の第４の実施例に係る遠隔会議支援システム及び遠隔会議支援プログラムについて、図１０を参照して説明する。図１０は、遠隔会議支援システムの動作を示すフローチャート図である。前記した第１乃至第３の実施例では、参加者の発言に着目したが、本実施例では、ファシリテータの発言により活性度を補正するように制御する。なお、本実施例の遠隔会議支援システムの構成も第１の実施例の図１乃至図３と同様であるため説明は省略する。以下、遠隔会議支援システムの動作について説明する。ＣＰＵは、ＲＯＭに記憶した制御プログラムを実行することにより、図１０のフローチャート図に示す各ステップの処理を実行する。
【００７８】
第１乃至第３の実施例と同様に、参加人数検出部２２は、各参加者に割り当てられた音声入力部１２の接続数から拠点毎の参加者を検出する（Ｓ４０１）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）を設定する（Ｓ４０２）。次に、時間算出部３３は、参加者一人当たりの発言基準時間（Ｔ）に参加人数検出部２２が検出した各拠点の参加者の人数を乗算して、拠点当たりの発言基準時間（Ｔｋ）を算出する（Ｓ４０３）。
【００７９】
そして、ディスカッションモードが開始されたら（Ｓ４０４のＹｅｓ）、情報受信部２１は、各拠点の入力部１０ａから、撮像部１１が取得した映像データ（拠点情報を含む。）及び音声入力部１２が取得した音声データ（拠点情報と機器情報を含む。）を受信し（Ｓ４０５）、発言者特定部２３は、音声データに付加された拠点情報及び機器情報に基づいて、発言者及びその発言者が属する拠点を特定する（Ｓ４０６）。また、発言時間測定部２４は、発言者の発言時間を測定する。次に、発言切り替わり検出部２５は、発言者特定部２３が特定した発言者の変化に基づいて、発言者及び拠点の切り替わりを検知する（Ｓ４０７）。
【００８０】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した拠点切り替わりに基づいて、拠点切り替わりまでの所要時間（Ｔｙ）を算出する（Ｓ４０８）。次に、拠点間協業度算出部３５は、拠点毎に、Ｓ４０３で算出した拠点当たりの発言基準時間（Ｔｋ）とＳ４０８で算出した拠点切り替わりまでの所要時間（Ｔｙ）とを比較し、その比較結果に基づいて協業度を算出し、協業の度合いを判定する（Ｓ４０９）。例えば、Ｔｋ＞Ｔｙの場合は”good”、Ｔｋ≦Ｔｙの場合は”bad”と判定する。
【００８１】
次に、時間算出部３３は、発言切り替わり検出部２５が検出した発言者の切り替わりに基づいて、発言者切り替わりまでの所要時間（Ｔｘ）を算出する（Ｓ４１０）。そして、活性度算出部３４は、拠点毎に、Ｓ４０２で設定した参加者一人当たりの発言基準時間（Ｔ）とＳ４１０で算出した発言者切り替わりに要する時間（Ｔｘ）とを比較し、その比較結果に基づいて活性度を算出し、活性の度合いを判定する（Ｓ４１１）。例えば、Ｔ＞Ｔｘの場合は”good”、Ｔ≦Ｔｘの場合は”bad”と判定する。
【００８２】
ここで、ファシリテータの発言時間が長い場合は、参加者が主体的に議論していない（すなわち、活性度が低い）と考えられる。そこで、本実施例では、時間算出部３３は、ファシリテータの１回当たりの発言時間（Ｔ２）を算出すると共に（Ｓ４１２）、発言者１回当たりの発言時間（Ｔ３）を算出し（Ｓ４１３）、発言時間比較部３６は、発言者の発言時間に対するファシリテータの発言時間の比率と、予め定めた活性度判定基準時間補正係数（参加者発言促進係数ｒ）とを比較する。そして、活性度算出部３４は、その比較結果に応じて、活性の度合いの判定結果を補正する（Ｓ４１４）。例えば、Ｔ２／Ｔ３がｒよりも小さい（すなわちファシリテータの発言比率が低い）場合は”good”、Ｔ２／Ｔ３がｒ以上（すなわちファシリテータの発言比率が高い）場合は”bad”と判定する。
【００８３】
その後、第１乃至第３の実施例と同様に、状態通知部３７は、拠点毎に、各拠点の映像データを組み合わせた拠点画像と、当該拠点の活性度及び協業度をマップに明示したマップ画像とを含む遠隔会議画面を、当該拠点の表示部１５に表示させ（Ｓ４１５）、各拠点の音声出力部１６は、発言者の音声を出力する。また、状態通知部３７は、上記活性度及び協業度のマップ上の位置（事象）に応じたメッセージを特定し、特定したメッセージを表示部１５に表示、及び／又は、音声出力部１６に報知させる（Ｓ４１６）。また、活性度及び協業度で特定される状態が好ましくない拠点がある場合は、警告情報を表示部１５に表示、及び／又は、音声出力部１６に報知させたり、その拠点の映像を強調表示させたりして発言を促す。また、発言者の発言時間に対するファシリテータの発言時間の比率が参加者発言促進係数よりも大きい場合は、発言時間比較部３６は、ファシリテータの発言を制止若しくは参加者に積極的に発言するように促す警告情報を表示部１５に表示、及び／又は、音声出力部１６に報知させる。
【００８４】
そして、ディスカッションモードが終了されたかを判断し（Ｓ４１７）、ディスカッションモードが終了するまで、Ｓ４０５〜Ｓ４１６の処理を繰り返す。
【００８５】
このように、本実施例では、ファシリテータの発言比率に応じて活性度を補正したり警告したりするため、活発な議論を促進させることができ、遠隔会議支援システム全体を適正に機能させることができる。
【実施例５】
【００８６】
次に、本発明の第５の実施例に係る遠隔会議支援システム及び遠隔会議支援プログラムについて、図１１を参照して説明する。図１１は、遠隔会議支援システムの動作を示すフローチャート図である。前記した第１乃至第４の実施例では、ディスカッションモードを手動で開始／終了する構成としたが、本実施例では、プレゼンテーション資料のページめくりに基づいて、ディスカッションモードを自動判定するように制御する。なお、本実施例の遠隔会議支援システムの構成も第１の実施例の図１乃至図３と同様であるため説明は省略する。以下、遠隔会議支援システムの動作について説明する。ＣＰＵは、ＲＯＭに記憶した制御プログラムを実行することにより、図１１のフローチャート図に示す各ステップの処理を実行する。
【００８７】
まず、資料ページめくり検出部２６は、アプリケーションの操作情報に基づいて、プレゼンテーション資料のページが切り替わったことを検出する（Ｓ５０１）。そして、プレゼンテーション時間測定部２７は、プレゼンテーション資料のページめくりから次のページめくりまでの時間をプレゼンテーションとして計測する（Ｓ５０２）。
【００８８】
次に、モード切り替え部３２は、ページめくり間隔と予め定めた時間Ｙとを比較する（Ｓ５０３）。ページめくり間隔が上記時間Ｙよりも短い場合は、プレゼンテーション資料を説明していると考えられることから、モード切り替え部３２は、プレゼンテーションモードを継続し（Ｓ５０４）、Ｓ５０１に戻って同様の処理を繰り返す。一方、ページめくり間隔が上記時間Ｙ以上の場合は、プレゼンテーション資料に基づいて議論していると考えられることから、モード切り替え部３２は、ディスカッションモードを開始する（Ｓ５０５）。
【００８９】
このように、本実施例では、プレゼンテーション資料のページめくりの間隔に基づいてプレゼンテーションモードとディスカッションモードを切り替えるため、特別な操作をすることなく議論に集中することができる。
【００９０】
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、遠隔会議支援システムの構成や制御は適宜変更可能である。
【００９１】
例えば、上記実施例では、図１（ａ）の構成を前提にして説明したが、図１（ｂ）のように各拠点にも制御装置２０（検出／測定部２０ａ）が接続される場合に対しても本発明を同様に適用することができる。具体的には、各拠点の制御装置２０（検出／測定部２０ａ）は自拠点の参加人数を検出し、自拠点の発言者の発言時間を特定すると共に、自拠点内の発言者の切り替わり、自拠点から他の拠点への発言の切り替わりを検出し、それらの情報を遠隔会議支援システム全体を制御する制御装置（計算部２０ｂ）に送信し、当該制御装置（計算部２０ｂ）は、拠点毎に活性度及び協業度を算出して状態を判断すればよい。また、第２乃至第４の実施例の制御を任意に組み合わせてもよい。
【産業上の利用可能性】
【００９２】
本発明は、複数の拠点間で会議を行う遠隔会議支援システムに利用される端末及び当該端末上で動作するプログラム並びに当該プログラムを記録した記録媒体に利用可能である。
【符号の説明】
【００９３】
１０  入出力装置
１０ａ  入力部
１０ｂ  出力部
１１  撮像部
１２  音声入力部
１３  情報送信部
１４  情報受信部
１５  表示部
１６  音声出力部
２０  制御装置
２０ａ  検出／測定部
２０ｂ  計算部
２１  情報受信部
２２  参加人数検出部
２３  発言者特定部
２４  発言時間測定部
２５  発言切り替わり検出部
２６  資料ページめくり検出部
２７  プレゼンテーション時間測定部
２８  情報送信部
３１  情報受信部
３２  モード切り替え部
３３  時間算出部
３４  活性度算出部
３５  拠点間協業度算出部
３６  発言時間比較部
３７  状態通知部
３８  情報送信部
４０  遠隔会議画面
４１  拠点画像
４２  マップ画像
４３  警告情報
【図１】
2015207806.tif 000003
【図２】
2015207806.tif 000004
【図３】
2015207806.tif 000005
【図４】
2015207806.tif 000006
【図５】
2015207806.tif 000007
【図６】
2015207806.tif 000008
【図７】
2015207806.tif 000009
【図８】
2015207806.tif 000010
【図９】
2015207806.tif 000011
【図１０】
2015207806.tif 000012
【図１１】
2015207806.tif 000013