(57)【要約】【課題】安価な構成で電子会議における発話の促進を図る。【解決手段】全拠点のモニタ１３，２３には話者の映像が映っている。発話監視部１１は、発話中の会議出席者の発話に間を検出すると、その旨を電子会議制御装置３０に通知する。拠点選択部３２は、その通知に応じて通知もと以外の拠点を一つ選択して全拠点に通知する。全拠点における会議制御部１７，２７は、自拠点のモニタ表示を、通知された拠点から配信された撮像データ（当該拠点の会議出席者）に自動的に切り替える。全拠点でモニタ表示された会議出席者は、発言の番と考えて発話を開始する。【選択図】図１
2006304009.tif 000002
【特許請求の範囲】
【請求項１】
電子会議を実施する各拠点と通信可能に接続された電子会議制御装置と、
各拠点に設置され、
電子会議制御装置及び他拠点と各種データを送受信する拠点側通信処理手段と、
会議出席者を撮像する撮像手段と、
会議出席者の音声を入力する音声入力手段と、
自拠点及び拠点側通信処理手段が受信した各他拠点設置の各撮像手段による会議出席者の撮像データの中から少なくともいずれか一拠点の撮像データを画面表示する画像表示手段と、
を備えた電子会議端末装置とを有する電子会議システムにおいて、
各電子会議端末装置を、
自拠点の会議出席者の発話を常時監視することによって、発話中であった当該拠点の会議出席者の発話の間を検出したときに、拠点側通信処理手段を介して発話の間の検出を電子会議制御装置に通知する発話監視手段、
自拠点設置の前記各手段の動作制御を行うことで電子会議の実行を制御する会議制御手段、
として機能させ、また電子会議制御装置を、
各拠点との間で各種データを送受信する会議制御側通信処理手段、
いずれかの拠点設置の発話監視手段から発話の間の検出が通知されたときに、その通知先以外の拠点の中から予め決められた規則に従い一の拠点を選択し、その選択した拠点に関する情報を、会議制御側通信処理手段を介して全拠点へ通知する拠点選択手段、
として機能させるプログラム。
【請求項２】
電子会議を実施する各拠点と通信可能に接続された電子会議制御装置を有する電子会議システムにおいて、
各拠点には、
電子会議制御装置及び他拠点と各種データを送受信する拠点側通信処理手段と、
会議出席者を撮像する撮像手段と、
会議出席者の音声を入力する音声入力手段と、
自拠点及び拠点側通信処理手段が受信した各他拠点設置の各撮像手段による会議出席者の撮像データの中から少なくともいずれか一拠点の撮像データを画面表示する画像表示手段と、
自拠点の会議出席者の発話を常時監視することによって、発話中であった当該拠点の会議出席者の発話の間を検出したときに、拠点側通信処理手段を介して発話の間の検出を電子会議制御装置に通知する発話監視手段と、
前記各手段の動作制御を行うことで電子会議の実行を制御する会議制御手段と、
が設けられ、
電子会議制御装置は、
各拠点との間で各種データを送受信する会議制御側通信処理手段と、
いずれかの拠点設置の発話監視手段から発話の間の検出が通知されたときに、その通知先以外の拠点の中から予め決められた規則に従い一の拠点を選択し、その選択した拠点に関する情報を、会議制御側通信処理手段を介して全拠点へ通知する拠点選択手段と、
を有し、
各拠点設置の各会議制御手段は、当該画像表示手段に、拠点選択手段から通知された情報により特定される拠点から配信された撮像データに切替え表示させることを特徴とする電子会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子会議システム、特に会議における発話交代の便宜を図るための環境構築に関する。
【背景技術】
【０００２】
通常の会議などで行われる対面対話では、名指しの他に、話し手の発話の終了とその時点での視線の動きから次の話者を指定することができる。つまり、「見る」という視線の動きによって発言が促されたりする。
【０００３】
近年では、遠隔地間でも会議を行えるようにカメラとモニタを利用した電子会議システムを導入している企業も少なくない。電子会議システムでは、拠点毎に拠点数分の表示画面を用意できるとは限らないため、モニタに映し出す拠点の切替えという対面での会議にはない画面切替制御や操作等が必要になってくる。
【０００４】
従来の電子会議システムにおいては、手動での画面切替スイッチ操作や、会議参加者の発言を常時監視し、発話を開始した人の拠点にモニタ表示を自動切替えするなどの表示切替制御等でモニタに映し出される拠点を切り替えていた。また、話者の対話動作を監視して、その話者が話しかけている方向のモニタに映し出されている人に発言権を自動委譲する技術があった（例えば、特許文献１）。
【０００５】
ところで、電子会議システムにおいても、通常の会議の場合と同様に発話交代が頻繁に起こり、議論が積極的に行われることが望まれる。このため、発話を促進するような表示画面の自動的な切替制御の実現が期待される。
【０００６】
【特許文献１】特開２０００−２１７０９１公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前述したように発話の開始が確認されてからはじめて画面表示を切り替えるような技術は、発話を促進するものではない。また、話者が話しかけている方向のモニタに映し出されている人に発言権を自動委譲する技術では、視線を向けることによって発言を促すことはできるが、会議参加者の視線方向を監視する必要があるため拠点毎に対話先となる拠点の数だけカメラが必要である（図４）。このため、システムが高価になってしまう。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、安価な構成で電子会議における発話の促進を図ることを目的とする。
【課題を解決するための手段】
【０００９】
以上のような目的を達成するために、本発明に係るプログラムは、電子会議を実施する各拠点と通信可能に接続された電子会議制御装置と、各拠点に設置された電子会議端末装置とを有する電子会議システムであって、各電子会議端末装置は、電子会議制御装置及び他拠点と各種データを送受信する拠点側通信処理手段と、会議出席者を撮像する撮像手段と、会議出席者の音声を入力する音声入力手段と、自拠点及び拠点側通信処理手段が受信した各他拠点設置の各撮像手段による会議出席者の撮像データの中から少なくともいずれか一拠点の撮像データを画面表示する画像表示手段とを備えた電子会議システムにおいて、各電子会議端末装置を、自拠点の会議出席者の発話を常時監視することによって、発話中であった当該拠点の会議出席者の発話の間を検出したときに、拠点側通信処理手段を介して発話の間の検出を電子会議制御装置に通知する発話監視手段、自拠点設置の前記各手段の動作制御を行うことで電子会議の実行を制御する会議制御手段、として機能させ、また電子会議制御装置を、各拠点との間で各種データを送受信する会議制御側通信処理手段、いずれかの拠点設置の発話監視手段から発話の間の検出が通知されたときに、その通知先以外の拠点の中から予め決められた規則に従い一の拠点を選択し、その選択した拠点に関する情報を、会議制御側通信処理手段を介して全拠点へ通知する拠点選択手段として機能させる。
【００１０】
本発明に係る電子会議システムは、電子会議を実施する各拠点と通信可能に接続された電子会議制御装置を有する電子会議システムにおいて、各拠点には、電子会議制御装置及び他拠点と各種データを送受信する拠点側通信処理手段と、会議出席者を撮像する撮像手段と、会議出席者の音声を入力する音声入力手段と、自拠点及び拠点側通信処理手段が受信した各他拠点設置の各撮像手段による会議出席者の撮像データの中から少なくともいずれか一拠点の撮像データを画面表示する画像表示手段と、自拠点の会議出席者の発話を常時監視することによって、発話中であった当該拠点の会議出席者の発話の間を検出したときに、拠点側通信処理手段を介して発話の間の検出を電子会議制御装置に通知する発話監視手段と、前記各手段の動作制御を行うことで電子会議の実行を制御する会議制御手段とが設けられ、電子会議制御装置は、各拠点との間で各種データを送受信する会議制御側通信処理手段と、いずれかの拠点設置の発話監視手段から発話の間の検出が通知されたときに、その通知先以外の拠点の中から予め決められた規則に従い一の拠点を選択し、その選択した拠点に関する情報を、会議制御側通信処理手段を介して全拠点へ通知する拠点選択手段とを有し、各拠点設置の各会議制御手段は、当該画像表示手段に、拠点選択手段から通知された情報により特定される拠点から配信された撮像データに切替え表示させることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、話者の発話の間の検出によって画像表示手段への表示を他拠点に自動的に切り替えるようにしたので、切替先拠点の者の発話の開始を促進することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
【００１３】
図１は、本発明に係る電子会議システムの一実施の形態を示したブロック構成図である。本実施の形態における電子会議システムは、電子会議を実施する各拠点に設置される会議端末装置１０，２０と、各拠点設置の会議端末装置１０，２０と通信可能に接続された電子会議制御装置３０とを有している。なお、図１には、複数拠点のうち２拠点のみを示したが、図１から明らかなように、各拠点に設置する会議端末装置は、同様の構成でよい。なお、図１には２拠点のみ図示したので、以降の説明では、特に断らない限り自拠点を会議端末装置１０としたときには、他拠点の代表として「会議端末装置２０」と記述し、自拠点を会議端末装置２０としたときには、他拠点の代表として「会議端末装置１０」と記述する。電子会議制御装置３０は、この電子会議システムが使用した電子会議全体の制御を実施するための装置である。電子会議制御装置３０の設置場所は、各会議端末装置１０，２０と相互に通信可能であればどこでもよく、センタ的な位置付けの事務所内でも、いずれかの拠点内に設置されてもよい。また、各装置１０〜３０の接続形態は、電子会議が実施可能であれば、インターネット、電話回線、専用線等種々のネットワーク形態で実現可能である。
【００１４】
各会議端末装置１０，２０は、同様に構成を有しているため、ここでは、会議端末装置１０を代表させて説明する。会議端末装置１０は、通信処理部１１、画像撮影部１２、画像表示部１３、音声入力部１４、音声出力部１５、発話監視部１６及び会議制御部１７を有している。
【００１５】
通信処理部１１は、電子会議制御装置３０及び他拠点設置の電子会議端末装置と各種データを送受信するネットワーク通信手段である。画像撮影部１２は、会議出席者を撮像するための手段であり、カメラにより実現される。画像表示部１３は、自拠点の画像撮影部１２が撮像したデータ及び通信処理部１１が受信した他拠点配信の撮像データのうちいずれか一拠点の撮像データを画面表示するための手段であり、モニタにより実現される。他拠点から配信されてきた撮像データには、自拠点と同様に、当該他拠点設置の画像撮影部２２が撮像した当該他拠点における会議出席者の撮像画像である。なお、本実施の形態における画像表示部１３は、会議制御部１７による制御のもとに特定された一拠点の会議出席者を画面表示することになる。ただ、複数拠点の同時表示を否定するものではなく、仮に複数拠点を同時に表示可能とする場合には、拡大表示や表示領域の拡張等を行うことで、表示された複数拠点の中からいずれか一つが、後述する拠点選択部３２にて選択されていることがわかるように表示する。音声入力部１４は、会議出席者の音声を入力するための手段であり、マイクで実現される。音声出力部１５は、いずれかの拠点の音声入力部１４により入力された音声を出力するための手段であり、スピーカで実現される。発話監視部１６は、自拠点の会議出席者の発話を常時監視するための手段であり、会議出席者が発話中であった会議出席者の発話の間を検出したときに、通信処理部１１を介して発話の間の検出を電子会議制御装置３０に通知する。会議制御部１７は、電子会議制御装置３０と協調動作しながら自拠点設置の上記各手段１１〜１６の動作制御を行うことで電子会議の実行を制御する。会議端末装置１０は、通信インタフェース、カメラ、モニタ等を搭載若しくは接続した汎用的なコンピュータにより実現できるが、上記各手段１１〜１７の処理機能は、カメラ、モニタ等の機器及びコンピュータと、コンピュータ搭載のＣＰＵで実行されるプログラムとの協調動作により実現される。
【００１６】
一方、電子会議制御装置３０は、通信処理部３１、拠点選択部３２、会議全体制御部３３、拠点情報記憶部３４及び発話ログファイル３５を有している。通信処理部３１は、各拠点設置の各会議端末装置１０，２０との間で各種データを送受信する。拠点選択部３２は、いずれかの拠点から通知された「発話の間の検出」を通信処理部３１が受信したときに、その通知先以外の拠点の中から予め決められた規則に従い一の拠点を選択し、その選択した拠点に関する情報を、通信処理部３１を介して全拠点へ通知する。会議全体制御部３３は、各拠点設置の各会議制御部１７，２７と連携しながら、また自装置内の上記各手段３１，３２の動作制御を行いながら電子会議全体の実行制御を行う。また、拠点情報記憶部３４には、各拠点に割り振られたネットワークアドレス、各会議端末装置１０，２０の性能情報、会議への参加履歴など、この電子会議システムに参加しうる各拠点に関する情報が登録されている。発話ログファイル３５には、ログ対象とする会議への出席者または出席者所在拠点及び発話者、発話日時等発話に関するログが会議全体制御部３３によって記録される。電子会議制御装置３０は、汎用的なコンピュータにより実現できるが、上記各手段３１〜３３の処理機能は、通信インタフェース等の機器及びコンピュータと、コンピュータ搭載のＣＰＵで実行されるプログラムとの協調動作により実現される。
【００１７】
次に、本実施の形態の会議実施時における動作を、図２乃至図４に示したフローチャートを用いて説明する。
【００１８】
まず、現時点では、会議端末装置１０を使用している会議出席者Ａが話者であり、発話中であるとする。このとき、会議全体制御部３３及び各拠点の会議制御部１７，２７の連携動作によって、全拠点のモニタ１３，２３には、発話中の会議出席者Ａが映し出され、全拠点のスピーカ１５，２５からは、マイク１４から入力された会議出席者Ａの音声が出力される。また、これと並行して電子会議制御装置３０においては、会議全体制御部３３が発話に伴い発話の状況を発話ログファイル３５に記録する。そして、発話中の会議出席者Ａが使用する会議端末装置１０では、図２に示した発話時処理が実施され、その他の拠点に設置の会議端末装置２０では、図３に示した未発話時処理が実施される。また、電子会議制御装置３０では、図４に示した拠点切替処理が実施される。
【００１９】
図２において、発話監視部１６は、会議出席者Ａの発話を常時監視している（ステップ１０１）。これは、マイク１４から入力を監視することで実現できる。発話監視部１６は、会議出席者Ａの発話が間を入れることなく継続されている間は、ステップ１０１が繰り返される（ステップ１０２）。本実施の形態では、この「間」として３００〜４００ｍｓを想定している。ここで、会議出席者Ａの発話の間を検出したとすると、発話監視部１６は、発話の間を検出した旨を、通信処理部１１を介して電子会議制御装置３０の拠点選択部３２に通知する（ステップ１０３）。
【００２０】
図４において、電子会議制御装置３０では、発話の記録等の実行と並行して、発話の間の検出の通知の有無を上記監視している（ステップ３０１）。そして、通信処理部３１を介して会議端末装置１０から発話の間の検出が通知されてくると、拠点選択部３２は、その通知に応じて会議端末装置１０が設置されている拠点以外の拠点の中から予め決められた規則に従い一の拠点を選択する（ステップ３０２）。選択候補は、拠点情報若しくは発話ログファイル３５に会議開始時に登録された会議出席者所在の拠点から特定できる。そして、その拠点の中から、例えば、発話ログファイル３５を参照して発話回数の少ない会議出席者、発話時間の短い会議出席者、発話順から推定できる議論の中心となっている会議出席者、予め登録されている発言順序に従った会議出席者を選択するなど予め決められた規則に従い一拠点を決定する。
【００２１】
一拠点が決まると、拠点選択部３２は、その拠点を特定できる情報を表示切替指示として、通信処理部３１を介して全拠点へ通知する（ステップ３０３）。
【００２２】
図２において、ステップ１０３における間検出の通知後、電子会議制御装置３０からの返信を待っていた会議制御部１７は、表示切替指示として送られてきた拠点に関する情報を受信すると（ステップ１０４）、モニタ１３に表示させる撮像データを、自拠点のカメラ１２で撮像したデータから、受信した情報から特定できる拠点から配信されてきている撮像データに切り替える（ステップ１０５）。話者が使用していた会議端末装置１０の場合、表示切替指示には、自拠点以外が必ず指定されているはずなので、会議制御部１７は、表示の切替え後、図３に示した未発話処理に移行する（ステップ１０６）。
【００２３】
一方、図３において、他拠点の会議端末装置２０における会議制御部２７では、モニタ表示や音声出力等の動作制御と並行して電子会議制御装置３０からの表示切替指示を受信待ちしている（ステップ２０１）、そして、会議制御部２７は、表示切替指示である拠点に関する情報を受信すると、モニタ２３に表示させる撮像データを、会議出席者Ａの映像から、受信した情報から特定できる拠点から配信されてきている撮像データに切り替える（ステップ２０２）。そして、切替先として指定された拠点が自拠点でなければ、発話しない会議出席者が使用する会議端末装置２０として、未発話処理を継続する（ステップ２０３）。
【００２４】
ここで、会議端末装置２０設置の拠点が拠点選択部３２により選択されたとする。従って、以上の説明では、「会議端末装置２０」を他拠点の代表として説明したが、以降の説明では、他拠点の代表としてではなく拠点選択部３２により選択された一拠点として説明する。これに伴い、話者でなくなった会議出席者Ａが使用する「会議端末装置１０」を、以降では他拠点の代表とする。
【００２５】
図３において、他拠点の一つであった会議端末装置２０における会議制御部２７は、表示切替指示である拠点に関する情報を受信すると（ステップ２０１）、モニタ２３に表示させる撮像データを、会議出席者Ａの映像から、受信した情報から特定できる拠点から配信されてきている撮像データに切り替える（ステップ２０２）。そして、ここでは、切替先として指定された拠点が自拠点なので、話者として指定された会議出席者Ｂが使用する会議端末装置２０として、発話処理に移行する（ステップ２０４）。
【００２６】
以上の処理の結果、会議端末装置２０を使用している会議出席者Ｂが話者に変更され、発話を開始することになる。このとき、会議全体制御部３３及び各拠点の会議制御部１７，２７の連携動作によって、全拠点のモニタ１３，２３には、発話中の会議出席者Ｂが映し出され、全拠点のスピーカ１５，２５からは、マイク２４から入力された会議出席者Ｂの音声が出力される。また、これと並行して電子会議制御装置３０においては、会議全体制御部３３が発話に伴い発話の状況を発話ログファイル３５に記録する。
【００２７】
本実施の形態によれば、以上説明したように、話者の発話の間の検出によってモニタ表示を他拠点に自動的に切り替えるようにした。これは、以下の人間の習性に着眼したことによる。複数の参加者による電子会議においては、各拠点のモニタ１３，２３には、通常、同じ画像が映し出される。電子会議の場合は、会議出席者のうち誰かの撮像画像である。ここで、人間の習性として全拠点のモニタ１３，２３に自分の撮像画像が映し出されたとき、その映し出された個人は、自分が発言する番であると認識するはずである。このように、モニタ表示を切り替えることで切替先の会議出席者の発話を促進することができる。対面インタビューでマイクが向けられると、人間の習性として通常は何らかの発言を行うように、このモニタ表示を切り替えるという処理は、対面インタビューでマイクを向ける行為に相当するということもできる。このように、発話の間の検出に応じてモニタ表示の自動切替えを実施することで、話者交代が促進される。
【００２８】
また、「自分がモニタに映し出されてから発話を開始する」ことを換言すると、発話を開始する前にモニタ表示を切り替えることができるとも言うことができる。つまり、発話を検出してから検出した先にモニタ表示を切り替えるという従来技術は、モニタ表示の切替えが発話の開始に常に間に合わないことになるが、本実施の形態では、発話の開始前にモニタの切替表示ができる。また、一拠点において各拠点を映し出すモニタに対応させてカメラを設置しなくてよいので、安価な構成でモニタの自動切替表示を実現することができる。
【図面の簡単な説明】
【００２９】
【図１】本発明に係る電子会議システムの一実施の形態を示したブロック構成図である。
【図２】本実施の形態における会議端末装置で実施される発話時処理を示したフローチャートである。
【図３】本実施の形態における会議端末装置で実施される未発話時処理を示したフローチャートである。
【図４】本実施の形態における電子会議制御装置で実施される拠点切替処理を示したフローチャートである。
【符号の説明】
【００３０】
１０，２０  会議端末装置、１１，２１，３１  通信処理部、１２，２２  画像撮影部（カメラ）、１３，２３  画像表示部（モニタ）、１４，２４  音声入力部（マイク）、１５，２５  音声出力部（スピーカ）、１６，２６  発話監視部、１７，２７  会議制御部、３０  電子会議制御装置、３２  拠点選択部、３３  会議全体制御部、３４  拠点情報記憶部。
【図１】
2006304009.tif 000003
【図２】
2006304009.tif 000004
【図３】
2006304009.tif 000005
【図４】
2006304009.tif 000006