(57)【要約】【課題】サーバと映像や音声等の双方向通信が直接可能な端末の数を、利用者の発言要求検知に基づいて抑制し、伝送遅延、通信障害およびサーバの負荷を低減させることを課題とする。【解決手段】サーバと、複数の情報端末とがネットワークを介して接続され、複数の情報端末が、予め所定の設定条件に基づいて、１または複数個の端末群にグループ化され、１つの端末群は、サーバから共有情報を直接受信可能な１つの代表端末と、代表端末から共有情報の配信を受ける参加端末とを含み、情報端末が、利用者の発言要求を検知する発言検知部と、発言要求情報をサーバへ送信する発言要求部とを備え、サーバが、発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、共有情報を相互に直接送受信可能な双方向通信状態に切り替える双方向通信制御部を備えることを特徴とする。【選択図】図７
2011077839.tif 000002
【特許請求の範囲】
【請求項１】
サーバと、複数の情報端末とがネットワークを介して接続され、
前記情報端末において入力された端末情報をサーバに送信し、
前記サーバが、各情報端末から送信された端末情報を用いて共有情報を生成し、
前記共有情報を前記情報端末へ配信する情報共有システムであって、
前記複数の情報端末が、予め所定の設定条件に基づいて、１または複数個の端末群にグループ化され、１つの端末群は、前記サーバから前記共有情報を直接受信可能な１つの代表端末と、前記代表端末から前記共有情報の配信を受ける参加端末とを含み、
前記各情報端末が、利用者が発言要求をしたことを検知する発言検知部と、
前記発言要求をしたことを示す情報をサーバへ送信する発言要求部と、
前記サーバからの通知によって、情報端末の動作状態を変更する端末モード切替部とを備え、
前記サーバが、前記情報端末から前記発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、前記端末情報と前記共有情報とを相互に直接送受信可能な双方向通信状態に切り替える双方向通信制御部を備え、
前記サーバと双方向通信状態となり利用者の発言が許可される情報端末は、同時には１つだけ存在するように、サーバが管理することを特徴とする情報共有システム。
【請求項２】
前記発言要求をした情報端末であって、サーバとの通信状態が双方向通信状態となっている第１の情報端末が存在する場合に、第２の情報端末の発言検知部が新たな発言要求を検知した場合、前記第２の情報端末の発言要求部は、その新たな発言要求を示す情報をサーバへ送信し、
前記サーバが、第２の情報端末からの発言要求情報を受信した場合に、前記双方向通信制御部が、前記第１の情報端末との双方向通信状態を解除し、新たな発言要求をした前記第２の情報端末とサーバとの間の通信状態を、双方向通信状態に切り替えることを特徴とする請求項１の情報共有システム。
【請求項３】
前記利用者による発言要求の検知が、ほぼ同時に複数の情報端末の発言検知部で行われた場合、
前記サーバの双方向通信制御部は、その複数の情報端末からそれぞれ送信されてきた発言要求情報のうち、最も早く受信した発言要求情報を送信してきた情報端末との通信状態を、双方向通信状態に切り替えるか、あるいは、
受信した複数の発言要求情報を確認し、最も早い時刻に利用者の発言要求が検知されたと判断される情報端末との通信状態を、双方向通信状態に切り替えることを特徴とする請求項１または２の情報共有システム。
【請求項４】
前記情報端末は、利用者の操作による入力信号を入力する入力部と、カメラにより撮影された映像を入力する映像入力部と、マイクから音声を入力する音声入力部とをさらに備え、
前記発言検知部が、前記発言要求を意味する入力信号、発言要求を意味する入力音声、または発言要求を意味する入力映像のいずれか１つ以上を検出した場合に、利用者が発言要求をしたと判断することを特徴とする請求項１乃至３のいずれかの情報共有システム。
【請求項５】
前記グループ化するための前記設定条件は、各情報端末が配置される接続拠点情報であり、
前記サーバは、情報端末毎に前記接続拠点情報を記憶した記憶部を備えることを特徴とする請求項１乃至４のいずれかの情報共有システム。
【請求項６】
前記１つの端末群に属する代表端末は、サーバからストリーミング配信により前記共有情報を受信することを特徴とする請求項１乃至５のいずれかの情報共有システム。
【請求項７】
前記１つの端末群に属する代表端末は、その端末群に属する前記参加端末に対し、前記サーバから受信した共有情報を、ストリーミング配信することを特徴とする請求項１乃至６のいずれかの情報共有システム。
【請求項８】
前記１つの端末群に属する代表端末は、その端末群には属さない他の情報端末へも、前記サーバから受信した共有情報を、ストリーミング配信することを特徴とする請求項７の情報共有システム。
【請求項９】
前記グループ化された１つの端末群が、単一の情報端末から構成されている場合、その情報端末は自らが代表端末となり、その端末群は参加端末を含まない端末群であることを特徴とする請求項１乃至８のいずれかの情報共有システム。
【請求項１０】
サーバと、複数の情報端末とがネットワークを介して接続され、
前記情報端末において入力された端末情報をサーバに送信し、
前記サーバが、各情報端末から送信された端末情報を用いて共有情報を生成し、
前記共有情報を前記情報端末へ配信する情報共有システムの情報共有方法であって、
前記複数の情報端末が、予め所定の設定条件に基づいて、１または複数個の端末群にグループ化され、１つの端末群は、前記サーバから前記共有情報を直接受信可能な１つの代表端末と、前記代表端末から前記共有情報の配信を受ける参加端末とを含む場合に、
前記情報端末が、利用者が発言要求をしたことを検知する発言検知ステップと、
前記発言要求をしたことを示す情報をサーバへ送信する発言要求ステップと、
前記サーバが、前記情報端末から前記発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、前記端末情報と前記共有情報を相互に直接送受信可能な双方向通信状態に切り替え、サーバと双方向通信状態となり利用者の発言が許可される情報端末は、同時には１つだけ存在するように、管理する通信制御ステップと、
前記サーバからの通知によって、発言要求を検知した情報端末の通信状態を双方向通信状態に変更する端末モード切替ステップとを備えたことを特徴とする情報共有方法。
【請求項１１】
コンピュータに、前記請求項１０に記載した情報共有方法の各ステップを実行させるための情報共有システムのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報共有システムに関し、特に、ネットワークを介して接続された複数の情報端末間で、共通の映像や音声等の情報を伝送する情報共有システムに関する。
【背景技術】
【０００２】
従来からネットワークを介して、複数の情報端末間で映像や音声等の情報の伝送を行う通信システムや、専用のサーバ等を介して遠隔地にある複数の情報端末間で音声会議やビデオ会議を行う通信システムが利用されている。
たとえば、従来のビデオ会議システムでは、多地点接続装置（ＭＣＵ：Ｍｕｌｔｉ−ｐｏｉｎｔ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）および、ＭＣＵ機能を有したサーバに、各地点ごとに設置された情報端末や参加者ごとの情報端末が、インターネット，ＬＡＮ，あるいは専用回線等のネットワークを介して接続され、情報端末毎に入力された映像，音声，文書などの情報がＭＣＵに集積され、ＭＣＵにおいて各情報のデコード（複号化），ミキシング（合成），エンコード（符号化）等の一連の処理が行われ、各情報端末に共通の情報として配信される。
一般的に、各情報端末を利用している会議への参加者は、共通の映像を見て、共通の音声を聞きながら会議を行うものとする。
【０００３】
また、特許文献１には、複数の会議端末を多地点接続装置（ＭＣＵ）を介して接続した多地点会議システムにおいて、多地点接続装置が会議への参加端末をグループ毎に管理して、会議端末から多地点接続装置への上り方向のデータ送信は、そのグループの代表者端末のみが行い、一方多地点接続装置から会議端末への下り方向のデータ送信は、全会議参加端末に行い、また、グループの代表者端末を切り替える場合には、会議端末からの上りセッションを設定するための接続要求信号を、ＭＣＵを介して交換することにより、同じグループ内の他会議端末に切り替えを行い、多地点会議装置が管理するセッション数を抑えるようにした多地点会議システムのセッション管理方法が提案されている。
【０００４】
また、特許文献２には、通信元端末及び通信先相手に対応して通信セッションの重要度と復旧要否の情報を予め設定して、セッション重要度テーブルに記憶しておき、緊急セッションなどの重要度の高いセッションの接続要求を受信すると、既存セッションのうち重要度のもっとも低いものを選択して切断するとともに、切断された通信セッションの情報を、セッション復旧テーブルに記憶しておき、セッションリソースに空きができ次第、セッション復旧テーブル１４０に記憶された通信セッションの情報に従い、セッションを自動的に復旧させるゲートウェイ装置が提案されている。
【０００５】
また、特許文献３には、複数の会議端末の中に、他の会議端末から送信されてくる音声データのミキシングを行う機能を有するものが少なくとも１台含まれている場合には、遠隔会議の開催に先立って、多地点音声接続装置に、当該ミキシング機能を有する会議端末を当該多地点音声接続装置と直接通信セッションを確立する子端末として優先的に選択させ、遠隔会議へ参加する会議端末の数の増加に伴って、各会議端末から送信される音声データのミキシングを行う多地点音声接続装置に係る処理負荷が増加することを回避するようにした遠隔会議システムが提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−８０２１２号公報
【特許文献２】特開２００９−４９５５０号公報
【特許文献３】特開２００９−１００１５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、従来のＭＣＵを利用した多地点会議システムでは、ＭＣＵに同時に接続される情報端末の数が増加すればするほど、ＭＣＵと各情報端末間の通信回線で送受信されるトラフィックが増加するので、情報伝送の遅延や、ノイズの発生による通信エラー等の通信障害が起こりやすくなり、円滑な会議の進行ができなくなる場合もある。
さらに、ＭＣＵでは、接続される情報端末が増加すればするほど、エンコード（符号化）、デコード（複号化）等の処理をすべき情報量が増加するので、ＭＣＵにかかる負荷が大きくなり、それにより各情報端末への情報伝送に遅延をもたらすことになる。
【０００８】
また、特許文献１に記載されたシステムでは、ＭＣＵと各会議端末との間のセッション数を抑えることができるが、ＭＣＵから会議端末への下り方向のデータ送信は、ＭＣＵからそれぞれの会議端末に対して行われるため、会議端末数が増加すれば、この下り方向のデータ送信にかかるトラフィックが増加し、ＭＣＵ側で処理すべき情報が増加するので、情報伝送の遅延等の問題が発生しやすくなり、ＭＣＵの負荷も大きくなる。
【０００９】
また、特許文献２のゲートウェイ装置では、予め規定された最大セッション数の範囲内で、通信セッションの重要度に対応してセッションの接続と切断を切り替えているので、その最大セッション数を越えるような情報端末が接続された場合には、単にセッションの接続と切断を切り替える処理をするだけでは、要求される会議を円滑にできない場合がある。
【００１０】
また、特許文献３に記載されたシステムでは、多地点音声接続装置に対する会議端末の接続形態を、ツリー構造としているので、多地点音声接続装置にかかる処理負荷の増加が回避できたとしても、ミキシング機能を有する会議端末を少なくとも１つ以上必要とし、また、ミキシング機能を有する会議端末に接続される会議端末の数が増加すれば、そのミキシング機能を有する会議端末の処理負担が増加し、音声データの遅延等が発生しやすくなり、円滑な会議の進行ができなくなるおそれがある。
【００１１】
そこで、この発明は、以上のような事情を考慮してなされたものであり、サーバに接続されている複数の情報端末のうち、発言要求をした利用者の情報端末を、優先的にサーバと直接双方向通信できる状態にして、実質的にサーバと直接情報通信を行う情報端末の数を抑制して、情報伝送の遅延および、通信エラー等の通信障害の発生の減少、サーバが処理する情報量の低減によるサーバの負荷の軽減を図ることのできる情報共有システムを提供することを課題とする。
【課題を解決するための手段】
【００１２】
この発明は、サーバと、複数の情報端末とがネットワークを介して接続され、前記情報端末において入力された端末情報をサーバに送信し、前記サーバが、各情報端末から送信された端末情報を用いて共有情報を生成し、前記共有情報を前記情報端末へ配信する情報共有システムであって、前記複数の情報端末が、予め所定の設定条件に基づいて、１または複数個の端末群にグループ化され、１つの端末群は、前記サーバから前記共有情報を直接受信可能な１つの代表端末と、前記代表端末から前記共有情報の配信を受ける参加端末とを含み、前記各情報端末が、利用者が発言要求をしたことを検知する発言検知部と、前記発言要求をしたことを示す情報をサーバへ送信する発言要求部と、前記サーバからの通知によって、情報端末の動作状態を変更する端末モード切替部とを備え、前記サーバが、前記情報端末から前記発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、前記端末情報と前記共有情報とを相互に直接送受信可能な双方向通信状態に切り替える双方向通信制御部を備え、前記サーバと双方向通信状態となり利用者の発言が許可される情報端末は、同時には１つだけ存在するように、サーバが管理することを特徴とする情報共有システムを提供するものである。
これにより、サーバに直接接続され双方向通信状態となる情報端末の数が増加することを抑制しているので、情報伝送遅延を低減し、通信エラー等による通信障害を低減させ、サーバで行う情報配信処理にかかる負荷を軽減させることができる。
【００１３】
また、前記発言要求をした情報端末であって、サーバとの通信状態が双方向通信状態となっている第１の情報端末が存在する場合に、第２の情報端末の発言検知部が新たな発言要求を検知した場合、前記第２の情報端末の発言要求部は、その新たな発言要求を示す情報をサーバへ送信し、前記サーバが、第２の情報端末からの発言要求情報を受信した場合に、前記双方向通信制御部が、前記第１の情報端末との双方向通信状態を解除し、新たな発言要求をした前記第２の情報端末とサーバとの間の通信状態を、双方向通信状態に切り替えることを特徴とする。
これによれば、新たな発言要求をした情報端末が出現しても、双方向通信状態の情報端末の数が増加することはなく、情報伝送遅延や通信障害が増加することもなく、サーバの負荷も増加することがない。
【００１４】
さらに、前記利用者による発言要求の検知が、ほぼ同時に複数の情報端末の発言検知部で行われた場合、前記サーバの双方向通信制御部は、その複数の情報端末からそれぞれ送信されてきた発言要求情報のうち、最も早く受信した発言要求情報を送信してきた情報端末との通信状態を、双方向通信状態に切り替えるか、あるいは、受信した複数の発言要求情報を確認し、最も早い時刻に利用者の発言要求が検知されたと判断される情報端末との通信状態を、双方向通信状態に切り替えることを特徴とする。
これにより、利用者の発言権の制御を適切にすることができ、円滑な会議の進行ができる。
【００１５】
また、前記情報端末は、利用者の操作による入力信号を入力する入力部と、カメラにより撮影された映像を入力する映像入力部と、マイクから音声を入力する音声入力部とをさらに備え、前記発言検知部が、前記発言要求を意味する入力信号、発言要求を意味する入力音声、または発言要求を意味する入力映像のいずれか１つ以上を検出した場合に、利用者が発言要求をしたと判断することを特徴とする。
これによれば、利用者の発言要求を適格に検知できる。
【００１６】
また、前記グループ化するための前記設定条件は、各情報端末が配置される接続拠点情報であり、前記サーバは、情報端末毎に前記接続拠点情報を記憶した記憶部を備えることを特徴とする。ここで、接続拠点情報とは、地名や、後述する拠点ＩＤ等を意味する。
【００１７】
また、前記１つの端末群に属する代表端末は、サーバからストリーミング配信により前記共有情報を受信することを特徴とする。これにより、サーバから情報端末へ、共有情報の片方向通信をすることができる。
前記１つの端末群に属する代表端末は、その端末群に属する前記参加端末に対し、サーバから受信した共有情報を、ストリーミング配信することを特徴とする。
前記１つの端末群に属する代表端末は、その端末群には属さない他の情報端末へも、前記サーバから受信した共有情報を、ストリーミング配信することを特徴とする。これにより、サーバの情報配信にかかる負荷をより軽減させることができる。
【００１８】
前記グループ化された１つの端末群が、単一の情報端末から構成されている場合、その情報端末は自らが代表端末となり、その端末群は参加端末を含まない端末群であることを特徴とする。これにより、他の情報端末と同じ端末群にグループ化されなかった単一の情報端末でも、代表端末となることにより、サーバから共有情報を受信できる。
【００１９】
また、この発明は、サーバと、複数の情報端末とがネットワークを介して接続され、前記情報端末において入力された端末情報をサーバに送信し、前記サーバが、各情報端末から送信された端末情報を用いて共有情報を生成し、前記共有情報を前記情報端末へ配信する情報共有システムの情報共有方法であって、前記複数の情報端末が、予め所定の設定条件に基づいて、１または複数個の端末群にグループ化され、１つの端末群は、前記サーバから前記共有情報を直接受信可能な１つの代表端末と、前記代表端末から前記共有情報の配信を受ける参加端末とを含む場合に、前記情報端末が、利用者が発言要求をしたことを検知する発言検知ステップと、前記発言要求をしたことを示す情報をサーバへ送信する発言要求ステップと、前記サーバが、前記情報端末から前記発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、前記端末情報と前記共有情報を相互に直接送受信可能な双方向通信状態に切り替え、サーバと双方向通信状態となり利用者の発言が許可される情報端末は、同時には１つだけ存在するように、管理する通信制御ステップと、前記サーバからの通知によって、発言要求を検知した情報端末の通信状態を双方向通信状態に変更する端末モード切替ステップとを備えたことを特徴とする情報共有方法を提供するものである。
さらに、この発明は、コンピュータに、前記情報共有方法の各ステップを実行させるための情報共有システムのプログラムを提供するものである。
【発明の効果】
【００２０】
この発明によれば、サーバと双方向通信状態となり、利用者の発言が許可される情報端末を、同時には１つだけ存在するようにしているので、サーバと情報端末間で送受信される情報量を比較的少なくすることができ、それによって情報の伝送遅延を低減させ、また通信エラー等による通信障害を低減させることができ、サーバと直接双方向通信を行う情報端末の数を抑制することにより、サーバの情報配信処理にかかる負荷を軽減させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の情報共有システムの一実施例の概略構成図である。
【図２】本発明の情報端末の一実施例の構成ブロック図である。
【図３】本発明のサーバの一実施例の構成ブロック図である。
【図４】第１実施例のサーバ端末間通信状態（実施例１−１）の説明図である。
【図５】第１実施例のサーバ端末間通信状態（実施例１−２）の説明図である。
【図６】第１実施例のサーバ端末間通信状態（実施例１−３）の説明図である。
【図７】第１実施例のサーバ端末間通信状態（実施例１−４）の説明図である。
【図８】第１実施例のサーバ端末間通信状態（実施例１−５）の説明図である。
【図９】第１実施例のサーバ端末間通信状態（実施例１−６）の説明図である。
【図１０】サーバの記憶部に格納されるデータベースの説明図である。
【図１１】第１実施例で用いられる端末データベースの変化の説明図である。
【図１２】第１実施例で用いられる端末データベースの変化の説明図である。
【図１３】第２実施例のサーバ端末間通信状態（実施例２−１）の説明図である。
【図１４】第２実施例のサーバ端末間通信状態（実施例２−２）の説明図である。
【図１５】第２実施例のサーバ端末間通信状態（実施例２−３）の説明図である。
【図１６】第２実施例のサーバ端末間通信状態（実施例２−４）の説明図である。
【図１７】第２実施例のサーバ端末間通信状態（実施例２−５）の説明図である。
【図１８】第２実施例のサーバ端末間通信状態（実施例２−６）の説明図である。
【図１９】第２実施例で用いられる端末データベースの変化の説明図である。
【図２０】第２実施例で用いられる端末データベースの変化の説明図である。
【図２１】端末におけるモード切替処理のフローチャートである。
【図２２】代表端末におけるストリーミング配信処理のフローチャートである。
【図２３】サーバにおける端末状態検出制御処理のフローチャートである。
【図２４】端末における発言検知要求処理のフローチャートである。
【図２５】サーバにおける発言端末検出制御処理のフローチャートである。
【図２６】サーバと端末間の通信シーケンス（端末モード切替）の説明図である。
【図２７】サーバと端末間の通信シーケンス（発言検知制御）の説明図である。
【図２８】端末の動作モードと、サーバと端末間の通信状態の説明図である。
【発明を実施するための形態】
【００２２】
以下、図面を使用して本発明の実施の形態を説明する。なお、以下の実施例の記載によって、この発明が限定されるものではない。
＜この発明の情報共有システムの構成＞
図１に、この発明の情報共有システムの一実施例の概略構成図を示す。
ここでは、映像，音声，文書などの情報を共有して、複数の情報端末間で画像音声等による会議を行う情報共有システム（以下、会議システムとも呼ぶ）について、説明する。
【００２３】
図１において、本発明の情報共有システムは、主として、１台のサーバ１と、複数台の情報端末（以下、会議端末、または単に端末とも呼ぶ）２とから構成される。
サーバ１と、各情報端末２とは、ネットワークを介して接続される。
サーバ１は、従来の会議システムでも利用されている会議制御機能のうち、少なくとも多地点接続装置（ＭＣＵ）と同等の機能を有する装置であり、主として、接続された端末の状態監視、接続制御、各種情報の通信制御、映像や音声の符号化、映像や音声の復号化処理、ユーザ認証、機器認証、通信暗号化等を行うものである。
また、端末２は、会議に参加する利用者が在席する部屋（オフィスや会議室など）に設置される装置であり、主として、映像および音声による利用者自身の認識処理、端末の動作状態や入力操作の確認処理、入力される各種情報の加工変換や通信制御処理を行うものである。
【００２４】
情報端末２では、会議に必要な情報が入力され、入力された情報はサーバに送信される。入力される端末情報としては、後述するが、主として、キーボードやマウス等の入力信号、マイクからの入力音声、カメラからの入力映像である。これらの入力された情報は、符号化（エンコード）処理をした後、サーバに送信してもよい。また、通信経路における機密性、秘匿性を考慮し、暗号化処理を行ってもよい。
サーバ１は、上記のような端末から送信された端末情報を用いて共有情報を生成し、この共有情報を、各情報端末へ配信する。
【００２５】
サーバ１と端末２（ＴＥ１〜ＴＥｎ）との接続は、たとえば有線の通信ケーブルによって直接接続してもよく、また、いわゆる無線ＬＡＮ等の無線通信方式によって接続してもよい。
また、各種のネットワーク（ＬＡＮ（Ｎ１），インターネット（Ｎ２），専用通信網（Ｎ３）など）を介して、サーバ１と端末２とを接続してもよい。
ある端末（ＴＥ１）を利用する利用者が会議に参加する場合、その端末ＴＥ１とサーバ１との間の通信回線を接続し、リンクを確立させた後、端末ＴＥ１に付属したカメラやマイクからその利用者の画像や音声あるいは会議に必要な文書や図面データなどを、サーバ１に送信する。
このとき、通信路における伝送量軽減や、リアルタイム（低遅延）通信を行うために、所定の規格のコーデック（例えば、映像であればＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４、音声であればＧ．７１１、Ｇ．７２２、Ｇ．７２９等）を利用して、送信されるデータ量を圧縮符号化する処理（エンコード）が行われる。
【００２６】
サーバ１では、端末ＴＥ１から送られてきた映像，音声等の端末情報と、その他の端末２（ＴＥ２，…ＴＥｎ）から送られてきた同様の情報を復号化（デコード）した後、合成（ミキシング）する処理を行う。この合成処理を行った情報（合成情報）が、共有情報となる。共有情報は、現在接続が確立されている複数の端末２に向かって、配信される。
サーバ１では、受信した複数の映像のミキシングを行う前に、各端末２から送られてきた映像の復号化処理（デコード）を行い、さらに画像サイズの調整（リサイズ）を行い、その後１つの共有情報として配信するために複数の映像を合成する処理が行われる。
たとえば、４人の利用者が会議に参加していたとすると、４台の端末２から送信されてきた各利用者の人物画像の映像データをそれぞれデコードし、１画面に分割表示できるようにリサイズし、４つの映像を合成（ミキシング）する。
さらに、ミキシングした後の合成映像は、サーバで符号化処理（エンコード）が行われた後、共有情報としてサーバ１から端末２へ送信される。
【００２７】
このようなミキシングされた共有情報が送信されてきた各端末２では、受信情報の復号化処理（デコード）が行われ、その端末に付属した表示装置やスピーカから、画像や音声が出力される。
たとえば、現在接続が確立されている端末２が４台であれば、ミキシングされた後の共有情報は、サーバ１から時分割多重化処理等を用いてリアルタイムで、４つの端末にそれぞれ配信される。
【００２８】
しかし、接続が確立されている端末数がさらに増加した場合、たとえばその端末数が２０台の場合、円滑に会議を進行させるためには、２０台のそれぞれの端末２で、同じようにリアルタイムで、共有情報の画像や文書を見て、共有情報の音声を開く必要があるので、サーバ１はより高速に情報の配信処理を行う必要がある。
【００２９】
一般に、通信回線として電話回線を用いたＡＤＳＬやＩＳＤＮによる通信、光ファイバーを用いたＦＴＴＨによる通信、無線通信、その他のより高速の専用回線を用いた通信が利用できるが、いずれも回線そのものの通信速度や一定時間に伝送できる通信量に限界があるので、円滑な会議の進行にほとんど問題がなく、情報伝送の遅延が問題とならずに、リアルタイムで情報配信ができる最大端末数も、利用する通信回線の太さ（通信帯域）や、通信に用いられる映像や音声のデータ量および、端末そのもののＣＰＵ性能等によって上限値が決まってくる。
【００３０】
この発明は、情報共有システムの会議に参加可能な端末が非常に多数存在する場合でも、サーバ１に対して同時に接続が確立され、サーバから直接的に共有情報の配信が行われる端末の実質的な数をできるだけ減少させて、リアルタイム性を保持した情報の配信を行い、円滑な会議の進行をさまたげることのないようにする。
【００３１】
この発明では、上記のようなサーバに接続される実質的な端末数の減少は、次のような２つの処理によって実現させることを特徴とする。
【００３２】
（１）端末のグループ化によるサーバから見た接続端末数の減少化
同一ルータに接続されたネットワーク上に複数の端末が存在する場合など、複数の端末が属するグループを設定し、そのグループの中の１台の端末を代表端末に設定し、サーバと直接通信する端末を代表端末のみに制限することにより、サーバと直接共有情報の通信を行う端末の数を減少させる。
１つのグループ内に属する代表端末以外の端末は、原則として、共有情報を受信した代表端末から、その受信情報を配信してもらうようにする。
【００３３】
ここで、グループ化とは、ネットワークに接続される複数の情報端末を、予め所定の設定条件に基づいて、１または複数個の端末群に分割することを意味する。
また、１つの端末群は、１つの端末のみからなるものや、２つ以上の端末を含むものが存在し、原則として、１つの端末群の中には、サーバから共有情報を直接受信可能な１つの代表端末を有するものとする。
また、１つの端末群に複数の端末が属している場合には、上記のような１つの代表端末と、この代表端末から共有情報の配信を受ける参加端末とが含まれる。
ただし、後述するように、単一の端末から構成される端末群の場合、その単一の端末は自らが代表端末となる場合があり、このとき、その端末群は、参加端末を含まない端末群である。
また、そのような単一の端末は、代表端末とならない場合もあり、このとき、他の端末群に属する代表端末から共有情報の配信を受けるようにしてもよい。
【００３４】
また、グループ化するための設定条件は、種々のものが考えられ、１つに限定されるものではない。たとえば各情報端末が配置される接続拠点情報を用いることができる。接続拠点情報としては、たとえば、都道府県市町村などの地名，郵便番号，住所，電話番号，企業名，事業所名，団体名および、これらに準じた特定の数値コードなどがあり、後述する拠点ＩＤがこれに相当する。
拠点ＩＤが設定条件として用いられる場合、同一の拠点ＩＤを持つ端末が、１つの端末群として、グループ化される。この地理的拠点情報は、各端末ごとに、サーバの記憶部に予め記憶される。
また、設定条件は、予め固定的に決めておいてもよいが、システムの管理者や利用者が、会議を始める前に設定変更できるようにしてもよい。
また、本稿では記載しないが、端末のＩＰアドレスにおける特定数字列部分、すなわちドメインおよびネットワークセグメント情報等を用いて同一拠点であることを判断するようにしても良い。
【００３５】
１つの端末群に属する代表端末は、サーバから共有情報を直接受信するが、その受信方法は、サーバからのストリーミング配信によるものとする。これにより、通常の会議システムにおける双方向通信を行う場合に比べ、伝送される情報量を少なくした効率的な片方向通信が可能となる。
また、代表端末と同じ端末群に属する参加端末に対しても、サーバから受信した共有情報を、同じように、ストリーミング配信をするようにする。
さらに、後述する第２実施例のように、代表端末の端末群には属さない他の情報端末へも、サーバから受信した共有情報を、ストリーミング配信するようにしてもよい。
【００３６】
（２）発言検知による端末状態の切り替え
利用者による発言要求があった場合、その利用者が利用している端末は、サーバと画像および音声等からなる情報の双方向通信が可能な状態に切り替える。
すでに発言要求をしている端末（既存発言端末と呼ぶ）が存在するときは、その既存発言端末を、発言要求のない端末に切り替え、その代わりに、新たに発言要求をした端末を、既存発言端末に切り替える。
【００３７】
たとえば、発言要求をした端末であって、サーバとの通信状態が双方向通信状態となっている第１の情報端末が存在する場合において、これとは異なる第２の情報端末の後述する発言検知部が新たな発言要求を検知した場合、第２の情報端末の後述する発言要求部が、その新たな発言要求を示す情報（発言要求情報）をサーバへ送信する。
サーバがこの発言要求情報を受信した場合、後述するサーバの双方向通信制御部が、第１の情報端末との双方向通信状態を解除し、新たな発言要求をした第２の情報端末とサーバとの間の通信状態を、双方向通信状態に切り替える。
【００３８】
ここで、発言要求をして発言権を持った既存発言端末は、システム全体の中では、常に１台のみとする。また、新たに既存発言端末となった端末は、サーバと、画像および音声等の情報の双方向通信を行い、既存発言端末でなくなった端末は、サーバからのストリーミング配信を受けるか、あるいは、代表端末からのストリーミング配信を受けるようにする。
【００３９】
また、利用者による発言要求の検知が、ほぼ同時に複数の情報端末の発言検知部で行われる場合もある。この場合、サーバの双方向通信制御部は、その複数の情報端末からそれぞれ送信されてきた発言要求情報のうち、最も早く受信した発言要求情報を送信してきた情報端末との通信状態を、双方向通信状態に切り替えるようにすればよい。
あるいは、受信した複数の発言要求情報の中に、利用者が発言要求をした時刻情報が含まれている場合、それぞれの発言要求情報を確認し、最も早い時刻に利用者の発言要求が検知されたと判断される情報端末との通信状態を、双方向通信状態に切り替えるようにしてもよい。
【００４０】
＜端末の動作モードの説明＞
端末の動作状態のモード（動作モード、あるいは単にモードとも呼ぶ）として、主として、次の４つのモードを設けるものとする。
（ａ）参加端末モード（Ｍ１）
（ｂ）代表端末モード（Ｍ２）
（ｃ）発言要求端末モード（Ｍ３）
（ｄ）発表端末モード（Ｍ４）
【００４１】
参加端末モード（Ｍ１）とは、ネットワークに接続され、サーバあるいは代表端末モードの端末（代表端末と呼ぶ）から、画像および音声等からなる共有情報のストリーミング配信を受け、自らはサーバ等に対して画像および音声の送信を行わない動作状態を意味する。
したがって、参加端末モードの端末（参加端末と呼ぶ）は、サーバあるいは代表端末との間で、共有情報のストリーミング受信による片方向通信のみを行うことができる。
ただし、後述するように、この参加端末において、利用者が発言をすれば、発言要求端末モード（Ｍ３）へ切り替えられ、サーバと、画像および音声の双方向通信を行えるようになる。
【００４２】
代表端末モード（Ｍ２）とは、ネットワークに接続され、サーバから画像および音声等からなる共有情報のストリーミング配信を受け、かつ、同一グループ内の他の参加端末、あるいは同一グループ以外の他の端末に対して、共有情報のストリーミング配信を行うことが可能な動作状態を意味する。
したがって、代表端末は、同一グループ内にただ１つ存在し、サーバに対して、直接ストリーミング受信による片方向通信を行う端末である。
同一グループに属する複数の端末は、たとえば、同一の拠点ＩＤを持つ端末に相当する。
【００４３】
発言要求端末モード（Ｍ３）とは、ネットワークに接続され、サーバとの間で、画像および音声等からなる情報の双方向通信が可能な動作状態を意味する。
発言要求端末モードになれる端末は、サーバに発言要求をした後、サーバから発言を許可された端末である。
また、サーバと双方向通信状態となり利用者の発言が許可される端末は、同時には１つだけ存在するように、サーバによって管理される。この管理は、たとえば後述するように、発言要求端末フラグによって行えばよい。
発言要求端末モード（以下、発言端末モードとも呼ぶ）の状態にある端末を、発言要求端末あるいは発言端末と呼ぶ。
発言が許可されれば、上記した参加端末や代表端末も、発言端末となれる。
【００４４】
発表端末モード（Ｍ４）とは、会議において、たとえば、プレゼンテーション等で、あるテーマについての発表を行う利用者もしくは議長等の端末の動作モードであり、その端末は、予めサーバに発表端末として設定されている。後述するように、サーバの記憶部に、「発表端末フラグ」がＯＮに設定されている端末が、発表端末である。
この発表端末は、原則としてサーバに接続されたとき、サーバに対して、画像やマイクにより入力された音声を送信のみする片方向通信を行う。このとき、サーバからの画像等の共有情報の受信は行わない。
また、送信される画像は、所定の規格に適合した方式で符号化（エンコード）された後、サーバに送信される。
また、この発表端末は、発言要求のあった発言端末がネットワークに接続された後は、サーバに対して、画像および音声等の情報による双方向通信を行うように切り替えられる。
【００４５】
図２８に、これらの４つの動作モードと、サーバおよび他の端末との通信状態の関係の説明図を示す。
図２８において、参加端末モード（Ｍ１）の端末（参加端末）は、サーバからストリーミング配信を受ける片方向通信か、あるいは、他の端末からストリーミング配信を受ける片方向通信を行うことを示している。
サーバおよび他の端末のどちらからストリーミング配信を受けるかは、その参加端末の接続形態（グループ内の端末か、グループに属さない端末か）によって決定される。
たとえば、一つのグループ内に属する参加端末は、そのグループの代表端末からストリーミング配信を受ける。
また、どのグループにも属さない単一の参加端末は、原則として、サーバからストリーミング配信を受ける。
【００４６】
代表端末モード（Ｍ２）の端末は、サーバからのストリーミング配信を受け、さらに、同一拠点（同一グループ）内もしくは別拠点における他の端末へストリーミング配信を行う。
また、発言要求端末モード（Ｍ３）の端末は、サーバと双方向通信を行うことを示している。
さらに、発表端末モード（Ｍ４）の端末は、サーバに接続されたときは、サーバへデータ送信のみを行う片方向通信を行い、その後、他の端末で発言が行われるような会議進行時においては、サーバと双方向通信を行う。
【００４７】
以上のように、端末の動作状態を示す４つのモードは、それぞれサーバや他の端末との間の通信状態が異なる。この発明では、各端末が、サーバからの要求や発言検知等のイベントの発生に基づいて、その動作モードを切り替えることにより、ネットワークを流れるトラフィックをできるだけ少なくなるようにし、情報の伝送遅延を減少し、通信障害を減少させ、サーバにおける映像，音声のエンコード，デコード等にかかる処理の負荷をできるだけ少なくすることを特徴とする。
【００４８】
以下に、この発明における端末の動作モードの切替処理や、発言要求時のサーバと端末間の通信状態の変更等の実施例について、説明する。
以下の実施例においては、１つのグループに属する複数の端末は、同一拠点に属する複数の端末であるとする。
複数の端末が同一拠点であるか否かは、サーバの記憶部に予め登録されるものとし、同一拠点の複数の端末は、すべて同一の拠点ＩＤを持つものとする。
また、１つのグループに存在する１つの代表端末は、そのグループ内で最初に電源が投入され、会議に必要なアプリケーションプログラムが起動された状態とする。
また、端末が、サーバへ自己の動作モードの動作状態通知を行い、さらに代表端末検出要求を行うことにより、サーバが、代表端末検出処理を行い代表端末を決定するものとする。代表端末であることは、サーバの記憶部に設定されるものとする。後述する代表端末フラグが、「ＯＮ」の場合、その端末が代表端末に設定されていることを示す。
【００４９】
また、あるグループの代表端末が決定した後、その同一グループに属する他の端末は参加端末として動作する。すなわち、同一グループに属し参加端末となった端末は、原則として  同一グループの代表端末からのストリーミング配信を受ける。
ただし、代表端末を持たず、同一拠点ＩＤを持つ他の端末のなかった単一の参加端末は、原則として、自らが代表端末となり、サーバからストリーミング配信を受けるようにする。
また、そのような単一の参加端末は、他のグループに属する代表端末から、ストリーミング配信を受けてもよい。この場合、その代表端末は、同一グループに属する参加端末へのストリーミング配信と、そのグループに属さない単一の参加端末へのストリーミング配信とを行う。
なお、代表端末がネットワークから切断された場合、原則として、同一グループ内の他の参加端末のいずれかが、代表端末となるようにすればよい。
【００５０】
また、発言要求のあった端末は、サーバから許可を受けることにより発言端末となることができる。
上記したように、既存発言端末がなければ、発言要求のあった端末がそのまま発言端末となり、サーバと双方向通信を行う。一方、既存発言端末がすでに存在していた場合は、サーバからの切替要求により、既存発言端末を参加端末に切り替え、かつ新たに発言要求のあった端末を発言端末に切り替える。
また、代表端末における利用者が発言要求をした場合、その代表端末は発言端末となり、サーバと双方向通信を行うようになるが、他の参加端末へ行っていたストリーミング配信があれば、そのストリーミング配信もそのまま継続して行うものとする。
さらに、発言端末であった代表端末が、発言端末でなくなった場合、代表端末モードの端末に戻り、サーバとの通信状態は、双方向通信状態から、ストリーミング配信を受ける片方向通信状態へ切り替えられる。
【００５１】
＜通信状態の切替えの説明＞
ここで、双方向通信から片方向通信への通信状態の切替えは、主として、次のような２つの方法のうち、いずれかの方法が考えられる。
（１）通信プロトコルを固定したまま、所定の通信シーケンスは継続するが、発言要求のない端末（参加端末もしくは代表端末）から送信されてきた映像および音声についての一連の信号処理を中止する。具体的には、サーバにおいて、その端末についての映像復号化処理（デコード）と、音声復号化処理（デコード）を停止する。
この場合、たとえば通信プロトコルとして、ＳＩＰやＨ．３２３、ＨＴＴＰ等の規格が採用されていたとすれば、その通信プロトコルを利用した通信シーケンスは継続して行う。この方法では、サーバ端末間にて、ストリーミング配信のための通信プロトコルを別途用意する必要がなく、従来の通信プロトコルをそのまま利用できるという利点がある。
【００５２】
（２）通信プロトコルを、ストリーミング配信のプロトコルに変更する。
たとえば、ＳＩＰやＨ．３２３、ＨＴＴＰ等の通信プロトコルを中止し、映像、音声に関するストリーミング配信の通信プロトコルに変更する。ストリーミング配信とは、サーバから端末へ、一方向的に映像、音声等のデータを送信する通信方式である。
ストリーミング配信としては、所定の規格（ｍｍｓ，ｈｔｔｐ，ｒｔｍｐ，ｒｔｓｐ等）のいずれかを採用することが望ましい。
【００５３】
上記いずれの方法も、端末とサーバ間で所定の通信プロトコルに基づいて、データの送信と受信が行われるが、サーバから端末に対して、一方向的に、映像および音声の送信が行われるものであるので、通信回線を流れるトラフィックを減少させることができる。したがって、データ伝送の遅延を減少させ、通信エラー等の通信障害も削減させることができ、その結果実質的にサーバに接続された端末の数を減少させることができるので、円滑な会議の進行が可能となる。
また、逆に、片方向通信から双方向通信への切り替えは、上記（１）または（２）とは逆の処理を行えばよい。
【００５４】
＜発言要求検知の説明＞
この発明では、利用者の発言要求を検知することにより、サーバと端末との通信状態を切り替える。
一般に、参加者の発言権を管理する会議システムでは、端末利用者（参加者）が発言権を得るためには、発言要求および、要求に対する承認・許可をする方式が用いられる。発言要求をする方法としては、たとえば、次のようなものが考えられる。
（１）「発言ボタン」の押下げ（入力操作）による要求
（２）「音声」入力による要求
（３）「画像認識」による要求
【００５５】
ここで、（１）の場合、たとえば、キーボード等に設けられた入力キーのうち、いずれかのキーを発言要求用のコマンドキーとして割り当てればよい。
このコマンドキーを押下げた場合、発言要求の入力操作がされたと判断し、発言要求をサーバへ送信する。
【００５６】
また、（２）の場合、たとえば、利用者がマイクに向かって発声した音声の検知、もしくは、発声した音声から、発言要求に対応付けられた特定の単語を音声認識にて検知してもよい。
これらの入力音声もしくは音声認識結果から、発言要求されたことが検出されれば、発言要求をサーバへ送信する。
また、（３）の場合、発言要求として予め対応付けられた動作、たとえば、利用者が挙手するような動作や手を振るような動作を、カメラに向かって行うようにしてもよい。
このとき、カメラから入力された画像の認識を行い、挙手するような動作が、所定の発言要求の動作に一致するような動作であることが検出されれば、発言要求をサーバへ送信する。
【００５７】
＜情報端末の構成＞
図２に、本発明の情報端末の構成ブロック図を示す。
情報端末２（ＴＥ）は、主として、入力部１１，映像入力部２１，表示部３１，音声入力部４１，音声出力部４５，通信部５１，認証部５５，記憶部６１，信号処理部７１，および制御部８０から構成される。
【００５８】
入力部１１は、キーボード１２，マウス１３，タブレット１４などのポインティングデバイスに加え、人検知センサ１５を備え、これらの入力を受信し、制御部８０へ送信するための信号に変換する入力処理部１６とを備える。
人検知センサ１５は、たとえば、熱感知センサ，赤外線センサ，超音波センサなどを用いることができる。人検知センサの代わりに、後述するカメラ２２やマイク４２の入力信号を元に端末の前に人がいるかどうかを検知するようにしても良い。
入力部１１からは、主として利用者の操作による入力信号が入力され、この入力信号が、発言要求情報の生成に用いられる。たとえば、発言要求に対応付けられたコマンドキーの押下操作が行われ、対応する入力信号が入力された場合、その情報端末の利用者が発言要求をしたことを示す発言要求情報が生成される。
【００５９】
映像入力部２１は、カメラにより撮影された映像を入力する部分であり、たとえば、端末の近傍の映像や、端末の前にいる会議に参加している者（利用者）の映像を入力する部分であり、カメラ２２と、カメラで撮影された映像をデジタル信号に変換する映像処理部２３とを備える。入力された映像６６は、記憶部６１に一時記憶される。この入力映像６６も、上記した発言要求情報の生成に用いられる。
【００６０】
表示部３１は、利用者の自画像を表示したり、会議に参加している他者の人物画像等を表示する部分であり、ＬＣＤ，ＣＲＴなどのディスプレイ３２と、ディスプレイ３２へ表示させる表示信号を生成する表示処理部３３とを備える。
【００６１】
音声入力部４１は、マイクから端末ＴＥの近傍の音声を入力する部分であり、マイク４２と、マイクから入力された音声をデジタル信号に変換する入力音声処理部４３とを備える。入力された音声６７は、記憶部６１に一時記憶される。
この入力音声６７も、上記した発言要求情報の生成に用いられる。
【００６２】
音声出力部４５は、スピーカ４６，出力音声処理部４７とを備え、たとえば、サーバから送られてきた音声を、スピーカから出力する部分である。
【００６３】
通信部５１は、サーバあるいは他の端末ＴＥとの間で、データ送信やデータ受信を行う部分であり、種々のネットワークを介して所定の通信プロトコル（例えば、Ｈ．３２３、ＳＩＰ、ＨＴＴＰ等）でデータ通信ができるように、データの通信制御を行う。また、会議システムでは、音声および映像の通信を行うが、必要に応じてデータの秘匿化や、データ量の削減のために、データの暗号化処理（例えば、ＡＥＳ：Ａｄｖａｎｃｅｄ  Ｅｎｃｒｙｐｔｉｏｎ  Ｓｔａｎｄａｒｄ、３ＤＥＳ：Ｔｒｉｐｌｅ−Ｄａｔａ  Ｅｎｃｒｙｐｔｉｏｎ  Ｓｔａｎｄａｒｄ等）、データの圧縮処理（符号化もしくはエンコードとも呼ぶ。例えば、映像であればＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４、音声であればＧ．７１１、Ｇ．７２２、Ｇ．７２９等）を行う。
したがって、通信部５１は、通信暗号部５２および通信復号部５３を備えることが好ましい。
また、通信部５１は、端末モード切替部８２によって変更された後の動作状態に従って、サーバとの間の通信状態を変更する。
たとえば、映像および音声を双方向に送受信する双方向通信状態や、映像および音声をサーバから一方向的に受信する片方向通信状態に変更する。
【００６４】
認証部５５は、利用者の特定や端末および会議システムへのログイン認証を行う部分であり、主として事前に登録・管理されているＩＤ，パスワード入力により、認証を行う。
【００６５】
記憶部６１は、各種の入力情報（入力映像６６，入力音声６７など），表示情報，出力情報，送受信データ，信号処理されたデータなどの情報を記憶する部分であり、音声認識や画像認識などを行うために予め格納されている認識データベース６２を備える。
認識データベース６２は、主として音声認識を行うための利用者の音声特徴データと、画像認識を行うための画像特徴データとから構成される。端末ＴＥを複数の利用者が利用する場合、その利用者ごとに、その認識情報を格納しておき、利用者の人物認識をしてもよい。本稿には図示しないが、認識データベース６２には、利用者ごとのパスワード情報（データ自体は暗号化されていることが望ましい）を格納しても良い。
記憶部６１には、ＲＯＭ，ＲＡＭなどの半導体素子，ハードディスク，ＣＤ，ＤＶＤ，ＵＳＢメモリなどの記憶媒体などが用いられる。
また、記憶部６１には、端末ＴＥの各機能を実行させるためのプログラムも記憶される。
【００６６】
信号処理部７１は、入力された映像および音声を、サーバに対して送信するデータに変換（符号化処理，エンコード処理とも呼ぶ）したり、サーバ等から送信されてきた映像および音声を、ディスプレイに表示およびスピーカから出力できるようにもとのデータに変換（復号化処理，デコード処理とも呼ぶ）したりする部分である。
主として、映像符号化部７２，映像復号化部７３，音声符号化部７４，音声復号化部７５から構成される。
信号処理部７１には、たとえば、所定の規格のコーデックに適合した符号化および復号化を実行することのできるコーデックＬＳＩが用いられる。符号化および復号化処理はＬＳＩのようなハードウェアコーデックではなく、ソフトウェアコーデックによって実現してもよい。
【００６７】
制御部８０は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等を含むマイクロコンピュータに相当する部分であり、ＣＰＵが、記憶部６１に記憶されたプログラムをＲＡＭ（主記憶）に読み出すことにより、各種ハードウェアを有機的に動作させて、端末の各機能を実行させる。
図２では、制御部８０の行う機能として、端末状態通知部８１，端末モード切替部８２等を示しているが、これらの機能ブロック（８１〜８９）の各機能は、ＣＰＵが、その機能ごとのプログラムに基づいて、入力部１１、映像入力部２１、音声入力部４１などから得られた情報を用いて、それぞれ所定の処理を実行することにより実現される。
【００６８】
端末状態通知部８１は、情報端末の動作状態を、サーバへ送信する部分である。たとえば上記した４つのモード（Ｍ１，Ｍ２，Ｍ３，Ｍ４）のうちいずれかの状態であることを示す状態情報を生成し、通信部５１を介して、サーバに送信する。
たとえば、発言要求が検知された場合、端末が発言要求端末モードとなったことを示す状態情報を、サーバに送信する。
【００６９】
端末モード切替部８２は、サーバからの通知や、あるいは自己のハードウェア等の状態によって、自己の端末の動作状態を変更する部分であり、たとえば上記４つのモードのうちいずれかに変更する部分である。
たとえば、発言要求があり、発言が許可された場合は、その端末の現在の動作状態を、発言要求端末モードに変更する。この動作状態の変更により、サーバとの間の通信を双方向通信に切替える。
【００７０】
また、双方向通信制御部８９は、予め定められた通信プロトコルに従って、通信部５１を介して入力映像および入力音声を、サーバへ送信し、かつサーバから送られてくる映像および音声等からなる共有情報を、受信する部分である。
代表端末検出要求部８３は、サーバに対して、同一拠点内の代表端末を検出するように要求する部分であり、検出された代表端末の情報をサーバから受信する。
発言検知部８４は、上記したようないずれかの方法により、端末の利用者が発言要求をしたことを検知する部分である。すなわち、発言要求を意味する入力信号，入力音声，または入力映像のいずれか１つ以上を検出した場合に、利用者が発言要求をしたと判断する。
発言要求部８５は、検知された発言要求をしたことを示す発言要求情報を、サーバに送信する部分である。
【００７１】
ストリーミング要求部８６は、代表端末に対して、ストリーミング情報（音声および映像）をその端末に配信するように要求する部分である。
ストリーミング受信部８７は、サーバあるいは代表端末から配信されたストリーミング情報を受信する部分である。
【００７２】
ストリーミング配信部８８は、端末が代表端末である場合に、他の端末に対してストリーミング情報を送信する部分である。
ここで、ストリーミング配信とは、ストリーミング情報である映像や音声を一方向に送信することを意味する。
ストリーミング配信される情報端末は、自端末の映像、音声データの符号化や送信を行なわないので、双方向通信を行う場合よりも、端末にかかる負荷は少なくなる。
【００７３】
以上が、端末の主要な機能ブロックであるが、制御部８０によって実現される機能は、これに限るものではない。
これらの機能は、主としてソフトウェアによって実現されるものであるので、必要に応じて他の機能を実行するプログラムを記憶部６１に格納し、そのプログラムに基づいてＣＰＵがハードウェアを有機的に動作させることにより、その機能を実行させてもよい。
また、プログラムは、予めＲＯＭ等に固定記憶して提供してもよいが、その後に削除，追加，変更，アップデート等をするために、ハードディスク等の書きかえ可能な記憶装置に記憶してもよく、ＣＤやＤＶＤなどの記録媒体によって提供してもよく、あるいはネットワークを介してサーバ等からダウンロードするようにしてもよい。
【００７４】
＜サーバの構成＞
図３に、本発明のサーバの構成ブロック図を示す。
サーバ１は、主として、入力部１０１，表示部１１１，通信部１２１，認証部１２５，ＭＣＵ部１３１，記憶部１７１，信号処理部１５１，および制御部１６１とから構成される。
【００７５】
入力部１０１は、各種情報を入力する部分であり、キーボード１０２，マウス１０３，タブレット１０４およびこれらの入力デバイスからの入力を、制御部１６１へ送信することのできる信号に変換する入力処理部１０５とを備える。
表示部１１１は、ＬＣＤ，ＣＲＴなどのディスプレイ１１２と、ディスプレイに表示する表示信号を生成する表示処理部１１３とからなる。
ただし、サーバ１を完全に無人で運用する場合は、入力部や表示部はなくてもよい。
【００７６】
通信部１２１は、ネットワークを介して、端末ＴＥとデータの送受信をする部分であり、端末と同様に、所定の通信プロトコル（例えば、Ｈ．３２３、ＳＩＰ、ＨＴＴＰ等）でデータ通信し、映像および音声を所定のコーデック（例えば、映像であればＭＰＥＧ４、Ｈ．２６３、Ｈ．２６４、音声であればＧ．７１１、Ｇ．７２２、Ｇ．７２９等）で符号化し、所定の規格（例えば、ＡＥＳ：Ａｄｖａｎｃｅｄ  Ｅｎｃｒｙｐｔｉｏｎ  Ｓｔａｎｄａｒｄ、３ＤＥＳ：Ｔｒｉｐｌｅ−Ｄａｔａ  Ｅｎｃｒｙｐｔｉｏｎ  Ｓｔａｎｄａｒｄ等）で暗号化処理をする通信暗号部１２２と通信復号部１２３とを備える。
認証部１２５は、端末ＴＥと同様に、利用者の特定や端末および会議システムへのログイン認証を行う部分である。
【００７７】
ＭＣＵ部１３１は、いわゆる多地点接続装置（ＭＣＵ）で行われている処理を実行する部分であり、主として、複数の映像信号を合成する映像ミキシング部１３２，映像のサイズを変更する映像リサイズ部１３３，複数の音声信号を合成する音声ミキシング部１３４とから構成される。ＭＣＵ部１３１は信号処理部１５１と共通で構成されていてもよい。
【００７８】
記憶部１７１は、サーバで実行される処理で利用される各種データを記憶する部分であり、さらに、サーバに接続される端末を特定する情報（装置ＩＤ１７３，拠点ＩＤ１７４，ＩＰアドレス１７５，発表端末フラグ１７６，代表端末フラグ１７７，発言要求端末フラグ１７８）を格納した端末データベース１７２や、端末を利用する利用者を特定する情報（ユーザＩＤ１７９，拠点ＩＤ１７４，ＩＰアドレス１７５，メールアドレス１８０）を格納したユーザデータベース１８１を記憶する部分である。
この端末データベース１７２と、ユーザデータベース１８１は、サーバと端末との間で、双方向通信するとき、サーバから端末へ大容量の音声映像等の情報を一方向送信するとき、あるいは、代表端末の検出処理，既存発言端末検出処理等で利用される。
この他に、サーバの各機能を実行するのに必要なプログラムも、記憶部１７１に記憶される。
記憶部１７１には、ＲＯＭ，ＲＡＭ，ハードディスク，ＣＤやＤＶＤなどの記録媒体などが用いられる。
【００７９】
信号処理部１５１は、端末から送られてきた映像および音声を、一旦もとの信号に戻す変換処理（復号化処理，デコード処理）をしたり、複数の端末へ映像や音声を送信するためのデータ変換処理（符号化処理，エンコード処理）をする部分である。
この信号処理部１５１は、端末ＴＥと同様に、主として映像符号化部１５２，映像復号化部１５３，音声符号化部１５４，音声復号化部１５５から構成され、コーデックＬＳＩもしくはソフトウェアコーデックを用いて実現することができる。
【００８０】
制御部１６１は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏコントローラ，タイマー等からなるマイクロコンピュータに相当する部分であり、ＣＰＵが、記憶部１７１に記憶されたプログラムに基づいて、各種ハードウェアを有機的に動作させることにより、サーバの各機能が実現される。
図３では、制御部１６１の機能として、端末状態判断部１６２と、通信方法切替部１６３と、代表端末検出部１６４と、既存発言端末検出部１６５と、ストリーミング配信部１６６と、双方向通信制御部１６７とを示している。
【００８１】
端末状態判断部１６２は、主として、端末から送られてくる動作状態のモードを示す状態情報を受信して、その端末が現在どのモードになっているかを判断する部分である。
通信方法切替部１６３は、情報端末の端末状態通知部によって送信されてきた端末の動作状態に基づいて、その情報端末に対する通信方法を切り替える部分である。通信方法としては、主として、双方向通信状態、画像音声等の送信をサーバから端末への方向のみとする片方向通信（ストリーミング配信）状態、データ通信の中止状態などがある。
また、サーバと情報端末との間の通信状態は、情報端末の動作状態に従って、各情報端末ごとに変更させられる。
【００８２】
また、代表端末検出部１６４は、記憶部１７１の端末データベース１７２に記憶された拠点ＩＤ１７４を用いて、代表端末とすべき端末が、同一拠点内に存在するか否かを検出する部分である。
【００８３】
図１０に、サーバの記憶部に格納されている各データベースの内容の一実施例の説明図を示す。
【００８４】
図１０（ａ）は、サーバの記憶部に格納されている端末データベース１７２の一実施例を示している。
ここでは、端末ごとに、装置ＩＤ１７３と、拠点ＩＤ１７４と、ＩＰアドレス１７５と、発表端末フラグ１７６と、代表端末フラグ１７７と、発言要求端末フラグ１７８とが、関連付けて記憶されている。
【００８５】
図１０（ｂ）は、サーバの記憶部に格納されているユーザデータベース１８１の一実施例を示している。
ここでは、ユーザ名１７９と、拠点ＩＤ１７４と、メールアドレス１８０と、ＩＰアドレス１７５とが関連付けて記憶されている。
なお、各データベースに格納される情報の項目は、以上のものに限られず、他に必要な項目があれば、追加して記憶してもよい。
【００８６】
図１０において、代表端末フラグ１７７は、端末が代表端末であるか否かを識別するための情報であり、「ＯＮ」のとき、その端末が代表端末であることを意味し、「ＯＦＦ」のとき、その端末は代表端末でないことを意味する。
図１０においては、４つの端末のうち、拠点ＩＤが「関西」となっている２つの端末が、同一拠点の端末であり、この同一拠点に含まれる２つの端末のうち、装置ＩＤ＝「Ｇ５３１８２」の端末の代表端末フラグ１７７が「ＯＮ」であるので、この端末が代表端末であることを意味する。
ここで、同一拠点が１つのグループを形成し、１つのグループには、代表端末は１つだけ存在する。
【００８７】
グループ化は、たとえば、図１０のように、比較的近くの位置に設置されている端末同士を１つのグループとして設定するものであり、同じ拠点に属する複数の端末は、１つのグループに属するものとして扱う。
また、同一ルータあるいは同一中継サーバの配下のネットワークに属する複数の端末を、１つのグループに属するものとして扱ってもよく、さらに、ＩＰアドレスを構成する数字列のうち、特定の数字列部分が同一の端末（同一ドメイン内の端末）を１つのグループに属するものとして扱ってもよい。
以下の説明では、同一拠点ＩＤを持つ複数の端末は、同一のグループに属するものとして扱うことにする。
【００８８】
また、図１０の場合、同一拠点に含まれる２つの端末は、１つのグループに属する端末とみなされ、サーバから見た場合、そのグループに属する代表端末のみがサーバに接続されているかのように扱われる。すなわち、サーバから映像音声等の情報を送信する場合、サーバから、同一拠点（同一グループ）に属する代表端末のみにその情報がストリーミングで送信され、その同一拠点に属する代表端末でない他の参加端末にはサーバから直接送信されない。
代表端末でない参加端末には、原則として、同一拠点に属する代表端末から、ストリーミング配信で、情報を送信するものとする。
【００８９】
また、同一拠点内の代表端末は、原則として同じグループ内に属する他の参加端末に対してのみストリーミング配信を行うが、他の拠点に属する端末ＴＥｎからストリーミング配信の要求を受けた場合は、代表端末は、他の拠点のその端末ＴＥｎに対して、ストリーミング配信をしてもよい。
【００９０】
また、既存発言端末検出部１６５は、すでに、発言端末となっている端末があるか否かを検出する部分であり、端末データベースの発言要求端末フラグ１７８を利用して検出する。
図１０に示す「発言要求端末フラグ」が「ＯＮ」となっている端末があれば、その端末が発言端末であることを示し、「ＯＦＦ」の場合は、発言端末でないことを示している。
図１０の場合は、端末ＴＥ４が発言要求端末であることを示している。
【００９１】
ストリーミング配信部１６６は、端末に対して、映像および音声等からなる共有情報を、ストリーミングとして送信する部分である。
双方向通信制御部１６７は、上記した端末の双方向通信制御部８９と同様に、所定の通信プロトコルに従って、サーバと端末間の双方向の通信を制御する部分である。
また、情報端末から発言要求情報を受信した場合に、その情報端末とサーバとの間の通信状態を、端末情報と共有情報とを相互に直接送受信可能な双方向通信状態に切り替える。
以上が、サーバの主な機能である。
【００９２】
＜第１実施例：サーバ端末間通信状態の説明＞
以下に、サーバ端末間通信状態の一実施例として、６つのサーバと端末間の通信状態を説明する。
ここでは、サーバ１に対し、４台の端末（ＴＥ１〜ＴＥ４）が、ネットワークを介して接続されているものとして説明する。ただし、接続される端末の数は、４台に限定されるものではない。
図４に、第１実施例において、サーバ端末間通信状態の説明図（実施例１−１）を示す。
図４では、１台の端末ＴＥ１のみが、電源ＯＮとされた状態を示している。
この端末ＴＥ１は、発表端末であるものとし、サーバには、端末ＴＥ１の発表端末フラグが、「ＯＮ」に予め設定されているものとする。
この場合、発表端末ＴＥ１とサーバとの通信状態は、端末ＴＥ１からサーバへの片方向通信のみが可能な状態となっている。
すなわち、端末ＴＥ１のカメラで撮影された自画像の入力映像（ＳＤ１）が、端末で符号化（エンコード）された後、所定の通信プロトコルで、サーバへ送信される。この片方向通信では、端末からサーバに対して画像および音声のデータ送信のみが可能で、サーバから端末への画像および音声のデータ送信は行われない。
【００９３】
その他の端末（ＴＥ２，ＴＥ３，ＴＥ４）は、まだ電源ＯＦＦの状態で、サーバに対して未接続状態であるものとする。
また、端末ＴＥ２は、同一拠点に属する他の端末はなく、単一の端末とする。
端末ＴＥ３とＴＥ４は、同一拠点に属し、１つのグループにグループ化される端末とする。
図４の状態では、これらの３つの端末（ＴＥ２，ＴＥ３，ＴＥ４）は、送信される画像（送信画像ＳＤ２，ＳＤ３，ＳＤ４）はなく、さらに、受信画像（ＲＤ２，ＲＤ３，ＲＤ４）もない。
また、図４では、サーバ１に対して１台の端末ＴＥ１のみが接続されており、しかも片方向通信状態なので、端末ＴＥ１のディスプレイには、表示される受信画像はない。
【００９４】
図１１（ａ）に、この実施例１−１の場合における端末データベースの３つのフラグの状態の説明図を示す。
図１１（ａ）に示すように、端末ＴＥ１の発表端末フラグのみが「ＯＮ」であり、他のフラグは、すべて「ＯＦＦ」である。
また、拠点ＩＤにおいて、「関西」となっている２つの端末（ＴＥ３，ＴＥ４）は、同一拠点、すなわち同一のグループに属する端末として扱われる。
【００９５】
図５に、第１実施例において、サーバ端末間通信状態（実施例１−２）の説明図を示す。
ここでは、図４の状態から、端末ＴＥ３が電源ＯＮされ、起動された状態を示している。端末ＴＥ３は、会議に必要なアプリケーションプログラムが起動され、サーバとの通信が可能な状態になったとする。
他の端末ＴＥ２とＴＥ４は、電源ＯＦＦの状態で、サーバに未接続であるとする。
端末ＴＥ３は、２台の端末（ＴＥ３，ＴＥ４）が属する１つの同一拠点の中で、最初に起動した端末であるとする。このとき、端末ＴＥ３は、サーバに対して、代表端末検出要求を送信する。
図４の状態のときに、この同一拠点内には、代表端末となっている端末がまだ存在しなかったとすると、サーバから代表端末未検出が通知されるので、端末ＴＥ３は、自らが代表端末となる。
この後、代表端末となった端末ＴＥ３は、その同一拠点の代表端末となったことをサーバへ通知し、サーバからストリーミング配信を受けることができるように、動作モードを代表端末モードへ切り替える。
サーバは、デコードからエンコードまでの一連の信号処理を行って、現在受信している端末ＴＥ１の映像ＳＤ１のみからなる合成画像を生成し、端末ＴＥ３へ、ストリーミングにより配信する。この合成画像が、共有情報の一つである。
【００９６】
端末ＴＥ３では、ストリーミング配信により受信した画像ＲＤ３を、ディスプレイに表示する。ここで受信画像ＲＤ３は、たとえば１画面を４分割して、その１つの分割画面（図５では左上の画面）に、端末ＴＥ１の自画像を表示したものである。
図５の状態におけるフラグは、図１１（ｂ）に示すように、端末ＴＥ３の代表端末フラグが、「ＯＦＦ」から「ＯＮ」に設定変更される。
なお、発表端末ＴＥ１では、サーバと片方向通信をしているので、サーバからの受信画像ＲＤ１は受信されないが、端末ＴＥ１側で、その自画像のみからなる受信画像ＲＤ１を生成して、端末ＴＥ１のディスプレイに表示してもよい。
【００９７】
図６に、第１実施例において、サーバ端末間通信状態（実施例１−３）の説明図を示す。
ここでは、図５の状態から、端末ＴＥ２とＴＥ４とが、電源ＯＮされ、起動された状態を示している。
代表端末ＴＥ３は、サーバから合成画像のストリーミング配信を受け、同一拠点内の他の端末（ＴＥ４）に対しては、ストリーミング配信を行うことが可能な状態となっている。
まず、同一拠点に属する端末ＴＥ４は、すでに代表端末ＴＥ３があるので、参加端末となり、代表端末ＴＥ３からストリーミング配信を受ける。サーバからストリーミング配信される受信画像ＲＤ３と、代表端末ＴＥ３からストリーミング配信される受信画像ＲＤ４とは、同じ共有情報である。
代表端末ＴＥ３から送られてくる画像ＲＤ４は、図５と同じように、端末ＴＥ１の自画像のみからなる４分割画面の映像であり、端末ＴＥ４は、この受信画像ＲＤ４をディスプレイに表示する。
参加端末ＴＥ４は、代表端末ＴＥ３からのストリーミング配信のみを受け、自らサーバに対して映像等を送信することができないので、送信画像ＳＤ４はない。
【００９８】
次に、端末ＴＥ２は、単一の端末であるので、サーバに代表端末検出要求を送信した後、未検出が通知されるので、自らが代表端末となる。代表端末となった端末ＴＥ２は、サーバからストリーミング配信を受ける。端末ＴＥ２も、サーバから受信した画像ＲＤ２は、端末ＴＥ１の自画像のみからなる４分割画像である。
また、端末ＴＥ２も、サーバへ映像等の送信はできないので、送信画像ＳＤ２はない。
一方、サーバでは、端末ＴＥ２が代表端末となったことが設定され、図１１（ｃ）に示すように、端末ＴＥ２の代表端末フラグが「ＯＮ」となる。
この図６の状態では、４台の端末がすべて起動状態となっているが、そのうち１台の端末ＴＥ１が、サーバに対して、送信のみを行う片方向通信状態であり、２台の端末（ＴＥ２，ＴＥ３）が、サーバに対して、ストリーミング受信を行う片方向通信状態であり、もう１台の端末ＴＥ４は、サーバと直接映像等の通信は行わない端末である。
【００９９】
ただし、図６の状態では、３つの端末（ＴＥ２，ＴＥ３，ＴＥ４）は、いずれも自らの自画像（ＳＤ２，ＳＤ３，ＳＤ４）を送信できない状態であり、発表端末ＴＥ１の利用者が一方的に、発表内容を他の端末の利用者に対して説明する状態と言える。
また、図６の状態では、端末の状態（動作モード）によって通信方向を制限しているので、４つの端末すべてがサーバと双方向通信を行う場合に比べて、サーバの負荷を軽減でき、さらにネットワークを流れるトラフィックを低減させることにより、伝送遅延を少なくし、通信障害の発生も低減できる。
【０１００】
図７に、第１実施例において、サーバ端末間通信状態（実施例１−４）の説明図を示す。
ここでは、図６の状態において、端末ＴＥ２の利用者が発言要求操作をし、端末ＴＥ２からサーバへ、発言要求があり、その発言が許可された場合を示している。
端末ＴＥ２は、代表端末でもあり、かつ発言端末となっている。発言端末となった端末ＴＥ２は、サーバと映像および音声の双方向通信を行う状態に切り替えられる。
また、サーバでは、図１２（ｄ）に示すように、端末ＴＥ２の発言要求端末フラグが「ＯＮ」に設定される。
さらに、端末ＴＥ２は、サーバとの双方向通信が行えるようになったので、その自画像（ＳＤ２）をサーバに送信する。
サーバでは、端末ＴＥ１から送られてくる映像ＳＤ１と、端末ＴＥ２から送られてくる映像ＳＤ２とについて、デコード，リサイズ，ミキシング，およびエンコードという一連の信号処理を行って、この２つの端末（ＴＥ１，ＴＥ２）の映像からなる合成画像を生成し、端末へ送信する。
【０１０１】
図７の状態では、発表端末ＴＥ１は、他に発言端末となった端末が出現したので、サーバと双方向通信ができるモードに切り替えられるものとする。
この状態では、サーバから３つの端末（ＴＥ１，ＴＥ２，ＴＥ３）に対して合成画像が送信される。このうち、代表端末ＴＥ３に対する送信は、ストリーミング送信である。
また、参加端末ＴＥ４へは、図６と同様に、代表端末ＴＥ３からのストリーミング配信で、同じ合成画像が送信される。これにより、４台の端末では、いずれも同じ合成画像が表示され、発表端末ＴＥ１の自画像と、現在発言している利用者の端末ＴＥ２の自画像とが分割表示された画面を見ながら、会議を進行することができる。
この場合も、４台の端末がサーバと双方向通信する場合に比べて、伝送遅延と通信障害を低減でき、サーバの負荷を軽減できる。
また、発言要求により、その発言要求した端末とサーバとの通信状態を双方向通信に切り替えているので、トラフィックは増加するが、その増加は最小限必要な範囲に抑制でき、かつ発言している利用者の自画像を各端末で見ることが可能となるので、会議に必要な情報を得ることができ、円滑な会議の進行が可能である。
【０１０２】
図８に、第１実施例において、サーバ端末間通信状態（実施例１−５）の説明図を示す。
ここでは、図７の状態において、端末ＴＥ３の利用者が発言要求操作をし、その発言要求が許可されて、発言端末が、端末ＴＥ２からＴＥ３へ変更された場合を示している。
まず、今まで発言端末であった端末ＴＥ２（既存発言要求端末）は、代表端末（図６と同じ状態）に戻り、サーバとの通信状態も、サーバからストリーミング配信を受ける片方向通信状態に戻る。
したがって、端末ＴＥ２の自画像ＳＤ２の送信は、中止される。
一方、端末ＴＥ３は、発言端末となり、サーバと双方向通信を行う。
端末ＴＥ３は、サーバへ映像等を送信できるようになったので、その自画像ＳＤ３をサーバへ送信する。サーバでは、２つの端末の自画像（ＴＥ１，ＴＥ３）を合成した画像が生成され、この合成画像を３つの端末（ＴＥ１，ＴＥ２，ＴＥ３）へ送信する。
【０１０３】
また、サーバでは、図１２（ｅ）に示すように、ＴＥ２の発言要求端末フラグが「ＯＮ
」から「ＯＦＦ」に変更され、ＴＥ３の発言要求端末フラグが「ＯＮ」に設定される。
また、参加端末ＴＥ４は、代表端末でもある端末ＴＥ３からのストリーミング配信により、同じ合成画像を受信する。これにより、４台の端末では、２つの端末（ＴＥ１，ＴＥ３）の自画像からなる同じ受信画像が受信され、それぞれのディスプレイに表示される。
この図８の場合は、双方向通信可能な発言端末が、端末ＴＥ２からＴＥ３へ変更されただけであるので、図７の場合と同程度に、伝送遅延の低減と通信障害の低減と、サーバの負荷を軽減できる。
【０１０４】
図９に、第１実施例において、サーバ端末間通信状態（実施例１−６）の説明図を示す。
ここでは、図８の状態において、端末ＴＥ４の利用者が発言要求操作をし、その発言要求が許可されて、発言端末が端末ＴＥ４に変更された場合を示している。
まず、端末ＴＥ３（既存発言要求端末）は、発言端末から代表端末へ戻り、サーバとの通信状態は、サーバからストリーミング配信を受ける通信状態に変更される。
端末ＴＥ３からサーバへ、その自画像ＳＤ３は送信できなくなる。
また、今まで参加端末であった端末ＴＥ４は、発言端末となるので、サーバと双方向通信ができるように切り替えられる。すなわち、端末ＴＥ３から端末ＴＥ４へのストリーミング配信は中止され、端末ＴＥ４は、直接サーバと通信を行う状態となり、その自画像（ＳＤ４）をサーバへ送信できるようになる。
【０１０５】
サーバでは、図１２（ｆ）に示すように、端末ＴＥ３の発言要求端末フラグを「ＯＦＦ」に変更し、端末ＴＥ４の発言要求端末フラグを「ＯＮ」に設定する。
また、サーバでは、２つの端末（ＴＥ１，ＴＥ４）の自画像を合成して、その合成映像を、４つの端末へ送信する。
各端末では、２つの端末（ＴＥ１，ＴＥ４）の自画像からなる同一の受信画像を受信して、それぞれのディスプレイに表示する。
この図９の場合、サーバと２つの端末（ＴＥ１，ＴＥ４）との通信状態は双方向通信となり、サーバと２つの端末（ＴＥ２，ＴＥ３）との通信状態は、サーバから端末へのストリーミング配信となる。
したがって、４つの端末がすべて双方向通信を行う場合に比べて、トラフィックは少ないので、伝送遅延の減少，通信障害の減少，およびサーバの負荷の軽減ができる。
【０１０６】
＜第１実施例の通信シーケンスの説明＞
図２６に、端末の動作モードを切り替える場合の通信シーケンスの一実施例の概略説明図を示す。
ここで、情報端末ＴＥ１が、現在参加端末モード（Ｍ１）であったとする。
図２６（ａ）は、代表端末の検出要求をサーバに送信したときに、代表端末が検出された場合のシーケンスを示し、図２６（ｂ）は、代表端末が検出されず、端末ＴＥ１が自ら代表端末に動作モードを変更する場合のシーケンスを示している。
【０１０７】
図２６（ａ）において、まず、端末ＴＥ１が、自己が属することができるグループがあるか否かを確認するために、サーバに対して、自己の現在の動作モードが参加端末モード（Ｍ１）であることを示す端末状態通知を送信し、さらに、代表端末検出要求を送信する。
端末状態通知には、たとえば、端末ＴＥ１の装置ＩＤ，拠点ＩＤ，ＩＤアドレス，参加端末モードであることを示す情報などが含まれる。
【０１０８】
端末ＴＥ１から端末状態通知を受信したサーバは、端末データベースの中の端末ＴＥ１の３つのフラグを、すべて「ＯＦＦ」に設定し、参加端末モードであることを示す状態にする。
また、代表端末検出要求を受信したサーバは、端末データベースを利用して端末ＴＥ１とグループ化できる代表端末があるか否か調べる。
端末データベースの中に、端末ＴＥ１と同じ拠点ＩＤを持ち、かつ代表端末フラグが「ＯＮ」となっている端末（ＴＥ２）があったとすれば、この２つの端末（ＴＥ１，ＴＥ２）を、同一グループにグループ化できる。このとき代表端末（ＴＥ２）が検出されたことになるので、サーバは、端末ＴＥ１に対して、代表端末が見つかったことを示す代表端末検出通知を送信する。この通知には、代表端末ＴＥ２の装置ＩＤとＩＰアドレスとが含まれる。
【０１０９】
端末ＴＥ１は、サーバからの代表端末検出通知により、自己が属することのできるグループ（同一拠点）が存在し、そのグループの代表端末が端末ＴＥ２であることを知る。
その後、端末ＴＥ１は、代表端末ＴＥ２に対して、ストリーミング要求を送信し、通信状態をストリーミング受信が可能な状態とする。
ストリーミング要求を受信した端末ＴＥ２は、サーバからストリーミング配信により送られてきた受信画像ＲＤ２を、端末ＴＥ１に対して、ストリーミング配信する。
端末ＴＥ１は、代表端末ＴＥ２からストリーミング配信により送られてくる映像や音声等を受信し、受信画像ＲＤ１をディスプレイに表示する。
この場合、端末ＴＥ１は、サーバから直接映像等の配信を受けることはなく、端末ＴＥ２から、映像や音声等の共有情報をストリーミング配信による片方向通信（ストリーミング受信）で取得する。これにより、端末ＴＥ１は、サーバと直接通信を行わない状態であっても、共有情報を受信することができる。
【０１１０】
図２６（ｂ）において、サーバが代表端末の検出処理を行ったが、端末ＴＥ１とグループ化できる他の端末がなく、代表端末が検出できなかったとする。このとき、サーバから端末ＴＥ１に対して、代表端末の未検出通知が送信される。
この未検出通知を受けた端末ＴＥ１は、自らを代表端末モードに切り替え、代表端末モードに移行したことを示す端末状態通知を、サーバに送信する。端末ＴＥ１は、サーバからのストリーミング配信を受信できる状態にする。
この通知を受けたサーバは、端末ＴＥ１の動作モードが代表端末モードに変更されたことを検出し、端末ＴＥ１の代表端末フラグを「ＯＮ」に設定する。その後、サーバは、端末ＴＥ１に対して、ストリーミング配信を行う。
これにより、端末ＴＥ１は、グループに属さない単一の代表端末として、サーバからのストリーミング配信により、映像や音声等の共有情報を受信する。
【０１１１】
図２６（ａ）の通信シーケンスは、たとえば、図６の端末ＴＥ４とサーバとの間で行われる通信シーケンスに相当し、図２６（ｂ）の通信シーケンスは、図６の端末ＴＥ２とサーバとの間で行われる通信シーケンスに相当する。
【０１１２】
図２７に、端末で発言要求がされた場合の発言検知制御について、通信シーケンスの一実施例の概略説明図を示す。
図２７（ａ）は、参加端末モードであって、まだ発言要求をしていない端末ＴＥ１の利用者が、発言要求をした場合の通信シーケンスを示している。
図２７（ｂ）は、現在発言権を有する発言要求端末モードである端末（既存発言端末）ＴＥ１が存在している状態において、他の端末ＴＥ２の利用者が、新たに発言要求をした場合の通信シーケンスを示している。
図２７（ａ）では、端末ＴＥ１は、現在参加端末モードであり、サーバから映像等の共有情報を直接受信できない状態であるとする。このとき、サーバから共有情報の直接受信はできないが、端末ＴＥ１とサーバ間では、発言要求や端末状態通知などの情報は、所定の通信プロトコルを介して送受信できるものとする。
【０１１３】
図２７（ａ）において、端末ＴＥ１の利用者が、発言要求を意味する入力操作，音声入力，あるいは挙手等の動作による映像入力をしたとする。
このとき、端末ＴＥ１は、発言要求がされたことを検知し、サーバに対して発言要求を意味するデータを送信する。サーバは、この発言要求を受信すると、端末データベースの発言要求端末フラグにより、現在発言権を持つ端末がないか確認する（既存発言端末検出）。
ここで、発言要求端末フラグが「ＯＮ」となっている既存発言端末が検出されたとすると、サーバはその既存発言端末（ＴＥ２）に対して、参加端末への切替要求を送信する。この切替要求を受けた既存発言端末（ＴＥ２）は、自己の動作モードを、発言要求端末モードから参加端末モードへ切りかえる。
この後、既存発言端末（ＴＥ２）は、サーバとの通信状態を、双方向通信状態から、サーバあるいは同一拠点（同一グループ）の代表端末から一方向的にストリーミング配信を受ける片方向通信状態に変更する。
【０１１４】
さらに、サーバは、発言要求をした端末ＴＥ１に対し、発言要求端末モードへの切替許可通知を送信する。
この切替許可通知を受信した端末ＴＥ１は、自己の動作モードを、参加端末モードから、発言要求端末モードに切り替える。
また、サーバは、端末データベースの発言要求端末フラグについて、端末ＴＥ１を「ＯＮ」とし、端末ＴＥ２を「ＯＦＦ」に変更する。
この後、サーバと、端末ＴＥ１とは、この両者間の通信状態を、映像等の共有情報を双方向通信できる状態に切り替える。これにより、端末ＴＥ１からサーバへ、自己の映像や音声を送信することができ、サーバから端末ＴＥ１へ、端末ＴＥ１の映像等を含む共有情報を、所定のプロトコルに従って送信することができるようになる。
発言権を得た端末ＴＥ１の利用者の発言情報は、サーバに接続され会議に参加している他のすべての端末に対して、共有情報として送信される。
【０１１５】
図２７（ｂ）において、端末ＴＥ１は既存発言端末であり、サーバと双方向通信状態にあるとする。
図２７（ｂ）では、端末ＴＥ１がすでに既存発言端末となっているので、端末データベースの端末ＴＥ１の発言要求端末フラグが「ＯＮ」となっている。
このとき、他の端末ＴＥ２の利用者が発言要求を意味する入力操作をしたとする。他の端末ＴＥ２において、図２７（ａ）に示したのと同様に、サーバへ発言要求が送信され、発言要求を受信したサーバは、既存発言端末を検出する処理を行う。
サーバは、端末データベースにより、端末ＴＥ１が既存発言端末であることを検出するので、既存発言端末ＴＥ１に対して、参加端末への切替要求を送信する。
【０１１６】
この切替要求を受信した端末ＴＥ１は、自己の動作モードを参加端末モードへ切り替え、自己端末を参加端末モードへ切り替えたことを示す端末状態通知を、サーバへ送信する。
この後、端末ＴＥ１は、参加端末モードとなるので、サーバあるいは同一拠点（同一グループ）の代表端末からのストリーミング配信を受ける片方向通信状態となる。
一方、端末ＴＥ１から端末状態通知（参加端末モード）を受信したサーバは、端末ＴＥ１との通信状態をたとえばサーバからストリーミング配信を行う片方向通信状態に切り替える。また、端末ＴＥ１の発言要求端末フラグを「ＯＦＦ」に設定する。これにより、端末ＴＥ１とサーバ間の通信状態は、サーバから端末ＴＥ１へ、映像等をストリーミング配信する片方向通信状態となる。
以上が、この発明の発言検知制御に関する通信シーケンスである。
【０１１７】
発言要求をした端末は、サーバとの間で双方向通信状態となるが、発言要求端末モードとなれる端末は、サーバに接続され管理されているすべての端末の中で１つのみに制限することにより、サーバと双方向通信が可能な端末の数を少なくすることができる。
したがって、サーバと双方向通信が可能な端末を制限することにより、すべての端末がサーバと双方向通信する場合に比べて、ネットワークを流れるトラフィックを少なくすることができるので、伝送遅延の低減，通信障害の減少，およびサーバの処理負担の軽減ができる。
【０１１８】
＜情報端末におけるモード切替処理等の説明＞
図２１に、この発明の端末におけるモード切替処理の一実施例のフローチャートを示す。
ステップＳ１において、端末の初期状態が、参加端末モードに設定されていたとする。参加端末モードは、上記したように、映像や音声等からなる共有情報のストリーミング配信を受けることが可能な状態である。
ステップＳ２において、端末の端末状態通知部８１が、サーバに、端末の現在の動作状態（動作モード）を通知する（端末状態通知処理）。
現在、参加端末モードなので、端末の装置ＩＤとともに、参加端末モードであることを示す情報が、サーバに送信される。
ステップＳ３において、代表端末検出要求部８３が、サーバに、代表端末検出要求を送信する。
ステップＳ４において、サーバから送られてくる代表端末が検出されたことを示す情報（代表端末検出通知）が受信されたか否か、チェックする。
受信された場合、ステップＳ５へ進み、受信されなかった場合あるいは代表端末が検出されなかったことを示す情報（未検出通知）が受信された場合は、ステップＳ９へ進む。
【０１１９】
検出されたことを示す情報（検出通知）が受信された場合、この端末と同じグループに属する代表端末が存在し、その代表端末のＩＰアドレス等がわかるので、ステップＳ５において、ストリーミング要求部８６が、代表端末に対して、ストリーミング配信を要求する情報を送信する（ストリーミング要求）。
代表端末は、サーバからの検出通知の中に含まれる代表端末の装置ＩＤやＩＰアドレス等により特定できる。
ステップＳ６において、ストリーミング受信部８７が、代表端末から送られてくるストリーミング配信を受ける（ストリーミング受信）。
ステップＳ７において、ステップＳ３と同様に、再度サーバに対して、代表端末検出要求を送信する。この処理は、その後、代表端末が何らかの理由で通信回線への接続が切断されたり、電源ＯＦＦ状態となっていないかを確認するためのものである。
ステップＳ８において、サーバからの代表端末の検出通知を受信したか否かチェックし、同じ代表端末が存在することを示す検出通知を受信した場合は、処理を終了する。
【０１２０】
一方、検出通知を受けていない場合、あるいは代表端末の未検出通知を受信した場合、ステップＳ９へ進む。
ステップＳ９において、代表端末がなかったので、その端末自らを代表端末とするために、端末モード切替部８２が、動作モードを、参加端末モードから代表端末モードに切り替える。これにより、サーバからストリーミング配信を受けることができ、かつ他の端末に対してストリーミング配信を行えるモードに切り替える。
ステップＳ１０において、端末状態通知部８１が、サーバに、自己の動作モードを、代表端末モードに切り替えたことを示す端末状態通知を送信する。
ステップＳ１１において、ストリーミング受信部８７が、サーバからストリーミング配信を受ける（ストリーミング受信）。
以上が端末におけるモード切替処理の一実施例であるが、各ステップの処理は、図２６の通信シーケンスに示したものと対応する。
【０１２１】
図２２に、この発明の代表端末となった端末のストリーミング配信処理のフローチャートを示す。
ステップＳ２１において、他の端末から、ストリーミング配信要求を受信したか否か、チェックする。受信した場合は、ステップＳ２２に進み、ストリーミング配信部８８が、要求をしてきた端末に対し、共有情報のストリーミング配信を行う。
【０１２２】
＜サーバにおける端末状態検出等の説明＞
図２３に、サーバの端末状態検出制御処理のフローチャートを示す。
ステップＳ１０１において、端末状態判断部１６２が、端末状態情報を受信したか否か、チェックする。受信した場合は、ステップＳ１０２へ進み、そうでない場合は、ステップＳ１０１をループする。
ステップＳ１０２において、端末状態判断部１６２が、受信した端末状態が、参加端末モードか否かチェックする。参加端末モードである場合は、ステップＳ１０３へ進み、そうでない場合は、処理を終了する。
【０１２３】
ステップＳ１０３において、代表端末検出部１６４が、代表端末検出処理を行う。
ここでは、まず、端末から代表端末検出要求が送信されてきたか否かチェックし、かかる要求が受信された場合に、端末データベース１７２を調べて、代表端末の有無をチェックする。代表端末検出要求を送信してきた端末の拠点ＩＤと同じ拠点ＩＤを持つ端末が端末データベースの中にないか否かを調べる。あれば、その端末の代表端末フラグ１７７が「ＯＮ」となっているかどうか調べる。
【０１２４】
その代表端末フラグが「ＯＮ」となっていれば、代表端末検出要求を送信してきた端末と同一拠点（同一グループ）に属する他の端末であって、かつ代表端末であるものが存在することが検出される。
一方、同一拠点ＩＤを持つ端末が他になければ、同じグループに属する端末がなく、代表端末も存在しないことが検出される。
【０１２５】
ステップＳ１０４において、代表端末が検出されたか否かチェックする。検出された場合は、ステップＳ１０５へ進み、そうでない場合は、ステップＳ１０６へ進む。
ステップＳ１０５において、検出された代表端末の装置ＩＤとＩＰアドレスを含む検出通知を、検出要求をしてきた端末に送信する。
一方、ステップＳ１０６において、代表端末が検出されなかったことを示す情報（未検出通知）を、検出要求をしてきた端末に送信する。
以上のサーバの処理も、図２６の通信シーケンスに示したものと対応する。
【０１２６】
＜端末における発言検知等の説明＞
図２４に、この発明の端末の発言検知および要求処理のフローチャートを示す。
ステップＳ３１において、端末の動作モードの初期状態が、参加端末モードであったとする。
ステップＳ３２において、発言検知部８４が、その端末の利用者が発言を意味する入力操作，音声入力あるいは映像入力（挙手動作）のいずれかをしたことを検知したか否か、チェックする（発言検知処理）。
発言検知をした場合は、ステップＳ３３へ進み、そうでない場合は処理を終了する。
ステップＳ３３において、発言要求部８５が、サーバに、発言要求があったことを意味する情報（発言要求情報）を送信する（発言要求処理）。
参加端末モードでは、自画像等をサーバへ送信することはできないが、この発言要求情報は、所定の通信プロトコルによって、サーバへ送信される。
【０１２７】
ステップＳ３４において、サーバから発言要求端末モードへの切替許可通知を受信すると、端末モード切替部８２が、自己の動作モードを、参加端末モードから、発言要求端末モードへ切り替える。これにより、この端末は、既存発言端末となる。
ステップＳ３５において、双方向通信制御部８９が、通信状態を、サーバと音声および映像の双方向通信ができる状態に変更する。この後、端末からサーバに対して、端末のカメラで撮影された自画像や入力音声を送信することができるようになる。
また、サーバから送られてくる受信画像などの共有情報を直接受信できるようになる。
ステップＳ３６において、サーバからの参加端末モードへの状態切替要求が受信されたか否か、チェックする。これは、たとえば、既存発言端末となっている状態で、他の端末が発言要求をした場合に対応した処理である。
【０１２８】
この切替要求が受信された場合、ステップＳ３７へ進み、受信されなかった場合は処理を終了する。
ステップＳ３７において、端末モード切替部８２が、動作モードを、参加端末モードへ切り替える。参加端末モードになった端末は、サーバからあるいは、代表端末がある場合にはその代表端末からストリーミング配信を受ける片方向通信状態になる。
ステップＳ３８において、端末状態通知部８１が、サーバに、その端末の動作モードが、参加端末モードに変更されたことを通知する。
ステップＳ３９において、ストリーミング受信部８７が、サーバからストリーミング配信により送られてくる音声や映像等の共有情報を受信する。
【０１２９】
＜サーバにおける発言端末検出等の説明＞
図２５に、この発明のサーバにおける発言端末検出制御処理のフローチャートを示す。
ステップＳ１２１において、端末状態判断部１６２が、端末から端末状態情報を受信したか否か、チェックする。受信した場合、ステップＳ１２２へ進み、そうでない場合、ステップＳ１２１をループする。
ステップＳ１２２において、受信した端末状態情報が、発言要求端末モードへの移行を意味する発言要求である場合、ステップＳ１２３へ進み、そうでない場合処理を終了する。
発言要求を送信してきた端末を、発言要求端末と呼ぶ。
ステップＳ１２３において、既存発言端末検出部１６５が、既存発言端末検出処理を行う。ここでは、端末データベース１７２の発言要求端末フラグ１７８の中に、「ＯＮ」となっている端末があるか否か、チェックする。発言要求端末フラグ１７８が「ＯＮ」となっているものがあれば、すでに発言権を持つ端末が存在しており、既存発言端末が検出されたことを意味する。
一方、発言要求端末フラグ１７８が、すべて「ＯＦＦ」の場合、現在、既存発言端末は存在せず、検出されなかったことを意味する。
【０１３０】
ステップＳ１２４において、既存発言端末が検出されたか否かチェックし、検出された場合ステップＳ１２７へ進み、検出されなかった場合はステップＳ１２５へ進む。
ステップＳ１２５において、発言要求をしてきた発言要求端末に、発言要求端末モードへの切替許可通知を送信する。ここで、端末データベースの中の発言要求端末の発言要求端末フラグを、「ＯＮ」に設定する。
ステップＳ１２６において、双方向通信制御部１６７が、通信状態を、発言要求端末と、音声および映像を双方向通信できる状態にする。この後、サーバと発言要求端末との間では、相互に、映像等の情報が送受信される。
【０１３１】
一方、ステップＳ１２７において、既存発言端末を参加端末へ移行させる設定をする。ここでは、端末データベースの中の既存発言端末の発言要求端末フラグ１７８を、「ＯＮ」から「ＯＦＦ」に変更する。
ステップＳ１２８において、通信方法切替部１６３が、既存発言端末に対して、参加端末モードへの切替要求を送信する。
ステップＳ１２９において、上記切替要求に応答して、既存発言端末であった端末から、参加端末モードへ移行したことを示す端末状態通知を受信したか否か、チェックする。受信した場合は、ステップＳ１３０へ進み、そうでない場合は、ステップＳ１２９をループする。
【０１３２】
ステップＳ１３０において、通信方法切替部１６３が、参加端末モードに切り替えられた端末に対して、ストリーミング配信を行うようにする。
ステップＳ１３１において、ステップＳ１２２で新たに発言要求をしてきた端末に対して、発言要求端末モードへの切替許可通知を送信する。ここで、この新たな発言要求端末の発言要求端末フラグを、「ＯＮ」に設定する。
ステップＳ１３２において、双方向通信制御部１６７が、新たに発言要求端末となった端末との間の通信状態を、双方向通信状態にする。これにより、サーバと双方向通信ができる端末が変更されるが、双方向通信状態の端末の数に変化はない。
【０１３３】
したがって、発言要求をする端末が別の端末に変更になったとしても、サーバと双方向通信する端末の数は同一なので、ネットワークを流れるトラフィックに大きな増減はなく、伝送遅延や通信障害の発生も増加することはなく、サーバの処理負荷についても大きな変化はない。
【０１３４】
また、この発明では、原則として発言要求できる端末に制限はなく、サーバに接続し通信が可能な端末であればよい。また、発言要求をする時期についても、原則としていつでも可能としてもよい。新たに発言要求をした端末があれば、サーバと映像等の双方向通信が可能な端末が、その新たな発言要求をした端末にすぐに切り替えられる。
【０１３５】
また、既存発言端末がある場合は、その既存発言端末をたとえば参加端末モードに切り替えることにより、サーバとの双方向通信を解除し、サーバから端末への片方向通信状態となるので、その既存発言端末であった端末からの自画像の送信は行えなくなる。
しかし、新たな発言端末からの自画像や入力音声等の情報が、共有情報として、すべての端末に送信されるので、発言者の情報が参加者全員に伝送でき、円滑な会議の進行が可能となる。
また、発言要求を検出して、双方向通信をする端末の数を制限することにより、ネットワークを流れるトラフィックも、すべての端末がサーバと双方向通信する場合に比べて、少なくすることができるので、伝送遅延の低減と、通信障害の発生の低減と、サーバの処理負荷を軽減することができる。
【０１３６】
＜第２実施例：サーバ端末間通信状態の説明＞
図１３から図２０に、この発明の第２実施例のサーバと端末間の通信状態の説明図を示す。
第１実施例では、代表端末から他の端末へストリーミング配信を行う場合、そのストリーミング配信を受ける端末は、同一グループ（同一拠点）に属する端末に制限していた。
たとえば、図７で、代表端末ＴＥ３からストリーミング配信する相手の端末ＴＥ４は、同一拠点に属する端末であった。
この第２実施例では、グループ化は、同一拠点に属する複数の端末に対して行うが、グループ化によって代表端末となった端末からストリーミング配信をする対象の端末としては、同一グループに属する端末に加えて、そのグループに属さない端末であって、グループ化できる端末を持たない単一の端末として存在する端末も対象とする。
【０１３７】
図１３に、第２実施例のサーバ端末間通信状態（実施例２−１）の説明図を示す。
この図１３の通信状態は、図４に示したものと同一であり、発表端末である端末ＴＥ１のみがサーバに接続されている。
図１４に、第２実施例のサーバ端末間通信状態（実施例２−２）の説明図を示す。この図１４の通信状態は、図５に示したものと同一であり、端末ＴＥ３が、同一拠点内の代表端末となった状態を示している。
図１９と図２０に、第２実施例の各通信状態における端末データベースの３つのフラグの状態を示す。
図１９（ａ）の実施例２−１のフラグの状態と、図１９（ｂ）の実施例２−２のフラグの状態は、それぞれ図１１（ａ），（ｂ）と同一である。
【０１３８】
図１５に、第２実施例のサーバ端末間通信状態（実施例２−３）の説明図を示す。
図１５は、第１実施例の図６に対応するが、端末ＴＥ２が代表端末とはならず、参加端末として起動させられ、すでに代表端末となっていた端末ＴＥ３から、ストリーミング配信を受ける点が異なる。
図１５の場合、端末ＴＥ２が、電源ＯＮにされ、起動させられると、サーバに対して、代表端末検知要求を行う。しかし、サーバで代表端末を探しても、この端末ＴＥ２とグループ化できる代表端末がなかったとすると、サーバは、グループ化とは関係なく、サーバに接続された端末の中に、すでに代表端末となっている端末がないか調べる。
図１５においては、端末ＴＥ２と同一拠点ではないが、すでに代表端末となっている端末ＴＥ３が見つけられる。
【０１３９】
そこで、サーバは、端末ＴＥ２に代表端末の未検出を通知する代わりに、代表端末を端末ＴＥ３とする情報を含む代表端末検出通知を、端末ＴＥ２へ送信する。この代表端末検出通知を受信した端末ＴＥ２は、代表端末ＴＥ３からストリーミング配信を受けることが可能な動作モードに切り替える。
一方、サーバは、代表端末ＴＥ３に対して、同一拠点（同一グループ）に属さない端末ＴＥ２に対してもストリーミング配信を行うことを要求する情報（グループ外端末へのストリーミング配信要求）を、送信する。
この要求情報を受信した端末ＴＥ３は、同一拠点内の参加端末ＴＥ４へのストリーミング配信を継続したまま、要求のあったグループ外の端末ＴＥ２へのストリーミング配信も行う。
すなわち、図１５に示すように、端末ＴＥ３は、サーバからのストリーミング配信で受信画像ＲＤ３を受信した後、端末ＴＥ４に対して、受信画像ＲＤ４をストリーミング配信し、端末ＴＥ２に対しても、受信画像ＲＤ２をストリーミング配信する。ここで、３つの受信画像（ＲＤ２，ＲＤ３，ＲＤ４）は、サーバから送信される共有情報と同一の情報である。
【０１４０】
この実施例２−３では、端末ＴＥ２は代表端末ではなく参加端末であるので、図１９（ｃ）に示すように、端末ＴＥ２の代表端末フラグは、「ＯＦＦ」のままである。
この図１５の場合、端末ＴＥ３は、ストリーミング配信する相手の端末が２つとなるため、配信処理にかかる負荷が増大する。
しかし、サーバは、端末ＴＥ３に対してのみストリーミング配信すればよく、図６に示したように端末ＴＥ２に対するストリーミング配信をしなくてよいので、ストリーミング配信処理にかかる負荷が少なくてよい。
すなわち、この第２実施例の図１５の場合、第１実施例よりもサーバにおける処理の負荷を軽減できる。
【０１４１】
図１６に、第２実施例のサーバ端末間通信状態（実施例２−４）の説明図を示す。
この図１６では、図１５の通信状態において、端末ＴＥ２の利用者が発言要求をした場合を示している。
このとき、端末ＴＥ２が発言端末となり、発表端末ＴＥ１とともに、２つの端末（ＴＥ１，ＴＥ２）がサーバと双方向通信が可能な状態となる。
ここで、図２０（ｄ）に示すように、端末ＴＥ２の発言要求端末フラグが、「ＯＮ」に設定される。
この通信状態は、図７とほぼ同様であるが、図７とは端末ＴＥ２が代表端末でない点が異なる。この場合は、サーバと双方向通信する端末が２つとなるので、トラフィックは増加するが、双方向通信が可能となった２つの端末（ＴＥ１，ＴＥ２）の自画像（ＳＤ１，ＳＤ２）を含む共有情報が、すべての端末へ送信されることになる。
【０１４２】
図１７に、第２実施例のサーバ端末間通信状態（実施例２−５）の説明図を示す。
この図１７では、図１６の通信状態において、端末ＴＥ３の利用者が発言要求をした場合を示している。このとき、発言端末が、ＴＥ２からＴＥ３へ変更される。
したがって、端末ＴＥ３とサーバとの間で、双方向通信が行われる。
また、端末ＴＥ２は、もとの参加端末へ戻り、サーバとの双方向通信状態が解除され、図１５と同様に端末ＴＥ３からストリーミング配信を受けるようになる。
また、図２０（ｅ）に示すように、発言要求端末フラグは、端末ＴＥ２が「ＯＦＦ」となり、端末ＴＥ３が「ＯＮ」に変更される。
図１６では、サーバと双方向通信を行う端末が２つで、サーバからストリーミング配信を受ける端末が１つ存在したが、図１７ではサーバと双方向通信する端末が２つだけとなり、サーバのストリーミング配信にかかる負荷がなくなり、負荷が軽減される。
【０１４３】
図１８に、第２実施例のサーバ端末間通信状態（実施例２−６）の説明図を示す。
この図１８では、図１７の通信状態において、端末ＴＥ４の利用者が発言要求をした場合を示している。このとき、発言端末が、ＴＥ３からＴＥ４へ変更され、端末ＴＥ４とサーバ間で、双方向通信が行われるようになる。
一方、端末ＴＥ３は、もとの代表端末に戻り、サーバからストリーミング配信を受ける。また、端末ＴＥ３から端末ＴＥ２へのストリーミング配信は、そのまま継続される。
ここで、図２０（ｆ）に示すように、発言要求端末フラグは、端末ＴＥ３が「ＯＦＦ」で、端末ＴＥ４が「ＯＮ」に変更される。
この場合、サーバと端末間の通信状態は、双方向通信する端末が２つで、ストリーミング配信を受ける端末が１つとなり、サーバは、図１６と同様の負荷がかかる状態となる。
また、端末ＴＥ２は、グループ化できる他の端末がなく、代表端末ともなっていないが、１つのグループに属する他の代表端末ＴＥ３からストリーミング配信を受けるようにしているので、サーバの処理負荷を軽減することができる。
【０１４４】
以上のように、第２実施例の場合も、グループ化により、サーバもしくは、同一拠点（同一グループ）の代表端末からのストリーミング配信および、発言要求の検出によってサーバと双方向通信できる発言要求端末を１つに限定しているので、全端末がサーバと双方向通信する場合に比べて、伝送遅延を低減させ、通信障害を低減させることができ、さらにグループ化できる端末を持たない単一の端末に対して、他の代表端末からストリーミング配信をするようにしているので、サーバの共有情報を配信するのにかかる負荷を軽減させることができる。
【０１４５】
また、現実には、サーバに接続される端末の台数は、５台以上の場合もあり、さらに、端末の動作モードも各端末ごとに変化するので、端末からサーバに送信される情報や、サーバから端末へ送信される合成画像も、図４〜図９、図１３〜１８等以外にも種々のパターンが考えられる。
また、サーバに接続された複数の端末がすべて双方向通信可能な状態であれば、サーバと各端末間で伝送されるデータ量は多く、サーバで処理すべきデータ量も多いため、伝送遅延や通信障害が起こる可能性は高くなるが、この発明のように、端末のグループ化と、端末における発言要求を検出することにより、サーバとの通信状態を変更するようにすれば、サーバに接続された大容量の情報の通信を行う端末の実質的な数を減少させることができ、伝送遅延の減少と通信障害の発生を低減させることができ、サーバの負荷を軽減できる。
【符号の説明】
【０１４６】
１  サーバ
２  情報端末（端末）
１１  入力部
１２  キーボード
１３  マウス
１４  タブレット
１５  人検知センサ
１６  入力処理部
２１  映像入力部
２２  カメラ
２３  映像処理部
３１  表示部
３２  ディスプレイ
３３  表示処理部
４１  音声入力部
４２  マイク
４３  入力音声処理部
４５  音声出力部
４６  スピーカ
４７  出力音声処理部
５１  通信部
５２  通信暗号部
５３  通信復号部
５５  認証部
６１  記憶部
６２  認識データベース
６３  入力映像
６４  入力音声
７１  信号処理部
７２  映像符号化部
７３  映像復号化部
７４  音声符号化部
７５  音声復号化部
８０  制御部
８１  端末状態通知部
８２  端末モード切替部
８３  代表端末検出要求部
８４  発言検知部
８５  発言要求部
８６  ストリーミング要求部
８７  ストリーミング受信部
８８  ストリーミング配信部
８９  双方向通信制御部
１０１  入力部
１１１  表示部
１２１  通信部
１３１  ＭＣＵ部
１５１  信号処理部
１６１  制御部
１６２  端末状態判断部
１６３  通信方法切替部
１６４  代表端末検出部
１６５  既存発言端末検出部
１６６  ストリーミング配信部
１６７  双方向通信制御部
１７１  記憶部
１７２  端末データベース
１７３  装置ＩＤ
１７４  拠点ＩＤ
１７５  ＩＰアドレス
１７６  発表端末フラグ
１７７  代表端末フラグ
１７８  発言要求端末フラグ
１７９  ユーザＩＤ
１８０  メールアドレス
１８１  ユーザデータベース
【図１】
2011077839.tif 000003
【図２】
2011077839.tif 000004
【図３】
2011077839.tif 000005
【図４】
2011077839.tif 000006
【図５】
2011077839.tif 000007
【図６】
2011077839.tif 000008
【図７】
2011077839.tif 000009
【図８】
2011077839.tif 000010
【図９】
2011077839.tif 000011
【図１０】
2011077839.tif 000012
【図１１】
2011077839.tif 000013
【図１２】
2011077839.tif 000014
【図１３】
2011077839.tif 000015
【図１４】
2011077839.tif 000016
【図１５】
2011077839.tif 000017
【図１６】
2011077839.tif 000018
【図１７】
2011077839.tif 000019
【図１８】
2011077839.tif 000020
【図１９】
2011077839.tif 000021
【図２０】
2011077839.tif 000022
【図２１】
2011077839.tif 000023
【図２２】
2011077839.tif 000024
【図２３】
2011077839.tif 000025
【図２４】
2011077839.tif 000026
【図２５】
2011077839.tif 000027
【図２６】
2011077839.tif 000028
【図２７】
2011077839.tif 000029
【図２８】
2011077839.tif 000030