(57)【要約】【課題】受信した複数の画像データに係る画像表示を適切な表示品質で行うことができる通信装置及び通信会議システムを提供する。【解決手段】端末装置５ａは、表示パネル５５に複数のウインドウを並べて表示すると共に、通信会議に参加する各端末装置５ａのカメラ５２が撮像した画像を各ウインドウにそれぞれ表示し、ユーザが入力部６１を利用してウインドウ又はウインドウに表示された画像に対する操作を行った場合に、操作対象のウインドウの画像の表示品質を高める。端末装置５ａは、受信した音声データに基づいて通信会議の発言者のユーザを特定し、このユーザの画像の表示品質を高める。また端末装置５ａは、ユーザによる操作がなされないウインドウ、及び、発言者のユーザを表示していないウインドウについては、時間の経過に伴って徐々に表示品質を低減する【選択図】図５
2011082867.tif 000002
【特許請求の範囲】
【請求項１】
一又は複数の他の装置との間で画像データの送受信を行う通信手段と、該通信手段が受信した画像データに係る画像を表示する表示パネルとを備える通信装置において、
前記通信手段が受信した画像データに係る画像を表示する画像表示部を、前記表示パネルに複数表示する処理を行う表示処理手段と、
前記画像表示部又は該画像表示部に表示された画像に対する操作を受け付ける操作受付手段と、
前記画像表示部若しくは該画像表示部に表示された画像に対する操作の有無、又は、前記操作受付手段が受け付けた操作の内容に応じて、前記画像表示部に表示する画像の表示品質を調整する調整手段と
を備えること
を特徴とする通信装置。
【請求項２】
前記調整手段は、前記操作受付手段が操作を受け付けた場合に、操作対象の画像表示部に表示する画像の表示品質を高めるようにしてあること
を特徴とする請求項１に記載の通信装置。
【請求項３】
前記調整手段は、操作対象でない画像表示部に表示する画像の表示品質を、時間経過に応じて低減するようにしてあること
を特徴とする請求項１又は請求項２に記載の通信装置。
【請求項４】
前記通信手段は画像データと共に音声データの送受信を行うようにしてあり、
前記調整手段は、前記通信手段が画像データと共に受信した音声データに係る音声に応じて、該画像データに係る画像を表示する前記画像表示部の表示品質を調整するようにしてあること
を特徴とする請求項１から請求項３までのいずれか１つに記載の通信装置。
【請求項５】
前記調整手段は、前記通信手段が受信した音声データに係る音声の音量が閾値を超えるか否かに応じて、表示品質を調整するようにしてあること
を特徴とする請求項４に記載の通信装置。
【請求項６】
前記調整手段は、前記画像表示部に表示された画像の拡大、縮小又は移動に係る操作を前記操作受付手段が受け付けた場合に、操作対象の画像表示部に表示された画像の表示品質を調整するようにしてあること
を特徴とする請求項１から請求項５までのいずれか１つに記載の通信装置。
【請求項７】
前記表示処理手段は、複数の画像表示部が重ならないように前記表示パネルに表示するようにしてあること
を特徴とする請求項１から請求項６までのいずれか１つに記載の通信装置。
【請求項８】
前記画像データは、動画像に係る画像データであり、
前記調整手段は、動画像の表示に係る解像度又はフレームレートを調整するようにしてあること
を特徴とする請求項１から請求項７までのいずれか１つに記載の通信装置。
【請求項９】
請求項１から請求項８までのいずれか１つに記載の通信装置を複数備え、
各通信装置は、
カメラにて撮像された画像データを前記通信手段が他の通信装置へ送信し、
他の複数の通信装置から送信された画像データを前記通信手段が受信し、
受信した画像データに係る画像の表示を前記表示処理手段が行うようにしてあること
を特徴とする通信会議システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークなどを介して、遠隔地の複数のユーザが通信会議を行うための通信装置及び通信会議システムに関する。
【背景技術】
【０００２】
ネットワーク技術の発展に伴って、遠隔の二拠点又は三拠点以上の多拠点に設置された複数の通信装置の間で画像（映像）及び音声等の大容量データを送受信することが可能となり、これらの通信装置を利用して遠隔地のユーザが会議を行うことができる通信会議システムが実用化されている。
【０００３】
従来の通信会議システムでは、一の通信装置が電話番号又はＩＰ（Internet Protocol）アドレス等を指定して他の通信装置と直接的に接続を確立し、２つの通信装置が一対一で画像及び音声等のデータを交換することで通信会議が実現される。また３つ以上の通信装置を利用して、一の通信装置を親機とし、他の複数の通信装置を子機として、複数の子機がそれぞれ親機との接続を確立し、親機が子機間のデータ交換を中継することにより、三拠点以上の多拠点での通信会議を実現した通信会議システムがある。また、より多くの拠点間での通信会議を実現するために、複数の通信装置をＭＣＵ（Multipoint Control Unit、多地点接続装置）にスター状に接続し、通信装置間のデータ交換をＭＣＵが中継する構成の通信会議システムがある。ＭＣＵを利用した通信会議システムでは、通信会議に参加可能な拠点数はＭＣＵの能力（通信装置を接続できる数、例えば通信ポートの数）に依存する。
【０００４】
また更には、ＬＡＮ（Local Area Network）又はインターネット等のネットワークを介して接続された通信会議のサーバ装置と複数の通信装置（クライアント装置）とを用い、サーバ装置が任意の複数の通信装置間でのデータ交換を中継することで通信会議を実現するサーバ＆クライアント型の通信会議システムがある。サーバ＆クライアント型の通信会議システムは、サーバ装置の処理能力及びネットワークの通信速度等の制限はあるものの、ＭＣＵを利用した通信会議システムと比較して、通信会議に参加する拠点数の増減を比較的容易に行うことができるという利点がある。
【０００５】
多数の通信装置間で画像又は音声等のデータ交換を行うことができる通信会議システムでは、１つの通信装置を１人のユーザが使用して通信会議を行うことが可能となる。各ユーザが使用する通信装置は、液晶などの表示パネル、カメラ、マイク及びスピーカ等を備え、ユーザを撮像した画像データの送受信及びユーザの発言に係る音声データの送受信等を行う。また多数の通信装置間で画像データの交換を行う場合、一の通信装置にはその他の多数の通信装置から画像データが送信されるため、各通信装置は複数の画像データを受信し、表示パネルに複数の画像を表示する必要がある。
【０００６】
特許文献１においては、複数の地点に設けられた会議端末を多地点ＴＶ会議装置に接続し、多地点ＴＶ会議装置が複数の会議端末からの画像を選択して多重化し、各会議端末が多重化されたデータから分離した画像データを多地点で同時に表示を行う場合に、多地点ＴＶ会議装置から通知された会議端末数に応じて各会議端末が画面上の分割表示形態を変更する表示形態変更方式が提案されている。また特許文献１には、各会議端末が、自らが発言者であるか否かに応じて、送信する画像の解像度を変更することが記載されている。
【０００７】
特許文献２においては、複数の会議端末が映像情報の送受信を行い、各会議端末が他地点の会議端末から送信された映像情報を同時に表示するテレビ会議システムにおいて、各会議端末は、多地点の会議端末から送信される映像情報の解像度の設定を、自地点の会議参加者の操作に従って地点毎に受け付け、受信した映像情報をそれぞれ設定された解像度で表示する構成が提案されている。このテレビ会議システムは、リアルタイムの表示と映像の解像度との両方を満足させることができる。
【０００８】
特許文献３においては、ディスプレイ上に表示されている複数のウインドウの重なりなどに応じて、各ウインドウの表示領域を再生するのに必要な画像データを算出し、対応する画像データ送信装置に対して必要な画像データだけを送信するように指示するパケットを生成し、ネットワークを経由して送信装置側へ伝える構成とすることにより、無駄なトラヒックの発生を抑制し、通信料金を削減することができるマルチウインドウ画像受信装置が提案されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平６−０７００４０号公報
【特許文献２】特開平９−００９２３０号公報
【特許文献３】特開平６−１４９５２３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
各通信装置がユーザの姿をカメラで撮像した画像データを送信し、多数の通信装置間で画像データの交換を行う通信会議システムの場合、各通信装置はその他の多数の通信装置から送信された複数の画像データを受信し、受信した画像データに係る複数の画像を表示する必要がある。このため、通信会議に参加する通信装置の数が多いほど、各通信装置が行う表示処理の負荷が増大し、表示すべき各画像の表示品質を保つことが困難になるという問題がある。特許文献１に記載の技術も同様の問題を有している。
【００１１】
特許文献２に記載のテレビ会議システムでは、テレビ会議に参加する会議端末装置から送信される映像情報の解像度を地点毎に設定することができる。しかしながら、このテレビ会議システムでは、会議端末装置を使用するユーザが解像度操作用ウインドウに対する操作を行うことによって解像度が設定される構成であるため、解像度操作用ウインドウはアイコンなどにより操作を簡略化しているものの、ユーザにとって操作が煩わしいという問題がある。
【００１２】
また特許文献３に記載のマルチウインドウ画像受信装置は、ウインドウの重なりなどに応じて必要な画像データを算出して、このデータだけを送信するように送信装置側へ指示を与えることができる。しかしながら多数の通信装置が参加する通信会議においては、画像データの送信側装置は同一の画像データを複数の装置へ送信する必要があり、受信側の解像度設定に応じた画像データの送信を行うためには、同一の画像データから解像度の異なる複数の画像データを生成して各通信装置へ送信しなければならない。よって、特許文献３のマルチウインドウ画像受信装置の技術を通信会議システムに適用した場合、送信側装置の処理負荷が増大すると共に、ネットワークの通信負荷が増大する虞がある。
【００１３】
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、ユーザが煩わしい操作を行う必要がなく、且つ、送信側装置の負荷増大又はネットワークの通信負荷増大等を招来することなく、受信した複数の画像データに係る画像表示を適切な表示品質で行うことができる通信装置及び通信会議システムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明に係る通信装置は、一又は複数の他の装置との間で画像データの送受信を行う通信手段と、該通信手段が受信した画像データに係る画像を表示する表示パネルとを備える通信装置において、前記通信手段が受信した画像データに係る画像を表示する画像表示部を、前記表示パネルに複数表示する処理を行う表示処理手段と、前記画像表示部又は該画像表示部に表示された画像に対する操作を受け付ける操作受付手段と、前記画像表示部若しくは該画像表示部に表示された画像に対する操作の有無、又は、前記操作受付手段が受け付けた操作の内容に応じて、前記画像表示部に表示する画像の表示品質を調整する調整手段とを備えることを特徴とする。
【００１５】
また、本発明に係る通信装置は、前記調整手段が、前記操作受付手段が操作を受け付けた場合に、操作対象の画像表示部に表示する画像の表示品質を高めるようにしてあることを特徴とする。
【００１６】
また、本発明に係る通信装置は、前記調整手段が、操作対象でない画像表示部に表示する画像の表示品質を、時間経過に応じて低減するようにしてあることを特徴とする。
【００１７】
また、本発明に係る通信装置は、前記通信手段は画像データと共に音声データの送受信を行うようにしてあり、前記調整手段は、前記通信手段が画像データと共に受信した音声データに係る音声に応じて、該画像データに係る画像を表示する前記画像表示部の表示品質を調整するようにしてあることを特徴とする。
【００１８】
また、本発明に係る通信装置は、前記調整手段が、前記通信手段が受信した音声データに係る音声の音量が閾値を超えるか否かに応じて、表示品質を調整するようにしてあることを特徴とする。
【００１９】
また、本発明に係る通信装置は、前記調整手段が、前記画像表示部に表示された画像の拡大、縮小又は移動に係る操作を前記操作受付手段が受け付けた場合に、操作対象の画像表示部に表示された画像の表示品質を調整するようにしてあることを特徴とする。
【００２０】
また、本発明に係る通信装置は、前記表示処理手段が、複数の画像表示部が重ならないように前記表示パネルに表示するようにしてあることを特徴とする。
【００２１】
また、本発明に係る通信装置は、前記画像データが、動画像に係る画像データであり、前記調整手段は、動画像の表示に係る解像度又はフレームレートを調整するようにしてあることを特徴とする。
【００２２】
また、本発明に係る通信会議システムは、上述の通信装置を複数備え、各通信装置は、カメラにて撮像された画像データを前記通信手段が他の通信装置へ送信し、他の複数の通信装置から送信された画像データを前記通信手段が受信し、受信した画像データに係る画像の表示を前記表示処理手段が行うようにしてあることを特徴とする。
【００２３】
本発明においては、複数の通信装置が相互に画像データの送受信を行う通信会議システムにて、一の通信装置はカメラにて撮像した画像データを他の通信装置へ送信すると共に、複数の他の通信装置から画像データを受信した一の通信装置は、受信した複数の画像データに係る画像を並べる又は重ねるなどの方法で表示パネルに表示する。これにより通信装置を利用するユーザは、他の会議参加ユーザの姿を表示モニタにて同時的に視認することができる。複数の画像を表示パネルに表示する場合に、各通信装置は、例えば１つのウインドウ（画像表示部）に１つの他の通信装置から受信した画像を表示し、複数のウインドウを表示パネルの一部又は全部に並べる又は重ねるなどの方法で表示することができる。
このように表示パネルに複数の受信画像を表示する場合に、各通信装置は、表示パネル内のウインドウ又は各ウインドウ内の受信画像に対する操作を、例えばマウス、タッチパネル又はペンタブレット等の機器による入力にて受け付ける。通信会議を行っている際に、ユーザが表示パネルに表示されたウインドウ又はウインドウ内の画像に対する操作を行った場合などは、ユーザはこの操作対象の画像を、他の画像と比較して、より詳細に見ようとしていると考えられる。よって、各通信装置は、ウインドウ又はウインドウ内の画像に対する操作の有無又は操作内容に応じて、対象の画像の表示品質を調整する処理を行う。
これにより、操作対象の画像の表示品質を高めてユーザにこの画像を詳細に視認させることができると共に、操作対象以外の画像の表示品質を低減して通信装置の処理負荷を低減することができる。
【００２４】
また、本発明においては、表示パネルに表示したウインドウ又はウインドウ内の画像に対するユーザの（何らかの）操作を受け付けた場合に、通信装置は表示品質を高める処理を行う。通信装置は、表示パネルに表示された複数のウインドウからユーザの操作に応じて一のウインドウを特定し、特定したウインドウに表示する画像の表示品質を高める。これにより、ユーザが表示品質の設定変更などの特別な操作を行うことなく、ユーザが詳細に見ようとする画像の表示品質を高めることができる。
【００２５】
操作がなされた直後の画像はユーザが詳細に見ている画像であると推定され、長時間に亘って操作がなされていない画像はユーザが詳細に見る必要のない画像であると推定できる。そこで、本発明においては、ウインドウ又はウインドウ内の画像に対するユーザの操作がなされない場合、このウインドウの画像の表示品質を時間経過に応じて低減していく。これにより、操作がなされた直後の画像を高品質に表示し、長時間に亘って操作がなされていない画像の表示品質を低減することができる。よって通信装置は、ユーザからの特別な操作を必要とすることなく、ユーザが詳細に見る画像の表示品質を高く、詳細に見る必要のない画像の表示品質を低くして表示を行うことができる。
【００２６】
また、本発明においては、通信会議において画像データのみでなく、通信装置がマイク（集音手段）にて集音した音声データの送受信を行う。これにより、通信会議に参加する複数のユーザは、各ユーザの姿を見ながら音声の交換（会話）を行うことができる。
この構成の場合、各通信装置が集音した音声データから、例えば各通信装置を利用するユーザが通信会議において発言しているか否かを判断することができる。そこで各通信装置は、受信した他の通信装置からの音声データに応じて、例えば発言者の姿を撮像した画像の表示品質を高めるなど、受信した画像データに係る画像表示の表示品質を調整する。これにより、ユーザが特別な操作を行うことなく、通信装置が受信音声に基づいて自動的に表示品質の調整を行うことができる。
【００２７】
また、本発明においては、受信した音声データに係る音声の音量が閾値を超えるか否かを通信装置が調べる。受信音声の音量が閾値を超えて大きい場合には、この音声送信元の通信装置を利用しているユーザが発言を行っている可能性が高く、受信側の通信装置を利用しているユーザは発言者の画像を詳細に見る可能性が高い。よって通信装置は、受信音声の音量が閾値を超えるか否かに応じて、受信画像の表示品質を調整する。これにより通信装置は、ユーザが詳細に見る可能性の高い画像の表示品質を自動的に高めることができる。
【００２８】
また、本発明においては、通信装置が各ウインドウに表示した画像に対する拡大、縮小又は移動に係る操作を受け付け可能とする。通信装置は、これらの操作を受け付けた場合に、操作がなされたウインドウの画像の表示品質を調整する。例えば、画像の拡大操作又は移動操作がなされた場合、ユーザはこの画像を詳細に見ようとしていると考えられるため、通信装置はこの画像の表示品質を高めることができる。また例えば、画像の縮小操作がなされた場合、ユーザはこの画像を詳細に見ようとしていないと考えられるため、通信装置はこの画像の表示品質を低減することができる。
【００２９】
また、本発明においては、受信画像表示用のウインドウを表示パネルに複数表示する場合、通信装置は複数のウインドウが重ならないように表示パネル内に表示を行う。これにより、通信装置を利用するユーザに対して、受信した全画像を見やすく表示することができる。
【００３０】
また、本発明においては、画像の表示品質の調整は、動画像の解像度の調整又はフレームレートの調整により行う。これにより各通信端末は、必要性の低い画像の解像度又はフレームレートを低減して処理負荷の軽減を行うことができ、必要性の高い画像の解像度又はフレームレートを高めてユーザに対して見やすい画像表示を行うことができる。
【発明の効果】
【００３１】
本発明による場合は、通信会議を行う各通信装置が、他の複数の通信装置から受信した画像データに係る画像をそれぞれウインドウなどの画像表示部に表示すると共に、ウインドウ又はウインドウ内の画像に対するユーザの操作の有無又は操作内容に応じて、この画像の表示品質を調整する構成とすることにより、ユーザが各画像の表示品質を設定するなどの煩わしい操作を行う必要がなく、ユーザが詳細に見ようとする画像の表示品質を自動的に高めるなどの調整を行うことができるため、通信装置の利便性を向上することができる。またユーザが詳細に見ない画像の表示品質を自動的に低減するなどの調整を行うことができるため、多数の画像表示を行う必要がある通信装置の処理負荷を軽減することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明に係る通信会議システムの一構成例を示す模式図である。
【図２】通信会議における画像データの送受信を説明するための模式図である。
【図３】通信会議におけるドキュメントデータの送受信を説明するための模式図である。
【図４】会議サーバ装置の構成を示すブロック図である。
【図５】端末装置の構成を示すブロック図である。
【図６】端末装置の信号処理部の構成を示すブロック図である。
【図７】本発明に係る端末装置が行う画像表示処理を説明するための模式図である。
【図８】通信会議における表示品質調整の一例を示す模式図である。
【図９】通信会議における表示品質調整の一例を示す模式図である。
【図１０】本発明に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。
【図１１】変形例に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。
【図１２】変形例に係る通信会議システムの各端末装置が行う表示品質調整処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００３３】
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。図１は、本発明に係る通信会議システムの一構成例を示す模式図である。図において１は通信会議システムの会議サーバ装置であり、無線又は有線のネットワーク３を介して複数の端末装置（通信装置）５ａ、５ｂ…に接続されている。会議サーバ装置１は、ネットワーク３に接続された複数の端末装置５ａ、５ｂ…から任意に選択された２つ以上の端末装置５ａ、５ｂ…の間で、画像データ、音声データ又はドキュメントデータ等の各種のデータ送受信を中継することにより、遠隔地での通信会議を実現する。
【００３４】
また会議サーバ装置１は、複数の通信会議を並列的に行うことができる。図１に示す例では、３つの端末装置５ａ、５ｄ、５ｅが１つのグループを形成して会議１を行い、他の３つの端末装置５ｂ、５ｃ、５ｆが１つのグループを形成して会議２を行っている。即ち、会議サーバ装置１は、２以上の端末装置５ａ、５ｂ…を、通信会議を行う１つのグループとして扱い、１つのグループに含まれる複数の端末装置５ａ、５ｂ…の間で画像データ及び音声データ等の中継を行うと共に、ネットワーク中に複数のグループを形成することを許し、複数のグループについて画像データ及び音声データ等の中継を同時的に行うことができる。
【００３５】
通信会議システムの端末装置５ａ、５ｂ…は、例えばノート型ＰＣ（Personal Computer）にカメラ及びスピーカを搭載した構成、また例えばディスプレイにカメラ及び通信機能を搭載した構成等により実現することができる。ただし端末装置５ａ、５ｂ…の構成はこれらに限るものではなく、少なくとも会議サーバ１又は他の端末装置５ａ、５ｂ…との間で有線又は無線による通信を行う機能、ユーザなどの撮像を行う機能、画像（映像）を表示する機能、ユーザの発言などに係る音声を集音する機能、音声を出力する機能、及び、マウス、キーボード又はペンタブレット等のユーザ入力を受け付ける機能等を備える装置であればよい。
【００３６】
図２は、通信会議における画像データの送受信を説明するための模式図であり、４つの端末装置５ａ〜５ｄが会議サーバ装置１を利用して通信会議を行う場合について示してある。また、図２においては、各端末装置５ａ〜５ｄに搭載されたカメラにて撮影された各ユーザの画像を、全ての端末装置５ａ〜５ｄの間で送受信する例を示してある。
【００３７】
各端末装置５ａ〜５ｄにはユーザの顔又は上半身等を撮影可能な位置にカメラがそれぞれ設けられている。各端末装置５ａ〜５ｄは、これを使用するユーザをカメラにて撮影し、撮影により得られた画像（自端末画像）を符号化した送信用の画像データを作成し、この画像データを会議サーバ装置１へ送信する。
【００３８】
会議サーバ装置１は、４つの端末装置５ａ〜５ｄからの画像データ（４つの自端末画像）を受信し、必要に応じて各画像のサイズ又は画質等を調整する画像処理を行う。会議サーバ装置１は、これらの画像データを通信会議に参加する各端末装置５ａ〜５ｄへそれぞれ送信する。
【００３９】
各端末装置５ａ〜５ｄは、会議サーバ装置１が送信する画像データを受信する。ただし、会議サーバ装置１から各端末装置５ａ〜５ｄへ送信する画像データは、各端末装置５ａ〜５ｄの自端末画像を含まない画像、即ち他の端末装置５ａ〜５ｄにて撮像された画像（他端末画像）のみであってよい。各端末装置５ａ〜５ｄは、自らが撮影した自端末画像と、会議サーバ装置１から受信した複数の他端末画像とをディスプレイに並べて表示する。なお、各端末装置５ａ〜５ｄは、自らのカメラにて撮像した自端末画像については表示を行わない構成であってもよい。通信会議システムでは会議サーバ装置１及び端末装置５ａ〜５ｄが上記の処理を繰り返し行っており、これにより各端末装置５ａ〜５ｄには、通信会議に参加する全てのユーザの画像が動画像として表示される。
【００４０】
なお、図示は省略するが、通信会議における音声データの送受信についても同様の方法で送受信を行うことができる。各端末装置５ａ〜５ｄにはマイクが備えられており、ユーザの会話を音声データに変換して会議サーバ装置１へ送信する。会議サーバ装置１は、各端末装置５ａ〜５ｄからの音声データを受信し、必要に応じて音量及び音質等を調整する音声処理を行って、各端末装置５ａ〜５ｄへ音声データを送信する。各端末装置５ａ〜５ｄは、他の端末装置５ａ〜５ｄの音声データを会議サーバ装置１から受信し、自らのマイクにて集音した音声データと、会議サーバ装置１から受信した複数の音声データとを合成してスピーカから音声出力を行う。
【００４１】
図３は、通信会議におけるドキュメントデータの送受信を説明するための模式図である。通信会議の開催者は、予め会議サーバ装置１に通信会議の開催予約を行い、この際に通信会議にて使用する資料を会議サーバ装置１に登録しておく。会議サーバ装置１に登録する資料は、テキスト又は画像等のデータで構成されたドキュメントデータであり、例えばテキストファイル、画像ファイル、プレゼンテーションソフトウェア用のファイルなどの種々のデータ形式のものであってよい。会議サーバ装置１は、開催者により予め登録されたこれらのドキュメントデータを共有資料１０１として記憶している。
【００４２】
通信会議に参加するユーザが使用する各端末装置５ａ、５ｂ…には、液晶ディスプレイなどによる表示パネル５５が設けられており、上述のように会議参加ユーザを撮影した画像を表示パネル５５に表示することができると共に、会議資料のドキュメントデータを表示することができる。このとき、端末装置５ａ、５ｂ…は、表示パネル５５を上下又は左右等に分割してユーザの撮影画像及びドキュメントデータを共に表示する構成であってもよく、表示パネル５５に撮影画像又はドキュメントデータのいずれを表示するかをユーザが選択して切り替える構成であってもよい。
【００４３】
会議サーバ装置１は、通信会議のための共有資料１０１をページ毎に管理しており、通信会議に参加する全ての端末装置５ａ、５ｂ…に対して共有資料１０１の所定のページを送信することによって、全ての端末装置５ａ、５ｂ…の表示パネル５５に共有資料１０１の同じページを表示することができる。各端末装置５ａ、５ｂ…の表示パネル５５に表示する共有資料１０１のページの変更は、通信会議の開催者のユーザが使用する端末装置５ａ、５ｂ…にて行うことができ、他のユーザが使用する端末装置５ａ、５ｂ…では開催者のユーザが行うページ変更の操作に同期して共有資料１０１の表示ページが変更される。なお、開催者以外のユーザが、自らの端末装置５ａ、５ｂ…にて、開催者のユーザによるページ変更とは非同期に、共有資料１０１のページ変更を行うこともできる。
【００４４】
また各端末装置５ａ、５ｂ…はペンタブレット、マウス又はタッチパネル等のポインティングデバイスによる入力部６１を有しており、ユーザは表示パネル５５に表示された会議資料に対して文字又は図形等の記入を入力部６１にて行うことができる。一のユーザが一の端末装置５ａ、５ｂ…の入力部６１にて会議資料に記入した文字又は図形等は、他のユーザが使用する他の端末装置５ａ、５ｂ…の表示パネル５５に会議資料と重ねて表示される。即ち、会議資料に対して一のユーザが記入した文字又は図形等のデータは、通信会議に参加する全てのユーザにて共有される。
【００４５】
このようなドキュメントデータ及びユーザの記入データの共有を行うために、本通信会議システムでは、共有資料１０１の各ページと、各端末装置５ａ、５ｂ…にてユーザが記入した文字又は図形等のデータとを、それぞれ異なるレイヤとして扱っている。会議サーバ装置１から各端末装置５ａ、５ｂ…へページ単位で送信される共有資料１０１は、各端末装置５ａ、５ｂ…においては背景レイヤ１５１として扱われる。
【００４６】
ユーザが入力部６１を用いて記入した文字又は図形等のデータは、各端末装置５ａ、５ｂ…にて書込レイヤ１５５として扱われる。各端末装置５ａ、５ｂ…は、入力部６１にてユーザからの入力を受け付けた後、書込レイヤ１５５のデータを会議サーバ装置１へ送信し、これを受信した会議サーバ装置１は、各端末装置５ａ、５ｂ…に対応付けた端末情報１０５ａ、１０５ｂ…の書込情報として、各端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを記憶する。
【００４７】
会議サーバ装置１は、会議に参加する全ての端末装置５ａ、５ｂ…について、端末情報１０５ａ、１０５ｂの書込情報として各端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを記憶する。更に会議サーバ装置１は、各端末装置５ａ、５ｂ…へ、他の端末装置５ａ、５ｂ…の書込情報をそれぞれ異なるレイヤとして送信する。各端末装置５ａ、５ｂ…は、会議サーバ装置１から送信された他の端末装置５ａ、５ｂ…の書込レイヤ１５５のデータを受信して、背景レイヤ１５１に他の端末装置５ａ、５ｂ…の書込レイヤ１５５と自らの書込レイヤ１５５とを重ねた表示用データを作成し、表示パネル５５へ表示する。これにより、各端末装置５ａ、５ｂ…の表示パネル５５には、会議に参加する全ての端末装置５ａ、５ｂ…にてユーザが書き込んだ情報を表示することができる。
【００４８】
なお、各端末装置５ａ、５ｂ…では、背景レイヤ、他の端末装置５ａ、５ｂ…の書込レイヤ１５５、及び自らの書込レイヤ１５５等の複数のレイヤから、表示パネル５５に重ねて表示するレイヤをユーザが任意に選択することができる。各端末装置５ａ、５ｂ…は、いずれのレイヤを表示するかを閲覧情報として会議サーバ装置１へ送信しており、会議サーバ装置１は、各端末装置５ａ、５ｂ…に対応付けた端末情報１０５ａ、１０５ｂ…に、書込情報と共に閲覧情報を記憶している。これにより会議サーバ装置１は、各端末装置５ａ、５ｂ…へ他の端末装置５ａ、５ｂ…の書込情報を送信する際に、必要な書込情報のみを取捨選択して送信することができる。
【００４９】
図４は、会議サーバ装置１の構成を示すブロック図である。通信会議システムの会議サーバ装置１は、制御部１１、信号処理部１２、画像処理部１３、音声処理部１４、通信処理部１５、ネットワークＩ／Ｆ（インタフェース）部１６、メモリ１７、入力処理部１８、表示処理部１９及びハードディスク２０等を備えて構成されている。
【００５０】
ネットワークＩ／Ｆ部１６は、通信会議システムのネットワーク３を構成する通信ケーブルなどを接続するための端子を有しており、Ｈ．３２３、ＳＩＰ又はＨＴＴＰ等の既存の通信プロトコル、又はこれら以外の独自の通信プロトコルに従って、端末装置５ａ、５ｂ…及び他のサーバ装置（例えば、メールサーバなど）との間で通信を行う。ネットワークＩ／Ｆ部１６は、受信したデータを通信処理部１５へ与えると共に、通信処理部１５から与えられたデータを所定の送信先へ送信する。
【００５１】
通信処理部１５は、通信に係るデータ変換及び暗号化等の処理を行う。通信処理部１５は、制御部１１又は信号処理部１２等から与えられた送信用のデータを通信プロトコルに適したデータ形式に変換し、更に暗号化してネットワークＩ／Ｆ部１６へ与えることによって、データの送信を行う。また通信処理部１５は、ネットワークＩ／Ｆ部１６から与えられた受信データを復号し、会議サーバ装置１の処理に適したデータ形式に変換して制御部１１又は信号処理部１２等へ与えることによって、データの受信を行う。
【００５２】
信号処理部１２は、画像データを符号化する画像符号化部、画像データを復号する画像復号化部、音声データを符号化する音声符号化部及び音声データを復号する音声復号化部を有している。会議サーバ装置１は、各端末装置５ａ、５ｂ…からの画像データを通信処理部１５にて受信し、受信した画像データを必要に応じて信号処理部１２にて復号し、画像処理部１３にて種々の画像処理を施すことができる。画像処理が施された画像データは、信号処理部１２にて符号化され、各端末装置５ａ、５ｂ…へ送信される。なお会議サーバ装置１は、受信した画像データに対して画像処理を施す必要がない場合は、受信した画像データに画像処理を施すことなく各端末装置５ａ、５ｂ…へ送信する。
【００５３】
同様に、会議サーバ装置１は、各端末装置５ａ、５ｂ…からの音声データを通信処理部１５にて受信し、受信した音声データを必要に応じて信号処理部１２にて復号し、音声処理部１４にて種々の音声処理を施すことができる。音声処理が施された音声データは、信号処理部１２にて符号化され、各端末装置５ａ、５ｂ…へ送信される。なお会議サーバ装置１は、受信した音声データに対して音声処理を施す必要がない場合は、受信した音声データに音声処理を施すことなく各端末装置５ａ、５ｂ…へ送信する。
【００５４】
なお信号処理部１２は、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ又はＨ．２６４  ＳＶＣ等の規格により画像データの符号化／復号化を行うことができ、Ｇ．７１１、Ｇ．７２２、Ｇ．７２８、Ｇ．７２９又はＭＰＥＧ４等の規格により音声データの符号化／復号化を行うことができる。ただし、上記の規格以外の規格により信号処理部１２が画像データ又は音声データの符号化／復号化を行う構成であってもよい。
【００５５】
画像処理部１３は、信号処理部１２から与えられた画像データに対して種々の画像処理、例えば画像の拡大縮小、エッジ強調又は色調整等の画像処理を行うことができる。画像処理部１３は、画像処理を施した画像データを信号処理部１２へ与える。また画像処理部１３は、会議サーバ装置１に接続された表示装置２６に表示する画像を生成する処理を行う。同様に、音声処理部１４は、信号処理部１２から与えられた音声データに対して種々の音声処理、例えばノイズ除去又は音量調整等の音声処理を行うことができる。音声処理部１４は、音声処理を施した音声データを信号処理部１２へ与える。
【００５６】
制御部１１は、具体的にはＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro Processing Unit）等の演算処理装置であり、ハードディスク２０に予めインストールされた種々のプログラムを読み出して実行することにより、会議サーバ装置１の各部の動作を制御し、通信会議に係る種々の処理を行う。
【００５７】
メモリ１７は、例えばＳＲＡＭ（Static Random Access Memory）又はＤＲＡＭ（Dynamic Random Access Memory）等のメモリ素子で構成されている。メモリ１７は、制御部１１、信号処理部１２、画像処理部１３及び音声処理部１４等が行う処理の過程にて生じた種々のデータを記憶する（ただし、信号処理部１２、画像処理部１３又は音声処理部１４は、専用のメモリを有していてもよい）。またメモリ１７は、通信処理部１５にて送受信するデータを一時的に記憶する通信バッファとして使用してもよい。
【００５８】
入力処理部１８は、マウス又はキーボード等の入力装置２５からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部１１へ通知する。制御部１１は、入力処理部１８からの通知に応じて処理を行うことができる。表示処理部１９は、画像処理部１３から与えられた表示のための画像データを、液晶ディスプレイなどの表示装置２６の表示に適した画像信号に変換して出力することにより、表示装置２６にて画像表示を行う。
【００５９】
ハードディスク２０は、メモリ１７より大容量の磁気記憶装置であり、不図示のＯＳ（Operating System）及び各種のアプリケーションソフトウェア等の他に、通信会議システムを実現するための会議管理プログラム２０ａ及び認証情報２０ｂ等のプログラム及びデータが記憶（インストール）されている。
【００６０】
図５は、端末装置５ａの構成を示すブロック図である。なお他の端末装置５ｂ、５ｃ…の構成は、端末装置５ａの構成と同様であるため、図示は省略する。ただし、端末装置５ａ、５ｂ…は全て同じ構成である必要はなく、通信会議システムには構成が異なる複数種の端末装置５ａ、５ｂ…が含まれていてよい。また図５においては、端末装置５ａがカメラ５２、マイク５３、表示パネル５５、スピーカ５６及び入力部６１を一体的に備える構成を示してあるが、これに限るものではなく、これらの各装置が端末装置５ａの本体に着脱可能に設けられる構成であってもよい。
【００６１】
端末装置５ａは、例えば表示パネル５５の近傍にカメラ５２が搭載されており、表示パネル５５へ向いたユーザの頭部又は上半身等をカメラ５２が１秒間に数十回又は数百回程度の頻度で撮像し、撮影画像に係る画像信号を信号処理部７０へ与える。また端末装置５ａは、ユーザの発言などの音声を集音するためのマイク５３を備えており、マイク５３が集音した音声信号はミキサ５４を介して信号処理部７０へ与えられる。ミキサ５４は、マイク５３により集音された音声信号の信号レベルの調整及び帯域制限等の処理を行うものである。
【００６２】
端末装置５ａは液晶ディスプレイなどの表示パネル５５を備えており、表示パネル５５は信号処理部７０から与えられる画像信号に応じて画像表示を行う。また端末装置５ａは音声出力を行うスピーカ５６を備えており、スピーカ５６は信号処理部７０から与えられる音声信号に応じて音声出力を行う。
【００６３】
信号処理部７０は、アナログの画像信号及び音声信号とデジタルの画像データ及び音声データとの相互変換処理、画像データ及び音声データの符号化及び復号化等の処理を行うものである。図６は、端末装置５ａの信号処理部７０の構成を示すブロック図である。信号処理部７０は、カメラ５２及びミキサ５４から入力される画像信号及び音声信号を多重化した送信データを生成する機能と、他の装置からの多重化された受信データを画像信号及び音声信号に分離して表示パネル５５及びスピーカ５６へ出力する機能とを有している。
【００６４】
信号処理部７０は、送信データを生成する機能に関するブロックとして、制御信号Ｉ／Ｆ部７１、Ａ／Ｄ変換部７２、送信メモリ７３、画像符号化部７４、Ａ／Ｄ変換部７５、音声符号化部７６及び多重化部７７を有している。制御信号Ｉ／Ｆ部７１は、端末装置５ａの制御部５１から制御信号が入力されており、この制御信号を多重化部７７へ与えることにより、多重化部７７は制御部５１の制御に応じて処理を行うことができる。
【００６５】
通信処理部７０のＡ／Ｄ変換部７２は、カメラ５２の撮像により得られるアナログの画像信号が入力されており、この画像信号をデジタルの画像データに変換して出力し、送信メモリ７３に記憶する。送信メモリ７３は、ＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。送信メモリ７３に記憶された画像データは、画像符号化部７４にて所定規格のデータに符号化され、多重化部７７へ与えられる。
【００６６】
通信処理部７０のＡ／Ｄ変換部７５は、マイク５３にて集音されたアナログの音声信号がミキサ５４から入力されており、この音声信号をデジタルの音声データに変換して音声符号化部７６へ出力する。音声符号化部７６は、入力された音声データを所定規格のデータに符号化して、多重化部７７へ与える。多重化部７７は、画像符号化部７４から入力された画像データと、音声符号化部７６から与えられた音声データとを多重化した送信データを生成して出力する。信号処理部７０の多重化部７７から出力された送信データは、端末装置５ａの通信処理部５８へ与えられ、ネットワークを介して会議サーバ装置１へ送信される。
【００６７】
信号処理部７０は、受信データの分離機能に関するブロックとして、分離部７８、音声復号化部７９、Ｄ／Ａ変換部８０、画像復号化部８１、受信メモリ８２、Ｄ／Ａ変換部８３及び制御信号識別部８４を有している。分離部７８は、端末装置５ａの通信処理部５８から受信データが与えられており、多重化された受信データを画像データ、音声データ及び制御データに分離して出力する。
【００６８】
信号処理部７０の音声復号化部７９は、分離部７８から音声データが入力されており、この音声データを復号化してＤ／Ａ変換部８０へ出力する。Ｄ／Ａ変換部８０は、音声復号化部７９から与えられたデジタルの音声データをアナログの音声信号に変換してスピーカ５６へ出力する。これにより、通信会議に係る音声がスピーカ５６から出力される。
【００６９】
信号処理部７０の画像復号化部８１は、分離部７８から画像データが入力されており、この画像データを復号化して受信メモリ８２に記憶する。受信メモリ８２は、ＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成され、動画を構成する多数の画像データを記憶する十分な記憶容量を有している。また制御信号識別部８４は、分離部７８から制御データが入力されており、この制御データに応じて受信メモリ８２に記憶された画像データの読み出しタイミングを制御する。受信メモリ８２に記憶された動画データは、制御信号識別部８４の制御に応じて所定のタイミングで読みだされ、Ｄ／Ａ変換部８３へ与えられる。Ｄ／Ａ変換部８３は、受信メモリ８２から読み出されたデジタルの画像データをアナログの画像信号に変換して表示パネル５５へ出力する。これにより、通信会議に係る画像が表示パネル５５に表示される。
【００７０】
また、端末装置５ａは、他の装置との間でデータの送受信を行うためのネットワークＩ／Ｆ部５７及び通信処理部５８を有しており、信号処理部７０は通信処理部５８との間でデータの授受を行うことにより、会議サーバ装置１などの他の装置との間でネットワーク３を介したデータの送受信を行うことができる。ネットワークＩ／Ｆ部５７は、ネットワーク３を構成する通信ケーブルなどを接続するための端子を有しており、所定の通信プロトコルに従って、サーバ装置１又は他の端末装置５ｂ、５ｃ…等との間で通信を行う。ネットワークＩ／Ｆ部５７は、受信したデータを通信処理部５８へ与えると共に、通信処理部５８から与えられたデータを所定の送信先へ送信する。
【００７１】
制御部５１は、具体的にはＣＰＵ又はＭＰＵ等の演算処理装置であり、ＲＯＭ（Read Only Memory）５９に予め記憶された種々のプログラムを読み出して実行することにより、端末装置５ａの各部の動作を制御し、通信会議に係る種々の処理を行う。ＲＯＭ５９は、例えばＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）又はフラッシュメモリ等の不揮発性のメモリ素子で構成されており、通信会議システムを実現するためのプログラム及びデータが予め記憶されている。ＲＡＭ（Random Access Memory）６０は、例えばＳＲＡＭ又はＤＲＡＭ等のメモリ素子で構成されており、制御部５１及び信号処理部７０等が行う処理の過程にて生じた種々のデータを記憶する。
【００７２】
また端末装置５ａは、ペンタブレット、マウス若しくはタッチパネルなどのポインティングデバイス又はキーボード等のユーザの入力操作を受け付ける入力部６１を備えており、入力部６１はユーザによる入力操作に応じた信号を入力処理部６２へ出力する。入力処理部６２は、入力部６１からの入力信号を処理することによって、ユーザによる入力操作の有無及び入力操作の内容等を判断して制御部５１へ通知する。制御部５１は、入力処理部６２からの通知に応じて処理を行うことができる。
【００７３】
本実施の形態に係る端末装置５ａは、他の複数の端末装置５ｂ、５ｃ…からサーバ装置１を介して送信された複数の画像データを受信し、受信した画像データに係る複数の画像を表示パネル５５に表示する処理を行うと共に、入力部６１にて受け付けたユーザの入力操作に応じて表示パネル５５に表示する各画像の表示品質を調整する処理を行う。図７は、本発明に係る端末装置５ａが行う画像表示処理を説明するための模式図であり、端末装置５ａの表示パネル５５の一表示例を図示してある。
【００７４】
端末装置５ａは、通信処理部５８にて受信した他の端末装置５ｂ、５ｃ…からの複数の画像データを、それぞれ異なるウインドウに表示すると共に、複数のウインドウを表示パネル５５内にてマトリクス状に並べて表示する。図示の例は、４つの端末装置５ａ、５ｂ…を利用して４人のユーザが通信会議を行っている場合であり、端末装置５ａの表示パネル５５には４つのウインドウ２１０〜２０４が２×２のマトリクス状に表示され、各ウインドウ２０１〜２０４にはそれぞれ端末装置５ａ、５ｂ…を利用するユーザの画像が表示されている。
【００７５】
また端末装置５ａの表示パネル５５には、表示領域の右側に複数のアイコン２１１〜２１３が並べて表示されている。端末装置５ａを利用するユーザは、入力部６１を利用してアイコン２１１〜２１３に対する操作（例えば入力部６１がマウスを用いるものであればアイコン２１１〜２１３に対するクリック操作、又は、ペンタブレットを用いるものであればアイコン２１１〜２１３に対するペンのタッチ操作等）を行うことができる。アイコン２１１〜２１３に対する操作がなされた場合、端末装置５ａは、操作されたアイコン２１１〜２１３に対応付けられた処理を行う。例えばアイコン２１１は画像の拡大表示を行うためのものであり、アイコン２１１の操作に対して端末装置５ａは、表示パネル５５に表示されたウインドウ２０１〜２０４内の画像を拡大する画像処理を行う。
【００７６】
また端末装置５ａを利用するユーザは、入力部６１を利用して、表示パネル５５に表示された複数のウインドウ２０１〜２０４から特定のウインドウを選択する操作を行うことができる。各ウインドウ２０１〜２０４は、略長方形をなし、その上辺にユーザ名などの情報を表示するタイトルバーが設けられており、ユーザの操作により選択されたウインドウ２０１〜２０４のタイトルバーは非選択のものとは異なる色で表示される。図示の例では、右上に配されたウインドウ２０２が選択されており、上辺のタイトルバーは他のウインドウ２０１、２０３、２０４のものと異なる色で表示されている。
【００７７】
また、上記のアイコン２１１〜２１３に係る処理は、選択されたウインドウ２０１〜２０４に対して行われる。図示の例は、選択された右上のウインドウ２０２に対してアイコン２１１の拡大表示の操作をユーザが行った場合である。拡大表示が行われたウインドウ２０２には、その右辺及び下辺にスクロールバーが設けられ、ユーザは入力部６１を利用してスクロールバーを操作することにより、ウインドウ２０２内の人物の表示位置を上下左右に移動させることができる。
【００７８】
通信会議において上記のような表示を行う端末装置５ａは、ウインドウ２０１〜２０４内の各ユーザの画像表示を行う際に、通信会議の開始当初は全てのウインドウ２０１〜２０４の表示品質を略均等として表示を行う。しかし端末装置５ａは、通信会議の進行に伴って、端末装置５ａを利用するユーザにとって重要であると推定されるウインドウ２０１〜２０４の画像の表示品質を高めると共に、重要でないと推定されるウインドウ２０１〜２０４の画像の表示品質を低下させる処理を行う。これにより、複数の画像表示を同時的に行う場合の処理負荷を軽減することができる。
【００７９】
端末装置５ａによる各ウインドウ２０１〜２０４の表示品質の調整は、下記の通りに行われる。
（１）発言者の画像を高品質で表示。
（２）ユーザが何らかの操作を行ったウインドウ２０１〜２０４の画像を高品質で表示。
（３）発言がなく、ユーザが操作を行わないウインドウ２０１〜２０４の画像を低品質で表示。
【００８０】
通信会議において発言を行っている他のユーザ（発言者）の画像は、端末装置５ａを利用しているユーザにとって重要であると推定できる。そこで端末装置５ａは、発言者を表示しているウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４の画像の表示品質を高める。端末装置５ａは、他の端末装置５ｂ、５ｃ…から送信される音声データに基づいて、各ユーザの発言の有無（音声の有無）又は発言の音量等から発言者の特定を行う。
【００８１】
また端末装置５ａの表示パネル５５に表示された複数のウインドウ２０１〜２０４に対してユーザの操作が行われた場合、ユーザは積極的にこのウインドウ２０１〜２０４に表示された画像を見ようとしていると推定でき、この画像がユーザにとって重要であると推定できる。そこで端末装置５ａは、入力部６１により操作がなされたウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４の画像の表示品質を高める。例えばウインドウ２０１〜２０４の選択操作、選択されたウインドウ２０１〜２０４に対するアイコン２１１による拡大表示操作、又はウインドウ２０２のスクロールバーに対する表示位置の移動操作等が行われた場合に、端末装置５ａは選択されていたウインドウ２０１〜２０４の画像の表示品質を高めることができる。
【００８２】
また発言者でなく、ユーザの操作がなされていないウインドウ２０１〜２０４の画像は、このユーザにとって重要でないと推定できる。そこで端末装置５ａは、所定期間に亘って発言者を表示しておらず、且つ、ユーザの操作がなされていないウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４の画像の表示品質を低減する。
【００８３】
なお端末装置５ａが行う表示品質の調整は、画像の解像度の増減又はフレームレートの増減等により行うことができる。例えばＭｏｔｉｏｎＪＰＥＧ形式の画像のように前後フレームの差分情報を用いない形式の画像の場合、端末装置５ａは、表示するフレームを間引くことでフレームレートを低減し、表示品質を低減することができる。また例えばＭＰＥＧ形式の画像のように差分情報を用いる形式の画像の場合、端末装置５ａは、キーフレーム単位でフレームを間引く、又は、フレームを一端展開して表示の際にフレームを間引く等の方法によりフレームレートを低減し、表示品質を低減することができる。また例えばＨ．２６４  ＳＶＣ形式のように異なる表示品質の画像が複数含まれる形式の画像の場合、端末装置５ａは、受信データから所望の表示品質の画像を選択して表示することができる。
【００８４】
端末装置５ａは、上記の（１）〜（３）の判断を定期的に、又は、ユーザの操作がなされる都度行っている。なお通信会議の開始当初の表示品質は、最高品質であってもよく、最低品質であってもよく、これら以外の任意の表示品質であってよい。また表示品質の調整を行う時間間隔、表示品質の増減量、又は表示品質の上限・下限等をユーザが端末装置５ａに対して予め設定することができる構成としてもよい。
【００８５】
図８及び図９は、通信会議における表示品質調整の一例を示す模式図であり、（ａ）から（ｄ）へ時系列に表示品質の変化を示してある。また図８及び図９の（ａ）〜（ｄ）においては、左側に端末装置５ａの表示パネル５５の表示例を示し、右側に端末装置５ａの制御部５１の処理負荷を円グラフとして示してある。この円グラフは、各ウインドウ２０１〜２０４内の画像表示に費やされる制御部５１の処理能力を割合として示したものであり、画像表示を高品質で行うほど制御部５１の処理能力が多く費やされる。また円グラフには、各ウインドウ２０１〜２０４の処理負荷を時計回りに２０１ａ〜２０４ａの符号を付した領域として示してあり、符号が付されていない領域は画像表示以外の処理に割り当てることができる制御部５１の処理能力である。
【００８６】
本例においては、図７に示す例と同様に、４つの端末装置５ａ〜５ｄをそれぞれ利用して４人のユーザが通信会議を行う場合を示す。また端末装置５ａのウインドウ２０１に表示されるユーザを第１ユーザといい、ウインドウ２０２に表示されるユーザを第２ユーザといい、ウインドウ２０３に表示されるユーザを第３ユーザといい、ウインドウ２０４に表示されるユーザを第４ユーザという。また端末装置５ａは、第１ユーザが利用しているものとする。
【００８７】
通信会議のある時点において、例えば第４ユーザが発言者であるとする（図８（ａ）参照）。この場合、端末装置５ａは、発言者の第４ユーザを表示するウインドウ２０４の表示品質を高めると共に、その他のウインドウ２０１〜２０３の表示品質を低減する。これにより第１ユーザは、発言者である第４ユーザの画像を快適且つ確実に見ることができる。また端末装置５ａは、第１ユーザにとって重要でないと推定されるその他の画像表示に要する処理能力を低減することができる。
【００８８】
その後、第４ユーザの発言が継続し、その他のユーザは発言せずに一定時間が経過したとする（図８（ｂ）参照）。この場合、端末装置５ａは、時間の経過に伴って、発言者ではない第１ユーザ〜第３ユーザの画像（ウインドウ２０１〜２０３の画像）の表示品質を徐々に低減する。なお端末装置５ａは、発言者である第４ユーザの画像の表示品質を更に高めてもよく、ある程度の表示品質に達した場合に表示品質を一定に保ってもよい。
【００８９】
その後、第４ユーザの発言が継続し、その他のユーザは発言せず、第１ユーザが端末装置５ａの入力部６１を用いて第２ユーザが表示されたウインドウ２０２に対する拡大操作を行ったとする（図９（ｃ）参照）。この場合、端末装置５ａは、ウインドウ２０２の画像を拡大表示すると共に、ウインドウ２０２の画像の表示品質を高める。なお端末装置５ａは、操作がなされないその他のウインドウ２０１、２０３、２０４について、発言者のユーザを表示するウインドウ２０４は表示品質を高めてもよく、発言者でないユーザを表示するウインドウ２０１、２０３は表示品質を低減してもよい。
【００９０】
その後更に、第４ユーザの発言が継続し、その他のユーザは発言せずに一定時間が経過したとする（図９（ｄ）参照）。この場合、端末装置５ａは、時間の経過に伴って、発言者ではない第１ユーザ〜第３ユーザの画像（ウインドウ２０１〜２０３の画像）の表示品質を徐々に低減する。ただし、図９（ｃ）にて操作がなされたウインドウ２０２の第２ユーザの画像については、端末装置５ａが表示品質の低減をしばらくの間行わなくてもよい。
【００９１】
図１０は、本発明に係る通信会議システムの各端末装置５ａ、５ｂ…が行う表示品質調整処理の手順を示すフローチャートであり、各端末装置５ａ、５ｂ…の制御部５１が行う処理である。まず、端末装置５ａ、５ｂ…の制御部５１は、通信会議の開始時に、通信処理部１５にて会議サーバ装置１を介した他の端末装置５ａ、５ｂ…との接続を確立する（ステップＳ１）。通信会議の開始後、制御部５１は、会議サーバ装置１を介して与えられる他の端末装置５ａ、５ｂ…からの音声データを通信処理部１５にて受信し、受信した音声データに応じて、通信会議における発言者を特定する処理を行う（ステップＳ２）。
【００９２】
端末装置５ａ、５ｂ…の制御部５１は、受信した音声データを信号処理部７０にて端末装置５ａ、５ｂ…毎の音声に分離して復号し、複号した各音声の音量が閾値を超えるか否かを判定することによって、各端末装置５ａ、５ｂ…における発言の有無を判定し、通信会議における発言者の特定を行う。
【００９３】
制御部５１は、ステップＳ２の発言者特定処理の結果、いずれかの端末装置５ａ、５ｂ…にて発言がなされたか否か、即ち発言者が存在するか否かを判定する（ステップＳ３）。発言者が存在する場合（Ｓ３：ＹＥＳ）、制御部５１は、この発言者が使用する端末装置５ａ、５ｂ…からの画像を表示するウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４に表示された発言者の画像を高品質化して（ステップＳ４）、ステップＳ５へ処理を進める。また発言者が存在しない場合（Ｓ３：ＮＯ）、制御部５１は、表示品質の調整を行うことなくステップＳ５へ処理を進める。
【００９４】
次いで、制御部５１は、入力部６１によりいずれかのウインドウ２０１〜２０４に対する操作がなされたか否かを判定する（ステップＳ５）。操作がなされた場合（Ｓ５：ＹＥＳ）、制御部５１は、操作対象のウインドウ２０１〜２０４を特定し（ステップＳ６）、特定したウインドウ２０１〜２０４に表示された画像を高品質化して（ステップＳ７）、ステップＳ８へ処理を進める。操作がなされていない場合（Ｓ５：ＮＯ）、制御部５１は、表示品質の調整を行うことなくステップＳ８へ処理を進める。
【００９５】
次いで、制御部５１は、ステップＳ４又はＳ７にて表示品質を高品質化したウインドウ２０１〜２０４以外のウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４の表示品質を低減することによって、その他の画像を低品質化する（ステップＳ８）。その後、制御部５１は、一定時間待機し（ステップＳ９）、通信会議が終了したか否かを判定する（ステップＳ１０）。通信会議が終了していない場合（Ｓ１０：ＮＯ）、制御部５１は、ステップＳ２へ処理を戻し、上述の表示品質の調整を繰り返し行う。通信会議が終了した場合（Ｓ１０：ＹＥＳ）、制御部５１は、表示品質調整処理を終了する。
【００９６】
以上の構成の通信会議システムにおいては、端末装置５ａ、５ｂ…の表示パネル５５に複数のウインドウ２０１〜２０４を並べて表示すると共に、通信会議に参加する各端末装置５ａ、５ｂ…のカメラ５２が撮像した画像を各ウインドウ２０１〜２０４にそれぞれ表示し、ユーザが入力部６１を利用してウインドウ２０１〜２０４又はこれらに表示された画像に対する操作を行った場合に、操作対象のウインドウ２０１〜２０４の画像の表示品質を高める構成とすることにより、ユーザにとって重要と推定される画像の表示品質を高めることができ、ユーザにこの画像を詳細に視認させることができる。
【００９７】
また、端末装置５ａ、５ｂ…が受信した音声データに基づいて通信会議の発言者のユーザを特定し、このユーザの画像の表示品質を高める構成とすることにより、ユーザにとって重要と推定される画像の表示品質を高めることができ、ユーザにこの画像を詳細に視認させることができる。また、ユーザによる操作がなされないウインドウ２０１〜２０４、及び、発言者のユーザを表示していないウインドウ２０１〜２０４については、時間の経過に伴って徐々に表示品質を低減する構成とすることにより、ユーザにとって重要でないと推定される画像の表示品質を低減することができ、端末装置５ａ、５ｂ…の制御部５１の処理負荷を低減することができる。
【００９８】
なお、本実施の形態においては、通信会議システムを会議サーバ装置１及び端末装置５ａ、５ｂ…によるクライアント−サーバ型のシステムとしたが、これに限るものではなく、複数の端末装置５ａ、５ｂ…が会議サーバ装置１を介さずに直接的に画像データ及び音声データ等の送受信を行う構成としてもよい。また、会議サーバ装置１及び端末装置５ａ、５ｂ…が有線の通信を行う構成としたが、これに限るものではなく、無線の通信を行う構成であってもよく、有線及び無線を混在させたシステムとしてもよい。
【００９９】
また、端末装置５ａ、５ｂ…は、複数のウインドウ２０１〜２０４を表示パネル５５にマトリクス状に並べて表示する構成としたが、これに限るものではなく、複数のウインドウ２０１〜２０４の一部又は全部を重ねて表示する構成としてもよい。また、端末装置５ａ、５ｂ…は、複数の画像をそれぞれウインドウ２０１〜２０４内に表示する構成としたが、これに限るものではなく、例えば表示パネル５５の表示領域を単に複数に分割し、分割した各表示領域に画像を表示する構成としてもよい。
【０１００】
また、端末装置５ａ、５ｂ…は、自らのカメラ５２にて撮像した画像（即ち、自らのユーザの画像）を他の端末装置５ａ、５ｂ…が撮像した画像と共に並べて表示する構成としたが、これに限るものではなく、自らのカメラ５２にて撮像した画像は表示しない構成であってもよい。また、自らのカメラ５２にて撮像した画像を表示する場合であっても、この画像については表示品質の調整を行わず、例えば最低品質での表示に固定するなどの構成としてもよい。
【０１０１】
また、端末装置５ａ、５ｂ…が受信した音声データに基づいて発言者の特定を行う構成としたが、これに限るものではなく、会議サーバ装置１が発言者の特定を行い、通信会議に参加する各端末装置５ａ、５ｂ…へ発言者がいずれのユーザ又は端末装置５ａ、５ｂ…であるかを通知する構成としてもよい。
【０１０２】
（変形例）
上述の実施の形態１に係る通信会議システムの端末装置５ａ、５ｂ…は、表示パネル５５に表示したウインドウ２０１〜２０４に対する操作が行われた場合に、操作対象のウインドウ２０１〜２０４内の画像の表示品質を高める構成であり、ユーザが行った操作の有無に応じて表示品質を調整する構成である。これに対して、変形例に係る通信会議システムの端末装置５ａ、５ｂ…は、ユーザが行った操作の内容に応じて表示品質を調整する。
【０１０３】
例えば、ユーザがウインドウ２０１〜２０４の画像を拡大する操作を行った場合、この画像はユーザにとって重要であると推定できるが、ユーザが画像を縮小する操作（又は拡大した画像のサイズを元に戻す操作）を行った場合には、この画像はユーザにとって重要でないと推定できる。そこで、変形例の端末装置５ａ、５ｂ…は、ウインドウ２０１〜２０４に対する操作がなされた場合であっても、この操作の内容が画像の縮小である場合には、表示品質を低減する。
【０１０４】
図１１及び図１２は、変形例に係る通信会議システムの各端末装置５ａ、５ｂ…が行う表示品質調整処理の手順を示すフローチャートである。まず、端末装置５ａ、５ｂ…の制御部５１は、通信会議の開始時に、通信処理部１５にて会議サーバ装置１を介した他の端末装置５ａ、５ｂ…との接続を確立する（ステップＳ２１）。通信会議の開始後、制御部５１は、会議サーバ装置１を介して与えられる他の端末装置５ａ、５ｂ…からの音声データを通信処理部１５にて受信し、受信した音声データに応じて、通信会議における発言者を特定する処理を行う（ステップＳ２２）。
【０１０５】
発言者特定処理の終了後、制御部５１はいずれかの端末装置５ａ、５ｂ…にて発言がなされたか否か、即ち発言者が存在するか否かを判定する（ステップＳ２３）。発言者が存在する場合（Ｓ２３：ＹＥＳ）、制御部５１は、この発言者が使用する端末装置５ａ、５ｂ…からの画像を表示するウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４に表示された発言者の画像を高品質化して（ステップＳ２４）、ステップＳ２５へ処理を進める。また発言者が存在しない場合（Ｓ２３：ＮＯ）、制御部５１は、表示品質の調整を行うことなくステップＳ２５へ処理を進める。
【０１０６】
次いで、制御部５１は、入力部６１によりいずれかのウインドウ２０１〜２０４に対する操作がなされたか否かを判定し（ステップＳ２５）、操作がなされた場合（Ｓ２５：ＹＥＳ）、操作対象のウインドウ２０１〜２０４を特定する（ステップＳ２６）。更に制御部５１は、ウインドウ２０１〜２０４に対して行われた操作の内容が画像の縮小操作であるか否かを判定する（ステップＳ２７）。操作内容が縮小操作の場合（Ｓ２７：ＹＥＳ）、制御部５１は、操作対象のウインドウ２０１〜２０４に表示された画像を低品質化して（ステップＳ２８）、ステップＳ３０へ処理を進める。操作内容が縮小操作でない場合（Ｓ２７：ＮＯ）、制御部５１は、操作対象のウインドウ２０１〜２０４に表示された画像を高品質化して（ステップＳ２９）、ステップＳ３０へ処理を進める。また、操作がなされていない場合（Ｓ２５：ＮＯ）、制御部５１は、表示品質の調整を行うことなくステップＳ３０へ処理を進める。
【０１０７】
次いで、制御部５１は、ステップＳ２４、Ｓ２８又はＳ２９にて表示品質を調整したウインドウ２０１〜２０４以外のウインドウ２０１〜２０４を特定し、特定したウインドウ２０１〜２０４の表示品質を低減することによって、その他の画像を低品質化する（ステップＳ３０）。その後、制御部５１は、一定時間待機し（ステップＳ３１）、通信会議が終了したか否かを判定する（ステップＳ３２）。通信会議が終了していない場合（Ｓ３２：ＮＯ）、制御部５１は、ステップＳ２２へ処理を戻し、上述の表示品質の調整を繰り返し行う。通信会議が終了した場合（Ｓ３２：ＹＥＳ）、制御部５１は、表示品質調整処理を終了する。
【０１０８】
以上の構成の変形例に係る端末装置５ａ、５ｂ…は、表示パネル５５のウインドウ２０１〜２０４（又はウインドウ２０１〜２０４内の画像）に対する操作の有無のみでなく、操作の内容に応じて画像の表示品質を調整する（画像の縮小操作に応じて表示品質を低減する）構成とすることにより、ユーザにとって重要な画像であるか否かをより確実に判断して表示品質を調整することができる。なお、変形例に係る端末装置５ａ、５ｂ…は、画像の縮小操作に応じて表示品質を低減する構成としたが、これに限るものではなく、その他の操作に応じても表示品質を低減する構成としてもよい。
【符号の説明】
【０１０９】
１  会議サーバ装置
３  ネットワーク
５ａ〜５ｆ  端末装置（通信装置）
１１  制御部
１２  信号処理部
１３  画像処理部
１４  音声処理部
１５  通信処理部
１６  ネットワークＩ／Ｆ部
１７  メモリ
１８  入力処理部
１９  表示処理部
２０  ハードディスク
５１  制御部（調整手段）
５２  カメラ
５３  マイク
５４  ミキサ
５５  表示パネル
５６  スピーカ
５７  ネットワークＩ／Ｆ部
５８  通信処理部（通信手段）
５９  ＲＯＭ
６０  ＲＡＭ
６１  入力部
６２  入力処理部（操作受付手段）
７０  信号処理部（表示処理手段）
２０１〜２０４  ウインドウ（画像表示部）
２１１〜２１３  アイコン
【図１】
2011082867.tif 000003
【図２】
2011082867.tif 000004
【図３】
2011082867.tif 000005
【図４】
2011082867.tif 000006
【図５】
2011082867.tif 000007
【図６】
2011082867.tif 000008
【図７】
2011082867.tif 000009
【図８】
2011082867.tif 000010
【図９】
2011082867.tif 000011
【図１０】
2011082867.tif 000012
【図１１】
2011082867.tif 000013
【図１２】
2011082867.tif 000014