(57)【要約】【課題】限られたリソースであるネットワークの性能を十分に活用することを可能とするテレビ会議システムを提供する。【解決手段】Ａ、Ｂ、Ｃ、Ｄが発言中の場合には、Ａ、Ｂ、Ｃ、Ｄの上りのビットレートは同じとするが、Ａのみが発言中の場合には、Ａのみの上りのビットレートを上げ、他の上りのビットレートを下げる。Ａ、Ｂのみが発言中の場合には、Ａ、Ｂのみの上りのビットレートを上げ、他の上りのビットレートを下げる。各端末から一度サーバに上った音声・映像データは、そのビットレートを維持したまま他の端末に分配される。【選択図】図４
2007251501.tif 000002
【特許請求の範囲】
【請求項１】
複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、
各クライアントにおける発言に関するパラメータをサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データのビットレートを配分する手段を備えることを特徴とするテレビ会議システム。
【請求項２】
請求項１に記載のテレビ会議システムにおいて、
前記パラメータは、発言の有無、発言の意欲度又は発言の評価の何れかを含むことを特徴とするテレビ会議システム。
【請求項３】
請求項１に記載のテレビ会議システムにおいて、
各クライアントから出力される音声・映像データは、そのビットレートを維持したまま他のクライアントに分配されることを特徴とするテレビ会議システム。
【請求項４】
複数のクライアント端末とサーバとを備えるテレビ会議方法において、
各クライアントにおける発言に関するパラメータをサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データのビットレートを配分するステップを備えることを特徴とするテレビ会議方法。
【請求項５】
請求項４に記載のテレビ会議方法において、
前記パラメータは、発言の有無、発言の意欲度又は発言の評価の何れかを含むことを特徴とするテレビ会議方法。
【請求項６】
請求項４に記載のテレビ会議方法において、
各クライアントから出力される音声・映像データは、そのビットレートを維持したまま他のクライアントに分配されることを特徴とするテレビ会議方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議システムにおいて限られたネットワーク帯域の中で重要なデータをより高品質に配信するものである。
【背景技術】
【０００２】
テレビ会議において、発言権を有しているクライアント端末は、実際に発言中でも発言中でなくても音声・映像データを送信している。従来のシステムでは、常に一定のビットレートで音声・映像を送信するため、発言中でないユーザのクライアント端末音声・映像データ（無音に近い音声・動きの少ない映像）も、発言中ユーザの音声・映像データ（テレビ会議において重要）も、同品質で配信される。
【特許文献１】特開２００１−１２８１３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
テレビ会議システムにおいて、少ないネットワーク帯域の中で、いかに高品質な音声・映像を配信するかが課題となっている。
【０００４】
従来のテレビ会議システムでは、クライアント端末あたりで使用する音声・映像のビットレートを固定している。そのため、全員が同時に発言してもネットワーク帯域をオーバーしない値にクライアント端末あたりの使用ビットレートを設定する必要があった。しかし、この方式では少数のユーザしか発言しない場合にネットワークの使用効率が悪い。また、複数のユーザが発言者となっている場合でもその全員が同時に発言を行うことは少ないため、ネットワーク帯域を常に十分に生かすことができない。
【０００５】
特許文献１の発明は、単に、必要帯域が許容帯域よりも多い場合に、選択された一人の者以外の者の画像を間引くものである。
【０００６】
本発明はこれを解消し、限られたリソースであるネットワークの性能を十分に活用することを可能とするテレビ会議システム及びテレビ会議方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、各クライアントにおける発言に関するパラメータをサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データのビットレートを配分する手段を備えることを特徴とするテレビ会議システムが提供される。
【０００８】
上記のテレビ会議システムにおいて、前記パラメータは、発言の有無、発言の意欲度又は発言の評価の何れかを含むようにしてもよい。
【０００９】
上記のテレビ会議システムにおいて、各クライアントから出力される音声・映像データは、そのビットレートを維持したまま他のクライアントに分配されるようにしてもよい。
【発明の効果】
【００１０】
本発明によれば、複数のクライアント端末とサーバとを備えるテレビ会議システムにおいて、各クライアントにおける発言に関するパラメータをサーバで集め、集められたパラメータを基に、各クライアントから出力される音声・映像データのビットレートを配分する手段を備えるので、重要な音声・映像データの品質を高めることができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明を実施するための最良の形態について詳細に説明する。
【００１２】
Ｃｌｉｅｎｔ−Ｓｅｒｖｅｒ型のテレビ会議システムにおいて、各クライアント端末は自端末の音声・映像データを音声・映像サーバ４へ送信し（以後、このようなクライアントからサーバへのデータの流れを「上り」と表現する）、自端末以外の全てのクライアント端末からの音声・映像データを、音声・映像サーバから受信する（以後、このようなサーバからクライアントへのデータの流れを「下り」と表現する）。全てのクライアント端末が発言中である場合、図１のように各クライアント端末からの上りのビットレートは同一である。図２のように発言中でないクライアント端末２、３からの上りのビットレート及びクライアント端末２、３からサーバ４を経由した下りのビットレートを低く抑え、発言中であるクライアント端末１からのみ高品質な音声・映像を送信することで、限られたネットワーク帯域の中で重要な情報とそうでない情報を取捨選択する。
【００１３】
図３において、制御情報送信部／受信部１８、２０、３４、３５は、制御情報をやりとりし、音声・映像送信部／受信部１１、１５、３１、３２は音声・映像情報をやりとりする。
【００１４】
映像・音声入力装置１７から入力されたデータはエンコーダ１６でエンコードされ、サーバ４へ送信される。デコーダ１２は、サーバ４から受信したデータをデコードする。各クライアントからの音声は、音声ミキサ１３で合成され、映像・音声出力装置１４のスピーカ部等から出力される。サーバ４からの各クライアントからの映像は、映像・音声出力装置１４のディスプレイ部等上に各クライアントごとに（画面分割されて）表示される。
【００１５】
発言中判定部２１は、当該クライアントを利用しているクライアントが発言中であるかを判定し、判定結果は、発言者数判定部３６に送られる。発言者数判断部３６による判断の結果を基に各クライアントのエンコーダ１６が出力するデータのビットレートが決定される。ビットレート制御部１９は、その発言者数判断部３６から指定されたビットレートのデータがエンコーダ１６から出力されるようにエンコーダ１６を制御する。
【００１６】
図３を参照してビットレート本実施例の全体動作について詳細に説明する。
【００１７】
発言中判定部２１では当該クライアント端末のユーザが現在発言中であるか否かを判断する。この判断には、音声・映像入力１７からの音声データによる自動判定を用いる。自動判定の手法は、音声レベルの大きさによる判定等、既存の技術を用いる。
【００１８】
発言中判定部２１で判定した結果（発言中である／発言中でない）は、制御情報送信部２０よりサーバの制御情報受信部３５に送信される。発言者数判断部３６では、各クライアント端末が発言中か、発言中でないかの情報を取りまとめ、現在発言中の端末がいくつあるか調べる。そこから各クライアントが音声・映像データを送信する際のビットレートを決定する。使用ビットレートの例は図４を参照。下りで使用可能な帯域の範囲内でビットレートを割り振る。
【００１９】
図４は、クライアント端末が４つの場合の例を示している。各クライアント端末の最大ビットレートは１００ｂｐｓである。発言者数判断部３６は、全てのクライアント端末それぞれの下りのビットレートが１００ｂｐｓ以下となるように、各クライアント端末の上りのビットレートを算出する。
【００２０】
ユーザＡ、ユーザＢ、ユーザＣ、ユーザＤが発言中の場合には、１人のユーザのクライアント端末に対し、残りの３人の音声・映像データを均等に送る必要があるため、各クライアント端末の上りのビットレートを３３（≒１００／３）ｂｐｓとする。
【００２１】
ユーザＡのみが発言中の場合には、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを上げて、ユーザＡ、Ｂ、Ｃ、Ｄに対し送る残りのユーザ（例えば、ユーザＢに対して送るユーザＣ、Ｄのデータ、ユーザＣに対して送るユーザＢ、Ｄのデータ、ユーザＤに対して送るユーザＢ、Ｃのデータ）のビットレートを下げる。例えば、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを６０ｂｐｓとして、ユーザＢ、Ｃ、Ｄに対し送る残りのユーザのビットレートをそれぞれ２０ｂｐｓとする。こうすることにより、ユーザＢ、Ｃ、Ｄに対して送る音声・映像データのビットレートは、６０＋２０＋２０＝１００ｂｐｓとなる。代わりに、ユーザＢ、Ｃ、Ｄに対して送る音声・映像データのビットレートを、４０＋３０＋３０＝１００ｂｐｓとしてもよいし、５０＋２５＋２５＝１００ｂｐｓとしてもよいし、７０＋１５＋１５＝１００ｂｐｓとしてもよい。ユーザＡに対して送る音声・映像データのビットレートは、１００ｂｐｓ未満（例えば、３×２０ｂｐｓ＝６０ｂｐｓ）となる。
【００２２】
ユーザＡ、Ｂのみが発言中の場合には、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを上げて、ユーザＡ、Ｃ、Ｄに対して送るユーザＢの音声・映像データのビットレートを上げて、ユーザＡ、Ｂ、Ｃ、Ｄに対しそれぞれ送るデータのうちユーザＡ、Ｂ以外のデータ（例えば、ユーザＡに対して送るユーザ、Ｃ、Ｄのデータ、ユーザＢに対して送るユーザＣ、Ｄのデータ、ユーザＣに対して送るユーザＤのデータ、ユーザＤに対して送るユーザＣのデータ）のビットレートを下げる。例えば、ユーザＢ、Ｃ、Ｄに対して送るユーザＡの音声・映像データのビットレートを４０ｂｐｓとして、ユーザＡ、Ｃ、Ｄに対して送るユーザＢの音声・映像データのビットレートを４０ｂｐｓとして、ユーザＡ、Ｂ、Ｃ、Ｄに対し送る残りのユーザのビットレートをそれぞれ２０ｂｐｓとする。こうすることにより、ユーザＣ、Ｄに対して送る音声・映像データのビットレートは、４０＋４０＋２０＝１００ｂｐｓとなる。代わりに、ユーザＣ、Ｄに対して送る音声・映像データのビットレートを、４５＋４５＋１０＝１００ｂｐｓとしてもよい。ユーザＡ、Ｂに対して送る音声・映像データのビットレートは、１００ｂｐｓ未満（例えば、４０ｂｐｓ＋２×２０ｂｐｓ＝８０ｂｐｓ）となる。
【００２３】
決定した各クライアントのエンコーダ１６におけるビットレートは制御情報送信部３４から制御情報受信部１８へ送信される。この値をビットレート制御部１９へ渡し、エンコーダ１６でエンコードする際のビットレートを変化させることにより、送信パケットのデータ量が変化する。
【００２４】
ビットレートを変化させるためには、解像度を変化させたり、量子化の粗さを変化させたりすることが一般的である。この代わりに、画像領域の大きさを変化させてもよい。すなわち、発言者の画像を大きくして、非発言者の画像を小さくしてもよい。また、ＭＰＥＧ方式のようにＧＯＰ構造を有している場合には、ＧＯＰの構造を変えることによりビットレートを変化させてもよい。
【００２５】
また、発言中判定部２１による発言／非発言を基にビットレートを調整する代わりに、各クライアント端末の利用者の発言意欲の度合いを基にビットレートを調整してもよい。「発言意欲」の度合いをクライアント端末が検出するためには、例えば、クライアント端末にボリュームを設け、これをクライアントに操作させればよい。この場合、発言者数判定部３６は、各クライアントから来る０％〜１００％の発言意欲を基に、発言意欲が大きいクライアントが利用しているクライアント端末のエンコーダ１６が出力する音声・映像データのビットレートが相対的に大きくなるように調整をする。
【００２６】
また、発言中判定部２１による発言／非発言を基にビットレートを調整する代わりに、各クライアント端末以外のクライアント端末の利用者による「評価」を基にビットレートを調整してもよい。「評価」の度合いをクライアント端末が検出するためには、例えば、クライアント端末にボリュームを設け、これをクライアントに操作させればよい。例えば、ユーザＡの発言に対するユーザＢによる評価の度合い、ユーザＣによる評価の度合い及びユーザＤによる評価の度合い、ユーザＢの発言に対するユーザＡによる評価の度合い、ユーザＣによる評価の度合い、ユーザＤによる評価の度合い、ユーザＣの発言に対するユーザＡによる評価の度合い、ユーザＢによる評価の度合い及びユーザＤによる評価の度合い並びにユーザＤの発言に対するユーザＡによる評価の度合い、ユーザＢによる評価の度合い及びユーザＣによる評価の度合いを総合的に勘案して、ビットレートの割合を調整してもよい。この場合、平均値、最小値、最大値又はこれらの組合せを利用するようにしてもよい。例えば、数段階評価のうち多数の他のユーザから高い評価を得られている発言者のビットレートを上げるようにしてもよい。
【００２７】
発言中判定部２１及びビットレート制御部１９は、それぞれ、サーバ４に設けられていてもよい。
【００２８】
本実施形態によれば、重要度の高い情報を自動的に選択することにより、限られたネットワーク帯域を有効に生かし、重要度の高い情報をより高品質で配信することが可能になる。また、テレビ会議においては、発言しているユーザが１人の場合の注目度（会議における重要度）より、同時に複数のユーザが発言している場合の注目度の方が低いが、注目度に合わせた品質の音声・映像を使用することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本発明の実施形態において各クライアント端末から出力される音声・映像データのビットレートが均一である場合の例を示す図である。
【図２】本発明の実施形態において各クライアント端末から出力される音声・映像データのビットレートが均一でない場合（重み付けをした場合）の例を示す図である。
【図３】本発明の実施形態による音声・映像サーバ及びクライアント端末の構成を示すブロック図である。
【図４】本発明の実施形態による各クライアント端末における上りの音声・映像データ及び下りの音声・映像データのビットレートの配分の様子の例を示す図である。
【符号の説明】
【００３０】
１、２、３  クライアント端末
４  音声・映像サーバ
１６  エンコーダ
２１  発言中判定部
３６  発言者数判断部
１７  映像・音声入力部
１９  ビットレート制御部
【図１】
2007251501.tif 000003
【図２】
2007251501.tif 000004
【図３】
2007251501.tif 000005
【図４】
2007251501.tif 000006