(57)【要約】【課題】  重要な発話を所望の拠点へ低遅延で伝送し、会議効率を向上させることができる装置、システム、方法およびプログラムを提供する。【解決手段】  この装置は、複数の会議端末間の通信を制御する装置で、複数の会議端末のうちの第１の会議端末を利用する利用者が発した音声の音声情報と、各会議端末を利用する各利用者が該各会議端末に表示される該各利用者を注目する度合いを示す注目度とを受信する受信部と、受信された注目度に基づき、どの会議端末間の通信を優先するかを示す優先度を決定する決定部６１と、決定された優先度に従って、受信された音声情報を、第１の会議端末を除く他の会議端末に送信する制御を行う制御部とを含む。【選択図】  図５
2017152952.tif 000002
【特許請求の範囲】
【請求項１】
複数の会議端末間の通信を制御する通信制御装置であって、
前記複数の会議端末のうちの第１の会議端末を利用する利用者が発した音声の音声情報と、各会議端末を利用する各利用者が該各会議端末に表示される該各利用者を注目する度合いを示す注目度とを受信する受信部と、
前記受信部により受信された前記注目度に基づき、各会議端末間の通信を優先する度合いを示す優先度を決定する決定部と、
前記決定部により決定された前記優先度に従って、前記第１の会議端末を除く他の会議端末への前記音声情報の送信を制御する制御部とを含む、通信制御装置。
【請求項２】
前記受信部は、前記各会議端末を利用する各利用者を撮像した画像の画像情報を、該各会議端末から受信し、
前記制御部は、前記優先度に従って、前記各会議端末への前記受信部により受信された複数の前記画像情報の送信を制御する、請求項１に記載の通信制御装置。
【請求項３】
前記音声情報は、音量に関する音量情報を含み、
前記決定部は、前記注目度と前記音量情報とに基づき、前記優先度を決定する、請求項１または２に記載の通信制御装置。
【請求項４】
前記制御部は、前記決定部により決定された前記優先度が指定された優先度より低い会議端末間の会議端末への前記音声情報の送信を制御する、請求項１〜３のいずれか１項に記載の通信制御装置。
【請求項５】
前記制御部は、前記決定部により決定された前記優先度が指定された優先度より低い会議端末間の会議端末への前記複数の画像情報の送信を制御する、請求項１〜４のいずれか１項に記載の通信制御装置。
【請求項６】
前記制御部は、前記指定された優先度より低い会議端末間の会議端末へ送信する単位時間当たりの通信量を減少させ、前記指定された優先度以上の会議端末間の会議端末へ送信する単位時間当たりの通信量を増加させるように制御する、請求項４または５に記載の通信制御装置。
【請求項７】
複数の会議端末と、前記複数の会議端末間の通信を制御する通信制御装置とを含む会議システムであって、
前記通信制御装置が、
前記複数の会議端末のうちの第１の会議端末を利用する利用者が発した音声の音声情報と、各会議端末を利用する各利用者が該各会議端末に表示される該各利用者を注目する度合いを示す注目度とを受信する受信部と、
前記受信部により受信された前記注目度に基づき、各会議端末間の通信を優先する度合いを示す優先度を決定する決定部と、
前記決定部により決定された前記優先度に従って、前記第１の会議端末を除く他の会議端末への前記音声情報の送信を制御する制御部とを含む、会議システム。
【請求項８】
前記会議端末が、該会議端末の利用者を撮像する撮像部と、前記利用者が発した音声の入力を受け付ける音声入力部と、他の会議端末から送信された音声情報に基づき、音声を出力する音声出力部と、他の会議端末から送信された画像情報に基づき、画像を表示する表示部と、前記表示部に表示された前記画像における前記利用者の視線の位置を視線情報として検知する視線検知部と、前記視線検知部により検知された前記視線情報に基づき、前記注目度を算出する注目度算出部と、前記撮像部により撮像された前記画像の画像情報と前記音声入力部が受け付けた前記音声の音声情報と前記注目度算出部により算出された前記注目度とを前記通信制御装置に送信する送信部とを含む、請求項７に記載の会議システム。
【請求項９】
前記表示部は、前記通信制御装置から他の各会議端末が送信した前記注目度を受信し、該他の各会議端末の撮像部により撮像された画像とともに該注目度を表示する、請求項８に記載の会議システム。
【請求項１０】
複数の会議端末間の通信の制御をコンピュータに実行させるためのプログラムであって、
前記複数の会議端末のうちの第１の会議端末を利用する利用者が発した音声の音声情報と、各会議端末を利用する各利用者が該各会議端末に表示される該各利用者を注目する度合いを示す注目度とを受信するステップと、
受信された前記注目度に基づき、各会議端末間の通信を優先する度合いを示す優先度を決定するステップと、
決定された前記優先度に従って、前記第１の会議端末を除く他の会議端末への前記音声情報の送信を制御するステップとを実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の会議端末間の通信を制御する通信制御装置、複数の会議端末と通信制御装置とを含む会議システムおよびその制御をコンピュータに実行させるためのプログラムに関する。
【背景技術】
【０００２】
ネットワーク技術の進展、出張経費や出張時間の削減の要請に伴い、インターネット等の通信ネットワークを介して遠距離の拠点間での会議を実現するために、会議システムが用いられている。
【０００３】
この会議システムにおいて、対話が検出された拠点の遅延時間を小さくし、それ以外の拠点の遅延時間を大きくするシステムが提案されている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の会議システムでは、多拠点間で会議を実施する場合、拠点間の繋がりや誰に向けて発話しているのかを判断せずにデータを伝送するため、重要な発話が遅延し、会議効率が低下するという問題があった。
【０００５】
本発明は、上記の問題に鑑みてなされたものであり、重要な発話を所望の拠点へ低遅延で伝送し、会議効率を向上させることができる装置、システム、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、複数の会議端末間の通信を制御する通信制御装置であって、複数の会議端末のうちの第１の会議端末を利用する利用者が発した音声の音声情報と、各会議端末を利用する各利用者が該各会議端末に表示される該各利用者を注目する度合いを示す注目度とを受信する受信部と、受信部により受信された注目度に基づき、どの会議端末間の通信を優先するかを示す優先度を決定する決定部と、決定部により決定された優先度に従って、受信部により受信された音声情報を、第１の会議端末を除く他の会議端末に送信する制御を行う制御部とを含む、通信制御装置を提供する。
【発明の効果】
【０００７】
本発明によれば、重要な発話を所望の拠点へ低遅延で伝送し、会議効率を向上させることが可能となる。
【図面の簡単な説明】
【０００８】
【図１】会議システムの構成例を示した図。
【図２】会議端末を構成するカメラおよび処理装置のハードウェア構成を示した図。
【図３】会議端末の機能ブロック図。
【図４】サーバのハードウェア構成を示した図。
【図５】サーバの機能ブロック図。
【図６】優先度の決定方法の第１の例を説明する図。
【図７】図６に示す決定方法で使用される注目度を例示した図。
【図８】優先度の決定方法の第２の例を説明する図。
【図９】図８に示す決定方法で使用される注目度を例示した図。
【図１０】優先度の決定方法の第３の例を説明する図。
【図１１】図９に示す決定方法で使用される注目度を例示した図。
【図１２】会議端末で実行される処理の流れを示したフローチャート。
【図１３】サーバで実行される処理の流れを示したフローチャート。
【発明を実施するための形態】
【０００９】
図１は、複数の拠点間で会議を行うために使用される会議システムの構成例を示した図である。複数の拠点間であるため、拠点の数は、３以上である。複数の拠点は、例えば本社の会議室、支店Aの会議室、支店Bの会議室等とされる。図１に示す例では、３つの拠点A、B、Cが示されている。会議システムは、各拠点A、B、Cに設置される会議端末A、B、Cと、各会議端末A、B、Cにネットワーク１０を介して接続される通信制御装置としてのサーバ１１とを含んで構成される。
【００１０】
ネットワーク１０は、LAN(Local Area Network)であってもよいし、WAN(Wide Area Network)であってもよいし、インターネットであってもよい。また、ネットワーク１０は、有線ネットワークであってもよいし、無線ネットワークであってもよい。
【００１１】
会議端末は、１つの機器で構成されていてもよいし、複数の機器から構成されていてもよい。複数の機器から構成される場合、それぞれが分離した複数の機器から構成されていてもよいし、１つの筐体内にそれら複数の機器が収納されたものであってもよい。
【００１２】
会議端末は、撮像装置としてのカメラ１２、表示装置としてのディスプレイ１３、音声入力装置としてのマイク１４、音声出力装置としてのスピーカ１５、処理装置１６を含んで構成される。処理装置１６は、カメラ１２やマイク１４から入力される情報、ディスプレイ１３やスピーカ１５に出力する情報を処理する。また、会議端末は、ディスプレイ１３に表示された画像におけるユーザの視線の位置を視線情報として連続的に検知する視線検知装置１７を備える。図１では、会議端末Aについてのみ、会議端末Aを構成するカメラ１２等を示しているが、会議端末B、Cも同様の構成とされ、カメラ１２等を備えている。
【００１３】
カメラ１２は、静止画や動画等の画像を撮像する装置で、自拠点で会議に参加し、会議端末を利用する利用者（ユーザ）を撮像し、その画像の画像情報を画像データとして出力する。会議端末Aを利用するユーザをユーザAとし、会議端末Bを利用するユーザをユーザBとした場合、ユーザAに対し、そのユーザAがいる拠点Aが自拠点である。一方、ユーザAに対し、ユーザBがいる拠点Bが他拠点である。なお、各拠点のユーザの数は、1人であってもよいし、複数人であってもよい。
【００１４】
ディスプレイ１３は、各拠点のカメラにより撮像された画像の画像データの入力を受け付け、それらの画像を表示する。ディスプレイ１３は、ブラウン管(CRT)であってもよいし、液晶ディスプレイであってもよいし、プラズマディスプレイであってもよいし、有機EL(Electroluminescence)ディスプレイであってもよい。
【００１５】
マイク１４は、自拠点のユーザが発した音声の入力を受け付け、音声情報を音声データとして出力する。スピーカ１５は、他拠点から送信された音声データを出力する。マイク１４およびスピーカ１５は、これに限られるものではないが、振動板（ダイヤフラム）とコイルとを含むことができる。マイク１４は、ダイヤフラムが音波を受けて振動し、磁界内でコイルが動くことで音声信号を生成し、音声信号を音声データとして出力する。スピーカ１５は、その逆で、音声信号によりコイルが動き、ダイヤフラムを振動させて音波を発生させ、その音波により音声を出力する。
【００１６】
処理装置１６は、カメラ１２から出力される画像データ、マイク１４から出力される音声データをサーバ１１に送信する。また、処理装置１６は、サーバ１１から送信された画像データや音声データを受信し、画像データをディスプレイ１３に送信して表示させ、音声データをスピーカ１５に送信して出力させる。処理装置１６は、画像データや音声データを送信する際、それらのデータを符号化し、符号化された画像データや音声データを受信した際、それらのデータを復号する処理を行う。
【００１７】
処理装置１６は、画像データの画像をディスプレイ１３に表示させる際、指定されたサイズで、指定された位置に表示させることができる。また、処理装置１６は、音声データを出力させる際、指定された音量で音声を出力させることができる。
【００１８】
視線検知装置１７は、例えばカメラとそのカメラで撮像した画像を分析する画像処理装置とを含んで構成することができる。視線検知装置１７は、例えば基準点を目頭とし、その目頭と虹彩との位置関係から視線の方向を検知することができる。これに限られるものではなく、赤外光を照射する照射装置と、赤外光を撮像可能なカメラと、画像処理装置とを用い、赤外光を照射して反射した角膜の位置を基準点とし、その位置と瞳孔との位置関係から視線の方向を検知することも可能である。なお、画像処理装置は、カメラにより撮像した画像から視線の方向を検知するために、CPU、メモリ、画像I/F、出力I/Fを含んで構成することができる。
【００１９】
図２を参照して、会議端末のカメラ１２および処理装置１６のハードウェア構成について詳細に説明する。カメラ１２は、レンズ２０と、画像センサ２１と、画像処理回路２２と、画像I/F２３とを含んで構成される。レンズ２０は、被写体に反射した光が入射され、対象の像を結像する。画像センサ２１は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子で、上記対象の像をアナログ信号に変換する。
【００２０】
画像処理回路２２は、A/Dコンバータを含み、アナログ信号をデジタル信号に変換し、画像データとして出力する。画像I/F２３は、画像処理回路２２により画像処理された画像データを処理装置１６に送信する。
【００２１】
処理装置１６は、CPU３０と、メモリ３１と、通信I/F３２と、制御回路３３と、画像I/F３４と、入出力I/F３５とを含んで構成される。CPU３０は、各種の処理を実行する。メモリ３１は、CPU３０が実行する処理に必要な各種のプログラム、画像データや音声データ等を格納する。メモリ３１は、例えば、揮発性メモリであるRAM(Random Access Memory)、不揮発性メモリであるROM(Read Only Memory)を含む。
【００２２】
通信I/F３２は、画像データや音声データ、制御データ等をネットワークに接続された通信相手に送信し、また、それらのデータを通信相手から受信する。制御回路３３は、処理装置１６全体を制御する。画像I/F３４は、カメラ１２から画像データを受信する。入出力I/F３５は、音声データの入力、通信相手から受信した画像データのディスプレイ１３への出力、音声データの出力を制御する。
【００２３】
図３は、会議端末の機能ブロック図である。会議端末は、撮像部４０と、表示部４１と、視線検知部４２と、音声入力部４３と、音声出力部４４と、注目度算出部４５と、通信部４６とを含んで構成される。会議端末は、これらの機能部以外に、符号化部４７、復号部４８を備えることができる。
【００２４】
撮像部４０は、カメラ１２により実現され、表示部４１は、ディスプレイ１３により実現され、視線検知部４２は、視線検知装置１７により実現され、音声入力部４３は、マイク１４により実現され、音声出力部４４は、スピーカ１５により実現される。注目度算出部４５、符号化部４７、復号部４８は、CPU３０がメモリ３１に格納されたプログラムを実行することにより実現される。通信部４６は、通信I/F３２により実現される。
【００２５】
撮像部４０は、自拠点の会議端末を利用するユーザを撮像し、画像データを符号化部４７へ出力する。符号化部４７は、画像データを符号化し、符号化された画像データを通信部４６に渡す。また、音声入力部４３は、自拠点のユーザが発した音声の入力を受け付け、音声データを符号化部４７へ出力する。
【００２６】
符号化部４７は、画像データの符号化については、H.264/AVCやH.264/SVC等のエンコーダにより実現され、音声データの符号化については、Speex等のエンコーダにより実現される。エンコーダは、画像データや音声データ等のデジタル信号を、一定の規則に従って所望する符号に変換するもので、例えば、データを圧縮することができる。符号化部４７は、符号化されたデータを通信部４６に渡す。
【００２７】
通信部４６は、送信部として機能し、符号化されたデータを、サーバ１１を介して自拠点以外の他拠点の会議端末に送信する。また、通信部４６は、受信部としても機能し、他拠点の会議端末から送信された符号化されたデータを受信する。通信部４６は、符号化されたデータを、復号部４８に渡す。
【００２８】
復号部４８は、符号化されたデータを、元の画像データや音声データに復号する。復号部４８は、符号化された画像データについては、H.264/AVCやH.264/SVC等のデコーダにより実現され、符号化された音声データについては、Speex等のデコーダにより実現される。デコーダは、符号化されたデータを、元のデータに戻すもので、例えば、圧縮されたデータを伸長することができる。復号部４８は、復号した画像データを表示部４１に渡し、復号した音声データを音声出力部４４に渡す。
【００２９】
表示部４１は、受け取った画像データを映像等として表示し、音声出力部４４は、受け取った音声データを音声として出力する。
【００３０】
視線検知部４２は、ユーザの視線が、表示部４１に表示する画面内のどの拠点の映像上にあるかを検知する。視線検知部４２は、例えば二次元座標(x,y)として検知し、その座標がどの拠点の映像上にあるかを判断し、視線情報として拠点名等の、その拠点を特定する情報を出力する。二次元座標の基準点(0,0)は、いかなる位置であってもよいが、例えば画面の左上端に表示される画素とすることができる。なお、視線検知を行う際、視線から期待した位置の座標が得られるように初期状態を決定するために、較正（キャリブレーション）を実施することができる。
【００３１】
注目度算出部４５は、視線検知部４２が出力した視線情報を使用し、ユーザが表示部４１に表示する画面内の自拠点および他拠点のユーザを注目する度合いを示す注目度を算出する。注目度は、例えば、過去10秒間に取得した視線情報の積分値から、画面内の各拠点の映像に対する注目度を百分率で算出する方法を用いることができる。各拠点の映像は、各拠点のユーザを撮像した映像である。
【００３２】
具体的には、10秒間に、拠点Bの映像が8秒、拠点Cの映像が2秒、拠点Aの映像が0秒注視されていた場合、拠点Aの注目度を0%、拠点Bの注目度を80%、拠点Cの注目度を20％として算出することができる。過去10秒間に限定されるものではなく、それ以外の期間や音声が検知されている期間の視線情報を用いてもよい。
【００３３】
注目度算出部４５は、算出した各拠点の注目度を注目度データとして通信部４６に渡し、通信部４６がサーバ１１に送信する。
【００３４】
次に、図４を参照して、サーバ１１のハードウェア構成について説明する。サーバ１１は、CPU５０と、ROM５１と、RAM５２と、HDD(Hard Disk Drive)５３と、通信I/F５４とを含んで構成される。CPU５０は、ROM５１やHDD５３に格納されたプログラムをRAM５２に読み出し、実行する。CPU５０は、そのプログラムの実行により、サーバ１１全体を制御し、所定の処理を実行する。ROM５１は、サーバ１１を起動するためのブートプログラムやHDD５３等を制御するためのファームウェアを格納する。RAM５２は、CPU５０に対して作業領域を提供する。HDD５３は、後述する各機能部を実現するためのプログラムや各種データを格納する。通信I/F５４は、ネットワーク１０に接続し、ネットワーク１０を介して各拠点の会議端末との通信を可能にする。
【００３５】
図５は、サーバ１１の機能ブロック図である。サーバ１１は、通信部６０と、決定部６１と、制御部として、映像制御部６２と音声制御部６３とを含んで構成される。通信部６０は、送信部および受信部として機能し、１つの拠点の会議端末を利用するユーザが発した音声の音声データ、各拠点の会議端末から画像データと注目度とを受信する。映像制御部６２は、通信部６０が受信した各拠点の会議端末からの画像データを、会議を行っている全ての拠点の会議端末に送信するように通信部６０に対して指示する。通信部６０は、映像制御部６２からの指示に従い、画像データを指示された会議端末に送信し、各拠点のユーザの映像を表示させる。これにより、顔を合わせた会議を行うことが可能となる。
【００３６】
音声制御部６３は、会議を行っている上記の１つの拠点以外の他の全ての拠点の会議端末に音声データを送信するように通信部６０に対して指示する。通信部６０は、音声制御部６３からの指示に従い、音声データを指示された会議端末に送信し、当該他の全ての拠点でユーザが発した音声を出力させる。これにより、他の全ての拠点のユーザがその音声を聞き、それに応答する形で会話することができる。
【００３７】
決定部６１は、通信部６０が受信した注目度に基づき、どの会議端末間、すなわちどの拠点間の通信を優先するかを示す優先度を決定する。優先度の決定方法については後述する。音声制御部６３は、音声データの送信を通信部６０に対して指示し、その送信の制御を行うが、決定部６１が決定した優先度に従って音声データの送信を制御する。
【００３８】
具体的には、音声データである音声パケットに優先度を付与し、高い優先度が設定された音声パケットに対して、ネットワークリソースを多く割り当て、低い優先度が設定された音声パケットに対しては、ネットワークリソースの割り当てを少なくして、音声パケットを送信する。ネットワークリソースは、ネットワーク１０に接続し、ネットワーク１０を介した通信を制御する通信I/F５４等である。これにより、高い優先度の音声パケットについては、単位時間当たりに送信されるパケット数が増え、重要な発話の遅延を少なくし、会議効率を向上させることができる。
【００３９】
また、音声制御部６３は、決定部６１が決定した優先度が、指定された優先度より低い拠点間の会議端末への音声データの送信を制御することができる。この制御で、低い優先度の音声パケットに対して割り当てるネットワークリソースを減らすことで、ネットワークリソースを節約することができる。
【００４０】
上記で節約したネットワークリソースを、指定された優先度以上の拠点間の会議端末への音声データの送信に割り当てることができる。これにより、単位時間当たりに送信される高い優先度の音声パケットのパケット数が増えるため、重要な発話の遅延をさらに少なくし、さらに会議効率を向上させることができる。
【００４１】
映像制御部６２は、各拠点から取得した画像データを、各拠点に送信するように通信部６０に対して指示することができる。その際、映像制御部６２は、画像中に注目度が含まれるように画像を加工し、その加工した画像の画像データを通信部６０に渡し、送信するように指示することができる。
【００４２】
なお、画像データの送信についても、上記と同様、指定された優先度より低い拠点間の会議端末への画像データの送信を制御し、ネットワークリソースを節約することができる。また、節約したネットワークリソースを、上記の指定された優先度以上の拠点間の会議端末への画像データの送信に割り当てることで、その間の音声データの送受信をスムーズに行うことができ、会議効率を向上させることができる。
【００４３】
ここでは、自拠点に対して自拠点の画像データも送信するようにしているが、自拠点に対しては他拠点の画像データのみを送信することも可能である。各拠点では、処理装置１６が、どの画像データをどの画面の位置、サイズで表示するかを決定し、ディスプレイ１３に各画像を各位置、サイズで表示させることができる。
【００４４】
図６を参照して、優先度を決定する方法の一例を説明する。ここでは、通常の会議時に、注目度に応じて優先度を決定する方法を説明する。会議を拠点A〜Cの３拠点で行い、各拠点の会議端末の表示部４１が表示する画面には、各拠点で撮像したユーザの映像が表示されている。各ユーザの映像は、全てのユーザを同じサイズで表示されていてもよいし、ユーザの設定や注目度等に応じて、サイズを変えて表示されていてもよい。また、現在発話している、あるいは最近発話したユーザはサイズが大きく、それ以外のユーザはサイズが小さく表示されていてもよい。
【００４５】
この例では、拠点Aの画面には、注目度が最も高い拠点Bのユーザの映像が大きく表示され、その右側には、次に注目度が高い拠点Cのユーザの映像と、最も注目度が低い拠点Aのユーザの映像とが小さく表示されている。同様に、拠点Bには、注目度が最も高い拠点Aのユーザの映像が大きく、それ以外の拠点B、Cのユーザの映像が小さく表示されている。また、拠点Cには、注目度が最も高い拠点Bのユーザの映像が大きく、それ以外の拠点A、Cのユーザの映像が小さく表示されている。また、各拠点の映像には、その注目度も表示されている。
【００４６】
図７に、各拠点の会議端末から受信した注目度を例示する。拠点Aに対する注目度は、拠点A〜Cの各ユーザが拠点Aの映像にどれだけ注目しているかを示す。同様に、拠点Bに対する注目度は、拠点Bの映像にどれだけ注目しているかを示し、拠点Cに対する注目度は、拠点Cの映像にどれだけ注目しているかを示す。
【００４７】
図７に示す例では、拠点Aに対する注目度は、拠点Aのユーザについては0%で、拠点Bのユーザについては70%で、拠点Cのユーザについては30%となっている。ユーザは、表示された注目度を見ることで、自分がどの拠点の映像を注視しているかを知ることができる。
【００４８】
再び図６を参照して、各拠点のユーザは、会議において発話するが、その音声は、音声データとして、発話したユーザがいる拠点以外の他の拠点へ送信され、出力される。その際、優先度に従って、当該他の拠点へ送信される。具体的には、拠点Aのユーザの発話Aは、優先度に従って拠点B、Cへ送信される。
【００４９】
決定部６１は、優先度を決定するに先立って、各拠点間の注目度を平均し、各拠点間の関連性の度合いを示す関連度を算出する。具体的に説明すると、拠点Aに対する拠点Bの注目度は80%で、拠点Bに対する拠点Aの注目度は70%である。拠点A-B間の関連度は、これらの注目度を平均し、75%と算出される。同様にして、拠点A-C間の関連度は25%、拠点B-C間の関連度は40%と算出される。
【００５０】
決定部６１は、この関連度の最も高い拠点A-B間が、拠点間の繋がりが最も強く、通信を最優先させるべきと判断し、拠点A-B間でやりとりされる音声データに対して優先度を高い値に決定する。優先度は、音声データを音声パケットとして送信する場合の、音声パケットに含まれるIPヘッダのToS(Type of Service)フィールドやDSCP(Differentiated Service Code Point)フィールド等に設定することができる。音声制御部６３は、このフィールドを参照し、優先制御(QoS制御)を行うことができる。
【００５１】
なお、ToSフィールドは、3ビットで優先度を表すため、8段階で優先度を定義することができる。これに対し、DSCPフィールドは、6ビットで優先度を表すため、64段階で優先度を定義することができる。
【００５２】
この例では、拠点A-B間の音声データを最優先するため、決定部６１は、拠点Aから受信し、拠点Bへ送信する音声データに対して高い優先度を設定し、拠点Cへ送信する音声データに対しては低い優先度を設定する。また、決定部６１は、拠点Bから受信し、拠点Aへ送信する音声データに対して高い優先度を設定し、拠点Cへ送信する音声データに対しては低い優先度を設定する。
【００５３】
決定部６１は、拠点A、Bから受信し、拠点Cへ送信する音声データに対し、関連度に従って優先度を設定してもよいが、いずれも50%以下の低い関連度であるため、優先度を設定しなくてもよい。この場合、音声制御部６３は、優先度に関係なく、それぞれを最も効率良く送信する通常処理（ベストエフォートの処理）を、通信部６０に対して指示することができる。
【００５４】
図６に示した例では、全ての拠点間で関連度が異なり、通信を最優先すべき拠点間が存在したが、全ての拠点間で関連度が異なるとは限らない。図８は、優先度を決定する方法の別の例を説明する図である。会議を拠点A〜Cの３拠点で行い、各拠点の会議端末の表示部４１が表示する画面には、各拠点で撮像したユーザの映像が表示されている。各ユーザの映像は、例えば、現在発話しているユーザ、あるいは最近発話したユーザが大きく、それ以外のユーザが小さく表示されている。
【００５５】
図９に、各拠点の会議端末から受信した注目度を例示する。拠点Aに対する注目度は、拠点A〜Cの各ユーザが、拠点Aの映像に、拠点Bに対する注目度は拠点Bの映像に、拠点Cに対する注目度は拠点Cの映像にどれだけ注目しているかを示している。
【００５６】
上記と同様に、決定部６１は、優先度を決定するに先立って、各拠点間の注目度を平均し、各拠点間の関連度を算出する。この例では、いずれの拠点間の関連度も50%となり、拠点間の繋がりも優劣が存在しない。このため、決定部６１は、優先度を設定せず、音声制御部６３は、通常処理を通信部６０に対して指示する。
【００５７】
上記で説明した会議は、各拠点のユーザが自由に発話し、発話をやりとりする通常会議であるが、この通常会議とは異なる形式の会議も存在する。このような会議としては、例えば、質疑応答時に発話するユーザが１拠点のユーザであるプレゼンテーション型の会議が挙げられる。このプレゼンテーション型の会議における優先度の決定方法について、図１０を参照して説明する。
【００５８】
図１０に示す例も、会議を拠点A〜Cの３拠点で行い、各拠点の会議端末の表示部４１が表示する画面には、各拠点で撮像したユーザの映像が表示されている。各ユーザの映像は、全てのユーザを同じサイズで表示されていてもよいし、ユーザの設定や注目度等に応じて、サイズを変えて表示されていてもよい。また、現在発話している、あるいは最近発話したユーザはサイズが大きく、それ以外のユーザはサイズが小さく表示されていてもよい。
【００５９】
この例では、拠点Aの画面には、注目度が最も高い拠点Bのユーザの映像が大きく表示され、その右側には、次に注目度が高い拠点Cのユーザの映像と、最も注目度が低い拠点Aのユーザの映像とが小さく表示されている。同様に、拠点Bには、注目度が最も高い拠点Aのユーザの映像が大きく、それ以外の拠点B、Cのユーザの映像が小さく表示されている。また、拠点Cには、注目度が最も高い拠点Bのユーザの映像が大きく、それ以外の拠点A、Cのユーザの映像が小さく表示されている。
【００６０】
図１１に、各拠点の会議端末から受信した注目度を例示する。拠点Aに対する注目度は、拠点A〜Cの各ユーザが、拠点Aの映像に、拠点Bに対する注目度は拠点Bの映像に、拠点Cに対する注目度は拠点Cの映像にどれだけ注目しているかを示す。
【００６１】
上記と同様に、決定部６１は、優先度を決定するに先立って、各拠点間の注目度を平均し、各拠点間の関連度を算出する。この例では、拠点B-C間の繋がりが最も強いと判断されるが、実際には、拠点A-B間で質疑応答がなされるため、視線情報のみで判断すると、誤判定をしてしまう。そこで、視線情報に加えて、音声データを用いて判断することができるが、音声データは周囲の雑音等を含むことから、その雑音等を除くべく、各拠点の音声データに含まれる音量に関する音量データも考慮して判断することができる。
【００６２】
この質疑応答時には、拠点Aと拠点Bから大きい音量の音声が受信されるため、決定部６１は、拠点A-B間で質疑応答が行われていると判断し、拠点A-B間の優先度を高く設定することができる。音量情報を考慮して音声データの送信を制御することで、誤判定を防止し、実際に関連度が高い拠点間の発話の遅延を少なくことができる。
【００６３】
これまで、会議端末が行う処理、サーバ１１が行う処理について、いくつかの例を挙げて説明してきた。ここで、図１２に、会議端末が行う処理の流れを、図１３に、サーバ１１が行う処理の流れをまとめる。会議端末は、ステップ１２００から処理を開始し、ステップ１２０５では、各拠点に設置された会議端末の視線検知部４２が視線を検知し、視線情報を取得する。そして、注目度算出部４５が視線情報に基づき、表示部４１に表示された各拠点の映像を注目する度合いを示す注目度を算出する。この注目度は、映像として、拠点A〜Cの３つの拠点のユーザの映像を表示している場合、各拠点につき算出する。
【００６４】
ステップ１２１０では、会議を終了したかを判断する。終了していない場合は、ステップ１２１５へ進み、通信部４６が、注目度算出部４５が算出した注目度をサーバ１１に送信する。そして、ステップ１２０５へ戻る。
【００６５】
一方、終了した場合は、ステップ１２２０へ進み、会議端末による処理を終了する。会議は、予め登録した会議名の会議へログインすることにより開始することができ、ログオフすることで終了することができる。例えば、画面に表示されるログインボタンを、マウス等の入力装置を利用して押下し、ユーザ名、パスワード等を入力することでログインすることができ、画面に表示されるログオフボタンを、その入力装置を利用して押下することでログオフすることができる。なお、会議は、その会議で使用されている全ての会議端末でログオフされたことを受けて終了したと判断することができる。
【００６６】
サーバ１１は、ステップ１３００から処理を開始し、ステップ１３０５では、通信部６０が、各拠点に設置された会議端末から算出された注目度を注目度データとして受信する。ステップ１３１０では、決定部６１が、拠点間の関連度を算出する。ステップ１３１５では、決定部６１が、算出した拠点間の関連度を比較し、拠点A-B間>拠点A-C間≧拠点B-C間であるかを判断する。この条件を満たす場合は、ステップ１３２０へ進み、満たさない場合は、ステップ１３３５へ進む。
【００６７】
ステップ１３２０では、決定部６１は、拠点A-B間の音声データを高優先度に決定する。ステップ１３２５では、拠点A-C間の音声データを低優先度に決定し、ステップ１３３０で、拠点B-C間の音声データも低優先度に決定する。ここでは、優先度を高優先度と低優先度の２段階で表し、いずれかになるように決定しているが、３段階以上とし、例えば高優先度、中優先度、低優先度等としてもよい。
【００６８】
ステップ１３３５では、決定部６１が、拠点A-C間>拠点B-C間≧拠点A-B間であるかを判断する。この条件を満たす場合は、ステップ１３４０へ進み、満たさない場合は、ステップ１３５５へ進む。ステップ１３４０では、決定部６１は、拠点A-C間の音声データを高優先度に決定する。ステップ１３４５では、決定部６１は、拠点B-C間の音声データを低優先度に決定し、ステップ１３５０で、拠点A-B間の音声データも低優先度に決定する。
【００６９】
ステップ１３５５では、決定部６１が、拠点B-C間>拠点A-C間≧拠点A-B間であるかを判断する。この条件を満たす場合は、ステップ１３６０へ進み、満たさない場合は、ステップ１３８０へ進む。ステップ１３６０では、決定部６１は、拠点B-C間の音声データを高優先度に決定する。ステップ１３６５では、決定部６１は、拠点A-C間の音声データを低優先度に決定し、ステップ１３７０で、拠点A-B間の音声データも低優先度に決定する。
【００７０】
ステップ１３７５では、音声制御部６３が、決定された優先度に従って音声データの送信を制御し、その制御を受けて、通信部６０が各会議端末に音声データを送信する。ステップ１３８０では、優先度が決定されないため、通常処理を実行する。すなわち、特定の会議端末に優先的に音声データを送信するのではなく、全ての会議端末に最も効率良く音声データが送信されるように制御する。
【００７１】
ステップ１３８５では、会議が終了したかを判断し、終了していない場合は、ステップ１３０５へ戻り、終了した場合は、ステップ１３９０へ進み、サーバ１１による処理を終了する。
【００７２】
このようにして、各拠点間の視線情報により拠点間の関連度に応じて、音声データの優先度を決定し、その優先度に従って音声データの送信を制御することで、重要な発話の遅延を少なくし、会議効率を向上させることができる。
【００７３】
これまで本発明を、通信制御装置、会議システムおよびプログラムとして上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。本発明は、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【００７４】
したがって、上記のプログラムは、インストール可能な形式または実行可能な形式のファイルでフロッピー（登録商標）ディスク、CD(Compact Disk)、CD-R(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、SDメモリカード(SD Memory Card)、USBメモリ(Universal Serial Bus Memory)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成することができる。また、上記のプログラムは、インターネット等のネットワーク経由で提供または配布するように構成されていてもよい。さらに、上記のプログラムを他の各種ソフトウェアとともにROM等に予め組み込んで提供するように構成してもよい。
【００７５】
上記の実施形態では、上記の各機能部は、CPU３０がメモリ３１に記憶されたプログラム、CPU５０がHDD５３等に記憶されたプログラムを読み出して実行することにより生成される。しかしながら、これに限られるものではなく、例えば各機能部のうちの少なくとも一部が専用のハードウェア回路（例えば半導体集積回路）で実現されていてもよい。
【符号の説明】
【００７６】
１０…ネットワーク、１１…サーバ、１２…カメラ、１３…ディスプレイ、１４…マイク、１５…スピーカ、１６…処理装置、１７…視線検知装置、２０…レンズ、２１…画像センサ、２２…画像処理回路、２３…画像I/F、３０…CPU、３１…メモリ、３２…通信I/F、３３…制御回路、３４…画像I/F、３５…入出力I/F、４０…撮像部、４１…表示部、４２…視線検知部、４３…音声入力部、４４…音声出力部、４５…注目度算出部、４６…通信部、４７…符号化部、４８…復号部、５０…CPU、５１…ROM、５２…RAM、５３…HDD、５４…通信I/F、６０…通信部、６１…決定部、６２…映像制御部、６３…音声制御部
【先行技術文献】
【特許文献】
【００７７】
【特許文献１】特開２０１１−６６４８０号公報
【図１】
2017152952.tif 000003
【図２】
2017152952.tif 000004
【図３】
2017152952.tif 000005
【図４】
2017152952.tif 000006
【図５】
2017152952.tif 000007
【図６】
2017152952.tif 000008
【図７】
2017152952.tif 000009
【図８】
2017152952.tif 000010
【図９】
2017152952.tif 000011
【図１０】
2017152952.tif 000012
【図１１】
2017152952.tif 000013
【図１２】
2017152952.tif 000014
【図１３】
2017152952.tif 000015